須多先生

みなさん お疲れ様でした
アクティビティはいかがでしたか？

徳井 天

俺たちの「評価」で 同じ質問でも「会話型AI」の回答が変わることを実感できました

深田 あい

私たちの「評価」を学習して それを基に「会話型AI」自身が 自分の回答を評価する様子には驚きました

深田 あい

実際に体験してから改めてこの図を見てみると さっきは難しく感じていたことが分かるようになりました

徳井 天

「自分自身をアップデートしていく」って そういうことか！って 実感したな

須多先生

この仕組みにより 「会話型AI」は常に 今この瞬間も進化し続けているんですよ

徳井 天

本当にすごいな
そういえば「会話型AI」への評価は 世界中の多くの人によって行われているってスライドに書いてあったよな

深田 あい

それを専門にした仕事もあるって書いてあったけど なんていう職業なんだろう…？

須多先生

このような仕事を行う人たちを「ヒューマンエバリュエーター（人間による評価者）」と呼びます

徳井 天

ヒューマン…エバ…リュエーター…で 「人間による評価者」か

深田 あい

「ヒューマン」は人間という意味ですよね
じゃあ 「エバリュエーター」が 日本語で「評価者」って意味になるのかな？

須多先生

はい その通りです
他にも呼び方はありますが このレッスンでは「ヒューマンエバリュエーター」と呼ぶこととします

徳井 天

俺たちはさっきのアクティビティで その「ヒューマンエバリュエーター」の仕事を体験したってことなんだよな！

須多先生

ですが 「ヒューマンエバリュエーター」の仕事としては 先ほどの評価だけでは足りないんです

深田 あい

足りないって…どういうことでしょうか？

須多先生

先ほどのアクティビティでは みなさんにとって「理解しやすい回答か」という点に着目して評価を行いました

須多先生

ですが 実際に評価を行う際は 分かりやすいだけでなく 「正確性」「関連性」 「適切性」 「創造性」などの指標にも考慮して 評価を行う必要があります

徳井 天

そんなにたくさんの指標を気にする必要があるのか
「事実であれば良い」ってわけではないんだな

深田 あい

こんなにたくさんの指標を考える必要がある「ヒューマンエバリュエーター」の仕事って 大変そうだけど すごく重要なんだね

須多先生

それでは次は 評価指標を確認してから クイズ形式のアクティビティで「ヒューマンエバリュエーター」の体験をしてみましょう