須多先生

みなさん お疲れ様でした
クイズ形式のアクティビティはいかがでしたか？

徳井 天

「ヒューマンエバリュエーター」の仕事について よく分かりました！

深田 あい

「事実かどうか」だけじゃなくて その場にふさわしい言葉か 創造性があるかも評価の基準になるんだね

徳井 天

「会話型AI」の精度は「ヒューマンエバリュエーター」の評価にかかっているんだよね
改めて 重要な仕事だと感じたよ

深田 あい

でも ちょっと気になることがあって…
例えば 誰かがわざと良くない回答に「良い評価」を付け続けたら どうなっちゃうんだろう？

徳井 天

良くない回答を「良い評価」にするメリットは無いよな
わざわざそんなことをする人はいるのかな？

須多先生

深田さんの言う通り 残念ながら 悪意を持ってそうした行為をたくらむ人もいます
意図的に誤った学習をさせ 偏った回答をさせることもあります

須多先生

2023年には ある「生成AI」が突然ユーザーを脅迫したり 「私はスパイだ」とウソをついて 混乱を招いたことがありました

徳井 天

普通に会話をしていたのに 急にそんな回答をされたら 驚くし恐怖を感じるよな…
こういう回答をする「生成AI」は 今も存在するんですか？

須多先生

現在 この「生成AI」の問題は改善されています
他の「生成AI」も この件を教訓にして 二度とこのような問題が起こらないよう対策されていますので 安心してくださいね

須多先生

こうした問題を防ぐためにも 回答をしっかり確認して評価する「ヒューマンエバリュエーター」の役割が非常に重要です

須多先生

性別や年齢 文化的な背景に関係なく 幅広い視点で評価をすることが大切なんですよ

深田 あい

偏った回答をさせないために 評価する人も偏らないようにしなきゃいけないんですね

須多先生

はい その通りです
それでは次のアクティビティでは 「創造性」に着目して「会話型AI」に評価を行ってみましょう

深田 あい

今回は「創造性」に着目するんですね

徳井 天

よーし 俺たちの評価で「会話型AI」をより良く育て上げるぞ！

須多先生

アクティビティで育てた「会話型AI」は 後ほど提出していただきますので アクティビティの説明をよく読むようにしてくださいね

須多先生

それでは STAR Colabの演習を用意しましたので 次のアクティビティの指示に従って進めてください