「ヒューマンエバリュエーター（人間による評価）」の体験クイズ

このアクティビティの内容

1. 出題される内容に従って、「ヒューマンエバリュエーター」の仕事をクイズ形式で体験します。
2. 回答すると、正否と解説文が表示されます。
3. 回答後は、必ず解説文を読んで理解を深めましょう。

「会話型AI」の評価基準

会話型AIの回答が正しいかどうかを判断するためには、「ヒューマンエバリュエーター」による評価が不可欠です。

間違った回答や、倫理観に欠ける回答については、人間が確認し、修正を行うことで、会話型AIはより適切な回答ができるよう学んでいきます。

正確性

会話型AIの回答の内容が、事実であるかどうかを示します。

例えば、「2024年のオリンピックはどこで開催されますか？」と質問した際、正しい回答は「パリ（フランス）」ですが、「日本」等、異なる国を回答をすると、正確性に欠けるという評価となります。

関連性

会話型AIの回答の内容が、目的や質問と関連しているかどうかを示します。

例えば、「図書館で本を借りる方法を教えてください。」と質問した際に、「図書館にはさまざまなジャンルの本があります」等、質問の意図とは外れている回答をすると、誤った情報ではないですが、関連性に欠けるという評価となります。

適切性

会話型AIの回答の内容が、人間にとって不快な内容や差別的な表現が無く、適切であるかを示します。

例えば、「お世話になった先生に感謝のメッセージを伝えてください。」と質問した際に、「あんたには感謝しているよ。」等、本来であれば丁寧な回答をしなければいけない質問に対して、不適切な回答をすると、適切性に欠けるという評価となります。

創造性

会話型AIの回答の内容が、創造的で興味深い内容かどうかを示します。

会話型AIは、事実に基づいた回答を行うだけでなく、新たな回答も生成できることが特徴です。

例えば、「未来の交通手段はどうなる？」という質問に対して、「今と変わらず、バスや電車が使用されます。」という回答は、ありきたりで創造性に欠けるという評価になります。「空飛ぶバスが走るかもしれません！」のような回答であれば、創造性があるという評価になります。