近年 注目されている「会話型AI」に 「強化学習」がどのように活用されているのかを学びましょう
まず初めに「会話型AI」が文章を理解する仕組みについて おさらいしましょう
3. スライド学習① ( 3 / 14 )
「強化学習」で進化する「会話型AI」の仕組み
「会話型AI」が文章を理解する仕組み
「会話型AI」を構成する「大規模言語モデル（LLM）」は、大量のテキストデータを基に学習を行い、文章を理解しながら、人間のように自然な返答を生成します。
LLMはインターネット上の大量のテキストデータを使って、ある単語に続く次の単語を確率に基づいて予測し、その予測を繰り返すことで、より自然な文章を作り出します。
ここでの工程は「事前学習」と呼ばれています。
「会話型AI」が文章を理解して生成を行う仕組みについておさらいできました
まだこの時点では「強化学習」は使われていませんね
LLMを使った「会話型AI」は 確率に基づいて動作しているため 間違った回答をしてしまうことがあります
このような間違った回答や 人間の意図にそぐわない回答を改善するために「強化学習」が活用されます
「会話型AI」への人間の評価による「強化学習」
LLMによる「事前学習」だけでは、人間の好みや意図に沿った出力を十分に生成することは困難です。
この課題を解決するために、人間の評価による「強化学習」を行います。
人間が「会話型AI」に質問を入力し、生成された回答に対して評価を行い、良い評価順にランク付けします。これを計算して、数値化したものが「強化学習」における「会話型AI」への「報酬」となり、AIは「人間にとって好ましい回答とは何か」を学習していきます。
次に「会話型AI」は、人間による「報酬」を基に、評価のパターンを学習します。
そして、自分自身が生成した回答に対して、自ら評価してランク付けを行い、「報酬」を与えるプロセスを繰り返すことで、回答を自己改善していきます。
この仕組みにより、「会話型AI」は常にアップデートを繰り返し、より自然に人間と会話ができるAIへと進化していくのです。
「人間による評価」を学習して 「会話型AI」が自分自身で評価しながら「報酬」を与えて進化していくなんて 驚いたな
「人間による評価」は 世界中の多くの人々によって行われています
実際に「会話型AI」を評価する仕事が存在するほど とても重要な役割なんですよ
「強化学習」で進化する「会話型AI」の仕組みについて 理解できましたか？
