AIによるテキスト分類の方法についての考察を解説します

これまでに習ったAIの知識が登場しますので 思い出しながらスライドを読み進めてくださいね

前回のレッスンでの考察では「機械学習」の「教師あり学習」を使えば 今回の問題解決ができるってところまで考えたんだよな

それで 今回は「教師あり学習」の「回帰問題」「分類問題」のどっちになるか考えてみたんだけど 「テキスト」を「分類する」わけだから 今回は「分類問題」だと思ったんだよな

深田さん 機械学習のあの図のメモって持ってる？

えーっと機械学習のあの図だよね…あった！

「機械学習」の「教師あり学習」の「分類問題」だね

それそれ！深田さんありがとう！

「教師あり学習」の「分類問題」で 塾の生徒たちの試験結果について「決定木」を使って「合格」「不合格」に分類したことを思い出したんだ

塾の生徒たちの試験結果を分類したときの決定木は…これかな

ありがとう！ そのとき先生がたくさん用意してくれた決定木の練習問題の中に テキスト分類の決定木があったことを思い出したんだよな

決定木で分析するときに使った元のデータは…これだな

データをよく見てみると 今回のテキスト分類にそっくりだね

ということは 今回の問題も 決定木を使えば解決できるのかもしれないね

さっきの表だと 文字数や単語の有無を「数値化」して 決定木で「分析」してるから 前に習ったテキスト分類の手順に当てはめると…こんな感じになるかな？

なるほど！こうして整理すると 分かりやすいね

でも 他にも気づいたことがあるんだ

数値化ってさ 「テキストをコンピュータが理解しやすい数値の形に変換する」ことだって習ったよな

つまり今回の場合も WordCloudのときに習った バッグオブ…ワーズ？での単語の出現回数や 共起ネットワークでやった共起頻度でも 決定木で分析できるんじゃないかって思ったんだ

WordCloudで使用した数値化の手法は「Bag of Words（バッグ・オブ・ワーズ）」ですね

徳井さん よく気がつきましたね 以前のレッスンでは WordCloudや共起ネットワークを 私たちが「目で見て」分析しましたが その私たちが行った分析を 今回は「決定木」に行わせるということですね

あともう一つ思いついたことがあって…

決定木以外の機械学習も使えるんじゃないかなって思ったんだよな 例えば「ディープラーニング」とか！

そいういえば 「予測編」のレッスンで「言語処理など複雑なデータを扱う分野では ディープラーニングが素晴らしい成果をあげている…」って習ったよね

これまでの考えを図にまとめると…こんな感じになるな！

クリーニングはいつも通り行い 「文字数」「単語の有無」「単語の出現回数」「共起頻度」を数値化したものを 「決定木」や「ディープラーニング」などの「機械学習」を使用して分析を行うということですね

二人とも 今までのレッスンの内容をしっかり覚えていましたね 本当に素晴らしい考察をありがとうございました