須多先生
徳井さんの「テキスト分類についての考察」はいかがでしたか?
須多先生
徳井さんの「テキスト分類についての考察」はいかがでしたか?
深田 あい
徳井くんの考察 すごかったです!スライドでの説明であったように「機械学習」の「教師あり学習」を使えば 今回の問題解決ができそうですよね
須多先生
本当に素晴らしかったです
みなさんの成長に とても感動しています
徳井 天
AIの知識がしっかり身についてきたことを実感してるよ
じゃあ早速 分類作業を始めて行こう!
深田 あい
徳井くんの手元には何件のデータが届いているの?
徳井 天
ひとまず 個人情報が削除されてある200件のデータをもらってきたよ 本当はまだ何千件もあるみたいなんだけどな
徳井 天
このデータをもらった時に聞いたんだけど 店長さんの方で「ポジティブ」「ネガティブ」をそれぞれ30件 あとは「質問や問い合わせ」を20件ほど 仕分けしてみたんだって
でも 量が多いから途中で諦めちゃったみたいなんだよな
深田 あい
そうだったんだ
それじゃあ 残りの120件のアノテーションを進めようか
徳井 天
よし!じゃあ早速アノテーションして 正解ラベルが付いた訓練データを作ろうぜ!
須多先生
その前に…分析に必要なデータをもらったら 一番最初にやらなければいけないことがありましたよね
徳井 天
あれ 最初に何かしてたっけ?(ユーザー名)さん分かる?
深田 あい
データをもらったら まずは「データの確認」をするんですよね
須多先生
はい その通りです
AIに学習させる前に もらったデータがどのようなデータなのかを確認する必要があります
須多先生
テキストデータにどんな「特徴」があるかを大まかに確認しておくことで より効果的なAI開発ができるんですよ
徳井 天
そういえばいつも 新しい演習の前には必ずデータを確認して グラフ化したりして可視化してきたよな
須多先生
今回は 前々回のレッスンで習った「WordCloud」と 前回のレッスンで習った「共起ネットワーク」を使って 対象のテキストデータを可視化してみましょう
徳井 天
「WordCloud」と「共起ネットワーク」 どっちも使って可視化するんだな
どっちか一つじゃダメなんだっけ?
深田 あい
可視化の方法によって どんなことが分かるか違いがあったよね
WordCloudは 出現頻度の高い順に単語を可視化できて 共起ネットワークは単語と単語の関連性まで確認できたよね
須多先生
はい 例えば「素敵」「感謝」などの単語が多く使われ 一見「ポジティブ」な意見が多く見えても 「素敵」「ではない」や「感謝」「できない」のように 後に続く言葉により 「ネガティブ」な文章となってしまいます
須多先生
このような関連性はWordCloudだけでは分からないので 共起ネットワークもあわせて確認する必要がありますよ
徳井 天
なるほど!どっちも使って可視化しないと分からないことがあるんだったな
須多先生
それでは STAR Colabの演習を用意しましたので 次のアクティビティの指示に従って進めてください