須多先生

みなさん お疲れ様でした
アクティビティはいかがでしたか？

深田 あい

実際のテキストデータには 分析に使用しない空白や記号などが含まれていて 「ノイズの除去」を行うことの重要性が理解できました

徳井 天

ただ そのあとに「表記の統一」を行ったときに 自由記述ならではの問題があったよな

深田 あい

「子供が小さいので魚は食べにくいのですが…」の 「にくい」が 「肉い」と誤って変換されてしまいましたよね

徳井 天

日本語はそういった文章が多いような気がするな
例えば「お菓子」と「おかしい」も 同じ「おかし」だけど意味が全く違うもんな

須多先生

このような 日本語ならではの問題を解決するために「分かち書き」という方法があります

深田 あい

分かち書きって 聞いたことがある気がしますが どんなものでしたっけ

須多先生

分かち書きは 文章を意味のある小さな単位や単語などに分けて書くことを言います
解説動画では前処理のクリーニングの2番目のステップ「単語の分割」として取り上げられていましたね

徳井 天

そういえば 小学校低学年の時の国語の教科書って 単語と単語の間が空いていたよな あれが分かち書きですか？

須多先生

はい その通りです
日本語は 英語のように単語と単語の間に空白がないので どこからどこまでが単語になるのか コンピュータが理解するには難しいんです

須多先生

そのため コンピュータが日本語を処理する際は この分かち書きが非常に重要な役割を果たします

深田 あい

AIによる分析のために 分かち書きは必要な工程なんですね
でも 実際に私たちでもできるのか 少し不安です

須多先生

それでは ここで分かち書きの簡単なクイズを出します
練習だと思って 気軽に取り組んでみてくださいね

須多先生

「サカナはたべにくい」
この文章を分かち書きすると どのようになるでしょうか
ここで 「/」（スラッシュ）は 単語と単語の間を表します

深田 あい

「/サカナ/は/たべ/にくい/」でしょうか
「にく」で分けてしまうと 魚なのか 肉なのか理解できなかった問題がありましたよね

須多先生

そうですね
それでは次の問題です

須多先生

「外国人参政権」この文章を分かち書きすると どのようになるでしょうか

徳井 天

えっと 外国の人参（にんじん）の政権…じゃないよな？

深田 あい

これは「/外国人/参政権/」かな？ その国の国籍を持っていない外国人の方々がその国の政治に参加する権利のことだったと思うけど…

須多先生

その通りです
さらに理解を深めるために次のアクティビティでは アンケート結果を分かち書きして分析を行います

徳井 天

分かち書きをすることで 分析結果がどう変わるか楽しみだな
頑張るぞ！

須多先生

それでは STAR Colabの演習を用意しましたので 次のアクティビティの指示に従って進めてください