AI活用編

第5章「言語編」

AI03-04

文章の意味をとらえるにはⅢ~共起ネットワークで言葉のつながりを見てみよう~

須多先生

解説動画では「テキストデータの収集方法とその注意点」について説明されていましたね
いかがでしたか?

深田 あい

テキストデータを収集するための 様々な方法を学ぶことができました

徳井 天

インターネット上からテキストデータを収集する時は なんでも自由に使っていいわけではないことも学べたな

深田 あい

使用条件をよく確認して 正しく使用する必要があるんですよね

須多先生

著作権で保護されたテキストデータを使用する際は 特に注意が必要です
覚えておいてくださいね

徳井 天

解説動画の中では 様々な収集方法が説明されていたけど 著作権や使用条件を確認する必要があるし どの方法を使ったらいいか迷っちゃうな

深田 あい

自分で作成したテキストデータを使用するのは問題ないんですよね
授業で使うノートの内容などの 手書きのものが使えればいいんですが 手書きだとデータとして使用することはできませんよね

須多先生

OCR(Optical Character Reader/オプティカル・キャラクタ・リーダー)の技術を使えば 読み取った手書きのデータをテキストデータとして使用することができますよ

徳井 天

そんな便利な技術があるのか!OCRを使えば 手書きのノートや 印刷した紙とかもテキストデータとして使うことができるようになるってことか

深田 あい

他にも 私たちがテキストデータを収集する時に いい方法はないでしょうか?

須多先生

「青空文庫」というサイトが テキストデータ収集の練習にピッタリですよ

徳井 天

「青空文庫」?そのWebサイトには どんなテキストデータがあるんですか?

須多先生

「青空文庫」は 著作権が切れた文学作品などが公開されている Webサイトです
太宰治の「走れメロス」や 夏目漱石の「こころ」など みなさんが知っている有名な文学作品が公開されています

須多先生

テキストデータを収集するにあたり 自由に使用することができる作品が 2024年4月時点で 17,000冊以上ありますよ

深田 あい

17,000冊以上ですか!すごい量ですね

徳井 天

文学作品のテキストデータなら 文章や単語の数も多いよな
これを使えば 見ごたえのある共起ネットワークを作ることができるんじゃないかな

須多先生

では次のアクティビティでは 青空文庫で公開されているテキストデータを使用して 改めて共起ネットワークを作成してみましょう

須多先生

それでは STAR Colabの演習を用意しましたので 次のアクティビティの指示に従って進めてください

Well done!

次のステップに進みましょう!

次のステップに進む

← 前のステップにもどる