共起ネットワークとは

「共起ネットワーク」とは？

「共起ネットワーク」とは、文書の中に出現する単語同士の関連性を、視覚的に表現する技術です。

共起ネットワークは、円や線などで表現されていて、それぞれ意味があります。

【ノード（円）の大きさ】

ノードには、文章中に出現する単語が書かれてあります。ノードの大きさは、単語の出現頻度を表し、大きいほど単語の出現回数が高くなります。

【ノード（円）の色】

同じ色のノードは、そのノードが属するグループを示し、似た性質を持つ単語同士でグループ分けされます。

グループ分けの方法は、分析を行う目的や、算出方法などにより異なります。

【線（エッジ）】

単語が書かれてあるノード同士をつなぐエッジは、つないだ単語同士が同時に出現する、関連性が高いことを表しています。

線が太くなっている場合、つないだ単語同士の関連性が、より高いことを表しています。

【コラム】共起ネットワークの作り方 ～数値化の方法～

すでに前処理のレッスンで学習した通り、テキストデータのクリーニングを行ったら、次はテキストの数値化をしてコンピュータが理解できる形式にします。

ここまでのレッスンでは、ワンホットエンコーディングやBag of Wordsによる数値化を行ってきましたが、共起ネットワークでは「共起頻度」や「Jaccard係数（じゃっかーど けいすう）」という手法で数値化を行います。

【共起頻度による数値化】

共起頻度とは、テキスト内で2つの単語がどのくらいの頻度で一緒に出現するかを表す指標です。

例えば、単語Aと単語Bの共起頻度を計算する場合、テキスト内で単語Aと単語Bが一緒に出現する回数をカウントします。

以下の表にある「肉」「魚」を含んだ文章5件をもとに考えてみましょう。

上記のデータでは5つの文章のうち「肉」と「魚」が一緒に出現した文章は「肉、魚好き。」「魚も肉も食べたい。」の2件です。

このことから「肉」と「魚」の共起頻度は「2回」だと分かります。

このように共起頻度による数値化は、直感的に理解しやすいため、このあとのアクティビティでは、この手法を用いて数値化を行った後に、共起ネットワークを作成します。

【Jaccard係数による数値化】

今回のアクティビティでは使用しませんが、共起ネットワークの生成の際によく利用される数値化の手法に「Jaccard係数」があります。

Jaccard係数とは、ある二つの単語の集合がどれくらい似ているのか、その度合いを表すことで、単語と単語の関連性を導きだす算出方法です。

「集合」とは、その言葉の通り「集まり」を表し、データの集まりを円を使って表します。

さきほどの「肉」「魚」を含んだ文章が仮に100件に増えたとして、この「集合」について考えてみましょう。

・「肉」だけが出現した文章：60件

・「魚」だけが出現した文章：40件

・「肉」「魚」が一緒に出現した文章：10件

上記の条件を元に、「肉」と「魚」の割合を、「集合」で表すと以下のようになります。

以下の計算式で、Jaccard係数を求めることができます。

「肉」「魚」が一緒に出現した件数　÷　（「肉」だけが出現した件数 ＋ 「魚」だけが出現した件数 － 「肉」「魚」が一緒に出現した件数）

値を当てはめると、10件 ÷ (60件 ＋ 40件 － 10件)=0.1111…　となり、Jaccard係数は約0.1となります。

Jaccard係数の範囲は、「0」～「1」です。0に近いほど関連性が低く、1に近いほど関連性が高いことを表します。

そのため、Jaccard係数が1に近いほど、「肉」と「魚」の関連性が高いと判断することができます。

今回の値は約0.1となり、0に近い値なので「肉」と「魚」の関連性は低いことが分かります。