Pythonでデータ読み込みのプログラムを実行します。

プログラムの実行はGoogle Colabで行います。下記のリンクからGoogle Colabを開きましょう。

新しくノートブック「ip0504」を作成してください。

今回使用している人口データは、政府統計の総合窓口であるe-Statから取得できます。

e-Statでは、国勢調査をはじめとしたさまざまな統計データを検索し、ダウンロードできます。

今回は、スタ塾であらかじめ準備したデータを使用しますが、ここでは2020年の国勢調査データから、東京23区の人口に関するデータを取得する方法を確認しましょう。

e-Statでデータを取得する場合は、次のような流れで操作します。

e-Statから取得できるデータは、非常に多くの項目や地域を含んでいます。

そのため、最初からすべてを自分で整理しようとすると、データ分析そのものよりも、データの準備に時間がかかってしまいます。

今回の学習では、Pythonでデータを読み込み、結合し、分析する流れを体験することを重視します。

そのため、授業ではあらかじめ整理したCSVファイルを使用します。

今回の分析では、東京23区を対象にしました。

しかし、e-Statでは他の地域のデータも取得できます。

例えば、地域を変えれば、次のような分析もできます。

このように、データの地域や項目を変えることで、自分なりの分析テーマを作ることができます。

このページでは、Google Colabを使って、Web上に置かれた2つのCSVデータを読み込みます。

今回使用するデータは、次の2つです。

この2つのデータを、Python上で結合して、分析に使える1つの表にしていきます。

CSVファイルのような表形式のデータを扱うために、pandasというライブラリを使います。

import pandas as pd

まず、e-Statから取得した東京23区の人口などのデータを読み込みます。

このデータは、2020年の調査データをもとにしています。

今回は、事前に取得したデータをスタ塾がファイル化したCSVファイルをURLで指定して読み込みます。

population_url = "https://starjuku-contents.s3.ap-northeast-1.amazonaws.com/ip/05-04/tokyo_population.csv"

population = pd.read_csv(population_url)

population

実行結果

このプログラムでは、変数「population」に23区の人口データを格納しています。

実行すると、東京23区の人口などのデータが表として表示されます。

このデータには、次のような列が入っています。

今回の分析では、元のデータに入っている列だけでなく、高齢化率も使います。

高齢化率は、次の式で求めることができます。

Pythonでは、次のようにして新しい列を追加できます。

population["高齢化率(％)"] = population["65歳以上人口(人)"] / population["総人口(人)"] * 100

population

実行結果(一部抜粋)

これで、人口データに高齢化率(％)という新しい列が追加されます。

新しい列を作ることで、もとのデータだけでは見えにくかった特徴を分析しやすくなります。

特に、昼間人口と昼夜間人口比率は、今回の分析で重要なデータになります。

例えば、オフィス街では、住んでいる人は少なくても、昼間には多くの人が集まることがあります。

実行すると、東京23区の人口などのデータが表として表示されます。

このデータでは、区名が次のような形で入っています。

次に、東京23区ごとのコンビニ出店数データを読み込みます。

スタ塾にて準備した、ファイル化したデータをスタ塾のサーバーから取得します。

こちらも、Web上に置いてあるCSVファイルをURLで指定して読み込みます。

convenience_url = "https://starjuku-contents.s3.ap-northeast-1.amazonaws.com/ip/05-04/convenience_store.csv"

convenience = pd.read_csv(convenience_url)

convenience

実行結果(一部抜粋)

このプログラムでは、変数「convenience」に23区の各区における、コンビニの出店数データを格納しています。

実行すると、東京23区ごとのコンビニ出店数データが表示されます。

このデータでは、区名が次のような形で入っています。

e-Statの人口データとは異なり、「東京都」と区名の間に空白文字が入っていることに注意しましょう。

データを読み込んだら、populationとconvenienceそれぞれの列名や件数を確認します。

まずは、列名を確認します。

列名を確認するには、次のようにします。

print(population.columns)
print(convenience.columns)

実行結果

次に、それぞれのデータが何行あるか確認します。

print(len(population))
print(len(convenience))

実行結果

東京23区のデータなので、どちらも23行になっていることを確認しましょう。

人口データとコンビニ出店数データには、どちらにも区名という列があります。

そこで、まずは区名を使って、そのまま2つのデータを結合してみます。

merged = pd.merge(population, convenience, on="区名")

merged

実行結果

しかし、このままだとうまく結合できず、データが表示されません。

なぜなら、2つのデータで区名の表記が少し違っているからです。

人間が見ると同じ千代田区のデータだとわかります。

しかし、Pythonでは、文字が完全に一致しているものだけが同じデータとして扱われます。

そのため、「東京都千代田区」と「東京都 千代田区」は別の文字列として扱われ、結合できません。

このページでは、Web上のCSVファイルをPythonで読み込み、2つのデータを結合しました。

ただし、最初は区名の表記がそろっていなかったため、うまく結合できませんでした。

そこで、コンビニ出店数データの区名から空白を取り除き、人口データと同じ表記に直しました。