データの前処理(欠損値・外れ値・カテゴリデータ)について復習しましょう
クイズに正解すると その理由が詳しく説明されます
間違えた場合も 解説を読んで理解を深めましょう
データの前処理(欠損値・外れ値・カテゴリデータ)について復習しましょう
クイズに正解すると その理由が詳しく説明されます
間違えた場合も 解説を読んで理解を深めましょう
データの前処理とは データをデータ分析に適した形に整える作業です
正しく前処理をすることで 予測の精度を向上させることにつながります
データの前処理には「欠損値の処理」「外れ値の処理」「カテゴリデータの変換」の3つがあります
欠損値とは データの欠けた部分のことを言い 欠損値がある場合は 別のデータで補う必要があります
主な処理方法には「平均値補完」「最頻値補完」「前方補完」「後方補完」「データの削除」があります
欠損値の問題を解くために まずは あるアイスクリーム店の1週間の売上を確認してみましょう
このデータから 欠損値がある曜日は木曜日になります
それではこのデータをもとに 問題を解いてみましょう
外れ値とは 他のデータと比較すると極端に異なるデータのことです
以下のアイスクリーム店の1週間の売上データを例にすると 木曜日だけが売上数1000個となり 他の曜日と比べると極端に異なっています
この外れ値の原因が 特別なイベントなどであればこの値は重要な意味を持ちます
ですが データの入力ミスや 予測の精度を上げるためにも あえて処理を施す場合もあります
このデータから 問題を解いてみましょう
「カテゴリデータ」とは データが属するグループを表すもので「順序尺度」と「名義尺度」があります
以下の画像のように アイスクリーム店であれば バニラやチョコレートなどのフレーバーや シングルやダブルなどのサイズがカテゴリデータとなります
AIは訓練データとして数値を入力することを前提としているので バニラやシングルなどの言葉のままではAIが理解しにくいです
そのため カテゴリデータはAIが処理できるよう数値データに変換する必要があります
それではこのデータをもとに 問題を解いてみましょう
