Pythonでデータ分析や機械学習を行う際、データセットにはしばしば欠損値（Null値）が含まれます。これらの欠損値を適切に処理することは、モデルの精度向上にとって重要なステップです。
Pandasライブラリを使用した欠損値の除外
PythonのPandasライブラリには、欠損値を簡単に取り扱うためのメソッドが用意されています。その中でもdropna()メソッドは、データフレームから欠損値を除外するために頻繁に使用されます。
以下に、Pandasのdropna()メソッドを使用して欠損値を除外する基本的な手順を示します。
- データセットの準備
- PandasライブラリをもとにDataFrame変換
dropna()メソッドで欠損値除去
import pandas as pd
from io import StringIO
csv_data = '''
名前,性別,年齢,出身
田中,女,21,京都
佐藤,女,,山梨
山田,男,30,
高橋,,,東京
'''
df = pd.read_csv(StringIO(csv_data))
print(df)
# 欠損値を1つ以上含む行を一括除去
df.dropna()
このコードは、欠損値を1つ以上含む行を一括で削除します。
まとめ
PythonとPandasを使用して、データセットから欠損値を効率的に除外する方法を紹介しました。データ分析や機械学習の前処理ステップで、この技術は非常に役立ちます。