[pandas] 8. DataFrameに欠損値(NaN)があるときの処理

はじめに

DataFrameにおける欠損値(NaN)の処理方法として、NaNを除外したり、置換したりする方法について説明する。

isnullにより、NaNの部分がTrueとなったbool型の配列が得られる。

notnullはisnullの逆で、NaNの部分がFalseとなったbool型の配列が得られる。

dropna()によりNaNを含む行を除外した配列が得られる。

dropna()でaxis=1、または、axis='columns'とすることでよりNaNを含む列を除外できる。

how='all'により、全てNaNの行だけ除外される。

.fillna(#)の#にNaNの代わりにしたい数値をいれると、NaNがその数値となった配列が得られる。

ffillはforward-fillの略で、NaNのひとつ前の要素が代入される。

bfillはback-fillの略でひとつ後の要素が代入される。

axis=1とすることで列方向のひとつ後の要素が代入される。

ffill, bfillともに前、後の要素がNaNの場合はNaNのままとなる。