データサイエンスのいろは · ⏱️ 読了目安 12分

動いたCSV読み込みが、メモリを17倍食べていた|Pandasの読み込みと概観

CSVを読めた瞬間、僕の中の小さな太鼓が鳴る。read_csv が通った。列も見える。これはもう勝ち、と思う。太鼓の音にしては、後から請求されるメモリ代が高い。

今日の話を一言で言うと、CSVの読み込みは「開いた」だけで、まだ「正しく載せた」ことにはならない。冷蔵庫に食材を全部むき出しで詰めてから、あとでラベルを貼るようなものだ。入ることと、扱いやすいことは別だった。

まず用途を読む:read_csv は入口、describe は覗き窓

AIが最初に書きがちなコードは、だいたいこうなる。

import pandas as pd

df = pd.read_csv("sales.csv")
print(df.describe())

これはCSVを表にして、数値列の件数・平均・標準偏差・最小値などを覗くコードだ。データ分析の入口としては便利だし、僕も使う。問題は、入口を通ったことだけで建物全体を見た気になりやすいことだった。

read_csv は区切り文字のあるファイルをDataFrameにする。describe は、そのDataFrameに何が入っているかをざっくり見る。だから最初に見るべきは、きれいな平均より、列の型と欠損とメモリだった。

見るもの僕が確認すること
read_csv文字コード、列名、推論された型
df.info()非null件数、型、メモリ使用量
df.describe()数値列の分布と、変な桁の値

代表要素:引数を一つ足すだけで、表の荷物が変わる

今回触った代表要素は三つだ。

encoding="utf-8" は、どの文字コードで読むかを明示する。日本語CSVなら、ここを「たぶん既定値で大丈夫」と飛ばすより、作った側の文字コードに合わせて書いておく方が、後で文字化けしたときに探しやすい。

dtype={...} は列の型を指定する。IDを int32、0から10,000までの金額を int16 にする、といった具合だ。入る値の範囲を確認せずに小さくするのは危ないので、ここは数字を見てから決める。

category は、同じ文字列が何度も出る列をカテゴリとして持つ方法だ。今回の city は4種類、plan は3種類だった。100,000行ぶん同じ文字列を抱え続けるより、候補を持って番号で参照する方が軽くなる。

指定今回の列役割
encoding="utf-8"CSV全体文字の読み方を固定
dtype="int32"user_id範囲に合わせて整数幅を縮める
dtype="int16"amount0〜10,000を収める
categorycity, plan繰り返す文字列をまとめる

AIが書く例:動くコードと、食べるコードは同じ顔をしている

10万行、列は user_id、amount、city、plan。同じCSVを二通りで読んだ。コードはこのくらい違う。

# 動く。けれど、型を全部おまかせにする
df = pd.read_csv("sales.csv", encoding="utf-8")

# 値の範囲と種類を見たあとで指定する
df = pd.read_csv(
    "sales.csv",
    encoding="utf-8",
    dtype={
        "user_id": "int32",
        "amount": "int16",
        "city": "category",
        "plan": "category",
    },
)

Pandas 3.0.5で同じデータを実行し、df.memory_usage(deep=True).sum() を出した。

読み方DataFrameの形メモリ使用量
指定なし100,000行 × 4列14,000,131 bytes
dtype指定+category化100,000行 × 4列800,854 bytes

指定なしでも表はできる。エラーも出ない。けれど今回のデータでは、指定なしが約17.5倍のメモリを使った。削減率は94.28%だった。

ここで「常に17倍軽くなる」と書いたら、もう別の嘘になる。列の種類、文字列の長さ、値の範囲で結果は変わる。僕が言えるのは、このCSV、このコード、この実行ではそうなった、までだ。

追記(2026-10-02):pyarrow が入っていると、17倍は5.5倍になる。 上の数字には、もう一つ条件が隠れていた。Pandas 3 は、pyarrow がインストールされていれば文字列の列を Arrow の形で持ち、無ければ Python のオブジェクトで持つ。上の計測は後者だった。同じ形の10万行を作り直し、Pandas 3.0.6 で pyarrow の有無だけを変えて測った(データを作り直したので、上の表とは数字が少しずれる)。

環境文字列列の持ち方指定なしdtype指定+category化差
pyarrow なしPython オブジェクト14,209,239 bytes800,853 bytes約17.7倍
pyarrow ありArrow4,409,239 bytes800,512 bytes約5.5倍

軽くなったのは「指定なし」の側だけで、指定した側はほとんど変わらない。差を生んでいたのは主に city と plan の文字列だったからだ。自分の環境がどちらかは、df.dtypes["city"].storage で確かめられる('pyarrow' か 'python' が返る)。同じコードでも、入っているライブラリ一つで倍率が3分の1になる。「このCSV、このコード、この実行」に、「この環境」も足しておく。

データの作り方から計測までの再現コードと、列ごとの内訳は、Zennの検証記事に載っている。

監査:最初に見るのは、コードの短さではなく出力

AIのコードを読むとき、僕はまず read_csv の行を探す。その次に、次の三つを出す。

print(df.dtypes)
df.info(memory_usage="deep")
print(df.describe(include="all"))

今回の指定なしでは、user_id と amount は int64 になった。指定後はそれぞれ int32 と int16。文字列の city と plan はカテゴリになった。表の中身が同じでも、載せ方が違う。

もう一つ、describe() の数字を読んで終わりにしない。今回の amount は平均 4999.520250、中央値 4999.500000、最大 10000 だった。平均だけを見て「だいたい5,000」と言うことはできるが、これは概観であって、データの正しさの証明ではない。平均と中央値の読み分けは、平均と中央値の回に置いてある。

監査の問い見る場所今回わかったこと
数値列は何型かdf.dtypesint64のままの列があった
文字列列は何種類かnunique()cityは4種類、planは3種類
どれだけ食べるかmemory_usage(deep=True)指定なし14,000,131 bytes
概観の数字はどうかdescribe()amountの平均は4999.520250

この順番なら、「動いたから正解」という判定を一回止められる。文字コードの指定漏れ、数値のはずの列が文字列になっている、混合型の警告を無視している、といった入口の罠も見つけやすい。

チートシート:CSVを開けたあとに置く付箋

僕の付箋はこれで十分だった。十分というのは、これだけで全て分かるという意味ではなく、次に見る場所を忘れないという意味だ。

やりたいこと見る・書くもの気をつけること
CSVを読むpd.read_csv(path, encoding="utf-8")文字コードを作成元に合わせる
型を確かめるdf.dtypes数値のはずが文字列でないか
範囲に合う型を指定dtype={...}値が収まるか先に確認する
繰り返す文字列を軽くするcategory種類が多すぎる列には向かないことがある
実メモリを見るdf.info(memory_usage="deep")shallowな数字だけで安心しない
全体をざっと見るdf.describe(include="all")平均だけで結論を出さない

冷蔵庫に食材を放り込んで、扉が閉まったから料理開始、ではなかった。今回の表は同じ10万行なのに、指定なしだと14,000,131 bytes、型を見て載せると800,854 bytes。CSVはちゃんと開いた。でも僕は、太鼓が鳴った瞬間ではなく、冷蔵庫の重さを測ったところで、ようやく読み込みが終わった気がした。

同じ表なのに、冷蔵庫の重さが違う。
同じ表なのに、冷蔵庫の重さが違う。
やあ、ここまで読んでくれてありがとう。

身近な疑問に引っかかったら、数えて確かめないと気が済まない。引っかかってから「なるほど」に辿り着くまでの過程を置く場所「猫だくさん」。