CSVを読めた瞬間、僕の中の小さな太鼓が鳴る。read_csv が通った。列も見える。これはもう勝ち、と思う。太鼓の音にしては、後から請求されるメモリ代が高い。
今日の話を一言で言うと、CSVの読み込みは「開いた」だけで、まだ「正しく載せた」ことにはならない。冷蔵庫に食材を全部むき出しで詰めてから、あとでラベルを貼るようなものだ。入ることと、扱いやすいことは別だった。
まず用途を読む:read_csv は入口、describe は覗き窓
AIが最初に書きがちなコードは、だいたいこうなる。
import pandas as pd
df = pd.read_csv("sales.csv")
print(df.describe())
これはCSVを表にして、数値列の件数・平均・標準偏差・最小値などを覗くコードだ。データ分析の入口としては便利だし、僕も使う。問題は、入口を通ったことだけで建物全体を見た気になりやすいことだった。
read_csv は区切り文字のあるファイルをDataFrameにする。describe は、そのDataFrameに何が入っているかをざっくり見る。だから最初に見るべきは、きれいな平均より、列の型と欠損とメモリだった。
| 見るもの | 僕が確認すること |
|---|---|
read_csv | 文字コード、列名、推論された型 |
df.info() | 非null件数、型、メモリ使用量 |
df.describe() | 数値列の分布と、変な桁の値 |
代表要素:引数を一つ足すだけで、表の荷物が変わる
今回触った代表要素は三つだ。
encoding="utf-8" は、どの文字コードで読むかを明示する。日本語CSVなら、ここを「たぶん既定値で大丈夫」と飛ばすより、作った側の文字コードに合わせて書いておく方が、後で文字化けしたときに探しやすい。
dtype={...} は列の型を指定する。IDを int32、0から10,000までの金額を int16 にする、といった具合だ。入る値の範囲を確認せずに小さくするのは危ないので、ここは数字を見てから決める。
category は、同じ文字列が何度も出る列をカテゴリとして持つ方法だ。今回の city は4種類、plan は3種類だった。100,000行ぶん同じ文字列を抱え続けるより、候補を持って番号で参照する方が軽くなる。
| 指定 | 今回の列 | 役割 |
|---|---|---|
encoding="utf-8" | CSV全体 | 文字の読み方を固定 |
dtype="int32" | user_id | 範囲に合わせて整数幅を縮める |
dtype="int16" | amount | 0〜10,000を収める |
category | city, plan | 繰り返す文字列をまとめる |
AIが書く例:動くコードと、食べるコードは同じ顔をしている
10万行、列は user_id、amount、city、plan。同じCSVを二通りで読んだ。コードはこのくらい違う。
# 動く。けれど、型を全部おまかせにする
df = pd.read_csv("sales.csv", encoding="utf-8")
# 値の範囲と種類を見たあとで指定する
df = pd.read_csv(
"sales.csv",
encoding="utf-8",
dtype={
"user_id": "int32",
"amount": "int16",
"city": "category",
"plan": "category",
},
)
Pandas 3.0.5で同じデータを実行し、df.memory_usage(deep=True).sum() を出した。
| 読み方 | DataFrameの形 | メモリ使用量 |
|---|---|---|
| 指定なし | 100,000行 × 4列 | 14,000,131 bytes |
dtype指定+category化 | 100,000行 × 4列 | 800,854 bytes |
指定なしでも表はできる。エラーも出ない。けれど今回のデータでは、指定なしが約17.5倍のメモリを使った。削減率は94.28%だった。
ここで「常に17倍軽くなる」と書いたら、もう別の嘘になる。列の種類、文字列の長さ、値の範囲で結果は変わる。僕が言えるのは、このCSV、このコード、この実行ではそうなった、までだ。
追記(2026-10-02):pyarrow が入っていると、17倍は5.5倍になる。 上の数字には、もう一つ条件が隠れていた。Pandas 3 は、pyarrow がインストールされていれば文字列の列を Arrow の形で持ち、無ければ Python のオブジェクトで持つ。上の計測は後者だった。同じ形の10万行を作り直し、Pandas 3.0.6 で pyarrow の有無だけを変えて測った(データを作り直したので、上の表とは数字が少しずれる)。
| 環境 | 文字列列の持ち方 | 指定なし | dtype指定+category化 | 差 |
|---|---|---|---|---|
| pyarrow なし | Python オブジェクト | 14,209,239 bytes | 800,853 bytes | 約17.7倍 |
| pyarrow あり | Arrow | 4,409,239 bytes | 800,512 bytes | 約5.5倍 |
軽くなったのは「指定なし」の側だけで、指定した側はほとんど変わらない。差を生んでいたのは主に city と plan の文字列だったからだ。自分の環境がどちらかは、df.dtypes["city"].storage で確かめられる('pyarrow' か 'python' が返る)。同じコードでも、入っているライブラリ一つで倍率が3分の1になる。「このCSV、このコード、この実行」に、「この環境」も足しておく。
データの作り方から計測までの再現コードと、列ごとの内訳は、Zennの検証記事に載っている。
監査:最初に見るのは、コードの短さではなく出力
AIのコードを読むとき、僕はまず read_csv の行を探す。その次に、次の三つを出す。
print(df.dtypes)
df.info(memory_usage="deep")
print(df.describe(include="all"))
今回の指定なしでは、user_id と amount は int64 になった。指定後はそれぞれ int32 と int16。文字列の city と plan はカテゴリになった。表の中身が同じでも、載せ方が違う。
もう一つ、describe() の数字を読んで終わりにしない。今回の amount は平均 4999.520250、中央値 4999.500000、最大 10000 だった。平均だけを見て「だいたい5,000」と言うことはできるが、これは概観であって、データの正しさの証明ではない。平均と中央値の読み分けは、平均と中央値の回に置いてある。
| 監査の問い | 見る場所 | 今回わかったこと |
|---|---|---|
| 数値列は何型か | df.dtypes | int64のままの列があった |
| 文字列列は何種類か | nunique() | cityは4種類、planは3種類 |
| どれだけ食べるか | memory_usage(deep=True) | 指定なし14,000,131 bytes |
| 概観の数字はどうか | describe() | amountの平均は4999.520250 |
この順番なら、「動いたから正解」という判定を一回止められる。文字コードの指定漏れ、数値のはずの列が文字列になっている、混合型の警告を無視している、といった入口の罠も見つけやすい。
チートシート:CSVを開けたあとに置く付箋
僕の付箋はこれで十分だった。十分というのは、これだけで全て分かるという意味ではなく、次に見る場所を忘れないという意味だ。
| やりたいこと | 見る・書くもの | 気をつけること |
|---|---|---|
| CSVを読む | pd.read_csv(path, encoding="utf-8") | 文字コードを作成元に合わせる |
| 型を確かめる | df.dtypes | 数値のはずが文字列でないか |
| 範囲に合う型を指定 | dtype={...} | 値が収まるか先に確認する |
| 繰り返す文字列を軽くする | category | 種類が多すぎる列には向かないことがある |
| 実メモリを見る | df.info(memory_usage="deep") | shallowな数字だけで安心しない |
| 全体をざっと見る | df.describe(include="all") | 平均だけで結論を出さない |
冷蔵庫に食材を放り込んで、扉が閉まったから料理開始、ではなかった。今回の表は同じ10万行なのに、指定なしだと14,000,131 bytes、型を見て載せると800,854 bytes。CSVはちゃんと開いた。でも僕は、太鼓が鳴った瞬間ではなく、冷蔵庫の重さを測ったところで、ようやく読み込みが終わった気がした。