データサイエンスのいろは · ⏱️ 読了目安 12分

テストデータをのぞいたスケーラーは、答えを先に見ている|sklearnのPipeline

スケーラーがテストの答案を先にのぞくと、採点が妙に当たることがある。今回の小さな実験では、テスト精度が 1.00 になった。けれど、その数字は訓練だけで作った処理の 0.53 より立派、とは言えなかった。

① 用途:Pipeline は前処理と予測をひと続きにする

StandardScaler は、各列の平均と標準偏差を使って値の尺度をそろえる変換器だ。fit で変換に使う値を覚え、transform でその値を使ってデータを変換する。予測器の fit は訓練データから分類の規則を学ぶ。

Pipeline は変換器と予測器を順番につないで、ひとつの推定器のように fit / predict できる。訓練データで fit すれば、前処理も訓練データに対して学習され、予測時には同じ変換がテストデータに適用される。僕はこの「fitを誰が持つか」を見落とすと、コードが動いたままテスト側の情報を学習へ混ぜる。

部品ここでの役割
StandardScaler.fit平均と標準偏差を覚える
transform覚えた値で尺度をそろえる
KNeighborsClassifier.fit訓練データを近傍探索に使える形で覚える
Pipeline.fit前処理から予測器までを訓練データで順に学習する

② 代表要素:fit を呼ぶ順番が境界線

大事なのは、前処理をしたかどうかだけではなかった。どのデータで前処理の fit をしたかだ。

書き方fit が見るデータひっかかる点
scaler.fit_transform(X) → 分割全データテストの分布まで平均・標準偏差に入る
scaler.fit(X_train) → 両方を transform訓練データ分割後の値で変換する
Pipeline(...).fit(X_train, y_train)訓練データパイプラインに分割後の訓練だけを渡す

テストデータのラベルを使っていなくても、テストの特徴量から分布を覚えれば、評価用データの情報は前処理に入っている。scikit-learnのガイドも、分割してから前処理を行い、Pipeline で適切な部分集合に処理を当てる方法を説明している(Common pitfalls: data leakage、Pipeline)。

③ AIが書く例:全データで先に標準化したら

わざと差が見えるように、テスト側だけ特徴量 noise の分布を大きくずらした人工データを作った。これは実データの再現ではない。テストをのぞく操作がどんな情報を混ぜるか、手元で比べるための作り物だ。

import numpy as np
from sklearn.metrics import accuracy_score
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

rng = np.random.default_rng(0)
n = 120
signal = rng.normal(size=n)
noise = rng.normal(size=n) * 2
y = (signal > 0).astype(int)
X = np.c_[signal, noise]

train_idx, test_idx = train_test_split(
    np.arange(n), test_size=0.25, random_state=12, stratify=y
)
# テスト側だけ、分類には使わない noise の分布をずらす
X[test_idx, 1] = X[test_idx, 1] * 20 + 100
X_train, X_test = X[train_idx], X[test_idx]
y_train, y_test = y[train_idx], y[test_idx]

# 罠:分割後なのに、scalerのfitには全Xを渡している
scaler = StandardScaler().fit(X)
leaky = KNeighborsClassifier(n_neighbors=5).fit(
    scaler.transform(X_train), y_train
)
leaky_score = accuracy_score(y_test, leaky.predict(scaler.transform(X_test)))

# Pipelineには訓練データだけを渡す
safe = make_pipeline(StandardScaler(), KNeighborsClassifier(n_neighbors=5))
safe.fit(X_train, y_train)
safe_score = accuracy_score(y_test, safe.predict(X_test))

print(f"全Xでfitしたscaler: {scaler.scale_[1]:.3f}")
print(f"訓練だけでfitしたscaler: {safe.named_steps['standardscaler'].scale_[1]:.3f}")
print(f"リークあり精度: {leaky_score:.2f}")
print(f"Pipeline精度: {safe_score:.2f}")

このコードを scikit-learn 1.9.1 で実行した出力はこうだった。

全Xでfitしたscaler: 44.545
訓練だけでfitしたscaler: 2.075
リークあり精度: 1.00
Pipeline精度: 0.53

同じ30件のテストで、精度だけならリークした方がよく見えた。全データで求めた noise の標準偏差は44.545、訓練だけなら2.075。テスト側の極端な値が全体の尺度を大きくし、近傍計算で noise の影響を薄めていた。この人工データでは signal だけでラベルが決まるように作ったので、リーク側の数字が上がった。

定規がテスト箱まで覗いたら、点数は妙に立派になった。
定規がテスト箱まで覗いたら、点数は妙に立派になった。

④ 監査:スコアの前に fit の入力をたどる

この実験は「データリークがあれば精度が上がる」という証明ではない。わざとテスト分布をずらしたデータでは、リーク側が偶然よい尺度になった。別のデータなら差が逆向きにも、ほぼゼロにもなり得る。1.00という結果を見て僕が確かめたのは、うれしい数字の由来だった。

コードで見る場所確認すること
train_test_split前処理の fit より先に分割しているか
.fit(...) / .fit_transform(...)引数に X_train だけが入っているか
Pipeline.fit(X_train, y_train)前処理も訓練データ内で学習される形か
.predict(X_test)テストには学習済み変換を適用しているか
テストスコア前処理やモデル選びに同じテスト結果を何度も使っていないか

もうひとつ、Pipeline にしただけで評価が全部安全になるわけではない。テストの点数を何度も見ながら前処理や設定を選び直せば、今度は選び方がテストに寄っていく。パイプラインが片づけるのは、つないだ前処理と推定器の fit の範囲だ。

「見えているものだけで判断すると偏る」という選択バイアスの話は、公開済みの選択バイアスの記事にある。ここではその概念を繰り返さず、テストの特徴量まで fit に入っていないかをコードで追った。

⑤ チートシート:データを分けてから、訓練側で覚える

呼び出し渡すデータ監査の目印
train_test_splitX, y前処理より先に置く
scaler.fitX_trainテストを含めない
scaler.transformX_train, X_test両方に同じ訓練由来の尺度を使う
Pipeline.fitX_train, y_trainパイプライン全体を訓練だけで学習
Pipeline.predictX_testテストは最後の評価に使う
accuracy_scorey_test, predict(X_test)高さだけでなく、その前のfitを読む

今回の 1.00 は、正解を覚えた成績ではなく、人工データでテストの分布を先に見たスケーラーの成績だった。訓練用の箱だけで定規を作ると 0.53。テスト箱を定規に混ぜたら 1.00。数字は上がったけれど、答案を見ていたのはスケーラーの方だった。

やあ、ここまで読んでくれてありがとう。

身近な疑問に引っかかったら、数えて確かめないと気が済まない。引っかかってから「なるほど」に辿り着くまでの過程を置く場所「猫だくさん」。