研究ニュースの決まり文句を解読する
「◯◯を食べる人は病気が少ないことが分かった(統計的に有意)」——研究報道の決まり文句です。この「統計的に有意」という言葉、なんとなく「科学的に証明された」と読んでいないでしょうか。実は違います。この言葉の正確な意味を知ることが、研究報道を読む力の核心になります。
検定の発想——「偶然」と戦う
新しい教材で学んだクラスの平均点が、従来の教材のクラスより3点高かったとします。教材の効果でしょうか? 慎重な人はこう考えます。「教材に差がなくても、たまたま3点くらいの差は出るのでは?」
これが検定の出発点です。手順は一種の背理法です。
- まず「差はない(効果はない)」と仮定してみる
- その仮定の下で、観察されたような差が偶然だけで生じる確率を計算する
- その確率が十分小さければ(慣例では5%未満)、「偶然では説明しにくい」として、差はありそうだと判断する
この「偶然だけで生じる確率」がいわゆる p値、「偶然では説明しにくい」と判定されたのが統計的に有意です。つまり有意性とは、「偶然か否か」の判定であって、「重要か否か」「正しいか否か」の判定ではないのです。
「有意」の3つの落とし穴
- 有意 ≠ 大きな効果:標本が巨大なら、実用上どうでもいい微小な差でも「有意」になります。「有意差あり」の次には必ず「で、差はどれくらい?」(効果量)を問うてください
- 5%は「間違えない」の意味ではない:有意水準5%とは、効果ゼロでも20回に1回は「有意」が出るということです。たくさん検定すれば、偶然の「当たり」が必ず混ざります。都合の良い結果だけを拾う操作(いいとこ取り)が問題になるのはこのためです
- 有意でない ≠ 効果がない:標本が小さければ、本当にある効果も検出できません。「差は確認されなかった」は「差がないことが証明された」とは違います
ニュースで使う視点
研究報道で「統計的に有意」を見たら、翻訳してください——「偶然では説明しにくい差が観察された。ただし、差の大きさ・再現性・因果かどうか(相関と因果)は別途確認」。この一文が頭にあれば、誇張された見出しに引っ張られず、研究の価値を等身大で受け取れます。
これで「統計学基礎」は修了です。代表値・ばらつき・推定・検定——この4点セットは、データが飛び交うあらゆるニュースで一生使える道具です。