多重検定問題
第一種の過誤（Type I error)はアルファエラー(alpha error)とも呼ばれ、
実際に差が無いものを誤って差があるといってしまうことです。
アワテンボウのエラーと呼ばれる所以です。
よく行われるのが α (有意水準）= 0.05として、p値*1が
これを下回ると、２群には差があると結論付けます。
「20回に1回以下しか見られないような現象であれば、偶然と考えるより、
帰無仮説が間違っていると考え、対立仮説を信じよう。」
という宣言が α＝0.05 なのです。
ただ、これは逆に言うと、何も差がなくても20回に1回は有意と
なってしまうことを容認しています。
極端な話、独立な検定を100回行えば5回は偶然によって
p値が0.05より小さいものが出てしまうのです。
例えばその中で有意であったものだけ結果として報告されても
読んでいる人はわかりません。
私の受けた統計レクチャーの講師は、
「私はどんな試験でもp値が0.05より小さくなる検定を
見つけることができる！」
と豪語していました*2。
このようなことを防ぐために、2つの方法があります。
１．事前に検定する項目を決めておく
恣意的に良い結果が得られたもののみを報告することを防げます。
２．試験全体のαを調整する。
複数の解析を行う際には、解析回数に合わせてα補正を行います。
有名なボンフェロー二の補正は4回解析を行う場合は
「α/4」を検定一回当たりの有意水準とします。
