Part 1 · 確率・統計

1.7 仮説検定

「差がある」と言ってよい条件

この回で分かること

仮説検定の考え方（「差がない」と仮定して、結果が偶然で説明できるかを調べる）を説明できる
p値と 有意水準 の意味を説明し、割合の簡単な検定ができる
「有意差なし」が「差がない」の証明にならない理由を、2種類の誤りと 検出力 から説明できる

直感で理解する

歩行者を検出する認識モデルを更新しました。旧版の検出率は、長い試験の実績から 90% と分かっています。新版を 100回 試験したら 94回 検出できました。「4ポイント良くなった」と言ってよいでしょうか。

1.5 と 1.6 で見たように、試験の結果はばらつきます。本当の検出率が90%のままでも、100回の試験なら94回くらいはたまたま出ることがあります。問題は、今回の結果を「たまたま」で片づけられるかどうかです。

そこで仮説検定では、あえて 「新版は何も変わっていない（本当は90%のまま）」と仮定 します。そのうえで、今回のような結果がどれくらい起こりやすいかを計算します。とても起こりにくいなら、仮定のほうが間違っていたと考えて「差がある」と判断します。十分に起こりうるなら、「差がある」とは言えません。

裁判の「疑わしきは罰せず」に似ています。無罪（差がない）を前提にして、それをくつがえすだけの強い証拠がそろったときだけ、有罪（差がある）とします。

「新版は何も変わっていない（本当は90%のまま）」と仮定したときの、試験結果の出方（正規分布で近似）。赤い部分は、差がなくても両端を合わせて5%しか出ない「起きにくい」領域。100回の試験では94%はふつうに出る範囲にあるが、400回では山が細くなり、94%は赤い領域に入る。

100回中94回の場合、何も変わっていなくても「90%から4ポイント以上ずれる結果」が出る確率は約18%です。5回に1回くらいは偶然で起きるので、「良くなった」とは言えません。一方、同じ94%でも 400回中376回 なら、その確率は約0.8%まで下がります。偶然では説明しにくいので、「差がある」と判断します。同じ「94%」でも、試験の回数によって言えることが変わる のは、1.6 の信頼区間と同じです。

数式で確かめる

① 帰無仮説と対立仮説

「差がない」という仮定を 帰無仮説 $H_0$、「差がある」を 対立仮説 $H_1$ と呼びます（記号表）。「帰無」は、否定される（無に帰す）ことを期待して立てる仮説、という意味です。旧版の検出率を $p_0 = 0.90$ とすると、次のように書きます。

$$H_0:\ p = 0.90 \qquad H_1:\ p \ne 0.90$$

ここでは、良くなった方向と悪くなった方向の両方を「差」として扱います（両側検定）。

② 標準誤差の何個分ずれたか：z

帰無仮説が正しいときの標準誤差（1.5）を物差しにして、観測値 $\hat{p}$ が仮定した値 $p_0$ から何個分離れているかを測ります。

$$z = \frac{\hat{p} - p_0}{\sqrt{p_0(1-p_0)/n}}$$

100回中94回なら $z = (0.94 - 0.90)/\sqrt{0.9 \times 0.1/100} = 0.04/0.03 \approx 1.33$、400回中376回なら $z = 0.04/0.015 \approx 2.67$ です。平均（例：停止位置）を比べるときも同じ形で、分母が $s/\sqrt{n}$ になります。データが少なければ、1.6 と同じく t分布の値を使います（t検定）。

③ p値と有意水準

p値は、帰無仮説が正しいと仮定したとき、観測された結果と同じか、それよりも極端な結果が出る確率です。1.3 の正規分布を使うと、z から次のように求まります。

\|z\|	1.0	1.33	1.96	2.67	3.0
p値（両側）	32%	18%	5%	0.8%	0.3%

p値が、前もって決めておいた基準である 有意水準 α（ふつうは5%）より小さければ、帰無仮説を捨てて「統計的に有意な差がある」と判断します。|z| がおよそ2（正確には1.96）を超えるのと同じことです。今回は、100回の試験（p ≈ 18%）では有意でなく、400回の試験（p ≈ 0.8%）では有意です。なお、この表は正規分布による近似で、回数が少ないと二項分布で正確に計算した値とは少しずれます。

注意したいのは、p値は「差がない確率」ではない ことです。「差がないとしたら、こんな結果はどれくらい珍しいか」を表す数です。仮説そのものが正しい確率を考えたいときは、1.2 のベイズの考え方が必要になります。

④ 信頼区間との関係

95%信頼区間（1.6）に仮定した値（90%）が入っていないことは、有意水準5%で有意であることと、おおむね対応します。

100回中94回：94% ± 4.7% → 89.3%〜98.7%（90%を含む → 有意でない）
400回中376回：94% ± 2.4% → 91.6%〜96.4%（90%を含まない → 有意）

検定の答えは「差がある」か「差があるとは言えない」かの2択ですが、信頼区間は 差がどれくらいか まで教えてくれます。結果を報告するときは、p値だけでなく区間も添えましょう。

旧版の90%も試験で測った値なら、そちらの誤差も加わります。差の標準誤差は2つを合わせた $\sqrt{\mathrm{SE}_1^2 + \mathrm{SE}_2^2}$ になります。旧版も400回中360回（90%）だった場合、z は2.67から約2.1（p ≈ 4%）に下がり、ぎりぎりの有意になります。

⑤ 2種類の誤りと検出力

検定の判断は、次の2通りの形で間違えることがあります。

	本当は差がない	本当は差がある
「差がある」と判断	第1種の誤り（あわてんぼう）確率 α	正しいこの確率が検出力 1 − β
「差があるとは言えない」と判断	正しい	第2種の誤り（見逃し）確率 β

有意水準5%とは、第1種の誤りを5%までに抑えるという約束です。一方、第2種の誤りの起きやすさは、試験の回数で大きく変わります。本当に新版が94%に良くなっていたとき、有意水準5%で「差がある」と判断できる確率（検出力）は次のとおりです。

試験の回数	50	100	200	400	600
検出力	1割未満	2〜3割	約5割	約8割	約95%

100回の試験では、本当に良くなっていても7割以上の確率で「有意差なし」になります。「有意差なし」は「差がない」の証明ではありません。 試験を計画するときは、見逃したくない差の大きさを先に決め、検出力が8割以上になる回数を選ぶのが一般的です。

まとめ

仮説検定は、「差がない」（帰無仮説）と仮定して、結果が偶然で説明できるかを調べる方法
z ＝（観測値 − 仮定した値）÷ 標準誤差。p値が有意水準（ふつう5%）より小さい、つまり |z| がおよそ2を超えれば「有意な差がある」。これは95%信頼区間が仮定した値を含まないことにおおむね対応する
有意差なし ≠ 差がない（回数が少ないと検出力が低い）。有意 ≠ 大きな差。たくさん比べると偶然の「有意」が混ざる

確認クイズ

Q1. 旧版の検出率は90%。新版を900回試験したら837回（93%）検出できました。有意水準5%で差があると言える？

言えます。標準誤差は $\sqrt{0.9 \times 0.1 / 900} = 0.01$、z ＝ (0.93 − 0.90) ÷ 0.01 ＝ 3.0 で、p値は約0.3%。5%より小さいので有意です。

Q2. 検定の結果、p値は3%でした。正しい説明は？（a）新版と旧版に差がない確率は3%（b）差がないと仮定すると、今回と同じか、それより極端な結果が出る確率は3%

（b）です。p値は仮説が正しい確率ではなく、「差がないとしたら、この結果はどれくらい珍しいか」を表します。

Q3. ソフト更新後に50回試験したら「有意差なし」だったので、「新版は悪くなっていない」と報告しました。何が問題？

50回では標準誤差が約4.2%あり、±8ポイント程度の差は偶然のばらつきに埋もれてしまいます（検出力が低い）。「有意差なし」は「差がない」の証明ではありません。悪化していないと言うには、許せる幅を決めて、差の信頼区間がその内側に収まるだけの回数を試験します。

Q4. 40種類のシナリオで新旧を比べたら、2つのシナリオで「有意に悪化」と出ました。本当は差がまったくないとしても、有意水準5%で有意になるシナリオは平均いくつ出る？

40 × 0.05 ＝ 2つ。今回の結果は偶然でも説明できます。ただし安全に関わるので「偶然だろう」と片づけず、その2つのシナリオを追加で試験して確かめるのが安全側の対応です。

もっと知りたい人へ

次の回：1.8 稀な事象の統計
関連：1.2 条件付き確率とベイズの定理、1.5 大数の法則と中心極限定理、1.6 推定と信頼区間
用語集：仮説検定、p値・有意水準、第1種の誤り・第2種の誤り・検出力、多重比較
解説動画：YouTube（約5分）（静止画のスライドと音声で要点を説明。英語版の記事には英語の動画があります）