統計的仮説検定ってなんだ
できるだけ専門用語を出さずに統計的仮説検定の考え方を解説しました。
前提知識は高校数学で出てくる程度の確率と背理法の知識です。一応ここで軽く復習しておきましょう。
繰り返し行える試行 \(T\) を考える。\(T\) を1回行ったとき事象 \(A\) が起こる確率は \(p\) であるとする。このとき、試行 \(T\) を \(n\) 回行ったとき事象 \(A\) が \(k\) 回起こる確率は、
\[ \begin{pmatrix} n \\ k \end{pmatrix} p^k (1-p)^{n-k} \]
で計算できる。
たとえば
- \(T\)：サイコロ 1 個を 1 回振る
- \(A\)：1 の目が出る
とすると \(p = 1/6\) です。したがってサイコロを 10 回振ったとき 1 の目が 3 回出る確率は
\[ \begin{pmatrix} 10 \\ 3 \end{pmatrix} \left(\frac{1}{6}\right)^3 \left(\frac{5}{6}\right)^7 \fallingdotseq 0.15 \]
と計算できます。
表が出やすいコイン発見
A：ねぇねぇ聞いて聞いて！表が出やすいコイン見つけた！3 回連続で表が出た！
B：そんなの偶然の範囲だよ。
A：じゃあもし 4 回連続で出せたら認めてくれる？
B：うーん。4 回もまだ偶然の範囲かなー。
A：なら 5 回連続なら？
B：それなら結構すごいかも。
A：なら 6 回は？
B：奇跡だね。
A：なら 7 回は？
B：よくないことの前触れかもしれない。
何回連続で表が出たら、表の出やすいコインだと言えるでしょうか？
表が出やすいコイン発見(再)
A：今日はちょっとテイストを変えていこうと思って。
B：なんの話？
A：表の出やすいコイン。
B：またそれか。
A：連続で出るかどうかじゃなくて、たくさん投げた中で何回表が出たかを数えてみた。
B：暇なんだね。
A：試しに 100 回投げてみたら 55 回も表出たよ。
B：55 回くらいじゃ誤差の範囲かなー。
A：56 回なら？
B：それも誤差の範囲だね。
A：じゃあ何回出りゃいいんだ！
100 回中何回表が出たら、表が出やすいコインだと言えるでしょうか？
統計的仮説検定の考え方
A：てか「誤差の範囲」ってのはなんなのさ。
B：表も裏もそれぞれ等しく \(1/2\) の確率で出るコインがあったとしよう、それを 100 回投げて、そのうち表が 55 回出るくらいのことはそんなに珍しくないんだよ。
A：そうなの？ どうしてそう言えるの？
B：じゃあ表と裏が等しい確率で出るようなコインが、100 回中 55 回以上表を出す確率を求めてみよう。
A：55 回以上？55 回じゃないの？
B：今考えたいのは「54 回までは珍しくないけど 55 回からは珍しい」っていうボーダーラインだよね。55 回か否かじゃない。
A：そっか。55 回ピンポイントで考えるのは違うか。
B：さっきの確率を計算してみよう。
\[ \sum_{k=55}^{100} \begin{pmatrix} 100 \\ k \end{pmatrix} \left(\frac{1}{2}\right)^k \left(\frac{1}{2}\right)^{100-k} \fallingdotseq 0.184 = 18.4 \% \]
A：なるほど… \(18\%\) の確率で起こりうることなのね。
B：そう。だからそれがただのコインだってことは否定できないのさ。
A：でもさ、何 \(\%\) くらいのことが起きたら珍しいってことになるの？
B：よく使われるのは \(5\%\) や \(1\%\) っていう値だね。
A：自分で選んでいいんだ。
B：そう。今回は \(5\%\) という基準を設定してみようか。すると 100 回中 55 回以上表が出るというのは…
A：\(5\%\) よりも大きな確率で起こりうることだから、珍しくないって結論づけられるのか！
B：そういうこと。でも本当は \(5\%\) っていう基準は実験前に決めなくちゃいけないんだけどね。
A：どうして？
B：実験結果に応じて自由に決められたんじゃ虫が良すぎるからね。
はじめの問
A：結局、このコインがただのコインじゃないってことを言うためにはどんな実験結果が必要だったんだろ？
B：まずは珍しさの基準を設定しよう。
A：じゃあ \(5\%\) にしとくか。
B：ひとつめの、連続で表が出るパターンから考えてみよう。いくつか計算してみたよ。
| 連続で表が出る回数 | 確率 |
|---|---|
| 3回 | \(12.5\%\) |
| 4回 | \(6.25\%\) |
| 5回 | \(3.125\%\) |
A：\(5\%\) を切るのは 5 回からか。たしかに 3 回連続くらいじゃただのコインてのは否定できないねー。
B：次は 100 回投げるパターンだね。
| 100 回中何回表が出るか | 確率 |
|---|---|
| 57回以上 | \(9.67\%\) |
| 58回以上 | \(6.66\%\) |
| 59回以上 | \(4.43\%\) |
| 60回以上 | \(2.84\%\) |
A：\(5\%\) を切るのは 59 回以上からかあ。次はもう少し頑張らないと。
B：いやそういうことじゃないでしょ。
統計的仮説検定の使い所
統計的仮説検定というのは、「こんなに珍しいことが起きたんだから、このコインは普通じゃない！」ということを数字を用いて定式化したものです。
この考え方が使えるシナリオをいくつか考えてみます。
広告を打ったら売上が伸びた
業績アップのために広告を打ったところ、売上が伸びたとしましょう。
ただ数字が伸びたからといって喜べません。この売上の向上が偶然の範囲なのかそうでないかを確かめる必要があります。そんなときには統計的仮説検定がぴったりですね。
この場合は広告を打つ費用もかかっているので、それも考慮する必要がありそうですが…
バナー広告のデザインを変えたらクリック率が増えた
バナー広告というのはブログ記事等でよく貼り付けられているあれです (当ブログにはないですが)。
そのデザインを変更したらクリック率が増加したとしましょう。それが偶然の範囲なのかを統計的仮説検定で検証します。もし偶然でないというならば、バナー広告のデザインは新しいものに変えたほうが良いかもしれません。
まとめ
統計的仮説検定ってのはどういうものなのかを大まかに説明してみました。自分で使えるようになるにはもっと統計を学ぶ必要がありますが、「それって偶然の範囲じゃないの？」と一度立ち止まれるようになることが重要なのかなと思います。