統計的仮説検定ってなんだ
できるだけ専門用語を出さずに統計的仮説検定の考え方を解説しました.
前提知識は高校数学で出てくる程度の確率と背理法の知識です. 一応ここで軽く復習しておきましょう.
繰り返し行える試行 \(T\) を考える. \(T\) を1回行ったとき事象 \(A\) が起こる確率は \(p\) であるとする. このとき, 試行 \(T\) を \(n\) 回行ったとき事象 \(A\) が \(k\) 回起こる確率は,
\[ \begin{pmatrix} n \\ k \end{pmatrix} p^k (1-p)^{n-k} \]
で計算できる.
たとえば
- \(T\)：サイコロ1個を1回振る
- \(A\)：1の目が出る
とすると \(p = 1/6\) です. したがってサイコロを10回振ったとき1の目が3回出る確率は
\[ \begin{pmatrix} 10 \\ 3 \end{pmatrix} \left(\frac{1}{6}\right)^3 \left(\frac{5}{6}\right)^7 \fallingdotseq 0.15 \]
と計算できます.
表が出やすいコイン発見
A：ねぇねぇ聞いて聞いて！ 表が出やすいコイン見つけた！ 3回連続で表が出た！
B：そんなの偶然の範囲だよ.
A：じゃあもし4回連続で出せたら認めてくれる？
B：うーん. 4回もまだ偶然の範囲かなー.
A：なら5回連続なら？
B：それなら結構すごいかも.
A：なら6回は？
B：奇跡だね.
A：なら7回は？
B：よくないことの前触れかもしれない.
何回連続で表が出たら, 表の出やすいコインだと言えるでしょうか？
表が出やすいコイン発見(再)
A：今日はちょっとテイストを変えていこうと思って.
B：なんの話？
A：表の出やすいコイン.
B：またそれか.
A：連続で出るかどうかじゃなくて, たくさん投げた中で何回表が出たかを数えてみた.
B：暇なんだね.
A：試しに100回投げてみたら55回も表出たよ.
B：55回くらいじゃ誤差の範囲かなー.
A：56回なら？
B：それも誤差の範囲だね.
A：じゃあ何回出りゃいいんだ！
100回中何回表が出たら, 表が出やすいコインだと言えるでしょうか？
統計的仮説検定の考え方
A：てか「誤差の範囲」ってのはなんなのさ.
B：表も裏もそれぞれ等しく \(1/2\) の確率で出るコインがあったとしよう. それを100回投げて, そのうち表が55回出るくらいのことはそんなに珍しくないんだよ.
A：そうなの？ どうしてそう言えるの？
B：じゃあ表と裏が等しい確率で出るようなコインが, 100回中55回以上表を出す確率を求めてみよう.
A：55回以上？ 55回じゃないの？
B：今考えたいのは「54回までは珍しくないけど55回からは珍しい」っていうボーダーラインだよね. 55回か否かじゃない.
A：そっか. 55回ピンポイントで考えるのは違うか.
B：さっきの確率を計算してみよう.
\[ \sum_{k=55}^{100} \begin{pmatrix} 100 \\ k \end{pmatrix} \left(\frac{1}{2}\right)^k \left(\frac{1}{2}\right)^{100-k} \fallingdotseq 0.184 = 18.4 \% \]
A：なるほど… \(18\%\) の確率で起こりうることなのね.
B：そう. だからそれがただのコインだってことは否定できないのさ.
A：でもさ, 何\(\%\) くらいのことが起きたら珍しいってことになるの？
B：よく使われるのは \(5\%\) や \(1\%\) っていう値だね.
A：自分で選んでいいんだ.
B：そう. 今回は \(5\%\) という基準を設定してみようか. すると100回中55回以上表が出るというのは…
A：\(5\%\) よりも大きな確率で起こりうることだから, 珍しくないって結論づけられるのか！
B：そういうこと. でも本当は \(5\%\) っていう基準は実験前に決めなくちゃいけないんだけどね.
A：どうして？
B：実験結果に応じて自由に決められたんじゃ虫が良すぎるからね.
はじめの問
A：結局, このコインがただのコインじゃないってことを言うためにはどんな実験結果が必要だったんだろ？
B：まずは珍しさの基準を設定しよう.
A：じゃあ \(5\%\) にしとくか.
B：ひとつめの, 連続で表が出るパターンから考えてみよう. いくつか計算してみたよ.
| 連続で表が出る回数 | 確率 |
|---|---|
| 3回 | \(12.5\%\) |
| 4回 | \(6.25\%\) |
| 5回 | \(3.125\%\) |
A：\(5\%\) を切るのは5回からか. たしかに3回連続くらいじゃただのコインてのは否定できないねー.
B：次は100回投げるパターンだね.
| 100回中何回表が出るか | 確率 |
|---|---|
| 57回以上 | \(9.67\%\) |
| 58回以上 | \(6.66\%\) |
| 59回以上 | \(4.43\%\) |
| 60回以上 | \(2.84\%\) |
A：\(5\%\) を切るのは59回以上からかあ. 次はもう少し頑張らないと.
B：いやそういうことじゃないでしょ.
統計的仮説検定の使い所
統計的仮説検定というのは, 「こんなに珍しいことが起きたんだから, このコインは普通じゃない！」ということを数字を用いて定式化したものです.
この考え方が使えるシナリオをいくつか考えてみます.
広告を打ったら売上が伸びた
業績アップのために広告を打ったところ, 売上が伸びたとしましょう.
ただ数字が伸びたからといって喜べません. この売上の向上が偶然の範囲なのかそうでないかを確かめる必要があります. それには統計的仮説検定がぴったりですね.
この場合は広告を打つ費用もかかっているので, それも考慮する必要がありそうですが…
バナー広告のデザインを変えたらクリック率が増えた
バナー広告というのはブログ記事等でよく貼り付けられているあれです(当ブログにはないですが).
これのデザインを変更したらクリック率が増加したとしましょう. それが偶然の範囲なのかを統計的仮説検定で検証します. もし偶然でないというならば, バナー広告のデザインは変更したほうが良いかもしれません.
まとめ
統計的仮説検定ってのはどういうものなのかを大まかに説明してみました. 自分で使えるようになるにはもっと統計を学ぶ必要がありますが, 「それって偶然の範囲じゃないの？」と一度立ち止まれるようになることが重要なのかなと思います.