データを改めて整理
改めて数字を整理します。
ワインAのページ訪問者
200人→購入3人（CVR1.5%）
ワインBのページ訪問者
1,000人→購入10人（CVR1.0%）
CV率だけで判断するのであれば、間違いなくＡのワインの方がBよりも1.5倍売れやすいワインだという判断になりますが、秋山部長が注目したのはサイト訪問数でした。
確かに、この訪問数を無視してCV率から判断するのは危険そうです。1ヶ月後にはCVR率がAとBで逆転している可能性も・・・、あるかもしれません・・・。
ここで、秋山部長は、このように判断しようと考えたのです。
ワインＡのデータ（200人中、3人購入）は、ワインBのデータ（1,000人に10人購入）よりも優れているのか？
「たまたまそうなっただけ（誤差の範囲である）」と仮説を立ててみよう、そのとき、誤差とは言えないという確率が95％以上あったときに初めて、AはBよりも確実に売れるワインだと判断しよう。
こう仮説を立てたのです。
「・・・？」とならないよう、敢えて普通の言葉で多少乱暴に言い換えてみます。
「こんなの誤差の範囲内でしょ」と言える確率が5%もないということは、要は95％以上の確率で「両者に明らかな差がある」という判断をするわけです。
結局、どう計算したのか？
結論から言うと、秋山部長は、「カイ二乗検定」という計算を行い、AとBのワインの売れ方の違いは誤差の範囲内だと証明したのでした。
誤差である確率が0.05（5％）よりも大きく、明らかに差があるということはできない、と結論づけました。
←結論に至る計算の流れが左図です。
結果、0.05よりも小さくならなかったので、「（現状、両者は）まだ誤差の範囲である」と結論づけたのでした。
詳しくは、上記にEXCELの形で計算方法を入れましたので、シートに沿ってトライして頂ければと思います。
逆に0.05よりも小さくなる数字（明らかに差があると判断できるケース）は、Aの値（CV数）がどのくらいの数値になったときなのか試して見つけても面白いと思います。そのポイントが明らかな差があると認められる数値ということになります。
＊注意＊
EXCELで簡単にできるので、今回はこの「カイ2乗検定」確率から導きました。「二項分布」からのアプローチも可能ですが、サンプル数が少ないこと、また説明が煩雑になることもあり、今回はこの解き方でアプローチしました。
さて、ワインでも飲みましょう。
結局、ワインは数字じゃなくて楽しく飲むものですからね！
おわり
