「統計学って結局何をやってるの？」
統計学の勉強をしていく中で、このような疑問を持たれた方も多いかと思います。計算することはできるけど、その目的が分からないという感じでしょうか。
統計学と統計学以外の数学とでは大きく違う部分があって、それは”ある程度の信頼度”というものを考慮するか否かという点です。統計学以外の数学では”必ずそうなる”ことを積み上げて論理展開していくのに対して、統計では（特に推定と検定では）”必ずしもそうはならない”ことを積み上げて論理展開していきます。
その論理展開をしていく上で、信頼度（信頼区間）や有意水準、標準偏差といった統計学を特徴づける概念が必要になってくるのですが、それまでは”必ずそうなる”を前提にしている数学しか勉強してこなかったので、イマイチ統計学の考え方がピンと来ないってことですな。
その疑問の一つに「なぜ信頼度を100%に設定しないのかが分からない」というものもあるかと思います。というか、僕がそうでした。
ということで今回は昔の僕の質問に答えてみます。
本題に入る前に一応、標準偏差についての軽い説明を。標準偏差というのは「データがどれだけばらついてるのかを表す数値」になります。標準偏差が大きいほどデータはばらついてるってことになりますし、逆に、標準偏差が小さいほどデータはばらついてないってことになります。
それでは、ここからが本題になります
なぜ100%で推定をしないの？
推定の場合は信頼度（つまり、信頼区間）を、検定の場合は有意水準を設定します。95%信頼区間や有意水準5%という数値のことですな。で、なぜこれを100%や0%にしないの？と。
ここからは推定の場合に絞って話を進めていきます。
信頼度としてはよく95%という数値が使われますが、場合によっては90%でもいいし、場合によっては99%でないといけないみたいな説明を受けることがあります。極論すれば、解析者の主観で決めていい数値だということになります。
「じゃあ100%にすればいいんじゃない？そうすれば、確実なことが分かるんだから」という疑問がここで出てきます。
これに対しては、2つの観点からの答えがあります。まず1つ目として統計学的な観点から答えるとすれば、「100%にすると統計学の意味が無くなるから、100%では推定しない」となります。
次に2つ目として実務的な観点から答えるとすれば、「100%信頼区間というのは、つまり考えられる全体と言うことになる。それでは使い物にならない」となります。
どういう意味か説明していきます。
まず、統計学のそもそもの目的は「ばらつきが存在するデータから知見を得るには、どういう理論を組み立て、どういう結論を導けばいいかを確立すること」になります。
知見は確実ものでなければならないという意味で言えば、「100%で推定をすべきだ」という考え方は必ずしも間違っているとは言えません。
ただし、その知見が本当に知見として成り立っているかどうかが問題になります。100%で推定をして得られた結果は、本当に役立つのでしょうか？
推定での信頼度の役割
例えば、オレンジの重さが正規分布に従うと仮定して推定したとしましょう。統計的推定をすれば、例えば「オレンジの重さの95%信頼区間は200グラムから220グラムです」というような結論を導くことができます。
ここで、信頼区間はある程度のデータが含まれているであろうと予測できる範囲を表していたことを思い出してください。
今の例の結論で言えば「すべてのオレンジの内、95%は重さが200グラムから220グラムの間の数値だと”予想できます”」とも言い換えられるということになります。この”予想できる”という部分を頭に置いたまま、次の説明を読んでみてください。
同様のオレンジに対して、重さが正規分布に従うことを仮定した上で、仮に「100%の推定」を行ったとします。その場合「オレンジの重さの100%信頼区間は実数の範囲です」というような結論が導かれることになります。というのも、正規分布上の100%信頼区間は、\( -\infty \)から\( +\infty \)までの範囲になってしまうからです。
つまり、これを95%信頼区間のときと同じように言い換えてみると、「すべてのオレンジの内、100%は重さが実数の範囲内の数値だと予想できます」となります。
ここで読者の皆様に考えていただきたいのですが、この結論は果たして”予想した”と言えるでしょうか？知見として成り立っているでしょうか？役に立つ知識を得られたと言えるでしょうか？
おそらく、答えは”No”だと思います。つまり、誰がどう考えてみてもオレンジの重さが実数で表される以上、オレンジの重さは実数で表されて当然です。100%信頼区間ではオレンジの重さとしてはあり得ない負の数まで考慮されているために、この結論はむしろ間違っているとも言えます。
つまり、知見を得たいと思って寸分の確実性も犠牲にしないとすると、本当に確実なことしか言えなくなってしまい、何の役にも立たなくなってしまうのです。（個人的には、「役に立つ知識を求めようとしてまず確実性を求めれば、役に立たない知識しか得られない」というのはなかなか皮肉が効いてるなと思うわけですが笑）
そうではなく、統計学の価値は「ある程度の確実性を犠牲にしても理論を構築できると示した」ことにあり、「ばらつきという不確実性を数学的に議論できるようにした」ことにあります。
ある程度の確実性を犠牲にした結果として、判断や行動の基準に出来る知見（つまり、役に立つ知識）を得ることが出来るのです。「信頼度とは、どの程度の確実性を基に議論するかを表した数値である」とも言えるでしょう。
カフェで推定してみると・・・？
ここまでの話で実務的な側面からの答えについても納得いただけるかと思います。一応、もう少し現実的な例として、とあるカフェの売上で考えてみます。
当然、赤字になってしまっては店を続けられなくなるので、必ず利益が支出を上回るようにしておく必要があります。ですが、コーヒー豆（当然、コーヒー豆以外も）を仕入れておかなければ売り上げは上げられませんし、人件費なども必要です。そこで、来月はどの程度の利益がありそうなのかを概算でもいいので計算しておく必要があります。
ある月の商品売り上げがどの程度になるかを推定しておいて、人件費や仕入れに使った費用がそれ以下に収まるように商品を仕入れる必要があるわけです。
この場合も、オレンジの重さのときと同じく、結論として「来月発生するであろう売り上げは95%の確率で200万円から220万円の間だろう」というようなことが導かれます。
ある程度の幅はありますが、95%の確率でその間に収まることが分かれば、ギリギリの利益を狙って220万円を仕入れや給料等に当てたり、あるいは、来月は来客数が減りそうな予測が出来るのなら、200万円や180万円など、やや少なめの費用を使うなどといった判断材料に出来ます。
もしこれが、100%で推定していた場合はどうでしょうか？
結論は「来月発生するであろう売り上げは100%の確率で\( -\infty \)から\( +\infty \)の間だろう」ということになります。これはつまり、売り上げが実数値のどれかであると言っているのですから、ごく当然のことです。目安にもなりません。実務的には何の役にも立ちません。
これが、実務的な答えの意味になります。
まとめ
統計学では”ある程度の信頼度”、言い換えれば、すべてのデータに対して当てはまるわけではないということを前提にすると、どのような理論が成り立つのかを示していく学問です。なので、そもそも信頼度が100%（すべてのデータに対して当てはまる）という前提自体が統計学の扱おうとする内容ではありません。
そして、仮に100%の信頼度を考えたとしても、そこから導き出せるのはごく当然の結論になってしまうから、やっぱりその信頼度で計算を進めることに意味はないということでした。
統計学を実務で応用したときは、まったく参考にならない結論しか出せないので、信頼度は100%に設定しないという話でした。
ざっくりと言えば、信頼度100%での推定は、数学的にも実務的にも意味を持たないということですね。
この考え方が学習のお役に立ちましたら幸いです。ではでは～