スポンサーリンク

標準偏差は大きい方がいいの?小さい方がいいの? ~質問に答えてみた~

友達に実務的な場面で「標準偏差って大きい方がいいの?小さい方がいいの?」と聞かれたので、このテーマに沿って少し考えてみます。

ここで言う”実務的な場面”ってのは「統計学を使ってデータを解析する場面」のことを指しています。統計学の理論を別の学問(例えば物理学や経済学)に活かそうとか、統計学の新たな理論を作ろうといった話をしていくわけではないってことですな。

確認ですが、標準偏差とは次のような特徴を持った数値になります。

  • 単位が元のデータと同じである
  • データ一つ一つではなく、データ全体がどのくらいの範囲に収まっているかを表している
  • データの平均値が大きいとそれに伴って大きくなる傾向にある

標準偏差の特徴として3つ目に挙げた「データの平均値が大きいとそれに伴って大きくなる傾向にある」は、今までこのブログでは説明したことがありませんでしたが、この記事内で説明するので、今は分からなくても大丈夫です。

この上で、質問「標準偏差って大きい方がいいの?小さい方がいいの?」に対して極めて端的に答えるとすれば「返答不可能」になります。

ただ、「返答不可能」という答えを受けても釈然としないかと思います。なので、なぜ返答不可能なのかを説明して、その理由を踏まえた上で「こういう場合なら、例外はあるものの大体こうだよね」みたいな感じの考察も軽く書いてみます。

スポンサーリンク

そもそも”良い”、”悪い”とは何か?

今回考えていく質問「標準偏差は大きい方がいいの?それとも小さい方がいいの?」は、「標準偏差の大きさに対して、”良い・悪い”という基準で評価を与えると、どのような評価になるの?」という質問になっています。

つまり、大きさと良し悪しというように、2回の評価をしないといけないんですな。

なので、前提となっている「標準偏差とは何か?」「どんな状況でも数値の大きさに評価を与えることはできるのか?」「良い・悪いとは何か?」を明確にしておく必要があります。

というわけで、そのあたりのことを確認して、ついでに、質問の落とし穴も確認しておきます。

まず1つ目の「標準偏差とは何か?」ですが、標準偏差とは簡単に言えば、「ばらつき具合というデータのある種の”性質”を表した数値」です。

2つ目の「どんな状況でも数値の大きさに評価を与えることはできるのか?」です。これは、「不可能」です。より正確には「不可能な状況が存在する」です(”どんな状況でも”という部分が成り立たないってことですな)。標準偏差が性質である以上、それだけでは評価を与えることはできません。

例えば、iPhoneの重さを考えてみます。

1台のiPhoneの重さを測り取ると、そのiPhoneの重さという”性質”を知ることができたということになります。それが仮に133gだったとします。その数値は”大きい”のでしょうか?”小さい”のでしょうか?

もしかしたら、軽い(数値が小さい)や重い(数値が大きい)といったような評価を下した方もいるかもしれません。ですが、その”軽い・重い”はどのように判断したのでしょうか?過去のiPhoneや普段持っている財布など、他のものと比較したはずです。

そのような比較対象がまったく無かった場合、”軽いから”とか”重いから”といった評価は可能でしょうか?

不可能なはずです。つまり、性質はそれ単体では”大きい”とも”小さい”とも評価できないというものになります。

データの性質なのか、iPhoneという電子機器の性質なのかという違いはありますが、本質的な話「性質はそれ単体では評価できない」という点については同じです。

このことから、「比較対象が存在すれば、”大きい・小さい”という評価を与えることが可能である」ということが分かります。今は標準偏差で考えているので、比較対象は標準偏差です。

3つ目の「良い・悪いとは何か?」を考えてみます。これは「どういうものが”良い”と評価されてどういうものが”悪い”と評価されるのか?」とも言い換えられます。

色々な意見はあるでしょうが、「目的に沿っていれば”良い”と評価される」ということはほとんどの方に納得していただけるのではないでしょうか。「目標を達成できるなら”良い”と評価される」「実用上価値があれば”良い”と評価される」とも言い換えられます。

なので、「良い・悪いとは何か?」に対しては「目的に沿ったものであるかどうかである」と答えられるでしょう。

では、質問「標準偏差は大きい方がいいの?それとも小さい方がいいの?」の落とし穴を考えていきます。

仮に「標準偏差は小さい方が良い」という答えを受けたとします。そして、データを取ってみて標準偏差が大きかったらどうするのでしょう?

「標準偏差が大きい。だから悪い。なんか気分が悪いな」で終わりでしょうか?

おそらくそうではないはずです。もし「標準偏差は小さい方が良い」という知識と「現状、標準偏差は大きい」という事実があれば、「標準偏差を小さくするように工夫をする」ということになるかと思います。つまり、「ばらつきを抑えるための工夫をする」ことになりそうです。

ですが、それは可能なのでしょうか?費用に糸目をつけないのであれば、かなりばらつきを抑えることはできるでしょう。ですが、抑えられるのはある程度までで、多少のばらつきは残るはずです。

では、どの程度までばらつきを抑えればいいのでしょうか?

このように、「標準偏差は大きい方がいいの?それとも小さい方がいいの?」という質問では、「そもそも本当に標準偏差の大きさは改善すべきなのか?」「改善すべきで、かつ改善できたとして、どの程度まで改善すればいいのか?」という観点が抜けていることには注意しておいた方がいいかと思います。

最終的には、こういう程度問題になるんですが、その辺りの考察はまたのちほど。その前にまず、確認すべきことを一つずつ確認していきます。

スポンサーリンク

標準偏差の単純比較は無意味

上の節で、「そもそも大きさの評価は比較対象があって初めて成り立つものだ」という説明をしました(当たり前のことですが、質問を考えていく上で大事なので、結構な分量で説明させていただきました)。

そう考えると、標準偏差の大きさを評価したければ、他の標準偏差と比較すればいいということになりそうです。しかし、結論から言えばそれは不可能です。正確には、標準偏差を比較すること自体は出来ますが、その比較から意味のある知見を得ることは不可能です。

その理由を一言で言えば「単位の問題があるから」です。

そのことについて説明していきます。

まず、標準偏差の計算方法を確認しておきます。

$$ \sigma = \sqrt{\frac{1}{n}\sum_{i = 1}^n {(x_i – \overline{x})^2}} $$

が標準偏差の計算式で、\( n \)、\( x \)、\( \overline{x} \)がそれぞれ、データの個数、i番目のデータの数値、全データの平均値となっています。この\( x_i – \overline{x} \)は各データの平均値からのずれを表していて、偏差と呼ばれます。

この式を見ていただければ分かる通り、標準偏差は偏差の2乗の総和(偏差平方和)に対して、データ数での割り算を行った後、平方根を取るという計算で求められる数値です。このことから、標準偏差は各データのずれを集約した数値であると言えます。「標準偏差は全体的なデータのばらつきを表した数値である」と言われるゆえんですな。

次に、冒頭に挙げた標準偏差の2つ目の特徴「データ一つ一つではなく、データ全体がどのくらいの範囲に収まっているかを表している」を考えてみます。

例えば、オレンジの重さを測って、平均値が220gで、標準偏差が5gだと分かったとしましょう。より具体的な数値で表せば、データの95%が大体210gから220gの範囲内に収まっているということになります。

次に2つ目の例としてコーヒー豆を考えてみます。コーヒー豆の重さを測ったところ、平均値が0.2g、標準偏差は0.046gだと分かったとします。具体的な数値で表せば、すべてのコーヒー豆の内95%は、重さが0.11gから0.29gの間に収まっているということになります。

これらの標準偏差を単純に比較すれば、オレンジの重さの方が、コーヒー豆の重さのときよりも標準偏差が大きいということになります。

では、ここで考えてみてください。それぞれの標準偏差を単純に比較して「オレンジの重さの標準偏差の方が、コーヒー豆の重さの標準偏差よりも大きい。だから、オレンジの重さはコーヒー豆の重さに比べてばらつきが大きい」と結論付けることはできるのでしょうか?

より正確には、そのような比較により得た結論に意味はあるのでしょうか?

それを考える際に、冒頭で挙げた標準偏差の特徴の3つ目「標準偏差は、データの平均値が大きいとそれに伴って大きくなる傾向にある」を考える必要が出てきます。

ここでまた考えていただきたい問いがあります。オレンジの重さの標準偏差は5gでした。では、コーヒー豆の重さの標準偏差が5gになることはあるでしょうか?

ないはずですね。

つまり、データのばらつきはある程度平均値に依存するということになります。そして、平均値が大きくなればなるほど標準偏差が大きくなりやすいとも言えます。

このことから、平均値が大きいものと小さいものとで標準偏差を比較しても、その比較に意味はないということになります。つまり、大きさを評価することができないということになります。

これが、冒頭で「標準偏差って大きい方がいいの?小さい方がいいの?」に対しては「返答不可能」と答えるしかない理由です。

まとめ

長くなってしまったんで、とりあえずまとめを。

まず、最初の問題意識は「標準偏差って大きい方がいいの?小さい方がいいの?」という問いに答えを出すことでした。

その問いの中には「標準偏差が大きいのか小さいのか」という大きさの評価の問題と、「その大きさは良いのか悪いのか」という良し悪しの評価の問題というように、2段階の評価の問題が含まれていました。

ですが、標準偏差はその定義と性質から考えると、その第1段階目である「標準偏差が大きいのか小さいのか」に対して答えを出すことが出来ないものだと分かりました。なので当然、その次の段階である「大きさの良し悪しを評価する」ということも不可能だということになります。

結果として、この問いに対しては「答えがそもそも存在しない(返答不可能)」という答えを返すしかないということになりました。

しかし、今回は実務的な場面を想定していました。そのような文脈も含めて考えれば、もう少し踏み込んで考察できそうなので、次回は「標準偏差の大きさを評価できなくても、良し悪しは評価できることもあるよ~」みたいな記事を書こうかと思っています。

気長に待ってくだされば幸いです。ではでは~。

タイトルとURLをコピーしました