Tips×Tips＝Idea: [メモ] 数字に踊らされないために―数字の３つの嘘

最近、「数字」の重要性が語られることが多くなってきている気がします。

ビジネスのマーケティングでも、そのような流れと聞きました。
昔は、少数のカリスマ的なマーケッターによる経験的感覚的判断で意思決定されてきました。
今は、数字による論理的判断によって意思決定がされるようになったらしいです。

Web系では、データマイニングが見直されたりしています。

「数字は嘘をつかない」などと言うこともありますよね。

しかし、「数字は嘘をつきます」。
数字、さらに言えば統計を過信してはいけないのです。

かの元イギリス首相ベンジャミン・ディズレイリは、嘘についてこのように話しました。

There are three kinds of lies: lies, damned lies, and statistics.
「嘘には三つの種類がある。ウソと真っ赤なウソ、そして統計だ」

また、あるＩＴ系企業のパートナーの方もこのように仰っていました。

「アンケート調査なんてでたらめだ。本当の情報は自分で関係者に聞いたことだ。」

何故、数学では嘘をつかない数字が、統計では嘘をつくのでしょうか。
それには、３つの理由があると思います。

①統計手法の問題
これは、最もわかりやすい問題だと思います。
そもそも、統計の枠組みが現実に即していないという問題です。

例えば、統計に計上されない弱者を指した「ステルス弱者」。
この造語のセンスはさておき、「日本にあふれるステルス弱者」という記事で指摘されています。
データを集める上で漏れや偏りがあること問題です。

サンプリング方法などを注意深く考える必要があります。

②ワーディングの問題
ワーディングとは言葉づかいを指し、この場合はアンケートの質問の仕方による誤差です。
例えばある分析では、２パターンの質問を用意し実証を行ったそうです。

Ａ．「○○は××であると思いますか」
Ｂ．「○○は××であると思いますか、思いませんか」

この二つの質問の意味するところは全く同じです。
しかし、その結果はＢ．のほうが圧倒的に「思わない」と回答した数が多かったそうです。

③バイアスの問題
これもなかなか厄介な問題です。
例として「なぜビジネス書は間違うのか」という本では、ハロー効果によるバイアスを大きく扱っています。
この本では、あの有名なビジョナリー・カンパニーやエクセレント・カンパニーを槍玉にあげています。

筆者は、ほとんどのビジネス書や新聞は企業の業績（売上高など）を見て、社風やリーダーシップを評価するハロー効果による妄想に陥っていると断じています。

要するに、ハロー効果によるバイアスにまみれたアンケートでは意味がないということです。
いくら綿密に見える調査を行ったところで、バイアスが働いていて無意味です。

このハロー効果以外にも様々なバイアスがあり、感情などに起因にする認知バイアスは統計の枠組みやワーディングが妥当なものでも、結果が歪められる可能性があります。
上の二つとかぶる部分もありますが、あえて別にしました。

認知バイアスに前にまとめた記事があるので、そちらを参照してください。
[メモ] 知っておきたい22の認知バイアス

簡単に挙げると以上のようになります。

数字をもとにしたファクトベースの主張は一見信頼できそうですが、そうとも限らないというこですね。
卒業までにもう少し統計やら計量やら勉強したいと思います。