Calibration and sharpness

キャリブレーションとシャープネスの抽象画

次の図で、スパム分類器のキャリブレーションと鮮明さを視覚化してみましょう。スパム分類子は同じ色の円の集合で表され、各円のサイズはそれぞれの予測されたスパム確率でタグ付けされた電子メールの数を反映します。x 軸は予測されるスパムの確率、y 軸は発生するスパムの頻度です。軸のスケールは、ゼロに近い（「ほぼ確実にない」）か 1 に近い（「ほぼ確実に」）確率を詳細に示すような方法で選択されます。

同じ値を想定する個々のスパム確率予測の集合である円は、予測される確率と測定された頻度が一致する斜めの黒い線である較正線上にあるときに較正されます。円が較正線から離れるほど、予測と実際の差が大きくなり、予測の較正が不正確になります。円が較正ラインより上にある場合、関連する予測は真の確率を過小予測しており、較正ラインより下にある場合、予測は過大予測しています。右下と左上には、まれな出来事に非常に大きな確率を割り当てる、悲惨なほど悪い予測、またはその逆の予測が見つかります。

次に緑色の円を見てみましょう。6 つの円すべてにおいて、予測される確率と実際の頻度がうまく一致しており、これは完全に調整された、かなり正確な予測を反映しています。単一の青い円は調整されています (対角線に当たっています) が、電子メールのスパム確率を尋ねられるたびに「85%」しか出ない、役に立たない不正確な予測を反映しています。それは防御的な予測です。間違ってはいませんが、役に立ちません。オレンジ色の円は、スパム フィルターが過度に自信過剰であることを示しています。スパム予測として 0.2% または 99.8% が生成されますが、これは強い主張であり、真実であれば役に立ちます。しかし、「ほぼ確実にスパムではない」メールのうち、約 5% がスパムであり、予測された 0.2% を大幅に上回っています。「ほぼ確実にスパム」メール（予測確率 99.8%）のうち、実際にスパムであるのは約 95% のみです。オレンジ色の予測は緑色の予測よりも正確ですが、調整が失われています。予測を信頼できないため、表面上の確実性が追加されても役に立ちません。

赤い円は、不明確で調整されていない予測を反映しています。このスパム フィルターは常に各メールに「25%」の確率を割り当てますが、これは誤り (全体の確率は約 80%) であり、具体的ではありません。

「キャリブレーションによる最大の鮮明度」というパラダイムは、円をキャリブレーション ラインに接着したまま、左下と右上の「ほぼ確実な」領域にできるだけ押し込むことを意味します。私たちは「1% がスパム」や「99% がスパム」といった、力強く実行可能な発言を目指していますが、これらの発言は真実に基づいたものでなければなりません。

需要予測の調整と明確化

Blue Yonder では、スパムフィルタリングを生業としているわけではありませんが、たとえば顧客の需要の予測は行っています。私たちの目標はバイナリ（スパム/非スパム）ではなく、数字です。上記の議論の多くは再利用できます。調整されているが役に立たない予測では、将来のすべての製品-場所-日に全体的な平均需要（製品、場所、日を平均したもの）が割り当てられます。「その製品は明日平均で 1.6 倍売れます」とすべての製品、日、場所で繰り返されるのは、典型的なスーパーマーケットにとっては真実で調整された声明ですが、補充やその他のビジネス上の決定にとって意味のある根拠にはなりません。一方、最大限に正確であるかのように装った予測（「明日、店舗 123 では、きゅうりをちょうど 17 本販売します」）は非現実的であり、廃棄や在庫切れに関する有意義な戦略的決定を妨げることになります。

小売業の予測はどこまで正確になるのでしょうか?小売業では、多数の潜在的顧客（1 日あたり 100 人以上）を相手にしていますが、それぞれの顧客が特定の商品を購入する確率は低く、スーパーマーケットに入ると、提供される商品のほんの一部しか購入しません。さらに、すべての製品が完全な在庫状況（在庫切れが一切ない）を誇り、各顧客が特定の製品を最大で 1 つ購入すると仮定すると、理論上最大限可能な鮮明度がわかります。これはポアソン分布であり、その特性については以前のブログ「少数の予測は異なる」で説明しました。つまり、予測平均値の周りの売上分布はポアソン分布に従います。平均予測が「5」の場合、実際の需要が、たとえば 3 (確率 14%)、4 (確率 18%)、5 (確率 18%)、6 (確率 15%)、7 (確率 10%) などになる可能性が有限です。これらの予測確率は、スパム フィルターの場合と同様に、実際に検証できます。「13 本のきゅうり」というイベントに 12% の確率を割り当てると、平均して、このようなケースの 12% で 13 本のきゅうりが販売されると予想されます。調整を確立したら、在庫切れと廃棄のコストのバランスをとるなどの戦略的な決定を予測に基づいて行うことができます。

実際には、ポアソン分布の背後にある強力な仮定は満たされないことがよくあります。人々は特定の製品をより多く購入し、製品は在庫切れになり、需要に影響を与えるすべての要因がわかっているわけではないため、平均購入確率を知っているふりをすることは困難です。それでも、ポアソン分布は、時には到達不可能ではあるものの、近似的な理想的なケースであり、優れた方向性を示します。当社の予測ソリューションでは、実際に達成されたパフォーマンスをさまざまな理論上の限界と比較して、特定の状況下で実現可能な範囲にどれだけ近いかを推定します。これにより、改善が容易な点、すでに優れた予測、さらに調査が必要な異常を特定できるようになります。

優れた予測は優れた友人に似ている

したがって、「較正の対象となる予測分布の鮮明さを最大化する」というパラダイム (Gneiting、Balabdaoui、Raftery) は、あらゆる分野で予測パフォーマンスを具体的にするために非常に役立ちます。最終的には、あらゆる予測状況において、「これは可能な限り正確な調整された予測です」と自信を持って言えるようにしたいと考えています。

その予測は、素晴らしい話をし、役立つアドバイスを与えてくれるが、決してあなたに嘘をつかない、あなたの最も面白い友人のようなものです。