1.9 極値と裾の重い分布
「めったに起きない」の扱い方
この回で分かること
- 裾の重い分布 の意味を説明し、正規分布を当てはめて稀な事象を見積もる危うさに気づける
- 回数が増えるほど最悪値(極値)が大きくなることを、「n回に1回の値」で説明できる
- ヒヤリハットから事故の起きやすさを外挿する考え方(極値理論)と、その限界を説明できる
直感で理解する
1.3 の正規分布では、平均から ±3σ の外に出るのはわずか0.27%でした。そこで「3σ の余裕をとれば十分」と考えたくなります。
ところが現実のデータには、ふだんはおとなしいのに、ときどき極端に外れる ものがあります。センサの測距誤差は、ほとんどは数cmでも、反射や遮蔽でまれに大きく外れます。人の反応時間も、ほとんどは1秒前後でも、よそ見をしていれば3秒以上かかることがあります。こうした分布の端(裾)が、正規分布よりずっと厚いものを 裾の重い分布 と呼びます。
正規分布を仮定して「6σ を超えるのは10億回に1回」と見積もった余裕が、実際の分布の裾が重ければ、1,000回に1回で破られるかもしれません。平均と標準偏差だけでは、稀な事象の確率は決まらない のです。
もう1つ大事なのが、平均ではなく 最悪値(最大値や最小値。まとめて 極値 と呼びます)に注目する見方です。試験を1日やったときの「いちばんヒヤッとした場面」と、1年間続けたときのそれとでは、1年のほうが厳しい値になります。回数を重ねるほど、最悪値はどんどん悪くなっていきます。「100年に1度の大雨」に備えて堤防を設計するのと同じように、安全の評価では「どのくらいの回数に1回、どこまで悪い値が出るか」を考えます。
稀な事象は「端」の統計で考える
稀な事象の確率は、分布の真ん中ではなく 裾の形 で決まる。正規分布の 3σ・6σ をそのまま当てはめず、実データで裾を確かめ、最悪値の統計で評価する。
数式で確かめる
① 裾の確率を比べる
図の2つの分布で、平均から kσ 以上(片側)離れた値が出る確率は次のとおりです。
| k | 2 | 3 | 4 | 5 | 6 |
|---|---|---|---|---|---|
| 正規分布 | 2.3% | 0.13% | 約3万分の1 | 約350万分の1 | 約10億分の1 |
| 裾の重い分布 | 2.0% | 0.69% | 0.31% | 0.16% | 0.095% |
正規分布の裾は \(e^{-k^2/2}\) のように、離れるほど急激に小さくなります。一方、裾の重い分布の多くは、裾が「べき乗」でゆっくりとしか小さくなりません。
a は裾の重さを表す数で、小さいほど裾が重くなります(図の例では a = 3)。x を2倍にしても、確率は \(1/2^a\) にしか減りません。a が2以下になると分散が無限大になり、1.4 の σ や 1.5 の中心極限定理がそのままでは使えなくなります。たまたま出た1つの極端な値が、平均や σ を大きく振り回すからです。
② 「n回に1回の値」(再現レベル)
確率 1/n でしか超えない値 \(x_n\) を、「n回に1回の値」(再現レベル)と呼びます。「100年に1度の大雨」の100年にあたる n が 再現期間 です。
| n(回数) | 100 | 1万 | 100万 |
|---|---|---|---|
| 正規分布 | 2.3σ | 3.7σ | 4.8σ |
| 裾の重い分布 | 2.6σ | 約13σ | 約60σ |
100回くらいの試験では2つの分布の差はほとんど見えません。ところが100万回に1回の値では、裾の重い分布のほうが10倍以上も遠くまで届きます。短い試験の最悪値に正規分布を当てはめて、長い運用での最悪値を見積もると、桁違いに甘くなるおそれがあります。
③ 手前の出来事から外挿する(しきい値超過法)
1.8 で見たように、事故そのものを数えて事故率を示すには、膨大な走行距離が必要です。そこで、事故よりずっと頻繁に起きる ヒヤリハット(例:衝突余裕時間 TTC が短い場面)を集め、その裾の形から「衝突まで進む確率」を外挿する方法があります。
しきい値(例:TTC 1.0秒)を超えた出来事だけを集めると、しきい値を十分きびしくとれば、超えた分の分布は元の分布によらず、決まった形(一般化パレート分布)に近づく ことが知られています。これが 極値理論 で、1.5 の中心極限定理の「裾版」にあたります。いちばん簡単な形は次のとおりです。
Y はしきい値からの踏み込み(ここでは 1.0 − 最小TTC、単位は秒)、b は踏み込みの大きさの目安です。例として、TTC 1.0秒未満のヒヤリハットが100万kmあたり200回あり、データから b = 0.15秒と推定されたとします。衝突は最小TTCが0、つまり Y ≥ 1.0 のときなので、
事故率はおよそ 200 × 0.00127 ≈ 0.25件/100万km、つまり 約400万kmに1件 と見積もれます。1.8 の3の法則で同じことを示すには、無事故で約1,200万km走る必要があります。
ただし、この外挿は裾の形の仮定に大きく左右されます。一般の形では、裾の重さを表す \(\xi\)(グザイ)が加わります。
\(\xi = 0\) が上の簡単な形で、\(\xi\) が大きいほど裾が重くなります。仮定を少し変えるだけで、結果は大きく変わります。
| 仮定 | 衝突まで進む確率 | 推定される事故率 |
|---|---|---|
| b = 0.15秒、ξ = 0 | 0.13% | 約400万kmに1件 |
| b = 0.20秒、ξ = 0 | 0.67% | 約74万kmに1件 |
| b = 0.15秒、ξ = 0.1 | 0.61% | 約83万kmに1件 |
| b = 0.15秒、ξ = 0.2 | 1.4% | 約35万kmに1件 |
裾の形のわずかな違いで、推定は10倍以上変わります。外挿は強力な道具ですが、推定値には必ず幅(信頼区間)を付け、しきい値の選び方や仮定を変えても結論が変わらないかを確かめることが大切です。
発展:外挿の結果に幅を付ける(ブートストラップ)
③の「約400万 km に1件」は、200 件のヒヤリハットから推定した b = 0.15 秒に基づく1つの値です。b は手元のデータのばらつきで変わるので、事故率の見積もりにも幅が要ります(1.6)。ところが、b から事故率までは指数関数を通るので、1.6 の「推定値 ± 2 × 標準誤差」を当てはめる式は簡単には作れません。こういうときに使える汎用の方法が ブートストラップ です。
- 記録した 200 件の踏み込みから、同じ 200 件を「重複を許して」引き直す(復元抽出)。同じ出来事が2回入り、別の出来事が1回も入らないことがある
- その仮のデータで b を推定し、③と同じ計算で事故率まで出す
- 1と2を 1,000 回くり返し、得られた 1,000 個の事故率の下から 2.5% と 97.5% の値を区間にする
この例では b の推定値が 0.13〜0.17 秒の範囲でぶれ、事故率は およそ 170万 km に1件から 1,100万 km に1件 と、上下に 3 倍近い幅になります(値は説明用の目安)。指数関数を通るために、b の ±14% のぶれが事故率では何倍ものぶれに広がるのです。裾の外挿の結果は、この幅とセットで伝えます。
ブートストラップは、複雑な計算の結果や、99.9% 点のような分位点にも同じ手順で幅を付けられるのが利点です。ただし、この幅が表すのは「手元のデータの偶然のばらつき」だけです。裾の形の仮定(ξ)が違っていたときの誤差や、データが ODD を代表していないことによる誤差は含まれません(1.6 の「接点」と同じ注意です)。また、データの外側に外挿する量では、幅が実際より狭く出やすいことも知られています。→ 5.5、5.8
ξ の置き方。ξ も b と同じく、しきい値を超えた出来事から推定します(最尤推定が標準的です)。ただし、超えた件数が少ないと ξ はほとんど決まりません。200 件でも標準誤差はおよそ 0.07(大標本での目安)で、③の表の ξ = 0 と 0.1 の差は標準誤差1個分ほどです。そこで、推定値の信頼区間の上側の端のような「悪い側の値」を置き、それでも要求を満たすことを示します。ξ が大きいほど事故率は悪く出るので、保守的な置き方です。置いた値には、区間・他のデータ・物理的な理由などの根拠を添えます。なお、一般化パレート分布で近似できるかどうかは、これでは確かめられないので、しきい値を変える確認や、ほかの証拠(→ 5.8)と組み合わせます。
自動運転との接点
- 「3σ」「6σ」の余裕をうのみにしない:センサの測距誤差、自己位置推定の誤差、処理の遅れなどは、反射・遮蔽・負荷の集中などで、ときどき大きく外れます。実データで裾を確かめ、平均と σ ではなく、99.99%点のような高い分位点や最悪値の統計で設計します。→ 4.3 センサとフュージョン、5.3 機能不十分とトリガー条件
- 平均ではなく「最悪側」を見る:平均のTTCや平均の誤差が良くても、安全とは限りません。危険は分布の端で起きるので、最小TTCのような極値の分布で評価します。短い試験で見た最悪値は、長く走ればもっと悪くなると考えます。
- ヒヤリハットで事故の手前を数える:極値理論を使えば、事故が起きる前に事故率を見積もれるので、1.8 の「走行距離の壁」を補えます。ただし「ヒヤリハットと事故は同じ仕組みで起きる」という仮定が必要で、突然の故障のようにヒヤリハットを経ずに起きる事故は捉えられません。何を「手前の出来事」とみなすか(TTC、必要な減速度など)でも結果が変わります。
- 裾には未知の危険が潜む:裾が重いということは、めったに起きない極端な場面がリスクの大部分を占めるということです。走行距離を積むだけではなかなか出会えないので、危険な条件を狙って探す必要があります(重要度サンプリング、シナリオの探索)。→ 5.8 未知の危険を探す
まとめ
- 裾の重い分布では、平均と σ が同じでも、極端な値が正規分布よりはるかに起きやすい。正規分布の 3σ・6σ を安易に当てはめない
- 回数が増えるほど最悪値(極値)は大きくなる。「n回に1回の値」(再現レベル)で考える
- 極値理論を使うと、しきい値を超えた出来事(ヒヤリハット)から、もっと稀な出来事(事故)の起きやすさを外挿できる。ただし裾の形の仮定しだいで結果が大きく変わる
確認クイズ
Q1. 正規分布を仮定すると、平均から6σ以上離れる確率は約10億分の1です。実際のデータの裾が重い場合、この見積もりはどうなりやすい?
大幅に甘く(小さく)なりやすいです。図の例では、6σ を超える確率は約1,000分の1で、正規分布の見積もりの約100万倍でした。
Q2. 同じ車で1万kmの試験と100万kmの試験をしたとき、「最小TTC(いちばんヒヤッとした場面)」が小さくなりやすいのはどちら?
100万kmの試験です。回数(距離)が増えるほど、より稀で極端な場面に出会うので、最悪値は厳しくなります。短い試験の最悪値を「本当の最悪」と思わないことが大切です。
Q3. TTC 1.0秒未満のヒヤリハットが100万kmあたり200回あり、そのうち衝突まで進む確率が0.001と推定されました。事故率はどのくらい?
200 × 0.001 = 0.2件/100万km、つまり約500万kmに1件です。ただし「0.001」は裾の形の仮定に大きく左右されるので、幅をもって扱います。
Q4. ヒヤリハットからの外挿で捉えにくいのは、どんな事故?
ヒヤリハットを経ずに起きる事故です。たとえば突然の故障や、これまでに一度も出会ったことのない種類の場面(未知のシナリオ)による事故は、手前の出来事が記録に残らないため、外挿の対象になりません。
もっと知りたい人へ
- 次の回:2.1 機械学習とは
- 関連:1.3 確率分布、1.5 大数の法則と中心極限定理、1.8 稀な事象の統計、5.8 未知の危険を探す
- 用語集:裾の重い分布・極値、再現レベル・再現期間、極値理論・しきい値超過法、衝突余裕時間(TTC)、重要度サンプリング、ブートストラップ
- 解説動画:YouTube(約5分)(静止画のスライドと音声で要点を説明。英語版の記事には英語の動画があります)
- 参考文献
- S. Coles, An Introduction to Statistical Modeling of Extreme Values, Springer, 2001.
- P. Songchitruksa, A. P. Tarko, “The extreme value theory approach to safety estimation,” Accident Analysis & Prevention, 38(4), 2006.
- D. Åsljung, J. Nilsson, J. Fredriksson, “Using Extreme Value Theory for Vehicle Level Safety Validation and Implications for Autonomous Vehicles,” IEEE Transactions on Intelligent Vehicles, 2(4), 2017.