残留リスクを数で示す
見積もりの組み立てと、各回とのつながり
「このシステムの残留リスク(残存リスクとも)は、受入れ基準以下である」という主張を数で組み立てるには、Part 1 の統計と Part 5 の活動をひとつの流れにつなぐ必要があります。このページは、その流れを1枚にまとめたものです。数値はすべて説明用で、どの因子がどの回で扱われているかを示すのが目的です。
主張の形既知の危険未知の危険分類の妥当性偏り合わせる数値例対応表
1. 主張の形を先に決める
示したいのは、ODD の中で 1 km あたりに害が起きる率 \(R\) が、受入れ基準 \(R_{\text{acc}}\)(5.5)以下であることです。数で示すときは、信頼度(例:95% の片側上限で)と前提(ODD、使い方、ソフトウェアの版)をセットにします。\(R\) は、5.2 の領域に沿って2つに分けます。
\(R_{\text{既知}}\) は、見つけて対策したあとにも残る危険、\(R_{\text{未知}}\) は、まだ見つけていない危険です。
2. 既知の危険:条件ごとに分解する
見つけたトリガー条件(5.3)ごとに、「その条件に出会う率」「出会ったときに危険な挙動が出る確率」「危険な挙動が害に至る確率」を掛け、足し合わせます(1.4 の遭遇頻度による重みづけ、1.3 の「率は足せる」)。
- \(w_i\):条件 \(i\) に出会う率(1 km あたり)。自然運転データや市場データから測る(5.6、5.11)
- \(p_i\):条件 \(i\) で危険な挙動が出る確率。狙った試験・シミュレーションで測る(5.6〜5.9)。失敗ゼロなら 3 の法則で上限 \(3/n\)(1.8)
- \(c_i\):危険な挙動が害に至る確率。制御可能性・重大度の分析とフォールバックの効果から(5.4)
3つの因子は出どころが違うので、それぞれ別のデータで見積もり、それぞれに幅(1.6)を付けます。
3. 未知の危険:グッド・チューリングは入口だけ
グッド・チューリングの推定(5.2)が教えてくれるのは、「次に出会う場面が、まだ見たことのない種類である割合」\(N_1/N\) です(記録した \(N\) 件のうち、1 回しか出てこなかった種類の数が \(N_1\))。これは危険の率ではありません。害の率にするには、あと2段掛けます。
- \(s\):1 km あたりに出会う場面の数。新種率は「新しい種類に出会う率(1 km あたり)」になる
- \(q\):新しい種類が unsafe(機能不十分を引き起こす)である割合。これまでに見つけた種類のうち、実際に危険だった割合から見積もる。件数が少ないので、信頼区間の上限(1.6)、0 件なら 3 の法則(1.8)を使う
- \(c\):unsafe な場面が害に至る確率。既知の分と同じ制御可能性の分析(5.4)
\(N_1/N\) は走行が増えると下がり、\(c\) はフォールバックで下げられます。未知の分を数で持っておくと、「あと何 km 走るか」「どの対策を足すか」が数で決まります(下の数値例)。
4. シナリオ分類の妥当性
\(N_1/N\) は「種類」の切り方に丸ごと依存します。粗すぎれば何でも「見たことがある」になって \(N_1\) が小さく出て、未知を過小評価します。細かすぎれば \(N_1\) がふくらんで過大評価します。分類が妥当だと言えるための条件は、次の3つです。
- 失敗の仕組みに対応している:同じ種類の中では失敗率が同じくらい(均質)であることを、種類の中のばらつきで確かめる。ばらつきが大きい種類は分ける(5.3)
- 粒度の感度分析:機能・論理・具体の3段階(5.6)で切り方を変え、\(N_1/N\) がどう動くかを示して、保守側の値を使う
- 独立した分類との照合:別の人・別の観点で作った分類でも見積もりが大きく違わないことを確かめる
これは統計というより論証の問題です。セーフティケース(5.10)に「分類の根拠」として書き、反論(「分類が粗すぎるのでは」)に答える形にします。
5. サンプリングの偏り
\(N\)、\(N_1\)、\(w_i\) は、どこを走ったかで決まります。晴れた高速道路ばかりなら、雨の夜の新しい種類は見つからず、\(w_i\) もずれます。信頼区間は偶然のばらつきしか表さないので、この偏りは区間の外の話です(1.6)。対処は次のとおりです。
6. 合わせて、信頼度付きで比べる
いちばん簡単なのは、各因子の上限(片側 95%)を掛けて足す方法です。保守的(本当の信頼度は 95% より高い)ですが、説明しやすい方法です。もう少し正確にするなら、各因子の分布から乱数を引いて \(R\) を何千回も計算するモンテカルロ(1.5)や、データから引き直すブートストラップ(1.9)で、\(R\) の 95% 点を出します。
ただし \(R_{\text{未知}}\) の幅は、分類の切り方と \(q\) の仮定に依存するモデル依存の値で、頻度論的な「95%」とは意味が違います。だからセーフティケースでは、この見積もりを単独の主張にせず、前提・分類の根拠・感度分析・反論とセットで示し(5.10)、市場のデータで更新し続けます(5.11)。
7. 数値例(説明用)
受入れ基準を \(R_{\text{acc}} = 10^{-8}\)/km(1 億 km に 1 件)とします。既知の分は、見つけたトリガー条件が3つだとして次のように計算します。
| トリガー条件 | 遭遇率 \(w_i\)(/km) | 失敗率の上限 \(p_i\) | 害の確率 \(c_i\) | 積(/km) |
|---|---|---|---|---|
| 強い逆光 | 0.02 | \(3 \times 10^{-5}\)(10 万回で失敗 0) | 0.002 | \(1.2 \times 10^{-9}\) |
| 豪雨 | 0.01 | \(1 \times 10^{-4}\)(3 万回で失敗 0) | 0.002 | \(2.0 \times 10^{-9}\) |
| 至近距離の割り込み | 0.005 | \(1 \times 10^{-4}\)(3 万回で失敗 0) | 0.005 | \(2.5 \times 10^{-9}\) |
| 合計 \(R_{\text{既知}}\) | \(5.7 \times 10^{-9}\) | |||
未知の分は、100 万 km を走って 100 万場面を記録し(\(s = 1\)/km)、1 回しか出てこなかった種類が \(N_1 = 500\)、これまでに見つけた 2,000 種類のうち 10 種類が unsafe だった(\(q\) の 95% 上限 ≈ 0.8%)、unsafe な場面が害に至る確率 \(c = 2\%\) とします。
合計はおよそ \(8.6 \times 10^{-8}\) で、基準の 8 倍を超えています。未知の分が支配的 で、既知の危険の試験をいくら増やしても足りないことが分かります。効くのは未知の分の因子です。走行を 1,000 万 km に増やして新種率が \(10^{-4}\)/km まで下がり、フォールバックの改良で \(c\) が 0.2% になれば、
となり、合計 \(7.3 \times 10^{-9}\) で基準を下回ります。ただし余裕は 3 割ほどしかないので、分類の感度分析と市場での監視が欠かせません。このように、未知の分まで数で持っておくと、「何をどれだけやれば基準に届くか」が計算で決まります。
8. 因子と回の対応表
| 因子 | 出どころ | 幅の付け方・注意 | 回 |
|---|---|---|---|
| 受入れ基準 \(R_{\text{acc}}\) | 人との比較、ALARP、正のリスクバランス | 信頼度と片側・両側を明記 | 5.5、1.6 |
| 遭遇率 \(w_i\) | 自然運転データ、市場データ | 層別、信頼区間 | 1.4、5.6、5.11 |
| 条件付き失敗率 \(p_i\) | 狙った試験、シミュレーション、AI 部品の評価 | 失敗 0 なら \(3/n\)、シミュレーションの信頼性、事前の根拠の更新 | 1.8、5.7、5.9 |
| 害に至る確率 \(c\) | 制御可能性・重大度の分析、フォールバック | 保守的な値。ヒヤリハットからの外挿も | 5.4、1.9 |
| 新種率 \(N_1/N\) | 記録した場面の分類 | 分類の妥当性、粒度の感度分析 | 5.2、5.6 |
| unsafe の割合 \(q\) | 見つけた種類の実績 | 件数が少ない。上限で | 1.6、1.8 |
| 合わせ方 | 上限の積和、モンテカルロ、ブートストラップ | 未知の分はモデル依存 | 1.5、1.9 |
| 前提と論証 | ODD、分類の根拠、反論 | 生きた文書として更新 | 5.10、5.11 |
セーフティケースに書く前提の例:ODD の定義、場面の分類とその粒度、\(s\) の定義、\(q\) と \(c\) の根拠、試験とシミュレーションの信頼性、データの期間とソフトウェアの版、市場で見張る指標と更新の条件。
もっと知りたい人へ
- 流れの各段:5.2 4つの領域、5.5 受入れ基準と妥当性確認目標、5.10 セーフティケース
- 統計の道具:1.4 期待値と分散、1.6 推定と信頼区間、1.8 稀な事象の統計、1.9 極値と裾の重い分布
- 用語集:残留リスク、グッド・チューリングの推定、遭遇頻度、3の法則、ブートストラップ
- 参考文献(規格の内容はこのページで要約して説明しています。正確な定義や要求は原文を確認してください)
- ISO 21448:2022, “Road vehicles — Safety of the intended functionality.”
- I. J. Good, “The Population Frequencies of Species and the Estimation of Population Parameters,” Biometrika, 1953.
- P. Koopman, How Safe Is Safe Enough? Measuring and Predicting Autonomous Vehicle Safety, 2022.