ホーム›付録›残留リスクを数で示す

付録

残留リスクを数で示す

見積もりの組み立てと、各回とのつながり

「このシステムの残留リスク(残存リスクとも)は、受入れ基準以下である」という主張を数で組み立てるには、Part 1 の統計と Part 5 の活動をひとつの流れにつなぐ必要があります。このページは、その流れを1枚にまとめたものです。数値はすべて説明用で、どの因子がどの回で扱われているかを示すのが目的です。

主張の形既知の危険未知の危険分類の妥当性偏り合わせる数値例対応表

1. 主張の形を先に決める

示したいのは、ODD の中で 1 km あたりに害が起きる率 \(R\) が、受入れ基準 \(R_{\text{acc}}\)(5.5)以下であることです。数で示すときは、信頼度(例:95% の片側上限で)と前提(ODD、使い方、ソフトウェアの版)をセットにします。\(R\) は、5.2 の領域に沿って2つに分けます。

$$R = R_{\text{既知}} + R_{\text{未知}} \le R_{\text{acc}}$$

\(R_{\text{既知}}\) は、見つけて対策したあとにも残る危険、\(R_{\text{未知}}\) は、まだ見つけていない危険です。

R = R既知 + R未知 ≤ 受入れ基準(95% 片側) R既知 = Σ 遭遇頻度 × 失敗率 × 害の確率 R未知 = 新種率 × unsafe 割合 × 害の確率 遭遇頻度 条件 i に出会う率 条件付き失敗率 試験で上限を出す 害に至る確率 制御可能性の分析 新種率 N₁/N × 場面の遭遇率 unsafe の割合 見つけた種類の実績 害に至る確率 制御可能性の分析 → 1.4・5.6 → 1.8・5.7〜5.9 → 5.4 → 5.2 → 1.6・1.8 → 5.4
残留リスクの見積もりの分解。上の主張を、既知の分と未知の分に分け、それぞれ3つの因子に分ける。因子ごとに、出どころと幅の付け方が違う。

2. 既知の危険:条件ごとに分解する

見つけたトリガー条件(5.3)ごとに、「その条件に出会う率」「出会ったときに危険な挙動が出る確率」「危険な挙動が害に至る確率」を掛け、足し合わせます(1.4 の遭遇頻度による重みづけ、1.3 の「率は足せる」)。

$$R_{\text{既知}} = \sum_i w_i \, p_i \, c_i$$
  • \(w_i\):条件 \(i\) に出会う率(1 km あたり)。自然運転データや市場データから測る(5.6、5.11)
  • \(p_i\):条件 \(i\) で危険な挙動が出る確率。狙った試験・シミュレーションで測る(5.6〜5.9)。失敗ゼロなら 3 の法則で上限 \(3/n\)(1.8)
  • \(c_i\):危険な挙動が害に至る確率。制御可能性・重大度の分析とフォールバックの効果から(5.4)

3つの因子は出どころが違うので、それぞれ別のデータで見積もり、それぞれに幅(1.6)を付けます。

3. 未知の危険:グッド・チューリングは入口だけ

グッド・チューリングの推定(5.2)が教えてくれるのは、「次に出会う場面が、まだ見たことのない種類である割合」\(N_1/N\) です(記録した \(N\) 件のうち、1 回しか出てこなかった種類の数が \(N_1\))。これは危険の率ではありません。害の率にするには、あと2段掛けます。

$$R_{\text{未知}} \approx \underbrace{\frac{N_1}{N} \times s}_{\text{新種率}} \times q \times c$$
  • \(s\):1 km あたりに出会う場面の数。新種率は「新しい種類に出会う率(1 km あたり)」になる
  • \(q\):新しい種類が unsafe(機能不十分を引き起こす)である割合。これまでに見つけた種類のうち、実際に危険だった割合から見積もる。件数が少ないので、信頼区間の上限(1.6)、0 件なら 3 の法則(1.8)を使う
  • \(c\):unsafe な場面が害に至る確率。既知の分と同じ制御可能性の分析(5.4)

\(N_1/N\) は走行が増えると下がり、\(c\) はフォールバックで下げられます。未知の分を数で持っておくと、「あと何 km 走るか」「どの対策を足すか」が数で決まります(下の数値例)。

4. シナリオ分類の妥当性

\(N_1/N\) は「種類」の切り方に丸ごと依存します。粗すぎれば何でも「見たことがある」になって \(N_1\) が小さく出て、未知を過小評価します。細かすぎれば \(N_1\) がふくらんで過大評価します。分類が妥当だと言えるための条件は、次の3つです。

  • 失敗の仕組みに対応している:同じ種類の中では失敗率が同じくらい(均質)であることを、種類の中のばらつきで確かめる。ばらつきが大きい種類は分ける(5.3)
  • 粒度の感度分析:機能・論理・具体の3段階(5.6)で切り方を変え、\(N_1/N\) がどう動くかを示して、保守側の値を使う
  • 独立した分類との照合:別の人・別の観点で作った分類でも見積もりが大きく違わないことを確かめる

これは統計というより論証の問題です。セーフティケース(5.10)に「分類の根拠」として書き、反論(「分類が粗すぎるのでは」)に答える形にします。

5. サンプリングの偏り

\(N\)、\(N_1\)、\(w_i\) は、どこを走ったかで決まります。晴れた高速道路ばかりなら、雨の夜の新しい種類は見つからず、\(w_i\) もずれます。信頼区間は偶然のばらつきしか表さないので、この偏りは区間の外の話です(1.6)。対処は次のとおりです。

  • 遭遇頻度と失敗率を別のデータで別々に:\(w_i\) は自然運転データ、\(p_i\) は狙った試験。混ぜると「同じ条件で」という前提(1.5)が崩れる
  • ODD の条件で層別する:層ごとに推定して遭遇頻度で重みづける(1.4)。狙って探した分は、重要度サンプリングの重みで元の分布に戻す(5.8)
  • 市場データの偏りに注意:検出できたものしか記録されない。何を記録するかを市場に出す前に決める(5.11)

6. 合わせて、信頼度付きで比べる

いちばん簡単なのは、各因子の上限(片側 95%)を掛けて足す方法です。保守的(本当の信頼度は 95% より高い)ですが、説明しやすい方法です。もう少し正確にするなら、各因子の分布から乱数を引いて \(R\) を何千回も計算するモンテカルロ(1.5)や、データから引き直すブートストラップ(1.9)で、\(R\) の 95% 点を出します。

ただし \(R_{\text{未知}}\) の幅は、分類の切り方と \(q\) の仮定に依存するモデル依存の値で、頻度論的な「95%」とは意味が違います。だからセーフティケースでは、この見積もりを単独の主張にせず、前提・分類の根拠・感度分析・反論とセットで示し(5.10)、市場のデータで更新し続けます(5.11)。

7. 数値例(説明用)

受入れ基準を \(R_{\text{acc}} = 10^{-8}\)/km(1 億 km に 1 件)とします。既知の分は、見つけたトリガー条件が3つだとして次のように計算します。

トリガー条件遭遇率 \(w_i\)(/km)失敗率の上限 \(p_i\)害の確率 \(c_i\)積(/km)
強い逆光0.02\(3 \times 10^{-5}\)(10 万回で失敗 0)0.002\(1.2 \times 10^{-9}\)
豪雨0.01\(1 \times 10^{-4}\)(3 万回で失敗 0)0.002\(2.0 \times 10^{-9}\)
至近距離の割り込み0.005\(1 \times 10^{-4}\)(3 万回で失敗 0)0.005\(2.5 \times 10^{-9}\)
合計 \(R_{\text{既知}}\)\(5.7 \times 10^{-9}\)

未知の分は、100 万 km を走って 100 万場面を記録し(\(s = 1\)/km)、1 回しか出てこなかった種類が \(N_1 = 500\)、これまでに見つけた 2,000 種類のうち 10 種類が unsafe だった(\(q\) の 95% 上限 ≈ 0.8%)、unsafe な場面が害に至る確率 \(c = 2\%\) とします。

$$R_{\text{未知}} \approx \frac{500}{10^6} \times 1 \times 0.008 \times 0.02 = 8 \times 10^{-8}$$

合計はおよそ \(8.6 \times 10^{-8}\) で、基準の 8 倍を超えています。未知の分が支配的 で、既知の危険の試験をいくら増やしても足りないことが分かります。効くのは未知の分の因子です。走行を 1,000 万 km に増やして新種率が \(10^{-4}\)/km まで下がり、フォールバックの改良で \(c\) が 0.2% になれば、

$$R_{\text{未知}} \approx 10^{-4} \times 0.008 \times 0.002 = 1.6 \times 10^{-9}$$

となり、合計 \(7.3 \times 10^{-9}\) で基準を下回ります。ただし余裕は 3 割ほどしかないので、分類の感度分析と市場での監視が欠かせません。このように、未知の分まで数で持っておくと、「何をどれだけやれば基準に届くか」が計算で決まります。

8. 因子と回の対応表

因子出どころ幅の付け方・注意回
受入れ基準 \(R_{\text{acc}}\)人との比較、ALARP、正のリスクバランス信頼度と片側・両側を明記5.5、1.6
遭遇率 \(w_i\)自然運転データ、市場データ層別、信頼区間1.4、5.6、5.11
条件付き失敗率 \(p_i\)狙った試験、シミュレーション、AI 部品の評価失敗 0 なら \(3/n\)、シミュレーションの信頼性、事前の根拠の更新1.8、5.7、5.9
害に至る確率 \(c\)制御可能性・重大度の分析、フォールバック保守的な値。ヒヤリハットからの外挿も5.4、1.9
新種率 \(N_1/N\)記録した場面の分類分類の妥当性、粒度の感度分析5.2、5.6
unsafe の割合 \(q\)見つけた種類の実績件数が少ない。上限で1.6、1.8
合わせ方上限の積和、モンテカルロ、ブートストラップ未知の分はモデル依存1.5、1.9
前提と論証ODD、分類の根拠、反論生きた文書として更新5.10、5.11

セーフティケースに書く前提の例:ODD の定義、場面の分類とその粒度、\(s\) の定義、\(q\) と \(c\) の根拠、試験とシミュレーションの信頼性、データの期間とソフトウェアの版、市場で見張る指標と更新の条件。

もっと知りたい人へ