AI Safety Lab

ホーム›Part 5 SOTIFと安全性検証›5.2

Part 5 · SOTIFと安全性検証

5.2 4つの領域

既知／未知 × 安全／危険

読了目安 10分前提：5.1 SOTIFとは、1.8 稀な事象の統計▶ 動画（約5分）

この回で分かること

  • SOTIF の 4つの領域（既知の安全・既知の危険・未知の危険・未知の安全）と、それぞれを動かす活動を説明できる
  • 走行試験では、よくある危険は見つかっても、まれな危険が残りやすいことを計算で確かめられる
  • まだ見ていない種類の割合を見積もる考え方（グッド・チューリング）と、未知を含めた残留リスクの考え方を説明できる

直感で理解する

自動運転車が出会うあらゆる状況を、2つの問いで分けてみます。1つめは「その状況を、私たちは知っているか（既知か、未知か）」。2つめは「その状況で、システムは安全に振る舞うか（安全か、危険か）」。組み合わせると、4つの領域ができます。

既知 未知 安全 危険 領域1：既知の安全 例：晴れた昼の直線道路 領域4：未知の安全 気づいていないが、実は安全 領域2：既知の危険 例：強い逆光で歩行者を見逃す 領域3：未知の危険 まだ誰も気づいていない危険 対策する 見つける
SOTIF の4つの領域（模式図）。未知の危険（領域3）を分析・試験・探索で見つけて既知の危険（領域2）にし、対策して既知の安全（領域1）にしていく。
  • 領域1（既知の安全）：よく分かっていて、確かめて安全と言える状況。ここを広げたい
  • 領域2（既知の危険）：危険だと分かっている状況。対策（機能や性能の改良、ODD の制限、運転者への伝え方）で、領域1 に移すか、残る危険を十分に小さくする
  • 領域3（未知の危険）：まだ誰も気づいていない危険な状況。いちばん怖い領域で、分析・試験・探索で見つけて、領域2 に移す
  • 領域4（未知の安全）：気づいていないが、実は安全な状況。確かめて領域1 に移せば、ODD を必要以上に狭めずに済む

SOTIF の活動の目標は、領域2 と領域3 を十分に小さくすることです。領域2 はリストにして一つずつ対策できますが、領域3 は「知らないもの」なので、どれだけ残っているかを直接は数えられません。そこで、見つけ方を工夫し、残りの大きさを間接的に見積もる必要があります。

数式で確かめる

① 走行試験では、まれな危険が残る

5.1 の②で見たように、出会う頻度が λ（1 km あたり）の危険な状況に、d km 走る間に一度も出会わない確率は \(e^{-\lambda d}\) です。危険な状況が何種類もあるとき、見つからずに残る種類の数の期待値は、1.4 の期待値の足し算で

$$E[\text{見つからずに残る種類の数}] = \sum_i e^{-\lambda_i d}$$

です。10万 km に1回出会う「よくある」10種類と、1000万 km に1回しか出会わない「まれな」10種類があるとします（数値は説明用の例）。

走行距離よくある10種類のうち残る数まれな10種類のうち残る数
30万 km約 0.5約 9.7
3000万 kmほぼ 0約 0.5

30万 km 走ると、よくある種類はほとんど見つかりますが、まれな種類はほとんど残ります。まれな種類をほぼ見つけるには、100倍の距離が必要です。しかも実際には、1.9 で見たように、まれなものほど種類が多い「裾の重い」ことがよくあります。走行試験だけで領域3 を小さくするのは難しく、危険を探しにいく方法が必要になります（5.6〜5.8）。

② まだ見ていない種類の割合を見積もる

知らないものは数えられませんが、「次に出会う状況が、まだ見たことのない種類である確率」なら見積もる方法があります。記録した N 件の出来事（たとえば、ドライバー介入やヒヤリハットの原因）のうち、ちょうど1回だけ出てきた種類の数を \(N_1\) とすると、

$$P(\text{次が新しい種類}) \approx \frac{N_1}{N}$$

です。これは グッド・チューリング の推定と呼ばれます。「1回しか見ていない種類が多い」ことは、「まだ見ていない種類も多い」ことの手がかりになる、という考え方です。1,000 件の記録で1回だけの種類が 30 なら 3%。さらに走って 10,000 件になり、1回だけの種類が 12 に減れば 0.12% です。新しい種類に出会う割合が下がっていくことは、領域3 が小さくなっている一つの証拠になります。

ただし、この見積もりは、これからも同じ条件（同じ ODD、同じような走り方）で出来事が起きることを前提にしています。試験で一度も通らない種類の場所や天候は、そもそも記録に現れません。また、種類の分け方（何を同じ種類とみなすか）によっても結果が変わります。

③ 未知を含めて残留リスクを見積もる

最後に残る危険（残留リスク）は、対策後の既知の危険（領域2 の残り）と、未知の危険（領域3）の見積もりの和です。

$$R_{\text{残留}} = R_{\text{既知}} + R_{\text{未知}}$$

たとえば、対策後の既知の危険の合計が 1 km あたり \(2 \times 10^{-8}\) だとします。記録に残る出来事が 1,000 km に1回起き、その 0.12%（②）が新しい種類で、新しい種類に出会ったときに危害に至る確率を 1% と見込むと、

$$R_{\text{未知}} \approx 10^{-3} \times 0.0012 \times 0.01 = 1.2 \times 10^{-8}\ \text{/km}$$

となり、合わせて \(3.2 \times 10^{-8}\) /km です（数値は説明用の例）。未知の分は、既知の分と同じくらいの大きさになりえます。これを受入れ基準（5.5）と比べて判断します。未知の見積もりは前提によって大きく変わるので、控えめな（大きめの）値を使い、市場に出してからも見張り続けます（5.11）。

実務との接点

  • 領域2 は一覧にして管理する：見つかった危険な状況とトリガー条件を一覧にし、それぞれの対策と残る危険、確かめた方法を記録します。これが安全の論証の材料になります。→ 5.10 セーフティケース
  • 領域3 を減らす手段を組み合わせる：走行試験だけでなく、分析（5.3・5.4）、シナリオ（5.6）、シミュレーション（5.7）、危険を探しにいく方法（5.8）、市場に出してからの監視（5.11）を組み合わせます。→ 5.8 未知の危険を探す
  • 領域4 を確かめることも大切：知らないものをすべて危険と見なすと、ODD が必要以上に狭くなり、使える場面が減ります。安全だと確かめて領域1 に移すことも、立派な SOTIF の活動です。→ 4.1
  • 「見つからなかった」は「ない」ではない：試験で新しい危険が見つからなかったことは、その条件・その距離で出会わなかったことしか意味しません。1.8 の3の法則と同じく、どれだけ試したかとあわせて示します。→ 1.8
  • AI の部品では、領域3 の多くがデータにない場面：学習データになかった種類の物や状況（2.8 の分布外）は、未知の危険の大きな源です。分布外を検出するしくみ（3.7）も手がかりになります。→ 3.7、5.9 AIコンポーネントの安全

まとめ

  • SOTIF では状況を「既知か未知か」と「安全か危険か」で4つの領域に分け、未知の危険を見つけて既知にし（領域3 → 2）、対策して安全にしていく（領域2 → 1）
  • 走行試験では、よくある危険は見つかっても、まれな危険はほとんど残る。まれなものほど種類が多いことも多く、危険を探しにいく方法が必要
  • まだ見ていない種類の割合は、1回だけ出てきた種類の割合 N₁/N で見積もれる（グッド・チューリング）。残留リスクには、既知の残りに加えて未知の見積もりも含めて判断する

確認クイズ

Q1. 次はそれぞれどの領域？ （a）強い逆光で歩行者を見逃すことが試験で分かったが、まだ対策していない　（b）誰も試したことのない、路面に描かれた立体的な広告の絵で急ブレーキをかけてしまう　（c）晴れた昼の高速道路で、十分に試験して問題がない

（a）領域2（既知の危険）、（b）領域3（未知の危険）、（c）領域1（既知の安全）です。（b）は見つかった時点で領域2 に移ります。

Q2. ①の式で、100万 km に1回出会う種類が10種類あるとき、100万 km 走ったあとに見つからずに残る数の期待値は？

10 × e^(−1) ≈ 10 × 0.37 ＝ 3.7 種類です。

Q3. 500 件の記録のうち、ちょうど1回だけ出てきた種類が 25 ありました。次の出来事が新しい種類である確率の見積もりは？

25 ÷ 500 ＝ 0.05、つまり約 5% です。

Q4. 「100万 km の試験走行で新しい危険は見つからなかった。だから未知の危険はもうない」。この考えの問題点は？

見つからなかったのは、その ODD・その走り方・その距離で出会わなかったというだけです。①のように、まれな危険はその距離ではほとんど残ります。どれだけ試したかとあわせて、残りの大きさを見積もり、ほかの方法でも探す必要があります。

もっと知りたい人へ