Part 5 · SOTIFと安全性検証

5.9 AIコンポーネントの安全

ISO/PAS 8800とデータセットの品質

読了目安 10分前提：5.3 機能不十分とトリガー条件、2.8 データの分け方と分布シフト▶ 動画準備中

この回で分かること

ISO/PAS 8800 が示す、AI の部品を安全に使うための流れ（要求・データ・確かめ方・運用中の見張り）を説明できる
データセットの品質 の観点（網羅性・正しさ・独立性・代表性・追跡可能性）と、条件ごとに必要な試験データの数を計算できる
ラベルの誤り やデータの穴が、見かけの性能と本当の危険をどう食い違わせるかを計算で確かめられる

直感で理解する

Part 3 で見たように、学習した AI の部品は、どこも壊れていなくても、学習データになかった場面や見た目のわずかな違いで誤ります。これは 5.1 の機能不十分そのものです。こうした AI の部品を安全に使うための考え方をまとめたのが ISO/PAS 8800（2024年）で、機能安全（ISO 26262）と SOTIF（ISO 21448）を AI 向けに補うものです。要点をまとめると、次のようになります。

システムの安全の要求から、AI の部品への要求（どの条件で、どれだけの性能か）を導く
学習・評価・試験に使うデータセットにも要求を決め、品質を確かめ、版を管理する
条件ごとの性能・頑健性・不確実性などを確かめる
動かしている間も、見慣れない入力などを見張る
市場に出したあとのデータで、学習し直しと確かめ直しを続ける

たとえば歩行者を検出する部品なら、要求は次のように書きます（例）。

観点	要求の例	確かめ方
性能	ODD の中で、60 m 以内の歩行者を 99% 以上検出する	条件ごとの検出率と信頼区間（5.3）
頑健性	雨・逆光・レンズの汚れで性能が大きく落ちない	劣化を加えた試験（3.8）
不確実性	確信度がキャリブレーションされている	信頼性図と ECE（3.7）
分布外	見慣れない入力に気づいて知らせる	分布外の試験データ（2.8）
時間	決められた時間内に結果を出す	処理時間の測定（4.2）

AI の部品の振る舞いはデータで決まるので、データセットの品質 が安全の要になります。

観点	意味	例
網羅性	ODD の条件を十分に覆っている	霧の夜の画像が少なすぎないか
正しさ	ラベル（正解）の誤りが少ない	見落とされた歩行者、枠のずれ
独立性	学習・評価・試験のデータが混ざっていない	同じ走行の画像が両方に入らない（2.8）
代表性	現実の場面の割合を反映している	都市ばかりで地方がない、といった偏りがない
追跡可能性	どこで集め、どう加工したかが分かる	版の管理、ラベル付けの手順の記録

学習データの画像の数を、ODD の条件の組み合わせごとに数えた例（数値は説明用）。赤いマスは決めた最低数（1,000 枚）に届かず、データの穴になっている。

図は、学習データの画像の数を ODD の条件（天候 × 明るさ）ごとに数えた例です。全体の枚数が多くても、条件の組み合わせで見ると、足りないマスが見えてきます。

数式で確かめる

① 試験データは何枚要るか

「この条件で検出率 99% 以上」を示すには、見逃しの確率が 1% 以下だと示せばよいので、1.8 の3の法則がそのまま使えます。見逃しが 0 回なら、必要な歩行者の数は

$$n \ge \frac{3}{1 - 0.99} = 300$$

です（1回見逃したら 4.7 ÷ 0.01 ＝ 470）。これは条件の 1マスごと に必要です。図の 12 マスそれぞれで 99.9% を示すなら、1マスあたり 3,000、合計 3万6千人の歩行者が要ります。しかも試験データは学習に使ってはいけないので、学習用とは別に集めます。

② ラベルの誤りは、弱いところを隠す

評価データの正解（ラベル）にも誤りがあります。困るのは、人がラベルを付けるときに見落としやすいのが、AI も見逃しやすい「小さい・隠れている・暗い」歩行者だということです。本当は 10,000 人の歩行者がいて、AI は 9,700 人を検出する（本当の検出率 97%）とします。ラベルを付けた人が難しい 200 人を見落とし、その 200 人のうち 150 人を AI も見逃していたとすると、ラベルのある 9,800 人のうち AI が見逃したのは 150 人なので、

$$\text{見かけの検出率} = \frac{9800 - 150}{9800} \approx 98.5\%$$

と、本当より高く出ます。ラベルの誤りは、ちょうど弱いところを見えなくするのです。安全に関わる試験データでは、複数の人でラベルを付けて食い違いを調べる、難しい場面を重点的に見直す、などで正しさを確かめます。

③ データの穴は、平均では見えにくい

図のマスのうち、最低数に届いているのは 12 のうち 6 マス（50%）ですが、運転時間で重みを付けると、届いているマスが全体の 89%、穴のマスは 11% にすぎません。全体の見逃し率は、2.8 と同じく、条件ごとの見逃し率 $m_c$ を運転時間の割合 $w_c$ で重み付けした平均です。

$$m = \sum_c w_c\, m_c$$

届いているマスの見逃し率が 1%、穴のマスが 10% なら、m ＝ 0.89 × 0.01 ＋ 0.11 × 0.10 ≈ 0.020 で、全体の見逃しの半分以上が、時間ではわずか 11% の穴のマスから来ます（数値は説明用の例）。データの穴は、そのまま危険の集まる場所になりうるのです。データを足すか、その条件を ODD の外にするかを判断します。

まとめ

AI の部品の誤りの多くは、壊れていないのに起きる機能不十分。ISO/PAS 8800 は、システムの要求から AI の部品とデータセットへの要求を導き、確かめ、動かしてからも見張る流れを示す
条件ごとに 99% を示すには、1マスあたり 3/(1 − 0.99) ＝ 300 の試験データが要る。ラベルの誤りは AI の弱いところを隠し、見かけの性能を高くする
データの穴は時間の割合では小さく見えても、見逃しの大部分を生みうる。網羅性・正しさ・独立性・代表性・追跡可能性の観点でデータを管理する

確認クイズ

Q1. ある条件で検出率 99.5% 以上を、見逃し 0 回で示すには、何人の歩行者の試験データが要る？

3 ÷ (1 − 0.995) ＝ 3 ÷ 0.005 ＝ 600 人です。

Q2. ②で、本当は 10,000 人の歩行者のうち AI は 9,600 人を検出し、ラベルを付けた人が見落とした 300 人のうち 200 人を AI も見逃していたとします。見かけの検出率は？

ラベルのある 9,700 人のうち、AI が見逃したのは 400 − 200 ＝ 200 人なので、(9,700 − 200) ÷ 9,700 ≈ 97.9% です。本当の 96% より高く出ます。

Q3. ③で、届いているマスの見逃し率が 2%、穴のマスが 20% なら、全体の見逃し率は？（重みは 0.89 と 0.11）

0.89 × 0.02 ＋ 0.11 × 0.20 ＝ 0.0178 ＋ 0.022 ≈ 0.040、約 4% です。

Q4. 「学習データを 100 万枚集めたので、データは十分だ」。この考えの問題点は？

枚数が多くても、ODD の条件の組み合わせごとに見ると穴があるかもしれません（網羅性）。ラベルの誤り（正しさ）や、学習と試験のデータの混ざり（独立性）、現実の割合との違い（代表性）も確かめる必要があります。

もっと知りたい人へ

次の回：5.10 セーフティケース
関連：2.8 データの分け方と分布シフト、2.6 過学習と正則化、3.7 不確実性とキャリブレーション、3.8 頑健性と敵対的サンプル、5.3 機能不十分とトリガー条件、1.8 稀な事象の統計（3の法則）
用語集：ISO/PAS 8800、データセットの品質、ラベルの誤り、訓練データ・検証データ・テストデータ、データの漏れ、分布外検出
解説動画：準備中
参考文献（規格の内容はこの回で要約して説明しています。正確な定義や要求は原文を確認してください）
- ISO/PAS 8800:2024, “Road vehicles — Safety and artificial intelligence.”
- ISO 21448:2022, “Road vehicles — Safety of the intended functionality.”
- S. Burton ほか, “Mind the gaps: Assuring the safety of autonomous systems from an engineering, ethical, and legal perspective,” Artificial Intelligence, 2020.
- C. G. Northcutt ほか, “Pervasive Label Errors in Test Sets Destabilize Machine Learning Benchmarks,” NeurIPS Datasets and Benchmarks, 2021.