AI Safety Lab

ホーム›Part 5 SOTIFと安全性検証›5.10

Part 5 · SOTIFと安全性検証

5.10 セーフティケース

GSNで「安全と言える理由」を組み立てる

読了目安 10分前提：5.5 受入れ基準と妥当性確認目標、4.7 安全の3本柱▶ 動画 準備中

この回で分かること

  • セーフティケース が何を示すものか、その要素（主張・論証の道筋・証拠・前提）を説明できる
  • GSN で、主張を小さな主張と証拠に分けて組み立てる図を読める
  • 性質の違う証拠で支える論証の強さ、いちばん弱い主張の影響、反論 をつぶす考え方を簡単な計算で確かめられる

直感で理解する

Part 5 でここまで、ハザード分析、トリガー条件、受入れ基準、シナリオ試験、シミュレーション、AI の部品の確かめ方と、たくさんの活動を見てきました。最後に必要なのは、それらの結果をつなぎ合わせて「だから、このシステムはこの条件の中で十分に安全だと言える」と、第三者にも分かる形で示すことです。これが セーフティケース です。セーフティケースは、次の要素でできています。

  • 主張（ゴール）：「〜は十分に安全である」のような、示したいこと
  • 論証の道筋（戦略）：主張をどう分けて示すか（例：危険の原因ごとに）
  • 証拠：試験の結果、分析の記録、データセットの記録など
  • 前提：主張が成り立つ条件（ODD、使い方など）

これを図で表す方法として広く使われているのが GSN（Goal Structuring Notation）です。上の主張を下の小さな主張に分けていき、いちばん下を証拠で支えます。

この機能は、ODD の中で十分に安全である 前提：ODD 高速道路の渋滞時 危険の原因ごとに分けて論じる 故障による危険は 十分に小さい（4.7） 機能不十分による危険は 十分に小さい（5.1） 攻撃による危険は 十分に小さい（4.7） （省略） （省略） シナリオ 試験の結果 残留リスク の見積もり
GSN で書いたセーフティケースの一部（模式図）。四角が主張、平行四辺形が論証の道筋、円が証拠、角の丸い四角が前提、ひし形はこの図では展開を省いた部分。

自動運転の分野では、自律的に動く製品のセーフティケースに何を含めるべきかをまとめた UL 4600 という規格もあり、市場に出したあとのデータで論証を確かめ続けることも求めています。

数式で確かめる

① 2本足の論証は強い（ただし独立なら）

1つの主張を、性質の違う2つの証拠で支えることがあります。たとえば「機能不十分による危険は十分に小さい」を、(a) シナリオ試験の結果と、(b) トリガー条件の分析とで、それぞれ別々に示します。どちらかの証拠が見当違いである（主張が本当は成り立たないのに、成り立つように見せてしまう）確率をそれぞれ 10% とすると、2つが独立なら、両方とも見当違いである確率は

$$0.1 \times 0.1 = 0.01$$

で、1本だけのとき（10%）より大幅に小さくなります。ただし、2つの証拠が同じシミュレーションのモデルや同じデータに頼っていると、独立ではありません。共通の前提が 5% の確率で間違っていて、そのとき両方とも見当違いになるなら、確率はおよそ 0.05 ＋ 0.95 × 0.01 ≈ 0.06 と、ほとんど共通の前提で決まってしまいます。1.1 の共通原因と同じで、論証の足は、なるべく違う種類の証拠にします。

② 主張の鎖は、いちばん弱い輪で決まる

上の主張が成り立つには下の主張がすべて成り立つ必要があるとき（図の3つの主張）、全体の確からしさは、下の主張の確からしさの掛け算になります。

$$P(\text{上の主張}) = P(\text{故障}) \times P(\text{機能不十分}) \times P(\text{攻撃})$$

それぞれを 0.99・0.95・0.98 と見積もれば、0.99 × 0.95 × 0.98 ≈ 0.92 です。機能不十分の主張を 0.99 まで強めると 0.96 になります。4.2 の直列の誤りと同じで、いちばん弱い主張の証拠を強めるのが、全体を強くする近道です。なお、数値は説明のためのものです。実際には「確からしさ」を数で表すのは難しく、言葉で理由を示すことが中心になります。

③ 反論をつぶしていく

論証を強くするには、「この主張が崩れるとしたら、どんな場合か」という 反論（ディフィーター）を洗い出して、一つずつつぶしていく方法が有効です。たとえば「シナリオ試験で十分」という主張には、「シミュレーションが現実と違うのでは」（5.7）、「シナリオの一覧に抜けがあるのでは」（5.6）、「現実の分布の見積もりが違うのでは」（5.8）といった反論が考えられます。まだつぶせていない反論が 3 つあり、それぞれ 10% の確率で当たっている（独立）とすると、どれも当たっていない確率は

$$0.9^3 \approx 0.73$$

です。証拠を足して2つをつぶせば 0.9 になります。つぶせない反論は隠さずに書き、その分を ODD の制限や市場での見張りで補います。

実務との接点

  • 前提を必ず書く：「十分に安全」は、いつも「どの ODD で、どんな使い方で」とセットです。前提が変われば（ODD を広げる、使う国を変える）、論証もやり直します。→ 4.1
  • 証拠は Part 5 の活動から：ハザード分析（5.4）、受入れ基準（5.5）、シナリオ試験（5.6）、シミュレーションの信頼性（5.7）、AI の部品とデータの記録（5.9）が、それぞれ論証の証拠になります。→ 5.5
  • 独立した目で見てもらう：作った人は、自分の論証の弱いところに気づきにくいものです（確証バイアス）。独立した評価者のレビューを受け、反論を出してもらいます。
  • 生きた文書として更新する：ソフトウェアの更新や ODD の変更、市場で見つかった新しい危険のたびに、論証のどこが影響を受けるかを調べて更新します。→ 5.11 市場投入後の監視
  • 3本柱をまとめる：機能安全・SOTIF・サイバーセキュリティのそれぞれの論証を、1つの全体の論証にまとめます（図の3つの主張）。→ 4.7

まとめ

  • セーフティケースは、「このシステムはこの前提の中で十分に安全だ」という主張を、論証の道筋と証拠で組み立てたもの。GSN で主張・論証の道筋・証拠・前提を図にする
  • 性質の違う2本の証拠で支えると論証は強くなるが、共通の前提があると、強さはそこで決まる。下の主張がすべて必要なときは、いちばん弱い主張が全体を決める
  • 反論を洗い出してつぶし、つぶせないものは正直に書いて ODD や見張りで補う。論証は独立した目で確かめ、変更や市場のデータで更新し続ける

確認クイズ

Q1. GSN で「残留リスクの見積もりの記録」は、主張・論証の道筋・証拠・前提のどれにあたる？

証拠です（図では円で表す）。

Q2. 2本の証拠で支える論証で、それぞれが見当違いである確率が 20% で、2つが独立なら、両方とも見当違いである確率は？

0.2 × 0.2 ＝ 0.04、つまり 4% です。

Q3. ②で、3つの主張の確からしさが 0.98・0.90・0.99 なら、上の主張の確からしさは？

0.98 × 0.90 × 0.99 ≈ 0.87 です。いちばん弱い 0.90 の主張から強めるのが効果的です。

Q4. 「試験の結果を全部そろえたので、セーフティケースは完成した」。この考えの問題点は？

証拠を集めるだけでは足りず、それぞれの証拠がどの主張をどう支えるのか（論証の道筋）と、主張が成り立つ前提を示す必要があります。反論をつぶせているかも確かめ、変更や市場のデータに合わせて更新し続けることも必要です。

もっと知りたい人へ