Part 3 · ディープラーニングとAI

3.6 基盤モデルと生成AI

LLM・VLM・End-to-End運転モデル

読了目安 10分前提：3.5 Transformerと注意機構▶ 動画（約5分）

この回で分かること

基盤モデル（大量のデータで事前学習し、さまざまな用途に使い回すモデル）と、事前学習・微調整の流れを説明できる
LLM が「次のトークンの確率」を予測して文章を作るしくみと、温度・ハルシネーション の意味を説明できる
VLM や End-to-End 運転モデルなど、自動運転での使い道と安全上の課題を説明できる

直感で理解する

これまでのモデルは、「歩行者の検出」「標識の分類」のように、1つの課題ごとに正解付きのデータを集めて学習するのが基本でした。これに対して 基盤モデル は、まずインターネット上の文章や画像、大量の走行記録などを使って、正解ラベルなしで巨大なモデルを学習させます（事前学習）。そのあと、少ないデータで追加学習（微調整）したり、文章で指示を与えたりして、さまざまな用途に使い回します。

正解ラベルなしで学べるのは、「文章の続きを当てる」「隠した部分を当てる」のように、データそのものから問題を作れるからです。膨大なデータの続きを当て続けるうちに、言葉の意味や世界についての知識のようなものが、モデルの中にたまっていきます。

基盤モデルの流れ。正解ラベルのない大量のデータで事前学習した1つのモデルを、少ないデータでの微調整や、文章による指示で、さまざまな用途に使い分ける。

文章を扱う基盤モデルを LLM（大規模言語モデル）、画像と文章の両方を扱うものを VLM（視覚言語モデル）と呼びます。文章や画像を新しく生み出せることから、まとめて 生成AI とも呼ばれます。中身の多くは、3.5 の Transformer を巨大にしたものです。

数式で確かめる

① LLM は「次のトークン」の確率を予測する

LLM は、それまでのトークン（3.5）の並びが与えられたときに、次に来るトークンの確率を予測します。1.2 の条件付き確率そのものです。

$$P(w_t \mid w_1, w_2, \dots, w_{t-1})$$

文章を作るときは、この確率に従って次のトークンを1つ選び、並びに付け足して、また次を予測する、をくり返します。事前学習では、実際の文章で次に来たトークンの確率が高くなるように、つまり交差エントロピー（2.4）が小さくなるように学習します。モデルが学ぶのは「本当かどうか」ではなく「続きとしてもっともらしいか」である点が、あとで大事になります。

② 温度：答えの散らばり具合を決める

各候補の点数 $z_k$ を確率に直すとき、ソフトマックス関数（2.4）の前に温度 T で割ります。

$$p_k = \frac{e^{z_k / T}}{\sum_{j} e^{z_j / T}}$$

「赤信号では車は」に続く言葉の候補の点数が、「止まる」4、「停止する」2、「進む」0 だったとします。

「赤信号では車は」に続く言葉の確率。温度を上げると答えが散らばり、確率の低い「進む」も選ばれやすくなる。温度を下げると、ほぼ毎回同じ答えになる。数値は説明用の例。

温度1では「進む」の確率は $1/(e^4 + e^2 + 1) \approx 1.6\%$ ですが、温度2では約9%に上がります。温度を上げると表現が豊かになる一方、まれに不適切な答えも出やすくなります。温度を下げるとほぼ毎回同じ答えになりますが、それが正しいとは限りません。

③ 規模と、使い回し方

現在の大きな LLM は、数十億〜数兆のパラメータを持ち、数兆トークンの文章で事前学習されています。モデルの大きさ・データの量・計算量を増やすほど、損失がおおむね予測できる形で下がり続けることが知られていて（スケーリング則）、これが大型化を後押ししてきました。

事前学習したモデルは、次のような方法で目的に合わせます。

微調整：目的の課題の、少ない正解付きデータで追加学習する（3.2）
指示（プロンプト）：「この画像の危険な点を挙げて」のように、文章で課題を伝える
人の評価による調整：人が良い・悪いと評価した答えをもとに、振る舞いを調整する

発展：生成AIの評価

生成AI の答えには、ひとつに決まった正解がないことが多く、評価は画像の認識よりも難しくなります。よく使われるのは、正解のある問題をたくさん集めた ベンチマーク で正答率を測る方法ですが、読むときに注意したい点が3つあります。

正答率にも幅がある：500 問で正答率 80% なら、標準誤差は $\sqrt{0.8 \times 0.2 / 500} \approx 1.8\%$ で、95% の幅はおよそ ±3.6 ポイントです。ランキングで 1〜2 ポイントの差があっても、偶然の範囲かもしれません（2.7、3.10）。
問題が学習データに混ざっている（データの混入）：ベンチマークの問題と答えがインターネットに公開されていると、学習データに含まれて「覚えて」いることがあります。測った正答率が 82% でも、問題の 10% を丸暗記で解いていたなら、初めて見る問題での正答率は (0.82 − 0.10) / 0.90 ≈ 80% です。公開されていない問題や、新しく作った問題で確かめます。
毎回同じ答えとは限らない：温度（②）が 0 でなければ、同じ質問でも答えが変わります。1 回ごとの正答率が 80% でも、5 回続けてすべて正しい確率は 0.8⁵ ≈ 33% です。安全に関わる使い方では、何回か答えさせて、ばらつきも評価します（3.7）。

正解が決まらない文章の良し悪しは、人が採点するか、別の AI に採点させます（AI による採点）。AI による採点は速くて安い一方、長い答えや最初に示された答えを高く評価しやすい、自分と同じ系統のモデルを好みやすい、といった偏りが知られています。人の採点と一部を突き合わせて、ずれを確かめてから使います。

まとめ

基盤モデルは、正解ラベルなしの大量データで事前学習した巨大なモデルを、微調整や指示でさまざまな用途に使い回すもの。LLM・VLM・End-to-End 運転モデルなどがある
LLM は次のトークンの確率を予測して文章を作る。温度を上げると答えが散らばり、確率の低い不適切な答えも出やすくなる
学ぶのは「もっともらしさ」なので、ハルシネーションが起きる。安全に使うには、別の手段での確認、設定と版の固定、場面ごとの評価が必要

確認クイズ

Q1. 候補の点数が「止まる」4、「停止する」2、「進む」0 のとき、温度1での「進む」の確率は？

$e^0 / (e^4 + e^2 + e^0) = 1 / (54.6 + 7.4 + 1) \approx 1/63$、約1.6%です。

Q2. 同じ点数で温度を2にすると、「進む」の確率は？これは何を意味する？

点数を2で割ると 2、1、0 なので、$1 / (e^2 + e^1 + 1) \approx 1/11.1$、約9%です。温度を上げると、確率の低い不適切な答えが選ばれる機会が増えます。

Q3. LLM が、自信のある口調で事実と違うことを答える現象を何と呼ぶ？なぜ起きる？

ハルシネーションです。LLM は「続きとしてもっともらしいか」を学んでいて、「本当かどうか」を確かめてはいないからです。

Q4. 同じ画像と質問に対して、VLM の答えが毎回少しずつ違いました。安全評価ではどうする？

温度などの設定とモデルの版を記録して固定し、同じ条件で何度も試して、答えのばらつきを含めて評価します。モデルが更新されたら、評価をやり直します。

もっと知りたい人へ

次の回：3.7 不確実性とキャリブレーション
関連：1.2 条件付き確率とベイズの定理、2.4 ロジスティック回帰（ソフトマックス関数・交差エントロピー）、3.5 Transformerと注意機構
用語集：基盤モデル・事前学習・微調整、LLM・VLM、温度、ハルシネーション、End-to-End
解説動画：YouTube（約5分）（静止画のスライドと音声で要点を説明。英語版の記事には英語の動画があります）
参考文献
- R. Bommasani ほか, “On the Opportunities and Risks of Foundation Models,” arXiv:2108.07258, 2021.
- J. Kaplan ほか, “Scaling Laws for Neural Language Models,” arXiv:2001.08361, 2020.
- Y. Hu ほか, “Planning-oriented Autonomous Driving,” CVPR, 2023.