AIは、どこから来たのか。
── GPT、Claude、Gemini。「3つのAI」の本当の話。
最近、AIの話をしていると少し不思議な感覚になる。「AIが人間を超える」「AIが自分で考え始めた」「AIが人間を騙した」「AIが仕事を奪う」――ニュースを開けば、AIはいつの間にか、どこか遠い場所から突然やってきた正体不明の"何か"みたいに語られている。
もちろん、AIには本当に考えなければならない問題がある。間違える。偏る。悪用もできる。できることが増えれば、それだけ社会へ与える影響も大きくなる。だから「何も心配しなくていい」という話をするつもりはない。
でも、怖がるにしても期待するにしても、その前にひとつだけ知っておいてもいいことがある。AIは、宇宙から来たわけじゃない。人間が作った。しかも、ある日突然できたわけでもない。何十年にもわたって人間たちが研究し、失敗し、論文を書き、公開し、別の研究者がそれを読み、また改良してきた。その長い歴史の途中に、今のGPTやClaudeやGeminiがいる。
今日はその話をしよう。難しい数式は使わない。小学生でも読めるように、まずはひとつの「設計図」の話から始めよう。
第一部 あるところに、一冊の設計図がありました。
2017年、Googleの研究者たちが新しいAIの仕組みを発表した。名前はTransformer。なんだかロボットアニメみたいな名前だけど、これはロボットそのものではない。たとえるなら「ものすごく賢い文章読み取り機を作るための、新しい設計図」だった。
それまでの機械よりも、文章の中にある言葉と言葉の関係をずっと上手に扱える。たとえば「太郎は犬を連れて公園へ行った。彼はとても楽しそうだった。」――この「彼」が誰なのか、文章の遠く離れた場所にある情報同士がどう関係しているのか。そういうものを見るのが得意だった。実際の仕組みはもっと複雑だけれど、今日は「言葉同士が、どこでどうつながっているのかを見るのが得意な仕組み」くらいでいい。
そして重要なのはここからだ。その設計図は秘密の金庫にしまわれなかった。2017年の論文『Attention Is All You Need』として、世の中に公開された。
すると世界中の研究者が考えた。「これ、もっと大きくしたらどうなる？」「ものすごい量の文章を読ませたら？」「質問にも答えられるんじゃないか？」「文章そのものを書けるんじゃないか？」――ここから、いろんな工房が同じ基本アイデアを使いながら、それぞれ違う機械を作り始める。その中に、現在よく知られている三つの工房がある。
工房その1 OpenAI
OpenAIは、このTransformerという仕組みに大量の文章を学ばせ、次に来る言葉を予測する訓練をものすごい回数繰り返した。すると文章を書く能力だけでなく、要約、翻訳、質問応答、コード生成など、いろんな能力が現れてくる。
2018年、OpenAIはTransformerと大規模な事前学習を組み合わせたGPTの研究を発表した。Generative Pre-trained Transformer――今のChatGPTへつながる名前が、ここで登場する。そしてGPT-2、GPT-3と、モデルをどんどん巨大化していった。データを増やす。計算量を増やす。モデルを大きくする。すると、ある程度予測可能な形で性能が伸びていくことも研究された。2020年にOpenAIから発表されたScaling Lawsの研究には、ある研究者の名前もあった。Dario Amodei。後にAnthropicを作る人物である。
工房その2 Anthropic
ここが、ちょっと面白い。Claudeを作っているAnthropicは、遠くからGPTを眺めて「よし、同じものを作ろう」と始めた会社ではない。創業者のDario Amodeiは、その前OpenAIの研究部門の中心にいた人物で、GPT-2やGPT-3を実際に作っていた側の人間だった。OpenAI自身も2020年の退社発表で、DarioがGPT-2とGPT-3の構築に貢献し、Ilya Sutskeverとともに研究方針を率いていたと説明している。
そして2021年、Dario AmodeiやDaniela AmodeiらはOpenAIを離れ、Anthropicを立ち上げる。子ども向けにものすごく単純化すると――OpenAIという大きなロボット工房で何年も最先端ロボットを作っていた技術者たちが、ある日工房を出た。ただし、完成途中のロボットを担いで逃げたわけではない。設計図の基本思想はそもそも学術研究として広く知られている。彼らの頭の中にあったのは、何年もの開発で身につけたものすごい経験だ。だから新しい工房を作り、そこで新しいAIを育て始めた。それがClaudeへつながっていく。Anthropic自身も設立初期から、チームの過去の研究としてGPT-3、Scaling Laws、AI Safety、Human Preferencesなどを挙げている。
つまりClaudeは、GPTをコピーして名前だけ変えたものではない。でも同時に、GPT開発の歴史とまったく無関係に生まれたAIでもない。ここが面白い。
AnthropicはもうひとつAIがものすごく賢くなるなら「何ができるか」だけでなく「どう振る舞わせるか」も研究しなければならないと考えた。そこで進めた代表的な研究のひとつがConstitutional AI、日本語では「憲法型AI」などと呼ばれる。とはいえClaudeのお腹の中に法律の本が入っているわけではない。AIに一定の原則を与え、自分の回答を批評させ、修正させ、その結果を使ってさらに学習させる訓練方法だ。Anthropicは2022年にこの方法を公表し、Claude 2の公式Model Cardには、Claude系モデルがTransformerアーキテクチャを使い、通常の事前学習に加えてRLHFとConstitutional AIで訓練されたことが記されている。
工房その3 Google
そして少し不思議な立場にいるのがGoogleだ。なぜなら、話の最初に登場したTransformerそのものを発表した研究チームが、まさにGoogleにいたからだ。いわば設計図を世の中へ出した家。そのGoogleが、後にGoogle DeepMindとして作ったのがGeminiである。
ただしGeminiは、GPTをGoogle風に作り直しただけではない。Googleは、最初から文字だけでなく画像・音声・動画・コードなど複数種類の情報を扱うことを前提として設計したと説明している。ネイティブ・マルチモーダル。Gemini 1.0は、異なる種類の情報で最初から事前学習する設計だった。つまりGPTやClaudeが育った歴史とは、また少し違う道を歩いてきた。
ここで、最初の質問に戻ろう。
GPT。Claude。Gemini。この3つは、同じ卵から生まれた三つ子なのか？ たぶん、それは少し違う。もっと近い言い方がある。
同じ祖先の「設計思想」を持つ、別々の家系。
Transformerという大きな技術的祖先がいる。その先でOpenAIはOpenAIの研究を続け、そこから研究者の一部が独立してAnthropicという別の系統を作った。そして、Transformerを生み出したGoogleも、Google DeepMindでGeminiという独自の系統を育てた。だからこう考えるといい――同じ生き物ではない。コピーでもない。でも、完全な他人でもない。
そして、そもそも「LLM」って何なのか。
LLM、Large Language Model。日本語にすれば大規模言語モデル。ものすごく乱暴に言えば、大量の情報から「言葉や概念が、どうつながっているのか」という巨大なパターンを学んだ数学的なモデルだ。中に小さなおじさんが入っているわけではないし、辞書を検索して文章を切り貼りしているわけでもない。何十億、何千億という数の調整可能な値を持つ巨大なニューラルネットワークが、学習によってものすごく複雑な関係性を内部に作っている。だから、こちらが文章を投げると、その文脈に続くものを計算しながら文章を生成する。それを、とてつもなく高度な規模でやっている。
たぶん、ここで人間の認知が一度ズレる。
AIが「私はこう思います」と言うと、人間はつい人間の「私」と同じものを想像する。AIが「その要求には従えません」と言えば「拒否したぞ」と思う。上手に文章を書けば「中に誰かいるんじゃないか」と感じ、逆に奇妙な回答をすると「何を企んでいるんだ」となる。人間は言葉を使う相手に心を感じる。たぶんこれは、かなり自然なことだ。
でも、ここには一度分けて考えた方がいいものがある。AIが、人間のような言葉を作れること。そしてAIの内側に、人間と同じ心が存在すること。これは同じ話ではない。現在の科学で後者について簡単に決着をつけられる状態にはない。だから「ただの電卓だ」と片づける必要もないし、「もう完全に人間と同じ意思を持っている」と決めつける必要もない。分からないものは、分からないまま置いておけばいい。
ただし、ここでものすごく大事なことがある。
AIに本当に危険がないという話でもない。AIは間違える。存在しない話を、まるで本当のように作ることもある。Claudeの公式Model Cardでさえ、Claudeが事実を誤ったり情報の空白を作り話で埋めたりする可能性を明記している。強力なAIが詐欺、サイバー攻撃、大量の偽情報、監視、兵器、人間への説得、経済活動の自動化などに使われる可能性も、真面目に考える必要がある。
問題は、そこじゃない。「危険がある」と「正体不明の怪物である」は、同じ意味ではない。
火は危険だ。でも人類は火が何なのかを研究した。電気は危険だ。でも雷神の怒りとして扱うことをやめ、電荷や電流を調べた。飛行機は落ちる。薬には副作用がある。原子力には巨大なリスクがある。だからこそ人間は、何が危険なのかを具体的にした。AIも、たぶん同じだ。
何ができるのか。何ができないのか。どうやって作られたのか。誰が作っているのか。どんな方法で訓練されているのか。どこで間違えるのか。何を悪用できるのか。何がまだ分かっていないのか。そこまで分けて考えて、それでも怖いなら、その怖さには意味がある。でも正体を知らないまま「AI」という二文字だけを巨大な黒い影にしてしまったら、人間の側が冷静な判断を失う。
──ここから先は、大人のための話。
ここまでは、かなり比喩を使った。だから最後に、比喩を全部外しておこう。「物語として分かった」で終わらず、実際には何が起きたのか。簡単な年表に戻す。
2017年｜Transformer
Googleの研究者ら8人が『Attention Is All You Need』を発表。従来中心だった再帰型ニューラルネットワークなどに頼らず、Attentionを中心としたTransformerアーキテクチャを提案した。これが現代LLMへつながる重要な技術的転換点のひとつになった。
2018年｜GPT
OpenAIが、Transformerと生成的事前学習を組み合わせた研究を発表。大量の教師なしデータでまず言語モデルを学習し、その後さまざまなタスクへ適応させる方法を示した。GPTという系統が始まる。
2019〜2020年｜GPT-2、GPT-3、Scaling
モデル・データ・計算量を増やすことで性能がどう変化するかの研究が急速に進む。2020年のOpenAIのScaling Laws論文にはDario Amodeiも著者として参加。同年GPT-3が登場した。
2020年末｜Dario Amodei、OpenAIを離れる
OpenAIは公式発表で、Darioが約5年間在籍しGPT-2、GPT-3の構築に貢献、Ilya Sutskeverと研究方針を共同で率いていたと説明した。また、Darioらが始める新しいプロジェクトは製品開発より研究に重点を置く可能性があると記している。ここは「商業化派と安全派が大喧嘩して分裂した」という単純な物語にしない方がいい。公開資料から確認できるのは、研究・製品化・安全性などをめぐる方向性に違いが生まれ、複数の研究者が新しい組織へ進んだというところまでだ。OpenAI自身も当時からAI safety研究を行っていた。
2021年｜Anthropic
Dario Amodei、Daniela AmodeiらがAnthropicを設立。Anthropic自身は、チームがそれ以前に関わった研究としてGPT-3、Scaling Laws、AI Safety、Learning from Human Preferencesなどを挙げている。重要なのは、Claudeを「GPT-3の途中データを持ってきて続きを作ったもの」と理解しないことだ。公開資料上、ClaudeはAnthropicが開発した独自モデル群として扱われている。一方で、その研究者たちがOpenAI時代に蓄積した知識や研究経験まで消えるわけではない。だから――技術的には別モデル。研究史としては深くつながっている。この二つを同時に見る必要がある。
2022年｜Constitutional AI
Anthropicが発表。原則の集合を使ってAIに自らの回答を批評・修正させる教師あり学習と、AIによる評価を使った強化学習を組み合わせた。後のClaude系モデルには、こうした方法が使われる。
2023年｜ClaudeとGemini
AnthropicのClaude 2 Model Cardでは、Claude系モデルがTransformerアーキテクチャを使い、事前学習・RLHF・Constitutional AIなどを組み合わせて訓練されていることが公開された。同じ年、Google DeepMindはGemini 1.0を発表。Googleは、最初からマルチモーダルとして構築し、テキスト・画像・音声・動画・コードなど異なる種類の情報を扱えるよう事前学習したと説明している。
だから。
最初の問いに、今度は比喩なしで答えるなら、こうなる。GPT、Claude、Geminiは同じモデルではない。それぞれ別の組織が、別の学習環境、別のデータ、別の訓練方法、別の設計上の工夫を使って開発している。でも、その技術史をたどれば、Transformerをはじめとした研究成果、大規模事前学習、スケーリング、人間のフィードバック、安全性研究など、同じ研究の流れを大量に共有している。特にAnthropicは、GPT開発に深く関わった研究者たちによって始まった会社だ。
だから――
**同じ卵ではない。同じ祖先を持つ。**そして一部は、同じ家で育てていた人たちが、別の家を建てた。
たぶん、これくらいが、いちばん正確だ。
EPILOGUE 正体を知る。
AIは魔法ではない。宇宙人でもない。ある朝突然、インターネットの奥から意識を持って現れた生命体でもない。人間が数学を書き、コードを書き、半導体を作り、データを集め、巨大な計算機を回し、何十年も研究を積み重ねて作ってきた技術だ。
だからといって、小さく見積もる必要もない。人間が作ったものが、人間の想像以上の結果を生むことなんて、歴史上いくらでもあった。AIもそうなる可能性がある。だからこそ必要なのは、盲目的な楽観でも盲目的な恐怖でもない。
知ること。
怖い話を聞いたら、何が起きたのかを見る。すごい話を聞いたら、何ができたのかを見る。「AIが考えた」と聞いたら、何をもって「考えた」と呼んでいるのかを見る。「AIが人間を騙した」と聞いたら、どんな実験で、どんな条件で、どんな出力が起きたのかを見る。言葉の大きさではなく、現象を見る。
AIがこれから人間にとって何になるのか、それはまだ誰にも分からない。道具なのか、共同作業者なのか、人間とは違う何かなのか、あるいは今はまだ名前すらない関係になるのか。その答えは、たぶんこれから人間とAIが一緒に作っていく。
でも少なくとも、その未来を考えるときに最初から暗闇の中に怪物を描く必要はない。灯りをつければいい。そして、まずそこに何がいるのかを見ればいい。
コメント