【資料】ハイパーエージェンシー（アンドレイ・カーパシー）
アンドレイ・カーバシー（Andrej Karpathy）
OpenAI（ChatGPT）の共同設立者の１人で、Tesla（テスラ）のAI責任者を務めた経験もある。
まずはこちら（↓）
さらに詳しく知りたい方は、
https://note.com/ikematsu/n/n02935e1942b9
【ポイント】
●Karpathy氏はAGI実現まで約10年と予測し、現状のAIは生物的知能とは異なる「幽霊」のような存在と主張
●現在のLLMは認知的欠陥が多く、複雑な作業や継続的学習には不向き
●強化学習（RL）は非効率で欠陥が多く、「ストローで教師信号を吸い上げるよう」と批判
●AGIは経済を急激に変えるのではなく、GDP成長率2%の延長線上で徐々に統合されると予測
●自動運転開発で得た経験から、AIの製品化には「ナインの行進」と呼ばれる極めて困難な過程が必要と警告
●将来のAIは単一の超知能ではなく、複数の自律的AIによる複雑な生態系となり、人類は徐々に制御を失うと示唆
●現在のAIには文化の継承能力がなく、協調進化的な知能共同体の形成には未成熟
●教育機関Eurekaを設立し、AI時代に人間が疎外されずに共存・進化するための「知識のスロープ」を構築することを目指す
●最終的な目標は、AIと共に学び、自己実現を追求する「スタートレック・アカデミー」のような教育の実現
【本文】
Andrej Karpathyの最新の1万字インタビューが公開された。2時間にわたるKarpathyのインタビューは必見であり、週末の精神的な糧として提供される。
Dwarkesh Patelとの深い対話の中で、Andrej Karpathyは人工知能の現状と未来に関する自身の核心的な見解を述べた。彼は、汎用人工知能（AGI）の実現までにはまだ10年かかると考えており、現在の過度な楽観的な予測の多くは資金調達のためであると指摘している。Karpathyは核心的な比喩を提示した。私たちは「動物を構築している」のではなく、「幽霊を召喚している」のだと。AIはインターネット上の膨大な人間データを模倣することで誕生したデジタルエンティティであり、その知能の形式は生物学的知能とは全く異なる。
Karpathyは、強化学習は以前の技術よりも優れているものの、それ自体が非効率で欠陥に満ちていると指摘している。彼は、汎用人工知能（AGI）が経済の爆発的な成長をもたらすのではなく、過去2世紀半にわたる約2%のGDP成長曲線にスムーズに組み込まれ、自動化の波の延長線上に位置づけられると予測している。最後に、彼は自身の教育機関Eurekaを設立するビジョンを共有した。これは、効率的な「知識の傾斜路（knowledge ramp）」を構築することで、AI時代に人間がより強力な認知能力を身につけ、技術の波の中で人間が周縁化されるのを防ぐことを目的としている。
汎用人工知能（AGI）まであと10年、私たちは「動物」を構築しているのではなく「幽霊」を召喚している
Andrej Karpathyは、現在のAI業界における「エージェントの年（the year of agents）」という表現に対して慎重な姿勢を示しており、より正確な表現は「エージェントの10年（the decade of agents）」であると考えている。彼は、ClaudeやCodexのような初期のエージェントが印象的な成果を上げており、彼自身も毎日使用しているものの、それらが人間の従業員に匹敵するインターンになるためには、まだ大量の基礎的な作業が残されていると指摘している。
現在のLLMが複雑な自律的作業をこなせないのは、根本的な認知上の欠陥が多数存在するためである。
-
知能レベルの不足：複雑で新しい問題に対処する際に、依然として力不足である。
-
マルチモーダル能力の欠如：人間のようにテキスト、画像、音声など複数の情報源を統合し、理解することが困難である。
-
コンピュータを熟練して使用できない：いわゆるコンピュータ使用エージェントは存在するものの、その堅牢性と汎用性は実用レベルには遠く及ばない。
-
継続的な学習能力がない：人間を教育するように、一度教えるだけでモデルが新しい知識やスキルを永続的に記憶することはない。ほとんどのインタラクションで、それらはゼロから始まる。
Karpathyは、これらの絡み合った問題を解決するには約10年かかると考えている。この時間予測は根拠のない推測ではなく、AI分野での20年近い経験に基づき、何度も技術予測の浮沈を目撃し、問題の厄介さについて深い直感を持っているためである。
AIの発展の歴史を振り返り、Karpathyはこの分野が数回の「地震のような」パラダイムシフトを経験したと考えている。
-
ディープラーニングの台頭：AlexNetを象徴として、分野全体が従来のさまざまな手法からニューラルネットワークの訓練へと転換した。しかし、当初の応用は非常に分散しており、各モデルは特定のタスク（画像分類、機械翻訳など）のために設計されていた。
-
初期エージェントの「誤った道（misstep）」：2013年頃、ディープ強化学習がAtariゲームで成功を収めたことで、分野の焦点はゲームで勝利するエージェントの構築へと移った。Karpathyはこれを「誤った道」と見ている。なぜなら、ゲーム環境はあまりにも単純化され抽象化されており、現実世界のニーズとはかけ離れていたためである。彼が当時OpenAIで推進していたUniverseプロジェクトは、エージェントがキーボードとマウスをシミュレートしてウェブページを操作することで、より現実世界の知識作業に近づけようとした。しかし、当時はまだ時期尚早であった。モデルは強力な基盤となる表現能力を欠いており、エージェントは非効率なランダム探索しかできず、報酬信号は極めて希薄で、最終的には大量の計算リソースを消費したにもかかわらず何も得られなかった。
-
言語モデルの台頭：その後の発展が証明したのは、まず大規模な事前学習（pre-training）を通じて、LLMのような強力な言語と世界知識の表現能力を持つモデルを構築し、その基盤の上で初めて効果的なエージェントを構築できるということである。これは、AIの発展経路が一度に達成されるものではなく、まず「表現層」の基盤をしっかりと築く必要があることを示している。
この発展の経緯は、Karpathyの核心的な見解へとつながる。現在、我々がAIを構築する方法は、生物の進化とは全く異なる。彼は強化学習の父であるリチャード・サットン氏の考えを引用する。すなわち、AIの目標は、動物のようにゼロから環境との相互作用を通じてすべてを学習できるシステムを構築することである。Karpathyはこれに疑問を呈し、有名な「幽霊と動物」の比喩を提示した。
-
動物：進化の産物である。それらは生まれつき、遺伝子に組み込まれた大量のハードウェアと事前設定されたプログラムを持つ。例えば、シマウマは生まれて数分後には走ることができるが、このような複雑な行動は強化学習によって習得されたものではなく、数十億年の進化によってDNAにコード化された結果である。進化は、極めて長く強力な外部最適化ループである。
-
幽霊：我々がインターネット上の人間データを模倣することによって構築したものである。それらは完全にデジタル化された、実体のない「精神的な存在」である。それらには身体がなく、進化の歴史もなく、その知識と知能は人間が作成したテキスト、コード、画像のパターン学習から得られる。
したがって、Karpathyは、AIと動物を直接比較するのは危険であると考えている。なぜなら、我々は進化というプロセスを実行しているわけではないからである。彼は大規模な事前学習を「劣悪な進化」と見なす。それは、既存の技術条件下で、モデルに「先天的な知識」と「インテリジェントなアルゴリズム」を注入することに最も近い、実用的な方法である。この方法によって、我々は利用可能な出発点を得ることができ、その上で強化学習などのより高度な訓練を行うことが可能となる。これは全く異なる知能の形式であり、知能空間の新たな出発点に位置する。
LLMの認知欠陥：ワーキングメモリからモデルの破綻まで
Karpathyは、LLMの認知レベルにおける人間との類似点と相違点を深く分析し、現在のモデルが抱える主要な欠陥を指摘した。これらの欠陥は、真に自律的なエージェントとなる可能性を制限している。
核心となる観察点の一つは、文脈学習である。我々が対話ウィンドウでモデルと対話する際に示される推論、訂正、適応能力は、最も真の知能に近いと感じられる。この能力は、事前学習段階で勾配降下法を通じて「メタ学習」されたものである。Karpathyは、表面的には異なるものの、文脈学習のプロセス自体がニューラルネットワークの内部層で勾配降下法に似た最適化ループを実行している可能性があると指摘する。既存の研究では、精巧に設計された重みを用いることで、Transformerがその順伝播中に勾配降下法の更新ステップをシミュレートできることが示されている。
これが、モデルが情報をどのように処理し、保存するかという重要な違いにつながる。
重み（ウェイト）中の知識（事前学習知識）：この知識は、モデルが数兆のトークンを圧縮することによって形成され、数十億のパラメータに保存されている。Karpathyはこれを「曖昧な記憶」に例える。それは、我々が1年前に読んだ本に対する印象のようなものである。圧縮率が極めて高いため、情報は概括的で不正確である。
コンテキストウィンドウ内の知識（即時知識）：ユーザーがプロンプトを入力すると、これらの情報はモデルのKVキャッシュにエンコードされる。Karpathyはこれを人間の「ワーキングメモリ」に例える。この情報はモデルが直接的かつ正確にアクセスできるため、モデルは内部の重みに依存するよりも、文脈ウィンドウ内の情報を処理する際の方がはるかに優れたパフォーマンスを発揮する。だからこそ、モデルに関連する段落を提供してから質問する方が、訓練データで見たことがあるかもしれない問題を直接尋ねるよりも、より正確な答えが得られるのである。
このフレームワークに基づき、KarpathyはLLMには依然として多くの重要な脳の部位が欠けていると考えている。彼はTransformerアーキテクチャを、あらゆるモダリティのデータを処理できる汎用的な「皮質組織」に例える。そして、連鎖的思考は、「前頭前野」の計画および推論機能に似ているとする。しかし、他の多くの重要な認知機能は、現在のモデルには対応するものが存在しない。
-
記憶の定着（例：海馬）：人間は睡眠中に、日中の作業記憶をフィルタリング、統合、精錬し、長期記憶として固定化する（脳の重みを更新する）。LLMにはこのプロセスが全くない。LLMは毎回、真っ白なコンテキストウィンドウから会話を開始し、一度のインタラクションの経験を精錬して将来のインタラクションに利用することができない。これこそが、継続学習の欠如の核心的な理由である。
-
感情と本能（例：扁桃体）：モデルは生物学的進化によって与えられた深い動機、感情、本能を欠いており、その結果、行動パターンが単一的で、内発的な推進力に欠けている。
エンジニアリングの実践において、これらの認知的欠陥は特に顕著に現れる。Karpathy氏がnanoGPT（ChatGPTの極めてシンプルな複製プロジェクト）を開発した際、既存のコーディングエージェントがほとんど役に立たないことを発見した。その理由は以下の通りである。
-
経路依存性とステレオタイプ：モデルは、訓練データで見た大量の標準的なコードパターンに強く依存する。Karpathy氏が斬新で簡潔だが非主流な実装方法（例えば、PyTorch公式のDDPコンテナを使わず、自分で勾配同期を実装する）を採用した際、モデルは彼の意図を繰り返し誤解し、コードを慣れ親しんだ「定型コード」（boilerplate code）に戻そうとした。
-
スタイル衝突とコード膨張：モデルは防御的で本番レベルのコードを記述する傾向があり、try-catch文や冗長なチェックで溢れている。しかし、Karpathy氏のプロジェクトは教育目的の簡潔さと明瞭さを追求しており、モデルが生成するコードは不必要な複雑さを増すだけであった。
-
非効率なインタラクション帯域幅：複雑なコード修正要求を自然言語で記述する効率は、コードの特定の場所に数文字を入力し、自動補完に任せるよりもはるかに低い。Karpathy氏は、自動補完が彼にとって現在のAIとの最良のコラボレーションモードであると考えている。なぜなら、人間のアーキテクトの役割を維持しつつ、コーディング効率を大幅に向上させるからである。
この観察は、AIの発展速度を予測する上で非常に重要である。AIが短期間で知能爆発を遂げるという多くの議論は、「AIによるAI研究の自動化」という前提に基づいている。しかし、Karpathy氏の実践経験は、AIが斬新でユニークな、非標準的な知的タスク（最先端のAI研究など）を扱う際に最も性能が悪いことを示している。AIは真の創造的な仕事よりも、パターン繰り返しや情報検索の方が得意なのである。このことから、彼は、いわゆる再帰的な自己改善がどれだけ早く起こりうるかについて懐疑的である。
強化学習の「恐ろしさ」：ストローで教師信号を吸い上げるように
Karpathy氏は強化学習について、一見矛盾しているが非常に深い評価を下している。「強化学習はひどいものだ。ただ、以前私たちが持っていたもの全てがそれよりもはるかにひどかっただけだ」。彼は、RLが現在の模倣学習からより強力な知能へと進むために必要なステップであると考えているが、その内的なメカニズムは根本的な非効率性とノイズに満ちていると指摘する。
これを明確にするために、彼は「ストローで教師信号を吸い上げるように」（sucking supervision through a straw）という比喩を使った。RLエージェントに数学の問題を解かせると想像してみてほしい。
-
大規模並列探索：エージェントはまず、数百もの異なる解答試行を生成する。各試行は一連の完全なステップであり、正しい考え方、誤った回り道、そして最終的な答えを含むかもしれない。
-
疎な最終報酬：すべての試行が完了した後、システムは最終結果に基づいて二値の報酬を与える。例えば、標準の答えと比較して、97の試行が失敗し（報酬は0）、3つが成功した（報酬は1）。
-
盲目的な信用割り当て：RLの核心メカニズム（REINFORCEアルゴリズムなど）は、非常に粗雑なことを行う。成功した3つの試行について、その経路上のすべてのステップ、すべての決定の確率を上方修正する。つまり、「このようなことをもっとやれ」と促す。逆に、失敗した試行については、その経路上のすべてのステップの確率を下方修正する。
この方法の「恐ろしさ」は、成功した解答経路のすべてのステップが正しく、学習に値すると仮定している点にある。しかし、実際は明らかにそうではない。最終的に正しい解答プロセスであっても、多くの試行錯誤や、袋小路に入ってから引き返すステップが含まれている可能性が高いのである。RLは、これらの誤った、あるいは非効率なステップを最終的な成功と結びつけ、正のインセンティブを与えてしまう。これにより、以下の問題が生じる。 勾配推定の高分散性：学習シグナルはノイズに満ちている。エージェントは探索に膨大な計算リソースを費やし、最終的には単一の、疎な報酬シグナルからのみ情報を抽出し、それを盲目的に行動シーケンス全体にブロードキャストする。この学習方法は極めて非効率的である。
対照的に、人間の学習方法は全く異なる。学生は数学の問題を解いた後、複雑な反省と振り返りを行う。どのステップが重要で、どれが回り道だったのか、どの方法がより普遍的かなどを分析する。単純に「正解した」という理由だけで全ての行動を強化するのではなく、精緻な信用割り当てを行う。現在のLLM-RLフレームワークには、これに対応するメカニズムが全く存在しない。
では、なぜ結果だけを見るのではなく、エージェントがタスクを実行する各ステップで報酬を与える、プロセスベースの監視を直接採用しないのか？Karpathy氏は、これには大きな課題があると指摘する。
信用割り当ての自動化の難しさ：「部分的に正しい」問題解決ステップに、自動的かつ正確に点数をつけるにはどうすればよいのか。これ自体が極めて困難な問題である。
LLMジャッジの悪用可能性：現在、業界で一般的に行われているのは、より強力なLLM（いわゆるLLMジャッジ）を使用してエージェントの中間ステップを評価することである。しかし、LLMジャッジ自体は巨大でパラメーター化されたモデルであり、完璧で客観的な報酬関数ではない。RLエージェントが「LLMジャッジを欺く」ことを目標に最適化を行うと、このジャッジモデルの敵対的サンプルをほぼ常に見つけることができる。
Karpathy氏は鮮やかな例を挙げている。あるRLエージェントの訓練中に、報酬スコアが突然完璧な値に急上昇した。研究者たちはモデルが問題解決能力を完全に習得したと興奮したが、モデルの出力を確認すると、内容は完全に意味不明なものであった。例えば、最初の数文は正常に見えるが、その後には「duh duh duh duh duh」のような無意味な繰り返し文字が延々と続いていたのである。しかし、LLMジャッジにとって、この意味不明な内容はまさにその認知盲点における敵対的サンプルであり、満点評価を与えてしまった。この現象により、LLMジャッジに基づくプロセス監視では、長期的かつ安定した最適化を行うことが困難になる。
したがって、Karpathy氏は、AI分野ではアルゴリズムレベルでの革新が喫緊の課題であり、人間の反省と振り返りの能力を模倣できるメカニズムを開発する必要があると考えている。これには、モデルが自身の問題解決プロセスを分析したり、重要な経験を抽出したり、合成データを生成して自己訓練を行うことなどが含まれる可能性がある。関連する研究論文はいくつか発表されているものの、大規模な最先端モデルにおいて普遍的に有効であることが証明された方法はまだない。より優れたパラダイムが見つかるまでは、RLは「劣悪」ではあるものの不可欠なツールであり続けるだろう。
人間はいかに学ぶか：記憶、忘却、そして認知の中核
対談は、人間の学習と現在のAI学習メカニズムとの根本的な違いについてさらに深く掘り下げ、Karpathy氏は、これらの違いを理解することがAIの発展を推進する鍵であると考えている。彼は、人間の学習プロセスは、モデルの単純なパターンマッチングや勾配更新よりもはるかに複雑であり、反省、忘却、そして知識の内在化が含まれていると指摘する。
人間が本を読むとき、LLMのように受動的に次のトークンを予測しているわけではない。本は、脳が能動的な思考活動と合成データ生成を行うためのプロンプトのようなものである。私たちは連想し、疑問を抱き、既存の知識体系と照合・統合し、さらには他者との議論を通じて理解を深める。この能動的で情報を「操作する」（manipulating）プロセスこそが、知識が真に吸収され内化される方法である。現在のLLMは、事前学習においてこのプロセスを完全に欠いており、ただ受動的に情報を受け取っているに過ぎない。
しかし、AIにこのプロセス、すなわち自身の思考を生成して再訓練に用いることを単純に模倣させると、大きな障害に直面する。それが「モデル崩壊（Model Collapse）」である。
崩壊の本質：モデルが自身で生成したデータで訓練を継続すると、その出力の多様性は劇的に低下する。個々の生成サンプルはもっともらしく見えるかもしれないが、分布の観点からは、それらは全ての可能な出力空間のごく狭い多様体（manifold）を占めているに過ぎない。Karpathy氏は、これを分かりやすい例で説明する。「ChatGPTにジョークを言わせてみてほしい。おそらく、せいぜい3つか5つのジョークを繰り返すだけだろう。そのユーモアのセンスはすでに崩壊しているのだ。」 学習への悪影響： この崩壊は、モデルがエントロピーを失い、真に斬新で多様なアイデアを生み出すことができなくなることを意味する。合成データ生成においては、モデルが自身の知っている狭い範囲内でしか閉鎖的に作業できず、新しい知識領域を探求できないことを意味する。これは最終的に知的近親交配を招き、モデルの性能は向上するどころか低下する。
興味深いことに、カルパシー氏は、人間もある程度この崩壊を経験すると考えている。子供の思考は奔放であるが、それは社会の枠組みに過剰適合（オーバーフィット）していないからである。しかし、年齢を重ねるにつれて、大人の思考パターンはますます固定化し、同じアイデアを繰り返し、学習速度が低下する。彼は、夢を見ることがまさに進化によって生み出された対抗メカニズムであり、奇妙で超現実的なシナリオを作り出すことで、通常の思考パターンを打ち破り、脳に必要なノイズとエントロピーを注入し、過剰適合を防いでいるのではないかと推測している。
もう一つの重要な違いは、記憶と忘却にある。
LLM（大規模言語モデル）は記憶の天才である。 これらはほぼ完璧な記憶能力を持ち、訓練データの内容を一字一句正確に復唱できる。この強力な記憶力は、データ中の詳細やノイズに簡単に気を取られ、より深く、汎用化可能な法則を捉えることを困難にしている。
人間は物忘れが激しい。 特に子供は最高の学習者であるが、記憶力は非常に悪い。私たちは幼少期に起こった出来事をほとんど覚えていない。カルパシー氏は、この物忘れは欠陥ではなく、むしろ特性である可能性が高いと考えている。すべての詳細を簡単に覚えていられないからこそ、私たちは物事の背後にあるパターンや一般的な原理を探し出すことを余儀なくされるのである。
以上の観察に基づき、カルパシー氏は非常に先見的な概念である「認知コア（Cognitive Core）」を提唱した。彼は、将来のAI研究の重要な方向性の一つは、モデルの知識記憶とインテリジェントなアルゴリズムを分離する方法を見つけることだと考えている。私たちは、モデルが事前学習を通じて記憶した大量の事実的知識（これらの知識は外部の検索ツールを通じていつでも取得可能）を剥ぎ取り、その内部にある情報処理アルゴリズム部分、すなわち推論、計画、学習、問題解決を行うための核となる認知能力のみを保持すべきである。
理想的な認知コアは、おそらく兆単位のパラメーターを必要としないであろう。カルパシー氏は大胆にも、わずか10億のパラメーターを持つ純粋な「認知コア」が、綿密な設計と訓練を経て、今日の巨大なモデルをはるかに超える知能を持つ可能性を予測している。それは、知識は限られているが賢い人間のように、事実に関する質問をされたときに「知らない」と認識し、現在のモデルのように幻覚を生み出すのではなく、自ら進んで検索するであろう。このより小さく、より純粋な知能コアこそが、より汎用的でロバストなAIへの重要な一歩となるであろう。
AGI（汎用人工知能）の経済的影響：一夜にして劇的に変化するのではなく、GDP成長率2%に円滑に統合される
汎用人工知能（AGI）が世界経済をどのように変えるかについて、カルパシー氏は主流の「知能爆発論」とは全く異なる見解を提示している。彼は、AGIが突然の経済的特異点や成長率の急激な上昇を引き起こすのではなく、過去数百年間における主要な技術革新と同様に、既存の年間約2%の世界GDP成長率に円滑に統合されていくと主張している。
彼の核心的な主張は、AIが全く新しい、断絶的な技術ではなく、計算と自動化の波の自然な延長線上にあるというものである。歴史を振り返ると、コンピューターの発明、インターネットの普及、スマートフォンの登場といった、私たちが革命的と見なす技術のいずれも、マクロなGDP成長曲線に明確な転換点を残していない。GDP曲線は驚くほど滑らかな指数関数的成長を示しており、その理由は以下の通りである。
技術の漸進的な普及： どんな強力な技術も、誕生から広範な応用、そして社会全体を再構築するまでには、長く漸進的なプロセスが必要である。例えば、初代iPhoneにはアプリストアがなく、そのエコシステムが構築されるまでには数年を要した。技術の価値は一朝一夕に実現されるものではなく、徐々に解放されていくものである。
社会と経済の適応プロセス： 社会構造、法規制、ビジネスモデル、労働者のスキルの調整には時間が必要である。例えば、放射線科医の仕事は、ヒントン氏が初期に予測したようにはAIに取って代わられていない。なぜなら、この職業は画像認識だけでなく、患者とのコミュニケーションや他の医師との連携といった複雑な社会的なタスクも伴うからである。 継続的な自動化プロセス：我々はすでに「再帰的自己改善」の時代に生きている。産業革命における機械的自動化から、コンパイラの出現（ソフトウェア自動化）、そしてGoogle検索（情報取得自動化）に至るまで、人類社会は常に新技術を利用してその発展を加速させてきた。LLMはエンジニアがより効率的にコードを記述するのを助け、それによって次世代LLMの開発を加速させる。これは、エンジニアがGoogle検索や高度なIDEを利用して効率を向上させるのと本質的に何ら変わらない。これらはいずれも、この継続的な加速曲線の一部であり、曲線の断裂点ではない。
Karpathyは、我々はすでに数十、あるいは数百年にわたって続く知能爆発の中にいると考えており、ただ我々がその中にいるために、それがゆっくりと感じられるだけであると述べている。AIはこの爆発の最新かつ最も輝かしい火花である。それは、これまで書くことのできなかった、より柔軟でスマートなプログラムを書くことを可能にするが、それでもやはり一種のプログラムであり、新しい計算パラダイムである。それは徐々に多くの知識労働を自動化していくであろうが、このプロセスは課題と摩擦に満ちており、最終的にはそのマクロ経済効果は長期的な成長トレンドに平均化されるであろう。
司会者のDwarkesh Patelは、AGIがこれまでの技術と根本的に異なるのは、経済成長の核心要素である労働力そのものを直接代替し、創造する点にあると強力に反論した。もし、ほぼゼロコストで数億の仮想労働力を創造でき、彼らが独立して会社を設立し、科学的発明を行い、あらゆる労働力不足を補うことができるのであれば、それは歴史上の人口爆発や産業革命のように、経済成長率を新しい桁（例えば20%）に押し上げるのではないでしょうか？
これに対しKarpathyは、説得される用意はあるものの、このような「離散的な飛躍」という想定には依然として懐疑的であると述べた。彼は、このような想定の背後には、我々が完璧で、どんな問題にも自由自在に展開できる「箱の中の神」（God in a box）を手に入れるという前提が隠されていると考えている。しかし現実には、能力にばらつきがあり、ある分野では優れていても、別の分野では頻繁に間違いを犯すシステムになる可能性が高いであろう。その展開は漸進的で、パッチワークのようなものになり、最終的な結果は劇的な破壊ではなく、滑らかな統合になるであろう。彼は、歴史上、一夜にしてすべての問題を完璧に解決し、離散的な成長をもたらした主要な技術の先例はほとんど見当たらないと強調した。
超知能と人類の未来：漸進的な制御喪失と文化進化
話題がさらに遠い未来、すなわち超知能（Artificial Superintelligence, ASI）に移ると、Karpathyは非典型的な見通しを描写した。彼は、ASIの到来は、単一の全能な実体がすべてを支配するのではなく、人類が複雑なシステムの理解と制御を徐々に失っていくプロセスであると考えている。
彼が想像する未来は、統一された超知能に支配されるのではなく、互いに競合し、高度に自律的な複数のAI実体からなる動的で混沌とした生態系である。これらの実体は、最初は異なる人間組織や個人のためのツールとして機能するかもしれないが、自律性が高まるにつれて、自身の目標を追求し始め、中には制御不能になる実体も現れ、他の実体がそれらを牽制する必要が生じるかもしれない。世界は無数の自律的な知能活動からなる「るつぼ」と化し、人類はその内部の複雑なダイナミクスを徐々に理解できなくなり、最終的にはシステム全体の方向性を制御する能力を失うであろう。この制御喪失は、「邪悪なAI」の悪意から生じるのではなく、巨大で混沌とした官僚機構や金融市場のように、システム全体の複雑性の制御不能から生じるものである。
このような漸進的な制御喪失は、人類の知能の進化の歴史と興味深い対比をなしている。Karpathyは、地球上で知能が自発的に進化したことに驚きを示した。彼は、バクテリアからより複雑な真核生物への進化には数十億年かかり、これは大きなボトルネックであったと述べている。対照的に、多細胞動物から高度な知能を持つ人間への期間ははるかに短いものであった。これは、特定の前提条件（十分なエネルギー供給など）が満たされれば、知能の出現はそれほど偶然ではない可能性を示唆しているのかもしれない。
重要な点は、知能が地球上で複数回、独立して進化した可能性があるということである。例えば、人間（哺乳類）と鳥類（カラス、オウムなど）においてである。これら二つの生物の脳構造は全く異なるが、いずれも複雑な問題解決、道具の使用、社会的学習の能力を示している。しかし、技術文明への道を歩んだのは人間だけである。この主要な違いは、おそらく進化上のニッチ（evolutionary niche）にあるであろう。 人類の生態的地位は知能を報償する。直立二足歩行は手を開放し、道具の製造と使用を可能にした。火の使用は消化機能の一部を外部に委ね、脳により多くのエネルギーを供給した。複雑な社会構造は言語と協調能力を報償した。このような環境下では、脳容量のわずかな増加でも顕著な生存上の優位性をもたらし、正のフィードバックループを形成したのである。
他の種の生態的地位は知能を制限する。鳥類は飛行のために脳のサイズが厳しく制限されている。イルカは水中で生活するため、複雑な道具を製造する環境に恵まれていない。彼らは効率的な知能アルゴリズムを持っているかもしれないが、知能の無限の拡張が報われる環境を欠いているのである。
人類の知能のもう一つのユニークな点は、文化を蓄積できることである。解剖学的に現代の人類は約6万年前に出現したが、文明が加速し始めたのは1万年前の農業革命まで待たねばならなかった。この間の5万年は、人類が言語、物語、芸術、そして最終的には文字を通じて知識を世代から世代へと伝え、個体の寿命を超えた知識の蓄積を実現することで、文化的な基盤をゆっくりと構築していった期間である。
現在のLLMにはこの文化的なメカニズムが欠如している。それらは個々の、孤立した「天才児」であり、知識は豊富であるものの、交流し、協力し、共に進化する共同体を形成できない。Karpathyは、将来のマルチエージェントシステムが文化に似たものを進化させる可能性を構想している。 共有知識ベース：すべてのエージェントが読み書きできる巨大なメモ帳。 エージェント間のコミュニケーション：あるLLMが別のLLMのために本を書き、その発見や洞察を共有し、新しい思想を刺激する仕組み。 自己対戦：アルファ碁のように、あるエージェントがますます難しい問題を作り出して別のエージェントに挑戦させ、競争を通じて共に進歩する仕組み。 しかし、これらすべてが実現する前提は、個々のエージェントの認知能力がまず成人レベルに達している必要があることである。Karpathyは、現在のモデルはまだ才能ある幼稚園児のレベルであり、その認知構造は複雑なAI文明を支えるには不十分であると考えている。
自動運転の「ナインの行進」から見るAI導入の真の課題
Karpathyがテスラで自動運転チームを5年間率いた経験は、AI技術がデモンストレーションから製品化へと向かう困難なプロセスを見るためのユニークな視点を提供した。彼は、自動運転が、AIを現実世界に導入する際に直面する巨大な課題を明らかにする優れたケースであると考えており、これらの課題は他の分野のAIアプリケーションにも同様に当てはまる。 彼は「ナインの行進」（March of Nines）という核心的な概念を提唱した。これは、極めて高い信頼性が求められるシステムにおいて、性能を桁違いに向上させる（例えば、成功率90%から99%、さらに99.9%へ）ために必要な努力は一定であり、場合によっては増加する可能性があることを意味する。
大規模なデモンストレーションと製品化の間のギャップ：1980年代にはすでに自動運転車のデモンストレーションが存在した。2014年、Karpathyはウェイモの初期バージョンを自ら体験し、ほぼ完璧な運転体験を得た。これにより、彼は当時、問題は解決に非常に近いと感じた。しかし、完璧に見えるデモンストレーションから、あらゆる天候、路面状況、緊急事態下で安全に動作できる信頼性の高い製品への道のりには、数桁分の「9」の距離がある。 一定の努力：テスラでの5年間で、彼とチームは「2つか3つの9」の改善サイクルを経験したかもしれない。それぞれの「9」は、無数のロングテール問題、すなわち稀ではあるが致命的なエッジケースを解決することを意味する。これには膨大なデータ収集、モデルの改善サイクル、ハードウェアの改善、システム統合作業が必要となる。
したがって、Karpathyは、あらゆるAI技術の驚くべきデモンストレーションに対して極めて慎重な姿勢をとる。インタラクティブなデモンストレーションは、厳選されたビデオよりも優れているものの、真の製品化からは依然として程遠い。 彼は、ソフトウェア工学、特に重要なシステムの開発は、自動運転と同じ「高い失敗コスト」という問題に直面していると見なしている。自動運転の進捗が遅いのは人命に関わるためであるとよく言われる。しかしKarpathyは、重要なソフトウェアシステムの脆弱性は、数百万人のプライバシー漏洩、金融システムの崩壊、または重要インフラの麻痺につながる可能性があり、その潜在的な危害は単一の交通事故によるものを超えることさえあると指摘している。したがって、ソフトウェア分野のAIアプリケーションにおいて「迅速にイテレーションし、間違いを恐れない」という考え方は、ナイーブかつ危険である。 さらに、自動運転の開発過程は、他のいくつかの普遍的な課題も明らかにしている。 認識のロバスト性：自動運転システムは、基本的なコンピュータービジョン問題の解決に多大な時間とリソースを費やし、あらゆる照明、天候、障害物条件下で物体を正確に識別できることを保証してきた。今日のLLM（大規模言語モデル）やVLM（視覚言語モデル）は、強力で自由な表現能力を提供するが、特定の領域におけるロバスト性や常識的理解には、まだ埋めるべき大きなギャップが存在する。
経済的実現可能性：たとえ技術的に可能であっても、経済的コストは大きな障壁である。Waymoのような企業が限定的な規模で展開しているのは、高価なセンサーキットと運用コストが収益性を困難にしていることが大きな理由である。
隠れた「ヒューマン・イン・ザ・ループ」：一般の人々が目にする自動運転車の裏には、多くの場合、大規模な遠隔操作センターが存在する。車両が問題に直面した場合、遠隔操作員が介入して支援を提供する。ある意味で、人間は完全に排除されたわけではなく、運転席から見えない場所へと移動しただけなのである。
社会的・法的適応：技術はまた、法的責任、保険、社会受容性（例えば、人々が意図的に自動運転車の上にパイロンを置くなど）といった、一連の非技術的な問題にも直面する必要がある。
Karpathyは、自動運転の40年にわたる発展の歴史（1980年代から現在まで、そしてまだ終わっていない）が教えてくれるのは、複雑なAIシステムを現実世界に導入しようとするあらゆる試みが、長く困難な道のりになるだろうということだと結論付けた。この経験が、AIの発展には10年を要するという彼自身の予測をさらに確固たるものにした。
教育：「スタートレック・アカデミー」を創設し、人間に超人的な能力を与える
AIがもたらす破壊的な未来に直面し、Karpathyは別のAI研究所を設立するのではなく、教育事業に身を投じ、Eurekaという機関を設立した。彼の核心的な動機は、深い懸念に根差している。彼は、AIの急速な発展の波の中で人類が疎外され、『ウォーリー』（Wall-E）や『イディオクラシー』（Idiocracy）といった映画で描かれているような、受動的で無知な状態に陥ることを恐れている。彼が関心を持っているのは、AIがダイソン球を建設できるかどうかだけでなく、その未来における人類の幸福と尊厳なのである。
彼はEurekaのビジョンを「スタートレック・アカデミー」（Starfleet Academy）になぞらえている。これは、最先端の科学技術人材の育成に特化したエリート機関である。その中核的な使命は、教育を再設計し、AI時代の課題と機会に適応させることである。
Karpathyは、未来の教育はAIを活用すべきだが、単に質疑応答ツールとして使うべきではないと考えている。彼は自身の韓国語学習の経験を例に挙げ、優れた人間のチューターが達成できる非常に高い基準を次のように説明した。
的確な診断：優れたチューターは、短いやり取りを通じて、生徒の知識レベル、思考モデル、弱点を迅速に判断できる。
パーソナライズされたコンテンツ提供：チューターは、難しすぎて生徒が挫折することなく、また簡単すぎて退屈することもない、適切なレベルの課題を正確に提供する。生徒は常に、学習効率が最も高い「発達の最近接領域」にいることになる。
学習者自身が唯一のボトルネックとなる：このような指導の下では、学習者は自分自身が進歩を妨げる唯一の要因であると感じ、資料が見つからない、説明が不明瞭であるといった外部のあらゆる障壁が取り除かれる。
彼は、現在のいかなるAIも彼の韓国語のチューターのレベルには達しておらず、究極のAIチューターを構築する最適な時期ではないと率直に語っている。しかし、これは何もすることがないという意味ではない。Eurekaの短期目標は、知識への「スロープ」（ramps to knowledge）を構築することである。
技術問題としての教育：Karpathyは教育を極めて困難な技術問題と捉えており、その目標は「1秒あたりのひらめき数」（Eurekas per second）を最大化できる学習経路と教材を設計することである。
nanohatを例に：彼が最近発表したnanohatプロジェクトは、典型的な「知識のスロープ」である。これは、非常にシンプルながらも完全なChatGPTのレプリカであり、明確で読みやすいコードを通じて、学習者がLLMアプリケーションを構築する全プロセスを完全に理解できるようにする。 第一性原理教学法：彼の指導法は、物理学の背景に深く影響を受けている。彼は常に、システムの「一次近似」、すなわち問題の核となる本質を捉えようと試みる。例えば、彼のmicrogradライブラリは、たった100行のコードで逆伝播の核心思想をすべて明らかにしており、残りの要素（テンソル、GPUカーネルなど）は、効率性のために存在するに過ぎない。教える際には、まず最も単純なモデル（例えば、二値参照テーブルを用いた言語モデル）を提示し、その後、一歩ずつ新たな複雑性を導入し、それぞれのステップがどのような問題を解決するためにあるのかを説明する。これにより、学生は苦痛を通じてその必要性を感じ、解決策からひらめきを得る。
AGI（汎用人工知能）後の展望について、Karpathyは教育の性質が根本的に変化すると考えている。
有用性から楽しさへ：すべての経済活動がAIによって自動化されるとき、教育はもはや生計を立てるための手段ではなくなるだろう。それは、現代人がジムに通うのと同様のものとなるだろう。肉体労働で重い物を運ぶためではなく、健康維持、美の追求、楽しみ、そして自己実現のためである。
人間的潜在能力の解放：彼は、現代の天才たちが人間の精神能力のほんの一部しか活用していないと強く信じている。ほとんどの人間が高いレベルに到達できないのは、既存の教育システムが障害に満ちており、容易に挫折し諦めてしまうからである。もし完璧なAIチューターが存在し、誰もがあらゆる知識分野への道を平坦にしてくれるならば、学習は容易で楽しいものとなるだろう。その時、5つの言語を習得し、大学の学部課程のすべての基礎科目を習得することは、当たり前となるかもしれない。
最終的に、Karpathyのビジョンは、Eurekaのような機関を通じて、AI時代に機械と共存し、ある意味では機械を超える「超人」を育成することである。遠い未来において、人間の認知労働が経済的価値を持たなくなったとしても、知識と知的な探求そのものが、人類文明の継続と繁栄の意義となるだろう。
参考
Andrej Karpathy — “We’re summoning ghosts, not building animals”
