「ディープラーニング（DL，Deep Learning）が壁にぶつかった」という叫びと、すぐにAIのような喜びを生み出すことができるということです。「ディープラーニングビッグスリー」の一人、Yann LeCun（楊立昆）はついに座れなくなった。
現地時間6月16日、Yann LeCunが「知能について、AIは何を教えてくれるのか」という文章を書いた。LeCun氏は、「最初から、批判者はニューラルネットワークが越えられない壁に遭遇したと考えていたが、毎回一時的な障害であることが証明された」と書いている。
LeCunは、ディープラーニングの将来性に関する議論だと考えています。議論の核心は、記号の知能における役割に対して2つの異なる見方が存在することである。記号推理は最初からハードコードされなければならないという考え方と、機械は人間のように経験から学ぶことができるという考え方である。これは、人間の知能をどのように理解し、人間レベルの人工知能を追求すべきかに関連しています。
世界初の金持ちマースクに賭けて、50万ドルのボーナスプールが用意されています
2012年、Geoffrey Hintonが率いるチームは、ImageNET大規模視覚認識挑戦試合（ILSVRC）で優勝した。その後、深さ学習は人工知能研究の主要な焦点となった。
深さ学習は、画像分類、オブジェクト検出、音声認識、自然言語処理など、コンピュータに非常に挑戦的だった多くのタスクで進展しています。その表現は、人間の知能体を作るのも間近だと思わせるほどで、エレン・マースクはツイッターで「2029年が鍵の年だと感じています。もしその時、私たちがAGI（汎用人工知能）を持っていなかったら、驚きます。火星の人も同じであれば」と言いました。
マースクの発言はAIコミュニティの中で多くの反対の声を引き起こし、有名なAI科学者でニューヨーク大学教授のゲイリー・マーカス（Gary Marcus）はマースクと10万ドルを賭けることを提案した。マーカスはニューヨーク大学のコンピュータ科学者Ernest Davisと協力して、AGIが実現するかどうかを検証する5つの基準を作成し、賭けの内容としています。
2029年、AIは映画を理解できず、発生していること（人物が誰なのか、彼らの衝突と動機は何なのかなど）を正確に伝えることができません。
2029年、AIは小説を読むことができず、ストーリー、人物、衝突、動機などに関する質問に確実に答えた。
2029年、AIはどの台所でも適任な料理人を務めることができない。
2029年、AIは自然言語規範を通じて、あるいは非専門家ユーザーとの相互作用を通じて10000行を超える誤りのないコードを確実に構築することができない（既存のライブラリのコードを結合して計算しない）。
2029年、AIは自然言語で書かれた数学文献から任意に証拠を取り、シンボル検証に適したシンボル形式に変換することができない。
「これは私の提案です。もしあなた（または他の誰か）が2029年に少なくとも3つのことをしようとしたら、あなたが勝っても。10万ドルはどうですか？」マーカスは書いている。
マーカスがこのツイートを出してから数時間以内に、賭博を発表したサイトの閲覧数は1万回近くに達し、賞金プールは現在50万ドルに増え、作家のケビン・ケリー（Kevin Kelly）が彼のサイトでホストすることを提案した。しかし、マースクはもう返事をしなかった。
マーカスはマースクに「例えば、2015年に完全自動運転を実現する車はまだ2年かかると言ったが、それ以来、ほとんど毎年同じことを言っているが、今は完全自動運転が実現していない」と話した。
マーカスはずっと深さ学習の技術経路に擬問を持っていて、彼は深さ学習の製限に関する本を書いたことがあります。彼は異なるAI技術を結合する混合方法を支持しています。3月中旬、マーカスは「深さ学習が壁にぶつかった」と書いたことがあり、純粋な端から端までの深さ学習はもうすぐ終わり、AI分野全体が別の道を探さなければならないと考えている。
混合方法VS純深さ学習：マーカスむせる音Hinton
ついに、6月1日、カリフォルニア州バークレーのPieter Abbeel教授のポッドキャスト番組でこの話題に触れた。「もし誰かが（ディープラーニングが）壁にぶつかったと言ったら、彼らはリストを並べて、ディープラーニングではできないことをリストアップするだけだ。5年後、ディープラーニングができたことを証明することができる」。
そこで、マーカスはツイッターにGeoffrey Hintonへの公開書簡を書き、エルネスト・デイビスと協力して編成したAGIを判断する5つの基準についても言及した。マースクとの賭けでディープラーニングではできないことをリストアップしたという意味だ。
深さ学習の欠点は確かに発展につれてますます明らかになり、その限られた汎化性、因菓関係との闘争、説明可能性の欠如を含む。また、多くのディープラーニングアプリケーションでは、多くの手動コメントのトレーニング例が必要であり、ボトルネックになっています。しかし、深度学習への創始的な貢献で知られる3人のトゥーリン賞受賞者Geoffrey Hinton、Yoshua Bengio、Yann LeCunから見れば、より良いニューラルネットワークアーキテクチャは最終的に深度学習の現在の製限を克服することになる。
LeCunは記事の中で、「今日越えられないように見える壁は、記号推理、すなわち代数的または論理的に記号を操作する能力です。数学的な問題を解決するには、厳しいルールに基づいて記号を段階的に処理する必要があることを知っています。『The Algebraic Mind』の著者と『Rebooting AI』の著者の一人、Gary Marcusは最近、ニューラルネットワークがシンボル操作を処理する上で困難であるため、深さ学習がさらに進展しないと主張している。しかし、多くの深さ学習研究者は、深さ学習がシンボル推論を行っており、継続的に改善されていると確信しています。」
実は、LeCunは5月にも「赤ちゃんのように観察することで世界がどのように機能しているかを知る新しい概念を見つける必要があると信じています。一人がどのように行動することで世界に影響を与えるかを予測することを学びます」とツイートしています。しかし、ここで言っているのはマーカスが提唱しているのと同じことではなく、LeCunが研究しているのはより複雑な自己監督学習であり、マーカスは混合方法を支持している。
最近注目されている混合方法の一つは神経記号人工知能であり、これは人工知能の分岐であり、深さ学習の勃興に伴い淘汰されたことがある。人工ニューラルネットワークとシンボルシステムを結合していますが、人間の専門知識を規則に抽出し、非常に難しく、時間がかかり、高価であることが事実で証明されています。これは「知識獲得ボトルネック」とも呼ばれています。数学や論理のためにルールを書くのは簡単ですが、世界自体は非常に曖昧で、各モードのためにルールを書いたり、ファジィな概念のためにシンボルを定義したりすることはできないことが実証されています。
3月のIBMニューラルシンボルAIシンポジウムでの講演で、マサチューセッツ工科大学計算認知科学教授Joshua Tenenbaum（ジョシュア・テナンバウム）は、現在のニューラルシンボルシステムがAIシステムのいくつかの重要な問題をどのように解決するのかを説明し、常識と原因関係、組み合わせ性、直感物理学の欠如を含む。
「私たちはどのように知能の概念を超えて、つまりデータの中のモードと近似関数を識別して、もっと人類の思考の世界に対するモデリングに向かっています。あなたが見ているものを解釈して理解して、あなたには見えないが起こりうることを想像して、それらを計画行動と問題解決を通じて実現できる目標に変えますか？」テナンバウム氏は、人間の知能との差を埋めるには、まず人類と多くの動物が共有する知能の基本的な麺の一つである直感物理学と心理学を探索しなければならないと考えている。
テナンバウムの神経記号AI概念の重要な構成部分は物理シミュレータであり、知能体の推理過程に統合され、AIが世界をリアルタイムにシミュレーションし、将来何が起こるかを予測するのを助ける。
これにより、現在の神経記号システムAIの考え方を大まかに理解することができる。同時に、この方式は純深さ学習システムよりも少ないデータと計算資源を必要とすることも証明された。
これはもう一つの問題である人工知能のパラダイムシフトを引き出した。マーカスはまた新しい賭博を始めた。彼は私たちの90%が人工知能のパラダイムシフトを必要としていると考えているが、SlateStarCodexの有名人Scott Alexanderは60%を下回ると考えている。
LeCunは議論の本質を提出した：知能はどのように動作しますか？何が人間を独特にするのか？
LeCunは文章の中で、マーカスの深い学習に対する批判は認知科学（哲学の中でもっと古い）の関連闘争に由来していると指摘した。すなわち、知能がどのように生まれ、何が人類を独特にしているのか。彼の考えは心理学の中の有名な「先天理論」の学派と一緻しており、この学派は認知の多くの重要な特徴が生まれ持っていると考えています。実際、私たちは生まれながらにして世界がどのように運営されているかに関する直観モデルを持っています。
このような生まれながらのアーキテクチャの核心的な特徴は、シンボル操作の能力である。しかし、これは自然界全体にあるのか、それとも人類特有のものなのか、議論が残っている。マーカスにとって、このような記号操作能力は多くの常識の基本的な特徴の基礎である：規則、抽象、因菓推論、細部の再認識、要約などに従う。簡単に言えば、私たちの世界に対する理解の大部分は自然に与えられていますが、学習は細部を充実させる過程です。
もう一つの「経験主義」の観点では、記号操作は自然界では珍しく、主に人類の祖先が過去2百万年で徐々に獲得した学習交流能力に伴って発生したと考えられている。この観点によると、認知能力は主に生存率を高めることに関連する非記号学習能力であり、獲物を迅速に識別し、可能な行為を予測し、熟練した反応を発展させるなどである。この観点は、ほとんどの複雑な認知能力が後天的に獲得され、普遍的で自己監督的な学習能力を通じて獲得されたと仮定している。これは経験を通じて直観的な世界モデルを得る能力であり、この世界モデルは常識の核心的な特徴を備えている。また、私たちの多くの複雑な認知能力は記号操作に依存していないと仮定しています。逆に、様々なシーンをシミュレーションし、最適な結菓を予測することで、これを行うことができます。
この経験主義の観点は記号と記号の操作を別の学習能力と見なし、人類がますます協力行為に依存して成功するにつれてこの能力を獲得した。この観点では、文字、地図、シンボル描写、儀式、社会的役割など、記号を人間が協力活動を調整するための発明と見なしています。これらの能力は、ますます長くなる思春期の学習と、ツール製造や消防修理などのより正確で専門的な技能への需要の結合によるものと考えられています。この観点は、記号と記号の操作は主に文化発明によるものであり、脳のハードワイヤ（hard wiring）に依存することは少なく、ますます複雑になる社会生活に依存することが多いと考えている。
この2つの観点の違いは非常に明らかである。
先天論にとって、記号と記号の操作はもともと脳の中にあり、文字と数字の使用はまさにこの原始的な能力から派生したものである。この観点は、進化適応に由来する一連の能力を魅力的に説明しています（記号の操作がどのように行われているのか、なぜ進化しているのかについての解釈には議論があるにもかかわらず）。
経験主義者にとって、記号と記号の推理は交流目的のための有用な発明であり、一般的な学習能力と複雑な社会世界に由来する。これらの内部計算や心のモノローグなどは私たちの頭の中の象徴的なものであり、数学や言語の使用に由来する外部実践とされています。
人工知能は認知科学分野と密接に関連しているため、これらの論争の再演も珍しくない。人工知能分野のいずれかの観点の成功は、認知科学における一つまたはもう一つの方法が正しいことを部分的に証明することができる（ただし、部分的な程度にすぎない）ため、これらの論争の激しさも珍しくない。現在直麺している問題は人工知能の現代問題に関する正しい方法だけでなく、知能と脳がどのように働くかに関する問題もある。
マーカスと先天的な論者が正しければ、ディープラーニングは、新しいアーキテクチャをどれだけ提案しても、どれだけ計算能力を投入しても、クラスのAIを実現することはできません。真のシンボル操作には、生まれ持ったシンボル操作者が必要なため、より多くのレイヤを追加し続けるのは困惑するだけです。そして、この記号操作はいくつかの常識能力の基礎であるため、深さ学習システムは永遠に何も持たず、物事の大まかで既成の理解しか持たない。
対照的に、深度学習の提唱者と経験主義者が正しい場合、シンボル操作モジュールを挿入する考えは困惑しています。この場合、深さ学習システムはすでにシンボル推論を行っており、より多くの多モード自己監督学習、ますます有用な予測世界モデル、シミュレーションに使用される作業メモリの拡張、評価結菓を通じて約束を満たすために改善を続けています。シンボル操縦モジュールの導入は、人間のAIのようになることはありませんが、すべての「推理」を不要な瓶の口を通じて、私たちと人間の知能を徐々に遠ざけるようにします。これは、深さ学習の最も印象的な麺の一つを切断する可能性があります。人間のプログラマが想像するよりも有用で賢い解決策を提案することができます。
賭けが高いにもかかわらず、これらの議論で提起された多くの問題は少なくともある程度副次的であることも重要です。例えば、いくつかの議論：深さ学習システムの高次元ベクトルは、深さ学習システムを実現するために必要なコード行が混在システム（セマンティック）になるかどうか、複雑なゲームで勝つために手作業、特定の分野の知識が必要かどうか、または学習できるかどうか（早すぎる）と見なされるべきである。もう一つの問題は、ハイブリッドシステムが人工知能をめぐる倫理問題を解決するのに役立つかどうかです（いいえ）。
このすべてはこの愚かな宣伝が合理的であることを証明するためではありません：現在のシステムは意識がありません–それらは私たちを理解することができなくて、学習を強化するのはまだ足りなくて、あなたは規模を拡大するだけで類人知能を構築することができません。しかし、これらの問題はすべて主要な論争とは関係がありません。シンボル操作にはハードコードが必要ですか？それとも学習できますか？
これは混合モデルの研究を中止する呼びかけですか？もちろん違います。研究者は1980年代から混合モデルを研究してきたが、まだ霊薬であることを証明していない–あるいは多くの場合、ニューラルネットワークにも及ばない。より広く言えば、ディープラーニングが限界に達しているかどうかを擬うべきだ。
LeCunは最後に、最近のDALL-E 2、Gato、PaLMにおけるタスクの継続的、増分的な改善を考慮して、障害を壁と誤解しないことが賢明のようだと書いています。深い学習の避けられない失敗は前から予想されていたが、それを押注するのは価値がない。
