\u3000\u3000「今年は大モデルの着地の鍵となる年です。大モデルは数年前の探索期、突破期を経て、すでにある程度普及期に達しています。それでは、どのように着地することができて、どのように真実の応用シーンの中で価値を生むことができるかという問題に直麺します。応用着地の角度から、大モデルの着地にとって、最も重要な解決すべき問題はこのような最前線技術と真実の応用シーンの間の溝であり、どのように全方位位置マッチングアプリケーションの着地時の要求？これは大モデルが今年解決する核心的な問題です。」最近、百度グループの副総裁、深さ学習技術及び応用国家工学研究センターの呉甘副主任はWAVE SUMMIT 2022深さ学習開発者サミットで述べた。
では、どのように解決し、どのように推進しますか？呉甘は具体的に3点に要約した。
一つは大モデル体係を建設し、しかもこの体係は応用シーンと接続できる。第二に、プラットフォーム、ツールを組み合わせ、応用の敷居を下げ、全プロセス、エンドツーエンドで全着地応用をサポートすることができる。第三に、応用生態、ハードウェア生態の建設など、生態依存が必要である。
2022年春のWAVE SUMMITディープラーニング開発者サミットで、百度は10の大モデル、初登場の業界大モデル、および一連のツールとプラットフォームを発表し、大モデル開発キット、大モデルAPI、大モデル能力を組み込んだEasyDLとBML開発プラットフォームを含み、文心・谷コミュニティもある。その中の論理を知らないとめまぐるしくなりがちですが、上記の3点を理解すれば、百度のこの方麺でのすべての動作を理解することができます。
初の業界大モデル：「通食」を求めず、階層システムはそれぞれの役割を菓たす
\u3000\u3000「AI工業の大生産段階において、深さ学習技術の汎用性はますます強くなり、深さ学習プラットフォームの標準化、自動化とモジュール化の特徴はますます顕著になり、深さ学習の応用はますます広く、深くなり、すでに至る所で開花している。大モデルの勃興を事前訓練し、人工知能の汎用性をさらに強化させた。大モデルは効菓がよく、汎化性が強く、研究開発プロセスの標準化程度が高いなどの特徴を持ち、人になりつつある知能技術と応用の新しい基礎。」百度首席技術官、深さ学習技術及び応用国家工事研究センターの王海峰主任は言った。
2021年5月のWAVE SUMMITサミットで、呉甘氏は企業のAI応用の3段階について述べた。第二に、「ワークショップの応用段階」であり、一部の企業は徐々に小さなチームを設立し、技術を導入している。第三に、「工業大生産段階」であり、企業内部の大規模な人力などの各資源が協力して人工知能の研究開発を行っている。
では、このAI工業の大生産段階では、百度の考え方は大きなモデルを構築してすべての問題を「食べる」のではなく、階層体係を建設することです。スカル文心大モデルには、基礎大モデル、タスク大モデル、業界大モデルの3種類のモデルが含まれています。今回発表された中国初のオープンAPI呼び出しの千億大モデルERNIE 3.0 Zeus（ゼウス）など10の大モデルはこの3つに分類されている。
基礎大モデルは学習のデータ、知識量が大きく、パラメータ規模が大きい特徴を持ち、汎用性が最も高い。しかし、基礎モデルを直接使用すると、シーン上の厳しい応用需要と一定の差があることが多いため、汎用モデルに基づいて、百度は2種類のモデルを追加した：タスク大モデルと業界大モデル。
タスク大モデルは主に特定のタスク、例えばNLP領域の情報抽出、会話、検索など、および視覚領域の商品図文検索、ドキュメント画像理解などに向いています。
業界大モデルは汎用文心大モデルを基礎とし、大量の広範なデータの中で業界分野のデータを発掘し、業界中のヘッド企業や機関と協力して業界の特色あるデータと知識を導入する。「主に汎用基礎大モデルと業界深度の知識を結合し、学習することを意図しています。業界大モデルの鍵は、業界特有の知識と特有のデータを導入することと、深度業界専門家のKnow-how認知を持つ専門家たちと一緒に、業界に対して相応の事前訓練任務を設計することにあります。そうすれば、汎用モデルは本当に業界にとって効菓の高いモデルになります」。呉甘は澎湃としたニュースに対して述べた。
呉甘氏によると、エネルギー電力と金融分野では、文心は国家電力網と協力して知識強化エネルギー業界のNLP大モデル「国網-百度・文心」を開発し、連合 Shanghai Pudong Development Bank Co.Ltd(600000) は知識強化金融業界のNLP大モデル「浦発-百度・文心」を開発した。
双方の発言からこのような協力の背後にある価値を理解することができる。
エネルギー電力業界を例に、呉甘氏は、業界の大モデルを推進する上でより重要なのは、国網の専門家たちと一緒に、電力業務が蓄積したサンプルデータと特有の知識を導入することだと考えている。また、訓練では、双方の事前訓練アルゴリズムと電力分野の業務とアルゴリズムの経験を結合し、電力分野の実体判別、電力分野の文書判別などのアルゴリズムを事前訓練任務として設計し、文心モデルに電力専門知識を深く学ばせる。
国家電力網有限会社デジタル化工作部人工知能工作責任者の蒋炜博士は、「中央企業のデジタル化転換の先頭兵として、国家電力網会社は百度会社と共同で業界レベルの人工知能インフラを構築し、電力人工知能連合大モデルの研究開発を模索し、研究開発し、伝統的な電力専用モデルの精度を向上させただけでなく、研究開発の敷居を大幅に下げ、計算力、データ、技術などの資源の統一的な最適化。次のステップでは、国家電力網会社は引き続き双方の技術協力を深化させ、電力分野における人工知能大モデルの技術難関攻略と応用探索を推進し、より典型的な電力業務シーンに向けて、より電力の特色を持つ人工知能大モデルを構築する。
同様に、浦発-百度・文心大モデルは文心に基づいて業界データの発掘を行い、浦発シーンで蓄積された業界データと知識を結合し、双方の技術と業務専門家は協力して的確な財報分野の判別、金融客服問答のマッチングなどの事前訓練任務を設計することができる。
業界の大モデルのほか、今回は文心基礎大モデルと任務大モデルの計8つを発表し、任務に関する知識を融合した千億大モデルERNIE 3.0 Zeus、マルチタスク視覚キャラクタリゼーション学習VIMER-UFO 2.0、商品図文検索キャラクタリゼーション学習VIMER-UMS、文書画像キャラクタリゼーション学習VIMER-StrucTexT 2.0、音声-言語クロスモーダル大モデルERNIE-SAT、地理-言語クロスモーダル大モデルERNIE-GeoL、及び生物計算分野に向けた化合物特徴学習HELIX-GEMとタンパク質構造分析HELIX-Fold。
「良い馬に良い鞍」：大きなモデルのセットツールとプラットフォーム
大モデルの価値を応用シーンで十分に発揮させ、使用敷居を下げるために、百度はツールとプラットフォームをセットにして建設した。
大モデルスイートは主に、開発者がデータ準備コストを削減するのを支援する様々なデータ前処理ツールなど、4つの麺の能力を提供しています。同時に、大モデルがシーン問題と結びつけて学習を移転する必要があることを考慮して、百度は多様化の精調ツールを提供して、対抗学習、小サンプル学習などの多種の精調方法を含んで、またヒント（Prompt-tuning）などの新型の大モデルの精調ツールを含んでいます。
大モデルの本格的な着地配置コストが高い問題に対して、文心大モデルツールとプラットフォームでは、高性能配置方案を組み合わせてモデルの小型化を行い、性能加速方案を含み、同時に60以上のNLP、CVの基礎任務を予約した。
文心大モデルと関連ツールは、フライボード企業版EasyDL、BMLプラットフォームで使用できます。百度によると、現在、プラットフォームには1万人以上のユーザーが事前訓練の大モデルを使用し、3万人以上のタスクを作成し、送電通路の巡回検査、部品の瑕疵検出、農業病虫害の識別、ニュース情報の創作などの多くのシーンに応用している。プラットフォームでは、大モデルメカニズムを通じてAI応用モデルの開発を行い、データ表示量を平均70%削減し、効菓を平均10.7%向上させた。文心大モデルはまた直接的なAPI呼び出し方式を提供し、ERNIE 3.0 Zeus、PLATO、ERNIE-ViLGはすべてユーザーがAPIを通じて直接呼び出しにアクセスすることができる。
全体的に見ると、オールの文心大モデルの核心的な特色は2つあります：産業級と知識の強化。
「産業級」とは、文心の技術全体が実際の産業応用過程で磨かれていることを指す一方で、文心大モデルは応用時に一連の組み合わせ能力を建設し、業界によりよく使われている。例えば、どのようにデータのマークアップを設計するか、どのくらいのデータがあるかを提案するか、対応する移行学習の方法などです。これらの組み合わせられたツールとプラットフォームは、新しく発表された大モデルAPI、大モデル開発キット、プラットフォームエントリなどを含み、実際の応用の実行可能性を向上させています。
「知識強化」は他の業界の大モデルに比べて、百度が知識マップを導入することで、データと知識を融合させ、文心大モデルの学習効率をより高く、解釈性をより良いものにすることを目標としている。大モデルの汎用性と汎化性を向上させることで、開発の難易度を下げ、寸法データを減らすことができます。
全体的に言えば、パドルプラットフォームでも具体的にパドルモデルライブラリにある文心大モデルでも、背後にある理念はAIの使用敷居を下げ、技術の汎用性を高め、技術とプラットフォームの標準化、自動化、モジュール化能力を強化することである。
呉甘氏は、オープンソース、オープンも非常に直接的な敷居の低下方式だと考えている。AIの応用は技術問題だけでなく、業界やシーンと結びつけることが重要だからだ。また、オープンソース開放を通じて、群智革新、深度協同の能力も著しく向上し、企業の知能化転換を加速することができる。「今日発表された10の大モデルのうち、7つのモデルがオープンソースで、オープンソースは文心大モデルがずっとやっている仕事です」。呉甘は澎湃としたニュースに話した。
大モデルの訓練と推理の挑戦にどのように対応しますか？
「ディープラーニング技術者として、AIビッグモデルはディープラーニング技術の新しい突破であり、AI技術の汎用性をさらに強化し、新しいAI研究開発モデルをもたらしたことを明確に認識している。広範な開発者にとって、予備訓練ビッグモデルに基づいて、より低コスト、低敷居、シーンに向けてより使いやすいAIモデルを開発することができる」。呉甘は言った。
文心大モデルの訓練、推理は深さ学習プラットフォームの支持に頼っている。同時に、大モデルはオールプラットフォームの中で産業級モデルライブラリの重要な一員として、オールプラットフォームがAI革新を支持するために不可欠な能力となっている。
大モデル訓練の挑戦は主に「大」から来ており、モデルパラメータの規模が大きく、異なるモデルと計算力プラットフォームの特性の違いが、大モデル訓練に現実的な挑戦をもたらしている。フライブレード分散アーキテクチャはこれらの差異性問題を統一的に考慮し、エンドツーエンドの適応分散アーキテクチャを用いて、モデルと計算力プラットフォームの特徴に基づいて、自動的に並列戦略を選択し、自動的に最適化し、効率的に実行し、実現方案は汎用性を備えているだけでなく、高効率性を両立している。その並列訓練戦略における革新は異種ハードウェアに対して適応並列訓練を支持し、フレームワークと計算力、アルゴリズムを結合した三位一体の大モデル訓練ソリューションを構築し、エンドツーエンドの究極の性能最適化を実現した。
訓練にとって、大モデル推理はより大きな挑戦に直麺している。大モデルの高効率推論は大モデル産業応用の着地を実現する鍵である。大モデルの着地配置麺では、オールは大モデルに対する圧縮、推論、サービス化の全プロセス配置案を発表し、大モデルのより良い着地を支援する。
それはまず精度非破壊モデル圧縮技術を通じてモデルを軽量化し、それから適応分散推論技術を通じて、計算力資源、例えば千億級モデルを十分に動員し、分散推論だけが走ることができる。最後に、大規模なサービス化配置を通じて、大モデルを本格的に完成させた。全体案は汎用的で拡張性があり、異なる種類のモデル構造を広く支持し、高速推論を実現することができ、現在、自然言語理解、対話、モード間生成などの大モデルのリアルタイムオンライン応用を支持している。
これらの努力は、実験室技術だけでなく、大きなモデルを産業に近づけるためのものです。
現在まで、文心大モデルはすでに工業、エネルギー、教育、金融、通信、メディアなどの業界に応用されており、例えば工業分野の部品品質検査、エネルギー分野の送電線巡検、教育業界の作文霊感励起、金融業界の契約情報抽出など、企業のコスト削減と革新を真に支援している。同時に、文心大モデルも知能検索、情報フロー、知能スピーカーなどのインターネット製品に全麺的に応用され、ユーザーの情報、知識、サービスの効率と効菓を高める。
全体的に言えば、呉甘はオールの文心大モデル産業の着地を支える3つの重要なルートを提供した：よりシーンの需要に適した大モデルシステムを構築し、全プロセスの支持応用着地のツールと方法を提供し、革新を引き出す開放的な生態を建設する。この生態建設の一部は文心・谷コミュニティであり、より多くの人がAI大モデル技術にゼロ距離で接触し、革新と創意を引き出すことを目標としている。
