ゲスト |グオ・ウェイ、シェン・ヤン、チェン・ゲー

ホスト |シュエ・ヤンツェ

李梅涵編纂

大規模モデルの分野は、オープンソースとクローズドソースによって自動的に二分され、それ以来、大規模モデルをめぐるオープンソースとクローズドソースの論争は続いています。

OpenAI の「オープン」はモデルのオープンソースではなく AI 成果の広範な共有を指しているというアルトマン氏のやや弱い弁明から、オープンソース モデルは「知性に対する税金」であり、時間の経過とともにますます時代遅れになる可能性があるというロビン リー氏の率直な主張まで、ビジネス モデルに関するオープンソース モデルの欠点とパフォーマンスの遅れは広く批判されてきた。

しかし、Llama 3.1の登場はオープンソースに大きな弾みをつけました。Metaのオープンソース性は、オープンソースに対する悲観的な見方に対する最も強力な反論であると考える人もいます。周紅義氏も立ち上がり、大型モデルが少数のメーカーの金儲けの道具になってはならないと述べました。

オープンソース対クローズドソースの議論をさらに深めるため、AIGC Practitioners は Whale Open Source の CEO である Guo Wei 氏、Shenma の元 CIO である Shen Yang 氏、湖南省応用数学国家センターの副所長である Cheng Ge 氏を招き、「なぜ市場をリードする AI 製品はクローズドソースの大規模モデルに依存しているのか」や「オープンソースはクローズドソースよりもコストがかかるのか」といったテーマについて話し合いました。その目的は、オープンソースの大規模モデルはコミュニティ全体の希望なのか、それとも単なるお金の無駄なのかという重要な論点を明らかにすることでした。

インタビューの要点は次のとおりです。

Metaのオープンソース戦略は、商用ライセンスによる収益の獲得ではなく、情報のエントリーポイントの獲得を主な目的としています。オープンソースモデルは長期的な持続可能性に欠ける可能性があります。

• 現在の大規模モデルのパラメータは十分ではありません。人間の脳のニューロンを基準とすると、AGIを実現できる大規模モデルのパラメータ規模は、数兆、あるいは数十兆に達する必要があるかもしれません。

• オープンソースのビジネスモデルはまだ成熟していません。消費者向けのAI製品では、モデルの性能のわずかな違いが最終的なユーザーエクスペリエンスに影響を与える可能性があります。

• オープンソース モデルに必要な微調整や展開などの追加コストは、独占産業から回収できる場合にのみ合理的であり、医療および金融分野の B エンド クライアントに適しています。

• オープンソースの大規模モデルのサイズには明確な限界があります。企業におけるモデルの導入・運用コストを考慮すると、オープンソースの「ブレイクアウトポイント」は1000億程度になると推定されます。

現在のオープンソースモデルは真のオープンソースとは言えず、コミュニティ全体の力を結集できていません。オープンソースの真髄は、変更​​を上流に還元し、より強力なツールを共同で生み出す能力にあります。

インタビューの記録は以下のように編集されています。

1. トップのオープンソーステクノロジーは GPT-4o を上回ることができますか?

Xue Yanzhe: Metaが最近オープンソース化したLlama 3.1 405BモデルはGPT-4oと比較できますか？このモデルの実際の性能はどの程度ですか？また、このような大規模なモデルは実際の導入において課題となるでしょうか？

瀋陽氏：これらのパラメータを見た時、絶対に実行できないと判断し、導入を断念しました。しかし、このサイズには大きな商業的可能性があると考えています。パラメータが70億の小規模モデルであれば、企業はプライベート導入を容易に完了でき、モデルベンダーは収益を上げるのが難しくなります。しかし、このサイズ（405億）のモデルは、一般的に企業にとって扱いが難しく、重要な収益源であるクラウドサービスに頼らざるを得なくなります。

Cheng Ge: LlamaとGPTはビジネスロジックが異なります。Metaのオープンソース戦略は、トラフィックのエントリポイントをめぐる競争から生まれたものです。モバイルインターネット時代にAndroidがオープンソースを活用してAppleと競争したのと同じです。

Metaが新しいモデルをオープンソース化するたびに株価は上昇し、資本市場がその事業戦略を承認していることを示しています。しかし、Metaが本当に事業目標を達成できるかどうかについては、疑問が残ります。Bエンドユーザーにとって、オープンソースモデルはデータセキュリティを完全に保証できない可能性があります。また、Cエンドトラフィックに関しては、Metaがユーザーを惹きつけ、モデルを高品質な製品としてパッケージ化できるかどうかは、まだ不透明です。

モバイルインターネット時代とは異なり、バックエンドサービスとしての大規模モデルはAPIの切り替えが比較的容易であるため、ユーザーとサービスプロバイダーの忠誠心は低下する可能性がある点に留意する必要があります。そのため、Metaにおける私のオープンソース戦略は持続性に欠けるのではないかと懸念しています。彼らの主な目的は、商用ライセンスによる収益ではなく、情報のエントリポイントを掌握することにあると私は考えています。

Guo Wei:私は10年以上オープンソースに関わってきましたが、私の観察では、オープンソースプロジェクトが成熟するには一般的に3～5年かかります。大規模なオープンソースプロジェクトがGPT-4oに勝てるかどうかはまだ判断できません。

まず、大規模モデルをめぐる熱狂により、Llamaのようなオープンソースモデルは広く知られるようになりましたが、その製品形態や将来の方向性は依然として不透明です。次に、大規模モデル自体は製品ではなく、むしろデータベースのような基盤コンポーネントに近いと考えています。様々なモデルはOracle、Postgres、MySQLに例えることができます。それらはビジネス上の問題を直接解決するものではありませんが、他のアプリケーションを構築するための基盤として機能します。

Xue Yanzhe:もう少し踏み込んで、オープンソースとクローズドソースのエコシステムについてお話ししましょう。現状はどうなっているのでしょうか？どちらがやや優位に立っているのでしょうか？

Guo Wei:少し異なる視点からお話ししたいと思います。モデルの規模自体はそれほど重要ではなく、誰がデータを管理しているかが重要だと考えています。モデルのスコアが高いからといって、必ずしも実際のアプリケーションでユーザーのニーズを満たせるとは限りません。

Baidu MobileのAI検索アシスタントが頻繁に利用され、80%～90%の精度で素早く質問に答えられるのは、Baiduのデータに支えられており、必要なデータを素早く入手できるからです。これはDoubaoやYuanbaoの強みでもあります。

程歌：具現化知能の分野について少し補足させてください。この分野ではオープンソース市場の方が優れていると思います。具現化知能がオフライン機能を実現するには、必然的にオープンソースベースで開発する必要があり、モデルは家事などの特定のシナリオでタスクを実行できる程度に小型化する必要があります。

オープンソースのエコシステムでは、動作計画のための重みが既に公開されているため、事前学習コストは不要です。微調整のみで済むため、コストを大幅に削減できます。

2. 「モデルを大きくする前に、まず小さくしなければなりませんか？」

薛延哲： AIの世界には「モデルはまず小さくなってから、さらに大きくなり続ける」という格言があります。先生方はこのルールについてどうお考えですか？

Guo Wei:このパターンが間違っているとは言えません。しかし、大規模と小規模はモデルの異なるレベルであり、並行しており、その本質は異なる適用シナリオによって異なります。

再びデータベースの開発を例に挙げましょう。初期の頃は、誰もがデータベースを可能な限り大規模にしようと努力していました。IBMのDB2のような大規模なデータベースは、部屋を丸ごと占有することもありましたが、技術の進歩により、徐々にサーバーラック1台、あるいはサーバー1台分の大きさにまで縮小されました。同時に、より新しいデータベースが登場してきました…

携帯電話やコンピューターで実行されるデータベースなど、特定のシナリオ向けに最適化された小規模なデータベース。

大規模モデルの開発は、順次的ではなく双方向的に行われると考えています。一般的な問題を解決するには大規模モデルが依然として必要ですが、スマートグラスの日常的なインタラクションといった具体的な問題には、小規模モデルの方が間違いなく適しています。

Xue Yanzhe： GPT-5 の遅延など、より大規模なモデルのリリースペースは鈍化しているようです。

Guo Wei:大規模モデルの反復はゆっくりと進みます。しかし、LLM分野における「軍拡競争」はまだ終わっておらず、今後さらに大規模なモデルが登場することは間違いないでしょう。

Xue Yanzhe:主張自体に戻りますが、これは、現在、大規模モデルのトレーニングがデータと計算能力の面でボトルネックに遭遇しており、さらなる開発を進める前に蒸留などの手法でより小さなモデルを取得する必要があるということを意味しているのでしょうか?

沈陽：現在のモデルのパラメータ数は十分ではないと思います。人間の脳のニューロン数が1000億個であることを考えると、既存のAIモデルのパラメータ数はまだまだ足りません。AGIが様々なタスクで人間を超えるためには、パラメータ数は数兆、あるいは数十兆に達する必要があるかもしれません。

この規模に到達するまでは、大規模AIモデルの限界を探っています。Transformerアーキテクチャは確率モデルであるため、この限界に達した時点で初めて、蒸留などの手法を用いてモデルサイズを縮小し、パラメータを削減しながらパフォーマンスを維持または向上できるかどうかを検討します。

例えば、次にリリースされるモデルである4050Bが405Bよりわずか1ポイントしか高くない場合は、サイズを縮小することを検討する必要があります。全体として、これはまだ探索段階であり、未知数な部分が多く残っています。

データの問題についてですが、個人的な感覚としては、データはまだ枯渇していないと思っています。現状、大規模モデルは表面的な知識しか学習していません。これは、トリソララン人が人間について学習した方法と似ています。フィルタリングされたデータによって、モデルは中立的で「正しい」状態を保つことができます。今日のライブ配信のように、意見の相違が生じることもあり、それが議論、説得、そして意思決定につながることもあります。しかしながら、現在の大規模モデルは、異なる立場や「個性」を持つコーパスを「入力」することがまだできません。

Cheng Ge: パラメータのサイズは主に2つの理由で決まります。「インテリジェントな創発」とは、パラメータが増加するにつれてモデルの性能が直線的に向上しますが、ある時点を超えると性能向上が非常に急激になることを意味します。しかし、それ以上の進化には、より高品質なデータが必要です。現在、私たちが目にしている情報利得は、ほとんどのデータが既に消費されているというものです。

第二に、マルチモーダルデータの導入によりパラメータサイズは増加しましたが、視覚データは自然言語データに比べてノイズが大幅に多く含まれています。この場合、パラメータサイズを単純に増加させることの費用対効果は徐々に低下するため、盲目的にパラメータサイズを増加させ続けることは適切ではないでしょう。さらに、エッジ推論の必要性もモデルサイズに影響を与えます。ローカルで実行できるモデルはプライバシー保護に優れているため、現段階では小型モデルの出現と普及は当然の結果と言えるでしょう。

3. 主要製品はクローズドソース モデルに依存していますか?

Xue Yanzhe：現在、主要なAI製品のほぼすべてが大規模なクローズドソースモデルに依存しています。オープンソースモデルは主にB2Bや学術用途向けでしょうか？なぜでしょうか？

郭偉氏：クローズドソースの大規模モデルは既に独自のビジネスモデルを構築しています。一方、オープンソースモデルはこの点でまだ成熟しておらず、健全な成長サイクルに真に入るには3～5年かかる可能性があります。

Android を例に挙げると、収益を生み出し始めるまでには長い年月がかかりました。

現在、クローズドソースモデルは、ユーザートラフィック、投資家の関心、そして潤沢な資金調達の確保といった理由から、To C（Business-to-Consumer）市場で広く利用されています。一方、オープンソースモデルはTo B（Business-to-Business）市場でも一部活用されていますが、その普及は限定的です。To B分野では、モデルのパフォーマンスよりもシナリオへの適応性がはるかに重要視されています。海外の多くのSaaSサービスは、依然としてクローズドソースモデルのAPIに依存しています。これは、オープンソースモデルは独立した導入、トレーニング、最適化が必要であり、企業にとって追加投資となるためです。

瀋陽：なぜ今、クローズドソースモデルが人気になっているのでしょうか？次のようなビジネスシナリオが考えられると思います。

まず、初期の概念実証（POC）プロジェクトや社内エンタープライズアプリケーションの開発を検討している場合、クローズドソースモデルの使用は非常に低コストです。大規模モデルのクラウド呼び出しによりハードウェアコストが削減され、従量課金制（トークン単位の課金など）で実装できます。

第二に、トップレベルの AI アプリケーションの実現を目指すユーザーは、効率性とパフォーマンスを追求してクローズドソース モデルを採用する傾向があります。

最後に、先ほど述べたように、オープンソース モデルは「偉大で、栄光に満ち、正義の」モデルであるはずであり、それが AI によるコンテンツのフィルタリングを引き起こし、その商業的効果を低下させる可能性があります。

大規模オープンソースモデルの将来について語るなら、大企業がデータセキュリティ上の理由からローカル環境での導入を余儀なくされる状況が鍵となるでしょう。しかし、この場合、運用効率とコストのバランスを取る必要があり、モデルのサイズは確実に制限されます。その範囲は100バイト程度になると予想しています。

程歌：これは各モデルのビジネスモデルの違いによって決まると思います。コンシューマー市場では、わずかなパフォーマンスの違いでも顧客体験に大きく影響し、オープンソースモデルを採用した製品はビジネス競争において不利な立場に置かれることになります。

あるB2B企業がオープンソースモデルを採用し、競合他社がクローズドソースモデルを採用していると想像してみてください。モデル間のパフォーマンス差はわずか5%から10%程度かもしれません。しかし、平均的なユーザーにとって、このわずかな差は取るに足らないものです。そのため、ユーザーエクスペリエンスが競争の鍵となります。オープンソースモデルの機能がクローズドソースモデルと同等のレベルに達した場合にのみ、仲介ベンダーはオープンソースモデルを採用し、中小規模の開発者に提供するでしょう。

なぜオープンソースはB2Bと学術界の両方でこれほど普及しているのでしょうか？B2Bでは、多くの業界が競争力を独自のデータに依存しており、商業的利益を守るために、多少パフォーマンスが劣ってもオープンソースを使わざるを得ません。しかし、学術界の研究・実験ニーズは、クローズドソースモデルのブラックボックス性とは相容れず、学術研究における透明性と再現性の要件を満たすことができません。

4. オープンソース モデルを使用すると、必ずしもクローズドソース モデルを使用する場合よりもコストが低くなるわけではありません。

Xue Yanzhe:次に、オープンソース モデルのコストについてお話しします。オープンソース モデルでは、微調整を行うために依然として人手が必要であり、実際の運用環境では、クローズド ソース モデルほど経済的ではない可能性があります。

瀋陽：オープンソースが高価なのは、人々が細かい調整をしたいからです。その考えを一度諦めてしまえば、その利用コストは非常に低くなります。

例えば、一般的なオープンソースモデルを金融セクター特有のモデルに適応させることは非常に困難です。より良いアプローチは、大手金融機関がそのモデルをオープンソース化するのを待つことです。独自の調整は避けるべきです。その方がコスト効率が良いからです。

Xue Yanzhe:しかし、オープンソース モデルの価値は、まさに誰もが自分で微調整してトレーニングできるということではないでしょうか?

Guo Wei:例え話で言えば、オープンソースモデルは専門学校の生徒です。クローズドソースモデルのように大学生のレベルには達していないかもしれませんが、オープンソースモデルのメリットはその適応性にあります。微調整によって専門知識を習得させたり、ルールに沿って特定のアプリケーションに適応させるためのガイドを提供したりすることができます。

しかし、どのようなアプローチをとるにせよ、オープンソースモデルを利用する時間コストは、クローズドソースモデルを利用する時間コストよりも常に大きくなります。短期間で製品を開発したいのであれば、クローズドソースモデルの利用は避けられません。率直に言って、現在の大規模なオープンソースモデルは、愛好家や既存企業のおもちゃのようなもので、一般企業が導入するのは困難です。

Xue Yanzhe：もし Cheng 教授が AI 製品を開発するとしたら、オープンソースとクローズドソースのどちらを選びますか?

Cheng Ge:オープンソースとクローズドソースの選択は、単に To B か To C かで決まるのではなく、最終的な製品の形式に関係します。

ターゲットユーザーが医療分野などの業界ユーザーである場合は、オープンソースモデルを選択します。これは、私が蓄積してきた医療データが業界における競争優位性となるためです。他の医療大手企業がモデルをオープンソース化する可能性は極めて低く、ビジネス上の利益と合致しないからです。そのため、オープンソースモデルを、特定のドメイン固有のシナリオやデータと組み合わせることになります。

しかし、私の製品が独創的なアイデアに基づいており、大規模なモデルを用いてエンドユーザーに付加価値サービスを提供するだけであれば、クローズドソースを選択します。オープンソースモデルは事前学習コストを削減できますが、微調整、推論、メンテナンスのコストが増加します。これらの追加コストは、業界の独占または競争力によって回収できる場合にのみ合理的です。

5. オープンソース モデル: 村全体の希望か、それとも知性への課税か?

薛延哲：ロビン・リーは最近、「オープンソースモデルはすべて知性への負担だ」と発言しました。また、『ダークサイド・オブ・ザ・ムーン』のヤン・ジーリンも、オープンソースはB2Bにおける顧客獲得手段に過ぎないと述べています。あなたはどうお考えですか？

Guo Wei:先ほどの例えで言うと、オープンソースコードとクローズドソースコードを比較するのは、Android 1.0とiPhone 3GSを比較するようなものです。今のところ、オープンソースモデルは比較的弱いように思われ、将来どちらが勝利するかはまだ不透明です。

しかし、オープンソースモデルを「詐欺」と切り捨てることには賛同できません。オープンソースモデルは、商業的な洗練度は低いものの、初期のAndroidシステムのように活発なコミュニティと複数の関係者の参加を促し、迅速な反復と改善を可能にする可能性を秘めています。

問題は、現在のオープンソースモデルが真のオープンソースではないということです。真のオープンソースとは、コード、データ、トレーニング方法を完全に公開し、ユーザーが問題を発見して貢献できるようにすることで、肯定的なフィードバックを生み出すべきです。現在のオープンソースモデルはこれを実現していません。データとトレーニング方法へのオープンアクセスが欠如しているため、実質的なフィードバックや改善を得ることができません。

Apacheソフトウェア財団のメンバーとこの件について議論し、オープンソースモデルの標準が策定中であることを知りました。これらの標準が確立されて初めて、オープンソースモデルとは何かについて深く議論できるようになります。さらに、オープンソースモデルに基づいて開発を行っている企業もありますが、その変更を元のモデルにフィードバックできないことが多く、オープンソースコミュニティの健全な発展を阻害しています。オープンソースの真髄は、上流への変更の貢献、そして協力してより強力なツールを構築する能力にあります。現状では、大規模なオープンソースモデルは単なる流通チャネルに過ぎません。

沈陽：まず、ロビン・リー氏が「オープンソースモデルはどれも無駄だ」と言ったのには、きっと具体的な背景があったのでしょう。当時、中国には70バイトのパラメータを持つオープンソースモデルは存在せず、オープンソースモデルの性能はクローズドソースモデルに比べてはるかに劣り、ほとんど使い物になりませんでした。そのため、多くの企業がオープンソースモデルに簡単な修正を加えて企業に提供しており、おそらく彼が批判したのもそのような行為だったのでしょう。

しかし、現状ではこの見方はもはや当てはまりません。国産の70Bパラメータモデルであれ、405Bのようなモデルであれ、その性能は既にクローズドソースモデルに非常に近く、推論コストもほぼ同じです。

将来、誰がより強力になるかという点については、オープンソースかクローズドソースかという点とは直接関係なく、むしろ誰がより多くの資金を投資するかが関係していると思います。例えば、Metaは100億ドルを投資できるのに対し、Baiduは10億ドルしか投資できないとしたら、オープンソースかクローズドソースかを問わず、より多くの資金を投資する企業の方が、はるかに強力なモデルパフォーマンスを発揮するでしょう。

現在、百度、アリババ、メタ、その他の企業は、AIや大規模モデルを主な収益源としていません。もしこれらを主な収益源としていたとしたら、どの企業も生き残れないでしょう。

程歌：李延紅氏の見解には一理あります。特に当時、中国ではいわゆる「千モデル戦争」が勃発し、オープンソースモデルをベースにした小規模な微調整製品が数多く登場していたため、これらの製品はクローズドソースモデルの性能を上回ることが困難でした。

しかし、大型模型が少数のメーカーの金儲けの道具になってはいけないという周紅一氏の意見には私も賛成です。結局のところ、これはそれぞれのビジネスモデルに関係しています。

現在、様々な企業がそれぞれの強みを活かして差別化を図り、競争を繰り広げています。例えば、百度（バイドゥ）は検索分野で蓄積されたデータを活用し、一方、バイトダンス（ByteDance）のような企業は強力なコンテンツ制作エコシステムを活用しています。これらの企業はいずれも、蓄積されたエコシステムを活用することでAIの価値を最大化し、差別化の道を歩んでいます。

しかし、現在の市場モデルは、最終的には多くの競合を受け入れる余地がなくなります。モバイルOSと同様に、市場に残るのはごく少数の企業だけでしょう。これは自然淘汰のプロセスであり、どのモデルが生き残るかは市場によって決定されるでしょう。