近年、巨大テクノロジー企業は、成長を続ける大規模言語モデル（LLM）市場を独占しているように見える。複数の大手テクノロジー企業の最近の決算説明会では、これらの企業が依然として人工知能開発における支配力を維持していることが示唆されている。特にマイクロソフトの発表は、Azure OpenAIおよびOpenAIサービスを通じてクラウドインフラストラクチャ上で実行されるワークロードを含む、AIサービスを通じて数十億ドル規模の収益を生み出していることを示唆している。

しかし、最近流出したGoogleの内部文書は、大規模言語モデルの急速な進歩により、大手テクノロジー企業の市場における地位が見た目ほど確固たるものでないことを示唆している。文書には「私たちには堀はなく、OpenAIにもありません」と記されている。

人工知能市場の動向は、「大きいほど良い」から「安いほど良い」、「効率が良いほど良い」、「カスタマイズ性が高いほど良い」へと徐々に移行しつつあります。大規模なクラウドベースの言語モデルや生成AI製品は常に市場を持ちますが、顧客はオープンソースの選択肢も検討できるようになりました。

大規模言語モデルの「堀」

2020年に発表されたGPT-3に関する論文は、大規模言語モデルのスケールアップの可能性を予測しました。1750億のパラメータを持つGPT-3は、学習に用いていない多くのことに対応できる大規模言語モデルです。GPTモデルの開発は、さらに大規模な言語モデルを作成し、より大きなデータセットで学習させ続けることで、より高性能なモデルを作成できることを示唆しています。

GPT-3の成功は、より大規模な言語モデルの作成への関心を高めました。いくつかの研究論文では、大規模言語モデルの魅力的な特性、特にその創発能力について考察されています。一方、AI研究機関は、より大規模なモデルの作成に競い合っています。Gopher（280 Bparams）、LaMDA（137 Bparams）、PaLM（540 Bparams）、Megatron-Turing（530 Bparams）などがその例です。

しかし同時に、大規模言語モデルコミュニティは不快な変化を経験しました。研究の焦点がさらに大規模な言語モデルの作成に移るにつれ、開発とイノベーションのコストは急騰しました。GPT-3のような大規模言語モデルの学習と実行には数百万ドルもの費用がかかります。その結果、大規模言語モデルの研究は、資金力のある少数のテクノロジー企業と、それらに関連するAIラボに限られてきました。

AIラボが営利組織からの資金への依存度を高めるにつれ、技術を収益化するためのプレッシャーが高まっています。そのため、AIラボは自社の技術を基盤とした製品の開発を余儀なくされます。同時に、競合他社による製品や事業の模倣を防ぐ防御機構、つまり製品の周囲に「堀」を築く必要があります。

大規模言語モデルの主要な強みは、(1) 学習データ、(2) モデルの重み、(3) 学習および推論コストです。大手テクノロジー企業は、大規模言語モデルの学習と運用を行うことができる数少ない企業であるため、(3) において既に優位性を持っています。BLOOMやOPT175-BといったGPT-3のオープンソース代替技術でさえ、資金が限られており、数千台のGPUを購入またはレンタルする余裕のないテクノロジー企業にとっては、法外な価格になってしまうことがよくあります。

しかし、他の2つの分野でも優位に立つために、テクノロジー企業はこの分野をより目立たないものにし、共有を少なくしてきました。OpenAIはおそらく最も代表的な例でしょう。OpenAIは、研究成果をすべて公開していたAIラボから、大規模な言語モデルへのAPIアクセスを販売するスタートアップへと変貌を遂げ、もはやトレーニングデータやモデルアーキテクチャの詳細さえも公開していません。

長い間、これは下層階級の競争のようで、大手テクノロジー企業が大規模な言語モデルに多額の投資を行い、この分野はより秘密主義的なものとなっていました。

オープンソースの大規模言語モデル

大規模言語モデルの支配権が少数の大手テクノロジー企業に集中する中、オープンソースコミュニティはこれに反応しました。ChatGPTのリリースは、様々なアプリケーションにおいて大規模言語モデルの指示に従うことの将来性の高さを示し、その努力は実を結びました。ここ数ヶ月の間に、大手テクノロジー企業が確立したビジネスモデル全体に​​挑戦するような、オープンソースの大規模言語モデルがいくつかリリースされました。

ChatGPTに代わるこれらのオープンソースの代替手段は、いくつかの重要な点を示しています。第一に、数十億のパラメータを持つ大規模言語モデルは、非常に大規模なデータセットで学習した場合、パフォーマンスの点で非常に大規模なモデルに匹敵します。第二に、小規模な大規模言語モデルは、非常に少ない予算と少量のデータで微調整できます。最後に、オープンソースの大規模言語モデルは、異なるチームが互いの成果を基に構築できるため、クローズドエコシステムよりもはるかに迅速に開発されます。

これらの大規模言語モデルのほとんどは、70億から130億のパラメータを持ち、強力なコンシューマーグレードのGPUで実行できます。興味深いことに、この動きはMetaが開発したオープンソースの大規模言語モデルシリーズであるLLaMAのリリースによって引き起こされました。その後まもなく、別の研究者が、ChatGPTのような指示に従うように微調整されたLLaMA上に構築された2つのモデル、AlpacaとVicunaをリリースしました。

LLaMAのライセンスでは、商用目的での使用は禁止されています。DatabricksのDolly2は、EleutherAIのPythiaモデルを基盤とすることでこの問題に対処しています。Open Assistantは完全にオープンなモデルであり、コード、モデルの重み、トレーニングデータなど、あらゆる情報にアクセスできます。

これらのモデルは、低ランク適応 (LoRA) などの技術も活用しており、トレーニング コストを 1,000 倍以上削減できます。

これらのモデルは、自社のアプリケーションで大規模な言語モデルの利用を検討している企業にとって、新たな選択肢となります。企業は、自社サーバー上で実行可能な低コストのモデルを活用し、少ない予算で自社データを頻繁に更新できるようになります。

これは大手テクノロジー企業にとって何を意味するのでしょうか？Googleはメモの中で次のように警告しています。「大規模言語モデルの研究コストの増大により、技術における競争力の維持はますます困難になっています。世界中の研究機関は互いの研究成果を基盤として、私たちの能力をはるかに超える幅優先的な手法でソリューション空間を探求しています。外部のイノベーションによって、私たちが開発する大規模言語モデルの価値が薄れていく中で、私たちは自らの秘密を守り、あるいは互いに学び合おうと努めています。」

クローズドエンド型の大規模言語モデルの市場にはどのような変化が起こるでしょうか?

大手テクノロジー企業が大規模言語モデル市場を独占することは不可能であることは明らかです。しかし、だからといってクラウドベースの言語モデル市場が消滅するわけではありません。AI研究者のAndrej Karpathy氏が指摘するように、オープンソースの大規模言語モデルエコシステムは、事前学習済みベースモデルの高コストなど、依然としていくつかの課題に直面しています。

同時に、オープンソースの大規模言語モデルは誰にでも適しているわけではありません。社内に機械学習の人材が不足し、数回のAPI呼び出しで大規模言語モデルをアプリケーションに迅速に統合したい企業にとって、サーバーレスのブラックボックスソリューションは依然として非常に魅力的です。一方、MicrosoftやGoogleのようなテクノロジー大手は、自社のアプリケーションと顧客基盤を通じて非常に強力な流通チャネルを有しています。

しかし、オープンソースコミュニティの努力により市場は拡大し、ラップトップなどの新しい環境でも大規模言語モデルの利用が可能になるでしょう。同時に、市場はある程度コモディティ化され、大手テクノロジー企業はより競争力のある価格で顧客を提供せざるを得なくなるでしょう。大規模言語モデルの分野は非常に急速に発展しており、今後数週間、数ヶ月でどのような展開を見せるのか、非常に興味深いところです。