|
マスク氏は以前、Grokのオープンソース化計画が今週実施されると発表していました。今後は、起業家、プログラマー、企業、個人を問わず、Grok（モデルが意思決定を行い、入力を受け取り、テキスト形式で出力することを可能にする人工ニューロンまたはソフトウェアモジュール間の接続強度）を、関連ドキュメントとともに体験・テストし、商用アプリケーションを含むあらゆる用途にモデルのコピーを使用できるようになります。 同社はブログ投稿で、「xAIがゼロからトレーニングした3140億パラメータのハイブリッドエキスパートモデルである大規模言語モデルGrok-1の基本モデルとネットワークアーキテクチャをリリースします」と発表した。 興味のある方は、GitHub ページまたはリンクから Grok のコードをダウンロードできます。 Grok のオープンソースの性質は何を意味しますか?パラメータとは、モデルを制御する重みとバイアスを指します。一般的に、モデルのパラメータ数が多いほど、より高度で複雑になり、ユーザーフレンドリーになります。Grokは3140億のパラメータを持ち、MetaのLlama 2（700億パラメータ）やMistral 8x7B（120億パラメータ）といったオープンソースの競合製品をはるかに上回っています。 GrokはApache License 2.0に基づくオープンソースであり、商用利用、改変、配布が許可されていますが、商標登録はできず、ユーザーはいかなる責任も保証も負いません。さらに、ユーザーは元のライセンスと著作権表示をコピーし、変更内容を説明する必要があります。 Grokのアーキテクチャは、JAXとRustに基づくカスタムトレーニングスタックを用いて2023年10月に開発され、ニューラルネットワーク設計への革新的なアプローチが組み込まれています。特定のトークンに対して、モデルは重みの25%を使用します。この戦略により、効率性と有効性が向上します。 Grokは当初、2023年11月に独自仕様またはクローズドソースのデバイスとしてリリースされ、これまではマスク氏の独立した関連ソーシャルネットワークX（旧Twitter）でのみ、具体的には月額16ドルまたは年額168ドルのX Premium+有料サブスクリプションサービスを通じてのみ利用可能だった。 しかし、Grok のリリースにはトレーニング データの完全なコーパスは含まれていません。これは、すでにトレーニング済みであるためモデルを使用する上で重要ではありませんが、ユーザーが X から何を学習したか (おそらく X のユーザーのテキスト投稿) を確認することはできません (xAI のブログ投稿では、このモデルは「特定のタスク向けに微調整されることなく、大量のテキスト データでトレーニングされた基本モデル」であると漠然と述べられています)。 また、マスク氏が当初、他の LLM と比較した Grok の重要な特性として宣伝していた、X で利用可能なリアルタイム情報へのフックも含まれていません。このため、ユーザーは依然として X の有料版に加入する必要があります。 これは単なる技術的な取り組みではなく、ビジネスおよび広報戦略でもあります。OpenAIのChatGPTに対抗するため、マスク氏は2018年にOpenAIを離れ、独自の大規模言語モデルGrokを開発した。マスク氏はGrokをChatGPTやその他の主要な大規模言語モデルの、よりユーモラスで検閲のないバージョンと位置付け、AIによる検閲や、GoogleのGeminiの恥ずかしいほど混沌とした画像、そして疑わしいイデオロギー的スタンス（Geminiは少なくとも1回、マスク氏のツイートがナチスの指導者アドルフ・ヒトラーと同程度の社会的影響を及ぼす可能性があることを示唆した）に対する不満が高まる中、このスタンスはより幅広い層の間で支持を取り戻した。もちろん、Geminiはマスク氏や、16zの共同設立者でインターネットの先駆者であるマーク・アンドリーセン氏を含む他の影響力のある技術リーダーたちから厳しく批判されてきた。 Grokのオープンソース性は、OpenAIに対する訴訟や広範な批判の中で、マスク氏にとってイデオロギー的に有利な立場であることは明らかだ。マスク氏は最近、OpenAIを提訴し、設立協定を破棄して非営利団体として運営しているとして非難した。OpenAIが世論の法廷で自らを弁護するメールを公開したことは、少なくともマスク氏がOpenAIの営利目的の独占技術への移行を認識しており、それを支持していた可能性を示唆している。 XのAIコミュニティは、このリリースに好奇心と興奮で溢れています。特に、技術コミュニティは、このモデルがフィードフォワード層とその正規化手法にGeGLUを使用していることを指摘し、OpenAIの従業員でさえ、このモデルへの関心を示す投稿をしています。 したがって、Grok のリリースにより、他のすべての主要な言語モデル プロバイダー、特に競合するオープン ソース プロバイダーは、ユーザーに対して自社の優位性を証明するようプレッシャーを受ける可能性があります。 |
