Databricks は、データウェアハウスや AI ベースのソリューションを中心に、さまざまな分野で大きな成果を上げているソフトウェア企業です。

最近、ChatGPT の出現により、Meta、Google、さらには Mozilla もそれを模倣し始めました。

現在、Databricks は大規模言語モデル (LLM)「Dolly」をオープンソース化し、独自の方法で実験を行っています。

一緒に見てみましょう。

何が起こったのでしょうか?最近の発表で、Databricks は、EleutherAI の既にオープンソースのパラメトリック モデルを使用して機能を提供する、いわゆる「安価に構築された」LLM を導入しました。

彼らはモデルにわずかな変更を加え、ブレインストーミングやテキスト生成などの Dolly コマンド機能を追加しました。

GPT-3 の1750 億個のパラメータと比較すると、Dolly の60 億個のパラメータは取るに足らないもののように思えるかもしれません。

しかし、Databricks の人々は、GPT-3 と比べてデータ量に大きな違いがあるにもかかわらず、Dolly がChatGPT と同じ機能を多く発揮できることを見て非常に驚きました。

彼らが提示した例の 1 つを以下に示します。

オープンな質疑応答のシナリオでドリーがどのように機能するかを示すスクリーンショット

元のモデルは、Meta の LLM モデルに基づいてスタンフォード大学が構築した Alpaca のデータを使用しました。

しかし、ご覧のとおり、元のモデルは非常に乱雑な結果を生成しましたが、Dolly はさまざまなモデルと調整を通じて、より使いやすい答えを生成することができました。

📝 興味深い事実: ドリーは世界初のクローン羊にちなんで名付けられました。

なぜ今なのでしょうか？ Databricks によると、**多くの企業は、モデルを厳密に管理し、API のみを提供する中央ベンダーにデータを送信するよりも、独自のモデルを構築することを好む** と考えています。

多くの企業は、最も機密性の高いデータを第三者に引き渡すことに消極的であり、モデルの品質、コスト、必要な動作に関してさまざまなトレードオフを行う可能性があります。

見てみませんか？

もちろんです。しかし、一つ問題があります。

Dolly を使用するには、そのプラットフォームを使用する必要があります。彼らは、Databricks 上で Dolly を構築するのに役立つ Databricks ノートブックをオープンソース化しています。

さらに、トレーニング済みのウェイトを入手したい場合は、彼らに連絡する必要があります。ただし、無料でアクセスできるかどうかはわかりません。

結論として、モデルをオープンソース化するというこの動きは、他の企業のデータを保護し、運用コストを節約し、それを使用して独自のモデルを作成できるようにすることで、他の企業に利益をもたらすはずです。

より詳しい技術的な詳細やその他の計画については、発表ブログをご覧ください。