DUICUO

現在の場所： ホーム > 記事 > 世界で最も強力なオープンソース AI モデルと称される DBRX は、1,320 億のパラメータを誇り、言語理解とプログラミング機能において GPT-3.5 を上回っています。

世界で最も強力なオープンソース AI モデルと称される DBRX は、1,320 億のパラメータを誇り、言語理解とプログラミング機能において GPT-3.5 を上回っています。

3月28日、スタートアップ企業のデータブリックスはオープンソースAIモデルDBRXのリリースを発表し、これがMetaのLlama 2よりもさらに強力な、現在世界で最も強力なオープンソースの大規模言語モデルであると主張した。

DBRXはトランスフォーマーアーキテクチャを採用し、1320億個のパラメータと16個のエキスパートネットワークで構成されています。各推論では、これらのエキスパートネットワークを4つ使用し、360億個のパラメータをアクティブ化します。

Databricks は自社のブログ投稿で、 DBRX は言語理解、プログラミング、数学、ロジックの面で、Meta の Llama 2-70B、フランスの MixtralAI、Elon Musk 率いる xAI が開発した Grok-1 などの主流のオープンソース モデルよりも優れていると述べています。

図 1: DBRX は、言語理解 (MMLU)、プログラミング (HumanEval)、数学 (GSM8K) において既存のオープンソース モデルよりも優れています。

言語理解の点では、DBRX は 73.7% のスコアを獲得し、GPT-3.5 の 70.0%、Llama 2-70B の 69.8%、Mixtral の 71.4%、Grok-1 の 73.0% を上回りました。

モデル

DBRX指示

ミックストラルインストラクト

ミックストラルベース

LLaMA2-70B チャット

LLaMA2-70Bベース

グロク-1 1

オープンLLMリーダーボード2

（次の6行の平均）

74.5%

72.7%

68.4%

62.4%

67.9%

—

ARCチャレンジ25ショット

68.9%

70.1%

66.4%

64.6%

67.3%

—

ヘラスワッグ 10ショット

89.0%

87.6%

86.5%

85.9%

87.3%

—

MMLU 5ショット

73.7%

71.4%

71.9%

63.9%

69.8%

73.0%

真実のQAゼロショット

66.9%

65.0%

46.8%

52.8%

44.9%

—

ウィノグランデ 5ショット

81.8%

81.1%

81.7%

80.5%

83.7%

—

GSM8k CoT 5発maj@1 3

66.9%

61.1%

57.6%

26.7%

54.1%

62.9%（8ショット）

ガントレット v0.3 4

（平均30以上の多様なタスク）

66.8%

60.7%

56.8%

52.8%

56.4%

—

ヒューマンエバル5

0-ショット、パス@1

（プログラミング）

70.1%

54.8%

40.2%

32.2%

31.0%

63.2%

プログラミング能力の点では、DBRXは70.1%のスコアを獲得し、GPT-3.5の48.1%を大きく上回り、Llama 2-70Bの32.3%、Mixtralの54.8%、Grok-1の63.2%を上回りました。

モデル

DBRX
指示する

GPT-3.5 7

GPT-4 8

クロード3俳句

クロード 3 ソネット

クロード 3 作品

ジェミニ 1.0 プロ

ジェミニ 1.5 プロ

ミストラル ミディアム

ミストラル ラージ

MTベンチ（屈折補正済み、n=5）

8.39 ± 0.08

—

—

8.41 ± 0.04

8.54 ± 0.09

9.03 ± 0.06

8.23 ± 0.08

—

8.05 ± 0.12

8.90 ± 0.06

MMLU 5ショット

73.7%

70.0%

86.4%

75.2%

79.0%

86.8%

71.8%

81.9%

75.3%

81.2%

ヘラスワッグ 10ショット

89.0%

85.5%

95.3%

85.9%

89.0%

95.4%

84.7%

92.5%

88.0%

89.2%

HumanEval 0ショット
パス@1
（プログラミング）

70.1%

温度=0、N=1

48.1%

67.0%

75.9%

73.0%

84.9%

67.7%

71.9%

38.4%

45.1%

GSM8k CoT メジャー@1

72.8%（5ショット）

57.1%（5ショット）

92.0%（5ショット）

88.9%

92.3%

95.0%

86.5%

（maj1@32）

91.7%（11ショット）

66.7%（5ショット）

81.0%（5ショット）

ウィノグランデ 5ショット

81.8%

81.6%

87.5%

—

—

—

—

—

88.0%

86.7%

数学では、DBRX のスコアは 66.9% で、GPT-3.5 の 57.1% を上回り、Llama 2-70B の 54.1%、Mixtral の 61.1%、Grok-1 の 62.9% も上回りました。

Databricksによると、DBRXはMegaBlocksの研究とオープンソースプロジェクトに基づいて構築されたハイブリッドエキスパートモデル（MoE）であり、1秒あたりのトークン出力レートが非常に高いとのことです。Databricksは、これが将来の最先端のMoEオープンソースモデルへの道を開くと考えています。

IT ホームでは参照アドレスを提供しています。

  • DBRXの紹介：最先端のオープンLLM
  • dbrxベース
  • データブリックス / dbrx
ラベル

関連するおすすめ記事

ランダムにおすすめされた記事

人気のタグ