大規模言語モデルは、テキスト段落の生成、人間の会話のシミュレーション、数学問題の解決において驚異的な性能を示しており、近年のAI開発において最もホットな分野の一つであることは明らかです。しかし、このような大規模言語モデルは、それ自体が有害なコンテンツを生成するだけでなく、その上に構築された下流アプリケーションを通じてそのようなコンテンツを拡散させる可能性があります。

理論上は、より多くの市民が参加することで問題解決につながるはずです。しかし、言語モデルの学習には膨大なデータと計算能力が必要となるため、これまでのところ大手テクノロジー企業の領域にとどまっています。人工知能の誤用を懸念する学界や倫理学者、社会科学者といったより広範なグループの間では、傍観者となるしか選択肢が残されていません。

「信頼を築く唯一の方法は、徹底的な透明性だと信じています」と、Meta AIのマネージングディレクター、ジョエル・ピノー氏は述べています。現地時間5月3日、Meta AIは1750億個のパラメータを持つ大規模言語モデルOPT-175B（Open Pretrained Transformer、OPT）をリリースしました。

これは大手テクノロジー企業としては前例のない動きです。大規模言語モデルの歴史においても、事前学習済みモデル、学習コード、そして使用コードが全面的に公開されるのは初めてのことです。

「私たちの多くは大学の研究者です」とピノ氏は述べた。「大学と産業界の間には、こうしたモデルを構築する能力に大きな差があることを私たちは知っています。研究者たちがこの技術について議論することのメリットは明らかです。」彼女は、他の人々が自分たちの研究を精査し、分析し、あるいはそれを基に発展させてくれることを期待している。より多くの人々が関わることで、ブレークスルーはより早く起こると彼女は信じている。

OPT 言語モデルには約 1,750 億個のパラメータ (ニューラル ネットワークのトレーニング中に調整できるパラメータ) があり、これは OpenAI の画期的なニューラル ネットワーク GPT-3 とほぼ同じサイズですが、有料サービス GPT-3 の並外れた機能と避けられない制限の両方を備えています。

ピノ氏は言葉を濁さず、「これは慎重に設計された」と述べ、チームはOPTの開発にあたり、言語タスクにおける精度と有害性の点でGPT-3に匹敵することを考慮しました。OPTは、研究者に研究のための類似言語モデルを提供することを目的としていました。

OpenAIはMetaの声明についてコメントを控えた。

OpenAIの親会社であるGoogleは、自社の検索製品における大規模言語モデルの活用を検討しているが、透明性の欠如をめぐり批判に直面している。Googleはこの分野で論争を巻き起こしており、AI倫理研究者のティムニット・ゲブル氏が、当時のGoogleの言語システムがウェブサイトから偏向したヘイトスピーチを学習する可能性があると示唆する論文を発表しようとしたため、同氏を解雇した。また最近では、発表された研究に異議を唱えた従業員を解雇している。

では、なぜMetaはこのようなことをするのでしょうか？MetaはFacebookやInstagramのアルゴリズムの仕組みについて滅多に語らないテクノロジー企業であり、自社にとって不利な問題を社内の研究チームに隠蔽させていることで知られています。

MITテクノロジーレビューは、メタ氏が異なるアプローチを取った主な理由は、長年AI開発プロセスの透明性を推進してきたピノー氏自身にあると考えている。

主要な学術会議における研究発表の方法に関して、ピノ氏は研究者に対し、研究成果に加え、コードと実験の実施方法に関する詳細な情報を提出することを義務付けています。彼女は2017年にMeta（当時Facebook）のAIラボに加わって以来、この文化を推進してきました。

「Metaのオープンサイエンスへの取り組みが、私をここに呼び寄せたのです」とピノ氏は語った。「他の理由でここに来ることはなかったでしょう。」

Metaはコードに加え、開発ログも公開しました。これらのログには、データトレーニングに関するチームメンバーからの日々の更新情報が含まれています。モデルにデータがどのように追加されたか、いつ追加されたか、どのデータが機能し、どのデータが機能しなかったかなどです。100ページを超えるメモには、2021年10月から2022年1月までの3ヶ月間、中断なくトレーニングが行われた際に発生したすべてのエラー、クラッシュ、再起動が記録されていました。

スタンフォード大学基礎モデリングセンター所長のパーシー・リャン氏は、大規模モデルのオープン性を次の 4 つのレベルに要約しています。

最初のレイヤーである論文へのオープンアクセスは、いくつかの仮説の実現可能性を実証し、構築のアイデアを提供します。2番目のレイヤーであるAPIへのオープンアクセスは、研究者が既存のモデルの機能（推論能力など）と限界（バイアスなど）を調査および評価できるようにします。3番目のレイヤーであるモデルの重みとトレーニングデータへのオープンアクセスは、研究者が既存のモデルを徐々に改善し、より詳細な解釈可能性技術とより効果的な微調整方法を開発し、モデルの動作におけるトレーニングデータの役割をより深く理解できるようにします。4番目のレイヤーである計算機能へのオープンアクセスは、研究者が新しいアーキテクチャ、トレーニングの目的とプロセスを試し、データ融合を実行し、さまざまな分野でまったく新しいモデルを開発できるようにします。

「オープン性が高まるほど、研究者はより深い疑問に集中できるが、リスクも高まる」とパーシー・リャン氏は指摘した。

Metaが大規模言語モデルをこれほどまでにオープンソース化するという動きは非常に大胆であり、現在では想像もできないリスクをもたらす可能性があります。これは、OpenAIがGPT-3の前身であるGPT-2をリリースしない理由でもあります。

「このモデルが他に恐ろしいリスクをもたらさないとは言えません」とピノ氏は述べ、「危険すぎるという理由だけで」モデルを公開すべきではないという考えを否定した。さらに、「これらのモデルの弱点は理解していますが、それは研究者の考え方ではありません」と付け加えた。

MITテクノロジーレビューによると、Googleから「行動規範違反」を理由に解雇されたAI倫理研究者のマーガレット・ミッチェル氏は、OPTの公開は前向きな一歩だと考えている。しかし、彼女は透明性が限られていると主張し、次のように疑問を呈している。「言語モデルは十分に厳密にテストされているのか？ 予測されるメリットは、予測される害悪を上回っているのか？ このプロセスにおいて、誤情報や人種差別的・女性蔑視的な表現はどうすれば避けられるのか？」

ワシントン大学の計算言語学者で、Googleセンターでミッチェル氏と関連研究に協力してきたエミリー・M・ベンダー氏も、潜在的な危害への対処方法について懸念を表明した。「機械学習技術のリスクを軽減する真の鍵は、具体的なユースケースで評価・検討することです。例えば、このシステムは何に使われるのか？誰が使うのか？システムの出力はどのように提示されるのか？」

ピノ氏は、こうした懸念はコミュニケーションを減らすのではなく、よりオープンな議論を通じて対処すべきだと考えている。「世界中の人々は、どのような会話が適切かについて様々な意見を持っており、人工知能はその会話の一部なのです」とピノ氏は言う。彼は言語モデルが誰もが同意する意見を述べるとは期待していないが、「私たちはどう対処すべきでしょうか？ それは、議論の過程で他の人の意見にもっと耳を傾けることです」と語る。