|
Facebookは最近、BERTの改良版であるRoBERTaに関する研究の詳細を公開しました。RoBERTaはXLNetを抜いてGLUEリーダーボードのトップに躍り出ました。このモデルのコードもオープンソース化されています。 BERTは登場以来、優れたパフォーマンスを示しており、GLUEリーダーボードの上位モデルの多くはかつてBERTをベースにしていました。しかし、XLNetの登場により… BERTの記録を破る しかし、その後すぐに事態は一転し、Facebook の BERT の改良版である RoBERTa が GLUE のリーダーボードでトップに立った。 画像出典: https://glubenchmark.com/leaderboard/ Facebookの研究者は、トレーニングをより長期間、より大きなデータセットで行えば、 BERT はトップ層に復帰できる。 。 では、RoBERTaのトレーニングにはどれくらいの時間がかかり、どれくらいのデータを使用したのでしょうか？最近、Facebookの研究者が研究の詳細を発表しました。 論文リンク: https://arxiv.org/pdf/1907.11692.pdf GitHub アドレス: https://github.com/pytorch/fairseq/tree/master/examples/roberta RoBERTaの大きさはどれくらいですか? 以前、XLNet チームは標準の BERT と XLNet を比較していました。 公平な比較が行われました。 彼らは、同じパラメータレベル、事前学習済みデータ、ハイパーパラメータ設定の下で、両方のパフォーマンスをテストしました。もちろん、アーキテクチャとタスクを変更することで、XLNetは標準的なBERTを全面的に上回りました。しかし、BERTがXLNetを再び上回るには、はるかに多くのデータと計算能力が必要になるでしょう。 計算能力 報道によると、Facebook の研究者は、Infiniband 経由で接続された 8 つの 32GB Nvidia V100 GPU を搭載した複数の DGX-1 コンピューターで、混合精度浮動小数点演算を実行したとのことです。 しかし、研究者たちはRoBERTaが使用したV100 GPUの数やトレーニングに要した時間については明らかにしていません。わかっているのは、彼らが1024個のV100 GPUを1日で使用して大規模モデルをトレーニングしたことだけです。Google Cloudの料金体系に基づくと、その費用は60,940ドルになります。元の論文には次のように記されています。
XLNetのTPUトレーニングコストも6万ドルであり、直感的にGPUトレーニングの方がTPUよりも高価であることから、上記の説明に基づいて、60,940ドルのコストはBOOKCORPUSとWIKIPEDIAデータセットのトレーニングにかかるコストであると推測します。さらに、XLNetデータセットは10倍に拡大し、TPUトレーニングコストは5倍に増加します。RoBERTaも同じパターンを辿っているのでしょうか？ データ BERTモデルの事前学習の鍵となるのは、膨大な量のテキストデータです。Facebookの研究者は、サイズとドメインが異なる5つの英語コーパスを考慮し、合計160GBのプレーンテキストに及ぶ膨大なデータセットを収集しました。一方、XLNetは126GBのデータを使用しました。これらのコーパスは以下のとおりです。
これはすでに膨大なデータ量であり、BERTで使用されているデータ量の10倍以上です。しかし、XLNetの作者であるYang Zhilin氏が述べているように、大量のデータが必ずしもメリットをもたらすわけではありません。量と質のバランスを取ることが重要です。おそらく、データが10倍に増加しても、高品質なデータによってもたらされる改善の数倍ほどの効果は期待できないでしょう。 RoBERTa とは何でしょうか? FacebookはBERT事前学習済みモデルを用いた再現研究を実施し、ハイパーパラメータ調整と学習データサイズの影響を評価しました。その結果、BERTの学習は著しく不十分であることが判明しました。そこでFacebookは、BERT以降のすべての手法と同等、あるいはそれ以上の性能を持つBERTの改良版であるRoBERTaを提案しました。 これらの改善点は次のとおりです。
Facebookの研究者は、トレーニングデータセットのサイズの影響をより適切に制御するために、新たな大規模データセット「CC-NEWS」も作成しました。CC-NEWSデータセットのサイズは、他の非公開データセットと同程度です。 要約すると、RoBERTa に関する Facebook 研究者の研究貢献は次のようにまとめられます。
RoBERTa はどのような変更を加えましたか? オリジナルのBERTを、非常に大規模なデータセットの事前学習に直接使用することはうまくいきません。モデルの堅牢性を向上させるには特別な技術が必要であり、Facebookの研究者は主にこれを目指しています。以下の研究者たちは、BERTが真に堅牢になるために必要な改善点を論文で明らかにし、定量化しています。 1. 静的マスクと動的マスク BERTはランダムマスクと予測トークンに依存しています。オリジナルのBERT実装では、データの前処理中に一度だけマスク処理が実行され、結果として静的なマスクが生成されます。Facebookの研究者たちは、この戦略を、モデルにシーケンスが入力されるたびにマスクパターンを生成する動的マスクと比較しました。これは、事前学習に多くのステップが含まれる場合や、より大きなデータセットを使用する場合に特に重要になります。 表 1: BERT_BASE の静的マスクと動的マスクの比較。 2. 入力形式と次文予測のモデル化 BERTの事前学習段階では、モデルは2つの連続した文書セグメントを観測します。これらのセグメントは、同じ文書から連続してサンプリングされるか、文書の連続した部分、あるいは異なる文書からサンプリングされます。この構造をより深く理解するために、研究者たちは複数の学習形式を比較しました。
表2: BOOKCORPUSとWIKIPEDIAで事前学習したベースモデルの開発セットの結果。すべてのモデルは、バッチサイズ256シーケンスで100万ステップ学習されました。 3. 大規模訓練 ニューラル機械翻訳分野におけるこれまでの研究では、学習率を適切に高めた上で、非常に大規模なミニバッチを用いた学習を行うことで、最適化速度と端末タスクのパフォーマンスを同時に向上できることが示されています。最近の研究では、BERTが大規模バッチ学習にも適応できることが示されています。 表 3: BOOKCORPUS と WIKIPEDIA で異なるバッチ サイズ (bsz) を使用してトレーニングされたベース モデルの、leave-out トレーニング データ (ppl) と開発セットでのパープレキシティ。 4. テキストエンコーディング バイトペア エンコーディング (BPE) は、文字レベルと単語レベルの表現を組み合わせたもので、自然言語コーパス内の多くの一般的な単語の処理をサポートします。 オリジナルのBERT実装では、入力をヒューリスティックな単語分割ルールを用いて前処理した後に学習した、3万文字の文字レベルのBPE語彙を使用していました。Facebookの研究者は異なるアプローチを選択し、入力に対する追加の前処理や単語分割を行わずに、5万のサブワード単位を含む、はるかに大規模なバイトレベルのBPE語彙でBERTを学習しました。このアプローチにより、BERTBASEとBERTLARGEにそれぞれ1500万と2000万の追加パラメータが追加されました。 実験結果 Facebookの研究者たちは、これらの改善点をすべて組み合わせ、その影響を評価しました。これらの改善点をすべて組み合わせた手法は、RoBERTa（Robustly optimized BERT approach）と呼ばれています。 他のモデリング オプションに対するこれらの改善の重要性を明らかにするために、研究者はまず BERT LARGE アーキテクチャで RoBERTa をトレーニングし、その有効性を判断するための一連の制御実験を実施しました。 表4：開発セットにおけるRoBERTaの結果。トレーニングデータサイズ（テキストサイズ：16GBから160GB）およびトレーニングステップサイズ（トレーニングステップ数：100K→300K→500K）の増加に伴い、改善度は増加しました。コントロール実験では、表の各行は前の行の累積的な改善度を表しています。 GLUEについては、研究者らは2つの微調整設定を検討しました。最初の設定（単一タスク、開発セット）では、各GLUEタスクのトレーニングデータのみを使用して、RoBERTaを個別に微調整しました。2つ目の設定（アンサンブル、テストセット）では、GLUEリーダーボードを使用してRoBERTaを他の手法と比較しました。 表5: GLUEにおける複数のモデルの結果。すべての結果は24層モデルアーキテクチャに基づいています。 |
