Googleは、AIST++をベースにした3Dダンス生成モデル「FACT」をオープンソース化しました。このモデルは、音楽とモーションの対応関係を学習するだけでなく、音楽に基づいた3Dモーションシーケンスを生成することもできます。

[[423754]]

Googleは以前、10種類のダンススタイルを網羅した1408シーケンス、5.2時間分の3Dダンスモーションを含む、大規模なマルチモーダル3DダンスモーションデータセットAIST++を公開しました。各シーケンスには、カメラポーズが既知のマルチビュービデオが含まれています。FACTモデルはこのデータを使用して、音楽から3Dダンスを生成し、さらには振り付けスキルの向上にも役立ちます。

Googleによると、このモデルはまず、モーションとオーディオ入力を別々のモーションコンバータとオーディオコンバータを用いてエンコードします。その後、埋め込みは連結され、クロスモーダルコンバータに送られます。クロスモーダルコンバータは、2つのモダリティ間の対応関係を学習し、N個の将来のモーションシーケンスを生成します。これらのシーケンスは、自己教師学習方式でモデルをトレーニングするために使用されます。テスト時には、このモデルを自己回帰フレームワークに適用し、予測されたモーションを次のステップの入力として利用することで、FACTモデルはフレームごとに長距離のダンス動作を生成できるようになります。

さらにGoogleは、FACTにおける3つの重要な設計上の選択について説明しました。これらは、音楽からリアルな3Dダンスムーブメントを生成するために不可欠でした。具体的には、すべてのトランスデューサーにフルアテンションマスクを使用すること、次の動きだけでなく、現在の入力の先にあるN個の未来の動きを予測するようにモデルをトレーニングすること、そして12層の深層クロスモーダル変換モジュールを採用することなどが挙げられます。最終的に、FACTは優れたモーション品質、生成の多様性、そしてビートアライメントスコアを示しました。

現在、トレーニングデータAIST++、FACTモデルコード、トレーニング済みモデルが公開されています。

この記事はOSCHINAから転載したものです。

記事タイトル: Googleが3Dダンス生成モデルFACTをオープンソース化

この記事のアドレス：https://www.oschina.net/news/160132/google-publish-fact