アリババのタオバオ産業生産プロセスに由来し、質と量を兼ね備えています。モデルには豊富な幾何学的形状とテクスチャの詳細が含まれています。アリババが学術機関と共同でオープンソース化した3D-FRONTシーンレイアウトデータセットは、大規模で高品質な3Dシーンレイアウトデータセットの現状のギャップを埋めるものです。

最近、アリババ淘宝網技術部の趙斌強氏と賈栄飛氏は、サイモンフレーザー大学の張昊教授、中国科学院計算技術研究所の高林氏と張玲暁氏と共同で、 CVPR 2020ワークショップ「Learning 3D Generative」において、大規模3Dシーンデータセット「3D-FRONT（3D Furnished Rooms with layOuts and semaNTics）」をオープンソース化しました。この共同研究は、大規模で高品質な3Dシーンレイアウトデータセットに関する学術界の現状のギャップを埋めることを目的としています。張昊教授は、CVPR 2020ワークショップ「Learning 3D Generative」の中核的な主催者の一人でした。

次に、3D-FRONTの技術的な詳細を見てみましょう。

3D シーン データは、AI ベースの 3D アプリケーションの研究を推進します。

図 1: 3 次元屋内シーンの研究と応用。

3Dおよび2Dシーン理解は、将来のAI世界を構築するための基礎的かつ中核的な研究課題であり、ロボットの屋内経路探索、オンラインショッピングモール、インテリアデザインなど、屋内シーンに関連するアプリケーションを網羅しています。これらのアプリケーションには、セマンティックセグメンテーション、物体認識、シーン生成といったディープラーニング関連の理論と技術が関わっており、これらはすべて、関連するディープラーニングモデルを機能させるために大量のデータを必要とします。

したがって、高品質で大規模な 3D シーン データセットは、前述の関連研究を促進する上で非常に重要です。

しかし、学術界では、データ駆動型のインテリジェント 3D シーン研究をサポートおよび促進するために、大規模で高品質の 3D シーン データセット、特に高品質のレイアウトとインテリア デザインを備えた 3D シーン データセットを早急に必要としています。

現在、プリンストン大学が提案するSUNCG、スタンフォード大学が提案するScanNet、上海科技大学が提案するstructured3Dといった関連データセットが存在します。しかし、これらのデータセットはシーンコンテンツが不十分で、データ規模も限られています。例えば、structured3Dデータセットは3,000以上のシーンを提供していますが、高品質のテクスチャ付き3Dモデルデータは提供されていません。

図2: 3D-FRONTデータ取得プロセス。

世界クラスの電子商取引大手である Alibaba の公式ホームデコレーションおよびデザイン プラットフォームである Laying Flat Design には、膨大な量の高品質なホーム デザイン ソリューションが蓄積されています。

アリババのタオバオ技術部門は、これらの現実世界の住宅シナリオに基づき、3D人工知能技術を融合させ、シナリオベースのデジタルマーケティングをいち早く構築し、インテリジェントな設計とマッチングサービスを展開し、膨大な量の精巧なシーンレイアウトとデザインデータを生成しました。このシナリオデータは、学術界のニーズに完全に合致しています。

つまり、3D-FRONT データセットは、品質と量の両方を兼ね備えた Alibaba の Taobao 産業生産プロセスから生まれたものです。

3D-FRONT は、学術分野における 3D シーン レイアウトのデータ ギャップを埋めます。

図 3: 3D-FRONT データセットの属性。

3D-FRONTには、6,813の現実世界のアパートのレイアウトが含まれており、1つのレイアウトあたり平均7部屋で構成されています。このうち19,775の部屋シーンには、精巧に作成され、人間によって検証されたインテリアデザイン情報が含まれています。各部屋の家具は、Alibabaのオープンソース3Dモデルデータセットである3D-FUTURE（3D FUrniture shapes with TextURE）から取得されており、そのモデルには豊富な幾何学的およびテクスチャの詳細が含まれています。

3D-FRONT は、他の 3D シーン データセットと比較して、アパートのレイアウトの数、部屋のシーンの数、部屋のタイプなどの指標でリードしており、高品質のハード家具モデルと家具モデルも提供しています。

シーン内の3Dジオメトリモデルは、豊富なジオメトリディテールと高品質のテクスチャマップを備えています。これらのジオメトリモデルは、Alibabaのオープンソース3Dモデルライブラリデータセット「3D-FUTURE」から取得されています。

図4: 3D-FRONTと他のシーンデータセットの比較。

現在、3D-FRONTと3D-FUTUREのデータセットは公開ダウンロード可能です。同時に、タオバオの技術部門は今年3月に第1回アリババ3D AIチャレンジを開始しました。予備登録はすでに締め切られ、世界中から1300以上のチームが参加し、学術研究と産業応用の架け橋を築きました。このコンテストのトラックランキングは8月21日に決定しますので、今後の結果にご注目ください。

3D-FRONTデータセットホームページ: https://tianchi.aliyun.com/specials/promotion/alibaba-3d-scene-dataset

3D-FUTUREデータセットのホームページ: https://tianchi.aliyun.com/specials/promotion/alibaba-3d-future

3D 生成モデルを学ぶ CVPR 2020 ワークショップ: https://learn3dgen.github.io/

3D-FRONTデータセットの貢献者

3D-FRONT データセットには、Alibaba の Huan Fu、Bowen Cai、Jia Rongfei、Zhao Binqiang、中国科学院コンピューティング技術研究所の Gao Lin と Zhang Lingxiao、サイモンフレーザー大学の Zhang Hao の 7 名が貢献しています。