|
アニメ鑑賞を楽しむ人々は往々にして古典作品のストーリーに惹きつけられますが、画質が作品の楽しみを阻む大きな要因となっています。10年以上前の作品は言うまでもなく、現在でも多くのアニメの解像度は720p程度で、テレビ放送の要件を満たすために1080iに引き伸ばされています。BD（ブルーレイ）の解像度も1080pしかありません。 その理由はコストです。アニメーション制作プロセスにおいて、解像度を1レベル上げるだけで、あらゆる制作リソースが大幅に増加します。描画、スキャン、処理、保存に至るまで、業界チェーン全体において、ハードウェアとソフトウェアの両方の改善が求められます。 しかし、現代の携帯電話でさえ2K解像度を実現しています。手描きアニメーションの解像度向上は難しいため、AIアルゴリズムでこの問題を解決できるでしょうか？ 最近、GitHubで画像超解像プロジェクトが人気を集めています。Real-CUGANというツールを使えば、アニメーション画像の画質を2～4倍向上させることができ、QQミームで使われる絵文字を4K画質で表示させることも可能です。 よく見ると、このプロジェクトはbilibiliのAIラボから生まれたものです。リリースから20日以内に、すでに1,500個のスターを獲得しています。 プロジェクトリンク: https://github.com/bilibili/ailab/tree/main/Real-CUGAN 著者らによると、Real-CUGANは数百万のアニメデータセットで学習された汎用アニメ画像超解像モデルであり、Waifu2xと構造的に互換性があります。既存の汎用超解像アルゴリズムと比較して、Real-CUGANのAIモデルははるかに大規模なデータセットで学習されているため、アニメコンテンツの処理において優れたパフォーマンスを発揮します。 2 倍、3 倍、4 倍の超解像度をサポートしており、2 倍モデルは 4 レベルのノイズ低減と保守的な修復をサポートし、3 倍/4 倍モデルは 2 レベルのノイズ低減と保守的な修復をサポートします。 Real-CUGANは、Real Cascaded-U-Netスタイルの敵対的生成ネットワーク（Generative Adversarial Networks）の略です。Waifu2xと同じアニメネットワーク構造を採用していますが、新しい学習データと学習手法を使用しているため、パラメータが異なります。 具体的には、このアニメ超解像モデルの学習は、アニメのフレームをブロックに分割することから始まります。次に、画質スコアリングモデルを用いて候補ブロックをスコアリングおよびフィルタリングし、数百万個のアニメ画像ブロックからなる高品質な学習セットを作成します。次に、多段階ダウンサンプリングアルゴリズムを用いて高解像度画像ブロックをダウンサンプリングし、低解像度画像を生成します。これにより、AIモデルは低解像度画像から高解像度画像への再構成プロセスを学習し、最適化することができます。学習が完了すると、このモデルは現実世界の低解像度アニメ画像の再拡大に使用できます。 GitHub プロジェクトでは、著者は推論フェーズのモデル パラメータと推論コードをオープンソース化しました。 次にReal-CUGANの修復効果を見てみましょう。 画像ソース: https://github.com/bilibili/ailab/tree/main/Real-CUGAN さまざまな修復方法の違いをさらに調べるために、研究チームは Real-CUGAN の修復パフォーマンスを Waifu2x および RealESRGAN の修復パフォーマンスと比較しました。 下の画像はアニメ「探偵は死んだ」のものですが、ソファの質感の復元方法の違いが顕著に表れています。Real-CUGANによる復元結果では、ソファの横縞がはっきりと見え、線が途切れることはほとんどありません。 アニメでは、キャラクターデザインにおいて明確な線が不可欠です。ぼやけた線は視聴体験に深刻な影響を与えます。下の画像に示すように、Real-CUGANはアニメキャラクターの顔の線を鮮明に再現しています。 もちろん、鮮明な画像の方が必ずしも優れているとは限りません。例えば、画像内の遠くのシーンの一部は意図的にぼかされています。例えば、下の画像では、Real-CUGAN修復後、手前の人物はより鮮明になり、遠くのろうそくはぼやけたままで、画像に奥行きが生まれています。 一部のアニメは、制作年や当時の技術の限界によって、真に「感動的な」画質を実現しています。例えば、多くの人の幼少期の記憶に残る「黒猫探偵」は、以前のRealESRGANモデル（下図の3列目）で良好な修復結果を得ています。一方、Real-CUGAN（下図の4列目）は、一部の線やぼやけをより適切に修復し、より鮮明でクリアな画像を実現しています。 さらに重要なのは、この技術の使い方が非常に簡単なことです。ダウンロードしたモデルは既に学習済みで、config.py の設定パラメータを変更し、go.bat をダブルクリックするだけで実行できます。Real-CUGAN は CUDA による高速化だけでなく、AMD シリーズのグラフィックカードもサポートしており、処理速度が非常に速いため、ノートパソコンでも動作可能です。 Real-CUGANはデフォルトでは静止画像のみを処理しますが、多くの人が動画を単一フレームのシーケンスに分解して処理しようと試みています。これにより、多くの古いアニメシリーズを蘇らせることができます。 現在、ビリビリには、1080p ブルーレイから 4K に解像度をオーバーした次の動画など、新しい技術を使用して処理された動画がいくつかアップロードされています。 https://b23.tv/gyB517B 多くの映画の修復に続き、古いアニメシリーズをHDリマスターするプロジェクトも進行中です。ビリビリは、ジャンルごとに異なる超解像アルゴリズムを採用し、狭帯域HDアルゴリズムを使用することで、カクツキを軽減し、スムーズな再生を実現すると述べています。 |
