DUICUO

オープンソースのオーディオエディタ Audacity 用の AI ツールが登場しました。

Audacity には新しい AI ツールが搭載されるようになりました。

ここ数年、AIは目覚ましい進歩を遂げており、様々な人気ツールにAIを活用した機能が追加されています。さらに、2024年のLinuxおよびオープンソース予測では、AIのさらなる活用について既に言及しています。

この度、Linux向け最高峰のオーディオ編集サービスの一つであるAudacityがAIを採用しました。ユーザーはAIの力を活用して、オーディオ編集体験をさらに向上させることができます。

これらの魅力的な機能が何であるかを見てみましょう。

インテルが AI ツールを構築🛠️

Intel は、音声オーディオと音楽を処理するための新しい AI 搭載機能を導入しました。

これらの機能はOpenVinoプラグインスイートの一部です。ご存じない方のために説明すると、IntelのOpenVinoはディープラーニングモデルの高速化を支援するAIフレームワークです。

注目すべき重要な点は、これらの機能はすべてローカルPC上で実行されることです。具体的には、PCのCPUまたはGPUが処理に使用されます。

ポッドキャスト編集者

音声をすぐに書き起こしたり翻訳したりしたいと思ったことはありませんか?

OpenAI の Whisper を活用した文字起こし機能により、ユーザーはこれを実現できます。

転写 | 出典: GitHub Intel

転写 | 出典: GitHub Intel

  • 指定されたオーディオ サンプルに基づいて、転記/翻訳されたテキストを含む新しいタグ付きオーディオ トラックを生成できます。
  • 翻訳では常に英語で出力が生成されますが、文字起こしではソースオーディオと同じ言語で出力が生成されます。
  • 現在、デフォルトでサポートされるのは Whisper Base のみです。

既存の「ノイズ除去」効果と同様に、 「ノイズ抑制」は、音声サンプルから不要なバックグラウンドノイズを除去するのに役立ちます。

  • AI を搭載しているため、この機能はノイズ除去よりも優れたパフォーマンスを発揮することが期待できます。
  • 現在、デフォルトでサポートされるのは、densunet のみです。

音楽生成

はい、その通りです。マシン内で新しい音楽を生成できるようになりました。

音楽生成により、ユーザーはミュージッククリップを作成できます。これは、画像生成のための人気のあるオープンソースモデルであるStable Diffusionをベースにした音楽生成モデルであるRiffusionというオープンソースプロジェクトのおかげです。

音楽生成 | 出典: GitHub Intel リポジトリ

音楽生成 | 出典: GitHub Intel リポジトリ

  • テキストプロンプトを提供し、継続時間などの他のパラメータを調整することで音楽を生成します。
  • テキストプロンプトで、生成したい音楽のジャンルを指定すると、AI は音楽を生成するときにそのジャンルを維持するように最善を尽くします。
  • デフォルトのシンプル モードとオプションの詳細モードを切り替えて、開始プロンプトと終了プロンプトの指定など、より詳細な制御を行うことができます。

さらに、トラックの一部を選択し、音楽スタイルミキシングを使用してミックスすることで、音楽をミックスすることもできます。

音楽の分離

お気に入りの曲に合わせて、自分だけのインストゥルメンタルトラックを作りたいと思ったらどうでしょう?友達と楽しいカラオケセッションを楽しむのもいいかもしれませんね。

音楽分離機能を使用すると、曲をボーカルバージョンまたはインストゥルメンタルバージョンに分割できます。2つの分離モードが用意されています。

音楽分離。出典: github.com/intel/openvino-plugins-ai-audacity

音楽分離。出典: github.com/intel/openvino-plugins-ai-audacity

  • 2-Stem はボーカルと楽器用の 2 つの新しいトラックを作成します。
  • 4-Stem は、ボーカル、ドラム、ベース、その他の楽器用の最後のトラックを含む 4 つの新しいオーディオ トラックを生成できます。

AIツールの使い方📥

Linux ユーザーの場合は、少々お待ちください。

プラグインの Windows バージョンはダウンロード可能ですが、Linux バージョンはまだダウンロードできません。

それでも試してみたい場合は、プロジェクトを自分でコンパイルする必要があります。詳細は公式ドキュメントをご覧ください。

Linux ビルドもすぐに利用可能になることを期待しています! 🤞

💬 Audacity の新しい AI 機能についてどう思いますか?コメント欄でご意見をお聞かせください!