すべての画像に独自のBGMが付属しているのですか？オックスフォード大学出身の人が開発したオープンソースツールを使えば、あらゆる画像をスペクトログラムに変換できます。

この記事は、AI関連ニュースメディアQuantumBit（WeChat ID: QbitAI）の許可を得て転載しています。転載の許可については、元の情報源にお問い合わせください。

写真を見せたら、どんな音がするか想像できますか？

SpectroGraphicと呼ばれる強力なツールがまさにそれを実現します。

たとえば、「シュレック」の写真が与えられた場合、このツールは対応するスペクトログラムを生成できます。

画像埋め込みスペクトログラム

ほとんどの音は多くの音波の複雑な組み合わせであり、それぞれの音波は異なる周波数と強度を持っています。

スペクトログラムは、水平軸に時間、垂直軸に周波数スペクトルをとって音を表す方法です。

△スペクトログラムの例

SpectroGraphicは、画像を取得してそれをスペクトログラムとして解釈するだけです。

このようにして、生成されたサウンドを使用して、画像をスペクトログラムに埋め込むことができます。

すごくクールだと思いませんか？

このプロジェクトは現在オープンソースになっており、誰でも体験できます。

プロジェクトのインストール

まず、次のコードを実行して、コマンドラインツール spectrographic を取得します。

 pipinstallスペクトログラフィック

あるいは、スタンドアロンフォルダー内の spectrographic.py ファイルをコマンドラインツールとして直接使用することもできます。

さらに、requirements.txt ファイルにリストされているすべての依存関係が満たされていることを確認する必要があります。

インストールは次のコマンドを使用して実行できます。

 pipinstallrequirements.txt

pip を使用してインストールした後、コンソールで spectrographic [...] を実行するだけです。

スタンドアロンスクリプトを使用する場合は、python spectrographic.py [...] を使用する必要があります。

あるいは、SpectroGraphic.base から SpectroGraphic クラスをインポートすることもできます。

コマンドラインツールの使用

使用方法:スペクトログラム[-h][--version]-iPATH_TO_IMAGE[-dDURATION][-mMIN_FREQ][-MMAX_FREQ][-rRESOLUTION][-cCONTRAST][-p][-sSAVE_FILE]画像をサウンドに変換します。オプションの引数:-h,--helpshowthishelpme ssageandexit --versionshowprogram'sversionnumberandexit-iPATH_TO_IMAGE,--imagePATH_TO_IMAGEスペクトログラムに埋め込む画像のパス。-dDURATION,--durationDURATION生成されたサウンドの持続時間。-mMIN_ FREQ、--min_freqMIN_FREQ画像の描画に使用する最小周波数。-MMAX_FREQ、--max_freqMAX_FREQ画像の描画に使用する最大周波数。-rRESOLUTION、--resolutionRESOLUTIONスペクトログラム内の画像の垂直解像度。-cCONTRAST、--contrastCONTRASTスペクトログラム内の画像のコントラスト。-p、--play結果のサウンドを直接再生します。-sSAVE_FILE、--saveSAVE_FILE結果のサウンドを保存するwavファイルへのパス。

ソースイメージが ./source.png にあり、周波数範囲が 10kHz ～ 20kHz の 10 秒のオーディオファイルを生成し、sound.wav として保存し、最終的にオーディオを再生する場合は、準備は完了です。

次に、次のコードを実行します。

スペクトログラフィック--image./source.png--min_freq10000--max_freq20000--duration10--savesound.wav--play

スタンドアロンスクリプトを使用している場合:

 pythonspectrographic.py--image./source.png--min_freq10000--max_freq20000--duration10--savesound.wav--play

著者について

△右：レヴィ・ボロデンコ

レヴィ・ボロデンコは現在、オックスフォード大学で数学と統計学の修士号を取得中です。彼女の研究は、確率解析と機械学習に重点を置いています。

彼はオックスフォード大学で学士号を取得しました。2017年から2018年までPROMYSオックスフォードで講師を務め、2018年から2019年までPROMYSボストンで主任講師を務めました。

その他のオープンソースプロジェクトについては、次のリンクをご覧ください。
https://github.com/LeviBorodenko

ポータル

プロジェクトアドレス:
https://github.com/LeviBorodenko/spectrographic

DUICUO