JP4581335B2 - 少なくとも２つのオーディオ・ワークの比較方法、少なくとも２つのオーディオ・ワークの比較方法をコンピュータに実現させるためのプログラム、オーディオ・ワークのビートスペクトルの決定方法、及びオーディオ・ワークのビートスペクトルの決定方法をコンピュータに実現させるためのプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、リズムの相似性によって音楽の表現を比較する方法に関し、より詳細には、種々の方法を用いてオーディオ・ワーク(auditory works)間のリズム及びテンポの相似性を測定することに関する。即ち、少なくとも２つのオーディオ・ワークの比較方法、該少なくとも２つのオーディオ・ワークの比較方法をコンピュータに実現させるためのプログラム、オーディオ・ワークのビートスペクトルの決定方法、及びオーディオ・ワークのビートスペクトルの決定方法をコンピュータに実現させるためのプログラムに関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】
オーディオのリズム分析を行うためのアプローチがいくつか存在する。１つのアプローチは、どのように副周波数帯のエネルギーのピークを検出し、相関させ得るかを詳しく述べている。入ってくる波形は周波数帯に分解され、各帯の振幅包絡線が抽出される。振幅包絡線は、サウンド・ファイルの特定のポイントにおけるサンプルの振幅の時変表現、又は、サウンド・ファイルの特定のポイントにおけるサンプルの音量である。複数の振幅包絡線が微分され、半波整流される。このアプローチは、人間によるビート（拍子）の認識に合わせようとして、全ての周波数帯からの相関ピークを選択し、次に位相を推定する。しかし、通常このアプローチは、ドラムのような強い打楽器要素又は短期間の周期的な広帯域源を有する音楽においてのみ理想的に機能する。
【０００３】
オーディオの相似性分析を行うための他のアプローチは、音楽が４／４拍子であり、ダウンビート（強拍）としてベースやドラムのビートがなければならないなどの制限的な仮定に依存したものである。このようなアプローチは、多くのビートにわたるビートスペクトルのピークの振幅の平均化、帯域外の結果の除去、又はカルマンフィルタリングを含む種々の公知の方法によって１つの主要なテンポを測定する。このようなアプローチは更にテンポ分析に限定されており、リズムの相似性を測定するものではない。
【０００４】
相似性分析を行うための他のアプローチは、リズムループのライブラリを探索するシステムのためにリズムの相似性を計算するものである。このアプローチでは、オーディオの波形の短時間フーリエ変換（ＳＴＦＴ）を重み付けすることによって「低音の音量時系列」が生成される。この時系列のパワースペクトルのピークが基本周期として選択される。二連音符及び三連音符の細区分を表すことができるように、フーリエ変換の結果が正規化され、１ビートの１／６の持続時間に量子化される。これは、テンポが変わらない場合のリズム相似性の比較のための特徴ベクトルとして機能する。このアプローチはドラムのみの曲には作用するが、周波数エネルギーが大幅に低い音楽に対しては一般にあまりロバスト（頑強）ではない。
【０００５】
オーディオの相似性分析を行うための他のアプローチは、「ビートヒストグラム」として示されるリズムの自己相似性の測度を計算するものである。このアプローチでは、多くの結果が利用できるように、複数のウィンドウにわたるウェーブレット状特徴の振幅に対して自動相関が行われる。各自動相関における主要なピークが検出され、ヒストグラムに累積される。ビート／分単位で測定されるヒストグラムのテンポ軸を得るために、各ピークの遅延時間が逆数にされる。得られたビートヒストグラムは、周期性対テンポの測度である。
【０００６】
前述の設計の限界及び欠点は、リズムの自己相似性の測定値を決定するために多数の自動相関におけるピークの選択に大きく依存していることにある。ジャンルの分類では、主要ピークのテンポと、主要ピーク間の振幅量と、を含むビートヒストグラムから特徴が得られる。ビートヒストグラムを生成するためにピークの選択に依存することにより、これらの方法は１つの連続した表現ではなく自己相似性の不連続な測定値のカウントに帰着する。よって、ビートヒストグラムはオーディオの自己相似性の測度としてはあまり正確ではない。
【０００７】
研究者は、簡潔なテンポ分析を行うアプリケーションも開発している。提案されるアプリケーションは「オートマチックＤＪ」として提供され、リズムの相似性による曲の選択及びクロスフェードの双方を行うことができる。首尾のよいクロスフェードは、１つの音楽作品から次の音楽作品への移行がほぼ継目のない場合に生じる。次に続く音楽作品のテンポ及びリズムが現行の音楽作品のテンポ及びリズムと綿密に類似している場合、ほぼ継目のない移行を達成することができる。曲選択のシステムは、テンポの「軌跡」、即ちテンポ対時間の関数に基づいている。テンポの軌跡は、利用可能なワークの数に基づいたタイム・「スロット」に量子化される。スロット及びワークは共にテンポによってランク付けされており、ワークはランキングに応じたスロットに割り当てられる。例えば、ランクの高さが２番目のスロットは２番目に速いテンポの曲を得る。しかしながら、このシステムは、音楽作品のテンポの検出が比較的簡潔であるダンスミュージックのような狭いジャンルの楽曲用に設計されている。このような楽曲の反復的及び打奏的な性質のため、テンポの検出は簡潔になりうる。更に、このタイプの音楽は一般に１つのワーク全体にわたって一定のテンポを含んでおり、このことによってテンポの検出プロセスはより簡潔になる。よって、このシステムは多くのタイプの音楽にわたりロバストではない。
【０００８】
従って、あらゆるジャンルにおけるあらゆるタイプの音楽作品即ちオーディオ・ワークに対して機能し、特定の属性に依存しない、オーディオの相似性分析を行うためのロバストな方法が必要である。このロバストな相似性方法は、全体的なビートスペクトル、又は音響上の自己相似性の他の測定値を音楽作品間で比較するべきである。この方法は、テンポ、音楽作品におけるビートの周波数、リズム、１つの音符と次の音符との関係、及び全ての音符とビートとの関係によって相似性を測定すべきである。更に、ロバストな方法は、テンポが２倍であると誤って判断される「ビートダブリング」の影響や、テンポにおいて生じないエネルギーピーク又は不適当に強いエネルギーピークによる混乱に耐えるべきである。
【０００９】
本願に関連する関連技術としては、米国仮出願第６０／３７６，７６６号（「リズムの相似性による楽曲のリトリーブ及び順序付け方法(Method For Retrieving And Sequencing Music by Rhythmic Similarity)」、２００２年５月１日出願）及び米国特許出願第０９／５６９，２３０号（「音楽及び音声を含むオーディオの自動分析方法(A Method for Automatic Analysis of Audio Including Music and Speech)」、２０００年５月１１日出願）がある。また、他の先行技術文献中に記載の発明においても上述の問題点は解決されていない（例えば、非特許文献１、２参照）。
【００１０】
【非特許文献１】
ジョナサン ティー．フートら(Jonathan T. Foote, et al.)著、「自己相似性を用いた楽曲及びオーディオの可視化(Visualizing Music and Audio Using Self-Similarity)」、エイシーエムマルチメディア９９(Proc. ACM Multimedia 99) 、（米国）
【非特許文献２】
スレイニー(Slaney)著、「オーディオ・ツールボックス(Auditory Toolbox)」、テクニカルリポート(Technical Report)＃１９９８−０１０、インターナルリサーチコーポレーション(Internal Research Corporation)、１９９８年、（米国）
【００１１】
【課題を解決するための手段】
本発明の実施の形態は、オーディオ・ワーク間の相似性の測度を決定するためのロバストな方法及びシステムを提供する。本発明の１つの実施の形態において、２つ以上のオーディオ・ワーク間のリズムの相似性又は相違度を定量的に測定するための方法が提供される。この方法は、距離の尺度を用いることによって複数のオーディオ・ワーク間でリズムの自己相似性の測度を比較する。リズムの相似性は、時間に対する平均自己相似性の測度を用いて計算することができる。
【００１２】
本発明の１つの実施の形態において、距離の尺度に基づいて比較することのできるビートスペクトルがオーディオ・ワーク毎に計算される。距離の尺度は、オーディオ・ワークの入力セットにおける１つのオーディオ・ワークのビートスペクトルと他のオーディオ・ワークのビートスペクトルとの間の距離を計算する。例えば、２つ以上のビートスペクトル間のユークリッド距離を計算することにより、音楽作品即ちオーディオ・ワーク間の相似性の適切な測度が生じる。リズムの相似性に相関した距離測定値を生じる多くの可能な距離関数を使用することができる。その結果、種々のオーディオ・ワーク間のリズム及びテンポによる相似性の測定値が得られる。
【００１３】
この方法は、エネルギーやピッチ（音の高低）のような、オーディオ・ワークの絶対的な音響特性に依存しない。特に、異なる楽器によって演奏される同一のリズムは同一のビートスペクトル及び相似性測度を生じる。例えば、ハープシコードで演奏される簡単な曲は、ピアノ、バイオリン、又はエレクトリックギターで演奏された場合でもほぼ同一の相似性測度を生じる。
【００１４】
ワークのコレクションからの類似したワークのリトリーブ、リズム及びテンポの相似性によるワークのランク付け、並びに相似性による音楽作品の順序付けを含む広範囲のアプリケーションにおいて、本発明の実施の形態の方法を使用することができる。このような方法は、広範囲の音源において使用可能である。
【００１５】
本発明の具体的な態様を以下に述べる。本発明の第１の態様は、オーディオ・ワークを受信するステップと、前記オーディオ・ワークに複数のウィンドウを設定するステップと、設定された前記ウィンドウ毎に、前記オーディオ・ワークの特徴ベクトルを求めるステップと、前記各特徴ベクトルの組み合わせ毎の相似性を示す相似性行列を計算するステップと、前記相似性行列に基づいて、ラグの関数としての自己相似性の測定値をビートスペクトルとして決定するステップと、を含む、オーディオ・ワークのビートスペクトルの決定方法である。
【００１６】
第２の態様は、第１の態様において、前記相似性行列を計算するステップが、前記特徴ベクトルの組み合わせ間のユークリッド距離、前記特徴ベクトルの組み合わせの内積、または前記特徴ベクトルの組み合わせの正規化内積の計算を含む。
【００１７】
第３の態様は、第１または第２の態様において、前記ビートスペクトルが、前記オーディオ・ワークのリズムの経時変化の決定に使用される。
【００１８】
第４の態様は、第１〜第３のいずれかの態様において、前記ビートスペクトルが、前記オーディオ・ワークのテンポの経時変化の態様を示す。
【００１９】
第５の態様は、第１〜第４のいずれかのオーディオ・ワークのビートスペクトルの決定方法により決定された第１のオーディオ・ワークに対応する第１のビートスペクトル、及び第２のオーディオ・ワークに対応する第２のビートスペクトルの相似性の値を測定するステップを含む、少なくとも２つのオーディオ・ワークの比較方法である。
【００２０】
第６の態様は、第５の態様において、前記測定するステップが、前記第１のビートスペクトル及び前記第２のビートスペクトルの各々の所定の短遅延時間部分及び所定の長遅延時間部分を切り捨てて、前記相似性の値を測定する。
【００２１】
第７の態様は、第５または第６の態様において、前記測定するステップが、前記第１のビートスペクトルと前記第２のビートスペクトルとの間のユークリッド距離、内積、または正規化内積の測定を含む。
【００２２】
第８の態様は、第５または第６の態様において、前記測定するステップが、前記第１のビートスペクトル及び前記第２のビートスペクトルのフーリエ変換を計算するサブステップと、前記第１のビートスペクトル及び前記第２のビートスペクトルの前記フーリエ変換間のユークリッド距離、内積、または正規化内積を測定するサブステップと、を含む。
【００２３】
第９の態様は、第５〜第８のいずれかの態様において、前記測定するステップが、リズム、テンポ、またはリズム及びテンポによる相似性の測定を含む。
【００２４】
第１０の態様は、第１〜第４のいずれかの態様のオーディオ・ワークのビートスペクトルの決定方法をコンピュータに実現させるためのプログラムである。
【００２５】
第１１の態様は、第５〜第９のいずれかの態様の少なくとも２つのオーディオ・ワークの比較方法をコンピュータに実現させるためのプログラムである。
【００３７】
本発明の実施の形態のアプリケーションは以下を含む。
１．音楽の自動順序付け
２．類似したテンポで音楽を連結するオートマチック「ＤＪ」
３．音楽のジャンル分類
４．リズム構造は類似しているがテンポの異なる音楽のサーチ
５．相似性の測定尺度に従った音楽のランク付け
６．「これに似た音楽を探索」機能
７．音楽作品の比較律動性の測定
【００３８】
本発明のこれらの機能及び利点並びに他の機能及び利点は、以下の詳細な説明及び関連図面を考慮することによって更に良く理解されるであろう。
【００３９】
本発明の実施の形態の更なる詳細は、添付の図面を用いて説明される。
【００４０】
【発明の実施の形態】
図１は、本発明の実施の形態におけるオーディオ・ワークの分析方法のステップを示すフローチャートである。
【００４１】
Ｉ．オーディオ・ワークの受信
ステップ１００では、比較されるオーディオ・ワークのグループから１つのオーディオ・ワークがシステムによって受信される。音源としては、例えば．ｗａｖファイルなどのアナログ信号、並びにＭＩＤＩ(Musical Instrument Digital Interface)ファイル及びＭＰＥＧ３（ＭＰ３）ファイルなどのデジタル信号が挙げられるが、これらに限定されない。更に、コンパクトディスク、オーディオテープ、マイクロホン、電話、シンセサイザー、又は音声信号を送信するあらゆる他の媒体からの入力として音声信号を受信することができる。しかしながら、本発明の実施の形態をあらゆるタイプのオーディオ・ワークと共に使用できることが理解される。
【００４２】
ＩＩ．オーディオ・ワークのウィンドウ設定(windowing)
ステップ１０２では、受信したオーディオ・ワークにウィンドウ設定を行う。このようなウィンドウ設定は、音の波形の一部分にウィンドウを設定することにより実施可能である。（即ち、音の波形の一部分を複数の小領域（ウィンドウ化された部分）に分割することによりオーディオのサンプリングを行うことができる。）ウィンドウの幅及びオーバーラップは可変であってよい。例えば、ウィンドウの幅を２５６サンプルとし、１２８ポイントオーバーラップさせることができる。１６ｋＨｚでサンプリングされたオーディオの場合、１６ｍＳのウィンドウ幅及び１２５／秒のウィンドウ速度が生じる。しかしながら、他の実施の形態では、当該技術分野において公知である種々の他のウィンドウ設定方法を使用することができる。
【００４３】
ＩＩＩ．パラメータ化
ステップ１０４では、ウィンドウ設定を行ったオーディオ・ワークをパラメータ化する。フーリエ変換のような音声信号部分のベクトル表現を提供する分析関数、もしくはメル周波数ケプストラム係数(ＭＦＣＣ)分析を用いて各ウィンドウをパラメータ化する。使用することのできる他のパラメータ化方法は、線形予測、心理音響的考察、又は場合によっては永久線形予測のようないくつかの技術の組み合わせに基づいたものを含む。
【００４４】
本明細書において後に示される例の場合、２５６ポイントのハミングウィンドウを用いて各ウィンドウを拡大させ、高速フーリエ変換（ＦＦＴ）をパラメータ化のために用いてウィンドウ内のスペクトル成分を推定する。しかしながら、これはほんの一例である。他の実施の形態では、当該技術分野において公知である種々の他のウィンドウ設定技術及びパラメータ化技術を使用することができる。ＦＦＴの結果の大きさの対数が、ウィンドウ内の信号のパワースペクトルの推定値として使用される。高周波数成分は、低周波数成分ほどオーディオ・ワークの相似性の計算に有用ではないため、一般にサンプリング周波数の１／４（Ｆｓ／４）を上回る高周波数成分は除去される。得られた特徴ベクトルは、ウィンドウのスペクトル内容を特徴付けている。
【００４５】
他の実施の形態では、ＭＰＥＧ(Moving Picture Experts Group)Ｌａｙｅｒ３オーディオ規格のような他の圧縮技術をパラメータ化に用いることができる。ＭＰＥＧはオーディオビジュアル情報をデジタル圧縮フォーマットに符号化するために用いられる規格のファミリーである。ＭＰＥＧ Ｌａｙｅｒ３はＦＦＴに類似したスペクトル表現を用いており、オーディオを復号する必要性を回避する距離の測定値として使用することができる。選択されるパラメータ化にかかわらず、得られる所望の結果は各ウィンドウのパラメータのコンパクトな特徴ベクトルである。
【００４６】
選択されるパラメータ化のタイプは、「類似した」ソースが類似したパラメータを生じる限りは重大なことではない。しかしながら、異なるパラメータ化が、異なる用途において多少有用であることがわかる場合がある。例えば、粗いスペクトル形状を保つ一方でピッチのために細かな調波構造を除去するＭＦＣＣ表現は一定の用途に適切であり得ることが、実験によってわかっている。ＭＦＣＣドメインにおける単一のピッチは、調波そのものではなく調波の包絡線によって大まかに表されている。従って、ＭＦＣＣは、単一ピッチの音が存在する場合は単一ピッチの音に適合するが、正確なピッチではなく類似した音色に適合する傾向にある。
【００４７】
スレイニー(Slaney)によって「オーディオ・ツールボックス(Auditory Toolbox)」（Technical Report #1998-010、Internal Research Corporation、カリフォルニア州パロアルト、１９９８年）、（非特許文献２）に記載されているもののような、心理音響的動機に基づいたパラメータ化は、聞き手による相似性の判断を更に良く再現する場合は特に好適になりうる。
【００４９】
ＩＶ．パラメータの行列への埋め込み
オーディオ・ワークをパラメータ化した後、ステップ１０６においてパラメータを２次元の表現に埋め込む。オーディオを埋め込む１つの方法は、その内容が全て本明細書中に援用されている、本発明の発明者であるフート著の「自己相似性を用いた楽曲及びオーディオの可視化(Visualizing Music and Audio Using Self-Similarity)」(Proc. ACM Multimedia 99、フロリダ州オーランド)、（非特許文献１）に記載されている。しかしながら、他の実施の形態では、当該技術分野において公知である種々の他のオーディオ埋め込み方法を使用することができる。
【００５０】
埋め込みステップにおいて重要なものは相似性の測度、即ち２つの特徴ベクトルｖ_i及びｖ_j間の相違度（Ｄ）である。前述のように、特徴ベクトルｖ_i及びｖ_jはそれぞれ、パラメータ化ステップでオーディオ・ウィンドウｉ及びｊに対して決定される。
【００５１】
Ａ．ユークリッド距離
特徴ベクトル間の相似性の１つの測度は、パラメータ空間におけるユークリッド距離、即ち特徴ベクトルパラメータ間の差異の二乗の合計の平方根である。これは下記のように表される。
Ｄ_E（ｉ，ｊ）≡‖ｖ_i−ｖ_j‖
【００５２】
Ｂ．内積
特徴ベクトルの相似性の他の測定法は、特徴ベクトルのスカラー内積である。ユークリッド距離とは対照的で、特徴ベクトルが共に大きく、類似した方向にある場合に特徴ベクトルの内積が大きくなる。内積を下記のように表すことができる。
Ｄ_d（ｉ，ｊ）≡ｖ_i・ｖ_j
【００５３】
Ｃ．正規化内積
大きさ、即ちエネルギーに対する依存を取り除くため、他の相似性測定法では、内積を正規化して、特徴ベクトルパラメータ間の角度のコサインを生じることができる。特徴ベクトル間の角度のコサインは、たとえ特徴ベクトルの大きさが小さくても大きな相似性の評点を生じる、といった性質をもつ。パーセバルの関係のため、各特徴ベクトルのノルムは、特徴ベクトルが割り当てられているウィンドウ内の平均信号エネルギーに比例する。用いられる特徴ベクトル間の角度のコサインを生じる正規化内積を下記のように表すことができる。
Ｄ_C（ｉ，ｊ）≡（ｖ_i・ｖ_j）／‖ｖ_i‖‖ｖ_j‖
【００５４】
Ｄ．スタッキングを用いた正規化内積
コサインの測定を用いることは、類似した方向にある低エネルギーの特徴ベクトル（例えば無音を含むもの）のスペクトルが類似するであろうことを意味し、これは一般に望ましいことである。特徴ベクトルは、譜面上の一般的な音楽事象よりもはるかに速い速度で生じるため、更に大きなウィンドウの範囲「ｓ」（本明細書ではウィンドウの範囲を「スタック」と呼ぶ）にわたって特徴ベクトルの相関を計算することにより、更に望ましい相似性の測度を得ることができる。また、この更に大きな範囲は、特徴ベクトルの時間依存の徴候を得る。ウィンドウが相似性で高い評点を得るには、スタックの特徴ベクトルが類似しているだけでなく、その数列も類似していなければならない。スタックｓにわたる特徴ベクトルｖ_i及びｖ_jの相似性の測定値を下記のように表すことができる。
Ｄ（ｉ，ｊ，ｓ）≡１／ｗΣＤ（ｉ＋ｋ，ｊ＋ｋ）
１次元の例を考えると、スカラー数列（１，２，３，４，５）のコサイン相似性の評点は、数列（５，４，３，２，１）に対するものよりもそれ自体（数列（１，２，３，４，５））に対するものの方がはるかに高い。
【００５５】
内積及びコサインの値は特徴ベクトルの相似性が高くなるにつれて大きくなるが、ユークリッド距離はゼロに近づくことに注意されたい。測定タイプ間で相似性の適切な感度を得るために、ユークリッド距離を逆数にすることができる。統計的な尺度や、本明細書中で先に開示された距離関数(metric)の例に重みを付けたものなど、他の妥当な距離測定法を距離の埋め込みに用いることができる。
【００５６】
前述の距離の尺度は例示的なものにすぎない。他の実施の形態では、当該技術分野に公知である種々の他の尺度を使用することができる。
【００５７】
Ｅ．行列形式への測定値の埋め込み
距離の測定値Ｄは、ソース信号内の２つのフレーム、もしくはインスタンスの関数である。信号内の可能な全てのインスタンス間の相似性を考慮することが望ましい場合がある。これは、図１のステップ１０６において示されるように、距離測定値Ｄを２次元の行列表現Ｓに埋め込むことによって行われる。行列Ｓは、全てのウィンドウ、即ち全ての時係数ｉ及びｊに対して計算される相似性を含み、行列Ｓのｉ，ｊ要素はＤ（ｉ，ｊ）となる。各ウィンドウは自己に対して最大に類似するため、Ｓは一般に対角線上で最大の値を有する。
【００５８】
行列Ｓを矩形画像として可視化することができる。相似性測定値Ｄ（ｉ，ｊ）に比例するグレースケール値が各ピクセルｉ，ｊに与えられ、最大値には最大の輝度が与えられるように各ピクセルｉ，ｊが調節される。これらの可視化により、オーディオファイルの構造を明確に理解することができる。無音や長く伸びた音など、音の相似性が高い領域は対角線上で明るい矩形として現れる。テーマ、楽句、又はコーラスのような反復音形は、対角線から外れた明るい長方形として可視になる。音楽に反復が多い場合、これは斜めのストライプや市松模様として可視になり、これらは反復の時間だけ主対角線からオフセットされる。
【００５９】
Ｖ．自動ビート分析及び「ビートスペクトル」
図１に示されるような埋め込みオーディオパラメータの１つのアプリケーションは、図１のステップ１０８によって示されるようなビート分析である。ビート分析では、音楽におけるビートの周期性及び相対強度の双方を得ることができる。音楽のリズムを識別するための、ラグの関数としての自己相似性の測定値を、本明細書では「ビートスペクトル」Ｂ（ｌ）と称する。反復が非常に多い音楽は、反復時間においてビートスペクトルの高いピークを有する。これによって特定のビートのテンポ及び相対強度の双方が明らかになり、従って同一のテンポにおける異なる種類のリズムを区別することができる。ビートスペクトルのピークは音の周期性に対応する。対角線に沿ったＳを合計することにより、ビートスペクトルの簡潔な推定値を下記のように見出すことができる。
【数１】

Ｂ（０）は単に、ある連続的な範囲Ｒにわたる主対角線に沿った合計であり、Ｂ（１）は第１の副対角線に沿った合計、などである。
【００６０】
ビートスペクトラムを更にロバストに定義したものが、下記のようなＳの自動相関である。
Ｂ（ｋ，１）＝ΣＳ（ｉ，ｊ）Ｓ（ｉ＋ｋ，ｊ＋１）
しかしながら、Ｂ（ｋ，１）は対称であるため、１つの変数に関して合計するだけで１次元の結果Ｂ（１）を生じる。ビートスペクトルＢ（１）は、音楽のジャンル、テンポ及びリズム構造の範囲にわたって良好な結果をもたらす。
【００６１】
ビートスペクトルは絶対的なタイミング情報を除去する。本発明の実施の形態に従って、リズムの経時変化を分析するためにビートスペクトルが導入される。スペクトログラムは連続するウィンドウのフーリエ分析を描写し、スペクトルの経時変化を示す。同様に、ビートスペクトログラムは連続するウィンドウにわたるビートスペクトルを示し、リズムの経時変化を表示する。
【００６２】
ビートスペクトルは、連続するビートスペクトルによって形成される画像である。時間がｘ軸であり、遅延時間がｙ軸である。ビートスペクトログラムの各ピクセルは、時間及び遅延におけるビートスペクトルの目盛値で特徴付けられるため、ビートスペクトルのピークはビートスペクトグラムにおいて明るいバーとして可視になる。ビートスペクトログラムは、テンポが経時変化する態様を示す。
例えば、速くなるリズムは、時間が経つにつれてビート間の遅延時間が減少するため、下向きに傾斜する明るいバーとして可視になる。
【００６３】
ステップ１０８に関して説明したようにビートスペクトルを計算した後、ステップ１１０において、比較するオーディオ・ワークが更にあるか否かを判断する。オーディオ・ワークが更にあると判断した場合、制御はステップ１００に戻り、更なるオーディオ・ワーク毎にこの方法を続ける。しかし、比較すべきオーディオ・ワークがないと判断した場合は、制御はステップ１１２に移る。
【００６４】
各オーディオ・ワークのビートスペクトルの計算として、この方法のステップ１００乃至ステップ１０８を連続して説明したが、ステップ１００乃至ステップ１０８を同時に行い、各オーディオ・ワークのビートスペクトルを同時に計算できることが理解されるであろう。
【００６５】
ＶＩ．リズム及びテンポによるビートスペクトル間の相似性の測定
２つ以上のオーディオ・ワークのビートスペクトルを計算した後、本方法は２つ以上のビートスペクトル間の相似性を測定する（ステップ１１２）。ビートスペクトルは遅延時間ｌの関数である。実際には、ｌは離散的であり、有限である。
【００６６】
実施の形態において、ビートスペクトルは、Ｌ次元のベクトルＢ₁（Ｌ）及びＢ₂（Ｌ）を形成するＬ個の離散値に切り捨てられる。例えば、短遅延スペクトル及長遅延スペクトルは無視される。短遅延スペクトルは遅延時間が短いビートスペクトルの部分であり、長遅延スペクトルは遅延時間が長いビートスペクトルの部分である。高相似性の測度を表すピークが常に存在し、このピークにおいて遅延時間はゼロに等しくなる。これは、ビートスペクトルの計算の際に同一のインスタンスにおけるベクトルパラメータの自己比較を表すためであり、従って相似性の測度の決定に有益ではない。また、短遅延スペクトルはリズムとして考慮するには速すぎるため、有益ではない。
【００６７】
長い遅延時間は、オーディオ・ワークのリズムの反復のために、さほど有益ではない。同一の情報がデータにおいて短い遅延時間で反復される場合があるため、長い遅延時間のデータを無視することが更に効率的である。また、長い遅延時間において、ビートスペクトルの大きさは相関のウィンドウの幅のために少しずつ小さくなっており、これによってデータが有益でなくなる。１つの実施の形態では、最初の１１６ミリ秒の短遅延スペクトルと４．７５秒の長遅延スペクトルが無視される。その結果、Ｌ個の値の長さを有するゼロ平均ベクトルが生じる。１つの実施の形態では、遅延は各抜粋に対して約１１７ミリ秒乃至約４．７４秒にわたる場合がある。しかしながら、他の実施の形態では、遅延は数ミリ秒乃至５秒を上回る値に及ぶ場合がある。短遅延時間及び長遅延時間を無視する範囲が変化することは、当業者には明らかであろう。
【００６８】
ステップ１１２では、距離関数をＬ次元のベクトルに適用した後、ビートスペクトル間のリズムの相似性を計算する。リズムの相似性に直接又は逆に相関した距離測定値を生じる多くの可能な距離関数を使用することができる。例えば、増加するリズム相似性に相関したより小さな距離の値を生じ、減少するリズム相似性に相関したより大きな距離の値を生じる距離関数が適切である。
【００６９】
Ａ．ユークリッド距離
２つ以上のビートスペクトルのベクトル間の相似性の１つの測度は、パラメータ空間におけるユークリッド距離、即ちベクトルパラメータ間の差異の二乗の合計の平方根である。このパラメータを下記のように表すことができる。
Ｄ_E（ｉ，ｊ）≡‖ｖ_i−ｖ_j‖
【００７０】
Ｂ．内積
ビートスペクトルのベクトルの相似性の他の測定法は、２つのビートスペクトルベクトル間のスカラー内積である。ユークリッド距離とは対照的で、ベクトルが共に大きく、類似した方向にある場合にベクトルの内積が大きくなる。同様に、ベクトルが共に小さく、類似した方向にある場合にベクトルの内積が小さくなる。内積を下記のように表すことができる。
Ｄ_d（ｉ，ｊ）≡ｖ_i・ｖ_j
【００７１】
Ｃ．正規化内積
他の相似性測定法では、大きさ、即ちビートスペクトルのエネルギーに対する依存を取り除くことができる。１つの実施の形態では、大きさからの独立を達成するために、内積を正規化して２つのビートスペクトルベクトルパラメータ間の角度のコサインを生じることができる。ベクトル間の角度のコサインは、たとえベクトルの大きさが小さくても大きな相似性測定値を生じる、といった性質をもつ。ビートスペクトルのベクトル間の角度のコサインを生じる正規化内積を下記のように表すことができる。
Ｄ_C（ｉ，ｊ）≡（ｖ_i・ｖ_j）／‖ｖ_i‖‖ｖ_j‖
【００７２】
Ｄ．フーリエビートスペクトル係数
他の相似性測定法では、各ビートスペクトルのベクトルに対してフーリエ変換が計算される。この距離の尺度は、ビートスペクトルのフーリエ係数に基づいたものである。これらの係数は、より少ないパラメータを用いてビートスペクトルのスペクトル形状を表す。１つの実施の形態では、ビートスペクトルをコンパクトに表現することにより、ビートスペクトル間の距離の尺度を決定するための計算を簡素化している。要素をより少なくしたことで、距離の比較が速くなり、各ファイルを表すために記憶しなければならないデータの量が減少される。
【００７３】
高速フーリエ変換（ＦＦＴ）では、大きさの対数を決定し、各係数から平均値を減ずる。１つの実施の形態では、ビートスペクトルにおける高周波数はリズムの観点から有意ではないため、ビートスペクトルにおいて高周波数を表す係数が切り捨てられる。他の実施の形態では、直流成分がゼロ平均データには無意味であるため、ゼロ番目の係数も切り捨てられる。切り捨てに続き、残りのゼロ平均フーリエ係数に対してコサインの距離関数を計算する。コサイン距離関数から得た結果が最終的な距離関数である。
【００７４】
実験によると、ＦＦＴの尺度は、図６の入力データからの更に少数の係数を用いて、コサイン距離関数と同じように作用する。係数の数は１２０から２５に減少された。係数の数が２０．８３％に減少したことにより、３０の関連ドキュメントのうち２９を生じ、９６．７％の精度を生じた。この性能は、一桁少ない数のパラメータを用いて達成された。設定される入力データのセットは小さいが、本明細書に示される方法は任意の数及びサイズのオーディオ・ワークに同様に適用可能である。当業者は、周知のデータベース編成技術を用いてサーチ時間を短くすることができる。例えば、サーチコストがファイルの数の対数分しか増加しないようにファイルを階層的にクラスタ化することができる。
【００７５】
図２は、図６の抜粋１５から４秒の範囲に対して計算されたビートスペクトルＢ（ｌ）の例を示している。前述のように、ビートスペクトル間の距離の計算を簡素にするために短遅延時間及び長遅延時間を無視することができる。
【００７６】
図３は、１１０ｂｐｍ（ビート／分）乃至１３０ｂｐｍにわたる、２ｂｐｍ間隔での１１のテンポ変化のビートスペクトル間のユークリッド距離の結果を示している。この図は、ビートスペクトル間のユークリッド距離を用いて音楽作品をテンポにより区別できることを示している。特徴付けられたバーは、一対のビートスペクトル間のペアワイズ二乗(pair-wise squared)ユークリッド距離を表している。セット内の各抜粋は、同一の音楽の抜粋のテンポが異なったバージョンである。テンポの異なる同一の抜粋を得るために、ピッチを変えずに音楽の波形の持続時間を変えた。オリジナルの抜粋は１２０ｂｐｍで演奏された。テンポの異なる１０のバリエーションをオリジナルの抜粋から生成した。各抜粋のビートスペクトルを計算し、各対のビートスペクトルのペアワイズ二乗ユークリッド距離を計算した。各々の垂直のバーは、セット内の１つのソースファイルと全ての他のファイルとの間のユークリッド距離を示している。ソースファイルは、各々の垂直のバーがゼロのユークリッド距離を有する箇所で表される。位置３００は、０．５秒の時間において強いビートスペクトルのピークを示している。このビートスペクトルのピークは、１２０ｂｐｍのテンポ、即ち０．５秒の周期から予測されるピークに対応する。
【００７７】
図３において理解できるように、ユークリッド距離はテンポの値の増加に伴って比較的単調に増加する。例えば、１３０ｂｐｍのテンポにおけるビートスペクトルのピーク３０２は、１２２ｂｐｍのテンポにおけるビートスペクトルのピーク３０４が生じる時間よりもわずかに早く生じる。また、１２２ｂｐｍのテンポにおけるビートスペクトルのピーク３０４は、１１０ｂｐｍのテンポにおけるビートスペクトルのピーク３０６が生じる時間よりもわずかに早く生じる。スペクトルのピークのわずかなオフセットは、テンポの増加に伴うユークリッド距離の単調な増加を示している。よって、ユークリッド距離を用いて音楽をテンポによって順序付けることができる。
【００７８】
図４は、ビートスペクトル間のユークリッド距離４１０対テンポ４２０の一連の測定値を示している。この図において、１１０ｂｐｍ乃至１３０ｂｐｍにわたるテンポを有する１１のクエリーが表されている。各曲線は、データのセット内の全ての抜粋と比較した、１つの抜粋、即ちクエリーのユークリッド距離を表している。例えば、Ｎ個の抜粋を有するデータのセットにおいて、そのＮ個の抜粋のうちの１つがクエリーとして選択される。クエリーは、ユークリッド距離関数を用いてデータのセット内の全てのＮ個の抜粋と比較される。ユークリッド距離は、クエリーを含む抜粋の自己比較が行われた箇所ではゼロである。従って、ソースファイルは、ユークリッド距離がゼロである箇所（４１２）において表される。また、グラフにおいてユークリッド距離がゼロである点はクエリーのテンポ（ｂｐｍ）を示している。
【００７９】
図５は、図６からのリトリーブデータセットのビートスペクトルを示している。
【００８０】
図６は、サウンドトラックから抜粋したデータを要約したものである。４つの歌曲の複数の１０秒サンプルを抽出した。各歌曲は、３つの１０秒の抜粋によって表される。音楽的な目的で関連性を判断することは一般に複雑で主観的なタスクであるが、この場合、各サンプルは、同一歌曲の他のサンプルと関連しており、他の歌曲のサンプルとは関連していないものと仮定する。本実施の形態において、ポップ／ロックの歌曲は、歌詞(verse)とコーラスのリズムが著しく異なるため、この仮定に対して例外とみなされる。従って、ポップ／ロックの歌曲の歌詞及びコーラスは互いに関連していないものと仮定する。よって、「Never Loved You Anyway」というポップ／ロックの歌曲のコーラス及び歌詞は、それぞれが３つの１０秒の抜粋によって表される。
【００８１】
図６は、全部で５つの関連セットから３つの１０秒サンプルを要約しており、１５の抜粋を生じる。関連セットは３つの歌曲と２つの歌曲部分からなる。各関連セットを含む抜粋は、リズム及びテンポが互いに類似している。関連セットは、各セット内の抜粋間のビートスペクトルの相似性測度が高いことを表している。
【００８２】
図５では、ｙ軸５５０に示される各１０秒抜粋からのインデックス番号が、ｘ軸５６０に示される時間（秒）に対してプロットされている。グラフの各列は、異なる抜粋毎のビートスペクトルを表している。「Musica Si Theme」という歌曲は、図６では抜粋１３、１４及び１５として表されている。抜粋１３、１４及び１５のビートスペクトルは類似している。図５の行５００₁₃、５００₁₄及び５００₁₅はそれぞれ、図６の抜粋１３、１４及び１５の各ビートスペクトルに対し、約０．２５秒という同じ時間のインスタンスにおいて明るいバーを示している。同様に、位置５０２₁₃、５０２₁₄及び５０２₁₅に示される各ビートスペクトルに対し、約０．５０秒という同じ時間のインスタンスにおいて明るいバーの他のセットが存在する。更に、位置５０５₁₃、５０５₁₄及び５０５₁₅も同じ時間のインスタンスにおいて明るいバーを示している。行５００₁₃によって示されるような、抜粋１３のビートスペクトル内の高い自己相似性を示す明るいバーの反復は、行５００₁₅によって示されるような抜粋１５のビートスペクトル内の明るいバーの反復によってほぼ再現されている。また、行５００₁₄によって示される抜粋１４のビートスペクトルは、行５００₁₃及び５００₁₅によってそれぞれ示される抜粋曲１３及び１５のビートスペクトルに似ている。従って、抜粋１３、１４及び１５は同一の関連セットを含む。
【００８３】
図６を再び参照すると、「Never Loved You Anyway」という歌曲は、関連セットＢ及びＣといった２つの関連セットによって表されている。図６では、抜粋６、７及び９が関連セットＣを含んでいる。位置５０６₆、５０６₇及び５０６₉は、抜粋６、７及び９のビートスペクトル内の同じ時間のインスタンスにおいて明るいバーの反復を示している。しかし、位置５０８によって示される抜粋８からの明るいバーは、位置５０６₆、５０６₇及び５０６₉からの明るいバーと揃っていない。むしろ、５０８は位置５１０によって示される抜粋５と近密に揃っている。また、抜粋５からの位置５１２及び抜粋８からの位置５１４は近密に揃っている。更に、抜粋５からの位置５１６及び抜粋曲８からの位置５１８も近密に揃っている。従って、抜粋５及び抜粋８は、図６に示されるように同一の関連セット、即ち関連セットＢに分類される。
【００８４】
ＶＩＩ．アプリケーション
Ａ．類似したリズム及び／又はテンポで音楽を連結するためのオートマチック「ＤＪ」
リズムの相似性の測度を考慮すると、これに関連する問題は、隣接する音楽ファイル間の相似性を最大にするように多数の音楽ファイルを順序付けることである。このような順序付けによって音楽ファイル間のセグエが更にスムーズになり、これにはいくつかのアプリケーションがある。ユーザがＣＤ又は持続時間の制限された記録媒体に記録するために多数のファイルを選択した場合、これらのファイルをリズムの相似性によって並べることができる。
【００８５】
種々の音源間でリズム及びテンポの相似性の測度を用いるアプリケーションは、連続する各歌曲間の移行がスムーズになるように、歌曲を類似したテンポによって並べることができる。連続する歌曲間のビートスペクトルの差異を最小にすることにより、適切に順序付けられた音楽のセットを得ることができる。これにより、歌曲の移行が耳障りにならないことが保証される。
【００８６】
例えば、とりわけテンポが遅かったりメランコリックな歌曲の後にテンポが速かったりエネルギッシュな歌曲が続くと、かなり耳障りになり得る。このアプリケーションでは、ワークの始めに近いビートスペクトル及びワークの終わりに近いビートスペクトルといった２つのビートスペクトルをワーク毎に計算する。第１のワークの終わりのセグメントと第２のワークの始めのセグメントとの間のビートスペクトルの距離から、ワーク間の特定の移行が適切であるという見込みを計算する。
【００８７】
Ｎ個のワークがあると仮定して、ｉ，ｊ番目の入力がワークｉの終わりとワークｊの始めとの間のビートスペクトルの距離である距離行列を構築することができる。一般にワークｉとワークｊとの間の距離は、ワークｊとワークｉとの間の距離と同一ではないため、この距離行列は対称ではないことに注意されたい。よって、距離行列は一般に非対称である。この場合のタスクは、歌曲間の距離の合計が最小値になるように、選択された歌曲を順序付けることである。行列形式では、超対角線の合計を最小にする距離行列の順列を見出すことが望まれる。
【００８８】
ほぼ最適なシーケンスを見出すために、グリーディ(greedy)アルゴリズムを適用することができる。グリーディアルゴリズムは、局所最適値を選択することによりアルゴリズムにおいて１つの手順を行い、手順を行うことができなくなるまで局所最適値を選択するアルゴリズムである。グリーディアルゴリズムの一例はクラスカルのアルゴリズムであり、これは最小全域ツリーにおいて最小の重みをもつエッジを選択する。本発明の方法の変形例は、特定のワークによるシーケンスの開始又は終了の要求などの制約を含む。特定のアプリケーションは、その演奏リストを決定するために任意の数のアルゴリズムに従うことができる。歌曲間のセグエがスムーズになるような歌曲間の移行プロセスは、熟練したＤＪやＭｕｚａｋ（商品名）などの「環境」音楽のベンダーによって手動で行われる。
【００８９】
Ｂ．テンプレートによる自動順序付け
この技術の変形例は、特定のリズム及びシーケンスをもつワークの「テンプレート」の生成である。テンプレートが生成されると、アルゴリズムは、シーケンスの完全な反復が生じないように場合によってはランダム要素を用いて、更に大きな音楽コレクションをテンプレートとの相似性に応じて自動的に順序付けることができる。例えば、テンプレートは始めにテンポの速い歌曲、そして半ばに適度なテンポの歌曲を指定し、時間の経過に伴って歌曲コレクション内の更にテンポの遅い歌曲へと徐々に移行させることができる。
【００９０】
Ｃ．音楽のジャンル分類
他のアプリケーションでは、ソースオーディオを音楽のジャンルに分類することができる。音楽作品のビートスペクトルを、対応するフーリエ係数によって表すことができる。フーリエ係数はベクトル空間を含む。従って、多くの共通の分類技術及び機械学習技術を使用して、音楽作品をその対応ベクトル表現に基づいて分類することができる。例えば、統計分類器を構築し、未知の音楽作品を所与の種類又はジャンルのセットに分類することができる。音楽のジャンルは、ブルース、クラシック、ダンス、ジャズ、ポップ、ロック、及びラップを含むことができる。統計分類法の例としては、線形識別関数、マハラノビスの距離、ガウスの混合モデル、及びＫ−最近傍法などのノンパラメトリック法などが挙げられる。また、種々の管理された分類法や未管理の分類法を用いることができる。例えば、未管理のクラスタリングは、オーディオ・ワークの異なるジャンルや他の分類特性を自動的に決定することができる。
【００９１】
Ｄ．リズム構造は類似しているがテンポの異なる音楽のサーチ
本発明の他のアプリケーションでは、リズム構造は類似しているがテンポの異なる音楽のサーチを行うことができる。このようなサーチを行う際は、遅延時間を調節することによってビートスペクトルを正規化する。１つの実施の形態では、最大のピークが一致するように全てのビートスペクトルの遅延軸を調節することによって正規化を達成することができる。このようにして、距離の測定の尺度により、テンポにかかわらずリズムの類似した音楽が見出される。許容可能な距離の尺度は、ユークリッド距離、内積、正規化内積、及びフーリエ変換を含む。しかしながら、リズムの相似性に直接相関するか又は逆相関した距離測定値を生じるあらゆる距離の尺度を、調節されたスペクトルに対して使用することができる。
【００９２】
Ｅ．相似性の測度に従った音楽のランク付け
他のアプリケーションでは、ユーザのコレクション内の音楽が「ビートスペクトル」の測定規準を用いて分析される。この測定規準は、録音された音楽のリズム及びテンポを自動的に特徴付ける方法を提供する。ユーザのコレクション内の各音楽ファイルのビートスペクトルを計算する。相似性の測度が設けられると、１つ以上の選択されたクエリーファイルとの相似性、又はビートスペクトルを測定することのできるあらゆる他の音楽ソースとの相似性によってファイルをランク付けすることができる。これにより、ユーザはリズムの相似性によって音楽のコレクションをサーチすることができる。
【００９３】
Ｆ．「これに似た音楽を探索」機能
他の実施の形態において、インターネット又は他のロケーションにおける音楽業者は「これに似た音楽を探索」サービスを実施することができる。ユーザは音楽作品を選択し、選択された音楽作品を「これに似た音楽を探索」操作におけるクエリーファイルとして提出する。システムはクエリーファイルのビートスペクトルを計算し、クエリーファイルと音楽ベンダーのコレクション内の種々の歌曲との間の相似性の測度を計算する。システムは、相似性の測度に応じて音楽をユーザに返す。１つの実施の形態では、返された音楽の相似性測度は許容範囲内に入る。例えば、コレクション内の音楽のうちクエリーファイルのリズム及びテンポに最も近い上位１０％の音楽を返すために、システムは各音楽作品の相似性測度をランク付けする。ランク付けの完了後、システムは相似性測度の最も高い音楽のうち上位１０％の音楽を返す。
【００９４】
Ｇ．音楽作品の比較律動性の測定
ビートスペクトルの他のアプリケーションは、音楽作品の「律動性」、即ちどのくらいのリズムを音楽が含むか、を測定することである。例えば、同一のポピュラーソングを、１つ目は歌とアコースティックギターのみのもの、２つ目はベースとドラムを含むフルリズムセクションのついたもの、といった２つのバージョンで録音することができる。たとえテンポ及びメロディーは同一であっても、殆どの聞き手は、１つ目の「アコースティック」バージョンは２つ目のドラム付きバージョンよりも律動性が低く、拍子を取るのが難しいと報告するであろう。中間遅延領域における軌跡を調べることにより、この差異の測度をビートスペクトルから抽出することができる。非常に律動的なワークは大きな軌跡及び周期性を有し、さほど律動的でないワークは応じてより小さいピーク間の測定値を有する。従って、律動性の簡潔な尺度はビートスペクトルの最大の正規化ピーク−トラフ(trough)軌跡である。更にロバストな測定は、ビートスペクトルのフーリエ変換の中間周波帯のエネルギーを調べることである。中間周波帯は一般に０．２Ｈｚ（５秒ごとに１拍）乃至５Ｈｚ（１秒当り５拍）に及ぶ。適切なフーリエビートスペクトル係数の対数の大きさを合計することにより、この定量的な測度が生じる。
【００９５】
本明細書において説明した特定の実施の形態は本発明の原理の例示にすぎず、本発明の請求の範囲及び趣意から逸脱せずに種々の変更例を当業者によって実施できることを理解すべきである。
【図面の簡単な説明】
【図１】本発明の実施の形態に従った分析方法のステップを示すフローチャートである。
【図２】４秒の範囲で計算されたビートスペクトルＢ（ｌ）の例を示す図である。
【図３】ビートスペクトル間のユークリッド距離の結果を示す図である。
【図４】ユークリッド距離対テンポの一連の測定値を示す図である。
【図５】図６からの検索データのセットのビートスペクトルを示す図である。
【図６】サウンドトラックから抜粋されたデータを要約する情報を含む図である。

Claims (18)

1. オーディオ・ワークを受信するステップと、
   前記オーディオ・ワークに複数のウィンドウを設定するステップと、
   設定された前記ウィンドウ毎に、前記オーディオ・ワークの特徴ベクトルを求めるステップと、
   前記各特徴ベクトルの組み合わせ毎の相似性を示す相似性行列を計算するステップと、
   前記相似性行列に基づいて、ラグの関数としての自己相似性の測定値をビートスペクトルとして決定するステップと、
   を含む、オーディオ・ワークのビートスペクトルの決定方法。
2. 前記相似性行列を計算するステップが、前記特徴ベクトルの組み合わせ間のユークリッド距離、前記特徴ベクトルの組み合わせの内積、または前記特徴ベクトルの組み合わせの正規化内積の計算を含む、請求項１に記載のオーディオ・ワークのビートスペクトルの決定方法。
3. 前記ビートスペクトルが、前記オーディオ・ワークのリズムの経時変化の決定に使用される、請求項１または請求項２に記載のオーディオ・ワークのビートスペクトルの決定方法。
4. 前記ビートスペクトルが、前記オーディオ・ワークのテンポの経時変化の態様を示す、請求項１〜請求項３のいずれか１項に記載のオーディオ・ワークのビートスペクトルの決定方法。
5. 請求項１〜請求項４のいずれか１項記載のオーディオ・ワークのビートスペクトルの決定方法により決定された第１のオーディオ・ワークに対応する第１のビートスペクトル、及び第２のオーディオ・ワークに対応する第２のビートスペクトルの相似性の値を測定するステップを含む、少なくとも２つのオーディオ・ワークの比較方法。
6. 前記相似性の値を測定するステップが、前記第１のビートスペクトル及び前記第２のビートスペクトルの各々の所定の短遅延時間部分及び所定の長遅延時間部分を切り捨てて、前記相似性の値を測定する請求項５に記載の少なくとも２つのオーディオ・ワークの比較方法。
7. 前記相似性の値を測定するステップが、前記第１のビートスペクトルと前記第２のビートスペクトルとの間のユークリッド距離、内積、または正規化内積の測定を含む、請求項５または請求項６に記載の少なくとも２つのオーディオ・ワークの比較方法。
8. 前記相似性の値を測定するステップが、
   前記第１のビートスペクトル及び前記第２のビートスペクトルのフーリエ変換を計算するサブステップと、
   前記第１のビートスペクトル及び前記第２のビートスペクトルの前記フーリエ変換間のユークリッド距離、内積、または正規化内積を測定するサブステップと、を含む、
   請求項５または請求項６に記載の少なくとも２つのオーディオ・ワークの比較方法。
9. 前記相似性の値を測定するステップが、リズム、テンポ、またはリズム及びテンポによる相似性の測定を含む、請求項５〜請求項８のいずれか１項に記載の少なくとも２つのオーディオ・ワークの比較方法。
10. オーディオ・ワークを受信するステップと、
    前記オーディオ・ワークに複数のウィンドウを設定するステップと、
    設定された前記ウィンドウ毎に、前記オーディオ・ワークの特徴ベクトルを求めるステップと、
    前記各特徴ベクトルの組み合わせ毎の相似性を示す相似性行列を計算するステップと、
    前記相似性行列に基づいて、ラグ関数としての自己相似性の測定値をビートスペクトルとして決定するステップと、
    をコンピュータにより実行させ、オーディオ・ワークのビートスペクトルの決定方法をコンピュータに実現させるためのプログラム。
11. 前記相似性行列を計算するステップが、前記特徴ベクトルの組み合わせ間のユークリッド距離、前記特徴ベクトルの組み合わせの内積、または前記特徴ベクトルの組み合わせの正規化内積の計算を含む、請求項１０に記載のオーディオ・ワークのビートスペクトルの決定方法をコンピュータに実現させるためのプログラム。
12. 前記ビートスペクトルが、前記オーディオ・ワークのリズムの経時変化の決定に使用される、請求項１０または請求項１１に記載のオーディオ・ワークのビートスペクトルの決定方法をコンピュータに実現させるためのプログラム。
13. 前記ビートスペクトルが、前記オーディオ・ワークのテンポの経時変化の態様を示す、請求項１０〜請求項１２のいずれか１項に記載のオーディオ・ワークのビートスペクトルの決定方法をコンピュータに実現させるためのプログラム。
14. 請求項１０〜請求項１３のいずれか１項記載のオーディオ・ワークのビートスペクトルの決定方法をコンピュータに実現させるためのプログラムを実行することにより決定された第１のオーディオ・ワークに対応する第１のビートスペクトル、及び第２のオーディオ・ワークに対応する第２のビートスペクトルの相似性の値を測定するステップをコンピュータにより実行させ、少なくとも２つのオーディオ・ワークの比較方法をコンピュータに実現させるためのプログラム。
15. 前記相似性の値を測定するステップが、前記第１のビートスペクトル及び前記第２のビートスペクトルの各々の所定の短遅延時間部分及び所定の長遅延時間部分を切り捨てて、前記相似性の値を測定する請求項１４に記載の少なくとも２つのオーディオ・ワークの比較方法をコンピュータに実現させるためのプログラム。
16. 前記相似性の値を測定するステップが、前記第１のビートスペクトルと前記第２のビートスペクトルとの間のユークリッド距離、内積、または正規化内積の測定を含む、請求項１４または請求項１５に記載の少なくとも２つのオーディオ・ワークの比較方法をコンピュータに実現させるためのプログラム。
17. 前記相似性の値を測定するステップが、
    前記第１のビートスペクトル及び前記第２のビートスペクトルのフーリエ変換を計算するサブステップと、
    前記第１のビートスペクトル及び前記第２のビートスペクトルの前記フーリエ変換間のユークリッド距離、内積、または正規化内積を測定するサブステップと、を含む、
    請求項５または請求項６に記載の少なくとも２つのオーディオ・ワークの比較方法をコンピュータに実現させるためのプログラム。
18. 前記相似性の値を測定するステップが、リズム、テンポ、またはリズム及びテンポによる相似性の測定を含む、請求項５〜請求項８のいずれか１項に記載の少なくとも２つのオーディオ・ワークの比較方法をコンピュータに実現させるためのプログラム。

Images