JP7516802B2 - テンポ検出装置、方法、及びプログラム - Google Patents

Description

本発明は、楽曲の波形データからテンポを検出する技術に関する。

楽曲の波形データから楽曲のテンポを検出する場合に、楽曲の波形データに係る入力データに対する自己相関演算により算出された周期性に基づいて、楽曲のテンポを判定する技術が知られている（例えば、特許文献１）。

特開２００２－１１６７５４号公報

しかしながら、上記の従来技術においては、楽曲に特有の強度変化を含む場合などでは正確にテンポを検出するのが難しかった。

そこで、本発明は、テンポをより正確に検出することを目的とする。

態様の一例では、楽曲の波形データから波形強度の分布を示す楽曲波形強度データを取得し、楽曲波形強度データに基づく前記楽曲の所定の小節分の時間長でのビート波形データを取得し、各テンポ値での前記ビート波形データの基本自己相関値を算出し、楽曲に対応する拍子を指定し、基本自己相関値を指定された拍子に基づいて決められる倍率で変更した計算用自己相関値を算出し、基本自己相関値に対して計算用自己相関値を重み付け加算した検出用自己相関値が最大となるテンポ値を楽曲のテンポ値として検出する、制御部を備える。

本発明によれば、テンポをより正確に検出することが可能となる。

テンポ検出方法の処理ブロック図である。 ビート波形データ、自己相関値、及び重み付け加算した自己相関値の例を示すグラフ図である。 タイミング同期方法の処理ブロック図である。 ３拍子の楽曲例におけるタイミングレベルの例を示すグラフ図である。 ４拍子の楽曲例におけるタイミングレベルの例を示すグラフ図である。 テンポ検出及びタイミング同期の処理を実行するコンピュータのハードウェア構成例を示すブロック図である。 テンポ検出／タイミング同期処理の例を示すメインフローチャートである。 テンポ検出処理の詳細例を示すフローチャートである。 テンポ決定処理の詳細例を示すフローチャートである。 タイミング同期処理及び拍子検出処理の詳細例を示すフローチャートである。 同期オフセット時間検出処理の詳細例を示すフローチャートである。

以下、本発明を実施するためのテンポ検出方法およびタイミング同期方法の実施形態について図面を参照しながら詳細に説明する。図１は、本実施形態におけるテンポ検出方法の処理ブロック図である。テンポ検出方法は、
ステップＳ１０１：音声入力処理
ステップＳ１０２：エンベロープ検出処理
ステップＳ１０３：ビート波形検出処理
ステップＳ１０４：ビート強度検出処理
ステップＳ１０５：自己相関検出処理
ステップＳ１０６：テンポ決定処理
から構成される。

まず、ステップＳ１０１の音声入力処理は、マイク入力装置等から入力した音声を、一定のサンプリング周期（例えば、４４．１ＫＨｚ（キロヘルツ））でＡ／Ｄ（アナログ／デジタル）変換し、楽曲波形データを取得する。

次に、ステップＳ１０２のエンベロープ検出処理は、ステップＳ１０１の音声入力処理が取得した楽曲波形データを、一定のサンプル数（例えば、１２８サンプル）毎にブロック分割し、各ブロック毎に楽曲波形データの絶対値の平均である楽曲波形強度を算出する。更に、エンベロープ検出処理は、算出した楽曲波形強度に、弱い（カットオフ周波数の高い）ローパスフィルタ処理を実行することで、そのローパスフィルタ処理の演算結果として、エンベロープ波形を取得する。

次に、ステップＳ１０３のビート波形検出処理は、ステップＳ１０２のエンベロープ検出処理が算出した楽曲波形強度に対して、強い（カットオフ周波数の低い）ローパスフィルタ処理を実行し、サンプリング時刻が一致するサンプル同士で、エンベロープ波形から上記強いローパスフィルタ処理の演算結果を減算することで、その減算結果としてビート波形を取得する。

図２（ａ）は、ビート波形の例を示すグラフ図である。棒グラフ２０１の部分がエンベロープ波形である。折れ線グラフ２０２の部分が楽曲波形強度に強いローパスフィルタ処理を実行した結果を示しており、折れ線グラフ２０３がエンベロープ波形２０１から上記強いローパスフィルタ処理の結果２０２を対応するサンプル同士で減算して得られたビート波形（２倍拡大）である。ビート波形はエンベロープ波形からテンポと相関の低い定常波部が取り除かれた結果となっていることが理解される。

ステップＳ１０４のビート強度検出処理は、ステップＳ１０３で算出されたビート波形の絶対値にローパスフィルタ処理を実行し、その処理結果としてビート強度を算出する。

ここで、楽曲のテンポを、１分間あたりの拍数の単位：ｂｐｍ（ｂｅａｔｓ ｐｅｒ ｍｉｎｕｔｅ）で表し、「テンポは６０ｂｐｍである。」というような言い方をする。これは、１分間に６０拍がカウントされる楽曲のテンポ（速さ）を示す。そして、図１において、ステップＳ１０５の自己相関検出処理は、テンポのｂｐｍ値から算出される楽曲の１小節分の時間長でのビート波形の自己相関値（基本自己相関値）を算出する。例えば、楽曲を４拍子とし、テンポ値をＢＰＭとすると、１小節分の時間長ＴＬ（秒）は、
ＴＬ＝６０×４／ＢＰＭ
となる。そして、楽曲の波形強度を算出する際の１ブロックのサンプル数をＳＰＢとし、サンプリング周期（サンプル数／秒）をＳＰＲとすると、ビート波形での１小節分のブロック数ＢＬは、
ＢＬ＝ＳＰＲ×ＴＬ／ＳＰＢ
として算出される。そして、ステップＳ１０５では、ビート波形のＢＬ間隔での自己相関値が算出される。

図２（ｂ）は、ステップＳ１０５で算出される自己相関値の例を示すグラフ図で、テンポ値１３０ｂｐｍのダンスミュージック曲の解析結果例である。横軸はｂｐｍ値で、検出範囲を６０ｂｐｍから１８０ｂｐｍとしている。楽曲本来のテンポ値１３０ｂｐｍ（４拍時間長）の位置２０４の他に、１０４ｂｐｍ（５拍時間長）や１７３ｂｐｍ（３拍時間長）等の位置にも強い相関が現れており、１７３ｂｐｍの位置２０５がこのグラフ図における自己相関値の最大値となってしまい、このままでは正確にテンポ検出することはできない。

そこで、図１のステップＳ１０６のテンポ決定処理では、ステップＳ１０５の自己相関検出処理にて算出された各ｂｐｍ位置の自己相関値に４／５倍ｂｐｍ及び４／３倍ｂｐｍの自己相関値（計算用自己相関値）を重み付け加算し、この重み付け加算の結果得られる自己相関値（検出用自己相関値）が最大となるｂｐｍ値がテンポとして決定される。

いま、あるｂｐｍ位置での自己相関値をＡＣＲ［ｂｐｍ］とすると、重み付け加算された自己相関値ＷＡＣＲ［ｂｐｍ］は、
計算例１：ＷＡＣＲ［ｂｐｍ］＝ＡＣＲ［ｂｐｍ］
＋（（ＡＣＲ［ｂｐｍ×４／５］
＋ＡＣＲ［ｂｐｍ×４／３］）／２
－ＡＣＲ［ｂｐｍ］）×ＷＣＦ
計算例２：ＷＡＣＲ［ｂｐｍ］＝ＡＣＲ［ｂｐｍ］
＋（（ＡＣＲ［ｂｐｍ×４／５］
＋ＡＣＲ［ｂｐｍ×４／３］）／２×ＷＣＦ
となる。なお、ｂｐｍ×４／５がｂｐｍの検出範囲の下限未満の場合は、
ＷＡＣＲ［ｂｐｍ］＝ＡＣＲ［ｂｐｍ］
＋（ＡＣＲ［ｂｐｍ×４／３］
－ＡＣＲ［ｂｐｍ］）×ＷＣＦ
とし、ｂｐｍ×４／３がｂｐｍの検出範囲の上限を超える場合は、
ＷＡＣＲ［ｂｐｍ］＝ＡＣＲ［ｂｐｍ］
＋（ＡＣＲ［ｂｐｍ×４／５］
－ＡＣＲ［ｂｐｍ］）×ＷＣＦ
とする。
ここで、ＷＣＦは、ステップＳ１０４で算出されたビート強度に基づいて決定される０．０以上０．５以下の重み付け係数である。例えば、ビート強度（以下、この値を「ＢＳ」と呼ぶ）が０から４０９５の値を取るとすると、
ＢＳが１０２４以下の場合は、ＷＣＦ＝０．０
ＢＳが３０９６以上の場合は、ＷＣＦ＝０．５
ＢＳが上記以外の場合は、ＷＣＦ＝（ＢＳ－１０２４）／４０９６
などとしてよい。

図２（ｃ）は、ステップＳ１０６により重み付け加算された自己相関値の例を示すグラフ図であり、図２（ｂ）の場合と同じ楽曲の解析結果例である。４／５倍ｂｐｍ位置（５拍時間長）や４／３倍ｂｐｍ位置（３拍時間長）での自己相関値が抑えられ、楽曲本来のテンポ値１３０ｂｐｍ（４拍時間長）の位置２０６と自己相関値が最大値をとる位置２０７とが一致し、正確にテンポ検出が行われたことが理解される。

上述したテンポ決定処理は、４拍子を前提として４／５倍ｂｐｍ位置及び４／３倍ｂｐｍ位置の自己相関値を重み付け加算したが、後述のタイミング同期方法における拍子検出処理にて３拍子と判定された場合は、３／４倍ｂｐｍ位置及び３／２倍ｂｐｍ位置の自己相関値が重み付け加算される。

図３は、本実施形態におけるタイミング同期方法の処理ブロック図である。タイミング同期方法は、
ステップＳ３０１：拍子検出処理(１拍時間タイミングレベル算出)
ステップＳ３０２：同期オフセット時間検出処理(1小節タイミングレベル算出)
から構成される。

まず、ステップＳ３０１の拍子検出処理は、図１のテンポ検出処理により得られた１小節の１／３（３拍子）および１／４（４拍子）の時間長での繰返しで、タイミングレベルを検出する。

ステップＳ３０１で、タイミングレベルは、図１のステップＳ１０３のビート波形検出処理で検出されたビート波形（例えば、図２（ａ）の２０３）の現在値から前回値を減算して得られる値が、負の場合は値０、正の場合はその値に対して１拍時間分解能毎にローパスフィルタをかけて得られる値である。

ステップＳ３０１で、例えば１拍の時間分解能を９６とすると、１／３時間長（３拍子）では１小節時間長が９６×３＝２８８のタイミングに分解され、１／４時間長（４拍子）では１小節時間長が９６×４＝３８４のタイミングに分解されて、１拍の時間分解能（９６）毎の各タイミングレベル値が算出される。

そして、ステップＳ３０１において、得られたタイミングレベルの最大値と最小値との差の大小が比較され、拍子が決定される。つまり、１／３時間長のタイミングレベル値の最大値－最小値の方が、１／４時間長のタイミングレベル値の最大値－最小値よりも大きい場合は楽曲は３拍子であると決定される。逆に、１／４時間長のタイミングレベル値の最大値－最小値の方が、１／３時間長のタイミングレベル値の最大値－最小値よりも大きい場合は楽曲は４拍子であると決定される。

なお、ステップＳ３０１の拍子検出処理は、上記タイミングレベルの偏差によって楽曲の拍子を決定してもよい。更に、上記と同様の方法で、５拍子、７拍子等も検出可能である。

図４は、３拍子の楽曲例に対して、図３のステップＳ３０１の拍子検出処理で検出されたタイミングレベルの例を示すグラフ図である。図４（ａ）は、１小節長、図４（ｂ）は１／２小節長、図４（ｃ）は１／３小節長、図４（ｄ）は１／４小節長である。図４（ｃ）に示される１小節の１／３時間長におけるタイミングレベル値の最大値－最小値は、図４（ｄ）に示される１／４時間長におけるタイミングレベル値の最大値－最小値よりも大きいことから、楽曲は３拍子であると判定され、正しく楽曲の拍子が検出される。

図５は、４拍子の楽曲例に対して、図３のステップＳ３０１の拍子検出処理で検出されたタイミングレベルの例を示すグラフ図である。図５（ａ）は、１小節長、図５（ｂ）は１／２小節長、図５（ｃ）は１／３小節長、図５（ｄ）は１／４小節長である。図５（ｄ）に示される１小節の１／４時間長におけるタイミングレベル値の最大値－最小値は、図５（ｃ）に示される１／３時間長におけるタイミングレベル値の最大値－最小値よりも大きいことから、楽曲は４拍子であると判定され、正しく楽曲の拍子が検出される。

図３の説明に戻り、ステップＳ３０２の同期オフセット時間検出処理は、図１のテンポ検出処理により検出されたテンポｂｐｍ値により算出される１小節時間長（図１のステップＳ１０４の説明を参照）毎にタイミングレベルを検出する。

ステップＳ３０２において、例えば１拍の分解能を９６とすると、図３のステップＳ３０１の拍子検出処理の結果が３拍子の場合には、１小節時間長が９６×３＝２８８のタイミングに分解され、その結果が４拍子の場合には、１小節時間長が９６×４＝３８４のタイミングに分解されて、各タイミング毎のタイミングレベル値が算出される。

そして、ステップＳ３０２において、上述のようにして得られたタイミングレベル値が最大値となるタイミングが、同期オフセット時間として検出される。ここで、同期オフセット時間は１小節時間長の繰返しで処理されるタイミングレベル検出における、楽曲本来の１小節先頭の開始時間である。

また、図３のステップＳ３０１の拍子検出処理で、楽曲が４拍子であると判定された場合、ステップＳ３０２の同期オフセット時間検出処理は、１小節の１／２時間長でタイミングレベルが検出され、そのレベル値が最大値となるタイミングＴ１と、Ｔ１から更に１小節の１／２時間を加算したタイミングＴ２における１小節時間長でのタイミングレベル値を比較し、大きい方のタイミングレベル値を同期オフセット時間としてもよい。このようなアルゴリズムにより、４拍裏等に定常的に入るアクセントから同期オフセット時間を誤検知する可能性を軽減することができる。

上述のステップＳ３０２の同期オフセット時間検出処理では、同期単位が１小節時間長とされたが、同期単位が１拍時間長とされる場合は、ステップＳ３０１の拍子検出処理における１拍時間長でタイミングレベル値が最大となるタイミングが同期オフセット時間とされてよい。

図３の拍／小節のタイミング同期方法は図１のテンポ検出処理で検出された１小節の時間長に基づいて処理を実行するため、検出されたテンポが変化した場合、処理がやり直しとなることにより、同期が完了するまでに時間がかかってしまうという問題がある。

このため、図３のテンポ検出処理のステップＳ１０３のビート波形検出処理にて得られるビート波形を、検出可能とする最低テンポ値のｎ（ｎは２以上の整数）小節時間分バッファリングしておき、テンポが変化したタイミングで新しいテンポのｎ小節時間分の処理を、バッファリングしておいたデータを用いて遡って実行し直すことにより、速やかに同期を再開することができるようになる。

図３のステップＳ３０１の拍子検出処理にて楽曲が３拍子であると判定された場合、本実施形態における図１のテンポ検出方法の自己相関検出処理の検出単位は４拍子を前提とするテンポｂｐｍ値であるため、検出ｂｐｍ値を３／４倍して報告するものとする。

図６は、図１のテンポ検出方法の処理ブロック及び図３のタイミング同期方法の処理ブロックを実現可能なコンピュータのハードウェア構成の一例を示す図である。このコンピュータは、通常のパーソナルコンピュータのほか、スマートフォン、タブレット端末、デジタルカメラなどを含む。図６に示されるコンピュータは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６０１、メモリ６０２、入力装置６０３、出力装置６０４、補助情報記憶装置６０５、可搬型記録媒体６０９が挿入される媒体駆動装置６０６、及びネットワーク接続装置６０７を有する。これらの構成要素は、バス６０８により相互に接続されている。図６に示される構成は図１のテンポ検出方法の処理ブロック及び図３のタイミング同期方法の処理ブロックを実現できるコンピュータの一例であり、そのようなコンピュータはこの構成に限定されるものではない。

メモリ６０２は、例えば、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。

ＣＰＵ（プロセッサ）６０１（制御部）は、例えば、メモリ６０２を利用して、図１のテンポ検出方法の処理ブロック及び図３のタイミング同期方法の処理ブロックに用いられる例えば図８乃至図１１のフローチャートの処理に対応するプログラムを実行することにより、図１及び図２の各処理ブロックとして動作する。

入力装置６０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示又は情報の入力に用いられる。出力装置６０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問合せ又は処理結果の出力に用いられる。

補助情報記憶装置６０５は、例えば、ハードディスク記憶装置、磁気ディスク記憶装置、光ディスク装置、光磁気ディスク装置、テープ装置、又は半導体記憶装置である。図１のテンポ検出方法の処理ブロック及び図３のタイミング同期方法の処理ブロックは、補助情報記憶装置６０５に図１及び図３の各処理ブロックに用いられる例えば図７乃至図１１のフローチャートの処理を実行するプログラム及びデータを格納しておき、それらをメモリ６０２にロードして使用することができる。

媒体駆動装置６０６は、可搬型記録媒体６０９を駆動し、その記録内容にアクセスする。可搬型記録媒体６０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体６０９は、Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＣＤ－ＲＯＭ）、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ（ＤＶＤ）、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体６０９に上述のプログラム及びデータを格納しておき、メモリ６０２にロードして使用することができる。

このように、上述のプログラム及びデータを格納するコンピュータ読取り可能な記録媒体は、メモリ６０２、補助情報記憶装置６０５、又は可搬型記録媒体６０９のような、物理的な（非一時的な）記録媒体である。

ネットワーク接続装置６０７は、例えばＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。図６のコンピュータは、上述のプログラム又はデータを外部の装置からネットワーク接続装置６０７を介して受信し、それらをメモリ６０２にロードして使用することができる。

なお、図１及び図３の各処理ブロックが図６の全ての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、オペレータ又はユーザからの指示又は情報を入力する必要がない場合は、入力装置６０３が省略されてもよい。可搬型記録媒体６０９又は通信ネットワークを利用しない場合は、媒体駆動装置６０６又はネットワーク接続装置６０７が省略されてもよい。

図７は、図６の構成例を有するコンピュータによって実行される、テンポ検出／タイミング同期処理の例を示すメインフローチャートである。この処理は、図６において、ＣＰＵ６０１が、補助情報記憶装置６０５などに記憶されたテンポ検出／タイミング同期処理プログラムをメモリ６０２にロードして実行する処理である。以下、随時図６を参照して説明する。

図７において、ＣＰＵ６０１はまず、テンポ変数値を０（未定）に、拍子変数値を４拍子を示す値４に、また、同期オフセット時間変数値を０に、それぞれ初期設定する（ステップＳ７０１）。これらの変数値は、メモリ６０２に記憶される。

その後、ＣＰＵ６０１は、ステップＳ７０２からステップＳ７０５の一連の処理を繰り返し実行する。

上記一連の処理において、ＣＰＵ６０１はまず、テンポ検出処理を実行し、メモリ６０２に記憶されているテンポ変数に、未定値０、或いは、６０ｂｐｍから１８０ｂｐｍの間の値を算出して設定する（ステップＳ７０２）。この処理の詳細例については、図８を用いて後述する。

上記一連の処理において、次にＣＰＵ６０１は、ユーザが入力装置６０３を構成する一部の特には図示しないスイッチなどにより、テンポ検出／タイミング同期処理の終了を指示したか否かを判定する（ステップＳ７０３）。

ステップＳ７０３の判定がＹＥＳならば、ＣＰＵ６０１は、図７のメインフローチャートで示されるテンポ検出／タイミング同期処理を終了し、特には図示しない上位に制御プログラムの処理に戻る。

ステップＳ７０３の判定がＮＯならば、ＣＰＵ６０１は、ステップＳ７０２のテンポ検出処理により検出されたメモリ６０２上のテンポ変数値が０でないか否かを判定する（ステップＳ７０４）。

テンポ変数値が未定値０（ステップＳ７０４の判定がＮＯ）である場合には、ＣＰＵ６０１は、制御をステップＳ７０２に戻して前述した一連の処理の繰返しを続行する。

テンポ変数値が未定値０以外（ステップＳ７０４の判定がＹＥＳ）である場合には、ＣＰＵ６０１は、タイミング同期処理を実行することにより、メモリ６０２に記憶されている拍子変数に３拍子、４拍子、又は５拍子の何れかを示す値３、４、又は５を取得し、また、メモリ６０２に記憶されている同期オフセット時間変数に、値０からｎ（ｎは自然数）の何れかを算出して設定する。

その後、ＣＰＵ６０１は、制御をステップＳ７０２に戻して前述した一連の処理の繰返しを続行する。

図８は、図７のステップＳ７０２のテンポ検出処理の詳細例を示すフローチャートである。ここでは、ＣＰＵ６０１は、図１の各処理ブロックで説明したのと同様のテンポ検出処理を実行する。

即ちまず、ＣＰＵ６０１は、図１のステップＳ１０１と同様の、音声入力処理を実行する（ステップＳ８０１）。ステップＳ８０１の処理において、ＣＰＵ６０１は、ユーザが入力装置６０３の一部を構成するマイク入力装置等から入力した音声を、同じく入力装置６０３の一部を構成する特には図示しないＡ／Ｄ（アナログ／デジタル）コンバータによって、一定のサンプリング周期（例えば、４４．１ＫＨｚ（キロヘルツ））でＡ／Ｄ変換し、楽曲波形データを取得し、メモリ６０２に記憶させる。

次に、ＣＰＵ６０１は、図１のステップＳ１０２と同様の、エンベロープ検出処理を実行する（ステップＳ８０２）。ステップＳ８０２の処理において、ＣＰＵ６０１は、ステップＳ８０１の音声入力処理が取得しメモリ６０２に記憶させた楽曲波形データを、一定のサンプル数（例えば、１２８サンプル）毎にブロック分割し、各ブロック毎に楽曲波形データの絶対値の平均である楽曲波形強度データを順次算出し、メモリ６０２に記憶させる。更に、ＣＰＵ６０１は、算出しメモリ６０２に記憶させた楽曲波形強度データを順次読み出しながら、それに対して弱い（カットオフ周波数の高い）ローパスフィルタ処理を実行し、そのローパスフィルタ処理の演算結果として、エンベロープ波形データを順次取得し、メモリ６０２に記憶させる。

次に、ＣＰＵ６０１は、ステップＳ１０３と同様のビート波形検出処理を実行する（ステップＳ８０３）。ステップＳ８０３の処理において、ＣＰＵ６０１は、ステップＳ８０２のエンベロープ検出処理で算出しメモリ６０２に記憶させた楽曲波形強度データを順次読出しながら、それに対して強い（カットオフ周波数の低い）ローパスフィルタ処理を実行し、サンプリング時刻が一致するサンプル同士で、メモリ６０２から順次読み出したエンベロープ波形データのサンプルから上記強いローパスフィルタ処理の演算結果データのサンプルを減算することで、その減算結果としてビート波形データを順次取得し、メモリ６０２に記憶させる。

続いて、ＣＰＵ６０１は、図１のステップＳ１０４と同様の、ビート強度検出処理を実行する（ステップＳ８０４）。ステップＳ８０４の処理において、ＣＰＵ６０１は、ステップＳ８０３で算出しメモリ６０２に記憶させたビート波形データを順次読み出し、その各サンプルの絶対値を算出し、その絶対値にローパスフィルタ処理を実行し、その処理結果としてビート強度データを算出し、メモリ６０２に記憶させる。

続いて、ＣＰＵ６０１は、図１のステップＳ１０５と同様の、自己相関検出処理を実行する（ステップＳ８０５）。ステップＳ８０５の処理において、ＣＰＵ６０１は、想定されるテンポ範囲の各ｂｐｍ値から算出される楽曲の１小節分の時間長でのビート波形の自己相関値を算出する。

そして、ＣＰＵ６０１は、図１のステップＳ１０６と同様の、テンポ決定処理を実行する（ステップＳ８０６）。ステップＳ８０６の処理の後、ＣＰＵ６０１は、図８のフローチャートで示される図７のステップＳ７０２のテンポ検出処理を終了する。

図９は、図８のステップＳ９０６のテンポ決定処理の詳細例を示すフローチャートである。

図９において、まずＣＰＵ６０１は、ユーザが入力装置６０３の一部を構成するスイッチによって３拍子を指定することにより、メモリ６０２に設定された拍子変数の値が、３であるか否かを判定する（ステップＳ９０１）。

ステップＳ９０１の判定がＹＥＳならば、ＣＰＵ６０１は、図８のステップＳ８０５の自己相関検出処理にて算出されメモリ６０２に記憶されている各ｂｐｍ位置の自己相関値に、３／２倍ｂｐｍ及び３／４倍のｂｐｍの自己相関値を重み付け加算する（ステップＳ９０２）。

ステップＳ９０１の判定がＮＯならば、ＣＰＵ６０１は、ユーザが入力装置６０３の一部を構成するスイッチによって５拍子を指定することにより、メモリ６０２に設定された拍子変数の値が、５であるか否かを判定する（ステップＳ９０３）。

ステップＳ９０３の判定がＹＥＳならば、ＣＰＵ６０１は、図８のステップＳ８０５の自己相関検出処理にて算出されメモリ６０２に記憶されている各ｂｐｍ位置の自己相関値に、５／４倍ｂｐｍ及び５／６倍のｂｐｍの自己相関値を重み付け加算する（ステップＳ９０４）。

ステップＳ９０３の判定がＮＯならば、ユーザが入力装置６０３の一部を構成するスイッチによって４拍子を指定することにより、メモリ６０２に設定された拍子変数の値が４になっている。この場合、ＣＰＵ６０１は、図８のステップＳ８０５の自己相関検出処理にて算出されメモリ６０２に記憶されている各ｂｐｍ位置の自己相関値に、４／３倍ｂｐｍ及び４／５倍のｂｐｍの自己相関値を重み付け加算する（ステップＳ９０５）。

ステップＳ９０２、Ｓ９０４、又はＳ９０５の処理の後、ＣＰＵ６０１は、ステップＳ９０２、Ｓ９０４、又はＳ９０５の処理での重み付け加算の結果得られる自己相関値が最大となるｂｐｍ値を検出する（ステップＳ９０６）。

そして、ＣＰＵ６０１は、ステップＳ９０６で検出したｂｐｍ値を、新たなテンポ値として、メモリ６０２に記憶されているテンポ変数の値を上記ｂｐｍ値で置き換えて更新する（ステップＳ９０７）。

その後、ＣＰＵ６０１は、図９のフローチャートで示される図８のステップＳ８０６のテンポ決定処理を終了する。

図１０（ａ）は、図７のステップＳ７０５のタイミング同期処理を示すフローチャートである。このタイミング同期処理において、ＣＰＵ６０１はまず、図３のステップＳ３０１と同様の拍子検出処理を実行し（ステップＳ１００１）、次に図３のステップＳ３０２と同様の同期オフセット時間検出処理を実行し（ステップＳ１００２）、その後、図１０のフローチャートで示される図７のステップＳ７０５の処理を終了する。

図１０（ｂ）は、図１０（ａ）の拍子検出処理の詳細例を示すフローチャートである。図１０（ｂ）において、ＣＰＵ６０１はまず、図３のステップＳ３０１で説明したようにして、図７のステップＳ７０２のテンポ検出処理により得られた１小節の１／３（３拍子）の時間長での繰返しで、タイミングレベルを検出し、メモリ６０２に記憶させる（ステップＳ１０１１）。

図１０（ｂ）において、次にＣＰＵ６０１は、図３のステップＳ３０１で説明したようにして、図７のステップＳ７０２のテンポ検出処理により得られた１小節の１／４（４拍子）の時間長での繰返しで、タイミングレベルを検出し、メモリ６０２に記憶させる（ステップＳ１０１２）。

図１０（ｂ）において、次にＣＰＵ６０１は、上記と同様にして、図７のステップＳ７０２のテンポ検出処理により得られた１小節の１／５（５拍子）の時間長での繰返しで、タイミングレベルを検出し、メモリ６０２に記憶させる（ステップＳ１０１３）。

その後、ＣＰＵ６０１は、ステップＳ１０１１、Ｓ１０１２、及びＳ１０１３で検出されメモリ６０２に記憶された各タイミングレベル値の偏差（又はステップＳ３０１で説明した最大値－最小値）が最も大きいタイミングレベル値が検出されたときの拍子を検出する（ステップＳ１０１４）。

そして、ＣＰＵ６０１は、ステップＳ１０１４で検出した拍子の値を、新たな拍子値として、メモリ６０２に記憶されている拍子変数の値を上記拍子値で置き換えて更新する（ステップＳ１０１５）。

その後、ＣＰＵ６０１は、図１０（ｂ）のフローチャートで示される図１０（ａ）のステップＳ１００１の拍子検出処理を終了する。

図１１は、図１０（ａ）の同期オフセット時間検出処理の詳細例を示すフローチャートである。図１１において、ＣＰＵ６０１はまず、図３のステップＳ３０２で説明したようにして、図７のステップＳ７０２のテンポ検出処理により検出されたテンポｂｐｍ値により算出される１小節時間長毎にタイミングレベルを検出する（ステップＳ１１０１）。

次に、ＣＰＵ６０１は、図３のステップＳ３０２で説明したようにして、ステップＳ１１０１で検出されたタイミングレベル値が最大値となるタイミングを、同期オフセット時間として検出する（ステップＳ１１０２）。

そして、ＣＰＵ６０１は、ステップＳ１１０２で検出した最大値を、新たな同期オフセット時間として、メモリ６０２に記憶されている同期オフセット時間変数の値を上記最大値で置き換えて更新する（ステップＳ１１０３）。

その後、ＣＰＵ６０１は、図１１のフローチャートで示される図１０（ａ）のステップＳ１００２の同期オフセット時間検出処理を終了する。

以上説明した実施形態により、例えばフーリエ変換を用いる方法よりも少ない処理量でテンポ検出および、小節や拍のタイミング同期がより正確に行えるようになり、楽曲に対してリアルタイムにフィルインやテンポ同期エフェクト等を付加することなどが可能となる。

以上、開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができる。

その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。

以上の実施形態に関して、更に以下の付記を開示する。
（付記１）
楽曲の波形データから波形強度の分布を示す楽曲波形強度データを取得し、
前記楽曲波形強度データに基づく自己相関を検出して周期毎の強度を示す基本自己相関値を算出し、
前記楽曲に対応する拍子を指定し、
前記基本自己相関値の周期を前記指定された拍子に基づいて決められる倍率で変更した計算用自己相関値を算出し、
前記基本自己相関値に対して前記計算用自己相関値を重み付け加算した検出用自己相関値が最大となる部分を特定し、
前記特定した部分に対応する周期を前記楽曲のテンポとして検出する、
制御部を備えたテンポ検出装置。
（付記２）
付記１に記載のテンポ検出装置において、
前記指定された拍子をＸとした場合に、前記倍率はＸ／（Ｘ－１）倍及びＸ／（Ｘ＋１）倍であり、
前記制御部は更に、前記基本自己相関値の周期をＸ／（Ｘ－１）倍した前記計算用自己相関値と、前記基本自己相関値の周期をＸ／（Ｘ＋１）倍した前記計算用自己相関値と、を前記基本自己相関値に対して重み付け加算して前記検出用自己相関値を算出するテンポ検出装置。
（付記３）
付記１又は２に記載のテンポ検出装置において、
前記制御部は更に、前記重み付け加算を行う場合の重み値を、前記楽曲の波形データの強度により調整するテンポ検出装置。
（付記４）
付記１乃至３に記載のテンポ検出装置において、
前記制御部は更に、前記楽曲の波形データから取得した前記楽曲波形強度データに対してカットオフ周波数の高いローパスフィルタ処理を行った結果としてエンベロープ波形データを取得し、取得した前記エンベロープ波形データに対してカットオフ周波数の低いローパスフィルタ処理を行った結果を前記エンベロープ波形データから減算することでビート波形を取得し、前記ビート波形の自己相関を検出して前記基本自己相関値を算出するテンポ検出装置。
（付記５）
付記１乃至４に記載のテンポ検出装置において、
前記制御部は更に、前記重み付け加算を行う場合の重み値を、前記ビート波形の強度により調整するテンポ検出装置。
（付記６）
付記１乃至５に記載のテンポ検出装置において、
前記制御部は更に、
検出された前記楽曲のテンポに基づいて、１小節の１／３時間長及び１小節の１／４時間長を含む複数の時間長を指定し、
前記ビート波形の微分値に基づく波形を、前記指定されたそれぞれの時間長で周期的に合成することで複数のタイミングレベル値を算出し、
前記タイミングレベル値の分散が最大となる時間長に対応する拍子を、前記楽曲の拍子として検出するテンポ検出装置。
（付記７）
楽曲の波形データから波形強度の分布を示す楽曲波形強度データを取得し、
前記楽曲波形強度データに基づく自己相関を検出して周期毎の強度を示す基本自己相関値を算出し、
前記楽曲に対応する拍子を指定し、
前記基本自己相関値の周期を前記指定された拍子に基づいて決められる倍率で変更した計算用自己相関値を算出し、
前記基本自己相関値に対して前記計算用自己相関値を重み付け加算した検出用自己相関値が最大となる部分を特定し、
前記特定した部分に対応する周期を前記楽曲のテンポとして検出する、
テンポ検出方法。
（付記８）
楽曲の波形データから振幅強度のエンベロープを取得し、
前記エンベロープに基づく自己相関を検出して周期毎の強度を示す基本自己相関値を算出し、
前記楽曲に対応する拍子を指定し、
前記基本自己相関値の周期を前記指定された拍子に基づいて決められる倍率で変更した計算用自己相関値を算出し、
前記基本自己相関値に対して前記計算用自己相関値を重み付け加算した検出用自己相関値が最大となる部分を特定し、
前記特定した部分に対応する周期を前記楽曲のテンポとして検出する、
処理をコンピュータに実行させるためのプログラム。

Ｓ１０１ 音声入力処理
Ｓ１０２ エンベロープ検出処理
Ｓ１０３ ビート波形検出処理
Ｓ１０４ ビート強度検出処理
Ｓ１０５ 自己相関検出処理
Ｓ１０６ テンポ決定処理
２０１ エンベロープ波形
２０２ 楽曲波形強度
２０３ ビート波形
２０４、２０６ 楽曲本来のテンポ値
２０５、２０７ 自己相関値の最大値
Ｓ３０１ 拍子検出処理
Ｓ３０２ 同期オフセット時間検出処理
６０１ ＣＰＵ
６０２ メモリ
６０３ 入力装置
６０４ 出力装置
６０５ 補助情報記憶装置
６０６ 媒体駆動装置
６０７ ネットワーク接続装置
６０８ バス
６０９ 可搬型記録媒体

Claims (7)

1. 楽曲の波形データから波形強度の分布を示す楽曲波形強度データを取得し、
   前記楽曲波形強度データに基づく前記楽曲の所定の小節分の時間長でのビート波形データを取得し、
   各テンポ値での前記ビート波形データの基本自己相関値を算出し、
   前記楽曲に対応する拍子を指定し、
   前記基本自己相関値を前記指定された拍子に基づいて決められる倍率で変更した計算用自己相関値を算出し、
   前記基本自己相関値に対して前記計算用自己相関値を重み付け加算した検出用自己相関値が最大となるテンポ値を前記楽曲のテンポ値として検出する、
   制御部を備え、
   前記指定された拍子をＸとした場合に、前記倍率はＸ／（Ｘ－１）倍及びＸ／（Ｘ＋１）倍であり、
   前記制御部は、前記重み付け加算として、前記基本自己相関値をＸ／（Ｘ－１）倍した前記計算用自己相関値と、前記基本自己相関値をＸ／（Ｘ＋１）倍した前記計算用自己相関値と、を前記基本自己相関値に対して重み付け加算して前記検出用自己相関値を算出する、テンポ検出装置。
2. 請求項１に記載のテンポ検出装置において、
   前記制御部は更に、前記重み付け加算を行う場合の重み値を、前記楽曲の波形データの強度により調整するテンポ検出装置。
3. 請求項１又は請求項２に記載のテンポ検出装置において、
   前記制御部は更に、前記楽曲の波形データから取得した前記楽曲波形強度データに対してカットオフ周波数の高いローパスフィルタ処理を行った結果としてエンベロープ波形データを取得し、取得した前記エンベロープ波形データに対してカットオフ周波数の低いローパスフィルタ処理を行った結果を前記エンベロープ波形データから減算することでビート波形データを取得し、各テンポ値での前記ビート波形データの前記基本自己相関値を算出するテンポ検出装置。
4. 請求項１から請求項３の何れか一項に記載のテンポ検出装置において、
   前記制御部は更に、前記重み付け加算を行う場合の重み値を、前記ビート波形データの強度により調整するテンポ検出装置。
5. 請求項１から請求項４の何れか一項に記載のテンポ検出装置において、
   前記制御部は更に、
   検出された前記楽曲のテンポに基づいて、１小節の１／３時間長及び１小節の１／４時間長を含む複数の時間長を指定し、
   前記ビート波形データの微分値に基づく波形を、前記指定されたそれぞれの時間長で周期的に合成することで複数のタイミングレベル値を算出し、
   前記タイミングレベル値の分散が最大となる時間長に対応する拍子を、前記楽曲の拍子として検出するテンポ検出装置。
6. 楽曲の波形データから波形強度の分布を示す楽曲波形強度データを取得し、
   前記楽曲波形強度データに基づく前記楽曲の所定の小節分の時間長でのビート波形データを取得し、
   各テンポ値での前記ビート波形データの基本自己相関値を算出し、
   前記楽曲に対応する拍子を指定し、
   前記基本自己相関値を、前記指定された拍子をＸとした場合に、Ｘ／（Ｘ－１）倍及びＸ／（Ｘ＋１）倍の倍率で変更した計算用自己相関値を算出し、
   前記基本自己相関値に対して、前記基本自己相関値をＸ／（Ｘ－１）倍した前記計算用自己相関値と、前記基本自己相関値をＸ／（Ｘ＋１）倍した前記計算用自己相関値と、を重み付け加算した検出用自己相関値が最大となるテンポ値を前記楽曲のテンポ値として検出する、
   テンポ検出方法。
7. 楽曲の波形データから振幅強度のエンベロープを取得し、
   前記エンベロープに基づく前記楽曲の所定の小節分の時間長でのビート波形データを取得し、
   各テンポ値での前記ビート波形データの基本自己相関値を算出し、
   前記楽曲に対応する拍子を指定し、
   前記基本自己相関値を、前記指定された拍子をＸとした場合に、Ｘ／（Ｘ－１）倍及びＸ／（Ｘ＋１）倍の倍率で変更した計算用自己相関値を算出し、
   前記基本自己相関値に対して、前記基本自己相関値をＸ／（Ｘ－１）倍した前記計算用自己相関値と、前記基本自己相関値をＸ／（Ｘ＋１）倍した前記計算用自己相関値と、を重み付け加算した検出用自己相関値が最大となるテンポ値を前記楽曲のテンポ値として検出する、
   処理をコンピュータに実行させるためのプログラム。

Images