JP6064561B2 - 拍情報推定装置 - Google Patents

Description

本発明は、拍点に関連する情報を音響信号から推定する技術に関する。

相前後する拍点の間隔（拍周期）や各拍点の時間軸上の位置（拍位置）を音響信号から推定する各種の技術が従来から提案されている。例えば特許文献１には、音響信号の特徴量の変化を示す拍指標系列の自己相関値が極大となる各時間（時間差）を拍周期の複数の候補として各候補の信頼度を算定し、信頼度に応じた候補を確定的な拍周期として選択する技術が開示されている。また、拍指標系列が極大となる各時間を拍位置の複数の候補として各候補の信頼度を算定し、信頼度に応じた候補を確定的な拍位置として選択する技術も特許文献１には開示されている。

特開２００９−２６５４９３号公報

特許文献１の技術でも拍周期や拍位置を高精度に推定することは可能であるが、実際には更なる推定精度の向上が期待される。以上の事情を考慮して、本発明は、音響信号の拍周期または拍位置を高精度に推定することを目的とする。

以上の課題を解決するために、本発明の第１態様に係る拍情報推定装置は、音響信号の拍周期の候補である複数の候補周期（例えば候補周期τ[n]）の各々について第１信頼度（例えば信頼度Ｘ0(τ[n])）を算定する第１信頼度算定手段（例えば信頼度算定部３２）と、利用者からの指示に応じて参照周期（例えば参照周期ＴREF）を可変に設定する参照周期取得手段（例えば参照周期取得部３３）と、時間軸上で参照周期に応じた時点に設定された第１加重値分布の各加重値（例えば加重値分布ＷAの各加重値ｗA(τ)）により時間軸上の複数の候補周期の各々の第１信頼度を加重する第１加重手段（例えば加重部３４）と、第１加重手段による加重後の第１信頼度（例えば信頼度ＸW(τ[n])）に応じて複数の候補周期の何れかを音響信号の拍周期（例えば拍周期Ｔ）として選択する拍周期確定手段（例えば拍周期確定部３５）とを具備する。以上の構成では、利用者からの指示に応じて可変に設定された参照周期に対応する時点の第１加重値分布の各加重値により各候補周期の第１信頼度が加重され、加重後の第１信頼度に応じて音響信号の拍周期が確定される。したがって、第１信頼度を加重しない構成と比較して音響信号の拍周期を高精度に推定できるという利点がある。

第１態様に係る拍情報推定装置の好適例において、参照周期取得手段は、利用者が入力装置を操作した各時点の間隔に応じて参照周期を特定する。以上の態様では、利用者が入力装置を操作した各時点の間隔に応じて参照周期が特定されるから、利用者が直観的かつ容易に参照周期を指示できるという利点がある。

第１態様に係る拍情報推定装置の好適例において、第１加重手段は、第１加重値分布の分散を可変に設定する。以上の態様では、第１加重値分布の分散が可変に設定されるから、第１加重値分布の分散を所定値に固定した構成と比較して拍周期を高精度に推定することが可能である。例えば、各候補周期の間隔または参照周期が短いほど第１加重値分布の分散を減少させる構成が好適に採用される。また、第１加重手段が音響信号のサンプリング周波数に応じて第１加重値分布の分散を可変に設定する構成も好適である。具体的には、第１加重手段は、音響信号のサンプリング周波数が高いほど第１加重値分布の分散を増加させる。例えば、音響信号のサンプリング周波数の自乗に比例するように第１加重値分布の分散を設定する構成が好適である。

本発明の第２態様に係る拍情報推定装置は、音響信号の拍位置の候補である複数の候補位置（例えば候補位置β[m]）の各々について第２信頼度（例えば信頼度Ｙ0(β[m])）を算定する第２信頼度算定手段（例えば信頼度算定部４２）と、利用者からの指示に応じて参照位置（例えば参照位置ＢREF）を可変に設定する参照位置取得手段（例えば参照位置取得部４３）と、時間軸上で参照位置に応じた時点に設定された第２加重値分布の各加重値（例えば加重値分布ＷBの各加重値ｗB(t)）により時間軸上の複数の候補位置の各々の第２信頼度を加重する第２加重手段（例えば加重部４４）と、第２加重手段による加重後の第２信頼度（例えば信頼度ＹW(β[m])）に応じて複数の候補位置の何れかを音響信号の拍位置（例えば拍位置Ｂ）として選択する拍位置確定手段（例えば拍位置確定部４５）とを具備する。以上の構成では、利用者からの指示に応じて可変に設定された参照位置に対応する時点の第２加重値分布の各加重値により各候補位置の第２信頼度が加重され、加重後の第２信頼度に応じて音響信号の拍位置が確定される。したがって、第２信頼度を加重しない構成と比較して音響信号の拍位置を高精度に推定できるという利点がある。

第２態様に係る拍情報推定装置の好適例において、参照位置取得手段は、利用者が入力装置を操作した時点に応じて参照位置を特定する。以上の態様では、利用者が入力装置を操作した時点に応じて参照位置が特定されるから、利用者が直観的かつ容易に参照位置を指示できるという利点がある。

第２態様に係る拍情報推定装置の好適例において、第２加重手段は、第２加重値分布の分散を可変に設定する。以上の態様では、第２加重値分布の分散が可変に設定されるから、第２加重値分布の分散を所定値に固定した構成と比較して拍位置を高精度に推定することが可能である。例えば、各候補位置の間隔が短いほど第２加重値分布の分散を減少させる構成が好適に採用される。また、第２加重手段が音響信号のサンプリング周波数に応じて第２加重値分布の分散を可変に設定する構成も好適である。具体的には、第２加重手段は、音響信号のサンプリング周波数が高いほど第２加重値分布の分散を増加させる。例えば、音響信号のサンプリング周波数の自乗に比例するように第２加重値分布の分散を設定する構成が好適である。

以上の各態様に係る拍情報推定装置は、音響信号の処理に専用されるＤＳＰ（Digital Signal Processor）等のハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされる。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。また、例えば、本発明のプログラムは、通信網を介した配信の形態で例えば配信サーバ装置から提供されてコンピュータにインストールされ得る。

本発明の第１態様に係るプログラムは、音響信号の拍周期の候補である複数の候補周期の各々について第１信頼度を算定する第１信頼度算定処理と、利用者からの指示に応じて参照周期を可変に設定する参照周期取得処理と、時間軸上で参照周期に応じた時点に設定された第１加重値分布の各加重値により時間軸上の複数の候補周期の各々の第１信頼度を加重する第１加重処理と、第１加重処理による加重後の第１信頼度に応じて複数の候補周期の何れかを音響信号の拍周期として選択する拍周期確定処理とをコンピュータに実行させる。以上のプログラムによれば、本発明の第１態様に係る拍情報推定装置と同様の作用および効果が実現される。

また、本発明の第２態様に係るプログラムは、音響信号の拍位置の候補である複数の候補位置の各々について第２信頼度を算定する第２信頼度算定処理と、利用者からの指示に応じて参照位置を可変に設定する参照位置取得処理と、時間軸上で参照位置に応じた時点に設定された第２加重値分布の各加重値により時間軸上の複数の候補位置の各々の第２信頼度を加重する第２加重処理と、第２加重処理による加重後の第２信頼度に応じて複数の候補位置の何れかを音響信号の拍位置として選択する拍位置確定処理とをコンピュータに実行させる。以上のプログラムによれば、本発明の第２態様に係る拍情報推定装置と同様の作用および効果が実現される。

本発明の第１実施形態に係る拍情報推定装置のブロック図である。 拍周期特定部のブロック図である。 拍周期特定部の動作の説明図である。 加重値分布の分散が過度に大きい場合の説明図である。 加重値分布の分散が過度に小さい場合の説明図である。 拍位置特定部の動作の説明図である。 拍位置特定部のブロック図である。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る拍情報推定装置１００のブロック図である。図１の拍情報推定装置１００は、演算処理装置１２と記憶装置１４と入力装置１６とを具備するコンピュータシステムで実現される。記憶装置１４は、演算処理装置１２が実行するプログラムや演算処理装置１２が使用する各種のデータを記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体や複数種の記録媒体の組合せが記憶装置１４として任意に採用され得る。例えば記憶装置１４は、楽曲の演奏音（楽音や音声）の時間波形を示す音響信号Ｓを記憶する。

入力装置１６は、利用者による操作を受付ける。例えば、利用者が操作する複数の操作子が配置された操作機器や操作面に対する利用者の手指の接触を検知するタッチパネルが入力装置１６として好適に採用される。

演算処理装置１２は、記憶装置１４に記憶されたプログラムを実行することで、音響信号Ｓの拍周期（テンポ）Ｔと拍位置Ｂとを推定するための複数の要素（周波数分析部２２，拍指標特定部２４，拍周期特定部３０，拍位置特定部４０）として機能する。拍周期Ｔは、相前後する各拍点の時間的な間隔である。拍位置Ｂは、各拍点の時間軸上の位置（位相）である。本実施形態では、音響信号Ｓの全区間にわたり拍周期Ｔが一定である場合を便宜的に想定する。

図１の周波数分析部２２は、音響信号Ｓのスペクトル（振幅スペクトルまたはパワースペクトル）Ｑを時間軸上の単位期間（フレーム）毎に順次に算定する。相前後する各単位期間は時間軸上で相互に重複する。スペクトルＱの算定には、例えば短時間フーリエ変換等の公知の周波数分析が任意に採用され得る。なお、通過帯域が相違する複数の帯域通過フィルタで構成されるフィルタバンクを周波数分析部２２として利用することも可能である。

拍指標特定部２４は、相前後する各単位期間における音響信号Ｓの強度の変化量の時系列（以下では「拍指標系列」という）Ｆを各単位期間のスペクトルＱから特定する。具体的には、拍指標特定部２４は、第１に、相前後する各単位期間における音響信号Ｓの強度差（絶対値）を全周波数にわたり加算または平均した数値の時系列を拍指標系列Ｆ0として算定し、第２に、拍指標系列Ｆ0のピークを強調する（例えば低周波成分を抑制する）ことで拍指標系列Ｆを生成する。したがって、拍指標系列Ｆ0または拍指標系列Ｆのうち音響信号Ｓの強度が大きく変動する時点にはピークが存在する。拍指標系列Ｆ0または拍指標系列Ｆのピークの時点が拍点に該当する可能性は高い。

＜拍周期特定部３０＞
拍周期特定部３０は、音響信号Ｓの拍周期Ｔを特定する。拍周期Ｔの特定には、拍指標特定部２４が特定した拍指標系列Ｆが利用される。図２は、拍周期特定部３０のブロック図である。図２に示すように、拍周期特定部３０は、相関算定部３１と信頼度算定部３２と参照周期取得部３３と加重部３４と拍周期確定部３５とを含んで構成される。

相関算定部３１は、時間軸上の処理期間毎に拍指標系列Ｆの自己相関Ｃ0を算定し、複数の処理期間について自己相関Ｃ0を平均することで図３の平均相関Ｃを算定する。各処理期間は、単位期間の複数個分に相当する時間長に設定され、相前後する各処理期間は時間軸上で相互に重複する。

自己相関Ｃ0は、１個の処理期間の拍指標系列Ｆと時間（ラグ）τだけ遅延させた当該処理期間の拍指標系列Ｆとの相関であり、時間τの関数として表現される。拍指標系列Ｆのピークの間隔に相当する時間τにて自己相関Ｃ0（平均相関Ｃ）は増大する。以上の傾向を考慮して、図３に示すように、平均相関Ｃの相異なるピークＰAに対応するＮ個（Ｎは２以上の自然数）の時間τが、拍周期Ｔの候補（以下「候補周期」という）τ[n]（τ[1]〜τ[N]）として特定される。図３では、９個の候補周期τ[1]〜τ[9]（Ｎ＝９）が例示されている。なお、一般的な楽曲のテンポに対応する範囲に候補周期τ[n]を制限することも可能である。

図２の信頼度算定部３２は、図３に示すように、候補周期τ[n]（ｎ＝１〜Ｎ）が音響信号Ｓの拍周期Ｔに該当する確度の指標である信頼度Ｘ0(τ[n])をＮ個の候補周期τ[1]〜τ[N]の各々について算定する。例えば、信頼度算定部３２は、候補周期τ[n]の間隔で複数の検索窓（例えば矩形窓）を時間軸上に設定し、平均相関Ｃの複数のピークＰAのうち各検索窓の内側に位置する各ピークＰAの強度の平均または合計を信頼度Ｘ0(τ[n])として算定する。したがって、候補周期τ[n]が音響信号Ｓの拍周期Ｔに該当する確度が高いほど信頼度Ｘ0(τ[n])は大きい数値となる。なお、信頼度Ｘ0(τ[n])の算定については特許文献１にも詳述されている。

図２の参照周期取得部３３は、利用者からの指示に応じて参照周期ＴREFを設定する。利用者は、音響信号Ｓの再生音の拍点に同期する時点で入力装置１６を順次に操作（例えば操作面に手指を接触させるタップ操作）する。参照周期取得部３３は、利用者が入力装置１６を操作した各時点の間隔（ＩＯＩ：Interonset Interval）の平均を参照周期ＴREFとして算定する。

加重部３４は、信頼度算定部３２が算定した各信頼度Ｘ0(τ[n])を、参照周期取得部３３が設定した参照周期ＴREFに応じて加重（重み付け）する。具体的には、図３に示すように、加重部３４は、時間（時間差）軸のうち参照周期ＴREFに応じた時点に設定された加重値分布ＷAを利用して時間軸上のＮ個の候補周期τ[1]〜τ[N]の各々の信頼度Ｘ0(τ[n])を加重することで各候補周期τ[n]の信頼度ＸW(τ[n])を算定する。

加重値分布ＷAは、時間τを変数とする分布関数（確率密度関数）で表現される加重値ｗA(τ)の分布である。具体的には、時間軸上の各加重値ｗA(τ)は、以下に例示する数式(1)の正規分布関数（ガウス関数）で表現される。すなわち、加重値分布ＷAは、参照周期ＴREFを平均とする分散σA²の正規分布である。具体的には、加重値ｗA(τ)は、図３に示すように、参照周期ＴREFから離間するほど減少するように参照周期ＴREFを中心（極大点）として時間軸の正側および負側の双方に分布する。

加重部３４は、以下の数式(2)で表現されるように、信頼度算定部３２が各候補周期τ[n]について算定した信頼度Ｘ0(τ[n])を、加重値分布ＷAのうちその候補周期τ[n]に対応する時間τ（τ＝τ[n]）の加重値ｗA(τ[n])に応じて加重することで、Ｎ個の候補周期τ[1]〜τ[N]の各々について加重後の信頼度ＸW(τ[n])を算定する。すなわち、利用者からの指示に応じた参照周期ＴREFに近似する候補周期τ[n]の信頼度Ｘ0(τ[n])ほど大きい加重値ｗA(τ[n])で加重される。

図２の拍周期確定部３５は、加重部３４による加重後の信頼度ＸW(τ[n])に応じてＮ個の候補周期τ[1]〜τ[N]の何れかを音響信号Ｓの拍周期Ｔとして選択する。具体的には、拍周期確定部３５は、Ｎ個の候補周期τ[1]〜τ[N]のうち加重後の信頼度ＸW(τ[n])が最大となる候補周期τ[n]を拍周期Ｔとして確定する。なお、以上のように加重後の信頼度ＸW(τ[1])〜ＸW(τ[N])の相対的な大小に応じて拍周期Ｔが確定されるから、数式(1)の｛１/(２π)^1/2σA｝を省略することも可能である。

以上に説明した通り、第１実施形態では、利用者からの指示（入力装置１６に対するタップ操作）に応じた参照周期ＴREFの時点に設定された加重値分布ＷAの各加重値ｗA(τ)によりＮ個の候補周期τ[1]〜τ[N]の各々の信頼度Ｘ0(τ[n])が加重され、加重後の信頼度ＸW(τ[n])に応じた候補周期τ[n]が音響信号Ｓの拍周期Ｔとして確定される。したがって、信頼度Ｘ0(τ[n])が最大となる候補周期τ[n]を拍周期Ｔとして選択する構成（例えば特許文献１）と比較して拍周期Ｔを高精度に推定できるという利点がある。

例えば、図３では、候補周期τ[3]が音響信号Ｓの本来の拍周期Ｔ（正解）に該当する場合が想定されている。ただし、信頼度算定部３２が候補周期τ[9]について算定した信頼度Ｘ0(τ[9])は候補周期τ[3]の信頼度Ｘ0(τ[3])を上回る。以上の状況において、信頼度Ｘ0(τ[n])が最大となる候補周期τ[n]を拍周期Ｔとして選択する特許文献１の構成では、候補周期τ[9]が拍周期Ｔとして誤推定される。他方、第１実施形態では、正解の候補周期τ[3]に近似する参照周期ＴREFの位置にて加重値ｗA(τ)が最大となるように加重値分布ＷAが設定されるから、加重後の信頼度ＸW(τ[3])は、信頼度ＸW(τ[9])を上回る最大値となる。したがって、信頼度ＸW(τ[3])に対応する候補周期τ[3]が音響信号Ｓの拍周期Ｔとして適切に確定される。

なお、図４に例示されるように加重値分布ＷAの分散σA²が過度に大きい場合には、加重前の信頼度Ｘ0(τ[n])と加重後の信頼度ＸW(τ[n])との相違が抑制されるから、候補周期τ[9]が拍周期Ｔとして誤推定される可能性がある。他方、図５に例示されるように加重値分布ＷAの分散σA²が過度に小さい場合、利用者の指示に応じた参照周期ＴREFが本来の拍周期Ｔ（Ｔ＝τ[3]）から僅かに相違するだけで、候補周期τ[3]の周囲の候補周期τ[2]が拍周期Ｔとして誤推定される可能性がある。以上の傾向を考慮して、加重値分布ＷAの分散σA²は、拍周期Ｔの誤推定が有効に防止されるように実験的または統計的に選定される。

＜拍位置特定部４０＞
図１の拍位置特定部４０は、音響信号Ｓの拍位置Ｂを特定する。拍位置Ｂの特定には、拍指標特定部２４が特定した拍指標系列Ｆ0（音響信号Ｓの強度差の平均）が利用される。図６には拍指標系列Ｆ0が例示されている。拍指標系列Ｆ0の各ピークＰBの時点が音響信号Ｓの拍点に該当する可能性が高いという前述の傾向を考慮して、拍位置特定部４０は、拍指標系列Ｆ0に存在するＭ個（Ｍは２以上の自然数）のピークＰBの各々に対応する時点を拍位置Ｂの候補（以下「候補位置」という）β[m]（β[1]〜β[M]）として拍位置Ｂを特定する。なお、拍指標系列Ｆ0のピークＰBを強調した拍指標系列Ｆの各ピークの時点を候補位置β[m]とすることも可能である。図７は、拍位置特定部４０のブロック図である。図７に示すように、拍位置特定部４０は、信頼度算定部４２と参照位置取得部４３と加重部４４と拍位置確定部４５とを含んで構成される。

信頼度算定部４２は、図６に示すように、候補位置β[m]（ｍ＝１〜Ｍ）が音響信号Ｓの拍位置Ｂに該当する確度の指標である信頼度Ｙ0(β[m])をＭ個の候補位置β[1]〜β[M]の各々について算定する。例えば、信頼度算定部４２は、拍周期特定部３０が特定した拍周期Ｔの間隔で候補位置β[m]から複数の検索窓（例えば矩形窓）を時間軸上に設定し、拍指標系列Ｆ0の複数のピークＰBのうち各検索窓の内側に位置する各ピークＰBの強度（音響信号Ｓの強度差）の平均または合計を信頼度Ｙ0(β[m])として算定する。したがって、候補位置β[m]が音響信号Ｓの拍位置Ｂに該当する確度が高いほど信頼度Ｙ0(β[m])は大きい数値となる。なお、特許文献１にも例示されるように、Ｍ個の候補位置β[1]〜β[M]から所定の条件のもとで選択された複数の候補位置β[m]（例えばＭ個の候補位置β[1]〜β[M]のうち拍指標系列Ｆ0のピークＰBを内包する検索窓の個数が多い候補位置β[m]）について信頼度Ｙ0(β[m])を算定することも可能である。なお、信頼度Ｙ0(β[m])の算定については特許文献１にも詳述されている。

参照位置取得部４３は、利用者からの指示に応じて参照位置ＢREFを設定する。利用者は、音響信号Ｓの再生音の拍点に同期した時点で入力装置１６を操作（例えば操作面に手指を接触させるタップ操作）する。参照位置取得部４３は、利用者が入力装置１６を操作した１個の時点を参照位置ＢREFとして設定する。

加重部４４は、信頼度算定部４２が算定した各信頼度Ｙ0(β[m])を、参照位置取得部４３が設定した参照位置ＢREFに応じて加重する。具体的には、図６に示すように、加重部４４は、時間軸のうち参照位置ＢREFに応じた時点に設定された加重値分布ＷBを利用して時間軸上のＭ個の候補位置β[1]〜β[M]の各々の信頼度Ｙ0(β[m])を加重することで各候補位置β[m]の信頼度ＹW(β[m])を算定する。

加重値分布ＷBは、時間ｔを変数とする分布関数で表現される加重値ｗB(t)の分布である。具体的には、各加重値ｗB(t)は、前述の加重値ｗA(τ)と同様に、参照位置ＢREFを平均とする分散σB²の正規分布を規定する数式(3)の正規分布関数（ガウス関数）で表現される。すなわち、加重値ｗB(t)は、図６に示すように、参照位置ＢREFから離間するほど減少するように参照位置ＢREFを中心（極大点）として時間軸の正側および負側の双方に分布する。

加重部４４は、以下の数式(4)で表現されるように、信頼度算定部４２が各候補位置β[m]について算定した信頼度Ｙ0(β[m])を、加重値分布ＷBのうちその候補位置β[m]に対応する時間ｔ（ｔ＝β[m]）の加重値ｗB(β[m])に応じて加重することで、Ｍ個の候補位置β[1]〜β[M]の各々について加重後の信頼度ＹW(β[m])を算定する。すなわち、図６からも把握される通り、利用者からの指示に応じた参照位置ＢREFに近似する候補位置β[m]の信頼度Ｙ0(β[m])ほど大きい加重値ｗB(β[m])で加重される。

図７の拍位置確定部４５は、加重部４４による加重後の信頼度ＹW(β[m])に応じてＭ個の候補位置β[1]〜β[M]の何れかを音響信号Ｓの拍位置Ｂとして選択する。具体的には、拍位置確定部４５は、Ｍ個の候補位置β[1]〜β[M]のうち加重後の信頼度ＹW(β[m])が最大となる候補位置β[m]を拍位置（頭拍）Ｂとして確定する。なお、以上のように加重後の信頼度ＹW(β[1])〜ＹW(β[M])の相対的な大小に応じて拍位置Ｂが確定されるから、数式(3)の｛１/(２π)^1/2σB｝を省略することも可能である。

また、拍位置確定部４５は、拍位置Ｂを基準として拍周期Ｔに応じた間隔で規定される各時点を拍位置ｂとして特定する。具体的には、拍位置確定部４５は、拍位置Ｂを起点として時間軸上の後方（時間の経過側）に拍周期Ｔの間隔で複数の検索窓を設定し、各検索窓が内包する拍指標系列Ｆ0のピークＰBの時点を拍位置ｂとして確定する。なお、拍位置Ｂを起点として時間軸上の前方（時間の遡及側）に拍周期Ｔの間隔で複数の検索窓を設定することも可能である。

検索窓の内部にピークＰBが存在しない場合（例えば検索窓の内側の拍点が裏拍に相当する場合）、拍位置確定部４５は、前後の拍位置ｂを拍周期Ｔに応じた間隔に等分する境界の時点を拍位置ｂとして確定する。例えば、確定済の拍位置（Ｂ，ｂ）の間隔が８秒であり、拍周期Ｔが１秒（６０ＢＰＭ）である場合を想定すると、確定済の各拍位置の間隔を８等分する各時点が拍位置ｂとして確定される。また、収録音を拍点で区分した音響信号Ｓを処理対象とする場合、音響信号Ｓの始点や終点を拍位置ｂとして確定することも可能である。音響信号Ｓのうち無音区間の終点（発音区間の開始点）も拍位置ｂとして好適に確定され得る。

なお、図４を参照した説明から類推される通り、加重値分布ＷBの分散σB²が過度に大きい場合には、加重前の信頼度Ｙ0(β[m])と加重後の信頼度ＹW(β[m])との相違が抑制されるから、拍位置Ｂの誤推定の抑制という所期の効果が減殺され得る。他方、図５を参照した説明から類推される通り、加重値分布ＷBの分散σB²が過度に小さい場合には、利用者の指示に応じた参照位置ＢREFが本来の拍位置Ｂから僅かに相違するだけで拍位置Ｂが誤推定される可能性がある。以上の傾向を考慮して、加重値分布ＷBの分散σB²は、拍位置Ｂの誤推定が有効に防止されるように実験的または統計的に選定される。

以上に説明した通り、第１実施形態では、利用者からの指示（入力装置１６に対するタップ操作）に応じた参照位置ＢREFの時点に設定された加重値分布ＷBの各加重値ｗB(t)によりＭ個の候補位置β[1]〜β[M]の各々の信頼度Ｙ0(β[m])が加重され、加重後の信頼度ＹW(β[m])に応じた候補位置β[m]が音響信号Ｓの拍位置Ｂとして確定される。したがって、信頼度Ｙ0(β[m])が最大となる候補位置β[m]を拍位置Ｂとして選択する構成（例えば特許文献１）と比較して拍位置Ｂを高精度に推定できるという利点がある。

＜第２実施形態＞
本発明の第２実施形態を以下に説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同様である要素については、第１実施形態の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。

第１実施形態では、前掲の数式(1)で表現される加重値分布ＷAの分散σA²を所定値に固定した。第２実施形態の加重部３４は、加重値分布ＷAの分散σA²を可変に設定する。図４および図５を参照した説明から理解される通り、音響信号Ｓの拍周期Ｔが短いほど加重値分布ＷAの分散σA²を減少させることで音響信号Ｓの拍周期Ｔを高精度に推定できるという概略的な傾向が推察される。以上の傾向を考慮して、第２実施形態の加重部３４は、参照周期ＴREFが短い（拍周期Ｔが短いと推定される場合）ほど加重値分布ＷAの分散σA²を減少させる。参照周期ＴREFと分散σA²との具体的な関係は任意である。例えば、参照周期ＴREFに対して分散σA²が線形に変化する構成や参照周期ＴREFに対して分散σA²が非線形に変化する構成が採用され得る。なお、拍周期Ｔが短い場合には各候補周期τ[n]の間隔も短いという概略的な傾向がある。したがって、各候補周期τ[n]の間隔が短いほど加重部３４が加重値分布ＷAの分散σA²を減少させる構成も採用され得る。

また、第１実施形態では、前掲の数式(3)で表現される加重値分布ＷBの分散σB²を所定値に固定した。第２実施形態の加重部４４は、加重値分布ＷBの分散σB²を可変に設定する。図４および図５を参照した説明から類推される通り、音響信号Ｓの拍点の間隔が短いほど加重値分布ＷBの分散σB²を減少させることで音響信号Ｓの拍位置Ｂを高精度に推定できるという概略的な傾向が推察される。以上の傾向を考慮して、第２実施形態の加重部４４は、各候補位置β[m]の間隔が短いほど加重値分布ＷBの分散σB²を減少させる。各候補位置β[m]の間隔と分散σB²との具体的な関係は任意である。例えば、各候補位置β[m]の間隔に対して分散σB²が線形または非線形に変化する構成が採用され得る。なお、拍周期特定部３０が特定した拍周期Ｔが短いほど加重部４４が加重値分布ＷBの分散σB²を減少させる構成も採用され得る。

第２実施形態では、加重値分布ＷAの分散σA²が参照周期ＴREFまたは各候補周期τ[n]の間隔に応じて可変に設定されるから、分散σA²を所定値に固定した構成と比較して、拍周期Ｔを高精度に推定することが可能である。同様に、第２実施形態では、加重値分布ＷBの分散σB²が各候補位置β[m]の間隔に応じて可変に設定されるから、分散σB²を所定値に固定した構成と比較して、拍位置Ｂを高精度に推定することが可能である。

＜変形例＞
前述の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は適宜に併合され得る。

（１）利用者からの指示に応じて参照周期ＴREFを設定する具体的な方法は以上の例示（利用者による操作の間隔を平均して参照周期ＴREFを算定する方法）に限定されない。例えば、利用者による２回の操作（例えばタップ操作）の間隔を参照周期ＴREFとして設定することも可能である。また、利用者によるＫ回（Ｋは２以上の自然数）の操作（例えばタップ操作）から参照周期ＴREFを算定する場合を想定すると、第(ｋ−１)回目の操作と第ｋ回目の操作との間隔ｚ(k)（ｋ＝１〜Ｋ）を適用した以下の数式(5)の演算（指数移動平均）で周期ＴREF(k)を算定し、第Ｋ回目の操作に対応する周期ＴREF(K)を参照周期ＴREFとして採択することも可能である。

数式(5)の平滑化係数αは、１未満の所定の正数（０＜α＜１）に設定される。数式(5)から理解される通り、平滑化係数αが大きいほど時間的に後方の各操作の間隔ｚ(k)が重視されるように参照周期ＴREFが算定される。利用者が入力装置１６を複数回にわたり操作する場合、時間が経過するほど各操作の間隔が安定するという傾向がある。したがって、数式(5)を適用した構成によれば、利用者が操作を開始した当初と比較して安定した間隔ｚ(k)を優先的に反映した適切な参照周期ＴREFを取得できるという利点がある。

また、利用者による操作の間隔ｚ(k)の度数分布に応じて参照周期ＴREFを設定することも可能である。度数分布の各階級（クラス）の中心値は、例えば等比数列の関係（０.５，１，２，……）にある。参照周期取得部３３は、度数分布において度数が最大となる階級に分類された各間隔ｚ(k)の平均を参照周期ＴREFとして算定する。以上の構成によれば、間隔ｚ(k)の外れ値（例えば利用者が一次的にタップ操作を忘れた場合の間隔ｚ(k)）の影響を有効に低減して参照周期ＴREFを適切に選定できるという利点がある。また、入力装置１６を操作することで利用者が参照周期ＴREFの数値を直接的に指定する構成も採用され得る。

以上の例示から理解される通り、前述の各形態における参照周期取得部３３は、利用者からの指示に応じて参照周期ＴREFを可変に設定する要素として包括され、利用者からの指示の態様や指示と参照周期ＴREFとの関係は任意である。

（２）利用者からの指示に応じて参照位置ＢREFを設定する具体的な方法は以上の例示（利用者による１回の操作の時点を参照位置ＢREFとして選定する方法）に限定されない。具体的には、利用者によるＤ回（Ｄは２以上の自然数）の操作のうち何れかの操作の時点を参照位置ＢREFとして選択することも可能である。例えば、時間が経過するほど利用者による操作の時点が安定するという傾向を前提とすれば、Ｄ回の操作のうち最後（第Ｄ回目）の操作の時点を参照位置ＢREFとして選択する構成が好適である。他方、操作の開始の当初ほど利用者による操作の時点が正確であるという傾向を前提とすれば、Ｄ回の操作のうち最初（第１回目）の操作の時点を参照位置ＢREFとして選択する構成が好適である。また、Ｄ回の操作のうち相前後する操作の間隔を平均することで操作周期を算定し、操作周期の間隔に合致する何れかの操作時点を参照位置ＢREFとして選択する構成も採用され得る。

以上の例示から理解される通り、前述の各形態における参照位置取得部４３は、利用者からの指示に応じて参照位置ＢREFを可変に設定する要素として包括され、利用者からの指示の態様や指示と参照位置ＢREFとの関係は任意である。

（３）加重値分布ＷAおよび加重値分布ＷBの分布形状（分布関数の種類）は任意であり、前述の各形態で例示した正規分布には限定されない。例えば、参照周期ＴREFから離間するほど加重値ｗA(τ)が直線的に減少するように参照周期ＴREFを中心（頂点）として時間軸の正側および負側の双方に分布する三角分布を加重値分布ＷAとして利用することも可能である。同様に、参照位置ＢREFを中心とする三角分布が加重値分布ＷBとして利用され得る。

（４）各候補周期τ[n]の信頼度Ｘ0(τ[n])を算定する方法は任意であり、前述の各形態での例示には限定されない。例えば、前述の各形態では、候補周期τ[n]が拍周期Ｔに該当する確度が高いほど信頼度Ｘ0(τ[n])が大きい数値となる場合を例示したが、候補周期τ[n]が拍周期Ｔに該当する確度が高いほど信頼度Ｘ0(τ[n])が小さい数値となるように信頼度Ｘ0(τ[n])を算定することも可能である。候補周期τ[n]の確度が高いほど信頼度Ｘ0(τ[n])が減少する構成では、参照周期ＴREFから離間するほど加重値ｗA(τ)が増加するように加重値分布ＷAが選定される。例えば、数式(1)の右辺を分布ｄA(τ)とした場合には、｛１−ｄA(τ)｝が加重値ｗA(τ)（加重値分布ＷA）として好適に利用される。

同様に、各候補位置β[m]の信頼度Ｙ0(β[m])を算定する方法は任意であり、前述の各形態での例示には限定されない。例えば、前述の各形態では、候補位置β[m]が拍位置Ｂに該当する確度が高いほど信頼度Ｙ0(β[m])が大きい数値となる場合を例示したが、候補位置β[m]が拍位置Ｂに該当する確度が高いほど信頼度Ｙ0(β[m])が小さい数値となるように信頼度Ｙ0(β[m])を算定することも可能である。候補位置β[m]の確度が高いほど信頼度Ｙ0(β[m])が減少する構成では、参照位置ＢREFから離間するほど加重値ｗB(t)が増加するように加重値分布ＷBが選定される。例えば、数式(3)の右辺を分布ｄB(τ)とした場合には、｛１−ｄB(τ)｝が加重値ｗB(t)（加重値分布ＷB）として好適に利用される。

（５）前述の各形態では、音響信号Ｓの全区間を対象として拍周期Ｔおよび拍位置Ｂを推定したが、音響信号Ｓを時間軸上で区分した複数の区間の各々について、前述の各形態と同様の方法で拍周期Ｔおよび拍位置Ｂを推定することも可能である。音響信号Ｓを複数の区間に区分する方法は任意であるが、例えば、音響信号Ｓを所定の時間長毎に複数の区間に区分する方法や、無音区間や非音声区間（例えば歌唱音が存在しない間奏区間）を境界として音響信号Ｓを複数の区間に区分する方法が例示され得る。以上のように音響信号Ｓの区間毎に個別に拍周期Ｔおよび拍位置Ｂを推定する構成によれば、音響信号Ｓのテンポが楽曲内で変化する場合にも拍周期Ｔおよび拍位置Ｂを推定できるという利点がある。

（６）前述の各形態では、拍周期特定部３０および拍位置特定部４０の双方を具備する拍情報推定装置１００を例示したが、拍周期特定部３０および拍位置特定部４０の一方のみを具備する構成も採用され得る。また、拍周期特定部３０および拍位置特定部４０の双方を具備する構成において、各候補周期τ[n]の信頼度Ｘ0(τ[n])を加重する構成（加重部３４および参照周期取得部３３）と各候補位置β[m]の信頼度Ｙ0(β[m])を加重する構成（加重部４４および参照位置取得部４３）との一方を省略することも可能である。信頼度Ｘ0(τ[n])の加重を省略した構成では、信頼度Ｘ0が最大となる候補周期τ[n]を拍周期確定部３５が拍周期Ｔとして確定する。同様に、信頼度Ｙ0(β[m])の加重を省略した構成では、信頼度Ｙ0(β[m])が最大となる候補位置β[m]を拍位置確定部４５が拍位置Ｂとして確定する。

（７）前述の各形態において加重値分布ＷAの分散σA²および加重値分布ＷBの分散σB²を選定する方法は任意である。本願発明者の実験によれば、音響信号Ｓのサンプリング周波数Ｆsに応じて分散σA²や分散σB²を可変に設定した場合に拍周期Ｔおよび拍位置Ｂを格別に高精度に推定できるという知見が見出された。具体的には、サンプリング周波数Ｆsが高いほど分散σA²や分散σB²を増加させた構成が好適である。例えば以下の数式(6)で例示される通り、音響信号Ｓのサンプリング周波数Ｆs［Ｈｚ］の自乗に比例するように分散σA²や分散σB²を算定する構成が採用される。例えばサンプリング周波数Ｆsが４４.１ｋＨｚ（Ｆs＝４４１００）である場合に分散σA²および分散σB²は５１２に設定され、サンプリング周波数Ｆsが２２.０５ｋＨｚである場合に分散σA²および分散σB²は１２８に設定される。なお、分散σA²および分散σB²の一方のみをサンプリング周波数Ｆsに応じて設定することも可能である。

（８）携帯電話機等の端末装置と通信するサーバ装置で拍情報推定装置１００を実現することも可能である。例えば、拍情報推定装置１００は、端末装置から受信した音響信号Ｓの拍周期Ｔおよび拍位置Ｂを推定して端末装置に通知する。なお、音響信号ＳのスペクトルＱを拍情報推定装置１００が端末装置から受信する構成では拍情報推定装置１００から周波数分析部２２が省略され、拍指標系列Ｆ0や拍指標系列Ｆを拍情報推定装置１００が端末装置から受信する構成では拍情報推定装置１００から拍指標特定部２４が省略される。

１００……拍情報推定装置、１２……演算処理装置、１４……記憶装置、１６……入力装置、２２……周波数分析部、２４……拍指標特定部、３０……拍周期特定部、３１……相関算定部、３２……信頼度算定部、３３……参照周期取得部、３４……加重部、３５……拍周期確定部、４０……拍位置特定部、４２……信頼度算定部、４３……参照位置取得部、４４……加重部、４５……拍位置確定部。

Claims (5)

1. 音響信号の拍周期の候補である複数の候補周期の各々について第１信頼度を算定する第１信頼度算定手段と、
   利用者からの指示に応じて参照周期を可変に設定する参照周期取得手段と、
   時間軸上で前記参照周期に応じた時点に設定された第１加重値分布の各加重値により前記時間軸上の前記複数の候補周期の各々の第１信頼度を加重する第１加重手段と、
   前記第１加重手段による加重後の第１信頼度に応じて前記複数の候補周期の何れかを前記音響信号の拍周期として選択する拍周期確定手段と
   を具備する拍情報推定装置。
2. 前記第１加重手段は、前記第１加重値分布の分散を可変に設定する
   請求項１の拍情報推定装置。
3. 前記第１加重手段は、前記各候補周期の間隔または前記参照周期が短いほど前記第１加重値分布の分散を減少させる
   請求項２の拍情報推定装置。
4. 前記音響信号の拍位置の候補である複数の候補位置の各々について第２信頼度を算定する第２信頼度算定手段と、
   利用者からの指示に応じて参照位置を可変に設定する参照位置取得手段と、
   時間軸上で前記参照位置に応じた時点に設定された第２加重値分布の各加重値により前記時間軸上の前記複数の候補位置の各々の第２信頼度を加重する第２加重手段と、
   前記第２加重手段による加重後の第２信頼度に応じて前記複数の候補位置の何れかを前記音響信号の拍位置として選択する拍位置確定手段と
   を具備する請求項１から請求項３の何れかの拍情報推定装置。
5. 前記第２加重手段は、前記第２加重値分布の分散を可変に設定する
   請求項４の拍情報推定装置。
   

Images