JP5560861B2 - 楽曲解析装置 - Google Patents

Description

本発明は、楽曲のリズムを解析する技術に関する。

楽曲の比較や検索の実現を目的として楽曲のリズム（各楽音の時間的な配列の構造）を解析する技術が従来から提案されている。例えば非特許文献１には、音響信号を所定の時間毎に区分した各単位期間（フレーム）の特徴量の時系列を、相異なる楽曲間で比較する技術が開示されている。楽曲間の特徴量の比較には、楽曲間で相互に対応する時間軸上の箇所を特定するＤＰマッチング（DTW：Dynamic Time Warping）技術が採用される。

Jouni Paulus and Anssi Klapuri, "Measuring the Similarity of Rhythmic Patterns", Proc. ISMIR 2002, p. 150-156

しかし、非特許文献１の技術では、音響信号の単位期間毎に抽出された特徴量が楽曲間のリズムの比較に利用されるから、楽曲の比較に必要なデータ量が大きいという問題がある。また、楽曲のテンポとは無関係に設定された単位期間毎に特徴量が抽出されるから、楽曲のリズムの比較には、前述のＤＰマッチングのような音響信号の伸縮処理が必須であり、処理の負荷が大きいという問題もある。以上の事情を考慮して、本発明は、楽曲のリズムの解析に必要なデータ量を削減するとともに楽曲間のリズムを比較する処理の負荷を軽減することを目的とする。

以上の課題を解決するために、本発明に係る楽曲解析装置は、楽曲の音響信号の単位期間毎にスペクトルを取得するスペクトル取得手段と、音響信号の拍点を特定する拍点特定手段と、複数の単位期間を含むように拍点の間隔を分割した複数の解析期間の各々と周波数軸上の複数の解析帯域の各々とに対応する解析単位毎に当該解析単位内のスペクトルの複数の成分値に応じた特徴値を算定する特徴算定手段を含み、解析単位毎の特徴値を含むリズム特徴量を生成する特徴量抽出手段とを具備する。

以上の構成においては、複数の単位期間を含む解析期間を時間軸上の単位としてリズム特徴量の特徴値が算定されるから、単位期間毎に特徴値を算定する構成と比較してリズム特徴量のデータ量が削減されるという利点がある。また、楽曲の拍点を基準として解析期間が画定されるから、複数の音響信号のテンポが相違する場合でも、双方を共通の時間軸のもとで対比することが可能である。したがって、比較の対象となる各音響信号の時間軸を整合させる必要がある非特許文献１の構成と比較して、楽曲間のリズムの比較に必要な処理の負荷が軽減されるという利点がある。なお、本発明における「楽曲」とは、時系列に配列された楽音や音声の集合を意味し、著作物として一体に創作された楽曲の全体であるか部分であるかは不問である。また、各解析帯域の帯域幅は任意であるが、例えば１オクターブに相当する帯域幅に設定した構成が好適である。

本発明の好適な態様に係る楽曲解析装置は、第１音響信号および第２音響信号の各々について特徴量抽出手段が生成したリズム特徴量を比較することで、第１音響信号と第２音響信号とのリズムの類否を示す類否指標値を算定する特徴比較手段を具備する。以上の態様においては、第１音響信号および第２音響信号の各々のリズム特徴量の比較で類否指標値が算定されるから、第１音響信号と第２音響信号とのリズムの類否を定量的に評価することが可能である。

本発明の第１態様において、特徴比較手段は、第１音響信号のリズム特徴量と第２音響信号のリズム特徴量との特徴値の差分に応じた要素値（例えば図６の要素値ｄA[m,n]）を解析単位毎に算定する差分算定手段と、第１音響信号および第２音響信号の各々について、当該音響信号のリズム特徴量のうち相異なる解析帯域に対応する複数の特徴値（例えば図６の特徴値ｒi[1,n]〜ｒi[M,n]）に応じた第１補正値（例えば図６の第１補正値ａTi[n]）を解析期間毎に算定する第１補正値算定手段と、第１音響信号および第２音響信号の各々について、当該音響信号のリズム特徴量のうち相異なる解析期間に対応する複数の特徴値（例えば図６の特徴値ｒi[m,1]〜ｒi[m,N]）に応じた第２補正値（例えば図６の第２補正値ａFi[m]）を解析帯域毎に算定する第２補正値算定手段と、第１音響信号および第２音響信号の各々について生成された各解析期間の第１補正値を当該解析期間の要素値に作用させる第１補正手段と、第１音響信号および第２音響信号の各々について生成された各解析帯域の第２補正値を当該解析帯域の要素値に作用させる第２補正手段と、第１補正手段および第２補正手段による処理後の各要素値から類否指標値を算定する指標算定手段とを含んで構成される。第１態様の具体例は第１実施形態として後述される。

第１態様においては、第１音響信号のリズム特徴量と第２音響信号のリズム特徴量との特徴値の差分について、時間軸の方向の分布が第１補正値で補正され、周波数軸の方向の分布が第２補正値で補正される。したがって、例えば時間軸の方向の分布を強調するとともに周波数軸の方向の分布を平準化して類否指標値を算定するという具合に、多様な観点からリズムを比較することが可能である。なお、第１態様は、特徴比較手段が差分算定手段と第１補正値算定手段と第１補正手段と指標算定手段とを含む構成（第２補正値算定手段や第２補正手段の有無は不問）と、特徴比較手段が差分算定手段と第２補正値算定手段と第２補正手段と指標算定手段とを含む構成（第１補正値算定手段や第１補正手段の有無は不問）とに区分され得る。

本発明の第２態様において、特徴量抽出手段は、特徴算定手段が算定した特徴値のうち相異なる解析帯域に対応する複数の特徴値（例えば図８の特徴値ｒAi[1,n]〜ｒAi[M,n]）に応じた第１補正値（例えば図８の第１補正値ａTi[n]）を解析期間毎に算定する第１補正値算定手段と、特徴算定手段が算定した特徴値のうち相異なる解析期間に対応する複数の特徴値（例えば図８の特徴値ｒAi[m,1]〜ｒAi[m,N]）に応じた第２補正値（例えば図８の第２補正値ａFi[m]）を解析帯域毎に算定する第２補正値算定手段と、各解析期間の第１補正値を当該解析期間の各特徴値に作用させる第１補正手段と、各解析帯域の第２補正値を当該解析帯域の各特徴値に作用させる第２補正手段とを含んで構成される。第２態様の具体例は第２実施形態として後述される。

第２態様においては、特徴算定手段が算定した特徴値について、時間軸の方向の分布が第１補正値で補正され、周波数軸の方向の分布が第２補正値で補正される。したがって、例えば時間軸の方向の分布を強調するとともに周波数軸の方向の分布を平準化したリズム特徴量を算定するという具合に、多様な要求に沿ったリズム特徴量を生成することが可能となる。なお、第２態様は、特徴量抽出手段が第１補正値算定手段と第１補正手段とを含む構成（第２補正値算定手段や第２補正手段の有無は不問）と、特徴量抽出手段が第２補正値算定手段と第２補正手段とを含む構成（第１補正値算定手段や第１補正手段の有無は不問）とに区分され得る。

本発明は、以上の各形態で音響信号毎に生成されたリズム特徴量を相互に比較する楽曲解析装置としても特定され得る。楽曲間のリズムの比較に好適な楽曲解析装置は、楽曲の音響信号を区分した複数の単位期間を含むように当該楽曲の拍点の間隔を分割した複数の解析期間の各々と周波数軸上の複数の解析帯域の各々とに対応する解析単位毎に、音響信号の各単位期間のスペクトルのうち当該解析単位内の複数の成分値に応じた特徴値を配列したリズム特徴量を、第１音響信号および第２音響信号の各々について記憶する記憶手段と、第１音響信号および第２音響信号の各々のリズム特徴量を比較することで、第１音響信号と第２音響信号とのリズムの類否を示す類否指標値を算定する特徴比較手段とを具備する。以上の態様においては、複数の単位期間を含む解析期間を時間軸上の単位としてリズム特徴量の特徴値が算定されるから、単位期間毎に特徴値を算定する構成と比較して記憶手段に必要な容量が削減されるという利点がある。また、楽曲の拍点を基準として解析期間が画定されるから、複数の音響信号のテンポが相違する場合でも、双方を共通の時間軸のもとで対比することが可能である。したがって、特徴比較手段による処理の負荷が軽減されるという利点もある。

以上の各態様に係る楽曲解析装置は、楽曲の解析に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、楽曲の音響信号の単位期間毎にスペクトルを取得するスペクトル取得処理と、音響信号の拍点を特定する拍点特定処理と、複数の単位期間を含むように拍点の間隔を分割した複数の解析期間の各々と周波数軸上の複数の解析帯域の各々とに対応する解析単位毎に当該解析単位内のスペクトルの複数の成分値に応じた特徴値を算定する特徴算定処理を含み、解析単位毎の特徴値を配列したリズム特徴量を生成する特徴量抽出処理とをコンピュータに実行させる。以上のプログラムによれば、本発明に係る楽曲解析装置と同様の作用および効果が実現される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。

本発明の第１実施形態に係る楽曲解析装置のブロック図である。 信号解析部のブロック図である。 解析単位とリズム特徴量との関係を示す模式図である。 リズム画像の模式図である。 特徴比較部のブロック図である。 特徴比較部の動作の説明図である。 第２実施形態における信号解析部のブロック図である。 信号解析部の動作の説明図である。 特徴比較部のブロック図である。

＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態に係る楽曲解析装置１００のブロック図である。楽曲解析装置１００は、楽曲のリズム（各楽音の時間的な配列の構造）を解析する装置であり、演算処理装置１２と記憶装置１４と表示装置１６とを具備するコンピュータシステムで実現される。

記憶装置１４は、演算処理装置１２が実行するプログラムＰGMや演算処理装置１２が使用する各種のデータを記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置１４として任意に採用され得る。

図１に示すように、記憶装置１４は、音響信号Ｘ1および音響信号Ｘ2を記憶する。音響信号Ｘi（ｉ＝１，２）は、楽曲を構成する楽音（歌唱音や演奏音）の時間波形を表す信号であり、楽曲のうちリズムを特定可能な時間長の区間（例えば楽曲の小節の所定個分）について用意される。音響信号Ｘ1と音響信号Ｘ2とはリズムが相違し得る。例えば、音響信号Ｘ1と音響信号Ｘ2とは、リズムが相違する別個の楽曲の一部分を表す。ただし、音響信号Ｘ1と音響信号Ｘ2とが単一の楽曲内の別個の部分を表す構成や、音響信号Ｘiが楽曲の全体を表す構成も採用され得る。

演算処理装置１２は、記憶装置１４に記憶されたプログラムＰGMの実行で、各音響信号Ｘiのリズムの解析や比較に必要な複数の機能（信号解析部２２，表示制御部２４，特徴比較部２６）を実現する。信号解析部２２は、音響信号Ｘiのリズムの特徴を示すリズム特徴量Ｒi（Ｒ1，Ｒ2）を生成する。表示制御部２４は、信号解析部２２が生成したリズム特徴量Ｒiを表示装置１６（例えば液晶表示装置）に画像として表示させる。特徴比較部２６は、音響信号Ｘ1のリズム特徴量Ｒ1と音響信号Ｘ2のリズム特徴量Ｒ2とを比較する。なお、演算処理装置１２の各機能を専用の電子回路（DSP）で実現した構成や、演算処理装置１２の各機能を複数の集積回路に分散した構成も採用され得る。

図２は、信号解析部２２のブロック図である。図２に示すように、信号解析部２２は、スペクトル取得部３２と拍点特定部３４と特徴量抽出部３６とを含んで構成される。スペクトル取得部３２は、音響信号Ｘiを時間軸上で区分した所定長の単位期間（フレーム）ＦR毎に周波数領域のスペクトル（例えばパワースペクトル）ＰXを生成する。

図３の部分(A)は、スペクトル取得部３２が生成するスペクトルＰXの時系列（すなわちスペクトログラム）の模式図である。図３の部分(A)に示すように、音響信号Ｘiの各単位期間ＦRのスペクトルＰXは、周波数軸上の相異なる周波数に対応する複数の成分値（パワー）ｃの数値列である。単位期間ＦR毎のスペクトルＰXの生成には例えば短時間フーリエ変換等の公知の周波数分析が任意に採用され得る。

図２の拍点特定部３４は、音響信号Ｘiの拍点Ｂを特定する。拍点Ｂは、楽曲のリズムの基礎となる時間軸上の時点であり、図３の部分(A)に示すように、基本的には時間軸上に等間隔に設定される。拍点Ｂの検出には公知の技術が任意に採用される。例えば、拍点特定部３４は、時間軸上で音響信号Ｘiの音量が極大となる略等間隔の時点を拍点Ｂとして特定する。また、利用者が入力装置（図示略）の操作で音響信号Ｘi上の拍点Ｂを指定する構成も採用され得る。

図２の特徴量抽出部３６は、スペクトル取得部３２が生成した各スペクトルＰXと拍点特定部３４が特定した各拍点Ｂとを利用して音響信号Ｘiのリズム特徴量Ｒiを生成する。リズム特徴量Ｒiは、図３の部分(B)に示すように、特徴値ｒi[m,n]（ｍ＝１〜Ｍ，ｎ＝１〜Ｎ）を縦Ｍ行×横Ｎ列にわたって配列した行列として表現される。第１実施形態の特徴量抽出部３６は、特徴値ｒi[m,n]（ｒi[1,1]〜ｒi[M,N]）を算定する特徴算定部３８を含んで構成される。

特徴算定部３８は、図３の部分(A)に示すように、時間-周波数平面内にＭ×Ｎ個の行列状に配列する領域（以下「解析単位」という）Ｕ[1,1]〜Ｕ[M,N]を画定し、各解析単位Ｕ[m,n]についてリズム特徴量Ｒiの特徴値ｒi[m,n]（ｒi[1,1]〜ｒi[M,N]）を算定する。解析単位Ｕ[m,n]は、周波数軸上に設定されたＭ個の帯域（以下「解析帯域」という）σF[1]〜σF[M]のうちの第ｍ番目の解析帯域σF[m]と、時間軸上に設定されたＮ個の期間（以下「解析期間」という）σT[1]〜σT[N]のうちの第ｎ番目の解析期間σT[n]との交差に対応する領域である。

図３の部分(A)に示すように、特徴算定部３８は、各解析帯域σF[m]が１個のスペクトルＰXの複数の成分値ｃを含むように周波数軸上にＭ個の解析帯域σF[1]〜σF[M]を設定する。具体的には、解析帯域σF[1]〜σF[M]の各々は、１オクターブに相当する帯域幅に設定される。なお、解析帯域σF[1]〜σF[M]の各々を１オクターブの整数倍や１オクターブの整数分の１の帯域幅に設定した構成も採用され得る。

また、特徴算定部３８は、時間軸上で相前後する各拍点Ｂの間隔をｋ個（ｋは２以上の自然数）に等分することで時間軸上にＮ個の解析期間σT[1]〜σT[N]を設定する。したがって、解析期間σT[n]の総数Ｎは、拍点特定部３４が特定した拍点Ｂの総数ＮBを利用して｛(ＮB−１)×ｋ｝と表現される。図３の部分(A)に示すように、各解析期間σT[n]は、複数の単位期間ＦRを含んで構成される。

例えば、解析期間σT[1]〜σT[N]の各々は、音響信号Ｘiの各拍点Ｂの間隔を１６等分（ｋ＝１６）した期間長に設定される。相前後する各拍点Ｂの間隔が楽曲の４分音符の時間長に相当する場合を想定すると、各拍点Ｂの間隔の１６等分で画定される１個の解析期間σT[n]は、楽曲の６４分音符の時間長に相当する。したがって、解析期間σT[n]の時間長（解析期間σT[n]内の単位区間ＦRの個数）は、音響信号Ｘiが表す楽曲のテンポに応じて変化する。すなわち、楽曲のテンポが速い（各拍点Ｂの間隔が短い）ほど解析期間σT[n]は短い時間長に設定される。

図２の特徴算定部３８は、音響信号ＸiのスペクトルＰXの時系列のうち解析単位Ｕ[m,n]に属する複数の成分値ｃからリズム特徴量Ｒiの特徴値ｒi[m,n]（ｒi[1,1]〜ｒi[M,N]）を算定する。具体的には、特徴算定部３８は、解析期間σT[n]内の各単位期間ＦRのスペクトルＰXのうち解析帯域σF[m]内の複数の成分値ｃの平均値（相加平均）を特徴値ｒi[m,n]として算定する。したがって、音響信号Ｘiのうち解析帯域σF[m]の成分の解析期間σT[n]での強度が高いほど特徴値ｒi[m,n]は大きい数値に設定される。

図１の信号解析部２２は、音響信号Ｘ1および音響信号Ｘ2の各々について以上の手順でリズム特徴量Ｒi（Ｒ1，Ｒ2）を順次に生成する。信号解析部２２が生成したリズム特徴量Ｒiは記憶装置１４に格納される。

表示制御部２４は、信号解析部２２が生成したリズム特徴量Ｒi（Ｒ1，Ｒ2）を模式的に表現した図４の画像（以下「リズム画像」という）Ｇiを表示装置１６に表示させる。図４に例示された各リズム画像Ｇiは、各解析単位Ｕ[m,n]に対応する単位図形ｕ[m,n]を、相互に直交する時間軸（横軸）と周波数軸（縦軸）とに沿って縦Ｍ行×横Ｎ列の行列状に配列した画像である。図４に示すように、音響信号Ｘ1のリズム特徴量Ｒ1のリズム画像Ｇ1と音響信号Ｘ2のリズム特徴量Ｒ2のリズム画像Ｇ2とが共通の時間軸のもとで並列に表示される。したがって、利用者は、音響信号Ｘ1と音響信号Ｘ2とのリズムの類否を視覚的に評価することが可能である。

各リズム画像Ｇiにおいて第ｍ行の第ｎ列に位置する単位図形ｕ[m,n]の表示態様（色相や階調）は、リズム特徴量Ｒi内の特徴値ｒi[m,n]に応じて可変に設定される。図４では、各特徴値ｒi[m,n]が単位図形ｕ[m,n]の階調で便宜的に表現されている。以上のように、特徴値ｒi[m,n]を表現した単位図形ｕ[m,n]が、時間-周波数平面での解析単位Ｕ[m,n]の配列に対応するように行列状に配置されるから、各解析帯域σF[n]内の楽音が発生する時点（解析期間σT[n]）と楽音の強度（特徴値ｒi[m,n]）との組合せ（すなわちリズムのパターン）を利用者が直感的に把握できるという利点がある。

また、特徴値ｒi[m,n]の時間軸上の単位となる解析期間σT[n]は楽曲の拍点Ｂを基準に設定されるから、音響信号Ｘ1と音響信号Ｘ2とで楽曲のテンポが相違する場合でも、時間軸の方向における各単位図形ｕ[m,n]の位置や寸法（横幅）はリズム画像Ｇ1とリズム画像Ｇ2とで共通する。したがって、音響信号Ｘ1と音響信号Ｘ2とでテンポが相違する場合でも両者のリズムを容易に対比できるという利点がある。

図１の特徴比較部２６は、音響信号Ｘ1のリズム特徴量Ｒ1（ｒ1[1,1]〜ｒ1[M,N]）と音響信号Ｘ2のリズム特徴量Ｒ2（ｒ2[1,1]〜ｒ2[M,N]）とを比較することで、音響信号Ｘ1と音響信号Ｘ2とのリズムの類否の尺度となる数値（以下「類否指標値」という）Ｑを算定する。図５は、特徴比較部２６のブロック図であり、図６は、特徴比較部２６の動作の説明図である。図５に示すように、特徴比較部２６は、差分算定部４２と第１補正値算定部４４と第２補正値算定部４６と第１補正部５２と第２補正部５４と指標算定部５６とを含んで構成される。図６では、特徴比較部２６の各要素の処理に該当する箇所に当該要素の符号が付記されている。

図５の差分算定部４２は、リズム特徴量Ｒ1とリズム特徴量Ｒ2との差分に相当する差分値系列ＤAを生成する。差分値系列ＤAは、図６に示すように、要素値ｄA[1,1]〜ｄA[M,N]を縦Ｍ行×横Ｎ列にわたって配列した行列である。要素値ｄA[m,n]は、以下の数式(A1)に示すように、リズム特徴量Ｒ1の特徴値ｒ1[m,n]とリズム特徴量Ｒ2の特徴値ｒ2[m,n]との差分δ[m,n]（δ[m,n]＝ｒ1[m,n]−ｒ2[m,n]）から平均値ｒA[m]を減算した数値の絶対値である。平均値ｒA[m]は、解析帯域σF[m]に対応するＮ個の差分δ[m,1]〜δ[m,N]の平均（時間平均）を意味する。
ｄA[m,n]＝|δ[m,n]−ｒA[m]｜ ……(A1)

図５の第１補正値算定部４４は、音響信号Ｘ1および音響信号Ｘ2の各々について補正値系列ＡTi（ＡT1，ＡT2）を生成する。図６に示すように、補正値系列ＡTiは、解析期間σT[1]〜σT[N]に対応するＮ個の補正値ａTi[1]〜ａTi[N]の数値列である。補正値系列ＡTiの第ｎ番目の補正値ａTi[n]は、音響信号Ｘiのリズム特徴量Ｒiのうち解析期間σT[n]に対応するＭ個の特徴値ｒi[1,n]〜ｒi[M,n]に応じて算定される。例えば、Ｍ個の特徴値ｒi[1,n]〜ｒi[M,n]の加算値または平均値が補正値ａTi[n]として算定される。したがって、音響信号Ｘiの全帯域にわたる解析期間σT[n]での強度（音量）が大きいほど補正値系列ＡTiの補正値ａTi[n]は大きい数値となる。

図５の第２補正値算定部４６は、音響信号Ｘ1および音響信号Ｘ2の各々について補正値系列ＡFi（ＡF1，ＡF2）を生成する。図６に示すように、補正値系列ＡFiは、解析帯域σF[1]〜σF[M]に対応するＭ個の補正値ａFi[1]〜ａFi[M]の数値列である。補正値系列ＡFiの第ｍ番目の補正値ａFi[m]は、音響信号Ｘiのリズム特徴量Ｒiのうち解析帯域σF[m]に対応するＮ個の特徴値ｒi[m,1]〜ｒi[m,N]に応じて算定される。例えば、Ｎ個の特徴値ｒi[m,1]〜ｒi[m,N]の平均値ｒA1[m]を各々から減算したＮ個の数値（平均値ｒA1[m]との差分値の系列）ｒi'[m,1]〜ｒi'[m,N]（ｒi'[m,n]＝ｒi[m,n]−ｒA1[m]）の絶対値の平均値または加算値が補正値ａFi[m]として算定される。したがって、音響信号Ｘiの全期間にわたる解析帯域σF[m]内の成分の強度が大きいほど補正値系列ＡFiの補正値ａFi[m]は大きい数値となる。

図５の第１補正部５２は、第１補正値算定部４４が生成した補正値系列ＡT1および補正値系列ＡT2を、差分算定部４２が生成した差分値系列ＤAに作用させることで、差分値系列ＤB（要素値ｄB[1,1]〜ｄB[M,N]で構成される縦Ｍ行×横Ｎ列の行列）を生成する。具体的には、以下の数式(A2)および図６に示すように、差分値系列ＤBの第ｎ列の各要素値ｄB[m,n]は、補正値系列ＡT1と補正値系列ＡT2との加算値（ａT1[n]＋ａT2[n]）を差分値系列ＤAの第ｎ列の要素値ｄA[m,n]に乗算した数値に設定される。したがって、差分値系列ＤBの要素値ｄB[m,n]は、解析期間σT[n]における音響信号Ｘ1または音響信号Ｘ2の強度が高いほど、差分値系列ＤAの要素値ｄA[m,n]と比較して大きい数値に強調される。すなわち、第１補正部５２は、時間軸の方向に配列する要素値ｄA[m,1]〜ｄA[m,N]の分布を補正する要素として機能する。
ｄB[m,n]＝ｄA[m,n]×(ａT1[n]＋ａT2[n]) ……(A2)

図５の第２補正部５４は、第２補正値算定部４６が生成した補正値系列ＡF1および補正値系列ＡF2を第１補正部５２による補正後の差分値系列ＤBに作用させることで差分値系列ＤCを生成する。差分値系列ＤCは、図６に示すように、要素値ｄC[1,1]〜ｄC[M,N]で構成される縦Ｍ行×横Ｎ列の行列として表現される。以下の数式(A3)および図６に示すように、差分値系列ＤCの要素値ｄC[m,n]は、補正値系列ＡF1と補正値系列ＡF2の加算値（ａF1[m]＋ａF2[m]）で差分値系列ＤBの要素値ｄB[m,n]を除算した数値に設定される。したがって、差分値系列ＤCにおける解析帯域σF[m]毎の要素値ｄC[m,n]の相違（偏在）は、差分値系列ＤBの要素値ｄB[m,n]と比較して低減（平準化）される。すなわち、第２補正部５４は、周波数軸の方向に配列する要素値ｄB[1,n]〜ｄB[M,n]の分布を補正する要素として機能する。
ｄC[m,n]＝ｄB[m,n]／(ａF1[m]＋ａF2[m]) ……(A3)

以上の説明から理解されるように、音響信号Ｘ1の特徴値ｒ1[m,n]と音響信号Ｘ2の特徴値ｒ2[m,n]との相違が大きいほど、第２補正部５４による補正後の差分値系列ＤCの要素値ｄC[m,n]は大きい数値となる。しかも、差分値系列ＤCでは、各音響信号Ｘiの強度が高い解析期間σT[n]の要素値ｄC[m,n]ほど強調され、かつ、各音響信号Ｘiでの解析帯域σF[m]毎の強度の差異の影響が低減される。

図５の指標算定部５６は、第２補正部５４による補正後の差分値系列ＤC（要素値ｄC[1,1]〜ｄC[M,N]）から類否指標値Ｑを算定する。具体的には、指標算定部５６は、解析帯域σF[m]毎のＮ個の要素値ｄC[m,1]〜ｄC[m,N]の平均値（加算値）をＭ個の解析帯域σF[1]〜σF[M]について加算または平均することで類否指標値Ｑ（１個のスカラ値）を算定する。以上の説明から理解されるように、音響信号Ｘ1のリズム特徴量Ｒ1と音響信号Ｘ2のリズム特徴量Ｒ2とが類似するほど類否指標値Ｑは小さい数値となる。指標算定部５６が算定した類否指標値Ｑは、例えば表示装置１６に表示される。利用者は、類否指標値Ｑを確認することで音響信号Ｘ1と音響信号Ｘ2とのリズムの類否を認識する。

以上の形態においては、複数の単位期間ＦRで構成される解析期間σT[n]を時間軸上の単位としてリズム特徴量ＲiのＮ個の特徴値ｒi[m,n]（ｒi[m,1]〜ｒi[m,N]）が算定されるから、単位期間ＦR毎にリズムの特徴値を算定する構成と比較してリズム特徴量Ｒiのデータ量が削減されるという利点がある。しかも、解析期間σT[n]は楽曲の拍点Ｂを基準として（すなわち、各拍点Ｂの間隔の等分で）設定されるから、音響信号Ｘ1と音響信号Ｘ2とでテンポが相違する場合でも、リズム特徴量Ｒ1とリズム特徴量Ｒ2とを共通の時間軸のもとで対比することが可能である。すなわち、リズムの比較の対象となる各音響信号の時間軸を整合させるために非特許文献１の技術で必要となる音響信号の伸縮処理（例えばＤＰマッチング）は、第１実施形態では原理的には不要である。したがって、楽曲間のリズムの比較に必要な処理の負荷が軽減されるという利点がある。

また、以上の形態では、スペクトルＰXの複数の成分値ｃを含む帯域幅の解析帯域σF[m]を周波数軸上の単位としてリズム特徴量ＲiのＭ個の特徴値ｒi[m,n]（ｒi[1,n]〜ｒi[M,n]）が算定されるから、周波数軸上の各成分値ｃをリズム特徴量Ｒiとする構成と比較してデータ量が削減されるという利点がある。しかも、第１実施形態では解析帯域σF[m]が１オクターブに設定されるから、音域が相違する各楽器のリズムをリズム特徴量Ｒiから容易に把握できるという利点がある。

＜Ｂ：第２実施形態＞
次に、本発明の第２実施形態について説明する。第１実施形態では、信号解析部２２が生成したリズム特徴量Ｒiを、特徴比較部２６による比較時に補正値系列ＡTiおよび補正値系列ＡFiで補正した。第２実施形態では、補正値系列ＡTiおよび補正値系列ＡFiによる補正後のリズム特徴量Ｒiを信号解析部２２が生成する。なお、以下の各例示において作用や機能が第１実施形態と同等である要素については、以上で参照した符号を流用して各々の詳細な説明を適宜に省略する。

図７は、第２実施形態における特徴量抽出部３６Aのブロック図であり、図８は、特徴量抽出部３６Aの動作の説明図である。図７に示すように、第２実施形態の特徴量抽出部３６Aは、第１補正値算定部６２と第２補正値算定部６４と第１補正部６６と第２補正部６８とを第１実施形態の特徴量抽出部３６（特徴算定部３８）に追加した構成である。特徴算定部３８は、第１実施形態での特徴値ｒi[1,1]〜ｒi[M,N]の算定と同様の方法でリズム特徴量ＲAiの特徴値ｒAi[1,1]〜ｒAi[M,N]を生成する。第１実施形態のリズム特徴量Ｒi（特徴値ｒi[m,n]）と第２実施形態のリズム特徴量ＲAｉ（特徴値ｒAi[m,n]）とは同様であるが、説明の便宜のために形式的に符号を相違させている。

図７の第１補正値算定部６２は、図８に示すように、第１実施形態の第１補正値算定部４４と同様の方法で、リズム特徴量ＲAiに応じた補正値系列ＡTi（第１補正値ａTi[1]〜ａTi[N]の系列）を生成する。すなわち、補正値系列ＡTiの第ｎ番目の補正値ａTi[n]は、第１実施形態と同様に、リズム特徴量ＲAiの第ｎ列のＭ個の特徴値ｒAi[1,n]〜ｒAi[M,n]の平均または加算で算定される。したがって、音響信号Ｘiの全帯域にわたる解析期間σT[n]での強度（音量）が大きいほど補正値系列ＡTiの補正値ａTi[n]は大きい数値となる。

図７の第２補正値算定部６４は、図８に示すように、第１実施形態の第２補正値算定部４６と同様の方法で、リズム特徴量ＲAiに応じた補正値系列ＡFi（第２補正値ａFi[1]〜ａFi[M]の系列）を生成する。すなわち、補正値系列ＡFiの第ｍ番目の補正値ａFi[m]は、第１実施形態と同様に、リズム特徴量ＲAiの第ｍ行のＮ個の特徴値ｒAi[m,1]〜ｒAi[m,N]の平均または加算で算定される。したがって、音響信号Ｘiの全期間にわたる解析帯域σF[m]の成分の強度が大きいほど補正値系列ＡFiの補正値ａFi[m]は大きい数値となる。

図７の第１補正部６６は、図８に示すように、第１補正値算定部６２が生成した補正値系列ＡTiを特徴算定部３８が生成したリズム特徴量ＲAiに作用させることでリズム特徴量ＲBi（特徴値ｒBi[1,1]〜ｒBi[M,N]で構成される縦Ｍ行×横Ｎ列の行列）を生成する。具体的には、リズム特徴量ＲBiの第ｎ列の各特徴値ｒBi[m,n]は、補正値系列ＡTiの補正値ａTi[n]をリズム特徴量ＲAiの第ｎ列の特徴値ｒAi[m,n]に乗算した数値に設定される（ｒBi[m,n]＝ｒAi[m,n]×ａTi[n]）。したがって、リズム特徴量ＲBiの特徴値ｒBi[m,n]は、解析期間σT[n]における音響信号Ｘiの強度が高いほど、リズム特徴量ＲAiの特徴値ｒAi[m,n]と比較して大きい数値に強調される。すなわち、第１補正部６６は、リズム特徴量ＲAiにおける特徴値ｒAi[m,1]〜ｒAi[m,N]の分布を補正する要素として機能する。

図７の第２補正部６８は、図８に示すように、第２補正値算定部６４が生成した補正値系列ＡFiを第１補正部６６による補正後のリズム特徴量ＲBiに作用させることでリズム特徴量Ｒi（特徴値ｒi[1,1]〜ｒi[M,N]で構成される縦Ｍ行×横Ｎ列の行列）を生成する。具体的には、リズム特徴量Ｒiの第ｍ行の各特徴値ｒi[m,n]は、リズム特徴量ＲBiの特徴値ｒBi[m,n]を補正値系列ＡFiの補正値ａFi[m]で除算した数値に設定される（ｒi[m,n]＝ｒBi[m,n]／ａFi[m]）。したがって、リズム特徴量Ｒiにおける解析帯域σF[m]毎の特徴値ｒi[m,n]の相違は、リズム特徴量ＲBiの特徴値ｒBi[m,n]と比較して低減（平準化）される。すなわち、第２補正部６８は、リズム特徴量ＲBiにおける特徴値ｒBi[1,n]〜ｒBi[M,n]の分布を補正する要素として機能する。

信号解析部２２（特徴量抽出部３６）が以上の手順で生成した音響信号Ｘ1のリズム特徴量Ｒ1および音響信号Ｘ2のリズム特徴量Ｒ2が記憶装置１４に記憶される。表示制御部２４は、各リズム特徴量Ｒiに対応するリズム画像Ｇi（図４）を第１実施形態と同様に表示装置１６に表示させる。また、特徴比較部２６は、音響信号Ｘ1のリズム特徴量Ｒ1と音響信号Ｘ2のリズム特徴量Ｒ2との比較で類否指標値Ｑを算定する。

図９は、第２実施形態の特徴比較部２６Aのブロック図である。図９に示すように、特徴比較部２６Aは、差分算定部４２と指標算定部５６とを具備する。すなわち、第２実施形態の特徴比較部２６Aは、第１補正値算定部４４と第２補正値算定部４６と第１補正部５２と第２補正部５４とを第１実施形態の特徴比較部２６（図５）から省略した構成である。

図９の差分算定部４２は、リズム特徴量Ｒ1とリズム特徴量Ｒ2との差分に相当する差分値系列ＤA（要素値ｄA[1,1]〜ｄA[M,N]で構成される縦Ｍ行×横Ｎ列の行列）を生成する。差分値系列ＤAの生成の方法は第１実施形態と同様である。指標算定部５６は、差分算定部４２が生成した差分値系列ＤAから類否指標値Ｑを算定する。具体的には、指標算定部５６は、差分値系列ＤAにおける解析帯域σF[m]毎のＮ個の要素値ｄA[m,1]〜ｄA[m,N]の平均値（加算値）をＭ個の解析帯域σF[1]〜σF[M]について加算または平均することで類否指標値Ｑを算定する。したがって、第１実施形態と同様に、音響信号Ｘ1のリズム特徴量Ｒ1と音響信号Ｘ2のリズム特徴量Ｒ2とが類似するほど類否指標値Ｑは小さい数値となる。第２実施形態においても第１実施形態と同様の効果が実現される。

＜Ｃ：変形例＞
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は適宜に併合され得る。

（１）変形例１
特徴算定部３８による特徴値ｒi[m,n]（第２実施形態では特徴値ｒAi[m,n]）の算定の方法は、解析単位Ｕ[m,n]内の複数の成分値ｃの平均（相加平均）に限定されない。例えば、解析単位Ｕ[m,n]内の複数の成分値ｃの加重和や加算値や中央値を特徴値ｒi[m,n]として算定する構成も採用され得る。例えば、時間軸上で拍点Ｂに近い単位期間ＦRの成分値ｃほど加重値を大きい数値に設定して各成分値ｃの加重和を特徴値ｒi[m,n]として算定する構成によれば、拍点Ｂの近傍の楽音の影響を強調したリズム特徴量Ｒiを生成できるという利点がある。以上の各例示から理解されるように、特徴算定部３８は、解析単位Ｕ[m,n]内の複数の成分値ｃに応じた特徴値ｒi[m,n]を算定する要素として包括される。

（２）変形例２
補正値系列ＡTiを適用した補正の方法は以上の例示に限定されない。例えば、第１実施形態では、補正値系列ＡTiの第１補正値ａTi[n]（ａT1[n]＋ａT2[n]）を差分値系列ＤAの要素値ｄA[m,n]に加算する構成が採用され得る。第２実施形態でも同様に、補正値系列ＡTiの第１補正値ａTi[n]をリズム特徴量ＲAiの特徴値ｒAi[m,n]に加算する構成が採用され得る。補正値系列ＡFiを適用した補正の方法も以上の例示に限定されない。例えば、第１実施形態では、補正値系列ＡFiの第２補正値ａFi[m]（ａF1[m]＋ａF2[m]）を差分値系列ＤBの要素値ｄB[m,n]から減算する構成が採用され得る。また、第２実施形態では、補正値系列ＡFiの第２補正値ａFi[m]をリズム特徴量ＲBiの特徴値ｒBi[m,n]から減算する構成が採用され得る。

また、第１実施形態では、要素値ｄB[m,n]の解析帯域σF[m]毎の差異（偏在）を低減するために要素値ｄB[m,n]を第２補正値ａFi[m]で除算したが、要素値ｄB[m,n]に対して第２補正値ａFi[m]を乗算または加算することで、要素値ｄB[m,n]の解析帯域σF[m]毎の差異（偏在）を強調する構成も採用され得る。第２実施形態においても同様であり、例えば、リズム特徴量ＲBiの特徴値ｒBi[m,n]に第２補正値ａFi[m]を乗算または加算することで、特徴値ｒBi[m,n]の解析帯域σF[m]毎の差異を強調する構成も採用され得る。

（３）変形例３
第１実施形態において、第１補正部５２による補正（補正値系列ＡTiの乗算）と第２補正部５４による補正（補正値系列ＡFiの除算）との順序は逆転され得る。また、補正値系列ＡTiを適用した補正（第１補正値算定部４４および第１補正部５２）と補正値系列ＡFiを適用した補正（第２補正値算定部４６および第２補正部５４）との片方または双方は省略され得る。第２実施形態においても同様に、第１補正部６６と第２補正部６８とを逆転させた構成や、補正値系列ＡTiによる補正および補正値系列ＡFiによる補正の片方または双方を省略した構成が採用され得る。

（４）変形例４
以上の各形態ではスペクトル取得部３２が音響信号ＸiからスペクトルＰXを生成したが、単位期間ＦR毎のスペクトルＰXを取得する方法は任意である。例えば、音響信号Ｘiの単位期間ＦR毎のスペクトルＰXが記憶装置１４に格納された構成（したがって音響信号Ｘiの記憶は省略され得る）では、スペクトル取得部３２は、記憶装置１４から各スペクトルＰXを取得する。なお、記憶装置１４に音響信号Ｘiが記憶されない構成では、単位期間ＦR毎のスペクトルＰXから音響信号Ｘiの拍点Ｂが特定され得る。

（５）変形例５
以上の各形態では、信号解析部２２および特徴比較部２６の双方を具備する楽曲解析装置１００を例示したが、信号解析部２２および特徴比較部２６の片方のみを具備する楽曲解析装置としても本発明は実現され得る。すなわち、音響信号Ｘiのリズムの解析（リズム特徴量Ｒiの生成）に利用される楽曲解析装置（以下「解析用装置」という）は、以上の各形態の信号解析部２２を具備し、特徴比較部２６を省略した構成である。他方、音響信号Ｘ1と音響信号Ｘ2とのリズムの比較（類否指標値Ｑの算定）に利用される楽曲解析装置（以下「比較用装置」という）は、以上の各形態の特徴比較部２６を具備し、信号解析部２２を省略した構成である。解析用装置の信号解析部２２が生成したリズム特徴量Ｒiは、例えば通信網や可搬型の記録媒体を介して、比較用装置に提供されて記憶装置１４に格納される。比較用装置の特徴比較部２６は、記憶装置１４に記憶された各リズム特徴量Ｒiの比較で類否指標値Ｑを算定する。

１００……楽曲解析装置、１２……演算処理装置、１４……記憶装置、１６……表示装置、２２……信号解析部、２４……表示制御部、２６……特徴比較部、３２……スペクトル取得部、３４……拍点特定部、３６……特徴量抽出部、３８……特徴算定部、４２……差分算定部、４４，６２……第１補正値算定部、４６，６４……第２補正値算定部、５２、６６……第１補正部、５４，６８……第２補正部、５６……指標算定部。

Claims (4)

1. 楽曲の音響信号の単位期間毎にスペクトルを取得するスペクトル取得手段と、
   前記音響信号の拍点を特定する拍点特定手段と、
   複数の前記単位期間を含むように前記拍点の間隔を分割した複数の解析期間の各々と周波数軸上の複数の解析帯域の各々とに対応する解析単位毎に当該解析単位内の前記スペクトルの複数の成分値に応じた特徴値を算定する特徴算定手段を含み、前記解析単位毎の特徴値を含むリズム特徴量を生成する特徴量抽出手段と、
   第１音響信号および第２音響信号の各々について前記特徴量抽出手段が生成したリズム特徴量を比較することで、前記第１音響信号と前記第２音響信号とのリズムの類否を示す類否指標値を算定する特徴比較手段とを具備し、
   前記特徴比較手段は、
   前記第１音響信号のリズム特徴量と前記第２音響信号のリズム特徴量との特徴値の差分に応じた要素値を前記解析単位毎に算定する差分算定手段と、
   前記第１音響信号および前記第２音響信号の各々について、当該音響信号のリズム特徴量のうち相異なる解析帯域に対応する複数の特徴値に応じた第１補正値を解析期間毎に算定する第１補正値算定手段と、
   前記第１音響信号および前記第２音響信号の各々について生成された各解析期間の第１補正値を当該解析期間の前記要素値に作用させる第１補正手段と、
   前記第１補正手段による処理後の各要素値から前記類否指標値を算定する指標算定手段とを含む
   楽曲解析装置。
2. 楽曲の音響信号の単位期間毎にスペクトルを取得するスペクトル取得手段と、
   前記音響信号の拍点を特定する拍点特定手段と、
   複数の前記単位期間を含むように前記拍点の間隔を分割した複数の解析期間の各々と周波数軸上の複数の解析帯域の各々とに対応する解析単位毎に当該解析単位内の前記スペクトルの複数の成分値に応じた特徴値を算定する特徴算定手段を含み、前記解析単位毎の特徴値を含むリズム特徴量を生成する特徴量抽出手段と、
   第１音響信号および第２音響信号の各々について前記特徴量抽出手段が生成したリズム特徴量を比較することで、前記第１音響信号と前記第２音響信号とのリズムの類否を示す類否指標値を算定する特徴比較手段とを具備し、
   前記特徴比較手段は、
   前記第１音響信号のリズム特徴量と前記第２音響信号のリズム特徴量との特徴値の差分に応じた要素値を前記解析単位毎に算定する差分算定手段と、
   前記第１音響信号および前記第２音響信号の各々について、当該音響信号のリズム特徴量のうち相異なる解析期間に対応する複数の特徴値に応じた第２補正値を解析帯域毎に算定する第２補正値算定手段と、
   前記第１音響信号および前記第２音響信号の各々について生成された各解析帯域の第２補正値を当該解析帯域の前記要素値に作用させる第２補正手段と、
   前記第２補正手段による処理後の各要素値から前記類否指標値を算定する指標算定手段とを含む
   楽曲解析装置。
3. 楽曲の音響信号の単位期間毎にスペクトルを取得するスペクトル取得手段と、
   前記音響信号の拍点を特定する拍点特定手段と、
   複数の前記単位期間を含むように前記拍点の間隔を分割した複数の解析期間の各々と周波数軸上の複数の解析帯域の各々とに対応する解析単位毎に当該解析単位内の前記スペクトルの複数の成分値に応じた特徴値を算定する特徴算定手段を含み、前記解析単位毎の特徴値を含むリズム特徴量を生成する特徴量抽出手段とを具備し、
   前記特徴量抽出手段は、
   前記特徴算定手段が算定した特徴値のうち相異なる解析帯域に対応する複数の特徴値に応じた第１補正値を解析期間毎に算定する第１補正値算定手段と、
   前記各解析期間の第１補正値を当該解析期間の各特徴値に作用させる第１補正手段とを含む
   楽曲解析装置。
4. 楽曲の音響信号の単位期間毎にスペクトルを取得するスペクトル取得手段と、
   前記音響信号の拍点を特定する拍点特定手段と、
   複数の前記単位期間を含むように前記拍点の間隔を分割した複数の解析期間の各々と周波数軸上の複数の解析帯域の各々とに対応する解析単位毎に当該解析単位内の前記スペクトルの複数の成分値に応じた特徴値を算定する特徴算定手段を含み、前記解析単位毎の特徴値を含むリズム特徴量を生成する特徴量抽出手段とを具備し、
   前記特徴量抽出手段は、
   前記特徴算定手段が算定した特徴値のうち相異なる解析期間に対応する複数の特徴値に応じた第２補正値を解析帯域毎に算定する第２補正値算定手段と、
   前記各解析帯域の第２補正値を当該解析帯域の各特徴値に作用させる第２補正手段とを含む
   楽曲解析装置。
   

Images