JP5454317B2

JP5454317B2 - 音響解析装置

Info

Publication number: JP5454317B2
Application number: JP2010088354A
Authority: JP
Inventors: 慶太有元; セバスチャンシュトライヒ; ビースァンオン
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2010-04-07
Filing date: 2010-04-07
Publication date: 2014-03-26
Anticipated expiration: 2030-04-07
Also published as: US8853516B2; US20110268284A1; EP2375406A1; EP2375406B1; JP2011221157A

Description

本発明は、音響の特徴を解析する技術に関する。

楽曲の特徴（例えば音色）を解析する技術が従来から提案されている。例えば非特許文献１には、音響信号を所定長毎に区分した各単位期間（フレーム）の特徴量の時系列を楽曲間で比較する技術が開示されている。各単位期間の特徴量は、例えば音響信号の音色の特徴を示すMFCC（Mel-frequency cepstral coefficient）を含んで構成される。楽曲間の特徴量の比較には、楽曲間で相互に対応する時間軸上の箇所を特定するDPマッチング（DTW：Dynamic Time Warping）技術が採用される。

Jouni Paulus and Anssi Klapuri, "Measuring the Similarity of Rhythmic Patterns", Proc. ISMIR 2002, p. 150-156

しかし、非特許文献１の技術のもとでは、音響信号の全体的な特徴を表現するために音響信号の全期間にわたる単位期間毎の特徴量が必要となるから、音響信号の時間長が長い場合には特に、特徴量を示すデータ量が大きいという問題がある。また、音響信号の時間長やテンポとは無関係に設定された単位期間毎に特徴量が抽出されるから、楽曲の特徴を比較する場合には、前述のDPマッチングのような音響信号の伸縮処理が必須であり、処理の負荷が大きいという問題もある。以上の事情を考慮して、本発明は、音響信号の音色の解析に必要なデータ量を削減するとともに音響信号間で音色を比較する処理の負荷を軽減することを目的とする。

以上の課題を解決するために、本発明に係る音響解析装置は、音響信号を時間軸上で区分した各単位期間における単位帯域毎の成分値を時間軸方向および周波数軸方向に配列した成分行列（例えば図５の成分行列Ａ）を取得する成分取得手段と、成分行列と当該成分行列を時間軸方向に移相した移相行列（例えば図５の移相行列Ｂk）との各成分値の差異に応じた要素値で構成される差分行列（例えば図５の差分行列Ｄk）を、成分行列に対する移相量を相違させた複数の移相行列の各々について生成する差分生成手段と、差分行列のうち時間軸方向に配列する複数の要素値に応じた特徴値を単位帯域毎に配列した特徴値系列（例えば図６の特徴値系列Ｅk）を差分行列毎に含む音色特徴量を生成する特徴量抽出手段とを具備する。

以上の構成においては、音響信号の音色の時間変化の傾向が複数の特徴値系列で表現される。したがって、単位期間毎に特徴量を抽出する構成（例えば非特許文献１）と比較して、音響信号の音色の評価に必要なデータ量を削減することが可能である。また、特徴値系列の個数は音響信号の時間長に依存しないから、複数の音響信号の時間長が相違する場合でも、各音響信号の時間軸を整合させる処理を必要とせずに、各音響信号の音色の時間変化を対比できる。したがって、音響信号間の音色の比較に必要な処理の負荷が軽減されるという利点がある。

なお、音響信号の典型例は、楽曲の楽音や音声の収音信号である。なお、「楽曲」とは、複数の音響の時系列を意味し、著作物として一体に創作された楽曲の全体であるか部分であるかは不問である。また、単位帯域の帯域幅は任意であるが、例えば１オクターブに相当する帯域幅に設定され得る。

本発明の好適な態様において、差分生成手段は、成分行列のうち周波数軸方向に配列する複数の成分値に応じた加重値を単位期間毎に配列した加重値系列（例えば図５の加重値系列Ｗ）を生成する加重値生成手段と、成分行列と移相行列との各成分値の差分値で構成される初期差分行列（例えば図５の初期差分行列Ｃk）を生成する差分算定手段と、初期差分行列に加重値系列を作用させて差分行列を生成する補正手段とを具備する。以上の態様においては、初期差分行列に加重値系列を作用させることで、初期差分行列のもとで時間軸方向に配列する各差分値の分布を補正した差分行列が生成される。したがって、例えば、成分行列の成分値が大きい単位期間について成分行列と移相行列との差分を強調した音色特徴量（すなわち音響信号の強度が高い単位期間の音色を特に強調した音色特徴量）を生成できるという利点がある。

本発明の好適な態様において、特徴量抽出手段は、成分行列のうち時間軸方向に配列する複数の成分値に応じた特徴値を単位帯域毎に配列した特徴値系列（例えば図６の特徴値系列ＥK+1）を含む音色特徴量を生成する。以上の態様の音色特徴量は、音響信号の音色の時間変化の傾向を反映した複数の特徴値系列に加えて、音響信号の全体にわたる平均的な音色の傾向（周波数特性）を反映した特徴値系列を含んで構成されるから、音響信号の音色を容易に評価できるという効果は格別に顕著となる。

本発明は、以上の各態様で音響信号毎に生成された音色特徴量を相互に比較する音響解析装置としても特定され得る。音響信号間の音色の比較に好適な音響解析装置は、音響信号を時間軸上で区分した各単位期間における単位帯域毎の成分値を時間軸方向および周波数軸方向に配列した成分行列と、当該成分行列を時間軸方向に移相した移相行列との各成分値の差異に応じた要素値で構成される差分行列のうち、時間軸方向に配列する複数の要素値に応じた特徴値を単位帯域毎に配列した特徴値系列を、成分行列に対する移相量を相違させた複数の移相行列の各々について含む音色特徴量を、第１音響信号および第２音響信号の各々について記憶する記憶手段と、第１音響信号と第２音響信号との音色特徴量を比較することで、第１音響信号と第２音響信号との音色の類否を示す類否指標値を算定する特徴比較手段とを具備する。以上の構成においては、音響信号の音色の時間変化の傾向を複数の特徴値系列で表現することで音色特徴量のデータ量が削減されるから、単位期間毎に特徴量を抽出する構成（例えば非特許文献１）と比較して、記憶手段に必要な容量を低減することが可能である。また、特徴値系列の個数は音響信号の時間長に依存しないから、複数の音響信号の時間長が相違する場合でも、各音響信号の音色の時間変化を容易に対比できる。したがって、特徴比較手段による処理の負荷が軽減されるという利点もある。

以上の各態様に係る音響解析装置は、音響信号の解析に専用されるDSP（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、CPU（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、音響信号を時間軸上で区分した各単位期間における単位帯域毎の成分値を時間軸方向および周波数軸方向に配列した成分行列を取得する成分取得処理と、成分行列と当該成分行列を時間軸方向に移相した移相行列との各成分値の差異に応じた要素値で構成される差分行列を、成分行列に対する移相量を相違させた複数の移相行列の各々について生成する差分生成処理と、差分行列のうち時間軸方向に配列する複数の要素値に応じた特徴値を単位帯域毎に配列した特徴値系列を差分行列毎に含む音色特徴量を生成する特徴量抽出処理とをコンピュータに実行させる。以上のプログラムによれば、本発明に係る音響解析装置と同様の作用および効果が実現される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。

本発明の実施形態に係る音響解析装置のブロック図である。信号解析部のブロック図である。音響信号のスペクトルの時系列と成分行列との関係を示す模式図である。差分生成部のブロック図である。差分生成部の動作の説明図である。特徴量抽出部の動作の説明図である。音色画像の模式図である。

図１は、本発明のひとつの実施形態に係る音響解析装置１００のブロック図である。音響解析装置１００は、楽曲を構成する音響（楽音や音声）の特徴を解析する装置であり、演算処理装置１２と記憶装置１４と表示装置１６とを具備するコンピュータシステムで実現される。

記憶装置１４は、演算処理装置１２が実行するプログラムＰGMや演算処理装置１２が使用する各種のデータを記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置１４として任意に採用され得る。

図１に示すように、記憶装置１４は、音響信号Ｘ（Ｘ1，Ｘ2）を記憶する。音響信号Ｘは、楽曲を構成する音響の時間波形を表す信号であり、例えば楽曲のうち旋律やリズムの区切となる区間（例えば楽曲のうち所定個の小節に相当する区間）について用意される。音響信号Ｘ1および音響信号Ｘ2は、相異なる楽曲の一部分を表す。ただし、音響信号Ｘ1と音響信号Ｘ2とが単一の楽曲内の別個の部分を表す構成や、音響信号Ｘが楽曲の全体を表す構成も採用され得る。

演算処理装置１２は、記憶装置１４に記憶されたプログラムＰGMの実行で、音響信号Ｘの解析に必要な複数の機能（信号解析部２２，表示制御部２４，特徴比較部２６）を実現する。信号解析部２２は、音響信号Ｘの音色の特徴を示す音色特徴量Ｆ（Ｆ1，Ｆ2）を生成する。表示制御部２４は、信号解析部２２が生成した音色特徴量Ｆを表示装置１６（例えば液晶表示装置）に画像として表示させる。特徴比較部２６は、音響信号Ｘ1の音色特徴量Ｆ1と音響信号Ｘ2の音色特徴量Ｆ2とを比較する。なお、演算処理装置１２の各機能を専用の電子回路（DSP）で実現した構成や、演算処理装置１２の各機能を複数の集積回路に分散した構成も採用され得る。

図２は、信号解析部２２のブロック図である。図２に示すように、信号解析部２２は、成分取得部３２と差分生成部３４と特徴量抽出部３６とを含んで構成される。成分取得部３２は、音響信号Ｘの周波数特性の時間変化を示す成分行列Ａを生成する。図２に示すように、成分取得部３２は、周波数分析部３２２と行列生成部３２４とを含んで構成される。

周波数分析部３２２は、音響信号Ｘを所定の時間毎に区分したＮ個の単位期間（フレーム）σT[1]〜σT[N]の各々について周波数領域のスペクトルＰXを生成する（Ｎは２以上の自然数）。図３の部分(A)は、周波数分析部３２２が生成するスペクトルＰXの時系列（スペクトログラム）の模式図である。図３の部分(A)に示すように、音響信号ＸのスペクトルＰXは、音響信号Ｘの周波数毎の成分値（強度）ｘを周波数軸上に配列したパワースペクトルである。なお、各単位期間σT[n]（ｎ＝１〜Ｎ）は所定の時間長に設定されるから、単位期間σT[n]の総数Ｎは音響信号Ｘの時間長に応じて変化する。周波数分析部３２２によるスペクトルＰXの生成には例えば短時間フーリエ変換等の公知の周波数分析が任意に採用され得る。

図２の行列生成部３２４は、周波数分析部３２２が生成したスペクトルＰXの時系列から成分行列Ａを生成する。図３の部分(B)に示すように、成分行列Ａは、成分値ａ[1,1]〜ａ[M,N]を要素とする縦Ｍ行×横Ｎ列の行列である（Ｍは２以上の自然数）。行列生成部３２４は、図３の部分(A)に示すように、周波数軸上にＭ個の単位帯域σF[1]〜σF[M]を画定し、時間軸上の第ｎ番目の単位期間σT[n]のスペクトルＰXのうち第ｍ番目の単位帯域σF[m]内の複数の成分値ｘに応じて成分行列Ａの成分値ａ[m,n]を算定する。例えば、単位帯域σF[m]内の複数の成分値ｘの平均値（相加平均）が成分値ａ[m,n]として算定される。以上の説明から理解されるように、成分行列Ａは、音響信号Ｘの各単位期間σT[n]内における単位帯域σF[m]毎の平均強度に相当する成分値ａ[m,n]を、周波数軸方向（縦方向）および時間軸方向（横方向）に縦Ｍ行×横Ｎ列に配列した行列である。単位帯域σF[1]〜σF[M]の各々は、１オクターブに相当する帯域幅に設定される。

図２の差分生成部３４は、相異なるＫ個の差分行列Ｄ1〜ＤKを成分行列Ａから生成する（Ｋは２以上の自然数）。図４は、差分生成部３４のブロック図であり、図５は、差分生成部３４の動作の説明図である。図４に示すように、差分生成部３４は、移相行列生成部４２と差分算定部４４と加重値生成部４６と補正部４８とを含んで構成される。図５では、差分生成部３４の各要素での処理に該当する箇所に当該要素の符号が付記されている。

図４の移相行列生成部４２は、相異なる差分行列Ｄk（ｋ＝１〜Ｋ）に対応するＫ個の移相行列Ｂ1〜ＢKを１個の成分行列Ａから生成する。図５に示すように、移相行列Ｂkは、成分行列Ａの各成分値ａ[m,n]を、移相行列Ｂk毎に相違する移相量ｋΔだけ時間軸方向に移相（シフト）した行列であり、周波数軸方向および時間軸方向に縦Ｍ行×横Ｎ列に配列された成分値ｂk[1,1]〜ｂk[M,N]を含んで構成される。すなわち、移相行列Ｂkのうち第ｍ行の第ｎ列に位置する成分値ｂk[m,n]は、成分行列Ａにおける第ｍ行の第(ｎ＋ｋΔ)列に位置する成分値ａ[m,n+kΔ]に相当する。

移相量ｋΔの単位Δは、例えば単位期間σT[n]の１個分の時間長に設定される。すなわち、移相行列Ｂkは、成分行列Ａの各成分値ａ[m,n]を時間軸方向の手前側（時間の遡及側）に単位期間σT[n]のｋ個分だけ移動した行列である。ただし、成分行列Ａのうち時間軸方向の前縁（第１列）から移相量ｋΔにわたる各列の成分値ａ[m,n]（図５の斜線部）は、移相行列Ｂkにおける時間軸方向の後縁に付加される（circular shift）。すなわち、成分行列Ａの第１行から第ｋΔ列は、移相行列Ｂkの第｛Ｍ−(ｋΔ−１)｝列から第Ｍ列として利用される。例えば、単位Δを単位期間σT[n]の１個分に設定した場合、移相行列Ｂ1は、成分行列Ａの第１列を第Ｍ列に移行することで構成され、移相行列Ｂ2は、成分行列Ａの第１列および第２列を第(Ｍ−１)列および第Ｍ列に移行することで構成される。

図４の差分算定部４４は、成分行列Ａと移相行列Ｂkとの差分に相当する初期差分行列ＣkをＫ個の移相行列Ｂ1〜ＢKの各々について生成する。初期差分行列Ｃkは、差分値ｃk[1,1]〜ｃk[M,N]を周波数軸方向および時間軸方向に縦Ｍ行×横Ｎ列に配列した行列である。図５に示すように、初期差分行列Ｃkの各差分値ｃk[m,n]は、成分行列Ａの成分値ａ[m,n]と移相行列Ｂkの成分値ｂk[m,n]との差分値の絶対値（ｃk[m,n]＝|ａ[m,n]−ｂk[m,n]|）に設定される。移相行列Ｂkは成分行列Ａの移相で生成されるから、時間軸上の各単位期間σT[n]から移相量ｋΔにわたる期間内で音響信号Ｘの単位帯域σF[m]内の成分の強度に変化が大きいほど、初期差分行列Ｃkの差分値ｃk[m,n]は大きい数値に設定される。

図４の加重値生成部４６は、初期差分行列Ｃkの補正に使用される加重値系列Ｗを生成する。加重値系列Ｗは、図５に示すように、相異なる単位期間σT[n]に対応するＮ個の加重値ｗ[1]〜ｗ[N]の系列である。加重値系列Ｗの第ｎ番目の加重値ｗ[n]は、成分行列Ａのうち単位期間σT[n]に対応するＭ個の成分値ａ[1,n]〜ａ[M,n]に応じて設定される。例えば、Ｍ個の成分値ａ[1,n]〜ａ[M,n]の加算値または平均値が加重値ｗ[n]として算定される。したがって、音響信号Ｘの全帯域にわたる単位期間σT[n]での強度（音量）が高いほど加重値ｗ[n]は大きい数値となる。すなわち、加重値ｗ[1]〜ｗ[N]の時系列は、音響信号Ｘの時間波形の包絡線に相当する。

図４の補正部４８は、加重値生成部４６が生成した加重値系列Ｗを各初期差分行列Ｃk（Ｃ1〜ＣK）に作用させることで、相異なる初期差分行列Ｃkに対応するＫ個の差分行列Ｄ1〜ＤKを生成する。差分行列Ｄkは、図５に示すように、要素値ｄk[1,1]〜ｄk[M,N]を周波数軸方向（縦方向）および時間軸方向（横方向）に縦Ｍ行×横Ｎ列に配列した行列である。差分行列Ｄkの要素値ｄk[m,n]は、加重値系列Ｗの第ｎ番目の加重値ｗ[n]を初期差分行列Ｃkの第ｎ列の差分値ｃk[m,n]に乗算した数値に設定される（ｄk[m,n]＝ｗ[n]×ｃk[m,n]）。したがって、差分行列Ｄkの各要素値ｄk[m,n]は、単位期間σT[n]での音響信号Ｘの強度が高いほど、初期差分行列Ｃkの差分値ｃk[m,n]と比較して大きい数値に強調される。すなわち、補正部４８は、単位帯域σF[m]について時間軸方向に配列するＮ個の差分値ｃk[m,1]〜ｃk[m,N]の分布を補正（分布の高低を強調）する要素として機能する。以上が差分生成部３４の具体例である。

図２の特徴量抽出部３６は、成分取得部３２が生成した成分行列Ａと差分生成部３４が生成したＫ個の差分行列Ｄ1〜ＤKとを利用して音響信号Ｘの音色特徴量Ｆ（Ｆ1，Ｆ2）を生成する。図６は、特徴量抽出部３６の動作の説明図である。図６に示すように、特徴量抽出部３６が生成する音色特徴量Ｆは、相異なる差分行列Ｄkに対応するＫ個の特徴値系列Ｅ1〜ＥKと、成分行列Ａに対応する１個の特徴値系列ＥK+1とを配列した縦Ｍ行×横(Ｋ＋１)列の行列である。すなわち、音色特徴量Ｆの行数Ｍおよび列数(Ｋ＋１)は、音響信号Ｘの時間長（単位期間σT[n]の総数Ｎ）に依存しない。

音色特徴量Ｆの第(Ｋ＋１)列に位置する特徴値系列ＥK+1は、相異なる単位帯域σF[m]に対応するＭ個の特徴値ｅK+1[1]〜ｅK+1[M]の系列である。特徴値ｅK+1[m]は、成分取得部３２が生成した成分行列Ａのうち単位帯域σF[m]に対応するＮ個の成分値ａ[m,1]〜ａ[m,N]に応じて設定される。例えば、Ｎ個の成分値ａ[m,1]〜ａ[m,N]の加算値または平均値が特徴値ｅK+1[m]として算定される。したがって、音響信号Ｘの全期間にわたる単位帯域σF[m]の成分の強度が高いほど特徴値ｅK+1[m]は大きい数値に設定される。すなわち、特徴値系列ＥK+1は、音響信号Ｘの全期間にわたる平均的な音色（周波数特性）を示す特徴量として機能する。

特徴値系列Ｅk（Ｅ1〜ＥK）は、相異なる単位帯域σF[m]に対応するＭ個の特徴値ｅk[1]〜ｅk[M]の系列である。特徴値系列Ｅkの第ｍ番目の特徴値ｅk[m]は、差分生成部３４が生成した差分行列Ｄkのうち単位帯域σF[m]に対応するＮ個の要素値ｄk[m,1]〜ｄk[m,N]に応じて設定される。例えば、Ｎ個の要素値ｄk[m,1]〜ｄk[m,N]の加算値または平均値が特徴値ｅk[m]として算定される。以上の説明から理解されるように、単位期間σT[1]〜σT[N]の各々における音響信号Ｘの単位帯域σF[m]内の成分の強度が、当該単位期間σT[n]から移相量ｋΔにわたる期間内で顕著に変化するほど、特徴値ｅk[m]は大きい数値に設定される。したがって、音色特徴量Ｆのもとで各単位帯域σF[m]に対応するＫ個（すなわち横方向に配列するＫ個）の特徴値ｅ1[m]〜ｅK[m]のうち数値の大きい特徴値ｅk[m]が多い場合、音響信号Ｘの単位帯域σF[m]の成分は、短時間で強度が急峻に変動する音響であると評価される。他方、各単位帯域σF[m]に対応するＫ個の特徴値ｅ1[m]〜ｅK[m]のうち数値が小さい特徴値ｅk[m]が多い場合、音響信号Ｘの単位帯域σF[m]の成分は、長時間にわたって強度が余り変化しない音響である（あるいは単位帯域σF[m]の成分が発生していない）と評価される。すなわち、音色特徴量Ｆを構成するＫ個の特徴値系列Ｅ1〜ＥKは、音響信号Ｘの単位帯域σF[m]毎の成分（すなわち音響信号Ｘの音色）の時間変化を示す特徴量として機能する。

以上が図１の信号解析部２２の構成および動作である。信号解析部２２は、音響信号Ｘ1の音色特徴量Ｆ1と音響信号Ｘ2の音色特徴量Ｆ2とを以上の手順で順次に生成する。信号解析部２２が生成した音色特徴量Ｆは記憶装置１４に格納される。

表示制御部２４は、信号解析部２２が生成した音色特徴量Ｆ（Ｆ1，Ｆ2）を模式的に表現した図７の音色画像Ｇ（Ｇ1，Ｇ2）を表示装置１６に表示させる。音響信号Ｘ1の音色特徴量Ｆ1の音色画像Ｇ1と音響信号Ｘ2の音色特徴量Ｆ2の音色画像Ｇ2とを並列に表示した場合が図７では例示されている。

図７に示すように、音色画像Ｇは、音色特徴量Ｆの各特徴値ｅκ[m]（κ＝１〜K+1）に対応する単位図形ｕ[m,κ]を、時間軸に対応する横軸と横軸に直交する周波数軸（縦軸）とに沿って縦Ｍ行×横(Ｋ＋１)列の行列状に配列した画像である。音響信号Ｘ1の音色画像Ｇ1と音響信号Ｘ2の音色画像Ｇ2とは共通の横軸（時間軸）のもとで対比的に表示される。

図７に示すように、音色画像Ｇ1において第ｍ行の第κ列に位置する単位図形u[m,κ]の表示態様（色相や階調）は、音色特徴量Ｆ1内の特徴値ｅκ[m]に応じて可変に設定される。音色画像Ｇ2の各単位図形ｕ[m,κ]の表示態様も同様に、音色特徴量Ｆ2の特徴値ｅκ[m]に応じて可変に設定される。したがって、音色画像Ｇを視認した利用者は、音響信号Ｘ1および音響信号Ｘ2の各々の音色の傾向を直感的に把握および対比することが可能である。

具体的には、音色画像Ｇのうち第(Ｋ＋１)列のＭ個の単位図形ｕ(1,K+1)〜ｕ(M,K+1)（特徴値系列ＥK+1）から、音響信号Ｘの全期間にわたる平均的な音色（周波数特性）の傾向が容易に把握される。また、音色画像Ｇのうち第１列から第Ｋ列の各単位図形ｕ(m,k)から、音響信号Ｘの単位帯域σF[m]毎（すなわち、オクターブ毎）の成分の時間変化の傾向が容易に把握される。各単位図形ｕ[m,κ]の行数Ｍおよび列数(Ｋ＋１)は、各音響信号Ｘの時間長に関わらず音色画像Ｇ1と音色画像Ｇ2とで共通するから、利用者は、音響信号Ｘ1の音色と音響信号Ｘ2の音色とを容易に比較することが可能である。

図１の特徴比較部２６は、音響信号Ｘ1の音色特徴量Ｆ1と音響信号Ｘ2の音色特徴量Ｆ2とを比較することで、音響信号Ｘ1と音響信号Ｘ2との音色の類否の尺度となる数値（以下「類否指標値」という）Ｑを算定する。類否指標値Ｑの算定の方法は任意であるが、例えば、音色特徴量Ｆ1と音色特徴量Ｆ2とで相対応する（すなわち各行列内の同位置にある）各特徴値ｅκ[m]の差分値を算定し、各差分値の絶対値を縦Ｍ行×横(Ｋ＋１)列にわたって加算または平均した数値を類否指標値Ｑとして算定する構成が採用され得る。すなわち、音響信号Ｘ1の音色特徴量Ｆ1と音響信号Ｘ2の音色特徴量Ｆ2とが類似するほど類否指標値Ｑは小さい数値となる。特徴比較部２６が算定した類否指標値Ｑは、例えば図７の音色画像Ｇ（Ｇ1，Ｇ2）とともに表示装置１６に表示される。利用者は、音響信号Ｘ1と音響信号Ｘ2との音色の類否を類否指標値Ｑから定量的に判断することが可能である。

以上の形態においては、音響信号Ｘの全期間にわたる平均的な音色の傾向が特徴系列ＥK+1で表現され、音響信号Ｘの全期間にわたる音色の時間変化の傾向が、移相行列Ｂkの個数（移相量ｋΔの種類数）に相当するＫ個の特徴値系列Ｅ1〜ＥKで表現される。したがって、単位期間σT[n]毎にMFCC等の特徴量を抽出する構成（例えば非特許文献１）と比較して、楽曲の音色の評価に必要なデータ量を削減することが可能である。また、複数の成分値ｘを含む単位帯域σF[m]を周波数軸上の単位として音色特徴量Ｆの各特徴値ｅκ[m]が算定されるから、例えば各成分値ｘに対応する周波数毎に特徴値を算定する構成と比較して、音色特徴量Ｆのデータ量が削減される。他方、各単位帯域σF[m]は１オクターブの帯域幅に設定されるから、音色特徴量Ｆの各特徴値ｅκ[1]〜ｅκ[M]に対応する音域を利用者が直感的に把握できるという利点もある。

しかも、音響信号Ｘの音色の時間変化の傾向を表現する特徴値系列Ｅ1〜ＥKの個数Ｋは音響信号Ｘの時間長に依存しないから、音響信号Ｘ1と音響信号Ｘ2とで時間長が相違する場合でも、音色画像Ｇ1と音色画像Ｇ2とを対比することで、音響信号Ｘ1の音色と音響信号Ｘ2の音色との類否を利用者が容易に評価することが可能である。また、音色特徴量Ｆの行数Ｍおよび列数(Ｋ＋１)は音響信号Ｘに依存しないから、音響信号Ｘ1と音響信号Ｘ2との間で相対応する時点を探索する処理（例えば非特許文献１の技術で必要となるDPマッチング）は原理的には不要である。したがって、音響信号Ｘ1と音響信号Ｘ2とで音色を比較する処理の負荷（特徴比較部２６の負荷）が軽減されるという利点もある。

＜変形例＞
以上の形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は適宜に併合され得る。

（１）変形例１
単位帯域σF[m]毎の成分値ａ[m,n]の算定の方法は、単位帯域σF[m]内の複数の成分値ｘの平均（相加平均）に限定されない。例えば、単位帯域σF[m]内の複数の成分値ｘの加重和や加算値や中央値を成分値ｘとして算定する構成や、各成分値ｘを成分行列Ａの成分値ａ[m,n]としてそのまま採択する構成も採用され得る。また、単位帯域σF[m]の帯域幅は、１オクターブに限定されず任意に選定される。例えば、各単位帯域σF[m]を１オクターブの整数倍や１オクターブの整数分の１の帯域幅に設定した構成が採用され得る。

（２）変形例２
以上の形態では、加重値系列Ｗを利用して初期差分行列Ｃkを差分行列Ｄkに補正したが、加重値系列Ｗを利用した補正は省略され得る。例えば、図４の差分算定部４４が算定した初期差分行列Ｃkを差分行列Ｄkとして特徴量抽出部３６が音色特徴量Ｆを生成する構成（したがって加重値生成部４６や補正部４８は省略される）が採用される。

（３）変形例３
以上の形態では、各差分行列Ｄkから生成されたＫ個の特徴値系列Ｅ1〜ＥKと成分行列Ａに応じた特徴値系列ＥK+1とを含む音色特徴量Ｆを生成したが、特徴値系列ＥK+1は音色特徴量Ｆから省略され得る。

（４）変形例４
以上の形態では、成分行列Ａの前縁側の各成分値ａ[m,n]を後縁側に移行して移相行列Ｂkを生成したが、移相行列生成部４２が移相行列Ｂkを生成する方法は適宜に変更され得る。例えば、成分行列Ａのうち前縁側の移相量ｋΔにわたる各列を破棄して移相行列Ｂk（縦ｍ行×横(Ｎ−ｋΔ)列）を生成する構成も採用され得る。差分算定部４４は、成分行列Ａと移相行列Ｂkとの重複部分のみについて成分値ａ[m,n]と成分値ｂk[m,n]との差分値ｃk[m,n]を算定することで縦ｍ行×横(Ｎ−ｋΔ)列の初期差分行列Ｃkを生成する。また、以上の例示では成分行列Ａの各成分値ａ[m,n]を時間軸の手前側に移相したが、各成分値ａ[m,n]を時間軸の後方側（時間の経過側）に移相量ｋΔだけ移相して移相行列Ｂkを生成する構成も採用され得る。

（５）変形例５
以上の形態では、成分取得部３２の周波数分析部３２２が音響信号ＸからスペクトルＰXを生成するとともに行列生成部３２４がスペクトルＰXの時系列から成分行列Ａを生成したが、成分取得部３２が成分行列Ａを取得する方法は任意である。例えば、音響信号Ｘの成分行列Ａが記憶装置１４に事前に格納され（したがって音響信号Ｘの記憶は省略され得る）、成分取得部３２が記憶装置１４から成分行列Ａを取得する構成が採用される。また、音響信号Ｘの各スペクトルＰXの時系列が記憶装置１４に事前に格納され（したがって音響信号Ｘの記憶や周波数分析部３２２は省略され得る）、成分取得部３２（行列生成部３２４）が記憶装置１４の各スペクトルＰXから成分行列Ａを生成する構成も採用される。すなわち、成分取得部３２は、成分行列Ａを取得する要素として包括される。

（６）変形例６
以上の形態では、信号解析部２２および特徴比較部２６の双方を具備する音響解析装置１００を例示したが、信号解析部２２および特徴比較部２６の片方のみを具備する音響解析装置としても本発明は実現され得る。すなわち、音響信号Ｘの音色の解析（音色特徴量Ｆの抽出）に利用される音響解析装置（以下「特徴抽出装置」という）は、信号解析部２２を具備するとともに特徴比較部２６を省略した構成である。他方、音響信号Ｘ1と音響信号Ｘ2との音色の比較（類否指標値Ｑの算定）に利用される音響解析装置（以下「特徴比較装置」という）は、特徴比較部２６を具備するとともに信号解析部２２を省略した構成である。特徴抽出装置の信号解析部２２が生成した音色特徴量Ｆ（Ｆ1，Ｆ2）は、例えば通信網や可搬型の記録媒体を介して、特徴比較装置に提供されて記憶装置１４に格納される。特徴比較装置の特徴比較部２６は、記憶装置１４に記憶された音色特徴量Ｆ1および音色特徴量Ｆ2の比較で類否指標値Ｑを算定する。

１００……音響解析装置、１２……演算処理装置、１４……記憶装置、１６……表示装置、２２……信号解析部、２４……表示制御部、２６……特徴比較部、３２……成分取得部、３２２……周波数分析部、３２４……行列生成部、３４……差分生成部、３６……特徴量抽出部、４２……移相行列生成部、４４……差分算定部、４６……加重値生成部、４８……補正部。

Claims

音響信号を時間軸上で区分した各単位期間における単位帯域毎の成分値を時間軸方向および周波数軸方向に配列した成分行列を取得する成分取得手段と、
前記成分行列と当該成分行列を時間軸方向に移相した移相行列との各成分値の差異に応じた要素値で構成される差分行列を、前記成分行列に対する移相量を相違させた複数の移相行列の各々について生成する差分生成手段と、
前記差分行列のうち時間軸方向に配列する複数の要素値に応じた特徴値を単位帯域毎に配列した特徴値系列を前記差分行列毎に含む音色特徴量を生成する特徴量抽出手段と
を具備する音響解析装置。
前記差分生成手段は、
前記成分行列のうち周波数軸方向に配列する複数の成分値に応じた加重値を単位期間毎に配列した加重値系列を生成する加重値生成手段と、
前記成分行列と前記移相行列との各成分値の差分値で構成される初期差分行列を生成する差分算定手段と、
前記初期差分行列に前記加重値系列を作用させて前記差分行列を生成する補正手段と
を含む請求項１の音響解析装置。
前記特徴量抽出手段は、前記成分行列のうち時間軸方向に配列する複数の成分値に応じた特徴値を単位帯域毎に配列した特徴値系列を含む前記音色特徴量を生成する
請求項１または請求項２の音響解析装置。
音響信号を時間軸上で区分した各単位期間における単位帯域毎の成分値を時間軸方向および周波数軸方向に配列した成分行列と、当該成分行列を時間軸方向に移相した移相行列との各成分値の差異に応じた要素値で構成される差分行列のうち、時間軸方向に配列する複数の要素値に応じた特徴値を単位帯域毎に配列した特徴値系列を、前記成分行列に対する移相量を相違させた複数の移相行列の各々について含む音色特徴量を、第１音響信号および第２音響信号の各々について記憶する記憶手段と、
前記第１音響信号と前記第２音響信号との前記音色特徴量を比較することで、前記第１音響信号と前記第２音響信号との音色の類否を示す類否指標値を算定する特徴比較手段と
を具備する音響解析装置。