JP4953068B2 - 和音判別装置、和音判別方法およびプログラム - Google Patents

Description

本発明は、音声や楽音を示す音響信号から和音（コード）を判別する技術に関する。

複数の音声や楽音の混合音の波形を示す音響信号から和音名（コード名）を特定する技術が従来から提案されている。例えば特許文献１には、音響信号の振幅スペクトルから生成されたプロファイルと予め用意された和音パターンとを比較することで和音名を決定する技術が開示されている。
特開２０００−２９８４７５号公報

ところで、音響信号の振幅スペクトルには、和音を構成する各音（以下「構成音」という）の基音の周波数（基本周波数）に加えて倍音の周波数（倍音周波数）にもピークが現れる。したがって、特許文献１のように音響信号の振幅スペクトルから和音名を特定する構成においては、倍音が和音の構成音と誤認される場合がある。和音パターンの種類数を削減すれば誤認の可能性も低減されるが、音響信号から特定される和音名が少数に制限されるという問題がある。以上の事情に鑑みて、本発明は、音響信号が構成音の倍音を含む場合であっても和音を同定する精度の低下を抑制するという課題の解決を目的としている。

以上の課題を解決するために、本発明に係る和音判別装置は、高調波構造をモデル化する複数の音モデルの混合分布として入力音響信号をモデル化したときの各音モデルの重み値を示す基本周波数の確率密度関数を推定する関数推定手段と、関数推定手段が推定した確率密度関数の複数のピークの各々に対応する周波数を各構成音の音高とする和音を同定する和音同定手段とを具備する。

以上の構成においては、基本周波数の確率密度関数にピークが現れる基本周波数を音高とする構成音を含む和音が同定される。基本周波数の確率密度関数においては、音響信号の振幅スペクトルと比較して倍音の影響が低減されるから、音響信号が構成音の倍音を含む場合であっても和音を同定する精度の低下は抑制され得る。

基本周波数の確率密度関数を参照することで和音の各構成音の音高の高低が認識されるから、和音の構成音の単純な組合せに加えて各構成音の高低や配列の順番を特定することも可能である。以上のような確率密度関数の性質を利用して例えば以下の態様が実現される。

本発明の第１の態様に係る和音判別装置は、関数推定手段が推定した確率密度関数においてピークが現れる複数の基本周波数のうち最も低い基本周波数を特定する特徴音特定手段を具備し、和音同定手段は、特徴音特定手段が特定した基本周波数をベース音の音高とする和音を同定する。以上の態様の具体例は第２実施形態として後述される。本態様によれば、複数の基本周波数の最低値をベース音の音高とする和音（特に分数コード）を同定することが可能である。

また、本発明の第２の態様において、和音同定手段は、関数推定手段が推定した確率密度関数においてピークが現れる基本周波数を音高とする複数の構成音を各々の基本周波数の高低の順番に配列した和音を同定する。以上の態様によれば、組合せが共通する複数の構成音が別個の順番に配列された複数種の和音を区別して同定することが可能となる。なお、本態様の具体例は第３実施形態として後述される。

本発明は、音響信号に含まれる和音を判別する方法としても特定される。本発明の和音判別方法は、コンピュータが、高調波構造をモデル化する複数の音モデルの混合分布として入力音響信号をモデル化したときの各音モデルの重み値を示す基本周波数の確率密度関数を推定し、推定した確率密度関数の複数のピークの各々に対応する周波数を各構成音の音高とする和音を同定することを特徴とする。以上の方法によれば、本発明に係る和音判別装置と同様の作用および効果が奏される。

本発明に係る和音判別装置は、各処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、高調波構造をモデル化する複数の音モデルの混合分布として入力音響信号をモデル化したときの各音モデルの重み値を示す基本周波数の確率密度関数を推定する関数推定処理と、関数推定処理で推定した確率密度関数の複数のピークの各々に対応する周波数を各構成音の音高とする和音を同定する和音同定処理とをコンピュータに実行される内容である。以上のプログラムによっても、本発明に係る和音判別装置と同様の作用および効果が奏される。なお、本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、ネットワークを介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。

＜Ａ：第１実施形態＞
図１は、本発明のひとつの形態に係る和音判別装置の機能的な構成を示すブロック図である。同図に図示された各部は、例えばＣＰＵなどの演算処理装置がプログラムを実行することで実現されてもよいし、和音の判別に専用されるＤＳＰなどのハードウェアによって実現されてもよい。

図１の周波数分析部１２には、和音の判別の対象となる音響（以下「対象音」という）の波形を示す音響信号Ｖが入力される。音響信号Ｖが示す対象音は、音声や楽器の演奏音といった複数の構成音が調和的に組み合わされた和音を含む。周波数分析部１２は、所定の窓関数を利用して音響信号Ｖを複数のフレームに分割したうえで、ＦＦＴ（Fast Fourier Transform）処理を含む周波数分析を各フレームの音響信号Ｖについて実行することで対象音の振幅スペクトルＳ0を特定する。

ＢＰＦ（Band Pass Filter）１４は、周波数分析部１２がフレームごとに特定した振幅スペクトルＳ0のうち特定の周波数帯域に属する成分を選択的に通過させる。ＢＰＦ１４の通過帯域は、対象音に含まれる和音の各構成音の基本周波数成分や高調波成分の多くが通過し、かつ、他の音の基本周波数成分や高調波成分が優勢となる周波数帯域が遮断されるように選定される。例えば、和音特定装置による判別の対象として楽器の演奏音が想定される場合には、当該楽器の主要な音域がＢＰＦ１４の通過帯域として設定される。ＢＰＦ１４を通過した振幅スペクトルＳは関数推定部２２に出力される。

関数推定部２２は、各フレームの振幅スペクトルＳについて基本周波数の確率密度関数Ｐを推定する。確率密度関数Ｐは、振幅スペクトルＳを複数の音モデルＭの混合分布（複数の音モデルＭの重み付き和）としてモデル化したときの各音モデルＭの重み値ω[F]の分布を表わす関数である。記憶部２４は、複数の基本周波数Ｆの各々について音モデルＭを記憶する手段（磁気記憶装置や半導体記憶装置）である。

ひとつの基本周波数Ｆに対応した音モデルＭは、当該基本周波数Ｆに対応した高調波構造（すなわち基本周波数Ｆに現れる基音成分とこれに対応した倍音成分（高調波成分）とのスペクトル形状）をモデル的に表現する関数である。したがって、確率密度関数Ｐにて特定の基本周波数Ｆに対応した関数値に相当する重み値ω[F]は、当該基本周波数Ｆに対応した音モデルＭが振幅スペクトルＳの高調波構造をどのくらい優勢に支持するかを示す。以上の定義から理解されるように、確率密度関数Ｐにおいて優勢なピーク（重み値ω[F]の局所的な上昇）が現れる基本周波数Ｆ0は、対象音に含まれる各音の基本周波数（音高）である可能性が高い。

本形態の関数推定部２２は、最尤推定アルゴリズムのひとつであるＥＭ（Expectation-Maximization）アルゴリズムに基づいて重み値ω[F]を反復的に更新することで確率密度関数Ｐを推定する。すなわち、関数推定部２２は、Ｅ（Expectation）ステップとＭ（Maximization）ステップとから構成される単位処理を複数回にわたって反復する。各単位処理は、前回の単位処理で算定された重み値ω[F]（第１回目の単位処理においては重み値ω[F]の初期値）に基づいて新たな重み値ω[F]を算定する処理である。重み値ω[F]は、単位処理のたびに、複数の音モデルＭの混合分布によって振幅スペクトルＳがモデル化されるときの数値（尤度が高い数値）に近づいていく。単位処理が所定の回数にわたって実行された段階で算定されている重み値ω[F]が基本周波数の確率密度関数Ｐとして和音同定部３２に出力される。なお、確率密度関数Ｐの内容や関数推定部２２の動作の具体例については、例えば特許第3413634号公報に詳述されている。

記憶部３４は、複数の和音の各々について予め作成された和音パターンＨを記憶する手段（磁気記憶装置や半導体記憶装置）である。ひとつの和音に対応する和音パターンＨは、当該和音に含まれる各構成音の音高（または各々の音高差）を表わすデータである。なお、記憶部２４と記憶部３４とは、ひとつの記憶装置に画定された別個の記憶領域であってもよいし各々が別体の記憶装置であってもよい。

和音同定部３２は、関数推定部２２が推定した確率密度関数Ｐに基づいて、対象音に含まれる和音を判別する手段である。本形態の和音同定部３２は、確率密度関数Ｐにおいてピークが現れる各基本周波数Ｆ0を音高とする複数の構成音を含む和音を同定する。

さらに具体的に説明すると、和音同定部３２は、確率密度関数Ｐと和音パターンＨとの相関の程度を示す数値（以下「得点」という）を、パターンマッチング技術を利用した両者の比較によって複数の和音パターンＨの各々について算定し、各得点の高低に応じて対象音の和音を同定する。以上の手順による和音の同定は、例えば、特許文献１に記載された手順において、和音パターンＨ（重み付けパターン）と対比されるプロファイルの基礎となる振幅スペクトルを、本形態における確率密度関数Ｐに置換することで実現される。

すなわち、和音同定部３２は、第１に、関数推定部２２が推定した確率密度関数Ｐを１オクターブに相当する区間（周波数帯域）ごとに区分し、音階が相互に共通する周波数の成分（重み値ω[F]）を複数の区間について加算（折畳み処理）することでプロファイルを作成する。第２に、和音同定部３２は、ピークを明確化するための調整（例えば周波数のシフト）をプロファイルに実行し、最終的に生成されたプロファイルと各和音パターンＨとの対比によって和音パターンＨごとの得点を算定する。第３に、和音同定部３２は、複数の和音パターンＨのうち得点が最大となる和音パターンＨに対応した和音（すなわちプロファイルに最も類似する和音）を同定する。

和音同定部３２による同定の結果（本形態では和音名）は出力部４０から出力される。例えば、和音同定部３２が同定した和音名を表示する表示機器や和音名を音声で出力する放音装置が出力部４０として好適に採用される。和音同定部３２の特定した和音名が所定の記憶装置に記憶される構成としてもよい。

図２の部分(a)は、振幅スペクトルＳに現れる各ピークの軌跡を示し、図２の部分(b)は、確率密度関数Ｐに現れる各ピークの軌跡を示す。図２の部分(a)には時刻Ｔにおける振幅スペクトルＳが併記され、同図の部分(b)には時刻Ｔにおける確率密度関数Ｐが併記されている。図２の部分(a)に示すように、振幅スペクトルＳにおいては、各構成音の基本周波数Ｆ0に加えて各々の倍音に対応したピークが周波数Ｆhに現れる。これに対し、図２の部分(b)に示すように、確率密度関数Ｐにおいては、各構成音の基本周波数Ｆ0のみに顕著なピークが現れ、振幅スペクトルＳと比較して倍音の影響は低減される。したがって、確率密度関数Ｐに基づいて和音を判別する本形態によれば、対象音の各構成音が倍音を豊富に含む場合であっても和音を高精度に同定することが可能である。

＜Ｂ：第２実施形態＞
次に、本発明の第２実施形態について説明する。
第１実施形態における和音同定部３２の処理によれば和音の各構成音の組合せを特定することが可能である。一方、確率密度関数Ｐにピークが現れる基本周波数Ｆ0の高低は、和音を構成する各構成音の配列の順番に対応している。そこで、本形態においては、各構成音の単純な組合せに加え、確率密度関数Ｐから認定される各構成音の高低も加味して和音が特定される。なお、本形態のうち作用や機能が第１実施形態と共通する要素については、以上と同じ符号を付して各々の詳細な説明を適宜に省略する。

図３は、和音判別装置１００の構成を示すブロック図である。同図に示すように、本形態の和音判別装置１００は、図１の要素に加えて特徴音特定部３６を具備する。特徴音特定部３６は、関数推定部２２が推定した確率密度関数Ｐにおいてピークが現れる複数の基本周波数Ｆ0のなかから各々の高低に応じてひとつの基本周波数Ｆ0（以下では特に「特定周波数Ｆa」という）を特定する手段である。本形態の特徴音特定部３６は、確率密度関数Ｐのピークに対応した複数の基本周波数Ｆ0のうち周波数が最も低い基本周波数Ｆ0を特定周波数Ｆaに選定したうえで和音同定部３２に通知する。特定周波数Ｆaは、和音の複数の構成音のうちベース音の周波数に相当する。

記憶部３４に和音パターンＨが格納された複数の和音には分数コード（オンコードまたはベース指定コード）が含まれる。分数コードは、特定の和音における複数の構成音のうちベース音のみを変化させたコード（例えばＣ/ＧやＧM7/Ａ）である。和音同定部３２は、記憶部３４に和音パターンＨが記憶された複数の和音のうち特定周波数Ｆaをベース音の音高とする和音を同定する。例えば、和音同定部３２は、関数推定部２２が推定した確率密度関数Ｐと複数の和音パターンＨの各々とを対比することで第１実施形態と同様に和音パターンＨごとに得点を算定し、所定の閾値を上回る得点が算定された和音パターンＨの各和音のうち特定周波数Ｆaをベース音の音高とするひとつの和音を同定して出力部４０に出力する。

以上のように、本形態においては、確率密度関数Ｐから特定されるベース音に基づいて和音が同定されるから、ベース音が変則的な分数コードを含む多様な和音のなかから対象音に含まれるひとつの和音を高精度に判別することが可能となる。

＜Ｃ：第３実施形態＞
次に、本発明の第３実施形態について説明する。なお、本形態に係る和音判別装置１００の構成や動作は、和音同定部３２が実行する処理の内容を除いて第１実施形態と同様である。

記憶部３４に和音パターンＨが格納された複数の和音のなかには、各構成音の組合せは共通するものの各構成音の配列の順番が相違する和音がある。和音同定部３２は、確率密度関数Ｐにピークが現れる各基本周波数Ｆ0を構成音の音高とする複数の和音（すなわち構成音の組合せが共通する複数の和音）のなかから、各構成音の配列の順番を加味してひとつの和音を同定する。さらに詳述すると、和音同定部３２は、確率密度関数Ｐと複数の和音パターンＨの各々とを対比することで第１実施形態と同様に和音パターンＨごとに得点を算定し、所定の閾値を上回る得点が算定された和音パターンＨの各和音（すなわち構成音の組合せが対象音と合致する和音）のうち各構成音が基本周波数Ｆ0の高低の順番に配列された和音を同定して出力部４０に出力する。

例えば、確率密度関数Ｐに基づいて和音の構成音が「Ｃ（ド）」と「Ｅ（ミ）」と「Ａ（ラ）」と判別される場合、各構成音の順番を変化させた複数種の和音（例えば「Ｃ-Ｅ-Ａ」や「Ｅ-Ａ-Ｃ」や「Ａ-Ｃ-Ｅ」）が同定の候補となる。いま、構成音「Ａ」の基本周波数Ｆ0が確率密度関数Ｐにおいて構成音「Ｃ」の基本周波数Ｆ0よりも低く、構成音「Ｅ」の基本周波数Ｆ0が構成音「Ｃ」の基本周波数Ｆ0よりも高い場合、和音同定部３２は、「Ａ」と「Ｃ」と「Ｅ」とがこの順番に配列されたひとつの和音を同定したうえで出力部４０に出力する。

以上のように、本形態においては、各構成音の組合せに加えて各々の配列の順番も加味されるから、対象音に含まれるひとつの和音を多様な和音のなかから高精度に同定することが可能である。なお、図３の特徴音特定部３６を本形態に追加してもよい。

＜Ｄ：変形例＞
以上の各態様においては確率密度関数Ｐと和音パターンＨとの対比の結果に基づいて和音が同定される構成を例示したが、確率密度関数Ｐに応じた和音を同定する方法は適宜に変更される。例えば、図４に示すように、関数推定部２２と和音同定部３２との間に音高特定部２６を介在させた構成も採用される。音高特定部２６は、確率密度関数Ｐに優勢なピークが現れる複数の基本周波数Ｆ0を特定して和音同定部３２に出力する。和音同定部３２は、音高特定部２６が特定した各基本周波数Ｆ0を構成音の音高とするひとつの和音（さらには第３実施形態のように基本周波数Ｆ0の高低の順番に構成音を配列した和音）を同定する。以上のように、本発明の好適な態様に係る和音同定部３２は、確率密度関数Ｐにてピークが現れる基本周波数Ｆ0を音高とする構成音を含む和音を同定する手段であれば足り、和音同定部３２が和音の同定に際して確率密度関数Ｐを直接的に使用する構成は必ずしも必要ではない。

音高特定部２６が確率密度関数Ｐのピークを特定する方法は任意である。例えば、複数のフレームにわたる確率密度関数Ｐの時間的な変動を監視することで基本周波数Ｆ0を推定する構成が採用される。確率密度関数Ｐの監視にはマルチエージェントモデルが好適に利用される。すなわち、音高特定部２６は、複数の自律的なエージェントの各々に確率密度関数Ｐの別個のピークを割り当てたうえで各ピークの経時的な変動を追跡させ、複数のエージェントのうち信頼度が高いエージェントの各ピークの基本周波数Ｆ0を構成音の音高として出力する。なお、各エージェントの具体的な挙動については特許第3413634号公報に詳述されている。

第１実施形態に係る和音判別装置の機能的な構成を示すブロック図である。 振幅スペクトルと基本周波数の確率密度関数との時間的な変動を示す概念図である。 第２実施形態に係る和音判別装置の機能的な構成を示すブロック図である。 変形例に係る和音判別装置の機能的な構成を示すブロック図である、

符号の説明

１００……和音判別装置、１２……周波数分析部、１４……ＢＰＦ、２２……関数推定部、２４，３４……記憶部、２６……音高特定部、３２……和音同定部、３６……特徴音特定部、４０……出力部、Ｖ……音響信号、Ｓ0，Ｓ……振幅スペクトル、Ｐ……基本周波数の確率密度関数、Ｆ0……構成音の基本周波数（音高）、Ｍ……音モデル、Ｈ……和音パターン。

Claims (6)

1. 高調波構造をモデル化する複数の音モデルの混合分布として入力音響信号をモデル化したときの各音モデルの重み値を示す基本周波数の確率密度関数を推定する関数推定手段と、
   前記関数推定手段が推定した確率密度関数の複数のピークの各々に対応する周波数を各構成音の音高とする和音を同定する和音同定手段と
   を具備する和音判別装置。
2. 前記関数推定手段が推定した確率密度関数においてピークが現れる複数の基本周波数のうち最も低い基本周波数を特定する特徴音特定手段を具備し、
   前記和音同定手段は、前記特徴音特定手段が特定した基本周波数をベース音の音高とする和音を同定する
   請求項１に記載の和音判別装置。
3. 前記和音同定手段は、前記関数推定手段が推定した確率密度関数においてピークが現れる基本周波数を音高とする複数の構成音を各基本周波数の高低の順番に配列した和音を同定する
   請求項１または請求項２に記載の和音判別装置。
4. 相異なる和音に対応する複数の和音パターンを記憶する記憶手段を具備し、
   前記和音同定手段は、前記関数推定手段が推定した確率密度関数を１オクターブ毎に区分した複数の区間を音階が共通する成分について加算してプロファイルを作成し、前記複数の和音パターンのうち前記プロファイルに最も類似する和音パターンの和音を同定する
   請求項１から請求項３の何れかに記載の和音判別装置。
5. コンピュータが、
   高調波構造をモデル化する複数の音モデルの混合分布として入力音響信号をモデル化したときの各音モデルの重み値を示す基本周波数の確率密度関数を推定し、
   前記推定した確率密度関数の複数のピークの各々に対応する周波数を各構成音の音高とする和音を同定する
   和音判別方法。
6. 高調波構造をモデル化する複数の音モデルの混合分布として入力音響信号をモデル化したときの各音モデルの重み値を示す基本周波数の確率密度関数を推定する関数推定処理と、
   前記関数推定処理で推定した確率密度関数の複数のピークの各々に対応する周波数を各構成音の音高とする和音を同定する和音同定処理と
   をコンピュータに実行させるプログラム。

Images