JP4478802B2 - 音モデル生成装置、音モデル生成方法およびプログラム - Google Patents

Description

本発明は、高調波構造をモデル化する音モデルを生成する技術に関する。

特許文献１には、複数の楽音の混合音（以下「対象音」という）に含まれる各楽音の基本周波数（音高）を推定する技術が開示されている。特許文献１の技術においては、対象音の振幅スペクトルを複数の音モデル（高調波構造をモデル化した確率密度関数）の混合分布でモデル化したときの各音モデルの重み値の分布を基本周波数の確率密度関数として算定し、確率密度関数において優勢なピークが現れる周波数を所望の音（以下「目標音」という）の基本周波数として推定する。
特許第３４１３６３４号公報

ところで、目標音の基本周波数を高精度に推定するためには、目標音に近い高調波構造をモデル化する多数の音モデルが必要となる。したがって、楽器を実際に演奏したときの楽音に基づいて音モデルを生成することが望ましい。しかし、現実の楽音から音モデルを作成するためには、実際に楽器を演奏することで多数の楽音を収録するとともに各楽音の特性を解析して音モデルを生成するという膨大かつ煩雑な作業が必要となる。ギターなどの弦楽器においては、別個の弦の弾弦で出力される同じ音高の楽音を含めると非常に多数の楽音を逐次に演奏する必要があるから、音モデルを作成する作業の負担は特に過大となる。このような事情に鑑みて、本発明は、基本周波数の推定に使用される音モデルを用意するための負荷を軽減するという課題の解決を目的としている。

以上の課題を解決するために、本発明に係る音モデル生成装置は、楽器の楽音を複数の音モデルの混合分布としてモデル化したときの各音モデルの重み値の分布を基本周波数の確率密度関数として推定するために当該楽器の音モデルを生成する装置であって、第１周波数を基本周波数とした高調波構造をモデル化する基礎モデルを記憶する記憶手段（例えば図１の記憶部６１）と、第１周波数とは相違する第２周波数を基本周波数とした楽音の出力時に楽器の状態に応じて当該楽音に付与される周波数特性を特定する第１特性特定手段（例えば図１の特性特定部６２）と、第１特性特定手段が特定した周波数特性を基礎モデルに付与することで、第２周波数を基本周波数とした高調波構造をモデル化する音モデルを生成する特性付与手段とを具備する。

以上の構成においては、第１周波数に対応した基礎モデルから第２周波数に対応した音モデルが生成されるから、第２周波数を基本周波数とする楽音を第２周波数の音モデルの生成のために楽器から採取する作業は不要となる。したがって、総ての音モデルを実際の楽器の楽音から生成する場合と比較して音モデルを用意するための負荷が軽減される。

本発明の好適な態様において、第１特性付与手段は、基礎モデルがモデル化する高調波構造を第１周波数と第２周波数との相違に応じて周波数軸に沿ってシフトし、第１特性特定手段が特定した周波数特性をシフト後の基礎モデルに付与する。以上の態様によれば、任意の第２周波数に対応した音モデルを生成することが可能となる。

さらに具体的な態様において、楽器は、押圧の位置に応じて振動する区間が変化する弦と、弦の振動を検出する検出器とを含む弦楽器であり、第１特性特定手段は、弦のうち第２周波数に対応した楽音の出力時に押圧される位置と、弦の振動する区間に対する検出器の位置とに応じて周波数特性を特定する。以上の態様によれば、第２周波数に対応した楽音の出力時における弦楽器の状態（押弦の位置や検出器の位置）が第２周波数の音モデルに反映されるから、弦楽器の音高を高精度に推定することが可能となる。

本発明において基礎モデルの作成の方法は任意である。例えば本発明のひとつの態様に係る音モデル作成装置は、演奏時に振動する振動体と振動体の振動を検出する検出器とを含む楽器の演奏時における検出器の検出の結果から第１周波数を基本周波数とする高調波構造を特定する解析手段（例えば図１の解析部５１）と、第１周波数を基本周波数とする楽音の出力時に楽器の状態に応じて当該楽音に付与される周波数特性を特定する第２特性特定手段（例えば図１の特性特定部５２）と、第２特性特定手段が特定した周波数特性を解析手段が特定した高調波構造から除去することで基礎モデルを生成する特性除去手段（例えば図１の特性除去部５３）とを具備する。以上の態様によれば、第１周波数に対応した楽音の出力時における弦楽器の状態（押弦の位置や検出器の位置）が基礎モデルに反映されるから、弦楽器の音高を高精度に推定し得る音モデルを基礎モデルから生成することが可能となる。

本発明のひとつの形態は、音モデルの生成に使用される基礎モデルを生成する装置である。当該装置は、演奏時に振動する振動体と振動体の振動を検出する検出器とを含む楽器の演奏時における検出器の検出の結果から第１周波数を基本周波数とする高調波構造を特定する解析手段と、第１周波数を基本周波数とする楽音の出力時に楽器の状態に応じて当該楽音に付与される周波数特性を特定する特性特定手段と、特性特定手段が特定した周波数特性を解析手段が特定した高調波構造から除去することで基礎モデルを生成する特性除去手段とを具備する。

本発明は、音モデルを作成するための方法としても特定される。本発明の音モデル生成方法は、楽器の楽音を複数の音モデルの混合分布としてモデル化したときの各音モデルの重み値の分布を基本周波数の確率密度関数として推定するために当該楽器の音モデルを生成する方法であって、第１周波数を基本周波数とした高調波構造をモデル化する基礎モデルを記憶する一方、第１周波数とは相違する第２周波数を基本周波数とした楽音の出力時に楽器の状態に応じて当該楽音に付与される周波数特性を特定し、この特定した周波数特性を基礎モデルに付与することで、第２周波数を基本周波数とした高調波構造をモデル化する音モデルを生成する。以上の方法によっても、本発明に係る音モデル生成装置と同様の作用および効果が奏される。

本発明に係る音モデル生成装置は、各処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、楽器の楽音を複数の音モデルの混合分布としてモデル化したときの各音モデルの重み値の分布を基本周波数の確率密度関数として推定するために当該楽器の音モデルを生成するプログラムであって、第１周波数を基本周波数とした高調波構造をモデル化する基礎モデルを記憶した記憶手段を具備するコンピュータに、第１周波数とは相違する第２周波数を基本周波数とした楽音の出力時に楽器の状態に応じて当該楽音に付与される周波数特性を特定する特性特定処理と、特性特定処理で特定した周波数特性を基礎モデルに付与することで、第２周波数を基本周波数とした高調波構造をモデル化する音モデルを生成する特性付与処理とを実行させる内容である。以上のプログラムによっても、本発明に係る音モデル生成装置と同様の作用および効果が奏される。なお、本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、ネットワークを介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。

図面を参照して本発明の具体的な形態を説明する。図１は、本発明のひとつの形態に係る音高推定装置の機能的な構成を示すブロック図である。本形態の音高推定装置１００は、対象音に含まれるギターの楽音の音高を推定するために利用される。同図に図示された各部は、例えばＣＰＵなどの演算処理装置がプログラムを実行することで実現されてもよいし、音高の推定に専用されるＤＳＰなどのハードウェアによって実現されてもよい。

図１の周波数分析部１２には、対象音の波形を示す音響信号Ｖが入力される。音響信号Ｖが示す対象音は、複数の各々の音高が相違する複数の楽音の混合音である。周波数分析部１２は、所定の窓関数を利用して音響信号Ｖを複数のフレームに分割したうえで、ＦＦＴ（Fast Fourier Transform）処理を含む周波数分析を各フレームの音響信号Ｖについて実行することで対象音の振幅スペクトルＳ0を特定する。

ＢＰＦ（Band Pass Filter）１４は、周波数分析部１２がフレームごとに特定した振幅スペクトルＳ0のうち特定の周波数帯域に属する成分を選択的に通過させる。ＢＰＦ１４の通過帯域は、対象音を構成する複数の楽音のうち音高を推定すべき各音の基音や倍音の多くが通過し、かつ、他の音の基音や倍音の多くが遮断されるように、統計的または実験的に予め選定される。本形態においては対象音に含まれるギターの楽音の音高を推定するから、ＢＰＦ１４の通過帯域は、ギターの主要な音域を含むように選定される。ＢＰＦ１４を通過した振幅スペクトルＳは関数推定部２２に出力される。

関数推定部２２は、各フレームの振幅スペクトルＳについて基本周波数の確率密度関数Ｐを推定する。確率密度関数Ｐは、複数の音モデルＭ（Ｍ[1]〜Ｍ[n]）の混合分布（すなわち複数の音モデルＭの重み付き和）として振幅スペクトルＳをモデル化したときの各音モデルＭの重み値ωの分布を表わす関数である（ｎは２以上の整数）。記憶部２４は、各々が別個の周波数ＦB（ＦB[1]〜ＦB[n]）に対応する複数の音モデルＭ[1]〜Ｍ[n]を記憶する。例えば磁気記憶装置や半導体記憶装置が記憶部２４として採用される。

音モデルＭ[i]（ｉは１≦ｉ≦ｎを満たす整数）は、周波数ＦB[i]を基本周波数とするギターの楽音の高調波構造をモデル化する関数である。さらに詳述すると、音モデルＭ[i]は、周波数ＦB[i]（基本周波数）に現れる基音と周波数ＦB[i]の略整数倍の周波数に現れる複数の倍音（高調波成分）とのスペクトル形状を示す。したがって、確率密度関数Ｐにおいて周波数ＦB[i]に対応する重み値（関数値）ωは、当該周波数ＦB[i]に対応した音モデルＭ[i]が振幅スペクトルＳの高調波構造をどのくらい優勢に支持するかを示す。以上の定義から理解されるように、確率密度関数Ｐにおいて優勢なピーク（重み値ωの局所的な上昇）が現れる周波数ＦB[i]は、対象音に含まれる楽音の基本周波数Ｆ0（音高）である可能性が高い。

音高特定部２６は、対象音に含まれる楽音の基本周波数Ｆ0を確率密度関数Ｐに基づいて特定する手段である。基本周波数Ｆ0の特定には例えばマルチエージェントモデルが採用される。すなわち、音高特定部２６は、複数の自律的なエージェントの各々に確率密度関数Ｐの別個のピークを割り当てたうえで各ピークの経時的な変動を追跡させ、複数のエージェントのうち信頼度が高いエージェントの各ピークの基本周波数Ｆ0を楽音の音高として出力する。なお、確率密度関数Ｐの内容や関数推定部２２および音高特定部２６の具体的な動作については特許文献１に例示されている。音高特定部２６による特定の結果（音高）は出力部３０から出力される。例えば、音高特定部２６が特定した音高を表示する表示機器が出力部３０として好適に採用される。

図１の音モデル生成部２００は、関数推定部２２が使用するｎ個の音モデルＭ[1]〜Ｍ[n]を生成する手段である。音モデルＭ[1]〜Ｍ[n]は、関数推定部２２による確率密度関数Ｐの推定前に生成される。例えば、演算処理装置がプログラムを実行することで図１の各部が実現される場合には、プログラムの起動の直後に実行される初期化処理にて音モデルＭ[1]〜Ｍ[n]が生成される。

本形態の音モデル生成部２００は、第１処理部ＤAと第２処理部ＤBとを含む。第１処理部ＤAは、各々が別個の周波数ＦA（ＦA[1]〜ＦA[m]）に対応したｍ個の音モデル（以下「基礎モデル」という）Ｍ0（Ｍ0[1]〜Ｍ0[m]）を生成する。図１に示すように、基礎モデルＭ0は音モデルＭよりも少数である（ｍ＜ｎ）。第２処理部ＤBは、第１処理部ＤAが生成した基礎モデルＭ0[1]〜Ｍ0[m]に基づいて多数の音モデルＭ[1]〜Ｍ[n]を生成する。第２処理部ＤB（特性付与部６３）が生成した音モデルＭ[1]〜Ｍ[n]は、記憶部２４に格納されたうえで確率密度関数Ｐの推定に使用される。本形態の第２処理部ＤBは、ひとつの基礎モデルＭ0から複数の音モデルＭを生成する。

基礎モデルＭ0[j]（ｊは１≦ｊ≦ｍを満たす整数）は、周波数ＦA[j]を基本周波数とするギターの楽音の高調波構造をモデル化する関数である。すなわち、基礎モデルＭ0[j]は、周波数ＦA[j]（基本周波数）に現れる基音と周波数ＦA[j]の略整数倍の周波数に現れる倍音（高調波成分）とのスペクトル形状を示す。

特定の楽器の楽音について音高を推定するためには当該楽器の基礎モデルＭ0の登録が必要となる。新たな楽器を登録する場合、利用者は、基礎モデルＭ0の生成を第１処理部ＤAに指示したうえで当該楽器を実際に演奏してｍ種類の楽音を出力する。第１処理部ＤAは、現実に楽器から出力されたｍ種類の楽音に基づいて基礎モデルＭ0[1]〜Ｍ0[m]を生成する。本形態においてはギターの楽音の音高を推定するために音高推定装置１００を利用するから、ギターを実際に演奏したときの楽音に基づいて基礎モデルＭ0[1]〜Ｍ0[m]が生成される。図１に示すように、ギター７０は、演奏者による弾弦で振動する弦７２と、弦７２の振動を検出して当該振動に応じた信号（以下「検出信号」という）ＶDを出力する検出器（ピックアップ）７４とを含む。

図１に示すように、第１処理部ＤAは、解析部５１と特性特定部５２と特性除去部５３とを含む。解析部５１は、ＦＦＴ処理を含む周波数解析を検出信号ＶDについて実行することで検出信号ＶDの楽音（弦７２の振動）の振幅スペクトルＳＰaを特定する。図２の部分(a1)は、周波数ＦA[j]を基本周波数とする楽音が出力されるようにギター７０を演奏した場合の検出信号ＶDの振幅スペクトルＳＰaを示す。同図に示すように、振幅スペクトルＳＰaにおいては、周波数ＦA[j]と複数の倍音に対応した各周波数（周波数ＦA[j]の略整数倍の周波数）とにピークが現れる。

図３の部分(a)および部分(b)は、弦７２の振動の態様（振動モード）を説明するための概念図である。弦７２は、ナットＮaとブリッジＮbとに張架され、位置ＰA（ＰA1，ＰA2）からブリッジＮbまでの区間（以下「振動区間」という）が弾弦によって振動する。位置ＰAは、利用者が押弦した位置（さらに厳密にはフレットの位置）である。

図３の部分(a)は、周波数ｆaを基本周波数とする楽音の出力のために位置ＰA1が押弦された状況を示し、図３の部分(b)は、周波数ｆbを基本周波数とする楽音の出力のために位置ＰA2が押弦された状況を示す。図３の部分(a)の場合、位置ＰA1からブリッジＮbまでの振動区間に発生する振動は、周波数ｆaの基音に対応した第１次モード（基本モード）と各倍音に対応した複数の高次モードとに分解される。図３の部分(b)の場合も同様に、位置ＰA2とブリッジＮbとを端部とする振動区間内の振動は、周波数ｆbに対応した複数の振動モードに分解される。

検出器７４はブリッジＮbから所定の距離だけ離間した位置Ｐ0に固定される。図３の部分(a)のように基本周波数ｆaの楽音を出力する場合、検出器７４の位置Ｐ0は第４次モードの振動の節に近い。したがって、図２の部分(a1)に示すように、振幅スペクトルＳＰaにおいては第４次モードに対応した第４倍音の周波数における振幅が他の倍音の周波数と比較して抑制される。一方、検出器７４が図３の位置Ｐ0’に配置された場合を想定すると、検出器７４は第４次モードの振動の腹に近いから、第４倍音の振幅は抑制されない。また、図３の部分(a)と同様に検出器７４が位置Ｐ0に固定された場合であっても、図３の部分(b)のように基本周波数ｆbの楽音を出力するために位置ＰA2が押弦された場合、検出器７４の位置Ｐ0は第４次モードの振動の腹の近傍となる。したがって、振幅スペクトルＳＰaのうち第４倍音の周波数における振幅は図３の部分(a)の場合と比較すると抑制されない。

以上のように、検出器７４が出力する検出信号ＶDの振幅スペクトルＳＰaは、利用者による押弦の位置ＰAと振動区間に対する検出器７４の位置Ｐ0とに応じて変化する。すなわち、図２の部分(a1)から部分(a3)に例示されるように、周波数ＦA[j]を基本周波数とする楽音を出力したときの検出信号ＶDの振幅スペクトルＳＰaは、当該楽音の出力時におけるギター７０の状態（押弦の位置ＰAや検出器７４の位置Ｐ0）に応じた周波数特性ＣA[j]（部分(a2)）を、弦７２のみの振動の振幅スペクトル（部分(a3)）に付加した形状となる。本形態の基礎モデルＭ0[j]は、図２の部分(a3)に例示された弦７２のみの振動の振幅スペクトルに相当する。

図１の特性特定部５２は、周波数特性ＣA[j]を特定する手段である。特性除去部５３は、特性特定部５２が特定した周波数特性ＣA[j]を、解析部５１が特定した振幅スペクトルＳＰaから除去することで基礎モデルＭ0[j]を生成する。特性除去部５３が生成した基礎モデルＭ0[j]は、第２処理部ＤBの記憶部６１に格納される。記憶部６１は、例えば磁気記憶装置や半導体記憶装置である。

特性特定部５２は、周波数ＦA[j]を基本周波数とする楽音が出力されるときのギター７０の状態に関するパラメータ（以下「状態パラメータ」という）を変数とした所定の演算によって周波数特性ＣA[j]を算定する。本形態の特性特定部５２は、基本周波数ＦA[j]の楽音に対応した押弦の位置ＰA（あるいは振動区間の全長）とギター７０に設置された検出器７４の位置Ｐ0とを状態パラメータとして記憶する。各状態パラメータは、例えば、基礎モデルＭ0の登録に実際に使用されるギター７０の形態に応じて利用者が入力する。また、ギター７０の種類ごとに予め用意された複数の状態パラメータのなかから利用者が選択した状態パラメータを周波数特性ＣA[j]の特定に利用してもよい。

特性特定部５２は、基本周波数ＦA[j]に対応した各振動モードにおける弦７２の形状（例えば図３に例示した各振動モードにおける節や腹の位置）と、状態パラメータが示す押弦の位置ＰAや検出器７４の位置Ｐ0とに基づいて、幾何学的なシミュレーションを実行することで周波数特性ＣA[j]を特定する。例えば、特性特定部５２は、ひとつの周波数に対応した振動モードにおいて検出器７４が振動の節に近いほど当該周波数における強度が低くなるとともに検出器７４が振動の腹に近いほど当該周波数における強度が高くなるように、各周波数の強度（例えば図２の部分(a2)における振幅Amp）が選定された周波数特性ＣA[j]を生成する。

解析部５１による振幅スペクトルＳＰaの解析と特性特定部５２による周波数特性ＣA[j]の特定と特性除去部５３による基礎モデルＭ0[j]の生成とがｍ回にわたって反復されることで、各々が別個の周波数ＦA[1]〜ＦA[m]に対応したｍ個の基礎モデルＭ0[1]〜Ｍ0[m]が記憶部６１に生成される。以上の説明から理解されるように、基礎モデルＭ0[j]は、基本周波数ＦA[j]の楽音の出力時にギター７０の状態（押弦の位置ＰAや検出器７４の位置Ｐ0）に応じて当該楽音に付与される周波数特性ＣA[j]には依存しない。

図１に示すように、第２処理部ＤBは、基礎モデルＭ0[1]〜Ｍ0[m]を格納する記憶部６１のほかに特性特定部６２と特性付与部６３とを具備する。特性特定部６２は、特性特定部５２と同様の構成および処理によって、周波数ＦB[i]を基本周波数とする楽音の出力時にギター７０の状態に応じて当該楽音に付与される周波数特性ＣB[i]を特定する手段である。さらに詳述すると、本形態の特性特定部６２は、基本周波数ＦB[i]の楽音を出力するときの押弦の位置ＰAとギター７０に設置された検出器７４の位置Ｐ0とを状態パラメータとして記憶し、基本周波数ＦB[i]に対応した各振動モードにおける弦７２の形状（例えば図３に例示した各振動モードにおける節や腹の位置）と、状態パラメータが示す押弦の位置ＰAや検出器７４の位置Ｐ0とに基づいて幾何学的なシミュレーションを実行することで周波数特性ＣB[i]を特定する。例えば、特性特定部６２は、ひとつの周波数に対応した振動モードにおいて検出器７４が振動の節に近いほど当該周波数における強度が低くなるとともに検出器７４が振動の腹に近いほど当該周波数における強度が高くなるように、各周波数の強度（例えば図２の部分(b2)における振幅Amp）が選定された周波数特性ＣB[i]を生成する。

特性付与部６３は、特性特定部６２が特定した周波数特性ＣB[i]を記憶部６１の基礎モデルＭ0[j]に付与することで音モデルＭ[i]を生成する。すなわち、図２の部分(b1)に示すように、特性付与部６３は、第１に、周波数ＦA[j]に対応した基礎モデルＭ0[j]を、周波数ＦA[j]と周波数ＦB[i]との相違に応じて周波数軸に沿って伸縮（ピッチシフト）することで、周波数ＦB[i]を基本周波数とした高調波構造をモデル化する中間モデルＭ1[i]を生成する。第２に、特性付与部６３は、図２の部分(b1)から部分(b3)に示すように、特性特定部６２が特定した周波数特性ＣB[i]を中間モデルＭ1[i]に付与（例えば乗算）することで音モデルＭ[i]を生成して記憶部２４に格納する。

特性特定部６２による周波数特性ＣB[i]の特定と特性付与部６３による音モデルＭ[i]の生成とがｎ回にわたって反復されることで、各々が別個の周波数ＦB[1]〜ＦB[n]に対応したｎ個の音モデルＭ[1]〜Ｍ[n]が記憶部２４に記憶される。以上のように、音モデルＭ[i]は、周波数ＦB[i]を基本周波数とする楽音の出力時にギターの状態に応じて当該楽音に付与される周波数特性ＣB[i]を基礎モデルＭ0[j]に付加することで生成されるから、関数推定部２２が推定する基本周波数の確率密度関数Ｐは、実際のギターの特性を良好に反映した関数となる。したがって、ギターの音高を高い精度で特定することが可能である。

以上に説明したように、本形態においてはｍ個の基礎モデルＭ0[1]〜Ｍ0[m]から多数（ｎ個）の音モデルＭ[1]〜Ｍ[n]が生成されるから、周波数ＦA[1]〜ＦA[m]の各々を基本周波数とするｍ種類の楽音をギターで演奏すれば足りる。すなわち、音モデルＭ[1]〜Ｍ[n]の全部についてギターの楽音を採取する必要はないから、音モデルＭ[1]〜Ｍ[n]を用意するための作業の負担を軽減することが可能である。また、本形態においては音高の推定に必要となる時期に限って音モデルＭ[1]〜Ｍ[n]が生成されるから、記憶部２４に固定的に格納されるデータ量が削減されるという利点がある。なお、以上においては複数（ｍ個）の基礎モデルＭ0[1]〜Ｍ0[m]を例示したが、ひとつの基礎モデルＭ0のみからｎ個の音モデルＭ[1]〜Ｍ[n]が生成される構成も採用される。すなわち、基礎モデルＭ0と音モデルＭとの対応の関係は本形態において任意である。

＜変形例＞
以上の形態には様々な変形を加えることができる。具体的な変形の態様を例示すれば以下の通りである。なお、以下の各態様を適宜に組み合わせてもよい。

（１）変形例１
以上の形態においては音モデル生成部２００が音高推定装置１００に搭載された構成を例示したが、音モデル生成部２００は音高推定装置１００とは別個の装置であってもよい。例えば、音モデル生成部２００が音高推定装置１００から独立した構成においては、ひとつの音モデル生成部２００で生成された音モデルＭ[1]〜Ｍ[n]が複数の音高推定装置１００にて共通に使用される。この構成においては、音高推定装置１００の記憶部２４には音モデルＭ[1]〜Ｍ[n]が固定的に格納されるものの、音モデル生成部２００で音モデルＭ[1]〜Ｍ[n]を生成するための作業（例えばギター７０を順次に演奏する作業）の負荷が軽減されるという効果は以上の形態と同様に奏される。また、音モデル生成部２００のうち第１処理部ＤAのみが音高推定装置１００とは別個の装置とされた構成も採用される。この構成においては、ひとつの第１処理部ＤAで生成された基礎モデルＭ0[1]〜Ｍ0[m]が、複数の音高推定装置１００において音モデルＭ[1]〜Ｍ[n]の生成のために共通に使用される。

（２）変形例２
押弦の位置（振動区間の全長）ＰAや検出器７４の位置Ｐ0は、基礎モデルＭ0や音モデルＭの生成に使用される状態パラメータの例示に過ぎない。例えば、振幅スペクトルＳＰaから除去される周波数特性ＣA[j]や基礎モデルＭ0[j]（中間モデルＭ1[i]）に付与される周波数特性ＣB[i]は、弦７２のうち利用者が弾弦する位置（ピッキング位置）によっても変化するから、弾弦の位置を状態パラメータとして周波数特性（ＣA[j]，ＣB[i]）を特定してもよい。また、弦７２の張力や全長を状態パラメータとしてもよい。

（３）変形例３
音高を推定する対象となる楽器はギターなどの弦楽器に限定されない。例えば、管楽器の楽音の音高を推定するために利用される音モデルＭの生成にも以上と同様の形態が採用される。管楽器が出力する楽音の振幅スペクトルＳＰaは、基本的な振幅スペクトル（基礎モデルＭ0[j]）に対して特定の周波数特性ＣA[j]を付与した形状となる。ギターの周波数特性ＣA[j]が押弦の位置ＰAや検出器７４の位置Ｐ0に応じて変化するのと同様に、管楽器の周波数特性ＣA[j]（フォルマント特性）は、運指に応じた共鳴柱の変動に応じて（すなわち楽音の基本周波数ＦAに応じて）随時に変化する。音モデル生成部２００の第１処理部ＤAは、周波数ＦA[j]を基本周波数とする楽音の出力時における運指や検出器７４の位置から周波数特性ＣA[j]を特定し、管楽器の実際の楽音に基づいて特定された振幅スペクトルＳＰaから当該周波数特性ＣA[j]を除去することで基礎モデルＭ0[j]を生成する。一方、第２処理部ＤBは、基本周波数ＦB[i]の楽音を出力するときの管楽器の周波数特性ＣB[i]を状態パラメータ（運指や検出器７４の位置）から特定し、当該周波数特性ＣB[i]を基礎モデルＭ0[j]（より厳密には中間モデルＭ1[i]）に付与することで音モデルＭ[i]を生成する。

本発明のひとつの形態に係る音高推定装置の機能的な構成を示すブロック図である。 基礎モデルＭ0[j]や音モデルＭ[i]が生成される過程を説明するための概念図である。 ギターの弦の振動と押弦の位置や検出器の位置との関係を示す概念図である。

符号の説明

１００……音高推定装置、１２……周波数分析部、１４……ＢＰＦ、２２……関数推定部、２４，６１……記憶部、２６……音高特定部、３０……出力部、２００……音モデル生成部、ＤA……第１処理部、ＤB……第２処理部、５１……解析部、５２，６２……特性特定部、５３……特性除去部、６３……特性付与部、７０……ギター、７２……弦、７４……検出器、Ｍ0（Ｍ0[1]〜Ｍ0[m]）……基礎モデル、Ｍ（Ｍ[1]〜Ｍ[n]）……音モデル、Ｐ……基本周波数の確率密度関数。

Claims (6)

1. 楽器の楽音を複数の音モデルの混合分布としてモデル化したときの各音モデルの重み値の分布を基本周波数の確率密度関数として推定するために当該楽器の音モデルを生成する装置であって、
   第１周波数を基本周波数とした高調波構造をモデル化する基礎モデルを記憶する記憶手段と、
   前記第１周波数とは相違する第２周波数を基本周波数とした楽音の出力時に前記楽器の状態に応じて当該楽音に付与される周波数特性を特定する第１特性特定手段と、
   前記第１特性特定手段が特定した周波数特性を前記基礎モデルに付与することで、前記第２周波数を基本周波数とした高調波構造をモデル化する音モデルを生成する特性付与手段と
   を具備する音モデル生成装置。
2. 前記第１特性付与手段は、前記基礎モデルがモデル化する高調波構造を前記第１周波数と前記第２周波数との相違に応じて周波数軸に沿ってシフトし、前記第１特性特定手段が特定した周波数特性をシフト後の基礎モデルに付与する
   請求項１に記載の音モデル生成装置。
3. 前記楽器は、押圧の位置に応じて振動する区間が変化する弦と、前記弦の振動を検出する検出器とを含む弦楽器であり、
   前記第１特性特定手段は、前記弦のうち前記第２周波数に対応した楽音の出力時に押圧される位置と、前記弦の振動する区間に対する前記検出器の位置とに応じて周波数特性を特定する
   請求項１または請求項２に記載の音モデル生成装置。
4. 演奏時に振動する振動体と前記振動体の振動を検出する検出器とを含む楽器の演奏時における前記検出器の検出の結果から前記第１周波数を基本周波数とする高調波構造を特定する解析手段と、
   前記第１周波数を基本周波数とする楽音の出力時に前記楽器の状態に応じて当該楽音に付与される周波数特性を特定する第２特性特定手段と、
   前記第２特性特定手段が特定した周波数特性を前記解析手段が特定した高調波構造から除去することで前記基礎モデルを生成する特性除去手段と
   を具備する請求項１から請求項３の何れかに記載の音モデル生成装置。
5. 楽器の楽音を複数の音モデルの混合分布としてモデル化したときの各音モデルの重み値の分布を基本周波数の確率密度関数として推定するために当該楽器の音モデルを生成する方法であって、
   第１周波数を基本周波数とした高調波構造をモデル化する基礎モデルを記憶する一方、
   前記第１周波数とは相違する第２周波数を基本周波数とした楽音の出力時に前記楽器の状態に応じて当該楽音に付与される周波数特性を特定し、
   この特定した周波数特性を前記基礎モデルに付与することで、前記第２周波数を基本周波数とした高調波構造をモデル化する音モデルを生成する
   音モデル生成方法。
6. 楽器の楽音を複数の音モデルの混合分布としてモデル化したときの各音モデルの重み値の分布を基本周波数の確率密度関数として推定するために当該楽器の音モデルを生成するプログラムであって、第１周波数を基本周波数とした高調波構造をモデル化する基礎モデルを記憶した記憶手段を具備するコンピュータに、
   前記第１周波数とは相違する第２周波数を基本周波数とした楽音の出力時に前記楽器の状態に応じて当該楽音に付与される周波数特性を特定する特性特定処理と、
   前記特性特定処理で特定した周波数特性を前記基礎モデルに付与することで、前記第２周波数を基本周波数とした高調波構造をモデル化する音モデルを生成する特性付与処理と
   を実行させるプログラム。

Images