JP5251381B2 - 音処理装置およびプログラム - Google Patents

Description

本発明は、音声や楽音の音響的な特性を制御する技術に関する。

複数の周波数帯域の各々の成分の強度を個別に調整することで音信号の周波数特性を変化させるイコライザ技術が従来から提案されている。例えば特許文献１には、音信号の周波数特性を、事前に作成および記憶された特性に自動的に調整する技術が開示されている。
特開２００７−３０４３０５号公報

しかし、特許文献１を含む従来のイコライザ技術のもとでは、強度の調整の単位となる各周波数帯域が音信号の調波構造とは無関係に固定的に設定される。したがって、音信号の周波数特性を所望の調波構造に調整することが困難であるという問題がある。

例えば、クラリネットなどの管楽器（閉管楽器）の楽音の周波数特性は、偶数次の倍音を殆ど含まない調波構造となる。したがって、閉管楽器の楽音に類似する周波数特性を音信号に付与するためには、音信号の偶数次の倍音の強度を抑制する必要がある。しかし、強度が調整される周波数帯域が音信号の調波構造とは無関係に設定された従来のイコライザ技術のもとでは、何れの周波数帯域が音信号の偶数次の倍音に相当するのかを利用者が容易には把握できないから、閉管楽器の楽音の周波数特性を忠実に音信号に付与することが困難である。以上の事情に鑑みて、本発明は、音信号の調波構造を容易に調整することを目的とする。

以上の課題を解決するために、本発明に係る音処理装置は、複数の次数の各々について
倍音の強度の制御値を可変に設定する変数設定手段と、第１音信号の各次数の倍音の強度
を当該次数の制御値に応じて調整した第２音信号を生成する音処理手段と、第１音信号を有声区間と無声区間とに区分する区間判別手段とを具備し、音処理手段は、第１音信号の有声区間における各次数の倍音の強度を制御値に応じて調整するとともに、第１音信号の無声区間における各周波数の強度を、当該無声区間に隣接する有声区間の複数の倍音のうち当該周波数に対応する倍音の制御値に応じて調整することで、第２音信号を生成する。以上の態様においては、倍音の各次数について設定された制御値に応じて第１音信号の各次数の倍音の強度が調整されるから、音信号の調波構造とは無関係に固定的に設定された周波数帯域毎に音信号の強度を調整する場合と比較して、音信号の周波数特性を所期の調波構造に容易に調整することが可能となる。また、有声区間の制御値に応じた特性が無音区間に付加されるから、無声区間については調波構造が特定されないにも拘わらず、無声区間の特性を有声区間に近づけることが可能である。

本発明の好適な態様に係る音処理装置は、倍音の次数を示す次数軸と各次数の制御値を示す数値軸とが設定された領域内に配置されて変数設定手段による各次数の制御値を示す制御値画像を表示装置に表示させる表示制御手段を具備する。以上の態様においては、倍音の各次数に対応する制御値の系列を示す制御値画像が表示装置に表示されるから、各次数の制御値を利用者が直感的に把握できるという利点がある。

本発明の好適な態様において、表示制御手段は、第１音信号の各次数の倍音の強度を制御値画像と共通の次数軸に沿って示す第１倍音強度画像と、第２音信号の各次数の倍音の強度を制御値画像と共通の次数軸に沿って示す第２倍音強度画像とを表示装置に表示させる。以上の態様においては、第１音信号の第１倍音強度画像と第２音信号の第２倍音強度画像とが制御値画像とともに共通の次数軸のもとで表示されるから、各次数の制御値を利用した調整の前後における第１音信号と第２音信号との調波構造の相違を利用者が直感的に把握できるという利点がある。

本発明の好適な態様において、表示制御手段は、数値軸のうち利用者からの指示に応じた位置を示す指示子を次数軸上の次数毎に配置した制御値画像を表示装置に表示させ、変数設定手段は、各指示子が示す数値軸上の位置に応じて、当該指示子に対応する次数の制御値を決定する。以上の態様においては、各次数に対応した指示子の位置を指示するという簡易な操作で各次数の制御値を利用者が直感的に調整できるという利点がある。さらに好適な態様において、前記表示制御手段は、前記複数の次数のうち利用者が選択した２以上の指示子を利用者からの指示に応じて一括的に移動する。以上の構成によれば、複数の制御値の各々を個別に制御する場合と比較して、各制御値を調整する作業の負担が軽減されるという利点がある。また、例えば、複数の次数のうち偶数次および奇数次の一方の各制御値を利用者からの指示に応じて一括的に変化させる構成によれば、例えば偶数次の倍音が殆ど存在しない閉管楽器の楽音の調波構造を容易に再現することが可能である。

本発明の好適な態様に係る音処理装置は、複数の次数の制御値を各々が指定する複数の制御値群を記憶する記憶手段を具備し、変数設定手段は、複数の制御値群の何れかを選択し、当該制御値群が指定する制御値を各次数の倍音について設定する。以上の態様によれば、各次数の制御値を指定する制御値群が選択的に第２音信号の生成に適用されるから、複数の制御値の各々を利用者が個別に調整する作業の負担が軽減されるという利点がある。さらに好適な態様において、記憶手段は、各制御値の選択の時期を指定する時間情報を記憶し、変数設定手段は、時間情報が指定する各時期にて複数の制御値群の各々を順次に選択する。なお、以上の態様の具体例は第３実施形態および第４実施形態として後述される。

本発明の好適な態様において、変数設定手段は、第１音信号の各次数の倍音の強度に対する第２音信号の各次数の倍音の強度の相対値を制御値として設定する。以上の態様によれば、第１音信号と第２音信号との各次数の倍音の強度の高低を各制御値の系列から容易に把握できるという利点がある。なお、本態様の具体例は第１実施形態として後述される。

本発明の好適な態様において、音処理手段は、第２音信号の各次数の倍音の強度を、変数設定手段の設定した制御値、または第１音信号の音量に応じた基準値と当該制御値との加算値に調整する。以上の態様によれば、第２音信号の各次数の倍音の強度を制御値に応じて直接的に指定できるという利点がある。なお、本態様の具体例は第２実施形態として後述される。

本発明の好適な態様に係る音処理装置は、第１音信号を有声区間と無声区間とに区分する区間判別手段を具備し、音処理手段は、第１音信号の有声区間における各次数の倍音の強度を制御値に応じて調整するとともに、第１音信号の無声区間における各周波数の強度を、当該無声区間に隣接する有声区間の複数の倍音のうち当該周波数に対応する倍音の制御値に応じて調整することで、第２音信号を生成する。以上の態様においては、有声区間の制御値に応じた特性が無音区間に付加されるから、無声区間については調波構造が特定されないにも拘わらず、無声区間の特性を有声区間に近づけることが可能である。なお、以上の態様の具体例は第５実施形態として後述される。

本発明の好適な態様に係る音処理装置は、第１音信号を調和成分と非調和成分とに分離する成分分離手段を具備し、音処理手段は、第１音信号の調和成分における各次数の倍音の強度を制御値に応じて調整した成分と、第１音信号の非調和成分における各周波数の強度を、調和成分の複数の倍音のうち当該周波数に対応する倍音の制御値に応じて調整した成分とを合成することで、第２音信号を生成する。以上の態様においては、調和成分の制御値に応じた特性が非調和成分に付加されるから、非調和成分については調波構造が特定されないにも拘わらず、非調和成分の特性を調和成分に近づけることが可能である。なお、以上の態様の具体例は第６実施形態として後述される。

また、以上の各態様に係る音処理装置は、音信号の処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、複数の次数の各々について倍音の強度の制御値を可変に設定する変数設定処理と、第１音信号の各次数の倍音の強度を当該次数の制御値に応じて調整した第２音信号を生成する調整処理と、第１音信号を有声区間と無声区間とに区分する区間判別処理とをコンピュータに実行させるプログラムであって、調整処理では、第１音信号の有声区間における各次数の倍音の強度を制御値に応じて調整するとともに、第１音信号の無声区間における各周波数の強度を、当該無声区間に隣接する有声区間の複数の倍音のうち当該周波数に対応する倍音の制御値に応じて調整することで、第２音信号を生成する。以上のプログラムによれば、本発明に係る音処理装置と同様の作用および効果が奏される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。

＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態に係る音処理装置１００のブロック図である。図１に示すように、音処理装置１００は、演算処理装置１２と記憶装置１４とを含むコンピュータシステムで実現される。記憶装置１４は、演算処理装置１２が実行するプログラムや演算処理装置１２が使用するデータを記憶する。例えば、音声や楽音（例えば楽器の演奏音）などの音波の時間軸上の波形を表す音信号Ｓ1を記憶装置１４は記憶する。半導体記録媒体や磁気記録媒体などの公知の記録媒体が記憶装置１４として任意に採用される。

演算処理装置１２は、記憶装置１４に格納されたプログラムを実行することで、音信号Ｓ1の周波数特性を変化させた音信号Ｓ2を生成するための複数の機能（倍音分析部４２，変数設定部４４，音処理部４６，表示制御部４８）を実現する。演算処理装置１２には、入力装置２２と表示装置２４と放音装置２６とが接続される。入力装置２２は、音処理装置１００に対する指示の入力のために利用者が操作する操作子で構成される。例えばマウスが入力装置２２として好適である。表示装置２４は、演算処理装置１２（表示制御部４８）による制御のもとで画像を表示する。放音装置２６（例えばスピーカやヘッドホン）は、演算処理装置１２が生成した音信号Ｓ2に応じた音波を放射する。

倍音分析部４２は、音信号Ｓ1を構成する複数の倍音の系列（調波構造）を特定する。なお、本出願では、音波の基音を便宜的に倍音のひとつ（第１次倍音）として把握する。すなわち、本出願の「倍音」は、第２次以降の倍音（慣例的な意味での倍音）と基音（第１次倍音）との双方を包含する概念である。倍音分析部４２による処理の具体例を以下に例示する。

倍音分析部４２は、第１に、音信号Ｓ1を時間軸上で区分した複数のフレームの各々について高速フーリエ変換などの周波数分析を実行することで、各フレームの周波数スペクトル（パワースペクトル）Ｑ1を算定する。図２の部分(A)に示すように、各フレームの周波数スペクトルＱ1には、複数の倍音の各々に対応した周波数に強度の局所的なピーク（以下「局所的ピーク」という）ｐkが現れる。

第２に、倍音分析部４２は、周波数スペクトルＱ1を局所的ピークｐk毎（倍音毎）に周波数軸上でｎ個の分布領域Ｒ（Ｒ[1]〜Ｒ[n]）に区分する（ｎは自然数）。第ｉ番目（ｉ＝１〜ｎ）の分布領域Ｒ[i]は、第ｉ次倍音に対応する局所的ピークｐkの周波数ｆ[i]と周波数ｆ[i]の前後の周波数とを含む周波数帯域である。例えば、周波数軸上で相隣接する２個の局所的ピークｐkの中点を境界として分布領域Ｒが画定される。もっとも、各分布領域Ｒを画定する方法（すなわち倍音を抽出する方法）は本発明において任意である。例えば、第ｉ次倍音の局所的ピークｐkの周波数ｆ[i]を中点とした所定幅の周波数帯域が分布領域Ｒ[i]として設定され得る。

図１の変数設定部４４は、音信号Ｓ1の各フレームについて第１次（基音）から第ｎ次までの各倍音に対応する制御値Ｃ（Ｃ[1]〜Ｃ[n]）を設定する。制御値Ｃ[i]は、第ｉ次倍音の強度の調整の程度を指定する変数である。制御値Ｃ[1]〜Ｃ[n]の各々は、利用者による入力装置２２の操作に応じて個別に設定される。制御値Ｃ[1]〜Ｃ[n]の設定については後述する。

音処理部４６は、変数設定部４４が設定した制御値Ｃ（Ｃ[1]〜Ｃ[n]）に応じて音信号Ｓ1の強度を分布領域Ｒ毎に調整することで音信号Ｓ2を生成する。図２の部分(B)には、１個のフレームについて音信号Ｓ1の周波数スペクトルＱ1（破線）と音信号Ｓ2の周波数スペクトルＱ2（実線）とが図示されている。図２の部分(B)に示すように、音処理部４６は、周波数スペクトルＱ1の各分布領域Ｒ[i]内の強度を制御値Ｃ[i]に応じて変化させることで周波数スペクトルＱ2を算定する。

さらに詳述すると、周波数スペクトルＱ2の分布領域Ｒ[i]内の強度は、周波数スペクトルＱ1の分布領域Ｒ[i]内の各周波数における強度に共通の制御値Ｃ[i]を加算した数値に設定される。したがって、分布領域Ｒ[i]内の第ｉ次倍音に着目すると、図２の部分(B)に示すように、音信号Ｓ2の第ｉ次倍音の強度Ｂ[i]は、音信号Ｓ1の第ｉ次倍音の強度Ａ[i]と制御値Ｃ[i]との加算値に設定される（数式(1)）。すなわち、制御値Ｃ[i]は、音信号Ｓ1の第ｉ次倍音の強度Ａ[i]に対する音信号Ｓ2の第ｉ次倍音の強度Ｂ[i]の相対値（強度Ｂ[i]と強度Ａ[i]との差分値）に相当する。音処理部４６は、各フレームの周波数スペクトルＱ2に逆フーリエ変換を実行することで時間領域の音信号Ｓ2を生成する。
Ｂ[i]＝Ａ[i]＋Ｃ[i] ……(1)

図１の表示制御部４８は、表示装置２４に画像を表示させる。例えば、表示制御部４８は、制御値Ｃ[1]〜Ｃ[n]を利用者が編集するための編集画像５０を表示装置２４に表示させる。図３は、編集画像５０の模式図である。図３に示すように、編集画像５０は、領域５２と領域５４とに区分される。領域５２および領域５４には、倍音の次数を示す共通の次数軸（横軸）Ｘが設定される。次数軸Ｘの軸上には倍音の各次数（１〜ｎ）が等間隔に目盛られる。

領域５２には、倍音の強度を示す数値軸（縦軸）Ｙ1が次数軸Ｘに交差する方向に設定される。表示制御部４８は、音信号Ｓ1の１個のフレームについて倍音強度画像５２２と倍音強度画像５２４とを領域５２内に配置する。倍音強度画像５２２は、記憶装置１４に格納された音信号Ｓ1の各次数の倍音の強度Ａ（Ａ[1]〜Ａ[n]）を次数軸Ｘに沿って描画した画像（グラフ）であり、倍音強度画像５２４は、音処理部４６が生成した音信号Ｓ2の各次数の倍音の強度Ｂ[1]〜Ｂ[n]を次数軸Ｘに沿って描画した画像である。倍音強度画像５２２および倍音強度画像５２４の表示の対象となる１個のフレーム（以下「対象フレーム」という）は、例えば利用者からの指示に応じて変更される。

倍音強度画像５２２は、倍音の各次数に対応するｎ本の線分Ｌ1aと、相隣接する各線分Ｌ1aの先端を連結する包絡線Ｌ1b（破線）とを含む。次数ｉに対応する線分Ｌ1aの線長は、音信号Ｓ1における第ｉ次倍音の強度Ａ[i]に応じて決定される。包絡線Ｌ1bは、各線分Ｌ1aの端部を連結した折線や各線分Ｌ1aの端部を補間（例えばスプライン補間）した曲線である。倍音強度画像５２４も同様に、音信号Ｓ2の各次数の倍音の強度Ｂ[i]に応じて線長が決定されたｎ本の線分Ｌ2aと、相隣接する各線分Ｌ2aの先端を連結した包絡線Ｌ2bとを含む。以上のように領域５２内には倍音強度画像５２２と倍音強度画像５２４とが対比的に表示されるから、音信号Ｓ1と音信号Ｓ2との調波構造（ホルマント構造）の相違を利用者が容易に把握できるという利点がある。

図３に示すように、領域５４には、各次数の制御値Ｃを示す数値軸（縦軸）Ｙ2が次数軸Ｘに交差する方向に設定される。表示制御部４８は、倍音強度画像５２２や倍音強度画像５２４と共通の対象フレームの制御値画像５６を領域５４内に配置する。制御値画像５６は、対象フレームについて変数設定部４４が設定した制御値Ｃ[1]〜Ｃ[n]を次数軸Ｘに沿って描画した画像である。領域５４のうち数値軸Ｙ2の方向における中央には次数軸Ｘの方向に延在する基準線Ｌ0が配置される。基準線Ｌ0は、制御値Ｃのゼロを意味する直線である。

制御値画像５６は、各次数の倍音に対応するｎ個の指示子Ｐ（Ｐ[1]〜Ｐ[n]）を含む。利用者は、入力装置２２を操作する（例えばマウスで指示子Ｐをドラッグする）ことで、各指示子Ｐの数値軸Ｙ2の方向における位置を任意に指示することができる。表示制御部４８は、制御値画像５６における各指示子Ｐを、数値軸Ｙ2の方向に沿って、利用者からの指示に応じた位置に移動する。変数設定部４４は、数値軸Ｙ2の方向における指示子Ｐ[i]の位置に応じて第ｉ次倍音の制御値Ｃ[i]を決定する。すなわち、指示子Ｐ[i]が基準線Ｌ0の線上に位置する場合、制御値Ｃ[i]はゼロに設定される。また、指示子Ｐ[i]が基準線Ｌ0から上方に離間するほど制御値Ｃ[i]は正数の範囲で増加し、指示子Ｐ[i]が基準線Ｌ0から下方に離間するほど制御値Ｃ[i]は負数の範囲で減少する。表示制御部４８は、変更後の制御値Ｃ[i]から算定される音信号Ｓ2（周波数スペクトルＱ2）の各倍音の強度Ｂ[i]に応じて倍音強度画像５２４を更新する。

図２を参照して説明したように、音信号Ｓ2の第ｉ次倍音の強度Ｂ[i]は、音信号Ｓ1の第ｉ次倍音の強度Ａ[i]と制御値Ｃ[i]との加算値に相当する。したがって、指示子Ｐが基準線Ｌ0の線上に位置する次数の倍音（例えば図３における第１次倍音〜第３次倍音）については音信号Ｓ1の強度Ａ[i]と音信号Ｓ2の強度Ｂ[i]とが合致する。すなわち、倍音強度画像５２２の線分Ｌ1aと倍音強度画像５２４の線分Ｌ2aとは線長が一致する。また、指示子Ｐ[i]が基準線Ｌ0の上方に位置する次数については、制御値Ｃ[i]が正数に設定されることで音信号Ｓ2の強度Ｂ[i]が音信号Ｓ1の強度Ａ[i]を上回り、指示子Ｐ[i]が基準線Ｌ0の下方に位置する次数については、制御値Ｃ[i]が負数に設定されることで音信号Ｓ2の強度Ｂ[i]が音信号Ｓ1の強度Ａ[i]を下回る。

各指示子Ｐを個別に移動させるほか、利用者は、複数の指示子Ｐを一括的に移動させることが可能である。例えば、利用者は、各指示子Ｐについて事前に用意された複数種の組合せの何れかを入力装置２２の操作で指定するとともに各指示子Ｐの移動を指示する。利用者が選択できる組合せとしては、例えば、奇数次の倍音に対応する複数の指示子Ｐ（Ｐ[1]，Ｐ[3]，Ｐ[5]，……）の組合せや、偶数次の倍音に対応する複数の指示子Ｐ（Ｐ[2]，Ｐ[4]，Ｐ[6]，……）の組合せがある。もっとも、同時に操作すべき複数の指示子Ｐを利用者が任意に選択することも可能である。

複数の指示子Ｐの移動が指示されると、表示制御部４８は、利用者が選択した複数の指示子Ｐを、利用者が指示した方向および距離だけ同時に移動する。図４は、偶数次の各指示子Ｐ（Ｐ[2]，Ｐ[4]，Ｐ[6]，……）を奇数次の各指示子Ｐ（Ｐ[1]，Ｐ[3]，Ｐ[5]，……）に対して下方に移動した場合が例示されている。変数設定部４４は、利用者が選択した指示子Ｐに対応する複数の次数の各々の制御値Ｃを各指示子Ｐの移動量に応じて共通に増減させる。以上のように利用者は、奇数次の各制御値Ｃ（Ｃ[1]，Ｃ[3]，Ｃ[5]，……）や偶数次の各制御値Ｃ（Ｃ[2]，Ｃ[4]，Ｃ[6]，……）といった各種の組合せの制御値Ｃを一括的に変更できる。

以上の形態においては、音信号Ｓ1の各次数の倍音に対応する制御値Ｃ[1]〜Ｃ[n]が利用者からの指示に応じて可変に制御されるから、所望の調波構造の音信号Ｓ2の生成を利用者が容易に指示できるという利点がある。例えば、図４のように偶数次に対応する各指示子Ｐ（Ｐ[2]，Ｐ[4]，Ｐ[6]，……）を奇数次の各指示子Ｐ（Ｐ[1]，Ｐ[3]，Ｐ[5]，……）に対して下方に移動することで偶数次の制御値Ｃ（Ｃ[2]，Ｃ[4]，Ｃ[6]，……）が減少するから、音信号Ｓ2における偶数次の倍音の強度が低減される。したがって、例えばクラリネットなどの閉管楽器に類似した調波構造（周波数特性）の音信号Ｓ2を生成できるという利点がある。特に本形態においては、複数の指示子Ｐを選択して一括的に移動させることが可能であるから、各指示子を１個ずつ個別に移動させる場合と比較して、所望の組合わせの倍音（例えば偶数次の倍音）を調整する作業の負担が軽減されるという利点がある。

また、本形態においては、音信号Ｓ1の第ｉ次倍音の強度に対する音信号Ｓ2の第ｉ次倍音の強度の相対値が制御値Ｃ[i]として制御値画像５６に表示される。したがって、音信号Ｓ1と音信号Ｓ2とにおける倍音毎の強度の高低を利用者が直感的に把握できる。しかも、制御値Ｃ[i]の系列（制御値画像５６）と音信号Ｓ1の各倍音の強度の系列（倍音強度画像５２２）と音信号Ｓ2の各倍音の強度の系列（倍音強度画像５２４）とが共通の次数軸Ｘのもとで表示されるから、各次数の制御値Ｃ[i]を調整した結果として音信号Ｓ2の第ｉ次倍音の強度が音信号Ｓ1の第ｉ次倍音の強度に対して変化する様子を利用者が直感的に把握できるという利点もある。

＜Ｂ：第２実施形態＞
次に、本発明の第２実施形態について説明する。なお、以下の各形態において作用や機能が第１実施形態と同等である要素については、以上と同じ符号を付して各々の詳細な説明を適宜に省略する。

図５は、本形態における編集画像５０の模式図である。図５に示すように、表示制御部４８は、倍音の各次数に対応する指示子Ｐ（Ｐ[1]〜Ｐ[n]）と、各指示子Ｐを連結する包絡線Ｌとを制御値画像５６として領域５４内に配置する。包絡線Ｌは、相隣接する指示子Ｐを連結した折線や各指示子Ｐを補間（例えばスプライン補間）した曲線である。変数設定部４４は、第１実施形態と同様に、数値軸Ｙ2の方向における指示子Ｐ[i]の位置に応じて第ｉ次倍音の制御値Ｃ[i]を設定する。

音処理部４６は、制御値Ｃ[i]と音信号Ｓ1の第ｉ次倍音の強度Ａ[i]との差分値Δ[i]（Δ[i]＝Ｃ[i]−Ａ[i]）を、周波数スペクトルＱ1の各分布領域Ｒ[i]内の各周波数での強度に加算することで周波数スペクトルＱ2の分布領域Ｒ[i]の強度を算定する。したがって、音信号Ｓ2の第ｉ次倍音の強度Ｂ[i]は、利用者が設定した制御値Ｃ[i]に調整される。すなわち、第１実施形態における制御値Ｃ[i]が音信号Ｓ1の第ｉ次倍音の強度Ａ[i]に対する音信号Ｓ2の第ｉ次倍音の強度Ｂ[i]の相対値であるのに対し、本形態の制御値Ｃ[i]は、音信号Ｓ2の第ｉ次倍音の強度Ｂ[i]を直接的に指定する数値である。

表示制御部４８は、制御値Ｃ[1]〜Ｃ[n]から算定した音信号Ｓ2（周波数スペクトルＱ2）の各倍音の強度Ｂ[1]〜Ｂ[n]に応じて領域５２内の倍音強度画像５２４を更新する。強度Ｂ[i]は制御値Ｃ[i]と等しい数値に設定されるから、図５に示すように、倍音強度画像５２４の包絡線Ｌ2bは制御値画像５６の包絡線Ｌと同じ形状となる。

以上の形態においても第１実施形態と同様の効果が実現される。さらに、本形態においては、音信号Ｓ2の各倍音の強度Ｂ[i]として制御値Ｃ[i]が適用されるから、音信号Ｓ2の調波構造を利用者が直接的に指定できるという利点がある。例えば、「あ」の音韻の調波構造に対応するように制御値Ｃ[1]〜Ｃ[n]を指定すると、音信号Ｓ1の音韻に拘わらず音信号Ｓ2の音韻を「あ」に変更することが可能である。

なお、以上の例示のように制御値Ｃ[i]と音信号Ｓ1の第ｉ次倍音の強度Ａ[i]との差分値Δ[i]を分布領域Ｒ[i]内の成分に加算する構成においては、音信号Ｓ1の音量が変化しても音信号Ｓ2の音量は殆ど変化しない。そこで、以下に例示するように、音信号Ｓ1の音量に応じて各倍音の強度の調整量を可変に制御する構成も採用される。

音処理部４６は、音信号Ｓ1の音量に応じた基準値ＣREFを算定する。基準値ＣREFは、例えば、各フレームにおける音信号Ｓ1の音量や、音信号Ｓ1の各フレームにおけるｎ個の倍音の強度の平均値である。音処理部４６は、周波数スペクトルＱ1の各分布領域Ｒ[i]内の各周波数における強度に、差分値Δ[i]（Δ[i]＝Ｃ[i]−Ａ[i]）と基準値ＣREFとの加算値を加算することで周波数スペクトルＱ2の分布領域Ｒ[i]の強度を算定する。したがって、音信号Ｓ2の第ｉ次倍音の強度Ｂ[i]は、制御値Ｃ[i]と基準値ＣREFとの加算値に調整される。以上の構成によれば、音信号Ｓ2の音量を音信号Ｓ1と同様に変化させることが可能である。

＜Ｃ：第３実施形態＞
次に、本発明の第３実施形態について説明する。図６に示すように、本形態においては複数の制御値群ＧCが記憶装置１４に格納される。各制御値群ＧCは、第１次から第ｎ次までの各倍音に対応する制御値Ｃ（Ｃ[1]〜Ｃ[n]）を指定する。制御値Ｃ[1]〜Ｃ[n]は制御値群ＧC毎に個別に設定される。各制御値群ＧCの制御値Ｃ[1]〜Ｃ[n]は、例えば、第１実施形態や第２実施形態と同様の手順で利用者が可変に設定する。

利用者は、入力装置２２を適宜に操作することで、複数の制御値群ＧCのなかから音信号Ｓ1の各フレームの調整に適用される制御値群ＧCを指定する。変数設定部４４は、利用者が指定した制御値群ＧCを選択して記憶装置１４から取得し、当該制御値群ＧCが指定する制御値Ｃ[1]〜Ｃ[n]を音処理部４６に指示する。音処理部４６は、変数設定部４４から指示される制御値Ｃ[1]〜Ｃ[n]を利用して第１実施形態や第２実施形態と同様の方法で音信号Ｓ2を生成する。

以上のように、記憶装置１４に記憶された制御値群ＧCの制御値Ｃ[1]〜Ｃ[n]が音信号Ｓ1の調整に適用されるから、利用者が調整値Ｃ[1]〜Ｃ[n]を個別に指定する場合と比較して、利用者の負担が軽減されるという利点がある。

＜Ｄ：第４実施形態＞
次に、本発明の第４実施形態について説明する。本形態においては、複数の制御値群ＧCを時系列に指定する制御値データＤCが記憶装置１４に記憶される。図７は、制御値データＤCの構造の模式図である。図７に示すように、制御値データＤCは、制御値群ＧCと時間情報Ｔとが交互に配列されたシーケンスデータである。制御値群ＧCは、第３実施形態と同様に、第１次から第ｎ次までの各次数の制御値Ｃ（Ｃ[1]〜Ｃ[n]）を指定する。時間情報Ｔ（デュレーションデータ）は、直後の制御値群ＧCが適用される時期（例えば前後の制御値群ＧCが適用される時点の間隔）を指定する。

変数設定部４４は、各時間情報Ｔの指定する時期が到来するたびに当該時間情報Ｔの直後の制御値群ＧCを選択して記憶装置１４から取得し、当該制御値群ＧCが指定する制御値Ｃ[1]〜Ｃ[n]を音処理部４６に指示する。音処理部４６は、変数設定部４４から指示される制御値Ｃ[1]〜Ｃ[n]を利用して音信号Ｓ2を生成する。以上のように、音信号Ｓ2の生成に適用される制御値Ｃ[1]〜Ｃ[n]が時系列に指定されるから、制御値Ｃ[1]〜Ｃ[n]を指定する作業の負担を第３実施形態と同様に軽減しながら、音信号Ｓ2の調波構造を経時的に変化させることが可能である。

＜Ｅ：第５実施形態＞
図８は、本発明の第５実施形態に係る音処理装置１００のブロック図である。図８に示すように、本形態の音処理装置１００は、図１の音処理装置１００に区間判別部７２を追加した構成である。区間判別部７２は、音信号Ｓ1を時間軸上で有声区間と無声区間とに区分する。有声区間は、調波構造（複数の倍音の系列）が特定される区間であり、無声区間は、明確な調波構造が特定されない区間やや音波が存在しない区間である。例えば、母音などの有声音が存在する区間は有声区間に判別され、無声子音が存在する区間や無音の区間は無声区間に判別される。倍音分析部４２は、有声区間および無声区間の双方の各フレームについて周波数スペクトルＱ1を算定する一方、有声区間内の各フレームについてのみ調波構造の特定（分布領域Ｒ[1]〜Ｒ[n]や倍音の強度Ａ[1]〜Ａ[n]の特定）を実行する。有声区間と無声区間との判別には公知の技術が任意に採用される。

音処理部４６は、音信号Ｓ1における有声区間の各フレームと無声区間の各フレームとについて別個の処理を実行することで音信号Ｓ2を生成する。第１に、音処理部４６は、音信号Ｓ1の有声区間内の各フレームの周波数スペクトルＱ1について各次数の倍音の強度を制御値Ｃ[1]〜Ｃ[n]に応じて調整することで音信号Ｓ2の周波数スペクトルＱ2を生成する。有声区間の各倍音の強度の調整には第１実施形態や第２実施形態と同様の方法が利用される。

第２に、音処理部４６は、有声区間の調整に適用した制御値Ｃ[1]〜Ｃ[n]を利用して無声区間を調整する。さらに詳述すると、音処理部４６は、無声区間の直前の有声区間（例えば有声区間の最後のフレーム）の制御値Ｃ[1]〜Ｃ[n]から特性データを生成し、特性データを利用して無声区間内の各フレームの周波数スペクトルＱ1を加工することで音信号Ｓ2の周波数スペクトルＱ2を生成する。

図９に示すように、音処理部４６が生成する特性データは、周波数軸上の各周波数における強度の特性（イコライジングカーブ）Ｆを指定する。特性Ｆにおいては、無声区間の直前の有声区間の第ｉ次倍音の周波数ｆ[i]の強度として、変数設定部４４が有声区間内の第ｉ次倍音に設定した制御値Ｃ[i]に応じた数値が設定される。例えば、第ｉ次倍音に対応する制御値Ｃ[i]や制御値Ｃ[i]による調整後の音信号Ｓ2の強度Ｂ[i]を、特性データは周波数ｆ[i]での強度として指定する。また、特性データは、各倍音の周波数ｆ[i]の間の各周波数における強度として、周波数軸上で近接する周波数ｆ[i]での強度や、各周波数ｆ[i]での強度を補間した数値を指定する。

音処理部４６は、無声区間の周波数スペクトルＱ1における各周波数の強度を特性データによる指定値に調整する（すなわち、音信号Ｓ1に特性Ｆを付加する）ことで音信号Ｓ2の周波数スペクトルＱ2を生成する。そして、音処理部４６は、有声区間および無声区間の各フレームの周波数スペクトルＱ2から音信号Ｓ2を生成する。

無声区間については調波構造が特定されないから、第１実施形態や第２実施形態のもとでは音信号Ｓ1の無声区間に対して強度の調整が実行されない。本形態においては、音信号Ｓ1の有声区間の制御値Ｃ[1]〜Ｃ[n]に応じた周波数特性を無声区間に付加することで音信号Ｓ2が生成されるから、無声区間について調波構造が特定されないにも拘わらず、音信号Ｓ2における無声区間の周波数特性を有声区間に近づけることができる。したがって、音信号Ｓ2の再生音について聴感上の違和感を低減することが可能である。なお、無声区間の調整に当該無声区間の直後の有声区間の制御値Ｃ[1]〜Ｃ[n]を利用してもよい。すなわち、無声区間に隣接する有声区間（すなわち無声区間の直前または直後に位置する有声区間）の制御値Ｃ[1]〜Ｃ[n]を当該無声区間の処理に利用する構成が好適である。

＜Ｆ：第６実施形態＞
図１０は、本発明の第６実施形態に係る音処理装置１００のブロック図である。本形態の音処理装置１００は、図１の音処理装置１００に成分分離部７４を追加した構成である。成分分離部７４は、音信号Ｓ1の各フレームを調和成分と非調和成分とに分離する。調和成分は、音信号Ｓ1のうち複数の倍音の系列（例えば複数の正弦波）で構成される成分であり、非調和成分は、調波構造が不明瞭な成分である。音信号Ｓ1（周波数スペクトルＱ1）から調和成分を差引いた残差のスペクトルが非調和成分に相当する。調和成分と非調和成分との分離には、ＳＭＳ（Spectral Modeling Synthesis）技術などの公知の技術が任意に採用される。

音処理部４６は、音信号Ｓ1の各フレームから成分分離部７４が抽出した調和成分と非調和成分とについて別個の処理を実行することで音信号Ｓ2を生成する。第１に、音処理部４６は、音信号Ｓ1の各フレームの調和成分に含まれる各次数の倍音の強度を制御値Ｃ[1]〜Ｃ[n]に応じて調整する。調和成分の各倍音の強度の調整には第１実施形態や第２実施形態と同様の方法が利用される。

第２に、音処理部４６は、調和成分の調整に適用した制御値Ｃ[1]〜Ｃ[n]に応じて非調和成分を調整する。さらに詳述すると、音処理部４６は、調和成分の調整に適用した制御値Ｃ[1]〜Ｃ[n]から特性データを生成し、当該調和成分と同じフレームの非調和成分を特性データに応じて加工する。本形態の特性データは、第５実施形態と同様に図９の特性Ｆを指定する。例えば、特性データは、調和成分における第ｉ次倍音の周波数ｆ[i]の強度として、変数設定部４４が当該第ｉ次倍音に設定した制御値Ｃ[i]に応じた数値を指定する。音処理部４６は、制御値Ｃ[1]〜Ｃ[n]による調整後の調和成分と特性データによる調整後の非調和成分とを各フレームについて合成することで時間領域の音信号Ｓ2を生成する。

以上の形態においては、調和成分の制御値Ｃ[1]〜Ｃ[n]に応じた周波数特性が非調和成分に付加されるから、音信号Ｓ2における非調和成分の周波数特性を調和成分に近づけることができる。したがって、音信号Ｓ2の再生音について聴感上の違和感を低減することが可能である。なお、時間的に近接するフレームでは調和成分の特性が類似する可能性が高いから、各フレームの調和成分の制御値Ｃ[1]〜Ｃ[n]に応じた特性データを他のフレームの非調和成分の調整に利用してもよい。

＜Ｇ：変形例＞
以上に例示した各形態には様々な変形が加えられる。具体的な変形の態様を例示すれば以下の通りである。なお、以下の例示から２以上の態様を任意に選択して組合せてもよい。

（１）変形例１
音信号Ｓ1の周波数スペクトルＱ1の各分布領域Ｒ[i]の成分の強度を制御値Ｃ[i]に応じて調整する方法は適宜に変更される。例えば図１１に示すように、制御値Ｃ[i]に応じた強度の調整量を分布領域Ｒ[i]内で変化させる構成も採用される。図１１においては、分布領域Ｒ[i]内の各周波数の強度の調整量が、第ｉ次倍音の周波数ｆ[i]から分布領域Ｒ[i]の両端部にかけて制御値Ｃ[i]からゼロに減少する。以上の構成によれば、図１１に示すように、各分布領域Ｒ[i]の境界における周波数スペクトルＱ2の強度の不連続が回避されるという利点がある。また、以上の各形態においては周波数スペクトルＱ1の強度に制御値Ｃ[i]を加算したが、例えば、周波数スペクトルＱ1の強度に制御値Ｃ[i]を乗算する構成も採用される。

（２）変形例２
以上の各形態においては、表示装置２４に表示された各指示子Ｐを利用者が操作する構成を例示したが、例えば各次数の倍音に対応するｎ個の操作子（例えばフェーダ）を入力装置２２に設置し、各操作子の位置に応じて制御値Ｃ（Ｃ[1]〜Ｃ[n]）を可変に設定する構成も採用される。

（３）変形例３
制御値画像５６の内容は以上の例示に限定されない。例えば、図１２のように、利用者からの指示に応じて数値軸Ｙ2の方向の寸法（すなわち制御値Ｃ[i]）が可変に制御される矩形状の指示子Ｐ（Ｐ[1]〜Ｐ[n]）を制御値画像５６として表示する構成や、図１３のように、各次数の制御値Ｃ[i]に対応する地点を連結する直線または曲線を制御値画像５６として表示する構成も採用される。倍音強度画像５２２や倍音強度画像５２４の内容も適宜に変更される。例えば、図３から図５の包絡線Ｌ1bや包絡線Ｌ2bは省略され得る。また、次数軸Ｘや数値軸Ｙ1や数値軸Ｙ2が画像として可視的に表示される構成は本発明において必須ではない。

本発明の第１実施形態に係る音処理装置のブロック図である。 倍音分析部および音処理部の動作を説明するための概念図である。 編集画像の模式図である。 編集画像の模式図である。 本発明の第２実施形態における編集画像の模式図である。 第３実施形態における制御値群を説明するための概念図である。 第４実施形態における制御値データを説明するための概念図である。 第５実施形態に係る音処理装置のブロック図である。 特性データについて説明するための概念図である。 第６実施形態に係る音処理装置のブロック図である。 変形例における音処理部の動作を説明するための概念図である。 変形例における制御値画像の模式図である。 変形例における制御値画像の模式図である。

符号の説明

１００……音処理装置、１２……演算処理装置、１４……記憶装置、２２……入力装置、２４……表示装置、２６……放音装置、４２……倍音分析部、４４……変数設定部、４６……音処理部、４８……表示制御部、７２……区間判別部、７４……成分分離部。

Claims (9)

1. 複数の次数の各々について倍音の強度の制御値を可変に設定する変数設定手段と、
   第１音信号の各次数の倍音の強度を当該次数の前記制御値に応じて調整した第２音信号を生成する音処理手段と、
   前記第１音信号を有声区間と無声区間とに区分する区間判別手段とを具備し、
   前記音処理手段は、前記第１音信号の前記有声区間における各次数の倍音の強度を前記制御値に応じて調整するとともに、前記第１音信号の前記無声区間における各周波数の強度を、当該無声区間に隣接する前記有声区間の複数の倍音のうち当該周波数に対応する倍音の制御値に応じて調整することで、前記第２音信号を生成する
   音処理装置。
2. 倍音の次数を示す次数軸と各次数の制御値を示す数値軸とが設定された領域内に配置されて前記変数設定手段による各次数の前記制御値を示す制御値画像を表示装置に表示させる表示制御手段
   を具備する請求項１の音処理装置。
3. 前記表示制御手段は、前記第１音信号の各次数の倍音の強度を前記制御値画像と共通の次数軸に沿って示す第１倍音強度画像と、前記第２音信号の各次数の倍音の強度を前記制御値画像と共通の次数軸に沿って示す第２倍音強度画像とを前記表示装置に表示させる
   請求項２の音処理装置。
4. 前記表示制御手段は、前記数値軸のうち利用者からの指示に応じた位置を示す指示子を前記次数軸上の次数毎に配置した前記制御値画像を前記表示装置に表示させ、
   前記変数設定手段は、前記各指示子が示す前記数値軸上の位置に応じて、当該指示子に対応する次数の制御値を決定する
   請求項２または請求項３の音処理装置。
5. 前記表示制御手段は、前記複数の次数のうち利用者が選択した２以上の指示子を利用者からの指示に応じて一括的に移動する
   請求項４の音処理装置。
6. 前記複数の次数の制御値を各々が指定する複数の制御値群を記憶する記憶手段を具備し、
   前記変数設定手段は、前記複数の制御値群の何れかを選択し、当該制御値群が指定する制御値を各次数の倍音について設定する
   請求項１から請求項５の何れかの音処理装置。
7. 前記変数設定手段は、前記第１音信号の各次数の倍音の強度に対する前記第２音信号の各次数の倍音の強度の相対値を前記制御値として設定する
   請求項１から請求項６の何れかの音処理装置。
8. 前記音処理手段は、前記第２音信号の各次数の倍音の強度を、前記変数設定手段の設定した制御値、または前記第１音信号の音量に応じた基準値と当該制御値との加算値に調整する
   請求項１から請求項６の何れかの音処理装置。
9. 複数の次数の各々について倍音の強度の制御値を可変に設定する変数設定処理と、
   第１音信号の各次数の倍音の強度を当該次数の前記制御値に応じて調整した第２音信号を生成する調整処理と、
   前記第１音信号を有声区間と無声区間とに区分する区間判別処理と
   をコンピュータに実行させるプログラムであって、
   前記調整処理では、前記第１音信号の前記有声区間における各次数の倍音の強度を前記制御値に応じて調整するとともに、前記第１音信号の前記無声区間における各周波数の強度を、当該無声区間に隣接する前記有声区間の複数の倍音のうち当該周波数に対応する倍音の制御値に応じて調整することで、前記第２音信号を生成する
   プログラム。

Images