JP5463924B2 - 音響処理装置 - Google Patents

Description

本発明は、ステレオ形式の音響信号のうち目的の位置（方向）に音像が定位する成分（例えば、右チャネルおよび左チャネルの各々の信号に含まれる成分である。以下では「定位成分」という）を強調または抑圧する技術に関する。

ＣＤ等の記録媒体に収録された音響信号から所定の定位成分を抑圧する技術が従来から提案されている。例えば特許文献１には、ステレオ形式の音響信号の一方から他方を減算（逆相加算）することで、音像が中央方向に定位する成分（典型的には歌唱音）を抑圧する技術が開示されている。

特開２００７−０７９４１３号公報

しかし、特許文献１の技術では、所定の成分の抑圧後の音響信号がモノラル形式になるという問題がある。同様の問題は、定位成分を強調する場合にも発生し得る。以上の事情を考慮して、本発明は、定位成分を強調または抑圧したステレオ形式の音響信号を生成することを目的とする。

以上の課題を解決するために、本発明の音響処理装置は、周波数毎の係数値で構成される処理係数列をステレオ形式の第１音響信号および第２音響信号から生成する複数の単位処理手段と、複数の単位処理手段の各々が生成した処理係数列の各係数値を第１音響信号および第２音響信号の各々の各周波数成分に作用させる信号処理手段と、単位処理手段毎に定位変数を設定する変数設定手段とを具備し、複数の単位処理手段の各々は、当該単位処理手段の定位変数に応じた比率で第１音響信号および第２音響信号の一方から他方を減算することで、当該定位変数に対応する位置の定位成分を抑圧した差成分を生成する差成分生成手段と、定位変数に対応する位置の定位成分を強調または抑圧するための処理係数列を、第１音響信号および第２音響信号の和成分と差成分生成手段が生成した差成分とから生成する係数列生成手段とを含む。以上の構成においては、第１音響信号と第２音響信号との和成分および差成分から生成された処理係数列を第１音響信号および第２音響信号の各々の各周波数成分に作用させるから、定位成分が強調または抑圧されたステレオ形式の音響信号を生成することが可能である。また、複数の単位処理手段が定位変数に応じて生成した処理係数列が第１音響信号および第２音響信号に作用するから、音像の位置が相違する複数の定位成分を強調または抑圧できるという利点もある。

本発明の好適な態様において、係数列生成手段は、和成分および差成分の一方のスペクトルから他方のスペクトルを減算した結果に応じて処理係数列を生成する。以上の態様においては、和成分および差成分の一方のスペクトルから他方のスペクトルを減算することで定位成分を高精度に強調または抑圧したスペクトルが生成されるから、定位成分を有効に強調または抑圧し得る処理係数列を生成できるという利点がある。

本発明の好適な態様において、複数の単位処理手段の各々における係数列生成手段は、定位成分の強調および抑圧の一方に対応する第１処理係数列を和成分および差成分から生成する第１生成手段と、定位成分の強調および抑圧の他方に対応する第２処理係数列を、第１処理係数列の各係数値を所定値から減算することで生成する第２生成手段とを含む。以上の態様においては、各定位成分の強調用および抑圧用の処理係数列を生成することが可能である。また、和成分および差成分を利用して生成された第１処理係数列の各係数値を所定値から減算することで第２処理係数列が生成されるから、第１処理係数列および第２処理係数列の双方を和成分および差成分から直接的に生成する場合と比較して、係数列生成手段による処理の負荷が軽減されるという利点がある。

本発明の好適な態様に係る音響処理装置は、定位成分毎に加重値を可変に設定する加重値設定手段を具備し、信号処理手段は、各単位処理手段が生成した処理係数列を、当該単位処理手段に対応する加重値のもとで第１音響信号および第２音響信号の各々に作用させる。以上の態様においては、定位成分毎に加重値を可変に設定することで、各定位成分の強調／抑圧の程度を定位成分毎に制御することが可能である。

以上の各態様に係る音響処理装置は、音響信号の処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラム（ソフトウェア）との協働によっても実現される。本発明のプログラムは、周波数毎の係数値で構成される処理係数列をステレオ形式の第１音響信号および第２音響信号から生成する複数の単位処理と、複数の単位処理の各々が生成した処理係数列の各係数値を第１音響信号および第２音響信号の各々の各周波数成分に作用させる信号処理と、単位処理毎に定位変数を設定する変数設定処理とをコンピュータに実行させるプログラムであって、複数の単位処理の各々は、当該単位処理の定位変数に応じた比率で第１音響信号および第２音響信号の一方から他方を減算することで、当該定位変数に対応する位置の定位成分を抑圧した差成分を生成する差成分生成処理と、定位変数に対応する位置の定位成分を強調または抑圧するための処理係数列を、第１音響信号および第２音響信号の和成分と差成分生成処理が生成した差成分とから生成する係数列生成処理とを含む。以上のプログラムによれば、本発明の音響処理装置と同様の作用および効果が実現される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。

第１実施形態に係る音響処理装置のブロック図である。 係数設定部のブロック図である。 単位処理部のブロック図である。 第２実施形態に係る音響処理装置のブロック図である。 加重値の設定画面の模式図である。 変形例に係る係数設定部のブロック図である。

＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態に係る音響処理装置１００のブロック図である。音響処理装置１００には信号供給装置１２と放音装置１４と入力装置１６とが接続される。信号供給装置１２は、音響（音声や楽音）の波形を表す時間領域の音響信号ＳIN（ＳIN_L，ＳIN_R）を音響処理装置１００に供給する。左チャネルの音響信号ＳIN_Lおよび右チャネルの音響信号ＳIN_Rは、音響を発生する複数の音源の音像が相異なる位置に定位する（すなわち、音響の振幅や位相が各音源の位置に応じて相違する）ように収音または加工されたステレオ形式の信号である。周囲の音響を収音して音響信号ＳINを生成する収音機器（ステレオマイク）や、可搬型または内蔵型の記録媒体から音響信号ＳINを取得して音響処理装置１００に出力する再生装置や、通信網から音響信号ＳINを受信して音響処理装置１００に出力する通信装置が信号供給装置１２として採用され得る。

音響処理装置１００は、信号供給装置１２が供給する音響信号ＳINから音響信号ＳOUT（ＳOUT_L，ＳOUT_R）を生成する。左チャネルの音響信号ＳOUT_Lおよび右チャネルの音響信号ＳOUT_Rは、音響信号ＳINが表す音響のうち目的の位置に音像が定位する定位成分を強調または抑圧したステレオ形式の信号である。放音装置１４（例えばステレオスピーカやステレオヘッドホン）は、音響処理装置１００が生成した音響信号ＳOUT（ＳOUT_L，ＳOUT_R）に応じた音波を放射する。

入力装置１６は、音響処理装置１００に対する指示を利用者が入力するための機器（例えばマウスやキーボード）である。利用者は、入力装置１６を適宜に操作することで、定位成分の位置（方向）と定位成分の強調／抑圧の何れかの処理とを音響処理装置１００に対して任意に指示することが可能である。

図１に示すように、音響処理装置１００は、演算処理装置２２と記憶装置２４とを具備するコンピュータシステムで実現される。記憶装置２４は、演算処理装置２２が実行するプログラムＰGや演算処理装置２２が使用するデータを記憶する。半導体記録媒体や磁気記録媒体などの公知の記録媒体や複数種の記録媒体の組合せが記憶装置２４として任意に採用される。音響信号ＳIN（ＳIN_L，ＳIN_R）を記憶装置２４に記憶した構成（したがって信号供給装置１２は省略され得る）も好適である。

演算処理装置２２は、記憶装置２４に格納されたプログラムＰGを実行することで、音響信号ＳINから音響信号ＳOUTを生成するための複数の機能（変数設定部３２，周波数分析部３４，係数設定部３６，信号処理部３８，波形合成部４０）を実現する。なお、演算処理装置２２の各機能を複数の集積回路に分散した構成や、専用の電子回路（ＤＳＰ）が各機能を実現する構成も採用され得る。

変数設定部３２は、相異なる定位成分に対応するＮ個（Ｎは２以上の自然数）の定位変数α1〜αNを可変に設定する。定位変数αn（ｎ＝１〜Ｎ）は、音響処理装置１００による強調／抑圧の対象となるＮ種類の定位成分のうち第ｎ番目の定位成分の音像の位置（方向）を指定する変数である。本形態の変数設定部３２は、入力装置１６に対する利用者からの指示に応じて定位変数αn（０≦αn≦１）を可変に設定する。例えば、定位変数αnが０．５（中央値）である場合には中央（正面）方向が指示される。また、定位変数αnが１に近いほど右寄りの方向が指示され、定位変数αnが０に近いほど左寄りの方向が指示される。利用者は、放音装置１４からの再生音を聴取しながら随時に入力装置１６の操作で定位変数αnを変更することが可能である。

周波数分析部３４は、音響信号ＳIN_Lの周波数スペクトル（複素スペクトル）ＬAと音響信号ＳIN_Rの周波数スペクトル（複素スペクトル）ＲAとを時間軸上の単位区間（フレーム）毎に順次に生成する。周波数スペクトルＬAは、Ｋ個の周波数（周波数帯域）ｆ1〜ｆKの各々に対応する周波数成分ＬAk(e^jω)の系列（ＬA1(e^jω)〜ＬAK(e^jω)）である（ｋ＝１〜Ｋ）。記号ｊは虚数単位を意味する。同様に、周波数スペクトルＲAは、周波数ｆ1〜ｆKの各々に対応する周波数成分ＲAk(e^jω)の系列（ＲA1(e^jω)〜ＲAK(e^jω)）である。周波数スペクトルＬAおよび周波数スペクトルＲAの生成には、短時間フーリエ変換などの公知の周波数分析が任意に採用され得る。なお、通過帯域が相異なるＫ個の帯域通過フィルタで構成されるフィルタバンクも周波数分析部３４として採用され得る。

図１の係数設定部３６は、Ｎ個の処理係数列Ｇe_1〜Ｇe_NとＮ個の処理係数列Ｇs_1〜Ｇs_Nとを並列に生成する。処理係数列Ｇe_nは、音響信号ＳIN（ＳIN_L，ＳIN_R）のうち定位変数αnに応じた位置の定位成分を強調（enhance）するための数値列である。他方、処理係数列Ｇs_nは、音響信号ＳIN（ＳIN_L，ＳIN_R）のうち定位変数αnに応じた位置の定位成分を抑圧（suppress）するための数値列である。処理係数列Ｇe_nは、周波数ｆ1〜ｆKの各々に対応する係数値Ｇe[k]_nの系列（Ｇe[1]_n〜Ｇe[K]_n）であり、処理係数列Ｇs_nは、周波数ｆ1〜ｆKの各々に対応する係数値Ｇs[k]_nの系列（Ｇs[1]_n〜Ｇs[K]_n）である。

図２は、係数設定部３６のブロック図である。図２に示すように、係数設定部３６は、相異なる定位成分（定位変数αn）に対応するＮ個の単位処理部Ｕ[1]〜Ｕ[N]を含んで構成される。単位処理部Ｕ[1]〜Ｕ[N]には周波数スペクトルＬAおよび周波数スペクトルＲAが共通に供給され、各単位処理部Ｕ[n]には変数設定部３２から定位変数αnが指示される。単位処理部Ｕ[n]は、周波数スペクトルＬAと周波数スペクトルＲAと定位変数αnとを利用して単位区間毎に順次に処理係数列Ｇe_n（係数値Ｇe[1]_n〜Ｇe[K]_n）および処理係数列Ｇs_n（Ｇs[1]_n〜Ｇs[K]_n）を生成する。

係数値Ｇe[k]_nおよび係数値Ｇs[k]_nは、音響信号ＳIN_Lの周波数成分ＬAk(e^jω)や音響信号ＳIN_Rの周波数成分ＲAk(e^jω)に対するゲイン（スペクトルゲイン）に相当し、音響信号ＳIN（ＳIN_L，ＳIN_R）の特性に応じて０以上かつ１以下の範囲内で可変に設定される（０≦Ｇe[k]_n≦１，０≦Ｇs[k]_n≦１）。具体的には、定位成分の強調用の処理係数列Ｇe_nの係数値Ｇe[1]_n〜Ｇe[K]_nは、第ｎ番目の定位成分のパワー（振幅）が大きい周波数ｆkの係数値Ｇe[k]_nほど１に近い数値に設定される。他方、定位成分の抑圧用の処理係数列Ｇs_nの係数値Ｇs[1]_n〜Ｇs[K]_nは、第ｎ番目の定位成分のパワーが大きい周波数ｆkの係数値Ｇs[k]_nほど０に近い数値に設定される。

図１の信号処理部３８は、係数設定部３６が生成した処理係数列Ｇe_1〜Ｇe_Nまたは処理係数列Ｇs_1〜Ｇs_Nを周波数スペクトルＬAおよび周波数スペクトルＲAの各々に個別に作用させる（典型的には乗算する）ことで周波数スペクトルＬBと周波数スペクトルＲBとを単位区間毎に順次に生成する。周波数スペクトルＬBは、周波数ｆ1〜ｆKの各々に対応する周波数成分ＬBk(e^jω)の系列（ＬB1(e^jω)〜ＬBK(e^jω)）であり、周波数スペクトルＲBは、周波数ｆ1〜ｆKの各々に対応する周波数成分ＲBk(e^jω)の系列（ＲB1(e^jω)〜ＲBK(e^jω)）である。各単位区間の周波数スペクトルＬAおよび周波数スペクトルＲAには、その単位区間について係数設定部３６が生成した処理係数列Ｇe_1〜Ｇe_Nまたは処理係数列Ｇs1〜Ｇs_Nが乗算される。

入力装置１６に対して利用者から定位成分の強調が指示された場合、信号処理部３８は、以下の数式(1a)および数式(1b)に示すように、周波数スペクトルＬAおよび周波数スペクトルＲAに対する処理係数列Ｇe_1〜Ｇe_Nの乗算で周波数スペクトルＬBおよび周波数スペクトルＲBを生成する。すなわち、数式(1a)に示すように、周波数スペクトルＬBの各周波数ｆkの周波数成分ＬBk(e^jω)は、その周波数ｆkの周波数成分ＬAk(e^jω)と、Ｎ個の処理係数列Ｇe_1〜Ｇe_Nの各々における周波数ｆkの係数値Ｇe[k]_n（Ｇe[k]_1〜Ｇe[k]_N）との乗算値に設定される。同様に、周波数スペクトルＲBの各周波数ｆkの周波数成分ＲBk(e^jω)は、その周波数ｆkの周波数成分ＲAk(e^jω)とＮ個の係数値Ｇe[k]_1〜Ｇe[k]_Nとの乗算値に設定される（数式(1b)）。したがって、音響信号ＳIN（ＳIN_L，ＳIN_R）のうち音像の位置が相異なるＮ種類の定位成分を強調した周波数スペクトルＬBおよび周波数スペクトルＲBが生成される。

他方、入力装置１６に対して利用者から定位成分の抑圧が指示された場合、信号処理部３８は、以下の数式(2a)および数式(2b)に示すように、周波数スペクトルＬBおよび周波数スペクトルＲBの生成に定位成分の抑圧用の処理係数列Ｇs_1〜Ｇs_Nを適用する。すなわち、周波数スペクトルＬAの各周波数成分ＬAk(e^jω)と周波数ｆkのＮ個の係数値Ｇs[k]_1〜Ｇs[k]_Nとの乗算で周波数スペクトルＬBの各周波数成分ＬBk(e^jω)を算定し（数式(2a)）、周波数スペクトルＲAの各周波数成分ＲAk(e^jω)と周波数ｆkのＮ個の係数値Ｇs[k]_1〜Ｇs[k]_Nとの乗算で周波数スペクトルＲBの各周波数成分ＲBk(e^jω)を算定する（数式(2b)）。したがって、音響信号ＳIN（ＳIN_L，ＳIN_R）のうち音像の位置が相異なるＮ種類の定位成分を抑圧した周波数スペクトルＬBおよび周波数スペクトルＲBが生成される。

図１の波形合成部４０は、信号処理部３８による処理後の周波数スペクトルＬBおよび周波数スペクトルＲBからステレオ形式の音響信号ＳOUT_Lおよび音響信号ＳOUT_Rを生成する。具体的には、波形合成部４０は、単位区間毎の周波数スペクトルＬBを逆フーリエ変換で時間領域の信号に変換するとともに前後の単位区間について相互に連結することで音響信号ＳOUT_Lを生成する。同様に、波形合成部４０は、各周波数スペクトルＲBから音響信号ＳOUT_Rを生成する。波形合成部４０が生成した音響信号ＳOUT（ＳOUT_L，ＳOUT_R）が放音装置１４に供給されて音波として再生される。

次に、単位処理部Ｕ[1]〜Ｕ[N]の詳細を説明する。図３には、１個の単位処理部Ｕ[n]が代表的に図示されている。図３に示すように、単位処理部Ｕ[n]は、和成分生成部５２と差成分生成部５４と係数列生成部６０とを含んで構成される。和成分生成部５２は、音響信号ＳIN_Lの周波数成分ＬA1(e^jω)〜ＬAK(e^jω)と音響信号ＳIN_Rの周波数成分ＲA1(e^jω)〜ＲAK(e^jω)との加算で単位区間毎に順次に和成分（複素スペクトル）Ｍを生成する。和成分Ｍは、周波数ｆ1〜ｆKの各々に対応する周波数成分Ｍk(e^jω)の系列（Ｍ1(e^jω)〜ＭK(e^jω)）である。数式(3)に示すように、和成分Ｍの周波数ｆkの周波数成分Ｍk(e^jω)は、その周波数ｆkの周波数成分ＬAk(e^jω)と周波数成分ＲAk(e^jω)との加算値（複素数）である。したがって、和成分Ｍは、全部の音源からの音響を混合したモノラル形式の信号に相当する。数式(3)から理解されるように、単位処理部Ｕ[1]〜Ｕ[N]の各々で生成される和成分Ｍは共通する（すなわち、定位変数αnに依存しない）。なお、周波数成分ＬAk(e^jω)と周波数成分ＲAk(e^jω)との加重和や平均を和成分Ｍとして算定する構成も採用され得る。

図３の差成分生成部５４は、音響信号ＳIN_Lの周波数成分ＬA1(e^jω)〜ＬAK(e^jω)と音響信号ＳIN_Rの周波数成分ＲA1(e^jω)〜ＲAK(e^jω)との間の減算で単位区間毎に順次に差成分（複素スペクトル）Ｓnを生成する。差成分Ｓnは、周波数ｆ1〜ｆKの各々に対応する周波数成分Ｓk(e^jω)_nの系列（Ｓ1(e^jω)_n〜ＳK(e^jω)_n）である。単位処理部Ｕ[n]の差成分生成部５４は、変数設定部３２から指示される定位変数αnを利用した数式(4)の演算（加重減算）で周波数成分Ｓ1(e^jω)_n〜ＳK(e^jω)_nを算定する。

数式(4)から理解されるように、定位変数αnに応じた可変の比率（重み値）にて周波数成分ＬAk(e^jω)から周波数成分ＲAk(e^jω)を減算（逆相加算）することで差成分Ｓnの各周波数成分Ｓk(e^jω)_nが生成される。したがって、差成分Ｓnは、音響信号ＳIN（ＳIN_L，ＳIN_R）のうち定位変数αnに応じた位置（方向）の定位成分を他の成分に対して相対的に抑圧した信号（すなわち、第ｎ番目の定位成分以外の成分を相対的に強調した信号）となる。例えば、定位変数αnが０．５（中央値）である場合には、中央方向の定位成分（すなわち、振幅および位相が略同等の成分）を抑圧した差成分Ｓnが生成される。また、定位変数αnが０．５を上回るほど、中央方向に対して右寄りの定位成分が差成分Ｓnでは抑圧され、定位変数αnが０．５を下回るほど、中央方向に対して左寄りの定位成分が差成分Ｓnでは抑圧される。

数式(4)の記号ｍａｘ（αn，１−αn）は、定位変数αnまたは変数（１−αn）のうちの最大値を意味する。定位変数αnは１以下の数値に設定されるから、数式(4)の分子の演算のみでは周波数成分Ｓk(e^jω)_nのパワー（振幅）が不足する可能性がある。数式(4)のように最大値ｍａｘ（αn，１−αn）で除算するのは、周波数成分Ｓk(e^jω)_nのパワーを周波数成分ＬAk(e^jω)や周波数成分ＲAk(e^jω)と同等に維持するためである。

図３の係数列生成部６０は、和成分生成部５２が生成した和成分Ｍと差成分生成部５４が生成した差成分Ｓnとを利用して第ｎ番目の定位成分の強調用の処理係数列Ｇe_n（Ｇe[1]_n〜Ｇe[K]_n）と抑圧用の処理係数列Ｇs_n（Ｇs[1]_n〜Ｇs[K]_n）とを生成する。図３に示すように、係数列生成部６０は、処理係数列Ｇe_nを生成する第１生成部６２と、処理係数列Ｇs_nを生成する第２生成部６４とを含んで構成される。

第１生成部６２は、以下の数式(5)の演算で処理係数列Ｇe_nの各係数値Ｇe[k]_nを算定する。

数式(5)の記号Ｐn[k]は、第ｎ番目の定位成分を強調したパワースペクトルＰnのうち周波数ｆkでのパワーを意味する。パワーＰn[k]は、例えば以下の数式(6a)および数式(6b)で算定される。

数式(6a)から理解されるように、周波数成分Ｍk(e^jω)のパワー|Ｍk(e^jω)|^２が周波数成分Ｓk(e^jω)_nのパワー|Ｓk(e^jω)_n|^２を上回る周波数ｆkでのパワーＰn[k]は、和成分Ｍのパワー|Ｍk(e^jω)|^２から差成分Ｓnのパワー|Ｓk(e^jω)_n|^２を減算した数値に設定される。すなわち、パワースペクトルＰnは、和成分Ｍのパワースペクトルと差成分Ｓnのパワースペクトルとの間の減算（スペクトル減算）で生成される。他方、パワー|Ｍk(e^jω)|^２がパワー|Ｓk(e^jω)_n|^２以下となる周波数ｆkでのパワーＰn[k]は、和成分Ｍのパワー|Ｍk(e^jω)|^２と所定の係数（フロアリング係数）βとの乗算値に設定される。以上の説明から理解されるように、数式(6a)および数式(6b)の演算は、和成分Ｍを信号成分（目的音）と仮定するとともに差成分Ｓnを雑音成分と仮定した場合に雑音成分を抑圧するためのスペクトル減算（ＳＳ：Spectral Subtraction）に相当する。

周波数成分Ｓk(e^jω)_nは第ｎ番目の定位成分を抑圧した成分であるから、数式(6a)および数式(6b)で算定されるパワーＰn[1]〜Ｐn[K]の系列は、音響信号ＳIN（ＳIN_L，ＳIN_R）の第ｎ番目の定位成分を強調した成分のパワースペクトルＰnとなる。したがって、数式(5)の分母は、第ｎ番目の定位成分を強調した成分の振幅に相当する。なお、数式(5)にて振幅（Ｐn[k]）^1/2を周波数成分Ｍk(e^jω)の振幅|Ｍk(e^jω)|で除算するのは、係数値Ｇe[k]_nを１以下の数値（０≦Ｇe[k]_n≦１）に正規化するためである。

以上の説明から理解されるように、第１生成部６２が生成する処理係数列Ｇe_nの係数値Ｇe[1]_n〜Ｇe[K]_nは、定位変数αnに応じた位置の定位成分のパワー（振幅）が大きい周波数ｆkの係数値Ｇe[k]_nほど１に近い数値となり、定位成分のパワーが小さい周波数ｆkの係数値Ｇe[k]_nほど０に近い数値となる。したがって、周波数スペクトルＬAおよび周波数スペクトルＲAの各々に信号処理部３８が処理係数列Ｇe_1〜Ｇe_Nを乗算することで、前述の通り、音像の位置が相異なるＮ種類の定位成分を強調したステレオ形式の音響信号ＳOUT（ＳOUT_L，ＳOUT_R）が生成される。

単位処理部Ｕ[n]の第２生成部６４は、第１生成部６２が生成した処理係数列Ｇe_nを利用して定位成分の抑圧用の処理係数列Ｇs_n（係数値Ｇs[1]_n〜Ｇs[K]_n）を生成する。具体的には、第２生成部６４は、数式(7)に示すように、処理係数列Ｇe_nの各係数値Ｇe[k]_nを所定値（本形態では１）から減算することで処理係数列Ｇs_nの各係数値Ｇs[k]_nを算定する。

数式(7)から理解されるように、第２生成部６４が生成する処理係数列Ｇs_nの係数値Ｇs[1]_n〜Ｇs[K]_nは、定位変数αnに応じた位置の定位成分のパワー（振幅）が大きい周波数ｆkの係数値Ｇs[k]_nほど０に近い数値となり、定位成分のパワーが小さい周波数ｆkの係数値Ｇs[k]_nほど１に近い数値となる。したがって、周波数スペクトルＬAおよび周波数スペクトルＲAの各々に信号処理部３８が処理係数列Ｇs_1〜Ｇs_Nを乗算することで、前述の通り、音像の位置が相異なるＮ種類の定位成分を抑圧したステレオ形式の音響信号ＳOUT（ＳOUT_L，ＳOUT_R）が生成される。

以上に説明したように、第１実施形態では、音響信号ＳIN_L（周波数スペクトルＬA）および音響信号ＳIN_R（周波数スペクトルＲA）の各々に対して個別に処理係数列Ｇe_nまたはＧs_nが乗算されるから、定位成分を強調または抑圧した音響信号ＳOUT（ＳOUT_L，ＳOUT_R）をステレオ形式のまま生成することが可能である。また、相異なる定位成分に対応するＮ個の処理係数列Ｇe_1〜Ｇe_Nまたは処理係数列Ｇs_1〜Ｇs_Nが利用されるから、音像の位置が相異なるＮ種類の定位成分を強調または抑圧できるという利点もある。

ところで、特許第３６７０５６２号公報には、ステレオ信号のチャネル間の振幅比に応じた減衰係数ｇi(k)と位相差に応じた減衰係数ｇp(k)との何れかを選択して各チャネルの音響信号に乗算する構成が開示されている。しかし、以上の技術では、振幅比に応じた減衰係数ｇi(k)と位相差に応じた減衰係数ｇp(k)とが択一的に適用されるから、振幅および位相の双方がチャネル間で相違する場合には、定位成分の適切な強調または抑圧が困難であるという問題がある。他方、第１実施形態においては、音響信号ＳIN_L（周波数スペクトルＬA）および音響信号ＳIN_R（周波数スペクトルＲA）から複素スペクトルとして算定された和成分Ｍおよび差成分Ｓnが処理係数列Ｇe_nおよび処理係数列Ｇs_nの生成に利用されるから、音響信号ＳIN_Lと音響信号ＳIN_Rとの間の振幅差および位相差の双方を反映した処理係数列Ｇe_nおよび処理係数列Ｇs_nが生成される。したがって、音響信号ＳIN_Lと音響信号ＳIN_Rとの間で振幅および位相の一方のみが相違する場合に加えて、振幅および位相の双方が相違する場合にも、定位成分を有効に強調または抑圧できるという格別の効果が実現される。

＜Ｂ：第２実施形態＞
本発明の第２実施形態を説明する。なお、以下の各例示において作用や機能が第１実施形態と同等である要素については、第１実施形態と同様の符号を付して各々の詳細な説明を適宜に省略する。

図４は、第２実施形態の音響処理装置のブロック図である。図４に示すように、第２実施形態の音響処理装置１００は、加重値設定部４２を第１実施形態に追加した構成である。加重値設定部４２は、Ｎ種類の定位成分（定位変数α1〜αN）の各々について加重値γn（γ1〜γN）を可変に設定する。本形態の加重値設定部４２は、入力装置１６に対する利用者からの指示に応じて加重値γn（０≦γn≦１）を可変に設定する。利用者は、放音装置１４からの再生音を聴取しながら随時に入力装置１６の操作で加重値γnを変更することが可能である。

利用者による加重値γ1〜γNの指定には、例えば、表示装置（図示略）に表示される図５の設定画面が利用される。設定画面は、各定位変数αnに対応するＮ種類の定位成分（横軸）の各々と加重値γn（縦軸）との関係を示すグラフを含んで構成される。加重値設定部４２は、入力装置１６に対する操作（例えば設定画面のグラフの各点を移動させる操作）のたびに、各定位成分の加重値γnの変更とグラフの更新とを実行する。設定画面のグラフの横軸は、強調／抑圧の対象となる定位成分の位置（方向）に相当するから、利用者は、各位置の定位成分の強調／抑圧の程度（加重値γn）を直感的に把握しながら各加重値γnを設定できるという利点がある。

図４の信号処理部３８は、各単位処理部Ｕ[n]が生成した処理係数列Ｇe_nまたは処理係数列Ｇs_nを、加重値設定部４２が設定した加重値γnのもとで音響信号ＳIN_Lおよび音響信号ＳIN_Rの各々に作用させる。

例えば、入力装置１６に対して利用者から各定位成分の強調が指示された場合、信号処理部３８は、以下の数式(1c)および数式(1d)に示すように、各処理係数列Ｇe_n（係数値Ｇe[k]_n）のγn乗を周波数スペクトルＬAおよび周波数スペクトルＲAの各々に乗算することで周波数スペクトルＬBおよび周波数スペクトルＲBを生成する。

入力装置１６に対して利用者から各定位成分の抑圧が指示された場合も同様であり、信号処理部３８は、以下の数式(2c)および数式(2d)に示すように、各処理係数列Ｇs_n（係数値Ｇs[k]_n）のγn乗の乗算で周波数スペクトルＬBおよび周波数スペクトルＲBを生成する。

以上の説明から理解されるように、第２実施形態によれば、第ｎ番目の定位成分の強調または抑圧の程度を加重値γnに応じて可変に制御することが可能である。なお、加重値γ1〜γNが０に設定された場合には周波数スペクトルＬAおよび周波数スペクトルＲAがそのまま周波数スペクトルＬBおよび周波数スペクトルＲBとして出力される。

＜Ｃ：変形例＞
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は適宜に併合され得る。

（１）変形例１
以上の各形態では、数式(4)から理解されるように、音響信号ＳIN_L（周波数成分ＬAk(e^jω)）と音響信号ＳIN_R（周波数成分ＲAk(e^jω)）との振幅の比率が定位変数αnに応じて線形に変化するように差成分Ｓnを算定したが、以下の各態様にて例示するように、和成分Ｍおよび差成分Ｓnの算定の方法や定位変数αnとの関係は適宜に変更される。

＜第１態様＞
音響信号ＳIN_Lのパワー|ＬAk(e^jω)|^２および音響信号ＳIN_Rのパワー|ＲAk(e^jω)|^２から和成分Ｍおよび差成分Ｓnを算定する構成が採用され得る。具体的には、和成分生成部５２は、以下の数式(8a)の演算で和成分Ｍ（周波数成分Ｍ1(e^jω)〜ＭK(e^jω)で構成される複素スペクトル）を生成し、差成分生成部５４は、以下の数式(8b)の演算で差成分Ｓn（周波数成分Ｓ1(e^jω)_n〜ＳK(e^jω)_nで構成される複素スペクトル）を生成する。数式(8a)および数式(8b)における記号ｅ^jLは音響信号ＳIN_Lの位相スペクトルを意味し、記号ｅ^jRは音響信号ＳIN_Rの位相スペクトルを意味する。数式(8b)から理解されるように、差成分Ｓnにおいては、音響信号ＳIN_Lおよび音響信号ＳIN_Rの各々のパワーの比率が定位変数αnに応じて線形に変化する。

以上の方法で和成分Ｍおよび差成分Ｓが生成されると、係数列生成部６０の第１生成部６２は、定位成分を強調したパワースペクトルＰn（パワーＰn[k]）を以下の数式(9a)および数式(9b)の演算で生成し、パワースペクトルＰnを利用した数式(10)の演算で処理係数列Ｇe_nの各係数値Ｇe[k]_nを算定する。第２生成部６４が処理係数列Ｇe_nから処理係数列Ｇs_nを生成する方法は第１実施形態（数式(7)）と同様である。以上の構成でも第１実施形態と同様の効果が実現される。

＜第２態様＞
定位成分の位置（方向）を定位変数αnの関数ｆ(αn)に応じて制御する構成が採用され得る。具体的には、和成分生成部５２は、以下の数式(11a)の演算で和成分Ｍ（周波数成分Ｍ1(e^jω)〜ＭK(e^jω)）を生成し、差成分生成部５４は、以下の数式(11b)の演算で差成分Ｓn（周波数成分Ｓ1(e^jω)_n〜ＳK(e^jω)_n）を生成する。したがって、差成分Ｓnにおける音響信号ＳIN_Lおよび音響信号ＳIN_Rの各々の振幅の比率が定位変数αnの関数ｆ(αn)に応じて変化する。係数列生成部６０は、第１実施形態と同様の方法（数式(5)，数式(6a)，数式(6b)，数式(7)）で、数式(11a)の和成分Ｍと数式(11b)の差成分Ｓnとから処理係数列Ｇe_nおよび処理係数列Ｇs_nを算定する。

なお、数式(6a)では和成分Ｍのパワー|Ｍk(e^jω)|^２と差成分Ｓnのパワー|Ｓk(e^jω)_n|^２との差分をパワーＰn[k]として算定したが、以下の数式(6c)に示すように、和成分Ｍの振幅|Ｍk(e^jω)|と差成分Ｓnの振幅|Ｓk(e^jω)_n|との差分を振幅Ｐn[k]として算定する構成も採用され得る。数式(6c)で振幅Ｐn[k]を算定する構成では、第１生成部６２が数式(5a)の演算で処理係数列Ｇe_nの係数値Ｇe[k]_nを算定する。

（２）変形例２
以上の各形態では、パワースペクトルの減算（数式(6a)，数式(9a)）や振幅スペクトルの減算（数式(6c)）で処理係数列Ｇe_nを算定したが、処理係数列Ｇe_nを算定する方法は任意である。例えば、和成分Ｍに含まれる定位成分を信号成分と仮定するとともに差成分Ｓnを雑音成分と仮定すると、和成分Ｍおよび差成分Ｓnを利用した処理係数列Ｇe_nの生成には、雑音成分（差成分Ｓ）を抑圧して信号成分（定位成分）を強調するための数値列（処理係数列Ｇe_n）を生成する公知の音声強調の技術を同様に適用することが可能である。

処理係数列Ｇe_nの生成に適用され得る技術としては、ウィナーフィルタ（Wiener filter）を利用した音声強調や、ＭＭＳＥ-ＳＴＳＡ法またはＭＡＰ（maximum a posteriori estimation）推定法を利用した音声強調の技術が例示され得る。ＭＭＳＥ-ＳＴＳＡ法については、Y. Ephraim and D. Malah, "Speech enhancement using a minimum mean-square error short-time spectral amplitude estimator", IEEE ASSP, vol.ASSP-32, no.6, p.1109-1121, Dec. 1984に開示され、ＭＡＰ推定法については、T. Lotter and P. Vary, "Speech enhancement by MAP spectral amplitude estimation using a Super-Gaussian speech model", EURASIP Journal on Applied Signal Processing, vol.2005, no,7, p.1110-1126, July 2005に開示されている。

（３）変形例３
以上の各形態では、処理係数列Ｇe_nを利用した演算（数式(7)）で処理係数列Ｇs_nを生成したが、係数列生成部６０が処理係数列Ｇe_nの生成と同様の方法で和成分Ｍおよび差成分Ｓnから直接的に処理係数列Ｇs_nを生成する構成も採用され得る。具体的には、処理係数列Ｇe_nの生成について以上の例示した各数式における和成分Ｍと差成分Ｓnとを相互に置換すれば、定位成分の抑圧用の処理係数列Ｇs_nを生成することが可能である。

ただし、処理係数列Ｇe_nを利用して処理係数列Ｇs_nを算定する第１実施形態の構成によれば、和成分Ｍや差成分Ｓnから直接的に処理係数列Ｇs_nを算定する処理が不要である。したがって、係数列生成部６０による処理の負荷が軽減されるという利点がある。なお、和成分Ｍおよび差成分Ｓnから直接的に処理係数列Ｇs_nを生成し、処理係数列Ｇs_nの各係数値Ｇs[k]_nを数式(7)と同様に所定値（例えば１）から減算することで処理係数列Ｇe_n（係数値Ｇe[k]_n）を生成する構成も採用され得る。

（４）変形例４
以上の各形態では、処理係数列Ｇ_n（Ｇe_n，Ｇs_n）を単位区間毎に生成したが、処理係数列Ｇ_nの生成の周期は任意である。例えば、所定個の単位区間の集合を周期として係数列生成部６０が順次に生成した処理係数列Ｇ_nを、信号処理部３８が当該周期内の複数の単位区間について適用する構成も採用され得る。また、以上の各形態では、各単位区間について生成された処理係数列Ｇ_nをその単位区間の周波数スペクトル（ＬA，ＲA）の処理に適用したが、各単位区間の処理係数列Ｇ_nをその単位区間の経過後の各単位区間の周波数スペクトル（ＬA，ＲA）の処理に適用する構成も採用され得る。

（５）変形例５
以上の各形態では、処理係数列Ｇ_n（Ｇe_n，Ｇs_n）を音響信号ＳINの周波数スペクトル（ＬA，ＲA）に乗算したが、信号処理部３８による処理の内容は適宜に変更される。例えば周波数成分ＬAk(e^jω)および周波数成分ＲAk(e^jω)から処理係数列Ｇ_n（Ｇe_n，Ｇs_n）を減算することで音響信号ＳOUT（ＳOUT_L，ＳOUT_R）を生成する構成が採用され得る。以上の構成における強調用の処理係数列Ｇe_nは、第１実施形態の処理係数列Ｇe_nとは逆に、定位成分のパワーが大きい周波数ｆkの係数値Ｇe[k]_nほど０に近い数値に設定される。抑圧用の処理係数列Ｇs_nについても同様であり、第１実施形態の処理係数列Ｇs_nとは逆に、定位成分のパワーが大きい周波数ｆkの係数値Ｇs[k]_nほど１に近い数値に設定される。

（６）変形例６
所定の周波数帯域内の成分に限定して定位成分の強調／抑圧を実行する構成も好適である。例えば、音響信号ＳINのうち人間の音声のパワーが集中する周波数帯域（例えば１００ｋＨｚ〜８ｋＨｚ）についてのみ以上の各形態の処理が実行される（他の帯域については処理せずに再生する）。

（７）変形例７
以上の各形態においては定位成分の強調用の処理係数列Ｇe_1〜Ｇe_Nおよび抑圧用の処理係数列Ｇs_1〜Ｇs_Nの双方を係数設定部３６が生成したが、各単位処理部Ｕ[n]が処理係数列Ｇe_nおよび処理係数列Ｇs_nの一方のみを生成する構成も採用され得る。したがって、例えば、以上の各形態の第２生成部６４は省略され得る。

（８）変形例８
以上の各形態における係数β（数式(6b)，数式(9b)）を、例えば入力装置１６に対する利用者からの指示に応じて可変に設定する構成も好適である。係数βが小さい（０に近い）ほど定位成分の抑圧の度合が強化されるとともに定位成分の強調の度合が低下する。なお、係数βが大きい場合には、抑圧用の処理係数列Ｇs_nのうち定位成分以外の大部分の周波数ｆkの係数値Ｇs[k]_nが充分に小さい数値となるから、音響信号ＳOUT（ＳOUT_L，ＳOUT_R）の音量が不足する可能性がある。そこで、係数βを大きい数値に設定して定位成分の抑圧を実行する場合、音響信号ＳOUTの音量を増加させる構成が好適である。同様に、係数βが小さい場合には、強調用の処理係数列Ｇe_nの大部分の周波数ｆkの係数値Ｇe[k]_nが充分に小さい数値となり得るから、係数βを小さい数値に設定して定位成分の強調を実行する場合、音響信号ＳOUTの音量を増加させる構成が好適に採用される。

（９）変形例９
以上の各形態では、単位処理部Ｕ[n]毎に和成分生成部５２を配置したが、各単位処理部Ｕ[n]から和成分生成部５２を省略し、図６に示すように、ひとつの和成分生成部５２が生成した和成分ＭをＮ個の単位処理部Ｕ[1]〜Ｕ[N]の各々の係数列生成部６０が処理する構成（すなわち、Ｎ個の単位処理部Ｕ[1]〜Ｕ[N]が１個の和成分生成部５２を共用する構成）も採用され得る。図６の構成によれば、第１実施形態の構成と比較して係数設定部３６の構成が簡素化されるという利点がある。

１００……音響処理装置、１２……信号供給装置、１４……放音装置、１６……入力装置、２２……演算処理装置、２４……記憶装置、３２……変数設定部、３４……周波数分析部、３６……係数設定部、Ｕ[1]〜Ｕ[N]……単位処理部、３８……信号処理部、４０……波形合成部、４２……加重値設定部、５２……和成分生成部、５４……差成分生成部、６０……係数列生成部、６２……第１生成部、６４……第２生成部。

Claims (4)

1. 周波数毎の係数値で構成される処理係数列をステレオ形式の第１音響信号および第２音響信号から生成する複数の単位処理手段と、
   前記複数の単位処理手段の各々が生成した処理係数列の各係数値を前記第１音響信号および前記第２音響信号の各々の各周波数成分に作用させる信号処理手段と、
   前記単位処理手段毎に定位変数を設定する変数設定手段とを具備し、
   前記複数の単位処理手段の各々は、
   当該単位処理手段の前記定位変数に応じた比率で前記第１音響信号および前記第２音響信号の一方から他方を減算することで、当該定位変数に対応する位置の定位成分を抑圧した差成分を生成する差成分生成手段と、
   前記定位変数に対応する位置の定位成分を強調または抑圧するための前記処理係数列を、前記第１音響信号および前記第２音響信号の和成分と前記差成分生成手段が生成した前記差成分とから生成する係数列生成手段とを含む
   音響処理装置。
2. 前記複数の単位処理手段の各々における前記係数列生成手段は、
   前記和成分および前記差成分の一方のスペクトルから他方のスペクトルを減算した結果に応じて前記処理係数列を生成する
   請求項１の音響処理装置。
3. 前記複数の単位処理手段の各々における前記係数列生成手段は、
   前記定位成分の強調および抑圧の一方に対応する第１処理係数列を前記和成分および前記差成分から生成する第１生成手段と、
   前記定位成分の強調および抑圧の他方に対応する第２処理係数列を、前記第１処理係数列の各係数値を所定値から減算することで生成する第２生成手段とを含む
   請求項１または請求項２の音響処理装置。
4. 前記定位成分毎に加重値を可変に設定する加重値設定手段を具備し、
   前記信号処理手段は、前記各単位処理手段が生成した処理係数列を、当該単位処理手段に対応する加重値のもとで前記第１音響信号および前記第２音響信号の各々に作用させる
   請求項１から請求項３の何れかの音響処理装置。
   

Images