JP4479644B2 - 信号処理装置および信号処理方法 - Google Patents

Description

この発明は、左右２チャンネルステレオ信号から、センター定位に近い成分および／またはセンター定位に近い成分を抑圧した臨場音成分を生成する信号処理装置および信号処理方法に関する。

従来、一般的に、左右２チャンネルステレオ信号から、センター定位の音（以下、センター音という）と、それ以外の音（以下、臨場音という）とを分離する方法としては、左チャンネルの音声信号Ｌと、右チャンネルの音声信号Ｒとの和Ｌ＋Ｒとしてセンター音を得、差Ｌ−Ｒとしてセンター音以外の音とに分離する方法が、広く用いられている。

参考となる特許文献は、次の通りである。
特開平１１−１１３０９７号公報

ところが、左右チャンネルの音声信号の和信号と差信号とを求めて、センター音と、それ以外である臨場音とを分離する方法の場合、差信号として得られる臨場音の信号はモノラル信号であって、左チャンネルと右チャンネルとで逆相の信号となってしまい、臨場音は、ステレオ感の無いものとなってしまうという問題があった。

この発明は、以上の点にかんがみ、２チャンネルステレオ信号から、高音質のセンター音信号と、ステレオ感のある臨場音信号とを分離することができるようにした信号処理装置および方法を提供することを目的とする。

上記の課題を解決するために、この発明による信号処理装置は、
２チャンネルステレオ音声信号の左チャンネルの音声信号を、１番目からｍ番目のｍ個からなる複数の周波数帯域の複素信号に分割する左チャンネル帯域分割複素信号生成部と、
前記２チャンネルステレオ音声信号の右チャンネルの音声信号を、前記左チャンネル帯域分割複素信号生成部におけると同一周波数帯域の１番目からｍ番目のｍ個からなる複数の周波数帯域の複素信号に分割する右チャンネル帯域分割複素信号生成部と、
前記左チャンネル帯域分割複素信号生成部からのｍ個の複数の帯域の複素信号および前記右チャンネル帯域分割複素信号生成部からのｍ個の複数の帯域の複素信号のうちの、同じ周波数帯域の複素信号がそれぞれ供給され、ｍ個の左チャンネル各周波数帯臨場音信号およびｍ個の右チャンネル各周波数帯臨場音信号を出力するｍ個の臨場音成分抽出部と、
前記ｍ個の臨場音成分抽出部から得られる前記ｍ個の左チャンネル各周波数帯臨場音信号を合成して、左チャンネル臨場音信号を生成する左チャンネル帯域分割複素信号合成部と、
前記ｍ個の臨場音成分抽出部から得られる前記ｍ個の右チャンネル各周波数帯臨場音信号を合成して、右チャンネル臨場音信号を生成する右チャンネル帯域分割複素信号合成部と、
を有してなる臨場音信号生成部を備えるとともに、
前記左チャンネル帯域分割複素信号生成部からのｍ個の複数の帯域の複素信号および前記右チャンネル帯域分割複素信号生成部からのｍ個の複数の帯域の複素信号のうちの、同じ周波数帯域の複素信号がそれぞれ供給され、ｍ個の複数の周波数帯域のそれぞれに対応して設けられるｍ個のセンター音成分抽出部と、
前記ｍ個のセンター音成分抽出部から得られるｍ個の出力を合成して、センター音信号を生成するセンター帯域分割複素信号合成部と、を備え、
前記ｍ個の臨場音成分抽出部のそれぞれは、
前記同じ周波数帯域の複素信号の位相差を検出する第１の位相差検出器と、
前記第１の位相差検出器で得られる位相差が０度でゲインが０となり、該位相差が±１８０度でゲインが１となるように、該位相差の絶対値に比例してゲインが直線に沿って連続的に漸増する特性を有する第１のゲイン生成器と、
前記第１のゲイン生成器で生成されたゲインを前記左チャンネル帯域分割複素信号生成部からの複素信号に乗算し、その乗算出力を前記左チャンネル帯域分割複素信号合成部に出力する左チャンネル乗算器と、
前記第１のゲイン生成器で生成されたゲインを前記右チャンネル帯域分割複素信号生成部からの複素信号に乗算し、その乗算出力を前記右チャンネル帯域分割複素信号合成部に出力する右チャンネル乗算器と、
を具備し、
前記ｍ個のセンター音成分抽出部のそれぞれは、
前記左チャンネル帯域分割複素信号生成部で分割された複素信号と、前記右チャンネル帯域分割複素信号生成部で分割された複素信号とについて、同じ周波数帯域の複素信号を加算して複素加算信号を出力する加算器と、
前記左チャンネル帯域分割複素信号生成部と前記右チャンネル帯域分割複素信号生成部とで得られた、前記同じ周波数帯域の複素信号の位相差を検出する第２の位相差検出器と、
前記第２の位相差検出器で得られる位相差が０度でゲインが１となり、該位相差が±１８０度でゲインが０となるように、該位相差の絶対値に比例してゲインが直線に沿って連続的に漸減する特性を有する第２のゲイン生成器と、
前記加算器から出力される前記複素加算信号に、前記第２のゲイン生成器で得られるゲインを乗算し、その乗算出力を前記センター帯域分割複素信号合成部に出力するセンター乗算器と、
を具備する。

以上の構成の発明によれば、左右チャンネルの音声信号は、それぞれ、複数の周波数帯域の複素信号に分割される。そして、左右チャンネルにおいて、分割後の同じ周波数帯域ごとに、複素信号の位相差が検出され、その検出された位相差が、ゲイン生成手段に供給されて、それぞれの位相差に応じたゲインが出力される。

この場合に、ゲイン生成手段において、入力の位相差と出力のゲインとの間の特性は、位相差が０度でゲインが１．０またはその近傍値、位相差が±１８０度でゲインが０．０またはその近傍値となり、かつ、位相差が０度から±１８０度に向かうときに、ゲインが直線に沿って漸減する特性のゲインを出力するものである。

そして、このゲイン生成手段からの、複数の周波数帯域毎のゲインが、それぞれの周波数帯域毎に左右チャンネルの複素信号が加算された加算出力信号に乗算され、その乗算結果が、全ての周波数帯域について合成される。この合成出力として、センター定位に近い成分の信号が分離される。

また、この発明による信号処理装置は、
２チャンネルステレオ音声信号の左チャンネルの音声信号を、１番目からｍ番目のｍ個からなる複数の周波数帯域の複素信号に分割する左チャンネル帯域分割複素信号生成部と、
前記２チャンネルステレオ音声信号の右チャンネルの音声信号を、前記左チャンネル帯域分割複素信号生成部におけると同一周波数帯域の１番目からｍ番目のｍ個からなる複数の周波数帯域の複素信号に分割する右チャンネル帯域分割複素信号生成部と、
前記左チャンネル帯域分割複素信号生成部からのｍ個の複数の帯域の複素信号および前記右チャンネル帯域分割複素信号生成部からのｍ個の複数の帯域の複素信号のうちの、同じ周波数帯域の複素信号がそれぞれ供給され、ｍ個の左チャンネル各周波数帯臨場音信号およびｍ個の右チャンネル各周波数帯臨場音信号を出力するｍ個の臨場音成分抽出部と、
前記ｍ個の臨場音成分抽出部から得られる前記ｍ個の左チャンネル各周波数帯臨場音信号を合成して、左チャンネル臨場音信号を生成する左チャンネル帯域分割複素信号合成部と、
前記ｍ個の臨場音成分抽出部から得られる前記ｍ個の右チャンネル各周波数帯臨場音信号を合成して、右チャンネル臨場音信号を生成する右チャンネル帯域分割複素信号合成部と、
を有してなる臨場音信号生成部を備えるとともに、
前記左チャンネルの音声信号を遅延させて左チャンネル遅延音声信号を得る左チャンネル遅延器と、
前記左チャンネル遅延器から得られる前記左チャンネル遅延音声信号から前記左チャンネル帯域分割複素信号合成部から得られる前記左チャンネル臨場音信号を減算する左チャンネル減算器と、
前記右チャンネルの音声信号を遅延させて右チャンネル遅延音声信号を得る右チャンネル遅延器と、
前記右チャンネル遅延器から得られる前記右チャンネル遅延音声信号から前記右チャンネル帯域分割複素信号合成部から得られる前記右チャンネル臨場音信号を減算する右チャンネル減算器と、
前記左チャンネル減算器からの信号と前記右チャンネル減算器からの信号とを加算してセンター音信号を出力するようにする加算器と、
を有してなるセンター音信号生成部を備え、
前記ｍ個の臨場音成分抽出部のそれぞれは、
前記同じ周波数帯域の複素信号の位相差を検出する位相差検出器と、
前記位相差が０度でゲインが０となり、該位相差が±１８０度でゲインが１となるように、該位相差の絶対値に比例してゲインが直線に沿って連続的に漸増する特性を有するゲイン生成器と、
前記ゲイン生成器で生成されたゲインを前記左チャンネル帯域分割複素信号生成部からの複素信号に乗算し、その乗算出力を前記左チャンネル帯域分割複素信号合成部に出力する左チャンネル乗算器と、
前記ゲイン生成器で生成されたゲインを前記右チャンネル帯域分割複素信号生成部からの複素信号に乗算し、その乗算出力を前記右チャンネル帯域分割複素信号合成部に出力する右チャンネル乗算器と、
を具備する。

この発明によれば、左右チャンネルの音声信号は、それぞれ、複数の周波数帯域の複素信号に分割される。そして、左右チャンネルにおいて、分割後の同じ周波数帯域ごとに、複素信号の位相差が検出され、その検出された位相差が、ゲイン生成手段に供給されて、それぞれの位相差に応じたゲインが出力される。

この場合に、ゲイン生成手段において、入力の位相差と出力のゲインとの間の特性は、位相差が０度でゲインが０．０またはその近傍値、位相差が±１８０度でゲインが１．０またはその近傍値となり、かつ、位相差が０度から±１８０度に向かうときに、ゲインが直線に沿って漸増する特性のゲインを出力するものである。

そして、このゲイン生成手段で生成されたゲインを左チャンネル用の複数個の周波数帯域の複素信号のそれぞれに乗算し、それらの乗算出力を合成して、左チャンネルの臨場音成分出力とする。また、ゲイン生成手段で生成されたゲインを右チャンネル用の複数個の周波数帯域の複素信号に乗算し、それらの乗算出力を合成して、右チャンネルの臨場音成分出力とする。

そして、さらに、左チャンネルの臨場音成分出力を左チャンネルの音声信号から減算した信号と、右チャンネルの臨場音成分出力を右チャンネルの音声信号から減算した信号とを加算して、センター定位に近い成分の音声信号を生成するようにする。

この発明によれば、複数の周波数帯域毎に、左右チャンネルの複素信号の位相差が０度またはその近傍の所定の角度範囲内だけをセンター音成分として抽出するのではなく、位相差が０度から±１８０度に向かって、直線に沿って漸減する特性のゲインを用いて、抽出するようにするので、比較的少ない周波数帯域分割数で、より自然な、つながりのあるセンター音と、ステレオ感のある臨場音とに分離することが可能になる。

また、この発明によれば、複数の周波数帯域毎に、左右チャンネルの複素信号の位相差が０度またはその近傍の所定の角度範囲内だけをセンター音成分として除去するのではなく、位相差が０度から±１８０度に向かって、直線に沿って漸増する特性のゲインを用いて、除去するようにするので、比較的少ない周波数帯域分割数で、より自然な、つながりのあるセンター音と、ステレオ感のある臨場音とに分離することが可能になる。

以下、この発明による信号処理装置および方法の実施形態を、図を参照しながら説明する。

［第１の実施形態］
図１は、ステレオ信号処理装置の第１の実施形態を示すブロック図である。この第１の実施形態においては、左右２チャンネルの音声信号からセンター音信号を抽出し、抽出したセンター音信号を、左チャンネルの音声信号および右チャンネルの音声信号のそれぞれから減算することにより、左チャンネルの臨場音信号および右チャンネルの臨場音信号をそれぞれ得るようにする。

図１に示すように、この第１の実施形態のステレオ信号処理装置は、センター音信号生成部１０と、左チャンネルの音声信号ＳＬをセンター音信号生成部１０での処理遅延時間分だけ遅延させる遅延器２０Ｌと、右チャンネルの音声信号ＳＲをセンター音信号生成部１０での処理遅延時間分だけ遅延させる遅延器２０Ｒと、遅延器２０Ｌを通じた左チャンネルの音声信号ＳＬからセンター音信号生成部１０の出力センター音信号を減算する減算器３０Ｌと、遅延器２０Ｒを通じた右チャンネルの音声信号ＳＲからセンター音信号生成部１０の出力センター音信号を減算する減算器３０Ｒとからなる。

そして、センター音信号生成部１０は、左チャンネル用の帯域分割複素信号生成部１１Ｌと、右チャンネル用の帯域分割複素信号生成部１１Ｒと、帯域分割複素信号生成部１１Ｌおよび１１Ｒにおける帯域分割数ｍ（ｍは２以上の整数）に等しい数のセンター音成分抽出部１２０，１２１，１２２，・・・，１２ｍ−１（図１では、センター音成分抽出部１２０のみを示し、その他のセンター音成分抽出部の図示は省略）と、帯域分割複素信号合成部１３とからなる。

ステレオ音声として左、右のセンター定位およびその近傍に定位する音声信号は、それぞれ異なる周波数成分を有している。そこで、左右２チャンネルのステレオ音声信号のうち、左チャンネルの音声信号ＳＬは、左チャンネル用の帯域分割複素信号生成部１１Ｌに供給され、右チャンネルの音声信号ＳＲは、右チャンネル用の帯域分割複素信号生成部１１Ｒに供給される。

帯域分割複素信号生成部１１Ｌおよび１１Ｒは、左チャンネルの音声信号ＳＬおよび右チャンネルの音声信号ＳＲのそれぞれを、ｍ個の周波数帯域の複素信号Ｖ［ＤＬｉ］およびＶ［ＤＲｉ］（ただし、ｉ＝０，１，２，・・・，ｍ−１）に変換する。ここで、この明細書において、Ｖ［］は、［］内の信号がベクトル信号（複素信号）であることを示している。

この帯域分割複素信号生成部１１Ｌおよび１１Ｒは、例えばＤＦＴ（Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ：離散フーリエ変換）フィルタバンクを用いて構成される。

なお、ＤＦＴフィルタバンクについては、例えば特開平０８−２４８０７０号公報やＣＱ出版社発行の「ＴＥＣＨ Ｉ シミュレーションで学ぶディジタル信号処理 ＭＡＴＬＡＢによる例題を使って身に付ける基礎から応用；尾知博著 Ｖｏｌ．９ ｐ１５８−ｐ１６３」などに詳細に説明されており、ここでは、詳細な説明は省略する。

帯域分割複素信号生成部１１Ｌおよび１１Ｒからの、同じ周波数帯域の複素信号Ｖ［ＤＬｉ］およびＶ［ＤＲｉ］は、対応する周波数帯域用のセンター音成分抽出部１２ｉに供給される。図１では、帯域分割複素信号生成部１１Ｌおよび１１Ｒからの複素信号Ｖ［ＤＬ０］およびＶ［ＤＲ０］は、対応する周波数帯域用であるセンター音成分抽出部１２０に供給される様子を示している。

センター音成分抽出部１２０，１２１，１２２，・・・，１２ｍ−１は、それぞれ、図１に示すように、加算器２０１と、ゲイン調整アンプ２０２と、乗算器２０３と、位相差検出器２０４と、ゲイン生成器２０５とからなり、各周波数帯域毎の左右チャンネルの音声信号ＳＬ，ＳＲの複素信号から、各周波数帯域毎のセンター音成分を抽出する。

センター音信号はモノラル信号であり、左右両チャンネル信号を加算平均した信号に、そのすべての成分が含まれる。そこで、この例では、センター音成分抽出部１２ｉでは、先ず、左右チャンネルで対応する同じ周波数帯域の複素信号Ｖ［ＤＬｉ］およびＶ［ＤＲｉ］は、加算器２０１で加算され、ゲイン調整アンプ２０２で平均化されて複素信号Ｖ［ＤＭｉ］（＝（Ｖ［ＤＬｉ］＋Ｖ［ＤＲｉ］）／２）とされる。そして、平均化された複素信号Ｖ［ＤＭｉ］が乗算器２０３に供給される。

図２は、左右チャンネルの帯域分割複素信号Ｖ［ＤＬｉ］およびＶ［ＤＲｉ］の一例のベクトル図であり、平均化された複素信号Ｖ［ＤＭｉ］は、図示の通りである。

左右チャンネルで対応する同じ周波数帯域の複素信号Ｖ［ＤＬｉ］およびＶ［ＤＲｉ］は、また、位相差検出器２０４に供給されて、その位相差θｉが算出される。すなわち、図２の帯域分割複素信号のベクトル図において、同図に示すように位相差θｉは、複素信号Ｖ［ＤＬｉ］およびＶ［ＤＲｉ］の位相角の差であり、複素信号Ｖ［ＤＬｉ］の位相角をθＬ、複素信号Ｖ［ＤＲｉ］の位相角をθＲとしたとき、位相差θｉは、θｉ＝θＬ−θＲまたはθｉ＝θＲ−θＬによって算出される。

以上のようにして、位相差検出器２０４で算出された位相差θｉは、ゲイン生成器２０５に供給される。このゲイン生成器２０５は、入力された位相差θｉに応じたゲインＧｉを出力する。このゲイン生成器２０５の、この実施形態における入力位相差−出力ゲイン特性の一例を図３に示す。

すなわち、図３の例においては、センターに定位する信号は、左右両チャンネルの音声信号ＳＬ，ＳＲの信号成分の位相が一致するので、位相差θｉが0度の時は、ゲインＧｉ＝１．０とする。また、位相差θｉが±１８０度のときは、定位がセンターより非常に離れている信号なので、Ｇｉ＝０．０とする。

また、センター定位に近い信号ほど位相差θｉが小さいので、位相差θｉが０度と、±１８０度との間は、位相差が０度から±１８０度に向かうときに、ゲイン生成器２０５の入力位相差−出力ゲイン特性は、この実施形態では、入力位相差θｉに応じて、出力ゲインＧｉが直線に沿って連続的に漸減する特性とされている。

ちなみに、図３の例では、ゲイン生成器２０５の入力位相差−出力ゲイン特性は、位相差θｉが０度から±１８０度に向かうときに、ゲインＧｉは、１．０から０．０へとリニアに減衰させている。

前述したように、センター音信号はモノラル信号であるので、ゲイン調整アンプ２０２からの左右２チャンネルの複素信号を加算平均した複素信号Ｖ［ＤＭｉ］には、当該センター音信号の全てが含まれる。しかし、この複素信号Ｖ［ＤＭｉ］には、左右に広がった位置に定位する信号成分も同時に含まれる。

この実施形態では、このベクトル加算平均した信号Ｖ［ＤＭｉ］に、左右２チャンネルの信号の位相差に応じて生成したゲインＧｉを乗算することにより、センターに近い位置に定位する成分の複素信号Ｖ［ＤＣｉ］を抽出するようにする。

以上のセンター音成分抽出処理は、ｍ個の周波数帯域のそれぞれに対応するｍ個のセンター音成分抽出部１２０，１２１，１２２，・・・，１２ｍ−１において、各周波数帯域において行なわれる。

そして、ｍ個のセンター音成分抽出部１２０，１２１，１２２，・・・，１２ｍ−１のそれぞれからのセンターに近い位置に定位する成分の複素信号Ｖ［ＤＣ０］、Ｖ［ＤＣ１］、Ｖ［ＤＣ２］、・・・、Ｖ［ＤＣｍ−１］は、帯域分割複素信号合成部１３に供給されて、全周波数帯域の成分が合成され、この帯域分割複素信号合成部１３から、２チャンネルステレオ信号から分離されたセンターに近い位置に定位したモノラルの信号、すなわち、センター音信号ＳＣが出力される。

一方、臨場音は、左右チャンネルの音声信号ＳＬおよびＳＲのそれぞれに含まれる。そして、同時に、左右チャンネルの音声信号ＳＬおよびＳＲには、センター音成分も含まれる。

そこで、この実施形態では、遅延器２０Ｌを通じた左チャンネルの音声信号ＳＬが減算器３０Ｌに供給されると共に、センター音信号ＳＣが減算器３０Ｌに供給されて、左チャンネルの音声信号ＳＬから、センター音信号ＳＣが減算され、減算器３０Ｌから、左チャンネルの臨場音信号ＢＧＬが得られる。

また、遅延器２０Ｒを通じた右チャンネルの音声信号ＳＲが減算器３０Ｒに供給されると共に、センター音信号ＳＣが減算器３０Ｒに供給されて、右チャンネルの音声信号ＳＲから、センター音信号ＳＣが減算され、減算器３０Ｒから、右チャンネルの臨場音信号ＢＧＲが得られる。

図４は、入力２チャンネルステレオ信号から分離された音像の領域図で、図４（Ａ）はセンター音信号の音像の領域図を示し、図４（Ｂ）は臨場音信号の音像の領域図を示すものである。図４（Ｂ）に示すように、臨場音は、左チャンネル側と、右チャンネル側のそれぞれに分離したステレオ臨場音とすることができる。

以上のようにして、この実施形態によれば、比較的少ない周波数帯域分割数ｍで、より自然なつながりのある良質なセンター音と、ステレオ感のある臨場音とに分離することが可能になる。

ステレオ音声信号から、センター音を抽出する場合において、周波数帯域分割されたステレオ音声信号に対して、左右両チャンネルの位相差を検出して、その位相差に基づいてセンター音を抽出する場合には、位相差が０度に近いもののみを切り出す手法が通常考えられる。センター音は、左右チャンネルに同相で挿入されるものであるからである。

したがって、原理的には、位相差が０度近傍の信号のみを、左右２チャンネル信号から切り出すことで、センター音が効果的に分離できると考えられる。しかしながら、位相差が０度近傍の信号のみを、左右２チャンネル信号から切り出す場合には、切り出しの境界に近い信号成分が、センター音信号の領域と、臨場音信号の領域との両領域の間を行き来するために、不安定な音となってしまう。このため、センター音や臨場音として、良好な音質を得るためには、ある程度以上の多くの周波数帯域分割数、例えば数千の帯域分割数が必要となってしまうという問題がある。

これに対して、上述の実施形態によれば、２チャンネルステレオ音声信号から、左右チャンネル信号の位相差が０度およびその近傍の特定の角度範囲を切り出すのではなく、ゲイン生成器２０５の入力位相差−出力ゲイン特性を、位相差θｉが０度から±１８０度に向かうときに、入力位相差θｉに応じて、出力ゲインＧｉが直線に沿って連続的に漸減する特性とされている。このため、センター音信号の領域と、臨場音信号の領域との両領域の間を急峻に切り分けるものではないので、比較的、少ない帯域分割数ｍで、より自然なつながりのあるセンター音と、ステレオ感のある臨場音とに分離することができる。

［第２の実施形態］
第１の実施形態では、センター音信号ＳＣを２チャンネルステレオ信号から抽出すると共に、左チャンネルの音声信号ＳＬおよび右チャンネルの音声信号ＳＲから、センター音信号ＳＣを減算することにより、左右チャンネルの臨場音信号ＢＧＬおよびＢＧＲを得るようにした。

これに対して、第２の実施形態は、逆に、左右チャンネルの臨場音信号ＢＧＬおよびＢＧＲを２チャンネルステレオ信号から抽出すると共に、左チャンネルの音声信号ＳＬおよび右チャンネルの音声信号ＳＲから、左右チャンネルの臨場音信号ＢＧＬおよびＢＧＲを減算することにより、センター音信号ＳＣを得るようにする。

図５に示すように、この第２の実施形態のステレオ信号処理装置は、臨場音信号生成部４０と、左チャンネルの音声信号ＳＬを臨場音信号生成部４０での処理遅延時間分だけ遅延させる遅延器５０Ｌと、右チャンネルの音声信号ＳＲを臨場音信号生成部４０での処理遅延時間分だけ遅延させる遅延器５０Ｒと、遅延器５０Ｌを通じた左チャンネルの音声信号ＳＬから臨場音信号生成部４０の出力臨場音信号を減算する減算器６０Ｌと、遅延器５０Ｒを通じた右チャンネルの音声信号ＳＲから臨場音信号生成部４０の出力臨場音信号を減算する減算器６０Ｒと、減算器６０Ｌの出力と、減算器６０Ｒの出力とを加算する加算器７０とからなる。

そして、臨場音信号生成部４０は、左チャンネル用の帯域分割複素信号生成部４１Ｌと、右チャンネル用の帯域分割複素信号生成部４１Ｒと、帯域分割複素信号生成部４１Ｌおよび４１Ｒにおける帯域分割数ｍ（ｍは２以上の整数）に等しい数の臨場音成分抽出部４２０，４２１，４２２，・・・，４２ｍ−１（図５では、臨場音成分抽出部４２０のみを示し、その他のセンター音成分抽出部の図示は省略）と、左チャンネル用の帯域分割複素信号合成部４３Ｌと、右チャンネル用の帯域分割複素信号合成部４３Ｒとからなる。

帯域分割複素信号生成部４１Ｌおよび４１Ｒは、第１の実施形態の帯域分割複素信号生成部１１Ｌおよび１１Ｒと全く同様の構成を有するもので、上述した第１の実施形態と同様に、左チャンネルの音声信号ＳＬおよび右チャンネルの音声信号ＳＲのそれぞれを、ｍ個の周波数帯域の複素信号Ｖ［ＤＬｉ］およびＶ［ＤＲｉ］に変換する。

帯域分割複素信号生成部４１Ｌおよび４１Ｒからの、同じ周波数帯域の複素信号Ｖ［ＤＬｉ］およびＶ［ＤＲｉ］は、対応する周波数帯域用の臨場音成分抽出部４２ｉに供給される。図５では、帯域分割複素信号生成部４１Ｌおよび４１Ｒからの複素信号Ｖ［ＤＬ０］およびＶ［ＤＲ０］は、対応する周波数帯域用である臨場音成分抽出部４２０に供給される様子を示している。

臨場音成分抽出部４２０，４２１，４２２，・・・，４２ｍ−１は、それぞれ、図５に示すように、乗算器３０１Ｌおよび３０１Ｒと、位相差検出器３０２と、ゲイン生成器３０３とからなり、各周波数帯域毎の左右チャンネルの音声信号ＳＬ，ＳＲの複素信号から、各周波数帯域毎の左右チャンネルの臨場音成分を抽出する。

この例では、臨場音成分抽出部４２ｉでは、先ず、左右チャンネルで対応する同じ周波数帯域の複素信号Ｖ［ＤＬｉ］およびＶ［ＤＲｉ］は、乗算器３０１Ｌおよび３０１Ｒにそれぞれ供給される。

左右チャンネルで対応する同じ周波数帯域の複素信号Ｖ［ＤＬｉ］およびＶ［ＤＲｉ］は、また、位相差検出器３０２に供給されて、第１の実施形態と全く同様にして、その位相差θｉが算出される。

この位相差検出器３０２で算出された位相差θｉは、ゲイン生成器３０３に供給される。このゲイン生成器３０３は、入力された位相差θｉに応じた左チャンネル用のゲインＧＬｉおよび右チャンネル用のゲインＧＲｉを出力する。例えば、図２において、位相差θｉが、θｉ＝θＬ−θＲに対しては、ゲインＧＬｉを出力し、その逆相の位相差θｉ＝θＲ−θＬに対しては、ゲインＧＲｉを出力する。

このゲイン生成器３０３の、この実施形態における入力位相差−出力ゲイン特性の一例を図６に示す。

すなわち、図６の例においては、センターに定位する信号は、左右両チャンネルの音声信号ＳＬ，ＳＲの信号成分の位相が一致するので、これを抑圧するため、位相差θｉが0度のときは、ゲインＧＬｉ＝ＧＲｉ＝０．０とする。また、位相差θｉが±１８０度のときは、定位がセンターより非常に離れている信号、すなわち、臨場音なので、ＧＬｉ＝ＧＲｉ＝１．０とする。

そして、位相差θｉが０度と、±１８０度との間は、位相差が０度から±１８０度に向かうときに、ゲイン生成器３０３の入力位相差−出力ゲイン特性は、この実施形態では、入力位相差θｉに応じて、出力ゲインＧｉが直線に沿って連続的に漸増する特性とされている。

ちなみに、図６の例では、ゲイン生成器３０３の入力位相差−出力ゲイン特性は、位相差が０度から±１８０度に向かうときに、ゲインＧＬｉおよびＧＲｉは、０．０から１．０へとリニアに増加させている。

以上のようにして得られる左チャンネル用のゲインＧＬｉは、乗算器３０１Ｌにおいて、帯域分割複素信号生成部４１Ｌからの対応する周波数帯域の複素信号Ｖ［ＤＬｉ］に乗算されて、当該周波数帯域の左チャンネルの臨場音成分の複素信号Ｖ［ＤＬＢｉ］が抽出される。

また、上述のようにして得られる右チャンネル用のゲインＧＲｉは、乗算器３０１Ｒにおいて、帯域分割複素信号生成部４１Ｒからの対応する周波数帯域の複素信号Ｖ［ＤＲｉ］に乗算されて、当該周波数帯域の右チャンネルの臨場音成分の複素信号Ｖ［ＤＲＢｉ］が抽出される。

以上の臨場音成分抽出処理は、ｍ個の周波数帯域のそれぞれに対応するｍ個の臨場音成分抽出部４２０，４２１，４２２，・・・，４２ｍ−１において、各周波数帯域において行なわれる。

そして、ｍ個の臨場音成分抽出部４２０，４２１，４２２，・・・，４２ｍ−１のそれぞれからの臨場音成分の左チャンネルの複素信号Ｖ［ＤＬＢ０］、Ｖ［ＤＬＢ１］、Ｖ［ＤＬＢ２］、・・・、Ｖ［ＤＬＢｍ−１］は、それぞれ左チャンネル用の帯域分割複素信号合成部４３Ｌに供給されて、全周波数帯域の成分が合成され、この帯域分割複素信号合成部４３Ｌから、左チャンネルの音声信号ＳＬから分離された左チャンネルの臨場音信号ＢＧＬが出力される。

また、ｍ個の臨場音成分抽出部４２０，４２１，４２２，・・・，４２ｍ−１のそれぞれからの臨場音成分の右チャンネルの複素信号Ｖ［ＤＲＢ０］、Ｖ［ＤＲＢ１］、Ｖ［ＤＲＢ２］、・・・、Ｖ［ＤＲＢｍ−１］は、それぞれ右チャンネル用の帯域分割複素信号合成部４３Ｒに供給されて、全周波数帯域の成分が合成され、この帯域分割複素信号合成部４３Ｒから、右チャンネル音声信号ＳＲから分離された右チャンネルの臨場音信号ＢＧＲが出力される。

そして、この第２の実施形態では、遅延器５０Ｌを通じた左チャンネルの音声信号ＳＬが減算器６０Ｌに供給されると共に、左チャンネルの臨場音信号ＢＧＬが減算器６０Ｌに供給されて、左チャンネルの音声信号ＳＬから、左チャンネルの臨場音信号ＢＧＬが減算され、減算器６０Ｌから、左チャンネルの音声信号ＳＬに含まれるセンター音信号ＳＣＬが得られる。

また、遅延器５０Ｒを通じた右チャンネルの音声信号ＳＲが減算器６０Ｒに供給されると共に、右チャンネルの臨場音信号ＢＧＲが減算器６０Ｒに供給されて、右チャンネルの音声信号ＳＲから、右チャンネルの臨場音信号ＢＧＲが減算され、減算器６０Ｒから、右チャンネルの音声信号ＳＲに含まれるセンター音信号ＳＣＲが得られる。

そして、減算器６０Ｌからの左チャンネルの音声信号ＳＬに含まれるセンター音信号ＳＣＬと、減算器６０Ｒからの右チャンネルの音声信号ＳＲに含まれるセンター音信号ＳＣＲとが加算器７０に供給されて加算され、この加算器７０からセンター音信号ＳＣが得られる。

この第２の実施形態においても、前述した第１の実施形態と同様に、比較的少ない周波数帯域分割数で、より自然なつながりのあるセンター音と、ステレオ感のある臨場音とに分離することができる。

［その他の実施形態および変形例］
上述の第１の実施形態では、２チャンネルステレオ信号から、センター音信号を抽出すると共に、左右チャンネルの信号からセンター音信号を減算することにより、左右チャンネルの臨場音信号を生成するようにしたが、臨場音信号は、左右チャンネルの信号からセンター音信号を減算するのではなく、第２の実施形態の臨場音信号生成部４０のようにして、臨場音信号を生成するようにしても良い。その場合には、左チャンネル用および右チャンネル用の帯域分割複素信号生成部と、位相差検出器は、センター音信号生成部と、臨場音信号生成部とで共用することができる。

なお、上述の第１の実施形態におけるゲイン生成器２０５では、位相差θｉが０度のときには、ゲインＧｉ＝１．０としたが、正確に１．０とする必要は無く、１．０近傍の値であっても良い。同様に、位相差θｉが±１８０度のときには、ゲインＧｉ＝０．０としたが、正確に０．０とする必要は無く、０．０近傍の値であっても良い。第２の実施形態におけるゲイン生成器３０３においても、同様である。

また、ゲイン生成器２０５および３０３のゲイン関数としては、いずれも、リニアな変化をする特性を備えるものとしたが、リニアな変化特性に限定するものではなく、当該リニアな変化（直線的変化）に沿って連続的に漸減あるいは漸増する特性であれば、他のゲイン関数をも用いることができる。

しかし、リニアなゲイン変化特性の場合に、最も、高品質のセンター音信号が得られると共に、よりステレオ感のある臨場音信号が得られることが、発明者により確認されている。

この発明によるステレオ信号処理装置の第１の実施形態のブロック図である。 この発明によるステレオ信号処理装置の実施形態の要部の動作を説明するために用いる図である。 この発明によるステレオ信号処理装置の第１の実施形態の要部の動作を説明するために用いる図である。 この発明によるステレオ信号処理装置の実施形態により分離されたセンター音信号と、臨場音信号の特性を説明するための図である。 この発明によるステレオ信号処理装置の第２の実施形態のブロック図である。 この発明によるステレオ信号処理装置の第２の実施形態の要部の動作を説明するために用いる図である。

符号の説明

１０…センター音信号生成部、１１Ｌ，４１Ｌ…左チャンネル用の帯域分割複素信号生成部、１１Ｒ，４１Ｒ…右チャンネル用の帯域分割複素信号生成部、１２０…センター音成分抽出部、１３…帯域分割複素信号合成部、４２０…臨場音成分抽出部、４３Ｌ…左チャンネル用の帯域分割複素信号合成部、４３Ｒ…右チャンネル用の帯域分割複素信号合成部、２０４，３０２…位相差検出器、２０５，３０３…ゲイン生成器

Claims (4)

1. ２チャンネルステレオ音声信号の左チャンネルの音声信号を、１番目からｍ番目のｍ個からなる複数の周波数帯域の複素信号に分割する左チャンネル帯域分割複素信号生成部と、
   前記２チャンネルステレオ音声信号の右チャンネルの音声信号を、前記左チャンネル帯域分割複素信号生成部におけると同一周波数帯域の１番目からｍ番目のｍ個からなる複数の周波数帯域の複素信号に分割する右チャンネル帯域分割複素信号生成部と、
   前記左チャンネル帯域分割複素信号生成部からのｍ個の複数の帯域の複素信号および前記右チャンネル帯域分割複素信号生成部からのｍ個の複数の帯域の複素信号のうちの、同じ周波数帯域の複素信号がそれぞれ供給され、ｍ個の左チャンネル各周波数帯臨場音信号およびｍ個の右チャンネル各周波数帯臨場音信号を出力するｍ個の臨場音成分抽出部と、
   前記ｍ個の臨場音成分抽出部から得られる前記ｍ個の左チャンネル各周波数帯臨場音信号を合成して、左チャンネル臨場音信号を生成する左チャンネル帯域分割複素信号合成部と、
   前記ｍ個の臨場音成分抽出部から得られる前記ｍ個の右チャンネル各周波数帯臨場音信号を合成して、右チャンネル臨場音信号を生成する右チャンネル帯域分割複素信号合成部と、
   を有してなる臨場音信号生成部を備えるとともに、
   前記左チャンネル帯域分割複素信号生成部からのｍ個の複数の帯域の複素信号および前記右チャンネル帯域分割複素信号生成部からのｍ個の複数の帯域の複素信号のうちの、同じ周波数帯域の複素信号がそれぞれ供給され、ｍ個の複数の周波数帯域のそれぞれに対応して設けられるｍ個のセンター音成分抽出部と、
   前記ｍ個のセンター音成分抽出部から得られるｍ個の出力を合成して、センター音信号を生成するセンター帯域分割複素信号合成部と、
   を有してなるセンター音信号生成部を備え、
   前記ｍ個の臨場音成分抽出部のそれぞれは、
   前記同じ周波数帯域の複素信号の位相差を検出する第１の位相差検出器と、
   前記第１の位相差検出器で得られる位相差が０度でゲインが０となり、該位相差が±１８０度でゲインが１となるように、該位相差の絶対値に比例してゲインが直線に沿って連続的に漸増する特性を有する第１のゲイン生成器と、
   前記第１のゲイン生成器で生成されたゲインを前記左チャンネル帯域分割複素信号生成部からの複素信号に乗算し、その乗算出力を前記左チャンネル帯域分割複素信号合成部に出力する左チャンネル乗算器と、
   前記第１のゲイン生成器で生成されたゲインを前記右チャンネル帯域分割複素信号生成部からの複素信号に乗算し、その乗算出力を前記右チャンネル帯域分割複素信号合成部に出力する右チャンネル乗算器と、
   を具備し、
   前記ｍ個のセンター音成分抽出部のそれぞれは、
   前記左チャンネル帯域分割複素信号生成部で分割された複素信号と、前記右チャンネル帯域分割複素信号生成部で分割された複素信号とについて、同じ周波数帯域の複素信号を加算して複素加算信号を出力する加算器と、
   前記左チャンネル帯域分割複素信号生成部と前記右チャンネル帯域分割複素信号生成部とで得られた、前記同じ周波数帯域の複素信号の位相差を検出する第２の位相差検出器と、
   前記第２の位相差検出器で得られる位相差が０度でゲインが１となり、該位相差が±１８０度でゲインが０となるように、該位相差の絶対値に比例してゲインが直線に沿って連続的に漸減する特性を有する第２のゲイン生成器と、
   前記加算器から出力される前記複素加算信号に、前記第２のゲイン生成器で得られるゲインを乗算し、その乗算出力を前記センター帯域分割複素信号合成部に出力するセンター乗算器と、
   を具備する、信号処理装置。
2. ２チャンネルステレオ音声信号の左チャンネルの音声信号を、１番目からｍ番目のｍ個からなる複数の周波数帯域の複素信号に分割する左チャンネル帯域分割複素信号生成部と、
   前記２チャンネルステレオ音声信号の右チャンネルの音声信号を、前記左チャンネル帯域分割複素信号生成部におけると同一周波数帯域の１番目からｍ番目のｍ個からなる複数の周波数帯域の複素信号に分割する右チャンネル帯域分割複素信号生成部と、
   前記左チャンネル帯域分割複素信号生成部からのｍ個の複数の帯域の複素信号および前記右チャンネル帯域分割複素信号生成部からのｍ個の複数の帯域の複素信号のうちの、同じ周波数帯域の複素信号がそれぞれ供給され、ｍ個の左チャンネル各周波数帯臨場音信号およびｍ個の右チャンネル各周波数帯臨場音信号を出力するｍ個の臨場音成分抽出部と、
   前記ｍ個の臨場音成分抽出部から得られる前記ｍ個の左チャンネル各周波数帯臨場音信号を合成して、左チャンネル臨場音信号を生成する左チャンネル帯域分割複素信号合成部と、
   前記ｍ個の臨場音成分抽出部から得られる前記ｍ個の右チャンネル各周波数帯臨場音信号を合成して、右チャンネル臨場音信号を生成する右チャンネル帯域分割複素信号合成部と、
   を有してなる臨場音信号生成部を備えるとともに、
   前記左チャンネルの音声信号を遅延させて左チャンネル遅延音声信号を得る左チャンネル遅延器と、
   前記左チャンネル遅延器から得られる前記左チャンネル遅延音声信号から前記左チャンネル帯域分割複素信号合成部から得られる前記左チャンネル臨場音信号を減算する左チャンネル減算器と、
   前記右チャンネルの音声信号を遅延させて右チャンネル遅延音声信号を得る右チャンネル遅延器と、
   前記右チャンネル遅延器から得られる前記右チャンネル遅延音声信号から前記右チャンネル帯域分割複素信号合成部から得られる前記右チャンネル臨場音信号を減算する右チャンネル減算器と、
   前記左チャンネル減算器からの信号と前記右チャンネル減算器からの信号とを加算してセンター音信号を出力するようにする加算器と、
   を有してなるセンター音信号生成部を備え、
   前記ｍ個の臨場音成分抽出部のそれぞれは、
   前記同じ周波数帯域の複素信号の位相差を検出する位相差検出器と、
   前記位相差が０度でゲインが０となり、該位相差が±１８０度でゲインが１となるように、該位相差の絶対値に比例してゲインが直線に沿って連続的に漸増する特性を有するゲイン生成器と、
   前記ゲイン生成器で生成されたゲインを前記左チャンネル帯域分割複素信号生成部からの複素信号に乗算し、その乗算出力を前記左チャンネル帯域分割複素信号合成部に出力する左チャンネル乗算器と、
   前記ゲイン生成器で生成されたゲインを前記右チャンネル帯域分割複素信号生成部からの複素信号に乗算し、その乗算出力を前記右チャンネル帯域分割複素信号合成部に出力する右チャンネル乗算器と、
   を具備する信号処理装置。
3. ２チャンネルステレオ音声信号の左チャンネルの音声信号を、１番目からｍ番目のｍ個からなる複数の周波数帯域の複素信号に分割する左チャンネル帯域分割複素信号生成ステップと、
   前記２チャンネルステレオ音声信号の右チャンネルの音声信号を、前記左チャンネル帯域分割複素信号生成ステップにおけると同一周波数帯域の１番目からｍ番目のｍ個からなる複数の周波数帯域の複素信号に分割する右チャンネル帯域分割複素信号生成ステップと、
   前記左チャンネル帯域分割複素信号生成ステップで得られたｍ個の複数の帯域の複素信号および前記右チャンネル帯域分割複素信号生成ステップで得られたｍ個の複数の帯域の複素信号のうちの、同じ周波数帯域の複素信号がそれぞれ供給され、ｍ個の左チャンネル各周波数帯臨場音信号およびｍ個の右チャンネル各周波数帯臨場音信号を出力する臨場音成分抽出ステップと、
   前記臨場音成分抽出ステップで得られた前記ｍ個の左チャンネル各周波数帯臨場音信号を合成して、左チャンネル臨場音信号を生成する左チャンネル帯域分割複素信号合成ステップと、
   前記臨場音成分抽出ステップで得られた前記ｍ個の右チャンネル各周波数帯臨場音信号を合成して、右チャンネル臨場音信号を生成する右チャンネル帯域分割複素信号合成ステップと、
   を有して臨場音信号を生成するとともに、
   前記左チャンネル帯域分割複素信号生成ステップで得られたｍ個の複数の帯域の複素信号および前記右チャンネル帯域分割複素信号生成ステップで得られたｍ個の複数の帯域の複素信号のうちの、同じ周波数帯域の複素信号がそれぞれ供給されてセンター音成分を抽出するセンター音成分抽出ステップと、
   前記センター音成分抽出ステップで得られたｍ個の出力を合成するセンター帯域分割複素信号合成ステップと、
   を有してセンター音信号を生成し、
   前記臨場音成分抽出ステップでは、ｍ個のそれぞれの周波数帯域について、
   前記同じ周波数帯域の複素信号の位相差である第１の位相差を検出し、
   前記第１の位相差が０度でゲインが０となり、該第１の位相差が±１８０度でゲインが１となるように、該第１の位相差の絶対値に比例してゲインが直線に沿って連続的に漸増する特性を有する第１のゲインを生成し、
   前記第１のゲインを前記左チャンネル帯域分割複素信号生成ステップで得られた複素信号に乗算し、その乗算出力を前記左チャンネル帯域分割複素信号合成ステップで用いるようにし、
   前記第１のゲインを前記右チャンネル帯域分割複素信号生成ステップで得られた複素信号に乗算し、その乗算出力を前記右チャンネル帯域分割複素信号合成ステップで用いるようにし、
   前記センター音成分抽出ステップでは、ｍ個のそれぞれの周波数帯域について、
   前記左チャンネル帯域分割複素信号生成ステップで分割された複素信号と、前記右チャンネル帯域分割複素信号生成ステップで分割された複素信号とについて、同じ周波数帯域の複素信号を加算して複素加算信号を出力し、
   前記左チャンネル帯域分割複素信号生成ステップと前記右チャンネル帯域分割複素信号生成ステップとで得られた、前記同じ周波数帯域の複素信号の位相差である第２の位相差を検出し、
   前記第２の位相差が０度でゲインが１となり、該位相差が±１８０度でゲインが０となるように、該第２の位相差の絶対値に比例してゲインが直線に沿って連続的に漸減する特性を有する第２のゲインを生成し、
   前記複素加算信号に、前記第２のゲインを乗算し、その乗算出力を該センター音成分抽出ステップにおける出力として前記センター帯域分割複素信号合成ステップで用いるようにする、
   信号処理方法。
4. ２チャンネルステレオ音声信号の左チャンネルの音声信号を、１番目からｍ番目のｍ個からなる複数の周波数帯域の複素信号に分割する左チャンネル帯域分割複素信号生成ステップと、
   前記２チャンネルステレオ音声信号の右チャンネルの音声信号を、前記左チャンネル帯域分割複素信号生成部におけると同一周波数帯域の１番目からｍ番目のｍ個からなる複数の周波数帯域の複素信号に分割する右チャンネル帯域分割複素信号生成ステップと、
   前記左チャンネル帯域分割複素信号生成ステップで得られたｍ個の複数の帯域の複素信号および前記右チャンネル帯域分割複素信号生成ステップで得られたｍ個の複数の帯域の複素信号のうちの、同じ周波数帯域の複素信号がそれぞれ供給され、ｍ個の左チャンネル各周波数帯臨場音信号およびｍ個の右チャンネル各周波数帯臨場音信号を出力する臨場音成分抽出ステップと、
   前記臨場音成分抽出ステップで得られた前記ｍ個の左チャンネル各周波数帯臨場音信号を合成して、左チャンネル臨場音信号を生成する左チャンネル帯域分割複素信号合成ステップと、
   前記臨場音成分抽出ステップで得られた前記ｍ個の右チャンネル各周波数帯臨場音信号を合成して、右チャンネル臨場音信号を生成する右チャンネル帯域分割複素信号合成ステップと、
   を有して臨場音信号を生成するとともに、
   前記左チャンネルの音声信号を遅延させて左チャンネル遅延音声信号を得る左チャンネル遅延ステップと、
   前記左チャンネル遅延ステップで得られた前記左チャンネル遅延音声信号から前記左チャンネル帯域分割複素信号合成ステップで得られた前記左チャンネル臨場音信号を減算する左チャンネル減算ステップと、
   前記右チャンネルの音声信号を遅延させて右チャンネル遅延音声信号を得る右チャンネル遅延ステップと、
   前記右チャンネル遅延ステップで得られた前記右チャンネル遅延音声信号から前記右チャンネル帯域分割複素信号合成ステップで得られた前記右チャンネル臨場音信号を減算する右チャンネル減算ステップと、
   前記左チャンネル減算ステップで得られた信号と前記右チャンネル減算ステップで得られた信号とを加算してセンター音信号を出力するようにする加算ステップと、
   を有してセンター音信号を生成し、
   前記臨場音成分抽出ステップでは、ｍ個のそれぞれの周波数帯域について、
   前記同じ周波数帯域の複素信号の位相差を検出し、
   前記位相差が０度でゲインが０となり、前記位相差が±１８０度でゲインが１となるように、該位相差の絶対値に比例してゲインが直線に沿って連続的に漸増する特性を有するゲインを生成し、
   前記ゲインを前記左チャンネル帯域分割複素信号生成ステップで得られた複素信号に乗算し、その乗算出力を前記左チャンネル帯域分割複素信号合成ステップで用いるようにし、
   前記ゲインを前記右チャンネル帯域分割複素信号生成ステップで得られた複素信号に乗算し、その乗算出力を前記右チャンネル帯域分割複素信号合成ステップで用いるようにする、
   信号処理方法。

Images