JP3810004B2 - ステレオ音響信号処理方法、ステレオ音響信号処理装置、ステレオ音響信号処理プログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、音声、楽音、各種環境音源などの複数の音源から発せられた複数の音響信号が混ざった２チャネルステレオ信号において、中央付近に定位する音源信号を強調するステレオ音響信号処理方法、装置及びそのプログラムに関する。
【０００２】
【従来の技術】
難聴者は、複数の音源が存在する中から目的とする音源信号を聞き取る能力（いわゆるカクテルパーティー効果と呼ばれる）が劣っているといわれている。このため、健聴者を対象に作成された音楽信号では、しばしば伴奏が歌よりも大きく感じられることが指摘されている。この場合にはセンターに定位する歌を強調し、伴奏を抑圧することが望まれる。
複数の音源が混合された信号から目的とする音源信号を抽出、もしくは強調する方法には以下のようなものがある。
【０００３】
一つ目は、周期構造を持つ音源を周波数領域において基本周波数を推定し、調波構造を抜き出すことにより、同一音源と推定する成分を再合成する方法である。
しかしこの一つ目の方法では、音源は調波構造に限定され、さらに音源の調波構造の推定には必ず誤差が生じるため、それが雑音として知覚されることにより、目的音源信号の抽出精度が悪くなる問題があった。
二つ目は、周波数特性の変動が比較的ゆるやかな定常的な雑音源と周波数特性が定常的音源よりも頻繁に変動する例えば音声のような目的信号音源が重畳された信号から、後者の目的音源信号を抽出、もしくは強調する方法であり、スペクトラルサブトラクション法等が代表例である。これは混合された信号を周波数領域において、まず目的音源信号が重畳されていない部分、すなわち雑音源信号を推定し、雑音源信号の平均的な周波数特性を記憶する。そして、周波数領域において、雑音源信号と目的音源信号が重畳された信号から記憶された雑音源の平均的な周波数構造を減算することで目的音源信号を強調、もしくは抽出する方法である。
【０００４】
しかしこの二つ目の方法では、雑音源信号が定常であることが必要で、歌の伴奏のように非定常な音源の伴奏のみの個所の推定、及び抑圧は困難であった。
三つ目は、ステレオ信号の左右差を利用し、左右差の小さい成分を抽出することで、中央に定位する音源信号を強調する方法である（特願２０００−２６８４４２、特願２００１−０３８３４４）。一つ目、二つ目の方法と違い、音源の調波性や定常性には依存しないで中央付近に定位する音源信号を強調できる。
しかしながら、前述の発明（特願２０００−２６８４４２、特願２００１−０３８３４４）は、中央以外に定位する音源信号を抑圧する量を受聴音の好みなどで所望な量に調整することは可能であったが、その調整は音量を調整するのと同様に、利用者自身の操作が必要であった。音楽の場合、伴奏と歌の大きさの差は楽曲によって様々である。その差に応じて、抑圧する量が制御できることが望ましい。また、歌の合間においては、必ずしもセンターに強調すべきメイン楽器が定位しているとは限らない。その場合は、抑圧を解除することが必要となるであろう。音楽を聴いている合間の頻繁な操作は鑑賞の妨げになるので、これらの調整は、システム側で自動に行われることが望ましい。
【０００５】
【発明が解決しようとする課題】
本発明の目的は、ステレオ音響信号から中央付近に定位する音源信号（チャネル間レベル差及び位相差が所定の閾値より小さい音源信号）を強調する技術において、中央付近に定位する音源信号と中央以外に定位する音源信号（チャネル間レベル差及び位相差が所定の閾値より大きい音源信号）の大きさの差を計算し、その結果に応じて、中央以外に定位する音源信号を抑圧すべき量を自動的に調整することを可能とすることである。
【０００６】
【課題を解決するための手段】
この発明ではステレオ信号を各チャネル毎に複数の周波数帯域に分割する周波数帯域分割処理と、各周波数帯域毎にチャネル間レベル差及び位相差が所定の閾値より小さい音源信号と、チャネル間レベル差及び位相差が所定の閾値より大きい音源信号とを判別する類似度判定処理と、前記チャネル間レベル差及び位相差が所定の閾値より小さい音源信号のパワーと前記チャネル間レベル差及び位相差が所定の閾値より大きい音源信号のパワーを推定するパワー計算処理と、前記パワー計算処理で得られた各音源信号のパワーの比を算出するパワー比計算処理と、前記パワー比計算処理で得られたパワー比に応じて前記チャネル間レベル差及び位相差が所定の閾値より大きい音源信号を抑圧する抑圧制御処理とを実行するステレオ音響信号処理方法を提案する。
【０００７】
この発明では更に前記ステレオ音響信号処理方法において、前記チャネル間レベル差及び位相差が所定の閾値より大きい音源信号の抑圧制御は前記パワー比に基づいて前記周波数帯域に分割された各帯域毎に減衰係数を算出し、該減衰係数で各帯域成分に重み付けして実行するステレオ音響信号処理方法を提案する。
この発明では更に前記ステレオ音響信号処理方法において、前記チャネル間レベル差及びチャネル間位相差が所定の閾値より大きい音源信号の抑圧量は、前記パワー比に基づいて一意に決まる量に予め設定しておくステレオ音響信号処理方法を提案する。
【０００８】
この発明では更にステレオ信号を各チャネル毎に複数の周波数帯域に分割する周波数帯域分割部と、各周波数帯域毎にチャネル間レベル差及び位相差が所定の閾値より小さい音源信号と、チャネル間レベル差及び位相差が所定の閾値より大きい音源信号とを判別する類似度判定部と、前記チャネル間レベル差及び位相差が所定の閾値より小さい音源信号のパワーと前記チャネル間レベル差及び位相差が所定の閾値より大きい音源信号のパワーを推定するパワー計算部と、前記パワー計算処理で得られた各音源信号のパワーの比を算出するパワー比計算部と、前記パワー比計算処理で得られたパワー比に応じて前記チャネル間レベル差及び位相差が所定の閾値より大きい音源信号を抑圧する抑圧制御部とを有するステレオ音響信号処理装置を提案する。
【０００９】
この発明では更にコンピュータが読み取り可能な符号によって記述され、前記請求項１乃至３記載のステレオ音響信号処理方法の何れかをコンピュータに実行させるステレオ音響信号処理プログラムを提案する。
作用
入力されたステレオ信号をチャネルごとに複数の周波数成分に分割する。そして、各周波数成分ごとにチャネル間の信号成分の類似度をその振幅比や位相差によって決定する。そしてまず、類似度の高い周波数成分の合算パワーと、その残り、即ち類似度の低い周波数成分の合算パワーの比を計算する。次にそのパワー比に応じて、類似度の高い周波数成分に比べて類似度の低い周波数成分が小さくなるような一つ目の減衰係数を得る。さらに、類似度の低い周波数成分の時間平均値を計算し、その値と、前記パワー比から二つ目の減衰係数を得る。また、この二つの減衰係数から実際に各成分に乗算する減衰係数を選択して、各周波数成分に乗算、各チャネルごとに再合成して出力すれば、中央付近に定位する音源信号の中央付近以外に定位する音源信号からの相対的な大きさに応じて中央に定位する音源が強調される。
実施例
図１は本発明の一実施例を示すブロック図である。ステレオ信号入力部１０２に入力される音源信号は、強調したい目的音源信号が左右チャネル間のレベル差及び位相差が小さい状況に収音されているステレオ信号であれば本発明は有効である。
【００１０】
ステレオ信号入力部１０２に入力されたステレオ信号は左右のチャネルごとに処理される。以下にその処理方法の詳細を述べる。
左チャネルの信号ｓＬは、左チャネル周波数帯域分割部１０３によって周波数領域に変換される。同様に右チャネルの信号ｓＲは、右チャネル周波数帯域分割部１０４によって周波数領域に変換される。ここで帯域分割数をＮとする。左チャネルにおいて帯域分割された信号成分を低い周波数から順にｆＬ（０），ｆＬ（１），ｆＬ（２）…ｆＬ（ｋ）…ｆＬ（Ｎ−１）とする。右チャネルにおいて帯域分割された信号成分を低い周波数から順にｆＲ（０），ｆＲ（１），ｆＲ（２）…ｆＲ（ｋ）…ｆＲ（Ｎ−１）とする。類似度計算部１０５において、ｆＬ（ｋ），ｆＲ（ｋ）は、同じ周波数帯域ごとに類似度ａ（０），ａ（１），ａ（２）…ａ（ｋ）…ａ（Ｎ−１）が計算される。ステレオ信号において、中央付近に定位する音源信号は左右の信号が一致、もしくはその差違が非常に小さい。これは即ち、周波数領域に変換した後も全ての周波数帯域において、左右の成分の差違は小さいことを意味する。このことから類似度は、ｋが等しい、即ち同じ周波数帯域間で、ｆＬ（ｋ）とｆＲ（ｋ）の差違で決定することが出来る。
【００１１】
次に類似度ａ（ｋ）の計算方法について、左右チャネル周波数帯域分割部１０３，１０４が短時間フーリエ変換（以下、ＦＦＴと略する）である場合について述べる。ＦＦＴで周波数分割した場合、ｆＬ（ｋ）およびｆＲ（ｋ）は一般に複素数となり、位相を考慮する必要がある。そこで、各成分の大きさの比と位相差によって二つの類似度を計算する。つまり、チャネル間レベル比に基づく尺度を示す類似度をａｉ（ｋ）、チャネル間位相差に基づく尺度を示す類似度をａｐ（ｋ）とすると、
ai(k)＝｜ｆＲ(k）｜／｜ｆＬ(k）｜ （｜ｆＲ(k）｜＜＝｜ｆＬ(k）｜の時）
＝｜ｆＬ(k）｜／｜ｆＲ(k）｜ （｜ｆＬ(k）｜＜｜ｆＲ(k）｜の時）(1)
ここで｜Ａ｜は、Ａ（複素数）の大きさを表す。
【００１２】
ap(k)＝cosθ＝Re(ｆＲ(k）ｆＬ(k）＊)／(｜ｆＬ(k）｜｜ｆＲ(k）｜) (2)ここでθはｆＬ（ｋ）とｆＲ（ｋ）の位相差（ただし、０＜＝｜θ｜＜＝π）を表す。また、Ａ＊は、Ａ（複素数）の共役複素数、Ｒｅ（Ａ）は、Ａ（複素数）の実数部を表す。
類似度ａｉ（ｋ），ａｐ（ｋ）はセンターパワー／非センターパワー計算部１１４及び左右差減衰係数計算部１０６及びＳＳ減衰係数計算部１０７に送られる。
【００１３】
まず、センターパワー／非センターパワー計算部１１４における、センターパワーと非センターパワーの比ｃｂの計算方法とｃｂに基づいて最低減衰係数計算部１１５で計算されるＧｉｍｉｎ（ｃｂ），Ｇｐｍｉｎ（ｃｂ）及びＧｓｍｉｎ（ｃｂ）の計算方法について順次説明する。
上記（１）式から明らかなように、類似度ａｉ（ｋ）は、ｆＬ（ｋ）とｆＲ（ｋ）の大きさが等しい時に１になり、それ以外は１より小さい値になる。ｃｂを計算するためのセンターと非センターの類似度ａｉ（ｋ）に対する閾値をａｉｔｈｄ（ｋ）として、１以下で１に近い値に設定し、中央付近に定位する音源とそれ以外を分ける閾値として、おおよそ０．３〜０．５程度が適当な値である。
【００１４】
上記（２）式から明らかなように、類似度ａｐ（ｋ）は、ｆＬ（ｋ）とｆＲ（ｋ）の位相が一致したときに１になり、それ以外は１より小さい値であり、位相差θがπ／２ラジアンのときに０，θがπラジアンの時、すなわち逆相の時に−１で最小である。少なくとも中央付近に定位する音源信号に関しては位相差は０に近く、よってａｐ（ｋ）は１に近い値であることが期待できる。ｃｂを計算するためのセンターと非センターの類似度ａｐ（ｋ）に対する閾値をａｐｔｈｄ（ｋ）として、１以下で１に近い値に設定するが、中央付近に定位する音源とそれ以外を分ける閾値として、おおよそ０．７〜０．９程度が適当な値である。
【００１５】
各時刻（周波数分割する単位フレーム）毎に、センター音パワーｃｐｗ及び非センター音パワーｂｐｗが、下記のように計算される
cpw=Σk=m,n(｜ｆＲ(k）｜＊｜ｆＲ(k）｜＋｜ｆＬ(k）｜＊｜ｆＬ(k）｜）
（ai(k)＞＝aithd(k)かつap(k)＞＝apthd(k)のとき） (3)
bpw=Σk=m,n(｜ｆＲ(k）｜＊｜ｆＲ(k）｜＋｜ｆＬ(k）｜＊｜ｆＬ(k）｜）
（ai(k)＜aithd(k)またはap(k)＜apthd(k)のとき） (4)
Σk=m,n Ａ（ｋ）は、ｋをｍからｎまで、Ａ（ｋ）を加算する、即ち、
Ａ(m)＋Ａ(m+1)＋Ａ(m+2)＋……＋Ａ(n-1)＋Ａ(n)
ことを表す。
【００１６】
ｍ，ｎは、０以上Ｎ−１の自然数で、ｍ＜＝ｎである。これらの値は、目的に応じてパワー計算時の帯域を制限する効果がある。歌の入った楽曲では、歌が中央に定位するのが一般的だが、歌の他に、ベースギターやベースドラム等も中央に定位させることが多い。歌を強調することが目的である場合、歌の中心帯域におけるセンター音パワーと非センター音パワーを知りたい。この場合ｍは、おおよそ１００Ｈｚ〜２００Ｈｚ、ｎは３ｋＨｚ〜４ｋＨｚ程度までの帯域に対応する値にすることが適当である。
【００１７】
センター音パワーｃｐｗ及び非センター音パワーｂｐｗより、ｃｂが以下のように計算出来る。
ｃｂ＝ｃｐｗ／ｂｐｗ （５）
ｃｂは、信号と雑音の比を表すＳＮ比に対応する。ここでは、中央付近に定位する音が（所望の）信号であり、非センター音が雑音ということになる。
次に、ｃｂを使って、最低減衰係数計算部１１５においてＧｉｍｉｎ（ｃｂ），Ｇｐｍｉｎ（ｃｂ），Ｇｓｍｉｎ（ｃｂ）を計算する方法の一例を説明する。Ｇｉｍｉｎ（ｃｂ）は、左右差減衰係数計算部１０６において計算される大きさの比による減衰係数ｇｉ（ｋ）の最低値である。Ｇｐｍｉｎ（ｃｂ）は、左右差減衰係数計算部１０６において計算される位相差による減衰係数ｇｐ（ｉ）の最低値である。Ｇｓｍｉｎ（ｃｂ）は、ＳＳ減衰係数計算部１０７で計算されるＳＳ減衰係数ｇｓ（ｋ）の最低値である。ｇｉ（ｋ），ｇｐ（ｋ），ｇｓ（ｋ）の計算方法については、後述する。
【００１８】
歌がセンター付近に定位した楽曲でのｃｂとＧｉｍｉｎ（ｃｂ），Ｇｐｍｉｎ（ｃｂ），Ｇｓｍｉｎ（ｃｂ）の関係の一例を説明する。
ｃｂが大きいほど、センター定位音は大きく、ｃｂが小さいとセンター定位音が小さい。ｃｂが大きくなるにつれて、例えば伴奏に比べて歌が大きいことを意味するから、その場合はＧｉｍｉｎ（ｃｂ），Ｇｐｍｉｎ（ｃｂ），Ｇｓｍｉｎ（ｃｂ）を大きく、１に近い値にする。ｃｂが小さくなるにつれて、伴奏に比べて歌が小さくなることを意味するから、その場合はＧｉｍｉｎ（ｃｂ），Ｇｐｍｉｎ（ｃｂ），Ｇｓｍｉｎ（ｃｂ）を小さくしていく。センター定位音がない、即ち歌の合間などの場合、非センター音、即ち伴奏を抑圧することは意味がないばかりか、不自然さを招く。よって、ある程度ｃｂが小さくなったら、またＧｉｍｉｎ（ｃｂ），Ｇｐｍｉｎ（ｃｂ），Ｇｓｍｉｎ（ｃｂ）を大きくしていく。この関係を図２に示す。あるいは、センター音が存在する場合は、その大きさに関わらず、一定の抑圧をする場合は、図３のようにすれば良い。図２、３において、ａ１は概ね−６ｄＢ〜−３ｄＢ程度、ａ２は−３ｄＢから０ｄＢ程度、ａ３は３ｄＢ〜６ｄＢ程度の値である。また、ｂ１は、０ｄＢより小さく、最低−２０ｄＢ程度の値である。ｃｂの値から実際にＧｉｍｉｎ（ｃｂ），Ｇｐｍｉｎ（ｃｂ），Ｇｓｍｉｎ（ｃｂ）を求めるには、図２や図３のような関係を満たす関数式で計算しても、いくつかに細分割してあらかじめ記憶してあるテーブルを参照しても構わない。図２、図３に示すようなｃｂに応じた設定は、受聴者の好み等に応じてあらかじめ設定しておくものである。その設定方法としては、例えば受聴者個々で、事前にｃｂの大きさの異なるサンプル曲で、好みのＧｉｍｉｎ（ｃｂ），Ｇｐｍｉｎ（ｃｂ），Ｇｓｍｉｎ（ｃｂ）を選択してもらい、その値から間を補間し、図２や図３のような関係を作成し、記憶しておけばよい。
【００１９】
なお、（５）式で計算されるｃｂは、刻々と周波数分析するフレーム単位で変化する。この値でそのままＧｉｍｉｎ（ｃｂ），Ｇｐｍｉｎ（ｃｂ），Ｇｓｍｉｎ（ｃｂ）を計算すると、抑圧量の瞬時の変動幅が大きくなり、出力音が不自然になることがある。その場合、必要に応じて、ｃｂの長時間平均をして変化を滑らかにすることも有効である。ｃｂの長時間平均の方法には、移動平均を用いる方法がある。また、Ｇｉｍｉｎ（ｃｂ），Ｇｐｍｉｎ（ｃｂ），Ｇｓｍｉｎ（ｃｂ）を求めた後、その値を平滑化しても良い。またこの二つの方法を併用しても良い。
【００２０】
次に、左右差減衰係数計算部１０６で行なわれる左右差減衰係数ｇｄ（ｋ）の計算方法について説明する。
まず大きさの比による減衰係数ｇｉ（ｋ）を計算する。（１）式から明らかなように、類似度ａｉ（ｋ）は、ｆＬ（ｋ）とｆＲ（ｋ）の大きさが等しい時に１になり、それ以外は１より小さい値になる。したがって、大きさの比による類似度ａｉ（ｋ）を引数とする関数において、単調増加の関数の出力をｇｉ（ｋ）に選べばよい。図４にその一例を示す。横軸は２０＊１ｏｇ10（ａｉ（ｋ））、縦軸は２０＊１ｏｇ10（ｇｉ（ｋ））を示している。中央に定位する音源信号だけであるならば、全てのｋに対してａｉ（ｋ）は１（２０＊１ｏｇ10（ａｉ（ｋ）＝０）になるが、その他に定位する信号が重畳されることにより、中央定位成分が支配的な帯域であっても１よりもやや小さくなることがある。
【００２１】
よって図４のように適当な幅εを持たせることが有効である。Ｇｉｍｉｎ（ｃｂ）は、非中央定位成分の抑圧量に相当し、前述のように計算され、例えば歌と伴奏のバランスに応じて、伴奏の大きさを調整することが可能となる。図４においてβをεと一致させても良いし、一致させなくても良い。βをεに近づけると非中央定位成分は等しくＧｉｍｉｎ（ｃｂ）の減衰量で減衰されることが期待できるが、中央定位音源信号の支配的な帯域が誤って抑圧された場合の誤差の影響も大きくなる。βをεから離すことで中央定位音源信号が支配的な帯域を誤って抑圧した場合の誤差の影響を小さく出来るが、定位する位置によって抑圧量が変ってしまい、歌の伴奏に例えるならば、伴奏楽器間の音量のバランスが変ってしまうことなども予想される。よって、中央定位音源信号の音質などの変化が無視できる範囲でβはεに近い値（０＞ε＞β）にすることが望ましい。εは概ね０ｄＢより大きく最大６ｄＢ程度、βは、最大１２ｄＢ程度である。
【００２２】
次に位相差による減衰係数ｇｐ（ｋ）の計算方法について説明する。（２）式から明らかなように、類似度ａｐ（ｋ）は、ｆＬ（ｋ）とｆＲ（ｋ）の位相が一致したときに１になり、それ以外は１より小さい値であり、位相差θがπ／２ラジアンのときに０，θがπラジアンの時、すなわち逆相の時に−１で最小である。一般に位相差による定位知覚は周波数帯域にも依存し、大きさの比ほど単純ではない。しかし、少なくとも中央に定位する音源信号に関しては位相差は０に近く、よってａｐ（ｋ）は１に近い値であることが期待できる。このことから位相差による減衰係数ｇｐ（ｋ）は例えば図５に示すように計算すれば良い。図５において、横軸はａｐ（ｋ）、縦軸は２０＊ｌｏｇ10（ｇｐ（ｋ））を表す。中央に定位する音源信号だけであるならば、全てのｋに対してａｐ（ｋ）は１になるが、その他の雑音信号が重畳されることにより、中央定位音源信号が支配的な帯域であっても１よりもやや小さくなることがある。よって図５のように適当な幅ζを持たせることが有効である。Ｇｐｍｉｎ（ｃｓ）は、非中央定位成分の抑圧量に相当し、前述のように計算され、例えば歌と伴奏のバランスに応じて、伴奏の大きさを調整することが可能となる。図５においてαをζと一致させても良いし、一致させなくても良い。αをζに近づけると非中央定位成分は等しくＧｐｍｉｎ（ｃｓ）の減衰量で減衰されることが期待できるが、中央定位音源信号の支配的な帯域が誤って抑圧された場合の誤差も大きくなる。αをζから離すことで中央定位音源信号が支配的な帯域を誤って抑圧された場合の誤差の影響を小さく出来るが、位相差による抑圧量の違いは周波数帯域によってその影響度が異なるため、歌の伴奏に例えるならば、伴奏楽器の音量のバランスだけではなく音色などが変ってしまうことなどが予想される。よって、中央定位音源信号の変化が無視できる範囲でαはζに近い値（０＞ζ＞α）にすることが望ましい。ζは０．９〜０．８程度で最低で０．５程度、αは最低で０．０程度である。
【００２３】
次に二つの減衰係数ｇｉ（ｋ）とｇｐ（ｋ）から左右差減衰係数ｇｄ（ｋ）を計算する方法について述べる。適当な距離を離した二つのマイクロホンで比較的マイクロホンから距離が近い複数の音源信号を収音したステレオ信号が入力信号である場合には、ステレオ再生における定位は左右のマイクロホンに入ってくる信号の位相差と大きさの比（レベル差）に依存する。低い周波数においてはレベル差はつきにくく、位相差が大きく影響する。高い周波数では、大きさの比が大きく影響する。よって、例えば周波数帯域を二つに分けてそれよりも低い周波数においてはｇｉ（ｋ）を、高い周波数においてはｇｐ（ｋ）を採用することが考えられる。しかしながら、壁に囲まれた残響のある部屋において、マイクロホンから離れた位置に存在する音源からの信号は一般に左右のレベル差はほとんどなく、逆に位相が左右のマイクロホンでランダムになるため（２）式の値が０に近くなる。この場合は全ての周波数において優先的にｇｐ（ｋ）を使うことが望ましい。さらにポピュラー音楽等の場合は、直接マイクロホンで収音するだけでなく、左右チャネル信号に大きさの比や時間差、あるいは位相の時間的な変化を人工的に付加することで自然界には存在しない定位を得ることが普通であり、もっと複雑になる。以上のように様々なステレオ入力信号に応じて、最適なｇｄ（ｋ）の選択をすることは非常に困難である。しかしながら、どの場合も少なくとも中央に定位する音源信号の大きさの比と位相差は共に小さい。そこで、減衰係数ｇｄ（ｋ）として、ｇｉ（ｋ）とｇｐ（ｋ）の小さいほうを採用することにする。即ち、
ｇｄ（ｋ）＝ｍｉｎ（ｇｉ（ｋ），ｇｐ（ｋ）） （６）
ここで、ｍｉｎ（Ａ，Ｂ）はＡとＢの何れかの小さいほうを出力することを意味する。つまり、どんなステレオ入力信号であっても、大きさか位相の少なくともどちらか一方が左右で異なる場合は抑圧することになり、その結果、中央に定位する音源信号を強調することが可能となる。ここでの抑圧制御は短時間（フレーム）毎のレベル比を抑圧制御の手がかりとしているため、短時間毎の非定常的非中心音源の抑圧に貢献する。
【００２４】
ｃｂとＧｉｍｉｎ（ｃｂ），Ｇｐｍｉｎ（ｃｂ）の関係は、同じであっても構わないが、それは必須ではない。例えば、Ｇｐｍｉｎ（ｃｂ）をｃｂに関わらず、常に１にしておけば、結果的に、位相差情報は使用せず、レベル差情報だけで、非センター音を抑圧をすることになる。ポピュラー音楽等ではしばしば特殊な音響処理によって、位相が時間的に回転を繰り返しているような場合があり、瞬時の位相情報で抑圧をすると、不自然な異音が発生することがある。その場合、Ｇｐｍｉｎ（ｃｂ）をｃｂに関わらず、常に１にしておけば良い。
【００２５】
次にＳＳ減衰係数ｇｓ（ｋ）の計算方法について述べる。
まず、非中央定位成分の時間平均を計算する。周波数分析のフレーム長単位の各時刻における周波数成分の左右の平均を｜ｆＭ（ｋ）｜として、それらのうち類似度がレベル差類似度ａｉ（ｋ）、位相差類似度ａｐ（ｋ）共に小さい成分を抽出し、｜ｆＮ（ｋ）｜とする。次に｜ｆＮ（ｋ）｜の時間平均を取り、その値を｜ｆＡ（ｋ）｜とする。時間平均の方法には過去数時刻の｜ｆＮ（ｋ）｜を記憶しておき、その移動平均を取る方法、その際、最近のフレームに大きな重みづけをする方法、忘却係数を用いる方法など各種考えられるが、どの方法を用いても本発明の効果には変わりはない。
【００２６】
次に｜ｆＡ（ｋ）｜からＳＳ減衰係数ｇｓ（ｋ）を算出する一例について述べる。｜ｆＡ（ｋ）｜は、センターに定位しない成分の時間平均であり、スペクトラルサブトラクション法による雑音成分に相当するから、ｇｓ（ｋ）は例えば下記のように求めることが出来る。

ｇｓ（ｋ）＞１のとき、 ｇｓ（ｋ）＝１
ｇｓ（ｋ）＜Ｇｓｍｉｎ（ｃｂ）のとき、ｇｓ（ｋ）＝Ｇｓｍｉｎ（ｃｂ）
ここで、αは消し残りを防ぐための適当な大きさの重みであり、１〜２程度の値が適当である。Ｇｓｍｉｎ（ｂ）は、前述の方法で計算され、ｇｓ（ｋ）による非中央定位成分の最大抑圧量に相当し、例えば歌と伴奏のバランスに応じて、伴奏の大きさを調整することが可能となる。ここでの抑圧制御は長時間平均レベルに基づくため、定常的非中心音源の抑圧に貢献する。
【００２７】
次に、左右差減衰係数ｇｄ（ｋ）とＳＳ減衰係数ｇｓ（ｋ）から最終的にｆＬ（ｋ），ｆＲ（ｋ）に乗算する減衰係数ｇ（ｋ）を算出する。各時刻でｇｄ（ｋ）が小さい時、それは中央成分ではないことを意味するから抑圧したい。ｇｄ（ｋ）が大きく（１に近く）、一方ｇｓ（ｋ）が小さい成分は定常的に中央成分ではないことを意味するから、その成分も抑圧したい。よってどちらか小さいほうを減衰係数として選べばよい。最小値選択部１０８はその選択を行なう。
ｇ（ｋ）＝ｍｉｎ（ｇｄ（ｋ），ｇｓ（ｋ）） （８）
ｃｂとＧｉｍｉｎ（ｃｂ），Ｇｐｍｉｎ（ｃｂ）の関係と、Ｇｓｍｉｎ（ｃｂ）との関係は、同じであっても構わないが、それは必須ではない。例えば、Ｇｐｍｉｎ（ｃｂ），Ｇｉｍｉｎ（ｃｂ）ともにｃｂに関わらず、常に１にしておけば、結果的に、瞬時の左右差情報を使用せずに、スペクトラルサブトラクションのように、平均的に、非センター音を抑圧をすることを意味する。これにより、非センター音の中で、比較的時間変動の少ない定常的な成分がより強く抑圧されるため、例えば、ピアノやアコースティックギター等の伴奏のように変動の大きな非定常な音源信号の成分は抑圧されずに残ってしまいやすい。しかし逆に、強調すべき歌は比較的非定常であるから、瞬時の左右差で非センター音を抑圧するより、歌の信号の劣化は少ないという利点がある。
【００２８】
上記のように計算された減衰係数ｇ（ｋ）は図１にあるように各チャネル各周波数帯域のｆＬ（ｋ），ｆＲ（ｋ）に乗算される。同じ帯域ｋにおいて左右のチャネルに同じ減衰係数ｇ（ｋ）を乗算することで、中央に定位する音源信号以外の音源信号を定位を維持したまま抑圧することが可能となる。ｇ（ｋ）を乗算した信号は、ｆＬ（ｋ）は左チャネル音源信号合成部１０９で再合成、時間波形ｓＬ′に変換される。ｆＲ（ｋ）は右チャネル音源信号合成部１１０で再合成、時間波形ｓＲ′に変換される。ｓＬ′，ｓＲ′はステレオ信号出力部１１１から、ステレオラウドスピーカ１１２やステレオヘッドホン１１３に送られる。
【００２９】
以上の処理により、ステレオ音響信号のセンターに定位する音源信号を強調する際、センター定位音と非センター定位音のバランスに応じた強調が可能となる。
上述した各処理はコンピュータ上において、コンピュータが読み取り可能な符号によって記述されているプログラムを実行することにより実現される。プログラムはＣＤ等の記録媒体もしくは通信回線を経由してコンピュータにダウンロードされインストールしてＣＰＵ等の演算手段でしてもよい。
【００３０】
【発明の効果】
以上の説明のように本発明によれば、ステレオ音響信号から中央に定位する音源信号をステレオ音響信号の中央に定位する音源信号とその他の音源信号のレベル差に応じて強調することが、可能となり、以下のような効果が期待できる。
難聴者等の受聴者が市販の音楽ソースを受聴する際、中央に定位する主たる音源信号である歌とそれ以外の伴奏の音量バランスを、楽曲間の歌の大小に応じて自動的に調整することが可能となり、あらかじめ、楽曲間の歌の大小に応じた受聴者の好み等による音量バランスを設定しておけば、鑑賞中は、自動的にその調整がなされ、調整にわずらわせることなく、音楽をより良く楽しむことが期待できる。
【図面の簡単な説明】
【図１】この発明によるステレオ音響信号処理装置の一実施例を示すブロック図。
【図２】本発明で用いる抑圧最低量（Ｇｉｍｉｎ（ｃｂ），Ｇｐｍｉｎ（ｃｂ），Ｇｓｍｉｎ（ｃｂ））とｃｂとの関係を示すグラフ。
【図３】本発明で用いる抑圧最低量（Ｇｉｍｉｎ（ｃｂ），Ｇｐｍｉｎ（ｃｂ），Ｇｓｍｉｎ（ｃｂ））とｃｂとの関係を示すグラフ。
【図４】この発明により中央定位音源を強調する時のａｉ（ｋ）とｇｉ（ｋ）の関係を示すグラフ。
【図５】この発明により中央定位音源を強調する時のａｐ（ｋ）とｇｐ（ｋ）の関係を示すグラフ。
【符号の説明】
１０２ ステレオ信号入力部
１０３ 左チャネル周波数帯域分割部
１０４ 右チャネル周波数帯域分割部
１０５ 類似度計算部
１０６ 左右差減衰係数計算部
１０７ ＳＳ減衰係数計算部
１０８ 最小値選択部
１０９ 左チャネル音源信号合成部
１１０ 右チャネル音源信号合成部
１１１ ステレオ信号出力部
１１２ ステレオラウドスピーカ
１１３ ステレオヘッドホン
１１４ センターパワー／非センターパワー計算部
１１５ 最低減衰係数計算部

Claims (5)

1. ステレオ信号を各チャネル毎に複数の周波数帯域に分割する周波数帯域分割処理と、
   各周波数帯域毎にチャネル間レベル差及び位相差が所定の閾値より小さい音源信号と、チャネル間レベル差及び位相差が所定の閾値より大きい音源信号とを判別する類似度判定処理と、
   前記チャネル間レベル差及び位相差が所定の閾値より小さい音源信号のパワーと前記チャネル間レベル差及び位相差が所定の閾値より大きい音源信号のパワーを推定するパワー計算処理と、
   前記パワー計算処理で得られた各音源信号のパワーの比を算出するパワー比計算処理と、
   前記パワー比計算処理で得られたパワー比に応じて前記チャネル間レベル差及び位相差が所定の閾値より大きい音源信号を抑圧する抑圧制御処理と、
   を実行することを特徴とするステレオ音響信号処理方法。
2. 請求項１記載のステレオ音響信号処理方法において、前記チャネル間レベル差及び位相差が所定の閾値より大きい音源信号の抑圧制御は前記パワー比に基づいて前記周波数帯域に分割された各帯域毎に減衰係数を算出し、該減衰係数で各帯域成分に重み付けして実行することを特徴とするステレオ音響信号処理方法。
3. 請求項１記載のステレオ音響信号処理方法において、前記チャネル間レベル差及びチャネル間位相差が所定の閾値より大きい音源信号の抑圧量は、前記パワー比に基づいて一意に決まる量に予め設定しておくことを特徴とするステレオ音響信号処理方法。
4. ステレオ信号を各チャネル毎に複数の周波数帯域に分割する周波数帯域分割部と、
   各周波数帯域毎にチャネル間レベル差及び位相差が所定の閾値より小さい音源信号と、チャネル間レベル差及び位相差が所定の閾値より大きい音源信号とを判別する類似度判定部と、
   前記チャネル間レベル差及び位相差が所定の閾値より小さい音源信号のパワーと前記チャネル間レベル差及び位相差が所定の閾値より大きい音源信号のパワーを推定するパワー計算部と、
   前記パワー計算処理で得られた各音源信号のパワーの比を算出するパワー比計算部と、
   前記パワー比計算処理で得られたパワー比に応じて前記チャネル間レベル差及び位相差が所定の閾値より大きい音源信号を抑圧する抑圧制御部と、
   を有することを特徴とするステレオ音響信号処理装置。
5. コンピュータが読み取り可能な符号によって記述され、前記請求項１乃至３記載のステレオ音響信号処理方法の何れかをコンピュータに実行させるステレオ音響信号処理プログラム。

Images