JP3755739B2

JP3755739B2 - ステレオ音響信号処理方法及び装置並びにプログラム及び記録媒体

Info

Publication number: JP3755739B2
Application number: JP2001038344A
Authority: JP
Inventors: 昌英水島; 真理子青木; 正人三好
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2001-02-15
Filing date: 2001-02-15
Publication date: 2006-03-15
Anticipated expiration: 2021-02-15
Also published as: JP2002247699A

Description

【０００１】
【発明の属する技術分野】
この発明は、音声、楽音、各種環境音源などの複数の音源から発せられた複数の音響信号が混ざった２チャネルステレオ信号において、中央付近に定位する音源信号を強調する方法に関し、ステレオ音楽ソースの受聴者の好みに応じた再生や、環境騒音下で目的とする音声だけを受聴する時などに使用される。
【０００２】
【従来の技術】
難聴者は、複数の音源が存在する中から目的とする音源信号を聞き取る能力（いわゆるカクテルパーティー効果と呼ばれる）が劣っているといわれている。このため、健聴者を対象に作成された音楽信号では、しばしば伴奏が歌よりも大きく感じられることが指摘されている。この場合には中央に定位する歌を強調し、伴奏を抑圧することが望まれる。また、喫茶店等において、ＢＧＭや周囲の会話等で喧噪音が大きな空間では、正面に座った目的話者の声も聞き取りづらくなる。この場合には、正面に座った話者の声のみを強調し、周囲の喧騒音を抑圧することが望まれる。
【０００３】
複数の音源が混合された信号から目的とする音源信号を抽出、もしくは強調する方法には以下のようなものがある。
一つ目は、周期構造を持つ音源を周波数領域において基本周波数を推定し、調波構造を抜き出すことにより、同一音源を推定する成分を再合成する方法である。
しかしこの一つ目の方法では、音源の調波構造に限定され、さらに音源の調波構造の推定には必ず誤差が生じるため、それが雑音として知覚されることにより、目的音源信号の抽出精度が悪くなる問題があった。
【０００４】
二つ目は、周波数特性の変動が比較的ゆるやかな定常的な雑音源と周波数特性が定常的音源よりも頻繁に変動する例えば音声のような目的信号音源が重畳された信号から、後者の目的音源信号を抽出、もしくは強調する方法であり、スペクトラルサブトラクション(SpectralSubtraction)法等が代表例である。これは背景雑音が重畳された入力信号をフーリエ変換することにより周波数領域に変換し、まず目的音源信号が重畳されていない部分、すなわち雑音源信号を推定し、雑音源信号の平均的な周波数特性を記憶する。そして、周波数領域において、雑音源信号と目的音源信号が重畳された信号から記憶された雑音源の平均的な周波数特性に基づく周波数構造を減算することで目的音源信号を強調、もしくは抽出する方法である。しかしこの二つ目の方法では、雑音源信号が定常であることが必要で、歌の伴奏のように非定常な音源の伴奏のみの個所の推定、及び抑圧は困難であった。
【０００５】
三つ目は、ステレオ信号の左右差を利用し、左右差の小さい成分を抽出することで、中央に定位する音源信号を強調する方法である（特願2000-268442号）。一つ目、二つ目の方法と違い、音源の調波性や定常性には依存しないで中央付近に定位する音源信号を強調できる。しかしながら、強調の度合いを強くしていくと、中央に定位しない音源の成分のうち左右差の小さい成分が消し残り、再合成後、それが中央付近にキュルキュルもしくはギュルギュルといった異音として残ってしまうという問題があった。
【０００６】
【発明が解決しようとする課題】
本発明は、ステレオ音響信号から中央付近に定位する音源信号を強調する技術において、原信号の定位を損なわず、また異音を最小限に抑え、高精度に中央付近に定位する音源信号だけを強調するステレオ音響信号処理方法、装置を提供することである。
【０００７】
【課題を解決するための手段】
上記課題を解決するために、この発明のステレオ音響信号処理方法は、ステレオ音響信号を入力する手段と、二つのチャネル信号を各チャネルごとに複数の周波数帯域成分に分割する手段と、各周波数帯域成分ごとにチャネル間の類似度を計算する手段と、類似度などから中央に定位する音源信号を強調するための一つ目の減衰係数を計算する手段と、類似度などから中央付近に定位する音源信号以外の信号成分を推定する手段と、中央付近に定位する音源信号以外の信号の時間平均を算出する手段と、その時間平均された信号成分から中央に定位する音源信号を強調するための二つ目の減衰係数を計算する手段と、一つ目と二つ目の減衰係数から各周波数帯域成分信号に乗算する減衰係数を選択する手段と、各周波数帯域成分信号に選択された減衰係数を乗算する手段と、減衰係数を乗じた後の各チャネルごとの各周波数帯域成分信号を再合成する手段と、再合成した信号を出力する手段とを有する。
【０００８】
上記ステレオ音響信号処理方法の作用を以下に説明する。
入力されたステレオ信号をチャネルごとに複数の周波数帯域成分に分割する。そして、各周波数帯域成分ごとにチャネル間の信号成分の類似度をその振幅比や位相差などによって決定する。そしてまず、類似度の高い周波数帯域成分に比べて類似度の低い周波数帯域成分が小さくなるような一つ目の減衰係数を得る。さらに、類似度の低い周波数帯域成分の時間平均値を計算し、その値に基づいて二つ目の減衰係数を得る。この二つの減衰係数から実際に各周波数帯域成分信号に乗算する減衰係数を選択して、各成分に乗算、各チャネルごとに再合成して出力すれば、中央に定位する音源が強調される。
【０００９】
【発明の実施の形態】
図１は本発明の一実施例を示すブロック図である。
ステレオ信号入力部102に入力される音響信号は、強調したい目的音源信号が中央付近に定位するように収音されているステレオ信号であれば本発明は有効である。
ステレオ信号入力部102に入力されたステレオ信号は左右のチャネルごとに処理される。以下にその処理方法を詳細に述べる。
【００１０】
左チャネルの信号sLは、左チャネル周波数帯域分割部103によってフレームごとに周波数領域に変換される。同様に右チャネルの信号sRは、右チャネル周波数帯域分割部104によって周波数領域に変換される。ここで周波数帯域分割数をNとする。
左チャネルにおいて帯域分割された信号成分を低い周波数から順にfL(0), fL(1), fL(2),・・・, fL(k),・・・,fL(N-1)とする。右チャネルにおいて帯域分割された信号成分を低い周波数から順にfR(0), fR(1), fR(2),・・・, fR(k),・・・,fR(N-1)とする。
【００１１】
類似度計算部105において、fL(k)、fR(k)は、同じ周波数帯域ごとの類似度a(0),a(1),a(2),・・・, a(k),・・・,a(N-1)が計算される。ステレオ信号において、中央付近に定位する音源信号は左右が一致、もしくはその差違が非常に小さい。これは即ち、周波数領域に変換したのちも全ての周波数帯域において、左右の成分の差違は小さいことを意味する。このことから類似度は、kが等しい、即ち同じ周波数帯域成分間で、fL(k)とfR(k)の差違で決定することができる。
次に類似度a(k)の計算方法について、左右周波数帯域分割部103、104が短時間フーリエ変換（以下、「FFT」と略する）である場合について述べる。FFTで周波数帯域に分割した場合、fL(k)およびfR(k)は一般に複素数となり、位相を考慮する必要がある。そこで、各成分の大きさの比と位相差によって二つの類似度を計算する。大きさの比による類似度をai(k)、位相差による類似度をap(k)とすると、

ここで|A|は、A（複素数）の大きさを表す。
【００１２】
ap(k)=cosθ （２）
ここでθはfL(k)とfR(k)の位相差（ただし、0≦|θ|≦π）を表す。
類似度ai(k)、ap(k)は左右差減衰係数計算部106及びＳＳ(SpectralSubtraction)減衰係数計算部107に送られ、各々左右差減衰係数gd(k)、ＳＳ減衰係数gs(k)が計算される。
左右差減衰係数gd(k)の計算方法について説明する。
まず大きさの比による減衰係数gi(k)を計算する。（１）式から明らかなように、類似度ai(k)は、fL(k)とfR(k)の大きさが等しい時に１になり、それ以外は１より小さな値となる。したがって、大きさの比による類似度ai(k)を引数とする関数において、単調増加の関数の出力をgi(k)に選べばよい。
【００１３】
図２のその一例を示す。横軸は20log₁₀(ai(k))、縦軸は20log₁₀(gi(k))を示している。
ここで、Ai(k)=20log₁₀(ai(k)),Gi(k)=20log₁₀(gi(k))とすると、

中央に定位する音源信号だけであるならば、全てのkに対してai(k)は１（20log₁₀(ai(k))=0）になるが、その他に定位する信号が重畳されることにより、中央定位成分が支配的な帯域であっても１よりやや小さくなることがある。よって図２のように適当な幅εを持たせることが有効である。ただし、εを大きくしすぎると、本来、中央に定位しない音源信号の周波数成分（以下、「非中央定位成分」という）を残してしまい、キュルキュル、ギュルギュルという異音を発生させてしまう。この対策として、後述する第二の減衰係数gs(k)が有効である。Giminは、非中央定位成分の抑圧量に相当する。この値を変化させることで、歌と伴奏に例えるならば、歌の大きさに対する伴奏の大きさを調整することが可能となる。
【００１４】
εは左右のレベル差や位相差が僅かで中央に音を知覚させる中央定位音源信号について音質などの変化が無視できる範囲で予め聴感上で決めることが好適である。
図２においてβをεと一致させても良いし、一致させなくても良い。βをεに近づけると非中央定位成分は等しくGiminの減衰量で減衰されることが期待できるが、中央定位音源信号の支配的な帯域が誤って抑圧された場合の誤差の影響も大きくなる。βをεから離すことで中央定位音源信号が支配的な帯域を誤って抑圧した場合の誤差の影響を小さくできるが、定位する位置によって抑圧量が変わってしまい、歌の伴奏に例えるならば、伴奏楽器間の音量のバランスが変わってしまうことなども予想される。よって、中央定位音源信号の音質などの変化が無視できる範囲でβはεに近い値（０＞ε＞β）にすることが望ましい。
【００１５】
次に位相差による減衰係数gp(k)の計算方法について説明する。
（２）式から明らかなように、類似度ap(k)は、fL(k)とfR(k)の位相が一致したときに１になり、それ以外は１より小さい値であり、位相差θがπ／２ラジアンの時に0、θがπラジアンの時、すなわち逆相の時に−１で最小である。一般に位相差による定位知覚は周波数帯域にも依存し、大きさの比ほど単純ではない。しかし、少なくとも中央に定位する音源信号に関した位相差は０に近く、よってap(k)は１に近い値であることが期待できる。このことから位相差による減衰係数gp(k)は例えば図３に示すように計算すればよい。
【００１６】
図３において、横軸はap(k)、縦軸は20log₁₀(gp(k)）を表す。
ここで、Gp(k)=20log₁₀(gp(k))とすると、

中央に定位する音源信号だけであるならば、全てのkに対してap(k)は１になるが、その他の雑音信号が重畳されることにより、中央定位音源信号が支配的な帯域であっても１よりもやや小さくなることがある。よって図２のように適当な幅ζを持たせることが有効である。しかしζを大きくしすぎると、非中央定位成分の抑圧が不十分になり、前述のgi(k)算出時と同様、異音を発生させてしまうが、これも後述のgs(k)により防ぐことができる。Gpminは、非中央定位成分の抑圧量に相当する。この値を変化させることで、歌と伴奏に例えるならば、歌の大きさに対する伴奏の大きさを調整することが可能となる。図３においてαとζと一致させてもよいし、一致させなくてもよい。αをζに近づけると非中央定位成分は等しくGpminの減衰量で減衰されることが期待できるが、中央定位音源信号の支配的な帯域が誤って抑圧された場合の誤差も大きくなる。αをζから離すことで中央定位音源信号が支配的な帯域を誤って抑圧された場合の誤差を小さくできるが、位相差による抑圧量の違いは周波数帯域によってその影響度が異なるため、歌の伴奏に例えるならば、伴奏楽器の音量のバランスだけではなく音色などが変わってしまうことが予想される。よって、中央定位音源信号の変化が無視できる範囲でαはζに近い値（ζ＞α＞0）にすることが望ましい。
【００１７】
次に二つの減衰係数gi(k)とgp(k)から左右差減衰係数gd(k)を計算する方法について述べる。
適当な距離を離した二つのマイクロホンで比較的マイクロホンから距離が近い複数の音源信号を収音したステレオ信号が入力信号である場合には、ステレオ再生における定位は左右のマイクロホンに入ってくる信号の位相差と大きさのレベル比（レベル差）に依存する。低い周波数においてはレベル差はつきにくく、位相差が大きく影響する。高い周波数では、大きさの比が大きく影響する。よって、例えば周波数帯域を二つに分けて低い周波数においてはgi(k)を、高い周波数においてはgp(k)を採用することが考えられる。
【００１８】
しかしながら、壁に囲まれて残響のある部屋において、マイクロホンから離れた位置に依存する音源からの信号は一般に左右のレベル差はほとんどなく、逆に位相が左右のマイクロホンでランダムになるためap(k)の値が０に近くなる。この場合は全ての周波数において優先的にgp(k)を使うことが望ましい。さらにポピュラー音楽等の場合は、直接マイクロホンで収音するだけでなく。左右チャネル信号の大きさの比や時間差、あるいは位相の時間的な変化を人工的に付加することで自然界には存在しない定位を得ることが普通であり、もっと複雑になる。以上のように様々なステレオ入力信号に応じて、最適なgd(k)の選択をすることは非常に困難である。しかしながら、どの場合も少なくとも中央に定位する音源信号の大きさの比と位相差は共に小さい。そこで、gd(k)として、gi(k)とgp(k)の小さい方を採用することにする。即ち、
gd(k)=min(gi(k),gp(k)) （３）
ここで、min(A,B)はAとBの小さい方を出力することを意味する。
【００１９】
つまり、どんなステレオ信号であっても、大きさか位相の少なくともどちらか一方が左右で異なる場合は抑圧することになり、その結果、中央に定位する音源信号を強調することが可能となる。
次にＳＳ減衰係数gs(k)の計算方法について述べる。
上記に説明した左右差減衰係数をそのまま各周波数帯域のfL(k),fR(k)に乗算する方法が従来法（特願2000-268442号）である。この方法でも中央付近の音源信号を強調することは可能であるが、左右差減衰係数の算出方法で述べたように、中央定位音源信号の音質を損なわないようにするために、ある程度の幅を持たせて抑圧することにより、本来抑圧すべき非中央定位成分が抑圧されずに残り、再合成後、キュルキュルあるいはギュルギュルといった異音を発生してしまうという問題が残っていた。そこで新たに非中央定位成分の時間平均値を用いて、左右差だけでは（すなわち、左右差減衰係数のみでは）、誤って中央付近に定位するとされた成分を小さくする二つ目の減衰係数gs(k)を用いることにする。
【００２０】
まず、非中央定位成分の時間平均を計算する。周波数分析のフレーム長単位の各時刻における周波数帯域成分（すなわち、現フレームのFFTによる周波数帯域成分）の左右信号の平均を|fM(k)|として、それらのうち類似度がレベル差類似度ai(k)、位相差類似度ap(k)共に小さい成分を抽出し、|fN(k)|とする。次に|fN(k)|の時間平均（すなわち、過去数フレームから現フレームまでのFFTによる周波数帯域成分の時間平均）を取り、その値を|fA(k)|とする。時間平均の方法には過去数時刻（フレーム）の|fN(k)|を記憶しておき、その移動平均を取る方法、その際、最近のフレームに大きな重みづけをする方法、忘却係数を用いる方法（入力信号の短時間平均レベルを計算し、背景雑音レベルの範囲を複数の区間ごとに分け、その各区間について計算した短時間平均レベルの発生頻度を計算し、ピークとなる区間のうち最小の区間のレベルと対応する値を適応的閾値とし、長時間平均レベルを求め、このレベルが適応的閾値以下に一定時間連続した場合には背景雑音平均レベルとする。特開平9-113350号公報参照）など各種考えられるが、どの方法を用いても本発明の効果には変わりはない。
【００２１】
次に|fA(k)|からＳＳ減衰係数gs(k)を算出する一例について述べる。|fA(k)|は中央に定位しない成分の時間平均であり、スペクトラルサブトラクション法による雑音成分に相当するから、gs(k)は例えば下記のように求めることができる。
gs(k)=(|fM(k)|−α|fA(k)|) ／|fM(k)| (4)
gs(k)＞１のとき、 gs(k)=１
gs(k)＜Gsminのとき、 gs(k)=Gsmin
ここで、αは消し残りを防ぐための適当な大きさの重みであり、Gsminは、gs(k)による非中央定位成分の最大抑圧量に相当し、中央に音を知覚させる中央定位音源信号について音質などの変化が無視できる範囲で予め聴感上で決めることが好適である。αを大きく、またGsminを小さくしていくと、異音の発生を防ぐ効果は増すものの、本来の中央定位成分まで抑圧してしまい、その音質を損ねる。異音を最小限に抑え、中央定位音源信号の音質を損ねない適当な値を選択する必要がある。αは１〜２程度、Gsminは左右差減衰量gd(k)の最小値を下回らない範囲で0.3〜0.1程度が適当である。
【００２２】
次に左右減衰係数gd(k)とＳＳ減衰係数gs(k)から最終的にfL(k),fR(k)に乗算する減衰係数g(k)を算出する。
各時刻（各フレーム）でgd(k)が小さい時、それは中央成分ではないことを意味するから抑圧したい。gd(k)が大きく（１に近く）、一方gs(k)が小さい成分は定常的に中央成分ではないことを意味するから、その成分も抑圧したい。よってどちらか小さい方を減衰係数として選べばよい。
g(k)=min（gd(k),gs(k)）（５）
上記のように計算されたg(k)は図１にあるように各チャネル各周波数帯域のfL(k),fR(k)に乗算器L115、乗算器R116で乗算される。同じ帯域kにおいて左右のチャネルに同じg(k)を乗算することで、中央に定位する音源信号以外の音源信号を定位を維持したまま抑圧することが可能となる。g(k)を乗算した信号は、fL(k)は左チャネル音源信号合成部109で再合成、時間波形sL'に変換される。fR(k)は右チャネル音源信号合成部110で再合成、時間波形sR'に変換される。なお、再合成、時間の変換については各帯域ごとの減衰された成分g(k),fL(K)を帯域を跨いで逆FFTを行って音声信号を合成する。sL',sR'はステレオ信号出力部111から、ステレオラウドスピーカ112やステレオヘッドホン113に送られる。
【００２３】
以上の処理により、ステレオ音響信号の中央に定位する音源信号を強調する際、従来の左右差減衰係数のみを用いていた方法の課題であったキュルキュル、ギュルギュルといった異音をほとんど生じさせずに中央付近の音源信号のみを強調することが可能となる。
また、本発明のステレオ音響信号処理装置をCPUやメモリ等を有するコンピュータと、アクセス主体となるユーザが利用するユーザ端末と記録媒体から構成することができる。
【００２４】
記録媒体は、CD-ROM、磁気ディスク、半導体メモリ等のコンピュータ読み取り可能な記録媒体であり、ここに記録されたステレオ音響信号処理プログラムはコンピュータに読み取られ、コンピュータの動作を制御し、コンピュータに左右チャネルごとに複数の周波数帯域に分割する処理、各周波数帯域ごとにチャネル間の類似度を計算する処理、類似度から左右減衰係数を計算する処理、類似度からＳＳ減衰係数を計算する処理、左右減衰係数とＳＳ減衰係数を比較して最小値を選択する処理、選択した減衰係数を各周波数帯域信号に乗算する処理、及び減衰係数を乗じた後の各チャネルごとの各周波数帯域信号を再合成する処理等の各処理を実行する。このステレオ音響信号処理プログラムは通信回線を介してダウンロードされたものであってもよい。
【００２５】
【発明の効果】
以上の説明のように本発明によれば、ステレオ音響信号から原信号の定位、音質をほとんど損ねず、中央に定位する音源信号を所望の量だけ強調することが可能となり、以下のような効果が期待できる。
（１）難聴者等が市販の音楽ソースを受聴する際、中央に定位する主たる音源信号である歌とそれ以外の伴奏の音量バランスを、難聴者自身が自由に聞き易いように調整し、音楽をより良く楽しむことができる。
（２）騒音環境下において、正面にいる目的話者の音声のみを強調することが可能となり、快適なコミニュケーションを実現することができる。
【図面の簡単な説明】
【図１】本発明のステレオ音響信号処理装置のブロック図。
【図２】中央定位音源を強調する時のai(k)とgi(k)の関係を示す図。
【図３】中央定位音源を強調する時のap(k)とgp(k)の関係を示す図。
【符号の説明】
102 ステレオ信号入力部
103 左チャネル周波数帯域分割部
104 右チャネル周波数帯域分割部
105 類似度計算部
106 左右差減衰係数計算部
107 ＳＳ減衰係数計算部
108 最小値選択部
109 左チャネル音源信号合成部
110 右チャネル音源信号合成部
111 ステレオ信号出力部
112 ステレオラウドスピーカ
113 ステレオヘッドホン
115 乗算器L
116 乗算器R

Claims

２チャネル音響信号から中央付近に定位する音源信号を強調するステレオ信号強調処理方法において、
ステレオ信号を各チャネルごとに複数の周波数帯域成分に分割する過程と、
各帯域ごとにチャネル間類似度を算出する過程と、
各帯域についてチャネル間類似度が高い場合には、その類似度が高い成分信号を抽出する過程と、
チャネル間類似度が高い成分から第１の減衰係数を算出する過程と、
各帯域についてチャネル間類似度が低い場合には、その類似度が低い成分信号を抽出して時間平均を算出する過程と、
時間平均された信号成分からチャネル間類似度の高い信号を強調する第２の減衰係数を算出する過程と、
第１の減衰係数と第２の減衰係数と比較して減衰係数を選択する過程と、
選択した減衰係数を各帯域信号成分に乗算して出力する過程とを有するステレオ音響信号処理方法。
２チャネル音響信号から中央付近に定位する音源信号を強調するステレオ信号強調処理装置において、
ステレオ信号を各チャネルごとに複数の周波数帯域成分に分割する周波数帯域分割部と、
各帯域ごとにチャネル間類似度を算出する類似度計算部と、
各帯域についてチャネル間類似度が高い場合には、その類似度が高い成分信号を抽出し、チャネル間類似度が高い成分から第１の減衰係数を算出する第１減衰係数計算部と、
各帯域についてチャネル間類似度が低い場合には、その類似度が低い成分信号を抽出して時間平均を算出し、時間平均された信号成分からチャネル間類似度の高い信号を強調する第２の減衰係数を算出する第２減衰係数計算部と、
第１の減衰係数と第２の減衰係数と比較して減衰係数を選択する選択部と、
選択した減衰係数を各帯域信号成分に乗算する乗算器と、
乗算器の各帯域信号成分の出力を合成して出力する音源信号合成部とを有するステレオ音響信号処理装置。
ステレオ信号を各チャネルごとに複数の周波数帯域成分に分割する処理と、
各帯域ごとにチャネル間類似度を算出する処理と、
各帯域についてチャネル間類似度が高い場合には、その類似度が高い成分信号を抽出する処理と、
チャネル間類似度が高い成分から第１の減衰係数を算出する処理と、
各帯域についてチャネル間類似度が低い場合には、その類似度が低い成分信号を抽出して時間平均を算出する処理と、
時間平均された信号成分からチャネル間類似度の高い信号を強調する第２の減衰係数を算出する処理と、
第１の減衰係数と第２の減衰係数と比較して減衰係数を選択する過程と、
選択した減衰係数を各帯域信号成分に乗算して出力する処理をコンピュータに実行させるためのプログラム。
ステレオ信号を各チャネルごとに複数の周波数帯域成分に分割する処理と、
各帯域ごとにチャネル間類似度を算出する処理と、
各帯域についてチャネル間類似度が高い場合には、その類似度が高い成分信号を抽出する処理と、
チャネル間類似度が高い成分から第１の減衰係数を算出する処理と、
各帯域についてチャネル間類似度が低い場合には、その類似度が低い成分信号を抽出して時間平均を算出する処理と、
時間平均された信号成分からチャネル間類似度の高い信号を強調する第２の減衰係数を算出する処理と、
第１の減衰係数と第２の減衰係数と比較して減衰係数を選択する過程と、
選択した減衰係数を各帯域信号成分に乗算して出力する処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。