JP5098176B2 - 音源方向判定方法及び装置 - Google Patents

Description

本発明は、少なくとも２つのセンサを用いて音源の方向を判定する音源方向判定方法及び装置に関する。

たとえば、下記の特許文献１には、所定間隔に配置された２つのセンサにより得られた２チャンネルの音響信号を基に音の到来方向を特定する音到来方向検出方法（以下、従来技術）が記載されている。この従来技術の方法は、前記２チャンネルの音響信号における位相差スペクトルを求めるステップと、前記ステップで算出した位相差スペクトルの全てまたは一部を、原点を通る周波数に関する一次関数で近似し、当該一次関数の傾きから音源の方向を算出するステップとを含む。

図１１〜図１３は従来技術の概念図であって、図１１は２つのマイクと音源との位置関係図、図１２は２つのマイクから得られた音響信号の位相差スペクトルを示す図、図１３は音源方向と位相差スペクトルとの対応関係図である。

図１１において、２つのマイク１ａ、１ｂは、ｘ軸上で距離Ｓを隔てて配置されており、一方のマイク１ａの設置点をＡ点とし、他方のマイク１ｂの設置点をＢ点とする。また、両マイク１ａ、１ｂの間の中間距離Ｓ／２の地点を中間点Ｃとする。この中間点Ｃ上で、ｘ軸に直角にｙ軸を設ける。前記中間点Ｃから音源（スピーカ）３までの線分と前記ｙ軸とがなす角度をθとする。

また、前記ｘ軸から音源３までのｙ軸に平行な長さをＤとし、前記ｙ軸から音源３までのｘ軸に平行な長さをΔｘとする。前記音源３が置かれている点をＥ点とする。さらに、前記音源３のある地点を中心にして他方のマイク１ｂまでの長さを半径とする円を描き、その円と前記音源３から一方のマイク１ａまでの線分との交点をＦとする。この交点Ｆと一方のマイク１ａまでの距離を行路差Δｄとする。

今、２つのマイク１ａ、１ｂから得られる音響信号の位相差をΔφとすると、Δφは次式（１）に示すようになる。

ただし、ｃは音速、ｆは周波数である。
前式（１）の両辺を周波数ｆで微分すると、

を得る。この式（２）の左辺は行路差Δｄ、つまり、音の方向に依存し、行路差Δｄの等しい音では一定値をとる。

ここで、特定の方向から到来する音では位相差の周波数特性は、図１２に示すように周波数に関する一次関数になる。図１２において、横軸は周波数ｆ、縦軸は位相差Δφである。

式（２）からもわかるように、一次関数の傾きαは、行路差Δｄと音速Ｃ（一定）によって決まるから、音の到来方向に応じて一次関数の傾きαは、式（２）で与えられるように変化するはずである。

この傾きの変化を角度θに応じて示したものが図１３である。図１３において、横軸は周波数〔Ｈｚ〕、縦軸は位相差Δφ〔度〕である。この図１３では、代表的ないくつかの角度、たとえば、θ＝−４０〔度〕、θ＝−２０〔度〕、θ＝−１０〔度〕における傾きαを示している。ここで、描画上の都合で位相差は、＋１８０〔度〕が−１８０〔度〕に一致する点を考慮して描いている。

音の周波数がゼロの場合、位相差もゼロとなるから、一次関数は必ず周波数ゼロのときに位相差もゼロの点（原点）を通ることになる。図１３に示すように、角度θが大きくなるほど、傾きαが大きくなる様子がわかる。

音源３の方向と、前記一次関数の傾きαが一対一の関係で対応するならば、計測された位相差Δφの周波数特性から近似的な一次関数を見い出し、その一次関数の傾きαを求めれば、音源３の方向を判定することができる。
ここで、さらに前式（２）を変形すると、行路差Δｄは、

となる。この式（３）により、行路差Δｄを求めることができ、行路差Δｄから音源３の方向を幾何学的に求めることができる。

特開２００３−３３７１６４号公報

しかしながら、上記の従来技術においては、所定間隔に配置された２つのマイクにより得られた２チャンネルの音響信号を基に音の到来方向を特定できる点で有益であるが、音の到来方向が複数にわたる場合、つまり、複数の音源が存在する場合に、各々の音の到来方向を判定することができないという問題点を有している。

この点の対策に関して、上記の特許文献１においては、その第二の発明（段落〔００７４〕〜〔０１０３〕）で、「前記２チャンネルの音響信号における位相差スペクトルから推定可能な全ての音源方向の計算を行い、音源推定方向の周波数特性を求め、その求めた音源推定方向の周波数特性から周波数軸に平行な直線部分を抽出することにより、複数の音源の方向を特定することができる」としているが、この対策は、複数の音源の周波数帯域が明確に異なっていることが大前提であり、類似した複数の音源方向の推定精度に疑問がある。

すなわち、同文献では、「５ＫＨｚ位をピークとし、５ＫＨｚの両側になだらかな斜面を持つ山のような駆動特性を呈する高域用スピーカ３ａ」と、「低域をピークとし、高域に向かって急激に減衰し、１０ＫＨｚでほぼ音圧レベルが０となる駆動特性を呈する低域用スピーカ３ｂ」とを音源とし、それらの音源（高域用スピーカ３ａ及び低域用スピーカ３ｂ）を同時駆動したときにおいても、それらの音源の方向を推定できるとしているが、上記の前提に立たない場合、たとえば、上記の音源（高域用スピーカ３ａ及び低域用スピーカ３ｂ）の代わりに、複数の人物の話し声（音声）を音源とした場合には、それらの音声は性別や声紋上の違いはあるものの、周波数帯域的には、上記のスピーカ（高域用スピーカ３ａ及び低域用スピーカ３ｂ）程の大きな違いはないから、上記の従来技術にあっては、かかる実例において前提となる条件（複数の音源の周波数が明確に異なっていること）が成立せず、こうした類似した複数の音源方向の判定に充分な精度が得られないという問題点がある。

そこで、本発明は、複数の人物の音声などのように類似した複数の音源の方向を判定できるようにした音源方向判定方法及び装置を提供することにある。

請求項１記載の発明は、所定間隔に配置された二つのマイクにより得られた２チャンネルの音響信号を基に音の到来方向を特定する音源方向判定方法において、前記２チャンネルの音響信号における位相差スペクトルを求める第１のステップと、前記２チャンネルの音響信号の少なくともいずれか一方のパワースペクトラムを求める第２のステップと、前記パワースペクトラムのピークの中から、前記パワースペクトラムが極大値となる周波数から差分が所定値以内である周波数の範囲に対応するピークの極大値近傍部分を選択する選択ステップと、前記位相差スペクトラムのうち、前記選択されたピークの極大値近傍部分の周波数に対応する部分を、周波数に関して一次近似した関数である、一次近似関数の傾きを、推定可能な全ての音源方向が取りうる値の範囲で求める推定ステップと、前記求められた傾きの一次近似関数夫々について、当該一次近似関数を表わす直線に近い値を取る前記位相差スペクトル内のスペクトル値に対応する前記パワースペクトル内のパワー値が大きいほど、前記一次近似関数の評価を大きくするように評価する評価ステップと、前記評価の結果、評価値の大きい一次近似関数に基づいて、音源毎の音源方向を求める第３のステップとを含むことを特徴とする音源方向判定方法である。
請求項２記載の発明は、所定間隔に配置された二つのマイクにより得られた２チャンネルの音響信号を基に音の到来方向を特定する音源方向判定装置において、前記２チャンネルの音響信号における位相差スペクトルを求める位相差スペクトル生成手段と、前記２チャンネルの音響信号の少なくともいずれか一方のパワースペクトラムを求めるパワースペクトル生成手段と、前記パワースペクトラムのピークの中から、前記パワースペクトラムが極大値となる周波数から差分が所定値以内である周波数の範囲に対応するピークの極大値近傍部分を選択する選択手段と、前記位相差スペクトラムのうち、前記選択されたピークの極大値近傍部分の周波数に対応する部分を、周波数に関して一次近似した関数である、一次近似関数の傾きを、推定可能な全ての音源方向が取りうる値の範囲で求める音源方向推定手段と、前記求められた傾きの一次近似関数夫々について、当該一次近似関数を表わす直線に近い値を取る前記位相差スペクトル内のスペクトル値に対応する前記パワースペクトル内のパワー値が大きいほど、前記一次近似関数の評価を大きくするように評価する評価手段と、前記評価の結果、評価値の大きい一次近似関数に基づいて、音源毎の音源方向を求める音源方向特定手段とを備えたことを特徴とする音源方向判定装置である。

本発明では、２チャンネルの音響信号の位相差スペクトルを生成すると共に、同２チャンネルの音響信号の双方またはいずれか一方のパワースペクトルを生成し、これらの位相差スペクトラムとパワースペクトラムに基づき音源毎の音源方向（音の到来方向）を判定する。好ましい態様では、前記パワースペクトラムに基づき前記位相差スペクトラムの音源毎の寄与部分を判別することにより、音源毎の到来方向を判定する。または、前記パワースペクトラム依存項と位相差スペクトラム依存項の積に基づき前記位相差スペクトラムの音源毎の寄与部分を判別することにより、音源毎の到来方向を判定する。
このように、位相差スペクトルのみならず、パワースペクトルも考慮して音源毎の到来方向を判定するようにしたから、１つの音源はもちろんのこと、たとえば、人の声や楽器の音などの周波数帯域が重なり合った複数の音源についても、それらの音源方向を正しく判定できる。

以下、本発明の第一実施形態を、図面を参照しながら説明する。なお、以下の説明における様々な細部の特定ないし実例および数値や文字列その他の記号の例示は、本発明の思想を明瞭にするための、あくまでも参考であって、それらのすべてまたは一部によって本発明の思想が限定されないことは明らかである。また、周知の手法、周知の手順、周知のアーキテクチャおよび周知の回路構成等（以下「周知事項」）についてはその細部にわたる説明を避けるが、これも説明を簡潔にするためであって、これら周知事項のすべてまたは一部を意図的に排除するものではない。かかる周知事項は本発明の出願時点で当業者の知り得るところであるので、以下の説明に当然含まれている。

〔第一実施形態〕
図１（ａ）は、第一実施形態に係るの音源方向判定装置の概念的な構成図である。この図において、音源方向判定装置１０は、各々ほぼ同一の特性で低域から高域までの広範囲な周波数範囲の音を検出して電気信号（以下、音響信号）に変換する無指向性または音源方向への同一指向性を有する２つのセンサ（第一センサ１１及び第二センサ１２）と、それらのセンサから出力された２つの音響信号Ｓ１、Ｓ２の各々を高速フーリエ変換する２つのＦＦＴ部（第一ＦＦＴ部１３及び第二ＦＦＴ部１４）と、第一ＦＦＴ部１３から出力された第一ＦＦＴ信号Ｓ３と第二ＦＦＴ部１４から出力された第二ＦＦＴ信号Ｓ４とに基づいて、それらのＦＦＴ信号Ｓ３、Ｓ４の位相差スペクトル信号Ｓ５を生成する位相差スペクトル信号生成部１５と、第一ＦＦＴ部１３から出力された第一ＦＦＴ信号Ｓ３と第二ＦＦＴ部１４から出力された第二ＦＦＴ信号Ｓ４とに基づいて、それらのＦＦＴ信号Ｓ３、Ｓ４のパワースペクトル信号Ｓ６を生成するパワースペクトル信号生成部１６と、前記位相差スペクトル信号Ｓ５及びパワースペクトル信号Ｓ６を用いて不図示の音源の方向を判定する音源方向判定部１７とを含む。

ここで、位相差スペクトルとは、二つのＦＦＴ信号（図１の例では第一ＦＦＴ信号Ｓ３と第二ＦＦＴ信号Ｓ４）間における位相差の変化を周波数軸上に表したもののことをいう。たとえば、第一センサ１１及び第二センサ１２から等距離の地点（図１１におけるｙ軸上の任意の地点）に広帯域の周波数範囲の音（便宜的にホワイトノイズ）を発生する音源が存在していたと仮定すると、この場合、第一ＦＦＴ信号Ｓ３と第二ＦＦＴ信号Ｓ４の間の位相差は、周波数軸の全体にわたって位相差ゼロとなるので、図１２において、原点が位相差Δθ＝０の点を通り、且つ、傾きαが０の一次関数となる。

一方、上記の音源が、第一センサ１１及び第二センサ１２から非等距離の地点（たとえば、図１１における地点Ｅ）に位置した場合には、原点は変わらない（位相差Δθ＝０の点を通る）ものの、一次関数の傾きαは、音源の地点Ｅと２つのセンサの中間地点Ｃとを結ぶ直線とｙ軸とのなす角度θに対応した大きさになる。たとえば、図１３に示すように、θが−１０〔度〕の場合には実線で示す小さな傾きαの一次関数となり、θが−２０〔度〕の場合には一点鎖線で示す若干大きな傾きαの一次関数となり、θが−４０〔度〕の場合には点線で示すより大きな傾きαの一次関数となる。したがって、要するに、θが大きくなるほど、傾きαが急になる一次関数が得られる。

音源が単一の場合、かかる位相差スペクトルの振る舞いを利用して、その方向を判定することができる。すなわち、上記の角度θは音源の方向を表し、且つ、角度θと一次関数の傾きαとの間には一定の関係が成立しているから、一次関数の傾きαを求めることによって、角度θ、つまり、音源の方向を判定することができる。

以上の点は、前記の特許文献１にも開示されており、この文献の技術においても、単一の音源であれば、その音源の方向（角度θ）を判定することができる。しかしながら、当該文献の技術は、周波数が類似した複数の音源に対応することができないという欠点を有している。複数音源から生成された位相差スペクトルは、図１２や図１３に例示されているような綺麗な直線（一次関数）にはならず、あたかもノイズの如き振る舞いでランダムに変化する複雑なスペクトル特性線を描くからである。なお、前述のとおり、当該文献の技術においては、周波数帯域が明確に異なる複数の音源の場合に、それらの音源の方向を判定することが可能であるとされているが、人の声のように周波数帯域が重なり合った複数の音源には対処することができない。複数音源の周波数帯域が重なり合っている場合は、上記のとおり、綺麗な直線（一次関数）にはならず、あたかもノイズの如きランダムに変化する複雑なスペクトル特性線を描くからである。

そこで、本第一実施形態においては、位相差スペクトルに加えて、パワースペクトルも利用することにより、周波数帯域が重なり合った複数音源についても、それらの音源の方向を判定できるようにしたものである。

パワースペクトルとは、信号中の周波数成分毎の強度（パワーまたは信号レベル）を周波数軸上に表したもののことをいう。スペクトルアナライザーと呼ばれる汎用計測器は、このパワースペクトルの分析装置であり、当該装置に測定対象信号を入力することにより、その画面上に、横軸を周波数、縦軸を周波数毎の信号強度としたパワースペクトルを表示することができる。

さて、純粋な単一周波数の信号、たとえば、特定周波数の理想的な正弦波信号を上記のスペクトルアナライザに入力した場合、当該特定周波数に対応した一つのピークだけを持つパワースペクトルが観測される。これに対して、人間の声や楽器の音、小鳥のさえずりなどの音源の信号は、単一周波数の信号ではなく、様々な周波数成分を含む信号であるから、それらの信号をスペクトラムアナライザで観測した場合には、信号中の各周波数成分毎のピークからなるパワースペクトルが観測される。

上記の「信号中の各周波数成分毎のピーク」は、最も低い周波数の基本波と、その基本波の整数倍の周波数の高調波とからなり、高調波は、基本波に近い順から第二高調波、第三高調波、第四高調波・・・・と呼ばれる。この呼び方は交流理論におけるものであるが、音楽等の分野では、これらは「基音」及び「倍音」とも呼ばれる。基音（第一倍音）は、上記の「信号中の各周波数成分毎のピーク」のうち最大のパワーを持つ周波数成分のことをいい、第二倍音、第三倍音、第四倍音・・・・は、その基音の整数倍の周波数成分を持つピークのことをいう。たとえば、楽器の“ド”は、Ｃ３を第一倍音、Ｃ４を第二倍音、Ｃ５を第四倍音、Ｅ５を第六倍音、Ｇ５を第六倍音・・・・とする音である。

ここで、第一の音源が“ド”の音、第二の音源が“レ”の音を発していたとすると、第一音源からの音は、周波数５５０．１Ｈｚの基音と、その整数倍の周波数（１１００．２Ｈｚ、１６５０．３Ｈｚ、２２００．４Ｈｚ・・・・）の倍音とを含み、第二音源からの音は、周波数６２３．５Ｈｚの基音と、その整数倍の周波数（１２４７．０Ｈｚ、１８７０．５Ｈｚ、２４９４．０Ｈｚ・・・・）の倍音とを含む。このように、倍音系列に着目すれば、互いに重なり合った周波数帯域のなかにあっても、ある周波数においてはどちらの音源からの寄与が大きいかを区別することができる。

本第一実施形態の音源方向判定装置１０は、かかる原理に着目し、位相差スペクトルだけでなくパワースペクトルも利用することにより、周波数帯域が重なり合った複数の音源の方向を判定できるようにしたものである。

図１（ｂ）は、音源方向判定部１７の概念的な構成図である。この図において、音源方向判定部１７は、倍音グループ化部１７ａと、位相差スペクトル分離部１７ｂと、判定部１７Ｃとを含む。

倍音グループ化部１７ａは、パワースペクトル生成部１６で生成されたパワースペクトル信号Ｓ６に含まれる複数のピークを、音源ごとにグループ化する。このグループ化の考え方は、複数の音源は、前記のとおり、それぞれ基音と複数の倍音とからなり、基音の周波数と倍音の数並びにそれらの周波数は音源毎に違いがあるという事実の元に、パワースペクトル信号Ｓ６の複数のピークの周波数と周波数間隔（ピッチ）が一定のものを一つのグループとするものである。

位相差スペクトル分離部１７ｂは、倍音グループ化部１７ａのグループ化の結果に従い、各グループのピークに対応した周波数に位置する位相差スペクトル成分を分離し、判定部１７Ｃは、位相差スペクトル分離部１７ｂで分離された各倍音グループ毎の位相差スペクトル成分に基づいて、各倍音グループ毎、すなわち、音源毎の方向を判定し、その判定結果を出力する。

倍音グループ化部１７ａ、位相差スペクトル分離部１７ｂ及び判定部１７Ｃの動作を具体的に説明する。
図２は、複数の音源（便宜的に第一音源１８と第二音源１９とする）と２つのセンサ（第一センサ１１及び第二センサ１２）との位置関係図である。ここで、２つのセンサ（第一センサ１１及び第二センサ１２）の間隔をＳとし、その間隔Ｓの中間点をＣとする。また、２つのセンサ（第一センサ１１及び第二センサ１２）の設置位置を通る直線をｘ軸、そのｘ軸上の中間点Ｃの垂線をｙ軸とする。さらに、第一音源１８から中間点Ｃに直線２０を引くと共に、第二音源１９から中間点Ｃに直線２１を引き、これらの直線２０、２１とｙ軸とのなす角度をそれぞれθａ、θｂとする。

このような位置関係において、今、第一音源１８と第二音源１９を、それぞれ人物の音声（説明の簡単化のために第一音源１８は“ド”の音、第二音源１９は“レ”の音）とすると、２つのセンサ（第一センサ１１及び第二センサ１２）は、これらの第一音源１８と第二音源１９の音（“ド”及び“レ”）を受け、それらの音を合成した音響信号Ｓ１、Ｓ２を出力し、第一ＦＦＴ部１３及び第二ＦＦＴ部１４は、それらの音響信号Ｓ１、Ｓ２の各々を高速フーリエ変換してＦＦＴ信号Ｓ３、Ｓ４を出力し、位相差スペクトル生成部１５は、ＦＦＴ信号Ｓ３、Ｓ４から位相差スペクトル信号Ｓ５を生成して出力し、パワースペクトル信号生成部１６は、ＦＦＴ信号Ｓ３、Ｓ４からパワースペクトル信号Ｓ６を生成して出力する。

図３は、位相差スペクトル生成部１５及びパワースペクトル信号生成部１６の出力信号特性図であって、図３（ａ）は、パワースペクトル信号Ｓ６を示す図、図３（ｂ）は、位相差スペクトル信号Ｓ５を示す図である。

図３（ａ）において、縦軸はパワー（信号強度）、横軸は周波数であり、また、図３（ｂ）において、縦軸は位相差、横軸は周波数である。図示の例の場合、位相差スペクトル信号Ｓ５は、複数の音源（第一音源１８及び第二音源１９）からの音の波が重畳または合成されているので、単一音源の時のような綺麗な直線（一次関数）の形になっていない。すなわち、あたかもノイズの如き振る舞いでランダムに変化する複雑なスペクトル特性線を描いている。このため、この位相差スペクトル信号Ｓ５だけでは、複数の音源（第一音源１８及び第二音源１９）の方向を判定できない。

他方、図３（ａ）のパワースペクトル信号Ｓ６に着目すると、このパワースペクトル信号Ｓ６は、周波数軸上に複数のピークを持っており、説明の便宜上、各々のピークを黒丸記号で表すことにすれば、これらのピークは、複数の音源（第一音源１８及び第二音源１９）からの音の基音と倍音にそれぞれ対応するはずである。

ここで、前記のとおり、第一音源１８は“ド”の音、第二音源１９は“レ”の音であるから、第一音源１８と第二音源１９の音の基音及び倍音は異なる。つまり、“ド”の基音の周波数を５５０．１Ｈｚ、“レ”の基音の周波数を６２３．５Ｈｚとすると、第一音源１８の音は、周波数５５０．１Ｈｚの基音とその整数倍の周波数（１１００．２Ｈｚ、１６５０．３Ｈｚ、２２００．４Ｈｚ・・・・）の倍音とを含み、第二音源１９の音は、周波数６２３．５Ｈｚの基音とその整数倍の周波数（１２４７．０Ｈｚ、１８７０．５Ｈｚ、２４９４．０Ｈｚ・・・・）の倍音とを含む。

これらの基音及び倍音の周波数を周波数軸上に並べると、５５０．１Ｈｚ（１）、６２３．５Ｈｚ（２）、１１００．２Ｈｚ（１）、１２４７．０Ｈｚ（２）、１６５０．３Ｈｚ（１）、１８７０．５Ｈｚ（２）、２２００．４Ｈｚ（１）、２４９４．０Ｈｚ（２）・・・・となる。なお、（ ）内の数字は、第一音源１８及び第二音源１９を表しており、たとえば、５５０．１Ｈｚ（１）は、第一音源１８の音の周波数である。

このように、図３（ａ）のパワースペクトル信号Ｓ６のピークは、周波軸に沿って第一音源１８と第二音源１９の各々が交互に現れる。以下、第一音源１８の周波数のピークをＰ１＿＊（＊は１、２、３・・・・）、第二音源１９の周波数のピークをＰ２＿＊とする。

前述の「倍音グループ化」とは、パワースペクトル信号Ｓ６のピークの各々を、Ｐ１＿＊のグループとＰ２＿＊のグループとに分ける作業のことを言う。すなわち、Ｐ１＿１、Ｐ１＿２、Ｐ１＿３・・・・の第一のグループと、Ｐ２＿１、Ｐ２＿２、Ｐ２＿３・・・・の第二のグループとに分ける作業のことを言う。より具体的には、上記の例示に従えば、第一のグループは、基音の周波数５５０．１Ｈｚのピークと、当該基音の周波数間隔をピッチとするピークとをまとめたものであり、第二のグループは、基音の周波数６２３．５Ｈｚのピークと、当該基音の周波数間隔をピッチとするピークとをまとめたものである。

前記のとおり、位相差スペクトル分離部１７ｂは、倍音グループ化部１７ａのグループ化の結果に従い、各グループのピークに対応した周波数に位置する位相差スペクトル成分を分離する。

図４は、位相差スペクトル成分分離の概念図である。この図において、パワースペクトル信号Ｓ６と位相差スペクトル信号Ｓ５は同一周波数軸上に揃えられている。パワースペクトル信号Ｓ６の各ピーク（Ｐ１＿１、Ｐ２＿１、Ｐ１＿２、Ｐ２＿２・・・・）から位相差スペクトル信号Ｓ５に向けて引かれている破線２２〜２５は、位相差スペクトル信号Ｓ５の分離位置を示すためのものであり、これらの破線２２〜２５と交わる位相差スペクトル信号Ｓ５の成分が分離対象の値となる。すなわち、図示の例においては、パワースペクトル信号Ｓ６のピークＰ１＿１に対応して、当該周波数に位置する位相差スペクトル信号Ｓ５の成分Ｓ１＿１が分離対象の値とされており、同様に、パワースペクトル信号Ｓ６のピークＰ２＿１に対応して、当該周波数に位置する位相差スペクトル信号Ｓ５の成分Ｓ２＿１が分離対象の値とされており、パワースペクトル信号Ｓ６のピークＰ１＿２に対応して、当該周波数に位置する位相差スペクトル信号Ｓ５の成分Ｓ１＿２が分離対象の値とされており、さらに、パワースペクトル信号Ｓ６のピークＰ２＿２に対応して、当該周波数に位置する位相差スペクトル信号Ｓ５の成分Ｓ２＿２が分離対象の値とされている。

既述のとおり、判定部１７Ｃは、位相差スペクトル分離部１７ｂで分離された各倍音グループ毎の位相差スペクトル成分（Ｓ１＿１、Ｓ２＿１、Ｓ１＿２、Ｓ２＿２・・・・）に基づいて、各倍音グループ毎、すなわち、第一音源１８と第二音源１９の方向をそれぞれ判定し、その判定結果を出力する。

図４に示す一点鎖線２６、２７は、判定部１７Ｃにおける第一音源１８と第二音源１９の方向の判定概念を示すものであり、一方の一点鎖線２６は、第一のグループの位相差スペクトル成分（Ｓ１＿１、Ｓ１＿２・・・・）を結んだもの、他方の一点鎖線２７は、第二のグループの位相差スペクトル成分（Ｓ２＿１、Ｓ２＿２・・・・）を結んだものである。

これらの一点鎖線２６、２７は、図１２及び図１３における一次関数の直線に相当する。したがって、それらの一点鎖線２６、２７の傾きαから、第一音源１８と第二音源１９の方向を判定することができるのである。

以上のとおり、本第一実施形態によれば、位相差スペクトルのみならず、パワースペクトルも考慮して音源方向を判定するようにしたから、１つの音源はもちろんのこと、たとえば、人の声や楽器の音などの周波数特性が似通った複数の音源についても、それらの音源方向を正しく判定できるという格別有益な効果を奏することができる。

上記第一実施形態においてはパワースペクトラムの各ピークを音源毎にグループ化していた。次に、パワースペクトラムの各ピークがどちらの音源からのものであるかということを区別せずとも、音源方向を分離することができる実施形態について説明する。
〔第二実施形態〕
図５は、第二実施形態の構成図である。この図において、音源方向判定装置３０は、それぞれマイクロフォンやＡＤＣ等からなる二つのセンサ（第一音声入力部３１及び第二音声入力部３２）を備え、これらの第一音声入力部３１及び第二音声入力部３２は、不図示の音源からの音をデジタルの音響信号Ｓ１、Ｓ２に変換して出力する。音響信号Ｓ１、Ｓ２は、二つの直交変換部（第一直交変換部３３及び第二直交変換部３４）に入力され、これら二つの直交変換部（第一直交変換部３３及び第二直交変換部３４）は、デジタル化された２チャンネルの音響信号Ｓ１、Ｓ２を直交変換処理（フーリエ変換等）して周波数領域の信号（ＦＦＴ信号Ｓ３、Ｓ４）に変換する。ＦＦＴ信号Ｓ３、Ｓ４は、位相差算出部３５に入力され、位相差算出部３５は、第一直交変換部３３及び第二直交変換部３４から出力される二つのＦＦＴ信号Ｓ３、Ｓ４の実部及び虚部から両チャンネルのクロススペクトルスを算出し、このクロススペクトルから両チャンネルの位相差スペクトル信号Ｓ５を求める。また、一方の直交変換部（ここでは第二直交変換部３４）から出力されるＦＦＴ信号Ｓ４は、振幅算出部３６にも入力されており、この振幅算出部３６は、片側のチャンネルから得られるＦＦＴ信号Ｓ４より、パワースペクトル信号Ｓ６を求める。このようにして求められた位相差スペクトル信号Ｓ５とパワースペクトル信号Ｓ６は、到来方評価部３７に入力され、この到来方評価部３７は、位相差スペクトル信号Ｓ５にパワースペクトル信号Ｓ６を考慮して一次関数の傾きαを評価し、その傾きαから音源の方向を決定する。

さて、冒頭の従来技術でも説明したように、２つのマイクで検出された２チャンネルの音響信号の位相差グラフの傾きから音源の方向を推定できることは既知である。
ここで、第一音声入力部３１と第二音声入力部３２から出力されるデジタル化された２つの音響信号Ｓ１、Ｓ２を時系列デジタルデータｘ（ｔ）、ｙ（ｔ）で表すことにする。ただし、ｔは時間である。

第一直交変換部３３及び第二直交変換部３４は、入力された時系列デジタルデータｘ（ｔ）、ｙ（ｔ）から時間的に一定の区間を切り出し、切り出された区間に対して窓関数（ハミング窓等）を乗算する。窓掛け後の区間に対して直交変換（ＦＦＴ等）を行い周波数領域の係数ｘＲｅ［ｆ］、ｙＲｅ［ｆ］、ｘＩｍ［ｆ］、ｙＩｍ［ｆ］を得る。ただし、Ｒｅは実部、Ｉｍは虚部を示す添え字、ｆは周波数である。

位相差算出部３５はクロススペクトルの虚部及び実部を以下の式を用いて求める。

実部：ＣＲｏｓＲｅ［ｆ］
＝ｘＲｅ［ｆ］*ｙＲｅ［ｆ］＋ｘＩｍ［ｆ］*ｙＩｍ［ｆ］ ・・・・（４）
虚部：ＣＲｏｓＩｍ［ｆ］
＝ｙＲｅ［ｆ］*ｘＩｍ［ｆ］−ｘＲｅ［ｆ］*ｙＩｍ［ｆ］ ・・・・（５）

周波数ｉにおける信号ｘ（ｔ）、ｙ（ｔ）間の位相差Ｃ（ｆ）は、クロスペクトルの実部と虚部のなす角度より、次式で求められる。

Ｃ［ｆ］
＝ａｔａｎ２（ＣＲｏｓＲｅ［ｆ］,ＣＲｏｓＩｍ［ｆ］×１８０／π ・・・・（６）

振幅算出部３６は、パワースペクトルを以下の式により求める。

Ｐ［ｆ］
＝ｓｑＲｔ（ｘＲｅ［ｆ］^*ｘＲｅ［ｆ］＋ｘＩｍ［ｆ］^*ｘＩｍ［ｆ］）・・・・（７）

パワー項を導入する意味は、次のとおりである。大抵の音源は基本ピッチ成分を元にした倍音を有している。フーリエ変換等の直交変換を行い、周波数領域でパワースペクトログラムで見ると、ピッチ周波数の定数倍の周波数成分パワー項にピーク（調波構造）を持つことが確認できる。パワーが小さい周波数部（倍音でない部分）は、音源からの影響が小さい部分であるといえる。同様に、パワーが小さい周波数部の位相成分も音源からの影響が小さいといえる。

さらに、２音のマイク信号のクロススペクトルグラム（２音の各周波数成分の位相差を表す）においても、同様にパワー項が小さい周波数成分の位相差も同様に音源からの影響は小さく、ある特定方向の一次の近似関数の評価に与えられる影響が小さいといえる。

このため、異なる方向から複数の音が到来する場合は、クロススペクトルの位相差は非常に乱れ、プロットした点は分散する。この中から有効な周波数のクロススペクトルの位相差値を選択して一次の近似関数の評価することが重要となる。クロススペクトル値の有効度をパワー値として考え、一方の音源方向を示す傾きｋｉにて近似関数を引いた際に、その直線に近い値をとるクロススペクトル値Ｃ［ｆ］のパワー値Ｐ［ｆ］値が大きければ大きいほど、近似関数の評価値も大きくなるように、Ｐ［ｆ］値をもって重み付けを行えばよい。

異なる位置の別の音源から発生された音源は、そのピッチ周波数が同じということはほとんど無く、僅かでもずれている事が普通である。すなわち、複数音源が合成された信号のパワースペクトログラフもそれぞの音源の調波構造にしたがってピークを有する。一方、クロススペクトル値は、二つの信号間の各周波数における位相差を示しているので、異なる方向に複数音源がある場合はクロススペクトル値もそれらの方向に応じて分散する。

ここで、一方の音源方向を示す傾きｋｉでの１次の近似関数を想定する。その方向の音源の倍音構造に起因するパワーピーク周波数では、位相差Ｃ［ｆ］自体も、想定された近似関数上にプロットされる。このプロットは、特にもう一方の音源の倍音構造ピーク値と離れた周波数部分でピークを持つ場合に顕著である。したがって、１次の近似関数を評価する際にパワー値Ｐ［ｆ］が大きく、且つ、クロス値Ｃ［ｆ］が近似直線に近い値を有利にすることが、よりよい評価値を与えることになる。

到来方向評価部３７は、まず、計測された位相差Ｃ［ｆ］及びＰ［ｆ］から推定可能な全ての音源方向を計算する。具体的には、以下の評価関数式（式（８））に基づいて、傾きｋｉなる一次の近似関数の評価値Ｋｉを求める。

そして、推定可能な全ての音源方向がとりうる値の範囲でｋｉを振ってＫｉを求める。式（８）の右辺分母のｋｉ×ｆ−Ｃ［ｆ］の絶対値は、ある周波数ｆにおける傾きｋｉなる近似直線と位相差Ｃ［ｆ］との距離を示す。したがって、距離が近いほど右辺値は大きな値となる。右辺分母のＰ［ｆ］は、ある周波数ｆにおける振幅値を示し、振幅値が小さい程右辺値は小さな値となる。したがって、近似直線と位相差が近い値をとっても、振幅値が小さい場合の評価は小さくなる。この値をある周波数がｆ０〜ｆｎの範囲で積算したものが評価値Ｋｉとなる。

つまり、Ｋｉは、ある傾きｋｉなる一次近似直線の評価に、振幅値による重み付けを考慮したものとなる。Ｋｉ値が大きいほど、傾きｋｉなる近似直線が正しい事を評価する値となる。

図６は、第二実施形態の実験模式図である。この実験模式図は、第一音声入力部３１と第二音声入力部３２の距離（マイク間距離Ｌ）を１５０ｍｍとすると共に、音源Ａの方向θＡを５度に固定し、音源Ｂを時刻４００ミリ秒から方向θＢ１で発生させ、時刻１０００ミリ秒にかけて方向θＢ２へ移動して終了させた場合の実験例である。

図７は、実験結果を示す図である。Ｚ軸がｋｉ値、Ｘ軸がｋｉ値からマイク間距離Ｌ＝１５０ｍｍで換算した到来角度値（度）を示し、ハミング窓６８０ミリ秒、ｆｏ＝５００Ｈｚ、ｆｎ＝２０００Ｈｚで計算を行い、ＺＹ平面にプロットした結果である。Ｘ軸は、ハミング窓を１０ミリ秒単位でずらしながらＺＹ平面をプロットした結果である。

この実験結果からも、左５度付近で音声が終止発生しつづけ、４００ミリ秒付近から１４００ミリ秒付近まで別の音源が発生し、且つ、その別の音源が移動していることが伺える。

なお、この実験においては、５００Ｈｚ以下の音はマイク間距離に対して波長（５００Ｈｚ＝６６０ｍｍ）が長いため、正確にＣ［ｆ］が求めにくいのでｆ０は５００Ｈｚに設定した。また、２０００Ｈｚ以上の音はマイク間距離に対して波長が短すぎる（２０００Ｈｚ＝１６５ｍｍ）ので正確にＣ［ｆ］が求められないことと、音声の倍音構造が短時間ＦＦＴで十分表現できるのが３０００Ｈｚ（第二ホルマント以下）であること、高速化のために無用な計算は必要ないこと、以上により、ｆｎは２０００Ｈｚ以上の打ち切りを行った。

次に、第２実施形態の第１の変形例について述べる。前記の評価式（８）のＰ［ｆ］を、次式（９）で示すＰｂｉ［ｆ］で置き換える。
Ｐｂｉ［ｆ］＝１または０〔１：Ｐ［ｆ］≧Ｐｔｈのとき、０：Ｐ［ｆ］＜Ｐｔｈのとき〕・・・・（９）
この場合、しきい値Ｐｔｈを超えた周波数部分についてのみ位相差スペクトラムを加算していくことになるためノイズ成分に攪乱されることが少なくなる。また、しきい値Ｐｔｈを超えた部分についてはその寄与を定数としているため突出したピークに引きずられることも少なくなる。

次に、第２実施形態の第２の変形例について述べる。
図８は、倍音系列のホルマント変動の説明概念図である。人間の声は、発音する音の種類により、固有のホルマントを持ち、倍音系列のうちいくつかは低く抑えられてしまう。このため、前記の第２実施形態の場合は、低くなった倍音系列が充分に反映されない。
また、第２実施形態の第１変形例の場合は、一種のノーマライズ手法であるが、しきい値が高すぎたときには低く抑えられた倍音は切り捨てられてしまい、逆にしきい値が低すぎたときには倍音以外の部分まで入ってしまう。これを補うために、前記の評価式（８）のＰ［ｆ］を、次式（１０）で示すＰｆｏｒ［ｆ］で置き換える。
Ｐｆｏｒ［ｆ］＝Ｐ［ｆ］または０〔Ｐ［ｆ］：｜ｆ−ｆｐｋ｜＜ｆｔｈのとき、０：｜ｆ−ｆｐｋ｜≧ｆｔｈのとき〕・・・・（１０）
ここで、ｆｐｋはパワースペクトラム状の極大値（各ピーク値）をあたる周波数ｆである。この変形により各音源からの寄与部分をそのパワーに応じて取り込みつつノイズ部分の切り捨てが可能となる。
以上に述べた第２実施形態およびその変形例は以下の数式（式（１１））の形にまとめることができる。

Ｐｗｆ［ｆ］は、周波数毎のパワーを反映させるための関数である。Ｃｓｐ［ｆ］は、音の到来方向を示す一次関数ｋｉ＊ｆと位相差スペクトルとの一致度を示す関数である。ｋｉ＊ｆ−Ｃ［ｆ］は、直線ｋｉ＊ｆと曲線Ｃ［ｆ］が一致するところで値が０となる。Ｃｓｐはその逆数なので、ｋｉ＊ｆとＣ［ｆ］が一致する周波数ｆにおいて大きな値をとる。ｃｏｎｓｔは０での割り算（０除算）を防止するための定数である。また、このｃｏｎｓｔを小さくするほど変化が急峻になる。推定可能な全ての音源方向がとりうる値の範囲でｋｉを振ってＫｉを求め、さらにＫｉのピーク（極大値）を求めることで複数の音源方向を判定できる。

〔第三実施形態〕
図９は、第三実施形態の構成図である。この第三実施形態の音源方向判定装置４０と第二実施形態の音源方向判定装置３０との違いは、第三実施形態の音源方向判定装置４０の振幅算出部３６ａは、両側のチャンネルから得られるＦＦＴ信号Ｓ３、Ｓ４より、両側のチャンネルの振幅値をそれぞれ求める点にあり、また、到来方評価部３７ａは、一次関数の傾きが正の時に片側のチャンネルの振幅値（パワースペクトル信号Ｓ６）を考慮し、負の時は他方のチャンネルの振幅値（パワースペクトル信号Ｓ６）を考慮して傾き評価する点にある。

図１０は、複数音源の配置図である。この図に示すように、中心から左にある音源をｘ、右にある音源をｙとして第二実施形態と同様に式（４）〜（６）により周波数位相差線図をプロットした場合は、左の音源の傾きｋｉは正の方向、右の音源の傾きｋｉは負の方向に現れる。

ここで、左に音源がある場合には、第一音声入力部３１で得られる左音源成分の方が音源に近い分だけ第二音声入力部３２で得られる左音源成分より大きな値となるので、第一音声入力部３１から算出する振幅値をＰＬ（ｆ）とし、第二音声入力部３２から得られる振幅値をＰＲ（ｆ）とすると、ＰＬ及びＰＲ中の音源Ａに起因する振幅成分は、ＰＬ＞ＰＲとなる。ただし、ＰＬ及びＰＲは、次の式で与えられる。

ＰＬ［ｆ］
＝ｓｑＲｔ（ｘＲｅ［ｆ］*ｘＲｅ［ｆ］＋ｘＩｍ［ｆ］*ｘＩｍ［ｆ］）
・・・・（１２）
ＰＲ［ｆ］
＝ｓｑＲｔ（ｙＲｅ［ｆ］*ｙＲｅ［ｆ］＋ｙＩｍ［ｆ］*ｙＩｍ［ｆ］）
・・・・（１３）

傾きｋｉが正の範囲の場合は、前記の評価式（式（８））の振幅値に、第一音声入力部３１から得られる振幅値ＰＬ（ｆ）を用い、第二音声入力部３２から得られる振幅値ＰＲ（ｆ）を用いる。

この第三実施形態では、評価値ｋｉの計算時に、それぞれ音源成分に近い方のマイク（第一音声入力部３１または第二音声入力部３２）から得られる振幅値を用いることにより、音源のより大きい方を到来方向とするＩＩＤ（両耳間強度差）効果を併せ持つという効果がある。

図１（ａ）は、第一実施形態に係るの音源方向判定装置の概念的な構成図、図１（ｂ）は、音源方向判定部１７の概念的な構成図である。 複数の音源（便宜的に第一音源１８と第二音源１９とする）と２つのセンサ（第一センサ１１及び第二センサ１２）との位置関係図である。 図３（ａ）は、パワースペクトル信号Ｓ６を示す図、図３（ｂ）は、位相差スペクトル信号Ｓ５を示す図である。 位相差スペクトル成分分離の概念図である。 第二実施形態の構成図である。 第二実施形態の実験模式図である。 実験結果を示す図である。 倍音系列のホルマント変動を考慮したＰｆｏｒ（ｆ）の説明概念図である。 第三実施形態の構成図である。 複数音源の配置図である。 ２つのマイクと音源との位置関係図である。 ２つのマイクから得られた音響信号の位相差スペクトルを示す図である。 音源方向と位相差スペクトルとの対応関係図である。

符号の説明

１１ 第一センサ（マイク）
１２ 第二センサ（マイク）
１０ 音源方向判定装置
１５ 位相差スペクトル信号生成部（位相差スペクトル生成手段）
１６ パワースペクトル信号生成部（パワースペクトル生成手段）
１７ｃ 判定部（音源方向特定手段）

Claims (2)

1. 所定間隔に配置された二つのマイクにより得られた２チャンネルの音響信号を基に音の到来方向を特定する音源方向判定方法において、
   前記２チャンネルの音響信号における位相差スペクトルを求める第１のステップと、
   前記２チャンネルの音響信号の少なくともいずれか一方のパワースペクトラムを求める第２のステップと、
   前記パワースペクトラムのピークの中から、前記パワースペクトラムが極大値となる周波数から差分が所定値以内である周波数の範囲に対応するピークの極大値近傍部分を選択する選択ステップと、
   前記位相差スペクトラムのうち、前記選択されたピークの極大値近傍部分の周波数に対応する部分を、周波数に関して一次近似した関数である、一次近似関数の傾きを、推定可能な全ての音源方向が取りうる値の範囲で求める推定ステップと、
   前記求められた傾きの一次近似関数夫々について、当該一次近似関数を表わす直線に近い値を取る前記位相差スペクトル内のスペクトル値に対応する前記パワースペクトル内のパワー値が大きいほど、前記一次近似関数の評価を大きくするように評価する評価ステップと、
   前記評価の結果、評価値の大きい一次近似関数に基づいて、音源毎の音源方向を求める第３のステップと
   を含むことを特徴とする音源方向判定方法。
2. 所定間隔に配置された二つのマイクにより得られた２チャンネルの音響信号を基に音の到来方向を特定する音源方向判定装置において、
   前記２チャンネルの音響信号における位相差スペクトルを求める位相差スペクトル生成手段と、
   前記２チャンネルの音響信号の少なくともいずれか一方のパワースペクトラムを求めるパワースペクトル生成手段と、
   前記パワースペクトラムのピークの中から、前記パワースペクトラムが極大値となる周波数から差分が所定値以内である周波数の範囲に対応するピークの極大値近傍部分を選択する選択手段と、
   前記位相差スペクトラムのうち、前記選択されたピークの極大値近傍部分の周波数に対応する部分を、周波数に関して一次近似した関数である、一次近似関数の傾きを、推定可能な全ての音源方向が取りうる値の範囲で求める音源方向推定手段と、
   前記求められた傾きの一次近似関数夫々について、当該一次近似関数を表わす直線に近い値を取る前記位相差スペクトル内のスペクトル値に対応する前記パワースペクトル内のパワー値が大きいほど、前記一次近似関数の評価を大きくするように評価する評価手段と、
   前記評価の結果、評価値の大きい一次近似関数に基づいて、音源毎の音源方向を求める音源方向特定手段と
   を備えたことを特徴とする音源方向判定装置。

Images