JP5692006B2 - 音源推定装置、方法、プログラム、及び移動体 - Google Patents

Description

本発明は、音源推定装置、音源推定方法、音源推定プログラム、及び移動体に関し、特に詳しくは音源を推定する音源推定装置、音源推定方法、及び音源推定プログラム、並びに、該音源推定装置を用いた移動体に関する。

非特許文献１には、ＣＳＰ法（Ｃｒｏｓｓ−ｐｏｗｅｒ Ｓｐｅｃｔｒｕｍ Ｐｈａｓｅ ａｎａｌｙｓｉｓ:白色化相互相関）を用いた技術が開示されている。ＣＳＰ法は、ＧＣＣ−ＰＨＡＴ（Ｇｅｎｅｒａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ ＰＨＡｓｅ Ｔｒａｎｓｆｏｒｍ）アルゴリズムとも呼ばれ、音源方向の推定に用いられている

Ｆｒｉｔｈｊｏｆ Ｈｕｍｍｅｓ, Ｊｕｎｇｅ Ｑｉ, Ｔｉｍ Ｆｉｎｇｓｃｈｅｉｄ著 ＲＯＢＵＳＴ ＡＣＯＵＳＴＩＣ ＳＰＥＡＫＥＲ ＬＯＣＡＬＩＺＡＴＩＯＮ ＷＩＴＨ ＤＩＳＴＲＩＢＵＴＥＤ ＭＩＣＲＯＰＨＯＮＥＳ １９ｔｈ Ｅｕｒｏｐｅａｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｃｏｎｆｅｒｅｎｃｅ （ＥＵＳＩＰＣＯ２０１１） ｐｐ.２４０−２４４

以下、ＣＳＰ法の処理について説明する。図４はＣＳＰ法の処理フローを示すブロック図である。短時間ＤＦＴ部１２１は、２つのマイクロフォン（以下、マイク）が観測した観測信号ｘ_１（ｔ）、ｘ_２（ｔ）に対して、短時間ＤＦＴ（Ｄｉｓｃｒｅｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）処理を行う。これにより、時間領域の観測信号ｘ_１（ｔ）、ｘ_２（ｔ）がそれぞれ時間−周波数領域の観測信号Ｘ_１（ω，ｔ）、Ｘ_２（ω，ｔ）に変換される。

ＣＰＳ係数算出部１２６は、観測信号Ｘ_１（ω，ｔ）、Ｘ_２（ω，ｔ）からＣＳＰ係数ＣＳＰ（ｄ,ｔ）を算出する。なお、ＣＳＰ係数とは、観測信号Ｘ_１（ω，ｔ）、Ｘ_２（ω，ｔ）をその振幅で正規化した相互相関関数である。そして、時間差推定部１２７は、ＣＳＰ係数を最大にするインデックスｄに基づいて、到来時間差τを推定する。この到来時間差τが第１のマイクと第２のマイクで観測した音の到来時間差に対応する。推定された時間差に基づいて、方位推定部１２８が方位θを推定している。

ところで、ＣＳＰ法のアルゴリズムには、音源数は一つであるという仮定がある。そして、ＣＳＰ法では、この仮定に基づいて離散フーリエ変換で得られた全帯域信号を用いて音源方位推定を行っている。まず、観測信号Ｘ_１（ω，ｔ）、Ｘ_２（ω，ｔ）は以下の式（１）、式（２）で表すことができる。

ωは周波数であり、ｔは時間である。Ｘ_１ｓは目的音源からの音を第１のマイクで取得した時の観測信号、Ｘ_２ｓは目的音源からの音を第２のマイクで取得した時の観測信号である。ｔ_１ｓは目的音源と第１のマイクとの距離に応じた時間であり、ｔ_２ｓは目的音源と第２のマイクの距離に対応する時間である。τ（ｔ）は、第１のマイクと第２のマイクとの間の音の到来時間差である。音源数が１つであると仮定すると、ＣＳＰ係数は式（３）で表せる。

なお、式（３）において、＊は共役を示している。しかしながら、実環境では、音源数は必ずしも一つではなく、環境雑音や干渉音の混入がある。このため、複数音源の混合信号が観測される。この混合信号は、式（４）、式（５）で表すことができる。

式（４）、式（５）において、ｎは雑音となる音源（雑音源）の数である。また、Ｘ_１Ｎｎは、ｎ番目の雑音源からの音を第１のマイクで観測した時の観測信号であり、ｔ_１Ｎｎはｎ番目の雑音源と第１のマイクとの距離に対応する時間である。同様に、Ｘ_２Ｎｎは、ｎ番目の雑音源からの音を第２のマイクで観測した時の観測信号であり、ｔ_２Ｎｎはｎ番目の雑音源と第２のマイクとの距離に応じた時間に対応している。τ_ｓは目的音源からの音の到達時間差であり、τ_Ｎｎは、ｎ番目の雑音源からの音の到来時間差である。

以下、説明を簡単にするため、目的音源数を１、雑音源数を１とする。この場合、観測信号は以下の式（６）、式（７）で表される。

ＣＳＰ係数は、以下の式（８）で展開される。

高ＳＮＲ（Ｓｉｇｎａｌ Ｎｏｉｓｅ Ｒａｔｉｏ）の場合、すなわち、低雑音環境下の場合、以下の式（９）の近似式が成立する。

従って、ＣＳＰ係数の算出式は、以下の式（１０）のように展開されるため、目的音源の方位推定が可能となる。

低ＳＮＲの場合、すなわち、高雑音環境下の場合、式（９）の近似式が成立しない。従って、式（１１）に示されるように、雑音成分の到来位相差等（式（１１）のリージョン項）がＣＳＰ係数列に影響を与える。

式（１２）、式（１３）に示すように、ＣＳＰ係数を最大にするインデックスｄを探索し、そのインデックスｄを変換することによって、音源の方位が算出される。

上記のように、ＣＳＰ法では、振幅情報を正規化して、位相差情報だけで算出している。さらに、非特許文献１に記載の方法では、ウィーナーフィルタ（Ｗｉｅｎｅｒ Ｆｉｌｅｔｅｒ）を用いている。このような音源方向の推定では、より精度を高くすることが望まれている。例えば、マイクに対して、雑音源や目的音源が相対的に移動している場合に、より正確に方向を推定することが望まれている。

本発明は、上記の問題点に鑑みてなされたものであり、正確に音源を推定することができる音源推定装置、音源推定方法、及び音源推定プログラムを提供することを目的とする。

本発明の一態様にかかる音源推定装置は、少なくとも２つのマイクによって取得された観測信号を用いて、音源の方向を推定する音源推定装置であって、前記観測信号に含まれる雑音成分を推定する雑音推定部と、前記雑音推定部で推定された雑音成分に基づいて、マスクを生成するマスク生成部と、前記マスク生成部で生成されたマスクの信頼度を算出する信頼度算出部と、前記マスク、及び前記マスクの信頼度によって補正されたＣＳＰ係数を算出するＣＳＰ係数算出部と、補正された前記ＣＳＰ係数に基づいて、音源の方向を推定する推定部と、を備えたものである。このようにマスクとマスクの信頼度を導入することで、正確に音源を推定することができる。

上記の音源推定装置において、補正された前記ＣＳＰ係数を最大とするインデックスに基づいて、２つの前記マイクに音が到来する到来時間差を算出し、前記到来時間差に基づいて、前記推定部が音源の方向を推定し、前記補正されたＣＳＰ係数の最大値に応じて、推定された方向に目的とする音源が存在するか否かを判定してもよい。このようにすることで、より正確に音源を推定することができる。

上記の音源推定装置において、前記マスクが、周波数に応じた離散的な値であり、２つの前記マイクからの観測信号の相互相関と前記マスクとの積を逆フーリエ変換することによって、補正された前記ＣＳＰ係数が算出されていてもよい。

上記の音源推定装置において、前記逆フーリエ変換した値に前記信頼度を乗じることによって、補正された前記ＣＳＰ係数が算出されていてもよい。

本発明の一態様にかかる移動体は、上記の音源推定装置を搭載した移動体であって、前記移動体の動作状態に応じた車両信号に基づいて、前記雑音推定部が雑音推定を行うことを特徴とするものである。このようにすることで、適切なタイミングで推定された雑音成分を用いて、音源を推定することができる。

上記の移動体において、前記移動体がマスクを予め記憶したマスク記憶部と、前記移動体の動作状態に応じた車両信号に基づいて、前記マスク記憶部に記憶されたマスクと、前記マスク生成部で生成されたマスクのいずれかを選択するマスク選択部と、をさらに備えていてもよい。このようにすることで、適切なマスクを用いて音源を推定することができる。

本発明の一態様にかかる音源推定方法は、少なくとも２つのマイクによって取得された観測信号を用いて、音源の方向を推定する音源推定方法であって、前記観測信号に含まれる雑音成分を推定するステップと、前記雑音成分に基づいて、マスクを生成するステップと、前記マスクの信頼度を算出するステップと、前記マスク、及び前記マスクの前記信頼度によって補正されたＣＳＰ係数を算出するステップと、補正された前記ＣＳＰ係数に基づいて、音源の方向を推定するステップと、を備えたものである。このようにマスクとマスクの信頼度を導入することで、正確に音源を推定することができる。

上記の音源推定方法において、補正された前記ＣＳＰ係数を最大とするインデックスに基づいて、２つの前記マイクに音が到来する到来時間差を算出し、前記到来時間差に基づいて、前記推定部が音源の方向を推定し、前記補正されたＣＳＰ係数の最大値に応じて、推定された方向に目的とする音源が存在するか否かを判定してもよい。このようにすることで、より正確に音源を推定することができる。

上記の音源推定方法において、前記マスクが、周波数に応じた離散的な値であり、２つの前記マイクからの観測信号の相互相関と前記マスクとの積を逆フーリエ変換することによって、補正された前記ＣＳＰ係数が算出されていてもよい。

上記の音源推定方法において、前記逆フーリエ変換した値に前記信頼度を乗じることによって、補正された前記ＣＳＰ係数が算出されていてもよい。

上記の音源推定プログラムは、少なくとも２つのマイクによって取得された観測信号を用いて、音源の方向を推定する音源推定プログラムであって、コンピュータに対して、前記観測信号に含まれる雑音成分を推定するステップと、前記雑音成分に基づいて、マスクを生成するステップと、前記マスクの信頼度を算出するステップと、前記マスク、及び前記マスクの前記信頼度によって補正されたＣＳＰ係数を算出するステップと、補正された前記ＣＳＰ係数に基づいて、音源の方向を推定するステップと、を実行させるものである。このようにマスクとマスクの信頼度を導入することで、正確に音源を推定することができる。

上記の音源推定プログラムは、コンピュータに対して、補正された前記ＣＳＰ係数を最大とするインデックスに基づいて、２つの前記マイクに音が到来する到来時間差を算出させ、前記到来時間差に基づいて、前記推定部が音源の方向を推定させ、前記補正されたＣＳＰ係数の最大値に応じて、推定された方向に目的とする音源が存在するか否かを判定させてもよい。このようにすることで、より正確に音源を推定することができる。

上記の音源推定プログラムは、前記マスクが、周波数に応じた離散的な値であり、
２つの前記マイクからの観測信号の相互相関と前記マスクとの積を逆フーリエ変換することによって、補正された前記ＣＳＰ係数が算出されていてもよい。

上記の音源推定プログラムは、前記逆フーリエ変換した値に前記信頼度を乗じることによって、補正された前記ＣＳＰ係数が算出されていてもよい。

本発明によれば、正確に音源を推定することができる音源推定装置、音源推定方法、音源推定プログラム、及びそれを用いた移動体を提供することができる。

実施の形態にかかる音源推定装置の構成を示すブロック図である。 音源推定装置におけるフローを示すブロック図である。 実施の形態にかかる音源推定装置の応用例を示すブロック図である。 ＣＳＰ法による音源推定を説明する図である。

以下、本発明に係る音源推定装置の実施形態を、図面に基づいて詳細に説明する。但し、本発明が以下の実施形態に限定される訳ではない。また、説明を明確にするため、以下の記載及び図面は、適宜、簡略化されている。

まず、本発明の実施の形態にかかる音源推定装置について、図１を用いて説明する。図１は、音源推定装置のシステム構成を示すブロック図である。本実施の形態に係る音源推定装置は、音源の方向を推定している。さらに、推定された音源の方向に目的とする音源が存在するか否かを判定している。例えば、本実施の形態にかかる音源推定装置を、車両に搭載する。そして、音源である他の車両の方向、並びに、他の車両が近くに存在しているか否かを検出している。このようにすることで、接近車両の有無、及びその方向を検出することができる。これにより、車両が接近していることを効果的に報知することができ、交通事故の防止に資することができる。

図１に示すように、音源推定装置は、マイク１１、マイク１２、マイクアンプ１３、マイクアンプ１４、ＡＤ変換器１５、及びＣＰＵ１６を備えている。図１においては、二つのマイク１１、１２しか示されていないが、マイクの数は特に限定されるものではない。マイクの数は複数であればよく、例えば、３以上であってもよい。例えば、複数のマイクがアレイ状に配列されたマイクロホンアレーを用いることができる。そして、多数のマイクのうちの２つのマイクに対して、以下の処理を行う。こうすることで、音源の方向の推定が可能とある。さらに、一対のマイクを複数用意して、それぞれに対して以下の処理を行うことで、音源の位置を特定することもできる。

マイク１１とマイク１２とは、距離Ｄだけ隔てて配置されている。マイク１１、１２がθ（ｔ）の方向からの音を検出したとする。すなわち、図１では、目的音源がθ（ｔ）の方向にあるとしている。マイク１１、１２は、検出した音に応じた観測信号を出力する。

マイクアンプ１３、１４は、マイク１１、マイク１２からの観測信号をそれぞれ増幅して、Ａ／Ｄ変換器１５に出力する。ＡＤ変換器１５は、入力された観測信号をＡ／Ｄ変換する。Ａ／Ｄ変換器１５から出力されたデジタルの観測信号は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）に入力される。ＣＰＵ１６は、Ａ／Ｄ変換器１５からの観測信号に対して、音源方向を推定するための演算処理を行う。ＣＰＵ１６は、図示しないＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）に記憶されているプログラムやパラメータ等を参照して、処理を行う。

次に、ＣＰＵ１６における処理ブロックの構成について図２を用いて説明する。図２は、ＣＰＵ１２の構成を示すブロック図である。ＣＰＵ１６は、Ａ／Ｄ変換器１５からの観測信号に対して、ブロックに従った処理を行う。ＣＰＵ１６は、短時間ＤＦＴ部２１と、短時間ＤＦＴ部２２と、雑音推定器２３と、マスク生成部２４と、Ｒｅｌｉａｂｉｌｉｔｙ生成部２５と、時間周波数補正型のＣＳＰ係数算出部２６と、時間差推定部２７と、方位推定部２８と、を備えている。

マイク１１によって観測される観測信号を観測信号ｘ_１（ｔ）とし、マイク１２によって観測される信号を観測信号ｘ_２（ｔ）としている。短時間ＤＦＴ部２１、２２では、観測信号ｘ_１、ｘ_２（ｔ）を短時間離散フーリエ変換する。例えば、所定時間の観測信号をバッファやメモリに記憶して、その観測信号を、複数のフレームに分割する。例えば、時間領域において、隣接フレームが半分重なるように、ハーフシフトによってフレーム分割している。また、窓関数を用いて、フレーム分割しても良い。さらに、フレーム分割された観測信号を離散フーリエ変換する。このようにすることで、時間領域の観測信号ｘ_１（ｔ）、ｘ_２（ｔ）がそれぞれ時間−周波数領域の観測信号Ｘ_１（ω，ｔ）、Ｘ_２（ω，ｔ）に変換される。短時間ＤＦＴ部２１、２２は、観測信号Ｘ_１（ω，ｔ）、Ｘ_２（ω，ｔ）を雑音推定器２３、マスク生成部２４、ＣＳＰ係数算出部２６に出力する

雑音推定器２３は、観測信号Ｘ_１（ω，ｔ）、Ｘ_２（ω，ｔ）を用いて、雑音を推定する。例えば、過去時間における時間平均やＮｕｌｌｂｅａｍｆｏｒｍｅｒ等のマイクロホンアレイによる推定方法を用いることができる。具体的には、以下の式（１４）を用いて雑音推定することができる。なお、式（１４）において、Ｓはフレームの分割数である。

雑音推定器２３は、推定した雑音Ｎ（ω,ｔ）をマスク生成部２４に出力する。マスク生成部２４は、周波数に応じてＣＳＰ係数をマスキングするマスクＭ（ω,ｔ）を生成する。マスク生成部２４は、雑音Ｎ（ω,ｔ）、及び観測信号Ｘ_１（ω，ｔ）、Ｘ_２（ω，ｔ）を用いて、マスクＭ（ω，ｔ）を算出する。例えば、式（９）で示した近似式の成立／不成立は、到来した音の各周波数におけるＳＮ比（ＳＮＲ）で決まる。このため、ＳＮ比を推定して、近似式が成立するか否かを判定する。近似式が成立しない周波数帯域、すなわち雑音が高い帯域に対しては、マスキング処理を行うための処理を導入する。こうすることで、雑音成分の影響が小さい帯域だけでＣＳＰ係数を算出することが可能となる。これにより、低ＳＮＲ環境（高雑音環境下）においても、頑健に動作する音源方向推定が可能となる。

例えば、雑音Ｎ（ω,ｔ）をしきい値と比較して、その比較結果に応じてＭ（ω,ｔ）を設定すればよい。具体的には、雑音Ｎ（ω,ｔ）の値がしきい値よりも大きい場合、Ｍ（ω,ｔ）＝０とし、しきい値よりも小さい場合、Ｍ（ω,ｔ）＝０とする。このように、マスクＭ（ω，ｔ）は周波数に応じた離散的な値となっている。マスク生成部２４で生成したマスクＭ（ω,ｔ）は、Ｒｅｌｉａｂｉｌｉｔｙ生成部２５と時間周波数補正型のＣＳＰ係数算出部２６とに入力される。

Ｒｅｌｉａｂｉｌｉｔｙ生成部２５はマスクＭ（ω，ｔ）の信頼度を示すＲｅｌｉａｂｉｌｉｔｙ（ｔ）を算出する。上記のように、雑音Ｎ（ω，ｔ）に応じて、Ｍ（ω,ｔ）の値が変化している。従って、Ｍ（ω,ｔ）＝１となる周波数が多いほど、雑音が少なく、信頼度が高くなると考えられる。一方、Ｍ（ω,ｔ）＝０となる周波数が多いほど、雑音が多く、信頼度が低くなると考えられる。このような場合、観測信号中に含まれる目的音源からの信号成分が少ないため、推定された目的音源の方向の信頼性が低くなる。従って、マスクＭ（ω，ｔ）の信頼度を示すＲｅｌｉａｂｉｌｉｔｙ（ｔ）を導入することで、より正確に音源の方向を推定することができる。すなわち、雑音成分と信号成分とに基づいて、マスクＭ（ω，ｔ）とＲｅｌｉａｂｉｌｉｔｙ（ｔ）とを用いることで、時間―周波数補正を行ったＣＳＰ係数を算出することができる。

例えば、Ｒｅｌｉａｂｉｌｉｔｙ（ｔ）が、以下の式（１５）を用いて求めることができる。

なお、Ωは、ωのカウント数である。すなわち、Ω個のωに対するＭ（ω，ｔ）が算出されているものとしている。例えば、Ω＝１００の場合、すなわち、ある時間において１００個のＭ（ω，ｔ）が算出された場合、１００個中１０個のＭ（ω，ｔ）が１であり、９０個のＭ（ω，ｔ）が０であったとする。このときのＲｅｌｉａｂｉｌｉｔｙ（ｔ）は０．１（＝１０／１００）となる。この場合、信頼度が低いことになる。一方、Ω＝１００の場合で、１００個中１００個のＭ（ω，ｔ）が１００であり、０個のＭ（ω，ｔ）が０であったとする。このときのＲｅｌｉａｂｉｌｉｔｙ（ｔ）は１（＝１００／１００）となる。この場合、信頼度が高いことになる。

Ｒｅｌｉａｂｉｌｉｔｙ生成部２５は、Ｒｅｌｉａｂｉｌｉｔｙ（ｔ）を時間−周波数補正型のＣＳＰ係数算出部２６に出力する。さらに、ＣＳＰ係数算出部２６には、短時間ＤＦＴ部２１、２２からの観測信号Ｘ_１（ω，ｔ）、観測信号Ｘ_２（ω，ｔ）が入力されている。

ＣＳＰ係数算出部２６は、Ｒｅｌｉａｂｉｌｉｔｙ（ｔ）、観測信号Ｘ_１（ω，ｔ）、観測信号Ｘ_２（ω，ｔ）に基づいて、ＣＳＰ係数ＣＳＰ（ω，ｔ）を算出する。ＣＳＰ（ω，ｔ）は、例えば、式（１６）を用いて求めることができる。

式（１６）に示されるように、ＣＳＰ係数算出部２６は、観測信号Ｘ_１（ω，ｔ）、Ｘ_２（ω，ｔ）をその振幅で正規化した相互相関関数とマスクＭ（ω，ｔ）との積に対して逆離散フーリエ変換（ＩＤＦＴ）を実行している。そして、ＣＳＰ係数算出部２６は逆離散フーリエ変換した値に、Ｒｅｌｉａｂｉｌｉｔｙ（ｔ）を乗じることで、ＣＳＰ係数を求めている。換言すると、Ｒｅｌｉａｂｉｌｉｔｙ（ｔ）がＣＳＰ係数の重み付けの値となっている。このようにすることで、時間及び周波数に対する補正が行われたＣＳＰ係数ＣＳＰを求めることができる。

ＣＳＰ係数算出部２６は、算出したＣＳＰ係数を時間差推定部２７に出力する。時間差推定部２７は、ＣＳＰ係数から到来時間差τ（ｔ）を推定する。これにより、２つのマイク１１、１２に到来する音の時間差を求めることができる。例えば、到来時間差τ（ｔ）は、式（１７）を用いて算出することができる。

なお、sampling frequencyは、サンプリング周波数である。式（１７）ではＣＳＰ係数ＣＳＰ（ｄ，ｔ）を最大とするインデックスｄを算出している。そして、このインデックスｄをサンプリング周波数で除することによって、到来時間差τ（ｔ）が算出される。このように、ＣＳＰ係数、すなわち、振幅で正規化した観測信号Ｘ_１（ω，ｔ）、Ｘ_２（ω，ｔ）の相互相関関数に基づいて、到来時間差τ（ｔ）を算出している。ＣＳＰ法では、振幅情報を正規化して、位相差スペクトル情報を元にＣＳＰ係数を算出している。従って、ＣＳＰ法は、他の音源方位推定技術よりも残響の影響に対して頑健な性質を持っている。

方位推定部２８は到来時間差τ（ｔ）に基づいて、マイク１１、１２に対して音が到来した方位θ（ｔ）を推定する。これにより、音源の方向を推定することができる。例えば、式（１８）を用いて方位θ（ｔ）を推定することができる。なお、Ｃは音速である。

判定部２９は、ＣＳＰ係数ＣＳＰの値に応じて方位θ（ｔ）に、目的とする目的音源が存在しているかいかなを判定する。例えば、目的音源が他の車両であったとする。この場合、ＣＳＰ係数が最大となるインデックスｄの時のＣＳＰ係数ＣＳＰの値に応じて、方位θ（ｔ）に他の車両が存在しているか否かを判定している。ＣＳＰ係数の最大値がしきい値よりも大きい時は、雑音成分が低く、信頼度が高い。従って、θ（ｔ）の方向に他の車両が存在していると判定する。一方、ＣＳＰ係数の最大値がしきい値よりも小さい時は、雑音成分が高く、信頼度が低い。従って、θ（ｔ）の方向に他の車両が存在していないと判定する。

このように、ＣＳＰ係数ＣＳＰとしきい値とを比較することで、方位θ（ｔ）に音源があるか否かを推定することができる。ＣＳＰ係数ＣＳＰと比較するしきい値は、実験結果等に応じて、ユーザが予め設定してもよい。ＣＳＰ係数ＣＳＰの最大値に応じて、方位θ（ｔ）に目的音源があるか否かを検出している。よって、信頼性を向上することができる。

このようなＣＳＰ係数に基づく判定手法は、例えば、「複数車両に対応したマイクロホンアレーによる接近車両検出システムの構築」 坂野秀樹 他著 電子情報通信学会技術研究報告;巻号:２０１１−３−１８, １１０, ４７１ ; ｐｐ１３−１６に記載された手法を用いることができる。

上記の音源推定方法を用いることで、目的音源の方向をより正確に推定することが可能になる。マスクＭ（ω，ｔ）を導入することで、雑音成分の高い周波数の影響を低減することができる。さらに、マスクＭ（ω，ｔ）の信頼性を示すＲｅｌｉａｂｉｌｉｔｙ（ｔ）を導入することで、信頼性の低いタイミングにおいて方向が推定されるのを防ぐことができる。すなわち、信号成分の高いタイミングでの推定が可能となる。これにより、目的となる音源の方向をより正確に推定することができる。

上記の説明では、マスクＭ（ω,ｔ）をバイナリ、すなわち、（０，１）の２値で設定したが、マスクＭ（ω,ｔ）は（０，１）の２値に限られるものではない。すなわち、マスクＭ（ω，ｔ）の値を、段階的、あるいは連続的に設定してよい。例えば、雑音Ｎ（ω，ｔ）を複数のしきい値と比較して、マスクＭ（ω，ｔ）を０から１の間で多段階に算出してもよい。さらには、マスクＭ（ω，ｔ）を０から１の間の連続値として算出してもよい。具体的には、以下の式（１９）または式（２０）で示されたウィーナーフィルタを用いて、マスクＭ（ω，ｔ）を算出することができる。

なお、γは、実験結果等に応じて予め設定しておくことができるパラメータであり、２あるいは２以外の実数とすることができる。こうすることで、擬似パラメトリックウィーナーフィルタを用いて、マスクを生成することができる。同様に、βも実験結果等に応じて予め設定しておくことができるパラメータであり、１あるいは１以外の実数とすることができる。このように、雑音成分の高い周波数の影響を排除又は抑制することができるマスクＭ（ω，ｔ）を導入することができる。またマスクＭ（ω，ｔ）の値を連続値として設定した場合でも、上記の式（１５）を用いて、Ｒｅｌｉａｂｉｌｉｔｙ（ｔ）を算出することができる。

上記の音源推定装置は、移動体への搭載に好適である。自動車、移動ロボット、オートバイなどの移動体では、自己が移動しながら、音源方向を推定することになる。さらには、他の移動体が移動している公道等の環境下では、音源である他の移動体も移動することになる。このような場合、目的音源に対して移動体が相対的に移動しながら、音源推定装置が音源方向の推定を行う。目的音源と音源推定装置が相対的に移動している環境下において、上記の音源推定処理を行う。上記の音源推定処理では、時間補正が行われたＣＳＰ係数を用いているため、より正確に方向を推定することができる。すなわち、Ｒｅｌｉａｂｉｌｉｔｙ（ｔ）を導入して、信頼度の高いタイミングでの観測信号から音源方向を推定しているため、推定精度を向上することができる。

以下に、音源推定装置を移動体である車両に搭載した例について、図３を用いて説明する。図３は、音源推定装置を搭載した車両の要部を示すブロック図である。車両３０は、車両信号取得部３１と、雑音推定器起動部３２を有している。さらに、マスク記憶部４１と、マスク選択部４２が、図２で示した音源推定装置に追加されている。なお、図２で示した、短時間ＤＦＴ部２１、短時間ＤＦＴ部２２、時間差推定部２７、方位推定部２８、及び判定部２９については、同様の処理を行うため、図３では図示を省略している。図３に示す構成では、下記に示すように、マスクＭ（ω，ｔ）を動的に生成している。

車両信号取得部３１は、車両３０に関する車両信号を取得する。車両信号取得部３１は例えば、車両３０の制御信号や操作信号を車両信号として取得する。具体的には、車両３０が自動車であるとすると、車両３０に設けられたワイパーやヘッドライトのオンオフを車両信号として取得する。さらには、車両３０の走行速度や、ブレーキペダルやアクセルペダルの踏み込み量、地図情報やＧＰＳからの位置情報を車両信号としてもよい。また、カメラやレーダからの他のセンサからの認識結果を車両信号としてもよい。車両信号は、車両３０の動作状態に関する情報であればよい。車両信号取得部３１は、取得した車両信号を、雑音推定器起動部３２と、マスク選択部４２に出力する。

雑音推定器起動部３２は、車両３０の動作状態に応じた車両信号に基づいて、雑音推定器２３を起動させる。雑音推定器２３は、雑音推定器起動部３２からの指示によって、雑音推定を開始する。環境中の雑音が変化した場合、雑音推定器起動部３２は雑音推定器２３を起動させる。例えば、車速がある速度以下（例えば、２０ｋｍ／ｈ以下）になったタイミングで、雑音推定器起動部３２が雑音推定器２３を起動してもよい。これにより、車速が一定速度以下になったタイミングで、雑音推定が行われる。あるいは、ブレーキペダルやアクセルペダルに踏み込み量に基づいて、雑音推定器起動部３２が雑音推定器２３を起動してもよい。さらには、地図情報とＧＰＳからの位置情報に基づいて、雑音推定器起動部３２が雑音推定器２３を起動してもよい。具体的には、交通事故が多い交差点等の地点に車両３０が近づいた場合、その直前での雑音推定によって、マスクを生成するようにしてもよい。さらには、カメラやレーザなどの他のセンサの認識結果から、雑音推定器起動部３２が雑音推定器２３を起動してもよい。このように、車両３０の周囲の環境が変わったタイミングや、車両３０の動作が変化したタイミングで、雑音推定が行われるよう、雑音推定器起動部３２が雑音推定器２３を起動させる。

マスク記憶部４１は、予め設定された一つ以上のマスクＭ（ω，ｔ）を記憶している。例えば、商品開発時に実験等によってマスクを求めておき、商品製造時にマスク記憶部４１に予め記憶させておく。さらに、マスク記憶部４１は、マスク生成部２４が生成したマスクＭ（ω，ｔ）を記憶する。具体的は、ワイパーが動作している状態の雑音成分を予め集音し、その集音結果に基づいてマスクを予め生成しておく。あるいは、ある速度で走行している車両のエンジン音を集音して、その集音結果に基づいてマスクを予め生成しておく。このようなマスクをマスク記憶部４１に予め記憶させておく。

マスク選択部４２は、状況に応じて、以下の（ａ）〜（ｃ）を選択する。
（ａ）その場で生成したマスク
（ｂ）マスク記憶部４１に商品製造時に予め記憶されているマスク
（ｃ）マスクを使用しない（すなわち、Ｍ（ω，ｔ）の全要素が常時１となるマスク）

（ａ）のマスクは、上述したように、その場で取得した観測信号Ｘ_１（ω，ｔ）、観測信号Ｘ_２と、それらから推定された雑音Ｎ（ω、ｔ）を用いて生成される。（ａ）のマスクは、現在の環境や車両３０の動作状態に応じたマスクとなっている。一方、マスク記憶部４１は、その場の観測信号によらないマスクを予め記憶している。

マスク選択部４２は、車両信号に基づいて、上記の（ａ）〜（ｃ）のマスクのいずれか１つを選択する。例えば、ワイパースイッチがオンの場合とオフの場合とで、雨天時のマスクと、晴天時のマスクを切り替える。具体的には、雨天時のマスクは（ｂ）のマスクとし、晴天時のマスクは（ａ）のマスクとすることができる。さらに、ヘッドライトがオンの場合と、オフの場合とで、夜用のマスクと、日中用のマスクとを切り替える。地図情報とＧＰＳからの位置情報から、市街地や郊外等の場所の特性に応じたマスクを切り替えるようにしてもよい。このように、マスク選択部４２は、車両３０の動作状況に応じて最適なマスクを選択する。

上述したように、車両３０の状況を示す車両情報に基づいて、雑音推定器２３を起動させている。従って、車両３０の状況変化に応じて、雑音モデル、すなわち、マスクＭ（ω，ｔ）を動的に生成することができる。車両３０の周囲の雑音の態様が刻々と変化する場合でも適切なタイミングでマスクＭ（ω，ｔ）を生成することができる。これにより、音源の方向を正確に推定することができる。さらに、マスク記憶部４１に記憶されたマスクと、その場で生成したマスクを車両信号に応じて使い分けている。これにより、より正確に音源を推定することができるようになる。車両３０に音源推定装置を搭載することで、交差点等において、死角となる横道からの接近車両の認知が可能となる。

なお、上記の説明では、音源推定装置が自動車である車両３０に搭載されている例について説明したが、音源推定装置を搭載する移動体は特に限定されるものではない。例えば、オートバイ、移動ロボット等に音源推定装置を搭載してもよい。移動ロボットに音源推定装置を搭載することで、ユーザの声の方向に振り返ったり、異常音を検知することも可能になる。

上述した音源推定処理は、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、若しくはＣＰＵ（Central Processing Unit）又はこれらの組み合わせを含むコンピュータにプログラムを実行させることによって実現してもよい。

上述の例において、音源推定処理をコンピュータに行わせるための命令群を含むプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１１ マイク
１２ マイク
１３ マイクアンプ
１４ マイクアンプ
１５ Ａ／Ｄ変換器
１６ ＣＰＵ
２１ 短時間ＤＦＴ部
２２ 短時間ＤＦＴ部
２３ 雑音推定器
２４ マスク生成部
２５ Ｒｅｌｉａｂｉｌｉｔｙ生成部
２６ ＣＳＰ係数算出部
２７ 時間差推定部
２８ 方位推定部
２９ 判定部
３０ 車両
３１ 車両信号取得部
３２ 雑音推定器起動部
４１ マスク記憶部
４２ マスク選択部

Claims (14)

1. 少なくとも２つのマイクによって取得された観測信号を用いて、音源の方向を推定する音源推定装置であって、
   前記観測信号に含まれる雑音成分を推定する雑音推定部と、
   前記雑音推定部で推定された雑音成分に基づいて、周波数に応じてＣＳＰ係数をマスキングするマスクを生成するマスク生成部と、
   前記マスク生成部で生成されたマスクに対して、推定する音源の方向の信頼性を示すマスクの信頼度を算出する信頼度算出部と、
   前記マスク、及び前記マスクの信頼度によって前記ＣＳＰ係数を補正して、補正されたＣＳＰ係数を算出するＣＳＰ係数算出部と、
   補正された前記ＣＳＰ係数に基づいて、音源の方向を推定する推定部と、を備えた音源推定装置。
2. 補正された前記ＣＳＰ係数を最大とするインデックスに基づいて、２つの前記マイクに音が到来する到来時間差を算出し、
   前記到来時間差に基づいて、前記推定部が音源の方向を推定し、
   前記補正されたＣＳＰ係数の最大値に応じて、推定された方向に目的とする音源が存在するか否かを判定する請求項１に記載の音源推定装置。
3. 前記マスクが、周波数に応じた離散的な値であり、
   ２つの前記マイクからの観測信号の相互相関と前記マスクとの積を逆フーリエ変換することによって、補正された前記ＣＳＰ係数が算出されることを特徴とする請求項１、又は２に記載の音源推定装置。
4. 前記逆フーリエ変換した値に前記信頼度を乗じることによって、補正された前記ＣＳＰ係数が算出される請求項３に記載の音源推定装置。
5. 請求項１〜４のいずれか１項に音源推定装置を搭載した移動体であって、
   前記移動体の動作状態に応じた車両信号に基づいて、前記雑音推定部が雑音推定を行うことを特徴とする移動体。
6. 前記移動体がマスクを予め記憶したマスク記憶部と、
   前記移動体の動作状態に応じた車両信号に基づいて、前記マスク記憶部に記憶されたマスクと、前記マスク生成部で生成されたマスクのいずれかを選択するマスク選択部と、をさらに備える請求項５に記載の移動体。
7. 少なくとも２つのマイクによって取得された観測信号を用いて、音源の方向を推定する音源推定方法であって、
   前記観測信号に含まれる雑音成分を推定するステップと、
   前記雑音成分に基づいて、周波数に応じてＣＳＰ係数をマスキングするマスクを生成するステップと、
   生成された前記マスクに対して、推定する音源の方向の信頼性を示すマスクの信頼度を算出するステップと、
   前記マスク、及び前記マスクの前記信頼度によって前記ＣＳＰ係数を補正して、補正されたＣＳＰ係数を算出するステップと、
   補正された前記ＣＳＰ係数に基づいて、音源の方向を推定するステップと、を備えた音源推定方法。
8. 補正された前記ＣＳＰ係数を最大とするインデックスに基づいて、２つの前記マイクに音が到来する到来時間差を算出し、
   前記推定するステップでは、前記到来時間差に基づいて、音源の方向を推定し、
   前記補正されたＣＳＰ係数の最大値に応じて、推定された方向に目的とする音源が存在するか否かを判定する請求項７に記載の音源推定方法。
9. 前記マスクが、周波数に応じた離散的な値であり、
   ２つの前記マイクからの観測信号の相互相関と前記マスクとの積を逆フーリエ変換することによって、補正された前記ＣＳＰ係数が算出されることを特徴とする請求項７、又は８に記載の音源推定方法。
10. 前記逆フーリエ変換した値に前記信頼度を乗じることによって、補正された前記ＣＳＰ係数が算出される請求項９に記載の音源推定方法。
11. 少なくとも２つのマイクによって取得された観測信号を用いて、音源の方向を推定する音源推定プログラムであって、
    コンピュータに対して、
    前記観測信号に含まれる雑音成分を推定するステップと、
    前記雑音成分に基づいて、周波数に応じてＣＳＰ係数をマスキングするマスクを生成するステップと、
    生成された前記マスクに対して、推定する音源の方向の信頼性を示すマスクの信頼度を算出するステップと、
    前記マスク、及び前記マスクの前記信頼度によって前記ＣＳＰ係数を補正して、補正されたＣＳＰ係数を算出するステップと、
    補正された前記ＣＳＰ係数に基づいて、音源の方向を推定するステップと、
    を実行させる音源推定プログラム。
12. コンピュータに対して、
    補正された前記ＣＳＰ係数を最大とするインデックスに基づいて、２つの前記マイクに音が到来する到来時間差を算出させ、
    前記推定するステップでは、前記到来時間差に基づいて、音源の方向を推定させ、
    前記補正されたＣＳＰ係数の最大値に応じて、推定された方向に目的とする音源が存在するか否かを判定させる請求項１１に記載の音源推定プログラム。
13. 前記マスクが、周波数に応じた離散的な値であり、
    ２つの前記マイクからの観測信号の相互相関と前記マスクとの積を逆フーリエ変換することによって、補正された前記ＣＳＰ係数が算出されることを特徴とする請求項１１、又は１２に記載の音源推定プログラム。
14. 前記逆フーリエ変換した値に前記信頼度を乗じることによって、補正された前記ＣＳＰ係数が算出される請求項１３に記載の音源推定プログラム。

Images