JP3862685B2

JP3862685B2 - 音源方向推定装置、信号の時間遅延推定装置及びコンピュータプログラム

Info

Publication number: JP3862685B2
Application number: JP2003306779A
Authority: JP
Inventors: フランクガーピンスーン; セバスチャンガスニエー; 光徳水町; 哲中村
Original assignee: ATR Advanced Telecommunications Research Institute International
Current assignee: ATR Advanced Telecommunications Research Institute International
Priority date: 2003-08-29
Filing date: 2003-08-29
Publication date: 2006-12-27
Anticipated expiration: 2023-08-29
Also published as: JP2005077205A

Description

この発明は音源の方向（ＤｉｒｅｃｔｉｏｎＯｆＡｒｒｉｖａｌ：ＤＯＡ）を特定するための技術に関し、特に、マイクロフォンアレイにより得られた信号を低周波数でサンプリングした場合でもＤＯＡを高精度で推定可能にするための装置、及び複数箇所で測定された信号の間の遅延時間を測定するための装置に関する。

マイクロフォンアレイを用いた信号処理では、指向性の鋭いビームフォーミングを行なうために、高解像度でＤＯＡを推定することが必要になることがある。例えば、いわゆるテレビ会議等で発話者を撮影するためにカメラの撮影方向を自動的に変更させたり、航空機の移動を追尾することにより航空機の制御を行なったりすることが可能である。

一般的にいって、ビームフォーマの時間的解像度は、サンプリング周期に依存する。サンプリング周波数が低い場合、サンプリング周期が粗くなり、サンプル時間に関するごく短い遅延を扱うことは困難である。

そうした問題を回避するために、従来のＤＯＡの推定方法では、所定の解像度を得るために高いサンプリング周期を採用して時間遅延の推定を改善する様にしている（非特許文献１又は２）か、時間的解像度を高めるために、何らかの他の前提（例えば音源数）を必要としている（非特許文献３）。

Ｋ．Ｊ．パロメキ（Ｋ．Ｊ．Ｐａｌｏｍａｅｋｉ）、Ｇ．Ｊ．ブラウン（Ｇ．Ｊ．Ｂｒｏｗｎ）、Ｄ．Ｌ．ワング（Ｄ．Ｌ．Ｗａｎｇ）、「雑音及び残響環境下でのミッシングデータ音声認識のための両耳聴モデル（Ａｂｉｎａｕｒａｌａｕｄｉｔｏｒｙｍｏｄｅｌｆｏｒｍｉｓｓｉｎｇｄａｔａｓｐｅｅｃｈｒｅｃｏｇｎｉｔｉｏｎｉｎｎｏｉｓｙａｎｄｒｅｖｅｒｂｅｒａｎｔｃｏｎｄｉｔｉｏｎｓ）」、ＣＲＡＣ−Ｅｕｒｏｓｐｅｅｃｈ’０１予稿集、サテライトワークショップ、２００１Ｌ．Ｒ．バーンシュタイン（Ｌ．Ｒ．Ｂｅｒｎｓｔｅｉｎ），Ｃ．トラヒオティス（Ｃ．Ｔｒａｈｉｏｔｉｓ）、「正規化相関：中央周波数前後の両耳聴検出に対する説明（Ｔｈｅｎｏｒｍａｌｉｚｅｄｃｏｒｒｅｌａｔｉｏｎ：Ａｃｃｏｕｎｔｉｎｇｆｏｒｂｉｎａｕｒａｌｄｅｔｅｃｔｉｏｎａｃｒｏｓｓｃｅｎｔｅｒｆｒｅｑｕｅｎｃｙ）」、米国音響学会ジャーナル、ｐ．１００，１９９６Ｓ．Ｕ．ピライ（Ｓ．Ｕ．Ｐｉｌｌａｉ），「アレイ信号処理（ＡｒｒａｙＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ）」、ｐｐ．８−１０７、１９８９

非特許文献１又は２に記載の技術では、サンプリング周波数を低くすると十分な精度が得られない。また、非特許文献３の様に何らかの前提を必要とする技術では、一般的に低いサンプリング周波数を用いた場合にＤＯＡを高精度で推定することが難しいという問題がある。一般に音源方向を推定するためには、複数箇所で測定された音声信号の間の時間遅延を精度よく推定する必要があるが、サンプリング周波数が低い場合には測定精度を高くすることが難しかった。このような信号の間の遅延時間を測定する必要性は、ＤＯＡを推定する場合に限らず、広い応用範囲を持つと考えられる。

それゆえにこの発明の目的は、サンプリング周波数がそれほど高くなくても、精度よくＤＯＡを推定できる音源方向推定装置を提供することである。

この発明の他の目的は、サンプリング周波数がそれほど高くなくても、同一の信号源からの信号を複数箇所で観測した場合の時間遅延を精度よく推定できる信号の時間遅延推定装置を提供することである。

本発明の第１の局面にかかる音源方向推定装置は、音源の方向を推定するための音源方向推定装置であって、互いに既知の間隔だけ離れた第１及び第２の位置において、同一のサンプリング周期で所定数の音声信号サンプルをサンプリングするためのサンプリング手段と、サンプリング手段によりサンプリングされた、第１及び第２の位置における音声信号サンプルの間の相互相関、及び第１の位置における音声信号サンプルの自己相関を算出するための相関算出手段と、相関算出手段により算出された相互相関及び自己相関に基づいて、第２の位置においてサンプリングされた音声信号サンプルを、第１の位置においてサンプリングされた音声信号の線形和で表すための線形予測係数を推定するための線形予測係数推定手段と、線形予測係数推定手段により推定された線形予測係数を、サンプリング時間に対応付けてプロットし、当該プロットされた点列を、所定の位置にピークを有する所定の波形で近似し補間するための近似手段と、近似手段による近似で得られた所定の波形のピーク位置に対応するサンプリング時間軸上の位置に基づき、第１の位置での音声信号サンプルと第２の位置での音声信号サンプルとの間の時間遅延を推定するための時間遅延推定手段と、時間遅延推定手段により推定された時間遅延、既知の間隔、及び既知の音速に基づいて第１の位置から音源への方向角を算出するための方向角算出手段とを含む。

好ましくは、所定の波形はｓｉｎｃ関数の波形である。

さらに好ましくは、方向角算出手段は、第１の位置から音源への方向角θを以下の式

により算出するための手段を含む。ただし、ｃは音速、δは時間遅延推定手段により推定された時間遅延、ｄは第１の位置と第２の位置との距離である。

時間遅延推定手段は、近似手段による近似で得られた所定の波形のピーク位置に対応するサンプリング時間軸上の位置を、サンプリング周期よりも小さな所定の単位で決定するためのピーク位置決定手段を含んでもよい。

さらに好ましくは、相関算出手段は、サンプリング手段によりサンプリングされた、第１及び第２の位置における音声信号サンプルに対し所定の直交変換を行なうための直交変換手段と、直交変換手段により変換された音声信号サンプルの間の相互相関、及び第１の位置における音声信号サンプルの自己相関を算出するための変換後サンプルの相関算出手段と、変換後サンプルの相関算出手段により算出された相互相関及び自己相関を、所定の直交変換の逆変換を行なうことにより時間領域に戻すための直交逆変換手段とを含む。

直交変換手段は、サンプリング手段によりサンプリングされた、第１及び第２の位置における音声信号サンプルに対しフーリエ変換を行なうためのフーリエ変換手段を含んでもよい。この場合、直交逆変換手段は、変換後サンプルの相関算出手段により算出された相互相関及び自己相関に逆フーリエ変換を行なうことにより、変換後サンプルの相関算出手段により算出された相互相関及び自己相関を時間領域に戻すための逆フーリエ変換手段を含む。

この発明の第２の局面にかかるコンピュータプログラムは、コンピュータにより実行されると、当該コンピュータを上記したいずれかの音源方向推定装置として動作させるものである。

この発明の第３の局面にかかる信号の時間遅延推定装置は、第１及び第２の位置で観測される、同一の信号源からの信号の間の遅延時間を推定するための信号の時間遅延推定装置である。この装置は、互いに既知の間隔だけ離れた第１及び第２の位置において、信号に対し同一のサンプリング周期で所定数の信号サンプルをサンプリングするためのサンプリング手段と、サンプリング手段によりサンプリングされた、第１及び第２の位置における信号サンプルの間の相互相関、及び第１の位置における信号サンプルの自己相関を算出するための相関算出手段と、相関算出手段により算出された相互相関及び自己相関に基づいて、第２の位置においてサンプリングされた信号サンプルを、第１の位置においてサンプリングされた信号の線形和で表すための線形予測係数を推定するための線形予測係数推定手段と、線形予測係数推定手段により推定された線形予測係数を、所定の位置にピークを有する所定の波形で近似し補間するための近似手段と、近似手段による近似で得られた所定の波形のピーク位置に対応するサンプリング時間軸上の位置に基づき、第１の位置での信号サンプルと第２の位置での信号サンプルとの間の時間遅延を推定するための時間遅延推定手段とを含む。

好ましくは、所定の波形はｓｉｎｃ関数の波形である。

さらに好ましくは、相関算出手段は、サンプリング手段によりサンプリングされた、第１及び第２の位置における信号サンプルに対し所定の直交変換を行なうための直交変換手段と、直交変換手段により変換された信号サンプルの間の相互相関、及び第１の位置における信号サンプルの自己相関を算出するための変換後サンプルの相関算出手段と、変換後サンプルの相関算出手段により算出された相互相関及び自己相関を、所定の直交変換の逆変換を行なうことにより時間領域に戻すための直交逆変換手段とを含む。

直交変換手段は、サンプリング手段によりサンプリングされた、第１及び第２の位置における信号サンプルに対しフーリエ変換を行なうためのフーリエ変換手段を含んでもよい。この場合、直交逆変換手段は、変換後サンプルの相関算出手段により算出された相互相関及び自己相関に逆フーリエ変換を行なうことにより、変換後サンプルの相関算出手段により算出された相互相関及び自己相関を時間領域に戻すための逆フーリエ変換手段を含む。

この発明の第４の局面にかかるコンピュータプログラムは、コンピュータにより実行されると、当該コンピュータを上記したいずれかの信号の時間遅延推定装置として動作させるものである。

［原理］
本発明の実施の形態にかかる時間遅延推定装置について説明するに先立ち、どのような原理で二つのマイクロフォンでサンプリングされた信号の間の遅延を推定するかについて説明する。この推定時間遅延を用いて、ＤＯＡを高精度で推定することが可能になる。

図１は音源２０と二つのマイクロフォン２２Ａ及び２２Ｂとの配置を模式的に示す図である。音源２０はマイクロフォン２２Ａ及び２２Ｂから十分遠くにあるものとする。音源２０からの音声はそれぞれ経路Ｌ１及びＬ２を通ってマイクロフォン２２Ａ及び２２Ｂに到達する。

図２は、マイクロフォン２２Ａ及び２２Ｂの近傍の拡大図である。図２を参照して、マイクロフォン２２Ａ及び２２Ｂを結ぶ線と、この線に直交し、マイクロフォン２２Ａを通る線とのなす角をθとする。θがＤＯＡであり、マイクロフォン２２Ａから音源への方向角を表す。音源２０が十分遠くにあると仮定しているので、音源２０からマイクロフォン２２Ａ及び２２Ｂに到達する音波は平面波であると考えることができる。

マイクロフォン２２Ａ及び２２Ｂにおける信号（これらをそれぞれ第１及び第２のチャンネルの信号と呼ぶ。）のサンプルはそれぞれ次の様に表すことができる。

ただしｘ₁（ｔ）及びｘ₂（ｔ）は、それぞれ時刻ｔにおいて、音源信号ｓ（ｔ）をマイクロフォン２２Ａ及び２２Ｂでサンプリングした信号、δはマイクロフォン２２Ａ及び２２Ｂに同じ信号ｓ（ｔ）が到達する際の時間差、ｎ₁（ｔ）及びｎ₂（６）はそれぞれ受信された音源信号に線形に加えられたノイズ信号とする。

ここでは、問題を簡単にするために、音源と二つのマイクロフォン２２Ａ及び２２Ｂとの間での信号の減衰又は反射音はないものとする。しかし、後に説明する本実施の形態の装置で採用されたアルゴリズムをより残響の多い環境での推定に用いることもできる。

本実施の形態ではマイクロフォン２２Ａ及び２２Ｂの間の信号の遅延を推定し、さらにこの遅延を使用して音源２０のＤＯＡを推定する。図２を参照して、今、マイクロフォン２２Ａ及び２２Ｂを結ぶ線と経路Ｌ１及びＬ２とが交わる点をそれぞれＰ及びＱ、点Ｑから経路Ｌ１に下ろした垂線の足をＥとする。マイクロフォン２２Ａ及び２２Ｂの間の距離（ＰＱ）をｄとする。すると、角ＥＱＰ＝θであるから、θは次の式で与えられる。

ただしｃは音速である。この式によれば、θの推定値は、アークサイン関数によって時間遅延の推定値に非線形に従属している。

‐線形予測‐
後に述べる実施の形態では、時間遅延を推定する際に線形予測（ＬＰ）を使用する。受信されたサンプルの一ブロック（通常は３０ミリ秒程度のウィンドウで切出されたデータ）を用いてＬＰの予測式をたてる。

１ウィンドウでＮ個のサンプルを採取するものとすると、第１チャンネルの信号ベクトルｘ₁を第２のチャンネルの信号ベクトルｘ₂から予測したり、その逆の予測を行なったりするために、次の行列関係式が用いられる。

このブロックデータ行列Ｘ₂はテプリッツ行列であり、その左上から右下方向への対角線方向の線上の要素の値は等しい。積Ｘ₂ｈはベクトルｘ₁の予測値であり、ベクトルｈは長さ（２Δ＋１）の「補間」又は「平滑化」のためのフィルタである。

仮にベクトルｘ1及びベクトルｘ2の間の時間遅延δがサンプリング周期の整数倍であれば、信号状態が理想的なものであれば、フィルタベクトルｈの要素のうちの一つの値が１、他の全ての値は０となるであろう。しかし、通常はその様にはならない。そのため、信号ベクトルｘ₂の各要素の値を、信号ベクトルｘ₁の各要素の線形和で表現することが考えられる。その線形和の各係数がここでいうＬＰ係数であり、フィルタベクトルｈの各要素である。

以下に述べる本発明の実施の形態では、この様に信号ベクトルｘ₂が信号ベクトルｘ₁とフィルタベクトルｈとの積で表されることを前提とし、フィルタベクトルｈの要素の値を補間及び平滑化することにより、フィルタベクトルの要素の値が「１」となるような仮想的な位置はどこかを、サンプル時間よりも小さい単位まで推定することにより、正確な時間遅延を推定する。

誤差ベクトルｅを次の様に定義するものとする。

このとき、誤差のパワーは以下の式により計算される。

ただし（・）^Tは行列の転置を表す。

ベクトルＪのベクトルｈに関する勾配をゼロとおくことにより最小二乗法によりベクトルｈの解が得られ、正規方程式は次の様になる。

この右側の式の右辺のＸ₂ ^TＸ₂は第２のチャンネルの信号ベクトルｘ₂の自己相関行列（以下「自己相関」と呼ぶ。）を表す。本実施の形態で求めるべきなのは相互相関ベクトル（以下「相互相関」と呼ぶ。）Ｘ₂ ^Tｘ₁のみである。そのため、相互相関に対する第２のチャンネルの信号の影響を、第２のチャンネルの信号の自己相関の逆行列を乗算することにより正規化している。

前述の行列式（２）に出現する長さのパラメータΔは、二つのチャンネル間の時間遅延の全範囲をカバーするのに十分な長さに選ばれる。すなわち、Δは次の式を満足する。

ただしｆ_sはサンプリング周波数である。

この後、ベクトルｈの要素であるＬＰパラメータを補間関数により補間して二つのチャンネル間の信号の時間遅延を推定する。補間関数としては、例えば図４に波形を示すｓｉｎｃ関数（ｓｉｎｘ／ｘ）を用いることができる。この様にして得られる時間遅延は、前述の様にサンプリング周期の整数倍とは限らない。ベクトルｈの要素の値をｓｉｎｃ関数で補間・平滑化し、その結果得られる連続関数の波形において最も大きな振幅（ピーク）に対応する場所が、我々の求める時間遅延の推定値を示す。

仮にＤＯＡが大きくなると、エッジ効果が生じて最大振幅を推定する補間フィルタに関する誤差が大きくなる。そうした場合には、補間フィルタが基本的に対照形となる様にＬＰ式を置き換えることにより、誤差を抑えることができる。

［第１の実施の形態］
‐構成‐
図３に、本実施の形態の時間遅延推定装置の構成を示す。図３を参照して、本実施の形態に係る時間遅延推定装置３０は、マイクロフォン２２Ａ及び２２Ｂからそれぞれ入力される第１及び第２のチャンネルの信号ｘ₁及びｘ₂に対するフレームデータを所定の周波数でサンプリングするためのフレームサンプリング部４０と、サンプリングされた各フレームのデータを記憶するフレームメモリ４２と、フレームメモリ４２に記憶されたフレームデータに基づいて、前述した自己相関及び相互相関を算出するための相関算出部４４と、相関算出部４４により算出された相関行列を記憶するための相関記憶部４６とを含む。

時間遅延推定装置３０はさらに、相関記憶部４６に記憶された自己相関と相互相関とに基づいて、前述した式（５）を解くことによりフィルタ係数（フィルタベクトルｈの要素）を計算するためのフィルタ係数計算部４８を含む。フィルタ係数計算部４８によるフィルタ係数の計算には、本実施の形態ではＬｅｖｉｎｓｏｎのアルゴリズムを用いる。

時間遅延推定装置３０はさらに、フィルタ係数計算部４８により計算されたフィルタ係数を記憶するためのフィルタ係数記憶部５０と、フィルタ係数記憶部５０に記憶されたフィルタ係数に対し、図４に波形７０を示すｓｉｎｃ関数によって補間及び平滑化を行なうための補間処理部５２と、補間処理部５２により補間及び平滑化処理がされた連続波形から、波形のピークを決定しそのピーク位置に基づいて第１チャンネルと第２チャンネルとの間の時間遅延を決定するためのピーク決定部５４とを含む。この時間遅延δを式（１）に代入することにより、ＤＯＡである角θを求めることができる。

‐動作‐
第１の実施の形態に係る時間遅延推定装置３０は以下の様に動作する。フレームサンプリング部４０が、マイクロフォン２２Ａ及び２２Ｂの出力の各々を所定のサンプリングレートでサンプリングし、それぞれのフレームデータを作成する。フレームメモリ４２が、フレームサンプリング部４０のサンプリングした第１及び第２のチャンネルのフレームデータを記憶する。

相関算出部４４が、フレームメモリ４２に記憶されたフレームデータに基づき、前述した第２のチャンネルの自己相関Ｘ₂ ^TＸ₂及び第１及び第２のチャンネルの相互相関Ｘ₂ ^Tｘ₁を計算する。フィルタ係数計算部４８は、この様にして計算された自己相関Ｘ₂ ^TＸ₂の逆行列を求め、この逆行列及び相互相関Ｘ₂ ^Tｘ₁の積に対してＬｅｖｉｎｓｏｎのアルゴリズムを適用することにより、フィルタのベクトルｈを構成する各要素を求める（式（５）を解く）。

フィルタ係数計算部４８により算出されたフィルタのベクトルｈを構成する各要素（フィルタ係数）の値の例を図５に示す。図５に、算出された各要素の値の例８０‐１〜８０‐Ｎを示す。図３に示すフィルタ係数記憶部５０がこれら各要素の値を記憶する。

図３に示す補間処理部５２が、フィルタ係数記憶部５０に記憶された値に基づき、それらの点を結ぶ曲線を図４に示すｓｉｎｃ波形で最小二乗法により近似することで、これらの点の間を補間する連続関数を計算する。その結果の例を図６に示す。図６に示す波形９０は、図４に示す波形７０と同様、ｓｉｎｃ関数に基づくものである。このｓｉｎｃ関数に基づく波形９０は、点８０‐１〜点８０‐Ｎとの誤差の二乗が最小となる様に決定される。図６に示す例では、波形９０のピークは点８０‐７と点８０‐８との間に存在し、このピーク９２と点８０‐７及び８０‐８とはそれぞれＤ２及びＤ３だけ隔たっている。このうちの距離Ｄ２と、点８０‐１から点８０‐７との間の距離Ｄ１とを加算することにより、点８０‐１からピーク９２までの距離が求まる。

この様にして求めた量Ｄ１＋Ｄ２は、第１チャンネルの信号に対する第２チャンネルの信号の時間遅延分δに相当する。すなわち、第１チャンネルに対する第２チャンネルの信号の時間遅延の量δを、サンプリングレートの整数倍だけでなくさらに細かいところまで推定することができる。

以上の様に、本実施の形態の装置によれば、第１のチャンネルの音声信号と、第２のチャンネルの音声信号との間の時間遅延を、サンプリング間隔よりもさらに細かい時間まで求めることができる。その結果、サンプリング周波数を大きくしなくとも、時間遅延を精度よく求めることが可能になり、さらにその時間遅延から音源のＤＯＡを精度よく求めることができる。

［第２の実施の形態］
第１の実施の形態の時間遅延推定装置３０は、自己相関及び相互相関を時間領域で計算している。しかし、この相関は、周波数領域で算出してから時間領域に戻すことにより求めるのが一般的である。第２の実施の形態では、相関を周波数領域で算出する。

図７に、本発明の第２の実施の形態に係る時間遅延推定装置１００のブロック図を示す。図７において、図３と同じ部品には同じ参照符号を付してある。それらの機能も同一である。従ってここではそれらについての詳細な説明は繰返さない。

図７に示す時間遅延推定装置１００が図３に示す時間遅延推定装置３０と異なるのは、図３に示す相関算出部４４に替えて、フレームメモリ４２に記憶されているフレームデータに対し高速フーリエ変換（ＦＦＴ）を行なって、フレームデータを周波数領域に変換するためのＦＦＴ処理部１１０と、ＦＦＴ処理部１１０により周波数領域に変換されたフレームデータを用いて、自己相関Ｘ₂ ^TＸ₂及び相互相関Ｘ₂ ^Tｘ₁を算出するための時間領域相関算出部１１２と、時間領域相関算出部１１２による計算結果に対し逆ＦＦＴ処理を行なうことにより相関行列を時間領域に変換し相関記憶部４６に与え記憶させる逆ＦＦＴ処理部１１４とを含む点である。すなわち、時間領域で直接相関を計算するのに替えて、一旦周波数領域に変換して相関を作成する点が異なる。最終的に得られる相関行列は、原理的には第１の実施の形態のものと同じとなる。

この第２の実施の形態の時間遅延推定装置１００の動作は、相関の計算を周波数領域で行なう点を除いて第１の実施の形態の時間遅延推定装置３０の動作と同じである。また、時間遅延推定装置１００により、時間遅延推定装置３０と同様の効果を得ることができることは明らかである。

［実験］
上記した第１の実施の形態に係る時間遅延推定装置３０をコンピュータ及びその上で動作するソフトウェアにより実現して、以下の実験を行なった。まず、前述した通り音声信号は平面波として到来すると仮定して、二つのマイクロフォンで受信される第１及び第２の信号間の時間遅延のみを考慮して作成した。これら信号を用い、上記した第１の実施の形態の時間遅延推定装置３０によって時間遅延を推定した。音声信号としては、公知の、容易に入手できる音声データベースに含まれる、連続する数字列に対する発声データを用いた。

３種類の実験を行なった。第１及び第２の実験では、二つのマイクロフォンの各々について、機械的に発生させたホワイトノイズをコンピュータ上で音声信号に対し加えた。また、実環境下で収集した街頭でのノイズ、列車のノイズ、空港のノイズ等の種々のノイズサンプルも用いた。

‐第１の実験‐
第１の実験では、１０桁の数字の発声サンプルにつき、無音（雑音のみ）のフレーム部分を削除して二つのマイクロフォンに異なる無相関ノイズを加えて実験を行なった。このノイズは、機械により発生させた、互いに独立なランダムなガウス分布に従うサンプルである。ＳＮＲ（Ｓｉｇｎａｌ−ｔｏ−ＮｏｉｓｅＲａｔｉｏ）は２０ｄＢに設定した。１３個の係数のＬＰフィルタを使用した。

比較のためのベースラインとなるアルゴリズムは、相互相関技術（コレログラム）を用いたものである。

結果を図８に示す。比較例は、本実施の形態の線形予測を用いたものと比較してはるかに劣ることが分かる。比較例の精度がこの様に低いこと、特にＤＯＡが大きな部分で劣るのは、使用したサンプリングレートが低い（８ｋＨｚ）ことに起因すると思われる。

‐第２の実験‐
第２の実験では、各チャンネルに加えられる独立なホワイトノイズに対する、上記したアルゴリズム中で使用した長さのパラメータΔの影響を調査した。図９に示す様に、Δとして１３から２９までの種々の長さのものを使用して実験を行なった。

図９を参照して明らかな通り、Δが大きくなるほどＬＰ誤差パワーとＤＯＡの推定誤差とは小さくなる。

‐第３の実験‐
第３の実験では、種々のタイプのノイズを種々のＳＩＲ（Ｓｉｇｎａｌ−ｔｏ−ＩｎｔｅｒｆｅｒｅｎｃｅＲａｔｉｏ）で加えた場合の、上記したアルゴリズムの頑健性を調査した。ノイズのＤＯＡは、中央から見て５０度左側（反時計回り）に固定し、音源のＤＯＡは中央から右側（時計回り）に０度から９０度まで変化させた。

結果を図１０に示す。図１０に示される様に、ＳＩＲが２０ｄＢから１０ｄＢまでの範囲では、本実施の形態で採用したアルゴリズムの性能はよいことが分かった。しかし、さらにＳＩＲが低く、５ｄＢ以下となるとＤＯＡの誤差が大きくなるという結果が得られた。

なお、上記した実施の形態では、いずれの場合にもマイクは２本使用した。しかし、上記した実施の形態により明らかとなった思想に基づき、マイクを３本以上使用した場合も、同様の処理でＤＯＡの推定を行なうことができる。また、上記した実施の形態では、同一音源からの音波についてＤＯＡの推定を行なう場合を想定した。しかしその中で説明した時間遅延の推定方法は、音波に限らず光、電磁波など直進する性質を持つ信号を複数箇所で測定した場合の時間遅延の測定に適用することができることはいうまでもない。

また、上記した実施の形態では、フレーム単位でデータを処理することによりバッチ形式でＤＯＡを決定している。従って音源はその位置を変えないことが前提となっている。しかし、いうまでもなくこの処理をフレームごとに繰返すことにより、音源がその位置を移動させる場合にもその位置を精度よく推定できる。

また、上記した実施の形態では、処理対象は音波という物理量を測定したものであるが、処理対象がデジタルデータに変換できれば、いわゆるコンピュータのハードウェア上で動作するソフトウェア（コンピュータプログラム）により実現可能なことはいうまでもない。そして、そのソフトウェアはそれ自体、何らかの記憶媒体に記憶されて流通したり、通信媒体を介してあるコンピュータから他のコンピュータに送信されたりすることもあり得る。また、コンピュータの中央演算処理装置を複数個用いたり、通信により複数個のコンピュータを結合したりすることにより上記した実施の形態と同様の装置を構築することもできる。

今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内でのすべての変更を含む。

音源２０と二つのマイクロフォン２２Ａ及び２２Ｂとの配置を模式的に示す図である。マイクロフォン２２Ａ及び２２ＢとＤＯＡθとの関係を示す図である。本発明の第１の実施の形態に係る時間遅延推定装置３０の構成を示す図である。補間に用いられるｓｉｎｃ関数の波形を示す図である。フィルタベクトルｈの要素の値の例を示す図である。図５に示すベクトルｈの要素を図４に示す波形で補間した結果得られる波形を示す図である。本発明の第２の実施の形態に係る時間遅延推定装置の構成を示す図である。本発明の第１の実施の形態に係る時間遅延推定装置を用いて線形予測により得られたＤＯＡ予測誤差を、コレログラムに基づく比較例とともに示すグラフである。本発明の第１の実施の形態に係る時間遅延推定装置を用いたＤＯＡの推定誤差及び正規化誤差パワーと、ＬＰフィルタ次数との関係を示すグラフである。実際のノイズサンプル及び種々のＳＩＲの値とを用いた実験でのＤＯＡの測定誤差を示すグラフである。

符号の説明

２０音源、２２Ａ，２２Ｂマイクロフォン、３０時間遅延推定装置、４０フレームサンプリング部、４２フレームメモリ、４４相関算出部、４６相関記憶部、４８フィルタ係数計算部、５０フィルタ係数記憶部、５２補間処理部、５４ピーク決定部、７０，９０波形、８０−１〜８０−Ｎフィルタベクトルｈの要素の値、９２ピーク、１１０ＦＦＴ処理部、１１２時間領域相関算出部、１１４逆ＦＦＴ処理部

Claims

互いに既知の間隔だけ離れた第１及び第２の位置において観測される、同一の音源からの音波からそれぞれ生成される第１及び第２の二つの音声信号を受け、当該二つの音声信号から音源の方向を推定するための音源方向推定装置であって、
前記二つの音声信号から同一のサンプリング周期で所定数の音声信号サンプルをそれぞれサンプリングするためのサンプリング手段と、
前記サンプリング手段により、前記第１及び第２の音声信号からサンプリングされた音声信号サンプルの間の相互相関、及び前記第１の音声信号からサンプリングされた音声信号サンプルの自己相関を算出するための相関算出手段と、
前記相関算出手段により算出された前記相互相関及び前記自己相関に基づいて、前記第２の音声信号からサンプリングされた音声信号サンプルを、前記第１の音声信号からサンプリングされた音声信号サンプルの線形和で表すための線形予測係数を推定するための線形予測係数推定手段と、
前記線形予測係数推定手段により推定された線形予測係数を、サンプリング時間に対応付けてプロットし、当該プロットされた点列を、所定の位置にピークを有する所定の波形で近似し補間するための近似手段と、
前記近似手段による近似で得られた前記所定の波形のピーク位置に対応するサンプリング時間軸上の位置に基づき、前記第１の音声信号からサンプリングされた音声信号サンプルと前記第２の音声信号からサンプリングされた音声信号サンプルとの間の時間遅延を推定するための時間遅延推定手段と、
前記時間遅延推定手段により推定された時間遅延、前記既知の間隔、及び既知の音速に基づいて前記第１の位置から前記音源への方向角を算出するための方向角算出手段とを含む、音源方向推定装置。
前記所定の波形はｓｉｎｃ関数の波形である、請求項１に記載の音源方向推定装置。
前記方向角算出手段は、前記第１の位置から前記音源への方向角θを以下の式

により算出するための手段を含み、ただし、ｃは音速、δは前記時間遅延推定手段により推定された時間遅延、ｄは前記第１の位置と前記第２の位置との距離である、請求項１又は請求項２に記載の音源方向推定装置。
前記時間遅延推定手段は、前記近似手段による近似で得られた前記所定の波形のピーク位置に対応するサンプリング時間軸上の位置を、前記サンプリング周期よりも小さな所定の単位で決定するためのピーク位置決定手段を含む、請求項１〜請求項３のいずれかに記載の音源方向推定装置。
前記相関算出手段は、
前記サンプリング手段により、前記第１及び第２の音声信号からサンプリングされた音声信号サンプルに対し所定の直交変換を行なうための直交変換手段と、
前記直交変換手段により変換された前記音声信号サンプルの間の相互相関、及び前記第１の音声信号からサンプリングされた音声信号サンプルの自己相関を算出するための変換後サンプルの相関算出手段と、
前記変換後サンプルの相関算出手段により算出された相互相関及び自己相関を、前記所定の直交変換の逆変換を行なうことにより時間領域に戻すための直交逆変換手段とを含む、請求項１〜請求項４のいずれかに記載の音源方向推定装置。
前記直交変換手段は、前記サンプリング手段により、前記第１及び第２の音声信号からサンプリングされた音声信号サンプルに対しフーリエ変換を行なうためのフーリエ変換手段を含み、
前記直交逆変換手段は、前記変換後サンプルの相関算出手段により算出された相互相関及び自己相関に逆フーリエ変換を行なうことにより、前記変換後サンプルの相関算出手段により算出された相互相関及び自己相関を時間領域に戻すための逆フーリエ変換手段を含む、請求項５に記載の音源方向推定装置。
外部から音声信号を受けるための手段を備えたコンピュータにより実行されると、当該コンピュータを請求項１〜請求項６のいずれかに記載の音源方向推定装置として動作させる、コンピュータプログラム。
互いに既知の間隔だけ離れた第１及び第２の位置で観測される、同一の信号源からの観測対象信号の間の遅延時間を推定するための信号の時間遅延推定装置であって、
前記第１及び第２の位置でそれぞれ観測された前記観測対象信号からそれぞれ生成される、第１及び第２の二つの信号を受け、同一のサンプリング周期で所定数の信号サンプルをそれぞれサンプリングするためのサンプリング手段と、
前記サンプリング手段により、前記第１及び第２の信号からサンプリングされた信号サンプルの間の相互相関、及び前記第１の信号からサンプリングされた信号サンプルの自己相関を算出するための相関算出手段と、
前記相関算出手段により算出された前記相互相関及び前記自己相関に基づいて、前記第２の信号からサンプリングされた信号サンプルを、前記第１の信号からサンプリングされた信号サンプルの線形和で表すための線形予測係数を推定するための線形予測係数推定手段と、
前記線形予測係数推定手段により推定された線形予測係数を、サンプリング時間に対応付けてプロットし、当該プロットされた点列を、所定の位置にピークを有する所定の波形で近似し補間するための近似手段と、
前記近似手段による近似で得られた前記所定の波形のピーク位置に対応するサンプリング時間軸上の位置に基づき、前記第１の信号をサンプリングして得られた信号サンプルと前記第２の信号をサンプリングして得られた信号サンプルとの間の時間遅延を推定するための時間遅延推定手段とを含む、信号の時間遅延推定装置。
前記所定の波形はｓｉｎｃ関数の波形である、請求項８に記載の信号の時間遅延推定装置。
前記時間遅延推定手段は、前記近似手段による近似で得られた前記所定の波形のピーク位置に対応するサンプリング時間軸上の位置を、前記サンプリング周期よりも小さな所定の単位で決定するためのピーク位置決定手段を含む、請求項８又は請求項９に記載の信号の時間遅延推定装置。
前記相関算出手段は、
前記サンプリング手段により、前記第１及び第２の信号からサンプリングされた信号サンプルに対し所定の直交変換を行なうための直交変換手段と、
前記直交変換手段により変換された前記信号サンプルの間の相互相関、及び前記第１の信号からサンプリングされた信号サンプルの自己相関を算出するための変換後サンプルの相関算出手段と、
前記変換後サンプルの相関算出手段により算出された相互相関及び自己相関を、前記所定の直交変換の逆変換を行なうことにより時間領域に戻すための直交逆変換手段とを含む、請求項８〜請求項１０のいずれかに記載の信号の時間遅延推定装置。
前記直交変換手段は、前記サンプリング手段により、前記第１及び第２の信号からサンプリングされた信号サンプルに対しフーリエ変換を行なうためのフーリエ変換手段を含み、
前記直交逆変換手段は、前記変換後サンプルの相関算出手段により算出された相互相関及び自己相関に逆フーリエ変換を行なうことにより、前記変換後サンプルの相関算出手段により算出された相互相関及び自己相関を時間領域に戻すための逆フーリエ変換手段を含む、請求項１１に記載の信号の時間遅延推定装置。
第１及び第２の位置でそれぞれ観測された観測対象信号からそれぞれ生成される第１及び第２の二つの信号を受けるための手段を備えたコンピュータにより実行されると、当該コンピュータを請求項８〜請求項１２のいずれかに記載の信号の時間遅延推定装置として動作させる、コンピュータプログラム。