JP5007400B2 - 点音源検出方法 - Google Patents

Description

本発明は、指向特性を利用した点音源検出方法、さらに詳しくいえば、マイクアレイのメインローブモデルを定め、ビームフォーミング後に、周波数ごとに、上記メインローブモデルに対する適合判定を行って、反射や干渉の影響を受けていない部分のみを抽出することにより、他の雑音の影響を抑制した安定な点音源検出方法に関するものである。

近年、ロボットに搭載した複数のマイクにより周囲の音源検出機能を構築することが行われているが、この際、音源数が増加した場合、音源までの距離が長い場合、反射や残響を生じる場合など、音が環境変化の影響を受けやすく、音源定位、分離の性能が大きく低下するという欠点を生じる。そして、これらの欠点を改善するために、種々の方法や装置が提案されている。

例えば、所定空間内の複数地点に設けた複数のマイクにより、音声入力を音声信号に変換して出力し、パワースペクトル分析部によりパワースペクトルを演算し、パワースペクトル和演算部により仮重み係数を掛けた仮重み付パワースペクトルの和を演算し、次いで音声発声者から発声された音声を口元に設けたマイクによる参照音声信号について参照パワースペクトルを演算し、仮重み付パワースペクトルの和と参照パワースペクトルとの差の二乗である誤差を誤差演算部により演算し、最適重み係数演算部により重回帰分析法を用いて該差を最小にするように最適重み係数を求め、重み係数記憶部に記憶させ、パワースペクトル演算部で得られたパワースペクトルに、重み係数記憶部に記憶された対応する最適重み係数を掛けて最適重み付パワースペクトルの和を演算することにより、音源の位置に関係なく、音声信号の雑音を抑制する方法（特許文献１参照）、補正前の特徴ベクトル時系列に対する補正前音声標準パターンの尤度と補正後の特徴スペクトル時系列に対する補正後音声標準パターンの尤度とをそれぞれ求め、これら補正前音声標準パターンの尤度と補正後音声標準パターンの尤度とを合成した尤度に基づく音声認識処理を行うことにより入力音声の乗算性ノイズにより変動を補正する装置（特許文献２参照）、音源から発せられた音を取得し、取得した音に所定の特徴を有する音が含まれるか否かを判定する判定手段と、この判定手段によって、所定の特徴を有する音が含まれていると判定された場合に、この所定の特徴を有する音の開始時点を検出し、前記音源から発せられた音のうち、開始時点から反響音の影響を受けない時点までの音を基にして、前記音源の方向を検出する手段とを備えたことを特徴とする、音が反響しやすい場所においても効率よく、かつ正確に音源の方向を検出しうる装置（特許文献３参照）、信号の包絡線を計算するステップと、包絡線の非線形な、始まりを保存する平滑化を実行するステップと、平滑化がその上昇相からその下降相に変化する点を測定点として使用して、音源定位のキューを評価するステップとを含むことを特徴とする、部屋の残響を含む音声信号の音源定位用の最適測定ウインドウを判定する方法（特許文献４参照）などがこれまでに提案されている。
また、上記の欠点を克服する方法として、環境に配置したマイクと、ロボットに搭載したマイクアレイを統合することにより、音源定位性能を向上させることも知られている（非特許文献１参照）。

さらに、本発明者らは、先に遅延和ビームフォーミング（Ｄｅｌａｙｅｄ Ｓｕｍ Ｂｅａｍ Ｆｏｒｍｉｎｇ、以下ＤＳＢＦと略す）の性能を向上させる、低サイドローブ配置マイクアレイを開発し、このＤＳＢＦの後に、周波数帯域選択（Ｆｒｅｇｅｎｃｙ Ｂａｎｄ Ｓｅｌｅｃｔｉｏｎ、以下ＦＢＳと略す）を用い、複数音源を検出する方法を提案した（非特許文献２参照）。

そして、この方法は、反射の影響は小さい、直接音が強い、音源ごとの周波数成分が独立であるという長所を有するが、これはマイクアレイからの距離が数ｍ以内で成り立つとしても、それよりも離れると指向性に幅をもつビームフォーミングでは反射によるピークが実際よりも大きく観測されたり、近接した音源の影響によりピークシフトを生じたり、環境中の反射や他音源の干渉があるなどの欠点を生じる。

特開２００３−１４０６８６号公報（特許請求の範囲その他） 特開２００３−１７７７８３号公報（特許請求の範囲その他） 特開２００７−４７０８８号公報（特許請求の範囲その他） 特開２００７−１８３６３７号公報（特許請求の範囲その他） 「プロシーディングス・オブ・アイ・イー・イー・イー／アール・エス・ジェイ・インターナショナル・コンフェランス・オン・インテリジェンス・ロボッツ・アンド・システムズ（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ／ＲＳＪ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ）」、２００６年９月中国北京市開催、ｐ．８５２−８５９ 佐々木洋子、加賀美聡、溝口博「第２４回日本ロボット学会学術講演会講演論文集」、岡山大学津島キャンパス、２００６年９月、ｐ．１Ｂ１９

本発明は、このような事情に鑑み、マイクアレイのメインローブモデルを用いる方法において、ビームフォーミングの後に周波数ごとにメインローブモデルに対する適合判定を行うに当り、反射や干渉の影響を受けていない成分のみを抽出することにより上記の欠点を克服した、より安定な点音源検出方法を提供することを目的としてなされたものである。

本発明者らは、指向性集音器を全方向すなわち３６０°にわたって走査した場合、方向ごとにプロットした音圧分布のスペクトルすなわちパワースペクトルを作成すると、点音源については、シャープなピークが形成されるが、複数音源については、ブロードなピークが形成されること、したがって点音源のメインローブモデルを作成し、これと観測されたパワースペクトルとを対比し、モデルと一致するピークを抽出することにより、反射や他音源の干渉が除かれた点音源の位置を検出しうることを見出し、その知見に基づいて本発明をなすに至った。

すなわち、本発明は、指向性マイクにより所定の周波数について、全方向にわたって観測した音圧分布の空間スペクトルの波形を、あらかじめ作成された点音源についての空間スペクトルの波形と対比し、両者の差分についての平坦度を求め、それが所定の閾値以内にあるか否かを判定することにより行う点音源検出方法を提供するものである。

本発明における点音源についての音圧分布は、遅延和ビームフォーミング（Ｄｅｌａｙｅｄ Ｓｕｍ Ｂｅａｍ Ｆｏｒｍｉｎｇ、以下ＤＳＢＦと略す）によるメインローブ部分を用いるのが好ましい。この場合サイドローブはメインローブと比較して十分小さいものとして無視することができる。

本発明方法において用いられるＤＳＢＦとは、低サイドローブ配置マイクアレイを用いて行われる、各チャンネルの信号を同位相化して加算することにより、目的方向の音を強調させる方式であって、次のようにして定義される。

すなわち、マイクアレイの中心を、点Ｏとして、点Ｏを中心とするアレイ直径より十分大きな円周上の点をＣ_φとしたとき、φ＝０の音源に対して、同位相化のためにｉ番目のマイクに与える遅延時間τ_iは、式
で与えられる。
ただし、Ｖ_Sは音速、Ｌ_i（０）はＣ₀からｉ番目のマイク（ｉ＝１，２…，Ｍ）までの距離であり、Ｌ_O（０）は、Ｃ₀からマイクアレイの中心までの距離である。

そして、Ｃ_φを（−π＜φ≦π）で走査させることにより、φ＝０の点音源に対して各方向で観測される音圧分布の空間スペクトルＱ_φ（ω）は、式
により得ることができる。
ただし、ｔは時刻、ωは音源の周波数を表わす。
この式（２）を用いることにより、アレイのマイク配置ごとの空間スペクトルの形状が得られる。

この任意の周波数ωにおける空間スペクトルのメインローブ部分（−φ_m＜φ＜φ_m）から、式
で定義されるメインローブモデルが、対象音源に対する離角φと、音源方向を基準とした音圧の減衰割合として得られる。このようにして得られたメインローブモデルを図１に示す。図中のＡは観測された空間スペクトルＱ_φであり、Ｂ部分はメインローブモデルである。

次に、観測された空間スペクトルのピークに対し、上記式３で求めたメインローブモデルを対比し、モデルと一致するピークを抽出することにより、反射や他音源の干渉を受けた部分を取り除く。

任意の周波数ωについていえば、ｎ番目（ｎ＝１，２，…）の音源からの漏洩音をｌｎ（ω）、背景雑音をＢＮ（ω）としたとき、空間スペクトルの最大方向θ₀でのピーク値Ｐ_θ0（ω）は、式
により表わされる。ただし、Ｓ₀（ω）はθ₀方向の音源の音圧である。

他方、上記式（３）のメインローブモデルｍｏｄｅｌ（ω，θ）を用いて、空間スペクトル中の対象音源の推定スペクトルＥ（ω，θ）は、θ₀−φ_m≦θ≦θ₀＋φ_mの場合、式
Ｅ（ω，θ）＝ｍｏｄｅｌ（ω，θ）Ｓ₀（ω） （５）
であり、それ以外の場合は、
Ｅ（ω，θ）＝０ （６）
である。

次に、この式（５）又は（６）を用いて、観測された空間スペクトルに対し、Ｓ₀を変化させて推定スペクトルＥ（ω，θ）を求め、空間スペクトルからＥ（ω，θ）を減算する。そしてメインローブモデルに適合しているか否かのメルクマールＡ（θ，ω）を、式
Ａ（θ，ω）＝｛ｏｒｇ（ω，θ）−Ｅ（ω，θ）＋［Ｐ_θ0（ω）−Ｓ₀（ω）］｝（７）
と定義する。

このように減算した後のスペクトルについて、最小二乗法でＡ（θ₀）を通る直線を求め、メインローブ幅内で、この直線との残差（絶対誤差の平均）を計算し、モデルに適合しているか否かを判定するための閾値とする。
すなわち、ここで残差が閾値を超え、モデルに不適合と判定されたピークは、それ以降の定位計算から除外し、その残差が閾値以内にある場合のみ、次のピークに対して同様のモデルに適合するか否かの判定を行う。

図２は、モデルに適合すると判定される場合のピークの例であり、図３は、モデルに不適合と判定される場合のピークの例である。図中の破線は観測されたスペクトルであり、実線はメルクマールとなるＡである。また、鎖線はメインローブモデルを示す。
このような対比を各周波数について繰り返し、干渉を受けていない点音源とみなしうるピークの方向及び音圧を抽出する。この際の対比により、メインローブモデルに適合していると判定されるピークを図４に、また減算された後のピークの形状を図５に示す。
図中、破線は観測されたスペクトルであり、実線はメルクマールＡである。また、鎖線はメインローブモデルを示す。

次に、上記のようにして抽出した、モデルに適合するピークの方向及び音圧を用いて音源方向を決定する。例えば、図６に示すＤＳＢＦで得た空間スペクトルにより説明すると、図中の点線で示されたものは、モデルに適合するピークが存在しない周波数成分であるため、定位処理には用いず、各時刻ごとに検出されたモデルに適合した実線のピーク音圧の総和を用いて音源定位処理を行う。

このように、信頼度の高いピーク音圧のみを用いることにより、近接した複数音源に対して、音源間の偽ピークの誤検出を減少させることができ、また、ピークが乱れた反射成分を除外することにより、高反射、高残響下での確実な音源検出が可能になる。

本発明方法によると、ＤＳＢＦを行う際に、メインローブモデルを用いて点音源を検出し、反射や他音源からの干渉を受けた周波数成分を除くことにより、環境変化に対する音源定位性能の劣化を防止することができる。

また、音源数や残響時間の異なる環境下でも、検出したピークの角度誤差が小さく、シミュレーションから求めたメインローブモデルが信頼度の高いピークを検出するのに有効であるという利点がある。
さらに、本発明方法は、移動ロボットによる音源定位の際にも、近接した複数音源や音源までの距離差の如何にかかわらず有効であるという利点がある。

次に、実施例により本発明を実施するための最良の形態を説明するが、本発明はこれにより何ら限定されるものではない。

なお、各例においては、図７に示す形状の低サイドローブマイクアレイで、素子数３２ｃｈをもつ、直径３３ｃｍのロボット搭載型アレイ又は直径５２ｃｍの天井設置型アレイを用い、１６ｂｉｔ、１６ｋＨｚの条件下でデータをサンプリングして行った。
また、１回の定位計算に用いるデータ長を１２８ｍｓｅｃ（２０４８点）とし、８００Ｈｚから３０００Ｈｚの範囲で８Ｈｚごとにメインローブの適合判定を行った。この判定に用いる閾値はピークパワーを１とし、実施例２では０．１２、それ以外の実施例では０．０９とした。

９０°及び２２５°方向、距離２ｍに配置した音源に対し、それぞれ異なる時刻での１ｋＨで適合させたメインローブモデルのスペクトルを作成し、図８及び９に示す。図８は９０°方向の１音源についてのスペクトルであり、図９は９０°及び２２５°の２音源についてのスペクトルである。これらの図において、観測されたスペクトルＡに対し、９０°及び２２５°のそれぞれにモデルに適合するピークＢが検出されている。また、減算後のスペクトルはＣによって表わされている。

周波数の異なるサイン波を合成し、音源ごとにあらかじめ知られている周波数成分に対して、メインローブモデルの適合評価を行った。
同一音源を４５°方向、距離２．２ｍと１８０°方向、距離２．０ｍに配置した場合と、周波数成分にそれぞれ重なりのない３種類の混合サイン波を３０°方向、距離５．０ｍ、４５°方向、距離２．２ｍと１８０°方向、距離２．０ｍに配置した場合について、１０秒間の収録音に対する各周波数での検出を行った。
この際のそれぞれの検出率（ｄｅｔｅｃｔ ｒａｔｉｏ）及び誤検出率（ｅｒｒｏｒ ｒａｔｉｏ）を表１に示す。ここでいう検出率とは、定位計算回数に対する音源の真値に対し±１０°以内で検出した回数の割合であり、誤検出率とは、検出した方向の±１０°以内に音源がないときの割合である。

この表から２音源が同一周波数成分をもつ場合は、検出率が低く、音源同士が離れていても、他方の音源の干渉を受けること及び個々の周波数成分が独立していても、近い周波数成分をもつ場合には検出率が低下することが分かる。
しかしながら、この場合、検出率は低くても、誤検出率は必ずしも高くはないことから、干渉に対しては影響されにくいということができる。また、個々の検出率が低い場合でも、検出したピークの総和から、連続的な音源検出を行うことができる。
この例における本発明の定位誤差は６°程度であった。

比較例
９０°方向及び１３５°方向から、それぞれ１ｋＨｚのサイン波を出力した際に観測される、近接した音源間に生じる偽ピークを図１０に示す。図中、Ａは、観測されたスペクトル、Ｂは評価されたメインローブである。この場合、メインローブ両端でモデルとの差が大きく、減算後のスペクトルＣは上に凸の曲線となりメインローブモデルとは一致しない。

図１１に示す配置の住居環境を模した実験ハウスの天井に、アレイを配置し、実施例１と同様にして評価を行った。この実験ハウスは、床面がフローリングで家具が少ないため、比較的高残響環境（Ｔ₆₀＝５５０ｍｓｅｃ）になっている。
このようにして、反射の影響を受けた場合のスペクトル（ω＝１２７０Ｈｚ）を図１２に示す。この際の音源Ｋ、Ｌはそれぞれ３つのサイン波の混合音で、その周波数はＫ（７００、１０３０、１３００Ｈｚ）及びＬ（８５０、１２７０、１６００Ｈｚ）であった。図中のＡは観測されたスペクトル、Ｂは評価されたメインローブ、Ｃは減算後のスペクトルである。
図１２には、図１１の右上の角方向からの反射音とみられるピークが、１６５°方向音源Ｌのピークよりも大きく観測されている。
次に、１０秒間の収録音に対する周波数ごとのピークを検出し、その結果を表２に示す。

この表から、高周波数帯域では、反射の影響を受けやすく、周波数が高いほど検出率は低いが、音源方向以外の誤検出率は、周波数の如何にかかわらず小さくなっており、本発明方法により反射成分の誤検出が抑制されていることが分かる。

この例では、スピーカーから出力した音楽及び発話を音源とした音源定位実験を行い、ＤＳＢＦの後にＦＢＳ法を併用した音源定位法（以下、ＤＳＢＦ＋ＦＢＳ法という）と比較した。
すなわち、まず音源、ロボットの両方を静止した状態で実験を行い、次に音源数を２〜５の範囲で変化させ、ＤＳＢＦ＋ＦＢＳ法と比較した。その結果を表３に示す。

この表から分かるように、本発明方法により得られる評価結果は、従来のＤＳＢＦ＋ＦＢＳ法により得られる結果とよく一致している。

この例では、移動中のロボットによる音源定位実験を行った。
音源としては、ロボットの移動方向右側にスピーカー１及び２、左側に４及び３を配置し、スピーカー１，３として男声及び女声、スピーカー２，４としてに音楽を用いた。
ロボットを１５秒間で５ｍ直進させ、ＦＢＳ法及び本発明方法により音響定位評価を行った。その結果、本発明方法による検出率は、ＦＢＳ法と比較して１４％高く、平均ストリーム長はＤＳＢＦ＋ＦＢＳ法が３．５５ｓｅｃであるのに対し、本発明方法は６．９６ｓｅｃであった。そして、０〜５ｓｅｃ区間の近接したスピーカー３，４（６０°方向付近）及び１５〜２０ｓｅｃ区間のスピーカー１（２７０°方向付近）で特に著しい差が認められた。

本発明は、複数のマイクを搭載したロボットにより周囲の音源検出する際の音源定位性能を向上させるのに有用である。

メインローブモデルの１例を示すスペクトル図。 メインローブモデルに適合するピークの１例を示すスペクトル図。 メインローブモデルに不適合なピークの１例を示すスペクトル図。 メインローブモデルに適合するピークの別の例を示すスペクトル図。 減算された後のピークの形状の１例を示すスペクトル図。 ＤＳＢＦで得た空間スペクトル図。 低サイドローブマイクアレイの１例を示す図。 実施例１で用いた９０°方向の１音源についてのスペクトル図。 実施例１で用いた９０°及び２２５°方向の２音源についてのスペクトル図。 近接した音源間に生じる偽ピークを示すスペクトル図。 実施例３で用いた実験ハウスの配置図。 実施例３で得たスペクトル図。

Claims (4)

1. 指向性マイクにより所定の周波数について、全方向にわたって観測した音圧分布の空間スペクトルの波形を、あらかじめ作成された点音源についての空間スペクトルの波形と対比し、両者の差分についての平坦度を求め、それが所定の閾値以内にあるか否かを判定することにより行う点音源検出方法。
2. あらかじめ作成された空間スペクトルのメインローブモデルを用いる請求項１記載の点音源検出方法。
3. 閾値として、観測された空間スペクトルから特定スペクトルＥを減算した後のスペクトルについて、最小二乗法でメルクマールＡを通る直線を求め、メインローブ幅内での、この直線との残差を計算して得た数値を用いる請求項１又は２記載の点音源検出方法。
4. 複数の指向性マイクを搭載したロボットにより行う請求項１ないし３のいずれかに記載の点音源検出方法。