JP5831963B1 - 音源方向追従システム - Google Patents

Abstract

【課題】人間の音声の方向を正しく検出し、かつ、雑音、反射音による誤作動を少なくする、音源方向に自動的に追従するテレビ会議システムを提供する。【解決手段】２個の無指向性マイク１０Ａ、１０Ｂに入力される信号の正負判定を正負判定処理部１２Ａ、１２Ｂにて行い波形ＭａｌとＭｂｌを生成し、減算部１３、加算部１４、積分部１５、乗算部１６、平均化部１７を経て雑音、反射音を抑圧し、全周波数帯域一括で母音、子音、破裂音、摩擦音の時間差検出を可能し、追従すべき音声より振幅が小さい、雑音、反射音を抑圧する。【選択図】図６

Description

本発明は、テレビ会議等で話者方向にカメラ視点及びマイク指向性を向けるシステム、ロボットが話者方向に顔を向けるシステム、聴覚障害者に音源方向を提示するシステム等に適用可能な、音源方向にマイクを含むシステムを向かせる機器に関する。

衛星からの電波の到来方向にアンテナ指向性を追従させるシステムは以前より実用化
されているが、電波の場合は搬送波周波数に対する変調周波数帯域幅つまり比帯域が小さいので単純な位相比較により、到来波のズレ方向が検出可能であり、位相モノパルス方式とよばれている。しかし人間の音声の周波数帯域幅は200Ｈｚ〜4ＫＨｚであり比帯域は２０倍程度と広いため、単純な位相比較が適用できない。

音声では比帯域が広い問題を回避し、広帯域で音声到来方向検出する方法がＣＳＰ法として提案されている。この内容は非特許文献１（抜粋を図1に示す）に記載されているが、ＦＦＴ（フーリエ変換）により周波数帯域ごとに分解し位相差を検出した後、ＩＦＦＴ（逆フーリエ変換）により時間領域にもどす方式であり、ＣＰＵ処理の場合でも処理量が相当大きい問題がある。なお２マイクが固定の場合は２つのマイクを結ぶ線に対し線対称の検出特性となり、検出可能範囲は１８０°となる。

さらには、複数マイクによる指向性制御で指向性を形成し,回転制御により振幅最大又は振幅最少方向を求める方式が提案されている。その内容は非特許文献２（抜粋を図２に示す）に書かれている。しかし、到来方向は３６０°回転後でないと求まらないのと、常に最大又は最少点を探る必要があり、応答性に問題がある。また、この方式の場合、ノイズ、反射波が有る場合はその方向検出誤動作の確率が高くなる。

音響インテンシティ測定回路でも減算部、積分部、乗算部を使用する。音響インテンシティとは、単位面積を通して伝わる音響パワーであるが、定義式に積分項があるので積分回路が使用されている。また、音響インテンシティ法は、２つのマイクの延長線上方向の音響パワーを測定するもので、２つのマイクの直交方向の音圧には反応しない。２次元平面の音圧、つまり方向性を有する音響パワー測定の場合は、直行配置した、３マイクを使用し、Ｘ方向Ｙ方向の音響パワーを求め、音源方向をもとめる。また、全周波数帯域一括処理を前提としておらず、複数のバンドパスフィルタで周波数帯域を分割するか、ＦＦＴ（高速フーリエ変換）で周波数ごとに分解して音響パワーを求めている。その音響インテンシティ測定回路の変形に関する特許を特許文献１に示す。

テレビ会議システムで話者方向にカメラ、マイクを向けるシステムにおいて、音声と画像を併用するシステムが特許文献２に示されている。音声到来方向検出に関しては位相差から発言者の方向を検出するとしか記載がない。しかし、音声の場合は前述のように比帯域が２０倍程度と広いため、単純な位相比較ではごく一部の成分しか利用できないため、方向検出精度は相当低い。なお位相の定義はＡを振幅、ωを角周波数、ｔを時間とした場合 ｙ（ｔ）＝Ａsin(ωt+α) となり αが位相であり、単一周波数で定義されている。

被写体自動追尾装置において、音のする方向にモーター駆動でカメラの向きを向ける方法が特許文献３に記載されている。位相差検出部でどちらの方向にカメラを向けるべきかを判定しているが、ゼロクロッシングディテクト出力の立ち上がりエッジ又は立ち下りエッジの時間差を検出する方法の場合は、単一周波数成分に近い場合は正しく動作するが、人間の音声のように、母音、子音、破裂音、摩擦音が混在した複合波の場合は誤動作する問題がある。人間の音声に追従させるシステムとしては、複合波に対して正しく検出できることが必要である。

名称：音響インテンシティアナライザ 実用新案出願公開 平１−１２８１３２ 出願人 日立電子株式会社 名称：テレビ会議システム及びテレビ会議システムに於けるカメラの制御装置並びにカメラ制御方法 特開2001-339703 出願人：日本電気株式会社 名称：被写体自動追尾装置 特開平5-150349 出願人：オリンパス光学株式会社

方向性／拡散性雑音に対する重み付けを利用した音源方向推定 信学技報 IEICE Technical Report EA2009 115 （20103）仲村 浩尚 片岡 章俊 龍谷大学理工学部情報メディア学科 信号処理から見たロボット聴覚:「音源の方向検出について」人工知能学会 JSAI Technical Report SIG-CHallege-0522-1 (10/14)金田豊 (東京電機大学工学部)

テレビ会議システム、人を補助するロボット等では、マイクヘッドを含むシステムの正面方向を回転機構により、音源方向に自動的に追従せることが望まれるが、母音/子音/破裂音/摩擦音からなる複合波である人間の音声の方向を正しく検出しかつ、雑音/反射音による誤作動を少なくする必要がある。そのため処理量が相当大きくなる、機器が大きくなる、画像との併用でないと成立しない等の問題があった。したがって、少ない処理量で人間の音声に対し誤動作が少ない音源追従システムの構築し、小型低コスト化を図り、利用分野を拡大する。

少なくとも２つのマイクを含む機器システムの正面方向を回転制御により、人の発する音声の音源方向に向かせるシステム機器において、２つの無指向性マイクを数ｃｍ程度に近接配置し、２つのマイク出力信号を各々増幅後の交流成分が正ならk、負なら-kに変換する正負判定処理を行った後に２つの信号を減算処置した後積分処理した、第一の信号と、各々正負判定処理した後２つの信号を加算処理した第二の信号を生成する。次に第一の信号と第二の信号を乗算することにより、２つのマイクを結ぶ直線の直行方向に対し音波到来方向がどちらの方向かを検出する信号を生成し、この方向検出信号により回転制御を行うことにより、３６０°の音波到来方向に対しマイクを含むシステムの向きを追従させることが可能となる。

図３に本発明の基本構成を示す、２つの無指向性マイクを数ｃｍの距離に配置すると、マイクに対する音源の到来角度θにより、マイクＡ，Ｂ間の音波到来時間に遅れ進みが生ずるこの遅れ進みを検出し音波到来方向が２つのマイクを結ぶ直性の直交方向からのズレが右か左かを検出する。
たとえば２つのマイク間距離をｄ音波速度をｃとし、マイクＡの信号到達時間を基準とするとマイクＢの信号到達時間は-（d・Cosθ）/ｃ となる。
したがってマイクＡを基準としたマイクＢの信号到達時間はたとえば
θ＝0°の時は d/c （遅れ） θ＝90°の時は 0 （一致）
θ＝180°の時は +d/c （進み）
となる。この時間進み遅れを検出しマイクを含むシステムを回転制御させ、フィードバック制御により進み、遅れが０となる方向に、システムを向かせることにより音源方向追従が可能となる。

到来時間差の進み遅れ検出を、広帯域周波数で一括処理で、かつ雑音等による影響を少なくする方法として、 ２つのマイク出力信号を各々増幅後の交流成分が正ならk、負なら-kに変換する正負判定処理を行った後に２つの信号を減算処置した第一の信号と、各々正負判定処理した後２つの信号を加算処理した第二の信号を生成する。次に第一の信号と第二の信号と乗算することにより、２つのマイクを結ぶ線の直行方向に対し音波到来方向がどちらの方向かを検出する信号を生成することができる。

正負判定処理部の構成例と動作波形例を図４に示す。入力信号が正ならk、負なら-kを出力するがその結果、k,-kからなるタイミング信号が生成される。K=１で1000Ｈｚと3000Ｈｚの複合波が入力された場合の正負判定処理部の動作を図５に示す。
元信号が1000Ｈｚでレベルが0.5の信号と3000Ｈｚでレベル0.3の信号の複合波が入力された場合は、正負判定処理により1000Ｈｚ相当のタイミング信号が生成される。また、元信号が1000Ｈｚでレベルが0.3の信号と3000Ｈｚでレベル0.5の信号の複合波が入力された場合は正負判定処理により3000Ｈｚ相当のタイミング信号が生成される。このように、 正負判定処理により、ほぼ振幅が大きい成分によりタイミング信号が生成されている。

マイクを含む機器システムの正面方向を回転制御により、人の発する音声の音源方向に向かせるシステムにおいて、本発明の構成では少ない処理量でありながら、雑音、反射音に対する誤動作が少ない音源追従が可能となる。
正負判定処理の効果は、振幅が一番大きい成分によりタイミング信号が生成されることにより、雑音、反射音に対する誤動作が少なくできる。減算、積分、乗算の効果は、両マイク間時間差の進み、遅れを周波数分割処理をしない一括処理で正確な検出を可能としている。これにより、数ｃｍ間隔のマイク２個で左右３６０°方向、マイク３個であれば、左右上下方向と３次元方向の音源追従が可能となる。
本発明により、テレビ会議等で話者方向にカメラ視点及びマイク指向性を向けるシステム、ロボットが話者方向に顔を向けるシステム、聴覚障害者に音源方向を提示するシステム等が低コストで実現可能となる。

なお、正負判定処理は複数の信号成分が合成されている場合にその瞬時の最大振幅成分のタイミング信号を生成することができるので、追従すべき音声より振幅が小さい雑音、反射音を抑圧することが可能となる。

非特許文献１の部分複写 方向性／拡散性雑音に対する重み付けを利用した音源方向推定 信学技報 IEICE Technical Report EA2009 115 （20103） 仲村 浩尚 片岡 章俊 龍谷大学理工学部情報メディア学科 非特許文献２の部分複写 信号処理から見たロボット聴覚:「音源の方向検出について」 人工知能学会 JSAI Technical Report SIG-CHallege-0522-1 (10/14) 金田豊 (東京電機大学工学部) 本発明の基本構成 正負判定処理部の構成例と動作波形例 １０００Hzと３０００Hzの複合波が入力された場合の正負判定処理の動作 本発明の第１の実施例 積分回路の実施例（アナログの場合） 積分回路の実施例（デジタルフィルタの場合） 第一の実施例の動作時間波形 モーター駆動回路とモーター動作の実施例 音源方向θに対する乗算出力Ｍｕｌの変化特性 雑音がある場合の音源追従特性評価方法 雑音がある場合の音源追従特性（正負判別処理が無い場合とある場合） 本発明の実施例２の構成 本発明の実施例３の構成

マイクヘッドを含むシステムが回転制御されるシステムにおいて、２個の無指向性マイクに入力される信号の時間差を検出して、マイクヘッドを含むシステムの追従すべき回転方向を決定する構成において、時間差検出手段にマイク信号出力の交流信号の正負判定処理（信号が正ならk、負なら-kに変換）を加えることにより、雑音、反射音を抑圧する処理を行った後、減算処理と積分処理と乗算処理を行い全周波数帯域一括で複合波の時間差検出を可能とした。これにより、雑音/反射音による誤作動が少なくかつ、処理量の大幅低減が図れる。

なお、正負判定処理は複数の信号成分が合成されている場合にその瞬時の最大振幅成分のタイミング信号を生成することができるので、追従すべき音声より振幅が小さい、雑音、反射音を抑圧することが可能となる。

図６に第１の実施例を示す。
２つのマイク10A,10B、マイク信号の交流増幅部11A,11B、正負判定処理部12A,12B、減算部13、加算部14、積分部15、乗算部16、平均化部17、モーター駆動部18、モーター部19からなる。正負判定処理部の作用効果は前述したように、その瞬時の最も振幅が最も大きい成分のタイミング信号を生成する。
積分回路の実施例として、アナログ回路の例を図７に示す、オペアンプの負帰還部にコンデンサーを接続し積分特性を得る。ここで位相が反転するので、もう１段反転器を接続して位相を元に戻している。デジタル処理の場合の例を図８に示すが、デジタルフィルタ構成であるＺ-1 は１サンプル前の出力値を保持している。

図９にマイクＡ，Ｂ間信号到達時間の遅れ進み検出部の各部の時間に対する信号波形（タイミングチャート）を示す（なお正負判定処理部の係数はｋ＝１の例である）。音源として、100Ｈｚ、300Ｈｚ、1200Ｈｚ、4000Ｈｚの複合波の場合を示す。図のセンターラインより左側の波形は音声到来方向が２つのマイクの直交方向から＋２０°の場合を、センターラインより右側の波形は音声到来方向がー２０°の場合を示す。
マイク信号の交流増幅後正負判定処理を行った波形Ｍａｌ（図６の12Ａ出力）、Ｍｂｌ（図６の12Ｂ出力）は振幅が最大である成分のタイミング信号が生成されている。これをタイミングチャートの上から２段目に示す。ＭａｌとＭｂｌを減算した後積分するとタイミングチャートの上から４段目に示すＩｎｔＳｕｂ（図６の１５出力）の信号となるが加算した信号Ａｄｄ（図６の１４出力）との関係を見ると、音波到来波方向によりＩｎＳｕｂとＡｄｄの極性が一致する到来方向（+20°）と、不一致となる到来方向（-20°）が生ずる。したがって、ＩｎＳｕｂとＡｄｄを乗算することによりタイミングチャートの最下段Ｍｕｌ（図６の１６出力）に示すように到来方向によりプラス値、マイナス値を得ることができる。このＭｕｌ信号を平均化した信号で回転制御することにより、音源方向に向かせる回転制御が可能となる。なお、乗算部に入力する信号も２値化した信号であり、表１に示す真理値を実現する簡易ロジックでも実現可能である。
また、回転部の実施例を図１0に示す。直流モーターに印加する駆動電圧Ｖｍがプラスの場合とマイナスの場合でモーター回転方向を反転させギヤにより減速してシステムを回転させる。

前述では、時間波形で動作の説明をしたが、次にマイクＡ，Ｂ間信号到達時間の遅れ進み検出部の動作を数式で示す。
ここで、マイク間距離をｄ、音声到来角度をθ、音波速度をC、音声周波数をｆとし ω=2πf K=ω/C とするとＳｕｂ点の信号は振幅値は抑圧され正規化されており、音声到来角θに対する変化は近似的に下式となる。なお、なおｊは複素数の虚部を示す。

さらに積分出力ＩｎｔＳｕｂの音声到来角θに対する特性は積分時定数をτiとして近似的に下式となる。

kd<1 の場合は式３のように近似できる

さらに、加算信号と乗算した結果のＭｕｌは音声到来角θに対し近似的に下式となる
なおここでは、乗算器については、線形として扱う。

検出出力Ｍｕｌをグラフ化すると図１１のようになる。入力周波数は、200Ｈｚ、500Ｈｚ，1000Ｈｚ、3000Ｈｚ と可変している。
ここでd＝4ｃｍ τiはd/cの値である0.00011と設定している。
検出出力Ｍｕｌは音波到来角度に応じた値を出力している。音波到来角度が９０°の時はＭｕｌ＝0となり９０°以上の場合は正の値となり、９０°以下の場合は負の値となる。これは２００Ｈｚ〜３０００Ｈｚでも成立しており、両マイク間時間差の進み、遅れを周波数分割処理をしない一括処理で正確に検出していることを示す。このＭｕｌ信号を平均化した値がプラスかマイナスかでモーターの回転方向を与え、マイクを含むシステムを回転制御すると、音波到来方向が９０°方向となるようシステムを向けることができる。
制御Zero点が音波到来方向が９０°、２７０°と２点あるが、その方向からずれた場合の応答が９０°点、２７０°点で逆極性であり、制御方向性により負帰還による収束点はどちらか一方に決定できる。例として、Ｍｕｌが正の場合はθを小さくする制御の場合は
９０°点は収束するが、２７０°点は帰還の発散点となり結果的に９０°方向のみに収束する。

追従特性について実機を作成し実測も行っているが、数値シミュレーション結果と実測はほぼ一致しているので、ここではシミュレション結果データで示す。
図12に希望音源とノイズ源が有る場合の評価方法を示す。初期はシステム正面が０°方向を向いており、音声相当音源が１８０°方向にあり、 １８０°方向にシステム正面が向く必要があるが、１００°方向にノイズがある場合にどの方向に収束するかを評価した。
なお、雑音レベルは希望音源レベル×０．８として評価した。

雑音が無い場合は正負判定処理の有無にかかわらず、制御誤差は零であるが、実環境では雑音及び反射波が多数存在し、制御誤差が問題となるが、正負判定処理が有ると、雑音、反射波に対する誤動作が相当小さくなる。その特性を図１3に示す。
正負判定処理が無い場合は雑音があると制御誤差が３０°と大きいが、正負判定処理がある本発明の構成では、制御誤差が５°と小さくすることができている。ノイズ源の代わりに反射波の場合でも同様な効果が得られる。

実施例２
図１4に第２の実施例を示す。
請求項１の構成に加え、マイク受音レベルが閾値より低い場合は回転制御を停止し、発話が無い場合の不要な動きを防止している。
第１の実施例に加え正負判定前の信号レベルをレベル検出器30で検出し、その値が閾値以上か以下かを比較器31で検出し以下の場合は回転制御を停止させる。その目的は、正負判定処理の弊害として、発話が無い場合でもわずかな雑音があれば、その雑音方向に追従しようとして不要な動きが生じるのを防止するためである。
そのため、レベル検出器を正負判定部より前（増幅部の前でも後ろでも良い）に接続し比較器を介してモーター駆動回路をＯｎ/ＯＦＦする。
その他の構成要件は第一の実施例同様２つのマイク10A,10B、マイク信号の交流増幅部11A,11B、正負判定処理部12A,12B、減算部13、加算部14、積分部15、乗算部16、平均化部17、モーター駆動部18、モーター部19からなる。

実施例３
第１のマイク、第２のマイクを含む請求項１の回転面に対し、立体的に直交する方向に第３のマイクを配置し、第１のマイクと第３のマイクで請求項１同様の検出部、駆動部、回転機構を構成し、第１のマイクと第２のマイクで形成される回転面と直交方向の回転制御を行い、３次元方向の追従を可能とするシステム。

第１の実施例ではたとえば、左右方向３６０°の追従は可能であるが、上下方向への追従が必要な場合には上下方向へのモータ−19Ｚを含む回転機構と11C,12C,13Z,14Z,15Z,16Z,17Z,18Zからなる検出制御回路を追加すれば良い、その場合は上下に配置した２つのマイクが必要であるが、その内の１つ10Aは左右方向用マイクと兼用できるので、10A,10Bに加え10Cの無指向性マイクを直角二等辺三角形の頂点に配置すれば良い。また回転駆動用に19Zのモーターも追加する。その時の構成を図１５に示す。左右方向検出部、左右方向回転制御部に加え上下方向検出部、上下方向回転制御部により３次元の追尾が可能となる。

聴覚障碍者に音源方向と（音源内容）を指し示すシステム（聴導犬ロボットの要素）
テレビ会議システムで音源方向にマイク及び、カメラを向けるシステム
防犯カメラで音のする方向を撮影記録するシステム
緊急車両のサイレン方向をドライバーに示すシステム
などに利用されるシステムである。

Claims (3)

1. 少なくとも２つのマイクを含む機器システムの正面方向を回転制御により、人の発する音
   声の音源方向に向かせるシステム機器において、２つの無指向性マイクを数ｃｍ程度に近
   接配置し、２つのマイク出力信号を各々増幅後の交流成分が正ならk、負なら-kに変換す
   る正負判定処理を行った後に２つの信号を減算処置した後積分処理した、第一の信号と、
   各々正負判定処理した後２つの信号を加算処理した第二の信号を生成する。次に第一の信
   号と第二の信号を乗算することにより、２つのマイクを結ぶ直線の直行方向に対し音波到
   来方向がどちらの方向かを検出する信号を生成し、この方向検出信号により回転制御を行
   うことにより、３６０°の音波到来方向に対しマイクを含むシステムの向きを追従させる
   ことを特長とする、音源方向追従システム。
2. 請求項１の構成において、マイク受音レベルが閾値より低い場合は回転制御を停止し、発
   話が無い場合の不要な動きを防止することを特長とする音源方向追従システム。
3. 第１のマイクと第２のマイクで請求項１に示す回転制御を行うシステムに加え、第１のマイクと第２のマイクの回転面に対し、立体的に直交する方向に第３のマイクを配置し、第１のマイクと第３のマイクで請求項１に示す回転制御を同時に行うことにより、３次元方向の音源追尾を可能とする音源方向追従システム。

Images