JP6433630B2

JP6433630B2 - 雑音除去装置、エコーキャンセリング装置、異音検出装置および雑音除去方法

Info

Publication number: JP6433630B2
Application number: JP2018528158A
Authority: JP
Inventors: 信秋田中
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2016-07-21
Filing date: 2016-07-21
Publication date: 2018-12-05
Anticipated expiration: 2036-07-21
Also published as: US10939198B2; CN109417666A; TWI601131B; DE112016007079T5; JPWO2018016044A1; CN109417666B; US20190149912A1; TW201810252A; WO2018016044A1

Description

この発明は、異なる位置に存在する複数の音源から到来する音のうち、目的の方向から到来する音だけを強調し、それ以外の音を除去する雑音除去装置に関するものである。

雑音除去装置は、マイクロホンなどの音響センサを使用して録音された音データから雑音を除去することによって、目的の音（目的音）を聞き取りやすくするものである。この装置によって、例えば、エアコンなどの機器から発生する騒音により聞き取りにくくなった音声を明瞭化したり、複数の話者が同時に発話しているときに目的とする話者の発話だけを抽出したりすることができる。

このような技術は、音声を人間にとって聞き取りやすくするだけでなく、音声認識システムなどにおける雑音に対する頑健性を向上させることもできる。また、人間の発話を明瞭化する以外にも、例えば、機器の作動音に異常な音が含まれていないかを自動的に検出する機器監視システムにおいて、周囲の騒音による検出精度の劣化を防止する用途などに利用することができる。

雑音を除去する方法として、複数の音響センサにより音響センサアレイを構成し、各音響センサから得られる観測信号に対してソフトウェアによる信号処理を施すことで、目的音源に対する指向性を形成する方法がある。この方法は、無指向性マイクロホンなどの安価な音響センサを利用しながら急峻な指向性を形成することができるため、ハードウェアのコストを低く抑えられる利点がある。また、形成される指向性をソフトウェアによって動的に変化させることができるため、音源が移動するような場合にも対応することができる。

上記の雑音除去方法においては、音響センサアレイを構成する音響センサの配置方法によって雑音除去性能が変化することが知られている。これに対して非特許文献１、２では、音響センサ、目的音源、雑音源の位置関係によって、雑音除去性能が変化することが実験的に示されている。しかし、非特許文献１、２では、高い雑音除去性能を得ることができるような具体的な音響センサと音源の位置関係については言及されていない。

一方、非特許文献３、４では、雑音除去を行うための音響センサの配置が示されている。非特許文献３、４に示されている雑音除去方法では、複数の音響センサから得られる観測信号の時間差を利用して雑音除去を行うため、音響センサの間隔を小さく抑えることが可能である。しかし、これらの文献に示された音響センサの配置構成が、他の音響センサの配置と比較して高い雑音除去性能を示すか否かは示されていない。
また、特許文献１では、音響センサ間の音量差を利用して雑音除去を行うための音響センサ、目的音源、雑音源の具体的な位置関係が示されている

特開２００６−３４９７２３号公報ＮｏｂｕａｋｉＴａｎａｋａ，ＴｅｔｓｕｊｉＯｇａｗａ，ＴｅｔｓｕｎｏｒｉＫｏｂａｙａｓｈｉ，"ＳｐａｔｉａｌｆｉｌｔｅｒｃａｌｉｂｒａｔｉｏｎｂａｓｅｄｏｎｍｉｎｉｍｉｚａｔｉｏｎｏｆｍｏｄｉｆｉｅｄＬＳＤ，" Ｐｒｏｃ．Ｉｎｔｅｒｓｐｅｅｃｈ２０１１，ｐｐ．１７６１―１７６４，Ａｕｇ．２０１１．田中信秋，小川哲司，小林哲則，"ＭｏｄｉｆｉｅｄＬＳＤ最小化に基づく空間フィルタキャリブレーション，"音講論集，ｐｐ．３３―３６，Ｓｅｐ．２０１１．田中信秋，細谷耕佑，小川哲司，小林哲則，"ゾーン強調型ビームフォーマの構築，"音講論集，ｐｐ．１５３―１５４，Ｓｅｐ．２００９．ＮｏｂｕａｋｉＴａｎａｋａ，ＴｅｔｓｕｊｉＯｇａｗａ，ＫｅｎｚｏＡｋａｇｉｒｉａｎｄＴｅｔｓｕｎｏｒｉＫｏｂａｙａｓｈｉ，"Ｄｅｖｅｌｏｐｍｅｎｔｏｆｚｏｎａｌｂｅａｍｆｏｒｍｅｒａｎｄｉｔｓａｐｐｌｉｃａｔｉｏｎｔｏｒｏｂｏｔａｕｄｉｔｉｏｎ，"Ｐｒｏｃ．ＥＵＳＩＰＣＯ２０１０，ｐｐ．１５２９―１５３３，Ａｕｇ．２０１０．

しかし、特許文献１には、音響センサ間の音量差を利用して雑音除去を行う都合上、音響センサ間にある程度大きな距離が必要となるため、装置が大型化してしまう問題がある。
本発明はこの課題を解決するために、音響センサの間隔を小さく抑えながら高い雑音除去性能を実現することを目的とする。

この発明に係る雑音除去装置は、二等辺三角形の各頂点に配置した３の音響センサを含む音響センサアレイであって、前記二等辺三角形の頂角を成す位置の頂点に配置された第１の音響センサは、目的音源が存在し得る範囲である目的音源の方向範囲と、雑音源が存在し得る範囲である雑音源の方向範囲との２の境界の二等分線上に配置され、前記頂角に対向する底辺の一端である頂点に配置された第２の音響センサおよび前記底辺の他端である頂点に配置された第３の音響センサは、前記第２の音響センサと前記第１の音響センサとを結ぶ線分の垂直二等分線の方向と、前記第３の音響センサと前記第１の音響センサとを結ぶ線分の垂直二等分線の方向と、にそれぞれ前記境界がくるように配置された音響センサアレイと、前記音響センサから出力された信号を用いて、前記目的音源からの音を強調し前記雑音源からの雑音を除去した信号を出力する雑音除去処理手段とを備えたことを特徴とする。

この発明の雑音除去装置は、音響センサの間隔を小さく抑えながら高い雑音除去性能を実現することができる。

この発明の実施の形態１における雑音除去装置１の構成図である。この発明の実施の形態１におけるマイクロホン２の配置に関する説明図である。この発明の実施の形態１におけるマイクロホンペア６で観測される音の到来方向θと時間差との関係図である。この発明の実施の形態１におけるマイクロホンペア６を中心とする円周上に図３で示した音の到来方向θをプロットした図である。ひとつの音声信号に時間差を与えたふたつの音声信号に対する、離散周波数ごとの時間差の観測値をプロットした図である。この発明の実施の形態１における雑音除去処理手段４の構成図である。この発明の実施の形態１における雑音除去装置１のハードウェア構成図である。この発明の実施の形態１における雑音除去装置１のハードウェア構成図である。この発明の実施の形態２におけるエコーキャンセリング装置１４の構成図である。この発明の実施の形態３における異音検出装置１９の構成図である。この発明の実施の形態４における目的音源と雑音源が存在し得る範囲とマイクロホン２の配置の構成図である。

以下に、本発明に係る雑音除去装置、エコーキャンセリング装置、異音検出装置および雑音除去方法の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

実施の形態１．
図１は、この発明の実施の形態１における雑音除去装置１の構成図である。
本実施の形態では、音響センサの具体例として、マイクロホンを用いて説明し、音響センサペアをマイクロホンペア、音響センサアレイをマイクロホンアレイとして説明する。ただし、本発明における音響センサはマイクロホンに限定されるものではなく、例えば超音波センサなどであってもよい。
雑音除去装置１は、２以上のマイクロホン２を含むマイクロホンアレイ３と、雑音除去処理手段４から構成されている。雑音除去装置１のマイクロホン２で観測した音の信号（観測信号）が雑音除去処理手段４に出力される。そして、雑音除去処理手段４は観測信号のうち目的とする音の到来方向の音だけを強調し、雑音を除去した出力信号を雑音除去装置１に接続されているスピーカー５に出力する。

次に、マイクロホン２の構成について説明する。
図１では、隣接する２個のマイクロホン２の組をマイクロホンペア６とすると、少なくとも１組のマイクロホンペア６の間を結ぶ線分の垂直二等分線の方向が雑音源７となるように（雑音の到来方向となるように）マイクロホン２が配置されている。そして、マイクロホン２から観測信号が雑音除去処理手段４に出力される。雑音源７はマイクロホン２との位置関係が既知であるとする。

ここで、１組のマイクロホンペア６を用いて雑音除去を実施する場合において雑音除去性能が最大となるような、マイクロホン２と雑音源７の位置関係について説明する。
図２は、この発明の実施の形態１におけるマイクロホン２の配置に関する説明図である。
図２に示すように、マイクロホンペア６を結ぶ線分の垂直二等分線の方向を基準として、音源から音が到来する方向（弧度法）をθとする。

図３は、この発明の実施の形態１におけるマイクロホンペア６で観測される音の到来方向θと時間差との関係図である。
図３では、時間差を表す縦軸に等間隔の目盛線を記入しており、その目盛線における時間差の値に対応する音の到来方向θに点を打っている。これらの点の位置における音の到来方向θは、図３に示す通り不等間隔となる。

図４は、この発明の実施の形態１におけるマイクロホンアレイ３を中心とする円周上に図３で示した音の到来方向θをプロットした図である。
図４で示される様に、音の到来方向θが０付近の方向では不等間隔な点の分布が密に、±π／２付近の方向では疎になっていることが分かる。例えば、ノイズの影響により、観測された時間差が図３における１目盛分だけ実際の時間差からずれる場合、実際の音の到来方向に対応する図４の点に対して、その両隣にある点の内いずれかが音の到来方向の観測値として算出されることになる。すると、図４において点の分布が密な方向の範囲では、時間差にずれが生じたとしても音の到来方向の観測値が大きく変動することはない。

一方、点の分布が疎な方向の範囲では、少しの時間差のずれによって音の到来方向の観測値が大きく変動してしまうことが分かる。したがって、マイクロホンペアを用いて音の到来方向を観測する際には、雑音の到来方向の角度が０に近い場合、つまりマイクロホンペアを結ぶ線分の垂直二等分線の方向に雑音源７が存在するときに最も正確に観測することができる。
雑音除去に際しては、除去すべき成分である雑音源７（雑音の到来方向）を正確に観測する必要がある。したがって、以上の観点では、マイクロホンペア６を結ぶ線分の垂直二等分線の方向に雑音源７が存在する場合において雑音除去性能が最大化されることが分かる。このマイクロホンペア６を結ぶ線分の垂直二等分線の方向が雑音の到来方向となるようにするとは、雑音の到来方向が目的音の到来方向よりもマイクロホンペア６を結ぶ線分の垂直二等分線の方向に近ければよい。マイクロホンペア６を結ぶ線分の垂直二等分線の方向が雑音の到来方向になるようにマイクロホンペア６を配置すると、雑音の到来方向より目的音の到来方向の方がマイクロホンペア６を結ぶ線分の垂直二等分線の方向に近いマイクロホンペア６の配置よりも除去すべき雑音を正確に観測することができる。

図５は、ひとつの音声信号に時間差を与えたふたつの音声信号に対する、離散周波数ごとの時間差の観測値をプロットした図である。
上述したマイクロホンペア６と雑音源７の位置関係が、雑音除去にとって好都合である理由はもうひとつある。図５に示されるように、ふたつの音声信号の時間差が大きくなるにつれて観測される時間差の分散が大きくなり、正確な時間差が得られなくなっていることが分かる。これは、短時間離散フーリエ変換を行う際に、短時間フレームの境界がふたつの信号で一致しなくなるためである。したがって、ふたつのマイクロホン２で構成されたマイクロホンペア６に対して、ふたつのマイクロホン２に至る音の時間差が０に近いとき、つまり雑音の到来方向が隣接するマイクロホン２を結ぶ線分の垂直二等分線の方向に一致するとき、時間差を最も正確に観測することができる。

以上のように、音に時間差が生じても２点間の観測値に変動が少ないことと、音声信号の時間差の分散が小さいというふたつの観点から、隣接するマイクロホン２を結ぶ線分の垂直二等分線の方向が雑音源７となるようにマイクロホン２を配置することで、音響センサの間隔を小さく抑えながら雑音除去性能を最大化することができる。

例えば、車載に搭載するマイクロホン２で搭乗者の音声を観測するとき、雑音源７となりえるエンジン音の方向が既知であり、このエンジン音を除去する場合において、隣接するマイクロホン２を結ぶ線分の垂直二等分線の方向が雑音源７であるエンジンの方向となるようにマイクロホンペア６を配置する。このように、マイクロホン２を配置することによって、マイクロホン２の間隔を小さく抑えながら雑音除去性能を最大にして搭乗者の音声を強調することができる。

次に、図１の構成の説明に戻り、雑音除去処理手段４について説明する。
雑音除去処理手段４は、マイクロホン２から入力された観測信号から目的とする音の到来方向の音を強調し、雑音を除去した出力信号を雑音除去装置１に接続されているスピーカー５に出力する。
一般的に、マイクロホンアレイ３を用いて特定の方向から到来する音を強調するには、まず、複数のマイクロホン２から得られる観測信号の時間差に基づいて音の到来方向を時間‐周波数ごとに観測する。その上で、観測した音の観測信号から目的とする方向から到来している音を構成する時間‐周波数成分を強調し、それ以外の成分を除去するようなフィルタを観測信号に掛ける手法が用いられる。

図６は、この発明の実施の形態１における雑音除去処理手段４の構成図である。
雑音除去処理手段４は、ＤＦＴ(Discrete Fourier Transform)手段４１、帯域選択手段４２、積算手段４３、およびＩＤＦＴ（Inverse Discrete Fourier Transform）手段４４から構成されている。ここでは、図６に示す構成であるものとして説明するが、雑音除去処理手段４の構成は必ずしも図６と同様である必要はなく、他の構成でもよい。

また、説明を単純化するため、以降ではマイクロホンアレイ３が２個のマイクロホン２で構成されている場合について説明する。更に、マイクロホン２の数を３個以上とする構成への拡張は容易であり、３個以上のマイクロホン２により構成される場合も本発明に含まれるものとする。前記マイクロホンアレイ３を構成する２個のマイクロホン２は、それぞれマイクロホン２ａ，２ｂとし、これら２個のマイクロホン２によってマイクロホンペア６が構成されているものとする。

ここで、雑音除去装置１のハードウェア構成について説明する。
図７は、この発明の実施の形態１における雑音除去装置１のハードウェア構成図である。
雑音除去装置１は、音を集音するマイクロホン２、マイクロホン２の出力信号をデジタル信号に変換するＡＤ変換器８、雑音除去処理手段４のＤＦＴ手段４１と帯域選択手段４２と積算手段４３とＩＤＦＴ手段４４のプログラムが記憶されたメモリ９、メモリ９から雑音除去処理手段４の各手段のプログラムを読み出して実行するプロセッサ１０により構成される。そして、プロセッサ１０によって処理された出力信号を出力装置１１（例えば図１のスピーカー５）に出力する。図７では、マイクロホンアレイ３にｎ個のマイクロホン２が含まれている例を示している

また、図８は、この発明の実施の形態１における雑音除去装置１のハードウェア構成図である。
図８では、雑音除去処理手段４の信号処理をハードウェアによって実装する場合の構成を示している。雑音除去装置１は、音を集音するマイクロホン２、マイクロホン２の出力信号をデジタル信号に変換するＡＤ変換器８、雑音除去処理手段４のＤＦＴ手段４１と帯域選択手段４２と積算手段４３とＩＤＦＴ手段４４のプログラムが記憶され、記憶されたプログラムを読み出して実行する処理回路１２により構成される。そして、処理回路１２で処理された出力信号を出力装置１１（例えば図１のスピーカー５）に出力する。図８では、マイクロホンアレイ３にｎ個のマイクロホン２が含まれている例を示している。

次に、雑音除去装置１の動作について図６を用いて説明する。
雑音除去装置１でマイクロホン２ａと２ｂによって集音された音は、図７または図８で示したＡＤ変換器８でデジタル変換され、時間領域の観測信号としてそれぞれＤＦＴ手段４１ａと４１ｂに入力される。そして、ＤＦＴ手段４１ａと４１ｂでそれぞれ周波数領域の観測信号スペクトルに変換され、帯域選択手段４２に出力される。帯域選択手段４２では、時間差に基づいて観測信号に目的音を構成する時間‐周波数成分だけを強調するように生成されたフィルタが生成される。そして、積算手段４３によって、このフィルタから得られる観測信号スペクトルと、ＤＦＴ手段４１ａまたはＤＦＴ手段４１ｂから得られる観測信号スペクトルを積算することにより出力信号スペクトルが生成される。そして、出力信号スペクトルはＩＤＦＴ手段４４に入力され、離散逆フーリエ変換により時間領域の出力信号に変換され、変換された出力信号がスピーカー５に出力される。

以降は、雑音除去装置１の動作について詳細に説明する。
雑音除去装置１は、まず図２に示したようにマイクロホン２ａとマイクロホン２ｂとを結ぶ線分の垂直二等分線の方向に雑音源７が存在するようにマイクロホン２を配置する（雑音除去ステップ）。この様に配置されたマイクロホン２で集音された音は、雑音が最も正確に観測され、マイクロホン２ａと２ｂから集音された音は、観測信号として図６に示した雑音除去処理手段４のＤＦＴ手段４１ａと４１ｂのそれぞれに入力される。

そして、ＤＦＴ手段４１ａと４１ｂでは、時刻ｔにおいてマイクロホン２ａ、２ｂから得られる時間領域の観測信号をそれぞれｘ_１（ｔ）、ｘ_２（ｔ）と表す。ＤＦＴ手段４１ａと４１ｂは、入力された観測信号ｘ_１（ｔ）、ｘ_２（ｔ）に対して短時間離散フーリエ変換を施し、得られた周波数領域の観測信号スペクトルＸ_１（ω，τ）、Ｘ_２（ω，τ）を出力する。ここで、ωは離散周波数、τは短時間フレームを表す。

そして、帯域選択手段４２では、ＤＦＴ手段４１ａと４１ｂから入力された観測信号スペクトルＸ_１（ω，τ）、Ｘ_２（ω，τ）に基づき、音の到来方向を離散周波数ごとに計算する。音源がマイクロホンアレイ３から十分離れた位置に存在するとすれば、音の到来方向θ（ω，τ）は、式１のようにＸ_１（ω，τ）、Ｘ_２（ω，τ）の位相差に基づいて計算することができる。

ただし、ｃは音速、ｄはマイクロホン間の距離、ａｒｇは複素数の偏角を表す。

式１によって計算される音の到来方向θ（ω，τ）は、図２に示すように、マイクロホン２ａと２ｂにより構成されるマイクロホンペア６を結ぶ直線に対して垂直な方向を０とするときの角度（弧度法）となる。

次に、帯域選択手段４２では、離散周波数ごとの音の到来方向θ（ω，τ）に基づき、目的音の方向から到来した音の時間‐周波数成分だけを残すようなフィルタｂ（ω，τ）を式２のように生成し積算手段４３に出力する。

ただし、Θは目的とする音の到来方向の集合である。

式２は、所望の方向から到来した音の時間‐周波数成分には係数として１を掛け、それ以外の音の成分には０を掛けるようなフィルタを生成するものである。このフィルタにより、観測信号に含まれる目的音の時間‐周波数成分だけを強調することができる。

積算手段４３は、マイクロホン２ａの観測信号スペクトルＸ_１（ω，τ）にフィルタｂ（ω，τ）を掛け、雑音が除去された出力信号スペクトルＹ（ω，τ）を生成しＩＤＦＴ手段４４に出力する。
尚、ここではマイクロホン２ａの観測信号スペクトルＸ_１（ω，τ）にフィルタｂ（ω，τ）を掛けるとして説明しているが、マイクロホン２ｂでもよく、任意のマイクロホン２でもよい。

そして、ＩＤＦＴ手段４４は、入力された出力信号スペクトルＹ（ω，τ）を離散逆フーリエ変換によって時間領域の出力信号ｙ（ｔ）に変換し、変換した出力信号ｙ（ｔ）をスピーカー５に出力する（雑音除去ステップ）。このようにしてスピーカー５からは、最大限に雑音が除去されて目的音が強調された音が出力される。
なお、ここではスピーカー５として説明するが、イヤホン、メモリ、ハードディスク等であってもよい。出力先がメモリやハードディスクなどの記憶媒体の場合には、その記憶媒体に雑音が除去された音のディジタルデータが保存される。

マイクロホンアレイ３が３個以上のマイクロホン２によって構成されている場合は、例えば、複数のマイクロホンペア６によって観測された音の到来方向の平均値を利用してフィルタを生成することで、より精度の高い雑音除去が可能になる。

以上の様に、少なくとも１組のマイクロホンペア６の間を結ぶ線分の垂直二等分線の方向が雑音源７となるようにマイクロホン２を配置することによって、除去したい雑音に時間差が生じても観測値に変動が少なく、また除去したい雑音に対して観測信号の時間差の分散が小さくなり、時間差に基づく雑音到来方向の推定を高い精度で行うことが可能なので、高い雑音除去性能を実現することができる。そのため、他のマイクロホンの配置構成と比較して雑音をより正確に除去することができ、目的音の明瞭性が向上する。

実施の形態２．
次に、通信相手の音声（通話音声）を受信する音声受信装置１３の参照信号に基づいてエコーキャンセリングの処理をした信号を出力するエコーキャンセリング装置１４に、実施の形態１で説明したマイクロホンアレイ３を適用する例について説明する。
ここで説明するエコーキャンセリング装置１４は、例えば、ハンズフリー通話システムにおいて、音声受信装置１３で受信した通話音声がスピーカー１５で再生され、スピーカー１５から再生される通話音声が話者の通話用マイクロホン（マイクロホン２）に混入することで、通話音声がエコーのように繰り返し再生されてしまう状況を回避するために利用される。
エコーキャンセリング装置１４は、スピーカー１５から出力された通話音声と通信元の話者の音声を観測し、通話音声を雑音として除去（雑音除去）して、目的音である通信元の話者の音声を強調した出力信号から更に音声受信装置１３の参照信号に基づいてエコーキャンセリングの処理をした信号を出力する。

図９は、この発明の実施の形態２におけるエコーキャンセリング装置１４の構成図である。
エコーキャンセリング装置１４は、実施の形態１で説明した構成のマイクロホンアレイ３と雑音除去処理手段４、およびエコーキャンセリング手段１６により構成される。
マイクロホンアレイ３は、音声受信装置１３で受信した音声を出力するスピーカー１５を雑音源の位置として、少なくとも１組のマイクロホンペア６の間を結ぶ線分の垂直二等分線の方向がスピーカー１５となるようにマイクロホン２を配置している。そして、マイクロホンアレイ３で観測した音の観測信号を雑音除去処理手段４に出力する。
雑音除去処理手段４は、実施の形態１で説明した構成と同じであり、マイクロホンアレイ３から入力された観測信号から目的音を強調して、雑音を除去した出力信号をエコーキャンセリング手段１６に出力する。
エコーキャンセリング手段１６は、雑音除去処理手段４から入力された出力信号から音声受信装置１３の参照信号に基づきエコーを除去処理し、エコーを除去した音声信号をエコーキャンセリング装置１４に接続された音声送信装置１７に出力する（エコーキャンセリングステップ）。
音声送信装置１７は、エコーを除去処理した音声信号を通信相手に送信する。

エコーキャンセリング装置１４は、実施の形態１の雑音除去装置１と同様の方法でスピーカー１５の音を雑音（エコー）として除去する。この際、一般に、残響や他の外乱要因によってエコーは完全には除去されない。そこで、エコーキャンセリング手段１６が雑音除去処理手段４の出力信号に残留したエコーを音声受信装置１３から取得した参照信号を利用して除去する。参照信号に基づいてエコーを除去する方法としては、ＬＭＳアルゴリズムやアフィン射影アルゴリズムが知られている。

この様に、エコーキャンセリングの処理の前に、エコーとなる雑音源のスピーカー１５の位置を１組のマイクロホンペア６の間を結ぶ線分の垂直二等分線の方向となるようにマイクロホン２を配置して、高性能な雑音除去処理を挿入することにより、一般的なエコーキャンセリング装置と比較して、より良いエコーの除去性能を実現し、目的音の明瞭性を向上させることができる。

実施の形態３．
次に、機器の動作音を実施の形態１で説明したマイクロホン２の配置により常時監視し、この監視対象の機器である監視対象機器１８の不具合や故障に伴う異音を自動的に検出する異音検出装置１９について説明する。
機器の動作音に基づく常時監視においては、周囲に配置された他の機器の動作音などが雑音となり、異音の検出精度が劣化する問題がある。そこで、実施の形態１と同様の方法によって雑音を除去して監視対象機器１８の動作音を目的音として強調することで、異音の検出精度を向上させることができる。

図１０は、この発明の実施の形態３における異音検出装置１９の構成図である。
異音検出装置１９は、実施の形態１で説明した構成のマイクロホンアレイ３と雑音除去処理手段４、および異音検出手段２０により構成される。
マイクロホンアレイ３は、少なくとも１組のマイクロホンペア６の間を結ぶ線分の垂直二等分線の方向が雑音源７となるようにマイクロホン２を配置している。そして、マイクロホンアレイ３で観測した音の観測信号を雑音除去処理手段４に出力する。ここで、雑音源７は、例えば監視対象機器１８以外で雑音源７となることがわかっている機器の位置に対して、マイクロホン２を上記の構成で配置する。

雑音除去処理手段４は、実施の形態１で説明した構成と同じであり、実施の形態１の構成と同様に配置したマイクロホンアレイ３から入力された観測信号に対して、監視対象機器１８から到来する音を目的音として強調し、雑音を除去した出力信号を異音検出手段２０に出力する。
異音検出手段２０は、雑音除去処理手段４から入力された出力信号から監視対象機器１８の異音を検出する。異音を検出する処理としては、例えば、特開２０１０‐２７１０７３、または特開２００８‐７６２４６に記載されている異音の検出処理によって監視対象機器１８の異音を検出する（異音検出ステップ）。

この様に、雑音環境下においても異音検出が可能になるため、実施の形態１で説明したマイクロホンアレイ３の構成を用いないで雑音除去処理を行った場合に比べて、より多種多様な環境において異音の検出精度を向上させることができる。
また、異音検出手段２０が異音を検出した場合に、例えば監視対象機器１８を自動的に停止させたり、警報やメールなどの手段によって作業者に機器の不調を通知したりすることで、機器が不安定な状態で長時間稼働することを防止することができる。

実施の形態４．
次に、目的音源と雑音源の存在する範囲が移動し得る状況において、精度よく雑音除去するためのマイクロホン２の配置について説明する。
図１１は、この発明の実施の形態４における目的音源と雑音源が存在し得る範囲とマイクロホン２の配置の構成図である。
図１１ａは目的音源と雑音源が存在し得る範囲とマイクロホンアレイ３の配置図である。また、図１１ｂは、３個のマイクロホン２により構成されるマイクロホンアレイ３の配置図である。
図１１ａに示す様にマイクロホンアレイ３を中心に、目的音源の存在し得る範囲（目的音源の方向範囲）２１が、ある角度で放射線状に存在しているとする。そして、目的音源の方向範囲２１以外の範囲を雑音源が存在し得る範囲（雑音源の方向範囲）２２とし、目的音源の方向範囲２１と雑音源の方向範囲２２aとの境を境界２３a、目的音源の方向範囲２１と雑音源の方向範囲２２ｂとの境を境界２３ｂとする。この時、目的音源の方向範囲２１で目的音源は複数存在してもよく、雑音源の方向範囲２２で雑音源は複数存在してもよい。

このような状況でマイクロホンアレイ３のマイクロホン２ａは、目的音源の方向範囲の２つの境界２３ａと２３ｂとの成す角度の２等分線上に配置する。そして、マイクロホン２ａに隣接するマイクロホン２ｂは、マイクロホン２ａとマイクロホン２ｂとの間を結ぶ線分の垂直二等分線の方向に境界２３ａがくるように配置する。更に、マイクロホン２ａに隣接するマイクロホン２ｃは、マイクロホン２ａとマイクロホン２ｃとの間を結ぶ線分の垂直二等分線の方向に境界２３ｂがくるように配置する。
マイクロホン２ａは第１の音響センサ、マイクロホン２ｂは第２の音響センサ、マイクロホン２ｃは第３の音響センサに相当する。

この様にマイクロホン２ａを頂点としてマイクロホン２ｂと２ｃを配置すると、マイクロホン２ａを二等辺三角形の頂角を成す位置の頂点とし、二等辺三角形の頂角に対向する底辺の一端にマイクロホン２ｂ、他端にマイクロホン２ｃを配置することになる。尚、マイクロホンアレイ３と目的音源との距離、またはマイクロホンアレイ３と雑音源との距離は、マイクロホン2ａ、２ｂ、２ｃ間の距離に比べて十分長いものとする。また、マイクロホンアレイ３は、上記の様に配置した３つのマイクロホン２により構成されるものとして説明したが、上記のように配置した３つのマイクロホンを含む構成であってもよい。

以上の様に配置したマイクロホンアレイ３で、観測した音の観測信号を実施の形態１で説明したように雑音除去処理手段４で雑音を除去し、目的音を強調して出力信号を出力する。また、このように配置されたマイクロホンアレイ３の観測信号を雑音除去して、実施の形態２で説明したにエコーキャンセリング手段１６でエコーを除去してもよい。更に、このように配置されたマイクロホンアレイ３の観測信号を雑音除去して、異音検出手段２０で異音を検出するようにしてもよい。

このように例えば３つのマイクロホン２を二等辺三角形の各頂点に配置し、二等辺三角形の頂角を成す位置の頂点に配置したマイクロホン２ａを目的音源の方向範囲と雑音源の方向範囲の２つの境界２３ａと２３ｂとの成す角度の２等分線上に配置する。そして、このマイクロホン２ａと二等辺三角形の底辺の一端に配置したマイクロホン２ｂとの間を結ぶ線分の垂直二等分線の方向、およびマイクロホン２ａと二等辺三角形の底辺の他端に配置したマイクロホン２ｃとの間を結ぶ線分の垂直二等分線の方向に、目的音源の方向範囲と雑音源の方向範囲との境界がくるように配置する。この様にマイクロホン２を配置することで、目的音の明瞭化が最も困難な状況、つまり雑音源が目的音源に最も近付く位置である境界線上に存在する場合において、雑音の到来方向が少なくとも１組のマイクロホンペア６を結ぶ線分の垂直二等分線の方向になるため、雑音除去性能が最大化される。したがって、雑音源が目的音源の方向範囲に侵入しない限り、どのような位置に雑音源が存在していたとしても安定した雑音除去性能を実現することが可能になる。
＜付記＞
（付記１）
２以上の音響センサを含む音響センサアレイであって、隣接する２の音響センサを結ぶ線分の垂直二等分線の方向が雑音の到来方向となるように音響センサを配置した音響センサアレイと、
前記音響センサから出力された信号を用いて、目的とする方向の音を強調し前記雑音を除去した信号を出力する雑音除去処理手段と
を備えたことを特徴とする雑音除去装置。
（付記２）
２以上の音響センサを含む音響センサアレイであって、隣接する２の音響センサを結ぶ線分の垂直二等分線の方向が通信相手の音声を受信する音声受信装置から出力される音声の到来方向であり、この方向を雑音の到来方向となるように音響センサを配置した音響センサアレイと、
前記音響センサから出力された信号を用いて目的とする方向の音を強調し前記雑音を除去した信号を出力する雑音除去処理手段と、
前記雑音除去処理手段から出力される出力信号を前記音声受信装置の参照信号に基づいて除去するエコーキャンセリング手段と
を備えたことを特徴とするエコーキャンセリング装置。
（付記３）
２以上の音響センサを含む音響センサアレイであって、隣接する２の音響センサを結ぶ線分の垂直二等分線の方向が雑音の到来方向となるように音響センサを配置した音響センサアレイと、
前記音響センサから出力された信号を用いて目的とする方向の音を強調し前記雑音を除去した信号を出力する雑音除去処理手段と、
前記雑音除去処理手段から出力される出力信号に基づき、監視対象機器の異音を検出する異音検出手段と
を備えたことを特徴とする異音検出装置。
（付記４）
前記音響センサアレイは、二等辺三角形の各頂点に配置した３の音響センサを含むものであって、前記二等辺三角形の頂角を成す位置の頂点に配置された第１の音響センサは、目的音源が存在し得る範囲である目的音源の方向範囲と、雑音源が存在し得る範囲である雑音源の方向範囲との２の境界の二等分線上に配置し、前記頂角に対向する底辺の一端である頂点に配置された第２の音響センサと前記第１の音響センサとを結ぶ線分の垂直二等分線の方向と、および前記底辺の他端である頂点に配置された第３の音響センサと前記第１の音響センサとの結ぶ線分の垂直二等分線の方向と、にそれぞれ前記境界がくるように配置したことを特徴とする付記１〜３のいずれか１項に記載の雑音除去装置。
（付記５）
２以上の音響センサを含む音響センサアレイであって、隣接する２の音響センサを結ぶ線分の垂直二等分線の方向が雑音の到来方向となるように音響センサを配置する配置ステップと、
前記音響センサから出力された信号を用いて、目的とする方向の音を強調し前記雑音を除去した信号を出力する雑音除去ステップと、
を備えたことを特徴とする雑音除去方法。

以上のように、本発明に係る雑音除去装置１は、少なくとも１組のマイクロホンペア６の間を結ぶ線分の垂直二等分線の方向が雑音源７となるようにマイクロホン２を配置して、時間差に基づく雑音到来方向の推定を高い精度で行うことが可能なので、高い雑音除去性能を実現することができる。

１雑音除去装置、２マイクロホン、３マイクロホンアレイ、４雑音除去処理手段、５スピーカー、６マイクロホンペア、７雑音源、８ＡＤ変換器、９メモリ、１０プロセッサ、１１出力装置、１２処理回路、１３音声受信装置、１４エコーキャンセリング装置、１５スピーカー、１６エコーキャンセリング手段、１７音声送信装置、１８監視対象機器、１９異音検出装置、２０異音検出手段、２１目的音源の方向範囲、２２雑音源の方向範囲、２３目的音源の方向範囲と雑音源の方向範囲との境界。

Claims

二等辺三角形の各頂点に配置した３の音響センサを含む音響センサアレイであって、前記二等辺三角形の頂角を成す位置の頂点に配置された第１の音響センサは、目的音源が存在し得る範囲である目的音源の方向範囲と、雑音源が存在し得る範囲である雑音源の方向範囲との２の境界の二等分線上に配置され、前記頂角に対向する底辺の一端である頂点に配置された第２の音響センサおよび前記底辺の他端である頂点に配置された第３の音響センサは、前記第２の音響センサと前記第１の音響センサとを結ぶ線分の垂直二等分線の方向と、前記第３の音響センサと前記第１の音響センサとを結ぶ線分の垂直二等分線の方向と、にそれぞれ前記境界がくるように配置された音響センサアレイと、
前記音響センサから出力された信号を用いて、前記目的音源からの音を強調し前記雑音源からの雑音を除去した信号を出力する雑音除去処理手段と
を備えたことを特徴とする雑音除去装置。
二等辺三角形の各頂点に配置した３の音響センサを含む音響センサアレイであって、前記二等辺三角形の頂角を成す位置の頂点に配置された第１の音響センサは、目的音源が存在し得る範囲である目的音源の方向範囲と、通信相手の音声を受信する音声受信装置で受信した音声を出力する雑音源が存在し得る範囲である雑音源の方向範囲との２の境界の二等分線上に配置され、前記頂角に対向する底辺の一端である頂点に配置された第２の音響センサおよび前記底辺の他端である頂点に配置された第３の音響センサは、前記第２の音響センサと前記第１の音響センサとを結ぶ線分の垂直二等分線の方向と、前記第３の音響センサと前記第１の音響センサとを結ぶ線分の垂直二等分線の方向と、にそれぞれ前記境界がくるように配置された音響センサアレイと、
前記音響センサから出力された信号を用いて、前記目的音源からの音を強調し前記雑音源からの雑音を除去した信号を出力する雑音除去処理手段と、
前記雑音除去処理手段から出力される出力信号から前記音声受信装置の参照信号に基づいてエコーを除去するエコーキャンセリング手段と
を備えたことを特徴とするエコーキャンセリング装置。
二等辺三角形の各頂点に配置した３の音響センサを含む音響センサアレイであって、前記二等辺三角形の頂角を成す位置の頂点に配置された第１の音響センサは、目的音源が存在し得る範囲である目的音源の方向範囲と、雑音源が存在し得る範囲である雑音源の方向範囲との２の境界の二等分線上に配置され、前記頂角に対向する底辺の一端である頂点に配置された第２の音響センサおよび前記底辺の他端である頂点に配置された第３の音響センサは、前記第２の音響センサと前記第１の音響センサとを結ぶ線分の垂直二等分線の方向と、前記第３の音響センサと前記第１の音響センサとを結ぶ線分の垂直二等分線の方向と、にそれぞれ前記境界がくるように配置された音響センサアレイと、
前記音響センサから出力された信号を用いて、前記目的音源からの音を強調し前記雑音源からの雑音を除去した信号を出力する雑音除去処理手段と、
前記雑音除去処理手段から出力される出力信号に基づき、前記目的音源である監視対象機器の異音を検出する異音検出手段と
を備えたことを特徴とする異音検出装置。