JPWO2019030898A1 - 雑音除去装置および雑音除去方法 - Google Patents

雑音除去装置および雑音除去方法 Download PDF

Info

Publication number
JPWO2019030898A1
JPWO2019030898A1 JP2019535541A JP2019535541A JPWO2019030898A1 JP WO2019030898 A1 JPWO2019030898 A1 JP WO2019030898A1 JP 2019535541 A JP2019535541 A JP 2019535541A JP 2019535541 A JP2019535541 A JP 2019535541A JP WO2019030898 A1 JPWO2019030898 A1 JP WO2019030898A1
Authority
JP
Japan
Prior art keywords
noise
line segment
target sound
source
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019535541A
Other languages
English (en)
Other versions
JP6639747B2 (ja
Inventor
信秋 田中
信秋 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2019030898A1 publication Critical patent/JPWO2019030898A1/ja
Application granted granted Critical
Publication of JP6639747B2 publication Critical patent/JP6639747B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083Reduction of ambient noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00Microphones
    • H04R2410/05Noise reduction with a separate noise microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/25Array processing for suppression of unwanted side-lobes in directivity characteristics, e.g. a blocking matrix
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/13Acoustic transducers and sound field adaptation in vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/02Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

音信号を観測する複数のマイクロホン(2)を有するマイクロホンレイ(3)と、複数のマイクロホン(2)が観測した音信号から、雑音を除去して目的音を取得する雑音除去処理部(5)とを備え、複数のマイクロホン(2)のうち、互いに隣接する2個のマイクロホン(2)は、当該2個のマイクロホン(2)と、目的音を発生する目的音源(A)と、雑音を発生する雑音源(B)とを含む平面(12)において、2個のマイクロホン(2)を結ぶ第1の線分(10)の垂直二等分線(13)が、目的音源(A)と第1の線分(10)の中点(11)とを結ぶ第2の線分(14)と、雑音源(B)と第1の線分(10)の中点(11)とを結ぶ第3の線分(15)とのなす角θの二等分線に、一致する配置関係を有する。

Description

この発明は、複数の音源から到来する音から目的の音以外の雑音を除去する技術に関するものである。
雑音除去技術は、マイクロホンなどの音響センサを使用して録音された音データから雑音を除去することによって、目的の音(以下、目的音と記載する)を聞き取り易くする技術である。当該技術によって、例えば、エアコン等の機器から発生する騒音により聞き取りにくくなった音声を明瞭化すること、または複数の話者が同時に発話しているときに目的とする話者の発話のみ抽出することが可能となる。
また、雑音除去技術は、音声認識システム等における雑音に対する頑健性を向上させることもできる。また、雑音除去技術は、例えば、機器の作動音に異常な音が含まれていないかを自動的に検出する機器監視システムにおいて、周囲の騒音による検出精度の劣化を防止する用途に利用することもできる。
音データから雑音を除去する方法として、複数の音響センサにより音響センサアレイを構成し、各音響センサから得られる観測信号に対してソフトウェアによる信号処理を行い、目的音源に対する指向性を形成する方法がある。当該方法では、無指向性マイクロホン等の安価な音響センサを利用しながら急峻な指向性を形成することができ、ハードウェアのコストを抑制することができるという利点がある。また、形成された指向性をソフトウェアによって動的に変化させることができ、音源が移動する場合にも音データから雑音を除去することができる。
複数の音響センサによって雑音を除去する方法では、音響センサアレイを構成する音響センサの配置方法によって、雑音除去性能が変化することが知られている。例えば、特許文献1には、音響センサアレイを、車両に設置されている座席の中で任意の2つの座席に対応するように所定の位置に配置させる技術を用いたマルチビーム音響システムが開示されている。ここで、所定の位置は、任意の2つの座席の間の特定位置で任意の2つの座席方向と垂直方向の線上に位置する。
特表2013−546247号公報
上述した特許文献1に記載されたマルチビーム音響システムでは、高い雑音除去性能を得るための音響センサアレイと複数の音源との位置関係については考慮されている。しかし、音響センサアレイと複数の音源との位置関係を特許文献1に記載された関係としても、当該音響センサアレイを構成する各音響センサと複数の音源との位置関係によっては、出力信号の歪みによって雑音除去性能が低下する場合がある。特許文献1には、高い雑音除去性能を得るために、音響センサアレイを構成する各音響センサと複数の音源との位置関係をどのようにすべきかについては開示されておらず、従来の雑音除去装置には、依然として、出力信号の歪みによって雑音除去性能が低下する場合があるという課題があった。
この発明は、上記のような課題を解決するためになされたもので、音響センサレイを備えた雑音除去装置において、出力信号の歪みを抑制し、雑音除去性能を向上させることを目的とする。
この発明に係る雑音除去装置は、音信号を観測する複数の音響センサを有する音響センサアレイと、複数の音響センサが観測した音信号から、雑音を除去して目的音を取得する雑音除去処理部とを備え、複数の音響センサのうち、互いに隣接する2個の前記音響センサは、当該2個の音響センサと、前記目的音を発生する目的音源と、前記雑音を発生する雑音源とを含む平面において、前記2個の音響センサを結ぶ第1の線分の垂直二等分線が、前記目的音源と前記第1の線分の中点とを結ぶ第2の線分と、前記雑音源と前記第1の線分の中点とを結ぶ第3の線分とのなす角の二等分線に、一致する配置関係を有するものである。
この発明によれば、出力信号の歪みを抑制する位置に音響センサと音源とを配置することができ、雑音除去性能を向上させることができる。
実施の形態1における雑音除去装置の構成を示す図である。 実施の形態1における雑音除去装置のマイクロホンの配置例を示す図である。 実施の形態1における雑音除去装置のマイクロホンペアで観測される音の到来方向と時間差との関係を示す図である。 実施の形態1における雑音除去装置のマイクロホンアレイを中心とする円周上に音の到来方向をプロットした図である。 図5A、図5Bおよび図5Cは、実施の形態1における雑音除去装置のマイクロホンペアで観測される音の到来方向の観測値を示すヒストグラムである。 実施の形態1における雑音除去装置の雑音除去処理部の構成図である。 図7Aおよび図7Bは、実施の形態1における雑音除去装置の雑音除去処理部のハードウェア構成例を示す図である。 実施の形態1における雑音除去装置の動作を示すフローチャートである。 実施の形態2における雑音除去装置の構成を示す図である。 実施の形態2における雑音除去装置の動作を示すフローチャートである。 実施の形態3における雑音除去装置の構成を示す図である。 実施の形態4における雑音除去装置の動作を示すフローチャートである。 図13A、図13Bおよび図13Cは、実施の形態4における雑音除去装置のマイクロホンと、目的音源および雑音源との位置関係を示す図である。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、この発明の実施の形態1における雑音除去装置1の構成を示す図である。
本実施の形態では、音響センサの具体例として、マイクロホンを用いて説明し、音響センサペアをマイクロホンペア、音響センサアレイをマイクロホンアレイとして説明する。ただし、本発明における音響センサはマイクロホンに限定されるものではなく、例えば超音波センサであってもよい。
雑音除去装置1は、2個以上のマイクロホン2(マイクロホン2a,2b,2c,2d,2e,・・・)を含むマイクロホンアレイ3と、AD変換器4と、雑音除去処理部5とから構成されている。雑音除去装置1のマイクロホン2で観測された音の信号(観測信号)は、AD変換器4に入力される。AD変換器4は、入力された観測信号をデジタル信号に変換し、雑音除去処理部5に出力する。雑音除去処理部5は、デジタル信号に変換された観測信号から雑音の信号を除去する。雑音除去処理部5は、雑音の信号が除去された観測信号を、出力信号として、雑音除去装置1に接続されたスピーカ6に出力する。
次に、マイクロホン2の構成について説明する。
図1の例では、複数のマイクロホン2a,2b,2c,2d,2e,・・・(複数のマイクロホンを総じて示す場合、マイクロホン2と記載する)を示している。複数のマイクロホン2のうち、互いに隣接する2個のマイクロホン2a,2bの組をマイクロホンペア21とする。マイクロホンペア21は、複数のマイクロホン2の中から少なくとも1組の互いに隣接するマイクロホン2で形成されればよい。少なくとも1組のマイクロホンペア21の配置位置は、目的音を発生する目的音源Aと雑音を発生する雑音源Bとの位置に応じて決定される。なお、目的音源Aと、雑音源Bと、マイクロホンペア21との位置関係は既知であるものとして、以下説明する。なお、マイクロホンペア21を構成するマイクロホン2a,2b以外の、他のマイクロホン2c,2d,2e,・・・の配置位置は任意に設定可能である。
雑音除去装置1の雑音除去処理部5が、1組のマイクロホンペア21を用いて雑音除去を実施する場合に、雑音除去性能が最大となる、マイクロホン2aと、マイクロホン2bと、目的音源Aと、雑音源Bとの位置関係について、図2を参照しながら説明する。
図2は、この発明の実施の形態1における雑音除去装置1のマイクロホン2の配置例を示す図である。
マイクロホンペア21を構成するマイクロホン2aと、マイクロホン2bとを結ぶ線分を第1の線分10とする。より具体的には、例えば、マイクロホン2aとマイクロホン2bのそれぞれの中心を結ぶ線分を第1の線分10とする。第1の線分10の中点を中点11とする。なお、マイクロホン2aの中心と、マイクロホン2bの中心とは、厳密な中心である必要はない。
また、マイクロホン2aと、マイクロホン2bと、目的音源Aと、雑音源Bとを含む平面を平面12とする。より具体的には、例えば、マイクロホン2aとマイクロホン2bのそれぞれの中心と、目的音源Aに対して任意に設定された点(以下、目的音源Aの設定点と記載する)と、雑音源Bに対して任意に設定された点(以下、雑音源Bの設定点と記載する)とを含む平面を平面12とする。
当該平面12において、第1の線分10の垂直二等分線13が、目的音源Aと中点11とを結ぶ第2の線分14と、雑音源Bと中点11とを結ぶ第3の線分15とがなす角θの二等分線に一致する。より具体的には、例えば、目的音源Aの設定点と中点11とを結ぶ第2の線分14と、雑音源Bの設定点と中点11とを結ぶ第3の線分15とがなす角θの二等分線に一致する。
垂直二等分線13と第2の線分14とがなす角θは、垂直二等分線13を基準として、目的音源Aで発生する目的音がマイクロホンペア21に向かって到来する方向を示している。以下、当該角θを目的音到来方向θとする。
また、垂直二等分線13と第3の線分15とがなす角θは、垂直二等分線13を基準として、雑音源Bで発生する雑音がマイクロホンペア21に向かって到来する方向を示している。以下、当該角θを、雑音到来方向θとする。図2では、目的音到来方向θと雑音到来方向θとが、同一の値の角度となる場合を示している。
雑音除去処理部5の雑音除去性能が最大となるマイクロホン2aおよびマイクロホン2bの配置は、マイクロホン2aと、マイクロホン2bと、目的音源Aと、雑音源Bとが、いずれも同一の平面12上にあり、また、目的音到来方向θと雑音到来方向θとが同一の場合である。
なお、図2では、第2の線分14と第3の線分15の長さが等しく、中点11と、目的音源Aの設定点と、雑音源Bの設定点とが、それぞれ二等辺三角形の頂点にある場合を示している。しかし、図2で示した例に限定されるものではなく、第2の線分14と第3の線分15とは、長さが異なっていてもよい。即ち、中点11から目的音源Aの設定点までの距離と、中点11から雑音源Bの設定点までの距離とは、異なっていてもよい。
次に、マイクロホンペア21で観測される音の到来方向と時間差との関係について、図3および図4を参照しながら説明する。
図3は、この発明の実施の形態1における雑音除去装置1のマイクロホンペア21で観測される音の到来方向と時間差との関係を示す図である。
図3では、時間差を表す縦軸に等間隔に目盛線を記載し、当該目盛線における時間差の値に対応する音の到来方向に点を打っている。図3に示す通り、当該点の位置における到来方向は不等間隔となる。ここで、音の到来方向とは、目的音到来方向θと雑音到来方向θである。以下、角度の値は弧度法で表す。
図4は、この発明の実施の形態1における雑音除去装置1のマイクロホンアレイ3を中心とする円周上に、図3で示した音の到来方向をプロットした図である。
図4に示す通り、音の到来方向が0または±π付近では点の分布が密に、音の到来方向が±π/2付近では、点の分布が疎になる。例えば、ノイズの影響により、観測された音声信号の時間差が、図3における1目盛分だけ実際の時間差からずれる場合、図4における実際の音の到来方向に対応する点に対して、当該点の両隣にある点のうちのいずれかが音の到来方向の観測値として算出される。
この場合、図4において、点の分布が密な、0または±π方向の範囲では、時間差にずれが生じたとしても、音の到来方向の観測値が大きく変動することはない。一方、図4において、点の分布が疎な、±π/2方向の範囲では、少しの時間差のずれによって音の到来方向の観測値が大きく変動する。つまり、ある一定の時間差のずれが生じる状況では、音源の位置が0または±π方向に近いとき音の到来方向の観測値には小さな誤差しか生じない(観測値のばらつきが小さい)が、音源の位置が±π/2方向に近いときは音の到来方向の観測値には大きな誤差が生じる(観測値のばらつきが大きい)。これは、マイクロホンペア21によって観測される音の到来方向の観測値のヒストグラムの形状が、実際の音の到来方向がどの範囲に存在するかに依存することを意味している。
図5は、この発明の実施の形態1における雑音除去装置1のマイクロホンペア21で観測される音の到来方向の観測値を示すヒストグラムである。
図5Aから図5Cは、マイクロホンペア21が目的音源Aおよび雑音源Bに対して、相対的にある定められた方向を向いている場合に、目的音源Aおよび雑音源Bから到来する音波がマイクロホンペア21によって観測される音の到来方向の観測値の分布(不確実性)を示している。
図5Aは、マイクロホンペア21が目的音源Aの方向を向いている場合、即ち目的音到来方向θ=0の場合を示している。
図5Aの場合、目的音到来方向θが0であることから、到来する目的音の到来方向の観測値のヒストグラムは、図5Aの分布Caで示すように、急峻な分布となる。
一方、雑音到来方向θは0よりも−π/2方向に位置している(図4参照)ことから、到来する雑音の到来方向の観測値のヒストグラムは、図5Aの分布Cbで示すように、なだらかな分布となる。
到来する目的音の到来方向の観測値のヒストグラムの分布Caと、到来する雑音の到来方向の観測値のヒストグラムの分布Cbとは、領域Ccにおいて重複する。領域Ccの面積は、雑音除去装置1が出力する出力信号に含まれる歪みの量に比例する。
図5Bは、マイクロホンペア21が、目的音源Aと雑音源Bとの中間の方向を向いている場合、即ち、目的音到来方向θ=雑音到来方向θの場合を示している。
目的音到来方向θと、雑音到来方向θとが同一であることから、到来する目的音の到来方向の観測値のヒストグラムと、到来する雑音の到来方向の観測値のヒストグラムとは、同一の形状の分布Da,Dbとなる。到来する目的音の到来方向の観測値のヒストグラムの分布Daと、到来する雑音の到来方向の観測値のヒストグラムの分布Dbとは、領域Dcにおいて重複する。
図5Cは、マイクロホンペア21が雑音源Bの方向を向いている場合、即ち、雑音到来方向θ=0の場合を示している。
図5Cの場合、目的音到来方向θが0よりもπ/2方向に位置している(図4参照)ことから、到来する目的音の到来方向の観測値のヒストグラムは、図5Cの分布Eaで示すように、なだらかな分布となる。
一方、雑音到来方向θは0であることから、到来する雑音の到来方向の観測値のヒストグラムは、図5Cの分布Ebで示すように急峻な分布となる。
到来する目的音の到来方向の観測値のヒストグラムの分布Eaと、到来する雑音の到来方向の観測値のヒストグラムの分布Ebとは、領域Ecにおいて重複する。
図5Aから図5Cで示した、3つの領域Cc,Dc,Ecの面積を比較すると、図5Bで示した領域Dcの面積が最小となる。即ち、図5Bで示したように、マイクロホンペア21が目的音源Aと雑音源Bとの中間の方向を向いて配置されている場合、雑音除去装置1が出力する出力信号に含まれる歪みが最小となる。
なお、マイクロホンペア21が、目的音源Aと雑音源Bとの中間の方向を向いて配置されている場合とは、詳細には、図2で示した平面12において、第1の線分10の垂直二等分線13が、目的音源Aと中点11とを結ぶ第2の線分14と、雑音源Bと中点11とを結ぶ第3の線分15とがなす角θの二等分線に一致する場合である。
なお、図5Bでは、目的音到来方向θと雑音到来方向θとが同一値である場合を示したが、目的音到来方向θと雑音到来方向θとは厳密な同一値である必要はなく、若干の角度変動が許容されるものである。
以上のように、平面12において、隣接するマイクロホン2a,2bの中心を結ぶ線分の垂直二等分線13が、目的音源Aと中点11とを結ぶ第2の線分14と、雑音源Bと中点11とを結ぶ第3の線分15とがなす角θの二等分線に一致するように、マイクロホンペア21を構成するマイクロホン2a,2bを配置することにより、雑音除去装置1の雑音除去性能を最大化することができる。
例えば、車両に搭載するマイクロホン2で運転者の音声を観測する場合、マイクロホンペア21は以下のように配置される。まず、目的音源Aとなる運転者の着座位置が既知であり、雑音源Bとなる車両のエンジン音の発生源の位置が既知であり、雑音除去装置1が車両のエンジン音を除去するものとする。マイクロホンペア21は、互いに隣接するマイクロホン2a,2bと、目的音源Aと、雑音源Bとを含む平面12において、隣接するマイクロホン2a,2bを結ぶ第1の線分10の垂直二等分線13が、目的音源Aと第1の線分10の中点11とを結ぶ第2の線分14と、雑音源Bと第1の線分10の中点11とを結ぶ第3の線分15とがなす角θの二等分線に一致するように配置される。これにより、雑音除去装置1は、出力信号の歪みを最小化しながら、雑音除去性能を最大にして車両のエンジン音を除去することができる。
上記では、運転者の音声を観測する際に、雑音除去装置1が車両のエンジン音を雑音として除去する場合を例に示した。これに替えて、雑音除去装置1が、助手席に着座する同乗者の音声を雑音として除去する、または車両に搭載されたスピーカから出力される音声を雑音として除去する構成としてもよい。
また、雑音除去装置1は、車載に限定されるものではなく、機器の監視システム等に適用可能である。その場合、雑音除去装置1は、監視対象の機器の作動音を目的音として取得し、その他の機器の作動音を雑音として除去し、監視対象の機器の作動音のみを監視処理に提供することができる。
次に、図1の構成の説明に戻り、雑音除去処理部5について説明する。
雑音除去処理部5は、マイクロホン2から入力された観測信号から雑音を除去した出力信号を、スピーカ6に出力する。一般的に、マイクロホンアレイ3を用いて雑音を除去する場合、雑音除去処理部5は複数のマイクロホン2から得られる観測信号の時間差に基づいて音の到来方向を時間−周波数成分ごとに観測する。次に、雑音除去処理部5は、観測した音の観測信号から目的とする方向以外の方向から到来している音を構成する時間−周波数成分を除去するフィルタを観測信号に掛ける。
図6は、この発明の実施の形態1における雑音除去装置1の雑音除去処理部5の構成図である。
雑音除去処理部5は、DFT(Discrete Fourier Transform)部51,52、帯域選択部53、積算部54、およびIDFT(Inverse Discrete Fourier Transform)部55を備える。ここで、図6に示す構成を用いて説明するが、雑音除去処理部5の構成は、図6に示した構成に限定されるものではなく、他の構成を適用してもよい。
また、説明を単純化するために、以降ではマイクロホンアレイ3が2個のマイクロホン2で構成されている場合を例に説明する。マイクロホン2の数を3個以上とする構成への拡張は容易であり、3個以上のマイクロホン2により構成される場合も、本発明に含まれるものとする。マイクロホン2aおよびマイクロホン2bがマイクロホンアレイ3を構成し、当該2個のマイクロホン2a,2bによってマイクロホンペア21が構成されているものとする。
DFT部51,52は、AD変換器4から入力された時間領域の観測信号に対して、短時間離散フーリエ変換を施し、周波数領域の観測信号スペクトルX(ω,τ)、X(ω,τ)を得る。DFT部51,52は、取得した周波数領域の観測信号スペクトルX(ω,τ)、X(ω,τ)を帯域選択部53に出力する。ここで、ωは離散周波数、τは短時間フレームを表す。帯域選択部53は、DFT部51,52から入力された観測信号スペクトルX(ω,τ)、X(ω,τ)に基づいて音の到来方向θ(ω,τ)を離散周波数毎に計算する。帯域選択部53は、計算した離散周波数ごとの音の到来方向θ(ω,τ)に基づいて、目的音の方向から到来した音の時間−周波数成分のみを残すフィルタb(ω,τ)を生成する。
積算部54は、マイクロホン2aの観測信号スペクトルX(ω,τ)に、生成したフィルタb(ω,τ)を掛け、雑音が除去された出力信号スペクトルY(ω,τ)を生成する。積算部54は、生成した出力信号スペクトルY(ω,τ)をIDFT部55に出力する。IDFT部55は、積算部54から入力された出力信号スペクトルY(ω,τ)を離散逆フーリエ変換によって時間領域の出力信号y(t)に変換し、スピーカ6に出力する。
次に、雑音除去処理部5のハードウェア構成例を説明する。
図7Aおよび図7Bは、この発明の実施の形態1における雑音除去装置1の雑音除去処理部5のハードウェア構成例を示す図である。
雑音除去装置1の雑音除去処理部5におけるDFT部51,52、帯域選択部53、積算部54およびIDFT部55の各機能は、処理回路により実現される。即ち、雑音除去装置1の雑音除去処理部5は、上記各機能を実現するための処理回路を備える。当該処理回路は、図7Aに示すように専用のハードウェアである処理回路1aであってもよいし、図7Bに示すようにメモリ1cに格納されているプログラムを実行するプロセッサ1bであってもよい。
図7Aに示すように、雑音除去処理部5のDFT部51,52、帯域選択部53、積算部54およびIDFT部55が専用のハードウェアである場合、処理回路1aは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-programmable Gate Array)、またはこれらを組み合わせたものが該当する。雑音除去処理部5のDFT部51,52、帯域選択部53、積算部54およびIDFT部55の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて1つの処理回路で実現してもよい。
図7Bに示すように、雑音除去処理部5のDFT部51,52、帯域選択部53、積算部54およびIDFT部55がプロセッサ1bである場合、各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ1cに格納される。プロセッサ1bは、メモリ1cに記憶されたプログラムを読み出して実行することにより、雑音除去処理部5のDFT部51,52、帯域選択部53、積算部54およびIDFT部55の各機能を実現する。即ち、雑音除去処理部5のDFT部51,52、帯域選択部53、積算部54およびIDFT部55は、プロセッサ1bにより実行されるときに、後述する図8に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ1cを備える。また、これらのプログラムは、雑音除去処理部5のDFT部51,52、帯域選択部53、積算部54およびIDFT部55の手順または方法をコンピュータに実行させるものであるともいえる。
ここで、プロセッサ1bとは、例えば、CPU(Central Processing Unit)、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはDSP(Digital Signal Processor)などのことである。
メモリ1cは、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable ROM)、EEPROM(Electrically EPROM)等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、CD(Compact Disc)、DVD(Digital Versatile Disc)等の光ディスクであってもよい。
なお、雑音除去処理部5のDFT部51,52、帯域選択部53、積算部54およびIDFT部55の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、雑音除去処理部5における処理回路1aは、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
次に、雑音除去装置1の動作について、図8のフローチャートを参照しながら説明する。
図8は、この発明の実施の形態1における雑音除去装置1の動作を示すフローチャートである。
図8に示す動作が行われる前提として、図2で示した平面12において、第1の線分10の垂直二等分線13が、目的音源Aと中点11とを結ぶ第2の線分14と、雑音源Bと中点11とを結ぶ第3の線分15とがなす角θの二等分線に一致するように、マイクロホンペア21が配置されているものとする。
マイクロホンペア21を構成するマイクロホン2a,2bで集音された音は、AD変換器4でデジタル信号に変換され、時間領域の観測信号としてそれぞれDFT部51,52に入力される(ステップST1)。DFT部51,52は、ステップST1で入力された観測信号を、バッファ等に一定時間(例えば、0.1sec)蓄積する(ステップST2)。DFT部51,52が、時刻tにおいてマイクロホン2a,2bから得る時間領域の観測信号をそれぞれx(t)、x(t)と表す。DFT部51,52は、ステップST2で蓄積された観測信号x(t)、x(t)に対して短時間離散フーリエ変換を施し、周波数領域の観測信号スペクトルX(ω,τ)、X(ω,τ)を得る(ステップST3)。DFT部51,52は、ステップST3で得た周波数領域の観測信号スペクトルを帯域選択部53に出力する。
帯域選択部53は、DFT部51,52から入力された周波数領域の観測信号スペクトルX(ω,τ)、X(ω,τ)に基づき、音の到来方向を離散周波数ごとに計算する(ステップST4)。音源がマイクロホンアレイ3から十分離れた位置に存在するとすれば、音の到来方向θ(ω,τ)は、以下の式(1)に示すように、周波数領域の観測信号スペクトルX(ω,τ)、X(ω,τ)の位相差に基づいて計算することができる。
Figure 2019030898
式(1)において、cは音速、dはマイクロホン間の距離、argは複素数の偏角を表す。
また、式(1)によって計算される音の到来方向θ(ω,τ)は、図2に示すように、マイクロホンペア21を構成するマイクロホン2a,2bを結ぶ第1の線分10の垂直二等分線13の方向を0とするときの角度(弧度法)となる。
帯域選択部53は、ステップST4で計算した離散周波数ごとの音の到来方向θ(ω,τ)に基づき、以下の式(2)で示すような、目的音の方向から到来した音の時間−周波数成分のみを残すフィルタb(ω,τ)を生成する(ステップST5)。帯域選択部53は、生成したフィルタを積算部54に出力する。
Figure 2019030898
式(2)において、Θは目的音の到来方向の集合である。式(2)は、所望の方向から到来した音の時間−周波数成分には係数として1を掛け、それ以外の音の成分には0を掛けるようなフィルタを生成する。当該フィルタにより、観測信号に含まれる目的音の時間−周波数成分のみが抽出される。
積算部54は、ステップST3で変換されたマイクロホン2aの観測信号スペクトルX(ω,τ)に、ステップST5で生成されたフィルタb(ω,τ)を掛け、雑音が除去された出力信号スペクトルY(ω,τ)を生成する(ステップST6)。積算部54は、生成した出力信号スペクトルY(ω,τ)をIDFT部55に出力する。
なお、ステップST6の処理では、マイクロホン2aの観測信号スペクトルX(ω,τ)にフィルタb(ω,τ)を掛ける場合を例に説明したが、マイクロホン2bの観測信号スペクトルX(ω,τ)にフィルタb(ω,τ)を掛けてもよいし、任意のマイクロホン2の観測信号スペクトルにフィルタb(ω,τ)を掛けるように構成してもよい。
IDFT部55は、ステップST6で生成された出力信号スペクトルY(ω,τ)を離散逆フーリエ変換によって時間領域の出力信号y(t)に変換する(ステップST7)。IDFT部55は、ステップST7で変換した出力信号y(t)をスピーカ6に出力する(ステップST8)。その後、フローチャートはステップST1の処理に戻り、上述した処理を繰り返す。
上述した処理により、スピーカ6からは、雑音が除去され、歪みが抑制された音が出力される。なお、スピーカ6を例に説明したが、IDFT部55の出力先は、イヤホン、メモリ、ハードディスク等であってもよい。出力先がメモリやハードディスクなどの記憶媒体の場合には、当該記憶媒体に雑音が除去された音のデジタルデータが保存される。
マイクロホンアレイ3が3個以上のマイクロホン2によって構成されている場合、帯域選択部53は、例えば、複数のマイクロホンペア21によって観測された音の到来方向の平均値を利用してフィルタを生成してもよい。これにより、より精度の高い雑音除去が可能になる。
以上のように、この実施の形態1によれば、雑音除去装置1を、音信号を観測する複数のマイクロホン2を有するマイクロホンアレイ3と、複数のマイクロホン2が観測した音信号から、雑音を除去して目的音を取得する雑音除去処理部5とを備え、複数のマイクロホン2のうち、互いに隣接する2個のマイクロホン2は、当該2個のマイクロホン2と、目的音を発生する目的音源Aと、雑音を発生する雑音源Bとを含む平面12において、2個のマイクロホン2を結ぶ第1の線分10の垂直二等分線13が、目的音源Aと第1の線分10の中点11とを結ぶ第2の線分14と、雑音源Bと第1の線分10の中点11とを結ぶ第3の線分15とのなす角θの二等分線に、一致する配置関係を有するように構成した。したがって、実施の形態1の雑音除去装置1は、出力信号の歪みを抑制することができ、高い雑音除去性能を実現することができる。これにより、目的音の明瞭性が向上する。
実施の形態2.
この実施の形態2では、エコーキャンセリング処理を行う構成を備えた雑音除去装置について説明する。
図9は、この発明の実施の形態2における雑音除去装置1Aの構成を示す図である。
雑音除去装置1Aは、図1に示した実施の形態1の雑音除去装置1にエコーキャンセリング部8を追加して構成している。以下では、実施の形態1における雑音除去装置1の構成要素と同一または相当する部分には、実施の形態1で使用した符号と同一の符号を付して説明を省略または簡略化する。
図9に示すように、雑音除去装置1Aには、スピーカ6に加えて再生装置7が接続されている。再生装置7は、例えば、ハンズフリー通話システムにおいて、通話相手の音声(以下、通話音声と記載する)を受信し、受信した通話音声を再生スピーカ101で再生する処理を行う。再生スピーカ101で通話音声が再生されると、再生された通話音声が話者102の通話用マイクロホン(マイクロホンアレイ3)に混入し、話者音声がエコーのように繰り返し再生されてスピーカ6から出力される。エコーキャンセリング部8は、話者音声がエコーのように繰り返し再生される状況を回避するための処理を行う。
雑音除去装置1Aにおいては、複数のマイクロホン2が、再生スピーカ101から出力された通話音声と、話者102の発話音声とを観測する。また、雑音除去装置1Aは、実施の形態1と同様の処理を行って、観測信号から、再生スピーカ101から出力された通話音声を雑音として除去し、目的音である話者102の発話音声の出力信号を得る。さらに、雑音除去装置1Aは、発話音声の出力信号に対して、再生装置7の参照信号に基づいてエコーキャンセリングの処理を行う。
マイクロホンアレイ3を構成する少なくとも一組のマイクロホンペア21は、実施の形態1の図2で示した位置関係で配置されているものとする。即ち、マイクロホンペア21を構成するマイクロホン2a,2bは、マイクロホン2a,2bと、目的音源Aと、雑音源Bとを含む平面12において、第1の線分10の垂直二等分線13が、目的音源Aと第1の線分10の中点11とを結ぶ第2の線分14と、雑音源Bと中点11とを結ぶ第3の線分15とがなす角θの二等分線に一致するように配置されている。
雑音除去処理部5は、実施の形態1と同様に、マイクロホン2から入力された観測信号から、雑音源Bである再生スピーカ101から出力される雑音(エコー成分)を除去する。雑音除去処理部5は、雑音を除去した出力信号をエコーキャンセリング部8に出力する。雑音除去処理部5による雑音の除去では、一般的に、残響または他の外乱要因によってエコー成分を完全に除去することが困難である。そこで、エコーキャンセリング部8において、雑音除去処理部5の出力信号から残留エコー成分を除去する。
エコーキャンセリング部8は、雑音除去処理部5から入力された出力信号から、再生装置7の参照信号に基づいて残留エコー成分を除去する。エコーキャンセリング部8が、再生装置7の参照信号に基づいて残留エコー成分を除去する方法としては、LMSアルゴリズム、およびアフィン射影アルゴリズムが知られている。エコーキャンセリング部8は、残留エコー成分を除去した出力信号をスピーカ6に出力する。これにより、残留エコー成分が除去された話者102の出力信号がスピーカ6から出力される。
エコーキャンセリング部8が残留エコー成分を除去する前に、図2で示した位置関係で配置されたマイクロホンペア21から出力された話者102の観測信号から、雑音除去処理部5が雑音を除去することにより、エコーキャンセリング部8における残留エコー成分の除去性能を向上させることができる。これにより、スピーカ6から出力された出力信号において、目的音である話者102の音声の明瞭性が向上する。
次に、雑音除去装置1Aの動作について説明する。
図10は、この発明の実施の形態2における雑音除去装置1Aの動作を示すフローチャートである。
以下では、実施の形態1における雑音除去装置1と同一のステップには、図8で示した符号と同一の符号を付し、説明を省略または簡略化する。
ステップST7において、IDFT部55が、出力信号スペクトルY(ω,τ)を離散逆フーリエ変換によって時間領域の出力信号y(t)に変換すると、IDFT部55は変換後の出力信号y(t)を、エコーキャンセリング部8に出力する。エコーキャンセリング部8は、再生装置7の参照信号に基づいて、ステップST7で変換された出力信号y(t)から残留エコー成分を除去し、出力信号z(t)を生成する(ステップST11)。エコーキャンセリング部8は、ステップST11で生成した出力信号z(t)をスピーカ6に出力する(ステップST12)。その後、フローチャートはステップST1の処理に戻り、上述した処理を繰り返す。
以上のように、この実施の形態2によれば、雑音除去装置1Aを、マイクロホン2が、話者の通話音声の音信号を観測し、雑音除去処理部5が取得した目的音から、通話音声の残留エコー成分を除去するエコーキャンセリング部8を備えるように構成した。したがって、実施の形態2の雑音除去装置1Aは、エコー成分の除去性能を向上させ、目的音である発話者の音声の明瞭性を向上させることができる。
実施の形態3.
この実施の形態3では、異音検出処理を行う構成を備えた雑音除去装置について説明する。
図11は、この発明の実施の形態3における雑音除去装置1Bの構成を示す図である。
雑音除去装置1Bは、図1に示した実施の形態1の雑音除去装置1に異音検出部9を追加して構成している。以下では、実施の形態1における雑音除去装置1の構成要素と同一または相当する部分には、実施の形態1で使用した符号と同一の符号を付して説明を省略または簡略化する。
図11に示すように、雑音除去装置1Bは、複数のマイクロホン2が、監視対象機器103から出力される動作音と、雑音源Bで発生した雑音を観測する。また、雑音除去装置1Bは、実施の形態1と同様の処理を行って、観測信号から雑音を除去し、目的音である監視対象機器103の動作音の出力信号を得る。さらに、雑音除去装置1Bは、監視対象機器103の動作音から異音を検出する処理を行う。実施の形態3の雑音除去装置1Bは、例えば、機器の動作音を常時監視し、当該機器の不具合または故障に伴う異音を検出する機器監視システム等に適用可能である。
マイクロホンアレイ3を構成する少なくとも一組のマイクロホンペア21は、実施の形態1の図2で示した位置関係で配置されているものとする。即ち、マイクロホンペア21を構成するマイクロホン2a,2bは、マイクロホン2a,2bと、目的音源Aと、雑音源Bとを含む平面12において、第1の線分10の垂直二等分線13が、目的音源Aと第1の線分10の中点11とを結ぶ第2の線分14と、雑音源Bと中点11とを結ぶ第3の線分15とがなす角θの二等分線に一致するように配置されている。
雑音除去処理部5は、実施の形態1と同様に、マイクロホン2から入力された観測信号から雑音を除去した信号を除去し、目的音である監視対象機器103の動作音の音信号を得る。雑音除去処理部5は、雑音を除去した監視対象機器103の動作音の音信号を、出力信号として異音検出部9に出力する。
異音検出部9は、雑音除去処理部5から入力された出力信号から、監視対象機器103で発生する異音を検出する。異音検出部9が異音を検出する処理は、例えば、参考文献1または参考文献2に記載された検出方法が適用可能である。異音検出部9は、異音を検出したか否かを示す検出結果を出力する。
・参考文献1
特開2010−271073号公報
・参考文献2
特開2008−76246号公報
異音検出部9が異音を検出する処理を行う前に、図2で示した位置関係で配置されたマイクロホンペア21から出力された監視対象機器103の動作音の音信号から、雑音除去処理部5が雑音を除去することにより、多種多様な環境において監視対象機器103で発生する異音を検出する精度を向上させることができる。
次に、雑音除去装置1Bの動作について説明する。
図12は、この発明の実施の形態3における雑音除去装置1Bの動作を示すフローチャートである。
以下では、実施の形態1における雑音除去装置1と同一のステップには、図8で示した符号と同一の符号を付し、説明を省略または簡略化する。
ステップST7において、IDFT部55が、出力信号スペクトルY(ω,τ)を離散逆フーリエ変換によって時間領域の出力信号y(t)に変換すると、当該出力信号y(t)を、異音検出部9に出力する。異音検出部9は、ステップST7で変換された出力信号y(t)の周波数を予め設定された閾値と比較して異音であるか否かの判定を行う(ステップST21)。異音検出部9は、異音であるか否かの判定結果を、検出結果として機器制御装置(図示しない)等に出力する(ステップST22)。その後、フローチャートはステップST1の処理に戻り、上述した処理を繰り返す。
なお、上述したステップST21の異音検出部9の処理は一例であり、その他の異音検出処理を適用することが可能である。
以上のように、この実施の形態3によれば、雑音除去装置1Bを、マイクロホン2が監視対象機器103の動作音の音信号を観測し、雑音除去処理部5が取得した目的音を参照し、監視対象機器103で発生する異音を検出する異音検出部9を備えするように構成した。したがって、実施の形態3の雑音除去装置1Bは、多種多様な環境において異音の検出精度を向上させることができる。
また、異音検出部9が異音を検出した場合に、例えば監視対象機器103を自動的に停止させる制御を行う、警報またはメール等により作業者に監視対象機器103の不具合を通知する制御を行うことができる。これにより、監視対象機器103が動作に不安定な状態で長時間稼動することを防止することができる。
実施の形態4.
この実施の形態4では、目的音源と雑音源の存在する範囲が移動し得る状況において、精度よく雑音除去するためのマイクロホン2の配置について説明する。
図13は、この発明の実施の形態4における雑音除去装置1のマイクロホン2と、目的音源Aと雑音源B,Bとの位置関係を示す図である。図13Aは、目的音源Aと雑音源B,Bが存在し得る範囲とマイクロホンアレイ3の位置関係を示す図である。図13Bは、マイクロホンアレイ3を構成する3個のマイクロホン2a,2b,2cの位置関係を示す図である。図13Cは、マイクロホン2a,2b,2cと、目的音源Aと、雑音源B,Bとの位置関係を示す図である。
図13Aに示すように、マイクロホンアレイ3を中心に、目的音源Aが存在し得る範囲(以下、目的音源方向範囲と記載する)Fと、雑音源B,Bが存在し得る範囲(以下、雑音源方向範囲と記載する)G,Gが形成される。目的音源方向範囲Fと、雑音源方向範囲Gとの境界は、マイクロホンアレイ3の中心を通る境界面Hで示される。目的音源方向範囲Fと、雑音源方向範囲Gとの境界は、マイクロホンアレイ3の中心を通る境界面Hで示される。目的音源方向範囲Fの範囲内において、目的音源Aは複数存在してもよい。同様に、雑音源方向範囲Gの範囲内で雑音源Bは複数存在してもよく、雑音源方向範囲Gの範囲内で雑音源Bは複数存在してもよい。
次に、マイクロホンアレイ3を構成する各マイクロホン2の配置について、図13Bを参照しながら説明する。マイクロホンアレイ3を構成する3個のマイクロホン2が平面I上に位置しているものとする。また、平面Iと境界面Hとの交線を境界線Hとし、平面Iと境界面Hとの交線を境界線Hとする。平面Iにおいて、3個のマイクロホン2のうち、中央に位置するマイクロホン2a(第1の音響センサ)は、境界線Hと境界線Hとがなす角θの二等分線J上に配置される。マイクロホン2aの隣に位置するマイクロホン2b(第2の音響センサ)は、境界線H上に配置される。マイクロホン2aのもう一方の隣に位置するマイクロホン2c(第3の音響センサ)は、境界線H上に配置される。
境界線Hと境界線Hとが交わる交点Kと、マイクロホン2aの中心と、マイクロホン2bの中心とを結んで形成される三角形は、交点Kとマイクロホン2aの中心とを結ぶ線分の長さと、交点Kとマイクロホン2bの中心とを結ぶ線分の長さとが等しい二等辺三角形となる。
同様に、交点Kと、マイクロホン2aの中心と、マイクロホン2cの中心とを結んで形成される三角形は、交点Kとマイクロホン2aの中心とを結ぶ線分の長さと、交点Kとマイクロホン2cの中心とを結ぶ線分の長さとが等しい二等辺三角形となる。
また、図13Cに示すように、二等分線J上に目的音源Aが位置し、境界線H上に雑音源Bが位置した場合に、目的音源A、雑音源B、およびマイクロホン2a,2bは、実施の形態1で示した関係を満たす。
図13Cで示すように、マイクロホン2aと、マイクロホン2bとを結ぶ第1の線分10の中点を、中点11とする。マイクロホン2aと、マイクロホン2bと、目的音源Aと、雑音源Bとを通る平面12において、第1の線分10を垂直に二等分する垂直二等分線13が、目的音源Aと中点11とを結ぶ第2の線分14と、雑音源Bと中点11とを結ぶ第3の線分15とがなす角θの二等分線に一致する。
また、図13Cに示すように、マイクロホン2aの中心と、マイクロホン2cの中心とを結ぶ第1の線分10の中点を、中点11とする。マイクロホン2aのと、マイクロホン2cと、目的音源Aと、雑音源Bとを含む平面12において、第1の線分10の垂直二等分線13が、目的音源Aと中点11とを結ぶ第2の線分14と、雑音源Bと中点11とを結ぶ第3の線分15とがなす角θの二等分線に一致する。
なお、マイクロホンアレイ3と目的音源Aとの距離、またはマイクロホンアレイ3と雑音源B,Bとの距離は、各マイクロホン2a,2b,2c間の距離に比べて十分長いものとする。また、マイクロホンアレイ3は、上記のように配置した3個のマイクロホン2により構成されるものとして説明したが、少なくとも上記のように配置した3個のマイクロホン2を含む構成であってもよい。
以上のように配置したマイクロホン2を備えるマイクロホンアレイ3で観測した音の観測信号に対して、実施の形態1と同様にAD変換器4がデジタル信号に変換し、雑音除去処理部5が雑音を除去して出力信号を得る。また、実施の形態2の構成を適用して、雑音除去処理部5が雑音を除去して得られた出力信号に対して、エコーキャンセリング部8が残留エコー成分を除去する構成としてもよい。また、実施の形態3の構成を適用し、雑音除去処理部5が雑音を除去して得られた出力信号に対して、異音検出部9が異音の検出処理を行うように構成してもよい。
以上のように、この実施の形態4によれば、雑音除去装置を、音信号を観測する3以上のマイクロホン2を有するマイクロホンアレイ3と、マイクロホン2が観測した音信号から、雑音を除去して目的音を取得する雑音除去処理部5とを備え、マイクロホン2のうち、隣接する3個のマイクロホン2が位置する平面Iにおいて目的音を発生する目的音源が存在し得る範囲である目的音源方向範囲Fと、雑音を発生させる雑音源B1,B2が存在し得る範囲である雑音源方向範囲G,Gとの境界を示す2本の境界線H,Hがなす角の二等分線J上にマイクロホン2aを配置し、2本の境界線H,Hのそれぞれの線上にマイクロホン2b,2cを配置し、2本の境界線H,Hがなす角θの二等分線上に目的音源Aが位置し、2本の境界線H,H上のそれぞれに雑音源B,Bが位置した場合に、マイクロホン2a,2b,2cは、互いに隣接する2個のマイクロホン2と、目的音源Aと、雑音源Bとを含む平面12において、2個のマイクロホンを結ぶ第1の線分10の垂直二等分線13が、目的音源Aと第1の線分10の中点11とを結ぶ第2の線分14と、雑音源Bと第1の線分10の中点11とを結ぶ第3の線分15とのなす角θ,θの二等分線に一致する配置関係を有するように構成した。
したがって、実施の形態4の雑音除去装置は、目的音の明瞭化が最も困難な状況、つまり雑音源が目的音源に最も近づく位置である、目的音源方向範囲と雑音源方向範囲との境界線上に雑音源が位置する場合において、雑音除去性能を最大化させることができる。このため、実施の形態4の雑音除去装置によれば、雑音源が雑音源方向範囲内であれば、どのような位置に存在していたとしても、安定した雑音除去性能を実現することが可能になる。
実施の形態4で示した、3個のマイクロホン2により構成されるマイクロホンアレイ3を備えた雑音除去装置は、例えばガンマイク、または会議システム等に適用することが想定される。
上記以外にも、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。
この発明に係る雑音除去装置は、所望の方向から到来した音以外に、周囲の雑音等を含んだ音から、当該雑音等を分離するための機器に適用可能である。
1,1A,1B 雑音除去装置、2,2a,2b,2c,2d,2e,2f マイクロホン、3 マイクロホンアレイ、4 AD変換器、5 雑音除去処理部、8 エコーキャンセリング部、9 異音検出部、21 マイクロホンペア、51,52 DFT部、53 帯域選択部、54 積算部、55 IDFT部。
この発明に係る雑音除去装置は、音信号を観測する複数の音響センサを有する音響センサアレイと、複数の音響センサが観測した音信号から、雑音を除去して目的音を取得する雑音除去処理部とを備え、複数の音響センサのうち、互いに隣接する2個の前記音響センサは、当該2個の音響センサと、前記目的音を発生する目的音源と、前記雑音を発生する雑音源とを含む平面において、前記2個の音響センサを結ぶ第1の線分の垂直二等分線が、前記目的音源と前記第1の線分の中点とを結ぶ第2の線分と、前記雑音源と前記第1の線分の中点とを結ぶ第3の線分とのなす角の二等分線に、一致する配置関係を有し、雑音除去処理部は、当該配置関係を有する前記音響センサの観測信号を用いて雑音を除去するものである。

Claims (5)

  1. 音信号を観測する複数の音響センサを有する音響センサアレイと、
    前記複数の音響センサが観測した音信号から、雑音を除去して目的音を取得する雑音除去処理部とを備え、
    前記複数の音響センサのうち、互いに隣接する2個の前記音響センサは、当該2個の音響センサと、前記目的音を発生する目的音源と、前記雑音を発生する雑音源とを含む平面において、前記2個の音響センサを結ぶ第1の線分の垂直二等分線が、前記目的音源と前記第1の線分の中点とを結ぶ第2の線分と、前記雑音源と前記第1の線分の中点とを結ぶ第3の線分とのなす角の二等分線に、一致する配置関係を有する雑音除去装置。
  2. 前記音響センサは、話者の通話音声の音信号を観測し、
    前記雑音除去処理部が取得した前記目的音から、前記通話音声の残留エコー成分を除去するエコーキャンセリング部を備えたことを特徴とする請求項1記載の雑音除去装置。
  3. 前記音響センサは、監視対象機器の動作音の音信号を観測し、
    前記雑音除去処理部が取得した前記目的音を参照し、前記監視対象機器で発生する異音を検出する異音検出部を備えたことを特徴とする請求項1記載の雑音除去装置。
  4. 音信号を観測する3以上の音響センサを有する音響センサアレイと、
    前記音響センサが観測した音信号から、雑音を除去して目的音を取得する雑音除去処理部とを備え、
    前記音響センサのうち、隣接する3個の前記音響センサが位置する平面において前記目的音を発生する目的音源が存在し得る範囲である目的音源方向範囲と、前記雑音を発生させる雑音源が存在し得る範囲である雑音源方向範囲との境界を示す2本の境界線がなす角の二等分線上に第1の音響センサを配置し、前記2本の境界線のそれぞれの線上に第2の音響センサおよび第3の音響センサを配置し、
    前記2本の境界線がなす角の二等分線上に前記目的音源が位置し、前記2本の境界線上のそれぞれに前記雑音源が位置した場合に、
    前記第1の音響センサ、前記第2の音響センサおよび前記第3の音響センサは、互いに隣接する2個の音響センサと、前記目的音源と、前記雑音源とを含む平面において、前記2個の音響センサを結ぶ第1の線分の垂直二等分線が、前記目的音源と前記第1の線分の中点とを結ぶ第2の線分と、前記雑音源と前記第1の線分の中点とを結ぶ第3の線分とのなす角の二等分線に一致する配置関係を有する雑音除去装置。
  5. 音響センサアレイを構成する互いに隣接する2個の音響センサと、目的音を発生する目的音源と、雑音を発生する雑音源とを含む平面において、前記2個の音響センサを結ぶ第1の線分の垂直二等分線が、前記目的音源と前記第1の線分の中点とを結ぶ第2の線分と、前記雑音源と前記第1の線分の中点とを結ぶ第3の線分とのなす角の二等分線と一致する配置関係で、前記2個の音響センサを配置するステップと、
    前記2個の音響センサが音信号を観測するステップと、
    雑音除去処理部が、前記観測された音信号から、前記雑音を除去して前記目的音を取得するステップとを備えた雑音除去方法。
JP2019535541A 2017-08-10 2017-08-10 雑音除去装置および雑音除去方法 Active JP6639747B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/029091 WO2019030898A1 (ja) 2017-08-10 2017-08-10 雑音除去装置および雑音除去方法

Publications (2)

Publication Number Publication Date
JPWO2019030898A1 true JPWO2019030898A1 (ja) 2019-12-26
JP6639747B2 JP6639747B2 (ja) 2020-02-05

Family

ID=65272601

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019535541A Active JP6639747B2 (ja) 2017-08-10 2017-08-10 雑音除去装置および雑音除去方法

Country Status (5)

Country Link
US (1) US11212608B2 (ja)
JP (1) JP6639747B2 (ja)
CN (1) CN110999317A (ja)
DE (1) DE112017007733T5 (ja)
WO (1) WO2019030898A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001309483A (ja) * 2000-04-19 2001-11-02 Nippon Telegr & Teleph Corp <Ntt> 収音方法および収音装置
JP2005522078A (ja) * 2002-03-27 2005-07-21 アリフコム 通信システムと共に用いるためのマイクロフォンおよび発声活動検出(vad)構成
WO2007018293A1 (ja) * 2005-08-11 2007-02-15 Asahi Kasei Kabushiki Kaisha 音源分離装置、音声認識装置、携帯電話機、音源分離方法、及び、プログラム
JP2012049715A (ja) * 2010-08-25 2012-03-08 Asahi Kasei Corp 音源分離装置、音源分離方法、及び、プログラム
JP2012093641A (ja) * 2010-10-28 2012-05-17 Toshiba Corp 携帯型電子機器
JP2016114426A (ja) * 2014-12-12 2016-06-23 株式会社熊谷組 音源方向推定方法
JP2016127459A (ja) * 2015-01-05 2016-07-11 沖電気工業株式会社 収音装置、プログラム及び方法
JP2016181789A (ja) * 2015-03-24 2016-10-13 富士通株式会社 雑音抑圧装置、雑音抑圧方法、及び、プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3484112B2 (ja) * 1999-09-27 2004-01-06 株式会社東芝 雑音成分抑圧処理装置および雑音成分抑圧処理方法
CA2448669A1 (en) * 2001-05-30 2002-12-05 Aliphcom Detecting voiced and unvoiced speech using both acoustic and nonacoustic sensors
JP4348706B2 (ja) * 2002-10-08 2009-10-21 日本電気株式会社 アレイ装置および携帯端末
US20100226210A1 (en) * 2005-12-13 2010-09-09 Kordis Thomas F Vigilante acoustic detection, location and response system
JP2008076246A (ja) 2006-09-21 2008-04-03 Toshiba Denpa Components Kk 異音検知装置及び異音検知方法
JP2010271073A (ja) 2009-05-19 2010-12-02 Nissin Electric Co Ltd 機器の異常診断装置
TW201208335A (en) * 2010-08-10 2012-02-16 Hon Hai Prec Ind Co Ltd Electronic device
KR101103794B1 (ko) 2010-10-29 2012-01-06 주식회사 마이티웍스 멀티 빔 음향시스템

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001309483A (ja) * 2000-04-19 2001-11-02 Nippon Telegr & Teleph Corp <Ntt> 収音方法および収音装置
JP2005522078A (ja) * 2002-03-27 2005-07-21 アリフコム 通信システムと共に用いるためのマイクロフォンおよび発声活動検出(vad)構成
WO2007018293A1 (ja) * 2005-08-11 2007-02-15 Asahi Kasei Kabushiki Kaisha 音源分離装置、音声認識装置、携帯電話機、音源分離方法、及び、プログラム
JP2012049715A (ja) * 2010-08-25 2012-03-08 Asahi Kasei Corp 音源分離装置、音源分離方法、及び、プログラム
JP2012093641A (ja) * 2010-10-28 2012-05-17 Toshiba Corp 携帯型電子機器
JP2016114426A (ja) * 2014-12-12 2016-06-23 株式会社熊谷組 音源方向推定方法
JP2016127459A (ja) * 2015-01-05 2016-07-11 沖電気工業株式会社 収音装置、プログラム及び方法
JP2016181789A (ja) * 2015-03-24 2016-10-13 富士通株式会社 雑音抑圧装置、雑音抑圧方法、及び、プログラム

Also Published As

Publication number Publication date
DE112017007733T5 (de) 2020-04-16
CN110999317A (zh) 2020-04-10
WO2019030898A1 (ja) 2019-02-14
JP6639747B2 (ja) 2020-02-05
US20210168490A1 (en) 2021-06-03
US11212608B2 (en) 2021-12-28

Similar Documents

Publication Publication Date Title
US9031256B2 (en) Systems, methods, apparatus, and computer-readable media for orientation-sensitive recording control
JP4286637B2 (ja) マイクロホン装置および再生装置
JP5007442B2 (ja) 発話改善のためにマイク間レベル差を用いるシステム及び方法
BR112015014380B1 (pt) Filtro e método para filtragem espacial informada utilizando múltiplas estimativas da direção de chegada instantânea
JP4910568B2 (ja) 紙擦れ音除去装置
JP4812302B2 (ja) 音源方向推定システム、音源方向推定方法及び音源方向推定プログラム
JP2009290342A (ja) 音声入力装置及び音声会議システム
WO2020020247A1 (zh) 信号处理方法、装置以及计算机存储介质
JP2007180896A (ja) 音声信号処理装置および音声信号処理方法
JP7036008B2 (ja) 局所消音音場形成装置および方法、並びにプログラム
JP2007047427A (ja) 音声処理装置
JP6433630B2 (ja) 雑音除去装置、エコーキャンセリング装置、異音検出装置および雑音除去方法
JP6639747B2 (ja) 雑音除去装置および雑音除去方法
JP5105336B2 (ja) 音源分離装置、プログラム及び方法
JP6025068B2 (ja) 音響処理装置および音響処理方法
US11924625B2 (en) Method and system for room calibration in a speaker system
JPH1118193A (ja) 受話状態検出方法およびその装置
JP6361360B2 (ja) 残響判定装置及びプログラム
JP7286057B2 (ja) 集音装置、集音方法、及び集音プログラム
US11849291B2 (en) Spatially informed acoustic echo cancelation
Habib et al. Experimental evaluation of the joint position-pitch estimation (POPI) algorithm in noisy environments
JP2005338571A (ja) 音声認識装置および音声認識方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190828

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190828

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191224

R150 Certificate of patent or registration of utility model

Ref document number: 6639747

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250