JP7392969B2 - マイクロホン位置決定方法 - Google Patents

マイクロホン位置決定方法 Download PDF

Info

Publication number
JP7392969B2
JP7392969B2 JP2019149812A JP2019149812A JP7392969B2 JP 7392969 B2 JP7392969 B2 JP 7392969B2 JP 2019149812 A JP2019149812 A JP 2019149812A JP 2019149812 A JP2019149812 A JP 2019149812A JP 7392969 B2 JP7392969 B2 JP 7392969B2
Authority
JP
Japan
Prior art keywords
microphones
concentric circles
microphone
microphone array
sound source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019149812A
Other languages
English (en)
Other versions
JP2021034776A (ja
Inventor
真健 金丸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audio Technica KK
Original Assignee
Audio Technica KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audio Technica KK filed Critical Audio Technica KK
Priority to JP2019149812A priority Critical patent/JP7392969B2/ja
Priority to EP20191457.9A priority patent/EP3783910A3/en
Priority to CN202010830053.1A priority patent/CN112399292A/zh
Priority to US16/996,326 priority patent/US11553294B2/en
Publication of JP2021034776A publication Critical patent/JP2021034776A/ja
Priority to US17/735,724 priority patent/US11812231B2/en
Priority to US18/061,634 priority patent/US20230125643A1/en
Application granted granted Critical
Publication of JP7392969B2 publication Critical patent/JP7392969B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/004Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005Microphone arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/08Mouthpieces; Microphones; Attachments therefor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/20Position of source determined by a plurality of spaced direction-finders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/4012D or 3D arrays of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/405Non-uniform arrays of transducers or a plurality of uniform arrays with different transducer spacing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00Microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03Synergistic effects of band splitting and sub-band processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23Direction finding using a sum-delay beam-former

Landscapes

  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Description

本発明は、複数のマイクロホンを備えるマイクロホンアレイにおける複数のマイクロホンの位置を決定する方法、マイクロホンアレイ、及びマイクロホンアレイを備えるマイクロホンシステムに関する。
従来、会議室等に設置されるマイクロホンアレイが知られている。従来のマイクロホンアレイにおいては、複数のマイクロホンが、例えば複数の同心円上に設けられている(例えば、特許文献1を参照)。
米国特許第9565493号明細書
従来のマイクロホンアレイにおける複数のマイクロホンの配置は、設計者の経験と勘により決定されていた。したがって、マイクロホンアレイの指向特性におけるメインローブとサイドローブとの差が不十分であり、指向性を向上させることが求められていた。
そこで、本発明はこれらの点に鑑みてなされたものであり、マイクロホンアレイの指向性を向上させることを目的とする。
本発明の第1の態様のマイクロホン位置決定方法は、複数の同心円上に配置された複数のマイクロホンを有するマイクロホンアレイにおける前記複数のマイクロホンの位置を決定する方法である。マイクロホン位置決定方法は、前記複数のマイクロホンの最大個数を含む制約条件を取得する制約条件取得ステップと、前記制約条件を満たす前記複数の同心円それぞれに含まれるマイクロホンの数と前記複数の同心円それぞれの半径との複数の組み合わせのうち、前記マイクロホンアレイの指向特性の目標値との差が最も小さい指向特性を示す組み合わせを選択する選択ステップと、を有する。
前記選択ステップにおいて、差分進化アルゴリズムで用いられる変異ベクトルとして前記複数の同心円それぞれに含まれるマイクロホンの数と、前記複数の同心円それぞれの半径とを含む変数ベクトルを用いることにより、前記目標値との差が最も小さい指向特性を示す前記複数の同心円それぞれに含まれるマイクロホンの数と前記複数の同心円それぞれの半径との前記組み合わせを選択してもよい。
前記制約条件取得ステップにおいて、音源がある向きを特定するために用いられる複数の音源定位用マイクロホンの個数を前記制約条件の1つとして取得してもよい。
前記制約条件取得ステップにおいて、前記複数の同心円のうち最も外側の同心円の半径を前記制約条件の1つとして取得してもよい。
前記制約条件取得ステップにおいて、前記複数の同心円それぞれに含まれるマイクロホンの数が3以上であることを前記制約条件の1つとして取得してもよい。
本発明の第2の態様のマイクロホンアレイは、複数の同心円上に配置された複数のマイクロホンを有するマイクロホンアレイであって、前記複数の同心円のうち、隣接する2つの同心円の半径の差の変化量が、前記複数の同心円の中心位置からの距離に応じて単調増加しておらず、指向特性におけるメインローブに対するサイドローブの減衰量が10dB以上である。
前記マイクロホンアレイは、前記中心位置と、前記複数の同心円のうち最も前記中心位置に近い最内同心円上の複数の位置とに設けられた、音源がある向きを特定するために用いられる複数の定位用マイクロホンと、前記複数の同心円に設けられており、前記複数の定位用マイクロホンを用いて位置が特定された前記音源が発する音を集めるために用いられる複数のビームフォーミング用マイクロホンと、を有してもよい。
前記最内同心円上に3個又は6個の前記定位用マイクロホンが等間隔に設けられていてもよい。前記複数の定位用マイクロホンのうち隣り合う2つの定位用マイクロホンの間の距離は、前記音源がある向きを特定するために使用する周波数帯域内の音の最小波長の1/2以下であってもよい。
前記複数の同心円の中心を通る少なくとも1本の直線が前記複数の同心円それぞれと交わる複数の交点に前記複数のマイクロホンの一部の複数のマイクロホンが設けられていてもよい。
本発明の第3の態様のマイクロホンシステムは、上記のマイクロホンアレイと、前記マイクロホンアレイから出力される音信号を処理する音声処理部と、を備え、前記音声処理部は、前記複数の定位用マイクロホンから入力された複数の前記音信号に基づいて音源がある向きを特定する向き特定部と、前記向き特定部が特定した前記音源がある向きに基づいて前記複数のビームフォーミング用マイクロホンに入力された複数の音それぞれに重み付けして合成した音を出力する音出力部と、を有する。
本発明によれば、マイクロホンアレイが不要な音を収集しづらくなるという効果を奏する。
マイクロホンシステムの概要を説明するための図である。 マイクロホンアレイの構成を示す図である。 音声処理部の構成を示す図である。 複数のマイクロホンの配置を決定する方法の概要を示すフローチャートである。 本探索例において使用したモデルを示す図である。 第1探索例のマイクロホンアレイの指向特性を示す図である。 比較例のマイクロホンアレイの指向特性を示す図である。 第2探索例のマイクロホンアレイの指向特性を示す図である。 第3探索例のマイクロホンアレイの指向特性を示す図である。
[マイクロホンシステムSの概要]
図1は、マイクロホンシステムSの概要を説明するための図である。図2は、マイクロホンアレイ1の構成を示す図である。マイクロホンシステムSは、マイクロホンアレイ1と音声処理部2とを備えており、会議室又はホール等の空間内で複数の話者H(図1においては、話者H-1~H-4)が発した音声を収集するためのシステムである。図2に示すように、マイクロホンアレイ1は複数のマイクロホン11を有しており、話者Hが滞在する空間の天井、壁面又は床面に設置される。マイクロホンアレイ1は、複数のマイクロホン11に入力された音声に基づく複数の音信号を音声処理部2に入力する。
音声処理部2は、マイクロホンアレイ1から出力される音信号を処理する装置である。音声処理部2は、マイクロホンアレイ1から入力された音信号を解析することにより、音声を発した話者H(すなわち音源)がいる向きを特定する。さらに、音声処理部2は、特定した話者Hがいる向きに基づいて複数のマイクロホン11に対応する複数の音信号の重み係数を調整することによりビームフォーミング処理を実行し、話者Hが発する音声に対する感度を話者Hがいる向き以外の向きから到来する音に対する感度よりも大きくする。
図1(a)は、話者H-2が音声を発している状態を示している。図1(b)は、話者H-3が音声を発している状態を示している。音声処理部2は、図1(a)に示す状態においては、マイクロホンアレイ1の指向特性におけるメインローブが話者H-2の向きになるようにビームフォーミング処理を行う。音声処理部2は、図1(b)に示す状態においては、マイクロホンアレイ1の指向特性におけるメインローブが話者H-3の向きになるようにビームフォーミング処理を行う。
マイクロホンアレイ1では、音声処理部2がビームフォーミング処理を行うことで指向特性におけるメインローブとサイドローブとの差が10dB以上になるように、複数のマイクロホン11が配置されている。以下、マイクロホンアレイ1の構成、及び複数のマイクロホン11の配置の決定方法について詳細に説明する。
[マイクロホンアレイ1の構成]
図2の黒丸で示すように、マイクロホンアレイ1は、複数(例えば4つ以上)の同心円上に配置された複数のマイクロホン11を有する。マイクロホンアレイ1においては、4つの同心円C1、C2、C3、C4のそれぞれに複数のマイクロホン11が設けられている。同心円C1は最も内側の同心円(以下、「最内同心円」という。)であり、同心円C1には3つのマイクロホン11が設けられている。同心円C1に設けられた3つのマイクロホン11は、音源である話者Hがいる向きを特定するための音源定位用のマイクロホン11として機能するとともに、話者Hが発した音声を収集するためのビームフォーミング用のマイクロホン11として機能する。
同心円C2は、内側から2番目の同心円であり、同心円C2には4個のマイクロホン11が配置されている。同心円C3は、内側から3番目の同心円であり、同心円C3には7個のマイクロホン11が配置されている。同心円C4は、最も外側の同心円(以下、「最外同心円」という。)である。同心円C4には、17個のマイクロホン11が配置されている。同心円C2、C3、C4に配置されているマイクロホン11は、ビームフォーミング用として機能する。
詳細については後述するが、4つの同心円C1、C2、C3、C4の半径、及び各同心円を構成するマイクロホン11の個数及び位置は、最適な指向特性を探索することにより決定されている。その結果、4つの同心円C1、C2、C3、C4のうち隣接する2つの同心円の半径の差の変化量が、複数の同心円の中心位置からの距離に応じて単調増加しないように決定されている。
具体的には、図2に示すマイクロホンアレイ1における同心円C1の半径は0.03856[m]、同心円C2の半径は0.10660[m]、同心円C3の半径は0.14024[m]、同心円C4の半径は0.21500[m]である。同心円C1の半径と同心円C2の半径との差は0.06804[m]、同心円C2の半径と同心円C3の半径との差は0.03364[m]、同心円C3の半径と同心円C4の半径との差は0.07476[m]であり、これらの差は複数の同心円の中心位置からの距離に応じて単調増加していない。そして、マイクロホンアレイ1の指向特性におけるメインローブに対するサイドローブの減衰量は-14.8dBであり、十分な指向性が実現されている。詳細については後述するが、複数のマイクロホン11の最適な配置を探索するアルゴリズムを用いて複数のマイクロホン11の配置が決定されていることにより、マイクロホンアレイ1は、このように良好な指向特性を有している。
マイクロホンアレイ1が備える複数のマイクロホン11のうち、複数の同心円の中心位置に配置されているマイクロホン11a、及び中心位置に最も近い最内同心円C1に等間隔に設けられている3つのマイクロホン11b(11b-1、11b-2、11b-3)は、音源の位置を特定するために用いられる複数の音源定位用のマイクロホン11として機能する。他のマイクロホン11は、複数の音源定位用のマイクロホン11を用いて位置が特定された音源が発する音を集めるために用いられる複数のビームフォーミング用のマイクロホン11として機能する。マイクロホン11a、及び3つのマイクロホン11bがビームフォーミング用のマイクロホン11として機能してもよい。すなわち、マイクロホン11a、及び3つのマイクロホン11bが、音源定位用及びビームフォーミング用の2つの用途に使用されてもよい。
音源定位用のマイクロホン11として機能する複数のマイクロホン11のうち隣り合う2つの音源定位用のマイクロホン11の間の距離は、音源である話者Hがいる向きを特定するために使用する周波数帯域内の音の最小波長の1/2以下である。2つの音源定位用のマイクロホン11の間の距離がこのように設定されている場合にはエリアシングが発生しないので、話者Hがいる向きの推定精度が向上する。
想定される話者Hの声の主要な周波数成分が含まれる周波数範囲が500Hz以上4000Hz以下である場合、周波数4000Hzの音の波長が85mmであることから、隣り合う2つの音源定位用のマイクロホン11の間の距離Dは42.5mm以下であることが好ましい。想定される話者Hの声の主要な周波数成分が含まれる周波数範囲が500Hz以上5000Hz以下である場合、周波数5000Hzの音の波長が68mmであることから、距離Dは34mm以下であることが好ましい。なお、距離Dが小さ過ぎると、各音源定位用のマイクロホン11に入る音の差が小さくなり過ぎるので、距離Dは、例えば30mm以上40mm以下であることが好ましい。
また、複数の同心円C1、C2、C3、C4の中心を通る少なくとも1本の直線Lが複数の同心円C1、C2、C3、C4のそれぞれと交わる複数の交点に、複数のマイクロホン11の一部の複数のマイクロホン11が設けられている。図2に示す例の場合、マイクロホン11a、11b-1、11c、11d、11eが、同一の直線L上に配置されている。すなわち、複数の同心円C1、C2、C3、C4それぞれに配置されているマイクロホン11のうち1つのマイクロホン11が、他の同心円に配置されているマイクロホン11のうち1つのマイクロホン11と同一の直線L上に配置されている。
マイクロホンアレイ1がこのように構成されていることで、話者Hがいる向きの指向性が強くなるように信号処理をする際の精度が向上するとともに、信号処理の負荷が低減する。また、複数のマイクロホン11の位置関係が明確になるので、話者Hの向きの特定精度が向上する。
[音声処理部2の構成]
図3は、音声処理部2の構成を示す図である。音声処理部2は、AD変換器21と、AD変換器22と、向き特定部23と、音出力部24と、を有する。
AD変換器21は、複数の音源定位用のマイクロホン11に入った音に基づく複数の音信号を複数の音源定位用デジタルデータに変換する。AD変換器21は、変換後の音源定位用デジタルデータを向き特定部23に入力する。AD変換器22は、複数のビームフォーミング用(図3における「BF用」)のマイクロホン11に入った音に基づく複数の音信号を複数のビームフォーミング用デジタルデータに変換する。AD変換器22は、変換後のビームフォーミング用デジタルデータを音出力部24に入力する。AD変換器21及びAD変換器22は、単一のデバイスであってもよい。
向き特定部23は、複数の音源定位用のマイクロホン11から入力された複数の音信号に基づいて音源としての話者Hがいる向きを特定する。具体的には、向き特定部23はAD変換器21から入力された複数の音源定位用デジタルデータに基づいて話者Hがいる向きを特定する。向き特定部23は、例えば複数の音源定位用デジタルデータそれぞれが示す音の大きさの関係に基づいて話者Hがいる向きを特定する。向き特定部23は、特定した話者Hがいる向きを音出力部24に通知する。
音出力部24は、向き特定部23が特定した話者Hがいる向きに基づいて、複数のビームフォーミング用のマイクロホン11に入力された複数の音それぞれに重み付けして合成した音を出力する。具体的には、音出力部24は、音声を発している話者Hがいる向きに基づいて決定した重み係数を各マイクロホン11に対応する複数のビームフォーミング用デジタルデータそれぞれに乗算して複数の乗算値を生成し、生成した複数の乗算値を加算することにより、合成した音を出力する。例えば話者Hがいる向きに対応する位置のマイクロホン11に対する重み係数の絶対値は、他の位置のマイクロホン11に対する重み係数の絶対値よりも大きな値に設定される。向き特定部23及び音出力部24がこのように動作することで、話者Hがいる向きによらず、話者Hが発する音声の再現性が向上する。
マイクロホンアレイ1の指向特性は複数のマイクロホン11の配置によって異なるので、音出力部24が合成する音の品質は、複数のマイクロホン11の配置の影響を受ける。以下、音出力部24が合成する音の品質を向上させるための複数のマイクロホン11の配置の決定方法を詳細に説明する。
[複数のマイクロホン11の配置決定方法の概要]
図4は、複数のマイクロホン11の配置を決定する方法の概要を示すフローチャートである。一例として、配置探索装置はコンピュータを有しており、プログラムを実行することにより、図4のフローチャートに示す方法で複数のマイクロホン11の配置を決定することができる。図4のフローチャートに示す方法を実行することで、配置探索装置は、音源が特定の向きにある場合の複数のマイクロホン11の最適な配置を決定する。配置探索装置は、音源がある向き(すなわち音源がある位置の向き)を複数の異なる向きに変化させて、それぞれの向きに対する複数のマイクロホン11の最適な配置を決定する。配置探索装置は、例えば最小二乗法を用いることにより、複数の音源それぞれがある向きにできるだけ適した複数のマイクロホン11の配置を決定できる。
以下、図4を参照しながら、配置探索装置が複数のマイクロホン11の配置を決定する処理の流れを説明する。配置探索装置は、例えば差分進化アルゴリズムであるDE(Differential Evolution)法、又はDE法が改良されたJADE法を用いて複数のマイクロホン11の配置を決定する。
複数のマイクロホン11の配置を決定するために、まず、配置探索装置は、制約条件を取得する(ステップS1)。配置探索装置は、例えば、制約条件を入力するための画面をディスプレイに表示し、当該画面において入力された制約条件を取得する。
配置探索装置は、例えば、複数のマイクロホン11の最大個数を制約条件の1つとして取得する。配置探索装置は、複数の音源定位用のマイクロホン11の個数、及び複数の同心円のうち最も外側の同心円の半径を制約条件の1つとして取得してもよい。配置探索装置がこれらの制約条件を取得することにより、マイクロホンアレイ1に要求されるサイズ及びコストの条件を満たす複数のマイクロホン11の配置を決定するための時間を短縮することができる。配置探索装置は、複数の同心円それぞれに含まれるマイクロホン11の数が3以上であることを制約条件の1つとして取得してもよい。マイクロホンアレイ1が1つの同心円上に3つ以上のマイクロホン11を有することで、音源がある向きによる指向特性のばらつきを小さくすることができる。
続いて、配置探索装置は、マイクロホンアレイ1の指向特性の目標値を取得する(ステップS2)。マイクロホンアレイ1の指向特性は、メインローブの大きさとサイドローブの大きさとの差に対応する値により表される。例えば、マイクロホンアレイ1の指向特性は、所定の音がマイクロホンアレイ1に入力された場合のメインローブに対するサイドローブの減衰量として表される。配置探索装置は、例えば、目標値を入力するための画面をディスプレイに表示し、当該画面において入力された目標値を取得する。
続いて、配置探索装置は、JADE法を用いて最適な複数のマイクロホン11の配置の探索を開始するための初期変数ベクトルを決定する(ステップS3)。配置探索装置は、例えば、マイクロホン11を配置する同心円の個数、各同心円の半径、及び各同心円に配置するマイクロホン11の個数を変数として含むベクトルを初期変数ベクトルに設定する。
続いて、配置探索装置は、決定した初期変数ベクトルを用いた場合の目的関数値を算出し(ステップS4)、算出した目的関数値を基準関数値として、初期変数ベクトルに関連付けて一時的に記憶する(ステップS5)。目的関数値は、マイクロホン11の指向特性の理想値と算出したマイクロホン11の指向特性との誤差を示す値である。目的関数値が小さいほど指向特性が向上する。
続いて、配置探索装置は、更新変数ベクトルを決定する(ステップS6)。更新変数ベクトルは、初期変数ベクトルに含まれる少なくとも1つの変数が変更された変数ベクトルである。配置探索装置は、マイクロホン11を配置する同心円の個数、各同心円の半径、及び各同心円に配置するマイクロホン11の個数の少なくともいずれかを初期変数ベクトルと異なる値にすることにより、更新変数ベクトルを決定する。配置探索装置は、更新変数ベクトルを決定する際に、例えば差分進化アルゴリズムを用いる。
配置探索装置は、差分進化アルゴリズムで用いられる変異ベクトルである更新変数ベクトルとして、例えば、複数の同心円それぞれに含まれるマイクロホン11の数と、複数の同心円それぞれの半径とを含む変数ベクトルを用いる。そして、配置探索装置は、制約条件を満たす複数の同心円それぞれに含まれるマイクロホンの数と前記複数の同心円それぞれの半径との複数の組み合わせのうち、指向特性の目標値との差が最も小さい指向特性を示す組み合わせを選択する。
具体的には、配置探索装置は、まず、更新変数ベクトルを用いた場合の目的関数値を算出する(ステップS7)。配置探索装置は、算出した目的関数値と、ステップS5において記憶した目的関数値とを比較する(ステップS8)。配置探索装置は、算出した目的関数値が記憶した基準関数値以上である場合(ステップS8においてYES)、配置決定処理をステップS10に進める。配置探索装置は、算出した目的関数値が記憶した目的関数値よりも小さい場合(ステップS8においてNO)、算出した目的関数値を更新変数ベクトルに関連付けて新たな基準関数値として記憶する(ステップS9)。
続いて、配置探索装置は、所定の回数にわたって目的関数値を算出したか否かを判定する(ステップS10)。すなわち、配置探索装置は、所定の個数の変数ベクトルに対して目的関数値を算出したか否かを判定する。所定の回数は、例えば、マイクロホンアレイ1の設計者により設定された回数である。配置探索装置は、所定の回数にわたって目的関数値を算出した場合(ステップS10においてYES)、基準関数値に関連付けて記憶されている変数ベクトルが示す配置を複数のマイクロホン11の配置に決定して処理を終了する。配置探索装置は、目的関数値を算出した回数が所定の回数に達していない場合(ステップS10においてNO)、配置決定処理をステップS6に戻す。配置探索装置は、このようにステップS7~S10の選択ステップを実行することにより、制約条件を満たす複数のマイクロホン11の位置の複数の組み合わせのうち、指向特性の目標値との差が最も小さい指向特性を示す組み合わせを選択する。
[JADE法を用いた最適配置の探索例]
以下、JADE法を用いて複数のマイクロホン11の最適な配置を探索する例を示す。以下の設計の処理は、図4のフローチャートを実行する配置探索装置がプログラムを実行することにより行われる。JADE法においては、DE法の大域探索性が強化された、パラメータを問題ごとに自動調整させるアルゴリズムが用いられる。そのため、複数のマイクロホン11の配置を決定する場合のように、多峰性の目的関数が存在する問題に対しても、配置探索装置は、JADE法を用いることにより良好な探索を実現することができる。
図5は、本探索例において使用するモデルを示す図である。図5に示すように、x軸、y軸、z軸により位置が規定される空間内において、複数のマイクロホン11の最適な配置を探索する前提となる音源が、xy平面においてx軸からθの角度にあり、かつxy平面からz軸に向けてΦの角度にあるものとする。すなわち、配置探索装置は、マイクロホンアレイ1が原点に対して(θ,Φ)の向きにある音源からの音を受ける場合に指向特性が最適になる複数のマイクロホン11の配置を探索する。
ここで、同心円の総数をP、同心円それぞれの半径をr、同心円それぞれに配置されるマイクロホン11の数をM(p=1、2、・・・、P)とする。最大の同心円の半径rに対して音源とマイクロホンアレイ1との距離が十分に大きければ、音源が発する音信号はマイクロホンアレイ1の付近で平面波であると見なすことができる。この場合、ある同心円p上のm番目のマイクロホン11の受音信号zpm(n)は、各同心円のx軸上のマイクロホン11の受音信号zp、xaxis(n)を基準とすると、到達時間差τpm(θ,Φ)を用いて次式で表すことができる。
Figure 0007392969000001
Figure 0007392969000002
Figure 0007392969000003
ここで、cは音速である。このとき、マイクロホンアレイ1のメインローブの大きさに対応する指向性G(θ,Φ,ω)は次式で表せる。
Figure 0007392969000004
遅延和ビームフォーマの重み係数w pm,kは次式で表せる。
Figure 0007392969000005
複数のマイクロホン11の最適な配置に関する設計問題は、目標値としての所望の指向性D(θ,Φ,ωk)に近い指向性G(θ,Φ,ωk)を得ることができるマイクロホン11の配置を探索する問題に置き換えられる。探索に用いられる誤差E(θ,Φ,ωk)は、次式で表せる。
Figure 0007392969000006
最適な配置は、次式のように近似帯域上の最大誤差を最小化する変数ベクトルを求めることにより特定できる。
Figure 0007392969000007
ここで、JADE法を用いて最大誤差を最小化する変数ベクトルを求めるために、配置探索装置は、まずN個の解個体群X(i=1、2、・・・、N)を探索空間の定義域範囲内を対象とした一様乱数により初期化し、各個体の目的関数値を計算する。配置探索装置は、最大世代数Iまでの間、差分変異個体、子個体、及び進化個体をそれぞれ生成し、目的関数の極小解を探索する。
JADE法をマイクロホン配置設計問題に適用するために、変数ベクトルxを以下のように定義する。
Figure 0007392969000008
ここで、実現が不可能な配置に決定されないように、マイクロホン11の個数を実現可能な最大個数Mmax以内に抑えるための制約条件を以下のように定める。
Figure 0007392969000009
マイクロホンシステムSにおいては、ビームフォーミング処理の前に、音源定位処理が実行される。したがって、複数のマイクロホン11の配置を決定する際には、音源定位用のマイクロホン11の配置も考慮する必要がある。図2に示した同心円の中心位置に1個、及び最内同心円C1に3個又は6個の音源定位用のマイクロホン11を配置するために、以下の制約を加える。
Figure 0007392969000010
最外同心円の最大半径をRmaxとすると、各同心円の半径rに対する制約は、以下のとおりである。
Figure 0007392969000011
この場合、求める変数ベクトルx’は、以下のように表される。
Figure 0007392969000012
以上より、複数のマイクロホン11を配置する設計問題は次式のような混合整数計画問題として定式化される。
Figure 0007392969000013
Figure 0007392969000014
Figure 0007392969000015
ここで、θ、Φ(s=1、・・・、S)は離散化された方向、δは(数6)の式における近似帯域上の最大誤差を表す。JADE法による最適配置の探索において、このδを用いる以下の拡大目的関数f(x’)を使用する。
Figure 0007392969000016
ここで、λ(x’)(u=1、・・・、4)は、ペナルティ関数を表す。λ(x’)はマイクロホン11の最大個数の制限に関するペナルティ関数である。
Figure 0007392969000017
Figure 0007392969000018
λ(x’)は、音源定位用のマイクロホン11の数に関するペナルティ関数である。
Figure 0007392969000019
λ(x’)は、各同心円に配置されるマイクロホン11の数が2個以下になることを避けるためのペナルティ関数である。
Figure 0007392969000020
λ(x’)は、半径が昇順並びになるようにするためのペナルティ関数である。α>0は、隣接する同心円の半径の差が0になることを回避するための定数である。
Figure 0007392969000021
[第1探索例]
本探索例では、簡略化のためΦ=0[rad]とした。所望の指向性D(θ、ω)を次式のように設定した。
Figure 0007392969000022
ここで、θS1及びθS2は、メインローブの境界線の方向である。本探索例においては、θS1=-π/3[rad]、θS2=π/3[rad]、音源方向θ=0[rad]、音速c=343[m/s]とした。JADE法で用いられるμ及びμCRの初期値は0.5、Pbestは0.05とした。
以上の条件で、配置探索装置としてのコンピュータを用いてJADE法で複数のマイクロホン11の配置を決定した結果、図2に示すマイクロホンアレイ1が設計された。マイクロホンアレイ1において、各同心円の半径及び各同心円上のマイクロホン11の数を表1に示す。
Figure 0007392969000023
図6は、第1探索例のマイクロホンアレイ1(すなわち図2に示したマイクロホンアレイ1)の指向特性を示す図である。図6は、500Hz、700Hz、1000Hz、2000Hz、及び4000Hzのそれぞれの周波数の音に対する指向特性を示している。なお、図6においては、メインローブの最大値が0dBとして示されている。
比較例としてJADE法を用いないでマイクロホン11を配置したマイクロホンアレイの各同心円の半径及び各同心円上のマイクロホン11の数を表2に示す。図7は、比較例のマイクロホンアレイの指向特性を示す図である。
Figure 0007392969000024
図6と図7とを比較すると、図6に示す指向特性は、図7に示す指向特性よりも指向性が強いことを確認できる。具体的には、図6に示す指向特性においては、メインローブに対するサイドローブの減衰量の最小値が14.8dBであるのに対して、図7に示す指向特性においては、メインローブに対するサイドローブ減衰量の最小値が5dBである。この結果から、JADE法を用いて複数のマイクロホン11の配置を決定することが有効であることが確認できた。
[第2探索例]
マイクロホン11の個数を48個、同心円の最大半径を0.215[m]の条件でJADE法を用いて決定した各同心円の半径及び各同心円上のマイクロホン11の数を表3に示す。
Figure 0007392969000025
図8は、第2探索例のマイクロホンアレイ1の指向特性を示す図である。図8に示す指向特性においては、メインローブに対するサイドローブ減衰量の最小値が16.1dBである。図8に示す指向特性も、図7に示した指向特性よりも指向性が強いことを確認できる。
[第3探索例]
マイクロホン11の個数を64個、同心円の最大半径を0.215[m]の条件でJADE法を用いて決定した各同心円の半径及び各同心円上のマイクロホン11の数を表4に示す。
Figure 0007392969000026
図9は、第3探索例のマイクロホンアレイ1の指向特性を示す図である。図9に示す指向特性においては、メインローブに対するサイドローブ減衰量の最小値が17.4dBである。図9に示す指向特性も、図7に示した指向特性よりも指向性が強いことを確認できる。
JADE法を用いて設計した上記のマイクロホンアレイ1は、以下の共通の特徴を有する。
(1)複数の同心円のうち、隣接する2つの同心円の半径の差の変化量が、複数の同心円の中心位置からの距離に応じて単調増加していないこと
(2)指向特性におけるメインローブに対するサイドローブの減衰量が10dB以上であること
マイクロホンアレイ1がこれらの特徴を有することで、マイクロホンアレイ1は、音を収集するべき対象の音源が発する音を優先的に収集し、不要な音を収集しづらい。
[変形例]
以上の説明においては、最内同心円C1上に3個の音源定位用のマイクロホン11が等間隔で配置されている場合を例示したが、最内同心円C1上に6個の音源定位用のマイクロホン11が等間隔に配置されていてもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。
1 マイクロホンアレイ
2 音声処理部
11 マイクロホン
21 AD変換器
22 AD変換器
23 向き特定部
24 音出力部

Claims (5)

  1. 複数の同心円のうち1つの同心円上に配置された音源がある向きを特定するために用いられる複数の音源定位用マイクロホンを含む複数のマイクロホンを有するマイクロホンアレイにおける前記複数のマイクロホンの位置を決定する方法であって、
    前記複数のマイクロホンの位置を決定するための制約条件を入力するための画面を表示するステップと、
    前記画面で入力された、(i)前記複数のマイクロホンの最大個数と、(ii)前記複数のマイクロホンの数が3個以上であり、少なくとも3個の前記複数のマイクロホンが前記複数の同心円の一つにおける三角形の頂点に配置されているという条件とを含む前記制約条件を取得する制約条件取得ステップと、
    前記制約条件を満たす前記複数の同心円それぞれに含まれるマイクロホンの数と前記複数の同心円それぞれの半径との複数の組み合わせのうち、前記マイクロホンアレイの指向特性の目標値との差が最も小さい指向特性を示す組み合わせを選択する選択ステップと、
    を有するマイクロホン位置決定方法。
  2. 前記選択ステップにおいて、差分進化アルゴリズムで用いられる変異ベクトルとして前記複数の同心円それぞれに含まれるマイクロホンの数と、前記複数の同心円それぞれの半径とを含む変数ベクトルを用いることにより、前記目標値との差が最も小さい指向特性を示す前記複数の同心円それぞれに含まれるマイクロホンの数と前記複数の同心円それぞれの半径との前記組み合わせを選択する、
    請求項1に記載のマイクロホン位置決定方法。
  3. 前記制約条件取得ステップにおいて、音源の位置を特定するために用いられる複数の音源定位用マイクロホンの個数を前記制約条件の1つとして取得する、
    請求項1又は2に記載のマイクロホン位置決定方法。
  4. 前記制約条件取得ステップにおいて、前記複数の同心円のうち最も外側の同心円の半径を前記制約条件の1つとして取得する、
    請求項1から3のいずれか一項に記載のマイクロホン位置決定方法。
  5. 前記制約条件取得ステップにおいて、前記複数の同心円それぞれに含まれるマイクロホンの数が3以上であることを前記制約条件の1つとして取得する、
    請求項1から4のいずれか一項に記載のマイクロホン位置決定方法。
JP2019149812A 2019-08-19 2019-08-19 マイクロホン位置決定方法 Active JP7392969B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2019149812A JP7392969B2 (ja) 2019-08-19 2019-08-19 マイクロホン位置決定方法
EP20191457.9A EP3783910A3 (en) 2019-08-19 2020-08-18 Method for determining microphone position and microphone system
CN202010830053.1A CN112399292A (zh) 2019-08-19 2020-08-18 麦克风位置确定方法及麦克风系统
US16/996,326 US11553294B2 (en) 2019-08-19 2020-08-18 Method for determining microphone position
US17/735,724 US11812231B2 (en) 2019-08-19 2022-05-03 Method for determining microphone position and microphone system
US18/061,634 US20230125643A1 (en) 2019-08-19 2022-12-05 Method for determining microphone position and microphone system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019149812A JP7392969B2 (ja) 2019-08-19 2019-08-19 マイクロホン位置決定方法

Publications (2)

Publication Number Publication Date
JP2021034776A JP2021034776A (ja) 2021-03-01
JP7392969B2 true JP7392969B2 (ja) 2023-12-06

Family

ID=72145250

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019149812A Active JP7392969B2 (ja) 2019-08-19 2019-08-19 マイクロホン位置決定方法

Country Status (4)

Country Link
US (3) US11553294B2 (ja)
EP (1) EP3783910A3 (ja)
JP (1) JP7392969B2 (ja)
CN (1) CN112399292A (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9786097B2 (en) * 2012-06-22 2017-10-10 Matterport, Inc. Multi-modal method for interacting with 3D models
US10163261B2 (en) 2014-03-19 2018-12-25 Matterport, Inc. Selecting two-dimensional imagery data for display within a three-dimensional model
CN113008363B (zh) * 2021-03-16 2022-04-22 国网山东省电力公司东营供电公司 一种多谐振点传声器阵列及其布置方法
CN113138363A (zh) * 2021-04-22 2021-07-20 苏州臻迪智能科技有限公司 一种声源定位方法、装置、存储介质和电子设备
CN115038012B (zh) * 2022-08-10 2022-11-08 湖北工业大学 基于admm的麦克风阵列鲁棒频率不变波束形成方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6205224B1 (en) 1996-05-17 2001-03-20 The Boeing Company Circularly symmetric, zero redundancy, planar array having broad frequency range applications
JP2982740B2 (ja) * 1997-04-17 1999-11-29 日本電気株式会社 受波指向性合成装置
DK174558B1 (da) * 2002-03-15 2003-06-02 Bruel & Kjaer Sound & Vibratio Stråleformende transducer-antennesystem
DE102007016433A1 (de) * 2007-01-11 2008-07-17 Rheinmetall Defence Electronics Gmbh Mikrofonanordnungen in kleinen akustischen Antennen
US9462362B2 (en) 2013-03-29 2016-10-04 Nissan Motor Co., Ltd. Microphone support device for sound source localization
US9565493B2 (en) * 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US9930448B1 (en) * 2016-11-09 2018-03-27 Northwestern Polytechnical University Concentric circular differential microphone arrays and associated beamforming
US9980075B1 (en) * 2016-11-18 2018-05-22 Stages Llc Audio source spatialization relative to orientation sensor and output
US10839822B2 (en) * 2017-11-06 2020-11-17 Microsoft Technology Licensing, Llc Multi-channel speech separation
US10674260B1 (en) * 2018-11-20 2020-06-02 Microsoft Technology Licensing, Llc Smart speaker system with microphone room calibration

Also Published As

Publication number Publication date
EP3783910A2 (en) 2021-02-24
JP2021034776A (ja) 2021-03-01
US20230125643A1 (en) 2023-04-27
US20210058726A1 (en) 2021-02-25
US11553294B2 (en) 2023-01-10
CN112399292A (zh) 2021-02-23
EP3783910A3 (en) 2021-06-02
US20220264239A1 (en) 2022-08-18
US11812231B2 (en) 2023-11-07

Similar Documents

Publication Publication Date Title
JP7392969B2 (ja) マイクロホン位置決定方法
JP4396646B2 (ja) 応答波形合成方法、応答波形合成装置、音響設計支援装置および音響設計支援プログラム
KR101117936B1 (ko) 마이크로폰 어레이를 사용하는 빔성형 시스템 및 방법
US7773768B2 (en) Acoustic design support apparatus
JP2022526761A (ja) 阻止機能を伴うビーム形成マイクロフォンローブの自動集束、領域内自動集束、および自動配置
JP2009010491A (ja) スピーカアレイ装置、マイクアレイ装置および信号処理方法
JPWO2007123051A1 (ja) 適応アレイ制御装置、方法、プログラム、及び適応アレイ処理装置、方法、プログラム
JP4241745B2 (ja) 音響制御装置、音響制御方法、および音響制御プログラム
KR102514060B1 (ko) 빔 형성 어레이의 드라이버 장치들을 위한 음향 빔 형성 방법 및 음향 장치
JP2007026221A (ja) 音響設計支援装置および音響設計支援プログラム
GB2473968A (en) Loudspeaker array configuration with 3D plot/display
JP4200989B2 (ja) 音響設計支援装置および音響設計支援プログラム
US11356790B2 (en) Sound image reproduction device, sound image reproduction method, and sound image reproduction program
JP5045515B2 (ja) スピーカアレイシステム
JP4475193B2 (ja) 音響設計支援装置および音響設計支援プログラム
KR100519052B1 (ko) 다수의 스피커를 이용한 밝고 어두운 소리 공간 형성방법
Kurc et al. Sound source localization with DAS beamforming method using small number of microphones
WO2019073804A1 (ja) 音源方向推定装置および方法、並びにプログラム
Coleman et al. Numerical optimization of loudspeaker configuration for sound zone reproduction
JP2022145678A (ja) 音信号処理方法および音信号処理装置
CN114023307A (zh) 声音信号处理方法、语音识别方法、电子设备和存储介质
JP2020039098A (ja) スピーカ装置、スピーカ係数決定装置、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220620

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230320

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230704

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20231012

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231017

AA91 Notification that invitation to amend document was cancelled

Free format text: JAPANESE INTERMEDIATE CODE: A971091

Effective date: 20231031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231116

R150 Certificate of patent or registration of utility model

Ref document number: 7392969

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150