JP7334406B2 - アレイマイクロフォンおよび収音方法 - Google Patents

アレイマイクロフォンおよび収音方法 Download PDF

Info

Publication number
JP7334406B2
JP7334406B2 JP2018200307A JP2018200307A JP7334406B2 JP 7334406 B2 JP7334406 B2 JP 7334406B2 JP 2018200307 A JP2018200307 A JP 2018200307A JP 2018200307 A JP2018200307 A JP 2018200307A JP 7334406 B2 JP7334406 B2 JP 7334406B2
Authority
JP
Japan
Prior art keywords
sound
beams
sound collecting
sound source
estimated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018200307A
Other languages
English (en)
Other versions
JP2020068465A (ja
Inventor
高史 山川
祐治 池ヶ谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2018200307A priority Critical patent/JP7334406B2/ja
Priority to US16/658,464 priority patent/US10869123B2/en
Priority to EP19204533.4A priority patent/EP3644624A1/en
Publication of JP2020068465A publication Critical patent/JP2020068465A/ja
Priority to US17/091,003 priority patent/US11297419B2/en
Application granted granted Critical
Publication of JP7334406B2 publication Critical patent/JP7334406B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L2021/02082Noise filtering the noise being echo, reverberation of the speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166Microphone arrays; Beamforming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/4012D or 3D arrays of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23Direction finding using a sum-delay beam-former

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Description

本発明の一実施形態は、複数のマイクを備えたアレイマイクロフォン、および収音方法に関する。
特許文献1には、1つの収音ビームを形成し、該収音ビームの方向を音源方向に追従させる、トラッキングアレイマイクが開示されている。
また、特許文献2および特許文献3には、複数の収音ビームを形成するアレイマイクが開示されている。
米国特許第9894434号明細書 米国特許第9565493号明細書 米国特許第9264553号明細書
特許文献1の様に1つの収音ビームを形成するトラッキングアレイマイクは、話者が変更されてから収音ビームの方向が変更されるまでに時間差が生じる。そのため、新たな話者の発言の冒頭を収音することができない場合がある。
本発明の一実施形態の目的は、複数の音源方向に対応可能であるアレイマイクロフォンおよび収音方法を提供することである。
アレイマイクロフォンは、複数のマイクと、音源方向を推定する推定手段と、前記複数のマイクの収音信号を用いて、前記推定手段で推定された音源方向に基づく方向に収音ビームを形成するビーム形成手段と、を備える。そして、前記推定手段で推定される音源方向の数は、前記ビーム形成手段で形成される収音ビームの数より少ないことを特徴とする。
あるいは、アレイマイクロフォンは、複数のマイクと、2以上の音源の方向を推定する推定手段と、前記複数のマイクの収音信号を用いて、前記推定手段で推定された2以上の音源の方向に、2以上の収音ビームを形成するビーム形成手段と、を備えていてもよい。この場合において、推定手段は、2次元(平面方向および立面方向)の方向を推定してもよい。
本発明の一実施形態によれば、複数の音源方向に対応可能である。
アレイマイクロフォン1が設置された室内の立面図である。 アレイマイクロフォン1が設置された室内の平面図である。 アレイマイクロフォン1の構成を示すブロック図である。 アレイマイクロフォン1の動作を示すフローチャートである。 アレイマイクロフォン1の下面図である。 ビーム形成部21の機能的構成を示すブロック図である。 アレイマイクロフォン1が設置された室内の平面図である。 アレイマイクロフォン1が設置された室内の平面図である。 アレイマイクロフォン1が設置された室内の平面図である。 アレイマイクロフォン1Aの構成を示すブロック図である。
本実施形態のアレイマイクロフォンは、複数のマイクと、音源方向を推定する推定手段と、前記複数のマイクの収音信号を用いて、前記推定手段で推定された音源方向に基づく方向に収音ビームを形成するビーム形成手段と、を備える。そして、前記推定手段で推定される音源方向の数は、前記ビーム形成手段で形成される収音ビームの数より少ないことを特徴とする。
このように、アレイマイクロフォンは、音源方向の推定数よりも収音ビームの数を多くして、現在推定している音源方向以外にも収音ビームを向けている。したがって、アレイマイクロフォンは、話者が変更された場合でも、既に他の方向に向けられた収音ビームで新たな話者の発言を収音することができる。よって、アレイマイクロフォンは、複数の音源方向に対応可能であり、新たな話者の発言の冒頭を収音することもできる。また、音源方向の推定数を減らすことで、複数の音源方向を推定してそれぞれの方向に複数の収音ビームを形成するよりも、演算量の増大を抑えることができる。
また、アレイマイクロフォンは、複数のマイクと、2以上の音源の方向を推定する推定手段と、前記複数のマイクの収音信号を用いて、前記推定手段で推定された2以上の音源の方向に、2以上の収音ビームを形成するビーム形成手段と、を備えていてもよい。この場合において、推定手段は、2次元(平面方向および立面方向)の方向を推定してもよい。この場合、アレイマイクロフォンは、2以上の音源に追従する収音ビームを形成することができ、2以上の音源の音を自動的に明瞭に収音することができる。よって、アレイマイクロフォンは、複数の音源方向に対応可能である。無論、アレイマイクロフォンは、0乃至1の音源方向に対応することも可能である。
また、アレイマイクロフォンは、前記収音ビームに係る音信号を、それぞれの収音ビームの音量に応じたゲインでミキシングするミキシング処理部を備えてもよい。
この場合、現在推定している音源方向以外に向けられた収音ビームのゲインが低減されるため、現在の話者の音声を明瞭に収音することができる。
以下、本実施形態の具体的構成について説明する。図1は、アレイマイクロフォン1が設置された室内の立面図であり、図2は平面図である。
アレイマイクロフォン1は、室内の天井に設置されている。アレイマイクロフォン1の直下には、会議机Tが設置されている。図1および図2の例では、会議机Tの周囲には、複数のユーザ(話者)h1、ユーザh2、ユーザh3およびユーザh4がいる。アレイマイクロフォン1は、厚みの薄い直方体形状の筐体を有する。図1の例では、アレイマイクロフォン1の上面が天井に設置されている。なお、アレイマイクロフォン1は、例えば天井に吊り下げられていてもよい。また、アレイマイクロフォン1は、天井タイルとして設置されてもよい。また、アレイマイクロフォン1は、室内の設備として備え付けられていてもよいが、交換可能に構成されていてもよい。アレイマイクロフォン1が天井タイルとして設置される場合、当該天井タイルが交換可能に構成される。また、本実施形態のアレイマイクロフォン1は、天井に設置される態様であるが、必ずしも天井に設置される必要はない。例えば、アレイマイクロフォン1は、壁面、机上、あるいは床面等に設置されていてもよい。
図3は、アレイマイクロフォン1の構成を示すブロック図である。アレイマイクロフォン1は、複数のマイク11-1乃至マイク11-n、ビーム形成部21、オートミキサ(AUTOMIX)31、インタフェース(I/F)41、および音源方向推定部25を備えている。図4は、アレイマイクロフォン1の動作を示すフローチャートである。
ビーム形成部21、AUTOMIX31、および音源方向推定部25は、それぞれハードウェアにより構成されてもよいが、ソフトウェアにより構成されていてもよい。ソフトウェアにより構成される場合、CPU等のプロセッサ(不図示)が、メモリ等の記憶媒体(不図示)に記憶されたソフトウェアを読み出して実行することでビーム形成部21、AUTOMIX31、および音源方向推定部25を構成する。なお、ソフトウェアは、アレイマイクロフォン1のメモリ等に記憶しておく必要はなく、サーバ等の他装置から都度ダウンロードして実行してもよい。
複数のマイク11-1乃至マイク11-nは、アレイマイクロフォン1の筐体の下面に配置されている。複数のマイク11-1乃至マイク11-nの収音方向は、アレイマイクロフォン1の下面に向けられている。
図5は、アレイマイクロフォン1を下面から見た図である。図5に示す多数の円は、複数のマイク11-1乃至マイク11-nを表す。複数のマイク11-1乃至マイク11-nは、図5に示す様に、平面配置されたアレイマイクを構成する。ただし、複数のマイク11-1乃至マイク11-nの配置は、図5に示す例に限るものではない。なお、複数のマイク11-1乃至マイク11-nは、無指向性マイクでも指向性マイクでもよい。
図3に示す様に、複数のマイク11-1乃至マイク11-nでそれぞれ収音した音信号(以下、収音信号と称する。)は、ビーム形成部21に入力される。ビーム形成部21は、複数のマイク11-1乃至マイク11-nの収音信号を所定の遅延量で遅延して合成する。これにより、ビーム形成部21は、所定の方向に強い感度を有する収音ビームを形成する。ビーム形成部21は、複数の収音ビームを形成することができる。本実施形態の例では、最大で4つの収音ビーム(第1収音ビームb1、第2収音ビームb2、第3収音ビームb3、および第4収音ビームb4)を形成する。収音ビームの数、および各収音ビームの方向は、音源方向推定部25で推定した音源方向に基づいて決定される。
収音ビームに係る収音信号は、AUTOMIX31に入力される。AUTOMIX31は、本発明のミキシング処理部に相当する。AUTOMIX31は、収音ビームに係る収音信号を、それぞれの収音ビームの音量に応じたゲインでミキシングする。これにより、音量の大きな収音ビームが強調されるため、現在の話者の音声を明瞭に取得することができる。ただし、本発明においてAUTOMIX31は必須の構成ではない。
AUTOMIX31でミキシングされた音信号は、I/F41に入力される。I/F41は、例えばUSB等の通信I/Fである。I/F41は、入力された音信号を所定のデータ形式にエンコードし、パーソナルコンピュータ等の他装置に送信する。これにより、アレイマイクロフォン1は、収音した音声を遠隔地の装置に送信することができ、遠隔会議を実現することができる。なお、I/F41は、遠隔地の装置から音信号を受信してもよい。I/F41は、受信した音信号を不図示のスピーカに出力する。これにより、会議参加者は、遠隔地の音声を聞くことができる。
音源方向推定部25は、複数のマイクの音信号を用いて音源方向を推定する(図4のフローチャートに示すS11)。音源方向推定部25は、例えば複数のマイクの収音信号の相互相関を算出することにより、音源方向を推定する。音源方向推定部25は、例えばある2つのマイクの収音信号の相互相関のピークを求めることで、これら2つのマイクに対する音源の方向を求めることができる。さらに、音源方向推定部25は、別の2つのマイクの収音信号の相互相関のピークを求めることで、これら別の2つのマイクに対する音源の方向を求めることができる。音源方向推定部25は、この様にして算出した複数の相互相関のピークに基づいて、音源方向を推定する。
2つのマイクによる音源方向の推定だけでは、1次元の方向(例えば平面方向または立面方向)しか推定できない。または、1次元の方向および音源との距離しか推定できない。しかし、音源方向推定部25は、平面配置されたアレイマイクから、2組以上の複数のマイクを選択して、複数の相互相関のピークを求める。これにより、音源方向推定部25は、2次元の方向(平面方向および立面方向)を推定する。また、音源方向推定部25は、2次元の方向に加えて、音源との距離も推定することができる。
また、推定する音源の数および精度は、マイクの数および算出する相互相関の数が多いほど向上する。本実施形態の音源方向推定部25は、2つの音源方向を推定する。すなわち、音源方向推定部25は、各相互相関についてさらに2つのピーク(レベルの大きい側から2つのピーク)を求めることで、2つの音源方向を推定する。
なお、音源方向の推定手法は、上記の例に限らない。音源方向推定部25は、例えば、ビーム形成部21で形成された複数方向の収音ビームのレベルを比較することでも、音源方向を推定することができる。この場合、ビーム形成部21は、予め室内の複数方向(例えば1000方向)に収音ビームを形成する。音源方向推定部25は、これら複数方向の収音ビームのレベルをそれぞれ求める。音源方向推定部25は、これら複数方向の収音ビームの空間的なレベル分布を求める。音源方向推定部25は、レベル分布に基づいて、音源の方向を複数推定する。
ただし、上述の様に多数(例えば1000方向)の収音ビームを形成し、空間的なレベル分布を求める場合、演算量が非常に大きい。また、相互相関のピークに基づいて音源方向を推定する場合、多数の音源方向を推定することが困難である。そこで、本実施形態のアレイマイクロフォン1は、演算量を抑えるために、音源方向の推定数を抑えながら、音源方向の推定数よりも収音ビームの数を多くして、多数の音源に対応する。
ビーム形成部21は、音源方向推定部25が推定した音源方向に基づいて収音ビームの数および方向を制御する。図6は、ビーム形成部21の機能的構成を示すブロック図である。
ビーム形成部21は、機能的に、比較器201、遅延計算部202、遅延部203-1、遅延部203-2、遅延部203-3、および遅延部203-4を備えている。遅延部203-1は、遅延器251-1乃至遅延器251-nおよび加算器255を備えている。遅延部203-1、遅延部203-2、遅延部203-3、および遅延部203-4は、それぞれ同じ構成を有する。
ビーム形成部21の各機能的構成は、ビーム形成部21を構成する不図示のCPUまたはDSP等のハードウェアがメモリからプログラムを読み出して実行することにより実現される。
比較器201は、音源方向推定部25が推定した音源方向の情報を入力する。この例では、比較器201は、第1の音源方向d1を示す情報および第2の音源方向d2を示す情報を入力する。第1の音源方向d1を示す情報は、平面方向を示す鉛直軸回りの角度θ1、および立面方向を示す水平軸回りの角度φ1、が含まれている。第2の音源方向d2を示す情報は、鉛直軸回りの角度θ2および水平軸回りの角度φ2が含まれている。鉛直軸回りの角度は、図2に示すように、アレイマイクロフォン1の筐体を平面視した所定方向(図2では右方向)を基準とした相対角度で表される。水平軸回りの角度は、図1に示すように、アレイマイクロフォン1の筐体を立面視した所定方向(図1では右方向)を基準とした相対角度で表される。
比較器201は、音源方向推定部25から入力された第1の音源方向d1および第2の音源方向d2に基づいて、収音ビームの数および方向を決定する。本実施形態では、最大で4つの収音ビームを形成する。したがって、比較器201は、第1収音ビームb1の方向を角度θ’1および角度φ’1に設定し、第2収音ビームb2の方向を角度θ’2および角度φ’2に設定し、第3収音ビームb3の方向を角度θ’3および角度φ’3に設定し、第4収音ビームb4の方向を角度θ’4および角度φ’4に設定する。
比較器201は、設定した各収音ビームの角度情報を、遅延計算部202に送信する。遅延計算部202は、受信した各収音ビームの角度情報に基づいて、遅延部203-1、遅延部203-2、遅延部203-3、および遅延部203-4における各遅延器251-1乃至遅延器251-nの遅延量を計算する。そして、遅延計算部202は、遅延部203-1、遅延部203-2、遅延部203-3、および遅延部203-4における各遅延器251-1乃至遅延器251-nの遅延量を設定する。遅延部203-1、遅延部203-2、遅延部203-3、および遅延部203-4における各遅延器251-1乃至遅延器251-nは、入力された収音信号を遅延して加算器255に出力する。加算器255は、これら収音信号を合成することで収音ビームを形成する。形成された収音ビームは、AUTOMIX31に出力される。
比較器201は、現在の各収音ビームの角度情報を、メモリ(不図示)に記憶している。比較器201は、第1の音源方向d1および第2の音源方向d2の角度と、現在の各収音ビームの角度と、を比較する(図4のフローチャートに示すS12)。
比較器201は、第1の音源方向d1および第2の音源方向d2のそれぞれについて、所定角度範囲内に収音ビームが存在するか否かを判断する(S13)。比較器201は、例えば角度θ1±5度および角度φ1±5度の範囲内に収音ビームが存在するか否かを判断する。比較器201は、第1の音源方向d1および第2の音源方向d2の両方について、所定角度範囲内に収音ビームが存在すると判断した場合、以後の処理をスキップする。これにより、現在の収音ビームの設定は保持される。
比較器201は、第1の音源方向d1または第2の音源方向d2のいずれかについて、所定角度範囲内に収音ビームが存在しないと判断した場合、現在のビーム数が最大数に達しているか否かを判断する(S14)。この例では、収音ビームの最大数は4である。したがって、比較器201は、現在、4つの収音ビームを形成しているか否かを判断する。
比較器201は、現在3つ以下の収音ビームを形成していると判断した場合、新たな収音ビームを形成する(S15)。比較器201は、新たな収音ビームの方向を、第1の音源方向d1または第2の音源方向d2に設定する。例えば、比較器201は、現在の収音ビームの数が3つである場合において、角度θ1±5度および角度φ1±5度の範囲内に収音ビームが存在しないと判断した場合に、第4収音ビームb4の角度θ’4および角度φ’4を、角度θ1および角度φ1に設定する。これにより、新たな第4収音ビームb4が音源方向に向けられる。
また、比較器201は、現在4つの収音ビームを形成していると判断した場合、最も過去に更新した収音ビームの角度を更新する(S16)。
図7および図8の平面図は、一例として、話者h1が発言を終了し、話者h2および新たな話者h5が発言を行なう場合を説明する図である。
この場合、音源方向推定部25は、話者h5の方向に第1の音源方向d1を推定する。また、音源方向推定部25は、話者h2の方向に第2の音源方向d2を推定する。この場合、比較器201は、第1の音源方向の所定角度範囲内(例えば角度θ1±5度および角度φ1±5度の範囲内)に収音ビームが存在しないと判断する。そして、図8の平面図に示す様に、比較器201は、例えば、最も過去に更新した収音ビームが第3収音ビームである場合に、第3収音ビームb3の角度θ’3および角度φ’3を、角度θ1および角度φ1に設定する。これにより、話者h5の方向に第3収音ビームb3が向けられる。
そして、仮に話者h5が発言を終了し、話者h1が発言を再開した場合でも、第1収音ビームb1が話者h1の方向に向けられているため、アレイマイクロフォン1は、話者h1の発言の冒頭を欠くこと無く収音することができる。
この様に、アレイマイクロフォン1は、音源方向の推定数よりも収音ビームの数を多くして、現在推定している音源方向以外にも収音ビームを向けている。したがって、アレイマイクロフォン1は、話者が変更された場合でも、既に他の方向に向けられた収音ビームで新たな話者の発言を収音することができる。よって、アレイマイクロフォン1は、演算量を抑えながらも、新たな話者の発言の冒頭を収音することができる。
なお、更新対象の収音ビームは、最も過去に更新した収音ビームに限らない。例えば、比較器201は、推定した音源方向に角度が最も近い収音ビームを更新の対象としてもよい。
また、比較器201は、収音ビーム毎に担当するエリアを定めていてもよい。例えば、図9に示す様に、比較器201は、室内を平面視して、4つのエリアを設定する。そして、比較器201は、第1収音ビームの担当エリア(Area1)、第2収音ビームの担当エリア(Area2)、第3収音ビームの担当エリア(Area3)、および第4収音ビームの担当エリア(Area4)に設定する。そして、比較器201は、推定した音源方向が属するエリアを判断し、対応する収音ビームの角度を更新する。
あるいは、比較器201は、エリア毎の音源方向の推定頻度を記録し、推定頻度に応じて更新対象とする収音ビームを決定してもよい。例えば、Area1で音源方向の推定頻度が高く、Area3で音源方向の推定頻度が低い場合、比較器201は、Area3を担当する第3収音ビームの角度を、Area1の方向に向けるように設定してもよい。
また、複数の収音ビームのうち少なくとも1つの収音ビームの収音方向は固定されていてもよい。固定する収音ビームの方向は、利用者が手動で設定してもよい。例えば、議長席等の発言頻度の高い話者が存在することが予め分かっている場合に、利用者は、収音ビームの方向を議長席の方向に設定する。これにより、アレイマイクロフォン1は、演算量をさらに抑えながらも、発言の冒頭を適切に収音することができる。
次に、図10は、エコーキャンセラをさらに備えたアレイマイクロフォン1Aの構成を示すブロック図である。図3のアレイマイクロフォン1と共通する構成には、同一の符号を付し、説明を省略する。図10のアレイマイクロフォン1Aは、ビーム形成部21およびAUTOMIX31に接続されるAEC(エコーキャンセラ)50-1、AEC50-2、AEC50-3、およびAEC50-4を備えている。また、アレイマイクロフォン1Aは、音源方向推定部25および複数のマイクのいずれかにそれぞれ接続されるAEC51-1、AEC51-2、AEC51-3、およびAEC51-4を備えている。I/F41は、遠隔地の装置から音信号を受信する。I/F41は、受信した音信号をAEC51-1、AEC51-2、AEC51-3、およびAEC51-4に出力する。また、I/F41は、受信した音信号をAEC50-1、AEC50-2、AEC50-3、およびAEC50-4に出力する。
AEC51-1、AEC51-2、AEC51-3、およびAEC51-4は、それぞれ対応するマイクの収音信号を入力し、エコー成分を除去する処理を行なう。具体的には、AEC51-1、AEC51-2、AEC51-3、およびAEC51-4は、それぞれ、デジタルフィルタからなる。AEC51-1、AEC51-2、AEC51-3、およびAEC51-4は、スピーカからマイクに至る伝達関数を模擬したフィルタ係数を有する。AEC51-1、AEC51-2、AEC51-3、およびAEC51-4は、遠隔地の装置から受信した音信号をフィルタ処理することでエコー成分を模擬した擬似エコー信号を生成する。AEC51-1、AEC51-2、AEC51-3、およびAEC51-4は、マイクの収音信号から擬似エコー信号を除去する。これにより、音源方向推定部25は、エコー成分が除去された後の収音信号で音源方向を推定することができる。
AEC50-1、AEC50-2、AEC50-3、およびAEC50-4は、それぞれ第1収音ビームb1、第2収音ビームb2、第3収音ビームb3、および第4収音ビームb4に係る収音信号を入力し、エコー成分を除去する処理を行なう。エコー成分を除去する処理は、AEC51-1、AEC51-2、AEC51-3、およびAEC51-4と同様である。この様に、アレイマイクロフォン1Aは、収音ビームに係る収音信号からエコー成分を除去することで、全てのマイクの収音信号からエコー成分を除去するよりも演算量を抑えることができる。
最後に、本実施形態の説明は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲は、特許請求の範囲と均等の範囲を含む。
1…アレイマイクロフォン
11-1~11-n…マイク
21…ビーム形成部
25…音源方向推定部
31…AUTOMIX
41…I/F
201…比較器
202…遅延計算部
203-1,203-2,203-3,203-4…遅延部
251-1~251-n…遅延器
255…加算器

Claims (21)

  1. 複数のマイクと、
    音源方向を推定する推定手段と、
    前記複数のマイクの収音信号を用いて、前記推定手段で推定された音源方向に基づく方向に所定の最大数以下の複数の収音ビームを形成するビーム形成手段と、
    前記複数の収音ビームのそれぞれの方向及び形成数を記憶する記憶部と、
    前記推定手段で推定された音源方向と、前記記憶部に記憶されている収音ビームの方向とを比較する比較器と、
    を備え、
    前記比較器は、前記推定手段で推定された音源方向について、所定角度範囲内に、前記記憶部に記憶した収音ビームの方向が存在せず、かつ前記複数の収音ビームの形成数が前記最大数に達したとき、前記記憶部に記憶されている収音ビームの方向の少なくとも1つを前記推定手段で推定された音源方向に更新し、前記ビーム形成手段に対して更新後の方向に収音ビームを形成させ、
    前記推定手段で推定される音源方向の数は、前記ビーム形成手段で形成される収音ビームの形成数より少ないことを特徴とするアレイマイクロフォン。
  2. 前記複数の収音ビームに係る音信号を、それぞれの収音ビームの音量に応じたゲインでミキシングするミキシング処理部を備えた、
    請求項1に記載のアレイマイクロフォン。
  3. 前記複数のマイクは、平面配列されている、
    請求項1または請求項2に記載のアレイマイクロフォン。
  4. 前記複数のマイクは、天井タイルとして設置される、
    請求項1乃至請求項3のいずれか1項に記載のアレイマイクロフォン。
  5. 前記天井タイルは、交換可能に構成されている、
    請求項4に記載のアレイマイクロフォン。
  6. 前記複数の収音ビームのうち、少なくとも1つの収音ビームに係る音信号からエコー成分を除去するエコーキャンセラを備えた、
    請求項1乃至請求項5のいずれか1項に記載のアレイマイクロフォン。
  7. 前記複数のマイクの収音信号からエコー成分を除去する第2のエコーキャンセラを備え、
    前記推定手段は、前記第2のエコーキャンセラでエコー成分が除去された前記収音信号を用いて前記音源方向を推定する、
    請求項1乃至請求項6のいずれか1項に記載のアレイマイクロフォン。
  8. 前記複数の収音ビームのうち少なくとも1つの収音ビームの収音方向は固定され、
    前記複数の収音ビームのうち少なくとも1つの収音ビームの収音方向は、前記推定手段で推定された音源方向に基づいて決定される、
    請求項1乃至請求項7のいずれか1項に記載のアレイマイクロフォン。
  9. 前記ビーム形成手段は、所定のエリア毎に収音ビームを形成する、
    請求項1乃至請求項8のいずれか1項に記載のアレイマイクロフォン。
  10. 前記比較器は、前記推定された音源方向が、前記記憶部に記憶されている収音ビームの方向と一致すれば、前記記憶部に記憶されている収音ビームの方向及び形成数を維持する、
    請求項1乃至請求項9のいずれか1項に記載のアレイマイクロフォン。
  11. 前記比較器は、前記推定された音源方向が、前記記憶部に記憶されている収音ビームの方向と一致しないと判断し、かつ、前記複数の収音ビームの形成数が前記最大数よりも少ない場合、前記ビーム形成手段に対して、前記推定された音源方向に収音ビームを新たに形成させる、
    請求項1乃至請求項10のいずれか1項に記載のアレイマイクロフォン。
  12. 音源方向を推定することと、
    複数のマイクの収音信号を用いて、推定された音源方向に基づく方向に、所定の最大数以下の複数の収音ビームを形成することと、
    前記複数の収音ビームのそれぞれの方向及び形成数を記憶することと、
    前記推定された音源方向と、記憶した収音ビームの方向とを比較することと、
    前記推定された音源方向について、所定角度範囲内に、記憶した収音ビームの方向が存在せず、かつ前記複数の収音ビームの形成数が前記最大数に達したとき、記憶した収音ビームの方向の少なくとも1つを前記推定された音源方向に更新し、更新後の方向に収音ビームを形成することと、
    を備えた収音方法であって、
    前記推定される音源方向の数は、形成される収音ビームの数より少ないことを特徴とする収音方法。
  13. 前記複数の収音ビームに係る音信号を、それぞれの収音ビームの音量に応じたゲインでミキシングすることを備えた、
    請求項12に記載の収音方法。
  14. 前記複数のマイクは、天井タイルとして設置される、
    請求項12または請求項13に記載の収音方法。
  15. 前記天井タイルは、交換可能に構成されている、
    請求項14に記載の収音方法。
  16. 前記複数の収音ビームのうち、少なくとも1つの収音ビームに係る音信号からエコー成分を除去することを備えた、
    請求項12乃至請求項15のいずれか1項に記載の収音方法。
  17. 前記複数のマイクの収音信号からエコー成分を除去し、
    エコー成分が除去された前記収音信号を用いて前記音源方向を推定する、
    請求項16に記載の収音方法。
  18. 前記複数の収音ビームのうち少なくとも1つの収音ビームの収音方向は固定され、
    前記複数の収音ビームのうち少なくとも1つの収音ビームの収音方向は、推定された音源方向に基づいて決定される、
    請求項12乃至請求項17のいずれか1項に記載の収音方法。
  19. 前記収音ビームは、所定のエリア毎に形成される、
    請求項12乃至請求項18のいずれか1項に記載の収音方法。
  20. 前記推定された音源方向が、記憶した収音ビームの方向と一致すれば、記憶した収音ビームの方向及び形成数を維持する、
    請求項12乃至請求項19のいずれか1項に記載の収音方法。
  21. 前記推定された音源方向が、記憶した収音ビームの方向と一致しないと判断し、かつ、前記複数の収音ビームの形成数が前記最大数よりも少ない場合、前記推定された音源方向に収音ビームを新たに形成する、
    請求項12乃至請求項20のいずれか1項に記載の収音方法。
JP2018200307A 2018-10-24 2018-10-24 アレイマイクロフォンおよび収音方法 Active JP7334406B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018200307A JP7334406B2 (ja) 2018-10-24 2018-10-24 アレイマイクロフォンおよび収音方法
US16/658,464 US10869123B2 (en) 2018-10-24 2019-10-21 Array microphone and sound collection method
EP19204533.4A EP3644624A1 (en) 2018-10-24 2019-10-22 Array microphone and sound collection method
US17/091,003 US11297419B2 (en) 2018-10-24 2020-11-06 Array microphone and sound collection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018200307A JP7334406B2 (ja) 2018-10-24 2018-10-24 アレイマイクロフォンおよび収音方法

Publications (2)

Publication Number Publication Date
JP2020068465A JP2020068465A (ja) 2020-04-30
JP7334406B2 true JP7334406B2 (ja) 2023-08-29

Family

ID=68296372

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018200307A Active JP7334406B2 (ja) 2018-10-24 2018-10-24 アレイマイクロフォンおよび収音方法

Country Status (3)

Country Link
US (2) US10869123B2 (ja)
EP (1) EP3644624A1 (ja)
JP (1) JP7334406B2 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
EP3804356A1 (en) 2018-06-01 2021-04-14 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
WO2020061353A1 (en) 2018-09-20 2020-03-26 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
CN113841421A (zh) 2019-03-21 2021-12-24 舒尔获得控股公司 具有抑制功能的波束形成麦克风瓣的自动对焦、区域内自动对焦、及自动配置
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
EP3942842A1 (en) 2019-03-21 2022-01-26 Shure Acquisition Holdings, Inc. Housings and associated design features for ceiling array microphones
EP3973716A1 (en) 2019-05-23 2022-03-30 Shure Acquisition Holdings, Inc. Steerable speaker array, system, and method for the same
JP2022535229A (ja) 2019-05-31 2022-08-05 シュアー アクイジッション ホールディングス インコーポレイテッド 音声およびノイズアクティビティ検出と統合された低レイテンシオートミキサー
EP4018680A1 (en) 2019-08-23 2022-06-29 Shure Acquisition Holdings, Inc. Two-dimensional microphone array with improved directivity
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
US11706562B2 (en) 2020-05-29 2023-07-18 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
US11785380B2 (en) 2021-01-28 2023-10-10 Shure Acquisition Holdings, Inc. Hybrid audio beamforming system
CN113270095B (zh) * 2021-04-26 2022-04-08 镁佳(北京)科技有限公司 语音处理方法、装置、存储介质及电子设备
JP2023057964A (ja) * 2021-10-12 2023-04-24 株式会社オーディオテクニカ ビームフォーミングマイクロホンシステムとビームフォーミングマイクロホンシステムの収音プログラムおよび設定プログラムとビームフォーミングマイクロホンの設定装置とビームフォーミングマイクロホンの設定方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007013400A (ja) 2005-06-29 2007-01-18 Yamaha Corp 集音装置
JP2010114554A (ja) 2008-11-05 2010-05-20 Yamaha Corp 放収音装置
JP2013546247A (ja) 2010-10-29 2013-12-26 マイティワークス マルチビーム音響システム
JP2018515028A (ja) 2015-04-30 2018-06-07 シュアー アクイジッション ホールディングス インコーポレイテッドShure Acquisition Holdings,Inc. アレイマイクシステム、及びアレイマイクシステムの組み立て方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7155018B1 (en) * 2002-04-16 2006-12-26 Microsoft Corporation System and method facilitating acoustic echo cancellation convergence detection
EP1971183A1 (en) 2005-11-15 2008-09-17 Yamaha Corporation Teleconference device and sound emission/collection device
JP4929740B2 (ja) 2006-01-31 2012-05-09 ヤマハ株式会社 音声会議装置
EP2197219B1 (en) 2008-12-12 2012-10-24 Nuance Communications, Inc. Method for determining a time delay for time delay compensation
US9264553B2 (en) 2011-06-11 2016-02-16 Clearone Communications, Inc. Methods and apparatuses for echo cancelation with beamforming microphone arrays
US9294839B2 (en) * 2013-03-01 2016-03-22 Clearone, Inc. Augmentation of a beamforming microphone array with non-beamforming microphones
US9532138B1 (en) * 2013-11-05 2016-12-27 Cirrus Logic, Inc. Systems and methods for suppressing audio noise in a communication system
US9894434B2 (en) 2015-12-04 2018-02-13 Sennheiser Electronic Gmbh & Co. Kg Conference system with a microphone array system and a method of speech acquisition in a conference system
US9659576B1 (en) * 2016-06-13 2017-05-23 Biamp Systems Corporation Beam forming and acoustic echo cancellation with mutual adaptation control
US10367948B2 (en) * 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
US10839822B2 (en) * 2017-11-06 2020-11-17 Microsoft Technology Licensing, Llc Multi-channel speech separation
US10819413B2 (en) * 2018-11-13 2020-10-27 Nxp Usa, Inc. Beam tracking in wireless communication
US11172291B2 (en) * 2019-02-27 2021-11-09 Crestron Electronics, Inc. Millimeter wave sensor used to optimize performance of a beamforming microphone array
US11276397B2 (en) * 2019-03-01 2022-03-15 DSP Concepts, Inc. Narrowband direction of arrival for full band beamformer

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007013400A (ja) 2005-06-29 2007-01-18 Yamaha Corp 集音装置
JP2010114554A (ja) 2008-11-05 2010-05-20 Yamaha Corp 放収音装置
JP2013546247A (ja) 2010-10-29 2013-12-26 マイティワークス マルチビーム音響システム
JP2018515028A (ja) 2015-04-30 2018-06-07 シュアー アクイジッション ホールディングス インコーポレイテッドShure Acquisition Holdings,Inc. アレイマイクシステム、及びアレイマイクシステムの組み立て方法

Also Published As

Publication number Publication date
EP3644624A1 (en) 2020-04-29
US20210058700A1 (en) 2021-02-25
US10869123B2 (en) 2020-12-15
JP2020068465A (ja) 2020-04-30
US20200137485A1 (en) 2020-04-30
US11297419B2 (en) 2022-04-05

Similar Documents

Publication Publication Date Title
JP7334406B2 (ja) アレイマイクロフォンおよび収音方法
US10210882B1 (en) Microphone array with automated adaptive beam tracking
CN108370470B (zh) 会议系统以及会议系统中的语音获取方法
US9319782B1 (en) Distributed speaker synchronization
US10257611B2 (en) Stereo separation and directional suppression with omni-directional microphones
KR101724514B1 (ko) 사운드 신호 처리 방법 및 장치
US8219394B2 (en) Adaptive ambient sound suppression and speech tracking
WO2015035785A1 (zh) 语音信号处理方法与装置
JP6703525B2 (ja) 音源を強調するための方法及び機器
GB2495472B (en) Processing audio signals
JP7230427B2 (ja) 音信号処理装置、ミキサ、および音信号処理方法
KR20120101457A (ko) 오디오 줌
US9966086B1 (en) Signal rate synchronization for remote acoustic echo cancellation
CN106576204B (zh) 声场的辅助增大
NO333056B1 (no) Direktiv mikrofon
TW201234872A (en) Apparatus and method for spatially selective sound acquisition by acoustic triangulation
CN108141665A (zh) 信号处理装置、信号处理方法和程序
US10152985B2 (en) Method for recording in video chat, and terminal
CN107113499B (zh) 定向音频捕获
JP6879340B2 (ja) 収音装置、収音プログラム、及び収音方法
CN103002171A (zh) 处理音频信号
WO2023065317A1 (zh) 会议终端及回声消除方法
CN110753297B (zh) 一种音频信号的混合处理方法及处理装置
JP2010041667A (ja) 収音装置、及び放収音装置
CN117376757A (zh) 拾音方法、处理器、电子设备及计算机存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210823

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230718

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230731

R151 Written notification of patent or utility model registration

Ref document number: 7334406

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151