WO2010053129A1 - 放収音装置及び放収音方法 - Google Patents

放収音装置及び放収音方法 Download PDF

Info

Publication number
WO2010053129A1
WO2010053129A1 PCT/JP2009/068916 JP2009068916W WO2010053129A1 WO 2010053129 A1 WO2010053129 A1 WO 2010053129A1 JP 2009068916 W JP2009068916 W JP 2009068916W WO 2010053129 A1 WO2010053129 A1 WO 2010053129A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
collection
echo
signal
sound emission
Prior art date
Application number
PCT/JP2009/068916
Other languages
English (en)
French (fr)
Inventor
良 田中
直人 栗山
Original Assignee
ヤマハ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ株式会社 filed Critical ヤマハ株式会社
Priority to CN200980144277.9A priority Critical patent/CN102204276B/zh
Priority to US13/127,860 priority patent/US8855327B2/en
Priority to EP09824828.9A priority patent/EP2348753B1/en
Publication of WO2010053129A1 publication Critical patent/WO2010053129A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6008—Substation equipment, e.g. for use by subscribers including speech amplifiers in the transmitter circuit

Definitions

  • the present invention relates to a sound emission and collection device and a sound emission and collection method for collecting sounds of a plurality of directions.
  • the sound emission and collection device of Patent Document 1 includes a microphone array including a plurality of microphones, performs a delay process on an audio signal collected by each microphone, and sets different directions as directivity axial directions. A plurality of sound collection beam signals having sound collection directivity are generated. Then, the sound emission and collection device selects the sound collection beam signal having the highest signal level from among the plurality of sound collection beam signals, removes the echo from the selected sound collection beam signal, and transmits it to the communication partner. The voice of the main speaker is transmitted to the communication partner.
  • the sound emission and collection device selects the sound of the main speaker accurately by selecting the sound collection beam signal to be transmitted based on the signal level of each sound collection beam signal after removing the echo. can do.
  • the processing for removing the echoes of all collected beam signals has a heavy load, and it is impossible to practically remove the omnidirectional echoes.
  • the sound emission and collection device of the present invention generates a sound collection signal for each of a plurality of different directions, and estimates the direction of a sound source (for example, a main speaker).
  • the sound emission and collection device includes first echo cancellation means and a plurality of second echo cancellation means.
  • the first echo canceling means removes echoes of the collected sound signal from the estimated direction.
  • the second echo canceling unit has a simpler configuration than the first echo canceling unit, and removes the echo from the collected sound signal for each direction.
  • the sound emitting and collecting apparatus estimates the direction of the sound source based on the signal level of the collected sound signal after processing by the plurality of second echo canceling means.
  • the echo canceling means having a simple configuration is one that removes echoes from the collected sound signal after downsampling, or one that removes echoes using an adaptive filter with a small number of taps.
  • the first echo canceling means and the plurality of second echo canceling means of the sound emission and collection device of the present invention each include an adaptive filter and a filter coefficient estimation unit that estimates a filter coefficient of the adaptive filter.
  • the filter coefficient estimation means of the first echo cancellation means performs a process of updating the filter coefficient using the filter coefficient of the second echo cancellation means from which the echo of the collected sound signal from the estimated sound source direction is removed as an initial value.
  • the present invention also includes a step of emitting sound, a step of collecting sound in a plurality of directions, generating a sound collection signal for each direction, and a second method for removing echoes from the sound collection signal for each direction. Estimating the direction of the sound source based on the signal level of the collected sound signal for each azimuth that has been subjected to the echo removal processing in the second echo removal step, and estimating in the direction estimation step.
  • a sound emission and collection method comprising: a first echo removal step of removing an echo from a sound collection signal from a direction of a sound source.
  • a sound emission and collection device 1 according to an embodiment of the present invention will be described with reference to FIGS.
  • the sound emission and collection device 1 is connected to another sound emission and collection device via a network or the like.
  • the sound emission and collection device 1 receives an audio signal from another sound emission and collection device as a sound emission signal and emits the sound from the speaker SP.
  • the sound emitting and collecting apparatus 1 collects sound with the microphones MIC1 to MIC3 and generates sound collecting beam signals from a plurality of directions.
  • the sound emitting and collecting apparatus also collects sound collecting beam signals from the directions of main speakers. Is transmitted to other sound emission and collection devices.
  • FIG. 1 is a block diagram showing the function and configuration of the sound emission and collection device.
  • FIG. 2 is an explanatory diagram for explaining a sound collection direction for each sound collection beam signal.
  • the sound emission and collection device 1 includes a speaker SP, microphones MIC1 to MIC3, a communication control unit 11, a sound collection control unit 12, a downsampling unit (hereinafter referred to as a DS unit) 13, and a downsampling unit (hereinafter referred to as a DS unit). .) 14A to 14C, echo canceling units (second echo canceling units) 15A to 15C, direction estimating unit 16, control unit 17, collected sound signal selecting unit 18, and echo canceling unit (first echo canceling unit) 19 .
  • the communication control unit 11 is connected to another sound emitting and collecting device via a network, and performs control related to communication with the other sound emitting and collecting device. Specifically, the communication control unit 11 receives the sound emission signal FE from another sound emission and collection device, and outputs the sound emission signal FE to the DS unit 13 and the speaker SP described later via the echo cancellation unit 19. The speaker SP emits sound based on the sound emission signal FE. Further, the communication control unit 11 transmits a sound collection beam signal NE1 'input from an echo cancellation unit 19 described later to another sound emission and collection device.
  • the microphones MIC1 to MIC3 collect surrounding sounds, generate sound collection signals, and output them to the sound collection control unit 12.
  • the number of microphones is not limited to three.
  • the azimuth estimating unit 16 selects a sound collecting beam signal having the highest signal level from the sound collecting beam signals DNE1 'to DNE3' after echo cancellation.
  • the direction estimating unit 16 selects the sound collection beam signal DNE1 'from the sound collection direction D1 as the sound collection beam signal having the highest signal level. Then, the direction estimation unit 16 acquires the sound collection direction D1 of the selected sound collection beam signal DNE1 'and outputs it to the control unit 17.
  • the filter coefficient estimating unit 22 of the echo canceling units 15A to 15C performs an adaptive algorithm based on the collected sound beam signals DNE1 ′ to DNE3 ′ output from the adding unit 24 and the sound output signal DFE after downsampling, respectively. To update the filter coefficients.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

　処理負荷をかけずに、音源（例えば、主な発話者）の方位を正確に推定することができる放収音装置を提供する。 　放収音装置１は、他の放収音装置とネットワーク等を介して接続される。放収音装置１は、他の放収音装置からの音声信号を放音信号ＦＥとして受信してスピーカＳＰから放音する。また、放収音装置１は、マイクＭＩＣ１～ＭＩＣ３で収音して、異なる複数方位の収音ビーム信号ＮＥ１～ＮＥ３を生成する。放収音装置は、各収音ビーム信号ＮＥ１～ＮＥ３をダウンサンプリングして、ダウンサンプリングの収音ビーム信号ＤＮＥ１～ＤＮＥ３のエコーを除去する。放収音装置は、エコーを除去した収音ビーム信号ＤＮＥ１’～ＤＮＥ３’の中から最も信号レベルが高い収音ビーム信号ＤＮＥ１’を選択する。放収音装置は、収音ビーム信号ＤＮＥ１’の収音方位Ｄ１からの収音ビーム信号ＮＥ１のエコーを除去して、他の放収音装置へ送信する。

Description

放収音装置及び放収音方法
　この発明は、複数方位の音声を収音する放収音装置及び放収音方法に関する。
　従来、話者の音声を収音するとともに、入力された放音信号に基づいて音声を放音する放収音装置が各種提案されている（例えば、特許文献１参照）。
　例えば、特許文献１の放収音装置は、複数のマイクからなるマイクアレイを備え、各マイクが収音した音声信号に対して遅延処理等を行い、それぞれ異なる方向を指向性の軸方向とする収音指向性を備える複数の収音ビーム信号を生成する。そして、放収音装置は、複数の収音ビーム信号の中から最も信号レベルが高い収音ビーム信号を選択し、選択した収音ビーム信号からエコーを除去して、通信相手に送信することで、主な話者の音声を通信相手に送信している。
日本国特開２００２－２３８０９１号公報
　しかしながら、収音ビーム信号には、話者の音声と、自装置から放音した音声に基づく回帰音と、が含まれる。このため、放収音装置は、回帰音が話者の音声より大きい場合に、主な話者の音声を正確に選択することができない。
　このような場合、放収音装置は、エコーを除去した後の各収音ビーム信号の信号レベルに基づいて、送信する収音ビーム信号を選択すれば、主な話者の音声を正確に選択することができる。しかし、全収音ビーム信号（例えば６方向）のエコーを除去する処理は、負荷が大きく、現実的に全方位のエコーを除去することは不可能であった。
　そこで、処理負荷をかけずに、主な話者の音声を正確に選択することができる放収音装置及び放収音方法を提供することを目的とする。
　この発明の放収音装置は、複数の異なる方位毎に収音信号を生成して、音源（例えば、主な発話者）の方位を推定する。また、放収音装置は、第１エコーキャンセル手段と複数の第２エコーキャンセル手段とを備える。第１エコーキャンセル手段は、推定した方位からの収音信号のエコーを除去する。第２エコーキャンセル手段は、第１エコーキャンセル手段よりも簡易な構成からなり、方位毎の収音信号からエコーを除去する。放収音装置は、複数の第２エコーキャンセル手段での処理後の収音信号の信号レベルに基づいて、音源の方位を推定する。なお、簡易な構成からなるエコーキャンセル手段とは、ダウンサンプリング後の収音信号に対してエコーを除去するものや、タップ数が少ない適応フィルタを用いてエコーを除去するものである。
　これにより、放収音装置は、簡易にエコーを除去した後の収音信号を用いて音源の方位を推定するため、処理負荷をかけずに、音源の方位を正確に推定することができる。
　また、この発明の放収音装置の第１エコーキャンセル手段及び複数の第２エコーキャンセル手段は、それぞれ適応フィルタと、該適応フィルタのフィルタ係数を推定するフィルタ係数推定部を備える。第１エコーキャンセル手段のフィルタ係数推定手段は、推定した音源の方位からの収音信号のエコーを除去した第２エコーキャンセル手段のフィルタ係数を初期値として、フィルタ係数を更新する処理を行う。
　これにより、放収音装置は、音源方位の推定の際に用いたフィルタ係数を初期値として、音源方位からの収音信号のエコーを除去することができるため、フィルタ係数の推定時間を短縮することができる。よって、放収音装置は、初期状態からエコーの除去を行うことができる。
　更に、この発明の放収音装置の第１エコーキャンセル手段は、適応フィルタのフィルタ係数を方位毎に記憶している。第１エコーキャンセル手段のフィルタ係数推定手段は、フィルタ係数が記憶されていない場合のみ、上述のように第２エコーキャンセル手段のフィルタ係数を初期値とする初期処理を行う。
　これにより、放収音装置の第１エコーキャンセル手段は、記憶部にフィルタ係数を記憶していない場合のみ、音源方位の推定時に用いたフィルタ係数を初期値とし、それ以外は、以前に用いたフィルタ係数を初期値とするため、環境（話者）が変わっても即座にエコーを除去することができる。
　また、本発明は、音声を放音する工程と、複数方位の音声を収音し、方位毎に収音信号を生成する工程と、前記方位毎の収音信号からそれぞれエコーを除去する第２エコー除去工程と、前記第２エコー除去工程にてエコー除去処理が施された前記方位毎の収音信号の信号レベルに基づいて、音源の方位を推定する工程と、前記方位推定工程で推定した音源の方位からの収音信号からエコーを除去する第１エコー除去工程と、を備えた放収音方法を提供する。
　好適には、前記収音工程で生成された前記方位毎の収音信号にダウンサンプリング処理を行う工程を更に備え、前記第２エコー除去工程では、前記ダウンサンプリング処理された前記方位毎の収音信号からそれぞれエコーを除去する。
　この発明の放収音装置は、処理負荷をかけずに、音源（例えば、主な発話者）の方位を正確に推定することができる。
放収音装置の機能、構成を示すブロック図である。 収音ビーム信号毎の収音方位を説明するための説明図である。 エコーキャンセル部の機能、構成を示すブロック図である。 適応フィルタの収音方位毎のフィルタ係数の一例を示す図である。 他の実施形態に係る放収音装置の機能、構成を示すブロック図である。
　本発明の実施形態に係る放収音装置１について、図１～４を参照して説明する。放収音装置１は、他の放収音装置とネットワーク等を介して接続される。放収音装置１は、他の放収音装置からの音声信号を放音信号として受信してスピーカＳＰから放音する。また、放収音装置１は、マイクＭＩＣ１～ＭＩＣ３で収音して、複数方位からの収音ビーム信号を生成するそして、放収音装置は、主な発話者の方位からの収音ビーム信号を他の放収音装置へ送信する。
　まず、放収音装置１の機能、構成について、図１，２を参照して説明する。図１は、放収音装置の機能、構成を示すブロック図である。図２は、収音ビーム信号毎の収音方位を説明するための説明図である。放収音装置１は、スピーカＳＰ、マイクＭＩＣ１～ＭＩＣ３、通信制御部１１、収音制御部１２、ダウンサンプリング部（以下、ＤＳ部と称す。）１３、ダウンサンプリング部（以下、ＤＳ部と称す。）１４Ａ～１４Ｃ、エコーキャンセル部（第２エコーキャンセル部）１５Ａ～１５Ｃ、方位推定部１６、制御部１７、収音信号選択部１８、及びエコーキャンセル部（第１エコーキャンセル部）１９を備える。
　通信制御部１１は、他の放収音装置とネットワークを介して接続され、他の放収音装置との通信に関する制御を行う。通信制御部１１は、具体的には、他の放収音装置から放音信号ＦＥを受信して、エコーキャンセル部１９を介して、後述するＤＳ部１３及びスピーカＳＰへ出力する。スピーカＳＰは、放音信号ＦＥに基づく音声を放音する。また、通信制御部１１は、後述するエコーキャンセル部１９から入力された収音ビーム信号ＮＥ１’を他の放収音装置へ送信する。
　マイクＭＩＣ１～ＭＩＣ３は、周囲の音声を収音して、それぞれ収音信号を生成して、収音制御部１２へ出力する。なお、マイクの台数は、３台に限らない。
　収音制御部１２は、各マイクＭＩＣ１～ＭＩＣ３からの収音信号に対して、遅延処理等を行い、図２に示すように異なる方位を収音指向性の中心方向とする複数の収音ビーム信号ＮＥ１～ＮＥ３を生成する。なお、以下、収音ビーム信号ＮＥ１～ＮＥ３のそれぞれの収音方位をＤ１～Ｄ３とする。
　そして、収音制御部１２は、収音ビーム信号ＮＥ１～ＮＥ３をそれぞれＤＳ部１４Ａ～１４Ｃへ出力するとともに、収音ビーム信号ＮＥ１～ＮＥ３を収音信号選択部１８へ出力する。なお、収音制御部１２が生成する収音ビーム信号の数は３本に限らない。また、収音制御部１２は、必須の構成ではない。この場合、各マイクＭＩＣ１～ＭＩＣ３は、それぞれ異なる方位からの音声を収音して収音信号を生成し、ＤＳ部１４Ａ～１４Ｃ及び収音信号選択部１８へ出力する。
　ＤＳ部１４Ａ～１４Ｃは、ローパスフィルタを含み、それぞれ入力された収音ビーム信号ＮＥ１～ＮＥ３のダウンサンプリングを行い、ダウンサンプリング後の収音ビーム信号ＤＮＥ１～ＤＮＥ３をそれぞれエコーキャンセル部１５Ａ～１５Ｃに出力する。例えば、ＤＳ部１４Ａ～１４Ｃは、２０ｋＨｚのサンプリング周波数でサンプリングされた収音ビーム信号ＤＮＥ１～ＤＮＥ３を１０ｋＨｚのサンプリング周波数の信号にダウンサンプリングする。
　ＤＳ部１３は、ローパスフィルタを含み、入力された放音信号ＦＥのダウンサンプリングを行い、ダウンサンプリング後の放音信号ＤＦＥをエコーキャンセル部１５Ａ～１５Ｃに出力する。例えば、ＤＳ部１３は、２０ｋＨｚのサンプリング周波数でサンプリングされた放音信号ＦＥを１０ｋＨｚのサンプリング周波数の信号にダウンサンプリングする。
　エコーキャンセル部１５Ａ～１５Ｃは、ダウンサンプリング後の放音信号ＤＦＥに基づいて、スピーカＳＰから各マイクＭＩＣ１～ＭＩＣ３へ至る回り込成分の擬似信号である擬似回帰音信号を生成する。エコーキャンセル部１５Ａ～１５Ｃは、それぞれダウンサンプリング後の収音ビーム信号ＤＮＥ１～ＤＮＥ３から擬似回帰音信号を差し引くことで、エコーを除去する。そして、エコーキャンセル部１５Ａ～１５Ｃは、エコーを除去した後の収音ビーム信号ＤＮＥ１’～ＤＮＥ３’を方位推定部１６へ出力する。
　このエコーキャンセル部１５Ａ～１５Ｃは、ダウンサンプリング後の収音ビーム信号ＤＮＥ１～ＤＮＥ３のエコーを除去するためのものであるため、エコーキャンセル部１９よりも簡易な構成（エコーキャンセル部１９よりも処理能力が低い構成）からなり、処理負荷をかけずにエコーを除去することができる。また、エコーキャンセル部１５Ａ～１５Ｃは、エコーキャンセル部１９よりもタップ数を少なくしてもよい。なお、エコーキャンセル部１５Ａ～１５Ｃの詳細な機能、構成については後述する。
　方位推定部１６は、エコーキャンセル後の収音ビーム信号ＤＮＥ１’～ＤＮＥ３’の中から最も信号レベルが高い収音ビーム信号を選択する。以下、方位推定部１６は、収音方位Ｄ１からの収音ビーム信号ＤＮＥ１’を最も信号レベルが高い収音ビーム信号として選択した場合について説明する。そして、方位推定部１６は、選択した収音ビーム信号ＤＮＥ１’の収音方位Ｄ１を取得して、制御部１７へ出力する。
　制御部１７は、方位推定部１６から入力された収音方位Ｄ１に基づいて、収音信号選択部１８、及びエコーキャンセル部１９を制御する。
　収音信号選択部１８は、収音制御部１２から入力された収音ビーム信号ＮＥ１～ＮＥ３の中から、制御部１７から入力された収音方位Ｄ１に基づいて収音ビーム信号ＮＥ１を選択して、エコーキャンセル部１９へ収音ビーム信号ＮＥ１を出力する。
　エコーキャンセル部１９は、放音信号ＦＥに基づいて、スピーカＳＰから各マイクＭＩＣ１～ＭＩＣ３へ至る回り込成分の擬似信号である擬似回帰音信号を生成して、収音信号選択部１８から入力された収音ビーム信号ＮＥ１から擬似回帰音信号を差し引くことでエコーを除去する。そして、エコーキャンセル部１９は、エコーを除去した後の収音ビーム信号ＮＥ１’を通信制御部１１へ出力する。なお、エコーキャンセル部１９の詳細な機能、構成については後述する。
　以上より、エコーキャンセル部１５Ａ～１５Ｃは、ダウンサンプリングした後の収音ビーム信号ＤＮＥ１～ＤＮＥ３に対してエコーを除去するため、処理負荷を低減することができる。また、放収音装置１は、エコーを除去した後の収音ビーム信号ＤＮＥ１’～ＤＮＥ３’を用いて、主な発話者の方位を取得して、主な発話者の方位からの収音ビーム信号を選択するため、主な発話者の音声を正確に選択することができる。よって、放収音装置１は、処理負荷をかけずに、主な発話者の音声を正確に選択することができる。
　次に、エコーキャンセル部１５Ａ～１５Ｃ、エコーキャンセル部１９の機能、構成の詳細について、図３，４を参照して説明する。図３は、エコーキャンセル部の機能、構成を示すブロック図である。図４は、適応フィルタの収音方位毎のフィルタ係数の一例を示す図である。エコーキャンセル部１５Ａ～１５Ｃとエコーキャンセル部１９とは、同じ機能、構成を有する。以下は、エコーキャンセル部１９を例に挙げて説明する。
　図３に示すように、エコーキャンセル部１９は、記憶部２１、フィルタ係数推定部２２、適応フィルタ２３、及び加算部２４から構成される。
　記憶部２１は、図４に示すような係数一覧表２１１を一時記憶している。係数一覧表２１１は、収音方位毎のフィルタ係数が記載されており、フィルタ係数推定部２２により参照される。なお、係数一覧表２１１に記憶されているフィルタ係数は、放収音装置１の電源のオンオフに伴ってリセットされる。
　フィルタ係数推定部２２は、音響伝達系（スピーカＳＰから各マイクＭＩＣ１～ＭＩＣ３に至る音響伝搬経路）の伝達関数を推定し、推定した伝達関数でＦＩＲフィルタのフィルタ係数を設定する。この際、フィルタ係数推定部２２は、制御部１７から入力された収音方位Ｄ１に対応するフィルタ係数を係数一覧表２１１から取得し、該フィルタ係数を初期値として、フィルタ係数を算出する。また、フィルタ係数推定部２２は、加算部２４から出力された収音ビーム信号ＮＥ１’と放音信号ＦＥとに基づいて、適応アルゴリズムを用いてフィルタ係数の更新を行う。そして、フィルタ係数推定部２２は、算出したフィルタ係数を適応フィルタ２３へ出力する。
　適応フィルタ２３は、ＦＩＲフィルタ等のデジタルフィルタを含んでおり、フィルタ係数推定部２２から入力されたフィルタ係数で、擬似回帰音信号を生成する。適応フィルタ２３は、生成した擬似回帰音信号を加算部２４へ出力する。
　加算部２４は、適応フィルタ２３から入力された擬似回帰音信号を収音ビーム信号ＮＥ１から差し引いた収音ビーム信号ＮＥ１’を出力する。
　なお、記憶部２１は必須の構成ではない。しかし、エコーキャンセル部１９は、収音方位が切り替わると、フィルタ係数の初期値を変更する必要があるため、記憶部２１を備えた方がよい。
　また、エコーキャンセル部１５Ａ～１５Ｃのフィルタ係数推定部２２は、それぞれ加算部２４から出力された収音ビーム信号ＤＮＥ１’～ＤＮＥ３’とダウンサンプリング後の放音信号ＤＦＥとに基づいて、適応アルゴリズムを用いてフィルタ係数の更新を行う。
　以上より、エコーキャンセル部１９は、収音方位毎のフィルタ係数を記憶部２１に記憶しているため、収音方位を切り替えた際には環境（話者）が変わるが、過去の適応済みのフィルタ係数を記憶部２１から取得して適応フィルタを推定する。このため、エコーキャンセル部１９は、適応フィルタの推定を短縮することができ、環境（話者）が変わっても即座にエコーを除去することができる。
　なお、エコーキャンセル部１９は、エコーキャンセル部１５Ａ～１５Ｃから取得したフィルタ係数を用いて、エコーキャンセルを行ってもよい。この場合、エコーキャンセル部１５Ａ～１５Ｃのフィルタ係数をアップサンプリングして使用する。図５は、他の実施形態に係る放収音装置の機能、構成を示すブロック図である。図５に示すように、制御部１７は、放収音装置１の電源オン時や収音方位を切り替えた際に、エコーキャンセル部１９の記憶部２１の係数一覧表２１１を参照する。制御部１７は、方位推定部１６から入力された収音方位のフィルタ係数が係数一覧表２１１に記載されていない場合にのみ、当該収音方位からの収音ビーム信号のエコーを除去したエコーキャンセル部１５Ａ～１５Ｃからフィルタ係数を取得して、エコーキャンセル部１９のフィルタ係数推定部２２へ出力する。そして、フィルタ係数推定部２２は、制御部１７から入力されたフィルタ係数を初期値としてフィルタ係数を算出する。これにより、エコーキャンセル部１９は、ダウンサンプリングした収音ビーム信号ＤＮＥ１～ＤＮＥ３のエコーを除去した際のフィルタ係数を初期値として、フィルタ係数の算出を行うため、フィルタ係数の推定時間を短縮することができる。このため、エコーキャンセル部１９は、初期状態からエコーを除去することができる。
　本発明を詳細にまた特定の実施態様を参照して説明してきたが、本発明の精神、範囲または意図の範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
　本発明は、２００８年１１月５日出願の日本特許出願（特願２００８－２８４０３０）に基づくものであり、その内容はここに参照として取り込まれる。
　この発明は、処理負荷をかけずに、音源（例えば、主な発話者）の方位を正確に推定できる放収音装置を提供することができる。
１…放収音装置，１１…通信制御部， １２…収音制御部，１３，１４…ＤＳ部，１５，１９…エコーキャンセル部，１６…方位推定部，１７…制御部，１８…収音信号選択部，２１…記憶部，２１１…係数一覧表，２２…フィルタ係数推定部，２３…適応フィルタ，２４…加算部，ＭＩＣ１～ＭＩＣ３…マイク，ＳＰ…スピーカ

Claims (8)

  1. 　複数方位の音声を収音して、方位毎に収音信号を生成する収音手段と、
    　音声を放音する放音手段と、
    　前記方位毎の収音信号の信号レベルに基づいて、音源の方位を推定する方位推定手段と、
    　前記方位推定手段が推定した音源の方位からの収音信号からエコーを除去する第１エコーキャンセル手段と、
    　前記方位毎の収音信号からそれぞれエコーを除去する複数の第２エコーキャンセル手段と、
    　を備え、
    　前記複数の第２エコーキャンセル手段は、第１エコーキャンセル手段よりも簡易な構成からなり、
    　前記方位推定手段は、前記複数の第２エコーキャンセル手段によるエコー除去処理後の収音信号の信号レベルに基づいて、音源の方位を推定する放収音装置。
  2. 　前記第１エコーキャンセル手段及び前記複数の第２エコーキャンセル手段は、それぞれ適応フィルタと該適応フィルタのフィルタ係数を推定するフィルタ係数推定手段とを備え、
    　前記第１エコーキャンセル手段のフィルタ係数推定手段は、前記方位推定手段が推定した方位の収音信号からエコーを除去した第２エコーキャンセル手段の適応フィルタのフィルタ係数を初期値とする初期処理を行う請求項１に記載の放収音装置。
  3. 　前記第１エコーキャンセル手段は、前記適応フィルタのフィルタ係数を方位毎に記憶する記憶手段を更に備え、
    　前記第１エコーキャンセル手段のフィルタ係数推定手段は、前記記憶手段にフィルタ係数が記憶されていない場合のみ、前記初期処理を行う請求項２に記載の放収音装置。
  4. 　前記複数の第２エコーキャンセル手段の前段に設けられたダウンサンプリング部を更に備え、
    　前記ダウンサンプリング部は、前記収音部から出力された前記方位毎の収音信号にダウンサンプリング処理を行い、前記ダウンサンプリング処理された前記方位毎の収音信号を前記複数の第２エコーキャンセル手段に出力する請求項１に記載の放収音装置。
  5. 　前記第１エコーキャンセル手段及び前記複数の第２エコーキャンセル手段は、それぞれ適応フィルタを有し、
    　前記複数の第２エコーキャンセル手段の適応フィルタは、前記第１エコーキャンセル手段の適応フィルタよりもタップ数が少ない請求項１から４のいずれか一項に記載の放収音装置。
  6. 　前記複数の第２エコーキャンセル手段は、第１エコーキャンセル手段よりも処理能力が低い請求項１から５のいずれか一項に記載の放収音装置。
  7. 　音声を放音する工程と、
    　複数方位の音声を収音し、方位毎に収音信号を生成する収音工程と、
    　前記方位毎の収音信号からそれぞれエコーを除去する第２エコー除去工程と、
    　前記第２エコー除去工程にてエコー除去処理が施された前記方位毎の収音信号の信号レベルに基づいて、音源の方位を推定する工程と、
    　前記方位推定工程で推定した音源の方位からの収音信号からエコーを除去する第１エコー除去工程と、
    　を備えた放収音方法。
  8. 　前記収音工程で生成された前記方位毎の収音信号にダウンサンプリング処理を行う工程を更に備え、
    　前記第２エコー除去工程では、前記ダウンサンプリング処理された前記方位毎の収音信号からそれぞれエコーを除去する請求項７に記載の放収音方法。
PCT/JP2009/068916 2008-11-05 2009-11-05 放収音装置及び放収音方法 WO2010053129A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN200980144277.9A CN102204276B (zh) 2008-11-05 2009-11-05 声音发射和采集装置以及声音发射和采集方法
US13/127,860 US8855327B2 (en) 2008-11-05 2009-11-05 Sound emission and collection device and sound emission and collection method
EP09824828.9A EP2348753B1 (en) 2008-11-05 2009-11-05 Sound emission and collection device, and sound emission and collection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008284030A JP5386936B2 (ja) 2008-11-05 2008-11-05 放収音装置
JP2008-284030 2008-11-05

Publications (1)

Publication Number Publication Date
WO2010053129A1 true WO2010053129A1 (ja) 2010-05-14

Family

ID=42152936

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/068916 WO2010053129A1 (ja) 2008-11-05 2009-11-05 放収音装置及び放収音方法

Country Status (5)

Country Link
US (1) US8855327B2 (ja)
EP (1) EP2348753B1 (ja)
JP (1) JP5386936B2 (ja)
CN (1) CN102204276B (ja)
WO (1) WO2010053129A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024070079A1 (ja) * 2022-09-28 2024-04-04 パナソニックＩｐマネジメント株式会社 エコー除去装置、及び、エコー除去方法

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9857776B2 (en) 2011-04-05 2018-01-02 Bridgestone Corporation Vehicle vibration reduction system
US9685172B2 (en) 2011-07-08 2017-06-20 Goertek Inc Method and device for suppressing residual echoes based on inverse transmitter receiver distance and delay for speech signals directly incident on a transmitter array
US9768829B2 (en) * 2012-05-11 2017-09-19 Intel Deutschland Gmbh Methods for processing audio signals and circuit arrangements therefor
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
CN105702261B (zh) * 2016-02-04 2019-08-27 厦门大学 带相位自校正功能的声聚焦麦克风阵列长距离拾音装置
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
US10366708B2 (en) 2017-03-20 2019-07-30 Bose Corporation Systems and methods of detecting speech activity of headphone user
US10249323B2 (en) 2017-05-31 2019-04-02 Bose Corporation Voice activity detection for communication headset
US20180358032A1 (en) * 2017-06-12 2018-12-13 Ryo Tanaka System for collecting and processing audio signals
US10200540B1 (en) 2017-08-03 2019-02-05 Bose Corporation Efficient reutilization of acoustic echo canceler channels
US10354673B2 (en) * 2018-01-24 2019-07-16 Hisense Mobile Communications Technology Co., Ltd. Noise reduction method and electronic device
CN108470569B (zh) * 2018-02-27 2020-10-20 广东顶力视听科技有限公司 一种音频跟随装置及其实现方法
US10438605B1 (en) * 2018-03-19 2019-10-08 Bose Corporation Echo control in binaural adaptive noise cancellation systems in headsets
WO2019231632A1 (en) 2018-06-01 2019-12-05 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
WO2020061353A1 (en) 2018-09-20 2020-03-26 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
JP7334406B2 (ja) * 2018-10-24 2023-08-29 ヤマハ株式会社 アレイマイクロフォンおよび収音方法
CN110491403B (zh) 2018-11-30 2022-03-04 腾讯科技（深圳）有限公司 音频信号的处理方法、装置、介质和音频交互设备
US11303981B2 (en) 2019-03-21 2022-04-12 Shure Acquisition Holdings, Inc. Housings and associated design features for ceiling array microphones
US11438691B2 (en) 2019-03-21 2022-09-06 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition functionality
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
US11445294B2 (en) 2019-05-23 2022-09-13 Shure Acquisition Holdings, Inc. Steerable speaker array, system, and method for the same
TW202105369A (zh) 2019-05-31 2021-02-01 美商舒爾獲得控股公司 整合語音及雜訊活動偵測之低延時自動混波器
US11297426B2 (en) 2019-08-23 2022-04-05 Shure Acquisition Holdings, Inc. One-dimensional array microphone with improved directivity
JP7486145B2 (ja) * 2019-11-21 2024-05-17 パナソニックＩｐマネジメント株式会社 音響クロストーク抑圧装置および音響クロストーク抑圧方法
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
USD944776S1 (en) 2020-05-05 2022-03-01 Shure Acquisition Holdings, Inc. Audio device
WO2021243368A2 (en) 2020-05-29 2021-12-02 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
US11785380B2 (en) 2021-01-28 2023-10-10 Shure Acquisition Holdings, Inc. Hybrid audio beamforming system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002238091A (ja) 2001-02-07 2002-08-23 Kenwood Corp スピーカ装置および音響再生装置
JP2007166482A (ja) * 2005-12-16 2007-06-28 Yamaha Corp 回帰音除去装置
JP2007181099A (ja) * 2005-12-28 2007-07-12 Yamaha Corp 放収音装置
JP2007235502A (ja) * 2006-03-01 2007-09-13 Sony Corp オーディオ通信システム
JP2008092331A (ja) * 2006-10-03 2008-04-17 Yamaha Corp 音声会議装置
JP2008177745A (ja) * 2007-01-17 2008-07-31 Yamaha Corp 放収音システム
JP2008284030A (ja) 2007-05-15 2008-11-27 Olympus Medical Systems Corp 照明光検出用光学系並びにそれを備えた光学装置及び内視鏡装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7359504B1 (en) * 2002-12-03 2008-04-15 Plantronics, Inc. Method and apparatus for reducing echo and noise
JP4225129B2 (ja) 2003-05-13 2009-02-18 ソニー株式会社 マイクロフォン・スピーカ一体構成型・双方向通話装置
JP4896449B2 (ja) 2005-06-29 2012-03-14 株式会社東芝 音響信号処理方法、装置及びプログラム
JP4760160B2 (ja) 2005-06-29 2011-08-31 ヤマハ株式会社 集音装置
US20080273716A1 (en) 2005-09-27 2008-11-06 Kosuke Saito Feedback Sound Eliminating Apparatus
CN101026659B (zh) * 2006-02-23 2010-04-07 中兴通讯股份有限公司 一种回声延时定位的实现方法
US7773743B2 (en) 2006-04-28 2010-08-10 Microsoft Corporation Integration of a microphone array with acoustic echo cancellation and residual echo suppression
RS49875B (sr) * 2006-10-04 2008-08-07 Micronasnit, Sistem i postupak za slobodnu govornu komunikaciju pomoću mikrofonskog niza
CN100524466C (zh) 2006-11-24 2009-08-05 北京中星微电子有限公司 一种麦克风回声消除装置及回声消除方法
CN101203063B (zh) 2007-12-19 2012-11-28 北京中星微电子有限公司 麦克风阵列的噪声消除方法及装置
US8385557B2 (en) * 2008-06-19 2013-02-26 Microsoft Corporation Multichannel acoustic echo reduction

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002238091A (ja) 2001-02-07 2002-08-23 Kenwood Corp スピーカ装置および音響再生装置
JP2007166482A (ja) * 2005-12-16 2007-06-28 Yamaha Corp 回帰音除去装置
JP2007181099A (ja) * 2005-12-28 2007-07-12 Yamaha Corp 放収音装置
JP2007235502A (ja) * 2006-03-01 2007-09-13 Sony Corp オーディオ通信システム
JP2008092331A (ja) * 2006-10-03 2008-04-17 Yamaha Corp 音声会議装置
JP2008177745A (ja) * 2007-01-17 2008-07-31 Yamaha Corp 放収音システム
JP2008284030A (ja) 2007-05-15 2008-11-27 Olympus Medical Systems Corp 照明光検出用光学系並びにそれを備えた光学装置及び内視鏡装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2348753A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024070079A1 (ja) * 2022-09-28 2024-04-04 パナソニックＩｐマネジメント株式会社 エコー除去装置、及び、エコー除去方法

Also Published As

Publication number Publication date
CN102204276A (zh) 2011-09-28
EP2348753A1 (en) 2011-07-27
US20110211706A1 (en) 2011-09-01
JP2010114554A (ja) 2010-05-20
CN102204276B (zh) 2015-04-15
EP2348753A4 (en) 2013-04-03
EP2348753B1 (en) 2015-08-05
JP5386936B2 (ja) 2014-01-15
US8855327B2 (en) 2014-10-07

Similar Documents

Publication Publication Date Title
JP5386936B2 (ja) 放収音装置
JP6330936B2 (ja) ホスト装置およびマイクユニット
JP4946090B2 (ja) 収音放音一体型装置
JP6311136B2 (ja) 双方向会話補助装置及び双方向会話補助方法
TWI661684B (zh) 用於適應性波束成形的方法及設備
JP4701962B2 (ja) 回帰音除去装置
CN111128210B (zh) 具有声学回声消除的音频信号处理的方法和系统
WO2013122183A1 (ja) 残響除去パラメータ推定装置及び方法、残響・エコー除去パラメータ推定装置、残響除去装置、残響・エコー除去装置、並びに、残響除去装置オンライン会議システム
JP5738488B2 (ja) ビームフォーミング装置
JP2004229289A (ja) フィードバック構造を利用した適応ビーム形成方法及びその装置
JP2008178087A (ja) 低複雑性のエコー補償
JP4802708B2 (ja) 放収音装置
JP6763721B2 (ja) 音源分離装置
KR101587844B1 (ko) 마이크로폰의 신호 보상 장치 및 그 방법
EP3833045B1 (en) Conversation assistance system, method therefor, and program
JP3864914B2 (ja) エコー抑圧装置
Rombouts et al. Generalized sidelobe canceller based combined acoustic feedback-and noise cancellation
JP5725088B2 (ja) 収音装置及び放収音システム
JP4709714B2 (ja) エコー消去装置、その方法、そのプログラム、およびその記録媒体
JP2011160429A (ja) エコー消去装置
JP2010221945A (ja) 信号処理方法、装置及びプログラム
JP4247158B2 (ja) 多チャネル音響エコー消去方法、多チャネル音響エコー消去装置、多チャネル音響エコー消去プログラム、記録媒体
JP5698110B2 (ja) マルチチャネルエコー消去方法、マルチチャネルエコー消去装置、およびプログラム
JP2005136448A (ja) 多チャネル音響エコー消去方法及び装置
JP2022536801A (ja) モジュール式エコーキャンセルユニット

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980144277.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09824828

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2009824828

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13127860

Country of ref document: US