JP6954370B2 - 音声コミュニケーション装置、音声コミュニケーション方法、プログラム - Google Patents

音声コミュニケーション装置、音声コミュニケーション方法、プログラム Download PDF

Info

Publication number
JP6954370B2
JP6954370B2 JP2019554218A JP2019554218A JP6954370B2 JP 6954370 B2 JP6954370 B2 JP 6954370B2 JP 2019554218 A JP2019554218 A JP 2019554218A JP 2019554218 A JP2019554218 A JP 2019554218A JP 6954370 B2 JP6954370 B2 JP 6954370B2
Authority
JP
Japan
Prior art keywords
signal
sound
speaker
pick
voice communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019554218A
Other languages
English (en)
Other versions
JPWO2019098178A1 (ja
Inventor
小林　和則
和則 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2019098178A1 publication Critical patent/JPWO2019098178A1/ja
Application granted granted Critical
Publication of JP6954370B2 publication Critical patent/JP6954370B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785—Methods, e.g. algorithms; Devices
    • G10K11/17853—Methods, e.g. algorithms; Devices of the filter
    • G10K11/17854—Methods, e.g. algorithms; Devices of the filter the filter being an adaptive filter
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B3/00—Line transmission systems
    • H04B3/02—Details
    • H04B3/20—Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other
    • H04B3/23—Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/108—Communication systems, e.g. where useful sound is kept and noise is cancelled
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/50—Miscellaneous
    • G10K2210/505—Echo cancellation, e.g. multipath-, ghost- or reverberation-cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Input Circuits Of Receivers And Coupling Of Receivers And Audio Equipment (AREA)

Description

本発明は、ハンズフリー通話においてスピーカからマイクロホンへ回り込んだ音であるエコーを消去するエコー消去技術に関する。
ＴＶ会議や音声会議などのハンズフリー通話においてスピーカからマイクロホンへ回り込んだ音であるエコー（音響エコー）を消去する装置はエコー消去装置と呼ばれる。図１６は、特許文献１で開示されている従来技術のエコー消去装置８０５を含む音声コミュニケーション装置８００の構成を示す。図１６に示すようにエコー消去装置８０５は、減算部８２０と、加算部８３０と、第１適応フィルタ８４０と、第２適応フィルタ８５０を含む。また、エコー消去装置８００に、スピーカ８９０とメインマイク８９２とサブマイク８９４を加えた構成が音声コミュニケーション装置８００である。エコー消去装置８０５は、近端話者１０の音声をなるべく大きく拾いスピーカ８９０からの音をなるべく拾わないように配置されたメインマイク８９２と、スピーカ８９０からの音をなるべく大きく拾い近端話者１０の音声をなるべく拾わないように配置されたサブマイク８９４に接続する。メインマイク８９２、サブマイク８９４は、話者方向を向いた指向性マイク、スピーカ方向を向いた指向性マイクによりそれぞれ実現される。エコー消去装置８０５は、サブマイク８９４による収音信号を処理する第１適応フィルタ８４０とスピーカから出力される前の受話信号（つまり、ネットワーク９００を介して伝達された、遠端話者（図示しない）の音声信号）を処理する第２適応フィルタ８５０の２つの適応フィルタを用いて、エコーを消去する。これにより、スピーカ音の歪成分も含めエコーを消去することが可能となり、音声コミュニケーション装置８００の筐体が小型であっても、高性能なハンズフリー通話を実現することが可能となる。
特開２０１１−１６０４２９号公報
しかし、音声コミュニケーション装置８００の構成に用いる指向性マイクは無指向性マイクと比べコストが高い。また、指向性マイクを音声コミュニケーション装置８００の筐体に組み込む際に多数の音孔が必要であり、デザイン上の制約が大きい。
そこで本発明では、無指向性マイクを用いても高いエコー消去を実現することができる音声コミュニケーション技術を提供することを目的とする。
本発明の一態様は、遠端話者の音声信号である受話信号を放声するスピーカと、近端話者が発した音声である話者音声と前記受話信号を放声した再生音を含む音響信号を第１収音信号として収音する第１マイクと、前記話者音声と前記再生音を含む音響信号を第２収音信号として収音する第２マイクと、前記第１収音信号または前記第２収音信号のいずれか１つの信号から、前記スピーカから前記第１マイクまでの距離d1と前記スピーカから前記第２マイクまでの距離d2（ただし、d2≦d1）との違いに基づく振幅の違いを補正した信号である補正済収音信号を生成する補正部と、前記補正済収音信号から前記第２収音信号を減じた信号または前記第１収音信号から前記補正済収音信号を減じた信号である第１減算済第１収音信号を生成する第１減算部と、前記第２収音信号と前記遠端話者に送信する送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済第２収音信号を生成する適応フィルタと、前記第１減算済第１収音信号から前記適応フィルタリング済第２収音信号を減じた信号を前記送話信号として生成する第２減算部とを含む。
本発明によれば、無指向性マイクを用いても高いエコー消去を実現する音声コミュニケーションが可能となる。
音声コミュニケーション装置１００の構成の一例を示すブロック図である。 音声コミュニケーション装置１００の動作の一例を示すフローチャートである。 スピーカとマイクの位置関係の例を示す図である。 スピーカとマイクの位置関係の例を示す図である。 スピーカとマイクの位置関係の例を示す図である。 スピーカとマイクの位置関係の例を示す図である。 音声コミュニケーション装置２００の構成の一例を示すブロック図である。 音声コミュニケーション装置２００の動作の一例を示すフローチャートである。 音声コミュニケーション装置３００の構成の一例を示すブロック図である。 音声コミュニケーション装置３００の動作の一例を示すフローチャートである。 音声コミュニケーション装置４００の構成の一例を示すブロック図である。 音声コミュニケーション装置４００の動作の一例を示すフローチャートである。 音声コミュニケーション装置５００の構成の一例を示すブロック図である。 音声コミュニケーション装置５００の動作の一例を示すフローチャートである。 音声コミュニケーション装置６００の構成の一例を示すブロック図である。 音声コミュニケーション装置６００の動作の一例を示すフローチャートである。 音声コミュニケーション装置６０１の構成の一例を示すブロック図である。 音声コミュニケーション装置６０１の動作の一例を示すフローチャートである。 音声コミュニケーション装置８００の構成の一例を示すブロック図である。
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
＜第一実施形態＞
以下、図１〜図２を参照して音声コミュニケーション装置１００を説明する。図１は、音声コミュニケーション装置１００の構成を示すブロック図である。図２は、音声コミュニケーション装置１００の動作を示すフローチャートである。図１に示すように音声コミュニケーション装置１００は、スピーカ１０２と、第１マイク１０４と、第２マイク１０６と、乗算部１１０と、第１減算部１２０と、第２減算部１３０と、適応フィルタ１４０を含む。
スピーカ１０２は、ネットワーク９００を介して伝達された、遠端話者（図示しない）の音声信号（以下、受話信号という）を放声する。また、近端話者１０は、適宜発話する。近端話者１０が発した音声を話者音声という。
第１マイク１０４は、第２マイク１０６よりもスピーカ１０２から遠い位置に配置される。つまり、第２マイク１０６は、第１マイク１０４よりもスピーカ１０２に近い位置に配置される。第１マイク１０４、第２マイク１０６は、無指向性マイクでよい。スピーカ１０２、第１マイク１０４、第２マイク１０６は音声コミュニケーション装置１００の筐体に収容されている。例えば、スピーカ１０２と第１マイク１０４の距離は30mm程度、スピーカ１０２と第２マイク１０６の距離は10mm程度であり、音声コミュニケーション装置１００の筐体の大きさは80mm×40mm程度と比較的小型のものでよい。
音声コミュニケーション装置１００は遠端話者に送信する送話信号を出力する。送話信号はネットワーク９００を介して遠端話者に伝達される。
以下、図２を参照し、音声コミュニケーション装置１００の動作について説明する。乗算部１１０は、第２マイク１０６で収音した収音信号（以下、第２収音信号という）に所定の固定係数を乗じた信号（以下、ゲイン済第２収音信号という）を生成する（Ｓ１１０）。第２収音信号は、話者音声や受話信号を放声した再生音などを収音した信号である。固定係数の決定方法については後述する。
第１減算部１２０は、第１マイク１０４で収音した収音信号（以下、第１収音信号という）からゲイン済第２収音信号を減じた信号（以下、第１減算済第１収音信号という）を生成する（Ｓ１２０）。第１収音信号も、第２収音信号同様、話者音声や再生音などを収音した信号である。Ｓ１２０により、第１収音信号に含まれるエコー成分が消去され、エコー成分が小さくなった信号（つまり、第１減算済第１収音信号）が得られる。
適応フィルタ１４０は、第２収音信号と送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済第２収音信号を生成する（Ｓ１４０）。換言すると、適応フィルタ１４０は、第２収音信号を入力として、送話信号からエコーを消去した適応フィルタリング済第２収音信号を生成する。エコー成分には、マイク特性のばらつき、音声コミュニケーション装置１００の筐体特性や音声コミュニケーション装置１００を利用する部屋の反響特性などの影響により残留した再生音成分が含まれる。つまり、適応フィルタ１４０は、事前に考慮できていない部屋の反響特性などの影響によるエコーを消去するために用いられるものである。経時的に変化するエコーに対応するため、適応フィルタ１４０に設定されるフィルタ係数は逐次更新される。フィルタ係数の更新方法（適応アルゴリズム）については、後述する。
スピーカ１０２で発生する歪成分も含め消去するために、スピーカ１０２により近い位置にある第２マイク１０６でこの歪みを含む再生音を収音した第２収音信号を用いて、Ｓ１４０の処理は実行される。
第２減算部１３０は、第１減算済第１収音信号から適応フィルタリング済第２収音信号を減じた信号を送話信号として生成する（Ｓ１３０）。
[固定係数]
ここでは、固定係数について説明する。自由空間に均等に放射される音声信号は、距離に反比例して振幅が小さくなる。スピーカ１０２から第２マイク１０６までの距離をd2、スピーカ１０２から第１マイク１０４までの距離をd1とする（ただし、d2≦d1）と、第１マイク１０４で観測される音の振幅P1と第２マイク１０６で観測される音の振幅P2の間には以下の関係が成立する。
Figure 0006954370
この関係を利用して、スピーカ１０２から直接第１マイク１０４に到達する音を推定して減算する。具体的には、マイク配置から算出される値、すなわち、スピーカ１０２と第２マイク１０６の距離d2とスピーカ１０２と第１マイク１０４の距離d1の比d2/d1を固定係数とし、第２収音信号に固定係数d2/d1を乗じた信号（ゲイン済第２収音信号）を第１収音信号から減算する。
ここで、第２マイク１０６が収音する第２収音信号は、スピーカ１０２による再生音を主たる成分として含んでいることを期待している。
なお、単純に２つの距離の比d2/d1を用いる代わりに、第１減算部１２０が出力するエコーが最小となる値を実験的に求め、その値を固定係数としてもよい。
[スピーカと２つのマイクの位置関係]
上記説明では、第２マイク１０６が第１マイク１０４よりスピーカ１０２に近い位置にあることのみを要求した。図３Ａ、図３Ｂ、図３Ｃ、図３Ｄにスピーカとマイクの位置関係の例を示す。図３Ａはスピーカに対してマイクが片側にしかないような位置関係であるが、図３Ｂのようにスピーカを挟み込むように２つのマイクを配置してもよい。また、図３Ｃのようにスピーカが２つのマイクからほぼ等しい距離にあるように配置してもよい。さらに、図３Ｄのように（当該図上）左右方向に偏りがあるように配置してもよい。
[適応アルゴリズム]
適応フィルタではフィルタ係数を逐次更新する適応アルゴリズムが用いられる。この適応アルゴリズムの代表的なものとして、NLMS（Normalized Least Mean Squares）アルゴリズムやLMS（Least Mean Squares）アルゴリズムなどがある。フィルタ係数は、遠端話者からの受話信号x(t)と遠端話者への送話信号e(t)等を用いて更新される。以下、NLMSアルゴリズムとLMSアルゴリズムについて、簡単に説明する（特許文献１参照）。
（NLMSアルゴリズム）
NLMSアルゴリズムは、観測された最新の1サンプルの送話信号e(t)のみを用いてフィルタ係数を更新するアルゴリズムであり、演算量が少ない特徴を持つ。フィルタ係数の更新式は、以下の２つ式で表される。
Figure 0006954370
ただし、H1(t)、Hm(t)(m=2, …, M、Mは2以上の整数であり、マイクロホンの数を表す)は、時刻tにおける受話信号x(t)に対するフィルタ係数のベクトルであり、Hm(t)=(hm(t, 0), …, hm(t, L-1))T(m=1, …, M)で表され、Lはタップ数である。a1とam(m=2, …, M)は事前に設定されたNLMSアルゴリズムのステップサイズであり、0<a1<2, 0<am<2を満たす。また、X(t)は時刻tにおける受話信号x(t)のLサンプル分のベクトルであり、X(t)=(x(t-0), …, x(t-L+1))Tで表す。Y(t)は時刻tにおける受音信号y(t)のLサンプル分のベクトルであり、Ym(t)=(ym(t-0), …, ym(t-L+1))Tで表す（受音信号ym(t)は、マイクロホンmで収音した音声信号である）。
（LMSアルゴリズム）
LMSアルゴリズムも、NLMSアルゴリズムと同様、観測された最新の1サンプルの送話信号ｅ(t)のみを用いてフィルタ係数を更新するアルゴリズムであり、演算量が少ない特徴を持つ。LMSアルゴリズムの更新式は、以下の２つの式で表すことができる。
Figure 0006954370
ただし、b1とbm(m=2, …, M)は事前に設定されたLMSアルゴリズムのステップサイズである。
スピーカから遠端話者の音声信号（受話信号）が出力されるのと同時に近端話者の音声（話者音声）が発せられているダブルトーク状態において、フィルタ係数更新のための適応フィルタの学習を行うと近端話者の音声（話者音声）も消去するようフィルタ係数を更新してしまう可能性がある。これを防ぐために、第２減算部１３０の出力信号（送話信号）において、スピーカからの遠端話者の音声信号（受話信号）が減衰していることに着目する。第２マイク１０６の出力信号（第２収音信号）のパワーと第２減算部１３０の出力信号（送話信号）のパワーを比較し、第２減算部１３０の出力信号（送話信号）のパワーが第２マイク１０６の出力信号（第２収音信号）のパワーよりも十分に小さい場合に適応フィルタを学習する（つまり、適応フィルタのフィルタ係数を更新する）。十分に小さいとは、例えば0.5〜0.1倍程度である。つまり、閾値を所定の実数（例えば、0.1以上0.5以下のある実数）とし、第２減算部１３０の出力信号（送話信号）のパワーPow1と第２マイク１０６の出力信号（第２収音信号）のパワーPow2の比Pow1/Pow2が閾値以下となるか、閾値より小さくなることである。なお、比Pow1/Pow2が閾値以下となるか、閾値より小さくなることを比Pow1/Pow2が小さいことを示す所定の範囲にあるという。
また、参考特許文献１に記載の適応アルゴリズム（以下、修正アフィン射影アルゴリズムという）を用いてもよい。
（参考特許文献１：特開２００６−１３５８８６号公報）
エコー消去装置は、スピーカとマイクロホンの間の反響路のインパルス応答を要素として持つ長さLのベクトルh*（以下、＊*はベクトルを表わす）の模擬特性h'*(k)（kは所定間隔の離散時間を指すステップ数）を保持する模擬反響路を有するものとする。ここで、模擬特性h'*(k)がフィルタ係数に対応するものである。模擬特性h'*(k)の更新式は以下の式で表される。
Figure 0006954370
ただし、x(k)は遠端話者からの受話信号、x*(k)=(x(k), x(k-1), …, x(k-L+1))T、X*(k)=(x*(k), x*(k-1), …, x*(k-p+1))T、μ(k)は固定または時変の更新調整係数（0<μ(k)<2）、e(k)は遠端話者への送話信号であり、e*(k)は次式で表される誤差信号ベクトルである。
Figure 0006954370
また、リミッタ関数ψ(a)は、入力値aが大きくなるほどその値を抑圧する特性を持つ任意の関数である。
修正アフィン射影アルゴリズムにおいて、リミッタ関数ψ(a)の上限値を1未満の値に設定し、近端話者の音声成分が多く含まれる区間では適応フィルタの学習を遅くする。つまり、閾値を所定の実数（例えば、0.1以上0.5以下のある実数）とし、リミッタ関数ψ(a)の上限値が閾値以下となるか、閾値より小さくなることである。なお、リミッタ関数ψ(a)の上限値が閾値以下となるか、閾値より小さくなることをリミッタ関数ψ(a)の上限値が小さいことを示す所定の範囲にあるという。
リミッタ関数ψ(a)の上限値を所定の値より小さい値に設定して、修正アフィン射影アルゴリズムによりフィルタ係数を更新することにより、近端話者の音声（話者音声）を消去することを防止することができる。
本実施形態の発明によれば、無指向性マイクを用いても高いエコー消去を実現する音声コミュニケーションが可能となる。特に、スピーカ音の歪が大きい小型の音声コミュニケーション装置であっても、安価な無指向性マイクを用いて高いエコー消去を実現することが可能となる。
本実施形態の発明では、あらかじめ既知の情報（比d2/d1）で固定係数を設定しているため、初期状態からエコー消去が可能となる。さらに、適応フィルタを用いることにより、マイク特性のばらつき、音声コミュニケーション装置の筐体特性や音声コミュニケーション装置を利用する部屋の反響特性などの影響により残留した再生音成分をさらに消去することができる。これにより、マイク特性のばらつきや筐体への組み付け誤差が大きくても安定したエコー消去が可能となる。
＜第二実施形態＞
スピーカ１０２と第２マイク１０６の距離d2がスピーカ１０２と第１マイク１０４の距離d1より小さいことから、受音信号がスピーカ１０２から放声された再生音は、第２マイク１０６、第１マイク１０４の順に収音される。この収音のタイミングのずれを考慮することにより、エコー消去性能をさらに高めることが可能となる。以下、収音タイミングのずれを考慮した第二実施形態について説明する。
以下、図４〜図５を参照して音声コミュニケーション装置２００を説明する。図４は、音声コミュニケーション装置２００の構成を示すブロック図である。図５は、音声コミュニケーション装置２００の動作を示すフローチャートである。図４に示すように音声コミュニケーション装置２００は、スピーカ１０２と、第１マイク１０４と、第２マイク１０６と、遅延部２１０と、乗算部１１０と、第１減算部１２０と、第２減算部１３０と、適応フィルタ１４０を含む。つまり、音声コミュニケーション装置２００は、遅延部２１０をさらに含む点において音声コミュニケーション装置１００と異なる。
以下、図５を参照し、音声コミュニケーション装置２００の動作について説明する。遅延部２１０は、第２収音信号に所定の遅延を加えた信号（以下、遅延済第２収音信号という）を生成する（Ｓ２１０）。遅延時間の決定方法については後述する。
乗算部１１０は、遅延済第２収音信号に所定の固定係数を乗じることにより、ゲイン済第２収音信号を生成する（Ｓ１１０）。第１減算部１２０は、第１収音信号からゲイン済第２収音信号を減じることにより、第１減算済第１収音信号を生成する（Ｓ１２０）。適応フィルタ１４０は、第２収音信号と送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済第２収音信号を生成する（Ｓ１４０）。第２減算部１３０は、第１減算済第１収音信号から適応フィルタリング済第２収音信号を減じることにより、送話信号を生成する（Ｓ１３０）。
[遅延時間]
ここでは、遅延部２１０で加える遅延時間について説明する。スピーカ１０２と第１マイク１０４の距離ｄ１とスピーカ１０２と第２マイク１０６の距離ｄ２の差に相当する距離d1-d2を音が進むのにかかる時間τを遅延時間とすればよい。
Figure 0006954370
ただし、vは音速を表す。
本実施形態の発明によれば、無指向性マイクを用いても高いエコー消去を実現する音声コミュニケーションが可能となる。特に、スピーカ音の歪が大きい小型の音声コミュニケーション装置であっても、安価な無指向性マイクを用いて高いエコー消去を実現することが可能となる。
本実施形態の発明では、スピーカとマイクの位置関係に起因する収音タイミングのずれを考慮するため、エコー消去性能をさらに高めることが可能となる。
＜第三実施形態＞
第二実施形態の遅延部２１０と乗算部１１０では、第１マイク１０４と第２マイク１０６の間の収音タイミングのずれ（遅延時間差）や収音信号の振幅の差については考慮することができるが、第１マイク１０４と第２マイク１０６の間の周波数特性の差については考慮することができない。そこで、第三実施形態では、第１マイク１０４と第２マイク１０６の間の周波数特性の差についても扱える固定フィルタを用いた構成について説明する。
以下、図６〜図７を参照して音声コミュニケーション装置３００を説明する。図６は、音声コミュニケーション装置３００の構成を示すブロック図である。図７は、音声コミュニケーション装置３００の動作を示すフローチャートである。図６に示すように音声コミュニケーション装置３００は、スピーカ１０２と、第１マイク１０４と、第２マイク１０６と、固定フィルタ３１０と、第１減算部１２０と、第２減算部１３０と、適応フィルタ１４０を含む。つまり、音声コミュニケーション装置３００は、遅延部２１０と乗算部１１０の代わりに固定フィルタ３１０を含む点において音声コミュニケーション装置２００と異なる。
以下、図７を参照し、音声コミュニケーション装置３００の動作について説明する。固定フィルタ３１０は、第２収音信号に所定のフィルタリングを行うことにより、フィルタリング済第２収音信号を生成する（Ｓ３１０）。固定フィルタ３１０には、例えば、FIR(Finite Impulse Response)フィルタを用いることができる。以下、固定フィルタ３１０の設定について説明する。スピーカ１０２の音の放射特性やマイク特性のばらつきにより、第１マイク１０４と第２マイク１０６に到達するエコーの直接音成分の周波数特性に差が出ることがあると考えられる。そこで、第１マイク１０４と第２マイク１０６の間の遅延時間差、振幅差、周波数特性差を実験やシミュレーションで求め、これらの差を固定フィルタ３１０に設定する。
第１減算部１２０は、第１収音信号からフィルタリング済第２収音信号を減じることにより、第１減算済第１収音信号を生成する（Ｓ１２０）。適応フィルタ１４０は、第２収音信号と送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済第２収音信号を生成する（Ｓ１４０）。第２減算部１３０は、第１減算済第１収音信号から適応フィルタリング済第２収音信号を減じることにより、送話信号を生成する（Ｓ１３０）。
本実施形態の発明によれば、無指向性マイクを用いても高いエコー消去を実現する音声コミュニケーションが可能となる。特に、スピーカ音の歪が大きい小型の音声コミュニケーション装置であっても、安価な無指向性マイクを用いて高いエコー消去を実現することが可能となる。
本実施形態の発明では、マイクの周波数特性差についても固定フィルタで考慮するため、第一実施形態や第二実施形態よりもエコー直接音成分の推定精度が上がり、エコー消去性能が向上する。
＜第四実施形態＞
第三実施形態では、第１収音信号からフィルタリング済第２収音信号を減算しているが、これにより、目的音である近端話者の音声に対する周波数特性の劣化が生じてしまうことがある。この劣化は、スピーカ１０２と第１マイク１０４の距離d1とスピーカ１０２と第２マイク１０６の距離d2が近い場合ほど大きくなる。そこで、この周波数特性の劣化を補正する固定フィルタを加えた構成について第四実施形態では説明する。
以下、図８〜図９を参照して音声コミュニケーション装置４００を説明する。図８は、音声コミュニケーション装置４００の構成を示すブロック図である。図９は、音声コミュニケーション装置４００の動作を示すフローチャートである。図８に示すように音声コミュニケーション装置４００は、スピーカ１０２と、第１マイク１０４と、第２マイク１０６と、固定フィルタ３１０と、第２固定フィルタ４１０と、第１減算部１２０と、第２減算部１３０と、適応フィルタ１４０を含む。つまり、音声コミュニケーション装置４００は、第２固定フィルタ４１０をさらに含む点において音声コミュニケーション装置３００と異なる。
以下、図９を参照し、音声コミュニケーション装置４００の動作について説明する。第２固定フィルタ４１０は、第１収音信号に所定のフィルタリングを行うことにより、フィルタリング済第１収音信号を生成する（Ｓ４１０）。第２固定フィルタ４１０には、例えば、FIR(Finite Impulse Response)フィルタを用いることができる。
固定フィルタ３１０は、第２収音信号に所定のフィルタリングを行うことにより、フィルタリング済第２収音信号を生成する（Ｓ３１０）。第１減算部１２０は、フィルタリング済第１収音信号からフィルタリング済第２収音信号を減じることにより、第１減算済第１収音信号を生成する（Ｓ１２０）。適応フィルタ１４０は、第２収音信号と送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済第２収音信号を生成する（Ｓ１４０）。第２減算部１３０は、第１減算済第１収音信号から適応フィルタリング済第２収音信号を減じることにより、送話信号を生成する（Ｓ１３０）。
本実施形態の発明によれば、無指向性マイクを用いても高いエコー消去を実現する音声コミュニケーションが可能となる。特に、スピーカ音の歪が大きい小型の音声コミュニケーション装置であっても、安価な無指向性マイクを用いて高いエコー消去を実現することが可能となる。
本実施形態の発明では、第１収音信号に所定のフィルタリングを加え補正することにより、目的音である近端話者の音声の周波数特性の劣化を抑えることが可能となる。
＜第五実施形態＞
これまで説明してきた各実施形態では、第２収音信号を入力とする適応フィルタ１４０を用いてエコー消去を行った。ここでは、受話信号を入力とする第２の適応フィルタを追加した構成を第五実施形態として説明する。なお、ここでは、第四実施形態に第２の適応フィルタを追加した構成について説明するが、第四実施形態の代わりに第一実施形態〜第三実施形態のいずれかに当該適応フィルタを追加する構成としてもよい。
以下、図１０〜図１１を参照して音声コミュニケーション装置５００を説明する。図１０は、音声コミュニケーション装置５００の構成を示すブロック図である。図１１は、音声コミュニケーション装置５００の動作を示すフローチャートである。図１０に示すように音声コミュニケーション装置５００は、スピーカ１０２と、第１マイク１０４と、第２マイク１０６と、固定フィルタ３１０と、第２固定フィルタ４１０と、第１減算部１２０と、第２減算部１３０と、適応フィルタ１４０と、第２適応フィルタ５４０を含む。つまり、音声コミュニケーション装置５００は、第２適応フィルタ５４０をさらに含む点において音声コミュニケーション装置４００と異なる。
以下、図１１を参照し、音声コミュニケーション装置５００の動作について説明する。第２固定フィルタ４１０は、第１収音信号に所定のフィルタリングを行うことにより、フィルタリング済第１収音信号を生成する（Ｓ４１０）。固定フィルタ３１０は、第２収音信号に所定のフィルタリングを行うことにより、フィルタリング済第２収音信号を生成する（Ｓ３１０）。第１減算部１２０は、フィルタリング済第１収音信号からフィルタリング済第２収音信号を減じることにより、第１減算済第１収音信号を生成する（Ｓ１２０）。適応フィルタ１４０は、第２収音信号と送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済第２収音信号を生成する（Ｓ１４０）。
第２適応フィルタ５４０は、受話信号と送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済受話信号を生成する（Ｓ５４０）。換言すると、第２適応フィルタ５４０は、受話信号を入力として、送話信号からエコーを消去した適応フィルタリング済受話信号を生成する。
第２減算部１３０は、第１減算済第１収音信号から適応フィルタリング済第２収音信号と適応フィルタリング済受話信号を減じた信号を送話信号として生成する（Ｓ１３０）。
本実施形態の発明によれば、無指向性マイクを用いても高いエコー消去を実現する音声コミュニケーションが可能となる。特に、スピーカ音の歪が大きい小型の音声コミュニケーション装置であっても、安価な無指向性マイクを用いて高いエコー消去を実現することが可能となる。
本実施形態の発明では、受話信号を入力とする適応フィルタを追加することにより、残留しているスピーカ音をさらに消去することでき、エコー消去性能が向上する。
＜第六実施形態＞
以下、図１２〜図１３を参照して音声コミュニケーション装置６００を説明する。図１２は、音声コミュニケーション装置６００の構成を示すブロック図である。図１３は、音声コミュニケーション装置６００の動作を示すフローチャートである。図１２に示すように音声コミュニケーション装置６００は、スピーカ１０２と、第１マイク１０４と、第２マイク１０６と、補正部６１０と、第１減算部１２０と、第２減算部１３０と、適応フィルタ１４０を含む。つまり、音声コミュニケーション装置６００は、乗算部１１０の代わりに補正部６１０を含む点において音声コミュニケーション装置１００と異なる。
以下、図１３を参照し、音声コミュニケーション装置６００の動作について説明する。補正部６１０は、第１収音信号から、スピーカ１０２から第１マイク１０４までの距離d1とスピーカ１０２から第２マイク１０６までの距離d2との違いに基づく振幅の違いを補正した信号である補正済収音信号を生成する（Ｓ６１０）。補正の程度は、例えば、第一実施形態の[固定係数]で説明した式(1)を考慮して決定するとよい。
第１減算部１２０は、Ｓ６１０で生成した補正済収音信号から第２収音信号を減じることにより、第１減算済第１収音信号を生成する（Ｓ１２０）。適応フィルタ１４０は、第２収音信号と送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済第２収音信号を生成する（Ｓ１４０）。第２減算部１３０は、第１減算済第１収音信号から適応フィルタリング済第２収音信号を減じることにより、送話信号を生成する（Ｓ１３０）。
（変形例）
音声コミュニケーション装置６００では、第１収音信号を補正するように構成したが、第２収音信号を補正するよう構成することもできる。このような構成である音声コミュニケーション装置６０１について説明する。
以下、図１４〜図１５を参照して音声コミュニケーション装置６０１を説明する。図１４は、音声コミュニケーション装置６０１の構成を示すブロック図である。図１５は、音声コミュニケーション装置６０１の動作を示すフローチャートである。図１４に示すように音声コミュニケーション装置６０１は、スピーカ１０２と、第１マイク１０４と、第２マイク１０６と、補正部６１１と、第１減算部１２０と、第２減算部１３０と、適応フィルタ１４０を含む。つまり、音声コミュニケーション装置６０１は、補正部６１０の代わりに補正部６１１を含む点において音声コミュニケーション装置６００と異なる。
以下、図１５を参照し、音声コミュニケーション装置６０１の動作について説明する。補正部６１１は、第２収音信号から、スピーカ１０２から第１マイク１０４までの距離d1とスピーカ１０２から第２マイク１０６までの距離d2との違いに基づく振幅の違いを補正した信号である補正済収音信号を生成する（Ｓ６１１）。補正の程度は、例えば、第一実施形態の[固定係数]で説明した式(1)を考慮して決定するとよい。
第１減算部１２０は、第１収音信号からＳ６１１で生成した補正済収音信号を減じることにより、第１減算済第１収音信号を生成する（Ｓ１２０）。適応フィルタ１４０は、第２収音信号と送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済第２収音信号を生成する（Ｓ１４０）。第２減算部１３０は、第１減算済第１収音信号から適応フィルタリング済第２収音信号を減じることにより、送話信号を生成する（Ｓ１３０）。
本実施形態の発明によれば、無指向性マイクを用いても高いエコー消去を実現する音声コミュニケーションが可能となる。特に、スピーカ音の歪が大きい小型の音声コミュニケーション装置であっても、安価な無指向性マイクを用いて高いエコー消去を実現することが可能となる。
＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
上述の本発明の実施形態の記載は、例証と記載の目的で提示されたものである。網羅的であるという意思はなく、開示された厳密な形式に発明を限定する意思もない。変形やバリエーションは上述の教示から可能である。実施形態は、本発明の原理の最も良い例証を提供するために、そして、この分野の当業者が、熟考された実際の使用に適するように本発明を色々な実施形態で、また、色々な変形を付加して利用できるようにするために、選ばれて表現されたものである。すべてのそのような変形やバリエーションは、公正に合法的に公平に与えられる幅にしたがって解釈された添付の請求項によって定められた本発明のスコープ内である。

Claims (14)

  1. 遠端話者の音声信号である受話信号を放声するスピーカと、
    近端話者が発した音声である話者音声と前記受話信号を放声した再生音を含む音響信号を第１収音信号として収音する第１マイクと、
    前記話者音声と前記再生音を含む音響信号を第２収音信号として収音する第２マイクと、
    前記第１収音信号または前記第２収音信号のいずれか１つの信号から、前記スピーカから前記第１マイクまでの距離d1と前記スピーカから前記第２マイクまでの距離d2（ただし、d2≦d1）との違いに基づく振幅の違いを補正した信号である補正済収音信号を生成する補正部と、
    前記補正済収音信号から前記第２収音信号を減じた信号または前記第１収音信号から前記補正済収音信号を減じた信号である第１減算済第１収音信号を生成する第１減算部と、
    前記第２収音信号と前記遠端話者に送信する送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済第２収音信号を生成する適応フィルタと、
    前記第１減算済第１収音信号から前記適応フィルタリング済第２収音信号を減じた信号を前記送話信号として生成する第２減算部と
    を含む音声コミュニケーション装置であって、
    前記適応フィルタのフィルタ係数は、前記送話信号のパワーPow1と前記第２収音信号のパワーPow2の比Pow1/Pow2が小さいことを示す所定の範囲にある場合にNLMS（Normalized Least Mean Squares）アルゴリズムまたはLMS（Least Mean Squares）アルゴリズムを用いて更新される
    音声コミュニケーション装置。
  2. 遠端話者の音声信号である受話信号を放声するスピーカと、
    近端話者が発した音声である話者音声と前記受話信号を放声した再生音を含む音響信号を第１収音信号として収音する第１マイクと、
    前記話者音声と前記再生音を含む音響信号を第２収音信号として収音する第２マイクと、
    前記第２収音信号に所定の遅延を加えた信号である遅延済第２収音信号を生成する遅延部と、
    前記遅延済第２収音信号に所定の固定係数を乗じた信号であるゲイン済第２収音信号を生成する乗算部と、
    前記第１収音信号から前記ゲイン済第２収音信号を減じた信号である第１減算済第１収音信号を生成する第１減算部と、
    前記第２収音信号と前記遠端話者に送信する送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済第２収音信号を生成する適応フィルタと、
    前記第１減算済第１収音信号から前記適応フィルタリング済第２収音信号を減じた信号を前記送話信号として生成する第２減算部とを含む音声コミュニケーション装置であって、
    前記スピーカから前記第１マイクまでの距離d1は、前記スピーカから前記第２マイクまでの距離d2以上であり、
    前記固定係数は、前記距離d2と前記距離d1の比d2/d1であり、
    前記適応フィルタのフィルタ係数は、前記送話信号のパワーPow1と前記第２収音信号のパワーPow2の比Pow1/Pow2が小さいことを示す所定の範囲にある場合にNLMS（Normalized Least Mean Squares）アルゴリズムまたはLMS（Least Mean Squares）アルゴリズムを用いて更新される
    音声コミュニケーション装置。
  3. 遠端話者の音声信号である受話信号を放声するスピーカと、
    近端話者が発した音声である話者音声と前記受話信号を放声した再生音を含む音響信号を第１収音信号として収音する第１マイクと、
    前記話者音声と前記再生音を含む音響信号を第２収音信号として収音する第２マイクと、
    前記第１収音信号または前記第２収音信号のいずれか１つの信号から、前記スピーカから前記第１マイクまでの距離d1と前記スピーカから前記第２マイクまでの距離d2（ただし、d2≦d1）との違いに基づく振幅の違いを補正した信号である補正済収音信号を生成する補正部と、
    前記補正済収音信号から前記第２収音信号を減じた信号または前記第１収音信号から前記補正済収音信号を減じた信号である第１減算済第１収音信号を生成する第１減算部と、
    前記第２収音信号と前記遠端話者に送信する送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済第２収音信号を生成する適応フィルタと、
    前記第１減算済第１収音信号から前記適応フィルタリング済第２収音信号を減じた信号を前記送話信号として生成する第２減算部と
    を含む音声コミュニケーション装置であって、
    前記適応フィルタのフィルタ係数は、修正アフィン射影アルゴリズムで用いるリミッタ関数ψ(a)の上限値が小さいことを示す所定の範囲にある場合に前記修正アフィン射影アルゴリズムを用いて更新される
    音声コミュニケーション装置。
  4. 遠端話者の音声信号である受話信号を放声するスピーカと、
    近端話者が発した音声である話者音声と前記受話信号を放声した再生音を含む音響信号を第１収音信号として収音する第１マイクと、
    前記話者音声と前記再生音を含む音響信号を第２収音信号として収音する第２マイクと、
    前記第２収音信号に所定の遅延を加えた信号である遅延済第２収音信号を生成する遅延部と、
    前記遅延済第２収音信号に所定の固定係数を乗じた信号であるゲイン済第２収音信号を生成する乗算部と、
    前記第１収音信号から前記ゲイン済第２収音信号を減じた信号である第１減算済第１収音信号を生成する第１減算部と、
    前記第２収音信号と前記遠端話者に送信する送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済第２収音信号を生成する適応フィルタと、
    前記第１減算済第１収音信号から前記適応フィルタリング済第２収音信号を減じた信号を前記送話信号として生成する第２減算部とを含む音声コミュニケーション装置であって、
    前記スピーカから前記第１マイクまでの距離d1は、前記スピーカから前記第２マイクまでの距離d2以上であり、
    前記固定係数は、前記距離d2と前記距離d1の比d2/d1であり、
    前記適応フィルタのフィルタ係数は、修正アフィン射影アルゴリズムで用いるリミッタ関数ψ(a)の上限値が小さいことを示す所定の範囲にある場合に前記修正アフィン射影アルゴリズムを用いて更新される
    音声コミュニケーション装置。
  5. 遠端話者の音声信号である受話信号を放声するスピーカと、
    近端話者が発した音声である話者音声と前記受話信号を放声した再生音を含む音響信号を第１収音信号として収音する第１マイクと、
    前記話者音声と前記再生音を含む音響信号を第２収音信号として収音する第２マイクと、
    前記第１収音信号または前記第２収音信号のいずれか１つの信号から、前記スピーカから前記第１マイクまでの距離d1と前記スピーカから前記第２マイクまでの距離d2（ただし、d2≦d1）との違いに基づく振幅の違いを補正した信号である補正済収音信号を生成する補正部と、
    前記補正済収音信号から前記第２収音信号を減じた信号または前記第１収音信号から前記補正済収音信号を減じた信号である第１減算済第１収音信号を生成する第１減算部と、
    前記第２収音信号と前記遠端話者に送信する送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済第２収音信号を生成する適応フィルタと、
    前記第１減算済第１収音信号から前記適応フィルタリング済第２収音信号を減じた信号を前記送話信号として生成する第２減算部と
    を含む音声コミュニケーション装置であって、
    前記適応フィルタのフィルタ係数は、所定の閾値を用いて前記送話信号のパワーPow1が前記第２収音信号のパワーPow2に比べて小さいと判断される場合に更新される
    音声コミュニケーション装置。
  6. 遠端話者の音声信号である受話信号を放声するスピーカと、
    近端話者が発した音声である話者音声と前記受話信号を放声した再生音を含む音響信号を第１収音信号として収音する第１マイクと、
    前記話者音声と前記再生音を含む音響信号を第２収音信号として収音する第２マイクと、
    前記第２収音信号に所定の遅延を加えた信号である遅延済第２収音信号を生成する遅延部と、
    前記遅延済第２収音信号に所定の固定係数を乗じた信号であるゲイン済第２収音信号を生成する乗算部と、
    前記第１収音信号から前記ゲイン済第２収音信号を減じた信号である第１減算済第１収音信号を生成する第１減算部と、
    前記第２収音信号と前記遠端話者に送信する送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済第２収音信号を生成する適応フィルタと、
    前記第１減算済第１収音信号から前記適応フィルタリング済第２収音信号を減じた信号を前記送話信号として生成する第２減算部とを含む音声コミュニケーション装置であって、
    前記スピーカから前記第１マイクまでの距離d1は、前記スピーカから前記第２マイクまでの距離d2以上であり、
    前記固定係数は、前記距離d2と前記距離d1の比d2/d1であり、
    前記適応フィルタのフィルタ係数は、所定の閾値を用いて前記送話信号のパワーPow1が前記第２収音信号のパワーPow2に比べて小さいと判断される場合に更新される
    音声コミュニケーション装置。
  7. 請求項５または６に記載の音声コミュニケーション装置であって、
    前記閾値は、0.1以上0.5以下であり、
    前記適応フィルタのフィルタ係数は、前記送話信号のパワーPow1と前記第２収音信号のパワーPow2の比Pow1/Pow2が前記閾値以下であるまたは前記閾値より小さい場合に更新される
    ことを特徴とする音声コミュニケーション装置。
  8. 遠端話者の音声信号である受話信号を放声するスピーカと、近端話者が発した音声である話者音声と前記受話信号を放声した再生音を含む音響信号を第１収音信号として収音する第１マイクと、前記話者音声と前記再生音を含む音響信号を第２収音信号として収音する第２マイクとを含む音声コミュニケーション装置が前記遠端話者に送信する送話信号を生成する音声コミュニケーション方法であって、
    前記音声コミュニケーション装置が、前記第１収音信号または前記第２収音信号のいずれか１つの信号から、前記スピーカから前記第１マイクまでの距離d1と前記スピーカから前記第２マイクまでの距離d2（ただし、d2≦d1）との違いに基づく振幅の違いを補正した信号である補正済収音信号を生成する補正ステップと、
    前記音声コミュニケーション装置が、前記補正済収音信号から前記第２収音信号を減じた信号または前記第１収音信号から前記補正済収音信号を減じた信号である第１減算済第１収音信号を生成する第１減算ステップと、
    前記音声コミュニケーション装置が、前記第２収音信号と前記送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済第２収音信号を生成する適応フィルタリングステップと、
    前記音声コミュニケーション装置が、前記第１減算済第１収音信号から前記適応フィルタリング済第２収音信号を減じた信号を前記送話信号として生成する第２減算ステップと
    を含む音声コミュニケーション方法であって、
    前記適応フィルタリングステップで用いるフィルタ係数は、前記送話信号のパワーPow1と前記第２収音信号のパワーPow2の比Pow1/Pow2が小さいことを示す所定の範囲にある場合にNLMS（Normalized Least Mean Squares）アルゴリズムまたはLMS（Least Mean Squares）アルゴリズムを用いて更新される
    音声コミュニケーション方法。
  9. 遠端話者の音声信号である受話信号を放声するスピーカと、近端話者が発した音声である話者音声と前記受話信号を放声した再生音を含む音響信号を第１収音信号として収音する第１マイクと、前記話者音声と前記再生音を含む音響信号を第２収音信号として収音する第２マイクとを含む音声コミュニケーション装置が前記遠端話者に送信する送話信号を生成する音声コミュニケーション方法であって、
    前記音声コミュニケーション方法は、
    前記音声コミュニケーション装置が、前記第２収音信号に所定の遅延を加えた信号である遅延済第２収音信号を生成する遅延ステップと、
    前記音声コミュニケーション装置が、前記遅延済第２収音信号に所定の固定係数を乗じた信号であるゲイン済第２収音信号を生成する乗算ステップと、
    前記音声コミュニケーション装置が、前記第１収音信号から前記ゲイン済第２収音信号を減じた信号である第１減算済第１収音信号を生成する第１減算ステップと、
    前記音声コミュニケーション装置が、前記第２収音信号と前記送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済第２収音信号を生成する適応フィルタリングステップと、
    前記音声コミュニケーション装置が、前記第１減算済第１収音信号から前記適応フィルタリング済第２収音信号を減じた信号を前記送話信号として生成する第２減算ステップとを含み、
    前記スピーカから前記第１マイクまでの距離d1は、前記スピーカから前記第２マイクまでの距離d2以上であり、
    前記固定係数は、前記距離d2と前記距離d1の比d2/d1であり、
    前記適応フィルタリングステップで用いるフィルタ係数は、前記送話信号のパワーPow1と前記第２収音信号のパワーPow2の比Pow1/Pow2が小さいことを示す所定の範囲にある場合にNLMS（Normalized Least Mean Squares）アルゴリズムまたはLMS（Least Mean Squares）アルゴリズムを用いて更新される
    音声コミュニケーション方法。
  10. 遠端話者の音声信号である受話信号を放声するスピーカと、近端話者が発した音声である話者音声と前記受話信号を放声した再生音を含む音響信号を第１収音信号として収音する第１マイクと、前記話者音声と前記再生音を含む音響信号を第２収音信号として収音する第２マイクとを含む音声コミュニケーション装置が前記遠端話者に送信する送話信号を生成する音声コミュニケーション方法であって、
    前記音声コミュニケーション装置が、前記第１収音信号または前記第２収音信号のいずれか１つの信号から、前記スピーカから前記第１マイクまでの距離d1と前記スピーカから前記第２マイクまでの距離d2（ただし、d2≦d1）との違いに基づく振幅の違いを補正した信号である補正済収音信号を生成する補正ステップと、
    前記音声コミュニケーション装置が、前記補正済収音信号から前記第２収音信号を減じた信号または前記第１収音信号から前記補正済収音信号を減じた信号である第１減算済第１収音信号を生成する第１減算ステップと、
    前記音声コミュニケーション装置が、前記第２収音信号と前記送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済第２収音信号を生成する適応フィルタリングステップと、
    前記音声コミュニケーション装置が、前記第１減算済第１収音信号から前記適応フィルタリング済第２収音信号を減じた信号を前記送話信号として生成する第２減算ステップと
    を含む音声コミュニケーション方法であって、
    前記適応フィルタリングステップで用いるフィルタ係数は、修正アフィン射影アルゴリズムで用いるリミッタ関数ψ(a)の上限値が小さいことを示す所定の範囲にある場合に前記修正アフィン射影アルゴリズムを用いて更新される
    音声コミュニケーション方法。
  11. 遠端話者の音声信号である受話信号を放声するスピーカと、近端話者が発した音声である話者音声と前記受話信号を放声した再生音を含む音響信号を第１収音信号として収音する第１マイクと、前記話者音声と前記再生音を含む音響信号を第２収音信号として収音する第２マイクとを含む音声コミュニケーション装置が前記遠端話者に送信する送話信号を生成する音声コミュニケーション方法であって、
    前記音声コミュニケーション方法は、
    前記音声コミュニケーション装置が、前記第２収音信号に所定の遅延を加えた信号である遅延済第２収音信号を生成する遅延ステップと、
    前記音声コミュニケーション装置が、前記遅延済第２収音信号に所定の固定係数を乗じた信号であるゲイン済第２収音信号を生成する乗算ステップと、
    前記音声コミュニケーション装置が、前記第１収音信号から前記ゲイン済第２収音信号を減じた信号である第１減算済第１収音信号を生成する第１減算ステップと、
    前記音声コミュニケーション装置が、前記第２収音信号と前記送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済第２収音信号を生成する適応フィルタリングステップと、
    前記音声コミュニケーション装置が、前記第１減算済第１収音信号から前記適応フィルタリング済第２収音信号を減じた信号を前記送話信号として生成する第２減算ステップとを含み、
    前記スピーカから前記第１マイクまでの距離d1は、前記スピーカから前記第２マイクまでの距離d2以上であり、
    前記固定係数は、前記距離d2と前記距離d1の比d2/d1であり、
    前記適応フィルタリングステップで用いるフィルタ係数は、修正アフィン射影アルゴリズムで用いるリミッタ関数ψ(a)の上限値が小さいことを示す所定の範囲にある場合に前記修正アフィン射影アルゴリズムを用いて更新される
    音声コミュニケーション方法。
  12. 遠端話者の音声信号である受話信号を放声するスピーカと、近端話者が発した音声である話者音声と前記受話信号を放声した再生音を含む音響信号を第１収音信号として収音する第１マイクと、前記話者音声と前記再生音を含む音響信号を第２収音信号として収音する第２マイクとを含む音声コミュニケーション装置が前記遠端話者に送信する送話信号を生成する音声コミュニケーション方法であって、
    前記音声コミュニケーション装置が、前記第１収音信号または前記第２収音信号のいずれか１つの信号から、前記スピーカから前記第１マイクまでの距離d1と前記スピーカから前記第２マイクまでの距離d2（ただし、d2≦d1）との違いに基づく振幅の違いを補正した信号である補正済収音信号を生成する補正ステップと、
    前記音声コミュニケーション装置が、前記補正済収音信号から前記第２収音信号を減じた信号または前記第１収音信号から前記補正済収音信号を減じた信号である第１減算済第１収音信号を生成する第１減算ステップと、
    前記音声コミュニケーション装置が、前記第２収音信号と前記送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済第２収音信号を生成する適応フィルタリングステップと、
    前記音声コミュニケーション装置が、前記第１減算済第１収音信号から前記適応フィルタリング済第２収音信号を減じた信号を前記送話信号として生成する第２減算ステップと
    を含む音声コミュニケーション方法であって、
    前記適応フィルタリングステップで用いるフィルタ係数は、所定の閾値を用いて前記送話信号のパワーPow1が前記第２収音信号のパワーPow2に比べて小さいと判断される場合に更新される
    音声コミュニケーション方法。
  13. 遠端話者の音声信号である受話信号を放声するスピーカと、近端話者が発した音声である話者音声と前記受話信号を放声した再生音を含む音響信号を第１収音信号として収音する第１マイクと、前記話者音声と前記再生音を含む音響信号を第２収音信号として収音する第２マイクとを含む音声コミュニケーション装置が前記遠端話者に送信する送話信号を生成する音声コミュニケーション方法であって、
    前記音声コミュニケーション方法は、
    前記音声コミュニケーション装置が、前記第２収音信号に所定の遅延を加えた信号である遅延済第２収音信号を生成する遅延ステップと、
    前記音声コミュニケーション装置が、前記遅延済第２収音信号に所定の固定係数を乗じた信号であるゲイン済第２収音信号を生成する乗算ステップと、
    前記音声コミュニケーション装置が、前記第１収音信号から前記ゲイン済第２収音信号を減じた信号である第１減算済第１収音信号を生成する第１減算ステップと、
    前記音声コミュニケーション装置が、前記第２収音信号と前記送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済第２収音信号を生成する適応フィルタリングステップと、
    前記音声コミュニケーション装置が、前記第１減算済第１収音信号から前記適応フィルタリング済第２収音信号を減じた信号を前記送話信号として生成する第２減算ステップとを含み、
    前記スピーカから前記第１マイクまでの距離d1は、前記スピーカから前記第２マイクまでの距離d2以上であり、
    前記固定係数は、前記距離d2と前記距離d1の比d2/d1であり、
    前記適応フィルタリングステップで用いるフィルタ係数は、所定の閾値を用いて前記送話信号のパワーPow1が前記第２収音信号のパワーPow2に比べて小さいと判断される場合に更新される
    音声コミュニケーション方法。
  14. 請求項１ないし７のいずれか１項に記載の音声コミュニケーション装置としてコンピュータを機能させるためのプログラム。
JP2019554218A 2017-11-14 2018-11-13 音声コミュニケーション装置、音声コミュニケーション方法、プログラム Active JP6954370B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017218825 2017-11-14
JP2017218825 2017-11-14
PCT/JP2018/041945 WO2019098178A1 (ja) 2017-11-14 2018-11-13 音声コミュニケーション装置、音声コミュニケーション方法、プログラム

Publications (2)

Publication Number Publication Date
JPWO2019098178A1 JPWO2019098178A1 (ja) 2020-11-19
JP6954370B2 true JP6954370B2 (ja) 2021-10-27

Family

ID=66538618

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019554218A Active JP6954370B2 (ja) 2017-11-14 2018-11-13 音声コミュニケーション装置、音声コミュニケーション方法、プログラム

Country Status (7)

Country Link
US (1) US11232806B2 (ja)
EP (1) EP3713250B1 (ja)
JP (1) JP6954370B2 (ja)
CN (1) CN111345048A (ja)
ES (1) ES2943483T3 (ja)
RU (1) RU2744518C1 (ja)
WO (1) WO2019098178A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112153547A (zh) * 2020-09-03 2020-12-29 海尔优家智能科技（北京）有限公司 音频信号的校正方法、装置、存储介质及电子装置
CN113726966A (zh) * 2021-07-28 2021-11-30 台湾立讯精密有限公司 通讯终端、通讯系统和音频信息处理方法
CN115148203A (zh) * 2022-06-06 2022-10-04 青岛海尔科技有限公司 拾音校准方法、装置、非易失性存储介质及电子设备

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05241582A (ja) * 1992-02-28 1993-09-21 Nec Corp ノイズキャンセラ
US5402496A (en) * 1992-07-13 1995-03-28 Minnesota Mining And Manufacturing Company Auditory prosthesis, noise suppression apparatus and feedback suppression apparatus having focused adaptive filtering
JPH06153289A (ja) * 1992-11-05 1994-05-31 Sony Corp 音声入出力装置
JPH08223274A (ja) * 1995-02-15 1996-08-30 Matsushita Electric Works Ltd ハンズフリー通話装置
JPH08223275A (ja) * 1995-02-15 1996-08-30 Matsushita Electric Works Ltd ハンズフリー通話装置
US5793864A (en) * 1996-12-12 1998-08-11 At&T Corp. Nonintrusive measurement of echo power and echo path delay present on a transmission path
JP3139405B2 (ja) 1997-02-28 2001-02-26 日本電気株式会社 エコーキャンセラ
JPH1141342A (ja) * 1997-07-15 1999-02-12 Calsonic Corp 自動車電話装置
EP1300963A4 (en) * 2001-05-22 2009-03-04 Mitsubishi Electric Corp APPARATUS FOR TREATING ECHOS
US20040059571A1 (en) * 2002-09-24 2004-03-25 Marantz Japan, Inc. System for inputting speech, radio receiver and communication system
JP2004343262A (ja) * 2003-05-13 2004-12-02 Sony Corp マイクロフォン・スピーカ一体構成型・双方向通話装置
CN1701528A (zh) * 2003-07-17 2005-11-23 松下电器产业株式会社 通话装置
JP4425114B2 (ja) 2004-11-09 2010-03-03 日本電信電話株式会社 反響消去方法、反響消去装置、反響消去プログラム、及びこれを記録した記録媒体
WO2007015203A1 (en) * 2005-08-02 2007-02-08 Koninklijke Philips Electronics N.V. Enhancement of speech intelligibility in a mobile communication device by controlling the operation of a vibrator in dξpendance of the background noise
JP2007336132A (ja) * 2006-06-14 2007-12-27 Matsushita Electric Ind Co Ltd エコー抑圧装置
JP5075042B2 (ja) * 2008-07-23 2012-11-14 日本電信電話株式会社 エコー消去装置、エコー消去方法、そのプログラム、記録媒体
JP5241582B2 (ja) * 2009-03-27 2013-07-17 三菱電機株式会社 マルチメディア送信装置
JP2011160429A (ja) 2011-02-15 2011-08-18 Nippon Telegr & Teleph Corp <Ntt> エコー消去装置
CN103051818B (zh) * 2012-12-20 2014-10-29 歌尔声学股份有限公司 一种用于小型免提语音通讯系统中的回声消除装置和方法
US9936290B2 (en) * 2013-05-03 2018-04-03 Qualcomm Incorporated Multi-channel echo cancellation and noise suppression
EP3295681B1 (en) * 2015-05-15 2021-06-30 Harman International Industries, Inc. Acoustic echo cancelling system and method
JP6189395B2 (ja) * 2015-10-20 2017-08-30 株式会社フジエンジニアリング 膜厚測定装置
JP2017191987A (ja) * 2016-04-12 2017-10-19 日本電信電話株式会社 エコー消去装置、その方法、プログラム、及び記録媒体

Also Published As

Publication number Publication date
US11232806B2 (en) 2022-01-25
WO2019098178A1 (ja) 2019-05-23
EP3713250B1 (en) 2023-04-05
CN111345048A (zh) 2020-06-26
RU2744518C1 (ru) 2021-03-11
ES2943483T3 (es) 2023-06-13
JPWO2019098178A1 (ja) 2020-11-19
US20200251121A1 (en) 2020-08-06
EP3713250A1 (en) 2020-09-23
EP3713250A4 (en) 2021-06-23

Similar Documents

Publication Publication Date Title
JP6954370B2 (ja) 音声コミュニケーション装置、音声コミュニケーション方法、プログラム
JP5075042B2 (ja) エコー消去装置、エコー消去方法、そのプログラム、記録媒体
KR101975251B1 (ko) 오디오 신호 처리 시스템 및 이의 에코 신호 제거 방법
US9667803B2 (en) Nonlinear acoustic echo cancellation based on transducer impedance
US8761386B2 (en) Sound processing apparatus, method, and program
US20190251948A1 (en) Signal processing device, signal processing method, and program
JP2016503262A (ja) エコー抑圧
CN114466297B (zh) 一种具有改进的反馈抑制的听力辅助装置及抑制方法
JP2008060715A (ja) エコー消去装置、その方法、そのプログラム、およびその記録媒体
JP6537997B2 (ja) エコー抑圧装置、その方法、プログラム、及び記録媒体
JP2017191987A (ja) エコー消去装置、その方法、プログラム、及び記録媒体
CN112863532A (zh) 回音抑制装置、回音抑制方法以及存储介质
JP4425114B2 (ja) 反響消去方法、反響消去装置、反響消去プログラム、及びこれを記録した記録媒体
JP3583998B2 (ja) 多チャネルエコー消去方法、その装置及びプログラム記録媒体
US20230274724A1 (en) Cancel filter coefficient generation method, cancel filter coefficient generation apparatus, and program
CN113724722B (zh) 回声延迟估计方法、装置、存储介质和计算设备
JP6994221B2 (ja) 抽出発生音補正装置、抽出発生音補正方法、プログラム
JP2002261659A (ja) 多チャネルエコーキャンセル方法、その装置、そのプログラム及び記録媒体
JP6075783B2 (ja) エコー消去装置、エコー消去方法及びプログラム
CN113453124B (zh) 音频处理方法、装置以及系统
JP2001251224A (ja) 反響消去方法および反響消去装置
JP5264687B2 (ja) エコーキャンセル方法、エコーキャンセル装置、エコーキャンセルプログラム
JP5086969B2 (ja) エコーキャンセル装置、その方法、そのプログラム、およびその記録媒体
JP3457275B2 (ja) 反響消去装置、反響消去方法及び反響消去プログラムを記録した記録媒体
JP2019220917A (ja) エコー消去装置、エコー消去方法、プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200324

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210216

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210831

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210913

R150 Certificate of patent or registration of utility model

Ref document number: 6954370

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150