JP5479655B2 - 残留エコーを抑制するための方法及び装置 - Google Patents

残留エコーを抑制するための方法及び装置 Download PDF

Info

Publication number
JP5479655B2
JP5479655B2 JP2013523484A JP2013523484A JP5479655B2 JP 5479655 B2 JP5479655 B2 JP 5479655B2 JP 2013523484 A JP2013523484 A JP 2013523484A JP 2013523484 A JP2013523484 A JP 2013523484A JP 5479655 B2 JP5479655 B2 JP 5479655B2
Authority
JP
Japan
Prior art keywords
signal
frequency domain
filtering
array
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013523484A
Other languages
English (en)
Other versions
JP2013541244A (ja
Inventor
ルー,シャシャ
リー,ボー
リュー,ソング
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Inc
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Publication of JP2013541244A publication Critical patent/JP2013541244A/ja
Application granted granted Critical
Publication of JP5479655B2 publication Critical patent/JP5479655B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/20Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L2021/02082Noise filtering the noise being echo, reverberation of the speech
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
    • H04R2201/109Arrangements to adapt hands free headphones for use on both ears
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/13Acoustic transducers and sound field adaptation in vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、エコー除去技術の分野に関し、より詳しくは、残留エコーを抑制するための方法及び装置に関する。
音声通信では、受話器(receiver、SPK、EARまたはEARPHONEとも呼ばれる)からの信号が線路反射及び音響学反射を経て送話器(マイクロフォン、マイク、ピックアップとも呼ばれる)の受信信号に混入され、リモート側に送信されることにより、リモート側ではエコーを聞こえてしまうことがある。エコーは通話者の双方を大きく妨害し、通話の品質に影響を与えてしまい、深刻な場合は、ハウリングを引き起こすこともある。これによって、通話が完全に不可能となるだけではなく、通信機器が壊される恐れもある。従って、通話の品質及び装置の無事を確保するためには、通常、音声通信においてエコーを抑制する必要がある。
エコー信号は、受話器信号が電気音響変換を介して実際の音声信号に変換された後に再生され、再び環境によって反射されて生じるものである。受話器の電気音響変換過程と環境反射とがいずれもフィルタリング過程と見なせるので、エコー信号は受話器が特定のフィルタにより生成された音声信号と見なせる。
簡易なエコー抑制は、チャンネルをハーフデュープレックスモードに変更させ、チャンネルに何時でも片側の信号のみが送信されるように、エコーを抑制している。しかし、リモート側と近位側とがダブルトークを行う場合、リモート側が話しているうちは、近位側の音声を聞えなく、通話の流暢さが妨害されてしまう。
音声通信に対する要求は高まってきており、これに伴い、一般的に、適応型エコー除去技術を採用することにより、エコーを抑制するとともに、近位側の音声を保護し、デュープレックスの効果を確保するようにしている。
適応型エコー除去技術は、適応型フィルタを、エコー経路を除去するためのフィルタとして用い、エコーの除去を行っている。フィルタは、受話器信号と送話器信号とを比較し、リアルタイムでエコー反射環境の変化を自動的に追跡することにより、正確なエコー経路を得て、エコーを除去するようにしている。普通、これは、デュープレックスの性能に影響を与えずに、大部のエコーを除去することができる。しかし、実際のシステムにおいて、受話器自体にディストーションがあるので、従来の適応型エコー除去技術では、すべてのエコーを除去することができず、一部のエコーが残られてしまう。
従来の残留エコーを抑制・除去するための技術は、主に2種類が挙げられる。1つは、残留エコーの強度を監視し、受話器のパワーを制限することにより、残留エコーを限定レベルよりも低くさせるようにすることである。しかし、この方法では、受話器信号の強度が大きく変動し、近位側における使用者の聴感に影響を与えてしまう。もう1つは、残留エコーが強い場合、チャンネルをハーフデュープレックスモードに変更させるようにすることである。言うまでもなく、この方法では、残留エコーを抑制する際に、近位側の音声を損傷してしまう。特に、一部の携帯用小型ハンズフリー通信機器については、受話器のディストーションが大きく、かつ、構造がコンパクトで送話器と受話器との間の距離が近いので、残留エコーが強い場合は、残留エコーを抑制するためにチャンネルをハーフデュープレックスモードに変更させることにより、通話の流暢さが妨害されてしまう。
本発明は、上記問題点に鑑みてなされたものであり、その目的は、アレイ処理とエコー抑制とを組み合わせ、小型ハンズフリー通信機器の音響構造を十分に利用することにより、残留エコーを低下させるながらも近位側の音声に対するダメージを軽減させ、デュープレックスの性能を向上させることが可能となる残留エコーを抑制するための方法及び装置を提供することにある。
本発明は、残留エコーを抑制するための方法を開示していおり、この方法は、M個の送話器と1個の受話器とからなる通信機器に適用され、ここで、Mは1より大きい自然数であり、上記M個の送話器はアレイを形成するように1列に並んで配置され、この方法は、
M個の送話器信号のそれぞれに対し、受話器信号と適応型フィルタリング処理を行い、M個の適応型フィルタリング信号を得ることと、
第1の適応型フィルタリング信号以外の他のM−1個の適応型フィルタリング信号に対し、それぞれに対応するアレイフィルタリング処理を行うことにより、M−1個のアレイフィルタ出力信号を得るようになり、その中には、受話器と適応型フィルタリング信号に対応する送話器との間の相対位置に応じて、当該適応型フィルタリング信号に対応するアレイフィルタの加重値を確定することと、
第1の適応型フィルタリング信号に対し、上記M−1個のアレーフィルタ出力信号のそれぞれと減算処理を行うことにより、M−1個の差分信号を得て、当該M−1個の差分信号のそれぞれに対し、タイムドメイン/周波数ドメイン変換処理を行い、エネルギーの最も小さい1個の周波数ドメイン信号を選択することと、
第1の適応型フィルタリング信号と第Mの適応型フィルタリング信号とに対し、タイムドメイン/周波数ドメイン変換処理を行った後、音声確率フィルタリング処理を行い、1個の周波数ドメイン音声確率信号を得ることと、
上記周波数ドメイン音声確率信号と、選択されたエネルギーの最も小さい1個の周波数ドメイン信号とに対して乗算処理を行い、その乗算処理の結果に対し、周波数ドメイン/タイムドメイン変換処理を行ってから、残留エコーが抑制された後の音声出力信号とすることとを含む。
上記方法においては、上記周波数ドメイン音声確率信号と選択されたエネルギーの最も小さい1個の周波数ドメイン信号との乗算処理の後、さらに、
乗算処理の結果とタイムドメイン/周波数ドメイン変換後の受話器信号とに対し、周波数スペクトルフィルタリング処理を行い、さらに乗算処理の結果と周波数スペクトルフィルタリング後の結果とに対して減算処理を行い、減算処理後の結果に対し、周波数ドメイン/タイムドメイン変換処理を行ってから、残留エコーが抑制された後の音声出力信号とすることを含む。
上記方法においては、上記の受話器と適応型フィルタリング信号に対応する送話器及び第1の送話器との間の相対位置に応じて、当該適応型フィルタリング信号に対応するアレイフィルタの加重値を確定することは、
第1の適応型フィルタリング信号以外の他のM−1個の適応型フィルタリング信号のうち、現在の適応型フィルタリング信号毎に対し、次式に基づき、アレイフィルタの加重値を確定することを含み、


ここで、hはアレイフィルタ、eは第1の適応型フィルタリング信号、eは上記現在の適応型フィルタリング信号、Dは受話器と第1の送話器との間の距離、Dは受話器と現在の適応型フィルタリング信号に対応する送話器との間の距離、cは音速を表す。
上記方法においては、上記の第1の適応型フィルタリング信号と第Mの適応型フィルタリング信号とに対し、タイムドメイン/周波数ドメイン変換処理を行った後、音声確率フィルタリング処理を行い、1個の周波数ドメイン音声確率信号を得ることは、
第1の適応型フィルタリング信号と第Mの適応型フィルタリング信号とに対しタイムドメイン/周波数ドメイン変換処理を行った2個の結果に基づき、各周波数ポイントでの送話器アレイに達した到達角度α(f)を計算することと、
次に、次式に基づき音声確率pF(f)を計算することとを含み、

ただし、pF(f)は、上記得られた周波数ドメイン音声確率信号を表す。
上記の乗算処理の結果とタイムドメイン/周波数ドメイン変換後の受話器信号とに対し、周波数スペクトルフィルタリング処理を行うことは、
全周波数をN個のサブバンドに分割し、サブバンドの境界はB〜BN+1をとし、各サブバンドにおいて、次のように計算し、
マッチング関数H(f)を計算し、

ただし、iはサブバンド番号、Em(f)は上記乗算処理の結果、X(f)は受話器信号のタイムドメイン/周波数ドメイン変換後の結果を表し、
マッチングエコーY(f)を計算し、
マッチングエコーY(f)と一定の係数Agとを乗算することにより、周波数スペクトルフィルタリング後の結果を得るようになり、
よって、上記の、さらに乗算処理の結果と周波数スペクトルフィルタリング処理の結果とに対して減算処理を行う、ということは、

ようになる。
本発明は、さらに、残留エコーを抑制するための装置を開示しており、この装置は、M個の送話器と1個の受話器とからなる通信機器に適用され、その中、Mは1より大きい自然数であり、上記M個の送話器はアレイを形成するように1列に並んで配置され、上記装置は、M個の適応型フィルタリング手段と、M−1個のアレイフィルタリング手段と、1個の比較セレクタと、1個の音声確率推定手段と、1個の乗算器と1個のタイムドメイン/周波数ドメインコンバータとを含み、その中には、
M個の適応型フィルタリング手段は、M個の送話器信号のそれぞれに対し、受話器信号と適応型フィルタリング処理を行い、M個の適応型フィルタリング信号を出力するためのものであり、
M−1個のアレイフィルタリング手段は、第1の適応型フィルタリング信号以外の他のM−1個の適応型フィルタリング信号のそれぞれに一対一的に対応され、かつ各アレイフィルタリング手段は、1個のアレイフィルタと、1個の減算器と、1個のタイムドメイン/周波数ドメインコンバータとを含み、
その中には、アレイフィルタは、対応した適応型フィルタリング信号に対しアレイフィルタリング処理を行い、減算器に出力するためのものであり、減算器は、第1の適応型フィルタリング信号とアレイフィルタより出力された信号とに対して減算処理を行い、タイムドメイン/周波数ドメインコンバータに出力するためのものであり、タイムドメイン/周波数ドメインコンバータは、受け取った信号に対しタイムドメイン/周波数ドメイン変換処理を行ったて、周波数ドメイン信号を比較セレクタに出力するためのものであり、
比較セレクタは、M−1個のアレイフィルタリング手段より出力されたM−1個の周波数ドメイン信号を受け取り、エネルギーの最も小さい1個の周波数ドメイン信号を選択して乗算器に出力するためのものであり、
音声確率推定手段は、2個のタイムドメイン/周波数ドメインコンバータと1個の音声確率推定器とを含み、その中には、上記2個のタイムドメイン/周波数ドメインコンバータは、それぞれ、第1の適応型フィルタリング信号及び第Mの適応型フィルタリング信号に対しタイムドメイン/周波数ドメイン変換処理を行い、音声確率推定器に出力するためのものであり、音声確率推定器は、受け取った2個の信号に基づき、音声確率フィルタリング処理を行い、1個の周波数ドメイン音声確率信号を乗算器に出力するためのものであり、
乗算器は、受け取った2個の周波数ドメイン信号に乗算処理をして、周波数ドメイン/タイムドメインコンバータに出力するためのものであり、
周波数ドメイン/タイムドメインコンバータは、受け取った信号に対し、周波数ドメイン/タイムドメイン変換処理を行い、残留エコーが抑制された後の音声出力信号とするためのものである。
上記装置は、さらに、上記の乗算器と周波数ドメイン/タイムドメインコンバータとの間に、1個の周波数スペクトルフィルタリング手段を含み、
周波数スペクトルフィルタリング手段は、1個のタイムドメイン/周波数ドメインコンバータと、1個の周波数スペクトルフィルタと、1個の減算器とを含み、その中には、タイムドメイン/周波数ドメインコンバータは、受話器信号に対しタイムドメイン/周波数ドメイン変換処理を行い、周波数スペクトルフィルタに出力するためのものであり、周波数スペクトルフィルタは、乗算器の出力信号とタイムドメイン/周波数ドメインコンバータの出力信号とに対し周波数スペクトルフィルタリング処理を行い、減算器に出力するためのものであり、減算器は、乗算器の出力信号と周波数スペクトルフィルタの出力信号とに対して減算処理を行い、周波数ドメイン/タイムドメインコンバータに出力するためのものである。
上記装置においては、上記アレイフィルタの加重値は、次式に基づき確定され、


ここで、hはアレイフィルタ、eは第1の適応型フィルタリング信号、eは当該アレイフィルタに対応する適応型フィルタリング信号、Dは受話器と第1の送話器との間の距離、Dは受話器と当該アレイフィルタに対応する送話器との間の距離、cは音速を表す。
上記装置においては、上記音声確率推定器は、受け取った2個の信号に基づき、音声信号が各周波数ポイントでの送話器アレイに達した到達角度α(f)を計算するとともに、次式に基づき、音声確率pF(f)を計算し、

pF(f)を周波数ドメイン音声確率信号として減算器に出力する。
上記装置においては、上記周波数スペクトルフィルタは、全周波数をN個のサブバンドに分割し、サブバンドの境界はB〜BN+1をとし、各サブバンドにおいて、次のように計算し、
マッチング関数H(f)を計算し、

ここで、iはサブバンド番号、Em(f)は乗算器の出力信号、X(f)はタイムドメイン/周波数ドメインコンバータの出力信号を表し、
マッチングエコーY(f)を計算し、

マッチングエコーY(f)と一定の係数Agとを乗算することにより、周波数スペクトルフィルタリング後の結果を得て、減算器に出力する。
本発明に係る残留エコーを抑制するための方法及び装置によれば、新たなエコー除去技術を介して残留エコーフィルタリングのデザインとアレイ空間フィルタリングとを組み合わせ、小型ハンズフリー通信機器の音響特性及び送話器と受話器との位置情報を十分に活用し、エコーと近位側の音声との送話器に到達する時間及び位相の差により音声確率情報を抽出し、音声領域とエコー領域とを区別し、これによって、残留エコーを効果的にフィルタリング除去し、近位側の音声が保護されるようになる。
上記及び関連の目的を達成するために、本発明の1つまたは複数の局面は、次に詳述され、請求項に記載される特徴を含む。以下の説明及び添付図面は、本発明の一部の局面を例示して詳しく述べるものとなる。しかしながら、これらの局面は、あくまでも、本発明の原理が使用可能となる様々な実施形態の一部を示すものであり、本発明は、さらに、これらの局面及びその均等物をすべて含むことを意図している。
本発明の他の目的及び結果は、次のような添付図面を参照した説明と請求の範囲とを参考することにより、本発明に対し全面的な理解につれて、より明らかに且つ分かりやすくなるであろう。添付図面においては、
図1は、本発明に使用される受話器と送話器アレイとの相対位置の一実施例の模式図である。 図2は、本発明に使用される小型ハンズフリー通信機器の使用シナリオの一実施例の模式図である。 図3は、本発明の実施例に係る送話器アレイエコー除去システムの模式的なブロック図である。 図4は、送話器信号及び近位側の音声成分のエネルギーの比較模式図である。 図5は、本発明の実施例によるアレイフィルタの形状の模式図である。 図6は、本発明の実施例に係るアレイフィルタによりフィルタリングした効果の模式図である。 図7は、本実施例による音声確率抑制後の信号エネルギーの比較模式図である。 図8は、受話器信号及び残留エコーについての周波数スペクトルの比較模式図である。 図9は、マッチングエコー及び残留エコーについての周波数スペクトルの比較模式図である。 図10は、本発明によるエコーフィルタリング後の最終的な効果の比較模式図である。 図11は、本発明の実施例に係る送話器アレイエコー除去方法の模式的なフローチャート図である。 図12は、本発明の実施例に係る残留エコーフィルタリングの模式的なフローチャート図である。 図13は、本発明の実施例に係る残留エコーを抑制するための装置の汎用構造の模式図である。 図14は、本発明の実施例に係る残留エコーを抑制するための方法の汎用フローチャート図である。また、すべての図面において、同一の符号は類似・相応する特徴や機能を示す。
以下、本発明の具体的な実施例について、添付図面を参照しながら説明する。
本発明は、送話器アレイを使用して残留エコーを除去するため、複数の送話器と単一の受話器とからなる小型ハンズフリー通信機器に適用される。図1及び図2はそれぞれ、本発明に使用される受話器と送話器アレイとの相対位置及び小型ハンズフリー通信機器の使用シナリオの実施例の模式図である。図1及び図2に示すように、この通信機器において、一般的に、受話器は送話器アレイに対して90°方向に配置され、使用者は送話器アレイに対して0°方向にいる。これはある使用シナリオと一致しており、例えば車載ハンズフリーcarkitであって、使用者が送話器アレイに直面するように位置が比較的に固定されている。図1及び図2はデュアル送話器の例を示しており、送話器が2つを超えた多送話器アレーについても、同様の方法で配置される。
使用者にとっては、送話器までの距離がほぼ等しく、つまり、使用者から送信され、送話器アレイにおける各送話器に受け取られる使用者からの音声信号は、基本的に同じとなる。しかし、受話器にとっては、送話器のそれぞれまでの距離が異なっており、デュアル送話器アレイを例としては、もし受話器から送話器1までの距離をDとし、受話器から送話器2までの距離をDとし、且つD≧2Dであり、例えば、D=9センチ、D=4センチとすると、受話器から2個の送話器に送信されたエコーの間は位相差がある一方、使用者から2個の送話器に送信された音声は同じ位相を持っているため、位相関係の違いに応じて、音声とエコーとが区別され、エコーから音声を分離する目的を達成することができる。本発明は、このような位相関係の違いこそを利用してエコーから音声を分離する。
図3は、本発明の実施例に係る送話器アレイエコー除去システムの模式的なブロック図である。
図3に示すように、本発明が提供する送話器アレイエコー除去システム300は、主に、適応型エコーフィルタリング手段320と、残留エコーフィルタリング手段340との両部分によって構成され、構造上では、適応型エコーフィルタリング手段320と残留エコーフィルタリング手段340とがカスケード接続されている。適応型エコーフィルタリング手段320の入力は、受話器信号と、送話器アレイの2個の送話器信号であり、残留エコーフィルタリング手段340の入力信号は、受話器信号と、適応型エコーフィルタリング手段320の2個の出力であり、残留エコーフィルタリング手段340の出力信号は、送話器アレイエコー除去システムの出力となり、即ち、エコーが分離された音声信号である。
送話器アレイエコー除去システム300の全体的な応用の観点から、本発明が提供する送話器アレイエコー除去システムは、送話器と受話器との間に接続されており、受話器信号x及び送話器信号d(送話器アレイにおけるすべての信号d、d、…、dを含む)は、システムの入力であり、送話器信号dは、エコー信号yと近位側の音声信号vとからなる。2個の送話器信号は、適応型エコーフィルタリング手段320を経て、エコー成分がほとんどフィルタリング除去され、一部だけの残留エコーが、残留エコーフィルタリング手段340に入り込み、残留エコーフィルタリング手段340を経た後、残留エコーもフィルタリング除去される。最終的には、近位側の音声信号vのみが得られ、エコーが分離された音声信号として送話器アレイエコー除去システム300により音声通信のリモート側に送られる。
図4は、送話器信号及び近位側の音声成分についてのエネルギーの比較模式図である。図4に示すように、典型的な応用においては、実線は送話器信号dを表し、破線は送話器信号における近位側の音声成分vを表し、点線はエコー成分yを表す。送話器信号において、近位側の音声成分のエネルギーは非常に低く、完全にエコーの中に沈めていることが分かる。
以下、適応型エコーフィルタリング手段320及び残留エコーフィルタリング手段340についての構造及び信号処理過程を例示的に説明する。
適応型エコーフィルタリング手段320は、受話器信号と送話器アレイの信号とを受け取り、エコーフィルタリング信号アレイを得るように、受け取った受話器信号に基づいて、送話器アレイにおける送話器信号毎に対してエコーフィルタリング処理を行う。図3に示す実施例においては、適応型エコーフィルタリング手段320の入力には、受話器信号x及び送話器信号d、dの3個あり、出力は適応型フィルタリング後のエコーフィルタリング信号アレイとなり、図3に示す実施例においてはe、eとなる。本発明では、適応型エコーフィルタリング手段320部分は、汎用の適応型エコーフィルタリングと類似した動作原理を持ち、タイムドメイン又は周波数ドメイン、若しくはタイムドメイン・周波数ドメイン混合のフィルタリングモードを採用することができる。
この実施例では、適応型エコーフィルタリング手段320は、それぞれ送話器アレイにおける送話器毎に対応するように設けられているフィルタ321と、フィルタリングコントローラ322と、加算器323とを含んでいる。その中には、フィルタ及びフィルタリングコントローラは、それぞれ適応型フィルタ及び適応型フィルタリングコントローラであり、受話器信号と送信器信号との類似性を比較することにより、適応的にエコー信号をマッチングし、かつ加算器323を介して送話器信号からエコー信号をフィルタリング除去して、対応するエコーフィルタリング信号を得るようにしている。
残留エコーフィルタリング手段340は、適応型エコーフィルタリング手段320とカスケード接続され、受け取った受話器信号に基づき、適応型エコーフィルタリング手段320より出力されたエコーフィルタリング信号アレイに対し、残留エコーフィルタリングを行う。つまり、残留エコーフィルタリング手段340の出力には、受話器信号x及び適応型エコーフィルタリング手段320より出力されたエコーフィルタリング信号アレイe、eの3個があり、出力はすべてのエコー成分が除去された音声信号eoutとなる。この実施例での残留エコーフィルタリング手段340は、主に、アレイフィルタ341と、第1の加算器342と、タイムドメイン/周波数ドメインコンバータ343と、音声確率推定器344と、乗算器345とを含み、さらに、周波数スペクトルフィルタ346と、第2の加算器347と、周波数ドメイン/タイムドメインコンバータ348とを含んでもよい。
残留エコーフィルタリング手段340が受話器信号と適応型エコーフィルタリング手段320より出力されたエコーフィルタリング信号アレイとを受け取った後、タイムドメイン/周波数ドメインコンバータ343は、周波数ドメインの音声確率推定を行うように、エコーフィルタリング信号アレイにおけるエコーフィルタリング信号e、eを、それぞれタイムドメインから周波数ドメインに変換する。タイムドメイン/周波数ドメイン変換は、フーリエ変換を介して実行してもよいし、改良された離散数字コサイン変換等を介して実行してもよい。
その中には、アレイフィルタ341とエコーフィルタリング信号アレイにおける信号eとが畳み込まれ、畳み込まれた結果により、eにおける残留エコー成分を予め除去しておく。
受話器と送話器アレイとの位置の差のため、送話器1におけるエコーは、送話器2におけるエコーと1個のアレイフィルタとが畳み込まれたものに近似している。従って、このような1個のアレイフィルタと送話器2におけるエコーフィルタリング信号eとが畳み込まれ、さらに送話器1から差し引かれると、送話器1における残留エコー成分が低減され、第1の残留エコーフィルタリング信号emが得られるようになる。この第1の残留エコーフィルタリング信号emは、エコーフィルタリング信号e、eそれぞれの上に、一部の残留エコーが予め除去されたものとなる。以下、アレイフィルタ341の加重値を次のように分析・推論する。
図1に示す通信機器においては、送話器と受話器との位置が確定されている。音の伝播の物理特性によると、エコーが2個の送話器同士までの相対関係も確定されている。受話器が音を発する場合、受話器の中央における音をsとすると、2個の送話器に伝播する信号s、sは、近似的に次の通りとなる。

従って、以下の近似関係が成り立つ、

ただし、D及びDはそれぞれ、受話器から送話器1及び送話器2までの距離を表し、tは現在の時刻を表し、cは音速を表す。ρは受話器の電気特性によって確定されるエネルギー減衰係数を表し、一定値である。
2個の残留エコーも類似した関係を持っており、次の近似関係を満たす。
従って、アレイフィルタの加重値は、受話器と送話器との間の相対位置により確定されることができ、即ち、幅はD/Dであり、時間遅延は(D−D)/cである。
図5は、本発明の実施例によるアレイフィルタの形態の模式図である。図5に示すように,受話器から2個の送話器のそれぞれまでの距離であるD=9センチ、D=4センチを例として、フィルタのピーク位置は、時間遅延が(D−D)/cとなり、幅が近似的にD/Dとなる。このアレイフィルタの加重値は、具体的な応用必要に応じて、オフラインで事前に計算し、固定してもよい。
図6は、本発明の実施例に係るアレイフィルタによるフィルタリング後の効果模式図である。図6に示すように、点線部分は適応型エコーフィルタリング後の信号Eを表し、実線部分はアレイフィルタリング後の信号Emを表し、破線部分は近位側の音声成分Vを表す。図6における3部分の信号のエネルギーの比較から分かるように、アレイフィルタ341によってアレイフィルタリングされる前後、残留エコーのエネルギーが変化され、平均的に約6dB低減された。効果比較模式図から、アレイフィルタ341により一部のエコー信号をある程度フィルタリング除去できることが十分に分かる。
2個以上の送話器を備える送話器アレイについては、アレイフィルタ341の計算方法がこの2個の送話器を備えている送話器アレイの計算方法と類似している。送話器の数をM個とし、適応型エコーフィルタリングの出力信号をE、E〜Eとする場合、送話器1と他の送話器kとの間のアレイフィルタh(1<k≦M)は、送話器1と他の送話器kとの間の相対位置に応じて計算することができる。このように、(M−1)個のアレイフィルタにより(M−1)個のアレイフィルタの出力Em1_kが得られ、その中エネルギーの最も小さい出力をとって最終のEmとすればよい。
アレイフィルタの計算は、最小平均二乗誤差という基準を満たす必要がある。このアレイフィルタをhとすると、hは次式を満たす必要がある。
ここで、E[.]は、平均値を取る演算を表す。アレイフィルタの出力信号をemとすると、

、及び、

となり、ここで、Lは、アレイフィルタの長さを表す。
上記アレイフィルタ及び加算器のエコーフィルタリング処理により、得られた第1の残留エコーフィルタリング信号には、依然として、一部のエコー信号が残られている。従って、得られた第1の残留エコーフィルタリング信号emに基づき、本発明は、その中の残留エコーに対し、さらなるフィルタリング処理を行う。この層のエコーフィルタリング処理は、主に音声確率推定器と乗算器とを組み合わせて使用することで行われる。
まず、アレイフィルタ341が畳み込みによって信号eにおける一部のエコー信号をフィルタリング除去し、emを出力した後、タイムドメイン/周波数ドメインコンバータ343を利用して、この信号emをタイムドメインから周波数ドメインに変換する、即ち、emからEmに変換する必要がある。
音声確率推定器344は、2個のエコーフィルタリング信号e及びeがタイムドメイン/周波数ドメイン変換を経た後の2個の信号E及びEの時間及び位相の関係を比較することにより、2個のエコーフィルタリング信号における音声及びエコーがどの周波数ドメインに分布しているかを示す周波数ドメイン音声確率情報pFを得るようにしている。
音声確率推定の動作原理は、以下の通りとなる。2個の送話器信号E、Eのいずれにも、残留エコーと音声信号とが含まれており、残留エコーが90°方向から来るもので、位相差を有しており、音声信号が0°方向から来るもので、同じ位相である。従って、近位側の音声が強く、音声成分が多いほど、EとEとの位相が近づくようになる。一方、近位側の音声が弱く、音声成分が少ないほど、EとEとの位相差が明らかになる。各周波数ポイントでのEとEとの位相を比較することにより、送話器アレイにより得られた音声信号の周波数での分布を得ることができる。
具体的には、音声信号の空間での到達角度、即ち、音声信号がどの方向から来たことは、EとEに基づき算出される。もし信号は、90°方向から来た場合、エコー信号となり、音声確率は0となる。一方、もし信号は、0°方向から来た場合、音声方向となり、音声確率は1となる。信号は、0°と90°との間で方向αから来た場合、音声確率は0と1との間にあり、具体的な値は、1−α/90となる。
音声確率の判断を経て、各周波数ポイントでの音声の確率は計算し得られ、

ここで、fは周波数である。
2個以上の送話器を備える送話器アレイの場合、音声確率は、第1及び第Mの送話器の適応型フィルタリング出力信号E及びEに基づき計算されてもよく、その計算方法は、デュアル送話器アレイの場合と同じである。
アレイフィルタリング後の信号emをタイムドメイン/周波数ドメイン変換によりEmに変換し、音声確率pFとを乗算することにより、出力信号Emが得られる。
図7は、本実施例による音声確率抑制後の信号エネルギーの比較模式図である。図7に示すように、点線部分はアレイフィルタリング後の信号Emを表し、実線部分は音声確率抑制後の信号Emを表し、破線部分は近位側の音声成分Vを表す。図7における3部分の信号のエネルギーの対照から分かるように、アレイフィルタリング及び音声確率乗算を経て、残留エコー信号はさらに低減されることに対して、音声成分は残されている。Emの音声/エコー比は、Eよりも10dB以上向上ことが可能となるので、残留エコーが更に抑制され、より純粋な近位側の音声が得られる。
また、Emにおける残留エコーは、さらに周波数スペクトルフィルタ346によって除去することができる。エネルギーから見れば、残留エコーは、エネルギーのピークを多数持っており、ピークを抑制すれば、残留エコーをさらに除去することができる。
図8は、受話器信号及び残留エコーについての周波数スペクトルの比較模式図である。図8に示すように、実線部分は残留エコーを表し、点線部分は受話器信号を表す。エコーが受話器信号により生成されたものであるため、エコーと受話器信号との高調波のピーク位置が同じまたは近いであり、全体としての起伏形状及び信号エネルギーだけが異なっている。従って、受話器信号と残留エコー信号とに対して周波数スペクトル包絡形のマッチングを行い、さらに一定の係数のAgを乗算するようにエネルギーマッチングを行うとともに、残留エコー信号とに位相マッチングを行うことにより、マッチングエコーを得ることが可能である。その後、マッチングエコーを残留エコー信号から差し引くことにより、残留エコーが除去されるようになる。Agは1以上の係数を表し、一般的には1〜8の範囲を取り、残留エコーのエネルギーに応じて確定される。残留エコーを完全に除去するためには、残留エコーが強くなると、Agが大きくなるべきであり、周波数スペクトルフィルタリングの強さも大きくなるが、近位側の音声へのダメージも大きくなる。これに対して、音声確率推定の処理を経て残留エコーが既に弱くなったので、マッチングエコーは小さい値を取ってもよく、あまり強くない周波数スペクトルフィルタリングによっても残留エコーを除去することができる。それに対応して、近位側の音声は、良好に維持されることができる。
具体的には、周波数スペクトルフィルタ346の周波数スペクトルフィルタリング過程は、次の通りとなる。
まず、受話器信号と残留エコー信号とに対して周波数スペクトル包絡形のマッチングを行うことにより、エコー推定が得られる。これは、次の方法で行うことが可能である。
全周波数はM個のサブバンドに分割され、サブバンドの境界はB〜Bをとし、Mは32または16であってもよい。各サブバンドにおいてEmとXのエネルギーが計算され、それらのエネルギーを除算することによってエネルギーマッチング関数Hが得られる。受話器信号XとHとを乗算することにより、マッチングエコーYが得られる。
図9は、マッチングエコー及び残留エコーについての周波数スペクトルの比較模式図である。図9に示すように、実線部分は残留エコーを表し、点線部分はマッチングエコーを表し、マッチング効果が比較的に明らかである。
マッチング関数を計算する方法は、次式で示される。第Mのサブバンドに属した周波数ポイントfのマッチング関数は、次の通りとなる。
一方、周波数スペクトル包絡形のマッチングを経たエコーは、次の通りとなる。

エネルギーマッチング及び位相マッチングをさらに経て得られたエコー推定信号は、次の通りとなる。
最後に、加算器を用いて信号Emからエコー推定信号を差し引いて、最終の音声出力信号が得られるようになる。
エコーの音声に対する影響が最終的に解消された後、また周波数ドメイン/タイムドメインコンバータを用いて、音声信号を周波数ドメインからタイムドメインに再変換する必要がある。周波数ドメイン/タイムドメイン変換は、逆フーリエ変換を介して実行してもよいし、逆離散数字コサイン変換等を介して実行してもよい。
周波数ドメイン/タイムドメイン変換を経て、周波数ドメイン信号Eoutはるタイムドメイン信号eoutに変換され、送話器アレイエコー除去システム300の全体的な出力となる。
図10は、本発明によるエコーフィルタリング後の最終的な効果の比較模式図である。図10に示すように、実線は送話器信号dを表し、破線は送話器信号における近位側の音声信号成分vを表し、点線はシステムの出力信号eoutを表す。図10における信号エネルギーの対照から分かるように、エコーのみが存在する領域では出力信号eoutのエネルギーが非常に小さいことは、エコーが徹底的に抑制されたことを示しており、近位側の音声が存在する部分ではシステム出力と音声成分とが近いエネルギーを持っていることは、近位側の音声が十分に保護されたことを示している。
図11は、本発明の実施例に係る送話器アレイエコー除去方法の模式的なフローチャート図である。図11に示すように、この方法は、ステップS1110から開始する。送話器アレイが近位側の音声信号v及び受話器信号xを受け取った後、まず、受話器信号に基づき、送話器アレイ信号に対し適応型エコーフィルタリングを行うことにより、エコーフィルタリング信号アレイが得られる。具体的に、2個の送話器を備える送話器アレイについて、送話器1によって受け取った音声信号dは、近位側の音声信号vと受話器により生成されたエコー信号yとを含み、即ち、d=y+vとなり、送話器2によって受け取った音声信号dは、近位側の音声信号vと受話器により生成されたエコー信号yとを含んでいる、即ち、d=y+vとなる。これらの2個の送話器によって受け取った音声信号に対して適応型フィルタリングが行われ、通常、適応型フィルタと、適応型フィルタリングコントローラと、加算器から構成される適応型フィルタリング手段によって実現される。適応型フィルタリングの後、エコーフィルタリング信号アレイが得られて、この実施例ではeとeになる。
次に、ステップS1120において、受け取った受話器信号に基づき、得られたエコーフィルタリング信号アレイに対し、残留エコーのフィルタリングを行う。残留エコーのフィルタリングは、適応型フィルタリング手段とカスケード接続されている残留エコーフィルタリング手段によって実現され、具体的なフィルタリング過程は、図12に示されている。
図12は、本発明の実施例に係る残留エコーフィルタリングのフローチャートを示す図である。図12に示すように、予めの適応型フィルタリングを経て、送話器によって受け取った信号には、一部のエコーが残っているままとなっている。この時、まず、エコーフィルタリング信号アレイにおける1個のエコーフィルタリング信号から、他の1個のエコーフィルタリング信号とアレイフィルタとを畳み込むことにより生成された信号を差し引くことにより、第1の残留エコーフィルタリング信号が出力され(ステップS121)、その中には、アレイフィルタの加重値は、受話器と送話器アレイとの間の相対位置関係によって確定される。続いて、エコーフィルタリング信号アレイにおける各エコーフィルタリング信号及び第1の残留エコーフィルタリング信号は、それぞれタイムドメインから周波数ドメインに変換され(ステップS122)、その中には、エコーフィルタリング信号アレイにおける各エコーフィルタリング信号をそれぞれタイムドメインから周波数ドメインに変換する処理と、ステップS121におけるフィルタリング処理とは、順序には必然的な前後がなく、同時に行ってもよいし、順番に行ってもよい。
エコーフィルタリング信号アレイにおける各エコーフィルタリング信号をそれぞれタイムドメインから周波数ドメインに変換した後、ステップS123においては、タイムドメイン/周波数ドメインコンバータによって変換されたエコーフィルタリング信号アレイにおける各エコーフィルタリング信号の時間及び位相の関係を比較することにより、音声及びエコーの分布領域における周波数ドメイン音声確率情報が確定される。
次に、ステップS124においては、確定された周波数ドメイン音声確率情報に応じて、上記のタイムドメインから周波数ドメインに変換された第1の残留エコーフィルタリング信号における残留エコー信号をさらに低減することにより、第2の残留エコーフィルタリング信号が得られる。このフィルタリング過程は、第1の残留エコーフィルタリング信号と確定された周波数ドメイン音声確率とを乗算させることによって実現される。
続いて、ステップS125においては、受け取った受話器信号と第2の残留エコーフィルタリング信号に基づき、周波数スペクトルフィルタを用いて、エコー推定信号が確定される。具体的には、受話器信号と残留エコー信号とに対して周波数スペクトル包絡形のマッチングが行われ、次に1つの係数Agを乗算するようにエネルギーのマッチングが行われる。且つ、第2の残留エコーフィルタリング信号とに位相マッチングを行うことにより、マッチングエコーが得られ、その後、得られたマッチングエコーに応じて、エコー推定信号が確定される。係数Agの値は1以上の実数であり、一般的には1〜8の範囲を取り、残留エコーの強さに応じて確定される。
ステップS126においては、第2の残留エコーフィルタリング信号から確定されたエコー推定信号を差し引くことにより、分離された音声信号が得られる。
最後に、ステップS127においては、分離された音声信号は、周波数ドメインからタイムドメインに変換される。
上記実施例では、2個の送話器を備える送話器アレイを例として説明した。実際の応用では、送話器アレイにおける送話器の数は、より大きい数値であってもよく、例えば3、4、5等である。以下、本発明に係る残留エコーを抑制するための汎用の装置及び方法について説明する。
図13は、本発明の実施例に係る残留エコーを抑制するための装置の汎用構造の模式図である。この装置は、M個の送話器と1個の受話器とからなる通信機器に適用される。ここで、Mは1より大きい自然数であり、上記M個の送話器はアレイを形成するように1列に並んで配置される。図13に示すように、この装置は、M個の適応型フィルタリング手段と、M−1個のアレイフィルタリング手段と、1個の比較セレクタと、1個の音声確率推定手段と、1個の乗算器と1個のタイムドメイン/周波数ドメインコンバータとを含み、その中には、
M個の適応型フィルタリング手段は、M個の送話器信号のそれぞれに対し、受話器信号と適応型フィルタリング処理を行い、M個の適応型フィルタリング信号を出力するためのものであり、
M−1個のアレイフィルタリング手段は、第1の適応型フィルタリング信号以外の他のM−1個の適応型フィルタリング信号のそれぞれに一対一的に対応され、かつ各アレイフィルタリング手段は、1個のアレイフィルタと、1個の減算器と、1個のタイムドメイン/周波数ドメインコンバータとを含み、
その中には、アレイフィルタは、対応した適応型フィルタリング信号に対しアレイフィルタリング処理を行った後、減算器に出力するためのものであり、減算器は、第1の適応型フィルタリング信号とアレイフィルタより出力された信号とに対し減算処理を行った後、タイムドメイン/周波数ドメインコンバータに出力するためのものであり、タイムドメイン/周波数ドメインコンバータは、受け取った信号に対しタイムドメイン/周波数ドメイン変換処理を行った後、周波数ドメイン信号を比較セレクタに出力するためのものであり、
比較セレクタは、M−1個のアレイフィルタリング手段より出力されたM−1個の周波数ドメイン信号を受け取り、エネルギーの最も小さい1個の周波数ドメイン信号を選択して乗算器に出力するためのものであり、
音声確率推定手段は、2個のタイムドメイン/周波数ドメインコンバータと1個の音声確率推定器とを含み、その中には、上記2個のタイムドメイン/周波数ドメインコンバータは、それぞれ、第1の適応型フィルタリング信号及び第Mの適応型フィルタリング信号に対しタイムドメイン/周波数ドメイン変換処理を行った後、音声確率推定器に出力するためのものであり、音声確率推定器は、受け取った2個の信号に基づき、音声確率フィルタリング処理を行い、1個の周波数ドメイン音声確率信号を乗算器に出力するためのものであり、
乗算器は、受け取った2個の周波数ドメイン信号を乗算した後、周波数ドメイン/タイムドメインコンバータに出力するためのものであり、
周波数ドメイン/タイムドメインコンバータは、受け取った信号に対し、周波数ドメイン/タイムドメイン変換処理を行い、残留エコーが抑制された後の音声出力信号とするためのものである。
図13に示す装置においては、Mが2である場合、上記比較セレクタは、1個のアレイフィルタリング手段より出力された1個の周波数ドメイン信号を受け取って、この周波数ドメイン信号を乗算器に出力するために用いる。あるいは、図13に示す装置は、比較セレクタを含まず、アレイフィルタリング手段におけるタイムドメイン/周波数ドメインコンバータが直接に周波数ドメイン信号を乗算器に出力するように構成され、この時、図13に示す装置は図3に示した装置に変形される。
図13に示すように、この装置は、さらに、上記の乗算器と周波数ドメイン/タイムドメインコンバータとの間に、1個の周波数スペクトルフィルタリング手段を含み、
周波数スペクトルフィルタリング手段は、1個のタイムドメイン/周波数ドメインコンバータと、1個の周波数スペクトルフィルタと、1個の減算器とを含み、その中には、タイムドメイン/周波数ドメインコンバータは、受話器信号に対しタイムドメイン/周波数ドメイン変換処理を行い、周波数スペクトルフィルタに出力するためのものであり、周波数スペクトルフィルタは、乗算器の出力信号とタイムドメイン/周波数ドメインコンバータの出力信号とに対し周波数スペクトルフィルタリング処理を行い、減算器に出力するためのものであり、減算器は、乗算器の出力信号と周波数スペクトルフィルタの出力信号とに対して減算処理をして、周波数ドメイン/タイムドメインコンバータに出力するためのものである。
図13に示す装置において、上記のアレイフィルタの加重値は、次式に基づき確定され、


ここで、hはアレイフィルタ、eは第1の適応型フィルタリング信号、eは当該アレイフィルタに対応する適応型フィルタリング信号、Dは受話器と第1の送話器との間の距離、Dは受話器と当該アレイフィルタに対応する送話器との間の距離、cは音速を表す。
図13に示す装置において、上記音声確率推定器は、受け取った2個の信号に基づき、音声信号が各周波数ポイントでの送話器アレイに達した到達角度α(f)を計算するとともに、次式

に基づき、音声確率pF(f)を計算し、pF(f)を周波数ドメイン音声確率信号として減算器に出力する。
図13に示す装置において、上記周波数スペクトルフィルタは、全周波数をN個のサブバンドに分割し、サブバンドの境界はB〜BN+1をとし、各サブバンドにおいて、次式のように計算し、
マッチング関数H(f)を計算し、

ここで、iはサブバンド番号、Em(f)は乗算器の出力信号、X(f)はタイムドメイン/周波数ドメインコンバータの出力信号を表し、
マッチングエコーY(f)を計算し、

マッチングエコーY(f)と一定の係数Agとを乗算することにより得られた周波数スペクトルフィルタリング後の結果を減算器に出力する。
図14は、本発明の実施例に係る残留エコーを抑制するための方法の汎用フローチャート図である。この方法は、M個の送話器と1個の受話器とからなる通信機器に適用される。ここで、Mは1より大きい自然数であり、上記M個の送話器はアレイを形成するように1列に並んで配置される。この方法は、
1401であって、M個の送話器信号のそれぞれに対し、受話器信号と適応型フィルタリング処理を行い、M個の適応型フィルタリング信号を得ることと、
1402であって、第1の適応型フィルタリング信号以外の他のM−1個の適応型フィルタリング信号に対し、それぞれに対応するアレイフィルタリング処理を行うことにより、M−1個のアレイフィルタ出力信号を得るようになり、その中には、受話器と適応型フィルタリング信号に対応する送話器との間の相対位置に応じて、当該適応型フィルタリング信号に対応するアレイフィルタの加重値を確定することと、
1403であって、第1の適応型フィルタリング信号に対し、上記M−1個のアレーフィルタ出力信号のそれぞれと減算処理を行うことにより、M−1個の差分信号を得て、当該M−1個の差分信号のそれぞれに対し、タイムドメイン/周波数ドメイン変換処理を行い、エネルギーの最も小さい1個の周波数ドメイン信号を選択することと、
1404であって、第1の適応型フィルタリング信号と第Mの適応型フィルタリング信号とに対し、タイムドメイン/周波数ドメイン変換処理を行った後、音声確率フィルタリング処理を行い、1個の周波数ドメイン音声確率信号を得ることと、
1405であって、上記周波数ドメイン音声確率信号と、選択されたエネルギーの最も小さい1個の周波数ドメイン信号とに対して乗算処理を行い、その乗算処理の結果に対し、周波数ドメイン/タイムドメイン変換処理を行ってから、残留エコーが抑制された後の音声出力信号とすることとを含む。
図14に示す方法において、上記Mが2である場合は、
上記の第1の適応型フィルタリング信号以外の他のM−1個の適応型フィルタリング信号に対し、それぞれの対応するアレイフィルタリングにより処理を行うことにより、M−1個のアレイフィルタ出力信号を得ることは、第1の適応型フィルタリング信号以外の他の1個の適応型フィルタリング信号に対し、アレイフィルタにより処理を行い、1個のアレイフィルタ出力信号を得ることとなり、
上記の第1の適応型フィルタリング信号と、それぞれM−1個のアレーフィルタ出力信号とに対して減算処理を行うことにより、M−1個の差分信号を得て、当該M−1個の差分信号のそれぞれに対し、タイムドメイン/周波数ドメイン変換処理を行い、エネルギーの最も小さい1個の周波数ドメイン信号を選択することは、第1の適応型フィルタリング信号と他の1個のアレーフィルタ出力信号とに対して減算処理を行うことにより、1個の差分信号を得て、当該差分信号に対し、タイムドメイン/周波数ドメイン変換処理を行うこととなり、
上記の上記周波数ドメイン音声確率信号と、選択されたエネルギーの最も小さい1個の周波数ドメイン信号とに乗算処理を行うことは、上記周波数ドメイン音声確率信号と、上記差分信号に対しタイムドメイン/周波数ドメイン変換処理を行った後の信号とに乗算処理を行うこととなる。
図14に示す方法においては、上記周波数ドメイン音声確率信号と、選択されたエネルギーの最も小さい1個の周波数ドメイン信号とに乗算処理を行う後に、さらに、
乗算処理の結果とタイムドメイン/周波数ドメイン変換後の受話器信号とに対し、周波数スペクトルフィルタリング処理を行い、さらに乗算処理の結果と周波数スペクトルフィルタリング後の結果とに対して減算処理を行い、減算処理後の結果に対し、周波数ドメイン/タイムドメイン変換処理を行ってから、残留エコーが抑制された後の音声出力信号とすることを含む。
図14に示す方法においては、上記の受話器と適応型フィルタリング信号に対応する送話器及び第1の送話器との間の相対位置に応じて、当該適応型フィルタリング信号に対応するアレイフィルタの加重値を確定することは、
第1の適応型フィルタリング信号以外の他のM−1個の適応型フィルタリング信号のうち、現在の適応型フィルタリング信号毎に対し、次式に基づき、アレイフィルタの加重値を確定することを含み、


ここで、hはアレイフィルタ、eは第1の適応型フィルタリング信号、eは上記現在の適応型フィルタリング信号、Dは受話器と第1の送話器との間の距離、Dは受話器と現在の適応型フィルタリング信号に対応する送話器との間の距離、cは音速を表す。
図14に示す方法においては、上記の第1の適応型フィルタリング信号と第Mの適応型フィルタリング信号とに対し、タイムドメイン/周波数ドメイン変換処理を行った後、音声確率フィルタリング処理を行い、1個の周波数ドメイン音声確率信号を得ることは、
第1の適応型フィルタリング信号と第Mの適応型フィルタリング信号とに対しタイムドメイン/周波数ドメイン変換処理を行った2個の結果に基づき、各周波数ポイントでの送話器アレイに達した到達角度α(f)を計算することと、
次に、次式に基づき音声確率pF(f)を計算することとを含み、

pF(f)は、上記得られた周波数ドメイン音声確率信号を表す。
図14に示す方法おいては、上記の乗算処理の結果とタイムドメイン/周波数ドメイン変換後の受話器信号とに対し、周波数スペクトルフィルタリング処理を行うことは、
全周波数をN個のサブバンドに分割し、サブバンドの境界はB〜BN+1をとし、各サブバンドにおいて、次式のように計算し、
マッチング関数H(f)を計算し、

ただし、iはサブバンド番号、Em(f)は上記乗算処理の結果、X(f)は受話器信号のタイムドメイン/周波数ドメイン変換後の結果を表し、
マッチングエコーY(f)を計算し、

マッチングエコーY(f)と一定の係数Agとを乗算することにより、周波数スペクトルフィルタリング後の結果を得るようになり、
よって、上記の、さらに乗算処理の結果と周波数スペクトルフィルタリング処理の結果とに対して減算処理を行う、ということは、

ようになる。
ここで、iはサブバンド番号、Em(f)は上記乗算処理の結果、X(f)は受話器信号のタイムドメイン/周波数ドメイン変換後の結果を表す。
上記ように、本発明に係る、エコーを除去するための送話器アレー残留エコー除去方法及びシステムについて添付図面を参照しながら例示して説明した。言うまでもなく、本発明の概念から逸脱しなければ、当業者は、創造的な努力をせずに、本明細書に開示された特定の装置及び技術に対し、多くの応用及び変更を行うことができ、また、本明細書に開示された特定の装置及び技術とは異ならせることもできる。従って、本発明は、本明細書に開示された装置及び技術が提出しているまたは有している各新規な特徴と各新規な特徴の組み合わせとを含むものとして理解すべき、当業者が本明細書に開示された内容に基づいて行った同等の修正及び変更は、すべて、本願の請求の範囲内に該当するものとする。

Claims (10)

  1. 残留エコーを抑制するための方法であって、M個の送話器と1個の受話器とからなる通信機器に適用され、Mは1より大きい自然数であり、上記M個の送話器はアレイを形成するように1列に並んで配置され、この方法は、
    M個の送話器信号のそれぞれに対し、受話器信号と適応型フィルタリング処理を行い、M個の適応型フィルタリング信号を得ることと、
    第1の適応型フィルタリング信号以外の他のM−1個の適応型フィルタリング信号に対し、それぞれに対応するアレイフィルタリング処理を行うことにより、M−1個のアレイフィルタ出力信号を得るようになり、その中には、受話器と適応型フィルタリング信号に対応する送話器との間の相対位置に応じて、当該適応型フィルタリング信号に対応するアレイフィルタの加重値を確定することと、
    第1の適応型フィルタリング信号に対し、上記M−1個のアレーフィルタ出力信号のそれぞれと減算処理を行うことにより、M−1個の差分信号を得て、当該M−1個の差分信号のそれぞれに対し、タイムドメイン/周波数ドメイン変換処理を行い、エネルギーの最も小さい1個の周波数ドメイン信号を選択することと、
    第1の適応型フィルタリング信号と第Mの適応型フィルタリング信号とに対し、タイムドメイン/周波数ドメイン変換処理を行った後、音声確率フィルタリング処理を行い、1個の周波数ドメイン音声確率信号を得ることと、
    上記周波数ドメイン音声確率信号と、選択されたエネルギーの最も小さい1個の周波数ドメイン信号とに対して乗算処理を行い、その乗算処理の結果に対し、周波数ドメイン/タイムドメイン変換処理を行ってから、残留エコーが抑制された後の音声出力信号とすることとを含むこと
    を特徴とする方法。
  2. 上記の上記周波数ドメイン音声確率信号と、選択されたエネルギーの最も小さい1個の周波数ドメイン信号とに対し乗算処理を行った後に、さらに、
    乗算処理の結果とタイムドメイン/周波数ドメイン変換後の受話器信号とに対し、周波数スペクトルフィルタリング処理を行い、さらに乗算処理の結果と周波数スペクトルフィルタリング後の結果とに対して減算処理を行い、減算処理の結果に対し、周波数ドメイン/タイムドメイン変換処理を行ってから、残留エコーが抑制された後の音声出力信号とすることを含むこと
    を特徴とする請求項1に記載の方法。
  3. 上記の受話器と適応型フィルタリング信号に対応する送話器及び第1の送話器との間の相対位置に応じて、当該適応型フィルタリング信号に対応するアレイフィルタの加重値を確定することは、
    第1の適応型フィルタリング信号以外の他のM−1個の適応型フィルタリング信号のうち、現在の適応型フィルタリング信号毎に対し、次式に基づき、アレイフィルタの加重値を確定することを含み、


    ここで、hはアレイフィルタ、eは第1の適応型フィルタリング信号、eは上記現在の適応型フィルタリング信号、Dは受話器と第1の送話器との間の距離、Dは受話器と現在の適応型フィルタリング信号に対応する送話器との間の距離、cは音速を表すこと
    を特徴とする請求項1に記載の方法。
  4. 上記の第1の適応型フィルタリング信号と第Mの適応型フィルタリング信号とに対し、タイムドメイン/周波数ドメイン変換処理を行った後、音声確率フィルタリング処理を行い、1個の周波数ドメイン音声確率信号を得ることは、
    第1の適応型フィルタリング信号と第Mの適応型フィルタリング信号とに対しタイムドメイン/周波数ドメイン変換処理を行った2個の結果に基づき、各周波数ポイントでの送話器アレイに達した到達角度α(f)を計算することと、
    次に、次式に基づき音声確率pF(f)を計算することとを含み、

    pF(f)は、上記得られた周波数ドメイン音声確率信号を表すこと
    を特徴とする請求項1に記載の方法。
  5. 上記の乗算処理の結果とタイムドメイン/周波数ドメイン変換後の受話器信号とに対し、周波数スペクトルフィルタリング処理を行うことは、
    全周波数をN個のサブバンドに分割し、サブバンドの境界はB〜BN+1をとし、各サブバンドにおいて、次式のように計算し、
    マッチング関数H(f)を計算し、

    ただし、iはサブバンド番号、Em(f)は上記乗算処理の結果、X(f)は受話器信号のタイムドメイン/周波数ドメイン変換後の結果を表し、
    マッチングエコーY(f)を計算し、

    マッチングエコーY(f)と一定の係数Agとを乗算することにより、周波数スペクトルフィルタリング後の結果を得るようになり、
    よって、上記の、さらに乗算処理の結果と周波数スペクトルフィルタリング処理の結果とに対して減算処理を行う、ということは、

    ようになること
    を特徴とする請求項2に記載の方法。
  6. 残留エコーを抑制するための装置であって、M個の送話器と1個の受話器とからなる通信機器に適用され、Mは1より大きい自然数であり、上記M個の送話器はアレイを形成するように1列に並んで配置され、上記装置は、M個の適応型フィルタリング手段と、M−1個のアレイフィルタリング手段と、1個の比較セレクタと、1個の音声確率推定手段と、1個の乗算器と1個のタイムドメイン/周波数ドメインコンバータとを含み、その中には、
    M個の適応型フィルタリング手段は、M個の送話器信号のそれぞれに対し、受話器信号と適応型フィルタリング処理を行い、M個の適応型フィルタリング信号を出力するためのものであり、
    M−1個のアレイフィルタリング手段は、第1の適応型フィルタリング信号以外の他のM−1個の適応型フィルタリング信号のそれぞれに一対一的に対応され、かつ各アレイフィルタリング手段は、1個のアレイフィルタと、1個の減算器と、1個のタイムドメイン/周波数ドメインコンバータとを含み、
    その中には、アレイフィルタは、対応した適応型フィルタリング信号に対しアレイフィルタリング処理を行い、減算器に出力するためのものであり、減算器は、第1の適応型フィルタリング信号からアレイフィルタより出力された信号を減算処理を行い、タイムドメイン/周波数ドメインコンバータに出力するためのものであり、タイムドメイン/周波数ドメインコンバータは、受け取った信号に対しタイムドメイン/周波数ドメイン変換処理を行い、周波数ドメイン信号を、比較セレクタに出力するためのものであり、
    比較セレクタは、M−1個のアレイフィルタリング手段より出力されたM−1個の周波数ドメイン信号を受け取り、エネルギーの最も小さい1個の周波数ドメイン信号を選択して乗算器に出力するためのものであり、
    音声確率推定手段は、2個のタイムドメイン/周波数ドメインコンバータと1個の音声確率推定器とを含み、その中には、上記2個のタイムドメイン/周波数ドメインコンバータは、それぞれ、第1の適応型フィルタリング信号及び第Mの適応型フィルタリング信号に対しタイムドメイン/周波数ドメイン変換処理を行って音声確率推定器に出力するためのものであり、音声確率推定器は、受け取った2個の信号に基づき、音声確率フィルタリング処理を行い、1個の周波数ドメイン音声確率信号を乗算器に出力するためのものであり、
    乗算器は、受け取った2個の周波数ドメイン信号に乗算処理をして、周波数ドメイン/タイムドメインコンバータに出力するためのものであり、
    周波数ドメイン/タイムドメインコンバータは、受け取った信号に対し、周波数ドメイン/タイムドメイン変換処理を行い、残留エコーが抑制された後の音声出力信号とするためのものであることを特徴とする装置。
  7. さらに、上記の乗算器と周波数ドメイン/タイムドメインコンバータとの間に、1個の周波数スペクトルフィルタリング手段を含み、
    周波数スペクトルフィルタリング手段は、1個のタイムドメイン/周波数ドメインコンバータと、1個の周波数スペクトルフィルタと、1個の減算器とを含み、その中には、タイムドメイン/周波数ドメインコンバータは、受話器信号に対しタイムドメイン/周波数ドメイン変換処理を行い、周波数スペクトルフィルタに出力するためのものであり、周波数スペクトルフィルタは、乗算器の出力信号とタイムドメイン/周波数ドメインコンバータの出力信号とに対し周波数スペクトルフィルタリング処理を行い、減算器に出力するためのものであり、減算器は、乗算器の出力信号と周波数スペクトルフィルタの出力信号とに対して減算する処理を行い、周波数ドメイン/タイムドメインコンバータに出力するためのものであること
    を特徴とする請求項6に記載の装置。
  8. 上記アレイフィルタの加重値は、次式に基づき確定され、




    ここで、hはアレイフィルタ、eは第1の適応型フィルタリング信号、eは当該アレイフィルタに対応する適応型フィルタリング信号、Dは受話器と第1の送話器との間の距離、Dは、受話器と当該アレイフィルタに対応する送話器との間の距離、cは音速を表すこと
    を特徴とする請求項6に記載の装置。
  9. 上記音声確率推定器は、受け取った2個の信号に基づき、音声信号が各周波数ポイントでの送話器アレイに達した到達角度α(f)を計算するとともに、次式に基づき、音声確率pF(f)を計算し、

    pF(f)を周波数ドメイン音声確率信号として減算器に出力するためのものであること
    を特徴とする請求項6に記載の装置。
  10. 上記周波数スペクトルフィルタは、全周波数をN個のサブバンドに分割し、サブバンドの境界はB〜BN+1をとし、各サブバンドにおいて、次のように計算し、
    マッチング関数H(f)を計算し、

    ここで、iはサブバンド番号、Em(f)は乗算器の出力信号、X(f)はタイムドメイン/周波数ドメインコンバータの出力信号を表し、
    マッチングエコーY(f)を計算し、

    マッチングエコーY(f)と一定の係数Agとを乗算することにより周波数スペクトルフィルタリング後の結果を得て、減算器に出力するためのものであること
    を特徴とする請求項7に記載の装置。
JP2013523484A 2011-07-08 2011-10-24 残留エコーを抑制するための方法及び装置 Active JP5479655B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201110191669.X 2011-07-08
CN201110191669 2011-07-08
PCT/CN2011/081180 WO2013007070A1 (zh) 2011-07-08 2011-10-24 一种抑制残留回声的方法和装置

Publications (2)

Publication Number Publication Date
JP2013541244A JP2013541244A (ja) 2013-11-07
JP5479655B2 true JP5479655B2 (ja) 2014-04-23

Family

ID=45826219

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013523484A Active JP5479655B2 (ja) 2011-07-08 2011-10-24 残留エコーを抑制するための方法及び装置

Country Status (7)

Country Link
US (1) US9685172B2 (ja)
EP (1) EP2568695B1 (ja)
JP (1) JP5479655B2 (ja)
KR (1) KR101422984B1 (ja)
CN (1) CN102387273B (ja)
DK (1) DK2568695T3 (ja)
WO (1) WO2013007070A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130282372A1 (en) * 2012-04-23 2013-10-24 Qualcomm Incorporated Systems and methods for audio signal processing
US9699586B2 (en) 2012-10-02 2017-07-04 Nokia Technologies Oy Configuring a sound system
CN103051818B (zh) * 2012-12-20 2014-10-29 歌尔声学股份有限公司 一种用于小型免提语音通讯系统中的回声消除装置和方法
US9595997B1 (en) * 2013-01-02 2017-03-14 Amazon Technologies, Inc. Adaption-based reduction of echo and noise
DE112013007077T5 (de) * 2013-05-14 2016-02-11 Mitsubishi Electric Corporation Echoauslöschungsvorrichtung
US9721580B2 (en) * 2014-03-31 2017-08-01 Google Inc. Situation dependent transient suppression
CN106597402B (zh) * 2016-11-23 2019-03-19 天津津航计算技术研究所 一种基于统计规律的自适应动目标显示方法
CN108986831B (zh) * 2017-05-31 2021-04-20 南宁富桂精密工业有限公司 语音干扰滤除的方法、电子装置及计算机可读存储介质
CN109658946A (zh) * 2017-10-12 2019-04-19 深圳前海黑鲸科技有限公司 一种回声处理方法、装置、存储介质及终端设备
CN110364176A (zh) * 2019-08-21 2019-10-22 百度在线网络技术(北京)有限公司 语音信号处理方法及装置
CN110718230B (zh) * 2019-08-29 2021-12-17 云知声智能科技股份有限公司 一种消除混响的方法和系统
US11398216B2 (en) 2020-03-11 2022-07-26 Nuance Communication, Inc. Ambient cooperative intelligence system and method
CN111968658B (zh) * 2020-06-30 2024-02-06 北京百度网讯科技有限公司 语音信号的增强方法、装置、电子设备和存储介质
TWI761075B (zh) * 2021-02-09 2022-04-11 瑞昱半導體股份有限公司 回音抵消系統以及回音抵消方法
CN114978238B (zh) * 2021-02-18 2024-07-02 瑞昱半导体股份有限公司 回音抵消系统以及回音抵消方法
CN113671040B (zh) * 2021-09-08 2024-06-25 南方电网科学研究院有限责任公司 一种gis/gil绝缘子应力超声检测平台和检测方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3403473B2 (ja) * 1993-11-11 2003-05-06 松下電器産業株式会社 ステレオエコーキャンセラ
CN1215540A (zh) * 1996-04-03 1999-04-28 英国电讯有限公司 声反馈校正
JP4195267B2 (ja) * 2002-03-14 2008-12-10 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声認識装置、その音声認識方法及びプログラム
CA2399159A1 (en) * 2002-08-16 2004-02-16 Dspfactory Ltd. Convergence improvement for oversampled subband adaptive filters
WO2005048239A1 (ja) * 2003-11-12 2005-05-26 Honda Motor Co., Ltd. 音声認識装置
US7492889B2 (en) * 2004-04-23 2009-02-17 Acoustic Technologies, Inc. Noise suppression based on bark band wiener filtering and modified doblinger noise estimate
DE602004017603D1 (de) * 2004-09-03 2008-12-18 Harman Becker Automotive Sys Sprachsignalverarbeitung für die gemeinsame adaptive Reduktion von Störgeräuschen und von akustischen Echos
KR20070050058A (ko) * 2004-09-07 2007-05-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 향상된 잡음 억제를 구비한 전화통신 디바이스
CN101026659B (zh) * 2006-02-23 2010-04-07 中兴通讯股份有限公司 一种回声延时定位的实现方法
CN101102126B (zh) * 2006-07-03 2011-07-20 联芯科技有限公司 一种回声消除方法及系统
CN101272161B (zh) * 2008-04-30 2012-12-05 中山大学 一种自适应回声消除的方法
JP5386936B2 (ja) 2008-11-05 2014-01-15 ヤマハ株式会社 放収音装置
CN101778183B (zh) * 2009-01-13 2013-06-05 华为终端有限公司 一种残留回声抑制方法及设备
JP5382745B2 (ja) 2009-07-08 2014-01-08 株式会社日立製作所 雑音除去装置及び雑音除去方法
JP5347794B2 (ja) * 2009-07-21 2013-11-20 ヤマハ株式会社 エコー抑圧方法およびその装置
CN101763858A (zh) * 2009-10-19 2010-06-30 瑞声声学科技(深圳)有限公司 双麦克风信号处理方法
CN102111697B (zh) * 2009-12-28 2015-03-25 歌尔声学股份有限公司 一种麦克风阵列降噪控制方法及装置
CN101888455B (zh) * 2010-04-09 2013-07-03 熔点网讯(北京)科技有限公司 一种频域自适应回声抵消方法

Also Published As

Publication number Publication date
EP2568695A1 (en) 2013-03-13
US20130151247A1 (en) 2013-06-13
JP2013541244A (ja) 2013-11-07
WO2013007070A1 (zh) 2013-01-17
CN102387273A (zh) 2012-03-21
US9685172B2 (en) 2017-06-20
KR20130040194A (ko) 2013-04-23
EP2568695B1 (en) 2016-08-03
DK2568695T3 (en) 2016-11-21
KR101422984B1 (ko) 2014-07-23
EP2568695A4 (en) 2014-12-03
CN102387273B (zh) 2013-08-28

Similar Documents

Publication Publication Date Title
JP5479655B2 (ja) 残留エコーを抑制するための方法及び装置
TWI435318B (zh) 利用多重裝置上的多重麥克風之語音加強之方法、設備及電腦可讀媒體
CN110169041B (zh) 一种声回波消除的方法和系统
US8812309B2 (en) Methods and apparatus for suppressing ambient noise using multiple audio signals
CN1809105B (zh) 适用于小型移动通信设备的双麦克语音增强方法及系统
JP5762956B2 (ja) ヌル処理雑音除去を利用した雑音抑制を提供するシステム及び方法
US8311234B2 (en) Echo canceller and communication audio processing apparatus
JP5844502B2 (ja) 小型ハンズフリー音声通信システムに適用するエコーキャンセル装置及び方法
US9723152B2 (en) Nonlinear echo suppression
KR20190085927A (ko) 적응성 빔포밍
WO2008045476A2 (en) System and method for utilizing omni-directional microphones for speech enhancement
US9699554B1 (en) Adaptive signal equalization
JP2004187283A (ja) マイクロホン装置および再生装置
JP5785674B2 (ja) デュアルマイクに基づく音声残響低減方法及びその装置
WO2014181330A1 (en) A method and apparatus for suppression of unwanted audio signals
WO2009104252A1 (ja) 音処理装置、音処理方法及び音処理プログラム
EP4071757A1 (en) Echo cancellation method and device
WO2014024248A1 (ja) ビームフォーミング装置
US20140193000A1 (en) Method and apparatus for generating a noise reduced audio signal using a microphone array
JP3607625B2 (ja) 多チャネル反響抑圧方法、その装置、そのプログラム及びその記録媒体
CN107005268B (zh) 回波消除装置和回波消除方法
US8804981B2 (en) Processing audio signals
JP5631523B2 (ja) エコー消去装置
KR102649227B1 (ko) 듀얼 마이크 어레이 에코 제거 방법, 장치 및 전자 장비
JP4209348B2 (ja) エコー抑圧方法、この方法を実施する装置、プログラムおよび記録媒体

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140212

R150 Certificate of patent or registration of utility model

Ref document number: 5479655

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250