JP4591102B2 - エコーキャンセラおよびそれを用いたハンズフリー電話とエコーキャンセル方法 - Google Patents

エコーキャンセラおよびそれを用いたハンズフリー電話とエコーキャンセル方法 Download PDF

Info

Publication number
JP4591102B2
JP4591102B2 JP2005028759A JP2005028759A JP4591102B2 JP 4591102 B2 JP4591102 B2 JP 4591102B2 JP 2005028759 A JP2005028759 A JP 2005028759A JP 2005028759 A JP2005028759 A JP 2005028759A JP 4591102 B2 JP4591102 B2 JP 4591102B2
Authority
JP
Japan
Prior art keywords
signal
unit
echo
correction value
echo signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005028759A
Other languages
English (en)
Other versions
JP2006217325A (ja
Inventor
淳一 古賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2005028759A priority Critical patent/JP4591102B2/ja
Publication of JP2006217325A publication Critical patent/JP2006217325A/ja
Application granted granted Critical
Publication of JP4591102B2 publication Critical patent/JP4591102B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)

Description

本発明は、変化する伝達特性のなかで、エコーキャンセラが未知の伝達特性を学習しながらキャンセル動作を続けるエコーキャンセラに関するものである。
エコーキャンセラにとって、学習すべきタイミングを決定することは重要である。例えば音響エコーキャンセラでは、遠端話者が発声しているシングルトーク状態で、近端話者が発声するいわゆるダブルトーク状態になったときに、検出器が検出するための時間を必要とする問題点がある。
これに対して、遅延を入れて検出器の検出時間を補償するという方法もあるが、通話に遅延を生ずる問題点が新たに発生する。
そのために、検出結果を2値ではなく、連続値をもつようにして、急激な変化をなくすようにし、安定したエコーキャンセラとする方法があった。
特許文献1では、シングルトーク状態とダブルトーク状態の判定を、連続値で表現するために、回線エコーキャンセラにおいて、遠端話者からの信号、遠端話者からの信号を回線エコーキャンセルした信号、近端話者の信号のそれぞれについてのパワーを計算し、遠端話者からの信号、遠端話者からの信号を回線エコーキャンセルした信号からエコー消去量、およびその変化量の5つの値に基づいて、メンバシップ関数を用意し、学習係数を連続値として得るようにファジー制御するようにしたものである。
特許文献2では、所定の確率密度関数を用いて、エコーキャンセラのそれぞれの信号から、連続値を得るようにしたものである。
特開平11−17588号公報 特開2002−57606号公報
連続値を得るために、それぞれファジー制御のメンバシップ関数、確率密度関数を得なければならないが、メンバシップ関数、確率密度関数では、決定しなければならない定数が多いため、実装することが難しいという問題がある。
この課題を解決するために、本発明は実際の信号との対応が強い信号に基づいて、ダブルトークを検出する結果を連続的に出力できる方法を提供することを目的とする。
本発明は、エコーキャンセラにおいて、エコーが含まれる推定対象の信号とエコーを推定した信号の位相を求める位相のパラメータにより、収束途中でありエコーキャンセラの学習を継続するか、あるいはダブルトークの状態でエコーキャンセラの学習を停止するかを連続的な値で制御するものである。
位相という見ることのできる物理的な波形に基づいてパラメータを決めることができるため、パラメータを決めやすいという作用がある。そのために、変化する伝達特性に対応するパラメータを設定しなければならないエコーキャンセラにおいては、設計時に把握しやすいパラメータは、様々な環境でも使用できるエコーキャンセラを設計しやすいという効果をもたらす。その結果、エコーキャンセラが未知の伝達特性を学習しながらキャンセル動作をし続ける応用においても、信頼性の高い安定した動作をするエコーキャンセラを提供できる。
本発明の実施の形態においては、入力されるエコー信号について、フィルタ係数の修正値を演算し、演算された修正値に基づいて、エコー信号から未知の伝達特性を模擬した擬似エコー信号を差し引くエコーキャンセラであって、エコー信号と擬似エコー信号との符号の同異に基づいてフィルタ係数の修正値を制御し、フィルタ係数を修正する修正値制御部と、修正値制御部により修正されたフィルタ係数に基づいて、擬似エコー信号を生成し、エコー信号から生成したエコー信号を差し引いて、送信信号を出力するキャンセル部と、を備えるという構成を有する。
これにより、収束途中でありエコーキャンセラの学習を継続するか、あるいはダブルトークの状態でエコーキャンセラの学習を停止するかを符号情報を基にして簡易な方法で判断することができ、エコーキャンセラが未知の伝達特性を学習しながらキャンセル動作をし続ける応用においても、信頼性の高い安定した動作をするエコーキャンセラを提供できる。
また、修正値制御部は、エコー信号と擬似エコー信号の相互相関関数のピーク位置の時間差とピーク位置の相関関数の値に基づいて、フィルタ係数の修正値を制御し、フィルタ係数を修正するようにしてもよい。
これにより、精度良く位相情報という連続的な値を得ることができる。
本発明の次の実施の形態においては、
エコーキャンセラは、音響エコーキャンセラであって、
音響エコーキャンセラは、
受話信号が入力される受話信号入力部と、
受話信号を出力する受話信号出力部と、
エコー信号が入力される送話信号入力部と、
送話信号が出力される送話信号出力部と、
受話信号入力部と受話信号出力部との間に介在する第一の分岐部と、
送話信号入力部と送話信号出力部との間に介在する第二の分岐部とを備え、
修正値制御部は、第一の分岐部と第二の分岐部との間に設けられ、
音響エコーキャンセラは、更に、エコー信号と擬似エコー信号との位相に基づいて、入力される受話信号を減衰させる、受話信号入力部と第一の分岐部との間に設けられた第一の減衰部と、
を備えるという構成を有する。
これにより、信頼性の高い安定した動作をする音響エコーキャンセラを提供できる。
本発明のさらに次の実施の形態においては、
エコーキャンセラは、音響エコーキャンセラであって、
音響エコーキャンセラは、
受話信号が入力される受話信号入力部と、
受話信号を出力する受話信号出力部と、
エコー信号が入力される送話信号入力部と、
送話信号が出力される送話信号出力部と、
受話信号入力部と受話信号出力部との間に介在する第一の分岐部と、
送話信号入力部と送話信号出力部との間に介在する第二の分岐部と、
修正値制御部は、第一の分岐部と第二の分岐部との間に設けられ、
音響エコーキャンセラは、更に、エコー信号と擬似エコー信号との位相に基づいて、入力される受話信号を減衰させる、送話信号出力部と第二の分岐部との間に設けられた第二の減衰部と、
を備えるという構成を有する。
これにより、信頼性の高い安定した動作をする音響エコーキャンセラを提供できる。特に、音響エコーキャンセラが動作しにくいときの送話音声が、相手から返るレベルを減少させることができる。
本発明のさらに次の実施の形態においては、
エコーキャンセラは、回線エコーキャンセラであって、
回線エコーキャンセラは、
受話信号が入力される受話信号入力部と、
受話信号を出力する受話信号出力部と、
エコー信号が入力される送話信号入力部と、
送話信号が出力される送話信号出力部と、
受話信号入力部と受話信号出力部との間に介在する第一の分岐部と、
送話信号入力部と送話信号出力部との間に介在する第二の分岐部と、
修正値制御部は、第一の分岐部と第二の分岐部との間に設けられ、
回線エコーキャンセラは、更に、エコー信号と擬似エコー信号との位相に基づいて、出力される受話信号を減衰させる、受話信号出力部と第一の分岐部との間に設けられた、第三の減衰部と、
を備えるという構成を有する。
これにより、信頼性の高い安定した動作をする回線エコーキャンセラを提供できる。
本発明のさらに次の実施例においては、
エコーキャンセラは、回線エコーキャンセラであって、
回線エコーキャンセラは、
受話信号が入力される受話信号入力部と、
受話信号を出力する受話信号出力部と、
エコー信号が入力される送話信号入力部と、
送話信号が出力される送話信号出力部と、
受話信号入力部と受話信号出力部との間に介在する第一の分岐部と、
送話信号入力部と送話信号出力部との間に介在する第二の分岐部と、
修正値制御部は、第一の分岐部と第二の分岐部との間に設けられ、
回線エコーキャンセラは、更に、エコー信号と擬似エコー信号との位相に基づいて、入力される送話信号を減衰させる、送話信号入力部と第二の分岐部との間に設けられた、第四の減衰部と、
を備えるという構成を有する。
これにより、信頼性の高い安定した動作をする回線エコーキャンセラを提供できる。特に、回線エコーキャンセラが動作しにくいときの受話音声が、自分自身の送話音声として返るレベルを減少させることができる。
本発明のさらに次の実施例においては、エコーキャンセラ、あるいは音響エコーキャンセラ、あるいは回線エコーキャンセラを備えたハンズフリー電話を備えるという構成を有する。
これにより、信頼性の高い安定した音響エコーキャンセル動作、あるいは回線エコーキャンセラをするハンズフリー電話を提供することができる。
本発明のさらに次の実施の形態においては、
エコーが含まれる推定対象の信号とエコーを推定した信号の位相を求める位相のパラメータとにより、収束途中にあるエコーキャンセラの学習を継続するか、あるいはダブルトークの状態でエコーキャンセラの学習を停止するかを連続的な値で制御する方法としている。
この方法により、収束途中でありエコーキャンセラの学習を継続するか、あるいはダブルトークの状態でエコーキャンセラの学習を停止するかを位相情報という連続的な値で判断することができ、エコーキャンセラが未知の伝達特性を学習しながらキャンセル動作をし続ける応用においても、信頼性の高い安定した動作をするエコーキャンセル方法を提供できる。
以下本発明の実施例について図面を用いて説明する。
(実施例1)
[構成]
図1は本発明の実施例1の構成を示すブロック図である。図1の構成のエコーキャンセラで、第一の信号入力部1から入力された第一の信号xは、第一の信号出力部2から、未知の伝達特性の系へ出力される。その未知の伝達特性を経た信号dを第二の信号入力部3から入力する。ここで、後述する未知の伝達特性に対応する擬似エコーyを、第二の信号入力部3からの信号dから減算部4で差し引いて、第二の信号出力部5から出力する構成となっている。
フィルタ係数の決定方法は次の通りである。FIRフィルタ構成ではLMS(Least Mean Square)アルゴリズムなどで、IIRフィルタ構成ではRLS(Recursive Least Square)アルゴリズムなどの適応フィルタアルゴリズムでフィルタ係数を決定する。また、格子型フィルタに対する適応アルゴリズムもある。
フィルタ係数バッファ6に蓄積されているフィルタ係数と第一の入力信号xを蓄積している第一の信号バッファ7とを用いて、フィルタ部8で擬似エコーyを生成する。第二の信号入力部3の信号dから擬似エコーyを減算する減算部5から出力される誤差信号eと、第一の入力信号xから、LMSアルゴリズムあるいはRLSアルゴリズムなどのフィルタ係数で実現されるフィルタが未知の伝達特性を模擬するように動作する。このアルゴリズムでは、サンプリング毎にフィルタ係数で実現されるフィルタの伝達特性が未知の伝達特性に次第に近づく学習動作をする。
これらの適応フィルタのアルゴリズムには、学習速度を制御するパラメータがある。学習速度を制御するパラメータを学習速度が大きくなるように設定すると、学習速度は大きくなるが収束時の誤差範囲が大きくなり、逆に学習速度が小さくするように設定すると、学習速度は小さくなるが収束時の誤差範囲が小さくなる。
また、エコーキャンセラでは、学習すべきときと学習すべきときでない時がある。例えば、音響エコーキャンセラでは受話信号を第一の信号出力部2から出力していて、第二の信号入力部3には例えば部屋の残響特性などの未知の伝達特性の系を経た信号だけが入っている状態(シングルトーク状態)は学習すべきときである。第二の信号入力部3に、こちら側の話者も話している信号が入っているとき(ダブルトーク状態)は学習すべきときではない。
本発明は、学習するとき/しないとき2値の制御を学習速度を制御するパラメータを変化させて、以下の方法による多段階にするものである。このパラメータを第二の信号入力部3の信号dとフィルタ部8の出力yとに基づいて決めるのが位相検出部9である。位相検出部9の検出結果により、フィルタ係数修正部10で適応フィルタの学習速度を制御するパラメータを設定し、フィルタ係数で実現されるフィルタの伝達特性が未知の伝達特性に次第に近づくようにフィルタ係数バッファ6のフィルタ係数を修正する。位相検出部9とフィルタ係数修正部10を合わせて、修正値制御部100を構成する。
[学習動作の特性]
本発明の構成の根拠を示すために、エコーキャンセラにおける学習動作のシミュレーション実験について説明する。
図2は、LMSアルゴリズムでのシミュレーション実験のシングルトーク状態の実験のブロック図である。また、図3はダブルトーク状態の実験のブロック図である。
このシミュレーション実験で、サンプリング周波数16Hz、周波数1Hz、振幅1のsin波を第一の信号出力部2から出力したものとしている。未知の伝達特性の系を経て、第二の信号入力部3からサンプリング周波数16Hz、周波数1Hz、振幅2のcos波が入力されたものとしている。未知の伝達特性によりsin波からcos波へ変わった場合を想定している。
また、シングルトーク状態として、第二の信号入力部3にcos波に重畳して振幅0.01のホワイトノイズが重畳しているものとしており、ダブルトーク状態として振幅2のホワイトノイズが重畳しているものとしている。
フィルタは(数1)のFIR構成のものである。
Figure 0004591102
ここで、x(t)時刻tでのエコーキャンセラへの入力信号、y(t)は時刻tでのフィルタ出力信号、h0、h1はそれぞれフィルタ係数である。なお、初期値としてh0、h1をそれぞれ4、−10としている。
その動作結果の波形を図4と図5に示す。図4は、シングルトーク状態で収束に向かうときの波形を示している。図5は、ダブルトーク状態で収束に向かうときの波形を示している。実線は第二の信号入力部3から入力した信号d、破線はフィルタ出力信号yを示している。図4から、修正35回ぐらいで、まず第二の信号入力部3から入力した信号dとフィルタ部からの出力信号yの位相が合って、その後、振幅が合うように調整されていることがわかる。図5から、修正60回ぐらいで、まず第二の信号入力部3から入力した信号dとフィルタ出力信号yの位相が合って、その後、振幅が合うように調整されていることがわかる。
一般に、LMSアルゴリズムでは、フィルタ入力(この場合x0とx1)の相関行列の固有値の大きい所から収束する性質があると言われている。
その動作結果の係数h0、h1の学習による変化の軌跡を図6、図7に示す。図4は、シングルトーク状態で収束に向かうときの係数h0、h1の学習による変化の軌跡を示している。図5は、ダブルトーク状態で収束に向かうときの係数h0、h1の学習による変化の軌跡を示している。図6から繰返し40回ぐらいで、まず大きい方の固有値が合って位相が合って、その後、小さい方の固有値が合うように調整されていることがわかる。図7から繰返し60回ぐらいで、まず大きい方の固有値に対応する部分で位相が合って、その後、小さい方の固有値に対応する部分で位相が合うように調整されていることがわかる。
図4と図5の動作結果の波形の比較と図6、図7の係数h0、h1の学習による変化の軌跡の比較から、位相を検出することによる学習の状況が検出できることがわかる。
[実施例1のフィルタ係数修正の制御]
LMSアルゴリズムでは、(数2)に従ってフィルタ係数修正部7で、フィルタ係数が修正される。
Figure 0004591102
ここで、h(t)は時刻tにおける遅延iのフィルタ係数、x(t−i)は時刻n−iにおける受話信号出力部2から出力される信号、e(t)は時刻tにおける誤差信号を表す。また、μは学習速度を制御するパラメータである。
図1の位相検出部8で、このμを第二の信号入力部からの信号dとフィルタ部で生成される擬似エコー信号yとの位相差により(数3)で示すように、学習を継続するか、あるいはダブルトークの状態で学習を停止するかを多段階に制御するものである。
Figure 0004591102
ここで、fは送話信号出力部からの出力信号とフィルタ部で生成される擬似エコー信号との位相差から、μを対応付ける関数であり、数式で決定することも可能であるし、また、位相差をもとにした表でμを対応付けても良い。
さらに、この方法では第一の信号出力部2からのみ信号が出力されているか、第一の信号出力部2からの信号とは別の信号も合わせて第二の信号入力部3に入力されているかを検出するものであるが、さらに第一の信号xのパワーなどの第一の信号xを検出することにより、第一の信号出力部2からのみ信号が出力されているか、第一の信号出力部2からの信号とは別の信号も合わせて第二の信号入力部3に入力されているか、第一の信号出力部2からのみ信号がなく第二の信号入力部3に信号が入力されているかがわかるようにもできる。
この構成により、収束途中でありエコーキャンセラの学習を継続するか、あるいはダブルトークの状態でエコーキャンセラの学習を停止するかを位相情報という連続的な値で判断することができ、エコーキャンセラが未知の伝達特性を学習しながらキャンセル動作をし続ける応用においても、信頼性の高い安定した動作をするエコーキャンセラを提供できる。
(実施例2)
第二の信号入力部3からの入力信号dとフィルタ部で生成される擬似エコー信号yとの位相を、それぞれの信号の符号に基づき求める方法を示す。その構成を図8のブロック図に示す。なお、実施例1と同様の構成を有するものについては、同一符号を付し、その説明を援用する。
図8は、図1の位相検出部8を符号判定部9と短時間積分部10で実現したものである。
この実施例では位相差をしめす値をvで表す。vの計算式を(数4)に示す。
Figure 0004591102
このvを2048点の移動平均を取った値をv_meanとする。
ここで、第一の信号xと第二の信号入力部3の入力信号yと誤差信号eとv_meanを実際の音声信号で動作させたときの値を示したグラフを図9と図10に示す。図9(a)はシングルトーク状態の第一の信号x,図9(b)は第二の信号入力部3の信号y、図9(c)は誤差信号e、図9(d)はv_meanを示し縦軸がそれぞれの値で、横軸は時間である。また、図10はダブルトーク状態における同様なグラフである。
図9において、第一の信号yが未知の伝達特性を経て第二の信号入力部の信号dとして入力されている。エラー信号eは学習に必要な時間で減少し、この場合約0.7秒後に収束している例である。v_meanの値は収束するにつれて誤差が段段少なくなるため減少していく。なお、図9(d)、図10(d)において0.0から0.5secまでv_meanが0になっているのは、平均のためのデータがそろうまでは、v_meanの値が算出できないためである。
図10では第一の信号yが未知の伝達特性を経て第二の信号入力部の信号dとして入力されている。さらに、信号dに別の音声が重畳した例である。ただし、この例では時刻0の時点でフィルタ係数の学習を停止している。図9(d)と図10(d)の縦軸スケールが異なっていることに注意すれば、v_meanの値は変動はしているが、遠端発話状態のv_meanよりダブルトーク状態の方がはるかに大きな値で変動していることがわかる。このことを利用して、(数5)に示すように学習を継続するか、あるいはダブルトークの状態で学習を停止するかを多段階に制御するものである。
Figure 0004591102
ここで、gは送話信号出力部からの出力信号とフィルタ部で生成される擬似エコー信号とから得られるv_meanから、μを対応付ける関数であり、数式で決定することも可能であるし、また、位相差をもとにした表でμを対応付けても良い。
この構成により、符号情報を基にして簡易な方法で位相情報という連続的な値を得ることができる。
(実施例3)
第二の信号入力部3からの入力信号dとフィルタ部で生成される擬似エコー信号yとの位相を、それぞれの信号の相互相関による位相差と相関値に基づき求める方法を示す。その構成を図11のブロック図に示す。なお、実施例1と同様の構成を有するものについては、同一符号を付し、その説明を援用する。
[構成]
実施例3では、位相検出部3を、第二の信号入力部3の信号dとフィルタ部7の主鶴力信号yの相互相関関数のピーク位置の時間差とピーク位置の相関関数の値に基づいて、前記フィルタ係数の修正値を制御するものである。
相互相関計算部12で、第二の信号入力部3の信号dとフィルタ部7の主鶴力信号yの相互相関関数を求める。ピーク位置遅延検出部13で相互相関関数が最大となる時間遅延と相互相関関数が最大となる時間遅延の相互相関関数の値を求める。
位相決定部14では、相互相関関数の最大値と遅延に基づいて、位相差を決定する。
相互相関関数Φ(i)の計算式を(数6)に、正規化した場合の相互相関関数Φ(i)の計算式を(数7)示す。
Figure 0004591102
Figure 0004591102
ここで、iは相互の関数の遅延を示すものである。このグラフを、
(1)学習初期時のシングルトーク状態の相互相関関数
(2)収束時のシングルトーク状態相互相関関数
(3)学習初期時のシングルトーク状態の相互相関関数
(4)収束時のダブルトーク状態の相互相関関数
について、図12と図13に示す。
このグラフから、シングルトーク状態の初期では、相互相関関数が最大となる位置の遅延が1であるのに対し、収束したときには、所望信号dとフィルタ出力信号yは同位相になり遅延がなくなることがわかる。また、ダブルトーク状態では、相互相関関数が最大値もシングルトーク状態に比べて悪いことがわかる。
なお、このシミュレーションは正弦波で行っているが、実際にいろいろな周波数が含まれる音声波形ではシングルトーク状態とダブルトーク状態では顕著に最大値に違いが見られる。このことを利用して、相互相関関数が最大となる位置の遅延に基づいて(数8)のようにしてμを決定する。
Figure 0004591102
ここで、hは相互相関関数の最大値Φmaxを遅延τmaxから、μを決定する関数であり、数式で決定することも可能であるし、また、相互相関関数の最大値Φmaxと遅延τmaxとに基づいた表でμを対応付けても良い。
(実施例4)
図14(a)は実施例1のエコーキャンセラを音響エコーキャンセラとして用いて、さらに、送話あるいは受話の音量を位相に基づいて制御した例である。実施例1と同様の構成を有するものについては、同一符号を付し、その説明を援用する。
第一の信号入力部1を、相手からの信号を受信する受話信号入力部15としている。第一の信号出力部2を、相手からの信号をスピーカから出力する受話信号出力部16としている。第二の信号入力部3を、マイクロホンからの送話信号を入力する送話信号入力部17としている。第二の信号出力部5を送話信号出力部18としている。
実施例4の音響エコーキャンセラでは、受話信号入力部15と受話信号出力部16の間の第一の分岐部と、送話信号入力部17と送話信号出力部18の間の第二の分岐部との間に位相検出部9とフィルタ係数修正部10から構成される修正値制御部100を設け、さらに位相検出部9の位相に基づいて減衰量を決定する第一の減衰制御部19によって制御される、受話信号入力部15と第一の分岐部の間に第一の減衰部20を設けた構成となっている。
音響エコー信号は、受話信号出力部16経由でスピーカから音響空間に出力され、送話信号入力部17経由でマイクロホンから入力した信号として発生する。
音響エコーがキャンセルするように動作する条件は、受話信号入力部15からのみ信号が入力されているときである。そのために、第一の減衰部20の機能は、位相検出部9において位相が合っていることを検出したときに、第一の減衰器20の減衰量を小さくすることにより受話信号を受話信号出力部16からそのまま出力するものである。また、送話信号入力部17を経由してマイクロホンから受話信号があり、位相検出部9において位相が合っていないことを検出したときに、第一の減衰器20の減衰量を大きくすることにより受話信号を受話信号出力部16からの出力を小さくするものである。
受話信号入力部15からのみ信号が入力されているときは、位相検出部9が検出する位相差が小さいので、第一の減衰器20の減衰量は小さく、受話信号出力部16を経由してスピーカから受話信号が出力される。
さらに、第一の減衰制御部19の詳細な構成を図14(b)に示す。
短時間積分部31は、位相検出部9の出力を処理中の時刻から過去にさかのぼった所定期間の移動平均値を計算する。また、長時間積分部32は、位相検出部9の出力を処理中の時刻から過去にさかのぼった短時間積分部31の所定期間より長い所定期間の移動平均値を計算する。比較部33は、長時間積分部32で出力される使用されている環境の環境雑音を考慮した位相情報と、短時間積分部で出力される現在の信号の位相情報とを比較することにより連続的な減衰量を設定するものである。
受話信号入力部15からの信号とともに、送話信号入力部17を経由したマイクロホンからの送話信号が入力されているときは、位相検出部9の位相差が大きくなり、位相に基づいた減衰量で受話信号出力部16を経由してスピーカから受話信号が出力され、かつ、音響エコーキャンセラの学習が進みにくくなるように制御される。
再び、受話信号入力部15からのみ信号が入力されるようになると、減衰された受話信号が受話信号出力部16を経由してスピーカから出力され、位相検出部9が検出する位相差が小さくなるため、第一の減衰器20の減衰量は小さく、受話信号出力部16を経由してスピーカから受話信号が出力される。
このような構成により、受話信号入力部15からのみ信号が入力されているときではない音響エコーキャンセラが動作しにくいときの受話音声をスピーカから出力することを防ぐことができる。特に、音響エコーキャンセラが動作しにくいときの送話音声が、相手から返ってくるときのレベルを減少させることができる。その結果、聞きやすい受話信号を生成する音響エコーキャンセラを提供することができる効果がある。
(実施例5)
図15は実施例1のエコーキャンセラを音響エコーキャンセラとして用いて、さらに、送話あるいは受話の音量を位相に基づいて制御した例である。実施例1と同様の構成を有するものについては、同一符号を付し、その説明を援用する。
第一の信号入力部1を、相手からの信号を受信する受話信号入力部15としている。第一の信号出力部2を、相手からの信号をスピーカから出力する受話信号出力部16としている。第二の信号入力部3を、マイクロホンからの送話信号を入力する送話信号入力部17としている。第二の信号出力部5を送話信号出力部18としている。
実施例5の音響エコーキャンセラでは、受話信号入力部15と受話信号出力部16の間の第一の分岐部と、送話信号入力部17と送話信号出力部18の間の第二の分岐部との間に位相検出部9とフィルタ係数修正部10から構成される修正値制御部100を設け、さらに位相検出部9の位相に基づいて減衰量を決定する第二の減衰制御部21によって制御される、送話信号出力部18と第二の分岐部の間に第二の減衰部22を設けた構成となっている。
音響エコー信号は、受話信号出力部16経由でスピーカから音響空間に出力され、送話信号入力部17経由でマイクロホンから入力した信号として発生する。
音響エコーがキャンセルするように動作する条件は、受話信号入力部15からのみ信号が入力されているときである。そのために、第二の減衰部22の機能は、位相検出部9において位相が合っていることを検出したときに、第二の減衰器22の減衰量を小さくすることにより送話信号を送話信号出力部18からそのまま出力するものである。また、送話信号入力部17を経由してマイクロホンから受話信号があり、位相検出部9において位相が合っていないことを検出したときに、第二の減衰器22の減衰量を大きくすることにより送話信号を送話信号出力部18からの出力を小さくするものである。
第二の減衰制御部21の詳細な構成は、実施例4の第一の減衰制御部19と同じものでもよい。
受話信号入力部15からのみ信号が入力されているときは、位相検出部9が検出する位相差が小さいので、第二の減衰器22の減衰量は小さく、送話信号出力部18を経由して送話信号が出力される。
受話信号入力部15からの信号とともに、送話信号入力部17を経由したマイクロホンからの送話信号が入力されているときは、位相検出部9の位相差が大きくなり、位相に基づいた減衰量で受話信号出力部16を経由してスピーカから受話信号が出力され、かつ、音響エコーキャンセラの学習が進みにくくなるように制御される。
再び、受話信号入力部15からのみ信号が入力されるようになると、減衰された受話信号が受話信号出力部16を経由してスピーカから出力され、位相検出部9が検出する位相差が小さくなるため、第二の減衰器22の減衰量は小さく、送話信号出力部18を経由して送話信号が出力される。
このような構成により、受話信号入力部15からのみ信号が入力されているときではない音響エコーキャンセラが動作しにくいときの送話受話音声を送信することを防ぐことができる。その結果、聞きやすい送話信号を生成する音響エコーキャンセラを提供することができる効果がある。
(実施例6)
図16は実施例1のエコーキャンセラを回線エコーキャンセラとして用いて、さらに、送話あるいは受話の音量を位相に基づいて制御した例である。実施例1と同様の構成を有するものについては、同一符号を付し、その説明を援用する。
第一の信号入力部1を、回線へ送信するための信号を受信する送話信号入力部17としている。第一の信号出力部2を、回線へ送信するための信号を出力する送話信号出力部18としている。第二の信号入力部3を、回線からの信号を受信する受話信号入力部15としている。第二の信号出力部5を受話信号出力部16としている。
実施例6の回線エコーキャンセラでは、送話信号入力部17と送話信号出力部18の間の第一の分岐部と、受話信号入力部15と受話信号出力部16の間の第二の分岐部との間に位相検出部9とフィルタ係数修正部10から構成される修正値制御部100を設け、さらに位相検出部9の位相に基づいて減衰量を決定する第三の減衰制御部23によって制御される、受話信号出力部16と第二の分岐部の間に第三の減衰部24を設けた構成となっている。
回線エコー信号は、送話信号出力部18経由でハイブリッド回路に出力され、受話信号入力部15経由でハイブリッド回路入力した信号として発生する。
回線エコーがキャンセルするように動作する条件は、送話信号入力部17からのみ信号が入力されているときである。そのために、第三の減衰部24の機能は、位相検出部9において位相が合っていることを検出したときに、第三の減衰器24の減衰量を小さくすることにより受話信号を受話信号出力部16からそのまま出力するものである。また、受話信号入力部15を経由して受話信号があり、位相検出部9において位相が合っていないことを検出したときに、第三の減衰器24の減衰量を大きくすることにより受話信号を受話信号出力部16からの出力を小さくするものである。
第三の減衰制御部23の詳細な構成は、実施例4の第一の減衰制御部19と同じものでもよい。
送話信号入力部17からのみ信号が入力されているときは、位相検出部9が検出する位相差が小さいので、第三の減衰器24の減衰量は小さく、受話信号出力部16を経由して受話信号が出力される。
送話信号入力部17からの信号とともに、受話信号入力部15を経由した受話信号が入力されているときは、位相検出部9の位相差が大きくなり、位相に基づいた減衰量で受話信号出力部16を経由して受話信号が出力され、かつ、回線エコーキャンセラの学習が進みにくくなるように制御される。
再び、送話信号入力部17からのみ信号が入力されるようになると、減衰された受話信号が受話信号出力部16から出力され、位相検出部9が検出する位相差が小さくなるため、第三の減衰器24の減衰量は小さく、受話信号出力部16を経由して受話信号が出力される。
このような構成により、送話信号入力部17からのみ信号が入力されているときではない回線エコーキャンセラが動作しにくいときの受話音声を出力することを防ぐことができる。その結果、聞きやすい受話信号を生成する回線エコーキャンセラを提供することができる効果がある。
(実施例7)
図17は実施例1のエコーキャンセラを回線エコーキャンセラとして用いて、さらに、送話あるいは受話の音量を位相に基づいて制御した例である。実施例1と同様の構成を有するものについては、同一符号を付し、その説明を援用する。
第一の信号入力部1を、回線へ送信するための信号を受信する送話信号入力部17としている。第一の信号出力部2を、回線へ送信するための信号を出力する送話信号出力部18としている。第二の信号入力部3を、回線からの信号を受信する受話信号入力部15としている。第二の信号出力部5を受話信号出力部16としている。
実施例7の回線エコーキャンセラでは、送話信号入力部17と送話信号出力部18の間の第一の分岐部と、受話信号入力部15と受話信号出力部16の間の第二の分岐部との間に位相検出部9とフィルタ係数修正部10から構成される修正値制御部100を設け、さらに位相検出部9の位相に基づいて減衰量を決定する第四の減衰制御部25によって制御される、送話信号入力部17と第一の分岐部の間に第四の減衰部26を設けた構成となっている。
回線エコー信号は、送話信号出力部18経由でハイブリッド回路に出力され、受話信号入力部15経由でハイブリッド回路入力した信号として発生する。
回線エコーがキャンセルするように動作する条件は、送話信号入力部17からのみ信号が入力されているときである。そのために、第四の減衰部26の機能は、位相検出部9において位相が合っていることを検出したときに、第四の減衰器26の減衰量を小さくすることにより送話信号を送話信号入力部17からそのまま出力するものである。また、受話信号入力部15を経由して受話信号があり、位相検出部9において位相が合っていないことを検出したときに、第四の減衰器26の減衰量を大きくすることにより送話信号を送話信号入力部17からの入力を小さくするものである。
第四の減衰制御部23の詳細な構成は、実施例4の第一の減衰制御部19と同じものでもよい。
送話信号入力部17からのみ信号が入力されているときは、位相検出部9が検出する位相差が小さいので、第四の減衰器26の減衰量は小さく、送話信号出力部18を経由して受話信号が出力される。
送話信号入力部17からの信号とともに、受話信号入力部15を経由した受話信号が入力されているときは、位相検出部9の位相差が大きくなり、位相に基づいた減衰量で送話信号入力部16を経由して送話信号が入力され、かつ、回線エコーキャンセラの学習が進みにくくなるように制御される。
再び、送話信号入力部17からのみ信号が入力されるようになると、減衰された送話信号が送話信号入力部17から入力され、位相検出部9が検出する位相差が小さくなるため、第四の減衰器26の減衰量は小さく、送話信号出力部18を経由して送話信号が出力される。
このような構成により、送話信号入力部17からのみ信号が入力されているときではない回線エコーキャンセラが動作しにくいときの受話音声を出力することを防ぐことができる。特に、回線エコーキャンセラが動作しにくいときの受話音声が、自分自身の送話音声としてから返るレベルを減少させることができる。その結果、聞きやすい受話信号を生成する回線エコーキャンセラを提供することができる効果がある。
(実施例8)
以下、本発明の実施例8におけるハンズフリー電話について図面を参照しながら説明する。
図18において、音響エコーキャンセラ27は、実施例1から3のエコーキャンセラを音響エコーキャンセラとして筐体28内で用いたもの、あるいは実施例4から5の音響エコーキャンセラを筐体28内で用いたものである。
図18において、回線入力端子29が実施例1から3のエコーキャンセラの第一の信号入力部1に接続され、第二の信号出力部5が回線出力端子30に接続されている。あるいは、回線入力端子29が実施例4から5の音響エコーキャンセラの受話信号入力部15に接続され、回線出力端子30が送話信号出力部18に電気的に接続されている。
筐体28の内部にスピーカ25とマイクロホン26−1から26−4が固定され、実施例1から3のエコーキャンセラの第一の信号出力部2にスピーカ25が電気的に接続されている。あるいは、実施例4から5の音響エコーキャンセラの受話信号出力部16にスピーカ25が電気的に接続されている。
また、実施例1から3のエコーキャンセラの第二の信号入力部3にマイクロホン26−1から26−4が電気的に接続されている。あるいは、実施例4から5の音響エコーキャンセラの送話信号入力部17にマイクロホン26−1から26−4が電気的に接続されている。
この実施例では、回線入力端子29から音声が再生できるよう筐体27の上面に向けてスピーカ25が設置されている。また、筐体28の周囲全体の話者の音声を収音するために4個のマイクロホン26−1から26−4を水平方向の嗜好性となるように設置している。
また、回線信号入力端子29からの信号は、音響エコーキャンセラの第一の信号入力部1あるいは受話信号入力部15に接続され、スピーカ25から音声が出力されることで、ハンズフリー電話周辺にいる人に回線からの音声を聞かせることができる。
筐体28内のスピーカ25から出力された音声の音波は、設置してある部屋の残響が付加された音波となって、筐体28周辺から発生する音波を合わせてマイクロホン26−1から26−4で収音され、実施例1から3のエコーキャンセラの第二の信号入力部3に入力される。あるいは、実施例4から5の音響エコーキャンセラの送話信号入力部17に入力される。
音響エコーキャンセラ27は、スピーカ25から出力され、部屋の残響が付加された成分をマイクロホン26−1から26−4で収音した信号から除去する。そのため、筐体28周辺から発生する音波のみを実施例1から3のエコーキャンセラの第二の信号出力部5あるいは実施例4から5の音響エコーキャンセラの送話信号出力部18に接続された回線信号出力端子30へ出力する。これにより、筐体28周辺の人の音声のみを回線信号出力端子30へ出力することができ、ハンズフリー電話が実現できる。
この実施例8を用いた構成により、信頼性の高い安定した動作をするハンズフリー電話を提供することができる。
本発明のエコーキャンセラは、信頼性の高い安定した動作をするという効果を有し、未知の伝達特性をキャンセルしながらキャンセル動作をする音響エコーキャンセラあるい回線エコーキャンセラを実現するためのDSPプログラムあるいはハードウェアとして、またそれを用いたハンズフリー電話として有用である。
本発明の実施例1におけるエコーキャンセラのブロック図 本発明の実施例1におけるシミュレーション実験のシングルトーク状態の実験のブロック図 本発明の実施例1におけるシミュレーション実験のダブルトーク状態の実験のブロック図 本発明の実施例1におけるシミュレーション実験のシングルトーク状態の実験の動作の波形のグラフ 本発明の実施例1におけるシミュレーション実験のダブルトーク状態の実験の動作の波形のグラフ 本発明の実施例1におけるシミュレーション実験のシングルトーク状態の実験の動作のフィルタ係数の軌跡のグラフ 本発明の実施例1におけるシミュレーション実験のダブルトーク状態の実験の動作のフィルタ係数の軌跡のグラフ 本発明の実施例2におけるエコーキャンセラのブロック図 (a)は第一の信号x(シングルトーク状態)の波形のグラフ、(b)は第二の信号入力部3の信号d(シングルトーク状態)の波形のグラフ、(c)は誤差信号e(シングルトーク状態)の波形のグラフ、(d)はv_mean(シングルトーク状態)の波形のグラフ (a)は第一の信号x(ダブルトーク状態)の波形のグラフ、(b)は第二の信号入力部3の信号d(ダブルトーク状態)の波形のグラフ、(c)は誤差信号e(ダブルトーク状態)の波形のグラフ、(d)はv_mean(ダブルトーク状態)の波形のグラフ 本発明の実施例3におけるエコーキャンセラのブロック図 (a)は所望信号dとフィルタ出力信号yの相互相関関数(初期のシングルトーク状態)のグラフ、(b)は所望信号dとフィルタ出力信号yの相互相関関数(収束後のシングルトーク状態)のグラフ (a)は所望信号dとフィルタ出力信号yの相互相関関数(初期のダブルトーク状態)のグラフ、(b)は所望信号dとフィルタ出力信号yの相互相関関数(収束後のダブルトーク状態)のグラフ (a)は本発明の実施例4におけるエコーキャンセラのブロック図、(b)は第一の減衰制御部の詳細な構成のブロック図 本発明の実施例5におけるエコーキャンセラのブロック図 本発明の実施例6におけるエコーキャンセラのブロック図 本発明の実施例7におけるエコーキャンセラのブロック図 本発明の実施例8におけるハンズフリー電話の斜視図
符号の説明
4 減算部
6 フィルタ係数バッファ
7 第一の信号バッファ
8 フィルタ部
9 位相検出部
8 誤差計算処理部
9 フィルタ係数更新部
10 符号判定部
11 短時間積分部
12 相互相関計算部
13 ピーク位置遅延検出部
14 位相決定部
15 第一の減衰制御部
16 第一の減衰部
17 第二の減衰制御部
18 第二の減衰部
19 第三の減衰制御部
20 第三の減衰部
21 第四の減衰制御部
22 第四の減衰部
25 スピーカ
26−1 マイクロホン
26−2 マイクロホン
26−3 マイクロホン
26−4 マイクロホン
27 音響エコーキャンセラ
28 筐体
29 回線信号入力端子
30 回線信号出力端子

Claims (7)

  1. 入力されるエコー信号について、フィルタ係数の修正値を演算し、演算された修正値に基づいて、前記エコー信号から未知の伝達特性を模擬した擬似エコー信号を差し引くエコーキャンセラであって、
    前記エコー信号と前記擬似エコー信号との符号の同異に基づいて前記フィルタ係数の修正値を制御し、前記フィルタ係数を修正する修正値制御部と、
    前記修正値制御部により修正されたフィルタ係数に基づいて、前記擬似エコー信号を生成し、前記エコー信号から生成したエコー信号を差し引いて、送信信号を出力するキャンセル部と、
    を備えたエコーキャンセラ。
  2. 入力されるエコー信号について、フィルタ係数の修正値を演算し、演算された修正値に基づいて、前記エコー信号から未知の伝達特性を模擬した擬似エコー信号を差し引くエコーキャンセラであって、
    前記エコー信号と前記擬似エコー信号の相互相関関数の最大値の遅延に基づいて前記フィルタ係数の修正値を制御し、前記フィルタ係数を修正する修正値制御部と、
    前記修正値制御部により修正されたフィルタ係数に基づいて、前記擬似エコー信号を生成し、前記エコー信号から生成したエコー信号を差し引いて、送信信号を出力するキャンセル部と、
    を備えたエコーキャンセラ。
  3. 送話信号に混在して入力されるエコー信号について、フィルタ係数の修正値を演算し、演算された修正値に基づいてエコー信号から未知の伝達特性を模擬した擬似エコー信号を差し引く音響エコーキャンセラであって、
    受話信号が入力される受話信号入力部と、
    前記受話信号を出力する受話信号出力部と、
    送話信号またはエコー信号が入力される送話信号入力部と、
    前記送話信号が出力される送話信号出力部と、
    前記受話信号入力部と前記受話信号出力部との間に介在する第一の分岐部と、
    前記送話信号入力部と前記送話信号出力部との間に介在する第二の分岐部と、
    前記第一の分岐部と前記第二の分岐部との間に設けられる修正値制御部と、
    前記修正値制御部により修正されたフィルタ係数に基づいて、擬似エコー信号を生成し、前記エコー信号から生成したエコー信号を差し引いて送信信号を出力するキャンセル部とを備え、
    前記修正値制御部は、前記エコー信号と前記擬似エコー信号との符号の同異を判定する符号判定部と、前記エコー信号と前記擬似エコー信号の符号が異なる度に両信号の差分を積算するとともに平均値を算出する短時間積分部を備え、前記平均値に基づいて前記フィルタ係数を修正することを特徴とする
    音響エコーキャンセラ。
  4. 送話信号に混在して入力されるエコー信号について、フィルタ係数の修正値を演算し、演算された修正値に基づいてエコー信号から未知の伝達特性を模擬した擬似エコー信号を差し引く音響エコーキャンセラであって、
    受話信号が入力される受話信号入力部と、
    前記受話信号を出力する受話信号出力部と、
    送話信号またはエコー信号が入力される送話信号入力部と、
    前記送話信号が出力される送話信号出力部と、
    前記受話信号入力部と前記受話信号出力部との間に介在する第一の分岐部と、
    前記送話信号入力部と前記送話信号出力部との間に介在する第二の分岐部と、
    前記第一の分岐部と前記第二の分岐部との間に設けられる修正値制御部と、
    前記修正値制御部により修正されたフィルタ係数に基づいて、擬似エコー信号を生成し、前記エコー信号から生成したエコー信号を差し引いて送信信号を出力するキャンセル部とを備え、
    前記修正値制御部は、前記エコー信号と前記擬似エコー信号の相互相関関数を求める相互相関計算部と、該相互相関関数が最大値となる点の遅延を求めるピーク位置遅延検出部と、相互相関関数の最大値の遅延に基づいて位相差を決定する位相決定部を備え、前記位相差に基づいて前記フィルタ係数の修正値を制御することを特徴とする
    音響エコーキャンセラ。
  5. 請求項1または2記載のエコーキャンセラを備えたハンズフリー電話。
  6. 請求項3または4記載の音響エコーキャンセラを備えたハンズフリー電話。
  7. エコーが含まれる推定対象の信号とエコーを推定した信号の符号の同異に基づいて前記フィルタ係数の修正値を制御し、該符号が同じである頻度が多く収束途中にあるエコーキャンセラの学習を継続するか、あるいは該符号が異なる頻度が多くダブルトークの状態と見なされる場合にエコーキャンセラの学習を停止するかを連続的な値で制御するようにしたエコーキャンセル方法。
JP2005028759A 2005-02-04 2005-02-04 エコーキャンセラおよびそれを用いたハンズフリー電話とエコーキャンセル方法 Expired - Fee Related JP4591102B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005028759A JP4591102B2 (ja) 2005-02-04 2005-02-04 エコーキャンセラおよびそれを用いたハンズフリー電話とエコーキャンセル方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005028759A JP4591102B2 (ja) 2005-02-04 2005-02-04 エコーキャンセラおよびそれを用いたハンズフリー電話とエコーキャンセル方法

Publications (2)

Publication Number Publication Date
JP2006217325A JP2006217325A (ja) 2006-08-17
JP4591102B2 true JP4591102B2 (ja) 2010-12-01

Family

ID=36980148

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005028759A Expired - Fee Related JP4591102B2 (ja) 2005-02-04 2005-02-04 エコーキャンセラおよびそれを用いたハンズフリー電話とエコーキャンセル方法

Country Status (1)

Country Link
JP (1) JP4591102B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63234733A (ja) * 1987-03-24 1988-09-30 Hitachi Ltd エコ−キヤンセラ
JPH0653864A (ja) * 1982-06-14 1994-02-25 Telecommun Radioelectr Teleph <Trt> エコーキャンセラーの集束時間を減少させる方法及び装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0653864A (ja) * 1982-06-14 1994-02-25 Telecommun Radioelectr Teleph <Trt> エコーキャンセラーの集束時間を減少させる方法及び装置
JPS63234733A (ja) * 1987-03-24 1988-09-30 Hitachi Ltd エコ−キヤンセラ

Also Published As

Publication number Publication date
JP2006217325A (ja) 2006-08-17

Similar Documents

Publication Publication Date Title
JP2538176B2 (ja) エコ―制御装置
JP4697465B2 (ja) 信号処理の方法、信号処理の装置および信号処理用プログラム
US7856097B2 (en) Echo canceling apparatus, telephone set using the same, and echo canceling method
US7035398B2 (en) Echo cancellation processing system
US7203308B2 (en) Echo canceller ensuring further reduction in residual echo
JP4568439B2 (ja) エコー抑圧装置
US8160239B2 (en) Echo canceller and speech processing apparatus
Heitkamper An adaptation control for acoustic echo cancellers
JP4457639B2 (ja) エコーキャンセラ
KR100423472B1 (ko) 적응성필터의수렴도측정
JP4544993B2 (ja) 単一チャンネルまたは多重チャンネル型の通信システム用エコー処理装置
JP4591685B2 (ja) ダブルトーク状態判定方法、エコーキャンセル方法、ダブルトーク状態判定装置、エコーキャンセル装置およびプログラム
JP2009105620A (ja) エコーキャンセラ
JP3407392B2 (ja) ステレオエコーキャンセラ
JP4544040B2 (ja) エコーキャンセル装置およびそれを用いた電話機、並びにエコーキャンセル方法
JP5057109B2 (ja) エコーキャンセラ装置
JP4650163B2 (ja) 拡声通話装置
JP2007274714A (ja) エコーキャンセラ
JP4475155B2 (ja) エコーキャンセラ
JP4591102B2 (ja) エコーキャンセラおよびそれを用いたハンズフリー電話とエコーキャンセル方法
JP4396449B2 (ja) 残響除去方法及びその装置
JPH10229354A (ja) エコー制御装置
JP2944310B2 (ja) エコーキャンセラ
US20100002866A1 (en) Voice communication apparatus
JP2006157498A (ja) 音響エコーキャンセラとそれを用いたハンズフリー電話及び音響エコーキャンセル方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080131

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20080213

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20091120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100525

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100715

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100817

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100830

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130924

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130924

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees