JP4400015B2 - ダブルトーク検出方法及びダブルトーク検出装置並びにエコーキャンセラ - Google Patents

ダブルトーク検出方法及びダブルトーク検出装置並びにエコーキャンセラ Download PDF

Info

Publication number
JP4400015B2
JP4400015B2 JP2001296810A JP2001296810A JP4400015B2 JP 4400015 B2 JP4400015 B2 JP 4400015B2 JP 2001296810 A JP2001296810 A JP 2001296810A JP 2001296810 A JP2001296810 A JP 2001296810A JP 4400015 B2 JP4400015 B2 JP 4400015B2
Authority
JP
Japan
Prior art keywords
rate
double
talk
determination result
average power
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001296810A
Other languages
English (en)
Other versions
JP2003110469A (ja
Inventor
義博 有山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2001296810A priority Critical patent/JP4400015B2/ja
Publication of JP2003110469A publication Critical patent/JP2003110469A/ja
Application granted granted Critical
Publication of JP4400015B2 publication Critical patent/JP4400015B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、ダブルトーク時のエコー消去特性の劣化を防止するためにダブルトークを検出するダブルトーク検出方法及びダブルトーク検出装置並びにそれを用いたエコーキャンセラに関するものである。
【0002】
【従来の技術】
ディジタル携帯電話等のディジタル通信システムでは、音声コーデックでの処理のために生じる遅延によって、通話相手の音声が携帯機のマイクとスピーカー間の筐体や空間を経由して通話相手へ返っていくエコーが生じる。この音響エコーを消去するために、一般的にエコーキャンセラが用いられている。
【0003】
エコーキャンセラは適応フィルタを備え、この適応フィルタで、遠端入力信号(受信信号)に基づいてエコー信号と推定された擬似的なエコーレプリカ(擬似エコー信号)を形成し、エコーパス(反響空間)でエコーを含んだ近端入力信号(発音出力信号)から、加算器で、上記エコーレプリカを減算することによりエコーを除去している。
【0004】
エコーキャンセラの適応フィルタには一般的には学習同定法が用いられている。
【0005】
文献『金田豊著、「適応フィルタの概要」、日本音響学会誌48巻7号、P.489〜492、1992年』
【0006】
【発明が解決しようとする課題】
しかしながら、上記エコーキャンセラのエコー消去特性は、ダブルトーク(双方向同時通話)によって劣化する。ダブルトークによって適応フィルタの特性が大きく変化してしまい、エコー消去特性が劣化してしまう。このため、ダブルトーク対策として、すみやかにダブルトークを検出し、ダブルトークに合わせて適応フィルタの機能を制御する必要がある。
【0007】
【課題を解決するための手段】
上記課題を解決するために第1の発明に係るダブルトーク検出方法は、可変レート音声コーデックを備えた通信システムにおいて、上記可変レート音声コーデックのデコーダのレート判定結果が有音区間に相当する高レートであり、エンコーダのレート判定結果が無音区間に相当する低レートの場合にのみシングルトーク状態と判定し、他の状態の場合はダブルトーク状態と判定することを特徴とする。
【0008】
上記構成により、可変レート音声コーデックのデコーダ及びエンコーダのレート判定結果から、シングルトーク状態かダブルトーク状態かを高速にかつ正確に判定することができる。
【0009】
第2の発明に係るダブルトーク検出方法は、可変レート音声コーデックを備えた通信システムにおいて、上記可変レート音声コーデックのデコーダのレート判定結果が有音区間に相当する高レートで、エンコーダのレート判定結果が無音区間に相当する低レートでかつ、遠端信号の平均パワーが閾値以上で近端信号の平均パワーが閾値以下の場合にのみシングルトーク状態と判定し、他の状態の場合はダブルトーク状態と判定することを特徴とする。
【0010】
上記構成により、可変レート音声コーデックのデコーダ及びエンコーダのレート判定結果と共に、遠端信号及び近端信号の平均パワーを閾値と比較した結果を用いたので、シングルトーク状態かダブルトーク状態かを、高速にかつより正確に判定することができる。
【0011】
第3の発明に係るダブルトーク検出方法は、可変レート音声コーデックを備えた通信システムにおいて、上記可変レート音声コーデックのデコーダのレート判定結果が有音区間に相当する高レートで、エンコーダのレート判定結果が無音区間に相当する低レートでかつ、遠端信号の平均パワーが閾値以上で残差信号の平均パワーが閾値以下の場合にのみシングルトーク状態と判定し、他の状態の場合はダブルトーク状態と判定することを特徴とする。
【0012】
上記構成により、可変レート音声コーデックのデコーダ及びエンコーダのレート判定結果と共に、遠端信号及び残差信号の平均パワーを閾値と比較した結果を用いたので、シングルトーク状態かダブルトーク状態かを、高速にかつより正確に判定することができる。ここで、上記第2の発明の近端信号の平均パワーの代わりに残差信号の平均パワーを用いたのは、エコー成分の影響を除去するためである。
【0013】
第4の発明に係るダブルトーク検出装置は、可変レート音声コーデックを備えた通信システムにおいて、上記可変レート音声コーデックのデコーダのレート判定結果が有音区間に相当する高レートであり、エンコーダのレート判定結果が無音区間に相当する低レートの場合にのみシングルトーク状態と判定し、他の状態の場合はダブルトーク状態と判定するダブルトーク判定部を備えたことを特徴とする。
【0014】
上記構成により、ダブルトーク判定部で、上記第1の発明に係るダブルトーク検出方法と同様に、可変レート音声コーデックのデコーダ及びエンコーダのレート判定結果から、シングルトーク状態かダブルトーク状態かを高速にかつ正確に判定することができる。
【0015】
第5の発明に係るダブルトーク検出装置は、可変レート音声コーデックを備えた通信システムにおいて、上記可変レート音声コーデックのデコーダのレート判定結果が有音区間に相当する高レートで、エンコーダのレート判定結果が無音区間に相当する低レートでかつ、遠端信号の平均パワーが閾値以上で近端信号の平均パワーが閾値以下の場合にのみシングルトーク状態と判定し、他の状態の場合はダブルトーク状態と判定するダブルトーク判定部を備えたことを特徴とする。
【0016】
上記構成により、ダブルトーク判定部で、上記第2の発明に係るダブルトーク検出方法と同様に、可変レート音声コーデックのデコーダ及びエンコーダのレート判定結果と共に、遠端信号及び近端信号の平均パワーを閾値と比較した結果から、シングルトーク状態かダブルトーク状態かを高速にかつより正確に判定することができる。
【0017】
第6の発明に係るダブルトーク検出装置は、可変レート音声コーデックを備えた通信システムにおいて、上記可変レート音声コーデックのデコーダのレート判定結果が有音区間に相当する高レートで、エンコーダのレート判定結果が無音区間に相当する低レートでかつ、遠端信号の平均パワーが閾値以上で残差信号の平均パワーが閾値以下の場合にのみシングルトーク状態と判定し、他の状態の場合はダブルトーク状態と判定するダブルトーク判定部を備えたことを特徴とする。
【0018】
上記構成により、ダブルトーク判定部で、上記第3の発明に係るダブルトーク検出方法と同様に、可変レート音声コーデックのデコーダ及びエンコーダのレート判定結果と共に、遠端信号及び残差信号の平均パワーを閾値と比較した結果から、シングルトーク状態かダブルトーク状態かを高速にかつより正確に判定することができる。
【0019】
第7の発明に係るエコーキャンセラは、可変レート音声コーデックを備えた通信システムに組み込まれるエコーキャンセラにおいて、エコーパスの特性を分析して擬似エコーを合成する適応フィルタ部と、上記可変レート音声コーデックのレート判定情報をもとにダブルトーク状態を判定するダブルトーク判定部とを備え、上記可変レート音声コーデックのデコーダのレート判定結果が有音区間に相当する高レートであり、エンコーダのレート判定結果が無音区間に相当する低レートの場合にのみシングルトーク状態と判定して上記適応フィルタの更新動作を行い、他の状態の場合はダブルトーク状態と判定して適応フィルタの更新動作を停止することで、高精度のエコー消去特性を実現することを特徴とする。
【0020】
上記構成により、可変レート音声コーデックのデコーダ及びエンコーダのレート判定結果から、シングルトーク状態かダブルトーク状態かを高速にかつ正確に判定することができ、この判定結果に基づいて適応フィルタを制御して、高精度のエコー消去特性を実現することができる。
【0021】
第8の発明に係るエコーキャンセラは、可変レート音声コーデックを備えた通信システムに組み込まれるエコーキャンセラにおいて、エコーパスの特性を分析して擬似エコーを合成する適応フィルタ部と、上記可変レート音声コーデックのレート判定情報と遠端、近端の各入力信号の平均パワーとをもとにダブルトーク状態を判定するダブルトーク判定部とを備え、上記可変レート音声コーデックのデコーダのレート判定結果が有音区間に相当する高レートで、エンコーダのレート判定結果が無音区間に相当する低レートでかつ、遠端信号の平均パワーが閾値以上で近端信号の平均パワーが閾値以下の場合にのみシングルトーク状態と判定して上記適応フィルタの更新動作を行い、他の状態の場合はダブルトーク状態と判定して適応フィルタの更新動作を停止することで、高精度のエコー消去特性を実現することを特徴とする。
【0022】
上記構成により、可変レート音声コーデックのデコーダ及びエンコーダのレート判定結果と共に、遠端信号及び近端信号の平均パワーを閾値と比較した結果から、シングルトーク状態かダブルトーク状態かを高速にかつより正確に判定することができ、この判定結果に基づいて適応フィルタを制御して、高精度のエコー消去特性を実現することができる。
【0023】
第9の発明に係るエコーキャンセラは、可変レート音声コーデックを備えた通信システムに組み込まれるエコーキャンセラにおいて、エコーパスの特性を分析して擬似エコーを合成する適応フィルタ部と、上記可変レート音声コーデックのレート判定情報と遠端、残差の各入力信号の平均パワーとをもとにダブルトーク状態を判定するダブルトーク判定部とを備え、上記可変レート音声コーデックのデコーダのレート判定結果が有音区間に相当する高レートで、エンコーダのレート判定結果が無音区間に相当する低レートでかつ、遠端信号の平均パワーが閾値以上で残差信号の平均パワーが閾値以下の場合にのみシングルトーク状態と判定して上記適応フィルタの更新動作を行い、他の状態の場合はダブルトーク状態と判定して適応フィルタの更新動作を停止することで、高精度のエコー消去特性を実現することを特徴とする。
【0024】
上記構成により、可変レート音声コーデックのデコーダ及びエンコーダのレート判定結果と共に、遠端信号及び残差信号の平均パワーを閾値と比較した結果から、シングルトーク状態かダブルトーク状態かを高速にかつより正確に判定することができ、この判定結果に基づいて適応フィルタを制御して、高精度のエコー消去特性を実現することができる。
【0025】
第10の発明に係るエコーキャンセラは、上記第7乃至9の発明のいずれかに記載のエコーキャンセラにおいて、上記ダブルトーク判定部によるダブルトークの判定からシングルトークへの判定の段階で、適応フィルタ部にヒステリシスを持たせることを特徴とする。
【0026】
上記構成により、カウンターなどを利用して一定時間シングルトークに復帰しないようにしてヒステリシスを持たせることで、ダブルトークとシングルトークとの間で遷移がめまぐるしく起きてしまうのを防止することができる。この結果、通話品質が低下するのを抑制することができる。
【0027】
【発明の実施の形態】
以下に本発明の実施形態について説明する。
【0028】
[ダブルトーク検出方法]
ダブルトークの判定は、受話信号、送話信号の音声、非音声の状態を判別することによって実現できる。この音声信号の音声、非音声状態の判別に関して、CDMA端末などのディジタル通信システムで用いられている可変レート音声コーデックでは、音声の状態を監視し、非音声の区間は低いレートで符号化して送り出す方法を用いている。本実施形態に係るダブルトーク検出方法は、この可変レート音声コーデックのレート判定情報を用いて、受話、送話音声の状態を判別し、これによりダブルトーク状態の検出を行うものである。
【0029】
CDMA端末などに用いられている可変レート音声コーデックでは、音声の有音、無音に応じて符号化レートを切り替える方法を用いている。すなわち、有音区間では比較的高いビットレートを必要とする符号化を行い、無音区間では低いビットレートで符号化を行う。受信側はビットレートの情報を同時に受信して復号する。EVRCを例に取ると、通常、有音区間は高レートであるフルレートもしくは1/2レートでコーディングされるが、無音区間は低レートである1/8レートでコーディングされる。
【0030】
この可変レート音声コーデックのレート判定情報は、音声の有音、無音判定の情報として用いることができる。これを利用してダブルトーク判定を行うことができる。即ち、本実施形態のダブルトーク検出方法は、可変レート音声コーデックのレート判定情報を利用してダブルトーク判定を実現する手法である。
【0031】
次に、具体的なダブルトーク検出方法を説明する。
【0032】
第1のダブルトーク検出方法は、可変レート音声コーデックのデコーダ及びエンコーダのレート判定結果のみを基にダブルトークを検出する方法である。
【0033】
上記可変レート音声コーデックのデコーダのレート判定結果が有音区間に相当する高レートであり、エンコーダのレート判定結果が無音区間に相当する低レートの場合にのみシングルトーク状態と判定する。即ち、遠端信号が受信されているだけで、近端信号の送信がない状態と判定する。このシングルトーク状態以外の状態をダブルトーク状態と判定する。なお、このダブルトーク状態には、デコーダ及びエンコーダのレート判定結果がともに無音区間に相当する低レートである無音状態が含まれる。
【0034】
この方法により、可変レート音声コーデックのデコーダ及びエンコーダのレート判定結果から、シングルトーク状態かダブルトーク状態かを高速にかつ正確に判定することができる。
【0035】
第2のダブルトーク検出方法は、可変レート音声コーデックのデコーダ及びエンコーダのレート判定結果と共に遠端信号及び近端信号の平均パワーの値を基にダブルトークを検出する方法である。
【0036】
上記可変レート音声コーデックのデコーダのレート判定結果が有音区間に相当する高レートで、エンコーダのレート判定結果が無音区間に相当する低レートである場合は、第1のダブルトーク検出方法と同様であるが、第2のダブルトーク検出方法ではこれに加えて、遠端信号の平均パワーが閾値以上で近端信号の平均パワーが閾値以下の場合にのみシングルトーク状態と判定する。このシングルトーク状態以外の状態の場合をダブルトーク状態と判定する。なお、このダブルトーク状態に上記無音状態が含まれるのは、第1のダブルトーク検出方法と同様である。
【0037】
ここで、遠端信号の平均パワーが閾値以上とは、受信側が有音状態であることを意味する。また、近端信号の平均パワーが閾値以下とは、送信側が無音状態であることを意味する。実際の通話では雑音等の種々の情報が含まれているため、平均値をとって閾値と比較している。
【0038】
この方法により、可変レート音声コーデックのデコーダ及びエンコーダのレート判定結果と共に、遠端信号及び近端信号の平均パワーを閾値と比較した結果を用いたので、シングルトーク状態かダブルトーク状態かを、高速にかつより正確に判定することができる。
【0039】
第3のダブルトーク検出方法は、可変レート音声コーデックのデコーダ及びエンコーダのレート判定結果と共に遠端信号及び残差信号の平均パワーの値を基にダブルトークを検出する方法である。
【0040】
上記可変レート音声コーデックのデコーダのレート判定結果が有音区間に相当する高レートで、エンコーダのレート判定結果が無音区間に相当する低レートである場合は、第1のダブルトーク検出方法と同様であるが、第3のダブルトーク検出方法ではこれに加えて、遠端信号の平均パワーが閾値以上で残差信号の平均パワーが閾値以下の場合にのみシングルトーク状態と判定する。このシングルトーク状態以外の状態の場合をダブルトーク状態と判定する。なお、このダブルトーク状態に上記無音状態が含まれるのは、第1のダブルトーク検出方法と同様である。
【0041】
ここでは、上記第2のダブルトーク検出方法の近端信号の平均パワーの代わりに残差信号の平均パワーを用いているが、これは、エコー成分の影響を排除できるためのである。残差信号は近端信号からエコー成分を除去した後の信号であるため、エコー成分による影響を除去することができる。
【0042】
この方法により、可変レート音声コーデックのデコーダ及びエンコーダのレート判定結果と共に、遠端信号及び残差信号の平均パワーを閾値と比較した結果を用いたので、シングルトーク状態かダブルトーク状態かを、高速にかつより正確に判定することができる。
【0043】
[ダブルトーク検出装置]
ダブルトーク検出装置は、上述した各ダブルトーク検出方法の機能を組み込んだダブルトーク判定部によって構成されている。このダブルトーク検出装置のダブルトーク判定部での具体的な動作及び効果は、上述した各ダブルトーク検出方法と同様である。
【0044】
このダブルトーク検出装置は、単体の部品としても、エコーキャンセラの一部の機能としてもよい。
【0045】
[エコーキャンセラ]
次に、本実施形態に係るエコーキャンセラ100について添付図面を基に説明する。
【0046】
[第1のエコーキャンセラ]
図1に本実施形態の第1のエコーキャンセラ100を示す。図1はエコーキャンセラ100の全体構成を示すブロック図である。エコーキャンセラ100は、可変レート音声コーデック部101に隣接して設けられている。
【0047】
エコーキャンセラ100は、近端入力信号Sin’からエコー成分を除去するためのもので、遠端入力端子102、遠端出力端子103、適応フィルタ部104、近端入力端子107、加算器108、ダブルトーク判定部109、近端出力端子110を有して構成されている。なお、エコーパス105は、例えばマイクとスピーカー間の筐体や空間等の反響経路である。このエコーパス105を介してエコー信号(音響信号)ETが近端信号源106からの入力信号Sinに加算されて近端出力信号Sin’となる。
【0048】
遠端入力端子102は可変レート音声コーデック部101のデコーダに接続され、入力ビット列Rbがデコードされた遠端入力信号Rinを入力する。遠端入力端子102よりサンプル単位に入力される遠端入力信号Rinは適応フィルタ部104に入力される。近端出力端子103から出力される遠端出力信号Rout(=Rin)は近端のエコーパス105でエコー信号ETを生じる。近端出力端子110は可変レート音声コーデック部101のエンコーダに接続され、近端出力信号Soutを出力する。この近端出力信号Soutはエンコードされて出力ビット列Sbとして回線側に出力される。
【0049】
適応フィルタ部104は、遠端入力信号(デジタル信号)Rinを受信して、この遠端入力信号RinからエコーレプリカERを形成する。この適応フィルタ部104に用いられる適応アルゴリズムには、LMS法や学習同定法などがある。このLMS法や学習同定法については、文献(「適応フィルタの概要」日本音響学会誌48巻7号(1992)P.489〜492)に示されている。
【0050】
これらのアルゴリズムは、比較的軽量な計算量と安定な動作からエコーキャンセラの適応フィルタとしてよく利用される。このようなエコーキャンセラでは、近端話者側の発声や、大きな雑音信号の混入などによるダブルトーク状態がおきると、適応フィルタの特性が大きく劣化するため、ダブルトーク状態を検出して適応フィルタの更新動作を速やかに停止する必要がある。このために、適応フィルタの更新動作を停止させるタイミングとしてのダブルトーク状態の発生を速やかに検出する必要がある。このため、ダブルトーク判定部109を設けた。ダブルトーク判定部109については後述する。
【0051】
本実施形態では、時刻tにおけるインパルス応答のタップ係数h´(t)と遠端入力信号RinからエコーレプリカERを算出する。具体的には、適応フィルタ部104で、後述する式(1)によりエコーレプリカERを算出する。
【0052】
また、タップ係数を更新する場合は、残差信号ZSを用いて、後述する式(3)により行う。
【0053】
加算器108は、エコーを含んだ近端出力信号Sin’から、適応フィルタ部104で形成したエコーレプリカERを減算して、残差信号ZS(=e(t))を算出する。具体的には、後述する式(2)により行う。
【0054】
ダブルトーク判定部109は、可変レート音声コーデック部101でのレート判定結果に基づいてダブルトーク状態を判定する。ダブルトーク判定部109には、可変レート音声コーデック部101のデコーダからデコードの際の受信側レート判定情報Rrが、エンコーダからエンコードの際の送信側レート判定情報Srがそれぞれ入力される。そして、ダブルトーク判定部109は、可変レート音声コーデック部101のデコーダのレート判定結果が有音区間に相当する高レートであり、エンコーダのレート判定結果が無音区間に相当する低レートの場合にのみシングルトーク状態と判定し、他の状態の場合はダブルトーク状態と判定する。なお、他の状態には、(1)デコーダのレート判定結果が有音区間に相当する高レートであり、エンコーダのレート判定結果が有音区間に相当する高レートである場合、(2)デコーダのレート判定結果が無音区間に相当する低レートであり、エンコーダのレート判定結果が有音区間に相当する高レートである場合、(3)デコーダのレート判定結果が無音区間に相当する低レートであり、エンコーダのレート判定結果が無音区間に相当する低レートである場合の3態様がある。
【0055】
可変レート音声コーデック部101のデコーダは回線側からの入力ビット列Rbをデコードする。デコードされた信号である遠端入力信号Rinは端子102に入力する。可変レート音声コーデック部101のエンコーダはエコーキャンセラ100の近端出力端子110からの近端出力信号Soutを受け取り、エンコードして回線側に出力ビット列Sbを送り出す。
【0056】
さらに、可変レート音声コーデック部101では、音声の有音、無音に応じて符号化レートを切り替える。すなわち、有音区間では比較的高いビットレートを必要とする符号化を行い、無音区間では低いビットレートで符号化を行う。このとき、デコーダでのビットレートの情報は受信側レート判定情報Rrとしてダブルトーク判定部109へ出力される。また、エンコーダでのビットレートの情報は送信側レート判定情報Srとしてダブルトーク判定部109へ出力される。
【0057】
適応フィルタ部104のタップ係数h´(t)は動作開始時もしくは任意の初期化時に初期化(クリアなど)される。
【0058】
[動作]
次に、上記構成のエコーキャンセラ100の動作を図2のフローチャートに基づいて説明する。
【0059】
まず、適応フィルタ部104のタップ係数を初期化する(ステップS1)。
【0060】
次いで、適応フィルタ部104でエコーレプリカERを作成する(ステップS2)。即ち、適応フィルタ部104で、時刻tにおけるインパルス応答のタップ係数h´(t)と遠端入力信号RinからエコーレプリカERを算出する。エコーレプリカERを算出する式は以下の式による。
【0061】
ER=h´T(t)x(t) …(1)
x(t):時刻tから過去n個までの遠端入力信号Rin
次いで、加算器108で、近端出力信号Sin'とエコーレプリカERを減算して、残差信号ZS(=e(t))を算出する(ステップS3)。残差信号ZS(=e(t))を算出する式は以下の式による。
【0062】
e(t)=y(t)−h´T(t)x(t) …(2)
次いで、ダブルトーク判定部109で、送信側レート判定情報Sr及び受信側レート判定情報Rrから、以下のようにしてダブルトーク状態かシングルトーク状態かを判定し(ステップS4)、各判定結果に基づいてタップ係数の更新をするか否かを判定する(ステップS5)。
【0063】
(1) Rr:有音区間相当レート(高レート)、Sr:無音区間相当レート(低レート)のとき、シングルトーク状態と判定し、適応フィルタ部104のタップ係数の更新をする。
【0064】
(2) Rr:有音区間相当レート(高レート)、Sr:有音区間相当レート(高レート)のとき、ダブルトーク状態と判定し、適応フィルタ部104のタップ係数の更新をしない。
【0065】
(3) Rr:無音区間相当レート(低レート)、Sr:有音区間相当レート(高レート)のとき、ダブルトーク状態と判定し、適応フィルタ部104のタップ係数の更新をしない。
【0066】
(4) Rr:無音区間相当レート(低レート)、Sr:無音区間相当レート(低レート)のとき、無音状態と判定し、適応フィルタ部104のタップ係数の更新をしない。
【0067】
上記判定により、タップ係数の更新をしないときは、ステップS2に戻り、上記処理を繰り返す。タップ係数の更新をするときは、タップ係数を更新する旨の判定結果DDを適応フィルタ部104に入力させる。
【0068】
適応フィルタ部104では、ダブルトーク判定部109のタップ係数を更新する旨の判定結果DDを基に、残差信号を用いてタップ係数を更新する(ステップS6)。更新は以下の式による。
【0069】
h(t+1)=h(t)+[α/(x(t)Tx(t)+β)]e(k)x(k)…(3)
α:ステップサイズ(0<α<2)
β:0除算を防ぐ小さな正の値
残差信号ZSは遠端出力110から遠端出力信号Soutとして出力される。遠端出力信号Soutは可変レート音声コーデック部に入力され、エンコードされて出力ビット列Sbとして回線側に出力される。
【0070】
その後、ステップS2に戻り、上記処理を繰り返す。
【0071】
[効果]
以上のように、可変レート音声コーデックのデコーダ及びエンコーダのレート判定結果を用いるので、シングルトーク状態かダブルトーク状態かを高速にかつ正確に判定することができる。
【0072】
また、ダブルトーク判定の機構を簡略化することができる。
【0073】
さらに、この判定結果に基づいて適応フィルタを制御して、高精度のエコー消去特性を実現することができる。
【0074】
[第2のエコーキャンセラ]
図3に本実施形態の第2のエコーキャンセラ200を示す。図3はエコーキャンセラ200の全体構成を示すブロック図である。エコーキャンセラ200は、可変レート音声コーデック部201に隣接して設けられている。
【0075】
第2のエコーキャンセラ200の全体構成は上記第1のエコーキャンセラ100とほぼ同様であるため、ここでは、第1のエコーキャンセラ100との相違点を中心に説明する。
【0076】
第2のエコーキャンセラ200は、ダブルトーク判定部209が、可変レート音声コーデック部201のデコーダ及びエンコーダのレート判定結果と共に、遠端入力信号Rin及び近端出力信号Sin'の平均パワーを基に、ダブルトーク状態を検出する点に特徴がある。このため、ダブルトーク判定部209は、可変レート音声コーデック部201のデコーダ及びエンコーダと共に、遠端入力端子202及び近端入力端子207側にも接続されている。
【0077】
[動作]
次に、上記構成のエコーキャンセラ200の動作を図4のフローチャートに基づいて説明する。
【0078】
まず、適応フィルタ部204のタップ係数を初期化する(ステップS11)。
【0079】
次いで、適応フィルタ部204でエコーレプリカERを作成する(ステップS12)。即ち、適応フィルタ部204で、時刻tにおけるインパルス応答のタップ係数h´(t)と遠端入力信号RinからエコーレプリカERを算出する。エコーレプリカERを算出する式は以下の式による。
【0080】
ER=h´T(t)x(t) …(1)
x(t):時刻tから過去n個までの遠端入力信号Rin
次いで、加算器208で、近端出力信号Sin'とエコーレプリカERを減算して、残差信号ZS(=e(t))を算出する(ステップS13)。残差信号ZS(=e(t))を算出する式は以下の式による。
【0081】
e(t)=y(t)−h´T(t)x(t) …(2)
次いで、ダブルトーク判定部209に遠端入力信号Rin及び近端出力信号Sin'を取り込み、各信号の平均パワーを計算する(ステップS14)。
【0082】
次いで、ダブルトーク判定部209で、送信側レート判定情報Sr、受信側レート判定情報Rr、遠端入力信号Rinの平均パワー及び近端出力信号Sin'の平均パワーから、以下のようにしてダブルトーク状態かシングルトーク状態かを判定し(ステップS15)、各判定結果に基づいてタップ係数の更新をするか否かを判定する(ステップS16)。ここで、遠端入力信号Rin及び近端出力信号Sin'の平均パワーによる条件をつけるのは、より厳密にシングルトーク状態を特定するためである。
【0083】
(1) Rr:有音区間相当レート(高レート)、Sr:無音区間相当レート(低レート)、Rinの平均パワーが閾値以上、Sin'の平均パワーが閾値以下のとき、シングルトーク状態と判定し、適応フィルタ部204のタップ係数の更新をする。
【0084】
(2) Rr:有音区間相当レート(高レート)、Sr:有音区間相当レート(高レート)、Rinの平均パワー及びSin'の平均パワーは任意のとき、ダブルトーク状態と判定し、適応フィルタ部204のタップ係数の更新をしない。
【0085】
(3) Rr:無音区間相当レート(低レート)、Sr:有音区間相当レート(高レート)、Rinの平均パワー及びSin'の平均パワーは任意のとき、ダブルトーク状態と判定し、適応フィルタ部204のタップ係数の更新をしない。
【0086】
(4) Rr:無音区間相当レート(低レート)、Sr:無音区間相当レート(低レート)、Rinの平均パワー及びSin'の平均パワーは任意のとき、無音状態と判定し、適応フィルタ部204のタップ係数の更新をしない。
【0087】
上記判定により、タップ係数の更新をしないときは、ステップS2に戻り、上記処理を繰り返す。タップ係数の更新をするときは、タップ係数を更新する旨の判定結果DDを適応フィルタ部204に入力させる。
【0088】
適応フィルタ部204では、ダブルトーク判定部209のタップ係数を更新する旨の判定結果DDを基に、残差信号を用いてタップ係数を更新する(ステップS17)。更新は以下の式による。
【0089】
h(t+1)=h(t)+[α/(x(t)Tx(t)+β)]e(k)x(k)…(3)
α:ステップサイズ(0<α<2)
β:0除算を防ぐ小さな正の値
残差信号ZSは遠端出力210から遠端出力信号Soutとして出力される。遠端出力信号Soutは可変レート音声コーデック部に入力され、エンコードされて出力ビット列Sbとして回線側に出力される。
【0090】
その後、ステップS12に戻り、上記処理を繰り返す。
【0091】
[効果]
以上のように、可変レート音声コーデックのデコーダ及びエンコーダのレート判定結果と共に、遠端入力信号Rin及び近端出力信号Sin'の平均パワーを用いるので、シングルトーク状態かダブルトーク状態かを高速にかつより正確に判定することができる。
【0092】
また、ダブルトーク判定の機構を簡略化することができる。
【0093】
さらに、この判定結果に基づいて適応フィルタを制御して、高精度のエコー消去特性を実現することができる。
【0094】
[第3のエコーキャンセラ]
図5に本実施形態の第3のエコーキャンセラ300を示す。図5はエコーキャンセラ300の全体構成を示すブロック図である。エコーキャンセラ300は、可変レート音声コーデック部301に隣接して設けられている。
【0095】
第3のエコーキャンセラ300の全体構成は上記第1のエコーキャンセラ100とほぼ同様であるため、ここでは、第1のエコーキャンセラ100との相違点を中心に説明する。
【0096】
第3のエコーキャンセラ300は、ダブルトーク判定部309が、可変レート音声コーデック部301のデコーダ及びエンコーダのレート判定結果と共に、遠端入力信号Rin及び残差信号ZSの平均パワーを基に、ダブルトーク状態を検出する点に特徴がある。このため、ダブルトーク判定部309は、可変レート音声コーデック部301のデコーダ及びエンコーダと共に、遠端入力端子302及び加算器308の可変レート音声コーデック部301側にも接続されている。
【0097】
[動作]
次に、上記構成のエコーキャンセラ300の動作を図6のフローチャートに基づいて説明する。
【0098】
まず、適応フィルタ部304のタップ係数を初期化する(ステップS21)。
【0099】
次いで、適応フィルタ部304でエコーレプリカERを作成する(ステップS22)。即ち、適応フィルタ部304で、時刻tにおけるインパルス応答のタップ係数h´(t)と遠端入力信号RinからエコーレプリカERを算出する。エコーレプリカERを算出する式は以下の式による。
【0100】
ER=h´T(t)x(t) …(1)
x(t):時刻tから過去n個までの遠端入力信号Rin
次いで、加算器308で、近端出力信号Sin'とエコーレプリカERを減算して、残差信号ZS(=e(t))を算出する(ステップS23)。残差信号ZS(=e(t))を算出する式は以下の式による。
【0101】
e(t)=y(t)−h´T(t)x(t) …(2)
次いで、ダブルトーク判定部309に遠端入力信号Rin及び残差信号ZSを取り込み、各信号の平均パワーを計算する(ステップS24)。
【0102】
次いで、ダブルトーク判定部309で、送信側レート判定情報Sr、受信側レート判定情報Rr、遠端入力信号Rinの平均パワー及び残差信号ZSの平均パワーから、以下のようにしてダブルトーク状態かシングルトーク状態かを判定し(ステップS25)、各判定結果に基づいてタップ係数の更新をするか否かを判定する(ステップS26)。ここで、遠端入力信号Rin及び残差信号ZSの平均パワーによる条件をつけるのは、より厳密にシングルトーク状態を特定するためである。
【0103】
(1) Rr:有音区間相当レート(高レート)、Sr:無音区間相当レート(低レート)、Rinの平均パワーが閾値以上、ZSの平均パワーが閾値以下のとき、シングルトーク状態と判定し、適応フィルタ部204のタップ係数の更新をする。
【0104】
(2) Rr:有音区間相当レート(高レート)、Sr:有音区間相当レート(高レート)、Rinの平均パワー及びZSの平均パワーは任意のとき、ダブルトーク状態と判定し、適応フィルタ部204のタップ係数の更新をしない。
【0105】
(3) Rr:無音区間相当レート(低レート)、Sr:有音区間相当レート(高レート)、Rinの平均パワー及びZSの平均パワーは任意のとき、ダブルトーク状態と判定し、適応フィルタ部204のタップ係数の更新をしない。
【0106】
(4) Rr:無音区間相当レート(低レート)、Sr:無音区間相当レート(低レート)、Rinの平均パワー及びZSの平均パワーは任意のとき、無音状態と判定し、適応フィルタ部204のタップ係数の更新をしない。
【0107】
上記判定により、タップ係数の更新をしないときは、ステップS22に戻り、上記処理を繰り返す。タップ係数の更新をするときは、タップ係数を更新する旨の判定結果DDを適応フィルタ部304に入力させる。
【0108】
適応フィルタ部304では、ダブルトーク判定部309のタップ係数を更新する旨の判定結果DDを基に、残差信号を用いてタップ係数を更新する(ステップS27)。更新は以下の式による。
【0109】
h(t+1)=h(t)+[α/(x(t)Tx(t)+β)]e(k)x(k)…(3)
α:ステップサイズ(0<α<2)
β:0除算を防ぐ小さな正の値
残差信号ZSは遠端出力310から遠端出力信号Soutとして出力される。遠端出力信号Soutは可変レート音声コーデック部に入力され、エンコードされて出力ビット列Sbとして回線側に出力される。
【0110】
その後、ステップS22に戻り、上記処理を繰り返す。
【0111】
[効果]
以上のように、可変レート音声コーデックのデコーダ及びエンコーダのレート判定結果と共に、遠端入力信号Rin及び残差信号ZSの平均パワーを用いるので、シングルトーク状態かダブルトーク状態かを高速にかつより正確に判定することができる。
【0112】
また、ダブルトーク判定の機構を簡略化することができる。
【0113】
さらに、この判定結果に基づいて適応フィルタを制御して、高精度のエコー消去特性を実現することができる。
【0114】
[変形例]
(1) 上記実施形態では、ダブルトーク判定部109での判定結果DDをそのまま適応フィルタ部104に入力させたが、ダブルトークの判定からシングルトークヘの判定の段階でヒステリシスを持たせるようにしてもよい。即ち、カウンターなどを利用して一定時間シングルトークに復帰しないようにしてもよい。これにより、ダブルトークとシングルトークとの間で遷移がめまぐるしく起きてしまって、通話品質が低下するのを抑制することができる。
【0115】
(2) エコーキャンセラ100の適応アルゴリズムは、学習同定法を限定されるものではなく、LMS,RLS、カルマンフィルタ等の他の適応アルゴリズムを用いたエコーキャンセラにも適用可能である。同様に可変レート音声コーデックも、可変レートの方式が有音、無音の判定に依存していればその方式には依存しないので、北米CDMA方式のQCELPやEVRCなどの可変レートコーデックに適応可能である。
【0116】
【発明の効果】
以上のように、本発明に係るダブルトーク検出方法及びダブルトーク検出装置並びにエコーキャンセラでは、次のような効果を奏することができる。
【0117】
(1) 可変レート音声コーデックのデコーダ及びエンコーダのレート判定結果を用いて、シングルトーク状態かダブルトーク状態かを判定するため、高速にかつ正確に判定することができる。
【0118】
(2) 可変レート音声コーデックのデコーダ及びエンコーダのレート判定結果と共に、遠端信号及び近端信号の平均パワーを閾値と比較した結果を用いて、シングルトーク状態かダブルトーク状態かを判定するため、高速にかつより正確に判定することができる。
【0119】
(3) 可変レート音声コーデックのデコーダ及びエンコーダのレート判定結果と共に、遠端信号及び残差信号の平均パワーを閾値と比較した結果を用いて、シングルトーク状態かダブルトーク状態かを判定するため、高速にかつより正確に判定することができる。
【0120】
(4) 上記判定手段により、ダブルトーク判定の機構を簡略化することができる。
【0121】
(5) 上記判定結果に基づいて適応フィルタを制御することで、高精度のエコー消去特性を実現することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係るエコーキャンセラの全体構成を示すブロック図である。
【図2】本発明の第1の実施形態に係るエコーキャンセラでの処理の流れを示すフローチャートである。
【図3】本発明の第2の実施形態に係るエコーキャンセラの全体構成を示すブロック図である。
【図4】本発明の第2の実施形態に係るエコーキャンセラでの処理の流れを示すフローチャートである。
【図5】本発明の第3の実施形態に係るエコーキャンセラの全体構成を示すブロック図である。
【図6】本発明の第3の実施形態に係るエコーキャンセラでの処理の流れを示すフローチャートである。
【符号の説明】
100:エコーキャンセラ
101:可変レート音声コーデック部
102:遠端入力端子
103:遠端出力端子
104:適応フィルタ部
105:近端入力端子
108:加算器
109:ダブルトーク判定部
110:近端出力端子
Rr:受信側レート判定情報
Sr:送信側レート判定情報

Claims (10)

  1. 可変レート音声コーデックを備えた通信システムにおいて、上記可変レート音声コーデックのデコーダのレート判定結果が有音区間に相当する高レートであり、エンコーダのレート判定結果が無音区間に相当する低レートの場合にのみシングルトーク状態と判定し、他の状態の場合はダブルトーク状態と判定することを特徴とするダブルトーク検出方法。
  2. 可変レート音声コーデックを備えた通信システムにおいて、上記可変レート音声コーデックのデコーダのレート判定結果が有音区間に相当する高レートで、エンコーダのレート判定結果が無音区間に相当する低レートでかつ、遠端信号の平均パワーが閾値以上で近端信号の平均パワーが閾値以下の場合にのみシングルトーク状態と判定し、他の状態の場合はダブルトーク状態と判定することを特徴とするダブルトーク検出方法。
  3. 可変レート音声コーデックを備えた通信システムにおいて、上記可変レート音声コーデックのデコーダのレート判定結果が有音区間に相当する高レートで、エンコーダのレート判定結果が無音区間に相当する低レートでかつ、遠端信号の平均パワーが閾値以上で残差信号の平均パワーが閾値以下の場合にのみシングルトーク状態と判定し、他の状態の場合はダブルトーク状態と判定することを特徴とするダブルトーク検出方法。
  4. 可変レート音声コーデックを備えた通信システムにおいて、上記可変レート音声コーデックのデコーダのレート判定結果が有音区間に相当する高レートであり、エンコーダのレート判定結果が無音区間に相当する低レートの場合にのみシングルトーク状態と判定し、他の状態の場合はダブルトーク状態と判定するダブルトーク判定部を備えたことを特徴とするダブルトーク検出装置。
  5. 可変レート音声コーデックを備えた通信システムにおいて、上記可変レート音声コーデックのデコーダのレート判定結果が有音区間に相当する高レートで、エンコーダのレート判定結果が無音区間に相当する低レートでかつ、遠端信号の平均パワーが閾値以上で近端信号の平均パワーが閾値以下の場合にのみシングルトーク状態と判定し、他の状態の場合はダブルトーク状態と判定するダブルトーク判定部を備えたことを特徴とするダブルトーク検出装置。
  6. 可変レート音声コーデックを備えた通信システムにおいて、
    上記可変レート音声コーデックのデコーダのレート判定結果が有音区間に相当する高レートで、エンコーダのレート判定結果が無音区間に相当する低レートでかつ、遠端信号の平均パワーが閾値以上で残差信号の平均パワーが閾値以下の場合にのみシングルトーク状態と判定し、他の状態の場合はダブルトーク状態と判定するダブルトーク判定部を備えたことを特徴とするダブルトーク検出装置。
  7. 可変レート音声コーデックを備えた通信システムに組み込まれるエコーキャンセラにおいて、
    エコーパスの特性を分析して擬似エコーを合成する適応フィルタ部と、
    上記可変レート音声コーデックのレート判定情報をもとにダブルトーク状態を判定するダブルトーク判定部とを備え、
    上記可変レート音声コーデックのデコーダのレート判定結果が有音区間に相当する高レートであり、エンコーダのレート判定結果が無音区間に相当する低レートの場合にのみシングルトーク状態と判定して上記適応フィルタの更新動作を行い、他の状態の場合はダブルトーク状態と判定して適応フィルタの更新動作を停止することで、高精度のエコー消去特性を実現することを特徴とするエコーキャンセラ。
  8. 可変レート音声コーデックを備えた通信システムに組み込まれるエコーキャンセラにおいて、
    エコーパスの特性を分析して擬似エコーを合成する適応フィルタ部と、
    上記可変レート音声コーデックのレート判定情報と遠端、近端の各入力信号の平均パワーとをもとにダブルトーク状態を判定するダブルトーク判定部とを備え、
    上記可変レート音声コーデックのデコーダのレート判定結果が有音区間に相当する高レートで、エンコーダのレート判定結果が無音区間に相当する低レートでかつ、遠端信号の平均パワーが閾値以上で近端信号の平均パワーが閾値以下の場合にのみシングルトーク状態と判定して上記適応フィルタの更新動作を行い、他の状態の場合はダブルトーク状態と判定して適応フィルタの更新動作を停止することで、高精度のエコー消去特性を実現することを特徴とするエコーキャンセラ。
  9. 可変レート音声コーデックを備えた通信システムに組み込まれるエコーキャンセラにおいて、
    エコーパスの特性を分析して擬似エコーを合成する適応フィルタ部と、
    上記可変レート音声コーデックのレート判定情報と遠端、残差の各入力信号の平均パワーとをもとにダブルトーク状態を判定するダブルトーク判定部とを備え、
    上記可変レート音声コーデックのデコーダのレート判定結果が有音区間に相当する高レートで、エンコーダのレート判定結果が無音区間に相当する低レートでかつ、遠端信号の平均パワーが閾値以上で残差信号の平均パワーが閾値以下の場合にのみシングルトーク状態と判定して上記適応フィルタの更新動作を行い、他の状態の場合はダブルトーク状態と判定して適応フィルタの更新動作を停止することで、高精度のエコー消去特性を実現することを特徴とするエコーキャンセラ。
  10. 請求項7乃至9のいずれか1項に記載のエコーキャンセラにおいて、
    上記ダブルトーク判定部によるダブルトークの判定からシングルトークへの判定の段階で、適応フィルタ部にヒステリシスを持たせることを特徴とするエコーキャンセラ。
JP2001296810A 2001-09-27 2001-09-27 ダブルトーク検出方法及びダブルトーク検出装置並びにエコーキャンセラ Expired - Fee Related JP4400015B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001296810A JP4400015B2 (ja) 2001-09-27 2001-09-27 ダブルトーク検出方法及びダブルトーク検出装置並びにエコーキャンセラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001296810A JP4400015B2 (ja) 2001-09-27 2001-09-27 ダブルトーク検出方法及びダブルトーク検出装置並びにエコーキャンセラ

Publications (2)

Publication Number Publication Date
JP2003110469A JP2003110469A (ja) 2003-04-11
JP4400015B2 true JP4400015B2 (ja) 2010-01-20

Family

ID=19117982

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001296810A Expired - Fee Related JP4400015B2 (ja) 2001-09-27 2001-09-27 ダブルトーク検出方法及びダブルトーク検出装置並びにエコーキャンセラ

Country Status (1)

Country Link
JP (1) JP4400015B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5020057B2 (ja) * 2007-12-28 2012-09-05 三菱電機株式会社 エコー消去装置
JP5061976B2 (ja) 2008-03-12 2012-10-31 沖電気工業株式会社 エコーキャンセラ、エコーキャンセル方法及びプログラム

Also Published As

Publication number Publication date
JP2003110469A (ja) 2003-04-11

Similar Documents

Publication Publication Date Title
US7558729B1 (en) Music detection for enhancing echo cancellation and speech coding
US5920834A (en) Echo canceller with talk state determination to control speech processor functional elements in a digital telephone system
AU707896B2 (en) Voice activity detection
JP3922997B2 (ja) エコーキャンセラ
US7907977B2 (en) Echo canceller with correlation using pre-whitened data values received by downlink codec
EP0671099A1 (en) A voice activity detector for an echo suppressor and an echo suppressor
JP2002033683A (ja) ネットワークエコー消去システムおよびエコー消去方法
KR100239361B1 (ko) 음향반향 제어시스템 및 그의 동시통화 제어방법
JP2002217793A (ja) エコー抑圧装置
US6816592B1 (en) Echo cancellation in digital data transmission system
WO1995031051A1 (fr) Compensateur d'echo et son procede d'apprentissage
JP4400015B2 (ja) ダブルトーク検出方法及びダブルトーク検出装置並びにエコーキャンセラ
JP2003051879A (ja) 通話装置
JP3220979B2 (ja) 音声スイッチ
JPH09116613A (ja) 反響消去装置
JP2009218849A (ja) 音響エコー・キャンセル制御方法と装置。
JP2003110690A (ja) ハンズフリー通話システム、ブロッキング防止方法、ブロッキング防止プログラム
JPH10308815A (ja) 通話機の音声スイッチ
JP3460783B2 (ja) 通話機の音声スイッチ
JP3756842B2 (ja) 反響抑圧方法、反響抑圧装置、反響抑圧プログラム
KR100299143B1 (ko) 전화시스템의 잔향 제거장치 및 방법
JPH0766757A (ja) エコーキャンセル方法
KR100414911B1 (ko) 이동통신시스템에서 반향 제거장치 및 방법
KR20050041588A (ko) 가변적인 전송 패킷을 이용한 에코 제거 장치 및 방법
JP2004088369A (ja) ハンズフリー装置、ハンズフリー通話制御方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091006

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R150 Certificate of patent or registration of utility model

Ref document number: 4400015

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091019

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121106

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121106

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121106

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121106

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131106

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees