JP4877083B2 - 残留エコー抑圧制御装置、方法及びプログラム - Google Patents

残留エコー抑圧制御装置、方法及びプログラム Download PDF

Info

Publication number
JP4877083B2
JP4877083B2 JP2007155363A JP2007155363A JP4877083B2 JP 4877083 B2 JP4877083 B2 JP 4877083B2 JP 2007155363 A JP2007155363 A JP 2007155363A JP 2007155363 A JP2007155363 A JP 2007155363A JP 4877083 B2 JP4877083 B2 JP 4877083B2
Authority
JP
Japan
Prior art keywords
threshold
input signal
value
background noise
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007155363A
Other languages
English (en)
Other versions
JP2008311747A (ja
Inventor
高詩 石黒
淳治 新井
謙 桝屋
弘一 木原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2007155363A priority Critical patent/JP4877083B2/ja
Publication of JP2008311747A publication Critical patent/JP2008311747A/ja
Application granted granted Critical
Publication of JP4877083B2 publication Critical patent/JP4877083B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Description

本発明は、残留エコー抑圧制御装置、方法及びプログラムに関し、例えば、エコーキャンセラで生じる残留エコーを抑圧するノンリニア・プロセッサ(NLP;NonLinear Processor)に適用し得る。
従来、ノンリニア・プロセッサの技術に関しては、ITU−T勧告規格 G.168−2004(非特許文献1参照)に開示されるものがあり、実現方法の一例としてセンタクリッパ方式が示されている。
図2は、従来のノンリニア・プロセッサ及び周辺機能のシステム構成を示すブロック図であり、図3は、センタクリッパ方式を採用したノンリニア・プロセッサによる入出力特性の一例を示す。
まず、図2において、エコーキャンセラ2は、擬似エコー生成部21、減算器22及びダブルトーク検出器23で構成される。
擬似エコー生成部21は、学習機能を有する適応フィルタであって、受信入力端子Rinに入力した信号に基づいて擬似エコー信号を生成し、擬似エコー信号を減算器22に与えると共に、減算器22により送信入力端子Sinの入力信号から擬似エコー信号を差し引いて、残留エコー信号RESを取り込み、フィルタ特性の学習を行なうものである。
ダブルトーク検出器23は、受信入力端子Rinの入力信号、送信入力端子Sinの入力信号及び残留エコー信号RES信号をモニタして発話状態を監視し、近端話者発話時、双方発話時及び無通話時は、適応フィルタ(擬似エコー生成部21)の学習機能停止及びノンリニア・プロセッサ1をインアクティブ状態とし、遠端話者発話時は、適応フィルタ(擬似エコー生成部21)の学習機能及びノンリニア・プロセッサ1をアクティブ状態とするものである。
例えば、遠端話者の発話に伴い、受信入力端子Rinから入力される信号は、そのまま受信出力端子Routより送出され、2線4線変換機能を持つハイブリッド回路部3を経由して、図示しない近端話者電話機へ送られる。
このとき、ハイブリッド回路部3ではエコーが発生し、エコー成分が送信入力信号として入り込み、送信入力端子Sinの入力信号にはエコー成分が含まれるものとなる。
エコーキャンセラ2は、受信入力端子Rinの入力信号より擬似エコー信号を生成し、送信入力端子Sinの入力信号から擬似エコー信号を差し引き、エコー成分を除去しようとするが、雑音や演算精度の問題などにより完全に消去しきれず、残留エコー成分を含んだ残留エコー信号RESを出力する。
ノンリニア・プロセッサ1は、遠端話者の発話時にアクティブとなり、残留エコー信号RESに含まれる残留エコー成分を抑圧し、送信出力端子Soutから出力信号として出力するものである。
また、ノンリニア・プロセッサ1は、近端話者発話時、双方発話時及び無通話時はインアクティブとなり、信号歪みを生じさせないように、残留エコー信号RESをそのまま送信出力端子Soutから出力信号として出力するものである。
次に、図3を用いて、センタクリッパ方式を採用したノンリニア・プロセッサ1のアクティブ時の入出力特性を説明する。
図3において、横軸はノンリニア・プロセッサ1に入力する信号RESの信号レベルであり、縦軸はノンリニア・プロセッサ1から出力する信号Soutの信号レベルである。
図3において、ノンリニア・プロセッサ1に入力する信号RESの信号レベルが閾値Tsup未満であった場合、送信出力端子Soutからの出力信号のレベルを零となるように、ノンリニア・プロセッサ1は信号レベルを抑圧制御する。
また、ノンリニア・プロセッサ1に入力する信号RESの信号レベルが閾値Tsup以上であった場合、入力信号RESをそのまま出力信号として出力する。
このように、ノンリニア・プロセッサ1は、エコーキャンセラ2からの残留エコー信号RESの信号レベルが閾値Tsup未満に収まっている場合には、送信出力端子Soutの信号レベルは零となり、残留エコーが完全に抑圧されることになる。
特開平5−336003号公報 ITU(国際電気通信連合)−T(通信部門)規格勧告 G.168−2004
しかしながら、センタクリッパ方式を用いた場合、遠端話者の方では、アクティブ時に無音状態となり、インアクティブ時には背景雑音が聞こえる。従って、アクティブ/インアクティブの切り替わりに伴い、無音状態と背景雑音が聞こえる状態が切り替わり、遠端話者の方で違和感を生じるという問題点がある。
また、アクティブ時にRESの信号レベルが閾値Tsup以上の場合は、Sout信号が歪んでしまうという問題点がある。特にRESの信号レベルがTsupより少しだけ大きい場合の信号歪は顕著である。
そのため、センタクリッパ方式を用いた場合に生じ得る、アクティブ時からインアクティブ時に切り替わったときの遠端話者に与え得る違和感を解消させることができる、残留エコー抑圧制御装置、方法及びプログラムが求められている。
かかる課題を解決するために、第1の本発明の残留エコー抑圧制御装置は、エコーキャンセラで生じる残留エコーを抑圧する残留エコー抑圧制御装置において、(1)エコーキャンセラから出力された入力信号に基づいて、近端の背景雑音の電力レベルを推定し、この背景雑音電力レベルの推定結果に応じた第1の閾値を出力する背景雑音推定手段と、(2)背景雑音推定手段からの第1の閾値と、第2の閾値との比較結果に応じた入出力特性を用いて、エコーキャンセラからの入力信号に対する振幅制御を行なう振幅制御処理手段とを備え、振幅制御処理手段の入出力特性が、(2−1)第1の閾値が第2の閾値以上である場合、入力信号をそのまま出力するものであり、(2−2)第1の閾値が第2の閾値未満である場合、(2−2−1)入力信号のサンプル値の絶対値が第1の閾値未満のときには、入力信号をそのまま出力し、(2−2−2)入力信号のサンプル値の絶対値が第1の閾値以上、第2の閾値未満のときには、入力信号に対する振幅を第1の閾値で制限して出力し、(2−2−3)入力信号のサンプル値の絶対値が第2の閾値以上のときには、第2の閾値と第1の閾値との差分を、入力信号に対して減算若しくは加算して出力するものであることを特徴とする。
第2の本発明の残留エコー抑圧制御方法は、エコーキャンセラで生じる残留エコーを抑圧する残留エコー抑圧制御方法において、(1)背景雑音推定手段が、エコーキャンセラから出力された入力信号に基づいて、近端の背景雑音の電力レベルを推定し、この背景雑音電力レベルの推定結果に応じた第1の閾値を出力する背景雑音推定工程と、(2)振幅制御処理手段が、背景雑音推定手段からの第1の閾値と、第2の閾値との比較結果に応じた入出力特性を用いて、エコーキャンセラからの入力信号に対する振幅制御を行なう振幅制御処理工程とを有し、振幅制御処理手段の入出力特性が、(2−1)第1の閾値が第2の閾値以上である場合、入力信号をそのまま出力するものであり、(2−2)第1の閾値が第2の閾値未満である場合、(2−2−1)入力信号のサンプル値の絶対値が第1の閾値未満のときには、入力信号をそのまま出力し、(2−2−2)入力信号のサンプル値の絶対値が第1の閾値以上、第2の閾値未満のときには、入力信号に対する振幅を第1の閾値で制限して出力し、(2−2−3)入力信号のサンプル値の絶対値が第2の閾値以上のときには、第2の閾値と第1の閾値との差分を、入力信号に対して減算若しくは加算して出力するものであることを特徴とする。
第3の本発明の残留エコー抑圧制御プログラムは、エコーキャンセラで生じる残留エコーを抑圧する残留エコー抑圧制御プログラムにおいて、コンピュータ、(1)エコーキャンセラから出力された入力信号に基づいて、近端の背景雑音の電力レベルを推定し、この背景雑音電力レベルの推定結果に応じた第1の閾値を出力する背景雑音推定手段、(2)背景雑音推定手段からの第1の閾値と、第2の閾値との比較結果に応じた入出力特性を用いて、エコーキャンセラからの入力信号に対する振幅制御を行なう振幅制御処理手段として機能させるものであり、振幅制御処理手段の入出力特性が、(2−1)第1の閾値が第2の閾値以上である場合、入力信号をそのまま出力するものであり、(2−2)第1の閾値が第2の閾値未満である場合、(2−2−1)入力信号のサンプル値の絶対値が第1の閾値未満のときには、入力信号をそのまま出力し、(2−2−2)入力信号のサンプル値の絶対値が第1の閾値以上、第2の閾値未満のときには、入力信号に対する振幅を第1の閾値で制限して出力し、(2−2−3)入力信号のサンプル値の絶対値が第2の閾値以上のときには、第2の閾値と第1の閾値との差分を、入力信号に対して減算若しくは加算して出力するものであることを特徴とする
本発明によれば、アクティブ時に、第1の閾値以下の信号をそのまま透過させることにより、アクティブ時からインアクティブ時に切り替わったときの遠端話者に与え得る違和感を解消させることができる。
(A)第1の実施形態
以下、本発明の残留エコー抑圧制御装置、方法及びプログラムの第1の実施形態を、図面を参照しながら説明する。
第1の実施形態では、例えば、電話機を収容する音声通信装置が搭載するエコーキャンセラの送信出力側に設けたノンリニア・プロセッサに、本発明を適用した場合を説明する。
(A−1)第1の実施形態の構成
第1の実施形態に係るノンリニア・プロセッサ及びその周辺機能の構成は、図2に示す従来の構成に対応するから、第1の実施形態も図2を用いて説明する。
図2において、本実施形態のノンリニア・プロセッサ及びその周辺機能の構成は、ノンリニア・プロセッサ1、エコーキャンセラ2、ハイブリッド回路部3を有する。
なお、図2では、ノンリニア・プロセッサ1の機能を明確に説明するため、エコーキャンセラ2とノンリニア・プロセッサ1とは別構成としたが、エコーキャンセラ2の送信出力側にノンリニア・プロセッサ1を備え、後述する本実施形態のノンリニア・プロセッサ1の機能を実現するようにしてもよい。
図2において、受信入力端子Rinは、図示しない通信電話網に接続し、遠端話者電話機が送信した送信信号を取り込むものである。また、受信出力端子Routは、受信入力端子Rinに入力した入力信号を取り込み、その信号をハイブリッド回路部3に与えるものである。また、送信入力端子Sinは、ハイブリッド回路部3からの送信信号を取り込むものである。送信出力端子Soutは、送信信号を通信電話網に与えるものである。
ハイブリッド回路部3は、受信出力端子Routからの信号を取り込み、4線2線変換処理を行ない、2線で接続する近端電話機(図示しない)に与えるものである。また、ハイブリッド回路部3は、近端電話機(図示しない)から送信信号を受け取り、2線4線変換処理を行ない、その送信信号を送信入力端子Sinに与えるものである。
また、ハイブリッド回路部3において、2線4線変換処理を行なう際に、エコーが発生し、ハイブリッド回路部3がエコー経路となり、エコーが送信信号に回り込み、エコー成分を含んだ送信信号がエコーキャンセラ2に与えられる。
エコーキャンセラ2は、擬似エコー生成部21、減算器22、ダブルトーク検出器23とを有して構成する。
擬似エコー生成部21は、学習機能を有する適応フィルタである。すなわち、擬似エコー生成部21は、受信入力端子Rinからの入力信号と内部のフィルタ係数とから擬似エコー信号を生成し、その擬似エコー信号を減算器22に与えるものである。また、擬似エコー生成部21は、エコー除去した残留エコー信号RESを取り込みながら、フィルタ係数を更新するものである。また、擬似エコー生成部21は、所定のタイミングによりフィルタ係数をクリアすることもできるようにしてもよい。
減算器22は、送信入力端子Sinから入力したエコー成分を含む送信信号から擬似エコー信号を差し引き、エコー成分を除去するものである。減算器22により、エコー除去された残留エコー信号RESは、ダブルトーク検出器23、ノンリニア・プロセッサ1、擬似エコー生成部21に与えられる。
ダブルトーク検出器23は、受信入力端子Rinからの信号、送信入力端子Sinからの信号、及び減算器22の出力信号に基づいて、ダブルトーク状態等のトーク状態を検出するものである。
また、ダブルトーク検出器23は、近端話者発話時、双方発話時及び無通話時には、適応フィルタ(擬似エコー生成部21)の学習機能を停止させる制御信号を擬似エコー生成部21に与えると共に、ノンリニア・プロセッサ1をインアクティブ状態とする制御信号をノンリニア・プロセッサ1に与えるものである。
また、ダブルトーク検出器23は、遠端話者発話時は、適応フィルタ(擬似エコー生成部21)の学習機能を起動させる制御信号を擬似エコー生成部21に与えると共に、ノンリニア・プロセッサ1をアクティブ状態とする制御信号をノンリニア・プロセッサ1に送信するものである。
なお、図2において、ダブルトーク検出器23からノンリニア・プロセッサ1への制御信号(NLP_Control)は、「1」のときアクティブ状態(NLPアクティブ)を制御するものであり、「0」のときインアクティブ状態(NLPインアクティブ)を制御するものである。
ノンリニア・プロセッサ1は、減算器22から出力された残留信号RESを取り込み、ダブルトーク検出器23からの制御信号に基づいて、アクティブ状態のときに、後述する所定の入出力特性に従って、出力信号の出力レベルを抑圧するものである。なお、ノンリニア・プロセッサ1は、インアクティブ状態のとき、出力信号の出力レベルを抑圧せずに、そのまま出力するものである。
ここで、ノンリニア・プロセッサ1のアクティブ状態のときの入出力特性を、図4及び図5を参照して説明する。
図4及び図5において、横軸は、ノンリニア・プロセッサ1への入力信号である残留エコー信号RESの信号レベル、縦軸は、ノンリニア・プロセッサ1の出力信号である送信出力信号Soutの信号レベルである。
また、Th1は、後述する背景雑音推定器により算出される第1の閾値であり、背景雑音の推定結果に応じて変動する変動閾値である。Th2は、第2の閾値であり、固定閾値である。
Th1<Th2のとき、ノンリニア・プロセッサ1は、図4に示す入出力特性を有し、また、Th1≧Th2のとき、ノンリニア・プロセッサ1は、図5に示す入出力特性を有する。なお、図4及び図5に示す入出力特性の詳細な説明については後述する。
図1は、第1の実施形態のノンリニア・プロセッサ1の構成である。図1において、第1の実施形態のノンリニア・プロセッサ1は、背景雑音推定器11、入出力特性制御部12、選択手段13、を少なくとも有して構成される。
背景雑音推定器11は、エコーキャンセラ2から制御信号(NLP_Control)を受け取り、NLPインアクティブ(NLP_Control=0)のとき、入力した残留エコー信号に基づいて近端の背景雑音電力を推定し、その背景雑音電力の推定結果を第1の閾値Th1として、入出力特性制御部12に与えるものである。
入出力特性制御部12は、背景雑音推定器11から出力される第1の閾値Th1と、固定閾値である第2の閾値Th2とを受け取り、図4及び図5に示す入出力特性に従って、入力した残留エコー信号RESの入力レベルに対する出力レベルの信号を、選択手段13に与えるものである。
選択手段13は、エコーキャンセラ2から制御信号(NLP_Control)を受け取り、NLPインアクティブ(NLP_Control=0)のとき、RES信号を選択して、そのままSout信号として出力し、また、NLPアクティブ(NLP_Control=1)のとき、入出力特性制御部12からの信号を選択して、Sout信号として出力するものである。
図6は、第1の実施形態の背景雑音推定器11の内部構成を示す内部構成図である。図6において、第1の実施形態の背景雑音推定器11は、絶対値算出手段111と、IIR形ローパスフィルタ手段112とを有して構成される。また、IIR形ローパスフィルタ手段112は、乗算手段31、加算手段32、遅延手段33、乗算手段34を有する。
背景雑音推定器11は、近端の背景雑音電力を推定するものであり、NLPインアクティブ(NLP_Control=0)時の残留エコー信号RESの絶対値を、適当な時定数を持つIIR形ローパスフィルタ手段112に入力することにより平均化し、近端の背景雑音電力を推定し、これを第1の閾値Th1とするものである。
ここで、IIR形ローパスフィルタ手段112において、乗算手段34のフィルタ係数は「a」であり、乗算手段31のフィルタ係数は「1−a」である。また、aは、a=exp(−T/CR)で求められる。TはIIR形ローパスフィルタ手段112のサンプリング周期、CRは時定数である。時定数CRは、例えば500msである。
なお、背景雑音の推定に送信入力信号Sinではなく残留エコー信号RESを用いるようにしているが、これは、送信入力信号Sinにエコー成分が含まれていることがあるので、エコーの影響を極力低減するため、エコー成分が減衰しているエコーキャンセラ出力の残留エコー信号RESを用いるようにしているのである。
(A−2)第1の実施形態の動作
次に、第1の実施形態のノンリニア・プロセッサ1の処理動作を図面を参照しながら説明する。
まず、ダブルトーク検出器23は、受信入力信号Rin、送信入力信号Sin及び減算器22からの出力信号をモニタし、トーク状態を監視している。
ダブルトーク検出器23は、トーク状態が、近端話者発話状態、双方発話状態又は無通話状態である場合、ノンリニア・プロセッサ1をインアクティブとする制御信号(NLP_Control=0)を送信し、また、遠端話者発話状態の場合、ノンリニア・プロセッサ1をアクティブにする制御信号(NLP_Control=1)を送信する。
ノンリニア・プロセッサ1は、ダブルトーク検出器23から制御信号(NLP_Control)を受け取ると、その制御信号に応じて選択した送信出力信号Soutを送信する。
すなわち、近端話者発話時、双方発話時及び無通話時の場合、ダブルトーク検出器23からのNLP_Control=0(NLPインアクティブ)がノンリニア・プロセッサ1に与えられると、ノンリニア・プロセッサ1の選択手段13は、減算器22からの残留エコー信号RESを選択して、このRES信号をそのまま送信出力信号Soutとして出力する。
また、背景雑音推定器11では、背景雑音推定演算がEnableとなり、残留エコー信号RESの絶対値を平均化することにより、近端の背景雑音を推定し、この推定した背景雑音推定結果を第1の閾値Th1として入出力特性制御部12に与える。
ここで、背景雑音推定演算をEnableとする場合を、近端話者発話時、双方発話時及び無通話時の場合として説明したが、少なくとも、受信入力信号Rinの電力レベルが一定の閾値以下である場合にEnableとしてもよい。
図7は、背景雑音推定器の入出力信号例を示す。図7(a)は、背景雑音推定器11の入力信号波形(すなわち、残留エコー信号RES:背景雑音のみの波形)を示し、図7(b)は、背景雑音推定器11からの出力信号(すなわち、第1の閾値Th1)を示す。
なお、第1の実施形態では、背景雑音推定結果をそのまま第1の閾値Th1として用いるようにしたが、背景雑音推定結果に所定の定数kを乗じることにより、第1の閾値Th1を求めるようにしてもよい。この場合、例えば、図6において、フィルタ入力の係数を「1−a」としているが、この係数を「k×(1−a)」とすれば、背景雑音推定結果に定数kを乗じたものを第1の閾値Th1とすることができる。
一方、遠端話者発話時の場合、ダブルトーク検出器23からNLP_Control=1(NLPアクティブ)がノンリニア・プロセッサ1に与えられると、ノンリニア・プロセッサ1の選択手段13は、入出力特性制御部12の出力を選択し、この入出力特性制御部12からの出力信号を送信出力信号Soutとして出力する。
また、背景雑音推定器11では、背景雑音推定演算がDisableとなり、NLPアクティブ状態中は、背景雑音推定器11の出力である第1の閾値Th1は変動しない。
そうすると、入出力特性制御部12では、図4及び図5に示す入出力特性を用いて、入力された残留エコー信号RESの入力レベルに対応する出力レベルの信号を出力する。
以下では、図4及び図5に示す入出力特性について説明する。
Th1≧Th2のとき、入出力特性制御部12は、図5に示す入出力特性となり、残留エコー信号RESを、そのまま送信出力信号Soutへ出力する。
次に、Th1<Th2のとき、入出力特性制御部12は、図4に示す入出力特性となり、残留エコー信号RESに対して減衰処理(振幅制限)を行ない、送信出力信号Soutを出力する。
ここで、Th1<Th2のときに、入出力特性制御部12が、図4に示す入出力特性に従って、出力信号を出力する処理について、入力する残留エコー信号RESの信号レベルが、0以上である場合と、0未満である場合とに場合を分けて説明する。
[入力信号(RES)≧0の場合]
入力信号(RES)<Th1のとき、入出力特性制御部12は、入力された残留エコー信号RESを、そのまま送信出力信号Soutとして出力する。
Th1≦入力信号(RES)<Th2のとき、入出力特性制御部12は、第1の閾値Th1を、送信出力信号Soutとして出力する。センタクリッパ方式のときには、電力レベルを零としていたが、第1の実施形態では、第1の閾値未満では、入力された残留エコー信号RESをそのまま透過させることで、近端の背景雑音レベルの変動を抑えながら、遠端側へ出力することができる。そのため、センタクリッパ方式で生じていた遠端話者へ与えていた違和感を解消することができる。
Th2≦入力信号(RES)のとき、入出力特性制御部12は、入力された残留エコー信号RESの入力レベルから、(Th2−Th1)を差し引いた信号を、送信出力信号Soutとして出力する。
[入力信号(RES)<0の場合]
入力信号(RES)>−Th1のとき、入出力特性制御部12は、入力された残留エコー信号RESを、そのまま送信出力信号Soutとして出力する。
Th1≧入力信号(RES)>−Th2のとき、入出力特性制御部12は、−Th1を、そのまま送信出力信号Soutとして出力する。
Th2≧入力信号(RES)のとき、入出力特性制御部12は、入力された残留エコー信号RESの入力レベルに、(Th2−Th1)を加算した信号を、送信出力信号Soutとして出力する。
なお、第1の実施形態では、背景雑音推定器11は、背景雑音推定演算のEnable制御にNLP_Controlを用いるようにしているが、NLP_Controlとは異なる制御条件を用いても良い。例えば、受信入力信号Rinの信号レベルが閾値(例えば、−40dBm)以下のときにのみ、背景雑音推定器11の演算を行なうようにしても良い。
また、第1の実施形態においては、背景雑音推定器でIIR形ローパスフィルタ手段112により平均化処理を行なう例を示したが、FIR形LPFなどの他の形態のフィルタを用いても良い。
(A−3)第1の実施形態の効果
以上のように、第1の実施形態によれば、NLPアクティブ時であっても、背景雑音推定器11が求めた第1の閾値Th1以下の信号を、そのまま透過させることができるので、遠端話者に聞こえる近端の背景雑音レベルはほとんど変動しない。従って、従来のセンタクリッパ方式においてNLPアクティブ/インアクティブの切り替わりに伴い生じていた不自然さを解消することができる。
(B)第2の実施形態
次に、本発明の残留エコー抑圧制御装置、方法及びプログラムの第2の実施形態を、図面を参照しながら説明する。
第2の実施形態も、例えば、電話機を収容する音声通信装置が搭載するエコーキャンセラの送信出力側に設けたノンリニア・プロセッサに、本発明を適用した場合を説明する。
(B−1)第2の実施形態の構成
第2の実施形態は、背景雑音推定器の内部構成が第1の実施形態と異なる。つまり、第2の実施形態における背景雑音推定器は、図8に示す内部構成を備える。
なお、その他の機能構成は、第1の実施形態で説明した構成に対応するものであるため、第2の実施形態では、図8に示す背景雑音推定器の機能を中心に説明する。
図8において、第2の実施形態の背景雑音推定器81は、近端の背景雑音電力を推定するものであり、絶対値算出手段811と、短時間平均算出用IIR形ローパスフィルタ手段(以下、短時間平均用フィルタ手段ともいう)812、長時間平均算出用IIR形ローパスフィルタ手段(以下、長時間平均用フィルタ手段ともいう)813、選択手段814、を有して構成される。
短時間平均用フィルタ手段812は、乗算手段41、加算手段42、遅延手段43、乗算手段44を有する。また、短時間平均用フィルタ手段812における、乗算手段44のフィルタ係数は「a_s」であり、乗算手段41のフィルタ係数は「1−a_s」である。この「a_s」は、a_s=exp(−T/CR)で求められる。TはIIR形ローパスフィルタ手段812のサンプリング周期、CRは時定数である。短時間平均用フィルタ手段812の時定数CRは、例えば、35msである。
また、長時間平均用フィルタ手段813は、乗算手段51、加算手段52、遅延手段53、乗算手段54を有する。また、長時間平均用フィルタ手段813における、乗算手段54のフィルタ係数は「a」であり、乗算手段51のフィルタ係数は「1−a」である。この「a」は、a=exp(−T/CR)で求められる。TはIIR形ローパスフィルタ手段813のサンプリング周期、CRは時定数である。長時間平均用フィルタ手段813の時定数CRは、例えば、500msである。
選択手段814は、短時間平均用フィルタ手段812の演算結果と、長時間平均用フィルタ手段813の演算結果とを入力し、小さい方の値を選択して出力すると共に、その選択した値を長時間平均用フィルタ手段813の遅延手段53に与えるものである。
(B−2)第2の実施形態の動作
次に、第2の実施形態の背景雑音推定器81における処理動作を図面を参照しながら説明する。
第2の実施形態においても、ノンリニア・プロセッサ1の全体動作は、第1の実施形態と同様に、ダブルトーク検出器23からの制御信号(NLP_Cotrol)に応じて選択した送信出力信号Soutを送信する。
背景雑音推定器81は、NLP_Control=1のとき、背景雑音レベルの推定演算処理がDisableとなり、入出力特性制御部12に与える第1の閾値Th1は変動しない。
また、NLP_Control=0のとき、背景雑音レベルの推定演算処理がEnableとなり、推定した背景雑音レベルを第1の閾値Th1として入出力特性制御部12に与える。
NLP_Control=0のとき、残留エコー信号RESが背景雑音推定器81に入力されると、残留エコー信号RESは、短時間平均用フィルタ手段812と長時間平均用フィルタ手段813に与えられる。
そして、短時間平均用フィルタ手段812及び長時間平均用フィルタ手段813のそれぞれにおいてフィルタ処理がなされると、それぞれの演算結果が選択手段814に与えられる。
選択手段814では、短時間平均用フィルタ手段812からの演算結果と、長時間平均用フィルタ手段813からの演算結果とのうち、小さい値を選択し、これを第1の閾値Th1として入出力特性制御部12に与える。また、選択手段814は、選択した小さい値を、長時間平均用フィルタ手段813の遅延手段53に与える。
図7は、背景雑音推定器の入出力信号の例を示す。図7(c)は、第2の実施形態の背景雑音推定器81の短時間平均用フィルタ手段812からの出力信号を示し、図7(d)は、第2の実施形態の背景雑音推定器81からの出力信号を示す。
図9は、背景雑音推定器の入出力信号の例を示す。図9では、残留エコー信号RESに背景雑音信号だけでなく、音声信号も含まれている場合を示す。図9(a)は、背景雑音推定器81の入力信号波形を示し、図9(c)は、背景雑音推定器81の短時間平均用フィルタ手段812からの出力信号を示し、図9(d)は、背景雑音推定器81からの出力信号を示す。
図7(b)及び図7(d)に示すように、残留エコー信号RESに背景雑音信号のみが入力されている場合には、背景雑音推定器812は、第1の実施形態の背景雑音推定器11と同等の特性を示し、これを第1の閾値Th1として、入出力特性制御部12に与える。
また、残留エコー信号RESに、背景雑音信号と音声信号とが重畳して入力される場合、図9(b)に示すように、第1の実施形態では、音声入力時に伴い、背景雑音推定器11からの出力信号レベルが大きくなり、音声断後もなかなか背景雑音レベルに復旧しない。
つまり、近端話者からの音声信号の影響により、背景雑音レベルが大きくなり、第1の閾値Th1が大きくなり過ぎてしまい、この場合、背景雑音レベルよりも大きい残留エコー信号が入力されても抑圧することができなくなる。
一方、図9(d)に示すように、第2の実施形態では、音声信号入力時の過渡応答は、第1の実施形態とほぼ同等であるが、音声断後の背景雑音レベルが、比較的早く背景雑音レベルに復旧する。つまり、近端話者の音声による、背景雑音推定結果への影響を小さくしている。
これは、図8に示す背景雑音推定器81の選択手段814において、短時間平均用フィルタ手段812の演算結果と、長時間平均用フィルタ手段813の演算結果とを入力し、いずれか小さい方の値を選択して出力し、長時間平均用フィルタ手段813の遅延手段53に与えることにより、音声入力時には大きい時定数で応答し、音声断時には小さい時定数で応答するようにしたからである。
第2の実施形態では、第1実施形態と同様に、背景雑音推定結果をそのまま閾値Th1として用いるようにしたが、背景雑音推定結果に一定の定数kを乗じても良い。第1実施例と同様にフィルタ係数の調整により、定数kを乗じるようにしても良い。
第2の実施形態では、第1実施形態と同様に、背景雑音推定器の演算Enableの制御にNLP_Controlを用いるようにしているが、異なる制御条件を用いても良い。例えば、受信信号Rinの信号レベルが閾値(例えば−40dBm)以下の時のみ、背景雑音推定器の演算を行なうようにしても良い。
第2の実施形態では、第1の実施形態と同様に、背景雑音推定器でIIR形LPFにより平均化処理を行なう例を示したが、FIR形LPFなどの他の形態のフィルタを用いても良い。
また、図6と図8に示した背景雑音推定器をカスケード接続した構成で、背景雑音推定器を実現しても良い。カスケード接続した場合は、絶対値算出手段が冗長になるので、残留エコー信号RESを入力する部分以外の絶対値算出手段は省略可能である。
(B−3)第2の実施形態の効果
以上のように、第2の実施形態によれば、第1の実施形態で説明した効果に加えて、背景雑音推定器が、短時間平均用フィルタ手段と長時間平均用フィルタ手段と選択手段とを備えることにより、音声信号に対しては大きい時定数で応答し、音声断時には小さい特定数で応答することができる。その結果、近端話者の音声による背景雑音推定結果への影響が小さくなり、背景雑音推定結果の推定精度が向上し、残留エコーを確実に消去できる効果が期待できる。
(C)第3の実施形態
次に、本発明の残留エコー抑圧制御装置、方法及びプログラムの第3の実施形態を、図面を参照しながら説明する。
第3の実施形態も、例えば、電話機を収容する音声通信装置が搭載するエコーキャンセラの送信出力側に設けたノンリニア・プロセッサに、本発明を適用した場合を説明する。
第1の実施形態では、第2の閾値Th2を固定値とする場合を示したが、第2の閾値Th2の値を大きくすると、残留エコー信号RESの消去には有利であるが、遠端話者通話状態から近端話者通話状態への遷移時にダブルトーク検出が遅れると、近端話者の音声の話頭を消去してしまうことがある。一方、第2の閾値Th2の値を小さくすると、残留エコーが大きい場合に、エコーを消去しきれなくなることがある。
ところで、エコー信号の電力レベルは、受信入力信号Rinの電力レベルにほぼ比例する。そこで、第3の実施形態では、受信入力信号Rinの電力レベルに応じて、第2の閾値Th2を動的に制御するようにしたのである。
(C−1)第3の実施形態の構成及び動作
第3の実施形態は、ノンリニア・プロセッサの内部構成が第1及び第2の実施形態の構成と異なる。
図10は、第3の実施形態のノンリニア・プロセッサ9の内部構成を示す内部構成図である。図10において、第3の実施形態のノンリニア・プロセッサ9は、背景雑音推定器91、入出力特性制御部92、選択手段93、電力算出手段94、を有して構成される。
図10に示すように、第3の実施形態では、ノンリニア・プロセッサ9が、電力算出手段94を備える点に特徴がある。
なお、背景雑音推定器91は、第1及び第2の実施形態の背景雑音推定器11及び81を適用でき、入出力特性制御部92は入出力特性制御部12を適用でき、選択手段93は選択手段13を適用できる。
電力算出手段94は、受信入力信号Rinを入力し、この受信電力信号Rinの電力レベルを算出するものである。また、電力算出手段94は、算出した受信入力信号Rinの電力レベルの大きさに応じて、第2の閾値Th2を求め、その求めた第2の閾値Th2を入出力特性制御部93に与えるものである。
なお、電力算出手段94による電力レベル算出演算処理は、常時Enableとして良い。また、電力算出手段94は、例えば、IIR形ローパスフィルタを有して構成することで、受信電力信号Rinの電力レベルを算出することができる。
また、第2の閾値Th2の算出は、受信入力信号Rinの電力レベルが、大きいときには大きくなるように、小さいときには小さくなるように制御することができれば、所定の演算式を広く適用できる。例えば、受信入力信号Rinの電力レベルから、所定レベル(例えば、20dB)だけ差し引いた値を、第2の閾値Th2とすることができる。
このように、受信入力信号Rinの電力レベルが小さいときに、第2の閾値Th2を小さくすることで、遠端話者通話状態から近端話者通話状態への遷移時にダブルトーク検出が遅れても、近端話者の音声の話頭を消去する量が少なくて済む。
また、受信入力信号Rinの電力レベルが大きいときには、第2の閾値Th2を大きくすることで、残留エコーを確実に消去することができる。
なお、第3の実施形態において、電力算出手段94は、IIR形LPFにより受信入力信号Rinの電力レベルを算出する場合を例にして説明したが、これに限定されず、FIR形LPFなどの他の方法でフィルタを実現しても良い。
(C−2)第3の実施形態の効果
以上のように、第3の実施形態によれば、第1及び第2の実施形態で説明した効果を奏することに加えて、電力算出手段を備えることで、受信入力信号Rinに応じて第2の閾値Th2の大きさを制御することができる。
その結果、受信入力信号Rinの電力レベルが小さくエコーも小さいときには、第2の閾値Th2を小さくすることができ、遠端話者通話状態から近端話者通話状態への切り替わりときに、ダブルトーク検出の遅延が発生したとしても近端話者の音声の話頭を消去する量が少なくて済む。
また、受信入力信号Rinの電力レベルが大きくエコーも大きいときには、第2の閾値Th2の値が大きくなり、残留エコーを確実に消去することができる。
(D)他の実施形態
第1〜第3の実施形態のノンリニア・プロセッサは、電話回線において、2線4線変換機能を有するハイブリッド回路で生じる回線エコーを除去するエコーキャンセラや、スピーカからマイクロホンに回り込んだエコー(音響エコー)を除去するエコーキャンセラにも適用することができる。
上述したが、第1及び第2の実施形態で説明した背景雑音推定手段11及び81は、任意の組み合わせで、カスケード接続された構成とすることができる。
また、第1〜第3の実施形態のノンリニア・プロセッサは、ハードウェア的な構成を備えるイメージで説明したが、実際は、ソフトウェア処理で実現される。
つまり、ノンリニア・プロセッサは、例えば、CPUが、記憶部(例えばROM)に格納されている処理プログラムを、処理に必要なデータを用いながら実行することで、第1〜第3の実施形態で説明した処理を実現することができる。
なお、可能であれば、ノンリニア・プロセッサはハードウェア構成で実現するようにしいてもよい。
第1の実施形態のノンリニア・プロセッサの内部構成を示す内部構成図である。 ノンリニア・プロセッサとその周辺のシステム機能との構成を示す構成図である。 センタクリッパ方式による特性を説明する説明図である。 第1の実施形態のノンリニア・プロセッサがアクティブ時の入出力特性を説明する説明図である(その1)。 第1の実施形態のノンリニア・プロセッサがアクティブ時の入出力特性を説明する説明図である(その2)。 第1の実施形態の背景雑音推定器の内部構成を説明する内部構成図である。 背景雑音推定器の入出力信号の例を示す図である(背景雑音のみが入力する場合)。 第2の実施形態の背景雑音推定器の内部構成を示す内部構成図である。 背景雑音推定器の入出力信号の例である(背景雑音と音声信号とが重畳する信号が入力する場合)。 第3の実施形態の背景雑音推定器の内部構成を示す内部構成図である。
符号の説明
1、9…ノンリニア・プロセッサ、2…エコーキャンセラ、3…ハイブリッド回路、
11、81、91…背景雑音推定器、12、92…入出力特性制御部、13、93…選択手段、94…電力算出手段、
111、811…絶対値算出手段、112…IIR形ローパスフィルタ手段、812…短時間平均算出用IIR形ローパスフィルタ手段(短時間平均用フィルタ手段)、813…長時間平均算出用IIR形ローパスフィルタ手段(長時間平均用フィルタ手段)、31、41、51…乗算手段、32、42、52…加算手段、33、43、53…遅延手段、34、44、54…乗算手段。

Claims (9)

  1. エコーキャンセラで生じる残留エコーを抑圧する残留エコー抑圧制御装置において、
    上記エコーキャンセラから出力された入力信号に基づいて、近端の背景雑音の電力レベルを推定し、この背景雑音電力レベルの推定結果に応じた第1の閾値を出力する背景雑音推定手段と、
    上記背景雑音推定手段からの上記第1の閾値と、第2の閾値との比較結果に応じた入出力特性を用いて、上記エコーキャンセラからの上記入力信号に対する振幅制御を行なう振幅制御処理手段と
    を備え
    上記振幅制御処理手段の上記入出力特性が、
    上記第1の閾値が上記第2の閾値以上である場合、上記入力信号をそのまま出力するものであり、
    上記第1の閾値が上記第2の閾値未満である場合、
    上記入力信号のサンプル値の絶対値が上記第1の閾値未満のときには、上記入力信号をそのまま出力し、
    上記入力信号のサンプル値の絶対値が上記第1の閾値以上、上記第2の閾値未満のときには、上記入力信号に対する振幅を上記第1の閾値で制限して出力し、
    上記入力信号のサンプル値の絶対値が上記第2の閾値以上のときには、上記第2の閾値と上記第1の閾値との差分を、上記入力信号に対して減算若しくは加算して出力する
    ものである
    ことを特徴とする残留エコー抑圧制御装置。
  2. 上記背景雑音推定手段が、
    少なくとも受信入力信号の電力レベルが所定の閾値以下のときに、上記入力信号のサンプル値の絶対値を平均化して背景雑音の電力レベルを求め、この背景雑音の電力レベルに基づく値を上記第1の閾値として出力するフィルタ部を有することを特徴とする請求項1に記載の残留エコー抑圧制御装置。
  3. 上記フィルタ部が、近端話者発話時、双方発話時又は無通話時に、背景雑音の電力レベルに基づく値を上記第1の閾値として出力することを特徴とする請求項に記載の残留エコー抑圧制御装置。
  4. 上記背景雑音推定手段が、
    上記入力信号のサンプル値の絶対値を、所定短時間で平均化した短時間平均値を求める短時間平均フィルタ部と、
    上記短時間平均フィルタ部よりも長い長時間で、上記入力信号のサンプル値の絶対値を平均化した長時間平均値を求める長時間平均フィルタ部と、
    上記短時間平均値と上記長時間平均値とのうちいずれか小さい値を選択し、この選択した小さい値を上記第1の閾値として出力すると共に、上記選択した小さい値を上記長時間平均フィルタ部の遅延部に与える選択部と
    を有することを特徴とする請求項1に記載の残留エコー抑圧制御装置。
  5. 請求項又はに記載の上記背景雑音推定手段と、請求項に記載の上記背景雑音推定手段とを、任意に組み合わせた構成を備えることを特徴とする残留エコー抑圧制御装置。
  6. 上記第2の閾値は、予め設定された固定値であることを特徴とする請求項1〜のいずれかに記載の残留エコー抑圧制御装置。
  7. 受信入力信号の電力レベルに応じて、上記第2の閾値の大きさを可変にする第2の閾値制御手段を備えることを特徴とする請求項1〜のいずれかに記載の残留エコー抑圧装置。
  8. エコーキャンセラで生じる残留エコーを抑圧する残留エコー抑圧制御方法において、
    背景雑音推定手段が、上記エコーキャンセラから出力された入力信号に基づいて、近端の背景雑音の電力レベルを推定し、この背景雑音電力レベルの推定結果に応じた第1の閾値を出力する背景雑音推定工程と、
    振幅制御処理手段が、上記背景雑音推定手段からの上記第1の閾値と、第2の閾値との比較結果に応じた入出力特性を用いて、上記エコーキャンセラからの上記入力信号に対する振幅制御を行なう振幅制御処理工程と
    を有し、
    上記振幅制御処理手段の上記入出力特性が、
    上記第1の閾値が上記第2の閾値以上である場合、上記入力信号をそのまま出力するものであり、
    上記第1の閾値が上記第2の閾値未満である場合、
    上記入力信号のサンプル値の絶対値が上記第1の閾値未満のときには、上記入力信号をそのまま出力し、
    上記入力信号のサンプル値の絶対値が上記第1の閾値以上、上記第2の閾値未満のときには、上記入力信号に対する振幅を上記第1の閾値で制限して出力し、
    上記入力信号のサンプル値の絶対値が上記第2の閾値以上のときには、上記第2の閾値と上記第1の閾値との差分を、上記入力信号に対して減算若しくは加算して出力する
    ものである
    ことを特徴とする残留エコー抑圧制御方法。
  9. エコーキャンセラで生じる残留エコーを抑圧する残留エコー抑圧制御プログラムにおいて、
    コンピュータ
    上記エコーキャンセラから出力された入力信号に基づいて、近端の背景雑音の電力レベルを推定し、この背景雑音電力レベルの推定結果に応じた第1の閾値を出力する背景雑音推定手段、
    上記背景雑音推定手段からの上記第1の閾値と、第2の閾値との比較結果に応じた入出力特性を用いて、上記エコーキャンセラからの上記入力信号に対する振幅制御を行なう振幅制御処理手段
    として機能させるものであり
    上記振幅制御処理手段の上記入出力特性が、
    上記第1の閾値が上記第2の閾値以上である場合、上記入力信号をそのまま出力するものであり、
    上記第1の閾値が上記第2の閾値未満である場合、
    上記入力信号のサンプル値の絶対値が上記第1の閾値未満のときには、上記入力信号をそのまま出力し、
    上記入力信号のサンプル値の絶対値が上記第1の閾値以上、上記第2の閾値未満のときには、上記入力信号に対する振幅を上記第1の閾値で制限して出力し、
    上記入力信号のサンプル値の絶対値が上記第2の閾値以上のときには、上記第2の閾値と上記第1の閾値との差分を、上記入力信号に対して減算若しくは加算して出力する
    ものである
    ことを特徴とする残留エコー抑圧制御プログラム。
JP2007155363A 2007-06-12 2007-06-12 残留エコー抑圧制御装置、方法及びプログラム Active JP4877083B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007155363A JP4877083B2 (ja) 2007-06-12 2007-06-12 残留エコー抑圧制御装置、方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007155363A JP4877083B2 (ja) 2007-06-12 2007-06-12 残留エコー抑圧制御装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2008311747A JP2008311747A (ja) 2008-12-25
JP4877083B2 true JP4877083B2 (ja) 2012-02-15

Family

ID=40238993

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007155363A Active JP4877083B2 (ja) 2007-06-12 2007-06-12 残留エコー抑圧制御装置、方法及びプログラム

Country Status (1)

Country Link
JP (1) JP4877083B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10803881B1 (en) * 2019-03-28 2020-10-13 Samsung Electronics Co., Ltd. System and method for acoustic echo cancelation using deep multitask recurrent neural networks
CN112201266B (zh) * 2020-08-28 2023-06-13 出门问问(苏州)信息科技有限公司 回声抑制方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2842026B2 (ja) * 1991-02-20 1998-12-24 日本電気株式会社 適応フィルタの係数制御方法及び装置
JP2980141B2 (ja) * 1992-11-02 1999-11-22 日本電気株式会社 センタクリッパ回路
JP2626437B2 (ja) * 1992-12-28 1997-07-02 日本電気株式会社 残留エコー制御装置
SE505692C2 (sv) * 1995-12-18 1997-09-29 Ericsson Telefon Ab L M Förfarande och anordning för ekosläckning genom skattning av effekt hos residualsignal
JP3597671B2 (ja) * 1997-05-16 2004-12-08 三菱電機株式会社 ハンズフリー電話機
JP4483761B2 (ja) * 2005-10-14 2010-06-16 パナソニック電工株式会社 拡声通話装置
JP2007243829A (ja) * 2006-03-10 2007-09-20 Oki Electric Ind Co Ltd 残留エコー抑圧制御装置及び方法、およびエコーキャンセラ

Also Published As

Publication number Publication date
JP2008311747A (ja) 2008-12-25

Similar Documents

Publication Publication Date Title
US7856097B2 (en) Echo canceling apparatus, telephone set using the same, and echo canceling method
JP4509126B2 (ja) エコーキャンセラ及びエコーキャンセル方法
US8311234B2 (en) Echo canceller and communication audio processing apparatus
JP4456622B2 (ja) ダブルトーク検出器、ダブルトーク検出方法及びエコーキャンセラ
JP4457639B2 (ja) エコーキャンセラ
US8275139B2 (en) Linear full duplex system and method for acoustic echo cancellation
JP5032669B2 (ja) 音声信号のエコーキャンセルのための方法及び装置
US9237226B2 (en) Controlling echo in a wideband voice conference
WO1995031052A1 (fr) Compensateur d'echos et procede d'estimation de la trajectoire de l'echo
JP2008263336A (ja) エコーキャンセラおよびその残留エコー抑制方法
JPH06204916A (ja) 残留エコー制御装置
JP3420705B2 (ja) エコー抑圧方法及び装置並びにエコー抑圧プログラムが記憶されたコンピュータに読取り可能な記憶媒体
US20060198511A1 (en) Fast echo canceller reconvergence after TDM slips and echo level changes
US7539300B1 (en) Echo canceller with enhanced infinite and finite ERL detection
JP4544040B2 (ja) エコーキャンセル装置およびそれを用いた電話機、並びにエコーキャンセル方法
JP4877083B2 (ja) 残留エコー抑圧制御装置、方法及びプログラム
JP2861888B2 (ja) エコー・ノイズキャンセラおよびエコー・ノイズ消去方法
JP3220979B2 (ja) 音声スイッチ
JP2006080660A (ja) エコーキャンセラ付き通信端末及びそのエコーキャンセル方法
JP3268572B2 (ja) 反響消去装置及び方法
JP5125931B2 (ja) 音声通信装置及び音声通信プログラム
JP2012105115A (ja) エコーキャンセラ及びエコーキャンセルプログラム、並びに電話装置
JP5293342B2 (ja) 音声通信装置、方法及びプログラム
JP2007243829A (ja) 残留エコー抑圧制御装置及び方法、およびエコーキャンセラ
JPH11122144A (ja) エコー消去方法および装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100316

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20110114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110705

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111101

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111114

R150 Certificate of patent or registration of utility model

Ref document number: 4877083

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141209

Year of fee payment: 3