JP4396053B2 - エコー抑圧装置 - Google Patents
エコー抑圧装置 Download PDFInfo
- Publication number
- JP4396053B2 JP4396053B2 JP2001092622A JP2001092622A JP4396053B2 JP 4396053 B2 JP4396053 B2 JP 4396053B2 JP 2001092622 A JP2001092622 A JP 2001092622A JP 2001092622 A JP2001092622 A JP 2001092622A JP 4396053 B2 JP4396053 B2 JP 4396053B2
- Authority
- JP
- Japan
- Prior art keywords
- gain
- echo
- amplifier
- feedback path
- call
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Interconnected Communication Systems, Intercoms, And Interphones (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Telephone Function (AREA)
Description
【発明の属する技術分野】
本発明は、拡声通話(ハンズフリー通話)機能を有する拡声通話装置(電話機、インターホン、PHSなど)に用いられるエコー抑圧装置に関するものである。
【0002】
【従来の技術】
マイクロホン及びスピーカを用いて拡声通話(ハンズフリー通話)を実現する電話機、インターホン、PHSなどの拡声通話装置においては、スピーカから送出される受話音声の一部がマイクロホンに回り込み、これが送話音声(送話信号)となって相手側の通話端末に伝送されるため、相手側の通話者には自分の発した音声がエコーとなって聞こえてしまい、そのレベルが高い場合には不快感を生じてしまうことになる。そこで、従来より、上述のようなエコーを抑圧する技術が提案あるいは提供されており、その一つの手段としてエコー抑圧装置(所謂エコーキャンセラ)がある。
【0003】
図7は従来のエコー抑圧装置EC’を用いた拡声通話装置の一部省略したブロック図である。この拡声通話装置はマイクロホンM、スピーカS、マイクロホンMから出力される音声信号(送話信号)を増幅するマイクロホンアンプG1、マイクロホンアンプG1で増幅された送話信号をアナログ/ディジタル変換するA/D変換器AD、エコー抑圧装置EC’から出力されるディジタルの受話信号をアナログの受話信号に変換するD/A変換器DA、D/A変換器DAで変換されたアナログの受話信号を増幅してスピーカSに出力するスピーカアンプG2を備えている。
【0004】
エコー抑圧装置EC’は、スピーカSとマイクロホンMの音響結合などにより形成される帰還経路(エコー経路)HABのインパルス応答を適応的に同定して帰還経路への入力信号(受話信号)から帰還経路HABのエコー成分を推定する適応フィルタ1と、適応フィルタ1で推定されたエコー成分を帰還経路からの出力信号(送話信号)より減算する減算器2とを備えている。適応フィルタ1は可変の係数を有するプロセッサと係数を随時決定していくアルゴリズムからなる従来周知のものであって、減算器2の出力信号(図7における点Cの信号)の自乗平均値を最小化するアルゴリズム、例えば、LMS(the Least-Mean-Square)アルゴリズムにより可変の係数を適応更新することによって帰還経路HABのエコー成分(帰還経路HABを介した受話信号の回り込み成分)を推定する。そして、適応フィルタ1で推定されたエコー成分を減算器2において送話信号から減算することにより、送話信号に含まれるエコー成分のみを相殺し、マイクロホンMで集音されたエコー以外の成分(マイクロホンMに対して通話者から発せられた音声や周囲の騒音)に対しては損失を与えないものである。
【0005】
【発明が解決しようとする課題】
ところで、適応フィルタ1が固定小数点演算型のプロセッサで構成されるエコー抑圧装置EC’においては、帰還経路HABの特性により、得られるエコー抑圧量が異なるという性質がある。通常、適応フィルタ1の各係数は−1〜1の範囲に収まるように設計されるが、この場合には、帰還経路HABの利得が1倍以上になると係数のオーバーフローが生じてしまう。適応フィルタ1の演算においては、係数のオーバーフローが生じるとエコー抑圧量が低減してしまう。したがって、固定小数点演算型のプロセッサで適応フィルタ1を構成する場合、帰還経路HABの利得が1倍以下となるように通話系を構成する各部の増幅器の利得を設計する必要がある。例えば、図7に示す拡声通話装置において、スピーカアンプG2の利得はD/A変換器DAの最大出力電圧と、スピーカSの電気音響変換特性と、通話装置としてスピーカSから送出すべき最大音圧とから必然的に定まる。また、スピーカSからマイクロホンMへの音響伝搬系の利得は通話装置の筐体の構造や設置環境(周囲の反射条件)から決定される値である。
【0006】
故に、帰還経路HABの利得を1倍以下とするためには、マイクロホンアンプG1の利得を所定の閾値(スピーカアンプG2の利得と音響伝搬系の利得の積の逆数)以下に設計する必要がある。すなわち、通話装置から送出すべき最大音圧レベルが高く、また、スピーカS、マイクロホンM間の距離が短くて音響伝搬系の利得が大きいほど、マイクロホンアンプG1の利得を小さい値に設計する必要がある。その結果、A/D変換器ADへの入力信号のS/N比(音声対回路系が持つ信号/雑音比)が小さくなり、送話信号の音質や抑圧特性が劣化するという問題が生じる虞がある。
【0007】
本発明は上記事情に鑑みて為されたものであり、その目的とするところは、帰還経路の利得が1倍以上であっても適応フィルタの演算においてオーバーフローを生じることなく所望のエコー抑圧量を得ることができるエコー抑圧装置を提供することにある。
【0008】
【課題を解決するための手段】
請求項1の発明は、上記目的を達成するために、マイクロホンとスピーカを用いて拡声通話を行う拡声通話系に用いられ、スピーカからマイクロホンへの回り込みなどによって生じるエコーを抑圧するエコー抑圧装置において、スピーカとマイクロホンの音響結合などにより形成される帰還経路のインパルス応答を適応的に同定して帰還経路への入力信号から帰還経路のエコー成分を推定する適応フィルタと、適応フィルタで推定されたエコー成分を帰還経路からの出力信号より減算する減算器と、適応フィルタの前段又は後段に設けられ、エコー成分がマイクロホンとスピーカとの間での反射が無反射状態となる予め求められた最小値となるときの帰還経路の帰還利得に所定の余裕利得を加算した利得を有する増幅器とを備えたことを特徴とし、適応フィルタへの入力又は適応フィルタからの出力が、エコー成分が、マイクロホンとスピーカとの間での反射が無反射状態となる、予め求められた最小値となるときの帰還経路の帰還利得に所定の余裕利得を加算した利得で増幅されるため、帰還経路の利得が1倍以上であっても適応フィルタの演算においてオーバーフローを生じることなく、所望(例えば、利得が1倍未満の場合と同程度)のエコー抑圧量を得ることができる。
【0009】
請求項2の発明は、請求項1の発明において、前記増幅器は、利得が可変である可変増幅器からなり、拡声通話の開始前に外部から利得が設定されることを特徴とし、相手側通話端末との通話系に応じた適切な利得を増幅器に設定することが可能となり、如何なる通話系が形成される場合においても所望のエコー抑圧量が得られる。
【0010】
請求項3の発明は、請求項1の発明において、前記増幅器が利得が可変である可変増幅器からなり、減算器への入力信号と減算器からの出力信号を比較してエコー成分の抑圧量を推定するエコー抑圧量推定部と、エコー抑圧量推定部で推定される通話中の抑圧量が有限利得区間で最大となる最適利得を抽出して増幅器に設定する最適利得抽出部とを備えたことを特徴とし、通話中に増幅器の利得を最適値に設定することができる。
【0011】
請求項4の発明は、請求項1又は2又は3の発明において、減算器への入力信号から、拡声通話による音声の周波数帯域以外の周波数成分を除去する通話帯域外除去フィルタを備えたことを特徴とし、音声の周波数帯域以外の周波数成分が多いために適応フィルタのみでは充分なエコー抑圧量が得られない場合においても、通話帯域外除去フィルタにより音声の周波数帯域以外の周波数成分を除去することができ、ハウリングに対する耐性を向上することができる。
【0012】
【発明の実施の形態】
(実施形態1)
図1は本実施形態のエコー抑圧装置ECを用いた拡声通話装置の一部省略したブロック図である。ここで、本実施形態のエコー抑圧装置ECの構成のうちで従来のエコー抑圧装置EC’と同一の構成要素には同一の符号を付して説明を省略する。また、拡声通話装置の構成は従来例と同一であるから、同一の構成要素に同一の符号を付して説明を省略する。
【0013】
本実施形態は、適応フィルタ1の前段に増幅器3を設けるとともに、この増幅器3の利得Gを、以下のような値に設定している点に特徴がある。すなわち、マイクロホンM及びスピーカSの前方が無反射の状態(前方に音波を反射する物体が存在しない状態)において予め測定された帰還経路HABの利得G0[dB]と、想定される拡声通話装置の設置環境における反射条件を考慮した余裕利得MG[dB]との和を増幅器3の利得Gとする(G=G0+MG)。但し、このようにして算出される利得Gが0[dB]よりも小さい場合にはG=0[dB]とする。
【0014】
而して、適応フィルタ1への入力信号が増幅器3によってG倍され、しかも、増幅器3の利得Gが実使用時の帰還経路HABの利得以上となるため、適応フィルタ1が固定小数点演算型のプロセッサで構成されている場合において帰還経路HABの利得が1倍以上となっても、適応フィルタ1の演算においてオーバーフローを生じることなく、所望(例えば、利得が1倍未満の場合と同程度)のエコー抑圧量を得ることができる。
【0015】
なお、本実施形態では増幅器3を適応フィルタ1の前段に設けているが、適応フィルタ1の後段に増幅器3を設けても同様の効果を奏することはいうまでもない。また、増幅器3に利得が可変である可変増幅器を用いれば、上述の測定結果に応じて増幅器3の利得Gが変更可能となり、汎用性を高めることができる。
【0016】
(実施形態2)
本実施形態は、増幅器3を可変増幅器とし、通話開始前に外部から増幅器3の利得Gを設定する点に特徴がある。また、本実施形態における拡声通話装置は、相手側通話端末としてのドアホン子機(図示せず)との間で双方向の同時通話を実現可能とした所謂ハンズフリーインターホンの親機として構成される。この親機は、図2に示すように図示しない通話ボタンの押操作によって発生しドアホン子機との通話開始のトリガ信号となる通話開始信号等を受信し、親機が具備する通話制御用のスイッチやリレー等の接続、開放の制御を行う通話路制御モジュール11と、エコー抑圧装置ECの増幅器3に対して利得Gを設定する利得設定モジュール12を実装したCPUからなる通話制御部10と、利得Gの候補値を記憶する不揮発性メモリ13とを備えている。
【0017】
ここで、本実施形態における親機は有線又は無線の伝送系を介して複数台のドアホン子機や他の親機等の通話端末と通話が可能となっている。このように親機からみた相手側通話端末が複数台存在し、且つこれらの種類が異なるような場合、何れの通話端末との間で通話路が形成されるかによって増幅器3の利得Gの最適値が異なることとなる。
【0018】
そこで、本実施形態では上述の種々の状況に応じた増幅器3の利得Gの複数の候補値を不揮発性メモリ13に予め記憶させておき、通話制御部10の通話路制御モジュール11にて親機と相手側通話端末との通話路が確定された後、利得設定モジュール12が確定された通話路に適した利得Gの候補値を選出して不揮発性メモリ13から読み出すとともに、通話開始前に増幅器3に対して読み出した利得Gの候補値を転送して設定する。而して、このように通話系毎に最適化された利得Gの候補値を不揮発性メモリ13に記憶させておけば、回路構成を変更すること無しに種々の通話系に容易に対応することができる。
【0019】
なお、本実施形態では利得Gの複数の候補値を不揮発性メモリ13に格納しているが、通話制御部10を構成するCPUが具備するマスクROMに格納するようにしても良い。
【0020】
(実施形態3)
本実施形態は、増幅器3を可変増幅器とし、減算器2への入力信号(エコー成分抑圧前の送話信号)と減算器2からの出力信号(エコー成分抑圧後の送話信号)を比較してエコー成分の抑圧量を推定するエコー抑圧量推定部4と、エコー抑圧量推定部4で推定される通話中の抑圧量が有限利得区間で最大となる最適な利得Gを抽出して増幅器3に設定する最適利得抽出部5とを備えた点に特徴がある。なお、エコー抑圧量推定部4並びに最適利得抽出部5はDSPあるいはCPUによって構成可能である。
【0021】
次に、図4のフローチャートを参照してエコー抑圧量推定部4及び最適利得抽出部5の動作を説明する。最適利得抽出部5ではN個の最適利得の候補値G0〜GN-1を予め記憶しており、通話中に最適利得の抽出処理を開始すると、まず1番目の候補値G0を増幅器3の利得Gに設定する。そして、所定のウェイト時間経過後にエコー抑圧量推定部4が減算器2の入出力信号を比較することで候補値G0に対するエコー抑圧量の推定値ERLE0を求める。続いて、最適利得抽出部5が2番目の候補値G1を増幅器3の利得Gに設定し、所定のウェイト時間経過後にエコー抑圧量推定部4が候補値G1に対するエコー抑圧量の推定値ERLE1を求める。以下、順次N番目の候補値GN-1に対するエコー抑圧量の推定値ERLEN-1までを求め、これらN個の推定値ERLE0〜ERLEN-1の最大値ERLEkを選出し、その最大値ERLEkが得られる候補値Gkを利得Gの最適値として増幅器3に設定する。
【0022】
而して、本実施形態は上述のように構成したものであるから、通話中に増幅器3の利得Gを最適値に設定することができる。したがって、想定される各種の通話系に応じた充分な数の候補値G0,…を用意しておけば、事前に各通話系毎に測定して最適利得を求めておく必要がなく、使い勝手の向上が図れるという利点がある。
【0023】
(実施形態4)
ところで、これまで説明した親機における帰還経路HABの周波数特性(振幅特性)は、マイクロホンM並びにマイクロホンアンプG1の振幅特性がほぼ平坦とみなせることから、スピーカSの周波数特性並びに親機の筐体の構造(マイクロホンM並びにスピーカSの取付方を含む)によって決定される。そして、筐体の構造によっては、図6に示すように振幅特性に鋭いピークPが生じる場合がある。ところが、適応フィルタ1への入力信号(受話信号)は相手側通話端末から伝送されてくる受話音声であり、大半のエネルギが人の声に応じた周波数帯域(これを「通話帯域」と呼ぶ)T内に集中している。したがって、適応フィルタ1では帰還経路HABの通話帯域Tにおける伝達特性については高い精度で近似することが可能であるが、通話帯域T以外における伝達特性については近似精度が低下することになる。そのため、送話信号に含まれるエコー成分の通話帯域T外のピークPに関しては所望の抑圧効果を得ることができず、例えば、図5に示すように相手側通話端末においても回り込みが生じて通話回路内に閉ループが形成される場合には、通話帯域T外のピークPの周波数付近において上記閉ループの一巡利得が大きくなってハウリングが生じ易くなる。
【0024】
そこで、本実施形態では、図5に示すように減算器2への入力信号から通話帯域T以外の周波数成分を除去する通話帯域外除去フィルタ6を設けている。この通話帯域外除去フィルタ6は、通話帯域Tを通過域周波数範囲に略一致させた帯域通過型フィルタ(バンド・パス・フィルタ)からなり、減算器2の入力側に設けられる。
【0025】
而して、本実施形態は上述のように構成したものであるから、通話帯域T以外の周波数成分が多いために適応フィルタ1のみでは充分なエコー抑圧量が得られない場合においても、通話帯域外除去フィルタ6により通話帯域T以外の周波数成分を除去することができ、ハウリングに対する耐性を向上することができる。
【0026】
【発明の効果】
請求項1の発明は、マイクロホンとスピーカを用いて拡声通話を行う拡声通話系に用いられ、スピーカからマイクロホンへの回り込みなどによって生じるエコーを抑圧するエコー抑圧装置において、スピーカとマイクロホンの音響結合などにより形成される帰還経路のインパルス応答を適応的に同定して帰還経路への入力信号から帰還経路のエコー成分を推定する適応フィルタと、適応フィルタで推定されたエコー成分を帰還経路からの出力信号より減算する減算器と、適応フィルタの前段又は後段に設けられ、エコー成分がマイクロホンとスピーカとの間での反射が無反射状態となる予め求められた最小値となるときの帰還経路の帰還利得に所定の余裕利得を加算した利得を有する増幅器とを備えたので、適応フィルタへの入力又は適応フィルタからの出力が、エコー成分がマイクロホンとスピーカとの間での反射が無反射状態となる予め求められた最小値となるときの帰還経路の帰還利得に所定の余裕利得を加算した利得で増幅されるため、帰還経路の利得が1倍以上であっても適応フィルタの演算においてオーバーフローを生じることなく、所望(例えば、利得が1倍未満の場合と同程度)のエコー抑圧量を得ることができるという効果がある。
【0027】
請求項2の発明は、請求項1の発明において、前記増幅器は、利得が可変である可変増幅器からなり、拡声通話の開始前に外部から利得が設定されるので、相手側通話端末との通話系に応じた適切な利得を増幅器に設定することが可能となり、如何なる通話系が形成される場合においても所望のエコー抑圧量が得られるという効果がある。
【0028】
請求項3の発明は、請求項1の発明において、前記増幅器が利得が可変である可変増幅器からなり、減算器への入力信号と減算器からの出力信号を比較してエコー成分の抑圧量を推定するエコー抑圧量推定部と、エコー抑圧量推定部で推定される通話中の抑圧量が有限利得区間で最大となる最適利得を抽出して増幅器に設定する最適利得抽出部とを備えたので、通話中に増幅器の利得を最適値に設定することができるという効果がある。
【0029】
請求項4の発明は、請求項1又は2又は3の発明において、減算器への入力信号から、拡声通話による音声の周波数帯域以外の周波数成分を除去する通話帯域外除去フィルタを備えたので、音声の周波数帯域以外の周波数成分が多いために適応フィルタのみでは充分なエコー抑圧量が得られない場合においても、通話帯域外除去フィルタにより音声の周波数帯域以外の周波数成分を除去することができ、ハウリングに対する耐性を向上することができるという効果がある。
【図面の簡単な説明】
【図1】実施形態1を示すブロック図である。
【図2】実施形態2を示すブロック図である。
【図3】実施形態3を示すブロック図である。
【図4】同上の動作説明用のフローチャートである。
【図5】実施形態4を示すブロック図である。
【図6】同上の動作説明図である。
【図7】従来例を示すブロック図である。
【符号の説明】
EC エコー抑圧装置
1 適応フィルタ
2 減算器
3 増幅器
Claims (4)
- マイクロホンとスピーカを用いて拡声通話を行う拡声通話系に用いられ、スピーカからマイクロホンへの回り込みなどによって生じるエコーを抑圧するエコー抑圧装置において、スピーカとマイクロホンの音響結合などにより形成される帰還経路のインパルス応答を適応的に同定して帰還経路への入力信号から帰還経路のエコー成分を推定する適応フィルタと、適応フィルタで推定されたエコー成分を帰還経路からの出力信号より減算する減算器と、適応フィルタの前段又は後段に設けられ、エコー成分がマイクロホンとスピーカとの間での反射が無反射状態となる予め求められた最小値となるときの帰還経路の帰還利得に所定の余裕利得を加算した利得を有する増幅器とを備えたことを特徴とするエコー抑圧装置。
- 前記増幅器は、利得が可変である可変増幅器からなり、拡声通話の開始前に外部から利得が設定されることを特徴とする請求項1記載のエコー抑圧装置。
- 前記増幅器が利得が可変である可変増幅器からなり、減算器への入力信号と減算器からの出力信号を比較してエコー成分の抑圧量を推定するエコー抑圧量推定部と、エコー抑圧量推定部で推定される通話中の抑圧量が有限利得区間で最大となる最適利得を抽出して増幅器に設定する最適利得抽出部とを備えたことを特徴とする請求項1記載のエコー抑圧装置。
- 減算器への入力信号から、拡声通話による音声の周波数帯域以外の周波数成分を除去する通話帯域外除去フィルタを備えたことを特徴とする請求項1又は2又は3記載のエコー抑圧装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001092622A JP4396053B2 (ja) | 2001-03-28 | 2001-03-28 | エコー抑圧装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001092622A JP4396053B2 (ja) | 2001-03-28 | 2001-03-28 | エコー抑圧装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002290286A JP2002290286A (ja) | 2002-10-04 |
JP4396053B2 true JP4396053B2 (ja) | 2010-01-13 |
Family
ID=18947053
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001092622A Expired - Lifetime JP4396053B2 (ja) | 2001-03-28 | 2001-03-28 | エコー抑圧装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4396053B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009049977A (ja) | 2007-07-26 | 2009-03-05 | Yamaha Corp | エコーキャンセラ |
CN103152499B (zh) * | 2008-06-11 | 2014-12-10 | 三菱电机株式会社 | 回声消除器 |
JP2010068457A (ja) * | 2008-09-12 | 2010-03-25 | Sony Corp | エコーキャンセル装置、信号処理装置及び方法、並びにプログラム |
CN105825862A (zh) * | 2015-01-05 | 2016-08-03 | 沈阳新松机器人自动化股份有限公司 | 一种机器人人机对话回声消除系统 |
CN113612881B (zh) * | 2021-07-08 | 2022-11-15 | 北京小唱科技有限公司 | 基于单移动终端的扬声方法、装置及存储介质 |
-
2001
- 2001-03-28 JP JP2001092622A patent/JP4396053B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2002290286A (ja) | 2002-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8311234B2 (en) | Echo canceller and communication audio processing apparatus | |
JP4681163B2 (ja) | ハウリング検出抑圧装置、これを備えた音響装置、及び、ハウリング検出抑圧方法 | |
JP3267556B2 (ja) | エコー除去装置および送話器 | |
JP4069595B2 (ja) | 拡声通話装置 | |
JP5086769B2 (ja) | 拡声通話装置 | |
JP3979169B2 (ja) | エコーキャンセラ | |
JP4396053B2 (ja) | エコー抑圧装置 | |
JP4631581B2 (ja) | 拡声通話装置 | |
WO2004064365A1 (en) | Device and method for suppressing echo, in particular in telephones | |
JP5509387B2 (ja) | エコーキャンセラ | |
JP2861888B2 (ja) | エコー・ノイズキャンセラおよびエコー・ノイズ消去方法 | |
JP4887181B2 (ja) | エコー防止装置及びプログラム | |
JP3941581B2 (ja) | 拡声通話装置 | |
JP4380688B2 (ja) | 通話装置 | |
JPH08223275A (ja) | ハンズフリー通話装置 | |
JP2000353989A (ja) | エコーキャンセラ | |
JP3321411B2 (ja) | エコー除去装置 | |
JP4047867B2 (ja) | エコーキャンセル回路 | |
JP3968704B2 (ja) | ハンズフリー携帯電話端末装置 | |
JP4977401B2 (ja) | ハンズフリー電話装置 | |
JP2008124678A (ja) | エコー処理プロセッサおよび音声通信装置 | |
JP2007124163A (ja) | 通話装置 | |
JPH01314438A (ja) | エコーキャンセラ | |
JP4146585B2 (ja) | ハンズフリー装置 | |
JP3442535B2 (ja) | エコーキャンセラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070718 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090929 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091012 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121030 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4396053 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131030 Year of fee payment: 4 |
|
EXPY | Cancellation because of completion of term |