JP5058052B2 - エコー消去装置 - Google Patents
エコー消去装置 Download PDFInfo
- Publication number
- JP5058052B2 JP5058052B2 JP2008107859A JP2008107859A JP5058052B2 JP 5058052 B2 JP5058052 B2 JP 5058052B2 JP 2008107859 A JP2008107859 A JP 2008107859A JP 2008107859 A JP2008107859 A JP 2008107859A JP 5058052 B2 JP5058052 B2 JP 5058052B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- delay
- echo
- microphone
- received signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
この発明は、複数チャンネル信号受信用の複数のスピーカと、この複数のスピーカからの音声を集音する１つのマイクロホン（以下マイクという）を備え、マイクからの音声信号でエコー消去用の信号を生成するエコー消去装置に関するものである。
図３は従来のステレオエコー消去装置の構成図である。構成として、Leftチャンネルの受信用スピーカ305と、Rightチャンネルの受信用スピーカ306の受信用スピーカを２つ、送信入力用マイク307を１つ、Leftチャンネルの受信信号時系列ベクトルｌin(ｎ)を入力とする適応フィルタ301と、Rightチャンネルの受信信号時系列ベクトルｒin(ｎ) を入力とする適応フィルタ302を１つずつ備えている。図３において、ｈLはLeft側スピーカ−マイク間の伝達関数のインパルス応答、ｈR はRight側スピーカ−マイク間の伝達関数のインパルス応答を示し、s in(ｎ)はマイクに入力される送信入力信号である。送信入力信号s in(ｎ)はエコー以外の入力音声がないと仮定した場合、次のようになる。
である。
ここで、ｈLｌin(ｎ)、ｈRｒin(ｎ) はそれぞれLeftチャンネルによるエコー、Rightチャンネルによるエコーを表している。
また、Ｎは Ｎ＞０であり、エコーの残響時間に対して十分大きいとする。
ここで、ｈLｌin(ｎ)、ｈRｒin(ｎ) はそれぞれLeftチャンネルによるエコー、Rightチャンネルによるエコーを表している。
また、Ｎは Ｎ＞０であり、エコーの残響時間に対して十分大きいとする。
従来のステレオエコー消去装置は、Leftチャンネルの受信信号時系列ベクトルｌin(ｎ)を入力とする適応フィルタ301と、Rightチャンネルの受信信号時系列ベクトルｒin(ｎ)を入力とする適応フィルタ302によって、Left側スピーカ−マイク間の伝達関数のインパルス応答ｈL、Right側スピーカ−マイク間の伝達関数のインパルス応答ｈRを適応化学習し、そうして求めたそれぞれのインパルス応答推定値から、それぞれの擬似エコー信号を生成し、送信入力信号s in(ｎ)からこれら擬似エコー信号を引き去る事によってエコーを消去している。
図３に示す従来のステレオエコー消去装置は、Leftチャンネルの受信信号時系列ベクトルｌin(ｎ)およびRightチャンネルの受信信号時系列ベクトルｒin(ｎ) を入力とする適応フィルタを１つずつ備えている。この従来のエコー消去装置において、図２に示すように、マイク３０７とスピーカ３０５との距離およびマイク３０７とスピーカ３０６との距離が異なる場合、ステレオ音声が入力されたときと比較して、モノラル音声を入力したときは、エコー消去量が低下することを知見した。
従来のエコー消去装置にモノラル音声が入力された場合、モノラル音声はｌin(ｎ)＝ｒin(ｎ)であるのでそれぞれの適応フィルタに同じ信号が入力される事となる。このときの適応フィルタの出力をｄL(ｎ)、ｄR(ｎ)とすると、
従来のエコー消去装置にモノラル音声が入力された場合、モノラル音声はｌin(ｎ)＝ｒin(ｎ)であるのでそれぞれの適応フィルタに同じ信号が入力される事となる。このときの適応フィルタの出力をｄL(ｎ)、ｄR(ｎ)とすると、
とする。よってｓin(ｎ)から適応フィルタの出力ｄL(ｎ)、ｄR(ｎ)を引いた残差信号ｓout(ｎ)は、
となる。
ここで
ｌin(ｎ)＝ｒin(ｎ)＝ｕ(ｎ)
とすると、
ここで
ｌin(ｎ)＝ｒin(ｎ)＝ｕ(ｎ)
とすると、
となる。
また、この時の係数更新式は、例えばNLMS (Normalized Least Mean Square)アルゴリズムを用いた場合、
また、この時の係数更新式は、例えばNLMS (Normalized Least Mean Square)アルゴリズムを用いた場合、
となる。ただし、αは係数更新ステップゲインである。
（式６）において、ａ1(ｎ)、ａ2(ｎ)をまとめれば、
（式６）において、ａ1(ｎ)、ａ2(ｎ)をまとめれば、
となり、（式４）および（式７）から、同じ入力信号を持つ、２つの適応フィルタは、倍の係数更新ステップゲインを持った１つの適応フィルタと同じ振る舞いをする事がわかる。
一般に、エコーキャンセラにおいて適応フィルタの係数更新ステップゲインを大きくした場合、エコーの伝播経路の変化による追従性が向上する利点がある反面、係数が収束した後でも、エコー消去量が安定しないという欠点がある。これは、係数の修正量が大きくなる分、送信信号に含まれる雑音や話者音声成分による影響を受けやすくなり、適応化誤差が大きくなる為である。一方で係数更新ステップゲインを小さくした場合、係数収束後のエコー消去量は安定するがエコーの経路の変化に対する追従性は低下する。
従って従来のステレオエコーキャンセラは、モノラル音声が入力された場合に実効的な係数更新ステップゲインが大きくなることにより、ステレオ音声の時より適応化誤差が大きくなる問題がある。またもしモノラル音声入力時の適応化誤差を抑える為に係数更新ステップゲインを小さく設定すれば、逆にステレオ音声入力時のエコーの経路の変化に対する追従は遅くなる。
更に、図２に示すような、各スピーカとマイクとの距離が異なる配置であった場合におけるフィルタ適応について考えてみる。簡単のため、スピーカ−マイク間の伝達関数のインパルス応答であるｈL、ｈRを以下のように仮定する。
ただし、ｈLp＝ｈRq＝１とする。
つまり、Left側スピーカ305−マイク307間の伝達関数のインパルス応答は、ｐサンプル遅延を持ったインパルス、Right側スピーカ306−マイク307間の伝達関数のインパルス応答は、ｑサンプル遅延を持ったインパルスである。
ここで、受信信号がモノラル音声のときは、ｌin(ｎ)＝ｒin(ｎ)＝ｕ(ｎ)であるので、送信入力信号 s in(ｎ) は次のようになる。
つまり、Left側スピーカ305−マイク307間の伝達関数のインパルス応答は、ｐサンプル遅延を持ったインパルス、Right側スピーカ306−マイク307間の伝達関数のインパルス応答は、ｑサンプル遅延を持ったインパルスである。
ここで、受信信号がモノラル音声のときは、ｌin(ｎ)＝ｒin(ｎ)＝ｕ(ｎ)であるので、送信入力信号 s in(ｎ) は次のようになる。
である。このとき、ｐ≠ｑであれば、(式９)からわかるように、s in(ｎ)には、各スピーカから異なる信号ｕ(ｎ-ｐ)及びｕ(ｎ-ｑ)が入力されていることと等価となる。つまり、受信信号がモノラル音声であっても、マイク307には、実質上「ステレオ音声」が入力されていることとなる。前述の通り、従来のステレオエコー消去装置にモノラル音声が入力された場合、１つの適応フィルタをもつ装置と同じ振る舞いをするため、受信信号がモノラル信号である場合、実質上「ステレオ音声」である入力に対して、１つの適応フィルタで学習同定することとなる。このため、ステレオ音声入力時と比較して、エコー消去量の低下が起こる。
以上のように、従来のステレオエコー消去装置では、ステレオ信号が入力されたときと比較して、モノラル信号が入力されたとき、十分なエコー消去性能が得られないという問題がある。
この発明は、このような課題を解決する為になされたもので、受信信号がモノラル音声であるときにおいても、高いエコー消去性能を持ったエコー消去装置を得る事を目的としている。
この発明は、このような課題を解決する為になされたもので、受信信号がモノラル音声であるときにおいても、高いエコー消去性能を持ったエコー消去装置を得る事を目的としている。
この発明に係るエコー消去装置は、
複数チャンネル信号の受信用スピーカ、
この複数のスピーカからの音声を集音する１つのマイク、
各受信チャンネル信号を入力し、夫々の受信チャンネル信号に対し異なる任意サンプル数の遅延を挿入し出力する遅延制御部、
遅延制御部からの異なる任意サンプル数で遅延された各受信用スピーカへの受信信号を入力し、各チャンネル毎の適応フィルタ係数によってフィルタリングをして各チャンネル成分擬似エコー信号を生成出力する複数の適応フィルタ、
複数の適応フィルタからの擬似エコー信号を全て加算する加算手段、
各受信用スピーカからの音声が集音されたマイクからの音声信号から加算器で加算され擬似エコー信号を減算し、送信出力信号を出力する減算手段を備え、
上記各適応フィルタは減算手段からの送信出力信号を残差信号として用い適応フィルタ係数の適応化更新を行う。
複数チャンネル信号の受信用スピーカ、
この複数のスピーカからの音声を集音する１つのマイク、
各受信チャンネル信号を入力し、夫々の受信チャンネル信号に対し異なる任意サンプル数の遅延を挿入し出力する遅延制御部、
遅延制御部からの異なる任意サンプル数で遅延された各受信用スピーカへの受信信号を入力し、各チャンネル毎の適応フィルタ係数によってフィルタリングをして各チャンネル成分擬似エコー信号を生成出力する複数の適応フィルタ、
複数の適応フィルタからの擬似エコー信号を全て加算する加算手段、
各受信用スピーカからの音声が集音されたマイクからの音声信号から加算器で加算され擬似エコー信号を減算し、送信出力信号を出力する減算手段を備え、
上記各適応フィルタは減算手段からの送信出力信号を残差信号として用い適応フィルタ係数の適応化更新を行う。
この発明のエコー消去装置によれば、各チャンネル信号の擬似エコー信号を生成する適応フィルタへの入力として、異なる任意サンプル数の遅延を挿入した受信信号を用いる事によって受信信号がモノラルである場合でも、適応フィルタへ入力される受信チャンネル信号は同一信号ではなくなるため、１つの適応フィルタと同じ振る舞いとなることもなく、また、実質上ステレオ音声である入力に対して、複数の適応フィルタを用いて学習同定することが可能となる。従って、モノラル音声が入力された際、ステレオ音声が入力された際と比較して、エコー消去性能が低下する問題が回避され、安定したエコー消去効果が得られ、受信信号モノラル信号であっても、エコー消去効果が安定するという効果が得られる。
この発明に係るエコー消去装置を実施するための最良の形態について説明する。
実施の形態１．
図１はこの発明の実施の形態１に関する装置の構成図である。実施の形態１のエコー消去装置は図１に示すように、Left及びRightチャンネルの受信信号を受け、それぞれの遅延挿入信号を出力する遅延制御部101と、挿入する遅延量を決定する遅延量決定部102と、Leftチャンネル遅延挿入信号を受け、Leftチャンネル成分擬似エコー信号を出力するLeftチャンネル適応フィルタ103と、Rightチャンネル遅延挿入信号を受け、Rightチャンネル成分擬似エコー信号を出力するRightチャンネル適応フィルタ104と、Left及びRightチャンネル成分擬似エコー信号を受け、両者を加算して擬似エコー信号ｄsum(ｎ)を出力する加算器105と、送信入力信号s in(ｎ)と擬似エコー信号ｄsum(ｎ)を受け、残差信号sout(ｎ)を出力する減算器106とを備えおり、これらによってエコー消去手段を構成している。
また、図３に示す従来の装置と同様に、受信信号のチャンネル数は２とし、Leftチャンネルの受信用スピーカ305と、Rightチャンネルの受信用スピーカ306の受信用スピーカを２つ、送信入力用マイク307を１つ備える。
実施の形態１．
図１はこの発明の実施の形態１に関する装置の構成図である。実施の形態１のエコー消去装置は図１に示すように、Left及びRightチャンネルの受信信号を受け、それぞれの遅延挿入信号を出力する遅延制御部101と、挿入する遅延量を決定する遅延量決定部102と、Leftチャンネル遅延挿入信号を受け、Leftチャンネル成分擬似エコー信号を出力するLeftチャンネル適応フィルタ103と、Rightチャンネル遅延挿入信号を受け、Rightチャンネル成分擬似エコー信号を出力するRightチャンネル適応フィルタ104と、Left及びRightチャンネル成分擬似エコー信号を受け、両者を加算して擬似エコー信号ｄsum(ｎ)を出力する加算器105と、送信入力信号s in(ｎ)と擬似エコー信号ｄsum(ｎ)を受け、残差信号sout(ｎ)を出力する減算器106とを備えおり、これらによってエコー消去手段を構成している。
また、図３に示す従来の装置と同様に、受信信号のチャンネル数は２とし、Leftチャンネルの受信用スピーカ305と、Rightチャンネルの受信用スピーカ306の受信用スピーカを２つ、送信入力用マイク307を１つ備える。
つぎに、本エコー消去装置の動作を説明する。
遅延制御部101は、Leftチャンネル受信信号ｌin(ｎ)とRightチャンネル受信信号ｒin(ｎ)を受け、Leftチャンネル遅延挿入信号ｌin(ｎ-ｐ)およびRightチャンネル遅延挿入信号ｒin(ｎ-ｑ)を出力する。ただし、Leftチャンネルの遅延挿入量をｐサンプル、Rightチャンネルの遅延挿入量をｑサンプルとし、ｐおよびｑは異なる任意の数とする。遅延挿入方法としては、例えば、FIR（Finite Impulse Response )の遅延フィルタ用いて、実現してもよい。遅延挿入量ｐ及びｑは、遅延量決定部102において、任意に設定できる。例えば、スピーカとマイクとの距離を基に以下の式のように与えてもよい。
遅延制御部101は、Leftチャンネル受信信号ｌin(ｎ)とRightチャンネル受信信号ｒin(ｎ)を受け、Leftチャンネル遅延挿入信号ｌin(ｎ-ｐ)およびRightチャンネル遅延挿入信号ｒin(ｎ-ｑ)を出力する。ただし、Leftチャンネルの遅延挿入量をｐサンプル、Rightチャンネルの遅延挿入量をｑサンプルとし、ｐおよびｑは異なる任意の数とする。遅延挿入方法としては、例えば、FIR（Finite Impulse Response )の遅延フィルタ用いて、実現してもよい。遅延挿入量ｐ及びｑは、遅延量決定部102において、任意に設定できる。例えば、スピーカとマイクとの距離を基に以下の式のように与えてもよい。
ただし、Length L はLeftチャンネルスピーカ305とマイク307との距離[m]、Length RはRightチャンネルスピーカ306とマイク307との距離[m]、ＦS は参照信号のサンプリング周波数、Ｃは音の速度[m/sec]とする。
Leftチャンネル適応フィルタ103は、Leftチャンネル遅延挿入信号ｌin(ｎ-ｐ)を受け、Leftチャンネル適応フィルタ係数 aL(ｎ)によってフィルタリングし、Leftチャンネル成分擬似エコー信号 ｄL(ｎ)を出力する。Rightチャンネル適応フィルタ104は、Rightチャンネル遅延挿入信号ｒin(ｎ-ｑ)を受け、Rightチャンネル適応フィルタ係数 aR(ｎ)によってフィルタリングし、Rightチャンネル成分擬似エコー信号ｄR(ｎ)を出力する。すなわち、
加算器105はLeftチャンネル成分擬似エコー信号ｄL(ｎ)および、RightチャンネルｄR(ｎ)を受け、両者を加算して擬似エコー信号ｄsum(ｎ)を出力する。
減算器106は、マイク307からの送信入力信号 Sin(ｎ)と、加算器105からの擬似エコー信号ｄsum(ｎ)を受け、残差信号Ssum(ｎ)を出力する。
ここで、Leftチャンネル適応フィルタ103 およびRightチャンネル適応フィルタ104は、減算器106からの残差信号Ｓout(ｎ)を用いて、Leftチャンネル適応フィルタ係数ａL(ｎ)およびRightチャンネル適応フィルタ係数ａR(ｎ)の更新を行う。係数更新に用いる適応化アルゴリズムとしては、NLMS (Normalized Least Mean Square)アルゴリズムのような一般的なアルゴリズムを用いる事ができる。例として、NLMSアルゴリズムを用いた場合の係数更新式を以下に示す。
ここで、α1，α2は各々の適応フィルタ係数更新ステップゲインである。
この発明の本実施の形態によるエコー消去装置は、適応フィルタ103および104への入力として、異なる任意サンプル数の遅延を挿入した受信信号を用いている。こうする事によって受信信号がモノラルである場合でも、適応フィルタへ入力される参照信号は同一信号ではないため、１つの適応フィルタと同じ振る舞いとなることもなく、また、実質上「ステレオ音声」である入力に対して、２つの適応フィルタを用いて学習同定することが可能となる。従って、従来のステレオエコー消去装置に見られたような、モノラル音声が入力された際、ステレオ音声が入力された際と比較して、エコー消去性能が低下する問題が回避され、安定したエコー消去効果が得られる。
この結果、この発明の実施の形態によれば、受信信号モノラル信号であっても、エコー消去効果が安定するという効果が得られる。
本実施形態を説明する上で、受信信号のチャンネル数は２としたが、任意のチャンネル数を持つ受信信号に対し、本発明は適用することができる。
この結果、この発明の実施の形態によれば、受信信号モノラル信号であっても、エコー消去効果が安定するという効果が得られる。
本実施形態を説明する上で、受信信号のチャンネル数は２としたが、任意のチャンネル数を持つ受信信号に対し、本発明は適用することができる。
この発明によるエコー消去装置は、例えばカーナビゲーション装置に搭載されるミュージックキャンセラー処理に適用して利用される可能性がある。
101 遅延制御部、102 遅延量決定部、103, 301 Leftチャンネル適応フィルタ、104, 302 Rightチャンネル適応フィルタ、105, 303 加算器、106, 304 減算器、305, 306 スピーカ、307 マイク。
Claims (3)
- 複数チャンネル信号受信用の複数のスピーカと、この複数のスピーカからの音声を集音する１つのマイクロホン（以下マイクという）を備え、このマイクの出力音声信号からエコーを消去するエコー消去装置であって、
各受信用スピーカへの受信信号を入力し、夫々の受信信号に対し異なる任意サンプル数の遅延を挿入し出力する遅延制御部、
遅延制御部からの異なる任意サンプル数で遅延された各受信用スピーカへの受信信号を入力し、各チャンネル毎の適応フィルタ係数によってフィルタリングをして各チャンネル成分擬似エコー信号を生成出力する複数の適応フィルタ、
複数の適応フィルタからの擬似エコー信号を全て加算する加算手段、
各受信用スピーカからの音声が集音されたマイクからの音声信号から加算器で加算され擬似エコー信号を減算し、送信出力信号を出力する減算手段を備え、
上記各適応フィルタは減算手段からの送信出力信号を残差信号として用い適応フィルタ係数の適応化更新を行うことを特徴とするエコー消去装置。 - 上記遅延制御部は、各受信信号に遅延フィルタをかけ夫々の受信信号に対し異なる任意サンプル数の遅延を挿入する構成にされたことを特徴とする請求項１に記載のエコー消去装置。
- 各受信信号に挿入する遅延量は、その受信信号を受信するスピーカとマイクとの距離を基に決定する遅延量決定部を備え、
上記遅延制御部は、遅延量決定部からの遅延量により各受信信号を遅延する構成にされたことを特徴とする請求項１または２に記載のエコー消去装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008107859A JP5058052B2 (ja) | 2008-04-17 | 2008-04-17 | エコー消去装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008107859A JP5058052B2 (ja) | 2008-04-17 | 2008-04-17 | エコー消去装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009260699A JP2009260699A (ja) | 2009-11-05 |
| JP5058052B2 true JP5058052B2 (ja) | 2012-10-24 |
Family
ID=41387544
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008107859A Expired - Fee Related JP5058052B2 (ja) | 2008-04-17 | 2008-04-17 | エコー消去装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5058052B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9497544B2 (en) | 2012-07-02 | 2016-11-15 | Qualcomm Incorporated | Systems and methods for surround sound echo reduction |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3607625B2 (ja) * | 2001-02-08 | 2005-01-05 | 日本電信電話株式会社 | 多チャネル反響抑圧方法、その装置、そのプログラム及びその記録媒体 |
| JP4894368B2 (ja) * | 2006-06-16 | 2012-03-14 | 沖電気工業株式会社 | エコーキャンセラ |
-
2008
- 2008-04-17 JP JP2008107859A patent/JP5058052B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009260699A (ja) | 2009-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5371197B2 (ja) | マルチチャネルエコー補正システムおよび方法 | |
| EP1995940A1 (en) | Method and apparatus for processing at least two microphone signals to provide an output signal with reduced interference | |
| JPH10215194A (ja) | 雑音消去装置 | |
| JP3403473B2 (ja) | ステレオエコーキャンセラ | |
| JP5058052B2 (ja) | エコー消去装置 | |
| JP2003309493A (ja) | 反響低減方法、反響低減装置、反響低減プログラム | |
| JP4920511B2 (ja) | マルチチャンネルエコーキャンセラ | |
| JP2003250193A (ja) | 反響消去方法、この方法を実施する装置、プログラムおよびその記録媒体 | |
| JP2010068213A (ja) | エコー消去装置 | |
| US10999444B2 (en) | Acoustic echo cancellation device, acoustic echo cancellation method and non-transitory computer readable recording medium recording acoustic echo cancellation program | |
| JP6143702B2 (ja) | エコー消去装置、その方法及びプログラム | |
| CN112863532A (zh) | 回音抑制装置、回音抑制方法以及存储介质 | |
| JP4663630B2 (ja) | マルチチャンネルシステム同定装置 | |
| JP2009207021A (ja) | 音響エコーキャンセラ | |
| JP3583998B2 (ja) | 多チャネルエコー消去方法、その装置及びプログラム記録媒体 | |
| JP3628267B2 (ja) | 多チャネル反響消去方法、その装置、そのプログラム及びその記録媒体 | |
| JP4317526B2 (ja) | 音響エコー消去方法、装置、プログラム、記録媒体 | |
| US11967304B2 (en) | Sound pick-up device, sound pick-up method and non-transitory computer-readable recording medium recording sound pick-up program | |
| JP4247158B2 (ja) | 多チャネル音響エコー消去方法、多チャネル音響エコー消去装置、多チャネル音響エコー消去プログラム、記録媒体 | |
| JP4159967B2 (ja) | 多チャネル音響エコー消去方法及び装置 | |
| JP2013225747A (ja) | 通話装置 | |
| WO2024009892A1 (ja) | エコー抑圧装置、エコー抑圧方法及びエコー抑圧プログラム | |
| JP2012205161A (ja) | 音声通話装置 | |
| US10636410B2 (en) | Adaptive acoustic echo delay estimation | |
| JP6356087B2 (ja) | エコー消去装置、その方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110111 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120622 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120703 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120731 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150810 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5058052 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |