JP4504891B2 - 反響消去方法、反響消去装置、プログラム、記録媒体 - Google Patents
反響消去方法、反響消去装置、プログラム、記録媒体 Download PDFInfo
- Publication number
- JP4504891B2 JP4504891B2 JP2005251647A JP2005251647A JP4504891B2 JP 4504891 B2 JP4504891 B2 JP 4504891B2 JP 2005251647 A JP2005251647 A JP 2005251647A JP 2005251647 A JP2005251647 A JP 2005251647A JP 4504891 B2 JP4504891 B2 JP 4504891B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- reproduction
- power
- echo
- estimated value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
Description
ここで、kは所定間隔の離散時間を指すステップ数である。第一再生信号x1(k)および第二再生信号x2(k)は、それぞれ、第一反響路4および第二反響路5との畳込演算により第一反響信号d1(k)および第二反響信号d2(k)として、マイクロホン3において混合され収音される。
さて、第一適応型模擬反響路103および第二適応型模擬反響路104において、第一模擬特性Hm1(k)および第二模擬特性Hm2(k)は、それぞれ、
dc(k)+da(k)=d1(k)+d2(k)=y(k)
のみであり、dc(k)とda(k)を個別に観測することは不可能である。
実際には、図2の例では、誤差信号e(k)=y(k)−[dm1(k)+dm2(k)]に基づき推定値を与えている。すなわち、信号電力加重誤差配分手段107において、e1(k)の推定値として、
また、図3の例では、均等誤差配分手段207により、e1(k)の推定値として、
ここで、図2および図3に示した従来技術において、(式1)および(式2)で本来用いられるべきe1(k)、e2(k)に対して実際に適用される第一推定値および第二推定値em1(k)、em2(k)の精度について考える。まず、
e1(k)=ec(k)+ea(k) (式7)
e2(k)=ec(k)−ea(k) (式8)
とおく。ただし、
em1(k)=ec(k)+ema(k) (式9)
em2(k)=ec(k)−ema(k) (式10)
と表すことを考える。
一方(式5)、(式6)に基づく図3に示した反響消去装置200の構成では、(式9)、(式10)において、
ema(k)=0 (式12)
と与えたことに相当する。(式12)では、ema(k)の平均値を零と仮定し、eu(k)の大きさ、すなわちαの値によらない反響路の模擬を実現している。
藤井 哲郎、島田 正治:「多チャンネル適応ディジタルフィルタ」電子通信学会 論文誌(A),J69-A No.10, pp1226-1233, 1986.
本発明の目的は、図2に示した反響消去装置100の構成の推定値em1(k)、em2(k)について、αの値に依存した精度劣化を抑え、反響路の模擬精度を高めることにより、反響消去性能の優れた反響消去装置を提案することである。
本発明の特徴とする構成はこれら均等誤差配分手段と、信号電力加重誤差配分手段の双方を備える点と、均等誤差配分手段は誤差信号を均等割合で配分して得られる第一の推定値と第二の推定値とを出力する点と、信号電力加重誤差配分手段は再生和信号の電力と再生差信号の電力との比に応じて配分して得られる第三の推定値と第四の推定値を出力する点を特徴とし、更に再生和信号の電力と再生差信号の電力の大小関係に応じて異なる値を電力偏差として出力する電力偏差計算手段と、
電力偏差の値が、再生和信号の電力が再生差信号の電力より大きいことを示すほど、第三の推定値を第一の推定値よりも大きな割合で加重平均し、電力偏差の値が、再生差信号の電力が再生和信号の電力より大きいことを示すほど、第一の推定値を第三の推定値よりも大きな割合で加重平均し、第五の推定値として出力し、第一の適応型模擬反響路に与え、第一の適応型模擬反響路が有する模擬特性を更新させる第一の電力偏差加重平均手段と、電力偏差の値が、再生和信号の電力が再生差信号の電力より大きいことを示すほど、第二の推定値を第四の推定値よりも大きな割合で加重平均し、電力偏差の値が、再生差信号の電力が再生和信号の電力より大きいことを示すほど、第四の推定値を第二の推定値よりも大きな割合で加重平均し、第六の推定値として出力し、第二の適応型模擬反響路に与え、第二の適応型模擬反響路が有する模擬特性を更新させる第二の電力偏差加重平均手段とを備える構成とした点を特徴とする。
更に本発明では、第一の電力偏差加重平均手段において、第五の推定値を求める第一の推定値と第三の推定値の加重平均の値を、1から電力偏差αを引いた値の二分の一と第一の推定値との積と、1に電力偏差αを加えた値の二分の一と第三の推定値との積との和として得ることを特徴とする。
つまり、本発明では、背景技術で説明した図2に示した反響消去装置100の誤差配分と図3に示した反響消去装置200の誤差配分を、αの値に応じて、組み合わせることにより、前記課題を解決する。図2に示した反響消去装置100の構成において、ema(k)の推定精度が高くなるのは、eu(k)が十分小さい、すなわち、αが、1、または、−1に近いときである。さらに、(式3)、(式4)を、αを用いて表すと、
なお、本発明では、再生和信号の大きさと再生差信号の大きさの大小関係を表す量を電力偏差と呼び、例えば、前述のαを電力偏差として用いる。
コンピュータに反響消去装置として機能させるためには反響消去プログラムによりコンピュータ内に第一の再生信号と第二の再生信号の和成分として再生和信号を出力する和信号生成器と、第一の再生信号と第二の再生信号の差成分として再生差信号を出力する差信号生成器と、第一の反響路と第二の反響路の和成分に相当する模擬特性を有し、再生和信号を入力し、第一の反響模擬信号を出力する第一の適応型模擬反響路と、第一の反響路と第二の反響路の差成分に相当する模擬特性を有し、再生差信号を入力し、第二の反響模擬信号を生成する第二の適応型模擬反響路と、第一の反響模擬信号および第二の反響模擬信号を収音信号から差引き誤差信号を生成し、この誤差信号を出力する誤差算出手段と、この誤差信号を均等割合で配分して得られる第一の推定値と第二の推定値を出力する均等誤差配分手段と、誤差信号を再生和信号の電力と再生差信号の電力との比に応じて配分して得られる第三の推定値と第四の推定値を出力する信号電力加重誤差配分手段と、再生和信号の電力と再生差信号の電力の大小関係に応じて異なる値を電力偏差として出力する電力偏差計算手段と、電力偏差の値が、再生和信号の電力が再生差信号の電力より大きいことを示すほど、第三の推定値を第一の推定値よりも大きな割合で加重平均し、電力偏差の値が、再生差信号の電力が再生和信号の電力より大きいことを示すほど、第一の推定値を第三の推定値よりも大きな割合で加重平均し、第五の推定値として出力し、第一の適応型模擬反響路に与え、第一の適応型模擬反響路が有する模擬特性を更新させる第一の電力偏差加重平均手段と、電力偏差の値が、再生和信号の電力が再生差信号の電力より大きいことを示すほど、第二の推定値を第四の推定値よりも大きな割合で加重平均し、電力偏差の値が、再生差信号の電力が再生和信号の電力より大きいことを示すほど、第四の推定値を第二の推定値よりも大きな割合で加重平均し、これらの加重平均値を第六の推定値として出力し、第二の適応型模擬反響路に与え、第二の適応型模擬反響路が有する模擬特性を更新させる第二の電力偏差加重平均手段とを構築し、コンピュータに反響消去装置として機能させる。
以下に各部の動作を説明する。
差信号生成器102は第一再生信号x1(k)と第二再生信号x2(k)との差成分として再生差信号xa(k)=x1(k)−x2(k)を生成する。
第一適応型模擬反響路103は第一スピーカ1とマイクロホン3との間の第一反響路4のインパルス応答に相当する長さLのベクトルH1と、第二スピーカ2とマイクロホン3との間の第二反響路5のインパルス応答に相当する長さLのベクトルH2との和成分として(H1+H2)/2を模擬する第一模擬特性Hm1(k)を保持し、和信号生成器101から入力される再生和信号xc(k)と第一模擬特性Hm1(k)との畳込演算により第一模擬反響信号dm1(k)を生成し出力する。
誤差算出手段304は第一反響路4および第二反響路5を経て生成される第一反響信号d1(k)および第二反響信号d2(k)が混合してマイクロホン3において収音されて得られる収音信号y(k)から、第一模擬反響信号dm1(k)および第二模擬反響信号dm2(k)を差し引き、誤差信号e(k)を出力する。
信号電力加重誤差配分手段107は(式3)、(式4)に基づき、再生和信号xc(k)の電力‖xc(k)‖2と、再生和信号xc(k)の電力‖xc(k)‖2と再生差信号xa(k)の電力‖xa(k)‖2の和との比‖xc(k)‖2/(‖xc(k)‖2+‖xa(k)‖2)を誤差信号e(k)に乗ずることにより、第三の推定値em3(k)を
これと共に、再生差信号xa(k)の電力‖xa(k)‖2と、再生和信号xc(k)の電力‖xc(k)‖2と再生差信号の電力‖xa(k)‖2との和との比‖xa(k)‖2/(‖xc(k)‖2+‖xa(k)‖2)を誤差信号e(k)に乗ずることにより第四の推定値em4(k)を、
第二電力偏差加重平均手段303は(式14)に基づき、1に電力偏差αを加えた値の二分の一と第二推定値em2(k)との積((1+α)/2)・em2(k)と、1から電力偏差αを引いた値の二分の一と第四の推定値em4(k)との積と、の和を第六の推定値em6(k)として、
この第五の推定値em5(k)と第六の推定値em6(k)とによって第一適応型模擬反響路103と第二適応型模擬反響路104との特性を更新することにより、電力偏差の値に応じて第一の推定値と第三の推定値の加重平均の割合及び第二の推定値と第四の推定値の加重平均の割合を制御し、推定誤差値の貢献度を制御するから、従来の推定値の制御より精度を高めることができる。
2 第二スピーカ 107 信号電力加重誤差配分手段
3 マイクロホン 207 均等誤差配分手段
4 第一反響路 301 電力偏差計算手段
5 第二反響路 302 第一電力偏差加重平均手段
101 和信号生成器 303 第二電力偏差加重平均手段
102 差信号生成器 304 誤差算出手段
103 第一適応型模擬反響路
Claims (10)
- 同一空間内で実行される第一の音響再生ステップと音響収音ステップとの間の音響的な伝達経路である第一の反響路を介して前記第一の音響再生ステップで再生する第一の再生信号が前記音響収音ステップで収音される第一の反響信号と、前記第一の音響再生ステップの同一の空間内で実行される第二の音響再生ステップと前記音響収音ステップとの間の音響的な伝達経路である第二の反響路を介して、前記第二の音響再生ステップで再生する第二の再生信号が前記音響収音ステップにより前記第一の反響信号と混合して収音される第二の反響信号とを、前記音響収音ステップで収音する全ての収音信号の中から消去または低減する反響消去方法において、
前記第一の再生信号と前記第二の再生信号の和成分として再生和信号を生成し出力する和信号出力ステップと、
前記第一の再生信号と前記第二の再生信号の差成分として再生差信号を生成し出力する差信号出力ステップと、
前記第一の反響路と前記第二の反響路の和成分に相当する模擬特性を有し、前記再生和信号を入力し、第一の反響模擬信号を生成し出力する第一の適応型反響模擬ステップと、
前記第一の反響路と前記第二の反響路の差成分に相当する模擬特性を有し、前記再生差信号を入力し、第二の反響模擬信号を生成し出力する第二の適応型反響模擬ステップと、
前記第一の反響模擬信号および前記第二の反響模擬信号を前記収音信号から差引き誤差信号を得て、この誤差信号を出力する誤差算出ステップと、
前記誤差信号を均等割合で配分して得られる第一の推定値と第二の推定値を出力する均等誤差配分ステップと、
前記誤差信号を前記再生和信号の電力と前記再生差信号の電力との比に応じて配分して得られる第三の推定値と第四の推定値を出力する信号電力加重誤差配分ステップと、
前記再生和信号の電力と前記再生差信号の電力の大小関係に応じて異なる値を電力偏差として出力する電力偏差計算ステップと、
前記電力偏差の値が、前記再生和信号の電力が前記再生差信号の電力より大きいことを示すほど、前記第三の推定値を前記第一の推定値よりも大きな割合で加重平均し、前記電力偏差の値が、前記再生差信号の電力が前記再生和信号の電力より大きいことを示すほど、前記第一の推定値を前記第三の推定値よりも大きな割合で加重平均し、第五の推定値として出力し、前記第一の適応型反響模擬ステップに与え、前記第一の適応型反響模擬ステップが有する模擬特性を更新させる第一の電力偏差加重平均ステップと、
前記電力偏差の値が、前記再生和信号の電力が前記再生差信号の電力より大きいことを示すほど、前記第二の推定値を前記第四の推定値よりも大きな割合で加重平均し、前記電力偏差の値が、前記再生差信号の電力が前記再生和信号の電力よりも大きいことを示すほど、前記第四の推定値を前記第二の推定値よりも大きな割合で加重平均し、第六の推定値として出力し、前記第二の適応型反響模擬ステップに与え、前記第二の適応型反響模擬ステップが有する模擬特性を更新させる第二の電力偏差加重平均ステップと、
を含むことを特徴とする反響消去方法。 - 前記電力偏差計算ステップにおいて、電力偏差として、前記再生和信号の電力と前記再生差信号の電力の差を、前記再生和信号の電力と前記再生差信号の和で除した値を用いることを特徴とする請求項1記載の反響消去方法。
- 前記第一の電力偏差加重平均ステップにおいて、前記第五の推定値を求める前記第一の推定値と前記第三の推定値の加重平均の値を、1から請求項2に基づく電力偏差を引いた値の二分の一と前記第一の推定値との積と、1と請求項2に基づく前記電力偏差を加えた値の二分の一と前記第三の推定値との積と、の和として得ることを特徴とする請求項1又は2の何れかに記載の反響消去方法。
- 前記第二の電力偏差加重平均ステップにおいて、前記第六の推定値を求める前記第二の推定値と前記第四の推定値の加重平均の値を、
1に請求項2に基づく電力偏差を加えた値の二分の一と前記第二の推定値との積と、1から請求項2に基づく電力偏差を引いた値の二分の一と前記第四の推定値との積と、の和として得ることを特徴とする請求項1乃至3の何れかに記載の反響消去方法。 - 同一空間内に存在する第一の音響再生手段と音響収音手段との間の音響的な伝達経路である第一の反響路を介して前記第一の音響再生手段から再生する第一の再生信号が前記音響収音手段により収音される第一の反響信号と、前記第一の音響再生手段の同一の空間内に存在する第二の音響再生手段と前記音響収音手段との間の音響的な伝達経路である第二の反響路を介して、前記第二の音響再生手段から再生する第二の再生信号が前記音響収音手段により前記第一の反響信号と混合して収音される第二の反響信号とを、前記音響収音手段が収音する全ての収音信号の中から消去または低減する反響消去装置において、
前記第一の再生信号と前記第二の再生信号の和成分として再生和信号を生成し出力する和信号生成器と、
前記第一の再生信号と前記第二の再生信号の差成分として再生差信号を生成し出力する差信号生成器と、
前記第一の反響路と前記第二の反響路の和成分に相当する模擬特性を有し、前記再生和信号を入力し、第一の反響模擬信号を生成し出力する第一の適応型模擬反響路と、
前記第一の反響路と前記第二の反響路の差成分に相当する模擬特性を有し、前記再生差信号を入力し、第二の反響模擬信号を生成し出力する第二の適応型模擬反響路と、
前記第一の反響模擬信号および前記第二の反響模擬信号を前記収音信号から差引き誤差信号を得て、この誤差信号を出力する誤差算出手段と、
前記誤差信号を均等割合で配分して得られる第一の推定値と第二の推定値を出力する均等誤差配分手段と、
前記誤差信号を前記再生和信号の電力と前記再生差信号の電力との比に応じて配分して得られる第三の推定値と第四の推定値を出力する信号電力加重誤差配分手段と、
前記再生和信号の電力と前記再生差信号の電力の大小関係に応じて異なる値を電力偏差として出力する電力偏差計算手段と、
前記電力偏差の値が、前記再生和信号の電力が前記再生差信号の電力より大きいことを示すほど、前記第三の推定値を前記第一の推定値よりも大きな割合で加重平均し、前記電力偏差の値が、前記再生差信号の電力が前記再生和信号の電力より大きいことを示すほど、前記第一の推定値を前記第三の推定値よりも大きな割合で加重平均し、第五の推定値として出力し、前記第一の適応型模擬反響路に与え、前記第一の適応型模擬反響路が有する模擬特性を更新させる第一の電力偏差加重平均手段と、
前記電力偏差の値が、前記再生和信号の電力が前記再生差信号の電力より大きいことを示すほど、前記第二の推定値を前記第四の推定値よりも大きな割合で加重平均し、前記電力偏差の値が、前記再生差信号の電力が前記再生和信号の電力より大きいことを示すほど、前記第四の推定値を前記第二の推定値よりも大きな割合で加重平均し、第六の推定値として出力し、前記第二の適応型模擬反響路に与え、前記第二の適応型模擬反響路が有する模擬特性を更新させる第二の電力偏差加重平均手段と、
を備えることを特徴とする反響消去装置。 - 前記電力偏差計算手段において、電力偏差として、前記再生和信号の電力と前記再生差信号の電力の差を、前記再生和信号の電力と前記再生差信号の和で除した値を用いることを特徴とする請求項5記載の反響消去装置。
- 前記第一の電力偏差加重平均手段において、前記第五の推定値を求める前記第一の推定値と前記第三の推定値の加重平均の値を、1から請求項6に基づく電力偏差を引いた値の二分の一と前記第一の推定値との積と、1に請求項6に基づく前記電力偏差を加えた値の二分の一と前記第三の推定値との積と、の和として得ることを特徴とする請求項5又は6の何れかに記載の反響消去装置。
- 前記第二の電力偏差加重平均手段において、前記第六の推定値を求める前記第二の推定値と前記第四の推定値の加重平均の値を、
1に請求項6に基づく電力偏差を加えた値の二分の一と前記第二の推定値との積と、1から請求項6に基づく電力偏差を引いた値の二分の一と前記第四の推定値との積と、の和として得ることを特徴とする請求項2記載の反響消去装置。 - コンピユータが解読可能なプログラム言語によって記述され、コンピユータに少なくとも請求項4乃至請求項8の何れかに記載の反響消去装置として機能させる反響消去プログラム。
- コンピュータが読み取り可能な記録媒体によって構成され、この記録媒体に請求項9記載の反響消去プログラムを記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005251647A JP4504891B2 (ja) | 2005-08-31 | 2005-08-31 | 反響消去方法、反響消去装置、プログラム、記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005251647A JP4504891B2 (ja) | 2005-08-31 | 2005-08-31 | 反響消去方法、反響消去装置、プログラム、記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007067854A JP2007067854A (ja) | 2007-03-15 |
JP4504891B2 true JP4504891B2 (ja) | 2010-07-14 |
Family
ID=37929515
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005251647A Expired - Fee Related JP4504891B2 (ja) | 2005-08-31 | 2005-08-31 | 反響消去方法、反響消去装置、プログラム、記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4504891B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4852068B2 (ja) * | 2008-05-20 | 2012-01-11 | 日本電信電話株式会社 | ステレオ音響エコーキャンセル方法、ステレオ音響エコーキャンセル装置、ステレオ音響エコーキャンセルプログラム、その記録媒体 |
EP2980789A1 (en) * | 2014-07-30 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for enhancing an audio signal, sound enhancing system |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002261659A (ja) * | 2001-02-27 | 2002-09-13 | Nippon Telegr & Teleph Corp <Ntt> | 多チャネルエコーキャンセル方法、その装置、そのプログラム及び記録媒体 |
JP2002261660A (ja) * | 2001-02-27 | 2002-09-13 | Nippon Telegr & Teleph Corp <Ntt> | 多チャネル反響消去方法、その装置、そのプログラム及びその記録媒体 |
-
2005
- 2005-08-31 JP JP2005251647A patent/JP4504891B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002261659A (ja) * | 2001-02-27 | 2002-09-13 | Nippon Telegr & Teleph Corp <Ntt> | 多チャネルエコーキャンセル方法、その装置、そのプログラム及び記録媒体 |
JP2002261660A (ja) * | 2001-02-27 | 2002-09-13 | Nippon Telegr & Teleph Corp <Ntt> | 多チャネル反響消去方法、その装置、そのプログラム及びその記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP2007067854A (ja) | 2007-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Benesty et al. | A better understanding and an improved solution to the specific problems of stereophonic acoustic echo cancellation | |
US10147411B2 (en) | Active noise cancellation device | |
JP5102371B2 (ja) | エコー抑制フィルタの制御情報を演算する装置および方法、並びに、ディレイ値を演算する装置および方法 | |
EP3080975B1 (en) | Echo cancellation | |
JP3506138B2 (ja) | 複数チャンネルエコーキャンセル方法、複数チャンネル音声伝送方法、ステレオエコーキャンセラ、ステレオ音声伝送装置および伝達関数演算装置 | |
JP2004349806A (ja) | 多チャネル音響エコー消去方法、その装置、そのプログラム及びその記録媒体 | |
JP5762479B2 (ja) | 音声スイッチ装置、音声スイッチ方法、及びそのプログラム | |
Lee et al. | Stereophonic acoustic echo suppression incorporating spectro-temporal correlations | |
JP4504891B2 (ja) | 反響消去方法、反響消去装置、プログラム、記録媒体 | |
JP5937451B2 (ja) | エコー消去装置、エコー消去方法及びプログラム | |
JP2003250193A (ja) | 反響消去方法、この方法を実施する装置、プログラムおよびその記録媒体 | |
JP5524316B2 (ja) | パラメータ推定装置、エコー消去装置、パラメータ推定方法、及びプログラム | |
JP4504892B2 (ja) | 反響消去方法、反響消去装置、プログラム、記録媒体 | |
JP5438629B2 (ja) | ステレオ反響消去方法、ステレオ反響消去装置、ステレオ反響消去プログラム | |
JP5774062B2 (ja) | エコー消去装置、エコー消去方法、及びそのプログラム | |
JP5583181B2 (ja) | 縦続接続型伝達系パラメータ推定方法、縦続接続型伝達系パラメータ推定装置、プログラム | |
JP2017191992A (ja) | エコー抑圧装置、その方法、プログラム、及び記録媒体 | |
JP5826712B2 (ja) | マルチチャネルエコー消去装置、マルチチャネルエコー消去方法、およびプログラム | |
JP6075783B2 (ja) | エコー消去装置、エコー消去方法及びプログラム | |
Talagala et al. | Active acoustic echo cancellation in spatial soundfield reproduction | |
JP6356087B2 (ja) | エコー消去装置、その方法及びプログラム | |
JP2002261659A (ja) | 多チャネルエコーキャンセル方法、その装置、そのプログラム及び記録媒体 | |
JP5925149B2 (ja) | 音響結合量推定装置、エコー消去装置、その方法及びプログラム | |
JP4094522B2 (ja) | 反響消去装置、方法、及び反響消去プログラム、そのプログラムを記録した記録媒体 | |
JP4094523B2 (ja) | 反響消去装置、方法、及び反響消去プログラム、そのプログラムを記録した記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070810 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100413 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100423 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4504891 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130430 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140430 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |