JP5687522B2 - 音声強調装置、方法、及びプログラム - Google Patents
音声強調装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP5687522B2 JP5687522B2 JP2011042116A JP2011042116A JP5687522B2 JP 5687522 B2 JP5687522 B2 JP 5687522B2 JP 2011042116 A JP2011042116 A JP 2011042116A JP 2011042116 A JP2011042116 A JP 2011042116A JP 5687522 B2 JP5687522 B2 JP 5687522B2
- Authority
- JP
- Japan
- Prior art keywords
- cumulant
- noise
- speech
- signal
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Circuit For Audible Band Transducer (AREA)
Description
まず、本発明の実施の形態1にかかる音声強調装置について、図1を用いて説明する。図1は、音声強調装置のシステム構成を示すブロック図である。マイクロホン1は、周囲で発生した音を集音して、その音に基づく観測信号を出力する。観測信号には、音声成分と、雑音成分とが含まれている。音声成分は、音声認識の目的となる発話者の音声の信号であり、雑音成分は、発話者の音声以外の信号である。音声強調装置2には、マイクロホン1が接続されている。従って、マイクロホン1が集音した観測信号が音声強調装置2に入力される。
(ステップ1)
まず、マイクロホン1で取得した時間領域の観測信号x(t)をフレーム分割した後、離散フーリエ変換を行う。これにより、時間−周波数領域の観測信号X(f,t)を得ることができる。
(ステップ2)
雑音推定部11が雑音推定処理を実行する。ここでは、観測信号X(f,t)に対して、音声区間/非音声区間の判定を行い、非音声区間を雑音推定信号とする。なお、ステップ1とステップ2の処理に付いては、公知の方法を用いることができ、特に限定されるものではない。
(ステップ3)
周波数ビンf=0をセットする。
(ステップ4)
観測信号用キュムラント推定部21と、推定雑音用キュムラント推定部22が観測信号X(f,t)のキュムラントC観測信号及び推定雑音信号N(f,t)のキュムラントC雑音信号を算出する。そのため、まず、観測信号X(f,t)、及び推定雑音信号N(f,t)のモーメントを求める。例えば、観測信号X(f,t)の2次のモーメントM2,観測信号、4次のモーメントM4,観測信号、6次のモーメントM6,観測信号、8次のモーメントM8,観測信号は、以下の式(6)によって求めることができる。
音声成分用キュムラント推定部24が観測信号X(f,t)内の音声成分のキュムラントC音声成分を算出する。キュムラントには、加法性が成り立つため、音声成分のキュムラントは、観測信号のキュムラントと推定雑音のキュムラントとの差で示される。よって、音声成分の2次のキュムラントC2,音声成分、4次のキュムラントC4,音声成分、6次のキュムラントC6,音声成分、8次のキュムラントC8,音声成分は、以下の式(10)で示される。
カートシス推定部23が、音声成分のキュムラントC音声成分から、音声成分のカートシスK音声成分を推定する。カートシスの推定に付いては、特に限定されるものではないが、例えば、式(11)を用いることができる。これにより、音声成分のパワースペクトル領域のカートシスK音声成分を算出することができる。
減算係数適応器31に減算係数βの初期値をセットし、更新回数i=0をセットする。なお、減算係数βの初期値については、適当な値を選択することができる。
(ステップ8)
そして、減算係数βの初期値を用いて、雑音減算部12が、観測信号X(f,t)に対して雑音減算処理を行う。雑音減算処理については、例えば、手法(a)〜(d)のいずれか一つを用いることができる。従って、式(2)〜式(5)のいずれか一つを採用し、その式に減算係数βの初期値を代入する。これにより、フィルタ係数H(f,t)を算出することができる。そして、フィルタ係数H(f,t)と観測信号X(f,t)とから、出力信号Y(f,t)を算出する。具体的には、Y(f,t)=H(f,t)X(f,t)となる。
出力信号用キュムラント推定部32が出力信号Y(f,t)のキュムラントC出力信号を推定する。そのため、まず、出力信号Y(f,t)のモーメントM出力信号を求める。例えば、出力信号Y(f,t)の2次のモーメントM2,出力信号、4次のモーメントM4,出力信号、6次のモーメントM6,出力信号、8次のモーメントM8,出力信号は、以下の式(12)によって求めることができる。
出力信号用カートシス推定部33が、キュムラントC出力信号に基づいて、出力信号のカートシスK出力信号を算出する。カートシスの推定に付いては、特に限定されるものではないが、例えば、式(14)を用いることができる。これにより、音声成分のパワースペクトル領域のカートシスK出力信号を算出することができる。
減算係数適応器31が、出力信号のカートシスK出力信号と音声成分のカートシスK音声成分とを比較して、減算係数βを更新する。例えば、出力信号のカートシスK出力信号と音声成分のカートシスK音声成分の差を求める。そして、カートシスの差に応じて、減算係数βを更新する。具体的には、以下の式(15)を用いて、減算係数βを更新する。
更新回数iがインクリメントされる。
(ステップ13)
更新回数iがIを越えたか否かが判定される。これにより、減算係数βを求めるためのループ計算が十分な回数を行われたか否かが判定される。更新回数iがIよりも小さい場合、ステップ8に戻る。一方、更新回数iがI以上の場合、周波数ビンfをインクリメントして、次のステップ14に進む。すなわち、減算係数βが収束しない場合、更新回数iがIに達するまで、ステップ8〜ステップ12のループ計算が繰り返し行われる。もちろん、上記の通り、減算係数βが収束した場合、更新回数iがIに到達する前に、ループ計算を抜けても良い。
(ステップ14)
全ての周波数ビンについて、減算係数βが算出されたか否かを判定する。具体的には、周波数ビンfがFよりも小さい場合、ステップ4に戻り、次の周波数ビンの減算係数βを求める。なお、Fは周波数ビンの数である。一方、周波数ビンfがFより以上の場合、時間領域の出力信号を得る。具体的には、雑音減算部12で算出された出力信号Y(f,t)を逆フーリエ変換する。そして、逆フーリエ変換された出力信号に窓掛けして、オーバーラップアッドにより、時間領域のデータを得る。これにより、時間領域の出力信号y(t)が出力側装置3に出力される。すなわち、周波数ビンfがFに到達するまで、ステップ4〜ステップ13までのループ計算が繰り返し行われる。なお、ステップ14の処理は、音声強調装置2が行っても良く、他の装置、例えば、出力側装置3が行っても良い。
雑音減算の基本的な方法に付いては、上記の処理と方法であるため、説明を省略する。本変形例1では、実施の形態1の方法との相違点を中心に説明する。
実施の形態2にかかる音声強調装置2に付いて、図2を用いて説明する。実施の形態2では、6個のマイクロホン1が設けられたマイクロホンアレイ5が使用されている。そして、マイクロホンアレイ5で取得された観測信号X0〜X5が音声強調装置2に入力される。さらに、雑音推定の処理が実施の形態2と異なっている。なお、これら以外の基本的な処理については、実施の形態1、又は変形例1と同様であるため、説明を省略する。
(ステップ101)
まず、マイクロホンアレイ5で取得した時間領域の観測信号x0(t)〜x5(t)をフレーム分割した後、離散フーリエ変換を行う。これにより、時間−周波数領域の観測信号X0(f,t)〜X5(f,t)を得ることができる。
(ステップ102)
周波数ビンf=0をセットする。
(ステップ103)
雑音推定処理部41が雑音推定処理を実行する。ここでは、マイクロホンアレイ処理を行うことで、雑音推定信号を得ることができる。それぞれのマイクロホン1に対して、雑音推定信号が生成される。図2の例では、マイクロホン1が6個あるため、雑音推定信号N0(f,t)〜N5(f,t)が算出される。なお、ステップ101とステップ103の処理に付いては、公知の方法を用いることができるため、特に限定されるものではない。もちろん、マイクロホン1の数は、6個に限定されるものではない。
(ステップ104)
マイクロホン1の番号n=0をセットする。すなわち、1つ目のマイクロホン1で取得された観測信号X0(f,t)とその雑音推定信号N0(f,t)に対して、キュムラント、及びカートシスを算出するための処理が行われる。
観測信号用キュムラント算出部51と、推定雑音用キュムラント算出部52が観測信号Xn(f,t)のキュムラントC観測信号n及び推定雑音信号Nn(f,t)のキュムラントC雑音信号nを算出する。そのため、まず、観測信号Xn(f,t)、及び推定雑音信号Nn(f,t)のモーメントを求める。例えば、観測信号X(f,t)の2次のモーメントM2,観測信号n、4次のモーメントM4,観測信号n、6次のモーメントM6,観測信号n、8次のモーメントM8,観測信号nは、上記の式(6)と同様の式によって求めることができる。観測信号用キュムラント算出部51は、観測信号のモーメントM観測信号nから観測信号のキュムラントC観測信号nを求める。観測信号Xn(f,t)の2次のキュムラントC2,観測信号n、4次のキュムラントC4,観測信号n、6次のキュムラントC6,観測信号n、8次のキュムラントC8,観測信号nは、上記の式(7)によって求めることができる。
(ステップ106)
音声成分用キュムラント算出部53が観測信号Xn(f,t)内の音声成分のキュムラントC音声成分nを算出する。キュムラントには、加法性が成り立つため、音声成分のキュムラントは、観測信号のキュムラントと推定雑音のキュムラントとの差で示される。よって、音声成分の2次のキュムラントC2,音声成分n、4次のキュムラントC4,音声成分n、6次のキュムラントC6,音声成分n、8次のキュムラントC8,音声成分nは、上記の式(10)で示される。
カートシス算出部54が、音声成分のキュムラントC音声成分nから、音声成分のカートシスK音声成分nを推定する。カートシスの推定に付いては、特に限定されるものではないが、例えば、上記の式(11)を用いることができる。これにより、音声成分のパワースペクトル領域のカートシスK音声成分nを算出することができる。
また、減算パラメータ適応判定器55に減算係数βの初期値をセットし、更新回数i=0をセットする。なお、減算係数βの初期値については、適当な値を選択することができる。
(ステップ109)
そして、減算係数βの初期値を用いて、音声推定処理部42が、観測信号Xn(f,t)に対して雑音減算処理を行う。雑音減算処理については、例えば、手法(a)〜(d)のいずれか一つを用いることができる。従って、式(2)〜式(5)のいずれか一つを採用し、その式に減算係数βの初期値を代入する。これにより、フィルタ係数H(f,t)を算出することができる。そして、フィルタ係数Hn(f,t)と観測信号X(f,t)とから、出力信号Yn(f,t)を算出する。具体的には、Yn(f,t)=Hn(f,t)Xn(f,t)となる。
出力信号用キュムラント算出部57が出力信号Yn(f,t)のキュムラントC出力信号を推定する。そのため、まず、出力信号Yn(f,t)のモーメントM出力信号nを求める。例えば、出力信号Y(f,t)の2次のモーメントM2,出力信号n、4次のモーメントM4,出力信号n、6次のモーメントM6,出力信号n、8次のモーメントM8,出力信号nは、上記の式(12)によって求めることができる。これらのモーメントから出力信号のキュムラントC出力信号nを求める。出力信号Yn(f,t)の2次のキュムラントC2,出力信号n、4次のキュムラントC4,出力信号n、6次のキュムラントC6,出力信号n、8次のキュムラントC8,出力信号nは、上記の式(13)によって求めることができる。
カートシス算出部56が、キュムラントC出力信号に基づいて、出力信号のカートシスK出力信号nを算出する。カートシスの推定に付いては、特に限定されるものではないが、例えば、上記の式(14)を用いることができる。これにより、音声成分のパワースペクトル領域のカートシスK出力信号nを算出することができる。
減算パラメータ適応判定器55が、減算係数βを更新するとともに、更新回数iをインクリメントする。減算パラメータ適応判定器55が、出力信号のカートシスK出力信号nと音声成分のカートシスK音声成分nとを比較して、減算係数βを算出する。例えば、出力信号のカートシスK出力信号nと音声成分のカートシスK音声成分nの差を求める。そして、カートシスの差に応じて、減算係数βを更新する。具体的には、上記の式(15)を用いて、減算係数βを更新する。さらに、更新回数iをインクリメントする。
更新回数iがIを越えたか否かが判定される。これにより、減算係数βを求めるためのループ計算が十分な回数を行われたか否かが判定される。更新回数iがIよりも小さい場合、ステップ109に戻る。一方、更新回数iがI以上の場合、周波数ビンfをインクリメントして、次のステップ114に進む。すなわち、減算係数βが収束しない場合、更新回数iがIに達するまで、ステップ8〜ステップ11の処理が繰り返し行われる。なお、更新回数iがIに到達する前に、β減算係数が収束した場合、ループ計算を抜けて、次のステップ114に進むようにしてもよい。例えば、カートシスの差又は比がしきい値Thresholdよりも小さい場合、ステップ109〜ステップ112までのループ計算を抜けるようにしてもよい。
全てのマイクロホン1に付いて、減算係数βを算出したか否かを判定する。例えば、マイクロホンアレイ5に含まれるマイクロホン1の数をMとすると、マイクロホン番号nがM以上であるか否かを判定する。マイクロホン番号nがMよりも小さい場合、ステップ105に戻る。マイクロホン番号nがM以上の場合、周波数ビンfをインクリメントして、次のステップ115に移行する。
(ステップ115)
全ての周波数ビンについて、減算係数βが算出されたか否かを判定する。具体的には、周波数ビンfがFよりも小さい場合、ステップ104に戻り、次の周波数ビンfの減算係数βを求める。なお、Fは周波数ビンの数である。一方、周波数ビンfがF以上の場合、時間領域の出力信号を得る。具体的には、音声推定処理部42で算出された出力信号Y(f,t)を逆フーリエ変換する。そして、逆フーリエ変換された出力信号に窓掛け(ハミング窓)し、オーバーラップアッドにより、時間領域のデータを得る。これにより、音声強調装置2から時間領域の出力信号y(t)が出力される。なお、ステップ115の処理は、音声強調装置2が行っても良く、他の装置が行っても良い。
2 音声強調装置
3 出力側装置
5 マイクロホンアレイ
11 雑音推定部
12 雑音減算部
20 カートシス算出ユニット
21 観測信号用キュムラント推定部
22 推定雑音用キュムラント推定部
23 カートシス推定部
24 音声成分用キュムラント推定部
30 減算係数算出ユニット
31 減算係数適応器
32 出力信号用キュムラント推定部
33 出力信号用カートシス推定部
41 雑音推定処理部
42 音声推定処理部
51 観測信号用キュムラント算出部
52 推定雑音用キュムラント算出部
53 音声成分用キュムラント算出部
54 カートシス算出部
55 減算パラメータ適応判定器
56 カートシス算出部
57 出力信号用キュムラント算出部
Claims (12)
- マイクロホンユニットによって取得された観測信号に対して、音声を強調する音声強調装置であって、
雑音成分と音声成分とを含む観測信号のキュムラントを推定する第1のキュムラント推定部と、
前記観測信号に含まれる雑音成分を推定する雑音推定部と、
前記雑音推定部で推定された推定雑音のキュムラントを推定する第2のキュムラント推定部と、
前記観測信号のキュムラントと、前記推定雑音のキュムラントに基づいて、音声成分のキュムラントを推定する第3のキュムラント推定部と、
前記音声成分のキュムラントに基づいて、音声成分のカートシスを推定する第1のカートシス推定部と、
前記音声成分のカートシスに基づいて、減算係数を算出する減算係数適応部と、
前記減算係数適応部で算出された減算係数を用いて、前記観測信号に対して雑音減算する雑音減算部と、を備えた音声強調装置。 - 前記雑音減算部から出力された出力信号のキュムラントを推定する第4のキュムラント推定部と、
前記出力信号のキュムラントに基づいて、出力信号のカートシスを推定するカートシス推定部と、をさらに備え、
前記出力信号のカートシスに基づいて、前記減算係数適応部が、減算係数を算出する請求項1に記載の音声強調装置。 - 前記観測信号のキュムラントと、前記推定雑音のキュムラントとの差に基づいて、前記音声成分のキュムラントが推定されている請求項1、又は2に記載の音声強調装置。
- 前記マイクロホンユニットが複数のマイクロホンを有するマイクロホンアレイを備え、
前記雑音推定部が、マイクロホンアレイ処理によって、前記推定雑音を推定している請求項1乃至3のいずれか1項に記載の音声強調装置。 - マイクロホンユニットによって取得された観測信号に対して、音声を強調する音声強調方法であって、
雑音成分と音声成分とを含む観測信号のキュムラントを算出するステップと、
前記観測信号に含まれる雑音を推定するステップと、
推定された推定雑音のキュムラントを算出するステップと、
前記観測信号のキュムラントと、前記推定雑音のキュムラントに基づいて、音声成分のキュムラントを算出するステップと、
前記音声成分のキュムラントに基づいて、音声成分のカートシスを推定するステップと、
前記音声成分のカートシスに基づいて、減算係数を算出するステップと、
前記減算係数を用いて、前記観測信号に対して雑音減算するステップと、を備えた音声強調方法。 - 出力信号のキュムラントを算出するステップと、
前記出力信号のキュムラントに基づいて、出力信号のカートシスを算出するステップと、をさらに備え、
前記出力信号のカートシスと前記音声成分のカートシスに基づいて、前記減算係数を算出する請求項5に記載の音声強調方法。 - 前記観測信号のキュムラントと、前記推定雑音のキュムラントとの差に基づいて、前記音声成分のキュムラントが推定されている請求項5、又は6に記載の音声強調方法。
- 前記マイクロホンユニットが複数のマイクロホンを有するマイクロホンアレイを備え、
マイクロホンアレイ処理によって前記推定雑音が推定されている請求項5乃至7のいずれか1項に記載の音声強調方法。 - マイクロホンユニットによって取得された観測信号に対して、音声を強調する音声強調プログラムであって、
コンピュータに対して、
雑音成分と音声成分とを含む観測信号のキュムラントを算出させるステップと、
前記観測信号に含まれる雑音を推定させるステップと、
推定された推定雑音のキュムラントを算出させるステップと、
前記観測信号のキュムラントと、前記推定雑音のキュムラントに基づいて、音声成分のキュムラントを算出させるステップと、
前記音声成分のキュムラントに基づいて、音声成分のカートシスを推定するステップと、
前記音声成分のカートシスに基づいて、減算係数を算出させるステップと、
前記減算係数を用いて、前記観測信号に対して雑音減算させるステップと、を実行させる音声強調プログラム。 - コンピュータに対して、
出力信号のキュムラントを算出させるステップと、
前記出力信号のキュムラントに基づいて、出力信号のカートシスを算出させるステップと、をさらに実行させ、
前記出力信号のカートシスと前記音声成分のカートシスに基づいて、前記減算係数が算出される請求項9に記載の音声強調プログラム。 - 前記観測信号のキュムラントと、前記推定雑音のキュムラントとの差に基づいて、前記音声成分のキュムラントが推定されている請求項9、又は10に記載の音声強調プログラム。
- 前記マイクロホンユニットが複数のマイクロホンを有するマイクロホンアレイを備え、
マイクロホンアレイ処理によって前記推定雑音が推定されている請求項9乃至11のいずれか1項に記載の音声強調プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011042116A JP5687522B2 (ja) | 2011-02-28 | 2011-02-28 | 音声強調装置、方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011042116A JP5687522B2 (ja) | 2011-02-28 | 2011-02-28 | 音声強調装置、方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012181233A JP2012181233A (ja) | 2012-09-20 |
JP5687522B2 true JP5687522B2 (ja) | 2015-03-18 |
Family
ID=47012504
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011042116A Expired - Fee Related JP5687522B2 (ja) | 2011-02-28 | 2011-02-28 | 音声強調装置、方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5687522B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3411876B1 (en) | 2016-02-05 | 2021-12-15 | Cerence Operating Company | Babble noise suppression |
CN111402917B (zh) * | 2020-03-13 | 2023-08-04 | 北京小米松果电子有限公司 | 音频信号处理方法及装置、存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7706478B2 (en) * | 2005-05-19 | 2010-04-27 | Signalspace, Inc. | Method and apparatus of source separation |
JP5376635B2 (ja) * | 2009-01-07 | 2013-12-25 | 国立大学法人 奈良先端科学技術大学院大学 | 雑音抑圧処理選択装置,雑音抑圧装置およびプログラム |
JP5207479B2 (ja) * | 2009-05-19 | 2013-06-12 | 国立大学法人 奈良先端科学技術大学院大学 | 雑音抑圧装置およびプログラム |
-
2011
- 2011-02-28 JP JP2011042116A patent/JP5687522B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012181233A (ja) | 2012-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6169849B2 (ja) | 音響処理装置 | |
JP5666444B2 (ja) | 特徴抽出を使用してスピーチ強調のためにオーディオ信号を処理する装置及び方法 | |
JP6134078B1 (ja) | ノイズ抑制 | |
US11894010B2 (en) | Signal processing apparatus, signal processing method, and program | |
KR102431896B1 (ko) | 주 및 기준 채널들 사이의 잡음 및 사운드 파워 레벨 차들의 결정 | |
JP5153886B2 (ja) | 雑音抑圧装置および音声復号化装置 | |
JP5262713B2 (ja) | ゲイン制御システム、ゲイン制御方法及びゲイン制御プログラム | |
JP2009075536A (ja) | 定常率算出装置、雑音レベル推定装置、雑音抑圧装置、それらの方法、プログラム及び記録媒体 | |
US9536537B2 (en) | Systems and methods for speech restoration | |
JP6544234B2 (ja) | 信号処理装置、信号処理方法および信号処理プログラム | |
JP5187666B2 (ja) | 雑音抑圧装置およびプログラム | |
JP2009116275A (ja) | 雑音抑圧、音声スペクトル平滑化、音声特徴抽出、音声認識及び音声モデルトレーニングための方法及び装置 | |
JP5687522B2 (ja) | 音声強調装置、方法、及びプログラム | |
US10297272B2 (en) | Signal processor | |
WO2015084658A1 (en) | Systems and methods for enhancing an audio signal | |
CN111508512A (zh) | 语音信号中的摩擦音检测 | |
Tashev et al. | Unified framework for single channel speech enhancement | |
Ohtani et al. | Histogram-based spectral equalization for HMM-based speech synthesis using mel-LSP. | |
Bao et al. | A novel speech enhancement method using power spectra smooth in wiener filtering | |
JP6451136B2 (ja) | 音声帯域拡張装置及びプログラム、並びに、音声特徴量抽出装置及びプログラム | |
JP5687605B2 (ja) | 音声強調装置、音声強調方法、及び音声強調プログラム | |
WO2016092837A1 (ja) | 音声処理装置、雑音抑圧装置、音声処理方法および記録媒体 | |
US10109291B2 (en) | Noise suppression device, noise suppression method, and computer program product | |
Zhao | Speech Enhancement with Adaptive Thresholding and Kalman Filtering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131202 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140924 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141023 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5687522 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |