JP5274324B2 - 言語モデル特定装置、言語モデル特定方法、音響モデル特定装置、および音響モデル特定方法 - Google Patents
言語モデル特定装置、言語モデル特定方法、音響モデル特定装置、および音響モデル特定方法 Download PDFInfo
- Publication number
- JP5274324B2 JP5274324B2 JP2009068629A JP2009068629A JP5274324B2 JP 5274324 B2 JP5274324 B2 JP 5274324B2 JP 2009068629 A JP2009068629 A JP 2009068629A JP 2009068629 A JP2009068629 A JP 2009068629A JP 5274324 B2 JP5274324 B2 JP 5274324B2
- Authority
- JP
- Japan
- Prior art keywords
- speech recognition
- language model
- identifier
- specifying
- language
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
(言語モデル特定装置100の構成)
まず、本発明の第1実施形態に係る言語モデル特定装置100の構成および各構成要素の機能について、図1〜図4を参照しながら説明する。図1は言語モデル特定装置100の構成概要図であり、図2はそのハードウェア構成図である。言語モデル特定装置100は、入力音声に対して音声認識を行い、当該音声認識が複数の言語モデルのうち何れの言語モデルを用いて行われたかを判断することにより、当該複数の言語モデルのうち何れの言語モデルが最適な言語モデルであるかを判断する装置である。なお、本実施形態では、言語モデル特定装置100が保持する複数の言語モデルの数の一例として、説明の便宜上、2つの言語モデル(後述するように第1言語モデルおよび第2言語モデル)の場合について説明する。
続いて、言語モデル特定装置100により行われる動作(特許請求の範囲の「言語モデル特定方法」に相当)について、図5を参照しながら説明する。図5は言語モデル特定装置100により行われる動作を示すフローチャートである。
続いて、本実施形態の言語モデル特定装置100における作用及び効果について説明する。上記のステップS14の音声認識ステップにおいては、音声認識処理の仕組みにより、仮説の中で最適な結果を音声認識処理の最終結果として出力する。つまり、第1LMを用いた場合の最適な仮説であるか、それとも第2LMを用いた場合の最適な仮説であるかに関係なく、統合LMとしての最適な仮説を音声認識処理の最終結果として出力する。これは統合LMという一つの言語モデルを用いたことによる。すなわち、1回の認識処理を行うだけで、二つのLMの候補から最適な候補が得られる。従来においては、二つのLMの候補から最適な候補を得るためには、2回の認識処理が必要であった。このように認識処理の回数を減らすことで高速化を図ることができる。
<参考文献1> 古井貞煕、前川喜久雄、井佐原均、『話し言葉工学』プロジェクトのこれまでの成果と展望、第2回話し言葉の科学と工学ワークショップ講演予稿集、pp.1-5 (2002-2)
<ステップS14の認識処理の結果の一例>
私 が 学生 です
上記の結果は「単語名」フィールドからみた結果であり、この結果において、「読み」フィールドは以下のようになる。
<ステップS14の認識処理の結果の「読み」フィールド>
わたし-ID1 が-ID1 がくせい-ID1 です-ID1
このような認識結果の文字列が判断部103に出力されると、判断部103は「読み」フィールドに記載されたIDに基づき、ステップS14の認識処理が第1LMと第2LMのうち何れのLMを用いて行われたか、つまり第1LMと第2LMのうち何れのLMが最適なLMであるかを判断する。上記の例では、判断部103は、ステップS14の認識処理が第1LMを用いて行われ、第1LMが最適なLMであることを判断する。認識結果の「読み」フィールドに全て「ID1」のIDが付されているからである。
以上、本発明の第1実施形態について説明したが、本発明の第1実施形態は上記に限定されないことは言うまでもない。以下、第1実施形態の変形例について説明する。なお、既に説明した部分と重複する部分については説明を省略する。
上記では、第1LMおよび第2LMの全ての単語に対しIDを付与する一例を説明したが、これに限らず、第1LMおよび第2LMにおいて共通する単語を検索し、共通する単語のみにIDを付与しても良い。この場合の言語モデル特定装置100Aの構成を図7に示す。言語モデル特定装置100Aは図1に示した言語モデル特定装置100の構成要素を全て有し、共通単語検索部114を更に備える。
<認識結果の「読み」フィールド>
わたし-ID1 が-ID1 がくせい です
このような認識結果の文字列が判断部103に出力されると、判断部103は「読み」フィールドに記載されたIDに基づき、当該認識処理が第1LMと第2LMのうち何れのLMを用いて行われたかを判断する。上記の例では、判断部103は、当該認識処理が第1LMを用いて行われ、第1LMが最適なLMであることを判断する。認識結果の「読み」フィールドにIDが付されているならば、それは「ID1」であるからである。
上記では、判断部103は、音声認識部102から出力された音声認識処理の最終結果を用いて、当該認識処理が第1LMと第2LMのうち何れのLMを用いて行われたかを判断したが、これに限らず、音声認識処理の中間結果を用いても良い。この場合に、音声認識部102は、探索空間を限定しながら当該音声認識を行い、且つ任意の探索空間における仮説を示す情報を当該音声認識の中間結果として判断部103に出力する。判断部103は、当該中間結果である仮説に、第1LMと第2LMのうち何れのLMを特定するIDのみが付されている場合に、当該音声認識が該何れのLMを用いて行われたことを判断する。
上記の第1実施形態の変形例2においては、音声認識の中間結果である仮説に、第1LMと第2LMのうち何れのLMを特定するIDのみが付されていることが発見された瞬間に、当該音声認識が該何れのLMを用いて行われたことを判断した。しかし、これに限らず、音声認識部102が、探索空間を限定しながら当該音声認識を行いながらも、任意の探索空間に異なるIDが付与された仮説が必ず混合されるように、当該探索空間の限定を行っても良い。このように、任意の探索空間に異なるIDが付与された仮説が必ず一つ以上混合されるようにすることで、つまり各LMからの中間結果を必ず一つ以上は仮説に残しておくことで、音声認識の精度を高めることができる。
上記の第1実施形態の変形例2および変形例3で説明した二つの方法は、仮説の信頼度(尤度)に応じて適宜切り替えて使用するようにしても良い。
上記第1実施形態においては、第1LMと第2LMとを区別するために、「読み」フィールドに「ID1」または「ID2」を付与したが、これに限られることなく、例えば「単語名」や「アルファベット表記」フィールドに「ID1」または「ID2」を付与しても良い。また、IDとしては、言語モデルを区別できれば十分であり、上記の例以外の態様であっても良い。すなわち、例えばひらがなおよびカタカナで第1LMと第2LMとを区別しても良く、第1LMおよび第2LMのうち何れか一つのみにIDを付与することにより、第1LMと第2LMとを区別しても良い。
上記第1実施形態においては、第1LMおよび第2LMの二つの言語モデルの例を説明したが、これに限らず、LM統合部106が三つ以上の言語モデルを統合して統合LMを作成しても良い。
(音響モデル特定装置200の構成)
引き続き、本発明の第2実施形態にについて説明する。まず、本発明の第2実施形態に係る音響モデル特定装置200の構成および各構成要素の機能について、図9、図10、および図2を参照しながら説明する。図9は音響モデル特定装置200の構成概要図であり、図2はそのハードウェア構成図である。音響モデル特定装置200は、入力音声に対して音声認識を行い、当該音声認識が複数の音響モデルのうち何れの音響モデルを用いて行われたかを判断することにより、当該複数の音響モデルのうち何れの音響モデルが最適な音響モデルであるかを判断する装置である。なお、本実施形態では、音響モデル特定装置200が保持する複数の音響モデルの数の一例として、説明の便宜上、2つの音響モデル(後述するように第1音響モデルおよび第2音響モデル)の場合について説明する。
<第1AMの音素データ>
a、i、u、e、o、…
第2AM保持部210にも、例えば以下に示すような表記の音素データからなる第2AMが保持されている。
<第2AMの音素データ>
a、i、u、e、o、…
<表記変換後の第1AMの音素データ>
a-ID1、i-ID1、u-ID1、e-ID1、o-ID1、…
同様に、第2ID付与部209が、第2AMの各音素に対し当該第2AMを特定するIDを付与し表記を変換する。表記変換後の音素の一例を以下に示す。
<表記変換後の第2AMの音素データ>
a-ID2、i-ID2、u-ID2、e-ID2、o-ID2、…
<統合AMの音素データ>
a-ID1、i-ID1、u-ID1、e-ID1、o-ID1、…
a-ID2、i-ID2、u-ID2、e-ID2、o-ID2、…
IDが付与され表記が変換された第1AMの中の音素(例えばa-ID1)と第2AMの中の音素(例えばa-ID2)は、統合AMの中においてはその表記が違うため、統合AMの中では異なる音素として登録される。
<当初LM保持部212に保持された当初LM>
単語名:「私」
読み:「わたし」
アルファベット表記:「w at as i」
出現確率:「0.7」
<第1AMの表記方法にあわせた表記変換>
単語名:「私」
読み:「わたし-ID1」
アルファベット表記:「w-ID1 a-ID1 t-ID1 a-ID1 s-ID1 i-ID1」
出現確率:「0.7」
<第2AMの表記方法にあわせた表記変換>
単語名:「私」
読み:「わたし-ID2」
アルファベット表記:「w-ID2 a-ID2 t-ID2 a-ID2 s-ID2 i-ID2」
出現確率:「0.7」
続いて、音響モデル特定装置200により行われる動作(特許請求の範囲の「言語モデル特定方法」に相当)について、図11を参照しながら説明する。図11は音響モデル特定装置200により行われる動作を示すフローチャートである。
続いて、本実施形態の音響モデル特定装置200における作用及び効果について説明する。上記のステップS24の音声認識ステップにおいては、音声認識処理の仕組みにより、仮説の中で最適な結果を音声認識処理の最終結果として出力する。つまり、第1AMを用いた場合の最適な仮説であるか、それとも第2AMを用いた場合の最適な仮説であるかに関係なく、統合AMとしての最適な仮説を音声認識処理の最終結果として出力する。これは統合AMという一つの音響モデルを用いたことによる。すなわち、1回の認識処理を行うだけで、二つのAMの候補から最適な候補が得られる。従来においては、二つのAMの候補から最適な候補を得るためには、2回の認識処理が必要であった。このように認識処理の回数を減らすことで高速化を図ることができる。
<ステップS24の認識処理の結果の一例>
私 が 学生 です
上記の結果は「単語名」フィールドからみた結果であり、この結果において、「読み」フィールドは以下のようになる。
<ステップS24の認識処理の結果の「読み」フィールド>
わたし-ID1 が-ID1 がくせい-ID1 です-ID1
このような認識結果の文字列が判断部203に出力されると、判断部203は「読み」フィールドに記載されたIDに基づき、ステップS24の認識処理が第1AMと第2AMのうち何れのAMを用いて行われたか、つまり第1AMと第2AMのうち何れのAMが最適なAMであるかを判断する。上記の例では、判断部203は、ステップS24の認識処理が第1AMを用いて行われ、第1AMが最適なAMであることを判断する。認識結果の「読み」フィールドに全て「ID1」のIDが付されているからである。
以上、本発明の第2実施形態について説明したが、本発明の第2実施形態は上記に限定されないことは言うまでもない。以下、第2実施形態の変形例について説明する。なお、既に説明した部分と重複する部分については説明を省略する。
上記の第2実施形態においては、判断部203は、音声認識部202から出力された音声認識処理の最終結果を用いて、当該認識処理が第1AMと第2AMのうち何れのAMを用いて行われたかを判断したが、これに限らず、音声認識処理の中間結果を用いても良い。この場合に、音声認識部202は、探索空間を限定しながら当該音声認識を行い、且つ任意の探索空間における仮説を示す情報を当該音声認識の中間結果として判断部203に出力する。判断部203は、当該中間結果である仮説に、第1AMと第2AMのうち何れのAMを特定するIDのみが付されている場合に、当該音声認識が該何れのAMを用いて行われたことを判断する。
上記の第2実施形態の変形例1においては、音声認識の中間結果である仮説に、第1AMと第2AMのうち何れのAMを特定するIDのみが付されていることが発見された瞬間に、当該音声認識が該何れのAMを用いて行われたことを判断した。しかし、これに限らず、音声認識部202が、探索空間を限定しながら当該音声認識を行いながらも、任意の探索空間に異なるIDが付与された仮説が必ず混合されるように、当該探索空間の限定を行っても良い。このように、任意の探索空間に異なるIDが付与された仮説が必ず一つ以上混合されるようにすることで、つまり各AMからの中間結果を必ず一つ以上は仮説に残しておくことで、音声認識の精度を高めることができる。
上記の第2実施形態の変形例1および変形例2で説明した二つの方法は、仮説の信頼度(尤度)に応じて適宜切り替えて使用するようにしても良い。
上記第2実施形態においては、第1AMと第2AMとを区別するために、音素の表記に「ID1」または「ID2」を付与したが、これに限られることはない。IDとしては、音響モデルを区別できれば十分であり、上記の例以外の態様であっても良い。すなわち、例えばひらがなおよびカタカナで第1AMと第2AMとを区別しても良く、第1AMおよび第2AMのうち何れか一つのみにIDを付与することにより、第1AMと第2AMとを区別しても良い。
上記第2実施形態においては、第1AMおよび第2AMの二つの音響モデルの例を説明したが、これに限らず、AM統合部206が三つ以上の音響モデルを統合して統合AMを作成しても良い。
Claims (12)
- 識別子によって区別される複数の言語モデルから統合された統合言語モデルを利用し、入力音声に対して音声認識を行う音声認識手段と、
前記音声認識の結果である文字列に付された前記識別子に基づき、前記音声認識に前記複数の言語モデルのうち何れの言語モデルが最適な言語モデルであるかを判断する判断手段と、
を備えることを特徴とする言語モデル特定装置。 - 各言語モデルは単語を特定する単語特定情報を複数含み、
前記各言語モデルに含まれた前記単語特定情報に、当該言語モデルを特定する識別子をそれぞれ付与する識別子付与手段と、
前記識別子が付与された前記単語特定情報を含む前記各言語モデルを統合し、複数の種類の識別子が付与された前記単語特定情報を含む前記統合言語モデルを生成する統合手段と、
を更に備え、
前記音声認識手段は、前記統合言語モデルを利用し前記入力音声に対して前記音声認識を行い、前記複数の言語モデルのうち何れかの言語モデルを特定する識別子が付された前記文字列を前記音声認識の結果として前記判断手段に出力する、
ことを特徴とする請求項1に記載の言語モデル特定装置。 - 前記複数の言語モデルにおいて共通の単語を検索する共通単語検索手段を更に備え、
前記識別子付与手段は、前記共通の単語に前記各言語モデルを特定するための前記各言語モデル毎に異なる前記識別子を付与し、且つ前記共通の単語以外には前記識別子を付与しない、
ことを特徴とする請求項2に記載の言語モデル特定装置。 - 異なる識別子が付与されている単語間における接続確率は0であることを特徴とする請求項1〜3の何れか1項に記載の言語モデル特定装置。
- 前記音声認識手段は、探索空間を限定しながら前記音声認識を行い、且つ任意の探索空間における仮説を示す情報を前記音声認識の中間結果として前記判断手段に出力し、
前記判断手段は、前記中間結果である前記仮説に、前記複数の言語モデルのうち何れの言語モデルを特定する識別子のみが付されている場合に、前記音声認識が該何れの言語モデルを用いて行われたことを判断する、
ことを特徴とする請求項1〜4の何れか1項に記載の言語モデル特定装置。 - 前記音声認識手段は、探索空間を限定しながら前記音声認識を行い、且つ任意の探索空間に異なる識別子が付与された仮説が混合されるよう前記探索空間の限定を行う、
ことを特徴とする請求項1〜4の何れか1項に記載の言語モデル特定装置。 - 音声認識手段が、識別子によって区別される複数の言語モデルから統合された統合言語モデルを利用し、入力音声に対して音声認識を行う音声認識ステップと、
判断手段が、前記音声認識の結果である文字列に付された前記識別子に基づき、前記音声認識に前記複数の言語モデルのうち何れの言語モデルが最適な言語モデルであるかを判断する判断ステップと、
を備えることを特徴とする言語モデル特定方法。 - 各言語モデルは単語を特定する単語特定情報を複数含み、
識別子付与手段が、前記各言語モデルに含まれた前記単語特定情報に、当該言語モデルを特定する識別子をそれぞれ付与する識別子付与ステップと、
統合手段が、前記識別子が付与された前記単語特定情報を含む前記各言語モデルを統合し、複数の種類の識別子が付与された前記単語特定情報を含む前記統合言語モデルを生成する統合ステップと、
を更に備え、
前記音声認識ステップにおいては、前記音声認識手段が、前記統合言語モデルを利用し前記入力音声に対して前記音声認識を行い、前記複数の言語モデルのうち何れかの言語モデルを特定する識別子が付された前記文字列を前記音声認識の結果として前記判断手段に出力する、
ことを特徴とする請求項7に記載の言語モデル特定方法。 - 識別子によって区別される複数の音響モデルから統合された統合音響モデルを利用し、入力音声に対して音声認識を行う音声認識手段と、
前記音声認識の結果である文字列に付された前記識別子に基づき、前記音声認識に前記複数の音響モデルのうち何れの音響モデルが最適な音響モデルであるかを判断する判断手段と、
を備えることを特徴とする音響モデル特定装置。 - 各音響モデルは音素を特定する音素特定情報を複数含み、
前記各音響モデルに含まれた前記音素特定情報に、当該音響モデルを特定する識別子をそれぞれ付与する識別子付与手段と、
前記識別子が付与された前記音素特定情報を含む前記各音響モデルを統合し、複数の種類の識別子が付与された前記音素特定情報を含む前記統合音響モデルを生成する統合手段と、
を更に備え、
前記音声認識手段は、前記統合音響モデルを利用し前記入力音声に対して前記音声認識を行い、前記複数の音響モデルのうち何れかの音響モデルを特定する識別子が付された前記文字列を前記音声認識の結果として前記判断手段に出力する、
ことを特徴とする請求項9に記載の音響モデル特定装置。 - 音声認識手段が、識別子によって区別される複数の音響モデルから統合された統合音響モデルを利用し、入力音声に対して音声認識を行う音声認識ステップと、
判断手段が、前記音声認識の結果である文字列に付された前記識別子に基づき、前記音声認識に前記複数の音響モデルのうち何れの音響モデルが最適な音響モデルであるかを判断する判断ステップと、
を備えることを特徴とする音響モデル特定方法。 - 各音響モデルは音素を特定する音素特定情報を複数含み、
識別子付与手段が、前記各音響モデルに含まれた前記複数の音素特定情報に、当該音響モデルを特定する識別子をそれぞれ付与する識別子付与ステップと、
統合手段が、前記識別子が付与された前記音素特定情報を含む前記各音響モデルを統合し、複数の種類の識別子が付与された前記音素特定情報を含む前記統合音響モデルを生成する統合ステップと、
を更に備え、
音声認識ステップにおいては、前記音声認識手段が、前記統合音響モデルを利用し前記入力音声に対して前記音声認識を行い、前記複数の音響モデルのうち何れかの音響モデルを特定する識別子が付された前記文字列を前記音声認識の結果として前記判断手段に出力する、
ことを特徴とする請求項11に記載の音響モデル特定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009068629A JP5274324B2 (ja) | 2009-03-19 | 2009-03-19 | 言語モデル特定装置、言語モデル特定方法、音響モデル特定装置、および音響モデル特定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009068629A JP5274324B2 (ja) | 2009-03-19 | 2009-03-19 | 言語モデル特定装置、言語モデル特定方法、音響モデル特定装置、および音響モデル特定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010224029A JP2010224029A (ja) | 2010-10-07 |
JP5274324B2 true JP5274324B2 (ja) | 2013-08-28 |
Family
ID=43041318
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009068629A Expired - Fee Related JP5274324B2 (ja) | 2009-03-19 | 2009-03-19 | 言語モデル特定装置、言語モデル特定方法、音響モデル特定装置、および音響モデル特定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5274324B2 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3950957B2 (ja) * | 2002-03-15 | 2007-08-01 | 独立行政法人産業技術総合研究所 | 言語処理装置および方法 |
JP2004309862A (ja) * | 2003-04-08 | 2004-11-04 | Denso Corp | 音声認識装置及びナビゲーションシステム |
JP4810789B2 (ja) * | 2003-09-26 | 2011-11-09 | 日本電気株式会社 | 言語モデル学習システム、音声認識システム、言語モデル学習方法、及びプログラム |
JP4018678B2 (ja) * | 2004-08-13 | 2007-12-05 | キヤノン株式会社 | データ管理方法および装置 |
JP4537970B2 (ja) * | 2006-03-17 | 2010-09-08 | 日本電信電話株式会社 | 言語モデル作成装置、言語モデル作成方法、そのプログラムおよびその記録媒体 |
JP4867804B2 (ja) * | 2007-06-12 | 2012-02-01 | ヤマハ株式会社 | 音声認識装置及び会議システム |
-
2009
- 2009-03-19 JP JP2009068629A patent/JP5274324B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010224029A (ja) | 2010-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5480760B2 (ja) | 端末装置、音声認識方法および音声認識プログラム | |
JP6188831B2 (ja) | 音声検索装置および音声検索方法 | |
US10319373B2 (en) | Information processing device, information processing method, computer program product, and recognition system | |
JP5318230B2 (ja) | 認識辞書作成装置及び音声認識装置 | |
JP4267385B2 (ja) | 統計的言語モデル生成装置、音声認識装置、統計的言語モデル生成方法、音声認識方法、およびプログラム | |
US20060206331A1 (en) | Multilingual speech recognition | |
US20110137653A1 (en) | System and method for restricting large language models | |
EP2308042A2 (en) | Method and device for generating vocabulary entry from acoustic data | |
Scharenborg et al. | Building an ASR system for a low-research language through the adaptation of a high-resource language ASR system: preliminary results | |
KR20130059476A (ko) | 음성 인식용 탐색 공간 생성 방법 및 장치 | |
JP5688761B2 (ja) | 音響モデル学習装置、および音響モデル学習方法 | |
KR101905827B1 (ko) | 연속어 음성 인식 장치 및 방법 | |
KR101424496B1 (ko) | 음향 모델 학습을 위한 장치 및 이를 위한 방법이 기록된 컴퓨터 판독 가능한 기록매체 | |
KR101483947B1 (ko) | 핵심어에서의 음소 오류 결과를 고려한 음향 모델 변별 학습을 위한 장치 및 이를 위한 방법이 기록된 컴퓨터 판독 가능한 기록매체 | |
JP2012063611A (ja) | 音声認識結果検索装置、音声認識結果検索方法および音声認識結果検索プログラム | |
JP4595415B2 (ja) | 音声検索システムおよび方法ならびにプログラム | |
JP2004101727A (ja) | 多言語音声認識方法、装置、プログラム、および多言語話者適応方法、装置、プログラム | |
JP3364631B2 (ja) | 統計的言語モデル生成装置及び音声認識装置 | |
JP5274324B2 (ja) | 言語モデル特定装置、言語モデル特定方法、音響モデル特定装置、および音響モデル特定方法 | |
JP4528540B2 (ja) | 音声認識方法及び装置及び音声認識プログラム及び音声認識プログラムを格納した記憶媒体 | |
JP2008293098A (ja) | 応答スコア情報生成装置、対話処理装置 | |
JP4987530B2 (ja) | 音声認識辞書作成装置および音声認識装置 | |
Zhang et al. | Using mutual information criterion to design an efficient phoneme set for Chinese speech recognition | |
CN112997247A (zh) | 利用大数据的最佳语言模型生成方法及用于其的装置 | |
JP3881155B2 (ja) | 音声認識方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110826 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120828 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120904 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121030 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130423 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130514 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5274324 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |