JP4769098B2 - 音声認識信頼度推定装置、その方法、およびプログラム - Google Patents
音声認識信頼度推定装置、その方法、およびプログラム Download PDFInfo
- Publication number
- JP4769098B2 JP4769098B2 JP2006059216A JP2006059216A JP4769098B2 JP 4769098 B2 JP4769098 B2 JP 4769098B2 JP 2006059216 A JP2006059216 A JP 2006059216A JP 2006059216 A JP2006059216 A JP 2006059216A JP 4769098 B2 JP4769098 B2 JP 4769098B2
- Authority
- JP
- Japan
- Prior art keywords
- word
- likelihood score
- speech
- value
- speech recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
非特許文献1、非特許文献2では、単語事後確率を用いて信頼度を計算している。この方法では、単語の音響尤度スコア、単語の言語尤度スコア、forward確率、backward確率を用いて、文中の単語に対する信頼度を算出している。
特許文献1では、言語的妥当性に基づいた信頼度を算出している。この方法では、音声認識結果の単語系列の並びの妥当性に対して、識別学習を行い、単語の正誤判定を行っている。
非特許文献3では、複数の音声認識モデルを用いて、信頼度の決定を行っている。この方法では、音声認識モデルを2つ以上用いて音声認識を行い、全ての音声認識モデルで信頼できると判断された共通部分が信頼できると判断するものである。
図1にこの発明の実施例1を示す。音声認識部6は音響分析部8と認識探索部9により構成される。
入力端子2にディジタル変換されたディジタル音声信号が入力されると、一度、記憶部4に記憶され、この記憶されたディジタル音声信号は、発話分割部5において、発話単位の音声信号に分割される。この分割は例えば、所定値以上継続する無音区間により挟まれた入力音声信号を1発話として、分割する。この分割において、最初の発話音声信号の開始や最後の発話音声信号の終了が、対象入力ディジタル音声信号によって予め分かる場合があり、その様な場合の最初の発話音声信号や最後の発話音声信号は前記所定値以上継続する無音区間に挟まれたものではないが、これらは当然、1発話として、容易に検出分割される。発話単位の例を以下に示す。
(2)「なるほどね。」
(3)「今、あの韓国に行く買い物ツアーとか、そういうのが非常にはやっているんですが、」
(4)「んー」
このように分割された発話単位ごとの音声信号は、音声認識部6に入力される。音声認識部6では、この入力ディジタル信号に対し、音響モデル格納部10に格納されている音響モデルと辞書・言語モデル格納部12に格納されている辞書・言語モデルを用いて、音声認識される。
その発話の認識結果の信頼度を出力部26で出力する。ここで、信頼度のみの出力でもよく、その発話音声認識結果にこの信頼度を付与して、出力してもよい。
図2に、図1中の、認識探索部9の詳細と、これに関連する部分の図を示す。認識探索部9は音響尤度スコア計算部90、言語尤度スコア計算部92、単語尤度スコア計算部96、音素数計数部100、単語継続時間計算部102、音素継続時間計算部104、品詞情報付与部105、単語情報付与部106、により構成されている。
この音響特徴パラメータに対し、音響尤度スコア計算部90で、音響モデル格納部10に格納されている音響モデルを参照し、音素系列の複数候補が探索される。これら複数の音素系列候補に対し、辞書・言語モデル格納部12に格納されている辞書・言語モデルを参照して、言語尤度スコア計算部92および、単語尤度スコア計算部96により、単語系列の複数候補が探索される。つまり、入力された音響特徴パラメータに対し、与えられた言語的制約のもとで、言語的単位の各カテゴリの特徴を表現した確率モデルに出力する確率に基づくスコアを計算し、最も高いスコアを示すモデルが表現するカテゴリを認識結果とする。
各発話単位ごとに、例えば、単語尤度スコア56の合計値の上位N位までのN―best候補を選出する。これら1発話に対するN個の単語系列50について各単語系列50の各単語に品詞情報52、音響尤度スコア54、言語尤度スコア55、単語尤度スコア56、単語継続時間長58、音素数60、音素継続時間長62が単語情報付与部106で付与されて、音声認識部6から出力される。
また同様に残りの情報、つまり言語尤度スコア55、単語尤度スコア56、単語継続時間長58、音素数60、音素継続時間長62についても、同様の処理により、それぞれの平均値、分散値、最大値、最小値の正規化された値を求める。正規化された平均値、正規化された分散値、正規化された最大値、正規化された最小値として表す場合、つまり、言語尤度スコア55の統計値Pb、Qb、Rb、Sb、単語尤度スコア56の統計値Pc、Qc、Rc、Sc、単語継続時間長58の統計値Pd、Qd、Rd、Sd、音素数60の統計値Pe、Qe、Re、Se、音素継続時間長62の統計値Pf、Qf、Rf、Sfを算出する。これら正規化された値を1要素として、すなわち、この場合24要素で構成される発話特徴量ベクトルを合成部260において合成する。なお、この24要素を全て使用する必要はなく、この中の1以上の要素を使用しても問題はない。そして、用いない統計値を算出する必要もない。
一つのシンボルを単語クラスで表した単語クラスのクラスタリングの例として、品詞情報52を用いることで、効率的に単語クラス分けをすることが出来る。例えば予め4つの品詞、「接続詞」「名詞」「格助詞」「連用詞」について、接続詞クラスa、名詞クラスb、格助詞クラスc、連用詞クラスdという4つの単語クラスを設定する。1発話中における複数の単語中に前記4つの品詞のそれぞれについて1以上含まれていれば「1」を出力し、含まれていなければ、「0」を出力する。例えば、入力された文章音声の発話単位が「しかし今日私は走る」の場合、分割された単語系列が「しかし」、「今日」、「私」、「は」、「走る」、となる。「しかし」は接続詞クラスa、「今日」と「私」は名詞クラスb、「は」は格助詞クラスc、連用詞クラスdには何れの単語も属さず、「走る」はどこのクラスにも属さない。よって、「しかし今日私は走る。」が入力音声である場合、単語クラスベクトルは(1,1,1,0)となる。
このような発話特徴量ベクトルのみならず、このベクトル中のいくつかの要素のみで発話特徴量ベクトルとしてもよい。
N−best候補を音声認識部6で求めた場合は、そのN個の候補のそれぞれについて、発話特徴量ベクトルを求める。
上述のようにして、発話特徴量ベクトルを用い、これの基となった発話音声認識結果の認識率の信頼度を推定する。
上述したような、次元数が非常に多い発話量特徴ベクトルを用いると、非常に大量の学習データが必要となり、少量では、過学習の問題が発生することが多い。そこで、識別モデルには、例えば、サポートベクターマシン(SVM)による統計的識別モデルを用いることが考えられる。サポートベクターマシンにより、例えば、認識率が70%の識別モデルを作るには、認識率70%以上のz次元の発話特徴量ベクトルと認識率70%未満のz次元の発話特徴量ベクトルを用いて学習により、複数個のサポートベクターを求め、これらから発話特徴量ベクトルxを変数とする識別関数f(x)を求め、これを識別モデルとする。
発話特徴量ベクトルとしては、先に述べたように前記各種の統計量のみを用いてもよく、その統計量、平均値、分散値、最大値、最小値、中の1つまたは、複数を用いても良く、更に、音響尤度スコア54、言語尤度スコア55、単語尤度スコア56、についての値のみでもよく、あるいは、単語クラスの系列のみでも良い。
実験結果
以下に、この発明が優れていることを示す実験結果を説明する。
式(1) 再現率=H/C
式(2) 適合率=H/N
ただし、Cは評価用データに含まれる認識率80%以上の実際の発話数、Nは認識率80%以上と推定された発話数、Hは認識率80%以上と推定された発話の中で実際に80%以上だった発話数とする。
コンピュータと人間とが音声対話を用いて、コミュニケーションをとる音声対話システムで認識した情報において、信頼度の高い部分に重みをつけて、用いたり、信頼度の低い部分を再度確認したりなど、より効率的な対話を行うことが出来る。音声認識に使用する音響モデルを学習する際に、従来は人手でデータを作成して、学習を行っているが、音声認識を行い、高精度に認識された発話のみを用いて、学習を行うことで、教師なし学習を行うことが出来る。上述の例のように、本願の発明を用いることにより、より効率的な音声認識装置を開発することが出来る。
Claims (19)
- 入力されたディジタル音声信号を発話単位に分割する発話分割部と、
その発話単位のディジタル音声信号から音響特徴パラメータを抽出し、その音響特徴パラメータに対し、与えられた言語的制約のもとで、言語的単位の各カテゴリの特徴を表現した確率モデルに出力する確率に基づくスコアを計算し、少なくとも、最も高いスコアを示すモデルが表現するカテゴリを認識し、上記発話単位ごとの単語系列を求め、かつその単語系列中の各単語ごとの上記認識に基づく情報を付与した単語系列を生成する音声認識部と、
上記分割された発話単位ごとに、その発話単位の単語系列に含まれる全ての単語の各単語単位の上記認識に基づく情報を上記発話単位の発話特徴量ベクトルに変換する情報変換部と、
上記発話単位の発話特徴量ベクトルと識別モデルを用いて認識率を推定し、その推定した認識率に基いて、当該発話単位の音声認識結果に対する信頼度を求める信頼度付与部と、
上記信頼度を出力する出力部と、
を備えることを特徴とする音声認識信頼度推定装置。 - 請求項1記載の音声認識信頼度推定装置において、
上記情報変換部は、複数の単語の群をそれぞれ1つのシンボルで表した異なる単語クラスについて、1発話中の各単語がどの単語クラスに属するかを表す単語クラス情報列を生成して記憶する単語クラス列情報生成部と、
上記単語クラス情報列を基に、上記単語系列中に上記各単語クラスごとにこれに属するものがあるかどうかを判定し、その判定結果を上記発話特徴量ベクトルの少なくとも一部とするクラス判定部と、
を具備することを特徴とする音声認識信頼度推定装置。 - 請求項2記載の音声認識信頼度推定装置において、
上記シンボルは、上記情報中の各単語ごとの品詞情報を用いることを特徴とする音声認識信頼度推定装置。 - 請求項1〜3の何れかに記載の音声認識信頼度推定装置において、
上記情報変換部は、上記認識の時に得られた音響尤度スコア、言語尤度スコア、単語尤度スコア、単語継続時間長、音素数、音素継続時間長、のうち1つ若しくは複数を用いて、上記発話特徴量ベクトルの少なくとも一部とすることを特徴とする音声認識信頼度推定装置。 - 請求項1〜4の何れかに記載の音声認識信頼度推定装置において、
上記情報変換部は、
上記認識の時に得られた、音響尤度スコア、言語尤度スコア、単語尤度スコア、単語継続時間長、音素数、音素継続時間長から算出される、音響尤度スコアの平均値を正規化した値、音響尤度スコアの分散値を正規化した値、音響尤度スコアの最大値を正規化した値、音響尤度スコアの最小値を正規化した値、言語尤度スコアの平均値を正規化した値、言語尤度スコアの分散値を正規化した値、言語尤度スコアの最大値を正規化した値、言語尤度スコアの最小値を正規化した値、単語尤度スコアの平均値を正規化した値、単語尤度スコアの分散値を正規化した値、単語尤度スコアの最大値を正規化した値、単語尤度スコアの最小値を正規化した値、単語継続時間長の平均値を正規化した値、単語継続時間長の分散値を正規化した値、単語継続時間長の最大値を正規化した値、単語継続時間長の最小値を正規化した値、音素数の平均値を正規化した値、音素数の分散値を正規化した値、音素数の最大値を正規化した値、音素数の最小値を正規化した値、音素継続時間長の平均値を正規化した値、音素継続時間長の分散値を正規化した値、音素継続時間長の最大値を正規化した値、音素継続時間長の最小値を正規化した値、の24要素で構成されるベクトルを上記発話特徴量ベクトルとすることを特徴とする音声認識信頼度推定装置。 - 請求項1〜5の何れかに記載の音声認識信頼度推定装置において、
更に、認識率がn%以上であるか否かを評価できる識別モデルを格納した識別モデル格納部を備え、
上記信頼度付与部は、上記識別モデルを用いて上記発話特徴量ベクトルの認識率がn%以上であるか否かを評価した結果を上記音声認識結果に対する信頼度とすることを特徴とする音声認識信頼度推定装置。 - 請求項1〜5の何れかに記載の音声認識信頼度推定装置において、
更に、認識率がn%以上であるか否かを評価できる識別モデルであって、上記nの値が異なる複数の識別モデルを格納した識別モデル格納部を備え、
上記信頼度付与部は、上記nの値が異なる上記識別モデルそれぞれについて、該識別モデルを用いて上記発話特徴量ベクトルの認識率がn%以上であるか否かを評価する処理を行った結果として得られる、上記発話特徴量ベクトルの認識率の範囲を上記音声認識結果に対する信頼度とすることを特徴とする音声認識信頼度推定装置。 - 請求項1〜7の何れかに記載の音声認信頼度推定装置において、
上記識別モデルとして、サポートべクターマシン(SVM)に基づき作成されたものであることを特徴とする音声認識信頼度推定装置。 - 請求項1〜8の何れかに記載の音声認識信頼度推定装置において、
上記情報変換部は、上記発話単位内に含まれる各単語に付与された上記認識に基づく情報の値を統計情報に変換し、上記発話特徴量ベクトルの少なくとも一部とすることを特徴とする音声認識信頼度推定装置。 - 入力されたディジタル音声信号を発話単位に分割し、その分割された発話単位のディジタル音声信号から音響特徴パラメータを抽出し、その音響特徴パラメータに対し、与えられた言語的制約のもとで、言語的単位の各カテゴリの特徴を表現した確率モデルに出力する確率に基づくスコアを計算し、少なくとも、最も高いスコアを示すモデルが表現するカテゴリを認識し、上記発話単位ごとの単語系列を求め、その単語系列に含まれる各単語単位の上記認識に基づく情報を付与した単語系列を求める音声認識ステップと、
上記分割された発話単位ごとに、その発話単位の単語系列に含まれる全ての単語の各単語単位の上記認識に基づく情報を上記発話単位の発話特徴量ベクトルに変換する情報変換ステップと、
上記発話単位の発話特徴量ベクトルと識別モデルを用いて認識率を推定し、その推定した認識率に基づいて、当該発話単位の音声認識結果に対する信頼度を求める信頼度付与ステップと、
その信頼度を出力するステップと、
を有することを特徴とする音声認識信頼度推定方法。 - 請求項10記載の音声認識信頼度推定方法において、
上記情報変換ステップは、予め決めた複数の単語の群をそれぞれ1つのシンボルで表した単語クラスについて、その単語クラスに属するものがあるか否かを表す単語クラス列に変換するステップを含むことを特徴とする音声認識信頼度推定方法。 - 請求項11記載の音声認識信頼度推定方法において、
上記単語クラスは単語の品詞であることを特徴とする音声認識信頼度推定方法。 - 請求項10〜12の何れに記載の音声認識信頼度推定方法において、
上記情報変換ステップは、上記認識のときに得られた音響尤度スコア、言語尤度スコア、単語尤度スコア、単語継続時間長、音素数、音素継続時間長、のうち1つ若しくは複数を用いて、上記発話特徴量ベクトルの少なくとも一部とすることを特徴とする音声認識信頼度推定方法。 - 請求項13記載の音声認識信頼度推定方法において、
上記情報変換ステップは、上記単語に付与された値を発話内の統計情報に変換するステップを含むことを特徴とする音声認識信頼度推定方法。 - 請求項10〜14の何れかに記載の音声認識信頼度推定方法において、
上記情報変換ステップは、
上記認識の時に得られた、音響尤度スコア、言語尤度スコア、単語尤度スコア、単語継続時間長、音素数、音素継続時間長から算出される、音響尤度スコアの平均値を正規化した値、音響尤度スコアの分散値を正規化した値、音響尤度スコアの最大値を正規化した値、音響尤度スコアの最小値を正規化した値、言語尤度スコアの平均値を正規化した値、言語尤度スコアの分散値を正規化した値、言語尤度スコアの最大値を正規化した値、言語尤度スコアの最小値を正規化した値、単語尤度スコアの平均値を正規化した値、単語尤度スコアの分散値を正規化した値、単語尤度スコアの最大値を正規化した値、単語尤度スコアの最小値を正規化した値、単語継続時間長の平均値を正規化した値、単語継続時間長の分散値を正規化した値、単語継続時間長の最大値を正規化した値、単語継続時間長の最小値を正規化した値、音素数の平均値を正規化した値、音素数の分散値を正規化した値、音素数の最大値を正規化した値、音素数の最小値を正規化した値、音素継続時間長の平均値を正規化した値、音素継続時間長の分散値を正規化した値、音素継続時間長の最大値を正規化した値、音素継続時間長の最小値を正規化した値、の24要素で構成されるベクトルを上記発話特徴量ベクトルとするステップであることを特徴とする音声認識信頼度推定方法。 - 請求項10〜15の何れかに記載の音声認識信頼度推定方法において、
上記信頼度付与ステップは、認識率がn%以上であるか否かを評価できる識別モデルを用いて上記発話特徴量ベクトルの認識率がn%以上であるか否かを評価した結果を上記音声認識結果に対する信頼度とすることを特徴とする音声認識信頼度推定方法。 - 請求項10〜15の何れかに記載の音声認識信頼度推定方法において、
上記信頼度付与ステップは、認識率がn%以上であるか否かを評価できる識別モデルであって、上記nの値が異なる複数の識別モデルそれぞれについて、識別モデルを用いて上記発話特徴量ベクトルの認識率がn%以上であるか否かを評価する処理を行った結果として得られる、上記発話特徴量ベクトルの認識率の範囲を上記音声認識結果に対する信頼度とする音声認識信頼度推定方法。 - 請求項10〜17の何れかに記載の音声認識信頼度推定方法において、
上記信頼度付与ステップは、サポートベクターマシン(SVM)により、予め作成された識別モデルを用いるステップであることを特徴とする音声認識信頼度推定方法。 - 請求項10〜18の何れかに記載した音声認識信頼度推定方法の各ステップをコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006059216A JP4769098B2 (ja) | 2006-03-06 | 2006-03-06 | 音声認識信頼度推定装置、その方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006059216A JP4769098B2 (ja) | 2006-03-06 | 2006-03-06 | 音声認識信頼度推定装置、その方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007240589A JP2007240589A (ja) | 2007-09-20 |
JP4769098B2 true JP4769098B2 (ja) | 2011-09-07 |
Family
ID=38586239
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006059216A Expired - Fee Related JP4769098B2 (ja) | 2006-03-06 | 2006-03-06 | 音声認識信頼度推定装置、その方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4769098B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100934218B1 (ko) | 2007-12-13 | 2009-12-29 | 한국전자통신연구원 | 다단계 음성인식 장치 및 그 장치에서의 다단계 음성인식방법 |
JP5149941B2 (ja) * | 2010-07-13 | 2013-02-20 | 日本電信電話株式会社 | 音声認識方法とその装置とプログラム |
JP5406806B2 (ja) * | 2010-08-25 | 2014-02-05 | 日本電信電話株式会社 | 用件区間抽出方法、装置、及びそのプログラム |
JP5679346B2 (ja) * | 2012-02-22 | 2015-03-04 | 日本電信電話株式会社 | 識別的音声認識精度推定装置、識別的音声認識精度推定方法、プログラム |
JP5888222B2 (ja) * | 2012-12-18 | 2016-03-16 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
JP6674706B2 (ja) * | 2016-09-14 | 2020-04-01 | Kddi株式会社 | 学習者の口述音声から自動的に採点するプログラム、装置及び方法 |
CN111027793B (zh) * | 2019-03-27 | 2023-06-30 | 广东小天才科技有限公司 | 一种词语掌握程度的确定方法及系统、电子设备 |
CN115691472B (zh) * | 2022-12-28 | 2023-03-10 | 中国民用航空飞行学院 | 一种管制语音识别系统的评估方法及装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002358097A (ja) * | 2001-06-01 | 2002-12-13 | Mitsubishi Electric Corp | 音声認識装置 |
JP2004013306A (ja) * | 2002-06-04 | 2004-01-15 | Nec Corp | 類似度計算装置、インデックスデータ生成装置、映像または音声データベース装置、類似度計算方法、インデックスデータ生成方法、内容表現データ記憶装置、および、記録媒体 |
JP2005275348A (ja) * | 2004-02-23 | 2005-10-06 | Nippon Telegr & Teleph Corp <Ntt> | 音声認識方法、この方法を実施する装置、プログラムおよび記録媒体 |
-
2006
- 2006-03-06 JP JP2006059216A patent/JP4769098B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007240589A (ja) | 2007-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10121467B1 (en) | Automatic speech recognition incorporating word usage information | |
US6542866B1 (en) | Speech recognition method and apparatus utilizing multiple feature streams | |
US6535850B1 (en) | Smart training and smart scoring in SD speech recognition system with user defined vocabulary | |
Jiang | Confidence measures for speech recognition: A survey | |
Wu et al. | Emotion recognition of affective speech based on multiple classifiers using acoustic-prosodic information and semantic labels | |
JP2965537B2 (ja) | 話者クラスタリング処理装置及び音声認識装置 | |
JP4195428B2 (ja) | 多数の音声特徴を利用する音声認識 | |
US9646605B2 (en) | False alarm reduction in speech recognition systems using contextual information | |
US9984677B2 (en) | Bettering scores of spoken phrase spotting | |
JP4769098B2 (ja) | 音声認識信頼度推定装置、その方法、およびプログラム | |
JP4224250B2 (ja) | 音声認識装置、音声認識方法および音声認識プログラム | |
JPH1063291A (ja) | 連続密度ヒドンマルコフモデルを用いた音声認識方法及び装置 | |
JP4340685B2 (ja) | 音声認識装置及び音声認識方法 | |
US10199037B1 (en) | Adaptive beam pruning for automatic speech recognition | |
JP6031316B2 (ja) | 音声認識装置、誤り修正モデル学習方法、及びプログラム | |
Williams | Knowing what you don't know: roles for confidence measures in automatic speech recognition | |
Mary et al. | Searching speech databases: features, techniques and evaluation measures | |
JP3660512B2 (ja) | 音声認識方法、その装置及びプログラム記録媒体 | |
JP2002342323A (ja) | 言語モデル学習装置およびそれを用いた音声認識装置ならびに言語モデル学習方法およびそれを用いた音声認識方法ならびにそれらの方法を記憶した記憶媒体 | |
JP4659541B2 (ja) | 音声認識装置及び音声認識プログラム | |
JP3444108B2 (ja) | 音声認識装置 | |
JP4259100B2 (ja) | 音声認識用未知発話検出装置及び音声認識装置 | |
Manjunath et al. | Articulatory and excitation source features for speech recognition in read, extempore and conversation modes | |
JP2005275348A (ja) | 音声認識方法、この方法を実施する装置、プログラムおよび記録媒体 | |
Manjunath et al. | Automatic phonetic transcription for read, extempore and conversation speech for an Indian language: Bengali |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100907 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101105 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110607 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110617 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140624 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |