JP4796686B2 - 自動音声認識器を訓練する方法 - Google Patents
自動音声認識器を訓練する方法 Download PDFInfo
- Publication number
- JP4796686B2 JP4796686B2 JP2000191178A JP2000191178A JP4796686B2 JP 4796686 B2 JP4796686 B2 JP 4796686B2 JP 2000191178 A JP2000191178 A JP 2000191178A JP 2000191178 A JP2000191178 A JP 2000191178A JP 4796686 B2 JP4796686 B2 JP 4796686B2
- Authority
- JP
- Japan
- Prior art keywords
- speech
- recognizer
- speech recognizer
- utterance
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims description 17
- 230000006978 adaptation Effects 0.000 claims description 7
- 230000014509 gene expression Effects 0.000 abstract 1
- 238000011156 evaluation Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
- G10L2015/0638—Interactive procedures
Landscapes
- Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Electrically Operated Instructional Devices (AREA)
Description
【発明の属する技術分野】
本発明は、自動音声認識器を訓練する方法に関する。
【0002】
【従来の技術】
自動音声認識器は、一方において、音響モデルに基づき、他方において、不特定話者口述システムに関して慣例的なような音声モデルにも基づく。音響モデル化に関して、いわゆるHMM(隠れマルコフモデル)を通常使用し、そのモデルパラメータを、個々の用途に関して決定することができる。例えば、特別な変換確率および出力確率関数を、各々のHMMに関して決定することができる。HMMパラメータを、通常、実際の音声認識を動作させる前に訓練段階において初期化する。音声モード中の入力である音声データを、前記音声認識器をさらに特に特定の話者または特定の背景雑音に適合させるためにしばしば使用し、前記音響モデルをさらに改善する。
【0003】
【発明が解決しようとする課題】
不特定話者音声認識着を使用する場合、音声認識器の訓練段階において、ユーザは、前記音声認識器によって要求され、例えば、数度発音すべき予め規定された音声発話を入力する。入力された音声発話は評価され、関係するHMMが適宜に決定される。前記訓練段階は、通常、多少長い期間続き、数時間続くかもしれず、しばしば、前記ユーザによって、わずらわしく、退屈でおよび/または疲れるものとして体験される。
【0004】
本発明の目的は、より快適な訓練をユーザに提供することである。
【0005】
【課題を解決するための手段】
前記目的は、前記訓練中、音声発話をユーザにゲームによって与え、前記発話を、前記音声認識器を訓練するために与えることにおいて達成される。
【0006】
このように考慮されたゲームは、特定の規則に従う楽しい行動を意味し、この楽しい行動は、基本的に、人間がそれ(遊戯、娯楽)を楽しむことの結果である。ゲームに音声認識器訓練を統合することによって、ユーザは、一方では楽しまされ、それと並行して、ユーザの音声入力が自動的に処理され、前記音声認識器において実現されたモデル(特に、HMMモデル)に自動的に使用される。前記ゲームの個々の段階において、前記ユーザは、前記ユーザに、実際に、彼に関して予め規定されている前記音声発話を発生させ、これらを前記音声認識システムに入力するために、音声発話、すなわち、単語、単語成分および単語組み合わせを、特に、これらを視覚的に表示することによって与えられる。基本的に、前記ユーザに(視覚的に表示された信号の代わりに)音響信号によって要求し、特定の音声発話を入力させることもできる。
【0007】
本発明の一実施形態において、音声認識器がすでに訓練した少なくとも第1の音声発話をユーザに示し、さらに、前記音声認識器が依然として訓練すべき他の音声発話を示す。これは、少ない語彙を有する話者特定音声認識器に関して特に有利な方法である。訓練された単語の数は、段階的に(単語を交換して)増加する。前記音声認識器は、入力された音声発話を、既に訓練された単語として、または、前記個々のゲーム周期中に依然として訓練すべき未知の単語として認識する。訓練すべき単語に関して、最適数のHMM状態および関連するHMMパラメータの双方を決定することができる。これに関して、本発明の変形例は、前記ユーザに関して予め規定された音声発話を、割り当てられた画面領域のマークとし、これらのマークを、前記個々の音声発話が入力された場合に前記画面上でシフトさせ、目標として、予め規定できる構造を前記画面上に発生させ、前記目標が達成された後、新たに表示する。
【0008】
本発明の他の実施形態は、前記音声認識器が既に訓練した音声発話が入力された場合、前記音声認識器をこの音声入力によって適合させる。このようにして、すでに訓練された音声発話に関するユーザの音声入力も、訓練段階中にパラメータ値が既に決定された関係するHMMモデルのさらなる改善のために使用する。
【0009】
さらに、本発明を、これに関して、前記訓練に使用すべき音声入力としての音声入力の分類は、前記ユーザによって入力された音声発話が前記音声認識器によって予め規定された音声発話に対応する基準を示す信頼度に依存するように発展させてもよい。この方法において、前記訓練段階中に前記音声認識器が受けた音響信号に基づいて訓練を行い、前記音響信号が前記訓練に好適な音声入力に適当だと判断されないことを回避することができる。例えば、この方法において、背景雑音(例えば、ドアの開閉)が前記音声認識器を訓練するのに使用されることを回避することができる。信頼度基準による評価の代わりに、他の実施形態において、いわゆるガーベージモデル化による評価を使用することができる。この目的のため、文書「少語彙用途用のロバスト除去モデル化」D.Langmann、R.Haeb-Umbach、T.Eisele、S.Gamm Proc.ITG-Fachtagung Sprachkommunikation, フランクフルトアムマイン、1996年9月17/18日を参照されたい。
【0010】
本発明は、自動音声認識器を話者に適合させる方法にも関係し、この方法において、音声発話をユーザにゲームによって与え、前記音声発話を、前記音声認識器を前記ユーザに適合させるために与える。この話者適合を、特に、例えば、口述システムのような話者不特定音声認識システムに与える。音声認識器の訓練に関して上述した他の実施形態を、したがって、話者適合に使用することができる。
【0011】
本発明は、上述した方法の1つを実現する音声認識システムおよび電気装置と、さらに特に、このように配置した音声認識システムを含む家庭用娯楽装置にも関する。
【0012】
【発明の実施の形態】
図1に示す電気装置、ここでは、例えば、テレビジョンセットのような家庭よ娯楽製品の範疇からの装置は、専用に配置された、さらには示さない話者特定自動音声認識器を含み、この音声認識器の援助と共に、装置1の機能を、音声入力によって制御することができる。テレビジョンセットに関して、例えば、ビデオテキスト機能をサポートすることができる。他の用途は、例えば、ビデオレコーダのプログラミングである。前記電気装置に組み込まれた前記音声認識装置を動作に対して準備させるために、既知のように、音声認識訓練を行うべきである。前記訓練を行うために、音声発話、ここでは単語W1、W2およびW3を、ユーザに、訓練段階中に与え、前記発話を、使用される前記音声認識器の訓練手順に関して与える。本例の場合において、単語W1およびW2は、前記音声認識器が既に訓練された単語を表す。他方において、前記音声認識器は、単語W3をこの訓練段階中に依然として訓練すべきであり、すなわち、単語W3に関する個々のユーザからの音声入力は、依然として、適切なHMMパラメータ値と、ここでは必要な数のHMM状態の数とを決定するために必要である。ここで前記訓練に使用するコンピュータゲームに関して、表示されたW1、W2およびW3は、関連する画面領域3、4および5に関するマークとして働く。前記ユーザが単語W1または単語W2を発音し、すなわち、彼が個々の音声入力を行い、これらが電気装置1に使用される音声認識器によって認識されると、前記関連する画面領域が、画面2の上端から画面2の反対側の下端へシフトされる。予め規定された単語の多数の認識は、関連する画面領域を、画面2の下端において並ぶ(ここでは重なる)個々の数において見えるようにし、前記画面領域は、依然として前記予め規定された構造の制限内である間、堆積する。前記音声認識器が音声入力を検知し、この音声入力が単語W1または単語W2として認識されない場合、この音声入力を、前記音声認識器によって、単語W3の入力として解釈し、前記音声入力は訓練するのに適していないとみなし、この場合における目的に関して、評価を信頼度によって使用する。好適な信頼度を、例えば、文献「孤立した単語認識における信頼度の結合」、J.G.A.Dolfing,A.Wendemutte,ICSLP 1998から得てもよい。本例におけるゲームの目的は、画面2における予め規定可能な構造を発生することであり、この構造を、前記目的が達成された場合、新たに予め規定する。このような構造に関する例を、図1における画面2の下端における破線において示す(参照符6)。十分な数の音声入力が訓練すべき単語W3に関して行われた場合(ひょっとすると、前記画面上で形成すべき構造の繰り返して更新される決定後)、単語W3に属するHMMをこれに基づいて評価し、すなわち、HMMモデル構造およびこれらに属するパラメータ値の組を決定する。
【0013】
ここで行う訓練は、好適にはユーザの名前を表す第1単語の訓練で開始する。前記ユーザに、彼の名前を、キーボードを経て入力するように要求し、その後、彼の名前を数回、発話入力として前記システムに入力するように要求し、これに基づいて第1単語を訓練する。第1単語の訓練後、訓練された単語の語彙を連続的に構成してもよい。
【0014】
前記訓練のパターンを、図2のフローチャートの参照と共にここでさらに説明する。単語W3に関する訓練の開始後、変数mをゼロに設定し(ステップ10)、ステップ11を、ユーザが音声発話を入力して進める。ステップ12において、前記音声入力が単語W1または単語W2として認識された場合、個々のHMMの適合化(ステップ18)を行うが、これは任意である。その後、訓練をステップ11によって続ける。ステップ12において、前記入力された音声発話が単語W1または単語W2として認識されない場合、ステップ13において、前記音声入力が単語W3の入力に適格であるかどうか、信頼度に基づいて評価する。適格でない場合、ステップ11を続け、適格である場合、前記音声入力に関して決定され、単語W3に属する個々の特性値を格納する。その後、変数mを値1だけ増分し(ステップ15)、それに続いて、変数mの値が予め規定できる値Mより小さいかどうか質問し、この値Mは、単語W3を訓練するのに必要な音声入力数を示す。ステップ16においてmの値がMより小さい場合、ステップ11に続く。代わりに、ステップ14において格納した特性値を、ステップ17における単語W3に属するHMMの評価に使用する。Mを好適には3から5までの範囲とし、図1に示すような形成すべき構造6がある状態において、この構造が達成された後、新たなプレイ目標による他のプレイ段階が、単語W3に関するHMM評価を行うために必要になるようにする。
【0015】
記載した説明方法は、特に、少語彙話者特定音声認識システムにも関係する。
しかしながら、(コンピュータ)ゲームを、多語彙を有する話者不特定システム、すなわち、例えば口述システムの音声適合(特定の話者への適合)の範囲内で使用してもよい。すでに訓練されたHMMを、特定の話者へ、個々のHMMパラメータを変更することによって合させる。図1に示す遊びバージョンを、前記音声認識器がすべての表示された単語W1、W2およびW3をすでに訓練しており、すべてのこれらの単語に関して、話者適合が図2のステップ18に示すように与えられている限りにおいて、適合させることができる。
【図面の簡単な説明】
【図1】 本発明による音声認識システムを有する装置を示す図である。
【図2】 本発明による音声認識器の訓練を説明するフローチャートである。
【符号の説明】
1 装置
2 画面
3、5、6 画面領域
6 構造
Claims (7)
- 音響モデルおよび/または音声モデルを使用した自動的な音声認識器を訓練する方法であって、前記音響モデルおよび/または音声モデルを改善するために、音声データが訓練段階中に収集され、かつ、使用され、当該方法は:
割り当てられた画面領域のマークとして予め定義されている音声発話を、前記音声認識器によって、前記訓練段階中にユーザに与えるステップと;
前記音声認識器を訓練するために、前記音声認識器によって、前記ユーザから発話を受け取るステップと;
前記マークと関連する音声発話が行われた場合、目標として前記画面上で予め定義された構造を生み出すために、前記音声認識器によって、前記マークをシフトするステップと;
前記構造が完成した後、前記音声認識器によって、新たな構造を再度定義するステップと;
を有する方法。 - 前記発話を受け取るステップは、
前記音声認識器が前記ユーザにすでに訓練した第1の音声発話を、前記音声認識器によって受け取るステップと、
前記音声認識器が訓練されていない第2の発話を前記音声認識器によって受け取るステップと、
を含む請求項1記載の方法。 - 前記音声認識器が、すでに訓練された音声発話がなされた場合、前記音声発話を使用して、前記音声認識器を適合させるステップ、を更に含む請求項1記載の方法。
- 前記訓練に使用すべき音声入力としての音声入力の分類は、この音声の入力に対して決定される信頼基準に依存し、前記信頼基準は、前記ユーザによって入力された前記音声発話が前記訓練段階中に前記音声認識器によって予め定義された音声発話に対応する程度を表す、請求項1記載の方法。
- 音響モデルおよび/または音声モデルを使用した音声認識器であって、前記音響モデルおよび/または音声モデルを改善するために、音声データが訓練段階中に収集され、かつ、使用され、当該音声認識器は:
割り当てられた画面領域のマークとして予め定義されている音声発話を、前記音声認識器によって、前記訓練段階中にユーザに与える手段と;
前記音声認識器を訓練するために、前記音声認識器によって、前記ユーザから発話を受け取る手段と;
前記マークと関連する音声発話が行われた場合、目標として前記画面上で予め定義された構造を生み出すために、前記音声認識器によって、前記マークをシフトする手段と;
前記構造が完成した後、前記音声認識器によって、新たな構造を再度定義する手段と;
を有する音声認識器。 - 音響モデルおよび/または音声モデルを使用した自動的な音声認識器の話者適合方法であって、前記音響モデルおよび/または音声モデルを改善するために、音声データが収集され、かつ、使用され、当該方法は:
割り当てられた画面領域のマークとして予め定義されている音声発話を、前記音声認識器によって、ユーザに与えるステップと;
前記音声認識器を話者に適合させるために、前記音声認識器によって、前記ユーザから発話を受け取るステップと;
前記マークと関連する音声発話が行われた場合、目標として前記画面上で予め定義された構造を生み出すために、前記音声認識器によって、前記マークをシフトするステップと;
前記構造が完成した後、前記音声認識器によって、新たな構造を再度定義するステップと;
を有する方法。 - 家庭用娯楽機器に用いられる、請求項5に記載の音声認識器を含む電気デバイス。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19929462A DE19929462A1 (de) | 1999-06-26 | 1999-06-26 | Verfahren zum Training eines automatischen Spracherkenners |
DE19929462:3 | 1999-06-26 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001042887A JP2001042887A (ja) | 2001-02-16 |
JP4796686B2 true JP4796686B2 (ja) | 2011-10-19 |
Family
ID=7912749
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000191178A Expired - Fee Related JP4796686B2 (ja) | 1999-06-26 | 2000-06-26 | 自動音声認識器を訓練する方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US6714910B1 (ja) |
EP (1) | EP1063633B1 (ja) |
JP (1) | JP4796686B2 (ja) |
DE (2) | DE19929462A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE60320414T2 (de) * | 2003-11-12 | 2009-05-20 | Sony Deutschland Gmbh | Vorrichtung und Verfahren zur automatischen Extraktion von wichtigen Ereignissen in Audiosignalen |
EP1531478A1 (en) * | 2003-11-12 | 2005-05-18 | Sony International (Europe) GmbH | Apparatus and method for classifying an audio signal |
US8682654B2 (en) * | 2006-04-25 | 2014-03-25 | Cyberlink Corp. | Systems and methods for classifying sports video |
US7680664B2 (en) * | 2006-08-16 | 2010-03-16 | Microsoft Corporation | Parsimonious modeling by non-uniform kernel allocation |
US9767793B2 (en) | 2012-06-08 | 2017-09-19 | Nvoq Incorporated | Apparatus and methods using a pattern matching speech recognition engine to train a natural language speech recognition engine |
US10235333B1 (en) * | 2014-04-11 | 2019-03-19 | Twitter, Inc. | Managing consistency models in a distributed database |
CN111816171B (zh) * | 2020-08-31 | 2020-12-11 | 北京世纪好未来教育科技有限公司 | 语音识别模型的训练方法、语音识别方法及装置 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4984177A (en) * | 1988-02-05 | 1991-01-08 | Advanced Products And Technologies, Inc. | Voice language translator |
JPH01285998A (ja) * | 1988-05-13 | 1989-11-16 | Sharp Corp | 音声認識装置 |
US5025471A (en) * | 1989-08-04 | 1991-06-18 | Scott Instruments Corporation | Method and apparatus for extracting information-bearing portions of a signal for recognizing varying instances of similar patterns |
US5502774A (en) * | 1992-06-09 | 1996-03-26 | International Business Machines Corporation | Automatic recognition of a consistent message using multiple complimentary sources of information |
US5710864A (en) * | 1994-12-29 | 1998-01-20 | Lucent Technologies Inc. | Systems, methods and articles of manufacture for improving recognition confidence in hypothesized keywords |
US5832430A (en) * | 1994-12-29 | 1998-11-03 | Lucent Technologies, Inc. | Devices and methods for speech recognition of vocabulary words with simultaneous detection and verification |
US5812972A (en) * | 1994-12-30 | 1998-09-22 | Lucent Technologies Inc. | Adaptive decision directed speech recognition bias equalization method and apparatus |
US5675706A (en) * | 1995-03-31 | 1997-10-07 | Lucent Technologies Inc. | Vocabulary independent discriminative utterance verification for non-keyword rejection in subword based speech recognition |
US5710866A (en) * | 1995-05-26 | 1998-01-20 | Microsoft Corporation | System and method for speech recognition using dynamically adjusted confidence measure |
US5719921A (en) * | 1996-02-29 | 1998-02-17 | Nynex Science & Technology | Methods and apparatus for activating telephone services in response to speech |
US6015344A (en) * | 1996-04-05 | 2000-01-18 | Rlt Acquisition, Inc. | Prize redemption system for games |
US5857173A (en) * | 1997-01-30 | 1999-01-05 | Motorola, Inc. | Pronunciation measurement device and method |
US6212498B1 (en) * | 1997-03-28 | 2001-04-03 | Dragon Systems, Inc. | Enrollment in speech recognition |
US5893064A (en) * | 1997-05-14 | 1999-04-06 | K2 Interactive Llc | Speech recognition method and apparatus with voice commands and associated keystrokes |
US6125345A (en) * | 1997-09-19 | 2000-09-26 | At&T Corporation | Method and apparatus for discriminative utterance verification using multiple confidence measures |
US6226612B1 (en) * | 1998-01-30 | 2001-05-01 | Motorola, Inc. | Method of evaluating an utterance in a speech recognition system |
JPH11352986A (ja) * | 1998-06-09 | 1999-12-24 | Nippon Telegr & Teleph Corp <Ntt> | 音声認識利用装置の誤認識緩和方法 |
US6085160A (en) * | 1998-07-10 | 2000-07-04 | Lernout & Hauspie Speech Products N.V. | Language independent speech recognition |
JP2000305589A (ja) * | 1999-04-16 | 2000-11-02 | Kobe Steel Ltd | 適応型音声認識装置,音声処理装置,及びペット玩具 |
JP2000352992A (ja) * | 1999-06-11 | 2000-12-19 | Fujitsu Ten Ltd | 音声認識装置 |
US6374221B1 (en) * | 1999-06-22 | 2002-04-16 | Lucent Technologies Inc. | Automatic retraining of a speech recognizer while using reliable transcripts |
-
1999
- 1999-06-26 DE DE19929462A patent/DE19929462A1/de not_active Withdrawn
-
2000
- 2000-06-19 EP EP00202143A patent/EP1063633B1/de not_active Expired - Lifetime
- 2000-06-19 DE DE50014521T patent/DE50014521D1/de not_active Expired - Lifetime
- 2000-06-26 US US09/603,923 patent/US6714910B1/en not_active Expired - Lifetime
- 2000-06-26 JP JP2000191178A patent/JP4796686B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
DE19929462A1 (de) | 2001-02-22 |
DE50014521D1 (de) | 2007-09-13 |
EP1063633A2 (de) | 2000-12-27 |
JP2001042887A (ja) | 2001-02-16 |
EP1063633B1 (de) | 2007-08-01 |
US6714910B1 (en) | 2004-03-30 |
EP1063633A3 (de) | 2001-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1693827B1 (en) | Extensible speech recognition system that provides a user with audio feedback | |
US7228275B1 (en) | Speech recognition system having multiple speech recognizers | |
EP0965978B9 (en) | Non-interactive enrollment in speech recognition | |
JP3968133B2 (ja) | 音声認識対話処理方法および音声認識対話装置 | |
US6442519B1 (en) | Speaker model adaptation via network of similar users | |
US6601027B1 (en) | Position manipulation in speech recognition | |
KR100826875B1 (ko) | 온라인 방식에 의한 화자 인식 방법 및 이를 위한 장치 | |
US20070239455A1 (en) | Method and system for managing pronunciation dictionaries in a speech application | |
JP2003022087A (ja) | 音声認識方法 | |
WO2004032113A1 (ja) | 車載制御装置、並びにその操作説明方法をコンピュータに実行させるプログラム | |
JP2002304190A (ja) | 発音変化形生成方法及び音声認識方法 | |
JPH10133684A (ja) | 音声認識中に代替ワードを選択する方法及びシステム | |
JPH09265379A (ja) | 画像操作装置及び方法 | |
EP0789347B1 (en) | Location of pattern in signal | |
JPH09230888A (ja) | パターンマッチング方法及び装置 | |
JP4796686B2 (ja) | 自動音声認識器を訓練する方法 | |
JP2001255887A (ja) | 音声認識装置、音声認識方法及び音声認識方法を記録した媒体 | |
JP2005241767A (ja) | 音声認識装置 | |
JPH06250689A (ja) | 音声認識装置 | |
JPH0573088A (ja) | 認識辞書の作成方法、認識辞書作成装置及び音声認識装置 | |
JP2006139134A (ja) | 音声出力制御装置、音声出力制御システム、それらの方法、それらのプログラム、および、それらのプログラムを記録した記録媒体 | |
JPH06175678A (ja) | 音声認識装置 | |
JP2005148764A (ja) | 音声認識対話処理方法および音声認識対話装置 | |
JPH075893A (ja) | 音声認識装置 | |
JPH07160285A (ja) | 音声認識方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070626 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20070626 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20080904 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100420 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100716 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100722 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101130 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110225 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110302 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110530 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110705 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110801 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140805 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |