JPH1124693A - 音声認識装置 - Google Patents

音声認識装置

Info

Publication number
JPH1124693A
JPH1124693A JP9172067A JP17206797A JPH1124693A JP H1124693 A JPH1124693 A JP H1124693A JP 9172067 A JP9172067 A JP 9172067A JP 17206797 A JP17206797 A JP 17206797A JP H1124693 A JPH1124693 A JP H1124693A
Authority
JP
Japan
Prior art keywords
point
start point
pause
information
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9172067A
Other languages
English (en)
Other versions
JP3058125B2 (ja
Inventor
Tadashi Emori
正 江森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP9172067A priority Critical patent/JP3058125B2/ja
Publication of JPH1124693A publication Critical patent/JPH1124693A/ja
Application granted granted Critical
Publication of JP3058125B2 publication Critical patent/JP3058125B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 文の区切りの認識結果に続く発声あるいは言
い直しを発声する際に、演算量の少ない、既確認結果の
変化のない音声認識装置を提供する。 【解決手段】 辞書記録部102には、登録された複数
の単語の音響的パターンと各単語の接続情報と開始点情
報と休止点情報が記録されている。音声認識部101
は、入力信号Sから、パワー情報を用いて音声区間とポ
ーズを検出し、音声区間を辞書記憶部102の情報を用
いて、有限状態オートマトンによる文法に従う連続音声
認識を行う。ポーズが検出された場合、単語列とそれに
対応する休止点とその接続先の開始点を認識結果Rとし
て出力する。第1開始点制御部103は、認識結果R中
の休止点を基に、その休止点の接続先の開始点に設定
し、この設定された開始点を、次の発声を認識するため
の開始点情報Aとして出力する。音声認識部101は、
指定された開始点から次の発声の単語の探索を行う。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、カーナビゲーシ
ョンシステムにおける音声を用いた地名の検索等に用い
ることのできる、音声認識装置に関するものである。
【0002】
【従来の技術】音声認識の技術は、より自然で容易な入
力手段である音声を用いたマシンインタフェースを実現
させる技術である。音声による入力を行う場合、発声の
途中で意味的、あるいは生理的に短い無音区間(以下、
ポーズと称する。)を入れることが多い。このため、従
来、特開平6−25909号公報や特開平6−2026
89号公報に示すように、話者にとり、より自然に音声
による入力が行えるよう、発声のポーズの時点で認識結
果の出力を行なうことにより、認識結果の確認が容易に
できる音声認識装置があった。
【0003】例えば、特開平6−25909号公報に示
される音声認識装置は、連続音声を認識するにあたり、
ポーズを文の区切りの単位とし、ポーズが検出された時
点で、それまでの認識結果の表示および、それに対する
アプリケーションの実行を行っている。発声が続いた場
合、継続して認識を行い、次のポーズが検出された時点
で、新たにそれまでの認識結果を表示している。
【0004】特開平6−202689号公報に示される
音声認識装置は、音声を認識するための語順を規定する
情報の中のポーズが出現する可能性のある部分に、それ
ぞれポーズの時間を設定し、発声中のポーズの時間が設
定時間を越えた場合、それまでの認識結果を提示する。
このとき、認識結果によって、それまでの認識結果を基
に不足情報の提示を行い、再入力を促すことが可能であ
る。
【0005】
【発明が解決しようとする課題】特開平6−25909
号公報に示される音声認識装置では、例えば、電子情報
通信学会によって1988年7月に出版された、電子情
報通信学会論文誌D Vol.J71 No.9 pp1650-1659に掲載さ
れている、迫江等によって書かれた、「フレーム同期、
ビームサーチ、ベクトル量子化の統合による、DPマッ
チングの高速化」(以下、参考文献1と称する)に示さ
れるような、有限状態オートマトンで表現された文法に
従って単語パターンを接続して連続音声を認識する方法
を用いている。この場合、全ての単語パターンを認識対
象として、最適単語列を探索することにより音声認識を
行うことになる。ポーズが検出されたことにより、認識
結果が出力されたあと、続いて発声した音声を認識する
場合、認識結果が得られた時点で既に認識されている単
語を含む文法全体を探索の対象として処理を行うため、
単語の探索範囲を小さくすることができない。このた
め、認識結果が得られて確認された後も探索範囲が大き
いままであり、認識結果が得られたことによる演算量
と、認識性能の向上が期待できない。また、ポーズ後の
認識結果に言い直しの発声を許す場合、言い直しを含む
全ての単語の組合せが探索の対象となるので、探索範囲
が大きくなり、さらに多くの計算量が必要となり、か
つ、認識性能を高くできないという欠点がある。さら
に、参考文献1に示されるような、全体として最適な単
語列を認識結果とする方式を用いている場合、ポーズが
検出された時点で認識結果が出力され既に結果が確認さ
れている認識結果の単語でも、全ての発話が終了した時
点で全体として最適な単語列を与える単語に変化してし
まう可能性がある。
【0006】また、特開平6−202689号公報に示
される音声認識装置では、認識結果によって再入力を促
すことを行っているが、例えば、再入力に対する文法を
新たに用意する必要がある。
【0007】本発明の目的は、文の区切りで出力された
認識結果に続けて発声したり、言い直しを発声する際
に、演算量を少なくし、さらに認識精度を向上し、且つ
すでに確認された結果が変化しないという使いやすい音
声認識装置を提供することである。
【0008】
【課題を解決するための手段】本発明の第1の発明の音
声認識装置は、認識対象の単語に関する単語情報と各単
語の接続関係の情報と文が始まる可能性のある接続点で
ある1つ以上の開始点情報と文が区切れる可能性のある
接続点である1つ以上の休止点とを含む辞書情報を保持
する辞書記録部と、辞書情報をもとにあらかじめ指定さ
れた1つ以上の開始点から、入力された音声に対する認
識処理を行い休止点までの認識結果を出力する音声認識
部と、認識結果に従って休止点に対応する開始点を次の
認識処理に対する開始点として指定する開始点制御部を
有する。
【0009】また、第2の発明の開始点制御部は、認識
結果に従って休止点と一致する開始点を次の認識処理に
対する開始点として指定する開始点制御部を有しても良
い。
【0010】更に、第3の発明の開始点制御部は、休止
点と対応あるいは一致する開始点を次の認識処理に対す
る開始点とし、更に休止点から文の先頭に至る単語の接
続点に含まれる開始点を次の認識処理に対する開始点と
して指定する開始点制御部を有しても良い。
【0011】
【発明の実施の形態】本発明の音声認識装置は、例え
ば、参考文献1に示されるような、有限状態オートマト
ンで表現された文法に従い標準パターンを接続して連続
音声を認識する方法において、認識を開始する単語を制
御することにより、続きの発声および、言い直しの発声
の場合に効率よく音声を入力することができるようにす
るものである。ここで、有限状態オートマトンに対し、
接続されている任意の単語から認識を開始することを指
定でき、任意の単語での認識の終了を指定することがで
きるとする。また、本発明の音声認識装置では、例えば
認識の単位に、特開平6−25909号公報で示される
300ミリ秒以上の無音区間であるポーズで区切られた
区間とすることができる。図3は、有限状態オートマト
ンで表現された文法にしたがった標準パターンの接続の
一例である。実線は単語単位の標準パターンをあらわ
す。標準パターンの先頭を認識を開始することのできる
開始点401〜404とし、最後尾の認識を終了するこ
とができる休止点405〜411とする。また、各単語
は、破線で表された接続情報で接続されている。
【0012】次に、図3を用いて本発明の音声認識装置
の、ポーズ後の発声が、ポーズ前の発声の続きの内容で
ある場合の認識の方法を従来の方法と比較しながら説明
する。例えば、ポーズによって、第1発声「神奈川県横
浜市」と、第2発声「港北区」に分かれている発声が入
力された場合、まず、認識処理の結果、第1発声の認識
結果「神奈川県横浜市」と、それに対応する休止点40
6が出力される。続いて、第2発声が入力された場合の
処理について説明する。従来の有限状態オートマトンに
従って認識を行う音声認識装置で、第2発声の認識を行
う場合、第1発声と同様、開始点401〜404の全て
を認識の開始点として指定する方法を用いることができ
る。これにより、再度認識を開始することにより、第2
発声を認識できる。ただし、この場合は常に全ての単語
の探索を行う必要があるため、演算量が減ることがな
い。
【0013】一方、本発明における開始点制御部は、最
初に文の先頭の開始点401を指定し、音声認識部によ
って上記のような第1発声の認識結果が出力された後、
出力された休止点406の情報を基に、休止点406の
接続先である開始点403を新たな開始点として指定す
る。これにより、開始点403以降の文法のみ探索を行
うことになるので、探索範囲を従来より小さくすること
ができるので、演算量も減らすことができる。さらに、
認識対象の候補数が減るので、認識性能も向上する可能
性がある。また、本発明では、第1発声の認識結果「神
奈川県横浜市」は、第2発声の認識結果が「港北区」や
「金沢区」のいずれでも、「神奈川県横浜市」の認識結
果は変化せずに保存される。一方、従来の有限オートマ
トンに従って認識を行う音声認識装置では、「神奈川県
横浜市港北区」の発声全体が「神奈川県川崎市中原区」
に近い場合、第1発声の認識結果である「神奈川県横浜
市」は「神奈川県川崎市」に変化してしまうので、「神
奈川県横浜市」の認識結果が生かされない。
【0014】次に、図3を用いて本発明の第3の発明の
音声認識装置の、ポーズ後の発声が、ポーズ前の発声の
言い直しの内容である場合の認識の方法を、従来の方法
と比較しながら説明する。例えば、第1発声「神奈川県
横浜市」の後ポーズをおいて、第2発声に「横浜市」の
言い直しである「川崎市」が入力された場合、先ず第1
発声の認識結果「神奈川県横浜市」に対応する休止点4
06が出力される。続いて、第2発声が入力された場
合、開始点401〜404の全てを認識の開始点として
指定するような従来の方法では、全ての単語の探索を行
うことにより言い直しを認識することも可能である。た
だし、演算量が減ることがない。
【0015】一方、本発明における第2開始点制御部で
は、最初に文の先頭の開始点101を認識の開始点とし
て指定し、音声認識部によって上記のような第1発声の
認識結果が出力された場合、休止点406の接続先であ
る開始点403に加えて、文の始まりから休止点406
に至る単語列である単語の開始点402と、開始点40
2の接続元の単語の開始点401が新たな認識の開始点
として指定される。これにより、開始点404から開始
される単語など、指定された開始点以外の探索を行う必
要がないため、探索範囲を従来より小さくすることがで
きる。これにより、演算量も減らすことができ、認識性
能も向上する。
【0016】
【実施例】次に、本発明による実施例を図面を用いて詳
細に説明する。図1は、本発明の音声認識装置の第1の
実施例の形態を示すブロック図である。第1の実施例の
音声認識装置は、音声認識部101と、辞書記録部10
2と、第1開始点制御部103と、から構成されてい
る。辞書記録部102は、登録された複数の認識対象の
単語の音響的特徴を表す標準パターンと、各単語の接続
情報と開始点情報と休止点情報が記録されている。各単
語の標準パターンや接続情報と休止情報と開始点情報の
1例として、先に説明した図3のような有限状態オート
マトンで表現された文法を用いることにする。音声認識
部101は、入力信号Sから、特開平6−25909号
公報に示されるようにパワー情報を用いて音声区間とポ
ーズを検出し、音声区間を辞書記録部102に記録され
ている情報を用いて、参考文献1のような、有限状態オ
ートマトンで記述された文法に従う連続音声認識を行
う。ポーズが検出された場合、単語列と、それに対応す
る休止点と、その休止点の接続先の開始点を認識結果R
として出力する。第1開始点制御部103は、音声認識
部101から出力された認識結果R中の休止点を基に、
認識結果R中の休止点の接続先の開始点に設定し、この
設定された開始点を、次の発声を認識するための開始点
情報Aとして出力する。
【0017】次に動作を説明する。例えば、第1発声
「神奈川県横浜市」と第2発声「港北区」が、発声の間
にポーズを挿入して発声されたとする。最初、開始点情
報Aには、文の始まりの開始点401が指定されてい
る。音声認識部101は、第1発声「神奈川県横浜市」
の入力信号Sが入力され、開始点情報Aである開始点4
01から単語の探索を行う。ポーズが検出された場合、
類似度が最大の単語列「神奈川県横浜市」とそれに対応
する休止点406と休止点406の接続先の開始点40
3を認識結果Rとして出力する。第1開始点制御部10
3は、認識結果Rが入力され、認識結果R中の休止点4
06の接続先である開始点403を第2発声の音声認識
の単語の探索の開始点に指定し、開始点情報Aとして出
力する。音声認識部101は、開始点403から、第2
発声の単語の探索を行う。これにより、認識結果Rの単
語「港北区」が得られる。
【0018】以下、本発明に対する第2の実施例を図面
を用いて説明する。図2は、第2の実施例の音声認識装
置を示すブロック図である。第2の実施例の音声認識装
置は、音声認識部101と、辞書記録部102と、第2
開始点制御部201と、から構成されている。音声認識
部101と、辞書記録部102は、第1実施例と共通で
ある。第2開始点制御部201は、辞書記録部102を
参照し、次の発声を認識するための開始点を認識結果R
中の休止点の接続先と、同休止点の単語の開始点と、同
休止点の単語の接続元の単語の開始点と、更に文の始ま
りまでさかのぼった開始点全てを、開始点情報Aとして
出力する。
【0019】次に動作を説明する。例えば、第1発声
「神奈川県横浜市」と第2発声「川崎市」が、発声の間
にポーズを挿入して発声されたとする。最初、開始点情
報Aには、文の始まりの開始点401が指定されてい
る。音声認識部101は、第1発声「神奈川県横浜市」
の入力信号Sが入力され、開始点情報Aである開始点4
01から単語の探索を行う。ポーズが検出された場合、
類似度が最大の単語列である「神奈川県横浜市」とそれ
に対応する休止点406とを認識結果Rとして出力す
る。第2開始点制御部201は、辞書記録部102を参
照し、認識結果R中の休止点406の接続先である開始
点403と、休止点406の単語「横浜市」の開始点4
02と、休止点406の単語「横浜市」の接続元の単語
「神奈川県」の開始点401を、第2発声の音声認識の
単語の探索の開始点に指定し、開始点情報Aとして出力
する。音声認識部101は、開始点401〜403か
ら、第2発声の単語の探索を行う。これにより、認識結
果Rの単語「川崎市」が得られる。
【0020】以上、本発明による実施例を説明したが、
上記で用いることのできる音声認識方法は、参考文献1
で用いられているDPマッチングに限定されるものでは
なく、株式会社オーム社で出版された株式会社国際電気
通信基礎技術研究所編の「ATR先端テクノロジーシリ
ーズ自動翻訳電話」(以下参考文献2と称する)の20
〜38ページに示されるようなHMMによる方法等も用
いることができる。また、単語の接続情報は、上記に限
定されるものではなく、参考文献2の49〜68ページ
に示されるような、文脈自由文法等の文法等によって
も、表現できる。さらに、上記では、認識の単位にポー
ズによって区切られた区間を用いたが、ワードスポティ
ング等の方法によっての抽出された単語列を認識の単位
に用いることもできる。本発明による第2実施例による
音声認識装置の第2開始点制御部201では、認識結果
Rの休止点から、文の始まりまでさかのぼって全ての開
始点を開始点情報Aとして選択しているが、例えば1つ
前の単語迄のように定められた1部に限定することもで
きる。
【0021】
【発明の効果】以上に説明したように、本発明によれば
ポーズ等の後に、次の発声の認識を行うために、ポーズ
の前の認識結果の続きの発声の認識に必要な開始点や、
ポーズの前の認識結果に対する言い直しの発声の認識に
必要な開始点を指定することによって、ポーズの後の発
声の認識を行う際の単語の探索範囲が減少するため、演
算量が減り、認識性能を向上させることができる。ま
た、続きの認識を行う場合、既に確認された認識結果は
変化しないので、使いやすい音声認識装置を提供でき
る。
【図面の簡単な説明】
【図1】本発明の第1の実施例を説明するためのブロッ
ク図である。
【図2】本発明の第2の実施例を説明するためのブロッ
ク図である。
【図3】有限状態オートマトンの一例を説明するための
【符号の説明】
101 音声認識部 102 辞書記録部 103 第1開始点制御部 201 第2開始点制御部 S 入力信号 R 認識結果 A 開始点情報

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 認識対象の単語に関する単語情報と各単
    語の接続関係の情報と文が始まる可能性のある接続点で
    ある1つ以上の開始点の情報と文が区切れる可能性のあ
    る接続点である1つ以上の休止点の情報とを含む辞書情
    報を保持する辞書記録部と、 前記辞書情報をもとにあらかじめ指定された1つ以上の
    開始点から入力された音声に対する認識処理を行い休止
    点までの認識結果を出力する音声認識部と、 前記認識結果に従って前記休止点に対応する開始点を次
    の認識処理に対する開始点として指定する開始点制御部
    を有する音声認識装置。
  2. 【請求項2】 前記開始点制御部が、 前記認識結果に従って前記休止点と一致する開始点を次
    の認識処理に対する開始点として指定する開始点制御部
    を有する請求項1記載の音声認識装置。
  3. 【請求項3】 前記開始点制御部が、 前記休止点と対応する開始点と、更に前記休止点から文
    の先頭に至る単語の接続点に含まれる開始点とを次の認
    識処理に対する開始点として指定する開始点制御部を有
    する請求項1記載の音声認識装置。
  4. 【請求項4】 前記開始点制御部が、 前記休止点と一致する開始点と、更に前記休止点から文
    の先頭に至る単語の接続点に含まれる開始点とを次の認
    識処理に対する開始点として指定する開始点制御部を有
    する請求項2記載の音声認識装置。
  5. 【請求項5】 前記辞書情報が、 認識対象となる単語に関する音声パターンを含む単語情
    報と、 前記単語の接続位置を示す位置情報と、 文が始まる可能性のある接続点である1つ以上の開始点
    情報と、 文が区切れる可能性のある接続点である1つ以上の休止
    点情報を含む辞書情報を有する請求項1記載の音声認識
    装置。
  6. 【請求項6】 前記休止点と対応する開始点が、 任意の単語情報の1つの休止点に接続する可能性のある
    複数の前記単語情報の開始点である請求項1または3記
    載の音声認識装置。
  7. 【請求項7】 前記休止点と一致する開始点が、 任意の単語情報の1つの休止点に接続される複数の前記
    単語情報の中から選択された開始点である請求項2また
    は4記載の音声認識装置。
JP9172067A 1997-06-27 1997-06-27 音声認識装置 Expired - Fee Related JP3058125B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9172067A JP3058125B2 (ja) 1997-06-27 1997-06-27 音声認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9172067A JP3058125B2 (ja) 1997-06-27 1997-06-27 音声認識装置

Publications (2)

Publication Number Publication Date
JPH1124693A true JPH1124693A (ja) 1999-01-29
JP3058125B2 JP3058125B2 (ja) 2000-07-04

Family

ID=15934929

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9172067A Expired - Fee Related JP3058125B2 (ja) 1997-06-27 1997-06-27 音声認識装置

Country Status (1)

Country Link
JP (1) JP3058125B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1138994A (ja) * 1997-07-17 1999-02-12 Denso Corp 音声認識装置及びナビゲーションシステム
JP2002372986A (ja) * 2002-05-09 2002-12-26 Denso Corp 音声認識装置及びナビゲーションシステム
US7672846B2 (en) 2005-08-24 2010-03-02 Fujitsu Limited Speech recognition system finding self-repair utterance in misrecognized speech without using recognized words
WO2012093451A1 (ja) * 2011-01-07 2012-07-12 日本電気株式会社 音声認識システム、音声認識方法および音声認識プログラム
US8706487B2 (en) 2006-12-08 2014-04-22 Nec Corporation Audio recognition apparatus and speech recognition method using acoustic models and language models
KR101422020B1 (ko) * 2007-11-27 2014-07-23 엘지전자 주식회사 음성 인식 방법 및 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002149187A (ja) 2000-11-07 2002-05-24 Sony Corp 音声認識装置および音声認識方法、並びに記録媒体

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1138994A (ja) * 1997-07-17 1999-02-12 Denso Corp 音声認識装置及びナビゲーションシステム
JP2002372986A (ja) * 2002-05-09 2002-12-26 Denso Corp 音声認識装置及びナビゲーションシステム
US7672846B2 (en) 2005-08-24 2010-03-02 Fujitsu Limited Speech recognition system finding self-repair utterance in misrecognized speech without using recognized words
US8706487B2 (en) 2006-12-08 2014-04-22 Nec Corporation Audio recognition apparatus and speech recognition method using acoustic models and language models
KR101422020B1 (ko) * 2007-11-27 2014-07-23 엘지전자 주식회사 음성 인식 방법 및 장치
WO2012093451A1 (ja) * 2011-01-07 2012-07-12 日本電気株式会社 音声認識システム、音声認識方法および音声認識プログラム

Also Published As

Publication number Publication date
JP3058125B2 (ja) 2000-07-04

Similar Documents

Publication Publication Date Title
US5865626A (en) Multi-dialect speech recognition method and apparatus
US6243680B1 (en) Method and apparatus for obtaining a transcription of phrases through text and spoken utterances
EP0974141B1 (en) Extensible speech recognition system that provides a user with audio feedback
US6910012B2 (en) Method and system for speech recognition using phonetically similar word alternatives
EP0769184B1 (en) Speech recognition methods and apparatus on the basis of the modelling of new words
EP2048655B1 (en) Context sensitive multi-stage speech recognition
US20050033575A1 (en) Operating method for an automated language recognizer intended for the speaker-independent language recognition of words in different languages and automated language recognizer
EP0664535A2 (en) Large vocabulary connected speech recognition system and method of language representation using evolutional grammar to represent context free grammars
JP2000122691A (ja) 綴り字読み式音声発話の自動認識方法
JPH10198396A (ja) ユーザが定義したフレーズの話者に依存しない認識方法及びシステム
JPH06214587A (ja) 事前指定ワードスポッティングサブシステム及び事前ワードスポッティング方法
US5706397A (en) Speech recognition system with multi-level pruning for acoustic matching
US6546369B1 (en) Text-based speech synthesis method containing synthetic speech comparisons and updates
JP2002215187A (ja) 音声認識方法及びその装置
JP3058125B2 (ja) 音声認識装置
JP3277579B2 (ja) 音声認識方法および装置
JP2820093B2 (ja) 単音節認識装置
JP2000056795A (ja) 音声認識装置
JP2005157166A (ja) 音声認識装置、音声認識方法及びプログラム
US6934680B2 (en) Method for generating a statistic for phone lengths and method for determining the length of individual phones for speech synthesis
JP3039453B2 (ja) 音声認識装置
JP2738403B2 (ja) 音声認識装置
JP3532248B2 (ja) 学習音声パタンモデル使用音声認識装置
JP2002082691A (ja) 発声内に含まれる会社名の自動認識方法
JP3818154B2 (ja) 音声認識方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080421

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090421

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100421

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110421

Year of fee payment: 11

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110421

Year of fee payment: 11

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120421

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120421

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130421

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140421

Year of fee payment: 14

LAPS Cancellation because of no payment of annual fees