JP5218459B2 - 車両用情報端末及びプログラム - Google Patents
車両用情報端末及びプログラム Download PDFInfo
- Publication number
- JP5218459B2 JP5218459B2 JP2010070180A JP2010070180A JP5218459B2 JP 5218459 B2 JP5218459 B2 JP 5218459B2 JP 2010070180 A JP2010070180 A JP 2010070180A JP 2010070180 A JP2010070180 A JP 2010070180A JP 5218459 B2 JP5218459 B2 JP 5218459B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- voice information
- recognition result
- point
- unrecognizable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、上述の課題に鑑みてなされたものであり、その目的は、音声認識できなかった音声情報をその後の操作に基づいて音声認識に係る辞書に適切に記憶させることにより、音声認識できなかった音声情報を適切に音声認識させることができる車両用情報端末およびプログラムを提供することにある。
すなわち、発話者の発した音声情報を取得する音声情報取得手段、音声情報取得手段により取得された音声情報を認識処理する認識処理手段、認識処理手段により認識結果が得られたか否かを判断する認識結果判断手段、認識結果判断手段により認識結果が得られないと判断された場合、音声情報を認識不可音声情報として保持する音声情報保持手段、認識結果判断手段により認識結果が得られないと判断された後に実行された操作に基づき、認識不可音声情報に対応すると推定される地図上の推定地点を特定する地点特定手段、および、推定地点に関する推定地点情報と認識不可音声情報とを関連付けて記憶させる記憶制御手段、としてコンピュータを機能させるプログラムである。地点特定手段は、認識結果判断手段により認識結果が得られないと判断された後に車両のイグニッションがオフされた地点を推定地点として特定する。
また、発話者の発した音声情報を取得する音声情報取得手段、音声情報取得手段により取得された音声情報を認識処理する認識処理手段、認識処理手段により認識結果が得られたか否かを判断する認識結果判断手段、認識結果判断手段により認識結果が得られないと判断された場合、音声情報を認識不可音声情報として保持する音声情報保持手段、認識結果判断手段により認識結果が得られないと判断された後に実行された操作に基づき、認識不可音声情報に対応すると推定される地図上の推定地点を特定する地点特定手段、および、推定地点に関する推定地点情報と認識不可音声情報とを関連付けて記憶させる記憶制御手段、認識結果判断手段により認識結果が得られないと判断された後、目的地の設定に係る情報が取得されたか否かを判断する新情報取得判断手段としてコンピュータを機能させるプログラムである。地点特定手段は、新情報取得判断手段により目的地の設定に係る情報が取得されたと判断された場合、目的地の設定に係る情報に基づいて推定地点を特定し、新情報取得判断手段により目的地の設定に係る情報が取得されていないと判断された場合、車両のイグニッションがオフされた地点を推定地点として特定する。
さらにまた、発話者の発した音声情報を取得する音声情報取得手段、音声情報取得手段により取得された音声情報を認識処理する認識処理手段、認識処理手段により認識結果が得られたか否かを判断する認識結果判断手段、認識結果判断手段により認識結果が得られないと判断された場合、音声情報を認識不可音声情報として保持する音声情報保持手段、認識結果判断手段により認識結果が得られないと判断された後に実行された操作に基づき、認識不可音声情報に対応すると推定される地図上の推定地点を特定する地点特定手段、および、推定地点に関する推定地点情報と認識不可音声情報とを関連付けて記憶させる記憶制御手段、認識不可音声情報の発話に至る事前情報が取得されている場合、推定地点情報に含まれる属性情報と事前情報とが一致するか否かを判断する一致判断手段、としてコンピュータを機能させるプログラムである。記憶制御手段は、一致判断手段により属性情報と事前情報とが一致すると判断された場合、推定地点情報と認識不可音声情報とを関連付けて記憶させる。
このようなプログラムを実行することで、上述の車両用情報端末と同様の効果が奏される。
(一実施形態)
図1は、本発明の一実施形態による車両用情報端末としてのナビゲーション装置1の全体構成を示すブロック図である。ナビゲーション装置1は、制御部10を中心に構成されており、制御部10に接続される位置検出器20、地図データ記憶部30、音声認識情報記憶部40、操作スイッチ群50、音声入力部60、音声出力部70、描画部80等を備えている。
位置検出器20は、いずれも周知の地磁気センサ21、ジャイロスコープ22、距離センサ23、および、衛星からの電波を受信するGPS(Global Positioning System)受信機24等を有している。これらのセンサ21〜24は、各々が性質の異なる誤差を持っているため、相互に補完しながら使用される。
音声出力部70には、音声を出力するためのスピーカ71が接続されている。
描画部80には、ディスプレイ81が接続されている。ディスプレイ81は、液晶やCRTを用いたカラーディスプレイである。このディスプレイ81を介して情報表示が行われる。
初めのステップS101(以下、「ステップ」を省略し、単に記号「S」で示す。)では、トークスイッチ51がオンされたことを検知する。
S102では、認識辞書41をセットする。
S104では、S103で取得した音声情報について認識処理を行う。ここでは、S103で取得された音声情報をA/D変換し、データ処理が可能な波形データに変換する。そして波形データと認識辞書41に記憶されている音声波形データとを照合し、認識候補を特定する。
取得される新たな情報は、操作スイッチ群50を介して入力された情報でもよいし、マイク61を介して入力された音声情報であってもよい。新たな情報が取得されていないと判断された場合(S111:NO)、S113へ移行する。新たな情報が取得されたと判断された場合(S111:YES)、S112へ移行する。
S112では、取得された新たな情報に基づき、目的地を設定する。
本実施形態においては、認識不可音声情報が保持された後に行われた目的地を設定する操作、或いは、認識音声付加情報が保持された後に車両のイグニッションをオフする操作が、「認識結果判断手段により認識結果が得られないと判断された後に実行された操作」に対応している。
S116では、施設のジャンルが予め設定されているか否かを判断する。本実施形態は、図3中のS107以前であって、S107に至る一連の操作処理において、施設のジャンルが設定されているか否かを判断する。ここで、「一連の操作処理」とは、例えば音声認識や操作スイッチ群50を介した操作によりジャンル「ラーメン屋」が設定されており、「どこのラーメン屋ですか?」という問いかけに対する回答として、ユーザがトークスイッチ51をオンして図2および図3に示す処理が行われる場合におけるジャンル「ラーメン屋」を設定する操作処理である。換言すると、ジャンルが設定されていることを前提により詳細な情報の入力をユーザに促す場合における当該ジャンルの設定に係る操作処理が「一連の操作処理」と対応している、といえる。また本実施形態では、予め設定されている施設のジャンル(以下、「設定施設ジャンル」という。)に関する情報が「認識不可音声の発話に至る事前情報」に対応している。施設のジャンルが予め設定されていない場合(S116:NO)、S118へ移行する。施設のジャンルが予め設定されている場合(S116:YES)、S117へ移行する。
(1)具体例1
具体例1、2では、目的地を設定する際に、発話者が「おじいちゃん家」という単語を発話した例である。具体例1では、「おじいちゃん家」が認識できなかった後に目的地を設定した場合の辞書登録処理を説明する。
具体例2では、「おじいちゃん家」の波形データAを認識不可音声情報として保持した後(S107)、目的地の設定に係る新たな情報が取得されなかった場合(S111:NO)の辞書登録処理を説明する。
この例では、目的地を設定せずに走行しているので、「おじいちゃん家」の波形データAを認識不可音声情報として保持した(S107)後にイグニッションがオフされた地点が目的地として設定しようとした「おじいちゃん家」に対応する地点である蓋然性が高い。そこで本実施形態では、「おじいちゃん家」の波形データAを認識不可音声情報として保持した後(S107)、目的地が設定されなかった場合(S111:NO)、イグニッションがオフされた地点を「おじいちゃん家」の波形データAに対応すると推定される推定地点として特定し(S113:YES、S114)、推定地点に関する推定地点情報を取得する(S115)。
具体例3では、発話者の発した音声情報に基づいて目的地の施設のジャンルを設定する場合を説明する。
スピーカ71を介して「ジャンルを発話して下さい」といったジャンルを問う音声が出力され、発話者がトークスイッチ51をオンにすると(S101)、ジャンルに関する認識辞書41がセットされる(S102)。次いで、発話者が「コンビニ」と発話したものとする。すると、発話された「コンビニ」が音声情報として取得され(S103)、認識処理が行われる(S104)。「コンビニ」の波形データBに対応する音声波形データが認識辞書41に「ジャンル」として記憶されておらず、認識結果が得られない場合(S105:NO)、「認識できませんでした」といった音声を出力するとともに、「コンビニ」の波形データBを認識不可音声情報として保持する(S107)。
具体例4では、目的地の施設のジャンルが予め設定されている場合の辞書登録処理を説明する。
スピーカ71を介して「ジャンルを発話して下さい」といった音声が出力され、ジャンルが質問されていた場合であって、発話者が「ラーメン屋」と発話したものとする。すると、「ラーメン屋」の波形データCが音声情報として取得され(S103)、認識処理が行われ(S104)、「ラーメン屋」が認識候補として特定された場合(S105:YES)、認識候補が出力される(S106)。この例では、「どこのラーメン屋ですか?」という新たな入力を促す音声がスピーカ71を介して出力され(S106)、図3に示す音声認識処理を終了する。このとき、目的地の施設のジャンルとして「ラーメン屋」が設定され、内部的に記憶される。ここまでの処理が、次に行われる音声認識処理のS107に至る一連の操作処理に対応し、「ラーメン屋」が「認識不可音声情報の発話に至る事前情報」に対応している。
本実施形態では、登録のための操作をユーザがしなくても推定地点情報と認識不可音声情報とを関連付けて記憶させることにより、認識不可音声情報を音声認識可能な情報として自動的に記憶させることができる。
(ア)地点特定手段
上記実施形態では、目的地の設定に係る新たな情報が取得されていないと判断された場合(S111:NO)、イグニッションがオフされたか否かを判断し(S113)、イグニッションがオフされた地点を推定地点として特定した。変形例では、目的地の設定に係る新たな情報が取得されたか否かの判断を省略し、イグニッションがオフされた地点を推定地点として特定するように構成してもよい。これにより、認識不可音声情報に対応すると推定される推定地点を容易に特定することができる。
上記実施形態では、推定地点情報に含まれる目的地の施設のジャンルと事前情報としての設定施設ジャンルとが一致するか否かを判断し(S117)、推定地点情報に含まれる目的地の施設のジャンルと設定施設ジャンルとが一致する場合(S117:YES)、認識不可音声情報と推定地点情報とを関連付けて記憶した。事前情報は、施設のジャンルに限らず、S107に至る一連の操作において取得された情報であればどのような情報であってもよい。
上記実施形態では、認識辞書には、音声情報としてA/D変換された波形データが記憶されていた。変形例では、認識辞書の音声情報は、音素列として記憶されていてもよい。この場合、認識不可音声情報についても、波形データに替えて音素列として保持するように構成してもよい。
図3中のS106にて認識結果を出力した後、認識結果が発話者の意図したものであるか否かを判断するステップを追加してもよい。例えば、スピーカ71を介し「これでよろしいですか?」といった音声を発することにより発話者に確認を促し、マイク61を介して入力された音声情報または操作スイッチ群50を操作することにより入力された情報を取得し、取得された情報に基づいて認識結果が発話者の意図したものであるか否かを判断する。認識結果が発話者の意図したものでないと判断された場合、S107へ移行し、S103にて取得した音声情報の波形データを認識不可音声情報として保持するように構成してもよい。
さらにまた、図4中のS118の直前に、認識音声不可情報と推定地点情報とを関連付けて記憶させるか否かの判断を発話者に促す処理を追加し、認識音声不可情報と推定地点情報とを関連付けて記憶させない旨の情報が取得された場合、S118の処理を行わないように構成してもよい。
上記実施形態では、認識不可音声情報に対応すると推定される地図上の推定地点と認識不可音声情報とを関連付けて記憶させた。変形例では、認識不可音声情報と、車両用情報端末の操作に係る情報とを関連付けて記憶するように構成してもよい。具体的には、例えば、「空調を消す」という音声情報が取得されたが認識できなかった場合、「空調を消す」の音声データの波形データFを認識不可音声情報として保持する。そして、その後エアコンをオフにする操作がなされた場合、「空調を消す」の音声データの波形データFとエアコンをオフにする操作情報とを関連付けて記憶する、といった具合である。
Claims (7)
- 発話者の発した音声情報を取得する音声情報取得手段と、
前記音声情報取得手段により取得された前記音声情報を認識処理する認識処理手段と、
前記認識処理手段により認識結果が得られたか否かを判断する認識結果判断手段と、
前記認識結果判断手段により前記認識結果が得られないと判断された場合、前記音声情報を認識不可音声情報として保持する音声情報保持手段と、
前記認識結果判断手段により前記認識結果が得られないと判断された後に実行された操作に基づき、前記認識不可音声情報に対応すると推定される地図上の推定地点を特定する地点特定手段と、
前記推定地点に関する推定地点情報と前記認識不可音声情報とを関連付けて記憶させる記憶制御手段と、
を備え、
前記地点特定手段は、前記認識結果判断手段により前記認識結果が得られないと判断された後に車両のイグニッションがオフされた地点を前記推定地点として特定することを特徴とする車両用情報端末。 - 発話者の発した音声情報を取得する音声情報取得手段と、
前記音声情報取得手段により取得された前記音声情報を認識処理する認識処理手段と、
前記認識処理手段により認識結果が得られたか否かを判断する認識結果判断手段と、
前記認識結果判断手段により前記認識結果が得られないと判断された場合、前記音声情報を認識不可音声情報として保持する音声情報保持手段と、
前記認識結果判断手段により前記認識結果が得られないと判断された後に実行された操作に基づき、前記認識不可音声情報に対応すると推定される地図上の推定地点を特定する地点特定手段と、
前記推定地点に関する推定地点情報と前記認識不可音声情報とを関連付けて記憶させる記憶制御手段と、
前記認識結果判断手段により前記認識結果が得られないと判断された後、目的地の設定に係る情報が取得されたか否かを判断する新情報取得判断手段と、
を備え、
前記地点特定手段は、
前記新情報取得判断手段により前記目的地の設定に係る情報が取得されたと判断された場合、前記目的地の設定に係る情報に基づいて前記推定地点を特定し、
前記新情報取得判断手段により前記目的地の設定に係る情報が取得されていないと判断された場合、車両のイグニッションがオフされた地点を前記推定地点として特定することを特徴とする車両用情報端末。 - 前記認識不可音声情報の発話に至る事前情報が取得されている場合、前記推定地点情報に含まれる属性情報と前記事前情報とが一致するか否かを判断する一致判断手段を備え、
前記記憶制御手段は、前記一致判断手段により前記属性情報と前記事前情報とが一致すると判断された場合、前記推定地点情報と前記認識不可音声情報とを関連付けて記憶させることを特徴とする請求項1または2に記載の車両用情報端末。 - 発話者の発した音声情報を取得する音声情報取得手段と、
前記音声情報取得手段により取得された前記音声情報を認識処理する認識処理手段と、
前記認識処理手段により認識結果が得られたか否かを判断する認識結果判断手段と、
前記認識結果判断手段により前記認識結果が得られないと判断された場合、前記音声情報を認識不可音声情報として保持する音声情報保持手段と、
前記認識結果判断手段により前記認識結果が得られないと判断された後に実行された操作に基づき、前記認識不可音声情報に対応すると推定される地図上の推定地点を特定する地点特定手段と、
前記推定地点に関する推定地点情報と前記認識不可音声情報とを関連付けて記憶させる記憶制御手段と、
前記認識不可音声情報の発話に至る事前情報が取得されている場合、前記推定地点情報に含まれる属性情報と前記事前情報とが一致するか否かを判断する一致判断手段と、
を備え、
前記記憶制御手段は、前記一致判断手段により前記属性情報と前記事前情報とが一致すると判断された場合、前記推定地点情報と前記認識不可音声情報とを関連付けて記憶させることを特徴とする車両用情報端末。 - 発話者の発した音声情報を取得する音声情報取得手段、
前記音声情報取得手段により取得された前記音声情報を認識処理する認識処理手段、
前記認識処理手段により認識結果が得られたか否かを判断する認識結果判断手段、
前記認識結果判断手段により前記認識結果が得られないと判断された場合、前記音声情報を認識不可音声情報として保持する音声情報保持手段、
前記認識結果判断手段により前記認識結果が得られないと判断された後に実行された操作に基づき、前記認識不可音声情報に対応すると推定される地図上の推定地点を特定する地点特定手段、
および、前記推定地点に関する推定地点情報と前記認識不可音声情報とを関連付けて記憶させる記憶制御手段、
としてコンピュータを機能させるプログラムであって、
前記地点特定手段は、前記認識結果判断手段により前記認識結果が得られないと判断された後に車両のイグニッションがオフされた地点を前記推定地点として特定することを特徴とするプログラム。 - 発話者の発した音声情報を取得する音声情報取得手段、
前記音声情報取得手段により取得された前記音声情報を認識処理する認識処理手段、
前記認識処理手段により認識結果が得られたか否かを判断する認識結果判断手段、
前記認識結果判断手段により前記認識結果が得られないと判断された場合、前記音声情報を認識不可音声情報として保持する音声情報保持手段、
前記認識結果判断手段により前記認識結果が得られないと判断された後に実行された操作に基づき、前記認識不可音声情報に対応すると推定される地図上の推定地点を特定する地点特定手段、
および、前記推定地点に関する推定地点情報と前記認識不可音声情報とを関連付けて記憶させる記憶制御手段、
前記認識結果判断手段により前記認識結果が得られないと判断された後、目的地の設定に係る情報が取得されたか否かを判断する新情報取得判断手段、
としてコンピュータを機能させるプログラムであって、
前記地点特定手段は、
前記新情報取得判断手段により前記目的地の設定に係る情報が取得されたと判断された場合、前記目的地の設定に係る情報に基づいて前記推定地点を特定し、
前記新情報取得判断手段により前記目的地の設定に係る情報が取得されていないと判断された場合、車両のイグニッションがオフされた地点を前記推定地点として特定することを特徴とするプログラム。 - 発話者の発した音声情報を取得する音声情報取得手段、
前記音声情報取得手段により取得された前記音声情報を認識処理する認識処理手段、
前記認識処理手段により認識結果が得られたか否かを判断する認識結果判断手段、
前記認識結果判断手段により前記認識結果が得られないと判断された場合、前記音声情報を認識不可音声情報として保持する音声情報保持手段、
前記認識結果判断手段により前記認識結果が得られないと判断された後に実行された操作に基づき、前記認識不可音声情報に対応すると推定される地図上の推定地点を特定する地点特定手段、
および、前記推定地点に関する推定地点情報と前記認識不可音声情報とを関連付けて記憶させる記憶制御手段、
前記認識不可音声情報の発話に至る事前情報が取得されている場合、前記推定地点情報に含まれる属性情報と前記事前情報とが一致するか否かを判断する一致判断手段、
としてコンピュータを機能させるプログラムであって、
前記記憶制御手段は、前記一致判断手段により前記属性情報と前記事前情報とが一致すると判断された場合、前記推定地点情報と前記認識不可音声情報とを関連付けて記憶させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010070180A JP5218459B2 (ja) | 2010-03-25 | 2010-03-25 | 車両用情報端末及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010070180A JP5218459B2 (ja) | 2010-03-25 | 2010-03-25 | 車両用情報端末及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011203455A JP2011203455A (ja) | 2011-10-13 |
JP5218459B2 true JP5218459B2 (ja) | 2013-06-26 |
Family
ID=44880161
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010070180A Expired - Fee Related JP5218459B2 (ja) | 2010-03-25 | 2010-03-25 | 車両用情報端末及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5218459B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112012006997B4 (de) * | 2012-10-10 | 2019-05-23 | Mitsubishi Electric Corporation | Navigationsvorrichtung |
KR101597528B1 (ko) * | 2014-07-15 | 2016-03-07 | 현대자동차주식회사 | 내비게이션 장치 및 그 제어 방법 |
JP6298806B2 (ja) * | 2015-12-10 | 2018-03-20 | 株式会社リクルートライフスタイル | 音声翻訳システム及びその制御方法、並びに音声翻訳プログラム |
WO2019039352A1 (ja) * | 2017-08-25 | 2019-02-28 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
CN114061615A (zh) * | 2021-11-26 | 2022-02-18 | 歌尔科技有限公司 | 基于耳机的导航方法、装置、耳机及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3948441B2 (ja) * | 2003-07-09 | 2007-07-25 | 松下電器産業株式会社 | 音声認識方法及び、車載装置 |
JP4816409B2 (ja) * | 2006-01-10 | 2011-11-16 | 日産自動車株式会社 | 認識辞書システムおよびその更新方法 |
-
2010
- 2010-03-25 JP JP2010070180A patent/JP5218459B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011203455A (ja) | 2011-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107851437B (zh) | 语音操作系统、服务器装置、车载设备和语音操作方法 | |
US8209177B2 (en) | Voice recognition system having articulated talk-back feature | |
JP5218459B2 (ja) | 車両用情報端末及びプログラム | |
JP2013068532A (ja) | 情報端末、サーバー装置、検索システムおよびその検索方法 | |
JP4997796B2 (ja) | 音声認識装置、及びナビゲーションシステム | |
KR101063607B1 (ko) | 음성인식을 이용한 명칭 검색 기능을 가지는 네비게이션시스템 및 그 방법 | |
JP5217838B2 (ja) | 車載機器の操作装置及び車載機器の操作方法 | |
JP4914632B2 (ja) | ナビゲーション装置 | |
JP2016133378A (ja) | カーナビゲーション装置 | |
JP2009265019A (ja) | カーナビゲーション装置 | |
JP4942406B2 (ja) | ナビゲーション装置及びその音声出力方法 | |
JP5455355B2 (ja) | 音声認識装置及びプログラム | |
US9355639B2 (en) | Candidate selection apparatus and candidate selection method utilizing voice recognition | |
JP4453377B2 (ja) | 音声認識装置、プログラム及びナビゲーション装置 | |
JP3624698B2 (ja) | 音声認識装置、その装置を用いたナビゲーションシステム及び自動販売システム | |
JP4705398B2 (ja) | 音声案内装置、音声案内装置の制御方法及び制御プログラム | |
JP2006039954A (ja) | データベース検索装置、プログラム及びナビゲーション装置 | |
WO2006028171A1 (ja) | データ提示装置、データ提示方法、データ提示プログラムおよびそのプログラムを記録した記録媒体 | |
JP2010127770A (ja) | ナビゲーション装置及びナビゲーション方法 | |
JP2019109657A (ja) | ナビゲーション装置およびナビゲーション方法、ならびにプログラム | |
JP2007025076A (ja) | 車載用音声認識装置 | |
JP2008298522A (ja) | ナビゲーション装置、ナビゲーション装置の検索方法及び検索プログラム | |
JPH11325945A (ja) | 車載用ナビゲーション装置 | |
JP4952379B2 (ja) | ナビゲーション装置、ナビゲーション装置の検索方法及び検索プログラム | |
JP4941494B2 (ja) | 音声認識システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120229 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130218 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160315 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5218459 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |