JP4876198B1 - 情報出力装置、情報出力方法、情報出力プログラム及び情報システム - Google Patents

情報出力装置、情報出力方法、情報出力プログラム及び情報システム Download PDF

Info

Publication number
JP4876198B1
JP4876198B1 JP2011518099A JP2011518099A JP4876198B1 JP 4876198 B1 JP4876198 B1 JP 4876198B1 JP 2011518099 A JP2011518099 A JP 2011518099A JP 2011518099 A JP2011518099 A JP 2011518099A JP 4876198 B1 JP4876198 B1 JP 4876198B1
Authority
JP
Japan
Prior art keywords
candidate
speech recognition
statistical
candidates
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011518099A
Other languages
English (en)
Other versions
JPWO2012063360A1 (ja
Inventor
実 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Application granted granted Critical
Publication of JP4876198B1 publication Critical patent/JP4876198B1/ja
Publication of JPWO2012063360A1 publication Critical patent/JPWO2012063360A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3605Destination input or retrieval
    • G01C21/3608Destination input or retrieval using speech input, e.g. using speech recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)

Abstract

情報出力装置は、音声入力機能を有する装置に搭載され、利用者の音声入力に対して音声認識処理を実行して尤度を計算し、音声認識候補を出力する。一方、音声入力がなされた際の利用者の利用状況、例えば利用者が利用する日時に対応して、使用頻度の高い候補である統計候補が決定される。表示制御手段は、音声認識処理により得られた音声認識候補の尤度に応じて、音声認識候補と統計候補の表示件数の比率を決定し、表示部に表示する。音声認識結果の確からしさに応じて表示される音声認識候補と統計候補の比率を変えることにより、利用者に対して有益な候補を提示することが可能となる。
【選択図】図5

Description

本発明は、音声入力に対して、音声認識結果を含む情報を出力する手法に関する。
音声認識エンジンを搭載し、音声入力が可能なカーナビゲーション装置が知られている。一般的な音声認識機能は、利用者による音声入力に対して、音響的な音声認識結果として1候補のみを音声と画面とで知らせる。誤認識が発生した場合、又は、認識不能であった場合、利用者はやり直しのために再度音声入力を行う必要があるため、時間を要するとともに、利用者が煩わしさを感じることが多い。
このような不具合を解消するため、特許文献1に記載の音声認識装置は、利用者の行動を予測して動的に音声認識辞書を変更し、認識性能を改善している。具体的には、特許文献1は、ユーザの過去のホームページ閲覧履歴に基づいて音声認識辞書を変更している。
しかし、音声認識辞書を変更した場合でも、認識結果として利用者に提示される結果は1つのみであり、それが誤りである場合には、再度の音声入力が必要となる。また、利用者の行動の予測が外れた場合には、却って認識性能が低下する可能性もある。
特開2002−341892号公報
本発明が解決しようとする課題としては、上記のものが例として挙げられる。本発明は、利用者の音声入力に対して、音声認識結果を含む複数の情報を出力することにより、利用者による音声入力の利便性を向上させることを目的とする。
請求項1に記載の発明は、情報出力装置であって、音声を入力する入力手段と、入力された音声を音声認識して音声認識候補を出力する音声認識手段と、前記音声が入力された際の利用者の利用状況に対応して、使用頻度の高い候補である統計候補を決定する統計候補決定手段と、1以上の前記音声認識候補と1以上の前記統計候補とを表示部に表示する表示制御手段と、を備え、前記表示制御手段は、前記音声認識により得られた音声認識候補の尤度が高い場合には、前記表示部に表示する前記統計候補の表示件数の比率を、前記音声認識候補の表示件数の比率よりも高くさせ、前記表示制御手段は、前記音声認識候補と前記統計候補とで重複する候補が存在する場合、いずれか一方に代えて、次に尤度の高い音声認識候補又は次に使用頻度の高い統計候補を表示することを特徴とする。
請求項11に記載の発明は、表示部を有する情報出力装置において実行される情報出力方法であって、音声を入力する入力工程と、入力された音声を音声認識して音声認識候補を出力する音声認識工程と、前記音声が入力された際の利用者の利用状況に対応して、使用頻度の高い候補である統計候補を決定する統計候補決定工程と、1以上の前記音声認識候補と1以上の前記統計候補とを前記表示部に表示する表示制御工程と、を備え、前記表示制御工程は、前記音声認識により得られた音声認識候補の尤度が高い場合には、前記表示部に表示する前記統計候補の表示件数の比率を、前記音声認識候補の表示件数の比率よりも高くさせ、前記表示制御工程は、前記音声認識候補と前記統計候補とで重複する候補が存在する場合、いずれか一方に代えて、次に尤度の高い音声認識候補又は次に使用頻度の高い統計候補を表示することを特徴とする。
請求項12に記載の発明は、コンピュータを有する情報出力装置において実行される情報出力プログラムであって、音声を入力する入力手段、入力された音声を音声認識して音声認識候補を出力する音声認識手段、前記音声が入力された際の利用者の利用状況に対応して、使用頻度の高い候補である統計候補を推定する推定手段、1以上の前記音声認識候補と1以上の前記統計候補とを表示部に表示する表示制御手段、として前記コンピュータを機能させ、前記表示制御手段は、前記音声認識により得られた音声認識候補の尤度が高い場合には、前記表示部に表示する前記統計候補の表示件数の比率を、前記音声認識候補の表示件数の比率よりも高くさせ、前記表示制御手段は、前記音声認識候補と前記統計候補とで重複する候補が存在する場合、いずれか一方に代えて、次に尤度の高い音声認識候補又は次に使用頻度の高い統計候補を表示することを特徴とする。
実施例による情報システムの概略構成を示すブロック図である。 音声入力に対する候補の表示例を示す。 特定のコマンドの使用頻度を示すグラフである。 第1実施例における候補の表示例及び統計データベースの例を示す。 第1実施例による情報出力処理のフローチャートである。 第2実施例における候補の表示例を示す。 第2実施例における候補の表示例を示す。 第2実施例による情報出力処理のフローチャートである。 情報システムの他の構成例を示すブロック図である。 情報システムのさらに他の構成例を示すブロック図である。 情報システムのさらに他の構成例を示すブロック図である。
本発明の好適な実施形態では、情報出力装置は、音声を入力する入力手段と、入力された音声を音声認識して音声認識候補を出力する音声認識手段と、前記音声が入力された際の利用者の利用状況に対応して、使用頻度の高い候補である統計候補を決定する統計候補決定手段と、前記音声認識候補と前記統計候補とを表示部に表示する表示制御手段と、を備え、前記表示制御手段は、前記音声認識により得られた音声認識候補の尤度に応じて、前記音声認識候補と前記統計候補の表示件数の比率を決定する。
上記の情報出力装置は、音声入力機能を有する装置に搭載され、利用者の音声入力に対して音声認識処理を実行して音声認識候補を出力する。音声入力は、利用者が予め決められたコマンドを入力することにより行われ、音声認識候補とは利用者が入力した音声に対応するコマンドの候補である。また、音声認識処理では、音声認識候補毎に、その確からしさを示す尤度が算出される。一方、音声入力がなされた際の利用者の利用状況に対応して、使用頻度の高い候補である統計候補が決定される。利用者の利用状況は、例えば情報出力装置が搭載された装置を利用者が利用する日時を含む。表示制御手段は、音声認識処理により得られた音声認識候補の尤度に応じて、音声認識候補と統計候補の表示件数の比率を決定し、表示部に表示する。音声認識結果の確からしさに応じて表示される音声認識候補と統計候補の比率を変えることにより、利用者に対して有益な候補を提示することが可能となる。
上記の情報出力装置の一態様では、前記表示制御手段は、前記音声認識の結果、他の音声認識候補に対して所定の閾値以上に尤度の高い音声認識候補が存在する場合、音声認識候補の表示件数の比率を下げる。この場合、尤度の高い音声認識候補が正解である可能性が高いので、音声認識候補を表示する比率を下げ、より多数の統計候補を表示できるようにする。
好適な例では、前記統計候補は、利用者自身又は他の利用者による使用頻度が、他の候補の使用頻度よりも高い候補とする。使用頻度が高い候補を統計候補とすることにより、利用者にとって有益な候補を提示することができる。
他の好適な例では、前記統計候補決定手段は、前記音声が入力された日時における使用頻度が、他の候補の使用頻度よりも高い候補を統計候補として決定する。これにより、音声認識結果にかかわらず、その日時に頻繁に使用されるコマンドが利用者に提示される。
上記の情報出力装置の他の一態様では、前記表示制御手段は、前記音声認識候補と前記統計候補とで重複する候補が存在する場合、いずれか一方に代えて、次に尤度の高い音声認識候補又は次に使用頻度の高い統計候補を表示する。重複する候補を排除することにより、限られた表示スペースを有効に利用して、利用者により多数の候補を提示することができる。
上記の情報出力装置の他の一態様では、前記表示制御手段は、所定時間内に同一の音声が複数回入力された場合、前回表示した統計候補とは異なる統計候補を表示する。短い時間に同じ音声入力が繰り返し行われた場合には、同じ候補を繰り返し表示するのではなく、表示される候補を変更することにより、限られた表示スペースを有効に利用することができる。また、多数の候補を利用者に提示することにより、利用者にコマンドを学習する機会を与えることができる。
上記の情報出力装置の他の一態様では、前記表示制御手段は、表示すべき統計候補が示す状態が、その時点における状態と一致する場合、当該表示すべき統計候補に代えて、次に使用頻度の高い統計候補を表示する。表示すべき候補に対応するコマンドによる処理の結果が現在の状況と一致するような場合には、その候補を表示するメリットは少ないので、他の候補を表示する。
上記の情報出力装置の好適な例では、前記音声認識手段は、入力された音声を外部の音声認識装置へ送信し、当該外部の音声認識装置から音声認識候補を取得する。他の好適な例では、前記統計候補決定手段は、前記音声が入力された際の利用者の利用状況を示す情報をサーバへ送信し、当該利用状況に対応する統計候補を前記サーバから受信する。
本発明の他の観点では、情報システムは、上記の情報出力装置と、複数の前記情報出力装置から操作履歴情報を収集するとともに、収集した操作履歴情報に基づいて統計情報を生成するサーバと、を備え、前記統計候補決定手段は、前記サーバから配信された統計情報を用いて統計候補を決定する。この情報システムでは、サーバは多数の情報出力装置から操作履歴情報を収集して統計情報を生成するため、多数の利用者の履歴に基づいて統計候補を決定することが可能となる。
本発明の他の好適な実施形態は、表示部を有する情報出力装置において実行される情報出力方法であって、音声を入力する入力工程と、入力された音声を音声認識して音声認識候補を出力する音声認識工程と、前記音声が入力された際の利用者の利用状況に対応して、使用頻度の高い候補である統計候補を決定する統計候補決定工程と、前記音声認識候補と前記統計候補とを前記表示部に表示する表示制御工程と、を備え、前記表示制御工程は、前記音声認識により得られた音声認識候補の尤度に応じて、前記音声認識候補と前記統計候補の表示件数の比率を決定する。この方法によっても、音声認識結果の確からしさに応じて表示される音声認識候補と統計候補の比率を変えることにより、利用者に対して有益な候補を提示することが可能となる。
本発明の他の好適な実施形態は、コンピュータを有する情報出力装置において実行される情報出力プログラムであって、音声を入力する入力手段、入力された音声を音声認識して音声認識候補を出力する音声認識手段、前記音声が入力された際の利用者の利用状況に対応して、使用頻度の高い候補である統計候補を推定する推定手段、前記音声認識候補と前記統計候補とを表示部に表示する表示制御手段、として前記コンピュータを機能させ、前記表示制御手段は、前記音声認識により得られた音声認識候補の尤度に応じて、前記音声認識候補と前記統計候補の表示件数の比率を決定する。このプログラムをコンピュータにより実行することにより、上記の情報出力装置を実現することができる。なお、この情報出力プログラムは記憶媒体に記憶した状態で取り扱うことができる。
以下、図面を参照して本発明の好適な実施例について説明する。
[システム構成]
図1に、本発明の実施例に係る情報システムの概略構成を示す。図示のように、情報システムは、大別してサーバ10と、ナビゲーション装置20とを有する。サーバ10とナビゲーション装置20とは、無線通信などにより情報の送受信が可能である。
サーバ10は、サーバ装置12と、統計データベース(以下、データベースを「DB」と記す。)14とを備える。サーバ装置12は、CPU、メモリなどを有し、各種の処理を実行する。また、サーバ装置12は、ナビゲーション装置20との無線通信機能を備える。
統計DB14は、ナビゲーション装置20の音声入力において使用されるコマンドの使用頻度に関する統計情報を記憶している。この統計情報については後に詳しく説明する。
ナビゲーション装置20は、日時取得部21と、通信部22と、入力部23と、マイク24と、音声認識部25と、辞書DB26と、出力制御部27と、スピーカ28と、表示装置29と、制御部30と、履歴DB31とを備える。
日時取得部21は、現在の日時を取得する。なお、「日時」の語は、曜日と時間とを含むものとする。例えば、日時取得部21は、制御部30内のクロックを利用して日時を算出してもよく、図示しないGPS受信機がGPS衛生から受信するデータに含まれる日時情報を取得してもよい。
通信部22は、例えば携帯電話などを利用した通信機能とすることができ、サーバ10と無線通信を行う。入力部23は、利用者が必要な指示、選択を入力するために使用され、表示装置29の画面に設けられたタッチパネル、リモコン、ナビゲーション装置20本体に設けられた入力ボタンなどとすることができる。
利用者は、音声入力を行う場合、予め決められたコマンドを発話する。マイク24は、利用者が発話した音声を集音し、音声データとして音声認識部25へ供給する。通常、マイク24は、ナビゲーション装置20は運転席の周辺などに設置される。
音声認識部25は、利用者が発話した音声を、辞書DB26に記憶された音声認識辞書を利用して認識する。具体的には、音声認識部25は、マイク24から入力された音声データから音響特徴量を算出し、当該音声データ中の音声区間を検出して発話区間のみを抽出する。次に、音声認識部25は、例えば隠れマルコフモデル(HMM:Hidend Markov Model)などの手法を利用し、辞書DB26内の音声認識辞書を参照して、入力された音声データと一致するコマンドの候補(以下、「音声認識候補」と呼ぶ。)との一致度を示す尤度を計算する。こうして、音声認識部25は、利用者が発話した音声に対応する音声認識候補のうち、尤度が高い複数の音声認識候補を決定する。
出力制御部27は、スピーカ28を制御して案内音声などの音声を出力するとともに、表示装置29を制御して画像を表示する。具体的に、出力制御部27は、通常はナビゲーション装置20を搭載した車両の現在位置付近の地図データを表示装置29に表示する。また、ルート案内中には、出力制御部27は、案内ルートなどを表示装置29に表示し、案内地点においてスピーカ28から音声案内を出力する。さらに、詳細は後述するが、出力制御部27は、利用者による音声入力がなされた場合には、それに対する候補を表示装置29に表示する。
制御部30は、CPUなどにより構成され、予め用意されたプログラムを実行することにより、ナビゲーション装置20内の各構成要素を制御し、地図表示処理、ルート案内処理、音声入力に対する情報出力処理などを実行する。
履歴DB31は、ナビゲーション装置20の利用者が発話した音声に対応するコマンド、正確には音声認識候補の履歴を保存する。履歴DB31に保存された履歴は、当該利用者が使用したコマンドの履歴として、定期的にサーバ10へアップロードされ、統計DB14に記憶されている統計情報に反映される。
[第1実施例]
次に、第1実施例における、音声入力に対する情報出力方法について説明する。図2は、利用者の音声入力に対して表示装置29に表示される画面の例を示す。本例では、ナビゲーション装置20はルート案内の実行中であり、画面40の左側にはハイウェイモードで案内ルートが表示されている。一方、画面40の右側には、利用者の音声入力に対する出力情報が表示されている。
具体的に、本例では、利用者が1つのコマンドを発話することにより音声入力を行うと、候補表示部42には、3つのコマンドが候補として表示される。利用者は、3つの候補のうちに意図したコマンドが含まれる場合、その候補を選択することにより、音声入力の指示を確定させることができる。図2の例では、利用者が選択した候補が枠44により示されている。なお、3つの候補から1つの候補を選択する手法としては、利用者は、タッチパネルやリモコンなどの入力部23を操作してもよく、その候補に対応するコマンドを再度発話してもよい。
次に、本実施例における情報出力方法の特徴について説明する。本実施例では、利用者の音声入力に対して複数(上記の例では3つ)の候補を決定して表示するが、その複数の候補には、音声認識処理により得られた音声認識候補に加えて、統計情報に基づくコマンドの候補(以下、「統計候補」と呼ぶ。)を含める点に特徴を有する。即ち、ナビゲーション装置20は、利用者による音声入力に対して、音声認識処理により得られた音声認識候補と、統計情報に基づいて使用頻度が高いと認められる統計候補とを表示装置29に表示して利用者に提示する。
ここで、統計候補について詳しく説明する。図3に、統計情報の例を示す。この例は、コマンド「自宅に帰る」の曜日及び時間帯毎の使用割合を示している。即ち、コマンド「自宅に帰る」が、どの曜日のどの時間帯に頻繁に使用されているかを示している。図3に示すように、この例では、コマンド「自宅に帰る」は、ほぼどの曜日においても、夕方16時頃から深夜2時頃までの時間帯に頻繁に使用されている。
このように、特定のコマンドは、その使用頻度が統計的に日時(即ち、曜日及び時間)と相関関係を有する。上記の例以外に、例えばコマンド「TVを見る」は曜日を問わず朝と夕方に使用頻度が高く、コマンド「行き先を探索する」は土曜日、日曜日に使用頻度が高い。よって、音声入力に対する音声認識結果にかかわらず、音声入力がなされた日時に基づいて、その日時に使用頻度が高いコマンドを統計候補として利用者に提示すれば、利用者にとっては有益な情報となる。例えば、ある日の夕方に利用者により音声入力がなされた場合、統計的観点からは、その日時にはコマンド「自宅に帰る」が使用される確率が高いことがわかっている。よって、音声入力に応答して、音声認識候補とともに統計情報に基づく統計候補「自宅に帰る」を利用者に提示すれば、利用者の体感上の認識率を向上させることができる。
このように本実施例では、利用者による音声入力に対して、ナビゲーション装置20は、音声認識に基づく音声認識候補と、統計情報に基づく統計候補とを含む複数の候補を提示する。この場合、出力される候補の数は、2つ以上であればいくつでもかまわない。実際には、出力される候補数は、表示装置29において確保できる表示エリアの大きさに依存する。
以下、表示装置29に表示される候補は3つであるとし、表示される候補の例について説明する。いま、統計DB14に記憶されている統計情報のうち、月曜日の朝6〜7時において頻繁に使用されるコマンドの統計情報(使用頻度ランキング)が図4(c)に示すようであると仮定する。なお、図4(c)において、「順位」は使用頻度が高い順を示す。「順位(ナビ)」はナビゲーション装置20の操作に関連するコマンドに限定した場合の順位を示し、「順位(AV)」は車両のAV機能の操作に関連するコマンドに限定した場合の順位を示す。「順位(総合)」は、全てのコマンドを対象とした場合の順位を示す。「操作カテゴリ」は、操作の対象となる機器を示す。
利用者により音声入力がなされた場合、ナビゲーション装置20は、まず音声認識処理を行い、尤度が高い音声認識候補を複数抽出する。そして、音声認識処理による尤度が1位である音声認識候補と、尤度が2位である音声認識候補との尤度差の大小に応じて、候補として表示する内容を決定する。以下、尤度がn位である音声認識候補を「音声認識候補n位」と表現する。ここで、音声入力がなされた時間をtとし、尤度がn位である音声認識候補の対数尤度をPn(t)とすると、ナビゲーション装置20は音声認識候補1位と音声認識候補2位との尤度差ΔP(t)を以下のように算出する。
ΔP(t)=P1(t)−P2(t) 式(1)
そして、ナビゲーション装置は、予め実験などにより決定した閾値αに対して、
ΔP(t)≧α 式(2)
であるときに尤度差が大きいと判断し、
ΔP(t)<α 式(3)
であるときに尤度差が小さいと判断する。
尤度差が大きい場合、ナビゲーション装置20は、音声認識候補1位が正解である可能性が高いと判断し、音声認識候補2位を表示するよりも、統計候補を多く表示することを決定する。即ち、ナビゲーション装置20は、表示される複数の候補における統計候補の比率を大きくし、1つの音声認識候補と、2つの統計候補とを表示する。その結果、図4(a)に示すように、音声認識候補1位と、統計候補1位であるコマンド「名称で探す」と、統計候補2位であるコマンド「自宅に帰る」とが候補表示部42に表示される。
一方、尤度差が小さい場合、ナビゲーション装置20は、音声認識候補1位が正解である可能性が低い、又は、類似するコマンドが複数存在する可能性が高いと判断し、音声認識候補を多く表示することを決定する。即ち、ナビゲーション装置20は、表示される複数の候補における音声認識候補の比率を大きくし、2つの音声認識候補と、1つの統計候補とを表示する。その結果、図4(b)に示すように、音声認識候補1位と、音声認識候補2位と、統計候補1位であるコマンド「名称で探す」とが候補表示部42に表示される。
このように、本実施例では、音声認識候補が正解である可能性、具体的には音声認識候補1位と2位の尤度差に応じて、表示される複数の候補のうち音声認識候補と統計候補の比率を変化させる。これにより、限られた表示領域を有効に利用して利用者に有益な候補を提示することができる。
次に、上記の情報出力処理について説明する。図5は第1実施例による情報出力処理のフローチャートである。この処理は、ナビゲーション装置20のCPUが予め用意されたプログラムを実行し、制御部30、音声認識部25などの各構成要素として動作することにより実現される。なお、音声入力に対して統計情報に基づく統計候補を表示するか否かはナビゲーション装置20の利用者が任意に決定する。即ち、利用者は、統計情報を使用するモードと使用しないモードのいずれかを予め選択してナビゲーション装置20に設定しておくものとする。
まず、利用者により音声入力がなされると、マイク24はその音声を集音して音声データとして音声認識部25へ供給し、音声認識部25は音声認識処理を行う(ステップS10)。具体的には、音声認識部25は、音声認識処理により、尤度の高い複数の音声認識候補、例えば音声認識候補1位〜5位を決定する。
次に、制御部30は、利用者により統計情報を使用するモードが選択されているか否かを判定する(ステップS11)。統計情報を使用するモードが選択されていない場合(ステップS11;No)、制御部30は、音声認識候補1位〜3位を表示すべき候補(「以下、「表示候補」と呼ぶ。)と決定し(ステップS13)、ステップS17へ進む。
一方、統計情報を使用するモードが選択されている場合(ステップS11;Yes)、制御部30は、音声入力が行われた日時をサーバ10へ送信し、その日時に対応する、順位が上位の複数の統計候補を取得する(ステップS12)。
次に、制御部30は前述の式(1)〜(3)に基づいて、音声認識候補1位と音声認識候補2位との尤度差が大きいか否かを判定する(ステップS14)。尤度差が大きい場合(ステップS14;Yes)、制御部30は、図4(a)に例示するように音声認識候補1位と、統計候補1位及び2位を表示候補として決定する。一方、尤度差が大きくない場合(ステップS14;No)、制御部30は、図4(b)に例示するように音声認識候補1位及び2位と、統計候補1位とを表示候補として決定する(ステップS16)。
そして、制御部30は、ステップS13、S15又はS16において決定された表示候補を表示装置29に表示する(ステップS17)。こうして情報表示処理は終了する。
なお、その後に利用者が入力部23を操作して表示装置29に表示された3つの候補のうちのいずれかを選択した場合には、制御部30は、選択された候補に対応するコマンドの処理を実行する。
以上のように、第1実施例では、ナビゲーション装置20は、利用者の音声入力に対して、音声認識候補と統計候補を含む複数の候補を提示する。これにより、音声認識処理において音響的な誤認識が生じたとしても、統計情報に基づく利用者の行動傾向に応じたコマンドが統計候補として提示されるので、利用者の体感上の認識率が高まる。また、その際、ナビゲーション装置20は、音声認識候補の尤度に応じて、音声認識候補と統計候補の表示件数の比率を制御するので、限られた表示件数内で利用者に有益な候補を表示することが可能となる。
なお、図4(a)の例では、ナビゲーション装置20は尤度差が大きい場合に、音声認識候補1位に加えて統計候補1位及び2位を表示しているが、その代わりに、カテゴリ、ジャンルなどの分類が異なる統計候補1位を表示することとしてもよい。例えば、ナビゲーション装置20は、尤度が大きい場合に、音声認識候補1位に加えて、カテゴリ「ナビ」についての統計候補1位である「名称で探す」と、カテゴリ「AV」についての統計候補1位である「TVにする」を表示してもよい(図4(c)参照)。
また、図4(b)の例では、ナビゲーション装置20は、尤度差が小さい場合に、音声認識候補1位及び2位を表示しているが、その代わりに、カテゴリ、ジャンルなどの分類が異なる音声認識候補1位を表示することとしてもよい。例えば、ナビゲーション装置20は、分類を問わない音声認識候補1位と、音声認識候補2位以下の候補であって音声認識候補1位と異なる分類の候補(例えば、音声認識候補1位がカテゴリ「AV」のコマンドであれば、カテゴリ「ナビ」の音声認識候補のうち最上位のもの)を表示することとしてもよい。
[第2実施例]
次に、第2実施例について説明する。第2実施例は、基本的に第1実施例の手法を前提とする。但し、候補表示部42に表示される候補が重複する場合や複数回の音声入力に対して同じ候補が繰り返し表示される場合などに、表示候補を変更して候補表示部42を有効に利用することを特徴とする。以下、ケース毎に説明する。なお、以下の例では、統計候補の順位は図4(c)に示す例とは限らないものとする。
(ケース1)
ケース1は、同時に表示される3つの候補に重複する候補が含まれる場合である。具体的に、図6(a)の表示例50では、音声認識候補1位及び2位と、統計候補1位が表示されているが、音声認識候補1位と統計候補1位はともにコマンド「名称で探す」であり、両者は重複している。この場合、制御部30は、音声認識候補1位と統計候補1位のいずれか一方を変更する。例えば、図6(a)の表示例51に示すように、統計候補1位の代わりに、統計候補2位のコマンド「自宅に帰る」を表示する。なお、このように変更した後に新たな重複が生じた場合には、制御部30はさらに下位の統計候補に変更すればよい。
このように、同時に表示される複数の候補に重複する候補が含まれる場合には、音声認識候補を優先しつつ、重複しないように統計候補を変更すればよい。これにより、同時に表示される候補の重複が排除され、候補表示部42が有効に利用される。
なお、上記の例のように、音声認識候補1位と統計候補1位とが重複した場合には、音声認識候補1位を変更せず、統計候補1位を変更するのが望ましいが、音声認識候補2位と統計候補1位とが重複した場合には、音声認識候補2位の代わりに音声認識候補3位を表示してもよい。
同時に表示される3つの候補に重複する候補が含まれ、かつ、音声認識候補1位と2位との尤度差が大きい場合、音声認識候補1位が正解である可能性が高いので、制御部30は音声認識候補1位をそのまま表示する。また、制御部30は、2つの統計候補については、図6(b)に示すように、総合の統計候補1位と2位を表示してもよいし、異なるグループの統計候補1位と2位、又は、AVについての統計候補1位とナビについての統計候補1位と2位を表示してもよい。
また、同時に表示される3つの候補に重複する候補が含まれ、かつ、音声認識候補1位と2位との尤度差が小さい場合には、音声認識候補1位が正解である可能性が低いので、制御部30は、統計候補1位を表示する。制御部30は、2つの音声認識候補として、図6(c)に示すように、総合の音声認識候補1位と2位を表示してもよく、AVについての音声認識候補1位とナビについての音声認識候補1位を表示してもよく、異なるジャンルの音声認識候補1位を表示してもよい。
(ケース2)
ケース2は、統計候補が示すコマンドが、現在のナビゲーション装置20の使用状態と一致する場合である。具体的に、図7(a)の表示例52では、制御部30は統計候補1位をコマンド「ラジオにする」に決定したが、ナビゲーション装置20では現在ラジオが使用されていると仮定する。この場合、利用者の音声入力がコマンド「ラジオにする」であることは考えにくいので、制御部30は、表示例53に示すように、統計候補1位の代わりに統計候補2位(コマンド「電話をかける」)を表示する。これにより、候補表示部42を有効に活用することができる。
(ケース3)
ケース3は、同一時間帯に同じ音声入力が複数回あった場合である。複数回の音声入力が短い時間間隔で行われた場合、統計候補の順位は同一であるので、同一の候補が表示されることになる。そこで、同一時間帯に同じ音声入力が複数回あった場合は、統計候補を順位に従って変更して表示する。なお、同一時間帯とは、所定時間内を指し、例えば数分から数十分に設定される。
例えば、図7(b)に示すように、同一の音声入力が所定時間内に3回行われた場合、制御部30は、音声認識候補を変更せず、表示すべき統計候補を、統計候補1位、統計候補2位、統計候補3位というように変更する。これにより、毎回同じ統計候補が表示されることが回避される。また、このように異なる統計候補を提示することにより、利用者にコマンドを学習する機会を与えることができる。なお、音声入力に対して用意した統計候補の数よりも多数回にわたり同一の音声入力が所定時間内になされた場合には、再度統計候補1位へ戻って表示を続ければよい。
(情報出力処理)
次に、第2実施例による情報出力処理について説明する。図8は第2実施例による情報出力処理のフローチャートである。この処理は、ナビゲーション装置20のCPUが予め用意されたプログラムを実行し、制御部30、音声認識部25などの各構成要素として動作することにより実現される。なお、第1実施例と同様に、利用者は、音声入力に対して統計情報に基づく統計候補を表示するか否かを決定し、統計情報を使用するモードと使用しないモードのいずれかを予め設定しておく。
図8に示す情報出力処理において、ステップS20〜S26の処理は、図5に示す第2実施例の情報出力処理のステップS10〜S16と同様であるので、説明を省略する。
ステップS25又はS26において表示候補が決定されると、制御部30は、同一時間帯に同一の音声入力があったか否かを判定する(ステップS27)。即ち、制御部30は、ある音声入力がなされたときに、過去の所定時間以内に同一の音声入力がなされているか否かを判定する。これは、現在決定されている表示候補が、先に述べたケース3に該当するか否かの判定である。同一時間帯に同一の音声入力があった場合(ステップS27;Yes)、処理はステップS29へ進む。
一方、同一時間帯に同一の音声入力がない場合(ステップS27;No)、制御部30は、ナビゲーション装置20の現在の使用状態が統計候補と一致するか否かを判定する(ステップS28)。これは、現在決定されている表示候補が、先に述べたケース2に該当するか否かの判定である。現在の使用状態が統計候補と一致する場合(ステップS28;Yes)、処理はステップS29へ進み、現在の使用状態が統計候補と一致しない場合(ステップS28;No)、処理はステップS30へ進む。
ステップS29では、制御部30は、現在決定されている統計候補を、下位の統計候補に変更する。次に、制御部30は、現在決定されている3つの表示候補に重複する候補があるか否かを判定する(ステップS30)。これは、現在決定されている表示候補が、先に述べたケース1に該当するか否かの判定である。重複する候補がない場合(ステップS30;No)、処理はステップS32へ進む。一方、重複する候補がある場合(ステップS30;Yes)、制御部30は、重複する候補の一方を下位の候補に変更する(ステップS31)。そして、制御部30は、その時点における3つの表示候補を表示装置29に表示する(ステップS32)。こうして情報出力処理は終了する。
なお、その後利用者が入力部23を操作して表示装置29に表示された3つの候補のうちのいずれかを選択した場合には、制御部30は、選択された候補に対応するコマンドを実行する。
以上のように、第2実施例では、表示候補が重複する候補を含む場合、統計候補が現在のナビゲーション装置20の使用状態と一致する場合、又は、同一時間帯に同一の音声入力が複数回あった場合に、候補を変更して表示する。これにより、表示数が限定されている候補表示部42を有効に活用し、利用者に有益な候補を提示することが可能となる。また、音声入力のやり直しの可能性を少しでも減らすことができ、利用者は表示された候補を見ることにより発話コマンドを学習することができる。
[変形例1]
上記の実施例では、音声認識処理がナビゲーション装置20により実行され、統計情報に基づいて統計候補を決定する処理がサーバ10により実行されている。しかし、本発明はこの例に限定されるものではない。
例えば、統計候補を決定する処理と音声認識処理の両方をサーバ10で実行することとしてもよい。その場合の情報システムの構成を図9に示す。サーバ10は、サーバ装置12、統計DB14に加え、辞書DB15を備える。ナビゲーション装置20は、利用者が発話したコマンドの音声データをサーバ10へ送信する。サーバ10のサーバ装置12は、辞書DB15を参照して音声認識処理を実行して音声認識候補を決定し、ナビゲーション装置20へ送信する。この構成でも、ナビゲーション装置20は、音声認識候補と統計候補を取得することができる。
また、統計候補を決定する処理をナビゲーション装置20が実行し、音声認識処理をサーバ10が実行することとしてもよい。その場合の情報システムの構成を図10に示す。図9の例と同様に、サーバ10はナビゲーション装置20から送信された音声データについて音声認識処理を実行し、音声認識候補をナビゲーション装置20へ送信する。また、ナビゲーション装置20は、定期的にサーバ10へアクセスし、統計DB14に記憶されている統計情報をサーバ10からダウンロードして統計DB32へ保存しておく。そして、ナビゲーション装置20は、利用者が音声入力を行うと、統計DB32を参照して統計候補を決定する。
さらには、統計候補を決定する処理と音声認識処理の両方をナビゲーション装置20が実行することとしてもよい。その場合の情報システムの構成を図11に示す。第1及び第2実施例と同様に、ナビゲーション装置20は、辞書DB26を利用して、音声認識処理を実行する。また、図10の例と同様に、ナビゲーション装置20は定期的にサーバ10から統計情報をダウンロードし、統計DB32へ保存しておく。そして、ナビゲーション装置20は、利用者が音声入力を行うと、統計DB32を参照して統計候補を決定する。
[変形例2]
上記の実施例では、統計情報は、各コマンドの使用頻度を日時に着目して統計処理したものであったが、本発明の適用はこれには限定されない。例えば、各コマンドの使用頻度を、利用者、複数の利用者により構成されるグループ、特定のエリア、行動が類似する利用者、同一車種、SNS(Social Networking Service)サイト上の友人、同一の目的地を設定している利用者などのグループに着目して統計処理することにより統計情報を生成し、その統計情報を用いて統計候補を決定することとしてもよい。
本発明は、音声入力により制御可能な機器に利用することができる。
10 サーバ
12 サーバ装置
14 統計DB
20 ナビゲーション装置
25 音声認識部
26 辞書DB
27 出力制御部
29 表示装置
30 制御部

Claims (12)

  1. 音声を入力する入力手段と、
    入力された音声を音声認識して音声認識候補を出力する音声認識手段と、
    前記音声が入力された際の利用者の利用状況に対応して、使用頻度の高い候補である統計候補を決定する統計候補決定手段と、
    1以上の前記音声認識候補と1以上の前記統計候補とを表示部に表示する表示制御手段と、を備え、
    前記表示制御手段は、前記音声認識により得られた音声認識候補の尤度が高い場合には、前記表示部に表示する前記統計候補の表示件数の比率を、前記音声認識候補の表示件数の比率よりも高くさせ
    前記表示制御手段は、前記音声認識候補と前記統計候補とで重複する候補が存在する場合、いずれか一方に代えて、次に尤度の高い音声認識候補又は次に使用頻度の高い統計候補を表示することを特徴とする情報出力装置。
  2. 前記表示制御手段は、前記音声認識の結果、他の音声認識候補に対して所定の閾値以上に尤度の高い音声認識候補が存在する場合、音声認識候補の表示件数の比率を下げることを特徴とする請求項1に記載の情報出力装置。
  3. 前記統計候補は、利用者自身又は他の利用者による使用頻度が、他の候補の使用頻度よりも高い候補であることを特徴とする請求項1又は2に記載の情報出力装置。
  4. 前記統計候補決定手段は、前記音声が入力された日時における使用頻度が、他の候補の使用頻度よりも高い候補を統計候補として決定することを特徴とする請求項1乃至3のいずれか一項に記載の情報出力装置。
  5. 前記表示制御手段は、所定時間内に同一の音声が複数回入力された場合、前回表示した統計候補とは異なる統計候補を表示することを特徴とする請求項1乃至4のいずれか一項に記載の情報出力装置。
  6. 前記表示制御手段は、表示すべき統計候補が示す状態が、その時点における状態と一致する場合、当該表示すべき統計候補に代えて、次に使用頻度の高い統計候補を表示することを特徴とする請求項1乃至4のいずれか一項に記載の情報出力装置。
  7. 前記音声認識手段は、入力された音声を外部の音声認識装置へ送信し、当該外部の音声認識装置から音声認識候補を取得することを特徴とする請求項1乃至のいずれか一項に記載の情報出力装置。
  8. 前記統計候補決定手段は、前記音声が入力された際の利用者の利用状況を示す情報をサーバへ送信し、当該利用状況に対応する統計候補を前記サーバから受信することを特徴とする請求項1乃至のいずれか一項に記載の情報出力装置。
  9. 請求項1乃至のいずれか一項に記載の情報出力装置と、
    複数の前記情報出力装置から操作履歴情報を収集するとともに、収集した操作履歴情報に基づいて統計情報を生成するサーバと、を備え、
    前記統計候補決定手段は、前記サーバから配信された統計情報を用いて統計候補を決定することを特徴とする情報システム。
  10. 表示部を有する情報出力装置において実行される情報出力方法であって、
    音声を入力する入力工程と、
    入力された音声を音声認識して音声認識候補を出力する音声認識工程と、
    前記音声が入力された際の利用者の利用状況に対応して、使用頻度の高い候補である統計候補を決定する統計候補決定工程と、
    1以上の前記音声認識候補と1以上の前記統計候補とを前記表示部に表示する表示制御工程と、を備え、
    前記表示制御工程は、前記音声認識により得られた音声認識候補の尤度が高い場合には、前記表示部に表示する前記統計候補の表示件数の比率を、前記音声認識候補の表示件数の比率よりも高くさせ
    前記表示制御工程は、前記音声認識候補と前記統計候補とで重複する候補が存在する場合、いずれか一方に代えて、次に尤度の高い音声認識候補又は次に使用頻度の高い統計候補を表示することを特徴とする情報出力方法。
  11. コンピュータを有する情報出力装置において実行される情報出力プログラムであって、
    音声を入力する入力手段、
    入力された音声を音声認識して音声認識候補を出力する音声認識手段、
    前記音声が入力された際の利用者の利用状況に対応して、使用頻度の高い候補である統計候補を推定する推定手段、
    1以上の前記音声認識候補と1以上の前記統計候補とを表示部に表示する表示制御手段、として前記コンピュータを機能させ、
    前記表示制御手段は、前記音声認識により得られた音声認識候補の尤度が高い場合には、前記表示部に表示する前記統計候補の表示件数の比率を、前記音声認識候補の表示件数の比率よりも高くさせ
    前記表示制御手段は、前記音声認識候補と前記統計候補とで重複する候補が存在する場合、いずれか一方に代えて、次に尤度の高い音声認識候補又は次に使用頻度の高い統計候補を表示することを特徴とする情報出力プログラム。
  12. 請求項11に記載の情報出力プログラムを記憶した記憶媒体。
JP2011518099A 2010-11-12 2010-11-12 情報出力装置、情報出力方法、情報出力プログラム及び情報システム Expired - Fee Related JP4876198B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/070205 WO2012063360A1 (ja) 2010-11-12 2010-11-12 情報出力装置、情報出力方法、情報出力プログラム及び情報システム

Publications (2)

Publication Number Publication Date
JP4876198B1 true JP4876198B1 (ja) 2012-02-15
JPWO2012063360A1 JPWO2012063360A1 (ja) 2014-05-12

Family

ID=45781978

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011518099A Expired - Fee Related JP4876198B1 (ja) 2010-11-12 2010-11-12 情報出力装置、情報出力方法、情報出力プログラム及び情報システム

Country Status (2)

Country Link
JP (1) JP4876198B1 (ja)
WO (1) WO2012063360A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9489944B2 (en) 2013-12-13 2016-11-08 Kabushiki Kaisha Toshiba Information processing device, method and computer program product for processing voice recognition data
CN112040079A (zh) * 2019-06-03 2020-12-04 柯尼卡美能达株式会社 图像处理装置以及记录介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140004515A (ko) 2012-07-03 2014-01-13 삼성전자주식회사 디스플레이 장치, 대화형 시스템 및 응답 정보 제공 방법
DE102018114748A1 (de) 2018-06-20 2019-12-24 Voith Patent Gmbh Laminierte Papiermaschinenbespannung
RU2744063C1 (ru) * 2018-12-18 2021-03-02 Общество С Ограниченной Ответственностью "Яндекс" Способ и система определения говорящего пользователя управляемого голосом устройства
CN113470638B (zh) * 2021-05-28 2022-08-26 荣耀终端有限公司 槽位填充的方法、芯片、电子设备和可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6249430A (ja) * 1985-08-28 1987-03-04 Toshiba Corp 計算機システム
JPH09274497A (ja) * 1996-04-05 1997-10-21 Nissan Motor Co Ltd 音声認識装置
JPH09292896A (ja) * 1996-04-24 1997-11-11 Denso Corp 車両用ナビゲーション装置
JP2003167600A (ja) * 2001-12-04 2003-06-13 Canon Inc 音声認識装置及び方法、ページ記述言語表示装置及びその制御方法、並びにコンピュータ・プログラム
JP2005229311A (ja) * 2004-02-12 2005-08-25 Ntt Docomo Inc 通信端末機
JP2007206886A (ja) * 2006-01-31 2007-08-16 Canon Inc 情報処理装置および方法
JP2007226388A (ja) * 2006-02-22 2007-09-06 Konica Minolta Medical & Graphic Inc コマンド入力装置及びプログラム
JP2008164809A (ja) * 2006-12-27 2008-07-17 Denso Corp 音声認識装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0836548A (ja) * 1994-07-21 1996-02-06 Sharp Corp システム状況情報管理装置
JP2001312297A (ja) * 2000-04-28 2001-11-09 Nippon Seiki Co Ltd 音声認識装置
JP2010072507A (ja) * 2008-09-22 2010-04-02 Toshiba Corp 音声認識検索装置及び音声認識検索方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6249430A (ja) * 1985-08-28 1987-03-04 Toshiba Corp 計算機システム
JPH09274497A (ja) * 1996-04-05 1997-10-21 Nissan Motor Co Ltd 音声認識装置
JPH09292896A (ja) * 1996-04-24 1997-11-11 Denso Corp 車両用ナビゲーション装置
JP2003167600A (ja) * 2001-12-04 2003-06-13 Canon Inc 音声認識装置及び方法、ページ記述言語表示装置及びその制御方法、並びにコンピュータ・プログラム
JP2005229311A (ja) * 2004-02-12 2005-08-25 Ntt Docomo Inc 通信端末機
JP2007206886A (ja) * 2006-01-31 2007-08-16 Canon Inc 情報処理装置および方法
JP2007226388A (ja) * 2006-02-22 2007-09-06 Konica Minolta Medical & Graphic Inc コマンド入力装置及びプログラム
JP2008164809A (ja) * 2006-12-27 2008-07-17 Denso Corp 音声認識装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9489944B2 (en) 2013-12-13 2016-11-08 Kabushiki Kaisha Toshiba Information processing device, method and computer program product for processing voice recognition data
CN112040079A (zh) * 2019-06-03 2020-12-04 柯尼卡美能达株式会社 图像处理装置以及记录介质

Also Published As

Publication number Publication date
JPWO2012063360A1 (ja) 2014-05-12
WO2012063360A1 (ja) 2012-05-18

Similar Documents

Publication Publication Date Title
US10067563B2 (en) Interaction and management of devices using gaze detection
US10770073B2 (en) Reducing the need for manual start/end-pointing and trigger phrases
US12052633B2 (en) Time-delimited action suggestion system
JP4876198B1 (ja) 情報出力装置、情報出力方法、情報出力プログラム及び情報システム
US9809185B2 (en) Method and apparatus for subjective command control of vehicle systems
US20140244259A1 (en) Speech recognition utilizing a dynamic set of grammar elements
JP6348831B2 (ja) 音声入力補助装置、音声入力補助システムおよび音声入力方法
US20170345417A1 (en) System and method for providing follow-up responses to prior natural language inputs of a user
US9715877B2 (en) Systems and methods for a navigation system utilizing dictation and partial match search
EP2518447A1 (en) System and method for fixing user input mistakes in an in-vehicle electronic device
CN110286745B (zh) 对话处理系统、具有对话处理系统的车辆及对话处理方法
US11131556B2 (en) System and method for selecting a point of interest based on wait time
KR20180081922A (ko) 전자 장치의 입력 음성에 대한 응답 방법 및 그 전자 장치
JP6281202B2 (ja) 応答制御システム、およびセンター
KR102371513B1 (ko) 대화 시스템 및 대화 처리 방법
US20180195871A1 (en) Information processing device and information presentation system
CN116821511A (zh) 一种信息推荐方法、装置、电子设备以及存储介质
WO2016148157A1 (ja) 音声認識システムおよび音声認識方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111101

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111128

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141202

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees