JP4330924B2 - 対話型情報検索システム - Google Patents
対話型情報検索システム Download PDFInfo
- Publication number
- JP4330924B2 JP4330924B2 JP2003136078A JP2003136078A JP4330924B2 JP 4330924 B2 JP4330924 B2 JP 4330924B2 JP 2003136078 A JP2003136078 A JP 2003136078A JP 2003136078 A JP2003136078 A JP 2003136078A JP 4330924 B2 JP4330924 B2 JP 4330924B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- user
- dialogue
- input
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Navigation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、利用者との対話形式により、該利用者が希望する情報を提供するための対話型情報検索システムに関する。
【０００２】
【従来の技術】
従来、各種の機器の複雑な操作を、自由発話による対話形式で遂行することを可能とする音声対話システムがある。このシステムでは、対話処理専用の処理部が、対話の履歴を管理する対話履歴管理部を有し、対話の履歴に基づくシステムの案内の変更を可能にしている。また、対話履歴管理部は、音声認識手段のエラーの回数、音声認識手段の誤認識による発声のやり直しの回数、及び音声認識手段におけるタイムアウトの回数を管理する。これにより、それらの回数を条件とすることで、エラー及びやり直しの回数に応じて異なる対話の遷移を実現する。具体的には、音声認識手段が認識エラーを検出した際の発声のやり直しの回数や、音声認識手段が誤認識結果を出力した際の発声のやり直しの回数、あるいは利用者が発声可能なときに発声を行わなかった場合のタイムアウトの回数によって、ガイダンスの内容を変更することができる。従って、同じ操作を複数回行うことから生ずる利用者の不快感を、状況に応じて異なるガイダンスを提供することで軽減することができる（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開２００１−１２５５９１号公報
【０００４】
【発明が解決しようとする課題】
ところで、特許文献１に記載されているような従来のシステムでは、状況に応じてガイダンスの内容を変更し、同じ操作を複数回行うことから生ずる利用者の不快感を軽減することができるものの、要求された複数の入力項目の中で１項目でも不足していると、ガイダンスが変更された異なる内容からの発話誘導が何回も行われるため、利用者との対話形式により、該利用者が希望する情報を提供する対話型情報検索システムを構築しようとすると、希望の情報が検索されるまでに時間がかかるという問題があった。
【０００５】
本発明は、上記課題に鑑みてなされたもので、状況に応じてガイダンスの内容を変更しながらも、短時間で目的の情報を検索可能な対話型情報検索システムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、請求項１の発明に係る対話型情報検索システムは、利用者の発話内容を認識する音声認識手段（例えば実施の形態の音声認識装置２、または音声認識装置４２）と、前記音声認識手段により認識された入力語に基づいて、前記利用者への対話応答を制御する対話制御手段（例えば実施の形態の対話制御部１１、または対話制御部５１）と、前記利用者への対話応答を音声として提供する音声合成手段（例えば実施の形態の音声合成装置５、または音声合成装置４５）とを備え、前記入力語に関連する情報を検索して前記利用者へ提供する対話型情報検索システムであって、前記対話制御手段が、一連の対話により入力される複数の前記入力語を管理する入力語管理手段（例えば実施の形態のステップＳ１１からステップＳ１４、ステップＳ２６からステップＳ２７、ステップＳ３１からステップＳ３２、ステップＳ３６からステップＳ３８）と、前記入力語管理手段に対する一連の対話により入力された入力済みの内容に基づいて、少なくとも情報種類、区間、地点の情報の何れか一つを検索条件として設定する検索条件設定手段（例えば実施の形態のステップＳ１５からステップＳ２５、ステップＳ２８からステップＳ３０、ステップＳ３３からステップＳ３５）と、前記車両の走行位置、前記車両の走行速度、前記音声認識手段による音声認識率、音声認識時のノイズレベル、前記対話制御部の応答レスポンス、および、対話が成立しているかのうち少なくとも何れか一つの情報に基づいて前記利用者の対話に対する対話余裕度を算出する対話余裕度検出手段と、前記対話余裕度に基づいて、該対話余裕度が所定値より高い場合に、前記検索条件に基づく情報検索範囲を、前記検索条件設定手段で設定された前記検索条件より広く設定する一方、前記対話余裕度が所定値より低い場合に前記検索条件設定手段で設定された前記検索条件に基づく情報検索範囲とする前記検索条件に基づく情報検索範囲を変更する情報検索範囲変更手段と、を備えたことを特徴とする。
【０００７】
以上の構成を備えた対話型情報検索システムは、利用者の発話内容を音声認識手段により認識すると共に、認識された入力語に基づいて対話制御手段が対話制御を行いながら、音声合成手段が利用者への対話応答を音声として提供することで、入力語に関連する情報を検索して利用者へ提供する。この時、入力語管理手段が、一連の対話により入力される複数の入力語を管理すると共に、検索条件設定手段が、入力語管理手段に対する入力状態に基づいて、情報の検索条件を設定することで、利用者の発話内容に応じて対話内容を遷移させながら、入力済みの内容から検索する情報の内容を選択して提供することができる。
【０００９】
以上の構成を備えた対話型情報検索システムは、自車両の利用者の発話内容を音声認識手段により認識すると共に、認識された入力語に基づいて対話制御手段が対話制御を行いながら、音声合成手段が利用者への対話応答を音声として提供することで、入力語に関連する情報を検索して利用者へ提供する。この時、入力語管理手段が、一連の対話により入力される複数の入力語を管理すると共に、検索条件設定手段が、入力語管理手段に対する入力状態と、走行状態判定手段が判定する自車両の走行状態とに基づいて、情報の検索条件を設定することで、利用者の発話内容に応じて対話内容を遷移させながら、入力済みの内容と自車両の走行状態に基づく利用者の負荷状況とから検索する情報の内容を選択して提供することができる。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
（第１の実施の形態）
図１は、本発明の第１の実施の形態の対話型情報検索システムを示すブロック図である。図１において、音声入力用マイク１は、利用者の音声を入力するための音声入力手段であって、音声入力用マイク１を介して入力された利用者の音声は、音声認識装置２に入力される。
音声認識装置２では、利用者の入力する音声を所定の音声認識辞書と比較して音声認識を行い、認識結果を状態管理部３へ出力する。
【００１１】
状態管理部３は、対話シナリオに沿ったガイダンス（音声、画像情報）に従って、音声認識装置２を介した音声入力用マイク１からの音声入力、または操作部（後述するディスプレイ８に備えられたタッチパネル等）からの入力により、車両の利用者に機器操作や情報検索を行わせる処理部であって、対話シナリオや利用者に提供される情報は、情報蓄積部４に記憶されている。
また、音声合成装置５は、利用者との対話において、状態管理部３が出力するガイダンスや利用者へ提供される情報を合成音声により通知する音声合成部であって、音声合成装置５が生成した合成音声はスピーカ６から出力される。
【００１２】
また、状態管理部３には、ＧＰＳ（Global Positioning System ）を備えたナビゲーション装置や車両の走行速度を検出する速度センサ、更にはステアリングやブレーキ等に設けられたセンサにより、車両の走行位置や走行速度、利用者の運転操作等を含む車両の走行状況や運転状態を検出する車両状態検出装置７が接続されており、状態管理部３は、随時車両の位置情報や走行速度、運転状態等を取得することができる。
更に、状態管理部３には、利用者との対話において、状態管理部３が出力するガイダンスや利用者へ提供される情報を画像情報として表示すると共に、利用者が必要事項を入力するためのタッチパネルを備えたディスプレイ８や、音声入力時の発話トリガ用スイッチ９が接続されている。
【００１３】
また、状態管理部３は、所定の対話シナリオに基づき、利用者との対話を制御する対話制御部１１と、車両状態検出装置７により検出された車両の走行状況や運転状態に基づいて、利用者の対話に対する余裕度を判定する対話余裕度判定部１２とを含んでいる。なお、対話余裕度判定部１２は、車両状態検出装置７により検出された車両の走行位置や走行速度等の情報の他、音声認識装置２における音声認識率や音声認識時のノイズレベル、状態管理部３における対話時の応答レスポンスや対話が成立しているか等の情報も利用して利用者の対話に対する余裕度を判定する。
【００１４】
（基本動作）
次に、本実施の形態の対話型情報検索システムの基本動作について、図面を参照して説明する。図２は、本実施の形態の対話型情報検索システムの基本動作を示すフローチャートである。
図２において、まず状態管理部３の対話制御部１１は、車両の利用者の発話内容から抽出された入力語に基づいて、情報の検索条件を設定する検索条件設定処理を行う（ステップＳ１）。なお、検索条件設定処理の詳細は後述する。
次に、状態管理部３の対話余裕度判定部１２は、車両状態検出装置７が取得する車両の走行位置や走行速度等の情報の他、音声認識装置２による音声認識率や音声認識時のノイズレベル、対話制御部１１が検出する対話時の応答レスポンスや対話が成立しているか等の情報も利用して、利用者の対話に対する余裕度（対話余裕度）を算出すると共に、対話余裕度に基づいて、車両の利用者に対する車両負荷（運転負荷等）を判定する（ステップＳ２）。
【００１５】
そして、対話余裕度判定部１２は、対話余裕度に基づく車両の利用者に対する車両負荷（運転負荷等）が所定値より高いか否かを判定し（ステップＳ３）、車両の利用者に対する車両負荷（運転負荷等）が所定値より高い場合（ステップＳ３のＹＥＳ）、利用者の要求事項により設定された検索条件に基づく情報検索範囲を、負荷状態に応じて要求事項より広く設定し、状態管理部３は検索処理を実行する（ステップＳ４）。
一方、ステップＳ３において、車両の利用者に対する車両負荷（運転負荷等）が所定値より低い場合（ステップＳ３のＮＯ）、状態管理部３は利用者の要求事項により設定された検索条件に基づく情報検索範囲の検索処理を実行する（ステップＳ５）。
【００１６】
（検索条件設定処理動作）
次に、本実施の形態の対話型情報検索システムの検索条件設定処理動作について、図面を参照して説明する。図３及び図４は、本実施の形態の対話型情報検索システムの検索条件設定処理動作を示すフローチャートである。なお、本実施の形態では、説明を簡単化するために、検索条件設定処理動作において利用者により入力される入力語の数（入力項目数）が３個の場合について説明する。
図３及び図４において、まず状態管理部３の対話制御部１１は、音声合成装置５を用いて、スピーカ６から、例えば「知りたい区間あるいは地点と情報種類をおっしゃってください。」というメッセージを出力して発話誘導ガイダンスを行う（ステップＳ１１）。
【００１７】
次に、対話制御部１１は、音声認識装置２を用いて、利用者により音声入力用マイク１から入力された音声を認識して入力語を取得し（ステップＳ１２）、入力語に含まれる情報種類（ｔｙｐｅ）、区間（ｐｏｓｉ１、ｐｏｓｉ２）または地点（ｐｏｓｉ１）を認識する（ステップＳ１３）。
ここで、情報種類（ｔｙｐｅ）とは、検索する情報の種類のことで、例えば交通情報や気象情報（天気）、更には販売店情報等が含まれる。また、区間（ｐｏｓｉ１、ｐｏｓｉ２）は、図５（ａ）に示すように、始点（ｐｏｓｉ１）と終点（ｐｏｓｉ２）とで示される２地点間の地域を示し、地点（ｐｏｓｉ１）は、図５（ｂ）に示すように、地点（ｐｏｓｉ１）付近の地域を示す。
【００１８】
また、情報種類と区間あるいは地点のいずれかを正常に取得できたか否かを判定し（ステップＳ１４）、情報種類と区間あるいは地点のいずれかを正常に取得できていない場合（ステップＳ１４のＮＯ）、ステップＳ１１へ戻り、上述の動作を繰り返す。
一方、ステップＳ１４において、情報種類と区間あるいは地点のいずれかを正常に取得できている場合（ステップＳ１４のＹＥＳ）、対話制御部１１は、取得できた入力語に基づいて、下記（Ａ）から（Ｅ）の５種類の処理のいずれかを行う。
【００１９】
（Ａ）情報種類（ｔｙｐｅ）と区間（ｐｏｓｉ１、ｐｏｓｉ２）に基づく検索条件設定処理。
（Ｂ）区間（ｐｏｓｉ１、ｐｏｓｉ２）に基づく検索条件設定処理。
（Ｃ）情報種類（ｔｙｐｅ）と地点（ｐｏｓｉ１）に基づく検索条件設定処理。
（Ｄ）地点（ｐｏｓｉ１）に基づく検索条件設定処理。
（Ｅ）情報種類（ｔｙｐｅ）に基づく検索条件設定処理。
【００２０】
具体的には、ステップＳ１４において、情報種類（ｔｙｐｅ）と区間（ｐｏｓｉ１、ｐｏｓｉ２）が取得された場合（ステップＳ１５）、対話制御部１１は、音声合成装置５を用いて、スピーカ６から、例えば「％ｐｏｓｉ１から％ｐｏｓｉ２までの％ｔｙｐｅ情報を検索します。」というメッセージを出力して入力内容ガイダンスを行う（ステップＳ１６）。なお、メッセージ中の「％ｐｏｓｉ１、％ｐｏｓｉ２、％ｔｙｐｅ」には、それぞれ取得された入力語が代入される。
【００２１】
そして、例えば「よろしいですか？」というメッセージを出力して内容確認ガイダンスを行い（ステップＳ１７）、対話制御部１１は、音声認識装置２を用いて、利用者により音声入力用マイク１から入力された音声を認識して入力語を取得し（ステップＳ１８）、入力語が同意を示す言葉（具体的には「はい。」や「ＯＫ」等）であるか否かを判定する（ステップＳ１９）。
【００２２】
もし、ステップＳ１９において、入力語が同意を示す言葉ではなかった場合（ステップＳ１９のＮＯ）、ステップＳ１１へ戻り、上述の動作を繰り返す。
また、ステップＳ１９において、入力語が同意を示す言葉であった場合（ステップＳ１９のＹＥＳ）、利用者により入力された情報種類（ｔｙｐｅ）と区間（ｐｏｓｉ１、ｐｏｓｉ２）を検索条件に設定する（ステップＳ２０）。
【００２３】
一方、ステップＳ１４において、区間（ｐｏｓｉ１、ｐｏｓｉ２）のみが取得された場合（ステップＳ２１）、対話制御部１１は、音声合成装置５を用いて、スピーカ６から、例えば「％ｐｏｓｉ１から％ｐｏｓｉ２までの情報を検索します。」というメッセージを出力して入力内容ガイダンスを行う（ステップＳ２２）。なお、メッセージ中の「％ｐｏｓｉ１、％ｐｏｓｉ２」には、それぞれ取得された入力語が代入される。そして、ステップＳ１７へ進み、上述の動作を実行する。
【００２４】
一方、ステップＳ１４において、情報種類（ｔｙｐｅ）と地点（ｐｏｓｉ１）が取得された場合（ステップＳ２３）、対話制御部１１は、音声合成装置５を用いて、スピーカ６から、例えば「％ｐｏｓｉ１付近の％ｔｙｐｅ情報を検索します。」というメッセージを出力して入力内容ガイダンスを行う（ステップＳ２４）。なお、メッセージ中の「％ｐｏｓｉ１、％ｔｙｐｅ」には、それぞれ取得された入力語が代入される。
【００２５】
そして、次に、例えば「区間を指定する場合は、終点（ｐｏｓｉ２）を指定してください。」というメッセージを出力して発話誘導ガイダンスを行い（ステップＳ２５）、利用者に、地点（ｐｏｓｉ１）を始点とした場合に対応する終点（ｐｏｓｉ２）の入力を促す。
対話制御部１１は、音声認識装置２を用いて、利用者により音声入力用マイク１から入力された音声を認識して入力語を取得し（ステップＳ２６）、入力語が終点（ｐｏｓｉ２）を示す言葉であるか否かを判定する（ステップＳ２７）。
【００２６】
もし、ステップＳ２７において、入力語が終点（ｐｏｓｉ２）を示す言葉であった場合（ステップＳ２７のＹＥＳ）、ステップＳ１６へ進み、上述の動作を実行する。
また、ステップＳ２７において、入力語が終点（ｐｏｓｉ２）を示す言葉ではなかった場合（ステップＳ２７のＮＯ）、ステップＳ２０へ進み、利用者により入力された情報種類（ｔｙｐｅ）と地点（ｐｏｓｉ１）を検索条件に設定する（ステップＳ２０）。
【００２７】
一方、ステップＳ１４において、地点（ｐｏｓｉ１）のみが取得された場合（ステップＳ２８）、対話制御部１１は、音声合成装置５を用いて、スピーカ６から、例えば「％ｐｏｓｉ１付近の情報を検索します。」というメッセージを出力して入力内容ガイダンスを行う（ステップＳ２９）。なお、メッセージ中の「％ｐｏｓｉ１」には、取得された入力語が代入される。
【００２８】
そして、次に、例えば「区間を指定する場合は、終点（ｐｏｓｉ２）を指定してください。」というメッセージを出力して発話誘導ガイダンスを行い（ステップＳ３０）、利用者に、地点（ｐｏｓｉ１）を始点とした場合に対応する終点（ｐｏｓｉ２）の入力を促す。
対話制御部１１は、音声認識装置２を用いて、利用者により音声入力用マイク１から入力された音声を認識して入力語を取得し（ステップＳ３１）、入力語が終点（ｐｏｓｉ２）を示す言葉であるか否かを判定する（ステップＳ３２）。
【００２９】
もし、ステップＳ３２において、入力語が終点（ｐｏｓｉ２）を示す言葉であった場合（ステップＳ３２のＹＥＳ）、ステップＳ２２へ進み、上述の動作を実行する。
また、ステップＳ３２において、入力語が終点（ｐｏｓｉ２）を示す言葉ではなかった場合（ステップＳ３２のＮＯ）、ステップＳ２０へ進み、利用者により入力された地点（ｐｏｓｉ１）を検索条件に設定する（ステップＳ２０）。
【００３０】
一方、ステップＳ１４において、情報種類（ｔｙｐｅ）のみが取得された場合（ステップＳ３３）、対話制御部１１は、音声合成装置５を用いて、スピーカ６から、例えば「％ｔｙｐｅ情報を検索します。」というメッセージを出力して入力内容ガイダンスを行う（ステップＳ３４）。なお、メッセージ中の「％ｔｙｐｅ」には、取得された入力語が代入される。
【００３１】
そして、次に、例えば「区間を指定する場合は、始点（ｐｏｓｉ１）と終点（ｐｏｓｉ２）を、地点を指定する場合は地点（ｐｏｓｉ１）を指定してください。」というメッセージを出力して発話誘導ガイダンスを行い（ステップＳ３５）、対話制御部１１は、音声認識装置２を用いて、利用者により音声入力用マイク１から入力された音声を認識して入力語を取得する（ステップＳ３６）。
そして、まず、入力語が始点（ｐｏｓｉ１）と終点（ｐｏｓｉ２）を含む区間を示す言葉であるか否かを判定する（ステップＳ３７）。
【００３２】
もし、ステップＳ３７において、入力語が始点（ｐｏｓｉ１）と終点（ｐｏｓｉ２）を含む区間を示す言葉であった場合（ステップＳ３７のＹＥＳ）、ステップＳ１６へ進み、上述の動作を実行する。
また、ステップＳ３７において、入力語が始点（ｐｏｓｉ１）と終点（ｐｏｓｉ２）を含む区間を示す言葉ではなかった場合（ステップＳ３７のＮＯ）、対話制御部１１は、利用者により入力された入力語が地点（ｐｏｓｉ１）を示す言葉であるか否かを判定する（ステップＳ３８）。
【００３３】
もし、ステップＳ３８において、入力語が地点（ｐｏｓｉ１）を示す言葉であった場合（ステップＳ３８のＹＥＳ）、ステップＳ２４へ進み、上述の動作を実行する。
また、ステップＳ３８において、入力語が地点（ｐｏｓｉ１）を示す言葉ではなかった場合（ステップＳ３８のＮＯ）、ステップＳ２０へ進み、利用者により入力された情報種類（ｔｙｐｅ）を検索条件に設定する（ステップＳ２０）。
【００３４】
なお、本実施の形態では、対話制御部１１が入力語管理手段と、検索条件設定手段とを含んでいる。より具体的には、図３及び図４のステップＳ１１からステップＳ１４、ステップＳ２６からステップＳ２７、ステップＳ３１からステップＳ３２、ステップＳ３６からステップＳ３８が入力語管理手段に相当し、図３及び図４のステップＳ１５からステップＳ２５、ステップＳ２８からステップＳ３０、ステップＳ３３からステップＳ３５が検索条件設定手段に相当する。
【００３５】
以上説明したように、本実施の形態の対話型情報検索システムは、自車両の利用者の発話内容を音声認識装置２により認識すると共に、認識された入力語に基づいて対話制御部１１が対話制御を行いながら、音声合成装置５が利用者への対話応答を音声として提供することで、入力語に関連する情報を検索して利用者へ提供する際、対話制御部１１に含まれる入力語管理手段が、一連の対話により入力される複数の入力語を管理すると共に、対話余裕度判定部１２と対話制御部１１に含まれる検索条件設定手段とが、入力語管理手段に対する入力状態と、車両状態検出装置７が判定する自車両の走行状態とに基づいて、情報の検索条件を設定することで、利用者の発話内容に応じて対話内容を遷移させながら、入力済みの内容と自車両の走行状態に基づく利用者の負荷状況とから検索する情報の内容を選択して提供することができる。
【００３６】
従って、利用者の入力語の数（入力項目数）により検索される情報内容が決定されることで、入力項目数及びその内容に応じた情報を提供することが可能となり、利用者の目的や状態に応じた情報の検索及び取得が可能になるという効果が得られる。また、要求された複数の入力項目の中で、入力された項目が不足している場合でも、ガイダンスが変更された異なる内容からの発話誘導の回数を最小限に留めるため、情報検索において、希望の情報が検索されるまでの時間を短縮することができるという効果が得られる。
【００３７】
（第２の実施の形態）
図６は、本発明の第２の実施の形態の対話型情報検索システムを示すブロック図である。第２の実施の形態の対話型情報検索システムは、第１の実施の形態の対話型情報検索システムが車両側のみに設けられた装置で構成されていたのに対して、音声を認識する装置と対話を制御する装置とが、車両と無線通信により接続される情報センタ側に設けられることを特徴とする。
図６において、音声入力用マイク３１は、車両２０側に設けられ、車両２０の利用者の音声を入力するための音声入力手段であって、音声入力用マイク３１を介して入力された利用者の音声は、ナビゲーション装置３２に入力される。
【００３８】
また、ナビゲーション装置３２は、利用者とのインタフェース機能を備えると共に、ＧＰＳ（Global Positioning System ）や車両２０の走行速度を検出する速度センサ、更にはステアリングやブレーキ等に設けられたセンサ等を備え、車両２０の走行位置や走行速度、利用者の運転操作等を含む車両２０の走行状況や運転状態を検出する車両状態検出装置であって、ナビゲーション装置３２は、随時車両２０の位置情報や走行速度、運転状態等を取得することができる。
【００３９】
また、ナビゲーション装置３２には、通信装置３３やスピーカ３４、更には利用者が必要事項を入力するためのタッチパネルを備えたディスプレイ３５が接続され、音声入力用マイク３１から入力された利用者の音声、またはタッチパネル等の操作部からの入力内容は、情報センタと無線通信回線を接続可能な通信装置３３を介して情報センタ２１へ送信され、一方、通信装置３３が情報センタ２１から受信した対話シナリオに沿ったガイダンス（音声、画像情報）や利用者へ提供される情報（音声、画像情報）は、ナビゲーション装置３２を介して、音声はスピーカ３４から出力され、画像情報はディスプレイ３５に表示される。なお、ナビゲーション装置３２には、利用者との対話において、音声入力時の発話トリガ用スイッチ３６も接続されている。
【００４０】
一方、車両２０と無線通信により接続される情報センタ２１には、車両２０と無線通信回線を接続可能な通信装置４１が設けられ、通信装置４１を介して車両２０から受信した利用者の音声は、音声認識装置４２に入力される。音声認識装置４２では、車両２０から受信した利用者の音声を所定の音声認識辞書と比較して音声認識を行い、認識結果を状態管理部４３へ出力する。
【００４１】
また、状態管理部４３は、対話シナリオに沿ったガイダンス（音声、画像情報）に従って、通信装置４１と音声認識装置４２を介した車両２０からの音声入力、または通信装置４１で受信した車両２０の操作部（タッチパネル等）からの入力により、車両２０の利用者に機器操作や情報検索を行わせる処理部であって、対話シナリオや利用者に提供される情報は、情報蓄積部４４に記憶されている。なお、情報センタ２１は複数の車両２０と無線通信回線を接続できる。
【００４２】
更に、状態管理部４３について詳細に説明すると、状態管理部４３は、所定の対話シナリオに基づき、利用者との対話を制御する対話制御部５１と、車両２０より受信した車両の走行状況や運転状態に基づいて、利用者の対話に対する余裕度を判定する対話余裕度判定部５２とを含んでいる。なお、対話余裕度判定部５２は、車両２０より受信した車両の走行位置や走行速度等の情報の他、音声認識装置４２における音声認識率や音声認識時のノイズレベル、状態管理部４３における対話時の応答レスポンスや対話が成立しているか等の情報も利用して利用者の対話に対する余裕度を判定する。
【００４３】
また、音声合成装置４５は、車両２０の利用者との対話において、状態管理部４３が出力するガイダンスや利用者へ提供される情報を合成音声により通知する音声合成部であって、音声合成装置４５が生成した合成音声は、通信装置４１を介して車両２０へ送信されると共に、車両２０において通信装置３３により受信され、ナビゲーション装置３２を介してスピーカ３４から出力される。
【００４４】
（基本動作）
次に、本実施の形態の対話型情報検索システムの動作について説明すると、本実施の形態の対話型情報検索システムの動作は、車両２０の利用者の音声が無線通信により情報センタ２１へ送信されて音声認識されると共に、対話シナリオにそったガイダンスや利用者へ提供される情報に関する合成音声や画像情報が情報センタ２１から車両２０へ送信されて利用者に対して出力されることを除き、第１の実施の形態の対話型情報検索システムと基本的には変わりがない。
【００４５】
すなわち、本実施の形態の対話型情報検索システムの基本動作は、まず状態管理部４３の対話制御部５１が、車両２０の利用者の発話内容から抽出された入力語に基づいて、情報の検索条件を設定する検索条件設定処理を行う。
次に、状態管理部４３の対話余裕度判定部５２は、ナビゲーション装置３２が取得する車両の走行位置や走行速度等の情報の他、音声認識装置４２による音声認識率や音声認識時のノイズレベル、対話制御部５１が検出する対話時の応答レスポンスや対話が成立しているか等の情報も利用して、利用者の対話に対する余裕度（対話余裕度）を算出すると共に、対話余裕度に基づいて、車両の利用者に対する車両負荷（運転負荷等）を判定する。
【００４６】
そして、対話余裕度判定部５２は、対話余裕度に基づく車両の利用者に対する車両負荷（運転負荷等）が所定値より高いか否かを判定し、車両の利用者に対する車両負荷（運転負荷等）が所定値より高い場合、利用者の要求事項により設定された検索条件に基づく情報検索範囲を、負荷状態に応じて要求事項より広く設定し、状態管理部４３は検索処理を実行する。
また、車両の利用者に対する車両負荷（運転負荷等）が所定値より低い場合、状態管理部４３は利用者の要求事項により設定された検索条件に基づく情報検索範囲の検索処理を実行する。
【００４７】
（検索条件設定処理動作）
一方、本実施の形態の対話型情報検索システムの検索条件設定処理動作は、まず状態管理部４３の対話制御部５１が、音声合成装置４５を用いて、車両２０のスピーカ３４から、例えば「知りたい区間あるいは地点と情報種類をおっしゃってください。」というメッセージを出力して発話誘導ガイダンスを行う。
次に、対話制御部５１は、車両２０の利用者により音声入力用マイク３１から入力された音声を通信装置３３及び通信装置４１を介して取得すると共に、音声認識装置４２を用いて、利用者により入力された音声を認識して入力語を取得し、入力語に含まれる情報種類（ｔｙｐｅ）、区間（ｐｏｓｉ１、ｐｏｓｉ２）または地点（ｐｏｓｉ１）を認識する。
【００４８】
また、情報種類と区間あるいは地点のいずれかを正常に取得できたか否かを判定し、情報種類と区間あるいは地点のいずれかを正常に取得できていない場合、最初の発話誘導ガイダンスから上述の動作を繰り返す。
一方、情報種類と区間あるいは地点のいずれかを正常に取得できている場合、対話制御部５１は、取得できた入力語に基づいて、第１の実施の形態と同様に、下記５種類の処理のいずれかを行う。
【００４９】
（Ａ）情報種類（ｔｙｐｅ）と区間（ｐｏｓｉ１、ｐｏｓｉ２）に基づく検索条件設定処理
（Ｂ）区間（ｐｏｓｉ１、ｐｏｓｉ２）に基づく検索条件設定処理
（Ｃ）情報種類（ｔｙｐｅ）と地点（ｐｏｓｉ１）に基づく検索条件設定処理
（Ｄ）地点（ｐｏｓｉ１）に基づく検索条件設定処理
（Ｅ）情報種類（ｔｙｐｅ）に基づく検索条件設定処理
【００５０】
なお、対話制御部５１が実施する５種類の検索条件設定処理の手順は、上述のように、対話制御部５１が、音声合成装置４５を用いて、ガイダンスに利用するメッセージを車両２０のスピーカ３４から出力することと、車両２０の利用者により音声入力用マイク３１から入力された音声を、通信装置３３及び通信装置４１を介して取得し、音声認識装置４２を用いて、利用者により入力された音声を認識すること以外は、第１の実施の形態の対話制御部１１が実施する５種類の検索条件設定処理と同一であるので、ここでは説明を省略する。
また、本実施の形態でも、対話制御部５１が入力語管理手段と、検索条件設定手段とを含んでいる。
【００５１】
以上説明したように、本実施の形態の対話型情報検索システムも、第１の実施の形態と同様に、車両２０の利用者の発話内容を音声認識装置４２により認識すると共に、認識された入力語に基づいて対話制御部５１が対話制御を行いながら、音声合成装置４５が利用者への対話応答を音声として提供することで、入力語に関連する情報を検索して利用者へ提供する際、対話制御部５１に含まれる入力語管理手段が、一連の対話により入力される複数の入力語を管理すると共に、対話余裕度判定部５２と対話制御部５１に含まれる検索条件設定手段とが、入力語管理手段に対する入力状態と、ナビゲーション装置３２が判定する自車両の走行状態とに基づいて、情報の検索条件を設定することで、利用者の発話内容に応じて対話内容を遷移させながら、入力済みの内容と自車両の走行状態に基づく利用者の負荷状況とから検索する情報の内容を選択して提供することができる。
【００５２】
従って、利用者の目的や状態に応じた情報の検索及び取得が可能になると共に、情報検索において、希望の情報が検索されるまでの時間を短縮することができるという効果が得られる。また、情報センタ２１側に音声認識装置４２や状態管理部４３、更には情報蓄積部４４を設けることで、車両２０側の装置の負担を減らして車両２０の組立コストや部品コストを削減し、個々の車両に情報蓄積部等を設ける場合よりも総合的なコストを削減することができるという効果が得られる。
【００５３】
【発明の効果】
以上の如く、本発明の対話型情報検索システムによれば、対話入力により入力された入力語に関連する情報を検索して利用者へ提供する際、入力語管理手段が、一連の対話により入力される複数の入力語を管理すると共に、検索条件設定手段が、入力語管理手段に対する入力状態に基づいて、あるいは入力語管理手段に対する入力状態と自車両の走行状態とに基づいて、情報の検索条件を設定することで、利用者の発話内容に応じて対話内容を遷移させながら、入力済みの内容と自車両の走行状態に基づく利用者の負荷状況とから検索する情報の内容を選択して提供することができる。
【００５４】
従って、利用者の入力語の数（入力項目数）により検索される情報内容が決定されることで、入力項目数及びその内容に応じた情報を提供することが可能となり、利用者の目的や状態に応じた情報の検索及び取得が可能になるという効果が得られる。また、要求された複数の入力項目の中で、入力された項目が不足している場合でも、ガイダンスが変更された異なる内容からの発話誘導の回数を最小限に留めるため、情報検索において、希望の情報が検索されるまでの時間を短縮することができるという効果が得られる。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態の対話型情報検索システムを示すブロック図である。
【図２】 同実施の形態の対話型情報検索システムの基本動作を示すフローチャートである。
【図３】 同実施の形態の対話型情報検索システムの検索条件設定処理動作を示すフローチャートである。
【図４】 同実施の形態の対話型情報検索システムの検索条件設定処理動作を示すフローチャートである。
【図５】 同実施の形態の対話型情報検索システムにおいて定義された区間または地点を示す模式図である。
【図６】 本発明の第２の実施の形態の対話型情報検索システムを示すブロック図である。
【符号の説明】
１、３１ 音声入力用マイク
２、４２ 音声認識装置（音声認識手段）
３、４３ 状態管理部（請求項２の対話制御手段）
４、４４ 情報蓄積部
５、４５ 音声合成装置（音声合成手段）
６、３４ スピーカ
７ 車両状態検出装置（走行状態判定手段）
８、３５ ディスプレイ
９、３６ 発話トリガ用スイッチ
１１、５１ 対話制御部（対話制御手段）
１２、５２ 対話余裕度判定部（請求項２の検索条件設定手段）
２０ 車両
２１ 情報センタ
３２ ナビゲーション装置（走行状態判定手段）
３３、４１ 通信装置
Ｓ１１〜Ｓ１４、Ｓ２６〜Ｓ２７、Ｓ３１〜Ｓ３２、Ｓ３６〜Ｓ３８ 入力語管理手段
Ｓ１５〜Ｓ２５、Ｓ２８〜Ｓ３０、Ｓ３３〜Ｓ３５ 検索条件設定手段
【発明の属する技術分野】
本発明は、利用者との対話形式により、該利用者が希望する情報を提供するための対話型情報検索システムに関する。
【０００２】
【従来の技術】
従来、各種の機器の複雑な操作を、自由発話による対話形式で遂行することを可能とする音声対話システムがある。このシステムでは、対話処理専用の処理部が、対話の履歴を管理する対話履歴管理部を有し、対話の履歴に基づくシステムの案内の変更を可能にしている。また、対話履歴管理部は、音声認識手段のエラーの回数、音声認識手段の誤認識による発声のやり直しの回数、及び音声認識手段におけるタイムアウトの回数を管理する。これにより、それらの回数を条件とすることで、エラー及びやり直しの回数に応じて異なる対話の遷移を実現する。具体的には、音声認識手段が認識エラーを検出した際の発声のやり直しの回数や、音声認識手段が誤認識結果を出力した際の発声のやり直しの回数、あるいは利用者が発声可能なときに発声を行わなかった場合のタイムアウトの回数によって、ガイダンスの内容を変更することができる。従って、同じ操作を複数回行うことから生ずる利用者の不快感を、状況に応じて異なるガイダンスを提供することで軽減することができる（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開２００１−１２５５９１号公報
【０００４】
【発明が解決しようとする課題】
ところで、特許文献１に記載されているような従来のシステムでは、状況に応じてガイダンスの内容を変更し、同じ操作を複数回行うことから生ずる利用者の不快感を軽減することができるものの、要求された複数の入力項目の中で１項目でも不足していると、ガイダンスが変更された異なる内容からの発話誘導が何回も行われるため、利用者との対話形式により、該利用者が希望する情報を提供する対話型情報検索システムを構築しようとすると、希望の情報が検索されるまでに時間がかかるという問題があった。
【０００５】
本発明は、上記課題に鑑みてなされたもので、状況に応じてガイダンスの内容を変更しながらも、短時間で目的の情報を検索可能な対話型情報検索システムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、請求項１の発明に係る対話型情報検索システムは、利用者の発話内容を認識する音声認識手段（例えば実施の形態の音声認識装置２、または音声認識装置４２）と、前記音声認識手段により認識された入力語に基づいて、前記利用者への対話応答を制御する対話制御手段（例えば実施の形態の対話制御部１１、または対話制御部５１）と、前記利用者への対話応答を音声として提供する音声合成手段（例えば実施の形態の音声合成装置５、または音声合成装置４５）とを備え、前記入力語に関連する情報を検索して前記利用者へ提供する対話型情報検索システムであって、前記対話制御手段が、一連の対話により入力される複数の前記入力語を管理する入力語管理手段（例えば実施の形態のステップＳ１１からステップＳ１４、ステップＳ２６からステップＳ２７、ステップＳ３１からステップＳ３２、ステップＳ３６からステップＳ３８）と、前記入力語管理手段に対する一連の対話により入力された入力済みの内容に基づいて、少なくとも情報種類、区間、地点の情報の何れか一つを検索条件として設定する検索条件設定手段（例えば実施の形態のステップＳ１５からステップＳ２５、ステップＳ２８からステップＳ３０、ステップＳ３３からステップＳ３５）と、前記車両の走行位置、前記車両の走行速度、前記音声認識手段による音声認識率、音声認識時のノイズレベル、前記対話制御部の応答レスポンス、および、対話が成立しているかのうち少なくとも何れか一つの情報に基づいて前記利用者の対話に対する対話余裕度を算出する対話余裕度検出手段と、前記対話余裕度に基づいて、該対話余裕度が所定値より高い場合に、前記検索条件に基づく情報検索範囲を、前記検索条件設定手段で設定された前記検索条件より広く設定する一方、前記対話余裕度が所定値より低い場合に前記検索条件設定手段で設定された前記検索条件に基づく情報検索範囲とする前記検索条件に基づく情報検索範囲を変更する情報検索範囲変更手段と、を備えたことを特徴とする。
【０００７】
以上の構成を備えた対話型情報検索システムは、利用者の発話内容を音声認識手段により認識すると共に、認識された入力語に基づいて対話制御手段が対話制御を行いながら、音声合成手段が利用者への対話応答を音声として提供することで、入力語に関連する情報を検索して利用者へ提供する。この時、入力語管理手段が、一連の対話により入力される複数の入力語を管理すると共に、検索条件設定手段が、入力語管理手段に対する入力状態に基づいて、情報の検索条件を設定することで、利用者の発話内容に応じて対話内容を遷移させながら、入力済みの内容から検索する情報の内容を選択して提供することができる。
【０００９】
以上の構成を備えた対話型情報検索システムは、自車両の利用者の発話内容を音声認識手段により認識すると共に、認識された入力語に基づいて対話制御手段が対話制御を行いながら、音声合成手段が利用者への対話応答を音声として提供することで、入力語に関連する情報を検索して利用者へ提供する。この時、入力語管理手段が、一連の対話により入力される複数の入力語を管理すると共に、検索条件設定手段が、入力語管理手段に対する入力状態と、走行状態判定手段が判定する自車両の走行状態とに基づいて、情報の検索条件を設定することで、利用者の発話内容に応じて対話内容を遷移させながら、入力済みの内容と自車両の走行状態に基づく利用者の負荷状況とから検索する情報の内容を選択して提供することができる。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
（第１の実施の形態）
図１は、本発明の第１の実施の形態の対話型情報検索システムを示すブロック図である。図１において、音声入力用マイク１は、利用者の音声を入力するための音声入力手段であって、音声入力用マイク１を介して入力された利用者の音声は、音声認識装置２に入力される。
音声認識装置２では、利用者の入力する音声を所定の音声認識辞書と比較して音声認識を行い、認識結果を状態管理部３へ出力する。
【００１１】
状態管理部３は、対話シナリオに沿ったガイダンス（音声、画像情報）に従って、音声認識装置２を介した音声入力用マイク１からの音声入力、または操作部（後述するディスプレイ８に備えられたタッチパネル等）からの入力により、車両の利用者に機器操作や情報検索を行わせる処理部であって、対話シナリオや利用者に提供される情報は、情報蓄積部４に記憶されている。
また、音声合成装置５は、利用者との対話において、状態管理部３が出力するガイダンスや利用者へ提供される情報を合成音声により通知する音声合成部であって、音声合成装置５が生成した合成音声はスピーカ６から出力される。
【００１２】
また、状態管理部３には、ＧＰＳ（Global Positioning System ）を備えたナビゲーション装置や車両の走行速度を検出する速度センサ、更にはステアリングやブレーキ等に設けられたセンサにより、車両の走行位置や走行速度、利用者の運転操作等を含む車両の走行状況や運転状態を検出する車両状態検出装置７が接続されており、状態管理部３は、随時車両の位置情報や走行速度、運転状態等を取得することができる。
更に、状態管理部３には、利用者との対話において、状態管理部３が出力するガイダンスや利用者へ提供される情報を画像情報として表示すると共に、利用者が必要事項を入力するためのタッチパネルを備えたディスプレイ８や、音声入力時の発話トリガ用スイッチ９が接続されている。
【００１３】
また、状態管理部３は、所定の対話シナリオに基づき、利用者との対話を制御する対話制御部１１と、車両状態検出装置７により検出された車両の走行状況や運転状態に基づいて、利用者の対話に対する余裕度を判定する対話余裕度判定部１２とを含んでいる。なお、対話余裕度判定部１２は、車両状態検出装置７により検出された車両の走行位置や走行速度等の情報の他、音声認識装置２における音声認識率や音声認識時のノイズレベル、状態管理部３における対話時の応答レスポンスや対話が成立しているか等の情報も利用して利用者の対話に対する余裕度を判定する。
【００１４】
（基本動作）
次に、本実施の形態の対話型情報検索システムの基本動作について、図面を参照して説明する。図２は、本実施の形態の対話型情報検索システムの基本動作を示すフローチャートである。
図２において、まず状態管理部３の対話制御部１１は、車両の利用者の発話内容から抽出された入力語に基づいて、情報の検索条件を設定する検索条件設定処理を行う（ステップＳ１）。なお、検索条件設定処理の詳細は後述する。
次に、状態管理部３の対話余裕度判定部１２は、車両状態検出装置７が取得する車両の走行位置や走行速度等の情報の他、音声認識装置２による音声認識率や音声認識時のノイズレベル、対話制御部１１が検出する対話時の応答レスポンスや対話が成立しているか等の情報も利用して、利用者の対話に対する余裕度（対話余裕度）を算出すると共に、対話余裕度に基づいて、車両の利用者に対する車両負荷（運転負荷等）を判定する（ステップＳ２）。
【００１５】
そして、対話余裕度判定部１２は、対話余裕度に基づく車両の利用者に対する車両負荷（運転負荷等）が所定値より高いか否かを判定し（ステップＳ３）、車両の利用者に対する車両負荷（運転負荷等）が所定値より高い場合（ステップＳ３のＹＥＳ）、利用者の要求事項により設定された検索条件に基づく情報検索範囲を、負荷状態に応じて要求事項より広く設定し、状態管理部３は検索処理を実行する（ステップＳ４）。
一方、ステップＳ３において、車両の利用者に対する車両負荷（運転負荷等）が所定値より低い場合（ステップＳ３のＮＯ）、状態管理部３は利用者の要求事項により設定された検索条件に基づく情報検索範囲の検索処理を実行する（ステップＳ５）。
【００１６】
（検索条件設定処理動作）
次に、本実施の形態の対話型情報検索システムの検索条件設定処理動作について、図面を参照して説明する。図３及び図４は、本実施の形態の対話型情報検索システムの検索条件設定処理動作を示すフローチャートである。なお、本実施の形態では、説明を簡単化するために、検索条件設定処理動作において利用者により入力される入力語の数（入力項目数）が３個の場合について説明する。
図３及び図４において、まず状態管理部３の対話制御部１１は、音声合成装置５を用いて、スピーカ６から、例えば「知りたい区間あるいは地点と情報種類をおっしゃってください。」というメッセージを出力して発話誘導ガイダンスを行う（ステップＳ１１）。
【００１７】
次に、対話制御部１１は、音声認識装置２を用いて、利用者により音声入力用マイク１から入力された音声を認識して入力語を取得し（ステップＳ１２）、入力語に含まれる情報種類（ｔｙｐｅ）、区間（ｐｏｓｉ１、ｐｏｓｉ２）または地点（ｐｏｓｉ１）を認識する（ステップＳ１３）。
ここで、情報種類（ｔｙｐｅ）とは、検索する情報の種類のことで、例えば交通情報や気象情報（天気）、更には販売店情報等が含まれる。また、区間（ｐｏｓｉ１、ｐｏｓｉ２）は、図５（ａ）に示すように、始点（ｐｏｓｉ１）と終点（ｐｏｓｉ２）とで示される２地点間の地域を示し、地点（ｐｏｓｉ１）は、図５（ｂ）に示すように、地点（ｐｏｓｉ１）付近の地域を示す。
【００１８】
また、情報種類と区間あるいは地点のいずれかを正常に取得できたか否かを判定し（ステップＳ１４）、情報種類と区間あるいは地点のいずれかを正常に取得できていない場合（ステップＳ１４のＮＯ）、ステップＳ１１へ戻り、上述の動作を繰り返す。
一方、ステップＳ１４において、情報種類と区間あるいは地点のいずれかを正常に取得できている場合（ステップＳ１４のＹＥＳ）、対話制御部１１は、取得できた入力語に基づいて、下記（Ａ）から（Ｅ）の５種類の処理のいずれかを行う。
【００１９】
（Ａ）情報種類（ｔｙｐｅ）と区間（ｐｏｓｉ１、ｐｏｓｉ２）に基づく検索条件設定処理。
（Ｂ）区間（ｐｏｓｉ１、ｐｏｓｉ２）に基づく検索条件設定処理。
（Ｃ）情報種類（ｔｙｐｅ）と地点（ｐｏｓｉ１）に基づく検索条件設定処理。
（Ｄ）地点（ｐｏｓｉ１）に基づく検索条件設定処理。
（Ｅ）情報種類（ｔｙｐｅ）に基づく検索条件設定処理。
【００２０】
具体的には、ステップＳ１４において、情報種類（ｔｙｐｅ）と区間（ｐｏｓｉ１、ｐｏｓｉ２）が取得された場合（ステップＳ１５）、対話制御部１１は、音声合成装置５を用いて、スピーカ６から、例えば「％ｐｏｓｉ１から％ｐｏｓｉ２までの％ｔｙｐｅ情報を検索します。」というメッセージを出力して入力内容ガイダンスを行う（ステップＳ１６）。なお、メッセージ中の「％ｐｏｓｉ１、％ｐｏｓｉ２、％ｔｙｐｅ」には、それぞれ取得された入力語が代入される。
【００２１】
そして、例えば「よろしいですか？」というメッセージを出力して内容確認ガイダンスを行い（ステップＳ１７）、対話制御部１１は、音声認識装置２を用いて、利用者により音声入力用マイク１から入力された音声を認識して入力語を取得し（ステップＳ１８）、入力語が同意を示す言葉（具体的には「はい。」や「ＯＫ」等）であるか否かを判定する（ステップＳ１９）。
【００２２】
もし、ステップＳ１９において、入力語が同意を示す言葉ではなかった場合（ステップＳ１９のＮＯ）、ステップＳ１１へ戻り、上述の動作を繰り返す。
また、ステップＳ１９において、入力語が同意を示す言葉であった場合（ステップＳ１９のＹＥＳ）、利用者により入力された情報種類（ｔｙｐｅ）と区間（ｐｏｓｉ１、ｐｏｓｉ２）を検索条件に設定する（ステップＳ２０）。
【００２３】
一方、ステップＳ１４において、区間（ｐｏｓｉ１、ｐｏｓｉ２）のみが取得された場合（ステップＳ２１）、対話制御部１１は、音声合成装置５を用いて、スピーカ６から、例えば「％ｐｏｓｉ１から％ｐｏｓｉ２までの情報を検索します。」というメッセージを出力して入力内容ガイダンスを行う（ステップＳ２２）。なお、メッセージ中の「％ｐｏｓｉ１、％ｐｏｓｉ２」には、それぞれ取得された入力語が代入される。そして、ステップＳ１７へ進み、上述の動作を実行する。
【００２４】
一方、ステップＳ１４において、情報種類（ｔｙｐｅ）と地点（ｐｏｓｉ１）が取得された場合（ステップＳ２３）、対話制御部１１は、音声合成装置５を用いて、スピーカ６から、例えば「％ｐｏｓｉ１付近の％ｔｙｐｅ情報を検索します。」というメッセージを出力して入力内容ガイダンスを行う（ステップＳ２４）。なお、メッセージ中の「％ｐｏｓｉ１、％ｔｙｐｅ」には、それぞれ取得された入力語が代入される。
【００２５】
そして、次に、例えば「区間を指定する場合は、終点（ｐｏｓｉ２）を指定してください。」というメッセージを出力して発話誘導ガイダンスを行い（ステップＳ２５）、利用者に、地点（ｐｏｓｉ１）を始点とした場合に対応する終点（ｐｏｓｉ２）の入力を促す。
対話制御部１１は、音声認識装置２を用いて、利用者により音声入力用マイク１から入力された音声を認識して入力語を取得し（ステップＳ２６）、入力語が終点（ｐｏｓｉ２）を示す言葉であるか否かを判定する（ステップＳ２７）。
【００２６】
もし、ステップＳ２７において、入力語が終点（ｐｏｓｉ２）を示す言葉であった場合（ステップＳ２７のＹＥＳ）、ステップＳ１６へ進み、上述の動作を実行する。
また、ステップＳ２７において、入力語が終点（ｐｏｓｉ２）を示す言葉ではなかった場合（ステップＳ２７のＮＯ）、ステップＳ２０へ進み、利用者により入力された情報種類（ｔｙｐｅ）と地点（ｐｏｓｉ１）を検索条件に設定する（ステップＳ２０）。
【００２７】
一方、ステップＳ１４において、地点（ｐｏｓｉ１）のみが取得された場合（ステップＳ２８）、対話制御部１１は、音声合成装置５を用いて、スピーカ６から、例えば「％ｐｏｓｉ１付近の情報を検索します。」というメッセージを出力して入力内容ガイダンスを行う（ステップＳ２９）。なお、メッセージ中の「％ｐｏｓｉ１」には、取得された入力語が代入される。
【００２８】
そして、次に、例えば「区間を指定する場合は、終点（ｐｏｓｉ２）を指定してください。」というメッセージを出力して発話誘導ガイダンスを行い（ステップＳ３０）、利用者に、地点（ｐｏｓｉ１）を始点とした場合に対応する終点（ｐｏｓｉ２）の入力を促す。
対話制御部１１は、音声認識装置２を用いて、利用者により音声入力用マイク１から入力された音声を認識して入力語を取得し（ステップＳ３１）、入力語が終点（ｐｏｓｉ２）を示す言葉であるか否かを判定する（ステップＳ３２）。
【００２９】
もし、ステップＳ３２において、入力語が終点（ｐｏｓｉ２）を示す言葉であった場合（ステップＳ３２のＹＥＳ）、ステップＳ２２へ進み、上述の動作を実行する。
また、ステップＳ３２において、入力語が終点（ｐｏｓｉ２）を示す言葉ではなかった場合（ステップＳ３２のＮＯ）、ステップＳ２０へ進み、利用者により入力された地点（ｐｏｓｉ１）を検索条件に設定する（ステップＳ２０）。
【００３０】
一方、ステップＳ１４において、情報種類（ｔｙｐｅ）のみが取得された場合（ステップＳ３３）、対話制御部１１は、音声合成装置５を用いて、スピーカ６から、例えば「％ｔｙｐｅ情報を検索します。」というメッセージを出力して入力内容ガイダンスを行う（ステップＳ３４）。なお、メッセージ中の「％ｔｙｐｅ」には、取得された入力語が代入される。
【００３１】
そして、次に、例えば「区間を指定する場合は、始点（ｐｏｓｉ１）と終点（ｐｏｓｉ２）を、地点を指定する場合は地点（ｐｏｓｉ１）を指定してください。」というメッセージを出力して発話誘導ガイダンスを行い（ステップＳ３５）、対話制御部１１は、音声認識装置２を用いて、利用者により音声入力用マイク１から入力された音声を認識して入力語を取得する（ステップＳ３６）。
そして、まず、入力語が始点（ｐｏｓｉ１）と終点（ｐｏｓｉ２）を含む区間を示す言葉であるか否かを判定する（ステップＳ３７）。
【００３２】
もし、ステップＳ３７において、入力語が始点（ｐｏｓｉ１）と終点（ｐｏｓｉ２）を含む区間を示す言葉であった場合（ステップＳ３７のＹＥＳ）、ステップＳ１６へ進み、上述の動作を実行する。
また、ステップＳ３７において、入力語が始点（ｐｏｓｉ１）と終点（ｐｏｓｉ２）を含む区間を示す言葉ではなかった場合（ステップＳ３７のＮＯ）、対話制御部１１は、利用者により入力された入力語が地点（ｐｏｓｉ１）を示す言葉であるか否かを判定する（ステップＳ３８）。
【００３３】
もし、ステップＳ３８において、入力語が地点（ｐｏｓｉ１）を示す言葉であった場合（ステップＳ３８のＹＥＳ）、ステップＳ２４へ進み、上述の動作を実行する。
また、ステップＳ３８において、入力語が地点（ｐｏｓｉ１）を示す言葉ではなかった場合（ステップＳ３８のＮＯ）、ステップＳ２０へ進み、利用者により入力された情報種類（ｔｙｐｅ）を検索条件に設定する（ステップＳ２０）。
【００３４】
なお、本実施の形態では、対話制御部１１が入力語管理手段と、検索条件設定手段とを含んでいる。より具体的には、図３及び図４のステップＳ１１からステップＳ１４、ステップＳ２６からステップＳ２７、ステップＳ３１からステップＳ３２、ステップＳ３６からステップＳ３８が入力語管理手段に相当し、図３及び図４のステップＳ１５からステップＳ２５、ステップＳ２８からステップＳ３０、ステップＳ３３からステップＳ３５が検索条件設定手段に相当する。
【００３５】
以上説明したように、本実施の形態の対話型情報検索システムは、自車両の利用者の発話内容を音声認識装置２により認識すると共に、認識された入力語に基づいて対話制御部１１が対話制御を行いながら、音声合成装置５が利用者への対話応答を音声として提供することで、入力語に関連する情報を検索して利用者へ提供する際、対話制御部１１に含まれる入力語管理手段が、一連の対話により入力される複数の入力語を管理すると共に、対話余裕度判定部１２と対話制御部１１に含まれる検索条件設定手段とが、入力語管理手段に対する入力状態と、車両状態検出装置７が判定する自車両の走行状態とに基づいて、情報の検索条件を設定することで、利用者の発話内容に応じて対話内容を遷移させながら、入力済みの内容と自車両の走行状態に基づく利用者の負荷状況とから検索する情報の内容を選択して提供することができる。
【００３６】
従って、利用者の入力語の数（入力項目数）により検索される情報内容が決定されることで、入力項目数及びその内容に応じた情報を提供することが可能となり、利用者の目的や状態に応じた情報の検索及び取得が可能になるという効果が得られる。また、要求された複数の入力項目の中で、入力された項目が不足している場合でも、ガイダンスが変更された異なる内容からの発話誘導の回数を最小限に留めるため、情報検索において、希望の情報が検索されるまでの時間を短縮することができるという効果が得られる。
【００３７】
（第２の実施の形態）
図６は、本発明の第２の実施の形態の対話型情報検索システムを示すブロック図である。第２の実施の形態の対話型情報検索システムは、第１の実施の形態の対話型情報検索システムが車両側のみに設けられた装置で構成されていたのに対して、音声を認識する装置と対話を制御する装置とが、車両と無線通信により接続される情報センタ側に設けられることを特徴とする。
図６において、音声入力用マイク３１は、車両２０側に設けられ、車両２０の利用者の音声を入力するための音声入力手段であって、音声入力用マイク３１を介して入力された利用者の音声は、ナビゲーション装置３２に入力される。
【００３８】
また、ナビゲーション装置３２は、利用者とのインタフェース機能を備えると共に、ＧＰＳ（Global Positioning System ）や車両２０の走行速度を検出する速度センサ、更にはステアリングやブレーキ等に設けられたセンサ等を備え、車両２０の走行位置や走行速度、利用者の運転操作等を含む車両２０の走行状況や運転状態を検出する車両状態検出装置であって、ナビゲーション装置３２は、随時車両２０の位置情報や走行速度、運転状態等を取得することができる。
【００３９】
また、ナビゲーション装置３２には、通信装置３３やスピーカ３４、更には利用者が必要事項を入力するためのタッチパネルを備えたディスプレイ３５が接続され、音声入力用マイク３１から入力された利用者の音声、またはタッチパネル等の操作部からの入力内容は、情報センタと無線通信回線を接続可能な通信装置３３を介して情報センタ２１へ送信され、一方、通信装置３３が情報センタ２１から受信した対話シナリオに沿ったガイダンス（音声、画像情報）や利用者へ提供される情報（音声、画像情報）は、ナビゲーション装置３２を介して、音声はスピーカ３４から出力され、画像情報はディスプレイ３５に表示される。なお、ナビゲーション装置３２には、利用者との対話において、音声入力時の発話トリガ用スイッチ３６も接続されている。
【００４０】
一方、車両２０と無線通信により接続される情報センタ２１には、車両２０と無線通信回線を接続可能な通信装置４１が設けられ、通信装置４１を介して車両２０から受信した利用者の音声は、音声認識装置４２に入力される。音声認識装置４２では、車両２０から受信した利用者の音声を所定の音声認識辞書と比較して音声認識を行い、認識結果を状態管理部４３へ出力する。
【００４１】
また、状態管理部４３は、対話シナリオに沿ったガイダンス（音声、画像情報）に従って、通信装置４１と音声認識装置４２を介した車両２０からの音声入力、または通信装置４１で受信した車両２０の操作部（タッチパネル等）からの入力により、車両２０の利用者に機器操作や情報検索を行わせる処理部であって、対話シナリオや利用者に提供される情報は、情報蓄積部４４に記憶されている。なお、情報センタ２１は複数の車両２０と無線通信回線を接続できる。
【００４２】
更に、状態管理部４３について詳細に説明すると、状態管理部４３は、所定の対話シナリオに基づき、利用者との対話を制御する対話制御部５１と、車両２０より受信した車両の走行状況や運転状態に基づいて、利用者の対話に対する余裕度を判定する対話余裕度判定部５２とを含んでいる。なお、対話余裕度判定部５２は、車両２０より受信した車両の走行位置や走行速度等の情報の他、音声認識装置４２における音声認識率や音声認識時のノイズレベル、状態管理部４３における対話時の応答レスポンスや対話が成立しているか等の情報も利用して利用者の対話に対する余裕度を判定する。
【００４３】
また、音声合成装置４５は、車両２０の利用者との対話において、状態管理部４３が出力するガイダンスや利用者へ提供される情報を合成音声により通知する音声合成部であって、音声合成装置４５が生成した合成音声は、通信装置４１を介して車両２０へ送信されると共に、車両２０において通信装置３３により受信され、ナビゲーション装置３２を介してスピーカ３４から出力される。
【００４４】
（基本動作）
次に、本実施の形態の対話型情報検索システムの動作について説明すると、本実施の形態の対話型情報検索システムの動作は、車両２０の利用者の音声が無線通信により情報センタ２１へ送信されて音声認識されると共に、対話シナリオにそったガイダンスや利用者へ提供される情報に関する合成音声や画像情報が情報センタ２１から車両２０へ送信されて利用者に対して出力されることを除き、第１の実施の形態の対話型情報検索システムと基本的には変わりがない。
【００４５】
すなわち、本実施の形態の対話型情報検索システムの基本動作は、まず状態管理部４３の対話制御部５１が、車両２０の利用者の発話内容から抽出された入力語に基づいて、情報の検索条件を設定する検索条件設定処理を行う。
次に、状態管理部４３の対話余裕度判定部５２は、ナビゲーション装置３２が取得する車両の走行位置や走行速度等の情報の他、音声認識装置４２による音声認識率や音声認識時のノイズレベル、対話制御部５１が検出する対話時の応答レスポンスや対話が成立しているか等の情報も利用して、利用者の対話に対する余裕度（対話余裕度）を算出すると共に、対話余裕度に基づいて、車両の利用者に対する車両負荷（運転負荷等）を判定する。
【００４６】
そして、対話余裕度判定部５２は、対話余裕度に基づく車両の利用者に対する車両負荷（運転負荷等）が所定値より高いか否かを判定し、車両の利用者に対する車両負荷（運転負荷等）が所定値より高い場合、利用者の要求事項により設定された検索条件に基づく情報検索範囲を、負荷状態に応じて要求事項より広く設定し、状態管理部４３は検索処理を実行する。
また、車両の利用者に対する車両負荷（運転負荷等）が所定値より低い場合、状態管理部４３は利用者の要求事項により設定された検索条件に基づく情報検索範囲の検索処理を実行する。
【００４７】
（検索条件設定処理動作）
一方、本実施の形態の対話型情報検索システムの検索条件設定処理動作は、まず状態管理部４３の対話制御部５１が、音声合成装置４５を用いて、車両２０のスピーカ３４から、例えば「知りたい区間あるいは地点と情報種類をおっしゃってください。」というメッセージを出力して発話誘導ガイダンスを行う。
次に、対話制御部５１は、車両２０の利用者により音声入力用マイク３１から入力された音声を通信装置３３及び通信装置４１を介して取得すると共に、音声認識装置４２を用いて、利用者により入力された音声を認識して入力語を取得し、入力語に含まれる情報種類（ｔｙｐｅ）、区間（ｐｏｓｉ１、ｐｏｓｉ２）または地点（ｐｏｓｉ１）を認識する。
【００４８】
また、情報種類と区間あるいは地点のいずれかを正常に取得できたか否かを判定し、情報種類と区間あるいは地点のいずれかを正常に取得できていない場合、最初の発話誘導ガイダンスから上述の動作を繰り返す。
一方、情報種類と区間あるいは地点のいずれかを正常に取得できている場合、対話制御部５１は、取得できた入力語に基づいて、第１の実施の形態と同様に、下記５種類の処理のいずれかを行う。
【００４９】
（Ａ）情報種類（ｔｙｐｅ）と区間（ｐｏｓｉ１、ｐｏｓｉ２）に基づく検索条件設定処理
（Ｂ）区間（ｐｏｓｉ１、ｐｏｓｉ２）に基づく検索条件設定処理
（Ｃ）情報種類（ｔｙｐｅ）と地点（ｐｏｓｉ１）に基づく検索条件設定処理
（Ｄ）地点（ｐｏｓｉ１）に基づく検索条件設定処理
（Ｅ）情報種類（ｔｙｐｅ）に基づく検索条件設定処理
【００５０】
なお、対話制御部５１が実施する５種類の検索条件設定処理の手順は、上述のように、対話制御部５１が、音声合成装置４５を用いて、ガイダンスに利用するメッセージを車両２０のスピーカ３４から出力することと、車両２０の利用者により音声入力用マイク３１から入力された音声を、通信装置３３及び通信装置４１を介して取得し、音声認識装置４２を用いて、利用者により入力された音声を認識すること以外は、第１の実施の形態の対話制御部１１が実施する５種類の検索条件設定処理と同一であるので、ここでは説明を省略する。
また、本実施の形態でも、対話制御部５１が入力語管理手段と、検索条件設定手段とを含んでいる。
【００５１】
以上説明したように、本実施の形態の対話型情報検索システムも、第１の実施の形態と同様に、車両２０の利用者の発話内容を音声認識装置４２により認識すると共に、認識された入力語に基づいて対話制御部５１が対話制御を行いながら、音声合成装置４５が利用者への対話応答を音声として提供することで、入力語に関連する情報を検索して利用者へ提供する際、対話制御部５１に含まれる入力語管理手段が、一連の対話により入力される複数の入力語を管理すると共に、対話余裕度判定部５２と対話制御部５１に含まれる検索条件設定手段とが、入力語管理手段に対する入力状態と、ナビゲーション装置３２が判定する自車両の走行状態とに基づいて、情報の検索条件を設定することで、利用者の発話内容に応じて対話内容を遷移させながら、入力済みの内容と自車両の走行状態に基づく利用者の負荷状況とから検索する情報の内容を選択して提供することができる。
【００５２】
従って、利用者の目的や状態に応じた情報の検索及び取得が可能になると共に、情報検索において、希望の情報が検索されるまでの時間を短縮することができるという効果が得られる。また、情報センタ２１側に音声認識装置４２や状態管理部４３、更には情報蓄積部４４を設けることで、車両２０側の装置の負担を減らして車両２０の組立コストや部品コストを削減し、個々の車両に情報蓄積部等を設ける場合よりも総合的なコストを削減することができるという効果が得られる。
【００５３】
【発明の効果】
以上の如く、本発明の対話型情報検索システムによれば、対話入力により入力された入力語に関連する情報を検索して利用者へ提供する際、入力語管理手段が、一連の対話により入力される複数の入力語を管理すると共に、検索条件設定手段が、入力語管理手段に対する入力状態に基づいて、あるいは入力語管理手段に対する入力状態と自車両の走行状態とに基づいて、情報の検索条件を設定することで、利用者の発話内容に応じて対話内容を遷移させながら、入力済みの内容と自車両の走行状態に基づく利用者の負荷状況とから検索する情報の内容を選択して提供することができる。
【００５４】
従って、利用者の入力語の数（入力項目数）により検索される情報内容が決定されることで、入力項目数及びその内容に応じた情報を提供することが可能となり、利用者の目的や状態に応じた情報の検索及び取得が可能になるという効果が得られる。また、要求された複数の入力項目の中で、入力された項目が不足している場合でも、ガイダンスが変更された異なる内容からの発話誘導の回数を最小限に留めるため、情報検索において、希望の情報が検索されるまでの時間を短縮することができるという効果が得られる。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態の対話型情報検索システムを示すブロック図である。
【図２】 同実施の形態の対話型情報検索システムの基本動作を示すフローチャートである。
【図３】 同実施の形態の対話型情報検索システムの検索条件設定処理動作を示すフローチャートである。
【図４】 同実施の形態の対話型情報検索システムの検索条件設定処理動作を示すフローチャートである。
【図５】 同実施の形態の対話型情報検索システムにおいて定義された区間または地点を示す模式図である。
【図６】 本発明の第２の実施の形態の対話型情報検索システムを示すブロック図である。
【符号の説明】
１、３１ 音声入力用マイク
２、４２ 音声認識装置（音声認識手段）
３、４３ 状態管理部（請求項２の対話制御手段）
４、４４ 情報蓄積部
５、４５ 音声合成装置（音声合成手段）
６、３４ スピーカ
７ 車両状態検出装置（走行状態判定手段）
８、３５ ディスプレイ
９、３６ 発話トリガ用スイッチ
１１、５１ 対話制御部（対話制御手段）
１２、５２ 対話余裕度判定部（請求項２の検索条件設定手段）
２０ 車両
２１ 情報センタ
３２ ナビゲーション装置（走行状態判定手段）
３３、４１ 通信装置
Ｓ１１〜Ｓ１４、Ｓ２６〜Ｓ２７、Ｓ３１〜Ｓ３２、Ｓ３６〜Ｓ３８ 入力語管理手段
Ｓ１５〜Ｓ２５、Ｓ２８〜Ｓ３０、Ｓ３３〜Ｓ３５ 検索条件設定手段
Claims (1)
- 利用者の発話内容を認識する音声認識手段と、
前記音声認識手段により認識された入力語に基づいて、前記利用者への対話応答を制御する対話制御手段と、
前記利用者への対話応答を音声として提供する音声合成手段とを備え、前記入力語に関連する情報を検索して前記利用者へ提供する対話型情報検索システムであって、
前記対話制御手段が、
一連の対話により入力される複数の前記入力語を管理する入力語管理手段と、
前記入力語管理手段に対する一連の対話により入力された入力済みの内容に基づいて、少なくとも情報種類、区間、地点の情報の何れか一つを検索条件として設定する検索条件設定手段と、
前記車両の走行位置、前記車両の走行速度、前記音声認識手段による音声認識率、音声認識時のノイズレベル、前記対話制御部の応答レスポンス、および、対話が成立しているかのうち少なくとも何れか一つの情報に基づいて前記利用者の対話に対する対話余裕度を算出する対話余裕度検出手段と、
前記対話余裕度に基づく車両の利用者に対する車両負荷が所定値より高い場合に、前記検索条件に基づく情報検索範囲を、前記検索条件設定手段で設定された前記検索条件より広く設定する一方、前記車両負荷が所定値より低い場合に前記検索条件設定手段で設定された前記検索条件に基づく情報検索範囲とする情報検索範囲変更手段と、
を備えたことを特徴とする対話型情報検索システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003136078A JP4330924B2 (ja) | 2003-05-14 | 2003-05-14 | 対話型情報検索システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003136078A JP4330924B2 (ja) | 2003-05-14 | 2003-05-14 | 対話型情報検索システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004341724A JP2004341724A (ja) | 2004-12-02 |
| JP4330924B2 true JP4330924B2 (ja) | 2009-09-16 |
Family
ID=33526157
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003136078A Expired - Fee Related JP4330924B2 (ja) | 2003-05-14 | 2003-05-14 | 対話型情報検索システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4330924B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4689401B2 (ja) * | 2005-08-05 | 2011-05-25 | 本田技研工業株式会社 | 情報検索装置 |
| US8856105B2 (en) * | 2006-04-28 | 2014-10-07 | Hewlett-Packard Development Company, L.P. | Dynamic data navigation |
| US9626966B2 (en) * | 2013-12-18 | 2017-04-18 | Harman International Industries, Incorporated | Voice recognition query response systems and methods for generating query responses using information from a vehicle |
| JP6722483B2 (ja) * | 2016-03-23 | 2020-07-15 | クラリオン株式会社 | サーバ装置、情報システム、車載装置 |
| JP2018124805A (ja) * | 2017-02-01 | 2018-08-09 | トヨタ自動車株式会社 | 車載情報端末及び情報検索プログラム |
-
2003
- 2003-05-14 JP JP2003136078A patent/JP4330924B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004341724A (ja) | 2004-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6400109B2 (ja) | 音声認識システム | |
| JP4304952B2 (ja) | 車載制御装置、並びにその操作説明方法をコンピュータに実行させるプログラム | |
| JP5463922B2 (ja) | 車載機 | |
| JP5137853B2 (ja) | 車載用音声認識装置 | |
| JP4736982B2 (ja) | 作動制御装置、プログラム | |
| US20080059175A1 (en) | Voice recognition method and voice recognition apparatus | |
| US9123327B2 (en) | Voice recognition apparatus for recognizing a command portion and a data portion of a voice input | |
| JP5677650B2 (ja) | 音声認識装置 | |
| US20100229116A1 (en) | Control aparatus | |
| US20130013310A1 (en) | Speech recognition system | |
| JP4330924B2 (ja) | 対話型情報検索システム | |
| JP4770374B2 (ja) | 音声認識装置 | |
| JP2010039099A (ja) | 音声認識および車載装置 | |
| JP5986468B2 (ja) | 表示制御装置、表示システム及び表示制御方法 | |
| JP2012173702A (ja) | 音声案内システム | |
| JP2000338993A (ja) | 音声認識装置、その装置を用いたナビゲーションシステム | |
| JP2004233676A (ja) | 対話制御装置 | |
| JP5160653B2 (ja) | 情報提供装置、通信端末、情報提供システム、情報提供方法、情報出力方法、情報提供プログラム、情報出力プログラムおよび記録媒体 | |
| JP3296783B2 (ja) | 車載用ナビゲーション装置および音声認識方法 | |
| JP4093394B2 (ja) | 音声認識装置 | |
| JP2002062893A (ja) | 車載ナビゲーション装置 | |
| KR100749088B1 (ko) | 대화형 네비게이션 시스템 및 그 제어방법 | |
| JP3770083B2 (ja) | コマンド入力装置 | |
| JP2005215474A (ja) | 音声認識装置、プログラム、記憶媒体及びナビゲーション装置 | |
| JP2005053331A (ja) | 車載機器用情報提示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051202 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081118 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090114 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090401 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090609 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090617 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120626 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130626 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130626 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140626 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |