JP4156080B2 - 要求推定装置 - Google Patents

要求推定装置 Download PDF

Info

Publication number
JP4156080B2
JP4156080B2 JP18484098A JP18484098A JP4156080B2 JP 4156080 B2 JP4156080 B2 JP 4156080B2 JP 18484098 A JP18484098 A JP 18484098A JP 18484098 A JP18484098 A JP 18484098A JP 4156080 B2 JP4156080 B2 JP 4156080B2
Authority
JP
Japan
Prior art keywords
request
user
item
data
estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP18484098A
Other languages
English (en)
Other versions
JP2000020090A (ja
Inventor
美樹男 笹木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP18484098A priority Critical patent/JP4156080B2/ja
Publication of JP2000020090A publication Critical patent/JP2000020090A/ja
Application granted granted Critical
Publication of JP4156080B2 publication Critical patent/JP4156080B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、使用者の発話内容に応じて情報検索用機器や音声出力用機器などの所定の機器を動作させる制御装置において、その使用者の要求を推定するために用いられる要求推定装置に関するものである。
【0002】
【従来の技術】
従来より、使用者の発話内容に応じて機器を動作させる制御装置として、例えば、使用者が音声コマンドとして予め定められた言葉を発話すると、その言葉に対応した情報検索動作などを行う自動車用ナビゲーション装置が実用化されている。
【0003】
即ち、この種のナビゲーション装置では、例えば、使用者が「現在地」といった音声コマンドとしての言葉を発話すると、当該装置の中枢を成すマイクロコンピュータからなる制御部が、CD−ROMドライブなどの情報検索用機器に現在地付近の地名や施設などを検索させると共に、その検索結果に基づき、スピーカなどからなる音声出力用機器から「○○付近です」といった案内用の音声を出力させるようにしている。また例えば、使用者が「地図検索」といった音声コマンドとしての言葉を発話した後に、地名を発話すると、当該装置の制御部が、情報検索用機器に上記発話された地名の周辺地図を検索させると共に、その検索結果に基づき、CRTなどからなる表示用機器に上記発話された地名の周辺地図を表示させるようにしている。
【0004】
【発明が解決しようとする課題】
しかしながら、上記従来の制御装置では、使用者から入力される1つの音声コマンドに対して、情報検索用機器の動作内容(即ち、何を検索するのかという検索内容)や音声出力用機器の動作内容(即ち、音声による発話内容)などが1つに定められている。換言するならば、従来の制御装置は、音声コマンドと使用者の要求とが一対一に対応していると見なされて設計されており、音声コマンドから解釈される1つの要求に応じた機器動作を実現するようにしている。
【0005】
このため、使用者は、ある情報を得たいという要求を持つ毎に、その要求を制御装置に伝えるための言葉を発話する必要があり、様々な情報が欲しい場合には、多くの言葉を順次発話しなければならない。そして、制御装置側としては、使用者の要求に即した情報検索や情報提供を行うために、使用者が発話する様々な内容の言葉を正確に認識する必要がある。
【0006】
特に近年、使用者は一層多彩な情報の提供を望むようになっており、それに伴い、この種の制御装置は、より大規模なデータベース(例えばインターネットや、複数のCD−ROMなど)から情報を検索するように構成される傾向にあるため、上記問題は益々顕著になる。
【0007】
つまり、使用者は、自分が欲しい情報を制御装置に的確に伝えるために、より多種類の言葉をより正確に発話しなければならない。そして、制御装置側としては、使用者が発話する様々な言葉をより正確に認識しなければならず、音声認識処理(一般には、使用者が発話した言葉を、予め複数の言葉を記憶した認識語彙データベースの中から検索して特定する処理)に時間がかかり、また、使用者の要求に即した情報を大規模なデータベースから即座に取り出すことも難しくなる。
【0008】
そして、こうした問題は、制御装置が所定のデータベースから情報を検索する場合だけに限らず、使用者の発話内容に応じて、例えば空調機器,無線或いは有線による通信用機器,テレビやテープレコーダといったオーディオ機器,CRTや液晶といった表示用機器,及び照明機器などの、情報検索用機器以外の様々な機器を集中制御するようにした場合も同様である。
【0009】
つまり、使用者は、各機器を動作させたい場合に、その都度、自分の要求を制御装置に伝えるための言葉を発話しなければならない。そして、制御対象である機器の種類や機能が多くなる程、使用者は、より多種類の言葉を正確に発話しなければならず、逆に、制御装置側としては、使用者の要求に即した機器制御を行うために、使用者が発話する様々な言葉をより正確に認識しなければならない。
【0010】
本発明は、こうした問題に鑑みなされたものであり、使用者からのより少ない発話入力で、その使用者の要求に即した情報検索や機器制御などを容易に行えるようにすることを目的としている。
【0011】
【課題を解決するための手段、及び発明の効果】
上記目的を達成するためになされた請求項1に記載の本発明の要求推定装置は、使用者の発話内容に応じて所定の機器(以下、機器Mと記す)を動作させる制御装置に用いられ、その使用者の要求を推定するものである。尚、機器Mとしては、前述したように、所定のデータベースから情報を検索する情報検索用機器,音声を出力する音声出力用機器,無線或いは有線による通信用機器,空調機器,テレビやテープレコーダといったオーディオ機器,CRTや液晶といった表示用機器,及び照明機器など、様々なものが考えられる。また、制御装置が動作させる機器Mは、1つであっても良いし、複数個及び複数種類であっても良い。
【0012】
そして、本発明の要求推定装置は、図1に例示するように、使用者が発話した言葉を入力する入力手段と、使用者が置かれている状況を検出する状況検出手段とを備えており、推定手段が、入力手段により入力された言葉と状況検出手段により検出された状況との両方又は一方に基づいて、使用者の要求を複数推定する。
【0013】
このような本発明の要求推定装置では、推定手段により、使用者が発話した言葉と使用者が置かれている状況との両方又は一方に基づいて、使用者の要求が1つだけではなく複数推定される。
よって、当該要求推定装置によって推定される要求の内容に応じて、制御装置が機器Mを動作させるように構成すれば、使用者が多くの言葉を発話しなくても、その使用者が望んでいると思われる或いは望むと思われる様々な情報を所定のデータベースから検索して使用者に提供したり、その使用者が望んでいると思われる或いは望むと思われる様々な内容の機器制御を行うことができるようになる。
【0014】
また、一般に、この種の制御装置は、予め複数の言葉を記憶した認識語彙データベースを備えており、その認識語彙データベースの中から、使用者が発話した言葉を検索して特定することにより音声認識を行うが、制御装置が当該要求推定装置によって推定された要求の内容に応じて、上記認識語彙データベースから言葉を検索する際の検索順序を変更したり、上記認識語彙データベースの検索範囲を限定するように構成すれば、例えば、使用者が前回に発話した言葉と関連する言葉を次に発話した場合に、その言葉をより素早く認識することができるようになる。
【0015】
このように、本発明の要求推定装置を用いれば、使用者からのより少ない発話入力で、その使用者の要求に即した情報検索や機器制御などを容易に行うことができるようになる。
尚、推定手段は、使用者の現時点の要求だけを複数推定するように構成しても良いが、使用者の未来の要求をも推定(即ち予測)するように構成すれば、より効果的である。
【0016】
また、推定手段が、使用者の要求を推定する際に、入力手段により入力された言葉と状況検出手段により検出された状況との両方を用いれば、より効果的である。つまり、使用者の置かれている状況が異なれば、使用者が同じ言葉を発話しても、その言葉の持つ意味が違う場合があるためであり、使用者が発話した言葉と使用者の状況との両方に基づいて要求を推定すれば、その推定精度を向上させることができる。
【0017】
ところで、推定手段が使用者の要求を推定するための構成としては、例えば、入力手段により入力される様々な言葉と状況検出手段により検出される様々な状況との各々、或いは、それらの組み合わせに対応させて、使用者の要求の内容を複数記述した要求推定用のデータを所定の記憶手段に記憶させておき、推定手段は、入力手段によって実際に入力された言葉と状況検出手段によって実際に検出された状況との両方又は一方に対応する要求の内容を上記要求推定用のデータから検索して、その検索した要求の内容を推定結果として出力することが考えられる。
【0018】
但し、このように構成した場合には、推定される要求の数に限度が生じたり、より多くの要求を推定できるようにするためには、上記要求推定用のデータが膨大になるという面がある。そこで推定手段は、最初に使用者の少なくとも1つの要求を一次要求として推定し、更に、その推定した一次要求から使用者の精神的或いは肉体的な状態を推定して、その推定した状態から使用者の他の要求を推定するように構成すれば(図1参照)、上記一次要求以外の様々な要求を推定し易くなり、延いては、使用者に対して、より多彩な情報を提供したり、使用者の要望に一層即した機器制御などが可能になる。つまり、使用者の状態という要素を介在させることで、より多岐にわたる要求の推定が可能となる。
【0019】
尚、推定手段は、使用者の状態として、請求項に記載のように、前記一次要求を使用者が持っている時点での該使用者の精神的或いは肉体的な状態である現在状態と、前記時点から時間が経過した後の使用者の精神的或いは肉体的な状態である未来状態との、両方又は一方を推定するように構成すれば良い(図1参照)。
【0020】
そして特に、推定手段が、少なくとも上記未来状態を推定するように構成すれば、その未来状態から推定される要求は、使用者の未来の要求を予測したものとなるため、より効果的である。
つまり、使用者がこれから持つと思われる要求を予測できるため、使用者に対して、その後に必要となるであろう情報を事前に提供したり、使用者のその後の要求を先取りした機器制御などが可能になるからである。また、前述した音声認識の面においても、制御装置が上記の如く予測された要求の内容に応じて、上記認識語彙データベースから言葉を検索する際の検索順序を変更したり、上記認識語彙データベースの検索範囲を限定するように構成すれば、使用者がその後に発話する言葉をより素早く認識することができるようになる。
【0021】
但し、請求項に記載の推定手段において、最初に推定した一次要求が使用者の未来の要求であれば、その一次要求から推定される上記現在状態は、使用者の未来の状態を予測したものとなり、上記未来状態は、使用者の更に未来の状態を予測したものとなる。
【0022】
一方、推定手段が推定する未来状態としては、前記一次要求が満足されなかった場合の使用者の状態と、前記一次要求が満足された場合の使用者の状態との、両方が考えられるが、請求項に記載の如く、推定手段は、前記一次要求が満足された場合の使用者の精神的或いは肉体的な状態を、前記未来状態として推定するように構成する方が、好ましい面がある。つまり、通常、人は自分の要求を満足させるように行動するため、状態と要求の予測精度が上がると思われるからである。
【0023】
次に、請求項に記載の要求推定装置は、図1の点線で示すように、請求項1〜請求項の何れかに記載の要求推定装置に対して、第2の推定手段を備えている。そして、この第2の推定手段は、前記推定手段により推定された要求と、入力手段により入力された言葉と、状況検出手段により検出された状況とのうちで、前記推定手段により推定された要求を含む少なくとも2つ以上に基づき、使用者の要求を更に推定する。
【0024】
即ち、請求項に記載の要求推定装置では、前述した推定手段によって既に推定された要求から、使用者の要求を更に推定するようにしており、このようにすれば、使用者の要求をより一層多岐にわたって推定することができるようになる。尚、第2の推定手段は、推定手段によって既に推定された要求と異なる要求を常に推定する必要はない。つまり、同じ要求が重複して推定されても問題は生じないからである。
【0025】
【発明の実施の形態】
以下、本発明の実施形態について、図面を用いて説明する。
まず図2は、実施形態の制御装置1の構成を表すブロック図である。尚、本実施形態の制御装置1は、自動車(車両)に搭載されて、使用者としての車両の乗員(主に、運転者)と音声にて対話しながら、その車両に搭載された様々な機器を制御するものである。
【0026】
図2に示すように、本実施形態の制御装置1は、使用者が各種の指令やデータなどを外部操作によって入力するための入力装置3と、音声を入力するためのマイクロフォン5と、音声を出力するためのスピーカ7と、車両の現在位置(現在地)の検出や経路案内などを行う周知のナビゲーション装置9と、画像を表示するための表示装置11と、車内の空調を制御するエアコン装置13と、カセットテープレコーダ,CD(コンパクトディスク)プレーヤ,MD(ミニディスク)プレーヤ,ラジオ,及びテレビなどからなるオーディオ装置15と、周知のVICS(Vehicle Information and Communication System)の放送端末や、インターネットとの接続窓口であるインターネット放送端末との間で無線によりデータ通信を行う通信装置17と、車速や加減速状態などの車両運転状態,車両内外の温度,及び雨滴の有無などを検出するための各種センサ19と、車両のドアロック,窓ガラス(パワーウィンドウ),エンジン,及びブレーキ装置などを制御する他の制御装置(図示省略)とに接続されている。
【0027】
尚、ナビゲーション装置9は、車両の現在位置を検出するための周知のGPS装置や、地図データ,地名データ,施設名データなどの経路案内用データを記憶したCD−ROM、そのCD−ROMからデータを読み出すためのCD−ROMドライブ、及び、使用者が指令を入力するための操作キーなどを備えている。そして、ナビゲーション装置9は、例えば、使用者から操作キーを介して、目的地と目的地までの経路案内を指示する指令とが入力されると、車両の現在位置と目的地へ至るのに最適な経路とを含む道路地図を、表示装置11に表示させて経路案内を行う。また、表示装置11には、ナビゲーション装置9によって経路案内用の道路地図が表示されるだけでなく、情報検索用メニューなどの様々な画像が表示され、更に、オーディオ装置15がテレビのモードに設定されると、そのオーディオ装置15に備えられたテレビチューナにより受信されたテレビの受信画像が表示される。
【0028】
そして、制御装置1は、CPU,ROM,及びRAMなどからなるマイクロコンピュータを中心に構成されたシステム制御部21と、システム制御部21に入力装置3からの指令やデータを入力するインタフェース(I/F)23と、マイクロフォン5から入力された音声信号をデジタルデータに変換してシステム制御部21に入力する音声入力部25と、システム制御部21から出力されたテキストデータをアナログの音声信号に変換してスピーカ7に出力し、スピーカ7を鳴動させる音声合成部27と、上記ナビゲーション装置9,表示装置11,エアコン装置13,オーディオ装置15,通信装置17,各種センサ19,及び他の制御装置とシステム制御部21とをデータ通信可能に接続する機器制御インタフェース(機器制御I/F)29とを備えている。
【0029】
また、制御装置1には、通信装置17によりインターネットから所望の情報を検索及び取得するために、インターネットのアドレス(インターネットアドレス)を記憶するインターネットアドレスデータベース31と、検索制御部33とが備えられている。そして、システム制御部21が、検索制御部33へ検索内容(コンテンツ)を表す検索キーワードを出力すると、検索制御部33は、機器制御I/F29を介し通信装置17を動作させて、インターネット放送端末から上記検索キーワードに対応した情報を検索し、その検索結果をシステム制御部21へ入力させる。また、インターネットアドレスデータベース31には、検索制御部33によって過去に用いられたインターネットアドレスが、システム制御部21からの指令によって記憶され、検索制御部33は、システム制御部21から過去に入力した検索キーワードと同じ検索キーワードを受けると、インターネットアドレスデータベース31内のインターネットアドレスを再利用する。
【0030】
尚、本実施形態では、スピーカ7,ナビゲーション装置9,そのナビゲーション装置9に備えられたCD−ROMドライブ(図示省略),表示装置11,エアコン装置13,オーディオ装置15,通信装置17,及び他の制御装置(図示省略)が、制御装置1が動作させる制御対象の機器に相当しており、以下、これらを総称して、機器Mという。また、これらの機器Mのうちで、スピーカ7が音声出力用機器に相当している。
【0031】
一方また、制御装置1は、マイクロフォン5及び音声入力部25を介して入力される音声信号から、使用者が発話した言葉としてのキーワード(以下、発話キーワードともいう)を認識して取得するために、使用者が発話すると想定され且つ当該制御装置1が認識すべき複数のキーワードを予め記憶した認識キーワード記憶部34を備えている。つまり、この認識キーワード記憶部34に記憶されているキーワード群が、当該制御装置1の認識語彙データベースに相当するキーワードデータベースとなっている。
【0032】
そして、認識キーワード記憶部34には、上記複数のキーワードが、そのキーワードに含意されていると見なされる使用者の要求毎に分類されて記憶されている。
具体例を挙げると、例えば、{めし,あさめし,ひるめし,ばんめし,朝食,昼食,夕食,ご飯,朝ご飯,昼ご飯,夜ご飯,ブレックファスト,ブランチ,ランチ,ディナー,腹減った,お腹すいた,何か食べたい,レストラン,[具体的な料理店の名称]}といった各キーワードが、「食事」という要求に分類されて記憶されており、{買い物,ショッピング,デパート,百貨店,スーパー,コンビニ,マーケット,お店}といった各キーワードが、「買い物」という要求に分類されて記憶されている。また例えば、{休みたい,休もう,疲れた,サービスエリア,とまる,停車,駐車,眠い}といった各キーワードが、「休憩」という要求に分類されて記憶されており、{ゲーム,スポーツ,デート,遠足,ピクニック,アウトドア,[具体的な施設の名称]}といった各キーワードが、「遊びたい」という要求に分類されて記憶されている。
【0033】
また更に、制御装置1は、スピーカ7から出力する発話(以下、エージェント発話ともいう)の内容(即ち、スピーカ7の動作内容)とスピーカ7以外の他の機器Mの動作内容とを設定するため、及び、使用者の要求と使用者の精神的或いは肉体的な状態とを推定するためのデータを記憶する手段として、対話データベースを記憶する対話データ記憶部35と、要求・状態推定用データを記憶する要求・状態推定用データ記憶部36と、使用者の複数人分の個人情報(以下、ユーザプロファイルともいう)を記憶するユーザプロファイル記憶部37とを備えている。尚、この対話データ記憶部35,要求・状態推定用データ記憶部36,及びユーザプロファイル記憶部37と、前述したインターネットアドレスデータベース31は、データの読み出しと書き込みとが可能な不揮発性メモリによって構成されている。
【0034】
ここで、対話データ記憶部35に記憶される対話データベースと、要求・状態推定用データ記憶部36に記憶される要求・状態推定用データと、ユーザプロファイル記憶部37に記憶されるユーザプロファイルとについて説明する。
まず、ユーザプロファイル記憶部37に記憶される個人情報としてのユーザプロファイルは、例えば以下の(P−1)〜(P−11)などの各項目について、使用者に固有の情報が記述されるものである。
【0035】
(P−1):その人の分類(一般,社長,若者,性別など)。
(P−2):氏名、或いは更に、その人を識別するための氏名以外の他の識別情報(パスワード,識別番号など)。
(P−3):生年月日(誕生日)。
【0036】
(P−4):出身地。
(P−5):住所。
(P−6):職業。
(P−7):役職。
【0037】
(P−8):趣味。
(P−9):趣味の目的で、よく行くところ。
(P−10):買物の目的で、よく行くところ。
(P−11):家族構成,家族の氏名,及び家族の年齢と生年月日。
【0038】
尚、このユーザプロファイルは、使用者が入力装置3を操作して上記各項目の内容を入力することにより、ユーザプロファイル記憶部37にシステム制御部21の書き込み動作によって記憶される。
次に、対話データ記憶部35に記憶される対話データベースは、その一例を図4〜図6に示すように、表形式のデータ構造を有している。そして、図4〜図6において、横方向の各ラインL1〜L11 が、1組の対話データになっており、こうした対話データの複数から対話データベースが構成されている。尚、図4〜図6では、各ラインL1〜L11 が2段に亘って表されている。
【0039】
即ち、対話データベースを構成する各対話データは、その対話データの分類の項目と、使用者が置かれている状況を表す複数の項目(本実施形態では、季節,時間帯或いは日時,目的地,現在地,車両周囲の環境,車外状況,車内状況)と、使用者の要求の項目と、使用者の個人情報の項目と、マイクロフォン5及び音声入力部25を介して入力される使用者の発話(以下、ユーザ発話ともいう)の項目と、当該制御装置1が機器Mを動作させる際の動作内容(エージェント発話の内容及びスピーカ7以外の他の機器の動作内容)の項目と、推定される使用者の要求である推定要求の項目と、推定される使用者の状態である推定状態の項目との各々について、対応する内容を記述するためのデータ領域を有している。そして、各対話データは、上記各項目のデータ領域に、対応する内容を記述したものである。尚、記述とは、予め確保されたデータ領域に、対応する内容を表すデータがセットされることを意味している。
【0040】
ここで、こうした対話データベースの各項目について、具体的に説明する。
(C−1):分類
「分類」の項目には、その対話データが、使用者との対話においてどの様な話題に関するものかを表す内容が予め記述され、特に、後述する「動作内容」の項目に記述されるエージェント発話の分類を表す内容が記述されている。
【0041】
そして、この「分類」の項目に記述される内容としては、例えば、図4〜図6に例示するように、食事,駐車場,経路案内,イベント,家族,買い物,エアコン操作,飲み物などがあり、更に図示はされていないが、その他にも、挨拶,労い,検索,趣味,スポーツ,目的地,質問,確認,あいずち,一時停止,終了などがある。
【0042】
(C−2):季節
「季節」の項目には、春,夏,秋,冬といった四季の何れかや、初夏や盛夏など、四季を更に細分化した内容が予め記述されている。
(C−3):時間帯或いは日時
「時間帯或いは日時」の項目には、朝,昼,夜,早朝,深夜などや、何時から何時まで、といった具体的な時間帯の内容、或いは、何年何月何日何時何分、といった詳細な日時などが記述される。
【0043】
そして、この「時間帯或いは日時」の項目は、予め内容が記述されているものと、システム制御部21が内容を逐次記述するものとがある。例えば、図5に例示するラインL7の対話データにおいて、「時間帯或いは日時」の項目には、時間帯を表す内容が予め記述されている。また、図4に例示するラインL1,L4,L5の対話データにおいて、「時間帯或いは日時」の項目における<>内には、システム制御部21により現在の日時が逐次更新されて記述される。
【0044】
(C−4):目的地
「目的地」の項目には、システム制御部21により、使用者の意図する目的地が記述される。尚、システム制御部21は、ナビゲーション装置9から使用者によって設定された目的地を読み出したり、それまでの使用者との対話内容によって、「目的地」の項目に記述すべき内容を取得する。
【0045】
そして、この「目的地」の項目は、内容が記述されるものと記述されないものとがある。例えば、図4に例示するラインL2〜L4,L6の対話データにおいて、「目的地」の項目における<>内には、システム制御部21により、それまでの使用者との対話内容に応じた目的地が記述される。また、図4〜図6に例示する上記ラインL2〜L4,L6以外の対話データにおいて、「目的地」の項目には、内容が記述されないようになっている。
【0046】
(C−5):現在地
「現在地」の項目には、システム制御部21により、車両の現在地が記述される。尚、システム制御部21は、ナビゲーション装置9から車両の現在地を読み出して、「現在地」の項目に記述すべき内容を取得する。
【0047】
そして、この「現在地」の項目は、「目的地」の項目と同様に、内容が記述されるものと記述されないものとがある。例えば、図4に例示するラインL1〜L4,L6の対話データにおいて、「現在地」の項目における<>内には、システム制御部21により、車両の現在地が記述される。また、図4〜図6に例示する上記ラインL1〜L4,L6以外の対話データにおいて、「現在地」の項目には、内容が記述されないようになっている。
【0048】
(C−6):環境
「環境」の項目には、車両周囲の環境を表す内容が、予め記述されている。具体的には、道路環境を表す内容(高速道路,一般道路,国道,県道など)、道路状態を表す内容(路面凍結,路面が滑り易いなど)、交通環境を表す内容(速度制限,一方通行,進入禁止など)、及び、地理環境を表す内容(海が近い,山の中,街中,駅前など)が、予め記述されている。
【0049】
(C−7):車外状況
「車外状況」の項目には、車外の状況を表す内容が、予め記述されている。具体的には、現在地の天候を表す内容(晴れ,曇り,小雨,雨,大雨,雪,雷,台風など)、目的地の天候を表す内容(晴れ,曇り,小雨,雨,大雨,雪,雷,台風など)、交通状況を表す内容(渋滞,やや渋滞,すいている,事故発生など)、及び、車両周辺状況を表す内容(追い越し車両あり,追従車両あり、先行車両ありなど)が、予め記述されている。尚、車両周辺状況を表す内容としては、追い越し車両や追従車両の種別(トラック,乗用車,バイクなど)を付加して記述しておくこともできる。
【0050】
(C−8):車内状況
「車内状況」の項目には、車内の状況を表す内容が、予め記述されている。具体的には、運転状態を表す内容(渋滞した道路での走行,快適な走行,振動あり,速度オーバーなど)、乗車状態を表す内容(1人,2人,大勢(3人以上),家族連れ,或いは更に、どの座席にどの様な人が座っているかという詳細な内容など)、車室内温度を表す内容、移動目的を表す内容(家族とのドライブ,友人とのドライブ,恋人とのデートなど)、及び、オーディオ環境を表す内容などが、予め記述されている。
【0051】
(C−9):要求
「要求」の項目には、使用者が持つと考えられる要求の内容が、予め記述されている。具体的には、食事,飲み物,買い物,ドライブ,休憩,遊びたい,公園,遊園地,テーマパーク,ボーリング,テニス,プール,ジョギング,海水浴,スキー,ゴルフ,ゴルフ場予約,経路案内,駐車場,エアコン設定温度を下げる,エアコン設定温度を上げる,エアコン操作不要など、といった内容が記述されている。
【0052】
(C−10):個人情報
「個人情報」の項目には、前述したユーザプロファイルの各項目(P−1〜P−11)のうちで、その対話データにおける他の項目(特に「分類」,「要求」,「ユーザ発話」,「動作内容」)の記述内容に関連した項目の内容が記述される。
【0053】
そして、この「個人情報」の項目としては、予め固定の内容が記述されているものと、ユーザプロファイル記憶部37に実際に記憶されたユーザプロファイルに応じてシステム制御部21により記述内容が変更されるものとがある。但し、図4〜図6において、「個人情報」の項目に予め固定の内容が記述された対話データは例示されていない。
【0054】
例えば、図4に例示するラインL5 の対話データにおいて、「個人情報」の項目における[]内には、システム制御部21により、ユーザプロファイルの(P−11:家族構成及び家族の年齢と生年月日)の項目に記述された内容(この例では、使用者に5歳の長女がおり、その長女の誕生日が3月21日である、という内容)が記述される。また、図5に例示するラインL7の対話データにおいて、「個人情報」の項目における[]内には、システム制御部21により、ユーザプロファイルの(P−10:買物の目的で、よく行くところ)の項目に記述された内容(この例では、Aデパート)が記述される。
【0055】
つまり、上記ラインL5,L7の「個人情報」の項目には、予め、ユーザプロファイルの各項目のうちで何れの項目に記述された内容を[]内に記述するのかを示す指示データがセットされており、システム制御部21は、上記指示データに基づいて、「個人情報」の項目における[]内に、ユーザプロファイルの内容を記述するようになっている。よって、上記ラインL5,L7の「個人情報」の項目の記述内容は、ユーザプロファイル記憶部37に実際に記憶されたユーザプロファイルに応じて変更されることとなる。
【0056】
(C−11):ユーザ発話
「ユーザ発話」の項目には、マイクロフォン5及び音声入力部25を介して入力されると予想される使用者の発話キーワードが、予め記述されている。
但し、図4に例示するラインL1の対話データにおける「ユーザ発話」の項目にて、<<>>内に記述されたキーワードは、地名を表す固有名詞が入力されることを想定した変数データであり、{}内に記述されたキーワードは、認識キーワード記憶部34内にて「食事」という要求に分類されて記憶されたキーワード(即ち、「食事」という要求を含意すると見なされるキーワード)が入力されることを想定した変数データであり、〔〕内に記述されたキーワードは、料理の種類を表す言葉が入力されることを想定した変数データである。
【0057】
(C−12):動作内容
「動作内容」の項目には、当該制御装置1が機器Mを動作させる際の動作内容(スピーカ7から出力すべきエージェント発話の内容及びスピーカ7以外の他の機器の動作内容)が、予め記述されており、特に、その対話データにて、上記(C−1)〜(C−11)の各項目に記述した内容に対応する機器Mの動作内容が、記述されている。
【0058】
例えば、図4に例示するラインL2の対話データにおいて、「動作内容」の項目には、通信装置17にVICS情報(VICSの放送端末からの情報)などから目的地付近の空いている駐車場を検索させると共に、その検索結果に基づいて、スピーカ7から「駐車場は<b>が空いています。」というエージェント発話を出力させる、といった機器Mの動作内容が予め記述されている。
【0059】
また例えば、図4に例示するラインL6の対話データにおいて、「動作内容」の項目には、ナビゲーション装置9に備えられたCD−ROMドライブ或いは通信装置17に、目的地から最寄りのショッピングセンタを検索させると共に、その検索結果に基づいて、スピーカ7から「お買い物でしたら<e>と<f>が近くにあります。」というエージェント発話を出力させる、といった機器Mの動作内容が予め記述されている。尚、この例の場合、通信装置17には、インターネット放送端末と通信させてインターネットから必要な情報を検索させる。
【0060】
また更に、例えば、図6に例示するラインL10 の対話データにおいて、「動作内容」の項目には、スピーカ7から「わかりました。エアコン設定温度を下げます。」というエージェント発話を出力させると共に、エアコン装置13に車室内の温度を下げさせる、といった機器Mの動作内容が予め記述されている。
【0061】
尚、図4と図6において、「動作内容」の項目に記載された<>内の文字のうち、aからgまでのアルファベットと、○○公園及び○○祭りとは、検索動作によって得られた固有名詞(具体的には、aは検索されたレストラン名、bは検索された駐車場名、c,dは検索された道路名、e,fは検索されたショッピングセンタ名、gは検索された喫茶店やコンビニエンスストアなど、飲み物を取得可能な店名、○○公園は検索された公園名、○○祭りは検索されたイベント名)であり、X1 からX3 までのXで始まる記号は、検索動作によって得られた数や時間などの数値(具体的には、X1 ,X2 は検索されたレストランaの予約可能時刻を表す数値、X3 は検索された店gまでの距離を表す数値)である。
【0062】
一方更に、「動作内容」の項目としては、「個人情報」の項目と同様に、ユーザプロファイル記憶部37に実際に記憶されたユーザプロファイルに応じてシステム制御部21により記述内容が変更されるものがある。
例えば、図4に例示するラインL5の対話データにおいて、「動作内容」の項目における[]内には、システム制御部21により、ユーザプロファイルの(P−11:家族構成及び家族の年齢と生年月日)の項目に記述された内容であって、そのラインL5の「個人情報」の項目における[]内に記述された内容(この例では、使用者に5歳の長女がおり、その長女の誕生日が3月21日である、という内容)に応じた発話内容が記述される。具体的には、「個人情報」の項目における[]内に記述された上記内容と現在の日時とから長女の誕生日までの日数が計算され、その計算結果に基づき、例えば誕生日が明日ならば、「動作内容」の項目における[]内に「明日は娘さん」という発話内容が記述される。この結果、当該ラインL5の「動作内容」の項目が示す機器Mの動作内容としては、スピーカ7から「そういえば、明日は娘さんの誕生日でしたね。プレゼントはいかがですか。」というエージェント発話を出力させる、といったものとなる。
【0063】
また例えば、図5に例示するラインL7の対話データにおいて、「動作内容」の項目における[]内には、システム制御部21により、ユーザプロファイルの(P−10:買物の目的で、よく行くところ)の項目に記述された内容であって、そのラインL7の「個人情報」の項目における[]内に記述された内容(この例では、Aデパート)が記述される。この結果、当該ラインL7の「動作内容」の項目が示す機器Mの動作内容としては、上記のように[]内に記述されたAデパートで今日行われているバーゲンの対象商品を、通信装置17にインターネットから検索させると共に、その検索結果に基づいて、スピーカ7から「Aデパートですね。今日は○○(例えば電器用品)のバーゲンをやってます。」というエージェント発話を出力させる、といったものとなる。
【0064】
(C−13):推定要求
「推定要求」の項目には、使用者の置かれている実際の状況が、その対話データにおける状況の項目(C−2〜C−8)に記述した状況になると共に、使用者が、その対話データにおける「ユーザ発話」の項目に記述されたキーワードを発話し、また、後述するように推定した使用者の要求が、その対話データにおける「要求」の項目に記述された要求と一致し、更に、その対話データにおける「動作内容」の項目に記述した機器動作が実際に行われたと仮定した場合に、使用者が持つと常識的に考えられる要求の内容が、予め記述されている。
【0065】
そして、この「推定要求」の項目に記述される内容のバリエーション(種類)は、前述した「要求」の項目に記述される内容と同様である。
(C−14):推定状態
「推定状態」の項目には、上記「推定要求」の項目と同様に、使用者の置かれている実際の状況が、その対話データにおける状況の項目(C−2〜C−8)に記述した状況になると共に、使用者が、その対話データにおける「ユーザ発話」の項目に記述されたキーワードを発話し、また、後述するように推定した使用者の要求が、その対話データにおける「要求」の項目に記述された要求と一致し、更に、その対話データにおける「動作内容」の項目に記述した機器動作が実際に行われたと仮定した場合に、使用者がなると常識的に考えられる精神的或いは肉体的な状態であって、その対話データにおける「推定要求」の項目に記述された要求を使用者が持っている時点にて、該使用者がなっていると考えられる精神的或いは肉体的な状態の内容が、予め記述されている。
【0066】
そして、この「推定状態」の項目に記述される内容としては、空腹,空腹の準備(これから空腹になるであろう状態),満腹,移動の準備(移動しようとしている状態),快調,平常,暑い,喉が渇いた,元気はつらつ,ドライブを楽しんでいる,食事中,音楽鑑賞中,テレビ鑑賞中,疲労,休みたい,帰りたい,遊びたい,早く目的地に着きたい,休憩中,いらいらしている,怒っている,気が沈んでいる(落ち込んでいる)など、といったものがある。
尚、本実施形態において、図4〜図6に示すように、「分類」と「動作内容」との2つの項目については、全ての対話データに内容が記述されているが、その他の項目については、内容が記述されない場合もある。つまり、図4〜図6における空欄の部分は、内容が記述されていないことを示している。そして、「分類」と「動作内容」以外の何れの項目に内容を記述するかは、主に「動作内容」の項目に記述する内容に応じて決定すれば良い。但し、「分類」と「動作内容」以外の項目のうち、少なくとも1つ以上の項目には、該当する内容が記述されている。
【0067】
次に、要求・状態推定用データ記憶部36に記憶される要求・状態推定用データは、使用者が持つと考えられる複数種類の要求の内容、使用者がなると考えられる精神的或いは肉体的な複数種類の状態の内容、上記複数種類の要求の内容同士の連関情報、上記複数種類の状態の内容同士の連関情報、及び、上記複数種類の各要求の内容と上記複数種類の各状態の内容との連関情報からなるものであり、本実施形態では、その一例を図7に示すように、表形式のデータ構造を有している。そして、図7において、横方向の各ラインJ1〜J22 …が、1組の推定用データになっており、こうした推定用データの複数から要求・状態推定用データが構成されている。
【0068】
即ち、要求・状態推定用データを構成する各推定用データは、第1要求の項目と、推定状態の項目と、第2要求の項目と、行動の項目と、行動後の予想状態の項目との各々について、対応する内容を記述するためのデータ領域を有している。そして、各推定用データは、上記各項目のデータ領域に、対応する内容を記述したものである。
【0069】
ここで、こうした要求・状態推定用データの各項目について、具体的に説明する。
(Q−1):第1要求
「第1要求」の項目には、使用者が持つと考えられる要求の内容が、予め記述されている。そして、この「第1要求」の項目に記述される内容のバリエーションは、前述した対話データベースの「要求」の項目と「推定要求」の項目とに記述される内容と同様であり、例えば、食事,飲み物,買い物,ドライブ,休憩などがある。
【0070】
(Q−2):推定状態
「推定状態」の項目には、その推定用データにおける「第1要求」の項目に記述された要求を使用者が持っている時点にて、該使用者がなっていると考えられる精神的或いは肉体的な状態の内容が、予め記述されている。換言すれば、上記「第1要求」の項目には、その推定用データにおける「推定状態」の項目に記述された状態に使用者がなっている時点において、該使用者が持っていると考えられる要求の内容が、予め記述されている。
【0071】
そして、この「推定状態」の項目に記述される内容のバリエーションとしては、前述した対話データベースの「推定状態」の項目に記述される内容と同様であり、例えば、空腹,満腹,喉が渇いた,休みたい、などがある。
(Q−3):第2要求
「第2要求」の項目には、その推定用データにおける「第1要求」の項目に記述された要求に関連して使用者が持つと考えられる他の要求の内容が、予め記述されている。そして、この「第2要求」の項目に記述される内容のバリエーションも、対話データベースの「要求」の項目と「推定要求」の項目とに記述される内容と同様である。
【0072】
(Q−4):行動
「行動」の項目には、その推定用データにおける「第1要求」の項目に記述された要求を使用者が持っている場合に、該使用者が行うと考えられる行動の内容や該使用者が遭遇すると考えられる状況の内容が、予め記述されている。但し、基本的には、その推定用データにおける「第1要求」の項目に記述された要求を満足するための行動の内容が記述されている。
【0073】
そして、この「行動」の項目に記述される内容としては、例えば、移動するという意味の“移動”,食事をするという意味の“食事”,食事をしないという意味の“食べない”,公園へ行くという意味の“公園”,デパートへ行くという意味の“デパート”,何らかのイベントに参加するという意味の“イベント”,渋滞に遭うという意味の“渋滞”,渋滞に遭わないという意味の“渋滞なし”,スポーツするという意味の“スポーツ”、などがある。
【0074】
(Q−5):行動後の予想状態
「行動後の予想状態」の項目には、その推定用データにおける「第1要求」の項目に記述された要求を使用者が持っており、その後、その推定用データにおける「行動」の項目に記述された行動を使用者が行ったと仮定した場合に、該使用者がなっていると考えられる精神的或いは肉体的な状態の内容が、予め記述されている。つまり、「行動後の予想状態」の項目には、その推定用データにおける「第1要求」の項目に記述された要求を使用者が持っている時点から時間が経過した後の使用者の精神的或いは肉体的な状態の内容が、予め記述されている。
【0075】
そして、この「行動後の予想状態」の項目に記述される内容のバリエーションも、前述した対話データベースの「推定状態」の項目に記述される内容と同様である。
次に、以上のように構成された本実施形態の制御装置1において、システム制御部21で実行される処理について、図3を用い説明する。
【0076】
図3に示すように、車両のイグニッションスイッチ(図示省略)がオンされるなどして当該制御装置1に電源が供給されると、システム制御部21は、まずステップ(以下、「S」と記す)110にて、入力装置3及びI/F23とマイクロフォン5及び音声入力部25との何れかを介して、キー入力或いは音声として入力される現在の使用者(ユーザ)からの識別情報(例えば、氏名,パスワード,識別番号,カード番号など)を読み込む。尚、識別情報としては、IDカードの情報を読み込むようにしても良い。
【0077】
そして、続くS120にて、ユーザプロファイル記憶部37に記憶されている複数人分のユーザプロファイルの中から、前述した項目(P−2)に記述されている内容(氏名や他の識別情報)と上記S110で読み込んだ識別情報とが一致しているユーザプロファイルを特定し、その特定したユーザプロファイルを、現在の使用者のユーザプロファイルとして、RAM内に予め設定されているバッファ領域に記憶する。尚、このバッファ領域は、電源バックアップが施されている。
【0078】
そして更に、続くS130にて、上記バッファ領域に記憶したユーザプロファイルを用いて、対話データ記憶部35内の対話データベースの内容設定を行う。つまり、このS130の処理により、前述した図4のラインL5の対話データと図5のラインL7の対話データとにおける「個人情報」及び「動作内容」の各項目の[]内に、現在の使用者に固有の内容が記述されることとなる。
【0079】
また更に、このS130では、入力装置3及びI/F23を介して入力される使用者からの指令に応じて、対話データベースの「動作内容」の項目に記述されたエージェント発話の内容を、口調が異なるものに切り替える。つまり、本実施形態の制御装置1では、当該装置1の発話上の性格(口調)を、使用者からの指令に応じて、例えば、一般人,社長,若者,友人,女の子など、といった具合に変えることができるようになっている。尚、図4〜図6に例示するエージェント発話の内容は、使用者が“一般人”を指定した場合の標準形である。
【0080】
次に、システム制御部21は、S140にて、後述するS200の処理により対話データベースから使用者が置かれている実際の状況に適合した対話データを選択するために、自己に内蔵されている時計のデータに基づき、現在の日時(年,月,日,時刻)や四季及び時間帯など、対話データベースの「季節」及び「時間帯或いは日時」の項目に対応した実際の状況を検出し、その検出結果を上記バッファ領域に記憶する。
【0081】
また、システム制御部21は、このS140にて、前述したように、対話データベースを構成する各対話データのうちで、「時間帯或いは日時」の項目に内容を記述する必要がある対話データ(本実施形態では、図4に例示するラインL1,L4,L5の対話データ)について、その「時間帯或いは日時」の項目に現在の日時を記述する。
【0082】
そして、続くS150にて、車両の現在地をナビゲーション装置9から読み出すと共に、使用者が意図している目的地をナビゲーション装置9から読み出すか或いはそれまでの使用者との対話内容により把握し、このように検出した現在地と目的地とを上記バッファ領域に記憶する。
【0083】
また、システム制御部21は、このS150にて、前述したように、対話データベースを構成する各対話データのうちで、「目的地」の項目に内容を記述する必要がある対話データ(本実施形態では、図4に例示するラインL2〜L4,L6の対話データ)について、その「目的地」の項目に実際の目的地を記述する。また更に、システム制御部21は、このS150にて、前述したように、対話データベースを構成する各対話データのうちで、「現在地」の項目に内容を記述する必要がある対話データ(本実施形態では、図4に例示するラインL1〜L4,L6の対話データ)について、その「現在地」の項目に実際の現在地を記述する。
【0084】
次に、システム制御部21は、続くS160にて、通信装置17を介したインターネット検索などにより、下記の(1)〜(3)の分類にて、現在地と目的地付近での季節行事やイベントを確認し、その結果を上記バッファ領域に記憶する。
【0085】
(1):正月やクリスマスなど、全国共通の季節行事。
(2):祭りなど、ローカルだが毎年開催されるイベント。
(3):ローカル且つ特別のスケジュールで開催されるイベント。
そして、続くS170にて、使用者が置かれている実際の状況(実状況)のうちで、上記S140及びS150で検出した項目以外の実状況(即ち、時間的及び空間的以外の実状況であり、車両周囲の環境,車外状況,及び車内状況の各実状況)を検出するための処理を行い、その検出結果を上記バッファ領域に記憶する。
【0086】
ここで、S170の処理では、対話データベースの「環境」,「車外状況」,「車内状況」の各項目に記述される内容ついて、実状況を検出する。
例えば、車両周囲の「環境」のうちで、現在走行中の道路が高速道路,一般道路,国道,県道などの何れであるかといった道路環境の実状況と、現在走行中の道路の速度制限や、現在走行中の道路が一方通行であるとか進入禁止であるといった交通環境の実状況と、車両の現在位置が海の近くであるとか山の中であるといった地理環境の実状況との各々は、VICS情報を通信装置17で受信したり、ナビゲーション装置9からの情報(現在位置及び地図データ)に基づき検出する。そして、車両周囲の「環境」のうちで、現在走行中の道路が凍結しているとか滑り易いといった道路状態の実状況は、ブレーキ装置を制御している他の制御装置からの情報に基づき検出する。
【0087】
また、「車外状況」のうちで、現在地及び目的地の天候(晴れ,曇り,小雨,雨,大雨,雪,雷,台風など)の実状況と、現在走行中の道路が渋滞しているとか、すいているといった交通状況の実状況との各々は、VICS情報を通信装置17で受信することにより検出する。尚、現在地の天候が雨であることは、各種センサ19のうちの雨滴センサの信号から検出することもできる。そして、「車外状況」のうちで、追従車両の有無とか先行車両の有無といった車両周辺状況の実状況は、各種センサ19のうちの超音波センサからの信号やカメラによって検出する。
【0088】
一方、「車内状況」のうちで、室内温度の実状況は、各種センサ19のうちの温度センサからの信号によって検出する。また、「車内状況」のうちで、車両の乗員数(1人,2人,3人以上)といった乗車状態の実状況は、例えば、シートの座面に加わる圧力を検知する圧力センサからの信号によって検出する。
【0089】
そして、「車内状況」のうちで、運転状態(渋滞した道路での走行,快適な走行,振動ありなど)や、乗車状態(家族連れ,どの座席にどの様な人が座っているかという詳細な内容)、或いは更に、移動目的(家族とのドライブ,友人とのドライブ,恋人とのデートなど)といった、ナビゲーション装置9,通信装置17,各種センサ19,及び他の制御装置などからの情報により自動的に検出できない実状況については、使用者に対してスピーカ7からの発話や表示装置11に表示させるメッセージにより問い合わせて、使用者から音声やキー入力によって教示してもらうことで検出する。
【0090】
次に、システム制御部21は、S180にて、マイクロフォン5及び音声入力部25を介して音声信号が入力されない無音状態が、予め定められた一定時間以上に亘って継続したか否かを判定し、上記一定時間以内に音声信号が入力された場合(S180:NO)には、S190に進んで、上記入力された音声信号から使用者が発話したキーワード(発話キーワード)を認識して取得するための音声認識処理を行い、その取得した発話キーワードを上記バッファ領域に記憶した後、S200に進む。また、上記S180で無音状態が一定時間以上に亘って継続したと判定した場合(S180:YES)には、上記バッファ領域に、『無音(或いは、無応答)』という内容を記憶し、その後、S200に進む。
【0091】
ここで、S190の音声認識処理は、基本的には、認識キーワード記憶部34に記憶されたキーワード群(即ち、キーワードデータベース)の中から、その音声波形がマイクロフォン5及び音声入力部25を介して入力された音声信号の波形と一致或いは酷似しているキーワードを検索し、その検索によって特定したキーワードを、使用者の発話キーワードと認識して上記バッファ領域に記憶する、といった手順で行われる。
【0092】
但し、本実施形態では、上記キーワードデータベースからキーワードを検索する処理を開始する前に、後述するS210の処理で既に推定されて上記バッファ領域に記憶されている使用者の要求の内容に応じて、キーワードデータベースからキーワードを検索する際の検索順序を決定するようにしている。例えば、後述するS210の処理で「買い物」という要求が推定されている場合には、認識キーワード記憶部34内にて「買い物」という要求に分類されて記憶されているキーワード群(買い物,ショッピング,デパート,百貨店など)の優先度を高く設定して、そのキーワード群の中から優先的にキーワードの検索を行う。
【0093】
次に、システム制御部21は、続くS200にて、対話データ記憶部35に記憶された対話データベースの中から、RAM内の上記バッファ領域に記憶されている内容に最もマッチする対話データを選択する。
即ち、RAM内の上記バッファ領域には、S120の処理により、現在の使用者のユーザプロファイル(個人情報)が記憶され、S140,S150,及びS170の処理により、使用者が置かれている実状況を表す内容が記憶され、S180及びS190の処理により、使用者が実際に発話した発話キーワード(但し、無音或いは無応答という内容も含む)が記憶されている。また更に、後述するS210の処理が前回に行われていれば、RAM内の上記バッファ領域には、使用者の要求を推定した内容も記憶されている。
【0094】
そこで、システム制御部21は、S200にて、対話データベースをアクセスして各対話データを読み出し、その各対話データのうちで、上記バッファ領域に記憶されている内容に最もマッチする対話データを選択するのである。
具体的には、読み出した各対話データについて、使用者が実際に発話した発話キーワードと、対話データの「ユーザ発話」の項目に記述されているキーワードとのマッチング、使用者が置かれている実状況を表す各内容と、対話データの「季節」,「時間帯或いは日時」,「目的地」,「現在地」,「環境」,「車外状況」,「車内状況」の各項目に記述されている内容とのマッチング、現在の使用者のユーザプロファイルと、対話データの「個人情報」の項目に記述されている内容とのマッチング、及び、使用者の要求を推定した内容と、対話データの「要求」の項目に記述されている内容とのマッチング、の各々について調査する。
【0095】
尚、マッチングを調査するための処理としては、読み出した対話データの上記各項目について、上記バッファ領域に記憶されている内容と一致するものに対し所定値ずつ点数を付け、その合計点数を、マッチングの度合を表す評価値とする。また、対話データの各項目のうちの特定の項目(特に、「ユーザ発話」と「要求」の項目)については、他の項目よりも点数を大きくしておくようにしても良い。
【0096】
そして、S200では、各対話データのうちで、算出した評価値が最も大きいものを選択するのである。
次に、システム制御部21は、続くS210にて、使用者の要求と使用者の精神的或いは肉体的な状態とを推定するための処理を行う。
【0097】
ここで、S210の処理は、以下の▲1▼〜▲7▼の手順で行われる。
▲1▼:まず、上記S200の処理で今回選択した対話データの「推定要求」の項目に記述されている要求の内容を読み出し、その読み出した要求の内容を、使用者の要求を推定した推定結果として、RAM内に予め設定された上記バッファ領域とは異なる要求記憶領域に記憶する。
【0098】
尚、本実施形態では、この▲1▼の手順により上記要求記憶領域に記憶される要求の内容が、一次要求に相当している。
▲2▼:また、上記S200の処理で今回選択した対話データの「推定状態」の項目に記述されている状態の内容を読み出し、その読み出した状態の内容を、使用者の状態を推定した推定結果として、RAM内に予め設定された上記バッファ領域及び上記要求記憶領域とは異なる状態記憶領域に記憶する。
【0099】
▲3▼:次に、図7に例示した要求・状態推定用データを構成する各推定用データのうちで、上記▲1▼の手順により上記要求記憶領域に記憶した要求の内容が「第1要求」の項目に記述されている推定用データを探索する。そして、該当する推定用データがあれば、その推定用データの「推定状態」と「行動後の予想状態」との各項目に記述されている状態の内容を読み出し、その読み出した状態の内容を、使用者の状態を推定した推定結果として、上記状態記憶領域に追加して記憶する。
【0100】
▲4▼:そして更に、要求・状態推定用データを構成する各推定用データのうちで、上記▲3▼の手順により「行動後の予想状態」の項目から読み出した状態の内容が「推定状態」の項目に記述されており、且つ、「第1要求」と「第2要求」との両項目に内容が記述されていない推定用データを探索し、該当する推定用データがあれば、その推定用データの「行動後の予想状態」の項目に記述されている状態の内容を読み出して、その読み出した状態の内容も、使用者の状態を推定した推定結果として、上記状態記憶領域に追加して記憶する。
【0101】
尚、本実施形態では、上記▲2▼の手順により上記状態記憶領域に記憶される状態の内容と、上記▲3▼の手順により推定用データの「推定状態」の項目から読み出されて上記状態記憶領域に記憶される状態の内容とが、現在状態の推定結果に相当している。また、上記▲3▼及び▲4▼の手順により推定用データの「行動後の予想状態」の項目から読み出されて上記状態記憶領域に記憶される状態の内容が、未来状態の推定結果に相当している。
【0102】
▲5▼:次に、要求・状態推定用データを構成する各推定用データのうちで、上記▲2▼〜▲4▼の各手順により上記状態記憶領域に記憶した状態(即ち、現在状態と未来状態)の内容が「推定状態」の項目に記述されている推定用データを探索する。そして、該当する推定用データがあれば、その推定用データの「第1要求」の項目に記述されている要求の内容を読み出し、その読み出した要求の内容を、使用者の要求を推定した推定結果として、上記要求記憶領域に追加して記憶する。
【0103】
▲6▼:そして更に、要求・状態推定用データを構成する各推定用データのうちで、上記▲1▼及び▲5▼の各手順により上記要求記憶領域に記憶した要求の内容が「第1要求」の項目に記述されている推定用データを探索し、該当する推定用データがあれば、その推定用データの「第2要求」の項目に記述されている要求の内容を読み出して、その読み出した要求の内容も、使用者の要求を推定した推定結果として、上記要求記憶領域に追加して記憶する。
【0104】
尚、本実施形態では、上記▲5▼及び▲6▼の手順により上記要求記憶領域に記憶される要求のうち、上記▲1▼の手順で上記要求記憶領域に記憶された要求とは異なる要求の内容が、一次要求以外の他の要求に相当している。
▲7▼:最後に、上記▲1▼,▲5▼,及び▲6▼の各手順により上記要求記憶領域に記憶した要求の内容を、上記バッファ領域に記憶し直す。尚、この▲7▼の手順において、上記要求記憶領域に同じ要求が重複して複数記憶されている場合には、その同じ要求については1つに整理して上記バッファ領域に記憶する。また、上記▲1▼の手順により対話データの「推定要求」の項目から読み出した要求については、他の要求と区別して上記バッファ領域に記憶するようにしている。これは、S200の処理において、上記バッファ領域に複数種類の要求が記憶されていると共に、その複数種類の要求の各々にマッチする対話データが複数ある場合には、前回のS200で選択した対話データの「推定要求」の項目から読み出された要求にマッチする対話データを、優先的に選択するためである。
【0105】
次に、システム制御部21は、続くS220にて、上記S200の処理で今回選択した対話データを読み出し、その対話データの「動作内容」の項目に記述されている内容を、機器Mの動作内容として設定する。そして、続くS230にて、上記S220で設定した動作内容に従って、機器Mを動作させる。
【0106】
つまり、S200の処理により、対話データベースを構成する各対話データのうちで、「季節」,「時間帯或いは日時」,「目的地」,「現在地」,「環境」,「車外状況」,「車内状況」,「要求」,「個人情報」,及び「ユーザ発話」の各項目に記述された内容が上記バッファ領域に記憶されている内容(使用者が置かれている実状況を表す内容、使用者の要求を推定した内容、現在の使用者のユーザプロファイル、及び、使用者が発話した発話キーワード)に最も適合した対話データが選択されているため、その選択された対話データの「動作内容」に記述されている内容に従って、スピーカ7を始めとする機器Mを動作させる。
【0107】
そして、その後、S240に進んで、使用者との対話が終了したか否かを判定する。尚、この判定では、例えば、使用者からの「うるさい」とか「さよなら」といった発話キーワードが入力された場合に、対話が終了したと判定する。そして、対話が終了していないと判定した場合には、S140へ戻るが、対話が終了したと判定した場合には、当該図3の処理を終了する。
【0108】
次に、以上のような制御装置1の作用について、具体例を挙げて説明する。
まず、例えば、車両が愛知県・刈谷市の一般道路を走行している際に、使用者が“岡崎”,“めし”,“インド料理”という3つのキーワードを順序不定で発話すると、S200の処理により、図4に例示するラインL1の対話データが選択されて、S220の処理により、その対話データ(L1)の「動作内容」の項目に記述された内容が機器Mの動作内容として設定される。その結果、S230の処理にて、通信装置17により、インターネットなどから、愛知県・岡崎市にあるインド料理のレストランaと、そのレストランaの予約可能時刻とが検索されて、スピーカ7から「<X1 >時<X2 >分に、<a>が予約できます。」というエージェント発話が出力される。尚、上記ラインL1の対話データにおいて、「現在地」の項目には、それまでのS150の処理により<刈谷>が記述されている。
【0109】
そして、このようにS200の処理で上記ラインL1の対話データが選択された場合には、続くS210にて、前述した▲1▼〜▲7▼の手順により、使用者の複数の要求が推定される。
具体的には、まず、▲1▼の手順により、ラインL1の対話データの「推定要求」の項目に記述されている“食事”と“駐車場”という要求の内容が、使用者の要求(一次要求)を推定した推定結果として上記要求記憶領域に記憶される。
【0110】
また、▲2▼の手順により、ラインL1の対話データの「推定状態」の項目に記述されている“空腹の準備(これから空腹になるであろう状態)”という状態の内容が、使用者の状態を推定した推定結果として上記状態記憶領域に記憶される。
次に、▲3▼の手順により、図7に例示した要求・状態推定用データを構成する各推定用データの中から、上記▲1▼の手順で上記要求記憶領域に記憶された要求の内容(この例の場合、“食事”,“駐車場”)が「第1要求」の項目に記述されている推定用データが探索され、この例の場合には、“食事”が「第1要求」の項目に記述されているラインJ2の推定用データが探し出される。そして、そのラインJ2の推定用データにおいて、「推定状態」の項目に記述されている“空腹”という状態の内容と「行動後の予想状態」の項目に記述されている“満腹”という状態の内容とが、使用者の状態を推定した推定結果として、上記状態記憶領域に追加して記憶される。
【0111】
そして更に、▲4▼の手順により、図7に例示した要求・状態推定用データを構成する各推定用データの中から、上記▲3▼の手順で「行動後の予想状態」の項目から読み出された“満腹”が「推定状態」の項目に記述され、且つ、「第1要求」と「第2要求」との両項目に内容が記述されていないラインJ4の推定用データが探し出される。そして、そのラインJ4の推定用データにおいて、「行動後の予想状態」の項目に記述されている“トイレ希望”,“眠い”,“休みたい”,“喫煙”という状態の内容も、使用者の状態を推定した推定結果として、上記状態記憶領域に追加して記憶される。
【0112】
尚、このように推定される状態のうち、ラインL1の対話データの「推定状態」の項目に記述されていた“空腹の準備”と、ラインJ2の推定用データの「推定状態」の項目に記述されていた“空腹”とが、ラインL1の対話データの「推定要求」の項目に記述されていた“食事”という要求を使用者が持っている時点での状態(即ち、現在状態)の推定結果であり、また、ラインJ2とラインJ4の推定用データの「行動後の予想状態」の項目に記述されていた“満腹”,“トイレ希望”,“眠い”,“休みたい”,及び“喫煙”が、“食事”という要求を使用者が持っている時点から時間が経過した後の状態(即ち、未来状態)の推定結果である。
【0113】
次に、▲5▼の手順により、図7に例示した要求・状態推定用データを構成する各推定用データの中から、上記▲2▼〜▲4▼の各手順で上記状態記憶領域に記憶された状態の内容(この例の場合、“空腹の準備”,“空腹”,“満腹”,“トイレ希望”,“眠い”,“休みたい”,“喫煙”)が「推定状態」の項目に記述されている推定用データが探索され、この例の場合には、ラインJ2〜J4,J6,J7,J9〜J11 の推定用データが探し出される。そして、ラインJ2の推定用データの「第1要求」の項目に記述されている“食事”と、ラインJ6,J9,J10 の各推定用データの「第1要求」の項目に記述されている“休憩”と、ラインJ11の推定用データの「第1要求」の項目に記述されている“トイレ”とが、使用者の要求を推定した推定結果として、上記要求記憶領域に追加して記憶される。尚、“空腹の準備”は、これから空腹になるであろうという将来的な状態を表しており、推定用データを探索する際においては、“空腹”と同様に扱われる。
【0114】
そして更に、▲6▼の手順により、図7に例示した要求・状態推定用データを構成する各推定用データの中から、上記▲1▼及び▲5▼の各手順で上記要求記憶領域に記憶された要求の内容(この例の場合、“食事”,“駐車場”,“休憩”,“トイレ”)が「第1要求」の項目に記述されている推定用データが探索され、この例の場合には、ラインJ2,J6,J8〜J11 の推定用データが探し出される。そして、ラインJ2の推定用データの「第2要求」の項目に記述されている“買い物”及び“行楽”と、ラインJ8〜J10 の各推定用データの「第2要求」の項目に記述されている“飲み物”と、ラインJ11 の推定用データの「第2要求」の項目に記述されている“休憩”とが、使用者の要求を推定した推定結果として、上記要求記憶領域に追加して記憶される。
【0115】
そして最後に、▲7▼の手順により、上記▲1▼,▲5▼,及び▲6▼の各手順で上記要求記憶領域に記憶された要求の内容が、重複しないように上記バッファ領域へ記憶し直される。よって、この例の場合には、“食事”,“駐車場”,“休憩”,“トイレ”,“買い物”,“行楽”,“飲み物”という7つの要求が推定されて、上記バッファ領域に記憶されることとなる。また、上記ラインL1の対話データの「推定要求」の項目に記述されていた“食事”と“駐車場”は、他の要求と区別されて上記バッファ領域に記憶される。
【0116】
このため、上記ラインL1の対話データに応じたエージェント発話が行われた後に、使用者が特に応答しなければ、次のS200の処理により、図4に例示するラインL2の対話データ(即ち、「環境」の項目に“一般道路”が記述され、「要求」の項目に“駐車場”が記述された対話データ)が選択されて、S220の処理により、その対話データ(L2)の「動作内容」の項目に記述された内容が機器Mの動作内容として設定される。その結果、S230の処理にて、通信装置17により、VICS情報などから、上記レストランaの近くにある駐車場bが検索されて、スピーカ7から「駐車場は<b>が空いています。」というエージェント発話が出力される。
【0117】
尚、上記ラインL2の対話データにおいて、「目的地」と「現在地」との各項目には、直前のS150の処理により、夫々<岡崎のレストランa>と<刈谷>とが記述されている。また、この例の場合、S200の処理によって上記ラインL1の対話データの次にラインL2の対話データが選択されるのは、前述したように、上記バッファ領域に記憶された複数の要求のうちで、ラインL1の「推定要求」の項目に記述されていた要求(“駐車場”)にマッチする対話データが優先的に選択されるためである。
【0118】
そして、このようにS200の処理で上記ラインL2の対話データが選択された場合にも、続くS210にて、前述した▲1▼〜▲7▼の手順により、使用者の要求が推定される。即ち、まず、▲1▼の手順により、ラインL2の対話データの「推定要求」の項目に記述されている“経路案内”という要求の内容が、使用者の要求を推定した推定結果として上記要求記憶領域に記憶される。また、▲2▼の手順により、ラインL2の対話データの「推定状態」の項目に記述されている“移動の準備(これから移動するであろう状態)”という状態の内容が、使用者の状態を推定した推定結果として上記状態記憶領域に記憶される。そして、ラインL1の対話データが選択された場合と同様に、▲3▼〜▲6▼の手順により、図7に例示した要求・状態推定用データに基づき“経路案内”以外の他の要求が推定されて、それが上記要求記憶領域に追加して記憶され、最後に、▲7▼の手順により、上記要求記憶領域に記憶された要求の内容が重複しないように上記バッファ領域へ記憶し直される。
【0119】
このため、上記ラインL2の対話データに応じたエージェント発話が行われた後に、使用者が特に応答しなければ、次のS200の処理により、図4に例示するラインL3の対話データ(即ち、「環境」の項目に“一般道路”が記述され、「要求」の項目に“経路案内”が記述された対話データ)が選択されて、S220の処理により、その対話データ(L3)の「動作内容」の項目に記述された内容が機器Mの動作内容として設定される。その結果、S230にて、通信装置17により、VICS情報などから、現在地(愛知県・刈谷市)から目的地(愛知県・岡崎市)へ行くための主要な道路c,dと、その道路c,dの渋滞状況とが検索されて、スピーカ7から「<c>は混雑していますので<d>で行くことをお勧めします。」といったエージェント発話が出力される。
【0120】
尚、上記ラインL3の対話データにおいて、「目的地」と「現在地」との各項目には、直前のS150の処理により、夫々<岡崎>と<刈谷>とが記述されている。また、この例の場合、S200の処理によって上記ラインL2の対話データの次にラインL3の対話データが選択されるのは、前述したように、上記バッファ領域に記憶された複数の要求のうちで、ラインL2の「推定要求」の項目に記述されていた要求(“経路案内”)にマッチする対話データが優先的に選択されるためである。
【0121】
また、このようにS200の処理で上記ラインL3の対話データが選択された場合にも、続くS210にて、前述した▲1▼〜▲7▼の手順により、使用者の要求が推定される。即ち、▲1▼の手順により、ラインL3の対話データの「推定要求」の項目に記述されている“経路確認”という要求の内容が、使用者の要求を推定した推定結果として上記要求記憶領域に記憶され、▲3▼〜▲6▼の手順により、要求・状態推定用データに基づき“経路確認”以外の他の要求が推定されて、それが上記要求記憶領域に追加して記憶される。そして、▲7▼の手順により、上記要求記憶領域に記憶された要求の内容が重複しないように上記バッファ領域へ記憶し直される。
【0122】
次に、上記ラインL3の対話データに応じたエージェント発話が行われた後に、使用者が特に応答せず、しかも、使用者が家族連れで乗車しているのであれば、ラインL1の対話データが選択された際に上記バッファ領域に記憶された要求の内容(“行楽”と“休憩”)に応じて、次のS200の処理により、図4に例示するラインL4の対話データ(即ち、「車内状況」の項目に“家族連れ”が記述され、「要求」の項目に“行楽”と“休憩”とが記述された対話データ)が選択される。
【0123】
そして、S220の処理により、その対話データ(L4)の「動作内容」の項目に記述された内容が機器Mの動作内容として設定され、その結果、S230の処理にて、通信装置17により、インターネットなどから、目的地(愛知県・岡崎市)で今日行われている行楽イベントとそれの開催場所とが検索されて、スピーカ7から「今日は○○公園で○○祭りをやっています。」といったエージェント発話が出力される。尚、上記ラインL4の対話データにおいて、「目的地」と「現在地」との各項目には、直前のS150の処理により、夫々<岡崎>と<刈谷>とが記述されている。
【0124】
また、このようにS200の処理で上記ラインL4の対話データが選択された場合にも、続くS210にて、前述した▲1▼〜▲7▼の手順により、使用者の要求が推定される。即ち、▲1▼の手順により、ラインL4の対話データの「推定要求」の項目に記述されている“行楽”という要求の内容が、使用者の要求を推定した推定結果として上記要求記憶領域に記憶され、▲3▼〜▲6▼の手順により、要求・状態推定用データに基づき“行楽”以外の他の要求が推定されて、それが上記要求記憶領域に追加して記憶される。そして、▲7▼の手順により、上記要求記憶領域に記憶された要求の内容が重複しないように上記バッファ領域へ記憶し直される。
【0125】
そして、上記ラインL4の対話データに応じたエージェント発話が行われた後に、使用者が特に応答せず、しかも、その使用者のユーザプロファイルの項目(P−11:家族構成及び家族の年齢と生年月日)に記述されている内容が“5歳の長女がおり、その長女の誕生日が3月21日である”という内容であれば、ラインL1の対話データが選択された際に上記バッファ領域に記憶された要求の内容(“買い物”)に応じて、次のS200の処理により、図4に例示するラインL5の対話データが選択される。
【0126】
つまり、「要求」の項目に“買い物”が記述され、「個人情報」の項目に“5歳の長女がおり、その長女の誕生日が3月21日である”という内容が記述された対話データ(L5)が選択される。そして、S220の処理により、その対話データ(L5)の「動作内容」の項目に記述された内容が機器Mの動作内容として設定されて、その結果、S230の処理にて、例えば長女の誕生日が明日ならば、スピーカ7から「そういえば、明日は娘さんの誕生日でしたね。プレゼントはいかがですか。」というエージェント発話が出力される。
【0127】
そして、このようにS200の処理で上記ラインL5の対話データが選択された場合にも、続くS210にて、前述した▲1▼〜▲7▼の手順により、使用者の要求が推定される。即ち、▲1▼の手順により、ラインL5の対話データの「推定要求」の項目に記述されている“贈り物”という要求の内容が、使用者の要求を推定した推定結果として上記要求記憶領域に記憶され、▲3▼〜▲6▼の手順により、要求・状態推定用データに基づき“贈り物”以外の他の要求が推定されて、それが上記要求記憶領域に追加して記憶される。そして、▲7▼の手順により、上記要求記憶領域に記憶された要求の内容が重複しないように上記バッファ領域へ記憶し直される。
【0128】
次に、上記ラインL5の対話データに応じたエージェント発話が行われた後に、使用者が特に応答せず、しかも、使用者が家族連れで乗車しているのであれば、ラインL1の対話データが選択された際に上記バッファ領域に記憶された要求の内容(“買い物”)に応じて、次のS200の処理により、図4に例示するラインL6の対話データ(即ち、「車内状況」の項目に“家族連れ”が記述され、「要求」の項目に“買い物”が記述された対話データ)が選択される。
【0129】
そして、S220の処理により、その対話データ(L6)の「動作内容」の項目に記述された内容が機器Mの動作内容として設定され、その結果、S230の処理にて、ナビゲーション装置9のCD−ROMドライブ或いは通信装置17により、目的地(愛知県・岡崎市)から最寄りのショッピングセンタが検索されて、スピーカ7から「お買い物でしたら<e>と<f>が近くにあります。」というエージェント発話が出力される。尚、ラインL6の対話データにおいて、「目的地」と「現在地」との各項目には、直前のS150の処理により、夫々<岡崎>と<刈谷>とが記述されている。
【0130】
また、このようにS200の処理で上記ラインL6の対話データが選択された場合にも、続くS210にて、前述した▲1▼〜▲7▼の手順により、使用者の要求が推定される。
このように、本実施形態の制御装置1では、使用者からの“岡崎”,“めし”,“インド料理”といった3つの発話キーワードに対して、該当するインド料理のレストランに関する情報だけではなく、そのレストランの近くにある駐車場や、そのレストランへ行くのに最適な走行経路(渋滞情報及び道路名)、更には、食事をした後に行くのに適したイベントやショッピングセンタなども紹介することとなる。また、使用者のユーザプロファイル(個人情報)に基づき、例えば家族の誕生日が近ければ、「そういえば、明日は娘さんの誕生日でしたね。」といった具合に話しかけて、要求推定に対する使用者の反応を求めることとなる。
【0131】
一方、例えば、使用者が9時から21時までの時間帯に家族連れで一般道路を走行している場合に、S200の処理により、図4〜図6に例示した対話データ以外の他の対話データが選択されて、S210の処理により、“買い物”という要求の内容が上記バッファ領域に記憶されているものとする。
【0132】
そして、この状態において、使用者が“いつものところ”や“よくいくところ”といったキーワードを発話し、しかも、その使用者のユーザプロファイルの項目(P−10:買物の目的で、よく行くところ)に記述されている内容が“Aデパート”であれば、次のS200の処理により、図5に例示するラインL7の対話データが選択される。
【0133】
つまり、「時間帯或いは日時」の項目に“9時から21時”が記述され、「環境」の項目に“一般道路”が記述され、「車内状況」の項目に“家族連れ”が記述され、「要求」の項目に“買い物”が記述され、「個人情報」の項目に“Aデパートによく行く”が記述され、「ユーザ発話」の項目に“いつものところ”や“よくいくところ”が記述された対話データ(L7)が選択される。
【0134】
そして、S220の処理により、その対話データ(L7)の「動作内容」の項目に記述された内容が機器Mの動作内容として設定され、その結果、通信装置17により、インターネットなどから、Aデパートで今日行われているバーゲンの対象商品が検索されて、スピーカ7から「Aデパートですね。今日は○○(例えば電器用品)のバーゲンをやってます。」というエージェント発話が出力される。尚、上記ラインL7の対話データにおいて、「個人情報」と「動作内容」との各項目における[]内には、S130の処理により、現在の使用者に固有の“Aデパート”が記述されている。
【0135】
また、このようにS200の処理で上記ラインL7の対話データが選択された場合にも、続くS210にて、前述した▲1▼〜▲7▼の手順により、使用者の要求が推定される。そして、この場合には、少なくとも、▲1▼及び▲6▼の手順により、図7に例示したラインJ12 の推定用データが探し出されて、その推定用データ(J12 )の「第2要求」の項目に記述されている“行楽”が、“買い物”以外の他の要求として上記要求記憶領域に記憶される。
【0136】
このため、上記ラインL7の対話データに応じたエージェント発話が行われた後に、使用者が特に応答しなければ、例えば、前述したラインL4の対話データが選択された場合と同様に、買い物をした後に行くのに適した行楽地などが紹介されることとなる。
【0137】
一方、例えば、夏の季節に車室内の温度が30℃以上となり、しかも、車内に人が乗っている場合には、S200の処理により、図6に例示するラインL8の対話データ(即ち、「季節」の項目に“夏”が記述され、「車内状況」の項目に“乗員有り”と“30℃以上”が記述された対話データ)が選択される。そして、S220の処理により、その対話データ(L8)の「動作内容」の項目に記述された内容が機器Mの動作内容として設定され、その結果、S230の処理にて、スピーカ7から「暑いですね。エアコン設定温度を下げますか。」という問いかけのエージェント発話が出力される。
【0138】
また、例えば、車室内の温度が20℃以上である場合に、使用者が“あつい”や“あついなあ”というキーワードを発話すると、S200の処理により、図6に例示するラインL9の対話データ(即ち、「車内状況」の項目に“乗員有り”と“20℃以上”が記述され、「ユーザ発話」の項目に“あつい”や“あついなあ”が記述された対話データ)が選択される。そして、S220の処理により、その対話データ(L9)の「動作内容」の項目に記述された内容が機器Mの動作内容として設定され、その結果、S230の処理にて、前述したラインL8の対話データが選択された場合と同様に、スピーカ7から「暑いですね。エアコン設定温度を下げますか。」という問いかけのエージェント発話が出力される。
【0139】
ここで、このように上記ラインL8,L9のうちの何れかの対話データがS200の処理で選択された場合にも、続くS210にて、前述した▲1▼〜▲7▼の手順により、使用者の要求が推定される。そして、この場合には、▲1▼の手順により、ラインL8,L9の対話データの「推定要求」の項目に記述されている“エアコン設定温度を下げる”という要求の内容が上記要求記憶領域に記憶される。そして更に、少なくとも、▲2▼及び▲5▼の手順により、図7に例示したラインJ5の推定用データが探し出されて、その推定用データ(J5)の「第1要求」の項目に記述されている“飲み物”が、“エアコン設定温度を下げる”以外の他の要求として上記要求記憶領域に記憶される。
【0140】
このため、上記ラインL8,L9 のうちの何れかの対話データに応じたエージェント発話が行われた後に、使用者が“はい”や“うん”或いは“下げる”というキーワードを発話するか、無応答であると、次のS200の処理により、図6に例示するラインL10 の対話データ(即ち、「要求」の項目に“エアコン設定温度を下げる”が記述され、「ユーザ発話」の項目に“はい”や“うん”などの肯定を示すキーワードが記述された対話データ)が選択される。そして、S220の処理により、その対話データ(L10 )の「動作内容」の項目に記述された内容が機器Mの動作内容として設定され、その結果、S230の処理にて、スピーカ7から「わかりました。エアコン設定温度を下げます。」というエージェント発話が出力されると共に、エアコン装置13が車室内の温度を下げるように動作することとなる。
【0141】
また、このように上記ラインL10 の対話データがS200の処理で選択された場合にも、続くS210にて、前述した▲1▼〜▲7▼の手順により、使用者の要求が推定される。そして、この場合には、ラインL10 の対話データにおける「推定要求」と「推定状態」との各項目に記述されている内容が、ラインL8,L9の対話データにおける「推定要求」と「推定状態」との各項目に記述されている内容と同じであるため、ラインL8,L9の対話データが選択された場合と同様に、少なくとも、“エアコン設定温度を下げる”と“飲み物”という要求の内容が推定される。
【0142】
このため、上記ラインL10 の対話データに応じたエージェント発話が行われた後に、使用者が特に応答せず、しかも、一般道路を走行しているのであれば、ラインL8又はL9とラインL10 の対話データが選択された際に推定された要求の内容(“飲み物”)に応じて、次のS200の処理により、図6に例示するラインL11 の対話データ(即ち、「環境」の項目に“一般道路”が記述され、「要求」の項目に“飲み物”が記述された対話データ)が選択される。そして、S220の処理により、その対話データ(L11 )の「動作内容」の項目に記述された内容が機器Mの動作内容として設定され、その結果、S230の処理にて、ナビゲーション装置9のCD−ROMドライブ或いは通信装置17により、現在地から最寄りの喫茶店やコンビニエンスストアなど、飲み物を取得可能な店名と、その店までの距離とが検索されて、スピーカ7から「何か飲みますか。<X3 >メートル先に<g>があります。」というエージェント発話が出力される。
【0143】
このように、本実施形態の制御装置1では、夏の季節に車室内の温度が30℃以上になったという状況や、使用者からの“あつい”といった発話キーワードに応じて、エアコン装置13を車室内の温度を下げるように動作させるだけではなく、飲み物を取得可能な最寄りの店も紹介することとなる。
【0144】
以上詳述したように、本実施形態の制御装置1では、マイクロフォン5及び音声入力部25を介して入力される使用者の発話キーワードと、使用者が置かれている実際の状況との両方又は一方に応じて、S200及びS210の処理により、使用者の要求を1つだけではなく複数推定するようにしている。
【0145】
尚、本実施形態では、S180及びS190の処理が、入力手段に相当し、S140,S150,及びS170の処理が、状況検出手段に相当している。そして、S200及びS210の処理が、推定手段と第2の推定手段に相当している。つまり、対話データベースを構成する各対話データのうちで、「要求」の項目に内容が記述されていない対話データ(例えば、図4のラインL1の対話データ)をS200の処理で選択して、その対話データの「推定要求」及び「推定状態」の項目に記述された内容と要求・状態推定用データとからS210の処理で使用者の要求を推定する動作が、推定手段としての動作に相当し、また、対話データベースを構成する各対話データのうちで、「要求」の項目に内容が記述されている対話データ(例えば、図4のラインL2〜L6の対話データ)をS200の処理で選択して、その対話データの「推定要求」及び「推定状態」の項目に記述された内容と要求・状態推定用データとからS210の処理で使用者の要求を推定する動作が、第2の推定手段としての動作に相当している。
【0146】
そして、本実施形態の制御装置1によれば、推定した要求の内容に応じて、S200,S220,及びS230の処理により機器Mを動作させるようにしているため、使用者が多くの言葉を発話しなくても、その使用者が望んでいると思われる或いは望むと思われる様々な情報を検索して使用者に提供したり、その使用者が望んでいると思われる或いは望むと思われる様々な内容の機器制御を行うことができる。
【0147】
しかも、本実施形態の制御装置1では、S190の音声認識処理にて、認識キーワード記憶部34に記憶されたキーワード群(キーワードデータベース)からキーワードを検索する前に、既に推定している使用者の要求の内容に応じて、キーワードデータベースからキーワードを検索する際の検索順序を決定するようにしている。よって、使用者が発話した言葉をより素早く且つ正確に認識することができ易くなる。
【0148】
また、本実施形態の制御装置1では、S210の処理にて、前述した▲1▼の手順により、使用者の一次要求を推定すると共に、前述した▲2▼〜▲4▼の手順により、上記一次要求から考えられる使用者の状態を推定し、更に、前述した▲5▼及び▲6▼の手順により、上記推定した状態から考えられる使用者の他の要求を推定するようにしている。そして、このように使用者の状態という要素を介在させて複数の要求を推定するようにしているため、より多岐にわたる要求の推定が可能となり、延いては、使用者に対して、より多彩な情報を提供したり、使用者の要望に一層即した機器制御が可能になる。
【0149】
特に、本実施形態の制御装置1では、使用者の状態を推定する際に、推定した一次要求を使用者が持っている時点から時間が経過した後の未来状態も推定するようにしている。例えば、前述したように、S200の処理によって図4のラインL1の対話データが選択された場合には、“食事”という一次要求に対応して、“空腹”という現在状態が推定されると共に、“満腹”,“トイレ希望”,“眠い”といった食事後の未来状態も推定される。
【0150】
よって、その未来状態から推定される要求は、使用者の未来の要求を予測したものとなり、より効果的である。つまり、使用者がこれから持つと思われる未来の要求を予測できるため、使用者に対して、その後に必要となるであろう情報を事前に提供したり、使用者のその後の要求を先取りした機器制御が可能になるからである。また、S190の音声認識処理においても、使用者がその後に発話する言葉をより素早く認識することができるようになる。
【0151】
また更に、本実施形態の制御装置1では、上記一次要求が満足された場合の使用者の状態を、未来状態として推定するようにしている。例えば、S200の処理によって図4のラインL1の対話データが選択された場合には、“食事”という一次要求に対応して、使用者が食事をした後になると思われる状態(“満腹”,“トイレ希望”など)が未来状態として推定される。このため、状態と要求の予測精度を向上させることができる。つまり、通常、人は自分の要求を満足させるように行動するからである。
【0152】
また、本実施形態の制御装置1では、既に推定した使用者の要求から、使用者の要求を更に推定するようにしている。例えば、前述したように、S200の処理により図4のラインL1の対話データが選択されて、“駐車場”という要求が推定され、その後、S200の処理により図4のラインL2の対話データが選択されて、続くS210の処理にて、その対話データ(L2)の「推定要求」の項目に記述されている内容(“経路案内”)を要求の推定結果として記憶する、といった動作がまさにそれである。このため、使用者の要求をより一層多岐にわたって推定することができ、有利である。
【0153】
尚、本実施形態において、前述したS210の処理により推定される要求の記憶期間は、その内容に応じて、以下の(A)〜(C)の3段階に分類されている。
(A):音楽が聞きたい,何か飲みたい、といった内容の要求は、短期記憶用の要求として分類されており、例えば数分から数十分の間、上記バッファ領域に記憶される。
【0154】
(B):食事したい,休みたい,エアコン装置13を作動させたい,映画をみたい,買い物をしたい、といった内容の要求は、中期記憶用の要求として分類されており、例えば数十分から数時間の間、上記バッファ領域に記憶される。
(C):ドライブしたい,スキーに行きたい,テニスをしたい,温泉に行きたい、といった内容の要求は、長期記憶用の要求として分類されており、例えば数時間から数日の間、上記バッファ領域に記憶される。
【0155】
そして、上記バッファ領域に記憶されている要求は、使用者と対話を進めていく上で適切な時期に読み出され、機器Mの制御に反映される。
次に、本実施形態の制御装置1が有する他の構成及び機能について、具体例を挙げて説明する。
【0156】
まず、本実施形態の制御装置1は、使用者が置かれている実状況を効率良く把握するために、自動車の存在場所(自車位置),道路環境と地理環境(以下、両環境を総称して、周囲環境という),及び運転状態に関する遷移関係を有向グラフで表現した図8の如き環境・状況モデルを、ROMなどの不揮発性メモリに記憶している。
【0157】
そこで以下、この環境・状況モデルについて説明する。
(1)自動車の存在場所
自動車の位置(特に、2次元位置)は、ナビゲーション装置9にて検出される経度及び緯度によって表現することができるが、ドライブと実世界における交通環境の観点から考えると、どういう場所にいるかを知ることができれば、自動車の存在場所を効率的に把握することができ、延いては、使用者に対して適切な対話応答などをすることができる。
【0158】
そこで、図8の左半分に示すように、交通環境を、一般道路,高速道路及び自動車道路,目的地,経由地などのカテゴリで分類し、更に、その中を、実際の環境に即したカテゴリで以下のように細分化している。
(1−1)一般道路は、左側車線,追い越し車線,交差点,信号など、といったカテゴリで細分化している。
【0159】
(1−2)高速道路は、インター入口,インター出口,料金所など、といった場所のカテゴリで細分化している。
(1−3)目的地は、入口,出口,駐車場など、といった場所のカテゴリで細分化している。
【0160】
(1−4)経由地は、ガソリンスタンド,駐車場など、といった場所のカテゴリで細分化している。
(2)運転状態
図8の右半分上段に示すように、車両の運転状態を、運転中,停車中,駐車中などの状態に分類し、更に、それらの状態を、以下のように細分化している。
【0161】
(2−1)運転中は、快適な走行,速度オーバー,渋滞中,料金所一時停止,交差点一時停止など、といった状態に細分化している。
(2−2)停車中は、路側帯停車などの状態に細分化している。
(2−3)駐車中は、エンジン回転中やエンジン停止などの状態に細分化している。
【0162】
(3)周囲環境
図8の右半分下段に示すように、自動車の存在場所における周囲環境を、人間の観点に基づいて、自宅付近,街中,高速道路,郊外,山中,海辺、などといったカテゴリに分類している。
【0163】
そして、このような環境・状況モデルを用いることにより、以下の効果を得ることができる。
まず、実世界における物理的・常識的制約を状態遷移グラフ表現で表すことにより、自動車が現在どういう環境・状況にあるかを常に確認することができ、また、不明な場合でも、最小限のインタラクション(使用者への問いかけやセンシングなど)で知ることができる。例えば、自動車が高速道路内にいるかどうかは、料金所或いはインターの入口,出口を認識するだけで把握することができる。
【0164】
また、制御装置1と使用者とが、常に同じ環境・状況を共有することができるため、対話や要求の推定をスムーズに行うことができる。また更に、推定する使用者の要求或いは状態の内容を、容易に絞り込むことができる。
一方更に、物理的・常識的に不可能或いは不合理な要求解釈を排除することができるため、使用者の音声を適切に認識することができる。例えば、音声認識処理を行う際に、認識語彙範囲を適切に特定することができ、音声認識のための負担が軽減される。また、あいまいな表現や抽象表現、或いは省略表現などの認識も可能となる。
【0165】
また、検索すべき内容を容易に限定することができ、例えば、高速道路に限定したサービス案内や、季節に限定した施設検索などを行うことができる。
ここで、図8に示した環境・状況モデルを用いて、音声認識の精度向上と、使用者との対話の適正化とを図った具体例について説明する。
【0166】
尚、以下に説明する例では、ドライブ行程が「自宅〜東名高速名古屋インターチェンジ(以下、ICと記す)〜東名高速横浜IC〜目的地」であると共に、起点が愛知県名古屋市昭和区の自宅であり、目的地が横浜○○ホテルである。また、以下の説明において、<>内は、その時点の状況を示しており、その<>内には、現在時刻,自動車の存在場所,運転状態,周囲環境の順で、具体的な内容を記載している。
【0167】
(1):<10:30,自宅駐車場,駐車中,自宅駐車場>
この状況では、自宅から東名高速名古屋ICまでの間の地名と交差点名とを優先的に音声認識する。
(2):<10:50,一般道路左車線,やや渋滞,街中>
(3):<11:00,名古屋IC入口,料金所一時停止,高速道路>
この状況では、東名高速名古屋ICから東名高速横浜ICまでの間の地名と、パーキングエリア(以下、PAと記す)名及びサービスエリア(以下、SAと記す)名とを優先的に音声認識する。
【0168】
(4):<12:00,左側車線(東名高速静岡付近),快適な走行,高速道路>
この状況では、時間帯と自動車位置に基づき、使用者が昼食をとるSAを推定し、その推定したSA名を優先的に音声認識する。
【0169】
(5):<12:20,SA入口(日本平SA),低速走行,高速道路>
この状況では、使用者が食事中であると推定し、推定する使用者の状態を空腹から満腹に遷移させる。
(6):<13:00,SA出口(日本平SA),低速走行,高速道路>
この状況では、SAの出口であると推定し、合流に際してのワーニングメッセージを出す。
【0170】
(7):<14:00,足利山付近,高速走行,高速道路>
この状況では、使用者が疲労していると推定し、ワーニングメッセージを出す。
以後は同様に、その時々の状況に応じた内容の言葉を優先的に音声認識するように認識語彙範囲を設定し、また、状況に応じたメッセージなどを使用者に出す。
【0171】
次に、本実施形態の制御装置1は、ドライブスケジュールを作成するための処理を特定のタイミングで実行する。
その処理の手順としては、まず、図9に例示するように、時間帯をドライブにおいて標準的なイベント(朝食,午前中のイベント,昼食,買い物,午後のイベント,夕食,夜のイベントなど)毎に分割する。尚、図9は、日帰りのドライブスケジュールを作成する場合のものである。
【0172】
そして、図9にて○印で示すように、上記分割した各イベントの候補となる店名,施設名,地名などを列挙して、図9の如き画像を表示装置11に表示する。尚、実際には、図9における○印の横に、候補としてのレストラン名,公園名,ショッピングセンタ名などが表示される。
【0173】
最後に、使用者のユーザプロファイル(例えば、買い物の目的でよく行くところ)や使用者による入力指定に応じて、上記各イベントについて1の候補を選択し、それらを順次つなぐ。これにより生成される経路が、ドライブスケジュールの案となる。
【0174】
そして、制御装置1は、このように作成したドライブスケジュールを参照して、使用者の要求を推定する。例えば、食事の後にどこへ行くのか等が分かるため、その行き先へ到達するために生じる使用者の要求を推定し、その推定結果に応じて、必要と思われる情報等を事前に提供するのである。
【0175】
以上、本発明の一実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、種々の形態を採り得ることは言うまでもない。
例えば、上記実施形態の制御装置1は、車両に搭載されるものであったが、本発明は、室内に備え付けの各種機器を制御する制御装置に対しても、同様に適用することができる。
【図面の簡単な説明】
【図1】 本発明の要求推定装置の構成を例示するブロック図である。
【図2】 実施形態の制御装置の構成を表すブロック図である。
【図3】 実施形態の制御装置で実行される処理を表すフローチャートである。
【図4】 対話データベースの一例を説明する図のうちの、その1である。
【図5】 対話データベースの一例を説明する図のうちの、その2である。
【図6】 対話データベースの一例を説明する図のうちの、その3である。
【図7】 要求・状態推定用データの一例を説明する図である。
【図8】 環境・状況モデルを説明する説明図である。
【図9】 ドライブスケジュールの作成手順を説明する説明図である。
【符号の説明】
1…制御装置 3…入力装置 5…マイクロフォン 7…スピーカ
9…ナビゲーション装置 11…表示装置 13…エアコン装置
15…オーディオ装置 17…通信装置 19…各種センサ
21…システム制御部 23…インタフェース(I/F)
25…音声入力部 27…音声合成部
29…機器制御インタフェース(機器制御I/F)
31…インターネットアドレスデータベース 33…検索制御部
34…認識キーワード記憶部 35…対話データ記憶部
36…要求・状態推定用データ記憶部 37…ユーザプロファイル記憶部

Claims (4)

  1. 使用者の発話内容に応じて所定の機器を動作させる制御装置に用いられ、 前記使用者の要求を推定する要求推定装置であって、
    使用者が発話した言葉を入力する入力手段と、
    使用者が置かれている状況を検出する状況検出手段と、
    前記入力手段により入力された言葉と前記状況検出手段により検出された状況との両方又は一方に基づき、使用者の要求を複数推定する推定手段と、
    を備え、
    前記推定手段は、
    最初に使用者の少なくとも1つの要求を一次要求として推定し、更に、その推定した一次要求から使用者の精神的或いは肉体的な状態を推定して、その推定した状態から使用者の他の要求を推定すること、
    を特徴とする要求推定装置。
  2. 請求項に記載の要求推定装置において、
    前記推定手段は、
    前記状態として、前記一次要求を使用者が持っている時点での該使用者の精神的或いは肉体的な状態である現在状態と、前記時点から時間が経過した後の使用者の精神的或いは肉体的な状態である未来状態との、両方又は一方を推定すること、
    を特徴とする要求推定装置。
  3. 請求項に記載の要求推定装置において、
    前記推定手段は、
    前記一次要求が満足された場合の使用者の精神的或いは肉体的な状態を、前記未来状態として推定すること、
    を特徴とする要求推定装置。
  4. 請求項1ないし請求項の何れかに記載の要求推定装置において、
    前記推定手段により推定された要求と、前記入力手段により入力された言葉と、前記状況検出手段により検出された状況とのうちで、前記推定手段により推定された要求を含む少なくとも2つ以上に基づき、使用者の要求を更に推定する第2の推定手段を備えたこと、
    を特徴とする要求推定装置。
JP18484098A 1998-06-30 1998-06-30 要求推定装置 Expired - Lifetime JP4156080B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP18484098A JP4156080B2 (ja) 1998-06-30 1998-06-30 要求推定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18484098A JP4156080B2 (ja) 1998-06-30 1998-06-30 要求推定装置

Publications (2)

Publication Number Publication Date
JP2000020090A JP2000020090A (ja) 2000-01-21
JP4156080B2 true JP4156080B2 (ja) 2008-09-24

Family

ID=16160242

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18484098A Expired - Lifetime JP4156080B2 (ja) 1998-06-30 1998-06-30 要求推定装置

Country Status (1)

Country Link
JP (1) JP4156080B2 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092029A (ja) 2000-09-20 2002-03-29 Denso Corp ユーザ情報推定装置
JP2002229591A (ja) * 2001-02-02 2002-08-16 Hitachi Ltd 音声通訳システムおよび音声通訳方法
JP4588243B2 (ja) * 2001-04-12 2010-11-24 三菱電機株式会社 ナビゲーション装置、ナビゲーション方法及びナビゲーションプログラム
JP2002318132A (ja) * 2001-04-23 2002-10-31 Hitachi Ltd 音声対話型ナビゲーションシステムおよび移動端末装置および音声対話サーバ
US7668824B2 (en) 2004-03-01 2010-02-23 Denso Corporation Interface device, inferring system, and visual expression method
JP4609927B2 (ja) * 2004-10-19 2011-01-12 日本電信電話株式会社 実現手段選択方法及びそれを実施したホームネットワーク制御装置
JP4405370B2 (ja) * 2004-11-15 2010-01-27 本田技研工業株式会社 車両用機器制御装置
JP2006317573A (ja) * 2005-05-11 2006-11-24 Xanavi Informatics Corp 情報端末
JP4509042B2 (ja) 2006-02-13 2010-07-21 株式会社デンソー 自動車用もてなし情報提供システム
JP4715805B2 (ja) * 2007-05-10 2011-07-06 トヨタ自動車株式会社 車載情報検索装置
JP5089295B2 (ja) * 2007-08-31 2012-12-05 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声処理システム、方法及びプログラム
JP5681504B2 (ja) * 2011-01-14 2015-03-11 株式会社東芝 質問予測装置および質問予測方法
JP5967569B2 (ja) * 2012-07-09 2016-08-10 国立研究開発法人情報通信研究機構 音声処理システム
JP6570169B2 (ja) * 2015-02-23 2019-09-04 Kddi株式会社 ユーザ対話システムと共にユーザ操作を支援する対話支援プログラム、サーバ及び方法
JP6310150B2 (ja) * 2015-03-20 2018-04-11 株式会社東芝 意図理解装置、方法およびプログラム
JP2021135412A (ja) * 2020-02-27 2021-09-13 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム

Also Published As

Publication number Publication date
JP2000020090A (ja) 2000-01-21

Similar Documents

Publication Publication Date Title
JP4156080B2 (ja) 要求推定装置
JP3788111B2 (ja) 情報サービスシステム
JP4353212B2 (ja) 単語列認識装置
KR102562227B1 (ko) 대화 시스템, 그를 가지는 차량 및 차량의 제어 방법
US6556970B1 (en) Apparatus for determining appropriate series of words carrying information to be recognized
US6401029B1 (en) Assist device in designation of destination
JP5677647B2 (ja) ナビゲーション装置
JP7190952B2 (ja) 制御装置、制御方法およびプログラム
JP4156563B2 (ja) 単語列認識装置
JP4798431B2 (ja) エージェント装置、エージェント機能付車載用ナビゲーション装置、エージェント出力方法
JP3890747B2 (ja) 制御装置
JP2001034292A (ja) 単語列認識装置
JP2006251298A (ja) 音声入力装置および音声入力方法
JP6339545B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP4497528B2 (ja) カーナビゲーション装置、カーナビゲーション方法及びプログラム
KR20200000155A (ko) 대화 시스템 및 이를 이용한 차량
JP6590710B2 (ja) 情報処理装置、情報処理サーバおよびプログラム
JP4952750B2 (ja) カーナビゲーション装置、カーナビゲーション方法及びプログラム
US9761224B2 (en) Device and method that posts evaluation information about a facility at which a moving object has stopped off based on an uttered voice
JP2008203217A (ja) 車載型世話実行装置、方法及びプログラム
JP2020165692A (ja) 制御装置、制御方法およびプログラム
JP4793480B2 (ja) カーナビゲーション装置、カーナビゲーション方法及びプログラム
JP4580230B2 (ja) ナビゲーション装置
JP5401777B2 (ja) 情報提供装置、情報提供方法、ならびに、プログラム
JP3809990B2 (ja) 方言解説機能付きナビゲーション装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060523

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061108

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20061130

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20061222

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080709

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120718

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120718

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130718

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term