JP3965538B2 - エージェント装置 - Google Patents

エージェント装置 Download PDF

Info

Publication number
JP3965538B2
JP3965538B2 JP6441498A JP6441498A JP3965538B2 JP 3965538 B2 JP3965538 B2 JP 3965538B2 JP 6441498 A JP6441498 A JP 6441498A JP 6441498 A JP6441498 A JP 6441498A JP 3965538 B2 JP3965538 B2 JP 3965538B2
Authority
JP
Japan
Prior art keywords
agent
program
data
driver
situation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP6441498A
Other languages
English (en)
Other versions
JPH11250395A (ja
Inventor
智氣 窪田
孝二 堀
松田  学
和英 足立
康二 向井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Equos Research Co Ltd
Original Assignee
Equos Research Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Equos Research Co Ltd filed Critical Equos Research Co Ltd
Priority to JP6441498A priority Critical patent/JP3965538B2/ja
Priority to US09/119,238 priority patent/US6249720B1/en
Priority to DE69836846T priority patent/DE69836846T2/de
Priority to EP98113679A priority patent/EP0893308B1/en
Publication of JPH11250395A publication Critical patent/JPH11250395A/ja
Priority to JP2005098224A priority patent/JP3918850B2/ja
Priority to JP2005098226A priority patent/JP2005293587A/ja
Priority to JP2005098227A priority patent/JP2005313886A/ja
Priority to JP2005098225A priority patent/JP3891202B2/ja
Priority to JP2005098223A priority patent/JP2005313885A/ja
Application granted granted Critical
Publication of JP3965538B2 publication Critical patent/JP3965538B2/ja
Priority to JP2008156559A priority patent/JP4353310B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、車両内に出現し、経路案内や各種装置の作動等について運転者を補助するエージェント装置に係り、複数の情報を把握容易に提供するエージェント装置に関する。
【0002】
【従来の技術】
従来より、車両内において、車両の位置や状態等の状況、及びこれらの状況に対応する警告や経路誘導等の情報を、ディスプレイに人間の表情や動作として表示して運転者等に伝達する技術が知られている(特開平9−102098号公報)。
この従来技術は、情報が視覚的に表現されるため一見して把握しやすい利点がある。
【0003】
【発明が解決しようとする課題】
しかし、上述の従来技術では、伝達すべき情報の数が経時的に変化する場合や複数の情報がそれぞれ異なる期間で変化する場合に、それらの経時的変化が認識されにくい等の問題点があり、情報がより一層把握し易い技術が求められている。
【0004】
本発明は、車両等において、複数の情報を把握容易に提供するエージェント装置を提供することを目的とする。
【0005】
【課題を解決するための手段】
請求項1に記載した発明では、擬人化されたエージェントを車両内に出現させるエージェント出現手段と、車両の状況を判断する状況判断手段と、この状況判断手段により判断された状況から、前記エージェントの行為を決定するエージェント行為決定手段と、このエージェント行為決定手段で決定された行為を前記エージェント出現手段により出現されるエージェントに行わせるエージェント制御手段と、前記状況判断手段により判断された状況から、前記エージェントの出現下において擬人化されたサブエージェントの出現の要否を判断する要否判断手段と、前記要否判断手段の判断に基づいて前記サブエージェントを前記エージェントとは別個に認識可能に出現させるサブエージェント出現手段と、前記状況判断手段により判断された状況から、サブエージェントの行為を決定するサブエージェント行為決定手段と、前記サブエージェント行為決定手段で決定された行為を前記サブエージェント出現手段により出現されるサブエージェントに行わせるサブエージェント制御手段とをエージェント装置に具備させて前記目的を達成する。
請求項2に記載した発明では、請求項1に記載したエージェント装置において、前記サブエージェントは、前記エージェントの行為についての解説行為を行うエージェント装置を提供することにより前記目的を達成する。
請求項3に記載した発明では、請求項1に記載したエージェント装置において、前記サブエージェントは、一連の前記エージェントの行為についてその一部を短絡するエージェント装置を提供することにより前記目的を達成する。
請求項4に記載した発明では、請求項1から3のうちのいずれか1項に記載のエージェント装置において、前記状況判断手段は、運転者の指向を取得する指向取得手段を備え、前記要否判断手段は、前記運転者の指向を前記車両の状況として、サブエージェントの出現の要否を判断するエージェント装置を提供することにより前記目的を達成する。
請求項5に記載した発明では、請求項4に記載のエージェント装置において、前記指向取得手段が、運転者の指向として運転者のエージェントに対する習熟度を取得し、前記要否判断手段は、前記習熟度を前記車両の状況として、サブエージェントの要否を判断するエージェント装置を提供することにより前記目的を達成する。
請求項6に記載した発明では、請求項1から請求項5のうちのいずれか1項に記載のエージェント装置において、前記状況判断手段による所定状況を記憶することで学習する学習手段を具備し、前記要否判断手段は、前記学習手段による学習結果を前記車両の状況として、前記サブエージェントの要否を判断するエージェント装置を提供することにより前記目的を達成する。
請求項7に記載した発明では、請求項1から請求項6のうちのいずれか1項に記載のエージェント装置において、前記状況判断手段による所定状況を記憶することで学習する学習手段を具備し、前記エージェント行為決定手段及び前記サブエージェント行為決定手段のうち少なくとも1つは、前記学習結果を車両の前記状況として、エージェント又はサブエージェントの行為を決定するエージェント装置を提供することにより前記目的を達成する。
請求項8に記載した発明では、請求項1から請求項7のうちのいずれか1項に記載のエージェント装置において、画像表示手段を備え、前記エージェント出現手段が、前記画像表示手段に対し、エージェントを画像表示させるエージェント表示手段を含み、前記サブエージェント出現手段が、前記画像表示手段に対し、サブエージェントを、前記エージェントと視覚的に識別可能に画像表示させるサブエージェント表示手段を含むエージェント装置を提供することにより前記目的を達成する。
請求項9に記載した発明では、請求項1から請求項8のうちのいずれか1項に記載のエージェント装置において、音声出力装置を備え、前記エージェント出現手段が、前記音声出力装置に対し、エージェントの音声を出力させるエージェント音声出力手段を含み、前記サブエージェント出現手段が、前記音声出力装置に対し、前記エージェントと聴覚的に識別可能なサブエージェントの音声を出力させるサブエージェント音声出力手段を含むエージェント装置を提供することにより前記目的を達成する。
【0006】
【発明の実施の形態】
以下、本発明のエージェント装置における好適な実施の形態について、図1から図13を参照して詳細に説明する。
(1)第1の実施形態の概要
本実施形態のエージェント装置では、擬人化されたエージェントを画像(平面的画像、ホログラフィ等の立体的画像等)により車両内に出現させる。そして、車両自体、運転者、同乗者、対向車等を含む車両の状況(運転者の応答や反応等も含む)の判断を行い、各時点での車両状況に基づいて、エージェントが運転者や車両に対して様々なバリエーションをもった対応(行為=行動と音声)をする。
これにより運転者は、自分固有のエージェントを車両内でつき合う(コミュニケーションする)ことが可能になり、車両内での環境を快適にすることができる。
ここで、本実施形態において擬人化されたエージェントとは、特定の人間、生物、漫画のキャラクター等との同一性があり、その同一性のある生物が、同一性・連続性を保つようなある傾向の出力(動作、音声による応答)を行うものである。また、同一性・連続性は特有の個性をもつ人格としても表現可能で、電子機器内の一種の疑似生命体としても捉えることができる。車両内に出現させるエージェントは、人間と同様に判断する疑似人格化(仮想人格化)された主体である。ときには、車両の走行には関係ない範囲での判断ミスも有り、この判断ミスによる不要な(ドジな)応答をすることもある。
実施形態中において、車両自体や運転者を含む車両の状況を判断して経路案内や機器の作動等種々の動作を運転者に代わり行ったりその手助けを行うメインのエージェントは、更に車両の状況や運転者の応答等を学習し、この学習結果を含めた判断により各種行為を行うものとなっている。従って、同一の車両状況であっても過去の学習内容等に応じてエージェントのコミュニケーションの内容は異なる。ときには、車両の走行には関係ない範囲での判断ミスも有り、この判断ミスによる不要な(ドジな)応答をすることもある。そして運転者の応答により、判断ミスか否かを判定し、学習する。
また、本実施形態においては、メインのエージェントの出現時に、運転者の当該エージェントに対する習熟度に応じて、ヘルプエージェントをサブエージェントとして出現させる。ヘルプエージェントとは、メインのエージェントの提案に対する対応方法や応答により予定される結果の教示等の、メインのエージェント行為に対する解説を運転者に行うものである。これらの2つのエージェントは、それぞれ異なる容姿と音声で車内に出現させる。
この様に、状況に応じて2つのエージェントを出現可能とすることにより、1つのエージェントよりもきめ細かく、運転者の習熟度等の車両状況に即したエージェント行為を実現することができる。そして、出現時期や機能の異なる2つのエージェントの容姿及び音声を異ならせることにより、運転者は、これら2つのエージェントを容易に識別し、各エージェントの機能を明確に意識した上で正確に情報を把握し各エージェントに対応することが可能となる。
【0007】
(2)実施形態の詳細
図1は、本実施形態におけるエージェント装置の構成を示すブロック図である。
本実施形態では、コミュニケーション機能全体を制御する全体処理部1を備えている。この全体処理部1は、設定した目的地までの経路を探索して音声や画像表示により案内するナビゲーション処理部10、車両の状況や運転者による過去の応対等を学習して適切な会話や制御を行うエージェント処理部11、ナビゲーション処理部10とエージェント処理部11に対するI/F部12、エージェント画像や地図画像等の画像出力や入力画像を処理する画像処理部13、エージェント音声や経路案内音声等の音声出力や入力される音声を制御する音声制御部14、及び車両や運転者に関する各種状況の検出データを処理する状況情報処理部15を有している。
【0008】
ナビゲーション処理部10とエージェント処理部11は、データ処理及び各部の動作の制御を行うCPU(中央処理装置)と、このCPUにデータバスや制御バス等のバスラインで接続されたROM、RAM、タイマ等を備えている。両処理部10、11はネットワーク接続されており、互いの処理データを取得することができるようになっている。
ROMはCPUで制御を行うための各種データやプログラムが予め格納されたリードオンリーメモリであり、RAMはCPUがワーキングメモリとして使用するランダムアクセスメモリである。
【0009】
本実施形態のナビゲーション処理部10とエージェント処理部11は、CPUがROMに格納された各種プログラムを読み込んで各種処理を実行するようになっている。なお、CPUは、記録媒体駆動装置23にセットされた外部の記録媒体からコンピュータプログラムを読み込んで、エージェント記憶装置29やナビゲーションデータ記憶装置30、図示しないハードディスク等のその他の記憶装置に格納(インストール)し、この記憶装置から必要なプログラム等をRAMに読み込んで(ロードして)実行するようにしてもよい。また、必要なプログラム等を記録媒体駆動装置23からRAMに直接読み込んで実行するようにしてもよい。
【0010】
ナビゲーション処理部10には、現在位置検出装置21とナビゲーションデータ記憶装置30が接続され、エージェント処理部11にはエージェントデータ記憶装置29が接続され、I/F部12には入力装置22と記憶媒体駆動装置23と通信制御装置24が接続され、画像処理部13には表示装置27と撮像装置28が接続され、音声制御部14には音声出力装置25とマイク26が接続され、状況情報処理部15には状況センサ部40が接続されている。
【0011】
現在位置検出装置21は、車両の絶対位置(緯度、経度による)を検出するためのものであり、人工衛星を利用して車両の位置を測定するGPS(Global Positioning System)受信装置211と、方位センサ212と、舵角センサ213と、距離センサ214と、路上に配置されたビーコンからの位置情報を受信するビーコン受信装置215等が使用される。
GPS受信装置211とビーコン受信装置215は単独で位置測定が可能であるが、GPS受信装置211やビーコン受信装置215による受信が不可能な場所では、方位センサ212と距離センサ214の双方を用いた推測航法によって現在位置を検出するようになっている。
方位センサ212は、例えば、地磁気を検出して車両の方位を求める地磁気センサ、車両の回転角速度を検出しその角速度を積分して車両の方位を求めるガスレートジャイロや光ファイバジャイロ等のジャイロ、左右の車輪センサを配置しその出力パルス差(移動距離の差)により車両の旋回を検出することで方位の変位量を算出するようにした車輪センサ、等が使用される。
舵角センサ213は、ステアリングの回転部に取り付けた光学的な回転センサや回転抵抗ボリューム等を用いてステアリングの角度αを検出する。
距離センサ214は、例えば、車輪の回転数を検出して計数し、または加速度を検出して2回積分するもの等の各種の方法が使用される。
【0012】
入力装置22は、ナビゲーション処理における走行開始時の現在地(出発地点)や目的地(到達地点)、情報提供局へ渋滞情報等の情報の請求を発信したい車両の所定の走行環境(発信条件)、携帯電話6のタイプ(型式)などを入力するためのものである。また、入力装置22は、本実施形態によるエージェントの問い合わせ等に対して運転者が応答するための1つの手段でもある。
入力装置22には、タッチパネル(スイッチとして機能)、キーボード、マウス、ライトペン、ジョイスティック、赤外線等によるリモコン、音声認識装置などの各種の装置が使用可能である。また、赤外線等を利用したリモコンと、リモコンから送信される各種信号を受信する受信部を備えてもよい。リモコンには、画面上に表示されたカーソルの移動操作等を行うジョイスティックの他、メニュー指定キー(ボタン)、テンキー等の各種キーが配置される。
【0013】
記録媒体駆動装置23は、ナビゲーション処理部10やエージェント処理部11が各種処理を行うためのコンピュータプログラムを外部の記録媒体から読み込むのに使用される駆動装置である。記録媒体に記録されているコンピュータプログラムには、各種のプログラムやデータ等が含まれる。
ここで、記録媒体とは、コンピュータプログラムが記録される記録媒体をいい、具体的には、フロッピーディスク、ハードディスク、磁気テープ等の磁気記録媒体、メモリチップやICカード等の半導体記録媒体、CD−ROMやMO、PD(相変化書換型光ディスク)等の光学的に情報が読み取られる記録媒体、紙カードや紙テープ、文字認識装置を使用してプログラムを読み込むための印刷物等の用紙(および、紙に相当する機能を持った媒体)を用いた記録媒体、その他各種方法でコンピュータプログラムが記録される記録媒体が含まれる。
【0014】
記録媒体駆動装置23は、これらの各種記録媒体からコンピュータプログラムを読み込む他に、記録媒体がフロッピーディスクやICカード等のように書き込み可能な記録媒体である場合には、ナビゲーション処理部10やエージェント処理部11のRAMや記憶装置29、30のデータ等をその記録媒体に書き込むことが可能である。
例えば、ICカードにメインのエージェントの機能及びヘルプエージェントの機能に関する学習内容(学習項目データ、応答データ、習熟度データ等)を記憶させ、他の車両を運転する場合でもこの記憶させたICカードを使用することで、自分の好みに合わせて(過去の応対の状況に応じて)学習されたエージェントとコミュニケーションすることが可能になる。これにより、車両毎のエージェントではなく、運転者に固有のエージェントを車両内に出現させることが可能になる。
【0015】
通信制御装置24は、各種無線通信機器からなる携帯電話が接続されるようになっている。通信制御部24は、電話回線による通話の他、道路の混雑状況や交通規制等の交通情報に関するデータなどを提供する情報提供局との通信や、車内での通信カラオケのために使用するカラオケデータを提供する情報提供局との通信を行うことができるようになっている。
また、通信制御装置24を介して、各エージェントの機能に関する学習データ等を送受信することも可能である。
【0016】
音声出力装置25は、車内に配置された複数のスピーカで構成され、音声制御部14で制御された音声、例えば、音声による経路案内を行う場合の案内音声や、エージェントの行動にあわせた音声や音が出力されるようになっている。この音声出力装置25は、オーディオ用のスピーカと兼用するようにしてもよい。なお、音声制御装置14は、運転者のチューニング指示の入力に応じて、音声出力装置25から出力する音声の音色やアクセント等を制御することが可能である。マイク26は、音声制御部14における音声認識の対象となる音声、例えば、ナビゲーション処理における目的地等の入力音声や、エージェントとの運転者の会話(応答等)等を入出力する音声入力手段として機能する。このマイク26は、通信カラオケ等のカラオケを行う際のマイクと兼用するようにしてもよく、また、運転者の音声を的確に収集するために指向性のある専用のマイクを使用するようにしてもよい。
音声出力装置25とマイク26とでハンズフリーユニットを形成させて、携帯電話を介さずに、電話通信における通話を行えるようにしてもよい。
【0017】
表示装置27には、ナビゲーション処理部10の処理による経路案内用の道路地図や各種画像情報が表示されたり、エージェント処理部11によるメインのエージェント及びヘルプエージェントの各種行動(動画)が表示されたりするようになっている。また、撮像装置28で撮像された車両内外の画像も画像処理部13で処理された後に表示されるようになっている。
表示装置27は、液晶表示装置、CRT等の各種表示装置が使用される。
なお、この表示装置5は、例えばタッチパネル等の、前記入力装置2としての機能を兼ね備えたものとすることができる。
【0018】
撮像装置28は、画像を撮像するためのCCD(電荷結合素子)を備えたカメラで構成されており、運転者を撮像する車内カメラの他、車両前方、後方、右側方、左側方を撮像する各車外カメラが配置されている。撮像装置28の各カメラにより撮像された画像は、画像処理部13に供給され、画像認識等の処理が行われ、各認識結果をエージェント処理部11によるプログラム番号の決定に使用するようになっている。
【0019】
エージェントデータ記憶装置29は、本実施形態によるメインのエージェントの機能及びヘルプエージェントの機能を実現するために必要な各種データ(プログラムを含む)が格納される記憶装置である。このエージェントデータ記憶装置29には、例えば、フロッピーディスク、ハードディスク、CD−ROM、光ディスク、磁気テープ、ICカード、光カード等の各種記録媒体と、その駆動装置が使用される。
この場合、例えば、学習項目データ292と応答データ294、習熟度データ295を持ち運びが容易なICカードやフロッピーディスクで構成し、その他のデータをハードディスクで構成するというように、複数種類の異なる記録媒体と駆動装置で構成し、駆動装置としてそれらの駆動装置を用いるようにしてもよい。
【0020】
エージェントデータ記憶装置29には、エージェントプログラム290、プログラム選択テーブル291、学習項目データ292、応答データ293、図4及び図13に例示したエージェント及びヘルプエージェントの容姿や行動を画像表示するための画像データ294、ヘルプエージェントプログラム295、ヘルプエージェントプログラム対応テーブル296、習熟度データ297、その他のデータが格納されている。
学習項目データ292、応答データ293、及び習熟度データ297は、運転者の運転操作や応答によってエージェントが学習した結果を格納するデータである。従って、学習項目データ292、応答データ293、及び習熟度データ297は、各運転者毎にそのデータが格納・更新(学習)されるようになっている。画像データ294に格納される容姿としては、人間(男性、女性)的な容姿である必要はなく、例えば、ひよこや犬、猫、カエル、ネズミ等の動物自体の容姿や人間的に図案化(イラスト化)した動物の容姿であってもよく、更にロボット的な容姿や、特定のキャラクタの容姿等であってもよい。またエージェントの年齢としても一定である必要がなく、エージェントの学習機能として、最初は子供の容姿とし、時間の経過と共に成長していき容姿が変化していく(大人の容姿に変化し、更に老人の容姿に変化していく)ようにしてもよい。画像データ294には、これらの各種メインのエージェント及びヘルプエージェントの容姿の画像が格納されており、運転者の好みによって入力装置22等からメインのエージェント及びヘルプエージェントの容姿を個別に選択することとができるようになっている。選択されたメインのエージェント及びヘルプエージェントの容姿は、運転者に対応して記憶され、起動時に読み出されるようになっている。また、メインのエージェント及びヘルプエージェントの容姿は、入力装置22等から適宜変更可能となっている。
【0021】
エージェントプログラム290には、メインのエージェントの機能を実現するためのエージェント処理プログラムや、エージェントと運転者とがコミュニケーションする場合の細かな行動を表示装置27に画像表示すると共にその行動に対応した会話を音声出力装置25から出力するためのコミュニケーションプログラムがプログラム番号順に格納されている。
このエージェントプログラム290には、各プログラム番号の音声に対して複数種類の音声データが格納されており、運転者は前記メインのエージェントの容姿の選択と併せて音声を入力装置22等から選択することができるようになっている。メインのエージェントの音声としては、男性の音声、女性の音声、子供の音声、機械的な音声、動物的な音声、特定の声優や俳優の音声、特定のキャラクタの音声等があり、これらの中から適宜運転者が選択する。なお、この音声と前記容姿の選択は、適時変更することが可能である。
【0022】
プログラム選択テーブル291は、エージェントプログラム290に格納されているコミュニケーションプログラムを選択するためのテーブルである。
図2はプログラム選択テーブル291を表したものであり、図3はプログラム選択テーブル291で選択される各プログラム番号に対応した、エージェントの行為(行動と発声)内容を表したものである。
この図2、図3で示されているプログラム番号は、エージェントプログラム290に格納されている各コミュニケーションプログラムの番号と一致している。
【0023】
図4は、図2、図3のプログラム番号00001〜00002により表示装置27に表示されるメインのエージェントの「かしこまってお辞儀」行動についての数画面を表したものである。
この図4に示すように、メインのエージェントEは、口元を引き締めると共に手を膝に当てながら、お辞儀をすることでかしこまったお辞儀であることが表現されている。この行動と共にメインのエージェントEが話す言葉(発声)は、車両状況や学習状況等によって変えられる。
【0024】
エンジンの冷却水温度が低い場合には、エンジンの調子に合わせて行動「眠そうに…」が選択される。眠そうな表現として、瞼が下がった表情にしたり、あくびや伸びをした後に所定の行動(お辞儀等)をしたり、最初に目をこすったり、動きや発声を通常よりもゆっくりさせたりすることで表すことができる。これらの眠そうな表現は、常に同一にするのではなく、行動回数等を学習することで適宜表現を変更する。
例えば、3回に1回は目をこすり(A行動)、10回に1回はあくびをするようにし(B行動)、それ以外では瞼を下がった表情(C行動)にする。これらの変化は、行動Bや行動Cの付加プログラムを行動Aの基本プログラムに組み合わせることで実現される。そして、どの行動を組み合わせるかについては、基本となる行動Aのプログラム実行回数を学習項目として計数しておき、回数に応じて付加プログラムを組み合わせるようにする。
また、行動「元気よく」を表現する場合には、音声の抑揚を大きくしたり、メインのエージェントEを走りながら画面に登場させたりすることで表現する。
【0025】
図2に表示された各項目は、各プログラム番号を選択するための選択条件を表したもので、状態センサ40により検出される車両や運転者の各種状況から決定される項目(時間、起動場所、冷却水温等)と、学習項目データ292や応答データ293に格納されている学習内容から決定される項目(今日のIG ON回数、前回終了時からの経過時間、通算起動回数等)がある。
プログラム選択テーブル291中で、これら全項目を満足するプログラムは必ず一義的に決定するようになっている。なお、テーブル中で「○」印は、そのプログラム番号が選択されるために満たす必要がある項目を示し、「−」印はそのプログラムの選択には考慮されない項目を示している。
【0026】
図2、図3では、イグニッションをONにした場合のコミュニケーション(挨拶)に関連する行為と選択条件について記載しているが、その他各種行為(行動と発声)を規定するプログラムを選択するためのプログラム番号と選択条件も種々規定されている。
例えば、急ブレーキが踏まれたことを条件として、メインのエージェントが「しりもち」をついたり、「たたら」を踏んだりする行動とったり、驚き声をだすようなプログラムも規定されている。メインのエージェントによる各行動の選択は急ブレーキに対する学習によって変化するようにし、例えば、最初の急ブレーキから3回目までは「しりもち」をつき、4回目から10回目までは「たたら」を踏み、10回目以降は「片足を一歩前にだすだけで踏ん張る」行動を取るようにし、メインのエージェントが急ブレーキに対して段階的に慣れるようにする。そして、最後の急ブレーキから1週間の間隔があいた場合には、1段階後退するようにする。
【0027】
図1における、学習項目データ292、応答データ293は共にエージェントの学習により格納、更新されるデータであり、その内容がそれぞれ図5、図6に概念的に示されている。
学習項目データ292には、図5に示すように、プログラム選択テーブル291(図2)の選択条件を決定する通算起動回数、前回終了日時、今日のイグニッションON回数、前5回の給油時残量等が格納され、選択条件により選択されたプログラムを起動するか否か(お休みするか否か)を決定するためのお休み回数/日時、デフォルト値、その他のデータが格納される。
【0028】
通算起動回数には、イグニッションを起動した通算回数が格納され、イグニッションがONされる毎にカウントアップされる。
前回終了日時には、イグニッションをOFFにする毎にその日時が格納される。
今日のイグニッションON回数には、その日におけるイグニッションONの回数と、1日の終了時間が格納される。イグニッションがONされる毎にカウントアップされるが、1日が終了するとデータが”0”に初期化される。1日の終了時間はデフォルト値として24:00が格納されている。この時間はユーザ(運転者)の生活パターンによって変更することが可能である。時間が変更された場合には、変更後の時間が格納される。
【0029】
前5回の給油残量には、燃料(ガソリン)を給油する直前に検出された燃料の残量が格納され、新たに給油される毎に各データが左側にシフトされ(最も古い最左のデータが削除される)今回給油直前の残量が一番右側に格納される。
このデータは、後述する燃料検出センサ415の検出値G1が、全5回分の給油残量の平均値G2以下(G1≦G2)になった場合に、エージェントEが表示装置27に現れて給油を促す行動が表示装置27に表示され、「おなかが減ったなあ!ガソリンがほしいな!」等の音声が音声出力装置25から出力される。
【0030】
お休み回数/日時には、該当するコミュニケーションプログラムが選択されたとしても実行せずにお休みした回数等が各プログラム番号毎に格納される。このお休み回数/日時は、例えば後述するエアコンの停止を提案するエージェントの行為(プログラム番号00123)のように、学習項目としてお休み項目が設定されているエージェント行為について格納される。
エージェントの提案や会話に対する運転者の応答が、拒否(拒絶)であった場合や無視(又は無応答)であった場合、コミュニケーションプログラムに応じて選択的に「お休み」が設定される。
【0031】
デフォルト値には、時間、回数、温度、車速、日時等の各項目に対する初期設定値が格納されており、前記した1日の終了時間のように学習項目の中で変更された値を初期値に戻す場合に使用される。
学習項目データ292に格納されるその他のデータとしては、例えば、運転者やその関係者の誕生日(これはユーザ入力項目である)、祭日とその言われ、クリスマスイブ(12月24日)、バレンタインデー(2月14日)、ホワイトデー(3月14日)等のイベント日などが格納される。各イベント日に応じた特別メニューのコミュニケーションプログラムも用意されており、例えば、クリスマスイブにはサンタクロースに変装したエージェントが現れる。
【0032】
図6の応答データ293には、エージェントの行為に対するユーザの応答の履歴が、ユーザ応答を学習項目とする各コミュニケーションプログラム番号毎に格納される。ユーザ応答データ293は、図6(A)のコミュニケーションプログラム番号00123、00125のように最新の応答日時と応答内容が所定回分(プログラム番号00123は2回分)格納されるものと、プログラム番号00124のように最新の応答内容のみが1回分格納される(従って応答がある毎に更新される。)ものと、最新の応答内容のみが所定回分格納されるものと、最新の日時と応答内容が一回分格納されるものと、最新の日時だけが1回分または所定回分格納されるもの等がある。
図6(A)中に表示された記号A、B、Cは応答内容を表すもので、同図(B)に示すように、記号Aが無視された場合、記号Bが拒絶された場合、記号Cが受容された場合を表す。運転者の応答内容については、マイク26から入力される運転者の音声に対する音声認識の結果や、入力装置による入力結果から判断される。
なお、本実施形態では運転者の応答を無視、拒絶、受容の3パターンに分類しているが、「強く拒絶」、「怒られた」、「喜ばれた」を新たに加えるようにしてもよい。この場合、新たに加えた応答により、学習項目データ292(例えば、お休み回数等)や応答データ293を追加変更する。
【0033】
ヘルプエージェントプログラム295は、メインのエージェントのコミュニケーションプログラム実行時に、運転者にエージェントへの応答方法や応答により予定される結果の教示等の、エージェント行為に関する解説を行うヘルプエージェント機能を実現するためのヘルプエージェント処理プログラム、ヘルプエージェントが運転者に対して解説を行う場合の細かな行動を表示装置27に画像表示するとともにその行動に対応した会話を音声出力装置25から出力するためのヘルプコミュニケーションプログラムがプログラム番号順に格納されている。
【0034】
このヘルプエージェントプログラム295には、各プログラム番号の音声に対して複数種類の音声データが格納されており、運転者により入力装置22等から、メインのエージェントの音声と容易に聞き分けられる複数の音声のうちから選択されるようになっている。例えば、メインのエージェントの音声が女性の音声の場合には、ヘルプエージェントの音声は男性の音声等、メインのエージェントの音声とヘルプエージェントの音声が容易に聞き分けられるものが候補として挙げられ、このうちから選択される。このヘルプエージェントの音声と前記容姿は、適宜変更可能となっている。
また、前記メインのエージェントの容姿及び音声、ヘルプエージェントの容姿及び音声は、特に運転者からの選択が無い場合には、メインのエージェントとヘルプエージェントの間で互いに良好に識別可能なそれぞれの容姿及び音声が自動的に選択され設定されるようになっている。
【0035】
ヘルプエージェントプログラム対応テーブル296は、エージェントプログラム290に格納されているコミュニケーションプログラムのうちの応答プログラム(運転者等からの応答が予定されるプログラム)と、この応答プログラムについて実行されるヘルプエージェントプログラムの対応、及び、該ヘルプエージェントプログラムが実行されるための習熟度閾値を示すテーブルである。
図7はヘルプエージェントプログラム対応テーブル296を表したものであり、図8はヘルプエージェントプログラム対応テーブル296で選択される各プログラム番号に対応した、ヘルプエージェントの行為(行動と発声)内容を表したものである。
この図7、図8で示されているプログラム番号は、ヘルプエージェントプログラム295に格納されている各コミュニケーションプログラムの番号と一致している。
【0036】
例えば、プログラム番号00123のエージェントプログラム(エアコンの停止を提案するプログラム)が起動される場合、このエージェントプログラムに対する運転者の習熟度が50以下だと、プログラム番号50010のヘルプエージェントプログラムが起動され、表示装置27にエージェントを指さしたヘルプエージェントが表示され、「リサがエアコンを停めて前の窓を半分開けてくれますよ。」との音声が音声出力装置25から出力される。また同じプログラム番号00123のエージェントプログラムが起動されても、運転者の習熟度が50よりも大きい場合には、ヘルプエージェントは出現しない。
本実施形態においては、エージェントのコミュニケーションプログラムのうちで、経路案内システムの目的地設定プログラム等、応答を求める応答コミュニケーションプログラムについて、それぞれヘルプエージェントによるコミュニケーションプログラムが対応して決められている。
【0037】
習熟度データ297には、各エージェントプログラムに対するヘルプエージェントプログラムを選択・起動させる場合に参照される習熟度を求めるためのデータと、これらのデータに基づいて求められた習熟度が格納されている。この習熟度データ297は、エージェントプログラムのうちの応答プログラムについて、運転者毎に、プログラム番号順に格納されており、学習により格納、更新される。
【0038】
図9は、習熟度データの内容を概念的に示す図である。
この図9に示すように、習熟度データ297には、各エージェントプログラムの起動フラグ、前5回の応答時間、応答平均時間、応答最短時間、応答取り消し回数、及びこれらの各値から求められる習熟度が、エージェントプログラムのプログラム番号毎に格納される。
起動フラグは、各エージェントプログラムが起動されたときにフラグ1をたて、習熟度を算出し習熟度データとして学習されるとフラグ0に設定される。前5回の応答時間は、起動したエージェントプログラムに対する前5回それぞれについての運転者の応答までの時間である。また、応答平均時間は、前5回の応答時間の平均値であり、応答最短時間は、前5回の応答時間のうちの最小値である。応答取り消し回数は、プログラム起動中の応答の取り消し回数である。
【0039】
習熟度は、それぞれ通算起動回数0の時(初期値)は、例えば30となっており、所定の式により、エージェントプログラムが起動された場合、応答平均時間が基準時間を下回った場合、操作最短時間が基準時間を下回った場合には各項目毎に規定されている所定値分加算されて高くなり、応答平均時間が基準時間よりも大きい場合、操作最短時間が基準時間よりも大きい場合、及び取り消し操作のあった場合には各項目毎に規定されている所定値分減算されて低くなるよう算出される。
【0040】
図10は、ナビゲーションデータ記憶装置30(図1)に格納されるデータファイルの内容を表したものである。
図10に示すように、ナビゲーションデータ記憶装置30には経路案内等で使用される各種データファイルとして、通信地域データファイル301、描画地図データファイル302、交差点データファイル303、ノードデータファイル304、道路データファイル305、探索データファイル306、写真データファイル307が格納されるようになっている。
このナビゲーションデータ記憶装置30は、例えば、フロッピーディスク、ハードディスク、CD−ROM、光ディスク、磁気テープ、ICカード、光カード等の各種記録媒体と、その駆動装置が使用される。
なお、ナビゲーションデータ記憶装置30は、複数種類の異なる記録媒体と駆動装置で構成するようにしてもよい。例えば、検索データファイル46を読み書き可能な記録媒体(例えば、フラッシュメモリ等)で、その他のファイルをCD−ROMで構成し、駆動装置としてそれらの駆動装置を用いるようにする。
【0041】
通信地域データファイル301には、通信制御装置24に接続され又は無接続で車内において使用される携帯電話が、車内から通信できる地域を表示装置5に表示したり、その通信できる地域を経路探索の際に使用するための通信地域データが、携帯電話のタイプ別に格納されている。この携帯電話のタイプ別の各通信地域データには、検索しやすいように番号が付されて管理され、その通信可能な地域は、閉曲線で囲まれる内側により表現できるので、その閉曲線を短い線分に分割してその屈曲点の位置データによって特定する。なお、通信地域データは、通信可能地を大小各種の四角形エリアに分割し、対角関係にある2点の座標データによりデータ化するようにしてもよい。
通信地域データファイル301に格納される内容は、携帯電話の使用可能な地域の拡大や縮小に伴って、更新できるのが望ましく、このために、携帯電話と通信制御装置24を使用することにより、情報提供局との間で通信を行なって、通信地域データファイル301の内容を最新のデータと更新できるように構成されている。なお、通信地域データファイル301をフロッピーディスク、ICカード等で構成し、最新のデータと書換えを行うようにしても良い。
描画地図データファイル302には、表示装置27に描画される描画地図データが格納されている。この描画地図データは、階層化された地図、例えば最上位層から日本、関東地方、東京、神田といった階層ごとの地図データが格納されている。各階層の地図データは、それぞれ地図コードが付されている。
【0042】
交差点データファイル303には、各交差点を特定する交差点番号、交差点名、交差点の座標(緯度と経度)、その交差点が始点や終点になっている道路の番号、および信号の有無などが交差点データとして格納されている。
ノードデータファイル304には、各道路における各地点の座標を指定する緯度、経度などの情報からなるノードデータが格納されている。すなわち、このノードデータは、道路上の一地点に関するデータであり、ノード間を接続するものをアークと呼ぶと、複数のノード列のそれぞれの間をアークで接続することによって表現される。
道路データファイル305には、各道路を特定する道路番号、始点や終点となる交差点番号、同じ始点や終点を持つ道路の番号、道路の太さ、進入禁止等の禁止情報、後述の写真データの写真番号などが格納されている。
交差点データファイル303、ノードデータファイル304、道路データファイル305にそれぞれ格納された交差点データ、ノードデータ、道路データからなる道路網データは、経路探索に使用される。
【0043】
探索データファイル306には、経路探索により生成された経路を構成する交差点列データ、ノード列データなどが格納されている。交差点列データは、交差点名、交差点番号、その交差点の特徴的風景を写した写真番号、曲がり角、距離等の情報からなる。また、ノード列データは、そのノードの位置を表す東経、北緯などの情報からなる。
写真データファイル307には、各交差点や直進中に見える特徴的な風景等を撮影した写真が、その写真番号と対応してディジタル、アナログ、またはネガフィルムの形式で格納されている。
【0044】
図11は、状況センサ部40を構成する各種センサを表したものである。
図11に示すように状況センサ部40は、イグニッションセンサ401、車速センサ402、アクセルセンサ403、ブレーキセンサ404、サイドブレーキ検出センサ405、シフト位置検出センサ406、ウィンカー検出センサ407、ワイパー検出センサ408、ライト検出センサ409、シートベルト検出センサ410、ドア開閉検出センサ411、同乗者検出センサ412、室内温度検出センサ413、室外温度検出センサ414、燃料検出センサ415、水温検出センサ416、ABS検出センサ417、エアコンセンサ418、体重センサ419、前車間距離センサ420、後車間距離センサ421、体温センサ422、心拍数センサ423、発汗センサ424、脳波センサ425、アイトレーサー426、赤外線センサ427、その他のセンサ(タイヤの空気圧低下検出センサ、ベルト類のゆるみ検出センサ、窓の開閉状態センサ、クラクションセンサ、室内湿度センサ、室外湿度センサ、油温検出センサ、油圧検出センサ等)428等の車両状況や運転者状況、車内状況等を検出する各種センサを備えている。
これら各種センサは、それぞれのセンシング目的に応じた所定の位置に配置されている。
なお、これらの各センサは独立したセンサとして存在しない場合には、他のセンサ検出信号から間接的にセンシングする場合を含む。例えば、タイヤの空気圧低下検出センサは、車輪速センサの信号の変動により間接的に空気圧の低下を検出する。
【0045】
イグニッションセンサ401は、イグニッションのONとOFFを検出する。車速センサ402は、例えば、スピードメータケーブルの回転角速度又は回転数を検出して車速を算出するもの等、従来より公知の車速センサを特に制限なく用いることができる。
アクセルセンサ403は、アクセルペダルの踏み込み量を検出する。
ブレーキセンサ404は、ブレーキの踏み込み量を検出したり、踏み込み力や踏む込む速度等から急ブレーキがかけられたか否かを検出する。
サイドブレーキ検出センサ405は、サイドブレーキがかけられているか否かを検出する。
シフト位置検出センサ406は、シフトレバー位置を検出する。
ウィンカー検出センサ407は、ウィンカの点滅させている方向を検出する。
ワイパー検出センサ408は、ワイパーの駆動状態(速度等)を検出する。
ライト検出センサ409は、ヘッドランプ、テールランプ、フォグランプ、ルームランプ等の各ランプの点灯状態を検出する。
シートベルト検出センサ410は、運転者、及び同乗者(補助席、後部座席)がシートベルトを着用しているか否かを検出する。着用していない場合には適宜(嫌われない程度に)エージェントが現れ、警告、注意、コメント等(学習により程度を変更する)を行う。
【0046】
ドア開閉検出センサ411は、ドアの開閉状態を検出し、いわゆる半ドアの場合には、エージェントがその旨を知らせる。ドア開閉検出センサ411は、運転席ドア、助手席ドア、後部運転席側ドア、後部助手席側ドア等の、車種に応じた各ドア毎の開閉を検出できるようになっている。
同乗者検出センサ412は、助手席や後部座席に同乗者が乗っているか否かを検出するセンサで、撮像装置28で撮像された車内の画像から検出し、または、補助席等に配置された圧力センサや、体重計により検出する。
室内温度検出センサ413は室内の気温を検出し、室外温度検出センサ414は車両外の気温を検出する。
燃料検出センサ415は、ガソリン、軽油等の燃料の残量を検出する。給油時直前における過去5回分の検出値が学習項目データ292に格納され、その平均値になった場合にエージェントが給油時期であることを知らせる。
【0047】
水温検出センサ416は、冷却水の温度を検出する。イグニッションON直後において、この検出温度が低い場合には、エージェントが眠そうな行為をする場合が多い。逆に水温が高すぎる場合にはオーバーヒートする前に、エージェントが「だるそう」な行動と共にその旨を知らせる。
ABS検出センサ417は、急ブレーキによるタイヤのロックを防止し操縦性と車両安定性を確保するABSが作動したか否かを検出する。
エアコンセンサ418は、エアコンの操作状態を検出する。例えば、エアコンのON・OFF、設定温度、風量等が検出される。
体重センサ419は、運転者の体重を検出するセンサである。この体重から、または、体重と撮像装置28の画像から運転者を特定し、その運転者との関係で学習したエージェントを出現させるようにする。すなわち、特定した運転者に対してエージェントが学習した、学習項目データ292と応答データ293を使用することで、その運転者専用のエージェントを出現させるようにする。尚、運転者の特定は、IDコードの取得や指紋、声紋等からするようにしてもよい。
前車間距離センサ420は車両前方の他車両や障害物との距離を検出し、後車間距離センサ421は後方の他車両や障害物との距離を検出する。
【0048】
体温センサ422、心拍数センサ423、発汗センサ424は、それぞれ運転者の体温、心拍数、発汗状態を検出するセンサで、例えば、ハンドル表面に各センサを配置し運転者の手の状態から検出する。または、体温センサ422として、赤外線検出素子を使用したサーモグラフィーにより運転者の各部の温度分布を検出するようにしても良い。
脳波センサ425は、運転者の脳波を検出するセンサで、例えばα波やβ波等を検出して運転者の覚醒状態等を調べる。
アイトレーサー426は、ユーザの視線の動きを検出し、通常運転中、車外の目的物を捜している、車内目的物をさがしている、覚醒状態等を判断する。
赤外線センサ427は、ユーザの手の動きや顔の動きを検出する。
【0049】
次に、以上のように構成された本実施形態の動作について説明する。
図12は本実施形態によるエージェント処理のメインの動作を表したフローチャートである。
エージェント処理部11は、イグニッションがONされたことがイグニッションセンサ401で検出されると、まず最初に初期設定を行う(ステップ11)。初期設定としては、RAMのクリア、各処理用のワークエリアをRAMに設定、プログラム選択テーブル291(図2)及びヘルプエージェントプログラム対応テーブル(図7)のRAMへのロード、フラグの0設定、等の処理が行われる。なお、本実施形態のエージェント処理では、その処理の開始をイグニッションONとしたが、例えばドア開閉検出センサ411によりいずれかのドアの開閉が検出された場合に処理を開始するようにしてもよい。
【0050】
次にエージェント処理部11は、状況情報処理部15に状況センサ部40の各センサから供給される検出値や、撮像装置28で撮像した画像の処理結果や、現在位置検出装置21で検出した車両の現在位置等のデータを取得して、RAMの所定エリアに格納し、格納したデータから、運転者の特定や車両の状態等の、現在状況の把握を行う(ステップ12)。例えば、水温検出センサ416で検出された冷却水の温度がt1である場合、エージェント処理部11は、この温度t1をRAMに格納すると共に、t1が所定の閾値t2以下であれば、車両の現在の状態として冷却水温(図2参照)は低い状態であると把握する。
現在の状況としては、他にマイク26からの入力に基づいて音声認識した運転者の要求、例えば、「○○○番に電話をしてくれ。」や「この辺のレストランを表示してくれ」や「CDをかけてくれ」等の要求も現在の状況として把握される。この場合、認識した音声に含まれるワード「CD」「かけて」等がプログラム選択テーブル291(図2)の選択条件(横軸項目)になる。
【0051】
さらにエージェント処理部11は、エージェントデータ記憶装置29の学習項目データ292と応答データ293をチェックすることで、エージェントがこれまでに学習してきた状態(学習データ)を把握する(ステップ13)。
【0052】
エージェント処理部11は、把握した現在の状況とチェックした学習データとから、図2に示したプログラム選択テーブル291によって、現在の状況で起動可能なコミュニケーションプログラム(の番号)があるか否かを判断し、該当プログラムが無ければ(ステップ14;N)、ステップ12に戻って新たな状態を把握する。
一方、起動可能なコミュニケーションプログラムがある場合(ステップ14;Y)、そのプログラム番号を決定する。そして、決定したプログラム番号に対する運転者の応答履歴を応答データ293から確認し、当該プログラム番号のコミュニケーションプログラムの起動を、お休みすべき状態か否かを確認する(ステップ15)。
【0053】
コミュニケーションプログラムがお休み状態の場合(ステップ15;Y)には、ステップ44に移行する。
【0054】
コミュニケーションプログラムがお休み状態ではない場合(ステップ15;N)、エージェント処理部11は決定したプログラム番号に対応するコミュニケーションプログラムを起動し、図4に示された各エージェントの行為(行動と音声)に従った画像を表示装置27に表示し音声を音声出力装置25から出力する。更に、エージェント処理部11は、エージェントデータ記憶装置29の習熟度データ297をチェックし、起動されたコミュニケーションプログラムに対する運転者の習熟度を把握する(ステップ17)。また、習熟度データ297の起動フラグをフラグ1に設定する。そして、ヘルプエージェントプログラム対応テーブル296を参照して、運転者の習熟度と、起動したコミュニケーションプログラムのプログラム番号とから、起動するヘルプエージェントプログラム(の番号)があるかどうかを判断する(ステップ18)。当該ヘルプエージェントプログラムがなければ(ステップ18;N)、そのまま、マイク26からの入力に基づく音声認識結果や入力装置22からの入力結果から、起動されたコミュニケーションプログラムによるエージェントの行為に対する運転者の応答と、エージェントの行為が出力されてから運転者の応答を取得するまでの時間とを、取得する(ステップ41)。
【0055】
ヘルプエージェントプログラムがある場合には(ステップ18;Y)、該当するプログラム番号のヘルプエージェントプログラムを起動し、図8に示されたヘルプエージェントの行為(行動と音声)に従った画像をエージェントとともに表示装置27に表示し音声を音声出力装置25から出力する(ステップ19)。これによって、エージェントプログラムに対して運転者の習熟度が低い場合にヘルプエージェントが出現し、ヘルプエージェントによってエージェントの機能に対する理解が深まり、エージェントへの応答等のコミュニケーションをスムーズにとることが可能になる。
そして、マイク26からの入力に基づく音声認識結果や入力装置22への入力結果から、起動されたコミュニケーションプログラムによるエージェントの行為に対する運転者の応答と、エージェントの行為が出力されてから運転者の応答を取得するまでの時間とを、取得する(ステップ41)。
【0056】
次にエージェント処理部11は、ステップ16で起動したコミュニケーションプログラムが制御対象プログラムか否かを判断する(ステップ42)。ここで制御対象プログラムか否かは各プログラム毎に規定されており、例として、「ラジオの電源を入れましょうか?」や、お昼時にお腹が鳴る音を検出した場合に「食堂の案内をしましょうか?」といったように、エージェントが処理可能な行為(電源ON、飲食店案内等)の提案をする場合のコミュニケーションプログラム等が制御対象プログラムとして規定されている。
【0057】
制御対象プログラムでない場合(ステップ42;N)にはステップ23に移行し、制御対象プログラムである場合(ステップ42;Y)、ステップ20で取得した運転者の応答に応じた制御を行う(ステップ43)。例えば、上記ラジオの電源を入れる提案コミュニケーションに対して、「入れて」「OK」「はい」等の提案を受容する応答が認識された場合であれば、エージェント処理部11は応答に応じた制御として、エージェントに返事をする行為(行為と音声)をさせると共にラジオの電源をONにする。
【0058】
そして、エージェント処理部11は、今回のコミュニケーションプログラムに関するデータを蓄積する(ステップ44)。
データの蓄積としては、例えば、コミュニケーションプログラムの起動がお休みである場合には(ステップ15;Y)、学習項目データ292の該当プログラム番号のお休み回数/日時欄をカウントアップさせる。ただし、学習項目データ292のお休み回数/日時欄に格納されている回数をKa回とし、当該プログラム番号に対する前回までの応答データ293の履歴から決まるお休み回数をKb回とした場合、Ka=Kb−1であれば、今回のお休みで規定回数休んだことになる。そこで、学習項目データ292及び応答データ293の当該プログラム番号欄の(該当する位置に格納されている)データをクリアする。
【0059】
その他の場合(ステップ42;Nの場合、ステップ43の後)のデータの蓄積としては、ステップ12で把握した現在状況の中に学習項目があれば学習項目データ292の値を更新し、エージェントプログラムのプログラム番号が応答内容を履歴として格納すべきプログラム番号であればステップ41で取得した応答内容を応答データ293(図6)に格納する。この応答の履歴も、各プログラム番号毎に規定された所定回数分のデータが既に格納されている場合には、最も古いデータを廃棄して新しいデータを格納する。
更に、その他の場合(ステップ42;Nの場合、ステップ43の後)には、起動フラグが1となっている習熟度データ297(図9)を書き換える。このとき、ステップ41で取得した応答時間をもとに、前5回の応答時間は最も古いデータを破棄して新しいデータを格納し、この前5回の応答時間から応答平均時間、応答最短時間を算出する。また、応答取り消し回数は、応答取り消しが無かった場合には0を格納する。そして、所定の式により習熟度を求め、この習熟度を格納し、起動フラグを0に設定する。
【0060】
以上のプログラム決定・コミュニケーション・学習の各処理が終了すると、エージェント処理部11は、ステップ11でRAMに初期設定したフラグ領域にフラグ1が立っているか否かを確認する(ステップ45)。
フラグが立っていない場合には(ステップ45;N)、イグニッションセンサ401によりイグニッションOFFが検出されたか否かを判断し(ステップ46)、検出されていない場合(ステップ46;N)にはステップ12に戻って新たな状態を把握する。
一方、イグニッションOFFが検出された場合(ステップ46;Y)、RAMのフラグ領域にフラグ1を立て(ステップ47)た後にステップ12に戻り、後処理を行う。すなわち、現在状況や学習データに応じたお別れの行為(行動と音声)をエージェントにさせると共に、消し忘れのライト類の消灯等の制御、及び当該後処理に対する学習(ステップ44)の後、フラグが1なので(ステップ45;Y)、エージェント処理を終了する。
【0061】
次に、以上説明したエージェント処理による、具体的な行為例について説明する。
図13は、車両走行中における具体的なエージェント処理の内容を概念的に表したものである。
この図13(A)に示すように、エージェント処理部11は、現在状況として、エアコンセンサ418で検出された状態が「ON」、室内温度検出センサ413と室外温度検出センサ414で検出された室温T1と室外温T2を取得する。また、各プログラム番号の応答データ293をチェックすることで、プログラム番号0123に対する前2回の運転者応答がC(受容)なので、閾値T3、T4の値としてデフォルト値(T3=2度、T4=24度)が学習項目データ292から読み出される。
この閾値T3とT4とから、室温と室外温の関係、(T1−T2)≦T3が「Yes」、室外温T2と閾値T4との関係T2≦T4が「Yes」、等の状況が最終的に把握される(図13(A))。
【0062】
以上の処理から、エージェント処理部11は、プログラム選択テーブル291からプログラム番号00123のコミュニケーションプログラムを最終的に選択し(ステップ14)、お休み対象で無いことを確認(ステップ15;N)したうえで、当該番号のコミュニケーションプログラムを起動する(ステップ16)。
【0063】
更に、エージェント処理部11は、エージェントデータ記憶装置29の習熟度データ297をチェックして起動されたコミュニケーションプログラムに対する運転者の習熟度を取得し(ステップ17)、ヘルプエージェントプログラム対応テーブル296から、起動すべきヘルプエージェントプログラムの有無を取得する(ステップ18)。図13(A)に示すように、運転者の習熟度は25なので、図7に示すヘルプエージェントプログラム対応テーブル296のコミュニケーションプログラム00123番の欄から、起動したコミュニケーションプログラムに対して起動すべきプログラム番号50010があることを取得し、該当するヘルプエージェントプログラムを起動させる(ステップ19)。
【0064】
そして、プログラム番号00123のコミュニケーションプログラム及びプログラム番号50010のヘルプエージェントプログラムの起動により、図13(B)に示すように、表示装置27にはエージェントとヘルプエージェントの画像が複数表示(または動画が表示)されると共に、音声出力装置25からはエージェントの「外は涼しくなりましたよ。外気を入れてみませんか?」といった音声が出力され、続いて、ヘルプエージェントの「リサが、エアコンを停めて前の窓を半分だけ開けてくれますよ。」といった音声が出力される。
【0065】
続いて、エージェント処理部11は、運転者の応答を取得する(ステップ41)。
そして、プログラム番号00123は制御対象プログラムなので(ステップ42;Y)、受容であれば応答に応じた制御としてエアコンの電源をOFFにすると共に、運転席側と助手席側の窓を1/2だけ開ける制御を行う(ステップ43)。
【0066】
応答に応じた制御の後、エージェント処理部11は、図13(C)に示すように、運転者の応答が無視であればA、拒絶であればB、受容であればCを、応答日時と共にプログラム番号0123に対応する応答データ293に格納する。この場合、前々回の応答データが削除され、前回の応答と今回の応答が応答データ293の格納内容になる。
格納した応答内容が無視Aであれば、次回の閾値T3、T4は1度づつ下げた値(T3−1=1度、T4−1=23度)が使用され、1回休むことになる。格納した応答内容が拒絶Bであれば、次回の閾値T3、T4は1度づつ下げた値(T3−1=1度、T4−1=23度)が使用され、5回休むことになる。なお、1回休む場合の閾値としては下げた後の温度T3=T3−1、T4=T4−1が使用される。
格納した応答内容が受容Cであれば、前回使用した閾値T3、T4と同一の値が使用される。
【0067】
また、エージェント処理部11は、プログラム番号00123に対応する習熟度データ297の、前5回の応答時間に格納されている最も古い応答時間データを廃棄し、今回の応答時間(表示装置27にエージェントが表示されてから運転者の応答を取得するまでにかかった時間)を格納する。更に、この前5回の応答時間のデータから、応答平均時間、応答最短時間、習熟度を算出し、それぞれ対応する場所に格納し直す。
【0068】
続いて、エージェント処理部11が取得した現在状況は上述と同様であり、運転者の習熟度が大きくなった場合(習熟度が習熟度閾値を越えた場合、ここでは習熟度=57とする)についてのエージェント処理を説明する。
この場合も、エージェント処理部11は、プログラム選択テーブル291からプログラム番号00123のコミュニケーションプログラムを最終的に選択し(ステップ14)、お休み対象で無いことを確認(ステップ15;N)したうえで、当該番号のコミュニケーションプログラムを起動する(ステップ16)。
【0069】
そして、エージェント処理部11は、エージェントデータ記憶装置29の習熟度データ297をチェックし、起動されたコミュニケーションプログラムに対する運転者の習熟度を取得し(ステップ17)、ヘルプエージェントプログラム対応テーブル296から、起動すべきヘルプエージェントプログラムの有無を取得する(ステップ18)。運転者の習熟度は57なので、図7に示すヘルプエージェントプログラム対応テーブル296から、起動したコミュニケーションプログラムに対して起動すべきプログラムが無いこととなる。
【0070】
従って、プログラム番号00123のコミュニケーションプログラムのみが起動され、表示装置27にはエージェントのみの画像が表示(または動画が表示)されると共に、その時の学習態度に応じて、音声出力装置25からはエージェントの「外の方が涼しいみたいよ。外気を入れましょうよ!」といった音声が出力される。
その後は、上述の場合と同様に運転者の応答を取得し(ステップ41)、応答に応じて制御を行い(ステップ43)、応答データ293及び習熟度データ297を書き換える。
【0071】
この様に、本実施形態では、エージェントプログラムが起動されると、運転者の習熟度が低い場合には、このエージェントの行為を解説するヘルプエージェントが出現し、運転者のエージェントへの応答等のコミュニケーションを容易にする。運転者の習熟度が高い場合には、ヘルプエージェントは出現せず、効率的なエージェントとのコミュニケーションを可能とする。
そして、本実施形態によると、機能や出現状況の異なるエージェントとヘルプエージェントとを個別に表示、音声出力するので、運転者にとって紛らわしくなく、容易にこれらのエージェントを識別し情報を把握することができる。
【0072】
次に、本発明のエージェント装置の第2の実施形態について説明する。
(3)第2実施形態の概要
第1の実施形態のエージェント装置では、運転者の習熟度に応じてサブエージェントとしてヘルプエージェントが出現するが、本実施形態のエージェント装置では、運転者の指向に応じて各種のサブエージェントが出現するようになっている。このサブエージェントとしては、運転者の習熟度が高いときに出現するショートカットエージェント等が挙げられる。このショートカットエージェントは、エージェントにより一定の手順を踏んで行われる操作について、運転者が習熟した場合に、エージェントの行為を一部短絡し手順をその先へ進めることができるようにするものである。
尚、上述の第1の実施形態と同様の構成については同一の符号を付し、説明は省略する。
【0073】
(4)第2実施形態の詳細
図14は、本実施形態のエージェント装置の構成を示すブロック図である。
この図14に示されるように、本実施形態のエージェント装置では、エージェントデータ記憶装置29には、ヘルプエージェントプログラム及びヘルプエージェントプログラム対応テーブルは格納されておらず、これらに代えて、指向エージェントプログラム395、指向エージェントプログラム対応テーブル396、指向データ397、及び最多選択プログラムデータ398が格納されている。また、画像データ294は、図23に例示したメインのエージェントE及びショートカットエージェントSの容姿や行動を画像表示するためのデータが格納されている。
【0074】
指向エージェントプログラム395は、運転者の指向に応じてメインのエージェントに加えて出現する指向エージェント機能を実現する指向エージェント処理プログラム、指向エージェントの細かな行動を表示装置27に画像表示するとともにその行動に対応した会話を音声出力装置25から出力するためのコミュニケーションプログラムがプログラム番号順に格納されている。
指向エージェント処理プログラムには、運転者の習熟度に応じてメインのエージェントの行為を短絡するショートカットエージェント機能を実現するためのショートカットエージェント処理プログラム等が含まれている。
【0075】
この指向エージェントプログラム395には、各プログラム番号の音声に対して複数種類の音声データが格納されており、メインのエージェントの音声と容易に聞き分けられる複数の音声のなかから運転者により入力装置22等で選択されるようになっている。例えば、メインのエージェントと指向エージェントの容姿がともに女性である場合、メインのエージェントの音声に比べて指向エージェントの音声は高い声等、容易に聞き分けられるものが候補として挙げられ、このうちから選択される。この指向エージェントの音声と前記容姿は、適宜変更可能となっている。
また、前記メインのエージェントの容姿及び音声、指向エージェントの容姿及び音声は、特に運転者からの選択が無い場合には、エージェントと指向エージェントの間で互いに良好に識別可能なそれぞれの容姿及び音声が自動的に選択され設定されるようになっている。
【0076】
指向エージェントプログラム対応テーブル396は、指向エージェントプログラム395に格納されているコミュニケーションプログラムを選択するためのテーブルである。
指向エージェントプログラム対応テーブル396には、エージェントプログラムのプログラム番号に対応して、このエージェントプログラムに対応する指向エージェントプログラムのプログラム番号と、この指向エージェントプログラムが起動されるための指向閾値その他の条件を示す各項目が、格納されている。
この図15、図16に示されているエージェントプログラム番号及びショートカットエージェントプログラム番号は、それぞれ、エージェントプログラム295及び指向エージェントプログラム395に格納されている各コミュニケーションプログラムの番号と一致している。
【0077】
図15は指向エージェントプログラム対応テーブル396の一部であるショートカットエージェントプログラム対応テーブルを表したものであり、図16はショートカットエージェントプログラム対応テーブルで選択される各プログラム番号に対応した、ショートカットエージェントの行為(行動と発声)内容を表したものである。
【0078】
図15に示すショートカットエージェントプログラム対応テーブルには、エージェントプログラムに対応して、習熟度閾値、最多選択プログラム番号、ショートカットエージェント(指向エージェント)プログラム番号が格納される。習熟度閾値は、ユーザ指向としての各エージェントプログラムに対する習熟度の、閾値を表しており、運転者の習熟度がこの習熟度閾値以上となった場合に、ショートカットエージェントプログラムが起動される。最多選択プログラム番号は、最多選択プログラムデータ398から検出されるものであり、この最多選択プログラム番号によって、各エージェントプログラムに対応するショートカットエージェントのプログラムが決定される。
【0079】
例えば、経路案内システムにおいて目的地を設定する方法を選択するエージェントプログラム(プログラム番号00550)が起動されている場合、このエージェントプログラムに対する運転者の習熟度が70以上の時であって、最多選択プログラムのプログラム番号が00580(ジャンル選択画面を表示し、応答待機するプログラム)の場合には、プログラム番号80010のショートカットエージェントプログラムが起動される。
【0080】
尚、指向エージェントプログラム対応テーブル396には、ショートカットエージェントプログラム対応テーブルのみでなく、エージェントプログラムと、このエージェントプログラムに対応するショートカットエージェントプログラム以外の指向エージェントプログラムとの対応テーブルも格納されている。この対応テーブルにも、上記ショートカットエージェントプログラム対応テーブルと同様に、エージェントプログラム及び対応する指向エージェントプログラムのプログラム番号、この指向エージェントプログラムが起動されるための指向閾値その他の条件が格納されている。
【0081】
指向データ397には、運転者の指向を表す指向値と、この指向値を取得するもととなる各項目のデータが格納されている。
図17は、指向データ397に格納されるデータの各項目を、エージェントシステムやその他の関連システム等に関する項目であるシステム状況、現在時刻や記念日等に相当するかどうか等の時間状況、性別や年齢趣味等の運転者状況、車両状況、及び天気等の外部状況に大別して示す表である。この各項目のデータは、運転者自らの入力により取得したり、エージェントによりまとめて又は必要に応じて問いかけてその応答として取得したり、また、運転者の車両の操作や外部機器等から取得する。
【0082】
各運転者の指向値は、これらの各項目のデータのうちの1つ又は複数から取得される。
尚、この指向値としては、上記第1の実施形態と同様の習熟度が含まれており、指向データ397には上記第1の実施形態と同様の習熟度データ297が含まれている。習熟度データ297の応答時間には、同時に出現するショートカットエージェントへ応答した場合の応答時間も含めて格納される。
【0083】
図18は、最多選択プログラムデータ398の内容を概念的に示す図である。この最多選択プログラムデータ398は、習熟度が指向値として用いられる場合に使用される。
最多選択プログラムデータ398には、ショートカットエージェントが短絡する短絡先のエージェントプログラムを選択するためのデータが格納されている。本実施形態のショートカットエージェントは、複数層の階層構造の項目選択行為を行うエージェント(以下項目選択エージェント)において、第n階層において、第n+1階層での項目選択行為を可能に、エージェント行為を短絡するものである。
【0084】
この図18に示すように、最多選択プログラムデータ398には、各項目選択エージェントのプログラム番号毎に、ショートカットエージェントを起動させていない時に、項目選択エージェントについての応答により選択され起動されたその1つ下の階層のエージェントプログラム(選択エージェントプログラム)のプログラム番号が、前5回分格納される。また、この、前5回分の選択エージェントプログラムのうち最も多く選択・起動されたエージェントプログラム(最多選択エージェントプログラム)のプログラム番号が格納される。この最多選択プログラムデータ398は、学習により格納、更新され、ショートカットエージェントプログラムを起動させる場合に参照される。
【0085】
次に、以上のように構成された本実施形態の動作について説明する。
図19は、本実施形態によるエージェント処理のメイン動作を表したフローチャートである。
本実施形態においても、前記第1の実施形態と同様に、エージェント処理部11は、イグニッションがONされたことがイグニッションセンサ401で検出されると、上述の第1の実施形態と同様に、初期設定(ステップ11)、現在状況の把握(ステップ12)、学習項目データ、応答データのチェック(ステップ13)、コミュニケーションプログラムの有無検知(ステップ14)、コミュニケーションプログラムをお休みすべき状態か否かの確認(ステップ15)を行う。そしてコミュニケーションプログラムをお休みすべき状態の場合(ステップ15;Y)にはそのままステップ44に移行し、お休みすべき状態でない場合(ステップ15;N)には、コミュニケーションプログラムを起動する(ステップ16)。
【0086】
コミュニケーションプログラムの起動(ステップ16)に続いて、本実施形態のエージェント処理部11は、指向データ397から運転者の各項目の指向値を読み取り、指向エージェントプログラム対応テーブル396の指向閾値と比較する(ステップ27)。そして、運転者の指向値が指向閾値以上の場合(ステップ27;Y)には、指向エージェントプログラム対応テーブル396に基づいて、運転者の指向に応じた指向エージェント処理を行う(ステップ28)。
【0087】
指向閾値の比較(ステップ27)と指向エージェント処理(ステップ28)の例としては次のようなものがある。例えば、指向データ397のうちの「今日の日付」と「家族の生年月日」のデータから家族の誕生日までの日数Yを求め、(その年の年間日数−Y)の値を指向値として取得し、家族の誕生日の一週間前(指向閾値)になると(ステップ27;Y)、バースデーケーキを持った指向エージェントを表示し「○○ちゃんのお誕生日まであと一週間よ。お誕生日プレゼントの用意は済んだ?」との音声を出力する(ステップ28)。
また、運転者の生年月日及び渋滞状況のデータから取得した指向値に基づいて、渋滞時に運転者のその日の運勢を知らせる処理がある。
また、運転者のひいきのプロ野球チームのデータと、そのプロ野球チームのゲームのラジオ放送開始時による指向値に基づいて、その放送が開始される旨及び対戦相手を知らせるとともに、ラジオの電源を入れるか否かを問い合わせる処理を行う。この場合、ラジオ放送予定のデータ(放送開始時間と対戦チーム)は、運転者が入力装置22から入力し、又は、通信制御装置24から取得するようにする。
車両位置データと運転者が興味を持っている名所や旧跡のデータに基づいて指向値を取得し、車両の近辺にある名所や旧跡をガイドする処理、運転者の運転歴のデータと車両位置に基づく指向値を取得し、運転歴の短い運転者に対して「ここら辺は道が狭いから気を付けてね。」等のアドバイスをする処理が挙げられる。
また、指向エージェント処理としては、詳細を後述するように、カーナビゲーションシステムに対する習熟度を指向値として取得し、習熟度の大きい場合には目的地等の選択の階層メニューを短絡するショートカットエージェント処理も含まれる。
【0088】
上述のような指向エージェント処理後は、起動されたコミュニケーションプログラムに対する運転者からの応答を取得する(ステップ41)。運転者の指向値が指向閾値よりも小さい場合(ステップ27;N)には、指向エージェントプログラムを起動することなく、そのまま応答を取得する(ステップ41)。
【0089】
以降、前述の第1の実施形態と同様に、エージェントプログラムが制御対象プログラムかどうかの判断(ステップ42)からエンドまでの処理を行う。
【0090】
尚、データの蓄積に際して、ショートカットエージェントにより短絡され起動されなかったエージェントプログラムについては、エージェントプログラムの学習項目データ292のお休み回数/日時はカウントアップせず、応答データ293についても書き換えは行わず、習熟度データ297の前5回の応答時間、最多選択プログラムデータ398の前5回の次に選択されたエージェントプログラムについても書き換えは行わないものとする。
【0091】
次に、以上説明したエージェント処理による、具体的な行為例として、指向エージェントがショートカットエージェントである場合について説明する。
【0092】
図20は、カーナビゲーションを行う際に運転者からの入力によりメニューを設定する場合のメニュー設定の階層構造を表した説明図であり、図21は、図20の階層構造におけるショートカットエージェントの行為を表した説明図である。
この図20に示すように、このカーナビゲーションシステムにおいて、例えば、目的地を現在地近傍の飲食店地図又はリストから検索して設定する場合には、通常は、まず、目的地を設定するモードである目的地設定モードを選択し(第1階層)、目的地の選択をジャンルから選択するジャンル選択モードを選択し(第2階層)、ジャンル別リストから飲食店を選択して(第3階層)、現在地近傍の飲食店地図またはリストを表示させ、目的地となる飲食店を指定する。この後、ナビゲーション処理部10により飲食店への経路案内が行われる。
【0093】
そして、本実施形態においては、ショートカットエージェントにより、図21に示すように、目的地設定モード(第1階層)を選択した後は、直接飲食店を選択して現在地近傍の飲食店地図またはリスト(第3階層)を表示させることができ、続いて目的地となる飲食店を指定できる。
【0094】
まず、エージェントプログラムに対する運転者の習熟度が高い場合(ここでは、習熟度=75とする)について説明する。
本実施形態においては、マイクからの音声入力等によりカーナビゲーションシステムが起動されると、エージェント処理部11は、まず、目的地の設定とシステムに関する設定のいずれの設定を行うかのモード選択(第1階層)のための処理を行う。このとき、プログラム番号00540番のエージェントプログラムを起動する(ステップ16)。このプログラムにより、表示装置27には、メインのエージェントが徒歩で現れ、音声出力装置25からは、「すぐに道案内をしましょうか、それともシステム設定をしますか」との音声が出力される。
そして、このエージェントプログラムに対応するショートカットエージェントプログラムが無いため(ステップ27;N)、そのまま応答を待って待機する。
【0095】
そして、マイクから「道案内」との音声入力を取得する等、目的地設定モードが選択されると(ステップ41)、このエージェントプログラムは制御対象プログラムではないため(ステップ42;N)、エージェント処理部11は、データの蓄積(ステップ44)等の処理の後、プログラム番号00550番のエージェントプログラム(目的地を設定する方法を選択するプログラム)を起動する(ステップ16)。これにより、経路案内メニューの第2階層に移行し、表示装置27のメインのエージェントはアップショットの表示に変わり、音声出力装置25から「目的地の設定方法を選んでね。ジャンル別に探しますか、電話番号を入れますか、それとも地名を探しますか。」との音声が流れる。続いてエージェントは、目的地設定方法の入力に対して待機する。
【0096】
また、エージェント処理部11は、指向データ397から運転者の各項目の指向値を読み取り、指向エージェントプログラム対応テーブル396の指向閾値と比較する(ステップ27)。指向値のうち習熟度については、習熟度=75である。そして、ショートカットエージェントプログラム対応テーブル296(図15)を参照すると、習熟度が、起動されているエージェントプログラム550番の習熟度閾値よりも大きいので(ステップ27;Y)、エージェント処理部11は、指向エージェント処理としてのショートカットエージェント処理を行う(ステップ28)。
【0097】
図22は、指向エージェント処理(ステップ28)としてのショートカットエージェント処理の行程を表すフローチャートである。
この図22に示されるように、ショートカットエージェント処理においては、エージェント処理部11は、最多選択プログラムデータ398からプログラム番号00550番のエージェントプログラムに対する最多選択エージェントプログラムのプログラム番号00580(ジャンル選択画面を表示し、ジャンル選択を促すプログラムのプログラム番号)を取得する(ステップ281)。
最多選択プログラムデータ398において、プログラム番号00550番のエージェントプログラムに対する最多選択エージェントプログラムが00580番であるということは、この運転者は、前5回の操作においては、00550番のプログラムを起動させた第2階層において、ジャンル別選択、電話番号入力、及び地名入力の3つの中からジャンル別選択を選びその結果プログラム番号00580番のプログラム(ジャンル選択画面を表示し、ジャンル選択を促すプログラム)が起動された場合が最も多かったことになる。
【0098】
そして、エージェント処理部11は、ショートカットエージェントプログラム対応テーブル396において、起動したエージェントプログラムのプログラム番号00550と最多選択エージェントプログラムのプログラム番号00580とに対応するショートカットエージェントプログラムのプログラム番号80010とを取得する(ステップ282)。
次に、エージェント処理部11は、このプログラム番号80010のショートカットエージェントプログラムを起動する(ステップ283)。このショートカットエージェントプログラムにより、図22に示すように、表示装置27には、メインのエージェントEのアップショットに並んで、ショートカットエージェントSのロングショットが表示され、音声出力装置25からは、前述したエージェントEの音声に続いて、「すぐにジャンルを入れることもできるのよ。」とのショートカットエージェントSの音声が流れる。
続いて、ショートカットエージェントは、ジャンルの入力に対して応答待機する。
【0099】
運転者から、例えば「飲食店」等と、ショートカットエージェントSに応答して直接ジャンルを指定した入力を取得すると、ショートカットエージェントがこの応答を認識する。そして、この情報をもとに、エージェント処理部11がプログラム番号00550番のエージェントプログラムは応答を取得しないまま終了させ、プログラム番号00600のエージェントプログラム(「飲食店」との応答を認識した後のエージェントプログラム)を起動し、以降このエージェントプログラムから順にエージェント行為が行われ、車両位置の検出、表示装置27への車両の現在位置近辺の飲食店地図の表示、この地図による運転者から目的地となる飲食店の指定を得る。
従って、運転者は、ショートカットエージェントに応答することにより、第2階層における操作(目的地設定方法の選択)を省略して第3階層へ移行することができる。
【0100】
一方、運転者から、「ジャンル選択」等のメインのエージェントに対する応答を取得した場合には、エージェントプログラムによりこれが認識されてから取得した応答に合わせた第3階層へ移行する。例えば、「ジャンル選択」との応答を取得した場合には、エージェント処理部11は、第3階層として表示装置27にジャンル別リストを表示し、「ジャンルを選択してね。」とのエージェント音声を出力する。そして、「飲食店」との入力を取得すると、プログラム番号00600番のエージェントプログラムを起動して車両の現在位置を検出し、現在位置近辺の飲食店地図を表示する。
運転者は、メインのエージェントに対して、例えば「電話番号」や「地名」等と応答することにより、ショートカットによるショートカット先とは異なるジャンル選択以外の目的地選択方法を選択することができる。
【0101】
運転者のエージェントプログラムに対する習熟度が習熟度閾値70よりも小さい場合(ステップ27;N)には、エージェント処理部11はショートカットエージェントプログラムを起動することなく、第2階層において、図23に示すように、メインのエージェントEの表示及び音声出力のみを行って目的地の設定方法を取得し、以降ジャンル選択、飲食店地図の表示等の下の階層へ移行する。
【0102】
そして、表示装置27に飲食店地図を表示した後は、メインのエージェント処理にリターンし、表示した地図により運転者から目的地となる飲食店の指定を応答として取得し(ステップ41)、以降、制御対象プログラムとして(ステップ42;Y)応答に応じた制御(経路案内)を行い(ステップ43)、最多選択プログラムデータ398を含むデータの蓄積(ステップ44)等、上述の第1の実施形態と同様の処理を行う。
【0103】
この様に、本実施形態では、エージェントプログラムが起動されると、運転者の習熟度が高い場合にはショートカットエージェントが出現してエージェントの行為を短絡可能とし、運転者のエージェントへの応答等のコミュニケーションを効率化し短時間での操作を可能とする。そして、運転者の習熟度が低い場合には、ショートカットエージェントは出現せず、操作の統一感を保持することにより運転者が体系だったシステムとしてのメニューの階層構造を把握し易いようになっている。
本実施形態によると、ショートカットエージェントは、メインのエージェントとともに出現するので、一旦習熟度の大きくなった運転者が長期間使用せずにいたために操作を忘れた場合であっても、メインのエージェントの案内に従ってメニュー階層通りに操作したり、日常的に使用しないメニュー(ショートカット先以外のメニュー)を選択することを、容易に行うことができる。
【0104】
本実施形態によると、機能及び出現状況の異なるエージェントとショートカットエージェントとを個別に表示、音声出力するので、運転者にとって紛らわしくなく、容易にこれらのエージェントを識別し情報を把握することができる。
本実施形態によると、最多選択プログラムデータ398に過去に選択され起動されたプログラムが使用履歴として記憶され、頻繁に使用する項目(最多選択プログラム)が取得され、これに基づいてショートカットエージェントによるショートカット先が決定されるので、運転者に合わせた効率的なショートカット機能が実現される。
【0105】
尚、本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて適宜変更可能である。
上述の各実施形態においてはサブエージェントは、ヘルプエージェントやショートカットエージェント等、起動されているメインのエージェントとの関連を有するであるが、これに限られるものではなく、メインのエージェントとサブエージェントとは相互に関連のないものとすることもできる。例えば、エージェントとサブエージェントのうちの一方は経路案内を行い、他方は車両の状態を報知するようにしてもよい。例えば、一方が経路案内を行っている途中で他方が「お腹が空いたよ〜。ガソリンがほしいなあ。」と出現する。そして目的地に到着して、経路案内をしていたエージェントは終了しても、車両の状態を報知するエージェントは給油をしなければそのまま表示されて泣き顔になっていく等とすることができる。
【0106】
上述の各実施形態においてはヘルプエージェントやショートカットエージェント等のサブエージェントの出現は、各プログラム毎に判断されるが、これに限られるものではなく、カーナビゲーション、空調等のシステム毎や、または運転者毎に判断し、必要と判断された場合にはそのシステム起動中や運転者の操作中を通して出現するようにしてもよい。
サブエージェントは一度に複数出現してもよく、ヘルプエージェントとショートカットエージェントの両方を習熟度に応じて出現可能とすることもできる。
サブエージェントも運転者からの応答等を取得する行為を行うものとし、この応答等から学習することによりサブエージェントの行為が決定されるようにしてもよい。
【0107】
第1の実施形態においては、習熟度に応じてヘルプの出現・非出現が決定されているが、習熟度以外の指向からヘルプエージェントの行為(出現非出現を含む)を決定してもよい。例えば、ラジオのプロ野球放送をもとに運転者にプロ野球のゲーム経過を知らせるメインのエージェントに対して、野球に詳しくない人にはルールや用語の解説を行う等とすることができる。
上記第2の実施形態では、ショートカットエージェントは、第n階層において、第n+1階層での項目選択行為を可能に、エージェント行為を短絡するものであるが、ショートカットエージェントを、第n階層から第n+2以上の階層での操作を可能にエージェント行為を短絡するものとすることもできる。
上記第2の実施形態では、ショートカットエージェントは、メインのエージェントに対して短絡のみを行って以降のエージェント行為は再びメインのエージェントが行うようになっているが、ショートカットエージェントに対する応答を取得した以降は、メインのエージェントに戻らず、ショートカットエージェントがそのままエージェント行為を行うようにしてもよい。
【0108】
【発明の効果】
以上説明したように、本発明に係るエージェント装置によれば、機能や出現状況の異なるエージェントとサブエージェントとを個別に出現させるので、運転者にとって紛らわしくなく、これらのエージェントを明確に識別し容易に情報を把握することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態のエージェント装置の構成を示すブロック図である。
【図2】図1の実施形態におるプログラム選択テーブルの内容を概念的にあらわした説明図である。
【図3】図1の実施形態において、各プログラム番号に対応するエージェントの行為(行動と音声)を表した説明図である。
【図4】図1の実施形態におけるプログラム番号00001〜00002の起動により表示装置に表示されるエージェントの「かしこまってお辞儀」行動についての数画面を表した説明図である。
【図5】図1の実施形態における学習項目データの内容を概念的に表した説明図である。
【図6】図1の実施形態における応答データの内容を概念的に表した説明図である。
【図7】図1の実施形態におけるナビゲーションデータ記憶装置に格納されるヘルプエージェントプログラム対応テーブルの内容を概念的に表した説明図である。
【図8】図1の実施形態において、各プログラム番号に対応するヘルプエージェント行為(行動及び音声)を表した説明図である。
【図9】図1の実施形態における習熟度データの内容を概念的に表した説明図である。
【図10】図1の実施形態におけるナビゲーションデータ記憶装置に格納されるデータファイルの内容を概念的に表した説明図である。
【図11】図1の実施形態における状況センサ部を構成する各種センサを表した説明図である。
【図12】図1の実施形態によるエージェント処理のメイン動作を表したフローチャートである。
【図13】図1の実施形態において、車両走行中における具体的なエージェント処理の内容を概念的に表したものである。
【図14】本発明の第2の実施形態のエージェント装置の構成を示すブロック図である。
【図15】図14の実施形態における指向エージェントプログラム対応テーブルの内容を概念的に表した説明図である。
【図16】図14の実施形態において、各プログラム番号に対応するショートカットエージェントの行為(行動と音声)を表した説明図である。
【図17】図14の実施形態において、指向データに格納されるデータの各項目を示す表である。
【図18】図14の実施形態における最多選択プログラムデータの内容を概念的に表した説明図である。
【図19】図14の実施形態によるエージェント処理のメイン動作を表したフローチャートである。
【図20】図14の実施形態において、カーナビゲーションを行う際に運転者からの入力によりメニューを設定する場合のメニュー設定の階層構造を表した説明図である。
【図21】図20の階層構造におけるショートカットエージェントの行為を表した説明図である。
【図22】図14の実施形態による指向エージェント処理の動作を表したフローチャートである。
【図23】図14の実施形態において、ショートカットエージェントが出現する場合の画面表示及び音声出力を表す説明図である。
【図24】図14の実施形態において、ショートカットエージェントが出現しない場合の画面表示及び音声出力を表す説明図である。
【符号の説明】
1 全体処理部
10 ナビゲーション処理部
11 エージェント処理部
12 I/F部
13 画像処理部
14 音声制御部
15 状況情報処理部
21 現在位置検出装置
22 入力装置
23 記憶媒体駆動装置
24 通信制御装置
25 音声出力装置
26 マイク
27 表示装置
28 撮像装置
29 エージェントデータ記憶装置
30 ナビゲーションデータ記憶装置
40 状況センサ部

Claims (9)

  1. 擬人化されたエージェントを車両内に出現させるエージェント出現手段と、
    車両の状況を判断する状況判断手段と、
    この状況判断手段により判断された状況から、前記エージェントの行為を決定するエージェント行為決定手段と、
    このエージェント行為決定手段で決定された行為を前記エージェント出現手段により出現されるエージェントに行わせるエージェント制御手段と、
    前記状況判断手段により判断された状況から、前記エージェントの出現下において擬人化されたサブエージェントの出現の要否を判断する要否判断手段と、
    前記要否判断手段の判断に基づいて前記サブエージェントを前記エージェントとは別個に認識可能に出現させるサブエージェント出現手段と、
    前記状況判断手段により判断された状況から、サブエージェントの行為を決定するサブエージェント行為決定手段と、
    前記サブエージェント行為決定手段で決定された行為を前記サブエージェント出現手段により出現されるサブエージェントに行わせるサブエージェント制御手段とを具備する
    ことを特徴とするエージェント装置。
  2. 前記サブエージェントは、前記エージェントの行為についての解説行為を行う
    ことを特徴とする請求項1に記載のエージェント装置。
  3. 前記サブエージェントは、一連の前記エージェントの行為についてその一部を短絡する
    ことを特徴とする請求項1に記載のエージェント装置。
  4. 前記状況判断手段は、運転者の指向を取得する指向取得手段を備え、
    前記要否判断手段は、前記運転者の指向を前記車両の状況として、サブエージェントの出現の要否を判断する
    ことを特徴とする請求項1から請求項3のうちのいずれか1項に記載のエージェント装置。
  5. 前記指向取得手段が、運転者の指向として運転者のエージェントに対する習熟度を取得し、
    前記要否判断手段は、前記習熟度を前記車両の状況として、サブエージェントの要否を判断する
    ことを特徴とする請求項4に記載のエージェント装置。
  6. 前記状況判断手段による所定状況を記憶することで学習する学習手段を具備し、
    前記要否判断手段は、前記学習手段による学習結果を前記車両の状況として、前記サブエージェントの要否を判断する
    ことを特徴とする請求項1から請求項5のうちのいずれか1項に記載のエージェント装置。
  7. 前記状況判断手段による所定状況を記憶することで学習する学習手段を具備し、
    前記エージェント行為決定手段及び前記サブエージェント行為決定手段のうち少なくとも1つは、前記学習結果を車両の前記状況として、エージェント又はサブエージェントの行為を決定する
    ことを特徴とする請求項1から請求項6のうちのいずれか1項に記載のエージェント装置。
  8. 画像表示手段を備え、
    前記エージェント出現手段が、前記画像表示手段に対し、エージェントを画像表示させるエージェント表示手段を含み、
    前記サブエージェント出現手段が、前記画像表示手段に対し、サブエージェントを、前記エージェントと視覚的に識別可能に画像表示させるサブエージェント表示手段を含む
    ことを特徴とする請求項1から請求項7のうちのいずれか1項に記載のエージェント装置。
  9. 音声出力装置を備え、
    前記エージェント出現手段が、前記音声出力装置に対し、エージェントの音声を出力させるエージェント音声出力手段を含み、
    前記サブエージェント出現手段が、前記音声出力装置に対し、前記エージェントと聴覚的に識別可能なサブエージェントの音声を出力させるサブエージェント音声出力手段を含む
    ことを特徴とする請求項1から請求項8のうちのいずれか1項に記載のエージェント装置。
JP6441498A 1997-07-22 1998-02-27 エージェント装置 Expired - Fee Related JP3965538B2 (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
JP6441498A JP3965538B2 (ja) 1998-02-27 1998-02-27 エージェント装置
US09/119,238 US6249720B1 (en) 1997-07-22 1998-07-21 Device mounted in vehicle
EP98113679A EP0893308B1 (en) 1997-07-22 1998-07-22 Device mounted in vehicle
DE69836846T DE69836846T2 (de) 1997-07-22 1998-07-22 Im Kraftfahrzeug eingebautes Gerät
JP2005098224A JP3918850B2 (ja) 1997-07-22 2005-03-30 エージェント装置
JP2005098226A JP2005293587A (ja) 1997-07-22 2005-03-30 エージェント装置
JP2005098227A JP2005313886A (ja) 1997-07-22 2005-03-30 エージェント装置
JP2005098225A JP3891202B2 (ja) 1997-07-22 2005-03-30 エージェント装置
JP2005098223A JP2005313885A (ja) 1997-07-22 2005-03-30 エージェント装置
JP2008156559A JP4353310B2 (ja) 1997-07-22 2008-06-16 車載装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6441498A JP3965538B2 (ja) 1998-02-27 1998-02-27 エージェント装置

Publications (2)

Publication Number Publication Date
JPH11250395A JPH11250395A (ja) 1999-09-17
JP3965538B2 true JP3965538B2 (ja) 2007-08-29

Family

ID=13257619

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6441498A Expired - Fee Related JP3965538B2 (ja) 1997-07-22 1998-02-27 エージェント装置

Country Status (1)

Country Link
JP (1) JP3965538B2 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2788615B1 (fr) * 1999-01-18 2001-02-16 Thomson Multimedia Sa Appareil comportant une interface utilisateur vocale ou manuelle et procede d'aide a l'apprentissage des commandes vocales d'un tel appareil
DE10004965C2 (de) * 2000-02-04 2003-08-21 Bosch Gmbh Robert Vorrichtung zur manuellen Bedienung von Geräten in einem Fahrzeug
JP4163839B2 (ja) 2000-02-08 2008-10-08 本田技研工業株式会社 車両用コミニュケーション装置
JP2001273065A (ja) 2000-03-23 2001-10-05 Honda Motor Co Ltd エージェント装置
US6411898B2 (en) 2000-04-24 2002-06-25 Matsushita Electric Industrial Co., Ltd. Navigation device
JP2002041276A (ja) * 2000-07-24 2002-02-08 Sony Corp 対話型操作支援システム及び対話型操作支援方法、並びに記憶媒体
JP2009297892A (ja) * 2000-09-19 2009-12-24 Toyota Motor Corp 移動体搭載用のロボット及びこれを搭載した移動体
WO2003042002A1 (fr) * 2001-11-13 2003-05-22 Kabushiki Kaisha Equos Research Appareil de creation de donnees
JP2003271892A (ja) * 2002-03-18 2003-09-26 Nippon Telegraph & Telephone East Corp シナリオ自動生成システム、シナリオ自動生成方法、コンピュータプログラムおよびそのプログラムを記録した記録媒体
WO2003100760A1 (fr) 2002-05-29 2003-12-04 Yamaha Hatsudoki Kabushiki Kaisha Systeme d'indication de l'etat de produits, programme pour systeme d'indication de l'etat de produits, support d'enregistrement pour systeme d'indication de l'etat de produits
JP4523957B2 (ja) * 2002-05-29 2010-08-11 ヤマハ発動機株式会社 製品状態表示システム、製品状態表示システム用プログラム、及び製品状態表示システム用記録媒体
JP4059019B2 (ja) * 2002-06-24 2008-03-12 株式会社エクォス・リサーチ 車載装置、及びデータ作成装置
JP2004042793A (ja) * 2002-07-12 2004-02-12 Nippon Seiki Co Ltd 車両用情報提供装置
JP2005067317A (ja) * 2003-08-21 2005-03-17 Nippon Seiki Co Ltd 車両用情報提供装置
JP2005156405A (ja) 2003-11-27 2005-06-16 Pioneer Electronic Corp ナビゲーションシステム
JP2010002941A (ja) * 2006-10-13 2010-01-07 Frepar Networks Inc 情報提供システム
WO2008134625A1 (en) 2007-04-26 2008-11-06 Ford Global Technologies, Llc Emotive advisory system and method
JP5560958B2 (ja) * 2010-06-29 2014-07-30 トヨタ自動車株式会社 制御装置
CN103842773B (zh) * 2011-09-13 2017-05-17 三菱电机株式会社 导航装置
JP6281202B2 (ja) * 2013-07-30 2018-02-21 株式会社デンソー 応答制御システム、およびセンター
JP6596771B2 (ja) * 2017-05-19 2019-10-30 トヨタ自動車株式会社 情報提供装置および情報提供方法
JP6860068B2 (ja) 2017-05-31 2021-04-14 富士通株式会社 運転支援装置、運転支援システムおよび運転支援方法
US11327637B2 (en) 2018-07-27 2022-05-10 Sony Corporation Information processing system, information processing method, and recording medium for updating virtual agent user interface
JP7266418B2 (ja) * 2019-02-14 2023-04-28 本田技研工業株式会社 エージェント装置、エージェント装置の制御方法、およびプログラム
JP7239359B2 (ja) * 2019-03-19 2023-03-14 本田技研工業株式会社 エージェント装置、エージェント装置の制御方法、およびプログラム
JP6778964B2 (ja) * 2019-10-15 2020-11-04 株式会社ユピテル 装置及びプログラム
JP7394674B2 (ja) * 2020-03-19 2023-12-08 本田技研工業株式会社 表示制御装置、表示制御方法、およびプログラム
JP7424880B2 (ja) * 2020-03-19 2024-01-30 本田技研工業株式会社 表示制御装置、表示制御方法、およびプログラム

Also Published As

Publication number Publication date
JPH11250395A (ja) 1999-09-17

Similar Documents

Publication Publication Date Title
JP3965538B2 (ja) エージェント装置
JP3891202B2 (ja) エージェント装置
JP3873386B2 (ja) エージェント装置
JP4085500B2 (ja) 車両状況把握装置、エージェント装置、および、車両制御装置
JP4193300B2 (ja) エージェント装置
JP5019145B2 (ja) 運転者情報収集装置
JPH11259446A (ja) エージェント装置
JP4380541B2 (ja) 車両用エージェント装置
JP4936094B2 (ja) エージェント装置
JPH11259271A (ja) エージェント装置
JP4441939B2 (ja) 目的地設定装置
JP2000020888A (ja) エージェント装置
JP4253918B2 (ja) エージェント装置
JP4284733B2 (ja) エージェント装置
JPH11272640A (ja) エージェント装置
JP2001235343A (ja) 情報出力装置
JP4259054B2 (ja) 車載装置
JP2000186942A (ja) エ―ジェントメンタルモデル作成装置、及びエ―ジェント装置
JP4032492B2 (ja) エージェント装置
JP2000203465A (ja) 情報記録装置
JP2003106846A (ja) エージェント装置
JP2004037953A (ja) 車載装置、データ作成装置、及びデータ作成プログラム
JP2004050975A (ja) 車載装置、データ作成装置、及びデータ作成プログラム
JP2004053251A (ja) 車載装置、データ作成装置、及びデータ作成プログラム
JP2004051074A (ja) 車載装置、データ作成装置、及びデータ作成プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070502

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070515

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100608

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110608

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110608

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120608

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120608

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130608

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140608

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees