JP4253918B2 - エージェント装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、車両内に運転者とのコミュニケーション行為を行う擬人化されたエージェントを出現させるエージェント装置に係り、運転者とエージェントとの間のコミュニケーションを円滑に行うことのできるエージェント装置に関する。
【０００２】
【従来の技術】
従来より、車両等に、音声を分析し言葉として認識し対応した出力を行う音声認識手段（音声認識装置）を搭載し、運転者からの音声入力によって車両や車両内の機器を制御する技術が提案されている（特開平１１−６５５９２）。この従来技術では、音声による入力を常に可能にしておくと、人の会話やノイズによってシステムが誤動作してしまう可能性が高いことに鑑み、音声による入力のオン・オフ制御するオン・オフ制御手段としてのスイッチを備え、運転者等のユーザがこのスイッチを操作することにより音声入力のオン・オフを制御することにより、音声認識率の向上を図っている。
【０００３】
また、従来より、車両や運転者の状況等に基づいて行為が決定されるたエージェントを車両内に出現させ、エージェントによって種々の情報を伝達し、且つ運転者とのコミュニケーションをはかることのできるエージェント装置が提案されている（特開平１１−３７７６６号公報）。このエージェント装置では、エージェントの行為が、現在及び過去の車両の状況と運転者の状況とに基づいて決定され、個々の運転者に適合したものとなる。また、エージェントが擬人化されたキャラクターとしてディスプレーに表示され且つ音声出力されるので、運転者にとって、車両が一層愛着の湧く人間的なものとして感じられる。このエージェント装置は、運転者からの音声を分析し言葉として認識し対応した出力を行う音声認識装置を備えており、運転者は、リモコンやタッチパネル等からの入力の他、音声によってエージェントへ命令をしたり、疑似会話を楽しむことができるようになっている。またこのエージェント装置は、車両等の状況を判断し、例えば、正午になった時には「このあたりのレストランを探しましょうか？」とか長時間運転が続く場合には「少し休憩しませんか？」というように、エージェントから、運転者の好み等も含めた学習結果から積極的に提案をするようになっている。
【０００４】
【発明が解決しようとする課題】
このような従来のエージェント装置ではエージェントが車両内に常時出現しているのに対し、例えば、同乗者とのコミュニケーションを行う必要がある場合等、運転者にとっては、エージェントには必要に応じて出現してもらいたい場合がある。
このような要求に対応するためには、エージェント装置が必要と判断された場合（給油要求等）や、運転者からの呼び出しがあった場合に適宜エージェントを出現させることが考えられる。
そして、運転者がエージェントを呼び出すための方法としては、呼出しボタンや呼出しキー、音声入力等が存在するが、音声入力による場合には、常時音声入力を監視している必要があると共に、認識率が低いために好ましくない。このため、エージェントを呼び出すためにはボタンやキー等によるものが好ましい。
従って、運転者の操作により車両内にエージェントを呼び出したり消失可能で、且つ、音声入力によって命令等を行なえるようにするためには、エージェントの出現と消失とを制御するためのボタンと、音声認識のオン・オフを制御するためのボタンの２つのボタンが必要となる。
しかし、このように２つのボタンを設けると、音声によってナビゲーションのメニューを設定する場合等、エージェント呼び出しボタンと音声認識ボタンの両方を押さなければいけない場合があったり、これらのボタンを状況に応じて押し分ける必要があり、操作が煩わしくなり、エージェントとのコミュニケーションが円滑性を欠くおそれがある問題点がある。
また、エージェントが表示されていても音声認識が可能な場合と音声認識不可能な場合とがあり、音声認識可能な状態となっているかどうかが分かりにくく、この点からも運転者とエージェントとのコミュニケーションが円滑性を欠くおそれがある問題点がある。
【０００５】
本願発明者らは、エージェントを必要に応じて出現させる場合について、以下のような知見を得た。
すなわち、運転者がエージェントの出現を望む場合、例えば、ナビゲーションの目的地設定を行う際にエージェントにその処理の一部をアシストしてもらうことを望む場合等においては、設定項目等の入力は、エージェントの出現後もタッチパネル等の操作によっても可能であるが、エージェントとのコミュニケーションの一環として、音声入力される場合が多いと考えられる。
【０００６】
一方、音声入力を行う場合に必ずしもエージェントが出現している必要はないが、運転者は、単なるマイクに対して音声を発するよりも、車両内に出現したエージェントに対して話しかける方が音声入力の抵抗がなくなると共に、このようなコミュニケーションを通してエージェントや車両に対する愛着が増加することになる。
このように、運転者の要求がエージェントの出現である場合にはそれに伴って音声認識が必要であり、また運転者の要求が音声認識である場合には、エージェントを出現させることで音声入力しやすくなり、結果として、運転者によるエージェントの出現要求と運転者による音声認識要求とは一体の関係にあるという知見を得た。
【０００７】
本発明は、上述のような知見に基づいて、上述の問題点を解決するためになされたもので、車両内に運転者とのコミュニケーション行為を行う擬人化されたエージェントを出現させるエージェント装置であって、エージェントの出現や音声認識開始のための操作を容易に行うことができ、且つ運転者とエージェントとの間のコミュニケーションを円滑に行うことのできるエージェント装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明では車両内に、運転者とのコミュニケーション行為を行う擬人化されたエージェントを出現させるエージェント出現手段と、運転者からの音声を認識する音声認識手段と、前記音声認識手段による認識結果を含む車両の各種状況を判断する状況判断手段と、前記状況判断手段により判断された状況に基づいて、前記エージェントの行為を決定する行為決定手段と、この行為決定手段で決定された行為を前記エージェントに行わせるエージェント制御手段と、運転者の操作によりオンされるオン・オフスイッチとを備え、前記音声認識手段は、前記オン・オフスイッチがオン状態にされた場合に、運転者からの音声の認識を開始し、前記エージェント出現手段は、前記エージェントを出現させていない状態で前記オン・オフスイッチがオン状態にされた場合に、前記エージェントを車両内に出現させるエージェント装置によって、前記目的を達成する。
【０００９】
本発明のエージェント装置においては、車両内にエージェントが出現していない状態において命令取得手段によって運転者からの音声認識開始命令が取得されると、エージェント出現手段によってエージェントが出現し、且つ音声認識手段による音声認識が開始される。エージェントが車両内にすでに出現している状態において音声認識命令が取得された場合には、そのまま音声認識が開始される。従って、車両内には、命令取得手段のみを備えることによって、音声認識の開始とエージェントの出現の両方を命令可能にすることができる。
また、運転者は、命令取得手段に命令を入力することによって、音声認識の開始とエージェントの出現の両方を命令することができ、複数のボタンを状況に応じて押し分ける煩わしさがなくなり、運転者とエージェントとのコミュニケーションを容易に円滑に行うことができる。
更に、音声認識が可能な状態においては常にエージェントが表示されることになるので、エージェントが表示されていない場合には音声認識が不可能な状態であることが一見して認識でき、この点からも、運転者とエージェントとのコミュニケーションを容易に円滑に行うことができる。
また、音声認識可能な状態においてエージェントを表示することによって、運転者に音声による入力を促すことができ、命令等の入力をエージェントとの会話として人間的に行わせることができる。
【００１０】
ここで、エージェントが出現するとは、擬人化された形態（表示や音声）のエージェントが運転者に認識可能な状態になることをいう。従って、エージェントは、擬人化された形態で出現せずに前方車との距離に基づいて速度を制御したり、室内温度を制御する等の動作を行う場合は、これらの動作はエージェントの出現している状態下のみにおいて行われても、エージェントの出現や消去とは無関係に常に行われていてもよい。また、エージェントは、音声認識開始命令が取得された場合に出現すればよく、音声認識開始命令が取得された場合に加えて、所定の状況下において命令がなくても出現するようにしてもよい。
【００１１】
前記エージェント出現手段は、画像表示装置と、該画像表示装置に特定のエージェントの画像を表示させるエージェント表示手段とを含むようにしてもよい。この場合、エージェント表示手段は、複数のエージェントの中から選択されたエージェントを表示するようにしてもよい。また、エージェント出現手段は、音声出力装置と、該音声出力装置にエージェントの音声を出力させるエージェント音声出力手段を含むようにしてもよい。この場合、エージェント音声出力手段は、複数のエージェントの中から選択されたエージェントの音声を出力するようにしてもよい。
前記命令取得手段は、運転者からの音声認識開始命令を音声以外で取得し、対応する出力を行うものであればよく、運転者によって押圧されたり回動されることにより接点が接触する接触式のスイッチ、ＣＣＤ等の撮像装置からの画像データを処理することにより運転者の一部（手、唇、視線等）が特定の形状や動作となった状態を検出し所定の信号を出力する画像処理装置、体の一部が所定距離近づいたことを検出し予め所定の信号を出力する近接スイッチ等の非接触式のセンサ等とすることができる。
命令取得手段が接触式のスイッチの場合、運転者が押圧したり回動させるスイッチ部分は、運転者が運転操作中においても容易に作動可能である位置に配設されていることが好ましく、例えば、ナビゲーション装置の画像表示装置やエージェントが表示される画像表示装置の前面パネルの画面の周囲、ハンドル、フットレスト脇、リモコン等に配置することが好ましい。フットレスト脇に配置した場合には足によって、ハンドル操作に影響を与えずにスイッチ操作を行うことができる。またこの他、ナビゲーション装置の画像表示装置やエージェントが表示される画像表示装置がタッチパネルとなっている場合にこのタッチパネルにボタン等を表示してもよい。この場合、画面が変わっても、常に同じ位置にボタン等を表示することが好ましい。
【００１２】
上述の本発明のエージェント装置は、前記音声認識手段が音声の認識を開始した状態において、音声認識可能であることを運転者に知らせる告知手段を備えるものとすることができる。なお、音声の認識の開始とは、音声認識手段が、マイク等の音声入力手段により入力された音声に対応する語を特定するための処理を開始することを意味する。
この告知手段としては、例えば、エージェントが画像表示装置に画像表示されることで出現する場合には、音声認識可能な状態ではエージェントを耳を傾けた仕草で表示したり耳が大きくなった状態で表示させるものとすることができる。また、エージェントが音声により出現する場合や、その他音声出力手段を備える場合には、エージェントの音声によって「何ですか。」等の問いかけを音声出力するものとすることができる。更に、エージェントが音声によって出現する場合や、その他の音声出力手段を備える場合には、音声認識状態になる場合に合図となるような音声を出力するものとすることもできる。
尚、エージェントの行為や音声によって音声認識可能な状態を告知する場合、音声認識可能な状態を告知するためのエージェントの行為や音声は、状況判断手段により判断された状況に応じて変化させることができる。
【００１３】
上述の本発明のエージェント装置は、タッチパネル式の表示装置を備え、前記オン・オフスイッチは、前記表示装置の常に一定の位置に表示されるスイッチ表示を含み、該スイッチ表示が運転者により押圧されることによりオンされるものとすることができる。
【００１４】
【発明の実施の形態】
以下、本発明のエージェント装置における好適な実施の形態について、図１から図１１を参照して詳細に説明する。
（１）実施形態の概要
本実施形態のエージェント装置では、運転者に押圧されたことを検知することにより運転者からの音声認識開始命令を取得する音声認識ボタン（命令取得手段）が、エージェントを表示装置（エージェント出現手段）に表示させる命令を取得するエージェント呼び出しボタンを兼ねている。
そして、エージェント装置のＣＰＵは、音声認識ボタンが押されると、エージェントが表示装置に表示されていない場合にはエージェントを表示させ、音声認識部（音声認識手段）を機動させる。そして、音声認識部による音声認識の結果を含む車両内の各種センサ等からの出力に基づいて車両の各種状況を判断し（状況判断手段）、判断に基づいてエージェントの行為を決定し（行為決定手段）、この行為をエージェントに行わせる（エージェント制御手段）。
また、エージェントがすでに表示装置に表示されている場合には、ＣＰＵは、そのまま音声認識部を機動させ、音声認識の結果を含む車両内の各種センサ等からの出力に基づいて車両の各種状況を判断し（状況判断手段）てエージェントの行為を決定し、この行為をエージェントに行わせる（エージェント制御手段）。
このように、本実施形態のエージェント装置では、エージェント呼び出し用のボタンを配設することなく、エージェントの呼び出しを行うことができ、運転者とエージェントとの間のコミュニケーションを容易に円滑に行うことが可能である。
【００１５】
なお、本実施形態におけるエージェントは、擬人化されたエージェントであり、その画像（平面的画像、ホログラフィ等の立体的画像等）が画像表示装置によって車両内に出現される。このエージェントの処理としては、車両自体、搭乗者、対向車等を含む車両の状況判断と学習（状況の学習だけでなく運転者の応答や反応等も含む）をし、各時点での車両状況とそれまでの学習結果に基づいて、エージェントが運転者や車両に対して様々なバリエーションをもった対応（行為＝行動と音声）をする。これにより運転者は、複数のエージェントを車両内に自由に呼びだしてつき合う（コミュニケーションする）ことが可能になり、車両内での環境を快適にすることができる。
ここで、本実施形態において擬人化されたエージェントとは、特定の人間、生物、漫画のキャラクター等との同一性があり、その同一性のある生物が、同一性・連続性を保つようなある傾向の出力（動作、音声により応答）を行うものである。また、同一性・連続性は特有の個性を持つ人格として表現され、電子機器内の一種の疑似生命体としてもとらえることができる。車両内に出現させる本実施形態のエージェントは、人間と同様に判断する疑似人格化（仮想人格化）された主体である。従って、同一の車両状況であっても、過去の学習内容に応じてコミュニケーションの内容は異なる。ときには、車両の相応には関係ない範囲での判断ミスも有り、この判断ミスによる不要な（ドジな）応答をすることもある。そして運転者の応答により、判断ミスか否かを判定し、学習する。
【００１６】
（２）実施形態の詳細
図１は、本実施形態におけるエージェント装置の構成を示すブロック図である。
本実施形態では、エージェントによるコミュニケーション機能全体を制御する全体処理部１を備えている。この全体処理部１は、設定した目的地までの経路を探索して音声や画像表示によって経路案内等をするナビゲーション処理部１０、エージェント処理部１１、ナビゲーション処理部１０とエージェント処理部１１に対するＩ／Ｆ部１２、エージェント画像や地図画像等の画像出力や入力画像を処理する画像処理部１３、エージェントの音声や経路案内用の音声等の音声を出力したり、入力される音声を音声認識辞書を使用して認識したりする音声制御部１４、及び車両や運転者に関する各種状況の検出データを処理する状況情報処理部１５を有している。
【００１７】
エージェント処理部１１は、所定容姿のエージェントを車両内に出現させる。また、車両の状況や運転者による過去の応対等を学習して適切な会話や制御を行うようになっている。そして本実施形態のエージェント装置では、車両の状況や車内、車外の状況を判断し、判断結果に対応した処理を行うようになっている。
【００１８】
ナビゲーション処理部１０とエージェント処理部１１は、データ処理及び各部の動作の制御を行うＣＰＵ（中央処理装置）と、このＣＰＵにデータバスや制御バス等のバスラインで接続されたＲＯＭ、ＲＡＭ、タイマ等を備えている。両処理部１０、１１はネットワーク接続されており、互いの処理データを取得することができるようになっている。例えば、エージェント処理部１１は、ナビゲーション処理部１０で特定した車両の現在位置のデータや、ナビゲーション処理部１０で探索した目的地までの走行経路や、ナビゲーションデータ記憶装置３０に格納されたナビゲーション用のデータ等を取得できる。
ＲＯＭはＣＰＵで制御を行うための各種データやプログラムが予め格納されたリードオンリーメモリであり、ＲＡＭはＣＰＵがワーキングメモリとして使用するランダムアクセスメモリである。
【００１９】
本実施形態のナビゲーション処理部１０とエージェント処理部１１は、ＣＰＵがＲＯＭに格納された各種プログラムを読み込んで各種処理を実行するようになっている。なお、ＣＰＵは、記憶媒体駆動装置２３にセットされた外部の記憶媒体からコンピュータプログラムを読み込んで、エージェントデータ記憶装置２９やナビゲーションデータ記憶装置３０、図示しないハードディスク等のその他の記憶装置に格納（インストール）し、この記憶装置から必要なプログラム等をＲＡＭに読み込んで（ロードして）実行するようにしてもよい。また、必要なプログラム等を記録媒体駆動装置２３からＲＡＭに直接読み込んで実行するようにしてもよい。
【００２０】
ナビゲーション処理部１０には、現在位置検出装置２１とナビゲーションデータ記憶装置３０が接続され、エージェント処理部１１にはエージェントデータ記憶装置２９が接続されている。
Ｉ／Ｆ部１２には入力装置２２と記憶媒体駆動装置２３と通信制御装置２４と、その他の装置（窓開閉装置、エアコン風量調節装置、オーディオ音量調節装置、ヘッドランプオン・オフ装置、ワイパー駆動制御装置等）が接続されている。
画像処理部１３には表示装置２７と撮像装置２８が接続されている。
音声制御部１４は、音声合成部１４１と音声認識部１４２を備えており、音声合成部１４１には音声出力装置２５が接続され、音声認識部１４２には、運転者からの音声を取り込む音声取り込み手段として機能するマイク２６が接続されている。
状況情報処理部１５には状況センサ部４０が接続されている。
【００２１】
現在位置検出装置２１は、車両の絶対位置（緯度、経度による）を検出するためのものであり、人工衛星を利用して車両の位置を測定するＧＰＳ（Global Positioning System)受信装置２１１と、方位センサ２１２と、舵角センサ２１３と、距離センサ２１４と、路上に配置されたビーコンからの位置情報を受信するビーコン受信装置２１５等が使用される。
ＧＰＳ受信装置２１１とビーコン受信装置２１５は単独で位置測定が可能であるが、ＧＰＳ受信装置２１１やビーコン受信装置２１５による受信が不可能な所では、方位センサ２１２と距離センサ２１４の双方を用いた推測航法によっ現在位置を検出するようになっている。なお、より正確な現在位置を検出するために、所定の基地局から送信される測位誤差に対する補正信号を受信し、現在位置を補正するＤ−ＧＰＳ（ディファレンシャルＧＰＳ）を使用するようにしてもよい。
方位センサ２１２は、例えば、地磁気を検出して車両の方位を求める地磁気センサ、車両の回転角速度を検出しその角速度を積分して車両の方位を求めるガスレートジャイロや光ファイバジャイロ等のジャイロ、左右の車輪センサを配置しその出力パルス差（移動距離の差）により車両の旋回を検出することで方位の変位量を算出するようにした車輪センサ、等が使用される。
舵角センサ２１３は、ステアリングの回転部に取り付けた光学的な回転センサや回転抵抗ボリューム等を用いてステアリングの角度αを検出する。
距離センサ２１４は、例えば、車輪の回転数を検出して計数し、または加速度を検出して２回積分するもの等の各種の方法が使用される。
【００２２】
入力装置２２は、エージェントの名前の読みを入力したり、その他、エージェント処理を行う上で使用されるユーザ情報（年齢、性別、趣味、性格など）を入力するためのものである。なお、これらユーザに関する情報は、入力装置２２からユーザが入力する場合に限らず、ユーザとのコミュニケーションが無い時間が一定時間以上経過した場合等に、未入力の項目について例えば、プロ野球が好きか否か、好きな球団名等に関する各種問い合わせをエージェントがユーザに行い、ユーザの回答内容から取得するようにしてもよい。
この入力装置２２は、音声認識部１４２による音声認識動作を開始させるための音声認識開始の要求その他の命令を入力したり、エージェントからの問い合わせ等に対して運転者が応答するための１つの手段でもある。
また、入力装置２２は、ナビゲーション処理における走行開始時の現在地（出発地点）や目的地（到達地点）、情報提供局へ渋滞情報等の情報の請求を発信したい車両の所定の走行環境（発信条件）、車内で使用される携帯電話のタイプ（型式）などを入力するためのものでもある。
【００２３】
入力装置２２には、タッチパネル（スイッチとして機能）、キーボード、マウス、ライトペン、ジョイスティック、赤外線等によるリモコンなどの各種の装置が使用可能である。音声認識開始の要求以外の情報を入力するものについては、音声認識装置を用いることもできる。また、赤外線等を利用したリモコンと、リモコンから送信される各種信号を受信する受信部を備えてもよい。
図２は本実施形態のエージェント装置の入力装置としてのリモコンを示す概略平面図である。
この図２に示すように、リモコン２２ａには、画面上に表示されたカーソルの移動操作等を行うジョイスティック２２ｂの他、メニュー指定指定キー（ボタン）やテンキー等の各種キー２２ｃ、音声認識部１４２による音声認識動作を開始させるための音声認識開始の要求を入力するための音声認識開始キー２２ｄ（ボタン）が配置される。
【００２４】
記憶媒体駆動装置２３は、ナビゲーション処理部１０やエージェント処理部１１が各種処理を行うためのコンピュータプログラムを外部の記憶媒体から読み込むのに使用される駆動装置である。記憶媒体に記録されているコンピュータプログラムには、各種のプログラムやデータ等が含まれる。
ここで、記憶媒体とは、コンピュータプログラムが記録される記憶媒体をいい、具体的には、フロッピーディスク、ハードディスク、磁気テープ等の磁気記憶媒体、メモリチップやＩＣカード等の半導体記憶媒体、ＣＤ−ＲＯＭやＭＯ、ＰＤ（相変化書換型光ディスク）、ＤＶＤ（ディジタル・ビデオ・ディスク）等の光学的に情報が読み取られる記憶媒体、紙カードや紙テープ、文字認識装置を使用してプログラムを読み込むための印刷物等の用紙（および、紙に相当する機能を持った媒体）を用いた記憶媒体、その他各種方法でコンピュータプログラムが記録される記憶媒体が含まれる。
【００２５】
記憶媒体駆動装置２３は、これらの各種記憶媒体からコンピュータプログラムを読み込む他に、記憶媒体がフロッピーディスクやＩＣカード等のように書き込み可能な記憶媒体である場合には、ナビゲーション処理部１０やエージェント処理部１１のＲＡＭや記憶装置２９、３０のデータ等をその記憶媒体に書き込むことが可能である。
例えば、ＩＣカードにエージェント機能に関する学習内容（学習項目データ、応答データ）や、ユーザ情報等を記憶させ、他の車両を運転する場合でもこの記憶させたＩＣカードを使用することで、自分の好みに合わせて命名され、過去の応対の状況に応じて学習された同一のエージェントとコミュニケーションすることが可能になる。これにより、車両毎のエージェントではなく、運転者に固有な名前と、学習内容のエージェントを車両内に出現させることが可能になる。
【００２６】
通信制御装置２４は、各種無線通信機器からなる携帯電話が接続されるようになっている。通信制御装置２４は、電話回線による通話の他、道路の混雑状況や交通規制等の交通情報に関するデータなどを提供する情報提供局との通信や、車内での通信カラオケのために使用するカラオケデータを提供する情報提供局との通信を行うことができるようになっている。
また、通信制御装置２４を介して、エージェント機能に関する学習データやユーザ情報等を送受信することも可能である。
また通信制御装置２４は、ＡＴＩＳセンターから送信される渋滞等の各種情報を受信したり、また、道路周辺に配置されたビーコンから送信される渋滞等のＶＩＣＳ情報をビーコンレシーバーで受信したりすることができるようになっている。
【００２７】
音声出力装置２５は、車内に配置された複数のスピーカで構成され、音声制御部１４の音声合成部１４１により合成された音声が出力される。例えば、音声による経路案内を行う場合の案内音声や、エージェントによる運転者への問い合わせの音声、エージェントの動作に伴う音等が音声合成部１４１で合成され、音声出力装置２５から出力されるようになっている。この音声出力装置２５は、全部又は一部をオーディオ用のスピーカと兼用するようにしてもよい。なお、音声制御部１４は、運転者のチューニング指示の入力に応じて、音声出力装置２５から出力する音声の音色やアクセント等を制御することが可能である。
音声出力装置２５は、音声制御部１４の音声認識部１４２で認識した音声についての認識内向をユーザに確認（コールバック）するために合成された音声も出力するようになっている。
【００２８】
マイク２６は、音声制御部１４の音声認識部１４２における音声認識の対象となる音声を入力する音声入力手段として機能する。マイク２６には、例えば、ナビゲーション処理における目的地等の入力音声や、エージェントとの運転者の会話等（エージェントからの問い合わせに対する回答や、コールバックに対する応答等を含む）が入力される。
このマイク２６は、通信カラオケ等のカラオケを行う際のマイクと兼用するようにしてもよく、また、運転者の音声を的確に収集するために指向性のある専用のマイクを使用するようにしてもよい。
音声出力装置２５とマイク２６とでハンズフリーユニットを形成させて、携帯電話を介さずに、電話通信における通話を行えるようにしてもよい。
【００２９】
表示装置２７には、ナビゲーション処理部１０の処理による経路案内用の道路地図や各種画像情報が表示されたり、エージェント処理部１１によるエージェントの容姿や、その容姿のエージェントによる各種行動（動画）が表示されたりするようになっている。また、撮像装置２８で撮像された車両内外の画像も画像処理部１３で処理された後に表示されるようになっている。
表示装置２７は、液晶表示装置、ＣＲＴ等の各種表示装置が使用される。
この表示装置２７は、例えばタッチパネル等の、前記入力装置２２としての機能を兼ね備えたものとすることができる。
図３は、本実施形態のエージェント装置の表示装置２７の表示画面の表示例を示す図であり、（ａ）はナビゲーションの目的地設定において表示される画面、（ｂ）は経路案内において表示される画面である。
この図３に示す表示装置２７は、タッチパネル式となっており、表示画面には、メニュー指定キーＫ１や経路案内用の地図Ｍ、音声認識部１４２による音声認識動作を開始させる音声認識処理開始の要求を入力するための音声認識キーＫ２が表示されている。
音声認識キーＫ２は全ての表示画面に表示されるようになっており、また常に同じ位置に表示されるようになっている。
【００３０】
撮像装置２８は、画像を撮像するためのＣＣＤ（電荷結合素子）を備えたカメラで構成されており、運転者を撮像する車内カメラの他、車両前方、後方、右側方、左側方を撮像する各車外カメラが配置されている。撮像装置２８の各カメラにより撮像された画像は、画像処理部１３に供給され、画像認識等の処理が行われ、各認識結果をエージェント処理部１１によるプログラム番号の決定にも使用するようになっている。
撮像装置２８で撮像された画像は、車両内外の状況が特定状況にある可能性があるか否かを判断する可能性判断に使用することができ、この場合には、状況を検出するセンサとしても機能することになる。
【００３１】
エージェントデータ記憶装置２９は、本実施形態によるエージェント機能を実現するために必要な各種データやプログラムが格納される記憶装置である。このエージェントデータ記憶装置２９には、例えば、フロッピーディスク、ハードディスク、ＣＤ−ＲＯＭ、光ディスク、磁気テープ、ＩＣカード、光カード、ＤＶＤ等の各種記憶媒体と、その駆動装置が使用される。
この場合、例えば、学習項目データ２９２、応答データ２９３、及びユーザ情報２９７を持ち運びが容易なＩＣカードやフロッピーディスクで構成し、その他のデータをハードディスクで構成するというように、複数種類の異なる記憶媒体と駆動装置で構成し、駆動装置としてそれらの駆動装置を用いるようにしてもよい。
【００３２】
エージェントデータ記憶装置２９には、エージェントプログラム２９０、プログラム選択テーブル２９１、学習項目データ２９２、応答データ２９３、エージェントの容姿や行動を静止画像や動画像で画像表示するための画像データ２９４、メンタルモデル変更条件データ２９６、運転者を特定するためのユーザ情報２９７、その他エージェントのための処理に必要な各種のデータが格納されている。
【００３３】
エージェントプログラム２９０には、エージェント機能を実現するためのエージェント処理プログラムや、エージェントと運転者とがコミュニケーションする場合の細かな行動を表示装置２７に画像表示すると共にその行動に対応した会話を音声合成部１４１で合成して音声出力装置２５から出力するためのコミュニケーションプログラムがプログラム番号順に格納されている。
エージェントプログラム２９０には、各プログラム番号の音声に対して複数種類の音声データが格納されており、運転者は前記エージェントの容姿の選択と併せて音声を入力装置２２等から選択することができるようになっている。エージェントの音声としては、男性の音声、女性の音声、子供の音声、機械的な音声、動物的な音声、特定の声優や俳優の音声、特定のキャラクタの音声等があり、これらの中から適宜運転者が選択する。この音声と前記容姿の選択は、適時変更することが可能である。
【００３４】
プログラム選択テーブル２９１は、エージェントプログラム２９０に格納されているコミュニケーションプログラムを選択するためのテーブルである。
このプログラム選択テーブル２９１からコミュニケーションプログラムを選択する選択条件には、状態センサ４０や現在位置検出装置２１、撮像装置２８により検出される車両や運転者の各種状況から決定される項目（時間、起動場所、冷却水温、シフトポジション位置、アクセル開度等）と、学習項目データ２９２や応答データ２９３及びユーザ情報２９７に格納されている学習内容から決定される項目（今日のＩＧ ＯＮ回数、前回終了時からの経過時間、通算起動回数等）、及びエージェントメンタルモデルの各パラメータ（元気、友好、従順、安心、モラル）がある。
プログラム選択テーブル２９１中で、これら全項目を満足するプログラムは必ず一義的に決定するようになっている。
【００３５】
学習項目データ２９２、応答データ２９３は、運転者の運転操作や応答によってエージェントが学習した結果を格納するデータである。従って、学習項目データ２９２と応答データ２９３は、各運転者毎にそのデータが格納・更新（学習）されるようになっている。
応答データ２９３には、エージェントの行為に対するユーザの応答の履歴が、各コミュニケーションプログラム番号毎に格納される。
【００３６】
学習項目データ２９２には、プログラム選択テーブル２９１の選択条件を決定する通算起動回数、前回終了日時、今日のイグニッションＯＮ回数、前５回の給油時残量等が格納され、選択条件により選択されたプログラムを起動するか否か（お休みするか否か）を決定するためのお休み回数／日時、デフォルト値、その他のデータが格納される。
【００３７】
ユーザ情報２９７には、ユーザの氏名、住所、生年月日、性別、性格、趣味、好きなスポーツ、好きなチーム、好きな食べ物、宗教、ユーザの身長、体重、運転席（シート）の固定位置（前後位置、背もたれの角度）、ルームミラーの角度、視線の高さ、顔写真をデジタル化したデータ、音声の特徴パラメータ等のユーザ情報が各ユーザ毎に格納されている。
またこのユーザ情報２９７には、学習項目データ２９２、応答データ２９３と同様に、運転者の運転操作や応答によってエージェントが学習した結果であるエージェントメンタルモデルがユーザ毎に格納されている。
このエージェントメンタルモデルは、ユーザ（運転者）とのやりとりによって獲得した、エージェントの心理状態を表している。エージェントの心理状態は、元気、友好、従順、安心、及びモラルの各パラメータで表される。各パラメータは、その度合いが０〜９の１０段階の指数で表され、指数が大きくなる程その度合いが大きいようになっている。例えば、心理状態のうちの元気は、指数が０であれば全く元気が無く、９であれば最も元気な状態となっている。そして、指数が大きいほど各行動の動作や声が大きくなり、話し方や言葉使いも元気になっていく。また、指数が８及び９の場合には、エージェントＥが走りながら画面に登場する。
尚、初期設定においては、全てのパラメータの指数は中間値の５に設定されている。
ユーザ情報は、エージェントがユーザと取るコミュニケーションの内容を判断する場合に使用される他、ユーザの体重等の後者のデータ群は運転者を特定するためにも使用される。
【００３８】
メンタルモデル変更条件データ２９６には、エージェントメンタルモデルの各パラメータの指数を増減する条件と、変化するパラメータ及びその変化の度合いとの対応が格納されており、このテーブルに従って、エージェントメンタルモデル２９５の各パラメータの指数が増減されるようになっている。
エージェントメンタルモデルの各パラメータの指数は、イグニッションオン時刻や車速等の車両状態、運転者からの応答の有無やその内容、等の車両の状況により、個別に増減されるようになっている。例えば、運転者からマイク２６に入力された音声が音声認識装置の辞書に予め登録されたねぎらいの言葉であった場合には、「友好」パラメータの指数が１増加される。
また、リセットが有りとなっている条件については、イグニッションＯＦＦ時に、増加分が減少され、減少分が増加され、その条件に基づいてなされた指数の増減が相殺されるようになっている。
【００３９】
画像データ２９４には、各エージェントの容姿と、各容姿のエージェントが様々な表情や動作を表すための各種画像データが格納されている。ユーザは、これら各エージェントを選択し、自由に名前を付ける（設定する）ことができるようになっている。
格納される容姿としては、人間（男性、女性）的な容姿である必要はなく、例えば、ひよこや犬、猫、カエル、ネズミ等の動物自体の容姿や人間的に図案化（イラスト化）した動物の容姿であってもよく、更にロボット的な容姿や、特定のキャラクタの容姿等であっても良く、これら各容姿に対応して名前を付けることが可能である。
またエージェントの年齢としても一定である必要がなく、エージェントの学習機能として、最初は子供の容姿とし、時間の経過と共に成長していき容姿が変化していく（大人の容姿に変化し、更に老人の容姿に変化していく）ようにしてもよい。画像データ２９４には、これら各種エージェントの容姿の画像が格納されており、運転者の好みによって入力装置２２等から選択することができるようになっている。
【００４０】
エージェント処理部１１は、これら学習項目データ２９２、応答データ２９３、ユーザ情報２９７、及び状況センサ部４０で検出される車両の各種状況に対応するプログラム番号をプログラム選択テーブル２９１から選択し、そのプログラム番号に対応するエージェントプログラム２９０を選択して実行することで、エージェントと運転者等とのコミュニケーションが行われるようになっている。
例えば、エンジンの冷却水温度が低い場合には、エンジンの調子に合わせてエージェントが「眠そうに…」行動する。眠そうな表現として、瞼が下がった表情の画像にしたり、あくびや伸びをした後に所定の行動（お辞儀等）をしたり、最初に目をこすったり、動きや発声を通常よりもゆっくりさせたりすることで表すことができる。これらの眠そうな表現は、常に同一にするのではなく、行動回数等を学習することで適宜表現を変更する。例えば、３回に１回は目をこすり（Ａ行動）、１０回に１回はあくびをするようにし（Ｂ行動）、それ以外では瞼を下がった表情（Ｃ行動）にする。これらの変化は、行動Ｂや行動Ｃの付加プログラムを行動Ａの基本プログラムに組み合わせることで実現される。そして、どの行動を組み合わせるかについては、基本となる行動Ａのプログラム実行回数を学習項目として計数しておき、回数に応じて付加プログラムを組み合わせるようにする。
また、急ブレーキが踏まれたことを条件として、エージェントが「しりもち」をついたり、「たたら」を踏んだりする行動をとったり、驚き声をだすようなプログラムも規定されている。エージェントによる各行動の選択は急ブレーキに対する学習によって変化するようにし、例えば、最初の急ブレーキから３回目まで「しりもち」をつき、４回目から１０回目までは「たたら」を踏み、１０回目以降は「片足を一歩前にだすだけで踏ん張る」行動を取るようにし、エージェントが急ブレーキに対して段階的に慣れるようにする。そして、最後の急ブレーキから１週間の間隔があいた場合には、１段階後退するようにする。
また、エージェントの行為は、エージェントメンタルモデルに応じて、例えば、友好の指数が０〜２の場合にはあくびをせず（行動Ｂのプログラムが付加されない）、３〜６の場合にはあくびの時に口に手を当てる（行動Ｂに代えて行動Ｂ’のプログラムが付加される）等というように、変化する。
このように、本実施形態においては、エージェントの対応は、同一の車両状況であっても、エージェントが運転者との対応の積み重ねによって学習したエージェントメンタルモデルに応じて異なり、且つ、様々な対応についてメンタルモデルに共通した統一性のあるものとなる。また、運転者の対応等の積み重ねによって心理状態は変化していく。例えば、エージェントの行為に対してねぎらいの言葉がかかれば、エージェントの心理状態は友好度が増加し、親しみのある気軽な口調になったり、ＣＤをかけるか等のお薦めが多くなるのに対して、エージェントの行為に対して罵声がかかれば、エージェントの心理状態は友好度が減少し、事務的な口調になっていき、窓を開けましょうか、ＣＤをかけましょうか等の積極的に提案する等の行為は少なくなる。
【００４１】
図４は、ナビゲーションデータ記憶装置３０（図１）に格納されるデータファイルの内容を表したものである。
図４に示されるように、ナビゲーションデータ記憶装置３０には経路案内等で使用される各種データファイルとして、通信地域データファイル３０１、描画地図データファイル３０２、交差点データファイル３０３、ノードデータファイル３０４、道路データファイル３０５、探索データファイル３０６、写真データファイル３０７が格納されるようになっている。
このナビゲーションデータ記憶装置４は、例えば、フロッピーディスク、ハードディスク、ＣＤ−ＲＯＭ、光ディスク、磁気テープ、ＩＣカード、光カード等の各種記憶媒体と、その駆動装置が使用される。
なお、ナビゲーションデータ記憶装置４は、複数種類の異なる記憶媒体と駆動装置で構成するようにしてもよい。例えば、検索データファイル４６を読み書き可能な記憶媒体（例えば、フラッシュメモリ等）で、その他のファイルをＣＤ−ＲＯＭで構成し、駆動装置としてそれらの駆動装置を用いるようにする。
【００４２】
通信地域データファイル３０１には、通信制御装置２４に接続される携帯電話や、接続せずに車内で使用される携帯電話が、車両位置において通信できる地域を表示装置２７に表示したり、その通信できる地域を経路探索の際に使用するための通信地域データが、携帯電話のタイプ別に格納されている。この携帯電話のタイプ別の各通信地域データには、検索しやすいように番号が付されて管理され、その通信可能な地域は、閉曲線で囲まれる内側により表現できるので、その閉曲線を短い線分に分割してその屈曲点の位置データによって特定する。なお、通信地域データは、通信可能地を大小各種の四角形エリアに分割し、対角関係にある２点の座標データによりデータ化するようにしてもよい。
通信地域データファイル３０１に格納される内容は、携帯電話の使用可能な地域の拡大や縮小に伴って、更新できるのが望ましく、このために、携帯電話と通信制御装置２４を使用することにより、情報提供局との間で通信を行なって、通信地域データファイル３０１の内容を最新のデータと更新できるように構成されている。なお、通信地域データファイル３０１をフロッピーディスク、ＩＣカード等で構成し、最新のデータと書換えを行うようにしても良い。
描画地図データファイル３０２には、表示装置２７に描画される描画地図データが格納されている。この描画地図データは、階層化された地図、例えば最上位層から日本、関東地方、東京、神田といった階層ごとの地図データが格納されている。各階層の地図データは、それぞれ地図コードが付されている。
【００４３】
交差点データファイル３０３には、各交差点を特定する交差点番号、交差点名、交差点の座標（緯度と経度）、その交差点が始点や終点になっている道路の番号、および信号の有無などが交差点データとして格納されている。
ノードデータファイル３０４には、各道路における各地点の座標を指定する緯度、経度などの情報からなるノードデータが格納されている。すなわち、このノードデータは、道路上の一地点に関するデータであり、ノード間を接続するものをアークと呼ぶと、複数のノード列のそれぞれの間をアークで接続することによって道路が表現される。
道路データファイル３０５には、各道路を特定する道路番号、始点や終点となる交差点番号、同じ始点や終点を持つ道路の番号、道路の太さ、進入禁止等の禁止情報、後述の写真データの写真番号などが格納されている。
交差点データファイル３０３、ノードデータファイル３０４、道路データファイル３０５にそれぞれ格納された交差点データ、ノードデータ、道路データからなる道路網データは、経路探索に使用される。
【００４４】
探索データファイル３０６には、経路探索により生成された経路を構成する交差点列データ、ノード列データなどが格納されている。交差点列データは、交差点名、交差点番号、その交差点の特徴的風景を写した写真番号、曲がり角、距離等の情報からなる。また、ノード列データは、そのノードの位置を表す東経、北緯などの情報からなる。
写真データファイル３０７には、各交差点や直進中に見える特徴的な風景等を撮影した写真が、その写真番号と対応してディジタル、アナログ、またはネガフィルムの形式で格納されている。
【００４５】
図５は、状況センサ部４０を構成する各種センサを表したものである。
図５に示すように状況センサ部４０は、イグニッションセンサ４０１、車速センサ４０２、アクセルセンサ４０３、ブレーキセンサ４０４、サイドブレーキ検出センサ４０５、シフト位置検出センサ４０６、ウィンカー検出センサ４０７、ワイパー検出センサ４０８、ライト検出センサ４０９、シートベルト検出センサ４１０、ドア開閉検出センサ４１１、同乗者検出センサ４１２、室内温度検出センサ４１３、室外温度検出センサ４１４、燃料検出センサ４１５、水温検出センサ４１６、ＡＢＳ検出センサ４１７、エアコンセンサ４１８、体重センサ４１９、前車間距離センサ４２０、後車間距離センサ４２１、体温センサ４２２、心拍数センサ４２３、発汗センサ４２４、脳波センサ４２５、アイトレーサー４２６、赤外線センサ４２７、傾斜センサ４２８、車輪速センサ４２９、その他のセンサ（タイヤの空気圧低下検出センサ、ベルト類のゆるみ検出センサ、窓の開閉状態センサ、クラクションセンサ、室内湿度センサ、室外湿度センサ、油温検出センサ、油圧検出センサ、操舵角センサ等）４３０等の車両状況や運転者状況、車内状況等を検出する各種センサを備えている。
これら各種センサは、それぞれのセンシング目的に応じた所定の位置に配置されている。
なお、これらの各センサは独立したセンサとして存在しない場合には、他のセンサ検出信号から間接的にセンシングする場合を含む。例えば、タイヤの空気圧低下検出センサは、車速センサの信号の変動により間接的に空気圧の低下を検出する。
【００４６】
イグニッションセンサ４０１は、イグニッションのＯＮとＯＦＦを検出する。
車速センサ４０２は、例えば、スピードメータケーブルの回転角速度又は回転数を検出して車速を算出するもの等、従来より公知の車速センサを特に制限なく用いることができる。
アクセルセンサ４０３は、アクセルペダルの踏み込み量を検出する。
ブレーキセンサ４０４は、ブレーキの踏み込み量を検出したり、踏み込み力や踏む込む速度等から急ブレーキがかけられたか否かを検出する。
サイドブレーキ検出センサ４０５は、サイドブレーキがかけられているか否かを検出する。
シフト位置検出センサ４０６は、シフトレバー位置を検出する。
ウィンカー検出センサ４０７は、ウィンカの点滅させている方向を検出する。
ワイパー検出センサ４０８は、ワイパーの駆動状態（速度等）を検出する。
ライト検出センサ４０９は、ヘッドランプ、テールランプ、フォグランプ、ルームランプ等の各ランプの点灯状態を検出する。
シートベルト検出センサ４１０は、運転者、及び同乗者（補助席、後部座席）がシートベルトを着用しているか否かを検出する。着用していない場合には適宜（嫌われない程度に学習しながら）エージェントが現れ、警告、注意、コメント等（学習により程度を変更する）を行う。
【００４７】
ドア開閉検出センサ４１１は、ドアの開閉状態を検出し、いわゆる半ドアの状態が検出された場合にはエージェントがその旨を知らせるようになっている。ドア開閉検出センサ４１１は、運転席ドア、助手席ドア、後部運転席側ドア、後部助手席側ドア、ハッチバック車のハッチ、ワゴン車の後部ドア等、車種に応じた各ドア毎の開閉を検出できるようになっている。また、車両後部のトランク、車両前部のボンネット、サンルーフ等の開閉部にも開閉状態を検出するドア開閉検出センサ４１１を配置するようにしてもよい。
同乗者検出センサ４１２は、助手席や後部座席に同乗者が乗っているか否かを検出するセンサで、撮像装置２８で撮像された車内の画像から検出し、または、補助席等に配置された圧力センサや、体重計により検出する。
室内温度検出センサ４１３は室内の気温を検出し、室外温度検出センサ４１４は車両外の気温を検出する。
燃料検出センサ４１５は、ガソリン、軽油等の燃料の残量を検出する。給油時直前における過去５回分の検出値が学習項目データ２９２に格納され、その平均値になった場合にエージェントが給油時期であることを知らせる。
【００４８】
水温検出センサ４１６は、冷却水の温度を検出する。イグニッションＯＮ直後において、この検出温度が低い場合には、エージェントが眠そうな行為をする場合が多い。逆に水温が高すぎる場合にはオーバーヒートする前に、エージェントが「だるそう」な行動と共にその旨を知らせる。
ＡＢＳ検出センサ４１７は、急ブレーキによるタイヤのロックを防止し操縦性と車両安定性を確保するＡＢＳが作動したか否かを検出する。
エアコンセンサ４１８は、エアコンの操作状態を検出する。例えば、エアコンのＯＮ・ＯＦＦ、設定温度、風量等が検出される。
体重センサ４１９は、運転者の体重を検出するセンサである。この体重から、または、体重と撮像装置２８の画像から運転者を特定し、その運転者との関係で学習したエージェントを出現させるようにする。すなわち、特定した運転者に対してエージェントが学習した、学習項目データ２９２と応答データ２９３を使用することで、その運転者専用のエージェントを出現させるようにする。
前車間距離センサ４２０は車両前方の他車両や障害物との距離を検出し、後車間距離センサ４２１は後方の他車両や障害物との距離を検出する。
【００４９】
体温センサ４２２、心拍数センサ４２３、発汗センサ４２４は、それぞれ運転者の体温、心拍数、発汗状態を検出するセンサで、例えば、ハンドル表面に各センサを配置し運転者の手の状態から検出する。または、体温センサ４２２として、赤外線検出素子を使用したサーモグラフィーにより運転者の各部の温度分布を検出するようにしても良い。
脳波センサ４２５は、運転者の脳波を検出するセンサで、例えばα波やβ波等を検出して運転者の覚醒状態等を調べる。
アイトレーサー４２６は、ユーザの視線の動きを検出し、通常運転中、車外の目的物を捜している、車内目的物をさがしている、覚醒状態等を判断する。
赤外線センサ４２７は、ユーザの手の動きや顔の動きを検出する。
【００５０】
傾斜センサ４２８は、車両全体の姿勢角度を検出するセンサで、車両の進行方向の姿勢角度を検出する進行方向傾斜センサと、進行方向と直交方向の姿勢角度を検出する直交方向傾斜センサとを備えており、両センサは別々に傾斜角度を検出するようになっている。進行方向傾斜センサで検出される姿勢角は、上り坂を走行中である可能性判断や、下り坂を走行中である可能性判断等に使用される。
【００５１】
車輪速センサ４２９は、４個の車輪のそれぞれに取り付けられており、各車輪の車輪速度（回転速度）を個別に検出するようになっている。
車輪速センサ４２９は、一定ピッチの歯を有して車輪と共に回転し、一定ピッチの歯が配設されたロータと、静止位置取り付けられた電磁ピックアップとを備えている。電磁ピックアップは、ロータの歯と対向配置されており、歯の通過を電磁的に検知するようになっており、このピックアップで検知される出力電圧の変化の時間間隔や、単位時間の変化数から車輪の回転速度が検出される。
なお、車輪速センサ４２９としては、電磁ピックアップ以外に、磁気抵抗素子ピックアップ等を使用することで車輪速を検出するようにしてもよい。
また、車輪速センサ４２９の検知信号から車速を算出するようにしてもよく、この場合の車輪速センサは車速センサ４０２として機能する。
【００５２】
次に、以上のように構成された本実施形態の動作について説明する。
図６は本実施形態のエージェント処理のメイン動作を表したフローチャートである。
エージェント処理部１１は、イグニッションがＯＮされたことがイグニッションセンサ４０１で検出されると、まず最初に初期設定を行う（ステップ１１）。初期設定としては、ＲＡＭのクリア、各処理用のワークエリアをＲＡＭに設定、プログラム選択テーブル２９１のＲＡＭへのロード、フラグの０設定、等の処理が行われる。なお、本実施形態のエージェント処理では、その処理の開始をイグニッションＯＮとしたが、例えばドア開閉検出センサ４１１によりいずれかのドアの開閉が検出された場合に処理を開始するようにしてもよい。
【００５３】
次に、エージェント処理部１１は、主としてユーザ情報２９７に格納された各種データに基づいて運転者の特定を行う（ステップ１２）。すなわち、エージェント処理部１１は、運転者から先に挨拶がかけられたときにはその声を分析して運転者を特定したり、撮像した画像を分析することで運転者を特定したり、状況センサ部４０の体重センサで検出した体重から運転者を特定したり、設定されたシート位置やルームミラーの角度から運転者を特定したりする。
なお、特定した運転者については、後述のエージェントの処理とは別個に、運転者の確認を行うための特別のコミュニケーションプログラムが起動される。そして、特定した運転者に対応したエージェントを表示装置２７に表示するとともに、このエージェントの音声によって例えば、「○○さんですか？」等の問い合わせが行われ、音声認識部１４２による音声認識プログラムが自動起動されて音声による回答分析等により運転者の確認が行われる。
【００５４】
運転者が特定されると、エージェント処理部１１は、車両の現在の状況を把握する（ステップ１３）。
すなわち、エージェント処理部１１は、状況センサ部４０の各センサから状況情報処理部１５に供給される検出値や、撮像装置２８で撮像した画像の処理結果や、現在位置検出装置２１で検出した車両の現在位置等のデータを取得して、ＲＡＭの所定エリアに格納し、格納したデータから現在状況の把握を行う。
例えば、水温検出センサ４１６で検出された冷却水の温度がｔ１である場合、エージェント処理部１１は、この温度ｔ１をＲＡＭに格納すると共に、ｔ１が所定の閾値ｔ２以下であれば、車両の現在の状態として冷却水温は低い状態であると把握する。
現在の状況としては、他に音声認識開始キー２２ｄや音声認識キーＫ２が押される等運転者からの音声認識処理開始の要求の有無や、音声認識部１４２が起動されている状態でのマイク２６からの入力に基づいて音声認識した運転者の要求、例えば、「○○○番に電話をしてくれ。」や「この辺のレストランを表示してくれ。」や「ＣＤをかけてくれ。」等の要求も現在の状況として把握される。この場合、認識した音声に含まれるワード「ＣＤ」「かけて」等がプログラム選択テーブル２９１（図２）の選択条件（横軸項目）になる。
さらにエージェント処理部１１は、現在状況として、エージェントデータ記憶装置２９の学習項目データ２９２と応答データ２９３をチェックすることで、エージェントがこれまでに学習してきた状態（学習データ）を把握する。また、ユーザ情報２９７から運転者に対応するエージェントのエージェントメンタルモデル２９５をチェックし、各パラメータの指数を把握する。
【００５５】
エージェント処理部１１は、現在の状況を把握すると、図１１により後で詳述するように、把握した状況に応じたエージェントの処理を行う（ステップ１４）。
ここでのエージェントの処理としては、エージェントによる判断、行為（行動＋発声）、制御、学習、検査等の各種処理が含まれるが、把握した現在の状況によっては何も動作しない場合も含まれる。また、運転者に対して問いかけをした場合には、ＲＡＭの所定の作業領域に確保されている音声認識開始フラグをオンにして音声認識部１４２による音声認識処理を自動的に開始する音声認識自動開始処理も含まれる。
【００５６】
次に、エージェント処理部１１は、メイン動作の処理を終了するか否かを判断し（ステップ１５）、終了しない場合には（ステップ１５；Ｎ）、ステップ１３に戻って処理を繰り返す。
一方を終了する場合、すなわち、イグニッションがＯＦＦされたことがイグニッションセンサで検出され（ステップ１３）、室内灯の消灯等の終了処理（ステップ１４）が完了した後（ステップ１５；Ｙ）、メイン処理の動作を終了する。
【００５７】
次に、ステップ１４における、把握した状況に応じたエージェントの処理のうちの、運転者からの要求による音声認識処理について説明する。
図７は、運転者からの要求による音声認識処理の流れを表すフローチャートである。
この図７に示されるように、エージェント処理部１１は、現在状況として運転者からの音声認識処理の要求の有無を監視している（ステップ２１）。運転者からの音声認識処理の要求は、音声認識開始キー２２ｄや音声認識キーＫ２が押されることによって把握される。
【００５８】
音声認識処理の要求があった場合には（ステップ２１；Ｙ）、エージェント処理部１１は、ＲＡＭに格納されている把握した状況とプログラム選択テーブル２９１に基づいて、コミュニケーションプログラムを選択する（ステップ２３）。続いて、ＲＡＭに格納されている把握した状況の中から、エージェントが出現している（表示装置２７にエージェントの画像が表示されている）かどうかを把握する（ステップ２５）。エージェントが出現しているかどうかは、例えば、ＲＡＭに格納されているエージェント出現フラグがＯＮされているかどうかから把握することができる。
【００５９】
エージェントが出現していない場合（ステップ２５；Ｎ）には、ステップ２２で選択したプログラムに従った容姿のエージェントを表示させるとともに（ステップ２７）、ＲＡＭのエージェント出現フラグをＯＮにする（ステップ２９）。
エージェント出現フラグをＯＮにした後（ステップ２９の後）、またはエージェントがすでに出現していた場合（ステップ２５；Ｙ）には、ステップ２３で選択されたコミュニケーションプログラムに音声出力プログラムが含まれているかどうかを把握する（ステップ３１）。
音声出力プログラムが含まれていた場合には、この音声出力プログラムを含むコミュニケーションプログラムを実行する（ステップ３３）。音声出力プログラムが含まれていない場合には、エージェントの動作等についてのコミュニケーションプログラムを実行する（ステップ３５）。
コミュニケーションプログラムを実行した後（ステップ３３後、ステップ３５後）、エージェント処理部１１は、音声認識開始フラグをＯＮにする（ステップ３７）。これにより、音声認識部１４２において図８に示す音声認識処理が実行される。
【００６０】
図８は、本実施形態のエージェント装置における音声認識処理の流れを表すフローチャートである。
音声認識開始フラグがＯＮにされると、音声認識部１４２は、図８に示すように、マイク２６からの音声の入力を待機する（ステップ６１）。
音声の入力があると（ステップ６１；Ｙ）、この音声について周波数分析等の分析を行い、格納されている音声認識辞書との照合を行い、入力音声の特定を行う（ステップ６５）。
入力音声が音声認識辞書のことばとして特定された場合には（ステップ６７；Ｙ）、特定されたことばを認識結果として音声合成部から音声出力装置２５を介して運転者へコールバックする（ステップ６９）。そして運転者から認識結果が正しいかどうかの回答を取得し（ステップ７１）、認識結果が正しかった場合（ステップ７１；Ｙ）には、この認識結果をエージェント処理部１１に出力し（ステップ７３）、メインのルーチンにリターンする。
【００６１】
入力音声が音声認識辞書のことばとして特定できなかった場合（ステップ６７；Ｎ）、及び運転者から認識結果が正しくないとの回答を取得した場合（ステップ７１；Ｎ）には、「もう一度言って下さい」等の音声出力や画面表示によって音声の再入力を促し（ステップ７５）、ステップ６１に戻って音声入力に待機する。
また、ステップ６１の状態において音声入力が無いまま（ステップ６１；Ｎ）音声認識処理開始後所定の時間が経過した場合には（ステップ６３；Ｙ）、音声認識結果が無い旨の処理結果をエージェント処理部１１に出力し（ステップ７３）、メインのルーチンにリターンする。
【００６２】
音声認識処理による処理結果を音声認識部１４２から取得すると、エージェント処理部１１は、運転者からの要求による音声認識処理（図７）において、音声認識結果の有無を調べる（ステップ３９）。そして、音声認識結果がある場合（ステップ３９；Ｙ）には、この音声認識結果を取得し（ステップ４１）、認識結果に応じたエージェント処理を行う（ステップ４３）。
認識結果に応じたエージェント処理（ステップ４３）の後、及び、音声認識結果が無かった場合（ステップ３９；Ｎ）には、音声認識開始フラグをＯＦＦにして（ステップ４５）、エージェントの表示を終了させるかどうかを運転者に問い合わせ（ステップ４６）、終了するとの回答を得た場合（ステップ４６；Ｙ）には、表示装置２７に表示されているエージェントを消去し（ステップ４７）、エージェント出現フラグをＯＦＦにして（ステップ４９）、運転者からの要求による音声認識処理を終了し、メインのルーチンにリターンする。エージェントの表示を終了させないとの回答を得た場合（ステップ４６；Ｎ）には、そのまま、運転者からの要求による音声認識処理を終了し、メインのルーチンにリターンする。
【００６３】
次に、上述した運転者からの要求による音声認識処理の具体的処理内容について、エージェントが表示されている場合と表示されていない場合の違いを説明する。
図９は、エージェントによる経路案内中に運転者から音声認識処理要求があった場合の処理を表す図である。
本実施形態のエージェント装置においては、経路案内をエージェントにより行わせることができるようになっており、経路案内中、図９（１）に示すように、表示装置２７には経路案内用の地図ＭとエージェントＥとを表示し、地図Ｍと、音声出力装置２５から出力されるエージェントの音声によって経路を案内できるようになっている。
このような状況下において、音声認識開始キー２２ｄや音声認識キーＫ２が押される等によって運転者から音声認識処理の要求があると（ステップＳ２１；Ｙ）、エージェント処理部１１は、プログラム選択テーブル２９１からコミュニケーションプログラムを選択する（ステップ２３）。エージェントはすでに表示されており（ステップ２５；Ｙ）、選択されたコミュニケーションプログラムに音声出力プログラムが有るので（ステップ３１；Ｙ）、エージェント処理部１１は、図９（ｂ）に示すように、エージェントＥを表示させたままコミュニケーションプログラムを実行する（ステップ３３）。これにより、「何ですか？」と音声入力を促すエージェントの音声が出力される。
【００６４】
選択されたこのコミュニケーションプログラムに従って、続いて、図９（ｃ）に示されるように、表示装置２７に表示されるエージェントＥは首を傾けた格好をとり、また音声認識可能な状態になったことを示す「ピッ」という音が出力され、音声認識開始フラグがＯＮとなり音声認識部１４２による音声認識処理が開始される。尚、このときのエージェントの行為や音声は、エージェントメンタルモデルに応じて異なるものとなる。
そしてエージェント処理部１１は、音声認識部１４２からの出力に応じた処理を行った後（ステップ３９〜ステップ４３）、音声認識フラグをＯＦＦにして（ステップ４５）、エージェントの処理を終了させるかどうかを運転者に問い合わせ（ステップ４６）、終了するとの回答を得た場合には、表示装置のエージェントＥを消去し（ステップ４７）、エージェント出現フラグをＯＦＦにして（ステップ４９）、運転者からの要求による音声認識の処理を終了する。
【００６５】
図１０は、経路案内の目的地設定中に運転者から音声認識処理要求があった場合の処理を表す図である。
本実施形態のエージェント装置においては、経路案内の目的地をレストラン、遊園地等のジャンルを選択した後、あいうえお順に表示される選択されたジャンルに該当する目的地中から選択できるようになっている。
そして図１０（ａ）に示すように、選択されたジャンルに該当する目的地があいうえお順に表示装置２７に表示された状態において音声認識開始キ２２ｄや音声認識キーＫ２が押される等によって運転者から音声認識処理の要求があると（ステップＳ２１；Ｙ）、エージェント処理部１１は、プログラム選択テーブル２９１からコミュニケーションプログラムを選択する（ステップ２３）。エージェントは表示装置に表示されていないので（ステップ２５；Ｎ）、エージェント処理部１１は、図１０（ｂ）に示すように、エージェントＥを新たに表示装置２７に表示させ（ステップ２７）、エージェント出現フラグをＯＮにして（ステップ２９）、コミュニケーションプログラムを実行する（ステップ３５）。これにより、首を傾けた格好のエージェントＥが表示装置に表示され、音声認識可能な状態になったことを示す「ピッ」という音が出力され、音声認識開始フラグがＯＮとなり音声認識部１４２による音声認識処理が開始される。このときのエージェントＥの行為は、エージェントメンタルモデルに応じて異なるものとなる。
そしてエージェント処理部１１は、音声認識部１４２からの出力に応じた処理を行った後（ステップ３９〜ステップ４３）、音声認識フラグをＯＦＦにして（ステップ４５）、エージェントの表示を終了させるかどうかを運転者に問い合わせステップ４６）、終了するとの回答を得た場合には、表示装置２７のエージェントＥを消去し（ステップ４７）、エージェント出現フラグをＯＦＦにして（ステップ４９）、運転者からの要求による音声認識の処理を終了する。
【００６６】
以上説明したように本実施形態によると、表示装置２７にエージェントが表示されていない状態において音声認識処理の要求が取得されると、エージェント処理部１１によって画像処理部１３を介して表示装置２７にエージェントが出現し、且つ音声認識部１４２による音声認識処理が開始される。すでに表示装置２７にエージェントが表示されている場合には、そのまま音声認識部１４２による音声認識が開始される。
従って、車両内には、エージェント表示開始用のキーやボタン等の手段を備えなくても、運転者の操作によって、エージェントを表示させることができる。
また、音声認識キーＫ２や音声認識開始キー２２ｄによって、運転者は、音声認識の開始とエージェントの表示との両方を命令することができるので、複数のボタンを状況に応じて押し分ける煩わしさがなくなり、運転者とエージェントとのコミュニケーションを容易に円滑に行うことができる。
更に、音声認識が可能な状態においては常にエージェントが表示されることになるので、エージェントが表示されていない場合には音声認識が不可能な状態であることが一見して認識でき、この点からも、運転者とエージェントとのコミュニケーションを容易に円滑に行うことができる。
また、音声認識可能な状態においてエージェントを表示装置２７に表示することによって、運転者に音声による入力を促すことができ、命令等の入力をエージェントとの会話として人間的に行わせることができる。
【００６７】
本実施形態によると、音声認識可能な状態においては、エージェント処理部１１が、表示されるエージェントの格好を首を傾けさせ、音声認識不可能な状態から音声認識可能な状態に切り替わった時点で「ピッ」という音を出力させて音声認識可能であることを運転者に告知する（告知手段）ので、運転者が音声認識可能な状態を明確に把握でき、エージェントとのコミュニケーションを容易かつ円滑に行うことができる。
【００６８】
以上本発明の好適な実施形態について説明したが、本発明はかかる実施形態の構成に限定されるものではなく、各請求項に記載された発明の範囲において他の実施形態を採用し、また、変形することが可能である。
例えば、上述の実施形態においては、運転者からの要求による音声認識処理（図７）は、１つの入力音声についての音声の認識結果を取得する毎に終了しメインルーチンにリターンするが、そのまま他の音声の入力に備えて待機するようにしてもよい。この場合、音声認識処理を終了させる要求を命令入力するための音声認識処理終了手段としてのキーやボタンを配設してもよい。この音声認識処理終了手段としてのキーやボタンは、音声認識開始キー２２ｄや音声認識キーＫ２と兼ねることもできる。
【００６９】
上述の実施形態では、運転者からの要求による音声認識処理（図７）において音声認識開始フラグがＯＦＦとなる毎にエージェントの表示について消去するかどうか運転者に問い合わせている（ステップ４６）が、常に消去するようにしたり、音声認識処理において所定の音声認識結果が取得されている場合には、消去せずにおくようにしてもよい。これにより、スムーズに次のコミュニケーションプログラムの実行へ移行され、運転者とエージェントとのコミュニケーションがより容易かつ円滑に行われる。
【００７０】
また、上述の実施形態においては、エージェント処理部１１が音声認識可能な状態において表示されるエージェントの格好を首を傾けさせ、音声認識不可能な状態から音声認識可能な状態に切り替わった時点で「ピッ」という音を出力させることにより音声認識可能であることを運転者に告知する（告知手段）が、告知手段は、これに限られるものではなく、例えば、音声認識可能な状態における音声認識キーＫ２の表示や色を音声認識不可能な状態と変えることによって、音声認識可能な状態を運転者に告知するようにしてもよい。
【００７１】
上述の実施形態においては、運転者からの音声認識開始命令を取得する命令取得手段として、リモコン２２ａに音声認識開始キーを備え、表示装置２７のタッチパネル画面に音声認識キーＫ２を備えているが、これらの一方又は両方に変えてまたはこれらの一方又は両方とともに、図１１に示すように、表示装置の表示画面の周囲やハンドルに音声認識開始ボタンＢ１，Ｂ２を備えてもよい。また、フットレスト脇に音声認識開始ボタンを備えてもよい。フットレスト脇に配置した場合、運転者が足によって、ハンドル操作に影響を与えずに、音声認識開始命令のためのスイッチ操作を行うことができる。
【００７２】
【発明の効果】
以上説明したように、本発明のエージェント装置によれば、運転者とエージェントとの間のコミュニケーションを円滑に行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態としてのエージェント装置の構成を示すブロック図である。
【図２】図１のエージェント装置の入力装置としてのリモコンを示す概略平面図である。
【図３】図１のエージェント装置の表示装置２７の表示画面の表示例を示す図である。
【図４】図１のエージェント装置のナビゲーションデータ記憶装置に格納されるデータファイルの内容を表したものである。
【図５】図１のエージェント装置の状況センサ部を構成する各種センサを表したものである。
【図６】図１のエージェント装置におけるエージェント処理のメイン動作を表したフローチャートである。
【図７】図１のエージェント装置における、運転者からの要求による音声認識処理の流れを表すフローチャートである。
【図８】図１のエージェント装置における音声認識処理の流れを表すフローチャートである。
【図９】エージェントによる経路案内中に運転者から音声認識処理要求があった場合の処理を表す図である。
【図１０】経路案内の目的地設定中に運転者から音声認識処理要求があった場合の処理を表す図である。
【図１１】本発明のエージェント装置の他の例を示す概略斜視図である。
【符号の説明】
１ 全体処理部
１０ ナビゲーション処理部
１１ エージェント処理部
１２ Ｉ／Ｆ部
１３ 画像処理部
１４ 音声制御部
１５ 状況情報処理部
２１ 現在位置検出装置
２２ 入力装置
２３ 記憶媒体駆動装置
２４ 通信制御装置
２５ 音声出力装置
２６ マイク
２７ 表示装置
２８ 撮像装置
２９ エージェントデータ記憶装置
３０ ナビゲーションデータ記憶装置
４０ 状況センサ部

Claims (3)

1. 車両内に、運転者とのコミュニケーション行為を行う擬人化されたエージェントを出現させるエージェント出現手段と、
   運転者からの音声を認識する音声認識手段と、
   前記音声認識手段による認識結果を含む車両の各種状況を判断する状況判断手段と、
   前記状況判断手段により判断された状況に基づいて、前記エージェントの行為を決定する行為決定手段と、
   この行為決定手段で決定された行為を前記エージェントに行わせるエージェント制御手段と、
   運転者の操作によりオンされるスイッチとを備え、
   前記音声認識手段は、前記スイッチがオン状態にされた場合に、運転者からの音声の認識を開始し、
   前記エージェント出現手段は、前記エージェントを出現させていない状態で前記スイッチがオン状態にされた場合に、前記エージェントを車両内に出現させることを特徴とするエージェント装置。
2. 前記音声認識手段が音声の認識を開始した状態において、音声認識可能であることを運転者に知らせる告知手段を備える
   ことを特徴とする請求項１に記載のエージェント装置。
3. タッチパネル式の表示装置を備え、
   前記スイッチは、前記表示装置の常に一定の位置に表示されるスイッチ表示を含み、該スイッチ表示が運転者により押圧されることによりオンされる
   ことを特徴とする請求項１または請求項２に記載のエージェント装置。

Images