JP4682714B2

JP4682714B2 - 対話システム

Info

Publication number: JP4682714B2
Application number: JP2005174334A
Authority: JP
Inventors: 隆幸山口; 高明榎本; 博昭関山; 重夫大野木; 吉英中根; 純也金子
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2005-06-14
Filing date: 2005-06-14
Publication date: 2011-05-11
Anticipated expiration: 2025-06-14
Also published as: EP1891490B1; JP2006350567A; US20080105482A1; WO2006136897A1; US7805223B2; CN101198915B; EP1891490A1; CN101198915A

Description

本発明は、ドライバに対して適切な運転アドバイスの出力を行う車両における対話システムに関する。

従来から、目的地を入力する入力手段と、地図データや交差点データ等の道路情報が格納された記憶手段と、音声を出力する複数の音声出力部と、車両の現在位置を検出する現在位置検出手段と、この現在位置検出手段で検出した現在位置と前記記憶手段に格納されている前記道路情報とにより前記入力手段から入力された目的地までの進路判断を行う進路判断手段と、この進路判断手段の判断結果に応じて前記音声出力部から出力される音声を各々制御する音声出力制御手段とを具備することを特徴とする音声出力装置が知られている（例えば、特許文献１参照）。
特許２６０２１５８号公報

ところで、近年では、従来ある警報システムの発展型として、運転規範モデルと運転操作履歴と関係に基づいて、ドライバに対して各種運転アドバイスの出力を行う対話システムが提案されている。しかしながら、単に運転規範モデルと運転操作履歴と関係に基づいて、運転規範に合致しない運転操作に対して運転アドバイスを出力するだけでは、ドライバの運転特性が考慮されていない故に、ドライバの運転特性に応じた適切な運転アドバイスとならず、ドライバをより良い運転傾向へと誘導することができないという問題点がある。

そこで、本発明は、ドライバをより良い運転傾向へと誘導することができる対話システムの提供を目的とする。

上記課題を解決するため、本発明の一局面によれば、ドライバに対して適切な運転アドバイスの出力を行う車両における対話システムにおいて、
周辺環境に対応した運転規範モデルと運転操作履歴とに基づいてドライバの運転特性を推定し、ドライバへの運転アドバイスの出力態様に前記推定結果を反映させ、
更に、出力した運転アドバイスに対するドライバの反応を評価し、ドライバへの運転アドバイスの出力態様に前記評価結果を反映させることを特徴とする、対話システムが提供される。

本局面において、出力した運転アドバイスに対するドライバの反応の変化を引き起こす要因の時間的特性を考慮して、前記ドライバの反応を評価することとしてもよい。ドライバへの運転アドバイスは、運転規範に沿う運転操作を運転操作履歴に応じた内容で教示するものであるのが効果的である。

また、本発明のその他の一局面によれば、ドライバに対して適切な運転アドバイスの出力を行う車両における対話システムにおいて、
運転操作情報から推定されるドライバの運転操作を、規範となる運転操作を基準にして評価する運転評価手段と、
出力した運転アドバイスに対するドライバの反応を、運転アドバイス出力後のドライバの運転操作の変化に基づいて評価する反応評価手段と、
ドライバへの運転アドバイスの出力内容に前記運転評価結果を反映させると共に、運転アドバイスの表現方法に前記反応評価結果を反映させる出力制御手段とを備えることを特徴とする、対話システムが提供される。

本発明によれば、ドライバをより良い運転傾向へと誘導することができる対話システムを得ることができる。

以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。

図１は、本発明による対話システムの概念的なシステム構成図である。対話システムは、ドライバをより良い運転傾向へと誘導するべく、ドライバ情報、車両情報、周辺環境情報等を総合的に用いて、ドライバに対して適切な運転アドバイスの出力を行うシステムである。

対話システムは、ドライバ情報を取得すると共にドライバとのコミュニケーションを図るための適切なインターフェースを備え、これに関連して認識機能及び表示・応答機能を有する。また、対話システムは、取得した情報に基づいて、ドライバの意図等を判断・予測する機能や、ドライバの嗜好等を学習する機能を有する。尚、対話システムの構成は、コンピューターなどのハードウェアと適切なソフトウェアにより実現することができ、車両に実装することができる。

図２は、本実施例の対話システムのシステム構成を示すブロック図である。

人（ドライバ）からは、ドライバ情報として、音声（発話）、画像、年齢や性別等の個人プロファイル情報、生理信号が取得される。

音声は、例えば車室内に設置される車内マイクを介してシステム側に入力され、音声認識部１０１において認識され、意図理解部１０２においてドライバの意図が理解される。この理解された意図は、必要に応じて、運転アドバイス生成部１０７と反応評価部１１０で利用される。尚、本発明は、特に音声認識方法により限定されるものでなく、如何なるハードウェア構成で如何なるソフトウェア（音声認識エンジン）を用いた音声認識処理に対しても適用可能である。

画像は、例えば車室内に設置される車内カメラを介してシステム側に入力され、感情認識部１０９において、上述の音声と共に、ドライバの感情（例えば、平静、怒り、喜び、悲しみ）を認識するために利用される。ドライバの感情は、ユーザの発話音声の韻律的特徴（声の高さ、強さ、大きさ、長さ等）を表す韻律情報、ユーザの表情、ジェスチャ、仕草等を表す画像情報に基づいて認識されてよい。例えば、ドライバの感情に応じた基準となる韻律情報や画像情報を予め取得してデータベース内に記憶しておき、当該基準情報との対比・照合によりドライバの感情を認識することができる。尚、車内カメラは、サーモグラフィカメラ（赤外線カメラ）であってもよい。この場合、ユーザの顔などの所定部位における熱の分布状態を表す画像情報に基づいてドライバの感情を認識することができる。

個人プロファイル情報は、例えば初期設定時等にドライバに入力してもらうことにより取得される。個人プロファイル情報は、ドライバの運転特性データベース１１７内やドライバの嗜好を保有する嗜好データベース１１８内に格納され、必要に応じて、それぞれドライバの運転特性及びドライバの嗜好を参照する際に利用される。

生理情報及び操作情報は、ドライバ状態認識部１０８において、ドライバの状態（例えば、平静状態や、緊張・興奮状態）を認識するために利用される。操作情報は、ドライバによるアクセル操作、ブレーキ操作、ステアリング操作や各種スイッチ操作に関する情報（操作の有無や操作量、操作速度、頻度等）である。操作情報は、各種センサ信号（例えば、アクセルセンサ信号、ブレーキセンサ信号、舵角センサ信号等）や各種スイッチ信号に基づいて生成される。生理情報は、心電や脈拍を含み、各種生体センサ、例えば、心電計ないし心拍計（心拍感知センサ）、又は、脈拍数を計測する脈拍計、血圧を計測する血圧計により検出される。生体センサは、ユーザが携帯する例えば腕時計型のものであってもよく、或いは、ドライバがハンドル操作するステアリングホイールに埋設されてもよい。

車両からは、車両情報として、車両の挙動（速度、前後加速度、横加速度、ヨー等）を表す情報、及び、周辺環境情報（走行環境・インフラ、歩行者の存在状況、バイクの往来状況などの周辺環境に関する情報）が取得される。

車両の挙動を表す情報は、車両の搭載される各種センサが出力する各種センサ信号（例えば、車速センサ信号、加速度センサ信号）に基づいて生成される。

周辺環境情報は、車両に搭載されるナビゲーションシステムにより得られる地図情報、車両に搭載されるカメラやレーダー等により検出される情報、又は、車両に搭載される通信装置を介して外部から取得される情報に基づいて生成されてよい。外部から取得される情報としては、車車間通信を介して得られる他車からの情報、路車間通信や外部センタとの無線通信を介して外部情報が含まれる。

運転規範抽出部１０５においては、上述の如く入力される車両情報に基づいて、周辺環境や車両挙動に応じた運転規範が、規範モデル１１６から抽出される。この目的のため、規範モデル１１６には、周辺環境や車両挙動に応じた運転規範が格納されており、また、事後的に、分類されて蓄積されてもよい。ここで、周辺環境や車両挙動に応じた運転規範を抽出しているのは、運転規範は、典型的には、一時停止線では一時停止する、赤信号のときは車両を停止させる、制限速度を守るといったように、周辺環境や車両挙動に応じて変化しないものが多いが、周辺環境や車両挙動に応じて変化しうる運転規範が存在するからである。例えば、渋滞時には法定速度よりも過度に小さい車速が許容されるし、周辺車両との交通流れとの関係で適切な走行速度がある程度変化しうるからである。

差分抽出部１０６においては、上述の如く規範モデル１１６から抽出される運転規範と、ドライバの運転行動との差分が、ドライバの運転評価結果として抽出される。即ち、ドライバの運転行動が運転規範に合致しているか否かの運転評価の指標を表す差分が抽出される。ドライバの運転行動は、運転操作認識部１０３において上述の操作情報に基づいて認識される。例えば、一時停止線での一時停止に関して、一時停止線手前で車両を停止させるブレーキ操作（運転行動）が認識された場合には、小さい差分（小さい逸脱度）、即ち高い評価値が算出されることとなる。但し、この例はあくまで簡易的な例であり、この差分は、よりきめ細かい運転規範（例えば、一時停止線のある交差点での一時停止に対する減速態様、左右確認動作の有無等）との対比して、各項目毎に重み付けして算出されてもよい。

差分抽出部１０６においては、運転規範とドライバの運転行動との差分を算出する際、個人特性抽出部１０４において運転特性データベース１１７から抽出されるドライバの個人特性（特に、運転技量）が考慮される。これは、例えばコーナ通過時の速度に関する運転規範のように、運転技量が高いほど許容される上限速度を大きくしてもよいが場合があるからである。

運転アドバイス生成部１０７においては、上述の如く差分抽出部１０６において抽出される差分と、上述の如く意図理解部１０２において理解されるドライバの意図とに基づいて、運転アドバイスの内容が決定される。例えば、運転アドバイスの内容は、一次的には、運転規範の差分に基づいて決定され、２次的にドライバの意図が反映されてよい。例えば、一時停止線での一時停止を怠った場合には、運転アドバイスの内容は、一次的には「一時停止線で一時停止しましょう」なる趣旨の内容が決定される。このとき、例えばドライバが急いでいるというドライバの意図が理解されている場合には、「どんなに急いでいても、一時停止線で一時停止しましょう、一時停止線付近での事故の何％は、急いでいる状況で発生しています」なる趣旨の内容に補正される。

また、運転アドバイス生成部１０７において、ドライバへの運転アドバイスは、運転規範に沿う運転操作を運転操作履歴に応じた内容で教示するものであることが望ましい。例えば、運転操作履歴に基づいて、一時停止線での一時停止を行う率が２０％から５０％に増えてきている場合には、「最近は、一時停止線での一時停止が改善傾向にあります、更なる改善を期待しています」なる趣旨の内容であってよい。また、運転アドバイスの出力回数が減少してきている場合には、「最近は、運転アドバイスの出力の必要性がなくなってきました、更なる改善を期待しています」なる趣旨の内容であってよい。このように運転アドバイスを単に注意的な内容だけでなく、ドライバの運転操作履歴に応じて改善傾向にある場合にはそのことを婉曲的に褒める内容とすることで、ドライバの改善傾向を促進させる効果も期待することができる。

表現方法決定部１１１においては、上述の如く運転アドバイス生成部１０７において決定される運転アドバイスの内容に対して、その表現方法が決定される。この表現方法は、上述の如くドライバ状態認識部１０８において認識されるドライバの状態（例えば、平静状態や、緊張・興奮状態）や心理、及び、以下で詳説する反応評価部１１０で評価されるドライバの反応評価に基づいて決定される。これにより、ドライバの状態ないし心理に応じた適切な運転アドバイスの表現方法を決定することができる。同様の考え方で、運転アドバイスの内容についてもドライバの状態ないし心理に応じて変化させてもよい。例えば、ドライバが興奮状態にあり相当に急いでいる場合には、「一時停止線で一時停止しましょう、一時停止線で停止しても到着時刻に大きな変化はありません」なる趣旨の内容で、ドライバの興奮状態を刺激しないような表現方法が選択される。このとき、個人特性抽出部１０４において運転特性データベース１１７から抽出されるドライバの気性などの個人特性が考慮されてもよい。

運転負荷推定部１１２においては、ドライバ状態認識部１０８において認識されるドライバの状態（例えば、注意力のない状態、眠い状態や、緊張状態）や運転操作状況に基づいて、現在の運転負荷が推定され、運転負荷に応じて運転アドバイスの出力タイミングが決定される。これにより、例えばシフトレバーを操作しつつブレーキを操作しているような運転負荷が高いときには（緊張状態のときには）、運転アドバイスを出力するのを控え、逆に、運転負荷が低いときには（注意力のない状態等のときには）、直ちに運転アドバイスを出力するといったように、運転負荷に応じて適切な運転アドバイスの出力タイミングを決定することができる。従って、ドライバが運転アドバイスを受け入れ難い状況（高運転負荷状況）で無用な運転アドバイスが出力されてドライバに煩わしさの感を与えてしまうような不都合を防止することができる。逆に、ドライバが運転アドバイスを受け入れ易い状況や積極的に注意喚起を行うべき状況のような適切な状況で運転アドバイスを出力し、運転アドバイスの有用性を高めることができる。

また、運転負荷推定部１１２においては、周辺環境を考慮して運転負荷が推定される。これは、周辺環境に応じて運転負荷が異なるためであり、例えば歩行者の多い道路と少ない道路とでは運転負荷が異なるためである。

また、運転負荷推定部１１２においては、表現方法決定部１１１においてと同様の考え方で、ドライバの意図ないし心理状態に応じて運転アドバイスの出力タイミングが決定されてよい。例えばドライバが興奮状態にあり相当に急いでいる場合には、緊急を要する運転アドバイスで無い限り、ドライバが平静状態を取り戻したとき或いは急いでいる状態でなくなったとき、場合によっては、次回の車両使用開始時、運転アドバイスの出力タイミングとしてもよい。

また、運転アドバイス生成部１０７、表現方法決定部１１１及び運転負荷推定部１１２においては、ドライバへの運転アドバイスの内容・表現方法ないし出力タイミングは、ドライバの運転技量を加味して決定されてもよい。これは、図３に示すように、運転技量が低いにも拘らず運転アドバイスの受け入れ難さ（運転アドバイスを煩わしいと感じる傾向）が強いタイプのドライバ（思い込みドライバ）に対しては、先ず運転アドバイスを聞いてもらえるような内容・表現方法ないし出力タイミングで出力することが最優先となるからである。即ち、かかる思い込みドライバに対しては、先ず運転アドバイスを聞いてもらい、その結果、運転技量を高めてもらうという、段階的なステップを踏むことが必要且つ重要であるからである。例えば、他人に運転アドバイスを聞かれたくないドライバの心理を考慮して、出力頻度を減らしたり、ドライバが一人のときだけ（同乗者がいないときだけ）運転アドバイスを出力することとしてもよい。

出力シナリオ決定部１１３においては、上述の如く運転アドバイス生成部１０７、表現方法決定部１１１及び運転負荷推定部１１２において決定されたドライバへの運転アドバイスの内容・表現方法ないし出力タイミングに従って、運転アドバイスの出力シナリオが決定され、非言語出力部１１４（例えばブザーや警告音）又は合成音声出力部１１５（音声メッセージ）を介して運転アドバイスが出力される。尚、運転アドバイスの出力は、必ずしも音声である必要はなく、ディスプレイ上で運転アドバイスの内容を示す文字メッセージとして表示されてもよい。

次に、 “運転アドバイスに対するドライバの反応”を評価する反応評価部１１０について説明する。

反応評価部１１０においては、基本的には、運転アドバイス出力後のドライバの運転操作の変化やドライバの状態等の変化に基づいて、上述の如く出力した運転アドバイスに対するドライバの反応、即ち運転アドバイスを受け入れたか否か（どの程度の従順度で従っているかを含む。）について評価される。尚、この評価結果は、出力した運転アドバイスの有用性を評価する指標でもあり、ドライバの運転アドバイスの受け入れ難さを表す指標でもありうる。

尚、上述の如く、反応評価部１１０での評価結果は、運転アドバイスの出力態様に反映されるものであり、この意味で、反応評価部１１０での評価結果は、運転アドバイスの出力態様を決定する重要なパラメータである。例えば、出力した運転アドバイスに対するドライバの反応が悪い場合には、当該ドライバの特性に適合させるべく、運転アドバイスの内容・表現方法ないし出力タイミングが変更される。

反応評価部１１０において、出力した運転アドバイスに対するドライバの反応は、好ましくは、周囲環境を考慮して評価される。これは、周囲環境によりユーザの感情や心理状態（例えば、緊張状態等）が変化するため、周囲環境を考慮しないとドライバの反応を正しく評価することができないためである。これにより、例えば出力した運転アドバイスに対するドライバの反応が確認できたとしても、それが運転アドバイスに拠るものなのか、或いは、周囲環境の変化に拠るものなのかを判別することができる。このとき、上述の韻律情報、画像情報や生理情報がユーザの感情や心理状態を推定するために併せて利用されてもよい。これにより、運転アドバイスに対するドライバの反応の評価結果の信頼性が向上する。

また、反応評価部１１０において、好ましくは、出力した運転アドバイスに対するドライバの反応は、その変化の時定数により分類して評価される。

図４は、ドライバの運転アドバイスに対する反応評価が分かれる要因を変化の速さで分類した図である。図４に示すように、ドライバの運転アドバイスに対する反応の変化を引き起こす要因としては、そのときの運転負荷や意図等のような一時的な要因（時定数の短い要因）と、運転能力、年齢、慣れ、性別、信頼関係、加齢変化等のような時定数の長い要因がある。これにより、例えば時定数の長い要因が起因してドライバの反応が悪い場合には、例えば表現を変えつつ同一内容の運転アドバイスを定期的に根気よく出力するなど、それに応じた適切な運転アドバイスの出力態様を実現することができる。また、例えば時定数の短い要因が起因してドライバの反応が悪いだけである場合には、例えば運転アドバイスの出力タイミングを変更するなどして対応してもよい。

時定数の長い要因は、データベース１１７，１１８内の個人プロファイル情報や運転操作履歴データに基づいて、判断ないし学習することができる。例えば、個人の嗜好・好みに関する情報を上述の如く嗜好データベース１１８内に蓄積することで、ドライバの年齢や性別等による運転アドバイスに対する反応の相違や反応変化の差、加齢変化や慣れに伴う運転アドバイスに対する反応の変化を学習することができる。一方、変化の時定数の短い要因、即ちドライバの心理的な部分に影響を受けやすい要因は、過去の履歴の学習では対応が遅れるため、運転負荷推定部１１２における運転負荷については、運転操作と周辺環境・車両情報からの運転規範モデルからのずれによる周辺環境の要因と、ドライバの心理状態（生理情報等）とから統合的に推定・判断する。また、意図理解部１０２におけるドライバの意図についても、音声認識部１０１での音声認識結果に基づく意図と、そのときのドライバの心理状態（生理情報等）と、感情認識部１０９での感情推定結果とを組み合わせることで、随時ドライバの反応変化に対応することができる。

本実施例において、反応評価部１１０における反応評価がよいときのそれぞれの要因（周辺環境、ドライバの状態、運転負荷等）の情報を記憶しておくことで、どのような場合に、運転アドバイスに対するドライバの反応が良いかを推測できるようにしてもよい。即ち、反応評価部１１０における評価結果と各要因の情報をセットにして嗜好データベース１１８内に蓄積することで、各要因毎に、どのような状態（又はその組み合わせ状態）でユーザが良い反応を示したかを推測できるようにしてもよい。この場合、この推測結果を次回以降のドライバへの運転アドバイスの出力態様（内容・表現方法ないし出力タイミング）に反映させることで、運転アドバイスの実効性を高めることができる。

また、同様の考え方で、反応評価部１１０における評価結果とそのときの運転アドバイスの出力態様をセットにして嗜好データベース１１８内に蓄積することで、どのような運転アドバイスの出力態様（例えば、内容、表現方法）のときにユーザが良い反応を示したかを判断できるようにしてもよい。この場合も、この推測結果を次回以降のドライバへの運転アドバイスの出力態様（内容・表現方法ないし出力タイミング）に反映させることで、運転アドバイスの実効性を高めることができる。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。

例えば、上述した実施例では、主に音声による対話システムを想定しているが、本発明は特にこれに限定されることは無く、同様の考え方で、ディスプレイ上の表示による対話システムを実現することもできる。

本発明による対話システムの概念的なシステム構成図である。本実施例の対話システムのシステム構成を示すブロック図である。運転アドバイスの受け入れ難さとドライバの運転技量の関係を示す図である。ドライバの運転アドバイスに対する反応評価が分かれる要因を変化の速さで分類した図である。

符号の説明

１０１音声認識部
１０２意図理解部
１０３運転操作認識部
１０４個人特性抽出部
１０５運転規範抽出部
１０６差分抽出部
１０７運転アドバイス生成部
１０８ドライバ状態認識部
１０９感情認識部
１１０反応評価部
１１１表現方法決定部
１１２運転負荷推定部
１１３出力シナリオ決定部
１１４非言語出力部
１１５合成音声出力部
１１６規範モデル
１１７運転特性データベース
１１８嗜好データベース

Claims

ドライバに対して適切な運転アドバイスの出力を行う車両における対話システムにおいて、
周辺環境に対応した運転規範モデルと運転操作履歴とに基づいてドライバの運転特性を推定し、ドライバへの運転アドバイスの出力態様に前記推定結果を反映させ、
更に、出力した運転アドバイスに対するドライバの反応を評価し、ドライバへの運転アドバイスの出力態様に前記評価結果を反映させることを特徴とする、対話システム。
出力した運転アドバイスに対するドライバの反応の変化を引き起こす要因の時間的特性を考慮して、前記ドライバの反応を評価する、請求項１に記載の対話システム。
ドライバへの運転アドバイスは、運転規範に沿う運転操作を運転操作履歴に応じた内容で教示するものである、請求項１に記載の対話システム。
ドライバに対して適切な運転アドバイスの出力を行う車両における対話システムにおいて、
運転操作情報から推定されるドライバの運転操作を、規範となる運転操作を基準にして評価する運転評価手段と、
出力した運転アドバイスに対するドライバの反応を、運転アドバイス出力後のドライバの運転操作の変化に基づいて評価する反応評価手段と、
ドライバへの運転アドバイスの出力内容に前記運転評価結果を反映させると共に、運転アドバイスの表現方法に前記反応評価結果を反映させる出力制御手段とを備えることを特徴とする、対話システム。