JP6686959B2 - 車両用報知装置 - Google Patents

Description

本発明は、カーナビ等の音声案内を出力する車両用報知装置に関する。

カーナビゲーション装置によって経路案内を実行している場合に、車両が誘導経路、即ち、案内ルートから外れると、カーナビゲーション装置は、「ルートから外れました、リルート計算をします」という音声案内を出力するように構成されている。運転者が意図して案内ルートから外れた経路（即ち、カーナビゲーション装置からみると間違えた経路）を選択して走行している場合には、上記音声案内が繰り返しなされると、運転者は煩わしく感じる。

これに対して、運転者、即ち、ユーザの行動パターンや嗜好を検出することができると、上記音声案内を出力しないように制御することが可能になる。運転者の行動パターンや嗜好を検出する装置の一例が、特許文献１に記載されている。

特開２０１０−３８８２１号公報

特許文献１に記載された装置では、意志判定部は、情報処理装置の移動経路と経路探索部が探索した推奨経路との関係から、運転者が意図的に移動経路を選択したかどうかを判定する。嗜好判定部は、意志判定部が運転者が意図的に移動経路を選択したと判定した場合に、センサの取得した情報などの履歴と、嗜好・行動ルールとから、運転者の嗜好を判定する。

しかし、上記装置の場合、運転者が意図的な移動をしたことを学習し、その情報が蓄積して運転者の嗜好を判定するため、運転者の嗜好の精度を上げるためには、多くの学習回数が必要になり、長い時間を要するという不具合がある。また、人の嗜好は、運転者の種々の条件により振れ幅があるため、従来技術のように移動履歴だけで運転者の嗜好を判定すると、運転者の嗜好の判定精度が低くなるという問題がある。

本発明の目的は、運転者の運転操作の状態と、運転者の感情とを測定して、運転者の意図を正確且つ速やかに判定し、不快な報知をしないようにすることができる車両用報知装置を提供することにある。

請求項１の発明は、報知が必要な条件が発生したか否かを判断する報知判断部９と、運転者の視線を検出する視線検出部３と、運転者の脳活動を計測する脳活動検出部２と、運転者の視線検出結果と運転者の脳活動計測結果に基づいて、運転者の感情を検出する感情検出部９と、運転者が不安を感じていないときに、報知をしないように制御する報知制御部９とを備え、前記感情検出部９は、報知を行なった後、運転者の感情を検出し、運転者の検出した感情が不快であって、その原因が不明確であるときに、運転者に感情が不快な原因を問い合せるように構成され、更に、前記感情検出部９は、運転者に感情が不快な原因を問い合せた後、不快な原因が運転者の意思による経路外れであるという回答を受けたときには、問い合せ頻度に応じて、問い合せ頻度を減らすように構成された車両用報知装置である。

第１実施形態を示す車両用報知装置のブロック図 ＨＭＩコントローラのメイン制御のフローチャート 運転者のよそみ判定と運転者のぼんやり状態判定の制御のフローチャート 報知動作の効果の測定の制御のフローチャート 感情の不快原因を運転者に問い合せる制御のフローチャート 感情指数の変化を示す特性図 問い合せ画面の一例を示す図 感情指数を表す絵文字の例を示す図 報知制御の具体例を説明する図 ＨＭＩコントローラと脳活動検出部の制御のシーケンス図 脳活性の検出手順を模擬的に示す図 感情指数の変化を示す特性図

（第１実施形態）
以下、第１実施形態について、図１ないし図１２を参照して説明する。本実施形態の車両用報知装置１は、図１に示すように、脳活動検出部２と、視線検出部３と、車両操作計測部４と、車両位置計測部５と、ナビゲーション部６と、表示・音出力部７と、操作部８と、ＨＭＩコントローラ９とを備えて構成される。

脳活動検出部２は、運転者（即ち、ユーザ）の脳の活動を測定するセンサ（例えば脳波センサ等）を複数有し、これらセンサを運転者の頭部の各部に密着させることにより、運転者の脳の各部位の活動を、光や電磁波等を用いて計測する。そして、脳活動検出部２は、計測した脳活動計測信号（即ち、脳活動データ）をＨＭＩコントローラ９へ送信する。

ＨＭＩコントローラ９は、受信した脳活動計測信号に基づいて、運転者の感情、肯定否定の意識、または、失敗したという意識の有無などを判定する。この場合、脳の各部の活動（即ち、活性化域）と感情の相関関係のデータは、ＨＭＩコントローラ９内のメモリ１０に設けられた脳活動データベース内に記録されている。ＨＭＩコントローラ９は、上記したようにして判定した運転者の感情や各種の意識等の情報、即ち、運転者のリアルタイムに近い脳活動の変化を把握した情報をメモリ１０内に逐次記憶して蓄積するように構成されている。メモリ１０は、例えばＲＯＭ、ＲＡＭ、フラッシュメモリ、ハードディスク等で構成されており、制御プログラムや種々のデータが記憶されている。ＨＭＩコントローラ９は、上記メモリ１０の他に、ＨＭＩコントローラ９全体を制御するＣＰＵ１１と、表示する画像情報や出力する音声情報等を生成する画像音声処理部１２とを有する。

また、脳活動検出部２は、計測した脳活動計測信号を外部の機器に送るためのインターフェース（例えば通信部）を持っている。また、脳活動検出部２は、外部からの命令によって、運転者の特定の脳部位を指定して脳活動を計測することができるように構成されている。

視線検出部３は、運転者の上半身を撮影する撮影部（例えばカメラ等）を持ち、運転者の目の動き（例えば視線）、運転者の表情、運転者の発話（例えば口の動き）を撮影して、視線方向のデータ、表情のデータ、口の動きのデータを取得し、運転者の行動を把握する機能を有する。尚、運転者が声を出したか出さないかは、車室内の図示しないマイクを併用して判定する。例えば運転者が車室内に視線を移動したと判定されたときには、運転者がどの車載器を見たかを、車室内の種々の車載器の配置を記録したデータベースを参照して判断する。そして、視線検出部３は、視線方向のデータ、表情のデータ、口の動きのデータをＨＭＩコントローラ９へ送信する。

また、視線検出部３は、視線方向のデータ、表情のデータ、口の動きのデータなどを外部の機器に送るためのインターフェースを持っている。更に、視線検出部３は、外部からの命令によって、特定のタイミングを指定して運転者の視線移動等がどのように行われているかを検出することができるように構成されている。また、本実施形態では、音声報知を行なった後、運転者がどのような視線移動を行ったかを計測して、音声報知が運転者に認知されているか否かを判定するように構成されている。また、本実施形態では、ナビゲーション装置が「ルートから外れました、リルート計算（即ち、再探索）をします」という警報を出しすぎると運転者が感じた場合には、運転者の視線検知により、運転者が「よそ見して、案内ルートを見逃している」ときだけ、即ち、報知が必要な状況のときだけ報知を出すように構成されている。

車両操作計測部４は、運転者の車両運転にかかわる車両に搭載された種々の機器の動作や操作を計測する。運転者の車両運転にかかわる各種の機器としては、例えばステアリング、ブレーキ、アクセル、ギアのほか、車両に搭載された各種の車載機のスイッチ操作等を含む。また、持ち込み機器（例えばスマホや携帯電話機やタブレット等）が車両に接続されている場合、持ち込み機器の動作や操作についても、操作の有無を計測することが可能な構成となっている。そして、車両操作計測部４は、計測した車両の操作に関する各種データをＨＭＩコントローラ９へ送信する。また、車両操作計測部４は、車両の操作に関する各種データを外部の機器に送るためのインターフェースを持っている。

車両位置計測部５は、例えばＧＰＳ受信機等からなる位置計測部を用いて車両の現在位置を計測する機能と、現在時刻や各種の経過時間を計測する機能（即ち、計時部の機能）とを備えている。車両位置計測部５は、車両の位置情報と経過時間の測定によって車両の走行速度を計測することができる。そして、車両位置計測部５は、計測した位置情報や経過時間の情報等をＨＭＩコントローラ９へ送信する。また、車両位置計測部５は、計測した位置情報や経過時間の情報等を外部の機器に送るためのインターフェースを持っている。

本実施形態においては、運転者に対して音声による報知が行われたときに、脳活動検出部２により運転者の脳活動（例えば感情）に閾値以上の変化があるか否かを判定すると共に、視線検出部３により音声情報の報知が運転者に対してどのような効果を与えているかを判定することが可能な構成となっている。また、音声情報の報知が行われたときに、脳活動検出部２により運転者の感情が変化したことが検知された場合には、音声情報の報知にひもづけて運転者の感情の変化が起きることが記録される。また、脳活動検出部２により運転者の音声情報報知の認知度合いについて脳活動が計測され、計測結果が記録される。

ナビゲーション部６は、経路情報記憶部、経路計算部及び走行経路適合判定部としての各機能を有する。経路計算部は、入力された出発地点及び目的地点から移動経路を計算する。経路情報記憶部は、計算された移動経路を記憶する。走行経路適合判定部は、車両の走行中、走行している経路が地図上の道路のどの地点であるかを判定（即ち、マップマッチング）すると共に、計算された移動経路と自車の走行経路の適合状況を判断する。そして、車両が計算された移動経路から外れた場合、経路計算部は、目的地までの移動経路を再計算（即ち、再探索）して、経路情報記憶部に記憶する。

また、本実施形態では、車両が計算された移動経路から外れた道路を走行することが判定された場合には、通常、車両が経路を外れたことをユーザに知らせる音声案内が行われるように構成されている。特に、本実施形態では、運転者が意図的に経路から外れた場合には、音声案内（即ち、報知）を必要とするか否かを判定し、必要なときだけ報知を行う構成となっている。具体的制御については、後述する。

表示・音出力部７は、ＨＭＩコントローラ９が運転者（即ち、ユーザ）に報知すべき情報があったときに、画像を表示器に表示したり、音や音声をスピーカから出力する制御を実行する。操作部８は、運転者の入力操作などを行うための機器であり、手動操作ボタン、レバー、スイッチ、タッチパネルなどの機器で構成されている。表示・音出力部７は、報知部としての機能を有する。

ＨＭＩコントローラ９は、運転者が報知情報を受け取るタイミングで、脳活動検出部２により運転者の感情の動きを検出すると、視線検出部３により運転者の視線方向の状況を計測する。この結果、運転者が報知情報を不要と感じたり、運転者が報知情報を認識できなかったと判定されると、その一連の運転者の動作履歴が、その日の運転者状態情報（即ち、ユーザ状態情報）としてメモリ１０に記憶される。

本実施形態においては、運転者が報知情報を必要としているか、そうでないかを、その日の運転者の行動（即ち、運転操作等）と脳活動により短時間で判定できるため、ＨＭＩコントローラ９は、運転者の状態に合った報知動作を実行することができる。

また、運転者に報知する必要があるイベントが起きてからしばらくして、運転者が平常状態（即ち、冷静な状態）になったことを、ＨＭＩコントローラ９が脳活動検出部２により確認すると、表示・音出力部７に問い合わせ画面を表示して、運転者の感情の動きがなぜ起きたかの原因を運転者に直接問い合わせすることが可能な構成となっている。この構成の場合、運転者がその問い合わせに回答することより、ＨＭＩコントローラ９は、運転者の機器の使い勝手の良さが把握できる。また、視線検出部３による視線検知結果と脳活動検出部２による脳活動計測結果とから、ＨＭＩコントローラ９は、運転者の迷いの動作や、車載器への依存度を把握して、運転者の状態に合った、報知の頻度、報知内容データを適切に選択したり設定したりすることができる構成となっている。

次に、ＨＭＩコントローラ９の意図判定報知制御のメイン制御について、図２のフローチャートを参照して説明する。まず、図２のステップS１０においては、ＨＭＩコントローラ９は、車両の現在位置を計測する、即ち、車両位置計測部５により計測した車両の現在位置の情報を受信する。続いて、ステップＳ２０へ進み、ＨＭＩコントローラ９は、報知の場所と報知のタイミングになったか否かを判断する。

ここで、報知の場所と報知のタイミングになっていないときには（ＮＯ）、ステップＳ１０へ戻る。また、上記ステップＳ２０において、報知の場所と報知のタイミングになったときには（ＹＥＳ）、ステップＳ３０へ進み、ＨＭＩコントローラ９は、視線検出部３による視線検出結果と脳活動検出部２による脳活動検出結果とに基づいて、運転者のよそみ判定と運転者のぼんやり状態判定の各処理を実行する。尚、運転者のよそみ判定と運転者のぼんやり状態判定の具体的制御については、後述する。

次いで、ステップＳ４０へ進み、ＨＭＩコントローラ９は、運転者のよそみ判定と運転者のぼんやり状態判定の判定結果に基づいて、報知が必要な報知条件を満たすか否かを判断する。ここで、報知条件を満たさないときには（ＮＯ）、ステップＳ１０へ戻る。また、上記ステップＳ４０において、報知条件を満たしたときには（ＹＥＳ）、ステップＳ５０へ進み、ＨＭＩコントローラ９は、表示・音出力部７に報知情報を送信し、表示・音出力部７により報知動作を実行、即ち、報知メッセージをディスプレイ（例えばインストルメントパネルに配設された表示器）に表示したり、報知音声情報をスピーカから出力する。

続いて、ステップＳ６０へ進み、ＨＭＩコントローラ９は、報知動作の効果を測定する。ここでは、報知により運転者の感情がどのように変化したかを測定しており、詳しくは後述する。この後、ステップＳ７０へ進み、ＨＭＩコントローラ９は、上記した報知動作の効果の測定結果に基づいて、報知条件を変更する。この場合、報知動作を実施した後、運転者の感情が快のときには、報知条件が適正と判定されるから、報知条件の修正を行わない。一方、報知により運転者が不快を感じたときには、不快原因を明確にして、報知条件を変更する。この後は、ステップＳ１０へ戻り、上述した処理を繰り返し実行する。

次に、図２のステップＳ３０の制御、即ち、運転者のよそみ判定と運転者のぼんやり状態判定の具体的制御について、図３のフローチャートを参照して説明する。まず、図３のステップＳ１１０においては、視線認識部３によって、運転者が車内の機器や車外の道路や走行中の他の車両等の物体を見るために行う視線の方向を計測し、ＨＭＩコントローラ９は、その計測結果を受信する。この場合、視線認識部３は、例えば車両の走行方向に対し、運転者の視線の上下左右の角度を測定する。

上記測定結果に基づいて、ＨＭＩコントローラ９は、運転者の視線が何に向かっているかを概略把握する。例えば、車外を見ているか見ていないかの判定については、運転者の視線がウインドシールドガラスのある角度範囲内にあれば、車外を見ていると判定する。また、運転者が物体を注視しているか、ぼんやり見ているかの判定については、運転者の視線の角度の動き（例えば時間変化）に基づいて判定を行う。この場合、対象となる物体を視線で追っている場合の視線方向角度の時間変化と、物体を注視せずぼんやり見ている場合の視線方向角度の時間変化の違いとして認識される。注視する物体がある場合は、車両の速度に応じた視線方向角度の変化がある。また、運転者がきょろきょろしている場合には、注視する物体が複数あり、それらのどれかを一定時間見た後、次の物体を見るという動作が実行される。このような動作も、運転者の視線方向の時間変化を計測することにより判定することができる。

続いて、ステップＳ１２０へ進み、ＨＭＩコントローラ９は、運転者の視線認識結果に異常あるか否か（例えば運転者がきょろきょろしているか否か）を判断する。ここで、視線認識結果に異常があるとき（例えば運転者がきょろきょろしているとき）には（ＹＥＳ）、ステップＳ１３０へ進み、脳活動検出部２によって運転者の脳活動を計測し、ＨＭＩコントローラ９は、その測定結果を受信する。

そして、ステップＳ１４０へ進み、ＨＭＩコントローラ９は、上記脳活動の計測結果に基づいて、運転者が不安を感じているか否かを判断する。ここで、運転者が不安を感じているときは（ＹＥＳ）、ステップＳ１５０へ進み、ＨＭＩコントローラ９は、運転者がきょろきょろして不安という状態であるため、報知を実施することを決定するデータを作成する。これにより、本制御を終了し、図２のステップＳ５０へ移行する。

また、上記ステップＳ１４０において、運転者が不安を感じていないときは（ＮＯ）、ステップＳ１６０へ進み、ＨＭＩコントローラ９は、報知を実施しないことを決定するデータを作成する。これにより、本制御を終了し、図２のステップＳ５０へ移行する。

また、上記ステップＳ１２０において、視線認識結果に異常がないとき（例えば運転者がきょろきょろしていないとき）には（ＮＯ）、ステップＳ１６０へ進み、ＨＭＩコントローラ９は、報知を実施しないことを決定するデータを作成する。これにより、本制御を終了する。

次に、図２のステップＳ６０の制御、即ち、報知動作の効果の測定の具体的制御について、図４のフローチャートを参照して説明する。まず、図４のステップＳ２１０においては、ＨＭＩコントローラ９は、報知動作が完了したか否かを判断する。ここで、報知動作が完了していないときには（ＮＯ）、ステップＳ２１０へ戻る。

上記ステップＳ２１０において、報知動作が完了したときには（ＹＥＳ）、ステップＳ２２０へ進み、ＨＭＩコントローラ９は、脳活動検出部２により運転者の脳活動を計測した計測結果を受信する。続いて、ステップＳ２３０へ進み、ＨＭＩコントローラ９は、脳活動の計測結果に基づいて、運転者の感情が快であるか否かを判断する。ここで、運転者の感情が快であるときには（ＹＥＳ）、ステップＳ２４０へ進み、ＨＭＩコントローラ９は、報知条件を変更しないようにデータを設定する。これにより、本制御を終了し、図２のステップＳ７０へ移行する。

また、上記ステップＳ２３０において、運転者の感情が快でないときには（ＮＯ）、ステップＳ２５０へ進み、ＨＭＩコントローラ９は、脳活動検出部２、視線検出部３、車両操作計測部４、車両位置計測部５、ナビゲーション部６からの種々の情報に基づいて、運転者の感情が不快である原因が明確であるか否かを判断する。例えば、急ハンドルや急ブレーキ等の運転操作がある場合には、その運転操作を感情の不快原因として明確に特定することができる。上記ステップＳ２５０において、運転者の感情の不快原因が明確であるときには（ＹＥＳ）、ステップＳ２６０へ進み、ＨＭＩコントローラ９は、報知条件を変更するようにデータを設定する。これにより、本制御を終了し、図２のステップＳ７０へ移行する。

また、上記ステップＳ２５０において、運転者の感情の不快原因が明確でないときには（ＮＯ）、ステップＳ２７０へ進み、ＨＭＩコントローラ９は、運転操作に影響しないとき（例えば信号待ちなどの応答操作入力が安全に行えるとき）に、感情の不快原因を運転者に問い合せる処理を行なう、即ち、問い合せ画面を表示する。この問い合せ画面には、運転者が簡単に選択できる選択肢を表示することが好ましい。尚、感情の不快原因を運転者に問い合せる処理の具体的制御については、後述する。

続いて、ステップＳ２８０へ進み、ＨＭＩコントローラ９は、運転者からの回答を処理する。そして、ステップＳ２９０へ進み、ＨＭＩコントローラ９は、報知条件の変更が必要であるか否かを判断する。ここで、報知条件の変更が不要の場合には（ＮＯ）、ステップＳ２４０へ進み、報知条件を変更しない。一方、上記ステップＳ２９０において、報知条件の変更が必要な場合には（ＹＥＳ）、ステップＳ２６０へ進み、報知条件を変更する。

次に、図４のステップＳ２７０の制御の内容、即ち、感情の不快原因を運転者に問い合せる処理の具体的制御について、図５のフローチャートを参照して説明する。この制御は、車両が計算された経路から外れたときに、運転者の脳活動や視線などの変化が小さくて、運転者の意図が判定できないときに、運転者に意図を確認するために実施される。

まず、図５のステップＳ３１０においては、ＨＭＩコントローラ９は、表示・音出力部７を駆動制御することにより、ディスプレイに問い合せ画面を表示する。この画面には、運転者の意思による経路外れである旨の選択肢と、運転者の意思なし（即ち、運転ミスによる）の経路外れである旨の選択肢と、回答キャンセルの選択肢等が表示される。

続いて、ステップＳ３２０へ進み、ＨＭＩコントローラ９は、運転者の回答操作が、運転者の意思による経路外れであるか否かを判断する。ここで、運転者の意思による経路外れであるときは（ＹＥＳ）、ステップＳ３３０へ進み、ＨＭＩコントローラ９は、運転者の回答操作が運転者の意思による経路外れである旨のデータを記憶し、そして、運転者に意図を問い合せる頻度が小さい場合には、運転者の意図を判定するための閾値は現状維持とし、また、運転者に意図を問い合せる頻度が多い場合には、問い合せ頻度を減らすように運転者の意図を判定するための閾値を変更する。これにより、本制御を終了し、図４のステップＳ２８０へ戻る。

また、上記ステップＳ３２０において、運転者の回答操作が、運転者の意思による経路外れでないときは（ＮＯ）、ステップＳ３４０へ進み、ＨＭＩコントローラ９は、運転者の回答操作が、運転者の意思なし（即ち、運転ミスによる）の経路外れであるか否かを判断する。ここで、運転者の意思なしの経路外れであるときは（ＹＥＳ）、ステップＳ３５０へ進み、ＨＭＩコントローラ９は、運転者の回答操作が運転者の意思なしの経路外れである旨のデータを記憶し、そして、運転者に意図を問い合せる頻度が小さい場合には、運転者の意図を判定するための閾値は現状維持とし、また、運転者に意図を問い合せる頻度が多い場合には、感度が上がる方向に、即ち、問い合せ頻度を増やすように運転者の意図を判定するための閾値を変更する。尚、このように閾値を変更する理由は、物事に動じない沈着冷静、あるいは鈍感などの感情の動きが小さい運転者に対しては、その人の特性に応じて感情検出の閾値を感度が上げるように変更する必要があるためである。これにより、本制御を終了し、図４のステップＳ２８０へ戻る。

また、上記ステップＳ３４０において、運転者の回答操作が、運転者の意思なしの経路外れでないときは（ＮＯ）、ステップＳ３６０へ進み、ＨＭＩコントローラ９は、運転者の回答操作が無かった、または、問い合せ画面がキャンセルされた旨のデータを記憶し、そして、運転者に意図を問い合せる頻度が小さい場合には、運転者の意図を判定するための閾値は現状維持とし、また、運転者に意図を問い合せる頻度が多い場合には、問い合せ頻度を減らすように運転者の意図を判定するための閾値を変更する。これにより、本制御を終了し、図４のステップＳ２８０へ戻る。

ここで、感情指数の検出値と、快の判定閾値と、不快の判定閾値との関係を、図６に示す。図６においては、快の判定閾値を「３０」とし、不快の判定閾値を「−３０」としている。図６は、運転者の感情の変化が小さい場合を示している。尚、図５のステップＳ３５０においては、快の判定閾値及び不快の判定閾値を変更するように制御している。

また、本実施形態では、車両が経路を外れた場合には、「経路を再探索しますか？」という問い合わせを運転者に対して行なうように構成することが好ましい。この場合、図７に示すように、問い合せ画面には、検出した感情指数を絵文字で表示することが好ましい。感情指数を表す絵文字としては、図８に示す３種類の絵文字を用意している。図８（ａ）の絵文字は、快の感情（例えば自信あり）を示し、図８（ｂ）の絵文字は、普通の感情（例えば快でも不快でもない）の感情を示し、図８（ｃ）の絵文字は、不快の感情（例えば心配や不安）を示す。尚、上記絵文字を表示する場合には、検出した感情指数が、快・不快の閾値を越えなくても、閾値に近いときには、その感情の絵文字を表示するように構成しても良い。

次に、報知制御の具体例について、図９を参照して説明する。図９に示すように、運転者が土地勘のない場所で、前方に隣接交差点が２つあり、運転者が２つの交差点のうちの、どちらを曲がるかがわからない場合、音声案内が無ければ、運転者は不安になり、きょろきょろする。これが視線検出部３により計測され、運転者がきょろきょろしていると判定される（例えば図３のステップＳ１１０）。

この場合、運転者の行動としては、交差点を確かめるために、前方の２つの交差点を交互に見る、即ち、きょろきょろ動作することになり、視線の振れ（例えば角度θ２）が大きくなる。また、運転者は、車載ディスプレイの画面（例えばカーナビゲーションの画面）を注視して、どちらの交差点で曲がるかを確かめる動作を行なう。また、運転者は、曲がる交差点がわからないと不安になり、きょろきょろする（例えば図３のステップＳ１２０）。そのとき、脳活動検出部２により運転者の脳活動が計測され、不安があると判定される。図９のケースの場合、位置Ｐ１で、上記２つの判定結果が出る。そして、これら２つの判定結果から、位置Ｐ１で報知が実施される（例えば図３のステップＳ１５０）。尚、図９において、位置Ｐ１よりも前方の位置Ｐ２では、視線の振れ（例えば角度θ１）が小さく、きょろきょろ判定がなされないから、報知が実施されない。

さて、脳活動検出部２により不安が検知され、視線検出部３によりきょろきょろ判定された結果、図９の交差点に近い位置Ｐ１で報知が行われた場合、土地勘のない運転者は、すぐ直近の交差点を曲がる案内が行われることから、運転者は急激なステアリング操作を行うことになる。この結果、運転者は、ＨＭＩコントローラ９による報知に対して、もっと早く報知がほしかったという不満をもつことになる。この運転者の不満は、報知実施後に、脳活動検出部２により運転者の脳活動が計測されることにより把握される（例えば図３のステップＳ１３０）。そして、上記脳活動の計測により、運転者の不満や不快が検知されると、報知条件の変更が行われる（例えば図４のステップＳ２６０）。

本実施形態においては、運転者の不満や不快感を１回で把握することができる。このため、次回の報知から、運転者の土地勘のない道路において、交差点が２つ隣接する場合には、視線認識の結果によらず、例えば数十ｍ前に報知を出すように、報知条件を変更することができる。この結果、図９のケースの場合、位置Ｐ２で報知が実行されるようになることから、運転者は余裕をもってステアリング操作を行うことができる。

また、本実施形態では、運転者が走行する場所が、運転者にとって土地勘があるかないかは、運転者の車両の走行履歴と、走行中の運転者の位置と運転時の不安値を対応させてメモリに記録する。不安値の数値は、個々の運転者で異なるため、運転者毎に不安を感じる平均的な値を閾値とし、走行中、閾値よりも不安が所定の値だけ大きくなる場所を、土地勘のない場所として定義する。

また、本実施形態では、運転者が回答したい選択肢がないときには、運転者の発話を録音して、音声認識処理などを行なうことによりテキストデータ化してメモリに記録し、テキストデータに対して気持ち等を推定するキーワードを使って検索し、運転者の気持ちを推定するように構成しても良い。そして、推定した運転者の気持ちに基づいて、報知条件の変更が必要か否かを判定することが好ましい。

次に、ＨＭＩコントローラ９及び脳活動検出部２の動作（即ち、図４のステップＳ２３０及びステップＳ２５０の各判断処理の制御内容）について、図１０を参照して説明する。図１０は、ＨＭＩコントローラ９と脳活動検出部２の制御のシーケンス図である。

まず、車両の電源（即ち、イグニッションスイッチ）がオンされると、図１０のステップＳ４１０に示すように、脳活動検出部２により運転者の脳活動の計測が開始される。運転者の脳活動は、頭部付近に置かれた複数の脳活動センサにより脳内の各部位の活動が所定周期で計測され、そのデータが逐次記憶される。そして、ステップＳ４２０へ進み、脳活動検出部２は、計測したデータを解析して、平常状態からのずれの有無を判定する。ここで、平常状態からのずれが無いときには（ＮＯ）、ステップＳ４１０へ戻る。

また、上記ステップＳ４２０において、平常状態からのずれが有るときには（ＹＥＳ）、ステップＳ４３０へ進み、脳活動検出部２は、ずれのパターン判定データを使って、運転者の感情（即ち、意図）を推定する。そして、脳活動検出部２は、その結果、即ち、脳活動パターンが平常範囲からずれたことを示すデータ、及び、計測した脳活動データを、ＨＭＩコントローラ９に送信する。

一方、ＨＭＩコントローラ９側の制御のステップＳ５１０においては、ＨＭＩコントローラ９は、運転者の意図を確認するイベントが発生したことを検知すると、脳活動が平常範囲からずれたか否かを確認するための依頼を脳活動検出部２に送信する。

この後、ステップＳ５２０において、ＨＭＩコントローラ９は、脳活動検出部２から脳活動データを受信する。そして、ステップＳ５３０へ進み、ＨＭＩコントローラ９は、受信した脳活性データに基づいて、運転者の脳活性の原因を調査する。続いて、ステップＳ５４０へ進み、ＨＭＩコントローラ９は、運転者の脳活性が車内の操作、機器の動きなどで起きたかどうかを、脳活性データの時刻情報を参照して、運転者の運転操作や運転者の視線移動等のデータと照合して、車内の原因を探索する。この場合、原因探索のために、脳活動検出部２側の制御のステップＳ４４０において、脳活動検出部２は、運転者の意図を判定するタイミングや期間を、経路外れの開始時刻に基づいて設定し、どのようなパターンの脳活動が起きたかを判定し、判定した脳活動データをＨＭＩコントローラ９へ送信する。

次いで、ステップＳ５５０へ進み、ＨＭＩコントローラ９は、運転者の脳活性が起きた原因が、車内にあるか否かを判断する。ここで、原因が車内であるときには（ＹＥＳ）、ステップＳ５６０へ進み、ＨＭＩコントローラ９は、車内原因であることを示すデータをメモリに記憶する。また、上記ステップＳ５５０において、原因が車内でないときには（ＮＯ）、ステップＳ５７０へ進み、ＨＭＩコントローラ９は、車外を撮影するカメラ映像や運転者の視線方向の動作履歴等を参照して、車外の原因を探索する。

続いて、ステップＳ５８０へ進み、ＨＭＩコントローラ９は、運転者の脳活性が起きた原因が、車外（例えば道路上の危険認識）にあるか否かを判断する。ここで、原因が車外であるときには（ＹＥＳ）、ステップＳ５９０へ進み、ＨＭＩコントローラ９は、車外原因であることを示すデータをメモリに記憶する。また、上記ステップＳ５８０において、原因が車外でないときには（ＮＯ）、ステップＳ６００へ進み、ＨＭＩコントローラ９は、原因不明（車内と車外どちらであるかわからない）であることを示すデータをメモリに記憶する。

そして、ステップＳ６１０へ進み、ＨＭＩコントローラ９は、記録する脳活動データが不足している場合には、脳活動検出部２に対して追加の脳活動データを要求する。この要求を受けて、ステップＳ４５０へ進み、脳活動検出部２は、上記要求に応じて追加の脳活動データ（即ち、不足データ）をＨＭＩコントローラ９へ送信する。

この後、ステップＳ６２０へ進み、ＨＭＩコントローラ９は、運転者の意図（即ち、脳活性パターン）が正常範囲外になったことを示す脳活性データをメモリに記録すると共に、運転者の脳活性が起きた原因が車内、車外、または、不明であることを示すデータ（例えば場所や時刻等の情報も加えて）を脳活性データに付加してメモリに記録する。

本実施形態では、上記したように記録された脳活動データを使って、種々の車載機器の各動作が運転者の意図に合う動作になるように最適化を行うことが可能になる。即ち、運転者が不快と思った反応の前に運転者が操作した車載機器の動作、あるいは、自動的に動作した車載機器の動作をチェックし、その動作を改良するきっかけを見つけることが可能になる。

図１１は、脳活性を検出するための検出手順を模擬的に示す図である。脳活性を検出する処理は、脳活動検出部２にＣＰＵが搭載されている場合、脳活動検出部２により実行される。尚、脳活動検出部２を、脳活動を測定するセンサだけで構成する場合には、例えばＨＭＩコントローラ９により脳活動の測定データを収集解析して脳活性を検出する処理を実行するように構成する。

脳活動の計測は、複数のセンサを頭部の各部（例えば額、耳の付近、頭頂など）に密着させておき、例えば１００ミリ秒に1回程度の割合で脳内状態を繰り返し計測する。図１１中のｔ１、ｔ２、ｔ３、…は測定のタイミングを示している。タイムラインの右にいくほど、計測時刻が新しいことを示している。そして、タイムラインメモリには、時刻と脳活動の計測値とを対にして記憶しており、連続した時間を指定することにより、その時間内の計測データをまとめて効率よく取り出すことが可能なように構成されている。また、図１１中の「脳活性検出」と示した位置Ｑ１は、時刻ｔ２の脳活動データを計測後、脳活性になったことを示している。

一方、図１１中の「経路外れ判定」と示した位置Ｑ２（即ち、時刻ｔ４）は、車両の走行状態の計測に基づいて、車両が設定された誘導経路から外れたことが確定されたタイミングを示す。車両の経路外れ判定には、現在位置、移動経路計算、走行道路位置の判定など各種の計算を行う必要があるため、判定を出すまでに、時間遅れが生ずる。そこで、経路外れが判定されると、その計算結果より、経路外れを開始した位置、経路外れ開始時刻が求められる。図１１においては、位置Ｑ０（即ち、時刻ｔ１）が経路外れを開始した位置である。

運転者の感情の動きを判定するためには、経路外れ判定時刻ｔ４よりも以前の時刻（例えば経路外れ開始時刻ｔ１）にさかのぼって、運転者の感情の動きが起きそうな時刻（タイミング）を見つける。そして、運転者の感情の動きの時間変化の傾向から、運転者の感情の動きの性質に対応した時間範囲（即ち、感情励起時間）を設定して、感情の動き（感情指数）を解析する。

図１２は、感情指数として、快・不快の時間変化をグラフ化したものである。図１２の縦軸は快・不快を数値化した値、横軸は時刻である。脳活動の計測用の複数のセンサの計測値（即ち、データ）は、脳活動検出部２のＣＰＵに送られる。これら計測データは、脳の各部位の変化としてまとめられており、前回計測された脳各部位の計測データと比較される。そして、その変化の度合いを、データ変換式を用いて、運転者の各種感情（例えば快、不快などの感情）の変化に置き換える。その結果、感情の変化の時間変化がもとめられる。

ここで、平常状態と脳活性状態を判別するための閾値を設けておき、閾値を超える時間が設定時間を超えると、運転者の脳活性が起きたと判定することができる。図１２において、丸印は不快な状況になったことを示し、四角印は平常状態であることを示す。図１２に示すように、不快判定閾値「−３０」以下の丸印の各点が計測されることにより、経路外れが起きたときに、運転者は経路外れを不快と感じたと判定することができる。

更に、図１１に示すように、「脳活性検出」が時刻ｔ２の後で検出され、その少し前の時刻ｔ１で経路外れ開始という事象が発生すれば、運転者の脳活性は、経路外れ開始が原因で起きた可能性が高いと判定することができる。脳活性の変化は、運転者の感情特性に依存するため、脳活性検出を判定した後、その原因を調査するためには、前述のように、運転者の感情特性に応じた時間（例えば脳活性の励起時間（即ち、感情励起時間））の間、脳活動計測値の解析が行われる。この場合、感情励起時間としては、感情に依存する場合、検出された感情に応じた感情励起時間が設定される（例えば、感情がうれしいときには感情励起時間が短く、悲しいときには感情励起時間が長く設定される）。

また、経路外れ以外に、車載機器の動作や運転者の運転操作が運転者の脳活性を引き起こした可能性がある場合には、それら複数の候補から脳活性の原因を絞り込む必要がある。この場合、脳活動検出部２の複数のセンサによる計測パターンや検出センサ値の時間変化などに基づいて、運転者の感情を判定する。例えば、複数のセンサの位置とそれぞれの脳活性度合いの大きさなどに基づいて、運転者の感情がどのようになっているかを判定することができる。

このような構成の本実施形態においては、運転者の運転操作の状態と、運転者の感情とを測定し、測定した結果に基づいて、運転者の意図を正確且つ速やかに判定するように構成し、運転者が意図的に経路を外れた場合には、経路外れの報知をしないように制御した。この構成によれば、運転者に対して不快な報知をしないので、使い勝手が良い構成であって、しかも快適な構成を実現することができる。

本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

図面中、１は車両用報知装置、２は脳活動検出部、３は視線検出部、４は車両操作計測部、５は車両位置計測部、６はナビゲーション部、７は表示・音出力部、８は操作部、９はＨＭＩコントローラである。

Claims (4)

1. 報知が必要な条件が発生したか否かを判断する報知判断部（９）と、
   運転者の視線を検出する視線検出部（３）と、
   運転者の脳活動を計測する脳活動検出部（２）と、
   運転者の視線検出結果と運転者の脳活動計測結果に基づいて、運転者の感情を検出する感情検出部（９）と、
   運転者が不安を感じていないときに、報知をしないように制御する報知制御部（９）とを備え、
   前記感情検出部は、報知を行なった後、運転者の感情を検出し、運転者の検出した感情が不快であって、その原因が不明確であるときに、運転者に感情が不快な原因を問い合せるように構成され、更に、
   前記感情検出部は、運転者に感情が不快な原因を問い合せた後、不快な原因が運転者の意思による経路外れであるという回答を受けたときには、問い合せ頻度に応じて、問い合せ頻度を減らすように構成された車両用報知装置。
2. 報知が必要な条件が発生したか否かを判断する報知判断部（９）と、
   運転者の視線を検出する視線検出部（３）と、
   運転者の脳活動を計測する脳活動検出部（２）と、
   運転者の視線検出結果と運転者の脳活動計測結果に基づいて、運転者の感情を検出する感情検出部（９）と、
   運転者が不安を感じていないときに、報知をしないように制御する報知制御部（９）とを備え、
   前記感情検出部は、報知を行なった後、運転者の感情を検出し、運転者の検出した感情が不快であって、その原因が不明確であるときに、運転者に感情が不快な原因を問い合せるように構成され、更に、
   前記感情検出部は、運転者に感情が不快な原因を問い合せた後、不快な原因が運転者の運転ミスであるという回答を受けたときには、問い合せ頻度に応じて、運転者の感情を検出する感度が上がるように、その検出するための閾値を変更するように構成された車両用報知装置。
3. 報知が必要な条件が発生したか否かを判断する報知判断部（９）と、
   運転者の視線を検出する視線検出部（３）と、
   運転者の脳活動を計測する脳活動検出部（２）と、
   運転者の視線検出結果と運転者の脳活動計測結果に基づいて、運転者の感情を検出する感情検出部（９）と、
   運転者が不安を感じていないときに、報知をしないように制御する報知制御部（９）とを備え、
   前記感情検出部は、報知を行なった後、運転者の感情を検出し、運転者の検出した感情が不快であって、その原因が不明確であるときに、運転者に感情が不快な原因を問い合せるように構成され、更に、
   前記感情検出部は、運転者に感情が不快な原因を問い合せた後、運転者の回答がなかったときには、問い合せ頻度に応じて、問い合せ頻度を減らすように構成された車両用報知装置。
4. 報知メッセージと、前記感情検出部により検出した運転者の感情に対応する絵文字とを表示器に表示する報知部（７）を備えた請求項１から３のいずれか一項記載の車両用報知装置。

Images