JPWO2015151243A1 - 車両用情報呈示装置 - Google Patents

Abstract

車両の走行制御を自動的に行う自動運転制御と運転者による手動運転制御とを切り替えて制御する自動走行車両に用いられる車両用情報呈示装置であって、運転者の運転への意識量を推定する運転意識量推定部（１５）と、運転意識量推定部（１５）によって推定された運転者の運転への意識量に応じて、運転者に呈示する情報を切り替える情報呈示制御部（１６）とを備える。

Description

本発明は、自動運転機能を有する車両に適用され、車両の運転状態に係る情報を呈示する車両用情報呈示装置に関する。

従来の情報表示装置として、運転者の姿勢や年齢などが変化しても、運転者に対して情報を認知させることができる情報表示装置が知られている（特許文献１）。特許文献１では、運転者の視角に合わせて注意喚起枠の幅を変えたり光刺激量を調整して運転者に情報を認知させる。

特開２００８−１９１７７８号公報

しかしながら、特許文献１では、運転者に情報を与え続けることになり、自動運転時のように運転への意識が低い場合は運転者に過剰な情報を与えてしまい、運転者の監視負担が増加するおそれがある。

本発明は、上記問題に鑑みてなされたものであり、その目的とするところは、自動運転時に乗員の状態に応じて、乗員に適切な情報を知らせることができる車両用情報呈示装置を提供することである。

本発明の一態様に係る車両用情報呈示装置は、運転者の運転への意識量を推定し、推定した運転者の運転への意識量に応じて、情報を切り替えて運転者に呈示する。

図１は、本発明の第１実施形態に係る車両用情報呈示装置が用いられる自動運転車両の構成を示すブロック図である。 図２は、ディスプレイに呈示する運転支援情報の２つの例である。 図３は、ディスプレイに呈示するシステム状態情報の２つの例である。 図４は、第１実施形態に係る車両用情報呈示装置が行う情報提示処理を説明するフローチャートである。 図５（ａ）は、覚醒度低下係数Ｒ１１と運転者の瞳孔径との関係を示すグラフである。図５（ｂ）は、覚醒度低下係数Ｒ１２と運転者の心拍数との関係を示すグラフである。図５（ｃ）は、覚醒度低下係数Ｒ１３と運転者のあくびの頻度との関係を示すグラフである。 図６（ａ）は、運転から意識が離れている係数Ｒ２１と返答までの時間との関係を示すグラフである。図６（ｂ）は、運転から意識が離れている係数Ｒ２２と発話速度との関係を示すグラフである。図６（ｃ）は、運転から意識が離れている係数Ｒ２３とピッチとの関係を示すグラフである。 図７（ａ）は、システム自信係数Ｓ１１とセンサ検出率との関係を示すグラフである。図７（ｂ）は、システム自信係数Ｓ１２とＣＰＵ負荷率との関係を示すグラフである。図７（ｃ）は、システム自信係数Ｓ１３と軌跡・目標値演算結果の確からしさとの関係を示すグラフである。 図８は、本発明の第２実施形態に係る車両用情報呈示装置が用いられる自動運転車両の構成を示すブロック図である。 図９は、第２実施形態に係る車両用情報呈示装置が行う情報提示処理を説明するフローチャートである。 図１０は、運転から意識が離れている係数Ｒ２４と座圧の関係を示すグラフである。 図１１は、ディスプレイに呈示する運転支援情報の他の例である。

以下、本発明の実施形態について、図面を参照して説明する。

［第１の実施形態］
図１に示すように、自動運転車両（以下、単に車両という）は、自動／手動運転選択スイッチ１と、走行制御コントローラ２と、システム状態判断部９と、運転意識量推定部１５と、情報呈示制御部１６と、ディスプレイ１７と、を主に備える。

自動／手動運転選択スイッチ１は、運転者の選択により車両の自動運転と手動運転とを切り替えるためのものであり、例えば、車両の運転席近傍に配置される。

走行制御コントローラ２は、ＣＰＵ，ＲＡＭ，ＲＯＭ、ハードディスク等の記憶手段からなる一体型のコンピュータとして構成される。走行制御コントローラ２は、運転者が自動／手動運転選択スイッチ１を用いて自動運転状態を選択しているときに、車両の走行状態および車両外部の情報に基づいて車両の走行制御を自動的に行うものである。具体的には、走行制御コントローラ２は、地図および交通情報などのデータベース３、車両外部情報取得機器４（例えば、カメラ、レーザーセンサ）を用いて、車両外部の情報を取得する。また、走行制御コントローラ２は、車両走行状態検出機器５（例えば、車速センサ）を用いて車両の走行状態を検出する。そして、走行制御コントローラ２は、データベース３の情報に基づいて目的地までの走行経路を決定し、その走行経路に沿って車両が走行するように、車両外部の情報および車両の走行状態に基づいて、各種制御アクチュエータ６，７，８を駆動制御する。これにより、走行制御コントローラ２による車両の自動運転が実行される。

システム状態判断部９は、走行制御コントローラ２から出力される情報を用いて、自動運転のシステム状態を判断する。自動運転のシステム状態とは、カメラなどの車両外部情報取得機器４や各種制御アクチュエータ６，７，８の動作状態を示すものである。これらの機器が正常に動作している場合、システム状態判断部９は、システム状態は正常であると判断する。一方、カメラなどが故障して車両外部情報を取得できない場合、システム状態判断部９は、システム状態は異常であると判断する。

システム状態判断部９は、自動運転のシステム状態が正常である場合、走行環境に応じてシステム状態を好調か不調かに分けることができる。走行環境とは、天候や道路環境のことである。システム状態が好調であるとは、機器がその性能を十分に発揮している状態をいう。一方、システム状態が不調とは、機器がその性能を十分に発揮できない状態をいう。具体的に説明すると、悪天候（大雨、雪、霧など）によりカメラが近傍しか認識できない場合、暗闇や逆光などによりレーザーセンサの検出精度が低い場合、道路環境の劣化（白線消失、未舗装など）によりカメラが車線を認識できない場合、道路工事によりカメラが走行軌道を判断できない場合など、機器がその性能を十分に発揮できない場合、システム状態判断部９は、システム状態が不調であると判断する。

会話判断部１３は、車室内で発生した音声を認識するための装置であり、マイク１０が採取した運転者の音声を認識し分析する。会話判断部１３は、運転者の音声とその他の音声を識別するために、予め登録された運転者の音声データを用いて運転者の音声を認識する。会話には、運転者とその他の乗員との会話の他に、運転者と車両との会話も含まれる。車室内にはスピーカ（図示せず）が搭載され、車両用情報呈示装置は、スピーカから運転者に対して様々な会話（日常会話でもよくクイズでもよい）を投げかけることができる。そして、会話判断部１３は、この会話に対する運転者の発話（音声）を認識し分析する。なお、複数の乗員がいる場合でも、スピーカから運転者に対して会話を投げかけてもよい。

カメラ１１は、運転者の顔画像を取得するための装置であり、例えば、ＣＣＤやＣＭＯＳ等の撮像素子を備え、ルームミラー付近やダッシュボード上に設置される。また、カメラ１１の撮影角度は任意に変更可能であり、カメラ１１は顔画像だけでなく運転者のシート上の動作（例えば、座りなおし）を取得することもできる。なお、カメラ１１は、車両外部情報取得機器４に含まれるカメラとは異なるカメラである。

心拍数計測部１２は、ステアリングホイールの一部に設けられ、運転者がこの部分を両手で握ることによって心拍数を計測する。また、心拍数計測部１２は、シートに組み込まれた非接触式センサを用いてもよい。

覚醒度判断部１４は、運転者の覚醒度を判断するための装置である。覚醒度判断部１４は、カメラ１１が取得した運転者の顔画像にグレースケール化、エッジ検出、パターンマッチング等の各種画像処理を施しながら瞳孔径やまばたきの回数など運転者の目の動きを監視し、運転者の覚醒度を判断する。また、覚醒度判断部１４は、心拍数計測部１２によって計測された運転者の心拍数を監視し、運転者の覚醒度を判断する。

運転意識量推定部１５は、運転者の運転に対する意識量を推定する装置である。運転意識量推定部１５は、会話判断部１３で分析された運転者の音声および覚醒度判断部１４で判断された運転者の覚醒度に基づいて、運転者の運転に対する意識量を推定する。

情報呈示制御部１６は、自動運転のシステム状態および運転者の運転に対する意識量に応じて、ディスプレイ１７に呈示する情報を切り替える。情報呈示制御部１６が切り替える情報は、システム状態に関する情報（以下、単にシステム状態情報という）と、運転支援に関する情報（以下、単に運転支援情報という）である。システム状態情報とは、システム状態が正常か異常かを示す情報であり、さらに正常であれば好調か不調かを示す情報である。運転支援情報については、詳細は後述する。

ディスプレイ１７は、様々な情報を運転者に呈示するものであり、例えば、車両の運転席近傍に配置される。また、ディスプレイ１７は、運転者を含む乗員に情報を呈示できる場所に配置してもよい。

なお、システム状態判断部９、会話判断部１３、覚醒度判断部１４、運転意識量推定部１５および情報呈示制御部１６は、ＣＰＵ，ＲＡＭ，ＲＯＭ、ハードディスク等の記憶手段からなる一体型のコンピュータとして構成される。

次に、図２を参照して、情報呈示制御部１６がディスプレイ１７に呈示する運転支援情報の２つの例について説明する。運転支援情報とは、自動運転から手動運転にスムーズに移行するために、走行軌跡上の障害物や走行方向などを示す情報である。図２（ａ）に示すように、ディスプレイ１７には画像１８〜画像２０が呈示される。画像１８は、走行軌跡上の障害物や走行方向を示す画像である。画像１８の斜線が引かれた四角は、車両が走行できない領域を示し、斜線がない四角は車両が走行できる領域を示す。すなわち、画像１８は、走行中の道路が２車線であることを示す画像である。また、画像１８の矢印は、次の交差点を右折することを示す画像である。画像１９は、４秒後に右折することを示す画像である。画像２０は、自動運転のシステム状態を示す三角状の画像であり、システム状態に応じて色が変わる。色は特に限定されるものではなく、例えばシステム状態が好調なら緑色となり、システム状態が不調なら赤色となる。なお、色の選択に際しては、赤色、黄色、緑色など、人が表示の意味合い（赤色：危険、黄色：注意、緑色：通常）を理解し易いと思われる色を選択することが望ましい。また、情報呈示制御部１６は、後述するシステム自信度Ｓ１の値に応じて画像２０の色をグラデーション状に変化させてもよい。また、情報呈示制御部１６は、図２（ｂ）に示すように運転支援情報としてタコメータ、速度計、燃料計を呈示してもよい。

次に、図３を参照して、情報呈示制御部１６がディスプレイ１７に呈示する自動運転のシステム状態の２つの例について説明する。システム状態が好調なときは、図３（ａ）に示すように、緑色の四角に車両の形状を重畳した画像２１を呈示する。一方、システムが不調なときは、図３（ｂ）に示すように赤色の四角に車両の形状を重畳した画像２２を呈示する。このように、色のみが異なるシンプルな画像を呈示することにより、運転者は一目でシステム状態が好調か不調かを判断することができる。なお、システム状態が不調な場合には、運転者に注意喚起を行うために、画像２２を点滅させたり回転させてもよく、画像２２にエッジをつけたりしてもよい。また、システム状態が異常である場合、情報呈示制御部１６はディスプレイ１７に何も表示させない、またはシステム状態が不調であるときに呈示する画像２２をより大きく呈示する。このように情報呈示制御部１６は、システム状態が異常であるときには目立たせる呈示を行うことで、運転者に強く注意を促すことができる。

次に、図４のフローチャートを参照して、車両用情報呈示装置が行う情報提示処理を説明する。このフローチャートは、自動運転のスイッチがオンされると開始する。

まず、ステップＳ１０１において、システム状態判断部９は、自動運転のシステム状態が正常か否かを判断する。システム状態が正常である場合は、ステップＳ１０３に処理が進み、システム状態が正常でない場合は、ステップＳ１０２に処理が進む。

ステップＳ１０２において、情報呈示制御部１６は、自動運転のシステム状態が異常であることを示す情報をディスプレイ１７に呈示して、この処理を終了する。

一方、ステップＳ１０３に処理が進んだ場合、覚醒度判断部１４は、覚醒度低下量Ｒ１（％）を算出する。覚醒度低下量Ｒ１とは、運転者の覚醒度の低下具合を示す指標であり、数値が高いほど、運転者の覚醒度は低いと判断される。覚醒度低下量Ｒ１は、覚醒度低下係数Ｒ１１，Ｒ１２，Ｒ１３を用いて次式で表される。
Ｒ１＝Ｒ１１×Ｒ１２×Ｒ１３×１００
ここで、図５を参照して、覚醒度低下係数Ｒ１１〜Ｒ１３について説明する。覚醒度低下係数Ｒ１１〜Ｒ１３とは、覚醒度低下量Ｒ１と同様に、運転者の覚醒度の低下具合を示す指標である。

図５（ａ）は、覚醒度低下係数Ｒ１１と運転者の瞳孔径との関係を示すグラフである。瞳孔径が２ｍｍ以下の場合、覚醒度低下係数Ｒ１１は１であり、瞳孔径が２ｍｍ以上になるにしたがい、覚醒度低下係数Ｒ１１は小さくなる。

図５（ｂ）は、覚醒度低下係数Ｒ１２と運転者の心拍数との関係を示すグラフである。心拍数が５０ｂｐｍ以下の場合、覚醒度低下係数Ｒ１２は１であり、心拍数が５０ｂｐｍ以上になるにしたがい、覚醒度低下係数Ｒ１２は小さくなる。

図５（ｃ）は、覚醒度低下係数Ｒ１３と運転者のあくびの頻度との関係を示すグラフである。所定時間ごとのあくびの回数が増加するにしたがい、覚醒度低下係数Ｒ１３は１に近づく。

以上説明したように、覚醒度判断部１４は、覚醒度低下係数Ｒ１１〜Ｒ１３を用いて覚醒度低下量Ｒ１を算出する。なお、本実施形態では、覚醒度低下係数Ｒ１１〜Ｒ１３を用いて覚醒度低下量Ｒ１を算出したが、覚醒度低下係数Ｒ１１〜Ｒ１３のうち１つあるいは２つを用いて覚醒度低下量Ｒ１を算出してもよい。また、運転者の覚醒度に関する要素はこれに限られるものではない。例えば、運転者のまばたきの長さや目をこする頻度、眼球の停留時間などを用いて覚醒度低下量Ｒ１を算出してもよい。

次に、ステップＳ１０４において、会話判断部１３は、運転から意識が離れている量Ｒ２（％）を算出する。運転から意識が離れている量Ｒ２とは、運転者の運転に対する意識の離れ具合を示す指標であり、数値が高いほど、運転に対する意識が離れていると判断される。運転から意識が離れている量Ｒ２は、運転から意識が離れている係数Ｒ２１，Ｒ２２，Ｒ２３を用いて次式で表される。
Ｒ２＝Ｒ２１×Ｒ２２×Ｒ２３×１００
ここで、図６を参照して、運転から意識が離れている係数Ｒ２１〜Ｒ２３について説明する。運転から意識が離れている係数Ｒ２１〜Ｒ２３とは、運転から意識が離れている量Ｒ２と同様に、運転に対する意識の離れ具合を示す指標である。

図６（ａ）は、運転から意識が離れている係数Ｒ２１と返答までの時間との関係を示すグラフである。返答までの時間とは、乗員または車両の会話に対する運転者の返答までに要する時間である。この時間が短いほど会話に集中しているため、運転から意識が離れている係数Ｒ２１は１に近づく。

図６（ｂ）は、運転から意識が離れている係数Ｒ２２と発話速度との関係を示すグラフである。発話速度とは、運転者の発話の速さである。発話速度が速いほど会話に集中しているため、運転から意識が離れている係数Ｒ２２は１に近づく。

図６（ｃ）は、運転から意識が離れている係数Ｒ２３とピッチ変動との関係を示すグラフである。ピッチ変動とは、運転者の声の周波数である。ピッチ変動が小さいほど会話に集中しているため、運転から意識が離れている係数Ｒ２３は１に近づく。

以上説明したように、会話判断部１３は、運転から意識が離れている係数Ｒ２１〜Ｒ２３を用いて運転から意識が離れている量Ｒ２を算出する。なお、本実施形態では、運転から意識が離れている係数Ｒ２１〜Ｒ２３を用いて運転から意識が離れている量Ｒ２を算出したが、運転から意識が離れている係数Ｒ２１〜Ｒ２３のうち１つあるいは２つを用いて運転から意識が離れている量Ｒ２を算出してもよい。

次に、ステップＳ１０５において、運転意識量推定部１５は、運転への意識量Ｒ（％）を算出する。運転への意識量Ｒとは、運転者の運転に対する意識具合を示す指標であり、数値が高いほど、運転者の運転に対する意識は高いと判断される。運転への意識量Ｒは、覚醒度低下量Ｒ１および運転から意識が離れている量Ｒ２を用いて次式で表される。
Ｒ＝（１００−Ｒ１）×（１００−Ｒ２）／１００
なお、運転への意識量Ｒは、覚醒度低下量Ｒ１と運転から意識が離れている量Ｒ２のうち、どちらか一方を用いて算出することもできる。この場合、どちらか一方の値を０とすればよい。

次に、ステップＳ１０６において、情報呈示制御部１６は、運転への意識量ＲがＲｌｉｍｉｔ（所定値）より大きいか否かを判定する。運転への意識量ＲがＲｌｉｍｉｔより大きい場合はステップＳ１０７に処理が進み、運転への意識量ＲがＲｌｉｍｉｔ以下の場合はステップＳ１０８に処理が進む。

ステップＳ１０７において、情報呈示制御部１６は、ディスプレイ１７に運転支援情報を呈示して、この処理を終了する。

一方、ステップＳ１０８に処理が進んだ場合、システム状態判断部９は、システム自信度Ｓ１（％）を算出する。システム自信度Ｓ１とは、自動運転のシステム状態の好調具合を示す指標であり、数値が高いほど、システム状態は好調と判断される。システム自信度Ｓ１は、システム自信係数Ｓ１１，Ｓ１２，Ｓ１３を用いて次式で表される。
Ｓ１＝Ｓ１１×Ｓ１２×Ｓ１３×１００
ここで、図７を参照して、システム自信係数Ｓ１１〜Ｓ１３について説明する。システム自信係数Ｓ１１〜Ｓ１３とは、システム自信度Ｓ１と同様にシステム状態の好調具合・不調具合を示す指標である。

図７（ａ）は、システム自信係数Ｓ１１とセンサ検出率との関係を示すグラフである。センサ検出率とは、レーザーセンサなどの走行中の能力を最大能力で割り算した値である。具体的には、最大で２００ｍ前方の障害物を検出できるレーザーセンサの場合、雨や霧などの走行環境の悪化により１００ｍ前方の障害物までしか検出できないときは、０．５がセンサ検出率となる。センサ検出率が高いほどシステム状態が好調であるため、システム自信係数Ｓ１１は１に近づく。

図７（ｂ）は、システム自信係数Ｓ１２とＣＰＵ負荷率との関係を示すグラフである。ＣＰＵ負荷率とは、自動運転制御に係るＣＰＵの走行中の負荷率である。ＣＰＵ負荷率が低いほどシステム状態が好調であるため、システム自信係数Ｓ１２は１に近づく。

図７（ｃ）は、システム自信係数Ｓ１３と軌跡・目標値演算結果の確からしさとの関係を示すグラフである。軌跡・目標値演算結果の確からしさとは、設定した走行経路に沿って自動運転が行われているか否かを数値として表す指標である。数値が高くなるほど、設定した走行経路に沿って自動運転が行われていることを示し、数値が低くなるほど、設定した走行経路とは異なる経路を自動運転が走行していることを示す。数値が低くなる例として、白線消失や道路工事によって、設定した走行経路を自動運転が認識できず、異なる経路に沿って走行する場合が挙げられる。すなわち、この数値が低いほど、自動運転のシステム状態が不調であることを示すことになる。換言すれば、この数値が高くなるほど、システム状態が好調であるため、システム自信係数Ｓ１３は１に近づく。

以上説明したように、システム状態判断部９は、システム自信係数Ｓ１１〜Ｓ１３を用いてシステム自信度Ｓ１を算出する。なお、本実施形態では、システム自信係数Ｓ１１〜Ｓ１３を用いてシステム自信度Ｓ１を算出したが、システム自信係数Ｓ１１〜Ｓ１３のうち１つあるいは２つを用いてシステム自信度Ｓ１を算出してもよい。

次に、ステップＳ１０９において情報呈示制御部１６は、システム自信度Ｓ１がＳｌｉｍｉｔ（所定値）より大きいか否かを判定する。システム自信度Ｓ１がＳｌｉｍｉｔより大きい場合はステップＳ１１１に処理が進み、システム自信度Ｓ１がＳｌｉｍｉｔ以下の場合はステップＳ１１０に処理が進む。

ステップＳ１１０において、情報呈示制御部１６は、自動運転のシステム状態が不調であることを示す情報をディスプレイ１７に呈示して、この処理を終了する。

一方、ステップＳ１１１において、情報呈示制御部１６は、自動運転のシステム状態が好調であることを示す情報をディスプレイ１７に呈示して、この処理を終了する。

以上説明したように、本実施形態の車両用情報呈示装置は、運転者の運転への意識量Ｒを推定し、推定した運転者の運転への意識量Ｒに応じて、情報を切り替えてディスプレイ１７に呈示する。これにより、車両用情報呈示装置は、自動運転に対して安心できる情報や運転者に注意喚起を行う情報を切り替えてディスプレイ１７に呈示することができ、運転者に適切な情報を知らせることができる。

また、本実施形態の車両用情報呈示装置は、自動運転のシステム状態を判断し、運転者の運転への意識量ＲがＲｌｉｍｉｔ以下のとき、システム状態をディスプレイ１７に呈示する。運転への意識が低い場合に、運転支援情報を呈示すると、運転者はわずらわしく感じることもある。そこで、運転への意識が低い場合、簡単な画像を用いてシステム状態を呈示することにより、運転者に対してわずらわしさを与えることがなくなる。さらに運転者は一目でシステム状態を把握することができるため、運転者の自動運転に対する監視負担は軽減する。

また、本実施形態の車両用情報呈示装置は、自動運転のシステム状態の好調具合を示すシステム自信度Ｓ１を算出し、システム自信度Ｓ１がＳｌｉｍｉｔ以下の場合、システム状態が不調であることを示す情報をディスプレイ１７に呈示する。このとき、車両用情報呈示装置は、目に付きやすい赤色の画像２２を呈示することにより、運転への意識が低い運転者に対して注意喚起を行うことができる。これにより、運転への意識は向上し、急に自動運転から手動運転に変わって慌てるといった事態を防ぐことができる。

また、本実施形態の車両用情報呈示装置は、システム自信度Ｓ１がＳｌｉｍｉｔより大きい場合、システム状態が好調であることを示す情報をディスプレイ１７に呈示する。このとき、車両用情報呈示装置は、緑色の画像２１を呈示する。これにより、運転者は一目でシステム状態が好調であることが把握でき、自動運転に対して安心できる。

また、本実施形態の車両用情報呈示装置は、運転者の状態を検出し、運転者の運転への意識量Ｒを推定する。これにより、車両用情報呈示装置は、精度よく運転者の運転への意識量Ｒを推定することができる。

また、本実施形態の車両用情報呈示装置は、車室内の会話から運転者の音声を検出し、検出した音声に基づいて運転者の運転への意識量Ｒを推定する。これにより、車両用情報呈示装置は、精度よく運転者の運転への意識量Ｒを推定することができる。

また、本実施形態の車両用情報呈示装置は、車室内の会話から運転者の返答までの時間、発話速度、ピッチ変動のうち少なくとも一つを検出する。これにより、車両用情報呈示装置は、精度よく運転者の運転への意識量Ｒを推定することができる。

また、本実施形態の車両用情報呈示装置は、さらに運転者の顔画像と心拍数を用いて運転者の運転への意識量Ｒを推定する。これにより、車両用情報呈示装置は、精度よく運転者の運転への意識量Ｒを推定することができる。

また、本実施形態の車両用情報呈示装置は、運転者の顔画像から瞳孔径の大きさ、あくびの頻度、まばたきの長さ、目をこする頻度のうち少なくとも一つを検出する。これにより、車両用情報呈示装置は、精度よく運転への意識量Ｒを推定することができる。

また、本実施形態の車両用情報呈示装置は、運転者の運転への意識量ＲがＲｌｉｍｉｔより大きい場合、運転支援情報をディスプレイ１７に呈示する。運転支援情報には走行軌跡上の障害物や走行方向などを示す情報が含まれるため、運転者は運転支援情報を確認することにより、自動運転から手動運転にスムーズに移行することができる。すなわち、運転者は余裕を持って運転を引き継ぐことができるため、自動運転に対して安心することができる。

また、本実施形態の車両用情報呈示装置は、システム状態が異常だと判断した場合、システム状態が異常であることを示す情報をディスプレイ１７に目立たせて呈示するため、運転者に強く注意を促すことができる。

なお、本実施形態では、図２、図３に示すように、システム状態の情報量を、運転支援の情報量と比べて少なくしている。そして、本実施形態において、車両用情報呈示装置がシステム状態情報を呈示するのは、運転者の運転への意識が低い場合である。すなわち、車両用情報呈示装置は、運転への意識が低い運転者に対して、呈示する情報量を減らしている。このように、呈示する情報量を減らすことにより、運転への意識が低い運転者に対しても、適切な情報を知らせることができる。

［第２の実施形態］
次に、本発明の第２実施形態について説明する。第２実施形態が、第１実施形態と相違する点は、運転への意識量を推定するに際し、音声ではなく、姿勢を用いることである。第１実施形態と同じ部分については、同一符号を付することによりその詳細な説明を省略する。

第２実施形態として示す車両用情報呈示装置は、図８に示すように、マイク１０および会話判断部１３代えて、圧力センサ２３および姿勢判断部２４を備えた点で、上述した第１実施形態として示した車両用情報呈示装置とは異なる。

圧力センサ２３は、乗員の姿勢を検出するための感圧センサであり、シートの背もたれ部に埋設される。

姿勢判断部２４は、圧力センサ２３が検出したシートバックに掛かる圧力から乗員の姿勢を判断する装置であり、ＣＰＵ，ＲＡＭ，ＲＯＭ、ハードディスク等の記憶手段からなる一体型のコンピュータとして構成される。なお、本実施形態において、圧力センサ２３、カメラ１１および心拍数計測部１２は、運転者だけでなく、運転者以外の乗員のデータを取得できるよう車室内に配置される。

次に、図９のフローチャートを参照して、車両用情報呈示装置が行う情報提示処理を説明する。このフローチャートは、自動運転のスイッチがオンされると開始する。

まず、ステップＳ３０１において、システム状態判断部９は、自動運転のシステム状態が正常か否かを判断する。システム状態が正常である場合は、ステップＳ３０３に処理が進み、システム状態が正常でない場合は、ステップＳ３０２に処理が進む。

ステップＳ３０２において、情報呈示制御部１６は、自動運転のシステム状態が異常であることを示す情報をディスプレイ１７に呈示して、この処理を終了する。

一方、ステップＳ３０３に処理が進んだ場合、覚醒度判断部１４は、覚醒度低下量Ｒ１を算出する。

次に、ステップＳ３０４において、姿勢判断部２４は、運転から意識が離れている量Ｒ２’（％）を算出する。運転から意識が離れている量Ｒ２’とは、乗員の運転に対する意識の離れ具合を示す指標であり、数値が高いほど、運転に対する意識が離れていると判断される。運転から意識が離れている量Ｒ２は、運転から意識が離れている係数Ｒ２４を用いて次式で表される。
Ｒ２’＝Ｒ２４×１００
ここで、図１０を参照して、運転から意識が離れている係数Ｒ２４について説明する。運転から意識が離れている係数Ｒ２４とは、運転から意識が離れている量Ｒ２’と同様に、運転に対する意識の離れ具合を示す指標である。

図１０は、運転から意識が離れている係数Ｒ２４と座圧の関係を示すグラフである。座圧は、シートバックに掛かる圧力である。乗員がシートバックの角度を調整し、シートバックがシートクッションに対して後傾するほど座圧は増加し、運転から意識が離れている係数Ｒ２４は１に近づく。換言すると、乗員がシートバックを倒しリラックスした姿勢になると、運転から意識が離れている係数Ｒ２４は１に近づく。なお、シートにリクライニングを感知するリクライニングセンサを設け、リクライニングセンサの出力を用いて運転から意識が離れている量Ｒ２’を算出してもよい。

次に、ステップＳ３０５において、運転意識量推定部１５は、運転への意識量Ｒ’（％）を算出する。運転への意識量Ｒ’とは、乗員の運転に対する意識具合を示す指標であり、数値が高いほど、乗員の運転に対する意識は高いと判断される。運転への意識量Ｒ’は、覚醒度低下量Ｒ１および運転から意識が離れている量Ｒ２’を用いて次式で表される。
Ｒ’＝（１００−Ｒ１）×（１００−Ｒ２’）／１００
なお、運転への意識量Ｒ’は、覚醒度低下量Ｒ１と運転から意識が離れている量Ｒ２’のうち、どちらか一方を用いて算出することもできる。この場合、どちらか一方の値を０とすればよい。

次に、ステップＳ３０６において、情報呈示制御部１６は、運転への意識量Ｒ’がＲｌｉｍｉｔ（所定値）より大きいか否かを判定する。運転への意識量Ｒ’がＲｌｉｍｉｔより大きい場合はステップＳ３０７に処理が進み、運転への意識量Ｒ’がＲｌｉｍｉｔ以下の場合はステップＳ３０８に処理が進む。

ステップＳ３０７において、情報呈示制御部１６は、ディスプレイ１７に運転支援情報を呈示して、この処理を終了する。

一方、ステップＳ３０８に処理が進んだ場合、システム状態判断部９は、システム自信度Ｓ１を算出する。

次に、ステップＳ３０９において情報呈示制御部１６は、システム自信度Ｓ１がＳｌｉｍｉｔ（所定値）より大きいか否かを判定する。システム自信度Ｓ１がＳｌｉｍｉｔより大きい場合はステップＳ３１１に処理が進み、システム自信度Ｓ１がＳｌｉｍｉｔ以下の場合はステップＳ３１０に処理が進む。

ステップＳ３１０において、情報呈示制御部１６は、自動運転のシステム状態が不調であることを示す情報をディスプレイ１７に呈示して、この処理を終了する。

一方、ステップＳ３１１において、情報呈示制御部１６は、自動運転のシステム状態が好調であることを示す情報をディスプレイ１７に呈示して、この処理を終了する。

以上説明したように、本実施形態の車両用情報呈示装置は、乗員の姿勢を検出し、検出した乗員の姿勢に基づいて乗員の運転への意識量Ｒ’を推定する。推定した乗員の運転への意識量Ｒ’に応じて、情報を切り替えてディスプレイ１７に呈示する。これにより、車両用情報呈示装置は、自動運転に対して安心できる情報や運転者に注意喚起を行う情報を切り替えてディスプレイ１７に呈示することができ、乗員に適切な情報を知らせることができる。また、車両用情報呈示装置は、運転者だけでなく、運転者以外の乗員も監視することにより、運転者を含む乗員の運転への意識量Ｒ’を推定できる。これにより、車両用情報呈示装置は、運転者を含む乗員の運転への意識量Ｒ’に応じて、情報を切り替えることができ、運転者以外の乗員にも自動運転に対する安心感を与えることができる。

なお、上述した実施形態は、本発明の一適用例を例示的に示したものであり、本発明の技術的範囲がこれらの実施形態として開示した内容に限定されることを意図するものではない。つまり、本発明の技術的範囲は、上述した各実施形態で開示した具体的な技術事項に限らず、この開示から容易に導きうる様々な変形、変更、代替技術なども含むものである。

例えば、自動運転から手動運転に移行させたい場合、運転支援情報として図１１（ａ）に示すように、ステアリングホイールを模した画像２５をディスプレイ１７に呈示し、さらにその背景の画像２６を不規則な動きでディスプレイ１７に呈示してもよい。これにより、運転者に対して手動運転に移行するように注意喚起を行うことができる。そして運転者は、画像２５を見ることで、ステアリングホイールを操作する状況であることが一目でわかる。なお、ステアリングホイールの代わりにペダルを模した画像を呈示してもよい。画像２６の色は限定されるものではなく、手動運転に移行させたい度合いによって変更することができる。例えば、手動運転に移行させたい度合いが低ければ緑色にすることができ、手動運転に移行させたい度合いが高ければ赤色にすることができる。また、図１１（ｂ）に示すように、手動運転に移行する際に運転者が操作するステアリングホイールの方向を画像２７のように呈示してもよい。これにより、運転者はスムーズに手動運転に移行することができる。

９ システム状態判断部
１０ マイク（音声検出部）
１１ カメラ（撮影部）
１２ 心拍数計測部
１３ 会話判断部（乗員状態検出部）
１４ 覚醒度判断部（乗員状態検出部）
１５ 運転意識量推定部
１６ 情報呈示制御部
２３ 圧力センサ（姿勢検出部）
２４ 姿勢判断部（乗員状態検出部）

図１は、本発明の第１実施形態に係る車両用情報呈示装置が用いられる自動運転車両の構成を示すブロック図である。 図２は、ディスプレイに呈示する運転支援情報の２つの例である。 図３は、ディスプレイに呈示するシステム状態情報の２つの例である。 図４は、第１実施形態に係る車両用情報呈示装置が行う情報提示処理を説明するフローチャートである。 図５（ａ）は、覚醒度低下係数Ｒ１１と運転者の瞳孔径との関係を示すグラフである。図５（ｂ）は、覚醒度低下係数Ｒ１２と運転者の心拍数との関係を示すグラフである。図５（ｃ）は、覚醒度低下係数Ｒ１３と運転者のあくびの頻度との関係を示すグラフである。 図６（ａ）は、運転から意識が離れている係数Ｒ２１と返答までの時間との関係を示すグラフである。図６（ｂ）は、運転から意識が離れている係数Ｒ２２と発話速度との関係を示すグラフである。図６（ｃ）は、運転から意識が離れている係数Ｒ２３とピッチ変動との関係を示すグラフである。 図７（ａ）は、システム自信係数Ｓ１１とセンサ検出率との関係を示すグラフである。図７（ｂ）は、システム自信係数Ｓ１２とＣＰＵ負荷率との関係を示すグラフである。図７（ｃ）は、システム自信係数Ｓ１３と軌跡・目標値演算結果の確からしさとの関係を示すグラフである。 図８は、本発明の第２実施形態に係る車両用情報呈示装置が用いられる自動運転車両の構成を示すブロック図である。 図９は、第２実施形態に係る車両用情報呈示装置が行う情報提示処理を説明するフローチャートである。 図１０は、運転から意識が離れている係数Ｒ２４と座圧の関係を示すグラフである。 図１１は、ディスプレイに呈示する運転支援情報の他の例である。

Claims (13)

1. 車両の走行制御を自動的に行う自動運転制御と運転者による手動運転制御とを切り替えて制御する自動運転車両に用いられる車両用情報呈示装置であって、
   運転者の運転への意識量を推定する運転意識量推定部と、
   前記運転意識量推定部によって推定された前記運転者の運転への意識量に応じて、前記運転者に呈示する情報を切り替える情報呈示制御部と
   を備えることを特徴とする車両用情報呈示装置。
2. 自動運転のシステム状態を判断するシステム状態判断部をさらに備え、
   前記情報呈示制御部は、前記運転者の運転への意識量が第１の所定値以下のとき、前記システム状態を前記運転者に呈示することを特徴とする請求項１に記載の車両用情報呈示装置。
3. 前記システム状態判断部は、前記システム状態に関するシステム自信度を算出し、
   前記情報呈示制御部は、前記システム自信度が第２の所定値以下のとき、前記システム状態が不調であることを示す情報を前記運転者に呈示することを特徴とする請求項２に記載の車両用情報呈示装置。
4. 前記システム状態判断部は、前記システム状態に関するシステム自信度を算出し、
   前記情報呈示制御部は、前記システム自信度が第２の所定値より大きいとき、前記システム状態が好調であることを示す情報を前記運転者に呈示することを特徴とする請求項２または３に記載の車両用情報呈示装置。
5. 前記運転者の運転への意識量を推定するために、前記運転者を含む乗員の状態を検出する乗員状態検出部をさらに備えることを特徴とする請求項１〜４のいずれか1項に記載の車両用情報呈示装置。
6. 前記乗員状態検出部は、車室内の音声を検出する音声検出部を有し、
   前記運転意識量推定部は、前記音声検出部によって検出された音声に基づいて、前記運転者の運転への意識量を推定することを特徴とする請求項５に記載の車両用情報呈示装置。
7. 前記乗員状態検出部は、前記車室内の音声から前記運転者の音声と運転者以外の音声を検出し、さらに前記運転者以外の音声から前記運転者の音声までの時間、前記運転者の発話速度、前記運転者のピッチ変動のうち少なくとも１つを検出することを特徴とする請求項６に記載の車両用情報呈示装置。
8. 前記乗員状態検出部は、
   前記運転者の顔画像を撮影する撮影部と、
   前記運転者の心拍数を計測する心拍数計測部とをさらに有し、
   前記運転意識量推定部は、前記撮影部によって撮影された顔画像と、心拍数計測部によって計測された心拍数と、前記車室内の音声とに基づいて、前記運転者の運転への意識量を推定することを特徴とする請求項６または７に記載の車両用情報呈示装置。
9. 前記乗員状態検出部は、前記顔画像から瞳孔径の大きさ、あくびの頻度、まばたきの長さ、目をこする頻度のうち少なくとも一つを検出することを特徴とする請求項８に記載の車両用情報呈示装置。
10. 前記乗員状態検出部は、
    前記乗員の姿勢を検出する姿勢検出部を有し、
    前記運転意識量推定部は、前記姿勢検出部によって検出された姿勢に基づいて、前記乗員の運転への意識量を推定することを特徴とする請求項５に記載の車両用情報呈示装置。
11. 前記情報呈示制御部は、前記運転者の運転への意識量が第１の所定値より大きい場合、運転支援に関する情報を前記運転者に呈示することを特徴とする請求項１〜１０のいずれか１項に記載の車両用情報呈示装置。
12. 前記運転支援に関する情報は、自動運転から手動運転に切り替わる際に前記運転者が行う操作に関する情報であることを特徴とする請求項１１に記載の車両用情報呈示装置。
13. 前記情報呈示制御部は、前記システム状態判断部によって前記システム状態に異常があると判断された場合、前記システム状態が異常であることを示す情報を前記運転者に呈示することを特徴とする請求項２〜４のいずれか１項に記載の車両用情報呈示装置。

Images