JP7846943B2 - 運転支援装置、運転支援システム、及び運転支援方法 - Google Patents

Description

本開示は、運転支援装置、運転支援システム、及び運転支援方法に関する。

運転者は、信号機、道路標識、車線等に基づき、歩行者および障害物等に注意しながら、交通法規に従って車両の運転を行う。車両が走行する道路状況は、刻々と変化するため、道路状況の変化に応じて運転を支援する情報を提示できれば、安全運転等に資することができる。

例えば特許文献１には、運転者の周囲環境および運転者の視線の動きに基づいて、運転者の注意機能低下状態を推定し、運転支援を行う手法が開示されている。また、特許文献２には、視線方向情報、走行環境情報、運転技能情報等に基づいて、運転者の視覚による認識のしやすさを示す視覚的認識度を算出し、運転者に提示する表示情報の表示位置等を制御する手法が開示されている。

特開２０２１－１３０３８９号公報 国際公開第２０２０／２０８８０４号

しかしながら、疲労などによる注意機能低下が起こっていないときや、交通環境が視覚による認識をしやすいときであっても、人は認知要因の交通事故や交通ヒヤリハットを起こすことがある。したがって、特許文献１，２の技術であっても、運転者の認知要因の交通事故や交通ヒヤリハットを充分に抑制することは困難である。

本開示は、運転者が運転に対して万全な状態であっても、かつ／または交通環境が認識しやすい状況にあっても、注意すべき対象に注意しにくい状態を把握して、運転者への情報提示を適切に行うことができる運転支援装置、運転支援システム、及び運転支援方法を提供することを目的とする。

本開示にかかる運転支援装置は、車両の周囲を撮像する車外向けカメラが撮像した前記車両の進行方向の画像から予測される予測画像と、実際の状況が撮像された実画像と、の差である予測誤差を算出する予測誤差演算部と、前記予測誤差に基づいて、運転者の注意状態を推定する注意状態推定部と、前記注意状態に基づいて、その時々の運転に対しより適正な注意状態、かつ／または運転操作への行動変容かつ／または意識変容を促す運転支援情報を出力する出力制御部と、を備え、前記注意状態推定部は、前記画像内の複数領域のうち前記予測誤差が所定の閾値より大きい領域を、前記運転者の注意を惹き付けやすい領域であるとの推定のもとに抽出し、前記抽出した領域が前記複数領域の中央から偏っているか、一部に集中し過ぎているか、全体に分散し過ぎているか、の１つ以上の状態を推定し、前記画像内における推定結果に基づき運転者の注意状態を推定する。

本開示にかかる運転支援装置、運転支援システム、及び運転支援方法によれば、運転者の日常の運転で、運転に対して万全な状態であっても、かつ／または交通環境が認識しやすい状況にあっても、注意すべき対象に注意しにくい状態を把握し、その時々の運転に対しより適正な注意状態、かつ／または運転操作への行動変容かつ／または意識変容を促す情報提示を行うことができる。

図１は、実施形態１にかかる車両の構成の一例を示すブロック図である。 図２は、実施形態１にかかる運転支援装置の機能構成の一例を周辺機器とともに示すブロック図である。 図３は、実施形態１にかかる運転支援装置が予測誤差を算出する動作の流れを示す模式図である。 図４は、実施形態１にかかる運転支援装置が依拠する予測誤差と、実験の参加者が視線を向けた先との相関関係を表すグラフである。 図５は、実施形態１にかかる運転支援装置の情報提示動作の流れを示す模式図である。 図６は、実施形態１にかかる運転支援装置の他の情報提示例を示す模式図である。 図７は、実施形態１にかかる運転支援装置が行う運転支援処理の手順の一例を示すフロー図である。 図８は、実施形態１の変形例１にかかる運転支援装置が提示情報の数または量を変更する場合の例を示す模式図である。 図９は、実施形態１の変形例１にかかる運転支援装置が提示情報の種類を変更する場合の例を示す模式図である。 図１０は、実施形態１の変形例１にかかる運転支援装置が提示情報の種類を変更する場合の例を示す模式図である。 図１１は、実施形態１の変形例１にかかる運転支援装置が提示情報の位置を変更する場合の例を示す模式図である。 図１２は、実施形態１の変形例２にかかる運転支援装置が、予測誤差が大きい領域が時系列で散在している場合に生成する運転支援情報の一例を示す模式図である。 図１３は、実施形態１の変形例２にかかる運転支援装置が、運転者の注意状態に偏りがある場合の他の情報提示例を示す模式図である。 図１４は、実施形態１の変形例２にかかる運転支援装置が、運転者の注意状態に偏りがある場合の他の情報提示例を示す模式図である。 図１５は、実施形態１の変形例２にかかる運転支援装置が、運転者の注意状態に偏りがある場合の他の情報提示例を示す模式図である。 図１６は、実施形態１の変形例２にかかる運転支援装置が、予測誤差が大きい領域が時系列で局在している場合に生成する運転支援情報の一例を示す模式図である。 図１７は、実施形態１の変形例２にかかる運転支援装置が、予測誤差が大きい領域が時系列で遍在している場合に生成する運転支援情報の一例を示す模式図である。 図１８は、実施形態１の変形例２にかかる運転支援装置が、予測誤差が大きい領域が時系列で増減していく場合に生成する運転支援情報の一例を示す模式図である。 図１９は、実施形態１の変形例２にかかる運転支援装置が、予測誤差が大きい領域が時系列で殆ど発生しない場合に生成する運転支援情報の一例を示す模式図である。 図２０は、実施形態１の変形例２にかかる運転支援装置が運転者の漫然運転を抑制する場合の他の提示例を示す模式図である。 図２１は、実施形態１の変形例２にかかる運転支援装置が運転者の漫然運転を抑制する場合の更に他の提示例を示す模式図である。 図２２は、実施形態１の変形例３にかかる運転支援装置が画像を２分割して運転支援情報を生成する場合の一例を示す模式図である。 図２３は、実施形態１の変形例３にかかる運転支援装置が画像を２分割して運転支援情報を生成する場合の他の例を示す模式図である。 図２４は、実施形態１の変形例４にかかる運転支援装置の機能構成の一例を周辺機器とともに示すブロック図である。 図２５は、実施形態１の変形例４にかかる運転支援装置の情報提示例を示す模式図である。 図２６は、実施形態１の変形例５にかかる運転支援装置の機能構成の一例を周辺機器とともに示すブロック図である。 図２７は、実施形態１の変形例５にかかる運転支援装置の情報提示例を示す模式図である。 図２８は、実施形態１の変形例５にかかる運転支援装置の他の情報提示例を示す模式図である。 図２９は、実施形態１の変形例５にかかる運転支援装置が潜在情報を提示させるメータディスプレイの構成の一例を示す模式図である。 図３０は、実施形態１の変形例５にかかる運転支援装置の潜在情報のメータディスプレイへの提示例を示す模式図である。 図３１は、実施形態１の変形例５にかかる運転支援装置が生成した提示情報を、ＨＵＤとメータディスプレイとに分割して表示させる例を示す模式図である。 図３２は、実施形態１の変形例５にかかる運転支援装置が生成した提示情報を、ＨＵＤとメータディスプレイとに分割して表示させる他の例を示す模式図である。 図３３は、実施形態１の変形例５にかかる運転支援装置が潜在情報を提示させるピラーディスプレイの構成の一例を示す模式図である。 図３４は、実施形態１の変形例５にかかる運転支援装置の潜在情報のピラーディスプレイへの提示例を示す模式図である。 図３５は、実施形態１の変形例５にかかる運転支援装置が生成した提示情報を、ＨＵＤとピラーディスプレイとに分割して表示させる例を示す模式図である。 図３６は、実施形態１の変形例５にかかる運転支援装置が生成した提示情報を、ＨＵＤとピラーディスプレイとに分割して表示させる他の例を示す模式図である。 図３７は、実施形態１の変形例５にかかる運転支援装置が生成した提示情報を、ＨＵＤとスピーカとに分割して提示させる例を示す模式図である。 図３８は、実施形態１の変形例５にかかる運転支援装置が生成した提示情報を、ＨＵＤとスピーカとに分割して表示させる他の例を示す模式図である。 図３９は、実施形態１の変形例５にかかる運転支援装置の潜在情報のＨＵＤの外周領域への提示例を示す模式図である。 図４０は、実施形態１の変形例５にかかる運転支援装置が潜在情報を提示させるＬＥＤディスプレイの構成の一例を示す模式図である。 図４１は、実施形態１の変形例５にかかる運転支援装置の潜在情報のＬＥＤディスプレイへの提示例を示す模式図である。 図４２は、実施形態１の変形例５にかかる運転支援装置が生成した提示情報を、ＬＥＤの点滅によってＬＥＤディスプレイに提示させる例を示す模式図である。 図４３は、実施形態１の変形例５にかかる運転支援装置が生成した提示情報を、ＬＥＤを複数色で点灯させることによってＬＥＤディスプレイに提示させる例を示す模式図である。 図４４は、実施形態１の変形例５にかかる運転支援装置が潜在情報を提示させるミラーディスプレイの構成の一例を示す模式図である。 図４５は、実施形態１の変形例５にかかる運転支援装置の潜在情報のミラーディスプレイへの提示例を示す模式図である。 図４６は、実施形態１の変形例６にかかる運転支援装置の機能構成の一例を周辺機器とともに示すブロック図である。 図４７は、実施形態１の変形例６にかかる運転支援装置の情報提示例を示す模式図である。 図４８は、実施形態１の変形例６にかかる運転支援装置の他の情報提示例を示す模式図である。 図４９は、実施形態１の変形例６にかかる運転支援装置の更に他の情報提示例を示す模式図である。 図５０は、実施形態１の変形例７にかかる運転支援装置の機能構成の一例を周辺機器とともに示すブロック図である。 図５１は、実施形態２にかかる運転支援装置の機能構成の一例を周辺機器とともに示すブロック図である。 図５２は、実施形態２にかかる運転支援装置が行う運転支援処理の手順の一例を示すフロー図である。 図５３は、実施形態３にかかる運転支援装置の機能構成の一例を周辺機器とともに示すブロック図である。 図５４は、実施形態３にかかる運転支援装置が行う運転支援処理の手順の一例を示すフロー図である。

以下、図面を参照しながら、本開示にかかる表示処理装置、表示処理方法、及び表示処理プログラムの実施形態について説明する。

［実施形態１］
実施形態１について図面を用いて説明する。

（車両の構成例）
図１は、実施形態１にかかる車両１００の構成の一例を示すブロック図である。図１には、車両１００に搭載される各種車載装置を示す。

図１に示すように、実施形態１の車両１００は、運転支援装置１０、電子制御ユニット（ＥＣＵ：Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）２０、ＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）制御部３０、検出装置４０、車両制御装置５０、及び情報提示装置６０を備えている。

車両１００が備えるこれらの車載装置は、例えばＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の車載ネットワークによって、互いに情報の授受が可能に接続されている。

運転支援装置１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍｅ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、記憶装置１４、及びＩ／Ｏ（Ｉｎ／Ｏｕｔ）ポート１５を備えるコンピュータとして構成されている。運転支援装置１０は、車両１００に搭載されるＥＣＵの１つであってもよい。

ＣＰＵ１１は、運転支援装置１０の全体を制御する。ＲＯＭ１２は、運転支援装置１０における保存領域として機能する。ＲＯＭ１２に記憶された情報は、運転支援装置１０の電源が切られても保持される。ＲＡＭ１３は、一次記憶装置として機能し、ＣＰＵ１１の作業領域となる。

ＣＰＵ１１が、例えばＲＯＭ１２等に格納された制御プログラムをＲＡＭ１３に展開して実行することで、以下に詳述する運転支援装置１０の各種機能が実現される。

記憶装置１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等であり、ＣＰＵ１１の補助記憶装置として機能する。Ｉ／Ｏポート１５は、例えばＨＭＩ制御装置３０、及び後述する車外向けカメラ４１等と各種情報の送受信が可能に構成されている。

このような構成により、運転支援装置１０は、ＨＭＩ制御装置３０及び情報提示装置６０を介して、少なくとも車両１００の進行方向の特定領域への注意喚起を促す情報を車両１００の運転者に提示して、運転者による車両１００の運転を支援する。

ＥＣＵ２０は、例えば図示しないＣＰＵ、ＲＯＭ、ＲＡＭ等を備える車載電子ユニット等のコンピュータとして構成されている。ＥＣＵ２０は、車両１００の各部の状態を検出する検出装置４０から検出結果を受信する。また、ＥＣＵ２０は、受信した検出結果に基づいて車両制御装置５０に各種指令を送信し、車両１００の動作を制御させる。

情報提示制御装置としてのＨＭＩ制御装置３０は、例えば図示しないＣＰＵ、ＲＯＭ、ＲＡＭ等を備えるコンピュータとして構成されている。ＨＭＩ制御装置３０は、ＣＰＵに替えて、あるいは加えて、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備えていてもよい。ＨＭＩ制御装置３０は、車両１００の運転者に各種情報を提示する情報提示装置６０を制御して、運転支援装置１０から出力される各種情報を提示させる。

検出装置４０は、車外向けカメラ４１、車内向けカメラ４２、車速センサ４３、アクセルセンサ４４、ブレーキセンサ４５、及び操舵角センサ４６等を備え、車両１００の各部の状態を検出し、ＥＣＵ２０へと送信する。

車外向けカメラ４１及び車内向けカメラ４２は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、またはＣＩＳ（ＣＭＯＳ Ｉｍａｇｅ Ｓｅｎｓｏｒ）等の撮像素子を内蔵するデジタルカメラである。

車外向けカメラ４１は、車両１００の周囲を撮像する。車両１００には、車両１００の前方、後方、及び側方等をそれぞれ撮像する複数の車外向けカメラ４１が取り付けられていてもよい。車外向けカメラ４１は、少なくとも車両１００の進行方向を撮像した画像データを運転支援装置１０に送信する。

車内向けカメラ４２は、車両１００の車室内に取り付けられており、例えば運転者の顔面等、車室内の様子を撮像する。

車速センサ４３は、車両１００が備える車輪の回転量から車両１００の速度を検知する。アクセルセンサ４４は、運転者によるアクセルペダルの操作量を検知する。ブレーキセンサ４５は、運転者によるブレーキペダルの操作量を検知する。操舵角センサ４６は、運転者によるステアリングホイールの操作量、つまり、操舵角を検知する。

車両制御装置５０は、ブレーキアクチュエータ５１、及びエンジンコントローラ５２を備え、ＥＣＵ２０からの指令にしたがって車両１００を減速させる等、危険を回避する動作等を車両１００に行わせる。

ブレーキアクチュエータ５１は、通常走行時はブレーキセンサ４５の検知結果に基づいて車両１００の車輪に制動をかける。エンジンコントローラ５２は、通常走行時はアクセルセンサ４４の検知結果に基づいてエンジンの出力制御を行って、車両１００の加減速制御を実行する。

車両制御装置５０は、ＥＣＵ２０からの指令にしたがって、例えばブレーキアクチュエータ５１を制御して車両１００に制動をかけることで、車両１００と障害物等との衝突回避を図る。これに替えて、または加えて、車両制御装置５０は、エンジンコントローラ５２により、エンジンの出力を例えば数秒間抑制させて車両１００の加速を抑制することで、車両１００と障害物等との衝突回避を図る。

情報提示装置６０は、ヘッドアップディスプレイ（ＨＵＤ：Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）６１、車内モニタ６２、及びスピーカ６３等を車両１００の車室内に備え、ＨＭＩ制御装置３０からの指令にしたがって各種情報を運転者に提示する。

ＨＵＤ６１は、速度、シフト位置、進行案内、及び警告等を、運転席の前方のフロントガラス（ウィンドウシールド）に投影する。

車内モニタ６２は、例えば液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、または有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等として構成されたインダッシュモニタ、またはオンダッシュモニタ等である。車内モニタ６２は、車両１００の周辺画像、進行案内、及び警告等を表示する。

スピーカ６３は、例えばダッシュボード等に組み込まれ、車両１００の周囲環境、進行案内、及び警告等を音声により運転者に提示する。

このような構成により、情報提示装置６０は、映像および音声等によって運転者に各種情報を提示する。情報提示装置６０が、発光ダイオード（ＬＥＤ：Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ディスプレイ等の上記以外のディスプレイを備えていてもよい。また、情報提示装置６０が、ステアリングホイール、アクセルペダル、ブレーキペダル、座席、ヘッドレスト、またはシートベルト等に設けられたバイブレータ等、振動などによって運転者に情報を提示する構成を備えていてもよい。

（運転支援装置の構成例）
次に、図２を用いて、実施形態１の運転支援装置１０の詳細構成について説明する。

図２は、実施形態１にかかる運転支援装置１０の機能構成の一例を周辺機器とともに示すブロック図である。図２に示すように、運転支援装置１０は、予測誤差演算部１１０、運転者注意状態推定部１２０、及び出力制御部１３０を機能構成として備える。

予測誤差演算部１１０は、車外向けカメラ４１により撮像された車両１００周辺の画像であって、例えば車両１００の進行方向の画像に基づいて、将来を予測した予測画像を生成する。また、予測画像時点における実画像を車外向けカメラ４１から取得し、予測画像と実画像との間の誤差を予測誤差として算出する。

このような予測誤差演算部１１０の機能は、例えば制御プログラムを実行するＣＰＵ１１によって実現される。

運転者注意状態推定部１２０は、予測誤差演算部１１０により算出された予測誤差に基づいて、運転者の注意状態を推定する。このとき、運転者注意状態推定部１２０は、車外向けカメラ４１から取得した画像を複数の領域に分割し、それぞれの領域がどれくらい運転者の注意を惹き付けやすいかを推定する。これにより、個々の領域ごとに運転者の注意状態を示すデータが得られる。

このような運転者注意状態推定部１２０の機能は、例えば制御プログラムを実行するＣＰＵ１１によって実現される。

出力制御部１３０は、運転者注意状態推定部１２０により推定された運転者の注意状態に基づいて、画像内の複数領域のうち、運転者への注意喚起を行う領域を決定する。また、出力制御部１３０は、決定した注意喚起を行う領域に関する情報を含む運転支援情報をＨＭＩ制御装置３０に出力する。運転支援情報には、例えば運転者に提示する提示情報、及び提示の態様等が、注意喚起を行う領域に紐づけられて含まれている。

このような出力制御部１３０の機能は、例えば制御プログラムを実行するＣＰＵ１１、及びＣＰＵ１１の制御下で動作するＩ／Ｏポート１５によって実現される。

ＨＭＩ制御装置３０は、運転支援装置１０から出力された運転支援情報に基づいて、上述の情報提示装置６０が備えるＨＵＤ６１、車内モニタ６２、及びスピーカ６３等の中から、運転者へ情報の提示を行わせる装置を選択し、画像内の複数領域のうち情報を提示する領域、及び提示の態様等を含む指令を選択した情報提示装置６０へと送信する。

これにより、情報提示装置６０は、例えば画像内の複数領域のうち注意喚起を行う領域に、所定の態様で情報提示を行う。すなわち、情報提示装置６０のうちＨＵＤ６１または車内モニタ６２が情報提示対象である場合には、ＨＵＤ６１または車内モニタ６２は、車外向けカメラ４１の画像を表示するとともに、及び画像の所定領域に提示情報を重畳して表示する。また、情報提示装置６０のうちスピーカ６３が情報提示対象である場合には、スピーカ６３は、例えば車両１００の進行方向等、車両１００の所定領域に注意を払うよう警告するアナウンス、警告音等の音声を車内に出力する。

（運転支援情報の生成例）
次に、図３～図５を用いて、実施形態１の運転支援装置１０による運転支援情報の生成例について説明する。

図３は、実施形態１にかかる運転支援装置１０が予測誤差を算出する動作の流れを示す模式図である。図３に示すように、運転支援装置１０の予測誤差演算部１１０は、予測モデル「ＰｒｅｄＮｅｔ」に基づいて予測画像を生成する。

ここで、「ＰｒｅｄＮｅｔ」は、大脳皮質における予測符号化の処理を模倣し、例えば深層学習の枠組みで構築された予測モデルである。「ＰｒｅｄＮｅｔ」については、例えば「Ｌｏｔｔｅｒ，Ｗ．，Ｋｒｅｉｍａｎ，Ｇ．，ａｎｄＣｏｘ，Ｄ．，「Ｄｅｅｐ ｐｒｅｄｉｃｔｉｖｅ ｃｏｄｉｎｇ ｎｅｔｗｏｒｋｓ ｆｏｒ ｖｉｄｅｏ ｐｒｅｄｉｃｔｉｏｎ ａｎｄ ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ」，ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１６０５．０８１０４」等の文献に詳述されている。

具体的には、予測誤差演算部１１０は、車外向けカメラ４１で撮像された２０フレーム等の複数フレーム分の画像が供給されると、予測モデル「ＰｒｅｄＮｅｔ」に基づいて、複数フレーム分の画像に対する将来フレームに相当する予測画像を生成する。

すなわち、例えば時刻ｔ_－２０～時刻ｔ_－１までの画像が供給されたとすると、予測誤差演算部１１０は、予測モデル「ＰｒｅｄＮｅｔ」に基づいて、時刻ｔ_０の将来フレームの予測画像を生成する。同様に、予測誤差演算部１１０は、時刻ｔ_－１９～時刻ｔ_－０までの画像から、時刻ｔ_１の将来フレームの予測画像を生成する。同様に、予測誤差演算部１１０は、時刻ｔ_－１８～時刻ｔ_－１までの画像から、時刻ｔ_２の将来フレームの予測画像を生成する。

このように、予測誤差演算部１１０は、１フレームずつ時刻がずれた画像を用いて、全ての画像について将来フレームの予測画像を生成する。なお、予測画像の生成に用いる画像のフレーム数は、例えば３０フレーム等の、設計等に応じた任意のフレーム数であってよい。

予測誤差演算部１１０は、生成した予測画像の時刻に、車外向けカメラ４１で実際に撮像された実画像を正解画像として、生成した予測画像と正解画像とをピクセル単位で比較し、両者の各ピクセル値の差分に基づいて予測誤差画像を生成する。

図３には、時刻ｔ_０における予測画像と、正解画像である時刻ｔ_０の実画像との各ピクセル値の差分に基づいて、時刻ｔ_０の予測誤差画像が生成された例を示している。

また、予測誤差演算部１１０は、予測誤差画像の各ピクセルの値を算出し、それぞれを予測誤差の値とする。また、予測誤差演算部１１０は、生成した予測画像の全体の画像領域を複数領域に分割し、個々の領域ごとに予測誤差の総和や平均値等を算出する。

ここで、個々の領域ごとの予測誤差の総和や平均値等、予測誤差に関わる値は、どの領域が、他の領域より運転者の注意を惹きやすいかを表す指標となる。

図４は、実施形態１にかかる運転支援装置１０が依拠する予測誤差と、実験の参加者が視線を向けた先との相関関係を表すグラフである。図４に示すグラフの横軸は、ランダムに選んだピクセルの予測誤差が閾値以上となる割合である。グラフの縦軸は、参加者が視線を向けた先の予測誤差が閾値以上となる割合である。図４のグラフは、以下のようにして得ることができる。

まず、運転者が見る運転時の前方映像のうち、運転者が視線を向けた先のピクセルの予測誤差の値を取得する。また、同様の映像からランダムに抽出したピクセルの予測誤差の値を取得する。また、予測誤差の閾値を最小値から最大値まで変化させ、取得した予測誤差が閾値以上となる割合を算出する。

グラフの横軸に、ランダムに選んだピクセルの予測誤差が閾値以上の割合をプロットし、グラフの縦軸に、参加者が視線を向けた先の予測誤差が閾値以上の割合をプロットし、図４に示すグラフを得る。これにより、図４のように描かれる曲線の下側の面積（ＡＵＣ：Ａｒｅａ Ｕｎｄｅｒ Ｃｕｒｖｅ）値から、予測誤差と、運転者が視線を向けた先との相関関係を評価する。

ここで、ＡＵＣ値が０．５より大きければ、予測誤差が大きい箇所に注意が惹き付けられる傾向があるとする。同様に、ＡＵＣ値が０．５であれば、これらの間には相関関係がないものとする。

運転支援装置１０の運転者注意状態推定部１２０は、以上の評価に基づいて、運転者の注意状態を推定するよう構成されている。すなわち、運転者注意状態推定部１２０は、予測誤差の値または分散値等に基づいて、運転者の注意を惹きやすい領域を推定する。より具体的には、運転者注意状態推定部１２０は、運転者の注意状態として、予測誤差から推定される運転者の注意を惹きやすい領域または運転者の注意を惹き難い領域が画像の中心部に対して左右等に偏っていたり、一部に集中し過ぎていたり、全体に分散し過ぎていたりする場合の状態等を推定する。このように、運転者注意状態推定部１２０は、予測誤差の値または分散値等の高低のみならず、予測誤差の空間的な配置等にも基づいて、運転者の注意状態を推定する。

実際の手順として、運転者注意状態推定部１２０は、車外向けカメラ４１の画像の全体の画像領域を、予測画像の複数領域と同様の複数領域に分割し、複数の領域における運転者の注意状態を推定する。つまり、例えば対象となる領域の予測誤差が大きいほど、その領域が運転者の注意を惹き付けやすいものと推定する。また、運転者注意状態推定部１２０は、上記のように、予測誤差の空間的な配置も運転者の注意状態の判定要件に加え、運転者の注意状態を推定する。

運転支援装置１０の出力制御部１３０は、個々の領域における運転者の注意状態に応じて、運転者への注意喚起等を行う領域を決定する。すなわち、予測誤差の値または分散値等に基づいて、運転者の注意状態に偏り等、運転者の注意状態が不適正な状態にあると推定された場合、運転者の注意が疎かになっている領域があると考えられる。したがって、出力制御部１３０は、運転者の注意が疎かになっていると推定された領域を、運転者への注意喚起を促す必要のある領域、あるいは運転者の注意を適正に戻す際に注意が行き届く必要のある領域として抽出する。

このように、運転者が充分に注意を払っておらず、運転者への注意喚起、あるいは注意補正を促す必要のある領域には、その時点で顕在化されていない潜在的な危険が含まれている可能性がある。例えば歩行者が車道に飛び出してきたなど、既に発生している事象を、その時点で顕在化されている危険とすると、車道の左端の生垣や路上駐車する車両や歩道に駐車する自転車などに運転者が無意識に注意を惹きつけられている状況は、右側から現れる車両等に対して素早く反応することを阻害する可能性があり、潜在的な危険となりうる。運転支援装置１０は、このような潜在的な危険を表す情報であっても運転者に提示することが可能である。運転支援装置１０によって運転者に知らされる情報を、これ以降、潜在情報などとも呼ぶ。

以上に基づく、ＨＵＤ６１及び車内モニタ６２における潜在情報の表示例を図５に示す。

図５は、実施形態１にかかる運転支援装置１０の情報提示動作の流れを示す模式図である。図５（Ａａ）～（Ａｂ）はＨＵＤ６１における潜在情報の表示例であり、図５（Ｂａ）～（Ｂｂ）は車内モニタ６２における潜在情報の表示例である。

なお、図５においては、ＨＵＤ６１及び車内モニタ６２の少なくともいずれかに情報提示を行う場合の例である。ただし、ＨＵＤ６１と車内モニタ６２とにそれぞれ異なる態様で情報を提示してもよく、また、異なる情報を提示してもよい。つまり、ＨＵＤ６１及び車内モニタ６２の両方に情報を提示する場合において、ＨＵＤ６１と車内モニタ６２との表示内容は異なっていてもよい。

図５（Ａａ）（Ｂａ）に示すように、運転者注意状態推定部１２０は、車外向けカメラ４１の画像を例えば縦×横が５個×５個の計２５個の複数領域に分割し、それぞれの領域における予測誤差の値の総和に基づいて、運転者の注意状態を推定する。

図５（Ａａ）（Ｂａ）では、予測誤差が高く、運転者の注意を惹きやすい領域にハッチングを施している。つまり、図５（Ａａ）（Ｂａ）の例では、例えば画像の左側手前の親子連れ、左側奥の２人の人物、及び画像の右側手前の歩道を歩く人物を含む領域等が、運転者の注意状態に偏りがあると推定される領域である。

ただし、運転者の注意状態の推定は、運転者注意状態推定部１２０の内部動作により行われるため、図５（Ａａ）（Ｂａ）は、ＨＵＤ６１及び車内モニタ６２の実際の表示例を示すものではない。

運転者注意状態推定部１２０は、運転者の注意状態を推定する際、１つ以上の閾値に基づいて予測誤差の値および分散値等を判定し、それに応じて、運転者の注意を惹きやすい領域または運転者の注意を惹き難い領域が画像の中心部に対して左右等に偏っていたり、一部に集中し過ぎていたり、全体に分散し過ぎていたりする等の状態を推定する。すなわち、例えば３つの閾値に基づいて予測誤差を、運転者の注意の惹き付けやすさに応じて低、中、高などに振り分け、運転者の注意の偏り、集中度合い、または分散度合い等を低、中、高などと対応させる。

出力制御部１３０は、運転者注意状態推定部１２０が推定した運転者の注意状態に基づいて、運転者への注意喚起を行う領域を決定する。つまり、運転者の注意を惹きつけやすい左側手前の親子連れ、及び左側奥の２人の人物を含む領域に相対する画像右側の領域、並びに画像の右側手前の歩道を歩く人物を含む領域に相対する画像左側の領域等は、運転者への注意喚起を行う領域となりうる。

出力制御部１３０は、運転者の注意を惹きやすい領域に相対する画像右側の領域、及び画像左側の領域に表示させる提示情報、及び提示の態様等を含む運転支援情報をＨＭＩ制御装置３０に出力する。このとき、出力制御部１３０は、予測誤差の値および分散値等に応じて推定された運転者の注意の偏り、集中度合い、または分散度合い等に基づいて、各々の領域に表示させる提示情報の注意喚起の強度の高低の情報を提示の態様に含めてもよい。

図５（Ａｂ）（Ｂｂ）に示すように、ＨＭＩ制御装置３０は、運転支援装置１０から出力された運転支援情報に基づいて、ＨＵＤ６１または車内モニタ６２に運転者に提示する情報を表示させる。

図５（Ａｂ）（Ｂｂ）の例では、ＨＵＤ６１または車内モニタ６２には、提示情報として、例えば潜在情報６０１～６０３、及び矢印６０４が表示されている。潜在情報６０１～６０３は、例えば歩行者等を示す丸印である。矢印６０４は、例えば車両１００の前方を指しており、車両１００の進行方向を示している。

また、図５（Ａｂ）（Ｂｂ）の例では、潜在情報６０１～６０３は、順に大きさ、つまり、丸印の直径が増している。これは、潜在情報６０１～６０３の表示領域に相対する領域の予測誤差から推察した運転者の注意の偏り等が順に増していることを示している。

すなわち、画像の右側手前の人物を示す潜在情報６０１が表示される領域に相対する、画像の左側手前の親子連れを含む領域に運転者の注意は惹かれやすく、これらの親子連れを示す潜在情報６０３が表示される領域に相対する、画像の右側手前の人物を含む領域に運転者の注意は惹かれにくいと考えられる。また、画像の左側奥の２人の人物を示す潜在情報６０２が表示される領域に相対する、画像の左側奥の領域の運転者の注意の偏りは中程度である。

実際のところ、運転者が、左側手前の親子連れに気を取られて、右側手前の人物に対する注意が疎かになることはあり得ることである。これに対し、右側手前の人物を示す潜在情報尾５０１を相対的に大きく表示することで、運転者の注意をより強力に喚起することができる。

このように、各領域の予測誤差に応じて運転者の注意の偏り等を推定し、このような偏りに相対する領域に表示する潜在情報６０１～６０３のサイズを変更することで、運転者の注意を行き届けさせる効果を調整することができる。

なお、出力制御部１３０が、潜在情報６０１～６０３のサイズに替えて、あるいは加えて、潜在情報６０１～６０３の輝度、色等を運転者の注意の偏り、集中度合い、または分散度合い等に応じて変更することで、運転者の注意を行き届けさせる効果を調整してもよい。

また、車両１００の進行方向を示す矢印６０４は、車両１００の進行方向の左右に気を取られがちな運転者の注意を車両１００の進行方向に戻すことができる。

なお、上記のように運転者の注意の偏り、集中度合い、または分散度合い等に１つ以上の閾値を設けた場合であっても、その閾値を超える大きさの運転者の注意の偏り、集中度合い、または分散度合い等が画像に含まれないこともありうる。このような場合の表示の一例を図６に示す。

図６は、実施形態１にかかる運転支援装置１０の他の情報提示例を示す模式図である。図６（ａ）はＨＵＤ６１における潜在情報の表示例であり、図６（ｂ）は車内モニタ６２における潜在情報の表示例である。

図６の例では、例えば３つの閾値に基づいて運転者の注意の偏り、集中度合い、または分散度合い等を判定した場合において、低、中、高のうち中程度の大きさに該当する運転者の注意の偏りしか画像に含まれていなかったものとする。

図６に示すように、このような場合、運転支援装置１０は、ＨＭＩ制御装置３０を介してＨＵＤ６１または車内モニタ６２により、運転者の注意の偏りの大きさが中程度であった領域に相対する領域、つまり、画像の左側奥の２人の人物を含む領域に、これらの人物を示す潜在情報６０２を表示させる。このとき、運転支援装置１０は、運転者の注意の偏りの大きさに応じたサイズの潜在情報６０２を含む運転支援情報をＨＭＩ制御装置３０に出力することができる。

なお、この場合にも、出力制御部１３０が、潜在情報６０１～６０３のサイズに替えて、あるいは加えて、潜在情報６０１～６０３の輝度、色等を運転者の注意の偏りに応じて変更することで、運転者の注意を行き届けさせる効果を調整してもよい。

このように、例えば潜在情報６０１～６０３の全てが表示されない場合等であっても、運転者の注意状態に応じた強度で、潜在情報６０１～６０３のいずれかを表示させることが好ましい。

また、運転支援装置１０は、車両１００が例えば低速度で走行している場合、あるいは、車両１００が停止している場合等には潜在情報を非表示とすることができる。これにより、不必要な情報を表示して、運転者を煩わせてしまうことを抑制可能である。

なお、上述の図５及び図６では、予測誤差の値または分散値等に基づいて、運転者の注意に偏りがあると推定された場合について説明した。しかし、上述のように、運転者の注意状態には、注意が偏っている場合の他、運転者の注意の集中度合いや分散度合い等も含まれ、運転支援装置１０は、このような運転者の注意状態が適正な状態にないと推定される場合を包括的に検出しうる。

したがって、運転支援装置１０は、予測誤差の値および分散値等に基づいて、例えば運転者の注意が１点に集中し過ぎている等と推定した場合には、運転者に車両１００周辺全体や画像全体に注意を払わせる効果のある情報提示を行ってもよい。また、運転支援装置１０は、予測誤差の値および分散値等に基づいて、例えば運転者の注意が全体に分散し過ぎている等と推定した場合には、運転者の注意を車両１００の進行方向や画像の中央部に惹き戻す効果のある情報提示を行ってもよい。

実施形態１の運転支援装置１０は、このように、予測誤差から推定される運転者の注意を惹きやすい領域または運転者の注意を惹き難い領域が画像の中心部に対して偏っていたり、一部に集中し過ぎていたり、全体に分散し過ぎていたりする場合等に、そのような領域に相対する領域に運転者の注意を喚起する情報を提示する。

また、スピーカ６３等に情報を提示させる場合、アナウンス、警告音等の音声の音量を調整することで、運転者の注意の偏り、集中度合い、または分散度合い等の大きさに応じた強度で運転者に情報を提示することができる。また、ステアリングホイール、アクセルペダル、ブレーキペダル、座席、ヘッドレスト、またはシートベルト等に設けられたバイブレータ等に情報を提示させる場合、振動の強度を調整することで、運転者の注意の偏り、集中度合い、または分散度合い等の大きさに応じた強度で運転者に情報を提示することができる。

（運転支援装置の処理例）
次に、図７を用いて、実施形態１の運転支援装置１０における運転支援処理の例について説明する。図７は、実施形態１にかかる運転支援装置１０が行う運転支援処理の手順の一例を示すフロー図である。

図７に示すように、運転支援装置１０の予測誤差演算部１１０は、複数の画像に基づき、それぞれの画像に対応する予測画像を生成し、これらの予測画像を複数領域に分割する（ステップＳ１１０）。また、予測誤差演算部１１０は、複数領域ごとに予測誤差の総和や平均値等、予測誤差に関わる値であって、運転者の注意状態の推定に使用可能な値を算出する（ステップＳ１２０）。

運転者注意状態推定部１２０は、車外向けカメラ４１が撮像した画像を同様に複数領域に分割し、予測誤差に関わる上記値に基づいて、所定の領域において運転者の注意状態が適正な状態にない度合いが閾値ＴＨ１より大きいか否かを判定する（ステップＳ１３０）。

予測誤差が閾値ＴＨ１より大きい場合（ステップＳ１３０：Ｙｅｓ）、運転者注意状態推定部１２０は、その領域に対する運転者の注意が偏っていたり、集中し過ぎていたり、分散し過ぎていたりする等、注意状態が不適正なものとなっている度合いが高いと推定する（ステップＳ１３２）。出力制御部１３０は、その領域に相対する領域を抽出し、抽出した領域に表示する提示情報の態様として、強度の注意喚起の強度を有する態様ＳＴ１を選択する（ステップＳ１３３）。

予測誤差が閾値ＴＨ１以下の場合（ステップＳ１３０：Ｎｏ）、運転者注意状態推定部１２０は、予測誤差に関わる上記値に基づいて、その領域において運転者の注意状態が適正な状態にない度合いが閾値ＴＨ２より大きいか否かを判定する（ステップＳ１４０）。閾値ＴＨ２には、閾値ＴＨ１より小さい値が設定されている。

予測誤差が閾値ＴＨ２より大きい場合（ステップＳ１４０：Ｙｅｓ）、運転者注意状態推定部１２０は、その領域に対する運転者の注意状態が不適正なものとなっている度合いが中程度であると推定する（ステップＳ１４２）。出力制御部１３０は、その領域に相対する領域を抽出し、抽出した領域に表示する提示情報の態様として、中程度の注意喚起の強度を有する態様ＳＴ２を選択する（ステップＳ１４３）。

予測誤差が閾値ＴＨ２以下の場合（ステップＳ１４０：Ｎｏ）、運転者注意状態推定部１２０は、予測誤差に関わる上記値に基づいて、その領域において運転者の注意状態が適正な状態にない度合いが閾値ＴＨ３より大きいか否かを判定する（ステップＳ１５０）。閾値ＴＨ３には、閾値ＴＨ２より更に小さい値が設定されている。

予測誤差が閾値ＴＨ３より大きい場合（ステップＳ１５０：Ｙｅｓ）、運転者注意状態推定部１２０は、その領域に対する運転者の注意状態が不適正なものとなっている度合いが低いと推定する（ステップＳ１５２）。出力制御部１３０は、その領域に相対する領域を抽出し、抽出した領域に表示する提示情報の態様として、低度の注意喚起の強度を有する態様ＳＴ３を選択する（ステップＳ１５３）。

予測誤差が閾値ＴＨ３以下の場合（ステップＳ１５０：Ｎｏ）、運転者注意状態推定部１２０は、その領域と、その領域に相対する領域との間で、車両１００の運転に支障が生じうるほどには運転者の注意状態が不適正な状態にはないものとして、ステップＳ１６０の処理へと進む。

これらの処理を経た後、運転支援装置１０は、分割した全ての領域に対する処理が終了したか否かを判定する（ステップＳ１６０）。未処理の領域がある場合には（ステップＳ１６０：Ｎｏ）、運転支援装置１０は、ステップＳ１２０からの処理を繰り返す。全ての領域に対する処理が終了した場合（ステップＳ１６０：Ｙｅｓ）、出力制御部１３０は、生成した運転支援情報をＨＭＩ制御装置３０に出力する（ステップＳ１７０）。

以上により、実施形態１の運転支援装置１０による運転支援処理が終了する。

（概括）
実施形態１の運転支援装置１０によれば、車外向けカメラ４１が撮像した車両１００の進行方向の画像から予測される予測画像と、実際の状況が撮像された実画像と、の差である予測誤差に基づいて、画像内の複数領域について運転者の注意状態をそれぞれ推定し、推定した注意状態に基づいて、画像内の複数領域のうち運転者への注意喚起を行う領域に関する情報を含む運転支援情報を出力する。

これにより、運転者の注意機能は正常であっても認知ミスを起こしやすい領域、認識がしやすい情報提示がなされてもなお、認知ミスを起こしやすい領域等を、運転者への注意喚起を行う領域、あるいは運転者の注意を適正に戻す際に注意が行き届く必要のある領域として把握して、運転者への情報提示を適切に行うことができる。

実施形態１の運転支援装置１０によれば、画像内の複数領域のうち予測誤差が所定の閾値より大きい領域を抽出し、抽出した領域が前記複数領域の中央から偏っているか、一部に集中し過ぎているか、全体に分散し過ぎているか、の少なくともいずれかの状態を推定する。また、運転者の注意状態が上記いずれかに該当すると推定された場合には、抽出した領域に相対する領域を、運転者への注意喚起を行う領域として抽出する。これにより、運転者の注意状態が不適正なものである度合いが大きい領域に相対する領域を、運転者が認知ミスを起こしやすい領域として抽出することができる。

実施形態１の運転支援装置１０によれば、運転者への注意喚起を行う領域に紐づけられ、運転者に提示する潜在情報６０１～６０３、及び矢印６０４等の情報をＨＭＩ制御装置３０に出力し、注意喚起を行う領域に紐づけて潜在情報６０１～６０３、及び矢印６０４等を情報提示装置６０に提示させる。これにより、運転者の注意が疎かになりがちで認知ミスを起こしやすい領域に、運転者の注意を行き届かせることができる。

実施形態１の運転支援装置１０によれば、運転者への注意喚起を行う領域がより大きな注意状態の不適正度合いが高いほど、運転者への注意喚起の強度が高い、あるいは運転者の注意を適正な状態へ誘導する効果が高い潜在情報６０１～６０３等の情報を出力する。これにより、運転者の注意状態が不適正である度合いの大きさに応じて、運転者への注意喚起の強度を調整して潜在情報６０１～６０３等を情報提示装置６０に提示させることができる。

（変形例１）
次に、図８～図１１を用いて、実施形態１の変形例１の運転支援装置について説明する。変形例１の運転支援装置は、情報提示装置６０に提示させる情報の数、量、位置、及び種類等を変更する点が上述の実施形態１とは異なる。

図８は、実施形態１の変形例１にかかる運転支援装置が提示情報の数または量を変更する場合の例を示す模式図である。

図８（ａ）（ｂ）に示すように、変形例１の運転支援装置は、例えば複数の閾値ＴＨ１～ＴＨ３により分別した、運転者の注意状態の不適正度合いの大きさに基づく潜在情報６０１～６０３のうち、最も大きな不適正度合いに基づく潜在情報６０３に限定して、ＨＵＤ６１または車内モニタ６２に表示させる。

これにより、運転者の注意が非常に疎かになっており、より危険度が高い領域に、優先的に潜在情報６０３等の情報提示を行わせることができる。よって、複数の情報が提示され、運転者の注意が却って散漫になってしまうことを抑制し、より重要な箇所に運転者の注意を行き届けさせることができる。

図９及び図１０は、実施形態１の変形例１にかかる運転支援装置が提示情報の種類を変更する場合の例を示す模式図である。

図９（ａ）（ｂ）に示すように、変形例１の運転支援装置は、車両の進行方向を示す矢印６０４に替えて、例えば「減速しましょう」等の注意を喚起するメッセージ６１４をＨＵＤ６１または車内モニタ６２に表示させる。

図１０（ａ）（ｂ）に示すように、変形例１の運転支援装置は、車両の進行方向を示す矢印６０４に替えて、例えば「減速しましょう」等の注意を喚起するアナウンス６２４をスピーカ６３から出力させてもよい。スピーカ６３から出力される提示情報は警告音等であってもよい。

図９及び図１０の構成により、潜在情報６０１～６０３とは異なる種類の提示情報が提示されるため、個々の情報に運転者の注意をより確実に行き届けさせやすくなる。また、注意喚起の内容によっては、メッセージ６１４またはアナウンス６２４等の言語情報で運転者に情報提示を行うことで、運転者がより的確に情報を把握することができる。

図１１は、実施形態１の変形例１にかかる運転支援装置が提示情報の位置を変更する場合の例を示す模式図である。

図１１（Ａａ）（Ｂａ）に示すように、変形例１の運転支援装置によって、運転者の注意状態の不適正度合いが大きい複数の領域が抽出されたものとする。変形例１の運転支援装置は、抽出された領域に応じて運転者の認識しやすさを判定し、運転者がより認識し難く、認知ミスがより生じやすい領域に優先的に情報提示を行う。

運転者の認識しやすさは、例えば複数に分割された画像の領域ごとに予め設定されていてよい。あるいは、運転者の認識しやすさは、そのときの画像から把握される車両の進行方向の道路状況等に応じて、変形例１の運転支援装置が適宜判定してもよい。

図１１（Ａｂ）（Ｂｂ）に示す例では、変形例１の運転支援装置は、抽出された複数の領域のうち、親子連れを含む領域に相対する、右側手前の人物を含む領域が、運転者がより認識し難い領域であると判定し、右側手前の人物を示す潜在情報６１２を表示させている。

図１１（Ａｃ）（Ｂｃ）に示す例では、変形例１の運転支援装置は、抽出された複数の領域のうち、右側手前の人物を含む領域に相対する、左側手前の親子連れ、及び左側奥の２人の人物を含む領域が、運転者がより認識し難い領域であると判定し、これらの親子連れ及び人物たちを示す潜在情報６１２を表示させている。

これにより、運転者がより認知ミスを起こしやすい領域に、優先的に潜在情報６１２等の提示情報を提示させることができる。よって、運転者による認知ミスをいっそう抑制することができる。

変形例１の運転支援装置によれば、上記の他、上述の実施形態１の運転支援装置１０と同様の効果を奏する。

（変形例２）
次に、図１２～図２１を用いて、実施形態１の変形例２の運転支援装置について説明する。変形例２の運転支援装置は、時系列データに基づいて運転支援情報を生成する点が上述の実施形態１とは異なる。

図１２は、実施形態１の変形例２にかかる運転支援装置が、運転者の注意を惹きつける度合いが大きい領域が時系列で散在している場合に生成する運転支援情報の一例を示す模式図である。

図１２（Ａａ）～図１２（Ａｃ）は、変形例２の運転支援装置が、運転支援情報を生成する際に参照する時系列データを示している。図１２（Ａａ）～図１２（Ａｃ）では、運転者の注意を惹きつける度合いが高いと推定された領域にハッチングを施している。ただし、図１２（Ａａ）～図１２（Ａｃ）に示す画像が、実際にＨＵＤ６１等に表示されることを意味しない。

図１２（Ａａ）に示す例では、変形例２の運転支援装置によって、画像の左側に運転者の注意を惹きつける度合いの大きな領域が抽出されている。図１２（Ａｂ）に示す例では、変形例２の運転支援装置によって、画像の右側に運転者の注意を惹きつける度合いの大きな領域が抽出されている。図１２（Ａｃ）に示す例では、変形例２の運転支援装置によって、画像の右側手前に運転者の注意を惹きつける度合いの大きな領域が抽出されている。

このように、図１２（Ａａ）～図１２（Ａｃ）の例では、運転者の注意を惹きつける度合いが大きい領域が時系列で散在している。

図１２（Ｂａ）～図１２（Ｂｃ）は、変形例２の運転支援装置が、時系列データに基づいて運転支援情報を生成する様子を示す。すなわち、図１２（Ｂａ）～図１２（Ｂｃ）は、図１２（Ａａ）～図１２（Ａｃ）に示す画像とそれぞれ同タイミングで行われる処理を示している。

図１２（Ｂａ）に示すように、変形例２の運転支援装置は、図１２（Ａａ）の画像の表示タイミングに合わせ、画像の左側に抽出された、注意を惹きつける度合いの大きな領域に相対する右側の領域に潜在情報６２２を表示させる。

図１２（Ｂｂ）に示すように、変形例２の運転支援装置は、図１２（Ａｂ）の画像の表示タイミングに合わせ、画像の右側に抽出された、注意を惹きつける度合いの大きな領域に相対する左側の領域に潜在情報６２２を表示させる。

図１２（Ｂｃ）に示すように、変形例２の運転支援装置は、図１２（Ａｃ）の画像の表示タイミングに合わせ、画像の右側手前に抽出された、注意を惹きつける度合いの大きな領域に相対する左側手前の領域に潜在情報６２２を表示させる。

運転者の注意を惹きつける度合いが大きい領域が時系列で散在している場合には、以上のように、変形例２の運転支援装置は、適宜、これらの領域に相対する領域に情報提示を行わせる。

なお、図１２（Ｂａ）～図１２（Ｂｃ）の例では、画像上の領域において運転者の注意状態に偏りがある場合に、例えば潜在情報６２２を表示させることとした。しかし、運転者の注意状態に偏りがある場合に、上記以外の情報提示を行わせてもよい。

図１３～図１５は、実施形態１の変形例２にかかる運転支援装置が、運転者の注意状態に偏りがある場合の他の情報提示例を示す模式図である。

図１３（ａ）に示す例では、変形例２の運転支援装置によって、画像の右側手前に運転者の注意を惹きつける度合いの大きな領域が抽出されている。

図１３（ｂ）に示すように、変形例２の運転支援装置は、図１３（ａ）の画像の表示タイミングに合わせ、画像の右側手前に抽出された、注意を惹きつける度合いの大きな領域に相対する左側手前の領域に、潜在情報６２２に替えて、この領域を指し示す三角形のアイコン６２２ａを表示させてもよい。ただし、領域を指し示す提示情報は矢印等の他の形状または態様であってもよい。

図１４（Ａａ）に示す例では、変形例２の運転支援装置によって、画像の左側手前に運転者の注意を惹きつける度合いの大きな領域が抽出されている。

図１４（Ａｂ）に示すように、運転者の注意を惹きつける度合いの大きな領域が画像の左側手前にある場合、その領域を運転者が注視することにより、運転者の有効視野ＶＦもまた、車両の左側手前に偏っていることが推定される。この場合、例えば車両前方の道路中央付近は、運転者の有効視野外ＯＦとなっていると考えられる。

図１４（Ｂａ）に示すように、変形例２の運転支援装置は、図１４（Ａａ）の画像の表示タイミングに合わせ、潜在情報６２２に替えて、画面中央の左右手前側から奥側に向けて伸びる直線状のライン６２２ｂを表示させてもよい。

図１４（Ｂｂ）に示すように、図１４（Ｂａ）のライン６２２ｂ等を表示することで運転者がライン６２２ｂに視線を向けるため、運転者の有効視野ＶＦもまた、車両前方の道路中央付近に移り、運転者の注意を適正な状態へ戻すことができる。

なお、運転者の有効視野ＶＦを道路中央付近に戻すことができれば、提示される情報は、ライン６２２ｂ以外の形状または態様であってよい。

図１５（ａ）に示す例では、変形例２の運転支援装置によって、画像の左側手前に運転者の注意を惹きつける度合いの大きな領域が抽出されている。

図１５（ｂ）に示すように、変形例２の運転支援装置は、図１５（ａ）の画像の表示タイミングに合わせ、潜在情報６２２に替えて、例えば「右側にも注意しましょう」等の注意を喚起するアナウンス６２２ｄをスピーカ６３から出力させてもよい。スピーカ６３から出力される提示情報は警告音等であってもよい。

図１６は、実施形態１の変形例２にかかる運転支援装置が、運転者の注意を惹きつける度合いが大きい領域が時系列で局在している場合に生成する運転支援情報の一例を示す模式図である。

図１６（ａ）～図１６（ｄ）は、変形例２の運転支援装置が、運転支援情報を生成する際に参照する時系列データを示している。図１６（ａ）～図１６（ｄ）では、運転者の注意を惹きつける度合いが高いと推定された領域にハッチングを施している。ただし、図１６（ａ）～図１６（ｄ）に示す画像が、実際にＨＵＤ６１等に表示されることを意味しない。

図１６（ａ）に示す例では、変形例２の運転支援装置によって、画像の左側手前に運転者の注意を惹きつける度合いの大きな領域が抽出されている。図１６（ｂ）に示す例では、変形例２の運転支援装置によって、画像の左側中央手前寄りに運転者の注意を惹きつける度合いの大きな領域が抽出されている。図１６（ｃ）に示す例では、変形例２の運転支援装置によって、画像の左側中央寄りに予運転者の注意を惹きつける度合いの大きな領域が抽出されている。図１６（ｄ）に示す例では、変形例２の運転支援装置によって、画像の左側に運転者の注意を惹きつける度合いの大きな領域が抽出されている。

このように、図１６（ａ）～図１６（ｄ）の例では、運転者の注意を惹きつける度合いが大きい領域が時系列で画像の左側に偏っている。

図１６（ｅ）は、変形例２の運転支援装置が、時系列データに基づいて運転支援情報を生成する様子を示す。つまり、図１６（ｅ）は、図１６（ａ）～図１６（ｄ）に示す画像の取得後のタイミングで行われる処理を示している。

図１６（ｅ）に示すように、変形例２の運転支援装置は、図１６（ａ）～図１６（ｄ）の画像に基づいて、画像の左側に偏って抽出された、注意を惹きつける度合いの大きな領域に相対する右側の領域に潜在情報６３２を表示させる。

運転者の注意を惹きつける度合いが大きい領域が時系列で局在している場合には、以上のように、変形例２の運転支援装置は、図１６（ａ）～図１６（ｄ）に示す画像と同タイミングで次々に情報の提示位置を切り替えるのではなく、運転者の注意を惹きつける度合いが時系列で局在している領域に相対する領域に、潜在情報６３２等の情報を提示させることができる。

図１７は、実施形態１の変形例２にかかる運転支援装置が、運転者の注意を惹きつける度合いが大きい領域が時系列で遍在している場合に生成する運転支援情報の一例を示す模式図である。

図１７（ａ）～図１７（ｄ）は、変形例２の運転支援装置が、運転支援情報を生成する際に参照する時系列データを示している。図１７（ａ）～図１７（ｄ）では、運転者の注意を惹きつける度合いが高いと推定された領域にハッチングを施している。ただし、図１７（ａ）～図１７（ｄ）に示す画像が、実際にＨＵＤ６１等に表示されることを意味しない。

図１７（ａ）に示す例では、変形例２の運転支援装置によって、画像の右側手前にｖの大きな領域が抽出されている。図１７（ｂ）に示す例では、変形例２の運転支援装置によって、画像の左側中央寄りに運転者の注意を惹きつける度合いの大きな領域が抽出されている。図１７（ｃ）に示す例では、変形例２の運転支援装置によって、画像の左側手前に運転者の注意を惹きつける度合いの大きな領域が抽出されている。図１７（ｄ）に示す例では、変形例２の運転支援装置によって、画像の右側奥に運転者の注意を惹きつける度合いの大きな領域が抽出されている。

このように、図１７（ａ）～図１７（ｄ）の例では、運転者の注意を惹きつける度合いが大きい領域が時系列で画像全体に偏りなく現れている。

図１７（ｅ）は、変形例２の運転支援装置が、時系列データに基づいて運転支援情報を生成する様子を示す。つまり、図１７（ｅ）は、図１７（ａ）～図１７（ｄ）に示す画像の取得後のタイミングで行われる処理を示している。

図１７（ｅ）に示すように、変形例２の運転支援装置は、図１７（ａ）～図１７（ｄ）の画像に基づいて、ＨＵＤ６１による潜在情報６２２等の提示情報の表示は不要であると判定する。

運転者の注意を惹きつける度合いが大きい領域が時系列で遍在している場合には、以上のように、変形例２の運転支援装置は、運転者が車両の前方全体に満遍なく注意を払っているものとして、潜在情報６２２等の情報を敢えて提示しないようにすることができる。

図１８は、実施形態１の変形例２にかかる運転支援装置が、運転者の注意を惹きつける度合いが大きい領域が時系列で増減していく場合に生成する運転支援情報の一例を示す模式図である。

図１８（ａ）～図１８（ｄ）は、変形例２の運転支援装置が、運転支援情報を生成する際、参照する時系列データを示している。図１８（ａ）～図１８（ｄ）では、運転者の注意を惹きつける度合いが高いと推定された領域にハッチングを施している。ただし、図１８（ａ）～図１８（ｄ）に示す画像が、実際にＨＵＤ６１等に表示されることを意味しない。

図１８（ａ）に示す例では、変形例２の運転支援装置によって、画像の左側中央寄りに運転者の注意を惹きつける度合いの大きな１つの領域が抽出されている。図１８（ｂ）に示す例では、変形例２の運転支援装置によって、画像の左側の更に中央寄りに運転者の注意を惹きつける度合いの大きな２つの領域が抽出されている。図１８（ｃ）に示す例では、変形例２の運転支援装置によって、画像の左側手前に運転者の注意を惹きつける度合いの大きな３つの領域が抽出されている。図１８（ｄ）に示す例では、変形例２の運転支援装置によって、画像の左側中央手前寄りに運転者の注意を惹きつける度合いの大きな５つ領域が抽出されている。

このように、図１８（ａ）～図１８（ｄ）の例では、運転者の注意を惹きつける度合いが大きい領域が時系列で次第に増加している。

図１８（ｅ）は、変形例２の運転支援装置が、時系列データに基づいて運転支援情報を生成する様子を示す。つまり、図１８（ｅ）は、図１８（ａ）～図１８（ｄ）に示す画像の取得後のタイミングで行われる処理を示している。

図１８（ｅ）に示すように、変形例２の運転支援装置は、図１８（ａ）～図１８（ｄ）の画像に基づいて、ＨＵＤ６１による潜在情報６２２等、画像の特定領域への表示を行わず、例えば「徐行しましょう」等の、運転者の認知負荷が増加していることを示すメッセージ６４２をＨＵＤ６１に表示させる。運転者の認知負荷が増加していることを示す情報提示は、例えばスピーカ６３からのアナウンス等によってなされてもよい。

運転者の注意を惹きつける度合いが大きい領域が時系列で増加していく場合には、以上のように、変形例２の運転支援装置は、運転者の認知負荷が増加していることを検知して、画像の特定領域に紐づいた提示情報ではなく、運転者の認知負荷を低減させる情報を提示させることができる。

図１９は、実施形態１の変形例２にかかる運転支援装置が、運転者の注意を惹きつける度合いが大きい領域が時系列で殆ど発生しない場合に生成する運転支援情報の一例を示す模式図である。

図１９（Ａ）～図１９（Ｄ）は、変形例２の運転支援装置が、運転支援情報を生成する際に参照する時系列データを示している。図１９（Ａ）～図１９（Ｄ）では、運転者の注意を惹きつけやすく、運転者の注意状態の不適正度合いが高いと推定された領域にハッチングを施している。ただし、図１９（Ａ）～図１９（Ｄ）に示す画像が、実際にＨＵＤ６１等に表示されることを意味しない。

図１９（Ａ）に示す例では、運転者の注意状態の不適正度合いが所定の閾値を上回る領域は抽出されていない。図１９（Ｂ）に示す例でもまた、運転者の注意状態の不適正度合いが所定の閾値を上回る領域は抽出されていない。図１９（Ｃ）に示す例では、変形例２の運転支援装置によって、画像の右側手前に運転者の注意状態の不適正度合いの大きな領域が抽出されている。図１９（Ｄ）に示す例では、運転者の注意状態の不適正度合いが所定の閾値を上回る領域が抽出されない状態が繰り返されている。

このように、図１９（Ａ）～図１９（Ｄ）の例では、運転者の注意を惹きつけやすく、運転者の注意状態の不適正度合いが大きい領域が、時系列で見ても殆ど現れていない。

図１９（Ｅａ）は、変形例２の運転支援装置が、時系列データに基づいて運転支援情報を生成する様子を示す。つまり、図１９（Ｅａ）は、図１９（Ａ）～図１９（Ｄ）に示す画像の取得後のタイミングで行われる処理を示している。

図１９（Ｅａ）に示すように、変形例２の運転支援装置は、図１９（Ａ）～図１９（Ｄ）の画像に基づいて、ＨＵＤ６１による潜在情報６２２等、画像の特定領域への表示を行わず、例えば「前方に注意しましょう」等の、車両の前方全体への運転者の注意が疎かになっていることを示すメッセージ６４２ａをＨＵＤ６１に表示させる。車両の前方全体への注意が疎かになっていることを示す情報提示は、例えばスピーカ６３からのアナウンス等によってなされてもよい。

図１９（Ｅｂ）は、変形例２の運転支援装置が、時系列データに基づいて運転支援情報を生成する様子を示す他の例である。図１９（Ｅｂ）もまた、図１９（Ａ）～図１９（Ｄ）に示す画像の取得後のタイミングで行われる処理例を示す。

図１９（Ｅａ）に示すように、変形例２の運転支援装置は、図１９（Ａ）～図１９（Ｄ）の画像に基づいて、「前方に注意しましょう」等のメッセージ６４２ａの表示に替えて、例えば画面中央の左右手前側から奥側に向けて伸びる直線状のライン６４２ｂを表示させてもよい。これにより、上述の図１４（Ｂａ）（Ｂｂ）に示した例と同様、車両の前方への運転者の注意を促すことができる。

運転者の注意を惹きつける度合いが大きい領域が、時系列で見ても殆ど生じない場合には、以上のように、変形例２の運転支援装置は、車両の前方全体への運転者の注意が疎かになっているものとして、運転者の漫然運転を抑制する情報を提示させることができる。

なお、運転者の漫然運転を抑制する提示情報は図１９の例に限られず、上記とは異なる態様で提示されてもよい。

図２０は、実施形態１の変形例２にかかる運転支援装置が運転者の漫然運転を抑制する場合の他の提示例を示す模式図である。

図２０（ａ）には、上述の図１９（Ａ）～図１９（Ｄ）に示した時系列データのうち、図１９（Ｃ）の状態のみを示している。

図２０（ｂ）に示すように、変形例２の運転支援装置は、図２０（ａ）を含む時系列データに基づいて、運転者が漫然運転に陥りがちな状態にあることを検知して、例えば「徐行しましょう」等の、運転者に「かもしれない運転」を勧めるメッセージ６４２ｃをＨＵＤ６１に表示させる。

「かもしれない運転」とは、高い安全意識を保って、危険な状況になることを予測して運転することである。例えば横断歩道に差し掛かったときなどに「歩行者が飛び出してくるかもしれない」ことを予測して危険に備えること、また、交差点で右折する際に「対向車がスピードを上げてくるかもしれない」ことを予測して危険に備えること等が「かもしれない運転」として挙げられる。

このように、運転者に「かもしれない運転」勧める情報提示は、例えばスピーカ６３からのアナウンス等によってなされてもよい。

図２１は、実施形態１の変形例２にかかる運転支援装置が運転者の漫然運転を抑制する場合の更に他の提示例を示す模式図である。

図２１（ａ）にもまた、上述の図１９（Ａ）～図１９（Ｄ）に示した時系列データのうち、図１９（Ｃ）の状態のみを示す。

図２１（ｂ）に示すように、変形例２の運転支援装置は、図２０（ａ）を含む時系列データに基づいて、運転者が漫然運転に陥りがちな状態であることを検知したうえで、例えば運転者が徐行運転をしていれば、「適切な徐行ができています」等の、「かもしれない運転」を誉めるメッセージ６４２ｄをＨＵＤ６１に表示させる。

このような、運転者の「かもしれない運転」は、例えば変形例２の運転支援装置が、車速センサ４３、アクセルセンサ４４、ブレーキセンサ４５、及び操舵角センサ４６等の検出装置４０（図１参照）の検出結果を、直接的に、あるいは、上述のＥＣＵ２０（図１参照）を介して取得することで検知することができる。

変形例２の運転支援装置は、例えば車速センサ４３、アクセルセンサ４４、及びブレーキセンサ４５の検出結果から、運転者が車両を減速させて徐行運転を行っていること等を検知することができる。また、変形例２の運転支援装置は、例えば操舵角センサ４６等の検出結果から、運転者が車両を適切に操舵できていること等を検知することができる。

このように、運転者の「かもしれない運転」を誉める情報提示は、例えばスピーカ６３からのアナウンス等によってなされてもよい。

運転者の「かもしれない運転」を誉める情報提示によって、運転者は、車両の現在の走行操作が正しいことを認識でき、引き続き、高い安全意識を保って走行操作を行うモチベーションが得られる。

なお、上述の図１２～図２１では、変形例２の運転支援装置が、専らＨＵＤ６１に情報を提示させる例を示した。しかし、変形例２の運転支援装置が、上述の図１２～図２１に示した各種情報を車内モニタ６２に提示させてもよい。

変形例２の運転支援装置によれば、上述の図１４及び図１５の例のように運転者の有効視野ＶＦを適正な位置に戻したり、図１８の例のように運転者の認知負荷を低減させたり、図１９の例のように運転者の漫然運転を抑制したり、図２０または図２１の例のように「かもしれない運転」を奨励するなど、運転者の注意状態に基づいて、その時々の運転に対し、より適正な注意状態、並びに運転操作への行動変容および意識変容の少なくともいずれかを促すことができる。

つまり、注意状態推定部が推定した注意状態が、偏っているときには偏りを正し、一部に集中し過ぎているときには分散させ、全体に分散し過ぎているときには集中させるように、視認行動を無意識に変容させ、必要な注意が行き届かせることができるだけの時間を作り出すために徐行するなどの運転行動を変容や定着させることができる。

変形例２の運転支援装置によれば、上記の他、上述の実施形態１の運転支援装置１０と同様の効果を奏する。

（変形例３）
次に、図２２及び図２３を用いて、実施形態１の変形例３の運転支援装置について説明する。変形例３の運転支援装置は、異なる分割数で画像を分割する点が上述の実施形態１とは異なる。

図２２は、実施形態１の変形例３にかかる運転支援装置が画像を２分割して運転支援情報を生成する場合の一例を示す模式図である。

図２２（ａ）（ｂ）に示すように、変形例３の運転支援装置は、車両の進行方向を撮像した画像を左右に２分割し、左右それぞれの領域について、運転者の注意状態の不適正度合いが所定の閾値を超えているか否かを算出する。いずれかの領域において注意状態の不適正度合い差が所定の閾値を超えていた場合には、変形例３の運転支援装置は、その領域に相対する領域全体に潜在情報６５２ａを表示させる。

図２２（ａ）（ｂ）に示す例では、左右に分割された領域のうち左側領域において、運転者の注意状態の不適正度合いが所定の閾値を超えており、変形例３の運転支援装置が、左側領域に相対する右側領域全体に潜在情報６５２ａを表示させている。このとき、変形例３の運転支援装置は、運転者の注意状態の不適正度合いの高低に応じて、例えば潜在情報６５２ａの輝度、色等を変化させて、運転者への注意喚起の強度の高低を調整してもよい。

図２３は、実施形態１の変形例３にかかる運転支援装置が画像を２分割して運転支援情報を生成する場合の他の例を示す模式図である。

図２３（ａ）（ｂ）に示す例でも、変形例３の運転支援装置は、車両の進行方向を撮像した画像を左右に２分割し、左右それぞれの領域について、運転者の注意状態の不適正度合いが所定の閾値を超えているか否かを算出する。いずれかの領域において注意状態の不適正度合いが所定の閾値を超えていた場合には、変形例３の運転支援装置は、その領域に相対する領域の全体ではなく一部に潜在情報６５２ｂを表示させる。

図２３（ａ）（ｂ）に示す例では、左右に分割された領域のうち左側領域において、運転者の注意状態の不適正度合いが所定の閾値を超えており、変形例３の運転支援装置が、左側領域に相対する右側領域の下端部に、例えば、ダッシュボードに沿ってフロントガラスの下部の矩形領域の提示領域へ潜在情報６５２ｂを表示させている。このとき、変形例３の運転支援装置は、運転者の注意状態の不適正度合いの高低に応じて、例えば潜在情報６５２ｂの長さ、太さ、輝度、色等を変化させて、運転者への注意喚起の強度の高低を調整してもよい。

なお、変形例３の運転支援装置が、左右それぞれの領域において共に、運転者の注意状態の不適正度合いが所定の閾値を超えていた場合、運転者の注意状態の不適正度合いがより大きい領域に相対する領域に潜在情報６５２ａ，６５２ｂを表示させてもよい。

以上のように、例えば画像の分割数を削減することで、運転者に提示する情報を簡素化することができ、運転者の注意が却って散漫になってしまうことを抑制して、運転者への情報提示をいっそう適切に行うことができる。

変形例３の運転支援装置によれば、その他、上述の実施形態１の運転支援装置１０と同様の効果を奏する。

なお、上述の変形例３においては、画像を２分割する例について示した。また、上述の実施形態１等においては、画像を縦×横が５個×５個の計２５個の領域に分割する例について示した。しかし、画像の分割例はこれに限られず、様々な個数および配置に画像を分割することができる。例えば、画像をピクセルごとに分割してもよい。この場合、画像は、縦×横が１６０×１２０、または１９２０×１０８０等に分割されることとなる。

（変形例４）
次に、図２４及び図２５を用いて、実施形態１の変形例４の運転支援装置１０ａについて説明する。変形例４の運転支援装置１０ａは、ＥＣＵ２０に運転支援情報を出力する点が上述の実施形態１とは異なる。

図２４は、実施形態１の変形例４にかかる運転支援装置１０ａの機能構成の一例を周辺機器とともに示すブロック図である。

図２４に示すように、変形例４の車両１０１には、上述の実施形態１の運転支援装置１０に替えて、変形例４の運転支援装置１０ａが搭載されている。運転支援装置１０ａは、上述の実施形態１の出力制御部１３０に替えて、ＥＣＵ２０に運転支援情報を出力する出力制御部１３０ａを備える。

出力制御部１３０ａは、運転者への注意喚起を行う領域に紐づけられた運転支援情報を生成する。運転支援情報には、例えば車両１０１の動作を指示する動作情報、及び運転者の注意状態の不適正度合いの高低に基づいて決定された動作の度合い等が、注意喚起を行う領域に紐づけられて含まれている。

運転支援情報に含まれる車両１０１の動作指示には、例えば車両１０１に制動をかける動作の指示、及び車両１０１の加速を抑制する動作の指示等の少なくともいずれかが含まれる。運転支援情報に含まれる動作の度合いは、例えば車両１０１の減速効果の高低等でありうる。

つまり、出力制御部１３０ａは、運転者への注意喚起を行う領域が、運転者の注意状態のより大きな不適正度合いに基づくほど、車両１０１の減速効果が高い動作情報を含む運転支援情報を出力することができる。

車載電子ユニットとしてのＥＣＵ２０は、運転支援装置１０ａからＥＣＵ２０に出力された運転支援情報に基づいて、上述の車両制御装置５０が備えるブレーキアクチュエータ５１、及びエンジンコントローラ５２の少なくともいずれか（図１参照）によって、車両１０１を減速させる動作を行わせる。

すなわち、ＥＣＵ２０は、例えば制動装置としてのブレーキアクチュエータ５１によって車両１０１に制動をかける。また、ＥＣＵ２０は、ブレーキアクチュエータ５１による車両１０１の制動動作に替えて、あるいは加えて、エンジン制御装置としてのエンジンコントローラ５２によって車両１０１の加速を抑制する。

これにより、運転支援装置１０ａによって運転者への注意喚起を行う領域が抽出された場合、その領域に存在しうる危険を回避する動作を車両１０１に行わせることができる。つまり、例えばその領域に、運転者が注意を払っておらず、車両１０１との接触の懸念がある歩行者等が居る場合等に、車両１０１を減速させて、その歩行者との接触を回避することができる。

また、出力制御部１３０ａは、運転者への注意喚起を行う領域に紐づけられ、ＨＭＩ制御装置３０（図１参照）に出力する運転支援情報の生成も行う。ＨＭＩ制御装置３０に出力される運転支援情報には、例えば車両１０１に行わせた動作を運転者に知らせる提示情報が、注意喚起を行う領域に紐づけられて含まれている。

ＨＭＩ制御装置３０は、運転支援装置１０ａから出力された運転支援情報に基づいて、上記のような回避動作を車両１０１に行わせたことを運転者に知らせる提示情報を情報提示装置６０（図１参照）に提示させる。

図２５は、実施形態１の変形例４にかかる運転支援装置１０ａの情報提示例を示す模式図である。

図２５（ａ）（ｂ）に示すように、変形例４の運転支援装置１０ａは、上記のような回避動作を車両１０１に行わせる際、ＨＭＩ制御装置３０に上記の運転支援情報を出力し、例えば「徐行しました」等の、車両１０１の減速制御を行ったことを示すメッセージ６３４を、ＨＵＤ６１または車内モニタ６２に表示させる。車両１０１の減速制御を行ったことを示す情報提示は、例えばスピーカ６３からのアナウンス等によってなされてもよい。

これにより、運転支援装置１０ａによって車両１０１に回避動作を行わせた場合、意図しない車両の減速制御により、運転者が車両の故障等と勘違いしてしまうことを抑制することができる。

なお、図２４及び図２５の例では、車両１０１の減速制御を行う場合について説明したが、この他、ステアリングホイールの舵角制御による走行レーンの調整、及びウインカー操作等の、他の動作制御を車両１０１に対して行ってもよい。

変形例４の運転支援装置１０ａによれば、運転者への注意喚起を行う領域に紐づけられ、車両１０１の動作を指示する動作情報を、車両１０１を制御するＥＣＵ２０に出力する。ＥＣＵ２０は、車両を減速させるブレーキアクチュエータ５１及びエンジンコントローラ５２等に、運転支援装置１０ａから出力された動作情報に基づく動作を行わせる。これにより、運転者が見落とす恐れのある危険をより確実に回避することができる。

変形例４の運転支援装置１０ａによれば、運転者への注意喚起を行う領域がより大きな予測誤差に基づくほど、車両１０１の減速効果が高い動作情報を出力する。これにより、危険回避の確度がよりいっそう高まる。

変形例４の運転支援装置１０ａによれば、その他、上述の実施形態１の運転支援装置１０と同様の効果を奏する。

（変形例５）
次に、図２６～図４５を用いて、実施形態１の変形例５の運転支援装置について説明する。変形例５の運転支援装置は、潜在情報に加えて顕在情報を提示させる点が上述の実施形態１とは異なる。

図２６は、実施形態１の変形例５にかかる運転支援装置１０ｂの機能構成の一例を周辺機器とともに示すブロック図である。

図２６に示すように、変形例５の車両１０２には、上述の実施形態１の運転支援装置１０に替えて、変形例５の運転支援装置１０ｂが搭載されている。

運転支援装置１０ｂは、上述の実施形態１の運転支援装置１０の構成に加えて、顕在情報を生成する顕在情報演算部１１１を備え、また、上述の実施形態１の出力制御部１３０に替えて、運転者注意状態推定部１２０が推定した運転者の注意状態と、顕在情報演算部１１１が生成した顕在情報とを取得して、運転支援情報を出力する出力制御部１３０ｂを備えている。

上述のように、車両の走行中の危険には、その時点で顕在化されている危険と、その時点で顕在化されていない潜在的な危険とが含まれる。潜在的な危険を運転者に知らせる上述の各種潜在情報に対し、顕在情報演算部１１１は、その時点で顕在化されている危険を運転者に知らせる顕在情報を生成する。

より具体的には、顕在情報演算部１１１は、車外向けカメラ４１が撮像した車両１０２の進行方向の画像から、車道にいきなり飛び出してきた歩行者等、その時点で顕在化されている危険を抽出し、このような危険情報を含む顕在情報を生成する。

顕在情報には、例えば運転者に顕在的な危険を知らせる提示情報、提示の態様、及び提示情報の注意喚起の強度の高低の情報等が、注意喚起を行う領域に紐づけられて含まれている。

運転者注意状態推定部１２０は、推定した運転者の注意状態と、顕在情報演算部１１１が生成した顕在情報とを出力制御部１３０ｂへと受け渡す。

出力制御部１３０ｂは、運転者の注意状態に基づいて抽出した運転者に注意喚起を行う領域に関する情報、運転者注意状態推定部１２０から受け渡された顕在情報、及び潜在情報を含む運転支援情報を、ＨＭＩ制御装置３０に出力する。

図２７は、実施形態１の変形例５にかかる運転支援装置１０ｂの情報提示例を示す模式図である。

図２７（ａ）（ｂ）に示すように、変形例５の運転支援装置１０ｂは、顕在情報６６２ａと潜在情報６０５ａとを、ＨＵＤ６１または車内モニタ６２に表示させる。図２７（ａ）（ｂ）の例では、運転者に注意喚起を行う領域は、例えば右側手前の人物を含む領域であるものとする。

変形例５の運転支援装置１０ｂは、右側手前の人物を示す楕円形の顕在情報６６２ａを、その人物の足元に表示させる。また、変形例５の運転支援装置１０ｂは、右側手前の人物を示す矩形の潜在情報６０５ａを、その人物の足元から離れた下方位置に表示させる。

ただし、このような顕在情報６６２ａ及び潜在情報６０５ａの形状、提示位置、及び提示の態様等は、上記の図２７の例に限定されない。

図２８は、実施形態１の変形例５にかかる運転支援装置１０ｂの他の情報提示例を示す模式図である。

図２８（ａ）（ｂ）に示す例では、変形例５の運転支援装置１０ｂは、右側手前の人物を示す矩形の顕在情報６６２ｂを、その人物を囲むように表示させる。また、変形例５の運転支援装置１０ｂは、右側手前の人物を示す楕円形の潜在情報６０５ｂを、その人物の足元から離れた下方位置に表示させる。

なお、変形例５の運転支援装置１０ｂは、例えば顕在情報６６２ａ，６６２ｂのサイズ、輝度、色等を変化させて、運転者への注意喚起の強度の高低を調整してもよい。また、変形例５の運転支援装置１０ｂは、運転者の注意状態の不適正度合いの高低に応じて、潜在情報６０５ａ，６０５ｂのサイズ、輝度、色等を変化させて、運転者への注意喚起の強度の高低を調整してもよい。

このように、顕在情報６６２及び潜在情報６０５の形状、提示位置、及び提示の態様等は様々に異なる態様で提示することができる。

以上の構成により、潜在的な危険のみならず、既に顕在化している危険についても運転者に提示して、運転者の注意状態を高めることができる。よって、運転者への情報提示をよりいっそう適切に行うことができる。

なお、上述の構成のように、顕在情報と潜在情報とを共に運転者に提示する際には、顕在情報と潜在情報とを異なる情報提示装置６０にそれぞれ提示させてもよい。このとき、情報提示装置６０に含まれる各種構成のうち、視認性が高く、運転者が気づきやすいＨＵＤ６１及び車内モニタ６２等に、より高い危険性を示す顕在情報を提示することが好ましい。

一方、情報提示装置６０に含まれる各種構成のうち、運転者の前方あるいは注意すべき対象への注意を逸らすことなく情報の提示が可能な構成に、比較的低い危険性を示す潜在情報を提示することができる。

このような構成の例として、以下に、メータディスプレイ６４（図２９参照）、ピラーディスプレイ６５（図３３参照）、スピーカ６３、ＨＵＤ６１の外周領域、ＬＥＤディスプレイ６６（図４０参照）、及びミラーディスプレイ６７（図４４参照）等に潜在情報を提示する場合の例について説明する。

図２９は、実施形態１の変形例５にかかる運転支援装置１０ｂが潜在情報を提示させるメータディスプレイ６４の構成の一例を示す模式図である。

図２９に示すように、メータディスプレイ６４は、速度計、エンジン回転計、燃料計、水温計、及び距離計等の各種のメータ６４２と、これらのメータ６４２間およびこれらのメータ６２４の周囲に設けられたＣＩＤ（Ｃｅｎｔｅｒ Ｉｎｆｏｒｍａｔｉｏｎ Ｄｉｓｐｌａｙ）６４１とを含んでインストルメントパネル等に設けられている。メータ６４２は物理的な構成を有するメータであってもよく、メータ６２４自体がディスプレイに表示された映像であってもよい。

図３０は、実施形態１の変形例５にかかる運転支援装置１０ｂの潜在情報のメータディスプレイ６４への提示例を示す模式図である。

図３０（Ａ）に示すように、例えば車両の前方全体に亘って、運転者の注意状態の不適正度合いが大きな領域があった場合には、変形例５の運転支援装置１０ｂは、メータディスプレイ６４の外周部分を取り囲む潜在情報６１５を、メータディスプレイ６４の全周に表示させる。ただし、車両の前方全体への強度の注意喚起を促す潜在情報は、潜在情報６１５とは異なる形状、または態様であってもよい。

図３０（Ｂａ）に示すように、例えば車両の前方全体に亘って、運転者の注意状態の不適正度合いが比較的小さな領域があった場合には、変形例５の運転支援装置１０ｂは、対となった潜在情報６１９ａを、メータディスプレイ６４の左右両端部に表示させる。

潜在情報６１９ａは、例えば車両の正面に見立てたメータディスプレイ６４の中央付近を指し示す１対の三角形を組み合わせた形状とすることができる。ただし、車両の前方全体への低度の注意喚起を促す潜在情報は、矢印等の他の形状または態様であってもよい。

図３０（Ｂｂ）に示すように、上記の潜在情報６１９ａの他の態様として、例えば車両の前方全体に亘って、運転者の注意状態の不適正度合いが比較的小さな領域があった場合には、変形例５の運転支援装置１０ｂは、メータディスプレイ６４の中央を指し示す三角形の潜在情報６１９ｂを、メータディスプレイ６４の中央下端部に表示させることができる。

図３０（Ｃａ）に示すように、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域があった場合には、変形例５の運転支援装置１０ｂは、その領域に相対する左側領域を示す潜在情報６１６ａを、メータディスプレイ６４の左側端部に表示させる。

潜在情報６１６ａは、例えば車両の左側領域に見立てたメータディスプレイ６４の左側端部に沿って配置される矩形領域に提示される提示情報とすることができる。ただし、注意状態に大きな偏りのある運転者に強度の注意喚起を促す潜在情報は、上記の潜在情報６１６ａとは異なる他の形状または態様であってもよい。

図３０（Ｃｂ）に示すように、上記の潜在情報６１６ａの他の態様として、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域があった場合には、変形例５の運転支援装置１０ｂは、その領域に相対する左側領域を示す潜在情報６１６ｂを、メータディスプレイ６４の左側下端部に表示させることができる。

潜在情報６１６ｂは、例えば車両の左側領域に見立てたメータディスプレイ６４の左側下端部に沿って配置される矩形領域に提示される提示情報とすることができる。

図３０（Ｄａ）に示すように、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域と、車両の左側に偏って、運転者の注意状態の不適正度合いが比較的小さな領域と、があった場合には、変形例５の運転支援装置１０ｂは、車両の右側領域に相対する左側領域を示す潜在情報６１６ａに加えて、車両の左側領域に相対する右側領域を示す潜在情報６１７ａを、メータディスプレイ６４の右側端部に表示させる。

潜在情報６１７ａは、例えば車両の左側領域に見立てたメータディスプレイ６４の右側端部に沿って配置される矩形領域に提示される提示情報とすることができる。また、潜在情報６１７ａは、輝度、色等を上記の潜在情報６１６ａとは異なる態様で提示することにより、注意喚起の強度を潜在情報６１６ａよりも低く抑えることができる。

なお、注意状態に低度の偏りのある運転者に低度の注意喚起を促す潜在情報は、上記の潜在情報６１７ａとは異なる他の形状または態様であってもよい。

図３０（Ｄｂ）に示すように、上記の潜在情報６１７ａの他の態様として、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域と、車両の左側に偏って、運転者の注意状態の不適正度合いが比較的小さな領域と、があった場合には、変形例５の運転支援装置１０ｂは、上述の潜在情報６１６ｂに加え、上記の左側領域に相対する右側領域を示す潜在情報６１７ｂを、メータディスプレイ６４の左側下端部に表示させることができる。

潜在情報６１７ｂは、例えば車両の左側領域に見立てたメータディスプレイ６４の右側下端部に沿って配置される矩形領域に提示される提示情報とすることができる。また、潜在情報６１７ｂは、潜在情報６１６ｂよりも注意喚起の強度の低い態様とする。

図３０（Ｅａ）に示すように、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域と、車両の左側に偏って、運転者の注意状態の不適正度合いが中程度の領域と、があった場合には、変形例５の運転支援装置１０ｂは、車両の右側領域に相対する左側領域を示す潜在情報６１６ａに加えて、車両の左側領域に相対する右側領域を示す潜在情報６１８ａを、メータディスプレイ６４の右側端部に表示させる。

潜在情報６１８ａは、例えば車両の左側領域に見立てたメータディスプレイ６４の右側端部に沿って配置される矩形領域に提示される提示情報とすることができる。また、潜在情報６１８ａは、輝度、色等を上記の潜在情報６１６ａ，６１７ａとは異なる態様で提示することにより、注意喚起の強度を潜在情報６１７ａよりも高くしつつ、潜在情報６１６ａよりも低く抑えることができる。

なお、注意状態に中程度の偏りのある運転者に中程度の注意喚起を促す潜在情報は、上記の潜在情報６１８ａとは異なる他の形状または態様であってもよい。

図３０（Ｅｂ）に示すように、上記の潜在情報６１８ａの他の態様として、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域と、車両の左側に偏って、運転者の注意状態の不適正度合いが中程度の領域と、があった場合には、変形例５の運転支援装置１０ｂは、上述の潜在情報６１６ｂに加え、上記の左側領域に相対する右側領域を示す潜在情報６１８ｂを、メータディスプレイ６４の左側下端部に表示させることができる。

潜在情報６１８ｂは、例えば車両の左側領域に見立てたメータディスプレイ６４の右側下端部に沿って配置される矩形領域に提示される提示情報とすることができる。また、潜在情報６１７ｂは、潜在情報６１７ｂよりも注意喚起の強度が高く、潜在情報６１６ｂよりも注意喚起の強度が低い態様とする。

以上の構成により、運転者の注意状態の不適正度合いの高低、及び所定の閾値以上の注意状態の不適正度合いの領域の画像内の位置等に基づく種々の潜在情報６１５，６１６ａ～６１９ａ，６１６ｂ～６１９ｂ等を、メータディスプレイ６４に表示させることができる。

次に、変形例５の運転支援装置１０ｂが、ＨＵＤ６１とメータディスプレイ６４とを組み合わせて情報提示を行わせる場合の例について説明する。

図３１は、実施形態１の変形例５にかかる運転支援装置１０ｂが生成した提示情報を、ＨＵＤ６１とメータディスプレイ６４とに分割して表示させる例を示す模式図である。

図３１（Ａａ）（Ｂａ）（Ｃａ）に示す例では、変形例５の運転支援装置１０ｂは、運転者の注意状態に偏りがある等、潜在的な危険を検知したものの、自車と衝突する可能性がある歩行者等、顕在的な危険は検知していない状態である。

この場合、変形例５の運転支援装置１０ｂは、上述の矩形の潜在情報６０５ａ、または上述の楕円形の潜在情報６０５ｂ等を、例えば右側手前の人物を指し示すようにＨＵＤ６１に表示させる。一方、変形例５の運転支援装置１０ｂは、メータディスプレイ６４には情報の表示を行わせない。

潜在的な危険のみが検知された場合には、変形例５の運転支援装置１０ｂは、以上のように、潜在情報６０５ａ，６０５ｂ等を、視認性の高いＨＵＤ６１に優先的に表示させることができる。

図３１（Ａｂ）（Ｂｂ）（Ｃｂ）に示す例では、変形例５の運転支援装置１０ｂは、潜在的な危険に加え、顕在的な危険をも検知している状態である。

この場合、変形例５の運転支援装置１０ｂは、上述の楕円形の顕在情報６６２ａ、または上述の矩形の顕在情報６６２ｂ等を、例えば右側手前の人物を指し示すようにＨＵＤ６１に表示させる。このとき、変形例５の運転支援装置１０ｂは、検知した顕在的な危険の大きさに応じて、顕在情報６６２ａ，６６２ｂのサイズ、輝度、色等を変化させる。

また、変形例５の運転支援装置１０ｂは、上述の潜在情報６１６ａ等をメータディスプレイ６４に表示させる。

このとき、図３１（Ａｂ）の例では、潜在情報６１６ａを表示させる例を示しているが、変形例５の運転支援装置１０ｂは、検知した潜在的な危険の大きさ、つまり、運転者の注意状態の不適正度合いの大きさに応じて、上述の潜在情報６１５，６１６ａ～６１９ａ，６１６ｂ～６１９ｂのいずれかをメータディスプレイ６４に表示させることができる。

潜在的な危険と顕在的な危険とが共に検知された場合には、変形例５の運転支援装置１０ｂは、以上のように、顕在情報６６２ａ，６６２ｂ等を視認性の高いＨＵＤ６１に表示させ、潜在情報６１６ａ等を、運転者の注意を逸らす恐れの少ないメータディスプレイ６４に表示させることができる。

図３２は、実施形態１の変形例５にかかる運転支援装置１０ｂが生成した提示情報を、ＨＵＤ６１とメータディスプレイ６４とに分割して表示させる他の例を示す模式図である。

図３２（ａ）（ｂ）（ｃ）に示す例では、変形例５の運転支援装置１０ｂは、潜在的な危険を検知したものの、顕在的な危険は検知していない状態、つまり、上述の図３１（Ａａ）（Ｂａ）（Ｃａ）に示す例と同様の状態である。

この場合においても、変形例５の運転支援装置１０ｂは、上述の潜在情報６１６ａ等をメータディスプレイ６４に表示させることができる。またこの場合、変形例５の運転支援装置１０ｂは、ＨＵＤ６１には情報を表示させない。

潜在的な危険のみが検知された場合であっても、変形例５の運転支援装置１０ｂは、以上のように、潜在情報６１６ａ等を常にメータディスプレイ６４に表示させることとしてもよい。

図３３は、実施形態１の変形例５にかかる運転支援装置１０ｂが潜在情報を提示させるピラーディスプレイ６５の構成の一例を示す模式図である。

図３３に示すように、ピラーディスプレイ６５は、例えばフロントガラス両サイドのピラーＰＬに設けられる。運転者から見てピラーＰＬの陰になる部分の画像を、ピラーディスプレイ６５に表示させることで、例えばピラーＰＬを透視して車外を見ているかのような視界を運転者に提供することができる。変形例５の運転支援装置１０ｂは、例えばこのようなピラーディスプレイ６５に潜在情報を表示させる。

図３４は、実施形態１の変形例５にかかる運転支援装置１０ｂの潜在情報のピラーディスプレイ６５への提示例を示す模式図である。

図３４（Ａａ）に示すように、例えば車両の前方全体に亘って、運転者の注意状態の不適正度合いが大きな領域があった場合には、変形例５の運転支援装置１０ｂは、フロントガラス両サイドのピラーディスプレイ６５に共に潜在情報６２５を表示させる。

潜在情報６２５は、フロントガラス両サイドのピラーＰＬに沿って配置される矩形領域に提示される提示情報とすることができる。ただし、車両の前方全体への強度の注意喚起を促す潜在情報は、上記の潜在情報６２５とは異なる他の形状または態様であってもよい。

図３４（Ａｂ）に示すように、例えば車両の前方全体に亘って、運転者の注意状態の不適正度合いが比較的小さな領域があった場合には、変形例５の運転支援装置１０ｂは、対となった潜在情報６２９を、フロントガラス両サイドのピラーディスプレイ６５に表示させる。

潜在情報６２９は、例えば車両の正面に配置されるフロントガラスの中央付近を指し示す１対の三角形を組み合わせた形状とすることができる。ただし、車両の前方全体への低度の注意喚起を促す潜在情報は、矢印等の他の形状または態様であってもよい。

図３４（Ｂ）に示すように、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域があった場合には、変形例５の運転支援装置１０ｂは、その領域に相対する左側領域を示す潜在情報６２６を、フロントガラス左側のピラーディスプレイ６５に表示させる。

潜在情報６２６は、例えば車両の正面に配置されるフロントガラス左側のピラーＰＬに沿って配置される矩形領域に提示される提示情報とすることができる。ただし、注意状態に大きな偏りのある運転者に強度の注意喚起を促す潜在情報は、上記の潜在情報６２６とは異なる他の形状または態様であってもよい。

図３４（Ｃａ）に示すように、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域と、車両の左側に偏って、運転者の注意状態の不適正度合いが比較的小さな領域と、があった場合には、変形例５の運転支援装置１０ｂは、車両の右側領域に相対する左側領域を示す潜在情報６２６に加えて、車両の左側領域に相対する右側領域を示す潜在情報６２７を、フロントガラス両サイドのピラーディスプレイ６５にそれぞれ表示させる。

潜在情報６２７は、例えば車両の正面に配置されるフロントガラス右側のピラーＰＬに沿って配置される矩形領域に提示される提示情報とすることができる。また、潜在情報６２７は、輝度、色等を上記の潜在情報６２６とは異なる態様で提示することにより、注意喚起の強度を潜在情報６２６よりも低く抑えることができる。

なお、注意状態に低度の偏りのある運転者に低度の注意喚起を促す潜在情報は、上記の潜在情報６２７とは異なる他の形状または態様であってもよい。

図３４（Ｃｂ）に示すように、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域と、車両の左側に偏って、運転者の注意状態の不適正度合いが中程度の領域と、があった場合には、変形例５の運転支援装置１０ｂは、車両の右側領域に相対する左側領域を示す潜在情報６２６に加えて、車両の左側領域に相対する右側領域を示す潜在情報６２８を、フロントガラス両サイドのピラーディスプレイ６５にそれぞれ表示させる。

潜在情報６２８は、例えば車両の正面に配置されるフロントガラス右側のピラーＰＬに沿って配置される矩形領域に提示される提示情報とすることができる。また、潜在情報６２８は、輝度、色等を上記の潜在情報６２６，６２７とは異なる態様で提示することにより、注意喚起の強度を潜在情報６２７よりも高くしつつ、潜在情報６２６よりも低く抑えることができる。

なお、注意状態に中程度の偏りのある運転者に中程度の注意喚起を促す潜在情報は、上記の潜在情報６２８とは異なる他の形状または態様であってもよい。

以上の構成により、運転者の注意状態の不適正度合いの高低、及び所定の閾値以上の注意状態の不適正度合いの領域の画像内の位置等に基づく種々の潜在情報６２５，６２６～６２９等を、ピラーディスプレイ６５に表示させることができる。

次に、変形例５の運転支援装置１０ｂが、ＨＵＤ６１とピラーディスプレイ６５とを組み合わせて情報提示を行わせる場合の例について説明する。

図３５は、実施形態１の変形例５にかかる運転支援装置１０ｂが生成した提示情報を、ＨＵＤ６１とピラーディスプレイ６５とに分割して表示させる例を示す模式図である。

図３５（Ａａ）（Ｂａ）に示す例では、変形例５の運転支援装置１０ｂは、運転者の注意状態に偏りがある等、潜在的な危険を検知したものの、自車と衝突する可能性がある歩行者等、顕在的な危険は検知していない状態である。

この場合、変形例５の運転支援装置１０ｂは、上述の矩形の潜在情報６０５ａ、または上述の楕円形の潜在情報６０５ｂ等を、例えば右側手前の人物を指し示すようにＨＵＤ６１に表示させる。一方、変形例５の運転支援装置１０ｂは、ピラーディスプレイ６５には情報を表示させない。

潜在的な危険のみが検知された場合には、変形例５の運転支援装置１０ｂは、以上のように、潜在情報６０５ａ，６０５ｂ等を、視認性の高いＨＵＤ６１に優先的に表示させることができる。

図３５（Ａｂ）（Ｂｂ）に示す例では、変形例５の運転支援装置１０ｂは、潜在的な危険に加え、顕在的な危険をも検知している状態である。

この場合、変形例５の運転支援装置１０ｂは、上述の楕円形の顕在情報６６２ａ、または上述の矩形の顕在情報６６２ｂ等を、例えば右側手前の人物を指し示すようにＨＵＤ６１に表示させる。このとき、変形例５の運転支援装置１０ｂは、検知した顕在的な危険の大きさに応じて、顕在情報６６２ａ，６６２ｂのサイズ、輝度、色等を変化させる。

また、変形例５の運転支援装置１０ｂは、上述の潜在情報６２６等を、フロントガラス右側のピラーディスプレイ６５に表示させる。

このとき、図３５（Ａｂ）（Ｂｂ）の例では、潜在情報６２６を表示させる例を示しているが、変形例５の運転支援装置１０ｂは、検知した潜在的な危険の大きさ、つまり、運転者の注意状態の不適正度合いの大きさに応じて、上述の潜在情報６２５，６２６～６２９のいずれかをピラーディスプレイ６５に表示させることができる。

潜在的な危険と顕在的な危険とが共に検知された場合には、変形例５の運転支援装置１０ｂは、以上のように、顕在情報６６２ａ，６６２ｂ等を視認性の高いＨＵＤ６１に表示させ、潜在情報６２６等を、運転者の注意を逸らす恐れの少ないピラーディスプレイ６５に表示させることができる。

図３６は、実施形態１の変形例５にかかる運転支援装置１０ｂが生成した提示情報を、ＨＵＤ６１とピラーディスプレイ６５とに分割して表示させる他の例を示す模式図である。

図３６（ａ）（ｂ）に示す例では、変形例５の運転支援装置１０ｂは、潜在的な危険を検知したものの、顕在的な危険は検知していない状態、つまり、上述の図３５（Ａａ）（Ｂａ）に示す例と同様の状態である。

この場合においても、変形例５の運転支援装置１０ｂは、上述の潜在情報６２６等をピラーディスプレイ６５に表示させることができる。またこの場合、変形例５の運転支援装置１０ｂは、ＨＵＤ６１には情報を表示させない。

潜在的な危険のみが検知された場合であっても、変形例５の運転支援装置１０ｂは、以上のように、潜在情報６２６等を常にピラーディスプレイ６５に表示させることとしてもよい。

次に、変形例５の運転支援装置１０ｂが、ＨＵＤ６１とスピーカ６３とを組み合わせて情報提示を行わせる場合の例について説明する。

図３７は、実施形態１の変形例５にかかる運転支援装置１０ｂが生成した提示情報を、ＨＵＤ６１とスピーカ６３とに分割して提示させる例を示す模式図である。

図３７（Ａａ）（Ｂａ）に示す例では、変形例５の運転支援装置１０ｂは、運転者の注意状態に偏りがある等、潜在的な危険を検知したものの、自車と衝突する可能性がある歩行者等、顕在的な危険は検知していない状態である。

この場合、変形例５の運転支援装置１０ｂは、上述の矩形の潜在情報６０５ａ、または上述の楕円形の潜在情報６０５ｂ等を、例えば右側手前の人物を指し示すようにＨＵＤ６１に表示させる。一方、変形例５の運転支援装置１０ｂは、スピーカ６３には情報を出力させない。

潜在的な危険のみが検知された場合には、変形例５の運転支援装置１０ｂは、以上のように、潜在情報６０５ａ，６０５ｂ等を、視認性の高いＨＵＤ６１に優先的に表示させることができる。

図３７（Ａｂ）（Ｂｂ）に示す例では、変形例５の運転支援装置１０ｂは、潜在的な危険に加え、顕在的な危険をも検知している状態である。

この場合、変形例５の運転支援装置１０ｂは、上述の楕円形の顕在情報６６２ａ、または上述の矩形の顕在情報６６２ｂ等を、例えば右側手前の人物を指し示すようにＨＵＤ６１に表示させる。このとき、変形例５の運転支援装置１０ｂは、検知した顕在的な危険の大きさに応じて、顕在情報６６２ａ，６６２ｂのサイズ、輝度、色等を変化させる。

また、変形例５の運転支援装置１０ｂは、右側領域に注意を払うよう警告するアナウンス、警告音等の潜在情報を含む音声６３６をスピーカ６３に出力させる。

潜在的な危険と顕在的な危険とが共に検知された場合には、変形例５の運転支援装置１０ｂは、以上のように、顕在情報６６２ａ，６６２ｂ等を視認性の高いＨＵＤ６１に表示させ、運転者の視界を妨げる恐れの少ないスピーカ６３に音声６３６等の潜在情報を出力させることができる。

図３８は、実施形態１の変形例５にかかる運転支援装置１０ｂが生成した提示情報を、ＨＵＤ６１とスピーカ６３とに分割して表示させる他の例を示す模式図である。

図３８（ａ）（ｂ）に示す例では、変形例５の運転支援装置１０ｂは、潜在的な危険を検知したものの、顕在的な危険は検知していない状態、つまり、上述の図３７（Ａａ）（Ｂａ）に示す例と同様の状態である。

この場合においても、変形例５の運転支援装置１０ｂは、潜在情報を含む音声６３６をスピーカ６３に出力させる。またこの場合、変形例５の運転支援装置１０ｂは、ＨＵＤ６１には情報を表示させない。

潜在的な危険のみが検知された場合であっても、変形例５の運転支援装置１０ｂは、以上のように、音声６３６等の潜在情報を常にスピーカ６３に出力させることとしてもよい。

図３９は、実施形態１の変形例５にかかる運転支援装置１０ｂの潜在情報のＨＵＤ６１の外周領域への提示例を示す模式図である。

以下に説明するように、ＨＵＤ６１の外周領域を用いた潜在情報の表示は、例えば上述の図３０に示すメータディスプレイ６４を用いた潜在情報の表示と同様に行われてよい。

図３９（Ａ）に示すように、例えば車両の前方全体に亘って、運転者の注意状態の不適正度合いが大きな領域があった場合には、変形例５の運転支援装置１０ｂは、ＨＵＤ６１の外周部分を取り囲む潜在情報６４５を、ＨＵＤ６１の全周に表示させる。ただし、車両の前方全体への強度の注意喚起を促す潜在情報は、潜在情報６４５とは異なる形状、または態様であってもよい。

図３９（Ｂａ）に示すように、例えば車両の前方全体に亘って、運転者の注意状態の不適正度合いが比較的小さな領域があった場合には、変形例５の運転支援装置１０ｂは、対となった潜在情報６４９ａを、ＨＵＤ６１の左右両端部に表示させる。

潜在情報６４９ａは、例えば車両の正面に配置されるＨＵＤ６１の中央付近を指し示す１対の三角形を組み合わせた形状とすることができる。ただし、車両の前方全体への低度の注意喚起を促す潜在情報は、矢印等の他の形状または態様であってもよい。

図３９（Ｂｂ）に示すように、上記の潜在情報６４９ａの他の態様として、例えば車両の前方全体に亘って、運転者の注意状態の不適正度合いが比較的小さな領域があった場合には、変形例５の運転支援装置１０ｂは、ＨＵＤ６１の中央を指し示す三角形の潜在情報６４９ｂを、ＨＵＤ６１の中央下端部に表示させることができる。

図３９（Ｃａ）に示すように、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域があった場合には、変形例５の運転支援装置１０ｂは、その領域に相対する左側領域を示す潜在情報６４６ａを、ＨＵＤ６１の左側端部に表示させる。

潜在情報６４６ａは、例えば車両の正面に配置されるＨＵＤ６１の左側端部に沿って配置される矩形領域に提示される提示情報とすることができる。ただし、注意状態に大きな偏りのある運転者に強度の注意喚起を促す潜在情報は、上記の潜在情報６４６ａとは異なる他の形状または態様であってもよい。

図３９（Ｃｂ）に示すように、上記の潜在情報６４６ａの他の態様として、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域があった場合には、変形例５の運転支援装置１０ｂは、その領域に相対する左側領域を示す潜在情報６４６ｂを、ＨＵＤ６１の左側下端部に表示させることができる。

潜在情報６４６ｂは、例えば車両の正面に配置されるＨＵＤ６１の左側下端部に沿って配置される矩形領域に提示される提示情報とすることができる。

図３９（Ｄａ）に示すように、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域と、車両の左側に偏って、運転者の注意状態の不適正度合いが比較的小さな領域と、があった場合には、変形例５の運転支援装置１０ｂは、車両の右側領域に相対する左側領域を示す潜在情報６４６ａに加えて、車両の左側領域に相対する右側領域を示す潜在情報６４７ａを、ＨＵＤ６１の右側端部に表示させる。

潜在情報６４７ａは、例えば車両の正面に配置されるＨＵＤ６１のAピラー右側に沿って配置される矩形領域に提示される提示情報とすることができる。また、潜在情報６４７ａは、輝度、色等を上記の潜在情報６４６ａと異なる態様で提示することにより、注意喚起の強度を潜在情報６４６ａよりも低く抑えることができる。

なお、注意状態に低度の偏りのある運転者に低度の注意喚起を促す潜在情報は、上記の潜在情報６４７ａとは異なる他の形状または態様であってもよい。

図３９（Ｄｂ）に示すように、上記の潜在情報６４７ａの他の態様として、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域と、車両の左側に偏って、運転者の注意状態の不適正度合いが比較的小さな領域と、があった場合には、変形例５の運転支援装置１０ｂは、上述の潜在情報６４６ｂに加え、上記の左側領域に相対する右側領域を示す潜在情報６４７ｂを、ＨＵＤ６１の左側下端部に表示させることができる。

潜在情報６４７ｂは、例えば車両の正面に配置されるＨＵＤ６１の右側下端部に沿って配置される矩形領域に提示される提示情報とすることができる。また、潜在情報６４７ｂは、潜在情報６４６ｂよりも注意喚起の強度の低い態様とする。

図３９（Ｅａ）に示すように、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域と、車両の左側に偏って、運転者の注意状態の不適正度合いが中程度の領域と、があった場合には、変形例５の運転支援装置１０ｂは、車両の右側領域に相対する左側領域を示す潜在情報６４６ａに加えて、車両の左側領域に相対する右側領域を示す潜在情報６４８ａを、ＨＵＤ６１の右側端部に表示させる。

潜在情報６４８ａは、例えば車両の正面に配置されるＨＵＤ６１の右側端部に沿って配置される矩形領域に提示される提示情報とすることができる。また、潜在情報６４８ａは、輝度、色等を上記の潜在情報６４６ａ，６４７ａとは異なる態様で提示することにより、注意喚起の強度を潜在情報６４７ａよりも高くしつつ、潜在情報６４６ａよりも低く抑えることができる。

なお、注意状態に中程度の偏りのある運転者に中程度の注意喚起を促す潜在情報は、上記の潜在情報６４８ａとは異なる他の形状または態様であってもよい。

図３９（Ｅｂ）に示すように、上記の潜在情報６４８ａの他の態様として、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域と、車両の左側に偏って、運転者の注意状態の不適正度合いが中程度の領域と、があった場合には、変形例５の運転支援装置１０ｂは、上述の潜在情報６４６ｂに加え、上記の左側領域に相対する右側領域を示す潜在情報６５８ｂを、ＨＵＤ６１の左側下端部に表示させることができる。

潜在情報６４８ｂは、例えば車両の正面に配置されるＨＵＤ６１の右側下端部に沿って配置される矩形領域に提示される提示情報とすることができる。また、潜在情報６４８ｂは、潜在情報６４７ｂよりも注意喚起の強度が高く、潜在情報６４６ｂよりも注意喚起の強度が低い態様とする。

以上の構成により、運転者の注意状態の不適正度合いの高低、及び所定の閾値以上の注意状態の不適正度合いの領域の画像内の位置等に基づく種々の潜在情報６４５，６４６ａ～６４９ａ，６４６ｂ～６４９ｂ等を、ＨＵＤ６１に表示させることができる。

なお、ＨＵＤ６１の外周領域を用いて各種の潜在情報６４５，６４６ａ～６４９ａ，６４６ｂ～６４９ｂ等を表示させる場合にも、外周領域を除くＨＵＤ６１の中央領域には、上述の図３１及び図３２等に示す種々の画像が表示される。

図４０は、実施形態１の変形例５にかかる運転支援装置１０ｂが潜在情報を提示させるＬＥＤディスプレイ６６の構成の一例を示す模式図である。

図４０に示すように、発光装置としてのＬＥＤディスプレイ６６は、例えばフロントガラスに配置されるＨＵＤ６１の下端部に沿って配列される複数のＬＥＤ等を備える。変形例５の運転支援装置１０ｂは、これらのＬＥＤを所定の態様で点灯／消灯させることで、ＬＥＤディスプレイ６６に潜在情報を提示させる。

図４１は、実施形態１の変形例５にかかる運転支援装置１０ｂの潜在情報のＬＥＤディスプレイ６６への提示例を示す模式図である。

図４１（Ａａ）に示すように、例えば車両の前方全体に亘って、運転者の注意状態の不適正度合いが大きな領域があった場合には、変形例５の運転支援装置１０ｂは、ＨＵＤ６１の下端部に沿って延びるＬＥＤディスプレイ６６の全体を点灯させた潜在情報６５５を提示させる。

すなわち、潜在情報６５５は、ＨＵＤ６１の下端部に沿って配列される複数のＬＥＤの全てを点灯させた状態の提示情報とすることができる。ただし、車両の前方全体への強度の注意喚起を促す潜在情報は、上記の潜在情報６５５とは異なる他の態様であってもよい。

図４１（Ａｂ）に示すように、例えば車両の前方全体に亘って、運転者の注意状態の不適正度合いが比較的小さな領域があった場合には、変形例５の運転支援装置１０ｂは、ＨＵＤ６１の下端部に沿って延びるＬＥＤディスプレイ６６の中央部分を点灯させた潜在情報６５９を提示させる。

すなわち、潜在情報６５９は、ＨＵＤ６１の下端部に沿って配列される複数のＬＥＤのうち、中央部分に配列される幾つかのＬＥＤを点灯させた状態の提示情報とすることができる。ただし、車両の前方全体への低度の注意喚起を促す潜在情報は、上記の潜在情報６５５とは異なる他の態様であってもよい。

図４１（Ｂ）に示すように、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域があった場合には、変形例５の運転支援装置１０ｂは、その領域に相対する左側領域を示す潜在情報６５６をＬＥＤディスプレイ６６に提示させる。

潜在情報６５６は、ＨＵＤ６１の下端部に沿って延びるＬＥＤディスプレイ６６の左側部分を点灯させた状態の提示情報とすることができる。すなわち、ＨＵＤ６１の下端部に沿って配列される複数のＬＥＤのうち、左側に配列される幾つかのＬＥＤを点灯させる。ただし、注意状態に大きな偏りのある運転者に強度の注意喚起を促す潜在情報は、上記の潜在情報６５６とは異なる他の形状または態様であってもよい。

図４１（Ｃａ）に示すように、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域と、車両の左側に偏って、運転者の注意状態の不適正度合いが比較的小さな領域と、があった場合には、変形例５の運転支援装置１０ｂは、車両の右側領域に相対する左側領域を示す潜在情報６５６に加えて、車両の左側領域に相対する右側領域を示す潜在情報６５７を、ＬＥＤディスプレイ６６に提示させる。

潜在情報６５７は、ＨＵＤ６１の下端部に沿って延びるＬＥＤディスプレイ６６の右側部分を点灯させた状態の提示情報とすることができる。すなわち、ＨＵＤ６１の下端部に沿って配列される複数のＬＥＤのうち、右側に配列される幾つかのＬＥＤを点灯させる。また、潜在情報６５７は、点灯させるＬＥＤの数、輝度、色等を上記の潜在情報６５６とは異なる態様で提示することにより、注意喚起の強度を潜在情報６５６よりも低く抑えることができる。

なお、注意状態に低度の偏りのある運転者に低度の注意喚起を促す潜在情報は、上記の潜在情報６５７とは異なる他の形状または態様であってもよい。

図４１（Ｃｂ）に示すように、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域と、車両の左側に偏って、運転者の注意状態の不適正度合いが中程度の領域と、があった場合には、変形例５の運転支援装置１０ｂは、車両の右側領域に相対する左側領域を示す潜在情報６５６に加えて、車両の左側領域に相対する右側領域を示す潜在情報６５８を、ＬＥＤディスプレイ６６に提示させる。

潜在情報６５８は、ＨＵＤ６１の下端部に沿って延びるＬＥＤディスプレイ６６の右側部分を点灯させた状態の提示情報とすることができる。また、潜在情報６５８は、点灯させるＬＥＤの数、輝度、色等を上記の潜在情報６５６，６５７とは異なる態様で提示することにより、注意喚起の強度を潜在情報６５７よりも高くしつつ、潜在情報６５６よりも低く抑えることができる。

なお、注意状態に中程度の偏りのある運転者に中程度の注意喚起を促す潜在情報は、上記の潜在情報６５８とは異なる他の形状または態様であってもよい。

以上の構成により、運転者の注意状態の不適正度合いの高低、及び所定の閾値以上の注意状態の不適正度合いの領域の画像内の位置等に基づく種々の潜在情報６５５，６５６～６５９等を、ＬＥＤディスプレイ６６に提示させることができる。

ところで、上述の図４１では、例えば点灯させるＬＥＤの数、輝度、色等をそれぞれ異なる態様で提示することで、潜在情報６５５，６５６～６５９の注意喚起の強度を異なる態様で提示することとした。しかし、ＬＥＤディスプレイ６６によって注意喚起の強度を異なる態様で提示する手法は上記に限られない。

図４２は、実施形態１の変形例５にかかる運転支援装置１０ｂが生成した提示情報を、ＬＥＤの点滅によってＬＥＤディスプレイ６６に提示させる例を示す模式図である。

図４２（ａ）に示すように、変形例５の運転支援装置１０ｂは、潜在情報の提示対象のＬＥＤを点滅させることによって、ＬＥＤディスプレイ６６に潜在情報を提示させることができる。図４２（ａ）の例では、ＬＥＤの輝度を０％とする消灯期間終了後、ＬＥＤの輝度を１００％として点灯期間に移行する。点灯期間の終了後、消灯期間の移行時には、ＬＥＤの輝度を０％とする。

このとき、点灯期間のＬＥＤの輝度を高めることで、潜在情報の注意喚起の強度を高めることができ、点灯期間のＬＥＤの輝度を低く抑えることで、潜在情報の注意喚起の強度を低下させることができる。

または、ＬＥＤの点滅の周期を短くすることで、潜在情報の注意喚起の強度を高めることができ、ＬＥＤの点滅の周期を長くすることで、潜在情報の注意喚起の強度を低下させることができる。

または、ＬＥＤの点灯期間を消灯期間より長くすることで、潜在情報の注意喚起の強度を高めることができ、ＬＥＤの点灯期間を消灯期間より短くすることで、潜在情報の注意喚起の強度を低下させることができる。

また、図４２（ａ）とは異なる手法で、ＬＥＤの点灯と消灯との切り替えを行うこともできる。

図４２（ｂ）の例では、ＬＥＤの輝度を０％とする消灯期間終了後、ＬＥＤの輝度を徐々に１００％まで高めていって点灯期間に移行する。点灯期間の終了後、消灯期間の移行時には、ＬＥＤの輝度を徐々に０％まで落としていく。

この場合、図４２（ａ）における注意喚起の強度の調整手法に加え、例えばＬＥＤの輝度の増減が急峻であるほど、潜在情報の注意喚起の強度を高めることができ、ＬＥＤの輝度の増減が緩慢であるほど、潜在情報の注意喚起の強度を低下させることができる。

図４３は、実施形態１の変形例５にかかる運転支援装置１０ｂが生成した提示情報を、ＬＥＤを複数色で点灯させることによってＬＥＤディスプレイ６６に提示させる例を示す模式図である。

図４３（ａ）に示すように、変形例５の運転支援装置１０ｂは、潜在情報の提示対象のＬＥＤを周期的に異なる色で点灯させることによって、ＬＥＤディスプレイ６６に潜在情報を提示させることができる。図４３（ａ）の例では、ＬＥＤを交互に色Ｘと色Ｙとで点灯させている。

このとき、色Ｘ，Ｙの色相、彩度、明度等の差を大きくすることで、潜在情報の注意喚起の強度を高めることができ、色Ｘ，Ｙの色相、彩度、明度等の差を小さくすることで、潜在情報の注意喚起の強度を低下させることができる。

すなわち、色Ｘ，Ｙの色相差を高めるには、例えば補色の関係にある色を色Ｘ，Ｙとして使用することができる。また、色Ｘ，Ｙの色相差を低く抑えるには、例えば同系色の色を色Ｘ，Ｙとして使用することができる。

色Ｘ，Ｙの彩度差を高めるには、例えば彩度の高い色と低い色とを組み合わせて色Ｘ，Ｙとすることができる。色Ｘ，Ｙの明度差を高めるには、例えば明度の高い色と低い色とを組み合わせて色Ｘ，Ｙとすることができる。

また、上記の場合、潜在情報の提示対象のＬＥＤの配列上で、個々のＬＥＤを交互に色Ｘまたは色Ｙで点灯させてもよい。更には、このようなＬＥＤの配列上を、色Ｘ，Ｙの各色が流れていくように潜在情報を提示させることも可能である。

すなわち、時刻ｔ１では、配列上の順番が奇数のＬＥＤを色Ｘで点灯させ、配列上の順番が偶数のＬＥＤを色Ｙで点灯させる。その後の時刻ｔ２では、奇数のＬＥＤを色Ｙで点灯させ、偶数のＬＥＤを色Ｘで点灯させる。これを交互に繰り返すことで、上記のような視覚効果が得られる。

また、図４３（ａ）とは異なる手法で、ＬＥＤディスプレイ６６に提示させる潜在情報の注意喚起の強度を調整することも可能である。

図４３（ｂ）の例では、変形例５の運転支援装置１０ｂは、色Ｘの点灯期間を色Ｙの点灯時間より長くしている。

このとき、色相、彩度、明度の高い色を色Ｘとして使用し、色相、彩度、明度の低い色を色Ｙとして使用することで、潜在情報の注意喚起の強度を高めることができる。また、色相、彩度、明度の低い色を色Ｘとして使用し、色相、彩度、明度の高い色を色Ｙとして使用することで、潜在情報の注意喚起の強度を低下させることができる。

以上の構成によっても、ＬＥＤディスプレイ６６に提示させる潜在情報の注意喚起の強度を調整することができる。

なお、上述の例では、ＬＥＤディスプレイ６６は、ＨＵＤ６１の下端部に設けられることとしたが、ＬＥＤディスプレイ６６の配置位置はこれに限られない。ＬＥＤディスプレイ６６が、例えばＨＵＤ６１の下端部に替えて、あるいは加えて、ＨＵＤ６１の両端部に設けられていてもよく、または、ＨＵＤ６１の外周を取り囲むように設けられていてもよい。

このような場合であっても、上述の図４１に示した各種態様に準じる態様で、運転者の注意状態の不適正度合いの高低、及び所定の閾値以上の注意状態の不適正度合いの領域の画像内の位置等に基づく種々の潜在情報を提示させることができる。

図４４は、実施形態１の変形例５にかかる運転支援装置１０ｂが潜在情報を提示させるミラーディスプレイ６７の構成の一例を示す模式図である。

図４４に示すように、ミラーディスプレイ６７は、例えば車両の後方確認用のバックミラー位置に、バックミラーに替えて設置されている。ミラーディスプレイ６７は、例えばバックミラー型に構成され、車両の後方画像を映し出すことにより、バックミラーと同等の機能を果たす。変形例５の運転支援装置１０ｂは、例えばこのようなミラーディスプレイ６７に潜在情報を表示させる。

図４５は、実施形態１の変形例５にかかる運転支援装置１０ｂの潜在情報のミラーディスプレイ６７への提示例を示す模式図である。

以下に説明するように、ミラーディスプレイ６７の外周領域を用いた潜在情報の表示は、例えば上述の図３０に示すメータディスプレイ６４を用いた潜在情報の表示と同様に行われてよい。

図４５（Ａ）に示すように、例えば車両の前方全体に亘って、運転者の注意状態の不適正度合いが大きな領域があった場合には、変形例５の運転支援装置１０ｂは、ミラーディスプレイ６７の外周部分を取り囲む潜在情報６６５を、ミラーディスプレイ６７の全周に表示させる。ただし、車両の前方全体への強度の注意喚起を促す潜在情報は、潜在情報６６５とは異なる形状、または態様であってもよい。

図４５（Ｂａ）に示すように、例えば車両の前方全体に亘って、運転者の注意状態の不適正度合いが比較的小さな領域があった場合には、変形例５の運転支援装置１０ｂは、対となった潜在情報６６９ａを、ミラーディスプレイ６７の左右両端部に表示させる。

潜在情報６６９ａは、例えば車両の正面に見立てたミラーディスプレイ６７の中央付近を指し示す１対の三角形を組み合わせた形状とすることができる。ただし、車両の前方全体への低度の注意喚起を促す潜在情報は、矢印等の他の形状または態様であってもよい。

図４５（Ｂｂ）に示すように、上記の潜在情報６６９ａの他の態様として、例えば車両の前方全体に亘って、運転者の注意状態の不適正度合いが比較的小さな領域があった場合には、変形例５の運転支援装置１０ｂは、ミラーディスプレイ６７の中央を指し示す三角形の潜在情報６６９ｂを、ミラーディスプレイ６７の中央下端部に表示させることができる。

図４５（Ｃａ）に示すように、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域があった場合には、変形例５の運転支援装置１０ｂは、その領域に相対する左側領域を示す潜在情報６６６ａを、ミラーディスプレイ６７の左側端部に表示させる。

潜在情報６６６ａは、例えば車両の左側領域に見立てたミラーディスプレイ６７の左側端部に沿って配置される矩形領域に提示される提示情報とすることができる。ただし、注意状態に大きな偏りのある運転者に強度の注意喚起を促す潜在情報は、上記の潜在情報６６６ａとは異なる他の形状または態様であってもよい。

図４５（Ｃｂ）に示すように、上記の潜在情報６６６ａの他の態様として、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域があった場合には、変形例５の運転支援装置１０ｂは、その領域に相対する左側領域を示す潜在情報６６６ｂを、ミラーディスプレイ６７の左側下端部に表示させることができる。

潜在情報６６６ｂは、例えば車両の左側領域に見立てたミラーディスプレイ６７の左側下端部に沿って配置される矩形領域に提示される提示情報とすることができる。

図４５（Ｄａ）に示すように、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域と、車両の左側に偏って、運転者の注意状態の不適正度合いが比較的小さな領域と、があった場合には、変形例５の運転支援装置１０ｂは、車両の右側領域に相対する左側領域を示す潜在情報６６６ａに加えて、車両の左側領域に相対する右側領域を示す潜在情報６６７ａを、ミラーディスプレイ６７の右側端部に表示させる。

潜在情報６６７ａは、例えば車両の右側領域に見立てたミラーディスプレイ６７の右側端部に沿って配置される矩形領域に提示される提示情報とすることができる。また、潜在情報６６７ａは、輝度、色等を上記の潜在情報６６６ａとは異なる態様で提示することにより、注意喚起の強度を潜在情報６６６ａよりも低く抑えることができる。

なお、注意状態に低度の偏りのある運転者に低度の注意喚起を促す潜在情報は、上記の潜在情報６６７ａとは異なる他の形状または態様であってもよい。

図４５（Ｄｂ）に示すように、上記の潜在情報６６７ａの他の態様として、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域と、車両の左側に偏って、運転者の注意状態の不適正度合いが比較的小さな領域と、があった場合には、変形例５の運転支援装置１０ｂは、上述の潜在情報６６６ｂに加え、上記の左側領域に相対する右側領域を示す潜在情報６６７ｂを、ミラーディスプレイ６７の左側下端部に表示させることができる。

潜在情報６６７ｂは、例えば車両の右側領域に見立てたミラーディスプレイ６７の右側下端部に沿って配置される矩形領域に提示される提示情報とすることができる。また、潜在情報６６７ｂは、潜在情報６６６ｂよりも注意喚起の強度の低い態様とする。

図４５（Ｅａ）に示すように、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域と、車両の左側に偏って、運転者の注意状態の不適正度合いが中程度の領域と、があった場合には、変形例５の運転支援装置１０ｂは、車両の右側領域に相対する左側領域を示す潜在情報６６６ａに加えて、車両の左側領域に相対する右側領域を示す潜在情報６６８ａを、ミラーディスプレイ６７の右側端部に表示させる。

潜在情報６６８ａは、例えば車両の右側領域に見立てたミラーディスプレイ６７の右側端部に沿って配置される矩形領域に提示される提示情報とすることができる。また、潜在情報６６８ａは、輝度、色等を上記の潜在情報６６６ａ，６６７ａとは異なる態様で提示することにより、注意喚起の強度を潜在情報６６７ａよりも高くしつつ、潜在情報６６６ａよりも低く抑えることができる。

なお、注意状態に中程度の偏りのある運転者に中程度の注意喚起を促す潜在情報は、上記の潜在情報６６８ａとは異なる他の形状または態様であってもよい。

図４５（Ｅｂ）に示すように、上記の潜在情報６６８ａの他の態様として、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域と、車両の左側に偏って、運転者の注意状態の不適正度合いが中程度の領域と、があった場合には、変形例５の運転支援装置１０ｂは、上述の潜在情報６６６ｂに加え、上記の左側領域に相対する右側領域を示す潜在情報６６８ｂを、ミラーディスプレイ６７の左側下端部に表示させることができる。

潜在情報６６８ｂは、例えば車両の右側領域に見立てたミラーディスプレイ６７の右側下端部に沿って配置される矩形領域に提示される提示情報とすることができる。また、潜在情報６６８ｂは、潜在情報６６７ｂよりも注意喚起の強度が高く、潜在情報６６６ｂよりも注意喚起の強度が低い態様とする。

以上の構成により、運転者の注意状態の不適正度合いの高低、及び所定の閾値以上の注意状態の不適正度合いがの領域の画像内の位置等に基づく種々の潜在情報６６５，６６６ａ～６６９ａ，６６６ｂ～６６９ｂ等を、ミラーディスプレイ６７に表示させることができる。

変形例５の運転支援装置１０ｂによれば、ＨＵＤ６１、車内モニタ６２、スピーカ６３、メータディスプレイ６４、ピラーディスプレイ６５、ＬＥＤディスプレイ６６、及びミラーディスプレイ６７のうち、２以上の情報提示装置に、複数部分に分割した提示情報をそれぞれ提示させる。

これにより、情報提示装置６０に含まれる各種構成のうち、ＨＵＤ６１、車内モニタ６２、スピーカ６３、メータディスプレイ６４、ピラーディスプレイ６５、ＬＥＤディスプレイ６６、及びミラーディスプレイ６７のうち、視認性が高く、運転者の注意を惹き付けやすい構成に、例えばより高い危険性を示す顕在情報を提示し、運転者の注意を逸らすことなく情報の提示が可能な構成に、例えば比較的低い危険性を示す潜在情報を提示することができる。

変形例５の運転支援装置１０ｂによれば、その他、上述の実施形態１の運転支援装置１０と同様の効果を奏する。

なお、上述の変形例５の運転支援装置１０ｂにおいては、例えばＨＵＤ６１または車内モニタ６２に主に顕在情報を提示させ、その他の構成に潜在情報を提示させ、これらの構成を組み合わせて、運転者に情報を提示することとした。

しかし、例えば上述の実施形態１の運転支援装置１０のように、専ら潜在情報を提示する構成において、ＨＵＤ６１または車内モニタ６２等と組み合わせることなく、スピーカ６３、メータディスプレイ６４、ピラーディスプレイ６５、ＨＵＤ６１の外周領域、ＬＥＤディスプレイ６６、またはミラーディスプレイ６７等の、その他の構成を単独で用いて潜在情報を提示させてもよい。

（変形例６）
次に、図４６～図４８を用いて、実施形態１の変形例６の運転支援装置について説明する。変形例６の運転支援装置は、潜在情報と顕在情報とを提示させる際、衝突余裕時間（ＴＴＣ：Ｔｉｍｅ－Ｔｏ－Ｃｏｌｌｉｓｉｏｎ）も考慮に入れる点が上述の変形例５とは異なる。

図４６は、実施形態１の変形例６にかかる運転支援装置１０ｃの機能構成の一例を周辺機器とともに示すブロック図である。

図２６に示すように、変形例６の車両１０３には、上述の変形例５の運転支援装置１０ｂに替えて、変形例６の運転支援装置１０ｃが搭載されている。

運転支援装置１０ｃは、上述の変形例５の運転支援装置１０ｂの構成に加えて、ＴＴＣを算出するＴＴＣ演算部１１２を備え、また、上述の変形例５の出力制御部１３０ｂに替えて、運転者注意状態推定部１２０が推定した運転者の注意状態、顕在情報演算部１１１が生成した顕在情報、及びＴＴＣ演算部１１２が算出したＴＴＣ情報を取得して、運転支援情報を出力する出力制御部１３０ｃを備えている。

ＴＴＣ演算部１１２により算出されるＴＴＣは、車両１０３前方の歩行者等、車両１０３との衝突の恐れがある障害物と実際に衝突するまでの時間である。ＴＴＣの値が小さくなるほど障害物と車両１０３との衝突までに時間的な余裕がないことを意味する。また、ＴＴＣの値が大きくなるほど障害物と車両１０３との衝突までに時間的な余裕があることを意味する。

ＴＴＣ演算部１１２は、情報提示の対象となる領域に含まれる歩行者等の障害物と車両１０３との距離、車両１０３の速度等から、その障害物についてＴＴＣを算出する。

運転者注意状態推定部１２０は、推定した運転者の注意状態、顕在情報演算部１１１が生成した顕在情報、及びＴＴＣ演算部１１２がそれぞれの障害物について算出したＴＴＣの情報を、出力制御部１３０ｃへと受け渡す。

出力制御部１３０ｃは、運転者の注意状態に基づいて抽出した運転者に注意喚起を行う領域に関する情報、及び運転者注意状態推定部１２０から受け渡された顕在情報を含む運転支援情報を、ＨＭＩ制御装置３０に出力する。

また、出力制御部１３０ｃは、ＴＴＣ演算部１１２が算出したＴＴＣ情報に基づいて、顕在情報を含む上記の運転支援情報に、潜在情報を含めるか否かを決定する。出力制御部１３０ｃは、ＴＴＣが所定の閾値以上の場合には、上記の運転支援情報に、潜在情報も含めてＨＭＩ制御装置３０に出力する。出力制御部１３０ｃは、ＴＴＣが所定の閾値未満の場合には、潜在情報を含めることなく上記の運転支援情報をＨＭＩ制御装置３０に出力する。

図４７は、実施形態１の変形例６にかかる運転支援装置１０ｃの情報提示例を示す模式図である。

図４７（ａ）（ｂ）の例では、運転者に注意喚起を行う領域は、例えば右側手前の人物を含む領域、及び左側手前の親子連れを含む領域であるものとする。また、右側手前の人物についてのＴＴＣは所定の閾値以上であり、左側手前の親子連れについてのＴＴＣは所定の閾値未満であったものとする。

図４７（ａ）（ｂ）に示すように、変形例６の運転支援装置１０ｃは、右側手前の人物、及び左側手前の親子連れを示す、上述の楕円形の顕在情報６６２ａをそれぞれ、ＨＵＤ６１または車内モニタ６２に表示させる。

また、変形例６の運転支援装置１０ｃは、ＴＴＣが所定の閾値以上であった右側手前の人物を示す上述の矩形の潜在情報６０５ａを、ＨＵＤ６１または車内モニタ６２に表示させる。一方、変形例６の運転支援装置１０ｃは、ＴＴＣが所定の閾値未満であった親子連れに対しては潜在情報を表示させない。

このように、ＴＴＣが充分に長く、衝突までの時間的な余裕がある状態であれば、潜在情報６０５ａを表示させることで、運転者に、その潜在情報に応じて適切な操作を行わせることができる。一方で、ＴＴＣが短く、衝突までの時間的な余裕がない状態のときは、潜在情報を表示させないことで、潜在情報に気を取られて運転者が適切な操作を行う妨げになることを抑制できる。

ただし、このような顕在情報６６２ａ及び潜在情報６０５ａの形状、提示位置、及び提示の態様等は、上記の図４７の例に限定されない。

図４８は、実施形態１の変形例６にかかる運転支援装置１０ｃの他の情報提示例を示す模式図である。

図４８（ａ）（ｂ）に示す例では、変形例６の運転支援装置１０ｃは、右側手前の人物、及び左側手前の親子連れを示す矩形の顕在情報６６２ｂをそれぞれ、それらの人物および親子連れを囲むように表示させる。また、変形例６の運転支援装置１０ｃは、右側手前の人物を示す楕円形の潜在情報６０５ｂを、その人物の足元から離れた下方位置に表示させる。

なお、変形例６の運転支援装置１０ｃは、ＴＴＣの長短に応じて、例えば顕在情報６６２ａ，６６２ｂのサイズ、輝度、色等を変化させて、運転者への注意喚起の強度の高低を調整してもよい。また、変形例６の運転支援装置１０ｃは、運転者の注意状態の不適正度合いの高低に応じて、潜在情報６０５ａ，６０５ｂのサイズ、輝度、色等を変化させて、運転者への注意喚起の強度の高低を調整してもよい。

このように、顕在情報６６２及び潜在情報６０５の形状、提示位置、及び提示の態様等は、様々に異なる態様で提示することができる。

なお、変形例６の運転支援装置１０ｃも、上述の変形例５の図２９～図４５等に示したように、顕在情報と潜在情報とを異なる情報提示装置６０にそれぞれ提示させてもよい。

また、変形例６の運転支援装置１０ｃが、予測誤差とＴＴＣとに基づいて、上述の図４７及び図４８の例とは異なる情報を提示させてもよい。

図４９は、実施形態１の変形例６にかかる運転支援装置１０ｃの更に他の情報提示例を示す模式図である。図４９の例では、変形例６の運転支援装置１０ｃは、予測誤差の高低とＴＴＣの長短とを組み合わせた指標に基づいて、運転者への注意喚起の強度の異なる潜在情報を提示させる。

図４９（ａ）は、変形例６の運転支援装置１０ｃに与えられる潜在情報の提示態様表の一例を示している。図４９（ａ）に示すように、潜在情報の提示態様表には、注意喚起の強度の異なる複数の潜在情報の態様が定義されている。これらの潜在情報の注意喚起の強度は、予測誤差とＴＴＣとの２つのパラメータにより決定される。

すなわち、予測誤差には、低、中、及び高の３つの閾値が設定されており、ＴＴＣには、短、中、及び長の３つの閾値が設定されている。潜在情報の提示態様表には、予測誤差が低、中、及び高の場合と、ＴＴＣが短、中、及び長の場合とを組み合わせた９通りのパターンについて潜在情報の態様が定義づけられている。

これら９通りのパターンのうち、予測誤差が低でＴＴＣが長の場合、潜在情報の注意喚起の強度は最小となる。また、予測誤差が低でＴＴＣが短の場合、予測誤差が中でＴＴＣが短の場合、予測誤差が高でＴＴＣが短または中の場合、潜在情報の注意喚起の強度は最大となる。

また、予測誤差が中でＴＴＣが長の場合、潜在情報の注意喚起の強度は、予測誤差が低でＴＴＣが長の場合よりも大きくなる。また、予測誤差が低でＴＴＣが中の場合、及び予測誤差およびＴＴＣが共に中の場合、潜在情報の注意喚起の強度は、予測誤差が中でＴＴＣが長の場合よりも大きくなる。また、予測誤差が高でＴＴＣが長の場合、潜在情報の注意喚起の強度は、予測誤差が低でＴＴＣが中の場合等よりも大きくなる。

このように、潜在情報の提示態様表には、予測誤差の高低とＴＴＣの長短とを組み合わせた９通りのパターンに対して、４通りの潜在情報の態様が定義されている。ただし、図４９（ａ）に示す潜在情報の態様の定義はあくまでも一例であって、潜在情報の態様は種々に定義されうる。

例えば、予測誤差の高低、及びＴＴＣの長短の段階は、上記の３段階ではなく、２段階、または４段階以上であってもよい。また例えば、予測誤差の高低とＴＴＣの長短との組み合わせパターンに対し、潜在情報の態様が上記の４通りではなく、３通り以下または５通り以上であってもよい。

変形例６の運転支援装置１０ｃは、例えば図４９（ａ）に示す潜在情報の提示態様表にしたがって、潜在情報の提示の態様を決定する。図４９（Ａａ）～（Ｃｂ）に、ＨＵＤ６１または車内モニタ６２に潜在情報を表示する場合の例を示す。

図４９に示すように、変形例６の運転支援装置１０ｃは、例えば画像を左右の領域に２分割し、それぞれの領域について予測誤差およびＴＴＣを算出する。

図４９（Ａａ）（Ｂａ）の例では、左側手前に親子連れを含む左側領域について、予測誤差およびＴＴＣが共に中と判定され、いずれの人物も含まれない右側領域について、予測誤差が低でＴＴＣが長と判定されたものとする。

この場合、変形例６の運転支援装置１０ｃは、左側領域の下端部に沿って配置される矩形領域に提示される潜在情報６７６ｂを表示させる。潜在情報６７６ｂは、予測誤差およびＴＴＣが共に中の場合の注意喚起の強度を有する。

また、変形例６の運転支援装置１０ｃは、右側領域の下端部に沿って配置される矩形領域に提示される潜在情報６７６ａを表示させる。潜在情報６７６ａは、予測誤差が低でＴＴＣが長の場合の注意喚起の強度を有する。

図４９（Ａｂ）（Ｂｂ）の例では、左側手前に親子連れを含み、左側奥に２人の人物を含む左側領域について、予測誤差が高でＴＴＣが長と判定され、いずれの人物も含まれない右側領域について、予測誤差が低でＴＴＣが長と判定されたものとする。

この場合、変形例６の運転支援装置１０ｃは、左側領域の下端部に沿って配置される矩形領域に提示される潜在情報６７６ｃを表示させる。潜在情報６７６ｃは、予測誤差が高でＴＴＣが長の場合の注意喚起の強度を有する。

また、変形例６の運転支援装置１０ｃは、上述の図４９（Ａａ）（Ｂａ）の例と同様、右側領域の下端部に沿って延びる潜在情報６７６ａを表示させる。

なお、変形例６の運転支援装置１０ｃは、上記の図４９のように、ＨＵＤ６１または車内モニタ６２等に視覚的に潜在情報６７６ａ～６７６ｃ等を表示させる場合には、例えば潜在情報６７６ａ～６７６ｃの長さ、太さ、輝度、色等を変化させて、運転者への注意喚起の強度の高低を調整することができる。

以上のように、予測誤差とＴＴＣとの２つのパラメータに基づいて潜在情報を提示させることで、より多くの情報に基づく運転支援情報を高精度に生成することができる一方、提示の態様を、例えば潜在情報６７６ａ～６７６ｃのみにするなどして簡素化することができる。

変形例６の運転支援装置１０ｃによれば、上記の他、上述の変形例５の運転支援装置１０ｂと同様の効果を奏する。

（変形例７）
次に、図５０を用いて、実施形態１の変形例７の運転支援装置１０ｄについて説明する。変形例７の運転支援装置１０ｄは、外部サーバ９０に運転支援情報を出力する点が上述の実施形態１とは異なる。

図５０は、実施形態１の変形例７にかかる運転支援装置１０ｄの機能構成の一例を周辺機器とともに示すブロック図である。

図５０に示すように、変形例７の車両１０４には、上述の実施形態１の運転支援装置１０に替えて、変形例７の運転支援装置１０ｄが搭載されている。運転支援装置１０ｄは、上述の実施形態１の出力制御部１３０に替えて、外部サーバ９０に運転支援情報を出力する出力制御部１３０ｄを備える。

出力制御部１３０ｄは、運転者への注意喚起を行う領域に紐づけられた運転支援情報を生成し、外部サーバ９０に出力する。

外部サーバ９０は、例えば無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等によって、互いに情報の授受が可能に、変形例７の車両１０４を含む複数の車両と接続されている。外部サーバ９０は、変形例７の運転支援装置１０ｄを含む、複数の車両の運転支援装置から、それらの運転支援装置が生成した運転支援情報を取得し蓄積する。

外部サーバ９０に蓄積された運転支援情報は、例えばデータベース化されて、他の車両における運転者への運転支援に活用される。これにより、所定の車両により生成された運転支援情報を複数の車両間で共有して、運転者への運転支援を行うことができる。また、複数の車両から収集された運転支援情報がデータベース化されることで、運転支援の精度を高めることができる。

変形例７の運転支援装置１０ｄによれば、その他、上述の実施形態１の運転支援装置１０と同様の効果を奏する。

［実施形態２］
実施形態２について図面を用いて説明する。実施形態２においては、運転支援装置が運転者の視線も考慮に入れて運転支援情報を生成する点が、上述の実施形態１とは異なる。

図５１は、実施形態２にかかる運転支援装置２１０の機能構成の一例を周辺機器とともに示すブロック図である。

図５１に示すように、実施形態２の車両２００には、上述の実施形態１の運転支援装置１０に替えて、実施形態２の運転支援装置２１０が搭載されている。

運転支援装置２１０は、上述の実施形態１の運転支援装置１０の構成に加えて、運転者の視線の向いた先を推定する視線推定部１４０を備え、また、上述の実施形態１の運転者注意状態推定部１２０に替えて、予測誤差演算部１１０と視線推定部１４０とから情報を取得して、運転者の注意状態を推定する運転者注意状態推定部２２０を備えている。

視線推定部１４０は、例えば車内向けカメラ４２が撮像した運転者の顔画像から、運転者が視線を向けた先を推定する。より具体的には、車外向けカメラ４１が撮像した車両２００の進行方向の画像を、上述のように、例えば複数領域に分割した場合には、視線推定部１４０は、これらの複数領域のうち、運転者が視線を向けた領域を推定する。

運転者注意状態推定部２２０は、上述の実施形態１の運転者注意状態推定部１２０と同様、画像内の複数領域において、運転者の注意の惹き付けやすさの高低を算出する。また、運転者注意状態推定部２２０は、複数領域における注意状態の不適正度合いの高低、及び視線推定部１４０が推定した運転者の視線の向きに基づいて、複数領域に対する運転者の注意状態をそれぞれ推定する。

ここで、上述の実施形態１の図４で説明したとおり、運転者は予測誤差が大きい箇所に注意を向ける傾向がある。運転者注意状態推定部２２０は、図４に示した手法に則って、運転者が視線を向けている領域の予測誤差と、視線を向けていない任意の領域の予測誤差と、に基づいて、運転者の注意の惹かれやすさを推定する。

すなわち、運転者注意状態推定部２２０は、運転者が視線を向けている領域と、任意の領域とを抽出し、それぞれの領域の予想誤差が所定の閾値以上となる割合から、運転者が視線を向けている領域についてＡＵＣ値を算出し、ＡＵＣ値が所定の閾値より大きかった領域を含む情報を運転者の注意状態の推定に用いる。

このように、予測誤差のみならず、運転者の視線を考慮に入れることで、所定の領域に対して運転者の注意状態が適正な状態にあるか否かをより高精度に推定することが可能となる。なお、これ以降、上記のように算出されるＡＵＣ値を注意状態指標とも呼ぶ。

図５２は、実施形態２にかかる運転支援装置２１０が行う運転支援処理の手順の一例を示すフロー図である。なお、図５２に示す処理のうち、ステップＳ１０１が、上述の実施形態１の図７に示す処理から新たに加わった処理である。

図５２に示すように、実施形態２の運転支援装置２１０が備える視線推定部１４０は、車内向けカメラ４２が撮像した運転者の顔画像から、運転者が視線を向けた先を推定する（ステップＳ１０１）。また、運転者注意状態推定部２２０は、車外向けカメラ４１が撮像した画像を複数領域に分割し（ステップＳ１１０）、それぞれについて予測誤差を算出する（ステップＳ１２０）。

また、運転者注意状態推定部２２０は、算出した予測誤差と推定された視線とから求めた所定の領域のＡＵＣ値、つまり、注意状態指標が閾値ＴＨ２１より大きい場合（ステップＳ１３０：Ｙｅｓ）、その領域に対する運転者の注意状態の不適正度合いが高いと推定する（ステップＳ１３２）。

運転者注意状態推定部２２０のこのような推定に基づいて、出力制御部１３０は、その領域に相対する領域に提示する情報について、強度の注意喚起の強度を有する態様ＳＴ１を選択する。

運転者注意状態推定部２２０は、所定の領域の注意状態指標が閾値ＴＨ２１未満である閾値ＴＨ２２より大きい場合（ステップＳ１３０：Ｎｏ、ステップＳ１４０：Ｙｅｓ）、その領域に対する運転者の注意状態の不適正度合いが中程度と推定する（ステップＳ１４２）。

運転者注意状態推定部２２０のこのような推定に基づいて、出力制御部１３０は、その領域に相対する領域に提示する運転情報について、中程度の注意喚起の強度を有する態様ＳＴ２を選択する。

運転者注意状態推定部２２０は、所定の領域の注意状態指標が閾値ＴＨ２２未満である閾値ＴＨ２３より大きい場合（ステップＳ１４０：Ｎｏ、ステップＳ１５０：Ｙｅｓ）、その領域に対する運転者の注意状態の不適正度合いが低いと推定する（ステップＳ１５２）。

運転者注意状態推定部２２０のこのような推定に基づいて、出力制御部１３０は、その領域に相対する領域に提示する運転情報について、低度の注意喚起の強度を有する態様ＳＴ２を選択する。

運転者注意状態推定部２２０は、所定の領域の注意状態指標が閾値ＴＨ２３より小さい場合（ステップＳ１５０：Ｎｏ）、その領域に対する運転者の注意状態が充分に適正であるものとし、出力制御部１３０は、その領域に相対する領域に提示する運転支援情報の生成を行わない。

実施形態２の運転支援装置２１０は、全ての領域について上記処理を繰り返し（ステップＳ１６０：Ｎｏ）、全ての領域の処理が終了した後（ステップＳ１６０：Ｙｅｓ）、生成した運転支援情報をＨＭＩ制御装置３０に出力する（ステップＳ１７０）。

以上により、実施形態２の運転支援装置２１０による運転支援処理が終了する。

以上のように、上記説明においては、運転支援装置２１０が、実施形態１の運転支援装置１０と同様、画像を複数領域に分割して種々の処理を行うこととした。しかし、実施形態２においては、運転者の視線が向いた先と、そうではない任意の個所とを抽出すれば良く、必ずしも画像を複数領域に分割する必要は無い。すなわち、例えば画像内の運転者の視線が向いた先のピクセルと運転者の視線が向いていないピクセル、というように、ピクセルごとに抽出を行って上記処理を実行してもよい。

なお、実施形態２の運転支援装置２１０によって、上記のようにＨＭＩ制御装置３０に出力された運転支援情報に含まれる情報は、例えば上述の実施形態１及び変形例１～３で説明した種々の態様で情報提示装置６０によって提示されることができる。

これにより、注意状態推定部が推定した注意の惹かれやすいときに、運転者を適正な注意状態に誘導させるように視認行動を無意識に変容させることができ、また、運転者に自覚させるように注意喚起することができる。

このとき、実施形態２の運転支援装置２１０が、上述の実施形態１の変形例５，６等と同様、顕在情報演算部１１１、ＴＴＣ演算部１１２等を備えることにより、運転支援情報に含まれる潜在情報と顕在情報とを提示させることが可能であってもよい。

あるいは、実施形態２の運転支援装置２１０が、上述の実施形態１の変形例４，７等と同様、ＥＣＵ２０または外部サーバ９０等に運転支援情報が出力可能に構成されていてもよい。

実施形態２の運転支援装置２１０によれば、予測誤差に加えて運転者の視線の向きにも基づいて運転者の注意状態を推定する。これにより、より高精度に運転者の注意状態を推定し、より適切な情報を運転者に提示することができる。

実施形態２の運転支援装置２１０によれば、車両１０４の進行方向を撮像した画像内の複数領域のうち、運転者が視線を向けている領域の予測誤差と、任意の領域の予測誤差と、に基づいて注意の惹かれやすさを推定する。

これにより、例えば予測誤差が高い領域であっても、運転者の注意状態に偏りがない場合には、不要な情報提示を行わないこととすることができる。

実施形態２の運転支援装置２１０によれば、その他、上述の実施形態１の運転支援装置１０と同様の効果を奏する。

［実施形態３］
実施形態３について図面を用いて説明する。実施形態３においては、運転支援装置が運転者の熟練度も考慮に入れて運転支援情報を生成する点が、上述の実施形態１とは異なる。

図５３は、実施形態３にかかる運転支援装置３１０の機能構成の一例を周辺機器とともに示すブロック図である。

図５３に示すように、実施形態３の車両３００には、上述の実施形態１の運転支援装置１０に替えて、実施形態３の運転支援装置３１０が搭載されている。

運転支援装置３１０は、上述の実施形態１の運転支援装置１０の構成に加えて、視線推定部１４０、及び運転者の熟練度を判定する運転者熟練度判定部１５０を備え、また、上述の実施形態１の運転者注意状態推定部１２０に替えて、予測誤差演算部１１０、視線推定部１４０、及び運転者熟練度判定部１５０から情報を取得して、運転者の注意状態を推定する運転者注意状態推定部３２０を備えている。

運転者熟練度判定部１５０は、例えばＥＣＵ２０が検出装置４０（図１参照）から取得した各種検出結果に基づいて、運転者の熟練度を判定する。検出装置４０の各種検出結果からは、その運転者による車両１０４の運転操作の状況を知ることができる。よって、例えば急ハンドル、急発進、急停車が多い等の検知結果から、その運転者の熟練度が低いと推定することが可能である。

運転者注意状態推定部３２０は、上述の実施形態２の運転者注意状態推定部２２０と同様、複数領域における予測誤差に基づく運転者の注意状態の不適正度合いの高低、及び視線推定部１４０が推定した運転者の視線の向きに基づいて、複数領域に対する運転者の注意状態をそれぞれ推定する。

このとき、運転者注意状態推定部３２０は、運転者の熟練度に応じて、運転者の注意状態を推定する際の複数領域における注意状態指標の閾値を変更する。すなわち、運転者注意状態推定部３２０は、運転者の熟練度が低い場合には注意状態指標の閾値を低く設定する。また、運転者注意状態推定部３２０は、運転者の熟練度が高い場合には注意状態指標の閾値を高く設定する。

運転者注意状態推定部３２０による、このような設定は、熟練度が低い運転者は、熟練度が高い運転者に比べて、予測誤差の大きな領域に視線を向ける傾向がより高いことに基づく。

図５４は、実施形態３にかかる運転支援装置３１０が行う運転支援処理の手順の一例を示すフロー図である。なお、図５４に示す処理のうち、ステップＳ１０２，Ｓ１０３が、上述の実施形態２の図５２に示す処理から新たに加わった処理である。

図５４に示すように、実施形態３の運転支援装置３１０が備える視線推定部１４０は、車内向けカメラ４２が撮像した運転者の顔画像から、運転者が視線を向けた先を推定する（ステップＳ１０１）。また、運転者熟練度判定部１５０は、ＥＣＵ２０から検出装置４０の検出結果を取得し、これらの検出結果に基づいて運転者の熟練度を判定する（ステップＳ１０２）。

運転者注意状態推定部３２０は、運転者熟練度判定部１５０の判定結果に基づいて、予測誤差および運転者の視線等から算出される注意状態指標の閾値の設定を変更する（ステップＳ１０３）。

運転者の熟練度が低いと判定された場合、運転者注意状態推定部３２０は、閾値ＴＨ３１、閾値ＴＨ３１よりも大きい閾値ＴＨ３２、閾値ＴＨ３２よりも大きい閾値ＴＨ３３を設定する。運転者の熟練度が高いと判定された場合、運転者注意状態推定部３２０は、閾値ＴＨ３１よりも大きい閾値ＴＨ３４、閾値ＴＨ３２，ＴＨ３４よりも大きい閾値ＴＨ３５、閾値ＴＨ３３，ＴＨ３５よりも大きい閾値ＴＨ３６を設定する。

また、運転者注意状態推定部２２０は、車外向けカメラ４１が撮像した画像を複数領域に分割し（ステップＳ１１０）、それぞれについて予測誤差を算出する（ステップＳ１２０）。

また、運転者注意状態推定部２２０は、運転者の熟練度に基づいて設定した閾値ＴＨ３１～ＴＨ３３、または閾値ＴＨ３４～ＴＨ３６に応じて、予測誤差と運転者の視線とから算出した注意状態指標を振り分け（ステップＳ１３０，Ｓ１４０，Ｓ１５０）、これらの注意状態指標に基づいて運転者の注意状態を推定する（ステップＳ１３２，Ｓ１４２，Ｓ１５２）。

出力制御部１３０は、運転者注意状態推定部２２０の推定結果に基づいて、潜在情報の提示の態様ＳＴ１～ＳＴ３を選択する（ステップＳ１３３，Ｓ１４３，Ｓ１５３）。

実施形態３の運転支援装置３１０は、全ての領域について上記処理を繰り返し（ステップＳ１６０：Ｎｏ）、全ての領域の処理が終了した後（ステップＳ１６０：Ｙｅｓ）、生成した運転支援情報をＨＭＩ制御装置３０に出力する（ステップＳ１７０）。

以上により、実施形態３の運転支援装置３１０による運転支援処理が終了する。

なお、実施形態３の運転支援装置３１０によって、上記のようにＨＭＩ制御装置３０に出力された運転支援情報に含まれる情報は、例えば上述の実施形態１及び変形例１～３で説明した種々の態様で情報提示装置６０によって提示されることができる。

このとき、実施形態３の運転支援装置３１０が、上述の実施形態１の変形例５，６等と同様、顕在情報演算部１１１、ＴＴＣ演算部１１２等を備えることにより、運転支援情報に含まれる潜在情報と顕在情報とを提示させることが可能であってもよい。

あるいは、実施形態３の運転支援装置３１０が、上述の実施形態１の変形例４，７等と同様、ＥＣＵ２０または外部サーバ９０等に運転支援情報が出力可能に構成されていてもよい。

実施形態３の運転支援装置３１０によれば、予測誤差に加えて運転者の運転の熟練度にも基づいて運転者の注意状態を推定する。これにより、個々の運転者に応じて、より高精度に注意状態を推定することができる。

実施形態３の運転支援装置３１０によれば、運転者の熟練度が低い場合には、複数領域のうち注意状態指標がいずれかの閾値ＴＨ３１～ＴＨ３３より大きい領域を抽出し、運転者の熟練度が高い場合には、複数領域のうち注意状態指標がいずれかの閾値ＴＨ３４～ＴＨ３６を超える領域を抽出する。

これにより、運転者の熟練度に応じて、運転者の注意状態の不適正度合い検知を行うことができる。よって、個々の運転者に応じて、適切な情報提示を行うことができる。

なお、上述の実施形態３では、運転支援装置３１０が視線推定部１４０を備えることとした。しかし、運転支援装置３１０は、視線推定部１４０を備えていなくともよく、その場合、実施形態３の運転支援装置３１０は、実施形態１の運転支援装置１０の処理に加えて、運転者の熟練度に応じた閾値の設定切り替え処理を行う構成であってもよい。

また、上述の実施形態１～３及び変形例１～７では、運転支援装置１０，２１０，３１０等が、例えば３つの閾値に基づいて予測誤差等から算出される指標の高低を判定することとした。しかし、このような指標について設定される閾値は、２つ以下であってもよく、または４つ以上であってもよい。

また、上述の実施形態１～３及び変形例１～７では、運転支援装置１０，２１０，３１０等が、例えばＥＣＵ等の１つの装置として構成されているものとした。しかし、複数の装置を組み合わせて構成される運転支援システムによって、上述の実施形態１～３及び変形例１～７で説明した機能が実現されてもよい。この場合、一部機能を実現する装置が、車両外に設けられていてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０，１０ａ，１０ｂ，１０ｃ，１０ｄ，２１０，３１０ 運転支援装置
２０ ＥＣＵ
３０ ＨＭＩ制御装置
４０ 検出装置
４１ 車外向けカメラ
４２ 車内向けカメラ
５０ 車両制御装置
５１ ブレーキアクチュエータ
５２ エンジンコントローラ
６０ 情報提示装置
６１ ＨＵＤ
６２ 車内モニタ
６３ スピーカ
６４ メータディスプレイ
６５ ピラーディスプレイ
６６ ＬＥＤディスプレイ
６７ ミラーディスプレイ
９０ 外部サーバ
１００，１０１～１０４，２００，３００ 車両
１１０ 予測誤差演算部
１１１ 顕在情報演算部
１１２ ＴＴＣ演算部
１２０，２２０，３２０ 運転者注意状態推定部
１３０，１３０ａ，１３０ｂ，１３０ｃ，１３０ｄ 出力制御部

Claims (20)

1. 車両の周囲を撮像する車外向けカメラが撮像した前記車両の進行方向の画像から予測される予測画像と、実際の状況が撮像された実画像と、の差である予測誤差を算出する予測誤差演算部と、
   前記予測誤差に基づいて、運転者の注意状態を推定する注意状態推定部と、
   前記注意状態に基づいて、その時々の運転に対しより適正な注意状態、かつ／または運転操作への行動変容かつ／または意識変容を促す運転支援情報を出力する出力制御部と、を備え、
   前記注意状態推定部は、
   前記画像内の複数領域のうち前記予測誤差が所定の閾値より大きい領域を、前記運転者の注意を惹き付けやすい領域であるとの推定のもとに抽出し、前記抽出した領域が前記複数領域の中央から偏っているか、一部に集中し過ぎているか、全体に分散し過ぎているか、の１つ以上の状態を推定し、前記画像内における推定結果に基づき運転者の注意状態を推定する、
   運転支援装置。
2. 前記画像内の前記複数領域は、時間的に連続する画像群の複数領域であって、
   前記注意状態推定部は、
   前記画像群の前記複数領域のうち前記予測誤差の時間分散値が所定の閾値より大きい領域を抽出し、前記抽出した領域が前記複数領域の中央から偏っているか、一部に集中し過ぎているか、全体に分散し過ぎているか、の１つ以上の状態を推定し、前記画像群における推定結果に基づき運転者の注意状態を推定する、
   請求項１に記載の運転支援装置。
3. 前記出力制御部は、
   前記注意状態推定部が推定した注意状態が、偏っているときに偏りを正し、一部に集中し過ぎているときに分散させ、全体に分散し過ぎているときに集中させるように、視認行動を無意識に変容させる運転支援情報を出力する、
   請求項１または請求項２に記載の運転支援装置。
4. 前記出力制御部は、
   前記注意状態推定部が推定した注意状態が、偏っているときに偏りを正し、一部に集中し過ぎているときに分散させ、全体に分散し過ぎているときに集中させるように、注意喚起する運転支援情報を出力する、
   請求項１または請求項２に記載の運転支援装置。
5. 前記車両内を撮像する車内向けカメラが撮像した前記運転者の顔画像から、前記予測誤差のうち前記運転者が視線を向けている領域を推定する視線推定部を更に備え、
   前記注意状態推定部は、
   前記予測誤差に加えて前記視線の向きにも基づいて前記運転者の注意状態を推定する、
   請求項１に記載の運転支援装置。
6. 前記注意状態推定部は、
   前記運転者が視線を向けている領域の予測誤差と、視線を向けていない任意の領域の予測誤差と、に基づいて注意の惹かれやすさを推定する、
   請求項５に記載の運転支援装置。
7. 前記出力制御部は、
   前記注意状態推定部が推定した注意状態が、注意の惹かれやすさの高いときに、適正な注意状態に誘導させるように、視認行動を無意識に変容させる運転支援情報を出力する、
   請求項６に記載の運転支援装置。
8. 前記出力制御部は、
   前記注意状態推定部が推定した注意状態が、注意の惹かれやすさの高いときに、運転者に自覚させるように、注意喚起する運転支援情報を出力する、
   請求項６に記載の運転支援装置。
9. 前記車両の各部の状態を検出する検出装置から得られる前記運転者による前記車両の操作情報に基づいて、前記運転者による運転の熟練度を判定する熟練度判定部を更に備え、
   前記注意状態推定部は、
   前記予測誤差に加えて前記熟練度にも基づいて前記出力制御部を制御する、
   請求項１に記載の運転支援装置。
10. 前記出力制御部は、
    前記注意状態推定部が推定した注意状態が、偏っているときに偏りを正し、一部に集中し過ぎているときに分散させ、全体に分散し過ぎているときに集中させるように、視認行動を無意識に変容させる運転支援情報を、前記熟練度が低い場合に、より目立つ態様で出力する、
    請求項９に記載の運転支援装置。
11. 前記出力制御部は、
    前記注意状態推定部が推定した注意状態が、偏っているときに偏りを正し、一部に集中し過ぎているときに分散させ、全体に分散し過ぎているときに集中させるように、注意喚起する運転支援情報を、前記熟練度が低い場合に、より目立つ態様で出力する、
    請求項９に記載の運転支援装置。
12. 前記出力制御部は、
    前記運転者に情報を提示する情報提示装置を制御する情報提示制御装置に前記運転支援情報を出力し、
    前記情報提示装置は、
    ヘッドアップディスプレイ、並びに前記車両内に搭載された車内モニタ、メータディスプレイ、ピラーディスプレイ、ミラーディスプレイ、発光装置、及びスピーカを含み、
    前記情報提示制御装置は、
    前記ヘッドアップディスプレイ、前記車内モニタ、前記メータディスプレイ、前記ピラーディスプレイ、前記ミラーディスプレイ、前記発光装置、及び前記スピーカの少なくともいずれかに、前記情報を提示させる、
    請求項１に記載の運転支援装置。
13. 前記出力制御部は、
    前記運転者に情報を提示する情報提示装置を制御する情報提示制御装置に前記運転支援情報を出力し、
    前記情報提示装置は、
    ヘッドアップディスプレイ、並びに前記車両内に搭載された車内モニタ、メータディスプレイ、ピラーディスプレイ、ミラーディスプレイ、発光装置、及びスピーカを含み、
    前記情報提示制御装置は、
    前記ヘッドアップディスプレイ、前記車内モニタ、前記メータディスプレイ、前記ピラーディスプレイ、前記ミラーディスプレイ、前記発光装置、及び前記スピーカのうち、２以上の情報提示装置に、複数部分に分割した前記情報をそれぞれ提示させる、
    請求項１に記載の運転支援装置。
14. 前記出力制御部は、
    前記運転者への注意喚起を行う領域に紐づけられ、前記車両の動作を指示する動作情報を、前記車両を制御する車載電子制御ユニットに出力し、
    前記車載電子制御ユニットは、
    前記車両を減速させる車両制御装置に、前記動作情報に基づく動作を行わせる、
    請求項１に記載の運転支援装置。
15. 前記車両制御装置は、
    前記車両に制動をかける制動装置、及び前記車両のエンジン出力の制御を行うエンジン制御装置を含み、
    前記車載電子制御ユニットは、
    前記制動装置によって前記車両に制動をかけること、及び
    前記エンジン制御装置によって前記車両の加速を抑制すること、の少なくともいずれかを行わせて前記車両を減速させる、
    請求項１４に記載の運転支援装置。
16. 前記出力制御部は、
    前記運転者への注意喚起を行う領域がより大きな前記予測誤差に基づくほど、前記車両の減速効果が高い前記動作情報を出力する、
    請求項１４または請求項１５に記載の運転支援装置。
17. 前記出力制御部は、
    前記注意状態の情報と、車両ネットワークから取得する車両操作情報を、前記注意状態の情報を蓄積する外部サーバに出力する、
    請求項１に記載の運転支援装置。
18. 前記外部サーバは、
    前記車両を含む複数の車両から収集した前記注意状態の情報と、前記車両操作情報とに基づき、前記運転者が注意状態に対して適切な車両操作できているかを評価し、運転支援装置に出力する、
    請求項１７に記載の運転支援装置。
19. 車両の周囲を撮像する車外向けカメラが撮像した前記車両の進行方向の画像から予測される予測画像と、実際の状況が撮像された実画像と、の差である予測誤差を算出する予測誤差演算部と、
    前記予測誤差に基づいて、運転者の注意状態を推定する注意状態推定部と、
    前記注意状態に基づいて、その時々の運転に対しより適正な注意状態、かつ／または運転操作への行動変容かつ／または意識変容を促す運転支援情報を出力する出力制御部と、を備え、
    前記注意状態推定部は、
    前記画像内の複数領域のうち前記予測誤差が所定の閾値より大きい領域を、前記運転者の注意を惹き付けやすい領域であるとの推定のもとに抽出し、前記抽出した領域が前記複数領域の中央から偏っているか、一部に集中し過ぎているか、全体に分散し過ぎているか、の１つ以上の状態を推定し、前記画像内における推定結果に基づき運転者の注意状態を推定する、
    運転支援システム。
20. 運転支援装置が行う運転支援方法であって、
    前記運転支援装置の予測誤差演算部が、車両の周囲を撮像する車外向けカメラが撮像した前記車両の進行方向の画像から予測される予測画像と、実際の状況が撮像された実画像と、の差である予測誤差を算出し、
    前記運転支援装置の注意状態推定部が、前記予測誤差に基づいて、運転者の注意状態を推定し、
    前記運転支援装置の出力制御部が、前記注意状態に基づいて、その時々の運転に対しより適正な注意状態、かつ／または運転操作への行動変容かつ／または意識変容を促す運転支援情報を出力し、
    前記注意状態推定部は、
    前記画像内の複数領域のうち前記予測誤差が所定の閾値より大きい領域を、前記運転者の注意を惹き付けやすい領域であるとの推定のもとに抽出し、前記抽出した領域が前記複数領域の中央から偏っているか、一部に集中し過ぎているか、全体に分散し過ぎているか、の１つ以上の状態を推定し、前記画像内における推定結果に基づき運転者の注意状態を推定する、
    運転支援方法。