JP7460870B2 - 表示制御装置、表示システム、表示制御方法 - Google Patents

Description

本開示は、表示制御技術、特に警告の表示を制御する表示制御装置、表示システム、表示制御方法に関する。

思い込みなどの交通事故要因には、人の予測特性が作用していると考えられる。人間の大脳皮質の動作原理として有力な仮説のひとつである予測符号化理論を組み込んだ深層学習機Ｐｒｅｄ Ｎｅｔ（Ｄｅｅｐ Ｐｒｅｄｉｃｔｉｖｅ Ｃｏｄｉｎｇ Ｎｅｔｗｏｒｋ）を用いて、運転において人の視覚が走行環境をどのように予測しているかをシミュレーションする新しいアプローチであり、自動運転におけるリスク状況の予測に適用可能である。時系列データに含まれる第１データがＰｒｅｄ Ｎｅｔに入力されると、第１時間経過後の第１予測データが予測される。時系列データには、第１データから第１時間経過後の第２データも含まれており、第２データと第１予測データとの誤差が大きい場合、運転者にとって想像もしていないことが発生している可能性がある（例えば、特許文献１参照）。

また、車両に搭載されたヘッドアップディスプレイ（ＨＵＤ、Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ）を用いて、検知した歩行者と関連付けてアイコンを表示することによって、運転者に注意を喚起することが提案されている。

特開２０１８－１７３９４４号公報

しかしながら、従来技術では、人間が認知しているかしていないかに関わらず注意喚起が行われるため、ユーザが煩わしく感じる恐れがあった。

本開示はこうした状況に鑑みなされたものであり、その目的は、人間が認知しにくいシーンや対象を特定して情報提供する技術を提供することにある。

上記課題を解決するために、本開示のある態様の表示制御装置は、第１タイミングにおける、車両の前景または車両に搭乗中のユーザの前景が撮像された第１画像を受けつける入力部と、第１タイミングにおける前景の予測結果を示す第３画像を、第１タイミングよりも過去の第２タイミングにおける前景が撮像された第２画像に基づいて生成する生成部と、第１画像と第３画像との、所定の基準を用いた比較結果に基づいて、情報提示を制御する表示制御部と、を備える。

本開示の別の態様は、表示システムである。この表示システムは、撮像装置と、撮像装置に接続される表示制御装置とを備える。表示制御装置は、第１タイミングにおける、車両の前景または車両に搭乗中のユーザの前景が撮像された第１画像を受けつける入力部と、第１タイミングにおける前景の予測結果を示す第３画像を、第１タイミングよりも過去の第２タイミングにおける前景が撮像された第２画像に基づいて生成する生成部と、第１画像と第３画像との、所定の基準を用いた比較結果に基づいて、情報提示の表示を制御する表示制御部と、を備える。

本開示のさらに別の態様は、表示制御方法である。この方法は、第１タイミングにおける、車両の前景または車両に搭乗中のユーザの前景が撮像された第１画像を受けつけるステップと、第１タイミングにおける前景の予測結果を示す第３画像を、第１タイミングよりも過去の第２タイミングにおける前景が撮像された第２画像に基づいて生成するステップと、第１画像と第３画像との、所定の基準を用いた比較結果に基づいて、情報提示の表示を制御するステップと、を備える。

なお、以上の構成要素の任意の組合せ、本開示の表現を装置、システム、方法、プログラム、プログラムを記録した記録媒体、本装置を搭載した車両などの間で変換したものもまた、本開示の態様として有効である。

本開示によれば、人間が認知しにくいシーンや対象を特定して情報提供できる。

実施例１に係る車両の室内を模式的に示す図である。 図１の車両の運転者による前方景色の認知の概要を示す図である。 図１の車両に搭載される表示システムの構成を示す図である。 図４（ａ）－（ｆ）は、図３の表示システムの処理の概要を示す図である。 図５（ａ）－（ｂ）は、図３の表示システムによる表示の別の例を示す図である。 図３の表示制御装置の表示制御手順を示すフローチャートである。 図７（ａ）－（ｂ）は、実施例２に係る車両の室内を模式的に示す図である。 実施例３に係る車両の室内を模式的に示す図である。 車両に搭載される表示システムの構成を示す図である。 図１０（ａ）－（ｇ）は、実施例３に係る表示システムの動作概要を示す図である。 図１１（ａ）－（ｂ）は、実施例３に係る表示システムの別の動作概要を示す図である。 図１２（ａ）－（ｄ）は、実施例３に係る表示システムのさらに別の動作概要を示す図である。 図１３（ａ）－（ｃ）は、実施例４に係る表示システムの動作概要を示す図である。 実施例５に係る表示システムの動作概要を示す図である。 図１５（ａ）－（ｂ）は、実施例５に係る表示システムの別の動作概要を示す図である。 実施例６に係る表示システムの構成を示す図である。 実施例６に係る表示システムの別の構成を示す図である。 図１６（ａ）－（ｂ）は、実施例６に係る表示システムの動作概要を示す図である。 実施例６に係る表示システムの別の動作概要を示す図である。 図２０（ａ）－（ｅ）は、実施例７に係るＬＥＤディスプレイでの表示概要を示す図である。 図２１（ａ）－（ｄ）は、実施例７に係るＬＥＤディスプレイでの表示詳細を示す図である。 図２２（ａ）－（ｅ）は、実施例７に係るＨＵＤでの表示概要を示す図である。 図２３（ａ）－（ｄ）は、実施例７に係るＨＵＤでの表示詳細を示す図である。 図２４（ａ）－（ｂ）は、実施例７に係るメータディスプレイの構成を示す図である。 図２５（ａ）－（ｅ）は、実施例７に係るメータディスプレイでの表示概要を示す図である。 図２６（ａ）－（ｅ）は、実施例７に係るピラーディスプレイでの表示概要を示す図である。 図２７（ａ）－（ｅ）は、実施例７に係るミラーディスプレイでの表示概要を示す図である。 図２８（ａ）－（ｃ）は、車両と対象物との隔たりの程度の検知結果を説明するための図である。

（実施例１）
本開示を具体的に説明する前に、概要を述べる。本実施例は、車両に搭載される表示システムに関する。表示システムは、車両の前方を撮像可能な撮像装置と、ＨＵＤの表示を制御する表示制御装置とを含む。表示制御装置は、撮像装置において撮像した映像から、歩行者等の対象物を検知し、対象物に対する警告を知らせるための画像（以下、「情報提示画像」という）をＨＵＤに表示させる。ＨＵＤは、車両のフロントガラスに情報提示画像等の情報を表示するので、車両に設置されるカーナビゲーション装置のモニタなどに比べて運転中の視線方向に近い位置での表示が可能になる。そのため、運転中の運転者にとって、表示にすぐに気づいたり、少ない視線移動で表示を見たりすることが可能になる。

ＨＵＤに表示される情報提示画像の数が増加すると、ＨＵＤ越しの前方景色が見にくくなり、運転者にとっては煩わしくなる。また、運転者が既に認知している対象物に対して情報提示画像が表示されても、運転者にとって無意味である。一方、複数の対象物のうちの１つだけ、例えば車両から最も近い対象物を選択して情報提示画像を表示する場合、対象物への見落としが発生しやすくなる。そのため、表示の煩わしさを抑制しながら、見落としの発生を抑制するように注意を喚起することが求められる。

本実施例に係る表示制御装置は、大きな予測誤差が発生した対象物に対して情報提示画像を表示する。ここで、予測誤差とは、実際の前方景色と、過去の前方景色から予測した前方景色との差分によって示され、予測誤差が大きくなるほど、運転者の見落としが発生しやすいといえる。つまり、見落としやすい対象物に対して重点表示がなされることによって、見落としにくく、かつ煩わしくない表示が実現される。以下、本開示の実施例について、図面を参照して詳細に説明する。なお、以下に説明する各実施例は一例であり、本開示はこれらの実施例により限定されるものではない。

図１は、車両１０００の室内を模式的に示し、車両１０００の車室内を後方から見た構成を示す。車室内の前方には左右に延びるダッシュボード１０が配置され、ダッシュボード１０の上方にはフロントガラス１２が配置され、フロントガラス１２の左右にはダッシュボード１０からピラー１４が延びる。ダッシュボード１０の右側部分にステアリング１６が配置されており、ステアリング１６の前方のダッシュボード１０にメータ１８が配置される。ステアリング１６はダッシュボード１０の左側部分に配置されてもよい。ダッシュボード１０の中央部分にはセンターコンソール２０が配置される。

また、ステアリング１６側のダッシュボード１０のうちに表示装置（図示せず）が設置される。表示装置は、ＨＵＤであり、フロントガラス１２の表示可能領域５０の一部に表示光を投影する。表示可能領域５０は、フロントガラス１２における運転席の前方に配置されるとともに、フロントガラス１２の形状に合わせた横長の矩形形状を有する。表示可能領域５０において車室内側に反射された表示光は、運転者によって視認される。運転者は、フロントガラス１２を介して車両１０００の前方景色も視認可能であるので、表示装置によって投影された画像の虚像を前方景色と重ねて視認可能である。図１では、表示装置による表示可能領域５０への表示がなされていない。

図２は、車両１０００の運転者による前方景色の認知の概要を示す。運転者は、前方景色を見るが、前方景色の全部を知覚すると時間がかかるので、前方景色の光情報を知覚する。また、運転者は、光情報を補うために、過去の前方景色の記憶から現在の前方景色を予測する。運転者は、知覚した光情報と、予測した現在の前方景色とを組み合わせることによって、視覚イメージを生成する。運転者は、視覚イメージの全部を知覚すると時間がかかるので、認知すべき情報を注意領域に絞り込む。注意領域は、例えば、運転者の経験等により設定される。その結果、運転者は、歩行者が右から飛び出すことを認知する。このように、運転者は、「予測」と「注意」を働かせることにより認知の効率化を行っている。

図３は、車両１０００に搭載される表示システム５００の構成を示す。表示システム５００は、撮像装置１００、表示制御装置２００、表示装置３００を含む。表示制御装置２００は、入力部２１０、記憶部２２０、生成部２３０、検知部２４０、比較部２５０、表示制御部２６０を含む。撮像装置１００と表示制御装置２００は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の車載ネットワークにより接続される。

撮像装置１００は、例えば、車両１０００の前側部分に設置され、車両１０００の前方景色を撮像する。これは、運転者がフロントガラス１２を介して視認可能な車両１０００の前方景色に相当する。撮像装置１００において撮像された映像は、複数の画像が時系列に並べられることによって構成される。撮像装置１００は、撮像した映像を表示制御装置２００に送信する。

表示制御装置２００の入力部２１０は、撮像装置１００からの映像を受けつける。映像に含まれた複数の画像のうち、最新の画像が現時点での画像であり、現時点での画像よりも前に配置された画像が過去の画像である。例えば、現時点での画像は、第１タイミング（現時点）において前方景色を撮像した「第１画像」であり、過去の画像は、第１タイミングよりも過去の第２タイミングにおいて前方景色を撮像した「第２画像」であるといえる。一般的に、映像（動画像）には、それぞれ第２タイミングが異なった複数の第２画像（フレーム画像のシーケンス）が含まれる。以下の説明において第２画像は、１枚の画像であってもよいし、複数の画像の総称であってもよい。

図４（ａ）－（ｆ）は、表示システム５００の処理の概要を示す。図４（ａ）は、入力部２１０に入力される撮像画像４００を示す。撮像画像４００は、現時点での画像、つまり第１画像に相当する。ここでは一例として、２人の歩行者として、第１対象物４１０ａと第２対象物４１０ｂが示される。図４（ｂ）－（ｆ）は後述し、図３に戻る。入力部２１０は、複数の画像を記憶部２２０、検知部２４０、比較部２５０に出力する。

記憶部２２０は、入力部２１０から複数の画像を受けつける。記憶部２２０は、複数の画像を一定期間記憶した後に、生成部２３０に出力する。そのため、記憶部２２０は、複数の画像を遅延させるといえる。生成部２３０は、記憶部２２０から複数の画像を受けつける。生成部２３０は、Ｐｒｅｄ Ｎｅｔやディープラーニングなどのニューラルネットワークを備え、ニューラルネットワークに複数の第２画像を入力することによって、第１タイミングにおける前方景色を予測した画像（以下、「第３画像」という）を生成する。

第３画像は、第２タイミングの第２画像から、第１画像と同一の第１タイミングを予測した画像である。ニューラルネットワークには公知の技術が使用されればよいので、ここでは説明を省略する。または、生成部２３０は、ニューラルネットワークではなく、オプティカルフロー解析などの画像処理技術を用いることにより、第３画像を生成してもよい。例えば、生成部２３０は、第２タイミングの第２画像から、第１画像と同一の第１タイミングをオプティカルフロー解析を用いて予測し、そして、この予測結果に基づき第３画像を生成してもよい。なお、オプティカルフロー解析にも公知の技術が使用されればよいので、ここでは説明を省略する。

図４（ｂ）は、生成部２３０における処理の概要を示す。過去画像４０２と総称される第１過去画像４０２ａから第４過去画像４０２ｄは、撮像されたタイミングが互いに異なった画像であり、異なった第２タイミングでの複数の第２画像に相当する。予測画像４０４は、複数の過去画像４０２から予想された画像であり、第１タイミングを予測した第３画像に相当する。ここでは、４つの過去画像４０２から１つの予測画像４０４が生成されているが、１つの予測画像４０４を生成するために使用すべき過去画像４０２の数は「４」に限定されない。図４（ｃ）－（ｆ）は後述し、図３に戻る。生成部２３０は、生成した第３画像を比較部２５０に出力する。

検知部２４０は、入力部２１０から複数の画像を受けつける。検知部２４０は、複数の画像のうちの第１画像に対してパターンマッチング処理などの画像認識処理（物体認識等）を実行することによって、第１画像に含まれる対象物４１０を検知する。画像認識処理には公知の技術が使用されればよいので、ここでは説明を省略する。また、検知部２４０は、検知した対象物４１０を囲むような領域（以下、「対象物配置領域」という）を第１画像に設定する。図４（ｃ）は、検知部２４０における処理の概要を示す。撮像画像４００、第１対象物４１０ａ、第２対象物４１０ｂは、図４（ａ）と同一である。検知部２４０は、撮像画像４００から第１対象物４１０ａ、第２対象物４１０ｂを検知すると、第１対象物４１０ａを囲むように第１対象物配置領域４３０ａを設定し、第２対象物４１０ｂを囲むように第２対象物配置領域４３０ｂを設定する。図４（ｄ）－（ｆ）は後述し、図３に戻る。検知部２４０は、設定した対象物配置領域４３０の位置情報を比較部２５０に出力する。検知部２４０は、検知した対象物４１０の位置情報を比較部２５０に出力してもよい。

比較部２５０は、入力部２１０から複数の画像、特に第１画像を受けつけ、生成部２３０から第３画像を受けつけ、検知部２４０から対象物配置領域４３０の位置情報を受けつける。比較部２５０は、第１画像と第３画像との差異を画素単位で計算することによって、差異が示された画像（以下、「比較画像」という）を生成する。比較部２５０は、比較画像のうち、所定のしきい値よりも大きい領域が存在する場合、当該領域（以下、「差異領域」という）を特定する。差異領域は、第１画像と第３画像との差異が当該所定のしきい値よりも大きい領域、つまり予測誤差が大きい領域であり得る。また、比較部２５０は、差異領域の位置情報と、対象物配置領域４３０の位置情報とを比較し、両者が重複する領域（以下、「重複領域」という）を特定する。重複領域の特定は、差異領域のうち、第１画像に対象物４１０が含まれる領域を特定すること、つまり予測誤差が大きい領域と対象物４１０の検知領域とを関連付けることに相当する。

図４（ｄ）は、比較部２５０における処理の概要を示す。比較画像４０６における差異領域４２０が示される。図４（ｃ）に示した例では、差異領域４２０は第１対象物配置領域４３０ａに重複する。図４（ｅ）－（ｆ）は後述し、図３に戻る。比較部２５０は、重複領域、つまり差異領域４２０に重複する対象物配置領域４３０の位置情報を表示制御部２６０に出力する。また、比較部２５０は、差異領域４２０に重複しない対象物配置領域４３０（以下、「非重複領域」という）の位置情報を表示制御部２６０に出力してもよい。

表示制御部２６０は、重複領域の位置情報、非重複領域の位置情報を比較部２５０から受けつける。表示制御部２６０は、重複領域の位置情報をもとに、重複領域を示す情報提示画像を生成する。ここでは、重複領域に重畳するように情報提示画像が配置される。また、表示制御部２６０は、非重複領域の位置情報をもとに、非重複領域を示す注意画像を生成する。ここでは、非重複領域に重畳するように注意画像が配置される。図４（ｅ）は、表示制御部２６０における処理の概要を示す。図４（ｃ）の第１対象物配置領域４３０ａに重複するように情報提示画像４４０が配置され、図４（ｃ）の第２対象物配置領域４３０ｂに重複するように注意画像４５０が配置される。情報提示画像４４０と注意画像４５０は、対象物４１０の存在を運転者に知らせるための画像である点で共通するが、情報提示画像４４０は、注意画像４５０と比較して、予測誤差が大きい対象物４１０の存在を運転者に知らせる。そのため、情報提示画像４４０は、注意画像４５０よりも高い輝度で表示される。変形例として、注意画像４５０は表示されなくてもよい。図４（ｆ）は後述し、図３に戻る。

表示制御部２６０は、情報提示画像４４０、注意画像４５０を表示装置３００に表示させる。表示装置３００は、ＨＵＤであり、運転中の運転者の視界の内側にある表示可能領域５０を有する。表示装置３００は、表示可能領域５０に情報提示画像４４０、注意画像４５０を表示（例えば虚像表示）する。図４（ｆ）は、表示可能領域５０での表示を示す。第１人物４６０ａは、図１（ａ）の撮像画像４００における第１対象物４１０ａに対応し、第２人物４６０ｂは、図１（ａ）の撮像画像４００における第２対象物４１０ｂに対応する。運転者がフロントガラス１２を介して第１人物４６０ａを見る場合に、第１人物４６０ａに重ねられるように情報提示画像４４０が表示される。また、運転者がフロントガラス１２を介して第２人物４６０ｂを見る場合に、第２人物４６０ｂに重ねられるように注意画像４５０が表示される。つまり、情報提示画像４４０、注意画像４５０は、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）により表示される。このような位置に情報提示画像４４０、注意画像４５０を表示させるための表示制御部２６０の処理には公知の技術が使用されればよいので、ここでは説明を省略する。このように、表示制御部２６０は、情報提示画像４４０を背景に合わせて表示させており、これは、重複領域に重畳するように情報提示画像４４０を表示させることに相当する。以上の処理は逐次実行され、情報提示画像４４０、注意画像４５０の表示も逐次更新される。

表示制御部２６０による情報提示画像４４０の表示は、図４（ｆ）の形態に限定されない。表示制御部２６０は、表示可能領域５０を複数の部分領域に分割し、複数の部分領域のうち、重複領域が含まれる部分領域５２に情報提示画像４４０を表示させてもよい。図５（ａ）－（ｂ）は、表示システム５００による表示の別の例を示す。図５（ａ）－（ｂ）は、表示可能領域５０を示す。図５（ａ）において、表示可能領域５０は、左側に配置される第１部分領域５２ａと、右側に配置される第２部分領域５２ｂに分割される。図５（ａ）に示した例では、第１人物４６０ａに対して重複領域が特定される場合、第２部分領域５２ｂ全体に対して情報提示画像４４０が示される。情報提示画像４４０は、例えば、透明性を有しながら着色された領域として示される。

図５（ｂ）において、図５（ａ）と同様に、第１部分領域５２ａ、第２部分領域５２ｂが配置される。図５（ｂ）に示した例では、第１人物４６０ａに対して重複領域が特定される場合、第２部分領域５２ｂの下部に情報提示画像４４０が示される。情報提示画像４４０は、例えば、矩形状や円弧状のバーとして示される。表示可能領域５０を分割する部分領域５２の数は「２」に限定されず、「３」以上であってもよい。情報提示画像４４０の形状は、図５（ａ）－（ｂ）に示した例に限定されない。

表示制御装置２００の構成は、ハードウエア的には、任意のコンピュータの１以上のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、１以上のＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、１以上のメモリ、その他のＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等で実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ハードウエアとソフトウエアの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

以上の構成による車両１０００の動作を説明する。図６は、表示制御装置２００の表示制御手順を示すフローチャートである。入力部２１０は第１画像を受けつける（Ｓ１０）。検知部２４０が対象物４１０を検知した場合（Ｓ１２のＹ）、生成部２３０は第２画像から第３画像を生成する（Ｓ１４）。第１画像と第３画像との差異がしきい値よりも大きい差異領域４２０があり（Ｓ１６のＹ）、差異領域４２０が対象物４１０に対応する場合（Ｓ１８のＹ）、表示制御部２６０は、情報提示画像４４０を表示装置３００に表示させる（Ｓ２０）。検知部２４０が対象物４１０を検知しない場合（Ｓ１２のＮ）、あるいは第１画像と第３画像との差異がしきい値よりも大きい差異領域４２０がない場合（Ｓ１６のＮ）、あるいは差異領域４２０が対象物４１０に対応しない場合（Ｓ１８のＮ）、処理が終了される。

本実施例によれば、第１画像と第３画像との差異がしきい値よりも大きい重複領域であって、かつ第１画像に対象物が含まれる重複領域を示す情報提示画像を背景に合わせて表示させるので、ＨＵＤにおける情報提示画像の数を減らすことができる。また、ＨＵＤにおける情報提示画像の数が減るので、表示の煩わしさを抑制できる。また、予測誤差の大きい対象物が含まれる重複領域を示す情報提示画像を背景に合わせて表示させるので、対象物に対する注意を喚起できる。また、重複領域に重畳するように情報提示画像を表示させるので、情報提示画像により注意を喚起させる対象物を分かりやすくできる。また、複数の部分領域のうち、重複領域が含まれる部分領域に情報提示画像を表示させるので、処理を簡易にできる。

（実施例２）
次に、実施例２を説明する。実施例２は、実施例１と同様に、ＨＵＤの表示を制御する表示制御装置が含まれる表示システムに関する。実施例１では、車両の外における対象物に対して予測誤差が大きくなると、見落としが発生しやすくなることを説明した。一方、車両の車室内において予測誤差が大きくなるような状況が発生すると、運転者は、そちらに注意を引かれる。その結果、車両の外における対象物に対する見落としが発生しやすくなる。車両の車室内において予測誤差が大きくなるような状況は、例えば、カーナビゲーションシステムの表示変更、インストルメントパネルの表示変更、車室内（ダッシュボードなど）に配置したスマートフォンの表示変更などの、車室内に配置されている１以上の表示装置の表示状態（表示中の画像など）が変化する状況であり得る。実施例２は、車両の車室内において予測誤差が大きくなるような状況が発生しても、車両の外における対象物に対する注意を喚起することを目的とする。実施例２に係る車両１０００、表示システム５００は、図１、図３と同様のタイプである。ここでは、これまでとの差異を中心に説明する。

図７（ａ）－（ｂ）は、車両１０００の室内を模式的に示す図である。図７（ａ）は、図１と同様に示される。ダッシュボード１０の左側にはモニタ３０が配置される。モニタ３０は、カーナビゲーションシステムの画面、テレビジョンの画面等を表示可能である。また、前述の撮像装置１００の撮像範囲が前方撮像範囲６００として示される。前方撮像範囲６００は、車両１０００の外に設けられる。実施例２では、車両１０００の室内にも、図示しない撮像装置（以下、「室内撮像装置」という）が設置される。室内撮像装置の撮像範囲は車内撮像範囲６１０として示されており、車内撮像範囲６１０がダッシュボード１０、センターコンソール２０、モニタ３０を含むように室内撮像装置は設置される。図７（ｂ）は後述し、図３に戻る。

表示システム５００は、実施例１の処理に加えて次の処理も実行する。表示制御装置２００の入力部２１０は、室内撮像装置からの映像を受けつける。室内撮像装置からの映像に含まれた現時点での画像は、第１タイミング（現時点）において車室内を撮像した「第４画像」であり、過去の画像は、第１タイミングよりも過去の第２タイミングにおいて車室内を撮像した「第５画像」であるといえる。一般的に、映像（動画像）には、それぞれ第２タイミングが異なった複数の第５画像（フレーム画像のシーケンス）が含まれる。以下の説明において第５画像は、１枚の画像であってもよいし、複数の画像の総称であってもよい。入力部２１０は、複数の画像を記憶部２２０、検知部２４０、比較部２５０に出力する。

記憶部２２０は、入力部２１０から複数の画像を受けつけ、複数の画像を一定期間記憶した後に、生成部２３０に出力する。生成部２３０は、記憶部２２０から複数の画像を受けつける。生成部２３０は、Ｐｒｅｄ Ｎｅｔのようなニューラルネットワークを備え、ニューラルネットワークに複数の第５画像を入力することによって、第１タイミングにおける車室内を予測した画像（以下、「第６画像」という）を生成する。つまり、第６画像は、第２タイミングの第５画像から、第４画像と同一の第１タイミングを予測した画像である。生成部２３０は、生成した第６画像を比較部２５０に出力する。

検知部２４０は、入力部２１０から複数の画像を受けつける。検知部２４０は、複数の画像のうちの第４画像に対してパターンマッチング処理を実行することによって、第４画像における前方撮像範囲６００を除いた部分、つまり車室内に含まれる対象物を検知する。ここで、第４画像における前方撮像範囲６００を除いた部分は予め設定されている。対象物は、例えば、図７（ａ）のモニタ３０に対応する。また、検知部２４０は、検知した対象物を囲むような領域（以下、「対象物配置領域」という）を第４画像に設定する。検知部２４０は、設定した対象物配置領域の位置情報を比較部２５０に出力する。

比較部２５０は、入力部２１０から複数の画像、特に第４画像を受けつけ、生成部２３０から第６画像を受けつけ、検知部２４０から対象物配置領域の位置情報を受けつける。比較部２５０は、第４画像と第６画像との差異を画素単位で計算することによって、差異が示された画像（以下、「比較画像」という）を生成する。比較部２５０は、比較画像のうち、しきい値よりも大きい領域が存在する場合、当該領域（以下、「差異領域」という）を特定する。差異領域は、第４画像と第６画像との違いが大きい領域、つまり予測誤差が大きい領域である。また、比較部２５０は、差異領域の位置情報と、対象物配置領域の位置情報とを比較し、両者が重複する領域（以下、「重複領域」という）が存在するか否かを特定する。

図７（ｂ）では、モニタ３０の表示が図７（ａ）から変更された場合を示す。このようなモニタ３０に対して対象物配置領域が設定されているとともに、モニタ３０の表示変更によって予測誤差が大きくなっている。そのため、モニタ３０は、比較部２５０において重複領域として特定される。これは、車室内においてモニタ３０の表示が変更されることによって、運転者がモニタ３０に注意を引かれ、車両１０００の外における人物４６０に対する見落としが発生しやすくなる状況である。図３に戻る。

表示制御部２６０は、実施例１と同様に、比較部２５０が人物４６０に対する重複領域を特定した場合、重複領域に重畳するように情報提示画像４４０を図７（ｂ）のように表示させる。その際、表示制御部２６０は、モニタ３０に対する重複領域が存在するか否かに応じて、情報提示画像４４０の表示態様を変える。例えば、モニタ３０に対する重複領域が存在する場合において、モニタ３０に対する重複領域が存在しない場合よりも、情報提示画像４４０の輝度が高くされる。また、モニタ３０に対する重複領域が存在する場合において、情報提示画像４４０が点滅されてもよい。さらに、モニタ３０に対する重複領域が存在する場合において、警告音が出力されてもよく、モニタ３０の表示の輝度が低くされてもよい。

本実施例によれば、車室内の予測誤差が大きい別の重複領域が存在するか否かに応じて、情報提示画像の表示態様を変える。このため、車室内に配置されている１以上の表示装置の表示状態が変化することにより運転者の注意が車室外から車室内へと移りそうな状況であっても、車両の外における１以上の対象物に関する予測誤差の大きさを運転者に対して注意を喚起できる。また、車室内が運転者の注意を引きそうな状況であっても、情報提示画像への注意が喚起されるので、車両の外の対象物の存在を運転者に認知させることができる。

（実施例３）
次に、実施例３を説明する。実施例３は、実施例１の変形例に相当する。ここでは、これまでとの差異を中心に説明する。

図８は、車両１０００の室内を模式的に示し、車両１０００の車室内を後方から見た構成を示す。これは、図１の室内の別パターンの構成である。車両１０００の車室内の構成は、図１と図８の組合せであってもよい。メータディスプレイ７００は、図１のメータ１８を表示するためのディスプレイ、あるいはメータ１８の周辺に設けられたＣＩＤ（Ｃｅｎｔｅｒ Ｉｎｆｏｒｍａｔｉｏｎ Ｄｉｓｐｌａｙ）である。ＨＵＤ７０２は、図１の表示可能領域５０に対応する。以下では、ＨＵＤ７０２と表示可能領域５０とを区別せずに使用する。ＨＵＤ７０２は、図１のようにフロントガラス１２の全体に画像を表示可能であってもよいし、図８のようにフロントガラス１２の一部に画像を表示可能であってもよい。

ミラーディスプレイ７０４は、電子ミラーである。センターディスプレイ７０６は、センターコンソール２０に配置されるディスプレイである。ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ディスプレイ７０８は、ダッシュボード１０上に並べられた複数のＬＥＤにより構成される。ＬＥＤディスプレイ７０８は１つのＬＥＤにより構成されてもよい。ピラーディスプレイ７１０と総称される第１ピラーディスプレイ７１０ａと第２ピラーディスプレイ７１０ｂは、左右のピラー１４のそれぞれに配置されるディスプレイである。ピラーディスプレイ７１０はＬＥＤであってもよい。このようなディスプレイに加えて、聴覚に伝える音声、触覚に伝えるハプティックディスプレイが配置されてもよい。そのため、これまでの「表示」は、「提示」であってもよい。これは、以下においても同様である。

また、スピーカ７１２は、音を出力可能である。さらに、ステアリング１６にＬＥＤ、振動子が設けられてもよい。アロマディフューザ、シートに振動子が設けられてもよい。これらの装置は、表示システム５００の表示制御装置２００（制御装置）に接続される。

図９は、車両１０００に搭載される表示システム５００の構成を示す。表示システム５００は、前方撮像装置１１０、表示制御装置２００、検知装置２７０、表示装置３００を含む。前方撮像装置１１０は、前方を撮像する撮像装置１００である。表示制御装置２００は、入力部２１０、記憶部２２０、生成部２３０、比較部２５０、表示制御部２６０を含む。図３の表示制御装置２００には検知部２４０が含まれているが、図９の表示制御装置２００には含まれていない。検知装置２７０は、検知部２４０の機能を有し、前方撮像装置１１０、表示制御装置２００に接続される。検知装置２７０は、例えば、ＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ－Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍｓ）に含まれており、検知装置２７０はＡＤＡＳと呼ばれてもよい。表示装置３００は、図８に示されるメータディスプレイ７００、ＨＵＤ７０２、ミラーディスプレイ７０４、センターディスプレイ７０６、ＬＥＤディスプレイ７０８、ピラーディスプレイ７１０等を含む。

前述のごとく、比較部２５０は、入力部２１０から第１画像を受けつけ、生成部２３０から第３画像を受けつける。また、比較部２５０は、検知装置２７０から対象物配置領域４３０の位置情報を受けつける。比較部２５０は、第１画像と第３画像との差異を画素単位で計算することによって、予測誤差を導出する。予測誤差は、画素単位で導出されてもよいし、一定数の画素が集合した領域（以下、「部分領域」という）単位で導出されてもよい。比較部２５０は、対象物配置領域４３０の位置情報における予測誤差の積算値を算出してから、積算値を対象物配置領域４３０の広さで除算することによって、対象物配置領域４３０の予測誤差を導出する。比較部２５０は、対象物配置領域４３０の位置情報と予測誤差とを表示制御部２６０に出力する。

表示制御部２６０は、対象物配置領域４３０の位置情報と予測誤差とを比較部２５０から受けつける。図１０（ａ）－（ｇ）は、表示システム５００の動作概要を示す。図１０（ａ）は、表示制御部２６０に記憶されるテーブルを示す。予測誤差に対して、第１しきい値と第２しきい値（第１しきい値＜第２しきい値）が規定されており、予測誤差が第１しきい値以下である場合に対して、予測誤差「低」が規定される。また、予測誤差が第１しきい値より大きく、第２しきい値以下である場合に対して、予測誤差「中」が規定され、予測誤差が第２しきい値より大きい場合に対して、予測誤差「高」が規定される。また、各予測誤差の範囲に対して互いに異なった色が規定される。各予測誤差の範囲に対して互いに異なった輝度が規定されてもよい。表示制御部２６０は、受けつけた予測誤差とテーブルとを比較することによって、受けつけた予測誤差に対応した色を決定する。図１０（ｂ）－（ｇ）は後述し、図９に戻る。

表示制御部２６０は、決定した色を使用して情報提示画像４４０を生成する。実施例１における注意画像４５０は、予測誤差の小さい情報提示画像４４０に相当するので、以下では、注意画像４５０を情報提示画像４４０に含めて説明することもある。表示制御部２６０は、情報提示画像４４０を表示装置３００に表示させる。

図１０（ｂ）－（ｄ）は、入力部２１０に入力される撮像画像４００を示す。これらは、図１０（ｂ）－（ｄ）の順に遷移する状態を示す第１画像に相当する。図１０（ｂ）に示される第１画像には人物等の対象物４１０が含まれず、図１０（ｃ）に示される第１画像において対象物４１０が出現する。図１０（ｄ）では、図１０（ｃ）において出現した対象物４１０が移動する。図１０（ｅ）は、図１０（ｂ）に対応するように表示制御部２６０が表示可能領域５０に表示した画像を示す。人物４６０が含まれないので、注意画像４５０が表示されない。図１０（ｆ）は、図１０（ｃ）に対応するように表示制御部２６０が表示可能領域５０に表示した画像を示す。人物４６０が含まれ、かつ人物４６０に対する予測誤差が「高」であるので、予測誤差「高」に対応した色で情報提示画像４４０が表示される。図１０（ｇ）は、図１０（ｄ）に対応するように表示制御部２６０が表示可能領域５０に表示した画像を示す。人物４６０が含まれ、かつ人物４６０に対する予測誤差が「低」であるので、予測誤差「低」に対応した色で情報提示画像４４０が表示される。この情報提示画像４４０は注意画像４５０に相当する。

つまり、表示制御部２６０は、第１画像と第３画像との差異である予測誤差の大きさに応じて、情報提示画像４４０の表示態様を変更する。そのため、表示制御部２６０は、人物４６０等の対象物が１つの場合においても、情報提示画像４４０の表示の態様を変える。例えば、対象物に対する見落としやすさが変わった際に、情報提示画像４４０の色を変えたり、輝度を変えたりする。また、表示制御部２６０は、表示の態様を徐々に変化させる。対象物に対する見落としやすさが変わった際のトリガは、例えば、表示をしてから一定の時間経過した場合、視線を検知した場合、減速、逆への操舵などの回避行動を検知した場合である。

次に、変形例を示す。変形例では、検知装置２７０において検知された対象物４１０に対する情報提示画像（以下、「顕在情報提示画像」という）と、予測誤差に応じた情報提示画像（以下、「潜在情報提示画像」という）とが別に表示される。図９の比較部２５０は、入力部２１０から第１画像を受けつけ、生成部２３０から第３画像を受けつける。また、比較部２５０は、検知装置２７０から対象物配置領域４３０の位置情報を受けつける。前述のごとく、比較部２５０は、第１画像と第３画像との差異を画素単位で計算することによって、予測誤差を導出する。比較部２５０は、対象物配置領域４３０の位置情報と、導出した予測誤差とを表示制御部２６０に出力する。

表示制御部２６０は、対象物配置領域４３０の位置情報と、導出された予測誤差とを比較部２５０から受けつける。図１１（ａ）－（ｂ）は、表示システム５００の別の動作概要を示す。これらは、表示制御部２６０により表示可能領域５０に表示される画像を示す。図１１（ａ）では、人物４６０が含まれる。人物４６０が配置される位置情報が、対象物配置領域４３０の位置情報に相当する。表示制御部２６０は、対象物配置領域４３０の位置情報をもとに、人物４６０に対して顕在情報提示画像７５０を配置する。顕在情報提示画像７５０は、例えば、楕円形形状を有し、人物４６０の一部と重なるように配置される。また、表示制御部２６０は、予測誤差が一定値よりも大きくなる位置に潜在情報提示画像７６０を配置する。ここで、予測誤差が一定値よりも大きくなる位置の横方向の座標と、例えば、一番下側となる固定の縦方向の座標に、棒形状の潜在情報提示画像７６０が配置される。また、一定値に対して図１０（ａ）のテーブルを使用することによって、予測誤差の大きさに応じて潜在情報提示画像７６０の表示態様が変更されてもよい。

図１１（ｂ）では、図１１（ａ）と同様に、人物４６０が含まれる。表示制御部２６０は、対象物配置領域４３０の位置情報をもとに、人物４６０に対して顕在情報提示画像７５０を配置する。顕在情報提示画像７５０は、例えば、人物４６０を囲むような枠形形状を有する。また、表示制御部２６０は、予測誤差が一定値よりも大きくなる位置に潜在情報提示画像７６０を配置する。潜在情報提示画像７６０は、楕円形形状を有する。

次に、別の変形例を示す。別の変形例では、対象物４１０に対する危険性に応じて、潜在情報提示画像の表示が変更される。図９の比較部２５０は、入力部２１０から第１画像を受けつけ、生成部２３０から第３画像を受けつける。また、比較部２５０は、検知装置２７０から対象物配置領域４３０の位置情報を受けつける。その際、比較部２５０は、対象物４１０と車両１０００との間の距離を示す情報、例えばＴＴＣ（Ｔｉｍｅ－ｔｏ－Ｃｏｌｌｉｓｉｏｎ）も検知装置２７０から受けつける。ＴＴＣは衝突余裕時間を示しており、ＴＴＣの値が小さくなるほど、対象物４１０と車両１０００との間の距離も短くなる。これは、対象物４１０に対する危険性が増加することに相当する。ＴＴＣの値は、車両１０００と対象物４１０との隔たりの程度の検知結果といえるが、車両１０００と対象物４１０との隔たりの程度の検知結果として、ＴＴＣの代わりに、ＴＨＷ（Ｔｉｍｅ ＨｅａｄＷａｙ）、Ｒｉｓｋ Ｐｅｒｃｅｐｔｉｏｎが使用されてもよい。ＴＨＷ、Ｒｉｓｋ Ｐｅｒｃｅｐｔｉｏｎについては後述する。

表示制御部２６０は、対象物配置領域４３０の位置情報と、ＴＴＣの値と、導出された予測誤差とを比較部２５０から受けつける。図１２（ａ）－（ｄ）は、表示システム５００のさらに別の動作概要を示す。これらは、表示制御部２６０により表示可能領域５０に表示される画像を示す。図１２（ａ）は、ＴＴＣの値が規定値以上である場合に、表示制御部２６０により表示可能領域５０に表示される画像を示す。これは、図１１（ａ）と同様に、顕在情報提示画像７５０と潜在情報提示画像７６０を含む。図１２（ｂ）は、ＴＴＣの値が規定値より小さい場合、つまり対象物４１０に対する危険性が増加した場合に、表示制御部２６０により表示可能領域５０に表示される画像を示す。これは、顕在情報提示画像７５０のみを表示して、潜在情報提示画像７６０を表示しない。

図１２（ｃ）は、ＴＴＣの値が規定値以上である場合に、表示制御部２６０により表示可能領域５０に表示される画像を示す。これは、図１１（ｂ）と同様に、顕在情報提示画像７５０と潜在情報提示画像７６０を含む。図１２（ｄ）は、ＴＴＣの値が規定値より小さい場合、つまり対象物４１０に対する危険性が増加した場合に、表示制御部２６０により表示可能領域５０に表示される画像を示す。これは、顕在情報提示画像７５０のみを表示して、潜在情報提示画像７６０を表示しない。つまり、危険が差し迫った場合に、顕在情報提示画像７５０の表示が優先される。その際、潜在情報提示画像７６０は徐々に輝度を下げるなど、顕著性を下げる方が好ましい。

本実施例によれば、予測誤差の大きさに応じて情報提示画像の表示態様を変更するので、予測誤差の大きさ、つまり人間が認知しにくいシーンや対象に対する潜在リスクを知らせることができる。また、顕在情報提示画像が表示される場合に、潜在情報提示画像を表示させないか、顕著性を低く表示するので、顕在情報提示画像に着目させやすくできる。

（実施例４）
次に、実施例４を説明する。実施例４は、実施例３と同様の表示システム５００に関する。実施例４では、表示制御装置２００は、検知装置２７０から対象物４１０に対するＴＴＣの値を受けつけるが、ＴＴＣの値により顕在情報提示画像を表示する必要がない状況を想定する。実施例４に係る表示システム５００の構成は、図９と同様のタイプである。ここでは、これまでとの差異を中心に説明する。

図９の検知装置２７０は、対象物４１０に対するＴＴＣの値を検知する。検知装置２７０は、ＴＴＣの値が規定値よりも小さい場合、対象物４１０に対する危険性を通知するために対象物配置領域４３０を設定して、対象物配置領域４３０の位置情報を表示制御装置２００に出力する。その際、検知装置２７０は、ＴＴＣの値も表示制御装置２００に出力してもよい。一方、検知装置２７０は、ＴＴＣの値が規定値以上である場合、対象物４１０に対する危険性が低いので、対象物配置領域４３０を設定しない。前述のごとく、ＴＴＣの値は、車両１０００と対象物４１０との隔たりの程度の検知結果といえるので、これは、対象物４１０が危険でない程度に車両１０００から離れている状況であるといえる。検知装置２７０は、ＴＴＣの値を表示制御装置２００に出力する。検知装置２７０は、対象物４１０の位置情報を表示制御装置２００に出力してもよい。

表示制御装置２００の比較部２５０は、入力部２１０から第１画像を受けつけ、生成部２３０から第３画像を受けつける。また、比較部２５０は、対象物４１０の位置情報とＴＴＣの値とを検知装置２７０から受けつける。ここでのＴＴＣの値は、検知装置２７０における規定値以上の値を有する。前述のごとく、比較部２５０は、第１画像と第３画像とを比較することによって、第１画像と第３画像との差異を画素単位で計算して、予測誤差を導出する。特に、比較部２５０は、第１画像と第３画像とを左右に２等分に分割した領域（以下、「分割領域」という）のそれぞれに対する予測誤差を導出する。比較部２５０は、ＴＴＣの値と導出した予測誤差とを表示制御部２６０に出力する。

表示制御部２６０は、ＴＴＣの値と、導出された予測誤差とを比較部２５０から受けつける。図１３（ａ）－（ｃ）は、表示システム５００の動作概要を示す。図１３（ａ）は、表示制御部２６０に記憶されるテーブルを示す。予測誤差に対して、第１しきい値と第２しきい値（第１しきい値＜第２しきい値）が規定されており、予測誤差が第１しきい値以下である場合に対して、予測誤差「低」が規定される。また、予測誤差が第１しきい値より大きく、第２しきい値以下である場合に対して、予測誤差「中」が規定され、予測誤差が第２しきい値より大きい場合に対して、予測誤差「高」が規定される。

また、ＴＴＣに対して、第３しきい値と第４しきい値（第１しきい値＞第２しきい値）が規定されており、ＴＴＣが第３しきい値より長い場合に対して、ＴＴＣ「長」が規定される。また、ＴＴＣが第３しきい値以下であり、第４しきい値より長い場合に対して、ＴＴＣ「中」が規定され、ＴＴＣが第４しきい値以下である場合に対して、ＴＴＣ「短」が規定される。

さらに、予測誤差とＴＴＣとの組合せとのそれぞれに対して互いに異なった色が規定される。各組合せに対して互いに異なった輝度が規定されてもよい。表示制御部２６０は、受けつけた予測誤差とＴＴＣの値との組合せと、テーブルとを比較することによって、受けつけた予測誤差とＴＴＣの値との組合せに対応した潜在情報提示画像７６０の色を決定する。具体的に説明すると、部分領域のうちの１つ（以下、「第１部分領域」という）に対する予測誤差とＴＴＣの値との組合せと、テーブルとを比較することによって、第１部分領域に対応した色が決定される。また、部分領域のうちの別の１つ（以下、「第２部分領域」という）に対する予測誤差とＴＴＣの値との組合せと、テーブルとを比較することによって、第２部分領域に対応した色が決定される。

図１３（ｂ）は、表示制御部２６０により表示可能領域５０に表示される画像を示す。表示可能領域５０の左側部分が第１部分領域と定義され、表示可能領域５０の右側部分が第２部分領域と定義される。図１３（ｂ）には人物４６０が含まれる。表示制御部２６０は、人物４６０が含まれる第１部分領域に対して第１潜在情報提示画像７６０ａを表示し、人物４６０が含まれない第２部分領域に対して第２潜在情報提示画像７６０ｂを表示する。第１潜在情報提示画像７６０ａと第２潜在情報提示画像７６０ｂには、前述のごとく決定された色が使用される。

図１３（ｃ）は、表示制御部２６０により表示可能領域５０に表示される画像を示す。図１３（ｃ）には第１人物４６０ａと第２人物４６０ｂが含まれる。表示制御部２６０は、第１人物４６０ａと第２人物４６０ｂが含まれる第１部分領域に対して第１潜在情報提示画像７６０ａを表示し、第１人物４６０ａと第２人物４６０ｂが含まれない第２部分領域に対して第２潜在情報提示画像７６０ｂを表示する。図１３（ｂ）の第１人物４６０ａと第２人物４６０ｂに対する予測誤差とＴＴＣの値と、図１３（ｂ）の人物４６０に対する予測誤差とＴＴＣの値とは異なるので、図１３（ｂ）の第１潜在情報提示画像７６０ａの色と、図１３（ａ）の第１潜在情報提示画像７６０ａの色とは異なる。つまり、表示制御部２６０は、ＴＴＣの値と予測誤差とをもとに、潜在情報提示画像７６０を表示させており、ＴＴＣの値または予測誤差が変化すると、潜在情報提示画像７６０の表示態様を変更する。

本変形例によれば、ＴＴＣの値と予測誤差が変化すると情報提示画像の表示態様を変更するので、人間が認知しにくいシーンや対象に対する潜在リスクを知らせることができる。

（実施例５）
次に、実施例５を説明する。実施例５は、これまでと同様の表示システム５００に関する。実施例３において、表示制御装置２００は、検知装置２７０から対象物配置領域４３０の位置情報、対象物４１０に対するＴＴＣの値を受けつける。一方、実施例５において、表示制御装置２００は、検知装置２７０が対象物４１０を検知した場合に検知した結果のみを受けつける。このような状況下において、顕在情報提示画像７５０の表示に干渉しないように潜在情報提示画像７６０を表示することが求められる。実施例５に係る表示システム５００の構成は、図９と同様のタイプである。ここでは、これまでとの差異を中心に説明する。

図９の検知装置２７０において対象物４１０が検知された場合、検知装置２７０は、対象物４１０の検知結果を表示制御装置２００に出力するとともに、表示装置３００に顕在情報提示画像７５０を表示させる。一方、検知装置２７０において対象物４１０が検知されない場合、検知装置２７０は、対象物４１０の検知結果を表示制御装置２００に出力せず、かつ表示装置３００に顕在情報提示画像７５０を表示させない。

表示制御装置２００の比較部２５０は、入力部２１０から第１画像を受けつけ、生成部２３０から第３画像を受けつける。また、比較部２５０は、検知装置２７０が対象物４１０を検知した場合に対象物４１０の検知結果を検知装置２７０から受けつける。前述のごとく、比較部２５０は、第１画像と第３画像との差異を画素単位で計算することによって、予測誤差を導出する。比較部２５０は、導出した予測誤差を表示制御部２６０に出力する。比較部２５０は、検知結果を受けつけた場合に検知結果を表示制御部２６０に出力する。

表示制御部２６０は、導出された予測誤差を比較部２５０から受けつける。表示制御部２６０は、実施例３と同様の処理を実行することによって、図１１（ａ）と同様に、予測誤差が一定値よりも大きくなる位置に潜在情報提示画像７６０を配置する。つまり、表示制御部２６０は、第１画像と第３画像との差異である予測誤差とをもとに、潜在情報提示画像７６０を表示させる。特に、表示制御部２６０は、検知結果を受けつけた場合に顕在情報提示画像７５０を第１表示態様で表示させ、検知結果を受けつけない場合に顕在情報提示画像７５０を第２表示態様で表示させる。ここで、第１表示態様と第２表示態様とは異なる。

図１４は、表示システム５００の動作概要を示す。ここでは、第１人物４６０ａと第２人物４６０ｂが対象物４１０として検知装置２７０に検知されている。そのため、検知装置２７０は、第１人物４６０ａに対する第１顕在情報提示画像７５０ａと、第２人物４６０ｂに対する第２顕在情報提示画像７５０ｂとを表示可能領域５０に表示させる。また、表示制御部２６０は、検知装置２７０からの検知結果を受けつけているので、潜在情報提示画像７６０を第１表示態様で表示可能領域５０に表示させる。第１表示態様は、第２表示態様よりも薄い色、あるいは低い輝度による表示である。その結果、顕在情報提示画像７５０が目立ちやすくなり、潜在情報提示画像７６０が目立ちにくくなる。

一方、検知装置２７０が対象物４１０を検知しない場合、検知装置２７０は、顕在情報提示画像７５０を表示可能領域５０に表示させない。また、表示制御部２６０は、検知装置２７０からの検知結果を受けつけていないので、潜在情報提示画像７６０を第２表示態様で表示可能領域５０に表示させる。

図１５（ａ）－（ｂ）は、表示システム５００の別の動作概要を示す。図１５（ａ）では、検知装置２７０が対象物４１０を検知していない。そのため、検知装置２７０は、顕在情報提示画像７５０を表示可能領域５０に表示させず、表示制御部２６０は、潜在情報提示画像７６０を表示可能領域５０に表示させる。図１５（ｂ）では、検知装置２７０が対象物４１０を検知する。そのため、検知装置２７０は、人物４６０に対する顕在情報提示画像７５０を表示可能領域５０に表示させ、表示制御部２６０は、潜在情報提示画像７６０をメータディスプレイ７００に表示させる。つまり、顕在情報提示画像７５０が表示される場合、潜在情報提示画像７６０は、顕在情報提示画像７５０を表示させるディスプレイとは別のディスプレイに表示される。

本実施例によれば、顕在情報提示画像が表示されるか否かに応じて、潜在情報提示画像の表示態様を変更するので、顕在情報提示画像と潜在情報提示画像との干渉を抑制できる。

（実施例６）
次に、実施例６を説明する。実施例６は、これまでと同様の表示システム５００に関する。これまでの表示制御装置２００は、検知部２４０を含んでいたり、検知装置２７０に接続されていたりする。一方、実施例６に係る表示制御装置２００は、検知部２４０を含んでおらず、かつ検知装置２７０に接続されていない。ここで、検知装置２７０は顕在情報提示画像７５０を表示可能であり、表示制御部２６０は潜在情報提示画像７６０を表示可能である。そのため、表示制御装置２００は、潜在情報提示画像７６０を表示する際に検知装置２７０が顕在情報提示画像７５０を表示しているか否かを認識していない。このような状況下において、顕在情報提示画像７５０の表示に干渉しないように潜在情報提示画像７６０を表示することが求められる。ここでは、これまでとの差異を中心に説明する。

図１６は、表示システム５００の構成を示す。表示システム５００は、前方撮像装置１１０、表示制御装置２００、表示装置３００を含む。表示制御装置２００は、入力部２１０、記憶部２２０、生成部２３０、比較部２５０、表示制御部２６０を含む。表示システム５００は、図９と異なり検知装置２７０を含まない。

図１７は、表示システム５００の別の構成を示す。表示システム５００は、後方撮像装置１２０、表示制御装置２００、表示装置３００を含む。後方撮像装置１２０は、車両１０００から後方を撮像する撮像装置１００である。表示制御装置２００は、入力部２１０、記憶部２２０、生成部２３０、比較部２５０、表示制御部２６０を含む。表示システム５００は、図９と異なり検知装置２７０を含まない。

図１８（ａ）－（ｂ）は、表示システム５００の動作概要を示す。図１８（ａ）は、表示可能領域５０とメータディスプレイ７００に表示される画像を示す。検知装置２７０は、対象物４１０を検知することによって顕在情報提示画像７５０を生成する。検知装置２７０は、第１人物４６０ａに対する第１顕在情報提示画像７５０ａと、第２人物４６０ｂに対する第２顕在情報提示画像７５０ｂとを表示可能領域５０に表示させる。表示制御装置２００の表示制御部２６０は、第１画像と第３画像との差異である予測誤差とをもとに、潜在情報提示画像７６０をメータディスプレイ７００に表示させる。表示制御部２６０における潜在情報提示画像７６０の生成はこれまでと同様であるので、ここでは説明を省略する。メータディスプレイ７００を第１表示装置と呼ぶ場合、表示可能領域５０は第２表示装置と呼ばれる。第１表示装置は第２表示装置とは異なる。

図１８（ｂ）は、表示可能領域５０とピラーディスプレイ７１０に表示される画像を示す。検知装置２７０は、対象物４１０を検知することによって顕在情報提示画像７５０を生成する。検知装置２７０は、第１人物４６０ａに対する第１顕在情報提示画像７５０ａと、第２人物４６０ｂに対する第２顕在情報提示画像７５０ｂとを表示可能領域５０に表示させる。表示制御装置２００の表示制御部２６０は、第１画像と第３画像との差異である予測誤差とをもとに、潜在情報提示画像７６０をピラーディスプレイ７１０に表示させる。ここでは、第１ピラーディスプレイ７１０ａに潜在情報提示画像７６０が表示される。表示制御部２６０における潜在情報提示画像７６０の生成はこれまでと同様であるので、ここでは説明を省略する。ピラーディスプレイ７１０を第１表示装置と呼ぶ場合、表示可能領域５０は第２表示装置と呼ばれる。第１表示装置は第２表示装置とは異なる。

図１９は、表示システム５００の別の動作概要を示す。検知装置２７０は、対象物４１０を検知することによって顕在情報提示画像７５０を生成する。検知装置２７０は、第１人物４６０ａに対する第１顕在情報提示画像７５０ａと、第２人物４６０ｂに対する第２顕在情報提示画像７５０ｂとを表示可能領域５０に表示させる。表示制御装置２００の表示制御部２６０は、第１画像と第３画像との差異である予測誤差とをもとに、潜在情報提示画像７６０に対応した音声（以下、「潜在情報提示音声」という）を生成する。表示制御部２６０は、潜在情報提示音声をスピーカ７１２から出力する。ここでの表示制御部２６０は制御部と呼ばれてもよい。

本実施例によれば、顕在情報提示画像と潜在情報提示画像とを別の表示装置に表示するので、顕在情報提示画像と潜在情報提示画像との干渉を抑制できる。

（実施例７）
次に、実施例７を説明する。実施例７は、これまでと同様の表示システム５００に関する。実施例７において、表示制御装置２００が車両１０００に搭載され、検知部２４０あるいは検知装置２７０が車両１０００に搭載されているかは限定しない。そのため、顕在情報提示画像７５０の表示可否によらず、潜在情報提示画像７６０は表示可能である。実施例７に係る表示装置３００は、図１６、図１７と同様のタイプである。ここでは、これまでとの差異を中心に説明する。

表示制御装置２００の比較部２５０は、第１画像と第３画像とを比較することによって、第１画像と第３画像との差異である予測誤差を導出する。表示制御部２６０は、予測誤差をもとに、潜在情報提示画像７６０を表示装置３００に表示させる。表示制御部２６０は、予測誤差が変化すると、潜在情報提示画像７６０の表示態様を変更する。

図２０（ａ）－（ｅ）は、ＬＥＤディスプレイ７０８での表示概要を示す。図２０（ａ）は、表示制御部２６０において前方全領域の予測誤差が所定値よりも小さい場合の表示を示す。この場合、対象物４１０がないことによって予測誤差が小さくても、運転者の気が抜けやすくなる。そのため、ＬＥＤディスプレイ７０８の中央部分が点灯することによって、先行車への集中が促される。図２０（ｂ）は、表示制御部２６０において前方左領域の予測誤差が所定値よりも小さい場合の表示を示す。この場合、対象物４１０がないことによって予測誤差が偏っており、運転者の注意が極端に寄りやすい。そのため、ＬＥＤディスプレイ７０８の左側部分が点灯することによって、前方左側への集中が促される。

図２０（ｃ）は、表示制御部２６０において前方右領域の予測誤差が前方左領域の予測誤差よりも小さく、かつ前方左領域の予測誤差が所定値よりも小さい場合の表示を示す。この場合、ＬＥＤディスプレイ７０８の左側部分と右側部分とが別の色で点灯される。図２０（ｄ）は、表示制御部２６０において前方左領域の予測誤差が所定値よりも大きい場合の表示を示す。この場合、対象物４１０がなくても認知が追いつかない。そのため、ＬＥＤディスプレイ７０８の左側部分が点灯することによって、前方左への集中が促される。図２０（ｅ）は、表示制御部２６０において前方全領域の予測誤差が所定値よりも大きい場合の表示を示す。この場合、運転負荷が大きすぎる（運転要求が高すぎる）。そのため、ＬＥＤディスプレイ７０８の全部が点灯することによって、減速あるいは徐行が促される。

図２１（ａ）－（ｄ）は、ＬＥＤディスプレイ７０８での表示詳細を示す。図２１（ａ）は、ＬＥＤディスプレイ７０８を点灯する場合の色を示す。ＬＥＤディスプレイ７０８は、赤色、橙色、緑色のいずれかで点灯可能である。また、ＬＥＤディスプレイ７０８は、無灯の場合もある。図２１（ｂ）は、ＬＥＤディスプレイ７０８を点滅させるための制御を示す。ＬＥＤディスプレイ７０８は、輝度「１００」の点灯状態と、輝度「０」の消灯状態とを繰り返すことによって点滅する。明滅周期に占める明時間の割合がデューティ比であるが、上段と下段のように、デューティ比を変更可能である。

図２１（ｃ）は、ＬＥＤディスプレイ７０８において、第１色７７０と第２色７７２とが交互に配置される構成を示す。第１色７７０と第２色７７２とは互いに異なった色である。上段と下段のように、第１色７７０と第２色７７２の位置が入れかえられてもよい。図２１（ｄ）は、ＬＥＤディスプレイ７０８の色を変更させるための制御を示す。ＬＥＤディスプレイ７０８は、第１色７７０と第２色７７２とを繰り返しながら点灯する。第１色７７０の点灯時間と、第２色７７２の点灯時間とは同一でなくてもよい。

図２２（ａ）－（ｅ）は、ＨＵＤ７０２での表示概要を示す。図２２（ａ）は、表示制御部２６０において前方全領域の予測誤差が所定値よりも小さい場合の表示を示す。この場合、対象物４１０がないことによって予測誤差が小さくても、運転者の気が抜けやすくなる。そのため、ＨＵＤ７０２の左側部分の第１潜在情報提示画像７６０ａと右側部分の第２潜在情報提示画像７６０ｂが点灯することによって、先行車への集中が促される。また、ＨＵＤ７０２の下側部分の潜在情報提示画像７６０が点灯してもよい。図２２（ｂ）は、表示制御部２６０において前方左領域の予測誤差が所定値よりも小さい場合の表示を示す。この場合、対象物４１０がないことによって予測誤差が偏っており、運転者の注意が極端に寄りやすい。そのため、ＨＵＤ７０２の左側部分の潜在情報提示画像７６０が点灯することによって、前方左側への集中が促される。潜在情報提示画像７６０は、縦方向に延びてもよいし、横方向に延びてもよい。

図２２（ｃ）は、表示制御部２６０において前方右領域の予測誤差が前方左領域の予測誤差よりも小さく、かつ前方左領域の予測誤差が所定値よりも小さい場合の表示を示す。この場合、ＨＵＤ７０２の左側部分の第１潜在情報提示画像７６０ａと右側部分の第２潜在情報提示画像７６０ｂが別の色で点灯される。潜在情報提示画像７６０は、縦方向に延びてもよいし、横方向に延びてもよい。図２２（ｄ）は、表示制御部２６０において前方左領域の予測誤差が所定値よりも大きい場合の表示を示す。この場合、対象物４１０がなくても認知が追いつかない。そのため、ＨＵＤ７０２の左側部分の潜在情報提示画像７６０が第１色７７０と第２色７７２とにより点灯することによって、前方左への集中が促される。潜在情報提示画像７６０は、縦方向に延びてもよいし、横方向に延びてもよい。図２２（ｅ）は、表示制御部２６０において前方全領域の予測誤差が所定値よりも大きい場合の表示を示す。この場合、運転負荷が大きすぎる（運転要求が高すぎる）。そのため、ＨＵＤ７０２の縁部に沿った枠形状の潜在情報提示画像７６０が点灯することによって、減速あるいは徐行が促される。

図２３（ａ）－（ｄ）は、ＨＵＤ７０２での表示詳細を示す。図２３（ａ）は、ＨＵＤ７０２において潜在情報提示画像７６０を点灯する場合の色を示す。ＨＵＤ７０２は、赤色、橙色、緑色のいずれかで点灯可能である。また、ＨＵＤ７０２は、無灯の場合もある。図２３（ｂ）は、ＨＵＤ７０２において潜在情報提示画像７６０を点滅させるための制御を示す。ＨＵＤ７０２は、輝度「１００」の点灯状態と、輝度「０」の消灯状態とを繰り返すことによって点滅する。明滅周期に占める明時間の割合がデューティ比であるが、上段と下段のように、デューティ比を変更可能である。

図２３（ｃ）は、ＨＵＤ７０２の潜在情報提示画像７６０において、第１色７７０と第２色７７２とが交互に配置される構成を示す。第１色７７０と第２色７７２とは互いに異なった色である。上段と下段のように、第１色７７０と第２色７７２の位置が入れかえられてもよい。図２３（ｄ）は、ＨＵＤ７０２の潜在情報提示画像７６０の色を変更させるための制御を示す。ＨＵＤ７０２は、第１色７７０と第２色７７２とを繰り返しながら点灯する。第１色７７０の点灯時間と、第２色７７２の点灯時間とは同一でなくてもよい。

図２４（ａ）－（ｂ）は、メータディスプレイ７００の構成を示す。図２４（ａ）では、左右に並べられた第１メータ７２０ａと第２メータ７２０ｂとの間に、ＣＩＤであるメータディスプレイ７００が配置される。図２４（ｂ）では、メータディスプレイ７００に第１メータ画像７２２ａと第２メータ画像７２２ｂが表示される。

図２５（ａ）－（ｅ）は、メータディスプレイ７００での表示概要を示す。図２５（ａ）は、表示制御部２６０において前方全領域の予測誤差が所定値よりも小さい場合の表示を示す。この場合、対象物４１０がないことによって予測誤差が小さくても、運転者の気が抜けやすくなる。そのため、メータディスプレイ７００の左側部分の第１潜在情報提示画像７６０ａと右側部分の第２潜在情報提示画像７６０ｂが点灯することによって、先行車への集中が促される。また、メータディスプレイ７００の下側部分の潜在情報提示画像７６０が点灯してもよい。図２５（ｂ）は、表示制御部２６０において前方左領域の予測誤差が所定値よりも小さい場合の表示を示す。この場合、対象物４１０がないことによって予測誤差が偏っており、運転者の注意が極端に寄りやすい。そのため、メータディスプレイ７００の左側部分の潜在情報提示画像７６０が点灯することによって、前方左側への集中が促される。潜在情報提示画像７６０は、縦方向に延びてもよいし、横方向に延びてもよい。

図２５（ｃ）は、表示制御部２６０において前方右領域の予測誤差が前方左領域の予測誤差よりも小さく、かつ前方左領域の予測誤差が所定値よりも小さい場合の表示を示す。この場合、メータディスプレイ７００の左側部分の第１潜在情報提示画像７６０ａと右側部分の第２潜在情報提示画像７６０ｂが別の色で点灯される。潜在情報提示画像７６０は、縦方向に延びてもよいし、横方向に延びてもよい。図２５（ｄ）は、表示制御部２６０において前方左領域の予測誤差が所定値よりも大きい場合の表示を示す。この場合、対象物４１０がなくても認知が追いつかない。そのため、メータディスプレイ７００の左側部分の潜在情報提示画像７６０が第１色７７０と第２色７７２とにより点灯することによって、前方左への集中が促される。潜在情報提示画像７６０は、縦方向に延びてもよいし、横方向に延びてもよい。図２５（ｅ）は、表示制御部２６０において前方全領域の予測誤差が所定値よりも大きい場合の表示を示す。この場合、運転負荷が大きすぎる（運転要求が高すぎる）。そのため、メータディスプレイ７００の縁部に沿った枠形状の潜在情報提示画像７６０が点灯することによって、減速あるいは徐行が促される。

図２６（ａ）－（ｅ）は、ピラーディスプレイ７１０での表示概要を示す。図２６（ａ）は、表示制御部２６０において前方全領域の予測誤差が所定値よりも小さい場合の表示を示す。この場合、対象物４１０がないことによって予測誤差が小さくても、運転者の気が抜けやすくなる。そのため、第１ピラーディスプレイ７１０ａに第１潜在情報提示画像７６０ａが点灯し、第２ピラーディスプレイ７１０ｂに第２潜在情報提示画像７６０ｂが点灯することによって、先行車への集中が促される。図２６（ｂ）は、表示制御部２６０において前方左領域の予測誤差が所定値よりも小さい場合の表示を示す。この場合、対象物４１０がないことによって予測誤差が偏っており、運転者の注意が極端に寄りやすい。そのため、第１ピラーディスプレイ７１０ａの潜在情報提示画像７６０が点灯することによって、前方左側への集中が促される。第２ピラーディスプレイ７１０ｂでは潜在情報提示画像７６０が点灯しない。

図２６（ｃ）は、表示制御部２６０において前方右領域の予測誤差が前方左領域の予測誤差よりも小さく、かつ前方左領域の予測誤差が所定値よりも小さい場合の表示を示す。この場合、第１ピラーディスプレイ７１０ａの第１潜在情報提示画像７６０ａと、第２ピラーディスプレイ７１０ｂの第２潜在情報提示画像７６０ｂが別の色で点灯される。図２６（ｄ）は、表示制御部２６０において前方左領域の予測誤差が所定値よりも大きい場合の表示を示す。この場合、対象物４１０がなくても認知が追いつかない。そのため、第１ピラーディスプレイ７１０ａの潜在情報提示画像７６０が第１色７７０と第２色７７２とにより点灯することによって、前方左への集中が促される。図２６（ｅ）は、表示制御部２６０において前方全領域の予測誤差が所定値よりも大きい場合の表示を示す。この場合、運転負荷が大きすぎる（運転要求が高すぎる）。そのため、第１ピラーディスプレイ７１０ａに第１潜在情報提示画像７６０ａが点灯し、第２ピラーディスプレイ７１０ｂに第２潜在情報提示画像７６０ｂが点灯することによって、減速あるいは徐行が促される。

図２７（ａ）－（ｅ）は、ミラーディスプレイ７０４での表示概要を示す図である。図２７（ａ）は、表示制御部２６０において前方全領域の予測誤差が所定値よりも小さい場合の表示を示す。この場合、対象物４１０がないことによって予測誤差が小さくても、運転者の気が抜けやすくなる。そのため、ミラーディスプレイ７０４の左側部分の第１潜在情報提示画像７６０ａと右側部分の第２潜在情報提示画像７６０ｂが点灯することによって、先行車への集中が促される。また、ミラーディスプレイ７０４の下側部分の潜在情報提示画像７６０が点灯してもよい。図２７（ｂ）は、表示制御部２６０において前方左領域の予測誤差が所定値よりも小さい場合の表示を示す。この場合、対象物４１０がないことによって予測誤差が偏っており、運転者の注意が極端に寄りやすい。そのため、ミラーディスプレイ７０４の左側部分の潜在情報提示画像７６０が点灯することによって、前方左側への集中が促される。潜在情報提示画像７６０は、縦方向に延びてもよいし、横方向に延びてもよい。

図２７（ｃ）は、表示制御部２６０において前方右領域の予測誤差が前方左領域の予測誤差よりも小さく、かつ前方左領域の予測誤差が所定値よりも小さい場合の表示を示す。この場合、ミラーディスプレイ７０４の左側部分の第１潜在情報提示画像７６０ａと右側部分の第２潜在情報提示画像７６０ｂが別の色で点灯される。潜在情報提示画像７６０は、縦方向に延びてもよいし、横方向に延びてもよい。図２７（ｄ）は、表示制御部２６０において前方左領域の予測誤差が所定値よりも大きい場合の表示を示す。この場合、対象物４１０がなくても認知が追いつかない。そのため、ミラーディスプレイ７０４の左側部分の潜在情報提示画像７６０が第１色７７０と第２色７７２とにより点灯することによって、前方左への集中が促される。潜在情報提示画像７６０は、縦方向に延びてもよいし、横方向に延びてもよい。図２７（ｅ）は、表示制御部２６０において前方全領域の予測誤差が所定値よりも大きい場合の表示を示す。この場合、運転負荷が大きすぎる（運転要求が高すぎる）。そのため、ミラーディスプレイ７０４の縁部に沿った枠形状の潜在情報提示画像７６０が点灯することによって、減速あるいは徐行が促される。

本実施例によれば、予測誤差が変化すると情報提示画像の表示態様を変更するので、人間が認知しにくいシーンや対象に対する潜在リスクを伝える情報提供を適切に知らせることができる。

以上、本開示に係る実施例について図面を参照して詳述してきたが、上述した装置や各処理部の機能は、コンピュータプログラムにより実現されうる。上述した機能をプログラムにより実現するコンピュータは、キーボードやマウス、タッチパッドなどの入力装置、ディスプレイやスピーカなどの出力装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ、ＲＡＭ、ハードディスク装置やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの記憶装置、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＵＳＢメモリなどの記録媒体から情報を読み取る読取装置、ネットワークを介して通信を行うネットワークカードなどを備え、各部はバスにより接続される。

また、読取装置は、上記プログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置に記憶させる。あるいは、ネットワークカードが、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置に記憶させる。また、ＣＰＵが、記憶装置に記憶されたプログラムをＲＡＭにコピーし、そのプログラムに含まれる命令をＲＡＭから順次読み出して実行することにより、上記各装置の機能が実現される。

上記課題を解決するために、本開示のある態様の表示制御装置は、第１タイミングにおける、車両の前景または車両に搭乗中のユーザの前景が撮像された第１画像を受けつける入力部と、第１タイミングにおける前景の予測結果を示す第３画像を、第１タイミングよりも過去の第２タイミングにおける前景が撮像された第２画像に基づいて生成する生成部と、第１画像と第３画像との、所定の基準を用いた比較結果に基づいて、情報提示を制御する表示制御部と、を備える。

この態様によると、第１画像と第３画像との比較結果をもとに、情報提示画像を表示させるので、表示の煩わしさを抑制しながら、注意を喚起できる。

所定の基準とは、「第１画像と第３画像との差異が所定のしきい値（例えば第１のしきい値）より大きい」「第１画像と第３画像との差異が所定のしきい値（例えば第１のしきい値）より小さい」、「第１画像と第３画像との差異が所定のしきい値（例えば第１のしきい値）より大きい状態（あるいは小さい状態）が所定時間以上継続すること」、「第１画像と第３画像との各画素の差分値の分布が特定の分布になること」、または、「単位時間内における一連の第１画像と一連の第３画像とをそれぞれ比較した際の差異の変化量が、第３のしきい値よりも大きくなったこと（または第３のしきい値よりも小さくなったこと）などであってもよい。

第１画像と第３画像とを所定の基準を用いて比較する比較部をさらに備える。この場合、第１画像と第３画像とを所定の基準を用いて比較するので、差異の有無を特定できる。

所定の基準は、第１画像と第３画像との差異が第１のしきい値よりも大きいか否かであり、比較部は、第１画像と第３画像との差異が第１のしきい値よりも大きい領域であって、かつ、第１の対象物の撮像領域が含まれる第１の領域を特定し、情報提示は、第１の領域または第１の対象物を警告する画像である。この場合、第１画像と第３画像との差異がしきい値よりも大きい第１の領域であって、かつ第１画像に第１の対象物が含まれる第１の領域を示す情報提示画像を表示させるので、表示の煩わしさを抑制しながら、注意を喚起できる。

表示制御部は、第１画像と第３画像との差異の大きさに応じて、情報提示の表示態様を変更してもよい。この場合、差異の大きさに応じて情報提示画像の表示態様を変更するので、予測誤差の大きさ、つまり人間が認知しにくいシーンや対象に対する潜在リスクを知らせることができる。

表示制御部は、比較部において特定した第１の領域に重畳するように情報提示を表示させる。この場合、特定した第１の領域に重畳するように情報提示画像を表示させるので、情報提示画像により注意を喚起させる対象物を分かりやすくできる。

表示制御部は、表示可能領域を分割した複数の部分領域のうち、比較部において特定した第１の領域が含まれる部分領域に情報提示を表示させる。この場合、特定した第１の領域が含まれる部分領域に情報提示画像を表示させるので、処理を簡易にできる。

第１画像、第２画像、および第３画像は、車両の前方の景色の画像であり、入力部は、第１タイミングにおいて車両の車室内が撮像された第４画像を受けつけ、生成部は、第２タイミングにおいて車室内が撮像された第５画像から、第１タイミングにおける車室内を予測した第６画像を生成し、比較部は、第４画像と第６画像との差異が第２のしきい値よりも大きい領域であって、かつ、第２の対象物が含まれる第２の領域が存在するか否かを特定し、表示制御部は、第２の領域が存在するか否かに応じて、情報提示の表示態様を変える。この場合、第４画像と第６画像との差異が第２のしきい値よりも大きい第２の領域であって、かつ第４画像に第２の対象物が含まれる第２の領域が存在するか否かに応じて、情報提示画像の表示態様を変えるので、注意を喚起できる。

第２のしきい値は、第１のしきい値とは異なる値であり得る。なお、第２のしきい値は、第１のしきい値に適応的に定められてもよい。また、第２のしきい値は、第１のしきい値と所定の計算式とによって定められてもよい。

第１画像と第３画像とを比較する比較部をさらに備えてもよい。表示制御部は、車両と対象物との隔たりの程度の検知結果を受けつけており、隔たりの程度と、比較部において比較した第１画像と第３画像との差異とをもとに、情報提示を表示させ、表示制御部は、隔たりの程度、または第１画像と第３画像との差異が変化すると、情報提示の表示態様を変更してもよい。この場合、隔たりの程度、または第１画像と第３画像との差異が変化すると情報提示画像の表示態様を変更するので、人間が認知しにくいシーンや対象に対する潜在リスクを知らせることができる。

第１画像と第３画像とを比較する比較部をさらに備えてもよい。表示制御部は、比較部において比較した第１画像と第３画像との差異とをもとに、人間が認知しにくいシーンや対象に対する潜在リスクを知らせるための潜在情報提示画像を表示させ、表示制御部は、対象物の検知結果を受けつけた場合に潜在情報提示画像を第１表示態様で表示させ、対象物の検知結果を受けつけない場合に潜在情報提示画像を第２表示態様で表示させ、対象物の検知結果を受けつけた場合に、顕在する危険を知らせるための顕在情報提示画像が表示され、第１表示態様と第２表示態様とは異なってもよい。この場合、顕在情報提示画像が表示されるか否かに応じて、潜在情報提示画像の表示態様を変更するので、顕在情報提示画像と潜在情報提示画像との干渉を抑制できる。

第１画像と第３画像とを比較する比較部をさらに備えてもよい。表示制御部は、比較部において比較した第１画像と第３画像との差異とをもとに、人間が認知しにくいシーンや対象に対する潜在リスクを知らせるための潜在情報提示画像を第１表示装置に表示させ、第１表示装置は、対象物が検知された場合に顕在する危険を知らせるための顕在情報提示画像が表示される第２表示装置とは異なってもよい。この場合、顕在情報提示画像と潜在情報提示画像とを別の表示装置に表示するので、顕在情報提示画像と潜在情報提示画像との干渉を抑制できる。

第１画像と第３画像とを比較する比較部をさらに備えてもよい。表示制御部は、比較部において比較した第１画像と第３画像との差異とをもとに、情報提示画像を表示させ、表示制御部は、第１画像と第３画像との差異とが変化すると、情報提示画像の表示態様を変更してもよい。この場合、第１画像と第３画像との差異が変化すると情報提示画像の表示態様を変更するので、人間が認知しにくいシーンや対象に対する潜在リスクを適切に知らせることができる。

本開示の別の態様は、表示システムである。この表示システムは、撮像装置と、撮像装置に接続される表示制御装置とを備える。表示制御装置は、第１タイミングにおける、車両の前景または車両に搭乗中のユーザの前景が撮像された第１画像を受けつける入力部と、第１タイミングにおける前景の予測結果を示す第３画像を、第１タイミングよりも過去の第２タイミングにおける前景が撮像された第２画像に基づいて生成する生成部と、第１画像と第３画像との、所定の基準を用いた比較結果に基づいて、情報提示の表示を制御する表示制御部と、を備える。

本開示のさらに別の態様は、表示制御方法である。この方法は、第１タイミングにおける、車両の前景または車両に搭乗中のユーザの前景が撮像された第１画像を受けつけるステップと、第１タイミングにおける前景の予測結果を示す第３画像を、第１タイミングよりも過去の第２タイミングにおける前景が撮像された第２画像に基づいて生成するステップと、第１画像と第３画像との、所定の基準を用いた比較結果に基づいて、情報提示の表示を制御するステップと、を備える。

以上、本開示を実施例をもとに説明した。これらの実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。

本実施例では、情報提示画像を前景に重畳させて表示する例を中心に説明したが、本開示はかかる例に限定されない。例えば、車両１０００内のダッシュボード１０に横一列に複数のＬＥＤが取り付けられうる。この場合、（情報提示画像を表示することの代わりに、あるいは、追加的に）予測ミスが発生した箇所に近いＬＥＤを光らせてもよい。同時に、所定の画像（情報提示画像など）をＣＩＤ（Ｃｅｎｔｅｒ Ｉｎｆｏｒｍａｔｉｏｎ Ｄｉｓｐｌａｙ）に表示させてもよい。本変形例によれば、構成の自由度を向上できる。

本実施例では、情報提示画像の表示態様を制御する例を中心として説明したが、本開示はかかる例に限定されない。例えば、運転者に警告を与えるように、車室内の照明の輝度や色相などを制御してもよい。本変形例によれば、構成の自由度を向上できる。

本実施例は、次のように国際標準で推奨される警報や注意喚起の優先順位づけや、重大性および緊急性に応じた警報や注意喚起の統合において、最も優先順位の低い情報提供、あるいは最も重大性や緊急性が低い情報提供として構成されてもよい。
参考資料１：ISO/TS 1695 Road vehicles - Ergonomic aspects of transport information and control systems (TICS) - Procedures for determining priority of on-board messages presented to drivers
参考資料１によれば、「重大性、緊急性を考慮して情報の優先度を決め、優先度の大きな情報程、ドライバに早く、確実に伝わるように提示方法やタイミングに配慮することが必要である」とされている。本実施例における人間が認知しにくいシーンや対象に対する潜在リスクを伝える提示は、先進運転支援システム（ＡＤＡＳ)における警報や注意喚起よりも優先度、緊急度が低い提示とする。
参考資料２：ISO/TR 12204:2012 Road vehicles - Ergonomic aspects of transport information and control systems - Introduction to integrating safety critical and time critical warning signals
参考資料２によれば、「複数の警報を提示する場合は、警報の競合（警報のマスキングや、同時提示によるドライバの混乱により、複数の警報が理解できなくなること）が起こらないように提示方法に配慮することが必要である」とされている。
警報が競合するシーンは、
１）複数の警報で、同じ提示手段（視覚・聴覚・触覚など）が用いられる場合
２）複数の視覚的な警報が、空間的に近接した場所に提示される場合
３)類似する特徴を持つ複数の警報が提示される場合（聴覚警報であれば周波数、視覚警報であれば表示やアイコンの形状など）
４)頻度が高い警報と頻度が低い警報（頻度が低い情報を、頻度が高い情報と誤解する可能性がある）
である。
本実施例の人間が認知しにくいシーンや対象に対する潜在リスクを伝える提示が、警報と競合した場合には、例えば、競合回避のアプローチは、
ａ）時間的に後から発せられる場合は、提示されるタイミングを決定するしきい値やパラメータを変更する
ｂ）警報の優先度が高い場合は、聴覚または触覚による情報提示よりも反応時間の遅い視覚による情報提示を行う
ｃ)２つ以上の警報と人間が認知しにくいシーンや対象に対する潜在リスクを伝える提示が異なること理解させるために、提示態様を変更する。
例えば、パラメータを変更して、警報を阻害せず、かつ／または識別性を高める。パラメータは、聴覚に関しては、ピッチ、周波数、波形、音量など、視覚に関しては、位置、フラッシングレート、シンボルやアイコンのデザイン、色、サイズなど、触覚に関しては、振幅、周波数、波形などである。
ｄ）警報の対象と、人間が認知しにくいシーンや対象に対する潜在リスクを伝える情報提示が異なる場合でも、発生方向が同じであれば、共通の提示を用いてもよい。

本実施例における潜在情報提示のコンテンツは、注意を引き締めさせる表示、注意を適切に分散させる表示、減速を促す表示であってもよい。また、本実施例における潜在情報提示のメディアは、視覚、聴覚、触覚、嗅覚、それらの組み合わせであってもよい。嗅覚について、予測誤差が多く発生する場合に、リラックス効果を有するアロマが散布され、予測誤差が小さい状態が継続する場合に、覚醒効果を有するアロマが散布される。また、警告は、中心視野に表示されたり、正面のスピーカから出力されたりしてもよい。警告は、周辺視野に表示されたり、左右のスピーカから出力されたりしてもよい。警告は、周辺視野外に表示されたり、全体として表示されたりしてもよい。また、潜在情報提示は、常時表示であってもよく、鳴動し続けてもよい。潜在情報提示は、１回だけ表示されてもよく、一瞬だけ鳴動されてもよい。潜在情報提示は、複数回表示であってもよく、点滅であってもよく、トリガによって消滅されてもよい。潜在情報提示の周波数、個数が制御されてもよい。表示態様は、テキスト、アイコン、図形、発光、コントラスト、静止画像、動画像、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を含む。表示態様において、高さ、長さ、面積等の形状、色、色相、輝度、コントラスト、透過度（透過型ディスプレイ）、透明度（非透過型のディスプレイ）が制御されてもよい。本変形例によれば、構成の自由度を向上できる。

本実施例におけるＴＴＣの代わりに、ＴＨＷ、Ｒｉｓｋ Ｐｅｒｃｅｐｔｉｏｎが使用されてもよい。図２８（ａ）－（ｃ）は、車両１０００と対象物４１０との隔たりの程度の検知結果を説明するための図である。ここでは、車両１０００を自車両１０１０と示し、対象物４１０を他車(者）１０１２と示す。図２８（ａ）はＴＴＣの概要を示し、図２８（ｂ）はＴＨＷの概要を示し、図２８（ｃ）はＲｉｓｋ Ｐｅｒｃｅｐｔｉｏｎの概要を示す。
参考資料３：Kondoh, Yamamura, Kitazaki, Kuge, Boer, “Identification of Visual Cues and Quantification of Drivers’ Perception of Proximity Risk to the Lead vehicle in Car-Following situations”, Journal of Mechanical Systems for Transportation and Logistics, Vol.1, No.2, pp.170-180, 2008.
参考資料３によれば、運転者の主観的リスク指標は、ＴＴＣ以外にもＴＨＷ（Ｔｉｍｅ ＨｅａｄＷａｙ）やＴＴＣの逆数とＴＨＷの逆数の和で表現されるＲｉｓｋ Ｐｅｒｃｅｐｔｉｏｎなどがある。
本実施例で記載するＴＴＣを、衝突が避けられないか、あるいは衝突が起こる可能性がある場合はＴＴＣ、衝突リスクが顕在化しているか、あるいは衝突リスクが顕在介していないときにはＲｉｓｋ ＰｅｒｃｅｐｔｉｏｎまたはＴＨＷ、を用いるとしてもよい。本変形例によれば、構成の自由度を向上できる。

１０ ダッシュボード、 １２ フロントガラス、 １４ ピラー、 １６ ステアリング、 １８ メータ、 ２０ センターコンソール、 ３０ モニタ、 ５０ 表示可能領域、 ５２ 部分領域、 １００ 撮像装置、 ２００ 表示制御装置、 ２１０ 入力部、 ２２０ 記憶部、 ２３０ 生成部、 ２４０ 検知部、 ２５０ 比較部、 ２６０ 表示制御部、 ３００ 表示装置、 １０００ 車両。

Claims (13)

1. 第１タイミングにおける、車両の前景または前記車両に搭乗中のユーザの前景が撮像された第１画像を受けつける入力部と、
   前記第１タイミングにおける前記前景の予測結果を示す第３画像を、前記第１タイミングよりも過去の第２タイミングにおける前記前景が撮像された第２画像に基づいて生成する生成部と、
   前記第１画像と前記第３画像との、所定の基準を用いた比較結果に基づいて、情報提示を制御する表示制御部と、
   を備える表示制御装置。
2. 前記第１画像と前記第３画像とを前記所定の基準を用いて比較する比較部をさらに備える、請求項１に記載の表示制御装置。
3. 前記所定の基準は、前記第１画像と前記第３画像との差異が第１のしきい値よりも大きいか否かであり、
   前記比較部は、前記第１画像と前記第３画像との差異が前記第１のしきい値よりも大きい領域であって、かつ、第１の対象物の撮像領域が含まれる第１の領域を特定し、
   前記情報提示は、前記第１の領域または前記第１の対象物を警告する画像である、請求項２に記載の表示制御装置。
4. 前記表示制御部は、前記第１画像と前記第３画像との差異の大きさに応じて、前記情報提示の表示態様を変更する請求項３に記載の表示制御装置。
5. 前記表示制御部は、前記比較部において特定した前記第１の領域に重畳するように前記情報提示を表示させる、請求項３または４に記載の表示制御装置。
6. 前記表示制御部は、表示可能領域を分割した複数の部分領域のうち、前記比較部において特定した前記第１の領域が含まれる部分領域に前記情報提示を表示させる、請求項３から５のいずれかに記載の表示制御装置。
7. 前記第１画像、前記第２画像、および前記第３画像は、前記車両の前方の景色の画像であり、
   前記入力部は、前記第１タイミングにおいて前記車両の車室内が撮像された第４画像を受けつけ、
   前記生成部は、前記第２タイミングにおいて前記車室内が撮像された第５画像から、前記第１タイミングにおける車室内を予測した第６画像を生成し、
   前記比較部は、前記第４画像と前記第６画像との差異が第２のしきい値よりも大きい領域であって、かつ、第２の対象物が含まれる第２の領域が存在するか否かを特定し、
   前記表示制御部は、前記第２の領域が存在するか否かに応じて、前記情報提示の表示態様を変える、請求項２から５のいずれか１項に記載の表示制御装置。
8. 前記第１画像と前記第３画像とを比較する比較部をさらに備え、
   前記表示制御部は、前記車両と対象物との隔たりの程度の検知結果を受けつけており、前記隔たりの程度と、前記比較部において比較した前記第１画像と前記第３画像との差異とをもとに、前記情報提示を表示させ、
   前記表示制御部は、前記隔たりの程度、または前記第１画像と前記第３画像との差異が変化すると、前記情報提示の表示態様を変更する請求項１に記載の表示制御装置。
9. 前記第１画像と前記第３画像とを比較する比較部をさらに備え、
   前記表示制御部は、前記比較部において比較した前記第１画像と前記第３画像との差異とをもとに、人間が認知しにくいシーンや対象に対する潜在リスクを知らせるための潜在情報提示画像を表示させ、
   前記表示制御部は、対象物の検知結果を受けつけた場合に前記潜在情報提示画像を第１表示態様で表示させ、前記対象物の検知結果を受けつけない場合に前記潜在情報提示画像を第２表示態様で表示させ、
   前記対象物の検知結果を受けつけた場合に、顕在する危険を知らせるための顕在情報提示画像が表示され、
   前記第１表示態様と前記第２表示態様とは異なる請求項１に記載の表示制御装置。
10. 前記第１画像と前記第３画像とを比較する比較部をさらに備え、
    前記表示制御部は、前記比較部において比較した前記第１画像と前記第３画像との差異とをもとに、人間が認知しにくいシーンや対象に対する潜在リスクを知らせるための潜在情報提示画像を第１表示装置に表示させ、
    前記第１表示装置は、対象物が検知された場合に顕在する危険を知らせるための顕在情報提示画像が表示される第２表示装置とは異なる請求項１に記載の表示制御装置。
11. 前記第１画像と前記第３画像とを比較する比較部をさらに備え、
    前記表示制御部は、前記比較部において比較した前記第１画像と前記第３画像との差異とをもとに、情報提示画像を表示させ、
    前記表示制御部は、前記第１画像と前記第３画像との差異とが変化すると、前記情報提示画像の表示態様を変更する請求項１に記載の表示制御装置。
12. 撮像装置と、
    前記撮像装置に接続される表示制御装置とを備え、
    前記表示制御装置は、
    第１タイミングにおける、車両の前景または前記車両に搭乗中のユーザの前景が撮像された第１画像を受けつける入力部と、
    前記第１タイミングにおける前記前景の予測結果を示す第３画像を、前記第１タイミングよりも過去の第２タイミングにおける前記前景が撮像された第２画像に基づいて生成する生成部と、
    前記第１画像と前記第３画像との、所定の基準を用いた比較結果に基づいて、情報提示の表示を制御する表示制御部と、
    を備える表示システム。
13. 第１タイミングにおける、車両の前景または前記車両に搭乗中のユーザの前景が撮像された第１画像を受けつけるステップと、
    前記第１タイミングにおける前記前景の予測結果を示す第３画像を、前記第１タイミングよりも過去の第２タイミングにおける前記前景が撮像された第２画像に基づいて生成するステップと、
    前記第１画像と前記第３画像との、所定の基準を用いた比較結果に基づいて、情報提示の表示を制御するステップと、
    を備える表示制御方法。

Images