JP5880408B2 - 画像表示装置及び画像表示方法 - Google Patents

Description

本発明は、複数の情報の画像表示に適する画像表示装置及び、当該画像表示装置に用いられる画像表示方法に関する。

上述の画像表示装置として、自動車に搭載され、各種の運転支援に関する画像情報や、車両状態に関する画像情報を表示させる装置が知られている。こうした画像表示装置は、自動車に搭載される各種の先進安全システム、例えば、車線に沿った走行を補助する装置や、車線の逸脱を検出する装置、歩行者や先行車などとの衝突を予防する装置、前方や側方モニタ、夜間に歩行者や障害物を検知するナイトビュー、等々からの情報出力に利用されることが多い。こうした先進安全システムを通じて画像表示装置に表示される画像は、運転者の運転負荷を軽減させたり、適切な運転操作を促したりするうえで有効である。

ところで先進安全システムは、出力する必要のある情報を車両の走行状態に応じてその都度出力するため、複数のシステムの出力情報が時間的に重なってしまうことも少なくない。そして時間的に重なってしまう複数の情報は、その表示に際して表示画面の大きさの制約を受けることはもとより、より重要度の高い情報が優先的に運転者に伝わるように表示されることが望ましい。この種の技術として、例えば特許文献１には、想定される危険度の比較に応じて警告表示を行う技術が記載されている。

特許文献１に記載の装置（システム）は、車両の走行状況を検出する走行状況検出手段と、検出された車両の走行状況から車両の走行状態が危険であると判断した場合に危険な走行状態であることを示す情報を生成する判断手段とを備える。また、情報表示装置を備え、この情報表示装置は、判断手段によって複数種類の情報が生成された場合、それら複数種類の情報をそれぞれ示す警告表示の表示形態を予め定められた条件に従って所定のパターンに変更する表示制御手段を備える。この所定のパターンは、優先度の高い情報が強調表示されるように設定されている。このため、表示すべき複数種類の情報が生成されたとしても、こうして設定されたパターンに基づいて優先度の高い情報が強調表示される。

特開２０１０−２４７６５６号公報

特許文献１に記載の画像表示装置によれば、高い優先度を有する情報が上記パターンに基づいて強調表示されるようにはなる。しかし、情報によって強調表示する際の表示形式が異なることが普通であり、その都度の優先度に対応してそれら情報に適切な表示形式を設定することは容易ではない。

本発明は、このような実情に鑑みてなされたものであって、その目的は、たとえ複数種類の画像情報を表示する場合であれ、画像情報の内容に応じた適切な表示形式にて視認性に優れた画像表示を行うことのできる画像表示装置及び画像表示方法を提供することにある。

以下、上記課題を解決するための手段及びその作用効果を記載する。
上記目的を達成するため、請求項１に記載の画像表示装置は、画像情報を画面に表示させる画像表示装置であって、ユーザにどのように認識させたいかその指標を示す属性である表示属性が付与された状態で前記画面に表示させる画像情報が記憶される第１の記憶部と、画面上でのユーザの視線の移動の検知に基づいて推定されるユーザによる画像の認識態様を示す属性である認識属性が前記画面に表示されている画像の表示形式に対応付けされて記憶される第２の記憶部と、前記表示属性と前記認識属性との関連性に基づいて前記画面に表示させる画像情報の表示形式を選択し、この選択した表示形式にて前記画像情報を前記画面に表示制御する表示制御部と、画面上でのユーザの視線の移動を検出する視点検出装置と、前記視点検出装置により検出されたユーザの視線の画面上における移動に基づいて前記認識属性を推定する認識属性推定部と、前記検出されたユーザの視線の画面上の移動位置にある画像の表示形式と前記推定された認識属性とを対応付けする表示形式処理部とを備え、前記第２の記憶部には、前記認識属性推定部により推定され、前記表示形式処理部にて対応する表示形式に対応付けされた認識属性が記憶されることを要旨とする。

上記目的を達成するため、請求項９に記載の画像表示方法は、画像情報を画面に表示させる画像表示装置で実行される画像表示方法であって、前記画像表示装置が、ユーザにどのように認識させたいかその指標を示す属性である表示属性が付与された状態で前記画面に表示させる画像情報を第１の記憶部に記憶させる第１の記憶工程と、画面上でのユーザの視線の移動の検知に基づいて推定されるユーザによる画像の認識態様を示す属性である認識属性を前記画面に表示されている画像の表示形式に対応付けて第２の記憶部に記憶させる第２の記憶工程と、表示制御部で、前記表示属性と前記認識属性との関連性に基づいて前記画面に表示させる画像情報の表示形式を選択し、この選択した表示形式にて前記画像情報を前記画面に表示制御する工程と、視点検出装置で、画面上でのユーザの視線の移動を検出する工程と、認識属性推定部で、前記ユーザの視線の移動を検出する工程により検出されたユーザの視線の画面上における移動に基づいて前記認識属性を推定する推定工程と、表示形式処理部で、前記検出されたユーザの視線の画面上の移動位置にある画像の表示形式と前記推定された認識属性とを対応付ける対応付け工程とを実行し、前記第２の記憶工程では、前記推定工程により推定され、前記対応付け工程にて対応する表示形式に対応付けされた認識属性が記憶されることを要旨とする。

これまでは、どういった表示形式が運転者の注意を引くかという観点から画像の表示形式が選択されていた。ところが、表示画面が広くなったり、画面に複数の情報が表示されたりする場合、その画像のなかでのユーザの視線の動き、例えば、ユーザがどのような表示形式に素早く反応し、どのような画像を注視するのかなどについての検討は十分になされていなかった。ところが、先進安全システムが提供する情報のなかには、短時間でユーザに認識してもらう必要性のある情報が含まれていたり、ユーザに注視してもらうことが好ましい情報が含まれていたりするなど、画像に対して期待される反応をユーザから得るための検討がなされるようになってきている。

このような構成もしくは方法によれば、検知されたユーザの視線の移動と、画像の表示形式とが対応付けされる。通常、ユーザの視線の移動は、画像に対するユーザの反応や興味に関連する。例えば、表示形式には、ユーザの視線が素早く反応する形式もあるし、見る時間が長くなる形式もある。よって、ユーザの視線の移動状態に対応する画像の表示形式には、ユーザの反応や興味（認識属性）が関連付けされる。こうしたことから、画像情報に付す表示属性と画像に対して期待されるユーザの反応に適した画像の表示形式とを関連付けることにより、表示属性に基づいて画像情報が適切に表示されるようになる。これにより、画像情報の画像に対して期待されるユーザの反応が得られる表示形式が適切に付与されるようになる。

こうした関連づけは、多くの画像情報が表示されているような画面における表示画像には、特に有効である。

また、このような構成もしくは方法によれば、ユーザの視線の移動を検出するため、認識属性が実際に画面を視認するユーザの画像に対する反応などに基づいて定められる。こうした認識属性が画像情報の表示属性に対応付けされることで、認識属性に対応する表示属性を有する画像情報を、実際に画面を視認するユーザに適した表示形式で表示できる。つまり、画面に表示される画像がユーザに認識させたい態様で表示されるようになる。

請求項２に記載の画像表示装置は、請求項１に記載の画像表示装置において、前記認識属性推定部が推定した認識属性に対応付けされた表示形式と、前記第２の記憶部に記憶されている同一の認識属性に対応付けされている表示形式とが相違することを条件に、前記第２の記憶部に前記認識属性と対応付けされて記憶されている表示形式を前記推定された認識属性に対応付けされた表示形式に置き換える学習部を更に備えることを要旨とする。

このような構成によれば、既に記憶されている認識属性と表示形式との対応付けが、視点検出装置が検出したユーザの視線の移動に基づいて推定される認識属性と表示形式との対応付けによって適宜置き換えられる、つまり修正されるようになる。これにより、画面上におけるユーザの視線の移動の傾向に変化が生じたとしても、その変化に表示形式も対応するようになり、画面にはユーザに認識させたい態様で画像が表示されるようになる。

請求項３に記載の画像表示装置は、請求項１又は２に記載の画像表示装置において、前記第１の記憶部には、複数の画像情報がそれぞれの表示属性とともに記憶され、前記第２の記憶部には、複数の認識属性がそれぞれ対応する画像の表示形式に対応付けされて記憶されており、前記表示制御部は、複数の画像情報の表示属性のそれぞれに対して前記複数の認識属性のうちから最も関連性の高い認識属性に対応する表示形式を選択することを要旨とする。

このような構成によれば、同時期に複数の画像情報を表示するような場合であれ、各画像情報に、その表示属性に基づいて適切な表示形式を選択することができるようになる。これにより、複数の画像情報であれ適切な表示形式で表示することができるようになる。

請求項４に記載の画像表示装置は、請求項１〜３のいずれか一項に記載の画像表示装置において、前記第２の記憶部には、１つの認識属性に対して複数の異なる画像の表示形式が対応付けられており、前記表示制御部は、同時期に複数の表示属性が同じ認識属性に関連性を有すると判断されるとき、それぞれの表示属性に対して各異なる表示形式を選択することを要旨とする。

このような構成によれば、同時期に表示される複数の画像情報に対し、同じ認識情報が対応するような場合、それぞれの画像情報に、認識属性に対応付けられている複数の表示形式から異なる表示形式を選択することができる。これにより、同時期に同じ表示属性を有する画像情報が表示されるとしても、それら画像情報の表示形式を変え、識別を容易にすることができる。

請求項５に記載の画像表示装置は、請求項４に記載の画像表示装置において、前記第２の記憶部に記憶されている１つの認識属性には、複数の異なる画像の表示形式が各異なる優先度を有して設定されており、前記表示制御部は、同時期に複数の表示属性が同じ認識属性に関連性を有すると判断されるとき、前記画像の表示属性に基づいて求められる優先度の順に、前記画像の表示形式をその優先度の順に選択することを要旨とする。

このような構成によれば、優先度の高い画像の表示形式が、画像の表示属性から求められる優先度の高さに応じて選択される。これにより、優先度の高い表示属性を有する画像情報が、優先度の高い画像形式にて表示されるようになり、表示内容がユーザに的確に伝達されることが期待される。

請求項６に記載の画像表示装置は、請求項１〜５のいずれか一項に記載の画像表示装置において、前記表示属性には、除外する表示形式が含まれ、前記表示制御部は、表示属性に対応する表示形式として前記除外する表示形式が含まれない表示形式を優先的に選択することを要旨とする。

このような構成によれば、画像情報の表示として好ましくないことなどから、除外されている表示形式を除いて画像情報が表示されるようになる。これにより、画像情報の表示がより適切になされるようになる。

請求項７に記載の画像表示装置は、請求項１〜６のいずれか一項に記載の画像表示装置において、前記表示属性には、「緊急性」、「安全性」、及び「重大性」に関する属性のうち少なくとも２つの属性が含まれることを要旨とする。

このような構成によれば、表示属性には、表示形式に直接関係しない属性を設定することができる。しかしながら、表示属性に含まれる「緊急性」、「安全性」及び「重大性」などは、ユーザに認識させたい態様、つまり認識属性に関連することから、認識属性を介して表示形式に関連付けることができる。これにより、表示属性に含めることのできる項目の自由度が高められる。

請求項８に記載の画像表示装置は、請求項１〜７のいずれか一項に記載の画像表示装置において、前記表示属性には、優先度が設定されており、前記表示制御部は、前記優先度が高い表示属性を有する画像情報から優先的に前記表示形式を選択することを要旨とする。

このような構成によれば、表示属性の優先度の高い表示情報から表示形式が優先的に選択されるようになるため、優先度の高い表示情報により適切な表示形式が適用されるようになる。これにより優先度の高い表示情報のユーザへの伝達可能性が向上する。

画像表示装置を具体化した第１の実施形態について、そのシステムの概略構成を示すブロック図。 同実施形態における画像情報に付されるユーザにどのように認識させたいかその指標を示す属性の例について示すテーブル。 同実施形態における画面上のユーザの視線の移動から推定される認識属性との関係の例を示すテーブル。 同実施形態における画像情報の表示属性に含まれる要求性と、選択される表示形式との関係の例を示すテーブル。 同実施形態において表示形式に対応する表示位置の例を示すテーブル。 同実施形態において図５に示す表示位置と画面における位置との関係を示す平面図。 同実施形態においてユーザの視線が画面上を移動する態様の一例を示す模式図。 同実施形態においてユーザの視線が画面上を移動する態様の他の例を示す模式図。 同実施形態においてユーザの視線の画面上の移動態様に基づく学習結果の例を対比して示すテーブル。 同実施形態において、ユーザ毎に設けられた学習データベースとユーザとの関係を示すテーブル。 画像表示装置を具体化した第２の実施形態について、複数の画像情報に対して選択される表示形式の例を示すテーブル。 画像表示装置を具体化した他の実施形態について、表示形式に含まれるパラメータの例を示すテーブル。 画像表示装置を具体化したその他の実施形態について、情報に付与される属性と、その属性に関連付けられる表示形式と例を示すテーブル。 画像表示装置を具体化したまた他の実施形態について、画像情報に含まれる除外事項の例を示すテーブル。 画像表示装置を具体化したまたその他の実施形態について、画像情報に含まれる要求性に優先度が設定される例を示すテーブル。 画像表示装置を具体化したさらに他の実施形態について、優先度に応じて設定される表示形式の例を示すテーブル。 画像表示装置を具体化したまたさらに他の実施形態について、表示形式に表示先の画面が含まれる例を示すテーブル。

（第１の実施形態）
画像表示装置を搭載した車両を具体化した第１の実施形態について、図１〜１０を参照して説明する。まず、画像表示装置の概略構成について図１を参照して説明する。

図１に示すように、本実施形態の画像表示装置は、車両１０に搭載されている。車両１０は、車両１０の運転に関する各種制御を行う第１の車両制御装置１１と第２の車両制御装置１２とを搭載し、車両１０に各種運転支援を提供する第１の運転支援装置１３と第２の運転支援装置１４とを搭載している。また、車両１０は、第１及び第２の車両制御装置１１，１２、及び、第１及び第２の運転支援装置１３，１４に通信可能に接続される情報調停部１５と、情報調停部１５に通信可能に接続される表示制御部１６とを備えている。さらに、車両１０は、表示制御部１６に通信可能に接続される情報出力装置１７と、表示制御部１６に通信可能に接続される視点検出装置１８とを備える。本実施形態では、画像表示装置は、情報調停部１５、表示制御部１６、情報出力装置１７及び視点検出装置１８から構成される。

情報出力装置１７は、ユーザが認識可能な画像や音声を出力する装置である。情報出力装置１７は、表示制御部１６から画像情報Ｇ１が入力されるとともに、入力された画像情報Ｇ１に基づく画像をユーザが認識可能な態様で表示する。情報出力装置１７は、表示装置４０と音声装置４１とを備える。表示装置４０は、例えば、ヘッド・アップ・ディスプレイ、ナビゲーションシステムのモニタ、及びメータパネル等の画面を含み構成されている。また、音声装置４１は、スピーカ、ブザーから構成されている。なお、画像には、静止画及び動画の少なくとも一方を含むことができる。また、音声には、警報音等の単なる音及び案内音声の少なくとも一方を含むことができる。

なお、本実施形態では、表示制御部１６から入力される画像情報Ｇ１には、当該画像情報Ｇ１の表示形式を指定する表示形式ＨＳが付されている。つまり、情報出力装置１７は、画像情報Ｇ１をその画像情報Ｇ１に付されている表示形式ＨＳで表示装置４０の画面に表示させる。

視点検出装置１８は、ユーザの視線の画面上の移動を検出する、いわゆるアイトラッキングをする装置である。視点検出装置１８は、表示装置４０の画面近傍において、ユーザの目５０を認識可能な位置に設置されている。視点検出装置１８は、表示装置４０の画面を見ているユーザの目５０の動きを追跡することで、その画面中の視点５１が移った部分を検出するとともに、その移った部分に滞留していた時間を検出する（ユーザの視線の移動を検出する工程）。そして視点検出装置１８は、ユーザの視点５１の画面上の部分（位置）と、その部分に滞留していた時間とを表示制御部１６へ出力する。

第１及び第２の車両制御装置１１，１２は、車両１０の制動や、加速や、操舵などうちの１つ以上について制御を実行する装置である。第１及び第２の車両制御装置１１，１２は、図示しない各種センサから得られる車両に関する情報などに基づいて車両を制御する。第１及び第２の車両制御装置１１，１２は、外部への出力装置である情報出力部２０を備え、情報出力部２０を介して制御に関する各種情報（Ｊ１やＪ２）を情報調停部１５へ出力する。

第１及び第２の車両制御装置１１，１２は、例えば、車両１０のブレーキアクチュエータを制御するブレーキ制御装置、エンジンを制御するエンジン制御装置、ステアリングアクチュエータを制御するステアリング制御装置等の各種制御装置等によって構成されている。第１及び第２の車両制御装置１１，１２は、各種制御の内容に関する情報や、制御に利用する各種データに関する情報や、制御中に生じる警告に関する情報などを画像情報Ｊ１，Ｊ２として発生させる。例えば、ブレーキ制御装置であれば、使用されているブレーキの種類やその作動状態の情報などを出力し、エンジン制御装置であれば、エンジンの回転数や温度、冷却水温の情報などを出力し、ステアリング制御装置であれば、操舵角などを出力する。

第１及び第２の運転支援装置１３，１４は、車両１０に各種運転支援を提供する装置である。第１及び第２の運転支援装置１３，１４は、図示しない各種センサから得られる車両に関する情報や車両の周辺環境に関する情報などに基づいて運転支援を実施する。第１及び第２の運転支援装置１３，１４は外部への出力装置である情報出力部２０を備え、情報出力部２０を介して運転支援の内容に関する情報（Ｊ３やＪ４）を情報調停部１５へ出力する。

第１及び第２の運転支援装置１３，１４は、例えば、追従走行支援を行う支援装置、衝突回避支援を行う支援装置等の各種支援装置によって構成されている。なお、こうした支援装置として各種の先進安全システムが挙げられる。支援内容としては、車線に沿った走行を補助する支援（レーンキープアシスト）、先行車に車間距離を維持して追従走行する支援（アクティブクルーズコントロール）、先行車や歩行者等の物体への衝突を回避する支援などが挙げられる。さらに、支援内容としては、車線からの逸脱を検出する支援、目視しづらい前方や側方をモニタ表示する支援、夜間に歩行者や障害物を検知する支援（ナイトビュー）などが挙げられる。

第１及び第２の運転支援装置１３，１４は、運転支援に関する各種の情報を画像情報Ｊ３，Ｊ４として発生させる。例えば、レーンキープアシストは、車線における走行位置に関する情報を出力し、アクティブクルーズコントロールは、走行速度や先行車との車間距離に関する情報を出力し、衝突回避支援は、支援対象部との間の衝突時間や距離、位置関係、衝突回避のための運転操作に関する情報を出力する。また例えば、車線逸脱支援は、車線からの逸脱に対する注意喚起や警告に関する情報を出力し、モニタ表示支援は、モニタ画像に関する情報を表示し、ナイトビューは、障害物の位置に関する情報などを出力する。こうした情報は、車両の走行状況に応じてその都度出力されるため、複数の運転支援の出力情報が時間的に重なってしまうことも少なくない。

第１及び第２の車両制御装置１１，１２、第１及び第２の運転支援装置１３，１４にはそれぞれ、前記情報出力部２０が設けられている。
情報出力部２０は、装置が出力した各種画像情報を情報調停部１５へ伝達可能な形式の情報に変換して出力する。情報出力部２０は、装置が出力した各種画像情報に、その画像情報の表示形式を指示する属性である表示属性を付与する要求性付与部２１を備える。

要求性付与部２１は、情報出力部２０から出力する各種画像情報Ｊ１（Ｊ２、Ｊ３又はＪ４）に、その画像情報をユーザにどのように認識させたいかその指標を示す属性としての表示属性を付与する。

図２のテーブル２２に示すように、表示属性には、ユーザにどのように認識させたいかを示す指標として、「最初に見る」こと（第１の要求）、「見る時間が長い」こと（第２の要求）、「見逃さない」こと（第３の要求）が含まれる。そして、第１〜第３の要求のそれぞれにその要求の有無が設定される。なお、表示属性に含まれる要求は、第１〜３の要求には限られない。

つまり、要求性付与部２１は、各画像情報Ｊ１（Ｊ２、Ｊ３又はＪ４）に、表示属性として、「第１の要求」の有無、「第２の要求」の有無、「第３の要求」の有無をそれぞれ付与する。なお、各画像情報Ｊ１〜Ｊ４は、第１〜第３の要求のうち必要な要求だけが設定されてもよい。そして、要求性付与部２１により表示属性の付された画像情報Ｊ１（Ｊ２、Ｊ３又はＪ４）が、情報出力部２０から情報調停部１５へ出力される。

第１及び第２の車両制御装置１１，１２や、第１及び第２の運転支援装置１３，１４はそれぞれ、演算装置（ＣＰＵ）と、ＲＯＭやＲＡＭなどの不揮発性や揮発性の記憶装置等とを有するマイクロコンピュータを含み構成されている。マイクロコンピュータの不揮発性の記憶装置には、各種処理を行う制御プログラム及び、各種処理に用いられる各種パラメータが保持されている。演算装置は、記憶装置に保持されている制御プログラムを必要に応じて実行するとともに、制御プログラムの実行処理時には必要に応じて各種パラメータを参照する。

つまり、第１及び第２の車両制御装置１１，１２には、車両制御を行うための車両制御用のプログラムと画像情報に表示属性を付与するプログラムとが含まれ、この車両制御用のプログラムや画像情報に表示属性を付与するプログラムの実行処理に利用される各種パラメータが含まれる。また、第１及び第２の運転支援装置１３，１４には、車両の運転支援を行うための運転支援用のプログラムと画像情報に表示属性を付与するプログラムとが含まれ、この運転支援用のプログラムや画像情報に表示属性を付与するプログラムの実行処理に利用される各種パラメータが含まれる。よって、画像情報に表示属性を付与するプログラムが実行されることで、情報出力部２０の機能、及び要求性付与部２１の機能が発揮される。

［表示形式を選択する構成］
次に、画像情報に適した表示形式を選択する構成と動作について説明する。
情報調停部１５や表示制御部１６はそれぞれ、演算装置（ＣＰＵ）と、ＲＯＭやＲＡＭなどの不揮発性や揮発性の記憶装置等とを有するマイクロコンピュータを含み構成されている。マイクロコンピュータの不揮発性の記憶装置には、各種処理を行う制御プログラム及び、各種処理に用いられる各種パラメータが保持されている。演算装置は、記憶装置に保持されている制御プログラムを必要に応じて実行するとともに、制御プログラムの実行処理時には必要に応じて各種パラメータを参照する。続いて、情報調停部１５や表示制御部１６における、制御プログラムの内容及び機能、当該制御プログラムの処理に必要な各種パラメータなどについて詳述する。

情報調停部１５は、入力された１又は複数の画像情報Ｊ１〜Ｊ４の数を、情報出力装置１７に表示可能な数に調整する。情報調停部１５は、１又は複数の画像情報Ｊ１〜Ｊ４が第１及び第２の車両制御装置１１，１２や第１及び第２の運転支援装置１３，１４から入力される。そして、情報出力装置１７は、１又は複数の画像情報Ｊ１〜Ｊ４の数を表示可能な数に調整した画像情報Ｇ１を表示制御部１６へ出力する。例えば、情報出力装置１７に表示可能な数が「２つ」である場合、情報調停部１５は、表示制御部１６へ出力する画像情報Ｇ１の数を最大「２つ」に調整する。つまり情報調停部１５は、同時期に２つ以下の画像情報（Ｊ１等）が入力された場合、入力された画像情報（Ｊ１等）をそのまま画像情報Ｇ１として表示制御部１６へ出力する。一方、情報調停部１５は、同時期に３つ以上の画像情報（Ｊ１等）が入力された場合、重要性などに基づいて選択した２つの画像情報Ｇ１，Ｇ２を表示制御部１６へ出力する。情報調停部１５は、画像情報（Ｊ１等）を出力した装置の種類や、画像情報（Ｊ１等）に含まれている表示属性などに基づいて優先度を求め、求めた優先度が高いもの２を画像情報Ｇ１，Ｇ２として抽出する。なお、画像情報（Ｊ１等）を出力した装置の種類に基づく優先度や、表示属性の優先度は、情報調停部１５の記憶装置に設定されている。以下、説明の便宜上、１つの画像情報Ｇ１を例に説明するが、画像情報は複数であってもよい。

表示制御部１６は、画像情報Ｇ１の表示形式ＨＳを決定する。表示制御部１６は、画像情報Ｇ１が情報調停部１５から入力される。入力された画像情報Ｇ１は、表示制御部１６にて所定の処理を行うため、表示制御部１６の記憶装置（第１の記憶部）に記憶される（第１の記憶工程）。表示制御部１６は、入力された画像情報Ｇ１に適切な表示形式ＨＳを選択する。そして、表示制御部１６は、選択した表示形式ＨＳを画像情報Ｇ１とともに情報出力装置１７へ出力する。

表示制御部１６は、画像情報Ｇ１に適切な表示形式ＨＳを選択する表示形式処理部としての表示形式択部３０と、画像情報Ｇ１に対応させる表示形式ＨＳが登録される表示形式リスト３１とを備えている。

表示形式リスト３１は、表示制御部１６の記録装置（第２の記憶部）に設定・保持されている（第２の記憶工程）。
図３に示すように、表示形式リスト３１には、画面上でのユーザの視線の移動を検出した結果と、その検出されたユーザの視線の画面上の移動に基づいて推定されるユーザによる画面の認識状態を示す属性としての認識属性とが関連付けたテーブル３１０が登録されている。テーブル３１０には、画面上でのユーザの視線の移動の状態から分類された３つの移動状態として、「画面内に移った視点が最初に見る位置・表示」（第１の移動状態）、「画面内で視線が滞在する位置・表示」（第２の移動状態）、「画面内の視線が必ず通る位置・表示」（第３の視線状態）が挙げられている。そして、本実施形態では、「第１の移動状態」から推定される認識属性を「最初に見る」（第１の認識）とし、「第２の移動状態」から推定される認識属性を「見る時間が長い」（第２の認識）とし、「第３の移動状態」から推定される認識属性を「見逃さない」（第３の認識）としている。つまり、テーブル３１０では、「第１の移動状態」と「第１の認識」とが関連付けられ、「第２の移動状態」と「第２の認識」とが関連付けられ、「第３の移動状態」と「第３の認識」とが関連付けられている。なお、テーブル３１０に設定されている移動状態と任じ帰属性の関係は、表示装置４０に表示されている他の画像の種類や、音や音声、車両１０の走行環境などに応じて、適切な関係に変更されてもよい。

表示形式択部３０は、入力された画像情報Ｇ１に付加されている表示属性を得る。つまり、表示形式択部３０は、表示属性から「最初に見る」（第１の要求）の有無、「見る時間が長い」（第２の要求）の有無、「見逃さない」（第３の要求）の有無を取得する。そして、表示形式択部３０は、取得された第１〜第３の要求の有無と、テーブル３１０に登録されている認識属性（第１〜第３の認識）とを対比し、表示属性に関連性の高い認識属性を関連付ける。

例えば、表示形式択部３０は、表示属性に「最初に見る」（第１の要求）が有る場合、関連性の高い認識属性としてテーブル３１０の「第１の認識」を関連付ける。また、表示形式択部３０は、表示属性に「見る時間が長い」（第２の要求）が有る場合、関連性の高い認識属性としてテーブル３１０の「第２の認識」を関連付ける。さらに、表示形式択部３０は、表示属性に「見逃さない」（第３の要求）が有る場合、関連性の高い認識属性としてテーブル３１０の「第３の認識」を関連付ける。なお、本実施形態では、表示属性への認識属性の対応付けは、優先度の高いものが１つ対応付けられる。また、優先度は高い順に、第１の要求、第２の要求、第３の要求となっている。

そして、表示形式択部３０は、画像情報Ｇ１の表示属性に関連付けられた認識属性に対応する表示形式ＨＳを、画像情報Ｇ１の表示形式として選択する。
図４のテーブル３０１に示すように、表示形式択部３０は、「第１の要求」を有する画像情報Ｇ１には表示形式ＨＳとして「第１の形式」（ＨＳ１）を対応付け、「第２の要求」を有する画像情報Ｇ１には表示形式ＨＳとして「第２の形式」（ＨＳ２）を対応付ける。また、表示形式択部３０は、「第３の要求」を有する画像情報Ｇ１には表示形式として「第３の形式」（ＨＳ３）を対応付ける。

詳述すると、テーブル３０１に示される第１〜第３の形式ＨＳ１〜ＨＳ３は、テーブル３１０に基づいて定まる。つまり、表示属性に関連する認識属性を介してテーブル３１０を参照することで、表示属性の第１〜第３の要求に対応する第１〜第３の移動状態が定まる。例えば、「第１の要求」には「第１の移動状態」が対応し、「第２の要求」には「第２の移動状態」が対応し、「第３の要求」には「第３の移動状態」が対応する。そして、「第１の移動状態」に基づき「第１の形式」（ＨＳ１）が「画面内に移った視点が最初に見る位置・表示への表示」に定まる。また、「第２の移動状態」に基づき「第２の形式」（ＨＳ２）が「画面内で視線が滞在する位置・表示への表示」に定まる。さらに、「第３の移動状態」に基づき「第３の形式」（ＨＳ３）が「画面内の視線が必ず通る位置・表示への表示」に定まる。

図５のテーブル３１１に示すように、第１〜第３の形式ＨＳ１〜ＨＳ３には、表示装置４０における表示位置が含まれる。例えば、第１の形式ＨＳ１には、表示位置として「画面中央」が設定され、第２の形式ＨＳ２には、表示位置として「画面右」が設定され、第３の形式ＨＳ３には、表示位置として「画面右下」が設定されている。つまり、画像情報Ｇ１は、情報出力装置１７の表示装置４０において、選択された第１〜第３の形式ＨＳ１〜ＨＳ３に設定されている位置に表示されるようになる。なお、表示形式ＨＳには、表示位置以外のパラメータ、例えば、大きさ、色、形などが含まれてもよいが、本実施形態では説明の便宜上、表示位置についてのみ説明し、その他のパラメータについての説明は割愛する。

そして、画像情報Ｇ１とその画像情報Ｇ１に選択された表示形式ＨＳとが表示形式択部３０から情報出力装置１７へ出力され、情報出力装置１７は入力した画像情報Ｇ１をその画像情報Ｇ１に選択された表示形式ＨＳで表示する。

図６に示すように、例えば、情報出力装置１７は、第１の形式ＨＳ１が選択された画像情報Ｇ１を表示装置４０の画面中央のエリア４０１に表示し、第２の形式ＨＳ２が選択された画像情報Ｇ１を表示装置４０の画面右のエリア４０２に表示し、第３の形式ＨＳ３が選択された画像情報Ｇ１を表示装置４０の画面右下のエリア４０３に表示する。

これにより、本実施形態の画像表示装置は、各装置の出力した画像情報Ｊ１〜Ｊ４から選択された各画像情報Ｇ１を、その画像情報Ｇ１の有する表示属性に適した表示形式ＨＳで表示装置４０に表示させる。

［視線の移動を学習する構成］
次に、画面上でのユーザの視線の移動を学習する構成と動作について説明する。
図１に示すように、表示制御部１６は、ユーザの視線の画面上の動きを学習する。表示制御部１６は、表示形式リスト３１の登録内容を管理するリスト管理部３２と、画面上でのユーザの視線の移動を学習する認識属性推定部としての視点学習部３３とを備えている。学習は表示装置４０内にユーザの視点５１が入った時点から開始する。

なお、表示装置４０内の表示が切り替わった時点などからも学習を開始してよい。学習する情報には、音や、地理的情報、交通状況、同乗者数、運転操作、運転操作以外の操作などが含まれていてもよい。地理的情報には、高速道路や、料金所、コンビニエンスストアなどが含まれ、交通状況には、渋滞情報や事故情報などが含まれてもよい。運転操作には、ブレーキの操作遅れ時間が含まれてもよいし、運転操作以外の操作には、エアコン操作や、オーディオ操作、方向指示機操作などが含まれてもよい。これにより、表示形式と認識属性との関係にこうした情報が影響する場合、その影響を学習することができるようにもなる。

視点学習部３３は、視点検出装置１８から、表示装置４０を見るユーザの視点５１の画面上の位置と、その位置に視点５１が滞留していた時間とを取得するとともに、そのとき表示装置４０に表示させている画像情報Ｇ１の表示形式ＨＳを取得する。そして、視点学習部３３は、表示させている画像情報Ｇ１の表示形式ＨＳから視点５１の位置に対応する表示形式ＨＳを抽出する。さらに、視点学習部３３は、抽出した表示形式ＨＳを、画面上でのユーザの視線の移動に関連付ける。図３のテーブル３１０に示したように、画面上でのユーザの視線の移動状態を３つに分類したとき、分類された各移動状態から認識属性が推定される（推定工程）。また、上述したように、認識属性と表示属性とは関連性を有することから、図４のテーブル３０１に示すように、推定された認識属性に表示形式ＨＳを対応付けることができる（対応付け工程）。

視点学習部３３は、認識属性と表示形式ＨＳとを対応付けた情報を累積し、この累積された情報に基づいて、ユーザによる画像の認識態様を示す属性である認識属性に適した表示形式ＨＳを学習する。

本実施形態では、視点学習部３３は、画面上でのユーザの視線の移動状態を、「画面内に移った視点が最初に見る位置・表示」（第１の移動状態）と、「画面内で視線が滞留する位置・表示」（第２の移動状態）と、「画面内の視線が必ず通る位置・表示」（第３の移動状態）とに分類する。

図７は、例えば、視点検出装置１８に検出された、表示装置４０の画面を移動した視点５１の経路が視線Ｌ１で示されている。視線Ｌ１は、画面外から画面内に移動した視点５１が最初に見た位置が「始点」Ｐ１０であり、所定時間滞留した位置が「滞留」Ｐ１１であり、複数の視線Ｌ１で必ず見る位置が「必見」Ｐ１２であり、視点５１が画面内から画面外に出る位置が「終点」Ｐ１３である。視点学習部３３は、検出された視線Ｌ１に基づいて、「始点」Ｐ１０を「第１の移動状態」に分類し、「滞留」Ｐ１１を「第２の移動状態」に分類し、「必見」Ｐ１２を「第３の移動状態」に分類する。つまり、「始点」Ｐ１０が「第１の認識」に対応付けられ、「滞留」Ｐ１１が「第２の認識」に対応付けられ、「必見」Ｐ１２が「第３の認識」に対応付けられる。視点学習部３３は、こうした対応付けの情報を累積する。

図８は、例えば、視点検出装置１８に検出された、表示装置４０の画面を移動した視点５１の経路が視線Ｌ２で示されている。視線Ｌ２は、画面外から画面内に移動した視点５１が最初に見た位置が「始点」Ｐ２０であり、複数の視線Ｌ２で必ず見る位置が「必見」Ｐ２１であり、所定時間滞留した位置が「滞留」Ｐ２２であり、視点５１が画面内から画面外に出る位置が「終点」Ｐ２３である。視点学習部３３は、検出された視線Ｌ２に基づいて、「始点」Ｐ２０を「第１の移動状態」に分類し、「滞留」Ｐ２２を「第２の移動状態」に分類し、「必見」Ｐ２１を「第３の移動状態」に分類する。つまり、「始点」Ｐ２０が「第１の認識」に対応付けられ、「滞留」Ｐ２２が「第２の認識」に対応付けられ、「必見」Ｐ２１が「第３の認識」に対応付けられる。また、視点学習部３３は、こうした対応付けの情報を累積する。

すなわち、視点学習部３３は、こうして累積された対応付けの情報に基づいて、認識属性に適した表示形式ＨＳを学習する。なお学習は、公知の方法を適用可能であり、例えば、累積された情報に基づいて、割合の高いものや回数の多いものを学習結果とするようにしてもよい。また、学習に用いる対応付けの情報の蓄積期間は、全期間でもよいし、一部期間でもよい。蓄積期間を長くすれば、学習結果を安定させることができ、蓄積期間を近時に制限すれば、ユーザの視線の移動傾向の変化にも、迅速に対応できるようになる。

図９には、視点学習部３３による学習前後における第１〜第３の認識に対応する表示位置の例を対比する表３３１が示されている。学習前は、「第１の認識」に対応する表示位置は「画面中央」であり、「第２の認識」に対応する表示位置は「画面右」であり、「第３の認識」に対応する表示位置は「画面右下」である。一方、学習後は、「第１の認識」に対応する表示位置は「画面中央上」になり、「第２の認識」に対応する表示位置は「画面右下」になり、「第３の認識」に対応する表示位置は「画面左上」になる。なお、このように得られた学習結果は、視点学習部３３の管理する学習データベースに保持される。この学習データベースは、表示制御部１６の記憶装置に設けることができる。

リスト管理部３２は、視点学習部３３の有する学習データベースに保持されている学習結果を表示形式リスト３１のテーブル３１０に反映させる。つまり、リスト管理部３２は、テーブル３１０での推定される認識属性に対応する、画面上でのユーザの視線の移動状態を、学習結果により得られた画像を見る位置や表示に変更する。これにより、画像情報Ｇ１に対して選択される表示形式ＨＳを、画面上でのユーザの視線の視線に適した表示形式ＨＳにすることができる。

なお、リスト管理部３２は、テーブル３１０への学習結果の反映を、所定の条件が成立することに応じて行う。これは、表示形式の変化がユーザ、特に運転者に与える影響を低減させるためである。例えば、所定の条件としては、車両１０が停止している場合や、テーブル３１０の内容と学習結果との相違が一定以上になった場合や、ユーザが許可した場合などの１つ又は複数が挙げられる。

［ユーザ毎に学習する構成］
次に、画面上でのユーザの視線の移動状態を、ユーザ毎に学習する構成と動作について説明する。

表示制御部１６は、複数のユーザのそれぞれに対して画面上でのユーザの視線の動きを学習する。表示制御部１６は、車両１０のユーザを特定するとともに、その特定したユーザの学習データベースを選択し、その選択した学習データベースの学習結果を表示形式リスト３１に反映させるユーザ特定部３４を備える。

ユーザ特定部３４は、車両１０の運転者となるユーザを、車両１０に使用される電子鍵や、ユーザ自身による設定器を介しての設定など、公知の方法を通じて特定する。
図１０に示すように、ユーザ特定部３４は、ユーザ毎の学習データベースを管理する。なお、ユーザ毎の学習データベースは、別々のデータベースでも、１つのデータベースの一部領域から構成されていてもよい。このユーザ毎の学習データベースは、表示制御部１６の記憶装置に設けることができる。

そして、ユーザ特定部３４は、特定されたユーザの学習データベースの内容を、視点学習部３３の学習データベースに反映させ、画面上での選択されたユーザの視線の移動の学習がさらに行われるようにする。なお、所定時間毎や、車両が駐車するときや、運転者が交代するときなどに、視点学習部３３の学習データベースの内容を対応するユーザの学習データベースに反映させることで、当該ユーザに関する学習状態が維持される。

さらに、ユーザ特定部３４は、特定されたユーザの学習データベースの学習結果を、表示形式リスト３１のテーブル３１０に反映させる。これにより、表示形式択部３０は、ユーザに対応するテーブル３１０を用いて、画像情報Ｇ１にユーザに適した表示形式ＨＳを選択することができる。そして、表示装置４０には、ユーザの認識属性に適合する表示形式ＨＳで画像情報Ｇ１が表示されるようになるため、当該画像情報Ｇ１がユーザに適切に認識されることが期待される。

以上説明したように、本実施形態に係る画像表示装置によれば、以下に列記する効果が得られるようになる。
（１）これまでは、どういった表示形式が運転者の注意を引くかという観点から画像の表示形式が選択されていた。ところが、表示画面が広くなったり、画面に複数の情報が表示されたりする場合、その画像のなかでのユーザの視線の動き、例えば、ユーザがどのような表示形式に素早く反応し、どのような画像を注視するのかなどについての検討は十分になされていなかった。ところが、先進安全システムが提供する情報のなかには、短時間でユーザに認識してもらう必要性のある情報が含まれていたり、ユーザに注視してもらうことが好ましい情報が含まれていたりするなど、画像に対して期待される反応をユーザから得るための検討がなされるようになってきている。

このような構成によれば、検知されたユーザの視点５１（視線）の移動と、画像の表示形式ＨＳとが対応付けされる。通常、ユーザの視点５１（視線）の移動は、画像に対するユーザの反応や興味に関連する。例えば、表示形式ＨＳには、ユーザの視線が素早く反応する形式もあるし、見る時間が長くなる形式もある。よって、ユーザの視点５１（視線）の移動状態に対応する画像の表示形式ＨＳには、ユーザの反応や興味（認識属性）が関連付けされる。こうしたことから、画像情報Ｇ１に付す表示属性と画像に対して期待されるユーザの反応に適した画像の表示形式ＨＳとを関連付けることにより、表示属性に基づいて画像情報Ｇ１が適切に表示されるようになる。これにより、画像情報Ｇ１の画像に対して期待されるユーザの反応が得られる表示形式が適切に付与されるようになる。

こうした関連づけは、多くの画像情報Ｇ１が表示されているような画面における表示画像には、特に有効である。
（２）このような構成によれば、視点検出装置１８がユーザの視線の移動を検出するため、認識属性が実際に画面を視認するユーザの画像に対する反応などに基づいて定められる。こうした認識属性が画像情報Ｇ１の表示属性に対応付けされることで、認識属性に対応する表示属性を有する画像情報を、実際に画面を視認するユーザに適した表示形式ＨＳで表示できる。つまり、画面に表示される画像がユーザに認識させたい態様で表示されるようになる。

（３）このような構成によれば、既に記憶されている認識属性と表示形式ＨＳとの対応付けが、視点検出装置１８が検出したユーザの視線の移動に基づいて推定される認識属性と表示形式ＨＳとの対応付けによって適宜置き換えられる、つまり修正されるようになる。これにより、画面上におけるユーザの視線の移動の傾向に変化が生じたとしても、その変化に表示形式も対応するようになり、画面にはユーザに認識させたい態様で画像が表示されるようになる。

（第２の実施形態）
次に、本実施形態にかかる画像表示装置について、図１１を参照して説明する。
本実施形態は、同時期に入力された２つの画像情報に対して表示形式を選択する構成が、第１の実施形態の構成と相違する以外、第１の実施形態の構成と同様であることから、以下では相違点を中心に説明し、説明の便宜上、同様の構成については詳細な説明を割愛する。

表示形式リスト３１には、２つの画像情報Ｇ１，Ｇ２に対して表示形式ＨＳを選択する場合に用いられるテーブル３１２が設定されている。本実施形態では、第１の画像情報Ｇ１の重要度よりも第２の画像情報Ｇ２の重要度の方が低いものとする。

テーブル３１２には、第１の画像情報Ｇ１の表示属性に要求有として設定されている要求と、第２の画像情報Ｇ２の表示属性に要求有として設定されている要求との関係に応じて選択される表示形式ＨＳが設定されている。例えば、第１の画像情報Ｇ１と第２の画像情報Ｇ２とに「第１の要求」が「有る」場合、第１の画像情報Ｇ１には「第１の形式」が選択され、第２の画像情報Ｇ２には「第２の形式」が選択される。なおここでは、「第１の形式」を選択できない場合、「第２の形式」を選択するものとしている。第１の画像情報Ｇ１に「第１の要求」が「有り」、第２の画像情報Ｇ２に要求が「無い」場合、第１の画像情報Ｇ１には「第１の形式」が選択され、第２の画像情報Ｇ２には「標準」が選択される。なお、テーブル３１２に設定されている表示形式ＨＳは、表示装置４０に表示される他の画像の種類や、音や音声、車両１０の走行環境などによって変更されてもよい。

また、第１の画像情報Ｇ１に「第２の要求」が「有り」、第２の画像情報Ｇ２に「第１の要求」が「有る」場合、第１の画像情報Ｇ１には「第２の形式」が選択され、第２の画像情報Ｇ２には「第１の形式」が選択される。第１の画像情報Ｇ１に「第２の要求」が「有り」、第２の画像情報Ｇ２に要求が「無い」場合、第１の画像情報Ｇ１には「第２の形式」が選択され、第２の画像情報Ｇ２には「標準」が選択される。

さらに、第１の画像情報Ｇ１に「第３の要求」が「有り」、第２の画像情報Ｇ２に「第１の要求」が「有る」場合、第１の画像情報Ｇ１には「第３の形式」が選択され、第２の画像情報Ｇ２には「第１の形式」が選択される。第１の画像情報Ｇ１に「第３の要求」が「有り」、第２の画像情報Ｇ２に要求が「無い」場合、第１の画像情報Ｇ１には「第３の形式」が選択され、第２の画像情報Ｇ２には「標準」が選択される。

そこで、表示制御部１６がテーブル３１２に基づいて、２つの画像情報Ｇ１，Ｇ２にそれぞれ表示形式ＨＳを選択する動作について説明する。
表示制御部１６は、２つの第１及び第２の画像情報Ｇ１，Ｇ２が入力されると、各画像情報Ｇ１，Ｇ２の表示属性から第１〜第３の要求の有無を取得するとともに、取得された要求の組み合わせをテーブル３１２に照合して、対応する組み合わせに指定されている表示形式ＨＳを取得する。例えば、第１の画像情報Ｇ１に「第２の要求」が「有り」、第２の画像情報Ｇ２に「第１の要求」が「有る」場合、その組み合わせに指定されている、第１の画像情報Ｇ１用に「第２の形式」を、第２の画像情報Ｇ２用に「第１の形式」を取得する。つまり、表示制御部１６は、第１の画像情報Ｇ１には表示形式ＨＳとして「第２の形式」を選択し、第２の画像情報Ｇ２には表示形式ＨＳとして「第１の形式」を選択する。そして、情報出力装置１７には、第１の画像情報Ｇ１とその表示形式ＨＳとして「第２の形式」が伝達され、第２の画像情報Ｇ２とその表示形式ＨＳ「第１の形式」が伝達される。これにより、情報出力装置１７の表示装置４０には、第１の画像情報Ｇ１が「第２の形式」で表示され、第２の画像情報Ｇ２が「第１の形式」で表示される。

以上説明したように、本実施形態の画像表示装置によれば、先の第１の実施形態で記載した効果（１）〜（３）に加え、以下に列記するような効果が得られるようになる。
（４）このような構成によれば、同時期に複数の画像情報Ｇ１，Ｇ２を表示するような場合であれ、各画像情報Ｇ１，Ｇ２に、その表示属性に基づいて適切な表示形式ＨＳを選択することができるようになる。これにより、複数の画像情報Ｇ１，Ｇ２であれ適切な表示形式で表示することができるようになる。

（その他の実施形態）
なお上記各実施形態は、以下の態様で実施することもできる。
・上記第２の実施形態では、テーブル３１２には、第１の画像情報の第１〜第３の要求はいずれも「有り」、第２の画像情報の第１の要求は「有り」、第２及び第３の要求はいずれも「無し」である組み合わせについて、第１の画像情報に対する表示形式と第２の画像情報に対する表示形式とが設定されている場合について例示した。しかしこれに限らず、第１の画像情報の第１〜第３の要求の有無のその他の組み合わせと、第２の画像情報の第１〜第３の要求の有無のその他の組み合わせとに対して第１の画像情報の表示形式と第２の画像情報の表示形式とが設定されていてもよい。これにより、画像表示装置における利便性の向上が図られるようになる。

・上記第２の実施形態では、第１の画像情報と第２の画像情報とのそれぞれの表示形式を設定している場合について例示した。しかしこれにかぎらず、表示形式は、３つ以上の画像情報に対して設定されていてもよい。これにより、画像表示装置における利便性の向上が図られるようになる。

・上記第１の実施形態では、第１〜第３の要求が、第１〜第３の形式に対応付けられる場合について例示した。しかしこれに限らず、第１〜第３の要求には、その他の表示形式が対応付けられてもよい。例えば、第１の要求に対応する表示形式には「点滅部分」が含まれてもよいし、第２の要求に対応する表示形式には「中央表示」や「色のコントラストの差が大きい」が含まれてもよいし、第３の要求に対応する表示形式には「特定のマークが付されている」が含まれてもよい。これにより、画像表示装置における利便性の向上が図られるようになる。

・上記各実施形態では、表示形式に含まれる表示位置のパラメータについて例示した。しかしこれに限らず、表示形式には、表示位置以外のパラメータが含まれていてもよい。
図１２のテーブル３１３に示すように、表示形式に含まれるパラメータには、表示位置の他に、表示の大きさや、表示の色、警告マーク、点滅などが含まれてもよい。例えば、第１の形式のパラメータは、表示位置が「画面中央」、表示の大きさが「大きい」、表示の色が「黄色」、警告マーク「有り」、点滅「有り」であってもよい。また、第２の形式のパラメータは、表示位置が「画面右」、表示の大きさが「中ぐらい」、表示の色が「赤色」、警告マーク「有り」、点滅「無し」であってもよい。さらに、第３の形式のパラメータは、表示位置が「画面右下」、表示の大きさが「小さい」、表示の色が「青色」、警告マーク「有り」、点滅「無し」であってもよい。また、これ以外のパラメータとして、動きなどが含まれてもよい。

このように、パラメータの種類が多くなれば、パラメータの組み合わせに応じてユーザの認識属性を細かく設定することができるようになる。換言すれば、細かく分類されたユーザの認識属性に基づいて、画像情報の表示属性をユーザに認識させたい態様により適合するように設定することができるようになる。これにより、画像情報の表示形式をユーザにとって適切な形式にすることができるようになる。

・上記各実施形態では、図２に示したように、表示属性に設定されている要求性は、ユーザに認識させたい態様である場合について例示した。しかしこれに限らず、表示属性には、ユーザに認識させたい態様以外が設定されていてもよい。例えば、画像情報に要求性として、緊急性や、重大性、安全性などを付与してもよい。このとき、こうして付与された緊急性や、重大性、安全性などは、その緊急性や、重大性、安全性をユーザに伝達することのできる表示形式によって画像が表示されることとなる。つまり、緊急性や、重大性、安全性は、ユーザに認識させたい認識態様を介して表示形式に関連付けられる。

図１３のテーブル３０２に示すように、画像情報の表示属性に含まれる要求が、「緊急性」、「重大性」、又は「安全性」であるとき、それぞれに関連する表示形式を設定することができる。「緊急性」は、「最初に見る」という表示形式に関連付けてよいし、「重大性」は、「見る時間が長い」という表示形式に関連付けてもよいし、「安全性」は、「見逃さない」という表示形式に関連付けてもよい。

これにより、表示属性には、表示形式に直接関係しない属性を設定することができる。しかしながら、表示属性に含まれる「緊急性」、「安全性」及び「重大性」などは、ユーザに認識させたい態様、つまり認識属性に関連することから、認識属性を介して表示形式に関連付けることができる。つまり、表示属性に含めることのできる項目の自由度が高められる。

これにより、画像表示装置の適用可能性や構成自由度の向上が図られるようになる。
・上記各実施形態では、表示属性には、表示させたい態様が設定されている場合について例示した。しかしこれに限らず、表示属性には、画像情報の表示に適用したくない表示形式の態様を除外事項として設定してもよい。

図１４のテーブル３０３に示すように、除外事項として「点滅」の可／不可や、「赤色」の可／不可などか設定されていてもよい。
これにより、画像情報の表示として好ましくないことなどから、除外されている表示形式を除いて画像情報が表示されるようになる。そして、画像表示装置における表示形式がより適切になされるようになることから、画像表示装置の適用可能性の向上が図られるようになる。

・上記各実施形態では、表示属性には各要求性の有無が設定されている場合について例示した。しかしこれに限らず、要求性には、有無だけに限らず、優先度が設定されていてもよい。また、優先度に応じて表示形式の内容が相違するかたちで設定されてもよい。

図１５のテーブル３０４に示すように、例えば、要求性の内容にそれぞれ優先度を設定してもよい。要求性の内容としての「最初に見る」には、優先度「１」〜「５」を設定してもよい。また、「見る時間が長い」には、優先度「１」〜「５」を設定してもよい。さらに、「見逃さない」には、優先度「１」〜「５」を設定してもよい。優先度「１」〜「５」は、優先度が高いものを「１」とし、優先度が低いものを「５」としてよい。

図１６のテーブル３１４に示すように、第１の形式が優先度「１」のとき、表示位置が「画面中央」、「警告マーク」付きであり、優先度「２」のとき、表示位置が「画面中央」、表示色が「赤色」であり、優先度「３」のとき、表示位置が「画面中央」、表示色が「黄色」である表示形式であってもよい。また、第２の形式が優先度「１」のとき、表示位置が「画面左」、表示色が「青色」であり、優先度「２」のとき、表示位置が「画面左」、表示色が「標準色」であり、優先度「３」のとき、表示位置が「画面中央」、表示色が「標準色」であってもよい。さらに、第３の形式が優先度「１」のとき、表示位置が「画面右下」、表示色が「点滅」であり、優先度「２」のとき、表示位置が「画面右下」、表示色が「警告マーク」であり、優先度「３」のとき、表示位置が「画面中央」、表示色が「短文」であってもよい。

これにより、表示属性の優先度の高い表示情報から表示形式が優先的に選択されるようになるため、優先度の高い表示情報により適切な表示形式が適用されるようになる。つまり優先度の高い表示情報のユーザへの伝達可能性が向上する。また、優先度の高い画像の表示形式が、画像の表示属性から求められる優先度の高さに応じて選択される。そして、優先度の高い表示属性を有する画像情報が、優先度の高い画像形式にて表示されるようになり、表示内容がユーザに的確に伝達されることが期待される。

つまり、要求性の内容をより詳細に管理することが可能になり、画像情報をより適切な表示形式で表示させることができるようになるため、画像表示装置として、設計自由度の向上が図られるようになる。

・上記各実施形態では、表示属性は特定の１つの表示形式ＨＳに対応する場合について例示した。しかしこれに限らず、表示属性は、その表示属性の求める認識属性に対応する複数の表示形式に対応していてもよい。そして、それら複数の表示形式から、所定の順番や優先度等に対応付ける表示形式を選択してよい。

これにより、同時期に表示される複数の画像情報に対し、同じ認識情報が対応するような場合、それぞれの画像情報に、認識属性に対応付けられている複数の表示形式から異なる表示形式を選択することができる。そして、同時期に同じ表示属性を有する画像情報が表示されるとしても、それら画像情報の表示形式を変え、識別を容易にすることができる。

・上記各実施形態では、表示装置４０は１台、つまり画面が１つである場合について例示した。しかしこれに限らず、表示装置（画面）は、複数あってもよい。また、表示装置が複数の場合、使用する表示装置を表示形式で指定するようにしてもよい。

図１７のテーブル３１５に示すように、例えば、２台の表示装置が、メインモニタとサブモニタとして設けられている場合、第１の形式波、表示位置を「画面中央」とし、表示先を「メインモニタ」と「サブモニタ」としてもよい。また、第２の形式は、表示位置を「画面右」とし、表示先を「メインモニタ」のみとしてもよい。さらに、第３の形式は、表示位置を「画面右下」とし、表示先を「サブモニタ」のみとしてもよい。

・上記各実施形態では、車両１０に第１及び第２の車両制御装置１１，１２の２つの車両制御装置が設けられる場合について例示したが、これに限らず、車両１０には、３つ以上の車両制御装置が設けられてもよいし、機能が統合された１つの車両制御装置が設けられていてもよい。これにより、画像表示装置の構成自由度の向上が図られる。

・上記各実施形態では、車両１０に第１及び第２の運転支援装置１３，１４の２つの運転支援装置が設けられる場合について例示したが、これに限らず、車両１０には、３つ以上の運転支援装置が設けられてもよいし、機能が統合された１つの運転支援装置が設けられていてもよい。これにより、画像表示装置の構成自由度の向上が図られる。

・上記各実施形態では、第１及び第２の車両制御装置１１，１２や、第１及び第２の運転支援装置１３，１４は車両１０に搭載されている場合について例示したが、車両制御装置や運転支援装置はその機能の全部もしくは一部が車両に搭載されていなくてもよい。例えば、機能の一部が、車両外のセンタに設けられていたり、携帯可能な情報処理装置に設けられていたりしてもよい。特に、運転支援装置の機能は、その全部をスマートフォンなどの携帯可能な情報処理装置に設けることも可能である。また、学習機能がセンタに設けられている場合、複数のユーザの情報に基づいて、認識属性と表示形式との関連性を学習することができたり、他のユーザの学習結果を採用したりすることができる。これにより、画像表示装置の構成自由度の向上が図られる。

・上記各実施形態では、情報調停部１５に表示制御部１６が通信可能に接続される場合について例示したが、通信可能な接続は、有線通信でもよいし、無線通信でもよい。また、車両１０におけるその他の装置間の通信可能な接続についても、有線通信でもよいし、無線通信でもよい。例えば、有線通信は、専用線による通信でもよいし、車両用ネットワークによる通信でもよい。これにより、画像表示装置の構成自由度の向上が図られる。

・上記各実施形態では、画像表示装置は、情報調停部１５、表示制御部１６、情報出力装置１７及び視点検出装置１８から構成される場合について例示したが、画像表示装置は、表示制御部１６と情報出力装置１７とを含んでいればよい。

また、画像表示装置の表示制御部１６には、少なくとも表示形式択部３０と表示形式リスト３１とが含まれていればよい。表示形式択部３０及び表示形式リスト３１のみであっても、表示制御部１６は、表示形式択部３０が表示形式リスト３１から画像属性に適した表示形式を選択することができる。

さらに、画像表示装置の情報出力装置１７には、少なくとも表示装置４０が含まれていればよい。表示装置４０のみであっても、情報出力装置１７は、指定された表示形式で画像情報を表示することができる。これにより、画像表示装置の構成自由度の向上や適用範囲の拡大が図られる。

・上記各実施形態では、画像表示装置が車両に用いられている場合について例示した。しかしこれに限らず、画像表示装置は車両以外の移動体、例えば鉄道や船舶、航空機などに用いられてもよい。これにより、画像表示装置の適用範囲の拡大が図られるようになる。

１０…車両、１１…第１の車両制御装置、１２…第２の車両制御装置、１３…第１の運転支援装置、１４…第２の運転支援装置、１５…情報調停部、１６…表示制御部、１７…情報出力装置、１８…視点検出装置、２０…情報出力部、２１…要求性付与部、２２…テーブル、３０…表示形式択部、３１…表示形式リスト、３２…リスト管理部、３３…視点学習部、３４…ユーザ特定部、４０…表示装置、４１…音声装置、５０…目、５１…視点、３０１〜３０４…テーブル、３１０〜３１５…テーブル、４０１〜４０３…エリア、Ｇ１…第１の画像情報、Ｇ２…第２の画像情報、ＨＳ…表示形式、ＨＳ１…第１の形式、ＨＳ２…第２の形式、ＨＳ３…第３の形式、Ｊ１〜Ｊ４…画像情報、Ｌ１，Ｌ２…視線。

Claims (9)

1. 画像情報を画面に表示させる画像表示装置であって、
   ユーザにどのように認識させたいかその指標を示す属性である表示属性が付与された状態で前記画面に表示させる画像情報が記憶される第１の記憶部と、
   画面上でのユーザの視線の移動の検知に基づいて推定されるユーザによる画像の認識態様を示す属性である認識属性が前記画面に表示されている画像の表示形式に対応付けされて記憶される第２の記憶部と、
   前記表示属性と前記認識属性との関連性に基づいて前記画面に表示させる画像情報の表示形式を選択し、この選択した表示形式にて前記画像情報を前記画面に表示制御する表示制御部と、
   画面上でのユーザの視線の移動を検出する視点検出装置と、
   前記視点検出装置により検出されたユーザの視線の画面上における移動に基づいて前記認識属性を推定する認識属性推定部と、
   前記検出されたユーザの視線の画面上の移動位置にある画像の表示形式と前記推定された認識属性とを対応付けする表示形式処理部とを備え、
   前記第２の記憶部には、前記認識属性推定部により推定され、前記表示形式処理部にて対応する表示形式に対応付けされた認識属性が記憶される
   ことを特徴とする画像表示装置。
2. 前記認識属性推定部が推定した認識属性に対応付けされた表示形式と、前記第２の記憶部に記憶されている同一の認識属性に対応付けされている表示形式とが相違することを条件に、前記第２の記憶部に前記認識属性と対応付けされて記憶されている表示形式を前記推定された認識属性に対応付けされた表示形式に置き換える学習部を更に備える
   請求項１に記載の画像表示装置。
3. 前記第１の記憶部には、複数の画像情報がそれぞれの表示属性とともに記憶され、
   前記第２の記憶部には、複数の認識属性がそれぞれ対応する画像の表示形式に対応付けされて記憶されており、
   前記表示制御部は、複数の画像情報の表示属性のそれぞれに対して前記複数の認識属性のうちから最も関連性の高い認識属性に対応する表示形式を選択する
   請求項１又は２に記載の画像表示装置。
4. 前記第２の記憶部には、１つの認識属性に対して複数の異なる画像の表示形式が対応付けられており、
   前記表示制御部は、同時期に複数の表示属性が同じ認識属性に関連性を有すると判断されるとき、それぞれの表示属性に対して各異なる表示形式を選択する
   請求項１〜３のいずれか一項に記載の画像表示装置。
5. 前記第２の記憶部に記憶されている１つの認識属性には、複数の異なる画像の表示形式が各異なる優先度を有して設定されており、
   前記表示制御部は、同時期に複数の表示属性が同じ認識属性に関連性を有すると判断されるとき、前記画像の表示属性に基づいて求められる優先度の順に、前記画像の表示形式をその優先度の順に選択する
   請求項４に記載の画像表示装置。
6. 前記表示属性には、除外する表示形式が含まれ、
   前記表示制御部は、表示属性に対応する表示形式として前記除外する表示形式が含まれない表示形式を優先的に選択する
   請求項１〜５のいずれか一項に記載の画像表示装置。
7. 前記表示属性には、「緊急性」、「安全性」、及び「重大性」に関する属性のうち少なくとも２つの属性が含まれる
   請求項１〜６のいずれか一項に記載の画像表示装置。
8. 前記表示属性には、優先度が設定されており、
   前記表示制御部は、前記優先度が高い表示属性を有する画像情報から優先的に前記表示形式を選択する
   請求項１〜７のいずれか一項に記載の画像表示装置。
9. 画像情報を画面に表示させる画像表示装置で実行される画像表示方法であって、
   前記画像表示装置が、
   ユーザにどのように認識させたいかその指標を示す属性である表示属性が付与された状態で前記画面に表示させる画像情報を第１の記憶部に記憶させる第１の記憶工程と、
   画面上でのユーザの視線の移動の検知に基づいて推定されるユーザによる画像の認識態様を示す属性である認識属性を前記画面に表示されている画像の表示形式に対応付けて第２の記憶部に記憶させる第２の記憶工程と、
   表示制御部で、前記表示属性と前記認識属性との関連性に基づいて前記画面に表示させる画像情報の表示形式を選択し、この選択した表示形式にて前記画像情報を前記画面に表示制御する工程と、
   視点検出装置で、画面上でのユーザの視線の移動を検出する工程と、
   認識属性推定部で、前記ユーザの視線の移動を検出する工程により検出されたユーザの視線の画面上における移動に基づいて前記認識属性を推定する推定工程と、
   表示形式処理部で、前記検出されたユーザの視線の画面上の移動位置にある画像の表示形式と前記推定された認識属性とを対応付ける対応付け工程とを実行し、
   前記第２の記憶工程では、前記推定工程により推定され、前記対応付け工程にて対応する表示形式に対応付けされた認識属性が記憶される
   ことを特徴とする画像表示方法。

Images