JP7596192B2 - 表示装置、表示システム、及び、表示制御方法 - Google Patents

Description

本発明は、表示装置、表示システム、及び、表示装置の制御方法に関する。

従来、表示画面を注視するユーザの視線に合わせて、表示を変化させる技術が知られている。例えば、特許文献１には、タッチスクリーンディスプレイを有するコンピューティングデバイスが、ユーザの視線を追跡することによってユーザが見ている場所を判断し、ユーザが見ている場所の近傍に表示される画像を大きくする構成を開示している。

特開２０１５－９７１２３号公報

特許文献１の構成では、ユーザが表示の変更を望んでいるか否かに関わらず、ユーザの視線がディスプレイを向いたときに表示が変更されてしまうという課題があった。
本発明はかかる背景に鑑みてなされたものであり、表示装置を見るユーザの希望に対応して、表示装置による表示をユーザの視線に応じて制御することを目的とする。

上記目的を達成するための第１態様として、表示領域に表示を行う表示部と、前記表示部によって前記表示領域に表示を行わせる表示制御部と、を備え、前記表示制御部は、ユーザの視線の移動を推定する視線推定部から推定結果として、前記ユーザの視線が移動すると推定される経路を示す予測経路、および、前記ユーザの視線の移動の目標位置を示す視点予測位置、の少なくともいずれかを取得し、前記ユーザが運転する車両の状態、及び前記車両の外部要因に関するデータに基づいて、表示する情報の内容を指示するためのシンボルを前記表示領域に表示させることが適切か否かを判定し、前記シンボルを前記表示領域に表示させることが適切であると判定した場合に、前記シンボルを前記表示領域に表示させた状態で、前記推定結果に基づいて、前記視点予測位置が前記表示領域に重なる位置にあるとき、及び、前記予測経路が前記表示領域に重なるとき、の少なくとも一方を満たす場合に、前記ユーザがいずれかの前記シンボルを注視しようとしていると推定し、前記ユーザが前記シンボルのいずれかを注視しようとしていると推定した場合、前記ユーザが注視すると推定される前記シンボルの表示態様を変更する、表示装置が挙げられる。

上記表示装置において、前記表示領域は、前記ユーザが運転する車両において、前記車両の運転席の前方に配置され、前記表示制御部は、前記推定結果に基づいて、前記ユーザが前記表示領域よりも前方を注視しているか否かを判定し、前記ユーザが前記表示領域よりも前方を注視していないと判定した場合、前記ユーザが注視すると推定される前記シンボルの表示態様を変更する構成としてもよい。

上記表示装置において、前記表示領域は、前記ユーザが運転する車両において、前記車両の運転席の前方に配置され、前記表示制御部は、前記推定結果に基づいて、前記ユーザが前記表示領域よりも前方を注視しているか否かを判定し、前記ユーザが前記表示領域よりも前方を注視していると判定した場合に、前記表示領域に表示されている前記シンボルの表示位置を、前記ユーザの視線を避ける方向に移動させる構成としてもよい。

上記表示装置において、前記シンボルは、前記車両の状態を示す情報の表示を指示するアイコンであり、前記表示制御部は、前記ユーザが前記シンボルのいずれかを注視しようとしていると推定した場合、前記ユーザが注視すると推定される前記シンボルの表示態様を、前記シンボルに対応付けられた情報の表示に切り替える構成としてもよい。

上記表示装置において、前記車両の状態に関する車両情報が入力されるインターフェイスを備え、前記表示制御部は、前記車両情報と前記推定結果とに基づいて、前記ユーザが前記シンボルのいずれかを注視しようとしているか否かを推定する構成としてもよい。

上記表示装置において、前記表示制御部は、前記表示領域に前記シンボルを表示させない第１表示状態と、前記シンボルを表示させる第２表示状態と、前記シンボルの表示態様を変化させた第３表示状態と、を切り替え可能であり、前記第１表示状態において、前記ユーザが前記シンボルのいずれかを注視しようとしていると推定した場合であって、前記ユーザの視線が前記表示領域に重なる状態となった場合に、前記第２表示状態への切り替えを行い、前記第２表示状態において、前記表示領域において前記ユーザの視線に重なる位置が、前記ユーザが注視しようとしている前記シンボルに対して所定範囲内となった場合に、前記第３表示状態への切り替えを行う構成としてもよい。

上記目的を達成するための第２態様として、表示領域に表示を行う表示部と、前記表示部によって、前記表示領域に情報させる表示制御部と、ユーザの視線の移動を推定する視線推定部と、を備え、前記表示制御部は、前記視線推定部から推定結果として、前記ユーザの視線が移動すると推定される経路を示す予測経路、および、前記ユーザの視線の移動の目標位置を示す視点予測位置、の少なくともいずれかを取得し、前記ユーザが運転する車両の状態、及び前記車両の外部要因に関するデータに基づいて、表示する情報の内容を指示するためのシンボルを前記表示領域に表示させることが適切か否かを判定し、前記シンボルを前記表示領域に表示させることが適切であると判定した場合に、前記シンボルを前記表示領域に表示させた状態で、前記推定結果に基づいて、前記視点予測位置が前記表示領域に重なる位置にあるとき、及び、前記予測経路が前記表示領域に重なるとき、の少なくとも一方を満たす場合に、前記ユーザがいずれかの前記シンボルを注視しようとしていると推定し、前記ユーザが前記シンボルのいずれかを注視しようとしていると推定した場合、前記ユーザが注視すると推定される前記シンボルの表示態様を変更する、表示システムが挙げられる。

上記目的を達成するための第３態様として、表示領域に表示を行う表示制御方法であって、ユーザの視線の移動を推定する視線推定部から推定結果として、前記ユーザの視線が移動すると推定される経路を示す予測経路、および、前記ユーザの視線の移動の目標位置を示す視点予測位置、の少なくともいずれかを取得し、前記ユーザが運転する車両の状態、及び前記車両の外部要因に関するデータに基づいて、表示する情報の内容を指示するためのシンボルを前記表示領域に表示させることが適切か否かを判定し、前記シンボルを前記表示領域に表示させることが適切であると判定した場合に、前記シンボルを前記表示領域に表示させた状態で、前記推定結果に基づいて、前記視点予測位置が前記表示領域に重なる位置にあるとき、及び、前記予測経路が前記表示領域に重なるとき、の少なくとも一方を満たす場合に、前記ユーザがいずれかの前記シンボルを注視しようとしていると推定し、前記ユーザが前記シンボルのいずれかを注視しようとしていると推定した場合、前記ユーザが注視すると推定される前記シンボルの表示態様を変更する、表示制御方法が挙げられる。

上記構成によれば、表示装置による表示を、ユーザの求めに応じて、ユーザの視線に対応して変化させることができる。

表示システムのブロック図。 車両における表示システムの配置を示す概略図。 視線の移動を推測する動作の説明図。 表示システムの動作を示すフローチャート。 表示装置による表示の例を示す図。 表示装置による表示の例を示す図。 表示装置による表示の例を示す図。 表示装置による表示の例を示す図。 表示装置による表示の例を示す図。

［１．表示システムの構成］
図１は、本発明の一実施形態に係る表示システム１の概略構成図である。
表示システム１は、表示領域２に画像等を表示する表示装置１０と、視線推定部２０とを備える。

視線推定部２０は、表示システム１のユーザの視線を検出し、視線の移動を推定する装置である。視線推定部２０には、ユーザの視線を検出する視線検出デバイスが接続される。図１及び以下の説明では、視線検出デバイスとしてカメラ２５を視線推定部２０に接続する例を示す。視線検出デバイスはカメラ２５に限定されず、例えば、公知の視線センサを用いることができる。視線センサとしては、ユーザの眼に赤外光を照射し、眼で反射した赤外光を検出することによって眼の方向や動きを検出する装置等が挙げられる。視線検出デバイスは、ユーザの視線を検出した検出データを視線推定部２０に出力する。本実施形態のカメラ２５は、固定または可変のフレームレートで撮影を実行し、撮影画像データを視線推定部２０に出力する。カメラ２５が出力する撮影画像データは、ユーザの視線を検出した検出データの一例である。視線推定部２０は、例えば、不図示のコネクタ及びケーブルを介してカメラ２５に接続される。カメラ２５が視線推定部２０に無線接続される構成であってもよい。

視線推定部２０は、情報取得部２１、及び、解析部２２を備える。
情報取得部２１は、カメラ２５から入力される撮影画像データを取得する。情報取得部２１は、カメラ２５から取得した撮影画像データを解析することによって、ユーザの視線方向を求めることにより、撮影画像データの各フレームにおける表示領域２上のユーザの視線位置（例えば、図３に示す視線位置Ｐ１～Ｐ４）を特定する。例えば、情報取得部２１は、カメラ２５から入力される撮影画像データから、ユーザの顔の画像、および／またはユーザの眼の画像を抽出し、抽出した画像をもとにユーザの視線方向を検出する。
解析部２２は、情報取得部２１が各フレームから検出した視線方向のデータを取得し、ユーザの視線方向の将来の移動先や移動方向、移動速度等の推定結果Ｒを生成する。解析部２２は、推定に必要な過去の視線位置、すなわち過去に撮影されたフレームから検出された視線位置（例えば、図３に示す視線位置Ｐ１～Ｐ４）の履歴を保持する機能を有する。推定結果Ｒは、過去の１または複数のフレームから検出された視線位置と、将来のフレームから検出されると推定される視線位置との関係を示す。解析部２２が生成する推定結果Ｒは、例えば、表示装置１０が表示するＧＵＩの１フレームと、１対１で対応する情報を過不足なく含んでいる。解析部２２は、推定結果Ｒを表示装置１０に出力する。

視線推定部２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、マイクロコントローラ等のプロセッサを備え、プロセッサによってプログラムを実行することにより、情報取得部２１及び解析部２２の機能を実現するものであってもよい。この場合、視線推定部２０は、プログラムを記憶する記憶デバイスを備える構成であってもよい。視線推定部２０は、上記機能を実行するようプログラムされたハードウェアであってもよい。情報取得部２１は、例えば、オープンソースのライブラリを用いて構成されたソフトウェアや、ディープラーニングを用いた推定モデルを用いて構成することができる。また、表示システム１がカメラ２５に代えて公知の視線センサを備える場合、情報取得部２１を、例えば視線センサのデバイスドライバープログラムを用いて構成することができる。

表示装置１０は、インターフェイス（Ｉ／Ｆ）１１、表示制御部１２、及び、投影部１５を備える。
インターフェイス１１は、視線推定部２０を含む外部の装置を表示装置１０に接続する接続部である。インターフェイス１１は、例えば、ケーブルが接続されるコネクタ、及び、通信回路を有するデータ通信装置である。

表示装置１０は、文字や画像を表示する表示部として、投影部１５を備える。投影部１５は、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の光源、光源が発する光を画像光に変換する変換部、及び、画像光を表示領域２に投影する光学系を備える。投影部１５は、光学系によって表示領域２に像を結ばせて、ユーザに視認させる。

表示装置１０が備える表示部は、画像光を投影する投影部１５に限定されない。表示装置１０は、例えば、透過型の液晶ディスプレイパネル、反射型液晶ディスプレイパネル、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネル等の表示パネルに表示を行う構成であってもよい。

表示制御部１２は、視線推定部２０からインターフェイス１１に入力される推定結果Ｒに基づいて、投影部１５によって表示する内容を生成する。

表示制御部１２は、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）生成部１３及び描画処理部１４を備える。ＧＵＩ生成部１３は、表示装置１０を操作するための操作用のシンボルであるアイコンを表示させるためのデータを生成する。ＧＵＩ生成部１３が生成するデータは、例えば、投影部１５によって表示するアイコンの種類、アイコンの表示サイズ、及び、アイコンの表示位置を指定するデータを含む。描画処理部１４は、ＧＵＩ生成部１３が生成したデータに基づいて、投影部１５によって表示する画面を描画する。描画処理部１４は、投影部１５により表示する画面の表示データを投影部１５に出力する。投影部１５は、描画処理部１４から入力される表示データをもとに表示を実行する。

表示制御部１２は、例えばプロセッサを備え、プロセッサによってプログラムを実行することにより、ＧＵＩ生成部１３及び描画処理部１４の機能を実現するものであってもよい。この場合、表示制御部１２は、プログラムを記憶する記憶デバイスを備える構成であってもよい。また、表示制御部１２は、上記機能を実行するようプログラムされたハードウェアであってもよい。

本実施形態では、表示システム１が、車両に搭載された構成を例示する。
図２は、車両における表示システム１の配置を示す概略図であり、車両に人が乗車する車室空間の概観を示す。

図２に示す構成では、シート５１の前方に表示領域２が配置される。シート５１は、ステアリングホイール５２が設置された座席、すなわち、車両の運転者が着座する座席である。この構成において、表示領域２を視認するユーザは、車両の運転者である。

表示領域２は、例えば、車両のダッシュボード４に立設された合成樹脂製のパネルであり、透光性を有する。また、車両のフロントガラス３の一部が表示領域２として利用されてもよい。ユーザは、表示領域２を透過して車両の外景を視認できる。
投影部１５は、ダッシュボード４に、表示領域２を向くように設置される。

以下の説明では、フロントガラス３の一部を表示領域２として利用する構成を例に挙げて説明する。

カメラ２５は、例えば、ダッシュボード４に、シート５１を向いて設置される。カメラ２５は、シート５１に着座するユーザの視線を検出する。
図２中の符号５３は、車両に搭載されるカーナビゲーションシステムやディスプレイオーディオの表示画面である。符号５４は、車両のルームミラーである。図２に示す例では、カメラ２５は表示画面５３の上方に配置される。このため、ユーザが表示領域２を見るとき、表示画面５３を見るとき、及び、ルームミラー５４を見るときのユーザの視線を検出できる。

図３は、視線推定部２０が視線の移動を推測する動作の説明図である。
情報取得部２１は、カメラ２５の撮影画像データをもとに、ユーザの視線の方向を特定し、視線位置Ｐを求める。視線位置Ｐは、表示領域２を含む面とユーザの視線とが交差する点である。

情報取得部２１は、撮影画像データから視線位置Ｐを求める。情報取得部２１は、撮影時刻が異なる複数フレームの撮影画像データのそれぞれをもとに視線位置Ｐを求める。すなわち、情報取得部２１は、撮影画像データの１フレームから視線位置Ｐ１を求め、次に撮影されたフレームから視線位置Ｐ２を求める。同様に、情報取得部２１は、視線位置Ｐ３、Ｐ４を求める。情報取得部２１は、撮影時刻が異なる複数のフレームから求められた複数の視線位置Ｐをもとに、視線の軌跡Ｔｒを求めてもよい。この場合、情報取得部２１が解析部２２に出力するデータは視線位置Ｐ及び軌跡Ｔｒを含んでもよい。

解析部２２は、情報取得部２１が求めた視線位置Ｐ１～Ｐ４に基づき、予測経路Ｔｆを推定する。解析部２２は、視線位置Ｐ、および／または、視線の軌跡Ｔｒを利用して、予測経路Ｔｆを推定する。予測経路Ｔｆは、軌跡Ｔｒに続いてユーザの視線が移動すると推定される経路であり、ユーザの視線の移動方向の推定結果ということができる。

解析部２２は、予測経路Ｔｆとともに、或いは、予測経路Ｔｆの代わりに、視点予測位置Ｑを求める。視点予測位置Ｑは、ユーザの視線の移動の目標位置あるいは到達位置を推定した結果であり、ユーザの視線の移動先ということができる。

解析部２２は、ユーザの視線の移動速度を推定し、移動速度を推定した結果を含む推定結果Ｒを出力してもよい。例えば、解析部２２は、カメラ２５の撮影周期と、視線位置Ｐ１、Ｐ２…の位置とをもとに、過去の視線位置Ｐの移動速度を算出する。ここで、解析部２２は、視線位置Ｐ１と視線位置Ｐ４との距離に基づいて、視線位置Ｐ１～Ｐ４の平均の移動速度を算出してもよい。また、解析部２２は、視線位置Ｐ１と視線位置Ｐ２との距離に基づき視線位置Ｐ１～Ｐ２における移動速度を算出し、同様に、視線位置Ｐ２～Ｐ３における移動速度、視線位置Ｐ３～Ｐ４における移動速度をそれぞれ算出してもよい。この場合、解析部２２は、算出した移動速度の平均、或いは、移動速度の変化を加味した移動速度を算出してもよい。解析部２２は、これらの手法によって算出した視線位置Ｐの移動速度を、ユーザの視線の移動速度の推定値として、推定結果Ｒに含めることができる。

情報取得部２１は、カメラ２５から撮影画像データのフレームが入力される毎に、入力されたフレームから視線位置Ｐを求める処理を実行してもよい。この例において、解析部２２は、情報取得部２１が視線位置Ｐを求める毎に、新たに求められた視線位置Ｐと、過去のフレームから求められた視線位置Ｐとをもとに、予測経路Ｔｆおよび／または視点予測位置Ｑを推定してもよい。視線推定部２０は、予測経路Ｔｆおよび／または視点予測位置Ｑを推定する毎に、推定結果Ｒを表示装置１０に出力する。推定結果Ｒは、予測経路Ｔｆおよび視点予測位置Ｑの少なくともいずれかを含む。

表示制御部１２は、推定結果Ｒに基づいて、表示領域２に表示するアイコンのサイズ、及び、配置を決定する。
表示領域２には、アイコンが表示される初期位置として、アイコン領域Ａ１、Ａ２、Ａ３、Ａ４が設定されている。表示制御部１２は、例えば、４つのアイコン領域Ａ１、Ａ２、Ａ３、Ａ４のそれぞれに１つずつ、アイコンを表示させる。

表示制御部１２は、推定結果Ｒに基づいて、ユーザが表示領域２を注視すると推定される場合に、表示領域２にアイコンを表示させる。さらに、表示制御部１２は、アイコン領域Ａ１～Ａ４のうち、ユーザが注視すると推定される領域のアイコンの表示サイズを変更する。例えば、図３に示す例では、視点予測位置Ｑがアイコン領域Ａ１にある。この場合、表示制御部１２は、ユーザがアイコン領域Ａ１を注視すると推定し、アイコン領域Ａ１に表示するアイコンの表示サイズを変更する。

図１に戻り、表示装置１０が備えるインターフェイス１１には、データＤが入力される。データＤは、視線推定部２０を除く、表示装置１０の外部の装置が出力するデータである。

例えば、インターフェイス１１に、表示システム１を搭載した車両が有するＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）を接続し、車両の動作に関するデータＤがＥＣＵから表示装置１０に入力される構成とすることができる。この場合、データＤは、車両に関連する車両情報ということができる。具体的には、データＤは、車両の速度、車両の操舵角、ウィンカー（ターンシグナルランプ）の点灯状態、パーキングブレーキの動作状態、シフトポジション、アクセル開度、フットブレーキの動作状態、ステアリングホイール５２の操作角、ステアリングホイール５２の操作トルク、燃料の残量等のいずれか１以上を含む。

データＤは、ステアリングホイール５２にユーザが手を触れているハンズオン状態と、ステアリングホイール５２にユーザが手を触れていないハンズオフ状態と、を示すデータを含んでもよい。データＤは、車両に搭載されたＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）が実行する、運転のアシスト機能または自動運転機能の動作状態を示すデータを含んでもよい。

また、車両が搭載するカーナビゲーションシステムをインターフェイス１１に接続することが可能である。この場合、データＤは、例えば、車両の目的地、経路、道路の規制情報、渋滞情報等を含むデータを含んでもよい。また、データＤは、カーナビゲーションシステムが取得する各種のデータを含んでもよく、例えば、車両の現在地の気象情報を含んでもよい。

［２．表示システムの動作］
図４は、表示システム１の動作を示すフローチャートであり、詳細には、ＧＵＩ生成部１３の動作を示す。図５、図６、図７及び図８は、表示装置１０による表示例を示す図である。これらの図を参照して、表示システム１の動作を説明する。

図４に示す処理は、視線推定部２０が１フレームの撮影画像データから生成した推定結果ＲをＧＵＩ生成部１３が取得し、ＧＵＩ生成部１３が１フレームのＧＵＩのデータを生成する処理である。換言すれば、ＧＵＩ生成部１３は、視線推定部２０から推定結果Ｒを取得する毎に、図４の動作を実行する。

ＧＵＩ生成部１３は、視線推定部２０から推定結果Ｒを取得し（ステップＳ１１）、取得した推定結果Ｒに基づいて、ユーザが表示領域２を注視する見込みがあるか否かを判定する（ステップＳ１２）。

ステップＳ１２で、ＧＵＩ生成部１３は、例えば、推定結果Ｒに含まれる視点予測位置Ｑの位置、或いは、予測経路Ｔｆをもとに判定を行う。すなわち、ＧＵＩ生成部１３は、視点予測位置Ｑが表示領域２に重なる位置にあるとき、及び、予測経路Ｔｆが表示領域２に重なるときに、ユーザが表示領域２を注視する見込みがあると判定する。

ステップＳ１２で、ＧＵＩ生成部１３は、推定結果Ｒに含まれる視線の移動速度をもとに判定を行ってもよい。具体的には、予測経路Ｔｆが表示領域２に重なる場合であって、ユーザの視線の移動速度をもとに所定時間内にユーザの視線が表示領域２に重なると推定される場合に、ＧＵＩ生成部１３は、ユーザが表示領域２を注視する見込みがあると判定する。

ステップＳ１２で、ＧＵＩ生成部１３は、例えば、ユーザが表示領域２よりも前方を注視しているか否かに基づき、ユーザが表示領域２を注視する見込みがあるか否かを判定してもよい。表示領域２よりも前方を注視することとは、具体的には、車両を運転中のユーザが、フロントガラス３の前方の外景を注視していることをいう。
ＧＵＩ生成部１３は、ユーザの視線が過去に所定時間以上、表示領域２の外に位置していた場合、或いは、ユーザの視線が表示領域２の外における特定の位置に偏っていた場合に、ユーザが表示領域２ではなく、表示領域２よりも前方を注視していると判定する。この場合、ＧＵＩ生成部１３は、ユーザが表示領域２を注視する見込みがないと判定する。

ユーザが表示領域２を注視する見込みがないと判定した場合（ステップＳ１２；ＮＯ）、ＧＵＩ生成部１３は、表示領域２にスタンバイ画面を表示するためのデータを生成する（ステップＳ１３）。スタンバイ画面は、表示領域２に何も表示しない状態の画面であってもよいし、スタンバイ状態にあることを示す文字や画像を含む画面であってもよい。ＧＵＩ生成部１３は、生成したデータを描画処理部１４に出力し（ステップＳ２３）、本処理を終了する。ＧＵＩ生成部１３が生成するデータに基づき、描画処理部１４はスタンバイ画面を描画する。これにより、投影部１５によって表示領域２にスタンバイ画面が表示される。表示領域２にスタンバイ画面が表示された状態は、第１表示状態の一例に対応する。

ユーザが表示領域２を注視する見込みがあると判定した場合（ステップＳ１２；ＹＥＳ）、ＧＵＩ生成部１３は、表示領域２に表示されるＧＵＩの生成を開始する（ステップＳ１４）。これにより、投影部１５が表示領域２に、ＧＵＩを表示する。ステップＳ１４で表示領域２に表示されるＧＵＩの例を、図５に示す。

図５は、表示領域２にＧＵＩを表示した状態を示している。この表示例では、表示領域２に４つのアイコンＳＡ、ＳＢ、ＳＣ、ＳＤが表示される。アイコンＳＡの表示位置はアイコン領域Ａ１（図３）である。アイコンＳＢ、ＳＣ、ＳＤの表示位置は、アイコン領域Ａ２、Ａ３、Ａ４である。ステップＳ１４で表示されたＧＵＩにおいて、アイコンＳＡ、ＳＢ、ＳＣ、ＳＤの表示サイズは同じサイズである。図５には、一例として、車両の速度の表示を指示するためのアイコンＳＡ、気象情報の表示を指示するためのアイコンＳＢ、車両の状態に関する情報の表示を指示するためのアイコンＳＣ、及び、道路の規制に関する情報の表示を指示するためのアイコンＳＤを示す。車両の状態に関する情報とは、例えば、車両の燃料の残量やバッテリーの残容量である。ＧＵＩに含まれるアイコンの数、種類、及び、アイコンに対応付けられる情報や機能は任意に変更可能である。
表示装置１０がＧＵＩを表示する状態は、第２表示状態の一例に対応する。

ステップＳ１２で、ＧＵＩ生成部１３は、推定結果Ｒによる判定と、データＤに基づく判定とを組み合わせてもよい。例えば、ＧＵＩ生成部１３は、ステップＳ１２で、データＤに基づき、ＧＵＩを表示すべきでない状態、すなわち非表示推奨状態か否かを判定する。そして、ＧＵＩ生成部１３は、推定結果Ｒに基づきユーザが表示領域２を注視する見込みがあると判定した場合であって、非表示推奨でないと判定した場合に、ステップＳ１４に移行する。また、ＧＵＩ生成部１３は、ステップＳ１２で、推定結果Ｒに基づきユーザが表示領域２を注視する見込みがあると判定した場合であっても、非表示推奨状態であると判定した場合は、ステップＳ１３に移行する。

データＤに基づく判定の例を挙げる。
例えば、ＧＵＩ生成部１３は、車両の速度、パーキングブレーキの動作状態、及び、シフトポジションのいずれかから車両が停止中であると推定される場合、非表示推奨状態でないと判定する。また、ＧＵＩ生成部１３は、車両の速度が予め設定された閾値以上の速度である場合、ユーザが操舵中であると推定される場合、ユーザが車両を加速する操作中であると推定される場合、及び、ユーザが減速操作中であると推定される場合のいずれも、非表示推奨状態であると判定する。また、ＧＵＩ生成部１３は、ユーザが交差点において車両を右折または左折させる動作中であると推定される場合、及び、車両がハンズオフの状態である場合、非表示推奨状態であると判定する。

また、ＧＵＩ生成部１３は、燃料の残量が予め設定された閾値以下である場合、車両の現在地の気象情報が注意を要する気象条件に該当する場合、及び、カーナビゲーションシステム等の音声操作が開始された場合に、非表示推奨状態でないと判定してもよい。これらの場合、ユーザが表示領域２による情報表示を強く望んでいると考えられるため、表示領域２にＧＵＩを表示する必要性が高いといえる。

このように、ＧＵＩ生成部１３は、車両の状態や車両の外部要因に関するデータＤに基づいて、ＧＵＩ表示を行う前にＧＵＩ表示を行うことが適切か否かを判定してもよい。この場合、表示装置１０は、車両の運転を阻害しないように、必要に応じて表示領域２にＧＵＩを表示できる。

ステップＳ１４で表示領域２にＧＵＩの表示を開始した後、ＧＵＩ生成部１３は、推定結果Ｒに基づいて、表示領域２に表示中のアイコンのうち、ユーザの視線の移動先に位置するアイコンを特定する（ステップＳ１５）。ステップＳ１５で、ＧＵＩ生成部１３は、例えば、アイコン領域Ａ１～Ａ４のうち、推定結果Ｒに含まれる視点予測位置Ｑに重なるアイコン領域を特定することによって、ユーザの視線の移動先に位置するアイコンを特定する。また、ＧＵＩ生成部１３は、視点予測位置Ｑ或いは予測経路Ｔｆが、アイコン領域Ａ１～Ａ４のいずれにも重ならない場合であっても、ユーザの視線の移動先に位置するアイコンを特定できる。例えば、ＧＵＩ生成部１３は、視線位置Ｐがアイコン領域Ａ１～Ａ４のいずれかに近づくように移動している場合、視線位置Ｐが近づいているアイコン領域Ａ１～Ａ４を特定することによって、ユーザの視線の移動先にあるアイコンを特定する。

ＧＵＩ生成部１３は、ＧＵＩの生成を開始してから、ユーザが表示領域２を注視している状態が所定時間、継続しているか否かを判定する（ステップＳ１６）。言い換えれば、ユーザの視線が、所定時間以上、表示領域２の内側にあるか否かを判定する。ここで、所定時間とは、予め、ＧＵＩ生成部１３に接続されたＥＣＵやＧＵＩ生成部１３に設定された時間の閾値である。ＡＭＡ（Ａｕｔｏｍｏｂｉｌｅ Ｍａｎｕｆａｃｔｕｒｅｒｓ Ａｓｓｏｃｉａｔｉｏｎ）やＪＡＭＡ（日本自動車工業会）が定めたガイドラインでは、運転者が表示画面等を注視する総視認時間について、運転操作のディストラクションを回避する観点で規定がある。ステップＳ１６の判定の基準となる所定時間は、例えば、上記のガイドラインに従って決定される。

ユーザが表示領域２を注視している状態が所定時間、継続したと判定した場合（ステップＳ１６；ＹＥＳ）、ＧＵＩ生成部１３は、ＧＵＩの代わりに、ユーザに対する警告画面を表示すると判定し（ステップＳ１７）、警告画面のデータを描画処理部１４に出力し（ステップＳ２３）、本処理を終了する。ステップＳ１７によって表示される警告は、例えば、ユーザに対して運転操作に注意を向けることを促す文字や画像である。

ユーザが表示領域２を注視している状態が所定時間、継続していないと判定した場合（ステップＳ１６；ＮＯ）、ＧＵＩ生成部１３は、表示領域２に表示中のアイコンの表示サイズを変更すると判定する（ステップＳ１８）。ステップＳ１８では、ステップＳ１５で特定したアイコン、すなわちユーザの視線の移動先に位置するアイコンの表示サイズを拡大する。

図６に、アイコンの表示サイズを拡大した表示例を示す。図６の表示例では、アイコンＳＡの表示サイズが、図５の表示例よりも大きい。表示装置１０は、例えば、ステップＳ１５において、視点予測位置Ｑがアイコン領域Ａ１に属する場合に、ユーザの視線の移動先にあるアイコンがアイコンＳＡであると特定する。この場合、表示装置１０は、アイコンＳＡの表示サイズを拡大して、投影部１５による表示を更新する。

表示装置１０は、ステップＳ１８で、時間の経過あるいはユーザの視線の移動に伴い、段階的にアイコンの表示サイズを変更してもよい。例えば、表示装置１０は、ユーザの視線位置Ｐが、或いは視点予測位置Ｑが、ステップＳ１５で特定したアイコン領域（Ａ１、Ａ２、Ａ３、Ａ４のいずれか）に近づくほど、アイコンの表示サイズを段階的に大きくする動作を行う。
図７に、アイコンの表示サイズをさらに拡大した表示例を示す。図７の表示例では、アイコンＳＡの表示サイズが、図６の表示例よりも大きい。

図４に戻り、ＧＵＩ生成部１３は、ユーザが、表示領域２に表示されたアイコンを注視する見込みがあるか否かを判定する（ステップＳ１９）。すなわち、ＧＵＩ生成部１３は、ユーザが表示領域２のアイコンのいずれかを注視しようとしているか否かを判定する。ステップＳ１９で、例えば、ＧＵＩ生成部１３は、ステップＳ１５で特定したアイコンをユーザが注視する可能性が、予め設定された基準よりも高い可能性となった場合に、ユーザがアイコンを注視する見込みがあると判定する。

ユーザがアイコンを注視する見込みがあると推定した場合（ステップＳ１９；ＹＥＳ）、表示装置１０は、ステップＳ１５で特定したアイコンの表示を、情報表示に切り替える（ステップＳ２０）。すなわち、ＧＵＩ生成部１３は、情報表示を行うためのデータを生成するＧＵＩ生成部１３は、生成したデータを出力し（ステップＳ２３）、本処理を終了する。

図８に、アイコンを情報表示に切り替えた表示例を示す。図８の表示例では、図７のアイコンＳＡの位置に、情報表示ＩｎＡが配置される。情報表示ＩｎＡは、アイコンＳＡに対応付けられた情報である、車両の速度を表示する。表示装置１０がアイコンを情報表示に切り替えた状態は、第３表示状態の一例に対応する。

ステップＳ１９で、ＧＵＩ生成部１３は、ステップＳ１２で行う動作と同様に、データＤに基づく判定を行ってもよい。
また、ステップＳ１９で、表示装置１０は、ステップＳ１２と同様に、ユーザが表示領域２よりも前方を注視しているか否かに基づき、ユーザがアイコンを注視する見込みがあるか否かを推定してもよい。

ユーザがアイコンを注視する見込みがないと推定した場合（ステップＳ１９；ＮＯ）、ＧＵＩ生成部１３は、表示領域２が情報表示を表示中であって、表示領域２の情報表示からユーザの視線が外れたか否かを判定する（ステップＳ２１）。情報表示からユーザの視線が外れていない場合（ステップＳ２１；ＮＯ）、ＧＵＩ生成部１３は、情報表示を行うためのデータを生成し（ステップＳ２０）、生成したデータを出力し（ステップＳ２３）、本処理を終了する。

情報表示からユーザの視線が外れたと判定した場合（ステップＳ２１；ＹＥＳ）、表示装置１０は、表示領域２における情報表示を終了してＧＵＩの表示に切り替えるため、ＧＵＩのデータを生成する（ステップＳ２２）。ＧＵＩ生成部１３は生成したデータを出力し（ステップＳ２３）、本処理を終了する。

ＧＵＩ生成部１３は、アイコンの表示位置を変更する動作を行ってもよい。例えば、ＧＵＩ生成部１３は、ユーザが表示領域２よりも前方を注視している場合に、ユーザが注視している方向を避けるように、アイコンの表示位置を変更する。

図９は、表示装置１０による表示の例を示す図であり、アイコンの表示位置を変更する例を示す。図９には、ユーザが、フロントガラス３の前方に位置する実空間の車両Ｖを注視している場合の表示例を示す。
ユーザが車両Ｖを所定時間以上、注視していた場合、ユーザの視線の位置は、表示領域２から外れた位置であって車両Ｖに重なる位置、及び、表示領域２に重なる位置であって車両Ｖに重なる位置に集中する。ＧＵＩ生成部１３は、ユーザの視線が集中していた領域である注視領域ＡＡを特定する。注視領域ＡＡは、例えば、所定時間以上、或いは、所定以上の頻度で、ユーザの視線が集まっていた場所を含む領域であって、特に、表示領域２に重なる領域である。ＧＵＩ生成部１３は、ユーザの視線が注視領域ＡＡにある間、及び、ユーザの視線が注視領域ＡＡの外に移動した後であって予め設定された時間内は、ＧＵＩに含まれるアイコンを注視領域ＡＡの外に配置する。図９の例では、注視領域ＡＡがアイコン領域Ａ４に重なるため、アイコンＳＤが注視領域ＡＡを避ける位置に表示される。つまり、アイコンＳＤの表示位置が、ユーザの視線から離れる方向に移動される。また、図９の例では、注視領域ＡＡに重ならないアイコンＳＣの表示位置が、初期位置であるアイコン領域Ａ３から移動されている。すなわち、ＧＵＩ生成部１３は、注視領域ＡＡに重ならないアイコンのうち、注視領域ＡＡに近いアイコンの表示位置を、ユーザの視線から離れる方向に移動させてもよい。

［３．他の実施形態］
上記実施形態は本発明を適用した一具体例を示すものであり、発明が適用される形態を限定するものではない。

上記実施形態では、表示システム１が車両に搭載された例を説明したが、表示システム１の適用対象は車両に限定されない。また、表示システム１を搭載する車両は、乗用車に限らず、貨物車や作業用車両であってもよい。また、上記車両は四輪車に限定されず、二輪車であってもよい。

上記実施形態では、視線推定部２０に接続される視線検出デバイスによってユーザの視線を検出する構成を説明したが、視線推定部２０が、例えばユーザが身体に装着するデバイスや、他のシステムと通信を実行して、視線方向を検出した結果を取得する構成であってもよい。また、視線推定部２０を、表示装置１０と一体に構成してもよい。

また、表示システム１は、独立した表示装置１０を備えるシステムに限定されない。例えば、車両に搭載されるカーナビゲーションシステム、ＡＤＡＳ、自動運転（ＡＤ）システム等が、表示システム１の機能を実装する構成としてもよい。例えば、表示画面５３等の表示装置を有する上記システムが表示システム１の機能を備える構成であってもよい。その他、表示システム１の具体的な実装態様は任意に変更可能である。

［４．上記実施形態によりサポートされる構成］
上記実施形態は、以下の構成の具体例である。

（構成１）表示領域に表示を行う表示部と、前記表示部によって前記表示領域に表示を行わせる表示制御部と、を備え、前記表示制御部は、ユーザの視線の移動を推定する視線推定部から推定結果を取得し、する情報の内容表示を指示するためのシンボルを前記表示領域に表示させた状態で、前記推定結果に基づいて前記ユーザが前記シンボルのいずれかを注視しようとしているか否かを推定し、前記ユーザが前記シンボルのいずれかを注視しようとしていると推定した場合、前記ユーザが注視すると推定される前記シンボルの表示態様を変更する、表示装置。
構成１の表示装置によれば、ユーザの視線の移動に関する推定結果に基づいて、ユーザがシンボルを注視しようとしている場合に、シンボルの表示態様を変更する。これにより、表示装置が表示するシンボルの表示態様を、ユーザの求めに応じて、ユーザの視線に対応して変化させることができる。

（構成２）前記表示制御部は、前記ユーザの視線方向、前記ユーザの視線の移動速度、前記ユーザの視線の移動方向、及び、前記ユーザの視線の移動先の少なくともいずれかを含む前記推定結果を取得し、前記ユーザの視線が前記シンボルに近づく方向に移動する場合、前記ユーザがいずれかの前記シンボルを注視しようとしていると推定して、前記シンボルの表示態様を変更する、構成１記載の表示装置。
構成２の表示装置によれば、ユーザの視線を推定した結果に基づいて、ユーザがシンボルを注視しようとしているか否かを、正確に推定できる。

（構成３）前記表示領域は、前記ユーザが運転する車両において、前記車両の運転席の前方に配置され、前記表示制御部は、前記推定結果に基づいて、前記ユーザが前記表示領域よりも前方を注視しているか否かを判定し、前記ユーザが前記表示領域よりも前方を注視していないと判定した場合、前記ユーザが注視すると推定される前記シンボルの表示態様を変更する、構成１または構成２記載の表示装置。
構成３の表示装置によれば、ユーザが車両を運転している間、表示態様を変更するとユーザの集中を妨げる可能性がある場合は表示態様を変更しない。このため、ユーザが運転に集中できる環境を整え、ユーザが必要とする場合に表示態様を変更することによって、ユーザの利便性の向上を図ることができる。

（構成４）前記表示領域は、前記ユーザが運転する車両において、前記車両の運転席の前方に配置され、前記表示制御部は、前記推定結果に基づいて、前記ユーザが前記表示領域よりも前方を注視しているか否かを判定し、前記ユーザが前記表示領域よりも前方を注視していると判定した場合に、前記表示領域に表示されている前記シンボルの表示位置を、前記ユーザの視線から離れる方向に移動させる、構成１または構成２記載の表示装置。
構成４の表示装置によれば、ユーザが車両を運転している間、シンボルの表示位置を移動させることによってユーザが運転に集中しやすい環境を整えることができる。

（構成５）前記シンボルは、前記車両の状態を示す情報の表示を指示するアイコンであり、前記表示制御部は、前記ユーザが前記シンボルのいずれかを注視しようとしていると推定した場合、前記ユーザが注視すると推定される前記シンボルの表示態様を、前記シンボルに対応付けられた情報の表示に切り替える、構成３または構成４記載の表示装置。
構成５の表示装置によれば、ユーザの求めに応じて情報を表示できる。

（構成６）前記車両の状態に関する車両情報が入力されるインターフェイスを備え、前記表示制御部は、前記車両情報と前記推定結果とに基づいて、前記ユーザが前記シンボルのいずれかを注視しようとしているか否かを推定する、構成３から構成５のいずれかに記載の表示装置。
構成６の表示装置によれば、車両の状態に関する情報を利用して、ユーザがシンボルを注視しようとしているか否かを、より正確に推定できる。

（構成７）前記表示制御部は、前記表示領域に前記シンボルを表示させない第１表示状態と、前記シンボルを表示させる第２表示状態と、前記シンボルの表示態様を変化させた第３表示状態と、を切り替え可能であり、前記第１表示状態において、前記ユーザが前記シンボルのいずれかを注視しようとしていると推定した場合であって、前記ユーザの視線が前記表示領域に重なる状態となった場合に、前記第２表示状態への切り替えを行い、前記第２表示状態において、前記表示領域において前記ユーザの視線に重なる位置が、前記ユーザが注視しようとしている前記シンボルに対して所定範囲内となった場合に、前記第３表示状態への切り替えを行う、構成１から構成６のいずれかに記載の表示装置。
構成７の表示装置によれば、ユーザの視線の移動に伴って表示領域の表示を段階的に切り替える。これにより、ユーザが求める場合に情報をユーザに提供し、不要な情報の表示を回避できる。

（構成８）表示領域に表示を行う表示部と、前記表示部によって前記表示領域に表示を行わせる表示制御部と、ユーザの視線の移動を推定する視線推定部と、を備え、前記表示制御部は、前記視線推定部から推定結果を取得し、表示する情報の内容を指示するためのシンボルを前記表示領域に表示させた状態で、前記推定結果に基づいて前記ユーザが前記シンボルのいずれかを注視しようとしているか否かを推定し、前記ユーザが前記シンボルのいずれかを注視しようとしていると推定した場合、前記ユーザが注視すると推定される前記シンボルの表示態様を変更する、表示システム。
構成８の表示システムによれば、ユーザの視線の移動に関する推定結果に基づいて、ユーザがシンボルを注視しようとしている場合に、シンボルの表示態様を変更する。これにより、表示装置が表示するシンボルの表示態様を、ユーザの求めに応じて、ユーザの視線に対応して変化させることができる。

（構成９）表示領域に表示を行う表示制御方法であって、ユーザの視線の移動を推定する視線推定部から推定結果を取得し、表示する情報の内容を指示するためのシンボルを前記表示領域に表示させた状態で、前記推定結果に基づいて前記ユーザが前記シンボルのいずれかを注視しようとしているか否かを推定し、前記ユーザが前記シンボルのいずれかを注視しようとしていると推定した場合、前記ユーザが注視すると推定される前記シンボルの表示態様を変更する、表示制御方法。
構成９の表示制御方法によれば、ユーザの視線の移動に関する推定結果に基づいて、ユーザがシンボルを注視しようとしている場合に、シンボルの表示態様を変更する。これにより、表示装置が表示するシンボルの表示態様を、ユーザの求めに応じて、ユーザの視線に対応して変化させることができる。

１…表示システム、２…表示領域、１０…表示装置、１１…インターフェイス、１３…ＧＵＩ生成部、１４…描画処理部、１５…投影部、２０…視線推定部、２１…情報取得部、２２…解析部、２５…カメラ、Ｄ…データ、Ｒ…推定結果。

Claims (8)

1. 表示領域に表示を行う表示部と、
   前記表示部によって前記表示領域に表示を行わせる表示制御部と、を備え、
   前記表示制御部は、
   ユーザの視線の移動を推定する視線推定部から推定結果として、前記ユーザの視線が移動すると推定される経路を示す予測経路、および、前記ユーザの視線の移動の目標位置を示す視点予測位置、の少なくともいずれかを取得し、
   前記ユーザが運転する車両の状態、及び前記車両の外部要因に関するデータに基づいて、表示する情報の内容を指示するためのシンボルを前記表示領域に表示させることが適切か否かを判定し、
   前記シンボルを前記表示領域に表示させることが適切であると判定した場合に、前記シンボルを前記表示領域に表示させた状態で、前記推定結果に基づいて、前記視点予測位置が前記表示領域に重なる位置にあるとき、及び、前記予測経路が前記表示領域に重なるとき、の少なくとも一方を満たす場合に、前記ユーザがいずれかの前記シンボルを注視しようとしていると推定し、
   前記ユーザがいずれかの前記シンボルを注視しようとしていると推定した場合、前記ユーザが注視すると推定される前記シンボルの表示態様を変更する、表示装置。
2. 前記表示領域は、前記ユーザが運転する車両において、前記車両の運転席の前方に配置され、
   前記表示制御部は、前記推定結果に基づいて、前記ユーザが前記表示領域よりも前方を注視しているか否かを判定し、
   前記ユーザが前記表示領域よりも前方を注視していないと判定した場合、前記ユーザが注視すると推定される前記シンボルの表示態様を変更する、請求項１記載の表示装置。
3. 前記表示領域は、前記ユーザが運転する車両において、前記車両の運転席の前方に配置され、
   前記表示制御部は、前記推定結果に基づいて、前記ユーザが前記表示領域よりも前方を注視しているか否かを判定し、
   前記ユーザが前記表示領域よりも前方を注視していると判定した場合に、前記表示領域に表示されている前記シンボルの表示位置を、前記ユーザの視線から離れる方向に移動させる、請求項１記載の表示装置。
4. 前記シンボルは、前記車両の状態を示す情報の表示を指示するアイコンであり、
   前記表示制御部は、前記ユーザがいずれかの前記シンボルを注視しようとしていると推定した場合、前記ユーザが注視すると推定される前記シンボルの表示態様を、前記シンボルに対応付けられた情報の表示に切り替える、請求項２または３記載の表示装置。
5. 前記車両の状態に関する車両情報が入力されるインターフェイスを備え、
   前記表示制御部は、前記車両情報と前記推定結果とに基づいて、前記ユーザがいずれかの前記シンボルを注視しようとしているか否かを推定する、請求項２から４のいずれかに記載の表示装置。
6. 前記表示制御部は、
   前記表示領域に前記シンボルを表示させない第１表示状態と、前記シンボルを表示させる第２表示状態と、前記シンボルの表示態様を変化させた第３表示状態と、を切り替え可能であり、
   前記第１表示状態において、前記ユーザがいずれかの前記シンボルを注視しようとしていると推定した場合であって、前記ユーザの視線が前記表示領域に重なる状態となった場合に、前記第２表示状態への切り替えを行い、
   前記第２表示状態において、前記表示領域において前記ユーザの視線に重なる位置が、前記ユーザが注視しようとしている前記シンボルに対して所定範囲内となった場合に、前記第３表示状態への切り替えを行う、請求項１から５のいずれかに記載の表示装置。
7. 表示領域に表示を行う表示部と、
   前記表示部によって前記表示領域に表示を行わせる表示制御部と、
   ユーザの視線の移動を推定する視線推定部と、を備え、
   前記表示制御部は、
   前記視線推定部から推定結果として、前記ユーザの視線が移動すると推定される経路を示す予測経路、および、前記ユーザの視線の移動の目標位置を示す視点予測位置、の少なくともいずれかを取得し、
   前記ユーザが運転する車両の状態、及び前記車両の外部要因に関するデータに基づいて、表示する情報の内容を指示するためのシンボルを前記表示領域に表示させることが適切か否かを判定し、
   前記シンボルを前記表示領域に表示させることが適切であると判定した場合に、前記シンボルを前記表示領域に表示させた状態で、前記推定結果に基づいて、前記視点予測位置が前記表示領域に重なる位置にあるとき、及び、前記予測経路が前記表示領域に重なるとき、の少なくとも一方を満たす場合に、前記ユーザがいずれかの前記シンボルを注視しようとしていると推定し、
   前記ユーザがいずれかの前記シンボルを注視しようとしていると推定した場合、前記ユーザが注視すると推定される前記シンボルの表示態様を変更する、表示システム。
8. 表示領域に表示を行う表示制御方法であって、
   ユーザの視線の移動を推定する視線推定部から推定結果として、前記ユーザの視線が移動すると推定される経路を示す予測経路、および、前記ユーザの視線の移動の目標位置を示す視点予測位置、の少なくともいずれかを取得し、
   前記ユーザが運転する車両の状態、及び前記車両の外部要因に関するデータに基づいて、表示する情報の内容を指示するためのシンボルを前記表示領域に表示させることが適切か否かを判定し、
   前記シンボルを前記表示領域に表示させることが適切であると判定した場合に、前記シンボルを前記表示領域に表示させた状態で、前記推定結果に基づいて、前記視点予測位置が前記表示領域に重なる位置にあるとき、及び、前記予測経路が前記表示領域に重なるとき、の少なくとも一方を満たす場合に、前記ユーザがいずれかの前記シンボルを注視しようとしていると推定し、
   前記ユーザがいずれかの前記シンボルを注視しようとしていると推定した場合、前記ユーザが注視すると推定される前記シンボルの表示態様を変更する、表示制御方法。

Images