JP7459883B2 - 表示制御装置、ヘッドアップディスプレイ装置、及び方法 - Google Patents

Description

本開示は、車両で使用され、車両の前景に画像を重畳して視認させる表示制御装置、ヘッドアップディスプレイ装置、及び方法に関する。

特許文献１には、自車両の前景（実景）にあたかも実際に存在するかのような仮想オブジェクトを遠近感のある画像で表現し、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を生成し、仮想オブジェクト（画像）が示す情報と実景に存在する実オブジェクト（道路、他車両、又は歩行者など。）とのつながりを向上させ、視認者（自車両の運転者）の視覚的負荷を軽減しつつ、情報を認識させるヘッドアップディスプレイ装置が記載されている。

国際公開第２０１８／２１６５５３号

ヘッドアップディスプレイ装置は、典型的には、視認者から見た限られた領域（虚像表示領域）にだけ画像の虚像を表示することができる。自車両の運転者の目高さ（目位置）が変化しても虚像表示領域の位置が固定だとする（実質的には、目高さ（目位置）が変化すると虚像表示領域の位置は多少変化する。）と、自車両の運転者の目高さ（目位置）の違いにより、視認者から見た虚像表示領域と重なる自車両の外側の実景の領域とが異なる。具体的には、基準となる目高さで虚像表示領域が重なる実景の領域を基準実景領域とすると、基準となる目高さより高い位置から見た虚像表示領域が重なる実景領域は、視認者から見て基準実景領域よりも下側の領域となる（遠近で言えば、基準実景領域よりも近傍側の実景領域となる）。逆に、基準となる目高さより低い位置から見た虚像表示領域が重なる実景領域は、視認者から見て基準実景領域よりも上側の領域となる（遠近で言えば、基準実景領域よりも遠方側の実景領域となる）。

虚像表示領域が重なる実景領域が、目高さ（目位置）の違いにより異なることで、例え、自車両と実オブジェクトの関係が一定であっても、視認者の目高さが低い人に対し、虚像表示領域内に実オブジェクトが含まれ、当該実オブジェクトに対応した仮想オブジェクトが表示されるが、視認者の目高さが高い人に対しては、虚像表示領域内に実オブジェクトが含まれずに、当該実オブジェクトに対応した仮想オブジェクトが表示されないということも想定される。

また、視認者の目位置から見て虚像表示領域が重なる実景領域の周辺に、実オブジェクトが存在する場合、虚像表示領域内に当該実オブジェクトを指示するような画像を表示するが、視認者の目位置から見て虚像表示領域が重なる実景領域と、実オブジェクトの位置とが離れてしまった場合、実オブジェクトが画像（虚像）の表示対象から外されてしまうことも想定される。すなわち、虚像表示領域の位置が所定の位置、又は目位置が所定の位置などで、視認者から見た虚像表示領域が重なる実景領域が変わってしまうため、実オブジェクトの位置が一定であっても、虚像表示領域の位置や目位置が所定の位置であった場合でも、実オブジェクトが画像（虚像）の表示対象から外されてしまうことも想定される。

本明細書に開示される特定の実施形態の要約を以下に示す。これらの態様が、これらの特定の実施形態の概要を読者に提供するためだけに提示され、この開示の範囲を限定するものではないことを理解されたい。実際に、本開示は、以下に記載されない種々の態様を包含し得る。

本開示の概要は、虚像の表示領域の位置や目位置が変化しても実オブジェクトに関する情報を認識させやすくする、より具体的には、虚像の表示領域の位置や視認者の目位置が異なっていても提示される情報のばらつきを抑えることにも関する。

したがって、本明細書に記載される表示制御装置は、車両内のアイボックスから見て前景に重なる表示領域内に、画像の虚像を表示する画像表示部を制御する表示制御装置であって、情報を取得可能な１つ又は複数のＩ／Ｏインタフェースと、１つ又は複数のプロセッサと、メモリと、前記メモリに格納され、前記１つ又は複数のプロセッサによって実行されるように構成される１つ又は複数のコンピュータ・プログラムと、を備え、前記１つ又は複数のＩ／Ｏインタフェースは、車両の周辺に存在する実オブジェクトの位置と、前記表示領域の位置、前記アイボックス内の観察者の目位置、前記車両の姿勢、又はこれらを推定可能な情報、の少なくともいずれか１つと、を取得し、前記１つ又は複数のプロセッサは、前記実オブジェクトの位置が、第１判定実景領域内に入るか否か、及び第２判定実景領域内に入るか否かを判定し、前記実オブジェクトの位置が、前記第１判定実景領域内に入る場合、前記実オブジェクトに対応する第１態様の画像の虚像を表示させ、前記実オブジェクトの位置が、前記第２判定実景領域内に入る場合、前記実オブジェクトに対応する第２態様の画像の虚像を表示させ、前記表示領域の位置、前記目位置、前記車両の姿勢、又はこれらを推定可能な情報、の少なくともいずれか１つに基づき、前記第２判定実景領域の範囲を拡大する、命令を実行する。

図１は、車両用表示システムの適用例を示す図である。 図２は、画像表示部の構成を示す図である。 図３は、車両内のアイボックスから前方を向いた際に視認される、前景と、第１の態様の画像の虚像と、を示す図である。 図４は、車両内のアイボックスから前方を向いた際に視認される、前景と、第１の態様の画像の虚像と、を示す図である。 図５は、車両内のアイボックスから前方を向いた際に視認される、前景と、第２の態様の画像の虚像と、を示す図である。 図６は、車両内のアイボックスから前方を向いた際に視認される、前景と、第２の態様の画像の虚像と、を示す図である。 図７Ａは、車両内のアイボックスから前方を向いた際に視認される、実オブジェクトと、第２の態様の画像の虚像と、を示す図である。 図７Ｂは、図７Ａよりさらに実オブジェクトが車両に接近した状況であり、車両内のアイボックスから前方を向いた際に視認される、実オブジェクトと、第２の態様の画像の虚像と、を示す図である。 図７Ｃは、図７Ｂよりさらに実オブジェクトが車両に接近した状況であり、車両内のアイボックスから前方を向いた際に視認される、実オブジェクトと、第２の態様の画像の虚像と、を示す図である。 図８Ａは、車両内のアイボックスから前方を向いた際に視認される、実オブジェクトと、第２の態様の画像の虚像と、を示す図である。 図８Ｂは、図８Ａよりも実オブジェクトが車両に接近した状況を示す図である。 図８Ｃは、図８Ｂよりも実オブジェクトが車両に接近した状況を示す図である。 図９は、車両内のアイボックスから前方を向いた際に視認される、前景と、第２の態様の画像の虚像と、を示す図である。 図１０は、車両内のアイボックスから前方を向いた際に視認される、前景と、第２の態様の画像の虚像と、を示す図である。 図１１は、車両用表示システムのブロック図である。 図１２Ａは、車両の左右方向（Ｘ軸方向）から見た場合の、アイボックスと、第１の態様の画像の虚像を表示する第１表示領域、第１判定実景領域、及び第２判定実景領域、の位置関係を示す図である。 図１２Ｂは、車両の左右方向（Ｘ軸方向）から見た場合の、アイボックスと、第１の態様の画像の虚像を表示する第１表示領域、第１判定実景領域、及び第２判定実景領域、の位置関係を示す図である。 図１３Ａは、車両の左右方向（Ｘ軸方向）から見た場合の、第１表示領域、第１判定実景領域、及び第２判定実景領域、の位置関係を示す図である。 図１３Ｂは、図１３Ａよりも第１表示領域が下側に配置された状況を示す図である。 図１３Ｃは、図１３Ｂよりも第１表示領域が下側に配置された状況を示す図である。 図１４Ａは、車両の左右方向（Ｘ軸方向）から見た場合の、第１表示領域、第１判定実景領域、及び第２判定実景領域、の位置関係を示す図である。 図１４Ｂは、図１４Ａよりも視認者の目位置が上側に配置された状況を示す図である。 図１４Ｃは、図１４Ｂよりも視認者の目位置が上側に配置された状況を示す図である。 図１４５は、車両の左右方向（Ｘ軸方向）から見た場合の、第１表示領域、第１判定実景領域、及び第２判定実景領域、の位置関係を示す図である。 図１５Ｂは、図１５Ａよりも車両の姿勢が前傾になった状況を示す図である。 図１６Ａは、図１３Ｂと同じであり、図１３Ａの第１表示領域の位置を基準表示領域として、当該基準表示領域よりも第１表示領域が下に配置された際の、第２判定実景領域の拡大された一態様を示している。 図１６Ｂは、第２判定実景領域の拡大された一態様を示している。 図１６Ｃは、第２判定実景領域の拡大された一態様を示している。 図１６Ｄは、第２判定実景領域の拡大された一態様を示している。 図１７Ａは、アイボックスから前方を向いた際の第１判定実景領域、及び第２判定実景領域、の位置関係を模式的に示す図である。 図１７Ｂは、アイボックスから前方を向いた際の第１判定実景領域、及び第２判定実景領域、の位置関係を模式的に示す図である。 図１７Ｃは、アイボックスから前方を向いた際の第１判定実景領域、及び第２判定実景領域、の位置関係を模式的に示す図である。 図１７Ｄは、アイボックスから前方を向いた際の第１判定実景領域、及び第２判定実景領域、の位置関係を模式的に示す図である。 図１７Ｅは、アイボックスから前方を向いた際の第１判定実景領域、及び第２判定実景領域、の位置関係を模式的に示す図である。 図１７Ｆは、アイボックスから前方を向いた際の第１判定実景領域、及び第２判定実景領域、の位置関係を模式的に示す図である。 図１７Ｇは、アイボックスから前方を向いた際の第１判定実景領域、及び第２判定実景領域、の位置関係を模式的に示す図である。 図１８Ａは、いくつかの実施形態に従って、車両の外側の実景に存在する実オブジェクトに対して、第１態様又は第２態様の画像の虚像を表示する動作を実行する方法を示すフローチャートである。 図１８Ｂは、図１８Ａに続くフローチャートである。

以下、図１、図２、及び図１１では、例示的な車両用表示システムの構成の説明を提供する。図３ないし図１０では、表示例の説明を提供する。図１２Ａないし図１８では、例示的な動作について説明する。なお、本発明は以下の実施形態（図面の内容も含む）によって限定されるものではない。下記の実施形態に変更（構成要素の削除も含む）を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。

図１を参照する。本実施形態の車両用表示システム１０は、画像表示部２０と、画像表示部２０を制御する表示制御装置３０と、表示制御装置３０に連結される電子機器４０１ないし４１７と、で構成される。

車両用表示システム１０における画像表示部２０は、車両１のダッシュボード５内に設けられたヘッドアップディスプレイ（ＨＵＤ：Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ）装置である。画像表示部２０は、表示光４０をフロントウインドシールド２（被投影部の一例である）に向けて出射し、フロントウインドシールド２は、画像表示部２０が表示する画像Ｍの表示光４０をアイボックス２００へ反射する。視認者は、アイボックス２００内に目４を配置することで、フロントウインドシールド２を介して視認される現実空間である前景に重なる位置に、画像表示部２０が表示する画像Ｍの虚像Ｖを視認することができる。なお、本実施形態に用いる図面において、車両１の左右方向をＸ軸方向（車両１の前方を向いた際の左側がＸ軸正方向）とし、上下方向をＹ軸方向（路面を走行する車両１の上側がＹ軸正方向）とし、車両１の前後方向をＺ軸方向（車両１の前方がＺ軸正方向）とする。

本実施形態の説明で用いる「アイボックス」とは、（１）領域内では画像Ｍの虚像Ｖの少なくとも一部が視認でき、領域外では画像Ｍの虚像Ｖの一部分も視認されない領域、（２）領域内では画像Ｍの虚像Ｖの少なくとも一部が所定の輝度以上で視認でき、領域外では画像Ｍの虚像Ｖの全体が前記所定の輝度未満である領域、又は（３）画像表示部２０が立体視可能な虚像Ｖを表示可能である場合、虚像Ｖの少なくとも一部が立体視でき、領域外では虚像Ｖの一部分も立体視されない領域である。すなわち、視認者が目（両目）４をアイボックス２００外に配置すると、視認者は、画像Ｍの虚像Ｖの全体が視認できない、画像Ｍの虚像Ｖの全体の視認性が非常に低く知覚しづらい、又は画像Ｍの虚像Ｖが立体視できない。前記所定の輝度とは、例えば、アイボックスの中心で視認される画像Ｍの虚像の輝度に対して１／５０程度である。

表示領域１００は、画像表示部２０の内部で生成された画像Ｍが、虚像Ｖとして結像する平面、曲面、又は一部曲面の領域であり、結像面とも呼ばれる。表示領域１００は、画像表示部２０の後述する表示器２１の表示面（例えば、液晶ディスプレイパネルの出射面）２１ａが虚像として結像される位置であり、すなわち、表示領域１００は、画像表示部２０の後述する表示面２１ａに対応し（言い換えると、表示領域１００は、後述する表示器２１の表示面２１ａと、共役関係となる。）、そして、表示領域１００で視認される虚像は、画像表示部２０の後述する表示面２１ａに表示される画像に対応している、と言える。表示領域１００自体は、実際に視認者の目４に視認されない、又は視認されにくい程度に視認性が低いことが好ましい。表示領域１００には、車両１の左右方向（Ｘ軸方向）を軸とした水平方向（ＸＺ平面）とのなす角度（図１のチルト角θｔ）と、アイボックス２００の中心２０５と表示領域１００の上端１０１とを結ぶ線分と、アイボックス中心と表示領域１００の下端１０２とを結ぶ線分とのなす角度を表示領域１００の縦画角として、この縦画角の二等分線と水平方向（ＸＺ平面）とのなす角度（図１の縦配置角θｖ）と、が設定される。

本実施形態の表示領域１００は、前方（Ｚ軸正方向）を向いた際に概ね正対するように、概ね９０［ｄｅｇｒｅｅ］のチルト角θｔを有する。但し、チルト角θｔは、これに限定されるものではなく、０≦θｔ＜９０［ｄｅｇｒｅｅ］の範囲で変更し得る。この場合、例えば、チルト角θｔは、６０［ｄｅｇｒｅｅ］に設定され、表示領域１００は、視認者から見て上側の領域が下側の領域より遠方になるように配置されてもよい。

図２は、本実施形態のＨＵＤ装置２０の構成を示す図である。ＨＵＤ装置２０は、画像Ｍを表示する表示面２１ａを有する表示器２１と、リレー光学系２５と、を含む。

図２の表示器２１は、液晶ディスプレイパネル２２と、光源ユニット２４と、から構成される。表示面２１ａは、液晶ディスプレイパネル２２の視認側の表面であり、画像Ｍの表示光４０を出射する。表示面２１ａの中心からリレー光学系２５及び前記被投影部を介してアイボックス２００（アイボックス２００の中央）へ向かう表示光４０の光軸４０ｐに対する、表示面２１ａの角度の設定により、表示領域１００の角度（チルト角θｔを含む。）が設定され得る。

リレー光学系２５は、表示器２１から出射された表示光４０（表示器２１からアイボックス２００へ向かう光。）の光路上に配置され、表示器２１からの表示光４０をＨＵＤ装置２０の外側のフロントウインドシールド２に投影する１つ又はそれ以上の光学部材で構成される。図２のリレー光学系２５は、１つの凹状の第１ミラー２６と、１つの平面の第２ミラー２７と、を含む。

第１ミラー２６は、例えば、正の光学的パワーを有する自由曲面形状である。換言すると、第１ミラー２６は、領域毎に光学的パワーが異なる曲面形状であってもよく、すなわち、表示光４０が通る領域（光路）に応じて表示光４０に付加される光学的パワーが異なってもよい。具体的には、表示面２１ａの各領域からアイボックス２００へ向かう第１画像光４１、第２画像光４２、第３画像光４３（図２参照）とで、リレー光学系２５によって付加される光学的パワーが異なってもよい。

なお、第２ミラー２７は、例えば、平面ミラーであるが、これに限定されるものではなく、光学的パワーを有する曲面であってもよい。すなわち、リレー光学系２５は、複数のミラー（例えば、本実施形態の第１ミラー２６、第２ミラー２７。）を合成することで、表示光４０が通る領域（光路）に応じて付加される光学的パワーを異ならせてもよい。なお、第２ミラー２７は、省略されてもよい。すなわち、表示器２１から出射される表示光４０は、第１ミラー２６により被投影部（フロントウインドシールド）２に反射されてもよい。

また、本実施形態では、リレー光学系２５は、２つのミラーを含んでいたが、これに限定されるものではなく、これらに追加又は代替で、１つ又はそれ以上の、レンズなどの屈折光学部材、ホログラムなどの回折光学部材、反射光学部材、又はこれらの組み合わせを含んでいてもよい。

また、本実施形態のリレー光学系２５は、この曲面形状（光学的パワーの一例。）により、表示領域１００までの距離を設定する機能、及び表示面２１ａに表示された画像を拡大した虚像を生成する機能、を有するが、これに加えて、フロントウインドシールド２の湾曲形状により生じ得る虚像の歪みを抑制する（補正する）機能、を有していてもよい。

また、リレー光学系２５は、表示制御装置３０により制御されるアクチュエータ２８、２９が取り付けられ、回転可能であってもよい。これについては、後述する。

液晶ディスプレイパネル２２は、光源ユニット２４から光を入射し、空間光変調した表示光４０をリレー光学系２５（第２ミラー２７）へ向けて出射する。液晶ディスプレイパネル２２は、例えば、視認者から見た虚像Ｖの上下方向（Ｙ軸方向）に対応する画素が配列される方向が短辺である矩形状である。視認者は、液晶ディスプレイパネル２２の透過光を、虚像光学系９０を介して視認する。虚像光学系９０は、図２で示すリレー光学系２５とフロントウインドシールド２とを合わせたものである。

光源ユニット２４は、光源（不図示）と、照明光学系（不図示）と、によって構成される。

光源（不図示）は、例えば、複数のチップ型のＬＥＤであり、液晶ディスプレイパネル（空間光変調素子の一例）２２へ照明光を出射する。光源ユニット２４は、例えば、４つの光源で構成されており、液晶ディスプレイパネル２２の長辺に沿って一列に配置される。光源ユニット２４は、表示制御装置３０からの制御のもと、照明光を液晶ディスプレイパネル２２に向けて出射する。光源ユニット２４の構成や光源の配置などはこれに限定されない。

照明光学系（不図示）は、例えば、光源ユニット２４の照明光の出射方向に配置された１つ又は複数のレンズ（不図示）と、１つ又は複数のレンズの出射方向に配置された拡散板（不図示）と、によって構成される。

なお、表示器２１は、自発光型ディスプレイであってもよく、又は、スクリーンに画像を投影するプロジェクション型ディスプレイであってもよい。この場合、表示面２１ａは、プロジェクション型ディスプレイのスクリーンである。

また、表示器２１は、表示制御装置３０により制御されるモータなどを含む不図示のアクチュエータが取り付けられ、表示面２１ａを移動、及び／又は回転可能であってもよい。

リレー光学系２５は、アイボックス２００を上下方向（Ｙ軸方向）に移動させる２つの回転軸（第１の回転軸ＡＸ１、第２の回転軸ＡＸ２）を有する。第１の回転軸ＡＸ１、第２の回転軸ＡＸ２それぞれは、ＨＵＤ装置２０が車両１に取り付けられた状態で、車両１の左右方向（Ｘ軸方向）と垂直とならない（換言すると、ＹＺ平面と平行にならない）ように設定される。具体的には、第１の回転軸ＡＸ１、第２の回転軸ＡＸ２は、車両１の左右方向（Ｘ軸方向）との間の角度が、４５［ｄｅｇｒｅｅ］未満に設定され、さらに好ましくは、２０［ｄｅｇｒｅｅ］未満に設定される。

第１の回転軸ＡＸ１でのリレー光学系２５の回転によれば、表示領域１００の上下方向の移動量が比較的小さく、アイボックス２００の上下方向の移動量が比較的大きい。また、第２の回転軸ＡＸ２でのリレー光学系２５の回転によれば、表示領域１００の上下方向の移動量が比較的大きく、アイボックス２００の上下方向の移動量が比較的小さい。すなわち、第１の回転軸ＡＸ１と第２の回転軸ＡＸ２とを対比すると、第１の回転軸ＡＸ１の回転による『アイボックス２００の上下方向の移動量／表示領域１００の上下方向の移動量』は、第２の回転軸ＡＸ２の回転による『アイボックス２００の上下方向の移動量／表示領域１００の上下方向の移動量』より大きくなる。言い換えると、第１の回転軸ＡＸ１でのリレー光学系２５の回転による表示領域１００の上下方向の移動量とアイボックス２００の上下方向の移動量との相対量が、第２の回転軸ＡＸ２でのリレー光学系２５の回転による表示領域１００の上下方向の移動量とアイボックス２００の上下方向の移動量との相対量とが異なる。

ＨＵＤ装置２０は、第１の回転軸ＡＸ１で第１ミラー２６を回転させる第１アクチュエータ２８と、第２の回転軸ＡＸ２で第１ミラー２６を回転させる第２アクチュエータ２９と、を含む。言い換えると、ＨＵＤ装置２０は、１つのリレー光学系２５を２つの軸（第１の回転軸ＡＸ１、第２の回転軸ＡＸ２）で回転させる。なお、第１アクチュエータ２８と第２アクチュエータ２９は、統合された１つの２軸アクチュエータで構成されてもよい。

また、他の実施形態におけるＨＵＤ装置２０は、２つのリレー光学系２５を２つの軸（第１の回転軸ＡＸ１、第２の回転軸ＡＸ２）で回転させる。例えば、ＨＵＤ装置２０は、第１の回転軸ＡＸ１で第１ミラー２６を回転させる第１アクチュエータ２８と、第２の回転軸ＡＸ２で第２ミラー２７を回転させる第２アクチュエータ２９と、を含んでいてもよい。

なお、第１の回転軸ＡＸ１の回転により、アイボックス２００の上下方向の移動量が比較的大きくなり、第２の回転軸ＡＸ２の回転により、表示領域１００の上下方向の移動量が比較的大きくなるのであれば、第１の回転軸ＡＸ１と第２の回転軸ＡＸ２との配置は、これらに限定されない。また、アクチュエータによる駆動は、回転に加えて又は代えて、移動を含んでいてもよい。

また、他の実施形態におけるＨＵＤ装置２０は、リレー光学系２５を駆動しなくてもよい。換言すると、ＨＵＤ装置２０は、リレー光学系２５を回転、及び／又は回転させるアクチュエータを有していなくてもよい。この実施形態のＨＵＤ装置２０は、車両１の使用が想定される運転者の目高さのレンジをカバーする広いアイボックス２００を備え得る。

画像表示部２０は、後述する表示制御装置３０の制御に基づいて、車両１のフロントウインドシールド２を介して視認される現実空間（実景）である前景に存在する、走行レーンの路面３１０、分岐路３３０、道路標識、障害物（歩行者３２０、自転車、自動二輪車、他車両など）、及び地物（建物、橋など）などの実オブジェクト３００の近傍、実オブジェクト３００に重なる位置、又は実オブジェクト３００を基準に設定された位置に画像を表示することで、視覚的な拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を視認者（典型的には、車両１の運転席に着座する視認者）に知覚させることもできる。本実施形態の説明では、実景に存在する実オブジェクト３００の位置に応じて、表示される位置を変化させ得る画像をＡＲ画像と定義し、実オブジェクト３００の位置によらず、表示される位置が設定される画像を非ＡＲ画像と定義することとする。以下に、ＡＲ画像の例を説明する。

図３、図４は、車両の内側から視認者が前方を向いた際に視認する前景と、前景に重なって視認される第１の態様のＡＲ画像とを示す図である。第１の態様のＡＲ画像は、視認者から見て表示領域１００の内側に見える実オブジェクト３００に対して表示される。本明細書では、『画像の第１の態様』は、表示領域１００内の後述する第１表示領域１５０内に表示される画像であり、アイボックス２００内の所定の位置（例えば、中心２０５であるが、これに限定されない。）から見て、第１表示領域１５０と重なる実景領域に存在する実オブジェクトに対して表示される際の画像の態様である。すなわち、第１の態様の画像の虚像は、視認者から見ると、実オブジェクトに重なる、実オブジェクトを囲む、実オブジェクトに近接する、などの表現をし得る。他方、『画像の第１の態様』に対する後述する『画像の第２の態様』は、視認者から見て、後述の第１表示領域１５０と重なる実景領域の外側に存在する実オブジェクトに対して表示される際の画像の態様である。

まず、図３を参照する。図３では、実オブジェクト（歩行者）３２０が、視認者から見た表示領域１００（第１表示領域１５０）と重なる実景領域内に存在する。本実施形態の画像表示部２０は、視認者から見た表示領域１００と重なる実景領域内に存在する歩行者３２０に対して、第１の態様のＡＲ画像の虚像Ｖ１０（Ｖ１１，Ｖ１２，Ｖ１３）を表示する。虚像Ｖ１１は、歩行者３２０の位置を指示する歩行者３２０を外側から囲むように位置する矩形の画像であり（実オブジェクト３００の近傍に配置される一例。）、虚像Ｖ１２は、実オブジェクト３００の種類（歩行者）を示すイラストレーションであり、実オブジェクト３００に重ねて配置される画像であり（実オブジェクト３００に重なるように配置される一例。）、そして、第３虚像Ｖ１３は、歩行者３２０の移動方向を示す矢印形状であり、歩行者３２０を基準に、歩行者３２０が移動する方向側にずれた位置に表示される画像である（実オブジェクト３００を基準に設定された位置に配置される一例。）。なお、図３において、表示領域１００を矩形状で図示してあるが、前述したように、表示領域１００は、実際に視認者に視認されない、又は視認されにくい程度に視認性が低い。すなわち、表示器２１の表示面２１ａで表示された画像Ｍの虚像Ｖ１１，Ｖ１２，Ｖ１３が明確に視認され、表示器２１の表示面２１ａ自体の虚像（画像Ｍが表示されていない領域の虚像）は視認されない（視認されにくい）。

次に、図４を参照する。図４では、実オブジェクト（分岐路）３３０が、視認者から見た表示領域１００と重なる実景領域内に存在する。本実施形態の画像表示部２０は、視認者から見た表示領域１００と重なる実景領域内に存在する分岐路３３０に対して、第１の態様のＡＲ画像の虚像Ｖ１０（Ｖ１４）を表示する。虚像Ｖ１４は、視認者から見て、案内経路を示す矢印形状の仮想オブジェクトを、車両１の前景における路面３１０及び分岐路３３０に重なる位置に配置される。また、虚像Ｖ１４は、路面３１０とのなす角度が０［ｄｅｇｒｅｅ］（換言すると、路面３１０と平行）であるように視認されるように配置（角度）が設定された画像である。案内経路は、直進した後に分岐路３３０で右折することを示しており、視認者から見て車両１の走行レーンの路面３１０に重なり、前方の分岐路３３０に向かうように直進方向（Ｚ軸正方向）を指示し、分岐路３３０から先の案内経路を示す部分は、視認者から見て右折方向の分岐路の路面３１０に重なるように右方向（Ｘ軸負方向）を指示する。

図５、図６、及び図７は、車両の内側から視認者が前方を向いた際に視認する前景と、前景に重なって視認される第２の態様のＡＲ画像の虚像とを示す図である。第２の態様のＡＲ画像の虚像は、視認者から見て表示領域１００（後述する第１表示領域１５０の一例）の外側に見える実オブジェクト３００に対して表示される。

まず、図５を参照する。図５の例では、画像表示部２０は、第２の態様のＡＲ画像である虚像Ｖ２０（Ｖ２１）を、表示領域１００の上下左右の外縁の幅のある領域（外縁領域）１１０に表示する。後述する表示制御装置３０は、視認者から見て、表示領域１００の外側に存在する歩行者３２０の近くに虚像Ｖ２１を配置する。虚像Ｖ２１は、例えば、歩行者３２０の位置を基準とした波紋画像であり、静止画、又は動画であってもよい。虚像Ｖ２１は、歩行者３２０の方向を指示するような形状や動きを有していてもよいが、当該形状や動き有していなくてもよい。また、第２の態様のＡＲ画像である虚像Ｖ２１の態様は、これに限定されるものではなく、矢印、テキスト、及び／又はマークなどであってもよい。このように、表示制御装置３０は、歩行者３２０に近い、表示領域１００内の外縁領域１１０に第２の態様のＡＲ画像である虚像Ｖ２１を表示させることで、虚像Ｖ２１と結びつく実オブジェクトを視認者に把握させやすくすることができる。

次に、図６を参照する。図６の例では、画像表示部２０は、第２の態様のＡＲ画像である虚像Ｖ２０（Ｖ２２）を、表示領域１００内の予め定められた所定の領域（固定領域）１２０に表示する。図６の例では、固定領域１２０は、表示領域１００の中央の下側の領域に設定されている。後述する表示制御装置３０は、固定領域１２０に、視認者から見て、表示領域１００の外側に存在する歩行者３２０を指示する形状、及び／又は動きを有する虚像Ｖ２２を配置する。虚像Ｖ２２は、例えば、歩行者３２０の位置を基準とした波紋画像であり、静止画、又は動画であってもよい。また、第２の態様のＡＲ画像である虚像Ｖ２２の態様は、表示領域１００の外側に存在する歩行者３２０を指示する形状、及び／又は動きを含むものであれば、これに限定されるものではなく、１つ又はそれ以上の矢印、テキスト、及び／又はマークなどで構成されてもよい。このように、表示制御装置３０は、予め定められた固定領域１２０に、表示領域１００の外側に存在する歩行者３２０を指示する形状、及び／又は動きを含む第２の態様のＡＲ画像である虚像Ｖ２２を表示させることで、視認者の目位置の移動量を抑えつつ、虚像Ｖ２２と結びつく実オブジェクトを視認者に把握させやすくすることができる。なお、固定領域１２０は、完全に固定という訳ではなく、画像表示部２０に表示する複数の画像のレイアウトによって変更されてもよく、後述するＩ／Ｏインタフェースから取得する実景の状態や車両１の状態によって変更されてもよい。

図７Ａ、図７Ｂ、及び図７Ｃは、第２の態様のＡＲ画像である虚像Ｖ２０（Ｖ２３）の大きさ（表示態様の一例）が、視認者から見た表示領域１００の外側に位置する実オブジェクト３４０の位置に応じて変化する推移を示す図である。視認者から見た実オブジェクト３４０の位置は、車両１の前進に伴い、図７Ａ、図７Ｂ、図７Ｃの順に、左側（Ｘ軸正方向）かつ手前側（Ｚ正負方向）へ徐々に移動していく。この際、後述する画像表示部２０は、実オブジェクト３４０の左側（Ｘ軸正方向）への移動に追従するように、虚像２３も左側（Ｘ軸正方向）への徐々に移動させてもよい。また、後述する画像表示部２０は、実オブジェクト３４０の手前側（Ｚ軸負方向）への移動に追従するように、虚像２３の大きさを徐々に大きくさせてもよい。すなわち、後述する画像表示部２０は、実オブジェクト３４０の位置に応じて、第２の態様のＡＲ画像である虚像Ｖ２３の位置、及び／又は大きさ（表示態様の一例）を変化させてもよい。

図８Ａ、図８Ｂ、及び図８Ｃは、第２の態様のＡＲ画像である虚像Ｖ２０（Ｖ２３）の輝度（表示態様の一例）が、視認者から見た表示領域１００の外側に位置する実オブジェクト３４０の位置に応じて変化する推移を示す図である。視認者から見た実オブジェクト３４０の位置は、車両１の前進に伴い、図８Ａ、図８Ｂ、図８Ｃの順に、左側（Ｘ軸正方向）かつ手前側（Ｚ正負方向）へ徐々に移動していく。この際、後述する画像表示部２０は、実オブジェクト３４０の左側（Ｘ軸正方向）への移動に追従するように、虚像２３も左側（Ｘ軸正方向）への徐々に移動させてもよい。また、後述する画像表示部２０は、実オブジェクト３４０の手前側（Ｚ軸負方向）への移動に追従するように、虚像２３の輝度を徐々に低くさせてもよい。なお、この説明は、画像表示部２０が、実オブジェクト３４０の手前側（Ｚ軸負方向）への移動に追従するように、虚像２３の輝度を徐々に高くすることを否定するものではない。後述する画像表示部２０は、実オブジェクト３４０の位置に応じて、第２の態様のＡＲ画像である虚像Ｖ２３の位置、及び／又は輝度（表示態様の一例）を変化させてもよい。後述する画像表示部２０は、実オブジェクト３４０の位置情報に加えて、車両１の情報、車両１の乗員に関する情報、虚像の表示対象である実オブジェクトの位置以外の情報、及び／又は虚像の表示対象ではない実オブジェクトの位置などの情報に応じて、第２の態様のＡＲ画像である虚像Ｖ２３の表示態様を変化させてもよい。なお、ここでいう虚像の表示態様の変化は、上述したもの以外に、色の変化、明度の変化、点灯と点滅との切り替え、及び／又は表示と非表示との切り替えを含み得る。

図９は、第２の態様の非ＡＲ画像の虚像を説明する図である。図９では、実オブジェクト（分岐路）３３０が、視認者から見た表示領域１００と重なる実景領域の外側に存在する。本実施形態の画像表示部２０は、視認者から見た表示領域１００と重ならない実景領域に存在する分岐路３３０に対して、表示領域１００内の予め定められた所定の領域（固定領域）１２０に、第２の態様の非ＡＲ画像の虚像Ｖ３０（Ｖ３１、Ｖ３２）を表示する。後述する表示制御装置３０は、固定領域１２０に、案内経路（ここでは、右折を示す。）を示す非ＡＲ画像である虚像Ｖ３１と、分岐路までの距離を示す非ＡＲ画像である虚像Ｖ３２を配置する。ここでいう『非ＡＲ画像』とは、実景に存在する実オブジェクトの実空間上の位置に応じて、画像の位置や指示する方向を変化させない画像である。虚像Ｖ３１は、右折方向を示す矢印画像であるが、分岐路３３０の位置に応じて（換言すると、車両１と分岐路３３０との位置関係に応じて）、表示される位置や指示する方向を変化させない場合（具体的には、固定領域１２０に同じ形状を維持する場合）、非ＡＲ画像と分類する。なお、第２の態様の非ＡＲ画像は、表示領域１００の外側に存在する歩行者３２０に関する情報を含むものであれば、これに限定されるものではなく、１つ又はそれ以上のテキスト、及び／又はマークなどで構成されてもよい。

図１０は、視認者から見た表示領域１００と重なる実景領域の外側に存在する歩行者３２０に対して、第２の態様の非ＡＲ画像であるマークで構成された虚像Ｖ３３を表示する例を示す図である。本実施形態の画像表示部２０は、固定領域１２０に、視認者から見た表示領域１００と重なる実景領域の外側に存在する歩行者３２０に対して、第２の態様の非ＡＲ画像の虚像Ｖ３０（Ｖ３３）を表示する。このように、表示制御装置３０は、予め定められた固定領域１２０に、表示領域１００の外側に存在する実オブジェクト（歩行者３２０，分岐路３３０）の存在を報知する第２の態様の非ＡＲ画像である虚像Ｖ３０（Ｖ３１，Ｖ３２，Ｖ３３）を表示させることで、視認者の目位置の移動量を抑えつつ、表示領域１００外の実オブジェクトの存在（接近）を視認者に把握させやすくすることができる。

図１１は、いくつかの実施形態に係る、車両用表示システム１０のブロック図である。表示制御装置３０は、１つ又は複数のＩ／Ｏインタフェース３１、１つ又は複数のプロセッサ３３、１つ又は複数の画像処理回路３５、及び１つ又は複数のメモリ３７を備える。図１１に記載される様々な機能ブロックは、ハードウェア、ソフトウェア、又はこれら両方の組み合わせで構成されてもよい。図１１は、１つの実施形態に過ぎず、図示された構成要素は、より数の少ない構成要素に組み合わされてもよく、又は追加の構成要素があってもよい。例えば、画像処理回路３５（例えば、グラフィック処理ユニット）が、１つ又は複数のプロセッサ３３に含まれてもよい。

図示するように、プロセッサ３３及び画像処理回路３５は、メモリ３７と動作可能に連結される。より具体的には、プロセッサ３３及び画像処理回路３５は、メモリ３７に記憶されているプログラムを実行することで、例えば画像データを生成、及び／又は送信するなど、車両用表示システム１０（画像表示部２０）の操作を行うことができる。プロセッサ３３及び／又は画像処理回路３５は、少なくとも１つの汎用マイクロプロセッサ（例えば、中央処理装置（ＣＰＵ））、少なくとも１つの特定用途向け集積回路（ＡＳＩＣ）、少なくとも１つのフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はそれらの任意の組み合わせを含むことができる。メモリ３７は、ハードディスクのような任意のタイプの磁気媒体、ＣＤ及びＤＶＤのような任意のタイプの光学媒体、揮発性メモリのような任意のタイプの半導体メモリ、及び不揮発性メモリを含む。揮発性メモリは、ＤＲＡＭ及びＳＲＡＭを含み、不揮発性メモリは、ＲＯＭ及びNVRＡMを含んでもよい。

図示するように、プロセッサ３３は、Ｉ／Ｏインタフェース３１と動作可能に連結されている。Ｉ／Ｏインタフェース３１は、例えば、車両に設けられた後述の車両ＥＣＵ４０１、又は他の電子機器（後述する符号４０３～４１７）と、ＣＡＮ（Controller Area Network）の規格に応じて通信（ＣＡＮ通信とも称する）を行う。なお、Ｉ／Ｏインタフェース３１が採用する通信規格は、ＣＡＮに限定されず、例えば、ＣＡＮＦＤ（ＣＡＮ with Flexible Data Rate）、ＬＩＮ（Local Interconnect Network）、Ｅｔｈｅｒｎｅｔ（登録商標）、ＭＯＳＴ（Media Oriented Systems Transport：ＭＯＳＴは登録商標）、ＵＡＲＴ、もしくはＵＳＢなどの有線通信インタフェース、又は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワークなどのパーソナルエリアネットワーク（ＰＡＮ）、８０２．１１ｘ Ｗｉ－Ｆｉ（登録商標）ネットワークなどのローカルエリアネットワーク（ＬＡＮ）等の数十メートル内の近距離無線通信インタフェースである車内通信（内部通信）インタフェースを含む。また、Ｉ／Ｏインタフェース３１は、無線ワイドエリアネットワーク（ＷＷＡＮ０、ＩＥＥＥ８０２．１６－２００４（ＷｉＭＡＸ：Worldwide Interoperability for Microwave Access））、ＩＥＥＥ８０２．１６ｅベース（Ｍｏｂｉｌｅ ＷｉＭＡＸ）、４Ｇ、４Ｇ－ＬＴＥ、ＬＴＥ Ａｄｖａｎｃｅｄ、５Ｇなどのセルラー通信規格により広域通信網（例えば、インターネット通信網）などの車外通信（外部通信）インタフェースを含んでいてもよい。

図示するように、プロセッサ３３は、Ｉ／Ｏインタフェース３１と相互動作可能に連結されることで、車両用表示システム１０（Ｉ／Ｏインタフェース３１）に接続される種々の他の電子機器等と情報を授受可能となる。Ｉ／Ｏインタフェース３１には、例えば、車両ＥＣＵ４０１、道路情報データベース４０３、自車位置検出部４０５、車外センサ４０７、操作検出部４０９、目位置検出部４１１、視線方向検出部４１３、携帯情報端末４１５、及び外部通信機器４１７などが動作可能に連結される。なお、Ｉ／Ｏインタフェース３１は、車両用表示システム１０に接続される他の電子機器等から受信する情報を加工（変換、演算、解析）する機能を含んでいてもよい。

表示器２１は、プロセッサ３３及び画像処理回路３５に動作可能に連結される。したがって、画像表示部２０によって表示される画像は、プロセッサ３３及び／又は画像処理回路３５から受信された画像データに基づいてもよい。プロセッサ３３及び画像処理回路３５は、Ｉ／Ｏインタフェース３１から取得される情報に基づき、画像表示部２０が表示する画像を制御する。

車両ＥＣＵ４０１は、車両１に設けられたセンサやスイッチから、車両１の状態（例えば、走行距離、車速、アクセルペダル開度、ブレーキペダル開度、エンジンスロットル開度、インジェクター燃料噴射量、エンジン回転数、モータ回転数、ステアリング操舵角、シフトポジション、ドライブモード、各種警告状態、姿勢（ロール角、及び／又はピッチング角を含む）、車両の振動（振動の大きさ、頻度、及び／又は周波数を含む））などを取得し、車両１の前記状態を収集、及び管理（制御も含んでもよい。）するものであり、機能の一部として、車両１の前記状態の数値（例えば、車両１の車速。）を示す信号を、表示制御装置３０のプロセッサ３３へ出力することができる。なお、車両ＥＣＵ４０１は、単にセンサ等で検出した数値（例えば、ピッチング角が前傾方向に３［ｄｅｇｒｅｅ］。）をプロセッサ３３へ送信することに加え、又はこれに代わり、センサで検出した数値を含む車両１の１つ又は複数の状態に基づく判定結果（例えば、車両１が予め定められた前傾状態の条件を満たしていること。）、若しくは／及び解析結果（例えば、ブレーキペダル開度の情報と組み合わせされて、ブレーキにより車両が前傾状態になったこと。）を、プロセッサ３３へ送信してもよい。例えば、車両ＥＣＵ４０１は、車両１が車両ＥＣＵ４０１のメモリ（不図示）に予め記憶された所定の条件を満たすような判定結果を示す信号を表示制御装置３０へ出力してもよい。なお、Ｉ／Ｏインタフェース３１は、車両ＥＣＵ４０１を介さずに、車両１に設けられた車両１に設けられたセンサやスイッチから、上述したような情報を取得してもよい。

また、車両ＥＣＵ４０１は、車両用表示システム１０が表示する画像を指示する指示信号を表示制御装置３０へ出力してもよく、この際、画像の座標、サイズ、種類、表示態様、画像の報知必要度、及び／又は報知必要度を判定する元となる必要度関連情報を、前記指示信号に付加して送信してもよい。

道路情報データベース４０３は、車両１に設けられた図示しないナビゲーション装置、又は車両１と車外通信インタフェース（Ｉ／Ｏインタフェース３１）を介して接続される外部サーバー、に含まれ、後述する自車位置検出部４０５から取得される車両１の位置に基づき、車両１の周辺の情報（車両１の周辺の実オブジェクト関連情報）である車両１が走行する道路情報（車線，白線，停止線，横断歩道，道路の幅員，車線数，交差点，カーブ，分岐路，交通規制など）、地物情報（建物、橋、河川など）の、有無、位置（車両１までの距離を含む）、方向、形状、種類、詳細情報などを読み出し、プロセッサ３３に送信してもよい。また、道路情報データベース４０３は、出発地から目的地までの適切な経路（ナビゲーション情報）を算出し、当該ナビゲーション情報を示す信号、又は経路を示す画像データをプロセッサ３３へ出力してもよい。

自車位置検出部４０５は、車両１に設けられたＧＮＳＳ（全地球航法衛星システム）等であり、現在の車両１の位置、方位を検出し、検出結果を示す信号を、プロセッサ３３を介して、又は直接、道路情報データベース４０３、後述する携帯情報端末４１５、及び／もしくは外部通信機器４１７へ出力する。道路情報データベース４０３、後述する携帯情報端末４１５、及び／又は外部通信機器４１７は、自車位置検出部４０５から車両１の位置情報を連続的、断続的、又は所定のイベント毎に取得することで、車両１の周辺の情報を選択・生成して、プロセッサ３３へ出力してもよい。

車外センサ４０７は、車両１の周辺（前方、側方、及び後方）に存在する実オブジェクト３００を検出する。車外センサ４０７が検知する実オブジェクト３００は、例えば、障害物（歩行者、自転車、自動二輪車、他車両など）、後述する走行レーンの路面３１０、区画線、路側物、及び／又は地物（建物など）などを含んでいてもよい。車外センサとしては、例えば、ミリ波レーダ、超音波レーダ、レーザレーダ等のレーダセンサ、カメラ、又はこれらの組み合わせからなる検出ユニットと、当該１つ又は複数の検出ユニットからの検出データを処理する（データフュージョンする）処理装置と、から構成される。これらレーダセンサやカメラセンサによる物体検知については従来の周知の手法を適用する。これらのセンサによる物体検知によって、三次元空間内での実オブジェクトの有無、実オブジェクトが存在する場合には、その実オブジェクトの位置（車両１からの相対的な距離、車両１の進行方向を前後方向とした場合の左右方向の位置、上下方向の位置等）、大きさ（横方向（左右方向）、高さ方向（上下方向）等の大きさ）、移動方向（横方向（左右方向）、奥行き方向（前後方向））、移動速度（横方向（左右方向）、奥行き方向（前後方向））、及び／又は種類等を検出してもよい。１つ又は複数の車外センサ４０７は、各センサの検知周期毎に、車両１の前方の実オブジェクトを検知して、実オブジェクト情報の一例である実オブジェクト情報（実オブジェクトの有無、実オブジェクトが存在する場合には実オブジェクト毎の位置、大きさ、及び／又は種類等の情報）をプロセッサ３３に出力することができる。なお、これら実オブジェクト情報は、他の機器（例えば、車両ＥＣＵ４０１）を経由してプロセッサ３３に送信されてもよい。また、夜間等の周辺が暗いときでも実オブジェクトが検知できるように、センサとしてカメラを利用する場合には赤外線カメラや近赤外線カメラが望ましい。また、センサとしてカメラを利用する場合、視差で距離等も取得できるステレオカメラが望ましい。

操作検出部４０９は、例えば、車両１のＣＩＤ（Ｃｅｎｔｅｒ Ｉｎｆｏｒｍａｔｉｏｎ Ｄｉｓｐｌａｙ）、インストルメントパネルなどに設けられたハードウェアスイッチ、又は画像とタッチセンサなどとを兼ね合わされたソフトウェアスイッチなどであり、車両１の乗員（運転席の着座するユーザ、及び／又は助手席に着座するユーザ）による操作に基づく操作情報を、プロセッサ３３へ出力する。例えば、操作検出部４０９は、ユーザの操作により、表示領域１００を移動させる操作に基づく表示領域設定情報、アイボックス２００を移動させる操作に基づくアイボックス設定情報、視認者の目位置４を設定する操作に基づく情報（目位置情報の一例）などを、プロセッサ３３へ出力する。

目位置検出部４１１は、車両１の運転席に着座する視認者の目の位置を検出する赤外線カメラなどのカメラを含み、撮像した画像を、プロセッサ３３に出力してもよい。プロセッサ３３は、目位置検出部４１１から撮像画像（目の位置を推定可能な情報の一例）を取得し、この撮像画像を解析することで視認者の目の位置を特定することができる。目位置検出部４１１は、カメラの撮像画像を解析し、解析結果である視認者の目の位置を示す信号をプロセッサ３３に出力してもよい。なお、車両１の視認者の目の位置、又は視認者の目の位置を推定可能な情報を取得する方法は、これらに限定されるものではなく、既知の目位置検出（推定）技術を用いて取得されてもよい。プロセッサ３３は、視認者の目の位置に基づき、画像の位置を少なくとも調整することで、前景の所望の位置（実オブジェクトとの特定の位置関係になる位置）に重畳した画像を、目位置を検出した視認者（視認者）に視認させてもよい。

視線方向検出部４１３は、車両１の運転席に着座する視認者の顔を撮像する赤外線カメラ、又は可視光カメラを含み、撮像した画像を、プロセッサ３３に出力してもよい。プロセッサ３３は、視線方向検出部４１３から撮像画像（視線方向を推定可能な情報の一例）を取得し、この撮像画像を解析することで視認者の視線方向（及び／又は前記注視位置）を特定することができる。なお、視線方向検出部４１３は、カメラからの撮像画像を解析し、解析結果である視認者の視線方向（及び／又は前記注視位置）を示す信号をプロセッサ３３に出力してもよい。なお、車両１の視認者の視線方向を推定可能な情報を取得する方法は、これらに限定されるものではなく、ＥＯＧ（Ｅｌｅｃｔｒｏ－ｏｃｕｌｏｇｒａｍ）法、角膜反射法、強膜反射法、プルキンエ像検出法、サーチコイル法、赤外線眼底カメラ法などの他の既知の視線方向検出（推定）技術を用いて取得されてもよい。

携帯情報端末４１５は、スマートフォン、ノートパソコン、スマートウォッチ、又は視認者（又は車両１の他の乗員）が携帯可能なその他の情報機器である。Ｉ／Ｏインタフェース３１は、携帯情報端末４１５とペアリングすることで、携帯情報端末４１５と通信を行うことが可能であり、携帯情報端末４１５（又は携帯情報端末を通じたサーバ）に記録されたデータを取得する。携帯情報端末４１５は、例えば、上述の道路情報データベース４０３及び自車位置検出部４０５と同様の機能を有し、前記道路情報（実オブジェクト関連情報の一例）を取得し、プロセッサ３３に送信してもよい。また、携帯情報端末４１５は、車両１の近傍の商業施設に関連するコマーシャル情報（実オブジェクト関連情報の一例）を取得し、プロセッサ３３に送信してもよい。なお、携帯情報端末４１５は、携帯情報端末４１５の所持者（例えば、視認者）のスケジュール情報、携帯情報端末４１５での着信情報、メールの受信情報などをプロセッサ３３に送信し、プロセッサ３３及び画像処理回路３５は、これらに関する画像データを生成及び／又は送信してもよい。

外部通信機器４１７は、車両１と情報のやりとりをする通信機器であり、例えば、車両１と車車間通信（Ｖ２Ｖ：Ｖｅｈｉｃｌｅ Ｔｏ Ｖｅｈｉｃｌｅ）により接続される他車両、歩車間通信（Ｖ２Ｐ：Ｖｅｈｉｃｌｅ Ｔｏ Ｐｅｄｅｓｔｒｉａｎ）により接続される歩行者（歩行者が携帯する携帯情報端末）、路車間通信（Ｖ２Ｉ：Ｖｅｈｉｃｌｅ Ｔｏ ｒｏａｄｓｉｄｅ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）により接続されるネットワーク通信機器であり、広義には、車両１との通信（Ｖ２Ｘ：Ｖｅｈｉｃｌｅ Ｔｏ Ｅｖｅｒｙｔｈｉｎｇ）により接続される全てのものを含む。外部通信機器４１７は、例えば、歩行者、自転車、自動二輪車、他車両（先行車等）、路面、区画線、路側物、及び／又は地物（建物など）の位置を取得し、プロセッサ３３へ出力してもよい。また、外部通信機器４１７は、上述の自車位置検出部４０５と同様の機能を有し、車両１の位置情報を取得し、プロセッサ３３に送信してもよく、さらに上述の道路情報データベース４０３の機能も有し、前記道路情報（実オブジェクト関連情報の一例）を取得し、プロセッサ３３に送信してもよい。なお、外部通信機器４１７から取得される情報は、上述のものに限定されない。

メモリ３７に記憶されたソフトウェア構成要素は、実オブジェクト情報検出モジュール５０２、実オブジェクト位置特定モジュール５０４、報知必要度判定モジュール５０６、目位置検出モジュール５０８、車両姿勢検出モジュール５１０、表示領域設定モジュール５１２、実オブジェクト位置判定モジュール５１４、実景領域区分モジュール５１６、画像種類設定モジュール５１８、画像配置設定モジュール５２０、画像サイズ設定モジュール５２２、視線方向判定モジュール５２４、グラフィックモジュール５２６、及び駆動モジュール５２８を含む。

実オブジェクト情報検出モジュール５０２は、車両１の前方に存在する実オブジェクト３００の少なくとも位置を含む情報（実オブジェクト情報とも呼ぶ）を取得する。実オブジェクト情報検出モジュール５０２は、例えば、車外センサ４０７から、車両１の前景に存在する実オブジェクト３００の位置（車両１の運転席にいる視認者から車両１の進行方向（前方）を視認した際の高さ方向（上下方向）、横方向（左右方向）の位置であり、これらに、奥行き方向（前方向）の位置（距離）が追加されてもよい。）、及び実オブジェクト３００のサイズ（高さ方向、横方向のサイズ。）、車両１に対する相対速度（相対的な移動方向も含む。）、を含む情報（実オブジェクト情報の一例）を取得してもよい。また、実オブジェクト情報検出モジュール５０２は、外部通信機器４１７を介して実オブジェクト（例えば、他車両）の位置、相対速度、種類、他車両の方向指示器の点灯状態、舵角操作の状態、及び／又は運転支援システムによる進行予定経路、進行スケジュール、を示す情報（実オブジェクト関連情報の一例）を取得してもよい。

また、実オブジェクト情報検出モジュール５０２は、車外センサ４０７から、車両１の走行レーンの路面３１０（図３参照）の左側の区画線３１１（図３参照）の位置と、右側の区画線３１２（図３参照）の位置とを取得し、それら左右の区画線３１１，３１２の間の領域（走行レーンの路面３１０）を認識してもよい。

また、実オブジェクト情報検出モジュール５０２は、後述する虚像Ｖのコンテンツ（以下では、適宜「画像の種類」ともいう）を決定する元となる、車両１の前景に存在する実オブジェクトに関する情報（実オブジェクト関連情報）を検出してもよい。実オブジェクト関連情報は、例えば、実オブジェクトが、歩行者、建物、又は他車両であるなどの実オブジェクトの種類を示す種類情報、実オブジェクトの移動方向を示す移動方向情報、実オブジェクトまでの距離や到達時間を示す距離時間情報、又は駐車場（実オブジェクトの一例。）の料金などの実オブジェクトの個別詳細情報、である（但し、これらに限定されない）。例えば、実オブジェクト情報検出モジュール５０２は、道路情報データベース４０３又は携帯情報端末４１５から種類情報、距離時間情報、及び／もしくは個別詳細情報を取得し、車外センサ４０７から種類情報、移動方向情報、及び／もしくは距離時間情報を取得し、並びに／又は外部通信機器４１７から種類情報、移動方向情報、距離時間情報、及び／もしくは個別詳細情報を検出してもよい。

実オブジェクト位置特定モジュール５０４は、Ｉ／Ｏインタフェース３１を介して、車外センサ４０７、若しくは外部通信機器４１７から実オブジェクト３００の現在の位置を示す観測位置を取得し、又はこれら２つ以上の観測位置をデータフュージョンした実オブジェクトの観測位置を取得し、取得した観測位置に基づいて実オブジェクト３００の位置（特定位置とも呼ぶ。）を設定する。後述する画像配置設定モジュール５２０は、この実オブジェクト位置特定モジュール５０４が設定した実オブジェクト３００の特定位置を基準に画像の位置を決定する。

実オブジェクト位置特定モジュール５０４は、直前に取得した実オブジェクト３００の観測位置に基づいて実オブジェクト３００の位置を特定してもよいが、これに限定されず、少なくとも直前に取得した実オブジェクト３００の観測位置を含む過去に取得した１つ又は複数の実オブジェクト３００の観測位置を元に予測される所定の時刻における実オブジェクトの予測位置に基づいて実オブジェクト３００の位置を特定（推定）してもよい。すなわち、実オブジェクト位置特定モジュール５０４と後述する画像配置設定モジュール５２０を実行することで、プロセッサ３３は、直前に取得した実オブジェクト３００の観測位置に基づいて虚像Ｖの位置を設定し得るし、少なくとも直前に取得した実オブジェクト３００の観測位置を含む過去に取得した１つ又は複数の実オブジェクト３００の観測位置を元に予測される虚像Ｖの表示更新タイミングにおける実オブジェクト３００の予測位置に基づいて虚像Ｖの位置を設定し得る。なお、実オブジェクト位置特定モジュール５０４による予測位置の算出方法に特段の制約はなく、実オブジェクト位置特定モジュール５０４が処理対象とする表示更新タイミングよりも過去に取得された観測位置に基づいて予測を行う限り、如何なる手法を用いてもよい。実オブジェクト位置特定モジュール５０４は、例えば、最小二乗法や、カルマンフィルタ、α－βフィルタ、又はパーティクルフィルタなどの予測アルゴリズムを用いて、過去の１つ又は複数の観測位置を用いて、次回の値を予測するようにしてもよい。なお、車両用表示システム１０は、実オブジェクトの観測位置、及び／又は予測位置を取得できればよく、実オブジェクトの予測位置を設定する（算出する）機能を有していなくてもよく、実オブジェクトの予測位置を設定する（算出する）機能の一部又は全部は、車両用表示システム１０の表示制御装置３０とは別（例えば、車両ＥＣＵ４０１）に設けられてもよい。

報知必要度判定モジュール５０６は、車両用表示システム１０が表示する各虚像Ｖのコンテンツが視認者に報知するべき内容であるかを判定する。報知必要度判定モジュール５０６は、Ｉ／Ｏインタフェース３１に接続される種々の他の電子機器から情報を取得し、報知必要度を算出してもよい。また、図１１でＩ／Ｏインタフェース３１に接続された電子機器が車両ＥＣＵ４０１に情報を送信し、受信した情報に基づき車両ＥＣＵ４０１が決定した報知必要度を、報知必要度判定モジュール５０６が検出（取得）してもよい。『報知必要度』は、例えば、起こり得る自体の重大さの程度から導き出される危険度、反応行動を起こすまでに要求される反応時間の長短から導き出される緊急度、車両１や視認者（又は車両１の他の乗員）の状況から導き出される有効度、又はこれらの組み合わせなどで決定され得る（報知必要度の指標はこれらに限定されない）。報知必要度判定モジュール５０６は、報知必要度を推定する元となる必要度関連情報を検出し、これから報知必要度を推定してもよい。画像の報知必要度を推定する元となる必要度関連情報は、例えば、実オブジェクトや交通規制（道路情報の一例）の位置、種類などで推定されてもよく、Ｉ／Ｏインタフェース３１に接続される種々の他の電子機器から入力される他の情報に基づいて、又は他の情報を加味して推定されてもよい。すなわち、報知必要度判定モジュール５０６は、視認者に報知すべきかを判定し、後述する画像を表示しないことも選択し得る。なお、車両用表示システム１０は、報知必要度を取得できればよく、報知必要度を推定する（算出する）機能を有していなくてもよく、報知必要度を推定する機能の一部又は全部は、車両用表示システム１０の表示制御装置３０とは別（例えば、車両ＥＣＵ４０１）に設けられてもよい。

目位置検出モジュール５０８は、車両１の視認者の目の位置を検出する。目位置検出モジュール５０８は、複数段階で設けられた高さ領域のどこに視認者の目の高さがあるかの判定、視認者の目の高さ（Ｙ軸方向の位置）の検出、視認者の目の高さ（Ｙ軸方向の位置）及び奥行方向の位置（Ｚ軸方向の位置）の検出、及び／又は視認者の目の位置（Ｘ，Ｙ，Ｚ軸方向の位置）の検出、に関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。目位置検出モジュール５０８は、例えば、目位置検出部４１１から視認者の目の位置を取得する、又は、目位置検出部４１１から視認者の目の高さを含む目の位置を推定可能な情報を受信し、視認者の目の高さを含む目の位置を推定する。目の位置を推定可能な情報は、例えば、車両１の運転席の位置、視認者の顔の位置、座高の高さ、視認者による図示しない操作部での入力値などであってもよい。

車両姿勢検出モジュール５１０は、車両１に搭載され、車両１の姿勢を検出する。車両姿勢検出モジュール５１０は、複数段階で設けられた姿勢領域のどこに車両１の姿勢があるかの判定、車両１の地球座標系における角度（ピッチング角、ローリング角）の検出、車両１の路面に対する角度（ピッチング角、ローリング角）の検出、及び／又は車両１の路面に対する高さ（Ｙ軸方向の位置）の検出、に関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。車両姿勢検出モジュール５１０は、例えば、車両１に設けられた三軸加速度センサ（不図示）と、前記三軸加速度センサが検出した三軸加速度を解析することで、水平面を基準とした車両１のピッチング角（車両姿勢）を推定し、車両１のピッチング角に関する情報を含む車両姿勢情報をプロセッサ３３に出力する。なお、車両姿勢検出モジュール５１０は、前述した三軸加速度センサ以外に、車両１のサスペンション近傍に配置されるハイトセンサ（不図示）で構成されてもよい。このとき、車両姿勢検出モジュール５１０は、前記ハイトセンサが検出する車両１の地面からの高さを解析することで、前述したように車両１のピッチング角を推定し、車両１のピッチング角に関する情報を含む車両姿勢情報をプロセッサ３３に出力する。なお、車両姿勢検出モジュール５１０が、車両１のピッチング角を求める方法は、上述した方法に限定されず、公知のセンサや解析方法を用いて車両１のピッチング角を求めてもよい。

表示領域設定モジュール５１２は、入力する視認者の目位置４の情報や設定情報に基づき、第１アクチュエータ２８の回転量（角度）、及び第２アクチュエータ２９の回転量（角度）、を設定する。表示領域１００の位置は、当該アクチュエータの回転量（角度）により決定され得る。したがって、当該アクチュエータの回転量（角度）は、表示領域１００の位置を推定可能な情報の一例である。例えば、表示領域設定モジュール５１２は、目位置検出モジュール５０８で検出した目位置情報、目位置検出モジュール５０８で推定した目位置推定情報に基づき、第１アクチュエータ２８の回転量（角度）、及び第２アクチュエータ２９の回転量（角度）、を設定すること、に関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。すなわち、表示領域設定モジュール５１２は、目位置、又は目の位置を推定可能な情報から、第１の回転軸ＡＸ１を軸とした回転量（角度）、及び第２の回転軸ＡＸ２を軸とした回転量（角度）、を設定するためのテーブルデータ、演算式、などを含み得る。

また、表示領域設定モジュール５１２は、入力する視認者の目位置４の情報や設定情報に基づき、表示器２１の表示面２１ａのうち使用する領域を変更してもよい。すなわち、表示領域設定モジュール５１２は、表示器２１の表示面２１ａで画像の表示に使用する領域を変更することで、虚像Ｖの表示に使用される表示領域１００の位置を変更することもできる。したがって、表示器２１の表示面２１ａで画像の表示に使用する領域を示す情報は、表示領域１００の位置を推定可能な情報の一例と言える。

また、表示領域設定モジュール５１２は、操作検出部４０９による操作や車両ＥＣＵ４０１からの指示に基づき、第１の回転軸ＡＸ１を軸とした回転量（角度）、及び第２の回転軸ＡＸ２を軸とした回転量（角度）、を設定してもよい。例えば、表示領域設定モジュール５１２は、（１）図示しない視認者識別部から取得した視認者の好みのアイボックスの位置情報（アイボックス位置設定情報の一例）、好みの表示領域の位置情報（表示領域設定情報の一例）、（２）車両１に設けられた操作検出部（付随）から取得した、ユーザの操作に基づく、表示領域１００を移動させる操作に基づく表示領域設定情報、アイボックス２００を移動させる操作に基づくアイボックス設定情報、（３）車両ＥＣＵ４０１から取得した、車両ＥＣＵ４０１が決定した表示領域１００の位置を示す表示領域設定情報、アイボックス２００の位置を示すアイボックス設定情報などから、第１の回転軸ＡＸ１を軸とした第１アクチュエータ２８の回転量（角度）、及び第２の回転軸ＡＸ２を軸とした第２アクチュエータ２９の回転量（角度）、を設定すること、に関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。

なお、表示領域設定モジュール５１２は、表示領域１００を所定の位置に移動させるための表示領域設定情報を取得した場合、アイボックス２００の位置を維持する、又はアイボックス２００の移動量を小さく抑えるように、表示領域１００を所定の位置に移動させるための駆動量に加え、第１の回転軸ＡＸ１を軸とした回転量（角度）、及び第２の回転軸ＡＸ２を軸とした回転量（角度）、を設定（補正）し得る。また、逆に、表示領域設定モジュール５１２は、アイボックス２００を所定の位置に移動させるためのアイボックス設定情報のみを取得した場合、表示領域１００の位置を維持する、又は表示領域１００の移動量を小さく抑えるように、アイボックス２００を所定の位置に移動させるための駆動量に加え、第１の回転軸ＡＸ１を軸とした回転量（角度）、及び第２の回転軸ＡＸ２を軸とした回転量（角度）、を設定（補正）し得る。

このように、複数のアクチュエータを用いて、表示領域１００及びアイボックス２００を移動させる方法（装置）としては、例えば、本出願人による特願２０１９－１７８８１２号に記載の方法（装置）を採用してもよい。また、他の実施形態におけるＨＵＤ装置２０が、リレー光学系２５を移動させるアクチュエータを有する場合、表示領域設定モジュール５１２は、１つ又は複数のアクチュエータによるリレー光学系２５の移動量を設定し得る。

また、表示領域設定モジュール５１２は、車両用表示システムが搭載される車両１の種類に応じて設定され、予めメモリ３７に記憶される、表示領域１００（及び／又は後述する第１表示領域１５０）の位置を基準に、上述した表示領域１００を推定可能な情報に基づき補正することで、現在の表示領域１００の位置を推定し、メモリ３７に記憶させてもよい。

実オブジェクト位置判定モジュール５１４は、実オブジェクト３００の位置が、第１判定実景領域Ｒ１０内に入るか否か、及び第２判定実景領域Ｒ２０内に入るか否か、を判定する。すなわち、表示領域設定モジュール５１２は、実オブジェクトの観測位置、及び／又は予測位置から、その実オブジェクトが第１判定実景領域Ｒ１０内に入るか否か、及び第２判定実景領域Ｒ２０内に入るか否か、を判定するための判定値、テーブルデータ、演算式などを含み得る。例えば、実オブジェクト位置判定モジュール５１４は、実オブジェクトの観測位置、及び／又は予測位置と比較するための、第１判定実景領域Ｒ１０内に入るか否かの判定値（左右方向（Ｘ軸方向）の位置、上下方向（Ｙ軸方向）の位置）、及び第２判定実景領域Ｒ２０内に入るか否かの判定値（左右方向（Ｘ軸方向）の位置、上下方向（Ｙ軸方向）の位置）、などを含み得る。これら第１判定実景領域Ｒ１０内に入るか否かの判定値、及び第２判定実景領域Ｒ２０内に入るか否かの判定値は、後述する実景領域区分モジュール５１６により設定される（変更される）。

実景領域区分モジュール５１６は、実オブジェクトが、第１判定実景領域Ｒ１０内に入るか否かの判定値の範囲、及び第２判定実景領域Ｒ２０内に入るか否かの判定値の範囲を設定する。

実景領域区分モジュール５１６及び実オブジェクト位置判定モジュール５１４による第１乃至第５の判定方法は、以下に説明されるが、後述するように、視認者の目位置４、表示領域１００（第１表示領域１５０）の位置、車両１の姿勢などに応じて、第２判定実景領域Ｒ２０内に入ると判定される範囲が変更されるのであれば、これらに限定されない。

（第１の設定方法）
第１の設定方法において、実オブジェクト位置判定モジュール５１４は、実オブジェクト位置特定モジュール５０４から取得する実オブジェクトの観測位置、及び／又は予測位置と、メモリ３７に予め記憶された判定値とに基づき、実オブジェクト３００の位置が、第１判定実景領域Ｒ１０内に入るか否か、及び第２判定実景領域Ｒ２０内に入るか否か、を判定する。

図１２Ａ、図１２Ｂは、車両１の左右方向（Ｘ軸方向）から見た場合の、アイボックス２００と、第１の態様の画像の虚像Ｖ１０を表示する第１表示領域１５０、第１判定実景領域Ｒ１０、及び第２判定実景領域Ｒ２０、の位置関係を示す図である。図１２Ａは、実オブジェクト３００が、第１判定実景領域Ｒ１０内に入る場合を示し、図１２Ｂは、実オブジェクト３００が、第２判定実景領域Ｒ２０内に入る場合を示す。

一実施形態において、第１判定実景領域Ｒ１０は、表示領域１００内で第１の態様の画像の虚像Ｖ１０を表示する第１表示領域１５０の上端１５０ａとアイボックス２００の中心２０５（アイボックス２００内の所定の位置の一例であり、これに限定されない。）とを結ぶ線と、第１表示領域１５０の下端１５０ｂとアイボックス２００の中心２０５（アイボックス２００内の所定の位置の一例であり、これに限定されない。）とを結ぶ線と、の間の領域である。また、第２判定実景領域Ｒ２０は、第１判定実景領域Ｒ１０の上側（Ｙ軸正方向）に隣接する所定範囲の領域である。ここでいう、第１の態様の画像の虚像Ｖ１０を表示する第１表示領域１５０は、表示領域１００内の表示領域１００より小さい所定の領域であってもよく、表示領域１００と一致していてもよい（図３～図１０の例では、第１表示領域１５０と表示領域１００とが一致している。）。典型的には、アイボックス２００と、第１表示領域１５０とは、車両用表示システム１０が搭載される車両１の種類に応じて設定されるため、第１判定実景領域Ｒ１０、及び第２判定実景領域Ｒ２０は、車両１の種類毎に予め一定の値に設定され、メモリ３７に記憶される。但し、第１判定実景領域Ｒ１０、及び第２判定実景領域Ｒ２０は、車両１の個体差、ＨＵＤ装置２０の個体差（車両１への組付け誤差も含む。）、車両１に設けられた車外センサ４０７の個体差（車両１への組付け誤差も含む。）などを考慮したキャリブレーションにより、車両用表示システム１０の個体毎に、予め設定され、メモリ３７に記憶されてもよい。

具体的には、図１２Ａに示すように、アイボックス２００の中心２０５と、実オブジェクト３００とを結ぶ直線が、実景の第１判定実景領域Ｒ１０の範囲内を通る場合には、実オブジェクト位置判定モジュール５１４は、実オブジェクト３００が第１判定実景領域Ｒ１０内に入っていると判定する。他方で、図１２Ｂに示すように、アイボックス２００の中心２０５と、実オブジェクト３００とを結ぶ直線が、第２判定実景領域Ｒ２０の範囲内を通る場合には、実オブジェクト位置判定モジュール５１４は、実オブジェクト３００が第２判定実景領域Ｒ２０内に入っていると判定する。

（第２の設定方法）
実オブジェクト位置判定モジュール５１４は、上述の第１の設定方法に加えて、又は代えて、以下の第２の設定方法を実行し得る。第２の設定方法において、実オブジェクト位置判定モジュール５１４は、実オブジェクト位置特定モジュール５０４から取得する実オブジェクトの観測位置、及び／又は予測位置と、表示領域設定モジュール５１２から取得する表示領域１００の位置（又は表示領域１００の位置を推定可能な情報）と、に基づき、実オブジェクト３００が、第１判定実景領域Ｒ１０内に入るか否か、及び第２の態様の画像の虚像Ｖを表示する第２判定実景領域Ｒ２０内に入るか否か、を判定する。第２の設定方法では、実景領域区分モジュール５１６は、表示領域１００の位置に応じて、第１判定実景領域Ｒ１０の範囲と、第２判定実景領域Ｒ２０の範囲とを変更するする。すなわち、実景領域区分モジュール５１６は、表示領域設定モジュール５１２から取得する表示領域１００の位置（又は表示領域１００の位置を推定可能な情報）から、第１判定実景領域Ｒ１０、及び第２判定実景領域Ｒ２０を設定するためのテーブルデータ、演算プログラムなどを含み得る。当該テーブルデータは、例えば、表示領域１００の位置と、第１判定実景領域Ｒ１０内に入るか否かの判定値（左右方向（Ｘ軸方向）の位置、上下方向（Ｙ軸方向）の位置）とを対応付けたデータ、及び表示領域１００の位置と、第２判定実景領域Ｒ２０内に入るか否かの判定値（左右方向（Ｘ軸方向）の位置、上下方向（Ｙ軸方向）の位置）とを対応付けたデータである。

図１３Ａ、図１３Ｂ、図１３Ｃは、車両１の左右方向（Ｘ軸方向）から見た場合の、表示領域１００の位置の変化に応じた、第１判定実景領域Ｒ１０、及び第２判定実景領域Ｒ２０の範囲の変化を示す図である。表示領域１００は、ＨＵＤ装置２０の第１ミラー２６を回転させることで、図１３Ａ、図１３Ｂ、図１３Ｃの順に、徐々に下側（Ｙ軸負方向）に移動されている。

実景領域区分モジュール５１６は、表示領域１００の位置に応じて、第１判定実景領域Ｒ１０、及び第２判定実景領域Ｒ２０の範囲を変更し、実オブジェクト位置判定モジュール５１４は、実オブジェクト３００が、実景領域区分モジュール５１６で変更された第１判定実景領域Ｒ１０内に入るか否か、及び適宜変更された第２判定実景領域Ｒ２０内に入るか否かを判定する。一実施形態において、第１判定実景領域Ｒ１０は、表示領域１００内で第１の態様の画像の虚像Ｖ１０を表示する第１表示領域１５０の上端１５０ａとアイボックス２００の中心２０５（アイボックス２００内の所定の位置の一例であり、これに限定されない。）とを結ぶ線と、第１表示領域１５０の下端１５０ｂとアイボックス２００の中心２０５（アイボックス２００内の所定の位置の一例であり、これに限定されない。）とを結ぶ線と、の間の領域である。また、第２判定実景領域Ｒ２０は、第１判定実景領域Ｒ１０の上側（Ｙ軸正方向）に隣接する所定範囲の領域である。

具体的には、実景領域区分モジュール５１６は、図１３Ｂに示すように、第１表示領域１５１が、図１３Ａに示す第１表示領域１５０より下に配置される場合、第１判定実景領域Ｒ１２も、第１判定実景領域Ｒ１０より下に配置する。この際、実景領域区分モジュール５１６は、第１判定実景領域Ｒ１２の上側（Ｙ軸正方向）に隣接する第２判定実景領域Ｒ２２の範囲を拡大して設定する（Ｒ２２＞Ｒ２１）。換言すると、表示領域１００（第１表示領域１５０）の位置が基準の位置からずれる場合、実景領域区分モジュール５１６は、第２判定実景領域Ｒ２０を拡大する。図１３Ｂに示すように、アイボックス２００の中心２０５と、実オブジェクト３００とを結ぶ直線が、第２判定実景領域Ｒ２２の範囲内を通る場合には、実オブジェクト位置判定モジュール５１４は、実オブジェクト３００が第２判定実景領域Ｒ２２内に入っていると判定する。

さらに、図１３Ｃに示すように、第１表示領域１５２が、図１３Ｂに示す第１表示領域１５１より下に配置される場合、第１判定実景領域Ｒ１３も、第１判定実景領域Ｒ１２より下に配置される。この際、実オブジェクト位置判定モジュール５１４は、第１判定実景領域Ｒ１３の上側（Ｙ軸正方向）に隣接する第２判定実景領域Ｒ２３の範囲をさらに拡げる（Ｒ２３＞Ｒ２２）。図１３Ｃに示すように、アイボックス２００の中心２０５と、実オブジェクト３００とを結ぶ直線が、第２判定実景領域Ｒ２３の範囲内を通る場合には、実オブジェクト位置判定モジュール５１４は、実オブジェクト３００が第２判定実景領域Ｒ２３内に入っていると判定する。

すなわち、第２の設定方法では、図１３Ａに示す第１表示領域１５０（表示領域１００）が重なる第１判定実景領域Ｒ１１を基準表示領域とした場合、表示領域１００の位置の変更に伴い、第１表示領域１５０（表示領域１００）が重なる第１判定実景領域Ｒ１０が、第１標準実景領域Ｒ１０ｓから離れるに従い、第２判定実景領域Ｒ２０を拡げる。これによれば、実オブジェクト３００に対する画像を第２態様で表示させる領域が拡大されるため、第１態様で画像を表示する領域から外れてしまった実オブジェクト３００に対して第２態様の画像で視認者に認識させやすくすることができる。また、表示領域１００の位置が違っていても、特定の第１標準実景領域Ｒ１０ｓ、又はその近傍に存在する実オブジェクト３００に対して、第２の態様の画像の虚像Ｖ２０、Ｖ３０で視認者に認識させやすくすることができる。

（第３の設定方法）
実オブジェクト位置判定モジュール５１４は、上述の第１の設定方法、及び／又は第２の設定方法に加えて、又は代えて、以下の第３の設定方法を実行し得る。第３の設定方法において、実オブジェクト位置判定モジュール５１４は、実オブジェクト位置特定モジュール５０４から取得する実オブジェクトの観測位置、及び／又は予測位置と、目位置検出モジュール５０８から取得する視認者の目位置４（又は目位置を推定可能な情報）と、に基づき、実オブジェクト３００が、第１判定実景領域Ｒ１０内に入るか否か、及び第２の態様の画像の虚像Ｖを表示する第２判定実景領域Ｒ２０内に入るか否か、を判定する。第３の設定方法では、視認者の目位置４に応じて、第１判定実景領域Ｒ１０の範囲と、第２判定実景領域Ｒ２０の範囲とが変化し、実オブジェクト３００が、適宜変更された第１判定実景領域Ｒ１０内に入っているか否か、第２判定実景領域Ｒ２０内に入っているか否かを判定する。すなわち、実オブジェクト位置判定モジュール５１４は、目位置検出モジュール５０８から取得する視認者の目位置４（又は目位置を推定可能な情報）から、第１判定実景領域Ｒ１０と、第２判定実景領域Ｒ２０と、を設定するためのテーブルデータ、演算プログラム、などを含み得る。当該テーブルデータは、例えば、視認者の目位置４と、第１判定実景領域Ｒ１０内に入るか否かの判定値（左右方向（Ｘ軸方向）の位置、上下方向（Ｙ軸方向）の位置）とを対応付けたデータである。

図１４Ａ、図１４Ｂ、図１４Ｃは、車両１の左右方向（Ｘ軸方向）から見た場合の、視認者の目位置（目高さ）４の変化に応じた、第１判定実景領域Ｒ１０、第２判定実景領域Ｒ２０の範囲の変化を示す図である。視認者の目位置４は、図１４Ａに示す符号４ａ、図１４Ｂに示す符号４ｂ、図１４Ｃに示す符号４ｃの順に、徐々に高くなっている。

実オブジェクト位置判定モジュール５１４は、視認者の目位置４に応じて、第１判定実景領域Ｒ１０、第２判定実景領域Ｒ２０を変更し、実オブジェクト３００が、適宜変更された第１判定実景領域Ｒ１０内に入るか否か、及び適宜変更された第２判定実景領域Ｒ２０内に入るか否か、を判定する。一実施形態において、第１判定実景領域Ｒ１０は、図１４Ａに示すように、表示領域１００内で第１の態様の画像の虚像Ｖ１０を表示する第１表示領域１５０の上端１５０ａと観測された目位置４ａ（アイボックス２００内の所定の位置の一例であり、これに限定されない。）とを結ぶ線と、第１表示領域１５０の下端１５０ｂと観測された目位置４ａ（アイボックス２００内の所定の位置の一例であり、これに限定されない。）とを結ぶ線と、の間の領域である。また、第２判定実景領域Ｒ２０は、第１判定実景領域Ｒ１０の上側（Ｙ軸正方向）に隣接する所定範囲の領域である。

具体的には、図１４Ｂに示すように、目位置４ｂが、図１４Ａに示す目位置４ａより上に配置される場合、第１判定実景領域Ｒ１２は、図１４Ａに示す第１判定実景領域Ｒ１１より下に配置される。この際、実オブジェクト位置判定モジュール５１４は、第１判定実景領域Ｒ１２の上側（Ｙ軸正方向）に隣接する第２判定実景領域Ｒ２２の範囲を拡げる（Ｒ２２＞Ｒ２１）。換言すると、目位置４が移動した場合、実オブジェクト位置判定モジュール５１４は、第２判定実景領域Ｒ２０を拡大する。図１４Ｂに示すように、目位置４ｂと、実オブジェクト３００とを結ぶ直線が、第２判定実景領域Ｒ２２の範囲内を通る場合には、実オブジェクト位置判定モジュール５１４は、実オブジェクト３００が第２判定実景領域Ｒ２２内に入っていると判定する。

さらに、図１４Ｃに示すように、目位置４ｃが、図１４Ｂに示す目位置４ｂより上に配置される場合、第１判定実景領域Ｒ１３は、図１４Ｂに示す第１判定実景領域Ｒ１２より下に配置される。この際、実オブジェクト位置判定モジュール５１４は、第１判定実景領域Ｒ１３の上側（Ｙ軸正方向）に隣接する第２判定実景領域Ｒ２３の範囲をさらに拡げる（Ｒ２３＞Ｒ２２）。図１４Ｃに示すように、目位置４ｃと、実オブジェクト３００とを結ぶ直線が、第２判定実景領域Ｒ２３の範囲内を通る場合には、実オブジェクト位置判定モジュール５１４は、実オブジェクト３００が第２判定実景領域Ｒ２３内に入っていると判定する。

すなわち、第３の設定方法では、図１４Ａに示す第１表示領域１５０（表示領域１００）が重なる第１判定実景領域Ｒ１１を基準表示領域とした場合、目位置４の変更に伴い、第１表示領域１５０（表示領域１００）が重なる第１判定実景領域Ｒ１０が、第１標準実景領域Ｒ１０ｓから離れるに従い、第２判定実景領域Ｒ２０を拡げる。これによれば、実オブジェクト３００に対する画像を第２態様で表示させる領域が拡大されるため、第１態様で画像を表示する領域から外れてしまった実オブジェクト３００に対して第２態様の画像で視認者に認識させやすくすることができる。また、表示領域１００の位置の違っていても、特定の第１標準実景領域Ｒ１０ｓ、又はその近傍に存在する実オブジェクト３００に対して、第２の態様の画像で視認者に認識させやすくすることができる。

（第４の設定方法）
実オブジェクト位置判定モジュール５１４は、上述の第１乃至第３の設定方法に加えて、又は代えて、以下の第４の設定方法を実行し得る。第４の設定方法において、実オブジェクト位置判定モジュール５１４は、実オブジェクト位置特定モジュール５０４から取得する実オブジェクトの観測位置、及び／又は予測位置と、車両ＥＣＵ４０１から取得する車両１の姿勢（例えば、チルト角）と、に基づき、実オブジェクト３００が、第１判定実景領域Ｒ１０内に入るか否か、及び第２の態様の画像の虚像Ｖを表示する第２判定実景領域Ｒ２０内に入るか否か、を判定する。第４の設定方法では、車両１の姿勢に応じて、第１判定実景領域Ｒ１０の範囲と、第２判定実景領域Ｒ２０の範囲とが変化し、実オブジェクト３００が、適宜変更された第１判定実景領域Ｒ１０内に入っているか否か、第２判定実景領域Ｒ２０内に入っているか否かを判定する。すなわち、実オブジェクト位置判定モジュール５１４は、車両ＥＣＵ４０１から取得する車両１の姿勢（又は車両１の姿勢を推定可能な情報）から、第１判定実景領域Ｒ１０と、第２判定実景領域Ｒ２０と、を設定するためのテーブルデータ、演算プログラム、などを含み得る。当該テーブルデータは、例えば、視認者の目位置４と、第１判定実景領域Ｒ１０内に入るか否かの判定値（左右方向（Ｘ軸方向）の位置、上下方向（Ｙ軸方向）の位置）とを対応付けたデータである。

図１５Ａ、図１５Ｂは、車両１の左右方向（Ｘ軸方向）から見た場合の、車両１のチルト角θｔの変化に応じた、第１判定実景領域Ｒ１０、第２判定実景領域Ｒ２０の範囲の変化を示す図である。車両１の姿勢は、図１５Ｂに示すチルト角θｔ２の方が、図１５Ａに示すチルト角θｔ１より前傾している。

実オブジェクト位置判定モジュール５１４は、車両１の姿勢に応じて、第１判定実景領域Ｒ１０、第２判定実景領域Ｒ２０を変更し、実オブジェクト３００が、適宜変更された第１判定実景領域Ｒ１０内に入るか否か、及び適宜変更された第２判定実景領域Ｒ２０内に入るか否か、を判定する。一実施形態において、第１判定実景領域Ｒ１０は、表示領域１００内で第１の態様の画像の虚像Ｖ１０を表示する第１表示領域１５０の上端１５０ａとアイボックス２００の中心２０５（アイボックス２００内の所定の位置の一例であり、これに限定されない。）とを結ぶ線と、第１表示領域１５０の下端１５０ｂとアイボックス２００の中心２０５（アイボックス２００内の所定の位置の一例であり、これに限定されない。）とを結ぶ線と、の間の領域である。また、第２判定実景領域Ｒ２０は、第１判定実景領域Ｒ１０の上側（Ｙ軸正方向）に隣接する所定範囲の領域である。

具体的には、図１５Ｂに示すように、第１表示領域１５１が、図１５Ａに示す第１表示領域１５０より下に配置される場合、第１判定実景領域Ｒ１２も、第１判定実景領域Ｒ１１より下に配置される。この際、実オブジェクト位置判定モジュール５１４は、第１判定実景領域Ｒ１１の上側（Ｙ軸正方向）に隣接する第２判定実景領域Ｒ２１の範囲を拡げる（Ｒ２２＞Ｒ２１）。換言すると、表示領域１００の位置が所定の位置からずれる場合、実オブジェクト位置判定モジュール５１４は、第２判定実景領域Ｒ２０を拡大する。図１５Ｂに示すように、アイボックス２００の中心２０５と、実オブジェクト３００とを結ぶ直線が、第２判定実景領域Ｒ２２の範囲内を通る場合には、実オブジェクト位置判定モジュール５１４は、実オブジェクト３００が第２判定実景領域Ｒ２２内に入っていると判定する。

すなわち、第４の設定方法では、図１５Ａに示す第１表示領域１５０（表示領域１００）が重なる第１判定実景領域Ｒ１１を基準表示領域とした場合、図１５Ｂに示すように、表示領域１００の位置のずれに伴い、第１表示領域１５０（表示領域１００）が重なる第１判定実景領域Ｒ１０が、第１標準実景領域Ｒ１０ｓから離れるに従い、第２判定実景領域Ｒ２０を拡げる。これによれば、実オブジェクト３００に対する画像を第２態様で表示させる領域が拡大されるため、第１態様で画像を表示する領域から外れてしまった実オブジェクト３００に対して第２態様の画像で視認者に認識させやすくすることができる。また、表示領域１００の位置の違っていても、特定の第１標準実景領域Ｒ１０ｓ、又はその近傍に存在する実オブジェクト３００に対して、第２の態様の画像で視認者に認識させやすくすることができる。

図１６Ａ、図１６Ｂ、図１６Ｃ、及び図１６Ｄを用いて、実景領域区分モジュール５１６が行う第２判定実景領域Ｒ２０の拡大設定の態様の例を説明する。図１６Ａは、図１３Ｂと同じであり、図１３Ａの第１表示領域１５０の位置を基準表示領域として、当該基準表示領域よりも第１表示領域１５１が下に配置された際に拡大された第２判定実景領域Ｒ２２を示している。

図１６Ｂは、図１６Ａと同じ状況であっても第２判定実景領域Ｒ２０を更に拡大した態様を示している。具体的には、拡大された第２判定実景領域Ｒ２２の一部が、第２標準実景領域Ｒ２０ｓの一部と重なる。すなわち、一実施形態において、実景領域区分モジュール５１６は、基準となる第２判定実景領域Ｒ２１の一部に重なるように、第２判定実景領域Ｒ２０を拡大して設定する。

図１６Ｃは、図１６Ｂと同じ状況であっても第２判定実景領域Ｒ２０を更に拡大した態様を示している。具体的には、拡大された第２判定実景領域Ｒ２３の一部が、第２標準実景領域Ｒ２０ｓの全体と重なる。すなわち、一実施形態において、実景領域区分モジュール５１６は、基準となる第２判定実景領域Ｒ２１の全体を含むように、第２判定実景領域Ｒ２０を拡大して設定する。

図１６Ｄは、図１６Ｃと同じ状況であっても第２判定実景領域Ｒ２０を更に拡大した態様を示している。具体的には、拡大された第２判定実景領域Ｒ２３の一部が、第２標準実景領域Ｒ２０ｓの全体とさらに広い範囲を含む。すなわち、一実施形態において、実景領域区分モジュール５１６は、基準となる第２判定実景領域Ｒ２１の全体とさらに広い範囲を含むように、第２判定実景領域Ｒ２０を拡大して設定する。

図１７Ａないし図１７Ｆは、アイボックス２００から前方を向いた際の第１判定実景領域Ｒ１０、及び第２判定実景領域Ｒ２０、の位置関係を模式的に示す図である。これらの図では、第１表示領域１５０は、形状であるが、これに限定されるものではない。

図１７Ａでは、第２判定実景領域Ｒ２０は、第１判定実景領域Ｒ１０の左端より左側に隣接する領域と、第１判定実景領域Ｒ１０の右端より右側に隣接する領域と、第１判定実景領域Ｒ１０の上端より上側に隣接する領域と、を含む下側がへこんだ領域である。なお、第２判定実景領域Ｒ２０は、狭く図示しているが、もっと広い範囲であることが好ましい（図１７Ａないし図１７Ｆも同様）。

また、いくつかの実施形態では、図１７Ｂに示すように、第２判定実景領域Ｒ２０は、図１７Ａでの領域に加え、第１判定実景領域Ｒ１０の下端より下側に隣接する領域をさらに含む中空の領域であってもよい。

また、いくつかの実施形態では、図１７Ｃに示すように、第２判定実景領域Ｒ２０は、第１判定実景領域Ｒ１０の左端より左側に隣接する領域と、第１判定実景領域Ｒ１０の右端より右側に隣接する領域と、を含んでいなくてもよい。

また、いくつかの実施形態では、図１７Ｄに示すように、第２判定実景領域Ｒ２０は、分離した複数の領域で構成されていてもよい。

上記の図１７Ａないし図１７Ｄでは、表示領域１００と第１態様の画像の虚像Ｖ１０を表示する第１表示領域１５０とを一致させて図示してあるが、これらに限定されない。第１表示領域１５０は、表示領域１００より小さい領域となり得る。図１７Ｅでは、第２判定実景領域Ｒ２０は、第１判定実景領域Ｒ１０の左端より左側に隣接する領域と、第１判定実景領域Ｒ１０の右端より右側に隣接する領域と、第１判定実景領域Ｒ１０の上端より上側に隣接する領域と、を含む下側がへこんだ領域に設定され得る。この場合、第２判定実景領域Ｒ２０は、第１判定実景領域Ｒ１０と隣接する領域が、表示領域１００内に配置され得る。

上記の図１７Ａないし図１７Ｅでは、第１判定実景領域Ｒ１０と第２判定実景領域Ｒ２０とが隣接していたが、これらに限定されない。この場合、第１表示領域１５０は、表示領域１００より小さい領域となり得る。図１７Ｆでは、第２判定実景領域Ｒ２０は、第１判定実景領域Ｒ１０の左端より左側に隣接しない領域と、第１判定実景領域Ｒ１０の右端より右側に隣接しない領域と、第１判定実景領域Ｒ１０の上端より上側に隣接しない領域と、を含む下側がへこんだ領域に設定され得る。なお、図１７Ｇでは、第２判定実景領域Ｒ２０は、第１判定実景領域Ｒ１０の左端より左側に隣接する領域と、第１判定実景領域Ｒ１０の右端より右側に隣接する領域と、第１判定実景領域Ｒ１０の上端より上側に隣接しない領域と、を含む下側がへこんだ領域に設定され得る。すなわち、第１判定実景領域Ｒ１０と第２判定実景領域Ｒ２０とは、一部のみ隣接しており、他の部分では隣接しなくてもよい（第１判定実景領域Ｒ１０又は第２判定実景領域Ｒ２０ではない領域を間に含んでもよい）。また、図１７Ｆ、図１７Ｇの例を変更して、表示領域１００と第１態様の画像の虚像Ｖ１０を表示する第１表示領域１５０とを一致させてもよい。

画像種類設定モジュール５１８は、実オブジェクト位置判定モジュール５１４で、第１判定実景領域Ｒ１０内に入る実オブジェクトに対し、第１の態様の画像を設定し、第２判定実景領域Ｒ２０内に入る実オブジェクトに対し、第２の態様の画像を設定する。

また、画像種類設定モジュール５１８は、例えば、実オブジェクト情報検出モジュール５０２により検出された実オブジェクトの種類、位置、実オブジェクト情報検出モジュール５０２で検出された実オブジェクト関連情報の種類、数、及び／又は報知必要度判定モジュール５０６で検出された（推定された）報知必要度の大きさに基づいて、実オブジェクトに対して表示する画像の種類を決定（変更）してもよい。また、画像種類設定モジュール５１８は、後述する視線方向判定モジュール５２４による判定結果により、表示する画像の種類を増減させてもよい。具体的には、実オブジェクト３００が視認者によって視認されにくい状態である場合、実オブジェクトの近傍に視認者によって視認される画像の種類を多くしてもよい。

画像配置設定モジュール５２０は、虚像Ｖが、実オブジェクト３００と特定の位置関係になって視認されるように、実オブジェクト位置特定モジュール５０４が特定した実オブジェクト３００の位置（観測位置又は予測位置）に基づき、虚像Ｖの座標（視認者が車両１の運転席から表示領域１００の方向を見た際の左右方向（Ｘ軸方向）、及び上下方向（Ｙ軸方向）を少なくとも含む）を決定する。これに加え、画像配置設定モジュール５２０は、実オブジェクト位置特定モジュール５０４が設定した実オブジェクト３００の決定位置に基づき、視認者が車両１の運転席から表示領域１００の方向を見た際の前後方向（Ｚ軸方向）を決定してもよい。なお、画像配置設定モジュール５２０は、目位置検出部４１１が検出した視認者の目の位置に基づいて、虚像Ｖの位置を調整する。例えば、画像配置設定モジュール５２０は、虚像Ｖのコンテンツが区画線３１１，３１２の間の領域（路面３１０）に視認されるように、虚像Ｖの左右方向、及び上下方向の位置を決定する。

また、画像配置設定モジュール５２０は、虚像Ｖの角度（Ｘ方向を軸としたピッチング角、Ｙ方向を軸としたヨーレート角、Ｚ方向を軸としたローリング角）を設定し得る。なお、虚像Ｖの角度は、予め設定された角度であり、車両１の前後左右方向（ＸＺ面）と平行となるように設定され得る。

画像サイズ設定モジュール５２２は、対応付ける実オブジェクト３００の位置、形状、及び／又はサイズに合わせて、虚像Ｖのサイズを変更してもよい。例えば、画像サイズ設定モジュール５２２は、対応付ける実オブジェクト３００の位置が遠方であれば、虚像Ｖのサイズを小さくし得る。また、画像サイズ設定モジュール５２２は、対応付ける実オブジェクト３００のサイズが大きければ、虚像Ｖのサイズを大きくし得る。

また、画像サイズ設定モジュール５２２は、報知必要度判定モジュール５０６で検出された（推定された）報知必要度の大きさに基づいて、虚像Ｖのサイズを決定し得る。

画像サイズ設定モジュール５２２は、過去の所定の回数の実オブジェクト３００のサイズに基づいて、今回の表示更新周期で表示する虚像Ｖのコンテンツを表示するサイズを予測算出する機能を有してもよい。第１の手法として、画像サイズ設定モジュール５２２は、カメラ（車外センサ４０７の一例）による過去の２つの撮像画像間で、例えば、Ｌｕｃａｓ－Ｋａｎａｄｅ法を使用して、実オブジェクト３００の画素を追跡することで、今回の表示更新周期における実オブジェクト３００のサイズを予測し、予測した実オブジェクト３００のサイズに合わせて虚像Ｖのサイズを決定してもよい。第２手法として、過去の２つの撮像画像間での実オブジェクト３００のサイズの変化に基づき、実オブジェクト３００のサイズの変化率を求めて、実オブジェクト３００のサイズの変化率に応じて虚像Ｖのサイズを決定してもよい。なお、時系列で変化する視点からの実オブジェクト３００のサイズ変化を推定する方法は、上記に限られず、例えば、Ｈｏｒｎ－Ｓｃｈｕｎｃｋ法、Ｂｕｘｔｏｎ－Ｂｕｘｔｏｎ、Ｂｌａｃｋ－Ｊｅｐｓｏｎ法などのオプティカルフロー推定アルゴリズムを含む公知の手法を用いてもよい。

視線方向判定モジュール５２４は、車両１の視認者が、虚像Ｖ又は虚像Ｖが対応付けられた実オブジェクトを見ていること、及び／並びに虚像Ｖ又は虚像Ｖが対応付けられた実オブジェクトを見ていないこと、の判定に関する様々な動作を実行するための様々なソフトウェア構成要素を含む。

また、視線方向判定モジュール５２４は、視認者が虚像Ｖのコンテンツ以外の何を視認しているかを検出してもよい。例えば、視線方向判定モジュール５２４は、実オブジェクト情報検出モジュール５０２が検出した車両１の前景に存在する実オブジェクト３００の位置と、視線方向検出部４１３から取得した視認者の視線方向と、を比較することで、注視している実オブジェクト３００を特定し、視認された実オブジェクト３００を特定する情報を、プロセッサ３３に送信してもよい。

グラフィックモジュール５２６は、レンダリングなどの画像処理をして画像データを生成し、表示器２１を駆動するための様々な既知のソフトウェア構成要素を含む。また、グラフィックモジュール５２６は、表示される画像の、種類、配置（位置座標、角度）、サイズ、表示距離（３Ｄの場合。）、視覚的効果（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性）、を変更するための様々な既知のソフトウェア構成要素を含んでいてもよい。グラフィックモジュール５２６は、画像種類設定モジュール５１８が設定した種類、画像配置設定モジュール５２０が設定した位置座標（視認者が車両１の運転席から表示領域１００の方向を見た際の左右方向（Ｘ軸方向）、及び上下方向（Ｙ軸方向）の位置座標を少なくとも含む位置座標。）画像配置設定モジュール５２０が設定した角度（Ｘ方向を軸としたピッチング角、Ｙ方向を軸としたヨーレート角、Ｚ方向を軸としたローリング角）、及び画像サイズ設定モジュール５２２が設定したサイズで視認者に視認されるように画像データを生成し、画像表示部２０に表示する。

駆動モジュール５２８は、表示器２１を駆動すること、光源ユニット２４を駆動すること、並びに第１アクチュエータ２８及び／又は第２アクチュエータ２９を駆動すること、を実行するための様々な既知のソフトウェア構成要素を含む。駆動モジュール５２８は、表示領域設定モジュール５１２、及びグラフィックモジュール５２６が生成した駆動データに基づき、液晶ディスプレイパネル２２、光源ユニット２４、並びに第１アクチュエータ２８及び第２アクチュエータ２９を駆動する。

図１８Ａ、図１８Ｂは、いくつかの実施形態に従って、車両の外側の実景に存在する実オブジェクトに対して、第１態様又は第２態様の画像の虚像を表示する動作を実行する方法Ｓ１００を示すフロー図である。方法Ｓ１００は、ディスプレイを含む画像表示部２０と、この画像表示部２０を制御する表示制御装置３０と、において実行される。方法Ｓ１００内のいくつかの動作は任意選択的に組み合わされ、いくつかの動作の手順は任意選択的に変更され、いくつかの動作は任意選択的に省略される。

以下で説明するように、方法Ｓ１００は、実オブジェクトの認知性を高める画像（虚像）の提示方法を提供する。

ブロックＳ１１０において、表示制御装置３０は、第１判定実景領域Ｒ１０の範囲を設定する。いくつかの実施形態では、表示制御装置３０のプロセッサ３３は、実景領域区分モジュール５１６を実行し、メモリ３７に予め記憶された第１判定実景領域Ｒ１０を読み出すことで設定する（Ｓ１１１）。また、いくつかの実施形態では、プロセッサ３３は、表示領域設定モジュール５１２を実行し、取得したリレー光学系の状態（Ｓ１１３）、表示器の使用領域（Ｓ１１５）、視認者の目位置（Ｓ１１７）、車両１の姿勢（Ｓ１１９）、又はこれらの組み合わせに基づき、第１判定実景領域Ｒ１０の範囲を設定する。

ブロックＳ１２０において、表示制御装置３０は、第２判定実景領域Ｒ２０の範囲を拡大するための所定の条件を満たすことを検出する。表示制御装置３０は、アイボックス２００の所定の位置（例えば、中心２０５）から見て（又は視認者の目位置４から見て）表示領域１００が重なる実景領域が、第１標準実景領域Ｒ１０ｓからずれていること（ずれていると推定されること）、を検出した場合、所定の条件を満たしたと判定する。例えば、表示制御装置３０は、リレー光学系の状態（Ｓ１２２）、表示器の使用領域（Ｓ１２４）、視認者の目位置（Ｓ１２６）、車両１の姿勢（Ｓ１２８）などからアイボックス２００の所定の位置（例えば、中心２０５）から見て（又は視認者の目位置４から見て）表示領域１００が重なる実景領域が、第１標準実景領域Ｒ１０ｓからずれていること（ずれていると推定されること）を検出することができる。すなわち、いくつかの実施形態では、表示制御装置３０のプロセッサ３３は、実景領域区分モジュール５１６を実行し、取得したリレー光学系の状態（Ｓ１２２）、表示器の使用領域（Ｓ１２４）、視認者の目位置（Ｓ１２６）、車両１の姿勢（Ｓ１２８）、又はこれらの組み合わせ、に基づき、第２判定実景領域Ｒ２０の範囲を拡大するための所定の条件を満たすことを検出することができる。

ブロックＳ１３０において、表示制御装置３０は、Ｓ１２０で所定の条件が満たされていた場合、第２判定実景領域Ｒ２０の範囲を拡大して設定する。例えば、いくつかの実施形態では、表示制御装置３０のプロセッサ３３は、実景領域区分モジュール５１６により、第２判定実景領域の範囲を標準範囲より拡大すること（Ｓ１３２）、第２判定実景領域Ｒ２０が第２標準実景領域Ｒ２０ｓの一部に重なるように拡大すること（Ｓ１３４）、第２判定実景領域Ｒ２０が第２標準実景領域Ｒ２０ｓの全体を含むように拡大すること（Ｓ１３６）、又は第２判定実景領域Ｒ２０が第２標準実景領域Ｒ２０ｓの全体と、さらに広い範囲を含むように拡大すること（Ｓ１３８）のいずれか１つを実行する。なお、表示制御装置３０は、第２判定実景領域Ｒ２０の拡大の程度を、実オブジェクト情報検出モジュール５０２で取得する実オブジェクト３００の種類毎に異ならせてもよい。例えば、いくつかの実施形態では、表示制御装置３０は、走行レーン、障害物、及び地物で、第２判定実景領域Ｒ２０の拡大の程度を変えてもよい。なお、いくつかの実施形態では、表示制御装置３０は、Ｓ１２０で所定の条件が満たされていない場合、第２判定実景領域Ｒ２０の範囲を、ブロックＳ１１０で設定された第１判定実景領域Ｒ１０を基準に、メモリ３７に予め記憶された第２標準実景領域Ｒ２０ｓに設定する。

ブロックＳ１４０において、表示制御装置３０は、実オブジェクト位置特定モジュール５０４を実行することで、実オブジェクト位置を取得する。

ブロックＳ１５０において、表示制御装置３０は、ブロックＳ１４０で取得した実オブジェクトの位置が、ブロックＳ１１０で設定された第１判定実景領域Ｒ１０内に入るか否か、及びブロックＳ１３０で設定された第２判定実景領域Ｒ２０内に入るか否か、を判定する。いくつかの実施形態では、表示制御装置３０のプロセッサ３３は、実オブジェクト位置特定モジュール５０４を実行し、
実オブジェクト位置特定モジュール５０４から取得した実オブジェクトの位置が、ブロックＳ１１０で設定された第１判定実景領域Ｒ１０内に入るか否か、及びブロックＳ１３０で設定された第２判定実景領域Ｒ２０内に入るか否か、を判定し、この判定結果に基づき、画像種類設定モジュール５１８が、実オブジェクトに対応する画像を第１態様、又は第２態様に設定し、画像表示部２０に画像（虚像）を表示させる（ブロックＳ１５２，Ｓ１５４）。

上述の処理プロセスの動作は、汎用プロセッサ又は特定用途向けチップなどの情報処理装置の１つ以上の機能モジュールを実行させることにより実施することができる。これらのモジュール、これらのモジュールの組み合わせ、及び／又はそれらの機能を代替えし得る公知のハードウェアとの組み合わせは全て、本発明の保護の範囲内に含まれる。

車両用表示システム１０の機能ブロックは、任意選択的に、説明される様々な実施形態の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実行される。図１１で説明する機能ブロックが、説明される実施形態の原理を実施するために、任意選択的に、組み合わされ、又は１つの機能ブロックを２以上のサブブロックに分離されてもいいことは、当業者に理解されるだろう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割を、任意選択的に支持する。

以上に説明したように、本実施形態の表示制御装置３０は、車両内のアイボックス２００から見て前景に重なる表示領域１００内に、画像の虚像Ｖを表示する画像表示部２０を制御する表示制御装置３０であって、情報を取得可能な１つ又は複数のＩ／Ｏインタフェース３１と、１つ又は複数のプロセッサ３３と、メモリ３７と、メモリ３７に格納され、１つ又は複数のプロセッサ３３によって実行されるように構成される１つ又は複数のコンピュータ・プログラムと、を備え、１つ又は複数のＩ／Ｏインタフェース３１は、車両の周辺に存在する実オブジェクトの位置と、表示領域１００の位置、アイボックス２００内の観察者の目位置４、車両の姿勢、又はこれらを推定可能な情報、の少なくともいずれか１つと、を取得し、１つ又は複数のプロセッサ３３は、実オブジェクトの位置が、第１判定実景領域Ｒ１０内に入るか否か、及び第２判定実景領域Ｒ２０内に入るか否かを判定し、実オブジェクトの位置が、第１判定実景領域Ｒ１０内に入る場合、実オブジェクトに対応する第１態様の画像の虚像Ｖ１０を表示させ、実オブジェクトの位置が、第２判定実景領域Ｒ２０内に入る場合、実オブジェクトに対応する第２態様の画像の虚像Ｖ２０（Ｖ３０）を表示させ、表示領域１００の位置、目位置４、車両の姿勢、又はこれらを推定可能な情報、の少なくともいずれか１つに基づき、第２判定実景領域Ｒ２０の範囲を拡大する、命令を実行する。

また、いくつかの実施形態では、１つ又は複数のプロセッサ３３は、表示領域１００の位置、目位置４、車両の姿勢、又はこれらを推定可能な情報、の少なくともいずれか１つに基づき、アイボックス２００から見て表示領域１００の少なくとも一部と重なる前景の領域を第１判定実景領域Ｒ１０に設定し、第２判定実景領域Ｒ２０は、アイボックス２００から見て第１判定実景領域Ｒ１０の上側に視認される前景の領域を含むように設定する、命令を実行する。

また、いくつかの実施形態では、１つ又は複数のプロセッサ３３は、第１判定実景領域Ｒ１０の一部と第２判定実景領域Ｒ２０の一部とが、隣接するように設定する、命令を実行する。

また、いくつかの実施形態では、メモリ３７は、前景の特定の領域を、第１標準実景領域Ｒ１０ｓとして記憶しており、１つ又は複数のプロセッサ３３は、表示領域１００の位置、目位置４、車両の姿勢、又はこれらを推定可能な情報、の少なくともいずれか１つに基づき、アイボックス２００から見て表示領域１００の少なくとも一部と重なる前景の領域が、第１標準実景領域Ｒ１０ｓに対してずれると推定される場合、第２判定実景領域Ｒ２０の範囲を拡大する、命令を実行する。

また、いくつかの実施形態では、メモリ３７は、前景の特定の領域を、第１標準実景領域Ｒ１０ｓとして記憶しており、１つ又は複数のプロセッサ３３は、表示領域１００の位置、目位置４、車両の姿勢、又はこれらを推定可能な情報、の少なくともいずれか１つに基づき、アイボックス２００から見て表示領域１００の少なくとも一部と重なる前景の領域を第１判定実景領域Ｒ１０に設定し、第１判定実景領域Ｒ１０が、第１標準実景領域Ｒ１０ｓに対してずれているか判定し、第１判定実景領域Ｒ１０が、第１標準実景領域Ｒ１０ｓに対してずれていると判定される場合、第２判定実景領域Ｒ２０の範囲を拡大する、命令を実行する。

また、いくつかの実施形態では、１つ又は複数のプロセッサ３３は、表示領域１００の位置、目位置４、車両の姿勢、又はこれらを推定可能な情報、の少なくともいずれか１つに基づき、第２判定実景領域Ｒ２０の範囲の拡大幅を変更する、命令を実行する。

また、いくつかの実施形態では、１つ又は複数のプロセッサ３３は、第２態様の画像の虚像Ｖ２０（Ｖ３０）を、表示領域１００の外縁領域１１０に表示させる、命令を実行する。

また、いくつかの実施形態では、１つ又は複数のＩ／Ｏインタフェース３１で取得する実オブジェクトの位置は、アイボックス２００から前景を向いた際の左右方向の位置を含み、１つ又は複数のプロセッサ３３は、アイボックス２００から見た第２態様の画像の虚像Ｖ２０（Ｖ３０）の左右方向の位置を、実オブジェクトの左右方向の位置に追従するように移動させる、命令を実行する。

また、いくつかの実施形態では、メモリ３７は、前景の特定の領域を、第２標準実景領域Ｒ２０ｓとして記憶しており、１つ又は複数のプロセッサ３３は、第２判定実景領域Ｒ２０が、第２標準実景領域Ｒ２０ｓの少なくとも一部を含むように範囲を拡大する、命令を実行する。

また、いくつかの実施形態では、メモリ３７は、前景の特定の領域を、第２標準実景領域Ｒ２０ｓとして記憶しており、１つ又は複数のプロセッサ３３は、第２判定実景領域Ｒ２０が、第２標準実景領域Ｒ２０ｓの全体を含むまで範囲を拡大する、命令を実行する。

１ ：車両
２ ：フロントウインドシールド
４ ：目位置
１０ ：車両用表示システム
２０ ：ＨＵＤ装置（画像表示部）
２１ ：表示器
２１ａ ：表示面
２２ ：液晶ディスプレイパネル
２３ ：虚像
２４ ：光源ユニット
２５ ：リレー光学系
２６ ：第１ミラー
２７ ：第２ミラー
３０ ：表示制御装置
３１ ：Ｉ／Ｏインタフェース
３３ ：プロセッサ
３５ ：画像処理回路
３７ ：メモリ
４０ ：表示光
４０ｐ ：光軸
４１ ：第１画像光
４２ ：第２画像光
４３ ：第３画像光
９０ ：虚像光学系
１００ ：表示領域
１０１ ：上端
１０２ ：下端
１１０ ：外縁領域
１２０ ：固定領域
１５０ ：第１表示領域
１５０ａ ：上端
１５０ｂ ：下端
１５１、１５２ ：第１表示領域
２００ ：アイボックス
２０５ ：中心
３００ ：実オブジェクト
５０２ ：実オブジェクト情報検出モジュール
５０４ ：実オブジェクト位置特定モジュール
５０６ ：報知必要度判定モジュール
５０８ ：目位置検出モジュール
５１０ ：車両姿勢検出モジュール
５１２ ：表示領域設定モジュール
５１４ ：実オブジェクト位置判定モジュール
５１６ ：実景領域区分モジュール
５１８ ：画像種類設定モジュール
５２０ ：画像配置設定モジュール
５２２ ：画像サイズ設定モジュール
５２４ ：視線方向判定モジュール
５２６ ：グラフィックモジュール
５２８ ：駆動モジュール
Ｍ ：画像
Ｒ１０、Ｒ１１、Ｒ１２、Ｒ１３ ：第１判定実景領域
Ｒ１０ｓ ：第１標準実景領域
Ｒ２０ｓ ：第２標準実景領域
Ｒ２０、Ｒ２１、Ｒ２２、Ｒ２３：第２判定実景領域
Ｖ ：虚像
θｔ ：チルト角
θｖ ：縦配置角

Claims (13)

1. 車両内のアイボックス（２００）から見て前景に重なる表示領域（１００）内に、画像の虚像（Ｖ）を表示する画像表示部（２０）を制御する表示制御装置（３０）において、
   情報を取得可能な１つ又は複数のＩ／Ｏインタフェース（３１）と、
   １つ又は複数のプロセッサ（３３）と、
   メモリ（３７）と、
   前記メモリ（３７）に格納され、前記１つ又は複数のプロセッサ（３３）によって実行されるように構成される１つ又は複数のコンピュータ・プログラムと、を備え、
   前記１つ又は複数のＩ／Ｏインタフェース（３１）は、
   車両の周辺に存在する実オブジェクトの位置と、
   前記表示領域（１００）の位置、前記アイボックス（２００）内の観察者の目位置（４）、前記車両の姿勢、又はこれらを推定可能な情報、の少なくともいずれか１つと、を取得し、
   前記１つ又は複数のプロセッサ（３３）は、
   前記実オブジェクトの位置が、第１判定実景領域（Ｒ１０）内に入るか否か、及び第２判定実景領域（Ｒ２０）内に入るか否かを判定し、
   前記実オブジェクトの位置が、前記第１判定実景領域（Ｒ１０）内に入る場合、前記実オブジェクトに対応する第１態様の画像の虚像（Ｖ１０）を表示させ、前記実オブジェクトの位置が、前記第２判定実景領域（Ｒ２０）内に入る場合、前記実オブジェクトに対応する第２態様の画像の虚像（Ｖ２０；Ｖ３０）を表示させ、
   前記表示領域（１００）の位置、前記目位置（４）、前記車両の姿勢、又はこれらを推定可能な情報、の少なくともいずれか１つに基づき、前記第２判定実景領域（Ｒ２０）の範囲を拡大する、命令を実行する、
   表示制御装置（３０）。
2. 前記１つ又は複数のプロセッサ（３３）は、
   前記表示領域（１００）の位置、前記目位置（４）、前記車両の姿勢、又はこれらを推定可能な情報、の少なくともいずれか１つに基づき、前記アイボックス（２００）から見て前記表示領域（１００）の少なくとも一部と重なる前記前景の領域を前記第１判定実景領域（Ｒ１０）に設定し、
   前記第２判定実景領域（Ｒ２０）は、前記アイボックス（２００）から見て前記第１判定実景領域（Ｒ２０）の上側に視認される前記前景の領域を含むように設定する、命令を実行する、
   請求項１に記載の表示制御装置（３０）。
3. 前記１つ又は複数のプロセッサ（３３）は、
   前記第１判定実景領域（Ｒ１０）の一部と前記第２判定実景領域（Ｒ２０）の一部とが、隣接するように設定する、命令を実行する、
   請求項２に記載の表示制御装置（３０）。
4. 前記メモリ（３７）は、前記前景の特定の領域を、第１標準実景領域（Ｒ１０ｓ）として記憶しており、
   前記１つ又は複数のプロセッサ（３３）は、
   前記表示領域（１００）の位置、前記目位置（４）、前記車両の姿勢、又はこれらを推定可能な情報、の少なくともいずれか１つに基づき、前記アイボックス（２００）から見て前記表示領域（１００）の少なくとも一部と重なる前記前景の領域が、前記第１標準実景領域（Ｒ１０ｓ）に対してずれると推定される場合、前記第２判定実景領域（Ｒ２０）の範囲を拡大する、命令を実行する、
   請求項１に記載の表示制御装置（３０）。
5. 前記メモリ（３７）は、前記前景の特定の領域を、第１標準実景領域（Ｒ１０ｓ）として記憶しており、
   前記１つ又は複数のプロセッサ（３３）は、
   前記表示領域（１００）の位置、前記目位置（４）、前記車両の姿勢、又はこれらを推定可能な情報、の少なくともいずれか１つに基づき、前記アイボックス（２００）から見て前記表示領域（１００）の少なくとも一部と重なる前記前景の領域を前記第１判定実景領域（Ｒ１０）に設定し、
   前記第１判定実景領域（Ｒ１０）が、前記第１標準実景領域（Ｒ１０ｓ）に対してずれているか判定し、前記第１判定実景領域（Ｒ１０）が、前記第１標準実景領域（Ｒ１０ｓ）に対してずれていると判定される場合、前記第２判定実景領域（Ｒ２０）の範囲を拡大する、命令を実行する、
   請求項１に記載の表示制御装置（３０）。
6. 前記１つ又は複数のプロセッサ（３３）は、
   前記表示領域（１００）の位置、前記目位置（４）、前記車両の姿勢、又はこれらを推定可能な情報、の少なくともいずれか１つに基づき、前記第２判定実景領域（Ｒ２０）の範囲の拡大幅を変更する、命令を実行する、
   請求項１に記載の表示制御装置（３０）。
7. 前記１つ又は複数のプロセッサ（３３）は、
   前記第２態様の画像の虚像（Ｖ２０；Ｖ３０）を、前記表示領域（１００）の外縁領域（１１０）に表示させる、命令を実行する、
   請求項１に記載の表示制御装置（３０）。
8. 前記１つ又は複数のＩ／Ｏインタフェース（３１）で取得する前記実オブジェクトの位置は、前記アイボックス（２００）から前記前景を向いた際の左右方向の位置を含み、
   前記１つ又は複数のプロセッサ（３３）は、
   前記アイボックス（２００）から見た前記第２態様の画像の虚像（Ｖ２０；Ｖ３０）の左右方向の位置を、前記実オブジェクトの左右方向の位置に追従するように移動させる、命令を実行する、
   請求項１に記載の表示制御装置（３０）。
9. 前記メモリ（３７）は、前記前景の特定の領域を、第２標準実景領域（Ｒ２０ｓ）として記憶しており、
   前記１つ又は複数のプロセッサ（３３）は、
   前記第２判定実景領域（Ｒ２０）が、前記第２標準実景領域（Ｒ２０ｓ）の少なくとも一部を含むように範囲を拡大する、命令を実行する、
   請求項１に記載の表示制御装置（３０）。
10. 前記メモリ（３７）は、前記前景の特定の領域を、第２標準実景領域（Ｒ２０ｓ）として記憶しており、
    前記１つ又は複数のプロセッサ（３３）は、
    前記第２判定実景領域（Ｒ２０）が、前記第２標準実景領域（Ｒ２０ｓ）の全体を含むまで範囲を拡大する、命令を実行する、
    請求項１に記載の表示制御装置（３０）。
11. 表示面に画像を表示する表示器（２１）と、
    前記表示器（２１）が表示する前記画像の表示光を、外部の被投影部に投影することで、アイボックス（２００）から見て前景に重なる表示領域（１００）内に、画像の虚像（Ｖ）を表示する１つ又は複数のリレー光学系（２５）と、
    情報を取得可能な１つ又は複数のＩ／Ｏインタフェース（３１）と、
    １つ又は複数のプロセッサ（３３）と、
    メモリ（３７）と、
    前記メモリ（３７）に格納され、前記１つ又は複数のプロセッサ（３３）によって実行されるように構成される１つ又は複数のコンピュータ・プログラムと、を備え、
    前記１つ又は複数のＩ／Ｏインタフェース（３１）は、
    車両の周辺に存在する実オブジェクトの位置と、
    前記表示領域（１００）の位置、前記表示面において前記画像を表示する使用領域の位置、前記アイボックス（２００）内の観察者の目位置（４）、前記車両の姿勢、又はこれらを推定可能な情報、の少なくともいずれか１つと、を取得し、
    前記１つ又は複数のプロセッサ（３３）は、
    前記実オブジェクトの位置が、第１判定実景領域（Ｒ１０）内に入るか否か、及び第２判定実景領域（Ｒ２０）内に入るか否かを判定し、
    前記実オブジェクトの位置が、前記第１判定実景領域（Ｒ１０）内に入る場合、前記実オブジェクトに対応する第１態様の画像の虚像（Ｖ１０）を表示させ、前記実オブジェクトの位置が、前記第２判定実景領域（Ｒ２０）内に入る場合、前記実オブジェクトに対応する第２態様の画像の虚像（Ｖ２０；Ｖ３０）を表示させ、
    前記表示領域（１００）の位置、前記使用領域の位置、前記目位置（４）、前記車両の姿勢、又はこれらを推定可能な情報、の少なくともいずれか１つに基づき、前記第２判定実景領域（Ｒ２０）の範囲を拡大する、命令を実行する、
    ヘッドアップディスプレイ装置（２０）。
12. 前記１つ又は複数のリレー光学系（２５）を、回転及び／又は移動させる１つ又は複数のアクチュエータ（２８，２９）をさらに備え、
    前記表示領域（１００）の位置を推定可能な情報は、前記１つ又は複数のアクチュエータ（２８，２９）の駆動量を含む、
    請求項１１に記載のヘッドアップディスプレイ装置（２０）。
13. 車両内のアイボックス（２００）から見て前景に重なる表示領域（１００）内に、画像の虚像（Ｖ）を表示する画像表示部（２０）を制御する方法であって、
    車両の周辺に存在する実オブジェクトの位置を取得することと、
    前記表示領域（１００）の位置、前記アイボックス（２００）内の観察者の目位置（４）、前記車両の姿勢、又はこれらを推定可能な情報、の少なくともいずれか１つを取得することと、
    前記実オブジェクトの位置が、第１判定実景領域（Ｒ１０）内に入るか否か、及び第２判定実景領域（Ｒ２０）内に入るか否かを判定することと、
    前記実オブジェクトの位置が、前記第１判定実景領域（Ｒ１０）内に入る場合、前記実オブジェクトに対応する第１態様の画像の虚像（Ｖ１０）を表示させ、前記実オブジェクトの位置が、前記第２判定実景領域（Ｒ２０）内に入る場合、前記実オブジェクトに対応する第２態様の画像の虚像（Ｖ２０；Ｖ３０）を表示させることと、
    前記表示領域（１００）の位置、前記目位置（４）、前記車両の姿勢、又はこれらを推定可能な情報、の少なくともいずれか１つに基づき、前記第２判定実景領域（Ｒ２０）の範囲を拡大することと、を含む、
    方法。
    

Images