WO2020194855A1

WO2020194855A1 - 虚像表示装置および撮像装置

Info

Publication number: WO2020194855A1
Application number: PCT/JP2019/045577
Authority: WO
Inventors: 大山　実
Original assignee: 株式会社Ｊｖｃケンウッド
Priority date: 2019-03-26
Filing date: 2019-11-21
Publication date: 2020-10-01
Also published as: JP2020160206A

Abstract

虚像表示装置１０は、第１方向に直線偏光された第１投射光５２ｓと、第１方向と直交する第２方向に直線偏光された第２投射光５２ｐとを選択的にウィンドシールドに向けて投射する画像投射部１２と、第１投射光５２ｓの投射時にユーザの顔面を含む第１画像を撮像装置１１に撮像させ、第２投射光５２ｐの投射時にユーザの顔面を含む第２画像を撮像装置１１に撮像させる撮像制御部と、第１画像および第２画像に基づいて、第１方向の直線偏光成分を遮蔽する偏光サングラスをユーザが着用しているか否かを判定する画像処理部と、を備える。

Description

虚像表示装置および撮像装置

　本発明は、虚像表示装置および撮像装置に関する。

　近年、画像表示光を車両のウィンドシールドなどに投射し、画像表示光に基づく虚像を車外の風景に重畳して表示するヘッドアップディスプレイが使用されている。運転者等のユーザは、ウィンドシールドに反射された画像表示光を視認する。ガラスなどで構成される一般的なウィンドシールドの反射率には偏光依存性があり、Ｓ偏光成分に比べてＰ偏光成分が反射されにくいことが知られている。ユーザが偏光サングラスを使用している場合、ウィンドシールドで反射されやすいＳ偏光成分が偏光サングラスにより遮蔽されるため、画像表示光が視認しにくくなる。偏光サングラスの使用時にも画像表示光が視認しやすくなるようにした表示装置が提案されている（例えば、特許文献１参照）。

特開２０１３－５７８９７号公報

　ウィンドシールドにて反射されにくいＰ偏光成分を主に用いると、偏光サングラスを使用していないユーザにとっては画像表示光が暗くなってしまう。偏光サングラスの使用有無に応じて適切な画像表示光を提供できることが好ましい。

　本発明は、上述の事情に鑑みてなされたものであり、偏光サングラスの使用有無に応じて画像表示光を切り替える技術を提供することを目的とする。

　本発明のある態様の虚像表示装置は、第１方向に直線偏光された第１投射光と、第１方向と直交する第２方向に直線偏光された第２投射光とを選択的にウィンドシールドに向けて投射し、ウィンドシールドにて反射される第１投射光または第２投射光に基づく虚像をユーザに提示する画像投射部と、第１投射光の投射時にユーザの顔面を含む第１画像を撮像装置に撮像させ、第２投射光の投射時にユーザの顔面を含む第２画像を撮像装置に撮像させる撮像制御部と、第１画像および第２画像に基づいて、第１方向の直線偏光成分を遮蔽する偏光サングラスをユーザが着用しているか否かを判定する画像処理部と、画像処理部が偏光サングラスを着用していないと判定した場合に画像投射部に第１投射光を投射させ、画像処理部が偏光サングラスを着用していると判定した場合に画像投射部に第２投射光を投射させる表示制御部と、を備える。

　本発明の別の態様は、撮像装置である。この装置は、ユーザの顔面を撮像対象とするカメラと、第１方向に直線偏光された第１投射光と、第１方向と直交する第２方向に直線偏光された第２投射光とを選択的にウィンドシールドに向けて投射し、ウィンドシールドにて反射される第１投射光または第２投射光に基づく虚像をユーザに提示する虚像表示装置に第１投射光と第２投射光のいずれを投射するかを指示する指令部と、第１投射光の投射時にカメラが撮像する第１画像と、第２投射光の投射時にカメラが撮像する第２画像とに基づいて、第１方向の直線偏光成分を遮蔽する偏光サングラスを着用しているか否かを判定する画像処理部と、を備える。指令部は、画像処理部が偏光サングラスを着用していないと判定した場合に虚像表示装置に第１投射光を投射するよう指令し、画像処理部が偏光サングラスを着用していると判定した場合に虚像表示装置に第２投射光を投射するよう指令する。

　なお、以上の構成要素の任意の組合せや本発明の構成要素や表現を、方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。

　本発明によれば、偏光サングラスの使用有無に応じて画像表示光を切替できる。

実施の形態に係る虚像表示装置の設置例を模式的に示す図である。ウィンドシールドの反射率を示すグラフである。偏光サングラスの判定方法を模式的に示す図である。実施の形態に係る画像投射部の構成を模式的に示す図である。実施の形態に係る制御装置の機能構成を模式的に示すブロック図である。虚像表示装置の動作を模式的に示すタイミングチャートである。実施の形態に係る運転支援システムの構成を模式的に示す図である。別の実施の形態に係る運転支援システムの構成を模式的に示す図である。

　以下、本発明の実施の形態について、図面を参照しつつ説明する。かかる実施の形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

　図１は、実施の形態に係る虚像表示装置１０の設置例を模式的に示す図である。本実施の形態では、移動体の一例である車両６０に虚像表示装置１０が設置される。虚像表示装置１０は、いわゆるヘッドアップディスプレイであり、ウィンドシールド６２に投射光５２を投射し、車両６０の進行方向（図１の右方向）の前方に虚像５０を提示する。ユーザである運転者７０は、ウィンドシールド６２を介して現実の風景に重畳される虚像５０を視認する。図１において、車両６０の進行方向（前後方向）をｚ方向、車両６０の天地方向（上下方向）をｙ方向、車両６０の左右方向をｘ方向としている。

　虚像表示装置１０は、画像投射部１２と、中間像スクリーン１４と、投射鏡１６と、角度調整機構１８と、制御装置２０とを備える。虚像表示装置１０は、撮像装置１１と、車両６０に搭載される外部装置６４とに接続されている。

　外部装置６４は、虚像５０として表示される表示用画像の元データを生成する装置である。外部装置６４は、例えば、車両６０の電子制御ユニット（ＥＣＵ；Electronic Control Unit）や、ナビゲーション装置、携帯電話やスマートフォン、タブレットといったモバイル装置などである。外部装置６４は、虚像５０の表示に必要な画像データ、画像データの内容や種別を示す情報、車両６０の速度や現在位置といった車両６０に関する情報を制御装置２０に送信する。

　撮像装置１１は、いわゆるドライバモニタであり、運転者７０の顔面を撮像して運転者７０の状態をモニタリングする。撮像装置１１は、カメラ２６と、照明装置２８とを含む。カメラ２６は、ＣＣＤセンサやＣＭＯＳセンサなどの撮像素子を有し、運転者７０の顔面を撮像した画像データを生成する。カメラ２６は、撮像軸５６の前方にある運転者７０を撮像対象とする。照明装置２８は、カメラ２６の撮像対象となる運転者７０の顔面に向けて照明光（第３照明光５８ともいう）を照射する。照明装置２８は、ＬＥＤ（Light Emitting Diode）などの無偏光または非偏光の光源を有し、例えば、赤外光の第３照明光５８を生成するよう構成される。照明装置２８は、可視光の第３照明光５８を生成してもよく、赤色、緑色、青色または白色の第３照明光５８を生成してもよい。

　画像投射部１２は、虚像５０を提示するための投射光５２を生成し、中間像スクリーン１４に向けて投射光５２を出射する。中間像スクリーン１４は、光拡散板などで構成され、投射光５２に基づく中間像（実像）を形成する。投射鏡１６は、中間像スクリーン１４を透過した投射光５２をウィンドシールド６２に向けて投射する。角度調整機構１８は、運転者７０の目の高さ位置に応じて投射鏡１６の角度を調整し、運転者７０が虚像５０を視認可能となるアイボックス領域７６に向けて投射光５２が投射されるようにする。アイボックス領域７６は、運転者７０の両目を包含する略長方形の領域であり、例えば、左右方向（ｘ方向）が長く、上下方向が短く設定される。

　画像投射部１２、中間像スクリーン１４、投射鏡１６および角度調整機構１８は、例えば、車両６０のダッシュボード内に設けられる筐体１９に組み込まれる。撮像装置１１は、画像投射部１２などが収容される筐体１９の外に別体として構成される。撮像装置１１は、車両６０のダッシュボードの前面や車両６０のセンターコンソールに設けられてもよいし、車両６０のリアビューミラーやサンバイザーなどに設けられてもよい。なお、撮像装置１１は、画像投射部１２などが収容される筐体１９に設けられてもよい。

　本実施の形態に係る虚像表示装置１０は、運転者７０が着用するサングラス７２が偏光サングラスであるか否かを判定可能となるよう構成される。ここで、偏光サングラスとは、水面での反射光を遮蔽または低減可能なサングラスであり、Ｓ偏光成分を遮蔽または低減し、Ｐ偏光成分を透過させる直線偏光子を含む。一方、通常のサングラスには直線偏光子が含まれず、入射する光の強度を減衰させるＮＤ（Neutral Density）フィルタを含む。偏光サングラスの検出が必要となる背景として、ウィンドシールド６２における投射光５２の反射率の偏光依存性が挙げられる。

　図２は、ウィンドシールド６２の反射率を示すグラフである。ガラスなどで構成される一般的なウィンドシールド６２の反射率には偏光依存性があり、Ｓ偏光成分の反射率Ｒｓに比べてＰ偏光成分の反射率Ｒｐが低いことが知られている。したがって、図１に示す投射光５２のうち、Ｓ偏光成分の第１投射光５２ｓの反射率が相対的に高く、Ｐ偏光成分の第２投射光５２ｐの反射率が相対的に低い。特にブリュースター角θ_Ｂといわれる入射角（例えば５３度）ではＰ偏光成分の反射率Ｒｐが０になる。図１に示されるように、虚像表示装置１０から投射される投射光５２は、ウィンドシールド６２に対して斜めに入反射し、ウィンドシールド６２での入反射角φがブリュースター角θ_Ｂの近い値を取りうる。その結果、Ｓ偏光成分の第１投射光５２ｓは運転者７０の目に到達しやすく、Ｐ偏光成分の第２投射光５２ｐは運転者７０の目に到達しにくい。

　このとき、運転者７０が偏光サングラスを着用していたとすると、Ｓ偏光成分の第１投射光５２ｓが偏光サングラスによって遮蔽または低減されてしまう。その結果、運転者７０に投射光５２を視認させるためにはＰ偏光成分の第２投射光５２ｐを利用しなければならない。一方、運転者７０が偏光サングラスを着用していない場合、Ｓ偏光成分の第１投射光５２ｓを利用した方がより明るくて視認性の高い虚像５０を提供できる。そこで、本実施の形態では、偏光サングラスの着用有無を自動判定し、偏光サングラスの着用有無に応じてより適切な偏光成分を有する投射光５２を提供できるようにする。

　なお、図１の構成におけるＳ偏光成分は、ウィンドシールド６２における投射光５２の入射方向と反射方向の双方に直交する第１方向に直線偏光された光成分であり、車両６０の左右方向（ｘ方向）に直線偏光された光成分に相当する。一方、Ｐ偏光成分は、第１方向と直交する第２方向に直線偏光された光成分であり、車両６０の上下方向（ｙ方向）および前後方向（ｚ方向）で規定されるｙｚ平面に沿う方向に直線偏光された光成分に相当する。

　図１において、虚像表示装置１０は、撮像対象となる運転者７０の顔面をＳ偏光成分とＰ偏光成分とに分けて撮像するよう構成される。画像投射部１２は、第１投射光５２ｓと、第２投射光５２ｐとを選択的に投射するよう構成される。撮像装置１１は、第１投射光５２ｓ（つまり、Ｓ偏光照明）が投射された運転者７０を撮像した第１画像と、第２投射光５２ｐ（つまり、Ｐ偏光照明）が投射された運転者７０を撮像した第２画像とを撮像する。虚像表示装置１０は、第１画像と第２画像を比較することで、運転者７０が偏光サングラスを使用しているか否かを判定する。

　図３は、偏光サングラスの判定方法を模式的に示す図である。図３では、（ａ）サングラスを使用していない裸眼時、（ｂ）偏光サングラスではない通常サングラスの使用時、および（ｃ）偏光サングラスの使用時、の三つの場合において撮像装置１１により取得される（ｉ）第１画像および（ｉｉ）第２画像を示している。図３では、第１画像と第２画像の差分に対応する（ｉｉｉ）差分画像および（ｉｖ）差分画像のヒストグラムも示している。ここで、「差分画像」とは、第１画像を構成する各画素の輝度値（第１輝度値ともいう）から第２画像を構成する各画素の輝度値（第２輝度値ともいう）を減算した差分値（＝第１輝度値－第２輝度値）により各画素の輝度値が構成される画像のことである。また、ヒストグラムは、画像を構成する各画素の輝度値の分布をグラフ化したものであり、横軸を輝度値とし、縦軸を画素数としたグラフである。

　（ａ）の裸眼時では、Ｓ偏光照明の第１画像とＰ偏光照明の第２画像がほぼ同じとなるため、差分画像の輝度値（つまり、第１輝度値と第２輝度値の差分値）がほぼゼロとなり、差分画像にほぼ何も写らない状態となる。その結果、差分画像のヒストグラムでは、輝度値がゼロとなる近傍にのみピーク７４が検出される。（ｂ）の通常サングラスの使用時も同様であり、Ｓ偏光照明の第１画像とＰ偏光照明の第２画像がほぼ同じとなるため、差分画像にほぼ何も写らない状態となり、差分画像のヒストグラムにおいても輝度値がゼロとなる近傍にのみピーク７４が検出される。（ｃ）の偏光サングラスの使用時では、Ｓ偏光照明の第１画像とＰ偏光照明の第２画像とで偏光サングラスの見え方が異なる。偏光サングラスはＳ偏光成分を遮蔽するため、Ｓ偏光照明の第１画像では偏光サングラスが黒く写る。一方、偏光サングラスはＰ偏光成分を透過するため、Ｐ偏光照明の第２画像では偏光サングラスが透けて写る。その結果、差分画像では偏光サングラスの領域の輝度値（つまり、第１輝度値と第２輝度値の差分値）の絶対値が大きくなり、偏光サングラスが強調されて見える。第１画像における偏光サングラスの領域の第１輝度値は相対的に小さく（つまり暗く）、第２画像における偏光サングラスの領域の第２輝度値は相対的に大きい（つまり明るい）ため、差分画像における偏光サングラスの領域の輝度値は負の値（例えば－ｎ）となる。その結果、差分画像のヒストグラムでは、輝度値がゼロとなる近傍に第１ピーク７４ａが検出されるとともに、輝度値が－ｎとなる近傍に第２ピーク７４ｂが検出される。このようにして、Ｓ偏光照明の第１画像とＰ偏光照明の第２画像を比較することで、偏光サングラスの使用有無を検出できる。

　図４は、実施の形態に係る画像投射部１２の構成を模式的に示す図である。画像投射部１２は、光源部２２と、スキャン部２４とを含む。光源部２２は、投射光５２の元となるレーザ光を生成する。スキャン部２４は、レーザ光をラスタースキャンすることで所望の表示用画像を提示するための投射光５２を生成する。

　光源部２２は、第１緑光源３０Ｇｓと、第２緑光源３０Ｇｐと、赤光源３０Ｒと、青光源３０Ｂと、光源駆動部３１と、偏光ビームスプリッタ３２と、第１ダイクロイックミラー３３と、第２ダイクロイックミラー３４と、光源光測定部３５とを有する。

　第１緑光源３０Ｇｓは、直線偏光の発振モードを有する緑色のレーザ光源であり、Ｓ偏光の第１緑色レーザ光を出射するように配置される。第２緑光源３０Ｇｐは、直線偏光の発振モードを有する緑色のレーザ光源であり、Ｐ偏光の第２緑色レーザ光を出射するよう配置される。赤光源３０Ｒは、直線偏光の発振モードを有する赤色のレーザ光源である。赤光源３０Ｒは、例えば、Ｓ偏光方向に対して４５度回転させた偏光方向となるように配置され、Ｓ偏光成分およびＰ偏光成分の双方を含む赤色レーザ光を出射する。青光源３０Ｂは、直線偏光の発振モードを有する青色のレーザ光源である。青光源３０Ｂは、例えば、Ｓ偏光方向に対して４５度回転させた偏光方向となるように配置され、Ｓ偏光成分およびＰ偏光成分の双方を含む青色レーザ光を出射するよう構成される。

　現在実用化されている赤色、緑色、青色の半導体レーザ光源は、赤色や青色に比べて緑色の高出力化が難しく、高輝度のカラー画像を生成するためには、緑色の光強度が不足しがちである。そこで、本実施の形態では、Ｓ偏光用の第１緑光源３０ＧｓとＰ偏光用の第２緑光源３０Ｇｐとを別々に用意し、それぞれから出射される緑色レーザ光を合波することで、高輝度の緑色レーザ光が得られるようにしている。なお、変形例においては、赤色および青色の少なくとも一方についてもＳ偏光用とＰ偏光用のレーザ光源を別々に用意し、両者を合波して赤色レーザ光や青色レーザ光を得るようにしてもよい。

　光源駆動部３１は、４つのレーザ光源３０Ｇｓ，３０Ｇｐ，３０Ｒ，３０Ｂを駆動する。光源駆動部３１は、スキャン部２４のラスタースキャンの周期に合わせて、各レーザ光源３０Ｇｓ，３０Ｇｐ，３０Ｒ，３０Ｂの発光強度を変化させ、表示用画像の各画素の輝度値に対応した光強度を有する投射光５２が生成されるようにする。

　光源駆動部３１は、第１投射光５２ｓに基づく虚像５０の色調と、第２投射光５２ｐに基づく虚像５０の色調とが整合するように、各レーザ光源の３０Ｇｓ，３０Ｇｐ，３０Ｒ，３０Ｂの発光強度の比率（ホワイトバランス）を調整する。光源駆動部３１は、例えば、第１投射光５２ｓの生成時に用いる第１ホワイトバランスと、第２投射光５２ｐの生成時に用いる第２ホワイトバランスとを有する。第１ホワイトバランスは、第１投射光５２ｓの生成時における赤光源３０Ｒおよび青光源３０Ｂの発光強度に対する第１緑光源３０Ｇｓの発光強度の比率である。また、第２ホワイトバランスは、第２投射光５２ｐの生成時における赤光源３０Ｒおよび青光源３０Ｂの発光強度に対する第２緑光源３０Ｇｐの発光強度の比率に相当する。

　第１ホワイトバランスおよび第２ホワイトバランスの値は、例えば、ウィンドシールド６２のＳ偏光成分の反射率ＲｓとＰ偏光成分の反射率Ｒｐに応じて定められる。例えば、第１投射光５２ｓを生成するための赤光源３０Ｒの発光強度と、第２投射光５２ｐを生成するための赤光源３０Ｒの発光強度とを同じにした場合、運転者７０の目に到達する赤色光の明るさは同じである。青光源３０Ｂについても同様である。一方、第１投射光５２ｓを生成するための第１緑光源３０Ｇｓの発光強度と、第２投射光５２ｐを生成するための第２緑光源３０Ｇｐの発光強度とを同じにした場合、ウィンドシールド６２におけるＳ偏光成分とＰ偏光成分の反射率の違いにより、運転者７０の目に到達する緑色光の明るさは同じにはならない。そのため、第１投射光５２ｓの色調と第２投射光５２ｐの色調とが一致しなくなる。このとき、運転者７０の目に到達する緑色光の明るさを同じにするためには、例えば、第１緑光源３０Ｇｓの発光強度を１とした場合に、第２緑光源３０Ｇｐの発光強度を（Ｒｓ／Ｒｐ）とすればよい。その結果、第１ホワイトバランスの値を１とした場合、第２ホワイトバランスの値は（Ｒｓ／Ｒｐ）となる。このようにして、第１ホワイトバランスと第２ホワイトバランスの値を異ならせることにより、第１投射光５２ｓに基づく虚像５０の色調と第２投射光５２ｐに基づく虚像５０の色調を整合させることができる。

　偏光ビームスプリッタ３２は、第１緑光源３０Ｇｓから出射されるＳ偏光の第１緑色レーザ光と、第２緑光源３０Ｇｐから出射されるＰ偏光の第２緑色レーザ光を合波し、Ｓ偏光成分およびＰ偏光成分の双方を含む緑色レーザ光を生成する。第１ダイクロイックミラー３３は、赤光源３０Ｒから出射される赤色レーザ光と、偏光ビームスプリッタ３２から出射される緑色レーザ光を合波する。第２ダイクロイックミラー３４は、青光源３０Ｂから出射される青色レーザ光と、第１ダイクロイックミラー３３から出射される緑色および赤色のレーザ光とを合波する。第２ダイクロイックミラー３４から出射される赤色、緑色および青色のレーザ光は、スキャン部２４に向かう。

　光源光測定部３５は、第２ダイクロイックミラー３４を透過または反射するレーザ光の光強度を測定し、各レーザ光源３０Ｇｓ，３０Ｇｐ，３０Ｒ，３０Ｂの発光強度をモニタする。光源光測定部３５は、例えばフォトダイオードなどで構成される。

　スキャン部２４は、第１スキャンミラー３７と、第２スキャンミラー３８と、スキャン駆動部３９とを有する。第１スキャンミラー３７は、中間像スクリーン１４においてレーザ光を横方向にスキャンするよう回動し、第２スキャンミラー３８は、中間像スクリーン１４においてレーザ光を縦方向にスキャンするよう回動する。スキャン駆動部３９は、第１スキャンミラー３７および第２スキャンミラー３８の回動を制御し、中間像スクリーン１４においてレーザ光がラスタースキャンされるようにする。スキャン部２４によるレーザ光のラスタースキャンにより、中間像スクリーン１４に表示用画像が描画される。

　中間像スクリーン１４に描画される表示用画像は、虚像５０として運転者７０に視認される。中間像スクリーン１４は、スキャン部２４から出射される投射光５２を拡散して均質化するよう構成される。中間像スクリーン１４は、中間像スクリーン１４の入射前後で偏光方向が保存される偏光保存型であることが好ましい。

　画像投射部１２は、表示用画像を提示するための２種類の画像表示光（単に表示光ともいう）を生成する。画像投射部１２は、偏光サングラスを着用していない場合に投射する第１表示光と、偏光サングラスを着用している場合に投射する第２表示光とを選択的に生成する。第１表示光は、第１方向に直線偏光されたＳ偏光成分で構成される画像表示光であり、第１緑光源３０Ｇｓ、赤光源３０Ｒおよび青光源３０Ｂから出射されるレーザ光を用いて生成される。したがって、第１表示光の生成時には、第２緑光源３０Ｇｐがオフとなる。第２表示光は、第２方向に直線偏光されたＰ偏光成分で構成される画像表示光であり、第２緑光源３０Ｇｐ、赤光源３０Ｒおよび青光源３０Ｂから出射されるレーザ光を用いて生成される。したがって、第２表示光の生成には、第１緑光源３０Ｇｓがオフとなる。

　画像投射部１２は、偏光サングラスの着用有無の判定に用いる２種類の照明光（照明用投射光）を生成する。照明用投射光は、アイボックス領域７６に均一な光強度分布の照明光を投射するために用いられ、運転者７０に表示用画像を提示するための画像表示光とは性質が異なる。その一方で、照明用投射光が投射される場合には、画像全体が同一輝度である測定用画像が虚像５０として提示されるため、測定用画像を提示する投射光（または画像表示光）が照明用投射光であるということもできる。画像投射部１２は、第１画像の撮像に用いる第１照明光と、第２画像の撮像に用いる第２照明光とを選択的に生成する。第１照明光は、第１方向に直線偏光されたＳ偏光成分のみで構成され、第１緑光源３０Ｇｓから出射される第１緑色レーザ光のみを用いて生成される。第２照明光は、第２方向に直線偏光されたＰ偏光成分のみで構成され、第２緑光源３０Ｇｐから出射される第２緑色レーザ光のみを用いて生成される。したがって、照明用投射光の生成時には、Ｓ偏光成分とＰ偏光成分の双方を含むレーザ光を出射する赤光源３０Ｒおよび青光源３０Ｂはオフとなる。

　画像投射部１２は、運転者７０の顔面に投射される第１照明光と第２照明光の明るさが同じとなるように第１緑光源３０Ｇｓと第２緑光源３０Ｇｐの発光強度を調整してもよい。第１照明光および第２照明光は、ウィンドシールド６２にて反射されてから運転者７０の顔面に投射されるため、ウィンドシールド６２のＳ偏光成分とＰ偏光成分の反射率Ｒｓ，Ｒｐの差の影響を受ける。例えば、第１照明光の生成時の第１緑光源３０Ｇｓの発光強度を１とした場合、第２照明光の生成時の第２緑光源３０Ｇｐの発光強度をＲｓ／Ｒｐとすることで、ウィンドシールド６２にて反射された後に運転者７０に投射される第１照明光と第２照明光の明るさを同じにすることができる。

　図５は、実施の形態に係る制御装置２０の機能構成を模式的に示すブロック図である。制御装置２０は、投射制御部４０と、表示制御部４２と、撮像制御部４４と、画像処理部４６とを備える。図示する各機能ブロックは、ハードウェア的には、コンピュータのＣＰＵやメモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックとして描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組み合わせによっていろいろなかたちで実現できることは、当業者には理解されるところである。

　投射制御部４０は、角度調整機構１８の動作を制御して投射鏡１６の角度を変化させ、投射光５２の光路５４の向きを調整する。投射制御部４０は、運転者７０の目の高さ位置に応じたアイボックス領域７６に投射光５２が投射されるように光路５４の向きを調整する。投射制御部４０は、例えば、運転者７０からの入力操作に基づいて角度調整機構１８を動作させる。

　表示制御部４２は、画像投射部１２の動作を制御して画像表示光および照明用投射光が生成されるようにする。表示制御部４２は、外部装置６４から表示用画像データを取得し、表示用画像データに基づいて光源駆動部３１の動作を制御することで画像表示光を生成させる。表示制御部４２は、スキャン部２４のラスタースキャンの周期に合わせて、表示用画像の各画素の赤色、緑色、青色の輝度値に対応した光強度のレーザ光が出射されるように光源駆動部３１の動作を制御する。表示制御部４２は、第１緑光源３０Ｇｓまたは第２緑光源３０Ｇｐの発光強度を一定にしたままレーザ光をラスタースキャンさせることにより、画像全体が同一輝度となる照明用投射光が生成されるようにする。

　撮像制御部４４は、画像投射部１２の動作と同期して撮像装置１１の動作を制御する。撮像制御部４４は、撮像対象にＳ偏光成分のみで構成される第１照明光が投射されるタイミングでカメラ２６に第１画像を撮像させる。撮像制御部４４は、撮像対象にＰ偏光成分のみで構成される第２照明光が投射されるタイミングでカメラ２６に第２画像を撮像させる。撮像制御部４４は、第１照明光または第２照明光が投射されるタイミングにおいて照明装置２８による第３照明光５８の照射を禁止する。これにより、第１画像に第３照明光５８に起因するＰ偏光成分が含まれたり、第２画像に第３照明光５８に起因するＳ偏光成分が含まれたりすることを防ぐようにする。

　撮像制御部４４は、画像表示光が投射されるタイミングにカメラ２６に第３画像を撮像させる。ここで、第３画像とは、撮像装置１１をドライバモニタとして動作させて運転者７０を撮像する場合の画像であり、例えば動画像を構成する画像である。撮像制御部４４は、第３画像を撮像させるタイミングにおいて照明装置２８による第３照明光５８の照射を許可する。第３照明光５８が照射された状態で第３画像を撮像することにより、運転者７０の状態をより鮮明に撮像することができる。

　カメラ２６は、撮像素子の手前に設けられる波長フィルタを有してもよい。カメラ２６は、照明装置２８が照射する第３照明光５８の波長（例えば赤外域）と、画像投射部１２が投射する照明用投射光の波長（例えば緑色）とを選択的に透過させる波長フィルタを有してもよい。これにより、第１画像、第２画像および第３画像の撮像に必要な波長域の光のみがカメラ２６により撮像され、ノイズ成分となりうる他の波長域の光が波長フィルタにより遮蔽されるようにしてもよい。

　画像処理部４６は、撮像装置１１が撮像する第１画像および第２画像に基づいて、運転者７０が偏光サングラスを着用しているか否かを判定する。画像処理部４６は、図３に示されるように、第１画像および第２画像の差分画像を生成し、差分画像に各画素の輝度値の絶対値が基準値以上となる「特定領域」が存在する場合に偏光サングラスが含まれると判定する。画像処理部４６は、図３に示されるように、差分画像のヒストグラムに基づいて偏光サングラスの有無を判定してもよい。例えば、図３のヒストグラムにおいて、横軸の輝度値の絶対値が基準値以上となる位置（例えば輝度値－ｎ）において縦軸の画素数が所定値以上となるピーク（例えば第２ピーク７４ｂ）が含まれる場合に偏光サングラスがあると判定する。

　画像処理部４６は、ウィンドシールド６２のＳ偏光成分とＰ偏光成分の反射率Ｒｓ，Ｒｐの違いを考慮して、撮像装置１１が撮像する第１画像および第２画像の少なくとも一方の各画素の輝度値に補正処理を加えてから差分画像を生成してもよい。例えば、画像投射部１２から出射される第１照明光と第２照明光の明るさが同じであっても、運転者７０に投射される第１照明光の明るさはウィンドシールド６２のＳ偏光成分の反射率Ｒｓに比例し、運転者７０に投射される第２照明光の明るさはウィンドシールド６２のＰ偏光成分の反射率Ｒｐに比例する。そこで、画像処理部４６は、撮像装置１１が撮像する第１画像の各画素の輝度値を１／Ｒｓ倍に補正し、撮像装置１１が撮像する第２画像の各画素の輝度値を１／Ｒｐ倍に補正してから両者の差分画像を生成してもよい。

　画像処理部４６は、差分画像における特定領域の画素の輝度値の符号（正負）を考慮して偏光サングラスが含まれるか否かを判定してもよい。例えば、Ｓ偏光照明を用いる第１画像の特定領域の画素の輝度値が相対的に小さく（つまり、暗く）、Ｐ偏光照明を用いる第２画像の特定領域の画素の輝度値が相対的に大きい（つまり、明るい）場合にのみ偏光サングラスが含まれていると判定してもよい。画像処理部４６は、パターンマッチング等の画像解析技術を用いて運転者７０の顔面の輪郭や目の位置を特定し、顔面と重なる範囲に特定領域が存在する場合や目の位置に特定領域が存在する場合に偏光サングラスを使用していると判定してもよい。画像処理部４６は、運転者７０が首を傾げておらず、車両６０の左右方向と運転者７０の両目またはサングラスの左右方向が一致する場合にのみ偏光サングラスの使用有無を判定してもよい。

　画像処理部４６は、撮像装置１１が撮像する第３画像（動画像）に基づいて、運転者７０の状態を検知してもよい。画像処理部４６は、運転者７０の目が閉じた状態が所定時間連続する場合に居眠りを検知したり、運転者７０の視線方向が所定時間連続して車両前方とは異なる方向に向いている場合に脇見運転を検知したりしてもよい。

　表示制御部４２は、画像処理部４６が偏光サングラスを着用していないと判定する場合、画像投射部１２にＳ偏光成分で構成される第１表示光を投射させる。Ｓ偏光成分はＰ偏光成分に比べてウィンドシールド６２での反射率が大きいため、第１表示光を用いることでより高輝度の表示用画像を運転者７０に提示できる。一方、画像処理部４６が偏光サングラスを着用していると判定する場合、表示制御部４２は、画像投射部１２にＰ偏光成分で構成される第２表示光を投射させる。Ｐ偏光成分の第２表示光を投射することで、偏光サングラス越しに表示用画像を運転者７０に提示できる。

　図６は、虚像表示装置１０の動作を模式的に示すタイミングチャートである。画像投射部１２は、第１期間Ｔ１、第２期間Ｔ２および第３期間Ｔ３を周期的に切り替えて動作する。第１期間Ｔ１は、第１緑光源３０Ｇｓのみがオンとなって第１照明光が投射される期間であり、第２期間Ｔ２は、第２緑光源３０Ｇｐのみがオンとなって第２照明光が投射される期間である。第１期間Ｔ１および第２期間Ｔ２では、照明装置２８がオフとなる。したがって、第１期間Ｔ１では、第１照明光が投射され、第３照明光５８が照射されていない状態で運転者７０の顔面を撮像した第１画像をカメラ２６が撮像する。第２期間Ｔ２では、第２照明光が投射され、第３照明光５８が照射されていない状態で運転者７０の顔面を撮像した第２画像をカメラ２６が撮像する。

　第３期間Ｔ３は、画像表示光が投射されて運転者７０に表示用画像が提示される期間である。第３期間Ｔ３では、画像表示光の生成に用いる各光源がオンとなる。なお、図６では、偏光サングラスを着用していないと判定され、第３期間Ｔ３において第１緑光源３０Ｇｓを用いてＳ偏光成分の第１表示光が投射される場合を示している。偏光サングラスを着用していると判定される場合には、第３期間Ｔ３において第２緑光源３０Ｇｐを用いてＰ偏光成分の第２表示光が投射される。

　表示制御部４２は、第１期間Ｔ１、第２期間Ｔ２および第３期間Ｔ３を周期的に切り替えることにより、偏光サングラスを検出するための測定を間欠的に実行しつつ、運転者７０に提示すべき表示用画像を提示する。表示制御部４２は、スキャン部２４のラスタースキャンの周期に同期して各期間Ｔ１～Ｔ３を切り替える。第１期間Ｔ１および第２期間Ｔ２のそれぞれの長さは、１枚の画像全体を描画するための１回のラスタースキャンの周期時間に対応し、例えば、１／６０秒や１／３０秒などである。一方、第３期間Ｔ３は、他の期間よりも長い時間が設定され、例えば、１秒、５秒、１０秒、３０秒、１分、５分などである。

　表示制御部４２は、第１期間Ｔ１および第２期間Ｔ２が互いに時間的に連続するようにしている。これにより、第１期間Ｔ１と第２期間Ｔ２の撮像条件の変化を最小化し、運転者７０の姿勢変化といった投射する照明用投射光以外の要素で第１画像と第２画像の間に差が生じるのを防ぐことができる。

　撮像制御部４４は、画像処理部４６による運転者７０の状態の検知結果に基づいて、第３期間Ｔ３から第１期間Ｔ１または第２期間Ｔ２に切り替えしてもよい。画像処理部４６は、第３画像に基づいて運転者７０がサングラスを着けたり外したりする動作を検知してもよい。画像処理部４６は、第３画像に基づいて運転者７０の視線方向の変化を検知し、運転者７０が前方を注視していない状態となることを検知してもよい。撮像制御部４４は、サングラスの着脱動作や前方不注視が検知された場合、第３期間から第１期間Ｔ１に切り替え、その後に第２期間Ｔ２に切り替え、カメラ２６に第１画像および第２画像を撮像させ、画像処理部４６に偏光サングラスの着用有無を判定させてもよい。サングラスが着脱されるタイミングで偏光サングラスの着用有無を判定することで、サングラスの着脱に応じて適切な偏光成分（Ｓ偏光またはＰ偏光）の画像表示光の投射に切り替えできる。また、前方不注視となるタイミングで照明用投射光を投射することで、照明用投射光に基づく同一輝度の虚像５０が運転者７０に視認されるのを防ぎつつ、偏光サングラスの着用有無を判定できる。

　本実施の形態によれば、虚像表示装置１０を用いて運転者７０が偏光サングラスを着用しているか否かを自動判定できる。これにより、虚像表示装置１０は、偏光サングラスの着用有無に応じて適切な画像表示光を生成できる。例えば、偏光サングラスを着用していない場合にはウィンドシールド６２での反射されやすいＳ偏光の第１投射光５２ｓを生成するようにし、偏光サングラスを着用している場合には偏光サングラス越しに視認可能なＰ偏光の第２投射光５２ｐを生成するようにできる。その結果、偏光サングラスの着用有無に拘わらずに第１投射光５２ｓおよび第２投射光５２ｐの双方を生成する場合に比べて虚像表示装置１０の消費電力を低減することができる。また、第１投射光５２ｓおよび第２投射光５２ｐの双方を生成するために第１緑光源３０Ｇｓおよび第２緑光源３０Ｇｐを同時点灯させる必要がなくなるため、複数光源の同時点灯による動作温度の上昇を防ぐことができ、光源の長寿命化を実現できる。

　本実施の形態によれば、撮像装置１１をドライバモニタとして使用し、虚像表示装置１０をヘッドアップディスプレイとして使用しつつ、運転者７０が偏光サングラスを使用しているか否かを自動判定できる。特に、第１画像および第２画像を取得するための第１期間Ｔ１および第２期間Ｔ２を間欠的に挿入することで、ドライバモニタおよびヘッドアップディスプレイとして動作する第３期間Ｔ３への実質的な影響を及ぼすことなく、偏光サングラスの着用有無を判定できる。また、第１期間Ｔ１および第２期間Ｔ２において照明装置２８をオフにすることで、第１画像にＰ偏光成分が含まれないようにし、かつ、第２画像にＳ偏光成分が含まれないようにすることができ、偏光サングラスの着用有無の判定精度を高めることができる。さらに、第３期間Ｔ３において照明装置２８をオンにすることで、ドライバモニタとしての通常画像（第３画像）を第３照明光５８が照射された状態でより鮮明に撮像することができ、ドライバモニタとしての検出精度を高めることができる。

　本実施の形態によれば、虚像表示装置１０から投射される第１照明光および第２照明光を用いてＳ偏光成分の第１画像とＰ偏光成分の第２画像を撮像できるため、直線偏光された照明光を照射するための専用の照明装置を別途設けずに済む。つまり、直線偏光されていない一般的な照明光を照射するドライバモニタ用の撮像装置１１と、第１投射光５２ｓおよび第２投射光５２ｐを生成可能な虚像表示装置１０とを組み合わせればよい。その結果、第１画像および第２画像を撮像するための専用照明を設ける場合と比べて低コストで偏光サングラスの着用有無を判定可能なヘッドアップディスプレイおよびドライバモニタを提供できる。

　本実施の形態では、虚像表示装置１０と撮像装置１１が別体として構成される場合について説明したが、両者が一体的に構成されてもよい。つまり、虚像表示装置１０は、撮像装置１１を備えてもよい。

　図７は、実施の形態に係る運転支援システム１００の構成を模式的に示す図である。運転支援システム１００は、虚像表示装置１１０と、撮像装置１１１とを備える。本実施の形態では、虚像表示装置１１０に設けられる第１制御装置１２０と、撮像装置１１１に設けられる第２制御装置１２１とが協調して偏光サングラスの着用有無を判定するよう構成される点で上述の実施の形態と相違する。

　虚像表示装置１１０は、画像投射部１２と、中間像スクリーン１４と、投射鏡１６と、角度調整機構１８と、第１制御装置１２０とを備える。第１制御装置１２０は、投射制御部４０と、表示制御部４２と、第１撮像制御部１４４と、第１画像処理部１４６とを含む。画像投射部１２、中間像スクリーン１４、投射鏡１６、角度調整機構１８、投射制御部４０および表示制御部４２は、上述の実施の形態と同様に構成される。虚像表示装置１１０は、いわゆるヘッドアップディスプレイである。

　撮像装置１１１は、カメラ２６と、照明装置２８と、第２制御装置１２１とを備える。第２制御装置１２１は、第２撮像制御部１４５と、第２画像処理部１４７とを含む。カメラ２６および照明装置２８は、上述の実施の形態と同様に構成される。撮像装置１１１は、いわゆるドライバモニタである。

　第１撮像制御部１４４は、撮像装置１１１の動作を制御するための指令を第２制御装置１２１に送信する。第１撮像制御部１４４は、画像投射部１２の動作と同期して撮像装置１１１が動作するように指令する。第１撮像制御部１４４は、撮像対象にＳ偏光成分のみで構成される第１照明光が投射されるタイミングでカメラ２６が第１画像を撮像するように指令する。第１撮像制御部１４４は、撮像対象にＰ偏光成分のみで構成される第２照明光が投射されるタイミングでカメラ２６が第２画像を撮像するように指令する。第１撮像制御部１４４は、第１照明光または第２照明光が投射されるタイミングにおいて照明装置２８による第３照明光５８の照射を禁止する指令をする。

　第２撮像制御部１４５は、第１撮像制御部１４４からの指令に基づいてカメラ２６および照明装置２８を動作させる。第２撮像制御部１４５は、第１撮像制御部１４４から第１画像を撮像するように指令された場合、照明装置２８をオフにしてカメラ２６に第１画像を撮像させる。第２撮像制御部１４５は、第１撮像制御部１４４から第２画像を撮像するように指令された場合、照明装置２８をオフにしてカメラ２６に第２画像を撮像させる。第２撮像制御部１４５は、第１撮像制御部１４４からの指令がない場合、照明装置２８をオンにしてカメラ２６に第３画像を撮像させる。第３画像は、ドライバモニタとして動作するために運転者７０を撮像した画像であり、例えば動画像を構成する画像である。

　第１画像処理部１４６は、撮像装置１１１から第１画像および第２画像を取得し、第１画像および第２画像に基づいて運転者７０が偏光サングラスを着用しているか否かを判定する。第２画像処理部１４７は、カメラ２６が撮像する第３画像に基づいて、運転者７０の状態を検知する。

　本実施の形態によれば、虚像表示装置１１０と撮像装置１１１を協調して動作させることにより、運転者７０が偏光サングラスを着用しているか否かを判定することができ、偏光サングラスの着用有無に応じて適切な画像表示光を提供できる。本実施の形態では、虚像表示装置１１０に偏光サングラスの着用有無を判定する専用機能が実装され、撮像装置１１１には偏光サングラスの着用有無の判定に必要な専用機能が必要とされない。したがって、本実施の形態によれば、一般的なドライバモニタを撮像装置１１１として使用することができる。例えば、車両６０にすでにドライバモニタが搭載されていれば、虚像表示装置１１０のみを追加し、ドライバモニタのプログラムを修正するだけで、運転支援システム１００を実現できる。これにより、上述の実施の形態に係る虚像表示装置１０および撮像装置１１を搭載する場合よりも低コストで同様の機能が実現できる。

　図８は、別の実施の形態に係る運転支援システム２００の構成を模式的に示す図である。運転支援システム２００は、虚像表示装置２１０と、撮像装置２１１とを備える。本実施の形態では、撮像装置２１１に偏光サングラスの着用有無を判定する機能が実装される点で上述の実施の形態に係る運転支援システム１００と相違する。

　虚像表示装置２１０は、画像投射部１２と、中間像スクリーン１４と、投射鏡１６と、角度調整機構１８と、第１制御装置２２０とを備える。第１制御装置２２０は、投射制御部４０と、表示制御部４２とを含む。画像投射部１２、中間像スクリーン１４、投射鏡１６、角度調整機構１８、投射制御部４０および表示制御部４２は、上述の実施の形態と同様に構成される。虚像表示装置２１０は、いわゆるヘッドアップディスプレイである。

　撮像装置２１１は、カメラ２６と、照明装置２８と、第２制御装置２２１とを備える。第２制御装置２２１は、撮像制御部４４と、画像処理部４６と、指令部４８とを含む。カメラ２６、照明装置２８、撮像制御部４４および画像処理部４６は、上述の実施の形態と同様に構成される。撮像装置２１１は、いわゆるドライバモニタである。

　指令部４８は、虚像表示装置２１０の動作を制御するための指令を第１制御装置２２０に送信する。指令部４８は、画像投射部１２に第１照明光、第２照明光、第１表示光および第２表示光のうちのいずれを投射させるかを指令する。指令部４８は、第１期間Ｔ１、第２期間Ｔ２および第３期間Ｔ３のタイミングを決定し、第１期間Ｔ１に画像投射部１２が第１照明光を投射し、第２期間Ｔ２に画像投射部１２が第２照明光を投射するように指令する。

　表示制御部４２は、指令部４８からの指令に基づいて画像投射部１２の動作を制御する。表示制御部４２は、指令部４８から第１照明光を投射するよう指令があった場合、画像投射部１２に第１照明光を投射させる。表示制御部４２は、指令部４８から第２照明光を投射するよう指令があった場合、画像投射部１２に第２照明光を投射させる。表示制御部４２は、指令部４８から第１照明光または第２照明光を投射する指令がない場合、画像投射部１２に第１表示光または第２表示光を投射させる。

　撮像制御部４４は、指令部４８が決定した第１期間Ｔ１、第２期間Ｔ２および第３期間Ｔ３のタイミングと同期してカメラ２６に運転者７０の顔面の画像を撮像させる。撮像制御部４４は、第１期間Ｔ１にカメラ２６に第１画像を撮像させ、第２期間Ｔ２にカメラ２６に第２画像を撮像させる。撮像制御部４４は、第３期間Ｔ３にカメラ２６に第３画像を撮像させる。撮像制御部４４は、第１期間Ｔ１および第２期間Ｔ２において照明装置２８による第３照明光５８の照射を禁止し、第３期間Ｔ３において照明装置２８による第３照明光５８の照射を許可する。

　画像処理部４６は、第１画像および第２画像に基づいて運転者７０が偏光サングラスを着用しているか否かを判定する。指令部４８は、画像処理部４６により偏光サングラスを着用していないと判定された場合、画像投射部１２が第１表示光を投射するように指令する。指令部４８は、画像処理部４６により偏光サングラスを着用していると判定された場合、画像投射部１２が第２表示光を投射するように指令する。画像処理部４６は、第３画像に基づいて、運転者７０の状態を検知する。

　本実施の形態によれば、虚像表示装置２１０と撮像装置２１１を協調して動作させることにより、運転者７０が偏光サングラスを着用しているか否かを判定することができ、偏光サングラスの着用有無に応じて適切な画像表示光を提供できる。本実施の形態では、撮像装置２１１に偏光サングラスの着用有無を判定する専用機能が実装され、虚像表示装置２１０には偏光サングラスの着用有無の判定に必要な専用機能が必要とされない。したがって、本実施の形態によれば、第１投射光５２ｓと第２投射光５２ｐを生成可能なヘッドアップディスプレイを虚像表示装置２１０として使用することができる。例えば、車両６０にすでにヘッドアップディスプレイが搭載されていれば、撮像装置２１１のみを追加し、ヘッドアップディスプレイのプログラムを修正するだけで、運転支援システム２００を実現できる。これにより、上述の実施の形態に係る虚像表示装置１０を搭載する場合よりも低コストで同様の機能が実現できる。

　以上、本発明を上述の実施の形態を参照して説明したが、本発明は上述の実施の形態に限定されるものではなく、各表示例に示す構成を適宜組み合わせたものや置換したものについても本発明に含まれるものである。

　１０…虚像表示装置、１１…撮像装置、１２…画像投射部、２０…制御装置、２６…カメラ、２８…照明装置、４２…表示制御部、４４…撮像制御部、４６…画像処理部、４８…指令部、５０…虚像、５２…投射光、５２ｓ…第１投射光、５２ｐ…第２投射光、５８…第３照明光、６０…車両、６２…ウィンドシールド、７０…運転者。

Claims

　第１方向に直線偏光された第１投射光と、前記第１方向と直交する第２方向に直線偏光された第２投射光とを選択的にウィンドシールドに向けて投射し、前記ウィンドシールドにて反射される前記第１投射光または前記第２投射光に基づく虚像をユーザに提示する画像投射部と、
　前記第１投射光の投射時に前記ユーザの顔面を含む第１画像を撮像装置に撮像させ、前記第２投射光の投射時に前記ユーザの顔面を含む第２画像を前記撮像装置に撮像させる撮像制御部と、
　前記第１画像および前記第２画像に基づいて、前記第１方向の直線偏光成分を遮蔽する偏光サングラスを前記ユーザが着用しているか否かを判定する画像処理部と、
　前記画像処理部が前記偏光サングラスを着用していないと判定した場合に前記画像投射部に前記第１投射光を投射させ、前記画像処理部が前記偏光サングラスを着用していると判定した場合に前記画像投射部に前記第２投射光を投射させる表示制御部と、を備えることを特徴とする虚像表示装置。
　前記画像投射部は、前記第１投射光として、前記第１方向に直線偏光された第１照明光と、表示用画像を提示するための前記第１方向に直線偏光された第１表示光とを投射可能であり、
　前記画像投射部は、前記第２投射光として、前記第２方向に直線偏光された第２照明光と、前記表示用画像を提示するための前記第２方向に直線偏光された第２表示光とを投射可能であり、
　前記表示制御部は、前記第１照明光が投射される第１期間と、前記第２照明光が投射される第２期間と、前記第１表示光または前記第２表示光が投射される第３期間とを切り替え、前記画像処理部が前記偏光サングラスを着用していないと判定した場合に前記第３期間において前記画像投射部に前記第１表示光を投射させ、前記画像処理部が前記偏光サングラスを着用していると判定した場合に前記第３期間において前記画像投射部に前記第２表示光を投射させ、
　前記撮像装置は、前記ユーザの顔面に向けて可視光または赤外光の第３照明光を投射する照明装置を含み、
　前記撮像制御部は、前記第１期間において前記第１画像を前記撮像装置に撮像させ、前記第２期間において前記第２画像を前記撮像装置に撮像させ、前記第３期間において前記ユーザの顔面を含む第３画像を前記撮像装置に撮像させ、前記第１期間および前記第２期間において前記第３照明光の投射を禁止し、前記第３期間において前記第３照明光の投射を許可することを特徴とする請求項１に記載の虚像表示装置。
　前記画像処理部は、前記第３画像に基づいて前記ユーザの状態を検知することを特徴とする請求項２に記載の虚像表示装置。
　前記表示制御部は、前記画像処理部による前記ユーザの状態の検知結果に応じて、前記第３期間から前記第１期間または前記第２期間に切り替えすることを特徴とする請求項３に記載の虚像表示装置。
　前記撮像装置をさらに備えることを特徴とする請求項１から４のいずれか一項に記載の虚像表示装置。
　前記虚像表示装置は、車両に搭載され、
　前記第１方向は、前記第１投射光の投射方向と前記車両の上下方向の双方に直交する方向であり、
　前記第２方向は、前記第２投射光の投射方向と前記第１方向の双方に直交する方向であり、
　前記ユーザは、前記車両の運転者であることを特徴とする請求項１から５のいずれか一項に記載の虚像表示装置。
　ユーザの顔面を撮像対象とするカメラと、
　第１方向に直線偏光された第１投射光と、前記第１方向と直交する第２方向に直線偏光された第２投射光とを選択的にウィンドシールドに向けて投射し、前記ウィンドシールドにて反射される前記第１投射光または前記第２投射光に基づく虚像をユーザに提示する虚像表示装置に前記第１投射光と前記第２投射光のいずれを投射するかを指示する指令部と、
　前記第１投射光の投射時に前記カメラが撮像する第１画像と、前記第２投射光の投射時に前記カメラが撮像する第２画像とに基づいて、前記第１方向の直線偏光成分を遮蔽する偏光サングラスを着用しているか否かを判定する画像処理部と、を備え、
　前記指令部は、前記画像処理部が前記偏光サングラスを着用していないと判定した場合に前記虚像表示装置に前記第１投射光を投射するよう指令し、前記画像処理部が前記偏光サングラスを着用していると判定した場合に前記虚像表示装置に前記第２投射光を投射するよう指令することを特徴とする撮像装置。