JP7466687B2 - 検出装置および画像表示システム - Google Patents

Description

本開示は、検出装置および画像表示システムに関する。

従来、利用者の眼の位置検出を行う場合、カメラで利用者の眼を撮像した撮像画像を用いて、瞳孔の位置を示す位置データを取得する。例えば、３次元表示装置において、位置データが示す瞳孔の位置に基づいて、利用者の左眼および右眼にそれぞれ対応する画像を視認させるように、画像をディスプレイに表示させている（例えば、特許文献１）

特開２００１－１６６２５９号公報

本開示の一実施形態に係る検出装置は、入力部と、コントローラと、を備える。入力部は、画像情報の入力を受ける。コントローラは、利用者の眼の位置を検出する検出処理を実行可能に構成される。コントローラは、第１処理と、第２処理と、第３処理と、を前記検出処理として実行可能に構成される。第１処理においてコントローラは、入力された画像情報に基づいて、第１テンプレート画像を用いるテンプレートマッチングにて眼の第１位置を検出する。第２処理においてコントローラは、前記入力された画像情報に基づいて、前記第１テンプレート画像と異なる第２テンプレート画像を用いるテンプレートマッチングにて顔の位置を検出し、検出した顔の位置に基づいて眼の第２位置を検出する。第３処理においてコントローラは、第１位置および前記第２位置に基づいて眼の第３位置を検出する。
本開示の一実施形態に係る検出装置は、入力部と、コントローラと、を備える。入力部は、画像情報の入力を受ける。コントローラは、利用者の眼の位置を検出する検出処理を実行可能に構成される。コントローラは、第１処理と、第２処理と、第４処理と、を前記検出処理として実行可能に構成される。第１処理においてコントローラは、入力された画像情報に基づいて、第１テンプレート画像を用いるテンプレートマッチングにて眼の第１位置を検出する。第２処理においてコントローラは、前記入力された画像情報に基づいて、前記第１テンプレート画像と異なる第２テンプレート画像を用いるテンプレートマッチングにて顔の位置を検出し、検出した顔の位置に基づいて眼の第２位置を検出する。第４処理においてコントローラは、前記第１処理と異なる、前記入力された画像情報に基づいて眼の第４位置を検出する。

本開示の一実施形態に係る画像表示システムは、表示部と、バリア部と、カメラと、入力部と、検出部と、表示制御部と、を備える。表示部は、利用者の両眼に対して光学系を介して投影される視差画像を表示するように構成される。バリア部は、前記視差画像の画像光の進行方向を規定することによって、前記両眼に視差を与えるように構成される。カメラは、利用者の顔を撮像するように構成される。入力部は、前記カメラから出力された撮像情報の入力を受ける。検出部は、利用者の両眼の位置を検出する検出処理を実行可能に構成される。前記検出部は、第１処理と、第２処理と、第３処理と、を前記検出処理として実行可能に構成される。第１処理において検出部は、入力された画像情報に基づいて、第１テンプレート画像を用いるテンプレートマッチングにて両眼の第１位置を検出する。第２処理において検出部は、前記入力された画像情報に基づいて、前記第１テンプレート画像と異なる第２テンプレート画像を用いるテンプレートマッチングにて顔の位置を検出し、検出した顔の位置に基づいて両眼の第２位置を検出する。第３処理において検出部は、前記第１位置および前記第２位置に基づいて眼の第３位置を検出する。表示制御部は、前記第１位置、前記第２位置、および前記第３位置のいずれかに基づいて前記視差画像を合成して前記表示部を制御する。

検出装置が搭載された移動体の概略構成の一例を示す図である。 眼のテンプレートマッチングを説明するための模式図である。 顔のテンプレートマッチングを説明するための模式図である。 ３次元投影システムの概略構成の一例を示す図である。 利用者の眼と表示部とバリア部との関係を示す模式図である。 検出装置のテンプレート画像生成処理の一例を説明するためのフロー図である。 第１処理のテンプレートマッチング処理の一例を説明するためのフロー図である。 第２処理のテンプレートマッチング処理の一例を説明するためのフロー図である。 第３処理を説明するためのフロー図である。 第１処理のテンプレートマッチング処理の他の例を説明するためのフロー図である。 ３次元投影システムの概略構成の他の例を示す図である。 第１処理のテンプレートマッチング処理の他の例を説明するためのフロー図である。 第１処理のテンプレートマッチング処理の他の例を説明するためのフロー図である。

以下、本開示の実施形態について、図面を参照しながら詳細に説明がされる。なお、以下の説明で用いられる図は模式的なものである。図面上の寸法比率等は現実のものとは必ずしも一致していない。

図１に示されるように、本開示の一実施形態に係る検出装置５０は、移動体１０に搭載されてよい。検出装置５０は、入力部３０と、検出部１５と、を備える。移動体１０は、画像表示システムとして３次元投影システム１００を備えてよい。３次元投影システム１００は、カメラ１１と、検出装置５０と、３次元投影装置１２と、を備える。

本開示における「移動体」は、例えば車両、船舶、及び航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、及び滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、及びトロリーバス等を含んでよい。産業車両は、例えば農業及び建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフト及びゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、及びタンカー等を含んでよい。航空機は、例えば固定翼機及び回転翼機等を含んでよい。

以下では、移動体１０が、乗用車である場合を例として説明する。移動体１０は、乗用車に限らず、上記例のいずれかであってよい。カメラ１１は、移動体１０に取り付けられてよい。カメラ１１は、利用者１３としての移動体１０の運転者の顔５を含む画像を撮像するように構成される。カメラ１１は、利用者１３としての移動体１０の運転者の顔５が位置すると想定される想定領域を撮像可能に構成される。カメラ１１の取り付け位置は、移動体１０の内部及び外部において任意である。例えば、カメラ１１は、移動体１０のダッシュボード内に位置してよい。

カメラ１１は、可視光カメラまたは赤外線カメラであってよい。カメラ１１は、可視光カメラと赤外線カメラの両方の機能を有していてよい。カメラ１１は、例えばＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含んでよい。

カメラ１１は、撮像した画像の画像情報を検出装置５０に出力可能に構成される。カメラ１１で撮像された画像の画像情報は、検出装置５０に出力される。検出装置５０の入力部３０は、カメラ１１から出力された画像情報の入力を受信可能に構成される。検出部１５は、利用者１３の眼５ａの位置を検出する検出処理を実行可能に構成される。カメラ１１は、全てのフレームが検出装置５０に出力されてよく、検出装置５０は、全てのフレームで眼５ａの位置を検出してよい。

検出部１５が実行可能である検出処理は、例えば、入力部３０が入力を受けた画像情報に基づいて、利用者１３の眼５ａの位置を検出する処理としうる。検出部１５は、第１処理と、第２処理とを検出処理として実行可能に構成される。第１処理は、画像情報に基づいてテンプレートマッチングにて眼５ａの第１位置を検出する処理である。第２処理は、画像情報に基づいてテンプレートマッチングにて顔５の位置を検出し、検出した顔５の位置に基づいて眼５ａの第２位置を検出する処理である。利用者１３の眼５ａの位置は、瞳孔位置であってよい。テンプレートマッチングは、例えば、対象画像からテンプレート画像に最も適合する位置を探索する画像処理としうる。本開示の検出装置５０において、対象画像は、カメラ１１から出力された撮像画像５１である。

第１処理で検出部１５は、第１位置を検出する。第１処理で検出部１５は、テンプレートマッチングにて撮像画像５１から眼５ａの位置を第１位置として検出してよい。第１処理で用いられる第１テンプレート画像５２は、利用者１３の眼５ａとの相対的な位置関係が特定されている顔の部位、または利用者１３の眼５ａを含む。第１テンプレート画像５２が含む利用者１３の眼５ａは、両眼であってよく、右眼のみまたは左眼のみであってよい。利用者１３の眼５ａとの相対的な位置関係が特定されている顔の部位とは、例えば、眉毛または鼻などであってよい。図２に示す例において、第１テンプレート画像５２は、利用者１３の眼５ａとして両眼を含む。

第２処理で検出部１５は、第２位置を検出する。第２処理で検出部１５は、テンプレートマッチングにて撮像画像５１から、顔５の位置を検出し、検出した顔５の位置に基づいて眼５ａの位置を第２位置として検出してよい。第２処理で用いられる第２テンプレート画像５３は、第１処理で用いられる第１テンプレート画像５２と異なる。第２処理で用いられる第２テンプレート画像５３は、第１処理で用いられる第１テンプレート画像５２より比較対象範囲が広い。第２処理で用いられる第２テンプレート画像５３は、図３の例に示すように、例えば、利用者１３の顔５を含む。同じ利用者１３において、顔５における眼５ａの位置は、変わらないので、顔５における眼５ａの位置を予め特定しておくことができる。検出部１５は、テンプレートマッチングにて撮像画像５１から、顔５の位置を検出すると、この検出した顔５の位置に基づいて、予め特定された顔５における眼５ａの位置（第２位置）を検出することができる。

従来のような撮像画像からの瞳孔位置検出は、撮像画像が利用者の瞳孔を含むことが必須である。撮像画像に瞳孔が含まれていなければ、瞳孔位置は、検出することができない。例えば、利用者が、瞬きなどで眼を閉じている時に撮像された画像から、瞳孔位置は、検出することができない。本開示によるテンプレートマッチングは、第１，第２テンプレート画像５２，５３と最も適合する位置を探索するので、撮像画像５１に瞳孔が含まれていない場合でも、第１，第２テンプレート画像５２，５３に含まれる瞳孔以外の特徴を利用して、撮像画像５１の最も適合する位置を探索することができる。第１，第２テンプレート画像５２，５３は、瞳孔より大きい画像であるので、同じ大きさの撮像画像５１を検出対象としたときに、テンプレートマッチングに要する演算量は、瞳孔位置検出に要する演算量よりも低減される。演算量の低減によって、検出部１５は、瞳孔位置検出に比べて検出結果の出力にかかる演算速度を高速化できる。また、第１処理および第２処理を実行し、瞳孔位置として、第１位置および第２位置を検出可能とすることで、例えば、利用者１３の想定外の動き、撮像画像５１の不具合などが生じても、検出装置５０は、第１位置または第２位置のいずれかに関する座標情報を３次元投影装置１２に出力することができる。

第１，第２テンプレート画像５２，５３の形状は、撮像画像５１の形状に応じた形状であってよい。撮像画像５１が矩形状であれば、第１，第２テンプレート画像５２，５３は、矩形状であってよい。第１，第２テンプレート画像５２，５３の形状は、撮像画像５１の形状と相似関係である必要はないが、相似関係であってよい。以下では、図２，３に示すように、撮像画像５１および第１，第２テンプレート画像５２，５３が、矩形状である例について説明する。

検出装置５０による検出結果は、利用者１３の眼５ａの瞳孔位置を示す座標情報であってよい。テンプレートマッチングでは、撮像画像５１において、第１，第２テンプレート画像５２，５３に最も適合する位置の座標が決定される。テンプレートマッチングによって決定される適合位置の座標は、例えば、第１，第２テンプレート画像５２，５３の代表位置の座標に対応する座標であってよい。第１，第２テンプレート画像５２，５３の代表位置は、例えば、いずれか１つの頂点位置または第１，第２テンプレート画像５２，５３の中心位置であってよい。第１処理において、検出部１５は、眼５ａの第１テンプレート画像５２に含まれる瞳孔位置の座標と、例えば、第１テンプレート画像５２の代表位置との相対的な座標位置関係を別に特定した第１関係を利用しうる。テンプレートマッチングによって、撮像画像５１における第１テンプレート画像５２の適合位置の座標が決定されると、検出部１５は、この決定された座標と第１関係とによって、撮像画像５１における瞳孔位置（以下、「第１位置」という）の座標情報を決定することができる。第１関係は、当該第１処理の実行に先立って特定されうる。同様に、第２処理において検出部１５は、顔５の第２テンプレート画像５３に含まれる瞳孔位置の座標と、例えば、第２テンプレート画像５３の代表位置との相対的な座標位置関係を別に特定した第２関係を利用しうる。テンプレートマッチングによって、撮像画像５１における第２テンプレート画像５３の適合位置の座標が決定されると、検出部１５は、この決定された座標と、第２関係とによって、撮像画像５１における瞳孔位置（以下、「第２位置」という）の座標情報を決定することができる。例えば、利用者１３が眼５ａを閉じていて、撮像画像５１に瞳孔が含まれていない場合であっても、検出部１５は、眼が開いていれば検出されたであろうと推定される瞳孔位置の座標情報を決定することができる。本開示の検出装置５０は、利用者１３が瞬きなどで眼５ａ閉じた場合でも瞳孔位置の座標情報を決定できるので、途切れることなく連続して座標情報を出力することができる。

検出装置５０は、例えば、センサを含んでよい。センサは、超音波センサ又は光センサ等であってよい。カメラ１１は、センサによって利用者１３の頭部の位置を検出するように構成されうる。カメラ１１は、２つ以上のセンサによって、利用者１３の眼５ａの位置を三次元空間の座標として検出するように構成されうる。

検出装置５０は、検出した眼５ａの瞳孔位置に関する座標情報を３次元投影装置１２に出力するように構成される。この座標情報に基づいて、３次元投影装置１２は、投影する画像を制御するように構成してよい。検出装置５０は、有線通信又は無線通信を介して眼５ａの瞳孔位置を示す情報を３次元投影装置１２へ出力するように構成してよい。有線通信は、例えばＣＡＮ（Controller Area Network）等を含みうる。

検出部１５は、利用者１３の眼５ａの位置として、眼５ａの第１テンプレート画像５２を用いた第１処理による第１位置と、顔５の第２テンプレート画像５３を用いた第２処理による第２位置と、を検出可能に構成される。検出装置５０から３次元投影装置１２に出力される座標情報は、第１位置の座標情報であってよい。検出装置５０から３次元投影装置１２に出力される座標情報は、第２位置の座標情報であってよい。検出装置５０は、第１位置の座標情報を３次元投影装置１２に出力し、例えば、第１位置が検出できなかった場合に、第２位置の座標情報を出力してよい。検出装置５０は、第２位置の座標情報を３次元投影装置１２に出力し、例えば、第２位置が検出できなかった場合に、第１位置の座標情報を出力してよい。

検出部１５は、第１位置および第２位置を比較した結果に基づいて、眼５ａの第３位置を検出する第３処理を検出処理として実行可能に構成され得る。比較する第１位置および第２位置は、同じ撮像画像５１を対象とした第１処理および第２処理の検出結果であってよい。第１位置と第２位置とが同じ位置である場合、検出された第１位置および第２位置は、検出精度が高いものと推測できる。ここで、第１位置と第２位置とが同じ位置である場合とは、第１位置の座標情報と第２位置の座標情報との差分を算出し、差分値が所定範囲（以下、「第１範囲」という）内となる場合である。検出部１５は、第３処理において、第１位置および第２位置を比較した結果、第１位置と第２位置とが同じ位置である場合に、例えば、眼５ａの位置（以下、「第３位置」という）として第１位置を検出してよい。検出部１５は、第３処理において、第１位置および第２位置を比較した結果、第１位置と第２位置とが異なる位置である場合、例えば、第１位置と第２位置との中間位置を算出し、第３位置として、算出した中間位置を検出してよい。第１位置と第２位置とが異なる位置である場合とは、第１位置の座標情報と第２位置の座標情報との差分を算出し、差分値が第１範囲外であって、第１範囲よりも大きい第２範囲内となる場合である。第１位置の座標情報と第２位置の座標情報との差分値が第２範囲外である場合は、検出された第１位置および第２位置のいずれか、または両方が、誤検出による検出結果であるものと推測できる。誤検出の場合、検出部１５は、例えば、第３処理による検出結果を検出失敗として、座標情報を出力せずに、新たに第１処理および第２処理を行なってよい。誤検出の場合、検出部１５は、例えば、前回出力した座標情報と同じ座標情報を、第３位置の座標情報として、検出してよい。なお、第３処理は、省略しうる。

検出装置５０は、検出部１５が外部装置であってよい。入力部３０は、カメラ１１から入力を受けた撮像画像５１を外部の検出部１５に出力するように構成してよい。この外部の検出部１５では、撮像画像５１から、テンプレートマッチングによって利用者１３の眼５ａの瞳孔位置を検出するように構成されてよい。この外部の検出部１５は、検出した眼５ａの瞳孔位置に関する座標情報を３次元投影装置１２に出力するように構成してよい。この座標情報に基づいて、３次元投影装置１２は、投影する画像を制御するように構成してよい。入力部３０は、有線通信又は無線通信を介して撮像画像５１を外部の検出部１５へ出力するように構成してよい。外部の検出部１５は、有線通信又は無線通信を介して座標情報を３次元投影装置１２へ出力するように構成してよい。有線通信は、例えばＣＡＮ等を含みうる。

３次元投影装置１２の位置は、移動体１０の内部及び外部において任意である。例えば、３次元投影装置１２は、移動体１０のダッシュボード内に位置してよい。３次元投影装置１２は、ウインドシールド２５に向けて画像光を射出するように構成される。

ウインドシールド２５は、３次元投影装置１２から射出された画像光を反射するように構成される。ウインドシールド２５で反射された画像光は、アイボックス１６に到達する。アイボックス１６は、例えば利用者１３の体格、姿勢、及び姿勢の変化等を考慮して、利用者１３の眼５ａが存在しうると想定される実空間上の領域である。アイボックス１６の形状は、任意である。アイボックス１６は、平面的又は立体的な領域を含んでよい。図１に示されている実線の矢印は、３次元投影装置１２から射出される画像光の少なくとも一部がアイボックス１６まで到達する経路を示す。画像光が進む経路は、光路とも称される。利用者１３の眼５ａがアイボックス１６内に位置する場合、利用者１３は、アイボックス１６に到達する画像光によって、虚像１４を視認可能である。虚像１４は、ウインドシールド２５から眼５ａに到達する経路を移動体１０の前方に延長した経路（図では、一点鎖線で示されている直線）の上に位置する。３次元投影装置１２は、利用者１３に虚像１４を視認させることによって、ヘッドアップディスプレイとして機能しうる。図１において、利用者１３の眼５ａが並ぶ方向は、ｘ軸方向に対応する。鉛直方向は、ｙ軸方向に対応する。カメラ１１の撮像範囲は、アイボックス１６を含む。

図４に示されるように、３次元投影装置１２は、３次元表示装置１７と、光学素子１８とを備える。３次元投影装置１２は、画像表示モジュールとも称されうる。３次元表示装置１７は、バックライト１９と、表示面２０ａを有する表示部２０と、バリア部２１と、表示制御部２４とを備えうる。３次元表示装置１７は、通信部２２をさらに備えてよい。３次元表示装置１７は、記憶部２３をさらに備えてよい。

光学素子１８は、第１ミラー１８ａと、第２ミラー１８ｂとを含んでよい。第１ミラー１８ａ及び第２ミラー１８ｂの少なくとも一方は、光学的なパワーを有してよい。本実施形態において、第１ミラー１８ａは、光学的なパワーを有する凹面鏡であるとする。第２ミラー１８ｂは、平面鏡であるとする。光学素子１８は、３次元表示装置１７に表示された画像を拡大する拡大光学系として機能してよい。図４に示される一点鎖線の矢印は、３次元表示装置１７から射出される画像光の少なくとも一部が、第１ミラー１８ａ及び第２ミラー１８ｂによって反射され、３次元投影装置１２の外部に射出される際の経路を示す。３次元投影装置１２の外部に射出された画像光は、ウインドシールド２５に到達し、ウインドシールド２５で反射されて利用者１３の眼５ａに到達する。その結果、利用者１３は、３次元表示装置１７に表示された画像を視認できる。

光学素子１８とウインドシールド２５とは、３次元表示装置１７から射出させる画像光を利用者１３の眼５ａに到達させうるように構成される。光学素子１８とウインドシールド２５とは、光学系を構成してよい。光学系は、３次元表示装置１７から射出される画像光を一点鎖線で示されている光路に沿って利用者１３の眼５ａに到達させるように構成される。光学系は、利用者１３に視認させる画像が拡大したり縮小したりするように、画像光の進行方向を制御するように構成してよい。光学系は、利用者１３に視認させる画像の形状を所定の行列に基づいて変形させるように、画像光の進行方向を制御するように構成してよい。

光学素子１８は、例示される構成に限られない。ミラーは、凹面鏡であってよいし、凸面鏡であってよいし、平面鏡であってよい。ミラーが凹面鏡又は凸面鏡である場合、その形状は、少なくとも一部に球面形状を含んでよいし、少なくとも一部に非球面形状を含んでよい。光学素子１８を構成する要素の数は、２つに限られず、１つであってよいし、３つ以上であってよい。光学素子１８は、ミラーに限られずレンズを含んでよい。レンズは、凹面レンズであってよいし、凸面レンズであってよい。レンズの形状は、少なくとも一部に球面形状を含んでよいし、少なくとも一部に非球面形状を含んでよい。

バックライト１９は、画像光の光路上において、利用者１３から見て、表示部２０及びバリア部２１よりも遠い側に位置する。バックライト１９は、バリア部２１と表示部２０とに向けて光を射出する。バックライト１９が射出した光の少なくとも一部は、一点鎖線で示されている光路に沿って進行し、利用者１３の眼５ａに到達する。バックライト１９は、ＬＥＤ（Light Emission Diode）又は有機ＥＬ若しくは無機ＥＬ等の発光素子を含んでよい。バックライト１９は、発光強度、及び、その分布を制御可能に構成されてよい。

表示部２０は、表示パネルを含む。表示部２０は、例えば、ＬＣＤ（Liquid Crystal Display）等の液晶デバイスであってよい。本実施形態において、表示部２０は、透過型の液晶表示パネルを含むとする。表示部２０は、この例に限られず、種々の表示パネルを含んでよい。

表示部２０は、複数の画素を有し、各画素においてバックライト１９から入射する光の透過率を制御し、利用者１３の眼５ａに到達する画像光として射出するように構成される。利用者１３は、表示部２０の各画素から射出される画像光によって構成される画像を視認する。

バリア部２１は、入射してくる光の進行方向を規定するように構成される。図３の例に示すように、バリア部２１が表示部２０よりもバックライト１９に近い側に位置する場合、バックライト１９から射出される光は、バリア部２１に入射し、さらに表示部２０に入射する。この場合、バリア部２１は、バックライト１９から射出される光の一部を遮ったり減衰させたりし、他の一部を表示部２０に向けて透過させるように構成される。表示部２０は、バリア部２１によって規定された方向に進行する入射光を、同じ方向に進行する画像光としてそのまま射出する。表示部２０がバリア部２１よりもバックライト１９に近い側に位置する場合、バックライト１９から射出される光は、表示部２０に入射し、さらにバリア部２１に入射する。この場合、バリア部２１は、表示部２０から射出される画像光の一部を遮ったり減衰させたりし、他の一部を利用者１３の眼５ａに向けて透過させるように構成される。

表示部２０とバリア部２１とのどちらが利用者１３の近くに位置するかにかかわらず、バリア部２１は、画像光の進行方向を制御できるように構成される。バリア部２１は、表示部２０から射出される画像光の一部を利用者１３の左眼５ａＬ及び右眼５ａＲ（図４参照）のいずれかに到達させ、画像光の他の一部を利用者１３の左眼５ａＬ及び右眼５ａＲの他方に到達させるように構成される。つまり、バリア部２１は、画像光の少なくとも一部の進行方向を利用者１３の左眼５ａＬと右眼５ａＲとに分けるように構成される。左眼５ａＬ及び右眼５ａＲはそれぞれ、第１眼及び第２眼ともいう。本実施形態において、バリア部２１は、バックライト１９と表示部２０との間に位置する。つまり、バックライト１９から射出される光は、先にバリア部２１に入射し、次に表示部２０に入射する。

バリア部２１によって画像光の進行方向が規定されることによって、利用者１３の左眼５ａＬ及び右眼５ａＲそれぞれに異なる画像光が到達しうる。その結果、利用者１３は、左眼５ａＬ及び右眼５ａＲそれぞれで異なる画像を視認しうる。

図５に示されるように、表示部２０は、表示面２０ａ上に、利用者１３の左眼５ａＬで視認される左眼視認領域２０１Ｌと、利用者１３の右眼５ａＲで視認される右眼視認領域２０１Ｒとを含む。表示部２０は、利用者１３の左眼５ａＬに視認させる左眼画像と、利用者１３の右眼５ａＲに視認させる右眼画像とを含む視差画像を表示するように構成される。視差画像は、利用者１３の左眼５ａＬ及び右眼５ａＲそれぞれに投影される画像であって、利用者１３の両眼に視差を与える画像であるとする。表示部２０は、左眼視認領域２０１Ｌに左眼画像を表示し、右眼視認領域２０１Ｒに右眼画像を表示するように構成される。つまり、表示部２０は、左眼視認領域２０１Ｌと右眼視認領域２０１Ｒとに視差画像を表示するように構成される。左眼視認領域２０１Ｌと右眼視認領域２０１Ｒとは、視差方向を表すｕ軸方向に並んでいるとする。左眼視認領域２０１Ｌ及び右眼視認領域２０１Ｒは、視差方向に直交するｖ軸方向に沿って延在してよいし、ｖ軸方向に対して所定角度で傾斜する方向に延在してよい。つまり、左眼視認領域２０１Ｌ及び右眼視認領域２０１Ｒは、視差方向の成分を含む所定方向に沿って交互に並んでいてよい。左眼視認領域２０１Ｌと右眼視認領域２０１Ｒとが交互に並ぶピッチは、視差画像ピッチともいう。左眼視認領域２０１Ｌと右眼視認領域２０１Ｒとは、間隔をあけて位置していてよいし、互いに隣接していてよい。表示部２０は、表示面２０ａ上に、平面画像を表示する表示領域をさらに有していてよい。平面画像は、利用者１３の眼５ａに視差を与えず、立体視されない画像であるとする。

図５に示されるように、バリア部２１は、開口領域２１ｂと、遮光面２１ａとを有する。バリア部２１が、画像光の光路上において、利用者１３から見て表示部２０よりも近い側に位置する場合、バリア部２１は、表示部２０から射出される画像光の透過率を制御するように構成される。開口領域２１ｂは、表示部２０からバリア部２１に入射する光を透過させるように構成される。開口領域２１ｂは、第１所定値以上の透過率で光を透過させてよい。第１所定値は、例えば１００％であってよいし、１００％に近い値であってよい。遮光面２１ａは、表示部２０からバリア部２１に入射する光を遮るように構成される。遮光面２１ａは、第２所定値以下の透過率で光を透過させてよい。第２所定値は、例えば０％であってよいし、０％に近い値であってよい。第１所定値は、第２所定値より大きい。

開口領域２１ｂと遮光面２１ａとは、視差方向を表すｕ軸方向に交互に並ぶとする。開口領域２１ｂと遮光面２１ａとの境界は、図４に例示されているように視差方向に直交するｖ軸方向に沿ってよいし、ｖ軸方向に対して所定角度で傾斜する方向に沿ってよい。言い換えれば、開口領域２１ｂと遮光面２１ａとは、視差方向の成分を含む所定方向に沿って交互に並んでよい。

本実施形態のバリア部２１は、画像光の光路上において、利用者１３から見て表示部２０よりも遠い側に位置している。バリア部２１は、バックライト１９から表示部２０に向けて入射する光の透過率を制御するように構成される。開口領域２１ｂは、バックライト１９から表示部２０に向けて入射する光を透過させるように構成される。遮光面２１ａは、バックライト１９から表示部２０に入射する光を遮るように構成される。このようにすることで、表示部２０に入射する光の進行方向は、所定方向に限定される。その結果、画像光の一部は、バリア部２１によって利用者１３の左眼５ａＬに到達するように制御されうる。画像光の他の一部は、バリア部２１によって利用者１３の右眼５ａＲに到達するように制御されうる。

バリア部２１は、液晶シャッターで構成されてよい。液晶シャッターは、印加する電圧に基づいて光の透過率を制御しうる。液晶シャッターは、複数の画素で構成され、各画素における光の透過率を制御してよい。液晶シャッターは、光の透過率が高い領域又は光の透過率が低い領域を任意の形状に形成しうる。バリア部２１が液晶シャッターで構成される場合、開口領域２１ｂは、第１所定値以上の透過率を有してよい。バリア部２１が液晶シャッターで構成される場合、遮光面２１ａは、第２所定値以下の透過率を有してよい。第１所定値は、第２所定値より高い値に設定されてよい。第１所定値に対する第２所定値の比率は、一例において１／１００に設定されてよい。第１所定値に対する第２所定値の比率は、他の例において１／１０００に設定されてもよい。開口領域２１ｂと遮光面２１ａとの形状が変更可能に構成されるバリア部２１は、アクティブバリアとも称される。

表示制御部２４は、表示部２０を制御するように構成される。バリア部２１がアクティブバリアである場合、表示制御部２４は、バリア部２１を制御するように構成してよい。表示制御部２４は、バックライト１９を制御するように構成してよい。表示制御部２４は、検出装置５０から利用者１３の眼５ａの瞳孔位置に関する座標情報を取得し、その座標情報に基づいて表示部２０を制御するように構成される。表示制御部２４は、座標情報に基づいてバリア部２１、及びバックライト１９の少なくとも一方を制御するように構成されうる。表示制御部２４は、カメラ１１から出力された画像を受信し、受信した画像から前述のテンプレートマッチングによって利用者１３の眼５ａを検出してよい。言い換えると、表示制御部２４は、検出部１５（コントローラ）と同等の機能を有し、検出部１５を兼ねるように構成されてよい。表示制御部２４は、検出した眼５ａの瞳孔位置に基づいて表示部２０を制御するように構成されてよい。表示制御部２４は、検出した眼５ａの瞳孔位置に基づいて、バリア部２１及びバックライト１９の少なくとも一方を制御するように構成されうる。表示制御部２４および検出部１５は、例えばプロセッサとして構成される。表示制御部２４および検出部１５は、１以上のプロセッサを含んでよい。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、及び特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ：Application Specific Integrated Circuit）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ：Programmable Logic Device）を含んでよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでよい。表示制御部２４および検出部１５は、１つ又は複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。

通信部２２は、外部装置と通信可能なインタフェースを含んでよい。外部装置は、例えば検出装置５０を含んでよい。外部装置は、例えば表示部２０に表示する画像情報を提供するように構成されてよい。通信部２２は、検出装置５０などの外部装置から各種情報を取得し、表示制御部２４に出力してよい。本開示における「通信可能なインタフェース」は、例えば物理コネクタ、及び無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、及び電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、又はＲＣＡ端子に対応するコネクタを含んでよい。電気コネクタは、ＥＩＡＪ ＣＰ－１２１ａＡに規定されるＳ端子に対応するコネクタ、又はＥＩＡＪ ＲＣ－５２３７に規定されるＤ端子に対応するコネクタを含んでよい。電気コネクタは、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、又はＢＮＣ（British Naval Connector又はBaby-series N Connector等）を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、ＩＥＣ ６１７５４に準拠する種々のコネクタを含んでよい。無線通信機は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、及びＩＥＥＥ８０２１ａを含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも１つのアンテナを含む。

記憶部２３は、各種情報、又は３次元表示装置１７の各構成部を動作させるためのプログラム等を格納するように構成されてよい。記憶部２３は、例えば半導体メモリ等で構成されてよい。記憶部２３は、表示制御部２４のワークメモリとして機能してよい。記憶部２３は、表示制御部２４に含まれてよい。

図５に示されるように、バックライト１９から射出された光は、バリア部２１と表示部２０とを透過して利用者１３の眼５ａに到達する。バックライト１９から射出された光が眼５ａに到達するまでの経路は、破線で表されている。バリア部２１の開口領域２１ｂを透過して右眼５ａＲに到達する光は、表示部２０の右眼視認領域２０１Ｒを透過する。つまり、右眼５ａＲは、開口領域２１ｂを透過した光によって右眼視認領域２０１Ｒを視認できる。バリア部２１の開口領域２１ｂを透過して左眼５ａＬに到達する光は、表示部２０の左眼視認領域２０１Ｌを透過する。つまり、左眼５ａＬは、開口領域２１ｂを透過した光によって左眼視認領域２０１Ｌを視認できる。

表示部２０は、右眼視認領域２０１Ｒ及び左眼視認領域２０１Ｌに、それぞれ右眼画像及び左眼画像を表示するように構成される。これによって、バリア部２１は、左眼画像に係る画像光を左眼５ａＬに到達させ、右眼画像に係る画像光を右眼５ａＲに到達させるように構成される。つまり、開口領域２１ｂは、左眼画像に係る画像光を利用者１３の左眼５ａＬに到達させ、右眼画像に係る画像光を利用者１３の右眼５ａＲに到達させるように構成される。このようにすることで、３次元表示装置１７は、利用者１３の両眼に対して視差画像を投影できる。利用者１３は、左眼５ａＬと右眼５ａＲとで視差画像を見ることによって、画像を立体視できる。

バリア部２１の開口領域２１ｂを透過し、表示部２０の表示面２０ａから射出された画像光の少なくとも一部は、光学素子１８を介してウインドシールド２５に到達する。画像光は、ウインドシールド２５で反射されて利用者１３の眼５ａに到達する。これにより、利用者１３の眼５ａは、ウインドシールド２５よりもｚ軸の負の方向の側に位置する第２虚像１４ｂを視認できる。第２虚像１４ｂは、表示面２０ａが表示している画像に対応する。バリア部２１の開口領域２１ｂと遮光面２１ａとは、ウインドシールド２５の前方であって第２虚像１４ｂのｚ軸の負の方向側に第１虚像１４ａをつくる。図１に示すように、利用者１３は、見かけ上、第２虚像１４ｂの位置に表示部２０が存在し、第１虚像１４ａの位置にバリア部２１が存在するかのように、画像を視認しうる。

表示面２０ａに表示される画像に係る画像光は、バリア部２１によって規定される方向に向けて、３次元表示装置１７から射出される。光学素子１８は、ウインドシールド２５に向けて射出するように構成される。光学素子１８は、画像光を反射したり屈折させたりするように構成されうる。ウインドシールド２５は、画像光を反射し、利用者１３の眼５ａに向けて進行させるように構成される。画像光が利用者１３の眼５ａに入射することによって、利用者１３は、視差画像を虚像１４として視認する。利用者１３は、虚像１４を視認することによって立体視できる。虚像１４のうち視差画像に対応する画像は、視差虚像とも称される。視差虚像は、光学系を介して投影される視差画像であるともいえる。虚像１４のうち平面画像に対応する画像は、平面虚像とも称される。平面虚像は、光学系を介して投影される平面画像であるともいえる。

検出装置５０は、テンプレートマッチングによる探索開始前に、カメラ１１で撮像した撮像画像５１から第１，第２テンプレート画像５２，５３を生成するように構成される。検出部１５は、撮像画像５１全体を対象に瞳孔検出を行い、検出された瞳孔を含む所定の周辺領域を第１テンプレート画像５２としてよい。第１テンプレート画像５２として生成する所定の周辺領域は、例えば、３次元投影装置１２におけるアイボックス１６に応じた領域であってよい。検出部１５は、撮像画像５１全体を対象に顔検出を行い、検出された顔を含む所定の周辺領域を第２テンプレート画像５３としてよい。

テンプレート画像生成における瞳孔検出は、公知の瞳孔検出処理を用いることができる。検出装置５０は、公知の瞳孔検出処理として、例えば、角膜反射と瞳孔との輝度差を利用した瞳孔検出処理を用いてよい。テンプレート画像生成における顔検出は、公知の顔検出処理を用いることができる。検出装置５０は、公知の顔検出処理として、例えば、眼、鼻、口などの部位の特徴量および輪郭抽出などを組み合わせた顔検出処理を用いてよい。

テンプレート画像生成処理について、フロー図を用いて説明する。検出装置５０は、例えば、図６のフロー図に示すテンプレート画像生成処理を実行してよい。検出装置５０は、テンプレート画像生成処理を、例えば、３次元投影システム１００の起動時（電源オン時）に開始してよい。まず、ステップＡ１において、カメラ１１が撮像した撮像画像５１の入力を入力部３０が受ける。カメラ１１の撮像画像５１には、例えば、移動体１０の座席に着席した利用者１３の顔が含まれる。次に、ステップＡ２で、検出部１５は、撮像画像５１から、アイボックス１６を含む第１領域を切り出し、ステップＡ３で、切り出した第１領域を対象に顔検出を行い、利用者１３の顔５が検出されたかどうかを判断する。検出装置５０は、顔５が検出されていれば、ステップＡ４に進み、検出されていなければ、ステップＡ１に戻る。

ステップＡ４において検出部１５は、検出された顔５を含む第２領域を第１領域から切り出して顔５の第２テンプレート画像５３を抽出する。ステップＡ５で、検出部１５は、第２領域を対象に瞳孔検出を行い、瞳孔が検出されたかどうかを判断する。検出装置５０は、瞳孔が検出されていれば、ステップＡ６に進み、検出されていなければ、ステップＡ１に戻る。ステップＡ６において検出部１５は、検出された瞳孔を含む瞳孔周辺領域を、眼５ａの第１テンプレート画像５２として抽出して、テンプレート画像生成処理を終了する。検出部１５は、抽出した第１，第２テンプレート画像５２，５３を、例えば、検出部１５が有する記憶領域または記憶部２３に記憶してよい。検出部１５は、例えば、瞳孔周辺のアイボックス１６と同じ大きさの領域を第１テンプレート画像５２として抽出してよい。また、検出部１５は、第１，第２テンプレート画像５２，５３とともに、第１，第２テンプレート画像５２，５３それぞれの代表位置と瞳孔位置との相対的な座標位置関係を記憶してよい。

第１，第２テンプレート画像５２，５３は、３次元投影システム１００が起動している間、検出部１５の記憶領域または記憶部２３に一時的に記憶されてよい。第１，第２テンプレート画像５２，５３は、例えば、撮像された利用者１３と関連付けられて記憶部２３に記憶されてよい。記憶部２３に記憶された第１，第２テンプレート画像５２，５３は、例えば、次回以降の３次元投影システム１００起動時に、検出部１５によって記憶部２３から読み出されることで、テンプレート画像生成処理を省略することができる。検出部１５は、再度テンプレート画像生成処理を実行することで、記憶部２３に記憶された第１，第２テンプレート画像５２，５３を更新し得る。

テンプレート画像生成処理おける瞳孔検出処理は、テンプレートマッチングによる瞳孔検出処理（第１処理）よりも、検出精度が高いが、検出に要する処理時間が長い。テンプレートマッチングによる瞳孔検出処理は、その処理時間の短さから、例えば、カメラ１１から出力される全てのフレームにおいて検出可能である。テンプレート画像生成処理おける瞳孔検出処理は、処理時間が長いために、例えば、カメラ１１から出力される数フレームごとに検出可能である。検出部１５は、数フレームごとにテンプレート画像生成処理を繰り返し実行して、記憶部２３に記憶された第１，第２テンプレート画像５２，５３を更新してよい。

テンプレート画像生成処理における瞳孔検出処理によって検出した眼５ａの位置は、テンプレートマッチングによって検出した眼５ａの位置の妥当性の検証に利用しうる。検出部１５は、瞳孔検出処理を第４処理として実行可能に構成される。第４処理として実行する瞳孔検出処理は、テンプレート画像生成処理と同じ処理を利用しうるが異なっていてよい。第４処理にて検出された眼５ａの位置は、第４位置としうる。検出部１５は、第４処理を周期的に実行可能に構成される。検出部１５は、例えば、数フレームごとに第４処理を実行しうる。検出部１５は、第１処理と第４処理とを並行して実行可能に構成される。検出部１５は、第４処理を第１処理と並行して実行することで、第４処理を実行する間も、利用者の眼５ａの位置を検出可能に構成されている。

検出部１５は、テンプレートマッチングによって検出した眼５ａの位置である、第１位置、第２位置、および第３位置のいずれかと、第４位置を比較する第５処理を実行可能に構成される。検出部１５は、第４処理を実行するごとに、第４処理で検出された第４位置を用いて第５処理を実行しうる。検出部１５は、テンプレート画像生成処理に使用した撮像画像５１を記憶しておき、同じ撮像画像５１を対象として検出された第１位置、第２位置、および第３位置と、第４位置とを比較すればよい。第４位置の検出精度は、第１位置、第２位置、および第３位置より高い。検出部１５は、第４位置と、第１位置、第２位置、および第３位置のそれぞれとを比較して、妥当性を検証してよい。検出部１５は、例えば、第４位置と、第１位置、第２位置、および第３位置との差分値をそれぞれ算出し、差分値が所定範囲内であるかどうかを判定してよい。差分値が所定範囲内であれば、その位置は、第４位置と同程度の高い精度で検出されたものと推測できる。差分値が所定範囲外であれば、その位置は、誤検出であると推測できる。検出部１５は、第４位置と、第１位置、第２位置、および第３位置との差分値をそれぞれ算出し、差分値が所定範囲内となる位置の座標情報を３次元投影装置１２に出力してよい。差分値が所定範囲内となる位置が複数の場合は、差分値が最も小さい位置の座標情報を３次元投影装置１２に出力してよい。検出部１５は、第４位置と、第１位置、第２位置、および第３位置との差分値をそれぞれ算出し、全ての差分値が所定範囲外であれば、第４位置の座標情報を３次元投影装置１２に出力してよい。

テンプレートマッチング処理について、フロー図を用いて説明する。検出装置５０は、テンプレートマッチング処理として、眼５ａの第１テンプレート画像５２を用いた第１処理と、顔５の第２テンプレート画像５３を用いた第２処理と、を実行してよい。検出装置５０は、例えば、図７Ａのフロー図に示す第１処理および図７Ｂのフロー図に示す第２処理を実行してよい。検出装置５０は、例えば、３次元投影システム１００の起動時に、テンプレート画像生成処理を実行し、テンプレート画像生成処理の完了後にテンプレートマッチング処理を開始してよい。記憶部２３に予め記憶された第１，第２テンプレート画像５２，５３を用いる場合、テンプレート画像生成処理を省略しうるので、検出装置５０は、３次元投影システム１００の起動時にテンプレートマッチング処理を開始してよい。

まず、第１処理について説明する。ステップＢ１において、カメラ１１が撮像した撮像画像５１の入力を入力部３０が受ける。ステップＢ２では、検出部１５が、眼５ａの第１テンプレート画像５２が、テンプレート画像生成処理において抽出された位置周辺の領域を探索範囲として撮像画像５１から切り出す。眼５ａの第１テンプレート画像５２が抽出された位置座標は、眼５ａの第１テンプレート画像５２と関連付けて記憶しておけばよい。ステップＢ３で、検出部１５は、眼５ａの第１テンプレート画像５２を用いて探索範囲に対してテンプレートマッチングを行う。検出部１５は、テンプレートマッチングによって、探索範囲内で眼５ａの第１テンプレート画像５２との適合度が最も高い位置とその適合度を決定する。ステップＢ４では、検出部１５が、決定された適合度が閾値以上であるかどうかを判断する。閾値以上であれば、ステップＢ５に進み、閾値未満であれば、ステップＢ１に戻る。ステップＢ５で、検出部１５は、探索範囲内で眼５ａの第１テンプレート画像５２との適合度が最も高い位置の座標と予め特定された座標位置関係（第１関係）とによって、撮像画像５１における瞳孔位置（第１位置）の座標を決定し、テンプレートマッチング処理を終了する。

次に、第２処理について説明する。ステップＢ１１において、カメラ１１が撮像した撮像画像５１の入力を入力部３０が受ける。ステップＢ１２では、検出部１５が、顔５の第２テンプレート画像５３が、テンプレート画像生成処理において抽出された位置周辺の領域を探索範囲として撮像画像５１から切り出す。顔５の第２テンプレート画像５３が抽出された位置座標は、顔５の第２テンプレート画像５３と関連付けて記憶しておけばよい。ステップＢ１３で、検出部１５は、顔５の第２テンプレート画像５３を用いて探索範囲に対してテンプレートマッチングを行う。検出部１５は、テンプレートマッチングによって、探索範囲内で顔５の第２テンプレート画像５３との適合度が最も高い位置とその適合度を決定する。ステップＢ１４では、検出部１５が、決定された適合度が閾値以上であるかどうかを判断する。閾値以上であれば、ステップＢ１５に進み、閾値未満であれば、ステップＢ１に戻る。ステップＢ１５で、検出部１５は、探索範囲内で顔５の第２テンプレート画像５３との適合度が最も高い位置の座標と予め特定された座標位置関係（第２関係）とによって、撮像画像５１における瞳孔位置（第２位置）の座標を決定し、テンプレートマッチング処理を終了する。

入力された同じ撮像画像５１に対して実行される第１処理と第２処理とは、非同期処理であってよい。第１処理と第２処理とは、それぞれ独立して処理が実行され、第１位置および第２位置が決定される。決定された第１位置または第２位置の座標情報は、検出装置５０から３次元投影装置１２に出力される。第１位置と第２位置のいずれの座標情報を出力するかは、前述のように検出部１５が決定してよい。３次元投影装置１２では、検出装置５０から取得した瞳孔位置の座標情報を用いて、表示制御部２４が、表示部２０に表示する視差画像を制御する。

検出装置５０は、さらに第３処理を実行してよい。検出装置５０は、例えば、図７Ｃのフロー図に示す第３処理を実行してよい。検出装置５０は、例えば、第１位置および第２位置の決定後に第３処理を開始してよい。ステップＳ１において、検出部１５は、第１位置と第２位置とを比較する。比較する第１位置および第２位置は、同じ撮像画像５１を対象とした第１処理および第２処理の検出結果であってよい。ステップＳ２では、第１位置と第２位置とが同じ位置であるかどうかを判断する。例えば、第１位置の座標情報と第２位置の座標情報との差分を算出し、差分値が第１範囲内となる場合は、同じ位置であると判断してよい。第１位置と第２位置とが同じ位置であれば、ステップＳ３で、検出部１５は、第１位置を、撮像画像５１における瞳孔位置である第３位置として座標決定し、第３処理を終了する。第１位置と第２位置とが同じ位置でなければ、ステップＳ４で、検出部１５は、検出失敗であるかどうかを判断する。例えば、第１位置の座標情報と第２位置の座標情報との差分値が第２範囲外となる場合は、検出失敗であると判断してよい。検出失敗であれば、検出部１５は、第３位置の座標を決定せずに第３処理を終了する。検出失敗でなければ、検出部１５は、ステップＳ５で、第１位置と第２位置との中間位置を、撮像画像５１における瞳孔位置である第３位置として座標決定し、第３処理を終了する。例えば、第１位置の座標情報と第２位置の座標情報との差分値が第１範囲外であって、第２範囲内となる場合は、検出失敗ではないと判断してよい。

移動体１０の運転席は、例えば、前後方向に移動可能に構成されている。利用者の姿勢は、移動体１０の運転中に変化することもある。このような場合に、検出装置５０は、次のような他の例のテンプレートマッチング処理を実行しうる。運転席の前後位置または利用者１３の姿勢が変化し、利用者１３の顔がｚ方向に移動した場合を考える。利用者１３の顔がｚ方向の正方向に移動した場合、撮像画像５１には、移動前に比べて利用者１３の顔が小さく撮像される。利用者１３の顔がｚ方向の負方向に移動した場合、撮像画像５１には、移動前に比べて利用者１３の顔が大きく撮像される。この場合、検出装置５０は、第１，第２テンプレート画像５２，５３を変倍処理して、変倍処理後の第１，第２テンプレート画像５２，５３を用いてテンプレートマッチングすればよい。検出装置５０は、例えば、拡大率の異なる複数の第１，第２テンプレート画像５２，５３を用いてテンプレートマッチングしてよい。検出装置５０は、例えば、縮小率の異なる複数の第１，第２テンプレート画像５２，５３を用いてテンプレートマッチングしてよい。

他の例のテンプレートマッチング処理について、フロー図を用いて説明する。検出装置５０は、例えば、図８のフロー図に示すテンプレートマッチング処理を実行してよい。検出装置５０は、例えば、３次元投影システム１００の起動時に、テンプレート画像生成処理を実行し、テンプレート画像生成処理の完了後にテンプレートマッチング処理を開始してよい。記憶部２３に予め記憶された第１，第２テンプレート画像５２，５３を用いる場合、テンプレート画像生成処理を省略しうるので、検出装置５０は、３次元投影システム１００の起動時にテンプレートマッチング処理を開始してよい。

第１処理の他の例について説明する。図７ＡのステップＢ１～Ｂ４と、図８のステップＣ１～Ｃ４とは同じ動作を実行するので、説明は省略する。検出部１５は、ステップＣ５において、眼５ａの第１テンプレート画像５２の変倍率を複数変更して第１テンプレート画像５２に変倍処理を施す。検出部１５は、変倍処理後の眼５ａの第１テンプレート画像５２を用いてテンプレートマッチングを行う。検出装置５０は、利用者１３の姿勢がどのように変化したかは検出しないので、変倍処理として、拡大処理も縮小処理もいずれも行う。変倍処理後の眼５ａの第１テンプレート画像５２は複数生成されるので、検出部１５は、複数の眼５ａの第１テンプレート画像５２でテンプレートマッチングを行い、適合度が最も高い眼５ａの第１テンプレート画像５２を決定する。ステップＣ６で、検出部１５は、適合度が最も高い眼５ａの第１テンプレート画像５２の変倍率に基づいて、利用者１３のｚ方向の位置を推定する。ステップＣ７では、ステップＢ５と同様に撮像画像５１における瞳孔位置の座標を決定したのち、推定した利用者１３のｚ方向の位置に基づいて瞳孔位置の座標を補正し、テンプレートマッチング処理を終了する。補正された瞳孔位置の座標情報は、検出装置５０から３次元投影装置１２に出力される。第２処理の他の例では、図７ＢのステップＢ１１～Ｂ１４と、図８のステップＣ１～Ｃ４とが同じ動作を実行し、ステップＣ５～Ｃ７で、眼５ａの第１テンプレート画像５２に代えて、顔５の第２テンプレート画像５３を用いること以外、上記の第１の処理と同じであるので、説明を省略する。

他の例の３次元投影システム１００Ａについて説明する。図９に示されるように、３次元投影システム１００Ａにおいて、検出装置５０Ａは、入力部３０と、予測部３１と、検出部１５Ａと、を備える。３次元投影システム１００Ａの検出装置５０Ａ以外の構成は、前述の３次元投影システム１００と同様であるので、同じ参照符号を付して、詳細な説明は省略する。予測部３１は、検出部１５Ａが第１処理で現在時刻より前に検出した眼５ａの複数の位置に基づいて、現在時刻より後の時刻における眼５ａの位置を予測するように構成されている。本実施形態の眼５ａの位置は、上記と同様に利用者１３の眼５ａの瞳孔位置を示す座標情報であってよい。眼５ａの複数の位置とは、検出された時刻がそれぞれ異なる眼５ａの位置を含む。予測部３１は、検出時刻と座標情報との組み合わせである予測用データを複数用いて、未来の眼５ａの位置を予測し、予測位置として出力するように構成されてよい。検出部１５Ａは、眼５ａの位置を検出すると、座標情報と検出時刻とを予測用データとして、例えば、検出部１５Ａが有する記憶領域、予測部３１が有する記憶領域または記憶部２３に順次記憶してよい。未来の眼５ａの位置とは、記憶された複数の予測用データに対する未来をいう。

予測部３１は、検出部１５Ａが第２処理で現在時刻より前に検出した顔５の複数の位置に基づいて、現在時刻より後の時刻における顔５の位置を予測するように構成されている。本実施形態の顔５の位置は、上記と同様に利用者１３の眼５ａの瞳孔位置を示す座標情報であってよい。顔５の複数の位置とは、検出された時刻がそれぞれ異なる顔５の位置を含む。予測部３１は、検出時刻と座標情報との組み合わせである予測用データを複数用いて、未来の顔５の位置を予測し、予測位置として出力するように構成されてよい。検出部１５Ａは、顔５の位置を検出すると、座標情報と検出時刻とを予測用データとして、例えば、検出部１５Ａが有する記憶領域、予測部３１が有する記憶領域または記憶部２３に順次記憶してよい。未来の顔５の位置とは、記憶された複数の予測用データに対する未来をいう。

予測部３１による眼５ａおよび顔５の位置の予測方法は、例えば、予測関数を用いる方法であってよい。予測関数は、記憶された複数の予測用データから導き出される関数である。予測関数は、予め実験等によって定められた係数を用いた関数式を、検出部１５Ａが有する記憶領域、予測部３１が有する記憶領域または記憶部２３に記憶してよい。予測関数は、予測部３１が、眼５ａおよび顔５の位置の予測を行うごとに更新してよい。

予測部３１は、予測すべき未来の時刻を予測関数に入力し、入力された時刻における眼５ａおよび顔５の位置（予測位置）の座標情報を出力する。予測すべき未来の時刻は、次にテンプレートマッチングを実行する時刻であって、例えば、カメラ１１から次のフレームが入力される時刻であってよい。前述のとおり、検出部１５Ａは、テンプレートマッチングにおいて、撮像画像５１の一部の領域を探索範囲としてよい。検出部１５Ａは、第１処理において、予測部３１が予測した眼５ａの位置を含む領域を、テンプレートマッチングにおける探索範囲とするように構成されている。検出部１５Ａは、第２処理において、予測部３１が予測した顔５の位置を含む領域を、テンプレートマッチングにおける探索範囲とするように構成されている。検出部１５Ａは、撮像画像５１において、予測部３１が出力した予測位置を含む領域を予測領域として設定し、設定した予測領域をテンプレートマッチングにおける探索範囲とする。予測位置を含む予測領域は、撮像画像５１より小さく第１，第２テンプレート画像５２，５３より大きい領域であって、領域内に予測位置を含んでいればよい。例えば、予測領域の中心座標が、予測位置の座標と一致する領域であってよい。本実施形態のテンプレートマッチングにおける探索範囲の形状および大きさは、例えば、第１，第２テンプレート画像５２，５３と相似関係を有していてよい。

検出部１５Ａは、このような予測領域を探索範囲としてテンプレートマッチングを実行する。本実施形態のテンプレートマッチングは、探索範囲が異なる以外は、前述のテンプレートマッチングと同様である。テンプレートマッチングでは、探索範囲である予測領域において、第１，第２テンプレート画像５２，５３と最も適合する位置を探索する。第１処理および第２処理の検出結果は、利用者１３の眼５ａの瞳孔位置を示す座標情報であってよい。本実施形態の探索範囲となる予測領域は、予測部３１が出力した予測位置を含むので、探索範囲をより小さくしても、探索範囲内に眼５ａおよび顔５が含まれている可能性が高い。探索範囲をより小さくすることによって、テンプレートマッチングに要する演算量は、低減される。演算量の低減によって、検出部１５Ａは、検出結果の出力にかかる演算速度を高速化できる。

予測部３１は、検出部１５Ａが現在時刻より前に検出した眼５ａの複数の位置に基づいて、さらに、眼５ａの位置の変化速度を算出するように構成されていてよい。上記のように、座標情報と検出時刻とが予測用データとして記憶されており、複数の予測データを使用すれば、眼５ａの位置の変化速度が算出できる。例えば、２つの予測用データの差分により、座標情報から眼５ａの位置の移動距離が算出され、検出時刻から時間が算出されるので、予測部３１は、眼５ａの位置の変化速度が算出できる。また、移動距離は、ｘ軸方向成分とｙ軸方向成分とをそれぞれ算出することができ、眼５ａの位置の変化速度もｘ軸方向成分とｙ軸方向成分とをそれぞれ算出できる。

検出部１５Ａは、予測部３１が算出した変化速度に応じて、第１処理のテンプレートマッチングにおける探索範囲の大きさを変更するように構成されている。予測部３１が算出した変化速度が大きいということは、眼５ａの位置の移動距離が大きいことが予測される。例えば、算出された変化速度のｘ軸方向成分と変化速度のｙ軸方向成分とを比較したときに、眼５ａの位置の移動距離は、変化速度の成分が大きい方向に大きいことが予測される。本実施形態において、眼５ａの位置を予測することで、テンプレートマッチングにおける探索範囲を小さく設定することができるが、変化速度の成分が大きい方向においては、眼５ａの位置が、予測位置からずれることにより、探索範囲から外れるおそれがある。眼５ａの位置が探索範囲外とならないように、例えば、検出部１５Ａは、予測位置を含む予測領域を、変化速度の成分が大きい方向に広くしてよい。検出部１５Ａは、このように広くした領域を探索範囲としてテンプレートマッチングを実行する。検出部１５Ａは、上記と同様に、予測部３１が算出した変化速度に応じて、第２処理の顔５のテンプレートマッチングにおける探索範囲の大きさを変更してよい。

瞳孔位置の予測を含むテンプレートマッチング処理について、フロー図を用いて説明する。検出装置５０Ａは、例えば、第１処理において、図１０のフロー図に示すテンプレートマッチング処理を実行してよい。検出装置５０Ａは、例えば、３次元投影システム１００Ａの起動時に、テンプレート画像生成処理を実行し、テンプレート画像生成処理の完了後にテンプレートマッチング処理を開始してよい。記憶部２３に予め記憶された眼５ａの第１テンプレート画像５２を用いる場合、テンプレート画像生成処理を省略しうるので、検出装置５０Ａは、３次元投影システム１００Ａの起動時にテンプレートマッチング処理を開始してよい。

まず、ステップＢ２１において、カメラ１１が撮像した撮像画像５１の入力を入力部３０が受ける。ステップＢ２２では、検出部１５Ａが、探索範囲を撮像画像５１から切り出す。ステップＢ２２で切り出される探索範囲は、後述のステップＢ２７で決定された探索範囲である。ステップＢ２２より以前にステップＢ２７が実行されておらず探索範囲が予め決定されていない場合は、眼５ａの第１テンプレート画像５２が、テンプレート画像生成処理において抽出された位置周辺の領域を探索範囲としてよい。ステップＢ２３で、検出部１５Ａは、眼５ａの第１テンプレート画像５２を用いて探索範囲に対してテンプレートマッチングを行う。検出部１５Ａは、テンプレートマッチングによって、探索範囲内で眼５ａの第１テンプレート画像５２との適合度が最も高い位置とその適合度とを決定する。ステップＢ２４では、検出部１５Ａが、決定された適合度が閾値以上であるかどうかを判断する。閾値以上であれば、ステップＢ２５に進み、閾値未満であれば、ステップＢ２１に戻る。ステップＢ２５で、検出部１５Ａは、探索範囲内で眼５ａの第１テンプレート画像５２との適合度が最も高い位置の座標と予め特定された相対的な座標位置関係とによって、撮像画像５１における瞳孔位置の座標を決定する。

ステップＢ２６で、予測部３１は、未来の瞳孔位置を予測し、予測位置として出力する。予測部３１は、例えば、ステップＢ２５で決定された瞳孔位置の座標情報と検出時刻との組み合わせである最新の予測用データと、記憶されている過去の予測用データとに基づいて予測関数を更新する。予測部３１は、更新された予測関数を用いて瞳孔位置を予測し、予測位置を出力する。ステップＢ２７で、検出部１５Ａは、予測部３１から出力された予測位置を含む領域を探索範囲として決定し、ステップＢ２１に戻る。第２処理では、第１処理の一部において、眼５ａの第１テンプレート画像５２に代えて、顔５の第２テンプレート画像５３を用いればよい。

前述のように、利用者１３の顔５は、前後に移動することがある。また、利用者１３が首を傾げるなどした場合には、利用者１３の顔５が傾くことがある。利用者１３の顔５が前後に移動すると、撮像画像５１の利用者１３の顔５は、大きくまたは小さく写り、拡大処理または縮小処理した場合と類似する。利用者１３の顔５が傾くと、撮像画像の利用者１３の顔５は、回転処理した場合と類似する。第１処理において、予測部３１が瞳孔位置を予測したのち、検出部１５Ａが、予測位置と直前の瞳孔位置とを比較する。比較した結果、例えば、眼間距離が変化していれば、検出部１５Ａは、眼５ａの第１テンプレート画像５２を、眼間距離に応じた変倍率の眼５ａの第１テンプレート画像５２に更新する。検出部１５Ａは、眼５ａの第１テンプレート画像５２として、例えば、変倍処理による拡大率の異なる複数の第１テンプレート画像５２および変倍処理による縮小率の異なる複数の第１テンプレート画像５２を予め作成しておき、眼間距離に応じた眼５ａの第１テンプレート画像５２を選択してよい。予測部３１が、左眼の瞳孔位置と右眼の瞳孔位置とをそれぞれ予測することで、検出部１５Ａが、直前の左眼の瞳孔位置と右眼の瞳孔位置との比較によって、眼間距離の変化を検出してよい。第２処理においても同様に、眼間距離が変化していれば、検出部１５Ａは、顔５の第２テンプレート画像５３を、眼間距離に応じた変倍率の顔５の第２テンプレート画像５３に更新する。検出部１５Ａは、顔５の第２テンプレート画像５３として、例えば、変倍処理による拡大率の異なる複数の第２テンプレート画像５３および変倍処理による縮小率の異なる複数の第２テンプレート画像５３を予め作成しておき、眼間距離に応じた顔５の第２テンプレート画像５３を選択してよい。

また、第１処理において、検出部１５Ａが、予測位置と直前の瞳孔位置とを比較した結果、瞳孔位置が、顔の傾きに応じた変化をしていれば、検出部１５Ａは、眼５ａの第１テンプレート画像５２を、傾き変化に応じた回転角度の眼５ａの第１テンプレート画像５２に更新する。検出部１５Ａは、眼５ａの第１テンプレート画像５２として、例えば、回転処理による回転角度の異なる複数の第１テンプレート画像５２を予め作成しておき、傾き変化に応じた第１テンプレート画像５２を選択してよい。予測部３１が、左眼の瞳孔位置と右眼の瞳孔位置とをそれぞれ予測することで、検出部１５Ａが、直前の左眼の瞳孔位置と右眼の瞳孔位置との比較によって、ｙ軸方向の位置変化から傾き変化を検出してよい。利用者１３の顔が傾いた場合、左眼の瞳孔位置と右眼の瞳孔位置とのそれぞれのｙ軸方向の位置（ｙ座標）が、互いに異なる方向に変化する。例えば、左眼の瞳孔のｙ軸方向の位置が上方向に変化し、右眼の瞳孔のｙ軸方向の位置が下方向に変化していれば、傾き変化が生じている。検出部１５Ａは、左眼および右眼のｙ軸方向の位置変化の大きさに基づいて回転角度を算出してよい。第２処理においても同様に、瞳孔位置が傾いていれば、検出部１５Ａは、顔５の第２テンプレート画像５３を、傾き変化に応じた回転角度の第２テンプレート画像５３に更新する。検出部１５Ａは、顔５の第２テンプレート画像５３として、例えば、回転処理による回転角度の異なる複数の第２テンプレート画像５３を予め作成しておき、傾き変化に応じた第２テンプレート画像５３を選択してよい。

テンプレート画像の更新を含むテンプレートマッチング処理について、フロー図を用いて説明する。検出装置５０Ａは、例えば、第１処理において、図１１のフロー図に示すテンプレートマッチング処理を実行してよい。ステップＣ１１において、カメラ１１が撮像した撮像画像５１の入力を入力部３０が受ける。ステップＣ１２では、検出部１５Ａが、探索範囲を撮像画像５１から切り出す。ステップＣ１２で切り出される探索範囲は、後述のステップＣ１８で決定された探索範囲である。ステップＣ１８が、ステップＣ１２より以前に実行されておらず探索範囲が予め決定されていない場合は、眼５ａの第１テンプレート画像５２が、テンプレート画像生成処理において抽出された位置周辺の領域を探索範囲としてよい。ステップＣ１３で、検出部１５Ａは、更新された眼５ａの第１テンプレート画像５２を用いて探索範囲に対してテンプレートマッチングを行う。眼５ａの第１テンプレート画像５２は、後述のステップＣ１７で更新された眼５ａの第１テンプレート画像５２である。検出部１５Ａは、テンプレートマッチングによって、探索範囲内で眼５ａの第１テンプレート画像５２との適合度が最も高い位置とその適合度とを決定する。ステップＣ１４では、検出部１５Ａが、決定された適合度が閾値以上であるかどうかを判断する。閾値以上であれば、ステップＣ１５に進み、閾値未満であれば、ステップＣ１１に戻る。ステップＣ１５で、検出部１５Ａは、探索範囲内で眼５ａの第１テンプレート画像５２との適合度が最も高い位置の座標と予め特定された座標位置関係とによって、撮像画像５１における瞳孔位置の座標を決定する。

ステップＣ１６で、予測部３１は、未来の瞳孔位置を予測し、予測位置として出力する。ステップＣ１７で、検出部１５Ａは、眼５ａの第１テンプレート画像５２を更新する。検出部１５Ａは、予測位置と直前の瞳孔位置とを比較し、比較結果に応じて、少なくとも変倍処理または回転処理した眼５ａの第１テンプレート画像５２に更新する。ステップＣ１８で、検出部１５Ａは、予測部３１から出力された予測位置を含む領域を探索範囲として決定し、ステップＣ１１に戻る。第２処理では、第１処理の一部において、眼５ａの第１テンプレート画像５２に代えて、顔５の第２テンプレート画像５３を用いればよい。

第５処理が実行された場合において、第１位置、第２位置、および第３位置のいずれもが誤検出であると、予測精度が低く予測位置が大きく外れるおそれがある。第１位置、第２位置、および第３位置のいずれもが誤検出のとき、ステップＢ２７およびステップＣ１８において、検出部１５，１５Ａは、予測位置に代えて第４位置を含む領域を探索範囲として決定してよい。

本開示に係る構成は、以上説明した実施形態にのみ限定されるものではなく、幾多の変形又は変更が可能である。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。

本開示に係る構成を説明する図は、模式的なものである。図面上の寸法比率等は、現実のものと必ずしも一致しない。

本開示において「第１」、「第２」及び「第３」等の記載は、当該構成を区別するための識別子である。本開示における「第１」、「第２」及び「第３」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１処理は、第２処理と識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。

本開示において、ｘ軸、ｙ軸、及びｚ軸は、説明の便宜上設けられたものであり、互いに入れ替えられてよい。本開示に係る構成は、ｘ軸、ｙ軸、及びｚ軸によって構成される直交座標系を用いて説明されてきた。本開示に係る各構成の位置関係は、直交関係にあると限定されるものではない。

５ 顔
５ａ 眼（５ａＬ：左眼、５ａＲ：右眼）
１０ 移動体
１１ カメラ
１２ ３次元投影装置
１３ 利用者
１４ 虚像（１４ａ：第１虚像、１４ｂ：第２虚像）
１５，１５Ａ 検出部
１６ アイボックス
１７ ３次元表示装置
１８ 光学素子（１８ａ：第１ミラー、１８ｂ：第２ミラー）
１９ バックライト
２０ 表示部（２０ａ：表示面）
２０１Ｌ 左眼視認領域
２０１Ｒ 右眼視認領域
２１ バリア部（２１ａ：遮光面、２１ｂ：開口領域）
２２ 通信部
２３ 記憶部
２４ 表示制御部
２５ ウインドシールド
３０ 入力部
３１ 予測部
５０，５０Ａ 検出装置
５１ 撮像画像
５２ 眼の第１テンプレート画像
５３ 顔の第２テンプレート画像
１００，１００Ａ ３次元投影システム（画像表示システム）

Claims (10)

1. 画像情報の入力を受ける入力部と、
   利用者の眼の位置を検出する検出処理を実行可能に構成されるコントローラと、を備え、
   前記コントローラは、
   入力された画像情報に基づいて、第１テンプレート画像を用いるテンプレートマッチングにて眼の第１位置を検出する第１処理と、
   前記入力された画像情報に基づいて、前記第１テンプレート画像と異なる第２テンプレート画像を用いるテンプレートマッチングにて顔の位置を検出し、検出した顔の位置に基づいて眼の第２位置を検出する第２処理と、
   前記第１位置および前記第２位置に基づいて眼の第３位置を検出する第３処理と、を前記検出処理として実行可能に構成される、検出装置。
2. 請求項１に記載の検出装置であって、
   前記コントローラは、前記第１処理と異なる、前記入力された画像情報に基づいて眼の第４位置を検出する第４処理を実行可能に構成される、検出装置。
3. 請求項２に記載の検出装置であって、
   前記コントローラは、前記第１処理の処理時間より第４処理の処理時間が長い、検出装置。
4. 請求項２または３に記載の検出装置であって、
   前記コントローラは、前記第１処理の検出精度より第４処理の検出精度が高い、検出装置。
5. 請求項２～４のいずれか１つに記載の検出装置であって、
   前記コントローラは、前記第４処理を周期的に実行するように構成される、検出装置。
6. 請求項２～４のいずれか１つに記載の検出装置であって、
   前記コントローラは、前記第１処理と並行して第４処理を実行可能に構成される、検出装置。
7. 請求項２～４のいずれか１つに記載の検出装置であって、
   前記コントローラは、前記第１位置、前記第２位置、および前記第３位置のいずれかと、前記第４位置を比較する第５処理を実行可能に構成される、検出装置。
8. 請求項７に記載の検出装置であって、
   前記コントローラは、前記第５処理の結果に基づき、前記第１処理または前記第２処理の少なくともいずれかにおいて、前記第４位置を含む領域を探索範囲とするテンプレートマッチングを実行可能に構成される、検出装置。
9. 画像情報の入力を受ける入力部と、
   利用者の眼の位置を検出する検出処理を実行可能に構成されるコントローラと、を備え、
   前記コントローラは、入力された画像情報に基づいて、第１テンプレート画像を用いるテンプレートマッチングにて眼の第１位置を検出する第１処理と、
   前記入力された画像情報に基づいて、前記第１テンプレート画像と異なる第２テンプレート画像を用いるテンプレートマッチングにて顔の位置を検出し、検出した顔の位置に基づいて眼の第２位置を検出する第２処理と、
   前記第１処理と異なる、前記入力された画像情報に基づいて眼の第４位置を検出する第４処理と、を前記検出処理として実行可能に構成される、検出装置。
10. 利用者の両眼に対して光学系を介して投影される視差画像を表示するように構成される表示部と、
    前記視差画像の画像光の進行方向を規定することによって、前記両眼に視差を与えるように構成されるバリア部と、
    利用者の顔を撮像するように構成されるカメラと、
    前記カメラから出力された撮像情報の入力を受ける入力部と、
    利用者の眼の位置を検出する検出処理を実行可能に構成される検出部と、
    前記検出部で検出された利用者の眼の位置に応じた視差画像を合成して前記表示部を制御する表示制御部と、を備え、
    前記検出部は、
    入力された画像情報に基づいて、第１テンプレート画像を用いるテンプレートマッチングにて眼の第１位置を検出する第１処理と、
    前記入力された画像情報に基づいて、前記第１テンプレート画像と異なる第２テンプレート画像を用いるテンプレートマッチングにて顔の位置を検出し、検出した顔の位置に基づいて眼の第２位置を検出する第２処理と、
    前記第１位置および前記第２位置に基づいて眼の第３位置を検出する第３処理と、を前記検出処理として実行可能に構成され、
    前記表示制御部は、前記第１位置、前記第２位置、および前記第３位置のいずれかに基づいて視差画像を合成する、画像表示システム。