JP6688212B2 - 画像投影装置、画像表示装置、および移動体 - Google Patents

Description

本開示は、画像投影装置、画像表示装置、および移動体に関する。

従来、移動体の運転者等の対象者に虚像を視認させる技術が知られている。例えば特許文献１には、周囲の明るさに応じて光源の光量を制御する技術が開示されている。

特開２０１５−１６８３８２号公報

従来、対象者に虚像を視認させる技術の利便性を向上させることが望まれている。

本開示は、対象者に虚像を視認させる技術の利便性を向上させる画像投影装置、画像表示装置、および移動体に関する。

本開示の一実施形態に係る画像投影装置は、表示部と、少なくとも１つの第２光学部材と、制御部と、記憶部と、を備える。表示部は、テクスチャが投影されたポリゴンを仮想カメラから眺めた画像を表示する。第２光学部材は、第１光学部材に画像を投影し、画像の虚像を対象者に視認させる。記憶部は、実空間上の複数の基準位置にそれぞれ対応する複数の補正情報を記憶する。制御部は、ポリゴンを対象者の両眼の位置に応じて動的に補正する。制御部は、対象者の右眼の位置に対応する第１補正情報を、記憶部に記憶された複数の補正情報の中から選択しまたは２つ以上の補正情報に基づいて生成し、対象者の左眼の位置に対応する第２補正情報を、記憶部に記憶された複数の補正情報の中から選択しまたは２つ以上の補正情報に基づいて生成し、第１補正情報と、第２補正情報と、に基づいて第３補正情報を生成し、ポリゴンを、第３補正情報を用いて補正する。

本開示の一実施形態に係る画像表示装置は、表示部と、制御部と、記憶部と、を備える。表示部は、テクスチャが投影されたポリゴンを仮想カメラから眺めた画像を表示する。記憶部は、実空間上の複数の基準位置にそれぞれ対応する複数の補正情報を記憶する。制御部は、ポリゴンを対象者の両眼の位置に応じて動的に補正する。制御部は、対象者の右眼の位置に対応する第１補正情報を、記憶部に記憶された複数の補正情報の中から選択しまたは２つ以上の補正情報に基づいて生成し、対象者の左眼の位置に対応する第２補正情報を、記憶部に記憶された複数の補正情報の中から選択しまたは２つ以上の補正情報に基づいて生成し、第１補正情報と、第２補正情報と、に基づいて第３補正情報を生成し、ポリゴンを、第３補正情報を用いて補正する。

本開示の一実施形態に係る移動体は、第１光学部材と、表示部と、少なくとも１つの第２光学部材と、制御部と、記憶部と、を備える。表示部は、テクスチャが投影されたポリゴンを仮想カメラから眺めた画像を表示する。第２光学部材は、第１光学部材に画像を投影し、画像の虚像を対象者に視認させる。記憶部は、実空間上の複数の基準位置にそれぞれ対応する複数の補正情報を記憶する制御部は、ポリゴンを対象者の両眼の位置に応じて動的に補正する。制御部は、対象者の右眼の位置に対応する第１補正情報を、記憶部に記憶された複数の補正情報の中から選択しまたは２つ以上の補正情報に基づいて生成し、対象者の左眼の位置に対応する第２補正情報を、記憶部に記憶された複数の補正情報の中から選択しまたは２つ以上の補正情報に基づいて生成し、第１補正情報と、第２補正情報と、に基づいて第３補正情報を生成し、ポリゴンを、第３補正情報を用いて補正する。

本開示の一実施形態に係る画像投影装置、画像表示装置、および移動体によれば、対象者に虚像を視認させる技術の利便性が向上する。

本発明の一実施形態に係る移動体および画像投影装置を示す図である。 図１の画像投影装置の概略構成を示すブロック図である。 図２の画像表示装置の概略構成を示すブロック図である。 移動体における各基準位置に対応する補正情報の例を示す図である。 基準位置および対象者の両眼の位置の第１例を示す図である。 基準位置および対象者の両眼の位置の第２例を示す図である。 画像投影装置の第１動作を示すフローチャートである。 画像投影装置の第２動作を示すフローチャートである。 画像投影装置の第３動作を示すフローチャートである。

以下、本発明の一実施形態について、図面を参照して説明する。

（移動体）
図１を参照して、本開示の一実施形態に係る移動体１０について説明する。移動体１０は、撮像装置１１と、画像投影装置１２と、を備える。

本開示における「移動体」は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。

撮像装置１１は、例えばＣＣＤ（Charge Coupled Device）撮像素子またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子を含んでよい。撮像装置１１は、対象者１３の顔を撮像可能である。撮像装置１１の撮像範囲は、少なくとも後述するアイボックス１６を含む。対象者１３は、例えば移動体１０の運転者等を含んでよい。撮像装置１１の位置は、移動体１０の内部および外部において任意である。例えば、撮像装置１１は、移動体１０のダッシュボード内に位置する。撮像装置１１は、撮像画像を生成して、外部装置へ出力可能である。撮像画像の出力は、例えば有線、無線、およびＣＡＮ（Controller Area Network）等を介して行われてよい。

画像投影装置１２は、対象者１３に所望の画像の虚像１４を視認させるヘッドアップディスプレイの少なくとも一部を構成し得る。画像投影装置１２の位置は、移動体１０の内部および外部において任意である。例えば、画像投影装置１２は、移動体１０のダッシュボード内に位置する。画像投影装置１２は、移動体１０に備えられた第１光学部材１５に画像を投影する。具体的には、画像投影装置１２は、第１光学部材１５の所定領域に向かって画像投影光を出射してよい。画像投影光の詳細については後述する。第１光学部材１５は、ウィンドシールドおよびコンバイナ等を含んでよい。画像投影装置１２が第１光学部材１５を有すると、画像投影装置１２はヘッドアップディスプレイを構成し得る。

第１光学部材１５の所定領域で反射された画像投影光は、アイボックス１６に到達する。アイボックス１６は、例えば対象者１３の体格、姿勢、および姿勢の変化等を考慮して、対象者１３の眼が存在し得ると想定される実空間上の領域である。アイボックス１６の形状は任意である。アイボックス１６は、平面的または立体的な領域を含んでよい。図１に示す実線の矢印は、画像投影装置１２から出射する画像投影光の一部がアイボックス１６まで到達する経路を示す。以下、光が進む経路を光路ともいう。光路上には、光を透過する光学素子、および光を反射する光学素子の少なくとも一方が含まれてよい。対象者１３は、アイボックス１６内に眼が存在する場合、アイボックス１６に到達する画像投影光によって、当該画像の虚像１４を視認可能である。虚像１４は、例えば移動体１０よりも前方に視認され得る。

（画像投影装置）
図２を参照して、画像投影装置１２について詳細に説明する。画像投影装置１２は、画像表示装置１７と、１つ以上の第２光学部材１８と、を備える。図２は、画像投影装置１２が２つの第２光学部材１８ａ、１８ｂを備える構成を例示している。図２は、画像投影装置１２の構成の例を模式的に示している。例えば、画像投影装置１２および画像投影装置１２の各構成要素の、大きさ、形状、および配置等は、図２に示す例に限定されない。

画像表示装置１７は、任意の画像を表示可能であってよい。画像表示装置１７は、画像投影装置１２の内部において、画像投影光を出射する。画像投影光は、画像表示装置１７が表示する画像を投影する光を含んでよい。画像表示装置１７の詳細な構成については後述する。

第２光学部材１８は、画像表示装置１７に表示された画像を第１光学部材１５に投影し、当該画像の虚像１４を対象者１３に視認させる。具体的には、第２光学部材１８は、画像表示装置１７から出射された画像投影光を画像投影装置１２の外部に到達させる。図２に示す例において、第２光学部材１８ａおよび１８ｂが、画像表示装置１７から出射された画像投影光を画像投影装置１２の外部に到達させる。第２光学部材１８は、レンズまたはミラーを含んでよい。例えば、第２光学部材１８ａおよび１８ｂそれぞれは、ミラーを含んでよい。第２光学部材１８ａおよび１８ｂの少なくとも一方は、レンズを含んでよい。第２光学部材１８ａおよび１８ｂの一方がミラーであり、他方がレンズであってよい。図２に示す実線の矢印は、画像表示装置１７から出射された画像投影光の一部が、第２光学部材１８ａおよび１８ｂによって反射され、画像投影装置１２の筐体に設けられた窓部を通過し、画像投影装置１２の外部まで到達する経路を示す。画像投影装置１２の外部に到達した画像投影光は、図１に示すように移動体１０に備えられた第１光学部材１５の所定領域に到達する。

第２光学部材１８は、画像表示装置１７に表示された画像を拡大する拡大光学系として機能してよい。例えば、第２光学部材１８ａおよび１８ｂの少なくとも一方は、画像投影光が到達する面の少なくとも一部に凸面形状または凹面形状を有するミラーであってよい。第２光学部材１８ａおよび１８ｂの少なくとも一方は、画像投影光が入射または出射する面の少なくとも一部に凸面形状または凹面形状を有するレンズであってよい。凸面形状および凹面形状の少なくとも一部は、球面形状または非球面形状であってよい。

（画像表示装置）
図３を参照して、画像表示装置１７について詳細に説明する。画像表示装置１７は、基板１９と、光源素子２０と、第３光学部材２１と、第４光学部材２２と、表示部２３と、通信部２４と、記憶部２５と、制御部２６と、を備える。基板１９、光源素子２０、第３光学部材２１、および第４光学部材２２が、１つの光源装置２７として構成されてよい。かかる場合、画像表示装置１７は、光源装置２７と、表示部２３と、通信部２４と、記憶部２５と、制御部２６と、を備える。基板１９、光源素子２０、第３光学部材２１、第４光学部材２２、表示部２３、通信部２４、記憶部２５、および制御部２６は、画像表示装置１７の内部において固定的に配置されてよい。光源素子２０は、基板１９上に配置されてよい。図３は、画像表示装置１７の構成の例を模式的に示している。例えば、画像表示装置１７および画像表示装置１７の各構成要素の、大きさ、形状、および配置等は、図３に示される例に限られない。

光源素子２０は、例えば１つ以上の発光ダイオード（ＬＥＤ：Light Emission Diode）または１つ以上のレーザ装置等を含んでよい。光源素子２０は、制御部２６の制御に応じて光を発する。図３において光源素子２０から延びる実線の矢印は、光源素子２０から発せられた光の一部が進行する経路を示す。以下、光源素子２０から発せられた光の少なくとも一部を、単に光源素子２０からの光ともいう。

第３光学部材２１は、光源素子２０の位置に対して、光源素子２０からの光が進む方向に位置する。例えば図３においては、第３光学部材２１は、光源素子２０の右方向に位置している。第３光学部材２１は、例えばコリメータレンズを含む。第３光学部材２１は、光源素子２０から入射される光をコリメートする。コリメートされた光は、第３光学部材２１の光軸方向と略平行な方向に進む光であってよい。

第４光学部材２２は、第３光学部材２１の位置に対して、光源素子２０からの光が進む方向に位置する。例えば図３においては、第４光学部材２２は、第３光学部材２１の右方向に位置している。第４光学部材２２は、例えばレンズを含む。第４光学部材２２は、例えばフレネルレンズを含んでよい。第４光学部材２２は、第４光学部材２２の光軸と第３光学部材２１の光軸とが略一致するように、画像表示装置１７の内部に固定的に配置されてよい。以下、第３光学部材２１の光軸または第４光学部材２２の光軸を、画像表示装置１７の光軸または光源装置２７の光軸ともいう。画像表示装置１７から発せられる画像投影光の進行方向と、画像表示装置１７の光軸方向と、が略平行であってよい。第４光学部材２２は、第３光学部材２１を通過してコリメートされた光の少なくとも一部を所望の進行方向に屈折させてよい。

表示部２３は、例えばＬＣＤ（Liquid Crystal Display）、およびＭＥＭＳ（Micro Electro Mechanical Systems）シャッターディスプレイ等の透過型液晶デバイスを含む。表示部２３は、第４光学部材２２の位置に対して、光源素子２０からの光が進む方向に位置する。例えば図３においては、表示部２３は、第４光学部材２２の右方向に位置している。一実施形態において、例えば図３に示すように、光源素子２０、第３光学部材２１、第４光学部材２２、および表示部２３は、この順番で画像表示装置１７の光軸に沿って配置されてよい。以下、表示部２３から出射する光を、画像投影光ともいう。

通信部２４は、外部装置と通信可能なインタフェースを含んでよい。外部装置は、例えば撮像装置１１を含んでよい。本開示における「通信インタフェース」は、例えば物理コネクタ、および無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、および電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、ＥＩＡＪ ＣＰ−１２１１Ａに規定されるＳ端子に対応するコネクタ、ＥＩＡＪ ＲＣ−５２３７に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、およびＢＮＣ（British Naval ConnectorまたはBaby-series N Connector等）を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、ＩＥＣ ６１７５４に準拠する種々のコネクタを含んでよい。無線通信機は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、およびＩＥＥＥ８０２．１１を含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも１つのアンテナを含む。

記憶部２５は、一時記憶装置および二次記憶装置を含んでよい。記憶部２５は、例えば半導体メモリ、磁気メモリ、および光メモリ等を用いて構成されてよい。半導体メモリは、揮発性メモリおよび不揮発性メモリを含んでよい。磁気メモリは、例えばハードディスクおよび磁気テープ等を含んでよい。光メモリは、例えばＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、およびＢＤ（Blu-ray Disc）（登録商標）等を含んでよい。記憶部２５は、画像表示装置１７の動作に必要な種々の情報およびプログラムを記憶する。

例えば、記憶部２５は、実空間上の複数の位置にそれぞれ対応する複数の補正情報を記憶してよい。以下、当該複数の位置それぞれを、基準位置ともいう。補正情報の詳細については後述する。図４は、実空間上のｎ個の基準位置にそれぞれ対応するｎ個の補正情報Ｐ１−Ｐｎを示す。ｎ個の基準位置それぞれは、移動体１０における任意の位置を原点とする３次元直交座標または３次元極座標で示されてよい。各補正情報に対応する実空間上の基準位置は、アイボックス１６の内部または外部に存在してよい。例えば、アイボックス１６が六面体である場合、当該複数の基準位置は、当該六面体における８つの頂点の位置を含んでよい。当該複数の基準位置は、アイボックス１６を包含する、アイボックス１６よりも大きい第１の六面体における８つの頂点の位置を含んでよい。当該複数の基準位置は、アイボックス１６に包含される、アイボックス１６よりも小さい第２の六面体における８つの頂点の位置を含んでよい。アイボックス１６の内部に、複数の第２の六面体が含まれてよい。当該複数の基準位置は、第１の六面体または第２の六面体の内部または辺上の任意の位置を含んでよい。一例において、記憶部２５は、アイボックス１６の内部に存在する複数の基準位置にそれぞれ対応する複数の補正情報を記憶してよい。

補正情報の詳細について説明する。上述したように、第１光学部材１５で反射してアイボックス１６へ到達する画像投影光によって、対象者１３は表示部２３に表示されている画像の虚像１４を視認可能である。第１光学部材１５の表面形状は、例えば取り付けられる移動体１０に応じて設計され、必ずしも平面形状ではない。さらに、第１光学部材１５が移動体１０に取り付けられると、移動体１０の剛性によって第１光学部材１５に対して曲げまたはねじり等の力が加わり、第１光学部材１５が歪み得る。このため、対象者１３によって視認される虚像１４の形状は、当該虚像１４を視認する対象者１３の眼の位置に応じて歪み得る。

補正情報は、対象者１３の眼の位置に応じて、虚像１４の形状の歪みを補正するために用いられる。補正情報は、虚像１４の形状の歪みを低減させるように、表示部２３に表示させる画像を変形させる情報を含んでよい。例えば、補正情報は、表示部２３に表示される画像上の複数の特徴点それぞれのシフト量を示す情報を含んでよい。画像上における複数の特徴点の配置は、任意に定められてよい。例えば、複数の特徴点は、任意の間隔をあけて格子状に配列されてよい。複数の特徴点は、画像を表示する複数の画素に対応してよい。当該補正情報を用いた補正によって、表示部２３に表示される画像は、例えば当該画像上の複数の特徴点それぞれが当該補正情報に示されるシフト量だけ移動するように変形される。例えば、当該補正情報を用いた補正によって、表示部２３に表示される当該画像が、均一または不均一に変形して、表示部２３に表示され得る。補正情報に基づき変形された画像の画像投影光によって、対象者１３は、歪みを低減させた虚像１４を視認可能である。補正情報は、例えば実験またはシミュレーションにより決定可能である。

制御部２６は、１つ以上のプロセッサを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）を含んでよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでよい。制御部２６は、１つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、およびＳｉＰ（System In a Package）のいずれかであってもよい。

制御部２６は、光源装置２７全体の動作を制御する。例えば、制御部２６は、光源素子２０の駆動電力を制御して、光源素子２０を発光させる。制御部２６は、表示部２３に画像を表示させる。画像は、文字または図形を含んでよい。

制御部２６は、通信部２４を介して撮像装置１１から、対象者１３を撮像した撮像画像を取得する。制御部２６は、取得された撮像画像に基づいて、実空間における対象者１３の両眼の位置を検出する。実空間における対象者１３の両眼の位置の検出には、撮像画像を用いる任意のアルゴリズムが採用可能である。例えば、記憶部２５は、撮像画像上の対象者１３の顔の位置、顔の向き、および顔の大きさの組み合わせと、実空間における対象者１３の両眼の位置と、を対応付けた対応情報を予め記憶する。対応情報は、例えば実験またはシミュレーションによって決定可能である。対応情報は、例えばルックアップテーブルとして記憶されてよい。制御部２６は、撮像画像上の対象者１３の顔の位置、顔の向き、および顔の大きさを検出する。顔および眼の検出には、例えばパターンマッチングを用いる手法、または撮像画像上の対象者１３の特徴点を抽出する手法等が採用可能である。制御部２６は、検出された撮像画像上の対象者１３の顔の位置、顔の向き、および顔の大きさの組み合わせに対応する、実空間における対象者１３の両眼の位置を、対応情報から抽出する。制御部２６は、抽出された位置を、実空間における対象者１３の両眼の位置として検出する。

制御部２６は、検出された両目の位置に応じて、表示部２３に表示させる画像を動的に補正する。画像の補正は、例えば画像の変形を含んでよい。画像を補正する任意のアルゴリズムが採用可能である。以下、互いに異なる２つのアルゴリズムについて具体的に説明する。

（第１アルゴリズム）
概略として、第１アルゴリズムでは、対象者１３の右眼の位置に対応する第１補正情報と、対象者１３の左眼の位置に対応する第２補正情報とに基づいて、第３補正情報が生成される。生成された第３補正情報に基づいて、表示部２３に表示される表示画像が動的に補正される。以下、具体的に説明する。

制御部２６は、対象者１３の右眼の位置に対応する第１補正情報を決定する。例えば、制御部２６は、対象者１３の右眼の位置に対応する第１補正情報を、記憶部２５に記憶された複数の補正情報の中から選択することによって決定してよい。あるいは、制御部２６は、対象者１３の右眼の位置に対応する第１補正情報を、２つ以上の補正情報に基づいて生成することによって決定してよい。第１補正情報の生成には、任意のアルゴリズムが採用可能である。

例えば図５において、それぞれ補正情報が対応付けられた８つの基準位置を頂点とする六面体の内部に、対象者１３の右眼Ｒが位置している。かかる場合、制御部２６は、右眼Ｒの近傍に存在する当該８つの補正情報のうち２つ以上の補正情報に基づいて、右眼Ｒの位置に対応する第１補正情報を内挿により生成する。

例えば図６において、それぞれ補正情報が対応付けられた８つの基準位置を頂点とする六面体の外部に、対象者１３の右眼Ｒが位置している。かかる場合、制御部２６は、右眼Ｒの近傍に存在する当該８つの補正情報のうち２つ以上の補正情報に基づいて、右眼Ｒの位置に対応する第１補正情報を外挿により生成する。

かかる構成によれば、内挿または外挿によって第１補正情報が生成される。このため、補正情報を記憶すべき基準位置の数が低減可能であり、記憶部２５に記憶すべき補正情報の情報量が低減可能である。

制御部２６は、対象者１３の左眼の位置に対応する第２補正情報を決定する。例えば、制御部２６は、対象者１３の左眼の位置に対応する第２補正情報を、記憶部２５に記憶された複数の補正情報の中から選択することによって決定してよい。あるいは、制御部２６は、対象者１３の左眼の位置に対応する第２補正情報を、２つ以上の補正情報に基づいて生成することによって決定してよい。第２補正情報の生成は、上述した第１補正情報の生成と同様にして行われてよい。例えば図５に示すように、対象者１３の左眼Ｌが六面体の内部に位置する場合、制御部２６は、左眼Ｌの位置に対応する第２補正情報を内挿により生成する。例えば図６に示すように、対象者１３の左眼Ｌが六面体の外部に位置する場合、制御部２６は、左眼Ｌの位置に対応する第２補正情報を外挿により生成する。

制御部２６は、第１補正情報と、第２補正情報と、に基づいて第３補正情報を生成する。第３補正情報の生成には、任意のアルゴリズムが採用可能であってよい。例えば、制御部２６は、第１補正情報および第２補正情報それぞれに重み付けを行い、第３補正情報を生成する。具体的には、第３補正情報に示される、画像上の特徴点のシフト量Ｓ３は、次式（１）で決定される。
Ｓ３＝α×Ｓ１＋（１−α）×Ｓ２ （１）
式（１）において、αは、０以上１以下の値を示す重み係数を示す。Ｓ１は、第１補正情報に示される、当該特徴点のシフト量を示す。Ｓ２は、第２補正情報に示される、当該特徴点のシフト量を示す。例えば、重み係数α＝０．３、ある特徴点のシフト量Ｓ１＝＋１０、および当該特徴点のシフト量Ｓ２＝−１０である場合、第３補正情報に示される当該特徴点のシフト量Ｓ３は、Ｓ３＝０．３×（＋１０）＋０．７×（−１０）＝−４となる。

重み係数αは、０以上１以下の範囲で任意に定められてよい。例えば、重み係数αは、予め定められてよい。あるいは、重み係数αは、対象者１３の優位眼を考慮して決定されてよい。

対象者１３の優位眼を考慮した重み係数αの決定は、例えば、対象者１３が移動体１０を運転するより前に行われてよい。具体的には、制御部２６は、対象者１３を撮像した撮像画像を取得する。制御部２６は、実空間上の対象者１３の両眼の位置を検出する。制御部２６は、検出された両眼の位置に基づいて、第１補正情報および第２補正情報を決定する。制御部２６は、重み係数αを初期値に設定する。制御部２６は、第１補正情報、第２補正情報、および重み係数αに基づいて、第３補正情報を生成する。制御部２６は、生成された第３補正情報を用いて補正した基準画像を表示部２３に表示させる。基準画像として、任意の画像が採用可能である。例えば、基準画像は、正方形、円、または格子状に並んだ複数の線等を含んでよい。

制御部２６は、例えば対象者１３によるユーザ操作に応じて、重み係数αを変化させる。重み係数αを変化させた場合、制御部２６は、第１補正情報、第２補正情報、および変化後の重み係数αに基づいて、第３補正情報を新たに生成する。制御部２６は、新たに生成された第３補正情報を用いて補正された基準画像を表示部２３に表示させる。重み係数αの変化、および新たに生成される第３補正情報を用いて補正された基準画像の表示は、ユーザ操作に応じて複数回実行されてよい。制御部２６は、例えば対象者１３によるユーザ操作に応じて、重み係数αを確定し、記憶部２５に記憶する。

上述のように重み係数αが確定された後、例えば対象者１３が移動体１０を運転する場合に、制御部２６は、表示部２３に表示させる表示画像を対象者１３の両眼の位置に応じて動的に補正する。具体的には、制御部２６は、対象者１３の両眼の位置に対応する第１補正情報および第２補正情報と、確定された重み係数αと、に基づいて第３補正情報を決定する。制御部２６は、決定された第３補正情報を用いて、表示部２３に表示する表示画像を動的に補正する。表示画像は、任意の情報または画像を含んでよい。例えば、表示画像は、移動体１０の走行速度、予測進路、走行路の制限速度、標識情報、ルートガイド等の運転支援画像、および歩行者等の障害物を示す画像等を含んでよい。

虚像１４の歪みが最も小さいと対象者１３が知覚し得るような重み係数αは、対象者１３の優位眼および非優位眼の映像合成比率に応じて異なる。対象者１３は、例えば両眼で基準画像の虚像１４を視認しながら重み係数αを変化させることによって、虚像１４の歪みが最も小さいと知覚したときの重み係数αを記憶部２５に記憶させることができる。かかる構成によれば、対象者１３の優位眼を考慮した重み係数αによって表示画像が補正される。このため、対象者１３によって知覚される虚像１４の歪みが低減され、虚像１４の視認性が向上する。対象者１３に虚像１４を視認させる技術の利便性が向上する。

（第２アルゴリズム）
概略として、第２アルゴリズムでは、対象者１３の両眼の位置に基づいて、特定位置が決定される。決定された特定位置に対応する第３補正情報が決定される。決定された第３補正情報に基づいて、表示部２３に表示される表示画像が動的に補正される。以下、具体的に説明する。

制御部２６は、対象者１３の両眼の位置を決定する。制御部２６は、対象者１３の両眼の位置に基づいて特定位置を決定する。特定位置の決定には、任意のアルゴリズムが採用可能であってよい。例えば、制御部２６は、対象者１３の右眼の位置および左眼の位置それぞれに重み付けを行い、特定位置を決定する。具体的には、特定位置Ｑ３は、次式（２）で決定される。
Ｑ３＝α×Ｑ１＋（１−α）×Ｑ２ （２）
式（２）において、αは、０以上１以下の値を示す重み係数を示す。Ｑ１は、対象者１３の右眼の位置を示す。Ｑ２は、対象者１３の左眼の位置を示す。例えば、重み係数α＝０．３、対象者１３の右眼の位置Ｑ１＝｛１０，０，０｝、対象者１３の左眼の位置Ｑ２＝｛２０，１０，０｝である場合、特定位置Ｑ３は、Ｑ３＝｛１７，７，０｝となる。

重み係数αは、０以上１以下の範囲で任意に定められてよい。例えば、重み係数αは、予め定められてよい。あるいは、重み係数αは、対象者１３の優位眼を考慮して決定されてよい。対象者１３の優位眼を考慮した重み係数αの決定は、上述した第１アルゴリズムと同様に行われてよい。具体的には、制御部２６は、対象者１３を撮像した撮像画像を取得する。制御部２６は、実空間上の対象者１３の両眼の位置を検出する。制御部２６は、重み係数αを初期値に設定する。制御部２６は、対象者１３の両眼の位置および重み係数αに応じて特定位置を決定する。制御部２６は、特定位置に対応する第３補正情報を決定する。特定位置に対応する第３補正情報の決定は、上述した第１アルゴリズムにおける第１補正情報または第２補正情報の決定と同様に行われてよい。制御部２６は、決定された第３補正情報を用いて補正した基準画像を表示部２３に表示させる。

制御部２６は、例えば対象者１３によるユーザ操作に応じて、重み係数αを変化させる。重み係数αを変化させた場合、制御部２６は、対象者１３の両眼の位置、および変化後の重み係数αに基づいて、特定位置を新たに決定する。制御部２６は、新たに決定された特定位置に対応する第３補正情報を新たに決定する。制御部２６は、新たに決定された第３補正情報を用いて補正された基準画像を表示部２３に表示させる。重み係数αの変化、および新たに決定される第３補正情報を用いて補正された基準画像の表示は、ユーザ操作に応じて複数回実行されてよい。制御部２６は、例えば対象者１３によるユーザ操作に応じて、重み係数αを確定し、記憶部２５に記憶する。

上述のように重み係数αが確定された後、例えば対象者１３が移動体１０を運転する場合に、制御部２６は、表示部２３に表示させる表示画像を対象者１３の両眼の位置に応じて動的に補正する。具体的には、制御部２６は、対象者１３の両眼の位置と、確定された重み係数αと、に基づいて特定位置を決定する。制御部２６は、特定位置に対応する第３補正情報を決定する。制御部２６は、決定された第３補正情報を用いて、表示部２３に表示する表示画像を動的に補正する。

上述した第２アルゴリズムによれば、第１アルゴリズムが採用される場合と同様に、対象者１３の優位眼を考慮した重み係数αによって表示画像が補正される。このため、対象者１３によって知覚される虚像１４の歪みが低減され、虚像１４の視認性が向上する。対象者１３に虚像１４を視認させる技術の利便性が向上する。第２アルゴリズムによれば、対象者１３の両眼の位置と重み係数αとに基づいて決定される特定位置に対応する第３補正情報を決定すればよい。このため、第１補正情報、第２補正情報、および重み係数αに基づいて第３補正情報を生成する第１アルゴリズムと比較して、処理負担が軽減可能である。

図７を参照して、上述した第１アルゴリズムが採用される構成において、対象者１３の優位眼を考慮して重み係数αを決定する画像投影装置１２の動作について説明する。本動作は、例えば対象者１３が移動体１０を運転するより前に行われてよい。

ステップＳ１００：制御部２６は、通信部２４を介して撮像装置１１から、対象者１３を撮像した撮像画像を取得する。

ステップＳ１０１：制御部２６は、取得された撮像画像に基づいて、実空間における対象者１３の両眼の位置を検出する。

ステップＳ１０２：制御部２６は、対象者１３の右眼の位置に対応する第１補正情報と、左眼の位置に対応する第２補正情報と、を決定する。

ステップＳ１０３：制御部２６は、重み係数αを初期値に設定する。

ステップＳ１０４：制御部２６は、第１補正情報、第２補正情報、および重み係数αに基づいて、第３補正情報を生成する。

ステップＳ１０５：制御部２６は、第３補正情報を用いて補正した基準画像を表示部２３に表示させる。

ステップＳ１０６：制御部２６は、例えば対象者１３によるユーザ操作を検出すると、重み係数αを変化させるか否かを決定する。重み係数αを変化させると決定した場合（ステップＳ１０６−Ｙｅｓ）、プロセスはステップＳ１０７に進む。一方、重み係数αを変化させないと決定した場合（ステップＳ１０６−Ｎｏ）、プロセスはステップＳ１０８に進む。

ステップＳ１０７：制御部２６は、例えばステップＳ１０６のユーザ操作に応じて、重み係数αを変化させる。その後、プロセスはステップＳ１０４に戻る。

ステップＳ１０８：制御部２６は、例えばステップＳ１０６のユーザ操作に応じて、重み係数αを確定し、記憶部２５に記憶する。その後、プロセスは終了する。

図８を参照して、上述した第１アルゴリズムが採用される構成において、表示画像を対象者１３の両眼の位置に応じて動的に補正する画像投影装置１２の動作について説明する。本動作は、例えば対象者１３が移動体１０を運転している間に繰り返し行われてよい。

ステップＳ２００：制御部２６は、通信部２４を介して撮像装置１１から、対象者１３を撮像した撮像画像を取得する。

ステップＳ２０１：制御部２６は、取得された撮像画像に基づいて、実空間における対象者１３の両眼の位置を検出する。

ステップＳ２０２：制御部２６は、対象者１３の右眼の位置に対応する第１補正情報と、左眼の位置に対応する第２補正情報と、を決定する。

ステップＳ２０３：制御部２６は、第１補正情報、第２補正情報、および記憶部２５に記憶された重み係数αに基づいて、第３補正情報を生成する。

ステップＳ２０４：制御部２６は、第３補正情報を用いて補正した表示画像を表示部２３に表示させる。その後、プロセスはステップＳ２００に戻る。

図９を参照して、上述した第２アルゴリズムが採用される構成において、表示画像を対象者１３の両眼の位置に応じて動的に補正する画像投影装置１２の動作について説明する。本動作は、例えば対象者１３が移動体１０を運転している間に繰り返し行われてよい。

ステップＳ３００：制御部２６は、通信部２４を介して撮像装置１１から、対象者１３を撮像した撮像画像を取得する。

ステップＳ３０１：制御部２６は、取得された撮像画像に基づいて、実空間における対象者１３の両眼の位置を検出する。

ステップＳ３０２：制御部２６は、対象者１３の右眼の位置、左眼の位置、および記憶部２５に記憶された重み係数αに基づいて、特定位置を決定する。

ステップＳ３０３：制御部２６は、決定された特定位置に対応する第３補正情報を決定する。

ステップＳ３０４：制御部２６は、第３補正情報を用いて補正した表示画像を表示部２３に表示させる。その後、プロセスはステップＳ３００に戻る。

以上述べたように、一実施形態に係る画像投影装置１２は、表示部２３に表示させる画像を対象者１３の両眼の位置に応じて動的に補正する。かかる構成によれば、対象者１３によって知覚される虚像１４の歪みが低減され、虚像１４の視認性が向上する。対象者１３に虚像１４を視認させる技術の利便性が向上する。

画像投影装置１２は、実空間上の複数の基準位置にそれぞれ対応する複数の補正情報を記憶してよい。画像投影装置１２は、記憶された複数の補正情報に基づいて、対象者１３の右眼の位置に対応する第１補正情報と、対象者１３の左眼の位置に対応する第２補正情報と、を決定してよい。画像投影装置１２は、対象者１３の優位眼を考慮して決定される重み係数を記憶してよい。画像投影装置１２は、第１補正情報と、第２補正情報と、重み係数と、に基づいて第３補正情報を生成してよい。画像投影装置１２は、表示部２３に表示させる画像を、第３補正情報を用いて補正してよい。かかる構成によれば、対象者１３によって知覚される虚像１４の歪みが精度良く低減され、虚像１４の視認性がさらに向上される。

画像投影装置１２は、対象者１３の右眼の位置と、対象者１３の左眼の位置と、対象者１３の優位眼を考慮して決定される重み係数と、に基づいて特定位置を決定してよい。画像投影装置１２は、記憶部２５に記憶された複数の補正情報に基づいて、特定位置に対応する第３補正情報を決定してよい。画像投影装置１２は、表示部２３に表示させる画像を、第３補正情報を用いて補正してよい。かかる構成によれば、対象者１３によって知覚される虚像１４の歪みが精度良く低減され、虚像１４の視認性がさらに向上される。

本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、あるいは分割したりすることが可能である。

例えば、上述した一実施形態において、表示部２３に表示される画像上の複数の特徴点それぞれのシフト量を示す情報を含む補正情報を用いて、当該画像を変形させることによって当該画像を補正する構成について説明した。しかしながら、補正情報の内容および画像を補正する処理は、上述した構成に限られない。

例えば、制御部２６は、表示部２３に表示させる画像を、テクスチャ画像としてポリゴンに投影してよい。ポリゴンに対するテクスチャ画像の投影には、任意のアルゴリズムが採用可能であってよい。例えば、ポリゴンに対するテクスチャ画像の投影は、テクスチャ画像上のテクスチャ座標と、ポリゴン上の複数の頂点と、の対応関係を示すマッピング情報を用いて行われてよい。ポリゴンの形状は、任意に定められてよい。マッピング情報は、任意に定められてよい。制御部２６は、テクスチャ画像が投影されたポリゴンを、例えば３次元仮想空間内に配置する。制御部２６は、仮想カメラを視点として、当該ポリゴンを含む当該仮想空間内の領域を眺めた画像を、表示部２３に表示させる。かかる構成によれば、上述した一実施形態と同様に、対象者１３は、表示部２３に表示させた画像の虚像１４を視認可能である。

ポリゴンが用いられる上述の構成において、補正情報は、虚像１４の形状の歪みを低減させるように、マッピング情報を変化させる情報を含んでよい。例えば、補正情報は、テクスチャ画像上のテクスチャ座標に対応するポリゴン上の頂点を、他の頂点に変更する情報を含んでよい。例えば、当該補正情報を用いた補正によって、ポリゴンに投影されるテクスチャ画像は、均一または不均一に変形して、表示部２３に表示され得る。補正情報に基づき変形されたテクスチャ画像の画像投影光によって、対象者１３は、上述した一実施形態と同様に、歪みを低減させた虚像１４を視認可能である。マッピング情報を変化させる処理は、例えば制御部２６が専用のハードウェアを包含することによって高速に実行可能である。専用のハードウェアは、例えばグラフィックアクセラレータを含んでよい。かかる構成によれば、表示部２３に表示させる画像の補正処理が高速化する。このため、例えば対象者１３の両眼の位置が変化する場合に、両眼の位置の変化に対する虚像１４の歪みの低減が高速に行われる。対象者１３に虚像１４を視認させる技術の利便性がさらに向上する。

ポリゴンが用いられる上述の構成において、補正情報は、虚像１４の形状の歪みを低減させるように、ポリゴンの形状を変化させる情報を含んでよい。例えば、当該補正情報を用いた補正によって、ポリゴンに投影されるテクスチャ画像は、均一または不均一に変形して、表示部２３に表示され得る。補正情報に基づき変形されたテクスチャ画像の画像投影光によって、対象者１３は、上述した一実施形態と同様に、歪みを低減させた虚像１４を視認可能である。ポリゴンの形状を変化させる処理は、例えば制御部２６が専用のハードウェアを包含することによって高速に実行可能である。専用のハードウェアは、例えばグラフィックアクセラレータを含んでよい。かかる構成によれば、表示部２３に表示させる画像の補正処理が高速化する。このため、例えば対象者１３の両眼の位置が変化する場合に、両眼の位置の変化に対する虚像１４の歪みの低減が高速に行われる。対象者１３に虚像１４を視認させる技術の利便性がさらに向上する。

上述した一実施形態において、表示部２３に１つの画像が表示される構成について説明した。しかしながら、表示部２３に表示される画像の数は、任意に定められてよい。表示部２３に表示される複数の画像それぞれの位置、形状、および大きさは、任意に定められてよい。かかる構成において、制御部２６は、表示部２３に表示させる画像毎に、当該画像を対象者１３の両眼の一に応じて動的に補正してよい。表示部２３に表示させる各画像の補正は、上述した一実施形態と同様に行われてよい。例えば、記憶部２５は、表示部２３に表示させる画像毎に、実空間上の複数の基準位置にそれぞれ対応する複数の補正情報を記憶する。制御部２６は、表示部２３に表示させる画像毎に、例えば上述した第１アルゴリズムまたは第２アルゴリズムを用いて、重み係数αおよび第３補正情報を決定してよい。制御部２６は、表示部２３に表示させる画像毎に、当該画像に対応する第３補正情報を用いて当該画像を補正する。かかる構成によれば、対象者１３は、複数の画像にそれぞれ対応する複数の虚像１４を視認可能である。対象者１３に虚像１４を視認させる技術の利便性がさらに向上する。

１０ 移動体
１１ 撮像装置
１２ 画像投影装置
１３ 対象者
１４ 虚像
１５ 第１光学部材
１６ アイボックス
１７ 画像表示装置
１８、１８ａ、１８ｂ 第２光学部材
１９ 基板
２０ 光源素子
２１ 第３光学部材
２２ 第４光学部材
２３ 表示部
２４ 通信部
２５ 記憶部
２６ 制御部
２７ 光源装置

Claims (7)

1. テクスチャが投影されたポリゴンを仮想カメラから眺めた画像を表示する表示部と、
   第１光学部材に前記画像を投影し、前記画像の虚像を対象者に視認させる少なくとも１つの第２光学部材と、
   前記ポリゴンを前記対象者の両眼の位置に応じて動的に補正する制御部と、
   実空間上の複数の基準位置にそれぞれ対応する複数の補正情報を記憶する記憶部と、
   を備え、
   前記制御部は、
   前記対象者の右眼の位置に対応する第１補正情報を、前記記憶部に記憶された複数の前記補正情報の中から選択しまたは２つ以上の前記補正情報に基づいて生成し、
   前記対象者の左眼の位置に対応する第２補正情報を、前記記憶部に記憶された複数の前記補正情報の中から選択しまたは２つ以上の前記補正情報に基づいて生成し、
   前記第１補正情報と、前記第２補正情報と、に基づいて第３補正情報を生成し、
   前記ポリゴンを、前記第３補正情報を用いて補正する、画像投影装置。
2. 請求項１に記載の画像投影装置であって、
   前記記憶部は、前記対象者の優位眼を考慮して決定される重み係数を記憶し、
   前記制御部は、前記第１補正情報と、前記第２補正情報と、前記重み係数と、に基づいて前記第３補正情報を生成する、画像投影装置。
3. 請求項１または２に記載の画像投影装置であって、
   前記制御部は、前記テクスチャ上のテクスチャ座標と、前記ポリゴン上の複数の頂点と、の対応関係を示すマッピング情報を変化させることによって、前記ポリゴンを補正する、画像投影装置。
4. 請求項１または２に記載の画像投影装置であって、
   前記制御部は、前記ポリゴンの形状を変化させることによって、前記ポリゴンを補正する、画像投影装置。
5. 請求項１乃至４の何れか一項に記載の画像投影装置であって、
   前記対象者を撮像した撮像画像を取得する通信部を更に備え、
   前記制御部は、前記撮像画像に基づいて前記対象者の両眼の位置を検出する、画像投影装置。
6. テクスチャが投影されたポリゴンを仮想カメラから眺めた画像を表示する表示部と、
   前記ポリゴンを対象者の両眼の位置に応じて動的に補正する制御部と、
   実空間上の複数の基準位置にそれぞれ対応する複数の補正情報を記憶する記憶部と、
   を備え、
   前記制御部は、
   前記対象者の右眼の位置に対応する第１補正情報を、前記記憶部に記憶された複数の前記補正情報の中から選択しまたは２つ以上の前記補正情報に基づいて生成し、
   前記対象者の左眼の位置に対応する第２補正情報を、前記記憶部に記憶された複数の前記補正情報の中から選択しまたは２つ以上の前記補正情報に基づいて生成し、
   前記第１補正情報と、前記第２補正情報と、に基づいて第３補正情報を生成し、
   前記ポリゴンを、前記第３補正情報を用いて補正する、画像表示装置。
7. 第１光学部材と、
   テクスチャが投影されたポリゴンを仮想カメラから眺めた画像を表示する表示部と、
   前記第１光学部材に前記画像を投影し、前記画像の虚像を対象者に視認させる少なくとも１つの第２光学部材と、
   前記ポリゴンを前記対象者の両眼の位置に応じて動的に補正する制御部と、
   実空間上の複数の基準位置にそれぞれ対応する複数の補正情報を記憶する記憶部と、
   を備え、
   前記制御部は、
   前記対象者の右眼の位置に対応する第１補正情報を、前記記憶部に記憶された複数の前記補正情報の中から選択しまたは２つ以上の前記補正情報に基づいて生成し、
   前記対象者の左眼の位置に対応する第２補正情報を、前記記憶部に記憶された複数の前記補正情報の中から選択しまたは２つ以上の前記補正情報に基づいて生成し、
   前記第１補正情報と、前記第２補正情報と、に基づいて第３補正情報を生成し、
   前記ポリゴンを、前記第３補正情報を用いて補正する、移動体。

Images