JP7325521B2 - ３次元表示装置、３次元表示システム、ヘッドアップディスプレイ、および移動体 - Google Patents

Description

本発明は、３次元表示装置、３次元表示システム、ヘッドアップディスプレイ、および移動体に関する。

従来、３次元表示装置は、カメラが利用者の眼を撮像した撮像画像を用いて検出された眼の位置を示す位置データを取得する。３次元表示装置は、位置データが示す眼の位置に基づいて、利用者の左眼および右眼にそれぞれ対応する画像を視認させるように、画像をディスプレイに表示させている（例えば、特許文献１）。

しかしながら、カメラが利用者の眼を撮像した時点と、３次元表示装置が眼の位置に基づいて画像を表示させる時点とには時間差がある。そのため、カメラが利用者の眼を撮像した時点以降に、利用者の眼の位置が変化した場合、利用者は、３次元表示装置によって表示された画像によって３次元画像を適切に視認し難いことがある。

特開２００１－１６６２５９号公報

本開示の３次元表示装置は、表示パネルと、パララックスバリアと、取得部と、メモリと、コントローラとを備える。前記表示パネルは、視差画像を表示して前記視差画像に対応する画像光を出射するように構成される。前記パララックスバリアは、前記画像光の光線方向を規定するように構成される面を有する。前記取得部は、撮像時間間隔で利用者の眼を撮像するように構成されるカメラから順次、取得した撮像画像に基づいて前記眼の位置を検出するように構成される検出装置から、前記眼の位置をそれぞれ示す複数の位置データを順次、取得するように構成される。前記メモリは、前記取得部によって順次、取得された前記複数の位置データを記憶するように構成される。前記コントローラは、前記メモリに記憶された前記複数の位置データに基づいて、現在時刻より後の時刻における眼の予測位置を出力し、前記予測位置に基づいて、前記表示パネルの各サブピクセルに前記視差画像を表示させるように構成される。前記コントローラは、第１予測位置に基づいて、表示する左眼画像および右眼画像を生成する生成処理を実行し、前記第１予測位置と異なる第２予測位置に基づいて、前記左眼画像および前記右眼画像を視差画像として合成する合成処理を実行するように構成される。

本開示の３次元表示システムは、検出装置と、３次元表示装置とを備える。前記検出装置は、撮像時間間隔で利用者の眼を撮像するカメラから順次、取得した撮像画像に基づいて前記眼の位置を検出する。前記３次元表示装置は、表示パネルと、パララックスバリアと、取得部と、メモリと、コントローラとを備える。前記表示パネルは、視差画像を表示して前記視差画像に対応する画像光を出射するように構成される。前記パララックスバリアは、前記画像光の光線方向を規定するように構成される面を有する。前記取得部は、撮像時間間隔で利用者の眼を撮像するように構成されるカメラから順次、取得した撮像画像に基づいて前記眼の位置を検出するように構成される検出装置から、前記眼の位置をそれぞれ示す複数の位置データを順次、取得するように構成される。前記メモリは、前記取得部によって順次、取得された前記複数の位置データを記憶するように構成される。前記コントローラは、前記メモリに記憶された前記複数の位置データに基づいて、現在時刻より後の時刻における眼の予測位置を出力し、前記予測位置に基づいて、前記表示パネルの各サブピクセルに前記視差画像を表示させるように構成される。前記コントローラは、第１予測位置に基づいて、表示する左眼画像および右眼画像を生成する生成処理を実行し、前記第１予測位置と異なる第２予測位置に基づいて、前記左眼画像および前記右眼画像を視差画像として合成する合成処理を実行するように構成される。

本開示のヘッドアップディスプレイは、３次元表示システムと、被投影部材とを備える。前記３次元表示システムは、検出装置と、３次元表示装置とを備える。前記検出装置は、撮像時間間隔で利用者の眼を撮像するカメラから順次、取得した撮像画像に基づいて前記眼の位置を検出する。前記３次元表示装置は、表示パネルと、パララックスバリアと、取得部と、メモリと、コントローラとを備える。前記表示パネルは、視差画像を表示して前記視差画像に対応する画像光を出射するように構成される。前記パララックスバリアは、前記画像光の光線方向を規定するように構成される面を有する。前記取得部は、撮像時間間隔で利用者の眼を撮像するように構成されるカメラから順次、取得した撮像画像に基づいて前記眼の位置を検出するように構成される検出装置から、前記眼の位置をそれぞれ示す複数の位置データを順次、取得するように構成される。前記メモリは、前記取得部によって順次、取得された前記複数の位置データを記憶するように構成される。前記コントローラは、前記メモリに記憶された前記複数の位置データに基づいて、現在時刻より後の時刻における眼の予測位置を出力し、前記予測位置に基づいて、前記表示パネルの各サブピクセルに前記視差画像を表示させるように構成される。前記コントローラは、第１予測位置に基づいて、表示する左眼画像および右眼画像を生成する生成処理を実行し、前記第１予測位置と異なる第２予測位置に基づいて、前記左眼画像および前記右眼画像を視差画像として合成する合成処理を実行するように構成される。前記被投影部材は、前記３次元表示装置から射出された前記画像光を、利用者の眼の方向に反射させる。

本開示の移動体は、ヘッドアップディスプレイを備える。前記ヘッドアップディスプレイは、３次元表示システムと、被投影部材とを備える。前記３次元表示システムは、検出装置と、３次元表示装置とを備える。前記検出装置は、撮像時間間隔で利用者の眼を撮像するカメラから順次、取得した撮像画像に基づいて前記眼の位置を検出する。前記３次元表示装置は、表示パネルと、パララックスバリアと、取得部と、メモリと、コントローラとを備える。前記表示パネルは、視差画像を表示して前記視差画像に対応する画像光を出射するように構成される。前記パララックスバリアは、前記画像光の光線方向を規定するように構成される面を有する。前記取得部は、撮像時間間隔で利用者の眼を撮像するように構成されるカメラから順次、取得した撮像画像に基づいて前記眼の位置を検出するように構成される検出装置から、前記眼の位置をそれぞれ示す複数の位置データを順次、取得するように構成される。前記メモリは、前記取得部によって順次、取得された前記複数の位置データを記憶するように構成される。前記コントローラは、前記メモリに記憶された前記複数の位置データに基づいて、現在時刻より後の時刻における眼の予測位置を出力し、前記予測位置に基づいて、前記表示パネルの各サブピクセルに前記視差画像を表示させるように構成される。前記コントローラは、第１予測位置に基づいて、表示する左眼画像および右眼画像を生成する生成処理を実行し、前記第１予測位置と異なる第２予測位置に基づいて、前記左眼画像および前記右眼画像を視差画像として合成する合成処理を実行するように構成される。前記被投影部材は、前記３次元表示装置から射出された前記画像光を、利用者の眼の方向に反射させる。

本発明の目的、特色、および利点は、下記の詳細な説明と図面とからより明確になるであろう。
本開示の一実施形態に係る３次元表示システムの概略構成を示す図である。 図１に示す表示パネルを奥行方向から見た例を示す図である。 図１に示すパララックスバリアを奥行方向から見た例を示す図である。 図１に示す表示パネルおよびパララックスバリアをパララックスバリア側から左眼で見た例を示す図である。 図１に示す表示パネルおよびパララックスバリアをパララックスバリア側から右眼で見た例を示す図である。 眼の位置と可視領域との関係を説明するための図である。 眼の撮像、位置データの取得、予測位置に基づく表示制御の開始、および表示パネルにおける画像の表示についての時刻の関係を説明するための図である。 検出装置の処理を説明するための処理フロー図である。 ３次元画像装置の予測関数生成処理の一例を説明するための処理フロー図である。 ３次元画像装置の画像表示処理の一例を説明するための処理フロー図である。 ３次元画像装置の予測関数生成処理および画像表示処理の他の例を説明するための処理フロー図である。 左眼の位置および右眼の位置を識別するための情報を説明するための図である。 眼間距離が標準距離である場合における、左眼および右眼の位置と、各サブピクセルに表示させる画像との対応を示す画像テーブルの例を示す図である。 図１に示す３次元表示システムを搭載したＨＵＤの例を示す図である。 図１４に示すＨＵＤを搭載した移動体の例を示す図である。

本開示の一実施形態について、図面を参照して詳細に説明する。以下の説明で用いられる図は模式的なものである。したがって、図面上の寸法比率等は現実のものと必ずしも一致していない。

本開示の一実施形態にかかる３次元表示システム１０は、図１に示すように、検出装置１と、３次元表示装置２とを含む。

検出装置１は、利用者の眼があることが期待される空間を一定の撮像時間間隔（例えば、２０ｆｐｓ（frames per second））で撮像するように構成されるカメラから撮像画像を取得するように構成されてよい。検出装置１は、カメラから取得した撮像画像から順次、左眼（第１眼）および右眼（第２眼）の像を検出するように構成される。検出装置１は、画像空間における左眼および右眼の像に基づいて、実空間における左眼および右眼それぞれの位置を検出するように構成される。検出装置１は、１つのカメラの撮像画像から、左眼および右眼の位置を３次元空間の座標として検出するように構成されてよい。検出装置１は、２個以上のカメラの撮像画像から、左眼および右眼それぞれの位置を３次元空間の座標として検出するように構成されてよい。検出装置１はカメラを備えてよい。検出装置１は、実空間における左眼および右眼の位置を示す位置データを順次、３次元表示装置２に送信するように構成される。

３次元表示装置２は、取得部３と、照射器４と、表示パネル５と、光学素子としてのパララックスバリア６と、メモリ７と、コントローラ８とを含む。

取得部３は、検出装置１によって順次、送信された、眼の位置を示す位置データを取得するように構成される。

照射器４は、表示パネル５を面的に照射するように構成されうる。照射器４は、光源、導光板、拡散板、拡散シート等を含んでよい。照射器４は、光源により照射光を射出し、導光板、拡散板、拡散シート等により照射光を表示パネル５の面方向に均一化するように構成される。照射器４は均一化された光を表示パネル５の方に出射するように構成されうる。

表示パネル５としては、例えば透過型の液晶表示パネルなどの表示パネルを採用しうる。図２に示すように、表示パネル５は、面状に形成されたアクティブエリアＡ上に複数の区画領域を有する。アクティブエリアＡは、視差画像を表示するように構成される。視差画像は、左眼画像（第１画像）と左眼画像に対して視差を有する右眼画像（第２画像）とを含む。複数の区画領域は、第１方向と、アクティブエリアＡの面内で第１方向に直交する方向とに区画された領域である。第１方向は、例えば、水平方向であってよい。第１方向に直交する方向は、例えば、鉛直方向であってよい。水平方向および鉛直方向に直交する方向は奥行方向と称されてよい。図面において、水平方向はｘ軸方向として表され、鉛直方向はｙ軸方向として表され、奥行方向はｚ軸方向として表される。

複数の区画領域の各々には、１つのサブピクセルＰが対応する。したがって、アクティブエリアＡは、水平方向および鉛直方向に沿って格子状に配列された複数のサブピクセルＰを備える。

複数のサブピクセルＰの各々は、Ｒ（Red），Ｇ（Green），Ｂ（Blue）のいずれかの色に対応しうる。Ｒ，Ｇ，Ｂの３つのサブピクセルＰは、一組として１ピクセルを構成することができる。１ピクセルは、１画素と称されうる。１ピクセルを構成する複数のサブピクセルＰは、水平方向に並んでよい。同じ色の複数のサブピクセルＰは、鉛直方向に並んでよい。複数のサブピクセルＰそれぞれの水平方向の長さＨｐｘは、互いに同一としてよい。複数のサブピクセルＰそれぞれの鉛直方向の長さＨｐｙは、互いに同一としてよい。

表示パネル５としては、透過型の液晶パネルに限られず、有機ＥＬ等他の表示パネルを使用しうる。透過型の表示パネルは、液晶パネルの他に、ＭＥＭＳ（Micro Electro Mechanical Systems）シャッター式の表示パネルを含む。自発光型の表示パネルは、有機ＥＬ（electro-luminescence）、および無機ＥＬの表示パネルを含む。表示パネル５が自発光型の表示パネルである場合、３次元表示装置２は照射器４を備えなくてよい。

上述したようにアクティブエリアＡに連続して配列された複数のサブピクセルＰは、１つのサブピクセル群Ｐｇを構成する。例えば、１のサブピクセル群Ｐｇは、水平方向および鉛直方向にそれぞれ所定数の複数のサブピクセルを含む。１のサブピクセル群Ｐｇは、鉛直方向にｂ個、水平方向にｎ個、連続して配列された（２×ｎ×ｂ）個のサブピクセルＰ１～Ｐ（２×ｎ×ｂ）を含む。複数のサブピクセルＰは、複数のサブピクセル群Ｐｇを構成する。複数のサブピクセル群Ｐｇは、水平方向に繰り返して配列されている。複数のサブピクセル群Ｐｇは、鉛直方向においては、水平方向にｊサブピクセル分（ｊ＜ｎ）ずれた位置に隣接して繰り返して配列されている。本実施形態では、一例として、ｊ＝１、ｎ＝４、ｂ＝１の場合について説明する。本例では、図２に示すように、アクティブエリアＡには、鉛直方向に１行、水平方向に８列、連続して配列された８個のサブピクセルＰ１～Ｐ８を含む複数のサブピクセル群Ｐｇが配置される。Ｐ１～Ｐ８を複数のサブピクセルの識別情報と呼ぶ。図２には、一部のサブピクセル群Ｐｇに符号を付している。

全てのサブピクセル群Ｐｇにおける、対応する位置にある複数のサブピクセルＰは、同じ種別の画像を表示し、同じタイミングで表示する画像の種別を切り替える。画像の種別は、左眼画像および右眼画像のいずれであるかを表す種別である。１のサブピクセル群Ｐｇを構成する複数のサブピクセルＰは、左眼画像と右眼画像とを切り替えて表示可能である。例えば、全てのサブピクセル群Ｐｇにおける複数のサブピクセルＰ１に表示される画像は同じタイミングで切り替えられる。全てのサブピクセル群Ｐｇにおける他の識別情報を有する複数のサブピクセルＰに表示された画像は同じタイミングで切り替えられる。

１のサブピクセル群Ｐｇを構成する複数のサブピクセルＰに表示される画像の種別は互いに独立している。サブピクセル群Ｐｇを構成する複数のサブピクセルＰは、左眼画像と右眼画像とを切り替えて表示可能である。例えば、複数のサブピクセルＰ１が左眼画像と右眼画像とを切り替えるタイミングは、複数のサブピクセルＰ２が左眼画像と右眼画像とを切り替えるタイミングと同じであってもよいし、異なっていてよい。互いに異なる識別情報を有する、他の２つの複数のサブピクセルＰが左眼画像と右眼画像とを切り替えるタイミングは同じであってもよいし、異なっていてよい。

パララックスバリア６は、表示パネル５から出射された視差画像の画像光の光線方向を規定するように構成される。パララックスバリア６は、図１に示したように、アクティブエリアＡに沿う平面を有する。パララックスバリア６は、アクティブエリアＡから所定距離（ギャップ）ｇ、離れている。パララックスバリア６は、表示パネル５に対して照射器４の反対側に位置してよい。パララックスバリア６は、表示パネル５の照射器４側に位置してよい。

図３に示すように、パララックスバリア６は、複数の減光部６１と、複数の透光部６２とを備える。

複数の減光部６１は、投じられた画像光を減じるように構成される。減光は遮光を含む。複数の減光部６１は、第１値未満の透過率を有しうる。複数の減光部６１は、フィルムまたは板状部材で構成されてよい。フィルムは、樹脂で構成されてよいし、他の材料で構成されてよい。板状部材は、樹脂または金属等で構成されてよいし、他の材料で構成されてよい。複数の減光部６１は、フィルムまたは板状部材に限られず、他の種類の部材で構成されてよい。複数の減光部６１の基材は減光性を有してよいし、複数の減光部６１の基材に減光性を有する添加物が含有されてよい。

複数の透光部６２は、第１値より大きい第２値以上の透過率で画像光を透過させる。複数の透光部６２は、複数の減光部６１を構成する材料の開口で構成されうる。複数の透光部６２は、第２値以上の透過率を有するフィルムまたは板状部材で構成されてよい。フィルムは、樹脂で構成されてよいし、他の材料で構成されてよいし、他の材料で構成されてよい。複数の透光部６２は、何らの部材を用いられずに構成されてよい。この場合、複数の透光部６２の透過率は、略１００％となる。

このように、パララックスバリア６は、複数の減光部６１および複数の透光部６２を備える。これによって、表示パネル５のアクティブエリアＡから射出された画像光の一部がパララックスバリア６を透過して利用者の眼に到達し、画像光の残りの一部がパララックスバリア６によって減光されて利用者の眼に到達し難くなる。したがって、利用者の眼は、アクティブエリアＡの一部の領域を視認し易く、残りの一部の領域を視認し難くなる。

１の透光部６２の水平方向の長さＬｂ、バリアピッチＢｐ、適視距離Ｄ、ギャップｇ、所望される可視領域５ａの水平方向の長さＬｐ、１のサブピクセルＰの水平方向の長さＨｐ、サブピクセル群Ｐｇに含まれるサブピクセルＰの数２×ｎ、および眼間距離Ｅが次の式（１）及び式（２）の関係を満たすように決定されていてよい。適視距離Ｄは、利用者の眼とパララックスバリア６との間の距離である。ギャップｇは、パララックスバリア６と表示パネル５との間の距離である。可視領域５ａは、利用者の各眼が視認する、アクティブエリア上の領域である。
Ｅ：Ｄ＝（２×ｎ×Ｈｐ）：ｇ （１）
Ｄ：Ｌｂ＝（Ｄ＋ｇ）：Ｌｐ （２）

適視距離Ｄは、利用者の右眼および左眼それぞれとパララックスバリア６との間の距離である。右眼と左眼とを通る直線の方向（眼間方向）は水平方向である。眼間距離Ｅは利用者の眼間距離Ｅの標準である。眼間距離Ｅは、例えば、産業技術総合研究所の研究によって算出された値である６１．１ｍｍ（millimeter）～６４．４ｍｍであってよい。Ｈｐは、１のサブピクセルの水平方向の長さである。

利用者の各眼が視認する、アクティブエリアＡの領域は、各眼の位置、複数の透光部６２の位置、および適視距離Ｄに依存する。以降において、利用者の眼の位置に伝播する画像光を射出するアクティブエリアＡ内の領域は可視領域５ａと称される。利用者の左眼の位置に伝播する画像光を射出するアクティブエリアＡの領域は左可視領域５ａＬ（第１可視領域）と称される。利用者の右眼の位置に伝播する画像光を射出するアクティブエリアＡの領域は右可視領域５ａＲ（第２可視領域）と称される。利用者の左眼の方に伝播し、複数の減光部６１によって減光される画像光を射出するアクティブエリアＡ内の領域は左減光領域５ｂＬと称される。利用者の右眼の方に伝播し、複数の減光部６１によって減光される画像光を射出するアクティブエリアＡ内の領域は右減光領域５ｂＲと称される。

メモリ７は、コントローラ８によって処理された各種情報を記憶するように構成される。メモリ７は、は、例えばＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）など、任意の記憶デバイスにより構成される。

コントローラ８は、３次元表示システム１０の各構成要素に接続される。コントローラ８は、各構成要素を制御するよう構成されうる。コントローラ８によって制御される構成要素は、表示パネル５を含む。コントローラ８は、例えばプロセッサとして構成される。コントローラ８は、１以上のプロセッサを含んでよい。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ：Application Specific Integrated Circuit）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ：Programmable Logic Device）を含んでよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでよい。コントローラ８は、１つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、およびＳｉＰ（System In a Package）のいずれかであってよい。コントローラ８は、記憶部を備え、記憶部に各種情報、または３次元表示システム１０の各構成要素を動作させるためのプログラム等を格納してよい。記憶部は、例えば半導体メモリ等で構成されてよい。記憶部は、コントローラ８のワークメモリとして機能してよい。

コントローラ８は、図４に示すように、それぞれの左可視領域５ａＬに含まれる複数のサブピクセルＰに左眼画像を表示させ、左減光領域５ｂＬに含まれる複数のサブピクセルＰに右眼画像を表示させるように構成される。これによって、左眼は、左眼画像を視認し易く、左眼画像を視認し難くなる。コントローラ８は、図５に示すように、それぞれの右可視領域５ａＲに含まれる複数のサブピクセルＰに右眼画像を表示させ、右減光領域５ｂＲに含まれる複数のサブピクセルＰに右眼画像を表示させるように構成される。これによって、右眼は、右眼画像を視認し易く、左眼画像を視認し難くなる。これにより、利用者の眼は、３次元画像を視認することができる。図４および図５において、コントローラ８が左眼画像を表示させる複数のサブピクセルＰには符号「Ｌ」が付され、右眼画像を表示させる複数のサブピクセルＰには符号「Ｒ」が付されている。

左可視領域５ａＬは左眼の位置に基づいて定まる。例えば、図６に示すように、左眼が左変位位置ＥＬ１にあるときの左可視領域５ａＬは、左眼が左基準位置ＥＬ０にあるときの左可視領域５ａＬ０とは異なっている。左基準位置ＥＬ０は、適宜設定されうる基準となる、左眼の位置である。左変位位置ＥＬ１は、左基準位置ＥＬ０から水平方向にずれた位置である。

右可視領域５ａＲは右眼の位置に基づいて定まる。例えば、図６に示すように、右眼が右変位位置ＥＲ１にあるときの右可視領域５ａＲ１は、右眼が右基準位置ＥＲ０にあるときの右可視領域５ａＲ０とは異なっている。右基準位置ＥＲ０は、適宜設定されうる基準となる、右眼の位置である。右変位位置ＥＲ１は、右基準位置ＥＲ０から水平方向にずれた位置である。

したがって、コントローラ８は、利用者に適切に３次元画像を視認させるために、左可視領域５ａＬに含まれる複数のサブピクセルＰに左眼画像を表示させ、右可視領域５ａＲに含まれる複数のサブピクセルＰに右眼画像が表示させる必要がある。コントローラ８は、画像を表示する時点における、正確な眼の位置に基づいて処理を行うことが望まれる。

検出装置１は、撮像した撮像画像から眼の像を検出し、画像空間における眼の像に基づいて、実空間における眼の位置を検出するように構成される。検出装置１は、実空間における眼の位置を含む位置データを３次元表示装置２に送信するように構成される。検出装置１による眼の位置の検出、検出装置１から３次元表示装置２への位置データの送信、および受信した位置データに基づいて表示画像を変更してから反映するまでには、時間を要する。当該顔に含まれる眼の位置に基づいた画像を表示する表示時刻は、検出装置１が顔を撮像した撮像時刻と時差がある。時差は、検出時間、送信時間、反映時間を含む。時差は、検出装置１の性能、ならびに検出装置１および３次元表示装置間の通信速度等に依存する。利用者の眼の移動に伴って表示画像を変更する制御単位長さを時差で割った速度より、利用者の眼の移動速度が速くなると、利用者は、眼の位置に対応していない画像を視認する。例えば制御単位長さが６２．４ｍｍであり、且つ時差が６５ｍｓである場合、利用者の眼が、０．２４ｍｍ／ｍｓ（millimeter per millisecond）（２４ｃｍ／ｓ（centimeter per second））以上の速さで移動すると、利用者は３次元画像に違和感をもつ虞がある。

このような３次元画像の視認しにくさを低減するために、コントローラ８は、以降で説明する処理を行う。以降の説明において説明される「眼」は「左眼および右眼」を表してよい。

（位置データ記憶処理）
コントローラ８は、取得部３によって取得された、眼の位置（実測位置）を示す位置データと、当該位置データを取得した順をメモリ７に記憶するように構成される。メモリ７には、所定の撮像時間間隔で撮像された複数の撮像画像それぞれに基づく眼の実測位置が順次記憶される。メモリ７には、当該実測位置に眼が位置した順を合わせて記憶してよい。所定の撮像時間間隔は、カメラの性能及び設計により適宜設定されうる、一の撮像画像と、当該一の撮像画像とが撮像される時間の間隔である。

（フィルタリング処理）
コントローラ８は、メモリ７に記憶されている位置データを、例えば、ローパスフィルタを用いてフィルタリングするように構成されうる。コントローラ８は、眼の位置の単位時間当たりの変化量が大きい位置データをフィルタリングしうる。コントローラ８は、眼の位置の検出精度が低い位置データから実効的な位置データをフィルタリングにより抽出しうる。コントローラ８は、予測関数を算出する際に、当該予測関数の精度をフィルタリングによって高めうる。コントローラ８は、時刻に対する変化が小さい、具体的には、位置の変化の周波数が所定値より低い位置データのみを抽出するようにフィルタリングしてよい。所定値は、実験等により定められた、所望の精度を実現するために要求される位置の変化の周波数の最大値である。

（予測処理（予測関数の算出））
コントローラ８は、メモリ７に記憶されている複数の位置データを用いて、未来の位置を予想位置として出力するように構成される。ここでいう未来とは、当該メモリ７に記憶された複数の位置データに対する未来をいう。コントローラ８は、ローパスフィルタを用いてフィルタリング処理された複数の位置データを用いうる。コントローラ８は、新しい複数の位置情報を用いて予測位置を出力するように構成されうる。コントローラ８は、メモリ７に記憶されている位置データのうち、例えば、記憶時期の新しい複数の位置データと、表示への反映時間とに基づいて予測関数を算出するように構成されうる。コントローラ８は、記憶時期の新しさを撮像時刻に基づいて判断するように構成されうる。コントローラ８は、眼の実測位置と、取得部３によって位置データが取得された取得時刻と、予め実験等により見込まれている所定の反映時間とに基づいて、予測関数を算出するように構成されうる。

予測関数は、実測位置と当該実測の撮像タイミングとの複数のペアをフィッティングさせた関数としうる。予測関数は、この撮像タイミングとして撮像時刻を採用しうる。予測関数は、現時点に反映時間を加算した時刻における予測位置を出力するために用いられる。さらに具体的には、コントローラ８は、取得時刻から反映時間を減じた時刻が実測位置に眼が位置していた時刻であるとして、眼の実測位置と、当該実測位置に眼が位置していた時刻とに基づいて、現時点より後の時刻と、当該時刻での眼の位置との関係を示す予測関数を算出するように構成される。
予測関数は、撮像レートで並ぶ複数の実測位置をフィッティングさせた関数としうる。予測関数は、反映時間に基づいて、現在時刻との対応をつけてよい。

図７に示す例では、コントローラ８は、最新の実測位置Ｐｍ０及び当該実測位置における眼の撮像時刻ｔｍ０と、ひとつ前の実測位置Ｐｍ１及び当該実測位置における眼の撮像時刻ｔｍ１と、ふたつ前の実測位置Ｐｍ２及び当該実測位置における眼の撮像時刻ｔｍ２と、に基づいて予測関数を算出するように構成される。最新の実測位置Ｐｍ０は、撮像時刻が最も新しい位置データが示す位置である。ひとつ前の実測位置Ｐｍ１は、最新の実測位置Ｐｍ０の撮像時刻の次に撮像時刻が新しい位置データが示す位置である。ふたつ前の実測位置Ｐｍ２は、ひとつ前の実測位置Ｐｍ１の撮像時刻の次に撮像時刻が新しい位置データが示す位置である。

コントローラ８は、上述したフィルタリングを行わなくてよい。この場合、位置データ記憶処理によってメモリ７に記憶されて、フィルタリング処理されていない複数の位置データを用いて、同じく予測位置を出力するように構成されうる。

（予測処理（予測位置の出力））
コントローラ８は、所定の出力時間間隔で、予測関数において、現時点に所定時間を加算した時刻に対応する、眼の予測位置を出力するように構成される。所定時間は、コントローラ８が表示制御を開始してから、表示パネル５に画像が表示されるまでに要すると見込まれる時間である表示処理時間に基づく時間である。所定の出力時間間隔は、所定の撮像時間間隔より短い時間間隔であってよい。

（画像表示処理）
コントローラ８は、表示パネル５が所定の周波数で画像を更新するように定められた表示時間間隔で、直近に出力された予測位置に基づく可視領域５ａに対応して各サブピクセルＰに画像を表示させる制御を開始するように構成される。コントローラ８による表示の制御がそれぞれ開始されてから表示処理時間後に、表示パネル５に予測位置に基づく画像
が表示され、更新される。

検出装置１は、例えば、２０ｆｐｓで撮像するカメラを採用しうる。このカメラは、撮像時間間隔が５０ｍｓとなる。コントローラ８は、撮像時間間隔と同じ出力時間間隔で撮像画像を出力するように構成されうる。コントローラ８は、撮像時間間隔と異なる出力時間間隔で出力するように構成されうる。出力時間間隔は、撮像時間間隔より短くしうる。出力時間間隔は、２０ｍｓであってよい。この場合、コントローラ８は、２０ｍｓに１回（すなわち５０ｓｐｓ（samples per second）で）、予測位置を出力する。コントローラ８は、撮像時間間隔より短い時間間隔で出力される眼の予測位置に基づいて画像を表示することができる。したがって、３次元表示装置２は、眼の位置のより細かな変化に対応した３次元画像を利用者に提供しうる。

出力時間間隔は、表示パネル５に表示させる画像を更新する表示時間間隔より短くてよい。例えば、コントローラ８が６０Ｈｚ（Hertz）で表示パネル５の画像を更新させる、すなわち、表示時間間隔が約１６．７ｍｓである場合、出力時間間隔は、２ｍｓであってよい。この場合、コントローラ８は、２ｍｓに１回（すなわち５００ｓｐｓ）、予測位置を出力する。コントローラ８は、前回に画像を表示させた時点よりも、表示時刻に近い時点での左眼および右眼の位置に基づいて画像を表示させることができる。したがって、３次元表示装置２は、眼の位置の変化によって、利用者が適切に３次元画像を視認し難くなることをさらに低減させることができる。

（評価処理）
コントローラ８は、予測関数を評価し、当該評価に基づいて修正してよい。具体的には、コントローラ８は、予測関数に基づいて出力された眼の予測位置と、当該予測位置に対応する、実際に撮像された撮像画像から検出された眼の実測位置とを比較してよい。コントローラ８は、記録された撮像時刻に基づいて、予測位置と実測位置とを対応させうる。コントローラ８は、撮像時間間隔に基づいて、予測位置と実測位置とを対応させうる。コントローラ８は、比較の結果に基づいて予測関数を修正してよい。コントローラ８は、以降の予測処理において、修正された予測関数を用いて眼の位置を出力し、当該修正後の予測関数を用いた眼の予測位置に基づいて表示パネル５に画像を表示させてよい。

続いて、図８から図１０のフローチャートを参照して、本実施形態の３次元表示システム１０の動作について説明する。まず、図８のフローチャートを参照して、本実施形態の検出装置１の動作について説明する。

まず、検出装置１は、カメラによって撮像された１の撮像画像を取得する（ステップＳ１１）。

ステップＳ１１で、１の撮像画像が取得されると、検出装置１は、取得された１の撮像画像に基づいて、眼の１の位置を検出する（ステップＳ１２）。

ステップＳ１２で、眼の１の位置が検出されると、検出装置１は、当該１の位置を示す位置データを３次元表示装置２に送信する（ステップＳ１３）。

ステップ１３で位置データが送信されると、検出装置１は、終了指示が入力されたか否かを判定する（ステップＳ１４）。

ステップＳ１４で、終了指示が入力されたと判定されると、検出装置１は、処理を終了する。ステップＳ１４で、終了指示が入力されていないと判定されると、検出装置１は、ステップＳ１１に戻って、以降ステップＳ１１～Ｓ１３を繰り返す。

次に、図９および図１０のフローチャートを参照して、本実施形態の３次元表示装置２の動作について説明する。まず、図９のフローチャートを参照して、３次元表示装置２の予測関数生成処理における動作について説明する。

３次元表示装置２のコントローラ８は、取得部３によって位置データが受信されたか否かを判定する（ステップＳ２１）。

ステップＳ２１で、位置データが受信されていないと判定されると、コントローラ８は、ステップＳ２１に戻る。ステップＳ２１で、位置データが受信されたと判定されると、コントローラ８は、位置データをメモリ７に記憶させる（ステップＳ２２）。

コントローラ８は、メモリ７に記憶された位置データをフィルタリングする（ステップＳ２３）。

コントローラ８は、フィルタリングされた後の位置データに基づいて、予測関数を生成する（ステップＳ２４）。

コントローラ８は、再び、取得部３によって位置データが受信されたか否かを判定する（ステップＳ２５）。

ステップＳ２５で、位置データが受信されていないと判定されると、コントローラ８は、ステップＳ２５に戻る。ステップＳ２５で、位置データが受信されたと判定されると、コントローラ８は、位置データをメモリ７に記憶させる（ステップＳ２６）。

コントローラ８は、メモリ７に記憶された位置データをフィルタリングする（ステップＳ２７）。

コントローラ８は、フィルタリングされた位置データが示す実測位置のうち、追って詳細に説明する表示処理において、画像を表示した表示時刻に撮像された眼の位置を示す位置データが示す眼の実測位置を用いて予測関数を修正する（ステップＳ２８）。

コントローラ８は、予測関数生成処理の終了指示が入力されたか否かを判定する（ステップＳ２９）。

ステップＳ２９で、予測関数生成処理の終了指示が入力されたと判定されると、コントローラ８は、予測関数生成処理を終了する。ステップＳ２９で、予測関数生成処理の終了指示が入力されていないと判定されると、コントローラ８は、ステップＳ２１に戻る。

コントローラ８は、ステップＳ２３及びステップＳ２７の１つ以上を行わなくてよい。コントローラ８は、処理の開始から終了までの繰り返しにおいて、ステップＳ２７を行ったり、行わなかったりしてよい。

次に、図１０のフローチャートを参照して、３次元表示装置２の画像表示処理の動作について説明する。

コントローラ８は、出力時間間隔で、前述した予測関数生成処理において、直近に予測または修正された予測関数に基づいて予測位置を出力する（ステップＳ３１）。

コントローラ８は、表示時間間隔で、直近に出力された予測位置に基づいて表示画像を変更し、当該変更後の画像を表示パネル５に表示させる（ステップＳ３２）。

コントローラ８は、画像表示処理の終了指示が入力されたか否かを判定する（ステップＳ３３）。

ステップＳ３３で、画像表示処理の終了指示が入力されたと判定されると、コントローラ８は、画像表示処理を終了する。ステップＳ３３で、画像表示処理の終了指示が入力されていないと判定されると、コントローラ８は、ステップＳ３１に戻る。

以上説明したように、本実施形態の３次元表示装置２は、メモリ７に記憶された位置データに基づいて、現在時刻より未来の表示時刻における眼の予測位置を出力し、予測された眼の位置に基づいて、表示パネルの各サブピクセルＰに視差画像を表示させる。このため、従来のように、撮像された撮像画像に基づいて検出された眼の位置が取得された時点で、当該位置に基づいて画像を表示する制御を開始するより、表示時刻に近い時点での眼の位置に基づいて画像を表示することができる。したがって、３次元表示装置２は、利用者の眼の位置が変化した場合も、利用者が３次元画像を視認し難くなることを低減することができる。

本実施形態の３次元表示装置２は、メモリ７に記憶された位置データに基づいて、未来の表示時刻と、眼の位置との関係を示す予測関数を算出し、予測関数に基づいて、眼の予測位置を出力する。３次元表示装置２は、カメラの撮像時刻によらないで眼の予測位置を出力することができる。

本実施形態の３次元表示装置２は、撮像時間間隔と異なる出力時間間隔で、予測関数に基づいて眼の予測位置を出力しうる。３次元表示装置２は、カメラの撮像時間間隔によらない出力時間間隔で眼の予測位置を出力することができる。

本実施形態の３次元表示装置２は、撮像時間間隔より短い出力時間間隔で、予測関数に基づいて眼の予測位置を出力しうる。３次元表示装置２は、撮像時間間隔より短い時間間隔で生じる眼の位置の変化に応じた３次元画像を提供しうる。

本実施形態の３次元表示装置２は、予測位置と実測位置との比較によって、予測関数を修正する。３次元表示装置２は、都度修正された予測関数に基づいて適切に眼の予測位置を出力することができる。３次元表示装置２は、適切な予測位置に基づいて画像を表示させることができる。３次元表示装置２は、眼の位置の変化によって、利用者が適切に３次元画像を視認し難くなることを低減させることができる。

検出装置１は、例えば、環境光の状態、または利用者の眼とカメラとの間の光路上に位置する障害物の影響等により、眼の位置を検出できないことがある。取得部３は、検出装置１が眼の位置を検出できなかった場合に、位置データの取得に失敗することがある。本実施形態の３次元表示装置２では、コントローラ８が以降で説明する処理を行うことによって、取得部３が位置データの取得に失敗した場合であっても、予測関数の精度の低下を低減し、利用者が適切に３次元画像を視認し難くなることを低減させることができる。

（予測処理（現在時刻の予測位置の出力））
コントローラ８は、取得部３が位置データの取得に失敗すると、メモリ７に記憶された複数の位置データを用いて、現在時刻の予測位置を出力するように構成されうる。コントローラ８は、メモリ７に記憶された複数の位置データを用いて、現在時刻における眼の位置を予測するための予測関数を算出するように構成されうる。現在時刻における眼の位置を予測するための予測関数は、第１予測関数と称されうる。コントローラ８は、第１予測関数に基づいて、現在時刻の予測位置を出力するように構成されうる。

コントローラ８は、第１予測関数を算出するにあたって、ローパスフィルタを用いてフィルタリング処理された複数の位置データを用いうる。コントローラ８は、新しい複数の位置情報を用いて予測位置を出力するように構成されうる。コントローラ８は、メモリ７に記憶されている位置データのうち、例えば、記憶時期の新しい複数の位置データと、表示への反映時間とに基づいて第１予測関数を算出するように構成されうる。コントローラ８は、記憶時期の新しさを撮像時刻に基づいて判断するように構成されうる。コントローラ８は、眼の実測位置と、取得部３によって位置データが取得された取得時刻と、予め実験等により見込まれている所定の反映時間とに基づいて、第１予測関数を算出するように構成されうる。

コントローラ８は、取得部３が位置データを取得した場合に、当該位置データと、メモリ７に記憶された複数の位置データのうち、記憶時期が最も新しい位置データとを比較するように構成されうる。コントローラ８は、２つの位置データが同じ値を示す位置データである場合に、取得部３が位置データの取得に失敗したと判定しうる。言い換えれば、コントローラ８は、取得部３が同じ値を示す位置データを連続して取得した場合に、取得部３が位置データの取得に失敗したと判断するように構成されうる。ここでいう同じ値を示す位置データとは、３次元空間における３つの座標値が完全に一致する２つの位置データであってよい。同じ値を示す位置データとは、３次元空間における３つの座標値の差分の和が閾値未満である２つの位置データであってよいし、３次元空間における３つの座標値の差分の最大値が閾値未満である２つの位置データであってよい。閾値は、予めの実験等によって定められてよい。

コントローラ８は、取得部３が同じ値を示す位置データを連続して取得した場合、２つ目の位置データ、すなわち、連続して取得した２つの位置データのうち取得時刻が新しい位置データを破棄するように構成されうる。コントローラ８は、連続して取得した２つの位置データのうち取得時刻が古い位置データを含む、複数の位置データに基づいて、現在時刻の予測位置を出力するように構成されうる。

（予測処理（未来時刻の予測位置の出力））
コントローラ８は、現在時刻の予測位置を含む複数の位置データを用いて、未来時刻における眼の予測位置を出力するように構成される。ここでいう未来時刻とは、現在時刻より後の時刻をいう。コントローラ８は、メモリ７に記憶された複数の位置データを用いて、現在時刻における眼の位置を予測するための予測関数を算出するように構成されうる。未来時刻における眼の位置を予測するための予測関数は、第２予測関数と称されうる。コントローラ８は、第２予測関数に基づいて、未来時刻の予測位置を出力するように構成されうる。

コントローラ８は、第２予測関数を算出するにあたって、ローパスフィルタを用いてフィルタリング処理された複数の位置データを用いうる。コントローラ８は、新しい複数の位置情報を用いて予測位置を出力するように構成されうる。コントローラ８は、メモリ７に記憶されている位置データのうち、例えば、記憶時期の新しい複数の位置データと、表示への反映時間とに基づいて第２予測関数を算出するように構成されうる。コントローラ８は、記憶時期の新しさを撮像時刻に基づいて判断するように構成されうる。コントローラ８は、眼の実測位置と、取得部３によって位置データが取得された取得時刻と、予め実験等により見込まれている所定の反映時間とに基づいて、第２予測関数を算出するように構成されうる。第２予測関数は、第１予測関数と同じ関数であってよいし、第１予測関数と異なる関数であってよい。

（画像表示処理）
コントローラ８は、表示パネル５が所定の周波数で画像を更新するように定められた表示時間間隔で、直近に出力された予測位置に基づく可視領域５ａに対応して各サブピクセルＰに画像を表示させる制御を開始するように構成される。コントローラ８による表示の制御がそれぞれ開始されてから表示処理時間後に、表示パネル５に予測位置に基づく画像が表示され、更新される。

（評価処理）
コントローラ８は、第２予測関数を評価し、当該評価に基づいて、第２予測関数を修正してよい。コントローラ８は、第２予測関数に基づいて出力された眼の予測位置と、当該予測位置に対応する、実際に撮像された撮像画像から検出された眼の実測位置とを比較してよい。コントローラ８は、記録された撮像時刻に基づいて、予測位置と実測位置とを対応させうる。コントローラ８は、撮像時間間隔に基づいて、予測位置と実測位置とを対応させうる。コントローラ８は、比較の結果に基づいて第２予測関数を修正してよい。コントローラ８は、以降の予測処理において、修正された第２予測関数を用いて眼の位置を出力し、当該修正後の第２予測関数を用いた眼の予測位置に基づいて表示パネル５に画像を表示させてよい。

続いて、図１１のフローチャートを参照して、３次元表示装置２が行う予測関数生成処理および画像表示処理の他の例について説明する。コントローラ８は、図１１のフローチャートに示す処理を、検出装置１のカメラの撮像時間間隔より短い時間間隔ごとに実行しうる。

３次元表示装置２のコントローラ８は、取得部３によって位置データが受信されたか否かを判定する（ステップＳ４１）。

ステップＳ４１で、位置データが受信されていないと判定されると、コントローラ８は、メモリ７に記憶されている複数の位置データを用いて、第１予測関数を算出し、第１予測関数に基づいて、現在時刻の予測位置を出力する（ステップＳ４２）。

コントローラ８は、現在時刻の予測位置を含む、複数の位置データに基づいて、第２予測関数を算出し、第２予測関数に基づいて、未来時刻の予測位置を出力する（ステップＳ４３）。

コントローラ８は、表示時間間隔で、未来時刻の予測位置に基づいて、表示画像を変更し、当該変更後の画像を表示パネル５に表示させる（ステップＳ４４）。

コントローラ８は、画像表示処理の終了指示が入力されたか否かを判定する（ステップＳ４５）。

ステップＳ４５で、画像表示処理の終了指示が入力されたと判定されると、コントローラ８は、画像表示処理を終了する。ステップＳ４５で、画像表示処理の終了指示が入力されていないと判定されると、コントローラ８は、ステップＳ４３に戻る。

ステップＳ４１で、位置データが受信されていると判定されると、コントローラ８は、同じ値を示す位置データを連続して取得したか否かを判定する（ステップＳ４６）。ステップＳ４６の判定を行うにあたって、コントローラ８は、受信した位置データと、メモリ７に記憶された複数の位置データのうち、撮像時刻が最も新しい位置データとを比較する。

ステップＳ４６で、同じ値を示す位置データを連続して取得したと判定されると、コントローラ８は、連続して取得した２つ目の位置データを破棄し（ステップＳ４７）、ステップＳ４２に進む。

ステップＳ４６で、同じ値を示す位置データを連続して取得していないと判定されると、コントローラ８は、図９に示したフローチャートのステップＳ２２に進む。

以上説明したように、本実施形態の３次元表示装置２は、取得部３が位置データの取得に失敗した場合、メモリ７に記憶されている複数の位置データに基づいて、現在時刻の眼の予測位置を算出し、当該予測位置を現在時刻の位置データとして出力する。このため、３次元表示装置２は、検出装置１が眼の位置を検出できなかった場合に、現在時刻の眼の位置を精度よく予測することができる。

３次元表示装置２は、現在時刻の予測位置を含む、複数の位置データに基づいて、未来時刻の眼の予測位置を出力し、当該予測位置に基づいて、表示パネル５の各サブピクセルに視差画像を表示させる。このため、３次元表示装置２は、検出装置１が眼の位置を検出できなかった場合であっても、未来時刻における眼の位置を精度よく予測することができる。３次元表示装置２は、未来時刻における眼の予測位置に基づいて画像を表示させることができるため、利用者が３次元画像を視認し難くなることを低減することができる。

本実施形態では、コントローラ８は、検出装置１がカメラから取得した撮像画像および当該撮像画像の撮像時刻に基づいて、当該撮像時刻より後の時刻における眼の位置を予測する。したがって、３次元表示装置２は、コントローラ８と検出装置１とが互いに非同期で動作するように構成されてよい。言い換えれば、３次元表示装置２は、コントローラ８および検出装置１が互いに分離したシステムであるように構成されてよい。これにより、３次元表示装置２は、検出装置１およびコントローラ８に、それぞれが行う処理に適した周波数のクロック信号を供給することができるため、検出装置１およびコントローラ８を高速かつ正常に動作させることが可能となる。コントローラ８と検出装置１とは、同じクロック信号に基づいて非同期に動作してよいし、別個のクロック信号に基づいて非同期に動作してよい。コントローラ８および検出装置１は、一方が第１クロック信号に同期して動作し、他方が第１クロック信号を分周した第２クロック信号に同期して動作してよい。

本実施形態では、コントローラ８が、生成処理および合成処理を実行するように構成される。生成処理は、表示パネル５に表示する左眼画像および右眼画像を生成する処理である。合成処理は、生成された左眼画像および右眼画像を、利用者によって視認される視差画像として合成する処理である。

生成処理は、アクティブエリアＡに含まれる複数の表示領域に、左眼画像および右眼画像を配置する配置処理を含みうる。生成処理は、利用者が視認する視差画像における歪を補正する補正処理を含みうる。コントローラ８は、眼の第１予測位置に基づいて、生成処理を実行する。第１予測位置は、予測処理を開始する時刻より未来の時刻における眼の予測位置であってよい。コントローラ８は、メモリ７に記憶された位置データに基づいて、第１予測位置を算出し、算出した第１予測位置に基づいて、生成処理を実行するように構成されてよい。

合成処理は、眼の第２予測位置に基づいて、左可視領域５ａＬに含まれる複数のサブピクセルＰに左眼画像を表示させ、左減光領域５ｂＬに含まれる複数のサブピクセルＰに右眼画像を表示させる処理である。コントローラ８は、眼の第２予測位置に基づいて、合成処理を実行する。第２予測位置は、第１予測位置とは異なっている。第２予測位置は、合成処理を開始する時刻より未来の時刻における眼の予測位置であってよい。コントローラ８は、メモリ７に記憶された位置データに基づいて、第２予測位置を算出し、算出した第２予測位置に基づいて、合成処理を実行するように構成されてよい。

コントローラ８は、第１予測位置および第２予測位置を算出する際、図９に示す予測関数生成処理によって生成される予測関数を用いてよい。これにより、３次元表示装置２は、眼の位置の細かな変化に対応して、生成処理および合成処理を実行することができ、その結果、利用者に視差画像を適切に視認させることが可能となる。コントローラ８は、第１予測位置および第２予測位置を算出する際、図１１のステップＳ４１～ステップＳ４３に示す予測関数生成処理によって生成される予測関数を用いてよい。これにより、３次元表示装置２は、取得部３が位置データの取得に失敗した場合であっても、眼の位置の細かな変化に対応して、生成処理および合成処理を実行することができ、その結果、利用者に視差画像を適切に視認させることが可能となる。

コントローラ８は、第１予測位置を第１タイミングで取得し、第２予測位置を第２タイミングで取得するように構成されてよい。この場合、第１予測位置を生成処理の実行に適した予測位置とし、第２予測位置を合成処理の実行に適した予測位置とすることが可能となる。このため、３次元表示装置２は、眼の位置の細かな変化に対応して、生成処理および合成処理を実行することができる。その結果、３次元表示装置２は、利用者に視差画像を適切に視認させることが可能となる。第１タイミングは、コントローラ８が生成処理を開始する時刻であってよい。第２タイミングは、コントローラ８が合成処理を開始する時刻であってよい。

第１予測位置は、第１タイミングから表示パネル５に視差画像を表示するまでの第１期間に相当してよい。言い換えれば、第１予測位置は、第１期間に実行される生成処理で用いられる予測位置であってよい。第１予測位置は、第１タイミングから第１期間が経過した時刻に眼が位置すると予測される位置であるともいえる。３次元表示装置２は、第１予測位置が第１期間に相当する予測位置であることから、眼の位置の細かな変化に対応して、左眼画像および右眼画像を生成することができる。その結果、３次元表示装置２は、利用者に視差画像を適切に視認させることが可能となる。

第１期間は、生成処理の実行に要する第１時間、および、合成処理の実行に要する第２時間を含みうる。第１期間は、コントローラ８が眼の予測位置を出力する出力時間間隔より長くてよい。第１時間は、第２時間より長くてよい。

第２予測位置は、第２タイミングから表示パネルに視差画像を表示するまでの第２期間に相当してよい。言い換えれば、第２予測位置は、第２期間に実行される合成処理で用いられる予測位置であってよい。第２予測位置は、第２タイミングから第２期間が経過した時刻に眼が位置すると予測される位置であるともいえる。３次元表示装置２は、第２予測位置が第２期間に相当する予測位置であることから、眼の位置の細かな変化に対応して、視差画像を合成することができる。その結果、３次元表示装置２は、利用者に視差画像を適切に視認させることが可能となる。

第２期間は、合成処理の実行に要する第２時間を含みうる。第１期間と第２期間とは、異なっていてよい。第２期間は、第１期間より短くてよい。第２期間は、コントローラ８が眼の予測位置を出力する出力時間間隔より長くてよい。

コントローラ８が第１予測位置を取得する第１タイミングと、コントローラ８が第２予測位置を取得する第２タイミングとは、異なってよいし、同じであってよい。第１タイミングと第２タイミングとが異なる場合、第１予測位置の出力に用いられる予測関数と第２予測関数の出力に用いられる予測関数とが異なることから、第１予測位置と第２予測位置とは互いに異なる。第１タイミングと第２タイミングとが同じである場合、第１期間と第２期間とが異なることから、第１予測位置と第２予測位置とは互いに異なる。

コントローラ８は、生成処理と合成処理とを異なる処理単位で実行するように構成されうる。コントローラ８は、生成処理および合成処理を、それぞれの処理に適した処理単位で実行するように構成されてよい。これにより、３次元表示装置２は、利用者に視差画像を適切に視認させることが可能となる。コントローラ８は、生成処理をフレーム単位で実行するように構成されうる。コントローラ８は、生成処理をフレームの複数の領域ごとに実行するように構成されうる。コントローラ８は、合成処理をライン単位で実行するように構成されうる。コントローラ８は、合成処理を１つまたは複数のラインごとに実行するように構成されうる。

（歪の補正処理）
次に、生成処理に含まれうる補正処理について説明する。以降の説明において、眼の予測位置を、単に、眼の位置と称する場合がある。

図１２に示すように、右眼および左眼の水平方向における位置はそれぞれ情報０～１１で識別される。眼間距離Ｅが標準である場合の右眼の位置を識別する情報は、左眼の位置を識別する情報と同一に付されている。

メモリは、図１３に示すように、眼間距離Ｅが標準である場合の左眼および右眼の位置と、左可視領域５１ａＬおよび右可視領域５１ａＲそれぞれに所定割合以上が含まれる左サブピクセルおよび右サブピクセルとの対応を示すテーブルを記憶している。図１３に示す例では、列方向に眼の位置を識別する情報０～１１が示され、行方向にはサブピクセルを識別する情報Ｐ１～Ｐ１２が示されている。眼の位置を識別する情報は、インデックスまたは基準インデックスと称される。テーブルには、眼が各位置にあるときに、各サブピクセルが左サブピクセルであるか、右サブピクセルであるかが示されている。図１３では、左サブピクセルに「左」が示され、右サブピクセルに「右」が示されている。図１２を参照して説明したように、眼間距離Ｅが標準であるとき、左眼が「０」で示す位置にある場合、右眼は「０」で示す位置にある。この場合、図１３に示す例では、サブピクセルＰ１～Ｐ６が左サブピクセルであり、サブピクセルＰ７～Ｐ１２が右サブピクセルであることが示されている。左眼が「１」で示す位置にある場合、右眼は「１」で示す位置にある。この場合、サブピクセルＰ２～Ｐ７が左サブピクセルであり、Ｐ１、およびＰ８～Ｐ１２が右サブピクセルであることが示されている。コントローラ８は、インデックス０～１１のいずれかを選択する。コントローラ８は、選択したインデックスに対応する、サブピクセルを識別する情報Ｐ１～Ｐ１２に基づいて、表示パネル５の表示面に表示する左眼画像および右眼画像の並びを規定する。

コントローラ８は、視差画像を表示パネル５に表示させる。表示パネル５は、複数の表示領域をアクティブエリアＡ内に有する。複数の表示領域の個々は複数の基準インデックスのいずれかが対応する。コントローラ８は、当該表示領域の基準インデックスを基準として、当該表示領域に表示する左眼画像および右眼画像を生成するように構成される。

視差画像の左眼画像および右眼画像の切り換えを、一つの座標を基準に固定して行う技術がある。しかしながら、３次元表示装置２がヘッドアップディスプレイに含まれる場合、利用者が視認する視差画像は、表示パネルから射出された画像光を利用者の眼に向かって伝播させるための反射装置に含まれるウインドシールドに起因する歪を含みうる。ヘッドアップディスプレイは、ＨＵＤ（Head Up Display）とも称される。ウインドシールドは、空気抵抗を低減するために、鉛直方向に上方から俯瞰すると弧を描いており、ウインドシールドの反射面は、自由曲面となっている。ＨＵＤは、運転席側に位置しているため、左右の曲率が異なり、上下にも曲率が異なる。そのため、均一な面となっていない。光学的な水準からすると、曲率は左右、上下ともに製造上のばらつきが大きく、個体差も大きい。３次元表示装置２と利用者の眼との間の光路上に位置する光学素子（凹面鏡）を用いて、歪をある程度低減することができるが、利用者が視認する視差画像には歪が残っている。視差画像に残った歪は、視差画像の分離にも影響を与える。

生成処理は、利用者が視認する視差画像における歪を低減する補正処理を含みうる。補正処理では、視差画像の切り換えをおこなう単位を画面全体から画面の複数の表示領域で独立させる。各表示領域で原点が異なることは、原点を統一した際に、各表示領域の基準となるインデックスが異なることを意味する。これは、個々に異なる原点から、統一した原点まで移動させることによってインデックスが変化するため、統一した原点でのインデックスを基準とすることで原点を統一できるからである。要するに、画面を複数の表示領域に分けて、個々の表示領域で別々の基準インデックスを有し、当該基準インデックスを基準として視差画像の変更処理を行う、または画面を複数の表示領域に分けて、個々の表示領域で別々の切り換え原点を有し、当該原点からずれによって切り換えを行うことによって実現することができる。

アクティブエリアＡは、例えば、第１表示領域および第２表示領域を含む。第１表示領域は、第１基準インデックスに対応しうる。第２表示領域は、第２基準インデックスに対応しうる。アクティブエリアＡは、１つの基準インデックスが複数の表示領域に対応してよい。例えば、第１基準インデックスが、第１表示領域および第２表示領域に対応してよい。言い替えると、複数の基準インデックスの各々は、１または複数の表示領域に対応する。

基準インデックスは、例えば、図１３に示される眼の位置になり、基準となる基準インデックスは０となる。図１３の例では、第１表示領域および第２表示領域の各々は、１２個のインデックス０～１１；６～１１，０～５が有るので、例えば、左眼をＬ、右眼をＲとしたとき、ＬＬＬＲＲＲＲＲＲＬＬのような組み合わせの合成画像が生成される。本実施形態では、表示領域ごとに基準インデックスが変更され、第１表示領域Ｆ１では“０”、第２表示領域Ｆ２では“６”のように、表示領域ごとに独立した基準インデックスが設定される。眼の位置が移動した際、その移動を基準インデックスの変化として検出する。例えば、左眼の位置の移動量がサブピクセル３個分であれば、“＋３”、右眼の位置の移動量がサブピクセル６個分であれば、“＋６”となる。“＋３”の場合には、第１表示領域の基準インデックスＦ１は“０”から“３”に変更され、第２表示領域の基準インデックスＦ２は“６”から“９”に変更される。また、左眼の位置の移動量が“＋６”の場合には、第１表示領域の基準インデックスＦ１は“０”から“６”に変更され、第２表示領域の基準インデックスＦ２は“６”から“０”（１２進数であるため、０に循環）に変更される。このとき、合成画像は、基準インデックス“０”はＬＬＬＲＲＲＲＲＲＬＬ、基準インデックス“３”はＲＲＲＲＲＲＬＬＬＬＬＬ、基準インデックス“６”はＲＲＲＬＬＬＬＬＬＲＲＲとなる。

補正処理は、表示パネル５のアクティブエリアＡ内で分かれている複数の表示領域ごとに、複数の基準インデックスのいずれか、ならびに左眼および右眼の少なくとも一方の予測位置に基づいて、左眼画像および右眼画像の並びを変更する処理であってよい。複数の基準インデックスの各々は、複数の表示領域のいずれかに対応してよい。

補正処理は、表示パネル５のアクティブエリアＡ内で分かれている複数の表示領域の各々で、複数の切換え原点のいずれかを基準として左眼画像および右眼画像の並びを変更する処理であってよい。複数の切換え原点の各々は、複数の表示領域のいずれかに対応してよい。

補正処理は、左眼の予測位置に基づいて第１可視領域を決定し、右眼の予測位置に基づいて第２可視領域を決定する処理であってよい。

補正処理は、表示パネル５の画面に平行であって上下方向における左眼の予測位置に基づいて第１可視領域を決定し、上下方向における右眼の予測位置に基づいて第２可視領域を決定する処理であってよい。

取得部３は、利用者の左眼の位置を表示パネル５の画面に平行で、光学素子から適視距離にある面に投影した投影第１位置を左眼の位置とし、利用者の右眼の位置を面に投影した投影第２位置を右眼の位置として取得する構成としてよい。

本実施形態の３次元表示装置２によれば、画像光の投影面が反射部材の１つであるウインドシールドなどのフリーカーブの曲面であっても、眼の予測位置（第１予測位置）に基づいて、複数の表示領域ごとに基準インデックスを原点として曲面に応じて修正した左眼画像および右眼画像を生成することができる。その結果、３次元表示装置２は、利用者に歪のない適切な３次元画像を視認させることが可能となる。

本実施形態では、コントローラ８は、左眼の予測位置、および左眼から標準距離にある場合の右眼の予測位置と、サブピクセルに表示させるべき画像との対応を示すテーブルを用いて、左眼の予測位置に基づいて左サブピクセルを判定することができる。コントローラ８は、テーブルを用いて、右眼の予測位置に基づいて右サブピクセルを判定することができる。このため、コントローラ８は、眼の予測位置を示す情報を取得するたびに、眼の位置と、視差バリア６および表示パネル５の構成とに基づいて、左可視領域５１ａＬおよび右可視領域５１ａＲを演算する処理を行わなくてもよい。したがって、コントローラ８の処理負荷が軽減されうる。

上述の実施形態は代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形および変更が可能である。例えば、実施形態および実施例に記載の複数の構成ブロックを１つに組合せたり、あるいは１つの構成ブロックを分割したりすることが可能である。

図１４に示すように、３次元表示システム１０は、ＨＵＤ１００に搭載されうる。ＨＵＤ１００は、３次元表示システム１０と、光学部材１１０と、被投影面１３０を有する被投影部材１２０とを備える。ＨＵＤ１００は、３次元表示装置２から射出される画像光を、光学部材１１０を介して被投影部材１２０に到達させる。ＨＵＤ１００は、被投影部材１２０で反射させた画像光を、利用者の左眼および右眼に到達させる。つまり、ＨＵＤ１００は、破線で示される光路１４０に沿って、３次元表示装置２から利用者の左眼および右眼まで画像光を進行させる。利用者は、光路１４０に沿って到達した画像光を、虚像１５０として視認しうる。ＨＵＤ１００は、利用者の左眼および右眼の位置に応じて表示を制御することによって、利用者の動きに応じて立体視を提供しうる。

図１５に示すように、ＨＵＤ１００は、移動体２０に搭載されてよい。ＨＵＤ１００の構成の一部は、移動体２０が備える他の装置または部品と兼用されてよい。例えば、移動体２０は、ウインドシールドを被投影部材１２０として兼用してよい。ＨＵＤ１００の構成の一部として兼用される、該移動体２０が備える他の装置または部品は、ＨＵＤモジュールと称されることがある。

表示パネル５としては、透過型の表示パネルに限られず、自発光型の表示パネル等他の表示パネルを使用することもできる。透過型の表示パネルは、液晶パネルの他に、ＭＥＭＳ（Micro Electro Mechanical Systems）シャッター式の表示パネルを含む。自発光型の表示パネルは、有機ＥＬ（electro-luminescence）、および無機ＥＬの表示パネルを含む。表示パネル５として、自発光型の表示パネルを使用した場合、照射器４は不要となる。表示パネル５として、自発光型の表示パネルを使用した場合、パララックスバリア６は、表示パネル５の画像光が射出される側に位置する。

本開示における「移動体」には、車両、船舶、航空機を含む。本開示における「車両」には、自動車および産業車両を含むが、これに限られず、鉄道車両および生活車両、滑走路を走行する固定翼機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、およびトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業および建設向けの産業車両を含む。産業車両には、フォークリフト、およびゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。本開示における船舶には、マリンジェット、ボート、タンカーを含む。本開示における航空機には、固定翼機、回転翼機を含む。

本開示における「時刻」は、協定世界時（Coordinated Universal Time；ＵＴＣ）等の時刻としうるがこれに限られず、内部クロック等に基づくデバイス内での独自の時間を採用しうる。独自の時間は、複数の構成が同期した時刻に限られず、各構成の独自時刻を含みうる。独自の時間は、一部の構成で共通する時刻を含みうる。

１ 検出装置
２ ３次元表示装置
３ 取得部
４ 照射器
５ 表示パネル
６ パララックスバリア
７ メモリ
８ コントローラ
１０ ３次元表示システム
２０ 移動体
５１ａ 可視領域
５１ａＬ 左可視領域
５１ａＲ 右可視領域
５１ｂＬ 左減光領域
５１ｂＬ 右減光領域
６１ 減光部
６２ 透光部
１００ ヘッドアップディスプレイ
１１０ 光学部材
１２０ 被投影部材
１３０ 被投影面
１４０ 光路
１５０ 虚像
Ａ アクティブエリア

Claims (18)

1. 視差画像を表示して前記視差画像に対応する画像光を出射するように構成される表示パネルと、
   前記画像光の光線方向を規定するように構成される面を有するパララックスバリアと、
   撮像時間間隔で利用者の眼を撮像するように構成されるカメラから順次、取得した撮像画像に基づいて前記眼の位置を検出するように構成される検出装置から、前記眼の位置をそれぞれ示す複数の位置データを順次、取得するように構成される取得部と、
   前記取得部によって順次、取得された前記複数の位置データを記憶するように構成されるメモリと、
   前記メモリに記憶された前記複数の位置データに基づいて、現在時刻より後の時刻における眼の予測位置を出力し、前記予測位置に基づいて、前記表示パネルの各サブピクセルに前記視差画像を表示させるように構成されるコントローラと、
   を備え、
   前記コントローラは、
   現在時刻より後の未来時刻における眼の予測位置である第１予測位置に基づいて、表示する左眼画像および右眼画像を生成する生成処理を実行し、
   前記未来時刻における眼の予測位置である第２予測位置であって、前記第１予測位置の後に取得する第２予測位置に基づいて、前記左眼画像および前記右眼画像を視差画像として合成する合成処理を実行するように構成される、３次元表示装置。
2. 請求項１に記載の３次元表示装置であって、
   前記コントローラは、
   前記第１予測位置を第１タイミングで取得し、
   前記第２予測位置を第２タイミングで取得するように構成される、３次元表示装置。
3. 請求項２に記載の３次元表示装置であって、
   前記第１予測位置は、前記第１タイミングから第１期間が経過した時刻に眼が位置すると予測される位置である、３次元表示装置。
4. 請求項３に記載の３次元表示装置であって、
   前記第１期間は、前記生成処理の実行に要する第１時間、および、前記合成処理の実行に要する第２時間を含む、３次元表示装置。
5. 請求項２または３に記載の３次元表示装置であって、
   前記第２予測位置は、前記第２タイミングから第２期間が経過した時刻に眼が位置すると予測される位置である、３次元表示装置。
6. 請求項５に記載の３次元表示装置であって、
   前記第２期間は、前記合成処理の実行に要する第２時間を含む、３次元表示装置。
7. 請求項２から６のいずれか１項に記載の３次元表示装置であって、
   前記第１タイミングは、前記第２タイミングと異なる、３次元表示装置。
8. 請求項２から６のいずれか１項に記載の３次元表装置であって、
   前記第１タイミングは、前記第２タイミングと同じである、３次元表示装置。
9. 請求項１から８のいずれか１項に記載の３次元表示装置であって、
   前記コントローラは、前記生成処理および前記合成処理を異なる処理単位で実行するように構成される、３次元表示装置。
10. 請求項９に記載の３次元表示装置であって、
    前記コントローラは、前記生成処理をフレーム単位で実行し、前記合成処理を１または複数のライン単位で実行する、３次元表示装置。
11. 請求項１から１０のいずれか１項に記載の３次元表示装置であって、
    前記コントローラは、前記生成処理として、補正処理を含む処理を実行するように構成され、
    前記補正処理は、前記視差画像を表示する際の歪を補正する処理である、３次元表示装置。
12. 請求項１から１１のいずれか１項に記載の３次元表示装置であって、
    前記コントローラは、前記メモリに記憶された前記位置データに基づいて、現時点より後の時刻と、当該時刻での眼の位置との関係を示す予測関数を算出し、前記予測関数に基づいて、前記眼の予測位置を出力するように構成される、３次元表示装置。
13. 請求項１２に記載の３次元表示装置であって、
    前記コントローラは、前記撮像時間間隔より短い出力時間間隔で、前記予測関数に基づいて前記眼の予測位置を出力し、当該予測位置に基づいて、前記表示パネルの各サブピクセルに視差画像を表示させるように構成される、３次元表示装置。
14. 請求項１２または１３に記載の３次元表示装置であって、
    前記コントローラは、前記表示パネルに表示させる画像を更新する表示時間間隔より短い出力時間間隔で、前記予測関数に基づいて、前記予測位置を出力するように構成される、３次元表示装置。
15. 請求項１２から１４のいずれか１項に記載の３次元表示装置であって、
    前記コントローラは、前記予測位置に基づく画像を表示した表示時刻に前記カメラが前記眼を撮像した撮像画像に基づいて検出された眼の位置に基づいて、前記予測関数を修正するように構成される、３次元表示装置。
16. 検出装置と、３次元表示装置とを備える３次元表示システムであって、
    前記検出装置は、撮像時間間隔で利用者の眼を撮像するカメラから順次、取得した撮像画像に基づいて前記眼の位置を検出し、
    前記３次元表示装置は、視差画像を表示して前記視差画像に対応する画像光を出射するように構成される表示パネルと、前記画像光の光線方向を規定するように構成される面を有するパララックスバリアと、撮像時間間隔で利用者の眼を撮像するように構成されるカメラから順次、取得した撮像画像に基づいて前記眼の位置を検出するように構成される検出装置から、前記眼の位置をそれぞれ示す複数の位置データを順次、取得するように構成される取得部と、前記取得部によって順次、取得された前記複数の位置データを記憶するように構成されるメモリと、前記メモリに記憶された前記複数の位置データに基づいて、現在時刻より後の時刻における眼の予測位置を出力し、前記予測位置に基づいて、前記表示パネルの各サブピクセルに前記視差画像を表示させるように構成されるコントローラと、を備え、
    前記コントローラは、
    現在時刻より後の未来時刻における眼の予測位置である第１予測位置に基づいて、表示する左眼画像および右眼画像を生成する生成処理を実行し、
    前記未来時刻における眼の予測位置である第２予測位置であって、前記第１予測位置の後に取得する第２予測位置に基づいて、前記左眼画像および前記右眼画像を視差画像として合成する合成処理を実行するように構成される、３次元表示システム。
17. ３次元表示システムと、被投影部材とを備えるヘッドアップティスプレイであって、
    前記３次元表示システムは、検出装置と、３次元表示装置とを含み、
    前記検出装置は、撮像時間間隔で利用者の眼を撮像するカメラから順次、取得した撮像画像に基づいて前記眼の位置を検出し、
    前記３次元表示装置は、視差画像を表示して前記視差画像に対応する画像光を出射するように構成される表示パネルと、前記画像光の光線方向を規定するように構成される面を有するパララックスバリアと、撮像時間間隔で利用者の眼を撮像するように構成されるカメラから順次、取得した撮像画像に基づいて前記眼の位置を検出するように構成される検出装置から、前記眼の位置をそれぞれ示す複数の位置データを順次、取得するように構成される取得部と、前記取得部によって順次、取得された前記複数の位置データを記憶するように構成されるメモリと、前記メモリに記憶された前記複数の位置データに基づいて、現在時刻より後の時刻における眼の予測位置を出力し、前記予測位置に基づいて、前記表示パネルの各サブピクセルに前記視差画像を表示させるように構成されるコントローラと、を有し、
    前記コントローラは、
    現在時刻より後の未来時刻における眼の予測位置である第１予測位置に基づいて、表示する左眼画像および右眼画像を生成する生成処理を実行し、
    前記未来時刻における眼の予測位置である第２予測位置であって、前記第１予測位置の後に取得する第２予測位置に基づいて、前記左眼画像および前記右眼画像を視差画像として合成する合成処理を実行するように構成され、
    前記被投影部材は、前記３次元表示装置から射出された前記画像光を、利用者の眼の方向に反射させる、ヘッドアップディスプレイ。
18. ３次元表示システムと、被投影部材とを含むヘッドアップティスプレイを備える移動体であって、
    前記３次元表示システムは、検出装置と、３次元表示装置とを含み、
    前記検出装置は、撮像時間間隔で利用者の眼を撮像するカメラから順次、取得した撮像画像に基づいて前記眼の位置を検出し、
    前記３次元表示装置は、視差画像を表示して前記視差画像に対応する画像光を出射するように構成される表示パネルと、前記画像光の光線方向を規定するように構成される面を有するパララックスバリアと、撮像時間間隔で利用者の眼を撮像するように構成されるカメラから順次、取得した撮像画像に基づいて前記眼の位置を検出するように構成される検出装置から、前記眼の位置をそれぞれ示す複数の位置データを順次、取得するように構成される取得部と、前記取得部によって順次、取得された前記複数の位置データを記憶するように構成されるメモリと、前記メモリに記憶された前記複数の位置データに基づいて、現在時刻より後の時刻における眼の予測位置を出力し、前記予測位置に基づいて、前記表示パネルの各サブピクセルに前記視差画像を表示させるように構成されるコントローラと、を有し、
    前記コントローラは、
    現在時刻より後の未来時刻における眼の予測位置である第１予測位置に基づいて、表示する左眼画像および右眼画像を生成する生成処理を実行し、
    前記未来時刻における眼の予測位置である第２予測位置であって、前記第１予測位置の後に取得する第２予測位置に基づいて、前記左眼画像および前記右眼画像を視差画像として合成する合成処理を実行するように構成され、
    前記被投影部材は、前記３次元表示装置から射出された前記画像光を、利用者の眼の方向に反射させる、移動体。