WO2022131009A1 - 立体表示用コントローラ - Google Patents

Abstract

視差画像を表示する表示装置と、利用者の視点位置を入力可能に構成される入力部と、左画像および右画像を混合して視差画像に合成する、第１合成処理および第２合成処理を含む合成処理を実行可能に構成される制御手段と、を含む。制御手段は、表示装置に向けて視差画像を出力可能に構成され、制御手段は、視差画像のフレーム周期に対応して、第１合成処理を実行可能に構成され、入力部への視点位置の入力に対応して第２合成処理を実行可能に構成される。

Description

立体表示用コントローラ

　本開示は、立体表示用コントローラに関する。

　従来技術の一例は、特許文献１に記載されている。

特開２０１９－１５８２３号公報

　本開示に係る立体表示用コントローラは、表示装置と、入力部と、制御手段と、を含む。表示装置は、視差画像を表示可能に構成される。入力部は、利用者の視点位置を入力可能に構成される。制御手段は、左画像および右画像を混合して視差画像に合成する合成処理を実行可能に構成される。合成手段は、第１合成処理および第２合成処理を含む。前記制御手段は、前記表示装置に向けて前記視差画像を出力可能に構成される。前記制御手段は、前記視差画像のフレーム周期に対応して、前記第１合成処理を実行可能に構成される。前記制御手段は、前記入力部への視点位置の入力に対応して前記第２合成処理を実行可能に構成される。

　本開示の目的、特色、および利点は、下記の詳細な説明と図面とからより明確になるであろう。

本開示の立体表示コントローラの構成を示すブロック図である。 立体表示用コントローラ１のシーケンス図である。 制御手段の動作を説明するためのタイミングチャートである。

　本開示の立体表示用コントローラの基礎となる構成として、立体視を提供する画像表示装置において光学系の歪みを補正する構成が知られている。

　以下、添付図面を参照して、本開示の発光装置の実施形態について説明する。

（概要）
　図１は、本開示の立体表示コントローラの構成を示すブロック図である。本実施形態の立体表示用コントローラ１は、表示装置２と、入力部３と、制御手段４と、を含む。表示装置２は、視差画像を表示可能に構成される。入力部３は、利用者の視点位置を入力可能に構成される。制御手段４は、左画像および右画像を混合して視差画像に合成する合成処理を実行可能に構成される。合成処理は、第１合成処理および第２合成処理を含む。制御手段４は、表示装置２に向けて視差画像を出力可能に構成される。制御手段４は、視差画像のフレーム周期に対応して、第１合成処理を実行可能に構成される。制御手段４は、入力部２への視点位置の入力に対応して第２合成処理を実行可能に構成される。

　制御手段４は、１つのフレームを表示する際に、１回の第１合成処理と、少なくとも１回の第２合成処理とを実行可能に構成されうる。制御手段４は、１つのフレームを表示する際に、複数回の第２合成処理を実行可能に構成されうる。

　制御手段４は、左画像および右画像を画像合成するための合成テーブル５を有しうる。制御手段４は、左画像および右画像を合成テーブル５を参照して画像合成することで、その視差画像を生成可能に構成されうる。

　制御手段４は、視点位置の入力があると、当該視点位置に対応させて前記合成テーブル５を更新可能に構成されうる。制御手段４は、左画像および右画像の歪を補正する補正処理を実行するように構成された歪み補正部６を有しうる。

　制御手段４は、第１制御手段４ａと、第２制御手段４ｂとを含みうる。第１制御手段４ａは、合成処理を実行するように構成されうる。第２制御手段４ｂは、補正処理を実行するように構成されうる。

　第２制御手段４ｂは、左画像および右画像の歪を補正するための補正テーブル６を有しうる。第２制御手段４ｂは、補正処理を、補正テーブル６を参照して補正可能に構成されうる。

　制御手段４は、視点位置の入力があると、当該視点位置に対応させて補正テーブル６を更新可能に構成されうる。

　視点位置の入力周期は、フレーム周期より短くしうる。制御手段４は、視点位置の単位時間あたりの変化量に基づいて視点位置の予測値を算出し、算出された前点位置の予測値に基づいて、第２合成処理を実行可能に構成されうる。

　表示装置２は、例えば、液晶パネルと、遮光バリアと、面状光源と、で構成されてよい。遮光バリアは、この液晶パネルの観察者側に配置される。面状光源は、液晶パネルの背後に位置する。遮光バリアとしては、ＴＮ型液晶パネルが用いられてよい。

　前記液晶パネルは、光入射側ガラス基板と、光出射側ガラス基板と、これら基板間に設けられた液晶層と、光入射側ガラス基板に貼付された光入射側偏光板と、光出射側ガラス基板に貼付された光出射側偏光板と、を含んで構成されてよい。この液晶パネルは、例えばマトリクス駆動方式により駆動され、図示しない透明画素電極に画像信号に応じて電圧が印加されることによって画像が表示される。そして、表示制御部９は、液晶パネルに供給する映像信号を処理することにより、１縦ラインおきに２つのバッファ７，８を切換えられる。液晶パネルは、一方のバッファ７または８によって右眼用画像Ｒと左眼用画像Ｌが交互に与えられて、右眼用画像Ｒと左眼用画像Ｌとを表示可能に構成される。

　図２は、立体表示用コントローラ１のシーケンス図である。制御手段４は、１以上のプロセッサを含んでよい。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ：Application Specific Integrated Circuit）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ：Programmable Logic Device）を含んでよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでよい。制御手段４は、１つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、およびＳｉＰ（System In a Package）のいずれかであってよい。制御手段４は、記憶部を備え、記憶部に各種情報、または３次元表示システム１０の各構成要素を動作させるためのプログラム等を格納してよい。記憶部は、例えば半導体メモリ等で構成されてよい。記憶部は、制御手段４のワークメモリとして機能してよい。

　制御手段４は、表示装置２の左可視領域に含まれる複数のサブピクセルに左眼画像を表示させ、左減光領域に含まれる複数のサブピクセルに右眼画像を表示させるように構成される。これによって、左眼は、左眼画像を視認し易く、左眼画像を視認し難くなる。制御手段４は、右可視領域に含まれる複数のサブピクセルに右眼画像を表示させ、右減光領域に含まれる複数のサブピクセルに右眼画像を表示させるように構成される。これによって、右眼は、右眼画像を視認し易く、左眼画像を視認し難くなる。これらの表示により、利用者の眼は、３次元画像を視認することができる。

　検出装置１１は、撮像した撮像画像から眼の像を検出し、画像空間における眼の像に基づいて、実空間における眼の位置を検出するように構成される。検出装置１１は、実空間における眼の位置を含む位置データを立体表示用コントローラ１に送信するように構成される。検出装置１１による眼の位置の検出、検出装置１１から立体表示コントローラ１への位置データの送信、および受信した位置データに基づいて表示画像を変更してから反映するまでには、時間を要する。当該顔に含まれる眼の位置に基づいた画像を表示する表示時刻は、検出装置１１が顔を撮像した撮像時刻と時差がある。時差は、検出時間、送信時間、反映時間を含む。時差は、検出装置１１の性能、ならびに検出装置１１および立体表示用コントローラの通信速度等に依存する。利用者の眼の移動に伴って表示画像を変更する制御単位長さを時差で割った速度より、利用者の眼の移動速度が速くなると、利用者は、眼の位置に対応していない画像を視認する。例えば制御単位長さが６２．４［ｍｍ（milli-meter）］であり、且つ時差が６５［ｍｓ（milli-second）］である場合、利用者の眼が、０．２４［ｍｍ／ｍｓ（＝２４［ｃｍ／ｓ（centimeter per second）］）以上の速さで移動すると、利用者は、３次元画像に違和感をもつおそれがある。

　このような３次元画像の視認しにくさを低減するために、制御手段４は、以降で説明する処理を行う。以降の説明において説明される「眼」は「左眼および右眼」を表してよい。

　（位置データ記憶処理）
　制御手段４は、入力部３によって入力された、眼の位置（実測位置）を示す位置データと、当該位置データを取得した順をメモリに記憶するように構成される。メモリには、所定の撮像時間間隔で撮像された複数の撮像画像それぞれに基づく眼の実測位置が順次記憶される。メモリには、当該実測位置に眼が位置した順を合わせて記憶してよい。所定の撮像時間間隔は、検出装置１１の性能及び設計により適宜設定されうる、一の撮像画像と、当該一の撮像画像とが撮像される時間の間隔である。

　（フィルタリング処理）
　制御手段４は、メモリに記憶されている位置データを、例えば、ローパスフィルタを用いてフィルタリングするように構成されうる。制御手段４は、眼の位置の単位時間当たりの変化量が大きい位置データをフィルタリングしうる。制御手段４は、眼の位置の検出精度が低い位置データから実効的な位置データをフィルタリングにより抽出しうる。制御手段４は、予測関数を算出する際に、当該予測関数の精度をフィルタリングによって高めうる。制御手段４は、時刻に対する変化が小さい、具体的には、位置の変化の周波数が所定値より低い位置データのみを抽出するようにフィルタリングしてよい。所定値は、実験等により定められた、所望の精度を実現するために要求される位置の変化の周波数の最大値である。

　（予測処理）
　制御手段４は、メモリに記憶されている複数の位置データを用いて、未来の位置を予想位置として出力するように構成される。ここでいう未来とは、当該メモリに記憶された複数の位置データに対する未来をいう。制御手段４は、ローパスフィルタを用いてフィルタリング処理された複数の位置データを用いうる。制御手段４は、新しい複数の位置情報を用いて予測位置を出力するように構成されうる。制御手段４は、メモリに記憶されている位置データのうち、例えば、記憶時期の新しい複数の位置データと、表示への反映時間とに基づいて予測関数を算出するように構成されうる。制御手段４は、記憶時期の新しさを撮像時刻に基づいて判断するように構成されうる。制御手段４は、眼の実測位置と、取得部３によって位置データが取得された取得時刻と、予め実験等により見込まれている所定の反映時間とに基づいて、予測関数を算出するように構成されうる。

　予測関数は、実測位置と当該実測の撮像タイミングとの複数のペアをフィッティングさせた関数としうる。予測関数は、この撮像タイミングとして撮像時刻を採用しうる。予測関数は、現時点に反映時間を加算した時刻における予測位置を出力するために用いられる。さらに具体的には、制御手段４は、取得時刻から反映時間を減じた時刻が実測位置に眼が位置していた時刻であるとして、眼の実測位置と、当該実測位置に眼が位置していた時刻とに基づいて、現時点より後の時刻と、当該時刻での眼の位置との関係を示す予測関数を算出するように構成される。予測関数は、撮像レートで並ぶ複数の実測位置をフィッティングさせた関数としうる。予測関数は、反映時間に基づいて、現在時刻との対応をつけてよい。

　（予測処理）
　制御手段４は、所定の出力時間間隔で、予測関数において、現時点に所定時間を加算した時刻に対応する、眼の予測位置を出力するように構成される。所定時間は、制御手段４が表示制御を開始してから、表示装置２に画像が表示されるまでに要すると見込まれる時間である表示処理時間に基づく時間である。所定の出力時間間隔は、所定の撮像時間間隔より短い時間間隔であってよい。

　制御手段４は、表示装置２が所定の周波数で画像を更新するように定められた表示時間間隔で、直近に出力された予測位置に基づく可視領域に対応して各サブピクセルに画像を表示させる制御を開始するように構成される。制御手段４による表示の制御がそれぞれ開始されてから表示処理時間後に、予測位置に基づく画像が表示され、更新される。

　検出装置１１は、例えば、２０［ｆｐｓ(frames per second)］で撮像するカメラを採用しうる。このカメラは、撮像時間間隔が５０［ｍｓ］となる。制御手段４は、撮像時間間隔と同じ出力時間間隔で撮像画像を出力するように構成されうる。制御手段４は、撮像時間間隔と異なる出力時間間隔で出力するように構成されうる。出力時間間隔は、撮像時間間隔より多くしうる。出力時間間隔は、２０［ｍｓ］であってよい。この場合、制御手段４は、２０［ｍｓ］に１回（すなわち５０［ｓｐｓ（samples per second）］）、予測位置を出力する。制御手段４は、撮像時間間隔より短い時間間隔で出力される眼の予測位置に基づいて画像を表示することができる。したがって、表示装置２は、眼の位置のより細かな変化に対応した３次元画像を利用者に提供しうる。

　出力時間間隔は、表示装置２に表示させる画像を更新する表示時間間隔より短くてよい。例えば、制御手段４が６０［Ｈｚ(Hertz)］で表示装置２の画像を更新させる、すなわち、表示時間間隔が約１６．７［ｍｓ］である場合、出力時間間隔は、２［ｍｓ］であってよい。この場合、制御手段４は、２［ｍｓ］に１回（すなわち５００［ｓｐｓ］）、予測位置を出力する。制御手段４は、前回に画像を表示させた時点よりも、表示時刻に近い時点での左眼および右眼の位置に基づいて画像を表示させることができる。したがって、表示装置２は、眼の位置の変化によって、利用者が適切に３次元画像を視認し難くなることをさらに低減させることができる。

　（評価処理）
　制御手段４は、予測関数を評価し、当該評価に基づいて修正してよい。具体的には、制御手段４は、予測関数に基づいて出力された眼の予測位置と、当該予測位置に対応する、実際に撮像された撮像画像から検出された眼の実測位置とを比較してよい。制御手段４は、記録された撮像時刻に基づいて、予測位置と実測位置とを対応させうる。制御手段４は、撮像時間間隔に基づいて、予測位置と実測位置とを対応させうる。制御手段４は、比較の結果に基づいて予測関数を修正してよい。制御手段４は、以降の予測処理において、修正された予測関数を用いて眼の位置を出力し、当該修正後の予測関数を用いた眼の予測位置に基づいて表示装置２に画像を表示させてよい。

　図２は、立体表示用コントローラ１の動作を説明するためのシーケンス図である。まず、検出装置１１は、カメラによって撮像された１の撮像画像を取得する。検出装置１１は、１の撮像画像が取得されると、取得された１の撮像画像に基づいて、眼の位置を検出する。眼の１の位置が検出されると、検出装置１１は、当該眼の位置を示す位置データを表示装置２に送信する。位置データが送信されると、検出装置１１は、終了指示が入力されたか否かを判定する。終了指示が入力されたと判定されると、検出装置１１は、処理を終了する。終了指示が入力されていないと判定されると、検出装置１１は、検出処理動作を繰り返す。

　次に、表示装置１の制御手段４は、取得部３によって位置データが受信されたか否かを判定する。位置データが受信されていないと判定されると、制御手段４は、待機状態となる。位置データが受信されたと判定されると、制御手段４は、位置データをメモリに記憶させる次の動作を実行することができる。

（１）ワーピング結果の画像は、２つのバッファ７，８を用意してフレーム毎に交互に分ける。ここで、本実施形態においてワーピングとは、デジタル画像中のピクセルをサンプリングし、各ピクセルに対する新しい位置を計算し、次にマッピングされたデジタル画像を新しい位置のサブピクセルと結集すること、そして呼び出されたリサンプリングも含む。マッピング機能は、サブピクセルの他の変換、たとえば輝度または色の変化も含むことができる。ピクセルの輝度マッピングはシェーディングとも呼ばれる。リサンプリングの間、ピクセル間の補間が所望される。補間は、慣用的なアルゴリズムに従う最近接計算、線形計算または非線形計算を用いて実行できる。補間は、デジタル画像中の空間的位置とコンテンツに応じて白色レベル（コントラスト）、黒色レベル（輝度）、または他の画像パラメータを変化させるために、マッピング機能に空間変化フィルタが含まれうる。

（２）制御手段４は、歪み補正画像をバッファ７または８に入れたら、そのバッファ７または８を読み出し許可し、もう一方を読み込み禁止にして、次の歪み補正画像を入れるようにする。
（３）制御手段４は、３Ｄ画凹合成部は読み出し許可されている画像のバッファ画像を合成する。
（４）制御手段４は、インデックス入力およびバッファ切換え連絡時に画像合成処理を実施する。
（５）制御手段４は、転送が終わると、バッファ７，８の切換えを歪み補正部６に連絡する。
（６）バッファ切換え時のシングルバッファの書き換えは、Ｖブランク期間にできるようにする。Ｖブランク期間は、２ｍｓ程度まで伸ばせる。

（７）検出装置１１による瞳位置検出部分は、１００［ｆｐｓ］（３Ｄ合成と非同期）であるため、１フレームの処理中に最大２回、検出結果が更新される。
（８）３Ｄ画像合成部１３は、画像合成Ｈ／Ｗを２系統使用し、瞳位置検出結果に合わせた合成処理を実行する。瞳位置とインデックス（位相）との情報は、検出装置１１から３Ｄ画像合成部１３に同時に送られてくる。その都度、歪み補正部６は、左画像または右画像を歪み補正テーブル５を更新し、３Ｄ画像合成処理を実行し、合成画像出力部１２から表示装置２に出力する。そして次のフレームの画像データ処理が始まり、（３Ｄ画像合成処理部１３の画像合成処理にかかる時間分）前に３Ｄ画像合成処理を実行するように第２制御手段４ｂから３Ｄ画像合成部１３に指示がくるので、次のフレームの画像データで３Ｄ画像合成処理を行う。

（９）この画像合成処理の期間は、一時的に２フレームの画像が混じるが、フレーム終了のタイミングに合わせると、表示に２フレーム混在に影響が出ない。制御手段４は、表示装置２に画像データを送り終わる時間から３Ｄ画像合成処理にかかる時間分だけ遡って３Ｄ画像合成処理部１３に画像合成処理を開始させる。

　制御手段４は、メモリに記憶された位置データをフィルタリングする。制御手段４は、フィルタリングされた後の位置データに基づいて、予測関数を生成する。制御手段４は、再び、取得部３によって位置データが受信されたか否かを判定する。位置データが受信されていないと判定されると、制御手段４は、待機状態を維持し、位置データが受信されたと判定されると、制御手段４は、位置データをメモリに記憶させる。

　制御手段４は、メモリに記憶された位置データをフィルタリングする。

　制御手段４は、フィルタリングされた位置データが示す実測位置のうち、追って詳細に説明する表示処理において、画像を表示した表示時刻に撮像された眼の位置を示す位置データが示す眼の実測位置を用いて予測関数を修正する。制御手段４は、予測関数生成処理の終了指示が入力されたか否かを判定する。予測関数生成処理の終了指示が入力されたと判定されると、制御手段４は、予測関数生成処理を終了する。予測関数生成処理の終了指示が入力されていないと判定されると、制御手段４は、待機状態に戻る。制御手段４は、出力時間間隔で、前述した予測関数生成処理において、直近に予測または修正された予測関数に基づいて予測位置を出力する。

　制御手段４は、表示時間間隔で、直近に出力された予測位置に基づいて表示画像を変更し、当該変更後の画像を表示装置２に表示させる。

　制御手段４は、画像表示処理の終了指示が入力されたか否かを判定する。画像表示処理の終了指示が入力されたと判定されると、制御手段４は、画像表示処理を終了する。本実施形態の表示装置２は、メモリに記憶された位置データに基づいて、現在時刻より未来の表示時刻における眼の予測位置を出力し、予測された眼の位置に基づいて、表示パネルの各サブピクセルＰに視差画像を表示させる。このため、本開示の基礎となる構成のように、撮像された撮像画像に基づいて検出された眼の位置が取得された時点で、当該位置に基づいて画像を表示する制御を開始するより、表示装置２は、表示時刻に近い時点での眼の位置に基づいて画像を表示することができる。したがって、表示装置２は、利用者の眼の位置が変化した場合も、利用者が３次元画像を視認し難くなることを低減することができる。

　本実施形態の制御手段４は、メモリに記憶された位置データに基づいて、未来の表示時刻と、眼の位置との関係を示す予測関数を算出し、予測関数に基づいて、眼の予測位置を出力する。制御手段４は、カメラの撮像時刻によらないで眼の予測位置を出力することができる。制御手段４は、カメラ内画像の着目の測定位置を使用して、将来の着目点が発見される場所を予測する。

　本実施形態の制御手段４は、撮像時間間隔と異なる出力時間間隔で、予測関数に基づいて眼の予測位置を出力しうる。制御手段４は、カメラの撮像時間間隔によらない出力時間間隔で眼の予測位置を出力することができる。

　本実施形態の制御手段４は、撮像時間間隔より短い出力時間間隔で、予測関数に基づいて眼の予測位置を出力しうる。表示装置２は、撮像時間間隔より短い時間間隔で生じる眼の位置の変化に応じた３次元画像を提供しうる。

　本実施形態の制御手段４は、予測位置と実測位置との比較によって、予測関数を修正する。制御手段４は、都度修正された予測関数に基づいて適切に眼の予測位置を出力することができる。表示装置２は、適切な予測位置に基づいて画像を表示させることができる。表示装置２は、眼の位置の変化によって、利用者が適切に３次元画像を視認し難くなることを低減させることができる。

　検出装置１１は、例えば、環境光の状態、または利用者の眼とカメラとの間の光路上に位置する障害物の影響等により、眼の位置を検出できないことがある。取得部３は、検出装置が眼の位置を検出できなかった場合に、位置データの取得に失敗することがある。本実施形態の表示装置２では、制御手段４が以降で説明する処理を行うことによって、取得部３が位置データの取得に失敗した場合であっても、予測関数の精度の低下を低減しうる。表示装置２は、コントロール８が予測関数の精度を維持することで、利用者が適切に３次元画像を視認し難くなることを低減させることができる。

　歪み補正部６は、表示装置２と同期させてもよいが、同期させなくてもよい。制御手段４は、前述のように、左画像および右画像を画像合成するための合成テーブル５を有し、合成テーブル５を参照して左画像および右画像を画像合成し、その視差画像を生成するように構成されている。歪み補正テテーブル５の更新は、視点位置の入力があると、当該視点位置に対応させて前記合成テーブル５を更新する。

　１つのフレームを表示する際に、１回の前記第１合成処理と、少なくとも１回の前記第２合成処理とを実行するように構成されてよく、１つのフレームを表示する際に、複数の前記第２合成処理を実行するように構成されてよい。

　（予測処理）
　制御手段４は、取得部３が位置データの取得に失敗すると、メモリに記憶された複数の位置データを用いて、現在時刻の予測位置を出力するように構成されうる。制御手段４は、メモリに記憶された複数の位置データを用いて、現在時刻における眼の位置を予測するための予測関数を算出するように構成されうる。現在時刻における眼の位置を予測するための予測関数は、第１予測関数と称されうる。制御手段４は、第１予測関数に基づいて、現在時刻の予測位置を出力するように構成されうる。

　制御手段４は、第１予測関数を算出するにあたって、ローパスフィルタを用いてフィルタリング処理された複数の位置データを用いうる。制御手段４は、新しい複数の位置情報を用いて予測位置を出力するように構成されうる。制御手段４は、メモリに記憶されている位置データのうち、例えば、記憶時期の新しい複数の位置データと、表示への反映時間とに基づいて第１予測関数を算出するように構成されうる。制御手段４は、記憶時期の新しさを撮像時刻、記憶順序、及び通し番号のいずれか１つ又は複数に基づいて判断するように構成されうる。一例において、メモリは、第１予測関数の算出に必要な位置情報のみを記憶するように構成され、制御手段４は、メモリに記憶されている全ての位置情報に基づいて第１予測関数を算出するように構成されうる。制御手段４は、眼の実測位置と、取得部３によって位置データが取得された取得時刻と、予め実験等により見込まれている所定の反映時間とに基づいて、第１予測関数を算出するように構成されうる。

　制御手段４は、取得部３が位置データを取得した場合に、当該位置データと、メモリに記憶された複数の位置データのうち、記憶時期が最も新しい位置データとを比較するように構成されうる。制御手段４は、２つの位置データが同じ値を示す位置データである場合に、取得部３が位置データの取得に失敗したと判定しうる。言い換えれば、制御手段４は、取得部３が同じ値を示す位置データを連続して取得した場合に、取得部３が位置データの取得に失敗したと判断するように構成されうる。ここでいう同じ値を示す位置データとは、３次元空間における３つの座標値が完全に一致する２つの位置データであってよい。同じ値を示す位置データとは、３次元空間における３つの座標値の差分の和が閾値未満である２つの位置データであってよいし、３次元空間における３つの座標値の差分の最大値が閾値未満である２つの位置データであってよい。閾値は、予めの実験等によって定められてよい。

　制御手段４は、取得部３が同じ値を示す位置データを連続して取得した場合、２つ目の位置データ、すなわち、連続して取得した２つの位置データのうち取得時刻が新しい位置データを破棄するように構成されうる。制御手段４は、連続して取得した２つの位置データのうち取得時刻が古い位置データを含む、複数の位置データに基づいて、現在時刻の予測位置を出力するように構成されうる。

　（予測処理）
　制御手段４は、現在時刻の予測位置を含む複数の位置データを用いて、未来時刻における眼の予測位置を出力するように構成される。ここでいう未来時刻とは、現在時刻より後の時刻をいう。制御手段４は、メモリに記憶された複数の位置データを用いて、現在時刻における眼の位置を予測するための予測関数を算出するように構成されうる。未来時刻における眼の位置を予測するための予測関数は、第２予測関数と称されうる。制御手段４は、第２予測関数に基づいて、未来時刻の予測位置を出力するように構成されうる。

　制御手段４は、第２予測関数を算出するにあたって、ローパスフィルタを用いてフィルタリング処理された複数の位置データを用いうる。制御手段４は、新しい複数の位置情報を用いて予測位置を出力するように構成されうる。制御手段４は、メモリに記憶されている位置データのうち、例えば、記憶時期の新しい複数の位置データと、表示への反映時間とに基づいて第２予測関数を算出するように構成されうる。制御手段４は、記憶時期の新しさを撮像時刻、記憶順序、及び通し番号のいずれか１つ又は複数に基づいて判断するように構成されうる。制御手段４は、眼の実測位置と、取得部３によって位置データが取得された取得時刻と、予め実験等により見込まれている所定の反映時間とに基づいて、第２予測関数を算出するように構成されうる。第２予測関数は、第１予測関数と同じ関数であってよいし、第１予測関数と異なる関数であってよい。

　（画像表示処理）
　制御手段４は、表示装置２が所定の周波数で画像を更新するように定められた表示時間間隔で、直近に出力された予測位置に基づく可視領域５ａに対応して各サブピクセルＰに画像を表示させる制御を開始するように構成される。制御手段４による表示の制御がそれぞれ開始されてから表示処理時間後に、表示装置２に予測位置に基づく画像が表示され、更新される。

　（評価処理）
　制御手段４は、第２予測関数を評価し、当該評価に基づいて、第２予測関数を修正してよい。制御手段４は、第２予測関数に基づいて出力された眼の予測位置と、当該予測位置に対応する、実際に撮像された撮像画像から検出された眼の実測位置とを比較してよい。制御手段４は、記録された撮像時刻に基づいて、予測位置と実測位置とを対応させうる。制御手段４は、撮像時間間隔に基づいて、予測位置と実測位置とを対応させうる。制御手段４は、比較の結果に基づいて第２予測関数を修正してよい。制御手段４は、以降の予測処理において、修正された第２予測関数を用いて眼の位置を出力し、当該修正後の第２予測関数を用いた眼の予測位置に基づいて表示装置２に画像を表示させてよい。

　続いて、図３のタイミングチャートを参照して、表示装置２が行う予測関数生成処理および画像表示処理の他の例について説明する。制御手段４は、検出装置１１のカメラの撮像時間間隔より短い時間間隔毎に実行しうる。制御手段４は、入力部３によって位置データが受信されたか否かを判定する。位置データが受信されていないと判定されると、制御手段４は、メモリに記憶されている複数の位置データを用いて、第１予測関数を算出し、第１予測関数に基づいて、現在時刻の予測位置を出力する。制御手段４は、現在時刻の予測位置を含む、複数の位置データに基づいて、第２予測関数を算出し、第２予測関数に基づいて、未来時刻の予測位置を出力する。

　制御手段４は、表示時間間隔で、未来時刻の予測位置に基づいて、表示画像を変更し、当該変更後の画像を表示装置２に表示させる。制御手段４は、画像表示処理の終了指示が入力されたか否かを判定する。画像表示処理の終了指示が入力されたと判定されると、制御手段４は、画像表示処理を終了する。画像表示処理の終了指示が入力されていないと判定されると、制御手段４は、待機状態に戻る。位置データが受信されていると判定されると、制御手段４は、同じ値を示す位置データを連続して取得したか否かを判定する。制御手段４は、受信した位置データと、メモリに記憶された複数の位置データのうち、撮像時刻が最も新しい位置データとを比較する。同じ値を示す位置データを連続して取得したと判定されると、制御手段４は、連続して取得した２つ目の位置データを破棄する。同じ値を示す位置データを連続して取得していないと判定すると、制御手段４は、入力部３が位置データの取得に失敗した場合、メモリに記憶されている複数の位置データに基づいて、現在時刻の眼の予測位置を算出し、当該予測位置を現在時刻の位置データとして出力する。このため、表示装置２は、検出装置１１が眼の位置を検出できなかった場合に、現在時刻の眼の位置を精度よく予測することができる。

　制御手段４は、現在時刻の予測位置を含む、複数の位置データに基づいて、未来時刻の眼の予測位置を出力し、当該予測位置に基づいて、表示装置２の各サブピクセルに視差画像を表示させる。このため、表示装置２は、検出装置１１が眼の位置を検出できなかった場合であっても、未来時刻における眼の位置を精度よく予測することができる。表示装置２は、未来時刻における眼の予測位置に基づいて画像を表示させることができるため、利用者が３次元画像を視認し難くなることを低減することができる。

　本実施形態では、制御手段４は、検出装置１１がカメラから取得した撮像画像および当該撮像画像の撮像時刻に基づいて、当該撮像時刻より後の時刻における眼の位置を予測する。したがって、表示装置２は、制御手段４と検出装置１１とが互いに非同期で動作するように構成されてよい。言い換えれば、表示装置２は、制御手段４および検出装置１１が互いに分離したシステムであるように構成されてよい。これにより、表示装置２は、検出装置１１および制御手段４に、それぞれが行う処理に適した周波数のクロック信号を供給することができるため、検出装置１１および制御手段４を高速かつ正常に動作させることが可能となる。制御手段４と検出装置１１とは、同じクロック信号に基づいて非同期に動作してよいし、別個のクロック信号に基づいて非同期に動作してよい。制御手段４および検出装置１１は、一方が第１クロック信号に同期して動作し、他方が第１クロック信号を分周した第２クロック信号に同期して動作してよい。

　上述の実施形態は代表的な例として説明したが、本開示の趣旨および範囲内で、多くの変更および置換ができることは当業者に明らかである。したがって、本開示は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形および変更が可能である。例えば、実施形態および実施例に記載の複数の構成ブロックを１つに組合せたり、あるいは１つの構成ブロックを分割したりすることが可能である。

　立体表示用コントローラによって制御される表示装置２としては、透過型の表示パネルに限られず、自発光型の表示パネル等他の表示パネルを使用することもできる。透過型の表示パネルは、液晶パネルの他に、ＭＥＭＳ（Micro Electro Mechanical Systems）シャッター式の表示パネルを含む。自発光型の表示パネルは、有機ＥＬ（electro-luminescence）、および無機ＥＬの表示パネルを含む。表示装置２として、自発光型の表示パネルを使用した場合、照射器４は不要となる。表示装置２として、自発光型の表示パネルを使用した場合、パララックスバリア６は、表示装置２の画像光が射出される側に位置する。

　本開示における「移動体」には、車両、船舶、航空機を含む。本開示における「車両」には、自動車および産業車両を含むが、これに限られず、鉄道車両および生活車両、滑走路を走行する固定翼機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、およびトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業および建設向けの産業車両を含む。産業車両には、フォークリフト、およびゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーパー、ショベルカー、クレーン車、ダンプカー、およびロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。本開示における船舶には、マリンジェット、ボート、タンカーを含む。本開示における航空機には、固定翼機、回転翼機を含む。

　本開示は次の実施の形態が可能である。

　本開示に係る立体表示用コントローラは、視差画像を表示する表示装置と、利用者の視点位置を入力可能に構成される入力部と、左画像および右画像を混合して視差画像に合成する、第１合成処理および第２合成処理を含む合成処理を実行可能に構成される制御手段と、を含み、前記制御手段は、前記表示装置に向けて前記視差画像を出力可能に構成され、前記制御手段は、前記視差画像のフレーム周期に対応して、前記第１合成処理を実行可能に構成され、前記入力部への視点位置の入力に対応して前記第２合成処理を実行可能に構成される。

　本開示によれば、利用者に提供する立体視の画質を向上しうる立体表示用コントローラを提供することができる。

　以上、本開示の実施形態について詳細に説明したが、また、本開示は上述の実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲内において、種々の変更、改良等が可能である。上記各実施形態をそれぞれ構成する全部または一部を、適宜、矛盾しない範囲で組み合わせ可能であることは、言うまでもない。

　１　立体表示用コントローラ
　２　表示装置
　４　制御手段
　４ａ　第１制御手段
　４ｂ　第２制御手段
　５　合成テーブル
　６　歪み補正部
　９　表示制御部
　７，８　バッファ
　１１　検出装置
　１２　合成画像出力部
　１３　３Ｄ画像合成部
　Ｒ　右眼用画像
　Ｌ　左眼用画像

Claims (11)

1. 　視差画像を表示可能に構成される表示装置と、
   　利用者の視点位置を入力可能に構成される入力部と、
   　左画像および右画像を混合して視差画像に合成する合成処理であって、第１合成処理および第２合成処理を含む合成処理を実行可能に構成される制御手段と、を含み、
   　前記制御手段は、前記表示装置に向けて前記視差画像を出力可能に構成され、
   　前記制御手段は、
   　　前記視差画像のフレーム周期に対応して、前記第１合成処理を実行可能に構成され、
   　　前記入力部への視点位置の入力に対応して前記第２合成処理を実行可能に構成される、立体表示用コントローラ。
2. 　請求項１に記載の立体表示用コントローラであって、
   　前記制御手段は、１つのフレームを表示する際に、１回の前記第１合成処理と、少なくとも１回の前記第２合成処理とを実行可能に構成される、立体表示用コントローラ。
3. 　請求項１に記載の立体表示用コントローラであって、
   　前記制御手段は、１つのフレームを表示する際に、複数回の前記第２合成処理を実行可能に構成される、立体表示用コントローラ。
4. 　請求項１～３のいずれか１項に記載の立体表示用コントローラであって、
   　前記制御手段は、前記左画像および前記右画像を画像合成するための合成テーブルを有し、前記左画像および前記右画像を前記合成テーブルを参照して画像合成し、視差画像を生成可能に構成される、立体表示用コントローラ。
5. 　請求項３に記載の前記立体表示用コントローラであって、
   　前記制御手段は、前記視点位置の入力があると、当該視点位置に対応させて前記合成テーブルを更新可能に構成される、立体表示用コントローラ。
6. 　請求項１～５のいずれか１項に記載の立体表示用コントローラであって、
   　前記制御手段は、前記左画像および前記右画像の歪を補正する補正処理を実行可能に構成される、立体表示用コントローラ。
7. 　請求項４に記載の立体表示用コントローラであって、
   　制御手段は、第１制御手段と、第２制御手段とを含み、
   　前記第１制御手段は、前記合成処理を実行可能に構成され、
   　前記第２制御手段は、前記補正処理を実行可能に構成される、立体表示用コントローラ。
8. 　請求項７に記載の立体表示用コントローラであって、
   　前記第２制御手段は、前記左画像および前記右画像の歪を補正するための補正テーブルを有し、前記補正処理を、前記補正テーブルを参照して補正可能に構成される、立体表示用コントローラ。
9. 　請求項８に記載の立体表示用コントローラであって、
   　前記制御手段は、前記視点位置の入力があると、当該視点位置に対応させて前記補正テーブルを更新する、立体表示用コントローラ。
10. 　請求項１～９のいずれか１項に記載の立体表示用コントローラであって、
    　前記視点位置の入力周期は、前記フレーム周期よりも短い、立体表示用コントローラ。
11. 　請求項１～１０のいずれか１項に記載の立体表示用コントローラであって、
    　前記制御手段は、前記視点位置の単位時間あたりの変化量に基づいて前記視点位置の予測値を算出し、算出された前記視点位置の予測値に基づいて、前記第２合成処理を実行する、立体表示用コントローラ。

Images