JP7149759B2

JP7149759B2 - ニアアイ表示装置およびその表示映像の校正方法

Info

Publication number: JP7149759B2
Application number: JP2018148071A
Authority: JP
Inventors: 銓仲張; 欣祥羅; 福明 ▲荘▼
Original assignee: 中強光電股▲ふん▼有限公司
Priority date: 2017-08-09
Filing date: 2018-08-07
Publication date: 2022-10-07
Anticipated expiration: 2038-08-07
Also published as: CN109387939A; US20190052866A1; JP2019033484A; US10812784B2; EP3441852A1; CN109387939B; EP3441852B1

Description

本発明はニアアイ表示装置に関し、特にニアアイ表示装置の表示映像の校正方法に関する。

従来の技術分野において、ニアアイ表示装置はその構造によって双眼式および単眼式の二種類に分類される。双眼式のニアアイ表示装置は、両目の視差によって発生する３Ｄ視覚効果の原理を利用している。このタイプのニアアイ表示装置を着用するユーザにとって、異なるユーザの目の距離が異なるため、ユーザに正確な３Ｄ映像を提供するには、ユーザが二つの接眼レンズの相対位置を調整できるよう、従来技術のニアアイ表示装置では別途ハードウェア調整装置を設置する必要があった。また、ユーザの視力の差に対しても、従来技術のニアアイ表示装置では調整機構を提供して、接眼レンズの焦点距離の調整動作を行っていた。以上からわかるように、従来技術のニアアイ表示装置において、これらの調整装置を提供するために、複数の機械構造を設置する必要があり、これによりニアアイ表示装置の体積、重量およびコストが増加する。

一方、単眼式のニアアイ表示装置であっても、従来の技術分野では、機械式の調整構造を提供して、映像の表示位置および方向の調整動作を行う。または、ユーザの頭の形、ノースパッドの位置および目の位置に合わせるためにも、従来技術のニアアイ表示装置では対応する調整構造が提供されるため、体積、体重およびコストの増加に繋がる。

この「背景技術」部分は、本発明の内容の理解を助けるものであり、「背景技術」部分で開示された内容には、当業者が既知の従来技術を構成しないものも含まれている可能性がある。「背景技術」部分で開示された内容は、当該内容または本発明の一つ若しくは複数の実施例で解決しようとする課題を示すものではなく、また本発明が出願前に既に当業者に把握され、または認識されていたことを意味するものではない。

本発明はニアアイ表示装置およびその表示映像の校正方法を提供し、複数のブロック映像の中の少なくとも一つを調整することで表示映像の校正動作を行う。

本発明のその他の目的と利点について、本発明が開示する技術特徴から一層理解を深めることができる。

上記一つ若しくは一部若しくは全ての目的、またはその他の目的を達成するために、本発明の一実施例が開示する表示映像の校正方法は、ニアアイ表示装置に適用され、かつ、表示映像を分割して複数のブロック映像を生成するステップと、ディスプレイでブロック映像を表示し、かつブロック映像がライトフィールド素子を通って、合併映像を生成するステップと、映像抽出器を提供して合併映像を抽出し、表示映像および合併映像を比較して誤差情報を生成するステップと、ユーザパラメータを受け取るステップと、ユーザパラメータおよび誤差情報に基づいて表示映像中のブロック映像の少なくとも一つを調整するステップとを含む。

上記一つ若しくは一部若しくは全ての目的、またはその他の目的を達成するために、本発明の一実施例が開示するニアアイ表示装置はディスプレイ、ライトフィールド素子、映像抽出器および制御器を含む。ディスプレイは複数のブロック映像を表示する。ライトフィールド素子はディスプレイと重なって配置される。ディスプレイが表示したブロック映像がライトフィールド素子を通って、合併映像を生成する。映像抽出器は合併映像を抽出する。制御器はディスプレイおよび映像抽出器をカップリング（連結）する。制御器は、表示映像を分割してブロック映像を生成し、表示映像および合併映像を比較して誤差情報を生成し、ユーザパラメータを受け取り、また、誤差情報およびユーザパラメータに基づいて、表示映像中のブロック映像の少なくとも一つを調整することに用いられる。

以上により、本発明の実施例は少なくとも以下の利点または効果の一つを有する。本発明はニアアイ表示装置で生成された合併映像を抽出し、かつ原始の表示映像と合併映像とを比較して誤差情報を得て、誤差情報に基づき、生成された誤差情報に対応する複数のブロック映像中の少なくとも一つを調整することで、ニアアイ表示装置の表示映像を校正する。本発明の映像校正の手段によって、ハードウェア調整手段を用いない前提で、ニアアイ表示装置はユーザ特性に対応するユーザパラメータに応じて、表示映像の調整動作を行い、ニアアイ表示装置の表示品質を高めることができる。

本発明の上記特徴および利点をより明確に、わかり易く示すために、以下は図面を参照しながら実施例において詳しく説明する。
本発明の一実施例の表示映像の校正方法を示すフローチャートである。本発明の実施例のディスプレイおよびライトフィールド素子を示す関係図である。合併映像の生成方式を示す概略図である。前置補償映像の生成方式を示す概略図である。校正後の合併映像の生成方式を示す概略図である。本発明の実施例の表示映像の校正方法の一実施方法を示す概略図である。本発明の実施例の表示映像の校正方法の一実施方法を示す概略図である。本発明の実施例の表示映像の校正方法の別の実施方法を示す概略図である。本発明の実施例の表示映像の校正方法の別の実施方法を示す概略図である。本発明の実施例の表示映像の校正方法の別の実施方法を示す概略図である。本発明の実施例の表示映像の校正方法のさらに別の実施方法を示す概略図である。本発明の実施例の表示映像の校正方法のさらに別の実施方法を示す概略図である。本発明の実施例の表示映像の校正方法のさらに別の実施方法を示す概略図である。本発明の実施例の表示映像の校正方法のさらに別の実施方法を示す概略図である。本発明の実施例の表示映像の校正方法のさらに別の実施方法を示す概略図である。本発明の一実施例のニアアイ表示装置を示す概略図である。本発明の別の実施例のニアアイ表示装置を示す概略図である。

本発明の前記およびその他の技術内容、特徴および効果は、以下の図面を参照しながら行う好ましい実施例の詳細な説明において明確に示されている。以下の実施例において言及される方向用語、例えば、上、下、左、右、前または後などは図面を参照する方向のみである。従って、これらの方向用語は説明を目的とするものであり、本発明を制限するものではない。

図１を参照すると、図１は本発明の一実施例の表示映像の校正方法を示すフローチャートである。本実施例の表示映像の校正方法は、ニアアイ表示装置に適用される。なお、図１が示すように、ステップＳ１１０において、表示映像を分割して、複数のブロック映像を生成する。ステップＳ１２０において、ディスプレイで上記ブロック映像を表示し、かつ、これらのブロック映像がライトフィールド素子を通って、合併映像を生成する。なお、図１、図２Ａ、図２Ｂ、図２Ｃおよび図２Ｄを同時に参照すると、そのうち、図２Ａは本発明の実施例のディスプレイおよびライトフィールド素子を示す関係図であり、図２Ｂは合併映像の生成方式を示す概略図であり、図２Ｃは前置補償映像の生成方式を示す概略図であり、図２Ｄは校正後の合併映像の生成方式を示す概略図である。図２Ａにおいて、ライトフィールド素子２２０は複数のサブライトフィールドユニット２２１１～２２ＭＮから構成されている。サブライトフィールドユニット２２１１～２２ＭＮはアレイ状に配列され、かつ、各サブライトフィールドユニット２２１１～２２ＭＮがマイクロレンズであり、マイクロレンズアレイに組み合わせられて、ライトフィールド素子２２０を形成する。さらに説明すると、図２Ａにおいて、ライトフィールド素子２２０とディスプレイ２１０は、予め設定された距離で重なって配置され、かつ、ディスプレイ２１０の表示面がライトフィールド素子２２０に向いている。かつ、ディスプレイ２１０の表示面積はサブライトフィールドユニット２２１１～２２ＭＮが覆う総面積より小さい。

また、図２Ａおよび図２Ｂにおいて、ステップＳ１１０中の表示映像２０１は、演算能力を有する制御器２０２まで伝送されてもよい。制御器２０２は、図２Ａが示すようなディスプレイ２１０とサブライトフィールドユニット２２１１～２２ＭＮの配置位置関係に基づいて、表示映像２０１を分割し、複数のブロック映像２０１１～２０ＭＮを生成してもよい。ディスプレイ２１０によって該表示映像２０１の前記複数のブロック映像２０１１～２０ＭＮを表示し、かつ図２Ａおよび図２Ｂにおいて、ステップＳ１２０で、対応するサブライトフィールドユニット２２１１～２２ＭＮがそれぞれ受け取り、合併映像２１１を生成する。

再度図１、図２Ａ、図２Ｂおよび図２Ｃを参照すると、ステップＳ１３０では映像抽出器（図示せず）を提供してライトフィールド素子２２０によって生成された合併映像２１１を抽出し、そして、表示映像２０１および合併映像２１１を比較する動作を行って誤差情報を生成する。なお、前記の誤差情報は、表示映像および合併映像において対応する画像間の位置シフトを含むことが可能であり、また表示映像および合併映像において対応する画像間の色差異を含むことも可能であり、さらに表示映像および合併映像において対応する位置にある映像差異を含むことも可能である。表示映像および合併映像間の対応する位置間の映像差異をすべて誤差情報として記録してもよい。

なお、上記誤差情報を発生させる要素は多くあり、例えば、ニアアイ表示装置中のディスプレイ２１０の光学情報（例えば、ディスプレイの画素数、画素サイズ、画素形状およびその配列方式）、ライトフィールド素子２２０の光学情報（例えば、各サブライトフィールドユニットの焦点距離および各隣接するサブライトフィールドユニットの間隔）、ディスプレイ２１０およびライトフィールド素子２２０間の空間情報およびニアアイ表示装置のユーザの関連パラメータ（例えば、瞳孔間隔、アイレリーフ（ＥｙｅＲｅｌｉｅｆ）、瞳孔サイズおよび視線方向など）がある。

装置内部パラメータの部分について、ニアアイ表示装置の組み立てが完了後、出荷前の測定動作によって得ることができる。そのため、上記の装置内部パラメータは事前にニアアイ表示装置中の記憶装置（図示せず）に記憶され、かつ、ニアアイ表示装置中の制御器（例えば、制御器２０２）に提供し、ブロック映像を生成する根拠としてもよい。

ユーザパラメータの部分について、ステップＳ１４０で実行されるユーザパラメータを受け取る動作によって、ニアアイ表示装置がユーザパラメータを得ることができる。本発明の実施例において、ユーザは当業者が熟知しているデータ入力手段を用いてユーザパラメータをニアアイ表示装置に入力し、かつニアアイ表示装置中の記憶装置に記憶してもよい。また、本発明の別の実施例において、ニアアイ表示装置には、例えば、瞳孔検出器などの機構を配置して、瞳孔間隔、アイレリーフ、視線方向および瞳孔サイズなど関連するユーザパラメータを自動的に取得してもよい。

ステップＳ１５０では、ユーザパラメータおよびステップＳ１３０において取得した誤差情報に基づいて、ブロック映像中の少なくとも一つを調整することで、表示映像を校正する。詳しく言うと、図２Ｃが示すように、ステップＳ１５０では誤差情報の生成に基づいて、表示映像および合併映像間に差異が発生した位置を探し出し、かつ差異が発生した位置に対応するブロック映像を選択して映像調整動作を行い、即ち、ユーザパラメータおよび誤差情報に基づいて、表示映像２０１中の少なくとも一つの誤差ブロック映像を調整し、かつ前置補償映像２０１’を生成する。ここで、選択されたブロック映像の数は誤差情報によって決まり、一つであっても複数であってもよく、これについて決まった制限がない。さらに、図２Ｄが示すように、ユーザは、前置補償映像２０１’がライトフィールド素子２２０を通った後形成された校正後合併映像２１１’を見ることができる。

以下は図３Ａおよび図３Ｂを参照するが、図３Ａおよび図３Ｂは本発明の実施例の表示映像の校正方法の一実施方法を示す概略図である。図３Ａにおいて、ディスプレイ３１０とライトフィールド素子３２０間の位置情報にズレが発生している（例えば、ディスプレイ３１０とライトフィールド素子３２０間の水平軸、垂直軸を互いに位置を合わせることができない）。この場合、ディスプレイ３１０上に複数の矩形枠のブロック映像３１１、３１２を表示することにより、ブロック映像毎に一つの特徴パターン（図示せず）を有する。ライトフィールド素子３２０によって、ブロック映像の特徴パターンは合併映像中に対応する比較対照パターンを生成することができる。特徴パターンおよび対応して生成された比較対照パターンの位置情報をそれぞれ比較して、ライトフィールド素子３２０とディスプレイ３１０の相対位置シフト量の誤差情報が得られる。この誤差情報およびユーザパラメータに基づき、ニアアイ表示装置は、ディスプレイ３１０上におけるブロック映像の表示位置を調整することにより、例えば、ブロック映像３１１をブロック映像３１１’に調整し、ブロック映像３１２をブロック映像３１２’に調整して、映像校正動作を完了する。

以下は図４Ａから図４Ｃを参照するが、図４Ａから図４Ｃは本発明の実施例の表示映像の校正方法の別の実施方法を示す概略図である。図４Ａにおいて、ディスプレイ４１０とライトフィールド素子４２０間の距離にズレが発生している（例えば、組立て後の距離が基準値より大きいまたは小さい）。表示映像が複数のブロック映像４１１に分割され、ディスプレイ４１０上に特徴パターンＣＩを有するブロック映像４１１が表示される。図４Ｂからわかるように、ブロック映像４１１中の特徴パターンＣＩがライトフィールド素子４２０を通った後、合併映像４１１’中に比較対照パターンＣＩ’として現れる。制御器（例えば、図２Ｂの制御器２０２）は特徴パターンＣＩおよび比較対照パターンＣＩ’の差異（例えば、位置情報）を比較することで、誤差情報を生成し、かつブロック映像４１１を誤差ブロック映像と定義することができる。誤差情報に基づいて、表示映像を調整し、前置補償映像を得ることが可能であり、即ち、図４Ｂが示すブロック映像４１１中の特徴パターンＣＩを図４Ｃが示す誤差ブロック映像（ブロック映像４１１）の特徴パターンＣＣＩに調整し、これにより、前置補償映像中の誤差ブロック映像（ブロック映像４１１）の特徴パターンＣＣＩがライトフィールド素子４２０を通った後、合併映像４１１’中に対応する比較対照パターンＣＣＩ’が現れ、比較対照パターンＣＣＩ’が特徴パターンＣＣＩと同じでもよい。

なお、誤差ブロック映像の数について決められた制限がなく、本発明の実施例は、各ブロック映像中にすべて特徴パターンを設定し、かつ、特徴パターンと対応して生成された比較対照パターンとの間に誤差情報があるか否かを判断することで、各ブロック映像が誤差ブロック映像であるか否かを決定してもよい。

前置補償映像の取得方法について、比較対照パターンＣＩ’と特徴パターンＣＩを相殺する動作で生成することが可能であり、または、特徴パターンＣＩと比較対照パターンＣＩ’の差異に対しさらに逆処理を行って、前置補償映像を生成するための変換情報を得ることもできる。かつ、同時にユーザパラメータに基づいて前置補償映像を生成することが可能であり、同時に装置内部パラメータおよびユーザパラメータによる表示効果の影響に対し一括校正を行うことが可能である。

以下は図５Ａから図５Ｃを参照するが、図５Ａから図５Ｃは本発明の実施例の表示映像の校正方法のさらに別の実施方法を示す概略図である。本実施方法において、ニアアイ表示装置は装置内部パラメータに基づいて表示映像上に特徴パターンＣＩを生成することが可能であり、なお、特徴パターンＣＩはブロック映像５１１中に生成される。本実施方法において、特徴パターンＣＩは波長が異なる複数の色領域Ｂ１～Ｂ３を含む。

ディスプレイ５１０とライトフィールド素子５２０間の距離にズレが発生した条件において、ブロック映像５１１中の特徴パターンＣＩはライトフィールド素子５２０を通って、合併映像５１１’中に比較対照パターンＣＩ’が生成される。比較対照パターンＣＩ’において、色領域Ｂ１’～Ｂ３’が分散して配列され、かつ色領域Ｂ１’～Ｂ３’の位置と色領域Ｂ１～Ｂ３との位置が異なる。

比較対照パターンＣＩ’および特徴パターンＣＩを比較することにより、誤差情報を得る。この誤差情報およびユーザパラメータに基づいて表示映像を調整し、ニアアイ表示装置に前置補償映像を生成し、即ち、図５Ｂのブロック映像５１１中の特徴パターンＣＩを調整して、図５Ｃの誤差ブロック映像（ブロック映像５１１）の特徴パターンＣＣＩにする。これにより、前置補償映像中の誤差ブロック映像（ブロック映像５１１）の特徴パターンＣＣＩがライトフィールド素子５２０を通った後、合併映像５１１’中に対応する比較対照パターンＣＣＩ’が現れ、比較対照パターンＣＣＩ’が特徴パターンＣＣＩと同じでもよい。ここで、前置補償映像中の誤差ブロック映像の特徴パターンＣＣＩにおいて、色領域ＣＢ１～ＣＢ３の位置は、表示映像中の特徴パターンＣＩおよび合併映像５１１’中の比較対照パターンＣＩ’における各対応色領域Ｂ１とＢ１’、Ｂ２とＢ２’、Ｂ３とＢ３’の位置シフトに基づいて得られる。例を挙げると、特徴パターンＣＣＩにおいて、色領域ＣＢ１～ＣＢ３の位置は、特徴パターンＣＩ中の色領域Ｂ１～Ｂ３を比較対照パターンＣＩ’中の色領域Ｂ１’～Ｂ３’の位置シフトと逆方向へシフトさせることで得られる。

以下は図６Ａおよび図６Ｂを参照するが、図６Ａおよび図６Ｂは本発明の実施例の表示映像の校正方法のさらに別の実施方法を示す概略図である。図６Ａにおいて、単眼式のニアアイ表示装置を例に、ユーザの目の中心位置が位置Ｅ１１から位置Ｅ１２にシフトし、ライトフィールド素子６２０の中心点と位置合わせができない場合、ユーザには、ライトフィールド素子６２０によって生成された合併映像に位置シフトが発生した現象が見える。ここで、ディスプレイ６１０上に特徴パターンを有する複数のブロック映像６１１を表示し、かつ、合併映像中の特徴パターンが対応して生成された比較対照パターンを検出し、比較対照パターンと対応する特徴パターンとの間の誤差情報を計算する。このように、誤差情報に基づいて前置補償映像を得ることができて、または／およびユーザのフィードバック情報、瞳孔位置、視線方向、瞳距離などユーザパラメータに基づいて前置補償映像を得る。さらに、前置補償映像に基づいて、誤差が発生した誤差ブロック映像（ブロック映像６１１）をブロック映像６１１’に調整し、映像校正の動作を完了する。

図６Ｂにおいて、双眼式のニアアイ表示装置を例に、ユーザの左目の中心位置が位置ＥＬ１１から位置ＥＬ１２にシフトし、右目の中心位置が位置ＥＲ１１から位置ＥＲ１２にシフトし、それぞれ対応する右眼および左眼のライトフィールド素子６２０Ｌ、６２０Ｒの中心点と位置合わせできない場合、ライトフィールド素子６２０Ｌおよび６２０Ｒによって生成された合併映像のいずれにも位置シフト現象が発生する。従って、図６Ａの実施方法で説明したように、左、右目にそれぞれ対応するディスプレイ６１０Ｌおよび６１０Ｒの映像に対しそれぞれ校正動作を行うことができる。

図６Ｂの実施方法からわかるように、本発明の実施例の表示映像の校正方法は、異なるユーザの両目の瞳孔距離に応じて、映像校正の方式で調整を行うことができる。これにより、ニアアイ表示装置において機械式の調整構造を提供してユーザに調整校正の動作を行わせる必要がない。ユーザの便利性を高めるほか、ニアアイ表示装置の生産コストを低減できる。

別の側面において、本発明の実施例では、ユーザの目の焦点距離を検出してユーザパラメータを生成してもよい。かつ、ユーザの目の焦点距離に基づいてブロック映像の表示サイズの調整動作を行い、異なるユーザ全員に明確な合併映像を見せて、さらにニアアイ表示装置の表示効果を高めることができる。

上記複数の実施方法からわかるように、本発明の実施例のニアアイ表示装置は、ディスプレイ、ライトフィールド素子自体の装置特性、ディスプレイ、ライトフィールド素子間の空間特性、またはユーザ特性によって発生する表示映像の誤差の何れに対しも、前記映像校正の手段によって補償できる。つまり、本発明の実施例のニアアイ表示装置において、映像の調整校正を行う機械装置を設置する必要がなく、生産コストを低減させ、かつ使用上の便利性を高めることができる。

比かは図７を参照するが、図７は本発明の一実施例のニアアイ表示装置を示す概略図である。ニアアイ表示装置７００は単眼式のニアアイ表示装置である。ニアアイ表示装置７００はディスプレイ７１０、ライトフィールド素子７２０、映像抽出器７３０および制御器７４０を含む。そのうち、ディスプレイ７１０は複数のブロック映像を表示してもよい。ライトフィールド素子７２０とディスプレイ７１０が重なって配置され、ディスプレイ７１０が表示したブロック映像を受け取り、合併映像を生成する。映像抽出器７３０は、ライトフィールド素子７２０が生成する合併映像の横に配置され、かつ合併映像を抽出する。制御器７４０はディスプレイ７１０および映像抽出器７３０をカップリングし、かつ図１の実施例の前記各ステップを実行する。

なお、制御器７４０はパラメータＰＡＲを受け取り、特徴パターンを生成し、およびブロック映像を調整する根拠とする。パラメータＰＡＲは、ディスプレイ７１０およびライトフィールド素子７２０の装置内部パラメータおよびユーザパラメータを含んでもよい。ディスプレイ７１０およびライトフィールド素子７２０の装置内部パラメータは、ディスプレイ７１０の光学情報、ライトフィールド素子７２０の光学情報、および、ディスプレイ７１０とライトフィールド素子７２０間の空間情報を含んでもよい。ユーザパラメータは、ユーザの瞳孔間隔、アイレリーフ、瞳孔サイズおよび視線方向を含んでもよい。

上記のパラメータＰＡＲは、ニアアイ表示装置７００に内蔵された情報記憶装置（例えば、メモリ）に予め記憶され、制御器７４０の読み取り動作に提供されてもよい。ユーザパラメータの部分について、ユーザによって、目の視力検査で生成された検査報告を基に入力され、かつ、予め情報記憶装置に記憶され、またはニアアイ表示装置７００の入力インターフェース（図示せず）を介して主動でパラメータを入力してもよい。

制御器７４０が実行する動作の詳細について、前記実施例および実施方法において詳しく説明したため、ここで省略する。

以下は図８を参照するが、図８は本発明のさらに別の実施例のニアアイ表示装置を示す概略図である。ニアアイ表示装置８００は双眼式のニアアイ表示装置である。ニアアイ表示装置８００は、ディスプレイ８１０Ｌ、８１０Ｒ、ライトフィールド素子８２０Ｌ、８２０Ｒ、映像抽出器８３０Ｌ、８３０Ｒ、制御器８４０および瞳孔検出器８５０を含む。そのうち、各ディスプレイ８１０Ｌ、８１０Ｒは複数のブロック映像を表示してもよい。ライトフィールド素子８２０Ｌ、８２０Ｒはそれぞれディスプレイ８１０Ｌ、８１０Ｒと重なって配置され、ライトフィールド素子８２０Ｌ、８２０Ｒはそれぞれディスプレイ８１０Ｌ、８１０Ｒが表示したブロック映像を受け取り、合併映像を生成する。映像抽出器８３０Ｌ、８３０Ｒはそれぞれ、ライトフィールド素子８２０Ｌ、８２０Ｒが生成する合併映像の横に配置され、合併映像（例えば、人の目の瞳孔映像）を抽出する。制御器８４０はディスプレイ８１０Ｌ、８１０Ｒおよび映像抽出器８３０Ｌ、８３０Ｒをカップリングし、かつ、図１の実施例の前記各ステップを実行する。また、その他の実施例において、ニアアイ表示装置を組立て後、集荷する前に校正してもよく、映像抽出器８３０Ｌ、８３０Ｒはそれぞれ像形成位置（予め設定したユーザの目位置）に配置され、合併映像を抽出し、かつ図１の実施例の前記ステップを実行する。

なお、本実施例はさらに瞳孔検出器８５０を含む。瞳孔検出器８５０は制御器８４０にカップリングされ、かつユーザの瞳孔状態、例えば、ユーザの瞳孔距離、瞳孔サイズ、視線方向等を検出し、検出結果を基にユーザパラメータを生成する。

図７、図８の実施例の各素子のハードウェア構造について、そのうち、制御器７４０、８４０は演算能力を有するプロセッサーであってもよい。また、制御器７４０、８４０はハードウェア記述言語（ＨａｒｄｗａｒｅＤｅｓｃｒｉｐｔｉｏｎＬａｎｇｕａｇｅ、ＨＤＬ）、または当業者が熟知しているその他の任意のデジタル回路設計法方式によって設計され、現場で構成可能な回路アレイ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ、ＦＰＧＡ）、複合プログラムブルロジックデバイス（ＣｏｍｐｌｅｘＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＤｅｖｉｃｅ、ＣＰＬＤ）または特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ、ＡＳＩＣ）で実行されるハードウェア回路であってもよい。

その他、映像抽出器７３０、８３０Ｌ、８３０Ｒは当業者が熟知している映像抽出装置、例えば、電荷結合素子（Ｃｈａｒｇｅ－ｃｏｕｐｌｅｄＤｅｖｉｃｅ、ＣＣＤ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ
Ｍｅｔａｌ－ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）センサーなどを応用して構成されてもよい。瞳孔検出器８５０も同じく、当業者が熟知している瞳孔検出装置によって構成され、例えば、瞳孔検出器８５０はユーザの目の映像を抽出するための映像抽出器を含んでもよい。瞳孔検出器８５０はさらに目の映像中の瞳孔模様を識別することにより、ユーザの瞳孔状態（位置、サイズおよび視線方向）を得ることができる。

以上をまとめると、本発明は、ディスプレイ上のブロック映像およびライトフィールド素子によって生成された合併映像を比較して、誤差情報を生成し、かつ、誤差情報に基づいて、ユーザパラメータに合わせてブロック映像の少なくとも一つに対し調整動作を行う。これにより、ニアアイ表示装置は機械式の調整装置を提供せずに、装置内部パラメータおよびユーザパラメータによって発生した表示誤差を補償することができて、表示品質を高めるほか、使用上の便利性を高めることもできる。
以上に記載したのは本発明の好ましい実施例であり、本発明の実施範囲がこれに限定されるべきではない。即ち、本発明の請求の範囲および発明の詳細な説明を基に行った簡単な等価変更および修正も本発明の請求範囲内に属する。また、本発明の実施例または請求項のいずれかが必ずしも本発明の開示した目的または利点または特徴を全て満たすとは限らない。その他、要約書と発明の名称は特許文献の検索のために用いられるものであり、本発明の権利範囲を制限するものではない。また、明細書または請求の範囲に言及された「第一」、「第二」などの用語は、素子（ｅｌｅｍｅｎｔ）を命名するめの名称または異なる実施例若しくは範囲を区別するめのものであり、素子の数量の上限または下限を制限するものではない。

Claims

ニアアイ表示装置に適用される表示映像の校正方法であって、
表示映像を分割して、複数のブロック映像を生成するステップと、
ディスプレイによって前記複数のブロック映像を表示し、かつ前記複数のブロック映像がライトフィールド素子を通って、合併映像を生成するステップと、
映像抽出器を提供して前記合併映像を抽出し、前記表示映像および前記合併映像を比較して誤差情報を生成するステップと、
ユーザパラメータを受け取るステップと、
前記ユーザパラメータおよび前記誤差情報に基づいて、前記表示映像中の前記複数のブロック映像の少なくとも一つを調整するステップと、
前記ディスプレイおよび前記ライトフィールド素子の装置内部パラメータを受け取るステップとを含み、
前記ディスプレイおよび前記ライトフィールド素子の装置内部パラメータは、前記ディスプレイの光学情報、前記ライトフィールド素子の光学情報、および前記ディスプレイと前記ライトフィールド素子との間の空間情報を含み、
前記ユーザパラメータは瞳孔間隔、アイレリーフ、瞳孔サイズおよび視線方向を含む
ことを特徴とする表示映像の校正方法。
前記表示映像の校正方法はさらに、
前記装置内部パラメータに基づいて、前記表示映像を生成するステップとを含み、
前記表示映像において、少なくとも一つの特徴パターンを有し、
前記特徴パターンは、前記ライトフィールド素子を通って、前記合併映像中の少なくとも一つの比較対照パターンに形成されることを特徴とする、
請求項１に記載の表示映像の校正方法。
前記表示映像および前記合併映像を比較して前記誤差情報を生成するステップは、さらに、
前記表示映像の中の前記少なくとも一つの特徴パターンと前記合併映像の中の前記比較対照パターンとの差異を比較して、前記誤差情報を得るステップを含むことを特徴とする、請求項２に記載の表示映像の校正方法。
前記ユーザパラメータおよび前記誤差情報に基づいて、前記複数のブロック映像の中の少なくとも一つを調整するステップは、さらに、
前記少なくとも一つの特徴パターンおよび対応して生成された前記比較対照パターンの位置情報を比較して、前記誤差情報を生成するステップと、
前記誤差情報および前記ユーザパラメータに基づいて、前記誤差情報に対応する少なくとも一つの誤差ブロック映像に対し調整を行うステップとを含むことを特徴とする、請求項３に記載の表示映像の校正方法。
前記ユーザパラメータおよび前記誤差情報に基づいて、前記誤差情報に対応する前記少なくとも一つの誤差ブロック映像に対し調整を行うステップは、
前記誤差情報および前記ユーザパラメータに基づいて前記表示映像を調整して、前置補償映像を生成するステップと、
前記前置補償映像に基づいて、前記少なくとも一つの誤差ブロック映像を修正するステップとを含むことを特徴とする、請求項４に記載の表示映像の校正方法。
前記表示映像の校正方法は、さらに、
前記ユーザパラメータに基づいて各前記ブロック映像を拡大または縮小することによって、各前記ブロック映像を調整するステップを含むことを特徴とする、請求項１に記載の表示映像の校正方法。
前記表示映像を分割して前記複数のブロック映像を生成するステップは、
前記ライトフィールド素子の複数のサブライトフィールドユニットに基づいて、前記表示映像を前記複数のブロック映像に分割するステップを含むことを特徴とする、請求項１に記載の表示映像の校正方法。
前記ライトフィールド素子はマイクロレンズアレイであり、各前記複数のサブライトフィールドユニットはマイクロレンズであることを特徴とする、請求項7に記載の表示映像の校正方法。
前記複数のサブライトフィールドユニットの総面積が前記ディスプレイの表示面積より大きいことを特徴とする、請求項７に記載の表示映像の校正方法。
ユーザの瞳孔状態を検出することによって、前記ユーザパラメータを得ることを特徴とする、請求項１に記載の表示映像の校正方法。
ニアアイ表示装置であって、
ディスプレイ、ライトフィールド素子、映像抽出器および制御器を含み、
前記ディスプレイは複数のブロック映像を表示し、
前記ライトフィールド素子と前記ディスプレイが重なって配置され、前記ディスプレイに表示された前記複数のブロック映像は前記ライトフィールド素子を通って、合併映像を生成し、
前記映像抽出器が前記合併映像を抽出し、
前記制御器は前記ディスプレイおよび前記映像抽出器をカップリングし、かつ、前記制御器は、表示映像を分割して前記複数のブロック映像を生成し、前記表示映像および前記合併映像を比較して誤差情報を生成し、ユーザパラメータを受け取り、および、前記誤差情報および前記ユーザパラメータに基づいて、前記表示映像中の前記複数のブロック映像の少なくとも一つを調整し、
前記制御器は前記ディスプレイおよび前記ライトフィールド素子の装置内部パラメータを受け取り、
前記ディスプレイおよび前記ライトフィールド素子の装置内部パラメータは、前記ディスプレイの光学情報、前記ライトフィールド素子の光学情報、および前記ディスプレイと前記ライトフィールド素子との間の空間情報を含み、
前記ユーザパラメータは、瞳孔間隔、アイレリーフ、瞳孔サイズおよび視線方向を含む
することを特徴とする、ニアアイ表示装置。
前記制御器はさらに、
前記装置内部パラメータに基づいて、少なくとも一つの特徴パターンを有する前記表示映像を生成し、
前記特徴パターンは、前記ライトフィールド素子を通って、前記合併映像中の少なくとも一つの比較対照パターンに形成されることを特徴とする、請求項１１に記載のニアアイ表示装置。
前記制御器は、前記表示映像中の前記少なくとも一つの特徴パターンと前記合併映像中の前比較対照パターンとの差異を比較して、前記誤差情報を得ることを特徴とする、請求項１２に記載のニアアイ表示装置。
前記制御器は、
前記少なくとも一つの特徴パターンおよび対応して生成された前記比較対照パターンの位置情報を比較して、前記誤差情報を生成し、
前記誤差情報および前記ユーザパラメータに基づいて、前記誤差情報に対応する少なくとも一つの誤差ブロック映像に対し調整を行うことを特徴とする、請求項１３に記載のニアアイ表示装置。
前記制御器は、
前記誤差情報および前記ユーザパラメータに基づいて前記表示映像を調整することによって、前置補償映像を生成し、
前記前置補償映像に基づいて、前記少なくとも一つの誤差ブロック映像を修正することを特徴とする、請求項１４に記載のニアアイ表示装置。
前記ライトフィールド素子はアレイ状に配列された複数のマイクロレンズを含み、
前記制御器は前記複数のマイクロレンズの位置に基づいて、前記表示映像を前記複数のブロック映像に分割し、
前記複数のマイクロレンズの総面積が前記ディスプレイの表示面積より大きいことを特徴とする、請求項１１に記載のニアアイ表示装置。
上記ニアアイ表示装置はさらに、
前記制御器にカップリングされて、ユーザの瞳孔状態を検出し、かつ前記瞳孔状態に基づいて前記ユーザパラメータを生成する瞳孔検出器を含むことを特徴とする、請求項１１に記載のニアアイ表示装置。
前記ディスプレイは右眼ディスプレイおよび左眼ディスプレイを含み、前記ライトフィールド素子は第一ライトフィールド素子および第二ライトフィールド素子を含み、
前記第一ライトフィールド素子および前記第二ライトフィールド素子はそれぞれ前記右眼ディスプレイおよび前記左眼ディスプレイに対応し、
前記右眼ディスプレイおよび前記左眼ディスプレイはそれぞれ複数の第一ブロック映像および複数の第二ブロック映像を表示し、
前記第一ライトフィールド素子および前記第二ライトフィールド素子はそれぞれ第一合併映像および第二合併映像を生成することを特徴とする、請求項１１に記載のニアアイ表示装置。