JP6966718B2 - ディスプレイ装置 - Google Patents

Description

本発明は、眼前に装着して使用するディスプレイ装置、及び、当該ディスプレイ装置に使用する画像生成装置に関し、特に、マイクロレンズアレイとディスプレイパネルと前記ディスプレイパネルを駆動するドライバ装置を備えて構成されるディスプレイ装置、及び、その画像生成装置に関する。

マイクロレンズアレイとディスプレイパネルと前記ディスプレイパネルを駆動するドライバ装置を備えて構成されるディスプレイ装置としては、下記の特許文献１及び非特許文献１等に開示されているヘッドマウントディスプレイ装置がある。

マイクロレンズアレイを使用することでレンズの焦点距離を短くでき、マイクロレンズアレイとディスプレイパネル間の距離を短くした構成が可能となる。これにより、ディスプレイ装置の小型化及び軽量化が可能となり、例えば、非特許文献１に開示されているように、眼鏡タイプの薄型で軽量なディスプレイ装置の実現が期待される。

非特許文献１では、マイクロレンズアレイを使用した眼鏡タイプのディスプレイ装置のプロトタイプを作製して、その実現可能性は示されたが、高解像度・高視野角の実現には至っておらず、ディスプレイを適切に見ることのできるユーザの視点（眼の位置、瞳孔中心）の範囲を表すアイボックス（ｅｙｅ ｂｏｘ）も十分な大きさではない。前者の問題は、ディスプレイパネルとして高解像度、広面積のパネルが存在しないことが要因として挙げられている。また、後者のアイボックスの大きさの問題には、ユーザの視点の追跡の必要性を指摘しているに止まっている。

上記アイボックスの大きさの問題は、単体レンズを使用する場合は、アイボックスの外側に視点があると映像を見ることができない（黒画面）ことになるが、マイクロレンズアレイを使用する場合は、各レンズがアレイ状に配列した構造であるため、同じ画像が周期的に繰り返されるという現象が生じる。

米国特許出願公開第２０１４／０３４０３８９号

Ｄｏｕｇｌａｓ Ｌａｎｍａｎ ａｎｄ Ｄａｖｉｄ Ｌｕｅｂｋｅ，"Ｎｅａｒ−ｅｙｅ ｌｉｇｈｔ ｆｉｅｌｄ ｄｉｓｐｌａｙｓ，" ＡＣＭ ＳＩＧＧＲＡＰＨ ２０１３ Ｅｍｅｒｇｉｎｇ Ｔｅｃｈｎｏｌｏｇｉｅｓ ｏｎ − ＳＩＧＧＲＡＰＨ ’１３．

上記アイボックスの大きさの問題は、ユーザの視点の取り扱いの問題であるが、視点は、現実には点ではなく、瞳孔という大きさのある面領域として考慮する必要がある。つまり、瞳孔面（瞳孔の開口面）の一部がアイボックス内に存在しても、他の一部がアイボックス外に存在すると、上述の画像の繰り返しの影響を受け、ユーザが知覚する画質が低下するという新たな問題が生じる。非特許文献１では、視点を瞳孔面という面領域として取り扱うことについては言及がなく、当然に、それに起因する問題への対策も取られていない。

瞳孔の大きさは、一般に直径が２ｍｍから６ｍｍ乃至８ｍｍまでの範囲で変化して、眼球内に取り込む光の量を調節している。そのため、瞳孔が拡大すると、上述の画像の繰り返しの影響を強く受け、ユーザが知覚する画質の低下が顕著となる。

本発明は、上述の問題点に鑑みてなされたものであり、その目的は、眼前に装着して使用するマイクロレンズアレイを備えたディスプレイ装置において、瞳孔の拡大等に伴う画質の低下を抑制し、高品質の画像をユーザが観察できるようにすることにある。

本発明に係るディスプレイ装置は、ユーザの眼前に装着して使用するディスプレイ装置であって、マイクロレンズアレイ、ディスプレイパネル、前記ディスプレイパネルを駆動するドライバ装置、前記ディスプレイパネルに表示させる出力画像の出力画像データを生成し前記ドライバ装置に出力する画像生成装置を備えてなり、
前記マイクロレンズアレイの主面と前記ディスプレイパネルの発光面が、前記マイクロレンズアレイの焦点距離より短い距離だけ離間して対向し、装着時に前記マイクロレンズアレイの主面が前記ディスプレイパネルの発光面よりユーザの瞳孔面側に位置するように構成され、
前記画像生成装置は、入力処理部、演算処理部、及び、出力処理部を備えて構成され、
前記入力処理部は、前記ディスプレイパネルの各画素から出射される光が、前記マイクロレンズアレイ及び前記瞳孔面を通過して網膜上に結像されることで、前記ユーザによって前記ディスプレイパネルより後方の仮想画像面上で観察される虚像を入力画像とする入力画像データを受け付けるように構成され、
前記演算処理部は、前記仮想画像面上の前記入力画像を構成する各入力画素の中から、前記ディスプレイパネルの１つの画素に対応する１つの前記入力画素を特定し、前記入力画像データから前記特定した前記入力画素の画素値を読み出して入力画素値とし、当該入力画素値に、当該１つの画素に対して予め設定された重み係数を乗じて、当該１つの画素の画素値とする画素値生成処理を、前記ディスプレイパネルの各画素に対して各別に行うように構成され、
前記出力処理部は、前記画素値生成処理で生成された各画素の前記画素値を備えた前記出力画像データを、前記ドライバ装置に出力するように構成され、
前記重み係数は、前記ディスプレイパネルの各画素に対して、各別に、前記ディスプレイパネルの１つの対象画素が、前記対象画素から出射された光が前記マイクロレンズアレイ内の複数のレンズを通して前記瞳孔面に到達することで、前記対象画素以外の他の画素のノイズ源と見做される特定画素である場合に、０が割り当てられ、前記対象画素が、前記特定画素でない場合に、前記マイクロレンズアレイの主面と前記ディスプレイパネルの発光面と前記瞳孔面の配置関係、前記マイクロレンズアレイ及び前記ディスプレイパネルの構造的属性、前記瞳孔面の直径、及び、当該対象画素の位置に応じて生成された０、１、０より大きく１未満の中間値の３種類の補正値が全て割り当てられ、前記画像生成装置に内蔵または外付けの記憶装置内に保存されていることを第１の特徴とする。

更に、上記第１の特徴のディスプレイ装置は、前記重み係数が、前記対象画素が前記特定画素でない場合に、前記特定画素の前記重み係数の値が０であることに起因して前記仮想画像面上において前記ユーザによって観測されるノイズパターンの発生が抑制されるように、前記補正値が割り当てられていることが好ましい。

上記第１の特徴のディスプレイ装置によれば、画像生成装置が、入力画像から生成した出力画像データをドライバ装置に出力してディスプレイパネル上に表示させることで、ディスプレイパネルの各画素から出射される光が、マイクロレンズアレイ及びユーザの瞳孔を通過して網膜上に結像されて、当該ユーザはディスプレイパネルより後方の仮想画像面上において該入力画像の拡大された再生画像を虚像として観察することでき、その際、出力画像データを生成する画素値生成処理においてディスプレイパネルの各画素に対して瞳孔面の直径に応じて生成された重み係数を用いることにより、上述した瞳孔の拡大に伴いユーザが該再生画像上において知覚する画質の低下を効果的に抑制することができる。当該抑制効果については詳細に後述する。

ここで、「ユーザの眼前に装着して使用する」とは、ディスプレイ装置の一部が眼前にあればよく、必ずしも、ディスプレイ装置の全ての構成要素が眼前に位置する必要はない。また、「眼前」とはユーザの視線軸の方向（瞳孔面に垂直な方向）に前方であることを意味する。従って、マイクロレンズアレイとディスプレイパネルが視線軸上に存在すれば、「ユーザの眼前に装着して使用する」に該当する。更に、ユーザの視線軸を鏡（ハーフミラーを含む）やプリズム等で屈曲させる構造を採用している場合には、その鏡（ハーフミラーを含む）やプリズム等がディスプレイ装置の一部であれば、「ユーザの眼前に装着して使用する」に該当し、屈曲した視線軸上にマイクロレンズアレイとディスプレイパネルが存在する場合も、「ユーザの眼前に装着して使用する」に該当する。

また、「マイクロレンズアレイの主面」とは、マイクロレンズアレイを構成する個々のレンズの幾何光学上の主点が存在する面である。

更に、「マイクロレンズアレイ及びディスプレイパネルの構造的属性」とは、例えば、マイクロレンズアレイの焦点距離、レンズの配列間隔（レンズの大きさ）、レンズの配列数、及び、ディスプレイパネルの描画領域の大きさ、画素の配列間隔（画素の大きさ）、描画領域内の画素の配列数等を意味する。

更に、上記第１の特徴のディスプレイ装置は、前記瞳孔面の中心と前記対象画素の中心を結ぶ直線が通過する前記マイクロレンズアレイ内の１つのレンズを前記対象画素に対応する対象レンズとした場合において、前記対象画素から出射され前記対象レンズに隣接する複数の隣接レンズの少なくとも１つを通過した光の少なくとも一部が前記瞳孔面を通過する場合、当該対象画素を前記特定画素として、前記重み係数が生成されていることが好ましい。これにより、重み係数の作成時における特定画素の選別が容易且つ確実に行うことができる。

更に、上記第１の特徴のディスプレイ装置は、前記レンズの配列間隔が、前記瞳孔面の直径の最小値より小さいことが好ましい。レンズの配列間隔が小さいと個々のレンズの焦点距離を短くでき、ディスプレイ装置の小型化、薄型化が図れ好ましい。しかしながら、一方で、レンズの配列間隔が小さいと、同じ瞳孔面の大きさに対して、相対的に瞳孔の拡大による画質の低下が顕著となるため、上記第１の特徴のディスプレイ装置によって、当該画質低下がより好適に抑制され、上記ディスプレイ装置の小型化、薄型化との両立が図れる。

更に、本発明に係るディスプレイ装置は、上記第１の特徴に加えて、前記ディスプレイパネルの各画素がＲＧＢ３原色に個別に対応した副画素を備えたカラー表示対応の画素であり、前記入力処理部が、前記入力画素の画素値が前記ＲＧＢ３原色の各色の画素値で構成された前記入力画像データを受け付け、前記演算処理部が、前記画素値生成処理において、前記ディスプレイパネルの１つの画素に対応する１つの前記入力画素を特定し、前記入力画像データから前記特定した前記入力画素の前記各色の画素値を読み出して前記各色の入力画素値とし、当該各色の入力画素値に、当該１つの画素に対して予め設定された前記重み係数を乗じて、当該１つの画素の前記各色に対応した前記副画素の各画素値とすることを第２の特徴とする。

上記第２の特徴のディスプレイ装置によれば、画像生成装置が、カラー画像の入力画像から生成した出力画像データをドライバ装置に出力してディスプレイパネル上に表示させることで、ディスプレイパネルの各画素から出射される光が、マイクロレンズアレイ及びユーザの瞳孔を通過して網膜上に結像されて、当該ユーザはディスプレイパネルより後方の仮想画像面上において該カラー入力画像の拡大された再生画像を虚像として観察することでき、その際、出力画像データを生成する画素値生成処理においてディスプレイパネルの各画素に対して瞳孔面の直径に応じて生成された重み係数を用いることにより、上述した瞳孔の拡大に伴いユーザが該再生画像上において知覚する画質の低下を効果的に抑制することができる。

更に、本発明に係るディスプレイ装置は、上記第１または第２の特徴に加えて、前記瞳孔面の中心と前記対象画素の中心を結ぶ直線が通過する前記マイクロレンズアレイ内の１つのレンズを前記対象画素に対応する対象レンズとした場合において、
前記対象画素が、前記特定画素でない場合に、当該対象画素に対応する前記対象レンズを中心とする前記瞳孔面の直径と前記レンズの配列間隔の比に応じた範囲内の被検査レンズの夫々について、
前記対象画素から出射した光が前記対象レンズによって前記仮想画像面上に虚像として観測される対象仮想画素位置と前記被検査レンズの主点を結ぶ直線が前記ディスプレイパネルの前記発光面と交差する点を、前記被検査レンズに対応する被検査画素点とし、
前記被検査画素点から出射され当該被検査画素点に対応する前記被検査レンズに隣接する複数の隣接レンズを通過した光が前記瞳孔面を通過せずに、前記瞳孔面の外周領域に到達する場合に、第１変数と第２変数の計算を行い、当該光が前記瞳孔面を通過する場合は、前記第１変数と第２変数の計算を行わず、
前記第１変数は、当該光の到達位置の前記瞳孔面の中心または外縁からの離間距離に応じて、前記離間距離が前記瞳孔面の直径に応じた所定の基準値以上の場合に１とし、前記離間距離が前記所定の基準値未満の場合に、前記離間距離が大きいほど１に近付く０以上１未満の値として計算され、
前記第２変数は、前記対象仮想画素位置から、前記被検査レンズを通して前記瞳孔面とその延長面に投影される前記被検査レンズの投影領域と前記瞳孔面とが重複する部分の前記瞳孔面に対する面積比に、前記第１変数を乗じて計算され、
前記対象画素に対応する前記第２変数の計算された全ての前記被検査レンズの前記第２変数を合計して第３変数とし、前記対象レンズが前記被検査レンズである場合の前記第１変数を前記第３変数で除した値に対して、最大値が１となるように正規化した値が、前記対象画素の前記重み係数となるように、
前記ディスプレイパネルの各画素に対して、各別に、前記重み係数が設定されていることを第３の特徴とする。

上記第３の特徴の画像生成装置によれば、特定画素の重み係数の値が０であることに起因して仮想画像面上においてユーザによって観測されるノイズパターンの発生を効果的に抑制可能な重み係数を使用することができ、上述した瞳孔の拡大に伴いユーザが再生画像上において知覚する画質の低下を確実に抑制することができる。

更に、本発明に係るディスプレイ装置は、上記第１の特徴に加えて、前記ディスプレイパネルの各画素がカラー表示非対応の画素であり、
前記ディスプレイパネルの縦方向及び横方向に夫々複数の前記画素を有する画素区画の夫々、または、前記マイクロレンズアレイの個々の前記レンズの夫々に対して、前記ＲＧＢ３原色の何れか１色に対応したカラーフィルタが設置され、前記画素区画または前記レンズの夫々に前記ＲＧＢ３原色の何れか１色が対応付けられており、
前記３色のカラーフィルタが、前記仮想画像面上の任意の１点を頂点とし、前記瞳孔面を底面とする円錐体が前記カラーフィルタの設置面と交差する断面内に、前記３色の全てが存在するように配列しており、
前記入力処理部が、前記入力画素の画素値が前記ＲＧＢ３原色の各色の画素値で構成された前記入力画像データを受け付け、
前記演算処理部が、前記各画素が前記ＲＧＢ３原色の何れの色に対応しているかの色対応関係を備えており、前記画素値生成処理において、前記ディスプレイパネルの１つの画素に対応する１つの前記入力画素を特定し、前記入力画像データから前記特定した前記入力画素の前記色対応関係によって定まる前記ＲＧＢ３原色の１つの画素値を読み出して入力画素値とし、当該入力画素値に、当該１つの画素に対して予め設定された前記重み係数を乗じて、当該１つの画素の画素値とすることを第４の特徴とする。

上記第４の特徴のディスプレイ装置によれば、画像生成装置が、カラー画像の入力画像から生成した出力画像データをドライバ装置に出力してカラー表示非対応のディスプレイパネル上に表示させることで、ディスプレイパネルのカラー表示非対応の各画素から出射される光が、マイクロレンズアレイ及びユーザの瞳孔を通過して網膜上に結像されて、当該ユーザはディスプレイパネルより後方の仮想画像面上において該カラー入力画像の拡大された再生画像を虚像として観察することでき、その際、出力画像データを生成する画素値生成処理においてディスプレイパネルの各画素に対して瞳孔面の直径に応じて生成された重み係数を用いることにより、上述した瞳孔の拡大に伴いユーザが該再生画像上において知覚する画質の低下を効果的に抑制することができる。

更に、カラー表示非対応のディスプレイパネルの各画素は、通常のカラー表示対応のディスプレイパネルの各画素と異なり、ＲＧＢ３原色に個別に対応した副画素を備える必要がないため、つまり、１画素内で色の分離を行う必要がないため、各画素の面積を縮小でき、ディスプレイパネルの高解像度化を容易に実現することができる。

更に、本発明に係るディスプレイ装置は、上記第４の特徴に加えて、前記瞳孔面の中心と前記対象画素の中心を結ぶ直線が通過する前記マイクロレンズアレイ内の１つのレンズを前記対象画素に対応する対象レンズとした場合において、
前記対象画素が、前記特定画素でない場合に、当該対象画素に対応する前記対象レンズを中心とする前記瞳孔面の直径と前記レンズの配列間隔の比に応じた範囲内の被検査レンズの夫々について、
前記対象画素から出射した光が前記対象レンズによって前記仮想画像面上に虚像として観測される対象仮想画素位置と前記被検査レンズの主点を結ぶ直線が前記ディスプレイパネルの前記発光面と交差する点を、前記被検査レンズに対応する被検査画素点とし、
前記被検査画素点の前記色対応関係によって定まる前記ＲＧＢ３原色の１つである対応色が、前記対象画素の前記色対応関係によって定まる前記ＲＧＢ３原色の１つである対応色と一致し、且つ、前記被検査画素点から出射され当該被検査画素点に対応する前記被検査レンズに隣接する複数の隣接レンズを通過した光が前記瞳孔面を通過せずに、前記瞳孔面の外周領域に到達する場合に、第１変数と第２変数の計算を行い、
前記被検査画素点の前記対応色が前記対象画素の前記対応色と一致しないか、前記被検査画素点から出射され前記複数の隣接レンズを通過した光が前記瞳孔面を通過する場合は、前記第１変数と第２変数の計算を行わず、
前記第１変数は、当該光の到達位置の前記瞳孔面の中心または外縁からの離間距離に応じて、前記離間距離が前記瞳孔面の直径に応じた所定の基準値以上の場合に１とし、前記離間距離が前記所定の基準値未満の場合に、前記離間距離が大きいほど１に近付く０以上１未満の値として計算され、
前記第２変数は、前記対象仮想画素位置から、前記被検査レンズを通して前記瞳孔面とその延長面に投影される前記被検査レンズの投影領域と前記瞳孔面とが重複する部分の前記瞳孔面に対する面積比に、前記第１変数を乗じて計算され、
前記対象画素に対応する前記第２変数の計算処理を行った全ての前記被検査レンズの前記第２変数を合計して第３変数とし、前記対象レンズが前記被検査レンズである場合の前記第１変数を前記第３変数で除した値に対して、最大値が１となるように正規化した値が、前記対象画素の前記重み係数となるように、
前記ディスプレイパネルの各画素に対して、各別に、前記重み係数が設定されていることを第５の特徴とする。

上記第５の特徴の画像生成装置によれば、特定画素の重み係数の値が０であることに起因して仮想画像面上においてユーザによって観測されるノイズパターンの発生を色別に効果的に抑制可能な重み係数を使用することができ、上述した瞳孔の拡大に伴いユーザが再生画像上において知覚する画質の低下を、カラー表示非対応のディスプレイパネルを使用した場合においても、確実に抑制することができる。

更に、本発明に係るディスプレイ装置は、上記第１、第２及び第４の特徴に加えて、前記ディスプレイパネルが、前記ディスプレイパネルより小面積のディスプレイパネルユニットを縦方向と横方向の少なくとも１方向に複数配列して構成され、前記ディスプレイパネル内の前記ディスプレイパネルユニット間の隙間を仮想的に前記特定画素と見做して、前記ディスプレイパネルユニット内の各画素に対して、前記重み係数が生成されていることを第６の特徴とする。

上記第６の特徴の画像生成装置によれば、画像生成装置が、入力画像から生成した出力画像データをドライバ装置に出力して複数のディスプレイパネルユニットを連結して成るディスプレイパネル上に表示させることで、複数のディスプレイパネルユニットの各画素から出射される光が、マイクロレンズアレイ及びユーザの瞳孔を通過して網膜上に結像されて、当該ユーザはディスプレイパネルより後方の仮想画像面上において該入力画像の拡大された再生画像を虚像として観察することでき、その際、出力画像データを生成する画素値生成処理において、ディスプレイパネルユニット間の隙間に起因してユーザが仮想画像面上において観測されるノイズパターンの発生が抑制されるように、ディスプレイパネルの各画素に対して瞳孔面の直径に応じて生成された重み係数を用いることにより、上述した瞳孔の拡大に伴いユーザが該再生画像上において知覚する画質の低下を、複数のディスプレイパネルユニットを連結して成るディスプレイパネルを使用する場合においても効果的に抑制することができる。これにより、ディスプレイパネルの広面積化が容易に実現できる。

更に、本発明に係るディスプレイ装置は、上記第３及び第５の特徴に加えて、前記ディスプレイパネルが、前記ディスプレイパネルより小面積のディスプレイパネルユニットを縦方向と横方向の少なくとも１方向に複数配列して構成され、
前記対象画素が、前記特定画素でない場合に、前記被検査レンズの夫々について、
前記被検査画素点が前記ディスプレイパネルユニット内に存在する場合に、前記第１変数及び前記第２変数の計算処理を行い、前記被検査画素点が前記ディスプレイパネルユニット内に存在しない場合は、前記第１変数及び前記第２変数の計算処理を行わず、
前記対象画素に対応する前記第２変数の計算された全ての前記被検査レンズの前記第２変数を合計して第３変数とし、前記対象レンズが前記被検査レンズである場合の前記第１変数を前記第３変数で除した値に対して、最大値が１となるように正規化した値が、前記対象画素の前記重み係数となるように、
複数の前記ディスプレイパネルユニットの各画素に対して、各別に、前記重み係数が設定されていることを第７の特徴とする。

上記第７の特徴の画像生成装置によれば、特定画素の重み係数の値が０であること、更に、ディスプレイパネルユニット間の隙間に起因して仮想画像面上においてユーザによって観測されるノイズパターンの発生を抑制可能な重み係数を使用することができ、上述した瞳孔の拡大に伴いユーザが再生画像上において知覚する画質の低下を、複数のディスプレイパネルユニットを連結して成るディスプレイパネルを使用した場合においても、確実に抑制することができる。

更に、上記第７の特徴のディスプレイ装置は、前記第１変数の計算処理において、前記被検査画素点と前記隙間との間の距離を前記レンズの配列間隔で除した値が所定値以下の場合、当該値の増加に応じて０から１まで単調に増加する第４変数を前記第１変数に乗じた値を前記第１変数として使用することが好ましい。これにより、ディスプレイパネルユニット間の隙間に起因して仮想画像面上においてユーザによって観測されるノイズパターンの発生をより効果的に抑制することができる。

更に、本発明に係るディスプレイ装置は、ユーザの眼前に装着して使用するディスプレイ装置であって、マイクロレンズアレイ、ディスプレイパネル、前記ディスプレイパネルを駆動するドライバ装置、前記ディスプレイパネルに表示させる出力画像の出力画像データを生成し前記ドライバ装置に出力する画像生成装置を備えてなり、
前記マイクロレンズアレイの主面と前記ディスプレイパネルの発光面が、前記マイクロレンズアレイの焦点距離より短い距離だけ離間して対向し、装着時に前記マイクロレンズアレイの主面が前記ディスプレイパネルの発光面よりユーザの瞳孔面側に位置するように構成され、
前記ディスプレイパネルの各画素がカラー表示非対応の画素であり、
前記ディスプレイパネルの縦方向及び横方向に夫々複数の前記画素を有する画素区画の夫々、または、前記マイクロレンズアレイの個々の前記レンズの夫々に対して、前記ＲＧＢ３原色の何れか１色に対応したカラーフィルタが設置され、前記画素区画または前記レンズの夫々に前記ＲＧＢ３原色の何れか１色が対応付けられており、
前記画像生成装置は、入力処理部、演算処理部、及び、出力処理部を備えて構成され、
前記入力処理部は、前記ディスプレイパネルの各画素から出射される光が、前記マイクロレンズアレイ及び前記瞳孔面を通過して網膜上に結像されることで、前記ユーザによって前記ディスプレイパネルより後方の仮想画像面上で観察される虚像を入力画像とする入力画像データであって、前記入力画像を構成する各入力画素の画素値が前記ＲＧＢ３原色の各色の画素値で構成された前記入力画像データを受け付けるように構成され、
前記演算処理部は、前記各画素が前記ＲＧＢ３原色の何れの色に対応しているかの色対応関係を備え、前記各入力画素の中から、前記ディスプレイパネルの１つの画素に対応する１つの前記入力画素を特定し、前記入力画像データから前記特定した前記入力画素の前記色対応関係によって定まる前記ＲＧＢ３原色の１つの画素値を読み出して入力画素値とし、前記入力画素値または前記入力画素値に当該１つの画素に対して予め設定された重み係数を乗じた値を当該１つの画素の画素値とする画素値生成処理を、前記ディスプレイパネルの各画素に対して各別に行うように構成され、
前記出力処理部は、前記画素値生成処理で生成された各画素の前記画素値を備えた前記出力画像データを、前記ドライバ装置に出力するように構成され、
前記３色のカラーフィルタが、前記仮想画像面上の任意の１点を頂点とし、前記瞳孔面を底面とする円錐体が前記カラーフィルタの設置面と交差する断面内に、前記３色の全てが存在するように配列していることを第８の特徴とする。

上記第８の特徴のディスプレイ装置によれば、画像生成装置が、カラー画像の入力画像から生成した出力画像データをドライバ装置に出力してカラー表示非対応のディスプレイパネル上に表示させることで、ディスプレイパネルのカラー表示非対応の各画素から出射される光が、マイクロレンズアレイ及びユーザの瞳孔を通過して網膜上に結像されて、当該ユーザはディスプレイパネルより後方の仮想画像面上において該カラー入力画像の拡大された再生画像を虚像として観察することできる。

上記第８の特徴のディスプレイ装置は、前記ディスプレイパネルの各画素の内、１つの前記入力画素に対応し、且つ、前記色対応関係で定まる３色に対応する３つの画素の前記重み係数の比が、前記仮想画像面上における当該１つの前記入力画素の中心を頂点とする前記円錐体が前記カラーフィルタの設置面と交差する前記断面内における３色の前記カラーフィルタの面積の逆数の比となっていることが好ましい。これにより、ユーザが観察する再生画像の高精度の色再現性が実現できる。

更に、カラー表示非対応のディスプレイパネルの各画素は、通常のカラー表示対応のディスプレイパネルの各画素と異なり、ＲＧＢ３原色に個別に対応した副画素を備える必要がないため、つまり、１画素内で色の分離を行う必要がないため、各画素の面積を縮小でき、ディスプレイパネルの高解像度化を容易に実現することができる。

更に、本発明に係るディスプレイ装置は、ユーザの眼前に装着して使用するディスプレイ装置であって、マイクロレンズアレイ、ディスプレイパネル、前記ディスプレイパネルを駆動するドライバ装置、前記ディスプレイパネルに表示させる出力画像の出力画像データを生成し前記ドライバ装置に出力する画像生成装置を備えてなり、
前記ディスプレイパネルが、前記ディスプレイパネルより小面積のディスプレイパネルユニットを縦方向と横方向の少なくとも１方向に複数配列して構成され、
前記マイクロレンズアレイの主面と前記ディスプレイパネルの発光面が、前記マイクロレンズアレイの焦点距離より短い距離だけ離間して対向し、装着時に前記マイクロレンズアレイの主面が前記ディスプレイパネルの発光面よりユーザの瞳孔面側に位置するように構成され、
前記画像生成装置は、入力処理部、演算処理部、及び、出力処理部を備えて構成され、
前記入力処理部は、前記ディスプレイパネルの各画素から出射される光が、前記マイクロレンズアレイ及び前記瞳孔面を通過して網膜上に結像されることで、前記ユーザによって前記ディスプレイパネルより後方の仮想画像面上で観察される虚像を入力画像とする入力画像データを受け付けるように構成され、
前記演算処理部は、前記仮想画像面上の前記入力画像を構成する各入力画素の中から、前記ディスプレイパネルの１つの画素に対応する１つの前記入力画素を特定し、前記入力画像データから前記特定した前記入力画素の画素値を読み出して入力画素値とし、当該入力画素値に、当該１つの画素に対して予め設定された重み係数を乗じて、当該１つの画素の画素値とする画素値生成処理を、前記ディスプレイパネルの各画素に対して各別に行うように構成され、
前記出力処理部は、前記画素値生成処理で生成された各画素の前記画素値を備えた前記出力画像データを、前記ドライバ装置に出力するように構成され、
前記重み係数は、前記ディスプレイパネルの各画素に対して、各別に、前記ディスプレイパネルの１つの対象画素が、前記ディスプレイパネル内に前記ディスプレイパネルユニット間の隙間が存在することに起因して前記仮想画像面上において前記ユーザによって観測されるノイズパターンの発生が抑制されるように、前記マイクロレンズアレイの主面と前記ディスプレイパネルの発光面と前記瞳孔面の配置関係、前記マイクロレンズアレイ及び前記ディスプレイパネルの構造的属性、前記瞳孔面の直径、及び、当該対象画素の位置に応じて生成された０、１、０より大きく１未満の中間値の３種類の補正値が全てが割り当てられ、前記画像生成装置の所定の記憶領域に保存されていることを第９の特徴とする。

上記第９の特徴のディスプレイ装置によれば、画像生成装置が、入力画像から生成した出力画像データをドライバ装置に出力して複数のディスプレイパネルユニットを連結して成るディスプレイパネル上に表示させることで、複数のディスプレイパネルユニットの各画素から出射される光が、マイクロレンズアレイ及びユーザの瞳孔を通過して網膜上に結像されて、当該ユーザはディスプレイパネルより後方の仮想画像面上において該入力画像の拡大された再生画像を虚像として観察することでき、その際、出力画像データを生成する画素値生成処理において、ディスプレイパネルユニット間の隙間に起因してユーザが仮想画像面上において観測されるノイズパターンの発生が抑制されるように、ディスプレイパネルの各画素に対して瞳孔面の直径に応じて生成された重み係数を用いることにより、上記ノイズパターンによる画質の低下が抑制され、複数のディスプレイパネルユニットを連結して成るディスプレイパネルの使用が可能となり、ディスプレイパネルの広面積化が容易に実現できる。

更に、本発明に係るディスプレイ装置は、上記第９の特徴に加えて、前記瞳孔面の中心と前記対象画素の中心を結ぶ直線が通過する前記マイクロレンズアレイ内の１つのレンズを前記対象画素に対応する対象レンズとした場合において、
前記対象画素が、前記重み係数として既に０が割り当てられていない場合、当該対象画素に対応する前記対象レンズを中心とする前記瞳孔面の直径と前記レンズの配列間隔の比に応じた範囲内の被検査レンズの夫々について、
前記対象画素から出射した光が前記対象レンズによって前記仮想画像面上に虚像として観測される対象仮想画素位置と前記被検査レンズの主点を結ぶ直線が前記ディスプレイパネルの前記発光面と交差する点を、前記被検査レンズに対応する被検査画素点とし、
前記被検査画素点が前記ディスプレイパネルユニット内に存在し、且つ、前記被検査画素点から出射され当該被検査画素点に対応する前記被検査レンズに隣接する複数の隣接レンズを通過した光が前記瞳孔面を通過せずに、前記瞳孔面の外周領域に到達する場合に、第１変数と第２変数の計算を行い、
前記被検査画素点が前記ディスプレイパネルユニット内に存在しないか、前記被検査画素点から出射され前記複数の隣接レンズを通過した光が前記瞳孔面を通過する場合は、前記第１変数と第２変数の計算を行わず、
前記第１変数は、当該光の到達位置の前記瞳孔面の中心または外縁からの離間距離に応じて、前記離間距離が前記瞳孔面の直径に応じた所定の基準値以上の場合に１とし、前記離間距離が前記所定の基準値未満の場合に、前記離間距離が大きいほど１に近付く０以上１未満の値として計算され、
前記第２変数は、前記対象仮想画素位置から、前記被検査レンズを通して前記瞳孔面とその延長面に投影される前記被検査レンズの投影領域と前記瞳孔面とが重複する部分の前記瞳孔面に対する面積比に、前記第１変数を乗じて計算され、
前記対象画素に対応する前記第２変数の計算処理を行った全ての前記被検査レンズの前記第２変数を合計して第３変数とし、前記対象レンズが前記被検査レンズである場合の前記第１変数を前記第３変数で除した値に対して、最大値が１となるように正規化した値が、前記対象画素の前記重み係数となるように、
複数の前記ディスプレイパネルユニットの各画素に対して、各別に、前記重み係数が設定されていることを第１０の特徴とする。

上記第１０の特徴のディスプレイ装置によれば、ディスプレイパネルユニット間の隙間に起因して仮想画像面上においてユーザによって観測されるノイズパターンの発生を抑制可能な重み係数を使用することができ、上述した第９の特徴のディスプレイ装置の効果が確実に奏される。

更に、上記第１０の特徴のディスプレイ装置は、前記第１変数の計算処理において、前記被検査画素点と前記隙間との間の距離を前記レンズの配列間隔で除した値が所定値以下の場合、当該値の増加に応じて０から１まで単調に増加する第４変数を前記第１変数に乗じた値を前記第１変数として使用することが好ましい。これにより、ディスプレイパネルユニット間の隙間に起因して仮想画像面上においてユーザによって観測されるノイズパターンの発生をより効果的に抑制することができる。

更に、上記第９または第１０の特徴のディスプレイ装置は、前記レンズの配列間隔が、前記瞳孔面の直径の最小値より小さいことが好ましい。レンズの配列間隔が小さいと個々のレンズの焦点距離を短くでき、ディスプレイ装置の小型化、薄型化が図れ好ましい。しかしながら、一方で、レンズの配列間隔が小さいと、同じ瞳孔面の大きさに対して、相対的に瞳孔の拡大による画質の低下が顕著となるため、上記第９または第１０の特徴のディスプレイ装置によって、当該画質低下がより好適に抑制され、上記ディスプレイ装置の小型化、薄型化との両立が図れる。

更に、本発明に係るディスプレイ装置は、上記何れかの特徴に加えて、前記重み係数が、前記瞳孔面の直径、前記瞳孔面に直交して前記瞳孔面の中心を通過する視線軸が前記ディスプレイパネルと交差する位置、及び、前記瞳孔面の中心を通過して前記ディスプレイパネルと直交する基準直線に対する前記視線軸の方向の内の１以上の瞳孔面に関するパラメータに応じて、複数組の前記重み係数を備え、
前記入力処理部が、前記１以上の瞳孔面に関するパラメータを入力情報として受け付けるように構成され、
前記演算処理部が、前記入力情報に応じた前記重み係数を使用することを第１１の特徴とする。

上記第１１の特徴のディスプレイ装置によれば、ユーザの瞳孔面に関するパラメータが変化しても、変化後のパラメータに対応した重み係数を使用することで、上記何れかの特徴のディスプレイ装置の効果が確実に奏される。

更に、本発明に係るディスプレイ装置は、上記何れかの特徴に加えて、前記瞳孔面の直径、前記瞳孔面に直交して前記瞳孔面の中心を通過する視線軸が前記ディスプレイパネルと交差する位置、及び、前記瞳孔面の中心を通過して前記ディスプレイパネルと直交する基準直線に対する前記視線軸の方向の内の１以上の瞳孔面に関するパラメータを計測し、その計測結果を前記入力情報として、前記画像生成装置に出力するセンサを備えていることを第１２の特徴とする。

上記第１２の特徴のディスプレイ装置によれば、ユーザの瞳孔面に関するパラメータの変化に対して適切な重み係数の選択或いは生成することが可能となる。

本発明に係るディスプレイ装置によれば、眼前に装着して使用するマイクロレンズアレイを備えたディスプレイ装置であって、瞳孔の拡大等に伴う画質の低下を抑制し、高品質の画像をユーザが観察できるディスプレイ装置を提供できる。

本発明の第１実施形態に係るディスプレイ装置の概略の構成例を模式的に示すブロック図。 瞳孔面Ｓ１、マイクロレンズアレイの主面Ｓ２、ディスプレイパネルの発光面Ｓ３、仮想画像面Ｓ４の相対的な配置関係を模式的に示す図。 演算処理部が実行する第1処理の処理内容を補足的に説明する説明図。 重み係数Ｗ（ｍ，ｎ）の作成手順の処理の流れを簡略的に示すフローチャート。 重み係数Ｗ（ｍ，ｎ）の作成手順のステップ１の処理内容を補足的に説明する説明図。 重み係数Ｗ（ｍ，ｎ）の作成手順のステップ１の処理内容を補足的に説明する説明図。 重み係数Ｗ（ｍ，ｎ）の作成手順のステップ３の処理内容を補足的に説明する説明図。 重み係数Ｗ（ｍ，ｎ）の作成手順のステップ４の処理内容を補足的に説明する説明図。 重み係数Ｗ（ｍ，ｎ）の作成手順のステップ４の処理内容を補足的に説明する説明図。 第1乃至第３実施形態の実施例及び比較例に係るディスプレイ装置で想定した入力画像データ（仮想画像面Ｓ４）の属性と、マイクロレンズアレイ及びディスプレイパネルの構造的属性と、瞳孔面Ｓ１の直径Ｄｐを示す一覧表。 実施例１及び２に使用した入力画像Ａを示す図。 実施例１に使用した入力画像Ｂを示す図。 実施例１の重み係数Ｗ（ｍ，ｎ）の重み係数画像とその要部拡大図を示す図。 実施例２の重み係数Ｗ（ｍ，ｎ）の重み係数画像とその要部拡大図を示す図。 実施例１の入力画像Ａに対応する表示画像Ａとその要部拡大図を示す図。 実施例１の入力画像Ｂに対応する表示画像Ｂを示す図。 実施例２の入力画像Ａに対応する表示画像Ａとその要部拡大図を示す図。 実施例１の入力画像Ａに対応する網膜画像のシミュレーション画像Ａとその要部拡大図を示す図。 実施例１の入力画像Ｂに対応する網膜画像のシミュレーション画像Ｂを示す図。 実施例２の入力画像Ａに対応する網膜画像のシミュレーション画像Ａとその要部拡大図を示す図。 比較例１の入力画像Ａに対応する表示画像Ａを示す図。 比較例１の入力画像Ｂに対応する表示画像Ｂを示す図。 比較例１の入力画像Ａに対応する網膜画像のシミュレーション画像Ａを示す図。 比較例１の入力画像Ｂに対応する網膜画像のシミュレーション画像Ｂを示す図。 比較例２の入力画像Ａに対応する表示画像Ａとその要部拡大図を示す図。 比較例２の入力画像Ｂに対応する表示画像Ｂを示す図。 比較例２の入力画像Ａに対応する網膜画像のシミュレーション画像Ａを示す図。 比較例２の入力画像Ｂに対応する網膜画像のシミュレーション画像Ｂを示す図。 比較例３の重み係数Ｗ（ｍ，ｎ）の重み係数画像とその要部拡大図を示す図。 比較例３の入力画像Ａに対応する表示画像Ａとその要部拡大図を示す図。 比較例３の入力画像Ｂに対応する表示画像Ｂを示す図。 比較例３の入力画像Ａに対応する網膜画像のシミュレーション画像Ａを示す図。 比較例３の入力画像Ｂに対応する網膜画像のシミュレーション画像Ｂを示す図。 比較例４の重み係数Ｗ（ｍ，ｎ）の重み係数画像とその要部拡大図を示す図。 比較例４の入力画像Ａに対応する表示画像Ａとその要部拡大図を示す図。 比較例４の入力画像Ａに対応する網膜画像のシミュレーション画像Ａを示す図。 本発明の第２実施形態に係るディスプレイ装置の概略の構成例を模式的に示すブロック図。 ３色のカラーフィルタの配置構成を模式的に示す図。 実施例３に使用した入力画像Ｂ（カラー画像）のＲＧＢ３原色の色別に分離した３つの入力画像Ｂ−Ｒ、入力画像Ｂ−Ｇ、入力画像Ｂ−Ｂを示す図。 実施例３の重み係数Ｗ（ｍ，ｎ）の重み係数画像とその要部拡大図を示す図。 実施例３の入力画像Ｂに対応する表示画像Ｂを示す図。 実施例３の入力画像Ｂに対応する網膜画像のシミュレーション画像ＢのＲＧＢ３原色の色別に分離した３つのシミュレーション画像Ｂ−Ｒ、シミュレーション画像像Ｂ−Ｇ、シミュレーション画像Ｂ−Ｂを示す図。 本発明の第２実施形態に係るディスプレイ装置の概略の構成例を模式的に示すブロック図（Ａ）と、ディスプレイパネルの概略構成を模式的に示す図（Ｂ）。 実施例４〜６の重み係数Ｗ（ｍ，ｎ）の重み係数画像を示す図。 実施例４〜６の入力画像Ａに対応する左右２枚のディスプレイパネルユニットの表示画像Ａを左右に並べて示す図。 実施例４〜６の入力画像Ａに対応する網膜画像のシミュレーション画像Ａを示す図。 比較例５〜８の入力画像Ａに対応する左右２枚のディスプレイパネルユニットの表示画像Ａを左右に並べて示す図。 比較例５〜８の入力画像Ａに対応する網膜画像のシミュレーション画像Ａを示す図。

以下、本発明の幾つかの実施形態に係るディスプレイ装置（以下、適宜、「本装置」と称す。）について説明する。

［第１実施形態］
＜ディスプレイ装置の概略構成＞
本装置は、眼前に装着して使用する眼鏡タイプまたはゴーグルタイプ等のヘッドマウントディスプレイ装置である。図１に模式的に示すように、本装置１は、マイクロレンズアレイ２、ディスプレイパネル３、ドライバ装置４、及び、画像生成装置５を備えて構成される。尚、図１では、マイクロレンズアレイ２、ディスプレイパネル３、ドライバ装置４、及び、画像生成装置５を支持または収容してユーザの眼前に固定するための部材等は、種々の形態のものが可能であり、図示していない。

マイクロレンズアレイ２は、同じ形状及び同じ焦点距離の微小なレンズを縦方向及び横方向に夫々複数アレイ状に配列して構成されており、１つのレンズの占有する区画は正方形状で、その１辺の長さがレンズの大きさ及びレンズの配列間隔となる。尚、本実施形態では、レンズの形状は、両側に凸面を有する両凸レンズを想定する。マイクロレンズアレイ２の焦点距離は、個々のレンズの焦点距離として規定される。本実施形態では、マイクロレンズアレイ２の主面は平面で、個々のレンズの幾何光学上の主点は該主面上に等間隔で格子状に配列している。レンズの配列間隔は、焦点距離が、レンズの材質（屈折率）及びレンズ面の曲率に応じて、例えば１ｍｍ〜１０ｍｍ程度の範囲に収まる範囲内を想定し、例えば、人の瞳孔の大きさ（直径）の変動範囲の最大値（６ｍｍ乃至８ｍｍ）より短い場合、或いは、同最小値（２ｍｍ）より短い場合を想定する。マイクロレンズアレイ２の材質は、可視光域で透明であって、焦点距離が、レンズの配列間隔及びレンズ面の曲率に応じて、例えば１ｍｍ〜１０ｍｍ程度、好ましくは１ｍｍ〜５ｍｍ程度、更に好ましくは１ｍｍ〜４ｍｍ程度の範囲に収まれば、特定の材質に限定されるものではない。一例として、光学ガラス或いは光学用プラスチック材料等が利用できる。

ディスプレイパネル３は、有機ＥＬ（エレクトロルミネッセンス）ディスプレイパネルまたは液晶ディスプレイパネル等の、微小な画素（有機ＥＬ画素または液晶画素等）を縦方向及び横方向に夫々複数アレイ状に配列して構成される薄型平板状のディスプレイパネルである。マイクロレンズアレイ２とディスプレイパネル３は、ユーザの眼前の瞳孔面から数ｍｍ〜数ｃｍ程度の範囲内に配置して使用されるため、夫々の縦横の長さは、例えば、２ｃｍ〜数ｃｍ程度が想定される。従って、斯かる小面積のディスプレイパネル３を使用して高解像度の画像を表示しようとすると、個々の画素は自ずと小さな面積のものが必要となる。本実施形態では、ディスプレイパネル３の画素サイズ（画素の配列間隔と同じ）として、縦横夫々数μｍ〜１０数μｍ程度の正方形状または長方形状のものを想定し、更に、各画素は、ＲＧＢ３原色に個別に対応した３色の副画素を備えて構成されている。従って、本実施形態では、ディスプレイパネル３がカラー表示に対応している。また、ディスプレイパネル３の発光面（各画素からの発光が出射される側の表面）は、マイクロレンズアレイ２の主面と同様に平面である場合を想定する。

図２に示すように、マイクロレンズアレイ２とディスプレイパネル３は、視線軸Ｚが正面を向いている場合に、マイクロレンズアレイ２の主面Ｓ２とディスプレイパネル３の発光面Ｓ３が瞳孔面Ｓ１と平行となり、マイクロレンズアレイ２の主面Ｓ２がディスプレイパネル３の発光面Ｓ３と瞳孔面Ｓ１の間に位置し、且つ、マイクロレンズアレイ２の主面Ｓ２とディスプレイパネル３の発光面Ｓ３の離間距離Ｌ１がマイクロレンズアレイ２の焦点距離より短くなるように、ユーザの眼前に配置される。尚、視線軸Ｚは、瞳孔面Ｓ１の中心Ｐ１（以下、「瞳孔中心」と称す）を瞳孔面Ｓ１に垂直に通過する軸であり、瞳孔面Ｓ１は、瞳孔の開口面で眼球の水晶体の前面に位置しており、本実施形態では円形（正円）の平面を想定している。図２に示すように、本実施形態では、マイクロレンズアレイ２の主面Ｓ２と瞳孔面Ｓ１の離間距離Ｌ２は、離間距離Ｌ１より長く、更に、マイクロレンズアレイ２の主面Ｓ２と後述する仮想画像面Ｓ４の離間距離Ｌ３は、離間距離Ｌ２より長くなっている（Ｌ３＞Ｌ２＞Ｌ１）。

本実施形態では、マイクロレンズアレイ２の大きさ（横：Ｓ２ｘ，縦：Ｓ２ｙ）に係数（（Ｌ１＋Ｌ２）／Ｌ２）を乗じた値を、ディスプレイパネル３の画素アレイ上での描画上限サイズ（横：Ｒｘ，縦：Ｒｙ）と規定し（下記の数１参照）、実際のディスプレイパネル３の画素アレイの大きさ（横：Ｓ３ｘ，縦：Ｓ３ｙ）が、横縦の別に、上記描画上限サイズを超える場合には、ディスプレイパネル３の画素アレイ上の描画領域は、描画上限サイズに制限され、ディスプレイパネル３の画素アレイ上での描画領域の大きさ（横：Ｒ３ｘ，縦：Ｒ３ｙ）は、下記の数２に示すようになる。このように、描画領域の大きさを描画上限サイズで制限する理由は、描画領域外の画素からの発光が、マイクロレンズアレイ２の外周部のレンズを通過して瞳孔面Ｓ２内に到達することによるアーチファクトを回避するためである。尚、マイクロレンズアレイ２の横及び縦の大きさが、夫々、ディスプレイパネル３の画素アレイの横及び縦の大きさに上記係数を乗じた値以上であると、描画領域の大きさは画素アレイの大きさと等しくなり、ディスプレイパネル３上の画素を全て有効に利用できる点で好ましい。

[数１]
Ｒｘ＝Ｓ２ｘ×（Ｌ１＋Ｌ２）／Ｌ２
Ｒｙ＝Ｓ２ｙ×（Ｌ１＋Ｌ２）／Ｌ２

[数２]
Ｒ３ｘ＝ｍｉｎ（Ｓ３ｘ，Ｒｘ）
Ｒ３ｙ＝ｍｉｎ（Ｓ３ｙ，Ｒｙ）

仮想画像面Ｓ４は、ディスプレイパネル３上に表示された画像が、マイクロレンズアレイ２及び瞳孔面Ｓ１を通過して網膜上に結像されてユーザによって知覚される場合に、ユーザがディスプレイパネルより後方において虚像として観察する面である。ここで、離間距離Ｌ１と離間距離Ｌ３とマイクロレンズアレイ２の焦点距離ｆの関係は、下記の数３で表される。

[数３]
１／ｆ＝１／Ｌ１−１／Ｌ３

ドライバ装置４は、ディスプレイパネル３を駆動する半導体集積回路装置であり、ディスプレイパネル３の各画素に対して、画像生成装置５で生成された各画素の画素値を書き込むための制御信号及びデータ信号を、ディスプレイパネル３の電気的仕様に即した所定の電圧値及びタイミングで、各画素に接続する制御信号線及びデータ信号線に印加するように構成されている。ドライバ装置４の具体的な動作内容は、本発明の本旨ではないので、詳細な説明は割愛する。

画像生成装置５は、図１に示すように、入力処理部６、演算処理部７、及び、出力処理部８を備えて構成され、ハードウェアとしては、マイクロプロセッサ或いはディジタル信号プロセッサ等の演算処理装置を備えて構成される。後述する入力処理部６、演算処理部７、及び、出力処理部８による各種の処理は、演算処理装置が所定のプログラムを実行することによって実行される。

入力処理部６は、外部から受け付けた入力画像データを、内蔵するフレームメモリ等の所定の記憶領域に一時的に格納する。入力画像データは、ディスプレイパネル３上に表示された画像が、マイクロレンズアレイ２及び瞳孔面Ｓ１を通過して網膜上に結像されて知覚される場合に、ユーザが仮想画像面Ｓ４上において観察する虚像を入力画像とした場合の当該入力画像の画像データである。つまり、画像生成装置５は、ユーザが入力された入力画像データの画像を仮想画像面Ｓ４上において観察できるように、ディスプレイパネル３上に表示すべき画像の画像データを生成する装置である。尚、本実施形態では、入力画像としてカラー画像を想定しているため、入力画像データを構成する入力画像の各入力画素の画素値は、ＲＧＢ３原色の各色の輝度を示す画素値で構成される。尚、入力画像が白黒のグレースケール画像の場合は、入力画像データを構成する入力画像の各入力画素の画素値は、各入力画素の輝度を示す画素値のみで構成してもよい。

尚、入力画像データの入力処理部６への入力方法としては、種々の形態が考えられる。例えば、メモリカード等に記録された入力画像データを、本装置１に設けられたメモリカード用スロットに挿入して読み込む形態、所定の近距離無線通信方式（Ｗｉｆｉ（登録商標）等の無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等）を用いて入力画像データを所定の外部端末から受信する形態、所定の有線方式のシリアルデータ通信に適したデータ通信ケーブル（ＵＳＢケーブル、ＨＤＭＩ（登録商標）ケーブル等）を用いて入力画像データを所定の外部端末から受信する形態、等が想定される。

演算処理部７は、入力画像を構成する各入力画素の中から、ディスプレイパネル３の１つの画素に対応する１つの入力画素を特定する第１処理と、入力画像データから特定した入力画素の画素値を読み出して入力画素値とする第２処理と、当該入力画素値に、当該１つの画素に対して予め設定された重み係数を乗じて、当該１つの画素の画素値とする第３処理からなる画素値生成処理を、ディスプレイパネル３の各画素に対して各別に行うように構成されている。

第１処理では、ディスプレイパネル３の描画領域の各画素（ｍ，ｎ）と仮想画像面Ｓ４上の入力画像の各入力画素（ｉ，ｊ）の対応関係を、図３に示す要領で導出し、ディスプレイパネル３の１つの画素に対応する１つの入力画素を特定する。以下の説明では、便宜的に、マイクロレンズアレイ２の主面Ｓ２、ディスプレイパネル３の発光面Ｓ３、及び、仮想画像面Ｓ４の各中心を、各面のｘｙ座標系の原点（０，０）とし、右方向を＋ｘ方向、左方向を−ｘ方向、上方向を＋ｙ方向、下方向を−ｙ方向とする。入力画像の各入力画素（ｉ，ｊ）は、仮想画像面Ｓ４の中心Ｐ４から±ｘ方向にｉ番目で±ｙ方向にｊ番目の画素として規定される。また、ディスプレイパネル３の各画素（ｍ，ｎ）は、発光面Ｓ３の中心Ｐ３から±ｘ方向にｍ番目で±ｙ方向にｎ番目の画素として規定される。更に、レンズ（ｕ，ｖ）は、主面Ｓ２の中心Ｐ２から±ｘ方向にｕ番目で±ｙ方向にｖ番目の画素として規定される。

図３に示すように、ディスプレイパネル３の１画素（ｍ，ｎ）の発光面Ｓ３上の中心座標（ｘ３，ｙ３）と瞳孔中心Ｐ１を結ぶ直線が主面Ｓ２と交差する点の主面Ｓ２上の座標（ｘ２，ｙ２）によって、当該座標（ｘ２，ｙ２）に存在するマイクロレンズアレイ２内の１つのレンズ（ｕ，ｖ）が特定される。引き続き、図３に示すように、特定されたレンズ（ｕ，ｖ）の主点Ｐ２（本実施形態の両凸レンズではレンズの中心）と座標（ｘ３，ｙ３）を結ぶ直線が仮想画像面Ｓ４と交差する点の座標（ｘ４，ｙ４）によって、当該座標（ｘ４，ｙ４）に存在する入力画像の１入力画素（ｉ，ｊ）が特定される。１つのレンズ（ｕ，ｖ）の主面Ｓ２上の正方形の区画を底面、瞳孔中心Ｐ１を頂点とする四角錐を発光面Ｓ３まで延長した場合に、当該四角錐内に存在する画素（ｍ，ｎ）に対して、当該１つのレンズ（ｕ，ｖ）が特定される。

尚、（ｉ，ｊ）と（ｘ４，ｙ４）の間の対応関係、（ｍ，ｎ）と（ｘ３，ｙ３）の対応関係、及び、（ｕ，ｖ）と（ｘ２，ｙ２）の間の対応関係は、下記の数４〜数９で与えられる。ここで、ｓ２は、レンズの配列間隔（レンズの大きさ）であり、ｓ３は、ディスプレイパネル３の画素（ｍ，ｎ）の配列間隔（画素サイズ）であり、ｓ４は、入力画素（ｉ，ｊ）の配列間隔（画素サイズ）である。また、Ｎ２ｘとＮ２ｙは、レンズ（ｕ，ｖ）のｘ方向及びｙ方向の配列数であり、Ｎ３ｘとＮ３ｙは、ディスプレイパネル３の描画領域内の画素（ｍ，ｎ）のｘ方向及びｙ方向の配列数（描画領域の解像度）であり、Ｎ４ｘとＮ４ｙは、入力画素（ｉ，ｊ）のｘ方向及びｙ方向の配列数（入力画像の解像度）である。また、Ｉｎ（ｘ）は、変数ｘの小数点以下を切り捨てて整数化する関数であり、Ｒｄ（ｘ）は、変数ｘの小数点以下を四捨五入して整数化する関数である。

[数４]
ｉ＝Ｉｎ（ｘ４／ｓ４）＋１， ｉ＝±（１〜Ｎ４ｘ／２）， 但し、Ｎ４ｘ＝偶数
ｉ＝Ｒｄ（ｘ４／ｓ４）， ｉ＝０〜±（Ｎ４ｘ−１）／２， 但し、Ｎ４ｘ＝奇数
[数５]
ｊ＝Ｉｎ（ｙ４／ｓ４）＋１， ｊ＝±（１〜Ｎ４ｙ／２）， 但し、Ｎ４ｙ＝偶数
ｊ＝Ｒｄ（ｙ４／ｓ４）， ｊ＝０〜±（Ｎ４ｙ−１）／２， 但し、Ｎ４ｙ＝奇数
[数６]
ｍ＝ｘ３／ｓ３＋０．５， ｍ＝±（１〜Ｎ３ｘ／２）， 但し、Ｎ３ｘ＝偶数
ｍ＝ｘ３／ｓ３， ｍ＝０〜±（Ｎ３ｘ−１）／２， 但し、Ｎ３ｘ＝奇数
[数７]
ｎ＝ｙ３／ｓ３＋０．５， ｎ＝±（１〜Ｎ３ｙ／２）， 但し、Ｎ３ｙ＝偶数
ｎ＝ｙ３／ｓ３， ｎ＝０〜±（Ｎ３ｙ−１）／２， 但し、Ｎ３ｙ＝奇数
[数８]
ｕ＝Ｉｎ（ｘ２／ｓ２）＋１， ｕ＝±（１〜Ｎ２ｘ／２）， 但し、Ｎ２ｘ＝偶数
ｕ＝Ｒｄ（ｘ２／ｓ２）， ｕ＝０〜±（Ｎ２ｘ−１）／２， 但し、Ｎ２ｘ＝奇数
[数９]
ｖ＝Ｉｎ（ｙ２／ｓ２）＋１， ｖ＝±（１〜Ｎ２ｙ／２）， 但し、Ｎ２ｙ＝偶数
ｖ＝Ｒｄ（ｙ２／ｓ２）， ｖ＝０〜±（Ｎ２ｙ−１）／２， 但し、Ｎ２ｙ＝奇数

ここで、マイクロレンズアレイ２の大きさＳ２ｘ，Ｓ２ｙ、レンズの配列間隔ｓ２、及び、レンズの配列数Ｎ２ｘ，Ｎ２ｙは、下記の数１０に示す相互関係を有する。

[数１０]
Ｓ２ｘ＝ｓ２×Ｎ２ｘ
Ｓ２ｙ＝ｓ２×Ｎ２ｙ

また、ディスプレイパネル３の描画領域の大きさＲ３ｘ，Ｒ３ｙ、画素の配列間隔ｓ３、及び、画素領域内の画素の配列数Ｎ３ｘ，Ｎ３ｙは、下記の数１１に示す相互関係を有する。

[数１１]
Ｒ３ｘ＝ｓ３×Ｎ３ｘ
Ｒ３ｙ＝ｓ３×Ｎ３ｙ

更に、入力画像の大きさ（横：Ｓ４ｘ，縦：Ｓ４ｙ）、入力画素の配列間隔ｓ４、及び、入力画素の配列数Ｎ４ｘ，Ｎ４ｙ（入力画像の解像度）は、下記の数１２に示す相互関係を有する。但し、入力画素の配列数Ｎ４ｘ，Ｎ４ｙは、入力画像データの属性として与えられ、入力画像の大きさＳ４ｘ，Ｓ４ｙ、及び、入力画素の配列数等は任意に設定できるが、一般的には、本装置１の取り得る視野角一杯に入力画像の再生画像が表示されるように、入力画像の大きさを設定するのが実用的であり、好ましい。視野角（横：αｘ，縦：αｙ）は、非特許文献１に開示されているように、下記の数１３で与えられる。尚、数１３中の関数ｍｉｎ｛ｘ，ｙ｝は変数ｘ、ｙの最小値を選択する関数である。結果として、入力画像の大きさＳ４ｘ，Ｓ４ｙの取り得る最大値（Ｓ４ｘｍａｘ，Ｓ４ｙｍａｘ）は、数１４で与えられる。また、本実施形態では、非特許文献１において議論されているように、仮想画像面Ｓ４上でユーザが観察する入力画像の再生画像の解像度は、マイクロレンズアレイの使用に起因して低下するため、実際に使用する入力画素の配列数Ｎ４ｘ，Ｎ４ｙは、ディスプレイパネル３の描画領域内の画素の配列数Ｎ３ｘ，Ｎ３ｙより小さい値としている。

[数１２]
Ｓ４ｘ＝ｓ４×Ｎ４ｘ
Ｓ４ｙ＝ｓ４×Ｎ４ｙ
[数１３]
αｘ＝２ａｒｃｔａｎ［ｍｉｎ｛Ｎ２ｘ×ｓ２／２Ｌ２，
（Ｌ３／Ｌ１）×Ｒ３ｘ／２（Ｌ２＋Ｌ３）｝］
αｙ＝２ａｒｃｔａｎ［ｍｉｎ｛Ｎ２ｙ×ｓ２／２Ｌ２，
（Ｌ３／Ｌ１）×Ｒ３ｙ／２（Ｌ２＋Ｌ３）｝］
[数１４]
Ｓ４ｘｍａｘ＝Ｎ２ｘ×ｓ２×（Ｌ２＋Ｌ３）／Ｌ２
Ｓ４ｙｍａｘ＝Ｎ２ｙ×ｓ２×（Ｌ２＋Ｌ３）／Ｌ２

尚、第１処理におけるディスプレイパネル３の描画領域の各画素（ｍ，ｎ）と仮想画像面Ｓ４上の入力画像の各入力画素（ｉ，ｊ）の対応関係は、上記各面Ｓ１〜Ｓ３の配置関係（Ｌ１，Ｌ２）、瞳孔面Ｓ１の直径Ｄｐ、マイクロレンズアレイ２の構成（焦点距離ｆ、マイクロレンズアレイ２の大きさＳ２ｘ，Ｓ２ｙ、レンズの配列間隔ｓ２、及び、レンズの配列数Ｎ２ｘ，Ｎ２ｙ）、ディスプレイパネル３の構成（描画領域の大きさＲ３ｘ，Ｒ３ｙ、画素の配列間隔ｓ３、及び、画素領域内の画素の配列数Ｎ３ｘ，Ｎ３ｙ）、並びに、入力画像の入力画素の配列間隔ｓ４によって、一義的に決まり、入力画像の大きさ及び入力画素の配列数とは無関係である。従って、上記対応関係は、入力画素の配列間隔ｓ４以外は、任意の入力画像に対して予め設定可能であり、入力画素の配列間隔ｓ４に関する箇所は、数４によって決定される。よって、ディスプレイパネル３の描画領域の各画素（ｍ，ｎ）と仮想画像面Ｓ４上の座標（ｘ４，ｙ４）が、予め導出され、テーブル化しておくことが可能であり、座標（ｘ４，ｙ４）と入力画素（ｉ，ｊ）の対応関係は、数４で簡単に導出される。尚、上記画素（ｍ，ｎ）と座標（ｘ４，ｙ４）の対応関係を示すテーブル等は、画像生成装置５に内蔵または外付けの不揮発性の記憶装置９（例えば、フラッシュメモリ等の半導体メモリ）に格納することができる。

第２処理では、第１処理で特定された入力画素（ｉ，ｊ）のＲＧＢ３原色の各色の画素値を、入力処理部６が所定の記憶領域に格納した入力画像データから読み出し、ＲＧＢ３原色の各色の入力画素値とする。尚、入力画像が白黒のグレースケール画像で、各入力画素の画素値が各入力画素の輝度を示す画素値のみで構成されている場合は、第１処理で特定された入力画素（ｉ，ｊ）の輝度を示す１つの画素値を、入力処理部６が所定の記憶領域に格納した入力画像データから読み出し、ＲＧＢ３原色の各色の入力画素値とする。

第３処理では、第２処理で読み出した入力画素（ｉ，ｊ）のＲＧＢ３原色の各色の入力画素値ＩＲ（ｉ，ｊ），ＩＧ（ｉ，ｊ），ＩＢ（ｉ，ｊ）に、対応するディスプレイパネル３の画素（ｍ，ｎ）に対して予め設定された重み係数Ｗ（ｍ，ｎ）を乗じて、当該画素（ｍ，ｎ）の各色に対応した副画素の各画素値ＤＲ（ｍ，ｎ），ＤＧ（ｍ，ｎ），ＤＢ（ｍ，ｎ）とする。Ｗ（ｍ，ｎ）＝０では、当該画素の各色に対応した副画素の画素値ＤＲ（ｍ，ｎ），ＤＧ（ｍ，ｎ），ＤＢ（ｍ，ｎ）は夫々０となり、黒色の表示となる。一方、Ｗ（ｍ，ｎ）＝１では、当該画素の各色に対応した副画素の画素値ＤＲ（ｍ，ｎ），ＤＧ（ｍ，ｎ），ＤＢ（ｍ，ｎ）は、対応する入力画素（ｉ，ｊ）の各色の入力画素値ＩＲ（ｉ，ｊ），ＩＧ（ｉ，ｊ），ＩＢ（ｉ，ｊ）と同じとなる。尚、重み係数Ｗ（ｍ，ｎ）は、画像生成装置５に内蔵または外付けの不揮発性の記憶装置９（例えば、フラッシュメモリ等の半導体メモリ）に格納されている。

出力処理部８は、ディスプレイパネル３の各画素に対して行われた画素値生成処理（第１処理〜第３処理）で生成された各副画素の画素値ＤＲ（ｍ，ｎ），ＤＧ（ｍ，ｎ），ＤＢ（ｍ，ｎ）の全画素分を備えた出力画像データを、ドライバ装置４の電気的仕様に即した形式で、ドライバ装置４に出力する。

＜重み係数Ｗ（ｍ，ｎ）の作成手順＞
本装置１の主たる特徴は、上記演算処理部７による第３処理において、重み係数Ｗ（ｍ，ｎ）を使用して、ユーザの視点が点ではなく実際は大きさのある瞳孔面Ｓ１であることに起因して発生する、ユーザが仮想画像面Ｓ４上で観察する入力画像の再生画像内のアーチファクト（ノイズパターン）を抑制することである。従って、重み係数Ｗ（ｍ，ｎ）は、ユーザの視点が点ではなく実際は大きさのある瞳孔面Ｓ１であることに起因して発生する、ユーザが仮想画像面Ｓ４上で観察する入力画像の再生画像内のアーチファクトを抑制できれば、以下に説明する作成手順以外の方法で作成された重み係数Ｗ（ｍ，ｎ）も当然に使用可能である。

以下、本実施形態における重み係数Ｗ（ｍ，ｎ）の作成手順を説明する。尚、以下の説明では、瞳孔面Ｓ１とマイクロレンズアレイ２の主面Ｓ２とディスプレイパネル３の発光面Ｓ３が互いに平行で、視線軸Ｚが各面Ｓ１〜Ｓ３の中心を垂直に通過する基本的な配置関係を想定する。当該基本的な配置関係から外れるケースについては後述する。また、重み係数Ｗ（ｍ，ｎ）は、上記各面Ｓ１〜Ｓ３の配置関係（Ｌ１，Ｌ２）、瞳孔面Ｓ１の直径Ｄｐ、マイクロレンズアレイ２の焦点距離ｆ、大きさＳ２ｘ，Ｓ２ｙ、レンズの配列間隔ｓ２、及び、レンズの配列数Ｎ２ｘ，Ｎ２ｙ、並びに、ディスプレイパネル３の描画領域の大きさＲ３ｘ，Ｒ３ｙ、画素の配列間隔ｓ３、及び、描画領域内の画素の配列数Ｎ３ｘ，Ｎ３ｙによって、つまり、各面Ｓ１〜Ｓ３の構造的属性によって一義的に決定され、入力画像とは無関係である。従って、重み係数Ｗ（ｍ，ｎ）は任意の入力画像に対して予め設定可能である。

重み係数Ｗ（ｍ，ｎ）は、ディスプレイパネル３の各画素（ｍ，ｎ）に対して、以下のステップ１〜８の処理を行って、０以上１以下の値が各別に設定される。以下、ステップ１〜８の処理対象となる画素（ｍ，ｎ）を対象画素（ｍ，ｎ）と称する。

ステップ１では、対象画素（ｍ，ｎ）が、当該対象画素（ｍ，ｎ）から出射された光がマイクロレンズアレイ２内の複数のレンズを通して瞳孔面Ｓ１に到達することで、対象画素（ｍ，ｎ）以外の他の画素のノイズ源と見做される特定画素であるか否かを検査し（検査１）、当該対象画素（ｍ，ｎ）が特定画素であると判定された場合、重み係数Ｗ（ｍ，ｎ）に０を割り当てる処理を行い、ステップ２以降の処理は行わない。

ステップ２〜８では、ステップ１で特定画素であると判定されなかった対象画素（ｍ，ｎ）に対し、特定画素の重み係数Ｗ（ｍ，ｎ）の値が０であることに起因して仮想画像面Ｓ４上においてユーザによって観測されるアーチファクト（ノイズパターン）の発生が抑制されるように、重み係数Ｗ（ｍ，ｎ）に、マイクロレンズアレイ２の主面Ｓ２とディスプレイパネル３の発光面Ｓ３と瞳孔面Ｓ１の配置関係（Ｌ１、Ｌ２）、マイクロレンズアレイ２及びディスプレイパネル３の構造的属性、瞳孔面Ｓ１の直径Ｄｐ、及び、対象画素（ｍ，ｎ）の位置に応じて生成された０、０より大きく１未満の中間値、１の３種類の補正値を、対象画素（ｍ，ｎ）の位置に応じて全て割り当てる処理を行う。以下、図４〜図９を参照して、ステップ１〜８の処理内容の具体例を詳細に説明する。図４は、ステップ１〜８の処理の流れを簡略的に示すフローチャートである。

＜ステップ１＞
検査１では、図５に示すように、瞳孔中心Ｐ１と対象画素（ｍ，ｎ）の中心を結ぶ直線が通過するマイクロレンズアレイ２内の１つのレンズを対象画素（ｍ，ｎ）に対応する対象レンズ２Ｘとした場合において、対象画素（ｍ，ｎ）から出射され対象レンズ２Ｘに±ｘ方向及び±ｙ方向に隣接する４つの隣接レンズ２Ｘａ〜２Ｘｄの少なくとも１つを通過した光の少なくとも一部が瞳孔面Ｓ１を通過する場合、当該対象画素（ｍ，ｎ）を特定画素であると判定する。ところで、当該４つの隣接レンズ２Ｘａ〜２Ｘｄを通過した光が、瞳孔面Ｓ１を通過しない場合は、対象画素（ｍ，ｎ）から出射され、当該４つの隣接レンズ２Ｘａ〜２Ｘｄ及び対象レンズ２Ｘ以外のレンズを通過した光も、同様に、瞳孔面Ｓ１を通過しないと想定し得るため、検査１では、上記４つの隣接レンズ２Ｘａ〜２Ｘｄだけを検査対象とする。

ここで、対象画素（ｍ，ｎ）の中心と対象レンズ２Ｘ及び４つの隣接レンズ２Ｘａ〜２Ｘｄの各主点Ｐ２Ｘ，Ｐ２Ｘａ〜Ｐ２Ｘｄを結ぶ５本の直線が、夫々、仮想画像面Ｓ４上で交差する点を、点ＱＸ，点ＱＸａ〜点ＱＸｄとする。

図５及び図６に示すように、対象画素（ｍ，ｎ）から出射し、対象レンズ２Ｘを通過する光は、仮想画像面Ｓ４上の点ＱＸを頂点とし、対象レンズ２Ｘの主面Ｓ２上の正方形の区画を底面とする四角錐を瞳孔面Ｓ１まで延長した場合に、瞳孔面Ｓ１を含む平面Ｓ１’上の当該延長した四角錐と交差する矩形ＲＸの領域内に到達する。同様に、対象画素（ｍ，ｎ）から出射し、隣接レンズ２Ｘａ〜２Ｘｄを夫々通過する光は、仮想画像面Ｓ４上の点ＱＸａ〜ＱＸｄを夫々頂点とし、隣接レンズ２Ｘａ〜２Ｘｄの主面Ｓ２上の正方形の区画を底面とする４つの四角錐を瞳孔面Ｓ１まで延長した場合に、瞳孔面Ｓ１を含む平面Ｓ１’上の当該延長した４つの四角錐と交差する矩形ＲＸａ〜ＲＸｄの領域内に到達する。従って、検査１では、上記４つの矩形ＲＸａ〜ＲＸｄの少なくとも一部が、瞳孔面Ｓ１内に存在するか否かを検査し、存在している場合（検査１のＹＥＳ分岐：図４参照）は、当該対象画素（ｍ，ｎ）を特定画素であると判定し、重み係数Ｗ（ｍ，ｎ）を０とする。一方、存在していない場合（検査１のＮＯ分岐：図４参照）は、次のステップ２に移行する。

ここで、本実施形態では、上記４つの矩形ＲＸａ〜ＲＸｄの一部が、瞳孔面Ｓ１内に存在するか否か検査方法として、以下の２つの検査方法（検査１Ａ，１Ｂ）を採用する。尚、以下の説明において、平面Ｓ１’上においても、マイクロレンズアレイ２の主面Ｓ２、ディスプレイパネル３の発光面Ｓ３、及び、仮想画像面Ｓ４と同様に、平面Ｓ１’の中心（瞳孔面Ｓ１の中心）をｘｙ座標系の原点（０，０）とし、右方向を＋ｘ方向、左方向を−ｘ方向、上方向を＋ｙ方向、下方向を−ｙ方向とする。

先ず、簡易な検査方法（検査１Ａ）では、±ｘ方向に隣接する２つの隣接レンズ２Ｘａ，２Ｘｂについて、対応する平面Ｓ１’上の２つの矩形ＲＸａ，ＲＸｂのｘ軸に垂直な各２辺の瞳孔中心Ｐ１に近い側の各１辺のｘ座標の絶対値が、瞳孔面Ｓ１の半径（Ｄｐ／２）以下か否かを判定し、半径（Ｄｐ／２）以下の場合には、矩形ＲＸａ，ＲＸｂの一部が、瞳孔面Ｓ１内に存在すると判定する。半径（Ｄｐ／２）以下でない場合は、同様に、±ｙ方向に隣接する２つの隣接レンズ２Ｘｃ，２Ｘｄについて、対応する平面Ｓ１’上の２つの矩形ＲＸｃ，ＲＸｄのｙ軸に垂直な各２辺の瞳孔中心Ｐ１に近い側の各１辺のｙ座標の絶対値が、瞳孔面Ｓ１の半径（Ｄｐ／２）以下か否かを判定し、半径（Ｄｐ／２）以下の場合には、矩形ＲＸｃ，ＲＸｄの一部が、瞳孔面Ｓ１内に存在すると判定する。半径（Ｄｐ／２）以下でない場合は、当該対象画素（ｍ，ｎ）を特定画素であると判定しない。

次に、より厳密な検査方法（検査１Ｂ）では、上記平面Ｓ１’上の４つの矩形ＲＸａ〜ＲＸｄの各４辺の内、瞳孔中心Ｐ１に近い側の各１辺と中心Ｐ１間の距離を計算し、４つの矩形ＲＸａ〜ＲＸｄの当該距離の少なくとも何れか１つが瞳孔面Ｓ１の半径（Ｄｐ／２）以下か否かを判定し、半径（Ｄｐ／２）以下の場合には、矩形ＲＸａ〜ＲＸｄの一部が、瞳孔面Ｓ１内に存在すると判定する。各１辺と中心Ｐ１間の距離の計算は、中心Ｐ１から当該各辺に下した垂線の端点が当該各辺内に存在するときは、当該垂線の長さを当該距離とし、当該垂線の端点が当該各辺内に存在しない場合は、当該各辺の両端と中心Ｐ１間の長さの短い方を当該距離として行う。

＜ステップ２＞
上記ステップ１で説明した対象画素（ｍ，ｎ）に対応する対象レンズ２Ｘを特定し、当該対象レンズ２Ｘを中心として、±ｘ方向及び±ｙ方向に所定数Ａの範囲内に存在する当該対象レンズ２Ｘを含む被検査レンズ２Ｘｋ（ｋ＝１〜Ｂ、Ｂは被検査レンズの総数）の夫々について、下記のステップ３〜６の処理を行う。ここで、対象レンズ２Ｘは、便宜的に、被検査レンズ２Ｘｋ（ｋ＝１）とする。所定数Ａは、瞳孔面Ｓ１の直径Ｄｐとレンズの配列間隔ｓ２の比（Ｄｐ／ｓ２）に応じて定まる自然数で、例えば、下記の数１５で与えられる。また、総数ｋは、下記の数１６で与えられる。一例として、瞳孔面Ｓ１の直径Ｄｐが５ｍｍで、レンズの配列間隔ｓ２が１ｍｍの場合、Ａは６となり、被検査レンズの総数Ｂは１２１となる。

[数１５]
Ａ＝Ｉｎ（Ｄｐ／ｓ２）＋１
[数１６]
Ｂ＝（２Ａ−１）^２

＜ステップ３＞
図７に示すように、対象画素（ｍ，ｎ）の中心座標（ｘ３，ｙ３）と対象レンズ２Ｘの主点Ｐ２Ｘを結ぶ直線が仮想画像面Ｓ４と交差する点Ｐ４Ｘの座標値（ｘ４，ｙ４）を算出し、点Ｐ４Ｘと１つの被検査レンズ２Ｘｋの主点Ｐ２Ｘｋを結ぶ直線が、ディスプレイパネル３の発光面Ｓ３を通過する点Ｐ３ｋの座標値（ｘ３，ｙ３）を算出する。尚、点Ｐ４Ｘは、対象画素（ｍ，ｎ）から出射した光が対象レンズ２Ｘによって仮想画像面Ｓ４上に虚像として観測される対象仮想画素位置に相当する。また、点Ｐ３ｋを、適宜、被検査レンズ２Ｘｋに対応する被検査画素点と称する。そして、点Ｐ３ｋと瞳孔中心Ｐ１を結ぶ直線がマイクロレンズアレイ２の主面Ｓ２と交差する点が、当該１つの被検査レンズ２Ｘｋの区画内に存在するか否かを検査し（検査２）、区画内に存在する場合（検査２のＹＥＳ分岐：図４参照）は、次のステップ４に移行し、区画内に存在しない場合（検査２のＮＯ分岐：図４参照）は、以降のステップ４〜６の処理を行わずに終了する。この場合、被検査レンズ２Ｘｋが最後の被検査レンズ２Ｘｋであれば（ｋ＝Ｂ）、ステップ７に移行し、被検査レンズ２Ｘｋが最後の被検査レンズ２Ｘｋでなければ（ｋ≠Ｂ）、次の被検査レンズ２Ｘｋ＋１のステップ３に移行する。

＜ステップ４＞
被検査画素点Ｐ３ｋから出射され、被検査レンズ２Ｘｋに±ｘ方向及び±ｙ方向に隣接する４つの隣接レンズ２Ｘｋａ〜２Ｘｋｄを通過した光が瞳孔面Ｓ１を通過せずに、瞳孔面Ｓ１を含む平面Ｓ１’上の瞳孔面Ｓ１の外側の外周領域に到達するか否かを検査し（検査３）、当該光が当該外周領域に到達する場合（検査３のＹＥＳ分岐：図４参照）に、ステップ５において第１変数Ｃｋの計算を行い、ステップ６において第２変数Ｄｋの計算を行う。一方、当該光が瞳孔面Ｓ１を通過する場合（検査３のＮＯ分岐：図４参照）は、以降のステップ５及び６の処理は行わず、つまり、第１変数Ｃｋと第２変数Ｄｋの計算を行わずに終了する。この場合、被検査レンズ２Ｘｋが最後の被検査レンズ２Ｘｋであれば（ｋ＝Ｂ）、ステップ７に移行し、被検査レンズ２Ｘｋが最後の被検査レンズ２Ｘｋでなければ（ｋ≠Ｂ）、次の被検査レンズ２Ｘｋ＋１のステップ３に移行する。

ステップ４の１つの被検査レンズ２Ｘｋに対する検査３は、ステップ１の検査１と基本的に同じ処理内容である。ここで、被検査画素点Ｐ３ｋと被検査レンズ２Ｘｋ及び４つの隣接レンズ２Ｘｋａ〜２Ｘｋｄの各主点Ｐ２Ｘｋ，Ｐ２Ｘｋａ〜Ｐ２Ｘｋｄを結ぶ５本の直線が、夫々、仮想画像面Ｓ４上で交差する点を、点ＱＸｋ，点ＱＸｋａ〜点ＱＸｋｄとする。尚、点ＱＸｋは点Ｐ４Ｘと同じ点である。

図８及び図９に示すように、被検査画素点Ｐ３ｋから出射し、被検査レンズ２Ｘｋを通過する光は、仮想画像面Ｓ４上の点ＱＸｋを頂点とし、対象レンズ２Ｘｋの主面Ｓ２ｋ上の正方形の区画を底面とする四角錐を瞳孔面Ｓ１まで延長した場合に、瞳孔面Ｓ１を含む平面Ｓ１’上の当該延長した四角錐と交差する矩形ＲＸｋの領域内に到達する。同様に、被検査画素点Ｐ３ｋから出射し、隣接レンズ２Ｘｋａ〜２Ｘｋｄを夫々通過する光は、仮想画像面Ｓ４上の点ＱＸｋａ〜ＱＸｄを夫々頂点とし、隣接レンズ２Ｘｋａ〜２Ｘｋｄの主面Ｓ２上の正方形の区画を底面とする４つの四角錐を瞳孔面Ｓ１まで延長した場合に、瞳孔面Ｓ１を含む平面Ｓ１’上の当該延長した４つの四角錐と交差する矩形ＲＸｋａ〜ＲＸｋｄの領域内に到達する。従って、検査３では、上記４つの矩形ＲＸｋａ〜ＲＸｋｄの全てが、瞳孔面Ｓ１の外側の外周領域に存在するか否か（即ち、４つの矩形ＲＸｋａ〜ＲＸｋｄの少なくとも一部が瞳孔面Ｓ１内に存在しないか否か）を検査する。

ここで、本実施形態では、上記４つの矩形ＲＸｋａ〜ＲＸｋｄの全てが、瞳孔面Ｓ１の外側の外周領域に存在するか否か検査方法として、以下の２つの検査方法（検査３Ａ，３Ｂ）を採用する。先ず、簡易な検査方法（検査３Ａ）では、±ｘ方向に隣接する２つの隣接レンズ２Ｘｋａ，２Ｘｋｂについて、対応する平面Ｓ１’上の２つの矩形ＲＸｋａ，ＲＸｋｂのｘ軸に垂直な各２辺の瞳孔中心Ｐ１に近い側の各１辺のｘ座標の絶対値が、瞳孔面Ｓ１の半径（Ｄｐ／２）以下か否かを判定し、半径（Ｄｐ／２）以下の場合には、矩形ＲＸｋａ，ＲＸｋｂの一部が、瞳孔面Ｓ１内に存在すると判定する。半径（Ｄｐ／２）以下でない場合は、同様に、±ｙ方向に隣接する２つの隣接レンズ２Ｘｋｃ，２Ｘｋｄについて、対応する平面Ｓ１’上の２つの矩形ＲＸｋｃ，ＲＸｋｄのｙ軸に垂直な各２辺の瞳孔中心Ｐ１に近い側の各１辺のｙ座標の絶対値が、瞳孔面Ｓ１の半径（Ｄｐ／２）以下か否かを判定し、半径（Ｄｐ／２）以下の場合には、矩形ＲＸｋｃ，ＲＸｋｄの一部が、瞳孔面Ｓ１内に存在すると判定する。半径（Ｄｐ／２）以下でない場合は、４つの矩形ＲＸｋａ〜ＲＸｋｄの全てが、瞳孔面Ｓ１の外側の外周領域に存在すると判定する。

次に、より厳密な検査方法（検査３Ｂ）では、上記平面Ｓ１’上の４つの矩形ＲＸｋａ〜ＲＸｋｄの各４辺の内、瞳孔中心Ｐ１に近い側の各１辺と中心Ｐ１間の距離を計算し、４つの矩形ＲＸｋａ〜ＲＸｋｄの当該距離の全てが瞳孔面Ｓ１の半径（Ｄｐ／２）より大きいか否かを判定し、半径（Ｄｐ／２）より大きいの場合には、矩形ＲＸａ〜ＲＸｄの全てが、瞳孔面Ｓ１の外側の外部領域に存在すると判定する。各１辺と中心Ｐ１間の距離の計算は、中心Ｐ１から当該各辺に下した垂線の端点が当該各辺内に存在するときは、当該垂線の長さを当該距離とし、当該垂線の端点が当該各辺内に存在しない場合は、当該各辺の両端と中心Ｐ１間の長さの短い方を当該距離として行う。

＜ステップ５＞
ステップ４で検査３Ａを使用した場合には、検査３Ａで計算した、２つの矩形ＲＸｋａ，ＲＸｋｂのｘ軸に垂直な各２辺の瞳孔中心Ｐ１に近い側の各１辺のｘ座標の絶対値と、２つの矩形ＲＸｋｃ，ＲＸｋｄのｙ軸に垂直な各２辺の瞳孔中心Ｐ１に近い側の各１辺のｙ座標の絶対値の内の最も小さい値を、４つの矩形ＲＸｋａ〜ＲＸｋｄと瞳孔中心Ｐ１の間の距離ｄｋとする。そして、第１変数Ｃｋを、距離ｄｋを瞳孔面Ｓ１の半径（Ｄｐ／２）で除した値が、所定の基準値（例えば、１．１）より大きい場合は、下記の数１７に示す計算式で計算し、距離ｄｋを瞳孔面Ｓ１の半径（Ｄｐ／２）で除した値が、所定の基準値（例えば、１．１）以下の場合は、下記の数１８に示す計算式で計算する。

[数１７]
Ｃｋ＝１， 但し、ｄｋ／（Ｄｐ／２）＞１．１
[数１８]
Ｃｋ＝（ｄｋ／（Ｄｐ／２）−１）×１０， 但し、ｄｋ／（Ｄｐ／２）≦１．１

ここで、第１変数Ｃｋが意味するものは、ディスプレイパネル３の発光面Ｓ３上の点Ｐ３ｋから出射した光が瞳孔面Ｓ１を含む平面Ｓ１’上に到達する際に、ステップ１の検査１で排除するような瞳孔面Ｓ１との重複は生じていないが、当該重複に極めて近い関係にあるのか、それとも全く重複の危険のない安全な状況であるのかを示している。第１変数Ｃｋは０以上１以下の値を取り、値が１だと安全で、０に近いと重複関係に近くなる。ディスプレイパネル３の画素は、計算上は点として扱っているが、実際は大きさのある面領域であるため、当該近似が計算結果に影響を及ぼす場合がある。そこで、本実施形態では、４つの矩形ＲＸｋａ〜ＲＸｋｄと瞳孔面Ｓ１が重複するが否かを０，１の２値で判断するのではなく、重複関係に近いか否かを０〜１の間の値で表現している。

＜ステップ６＞
点Ｐ４Ｘ（点ＱＸｋ）から出射して被検査レンズ２Ｘｋを通過した光が、瞳孔面Ｓ１を含む平面Ｓ１’上に到達する矩形領域を計算する。本実施形態の設定では、当該矩形領域は正方形となるため、平面Ｓ１’上の当該正方形のｙ軸に垂直な２辺のｘ座標（ｘ１１ｋ，ｘ１２ｋ）と当該正方形のｘ軸に垂直な２辺のｙ座標（ｙ１１ｋ，ｙ１２ｋ）を、下記の数１９に示す計算式により算出する。数１９中の座標値（ｘ２ｋ，ｙ２ｋ）は、マイクロレンズアレイ２の主面Ｓ２上の被検査レンズ２Ｘｋの主点Ｐ２Ｘｋのｘ座標とｙ座標である。

[数１９]
ｘ１１ｋ＝−（ｘ４−（ｘ２ｋ＋ｓ２／２）×Ｌ２／Ｌ３＋（ｘ２ｋ＋ｓ２／２）
ｘ１２ｋ＝−（ｘ４−（ｘ２ｋ−ｓ２／２）×Ｌ２／Ｌ３＋（ｘ２ｋ−ｓ２／２）
ｙ１１ｋ＝−（ｙ４−（ｙ２ｋ＋ｓ２／２）×Ｌ２／Ｌ３＋（ｙ２ｋ＋ｓ２／２）
ｙ１２ｋ＝−（ｙ４−（ｙ２ｋ−ｓ２／２）×Ｌ２／Ｌ３＋（ｙ２ｋ−ｓ２／２）

上記要領で算出されたｘ座標（ｘ１１ｋ，ｘ１２ｋ）とｙ座標（ｙ１１ｋ，ｙ１２ｋ）から上記矩形領域の４頂点の座標が分かる。次に、当該矩形領域の計算結果に基づいて、当該矩形領域と瞳孔面Ｓ１の重複部分の瞳孔面Ｓ１に占める割合（面積比）Ｒｓｋを計算し、当該面積比Ｒｓｋとステップ５で算出した第１変数Ｃｋを乗じて第２変数Ｄｋを計算する（下記の数２０参照）。

[数２０]
Ｄｋ＝Ｒｓｋ×Ｃｋ

被検査レンズ２Ｘｋが最後の被検査レンズ２Ｘｋであれば（ｋ＝Ｂ）、ステップ７に移行し、被検査レンズ２Ｘｋが最後の被検査レンズ２Ｘｋでなければ（ｋ≠Ｂ）、次の被検査レンズ２Ｘｋ＋１のステップ３に移行する。

＜ステップ７＞
上記ステップ３〜６で第２変数Ｄｋが計算された被検査レンズ２Ｘｋの全ての第２変数Ｄｋの合計値を第３変数Ｅとして計算する（下記の数２１参照）。尚、数２１中、上記ステップ６にまで至らずに第２変数Ｄｋが計算されなかった被検査レンズ２Ｘｋについては、第２変数Ｄｋの値は０としている。尚、数２１の計算は、ステップ７で行わずに、ステップ６で第２変数Ｄｋが計算される都度、下記の数２２に示す加算を行ってもよい。数２２中のＥ_ｋとＥ_ｋ−１は、夫々、被検査レンズ２Ｘｋと被検査レンズ２Ｘｋ−１のステップ６の終了時の第３変数Ｅの値である。

[数２１]
Ｅ＝Σ_{ｋ＝１〜Ｂ}（Ｄｋ）

[数２２]
Ｅ_ｋ＝Ｅ_ｋ−１＋Ｄｋ

引き続き、被検査レンズ２Ｘｋ（ｋ＝１）、つまり、対象レンズ２Ｘに対してステップ５で算出した第１変数Ｃｋを、第３変数Ｅで除して、暫定的な重み係数Ｗ’（ｍ，ｎ）とする（下記の数２３参照）。尚、被検査レンズ２Ｘｋ（ｋ＝１）は、対象レンズ２Ｘであるので、ステップ３の検査２は当然にパスし、ステップ４に移行する。また、ステップ２に移行した対象画素（ｍ，ｎ）は、ステップ１の検査１において特定画素であると判定されなかったので、ステップ４に移行した被検査レンズ２Ｘｋ（ｋ＝１）は、当然にステップ４の検査３をパスし、ステップ５において第１変数Ｃｋが計算される。

[数２３]
Ｗ’（ｍ，ｎ）＝Ｃｋ／Ｅ

上記ステップ１〜７の処理を、全ての対象画素（ｍ，ｎ）に対して繰り返し行った後、次のステップ８に移行する。

＜ステップ８＞
ステップ７で計算した第３変数Ｅは、可能性として１未満になる場合があるため、暫定的な重み係数Ｗ’（ｍ，ｎ）の最大値が１を超える場合がある。そこで、本実施形態では、ステップ１の検査１において特定画素であると判定されなかった対象画素（ｍ，ｎ）の暫定的な重み係数Ｗ’（ｍ，ｎ）を、最大値が１となるように正規化して、最終的な重み係数Ｗ（ｍ，ｎ）とする（下記の数２４参照）。尚、数２４中のＷ’ｍａｘは、暫定的な重み係数Ｗ’（ｍ，ｎ）の最大値である。

[数２４]
Ｗ（ｍ，ｎ）＝Ｗ’（ｍ，ｎ）／Ｗ’ｍａｘ

以上説明したステップ１〜８を経て、上記演算処理部７による第３処理において使用される重み係数Ｗ（ｍ，ｎ）が得られる。結果として、作成された個々の重み係数Ｗ（ｍ，ｎ）は、０、１、０より大きく１未満の中間値の３種類の補正値の何れかとなり、重み係数Ｗ（ｍ，ｎ）の全体では、上記３種類の補正値の全てが割り当てられており、重み係数Ｗ（ｍ，ｎ）が０の画素（ｍ，ｎ）、重み係数Ｗ（ｍ，ｎ）が１の画素（ｍ，ｎ）、及び、重み係数Ｗ（ｍ，ｎ）が上記中間値の画素（ｍ，ｎ）が全て存在している。

＜実施例＞
次に、演算処理部７が、上記要領で作成された重み係数Ｗ（ｍ，ｎ）を使用して、上記画素値生成処理（第１処理〜第３処理）で生成された各画素の画素値ＤＲ（ｍ，ｎ），ＤＧ（ｍ，ｎ），ＤＢ（ｍ，ｎ）の全画素分を備えた出力画像データを、ドライバ装置４を経由してディスプレイパネル３に入力した場合における、ディスプレイパネル３の描画領域に表示される表示画像、当該表示画像がマイクロレンズアレイ２を通して瞳孔面Ｓ１に到達した際にユーザが仮想画像面Ｓ４で虚像として観察する入力画像の再生画像（網膜画像）のシミュレーション画像、及び、重み係数Ｗ（ｍ，ｎ）の画像（重み係数画像）の実施例（実施例１及び２）を、２つの入力画像例（入力画像Ａ及びＢ）を用いて説明する。尚、実施例１では、入力画像Ａ及びＢを使用し、重み係数Ｗ（ｍ，ｎ）の作成手順の検査１及び３で、検査１Ａ及び３Ａを使用した重み係数Ｗ（ｍ，ｎ）を使用している。実施例２では、入力画像Ａを使用し、重み係数Ｗ（ｍ，ｎ）の作成手順の検査１及び３で、検査１Ｂ及び３Ｂを使用した重み係数Ｗ（ｍ，ｎ）を使用している。

先ず、実施例１及び２に係る本装置１で想定した入力画像データ（仮想画像面Ｓ４）の属性と、マイクロレンズアレイ２及びディスプレイパネル３の構造的属性と、瞳孔面Ｓ１の直径Ｄｐを、図１０の一覧表に示す。

図１１に、実施例１及び２に使用した入力画像Ａを示す。図１２に、実施例１に使用した入力画像Ｂを示す。入力画像Ａは、英文を示す解像度２４００×１４００の白黒画像であり、入力画像Ｂは、器に盛られたイチゴを示す解像度１９２０×１４４８のグレースケール画像（本来はカラー画像である）。図１３及び図１４に、実施例１及び実施例２の重み係数Ｗ（ｍ，ｎ）の重み係数画像を夫々示す。図１５及び図１６に、実施例１の入力画像Ａ及びＢに対応する表示画像Ａ及びＢを示す。図１７に、実施例２の入力画像Ａに対応する表示画像Ａを示す。図１８及び図１９に、実施例１の入力画像Ａ及びＢに対応する網膜画像のシミュレーション画像Ａ及びＢを示す。図２０に、実施例２の入力画像Ａに対応する網膜画像のシミュレーション画像Ａを示す。尚、図１３〜図１５、図１７、図１８及び図２０には、各画像の要部を拡大した要部拡大図を追加表示している。尚、各実施例及び各比較例の網膜画像のシミュレーション画像は、対応する入力画像に対して上下及び左右が反転した画像（１８０度回転した画像）となるが、入力画像との比較を容易にするため、入力画像と同じ向きに１８０度回転して表示している。

次に、実施例１及び２の比較例として、４つの比較例を説明する。比較例１は、上記第３処理において、重み係数Ｗ（ｍ，ｎ）を使用しない（つまり、実質的に重み係数Ｗ（ｍ，ｎ）の全ての値が１となる）比較例である。比較例２は、重み係数Ｗ（ｍ，ｎ）の作成手順のステップ２〜８を行わず、ステップ１の検査１において特定画素であると判定された重み係数Ｗ（ｍ，ｎ）を０とし、特定画素であると判定されなかった対象画素（ｍ，ｎ）の重み係数Ｗ（ｍ，ｎ）を単純に１とした比較例である。比較例３及び４は、重み係数Ｗ（ｍ，ｎ）の作成手順のステップ５の第１変数Ｃｋの計算において、数１７及び数１８の計算式を用いず、ｄｋ／（Ｄｐ／２）の値に関係なく、第１変数Ｃｋを１に固定して算出した重み係数Ｗ（ｍ，ｎ）を使用した比較例である。尚、比較例２では、重み係数Ｗ（ｍ，ｎ）の作成手順の検査１で、検査１Ａを使用し、比較例３では、重み係数Ｗ（ｍ，ｎ）の作成手順の検査１及び３で、検査１Ａ及び３Ａを使用した重み係数Ｗ（ｍ，ｎ）を使用している。比較例４では、重み係数Ｗ（ｍ，ｎ）の作成手順の検査１及び３で、検査１Ｂ及び３Ｂを使用した重み係数Ｗ（ｍ，ｎ）を使用している。

図２１及び図２２に、比較例１の入力画像Ａ及びＢに対応する表示画像Ａ及びＢを示す。図２３及び図２４に、比較例１の入力画像Ａ及びＢに対応する網膜画像のシミュレーション画像Ａ及びＢを示す。図２５及び図２６に、比較例２の入力画像Ａ及びＢに対応する表示画像Ａ及びＢを示す。図２７及び図２８に、比較例２の入力画像Ａ及びＢに対応する網膜画像のシミュレーション画像Ａ及びＢを示す。図２９に、比較例３の重み係数Ｗ（ｍ，ｎ）の重み係数画像を示す。図３０及び図３１に、比較例３の入力画像Ａ及びＢに対応する表示画像Ａ及びＢを示す。図３２及び図３３に、比較例３の入力画像Ａ及びＢに対応する網膜画像のシミュレーション画像Ａ及びＢを示す。図３４に、比較例４の重み係数Ｗ（ｍ，ｎ）の重み係数画像を示す。図３５に、比較例４の入力画像Ａに対応する表示画像Ａを示す。図３６に、比較例４の入力画像Ａに対応する網膜画像のシミュレーション画像Ａを示す。尚、図２５、図２９、図３０、図３４及び図３５に、各画像の要部を拡大した要部拡大図を追加表示している。

重み係数Ｗ（ｍ，ｎ）を使用しない比較例１では、図２３及び図２４に示すように、網膜画像のシミュレーション画像Ａ及びＢに、うっすらと画像の別の部分が映り込むというノイズが発生している。これは、光学系に単レンズではなくマイクロレンズアレイ２を使用し、且つ、マイクロレンズアレイ２のレンズの配列間隔Ｓ２が１ｍｍであるのに対して瞳孔面Ｓ１の直径Ｄｐが５ｍｍと比較的大きいことに起因している。レンズの配列間隔Ｓ２に対し瞳孔面Ｓ１の直径Ｄｐが相対的に大きくなると、ディスプレイパネル３の１つの画素から出射した光が、複数のレンズを通過して瞳孔面Ｓ１内に到達する可能性が高くなり、その場合、当該瞳孔面Ｓ１内に到達する光が、他の画素から瞳孔面Ｓ１内に到達する光と網膜上で同じ位置に到達すると、当該他の画素に対してノイズ源となる。

そこで、本装置１では、重み係数Ｗ（ｍ，ｎ）の作成手順のステップ１において、対象画素（ｍ，ｎ）が特定画素であると判定された場合、重み係数Ｗ（ｍ，ｎ）に０を割り当てる処理を行っている。比較例２は、当該ステップ１の処理のみを行って作成された重み係数Ｗ（ｍ，ｎ）を使用している。図２５及び図２６に示すように、比較例２の表示画像Ａ及びＢでは、重み係数Ｗ（ｍ，ｎ）が０の画素が格子状に黒表示となっている。しかし、図２７及び図２８に示すように、比較例２の網膜画像のシミュレーション画像Ａ及びＢでは、比較例１のうっすらと画像の別の部分が映り込むというノイズの発生は解消されたが、表示画像Ａ及びＢ上の格子状の黒表示部分が濃淡のノイズパターンとして映り込むという別の問題（明るさのむら）が発生している。

そこで、本装置１では、重み係数Ｗ（ｍ，ｎ）の作成手順のステップ２〜８において、ステップ１で特定画素であると判定されなかった対象画素（ｍ，ｎ）に対し、特定画素の重み係数Ｗ（ｍ，ｎ）の値が０であることに起因して仮想画像面Ｓ４上においてユーザによって観測されるアーチファクト（ノイズパターン）の発生が抑制されるように、重み係数Ｗ（ｍ，ｎ）に、マイクロレンズアレイ２の主面Ｓ２とディスプレイパネル３の発光面Ｓ３と瞳孔面Ｓ１の配置関係（Ｌ１、Ｌ２）、マイクロレンズアレイ２及びディスプレイパネル３の構造的属性、瞳孔面Ｓ１の直径Ｄｐ、及び、対象画素（ｍ，ｎ）の位置に応じて生成された０、１、及び前記中間値の何れかの補正値を割り当てる処理を行っている。

図１３に示す実施例１の重み係数画像では、比較例２の格子状の黒表示となる重み係数画像の白表示部分（Ｗ（ｍ，ｎ）＝１）に対して、上記補正値が割り当てられている。この結果、実施例１の表示画像Ａ及びＢは、図１５及び図１６に示すようになり、実施例１の網膜画像のシミュレーション画像Ａ及びＢは、図１８及び図１９に示すようになる。図１８及び図１９に示すように、実施例１では、比較例１のうっすらと画像の別の部分が映り込むというノイズの発生、及び、比較例２の格子状の濃淡のノイズパターンの発生の何れもが解消されていることが分かる。

上述のように、重み係数Ｗ（ｍ，ｎ）の作成手順の検査１及び３で、実施例１では、検査１Ａ及び３Ａを使用した重み係数Ｗ（ｍ，ｎ）を使用しているのに対して、実施例２では、検査１Ｂ及び３Ｂを使用した重み係数Ｗ（ｍ，ｎ）を使用している。図２０に示す実施例２の網膜画像のシミュレーション画像Ａにより明らかなように、実施例２においても、実施例１と同様、比較例１のうっすらと画像の別の部分が映り込むというノイズの発生、及び、比較例２の格子状の濃淡のノイズパターンの発生の何れもが解消されていることが分かる。但し、図１８と図２０の要部拡大図を比較すると、何れも、白地部分に極めて薄いドット状のノイズが分散的に確認できるが、その程度の差は、全体図で見れば確認できないレベルである。従って、検査１及び３に、簡易な検査１Ａ及び３Ａとより厳密な検査１Ｂ及び３Ｂの何れを使用しても、実用上問題にはならないと考えられる。

比較例３は、実施例１の重み係数Ｗ（ｍ，ｎ）に対して、第１変数Ｃｋを１に固定して算出した重み係数Ｗ（ｍ，ｎ）を使用した比較例である。比較例４は、実施例２の重み係数Ｗ（ｍ，ｎ）に対して、第１変数Ｃｋを１に固定して算出した重み係数Ｗ（ｍ，ｎ）を使用した比較例である。第１変数Ｃｋを１に固定するか否かの差は、図１３と図２９に示す実施例１と比較例３の重み係数Ｗ（ｍ，ｎ）の重み係数画像の差、及び、図１４と図３４に示す実施例２と比較例４の重み係数Ｗ（ｍ，ｎ）の重み係数画像の差に明確に表れている。当該差により、図３２、図３３及び図３６に示すように、比較例３の網膜画像のシミュレーション画像Ａ及びＢ、及び、比較例４の網膜画像のシミュレーション画像Ａには、比較例１のうっすらと画像の別の部分が映り込むというノイズの発生、及び、比較例２の格子状の濃淡のノイズパターンの発生の何れもが解消されているが、比較例３では、別の極めて細い格子状のノイズパターンが発生し、比較例４では、比較例３のような細い格子状のノイズパターンではないが、ぼやけた薄い格子状のノイズパターンが発生していることが分かる。

よって、実施例１及び２と比較例３及び４との比較より、重み係数Ｗ（ｍ，ｎ）の作成手順のステップ５における第１変数Ｃｋの計算を行うことの効果が明らかとなった。しかし、瞳孔面Ｓ１の直径Ｄｐが５ｍｍより更に小さい場合や、ディスプレイパネル３の画素の配列間隔Ｓ３が１０μｍより更に短くより高解像度のディスプレイパネル３の使用が可能な場合は、第１変数Ｃｋを１に固定しても、比較例３及び４のノイズパターンの程度が、実用上問題にならない程度に抑制される可能性はある。

上記実施例１及び２により、画像生成装置５が、外部から受け付けた入力画像データに基づいて、上記ステップ１〜８の作成手順を経て作成された重み係数Ｗ（ｍ，ｎ）を用いて生成した画像データをディスプレイパネル３上に表示することで、ユーザが、当該入力画像データの高品位な再生画像を仮想画像面Ｓ４上において観察できることが明らかとなった。また、重み係数Ｗ（ｍ，ｎ）の作成手順は、必ずしも、上記ステップ１〜８の処理内容に限定されるものではなく、上記各面Ｓ１〜Ｓ３の配置関係（Ｌ１，Ｌ２）、瞳孔面Ｓ１の直径Ｄｐ、マイクロレンズアレイ２の焦点距離ｆ、大きさＳ２ｘ，Ｓ２ｙ、レンズの配列間隔ｓ２、及び、レンズの配列数Ｎ２ｘ，Ｎ２ｙ、並びに、ディスプレイパネル３の描画領域の大きさＲ３ｘ，Ｒ３ｙ、画素の配列間隔ｓ３、及び、描画領域内の画素の配列数Ｎ３ｘ，Ｎ３ｙに応じて、処理精度を緩和させる、また、より高精度化する等の調整が可能である。

次に、瞳孔面Ｓ１とマイクロレンズアレイ２の主面Ｓ２とディスプレイパネル３の発光面Ｓ３が互いに平行で、視線軸Ｚが各面Ｓ１〜Ｓ３の中心を垂直に通過する基本的な配置関係から外れる場合における、第１処理で使用するディスプレイパネル３の描画領域の各画素（ｍ，ｎ）と仮想画像面Ｓ４上の入力画像の各入力画素（ｉ，ｊ）の対応関係と、重み係数Ｗ（ｍ，ｎ）の作成手順について、簡単に説明する。

瞳孔面Ｓ１が、マイクロレンズアレイ２の主面Ｓ２とディスプレイパネル３の発光面Ｓ３に対して平行移動して、視線軸Ｚが、主面Ｓ２と発光面Ｓ３の中心からｘ方向またはｙ方向またはその両方に平行移動して各面と直交する第１の場合は、第１処理で使用する上記対応関係と重み係数Ｗ（ｍ，ｎ）の作成手順の何れに対しても、主面Ｓ２と発光面Ｓ３のｘｙ座標系の座標値を当該移動量に合わせて補正することで対応可能である。

眼球が回転して視線軸Ｚの方向が変化し、視線軸Ｚが、主面Ｓ２と発光面Ｓ３の中心からｘ方向またはｙ方向またはその両方に平行移動して各面と斜めに交差する第２の場合は、以下の２種類の対応が必要となる。尚、視線軸Ｚの方向は、瞳孔中心Ｐ１を通過してディスプレイパネル３の発光面Ｓ３と直交する基準直線の方向を基準にして決める。１つ目の対応は、第１処理で使用する上記対応関係の補正である。当該対応関係は、視線軸Ｚの向きには関係なく、瞳孔中心Ｐ１が眼球の回転により移動することを考慮すればよい。この場合、ｘ方向とｙ方向への移動については、第１の場合と同様に、主面Ｓ２と発光面Ｓ３のｘｙ座標系の座標値を当該移動量に合わせて補正し、ｚ方向への移動については、主面Ｓ２と瞳孔中心Ｐ１との距離Ｌ２を補正することで対応可能である。２つ目の対応は、１つ目の対応と同様の補正を行うとともに、重み係数Ｗ（ｍ，ｎ）の作成手順のステップ１、４及び６では、仮想画像面Ｓ４上の所定の点から、マイクロレンズアレイ２の主面Ｓ２上の所定のレンズの正方形状の区画を底面とする四角錐を瞳孔面Ｓ１まで延長した場合に、瞳孔面Ｓ１を含む平面Ｓ１’上の当該延長した四角錐と交差する断面である矩形（ＲＸ，ＲＸａ〜ＲＸｄ、ＲＸｋ，ＲＸｋａ〜ＲＸｋｄ等）の各辺、各頂点の位置、或いは、面積等の計算を行ったが、眼球の回転により平面Ｓ１’が主面Ｓ２と平行な面ではなくなるため、当該四角錐が平面Ｓ１’と交差する断面である矩形は、正方形状ではなくなるため、上述の面積等の計算を平面Ｓ１の傾斜に応じた複雑な計算式で計算する必要が生じる。但し、当該矩形の平面Ｓ１’上での位置や面積の計算が複雑化するだけで、ステップ１、４及び６の処理内容には変更はない。

［第２実施形態］
次に、本装置の第２実施形態について、図面を参照して説明する。

＜ディスプレイ装置の概略構成＞
図３７に模式的に示すように、第２実施形態の本装置１１は、マイクロレンズアレイ１２、ディスプレイパネル１３、ドライバ装置１４、及び、画像生成装置１５を備えて構成され、第１実施形態の本装置１に対して部分的な変更を加えた構成となっている。尚、図３７では、マイクロレンズアレイ１２、ディスプレイパネル１３、ドライバ装置１４、及び、画像生成装置１５を支持または収容してユーザの眼前に固定するための部材等は、種々の形態のものが可能であり、図示していない。

マイクロレンズアレイ１２は、マイクロレンズアレイ１２の各レンズの正方形状の区画に、ＲＧＢ３原色に対応した３色のカラーフィルタの何れか１つが形成され構成されている。３色のカラーフィルタ以外のマイクロレンズアレイ１２は、第１実施形態のマイクロレンズアレイ２と同じ構成である。具体的には、マイクロレンズアレイ１２は、各レンズの正方形状の区画の少なくとも一方面側の表面に、上記３色のカラーフィルタの何れか１つが形成された構成、或いは、各レンズが片側のみ凸面の平凸レンズの平面側を対向させた両凸レンズで構成され、２つの平凸レンズの間に上記３色のカラーフィルタの何れか１つを挟持した構成のものを使用する。ここで、３色のカラーフィルタの配置は、例えば、図３８に模式的に示すように、ｘ方向及びｙ方向の夫々に対して、上記３色のカラーフィルタが順番に周期的に配列し、縦横２×２の４区画内に必ず、上記３色のカラーフィルタが全て存在するように構成する。図３８の例示では、例えば、クロスハッチで表示した区画、ドットパターンで表示した区画、及び、白抜きで表示した区画が、夫々、赤色（Ｒ）のフィルタ、緑色（Ｇ）のフィルタ、青色（Ｂ）のフィルタに対応している。

第１実施形態のディスプレイパネル３は、各画素がＲＧＢ３原色に個別に対応した３色の副画素を備えて構成され、カラー表示に対応しているのに対して、ディスプレイパネル１３は、斯かる副画素を備えず、カラー表示に対応していない点でディスプレイパネル３と大きく異なる。従って、ディスプレイパネル１３は副画素を備えていないので、カラー表示対応のディスプレイパネル３より、容易に高解像度化が図れる点で有利である。

マイクロレンズアレイ１２とディスプレイパネル１３は、上記した以外は、第１実施形態のマイクロレンズアレイ２及びディスプレイパネル３と、個々の構造的属性は同じであるので、第１実施形態と重複する説明は割愛する。また、瞳孔面Ｓ１とマイクロレンズアレイ１２の主面Ｓ２とディスプレイパネル１３の発光面Ｓ３との間の位置関係も、図２に示す通りであり、第１実施形態で説明した瞳孔面Ｓ１とマイクロレンズアレイ２の主面Ｓ２とディスプレイパネル３の発光面Ｓ３との間の位置関係と同じであるので、重複する説明は割愛するとともに、第１実施形態の説明で使用した記号や計算式は、特に断らない限り、第２実施形態においても、そのまま使用する。

ドライバ装置１４は、カラー表示非対応のディスプレイパネル１３を駆動する半導体集積回路装置であり、ディスプレイパネル１３の各画素に対して、画像生成装置１５で生成された各画素の画素値を書き込むための制御信号及びデータ信号を、ディスプレイパネル１３の電気的仕様に即した所定の電圧値及びタイミングで、各画素に接続する制御信号線及びデータ信号線に印加するように構成されている。ドライバ装置１４の具体的な動作内容は、本発明の本旨ではないので、詳細な説明は割愛する。第１実施形態のドライバ装置４との相違点は、ドライバ装置４が、カラー表示対応のディスプレイパネル３を駆動する必要があるのに対して、ドライバ装置１４はカラー表示に対応する必要がない点である。尚、ドライバ装置１４として、カラー表示対応の第１実施形態のドライバ装置４を使用しても構わない。

画像生成装置１５は、図３７に示すように、入力処理部１６、演算処理部１７、及び、出力処理部１８を備えて構成され、第１実施形態の画像生成装置５と同様に、ハードウェアとしては、マイクロプロセッサ或いはディジタル信号プロセッサ等の演算処理装置を備えて構成される。後述する入力処理部１６、演算処理部１７、及び、出力処理部１８による各種の処理は、演算処理装置が所定のプログラムを実行することによって実行される。

入力処理部１６は、第１実施形態の入力処理部６と全く同じであるので、第１実施形態と重複する説明は割愛する。

演算処理部１７は、入力画像を構成する各入力画素の中から、ディスプレイパネル３の１つの画素に対応する１つの入力画素を特定する第１処理と、入力画像データから特定した入力画素の画素値を読み出して入力画素値とする第２処理と、当該入力画素値に、当該１つの画素に対して予め設定された重み係数を乗じて、当該１つの画素の画素値とする第３処理からなる画素値生成処理を、ディスプレイパネル３の各画素に対して各別に行うように構成されている点で、第１実施形態の演算処理部７と基本的に同じである。しかし、マイクロレンズアレイ１２とディスプレイパネル１３が、上述のように、第１実施形態と構造的に相違するため、上記第１乃至第３処理の処理内容が、当該相違点に対応するために、第１実施形態で説明した処理内容と一部において異なっている。当該異なっている処理内容については後述する。

出力処理部１８は、カラー表示非対応のディスプレイパネル１３の各画素に対して行われた画素値生成処理（第１処理〜第３処理）で生成された画素値Ｄ（ｍ，ｎ）の全画素分を備えた出力画像データを、ドライバ装置１４の電気的仕様に即した形式で、ドライバ装置１４に出力する。

次に、演算処理部１７が行う第１乃至第３処理の第１実施形態と相違する部分を説明する。

第１処理では、ディスプレイパネル３の描画領域の各画素（ｍ，ｎ）と仮想画像面Ｓ４上の入力画像の各入力画素（ｉ，ｊ）の位置対応関係に加えて、ディスプレイパネル３の描画領域の各画素（ｍ，ｎ）と各入力画素（ｉ，ｊ）のＲＧＢ３原色の何れの色と対応しているかの色対応関係が決定される。上記位置対応関係は、第１実施形態の第１処理と同じであるので、重複する説明は割愛する。上記色対応関係は、ディスプレイパネル３の描画領域の１つの画素（ｍ，ｎ）から出射した光がマイクロレンズアレイ１２を通過して瞳孔面Ｓ１に到達するまでの間に何色のカラーフィルタを通過したかを示すものである。ここで、瞳孔中心Ｐ１と当該１つの画素（ｍ，ｎ）の中心を結ぶ直線が通過するマイクロレンズアレイ２内の１つのレンズ（第１実施形態の重み係数Ｗ（ｍ，ｎ）の作成手順のステップ１で説明した対象レンズ２Ｘに相当する）の正方形状の区画に形成されたカラーフィルタの色が、当該１つの画素（ｍ，ｎ）に対応付けられる。

後述するように、本装置２においても、第１実施形態で説明した作成手順でほぼ同様に作成された重み係数Ｗ（ｍ，ｎ）が使用されるため、１つの画素（ｍ，ｎ）から出射した光が複数のマイクロレンズアレイ１２を通過して瞳孔面Ｓ１に到達するケース（当該１つの画素（ｍ，ｎ）が特定画素の場合）は、重み係数Ｗ（ｍ，ｎ）が０となって、当該画素の発光が阻止されるため、上記色対応関係が問題になることはない。

尚、上記位置対応関係と上記色対応関係を、夫々個別にテーブル化して、画像生成装置５に内蔵または外付けの不揮発性の記憶装置１９に格納してもよく、また、両対応関係を統合した１つの統合対応関係をテーブル化して、上記不揮発性の記憶装置１９に格納してもよい。

第２処理では、第１処理において上記位置対応関係で特定された入力画素（ｉ，ｊ）のＲＧＢ３原色の各色の画素値の内、上記色対応関係で特定される１色の画素値を、入力処理部６が所定の記憶領域に格納した入力画像データから読み出し、入力画素値とする。

第３処理では、第２処理で読み出した入力画素（ｉ，ｊ）のＲＧＢ３原色の各色の入力画素値ＩＲ（ｉ，ｊ），ＩＧ（ｉ，ｊ），ＩＢ（ｉ，ｊ）の内の上記色対応関係で特定される１色の画素値に、対応するディスプレイパネル１３の画素（ｍ，ｎ）に対して予め設定された重み係数Ｗ（ｍ，ｎ）を乗じて、当該画素（ｍ，ｎ）の画素値Ｄ（ｍ，ｎ）とする。Ｗ（ｍ，ｎ）＝０では、当該画素の画素値Ｄ（ｍ，ｎ）は０となり、黒色の表示となる。一方、Ｗ（ｍ，ｎ）＝１では、当該画素の画素値Ｄ（ｍ，ｎ）は、対応する入力画素（ｉ，ｊ）の各色の入力画素値ＩＲ（ｉ，ｊ），ＩＧ（ｉ，ｊ），ＩＢ（ｉ，ｊ）の内の上記色対応関係で特定される１色の画素値と同じとなる。尚、重み係数Ｗ（ｍ，ｎ）は、第１実施形態と同様、画像生成装置５に内蔵または外付けの不揮発性の記憶装置１９（例えば、フラッシュメモリ等の半導体メモリ）に格納されている。

次に、第３処理で使用する重み係数Ｗ（ｍ，ｎ）の作成手順につき説明する。第２実施形態の本装置１１で使用する重み係数Ｗ（ｍ，ｎ）の作成手順は、基本的には、第１実施形態で説明したものと同じであるが、上記で説明した第１乃至第３処理における第１実施形態との相違点に対応して、ステップ３の処理に、以下に説明する処理内容（検査４）を追加する。以下、第２実施形態においてステップ３の処理に追加した検査４の処理内容につき説明する。第２実施形態における重み係数Ｗ（ｍ，ｎ）の作成手順は、下記の検査４以外は、第１実施形態で説明したものと同じであるので、重複する説明は割愛する。

検査４では、対象画素（ｍ，ｎ）に対応する色と、ステップ３において算出した点Ｐ３ｋの座標値（ｘ３，ｙ３）に対応する被検査画素点の画素に対応する色を、第１処理で説明した上記色対応関係に基づいて特定し、両画素の色が一致するか否かを検査する。検査４は、検査２の前後何れで行ってもよい。検査４を先に行う場合、検査４の結果、両画素の色が一致する場合に、検査２の処理を行い、両画素の色が一致しない場合には、検査２の処理、及び、以降のステップ４〜６の処理を行わずに終了する。尚、検査４を後に行う場合、検査２の結果、点Ｐ３ｋと瞳孔中心Ｐ１を結ぶ直線がマイクロレンズアレイ２の主面Ｓ２と交差する点が、当該１つの被検査レンズ２Ｘｋの区画内に存在する場合は、検査４を行い、区画内に存在しない場合は、検査４の処理、及び、以降のステップ４〜６の処理を行わずに終了する。そして、後の検査４の結果、両画素の色が一致する場合は、次のステップ４に移行し、両画素の色が一致しない場合には、以降のステップ４〜６の処理を行わずに終了する。

第２実施形態の本装置１１では、カラー表示非対応のディスプレイパネル１３を使用して、カラー表示に対応させるために、縦横２×２の４区画内に必ず、上記３色のカラーフィルタが全て存在するように構成している。当該カラー表示に対応するには、第１処理における上記位置対応関係において、１つの入力画素（ｉ，ｊ）に対応するディスプレイパネル１３の描画領域の画素（ｍ，ｎ）が３つ以上存在し、当該３つの画素（ｍ，ｎ）の上記色対応関係で決まる各色が、互いに異なり、夫々合わせてＲＧＢ３原色の３色となることが必要となる。従って、１つの入力画素（ｉ，ｊ）に対応する仮想画像面Ｓ４上の任意の１点を頂点とし、瞳孔面Ｓ１を底面とする円錐体がカラーフィルタの設置面と交差する断面内に、上記３色のカラーフィルタの全てが含まれている必要がある。このためには、３色のカラーフィルタの配列構成に加えて、瞳孔面Ｓ１の直径Ｄｐをマイクロレンズアレイ１２のレンズの配列間隔ｓ２（レンズの大きさ）で除した比は、マイクロレンズアレイ１２及びディスプレイパネル１３の構造的属性に応じて上記条件が満足されるように設定される所定値以上（例えば、下記の実施例では３）とする必要がある。但し、当該所定値は、用途に応じて要求される画質にも依存するため、ここでは、詳細な説明は省略する。

ところで、３色の入力画素値ＩＲ（ｉ，ｊ），ＩＧ（ｉ，ｊ），ＩＢ（ｉ，ｊ）に応じた各色の輝度を、瞳孔面Ｓ１を底面とする円錐体がカラーフィルタの設置面と交差する断面内に含まれている３色のカラーフィルタの各面積の逆数の比で合成することで、入力画素（ｉ，ｊ）の色が網膜上で再現されることになるが、第３処理で、３色の入力画素値ＩＲ（ｉ，ｊ），ＩＧ（ｉ，ｊ），ＩＢ（ｉ，ｊ）に乗じる上記色対応関係で特定される３つの画素（ｍ，ｎ）の重み係数Ｗ（ｍ，ｎ）の比が、上述の３色のカラーフィルタの各面積の逆数の比に相当している。このことは、後述する実施例３の結果より裏付けられる。

ここで、第２実施形態の本装置１１では、ディスプレイパネル１３の描画領域の３以上の異なる位置の画素（ｍ，ｎ）から出射した無彩色光が、３以上（３つに限定して良いか？）の異なるレンズと３色のカラーフィルタと瞳孔面Ｓ１を通過して、網膜上の同じ位置に到達して、３色の光が網膜上の当該同じ位置で合成される。一方、第１実施形態の本装置１では、ディスプレイパネル１３の描画領域の１つの画素（ｍ，ｎ）の３色の副画素から出射した３色の光が、１つのレンズと瞳孔面Ｓ１を通過して、網膜上の所定の位置に到達して、３色の光が網膜上の当該所定の位置で合成される。しかし、３色の副画素の位置が１つの画素内で分離しているため、網膜上においても３色が僅かに分離している。このため、第２実施形態の本装置１１の方が、第１実施形態の本装置１より、カラー表示において高解像度化には有利な構造と言える。

＜実施例＞
次に、演算処理部１７が、上記要領で作成された重み係数Ｗ（ｍ，ｎ）を使用して、上記画素値生成処理（第１処理〜第３処理）で生成された各画素の画素値Ｄ（ｍ，ｎ）の全画素分を備えた出力画像データを、ドライバ装置１４を経由してディスプレイパネル１３に入力した場合における、ディスプレイパネル１３の描画領域に表示されるグレースケールの表示画像、当該表示画像がマイクロレンズアレイ１２を通して瞳孔面Ｓ１に到達した際にユーザが仮想画像面Ｓ４で虚像として観察する入力画像の再生カラー画像（網膜画像）のシミュレーション画像、及び、重み係数Ｗ（ｍ，ｎ）の画像（重み係数画像）の実施例（実施例３）を、１つの入力画像例（入力画像Ｂ）を用いて説明する。尚、実施例３では、第１実施形態の実施例１と同様に、入力画像Ｂを使用し、重み係数Ｗ（ｍ，ｎ）の作成手順の検査１及び３で、検査１Ａ及び３Ａを使用した重み係数Ｗ（ｍ，ｎ）を使用している。

先ず、実施例３に係る本装置１１で想定した入力画像データ（仮想画像面Ｓ４）の属性と、マイクロレンズアレイ１２及びディスプレイパネル１３の構造的属性と、瞳孔面Ｓ１の直径Ｄｐは、図１０に示すように、第１実施形態の実施例１及び２の値から、本装置１１のカラー表示対応効果を分かり易くするために、一部を変更している。主たる変更は、瞳孔面Ｓ１の直径Ｄｐを５ｍｍから３ｍｍと短くし、マイクロレンズアレイ２の主面Ｓ２と瞳孔面Ｓ１の離間距離Ｌ２を１０ｍｍから１５ｍｍと長くしている点で、他の変更点は、図１０に示す通りである。

図３９に、実施例３に使用した入力画像Ｂ（カラー画像）のＲＧＢ３原色の色別に分離した３つの入力画像Ｂ−Ｒ、入力画像Ｂ−Ｇ、入力画像Ｂ−Ｂを示す。図４０に、実施例３の重み係数Ｗ（ｍ，ｎ）の重み係数画像とその要部拡大図を示す。図４１に、実施例３の入力画像Ｂに対応する表示画像Ｂを示す。図４２に、実施例３の入力画像Ｂに対応する網膜画像のシミュレーション画像ＢのＲＧＢ３原色の色別に分離した３つのシミュレーション画像Ｂ−Ｒ、シミュレーション画像像Ｂ−Ｇ、シミュレーション画像Ｂ−Ｂを示す。尚、入力画像Ｂ及び網膜画像のシミュレーション画像Ｂを色別に分離して示す目的は、本願に添付するグレースケールの図面を使用して、カラー表示非対応のディスプレイパネル１３を使用する本装置１１の色再現性を確認可能にするためである。また、図４２に示すシミュレーション画像Ｂを色別に分離した各画像は、対応する入力画像に対して上下及び左右が反転した画像（１８０度回転した画像）となるが、入力画像との比較を容易にするため、入力画像と同じ向きに１８０度回転して表示している。

図３９の色別に分離した３つの入力画像Ｂ−Ｒ、入力画像Ｂ−Ｇ、入力画像Ｂ−Ｂと、図４２の色別に分離した３つのシミュレーション画像Ｂ−Ｒ、シミュレーション画像Ｂ−Ｇ、シミュレーション画像Ｂ−Ｂを対比すると、各シミュレーション画像の外縁部分で画像の色むらが生じているが、当該外縁部分を除く画面の大部分では、カラーの入力画像が正確に再現されていることが分かる。当然ながら、本来のカラーでの入力画像Ｂと、カラーで表示されたシミュレーション画像Ｂを対比しても同様である。

実施例３の結果より、カラー表示非対応のディスプレイパネル１３を使用しても、マイクロレンズアレイ１２の各レンズの正方形状の区画にＲＧＢ３原色に対応した３色のカラーフィルタを各別に形成することで、カラー表示可能なディスプレイ装置の実現が図れることが分かる。

［第３実施形態］
次に、本装置の第３実施形態について、図面を参照して説明する。

＜ディスプレイ装置の概略構成＞
図４３（Ａ）に模式的に示すように、第３実施形態の本装置２１は、マイクロレンズアレイ２２、ディスプレイパネル２３、ドライバ装置２４、及び、画像生成装置２５を備えて構成され、第１実施形態の本装置１に対して部分的な変更を加えた構成となっている。尚、図４３では、マイクロレンズアレイ１２、ディスプレイパネル１３、ドライバ装置１４、及び、画像生成装置１５を支持または収容してユーザの眼前に固定するための部材等は、種々の形態のものが可能であり、図示していない。

マイクロレンズアレイ２２は、第１実施形態のマイクロレンズアレイ２と全く同じ構成のものが利用できる。

ディスプレイパネル２３は、図４３（Ｂ）に模式的に示すように、ディスプレイパネルユニット２３ａを縦方向（ｙ方向）と横方向（ｘ方向）の少なくとも１方向に複数配列して構成されている。ディスプレイパネルユニット２３ａは、パネルの大きさを除いて、第１実施形態のディスプレイパネル３と同じ構成のものが利用できる。ディスプレイパネル２３は、隣接するディスプレイパネルユニット２３ａの画素アレイ間に、画素の存在しない隙間が生じている点で、第１実施形態のディスプレイパネル３と異なる。

マイクロレンズアレイ２２とディスプレイパネル２３は、上記した以外は、第１実施形態のマイクロレンズアレイ２及びディスプレイパネル３と、個々の構造的属性は同じであるので、第１実施形態と重複する説明は割愛する。また、瞳孔面Ｓ１とマイクロレンズアレイ２２の主面Ｓ２とディスプレイパネル２３の発光面Ｓ３との間の位置関係も、図２に示す通りであり、第１実施形態で説明した瞳孔面Ｓ１とマイクロレンズアレイ２の主面Ｓ２とディスプレイパネル３の発光面Ｓ３との間の位置関係と同じであるので、重複する説明は割愛するとともに、第１実施形態の説明で使用した記号や計算式は、特に断らない限り、第３実施形態においても、そのまま使用する。

ドライバ装置２４は、ディスプレイパネル２３を駆動する半導体集積回路装置であり、ディスプレイパネル１３の各画素に対して、画像生成装置２５で生成された各画素の画素値を書き込むための制御信号及びデータ信号を、ディスプレイパネル２３の電気的仕様に即した所定の電圧値及びタイミングで、各画素に接続する制御信号線及びデータ信号線に印加するように構成されている。ドライバ装置２４は、１台のディスプレイパネルユニット２３ａを駆動する個別のドライバ装置をディスプレイパネルユニット２３ａの個数分備えた構成としてもよく、また、１台のドライバ装置２４が、複数のディスプレイパネルユニット２３ａを各別に同時に駆動する構成としてもよい。ドライバ装置２４の具体的な動作内容は、本発明の本旨ではないので、詳細な説明は割愛する。

画像生成装置２５は、図４３に示すように、入力処理部２６、演算処理部２７、及び、出力処理部２８を備えて構成され、第１実施形態の画像生成装置５と同様に、ハードウェアとしては、マイクロプロセッサ或いはディジタル信号プロセッサ等の演算処理装置を備えて構成される。後述する入力処理部２６、演算処理部２７、及び、出力処理部２８による各種の処理は、演算処理装置が所定のプログラムを実行することによって実行される。

入力処理部２６は、第１実施形態の入力処理部６と全く同じであるので、第１実施形態と重複する説明は割愛する。

演算処理部２７は、入力画像を構成する各入力画素の中から、ディスプレイパネル２３の１つの画素に対応する１つの入力画素を特定する第１処理と、入力画像データから特定した入力画素の画素値を読み出して入力画素値とする第２処理と、当該入力画素値に、当該１つの画素に対して予め設定された重み係数を乗じて、当該１つの画素の画素値とする第３処理からなる画素値生成処理を、ディスプレイパネル２３の各画素に対して各別に行うように構成されている点で、第１実施形態の演算処理部７と基本的に同じである。

ところで、第３処理で使用する重み係数は、第１実施形態においては、ユーザの視点が点ではなく実際は大きさのある瞳孔面Ｓ１であることに起因して発生する、ユーザが仮想画像面Ｓ４上で観察する入力画像の再生画像内のアーチファクト（ノイズパターン）を抑制するために作成されていた。具体的には、第１実施形態では、比較例１のうっすらと画像の別の部分が映り込むというノイズの発生、比較例２の表示画像Ａ及びＢ上の格子状の黒表示部分（対象画素（ｍ，ｎ）が特定画素である場合に、重み係数Ｗ（ｍ，ｎ）が０となっている部分に相当）が濃淡のノイズパターンとして映り込むという別の問題（明るさのむら）が、第１実施形態の実施例１及び２では解消されていた。

ここで、第１実施形態の比較例２における「表示画像Ａ及びＢ上の格子状の黒表示部分」と、第３実施形態のディスプレイパネル２３において、隣接するディスプレイパネルユニット２３ａの画素アレイ間に、画素の存在しない隙間が生じていることは、連続した「黒表示部分」が生じる点で共通している。つまり、第３実施形態では、第１実施形態で問題視した瞳孔面Ｓ１の直径Ｄｐが、比較例１のうっすらと画像の別の部分が映り込むというノイズの発生が顕著に生じない程度に小さい場合であっても、上記「画素の存在しない隙間」によって、比較例２と同様の濃淡のノイズパターンとして映り込むという問題（明るさのむら）が発生し得る。よって、第１実施形態の第３処理において使用した重み係数は、第３実施形態において、上記「画素の存在しない隙間」に起因して生じる明るさのむらの問題の解消に利用することができる。

従って、演算処理部２７の第１実施形態の演算処理部７との相違点は、第３処理で使用する重み係数Ｗ（ｍ，ｎ）の作成手順において、ディスプレイパネルユニット２３ａの画素アレイ間の隙間を考慮した処理が追加されている点である。尚、重み係数Ｗ（ｍ，ｎ）は、第１実施形態と同様に、画像生成装置５に内蔵または外付けの不揮発性の記憶装置２９（例えば、フラッシュメモリ等の半導体メモリ）に格納されている。

出力処理部２８は、ディスプレイパネル２３の各画素に対して行われた画素値生成処理（第１処理〜第３処理）で生成された各副画素の画素値ＤＲ（ｍ，ｎ），ＤＧ（ｍ，ｎ），ＤＢ（ｍ，ｎ）の全画素分を備えた出力画像データを、ドライバ装置２４の構成及び電気的仕様に即した形式で、ドライバ装置２４に出力する。

次に、第３処理で使用する重み係数Ｗ（ｍ，ｎ）の作成手順につき説明する。第３実施形態の本装置２１で使用する重み係数Ｗ（ｍ，ｎ）の作成手順は、基本的には、第１実施形態で説明したものと同じであるが、ディスプレイパネルユニット２３ａの画素アレイ間の隙間を考慮して、ステップ３の処理に、以下に説明する処理内容（検査５）を追加し、ステップ５とステップ６の間に、以下に説明する処理内容（ステップ５−１）を追加する。以下、第３実施形態においてステップ３の処理に追加した検査５の処理内容、及び、ステップ５の後に追加したステップ５−１の処理内容つき説明する。第３実施形態における重み係数Ｗ（ｍ，ｎ）の作成手順は、下記の検査４及びステップ５−１以外は、第１実施形態で説明したものと同じであるので、重複する説明は割愛する。

検査５では、ステップ３において算出した点Ｐ３ｋ（被検査画素点）の座標値（ｘ３，ｙ３）が、ディスプレイパネルユニット２３ａの画素アレイ間の隙間内にあるか否かを検査する。検査５は、検査２の前後何れで行ってもよい。検査５を先に行う場合、検査５の結果、点Ｐ３ｋが上記隙間内にない（つまり、画素アレイ内にある）場合に、検査２の処理を行い、点Ｐ３ｋが上記隙間内にある場合には、検査２の処理、及び、以降のステップ４〜６の処理を行わずに終了する。尚、検査５を後に行う場合、検査２の結果、点Ｐ３ｋと瞳孔中心Ｐ１を結ぶ直線がマイクロレンズアレイ２の主面Ｓ２と交差する点が、当該１つの被検査レンズ２Ｘｋの区画内に存在する場合は、検査５を行い、区画内に存在しない場合は、検査５の処理、及び、以降のステップ４〜６の処理を行わずに終了する。そして、後の検査５の結果、点Ｐ３ｋが上記隙間内にない場合は、次のステップ４に移行し、点Ｐ３ｋが上記隙間内にある場合には、以降のステップ４〜６の処理を行わずに終了する。

ステップ５−１では、第１実施形態のステップ５で算出された第１変数Ｃｋを暫定的な第１変数Ｃ’ｋとし、当該暫定的な第１変数Ｃ’ｋに、下記の数２５または数２６で与えられる第４変数Ｆｋを乗じた値を第１変数Ｃｋとして（下記の数２７参照）、以降のステップ６において使用する。尚、数２５及び数２６中のｄ１ｋは、点Ｐ３ｋ（被検査画素点）と上記隙間との間の距離である。

[数２５]
Ｆｋ＝５×ｄ１ｋ／ｓ２， 但し、ｄ１ｋ／ｓ２＜０．２
[数２６]
Ｆｋ＝１， 但し、ｄ１ｋ／ｓ２≧０．２

[数２７]
Ｃｋ＝Ｃ’ｋ×Ｆｋ

ステップ５−１の処理を追加する狙いは、上記隙間に近接する画素をあまり使用しないようにして、近似や誤差による副作用の低減することである。

＜実施例＞
次に、演算処理部２７が、上記要領で作成された重み係数Ｗ（ｍ，ｎ）を使用して、上記画素値生成処理（第１処理〜第３処理）で生成された各画素の画素値Ｄ（ｍ，ｎ）の全画素分を備えた出力画像データを、ドライバ装置２４を経由してディスプレイパネル２３に入力した場合における、ディスプレイパネル２３の２枚のディスプレイパネルユニット２３ａの描画領域に表示される表示画像、当該表示画像がマイクロレンズアレイ２２を通して瞳孔面Ｓ１に到達した際にユーザが仮想画像面Ｓ４で虚像として観察する入力画像の再生カラー画像（網膜画像）のシミュレーション画像、及び、重み係数Ｗ（ｍ，ｎ）の画像（重み係数画像）の実施例（実施例４〜６）を、１つの入力画像例（入力画像Ａ）を用いて説明する。実施例４〜６間の違いは、ディスプレイパネルユニット２３ａの画素アレイ間の隙間が、順番に３ｍｍ、１０ｍｍ、１５ｍｍである点である。尚、実施例４〜６では、第１実施形態の実施例１と同様に、入力画像Ａを使用し、重み係数Ｗ（ｍ，ｎ）の作成手順の検査１及び３で、検査１Ｂ及び３Ｂを使用した重み係数Ｗ（ｍ，ｎ）を使用している。

先ず、実施例３に係る本装置２１で想定した入力画像データ（仮想画像面Ｓ４）の属性と、マイクロレンズアレイ２２及びディスプレイパネル２３の構造的属性と、瞳孔面Ｓ１の直径Ｄｐは、図１０に示すように、第１実施形態の実施例１及び２の値から、本装置２１の上記「画素の存在しない隙間」に起因して生じる明るさのむらの問題の解消効果を分かり易くするために、一部を変更している。主たる変更は、ディスプレイパネル２３の構造的属性であり、次に、瞳孔面Ｓ１の直径Ｄｐを５ｍｍから３ｍｍと短くし、マイクロレンズアレイ２の主面Ｓ２と瞳孔面Ｓ１の離間距離Ｌ２を１０ｍｍから１５ｍｍと長くしている点で、他の変更点は、図１０に示す通りである。

図４４に、実施例４〜６の重み係数Ｗ（ｍ，ｎ）の重み係数画像を夫々示す。図４５に、実施例４〜６の入力画像Ａ（図１１参照）に対応する左右２枚のディスプレイパネルユニット２３ａの表示画像Ａを左右に並べて夫々示す。図４６に、実施例４〜６の入力画像Ａに対応する網膜画像のシミュレーション画像Ａを夫々示す。尚、各実施例及び各比較例の網膜画像のシミュレーション画像は、対応する入力画像に対して上下及び左右が反転した画像（１８０度回転した画像）となるが、入力画像との比較を容易にするため、入力画像と同じ向きに１８０度回転して表示している。

次に、実施例４〜６の比較例として、４つの比較例を説明する。比較例５〜８は、重み係数Ｗ（ｍ，ｎ）の作成手順のステップ２〜８を行わず、ステップ１の検査１において特定画素であると判定された重み係数Ｗ（ｍ，ｎ）を０とし、特定画素であると判定されなかった対象画素（ｍ，ｎ）の重み係数Ｗ（ｍ，ｎ）を単純に１とした比較例である。尚、比較例５〜８では、実施例４〜６と同様に、重み係数Ｗ（ｍ，ｎ）の作成手順の検査１で、検査１Ｂを使用した重み係数Ｗ（ｍ，ｎ）を使用している。

図４７に、比較例５〜８の入力画像Ａ（図１１参照）に対応する左右２枚のディスプレイパネルユニット２３ａの表示画像Ａを左右に並べて夫々示す。図４８に、比較例５〜８の入力画像Ａに対応する網膜画像のシミュレーション画像Ａを夫々示す。

先ず、比較例５〜８の結果を検討すると、瞳孔面Ｓ１の直径Ｄｐを５ｍｍから３ｍｍと短くした結果、第１実施形態の比較例１及び２で観察された問題は生じていないことが、比較例５（隙間が０ｍｍ）のシミュレーション画像Ａ（図４８参照）より分かる。しかし、比較例６〜８のシミュレーション画像Ａ（図４８参照）より、隙間に起因して生じたと考えられる中央部が暗くなるノイズパターンが見られる。

これに対して、実施例４〜６では、２枚のディスプレイパネルユニット２３ａの画素アレイ間に、３〜１５ｍｍの隙間が存在しても、比較例６〜８で生じていた中央部が暗くなるノイズパターンの発生は解消されていることが分かる。

［別実施形態］
次に、上記第１〜第３実施形態の変形例（別実施形態）について説明する。

〈１〉上記第１〜第３実施形態では、マイクロレンズアレイ２として各レンズが両凸レンズの場合を想定したが、各レンズが片側のみ凸面の平凸レンズのマイクロレンズアレイを使用してもよい。また、マイクロレンズアレイ２として、各レンズが縦方向及び横方向に夫々複数アレイ状に配列して構成され、１つのレンズの占有する区画は正方形状の場合を想定したが、例えば、１つのレンズの占有する区画が正六角形で、ハニカム状に密に配列して構成されていてもよい。

〈２〉上記第１〜第３実施形態では、瞳孔面Ｓ１の直径Ｄｐ、視線軸Ｚがディスプレイパネル３の発光面Ｓ３と交差する位置、及び、視線軸Ｚの方向（以下、「瞳孔面に関するパラメータ」と称する）が一通りで、演算処理部７，１７，２７による第３処理では、当該瞳孔面に関するパラメータ等に応じて予め設定された１組の重み係数Ｗ（ｍ，ｎ）を使用する場合を想定したが、瞳孔面に関するパラメータの１以上が変化する用途では、複数組の当該１以上の瞳孔面に関するパラメータの組み合わせに対して予め対応する重み係数Ｗ（ｍ，ｎ）を、記憶装置９，１９，２９に格納しておき、入力処理部６，１６，２６が、当該１以上の瞳孔面に関するパラメータを入力情報として受け付けるように構成され、入力処理部６，１６，２６が受け付け当該入力情報に応じた重み係数Ｗ（ｍ，ｎ）を選択して、記憶装置９，１９，２９から読み出して使用するのも好ましい実施態様である。

この場合、上記１以上の瞳孔面に関するパラメータを計測し、その計測結果を入力情報として、画像生成装置５，１５，２５に出力するセンサを、本装置１，１１，２１の上記パラメータの計測可能な位置に設けるのも好ましい実施形態である。例えば、当該センサとして、イメージセンサを、ディスプレイパネル３を構成する基板上の画素アレイの周辺部（例えば、４角）に設置し、マイクロレンズアレイ２の４角のレンズを、当該センサの光学系に使用するのも好ましい実施形態である。斯かる４角のセンサから得られた情報から、瞳孔面Ｓ１の直径Ｄｐ、視線軸Ｚの方向等の上記パラメータが精度よく取得できる。

上記センサを設ける場合、センサの計測結果を入力情報として、画像生成装置５，１５，２５に出力して、入力処理部６，１６，２６がそれを受け付け、当該入力情報に応じた重み係数Ｗ（ｍ，ｎ）を選択する構成に代えて、画像生成装置５，１５，２５が、本装置１，１１，２１に対応した重み係数Ｗ（ｍ，ｎ）の生成手順を実行する重み係数生成部を備え、センサから計測結果を入力情報として受け付けてから、演算処理部７，１７，２７が第３処理で使用する重み係数Ｗ（ｍ，ｎ）を生成し、当該使用前に記憶装置９，１９，２９に格納するようにしてもよい。

〈３〉上記第１〜第３実施形態では、重み係数Ｗ（ｍ，ｎ）は、ディスプレイパネル３の描画領域内の全ての画素（ｍ，ｎ）について導出して、その全画素分を記憶装置９，１９，２９に格納する態様を説明したが、重み係数Ｗ（ｍ，ｎ）は、図１３及び図１４に示すように、マイクロレンズアレイ２及びディスプレイパネル３の構造的属性に応じた規則性及び周期性を備えているため、全画素分の重み係数Ｗ（ｍ，ｎ）を、繰り返し単位となる重み係数Ｗ（ｍ，ｎ）部分と、上記規則性及び周期性を関数化した部分で再構成して、データ量を圧縮して、記憶装置９，１９，２９に格納するようにしてもよい。また、重み係数Ｗ（ｍ，ｎ）は、テーブル化して、記憶装置９，１９，２９に格納する場合を説明したが、数式化できる場合には、数式化したものを記憶装置９，１９，２９に格納するようにしてもよい。

〈４〉上記第１〜第３実施形態では、本装置１，１１，２１は、ドライバ装置４，１４，２４と画像生成装置５，１５，２５を夫々個別に備えてなる構成を説明したが、画像生成装置５，１５，２５の出力処理部８，１８，２８が、ドライバ装置４，１４，２４の機能を備え、ドライバ装置４，１４，２４と画像生成装置５，１５，２５が一体化した構成であってもよい。

〈５〉上記第１〜第３実施形態では、図１、図３７、図４３において、マイクロレンズアレイ２とディスプレイパネル３は各１つのケース、つまり、片眼で使用する形態を例示していたが、当該例示は、本装置の説明の理解を容易にするためものであり、マイクロレンズアレイ２，１２，２２とディスプレイパネル３，１３，２３を２組設けて、両眼で使用する形態であってもよい。この場合は、ドライバ装置４，１４，２４、及び、画像生成装置５，１５，２５を、２組のマイクロレンズアレイ２，１２，２２とディスプレイパネル３，１３，２３に対して共通に１組設けても、或いは、各別に２組設けてもよい。

〈６〉上記第２実施形態では、ＲＧＢ３原色に対応した３色のカラーフィルタは、マイクロレンズアレイ１２の各レンズの表面または内部に形成する態様を説明したが、当該３色のカラーフィルタは、マイクロレンズアレイ１２ではなく、ディスプレイパネル３の発光面Ｓ３の表面に形成してもよい。一例として、瞳孔中心Ｐ１を頂点とし、マイクロレンズアレイ１２の正方形状の各区画を底辺とする四角錐を、ディスプレイパネル３の発光面Ｓ３まで延長した場合に、当該四角錐内の発光面Ｓ３上の区画に、上記３色のカラーフィルタを、例えば、図３８に例示したパターンで形成するのが好ましい。この場合、１つの入力画素（ｉ，ｊ）に対応する仮想画像面Ｓ４上の任意の１点を頂点とし、瞳孔面Ｓ１を底面とする円錐体がディスプレイパネル３の発光面Ｓ３と交差する断面内に、上記３色のカラーフィルタの全てが含まれている必要がある。

〈７〉上記第２及び第３実施形態では、基本的に第１実施形態で説明した重み係数Ｗ（ｍ，ｎ）の作成手順（ステップ１〜８）を経て作成された重み係数Ｗ（ｍ，ｎ）を用いて、演算処理部１７，２７が第３処理を行う場合を説明した。しかし、第３実施形態の比較例５で説明したように、瞳孔面Ｓ１の直径Ｄｐを５ｍｍから３ｍｍと短くした結果、第１実施形態の比較例１及び２で観察されたノイズの問題は生じていない。つまり、瞳孔面Ｓ１の直径Ｄｐが３ｍｍ程度に小さくできる用途では、重み係数Ｗ（ｍ，ｎ）の作成手順として、必ずしも、上記作成手順（ステップ１〜８）を経て作成する必要のないことを意味している。

従って、第２実施形態では、カラー表示非対応のディスプレイパネル１３を使用して、カラー表示に対応させる目的に特化して、３色の入力画素値ＩＲ（ｉ，ｊ），ＩＧ（ｉ，ｊ），ＩＢ（ｉ，ｊ）に応じた各色の輝度を、瞳孔面Ｓ１を底面とする円錐体がカラーフィルタの設置面と交差する断面内に含まれている３色のカラーフィルタの各面積の逆数の比で合成するための重み係数Ｗ（ｍ，ｎ）を、作成するようにしてもよい。つまり、第１及び第２実施形態で説明した重み係数Ｗ（ｍ，ｎ）の作成手順（ステップ１〜８）の内、瞳孔面Ｓ１の直径Ｄｐに応じて、例えば、ステップ１を省略する、或いは、第１実施形態の比較例３及び４のように、ステップ５の第１変数Ｃｋの計算において、数１７及び数１８の計算式を用いず、ｄｋ／（Ｄｐ／２）の値に関係なく、第１変数Ｃｋを１に固定して算出した重み係数Ｗ（ｍ，ｎ）を使用する、或いは、その両方を行うようにしてもよい。

更に、第３実施形態では、隣接するディスプレイパネルユニット２３ａの画素アレイ間の画素の存在しない隙間に起因して生じる明るさのむらの問題の解消に特化して、重み係数Ｗ（ｍ，ｎ）を、作成するようにしてもよい。つまり、第１及び第３実施形態で説明した重み係数Ｗ（ｍ，ｎ）の作成手順（ステップ１〜８）の内、瞳孔面Ｓ１の直径Ｄｐに応じて、例えば、ステップ１を省略する、或いは、第１実施形態の比較例３及び４のように、ステップ５の第１変数Ｃｋの計算において、数１７及び数１８の計算式を用いず、ｄｋ／（Ｄｐ／２）の値に関係なく、第１変数Ｃｋを１に固定して算出した重み係数Ｗ（ｍ，ｎ）を使用する、或いは、その両方を行うようにしてもよい。

更に、第２実施形態の構成を、第３実施形態の構成を用いて実現することも可能である。

本発明のディスプレイ装置は、眼前に装着して使用する眼鏡タイプまたはゴーグルタイプ等のヘッドマウントディスプレイ装置に利用できる。

１，１１，２１ ： ディスプレイ装置
２，１２，２２ ： マイクロレンズアレイ
３，１３，２３ ： ディスプレイパネル
４，１４，２４ ： ドライバ装置
５，１５，２５ ： 画像生成装置
６，１６，２６ ： 入力処理部
７，１７，２７ ： 演算処理部
８，１８，２８ ： 出力処理部
９，１９，２９ ： 不揮発性の記憶装置
２３ａ ： ディスプレイパネルユニット
Ｄｐ ： 瞳孔面の直径
Ｌ１ ： マイクロレンズアレイの主面とディスプレイパネルの発光面の離間距離
Ｌ２ ： マイクロレンズアレイの主面と瞳孔面の離間距離
Ｌ３ ： マイクロレンズアレイの主面と仮想画像面の離間距離
Ｐ１ ： 瞳孔面の中心
Ｐ２ ： レンズの主点
Ｐ３ ： ディスプレイパネルの発光面の中心
Ｐ４ ： 仮想画像面の中心
Ｓ１ ： 瞳孔面
Ｓ１’ ： 瞳孔面を含む平面
Ｓ２ ： マイクロレンズアレイの主面
Ｓ３ ： ディスプレイパネルの発光面
Ｓ４ ： 仮想画像面
Ｚ１ ： 視線軸

Claims (19)

1. ユーザの眼前に装着して使用するディスプレイ装置であって、
   マイクロレンズアレイ、ディスプレイパネル、前記ディスプレイパネルを駆動するドライバ装置、前記ディスプレイパネルに表示させる出力画像の出力画像データを生成し前記ドライバ装置に出力する画像生成装置を備えてなり、
   前記マイクロレンズアレイの主面と前記ディスプレイパネルの発光面が、前記マイクロレンズアレイの焦点距離より短い距離だけ離間して対向し、装着時に前記マイクロレンズアレイの主面が前記ディスプレイパネルの発光面よりユーザの瞳孔面側に位置するように構成され、
   前記画像生成装置は、入力処理部、演算処理部、及び、出力処理部を備えて構成され、
   前記入力処理部は、前記ディスプレイパネルの各画素から出射される光が、前記マイクロレンズアレイ及び前記瞳孔面を通過して網膜上に結像されることで、前記ユーザによって前記ディスプレイパネルより後方の仮想画像面上で観察される虚像を入力画像とする入力画像データを受け付けるように構成され、
   前記演算処理部は、前記仮想画像面上の前記入力画像を構成する各入力画素の中から、前記ディスプレイパネルの１つの画素に対応する１つの前記入力画素を特定し、前記入力画像データから前記特定した前記入力画素の画素値を読み出して入力画素値とし、当該入力画素値に、当該１つの画素に対して予め設定された重み係数を乗じて、当該１つの画素の画素値とする画素値生成処理を、前記ディスプレイパネルの各画素に対して各別に行うように構成され、
   前記出力処理部は、前記画素値生成処理で生成された各画素の前記画素値を備えた前記出力画像データを、前記ドライバ装置に出力するように構成され、
   前記重み係数は、前記ディスプレイパネルの各画素に対して、各別に、前記ディスプレイパネルの１つの対象画素が、前記対象画素から出射された光が前記マイクロレンズアレイ内の複数のレンズを通して前記瞳孔面に到達することで、前記対象画素以外の他の画素のノイズ源と見做される特定画素である場合に、０が割り当てられ、前記対象画素が、前記特定画素でない場合に、前記マイクロレンズアレイの主面と前記ディスプレイパネルの発光面と前記瞳孔面の配置関係、前記マイクロレンズアレイ及び前記ディスプレイパネルの構造的属性、前記瞳孔面の直径、及び、当該対象画素の位置に応じて生成された０、１、０より大きく１未満の中間値の３種類の補正値が全て割り当てられ、前記画像生成装置に内蔵または外付けの記憶装置内に保存されていることを特徴とするディスプレイ装置。
2. 前記重み係数は、前記対象画素が前記特定画素でない場合に、前記特定画素の前記重み係数の値が０であることに起因して前記仮想画像面上において前記ユーザによって観測されるノイズパターンの発生が抑制されるように、前記補正値が割り当てられていることを特徴とする請求項１に記載のディスプレイ装置。
3. 前記瞳孔面の中心と前記対象画素の中心を結ぶ直線が通過する前記マイクロレンズアレイ内の１つのレンズを前記対象画素に対応する対象レンズとした場合において、前記対象画素から出射され前記対象レンズに隣接する複数の隣接レンズの少なくとも１つを通過した光の少なくとも一部が前記瞳孔面を通過する場合、当該対象画素を前記特定画素として、前記重み係数が生成されていることを特徴とする請求項１または２に記載のディスプレイ装置。
4. 前記レンズの配列間隔が、前記瞳孔面の直径の最小値より小さいことを特徴とする請求項１〜３の何れか１項に記載のディスプレイ装置。
5. 前記ディスプレイパネルの各画素がＲＧＢ３原色に個別に対応した副画素を備えたカラー表示対応の画素であり、
   前記入力処理部が、前記入力画素の画素値が前記ＲＧＢ３原色の各色の画素値で構成された前記入力画像データを受け付け、
   前記演算処理部が、前記画素値生成処理において、前記ディスプレイパネルの１つの画素に対応する１つの前記入力画素を特定し、前記入力画像データから前記特定した前記入力画素の前記各色の画素値を読み出して前記各色の入力画素値とし、当該各色の入力画素値に、当該１つの画素に対して予め設定された前記重み係数を乗じて、当該１つの画素の前記各色に対応した前記副画素の各画素値とすることを特徴とする請求項１〜４の何れか１項に記載のディスプレイ装置。
6. 前記瞳孔面の中心と前記対象画素の中心を結ぶ直線が通過する前記マイクロレンズアレイ内の１つのレンズを前記対象画素に対応する対象レンズとした場合において、
   前記対象画素が、前記特定画素でない場合に、当該対象画素に対応する前記対象レンズを中心とする前記瞳孔面の直径と前記レンズの配列間隔の比に応じた範囲内の被検査レンズの夫々について、
   前記対象画素から出射した光が前記対象レンズによって前記仮想画像面上に虚像として観測される対象仮想画素位置と前記被検査レンズの主点を結ぶ直線が前記ディスプレイパネルの前記発光面と交差する点を、前記被検査レンズに対応する被検査画素点とし、
   前記被検査画素点から出射され当該被検査画素点に対応する前記被検査レンズに隣接する複数の隣接レンズを通過した光が前記瞳孔面を通過せずに、前記瞳孔面の外周領域に到達する場合に、第１変数と第２変数の計算を行い、当該光が前記瞳孔面を通過する場合は、前記第１変数と第２変数の計算を行わず、
   前記第１変数は、当該光の到達位置の前記瞳孔面の中心または外縁からの離間距離に応じて、前記離間距離が前記瞳孔面の直径に応じた所定の基準値以上の場合に１とし、前記離間距離が前記所定の基準値未満の場合に、前記離間距離が大きいほど１に近付く０以上１未満の値として計算され、
   前記第２変数は、前記対象仮想画素位置から、前記被検査レンズを通して前記瞳孔面とその延長面に投影される前記被検査レンズの投影領域と前記瞳孔面とが重複する部分の前記瞳孔面に対する面積比に、前記第１変数を乗じて計算され、
   前記対象画素に対応する前記第２変数の計算された全ての前記被検査レンズの前記第２変数を合計して第３変数とし、前記対象レンズが前記被検査レンズである場合の前記第１変数を前記第３変数で除した値に対して、最大値が１となるように正規化した値が、前記対象画素の前記重み係数となるように、
   前記ディスプレイパネルの各画素に対して、各別に、前記重み係数が設定されていることを特徴とする請求項１〜５の何れか１項に記載のディスプレイ装置。
7. 前記ディスプレイパネルの各画素がカラー表示非対応の画素であり、
   前記ディスプレイパネルの縦方向及び横方向に夫々複数の前記画素を有する画素区画の夫々、または、前記マイクロレンズアレイの個々の前記レンズの夫々に対して、ＲＧＢ３原色の何れか１色に対応したカラーフィルタが設置され、前記画素区画または前記レンズの夫々に前記ＲＧＢ３原色の何れか１色が対応付けられており、
   前記ＲＧＢ３原色の３色のカラーフィルタが、前記仮想画像面上の任意の１点を頂点とし、前記瞳孔面を底面とする円錐体が前記カラーフィルタの設置面と交差する断面内に、前記３色の全てが存在するように配列しており、
   前記入力処理部が、前記入力画素の画素値が前記ＲＧＢ３原色の各色の画素値で構成された前記入力画像データを受け付け、
   前記演算処理部が、前記各画素が前記ＲＧＢ３原色の何れの色に対応しているかの色対応関係を備えており、前記画素値生成処理において、前記ディスプレイパネルの１つの画素に対応する１つの前記入力画素を特定し、前記入力画像データから前記特定した前記入力画素の前記色対応関係によって定まる前記ＲＧＢ３原色の１つの画素値を読み出して入力画素値とし、当該入力画素値に、当該１つの画素に対して予め設定された前記重み係数を乗じて、当該１つの画素の画素値とすることを特徴とする請求項１〜４の何れか１項に記載のディスプレイ装置。
   
8. 前記瞳孔面の中心と前記対象画素の中心を結ぶ直線が通過する前記マイクロレンズアレイ内の１つのレンズを前記対象画素に対応する対象レンズとした場合において、
   前記対象画素が、前記特定画素でない場合に、当該対象画素に対応する前記対象レンズを中心とする前記瞳孔面の直径と前記レンズの配列間隔の比に応じた範囲内の被検査レンズの夫々について、
   前記対象画素から出射した光が前記対象レンズによって前記仮想画像面上に虚像として観測される対象仮想画素位置と前記被検査レンズの主点を結ぶ直線が前記ディスプレイパネルの前記発光面と交差する点を、前記被検査レンズに対応する被検査画素点とし、
   前記被検査画素点の前記色対応関係によって定まる前記ＲＧＢ３原色の１つである対応色が、前記対象画素の前記色対応関係によって定まる前記ＲＧＢ３原色の１つである対応色と一致し、且つ、前記被検査画素点から出射され当該被検査画素点に対応する前記被検査レンズに隣接する複数の隣接レンズを通過した光が前記瞳孔面を通過せずに、前記瞳孔面の外周領域に到達する場合に、第１変数と第２変数の計算を行い、
   前記被検査画素点の前記対応色が前記対象画素の前記対応色と一致しないか、前記被検査画素点から出射され前記複数の隣接レンズを通過した光が前記瞳孔面を通過する場合は、前記第１変数と第２変数の計算を行わず、
   前記第１変数は、当該光の到達位置の前記瞳孔面の中心または外縁からの離間距離に応じて、前記離間距離が前記瞳孔面の直径に応じた所定の基準値以上の場合に１とし、前記離間距離が前記所定の基準値未満の場合に、前記離間距離が大きいほど１に近付く０以上１未満の値として計算され、
   前記第２変数は、前記対象仮想画素位置から、前記被検査レンズを通して前記瞳孔面とその延長面に投影される前記被検査レンズの投影領域と前記瞳孔面とが重複する部分の前記瞳孔面に対する面積比に、前記第１変数を乗じて計算され、
   前記対象画素に対応する前記第２変数の計算処理を行った全ての前記被検査レンズの前記第２変数を合計して第３変数とし、前記対象レンズが前記被検査レンズである場合の前記第１変数を前記第３変数で除した値に対して、最大値が１となるように正規化した値が、前記対象画素の前記重み係数となるように、
   前記ディスプレイパネルの各画素に対して、各別に、前記重み係数が設定されていることを特徴とする請求項７に記載のディスプレイ装置。
9. 前記ディスプレイパネルが、前記ディスプレイパネルより小面積のディスプレイパネルユニットを縦方向と横方向の少なくとも１方向に複数配列して構成され、
   前記ディスプレイパネル内の前記ディスプレイパネルユニット間の隙間を仮想的に前記特定画素と見做して、前記ディスプレイパネルユニット内の各画素に対して、前記重み係数が生成されていることを特徴とする請求項１〜５及び７の何れか１項に記載のディスプレイ装置。
10. 前記ディスプレイパネルが、前記ディスプレイパネルより小面積のディスプレイパネルユニットを縦方向と横方向の少なくとも１方向に複数配列して構成され、
    前記対象画素が、前記特定画素でない場合に、前記被検査レンズの夫々について、
    前記被検査画素点が前記ディスプレイパネルユニット内に存在する場合に、前記第１変数及び前記第２変数の計算処理を行い、前記被検査画素点が前記ディスプレイパネルユニット内に存在しない場合は、前記第１変数及び前記第２変数の計算処理を行わず、
    前記対象画素に対応する前記第２変数の計算された全ての前記被検査レンズの前記第２変数を合計して第３変数とし、前記対象レンズが前記被検査レンズである場合の前記第１変数を前記第３変数で除した値に対して、最大値が１となるように正規化した値が、前記対象画素の前記重み係数となるように、
    複数の前記ディスプレイパネルユニットの各画素に対して、各別に、前記重み係数が設定されていることを特徴とする請求項６または８に記載のディスプレイ装置。
11. 前記第１変数の計算処理において、前記被検査画素点と前記ディスプレイパネル内の前記ディスプレイパネルユニット間の隙間との間の距離を前記レンズの配列間隔で除した値が所定値以下の場合、当該値の増加に応じて０から１まで単調に増加する第４変数を前記第１変数に乗じた値を前記第１変数として使用することを特徴とする請求項１０に記載のディスプレイ装置。
    
12. ユーザの眼前に装着して使用するディスプレイ装置であって、
    マイクロレンズアレイ、ディスプレイパネル、前記ディスプレイパネルを駆動するドライバ装置、前記ディスプレイパネルに表示させる出力画像の出力画像データを生成し前記ドライバ装置に出力する画像生成装置を備えてなり、
    前記マイクロレンズアレイの主面と前記ディスプレイパネルの発光面が、前記マイクロレンズアレイの焦点距離より短い距離だけ離間して対向し、装着時に前記マイクロレンズアレイの主面が前記ディスプレイパネルの発光面よりユーザの瞳孔面側に位置するように構成され、
    前記ディスプレイパネルの各画素がカラー表示非対応の画素であり、
    前記ディスプレイパネルの縦方向及び横方向に夫々複数の前記画素を有する画素区画の夫々、または、前記マイクロレンズアレイの個々のレンズの夫々に対して、ＲＧＢ３原色の何れか１色に対応したカラーフィルタが設置され、前記画素区画または前記レンズの夫々に前記ＲＧＢ３原色の何れか１色が対応付けられており、
    前記画像生成装置は、入力処理部、演算処理部、及び、出力処理部を備えて構成され、
    前記入力処理部は、前記ディスプレイパネルの各画素から出射される光が、前記マイクロレンズアレイ及び前記瞳孔面を通過して網膜上に結像されることで、前記ユーザによって前記ディスプレイパネルより後方の仮想画像面上で観察される虚像を入力画像とする入力画像データであって、前記入力画像を構成する各入力画素の画素値が前記ＲＧＢ３原色の各色の画素値で構成された前記入力画像データを受け付けるように構成され、
    前記演算処理部は、前記各画素が前記ＲＧＢ３原色の何れの色に対応しているかの色対応関係を備え、前記各入力画素の中から、前記ディスプレイパネルの１つの画素に対応する１つの前記入力画素を特定し、前記入力画像データから前記特定した前記入力画素の前記色対応関係によって定まる前記ＲＧＢ３原色の１つの画素値を読み出して入力画素値とし、前記入力画素値または前記入力画素値に当該１つの画素に対して予め設定された重み係数を乗じた値を当該１つの画素の画素値とする画素値生成処理を、前記ディスプレイパネルの各画素に対して各別に行うように構成され、
    前記出力処理部は、前記画素値生成処理で生成された各画素の前記画素値を備えた前記出力画像データを、前記ドライバ装置に出力するように構成され、
    前記ＲＧＢ３原色の３色のカラーフィルタが、前記仮想画像面上の任意の１点を頂点とし、前記瞳孔面を底面とする円錐体が前記カラーフィルタの設置面と交差する断面内に、前記３色の全てが存在するように配列していることを特徴とするディスプレイ装置。
    
13. 前記ディスプレイパネルの各画素の内、１つの前記入力画素に対応し、且つ、前記色対応関係で定まる３色に対応する３つの画素の前記重み係数の比が、前記仮想画像面上における当該１つの前記入力画素の中心を頂点とする前記円錐体が前記カラーフィルタの設置面と交差する前記断面内における３色の前記カラーフィルタの面積の逆数の比となっていることを特徴とする請求項１２に記載のディスプレイ装置。
14. ユーザの眼前に装着して使用するディスプレイ装置であって、
    マイクロレンズアレイ、ディスプレイパネル、前記ディスプレイパネルを駆動するドライバ装置、前記ディスプレイパネルに表示させる出力画像の出力画像データを生成し前記ドライバ装置に出力する画像生成装置を備えてなり、
    前記ディスプレイパネルが、前記ディスプレイパネルより小面積のディスプレイパネルユニットを縦方向と横方向の少なくとも１方向に複数配列して構成され、
    前記マイクロレンズアレイの主面と前記ディスプレイパネルの発光面が、前記マイクロレンズアレイの焦点距離より短い距離だけ離間して対向し、装着時に前記マイクロレンズアレイの主面が前記ディスプレイパネルの発光面よりユーザの瞳孔面側に位置するように構成され、
    前記画像生成装置は、入力処理部、演算処理部、及び、出力処理部を備えて構成され、
    前記入力処理部は、前記ディスプレイパネルの各画素から出射される光が、前記マイクロレンズアレイ及び前記瞳孔面を通過して網膜上に結像されることで、前記ユーザによって前記ディスプレイパネルより後方の仮想画像面上で観察される虚像を入力画像とする入力画像データを受け付けるように構成され、
    前記演算処理部は、前記仮想画像面上の前記入力画像を構成する各入力画素の中から、前記ディスプレイパネルの１つの画素に対応する１つの前記入力画素を特定し、前記入力画像データから前記特定した前記入力画素の画素値を読み出して入力画素値とし、当該入力画素値に、当該１つの画素に対して予め設定された重み係数を乗じて、当該１つの画素の画素値とする画素値生成処理を、前記ディスプレイパネルの各画素に対して各別に行うように構成され、
    前記出力処理部は、前記画素値生成処理で生成された各画素の前記画素値を備えた前記出力画像データを、前記ドライバ装置に出力するように構成され、
    前記重み係数は、前記ディスプレイパネルの各画素に対して、各別に、前記ディスプレイパネルの１つの対象画素が、前記ディスプレイパネル内に前記ディスプレイパネルユニット間の隙間が存在することに起因して前記仮想画像面上において前記ユーザによって観測されるノイズパターンの発生が抑制されるように、前記マイクロレンズアレイの主面と前記ディスプレイパネルの発光面と前記瞳孔面の配置関係、前記マイクロレンズアレイ及び前記ディスプレイパネルの構造的属性、前記瞳孔面の直径、及び、当該対象画素の位置に応じて生成された０、１、０より大きく１未満の中間値の３種類の補正値が全て割り当てられ、前記画像生成装置の所定の記憶領域に保存されていることを特徴とするディスプレイ装置。
15. 前記瞳孔面の中心と前記対象画素の中心を結ぶ直線が通過する前記マイクロレンズアレイ内の１つのレンズを前記対象画素に対応する対象レンズとした場合において、
    前記対象画素が、前記重み係数として既に０が割り当てられていない場合、当該対象画素に対応する前記対象レンズを中心とする前記瞳孔面の直径と前記レンズの配列間隔の比に応じた範囲内の被検査レンズの夫々について、
    前記対象画素から出射した光が前記対象レンズによって前記仮想画像面上に虚像として観測される対象仮想画素位置と前記被検査レンズの主点を結ぶ直線が前記ディスプレイパネルの前記発光面と交差する点を、前記被検査レンズに対応する被検査画素点とし、
    前記被検査画素点が前記ディスプレイパネルユニット内に存在し、且つ、前記被検査画素点から出射され当該被検査画素点に対応する前記被検査レンズに隣接する複数の隣接レンズを通過した光が前記瞳孔面を通過せずに、前記瞳孔面の外周領域に到達する場合に、第１変数と第２変数の計算を行い、
    前記被検査画素点が前記ディスプレイパネルユニット内に存在しないか、前記被検査画素点から出射され前記複数の隣接レンズを通過した光が前記瞳孔面を通過する場合は、前記第１変数と第２変数の計算を行わず、
    前記第１変数は、当該光の到達位置の前記瞳孔面の中心または外縁からの離間距離に応じて、前記離間距離が前記瞳孔面の直径に応じた所定の基準値以上の場合に１とし、前記離間距離が前記所定の基準値未満の場合に、前記離間距離が大きいほど１に近付く０以上１未満の値として計算され、
    前記第２変数は、前記対象仮想画素位置から、前記被検査レンズを通して前記瞳孔面とその延長面に投影される前記被検査レンズの投影領域と前記瞳孔面とが重複する部分の前記瞳孔面に対する面積比に、前記第１変数を乗じて計算され、
    前記対象画素に対応する前記第２変数の計算処理を行った全ての前記被検査レンズの前記第２変数を合計して第３変数とし、前記対象レンズが前記被検査レンズである場合の前記第１変数を前記第３変数で除した値に対して、最大値が１となるように正規化した値が、前記対象画素の前記重み係数となるように、
    複数の前記ディスプレイパネルユニットの各画素に対して、各別に、前記重み係数が設定されていることを特徴とする請求項１４に記載のディスプレイ装置。
16. 前記第１変数の計算処理において、前記被検査画素点と前記隙間との間の距離を前記レンズの配列間隔で除した値が所定値以下の場合、当該値の増加に応じて０から１まで単調に増加する第４変数を前記第１変数に乗じた値を前記第１変数として使用する請求項１５に記載のディスプレイ装置。
17. 前記レンズの配列間隔が、前記瞳孔面の直径の最小値より小さいことを特徴とする請求項１５または１６に記載のディスプレイ装置。
    
18. 前記重み係数が、前記瞳孔面の直径、前記瞳孔面に直交して前記瞳孔面の中心を通過する視線軸が前記ディスプレイパネルと交差する位置、及び、前記瞳孔面の中心を通過して前記ディスプレイパネルと直交する基準直線に対する前記視線軸の方向の内の１以上の瞳孔面に関するパラメータに応じて、複数組の前記重み係数を備え、
    前記入力処理部が、前記１以上の瞳孔面に関するパラメータを入力情報として受け付けるように構成され、
    前記演算処理部が、前記入力情報に応じた前記重み係数を使用することを特徴とする請求項１〜１７の何れか１項に記載のディスプレイ装置。
19. 前記瞳孔面の直径、前記瞳孔面に直交して前記瞳孔面の中心を通過する視線軸が前記ディスプレイパネルと交差する位置、及び、前記瞳孔面の中心を通過して前記ディスプレイパネルと直交する基準直線に対する前記視線軸の方向の内の１以上の瞳孔面に関するパラメータを計測し、その計測結果を前記入力情報として、前記画像生成装置に出力するセンサを備えていることを特徴とする請求項１８に記載のディスプレイ装置。

Images