JP5511050B2 - 補正画像データ生成方法及び表示装置 - Google Patents

Description

本発明は、補正画像データ生成方法及び表示装置に関する。

映像や文字を表示する表示装置（ディスプレイ）として、液晶ディスプレイやプラズマディスプレイがある。しかし、これらの表示装置は視度の調節が出来ない。高齢化社会の進展に伴って老眼（老視）の高齢者が増えており、視度調節が可能な表示装置、特にフラットパネルディスプレイ（ＦＰＤ）が望まれている。特に携帯電話の普及やデジタルカメラの普及により、屋外でＦＰＤによる表示を見る機会が増えている。

しかし、携帯電話やデジタルカメラのＦＰＤを見るときに、いちいち老眼鏡を掛けるのは非常に煩わしい。デジタル一眼レフカメラには、ライブビューモニターとしてＦＰＤが用いられているが、このデジタル一眼レフカメラにおいて、遠方の被写体を見つつ、ライブビューモニターを見るのに、いちいち老眼鏡を掛けたり外したりするのは、実際的ではない。それ以外でも、パソコンの液晶画面もいちいち老眼鏡を掛けるのは煩わしい。

従来、このような問題を解決するＦＰＤは存在していなかった。これに対して、最近ではこのような問題は指摘されつつあり、特許文献１には、エッジ強調をした補正画像を表示する方法が提案されている。また、特許文献２にはテプリッツ行列の逆行列で生成した事前補正画像を用いる方法が提案されている。

特許第３５５２４１３号明細書 特開２００７−１２８３５５号公報

しかしながら、特許文献１によるエッジ強調の手法では、表示情報を多少見易くはするものの、デフォーカス像を鮮鋭な像に回復することは不可能である。特許文献１におけるエッジ強調は、像がボケる原因、すなわちデフォーカスの情報を用いた補正ではないためである。

一方、特許文献２では、デフォーカスの情報を用いた補正を行っている。眼の焦点調節不足（デフォーカス）による点広がり関数からなるテプリッツ行列に基づいて画像を補正している。しかし、テプリッツ行列を用いた場合は補正した画像データに複素数は生じないので、その補正の結果は、特許文献１と同じエッジ強調程度に留まり、実際に使用した場合の効果は実用レベルに至っているとは言えなかった。

本発明は、上記問題点に鑑みて考案したもので、視度調節を実用上十分なレベルで行うことのできる事前補正画像を生成する補正画像データ生成方法、及び事前補正画像を表示する表示装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る補正画像データ生成方法は、観察者の眼によって生じる像のボケが観察時に補正される事前補正画像データを生成する事前補正画像データ生成方法であり、原画像データに対して眼のレンズ機能部分の補正関数を用いて事前補正画像データを生成するときに生じる振幅情報と位相情報とを含む事前補正画像データを生成することを特徴としている。
ここで、眼のレンズ機能部分とは、網膜を含まない角膜から硝子体までを意味する。
以下、眼光学系と記すが、これは、眼のレンズ機能部分つまり角膜から硝子体までの部分を差す。

本発明の補正画像データ生成方法において、補正関数はデフォーカスの伝達関数の逆数であることが好ましい。

本発明の補正画像データ生成方法において、補正関数はデフォーカスの伝達関数のウイナフィルタであることが好ましい。

本発明に係る表示装置は、上述のいずれか一つの補正画像データ生成方法により、振幅情報と位相情報とからなる事前補正画像データを生成する処理部と、生成された補正画像データの振幅情報と位相情報とを表示する表示部と、を有することを特徴としている。

本発明の表示装置において、表示部は、液晶で構成された表示デバイスであることが好ましい。

本発明の表示装置において、表示デバイスが散乱板を介して照明されることが好ましい。

本発明の表示装置において、コヒーレンス照明領域が１ｍｍより大きいことが好ましい。

本発明の表示装置において、表示デバイスの光源が固体光源であることが好ましい。

本発明の表示装置において、光源はＬＥＤであることが好ましい。

本発明の表示装置において、光源はレーザであることが好ましい。

本発明の表示装置において、スペックルを低減させるためのスペックル減少機構を有することが好ましい。

本発明に係る補正画像データ生成方法及び表示装置は、視度調節を実用上十分なレベルで行うことのできる事前補正画像を生成すると共に、その事前補正画像を表示できる、という効果を奏する。

表示画像の例を示す図である。本発明の第１実施形態の補正画像データの生成に用いる表示画像でもある。 老眼の観察者の焦点位置と図１に示す画像を配置した明視距離とを示す図である。 図１に示す画像を明視距離においたときに図２に示す老眼の観察者が見るデフォーカス像を示す図である。 図１に示す画像に基づいてウイナフィルタによって生成した事前補正画像を図２に示す老眼の観察者が見たときに見える像を示す図である。デフォーカスが補正され焦点が合っており、図１と同等の画像となっている。 図１に示す画像に基づいてウイナフィルタによって生成した事前補正画像の振幅成分を示す図である。 同じく事前補正画像の位相成分を示す図である。位相成分を濃淡で表している。 振幅成分と位相成分を同時に表示できる液晶デバイスの構造を示す側面図である。 図７に示す液晶デバイスの制御系の構成を示すブロック図である。 コヒーレント結像が成立する状況を示す概念図である。 散乱板を備えた構成を示す概念図である。 第２実施形態に係る表示装置の構成を示す図である。 第３実施形態に係る表示装置の構成を示す正面図である。 第３実施形態に係る表示装置の構成を示す側面図である。

以下に、本発明に係る補正画像データ生成方法及び表示装置の実施形態を図面に基づいて詳細に説明する。なお、以下の実施形態によりこの発明が限定されるものではない。また、以下の説明では、Ｉ（ｘ，ｙ）等のパラメータに関して異なる表記（斜体と標準体（斜体でない））を用いているが、パラメータの意味は同じである。

（第１実施形態）
まず、事前補正画像の生成について説明する。
眼で観察される像（以下、観察像）の強度をＩ（ｘ，ｙ）、観察像の振幅をｉ（ｘ，ｙ）とすると、Ｉ（ｘ，ｙ）は、次のように表される。ここで、ｘ、ｙは画像の２次元座標である。
Ｉ（ｘ，ｙ）＝｜ｉ（ｘ，ｙ）｜^２

また、表示装置に表示する画像（以下、表示画像）の強度をＯ（ｘ，ｙ）、表示画像の振幅をｏ（ｘ，ｙ）とすると、Ｏ（ｘ，ｙ）は次のように表される。
Ｏ（ｘ，ｙ）＝｜ｏ（ｘ，ｙ）｜^２
さらに、眼光学系の点像応答関数（以下、ＩＲＦ、振幅）をｈ（ｘ，ｙ）とすると、コヒーレント結像は、次式（１）のコンボリューション（畳み込み）で表される。

なお、観察像は強度（振幅の二乗）であるので、
Ｉ（ｘ，ｙ）＝｜ｉ（ｘ，ｙ）｜^２＝｜ｈ（ｘ，ｙ）＊ｏ（ｘ，ｙ）｜^２
となる。

ここで、ｉ（ｘ，ｙ）、ｈ（ｘ，ｙ）、ｏ（ｘ，ｙ）は、それぞれ、フーリエ変換によって、次式（２）、（３）、（４）で表される。Ｆｉ（ｕ，ｖ）、Ｆｈ（ｕ，ｖ）、Ｆｏ（ｕ，ｖ）は、それぞれ、ｉ（ｘ，ｙ）、ｈ（ｘ，ｙ）、ｏ（ｘ，ｙ）のフーリエ変換である。また、Ｆｈ（ｕ，ｖ）はＩＲＦのフーリエ変換であるが、これはＣＴＦ（コヒーレント伝達関数）でもある。

すると、Ｆｉ（ｕ，ｖ）は式（５）で示すように、Ｆｈ（ｕ，ｖ）とＦｏ（ｕ，ｖ）の積で表すことができる。
Ｆｉ（ｕ，ｖ）＝Ｆｈ（ｕ，ｖ）Ｆｏ（ｕ，ｖ） ・・・（５）

ところで、観察者が高齢者だと、老眼（老視）のために、観察者は表示画像にピントを合わすことが困難となることがある。このような場合、観察像はデフォーカスした状態の像となる。これは、光学系（眼）の瞳関数が波面収差、ここではデフォーカスを含んでいることを指す。

瞳関数がデフォーカス（波面収差）を含む場合、その瞳関数は次式（６）で表される。

ここで、ａは光学系の瞳半径、λは波長、ｆは光学系の焦点距離、ｗ（ｕ，ｖ）は波面収差である。また、

である。なお、このようにデフォーカスを含む瞳関数は複素数となり、位相情報を含んでいる。

さて、上記のように、ＣＴＦはＩＲＦをフーリエ変換したものである。その一方で、ＣＴＦは、瞳関数そのものでもある。よって、上記式（６）において、ｐ（ｕ，ｖ）をＦｈ（ｕ，ｖ）に置き換えることができる。
また、
ｗ（ｕ，ｖ）＝（ｕ^２＋ｖ^２）Δｚ／２ｆ^２
より、次式（７）が成り立つ。

上記のように、式（５）より、結像は空間周波数領域で、次式（８）で表される。
Ｆｉ（ｕ，ｖ）＝Ｆｈ（ｕ，ｖ）Ｆｏ（ｕ，ｖ） ・・・（８）

上記式（８）において、瞳関数Ｆｈ（ｕ，ｖ）がデフォーカスを含んでいる場合、観察像はデフォーカスした状態の像となる。そこで、本実施形態では、次式（９）で表される補正、すなわち、表示画像（振幅）ｏ（ｕ，ｖ）に対してデフォーカスを含んだ瞳関数ｈ（ｕ，ｖ）で補正を行い、事前補正画像ｏ’（ｘ，ｙ）を生成する。
Ｆｏ’（ｕ，ｖ）＝Ｆｏ（ｕ，ｖ）／Ｆｈ（ｕ，ｖ） ・・・（９）
ｏ’（ｘ，ｙ）はＦｏ’（ｕ，ｖ）の逆フーリエ変換で求められる。また、ｏ’（ｘ，ｙ）は複素数で、絶対値が振幅で、アーギュメントが位相である。

この事前補正画像ｏ’（ｘ，ｙ）を用いると、ｉ’（ｘ，ｙ）は次式（１０）で表される。
Ｆｉ’（ｕ，ｖ）＝Ｆｈ（ｕ，ｖ）Ｆｏ’（ｕ，ｖ）
＝Ｆｈ（ｕ，ｖ）Ｆｏ（ｕ，ｖ）／Ｆｈ（ｕ，ｖ）
＝Ｆｏ（ｕ，ｖ） ・・・（１０）

次式（１０）から明らかなように、観察像ｉ’（ｘ，ｙ）は、表示画像Ｏ（ｘ，ｙ）＝｜ｏ（ｘ，ｙ）｜^２となるので、波面収差がない（例えば、デフォーカスしていない）時と同じ像が得られる。

このように、本実施形態では、表示画像をデフォーカスのコヒーレント伝達関数の逆数で補正することにより、視度調節を可能にする事前補正画像を作ることが出来る。

しかし、単純にＣＴＦ（コヒーレント伝達関数）で原画像（表示画像）を除すると雑音（ノイズ）が増大して、かえって回復像が劣化する場合がある。その場合には、ウイナフィルタを用いることが好ましい。ウイナフィルタは、次式（１１）で表される。

ここで、φは信号雑音比である。
事前補正画像ｏ”（ｕ，ｖ）は、次式（１２）の逆フーリエ変換で容易に求められる。
Fｏ”（ｕ，ｖ）＝ｔ（ｕ，ｖ）Fｏ（ｕ，ｖ） ・・・（１２）
なお、この事前補正画像ｏ”（ｕ，ｖ）のデータは複素数となる。その複素数の絶対値が振幅成分をアーギュメントが位相成分を表す。

次に、補正画像データ生成方法及び表示装置について、より具体的に説明する。
図１は、表示画像の例を示す図である。図２は、老眼の観察者の焦点位置と図１に示す画像を配置した明視距離とを示す図である。図３は、図１に示す画像を明視距離においたときに図２に示す老眼の観察者が見るデフォーカス像を示す図である。すなわち、３ｍ以遠しか焦点の合わない老眼の観察者Ａ（焦点位置１０（図２））が、３０ｃｍの明視距離に置かれた図１の表示画像１１を見たとき（図２）の像である。ボケていることがわかる。図４は、図１に示す画像に基づいてウイナフィルタによって生成した事前補正画像老眼の観察者が見たときの像を示す図である。良好にボケが補正されていることが分かる。事前補正画像を見ることによって明視距離に焦点の合わない老眼の観察者でも、焦点の合った像を見ることが出来る。

ウイナフィルタで生成された事前補正画像のデータは複素数であり、正確に表示するには、振幅情報と位相情報の両方を同時に表示する必要がある。
以下、振幅情報と位相情報の表示について説明する。図５は、事前補正画像の振幅成分の例を示す図である。図６は、事前補正画像の位相成分の例を示す図である。但し、位相を濃淡で表示している。図７は、振幅成分と位相成分を同時に表示できる液晶デバイスの構造を示す側面図である。図８は、図７に示す液晶デバイスの制御系の構成を示すブロック図である。

図７に示す液晶デバイスは、光源２１、導光板２２、偏光板２３、スイッチアレイ透明電極２４、液晶２５、透明電極２６、偏光板２７、液晶２８、スイッチアレイ透明電極２９で構成されている。導光板２２からスイッチアレイ透明電極２９はこの順序で積層されている。なお、図７では、カラー表示用のカラーフィルターは省略してある。

また、図８に示すように、スイッチアレイ透明電極２４、透明電極２６、及びスイッチアレイ透明電極２９は、制御部１５に接続され、制御部１５は処理部１６に接続されている。
処理部１６は、上述の手順により、振幅情報と位相情報とからなる補正画像データを生成する。処理部１６によって生成された補正画像データの振幅情報と位相情報は制御部１５によって制御され、図７に示す液晶デバイス（表示部）に表示される。

光源２１からの光は導光板２２を通って、偏光板２３によって直線偏光となり液晶２５に入射する。スイッチアレイ透明電極２４と透明電極２６の間に電界が加わると、液晶２５の配向が電圧の方向にそろい光の偏光方向が変化する。従って、偏光板２７を通過する光の量が、印加された電界によって変調される。スイッチアレイ透明電極２４は画素毎に印加する電界を制御でき、そのことによって振幅情報を表示することが出来る。

偏光板２７を出た光は液晶２８に入射する。この液晶２８は、電圧によって実効的屈折率が変化するように配向されており、スイッチアレイ透明電極２９に印加される電圧によって透過する光の位相を変調することができる。従って位相情報を表示できる。スイッチアレイ透明電極２４、２９はそれぞれ画素毎に印加する電界を制御でき、透明電極２６は、スイッチアレイ透明電極２４、２９に共通の電極となっている。このように簡単な構成で、振幅情報と位相情報を同時に表示できる。

図９は、コヒーレント結像が成立する状況を示す概念図である。
コヒーレント結像が成立する状況としては、図９に示すように、点光源３１からの出射光３３はレンズ３２によって概略平行光になり、振幅情報と位相情報を表示できる表示デバイス３４を通過して観察者Ａの眼に入る場合が考えられる。しかし、この場合、観察者Ａの見る方向が限定されるため、図１０に示す散乱板４５（拡散板）を用いることが望ましい。

図１０は、散乱板を備えた構成を示す概念図である。
図１０に示す構成では、光源４６からの光は、散乱板４５の各点（例えば点４７ａ、４７ｂ、４７ｃ）で散乱する。散乱点４７ａ、４７ｂ、４７ｃにおける散乱によって生じた光束４８ａ、４８ｂ、４８ｃは、振幅情報と位相情報を表示できる表示デバイス４４をそれぞれ通過する。このような構成により、観察者は、Ａ１、Ａ２、Ａ３の各方向から、表示デバイス４４の情報を観察することが出来る。

本実施形態に係る補正画像データ生成方法及び表示装置は、振幅情報と位相情報からなる事前補正画像データを、表示部としての表示デバイス４４に表示することにより、表示位置に焦点の合わない人でも焦点の合った表示を見ることが出来る。

また、本実施形態の補正画像データ生成方法及び表示装置においては、老眼の人でも老眼鏡を掛けたり、外したりすることなく、焦点の合った表示を見ることが出来る。

さらに、本実施形態の補正画像データ生成方法及び表示装置によれば、老眼の観察者の眼の負担を軽減し、老眼鏡その他の光学部材を追加することなく観察することができる。また、観察者の視力に合わせた視度調節が可能なフラットパネルディスプレイ（ＦＰＤ）を実現できる。

（第２実施形態）
眼の瞳径は、通常２〜３ｍｍ程度であり、一点の情報は、表示デバイス上の直径１．８ｍｍ〜２．７ｍｍの範囲に表示されていると考えられる（図２参照）。従って、表示デバイスに表示される振幅情報と位相情報のコヒーレント結像はその範囲で起これば十分である。あるいは、その半分程度でも十分な効果が認められる。従って、コヒーレント照明領域は１ｍｍ以上が好ましい。

図１１は、第２実施形態に係る表示装置の構成を示す図である。図１１に示す表示装置は、導光板１１０、ピンホールアレイ１１１、マイクロレンズアレイ１１２、及び表示デバイス１１３を備え、任意のコヒーレント照明領域を生成する。
導光板１１０の片面には、ピンホールアレイ１１１が設けられている。ピンホールアレイ１１１は、例えば、直径５μｍのピンホール１１４ａ、１１４ｂを１０μｍ間隔に配置することで構成されている。

ピンホールアレイ１１１に対向した位置には、マイクロレンズアレイ１１２が設けられている。ピンホールアレイ１１１とマイクロレンズアレイ１１２との間隔は、例えば１ｍｍである。マイクロレンズアレイ１１２のを構成するレンズの径は、コヒーレント照明領域に相当し、例えば１ｍｍ以上が好ましい。

更に、マイクロレンズアレイ１１２と対向する位置には、表示デバイス１１３が設けられている。表示デバイス１１３は、例えばマイクロレンズアレイ１１２から１ｍｍ程度離れた位置に配置され、振幅情報と位相情報を表示する。この表示デバイス１１３としては、例えば、図７及び図８に示す表示部、制御部、及び処理部を用いる。

図１１に示す表示装置においては、ピンホール１１４ａ、１１４ｂで散乱された光は、光束１１５ａ、１１５ｂとなって観察者に観察される。ピンホール１１４ａ、１１４ｂで形成された点光源の波面は、表示デバイス１１３上でコヒーレント照明になるので、コヒーレント結像が得られ、且つ広い視野角で認識が出来る。

また、光源には固体光源、特にＬＥＤを用いることが好ましい。カラー表示のために、赤、緑、青のＬＥＤを用いるとよい。
なお、第２実施形態は、コヒーレンス領域を形成する方法の一例である。

（第３実施形態）
通常の光源はインコヒーレント光源であるため、図９の点光源３１や図１１のピンホール１１４ａ、１１４ｂのような構成を用いて、コヒーレント結像の条件を作り出す必要がある。これに対して、ＬＤ（レーザーダイオード）のようなコヒーレント光源の場合は、点光源と等価であり、コヒーレント結像の条件は作り易い。しかし、そのままでは図９のように一方向でしか観察できない。従って、図１０のように散乱板４５を用いるなどして、あらゆる方向から観察できる工夫が必要になる。但し、この場合に注意する必要があるのは、各散乱点４７ａ、４７ｂ、４７ｃで散乱される光が互いにコヒーレントであり干渉を生じる点である。この点は、第２実施形態とは異なる。散乱板４５を用いた場合には、スペックルといわれるコントラストの強い粒状模様を生じるおそれがある。なお、光源のコヒーレント、インコヒーレントの違いと、結像におけるコヒーレント結像とインコヒーレント結像は別物であることに注意が必要である。

図１２は、第３実施形態に係る表示装置の構成を示す正面図である。図１３は、第３実施形態に係る表示装置の構成を示す側面図である。図１２、図１３に示す表示装置は、コヒーレンス長の長いＬＤ等のレーザを用いた例である。

図１２、図１３に示す表示装置は、表示デバイス２１６、散乱板２１７（拡散板）、導光板２１８、偏向器２１９（ＡＯＤ）、及びＬＤ２２０を備える。
ＬＤ２２０で発生したレーザ光は、偏向器２１９で偏向され、導光板２１８と散乱板２１７を介して、振幅と位相を表示できる表示デバイス２１６に照射される。ＬＤ２２０で発生した光は導光板２１８で一様に広がり、更に拡散板２１７によって均一に表示デバイス２１６を照明することが出来る。

ＬＤ２２０で発生した光はコヒーレント長が長いため、コヒーレンスがある。このため、粒状模様のスペックルノイズを生じやすい。スペックルノイズが生じた場合には、表示デバイス２１６に表示する情報が著しく阻害される。スペックルノイズを除く為には、一般的には、散乱板を回転させるなどしてスペックル模様を平均化させ、実質的に見えなくすることが行われるが、薄型のフラットパネルディスプレイ（ＦＰＤ）においては、散乱板を回転させることは実際的ではない。そこで、第３実施形態の表示装置では、スペックル減少機構として偏向器２１９を用いて照明光のレーザービームを偏向させて光路長を変化させている。これによって、スペックル模様は移動し、平均化させることが出来る。

この他、スペックルノイズ除去のためには、ＬＤの波長をシフトする方法も効果がある。このように、スペックルを低減する機能を有することが好ましい。なお、カラー表示の為には、赤、緑、青のＬＤを用いる。

以上のように、本発明に係る補正画像データ生成方法及び表示装置は、ＦＰＤを備えた携帯電話、デジタルカメラ、電子ブックなどのモバイル機器に有用である。

１０ 焦点位置
１１ 表示画像
１５ 制御部
１６ 処理部
２１ 光源
２２ 導光板
２３ 偏光板
２４ スイッチアレイ透明電極
２５ 液晶
２６ 透明電極
２７ 偏光板
２８ 液晶
２９ スイッチアレイ透明電極
３１ 点光源
３２ レンズ
３３ 出射光
３４、４４ 表示デバイス
４５ 散乱板
４６ 光源
４７ａ、４７ｂ、４７ｃ 散乱点
４８ａ、４８ｂ、４８ｃ 光束
１１０ 導光板
１１１ ピンホールアレイ
１１２ マイクロレンズアレイ
１１３ 表示デバイス
１１４ａ、１１４ｂ ピンホール
１１５ａ、１１５ｂ 光束
２１６ 表示デバイス
２１７ 散乱板
２１８ 導光板
２１９ 偏向器

Claims (11)

1. 観察者の眼によって生じる像のボケが観察時に補正される事前補正画像データを生成する事前補正画像データ生成方法であり、
   原画像データに対して眼のレンズ機能部分の補正関数を用いて前記事前補正画像データを生成するときに生じる振幅情報と位相情報とを含む事前補正画像データを生成することを特徴とする補正画像データ生成方法。
2. 前記補正関数はデフォーカスの伝達関数の逆数であることを特徴とする請求項１に記載の補正画像データ生成方法。
3. 前記補正関数はデフォーカスの伝達関数のウイナフィルタであることを特徴とする請求項１に記載の補正画像データ生成方法。
4. 請求項１から請求項３のいずれか一項に記載の補正画像データ生成方法により、振幅情報と位相情報とからなる事前補正画像データを生成する処理部と、
   生成された前記補正画像データの前記振幅情報と前記位相情報とを表示する表示部と、を有することを特徴とする表示装置。
5. 前記表示部は、液晶で構成された表示デバイスであることを特徴とする請求項４に記載の表示装置。
6. 前記表示デバイスが散乱板を介して照明されることを特徴とする請求項５に記載の表示装置。
7. コヒーレンス照明領域が１ｍｍより大きいことを特徴とする請求項５又は請求項６に記載の表示装置。
8. 前記表示デバイスの光源が固体光源であることを特徴とする請求項５から請求項７のいずれか一項に記載の表示装置。
9. 前記光源はＬＥＤであることを特徴とする請求項８に記載の表示装置。
10. 前記光源はレーザであることを特徴とする請求項８に記載の表示装置。
11. スペックルを低減させるためのスペックル減少機構を有することを特徴とする請求項１０に記載の表示装置。