JP7184042B2 - 表示装置および表示制御方法 - Google Patents

表示装置および表示制御方法 Download PDF

Info

Publication number
JP7184042B2
JP7184042B2 JP2019543476A JP2019543476A JP7184042B2 JP 7184042 B2 JP7184042 B2 JP 7184042B2 JP 2019543476 A JP2019543476 A JP 2019543476A JP 2019543476 A JP2019543476 A JP 2019543476A JP 7184042 B2 JP7184042 B2 JP 7184042B2
Authority
JP
Japan
Prior art keywords
image
display
display device
pixel
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019543476A
Other languages
English (en)
Other versions
JPWO2019058811A1 (ja
Inventor
正健 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019058811A1 publication Critical patent/JPWO2019058811A1/ja
Application granted granted Critical
Publication of JP7184042B2 publication Critical patent/JP7184042B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Description

本開示は、表示装置および表示制御方法に関する。
近年、例えば4Kテレビ等の、より高い解像度での画像表示が可能な表示装置が開発されている。本出願人は、先に、例えば加齢によるいわゆる「老眼」の症状を有する使用者であっても視認しやすい表示装置に係る発明を提案している(例えば特許文献1参照)。
国際公開第2016/072518号パンフレット
最近では、高精細の画像を表示する表示装置に対し、明瞭に、かつ不快感なく読み取りができることが求められている。
したがって、優れた視認性を確保しつつ、使用者への負担の少ない表示装置および表示方法の実現が望まれる。
本開示の一実施形態としての表示装置は、画素アレイと、レンズアレイと、制御部とを備える。画素アレイは、複数の画素が第1のピッチで配列された表示面を有する。レンズアレイは、表示面と向き合うように配置され、表示面の延在方向に沿って第1のピッチよりも大きい第2のピッチで配列された複数のレンズを有する。制御部は、複数の画素からの複数の光が複数のレンズを通して連続する一体の画像として視認されるようにすることで表示面と異なる位置に虚像を生成するとともに、虚像の位置とは独立して両眼輻輳面の位置を表示面に直交する方向において任意に制御するように、画素アレイの表示動作を制御する。
本開示の一実施形態としての表示制御方法は、複数の画素が第1のピッチで配列された表示面を有する画素アレイにおける複数の画素からの複数の光が、表示面の延在方向に沿って第1のピッチよりも大きい第2のピッチで配列された複数のレンズを有するレンズアレイにおける複数のレンズを通して連続する一体の画像として視認されるように画素アレイの表示動作を制御することと、画素アレイにおける表示面において、複数のレンズの各々に対応した複数の画素領域を右眼用画素領域と左眼用画素領域とにそれぞれ分割し、複数の画素のうち右眼用画素領域における右眼用画素に右眼用画像を表示させ、複数の画素のうち前記左眼用画素領域における左眼用画素に左眼用画像を表示させ、輻輳位置と調節位置とを前記表示面と直交する方向に沿って任意に制御するように画素アレイを制御することと、を含む。
本開示の一実施形態としての表示装置および表示制御方法では、輻輳位置と調節位置とを任意に制御するように制御部が制御するので、例えば観察者が表示面に対して顔を傾けた場合であっても観察者が視認する画像が二重像となることを回避でき、不快な目の疲れを感じる可能性を回避できる。
本開示の一実施形態としての表示装置によれば、優れた視認性を確保しつつ、観察者への負担を低減することができる。
なお、本開示の効果はこれに限定されるものではなく、以下に記載のいずれの効果であってもよい。
本開示の第1の実施の形態としての表示装置の基本構成を表す概略図である。 一般的な2次元画像を表示する表示装置の一構成例を表す概略図である。 一般的な2次元表示装置において観察者の網膜上に表示面の像が結像している状態を模式的に表す概念図である。 一般的な2次元表示装置において観察者の網膜上に表示面の像が結像していない状態を模式的に表す概念図である。 本開示の第1の実施の形態としての表示装置において観察者の網膜上に表示するべき画像が明瞭に再現されている状態を模式的に表す概念図である。 本開示の第1の実施の形態としての表示装置の視力補償のための基本構成を表す概略図である。 図6に示した表示装置における虚像面とマイクロレンズアレイと画素アレイとの位置関係を示す概略図である。 図6に示した表示装置における表示制御方法の処理手順の一例を示すフロー図である。 図6に示した表示装置における、虚像位置と最小の画素アレイピッチとの関係を説明するための説明図である。 図6に示した表示装置のある条件下における輻輳位置の制御を説明するための概念図である。 図6に示した表示装置により虚像を得る場合のある条件において、観察者の視点が回転した場合に左眼が認識する画像と右眼が認識する画像との関係を説明するための概念図である。 図11の場合において視認される画像を表す概念図である。 図6に示した表示装置により虚像を得る場合の、図10に示した条件と異なる条件下において、観察者の視点が回転した場合に左眼が認識する画像と右眼が認識する画像との関係を説明するための概念図である。 図13に示した条件下において視認される画像を表す概念図である。 図6に示した表示装置において単眼視する場合の連続表示領域と、これに対応するマイクロレンズと、画素アレイの単位画素領域との関係を表す模式図である。 図6に示した表示装置において複眼視する場合の連続表示領域と、これに対応するマイクロレンズと、画素アレイの単位画素領域との関係を表す模式図である。 本開示の第1の実施の形態としての表示装置において複眼視する場合の、観察者の瞳の位置と、連続表示領域の位置との関係を説明するための概念図である。 本開示の第1の実施の形態としての表示装置の第1の適用例を表す説明図である。 本開示の第1の実施の形態としての表示装置の第2の適用例を表す説明図である。 本開示の第2の実施の形態としての表示装置の全体構成を表す概略図である。 図18に示した表示装置における表示制御方法の処理手順の一例を示すフロー図である。 図18に示した表示装置における、虚像位置と最小の画素アレイピッチとの関係を説明するための説明図である。 図18に示した表示装置において単眼視する場合の連続表示領域と、これに対応するマイクロレンズと、画素アレイの単位画素領域との関係を表す模式図である。 図18に示した表示装置において複眼視する場合の連続表示領域と、これに対応するマイクロレンズと、画素アレイの単位画素領域との関係を表す模式図である。 本開示の変形例としての表示装置の全体構成を表す概略図である。
以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態
1-1. 第1の実施の形態における基本原理
1-2. 第1の実施の形態に係る表示装置
1-2-(1)表示装置の視力補償のための構成
1-2-(2)表示装置の視力補償のための動作
1-2-(3)表示装置における視力補償のための表示制御方法
1-2-(4)輻輳位置の制御
1-2-(5)表示装置の作用効果
1-3. 表示装置の適用例
1-3-(1)モバイル機器への適用例
1-3-(2)電子ルーペへの適用例
1-3-(3)車載機器への適用例
2.第2の実施の形態
2-1.第2の実施の形態に至った背景
2-2.視力補償のための装置構成
2-3.視力補償のための表示制御方法
2-4.輻輳位置の制御
2-5.表示装置の作用効果
3.その他の変形例
<1.第1の実施の形態>
[1-1.表示装置の基本原理]
具体的な装置構成に関する説明に先立ち、図1を参照して、本実施の形態に係る表示装置の基本原理について説明する。図1は、光線再生型表示装置の一構成例を示す概略図である。また、比較のため、一般的な2次元画像を表示する表示装置の一構成例を図2に示す。図2は、一般的な2次元画像を表示する表示装置の一構成例を示す概略図である。
図2に示したように、一般的な表示装置80の表示面815は、複数の画素811が2次元配列された画素アレイ810によって構成される。図2では、便宜的に、画素811が1列に並んでいるかのように画素アレイ810が示されているが、実際には、紙面奥行き方向にも画素811が配列されている。各画素811からの光は出射方向によりその光量が制御されておらず、どの方向にも同様に制御された光量が出射される。画素アレイ810の表示面815上には、2次元画像が表示される。以下、光線再生型表示装置と区別するために、図2に代表されるような2次元画像、すなわち深さ情報を持たない画像情報を表示する表示装置80のことを、2次元表示装置80とも呼称する。
一方、図1に示した光線再生型表示装置15は、複数の画素111が2次元状に配列された画素アレイ110と、当該画素アレイ110の表示面115上に設けられるマイクロレンズアレイ120とを有している。図1では、便宜的に、画素111が1列に並んでいるかのように画素アレイ110が図示されているが、実際には、紙面奥行き方向にも画素111が配列されている。同様に、マイクロレンズアレイ120においても、実際には、紙面奥行き方向にもマイクロレンズ121が配列されている。各画素111からの光はマイクロレンズ121を介して出射されるので、光線再生型表示装置15では、マイクロレンズアレイ120のレンズ面125が見掛け上の表示面となる。
マイクロレンズアレイ120を構成するマイクロレンズ121のピッチは、画素アレイ110を構成する画素111のピッチよりも大きくなるように構成されている。すなわち、1つのマイクロレンズ121の直下には複数の画素111が存在する。したがって、複数の画素111からの光が1つのマイクロレンズ121に入射し、それぞれ指向性を持って出射されることとなる。よって、各画素111の駆動を適宜制御することにより、各マイクロレンズ121から出射される光の方向、強度等を調整することが可能となる。
このように、光線再生型表示装置15では、各マイクロレンズ121が光出射点を構成し、各光出射点からの出射光は、各マイクロレンズ121の直下に設けられる複数の画素111によって制御される。光線情報に基づいて各画素111が駆動されることにより、各光出射点から出射される光が制御され、所望の光線状態が実現される。
以上説明した内容を、図3~図5を参照して、観察者の網膜上の結像の様子を含めて、より詳細に説明する。図3は、一般的な2次元表示装置80において観察者の網膜上に表示面の像が結像している状態を示す概略図である。図4は、一般的な2次元表示装置80において観察者の網膜上に表示面の像が結像していない状態を示す概略図である。図5は、光線再生型表示装置15における虚像面と観察者の網膜上の結像面との関係を示す概略図である。すなわち、図5は、光線再生型表示装置15において観察者の網膜上に表示するべき画像が明瞭に再現されている状態を模式的に示している。図3~図5では、一般的な2次元表示装置80の画素アレイ810およびその表示面815、または、光線再生型表示装置15のマイクロレンズアレイ120およびそのレンズ面125と、観察者の眼の水晶体201および網膜203を概略的に示している。
図3を参照すると、表示面815に画像160が表示されている様子が概略的に図示されている。一般的な2次元表示装置80において観察者の焦点調節が表示面815に合っている状態では、画素アレイ810の各画素811からの光が、観察者の眼の水晶体201を通過して、網膜203上に結像する。すなわち、網膜203上に結像面204が存在する。図3において異なる線種で描いている矢印は、各画素811から出射された異なる強度の光であることを示している。
図4では、図3に示した状態よりも、表示面815が観察者のより近くに存在し、観察者の焦点調節が表示面815と合っていない状態を表している。図4を参照すると、画素アレイ810の各画素811からの光は、観察者の網膜203上には結像せず、結像面204は網膜203よりも画素アレイ810から遠い位置に存在する。この場合、観察者にとっては、焦点の合っていないぼけた画像が認識されることになる。図4は、例えば老眼視を有している観察者が、近くに存在する表示面を見ようとして、ぼけた画像が見えてしまっている状態を示している。
図5は、光線再生型表示装置15が、虚像面150上の画像160を観察者に対して虚像として表示するように駆動された場合における光線状態の様子を図示している。図5では、図4に示した表示面815と同様に、レンズ面125が観察者の比較的近くに存在している。虚像面150は、実在の表示面であるレンズ面125よりも遠方に位置する仮想の表示面として設定される。
上述したように、光線再生型表示装置15では、各マイクロレンズ121(すなわち各光出射点)は、光を等方的に出射するのではなく異なる光強度の光を異なる方向に出射するように、その光の出射状態が制御され得る。例えば、各マイクロレンズ121から出射される光は、虚像面150上の画像160からの光を再生するように制御される。より具体的には、例えば虚像面150上に仮想的な画素151(151a、151b)を想定すると、虚像面150上に画像160を表示するために、ある仮想的な画素151aからは第1の強度の光が出射され、他の仮想的な画素151bからは第2の強度の光が出射されていると考えることができる。これに応じて、マイクロレンズ121aは、画素151aからの光に対応する方向に第1の強度の光を出射し、画素151bからの光に対応する方向に第2の強度の光を出射するように、その光の出射状態が制御される。なお、図示は省略しているが、実際には、図2に示すように、マイクロレンズアレイ120の背面側(図6では紙面右側)に画素アレイが設けられており、当該画素アレイの各画素の駆動が制御されることにより、マイクロレンズ121aからの光の出射状態が制御される。
ここで、虚像面150の網膜203からの距離は、観察者にとって焦点調節の合う位置、例えば図3に示した表示面815の位置に設定される。このような位置に存在する虚像面150上の画像160からの光を再生するように光線再生型表示装置15が駆動されることにより、実在の表示面であるレンズ面125からの光の結像面204は網膜203よりも奥側に位置するものの、虚像面150上の画像160は網膜203上に結像される位置にあり、かつ実際の光線状態も実像が150上に存在する時と同様に再現される。このため、虚像が実在する時と同様の光線状態を作り出すこの光線再生型表示装置により、網膜上には明瞭な画像が投影されることになる。したがって、老眼視を有する観察者において、その観察者とレンズ面125との距離が近い場合であっても、その観察者は遠方視と同様な良好な画像160を見ることができるのである。
以上、本実施の形態の光線再生型表示装置における基本原理について説明した。以上説明したように、本実施の形態の光線再生型表示装置は、老眼視の観察者にとって焦点調節の容易な位置に設定される虚像面150上の画像160からの光を再現し、その光をその観察者に対して出射する。これにより、観察者は、焦点調節を合わせることのできる、虚像面150上の画像160を観察することができる。したがって、例えば画像160が、実際の表示面であるレンズ面125での観視距離では観察者が焦点調節できない位置であったとしても、焦点の合った画像が観察者に提供される。このため、観察者は、老眼鏡等の付加的な光学補償器具を用いることなく精細な画像160の観察を明瞭に行うことができる。よって、比較的小型の表示画面における情報の高密度化が進んだ場合であっても、観察者の視力が補われて近距離での観察が可能となることにより、その観察者は高密度の情報が表示された画像を良好に観察することができる。また、本実施の形態の光線再生型表示装置によれば、上述したように老眼鏡等の光学補償器具を用いることなく視力を補償した表示を行うことができる。このため、老眼鏡そのものや当該老眼鏡を保管する眼鏡ケースといった、付加的な携帯品を持ち歩く必要がなくなり、観察者の負担が軽減する。
なお、以上の説明では、老眼視の観察者に対する視力補償を行うために、図5に示したように、実在の表示面であるレンズ面125よりも遠方に虚像面150が設定される場合について説明したが、本実施の形態はかかる例に限定されない。例えば、実在の表示面であるレンズ面125よりも近方に虚像面150が設定されてもよい。この場合には、虚像面150は、例えば近視の観察者によって焦点の合う位置に設定される。これにより、近視の観察者が、眼鏡やコンタクトレンズ等の光学補償器具を用いることなく、焦点の合った画像160を観察することが可能となる。また、本実施の形態では、老眼視の観察者に対する視力補償を行う場合と、近視の観察者に対する視力補償を行う場合とでの表示の切り替えは、各画素に表示するデータの変更のみで自在に実現可能であり、ハードウェア機構の変更を伴う必要がない。
[1-2.第1の実施の形態に係る表示装置]
以上説明した基本原理に基づく動作を実現可能な、本実施の形態に係る表示装置の視力補償のための詳細な構成について説明する。
(1-2-(1)表示装置10の視力補償のための構成)
図6は、本開示の一実施の形態としての表示装置10の全体構成を表したものである。図6に示したように、表示装置10は、複数の画素111が2次元配列された画素アレイ110と、その画素アレイ110の表示面115と向き合うように配置されたマイクロレンズアレイ120と、画素アレイ110の各画素111の駆動を制御する制御部130とを備えている。ここで、図6に示す画素アレイ110およびマイクロレンズアレイ120は、図1に示したものと実質的に同じものである。また、制御部130は、光線情報に基づいて、所定の光線状態を再現するように各画素111を駆動させる。このように、表示装置10は、光線再生表示装置として構成されている。
図2に示した光線再生型表示装置15と同様に、マイクロレンズアレイ120におけるマイクロレンズ121のピッチは、画素アレイ110における画素111のピッチよりも大きくなるように構成されている。1つのマイクロレンズ121に対し複数の画素111からの光が入射し、それぞれの光が指向性を持って出射される。このように、表示装置10では各マイクロレンズ121によって光出射点が構成される。マイクロレンズ121が一般的な2次元表示装置における画素に対応しており、表示装置10では、マイクロレンズアレイ120のレンズ面125が見掛け上の表示面となる。
画素アレイ110は、例えば画素ピッチが約10μmである液晶表示装置の液晶パネルによって構成される。画素アレイ110には、画素アレイ110の各画素を駆動するための駆動素子や光源(バックライト)等、一般的な液晶表示装置において画素に対して設けられる各種の構成が接続されていてよい。ただし、本実施の形態はかかる例に限定されず、画素アレイ110としては、有機EL表示装置等、他の表示装置が用いられてもよい。また、その画素ピッチも上記の例に限定されず、実現したい解像度等を考慮して適宜設計され得る。
マイクロレンズアレイ120は、例えば焦点距離が3.5mmである凸レンズを、ピッチ0.15mmで2次元に格子配列することにより構成される。マイクロレンズアレイ120は、画素アレイ110全体を概ね覆うように設けられる。画素アレイ110とマイクロレンズアレイ120との距離は、マイクロレンズアレイ120の各マイクロレンズ121の焦点距離よりも長くなるように設定されており、画素アレイ110およびマイクロレンズアレイ120は、画素アレイ110の表示面115上の像が、観察者の瞳を含み表示面115(またはレンズ面125)と略平行な平面上に概ね結像するような位置に構成されている。この画像の結像位置は、一般的に観察者が表示面115を観察する際に想定される観察位置として予め設定され得る。ただし、マイクロレンズアレイ120におけるマイクロレンズ121の焦点距離やそのピッチは上記の例に限定されず、他の部材との配置関係や、表示面115上の画像の結像位置(すなわち想定される観察者の観察位置)等により適宜設計され得る。
制御部130は、CPU(Central Processing Unit)やDSP(Digital Signal Pocessor)等のプロセッサによって構成される。制御部130は、所定のプログラムに従って動作することにより、画素アレイ110の各画素111の駆動を制御する。制御部130は、その機能部分として、光線情報生成部131と、画素駆動部132とを有する。
光線情報生成部131は、領域情報、虚像位置情報および画像情報に基づいて、光線情報を生成する。ここで、領域情報とは、観察者の瞳を含みマイクロレンズアレイ120のレンズ面125と略平行な平面上に設定される、観察者の瞳径よりも小さい複数の領域からなる領域群についての情報である。領域情報は、その領域が設定された平面とレンズ面125との距離についての情報、およびその領域のサイズ等についての情報を含む。
図6では、観察者の瞳を含む平面205、その平面205上に設定される複数の領域207、および領域群209をそれぞれ簡易的に図示している。領域207は、観察者の瞳内に複数存在するように設定される。領域群209は、平面205上において、各マイクロレンズ121からの出射光が届き得る範囲に設定される。すなわち、マイクロレンズアレイ120は、各画素111から出射された光が領域群209をその位置と光線の角度に応じて照射するように構成される。
ここで、本実施の形態では、各マイクロレンズ121から出射される光は、そのマイクロレンズ121と領域207との組み合わせに応じて、その強度等が調整される。すなわち、領域207ごとに、その領域207に入射する光の照射状態が制御される。領域207は、瞳上において1つの画素111が投影されるサイズ(画素111の瞳上での投影サイズ)に対応しており、領域207の間隔は、光を観察者の瞳に入射させる際の空間的なサンプリング(標本化)間隔を示すものであると言える。視覚上の十分な効果を得るためには、瞳径よりも十分に小さい領域207にする必要がある。以下の説明では、領域207のことを、サンプリング領域207とも呼称する。
虚像位置情報は、虚像を生成する位置(虚像生成位置)についての情報である。虚像生成位置とは、図5に示した虚像面150の位置のことである。虚像位置情報は、レンズ面125から、虚像生成位置までの距離についての情報を含む。また、画像情報は、観察者に対して提示される2次元の画像情報である。
光線情報生成部131は、領域情報、虚像位置情報および画像情報に基づき、画像情報に基づく画像が虚像位置情報に基づく虚像生成位置に表示された際、その画像からの光が領域情報に基づく各サンプリング領域207に入射するための、光線状態を表す光線情報を生成する。その光線情報は、その光線状態を再現するための、各マイクロレンズ121における光の出射状態についての情報、およびその光の各サンプリング領域207に対する照射状態についての情報を含む。
なお、画像情報は他の装置から送信されてもよいし、表示装置10に設けられる記憶装置(図示せず。)に予め格納されていてもよい。当該画像情報は、一般的な情報処理装置によって実行される各種の処理の結果を表す、画像、テキスト、グラフ等についての情報であってよい。
また、虚像位置情報は、例えば観察者または表示装置10の設計者等によって予め入力され、上記記憶装置に格納されていてよい。なお、虚像位置情報では、虚像生成位置は、観察者にとって焦点の合う位置となるように設定される。例えば、表示装置10の設計者等によって、老眼視を有する比較的多くの観察者に適合するような一般的な焦点位置が、虚像生成位置として設定されていてもよい。あるいは、虚像生成位置は、観察者によって自身の視力に合わせて適宜調整されてもよく、その度に上記記憶装置内の虚像位置情報が更新されてもよい。
また、領域情報は、例えば観察者または表示装置10の設計者等によって予め入力され、上記記憶装置に格納されていてもよい。ここで、領域情報に含まれる、レンズ面125とサンプリング領域207が設定される平面205(これは観察者の観察位置に対応する)との距離は、一般的に観察者が表示装置10を観察することが想定される位置に基づい
て設定されてもよい。例えば、表示装置10が搭載されるデバイスが腕時計型のウェアラブルデバイスであれば、観察者の瞳とそのウェアラブルデバイスの装着位置である腕との距離を考慮して上記距離が設定され得る。また、例えば表示装置10が搭載されるデバイスが室内に設置される据え置き型のテレビであれば、テレビを視聴する際の一般的な観察者の瞳とテレビとの距離を考慮して、上記距離が設定され得る。あるいは、上記距離は、カメラ等による観察距離測定機器によって自動調整されてもよいし、観察者によって使用態様に応じて適宜調整されてもよく、その調整の度に上記記憶装置内の虚像位置情報が更新されてもよい。
光線情報生成部131は、生成した光線情報を画素駆動部132に提供する。
画素駆動部132は、光線情報に基づいて、画像情報に基づく画像が虚像面に表示された際の光線状態を再生するように、画素アレイ110の各画素111を駆動させる。その際、画素駆動部132は、サンプリング領域207ごとに、各マイクロレンズ121から出射される光が独立に制御されるように、各画素111を駆動させる。これにより、上述したように、サンプリング領域207ごとに、そのサンプリング領域207に入射する光の照射状態が制御されることとなる。例えば、図6に示した例であれば、複数の画素111からの光が重ね合わされて構成される光123が、各サンプリング領域207に入射している様子が図示されている。
以上、図6を参照して、本実施の形態に係る表示装置10の構成について説明した。
ここで、表示装置10は、裸眼3D表示装置として広く用いられている光線再生型表示装置と、一部の構成が類似している。しかしながら一般的な裸眼3D表示装置では、観察者の左右の眼に対して両眼視差を有する画像を表示させることが主な目的であるので、水平方向に対してのみ出射光の出射状態を制御し、垂直方向に対しては出射状態の制御を行っていないものが多い。したがって、例えば画素アレイの表示面上にレンチキュラレンズが設けられたものが多い。
これに対し、本実施の形態に係る表示装置10は、観察者に対して眼の調整機能の補償を目的とした虚像を表示することを主な目的とするものである。このため、当然ながら、水平方向および垂直方向の両方向において、出射状態の制御が行われることが必要となる。そのような水平方向および垂直方向の両方向における出射状態の制御を可能とするため、画素アレイ110の表示面115と向き合うように、上述したようなレンチキュラレンズではなく、2次元配列されたマイクロレンズ121を含むマイクロレンズアレイ120が配置されている。
(1-2-(2)表示装置の視力補償のための動作)
ここで、図7を参照して、表示装置10の動作について説明する。図7は、マイクロレンズ121から出射される光線について説明するものである。
図7は、図5と同様に、マイクロレンズアレイ120およびその表示面であるレンズ面125と、虚像面150と、その虚像面150上の仮想的な画素151と、虚像面150上の画像160と、観察者の眼の水晶体201と、観察者の眼の網膜203とを概略的に示している。なお、図7は、上述した図5に対し、画素アレイ110の表示面115を追記したものである。したがって、図5を参照して既に説明した事項については重複する説明を省略する。
虚像面150上の画像160からの光を再現するように、各マイクロレンズ121から光が出射される。画像160は、虚像面150における仮想的な画素151によって表示される、虚像面150上の2次元の画像と考えることができる。図7では、ある1つのマイクロレンズ121において独立して制御し得る光の範囲124を概略的に図示している。マイクロレンズ121の直下の画素群112(画素アレイ110のうちの一部)は、範囲124に含まれる虚像面150上の仮想的な画素151からの光線であってこの1つのマイクロレンズ121を通る光線を再現するように駆動される。各マイクロレンズ121において同様の駆動制御が行われることにより、虚像面150上の画像160から各方向への光線を再現するように、各マイクロレンズ121から光が出射されることとなる。
本実施の形態では、ユーザの視点の移動に対応するために、各サンプリング領域207に対する光の照射状態が、ユーザの最大瞳径よりも大きい単位で周期的に繰り返されるように、マイクロレンズアレイ120のレンズ面125と瞳との距離Bや、画素アレイ110とマイクロレンズアレイ120との距離C、マイクロレンズアレイ120におけるマイクロレンズ121のピッチ、画素アレイ110における画素サイズおよびピッチ等が設定される。ここで、サンプリング領域207の照射状態の繰り返し周期に求められる条件についてより具体的に考察する。
サンプリング領域207の照射状態の繰り返し周期(以下、単に繰り返し周期とも呼称する。)は、図7におけるマイクロレンズ121の直下の画素群112(画素アレイ110のうちの一部)が、隣りあった別のマイクロレンズ121を通して同様に観察されるようになる瞳の移動距離であって、これはユーザの瞳孔間距離(PD:Pupil Distance)を基準として設定され得る。繰り返し周期の1周期に対応するサンプリング領域207のグループを、便宜的に、サンプリング領域グループと呼ぶこととすると、繰り返し周期λは、そのサンプリング領域グループの大きさ(長さ)に対応している。
ユーザの視点がサンプリング領域グループ間を遷移する瞬間には、正常な観視が妨げられることとなる。したがって、ユーザの視点の移動に伴う、このような表示の乱れの発生の頻度を低減するためにも、繰り返し周期λの最適設計が重要となる。
例えば、繰り返し周期λが瞳孔間距離PDよりも大きい場合には、左右の眼が同一の繰り返し周期内に含まれるようにすることができる。したがって、裸眼3D表示の技術と同様に、上述した視力を補償するための表示とともに、立体視も併せて行うことが可能になる。また、ユーザの視点がサンプリング領域グループ間を遷移する瞬間には、正常な観視が妨げられるが、繰り返し周期λを大きくすることにより、視点を移動させたとしても、ユーザの視点がサンプリング領域グループ間を遷移する頻度が低くなるため、このような表示が乱れる頻度を低下させることができる。このように、立体視等の視力補償以外の他の機能を併せて実現する場合には、繰り返し周期λはできるだけ大きいことが好ましい。
しかしながら、繰り返し周期λを大きくするためには、画素アレイ110の画素111の数を増加させる必要がある。画素数の増加は、製造コストの増加および消費電力の増加を生じさせる。したがって、繰り返し周期λを大きくすることには自ずと限界がある。
(1-2-(3)表示装置10における視力補償のための表示制御方法)
次に、図8を参照して、表示装置10において実行される視力補償のための表示制御方法について説明する。図8は、本実施の形態に係る視力補償のための表示制御方法の処理手順の一例を示すフロー図である。なお、図8に示した各処理は、図8に示した制御部130によって実行される各処理に対応している。
図8に示したように、本実施の形態に係る表示制御方法では、まず、領域情報、虚像位置情報および画像情報に基づいて、光線情報が生成される(ステップS101)。領域情報とは、観察者の瞳を含み、表示装置10の表示面(マイクロレンズアレイ120のレンズ面125)と略平行な平面上に設定される複数のサンプリング領域207からなる領域群209についての情報である。また、虚像位置情報は、表示装置10において虚像を生成する位置(虚像生成位置)についての情報である。例えば、虚像生成位置は、観察者にとって焦点の合う位置に設定される。また、画像情報は、観察者に対して提示される2次元の画像情報である。
ステップS101に示す処理では、虚像位置情報に基づく虚像生成位置に表示された画像情報に基づく画像からの光が、サンプリング領域群を構成する各サンプリング領域に入射するための、光線状態を示す情報が、光線情報として生成される。光線情報は、光線状態を再現するための、各マイクロレンズ121における光の出射状態についての情報、およびその光の各サンプリング領域207に対する照射状態についての情報を含む。なお、ステップS101に示す処理は、例えば図6に示した光線情報生成部131によって行われる処理に対応している。
次に、光線情報に基づいて、サンプリング領域207ごとに光の入射状態が制御されるように各画素111が駆動される(ステップS102)。これにより、上述したような光線状態が再現され、虚像位置情報に基づく虚像生成位置に、画像情報に基づく画像の虚像が表示される。すなわち、観察者にとって焦点の合った明瞭な表示が実現される。
なお、虚像面150の位置は有限遠の位置にあることが望ましい。マイクロレンズ121の各々に対応した画像を各画素111において表示すれば足りるので、虚像面150の位置が無限遠の位置にある場合と比較して、画素アレイ110における画素111の数を削減することができるからである。以下、虚像面150、表示面115、レンズ面125、および観察者の瞳を含む平面205の相互の距離と、画素アレイ110における複数の画素111の配列ピッチとの関係について、図9を参照して説明する。
図9においてθcは、最小の解像角度を表す。例えば観察者の視力が1.0であれば(1/60)°程度であり、それ以上の角度差が得られる程度に互いに離れた2つの点150P1,150P2であれば、その観察者が識別可能である、ということである。その最小の解像角度θcに対応する複数の画素111の配列ピッチPLCは、以下の条件式(3)で表される。Hは、虚像面150上における点150P1と点150P2との距離である。また、上述したように、Bは観察者の瞳とレンズ面125との距離であり、Cはレンズ面125と表示面115との距離である。また、Dはレンズ面125と虚像面150との距離である。
LC/H=C/D ……(3)
また、Hは、以下の条件式(4)で表される。
H=(B+D)*tanθc ……(4)
よって、配列ピッチPLCは、以下の条件式(5)で表される。この配列ピッチPLCは、観察者が視認可能な画素111の最小の間隔である。
LC=tanθc*(B+D)*C/D ……(5)
ここで、例えばtanθc=tan(1/60°),距離B=150mm,距離C=20mmとする。このとき、要求される配列ピッチPLCは、距離Dが有限遠(例えば距離D=100)の場合、条件式(5)から、
LC=2.9*10-4*(100+150)*20/100=14.5μm
となる。一方、距離Dが無限遠(距離D→∞)の場合、条件式(5)から、
LC=2.9*10-4*20=5.8μm
となる。よって、画素アレイ110に対する虚像面150の位置を無限遠に設定するよりも、必要最小限の有限遠に設定するほうが、要求される配列ピッチPLCは大きくなる。したがって、画素アレイに要求される微細さが緩和され、デバイスのコストを低減できる。また、このことにより、等しい表示容量に対して必要とされる、画素アレイ110における画素111の数を削減することができる。したがって、画素アレイおよび駆動回路のコストを低減できる。なお実際の距離Dは、視力補償が達成される(観察者が焦点を合わせられる)のに必要十分な距離に設定すればよい。
(1-2-(4)輻輳位置の制御)
本実施の形態の表示装置10では、制御部130は、複数の画素111からの複数の光が複数のマイクロレンズ121を通して連続する一体の画像として視認されるように複数の光を制御する。すなわち、画素アレイ110から発せられたのちマイクロレンズアレイ120を介して観察者の両眼に到達する複数の光の集まりが、その観察者において1つの画像として認識されるように、画素アレイ110から発せられる複数の光の制御を制御部130が行う。すなわち制御部130は、複数の画素111からの複数の光が複数のマイクロレンズ121を通して連続する一体の画像として視認されるようにすることで表示面と異なる位置に虚像を生成するとともに、その虚像の位置とは独立して両眼輻輳面の位置を表示面に直交する方向において任意に設定するように、画素アレイ110の表示動作を制御する。その際、制御部130は、例えば両眼輻輳面の位置が虚像の位置と実質的に等しくなるように、画素アレイ110の表示動作を制御する。
ここで、これまで説明した輻輳を考慮しない制御をする場合において、繰り返し周期λをPD以下(λ≦PD)とする場合を考える。ここでは、例えば図10に示したように、輻輳位置Pcが虚像面150上ではなく表示面115上にあることになる。なお、この図では画素111から出て左右の瞳の中心に到達する光線のみを表示している。この場合、両眼(左眼211Lおよび右眼211R)は、別のマイクロレンズ121を通して、概ね同一の画素111を観察することになるから、単眼視の場合とほぼ同様の装置構成でよい。よって、画素アレイ110およびマイクロレンズアレイ120の平面寸法を小さくするのに有利である。すなわち、両眼の瞳孔間距離PDよりも小さいアレイ寸法による構成も可能となる。しかしながら、Z軸方向において、輻輳位置Pcと調節位置Pf(虚像面150の位置)とが異なることにより、観察者の眼精疲労を招来することがあったり、輻輳距離が小さいこと自体による輻輳機能の疲労の原因になったりするとも言われている。また、図10のように輻輳位置Pcと調節位置Pfとが異なっていると、観察者の右眼211Rと左眼211Lとの並び方向がマイクロレンズアレイ120におけるマイクロレンズ121の並び方向と平行でない場合に、観察者が認識する画像が二重像となり、文字等の識別が困難となる場合がある。
例えば図11に示したように、観察者の両眼の中心を通る直線211H(実線で表示)がマイクロレンズアレイ120の左右方向(X軸方向)の直線115Hと一致している場合には、図12の上段の中央に示したように、良好な合成画像160Cが得られる。すなわち、左眼211L(図11において実線で表示)が認識する画像160Lと右眼211R(図11において実線で表示)が認識する画像160Rとが正確に一致するように、一の良好な合成画像160Cを観察者の脳内で形成することができる。ところが、表示面115に対し、その表示面115と平行な面内において観察者が顔を左右に傾けた場合、すなわち、左眼211Lと右眼211Rとを結ぶ左右方向211H(いずれも図11において破線で表示)が、表示面115と平行な面内においてマイクロレンズアレイ120の左右方向(X軸方向)、すなわちマイクロレンズ121の並び方向に対して傾斜している場合には、図12の下段の中央に示したように、二重像として観察者に認識される合成画像160CCとなってしまう。この場合は、左眼211L(図11において破線で表示)が認識する画像160LLと右眼211R(図11において破線で表示)が認識する画像160RRとがY軸方向においてずれてしまうからである。これは、右眼で認識する画像と左眼で認識する画像とが左右方向にずれている場合には観察者の脳内でそれらを一致させる処理を行うことができるが、右眼で認識する画像と左眼で認識する画像とが上下方向にずれている場合には観察者の脳内でそれらを一致させる処理を行うことができないことに起因している。
一方、繰り返し周期λがPDよりも大きい(λ>PD)場合を考える。例えば図13に示したように、観察者の両眼の中心を通る直線211H(実線で表示)が表示面115の左右方向(X軸方向)115Hと一致している場合、図14の上段の中央に示したように、良好な合成画像160Cが得られる。すなわち、左眼211L(図13において実線で表示)が認識する画像160Lと右眼211R(図13において実線で表示)が認識する画像160Rとが正確に一致するように、一の良好な合成画像160Cを観察者の脳内で形成することができる。さらに、マイクロレンズアレイ120の左右方向(X軸方向)に対し、その表示面115と平行な面内において観察者が顔を回転させた場合、すなわち、左眼211Lと右眼211Rとを結ぶ直線211H(いずれも図13において破線で表示)が、表示面115と平行な面内においてマイクロレンズアレイ120の左右方向(X軸方向)に対して傾斜している場合にも、図14の下段の中央に示したように、二重像ではない良好な合成画像160CCが得られる。これは、左眼211Lと右眼211Rとが同一のマイクロレンズを通して連続な光線状態を再現した空間内にあるために、輻輳位置Pcと調節位置Pfとが虚像面150上で一致しているからである。このため、物体が虚像面150上にある時と全く同様に、観察者が顔を傾けた場合であっても、図14の下段に示したように、左眼211L(図13において破線で表示)が認識する画像160LLと右眼211R(図13において破線で表示)が認識する画像160RRとが、それぞれ傾くものの両眼視において不具合は発生しない。したがって、先に述べた問題点、すなわち、観察者が認識する画像が二重像となり、文字等の識別が困難となる場合があるという問題点は、繰り返し周期λが左右の眼の間隔である瞳孔間距離PDよりも小さく、両眼は異なるマイクロレンズ121を通して概ね同じ画素111を観察する場合において発生する問題点であることがわかる。
しかし、繰り返し周期λが瞳孔間距離PDよりも小さく、両眼は異なるマイクロレンズ121を通して概ね同じ画素111を観察する場合において繰り返し周期λを瞳孔間距離PDよりも大きくしようとすると、表示画質の劣化の原因となりうる。マイクロレンズ121を大幅に大きくする必要があるので、解像度の低下を招くうえ、レンズの収差悪化を招くことになるからである。また、解像度の低下を避けるためには、画素アレイ110に画素111の数を増加させる必要がある。画素数の増加は製造コストの増加および消費電力の増加を生じさせる。
そこで本開示では、繰り返し周期λを瞳孔間距離PDよりも大きくするのではなく、左右の眼に個別に画像情報を入力することで輻輳と調節との一致を実現するようにしている。以下にその詳細を説明する。
図15Aは、表示装置10における、左右方向において繰り返し周期λを有する1つの連続表示領域Eと、これに対応するマイクロレンズ121A~121Eと、画素アレイ110の画素群113A~113Eとの関係を模式的に表している。ここで画素群113A~113Eは、それぞれ複数の画素111によって構成されており、図7における画素群112にそれぞれ相当する。図15Aは、画素アレイ110を単眼視する場合の光線の様子を表している。図15Aに示したように、画素アレイ110では、紙面左右方向において配列されたマイクロレンズ121A~121Eの各々と対応するように画素群113A~113Eが紙面左右方向に配列されている。すなわち、例えば画素群113Aから射出された画像光はマイクロレンズ121Aを経て連続表示領域Eへ入射し、画素群113Bから射出された画像光はマイクロレンズ121Bを経て連続表示領域Eへ入射するようになっている。画素群113C~113Eからそれぞれ射出された画像光についても同様に、マイクロレンズ121C~121Eをそれぞれ経て連続表示領域Eへ入射するようになっている。なお、図15Aに示した連続表示領域E、マイクロレンズ121A~121Eおよび画素群113A~113Eについての位置関係や寸法比は例示であって、本開示がこれに限定されるものではない。また、連続表示領域Eとは、表示面115と平行な面内において表示面115に対する観察者の視点(瞳PLあるいは瞳PRの位置)が変化する場合に、正常な虚像の観視が可能な領域をいう。ここで、1つの連続表示領域Eのうちの異なる視点位置から視認される画像光は、各々の画素群113のうちの異なる画素111から射出される。図15Aの例では、例えば1つの連続表示領域Eのうち、その中央の位置よりも右側の領域で視認される画像光は、例えば各画素群113のうちの中央の位置よりも左側の領域にある画素111から射出されるものである。反対に、1つの連続表示領域Eのうち、その中央の位置よりも左側の領域で視認される画像光は、例えば画素群113のうちの中央の位置よりも右側の領域にある画素111から射出されるものである。
したがって表示装置10において、図15Bに示したように、画素群113を右眼用画素領域116(116A~116E)と左眼用画素領域117(117A~117E)とにそれぞれ分割するようにし、制御部130は、さらに、複数の画素111のうち右眼用画素領域116における右眼用画素に右眼用画像を表示させ、複数の画素111のうち左眼用画素領域117における左眼用画素に左眼用画像を表示させるようにすれば、ユーザは、右眼用画素領域116に表示される右眼用画像を、連続表示領域Eのうちの右眼用画像領域ERにおいて視認することができ、左眼用画素領域117に表示される左眼用画像を、連続表示領域Eのうちの左眼用画像領域ELにおいて視認することができる。このようにすれば、左右眼に観察される画像を独立に制御することができ、よって輻輳の制御が自在に可能となる。
さらに、本実施の形態の表示装置10では、図15Cに示したように、以下の条件式(6)を実質的に満たすように構成されている。図15Cは、観察者の瞳PL,PRの位置と、連続表示領域Eの位置との関係を説明するための概念図である。但し、λは、水平方向において複数配置される連続表示領域Eの配置ピッチであり、nは自然数である。ここでは、図15Cに示したように、各連続表示領域Eを水平方向(X軸方向)に2等分し、左眼用の画像に対応する左眼用画像領域ELと右眼用の画像に対応する右眼用画像領域ERとが水平方向へ交互配置されることとなるように、画素アレイ110の表示を制御する。このようにすれば、図15Bの例よりもPDに対して繰り返し周期λがより小さい場合、すなわちλ≦PDの場合においても両眼の輻輳を制御することが可能となる。
PD=λ*(2n-1)/2 ……(6)
なお、図15Cにおいては、n=4の場合を示している。
(1-2-(5)表示装置の作用効果)
このように、本実施の形態の表示装置10およびそれを用いた表示制御方法によれば、輻輳位置Pcと調節位置Pfとが近づくように画素アレイ110を制御部130が制御することができるので、例えば観察者が表示面に対して顔を傾けた場合であっても観察者が視認する合成画像160CCが二重像となるのを回避できる。よって観察者は鮮明な合成画像160CCを視認することができる。また、Z軸方向において、輻輳位置Pcと調節位置Pf(虚像面150の位置)とが近づくことにより、輻輳位置Pcと調節位置Pfとの不一致に伴う観察者の眼精疲労のおそれを緩和することができる。さらに、近接視における輻輳自体による目の疲れを回避できる。したがって、表示装置10およびそれを用いた表示制御方法によれば、優れた視認性を確保しつつ、観察者への負担を低減することができる。また、輻輳位置を任意に制御することにより、視力補償と同時に立体視の制御を行うこともできる。
特に、条件式(6)を満たすことにより、前述の光学系の制限により、繰り返し周期λが小さい場合においても、左眼211Lの瞳PLへ適切な左眼用の画像を構成する光を導くと共に右眼211Rの瞳PRへ適切な右眼用の画像を構成する光を導くことができ、輻輳と調節とを同時に同様に補正することができるので、正常な虚像の観視が可能となる。
さらに、表示装置10では、調節位置Pfは有限遠の位置にある。このため、調節位置Pfが無限遠の位置にある場合と比較して、画素アレイ110における画素111の数を削減することができる。
ところで、輻輳位置を虚像面150上の調節位置に一致させるには、マイクロレンズアレイ120のマイクロレンズ121の寸法を拡大し、連続観視領域の寸法を両眼の間隔よりも拡大する方法も考えられる。しかし、その場合、マイクロレンズ121の寸法を拡大したことにより、解像度の低下を招くうえ、レンズの収差の影響をより強く受けることとなり、レンズ設計が煩雑となったり画質が劣化したりする。これに対し、本実施の形態の表示装置10では、マイクロレンズ121の寸法などのレンズ設計上の変更を伴うことなく、輻輳位置Pcと調節位置Pfとの一致を実現できるので好ましい。
[1-3.表示装置の適用例]
以上説明した表示装置10のいくつかの適用例について説明する。
(1-3-(1).モバイル機器への適用例)
次に、図16を参照して、表示装置10が、例えばスマートフォンのような他のモバイル機器に適用される場合の一構成例について説明する。図16は、表示装置10が他のモバイル機器に適用される場合の一構成例を示す図である。
図16に示した例では、画素アレイ110が搭載される第1の筐体171と、マイクロレンズアレイ120が搭載される第2の筐体172とが、接続部材173によって互いに接続されて一体化されたものとなっている。第1の筐体171がモバイル機器の本体部に対応し、第1の筐体171内に、表示装置10を含むモバイル機器全体の動作を制御する処理回路等が搭載され得る。
接続部材173は、両端に回転軸部が設けられた棒状の部材であり、図示するように、その回転軸部の一方が第1の筐体171の側面に接続され、その回転軸部の他方が第2の筐体172の側面に接続される。このように、第1の筐体171および第2の筐体172は、接続部材173により、互いに回動可能に接続される。これにより、第2の筐体172が第1の筐体171に対して接触している状態(図中左側)と、第2の筐体172が第1の筐体171に対して所定の距離だけ離隔している状態(図中右側)とを切り替えることができる。
(1-3-(2).電子ルーペ機器への適用例)
一般的に、筐体の表面にカメラが設けられ、そのカメラによって撮影された紙面上の情報を、筐体の裏面に設けられた表示画面に拡大して表示する視力補助機器(以下、電子ルーペ機器と呼称する。)が知られている。ユーザは、例えば地図や新聞等の紙面上に、その電子ルーペ機器を、カメラが紙面に対向するように載置することにより、拡大された地図や文字等を表示画面を介して読み取ることができる。第1の実施の形態に係る表示装置10は、このような電子ルーペ機器に対しても好適に適用され得る。
図17に、一般的な電子ルーペ機器の一例を示す。図17は、一般的な電子ルーペ機器の一例を示す図である。上述したように、電子ルーペ機器820の筐体の表面にはカメラが搭載されている。電子ルーペ機器820は、カメラが紙面817に対向するように紙面817上に載置される。カメラによって撮影された紙面817上の図形や文字等が、適宜拡大されて、電子ルーペ機器820の筐体の裏面の表示画面に表示される。これにより、例えば老眼等によりサイズの小さい図形や文字の読み取りに困難を感じるユーザは、紙面上の情報をより容易に読み取ることが可能になる。
ここで、図17に例示するような一般的な電子ルーペ機器820は、光学レンズによるルーペとは異なり、撮影した画像を所定の倍率で単純に拡大して表示しているだけである。したがってユーザは、ぼけが生じずに読み取りが可能な程度にまで表示を拡大する必要があるため、表示画面に1度に表示される文字数(情報量)は低下する。よって、紙面817内の広範囲の情報を読み取ろうとする場合には、電子ルーペ機器820を紙面817上で頻繁に移動させる必要がある。
その点、表示装置10を電子ルーペ機器に搭載する場合には、例えば、筐体の表面にカメラが搭載され、筐体の裏面に表示装置10が搭載された構成例が考えられる。その電子ルーペ機器を、カメラが設けられた面が紙面に対向するように載置して駆動することにより、カメラによって撮影された紙面上の情報を含む画像が、筐体の裏面に搭載された表示装置10によって表示され得る。
そこで表示装置10を駆動すれば、画像を拡大することなく、老眼等に起因するぼけ自体を改善する表示を行うことができる。このように、表示装置10が搭載された電子ルーペ機器では、一般的な電子ルーペ機器820とは異なり、表示画面に1度に表示される情報量を低下させることなく、視力補償を行うことができる。したがって、紙面内の広範囲の情報を読み取ろうとする場合であっても、当該電子ルーペ機器を紙面上で頻繁に移動させる必要が生じず、ユーザの読みやすさを大幅に向上させることができる。
(1-3-(3).車載用表示装置への適用例)
近年、自動車においては、運転支援情報を表示装置に表示して、運転手に提示する技術が開発されている。例えば、ダッシュボードのインストルメントパネルに表示装置を設け、スピードメータやタコメータ等の計器類の情報を、当該表示装置に表示させる技術が存在する。また、バックミラーやドアミラーに対応する位置に、ミラーに代えて表示装置を設け、車載カメラによって撮影された映像を当該表示装置に表示させることによりミラーを代替する技術が知られている。
ここで、運転中における運転手の視線の動きに注目すると、運転手は、フロントガラスを介して外界を見ることと、比較的近くに存在する計器類やミラー類を見ることと、を繰り返すと考えられる。すなわち、運転手の視線は、遠方と近方との間を何度も往復し得る。このとき、運転手の眼では、視線の移動に応じてピント合わせが行われることとなるが、高速で移動している自動車においては、ピント合わせに掛かる時間が安全性確保の上で好ましくない。特に、計器類やミラー類を表示装置に置き換えた場合においては、遠方の対象物を従来のミラーによる反射で観察する場合にはなかった、新たな問題としてこの問題が生じる。
これに対して、表示装置10を上記のような運転支援情報を表示する車載用表示装置に適用することにより、上記の問題を回避することが可能となる。具体的には、表示装置10は、虚像を実際の表示面(すなわち、マイクロレンズアレイ120)よりも後方(遠方)に生成することができるため、例えば、虚像の生成位置を十分遠方に設定することにより、運転手であるユーザが表示装置10を見る場合に、フロントガラスを介して外界を見る場合と同様の遠さで、各種の情報を表示させることができる。したがって、ユーザが外界の様子と車載の表示装置10における運転支援情報とを交互に見た場合であっても、ピント合わせに掛かる時間を短くすることができる。
このように、表示装置10は、好適に、運転支援情報を表示する、車載用表示装置に好適に適用され得る。表示装置10を車載用表示装置に適用することにより、上記のような運転手の視界のピント合わせ時間に起因する安全上の問題を抜本的に解決できる。
<2.第2の実施の形態>
上記第1の実施の形態に係る表示装置10は、虚像位置情報に基づいて、所定の位置に虚像が存在する場合における当該虚像からの光線状態を再現することにより、当該虚像に対応する表示をユーザに対して提供するものである。第1の実施の形態では、虚像が生成される位置(虚像生成位置)は、ユーザの視力に応じて適宜設定される。例えば、ユーザの視力に応じた焦点位置に虚像生成位置を設定することにより、ユーザの視力を補償するように画像を表示することができる。しかしながら、第1の実施の形態のように光線再生によって視力補償を行う場合には、表示装置10を構成する際に所定の制約が存在し、設計の自由度が低い。ここでは、第2の実施の形態として、図6に示した表示装置10とほぼ同様の装置構成で、異なる手法によってユーザの視力補償を行う実施の形態について説明する。
(2-1.第2の実施の形態に至った背景)
第2の実施の形態に係る表示装置の構成について詳細に説明するに先立ち、第2の実施の形態の効果をより明確なものとするために、本発明者らが第2の実施の形態に至った背景について説明する。
まず、本発明者らが第1の実施の形態に係る表示装置10について検討した結果について説明する。第1の実施の形態に係る表示装置10において視力補償を有効に行うためには、その構成部材が所定の条件を満たしている必要がある。具体的には、表示装置10においては、画素アレイ110およびマイクロレンズアレイ120の具体的な構成や配置位置は、サンプリング領域207のサイズや、解像度、繰り返し周期λ等に求められる性能に応じて決定され得る。例えば、ぼけのない良好な像がユーザに提供されるためには、サンプリング領域207のサイズは、ユーザの瞳径に対して十分に小さい、具体的には0.6(mm)以下であることが好ましい。ここで、サンプリング領域207のサイズds、画素アレイ110の画素111のサイズdp、マイクロレンズアレイ120のレンズ面125と瞳との距離B、およびマイクロレンズアレイ120のレンズ面125と画素アレイ110の表示面115との距離Cの間には、下記の式(7)に示す関係が存在する。
ds=dp*B/C ……(7)
したがって、表示装置10に求められるサンプリング領域207のサイズdsに応じて、画素111のサイズdp、距離Bおよび距離Cが決定され得る(以下、条件1と言う)。サンプリング領域207のサイズdsは、より小さいことが好ましいため、例えばサンプリング領域207のサイズdsがより小さくなるように、画素111のサイズdp、距離Bおよび距離Cが決定される。
また、表示装置10では、マイクロレンズアレイ120の各マイクロレンズ121がそれぞれ画素として振る舞う。したがって、表示装置10の解像度は、マイクロレンズ121のピッチによって決定される。換言すれば、表示装置10に求められる解像度に応じて、マイクロレンズ121のピッチが決定され得る(以下、条件2と言う)。一般的に解像度はより大きいことが好ましいため、例えばマイクロレンズ121のピッチはより小さい
ことが求められる。
さらに解像度については、(解像度)∝(距離B+距離D)×距離C/(画素111のサイズdp×距離D)の関係が成立する。ここで、距離Dは、マイクロレンズアレイ120から虚像生成位置までの距離であり虚像深さともいう。したがって、表示装置10に求められる解像度と距離Dに応じて、画素111のサイズdpおよび距離Cも決定され得る(以下、条件3と言う)。
また、繰り返し周期λには、λ=(マイクロレンズ121のピッチ)×(B+C)/Cの関係がある。したがって、表示装置10に求められる繰り返し周期λに応じて、マイクロレンズ121のピッチ、距離Bおよび距離Cが決定され得る(以下、条件4と言う)。ユーザに正常な観視をより安定的に提供するためには、繰り返し周期λはより大きいことが好ましい。したがって、例えば繰り返し周期λがより大きくなるように、マイクロレンズ121のピッチ、距離Bおよび距離Cが決定される。
このように、表示装置10においては、画素111のサイズdp、距離D、マイクロレンズ121のピッチ、距離Bおよび距離Cなどの、画素アレイ110およびマイクロレンズアレイ120の構成および配置位置に関係する諸々の値が、表示装置10に求められる条件1~条件4を満たすように適宜決定され得る。
ここで、条件1~条件4を同時に満たすことを考えると、画素111のサイズdp、距離D、マイクロレンズ121のピッチ、距離Bおよび距離C等をそれぞれ独立に設定することはできない。例えば、製品の性能上の観点から、表示装置10に求められる解像度および繰り返し周期λが定まっているとする。この場合、条件2に基づいて、表示装置10に求められる解像度を満たすようにマイクロレンズ121のピッチが決定され得る。マイクロレンズ121のピッチが決定されると、条件4に基づいて、表示装置10に求められる繰り返し周期λを満たすように距離Cが決定され得る。
距離Bは、例えば一般的にユーザが表示装置10を観察する距離として設定され得るため、距離Bについては設計の自由度が小さい。したがって、マイクロレンズ121のピッチおよび距離Cが決定されると、条件1に基づいて、表示装置10に求められるサンプリング領域207のサイズdsを満たすように画素111のサイズdpが決定されてしまう。よって、サンプリング領域207のサイズdsを小さくしようとすると、それに応じて画素111のサイズdpも比較的小さいものになってしまう。
画素111のサイズdpをより小さくし、画素111の数を増加させることは、製造コストの増加および消費電力の増加を引き起こす恐れがある。また、スマートフォン等の一般的なモバイル機器の表示面に用いられている画素としては、数十(μm)よりも大きいサイズのものが広く用いられている。したがって、表示装置10の画素アレイ110として、このような一般的に広く用いられている画素アレイを流用することは困難であるため、専用の画素アレイを別途製作する必要が生じ、やはり製造コストの増加を招く恐れがある。
そこで、本出願人は、表示装置10とほぼ同様の装置構成で、画素111のサイズdpを所定の大きさに保ったまま、視力補償を実行することが可能な技術の検討を行った。
具体的には、レンズによる光学的な解像の効果に注目した。上述した第1の実施の形態では、画素アレイ110の各画素111を適宜駆動し、光線状態を制御することにより、画素アレイ110の表示面上の画像の虚像を任意の位置に生成させていた。一方、一般的に凸レンズは、当該凸レンズと物体との距離およびその焦点距離fに応じて、所定の位置に所定の倍率で拡大された当該物体の虚像を生成する機能を有する。このような凸レンズによって光学的に生成された虚像をユーザに観察させれば、例えば老眼視であるユーザの視力補償を実現することが可能となると考えられる。
ここで、図6に示した表示装置10の構成において、マイクロレンズアレイ120の1つのマイクロレンズ121に注目すると、各マイクロレンズ121は上述した凸レンズ821と同様の虫眼鏡としての機能を果たし得る。すなわち、各マイクロレンズ121は、当該マイクロレンズ121越しに物体を観察するユーザに対して、当該物体が拡大された虚像を観察させることができる。
したがって、図6に示した表示装置10の構成において、マイクロレンズアレイ120を、マイクロレンズアレイ120の各マイクロレンズ121によって画素アレイ110の表示の虚像が生成され得るように(すなわち、画素アレイ110が各マイクロレンズ121の焦点距離よりも当該マイクロレンズ121に近くなるように)に配置することにより、光線再生を行わなくても、ユーザに対して拡大され解像された画像(すなわち虚像)を提供することが可能となる。この際、上記のように、各マイクロレンズ121における倍率を考慮して画素アレイ110に表示される画像のサイズを調整すれば、ユーザに対して提供される情報量が低下することもない。
このように、図6に示した表示装置10は、画素アレイ110の表示面側に複数のレンズ(すなわちマイクロレンズ121)が配列されたものとみなすことができる。各マイクロレンズ121は、画素アレイ110の表示面全体を覆うような大きな画角を有する必要はないため、現実的なサイズの凸レンズとして形成することができる。
ただし、単純に画素アレイ110の表示面に画像を表示した状態で、マイクロレンズアレイ120の各マイクロレンズ121によって光学的に生成された虚像がユーザによって観察されたとしても、当該ユーザは、当該画像を正常に観視することはできない。ユーザに正常な画像を観察させるためには、所定の位置からマイクロレンズアレイ120越しに画素アレイ110の表示面を観察した際に当該画像が連続で一体的な画像して観察され得るように、画素アレイ110における表示を制御すればよい。つまり、画素アレイ110の各画素111は、ユーザがマイクロレンズアレイ120の各マイクロレンズ121を通して視認する各画像が連続的で一体的な表示となるような光線が、各マイクロレンズ121からユーザの瞳に対して出射されるように、駆動される。
具体的には、当該画像処理においては、連続で一体的な画像の虚像をユーザに観察させるように、各マイクロレンズ121からの出射光が制御されればよい。その際、当該画像処理における虚像の位置は、マイクロレンズ121のハードウェア構成から定まる虚像生成位置と等しくなるように調整される。これにより、マイクロレンズ121によって解像された画像が、連続的な画像として、ユーザに対して提供されることとなる。
以上説明したように、図6に示した表示装置10と同様の装置構成において、マイクロレンズアレイ120の各マイクロレンズ121によって画素アレイ110の表示面上の画像の虚像を光学的に生成させること、所定の位置からマイクロレンズアレイ120越しに画素アレイ110の表示面を観察した際に当該画像が連続的で一体的な画像して観察され得るように駆動すること、および、両者の虚像生成位置を等しくすること、を実行することにより、上述した第1の実施の形態とは異なる手法により、ユーザの視力補償を行うことが可能となる。
当該手法によれば、マイクロレンズ121によって光学的に虚像を生成するため、視力補償のためにサンプリング領域207を小さく設定する必要がない。よって、上記条件1を考慮する必要がなくなる。また、表示装置10としての解像度は、マイクロレンズ121のピッチではなく、マイクロレンズ121における倍率に応じて決定され得るため、上記条件2を考慮する必要もない。
したがって、当該手法によれば、第1の実施の形態に比べて、画素111のサイズdpを小さくすることなく、視力補償を行うことが可能となる。よって、例えば一般的に広く用いられているディスプレイ(画素アレイ)をそのまま画素アレイ110として用いることができ、製造コストを増加させることなく表示装置を構成することが可能となる。
ただし、当該手法では、虚像生成位置は、マイクロレンズ121と画素アレイ110の表示面との距離(すなわち距離C)およびマイクロレンズ121の焦点距離fに応じて、いわばハードウェア的に決定され得る。また、第1の実施の形態と異なり、虚像生成位置は画素アレイに対してマイクロレンズの反対側にしか生成できない。したがって、第2の実施の形態では、画素111のサイズdpを小さくする必要がないという利点がある反面、画素アレイ110の駆動のみの変更により虚像深さDを任意に変化させることはできない。このため、用途に応じて第1の実施の形態と第2の実施形態とが選択されればよい。
(2-2.視力補償のための装置構成)
図18を参照して、第2の実施の形態に係る表示装置の構成について説明する。図18は、第2の実施の形態に係る表示装置の一構成例を示す図である。
図18を参照すると、第2の実施の形態に係る表示装置40は、複数の画素111が2次元状に配列された画素アレイ110と、画素アレイ110の表示面115上に設けられるマイクロレンズアレイ120と、画素アレイ110の各画素111の駆動を制御する制御部430と、から構成される。ここで、画素アレイ110およびマイクロレンズアレイ120のそれぞれの構成は、図6に示した表示装置10におけるこれらの部材の構成と同様であるため、ここではその詳細な説明は省略する。
第1の実施の形態では、実像を扱うために、画素アレイ110とマイクロレンズアレイ120との距離は、マイクロレンズアレイ120の各マイクロレンズ121の焦点距離よりも長くなるように設定されていた。一方、第2の実施の形態では、各マイクロレンズ121によって光学的に虚像を生成するために、画素アレイ110およびマイクロレンズアレイ120は、画素アレイ110とマイクロレンズアレイ120との距離がマイクロレンズアレイ120の各マイクロレンズ121の焦点距離よりも短くなるように配置される。
また、上述したように、第1の実施の形態では、画素アレイ110およびマイクロレンズアレイ120は、上記条件1~条件4を全て満たすように設計される必要があった。したがって、画素111のサイズdpやマイクロレンズ121のピッチは比較的小さくなってしまう傾向があった。一方、第2の実施の形態では、上記条件1~条件4のうち、条件1および条件2は考慮されなくてよい。したがって、画素111のサイズdpは第1の実施の形態に比べてより大きくてもよく、例えば一般的に広く用いられている汎用品のディスプレイと同等であってよい。
ただし、第2の実施の形態においても、画素アレイ110およびマイクロレンズアレイ120は、条件3および条件4は満たすように設計される。つまり、表示装置40においては、所定の解像度を満たすように画素111のサイズdp、距離Dおよび距離Cが設定され得る。
制御部430は、例えばCPUやDSP等のプロセッサによって構成され、所定のプログラムに従って動作することにより、画素アレイ110の各画素111の駆動を制御する。制御部430は、その機能として、光線情報生成部431と、画素駆動部432と、を有する。ここで、光線情報生成部431および画素駆動部432の機能は、図6に示した表示装置10における光線情報生成部131および画素駆動部132の機能の一部が変更されたものに対応する。以下では、制御部430について、表示装置10の制御部130と重複する事項についての説明は省略し、制御部130との相違点について主に説明する。
光線情報生成部431は、画像情報および虚像位置情報に基づいて、画素アレイ110の各画素111を駆動するための光線情報を生成する。ここで、画像情報は、第1の実施の形態と同様に、ユーザに対して提示される2次元の画像情報である。ただし、虚像位置情報は、第1の実施の形態のように任意に設定されるものではなく、距離Cおよびマイクロレンズアレイ120の各マイクロレンズ121の焦点距離に応じて決定される所定の虚像生成位置についての情報である。
第2の実施の形態では、光線情報生成部431は、画像情報に基づいて、マイクロレンズアレイ120の各マイクロレンズ121を通して視認される画像が連続的で一体的な表示となるような光線状態を示す情報を、光線情報として生成する。また、その際、光線情報生成部431は、当該連続的で一体的な表示に係る虚像の生成位置が、虚像位置情報に基づく画素アレイ110およびマイクロレンズアレイ120の位置関係、ならびにマイクロレンズ121の光学特性によって定まる虚像生成位置と一致するように、上記光線情報を生成する。さらに、光線情報生成部431は、マイクロレンズ121における倍率を考慮して、最終的にユーザによって観察される画像のサイズが適切なサイズになるように、上記光線情報を適宜調整してもよい。光線情報生成部431は、生成した光線情報を画素駆動部432に提供する。
なお、画像情報および虚像位置情報は、他の装置から送信されてもよいし、表示装置40に設けられる記憶装置(図示せず。)に予め格納されていてもよい。
画素駆動部432は、光線情報に基づいて画素アレイ110の各画素111を駆動させる。第2の実施の形態では、画素駆動部432によって光線情報に基づいて画素アレイ110の各画素111が駆動されることにより、マイクロレンズアレイ120の各マイクロレンズ121を通して視認される画像が連続的で一体的な表示となるように、各マイクロレンズ121から出射される光が制御される。これにより、ユーザは、各マイクロレンズ121によって生成された光学的な虚像を、連続的で一体的な画像として認識することが可能となる。
以上、図18を参照して、第2の実施の形態に係る表示装置40の構成について説明した。
(2-3.視力補償のための表示制御方法)
図19を参照して、第2の実施の形態に係る表示装置40において実行される表示制御方法について説明する。図20は、第2の実施の形態に係る表示制御方法の処理手順の一例を示すフロー図である。なお、図19に示す各処理は、図18に示した制御部430によって実行される各処理に対応している。
図19を参照すると、第2の実施の形態に係る表示制御方法では、まず、虚像位置情報および画像情報に基づいて、光線情報が生成される(ステップS201)。虚像位置情報は、表示装置40において虚像を生成する位置(虚像生成位置)についての情報である。第2の実施の形態では、虚像位置情報は、レンズ画素間の距離Cおよびマイクロレンズアレイ120の各マイクロレンズ121の焦点距離に応じて決定される所定の虚像生成位置についての情報である。また、画像情報は、ユーザに対して提示される2次元の画像情報である。
ステップS201に示した処理では、画像情報に基づいて、マイクロレンズアレイ120の各マイクロレンズ121を通して視認される画像が連続的で一体的な表示となるような光線状態を示す情報が、光線情報として生成される。その際、当該連続的で一体的な表示に係る虚像の生成位置が、虚像位置情報に基づく画素アレイ110およびマイクロレンズアレイ120の位置関係およびマイクロレンズ121の光学特性によって定まる虚像生成位置と一致するように、上記光線情報が生成され得る。さらに、ステップS201に示した処理では、マイクロレンズ121における倍率を考慮して、最終的にユーザによって観察される画像のサイズが適切なサイズになるように、上記光線情報が適宜調整されてもよい。
次に、光線情報に基づいて、マイクロレンズアレイ120の各マイクロレンズ121を通して視認される画像が連続的で一体的な表示となるように、各画素が駆動される(ステップS202)。これにより、ユーザに対して、各マイクロレンズ121によって生成された光学的な虚像が、連続的で一体的な画像として提供されることとなる。
以上、第2の実施の形態に係る表示制御方法について説明した。
なお、第2の実施の形態においても調節位置Pf(虚像面150の位置)は有限遠の位置にあることが望ましい。調節位置Pfが無限遠の位置にある場合と比較して画素111の配列ピッチを大きくすることができ、結果として画素アレイ110における画素111の数を削減することができるからである。すなわち、図20に示したように、表示装置40においても、先に示した条件式(5)が成立する。したがって、画素アレイ110に対する虚像面150の位置を無限遠に設定するよりも、必要最小限の有限遠に設定するほうが、要求される配列ピッチPLCは大きくなる。このため、画素アレイ110における画素111の数を削減することができる。
(2-4.輻輳位置の制御)
第2の実施の形態においても、繰返し周期λが同様に存在する。瞳孔間距離PDよりも繰返し周期λの方が小さい場合には、第1の実施の形態の説明において記述したのと同様に、表示装置の寸法の小型化には有利であるものの、輻輳位置と調節位置が異なることに起因する、目の疲れや2重像発生のリスクなどの懸念点が存在する。一方で、瞳孔間距離PDを繰返し周期λよりも小さくすると、上述の目の疲れや2重像発生のリスクなどの懸念点が解消されるものの、レンズアレイの開口数増加に伴う収差増大など、大きな問題が存在し、現実的な設計が困難である場合が多い。
そこで本開示の第2の実施の形態においては、瞳孔間距離PDと繰り返し周期λの大小関係に起因する上記2つの場合の課題を同時に解決するために、第1の実施の形態の場合のように繰り返し周期λを瞳孔間距離PDよりも大きくするのではなく、左右の眼に個別に画像情報を入力することで輻輳と調節との一致を実現するようにしている。以下にその詳細を説明する。
図21Aは、表示装置40における、左右方向において繰り返し周期λを有する1つの連続表示領域Eと、これに対応するマイクロレンズ121A~121Eと、画素アレイ110の画素群113A~113Eとの関係を模式的に表している。図21Aは、画素アレイ110を単眼視する場合の光線の様子を表している。ここで、第2の実施の形態においては、第1の実施の形態(図15A)と比較すると、マイクロレンズ121A~121Eの焦点距離とマイクロレンズ121A~121Eと画素アレイ110間の距離の関係が異なっており、図21Aに示したように、連続表示領域Eがλよりも狭くなっている。第2の実施の形態では、同一視点から観察された際に、1つのマイクロレンズ121を通して、複数個の画素111を観察することになる。このため、画素群113A~113Eの境界付近では、不完全な全体画像を観察することになり、正常な連続表示領域Eが狭くなる。上記の点を除き、第2の実施の形態における全体の構成は第1の実施の形態と同様であるので、同様の部分についての詳細の説明を省略する。なお、図21Aに示した連続表示領域E、マイクロレンズ121A~121Eおよび画素群113A~113Eについての位置関係や寸法比は例示であって、本開示がこれに限定されるものではない。また、連続表示領域Eとは、表示面115と平行な面内において表示面115に対する観察者の視点(瞳PLあるいは瞳PRの位置)が変化する場合に、正常な虚像の観視が可能な領域をいう。図21Aの例では、例えば1つの連続表示領域Eのうち、その中央の位置よりも右側の領域で視認される画像光は、例えば画素群113のうちの中央の位置よりも左側の領域にある画素111から射出されるものである。反対に、1つの連続表示領域Eのうち、その中央の位置よりも左側の領域で視認される画像光は、例えば画素群113のうちの中央の位置よりも右側の領域にある画素111から射出されるものである。
したがって表示装置40において、図21Bに示したように、画素群113を右眼用画素領域116(116A~116E)と左眼用画素領域117(117A~117E)とにそれぞれ分割するようにし、制御部430は、さらに、複数の画素111のうち右眼用画素領域116における右眼用画素に右眼用画像を表示させ、複数の画素111のうち左眼用画素領域117における左眼用画素に左眼用画像を表示させるようにすれば、ユーザは、右眼用画素領域116に表示される右眼用画像を、連続表示領域Eのうちの右眼用画像領域ERにおいて視認することができ、左眼用画素領域117に表示される左眼用画像を、連続表示領域Eのうちの左眼用画像領域ELにおいて視認することができる。このようにすれば、左右眼に観察される画像を独立に制御することが出来、よって輻輳の制御が自在に可能となる。
そこで本実施の形態実施例である表示装置40では、第1の実施の形態の説明において、図15Cに示したのと同様に、同じ条件式(6)を概略満たすように構成されている。但し、λは、水平方向において複数配置される連続表示領域Eの配置ピッチであり、nは自然数である。ここでは、図15Cに示したように、各連続表示領域Eを水平方向(X軸方向)に2等分し、左眼用の画像に対応する左眼用画像領域ELと右眼用の画像に対応する右眼用画像領域ERとが水平方向へ交互配置されることとなるように、画素アレイ110の表示を制御する。このようにすれば、繰り返し周期λが瞳孔間距離PDと同等以下、すなわちλ≦PDの場合においても両眼の輻輳を制御することが可能となる。
(2-5.表示装置の作用効果)
このように、本実施の形態の表示装置40およびそれを用いた表示制御方法によれば、輻輳位置Pcと調節位置Pfとが等しくなるように画素アレイ110を制御部430が制御することが出来るので、例えば観察者が表示面に対して顔を傾けた場合であっても観察者が視認する画像が二重像となるのを回避できる。また、Z軸方向において、輻輳位置Pcと調節位置Pf(虚像面150の位置)とを等しくできることにより、輻輳位置Pcと調節位置Pfとの不一致に伴う観察者の眼精疲労のおそれを緩和することができる。さらに、近接視における輻輳自体による目の疲れを回避できる。したがって、表示装置40およびそれを用いた表示制御方法によれば、優れた視認性を確保しつつ、観察者への負担を低減することができる。また、輻輳位置を任意に制御することにより、視力補償と同時に立体視の制御を行うこともできる。
<3.その他の変形例>
以上、実施の形態を挙げて本開示を説明したが、本開示は上記実施の形態に限定されるものではなく、種々の変形が可能である。例えば、図22に示した表示装置20のように、右眼の瞳の位置および左眼の瞳の位置を検出する瞳位置検出部231をさらに備えるようにしてもよい。
表示装置20では、制御部130の代わりに制御部230を設けるようにしたことを除き、他は図6に示した表示装置10と同様の構成を有する。制御部230は、その機能部分として、光線情報生成部131と、画素駆動部132と、瞳位置検出部231とを有する。瞳位置検出部231は、観察者の瞳PL,PRの位置をそれぞれ検出するものである。瞳位置検出部231が瞳PL,PRの位置を検出する方法としては、例えば一般的な瞳位置検出技術において用いられている公知のあらゆる方法が適用されてよい。例えば、表示装置20に、観察者の顔を撮影可能な撮像装置を設け、瞳位置検出部231が、その撮像装置によって取得された撮像画像を公知の画像解析の方法を用いて解析することにより、観察者の瞳PL,PRの位置を検出することができる。瞳位置検出部231は、検出した観察者の瞳PL,PRの位置についての情報を、光線情報生成部131に提供する。光線情報生成部131は、瞳位置検出部231からの観察者の瞳PL,PRの位置についての情報に基づき、瞳PLが左眼用画像領域EL(図15C)に位置すると共に瞳PRが右眼用画像領域ER(図15C)に位置するように、光の照射状態についての情報を生成する。画素駆動部132は、瞳位置検出部231により検出される左眼211Lの瞳PLの位置および右眼211Rの瞳PRの位置に応じて、右眼用の光および左眼用の光を最適に発するように画素アレイ110を制御する。
このように表示装置20によれば、瞳位置検出部231を用いて光線情報生成部131に対し観察者の瞳PL,PRの位置についての情報を適宜フィードバックすることにより、観察者が良好な虚像の観視を行うことのできる機会を増大させることができる。
さらに、表示装置20では、瞳位置検出部231を測距装置として使用し、観察者の瞳PRおよび瞳PLと画素アレイ110との距離(B+C)を適宜測定し、制御部230にフィードバックし、虚像面150の位置を調整するようにしてもよい。
上記実施の形態等において説明した画素アレイ110やマイクロレンズアレイ120、制御部130,230,430などの配置位置や形状などは一例であって、それらに限定されるものではない。
さらに、例えば、上記実施の形態等に記載した表示装置は、説明した全ての構成要素を備えた場合に限定されるものではなく、他の構成要素をさらに備えていてもよい。
また、上記実施の形態等で説明した表示装置は、上述したスマートフォンやタブレット型端末などの携帯用電子機器、車載機器、あるいは家庭内で使用されるテレビジョンに限定されるものではなく、広く屋内外で情報表示を行うものも含まれる。さらには、各種医療機器(例えば内視鏡手術システム、手術室システムあるいは顕微鏡手術システムなど)へ適用可能性を有する。
なお、本明細書中に記載された効果はあくまで例示であってその記載に限定されるものではなく、他の効果があってもよい。また、本技術は以下のような構成を取り得るものである。
(1)
複数の画素が第1のピッチで配列された表示面を有する画素アレイと、
前記表示面と向き合うように配置され、前記表示面の延在方向に沿って前記第1のピッチよりも大きい第2のピッチで配列された複数のレンズを有するレンズアレイと、
前記複数の画素からの複数の光が前記複数のレンズを通して連続する一体の画像として
視認されるようにすることで前記表示面と異なる位置に虚像を生成するとともに、前記虚像の位置とは独立して両眼輻輳面の位置を前記表示面に直交する方向において任意に制御するように、前記画素アレイの表示動作を制御する制御部と
を備えた表示装置。
(2)
複数の画素が第1のピッチで配列された表示面を有する画素アレイと、
前記表示面と向き合うように配置され、前記表示面の延在方向に沿って前記第1のピッチよりも大きい第2のピッチで配列された複数のレンズを有するレンズアレイと、
前記複数の画素からの複数の光が前記複数のレンズを通して連続する一体の画像として視認されるようにすることで前記表示面と異なる位置に虚像を生成するとともに、前記表示面に直交する方向において両眼輻輳面の位置が前記虚像の位置と実質的に等しくなるように、前記画素アレイの表示動作を制御する制御部と
を備えた表示装置。
(3)
前記制御部は、前記画素アレイにおける前記表示面において、前記複数のレンズの各々に対応した画素領域を右眼用画素領域と左眼用画素領域とに分割し、前記画素領域のうち前記右眼用画素領域における右眼用画素に右眼用画像を表示させ、前記画素領域のうち前記左眼用画素領域における左眼用画素に左眼用画像を表示させる
上記(1)または(2)に記載の表示装置。
(4)
以下の条件式(1)を満たす
上記(3)記載の表示装置。
PD={(2n-1)/2}×{P×(B+C)/C} ……(1)
但し、
PD:右眼の瞳と左眼の瞳との距離
n:自然数
P:レンズアレイにおける第2のピッチ
B:レンズアレイと瞳との、表示面と直交する方向における距離
C:表示面とレンズアレイとの、表示面と直交する方向における距離
(5)
右眼の瞳の位置および左眼の瞳の位置を検出する瞳位置検出部をさらに備え、
前記制御部は、前記瞳位置検出部により検出される前記右眼の瞳の位置および前記左眼の瞳の位置に応じて、右眼用画像および左眼用画像をそれぞれ表示するように前記画素アレイを制御する
上記(1)から(4)のいずれか1つに記載の表示装置。
(6)
前記虚像の位置は有限遠の位置にあり、
前記連続する一体の画像は、右眼および左眼の双方で視認される
上記(1)から(5)のいずれか1つに記載の表示装置。
(7)
複数の画素が第1のピッチで配列された表示面を有する画素アレイにおける前記複数の画素からの複数の光が、前記表示面の延在方向に沿って前記第1のピッチよりも大きい第2のピッチで配列された複数のレンズを有するレンズアレイにおける前記複数のレンズを通して連続する一体の画像として視認されるように前記画素アレイの表示動作を制御することと、
前記画素アレイにおける前記表示面において、前記レンズに対応した画素領域を右眼用画素領域と左眼用画素領域とに分割し、前記複数の画素のうち前記右眼用画素領域における右眼用画素に右眼用画像を表示させ、前記複数の画素のうち前記左眼用画素領域における左眼用画素に左眼用画像を表示させ、輻輳位置と調節位置とを前記表示面と直交する方向に沿って任意に制御するように前記画素アレイを制御することと
を含む表示制御方法。
(8)
複数の画素が第1のピッチで配列された表示面を有する画素アレイにおける前記複数の画素からの複数の光が、前記表示面の延在方向に沿って前記第1のピッチよりも大きい第2のピッチで配列された複数のレンズを有するレンズアレイにおける前記複数のレンズを通して連続する一体の画像として視認されるように前記画素アレイの表示動作を制御することと、
前記画素アレイにおける前記表示面において、前記レンズに対応した画素領域を右眼用画素領域と左眼用画素領域とに分割し、前記複数の画素のうち前記右眼用画素領域における右眼用画素に右眼用画像を表示させ、前記複数の画素のうち前記左眼用画素領域における左眼用画素に左眼用画像を表示させ、輻輳位置と調節位置とを、実質的に一致させるよう前記画素アレイを制御することと
を含む表示制御方法。
本出願は、日本国特許庁において2017年9月19日に出願された日本特許出願番号2017-178694号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (3)

  1. 複数の画素が第1のピッチで配列された表示面を有する画素アレイと、
    前記表示面と向き合うように配置され、前記表示面の延在方向に沿って前記第1のピッチよりも大きい第2のピッチで配列された複数のレンズを有するレンズアレイと、
    前記複数の画素からの複数の光が前記複数のレンズを通して連続する一体の画像として視認されるようにすることで前記表示面と異なる位置に虚像を生成するとともに、前記表示面に直交する方向において両眼輻輳面の位置が前記虚像の位置と実質的に等しくなるように、前記画素アレイの表示動作を制御する制御部と
    を備え、
    前記制御部は、前記画素アレイにおける前記表示面において、前記複数のレンズの各々に対応した画素領域を右眼用画素領域と左眼用画素領域とに分割し、前記画素領域のうち前記右眼用画素領域における右眼用画素に右眼用画像を表示させ、前記画素領域のうち前記左眼用画素領域における左眼用画素に左眼用画像を表示させ、
    以下の条件式(1)を満たす
    PD={(2n-1)/2}×{P×(B+C)/C} ……(1)
    但し、
    PD:右眼の瞳と左眼の瞳との距離
    n:自然数
    P:レンズアレイにおける第2のピッチ
    B:レンズアレイと瞳との、表示面と直交する方向における距離
    C:表示面とレンズアレイとの、表示面と直交する方向における距離
    表示装置。
  2. 右眼の瞳の位置および左眼の瞳の位置を検出する瞳位置検出部をさらに備え、
    前記制御部は、前記瞳位置検出部により検出される前記右眼の瞳の位置および前記左眼の瞳の位置に応じて、右眼用画像および左眼用画像をそれぞれ表示するように前記画素アレイを制御する
    請求項1記載の表示装置。
  3. 前記虚像の位置は有限遠の位置にあり、
    前記連続する一体の画像は、右眼および左眼の双方で視認される
    請求項1記載の表示装置。
JP2019543476A 2017-09-19 2018-08-10 表示装置および表示制御方法 Active JP7184042B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017178694 2017-09-19
JP2017178694 2017-09-19
PCT/JP2018/030102 WO2019058811A1 (ja) 2017-09-19 2018-08-10 表示装置および表示制御方法

Publications (2)

Publication Number Publication Date
JPWO2019058811A1 JPWO2019058811A1 (ja) 2020-11-12
JP7184042B2 true JP7184042B2 (ja) 2022-12-06

Family

ID=65811134

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019543476A Active JP7184042B2 (ja) 2017-09-19 2018-08-10 表示装置および表示制御方法

Country Status (2)

Country Link
JP (1) JP7184042B2 (ja)
WO (1) WO2019058811A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115039405A (zh) * 2020-12-22 2022-09-09 京东方科技集团股份有限公司 一种显示装置及其制备方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003209858A (ja) 2002-01-17 2003-07-25 Canon Inc 立体画像生成方法及び記録媒体
JP2006262191A (ja) 2005-03-17 2006-09-28 Victor Co Of Japan Ltd 複数視点立体映像表示方法及び複数視点立体映像表示装置並びに複数視点立体映像表示プログラム
WO2016038997A1 (ja) 2014-09-08 2016-03-17 ソニー株式会社 表示装置、表示装置の駆動方法、及び、電子機器
WO2016072194A1 (ja) 2014-11-07 2016-05-12 ソニー株式会社 表示装置及び表示制御方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3803442B2 (ja) * 1996-12-19 2006-08-02 オリンパス株式会社 立体画像表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003209858A (ja) 2002-01-17 2003-07-25 Canon Inc 立体画像生成方法及び記録媒体
JP2006262191A (ja) 2005-03-17 2006-09-28 Victor Co Of Japan Ltd 複数視点立体映像表示方法及び複数視点立体映像表示装置並びに複数視点立体映像表示プログラム
WO2016038997A1 (ja) 2014-09-08 2016-03-17 ソニー株式会社 表示装置、表示装置の駆動方法、及び、電子機器
WO2016072194A1 (ja) 2014-11-07 2016-05-12 ソニー株式会社 表示装置及び表示制御方法

Also Published As

Publication number Publication date
JPWO2019058811A1 (ja) 2020-11-12
WO2019058811A1 (ja) 2019-03-28

Similar Documents

Publication Publication Date Title
US11350079B2 (en) Wearable 3D augmented reality display
JP6704349B2 (ja) 表示装置及び表示方法
JP7185331B2 (ja) インテグラルイメージング方式のライトフィールドディスプレイ用にライトフィールド画像をレンダリングする方法
JP3984907B2 (ja) 画像観察システム
JP3151770B2 (ja) 複眼式画像表示装置
US7768702B2 (en) Medical stereo observation system
WO2016038997A1 (ja) 表示装置、表示装置の駆動方法、及び、電子機器
JP3979604B2 (ja) ディスプレイ
WO2019012385A1 (en) SYSTEMS OF VIRTUAL REALITY AND INCREASED REALITY WITH DYNAMIC VISION CORRECTION
US9905143B1 (en) Display apparatus and method of displaying using image renderers and optical combiners
US20170315348A1 (en) Display device and display control method
JP2011145607A (ja) ヘッドマウントディスプレイ
JPWO2020008804A1 (ja) 立体メガネ、これに用いられる眼鏡レンズの設計方法および立体画像の観察方法
JP2015519590A (ja) 3次元画像の可視化システム
Lim et al. Fatigue-free visual perception of high-density super-multiview augmented reality images
KR20120063161A (ko) 3차원 디스플레이 장치 및 3차원 영상 디스플레이 방법
JP7184042B2 (ja) 表示装置および表示制御方法
Zabels et al. Integrated head-mounted display system based on a multi-planar architecture
JP3825414B2 (ja) 三次元表示装置
JP2011133672A (ja) 表示装置および表示方法
Hua Optical methods for enabling focus cues in head-mounted displays for virtual and augmented reality
JP2011128235A (ja) 表示装置および表示方法
Hua Advances in Head‐Mounted Light‐Field Displays for Virtual and Augmented Reality
KR101746717B1 (ko) 초점이 각각 다른 렌즈어레이를 이용한 3차원 영상 출력 방법
Wang Different multi-focal-plane method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221107

R151 Written notification of patent or utility model registration

Ref document number: 7184042

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151