JP7600802B2 - 表示装置、表示制御方法、及び表示制御プログラム - Google Patents
表示装置、表示制御方法、及び表示制御プログラム Download PDFInfo
- Publication number
- JP7600802B2 JP7600802B2 JP2021046217A JP2021046217A JP7600802B2 JP 7600802 B2 JP7600802 B2 JP 7600802B2 JP 2021046217 A JP2021046217 A JP 2021046217A JP 2021046217 A JP2021046217 A JP 2021046217A JP 7600802 B2 JP7600802 B2 JP 7600802B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- timing
- pixel
- irradiation
- microlens array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
Description
図1は、輻輳調節矛盾を説明するための模式図である。立体画像を表示する表示装置は、ユーザの右眼と左眼に異なる視差の画像を視認させて、輻輳の違いを利用して立体画像を表示させる。立体画像を表示する場合には、実際に画像が表示される表示面がユーザの眼の焦点位置となり、左右の眼の視線が交差する位置が輻輳位置となる。しかし、図1の例に示すように、立体画像においては、立体画像の奥行き方向であるZ方向における焦点位置PO1と輻輳位置PO2との位置がずれることがある。焦点位置PO1と輻輳位置PO2との位置がずれると、いわゆる輻輳調節矛盾が起こり、眼精疲労やいわゆる3D酔いなどの原因となる。そのため、輻輳調節矛盾を抑制することが求められている。なお、図1の(A)は、焦点位置PO1が輻輳位置PO2よりもユーザの眼EY側にあり、図1の(B)は、輻輳位置PO2が焦点位置PO1よりもユーザの眼EY側にある例を示している。
(表示装置の全体構成)
図2は、第1実施形態に係る表示装置の模式図である。第1実施形態に係る表示装置1は、立体画像を表示する表示装置である。図2に示すように、表示装置1は、ユーザUの頭部に装着される、いわゆるHMD(Head Mount Display)である。例えば、表示装置1は、ユーザUの眼EYに面した位置に表示部10が装着される。そして、表示装置1は、表示部10に画像を表示させて、ユーザUにコンテンツを提供する。なお、図2に示した表示装置1の構成は一例である。例えば、表示装置1は、ユーザUの耳に装着される音声出力部(スピーカ)を備えていてもよい。
表示部10は、立体画像を表示する装置である。表示部10は、マトリクス状に並び自発光する複数の画素P(表示素子)を有するディスプレイである。表示部10が有する各画素Pは自発光するため、表示部10は、画素P毎に個別に発光(光の照射)の制御が可能である。表示部10の各画素Pは、例えば有機発光ダイオード(OLED: Organic Light Emitting Diode)であってもよいし、無機発光ダイオード(マイクロLED(micro LED)であってもよい。表示部10で画像が表示される面を表示面10Aとする。以下、表示面10AからユーザUの眼EYへ向かう方向を、方向Z1とし、方向Z1と反対方向を、すなわちユーザUの眼EYから表示面10Aに向かう方向を、方向Z2とする。方向Z1、Z2を区別しない場合は、方向Zと記載する。なお、図3では、表示部10のユーザUの眼EY側の表面を表示面10Aとしているが、表示面10Aは、ユーザUの眼EY側の表面であることに限られず、ユーザUの眼EY側の表面よりも内側にあってもよい。なお、表示部10は、後述する制御装置40から表示部10の画素Pを制御する制御信号を受信する。
接眼レンズ20は、表示部10のZ1方向側に設けられる。接眼レンズ20は、光(画像光)を透過する光学素子である。さらに言えば、接眼レンズ20は、表示装置1で最もユーザUの眼EY側にある光学素子(レンズ)である。表示部10から出射された画像光Lは、接眼レンズ20を通って、ユーザUの眼EYに入射する。なお、本実施形態では、接眼レンズ20(接眼レンズ)からユーザUの眼EYまでの画像光Lの光路における光軸方向が、方向Zともいえる。
マイクロレンズアレイ30は、画像光Lの光軸方向において、表示部10よりもユーザU側に設けられている。さらに言えば、マイクロレンズアレイ30は、画像光Lの光軸方向において、表示部10と接眼レンズ20との間に設けられている。マイクロレンズアレイ30は、表示面10Aと平行な平面においてマトリクス状に複数のレンズ32が並ぶ光学素子である。本実施形態では、マイクロレンズアレイ30の各レンズ32のピッチは、すなわち隣り合うレンズ32の中心同士の距離は、例えば表示部10の画素Pのピッチ(隣り合う画素Pの中心同士の距離)と同程度である。マイクロレンズアレイ30の各レンズ32は、画像光Lの光軸方向において、表示部10の各画素Pに対向する位置に設けられている。なお、マイクロレンズアレイ30は、後述する制御装置40からマイクロレンズアレイ30を制御する制御信号を受信する。
制御装置40は、表示装置1の各部を制御する装置である。図4は、第1実施形態に係る制御装置の模式的なブロック図である。制御装置40は、本実施形態ではコンピュータであり、記憶部42と制御部44とを有する。記憶部42は、制御部44の演算内容やプログラムなどの各種情報を記憶するメモリであり、例えば、RAM(Random Access Memory)と、ROM(Read Only Memory)のような主記憶装置と、HDD(Hard Disk Drive)などの外部記憶装置とのうち、少なくとも1つ含む。記憶部42が記憶する制御部44用のプログラムは、制御装置40が読み取り可能な記録媒体に記憶されていてもよい。
画像情報取得部50は、表示部10が表示する立体画像の画像データを取得する。すなわち、画像情報取得部50は、左眼用画像の画像データと、右眼用画像の画像データとを取得する。また、画像情報取得部50は、立体画像の奥行き方向における位置を示す奥行き情報を取得する。立体画像の奥行き方向における位置とは、表示面10Aに画像を表示した際にユーザUに視認される虚像の、奥行き方向における位置を指す。奥行き方向とは、表示部10の表示面10Aに直交する方向であるとも言え、本実施形態ではZ方向である。奥行き情報は、画像データに関連付けられている。さらに言えば、立体画像は、1フレームに含まれる各画像について、奥行き方向における位置が設定されており、言い換えれば、表示面10A上の位置毎に、奥行き方向における位置が設定されている。そのため、画像情報取得部50は、立体画像についての、表示面10A上の位置毎の奥行き情報を取得するといえる。なお、立体画像は、画素P毎に奥行き方向における位置が設定されているが、1つの画像を構成する複数の画素Pに対しては、奥行き方向における位置が同じとなるように設定されていてもよい。画像情報取得部50は、任意の方法で画像データ及び奥行き情報を取得してよく、記憶部42に予め記憶されていた画像データ及び奥行き情報を読み出してもよいし、図示しない通信部を介して画像データ及び奥行き情報を受信してもよい。また、画像情報取得部50は、画像データに基づき奥行き方向の位置を算出することで、奥行き情報を取得してもよい。
駆動制御部52は、マイクロレンズアレイ30を制御して、マイクロレンズアレイ30の各レンズ32の焦点の位置をZ方向に移動させる。駆動制御部52は、例えば、マイクロレンズアレイ30に含まれる液晶素子に対する電圧の印加を制御することで、レンズ32の焦点の位置をZ方向に移動させる。駆動制御部52は、レンズ32の焦点の位置がZ1方向に所定距離移動した後にZ2方向に所定距離移動するZ方向の往復移動(振動)を繰り返し行うように、レンズ32の焦点の位置を移動させる。駆動制御部52は、レンズ32の焦点の位置を、Z方向に沿って所定の周期で移動させる。言い換えれば、駆動制御部52は、レンズ32の焦点のZ方向の往復移動を、所定の周期で行わせる。本実施形態では、Z方向の往復移動の周期(表示部10がZ方向において元の位置に戻ってくるまでの時間)は一定であるが、一定であることに限られず、周期を変化させてもよい。
タイミング設定部54は、画像光Lの照射タイミングを、表示部10の画素P毎に設定する。照射制御部56は、画像データに基づき、表示部10の画素Pを制御して画素Pに画像光Lを照射させる。照射制御部56は、タイミング設定部54が設定した画素P毎の照射タイミングで、画素P毎に画像光Lを照射させる。すなわち、照射制御部56は、表示部10のある画素Pに、その画素Pについて設定された照射タイミングで、画像光Lを照射させる。タイミング設定部54は、Z方向(画像光Lの光軸方向)におけるマイクロレンズアレイ30(レンズ32)の焦点の位置に基づき、照射タイミングを設定する。さらに言えば、タイミング設定部54は、立体画像の奥行き情報と、Z方向におけるマイクロレンズアレイ30の焦点の位置とに基づき、照射タイミングを設定する。なお、タイミング設定部54は、画素P毎に照射タイミングを設定するが、画素P毎に照射タイミングが異なることに限られず、例えば1つの画像を構成する一群の画素P(例えば図5の家の画像を表示する一群の画素Pなど)の照射タイミングを、同じに設定してよい。以下、タイミング設定部54の設定についてより具体的に説明する。
次に、以上説明した制御装置40の処理フローを説明する。図8は、本実施形態に係る制御装置の処理フローを説明するフローチャートである。制御装置40は、駆動制御部52により、マイクロレンズアレイ30の焦点の位置を所定周期でZ方向に往復移動させる。制御装置40は、タイミング設定部54により、画素P毎の奥行き情報から、画素P毎の照射位置を設定する(ステップS10)。制御装置40は、マイクロレンズアレイ30の焦点のZ方向における位置を逐次取得し、マイクロレンズアレイ30の焦点が照射位置から所定距離内に到達したかを、画素P毎に判断する(ステップS12)。マイクロレンズアレイ30の焦点が照射位置から所定距離内に到達したら(ステップS12;Yes)、すなわちマイクロレンズアレイ30の焦点が照射位置から所定距離内に到達したと判断される画素Pがある場合には、タイミング設定部54は、その画素Pが照射タイミングに到達したと判断し、照射制御部56は、画像データに基づき、その画素Pに画像光Lを照射させる(ステップS14)。その後、照射停止タイミングで画像光Lの照射を停止させ、処理を終了しない場合は(ステップS16;No)、ステップS10に戻り処理を続ける。一方、マイクロレンズアレイ30の焦点が照射位置から所定距離内に到達していない場合には(ステップS12;No)、すなわちマイクロレンズアレイ30の焦点が照射位置から所定距離内に到達したと判断される画素Pが無い場合には、ステップS12に戻り、マイクロレンズアレイ30の焦点が照射位置から所定距離内に到達するまで画素Pに光を照射させない。ステップS16で処理を終了する場合(ステップS16;Yes)、本処理を終了する。
以上説明したように、本実施形態に係る表示装置1は、ユーザUに立体画像を提供するものであって、表示部10と、マイクロレンズアレイ30と、駆動制御部52と、タイミング設定部54と、照射制御部56とを含む。表示部10は、自発光する複数の画素Pを含み、画素Pからの画像光LをユーザUに到達させることで、ユーザUに立体画像を提供する。マイクロレンズアレイ30は、画像光Lの光軸方向において表示部10よりもユーザU側に設けられ、焦点を変更可能である。駆動制御部52は、マイクロレンズアレイ30の焦点の位置を、画像光Lの光軸方向(本実施形態ではZ方向)に沿って所定の周期で移動させる。タイミング設定部54は、マイクロレンズアレイ30の焦点の光軸方向(本実施形態ではZ方向)における位置に基づき、画像光Lの照射タイミングを画素P毎に設定する。照射制御部56は、照射タイミングで、画素Pに画像光Lを照射させる。
なお、以上の説明では、表示部10は自発光型のディスプレイであったが、それに限られない。例えば、第1実施形態の他の例として、表示部10は、複数の画素を含む表示パネルと、表示パネルに光を照射する光源部とを含む構成であってよい。この場合例えば、表示パネルは、マトリクス状に並ぶ複数の画素電極と、液晶素子が充填される液晶層とを有する液晶表示パネルであってよい。また、光源部は、例えば表示パネルの背面に設けられるバックライトや、表示パネルの側面に設けられるサイドライトであってよい。このような構成においては、光源部は、表示パネルの全ての画素に対して一様に光を照射するものであり、言い換えれば、画素毎に個別に光の照射を制御するものではない。ただし、光源部は、表示パネルの全ての画素に一様に光を照射するものに限られず、例えば複数の画素毎に光の照射を調整可能な、例えば画面全体をいくつかの区画に分け区画ごとに光の強度を調整可能な、いわゆるローカルディミングの方式のものであってもよい。
次に、第2実施形態について説明する。第2実施形態においては、マイクロレンズアレイのそれぞれのレンズの焦点位置を個別に調整できる点で、第1実施形態とは異なる。第2実施形態において第1実施形態と構成が共通する箇所は、説明を省略する。
次に、変形例について説明する。変形例に係る表示装置1bは、接眼レンズ20の替わりに凹面鏡20Cでディスプレイを拡大する点で、第2実施形態とは異なる。変形例において第2実施形態と構成が共通する箇所は、説明を省略する。
10 表示部
20 接眼レンズ
30、30a マイクロレンズアレイ
32、32a レンズ
40、40a制御装置
50 画像情報取得部
52、52a 駆動制御部
54 タイミング設定部
54a 焦点位置設定部
56、56a 照射制御部
L 画像光
P 画素
U ユーザ
Claims (4)
- 複数の画素を含み、前記画素から光を照射することでユーザに画像を提供する表示部と、
前記表示部よりも前記ユーザ側に設けられ、焦点を変更可能なマイクロレンズアレイと、
前記マイクロレンズアレイの焦点の位置を所定の周期で変更させる駆動制御部と、
前記マイクロレンズアレイの焦点の位置に基づき、前記光の照射タイミングを、前記画素毎に設定するタイミング設定部と、
を含み、
前記タイミング設定部は、前記画像の奥行き方向の位置を示す奥行き情報にも基づき、前記照射タイミングを設定し、
前記タイミング設定部は、前記画素からの光の光束の開き角が、その画素によって表示される前記画像の部分での奥行き方向の位置から前記ユーザに向けて前記光を照射した場合の光束の開き角に対応する前記マイクロレンズアレイの焦点の位置である照射位置の情報を取得し、前記マイクロレンズアレイの焦点の位置が前記照射位置に対して所定距離範囲内となるタイミングを、その画素についての前記照射タイミングとして設定する、
表示装置。 - 前記駆動制御部は、前記マイクロレンズアレイが有する複数のレンズの焦点の位置を、一様に変化させる、請求項1に記載の表示装置。
- 複数の画素を含み前記画素から光を照射する表示部よりもユーザ側に設けられ焦点を変更可能なマイクロレンズアレイの焦点の位置を所定の周期で変更させる駆動制御ステップと、
前記マイクロレンズアレイの焦点の位置に基づき、前記光の照射タイミングを、前記画素毎に設定するタイミング設定ステップと、
を含み、
前記タイミング設定ステップにおいては、画像の奥行き方向の位置を示す奥行き情報にも基づき、前記照射タイミングを設定し、
前記タイミング設定ステップにおいては、前記画素からの光の光束の開き角が、その画素によって表示される前記画像の部分での奥行き方向の位置から前記ユーザに向けて前記光を照射した場合の光束の開き角に対応する前記マイクロレンズアレイの焦点の位置である照射位置の情報を取得し、前記マイクロレンズアレイの焦点の位置が前記照射位置に対して所定距離範囲内となるタイミングを、その画素についての前記照射タイミングとして設定する、
表示制御方法。 - 複数の画素を含み前記画素から光を照射する表示部よりもユーザ側に設けられ焦点を変更可能なマイクロレンズアレイの焦点の位置を所定の周期で変更させる駆動制御ステップと、
前記マイクロレンズアレイの焦点の位置に基づき、前記光の照射タイミングを、前記画素毎に設定するタイミング設定ステップと、
を、コンピュータに実行させ、
前記タイミング設定ステップにおいては、画像の奥行き方向の位置を示す奥行き情報にも基づき、前記照射タイミングを設定し、
前記タイミング設定ステップにおいては、前記画素からの光の光束の開き角が、その画素によって表示される前記画像の部分での奥行き方向の位置から前記ユーザに向けて前記光を照射した場合の光束の開き角に対応する前記マイクロレンズアレイの焦点の位置である照射位置の情報を取得し、前記マイクロレンズアレイの焦点の位置が前記照射位置に対して所定距離範囲内となるタイミングを、その画素についての前記照射タイミングとして設定する、
表示制御プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021046217A JP7600802B2 (ja) | 2021-03-19 | 2021-03-19 | 表示装置、表示制御方法、及び表示制御プログラム |
| PCT/JP2022/012769 WO2022196809A1 (ja) | 2021-03-19 | 2022-03-18 | 表示装置、表示制御方法、及び表示制御プログラム |
| US18/464,301 US12574494B2 (en) | 2021-03-19 | 2023-09-11 | Display device, display control method, and computer-readable storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021046217A JP7600802B2 (ja) | 2021-03-19 | 2021-03-19 | 表示装置、表示制御方法、及び表示制御プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022144985A JP2022144985A (ja) | 2022-10-03 |
| JP7600802B2 true JP7600802B2 (ja) | 2024-12-17 |
Family
ID=83454176
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021046217A Active JP7600802B2 (ja) | 2021-03-19 | 2021-03-19 | 表示装置、表示制御方法、及び表示制御プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7600802B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7708052B2 (ja) | 2022-09-13 | 2025-07-15 | トヨタ自動車株式会社 | 車両 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003334221A (ja) | 2002-05-20 | 2003-11-25 | Nikon Corp | 画像表示装置および眼疲労解消装置 |
| JP2017515162A (ja) | 2014-03-05 | 2017-06-08 | アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ | ウェアラブル3d拡張現実ディスプレイ |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06235885A (ja) * | 1993-02-08 | 1994-08-23 | Nippon Hoso Kyokai <Nhk> | 立体映像表示装置 |
| JP3556389B2 (ja) * | 1996-05-01 | 2004-08-18 | 日本電信電話株式会社 | ヘッドマウントディスプレイ装置 |
-
2021
- 2021-03-19 JP JP2021046217A patent/JP7600802B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003334221A (ja) | 2002-05-20 | 2003-11-25 | Nikon Corp | 画像表示装置および眼疲労解消装置 |
| JP2017515162A (ja) | 2014-03-05 | 2017-06-08 | アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ | ウェアラブル3d拡張現実ディスプレイ |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022144985A (ja) | 2022-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12183310B2 (en) | Depth based foveated rendering for display systems | |
| US12547005B2 (en) | Depth based foveated rendering for display systems | |
| US10379360B2 (en) | Fresnel lens with dynamic draft for variable gaze | |
| KR20200105687A (ko) | 핀포인트 미러를 갖는 증강 현실 광학 시스템 | |
| US11695913B1 (en) | Mixed reality system | |
| US12574494B2 (en) | Display device, display control method, and computer-readable storage medium | |
| JP7600802B2 (ja) | 表示装置、表示制御方法、及び表示制御プログラム | |
| US11243399B2 (en) | Head mounted display device with double faceted optics | |
| JP7604966B2 (ja) | 表示装置、表示制御方法、及び表示制御プログラム | |
| JP2025085735A (ja) | 表示装置、表示制御方法、及び表示制御プログラム | |
| JP7567593B2 (ja) | 表示装置、表示制御方法、及び表示制御プログラム | |
| JP7567594B2 (ja) | 表示装置、表示制御方法、及び表示制御プログラム | |
| JP7604965B2 (ja) | 表示装置、表示制御方法、及び表示制御プログラム | |
| JP7604967B2 (ja) | 表示装置、表示制御方法、及び表示制御プログラム | |
| GB2640411A (en) | Near eye display apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240723 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240924 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20241105 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241118 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7600802 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |