JP7227224B2 - 投影される3dライトフィールドを生成するためのライトフィールド映像エンジン方法および装置 - Google Patents

投影される3dライトフィールドを生成するためのライトフィールド映像エンジン方法および装置 Download PDF

Info

Publication number
JP7227224B2
JP7227224B2 JP2020509503A JP2020509503A JP7227224B2 JP 7227224 B2 JP7227224 B2 JP 7227224B2 JP 2020509503 A JP2020509503 A JP 2020509503A JP 2020509503 A JP2020509503 A JP 2020509503A JP 7227224 B2 JP7227224 B2 JP 7227224B2
Authority
JP
Japan
Prior art keywords
light
dmd
mirror
image
different
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020509503A
Other languages
English (en)
Other versions
JP2020531902A (ja
JP2020531902A5 (ja
Inventor
ジュッカ-タパニ・マキネン
カイ・オジャラ
Original Assignee
インターデイジタル マディソン パテント ホールディングス ソシエテ パー アクシオン サンプリフィエ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターデイジタル マディソン パテント ホールディングス ソシエテ パー アクシオン サンプリフィエ filed Critical インターデイジタル マディソン パテント ホールディングス ソシエテ パー アクシオン サンプリフィエ
Publication of JP2020531902A publication Critical patent/JP2020531902A/ja
Publication of JP2020531902A5 publication Critical patent/JP2020531902A5/ja
Priority to JP2023018394A priority Critical patent/JP2023075086A/ja
Application granted granted Critical
Publication of JP7227224B2 publication Critical patent/JP7227224B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/24Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type involving temporal multiplexing, e.g. using sequentially activated left and right shutters
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • G02B26/105Scanning systems with one or more pivoting mirrors or galvano-mirrors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/1066Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/10Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images using integral imaging methods
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/33Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving directional light or back-light sources
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/60Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images involving reflecting prisms and mirrors only
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/54Accessories
    • G03B21/56Projection screens
    • G03B21/60Projection screens characterised by the nature of the surface
    • G03B21/602Lenticular screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/322Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using varifocal lenses or mirrors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/349Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/354Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying sequentially
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/365Image reproducers using digital micromirror devices [DMD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/385Image reproducers alternating rapidly the location of the left-right image components on the display screens

Description

本発明は、ライトフィールド映像エンジン方法および装置に関する。
関連出願の相互参照
本出願は、2017年8月23日に出願された、「LIGHT FIELD IMAGE ENGINE METHOD AND APPARATUS FOR GENERATING PROJECTED 3D LIGHT FIELDS」と題する、米国仮特許出願第62/549386号、2017年9月1日に出願された、「SYSTEMS AND METHODS FOR GENERATING PROJECTED 3D LIGHT FIELDS USING A DOUBLE-DMD LIGHT FIELD IMAGE ENGINE」と題する、米国仮特許出願第62/553615号、および2018年1月15日に出願された、「3D DISPLAY DIRECTIONAL BACKLIGHT BASED ON MICROMIRRORS」と題する、米国仮特許出願第62/617539号の本出願であり、米国特許法第119条(e)項の下で、それらからの利益を主張し、それらの各々は、その全体が、参照によって本明細書に組み込まれる。
3Dディスプレイのいくつかの現在のタイプは、自然な3D映像知覚のための正確な焦点キュー(focus cues)を提供することができる。人の心は、観察されたオブジェクトの深度(depth)を、部分的には各眼を方向付ける(orient eyes)ために使用される筋肉からの信号を受け取ることによって知覚し、決定する。脳は、眼の相対的な角度方向を、決定される焦点の深度と関連付ける。正確な焦点キューは、観察された焦平面(focal plane)の外にあるオブジェクトにおける自然なぼやけ、および自然でダイナミックな視差効果を生じさせる。
正確な焦点キューを提供することが可能な3Dディスプレイの1つのタイプは、真の3D空間内に3D映像を生成することができる、ボリュームディスプレイ技法を使用する。3D映像の各「ボクセル(voxel)」は、それが存在することになっている空間位置に物理的に配置され、その位置から観察者に向かって光を反射または放射して、視聴者(viewer)の眼の中に実像を形成する。3Dボリュームディスプレイに伴う主な問題は、それらの低い解像度、大きい物理的サイズ、および高価な製造コストである。これらの課題は、特別なケース、例えば、製品展示、ミュージアム、ショーなどを除いて、それらを使用することを非常に煩わしくする。
正確な網膜焦点キューを提供することが可能な3Dディスプレイデバイスの別のタイプは、ホログラフィックディスプレイである。ホログラフィックディスプレイは、自然な環境内のオブジェクトから散乱された光波面全体を再構成することを目標とする。この技術に伴う主な問題は、きわめて詳細な波面の生成において使用することができる、適切な空間光変調器(SLM)コンポーネントの欠如である。
自然な網膜焦点キューを提供することが可能な3Dディスプレイ技術の別のタイプは、ライトフィールド(LF)ディスプレイと呼ばれる。LFディスプレイシステムは、空間内をすべての方向に進行する光線を表す、いわゆるライトフィールドを生成するために設計される。LFシステムは、より高いピクセル密度を有する空間領域だけを基本的に制御することができる、従来の立体視3Dディスプレイと異なり、空間領域と角度領域の両方において光放射を制御することを目標とする。ライトフィールドを生成するための異なる方法が、存在する。
第1の手法においては、視差が、視聴者の各個々の眼の各所で生成され、見られているオブジェクトの3Dロケーションに対応する正確な網膜ぼけを生成する。これは、単一の眼あたり複数のビューを提示することによって行うことができる。
第2の手法は、多焦点面手法であり、オブジェクトの映像が、それの3Dロケーションに対応する適切な焦平面に投影される。多くのライトフィールドディスプレイが、これら2つの手法のうちの1つを使用する。第1の手法は、通常、ヘッドマウント型のシングルユーザデバイスにより適しており、それは、眼の瞳孔のロケーションを決定するのがはるかに容易であり、眼がディスプレイにより近く、望ましい密な光線の場を生成することを可能にするからである。第2の手法は、視聴者から距離を取って配置され、ヘッドギアなしに使用することができるディスプレイにより良く適している。
米国特許第7994527号明細書 米国特許第7518149号明細書 米国特許第6642969号明細書 米国特許第9405124号明細書 米国特許第7782523号明細書 米国特許出願公開第2010/0033788A1号明細書
O. Bimberetal.,"The Visual Computing of Projector-Camera Systems",EUROGRAPHICS 2007,STAR-State of The Art Report,(2007) Y. Limetal.,"360-degreetabletop electronicholographic display",Optics Express Vol.24,Issue22,pp. 24999-25009,(2016) K. Jiaetal.,"High-Fill-Factor Micromirror Array With Hidden Bimorph Actuators and Tip-Tilt-Piston Capability";Journal of Microelectromechanical Systems, Vol.20,Iss.3,(2011) L. Wu et al., "A large-aperture,piston-tip-tilt micromirror for optical phase array applications";Micro Electro Mechanical Systems,2008.MEMS 2008.IEEE 21st International Conference, 2008 S. Waldis,et al."Uniform tilt-angle micromirror array for multi-object spectroscopy,"Proceedings of SPIE,Volume 6466,MOEMS and Miniaturized Systems VI,(2007) V. W. Lee et al.,"Micro-LED Technologies and Applications";Information Display6/16,(2016) F. Templier et al."A Novel Process for Fabricating High-Resolution and Very Small Pixel-pitch GaN LED Microdisplays,"SID 2017 Digest,268-271,(2017)
現在の相対的に低密度の多視点映像化ディスプレイにおいては、視聴者がデバイスの前で移動するにつれて、ビューは、粗い段階的な方式で変化する。これは、3D体験の質を低下させ、3D知覚の完全な破綻さえ引き起こすことがある。(眼球転導-調節競合と一緒に)この問題を緩和するために、512個ものビューを用いて、いくつかの超多視点(SMV:Super Multi View)技法がテストされた。そのアイデアは、2つのビューポイント間のいずれの移行も非常にスムーズにするために、きわめて多数のビューを生成するというものである。ビューポイントが僅かに異なる少なくとも2つの映像からの光が、同時に眼の瞳孔に入った場合、はるかに現実的な視覚体験が生じる。このケースにおいては、脳が、運動に起因する映像変化を無意識に予測するので、運動視差効果は、自然な状態により良く似る。
SMV条件は、正確な視聴距離にある2つのビューの間の間隔を、眼の瞳孔のサイズよりも小さい値まで低減させることによって満たすことができる。通常の照明条件において、人の瞳孔は、一般に、直径約4mmであると推定される。周囲光レベルが、高い場合(例えば、日光の中)、直径は、1.5mmほどの小ささであることができ、暗い条件では、8mmほどの大きさである。SMVディスプレイを用いて達成することができる最大角密度は、回折によって制限され、空間解像度(ピクセルサイズ)と角解像度との間には、逆関係が、存在する。回折は、開口を通過する光ビームの角度スプレッドを増加させ、この効果は、非常に高密度のSMVディスプレイの設計において、考慮することができる。
異なる既存の3Dディスプレイは、それらのフォームファクタに基づいて、様々な異なるカテゴリに分類することができる。
ヘッドマウント型デバイス(HMD)は、ゴーグル不要ソリューションよりも僅かな空間しか占有せず、そのことは、それらをより小さいコンポーネント、より少ない材料を用いて作成することができ、それらを相対的に低コストにすることも意味する。しかしながら、ヘッドマウント型VRゴーグルおよびスマートグラスは、シングルユーザデバイスであるので、それらはゴーグル不要ソリューションほど自然な共有体験を可能にしない。
ボリューム3Dディスプレイは、3つの空間方向すべてにおいてスペースを取り、大量の物理的材料を必要とし、そのことが、これらのシステムを重くし、製造を高価にし、輸送を困難にする。材料の大量使用に起因して、ボリュームディスプレイは、小さい「窓」および限られた視野(FOV)を有する傾向もある。
投影ベースの3Dディスプレイは、一般に、1つの大きいがフラットなコンポーネントであるスクリーンと、離れたところから自由空間を越えて映像を投影するシステムとを有する。これらのシステムは、輸送のためによりコンパクトに作成することができ、それらは、また、例えば、ボリュームディスプレイよりも、はるかに大きいFOVをカバーする。これらのシステムは、それらが、プロジェクタサブアセンブリを、また例えば、異なるパーツ間の正確なアラインメントを必要とするので、複雑で高価である傾向があり、そのことは、それらを専門的な使用事例に対して最良にする。
フラットなフォームファクタの3Dディスプレイは、2つの空間方向において多くのスペースを必要とすることがあるが、第3の方向は、仮想的であるにすぎないので、それらは、異なる環境に輸送して組み立てることがかなり容易である。デバイスがフラットであるので、それらの中で使用される少なくともいくつかの光学コンポーネントは、シートまたはロール形式で製造される可能性がより高く、そのことが、それらを、大型で相対的に低コストにする。
これらの課題のうちのいくつかは、モバイルデバイスに対して適用する際に、さらに深刻になることがある。
3次元ディスプレイを提供するためのシステムおよび方法が、説明される。例においては、ディスプレイデバイスは、光エンジンと、空間光変調器と、1つまたは複数の操向可能(directable)ミラーと、投影レンズ(projection lens)とを含む。光エンジンからの光は、空間光変調器によって変調され、操向可能ミラーによって投影レンズに向かって反射され、投影レンズによって(例えば、スクリーン上に)投影される。操向可能ミラーは、回転可能ミラー、またはデジタルマイクロミラーデバイスを含むことができる。空間光変調器は、デジタルマイクロミラーデバイスであることができる。空間光変調器と操向可能ミラーは、操向可能ミラーの異なる位置に対して異なる変調光パターンを生成するために、同期させられる。異なる方向における異なる変調光パターンの投影は、異なるユーザ視点から見ることができる異なるビューを生成することができる。
1つの例においては、ディスプレイデバイスは、光エンジンと、投影レンズと、光エンジンから投影レンズまでの光路沿いにある空間光変調器とを含む。いくつかの実施形態においては、空間光変調器は、デジタルマイクロミラーデバイスである。少なくとも1つの操向可能ミラーが、空間光変調器と投影レンズとの間の光路沿いに提供される。ディスプレイデバイスは、スクリーンを含むことができ、投影レンズは、変調光をスクリーン上に投影するように構成される。スクリーンは、レンチキュラシートレイヤと、光拡散(light-diffusing)レイヤとを含むことができる。
いくつかの実施形態においては、操向可能ミラーは、回転可能ミラーを含む。回転可能ミラーを回転させるために、モータを提供することができる。モータを空間光変調器と同期させるために、制御エレクトロニクスを提供することができる。
いくつかの実施形態においては、操向可能ミラーは、複数の個々に操向可能なマイクロミラーを有する、デジタルマイクロミラーデバイスを含む。そのような実施形態においては、空間光変調器とデジタルマイクロミラーデバイスとの間に、結像レンズ(imaging lanes)を備えることができる。空間光変調器が、複数のピクセルを備える場合、結像レンズは、各ピクセルがそれぞれのマイクロミラー上に結像するように構成することができる。2つ以上のピクセルを各マイクロミラー上に結像させることができる。
いくつかの実施形態に従った方法においては、光は、光源から空間光変調器に向けられる。少なくとも1つの操向可能ミラーが、第1の位置にある間、光は、空間光変調器を用いて変調されて、第1の変調光パターンを生成し、第1の変調光パターンは、操向可能ミラーから投影レンズに向かって反射される。操向可能ミラーが、第2の位置にある間、光は、空間光変調器を用いて変調されて、第2の変調光パターンを生成し、第2の変調光パターンは、操向可能ミラーから投影レンズに向かって反射される。第1の変調光パターンおよび第2の変調光パターンは、投影レンズから、例えば、スクリーン上に投影される。操向可能ミラーは、第1の位置および第2の位置を含む複数の位置を循環的に取ることができる。いくつかの実施形態におけるそのような循環は、60Hz以上のレートで実行される。
いくつかの実施形態においては、操向可能ミラーは、第1の位置および第2の位置を含む複数の位置を取るように繰り返し回転させられる、回転可能ミラーを含む。
いくつかの実施形態においては、操向可能ミラーは、複数の個々に操向可能なマイクロミラーを有する、デジタルマイクロミラーデバイスを含む。そのような実施形態においては、マイクロミラーは、第1の位置および第2の位置を含む複数の位置のうちのいずれかに傾けることができる。
いくつかの実施形態においては、空間光変調器は、複数のピクセルを含む。各ピクセルは、結像レンズを用いて、それぞれのマイクロミラー上に結像させることができる。2つ以上のピクセルを各マイクロミラー上に結像させることができる。より詳細な理解は、添付の図面と併せて、例として提示される、以下の説明から得ることができ、図における同様の参照番号は、同様の要素を示す。
1つまたは複数の開示される実施形態を実施できる、例示的通信システムのシステム図である。 実施形態に従った、図1Aに例示の通信システム内で使用できる、例示的無線送受信ユニット(WTRU)のシステム図である。 実世界のオブジェクトを見ているときの焦点距離、眼の輻輳角を例示する図である。 実世界のオブジェクトを見ているときの焦点距離、眼の輻輳角を例示する図である。 自動立体視3Dディスプレイを見ているときの焦点距離、眼の輻輳角を例示する図である。 自動立体視3Dディスプレイを見ているときの焦点距離、眼の輻輳角を例示する図である。 瞳孔に向かって向けられたライトフィールド遮蔽レベルを示す図である。 瞳孔に向かって向けられたライトフィールド遮蔽レベルを示す図である。 瞳孔に向かって向けられたライトフィールド遮蔽レベルを示す図である。 プロジェクタのアレイを用いるLF投影システムの概略図である。 いくつかの実施形態のライトフィールド映像エンジン(LFIE)に基づいたLF投影システム概略図である。 いくつかの実施形態のLF映像エンジンの構造の概略図である。 いくつかの実施形態のLFIEを用いるカラー映像生成の概略提示である。 いくつかの実施形態の複数の垂直ビューの同時生成で使用されるファセット回転ミラーを例示する図である。 いくつかの実施形態のLFプロジェクタデバイスの構造の概略図である。 いくつかの実施形態の視聴者に可視のスクリーン部分を備えるマルチユーザLF投影システム光学構造の概略図である。 いくつかの実施形態のLFIEを含むLFプロジェクタデバイスを利用するLF投影システムの概略図である。 いくつかの実施形態の映像を複数の視聴方向および2つの異なる焦点面(FS)に投影可能なLF映像エンジンのコンポーネント、構造を例示し、投影方向(PD)が回転ミラーにより位置1に設定された図である。 いくつかの実施形態の図12AのLF映像エンジンのコンポーネントおよび構造を例示し、投影方向が回転ミラーにより位置2に設定された図である。 いくつかの実施形態のLFIEに基づいた複数のユーザのためのLF投影システムを例示する図である。 いくつかの実施形態のLFIEに基づいた1人のユーザのためのLF投影システムを例示する図である。 実施形態の二重DMDライトフィールド映像エンジン(DDMD-LFIE)を使用するライトフィールド投影システムの概要図である。 実施形態に従ったDDMD-LFIEの例示的構造の概略的提示である。 実施形態の第1のDMDと第2のDMDの間の例示的倍率の図である。 実施形態の第1のDMDと第2のDMDの間の例示的倍率の図である。 実施形態のDDMD-LFIEを有するライトフィールドプロジェクタデバイスの例示的構造の概略的提示である。 実施形態の図17のライトフィールドプロジェクタデバイスと透過背面投影スクリーンを利用する例示的ライトフィールド投影システムの概略的提示である。 実施形態の図18のライトフィールド投影システムにおける例示的な色合成方法の概略的提示である。 実施形態に従った、例示的なDDMD-LFIEを示す図である。 実施形態に従った図20Aの第2のDMDのズームインした図である。 実施形態の図20AのDDMD-LFIE、および様々な第2のDMDの傾き量に対応する様々な仮想映像を示す図である。 実施形態の図20AのDDMD-LFIE、投影レンズ、および投影スクリーンを示す図である。 実施形態の図22の投影スクリーンの構造および幾何学的配置の概略的な提示である。 実施形態にの映像が図22の投影システム上に投影されたときに引き起こされる回折を例示する図である。 実施形態の映像が図22の投影システム上に投影されたときに引き起こされる回折を例示する図である。 異なる方向への複数の映像の生成のために、光コリメーティング静止ミラーがμLEDのアレイと一緒に使用される構造の概略図である。 異なる方向への複数の映像の生成のために、光コリメーティング傾きミラーがμLEDのアレイと一緒に使用される構造の概略図である。 フルカラー映像の生成のために、光コリメーティング傾きミラーがRGB μLEDのアレイと一緒に使用される構造の概略図である。 平行放射方向角を用いるディスプレイのケースにおける視野幾何学を示す図である。 輻輳放射方向角を用いるディスプレイのケースにおける視野幾何学を示す図である。 10インチ3Dマルチビューディスプレイとアイトラッキングモジュールを含むタブレットデバイスが500mm距離で視聴される例示的実施形態の図である。 10インチ3Dマルチビューディスプレイとアイトラッキングモジュールを含むタブレットデバイスが500mm距離で視聴される例示的実施形態の図である。 1つの例示的な実施形態における、ディスプレイデバイスの一部の、そのようなデバイスの物理的寸法(単位μm)を例示した、断面図である。 光線追跡シミュレーションで使用された幾何学的配置を例示する、2つの光源とマイクロミラーのクローズアップ図である。 光線追跡シミュレーションで使用された幾何学的配置を例示する、2つのシミュレートされるビームを有する幾何学的配置の全体図である。 例示的な使用事例の視野幾何学を例示する図である。 いくつかの実施形態のLCDスクリーンに対する指向性バックライトモジュールとして使用される構造の概略断面図である。 いくつかの実施形態の指向性バックライトについての例示的な使用事例の視聴条件を例示する図である。 いくつかの実施形態の光学バックライト構造の例示的な寸法(単位μm)を示す断面図である。 例示的な使用事例の視野幾何学を例示する図である。 いくつかの実施形態の光学バックライト構造の例示的寸法(単位μm)を示す断面図である。
実施形態の実施のための例示的なネットワーク
図1Aは、1つまたは複数の開示される実施形態を実施することができる、例示的な通信システム100を例示する図である。通信システム100は、音声、データ、ビデオ、メッセージング、放送などのコンテンツを複数の無線ユーザに提供する、多元接続システムであることができる。通信システム100は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共用を通して、そのようなコンテンツにアクセスすることを可能にすることができる。例えば、通信システム100は、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、周波数分割多元接続(FDMA)、直交FDMA(OFDMA)、シングルキャリアFDMA(SC-FDMA)、ゼロテールユニークワードDFT拡散OFDM(ZT UW DTS-s OFDM)、ユニークワードOFDM(UW-OFDM)、リソースブロックフィルタードOFDM、およびフィルタバンクマルチキャリア(FBMC)など、1つまたは複数のチャネルアクセス方法を利用することができる。
図1Aに示されるように、通信システム100は、無線送受信ユニット(WTRU)102a、102b、102c、102dと、RAN104/113と、CN106/115と、公衆交換電話網(PSTN)108と、インターネット110と、他のネットワーク112とを含むことができるが、開示される実施形態は、任意の数のWTRU、基地局、ネットワーク、および/またはネットワーク要素を企図していることが理解されよう。WTRU102a、102b、102c、102dの各々は、無線環境において動作および/または通信するように構成された任意のタイプのデバイスであることができる。例として、それのどれもが、「局」および/または「STA」と呼ばれることがある、WTRU102a、102b、102c、102dは、無線信号を送信および/または受信するように構成することができ、ユーザ機器(UE)、移動局、固定または移動加入者ユニット、サブスクリプションベースのユニット、ページャ、セルラ電話、パーソナルデジタルアシスタント(PDA)、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、ホットスポットまたはMi-Fiデバイス、モノのインターネット(IoT)デバイス、ウォッチまたは他のウェアラブル、ヘッドマウントディスプレイ(HMD)、乗物、ドローン、医療用デバイスおよびアプリケーション(例えば、遠隔手術)、工業用デバイスおよびアプリケーション(例えば、工業用および/または自動化された処理チェーン状況において動作するロボットおよび/または他の無線デバイス)、家電デバイス、ならびに商業用および/または工業用無線ネットワーク上において動作するデバイスなどを含むことができる。WTRU102a、102b、102c、102dのいずれも、交換可能に、UEと呼ばれることがある。
通信システム100は、基地局114aおよび/または基地局114bも含むことができる。基地局114a、114bの各々は、CN106/115、インターネット110、および/または他のネットワーク112など、1つまたは複数の通信ネットワークへのアクセスを容易にするために、WTRU102a、102b、102c、102dのうちの少なくとも1つと無線でインターフェースを取るように構成された任意のタイプのデバイスであることができる。例として、基地局114a、114bは、基地送受信機局(BTS)、ノードB、eノードB、ホームノードB、ホームeノードB、gNB、NRノードB、サイトコントローラ、アクセスポイント(AP)、および無線ルータなどであることができる。基地局114a、114bは、各々が、単一の要素として描かれているが、基地局114a、114bは、任意の数の相互接続された基地局および/またはネットワーク要素を含むことができることが理解されよう。
基地局114aは、RAN104/113の一部であることができ、RAN104/113は、他の基地局、および/または基地局コントローラ(BSC)、無線ネットワークコントローラ(RNC)、中継ノードなどのネットワーク要素(図示されず)も含むことができる。基地局114aおよび/または基地局114bは、セル(図示されず)と呼ばれることがある、1つまたは複数のキャリア周波数上において、無線信号を送信および/または受信するように構成することができる。これらの周波数は、免許要スペクトル、免許不要スペクトル、または免許要スペクトルと免許不要スペクトルとの組み合わせの中にあることができる。セルは、相対的に一定であることができる、または時間とともに変化することができる特定の地理的エリアに、無線サービス用のカバレージを提供することができる。セルは、さらに、セルセクタに分割することができる。例えば、基地局114aと関連付けられたセルは、3つのセクタに分割することができる。したがって、一実施形態においては、基地局114aは、送受信機を3つ、すなわち、セルの各セクタに対して1つずつ含むことができる。実施形態においては、基地局114aは、多入力多出力(MIMO)技術を利用することができ、セルの各セクタに対して複数の送受信機を利用することができる。例えば、所望の空間方向において信号を送信および/または受信するために、ビームフォーミングを使用することができる。
基地局114a、114bは、エアインターフェース116上において、WTRU102a、102b、102c、102dのうちの1つまたは複数と通信することができ、エアインターフェース116は、任意の適切な無線通信リンク(例えば、無線周波(RF)、マイクロ波、センチメートル波、マイクロメートル波、赤外線(IR)、紫外線(UV)、可視光など)であることができる。エアインターフェース116は、任意の適切な無線アクセス技術(RAT)を使用して、確立することができる。
より具体的には、上で言及されたように、通信システム100は、多元接続システムであることができ、CDMA、TDMA、FDMA、OFDMA、およびSC-FDMAなど、1つまたは複数のチャネルアクセス方式を利用することができる。例えば、RAN104/113内の基地局114aと、WTRU102a、102b、102cは、広帯域CDMA(WCDMA)を使用して、エアインターフェース115/116/117を確立することができる、ユニバーサル移動体通信システム(UMTS)地上無線アクセス(UTRA)などの無線技術を実施することができる。WCDMAは、高速パケットアクセス(HSPA)および/または進化型HSPA(HSPA+)などの通信プロトコルを含むことができる。HSPAは、高速ダウンリンク(DL)パケットアクセス(HSDPA)、および/または高速ULパケットアクセス(HSUPA)を含むことができる。
実施形態においては、基地局114aと、WTRU102a、102b、102cは、ロングタームエボリューション(LTE)、および/またはLTEアドバンスト(LTE-A)、および/またはLTEアドバンストプロ(LTE-A Pro)を使用して、エアインターフェース116を確立することができる、進化型UMTS地上無線アクセス(E-UTRA)などの無線技術を実施することができる。
実施形態においては、基地局114aと、WTRU102a、102b、102cは、ニューラジオ(NR)を使用して、エアインターフェース116を確立することができる、NR無線アクセスなどの無線技術を実施することができる。
実施形態においては、基地局114aと、WTRU102a、102b、102cは、複数の無線アクセス技術を実施することができる。例えば、基地局114aと、WTRU102a、102b、102cは、例えば、デュアルコネクティビティ(DC)原理を使用して、LTE無線アクセスと、NR無線アクセスとを一緒に実施することができる。したがって、WTRU102a、102b、102cによって利用されるエアインターフェースは、複数のタイプの無線アクセス技術、および/または複数のタイプの基地局(例えば、eNBおよびgNB)に/から送信される送信によって特徴付けることができる。
他の実施形態においては、基地局114aと、WTRU102a、102b、102cは、IEEE802.11(すなわち、ワイヤレスフィデリティ(WiFi))、IEEE802.16(すなわち、マイクロ波アクセス用世界的相互運用性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、暫定標準2000(IS-2000)、暫定標準95(IS-95)、暫定標準856(IS-856)、移動体通信用グローバルシステム(GSM)、GSMエボリューション用高速データレート(EDGE)、およびGSM EDGE(GERAN)などの無線技術を実施することができる。
図1Aにおける基地局114bは、例えば、無線ルータ、ホームノードB、ホームeノードB、またはアクセスポイントであることができ、事業所、自宅、乗物、キャンパス、産業用施設、(例えば、ドローンによって使用される)エアコリド、および車道など、局所化されたエリアにおける無線接続性を容易にするために、任意の適切なRATを利用することができる。一実施形態においては、基地局114bと、WTRU102c、102dは、IEEE802.11などの無線技術を実施して、無線ローカルエリアネットワーク(WLAN)を確立することができる。実施形態においては、基地局114bと、WTRU102c、102dは、IEEE802.15などの無線技術を実施して、無線パーソナルエリアネットワーク(WPAN)を確立することができる。また別の実施形態においては、基地局114bと、WTRU102c、102dは、セルラベースのRAT(例えば、WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NRなど)を利用して、ピコセルまたはフェムトセルを確立することができる。図1Aに示されるように、基地局114bは、インターネット110への直接的な接続を有することができる。したがって、基地局114bは、CN106/115を介してインターネット110にアクセスする必要がないことがある。
RAN104/113は、CN106/115と通信することができ、CN106/115は、音声、データ、アプリケーション、および/またはボイスオーバインターネットプロトコル(VoIP)サービスを、WTRU102a、102b、102c、102dのうちの1つまたは複数に提供するように構成された任意のタイプのネットワークであることができる。データは、異なるスループット要件、遅延要件、エラー耐性要件、信頼性要件、データスループット要件、およびモビリティ要件など、様々なサービス品質(QoS)要件を有することができる。CN106/115は、呼制御、ビリングサービス、モバイルロケーションベースのサービス、プリペイド発呼、インターネット接続性、ビデオ配信などを提供することができ、および/またはユーザ認証など、高レベルセキュリティ機能を実行することができる。図1Aには示されていないが、RAN104/113および/またはCN106/115は、RAN104/113と同じRATまたは異なるRATを利用する他のRANと直接的または間接的通信を行うことができることが理解されよう。例えば、NR無線技術を利用していることがあるRAN104/113に接続されていることに加えて、CN106/115は、GSM、UMTS、CDMA2000、WiMAX、E-UTRA、またはWiFi無線技術を利用する別のRAN(図示されず)とも通信することができる。
CN106/115は、WTRU102a、102b、102c、102dが、PSTN108、インターネット110、および/または他のネットワーク112にアクセスするためのゲートウェイとしての役割も果たすことができる。PSTN108は、基本電話サービス(POTS)を提供する、回線交換電話網を含むことができる。インターネット110は、TCP/IPインターネットプロトコルスイート内の伝送制御プロトコル(TCP)、ユーザデータグラムプロトコル(UDP)、および/またはインターネットプロトコル(IP)など、共通の通信プロトコルを使用する、相互接続されたコンピュータネットワークおよびデバイスの地球規模のシステムを含むことができる。ネットワーク112は、他のサービスプロバイダによって所有および/または運営される、有線および/または無線通信ネットワークを含むことができる。例えば、ネットワーク112は、RAN104/113と同じRATまたは異なるRATを利用することができる1つまたは複数のRANに接続された、別のCNを含むことができる。
通信システム100内のWTRU102a、102b、102c、102dのうちのいくつかまたはすべては、マルチモード機能を含むことができる(例えば、WTRU102a、102b、102c、102dは、異なる無線リンク上において、異なる無線ネットワークと通信するための、複数の送受信機を含むことができる)。例えば、図1Aに示されるWTRU102cは、セルラベースの無線技術を利用することができる基地局114aと通信するように、またIEEE802無線技術を利用することができる基地局114bと通信するように構成することができる。
図1Bは、例示的なWTRU102を例示するシステム図である。図1Bに示されるように、WTRU102は、とりわけ、プロセッサ118、送受信機120、送信/受信要素122、スピーカ/マイクロフォン124、キーパッド126、ディスプレイ/タッチパッド128、非リムーバブルメモリ130、リムーバブルメモリ132、電源134、全地球測位システム(GPS)チップセット136、および/または他の周辺機器138を含むことができる。WTRU102は、実施形態との整合性を保ちながら、上記の要素の任意のサブコンビネーションを含むことができることが理解されよう。
プロセッサ118は、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタル信号プロセッサ(DSP)、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)回路、他の任意のタイプの集積回路(IC)、および状態機械などであることができる。プロセッサ118は、信号符号化、データ処理、電力制御、入力/出力処理、および/またはWTRU102が無線環境において動作することを可能にする他の任意の機能性を実行することができる。プロセッサ118は、送受信機120に結合することができ、送受信機120は、送信/受信要素122に結合することができる。図1Bは、プロセッサ118と送受信機120を別個のコンポーネントとして描いているが、プロセッサ118と送受信機120は、電子パッケージまたはチップ内に一緒に統合することができることが理解されよう。
送信/受信要素122は、エアインターフェース116上において、基地局(例えば、基地局114a)に信号を送信し、または基地局から信号を受信するように構成することができる。例えば、一実施形態においては、送信/受信要素122は、RF信号を送信および/または受信するように構成されたアンテナであることができる。実施形態においては、送信/受信要素122は、例えば、IR、UV、または可視光信号を送信および/または受信するように構成された放射器/検出器であることができる。また別の実施形態においては、送信/受信要素122は、RF信号および光信号の両方を送信および/または受信するように構成することができる。送信/受信要素122は、無線信号の任意の組み合わせを送信および/または受信するように構成することができることが理解されよう。
図1Bにおいては、送信/受信要素122は、単一の要素として描かれているが、WTRU102は、任意の数の送信/受信要素122を含むことができる。より具体的には、WTRU102は、MIMO技術を利用することができる。したがって、一実施形態においては、WTRU102は、エアインターフェース116上において無線信号を送信および受信するための2つ以上の送信/受信要素122(例えば、複数のアンテナ)を含むことができる。
送受信機120は、送信/受信要素122によって送信されることになる信号を変調し、送信/受信要素122によって受信された信号を復調するように構成することができる。上で言及されたように、WTRU102は、マルチモード機能を有することができる。したがって、送受信機120は、WTRU102が、例えば、NRおよびIEEE802.11など、複数のRATを介して通信することを可能にするための、複数の送受信機を含むことができる。
WTRU102のプロセッサ118は、スピーカ/マイクロフォン124、キーパッド126、および/またはディスプレイ/タッチパッド128(例えば、液晶表示(LCD)ディスプレイユニットもしくは有機発光ダイオード(OLED)ディスプレイユニット)に結合することができ、それらからユーザ入力データを受信することができる。プロセッサ118は、スピーカ/マイクロフォン124、キーパッド126、および/またはディスプレイ/タッチパッド128にユーザデータを出力することもできる。加えて、プロセッサ118は、非リムーバブルメモリ130および/またはリムーバブルメモリ132など、任意のタイプの適切なメモリから情報を入手することができ、それにデータを記憶することができる。非リムーバブルメモリ130は、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、ハードディスク、または他の任意のタイプのメモリ記憶デバイスを含むことができる。リムーバブルメモリ132は、加入者識別モジュール(SIM)カード、メモリスティック、およびセキュアデジタル(SD)メモリカードなどを含むことができる。他の実施形態においては、プロセッサ118は、サーバまたはホームコンピュータ(図示されず)上などの、WTRU102上に物理的に配置されていないメモリから情報を入手することができ、それにデータを記憶することができる。
プロセッサ118は、電源134から電力を受け取ることができ、WTRU102内の他のコンポーネントに電力を分配するように、および/またはそれらへの電力を制御するように構成することができる。電源134は、WTRU102に給電するための任意の適切なデバイスであることができる。例えば、電源134は、1つまたは複数の乾電池(例えば、ニッケル-カドミウム(NiCd)、ニッケル-亜鉛(NiZn)、ニッケル水素(NiMH)、リチウム-イオン(Li-ion)など)、太陽電池、および燃料電池などを含むことができる。
プロセッサ118は、GPSチップセット136にも結合することができ、GPSチップセット136は、WTRU102の現在ロケーションに関するロケーション情報(例えば、経度および緯度)を提供するように構成することができる。GPSチップセット136からの情報に加えて、またはそれの代わりに、WTRU102は、基地局(例えば、基地局114a、114b)からエアインターフェース116上においてロケーション情報を受信することができ、および/または2つ以上の近くの基地局から受信している信号のタイミングに基づいて、自らのロケーションを決定することができる。WTRU102は、実施形態との整合性を保ちながら、任意の適切なロケーション決定方法を用いて、ロケーション情報を獲得することができることが理解されよう。
プロセッサ118は、さらに他の周辺機器138に結合することができ、他の周辺機器138は、追加の特徴、機能性、および/または有線もしくは無線接続性を提供する、1つまたは複数のソフトウェアモジュールおよび/またはハードウェアモジュールを含むことができる。例えば、周辺機器138は、加速度計、eコンパス、衛星送受信機、(写真および/またはビデオ用の)デジタルカメラ、ユニバーサルシリアルバス(USB)ポート、バイブレーションデバイス、テレビ送受信機、ハンズフリーヘッドセット、Bluetooth(登録商標)モジュール、周波数変調(FM)ラジオユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザ、仮想現実および/または拡張現実(VR/AR)デバイス、ならびにアクティビティトラッカなどを含むことができる。周辺機器138は、1つまたは複数のセンサを含むことができ、センサは、ジャイロスコープ、加速度計、ホール効果センサ、磁力計、方位センサ、近接センサ、温度センサ、時間センサ、ジオロケーションセンサ、高度計、光センサ、タッチセンサ、気圧計、ジェスチャセンサ、バイオメトリックセンサ、および/または湿度センサのうちの1つまたは複数であることができる。
WTRU102は、(例えば、(例えば、送信用の)ULおよび(例えば、受信用の)ダウンリンクの両方のための特定のサブフレームと関連付けられた)信号のうちのいくつかまたはすべての送信および受信が、並列および/または同時であることができる、全二重無線を含むことができる。全二重無線は、ハードウェア(例えば、チョーク)を介して、またはプロセッサ(例えば、別個のプロセッサ(図示されず)もしくはプロセッサ118)を介する信号処理を介して、自己干渉を低減させ、および/または実質的に除去するための、干渉管理ユニットを含むことができる。実施形態においては、WTRU102は、(例えば、(例えば、送信用の)ULまたは(例えば、受信用の)ダウンリンクのどちらかのための特定のサブフレームと関連付けられた)信号のうちのいくつかまたはすべての送信および受信のための、半二重無線を含むことができる。
詳細な説明
説明的な実施形態の詳細な説明が、様々な図を参照して、これから提供される。この説明は、可能な実施の詳細な例を提供するが、提供される詳細は、例として意図されており、本出願の範囲を決して限定しないことが、留意されるべきである。
説明される実施形態のうちの1つまたは複数の様々なハードウェア要素は、「モジュール」と呼ばれ、それは、それぞれのモジュールとの関連において本明細書において説明される様々な機能を実施(すなわち、実行および遂行など)することに留意されたい。本明細書において使用される場合、モジュールは、与えられた実施のために適切であると関連技術の当業者によって見なされるハードウェア(例えば、1つまたは複数のプロセッサ、1つまたは複数のマイクロプロセッサ、1つまたは複数のマイクロコントローラ、1つまたは複数のマイクロチップ、1つまたは複数の特定用途向け集積回路(ASIC)、1つまたは複数のフィールドプログラマブルゲートアレイ(FPGA)、1つまたは複数のメモリデバイス)を含む。各説明されるモジュールは、それぞれのモジュールによって実施されるものとして説明される1つまたは複数の機能を実施するために実行可能な命令も含むことができ、それらの命令は、ハードウェア(すなわち、ハードワイヤード)命令、ファームウェア命令、および/またはソフトウェア命令などの形態を取ること、またはそれらを含むことができ、一般に、RAM、ROMなどと呼ばれるような、任意の適切な非一時的コンピュータ可読媒体内に記憶することができることが留意される。
この詳細な説明を進める前に、様々な図に描かれる-それらとの関連において説明される-エンティティ、接続、および配置などは、例として提示され、限定としては提示されないことが留意される。そのため、特定の図が何を「描いている」か、特定の図中の特定の要素またはエンティティが何で「ある」か、または何を「有する」かに関するいずれかおよびすべての言明または他の指示、ならびに-孤立し、文脈外にあって、絶対的なものとして読むことができ、したがって、限定的である-いずれかおよびすべての同様の言明は、「少なくとも1つの実施形態においては」などの節が推定上前置きされるものとしてのみ、適切に読むことができる。この暗示される先導的な節が、この詳細な説明においてしつこく繰り返されないのは、提示の簡潔さおよび明瞭さに通じる理由からである。
さらに、本開示における後の段落および他のどこかにおいて説明される変形および置換のいずれも、任意の方法実施形態および任意のシステム実施形態を含む、任意の実施形態に関して、実施することができる。
ホームシアタおよび映画館において一般に使用される、現在の立体視ディスプレイは、3D映像を作成するための準最適な技術を利用する。眼の網膜上の光感知細胞と眼の筋肉の動きを感知する細胞との間には、人の脳内において、神経接続が存在する。深度の知覚が生成されるとき、関連付けられた領域が、一緒に働く。自動立体視3Dディスプレイは、映像情報がディスプレイの平面に限定されるという事実に起因して、正確な網膜焦点キューを欠いている。眼が、それらが輻輳するところとは異なる点に焦点を合わせるとき、脳内の生理学的信号が、混合される。輻輳と調節との深度キュー不一致は、例えば、眼精疲労、疲労、吐き気、およびオブジェクト距離に対するより遅い眼の調節をもたらす。この現象は、眼球転導-調節競合(VAC)と呼ばれ、人工的な3D映像における、比例しない深度絞りの結果である。
図2Aおよび図2Bは、実世界のオブジェクトを見ているときの焦点距離および眼の輻輳角を示しており、図2Cおよび図2Dは、自動立体視3Dディスプレイを見ているときの焦点距離および眼の輻輳角を描いている。人が実世界において見るもののある部分は、ぼやけることがあり、ディスプレイのケースにおいては、すべての部分が、焦点が合っている。
図3A~図3Cは、瞳孔に向かって向けられたライトフィールドの遮蔽の様々なレベルを示す。LFシステムは、空間領域だけを制御することができる、従来の立体視3Dディスプレイと異なり、空間領域と角度領域の両方において光放射を制御することを目標とする。ライトフィールドを生成するための異なる方法が、存在する。
第1の手法においては、視差が、視聴者の各眼の各所で生成され、見られているオブジェクトの3Dロケーションに対応する正確な網膜ぼけを生成する。一実施形態においては、これは、単一の眼あたり複数のビューを提示することによって行われる。図3A~図3Cは、瞳孔の各所における視差によって引き起こされる遮蔽を示す。結果の様々な映像は、正確な網膜ぼけを生成するために提示することができる、様々なビューを表す。ビューポイントが僅かに異なる少なくとも2つの映像からの光が、同時に眼の瞳孔に入った場合、はるかに現実的な視覚体験が生じる。このケースにおいては、脳が、運動に起因する映像変化を無意識に予測するので、運動視差効果は、自然な状態により良く似る。SMV条件は、正確な視聴距離にある2つのビューの間の間隔を、眼の瞳孔のサイズよりも小さい値まで低減させることによって満たすことができる。
第2の手法は、多焦点面手法であり、オブジェクトの映像が、それの3Dロケーションに対応する焦平面に投影される。
例示的なマイクロミラー技術。現在のデジタルプロジェクタシステムにおいて一般に使用される、1つの空間光変調器(SLM)コンポーネントは、デジタルマイクロミラーデバイス(DMD)であり、それは、個別にアドレス指定することができ、映像生成においてピクセルの役割を果たすことができる非常に小さいマイクロミラーのアレイを含む。コンポーネントが、方向付けられた光源を用いて照明されたとき、ミラーのうちのいくつかは、投影レンズに向かって傾けられ、スクリーン上に映像を形成し、いくつかは、余分な光を吸収する光トラップに向かって傾けられる。DMDコンポーネントを3D映像投影システムにとって適切なものにする1つの特徴は、達成することができる非常に高速なフレームレートである。DMDとRGB LEDベースの光エンジンとを含むシステムを用いて投影される、フルカラー映像の可能なフレームレートについての1つの例示的な計算が、非特許文献1において実行された。DMDのミラーが、15μsで切り換わることができると仮定すると(=67000バイナリフレーム毎秒)、3つ(RGB)のカラーLEDの強度が、8つの異なるレベル(1、2、4、8、16、32、64、128、256)の間で非常に高速に切り換えられる場合、フルカラー映像は、理論的には、約2800Hz(=67000バイナリフレーム毎秒/8つの(8ビットエンコードされた)強度レベル/3つのカラーチャネル)で投影することができる。1つの例示的なコンポーネントは、バイナリフレームレートが32552Hzほどの高さの、Texas Instruments DLP7000である。このコンポーネントについて、先の計算を行った場合、フルカラー映像については、1360Hzのフレームレートが獲得される。いくつかのDMDコンポーネントに基づいた、1つの例示的な3D映像投影システムが、非特許文献2に提示されている。
多くのDMDデバイスは、角度範囲にわたる光のスムーズなスキャニングのために設計されておらず、むしろ、バイナリ(オン-オフ)デバイスとして設計されている。しかしながら、特にこの目的のために開発された、他のタイプのマイクロミラーデバイスも、存在する。そのようなシステムは、例えば、非特許文献3、および非特許文献4において説明されている。これらの資料は、2つの方向において近似的に±30°の角度範囲をスキャンするために使用することができる、マイクロミラーアレイ(MMA)構造について説明している。非特許文献3において言及されている個別にアドレス指定可能なマイクロミラーは、1.5mmの長方形の開口サイズを有し、非特許文献4のミラーは、0.5mm幅であった。両方のシステムは、電流を用いて加熱されたときに、それらの形状を変化させる、バイモルフアクチュエータに基づいていた。電熱バイモルフアクチュエータは、相対的に速い応答時間、低い電力消費を有し、それらは低い電圧(<5V)を用いて駆動することができる。ミラー傾け作動のために使用することができる、他のいくつかのタイプのMEMS(微小電気機械システム)システムも、存在する。一例は非特許文献5から見つけることができる。このケースにおいては、マイクロミラーは、単一の結晶シリコンからエッチングによって製造され、カンチレバー型サスペンション構造が、表面マイクロマシニングによって実現された。結果のミラーは、200μm×500μmばかりでなく、100μm×200μmのサイズも有し、それらは、20°ほど傾けることができた。概して、報告されたスキャニングMMA設計は、ミラーサイズに応じて、最大で数kHzの周波数に達することができる。より小さいミラー開口を用いるほど、デバイスの共振周波数はより高くなり、光の非常に高速な角スキャニングのために使用することができる。
例示的な光源技術。例示的な実施形態において使用することができる1つのディスプレイ技術は、非特許文献6において説明されているもののような、いわゆるμLEDである。これらは、今日使用されている標準的なLEDと同じ基本技法を用い、同じ材料から製造される、LEDチップである。しかしながら、μLEDは、一般に利用可能なコンポーネントの小型バージョンであり、それらは、1μm~10μmほどのサイズに小さく作成することができる。非特許文献7は、3μmのピッチで組み立てられた、2μm×2μmチップを含むマトリックスについて説明している。OLEDと比較したとき、μLEDは、はるかに安定的なコンポーネントであり、それらは、非常に高い光強度に達することができる。
1つの剥き出しのμLEDチップは、約20~30nmのスペクトル幅を有する特定の色を放射することができる。白色源は、青色またはUV LEDによって放射された光を、より広い白色光放射スペクトルに変換する蛍光体のレイヤで、チップをコーティングすることによって生み出すことができる。別々の赤色、緑色、および青色LEDチップを隣合せて配置することによって、フルカラー源も生成することができるが、それは、これら3つの原色の組み合わせは、別々の色放射が人の視覚系によって合成されたとき、フルカラーピクセルの感覚を生み出すからである。先に言及した非常に密なマトリックスは、10μm未満の全幅(3×3μmピッチ)を有する、自己発光フルカラーピクセルの製造を可能にする。
半導体チップからの光抽出効率は、LED構造の電気を光にする効率を決定するパラメータのうちの1つである。抽出効率を高めるために使用することができ、したがって、利用可能な電気エネルギーをより効率的に使用するLEDベースの光源を作り上げることを可能にすることができる、いくつかの方法が存在し、それは、限られた電力供給を有するモバイルデバイスにとって有益である。特許文献1において提示されている1つの方法は、LEDチップの上に直接的に統合された、成形されたプラスチック光学要素の使用に基づいている。より低い屈折率差に起因して、プラスチック形状の統合は、チップが空気によって囲まれているケースと比較して、より多くの光をチップ材料から抽出する。プラスチック形状は、また、プラスチックピースからの光抽出を強化し、放射パターンをより指向的にする方法で光を方向付ける。特許文献2において提示されている別の方法は、μLEDチップからの光抽出を強化する。これは、半導体チップの正面ファセットに対してより直角な光放射角に有利であり、光が高屈折率材料から脱出することをより容易にする形に、チップ自体を成形することによって行われる。これらの構造も、チップから放射される光を方向付ける。後者のケースにおいては、抽出効率は、通常のμLEDと比較したときに、2倍良好であると計算され、光が周囲半球に均一に分布させられる、標準的なチップのランバート分布と比較して、かなり多くの光が、30°の放射コーンに放射された。
いくつかの実施形態に従うと、複数の映像を複数の角度方向に投影するライトフィールド映像エンジン(LFIE)に関するシステムおよび方法が、本明細書において説明される。LFIEは、1)ピクセル化された空間光変調器としての役割を果たすデジタルマイクロミラーデバイス(DMD)と、2)角度視野範囲にわたって映像をスキャンする回転ミラーと、3)映像内において可視の光を発生させる光エンジンとを組み合わせて、異なる映像を生成する。スキャニングミラーの回転サイクルよりも速くDMDマトリックスを変調することによって、異なる映像を、異なる視野角に投影することができる。フルカラー映像は、DMDと同期を取って、光エンジンの光出力を変調することによって、生成することができる。いくつかの実施形態においては、単一のLFIEにおいて2つ以上の光エンジンおよびDMDを使用することによって、同時に、1つまたは複数の方向において、2つ以上の映像を投影することができ、それは、深度方向において異なる焦点面への仮想映像の投影を可能にし、3Dコンテンツのための正確な網膜焦点キューを可能にする。
LFIEは、DMDコンポーネントが様々な既存の2D投影システムにおいて現在使用されているのと同様の方式で、様々なゴーグル不要LF 3Dディスプレイシステムにおいて使用することができる、映像生成中核モジュールとしての役割を果たす。LFIEに加えて、LF投影デバイスは、少なくとも投影レンズを含むモジュールを有する。このレンズは、LFIEによって生成された映像を、視聴者に可視のコンポーネントであるスクリーンに投影する。LF投影システム全体の他のモジュールをしかるべく選択することによって、複数ユーザシナリオまたは単一ユーザシナリオのどちらについても、強化された性能を用いて、同じLFIEを使用することが可能である。
図4は、複数のプロジェクタ410を備えるLF投影システム400の概略的提示を例示しており、図5は、本明細書において説明されるいくつかの実施形態に従った、LFIEを使用するLF投影システム500の概略的提示を例示する。1つの明らかな相違は、使用されるハードウェアの量である。いくつかの投影システム(図4)は、異なるビュー420のために必要とされる映像を(スクリーン405にわたって)生成する、別々の2Dプロジェクタデバイス410の大きいアレイを使用する。これらのデバイスの各々は、自らの空間光変調器(SLM)、制御エレクトロニクス、投影光学素子などを使用する。
いくつかの実施形態に従うと、LFIEに基づいたシステム(図5)は、ただ1つのプロジェクタデバイス510と、投影光学素子520の1つのセットとを有する。回転ミラー515は、プロジェクタデバイス510を用いて生成された映像をスキャンするので、仮想プロジェクタ525のアレイが、ミラー515の平面の後ろに「生成」される。プロジェクタデバイス510は、DMDコンポーネントを含むことができ、DMDコンポーネントは、十分に高速なSLMとしての役割を果たすことができるので、それは、プロジェクタデバイスのアレイ全体(例えば、図4におけるプロジェクタ410のアレイ)に取って代わることができる。そのため、スクリーン505にわたって、単一のプロジェクタデバイス510および単一の投影光学素子520を用いて、複数のビュー525を生成することができる。言い換えると、LFIEベースのシステムは、いくつかの実施形態に従うと、空間多重化の代わりに、時間多重化をより利用することができ、そのような構成を用いて、それから生じる小さいサイズおよび相対的に低いコストを達成する。そのようなシステムのための方法は、高い光強度に耐えることができ、時間多重化を強調する手法にとって十分に高速な、他の小規模のSLMにも拡張することができる。
いくつかの実施形態に従うと、以下でより詳細に説明されるように、LFIEに基づいたシステムは、複数のDMDコンポーネントを利用できる(図14および関連する説明を参照)。例えば、いくつかの実施形態に従うと、図5の回転ミラー515は、図14に示されるように、第2のDMDコンポーネントを用いて置き換えることができる。
本明細書において説明される様々な実施形態において、LFIEは、時間多重化と空間多重化の組み合わせを使用することができる。高品質のライトフィールド3D映像の生成は、3D視覚コンテンツの知覚を形成するサブ映像の密な場の生成において、重い多重化を要求する。LFIEにおいては、空間多重化は、高ピクセル数の映像を速やかに変調する、DMDコンポーネントを用いて行われる。時間多重化は、映像を角度空間内に順次的にスキャンする、回転ミラーによって実現される。例えば、異なるカラーコンポーネントのオンとオフを順次的に切り換えることによる、カラー映像の生成においては、LED/レーザダイオードコンポーネントのきわめて高速な切り換えスピードが、使用される。したがって、本明細書において開示されるいくつかの方法は、これらの多重化スキームの両方を最大限利用して、開示されるLFIEシステム/デバイスの効率を高める。
いくつかの実施形態に従うと、これらの光学的機能(映像変調、光の発生、および異なる視聴方向における投影)は、3つの別々の光学コンポーネントに分割することができる。これは、機能の最適化を別々に可能にすることができ、それは、各タスクのために別々にコンポーネントを選択し、最適化することができるからである。LFIEを用いるシステムは、したがって、異なる使用事例について最適化することができ、本明細書において説明される手法を非常に多用途にする。
いくつかの実施形態に従うと、LFIEのすべての説明されたコンポーネントを含むモジュールは、小さいパッケージ内に組み込むことができ、映像エンジンを様々な種類のデバイスと統合することを可能にする。
本明細書において説明されるいくつかの実施形態に従うと、複数の映像を複数の角度方向に投影することが可能なLFIEのためのシステムおよび方法が、存在する。LFIEは、複数の方向から見ることができる3Dシーンのためのライトフィールドを効果的に生成する。各視聴者は、同じ3Dコンテンツの自分自身の立体視ビューを有することができ、3次元映像の知覚が、生じることができる。視聴者が、投影スクリーンの周りを移動するにつれ、各新しい視野角のために映像を変化させることができる。LF投影システム全体の他のモジュールを適切に選択することにより、複数人のユーザまたは1人のユーザのどちらについても、強化された性能を用いて同じLFIEを使用することが可能である。
いくつかの実施形態に従うと、LFIEは、ピクセル化された空間光変調器としての役割を果たすDMDと、角度視野範囲にわたって映像をスキャンする回転ミラーと、映像内において可視の光を発生させる光エンジンとを組み合わせて、異なる映像を生成する。スキャニングミラーの回転サイクルよりも速くDMDマトリックスを変調することによって、複数の異なる映像を、異なる視野角に投影できる。フルカラー映像は、DMDと同期を取って、光エンジンの光出力を変調することによって、生成することができる。
図6は、例示的なLFIE600の構造の概略的な提示を例示する。光エンジン605は、光源607(例えば、RGB LEDまたはレーザダイオード)と、照明光学素子とを含むことができ、DMDコンポーネント610に向けられた光のビームを生成することができる。DMD610において映像ピクセルの役割を果たす小型ミラーは、特定のビュー方向の映像コンテンツに応じて、光を回転ミラー620または光トラップ615のどちらかに反射する。回転ミラー620は、ミラー回転角に依存する角度範囲にわたってスイープしながら、異なる角度方向内に映像を反射する。回転ミラー620は、例えば、往復運動を行うガルバノメトリック型デバイス、または1つの方向に連続的に回転するポリゴンミラー、または他のコンポーネントであることができる。図6の実施形態においては、ミラー620は、第1の位置625にあって、映像を第1の方向627に投影することができ、第2の位置630においては、映像を第2の方向632に投影することができる。
光エンジン605は、LEDまたはレーザダイオードなど、赤色、緑色、および青色の光を放射する別々のコンポーネントからの出力を合成することによって、フルカラー映像をサポートすることができる。異なる色の出力は、DMD610に同期させることができ、光エンジン605の出力を変調することによって、例えば、コンポーネントのオンとオフを電気的に切り換えることによって、または高速の機械的シャッタを使用することによって、別々の色付きのサブ映像を、高速に連続して表示することができる。光放射コンポーネントの切り換え時間は、例えば、ビューの数およびスキャニングミラーの角回転スピードに関して設定される映像エンジン目標値から、計算することができる。いくつかの実施形態においては、白色光照明源を用い、異なる色は、光エンジン605において、例えば、カラーホイールを用いて、生み出すことができる。そのようなケースにおいては、色付きの出力は、十分に高い精度で、DMD610および回転ミラー620に同期させることができ、設計フェーズ中に、異なるカラーディザリング方法を検討することができる。いくつかの実施形態は、特許文献3において開示されているような、DMDコンポーネントのために開発された、スパイラルカラーホイール設計を利用することができる。
回転ミラー620は、連続する赤色、緑色、および青色のサブ映像の間で、投影角を変化させるので、角度偏移が、投影されたライトフィールドに導入される。投影デバイス/システム全体の投影レンズまたはスクリーンにおいて、適切な光学要素を使用することによって、色付きのサブ映像を合成して、フルカラー映像を形成することができる。そのような要素は、例えば、プリズム効果、色収差、または回折に基づくことができ、それらは、異なる色付きの光ビームの伝搬方向を選択的に制御するための一般に使用される光学ツールである。
LFIEだけを用いてすべての色付きのサブ映像を同じ方向に投影するための1つの可能な方法は、LFIEを用いたカラー映像生成の概略的な提示を示す、図7に例示されるような光学構成を使用することである。光放射要素707a、707b、707c(例えば、赤色、緑色、および青色LED)が、光エンジン705内に隣合せて位置付けられ、共通の光学素子を用いてDMD710に投影される場合、空間分離711は、照明方向の間の角度分離713に変換することができる。異なる色の照明ビーム709a、709b、709cのタイミングをミラー720の回転に同期させることによって、これらの角度差を使用することができる。異なるLED位置によって引き起こされる小さい角度差は、異なる色の投影の間の時間間隔中における回転ミラー720の動きによって引き起こされる、投影されるサブ映像における小さい角度差をもたらす。これは、LED(または他の光放射要素707)が、ミラー720の回転スピードおよび方向に合わせて、正確な順序でアクティブ化されることを必要とする。光エンジン705からの異なる色付きの照明ビーム709a、709b、709cの間の角度スプレッド713は、投影方向における小さい空間偏移711に変換されるが、3つの色付きのサブ映像が同じ方向に投影される重なり合う空間エリアが、存在し、フルカラーの合成映像をもたらす。概して、LFIEから出力された色付きのサブ映像の間に角度偏移を有する方がよいか、それとも空間偏移を有する方がよいかは、投影デバイス/システム全体の設計、およびカラーラスタリング/ディザリング方法に依存する。
図7の実施形態においては、ミラー720は、各ビーム709a、709b、709cに対して第1の位置725にあって、各ビームについてのサブ映像を第1の方向727に投影することができ、各ビーム709a、709b、709cに対する第2の位置730においては、各ビームについてのサブ映像を第2の方向732に投影することができる。
光エンジンの照明出力は、様々な使用事例の意図されたライティング条件に適するように選択される。DMDコンポーネントは、非常に高い光強度に耐えることができるので、光エンジンの最大パワーレベルは、特定の使用事例に最適化することができる。周囲ライティングレベルが高い場合、および/またはより多数のビューが必要とされる場合、より高パワーのコンポーネントを使用することができる。1人または複数人の視聴者の位置を決定する際に、頭部または視聴者の追跡が使用される場合、ライティングビームの切り換えも、映像が適切な方向だけに投影され、潜在的にエネルギーを節約するような方法で、ミラー回転に同期させることができる。このケースにおいては、回転ミラーおよびDMDコンポーネントは、同じ動きを継続することができ、エネルギー節約特徴の制御は、光エンジンを、それからの光がユーザに向かって投影されないときに、オフに切り換えることによって、実行することができる。
いくつかの実施形態においては、LFIE設計は、水平方向だけにおいて、マルチビューライトフィールドをサポートする。しかしながら、回転ミラーが、水平および垂直の両方向において回転することができるスキャニングミラーで置き換えられた場合、水平および垂直の両方向において固有のビューを有するライトフィールドを形成するように、映像をスキャンすることができる。これは、きわめて高速なスキャニングコンポーネントを利用することがあり、放射される光パワーが非常に多数のビューにわたって拡散されるので、システムに、例えば、光エンジンから必要とされる光強度に、より高い要求を課すことがある。垂直ビューは、それの例示的な実施形態が図8に例示され、ファセットミラーを用いて生成することができ、それは、1つの方向に回転して、DMDによって2つ以上のファセットに反射された映像を投影する。そのようなケースにおいては、単一のDMDは、マトリックスをセクションに分割することによって、ミラーマトリックスの異なる部分において、固有の垂直映像を同時に生成することができる。
いくつかの実施形態においては、(その実施形態が図12A~図12Bに例示される)1つのLFIEにおいて2つ以上の光エンジンおよびDMDを使用することによって、2つ以上の映像を1つまたはいくつかの方向に同時に投影する。光エンジンによって生成されたビームは、DMDによって変調され、共通の回転ミラーに向けられる。共通のミラーの使用は、正確な同期を保証する。この構造においては、2つ以上の光路が存在し、これらの光チャネルのうちのいくつかまたはすべてに、焦点合わせ光学素子を追加することを可能にする。これは、深度方向において異なる焦点面への仮想映像の投影を可能にし、3Dコンテンツのための正確な網膜焦点キューを可能にする。
いくつかの実施形態に従うと、1つの水平視聴方向にさらされた2つ以上のファセットを有する単一の回転ミラーと一緒に、複数の光エンジンおよびDMDを使用することができ、図8に例示されるように、複数の垂直視聴方向を同時に生成することも可能である。(例えば、上側ファセット806、中間ファセット807、および下側ファセット808を有する)ファセットミラー805が、回転するとき、中間ファセット807は、中間光エンジン(LE2/830)およびDMD(DMD2/835)を用いて生成された映像を、中間水平投影方向(HPD2/845)をスイープしながら、中間の垂直投影方向(VPD2/840)に反射する。類似の光エンジン(LE1/810&LE3/850)およびDMD(DMD1/815&DMD3/855)が、中間ファセット807の上側(806)および下側(808)のファセットから反射される異なる映像を同時に生成したとき、固有のビューを有する他の2つの水平投影平面(例えば、それぞれ、垂直投影方向820、860における水平投影方向)が、中央水平平面(845)の上側(825)および下側(865)に形成される。より多くのファセットをミラーに追加し、また追加の光エンジンおよびDMDモジュールを追加することによって、光エンジンのさらなる時間多重化なしに、垂直方向において複数の視聴位置を生成することも可能である。
図9は、(光エンジン905と、回転ミラー920と、DMD910とを備える)LFIE901を含む、ライトフィールドプロジェクタデバイス900の概略的な提示を例示する。LFIE901に加えて、デバイス900は、少なくとも投影レンズ(または他の投影光学素子)945を含む、投影モジュール940を含む。このレンズ945の目的は、DMD910によって生成された映像を、デバイス900またはシステムの可視コンポーネントであるスクリーン950に投影することである。適切なレンズ設計タイプの1つの例は、Fシータレンズであり、それは、等間隔の角度間隔で投影された光ビームから、フラットな像面を提供することができる。投影モジュール940は、中継レンズも利用することができ、それは、異なる方向に進行する映像を組み合わせて、後にスクリーン950に投影するのがより容易な中間仮想ライトフィールド映像にする際に使用される。第1の位置にあるミラー920を用いると、映像を第1の方向927に投影することができ、第2の位置においては、映像を第2の方向932に投影することができる。
いくつかの実施形態においては、LFIEを含むLFプロジェクタデバイスは、表示スクリーンとともに使用される。図10は、一実施形態に従った、(視聴者1090a、1090b、1090c、1090d、1090eに対するシステムの可視部分である)関連付けられたスクリーン1055を伴った、マルチユーザLF投影システム1002の概略的な提示を例示する。LF投影システム1002のミラー1020が回転するので、DMD1010を用いて生成されたLFサブ映像のセットは、異なる角度で、投影システム1002からスクリーン1055に投影される。スクリーン1055は、各サブ映像の伝搬方向の向きを主要な視聴方向に変える、要素1060を有する。この要素1060は、例えば、成形されたプラスチックのフレネルレンズ、またはエンボス加工されたマイクロプリズムを備える箔であることができる。DMD1010のピクセルマトリックス1070を、レンチキュラレンズシート1057の後ろの焦点に集めるために、別個の焦点合わせ要素1062を使用することができる。この焦点合わせ要素1062は、例えば、マイクロレンズの成形されたアレイ、または回折構造を備えるエンボス加工された箔であることができる。焦点合わせは、いくつかの代替的実施形態においては、投影システム1002内部の投影レンズを用いて達成することができ、そのケースにおいては、スクリーン1055内の焦点合わせ要素1062は、必要ではないことがある。スクリーン1055は、結像された仮想ピクセルマトリックス1070を均一化するための光拡散要素1064も含むことができ、それは、角度調整および焦点合わせ要素特徴(例えば、フィルファクタ)に結び付けられたいくつかまたはすべての映像アーチファクト、ならびに異なる投影されるサブ映像間の小さい不連続を隠すことができる。特定の使用事例に対して、水平ビューだけが望ましい場合、スクリーン光操作要素1057、1060、1062、1064、1070のうちのいくつかは、一方向性(例えば、溝)であることができ、それは、より低いコストをもたらすことができるが、水平および垂直ビューの両方が生成される場合、それらの要素のうちの1つまたは複数は、2次元であることができる。いくつかの実施形態においては、異なるスクリーン要素のすべての必要な光学的機能は、1つのホログラフィック/回折シートに組み込むことができ、それは、柔軟であることさえでき、したがって、現在の既存の通常の2Dプロジェクタ(例えば、ホームシネマ)に類似した、ライトフィールドプロジェクタ1002のための使用事例を可能にする。
視聴者に可視のスクリーン1055の前面部分、例えば、レンチキュラレンズシート1057は、既存のマルチビュー自動立体視システムにおいて使用されるレンチキュラレンズ構造と類似した方式で、機能することができる。レンチキュラレンズシート1057の後ろのピクセル行(またはマトリックス)1070の映像は、標準的なマルチビューディスプレイにおいて、LCDディスプレイピクセルのセットが、LFサブピクセルとしてどのように機能するかに類似して、ライトフィールドピクセル(LFP)としての役割を果たすことができる。レンチキュラレンズ1057が、視聴者の前方の視聴空間に仮想ピクセルを投影するとき、異なる投影方向(PD)(またはビュー方向)が、生成される。例えば、図10においては、ピクセルP1は、回転ミラー1020が位置MP1にある一時点において、システム1000を通して、LFP1に結像され、次に、仮想サブピクセルが、スクリーン1055の前方に特定の角度で位置付けられた視聴者1090Aだけに可視の投影方向PD1に投影される。別の時点においては、回転ミラー1020は、位置MP2に移動しており、同じピクセルは、LFP2に結像され、そこから、異なる空間位置および後の時点ではあるが、やはり同じ視聴者1090Aに可視の同じ投影方向PD1に投影される。同様な方法で、ピクセルP5は、2つの異なる時点において、最初はLFP1に、次にLFP2に結像され、次に視聴者1090Eだけに可視であるPD5に投影される。
現在のマルチビューシステムにおいては、サブピクセルの数、およびそれとともに投影方向の数は、ディスプレイ(例えば、LCDパネル)において利用可能なピクセルの数に固定され、ピクセルの数によって制限される。LFIEに基づいたプロジェクタシステムにおいては、本明細書において開示されるように、角度スイープおよびDMDの高速変調ミラーマトリックスが、レンチキュラ構造の後ろに、より密な「仮想」ディスプレイを生成することができる。それは、多用途でもあり、それは、すべてが特定の使用事例に結び付けられる、スクリーンサイズ、ユーザの数、明るさレベルなどの異なる要件に対して、ライトフィールドシステムの空間解像度および角解像度を最適化することができるような、数々の異なる方法で、時間多重化(すなわち、回転ミラーの角度スイープ)および空間多重化(すなわち、DMDピクセルの変調)を組み合わせることができるからである。例えば、3Dライトフィールド映像を、スクリーンから1mの距離に座っている1人のユーザに示すために、または大きい投影キャンバス(もしくはスクリーン)から5mの距離に立っている人々のグループに示すために、同じプロジェクタデバイスを使用することができる。これら2つの使用事例の間の変化は、異なるサイズのスクリーンの選択であること、また特定のスクリーンサイズ、解像度目標などのためのおそらくは(いくらか)異なるレンダリング設定であることができる。
3Dシーンレンダリング構成は、与えられた使用事例およびハードウェアのための選択されたパラメータに応じて変化することができる。例えば、マイクロミラーマトリックス全体を、スクリーン上の1つのライトフィールドピクセル上に結像させることができ、DMDコンポーネント内に存在するピクセルと同数の個々のビューを生成することが可能である。そのようなケースにおいては、回転ミラーが、それの経路にわたってスイープするにつれて、各LFPが、次から次へと生成され、各々は、多数のビューを有する。DMDマトリックスが、同時にいくつかのLFPの後ろに結像される場合、LFP空間解像度をより高くすることができるが、より少数の固有のビューのコストを伴う。これらのトレードオフのうちのいくつかは、いくつかの実施形態においては、光学的機能が異なるコンポーネントに分割されていることに起因して、ハードウェアを変更する必要なしに、レンダリング設定を変更することによって行うことができる。回転ミラーが、それの経路をスイープするにつれて、DMDも、異なるレートで変調することができ、レンチキュラシートの後ろの仮想ディスプレイ内にエリアをインターレースまたはオーバラップすることを可能にする。特許文献4において説明されるように、例えば、映像の明るさおよび/またはパワー消費を改善するために、コンテキスト適応型レンダリング方法を使用することができる。さらに、また、超解像度アルゴリズムをレンダリングスキームに適用して、さもなければ、DMDマトリックスおよび結像システムの特性によって制限される、空間解像度を高めることができる。
視聴者から見て、LFIEおよび投影光学素子は、透過させる映像の場合はスクリーンの後方に、または反射させる映像の場合はスクリーンの前方に位置付けることができる。後方照明スクリーンは、それのコンポーネントを1つのパッケージ内に有する「投影TV」に似たデバイスを生み出すことができ、一方、前方照明スクリーンは、ホームシアタシステムにおけるディスプレイ構成により近い製品をもたらすことができる。スクリーンは、3D映像をより大きいまたはより小さい角度から見ることを可能にするために、LFIEによって生成されたライトフィールドの角度範囲を拡大または縮小することもできる。そのようなスクリーンは、例えば、異なる焦点長を有する2つ(またはより多く)のマイクロレンズまたは小型レンズのコンポーネントから構成することができる。そのような設計においては、構造は、(特許文献4において説明されているように)それらの間の距離がそれらの焦点長の和に等しくなるような方法で、取り付けられる。
回転ミラーは、角度空間にわたって連続的にスイープするので、非常に密なライトフィールドの生成のために、デバイスを使用することが可能である。3Dシーンの知覚は、一般に、視聴者に向かって投影される少なくとも2つの異なるビューポイント-各眼に対して1つのビュー-を必要とする。DMDデバイスは、高いリフレッシュ周波数を有し、反射される映像は、視聴空間に連続的に投影することができるので、この立体視映像条件は、開示されるシステムおよび方法によって満足される。視聴者が十分に近く、DMDリフレッシュ周波数が適切である場合、2つ以上の映像を1人の視聴者の瞳孔に投影することも可能である。これは、「超多視点」条件を満たし、視聴者により自然な視聴体験を提供することができる。先に説明したように、LFIEは、2つ以上の焦平面の生成のためにも使用することができ、視聴者から異なる深度距離にある仮想映像、およびより自然な網膜焦点キューをもたらす。
図11は、LFIEを含むLFプロジェクタデバイスを利用する、ライトフィールド投影システムの概略的な提示を例示する。システム1100は、再生デバイス1105を含むことができ、それは、3DコンテンツをLF投影システム1110に提供し、次に、それが、スクリーン1115に投影されるLF映像を生成する。投影システムは、例えば、スクリーン1115の前方のテーブル上に配置することができる。そのようなスクリーン1115は、適切な支持構造(例えば、壁、スタンドなど)に取り付けることができ、または同じテーブル上もしくは投影システム1110に対して異なる表面上に配置することができる。再生デバイス1105は、ディスプレイ信号1107を計算して、投影システム1110に送信し、それは、回転ミラーのモータをアクティブ化し、ミラーと同期するようにDMDを制御する、制御エレクトロニクスを含む。反射スクリーンは、テーブルの周りの異なる視聴位置から異なるビューを見ることができるように、水平方向において、ライトフィールド角度構造を維持し、拡大し、または縮小する。スクリーンは、異なる高さに位置付けられた眼を有する視聴者に対して、映像をより均一にするために、垂直方向においても反射光を拡散することができる。眼は水平に位置付けられるので、水平方向だけにおいて異なるビューポイントを提供することは、3D映像知覚に適している。
以下の図14に関して説明されるような、いくつかの実施形態においては、各ピクセルのオン-オフ状態および角度方向に別々に対処することが可能なLFIEを生み出すために、回転ミラーの代わりに、第2のDMDコンポーネントを使用することができる。そのような構成においては、ピクセルのオンとオフを切り換えるだけの代わりに、第1のDMDデバイスが、より高速なレートで、ピクセルのオンとオフを切り換えるとき、第2のDMDは、角度領域をスムーズな動きでスキャンする。これらの実施形態においては、第2のDMDのより大きいピクセルを照明するために、第1のDMD内の2つ以上のミラーピクセルを使用することができる。第1のコンポーネントのマイクロミラーのうちのいくつかを回折構造などの微小光学特徴でコーティングすることによって、微小光学特徴が、投影システム全体の焦点長を変更したとき、映像を異なる焦平面に投影することができ、したがって、複数の方向および複数の仮想焦平面を有する、真のライトフィールドを生成する。2つのDMDの使用は、これを可能にするが、それは、第1のDMDのピクセルを、第2のDMDのピクセルに別々にマッピングすることができるからである。
いくつかの実施形態においては、例えば、LCDスクリーンへの、非常に密な指向性バックライトの生成において、光エンジンと回転ミラーと(おそらくはDMDと)を備えるLFIEのバリエーションを使用することができる。また、本明細書において説明されるスクリーン設計は、同じ時間/空間多重化スキームが使用される、簡略化されたシステムを補完することができる。
いくつかの実施形態においては、2つの同一のLFIEを使用して、自動立体視3D LFディスプレイ投影システムを達成することができる。2つのLFIEが、互いに約65mmの距離に位置付けられた場合、2つの同時に投影されたライトフィールドは、人の眼の平均的な瞳孔間距離に中心がある2つのアイボックスに適合する。本明細書において説明されるスクリーンが、両方の投影されるアイボックスを複数の方向に反射または屈折させる際に使用される場合、自動立体視ビューのセットが、複数のユーザのために生成される。そのような構成は、生成されるライトフィールドの角度範囲が、小さいアイボックスに制限されるので、水平および垂直の両方向において、より密なライトフィールドを生成することができる。制限された角度空間は、レンダリングおよび制御システムのために、より低いデータレート要件を有することもできる。加えて、ユーザ位置の認識のために、アイトラッキングシステムを使用することができる。
例示的なLFIE装置の1つの可能な構造が、図12A~図12Bに示されている。例示的なLFIEは、2つの別々の光エンジン(LE1、LE2)と、デジタルマイクロミラーデバイス(DMD1、DMD2)と、焦点レンズ(FL1、FL2)とを有し、それらは、デバイス1200を通る2つの異なる光路または映像チャネルを形成する。LEによって生成された2つの照明光ビームは、最初にDMDに向けられ、それは、映像変調を実行し、ビームを単一のポリゴンミラー(PM)の2つの異なるファセットに反射する。映像ビームは、PMファセットから反射され、図12A~図12Bにおいては異なる(しかし必ずしもそうである必要はない)FLを通して2つの映像チャネルに対して向けられ、同じ投影方向(PD1、PD2)において、異なる焦点面(FS1、FS2)を有する2つの異なる映像の同時投影を可能にする。PMが回転するにつれて、照明されたファセットと映像ビームとの間の角度は、図12Aに示されるような第1の回転位置から、図12Bに示されるような第2の回転位置に変化する。PMの回転運動が、連続的に投影方向の間を推移させるので、2つの異なる連続的な焦点面(FS1、FS2)が、投影空間を通る2つの光路スイープの焦点(FP1、FP2)として生成される。DMDが、照明されたPMファセットがビーム経路にわたって回転するのにかかる時間よりも高いリフレッシュレートを用いて、投影された映像ビームを変調するとき、複数の固有の視聴方向および2つの焦点面を有する、真の3Dライトフィールド映像が、生成される。
例示的なLFIEを用いて生成される固有の視聴方向の数は、1つのPMファセットが設計された投影角度範囲にわたってスイープするのにかかる時間内にDMDを用いて行うことができる、映像変調サイクルの数によって決定される。DMDと同期して変調される、赤色、緑色、および青色LEDを使用することによる、3×8ビットフルカラー投影のために、例示的な映像エンジンを使用することができる。上で説明された例示的な計算が、参考として使用される場合、33kHzバイナリフレームレートを有するマイクロミラーコンポーネントについて、約1360Hzのフルカラー映像リフレッシュ周波数を計算することができる。この仕様を満たす1つの既存のコンポーネントは、Texas Instrument DLP7000である。視覚の中心において、またかなり明るい周囲ライティング条件において、フリッカのない映像のために一般に使用されるしきい値は、60Hzである。これら2つの値から、単一のDMDを用いて、約23個の固有のフリッカのないフルカラービューを生成することができると決定することができる。8ビット未満の色深度もしくはモノクロの映像が使用される場合、または2つ以上のDMDが同時に使用され、それらの投影角が異なる場合、ビューの数を増加させることができる。図12A~図12Bに示されるLFIEの例においては、深度方向における第2の焦点面の生成のために、第2のDMDが使用されるが、投影されるビューの数を2倍にして約46個にするためにも、それを使用することができる。
LFIEの投影角が、±10度に設計され、投影光学素子およびスクリーンを備えるシステム全体が、角度スプレッドが2倍になるように設計された場合、2つのビューの間の角度差は、約1.8度である。これは、65mmの通常の瞳孔間距離を有する視聴者が、2m未満の距離から、立体視3D映像を見ることができることを意味する。何人かの異なる視聴者が、彼ら自身の視聴方向から、同じ3Dコンテンツを立体視的に見ることもできる。視聴者は、自然な網膜焦点キューを提供することによって3D効果を強化する2つの異なる焦点面も、深度方向において有する。そのような構成が、図13Aにおいて例示されている。
図13Bは、図13Aと同じLFIEに基づくが、1人のユーザ用に設計された、代替システムを例示しており、投影モジュールは、投影されるライトフィールドの角度スプレッドを半分に圧縮して、2つの隣接ビュー間において約0.45度の角度差をもたらす。視聴者が、約0.5mの距離に位置付けられる場合、単一のビューの視聴ゾーンの幅は、約4mmであり、それは、穏当なライティング条件における通常の眼の瞳孔サイズに対応する。これは、2つの異なる映像を、1人の視聴者の瞳孔内に同時に投影することを可能にすることができ、それは、超多視点条件を満たし、特に高速に動く3D映像コンテンツのために、さらに現実的な焦点キューを提供することができる。図13Bのシステムは、フェイストラッキングと一緒に使用することもできる。
いくつかの実施形態においては、ライトフィールド映像エンジンを用いて3Dマルチビュー映像を表示する方法であって、光エンジンからの光をデジタルマイクロミラーデバイス(DMD)に出力するステップと、DMDからの出力光の少なくともいくらかを回転ミラーに反射するために、DMDをピクセル化された空間光変調器として動作させるステップと、DMDから反射された光によって表される映像を角度視野範囲にわたってスキャンするために、回転ミラーをサイクルレートで回転させるステップと、回転ミラーのサイクルレートよりも高速なレートで、DMDを変調するステップと、光エンジンからの出力光をDMDと同期させて変調することによって、フルカラー映像を生成するステップとを含む方法が、存在することができる。
いくつかの実施形態においては、3Dマルチビュー映像を表示する方法であって、複数のカラー照明器の同期の取れた時間変調を実行するステップであって、各カラー照明器の出力光は、反射要素のピクセル化された別々に制御可能なマトリックスに入射する、ステップと、反射要素のマトリックスに入射する光の少なくともいくらかを、可動ミラーアセンブリに反射させるステップと、カラー照明器の変調と反射要素の制御可能なマトリックスの両方に同期させられた方式で、ミラーアセンブリを角度にわたってスイープするステップとを含む方法が、存在することができる。方法は、反射要素のマトリックスから反射された光が、可動ミラーアセンブリまたは光トラップのどちらかに入射することを含むことができる。方法は、典型的な人の瞳孔間距離と同じほどの大きさの複数の窓にわたって表示される複数の別々のビューを提供するために、映像コンテンツが、レンダリングされ、時間的に変調された方式でディスプレイデバイスに提示されることを含むことができる。方法は、典型的な人の瞳孔間距離と同じほどの大きさの複数の窓を有するホログラフィックスクリーンに投影される複数の別々のビューを提供するために、映像コンテンツが、レンダリングされ、時間的に変調された方式でディスプレイデバイスに提示されることを含むことができる。
いくつかの実施形態においては、第1および第2の光エンジンと、第1および第2のデジタルマイクロミラーデバイス(DMD)と、回転ミラーと、第1および第2の焦点レンズとを備える、ライトフィールド映像エンジン投影システムを用いて、3Dマルチビュー映像を表示する方法であって、第1のDMDにおいて映像変調を実行し、第1の光エンジンによって生成された第1の光ビームの少なくとも一部を、第1の映像ビームとして、回転ミラーの第1のファセットに反射させるステップであって、第1のファセットは、第1の映像ビームを、第1の焦点レンズを通して、第1の焦点面に反射するように構成される、ステップと、第2のDMDにおいて映像変調を実行し、第2の光エンジンによって生成された第2の光ビームの少なくとも一部を、第2の映像ビームとして、回転ミラーの第2のファセットに反射させるステップであって、第1および第2の映像ビームが、第1の投影方向において、同時に投影されるように、第2のファセットは、第2の映像ビームを、第2の焦点レンズを通して、第1の焦点面とは異なる第2の焦点面に反射するように構成される、ステップと、各映像ビームの焦点が、投影空間にわたってスイープするとき、第1および第2の焦点面が、連続であるように、第1および第2の映像ビームが、少なくとも第2の投影方向において、同時に投影されるように、回転ミラーを回転させるステップと、複数の固有の視聴方向と2つの焦点面とを有する3Dライトフィールド映像が、生成されるように、回転ミラーの回転サイクルレートよりも高いリフレッシュレートで、第1および第2のDMDを変調するステップとを含む方法が、存在することができる。方法は、典型的な人の瞳孔間距離と同じほどの大きさの複数の窓にわたる表示のための複数の別々のビューを提供するため、映像コンテンツが、レンダリングされ、時間的に変調された方式でライトフィールド映像エンジン投影システムによってディスプレイデバイスに提示されることを含むことができる。方法は、典型的な人の瞳孔間距離と同じほどの大きさの複数の窓を有するホログラフィックスクリーンへの投影のための複数の別々のビューを提供するため、映像コンテンツが、レンダリングされ、時間的に変調された方式でライトフィールド映像エンジン投影システムによってディスプレイデバイスに提示されることを含むことができる。方法は、光エンジンとDMDの両方に同期させられた方式で、回転ミラーが角度にわたってスイープすることを含むことができる。方法は、第1のDMDが、反射要素のピクセル化された別々に制御可能なマトリックスを含むことを含むことができる。
いくつかの実施形態においては、3Dマルチビュー映像を表示するためのライトフィールド映像エンジン投影システムであって、少なくとも2つの光エンジン、少なくとも2つのデジタルマイクロミラーデバイス(DMD)、および回転ミラーを備えるライトフィールド映像エンジンと、投影光学素子、および角度拡大要素を備える投影モジュールとを備えるライトフィールド映像エンジン投影システムが、存在することができる。方法は、第1のDMDが、映像変調を実行し、第1の光エンジンによって生成された第1の光ビームの少なくとも一部を、第1の映像ビームとして、回転ミラーの第1のファセットに反射するように構成され、第1のファセットが、第1の映像ビームを、第1の焦点レンズを通して、第1の焦点面に反射するように構成されることを含むことができる。方法は、第2のDMDが、映像変調を実行し、第2の光エンジンによって生成された第2の光ビームの少なくとも一部を、第2の映像ビームとして、回転ミラーの第2のファセットに反射するように構成され、第2のファセットが、第2の映像ビームを、第2の焦点レンズを通して、第1の焦点面とは異なる第2の焦点面に反射するように構成されることを含むことができる。方法は、第1および第2の映像ビームが、第1の投影方向において、同時に投影されることを含むことができる。方法は、第1および第2の映像ビームが、第1および第2の焦点面にわたって連続的に投影されるように、ライトフィールド映像エンジンが、回転ミラーを用いて、第1および第2の映像ビームを回転させるように構成されることを含むことができる。方法は、複数の固有の視聴方向と2つの焦点面とを有する3Dライトフィールド映像を生成するために、DMDが、回転ミラーの回転サイクルレートよりも高いリフレッシュレートで、第1および第2の映像ビームを変調するように構成されることを含むことができる。方法は、ライトフィールド映像エンジン投影システムが、再生デバイスから3Dコンテンツを受信し、ライトフィールド映像をスクリーン上に生成するように構成されることを含むことができる。
いくつかの実施形態においては、第1および第2の光エンジン、第1および第2のデジタルマイクロミラーデバイス(DMD)、回転ミラー、ならびに第1および第2の焦点レンズを備えるライトフィールド映像エンジン投影システムと、プロセッサと、プロセッサ上において実行されたときに、第1のDMDにおいて映像変調を実行し、第1の光エンジンによって生成された第1の光ビームの少なくとも一部を、第1の映像ビームとして、回転ミラーの第1のファセットに反射させるステップであって、第1のファセットは、第1の映像ビームを、第1の焦点レンズを通して、第1の焦点面に反射するように構成される、ステップと、第2のDMDにおいて映像変調を実行し、第2の光エンジンによって生成された第2の光ビームの少なくとも一部を、第2の映像ビームとして、回転ミラーの第2のファセットに反射させるステップであって、第1および第2の映像ビームが、第1の投影方向において、同時に投影されるように、第2のファセットは、第2の映像ビームを、第2の焦点レンズを通して、第1の焦点面とは異なる第2の焦点面に反射するように構成される、ステップと、各映像ビームの焦点が、投影空間にわたってスイープするとき、第1および第2の焦点面が、連続であるように、第1および第2の映像ビームが、少なくとも第2の投影方向において、同時に投影されるように、回転ミラーを回転させるステップと、複数の固有の視聴方向と2つの焦点面とを有する3Dライトフィールド映像が、生成されるように、回転ミラーの回転サイクルレートよりも高いリフレッシュレートで、第1および第2のDMDを変調するステップとを含む機能を実行するように動作する命令を記憶する、非一時的コンピュータ可読記憶媒体とを備えるシステムが、存在することができる。
本明細書において説明されるいくつかの実施形態に従うと、二重DMDライトフィールド映像エンジンを使用して、投影される3Dライトフィールドを生成するためのシステムおよび方法が、存在する。様々な実施形態が、光学的方法の形態を取る。他の実施形態は、複数の映像をいくつかの角度方向に投影することが可能な、二重DMDライトフィールド映像エンジン(DDMD-LFIE)を含む。DDMD-LFIEは、ピクセル化された空間光変調器としての役割を果たす2つのデジタルマイクロミラーデバイス(DMD)の組み合わせと、映像内において可視の光を生成する光エンジンとを使用して、異なる映像を生成する。DMDは順番に方向付けられ、第2のDMDは、ある範囲にわたってマイクロミラー傾き角をスキャンする。正確なタイミングと組み合わされたこの変調は、いくつかの3Dコンテンツの様々な2Dビューが投影される角/FOVの制御を可能にする。
多くの実施形態においては、第1のDMDコンポーネントは、第2のDMDよりも高い解像度および小さいピクセルを有する。第1のDMDはまた、第2のDMDよりも相当高速に変調される。より高速な変調スピードのため、第1のDMDは、第2のDMDの角度スイープの各サイクルの間に、第2のDMD上に何度も結像される。DMDの説明される組み合わせは、2つ以上の映像を単一の視野角に同時に投影するために、使用することができる。この時間多重化は、仮想映像の異なる焦点面への投影を可能にし、3Dコンテンツのための正確な網膜焦点キューを可能にする。各視聴者は、同じ3Dコンテンツの自分自身の立体視ビューを観察し、3D映像の知覚が、生成される。視聴者が、投影スクリーンの周りを移動するにつれて、異なる視野角に対して、観察される映像が変化する。DMDと同期して、光エンジンの光出力を変調することによって、フルカラー映像を生成することができる。
DDMD-LFIEは、中核映像生成モジュールであり、多くの異なる種類のゴーグル不要ライトフィールド3Dディスプレイシステムにおいて使用することができる。本開示においては、いくつかの実施形態は、ライトフィールドプロジェクタまたはライトフィールド投影システムの形態を取る。DDMD-LFIEに加えて、ライトフィールド投影システムは、少なくとも1つの投影レンズを含むモジュールをさらに含む。このレンズの目的は、DDMD-LFIEによって生成された映像を、視聴者に可視のスクリーンに投影することである。少なくとも1つの実施形態においては、ライトフィールド投影システムは、スクリーンも備える。複数ユーザデバイス/システムにおいて、または単一ユーザデバイス/システムにおいて、DDMD-LFIEを使用して、性能を高めることが可能であり-高められた性能は、LF投影システム全体の他の選択されたモジュールとの組み合わせにおいて獲得される。
本明細書において説明される実施形態は、時間多重化と空間多重化の組み合わせを使用する。高品質のライトフィールド3D映像の生成は、3D視覚コンテンツの基礎を形成するサブ映像の密な場の生成において、重い多重化を必要とする。DDMD-LFIEにおいて、空間多重化は、高ピクセル数の映像を非常に高速に変調することが可能な第1のDMDコンポーネントを用いて行われる。時間多重化は、映像を角度空間内に順次スキャンする第2のDMDによって実現される。異なるカラーコンポーネントのオンとオフを順次的に切り換えることによる、例えば、カラー映像の生成のために、光エンジン内のきわめて高速に切り換わるLED/レーザダイオードコンポーネント、および/またはカラーホイールが、さらなる時間多重化を提供する。したがって、そのような実施形態は、空間多重化と時間多重化の両スキームを利用することができる。様々なコンポーネント(例えば、DMD、レーザダイオード)の間の正確なタイミングおよび調整は、マスタコントローラによって調整される。1つの技術的課題は、第2のDMDマイクロミラーの制御に関する。本システムの一実施形態は、オン-オフスイッチとして使用されるDMDデバイスと比較して、スムーズで相対的に低速な角度スイープを用いて動作するマイクロミラーを使用する。この課題は、高速の制御エレクトロニクスおよび/または代替的なマイクロミラー構造を使用することによって、対処することができる。さらに、課題は、2つのDMDの間の高度に調整されたタイミングを使用することによっても、対処することができる。例示的な実施形態において第2のDMDとして使用することができる、角度制御を有するマイクロミラーデバイスは、「Analog micromirror devices with continuous intermediate states」と題する特許文献5、および「Micromirror and fabrication method for producing micromirror」と題する特許文献6において説明されているものを含む。
一実施形態においては、DDMD-LFIEは、3つの別々の光学コンポーネント、すなわち、(i)映像変調手段、(ii)光生成手段、および(iii)変調された光を様々な方向に送る投影手段を備える。この設計は、各コンポーネントの機能を別々に最適化することを可能にするが、それは、各タスクのためにコンポーネントを単独で選択し、最適化することができるからである。DDMD-LFIEを備えるシステムは、異なる使用事例のために設計することができる。
照明ビームは、例えば、ハロゲンランプおよびカラーホイールを利用する、システムを用いて、生成することができる。LEDおよびレーザダイオードも、光エンジンのための望ましいコンポーネントであるが、それは、(i)それらを速やかに変調することができ、(ii)これらのコンポーネントによって放射された光は、容易にコリメートされ、DMDに向けられるからである。
映像変調(空間多重化)は、例えば、LCoS(液晶オンシリコン)コンポーネントを用いて、実施することができる。DMDを使用するのに加えて、またはDMDを使用する代わりに、異なる角度への順次的な映像投影は、調整可能レンズを使用することによって、回折格子またはプリズムを回転させることによって、ならびにガルバノメトリックミラーおよびポリゴンミラーの使用を通して、達成することができる。システムの実施形態は、同じ目的のために、MEMSベースの単一のスキャニングコンポーネントを利用することができる。
複数の焦平面の生成は、マイクロミラーの表面構造を用いて、2つの別々の光路を作る代わりに、調整可能レンズ(例えば、液体レンズ)を投影光路内に位置付けることによって、実現することができる。調整可能レンズは、複数の焦平面を生成する追加の方法として、提示された構造と一緒に使用することができ、それは、映像品質をさらに改善することができる。
一般に、説明される方法およびシステムは、3つの光学的機能の実現において使用することができる、任意選択の光学および光電子工学コンポーネントの小さいサブセットを表す。
DDMD-LFIEの例示的な構造においては、以下で説明されるように、すべての説明されるコンポーネントを含むモジュールは、非常に小さいパッケージ内に組み込むことができ、映像エンジンを多くの種類のデバイスに統合することを可能にする。DDMD-LFIEは、例えば、LFシステムにおいて現在使用されているプロジェクタアレイに取って代わるために、使用することができる。DDMD-LFIE内のコンポーネントは、小さいので、そのようなモジュールのコストは、大幅に引き下げることができる。シンプルな構造は、非常に少数のコンポーネントを一緒に適合させる必要しかないので、システム全体の信頼性、セットアップ、および較正のためにも有益である。
図14は、いくつかの実施形態に従った、二重DMDライトフィールド映像エンジン(DDMD-LFIE)を使用するLF投影システムの概要を示す。図4に関して先に説明されたように、いくつかの実施形態においては、図5の回転ミラーは、DMDで置き換えることができる。図5のLF投影システムと同様に、図14のLF投影システムは、図4に示されるような現在のシステムとは対照的に、ただ1つのプロジェクタデバイスと、1つの投影光学素子とを有する。
図14のLF投影システムにおいては、DDMD-LFIEは、表示媒体に向かってレンズを通過する3Dライトフィールドを生成する。図14のLF投影システムは、光エンジン1410と、第1のDMD1415と、第2のDMD1420と、第1のDMDの仮想映像のアレイ1425と、レンズ1430と、ホログラフィックスクリーン1435と、複数の生成されたビュー1440とを含む。
第2のDMD1420が、角度範囲にわたってスキャンするにつれて、仮想SLMのアレイ1425が、第1のDMD1415の映像から、第2のDMD1420の平面の後ろに生成される。DMDの切り換えが十分に高速であるという事実に起因して、それを使用して、プロジェクタデバイスのアレイ全体(例えば、図4におけるアレイ410)を置き換えることができる。言い換えると、(図14におけるような)DDMD-LFIEベースのシステムは、空間多重化の代わりに、時間多重化をより利用することができ、そのような構成を用いて、それから生じる小さいサイズおよび相対的に低いコストを達成する。そのようなシステムのための方法は、高い光強度に耐えることができ、時間多重化を強調する手法にとって十分に高速な、他の小規模SLMにも拡張することができる。
いくつかの実施形態においては、DDMD-LFIEは、1つの大規模コンポーネントだけを有する代わりに、個々にアドレス指定可能なサブピクセルを有する第2のDMDを用いた、より高いレベルの多重化を使用する。この二重SLM構造は、先に説明されたような、1ミラーシステムを用いては可能でないことがある、テンソル手法などの新しい映像レンダリング方法を利用することも可能にすることができる。
本明細書において説明される二重DMD設計は、個々にアドレス指定可能なサブピクセルを、投影システムFOV内に位置付けられた視聴者に向かって投影することができる。これらのシステムにおいては、第2のDMDのミラーは、LFプロジェクタデバイスから投影されたビームの角度範囲にわたって、単一のスムーズな動きで、スイープすることができる。これは、ミラーが往復スイングするとき、傾き角に対する制御を必要とする。制御エレクトロニクスを正確なタイミングおよび調整で使用することによって、2つのDMDは、その特定のビュー方向を変調するために、第1のDMDのピクセルが使用されるときに、第2のDMDのミラーが正しい方向に向けられるように、互いに同期させることができる。光エンジンは、コンポーネント間の正確なタイミングのために、きわめて高速な切り換えスピードを有することもできる。
投影されるより大きいピクセル内のサブピクセルを、複数の目的のために使用することができる。この詳細な説明のバランスを図って、様々な実施形態が説明される。光学ハードウェア、ならびに時間および空間解像度が、それを可能にするとき、実施形態は、組み合わせることができる。例えば、実施形態においては、第1または第2のDMDのミラーの表面は、微小光学特徴でコーティングされる。個々のサブビームは、微小光学的に変調されるサブピクセルを利用する複数の光学的方法/システムを介して、投影されるライトフィールド内の異なる焦平面において焦点を結ばせることができる。第1のコンポーネントのピクセルが、構造を用いて変更された場合、各マイクロミラーに対して別々に変更を固有にすることができるが、変更が、第2のコンポーネントに対して行われた場合、異なる微小光学セクションが、各マイクロミラー表面内に作られる。小さいミラーと大きいミラーの変更を両方一緒に組み合わせて、例えば、クロマ変調を提供するために第1のDMDのピクセルをカラーフィルタでコーティングすることと、第2のDMDの各ミラーのサブピクセルセクションをある範囲の偏光フィルムでコーティングすることとを組み合わせて、利用することが可能である(偏光を制御すること、および複屈折光学素子を利用することは、焦平面変調のための手段を提供する)。いずれの変更も、マイクロミラーの機械的特性を変化させ、これは、コンポーネントおよび駆動エレクトロニクスの設計において、考慮されるべきである。例えば、ミラーが、薄い誘電体レイヤでコーティングされる場合、スイング部分の質量は、僅かに増加し、変調スピードを遅くさせ、またはミラーを駆動する電気力を上昇させることがある。しかしながら、微小光学構造(例えば、回折格子)が、ミラーの表面にエッチングされる場合、それの質量は、いくらか減少させられ、その部分に作用する同じ電気力は、より速い動きを引き起こす。
第1のDMDについての1つの例示的な光学サブピクセルの変更は、ミラーを非常に薄い偏光フィルムでコーティングすることである。これは、各サブビームの偏光方向を制御することを可能にし、次に、それを、複数の焦平面の生成のために使用することができる。投影レンズが、投影されるサブビームの前方に位置付けられ、レンズが、偏光方向に依存する屈折率を有する高度に複屈折の材料(例えば、方解石)を含む場合、第2のDMDが、視聴者に向かって結像されるとき、いくつかの異なるビームの焦平面を生成することができる。より小さいサブピクセルが、第2のDMDのより大きい物理ピクセルから、別々に変調されるので、異なる焦平面は、固有の映像コンテンツを有することができる。共通のプロジェクタ源としてのより大きいピクセルマトリックスの使用は、焦平面が同じ方向に投影されることを可能にし、各深度レイヤのピクセルアライメントに貢献する。偏光特徴に加えて、ピクセルは、LFプロジェクタデバイスの投影レンズが、深度方向において、連続する焦平面を生成することができるような方法で、ビーム発散および/または方向を変更する、例えば、ホログラフィックコーティングまたは回折溝を含むことができる。他の光学素子も、同様に利用することができる。
図15は、いくつかの実施形態に従った、DDMD-LFIE1500の例示的な構造の概略的な提示を示す。DDMD-LFIE1500の基本構造は、光源1510(例えば、RGB LEDまたはレーザダイオード)と照明光学素子とを有する、光エンジン1505を含むことができる。光エンジン1505は、第1のDMDコンポーネント1515に向けられる光のビームを生成する。第1のDMD1515を作り上げる小型ミラーは、映像ピクセルとしての役割を果たし、第1のDMDは、その特定の時間において必要とされる映像コンテンツに応じて、入射光を、第2のDMDコンポーネント1520または光トラップ1525のどちらかに反射する。レンズ1530は、2つのDMDの間に位置付けられて、第1のDMD1515のピクセルを第2のDMD1520上に結像させ、第1のDMD1515のピクセルを第2のDMD1520の上に効果的にマッピングする。第2のDMD1520は、それのマイクロミラーがそれらの角度範囲にわたってスイープするにつれて、僅かに異なる角度方向に向かって映像を反射する。第1のDMD1515は、第2のDMD1520よりも多くのピクセルを有し、第1のミラーマトリックスは、第2のものの上に結像させられるので、そのため、第2のDMD1520のより大きいピクセル内において、個々にアドレス指定可能なピクセルのサブマトリックスを生成することが可能である。第1のDMD1515は、第2のDMD1520よりも高速なレートで、より小さいピクセルを変調し、第2のDMD1520のピクセルが、投影される映像1535のFOV1540にわたって、より遅いペースでスイープさせられるにつれて、異なるサブマトリックスを異なる投影方向に投影することを可能にする。
第2のDMD1520の物理的特性は、第1のDMD1515の特性とは異なる。DDMD-LFIEの例示的な実施形態は、今日利用可能なほとんどのDMDコンポーネントに見出される、オン-オフ状態だけを有することの代わりに、第2のDMDのマイクロミラーのスキャニング角度に対する正確な制御を必要とする。この制御は、マイクロミラーの動態を第1のDMDのタイミングと調整するための正確なタイミング回路を使用して、達成することができる。ミラー傾けアクションは、人のPOV現象に対して十分に高速であることが必要なだけなので、1000Hz未満の相対的に遅いリフレッシュスピードを使用することができる。
明るいライティング条件およびほとんどの一般的な使用事例に対しては、高い光エンジンの照明出力が、最良である。DMDコンポーネントは、非常に高い光強度に耐えることができるので、使用事例に対して別々に、光エンジンの最大パワーレベルを最適化することができる。周囲ライティングレベルが高い場合、および/またはより多くのビューが望ましい場合、より高いパワーのコンポーネントが、望ましいことがある。実施形態においては、1人または複数人の視聴者の位置を決定する際に、頭部またはアイトラッキングが使用され、映像が必要な方向にだけ投影されるように、ライティングビームの切り換えが、DMDに同期させられ、エネルギーを節約することを可能にする。DMDコンポーネントは、それらの標準的な動きを続行することができ、光エンジンは、オンとオフの切り換えが行われる。第1のDMDのピクセルが色生成のために使用される実施形態においては、光エンジンは単一の高エネルギー白色LEDを用いて作成することができる。放射される光のいくらかは、カラーフィルタによって吸収されるので、照明効率は、より低い。
1つの例示的なDDMD-LFIE設計は、水平方向だけにおいて、マルチビューライトフィールドをサポートする。しかしながら、いくつかの実施形態においては、単一の第1のDMDだけの代わりに、1次DMDの行が、第2のDMDの上に結像させられる。そのような実施形態においては、複数の1次DMDの異なる空間位置が、異なる角度方向に変換されるので、異なる映像を垂直方向にも投影することが可能である。このケースにおいては、DMDのマイクロミラーの傾け角およびコンポーネントサイズが、隣合せて位置付けられ、2次DMD上に結像させることができる、1次DMDの数を制限する。
DDMD-LFIEを用いて垂直ビューを生成する、別の実施形態においては、第2のDMDのマイクロミラーは、第1のDMDから結像されたサブピクセルを異なる垂直方向に反射する、微小光学構造(例えば、格子)を備える。第2のDMDのミラーが、水平方向において、それらの角度範囲にわたってスイープするにつれて、異なる垂直方向に投影される別々の映像が、同時に異なる垂直平面にわたってスイープする。DDMD-LFIEだけに基づいた2つの言及された方法に加えて、本明細書において開示されるようなスクリーンを、光学システムレベルにおいて利用することによって、2つの次元において固有のビューを生成することも可能である。この実施形態は、システムレベル手法に関連して、以下で説明される。
図16A~図16Bは、実施形態に従った、第1のDMDと第2のDMDとの間の様々な例示的な倍率を示す。図16Aは、第1のDMD1605と、第2のDMD1610と、1:1の倍率を有する結像レンズ1615の図である。第1のDMDの映像のサイズは、第1のDMDコンポーネント自体のサイズと同じである。このケースにおいては、第1のDMDの個々のピクセルは、第2のDMDピクセルのサイズに適合するサイズを有する。例えば、第2のDMDが、30μm×30μmピクセルを有し、第1のDMDが、15μm×15μmピクセルを有する場合、4つのより小さいサブピクセルが、第2のDMDのより大きいピクセルの上に結像させられる。代わりの場合として、第1のDMDが、10μmのピクセルサイズを有する場合、9つのサブピクセルが、第2のDMDの1つのピクセルの上に結像させられる。
第1のDMDは、異なる倍率で、第2のDMD上に結像させることができる。図16Bは、第1のDMD1605と、第2のDMD1610と、1:1ではない倍率を有する結像レンズ1620の図である。図16Bに示された実施形態においては、倍率は、1:1とは異なり、互いに補完する2つのDMDのピクセルサイズを選択する必要は、もはや存在しない。映像ピクセルサイズは、結像レンズの倍率を介して調整される。例えば、第1のDMDが、20μmピクセルを有する4Kマトリックス(4096×2160)を備える場合、それは、1:0.75の倍率を有する結像レンズを使用することによって、フルHD解像度(1920×1080ピクセル)および30μmのピクセルサイズを有する第2のDMDの上に結像させることができる。第1のDMDの20μmのピクセルは、15μm(20μm×0.75)の映像サイズを有し、4つのより小さいピクセル映像は、第2のDMDのフルHDマトリックス内の単一のピクセルの上にマッピングすることができるという結果になる。いくつかの光学構成においては、例えば、光エンジンが、きわめて良好にコリメートされたビームを生成することができ、第1のDMDを用いて行われた映像変調を、第2のDMDの表面まで投影されるビーム内において維持することができる場合、結像レンズを完全に省くことが可能なことがある。しかしながら、DMDの間にある結像レンズは、有益な設計およびコンポーネント選択の柔軟性を追加する。
第1のDMDは、結像光学素子の軸方向に沿って、第2のDMDの表面の正確なロケーションから空間的に僅かにずれて結像させられる。これは、DDMD-LFIEが、ピクセル映像の位置スキャニングのために、第2のDMDを使用することを可能にする。小さい空間的なずれなしに、第2のDMDの傾きミラーは、仮想ピクセル位置の適切な偏移を生成することができない。ずれがないと、投影レンズは、異なるミラー傾き角にもかかわらず、ほとんど全く同じロケーションにピクセルを再結像させる。適切な空間的なずれは、第2のDMDのミラーサイズ、および結像光学素子の開口数(NA)に依存する。ずれが大きすぎる場合、第1のDMDのミラーの映像は、第2のDMDのマイクロミラーの開口の外側でぼやけ、ピクセルの間のクロストークを引き起こす。より大きい第2のDMDのピクセルと、より小さい結像光学素子のNAを用いると、ずれの距離をより長くすることができ、第2のDMDのミラーが傾くにつれて仮想ピクセル位置のより大きい偏移をもたらす。例示的な設計が、図20A~図20Bに提示されており、以下で説明される。
図17は、いくつかの実施形態に従った、LFプロジェクタデバイス1700の例示的な構造の概略的な提示を示す。LFプロジェクタデバイス1700は、DDMD-LFIE1705と、投影モジュール1740とを含むことができる。DDMD-LFIE1705は、光エンジン1710と、第1のDMD1715と、第2のDMD1720と、光トラップ1725とを含むことができる。投影モジュール1740は、投影光学素子1745(例えば、レンズ)と、角度拡大要素1750とを含むことができる。投影光学素子1745は、DMDによって生成された映像を表示表面に投影するための、投影レンズを含むことができる。投影光学素子1745は、異なるLF映像を組み合わせて中間仮想ライトフィールド映像にする際に使用される、中継レンズを使用することもでき、中間仮想ライトフィールド映像は、その後、妥当な投影レンズ設計を用いて、表示表面に投影することがより容易である。角度拡大微小光学要素1750は、FOV(1755)を拡大し、より短い距離からより大きいピクチャを投影するために、投影モジュール1740において、使用することができる。
図18は、いくつかの実施形態に従った、(図17に示され、図18に部分的に再現されたものなどの)LFプロジェクタデバイス1805と、透過背面投影スクリーン1820とを利用する、例示的なLF投影システムの概略的な提示を示す。複数の視聴者用の光学システム全体において、DDMD-LFIEを含むLFプロジェクタデバイスを使用するために、投影スクリーン1820を使用することができる。スクリーン1820は、角度調整要素1825と、焦点合わせレンズ要素1830と、光拡散要素1835と、レンズシート1860とを含むことができる。
DMD1810、1815を用いて生成されたLFサブ映像のセットは、プロジェクタデバイス1805からスクリーン1820に、僅かに異なる角度で投影される。スクリーン1820は、各サブ映像の伝搬方向を主な視聴方向に転じる角度調整要素1825を有する。この要素は、例えば、成形されたプラスチックのフレネルレンズ、またはエンボス加工されたマイクロプリズムを備える箔であることができる。ピクセルをレンチキュラレンズシート1860の後ろの焦点に集めるために、別々の焦点合わせ要素1830を使用することができる。この焦点合わせ要素1830は、例えば、マイクロレンズの成形されたアレイ、または回折構造を備えるエンボス加工された箔であることができる。焦点合わせは、プロジェクタデバイス1805内の投影レンズによって実施することもでき(図17の関連する説明を参照)、いくつかのケースにおいては、スクリーン内の焦点合わせ要素1830は、必要でないことがある。光拡散要素1835は、結像された仮想ピクセルマトリックスを均一化し、(i)角度調整および焦点合わせ要素特徴(例えば、フィルファクタ)に結び付けられた映像アーチファクト、ならびに(ii)異なる投影されるサブ映像間の小さい不連続を低減させる助けとなることができる。特定の使用事例に対して、水平ビューだけが必要とされるとき、スクリーンの光操作要素のうちのいくつかは、コストを削減するために、一方向性(例えば、溝)であることができるが、水平および垂直ビューの両方が使用されるべき場合、スクリーン構造も、同様に、2次元であるべきである。一実施形態においては、異なるスクリーン要素のすべての光学的機能は、1つのホログラフィック/回折シートに統合されることができる。シートは、特定の実世界シナリオにおける利用のために、柔軟にすることができる。
スクリーン1820の前面部分(例えば、レンチキュラレンズ1860)は、図18に示されるように、視聴者(1880A~1880E)に可視である。レンチキュラレンズ1860は、標準的なマルチビュー自動立体視システムにおいて使用されるようなレンチキュラレンズ構造に類似して、機能することができる。レンチキュラレンズシートの後ろのピクセル行の映像(例えば、DMDピクセル行1812、1814の映像1840、1845)は、標準的なマルチビューのセットアップにおけるLCDディスプレイのサブピクセルのセットに類似して、ライトフィールドピクセル(LFP)として振る舞う。レンズシート1860の個々のレンチキュラレンズ(例えば、1865、1870)が、視聴者の前方の視聴空間に、空間的に分離された仮想ピクセルを投影するとき、異なるビュー方向が、生成される。DDMD-LFIEが、投影されるピクセルについての2つ以上の焦平面を生成するために、使用されるとき、ピクセル焦平面の異なる深度ロケーションは、投影されるライトフィールドにおける異なる仮想焦平面(例えば、第1の仮想焦平面1850、第2の仮想焦平面1855)に変換される。これは、図18に示されており、第1のDMD1810の上の第1のピクセル行1812は、前方マイクロレンズシート1860の後ろで、仮想ピクセルの行1840として結像され、それは、その後、レンズシート1860によって、視聴者(1880A~1880E)に向けて投影され、第1の仮想焦平面1850を生成する。同様の方式で、この例においては、第1のDMD1810上においてピクセル行1812とインターレースされる、第2のピクセル行1814は、スクリーンの前方レンズ要素1860の後ろで、別の深度ロケーションに結像される(1845)。第2のピクセル行1814の映像1845の深度ロケーションは、第1のピクセル行の映像1840よりもレンズ要素1860から離れているので、第2の仮想焦平面1855は、第1の仮想焦平面1850とスクリーン1820との間の視聴者空間内に生成される。
図19は、いくつかの実施形態に従った、図18のLF投影システムとともに使用することができる、例示的な色合成方法の概略的な提示を示す。この例示的な色合成手法は、LF光学システムレベルにおいて、二重DMD構造を使用することに対する代替方法を例示す。図19に示されるように、異なる色を合成していくつかのフルカラー映像にするために、サブピクセルマトリックスが、使用される。光エンジン1910は、1つの高パワー白色照明LEDだけを含み、第1のDMDコンポーネント1915は、3つの原色だけを反射する、赤色、緑色、および青色の誘電体カラーフィルタでコーティングされた、マイクロミラーを有する。第1のDMD1915上の3つの隣接する色付きの「ピクセル」(例えば、赤色「ピクセル」1920A、緑色「ピクセル」1920B、および青色「ピクセル」1920C)は、第2のDMD1925上の単一のより大きいマイクロミラー上に結像させられるので、色は、すべて、第2のDMD1925上の共用ピクセルによって、同時に同じ方向に投影される。サブ「ピクセル」の別のセット1922A~1922Cも、同様に動作することができる。第2のDMD1925の前方に位置付けられた投影レンズは、サブピクセルをコリメートして、異なるロケーションにおいて投影スクリーン1930に当たる別々のビームにする。投影スクリーン1930の第1の部分(例えば、それぞれ、角度調整要素1935、焦点合わせ要素1940、および拡散要素1945)は、ビームに焦点を結ばせてピクセルの行にする。そのプロセスにおいて、それは、個々の色のビームを同じ空間位置に向け、レンズシートの後ろで、フルカラーピクセル1950の行を形成する。3つのカラーピクセルを合成して1つのフルカラーピクセルにすることは、物理的光学構造(例えば、プリズム、回折構造など)を使用することによって、またはカラーレンダリングスキームの助けを借りて達成され、異なる色付きのサブピクセルは、僅かに異なる時間間隔でアクティブ化され、第2のDMD1925のマイクロミラーの相殺する角運動が、スクリーン1930の近くで、サブピクセル映像をオーバラップさせる。これらのフルカラーピクセル映像は、その後、前方レンズシート1955の後ろで、映像生成要素(LFP)としての役割を果たす。ディスプレイ平面の方向における各仮想ピクセルロケーションは、角度に変換され、スクリーンから1つのビュー方向に投影される。第2のDMD1925が、それの角度範囲にわたってスキャンするにつれて、それは、異なる投影スクリーン位置にわたってもスキャンし、フルライトフィールド映像が、複数の視聴者(1980A~1980E)に対して形成される。
いくつかの実施形態に従うと、図17のLFプロジェクタデバイスは、図11に関連して示されるような、反射前方投影スクリーンとともに利用することができる。
いくつかの既存のマルチビューシステムにおいては、サブピクセルの数、およびそれとともに投影方向の数は、ディスプレイ(例えば、LCDパネル)において利用可能なピクセルの数に固定され、ピクセルの数によって制限される。DDMD-LFIEに基づいた、本明細書において説明されるプロジェクタシステムおよび方法においては、DMDの高速変調ミラーマトリックスは、レンチキュラ構造の後ろに、より密な「仮想」ディスプレイを生成する。時間多重化(例えば、第2のDMDのマイクロミラーの角度スイープ)、および空間多重化(例えば、第1のDMDのピクセルの変調)は、数々の異なる方法で、同時に適用することができる。LFシステムの空間および角解像度要件は、異なるサイズのスクリーン、ユーザの数、明るさレベルなどに対して異なり、基本的に特定の使用事例に結び付けられる。例えば、3Dライトフィールド映像を、スクリーンから1mの距離に座っている1人のユーザに示すために、または大きい投影キャンバスから5mの距離に立っている人々のグループに示すために、同じプロジェクタデバイスを使用することができる。これら2つの使用事例の間の変化は、異なるサイズのスクリーンを選択すること、およびスクリーンサイズ、解像度目標などのための対応する設定を入力することを含むことができる。
3D LF映像レンダリングスキームは、使用事例およびハードウェアのための選択されたパラメータに依存する。システムレベル性能パラメータの間の可能なトレードオフのうちのいくつかは、(ハードウェアを変更する必要なしに)レンダリング設定を変更することによって、行うことができる。これは、異なる光学的機能が、異なるコンポーネントによって実施されるからである。1つの例示的なトレードオフ状況は、空間解像度と固有のビューの数との間のものである。より多くの第1のDMDのピクセルが、第2のDMDのミラーの上に結像させられる場合、より多くの固有のビューまたは焦平面を同時に投影することが可能であるが、低下した空間解像度を代償として-第1のコンポーネントにおいて利用可能なピクセルの総数が、制限される。第2のDMDのミラーが、それらの経路にわたってスイープするとき、第1のDMDは、異なるレートを用いて、同時に変調することができ、マイクロミラーコンポーネントのための制御信号を変更することによって、インターレースを可能にする。例えば、映像の明るさ、および/または電力消費を改善するために、コンテキスト適応型レンダリング方法を使用することができる。さらに、様々な実施形態は、超解像度アルゴリズムをレンダリングスキームに適用して、さもなければDMDマトリックスおよび結像システムの特性によって制限される空間解像度を高めることができる。
視聴者の観点からは、DDMD-LFIEおよび投影光学素子は、透過させる映像の場合はスクリーンの後方に、または反射される映像の場合はスクリーンの前方に位置付けることができる。後方照明スクリーンは、すべての必要なコンポーネントを1つのパッケージ内に有する、「投影TV」に似たデバイスを生み出すことを可能にし、一方、前方照明スクリーンは、ホームシアタシステムのディスプレイ構成により近い製品を可能にする。本明細書において説明されるスクリーン設計は、3D映像をより大きいまたはより小さい角度から見ることを可能にするために、DDMD-LFIEによって生成されたライトフィールドの角度範囲を拡大または縮小することができる。そのようなスクリーンは、例えば、異なる焦点長を有する2つのマイクロレンズまたは小型レンズのコンポーネントから構成することができる。レンズ構造は、それらの間の距離がそれらの焦点長の和に等しくなるように、取り付けることができる。
第2のDMDのマイクロミラーが、角度空間にわたって連続的にスイープするにつれて、DDMD-LFIEは、非常に密なライトフィールドを生成する。3Dシーンの知覚は、視聴者に向かって投影される少なくとも2つの異なるビューポイント、各眼に対して1つのビューを必要とする。例示的なDMDデバイスは、非常に高いリフレッシュ周波数が可能であり、反射される映像は、視聴空間に連続的に投影することができる。いくつかの実施形態においては、システムは、2つ以上の映像を1人の視聴者の瞳孔に投影する。そのような実施形態においては、人は、スクリーンに十分に近く、DMDリフレッシュ周波数は、適切である。これらの実施形態は、「超多視点」条件を満たし、視聴者により自然な視聴体験を提供することができる。先に言及されたように、DDMD-LFIEは、2つ以上の焦平面の生成のために使用することもでき、それは、視聴者から異なる深度距離にある仮想映像、およびより自然な網膜焦点キューを可能にする。
第2のDMDのマイクロミラーのリフレッシュレートについての要件は、かなり低いが、それは、このコンポーネントが、第1のDMDを用いて生成された映像を投影スクリーンにわたってスキャンするために使用されるだけだからである。人の眼は、ディスプレイリフレッシュレートが約60Hzである場合、ちらつきのない映像を見ることができる。この数字は、連続的なビデオ映像の見かけを生成するために、それが毎秒60回ディスプレイ表面にわたってスイープするときの、第2のDMDのリフレッシュレートについての最小値として使用することができる。しかしながら、ほとんどの実施形態においては、カラーレンダリングのための時間を生み出すために、いくらかより高速なレートが、利用される。これは、もちろん、選択されるレンダリングスキームに従って、調整することができる。60Hzは、現在のDMDを用いて、容易に達成可能である。マイクロミラーの角度スイープを制御するために、一実施形態においては、高周波数制御エレクトロニクスが、DMDに接続される。いくつかの実施形態においては、ミラー傾き角は、第1のDMDコンポーネントと同期させることができる。別の実施形態においては、傾きは、段階的方式で適用することができ、第2のコンポーネントのマイクロミラーは、極限傾き角の間の中間位置において、停止させられる。
第1のDMDコンポーネントは、第2のDMDよりも高速なリフレッシュレートを有することができる。第1のDMDは、投影スクリーンの近くにおける仮想ピクセルの変調のために、使用することができる。固有のビュー方向の数、および達成可能な空間解像度は、第2のDMDのスイープサイクルの周期に対して、映像を変調することができるスピードに依存する。
図20Aは、いくつかの実施形態に従った、フル3D LF投影システムにおいて使用するための例示的なDDMD-LFIEを示す。例示的な投影システムにおいては、この例における目標スクリーンサイズは、26インチモニタ(図示されず)に対応し、スクリーン表面上における目標空間解像度は、HD対応(例えば、1280×720ピクセル)である。システムは、2つのDMD(2010、2015)コンポーネントと、白色光照明を生成する光エンジン2005とを使用する。第1のDMD2010のマイクロミラーは、別々のカラーフィルタでコーティングされ、ピクセルは、照明されたとき、赤色、緑色、および青色光を反射する。レンズ2020は、第1のDMD2010を第2のDMD2105の上に結像させ、それが、次に、ピクセル映像を角度範囲にわたってスキャンする。第2のDMD2015の後ろに位置付けられた中継レンズ2025は、ピクセルマトリックスの中間映像を作成し、それは、次に、別個の投影レンズを用いて、スクリーン上に結像させることができる。この中間像面2030は、DDMD-LFIEモジュールと投影モジュールとの間のインターフェースである。
1人の視聴者が、スクリーンから1mの距離に位置付けられる。スクリーンは、DDMD-LFIEおよび投影光学素子を用いて生成されたマルチビュー映像を、背面投影方式で、視聴者に向ける。同じ3Dコンテンツの異なるビュー方向からの複数の映像が、1人のユーザの視聴ゾーンに向けられ、ユーザは、3D立体視映像を見ることができる。例示的なレンダリングスキームは、マルチビューフルカラー映像の生成のために使用することができる。
第1のDMD2010は、3μmのピッチを有する、マイクロミラーの4Kマトリックス(例えば、3840×2160ピクセル)を有することができ、第2のDMD2015は、9μmピクセルピッチを有する、720p高精細(HD)マトリックス(例えば、1280×720ピクセル)を有することができる。第1のDMDコンポーネント2010の9つのマイクロミラーのアレイは、第2のDMD2015内の1つの単一のマイクロミラーの上に結像させられる。ミラーマトリックスの表面積は、同じ(11.52mm×6.48mm)であり、したがって、例示的な結像レンズは、1:1の倍率を生み出す。これは、例えば、2つのDMDコンポーネントから約100mmの距離に位置付けられた、約67.50mmの焦点長および約40.10mmの開口直径(f#2.5)を有するレンズを用いて、達成することができる。光エンジンおよび光トラップのためのスペースを提供するために、第1のDMDは、結像レンズの光軸に対して、22.5度だけ傾けられる。第2のDMDは、同じ大きさの角度だけ傾けられるが、それは反対方向にである。これは、第1のDMDの傾けられた像面が、第2のDMDの表面に平行になり、より小さいピクセルが、より大きいピクセルの上に正確にマッピングされることを保証する。それでも、像面は、より大きいミラーの傾けアクションを用いて、より小さいピクセルの見かけの位置を偏移させることができるように、ミラーマトリックス表面から約15μmの公称距離に位置付けられる。これは、少し後の図20Bの説明において、さらに説明される。
第1のDMDは、単一の高明度の白色LEDと、光コリメーション光学素子とを含む、光エンジンを用いて照明される。光エンジンは、マイクロミラーマトリックス表面エリア全体をカバーし、2つのDMDの間の結像レンズの開口全体(f#2.5)を満たすことができるように、少なくとも0.21のNA値を有する、照明ビームを生成する。±11.25度のマイクロミラーの傾き角が、映像コンテンツに応じて、反射されたビームを、結像光学素子の開口または光トラップ2007のどちらかに向ける。
第2のDMDの後に位置付けられた中継レンズは、ピクセルマトリックスの中間映像を生成し、それは、次に、投影レンズを用いて、スクリーン上に再結像させられる。例示的なシステムにおいて使用される中継レンズは、約10mmの焦点長を有し、第2のDMDは、中継レンズから100mmのところに位置付けられ、中間映像は、中継レンズから50mmであり、1:0.5の倍率を生み出す。中間映像は、中継レンズの光軸から離れて今は約11.3度傾けられた、仮想平面上に位置付けられる。この傾きが現れるのは、第2のDMDの表面も傾けられるからである。この像面は、DDMD-LFIEモジュールと投影モジュールとの間のインターフェースとして、使用することができる。異なる種類のLF投影システムを生成するために、異なる種類の投影レンズと一緒に、同じDDMD-LFIEを使用することができる。一実施形態においては、DDMD-LFIEモジュールと投影モジュールとを含む、LF投影デバイスは、異なる使用事例に適した交換可能な投影レンズを取り付ける選択肢を含む。これが可能なのは、中間像面が、フル3Dライトフィールド映像情報をすでに含むからである。
図20Bは、実施形態に従った、図20Aの第2のDMDのズームインされた図を示す。それは、第2のDMD2015の表面から15μmの距離にある、第1のDMD映像の焦点2050のクローズアップ図を提供する。像面は、ミラーマトリックス表面から約15μmの公称距離に位置付けられる。これが、より小さいピクセルの見かけの位置を偏移させるための、より大きいミラーの傾けアクションを引き起こす。この小さい距離がないと、第2のDMD2015のミラーの傾けは、第2のDMDミラー2015の中央において、それらが回転軸に近すぎるので、第1のDMDミラーの鏡映仮想位置の十分な動きを引き起こさない。中継レンズおよび投影レンズは、仮想ピクセルをスクリーン上の正確に同じ位置に結像させる。これは、第2のDMD2015のミラーの端に結像させられる第1のDMDのマイクロミラーには適用されないが、それは、より大きいミラーが、それの中心に配置された軸の周りで傾くとき、映像とミラーとの間に、常にいくらかの距離が存在するからである。この距離は、第2のDMDミラー2015が傾くにつれて変化するが、ミラーはフラットで十分に反射するので、光学品質に影響しない。第1のDMD映像2050と第2のDMD2015の表面との間の距離は、非常に小さいので、光エンジン照明および結像レンズのための開口数(NA)が、十分に小さく保たれている限り、第2のDMD2015のミラーの上で生じる映像ぼやけは、ピクセルマッピングに過大に影響することはない。この特定の例については、適切なNAは、約0.21の範囲内にある。
図21は、いくつかの実施形態に従った、図20AのDDMD-LFIE、および様々な第2のDMD2115の傾き量に対応する仮想映像を示す。DDMD-LFIEは、光学的機能の3つの異なるステージにおいて示されている。第2のDMD2115のマイクロミラーが、それらの角度範囲にわたって傾くにつれて、第1のDMD2102のマイクロミラーの仮想位置(2104、2106)が、変化する。極限位置において、傾けられたビームは、中継レンズ2135の開口全体を満たす。中継レンズ2135は、異なる仮想位置を像面2150に結像させ、映像ピクセルの空間ロケーションは、傾き角(2104、2106)に対応する。これは、第2のマイクロミラー2115の回転を用いて、映像ピクセルロケーションを小さい距離にわたってスキャンすることを可能にする。提示された例においては、±12度のミラーの傾きは、(中間像面において)1つのサブピクセル位置が3つの隣合せのサブピクセルの範囲にわたってスキャンすることを引き起こす。
図22は、実施形態に従った、図20AのDDMD-LFIE、投影レンズ、および投影スクリーンを示す。DDMD-LFIEに加えて、例示的なフル3D LFディスプレイシステムは、投影レンズと、スクリーンとを使用する。図22は、1つの例示的な投影システムの図式および幾何学的配置を示す。DDMD-LFIEは、投影レンズを用いて、中間像面から投影スクリーンに結像させられる、一連の映像を生成する。映像エンジンを用いて生成された像面が、傾けられるにつれて、投影レンズの光軸が、中継レンズの光軸に対して傾けられる。しかしながら、光路をまっすぐにするために、微小パターンが形成されたデフューザ、または角度傾け要素をここに位置付けることができる。投影レンズが、約10mmの焦点長を有する場合、DDMD-LFIEと投影レンズの組み合わせからの合計倍率は、近似的に50:1であり、第1のDMDからスクリーンまでに達成される。これは、1mの距離から投影される映像が、576mm×324mmのエリアをカバーすることを意味し、それは、26インチモニタに対応する。図22のスクリーンは、投影されるビームにスクリーン前方の1mの距離に再び焦点を結ばせる、500mm焦点長フレネルレンズを有する。この距離に位置付けられた1人の視聴者は、約32度の水平FOVにわたる映像を見る。
図23は、実施形態に従った、図22の投影スクリーンの構造および幾何学的配置の概略的な提示を示す。
投影スクリーンは、3つの主要部分、すなわち、マルチビュー映像を視聴者ロケーションに向けるフレネルレンズと、投影される映像ピクセルを垂直方向に拡散させるが、水平にはさせない、ホログラフィックデフューザと、ピクセル映像を水平方向において異なる角度に投影するレンチキュラシートとから成る。これらのコンポーネントのすべては、非常にフラットに作成し、スクリーンを形成するために積層することができ、それは、10mm未満の合計厚さを有することができる。LF映像は、スクリーンからスクリーン前方の特定の視聴窓に投影されるので、システムは、もっぱら1人のユーザ向けであることを意図している。本例における第2のDMDは、垂直方向のための補助的なスキャニング要素を有さないので、同じ3Dシーンの複数のビューは、水平方向だけにおいて生成される。
図24A~図24Bは、実施形態に従った、映像が図22の投影スクリーン上に投影されたときに引き起こされる回折を例示する。50:1の光学システムの合計倍率を用いると、単一の第1のDMDのピクセルは、幾何学的に、約150μmの直径を有するスポットとして、スクリーンに結像される。しかしながら、図24Aに示されるように、回折が、このスポットの縁(外側の末尾)をいくらかぼやけさせる。説明されたf#2.5の結像システムを用いると、緑色(550nm)光についてのエアリディスク半径は、約80μmであり、結像されたスポットの全幅半値は、約220μmである。青色(450nm)ピクセルを用いると、エアリディスク半径が約60μmであるので、スポットサイズは、僅かにより小さく、赤色(650nm)ピクセルを用いると、エアリディスク半径が約100μmであるので、スポットサイズは、より大きい。近隣ピクセルは、150μmのピッチで、スクリーンに結像され、それは、図24Bに示されるように、スポット間にいくらかのオーバラップが存在することを意味する。スクリーン上における単一のスポットの中心ロケーションは、第2のDMDマイクロミラーが、±12度の角度だけ傾いたとき、±150μmだけ偏移させられる。これは、単一のピクセル映像が、スクリーン上において、3つの隣合せのピクセルの組み合わせされた幅に等しい、約450μmの幅にわたってスキャン可能であることを意味する。スクリーン前方のマイクロレンズ(レンチキュラシート)は、0.45mmのピッチを有し、それによって、3つの隣接ピクセルの範囲をカバーする。これらのレンズは、ピクセル映像を異なる方向に投影することができる、プロジェクタセル構造(またはLFピクセル)を形成する。576mm幅のディスプレイは、水平方向において、1280個の隣合せのこれらのプロジェクタセルを有する。これは、提示された光学システムを、1280×720LFピクセルを有する、26インチHD対応ディスプレイに対応させる。
この実世界の例においては、ピクセル映像は、NAが約0.004、直径が約220nmの良好にコリメートされたビームとして、スクリーンのマイクロレンズ開口に投影される。図23において提示された例示的なスクリーンにおいては、マイクロレンズの焦点長は、4.5mmであり、ピクセルビームは、約3度の発散角(divergence angle)で、スクリーンのマイクロレンズ開口から投影される。スクリーンから1mの距離において、単一のピクセルから生成されたビームは、約57mmの最大幅を有する。レンチキュラスクリーンの後ろの単一のロケーションから投影された単一のピクセルは、この水平視聴窓内でだけ、見ることができる。平均的な人の瞳孔間距離は、約64mmであるので、スクリーンから単一の方向に投影された単一のピクセルは、1度に一方の眼にだけ可視である。第2のDMDのマイクロミラーが、±12度の角度範囲をスキャンするとき、投影されたピクセル映像は、マイクロレンズの後ろで偏移し、スクリーン前方1mの距離にある単一のピクセルの視聴窓は、中心位置から約±30mm偏移する。単一のビーム幅およびスキャニング範囲によってカバーされる合計角度範囲は、約6度である。これは、単一のピクセルの映像を、約100mmの水平幅を有する全体視聴窓内で見ることができることを意味する。この幅は、1人の視聴者の両眼を容易に含むことができ、それは、全体視聴窓を形成する。立体視3D映像は、同じ3Dコンテンツからの2つの異なる映像を2つの眼に別々に投影することによって形成される。提示されるシステムおよび光学的方法は、2つの眼の幅にわたってスキャンされることができる、制限された単一のピクセルの視聴窓を介して、これを可能にする。
一実施形態においては、本システムのためのフルカラー映像レンダリング方法は、第1のDMDのマイクロミラーの上で処理されるカラーフィルタ(例えば、誘電体薄膜)を使用して、実施される。白色LED照明の下において、3つの異なる色(赤色、緑色、および青色)が、ミラーから反射される。異なるカラーフィルタが、水平マトリックス方向において、隣合せの連続するマイクロミラー上において処理される。垂直方向においては、カラーフィルタは、異なる反射率の値を有する。例として、反射率の値は、第1のピクセルが、1の相対強度で光を反射する場合、第2のピクセルは、5の強度で反射し、第3のピクセルは、25の強度で反射するように取り決めることができる。この取り決めは、例えば、白色LEDの2つの異なる照明強度レベルだけを使用して、3×3のピクセルを有する色付けされたアレイから、1、2、5、10、25、50の相対強度値の系列を生成することを可能にする。同様の方法で、4つの異なるLED強度レベル(1x、2x、3x、4x)を使用して、最大で310という値までの相対強度の系列を生成することができる(1+5+25=31;1×31+2×31+3×31+4×31=310)。これは、正しい第1のDMDのピクセルを正しい時間に正しい順番でアクティブ化することによって、これらの強度間隔が組み合わせされるとき、スクリーン上における単一のLFピクセルの出現を、310個の異なる強度レベルの間、および3つの異なる色の間で、切り換えることができることを意味する。
本明細書において説明されるハードウェアベースのレンダリングスキームは、光エンジンが、第2のDMDの動きと同期して、4つの異なる照明レベルを連続して生成するように構成される場合、第2のDMDミラーの4回のスキャン(または2回の往復スキャン)を用いて、フル24ビットカラー映像を生成することができることを教える。第2のDMDのための適切なスキャニング周波数は、120Hzである(極限値の間の2回のマイクロミラーの往復の傾き)。その周波数は、人の眼にとってちらつきのない映像を生成し、POVタイムフレーム内において異なる色を合成する。第1のDMDの色付きのサブピクセルマイクロミラーの連続するアクティブ化の間に、約2.1msの時間遅延が導入された場合、第2のDMDミラーの水平スイープアクションは、異なる色付きのサブピクセル映像が、中間像面上および投影スクリーン上においてオーバラップし、フルカラー仮想ピクセルを生成する原因となる。白色LEDは、それを第2のDMDコンポーネントと同期させるために、240Hzの周波数で、4つの強度レベルの間で変調することができる。これらの周波数値の両方が、現在利用可能なコンポーネントの動作範囲内において良好である。
システムがマルチビューレンダリングスキームを使用する実施形態においては、スクリーンのレンチキュラレンズの後ろの仮想ピクセルのスイーピング運動を使用して、スクリーンから僅かに異なる視野角に投影される複数の固有の2D映像を生成する。これらの2D映像の各ピクセルは、単一のLFピクセルから投影されているので、それらは、すべて、プロジェクタセル構造と同じ空間解像度(1280×720)を有する。3つの色付きのサブピクセルは、一時的に組み合わされるので、第1のDMDのより高い解像度は、ユーザに可視ではない。水平方向および垂直方向において、スクリーンのデフューザ表面は、異なる反射されたサブピクセルの強度値の統合を容易にする。
マイクロミラー傾けアクションが、時間多重化を使用するとき、システムは、DMDの空間解像度によって、もはや制限されない。例示的なDDMD-LFIEを用いて生成することができる固有のビューの数は、人の視覚系の残像(POV)現象、およびカラーレンダリングのためのLED強度変調を考慮して、第1のDMDを用いて作ることができる、映像変調サイクルの数によって決定される。33kHzのバイナリフレームレートを有する、1つの現在存在するDMDコンポーネントは、Texas Instrument DLP7000である。このコンポーネントを用いると、同じシーンの138個(33000Hz/(4(スイープ)×60Hz))ほどの異なる2Dビューを、1人のユーザの視聴窓に投影することができ、それを、指定された1mの視聴距離において、互いに約0.7mm(100mm/138)だけ空間的にずらされたビューで満たすことができる。これは、少なくとも2つの異なるビューを、人の視覚的持続タイムフレーム内において、単一の眼の瞳孔(最小直径2mm)の中に投影することができることを意味し、1人のユーザについてのSMV条件を満たす。
いくつかの異なる種類のレンダリングスキームを、提示されるディスプレイ構造および光学的方法と一緒に使用することができる。選択されたレンダリングスキームに応じて、実現されるディスプレイデバイスは、角度ビューの非常に密なグリッドを有するマルチビューディスプレイ、または複数のビューおよび焦平面を有する真のライトフィールドディスプレイのどちらかであることができる。
マルチビューレンダリングスキームにおいては、各LFピクセルは、同じ3Dシーンからの各2Dビューの1つのピクセルを投影する。この構造においては、LFピクセルは、スクリーンのフロントレンズシート内の単一のレンズの近くに投影されたDMDピクセル映像によって形成される。単一のLFピクセル内の利用可能なサブピクセルの数(および生成されたビューの数)は、例えば、スクリーン設計(単一のレンズのサイズ)、DMDピクセルの数、および第1のDMDの達成可能な変調スピードに依存する。このレンダリングスキームにおいては、1つの2D指向性映像内のすべてのピクセルは、LFピクセル内の同じ相対位置にある仮想サブピクセルを用いて生成される。例えば、すべての右上隅のLFサブピクセルは、ディスプレイ中心から左下隅に位置付けられたビューに向かって投影される。マルチビュー映像の場は、第2のDMDの角度スキャニングアクションに同期して、映像を変調することによって、より密にすることができる。第1のDMDは、より小さいピクセルを非常に高速なレートで変調するので、第2のDMDによって投影されたピクセル行が、LFピクセル開口にわたってスイープするとき、空間的な制限なしに、スクリーンのLFピクセルの仮想サブピクセルを生成することができる。このレンダリングスキームだけでは、各仮想サブピクセル深度レイヤに対して、ただ1つのレンダリングされた焦平面しか存在しないので、眼のための正確な焦点キューを提供することができない。しかしながら、このスキームは、レンダリングが、小さい角度間隔における一連の2Dビューしか必要としないので、実施するのがより簡単である。スクリーンの近くに、2つ以上の仮想サブピクセル深度レイヤを生成するために、ハードウェアを使用することができるので、このハードウェアベースの手法を用いて、視聴空間において2つ以上の焦平面を生成し、深度キューを提供することも可能である。
第2のより要求の厳しい真のLFレンダリングスキームにおいては、目標は、複数の視聴方向に加えて、物理的なディスプレイ表面の前方または後方に、視聴者が観察するいくつかの焦点または焦平面を生成することである。この実施形態においては、ハードウェアが、複数の焦平面を提供することができる必要はなく、それは、それらが、純粋にレンダリング方法を通して生成されるからである。これは、マルチビューケースにおいて説明された手法と比較して、異なるレンダリング手法を利用するが、それは、少なくとも2つの投影されるビームが、各3Dオブジェクトポイントまたはボクセルのために生成されるからである。ディスプレイと観察者との間にあるすべてのボクセルについて、輻輳ビームは、ディスプレイの前方の正しいボクセル距離において、交わるべきである。同様に、観察者よりもディスプレイにより近く位置付けられたボクセルは、ディスプレイの後ろで仮想的に交わるビーム対を有する。3Dオブジェクトピクセルが正確にディスプレイ表面にあるケースにおいては、ただ1つのビームを使用することができる。(少なくとも)2つのビームの交わりは、ディスプレイ表面だけにあるわけではない焦点(または焦平面)を生成することができる。言い換えると、ビームは、望ましい真のライトフィールドを生成することができる。
真のLFレンダリングは、重い計算を含むことがあるので、3Dデータは、観察者の視覚系が連続的な3D深度体験を有するほど十分に近い、ある離散的な深度レイヤにフィルタリングされ/切り取られることがある。50cmから無限大までの視覚範囲をカバーすることは、推定される人の視覚系の平均的な深度解像度に基づいて、約27個の異なる深度レイヤを要する。深度レイヤは、距離に従って、時間的に順番に表示することができ、またはそれらは、映像コンテンツに基づいて、混合し、適合させることができる。観察者の位置も、デバイスにおいて能動的に検出することができ、ボクセルは、観察者が配置された方向にだけレンダリングされる。ディスプレイ構造の周り、またはディスプレイ構造内のカメラを用いる、近赤外(NIR)光による、能動的な観察者のアイトラッキングを、このタスクのために利用することができる。このレンダリングスキームにおいては、複数の焦平面が、制御ソフトウェアを用いて生成され、平面の数は、ソフトウェアをしかるべく構成することによって、必要に基づいて、増減させることができる。ハードウェアの観点からは、深度平面の数を制限する主要な要因は、第1のDMDのリフレッシュレート、ならびにDMDピクセルのサイズ、デバイスの投影レンズ、スクリーンのレンズシートの単一のレンズの開口サイズ、およびレンズシートの光学品質の組み合わせを用いて達成可能な、単一の光ビームのコリメーションの品質である。
提示される光学的方法は、異なる数のピクセルを有する多くの異なるサイズのディスプレイに適用することができる。正しいレンダリングスキームの選択は、ハードウェア制限および使用事例に依存する。例えば、明るいエリアにおける壁いっぱいの広告ディスプレイにおいては、高い光強度は、スクリーンのレンズシートの後ろの単一の仮想ピクセルが、より高い明るさを提供するために、長時間の期間にわたって、オン状態にあることができることを意味する。これは、第2のDMDのスイーピングアクションが、より大きいエリア上にピクセル映像を広げるとき、より大きい仮想LFサブピクセルをもたらすことができ、スクリーンから来る投影されたビームは、真のLFレンダリングスキームが適切に機能するには、大きすぎるビーム発散(beam divergence)を有することがある。ディスプレイは、複数の同時視聴者によって、遠くの距離からだけ見ることが可能である必要があることがある。そのようなケースにおいては、視聴者とディスプレイとの間の長い距離は、深度についての視聴者の知覚が、あまり正確でなく、密なマルチビューディスプレイが、十分良好に3D効果を生み出すことができることを暗示するので、マルチビューレンダリングスキームが、より適切である。別の例は、非常に密な仮想ピクセルレイヤを用いて生成される、1人のユーザのためのより小さいディスプレイである。仮想レイヤは、より低い光強度を有する多数の非常に小さいピクセルを含むことができる。このケースにおいては、より複雑な真のLFレンダリングスキームを利用することができる。空間解像度は、十分であることができ、過度な量の計算能力およびデータ転送スピードを要求することなく、1人のユーザの方向およびアイボックスのために、多数の焦平面を計算することができる。
空間/角解像度と深度解像度に関して、真のLFレンダリングスキームと光学ハードウェアの両方と関連付けられた、1つの性能トレードオフ状況が、見出される。限られた数のDMDピクセルおよび切り換えスピードを与えられた場合、より低い数の焦平面を代償として、高い空間/角解像度を強調するか、それともよりぼやけた映像を代償として、より良い深度効果のためにより多くの焦平面を有するかどうかを選択しなければならない。より多くの焦平面は、より多くの計算およびより高いデータ転送スピードを必要とするので、同じ関係が、システムレベルにおけるデータ処理に適用される。深度解像度は、対数的に減少するので、オブジェクトがさらに遠ざかるにつれて、人の視覚系は、深度情報を自然に圧縮する。同時に、像面がさらに遠ざかるにつれて、眼は、より大きい詳細だけしか解像することができない。これは、視聴者から異なる距離において、例えば、異なるピクセル解像度を生成し、映像レンダリングのための処理要件を引き下げる、レンダリングスキームを設計することを可能にする。レンダリングスキームに結び付けられた、これら説明されたトレードオフのすべては、提示される映像コンテンツに基づいて、例えば、より高い解像度または映像の明るさを可能にするように、さらに適合させることができる。
フルカラーピクチャをレンダリングするために、3つの異なる色付きのピクセルを組み合わせることができる。先の章において説明されたように、この目的のために、本明細書において説明される光学システムを使用することができる。しかしながら、いくつかのケースにおいては、ハードウェア特性が、このプロセスに制約を課すことがあり、別のカラーレンダリングスキームが、使用される。1つのスキームは、異なる色付きのサブピクセルを、互いに僅かに異なる時間に僅かに異なるロケーションにおいてアクティブ化することによって、第2のDMDのマイクロミラーのスイーピング運動を、追加される利点として使用することである。赤色、緑色、および青色ピクセルのアクティブ化の間の時間間隔が、正確に選択された場合、ミラーは、3つの色付きのピクセルすべてが同じ方向に投影される位置に傾くのに、ちょうど十分な時間を有する。ミラーのスイーピング運動は、空間的に隔てられたサブピクセルの同期の取られた順次的なアクティブ化によって中和/相殺される。色は、異なる色付きの映像の投影の間に小さい影響のない時間ギャップを導入する時間多重化によって、投影スクリーンのLFピクセルにおいて合成することができる。
いくつかの実施形態においては、光エンジンにおいて光源を生成するステップであって、光源は、反射要素の第1の個々に制御可能なピクセルのマトリックスに入射する、ステップと、入射光を、反射要素の第2の個々に制御可能なピクセルのマトリックス、または光トラップのどちらかに向け直すために、第1の個々に制御可能なピクセルのマトリックスを変調するステップと、それの反射要素を角度範囲にわたってスイープし、入射光を僅かに異なる角度方向にある投影モジュールに向け直すために、第2の個々に制御可能なピクセルのマトリックスを変調するステップと、変調された入射光を、投影モジュールを介して、様々な方向に投影するステップとを含む方法が、存在することができる。方法は、光エンジンが、RGB LED、レーザダイオード、および照明光学素子のうちの1つを備え、様々なRGB色合成をレンダリングするために、時間的に変調されることを含むことができる。方法は、光エンジンが、白色光源を生成することを含むことができる。方法は、第1のピクセルマトリックスの変調が、第2のピクセルマトリックス内のスイープする反射要素の角度方向付けと同期させられることを含むことができる。方法は、第1のピクセルマトリックスが、第2のピクセルマトリックスよりも多くのピクセルを有し、第1のピクセルマトリックスが、第2のピクセルマトリックスのより大きい各反射要素内の個々にアドレス指定可能なサブピクセルのサブマトリックスを生成するために、第2のミラーの上に結像されることを含むことができる。方法は、第2のピクセルマトリックスが、時間多重化と空間多重化の組み合わせを使用して、異なるサブマトリックスを異なる方向に投影することを含むことができる。方法は、第1のピクセルマトリックスが、第2のピクセルマトリックスよりも高い周波数で変調されることを含むことができる。方法は、第1および第2の個々に制御可能なピクセルのマトリックスが、デジタルマイクロミラーデバイス(DMD)であること、ならびに第1のDMDは、第2のDMDよりも大きい解像度および変調周波数を有し、第2のDMDは、より低速で変調されるスイープ角に対する正確な空間-時間制御を有することを含むことができる。方法は、第2のピクセルマトリックスの反射要素が、相対的に遅いスピードで角度範囲にわたってスイープするにつれて、第2のピクセルマトリックスが、異なるサブマトリックスを異なる方向に投影することを含むことができる。方法は、第1のDMDによって反射された光が、2つのDMDの間に配置された結像レンズを通過することを含むことができる。方法は、第2のDMDが変調されたときに、仮想ピクセル位置の適切な偏移を生み出すために、第1のDMDが、第2のDMDの表面から空間的に僅かにずれて結像されることを含むことができる。方法は、投影モジュールが、反射スクリーンを備えることを含むことができる。方法は、投影モジュールが、透過スクリーンを備えることを含むことができる。方法は、投影モジュールが、レンズを備えることを含むことができる。方法は、投影モジュールが、角度拡大要素をさらに備えることを含むことができる。方法は、第2のピクセルマトリックスからの異なるLF映像を組み合わせて、中間仮想ライトフィールド映像にする、中継レンズをさらに含み、仮想ライトフィールド映像は、二重DMDライトフィールドエンジンと投影モジュールとの間のインターフェースとしての役割を果たす。方法は、第1のDMDの反射要素が、様々な偏光フィルムでコーティングされること、第1のDMDを変調することが、各サブビームの偏光方向を制御することをさらに含むこと、および複屈折投影レンズが異なる偏光方向を異なる焦平面に結像させることを含むことができる。方法は、変調された入射光の投影が、変調された入射光のスクリーン上への投影を含むことを含むことができる。方法は、スクリーンが、角度調整要素と、焦点合わせレンズ要素と、光拡散要素と、レンチキュラレンズシートとを備えることを含むことができる。方法は、サブピクセルマトリックスが、異なる色を合成して、いくつかのフルカラー映像にするために使用されることを含むことができる。
いくつかの実施形態においては、複数のカラー照明器の時間的変調の同期が取られて、出力光を反射要素のピクセル化された別々に制御可能なマトリックスに入射させるステップであって、反射された光は、可動ミラーアセンブリまたは光トラップに入射するようになる、ステップと、ミラーアセンブリが、カラー照明器の変調と反射要素の制御可能なマトリックスの両方に同期させられた方式で、角度にわたってスイープするステップと、ミラーアセンブリから光の投影モジュールを介して反射された光を出力するステップとを含む、3Dマルチビュー映像を表示する方法が、存在することができる。方法は、各窓が典型的な人の瞳孔間距離ほどの大きさである、複数の可視窓内に表示される、複数の別々のビューを提供するために、時間的に変調された方式で、映像コンテンツをレンダリングし、ディスプレイデバイスに提示することを含むことができる。方法は、各窓が典型的な人の瞳孔間距離ほどの大きさである、複数の可視窓を有するホログラフィックスクリーンに投影される、複数の別々のビューを提供するために、時間的に変調された方式で、映像コンテンツをレンダリングし、ディスプレイデバイスに提示することを含むことができる。
いくつかの実施形態においては、光源を提供するための光生成手段と、光源を変調するために、第1のDMDと第2のDMDによって少なくとも部分的に実施される、映像変調手段と、変調された光を第2のDMDから様々な方向に向けて送るための投影手段と、映像変調を実施するモジュールの間の正確なタイミングを調整するための同期手段とを備える、二重DMDライトフィールド映像エンジンが、存在することができる。二重DMDライトフィールド映像エンジンは、映像変調手段が、光生成手段において光源を変調することによって少なくとも部分的に実施されることを含むことができる。
光コリメーションミラーの光学的機能。本開示において提示される例示的な実施形態は、非常に小さい光コリメーティングミラーを使用する。光コリメーティングミラーを用いて生成されたビームは、一般に、位置的誤差に対して非常に敏感である。一般的なルールとして、システムが、より敏感になるほど、より良いコリメーション品質が、必要とされる。点源をコリメートするためには、放物形が、通常は理想的であるが、それらも、位置的誤差に対して厳しい許容範囲を有し、例えば、拡大された源とともに発生する、非常に大きい軸外収差が生じる傾向にある。いくつかのケースにおいては、コリメートされたビームが望まれる場合、例えば、位置的偏移の形態で、何らかの収差補償を実行することができる。
ミラー形状は、多くの異なる方法を用いて、小さいスケールで製造することができ、同じ基本的光学的機能を実行する異なるミラー設計も、存在することができる。例えば、いくつかのミラーは、放物型方程式に従う、従来の連続形状を有することができ、光学コンポーネントは、縁よりも中央においてはるかに薄い。そのような形状は、通常、直接的にガラスもしくは金属基板を、またはプラスチックもしくはガラス材料への形状の複写のために後で使用される型を研削および研磨することによって、製造される。いくつかのミラーは、湾曲した形状が異なるゾーンまたはフレネルリングに分割される、フレネルタイプの設計を有することができる。基本的なアイデアは、コンポーネントをよりフラットにすることであり、それは、複写によるそのような形状の製造にとって有益である。光学素子において必要とされる、精密な表面品質および形状精度を生み出すことができる、多くの異なる複写技法が、存在する。例えば、きわめて正確な光学形状を、プラスチック片として大量製造するために、またはロールツーロール生産ラインを用いてプラスチック箔上に大量製造するためにさえ、射出成形およびUVエンボス加工を使用することができる。いくつかのミラーは、肉眼スケールでは完全にフラットに見えることがあるが、同じビームコリメーティング光学的機能性を保持するための、表面上の回折微小構造を特徴とすることができる。回折光学素子設計において必要とされるナノメートルスケールの構造を作成するために使用することができる、例えば、電子ビームリソグラフィまたは反応性イオンエッチングなどの、異なる製造方法が、存在する。これらの形状は、例えば、材料に対して適切な接着性を有するいずれかの表面に付着させることができるUV硬化性材料を用いて、複写することもでき、異なる表面を非常に薄い光学構造でコーティングすることを可能にする。
ミラーベースの3Dディスプレイの概要。小さい光コリメーティングミラーおよび非常に小さい光放射要素の使用に基づいて、3Dピクチャを生成するための構造および方法が、本明細書において説明される。例示的な実施形態においては、光放射要素は、疎なアレイとして透明な窓に接合される。それらは、コリメーティングミラーに当たる光の円錐を生成し、光の良好にコリメートされたビームが、反射し返される。光放射コンポーネント(例えば、μLED)は、非常に小さいので、それらは、ミラーの上の基板表面エリアの相対的に小さい部分しか占有せず、ビーム内の光のほとんどは、放射器を通り越し、透明な窓を通って構造から出て行く。単一のミラーから異なる方向に向かって反射される一連のビームは、静止ミラーとともに光放射器の行を使用することによって、または角スキャニングミラーとともに単一の放射器を使用することによって、生成することができる。ミラーのサイズが、十分に小さいとき、放射器と単一のミラーは、複数の良好にコリメートされたビームを異なる方向に投影することが可能な、1つの多方向ディスプレイピクセル(MDP)を形成することができる。いくつかの実施形態においては、フルマルチビュー3Dディスプレイは、ディスプレイ表面エリア全体を説明された構造でカバーすることによって、作成される。単一のMDPから放射された単一のビームは、任意の与えられた時間において、一方の眼にだけ可視である。3Dピクチャは、異なるビュー方向において、映像コンテンツに従って、光放射器出力を変調することによって、形成することができ、一連の固有の立体視ビューが、生成される。
例示的な実施形態は、モバイルデバイス使用に適することがある、フラットで良品質のマルチビュー3Dディスプレイを提供する。電気から使用可能な光へのエネルギー変換の効率は、他の既存のソリューションを用いるよりも容易に、提示される構造を用いて最適化することができ、それは、エネルギーを節約し、モバイルデバイスの動作時間を延長することを可能にする。光学構造の単純化は、高品質光学システムにおいてクリティカルな、コンポーネント製造および組み立て公差の連鎖を制御することを、はるかに容易にする。例示的な構造は、非常にフラットに作成することもでき、それは、コンパクトなディスプレイソリューションの必要性が存在するときに、有益である。
いくつかの例示的な実施形態においては、小さい放射器からの光は、放射された光のいくらかを吸収および反射する、複数の透明な光学コンポーネントを通って進行する代わりに、ミラーから直接的に視聴者に向かって反射される。現在のマルチビューディスプレイにおいて一般に使用される、複数のマイクロレンズ、デフューザ、およびレンチキュラシートコンポーネントは、光学収差を発現させ、それは、放射されたビームのコリメーションを悪化させ、ビームがより発散的(divergent)になるので、全体的なディスプレイ品質を低下させ、迷光は、近隣ピクセルの間のクロストークを引き起こす。本明細書において説明される例示的な構造は、ただ1つの表面が高い光学精度で構成される構造を用いて、コリメートされたビームを生成することを可能にする、ミラーを使用する。
例示的な方法は、水平および垂直の両方の向きにおいて使用することができる、ディスプレイ構造を作り上げるために使用されることもできる。この特徴は、一般に、ユーザの必要に応じて、自由に回転させることができる、現在の2Dモバイルディスプレイにおいて使用される。説明される映像スキャニング機能およびレンダリングスキームは、いずれかの映像品質を失うことなく、いずれの表示向きにも自然に適合することができる。さらに、スキャニングマイクロミラーを利用する、提示される方法は、SMV条件を満たして、高品質3D体験を可能にする、非常に密なマルチビューピクチャを生成することが可能である。
例示的なミラーベースの3Dディスプレイ。3Dピクチャを生成する1つの例示的な方法は、小さい光コリメーティングミラーおよび非常に小さい光放射要素の使用に基づく。図25は、いくつかの実施形態に従った、複数の指向性光ビームが、μLEDの行と静止光コリメーティングミラーの組み合わせを用いて生成される、構造の概略を示す。この構造においては、μLEDは、疎なアレイ2510として透明な基板(窓)に接合され、電気接点が、現在のタッチスクリーンにおいて一般に使用されるインジウムスズ酸化物(ITO)などの、透明な導電性材料を用いて、作成される。基板材料(例えば、窓2515)は、ポリカーボネートおよびPMMAなどの光学的に透明なプラスチック、または低い熱膨張係数を有するホウケイ酸塩などのガラス材料であることができる。基板2515は、フラットであることができ、または放射された光ビームの発散(beam divergence)、伝搬方向などをさらに変更する微小光学特徴を含むことができる。単一のμLEDから放射された光は、例えば、ロールツーロールプロセスにおいて型を用いてUV硬化性材料から製造され、金属(例えば、アルミニウムまたは銀)ミラー表面でコーティングすることができる、コリメーティングミラー2520に当たる。光の良好にコリメートされたビームは、ミラー2520から、光放射器(例えば、アレイ2510)の方向に反射し返される。ミラー2520は、ビームの間のクロストークを低減させることができる、光吸収分離壁2525を用いて、互いに分離することができる。これらの壁2525は、例えば、ミラー2520のアレイの上に取り付けられた、黒いプラスチック材料の穴の開いたシートとして、作成することができる。
μLEDは、非常に小さいコンポーネントであるので、それらは、ミラー2520の上の基板2515の表面エリアの相対的に小さい部分しか占有せず、ビーム内の光のほとんどは、放射器コンポーネントを通り越し、透明な基板窓を通って構造から出て行く。アクティブ化されたμLED2510が、ミラー2520の光軸上にある場合、ビームは、光軸の方向に伝搬する。しかし、アクティブ化された光放射コンポーネント2510が、軸外位置にある場合、ビームは、斜めに構造から出て行く。μLED2510の行を用いると、上述の行内の適切な光放射コンポーネントをアクティブ化することによって、単一のミラー2520から異なる方向に反射される一連のビームを生成することが可能である。ミラー2520のサイズが、十分に小さいとき、μLEDの行2510と単一のミラー2520は、複数の良好にコリメートされたビームを異なる方向に投影することが可能な、1つの多方向ディスプレイピクセル(MDP)を形成することができる。
いくつかの実施形態に従った、異なる方向への複数のビューの生成のために使用することができる、代替的なMDP構造が、図26に示されている。スキャニングマイクロミラー2620のマトリックスは、ミラー2620の光軸上の焦点距離のところに位置付けられた単一のμLED2610のマトリックスと一緒に、使用することができ、各MDPは、ただ1つの放射器2610を含む。光コリメーティングミラー2620は、フラットなシリコン表面の上に直接的にエッチングされ、金属ミラーコーティングで処理された、回折構造であることができる。各それぞれのミラーの方向を制御するために、ミラー作動メカニズム2630を提供することができる。ミラー作動メカニズム2630は、例えば、先に説明されたものなど、電熱バイモルフアクチュエータであることができる。いくつかの実施形態に従うと、作動されたミラー構造は、水平および垂直の両方向において、ディスプレイ表面の法線から±30度に、ビームを投影することが可能なことがある。マイクロミラー2620が傾くにつれて、映像コンテンツに従って、μLED2610の強度を変調することができる。この構造の1つの利益は、図25において提示された先の静止ミラーケースと比較して、アクティブなミラー2620を、傾けるのに加えて、上下に動かすこともできるという事実である。これは、ミラーの光軸に対する源の大きい水平のずれによって引き起こされる、いずれの光学収差も補償することを可能にする。
いくつかの実施形態においては、フルマルチビュー3Dディスプレイは、表面エリア全体を説明されたMDPでカバーすることによって、構成される。光学構造から出て行くすべてのビームは、単一のビームの可視性を一度に一方の眼だけに制限するために、好ましくは、良好にコリメートされる。成人間の平均的な瞳孔間距離は、約64mmであり、それは、指定された視聴距離における、ビームサイズの上限である。各単一のμLEDコンポーネントの可視性が、一度に一方の眼に制限されたときに、固有の2D映像が、適切なμLEDをアクティブ化することによって(静止ミラー)、または正確な時間にコンポーネントをアクティブ化することによって(アクティブミラー)、異なる眼に投影されると、立体視効果を生み出すことが可能である。ただ2つの映像が、使用される場合、それらは、1人のユーザの顔面エリアの一半分にだけ可視である、非常に広いビームを用いて生成することができるが、3D効果は、より低い品質になる。表示の品質は、各ミラー当たり3つ以上の光放射要素を用いてビューの数を増やすことによって、および/または3つ以上の映像を順次的に示すことによって、高めることができる。より多くのビューが、視聴窓内に存在するほど、ビューの間の移行が、よりスムーズになるので、3D映像の錯視は、より良好になり、ユーザは、自分の頭部またはディスプレイデバイスを動かすことによって、オブジェクトを「見回す」ことができる。この動きは、ハンドヘルドデバイスを用いて自然に行われる。2つのμLED行が、単一のミラーの上で十字パターンを形成するために使用される実施形態、またはアクティブなミラーが、両方向に傾けられる実施形態においては、異なるビューを水平および垂直の両方向に等しく生成して、表示ビューの回転を可能にすることも可能である。
各ディスプレイピクセルの光強度は、良好な映像品質を有するディスプレイを作成するために、好ましくは、あるダイナミックレンジにわたって制御可能である。この目的のために利用することができる、いくつかの異なる方法が、存在する。1つの手法は、映像コンテンツに従って、各光放射コンポーネントを通って流れる電流を連続的に調整し、したがって、ピクセルの明るさを調整することである。別の可能性は、パルス幅変調(PWM)によって、コンポーネントの明るさをデジタル的に調整することである。LEDは、一般に、きわめて高速に切り換えることができるコンポーネントであり、ちらつきのない映像にとって適切なダイナミックレンジは、この方法を用いて、容易に達成することができる。ピクセルの明るさ調整のための構造の上で、LCDなどの別個の光電子要素を使用することも可能である。LCDは、2つの偏光要素の間の通過光の偏光方向を回転させることによって、各ピクセルを透過する光の量を調整する。説明される放射器-マイクロミラー構造は、基板窓の上にそれを配置することによって、偏光子を有するLCDスタックとともに使用することができる。LCDは、μLEDの順次的なアクティブ化に同期させて、ミラーから反射され、個々のビュー方向に向けられた光を選択的にブロックし、または通過させる。LCDの1つの難点は、それらの相対的に低いリフレッシュ周波数であり、それが、生成することができる指向性2D映像の量を制限する。これは、光放射要素の直接的な調整に基づいた映像レンダリング方法が、非常に多くのビューを有するディスプレイにとっての好ましい選択であることを意味する。しかしながら、追加のLCDは、いくつかの使用事例に適した代替を提供することができる。
傾けマイクロミラー構造が、単色光放射器と一緒に使用される、いくつかの実施形態においては、色付きの映像を生成するために、追加のステップを利用することができる。図27は、別々の赤色(2705)、緑色(2707)、および青色(2709)チップを有するμLEDアレイからの色を合成するための方法において使用することができる構造の概略図である。異なる色付きのチップ(2705、2707、2709)は、物理的に異なるロケーションにあるので、光は、いくらか異なる方向に、コリメーティングミラー2720から反射される。しかしながら、いくつかの実施形態においては、ミラーの傾きは、異なる色のアクティブ化と同期させることができ、色付きのLEDは、小さい時間間隔でアクティブ化することができ、ミラー2720の傾きを使用して、空間的隔たりによって引き起こされる角度偏移を補償する。このように、3つすべての色は、カラーレンダリングスキームにおいて、異なる色の光源のアクティブ化の間に、小さい時間偏移を導入することによって、すべての方向に投影することができる。静止ミラーを用いると、この手法を使用することはできないが、代わりに、非常に小さい赤色、緑色、および青色μLEDのクラスタを用いて、フルカラー映像を生成することができる。このケースにおいては、色付きの光出力は、例えば、上で説明されたようなクラスタの上に成形された、統合されたプラスチック要素を用いて、合成されて、1つのRGB制御可能な源になる。
いくつかの実施形態においては、小型化することができる他の光源(例えば、OLED)を、MDP内において、μLEDの代替として使用することができる。しかしながら、μLEDは、現在、非常に小さく、高い明るさを有する。より大きい光源は、ミラーの上において、より多くの遮蔽を追加することがあるので、小さなサイズが有益であり、より大きい源は、同じレベルのビームコリメーションを達成するために、より大きいミラーを必要とすることもある。より大きいミラーは、ディスプレイ上におけるより大きいピクセルサイズを意味することもあり、それは、より低い空間解像度として現れる。与えられた源-ミラー対を用いて達成可能な光学的特性は、光放射器サイズを達成可能なディスプレイサイズ/解像度に直接的に結び付ける。光放射要素およびコリメーティングミラーが、長方形の形状を有し、光放射要素の幅が、例えば、ミラーの幅の10%である場合、光放射要素は、ミラーの上のエリアの1%を覆うだけである。これは、例として、μLEDのサイズが、5μmである場合、源のアレイが放射された光を過度に遮ることなしに、ミラーサイズは、約50μmであることができることを意味する。約50μmのミラーは、近似的に、5インチフルHDモバイルフォンディスプレイのピクセルと同じサイズを有する。この例示的な計算は、μLEDが、モバイルデバイス使用事例のための有益な選択肢であることを示す。上で言及されたように、3色9個のμLEDのマトリックスは、10μm×10μmのエリア内に作り上げることができ、例えば、5インチ~10インチのサイズ範囲内のモバイルデバイスディスプレイを作り上げることを可能にする。
達成可能なビームコリメーションレベルは、ディスプレイの適切な視聴距離にとって重要な因子である。単一のピクセルから放射されたビームは、近似的に一方の眼の領域だけカバーすべきである。ビームが、大きすぎる発散(divergence)を有する場合、それは、同時に両眼を用いて見ることができ、立体視映像の形成を妨げる。同時に数ビームだけが瞳孔に当たることが、SMV条件を満たすために適当であるので、ビーム発(beam divergence)の理論的な下限は、眼の瞳孔サイズからもたらされる。しかしながら、実際は、下限は、光放射器の達成可能なサイズ、およびディスプレイのピクセルサイズを決定するミラーのサイズによって設定される。これら2つのパラメータは、達成可能なビーム発散、および実現可能な視聴距離を定義する。非常に小さい源を用いると、ビーム発散は、視聴距離における達成可能なスポットサイズに厳しい物理的制限を課す、回折効果からも悪影響を受けることがある。
Figure 0007227224000001
表1は、幾何学的分析だけに基づいた、異なるサイズの光放射器およびディスプレイを用いて実現可能な、最大視聴距離についての計算値のセットを列挙している。表1における値を計算するために、マイクロミラーサイズは、ディスプレイピクセルサイズと同じであり、システムのf値を1にするミラー開口サイズがいくつであるかよりも、光放射要素がミラーから同じ距離に位置付けられることが仮定される。ミラーは、理想的には放物形であることが仮定され、光放射要素は、正確な焦点距離に配置され、ビームコリメーションを可能な限り良好にする。視聴距離は、生成されたビームのサイズが50mmの直径を有する距離に設定された。このサイズを用いると、ビームは、一度にただ一方の眼のエリアを覆うように無理なく適合する。例えば、表から、5インチモバイルフォンディスプレイ構造において、5μm放射器が使用される場合、フルHDディスプレイは、そのようなデバイスの通常の視聴距離に良好に対応する、約0.5mの距離から見ることができることが分かる。この値は、近似的な最大距離を表し、ディスプレイ表面により近いほど、発散するビームのサイズはより小さいので、デバイスは、より近い範囲において使用することができる。同様に、50インチTVスクリーンは、放射器サイズが20μmほどの大きさである場合、約1.25mの距離において見られるべきである。この距離は、一般に、快適な視聴体験には短すぎ、放射器サイズのより良い選択は、5~10μmの間である可能性が高い。最大視聴距離についての他のいくつかの値は、異なる光学f値を用いて獲得することができるが、可能な光放射器のほとんどは、かなり大きいNAを有するので、照明効率の観点から、小さいf値が望ましい。システムのf値および/または放射器のNAが、非常に大きい場合、多くの光が、浪費されることができるが、それは、それが、ミラー開口を外れるからである。これは、映像コントラストを低下させる効果を有する、ピクセルの間のより多くのクロストーク、およびシステム内の迷光も意味する。
フルディスプレイを作成するために、小さいMDPが、有限のディスプレイエリア上において繰り返される。単一のMDPは、非常に限られた角度広がりを有するビームの限られたセットを生成するので、それは、限られた合計発散角(TDA:Total Divergence Angle)も有する。このパラメータは、1つのMDPの全体FOVを測定し、それは、この特定の角度範囲内でだけ可視である。ディスプレイが大きい場合、ディスプレイの縁に配置されたMDPのTDAが、適切なオーバラップ領域を有するのが、有益である。オーバラップするエリアがないと、縁が、同時に可視ではなく、表示映像全体を部分的にしか可視にしない。図28Aは、オーバラップするTDAが視聴者の顔面エリアの周りに視聴窓を形成するケースにおける、視野幾何学を示す。別の選択肢は、ディスプレイの縁に配置されたMDPの放射方向角(EDA)を、ディスプレイの中心線に向かって傾けることである。図28Bに例示されたこの選択肢は、TDAがより狭くなることができるので、より密なビューのための可能性を有する。例示的な実施形態においては、これは、光源の公称位置をMDPの内側に僅かに偏移させることによって、およびこの偏移の値をディスプレイの縁に行くほど増加させることによって、達成することができる。代替的な実施形態においては、この傾けは、窓の上に追加の光学要素を配置することによって、またはこれらのビーム傾け特徴を窓自体に統合することによって、光学的に実行される。
例示的な実施形態においては、3Dレンダリングは、以下のように実施することができる。固定されたミラーのケースにおいては、各MDPは、いくつかの特定のビュー方向に専用のピクセルを有する。1つの特定の方向に専用のピクセルは、1つの3Dシーンのその特定の指向性2Dビューの形成のために、アクティブ化される。表示は、空間多重化だけに基づいているので、可能なビューのすべては、同時に生成することができる。アクティブなマイクロミラーを傾けるケースにおいては、異なる方向に投影される映像は、ミラー傾き角および異なる方向における映像コンテンツと同期して、ピクセルをアクティブ化することによって、順番に生成することができる。この多重化スキームは、主に、時間多重化に基づくことができる。いくつかの実施形態においては、ハードウェアは、傾きミラーの上に2つ以上のピクセルを追加することによって、先の2つのケースを組み合わせる。これは、先に提示されたカラーレンダリングアイデアを実現するばかりでなく、ビューの角密度を増加させることも可能にする。
ミラーベースの3Dディスプレイについての例示的な使用事例。図29A~図29Bは、いくつかの実施形態に従った、本明細書において説明されるディスプレイシステムについての例示的な使用事例を例示する。この使用事例においては、10インチマルチビュー3Dスクリーンを備えるタブレットデバイスが、1人の視聴者から500mmの距離に配置される。デバイスは、立体視カメラの対と、視聴者の顔面エリアを照明する赤外線(IR)LEDとを有する。カメラは、視聴者の眼の瞳孔の3Dロケーションと、いくつかの実施形態においては、視線方向とを決定するように動作する、正確なアイトラッキングのために使用される。この情報は、立体視3D映像を眼の方向にだけ投影するために使用されるが、照明は、周囲空間全体の代わりに、眼の瞳孔に向けられるので、それは、エネルギーを節約する。これは、映像データおよびレンダリングのために計算される情報の量も、かなり低減させる。
図30は、いくつかの実施形態に従った、ディスプレイデバイス3000の一部の、そのようなデバイスの物理的寸法(単位μm)を例示した、断面図である。ディスプレイ構造3000は、個々に制御される電熱バイモルフアクチュエータ3025を用いて動かされる、アクティブな傾きミラー3020に基づく。光放射コンポーネント(例えば、μLED)3002、3004、3006は、各ミラー3020の上の薄いホウケイ酸塩ガラス窓基板3010に接合される。電気接点が、エッチングによって、透明なITOから作成される。光放射コンポーネント(3002、3004、3006)は、1つの緑色μLED(3004)が中央にあり、垂直および水平の両方向において、2つの赤色(3002)および青色(3006)コンポーネントによって取り囲まれた、十字パターンを形成することができる。各μLEDのサイズは、5μm×5μmであることができ、μLEDは、6μmのピッチを有することができる。μLEDは、ミラーから100μmの距離(d1)に位置付けることができる。μLEDの光抽出効率は、上で説明された技法を使用して、チップを成形することによって、増加させることができ、それは、放射を指向性にして、光パワーのほとんどが、±24°の放射角内に含まれるようにすることもできる。約0.4のこのNA値は、100μmの距離から単一のミラー開口の大部分をカバーするのに十分大きく、開口の外側で光を過度に浪費しないだけ十分小さくもある。この例におけるマイクロミラーは、それらの光学的機能性を、100μmの焦点長を有する放物型ミラーに似させる、回折パターンを有することができる。パターンは、UVエンボス加工を用いてミラー表面に複写され、純アルミニウムミラーコーティングを用いて処理される。単一のミラーの開口サイズは、90μm×90μm(d2)であり、それらは、100μmのピッチを有する、1920×1080のマトリックス(フルHD)内に存在する。各ミラーは、ビームを両方向において±30°の合計範囲にわたって投影することができるように、垂直および水平の両方向において±15°(α1)だけ傾斜させることができる。ミラーは、ミラーの極端な傾き角において生じる、ビーム焦点合わせの光学収差を補償するために、アクチュエータを用いて、約5μmの合計範囲にわたって上下に動かすこともできる。
例示的な実施形態の光学的機能をテストするために、市販の光学シミュレーションソフトウェアOpticsStudio 15.5を用いて、光線追跡シミュレーションのセットが実行された。図31A~図31Bは、シミュレーションの幾何学的配置を例示する。シミュレーションにおいては、2つの小さい光源が、100μmの焦点長および長方形の90μm×90μmの開口を有する、2つの同一の放物型ミラーから約100μmの距離に配置された。一方のミラーは、ミラー頂部表面の法線が源の方向を指している、公称位置に残され、他方のミラーは、15°だけ傾けられ、それが、30°の角度に反射されたビームをもたらした。傾きに加えて、第2のミラー表面は、焦点長によって決定される公称位置から、源に3μmより近く動かされた。2つの100mm×100mm検出器表面は、源から500mmの距離に配置された。光源は、長方形の5μm×5μmの開口を有した。両源の角度発散は、±24°の全幅半値(FWHM)を有するガウス分布になるように設定された。
シミュレーション結果は、中心方向において、および30°のスキャニング角度において準備された。中心位置においては、5μmサイズのμLEDからミラーを用いて生成されたビームは、約3度の発散を有し、それは、500mmの視聴距離における単一のピクセルのスポットサイズが、約25mmであることを意味する。システムのf値は、低いので、回折は、ビームコリメーション角に軽微な影響しか有さない。最大30°のビーム傾き角においては、光学収差は、ビーム品質をより悪くし、約5°の発散値をもたらす。これは、軸外幾何学的配置によって引き起こされる光学収差のいくらかを補償するために、マイクロミラーが、公称位置からμLEDに3μmより近くに動かされたときに、達成される。残りの光学収差および幾何学的因子が考慮されたとき、FOVの縁において、約50mmのスポットサイズが獲得されるという結果になる。この値は、平均的な人の瞳孔間距離をまだ優に下回り、各ピクセルの60°の合計スキャニング範囲内では、任意の与えられた時間に、ディスプレイピクセルのすべてが、一方の眼にだけ可視である。
図32は、例示的な使用事例の視野幾何学を概略的に示す。実施形態においては、200mm幅(d1)のディスプレイ3210は、シミュレーション結果について説明したように、各ピクセルについて最大60°の合計スキャニング範囲を有することができる。示されるように、500mm(d2)のユーザ距離においては、ピクセルの合計角度広がりは、ディスプレイの縁においてさえ、いかなる追加のビーム傾け光学素子または構成なしに、ディスプレイの中心線においてオーバラップし、376mm幅の視聴窓3230が、形成される。このサイズは、(64mm(d3)の例示的な瞳孔間隔を有する)1人のユーザに適しており、タブレットデバイスのかなりの傾けおよび使いやすさを可能にすることができる。本明細書において説明される数は、この特定の例示的な構造が生み出すことが可能なことがある最大値である。いくつかのケースにおいては、例えば、アイトラッキングを利用することによって、光は、2つの眼の瞳孔にだけ向けることができるので、提示されるスキャニング範囲のすべてを使用する必要がないことがある。アイトラッキングは、かなりのエネルギー節約を可能にし、ミラーは、より小さい傾き範囲を用いて、眼の瞳孔にわたってスキャンするので、より多くのビューを一方の眼に投影することも可能にすることができる。
いくつかの実施形態においては、映像レンダリングは、映像コンテンツおよびミラー傾き角に従って、μLED強度を変調することによって、実行される。いくつかの実施形態においては、ミラーのすべては、最初に一方の眼の瞳孔に向かって、次に第2の眼の瞳孔に向かって、同時に傾斜させられる。そのような実施形態においては、立体視効果は、ただ2つの異なる映像を提示することによって、生成することができる。しかしながら、他の実施形態においては、3Dピクチャ品質は、ミラーが、眼の瞳孔にわたってスキャンし、60Hzのちらつきのない映像のPOVタイムフレーム内において、2つ以上の映像を各眼に投影するにつれて、ピクセルをより高速に変調することによって、高めることができる。カラーレンダリングは、ミラーが、投影されるビームを各眼にスキャンするときに、赤色、緑色、および青色ピクセルのアクティブ化の間に、小さい時間遅延を導入することによって、実行することができる。互いに6μmの距離にある2つの近隣ピクセルを同じ方向に投影するために、約1.7°のミラー傾きを使用することができる。これは、緑色μLEDが、5つのμLEDのクラスタの中央に存在する場合、青色ピクセル映像は、+1.7°だけミラーを傾けることによって、緑色スポットとオーバラップさせることができ、赤色スポットのオーバラップは、-1.7°だけミラーを傾けることによって、達成することができることを意味する。ミラーは、反射コンポーネントであるので、異なるμLEDを用いても、色収差は、発生しない。μLEDは、十字パターンに接合されるので、色合成、および3D映像のスキャニングは、垂直および水平の両方向において行うことができ、モバイルディスプレイの回転を可能にする。
カラーレンダリングのために使用されるミラー傾きが、考慮され、ミラーが、2つの眼の瞳孔の間の範囲にわたってスキャンする場合、ピクセルビームスキャニングアクションの合計角度広がりは、約11°である。例えば、ミラーの往復の傾きの周波数が、60Hzの値に設定される場合、ビームスキャニングのために、約0.8ms/度の角速度が、獲得される。これは、異なるカラービームをオーバラップさせるためには、赤色、緑色、および青色μLEDのアクティブ化の間の適切な時間遅延が、約1.3msであることを意味する。μLEDは、240Hzのリフレッシュ周波数を用いて、駆動することができ、それは、各ミラーの一方向スイープの間に、2つの異なる映像の投影を可能にし、ミラーの1回の完全な往復サイクル内において、合計で4つの映像(各眼に対して2つ)が、生成される。また、一方の眼に対して異なる数の映像を生成するために、例えば、PWM方法を用いる映像強度レンダリングのために、異なるμLEDデューティサイクルを使用するために、μLEDとともに、他のリフレッシュ周波数を使用することができる。
指向性バックライトの使用。いくつかの実施形態においては、小さい光コリメーティングミラーと、非常に小さい光放射要素が、指向性バックライトモジュールを形成するために使用される。いくつかの実施形態においては、指向性バックライトモジュールは、3Dマルチビューディスプレイを形成するために、LCDパネルなどの空間光変調器(SLM)と一緒に使用される。
非常に小さい光源(例えば、μLED)は、疎なアレイとして、透明な基板に接合し、コリメーティングミラーの上に配置することができる。良好にコリメートされた光のビームは、ミラーから光放射器の方向に反射し返されることができる。光源は、非常に小さいので、それらは、ミラーの上の基板表面エリアの相対的に小さい部分しか占有せず、照明ビーム内の光のほとんどは、放射器コンポーネントを通り越し、透明な基板窓を通って、構造から出て行く。源の行またはマトリックスを用いると、適切な光放射コンポーネントをアクティブ化することによって、一連のビームを生成し、単一のミラーから異なる方向に反射することができる。
フルマルチビュー3Dディスプレイは、SLMを指向性バックライトモジュールの上に配置することによって、またディスプレイ表面エリア全体を説明されたバックライトセル構造でカバーすることによって、構成することができる。単色μLEDが使用される実施形態においては、それらは、放射された青色またはUV光をより連続な白色光スペクトルに変換する、薄い蛍光体レイヤで上塗りすることができる。バックライトモジュールの上に位置付けられたLCDディスプレイは、ディスプレイ表面上の異なる空間位置において、向けられたビームを選択的にブロックするために使用することができる。例示的な実施形態においては、3D映像のレンダリングは、異なる3Dシーン角度投影映像を順番に示すことによって、また映像方向に従って、行内の適切な光放射器をアクティブ化することによって、実行される。単一のマイクロミラーの上方の各光源は、1つの特定の方向に放射される光を生成しているので、単一の投影映像は、1つの単一の視聴方向にだけ可視であり、立体視映像の対を生成することを可能にする。
例示的な方法は、指向性バックライトモジュールを形成する、小さい光コリメーティングミラーと、非常に小さい光放射要素とを使用する。このバックライトモジュールは、3Dマルチビューディスプレイを形成するために、SLM(例えば、LCDパネル)と一緒に使用することができる。一実施形態においては、バックライト構造は、複数の指向性光ビームが、μLEDの行と静止した光コリメーティングミラーの組み合わせを用いて生成される、1つの例示的な構造を例示した、上で説明された図25に示されたものであることができる。μLEDは、疎なアレイとして、透明な基板(窓)に接合され、電気接点が、インジウムスズ酸化物(ITO)などの透明な導電性材料を用いて作成される。基板材料は、ポリカーボネートおよびPMMAなどの光学的に透明なプラスチック、または低い熱膨張係数を有するホウケイ酸塩などのガラス材料であることができる。基板は、フラットであることができ、または放射された光ビームの発散、伝搬方向などをさらに変更する、微小光学特徴を含むことができる。単一のμLEDから放射された光は、例えば、ロールツーロールプロセスにおいて型を用いてUV硬化性材料から製造し、金属(例えば、アルミニウムまたは銀)ミラー表面でコーティングすることができる、コリメーティングミラーに当たる。良好にコリメートされた光のビームは、ミラーから光放射器の方向に反射し返される。ミラーは、ビームの間のクロストークを低減させる光吸収壁を用いて、互いに分離される。これらの壁は、例えば、ミラーアレイの上に取り付けられた、黒いプラスチック材料の穴の開いたシートとして、作成することができる。
μLEDは、非常に小さいコンポーネントであるので、それらは、ミラーの上の基板の表面エリアの相対的に小さい部分しか占有せず、ビーム内の光のほとんどは、放射器コンポーネントを通り越し、透明な基板窓を通って構造から出て行く。アクティブ化されたμLEDが、ミラーの光軸上にある場合、ビームは、光軸の方向に伝搬する。しかし、アクティブ化された光放射コンポーネントが、軸外位置にある場合、ビームは、斜めに構造から出て行く。μLEDの行を用いると、上述の行内の適切な光放射コンポーネントを単にアクティブ化することによって、単一のミラーから異なる方向に反射される一連のビームを生成することが可能である。ミラーのサイズが、十分に小さいとき、μLEDの行と単一のミラーは、複数の良好にコリメートされたビームを異なる方向に投影することが可能な、1つの多方向バックライトピクセル(MBP)を形成することができる。
いくつかの実施形態においては、フルマルチビュー3Dディスプレイ3300は、指向性バックライトモジュール3301の上にSLM3302を配置することによって、またディスプレイ表面エリア全体を説明されたMBPでカバーすることによって、構成される。図33は、そのようなディスプレイシステム3300の1つの例示的な構造を提示している。光は、小さい光放射要素の密な直線状のアレイ3310において発生させられる。単色μLEDが使用される実施形態においては、それらは、放射された青色またはUV光をより連続な白色光スペクトルに変換する、薄い蛍光体レイヤ3312で上塗りすることができる。レイヤ3312が十分に薄い場合、アクティブなμLEDは、レイヤを通して、依然として可視であり、白色光が、マイクロミラー3320の上の1つの特定な空間位置から放射される。放物型マイクロミラー3320は、光を、バックライトモジュール3301の最も上のレイヤとしての役割を果たす透明な窓3305を通過する、指向性の高いビームにコリメートする。LCDディスプレイなどのSLM3302は、バックライトモジュール3301の上に位置付けられ、ディスプレイ表面上の異なる空間位置において、向けられたビームを選択的にブロックするために使用される。3D映像のレンダリングは、異なる3Dシーン角度投影映像を順番に示すことによって、また映像方向に従って、行内の適切な光放射器をアクティブ化することによって、実行される。単一のマイクロミラー3320の上方の行内の各μLEDは、1つの特定の方向に放射される光を生成しているので、単一の投影映像は、1つの単一の視聴方向にだけ可視である。
いくつかの実施形態においては、図33において例示されるように、フルカラー映像を白色バックライトから生成するために、カラーフィルタ3350が使用される。代替的な実施形態においては、フルカラー映像は、別々の赤色、緑色、および青色バックライトコンポーネントを用いて生成され、そのケースにおいては、LCD構造内において、カラーフィルタを使用する必要がないことがある。上で説明されたように、現在達成可能なμLEDサイズおよび接合精度は、サイズが10μm未満の3色ピクセルを可能にする。この手法においては、対処される1つの課題は、光放射器の異なる空間位置によって引き起こされる、指向性照明ビームにおける色分解である。光混合光ガイド構造をμLEDクラスタの上に直接的に統合することができるので、これに対処するために、統合された光学素子を使用することができる。
バックライトモジュールの1つの使用は、映像変調コンポーネントとしての役割を果たす、3DディスプレイSLMのための制御可能な指向性照明を提供することである。2つのモジュールは、別々の光学的機能を有するので、それらは、異なる使用事例およびより良い製造可能性のために、いくらか別々に最適化することもできる。例えば、MBPのサイズは、ディスプレイピクセルのサイズよりもはるかに大きいことができる。しかしながら、これは、すべての照明方向において、個々のSLMピクセルの空間的に均等な照明を必要とする。これは、達成するのが困難であることができ、それは、異なるエッジ効果が、一般に、アレイフォーマットを取る照明構造から見つかるからである。この潜在的な問題は、MBPのサイズを人の視力のしきい値よりも下に低減させることによって、またはそれらをディスプレイピクセルのサイズに適合させることによって、回避することができる。
バックライトモジュールとSLMモジュールの整合に関して、対処される1つの課題は、色を生成する方法に関する。上で説明されたように、異なる実施形態においては、色を生成するための異なる方法が、使用される。例えば、3色バックライトを使用して、またはより幅の広い白色光スペクトルを提供するモジュールを使用して、カラー映像を生成することができる。1つの潜在的な課題は、光が異なる角度から到来するとき、カラーフィルタ3350が、光を異なるように透過させることである。材料の吸光度に基づいたフィルタは、レイヤの厚さおよび幾何学的形状に結び付けられる異なる減衰長に起因して、これを行い、一方、誘電体レイヤに基づいたフィルタは、入射角に結び付けられる光の干渉の違いに起因して、異なる透過特性を生み出す。これらのフィルタタイプは、ともに、特定の角度範囲および波長について最適化することができ、これらのフィルタの特性は、ディスプレイシステムの構造において、考慮される。白色光照明のケースにおいては、LCDカラーフィルタ3350を異なる方向から照らすことによって、異なるビュー方向が、生み出され、カラーフィルタ材料レイヤにおける吸収長は、異なるようになる。これは、ビュー方向において、いくらか異なる色が出現する原因となることがあり、LCDピクセル透過を用いる色較正を実行することができる。いくつかの実施形態においては、この効果を補償するために、μLEDの上において適用される蛍光体材料3312が、微調整される。異なる方向に光を放射するμLEDは、異なる空間位置に配置されるので、僅かに異なる色特性を有する蛍光体材料3312を選択的に適用することができる。
光学構造から出て行くすべてのビームは、単一のビームの可視性を一度に一方の眼だけに制限するために、好ましくは、良好にコリメートされる。成人間における平均的な瞳孔間距離は、約64mmであり、それは、指定された視聴距離におけるビームサイズについての上限として働く。各ディスプレイピクセルの可視性が、一度に一方の眼に制限されるとき、固有の2D映像が、異なる眼に投影されるので、立体視効果が、生み出される。いくつかの例示的な方法においては、これは、LCDと同期して、適切なμLEDをアクティブ化することによって、行われる。いくつかの実施形態においては、ただ2つの映像が使用され、それらは、1人のユーザの顔面エリアの一半分にだけ可視である、非常に広い照明ビームを用いて生成される。他の実施形態においては、表示の品質は、各ミラー当たり3つ以上の光放射要素を用いて、ビューの数を増加させることによって、および/または3つ以上の映像を順番に示すことによって、高めることができる。より多くのビューが、視聴窓内に存在するほど、ビューの間の移行が、よりスムーズになるので、3D映像の錯視は、良好になり、ユーザは、自分の頭部またはディスプレイデバイスを動かすことによって、オブジェクトを「見回す」ことができる。この動きは、ハンドヘルドデバイスを用いて自然に行われる。単一のミラーの上に十字または長方形パターンを形成するために、2つ以上のμLED行が使用される実施形態においては、異なるビューを水平および垂直の両方向に等しく生成して、表示ビューの回転を可能にすることができる。
そのようなマルチビュー3Dディスプレイにおいて、ビューの数を制限する1つの要因は、SLMの切り換えスピードである。利用可能なディスプレイは、約240Hzのリフレッシュレートを示すにすぎないので、現在のLCDパネルは、この目的のためには、相対的に低速のコンポーネントである。ちらつきのない映像が、すべてのビュー方向に対して望ましい場合、これは、4つの固有のビューしか可能にしないが、それは、人の眼にとって一般に受け入れられるしきい値が、60Hzであるからである。しかしながら、アイトラッキングが使用される実施形態においては、これは、適切なリフレッシュレートであることができ、それは、自動立体視3D映像のために必要とされるビューの最小数が、2つだけだからであり、視聴者の正確なロケーションを決定するために、アイトラッキングを使用することができる。このケースにおいては、LCDは、2つの眼の方向のために使用される映像だけを生成する。いくつかの実施形態においては、立体視効果を改善するために、4つのビューが使用されるが、それは、それが両眼のために2つの僅かに異なる映像を可能にし、SMV条件が満たされるからである。
各ディスプレイピクセルの光強度は、良好な映像品質を有するディスプレイを作成するために、望ましいダイナミックレンジにわたって制御可能である。LCDを用いる場合、光強度は、2つの偏光子3330、3340と、通過光の偏光状態を回転させる電気的に制御可能な液晶(LC)材料レイヤ3335との助けを借りて、各ピクセルを通過する光の量を制御することによって、調整される。いくつかの実施形態においては、より高いコントラスト比を達成するために、バックライト強度調節とLCDピクセル吸光度の組み合わせが、使用される。例示的なバックライト構造においては、これは、各光放射コンポーネントを通って流れる電流を連続的に調整することによって、行うことができる。代替的な実施形態においては、コンポーネントの明るさは、パルス幅変調(PWM)によって、デジタル的に調整される。LEDは、一般に、きわめて素早く切り換わることができるコンポーネントであり、ちらつきのない映像のための適切なダイナミックレンジを可能にする。いくつかの実施形態においては、バックライトモジュールMBPのサイズは、LCDピクセルのサイズと同じである。そのような実施形態においては、バックライトモジュールとLCDの組み合わせを用いて行われる、ピクセルレベルの強度調整を、実行することができる。この手法は、より大きいダイナミックレンジのピクセルのために利用することができる。この手法は、強度調整が、バックライトモジュールによって部分的に処理されるので、より高速なディスプレイパネル切り換えスピードを可能にすることもできる。
小型化することができる任意の適切な光源(例えば、OLED)を、μLEDに対する代替として、MBPにおいて使用することができる。しかしながら、現在は、μLEDが、この目的のために好ましく、それは、それらが非常に小さく、高い明るさを有するからである。より大きい光源は、ミラーの上により多くの遮蔽を追加するので、小さいサイズが有益であり、より大きい源は、同じレベルのビームコリメーションを達成するために、より大きいミラーも必要とする。より大きいミラーは、より厚い、より大きいMBPももたらし、それは、特にモバイルデバイスのケースにおいては、ネガティブな特徴と見ることができる。光放射要素およびコリメーティングミラーが、長方形の形状を有し、光放射要素の幅が、例えば、ミラーの幅の10分の1である場合、光放射要素は、ミラーの上のエリアの1%をカバーするにすぎない。これは、例として、μLEDのサイズが5μmである場合、ミラーサイズは、約50μmであり、放射された光を過度に遮蔽する源のアレイを有さないことを意味する。約50μmのミラーは、5インチフルHDモバイルフォンのディスプレイピクセルと近似的に同じサイズを有する。この例示的な計算は、μLEDが、モバイルデバイス使用事例のための現実的な選択肢であり、MBPのサイズは、LCDピクセルのサイズに適合することができ、例えば、より高いダイナミックレンジのピクチャを可能にすることを示す。上で説明されたように、3色9個のμLEDのマトリックスは、10μm×10μmのエリア内に作り上げることができ、例えば、2つのモジュールのピクセルレベルの適合を用いて、5インチ~10インチのサイズ範囲内のモバイルデバイスディスプレイを作り上げることを可能にする。
達成可能なバックライト照明ビームコリメーションレベルは、ディスプレイの適切な視聴距離を決定する際に関連する。単一のディスプレイピクセルから放射されるビームは、好ましくは、近似的に一方の眼のエリアだけをカバーする。ビームが、大きすぎる発散を有する場合、それは、同時に両眼を用いて見ることができ、立体視映像の形成を妨げる。同時に数ビームだけが瞳孔に当たることが、SMV条件を満たすために適当であるので、ビーム発散の下限は、眼の瞳孔サイズからもたらされる。しかしながら、実際は、下限は、バックライトモジュールの光放射器の達成可能なサイズ、およびミラー要素のサイズによって設定される。これら2つのパラメータは、達成可能なビーム発散、および実現可能な視聴距離を記述する。非常に小さい源を用いると、ビーム発散は、視聴距離における達成可能なスポットサイズに厳しい物理的制限を課す、回折効果からも悪影響を受けることがある。
Figure 0007227224000002
表2は、幾何学的分析だけに基づいた、異なるサイズの光放射器および小さいコリメーティングミラーを用いて実現可能な、最大視聴距離についての計算値のセットを列挙している。表2のための値を計算する際、システムのf値を1にするように、光放射要素は、ミラー開口サイズと同じになるミラーからの距離に位置付けられることが仮定された。ミラーは、理想的には放物形であることが仮定され、光放射要素は、正確な焦点距離に配置され、ビームコリメーションを可能な限り良好にする。視聴距離は、生成されたビームのサイズが50mmの直径を有する距離に設定された。このサイズを用いると、ビームは、一度にただ一方の眼のエリアを覆うように無理なく適合する。例えば、表から、5μm放射器が、50μmマイクロミラーと一緒に使用される場合、ディスプレイは、モバイルデバイスの通常の視聴距離に良好に対応する、約0.5mの距離から見ることができることが分かる。この値は、近似的な最大距離を表し、ディスプレイ表面により近いほど、発散するビームのサイズはより小さいので、デバイスは、より近い範囲において使用することができる。最大視聴距離についての他のいくつかの値は、異なる光学f値を用いて獲得することができるが、可能な光放射器のほとんどは、かなり大きいNAを有するので、照明効率の観点から、小さいf値が、望ましい。システムのf値および/または放射器のNAが、非常に大きい場合、多くの光が、浪費されることができるが、それは、それが、ミラー開口を外れるからである。これは、映像コントラストを低下させる、ピクセルの間のより多くのクロストーク、およびシステム内の迷光も意味する。
フルディスプレイを作成するために、小さいMBP構造が、有限のディスプレイエリアにわたって繰り返される。単一のMBPは、非常に限られた角度広がりを有するビームの限られたセットを生成するので、それは、限られた合計発散角(TDA)も有する。このパラメータは、1つのMBPの合計FOVを表し、それは、この特定の角度範囲内でだけ可視である。ディスプレイが大きい場合、ディスプレイの縁に配置されたMBPのTDAが、適切なオーバラップ領域を有するように配慮することが行われる。オーバラップするエリアがない場合、縁は、同時に可視ではなく、ディスプレイ映像全体を部分的に可視にするにすぎない。図28Aは、オーバラップするTDAが視聴者の顔面エリアの周りに視聴窓を形成する実施形態における、視野幾何学を示す。代替的な実施形態においては、ディスプレイの縁に配置されたMBPの放射方向角(EDA)は、ディスプレイの中心線に向かって傾けられる。図28Bに例示されたこの選択肢は、TDAをより狭くすることができるので、より密なビューに対する可能性を有する。いくつかの実施形態においては、これは、光源の公称位置をMBPの内側僅かに偏移させることによって、およびこの偏移の値をディスプレイの縁に行くほど増加させることによって、達成される。代替として、この傾けは、窓の上に追加の光学要素を配置することによって、またはこれらのビーム傾け特徴を窓自体に統合することによって、光学的に実行されることができる。オーバラップ課題に対処するためのさらなる代替的な方法においては、ディスプレイ表面全体に、事前決定された視聴距離に固有の湾曲を提供することができる。この最後の選択肢は、以下で説明される使用事例に関して、より詳細に説明される。
例示的なレンダリングスキームにおいては、各MBPは、いくつかの特定のビュー方向に専用の光放射コンポーネントを有する。1つの特定の方向に専用の放射器のマトリックスは、1つの3Dシーンのその特定の指向性2Dビューの形成のために、アクティブ化され、SLMと同期させられ、異なる方向に投影される映像は、順番に生成される。この多重化スキームは、時間多重化だけに基づくことができる。代替的な実施形態においては、より明るいピクチャを達成するために、またはエネルギーを節約するために、例えば、3Dシーン内の映像コンテンツの冗長性を利用する、より複雑なレンダリングスキームを使用することができる。
指向性バックライトについての例示的な使用事例。指向性バックライト実施形態についての例示的な使用事例は、図29A~図29Bにほぼ類似した、図34に例示された視聴条件に関して説明される。湾曲した10インチマルチビュー3Dスクリーンを備えるタブレットデバイスが、1人の視聴者から500mmの距離に配置される。デバイスは、立体視カメラの対と、視聴者の顔面エリアを照明するIR LEDとを有する。カメラは、視聴者の眼の瞳孔の3Dロケーションと、いくつかの実施形態においては、視線方向とを決定することが可能な、正確なアイトラッキングのために使用される。この情報は、立体視3D映像を眼の方向にだけ投影するために使用されるが、照明は、周囲空間全体の代わりに、眼の瞳孔に向けられるので、それは、エネルギーを節約する。これは、映像データおよびレンダリングのために計算される情報の量も、かなり低減させる。
図35は、放物型マイクロミラーに基づいた光学バックライト構造3500の例示的な寸法(単位μm)を示す断面図である。この特定の例においては、合計で81個のμLED3510は、各ミラー3525の上で、薄いホウケイ酸塩ガラス窓基板3505に接合される。コンポーネントは、放射された青色光をより広い白色光スペクトルに変換する、薄い蛍光体レイヤ3512でコーティングされる。電気接点が、エッチングによって、透明なITOから作成される。各μLEDのサイズは、2μm×2μmであり、それらは、3μmのピッチを有し、それは、各行および列内の最も外側のμLEDは、マトリックス中心から±12μmの距離にあることを意味する。コンポーネントは、ミラー3525から90μmの距離に位置付けられる。μLED3510の光抽出効率は、上で説明されたように、チップを成形することによって、高めることができる。成形することに起因して、放射は、指向性であり、光パワーのほとんどは、主に±20°の放射角内に含まれる。約0.34のこのNA値は、90μmの距離から、単一のミラーの開口の大部分をカバーするのに十分大きく、開口の外側で光を過度に浪費しないだけ十分小さくもある。マイクロミラー3525は、95μmの焦点長を有する、湾曲した放物型の形状を有する。形状は、UV硬化性材料(例えば、Ormocer)を用いてミラー表面3520に複写され、純アルミニウムミラーコーティングを用いて処理される。単一のミラーの開口サイズは、96μm×96μmであり、ミラーは、100μmのピッチを有する、1920×1080のマトリックス(フルHD)をなす。光放射コンポーネント3510は、長方形の9×9のマトリックスをなし、それは、各MBPを用いて、合計で81個の固有のビュー方向を生成することを可能にする。照明ビームは、UV硬化性材料(例えば、Ormocer)から作成された光拡散表面微細構造でコーティングされた、窓3505の上表面から、バックライト構造を出て行く。デフューザは、ビーム発散の小さい1°(FWHW)の拡大を引き起こし、遠視野照明パターンをより均等にするのを助ける。最も外側のコンポーネントは、表面法線から約±7.3°だけ傾けられたビームを生成する。コンポーネントは、完全なマトリックスをなすので、照明は、水平および垂直の両方向に対称的に向けることができる。
例示的な実施形態においては、マルチビュー3Dディスプレイは、上で説明されたバックライトモジュールの上に、100μmピクセルを有するフルHD3色LCDディスプレイを配置することによって、作り出される。図36は、そのような実施形態の視野幾何学を示す。アイトラッキングを利用することによって、光は主に2つの眼の瞳孔に向けることができるので、提示された範囲のすべてを使用する必要はない。2μmサイズのμLEDからミラーを用いて生成されたビームは、約5.2°の発散を有し、それは、500mmの視聴距離において、単一のMBP照明ビームの約45mmのスポットサイズをもたらす。バックライトシステムのf値は、低いので、回折は、ビームコリメーションに対して僅かな影響しか有さない。軸外角が、相対的に小さく、ミラーからのμLEDマトリックスの距離が、最適化されるので、ビーム発散値は、すべてのビーム角について同じである。視聴距離におけるスポットサイズは、平均的な人の瞳孔間距離を優に下回り、各MBPの15°の合計範囲内では、任意の与えられた時間に、単一の照明ビームのすべてが、一方の眼にだけ可視である。垂直方向について検討するとき、ディスプレイの縁におけるピクセルの合計角度広がりは、中心線においてオーバラップし、追加のビーム傾け特徴の必要性は、存在しない。しかしながら、水平方向においては、ディスプレイ幅が、非常に大きいので、オーバラップするエリアは、適当ではない。十分に大きい視聴窓を提供するために、ディスプレイ全体は、水平方向において湾曲させられ、130mm幅の視聴窓が形成される。このサイズは、1人の人に対しては適当であり、タブレットデバイスの傾けおよび使いやすさを可能にする。
例示的な実施形態においては、μLED強度が、映像コンテンツに従って変調され、LCDに同期させられる、レンダリングスキームを用いて、映像レンダリングが実行される。2つの異なる映像の提示は、立体視効果を生み出すのに十分である。しかしながら、いくつかの実施形態においては、LCDピクセルおよびμLEDをより高速に変調し、60Hzのちらつきのない映像のPOVタイムフレーム内において、2つ以上の映像を各眼に投影することによって、3Dピクチャ品質が高められる。240HzのLCDが使用される場合、ちらつきのない周波数内において、両眼に対して2つの映像を投影することができる。2つの隣接する照明ビームは、妥当なオーバラップを有するので、光学ハードウェアも、これを可能にし、それは、2つの異なる映像を、ほぼ同時に、2つの僅かに異なるビュー方向から眼に投影することを可能にする。そのような実施形態は、SMV条件を満たし、良好な品質の3D映像を生成する。カラーレンダリングは、LCDパネル内に含まれるカラーフィルタを利用することによって、実行することができる。
図37は、いくつかの実施形態に従った、代替的な光学バックライト構造の例示的な寸法(単位μm)を示す断面図である。図37の実施形態は、軸外自由曲面ミラー3725を使用する。合計で7つのμLED3710が、光学特徴を含む薄いポリカーボネート窓基板3705に接合される。コンポーネント3710は、放射された青色光をより広い白色光スペクトルに変換する、薄い蛍光体レイヤ3712でコーティングされる。電気接点が、エッチングによって、透明なITOから作成される。各μLED3710のサイズは、2μm×2μmであり、それらは、各行および列内の最も外側のμLEDが、行中心から±10μmの距離にあるように、3.3μmのピッチを有する。コンポーネントは、ミラーから約98μmの距離に位置付けられ、コンポーネント行の法線は、垂直方向から28°だけ傾けられる。μLEDの光学的特性は、図35に関連して説明されたのと同じであることができる。水平方向においては、マイクロミラー3725は、70μmの焦点長を有する、湾曲させられた放物型の形状を有する。ミラー3725は、μLED行に向かって約4.4°だけ傾けられた、軸外放物型でもある。垂直方向においては、ミラー3725は、280μmの半径を有する球の形状を有する。形状は、UV硬化性材料(例えば、Ormocer)を用いてミラー基板3720に複写し、純アルミニウムミラーコーティングを用いて処理することができる。単一のミラーの開口サイズは、96μm×96μmであり、それらは、100μmのピッチを有する、1920×1080のマトリックスをなす。この例においては、ポリカーボネート窓3705は、水平方向におけるビームコリメーションに影響する、追加の光学形状を含む。円柱の形状は、184μmの半径を有し、それらは、垂直方向においては、いかなる光パワーも有さない。照明ビームは、図35の実施形態において使用されるのと同じ光発散表面微細構造(light-diffusing surface microstructure)でコーティングすることができる、窓3705の上表面から、バックライト構造を出て行く。
図37の実施形態においてミラーとレンズ形状の組み合わせを使用する1つの理由は、MBP開口における光吸収を回避することである。図37の実施形態は、光源の中央遮蔽が回避されるソリューションを対象とする。これは、μLED行をバックライトピクセル開口の縁に移動することによって、また軸外ミラー形状を利用することによって、実現される。配置は、μLEDが不透明なパッドおよび導電体と接触することを可能にする。結果として、例えば、必要とされる電気接点を作成するために、透明なITOの代わりに、エッチングされた銅配線を使用することができ、設計の電気的特性を最適化することをより容易にする。各MBPにおいて、ミラーは、ビームを僅かに集めて、それを、μLED行によって定められる開口において、より小さくし、レンズの形状が、僅かに発散する屈折力(little diverging optical power)を用いて、これを補償する。ミラーおよび窓の最適化された全体的な自由曲面形状は、μLEDが単一のMBP開口の縁に位置付けられたとき、良好なコリメーションを可能にする。光放射コンポーネントは、水平の行をなし、それは、各MBPを用いて、7つの水平な固有のビュー方向を生み出すことを可能にする。図35の例におけるように、最も外側のコンポーネントは、水平方向において表面法線から約±7.3°だけ傾けられた照明ビームを生成し、一方、単一のビームの発散は、約5.2°である。垂直方向においては、その方向においてより大きいFOVをカバーするために、ミラーの球の形状は、約±8.5°の意図的により大きい発散角で、照明ビームを広がらせる。
図35と図37の例の間の相違は、ミラー開口に対するμLEDの位置の相違と、それらが生成するビューの数の相違とを含む。図37の例においては、μLEDの行は、図35の実施形態の中央に配置された源マトリックスからもたらされる遮蔽効果を回避するために、ミラー開口の縁に位置付けられる。この遮蔽は、近接場空間照明分布において明らかであり、それは、小さいスケールにおいて、すべての指向性ビームをLCDピクセルに等しくマッピングすることを、はるかに困難にする。図37の実施形態においては、遮蔽は、存在せず、バックライトモジュールとLCDとの間の適合は、より簡単なタスクである。図35の実施形態は、中央に配置された源を有するので、μLEDをマトリックスに配置することによって、水平および垂直の両方向においてビューを配置することが、より簡単である。図37の実施形態においては、開口の縁の使用は、マトリックスの代わりに、行に配置された源をもたらし、水平または垂直のどちらかの方向に、1次元だけのビューを生成することをより自然にする。しかしながら、このケースにおいても、μLEDの別の行を他の方向に追加することができるような方法で、軸外自由曲面形状を利用することができ、垂直および水平の両方向が、ディスプレイの回転を可能にする代替の固有なビューを有することを可能にする。
図35および図37において例示されたものなど、例示的なバックライト構造は、図34において例示されたモバイルディスプレイ使用事例シナリオにおいて利用することができる。加えて、図36に示された視野幾何学は、両方のバックライト設計が、水平ビュー方向において類似の光学性能特性を有する実施形態にも適用可能である。しかしながら、図35の実施形態は、源のマトリックスを利用し、図37の実施形態は、源の行を利用するので、垂直方向における光学的特性は、異なることがある。図35の実施形態においては、単一のμLEDの可視性を両方向において一方の眼だけに制限するために、近似的に円形の照明スポットの使用が好ましい。図37の実施形態においては、1つの方向におけるスポットの可視性を制限するが、同時に、他方においてそれらがかなり大きいFOVにわたって可視であることを可能にするために、照明パターンは、一方の方向(水平)において狭く、他方(垂直)において広い、ラインであることができる。両方のケースにおいて、相対的に狭い照明ビームFOVは、立体視ビューを可能にするばかりでなく、照明は一般に眼に向けられるので、エネルギーを節約することも可能にする。さらに、映像の制限された可視性は、表示コンテンツが指定された視聴窓内でしか見ることができないので、プライバシの観点から、デバイス全体の使用をより安全にする。
指向性バックライト構造の光線追跡シミュレーション。図35および図37の構造の光学的機能をテストするために、市販の光学シミュレーションソフトウェアOpticsStudio 15.5を用いて、光線追跡シミュレーションのセットが実行された。光源のための、すべてのシミュレーションにおいて使用される光学パラメータについて、源の物理的な幅は、2μmに設定され、角度発散は、±20°の全幅半値(FWHM)を有するガウス分布になるように設定された。シミュレーションの幾何学的配置は、図35および図37に例示された指向性バックライト設計に従って、設定された。シミュレーションにおいては、定められた遠距離場の視聴距離において、照明パターンのビューを取得するために、仮想的な200mm×200mmの検出器表面が、構造から500mmの距離に配置された。LCDパネルピクセル上に当たっている近接場照明パターンを分析するために、0.3mm×0.3mmのサイズを有する別の仮想的な検出器表面が、バックライト構造の上に直接的に配置された。
両設計についての遠距離場シミュレーション結果が、獲得された。図35の構造のシミュレーションにおいては、獲得可能な照明パターンの広がりを決定するために、源のマトリックスの遠端および中央において、合計で9つの源が使用された。9つの可視のおおよそ円形のスポットは、源のマトリックスの映像の合計サイズが、約160mm×160mmであることを示した。単一のスポットは、視聴距離において約45mmのスポットサイズをもたらす、約5°の発散を有した。図37の構造のシミュレーションにおいては、源の行の遠端および中央において、合計で3つの源が使用された。3つの可視の垂直な照明ストライプは、源の行の映像の合計サイズが、図35の構造のそれと同じ範囲内にあることを示した。水平方向においては、図37の構造における照明ビームは、視聴距離において約45mmのストライプ幅をもたらす、約5°の発散を有した。垂直方向においては、ビームは、指定された500mmの視聴距離において、約150mmの高さをもたらす、約±8.5°の発散を有した。
図35および図37の構造について、近接場シミュレーションの結果も、獲得された。上で説明されたのと同じ9つの源を用いて照明された単一のMBPから、LCDピクセル上に直接的に当たる、光の放射照度分布において、MBP開口の中心にある源のマトリックスによって引き起こされる遮蔽は、光分布において明白に可視であった。ピクセルは、異なる方向に進行する照明ビームを異なるように変調することができるので、光強度におけるこの低下は、バックライトモジュールをピクセル化されたディスプレイと適合させることをより困難にする。単一のMBP照明スポットのサイズは、約100μmであり、2つの照明されたMBPが、スポットを互いに明白に定めることができる合計の照明パターンを引き起こすことを見ることができた。近接場パターンは、上で説明された、単一のMBPと3つの源とを用いる図37の構造を使用して、獲得された。このパターンにおいては、可視の中央の遮蔽は存在せず、スポットはいくらか一緒に融合させられるので、ピクセルははるかに小さいエッジ効果を有するマトリックスに積み重ねることができる。図35と図37の構造の間のこの近接場の相違は、バックライトMBPがLCDパネルピクセルよりもはるかに大きいディスプレイシステムにおいて、図37の構造を使用することをより簡単にする。
光線追跡シミュレーションの第2のセットが、立体視照明使用における、バックライト照明設計の性能を示すために、実行された。図35および図37のシミュレートされる構造内において、適切な源の対がアクティブ化されたときについての、照明パターンが、獲得された。図35の構造のシミュレーションにおいては、完全な行が高さ約150mmの垂直視聴窓全体をカバーすることができることを示すために、垂直な源の完全な行が使用された。図37の構造のシミュレーションにおいては、MBPが、垂直方向における高さが150mmであるストライプ形状の照明パターンを生成するので、ただ2つの源が使用された。両方のケースにおいて、選択された源の対を用いて獲得された照明のピークが、水平方向において互いに約64mmの距離から見出された。この距離は、平均的な人の瞳孔間距離に対応する。さらに、シミュレーション結果は、左眼に向けられたパターンは、右眼に向けられたパターンから良好に分離され、また逆も成り立ち、これを、2つの立体視チャネルの間のクロストークが潜在的に非常に低いシステムにすることを示した。
さらなるシミュレーションが、図37の構造を用い、単一のMBP内の隣合せの源の対を2つ使用することによって、実行された。結果は、2つの隣接する源からの照明がオーバラップし、2つの異なる映像を僅かに異なる視野角から両眼に投影すること、およびSMV条件を満たすことを可能にすることを示した。この特徴は、一方の眼に中心を置いたアイボックスを拡大するために使用することもでき、したがって、眼はそのとき、立体視映像の悪化なしに、中心位置の周りをより自由に動くことができるので、使用可能性を改善し、および/または製造公差を低下させることができる。
いくつかの実施形態においては、複数のコリメーティングミラーを備えるミラーアレイと、ミラーアレイ上に位置付けられた透明な基板と、ミラーアレイの各ミラーに対する、透明な基板上に取り付けられた光放射要素の対応するサブアレイであって、各サブアレイは、それからの光が、対応するミラーによって実質的にコリメートされ、透明な基板を通過するように方向付けられるように、位置付けられる、対応するサブアレイとを備えるディスプレイデバイスが、存在することができる。ディスプレイデバイスは、コリメーティングミラーが、凹面鏡であることを含むことができる。ディスプレイデバイスは、コリメーティングミラーが、放物面鏡であることを含むことができる。ディスプレイデバイスは、コリメーティングミラーが、フレネルミラーであることを含むことができる。ディスプレイデバイスは、コリメーティングミラーが、回折ミラーであることを含むことができる。ディスプレイデバイスは、コリメーティングミラーが、少なくとも1つの軸の周りの制御可能なレベルの傾きを有することを含むことができる。ディスプレイデバイスは、コリメーティングミラーが、対応するサブアレイから制御可能な距離を有することを含むことができる。ディスプレイデバイスは、透明な基板上に透明な導体をさらに含むことができ、透明な導体は、対応する光放射要素に接続されて、対応する光放射要素を駆動する。ディスプレイデバイスは、各サブアレイが、光放射要素の実質的に直線状のアレイであることを含むことができる。ディスプレイデバイスは、各サブアレイが、光放射要素の実質的に十字形のアレイであることを含むことができる。ディスプレイデバイスは、各サブアレイが、光放射要素の実質的に正方形のアレイであることを含むことができる。ディスプレイデバイスは、各サブアレイが、実質的に対応するミラーの光軸上に中心を置くことを含むことができる。ディスプレイデバイスは、各サブアレイが、対応するミラーの光軸からずれていることを含むことができる。ディスプレイデバイスは、各光放射要素が、発光ダイオード(LED)であることを含むことができる。ディスプレイデバイスは、各光放射要素が、マイクロ発光ダイオード(μLED)であることを含むことができる。
いくつかの実施形態においては、複数のコリメーティングミラーを備えるミラーアレイと、ミラーアレイ上に位置付けられた透明な基板と、透明な基板上に位置付けられた空間光変調器であって、空間光変調器は、複数のピクセルを有する、空間光変調器と、ミラーアレイの各ミラーに対する、透明な基板上に取り付けられた光放射要素の対応するサブアレイであって、各サブアレイは、それからの光が、対応するミラーによって実質的にコリメートされ、透明な基板を通過するように、また空間光変調器の対応するピクセルを通過するように方向付けられるように、位置付けられる、対応するサブアレイとを備える、ディスプレイデバイスが、存在することができる。ディスプレイデバイスは、空間光変調器が、液晶ディスプレイであることを含むことができる。ディスプレイデバイスは、コリメーティングミラーが、凹面鏡であることを含むことができる。ディスプレイデバイスは、コリメーティングミラーが、放物面鏡であることを含むことができる。ディスプレイデバイスは、コリメーティングミラーが、フレネルミラーであることを含むことができる。ディスプレイデバイスは、コリメーティングミラーが、回折ミラーであることを含むことができる。ディスプレイデバイスは、コリメーティングミラーが、少なくとも1つの軸の周りの制御可能なレベルの傾きを有することを含むことができる。ディスプレイデバイスは、コリメーティングミラーが、対応するサブアレイから制御可能な距離を有することを含むことができる。ディスプレイデバイスは、透明な基板上に透明な導体をさらに含むことができ、透明な導体は、対応する光放射要素に接続されて、対応する光放射要素を駆動する。ディスプレイデバイスは、各サブアレイが、光放射要素の実質的に直線状のアレイであることを含むことができる。ディスプレイデバイスは、各サブアレイが、光放射要素の実質的に十字形のアレイであることを含むことができる。ディスプレイデバイスは、各サブアレイが、光放射要素の実質的に正方形のアレイであることを含むことができる。ディスプレイデバイスは、各サブアレイが、実質的に対応するミラーの光軸上に中心を置くことを含むことができる。ディスプレイデバイスは、各サブアレイが、対応するミラーの光軸からずれていることを含むことができる。ディスプレイデバイスは、各光放射要素が、発光ダイオード(LED)であることを含むことができる。ディスプレイデバイスは、各光放射要素が、マイクロ発光ダイオード(μLED)であることを含むことができる。
いくつかの実施形態においては、マルチビューディスプレイを動作させる方法が、存在することができ、方法は、複数のサブアレイの各々の中の複数の光放射要素の各々からの放射された光を変調するステップであって、光放射要素は、透明な基板上に取り付けられる、ステップと、サブアレイの各々について、放射された光を、複数のコリメーティングミラーのうちの対応する1つによって、透明な基板を通過するように反射させるステップとを含み、放射された光は、少なくとも、第1の位置から可視の第1のビューと、第2の位置から可視の第2のビューとを生成するために、変調される。方法は、反射され放射された光を空間光変調器を用いて変調するステップをさらに含むことができる。方法は、空間光変調器が、液晶ディスプレイであり、反射され放射された光が、液晶ディスプレイのためのバックライトとして作用することを含むことができる。
いくつかの実施形態においては、バックライトを有する液晶ディスプレイが、存在することができ、バックライトは、複数のコリメーティングミラーを備えるミラーアレイと、ミラーアレイ上に位置付けられた透明な基板と、ミラーアレイの各ミラーに対する、透明な基板上に取り付けられた光放射要素の対応するサブアレイであって、各サブアレイは、それからの光が、対応するミラーによって実質的にコリメートされ、透明な基板を通過するように方向付けられるように、位置付けられる、対応するサブアレイとを備える。
特徴および要素が、上では特定の組み合わせで説明されたが、各特徴または要素は、単独で使用することができ、または他の特徴および要素との任意の組み合わせで使用することができることを当業者は理解されよう。加えて、本明細書において説明された方法は、コンピュータまたはプロセッサによって実行される、コンピュータ可読媒体内に含まれる、コンピュータプログラム、ソフトウェア、またはファームウェアで実施することができる。コンピュータ可読記憶媒体の例は、限定されることなく、リードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよびリムーバブルディスクなどの磁気媒体、光磁気媒体、ならびにCD-ROMディスクおよびデジタル多用途ディスク(DVD)などの光媒体を含む。ソフトウェアと関連付けられたプロセッサを使用して、WTRU、UE、端末、基地局、RNC、または任意のホストコンピュータにおいて使用される、無線周波数送受信機を実施することができる。

Claims (6)

  1. 光エンジンと、
    投影レンズと、
    前記光エンジンから前記投影レンズまでの光路沿いにある空間光変調器であって、複数のピクセルを含む第1のデジタルマイクロミラーデバイスである、空間光変調器と、
    前記空間光変調器と前記投影レンズとの間の前記光路沿いにある少なくとも1つの操向可能ミラーであって、複数の個々に操向可能なマイクロミラーを有する第2のデジタルマイクロミラーデバイスを含み、前記空間光変調器によって生成された変調された光パターンを、異なる角度方向に前記投影レンズに向かって反射するよう構成された、少なくとも1つの操向可能ミラーと、
    前記空間光変調器と前記第2のデジタルマイクロミラーデバイスとの間に配置された結像レンズであって、拡大率にしたがってそれぞれのマイクロミラーの上に各ピクセルを結像するように構成された、結像レンズと
    を備えたライトフィールドディスプレイデバイス。
  2. スクリーンをさらに備え、前記投影レンズは、変調された光を前記スクリーンの上に投影するように構成され、前記スクリーンは、
    レンチキュラシートレイヤと、
    光発散レイヤと
    を含む請求項1に記載のライトフィールドディスプレイデバイス。
  3. 光源から光を、複数のピクセルを含んでいる空間光変調器へと向けるステップと、
    少なくとも1つの操向可能ミラーが、第1の位置にある間に、(i)前記空間光変調器を用いて前記光を変調して、第1の変調光パターンを生成し、(ii)前記第1の変調光パターンを当該少なくとも1つの操向可能ミラーから投影レンズに向かって第1の角度方向に反射させるステップと、
    前記少なくとも1つの操向可能ミラーが、第2の位置にある間に、(i)前記空間光変調器を用いて前記光を変調して、第2の変調光パターンを生成し、(ii)前記第2の変調光パターンを前記少なくとも1つの操向可能ミラーから前記投影レンズに向かって第2の角度方向に反射させるステップと、
    前記第1の変調光パターンおよび前記第2の変調光パターンを前記投影レンズから投影するステップと
    を備える方法であって、
    前記少なくとも1つの操向可能ミラーは複数の個々に操向可能なマイクロミラーを有するデジタルマイクロミラーデバイスを含み、
    前記方法は、前記第1の位置および前記第2の位置を含む複数の位置にわたって前記マイクロミラーを傾けるステップをさらに備え、
    前記方法は、結像レンズを用いて、拡大率にしたがって各ピクセルをそれぞれのマイクロミラー上に結像させるステップをさらに備える
    ライトフィールディスプレイ方法。
  4. 前記第1の変調光パターンおよび前記第2の変調光パターンを投影するステップは、前記第1の変調光パターンおよび前記第2の変調光パターンをスクリーン上に投影するステップを含む請求項3に記載の方法。
  5. 前記第1の位置および前記第2の位置を含む複数の位置にわたって前記少なくとも1つの操向可能ミラーを循環させるステップをさらに備える請求項3または4に記載の方法。
  6. 前記循環させるステップは、少なくとも60Hzで実行される請求項5に記載の方法。
JP2020509503A 2017-08-23 2018-08-21 投影される3dライトフィールドを生成するためのライトフィールド映像エンジン方法および装置 Active JP7227224B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023018394A JP2023075086A (ja) 2017-08-23 2023-02-09 投影される3dライトフィールドを生成するためのライトフィールド映像エンジン方法および装置

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201762549386P 2017-08-23 2017-08-23
US62/549,386 2017-08-23
US201762553615P 2017-09-01 2017-09-01
US62/553,615 2017-09-01
US201862617539P 2018-01-15 2018-01-15
US62/617,539 2018-01-15
PCT/US2018/047313 WO2019040484A1 (en) 2017-08-23 2018-08-21 METHOD AND APPARATUS FOR GENERATING 3D PROJECTED LIGHT FIELDS USING LIGHT FIELD IMAGE PROJECTION ENGINE

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023018394A Division JP2023075086A (ja) 2017-08-23 2023-02-09 投影される3dライトフィールドを生成するためのライトフィールド映像エンジン方法および装置

Publications (3)

Publication Number Publication Date
JP2020531902A JP2020531902A (ja) 2020-11-05
JP2020531902A5 JP2020531902A5 (ja) 2021-09-30
JP7227224B2 true JP7227224B2 (ja) 2023-02-21

Family

ID=63586897

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020509503A Active JP7227224B2 (ja) 2017-08-23 2018-08-21 投影される3dライトフィールドを生成するためのライトフィールド映像エンジン方法および装置
JP2023018394A Pending JP2023075086A (ja) 2017-08-23 2023-02-09 投影される3dライトフィールドを生成するためのライトフィールド映像エンジン方法および装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023018394A Pending JP2023075086A (ja) 2017-08-23 2023-02-09 投影される3dライトフィールドを生成するためのライトフィールド映像エンジン方法および装置

Country Status (6)

Country Link
US (1) US20200371378A1 (ja)
EP (2) EP3673319B1 (ja)
JP (2) JP7227224B2 (ja)
KR (2) KR102625625B1 (ja)
CN (2) CN114815287A (ja)
WO (1) WO2019040484A1 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7278277B2 (ja) 2017-11-02 2023-05-19 ピーシーエムエス ホールディングス インコーポレイテッド ライトフィールドディスプレイにおける開口拡大のための方法およびシステム
WO2019126637A1 (en) * 2017-12-22 2019-06-27 Arizona Board Of Regents On Behalf Of The University Of Arizona Methods and apparatus for angular and spatial modulation of light
US20210302756A1 (en) * 2018-08-29 2021-09-30 Pcms Holdings, Inc. Optical method and system for light field displays based on mosaic periodic layer
WO2020072034A1 (en) * 2018-10-01 2020-04-09 Leia Inc. Holographic reality system, multiview display, and method
US11300806B2 (en) * 2018-11-08 2022-04-12 Brass Roots Technologies, LLC Multi-image projection method utilizing bit segment rate switching
US11698516B2 (en) * 2018-11-27 2023-07-11 National Taiwan University Head mounted display device and near-eye light field display device thereof
EP3935432A1 (en) * 2019-03-08 2022-01-12 PCMS Holdings, Inc. Optical method and system for displays based on beams with extended depth of focus
WO2020203237A1 (ja) * 2019-03-29 2020-10-08 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US11503274B2 (en) 2019-05-02 2022-11-15 Disney Enterprises, Inc. High speed binary compressive light field projection system
CN114175627B (zh) * 2019-06-07 2024-04-12 交互数字Vc控股公司 用于基于分布式光孔的光场显示器的光学方法和系统
WO2020263958A1 (en) 2019-06-28 2020-12-30 Pcms Holdings, Inc. Optical method and system for light field (lf) displays based on tunable liquid crystal (lc) diffusers
WO2021076424A1 (en) 2019-10-15 2021-04-22 Pcms Holdings, Inc. Method for projecting an expanded virtual image with a small light field display
CN114641991A (zh) * 2019-10-31 2022-06-17 索尼集团公司 图像显示装置
US20230007231A1 (en) * 2019-11-29 2023-01-05 Sony Group Corporation Image processing device, image processing method, and image display system
CN111427166B (zh) * 2020-03-31 2022-07-05 京东方科技集团股份有限公司 一种光场显示方法及系统、存储介质和显示面板
CN111885364B (zh) * 2020-06-24 2023-08-15 歌尔微电子有限公司 微投影设备及电子设备
US11079668B1 (en) 2020-07-07 2021-08-03 Mirraviz, Inc. Reflective display
US11722648B2 (en) * 2020-07-07 2023-08-08 Mirraviz, Inc. Reflective display
CN111766716B (zh) * 2020-08-03 2022-11-04 京东方科技集团股份有限公司 显示组件、显示装置和驱动方法
CN112013859B (zh) * 2020-10-19 2021-01-26 四川京炜交通工程技术有限公司 一种快速获取道路标线精准位置的方法
CN112967342B (zh) * 2021-03-18 2022-12-06 深圳大学 一种高精度三维重建方法、系统、计算机设备及存储介质
DE102021206209B3 (de) 2021-06-17 2022-07-07 Gixel GmbH Brillen-Anzeigevorrichtung zum Anzeigen eines virtuellen Bildes in einem Sichtfeld eines Nutzers, Augmented-Reality-Brillen-Anzeigevorrichtung
CN113325601B (zh) * 2021-08-03 2021-10-26 成都工业学院 一种高视点密度光场立体显示装置
CN113687523B (zh) * 2021-08-05 2022-05-17 中山大学 一种基于投射光非对称分布的裸眼光场显示方法
JP2023024054A (ja) * 2021-08-06 2023-02-16 株式会社小糸製作所 画像表示装置および画像表示方法
US20230065240A1 (en) * 2021-08-25 2023-03-02 The United States of America As Represented By The Director Of The National Geospatial-Intelligence Method and apparatus for the display of volumetric solids using distributed photochromic compounds
US11808599B2 (en) 2021-11-24 2023-11-07 GM Global Technology Operations LLC Route recording with real-time annotation and re-display system
US11589017B1 (en) * 2021-12-01 2023-02-21 GM Global Technology Operations LLC Ground line monitoring system
US11898867B2 (en) 2021-12-06 2024-02-13 GM Global Technology Operations LLC Recorded route replay on an augmented reality head-up display application
EP4199377A1 (en) * 2021-12-14 2023-06-21 Airbus Defence and Space GmbH Configurable beacon for the acquisition of covert optical communication links
CN114879469B (zh) * 2022-04-28 2023-05-05 清华大学 基于计算全息的无接触交互设备
CN114815010B (zh) * 2022-05-15 2024-02-09 佛山科学技术学院 一种用于3d悬浮成像的透镜阵列及其装置
CN117234023A (zh) * 2022-06-08 2023-12-15 华为技术有限公司 显示装置及方法、交通工具
TWI799345B (zh) * 2022-09-01 2023-04-11 國立清華大學 反射掃描式同調光繞射顯影方法及系統

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003075744A (ja) 2001-09-05 2003-03-12 Ricoh Co Ltd 光マイクロスキャナの製造方法、光マイクロスキャナ、及び光マイクロスキャナアレイ
US20050285027A1 (en) 2004-03-23 2005-12-29 Actuality Systems, Inc. Scanning optical devices and systems
JP2007072049A (ja) 2005-09-06 2007-03-22 Seiko Epson Corp 画像表示装置
US20080158245A1 (en) 2006-12-29 2008-07-03 Texas Instruments Incorporated High dynamic range display systems

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69424741T2 (de) * 1993-10-26 2000-11-30 Matsushita Electric Ind Co Ltd Vorrichtung zur dreidimensionalen Bildanzeige
GB2284068A (en) * 1993-11-12 1995-05-24 Sharp Kk Three-dimensional projection display apparatus
AUPN003894A0 (en) * 1994-12-13 1995-01-12 Xenotech Research Pty Ltd Head tracking system for stereoscopic display apparatus
JPH11237848A (ja) * 1998-02-24 1999-08-31 Ricoh Co Ltd 画像表示装置
JP3375944B2 (ja) * 1998-03-27 2003-02-10 株式会社オプトウエア 3次元画像表示装置
US6587159B1 (en) * 1998-05-29 2003-07-01 Texas Instruments Incorporated Projector for digital cinema
US6642969B2 (en) 1999-12-30 2003-11-04 Texas Instruments Incorporated Color wheel for a falling raster scan
JP2004511824A (ja) * 2000-10-12 2004-04-15 レベオ, インコーポレイティッド デジタル・ライト・プロセシング方式の3d投影システム及び方法
WO2003032048A1 (fr) * 2001-10-01 2003-04-17 Matsushita Electric Industrial Co., Ltd. Dispositif d'affichage de projections et dispositif de projection par transparence utilisant ce dispositif d'affichage
US6958867B2 (en) * 2002-09-30 2005-10-25 Fuji Photo Film Co., Ltd. Illumination optical system, exposure device using the illumination optical system, and exposure method
CN1185543C (zh) * 2002-10-29 2005-01-19 薛虎玲 一种准波场合成无镜式立体影视光学引擎
ATE474332T1 (de) 2003-05-02 2010-07-15 Univ College Cork Nat Univ Ie Lichtemittierende mesastrukturen mit hohem höhe- zu-breite-verhältnis und quasi-parabolischen seitenwänden und ihre herstellung
DE10323462B3 (de) * 2003-05-23 2005-01-27 Boll, Peter, Dr. Verfahren und Vorrichtung zur dreidimensionalen Darstellung von Bildern
US7782523B2 (en) 2003-11-01 2010-08-24 Fusao Ishii Analog micromirror devices with continuous intermediate states
US7261417B2 (en) * 2004-02-13 2007-08-28 Angstrom, Inc. Three-dimensional integral imaging and display system using variable focal length lens
WO2005086766A2 (en) * 2004-03-05 2005-09-22 Actuality Systems, Inc Optical systems for generating three-dimensional images
US20060061846A1 (en) * 2004-09-17 2006-03-23 Microvision, Inc. Scanned light display system using array of collimating elements in conjunction with large numerical aperture light emitter array
CN101006708A (zh) * 2004-09-17 2007-07-25 株式会社尼康 电子设备
KR100580218B1 (ko) * 2004-12-30 2006-05-16 삼성전자주식회사 하나의 프로젝터를 사용한 투사형 3차원 영상 디스플레이장치
JP2007017536A (ja) * 2005-07-05 2007-01-25 Ricoh Co Ltd プロジェクタ装置
JP2009515344A (ja) 2005-11-04 2009-04-09 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア 高い光抽出効率の発光ダイオード(led)
US7635189B2 (en) * 2005-12-21 2009-12-22 International Business Machines Corporation Method and system for synchronizing opto-mechanical filters to a series of video synchronization pulses and derivatives thereof
US7944465B2 (en) * 2006-01-13 2011-05-17 Zecotek Display Systems Pte. Ltd. Apparatus and system for reproducing 3-dimensional images
JP4605032B2 (ja) * 2006-01-25 2011-01-05 ソニー株式会社 スクリーン及び画像投影装置
WO2007127319A2 (en) * 2006-04-25 2007-11-08 The Board Of Regents Of The University Of Oklahoma Volumetric liquid crystal display for rendering a three- dimensional image
KR20080094318A (ko) * 2007-04-20 2008-10-23 삼성전기주식회사 스캐닝 디스플레이 장치 및 스캐닝 디스플레이 구동 방법
WO2009040822A2 (en) * 2007-09-25 2009-04-02 Explay Ltd. Micro-projector
KR20090034477A (ko) * 2007-10-04 2009-04-08 삼성전기주식회사 회절형 광변조기의 보상 방법
KR101595104B1 (ko) * 2008-07-10 2016-02-17 리얼 뷰 이미징 리미티드 광시야각 디스플레이들 및 사용자 인터페이스들
US20100030627A1 (en) 2008-08-01 2010-02-04 Christopher Lee system and method of managing project templates
KR20110109565A (ko) * 2010-03-31 2011-10-06 삼성전자주식회사 백라이트 유닛, 이를 구비한 3d 디스플레이 및 3d 영상 형성 방법
US8724000B2 (en) * 2010-08-27 2014-05-13 Adobe Systems Incorporated Methods and apparatus for super-resolution in integral photography
WO2012062681A1 (de) * 2010-11-08 2012-05-18 Seereal Technologies S.A. Anzeigegerät, insbesondere ein head-mounted display, basierend auf zeitlichen und räumlichen multiplexing von hologrammkacheln
GB201019181D0 (en) * 2010-11-12 2010-12-29 Univ Leicester Improved optical arrangement
JP2014130305A (ja) * 2012-03-30 2014-07-10 Nitto Denko Corp 表示装置
CN110022472B (zh) * 2012-10-18 2022-07-26 亚利桑那大学评议会 具有可寻址焦点提示的立体显示器
EP2912513B1 (en) * 2012-10-23 2022-06-15 Lusospace, Projectos Engenharia Lda See-through head or helmet mounted display device
KR20150086497A (ko) * 2012-11-16 2015-07-28 코닌클리케 필립스 엔.브이. 무안경 입체 영상 디스플레이 디바이스
CN103048867A (zh) * 2012-12-31 2013-04-17 中国科学院自动化研究所 多模式混合投影的真三维显示系统
US9405124B2 (en) 2013-04-09 2016-08-02 Massachusetts Institute Of Technology Methods and apparatus for light field projection
CN103423641A (zh) * 2013-07-23 2013-12-04 杭州杭科光电股份有限公司 一种带反射配光的led光源模组
KR101873127B1 (ko) * 2013-09-30 2018-06-29 피씨엠에스 홀딩스, 인크. 증강 현실 디스플레이 및/또는 사용자 인터페이스를 제공하기 위한 방법, 장치, 시스템, 디바이스, 및 컴퓨터 프로그램 제품
JP6270674B2 (ja) * 2014-02-27 2018-01-31 シチズン時計株式会社 投影装置
AU2014385317B2 (en) * 2014-03-03 2019-11-07 Eyeway Vision Ltd. Eye projection system
US10429713B2 (en) * 2014-06-12 2019-10-01 Gentex Corporation Selectively-transparent electrochromic display
US10209519B2 (en) * 2014-07-10 2019-02-19 Lusospace, Projectos Engenharia Lda Display device with a collimated light beam
US11399164B2 (en) * 2015-03-02 2022-07-26 Disney Enterprises, Inc. System and method for increased spatial resolution
WO2016182507A1 (en) * 2015-05-14 2016-11-17 Medha Dharmatilleke Multi purpose mobile device case/cover integrated with a camera system & non electrical 3d/multiple video & still frame viewer for 3d and/or 2d high quality videography, photography and selfie recording
US10070106B2 (en) * 2015-06-17 2018-09-04 Texas Instruments Incorporated Optical system designs for generation of light fields using spatial light modulators
CN106569381B (zh) * 2015-10-08 2021-02-19 松下知识产权经营株式会社 投影式图像显示装置
WO2017062289A1 (en) * 2015-10-08 2017-04-13 Pcms Holdings, Inc. Methods and systems of automatic calibration for dynamic display configurations
CN106802513B (zh) * 2017-01-23 2020-11-24 京东方科技集团股份有限公司 背光源、背光源的制造方法和背光模组

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003075744A (ja) 2001-09-05 2003-03-12 Ricoh Co Ltd 光マイクロスキャナの製造方法、光マイクロスキャナ、及び光マイクロスキャナアレイ
US20050285027A1 (en) 2004-03-23 2005-12-29 Actuality Systems, Inc. Scanning optical devices and systems
JP2007072049A (ja) 2005-09-06 2007-03-22 Seiko Epson Corp 画像表示装置
US20080158245A1 (en) 2006-12-29 2008-07-03 Texas Instruments Incorporated High dynamic range display systems

Also Published As

Publication number Publication date
CN114815287A (zh) 2022-07-29
US20200371378A1 (en) 2020-11-26
CN111065957A (zh) 2020-04-24
KR20200060712A (ko) 2020-06-01
WO2019040484A1 (en) 2019-02-28
JP2023075086A (ja) 2023-05-30
CN111065957B (zh) 2022-04-05
JP2020531902A (ja) 2020-11-05
KR102625625B1 (ko) 2024-01-15
KR20240008419A (ko) 2024-01-18
EP4030753A1 (en) 2022-07-20
EP3673319B1 (en) 2022-03-09
EP3673319A1 (en) 2020-07-01

Similar Documents

Publication Publication Date Title
JP7227224B2 (ja) 投影される3dライトフィールドを生成するためのライトフィールド映像エンジン方法および装置
TWI813681B (zh) 顯示三維內容的裝置及方法
CN114175627B (zh) 用于基于分布式光孔的光场显示器的光学方法和系统
JP7278277B2 (ja) ライトフィールドディスプレイにおける開口拡大のための方法およびシステム
WO2018200417A1 (en) Systems and methods for 3d displays with flexible optical layers
US11846790B2 (en) Optical method and system for light field displays having light-steering layers and periodic optical layer
US20210302756A1 (en) Optical method and system for light field displays based on mosaic periodic layer
WO2019164745A1 (en) Multifocal optics for light field displays
JP2022540350A (ja) 調整可能な液晶(lc)ディフューザに基づいたライトフィールド(lf)ディスプレイのための光学的方法およびシステム
WO2021076424A1 (en) Method for projecting an expanded virtual image with a small light field display

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200325

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210823

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210823

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20211026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20211027

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220621

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230209

R150 Certificate of patent or registration of utility model

Ref document number: 7227224

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150