KR20200116942A - 3d 환경에서 데이터를 렌더링하는 시스템 및 방법 - Google Patents
3d 환경에서 데이터를 렌더링하는 시스템 및 방법 Download PDFInfo
- Publication number
- KR20200116942A KR20200116942A KR1020207023603A KR20207023603A KR20200116942A KR 20200116942 A KR20200116942 A KR 20200116942A KR 1020207023603 A KR1020207023603 A KR 1020207023603A KR 20207023603 A KR20207023603 A KR 20207023603A KR 20200116942 A KR20200116942 A KR 20200116942A
- Authority
- KR
- South Korea
- Prior art keywords
- energy
- virtual
- ray
- data
- pixel
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 206
- 238000009877 rendering Methods 0.000 title claims abstract description 91
- 239000000463 material Substances 0.000 claims description 84
- 230000001953 sensory effect Effects 0.000 claims description 82
- 230000000007 visual effect Effects 0.000 claims description 41
- 238000005070 sampling Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 25
- 230000000875 corresponding effect Effects 0.000 claims description 12
- 230000002596 correlated effect Effects 0.000 claims description 9
- 238000002310 reflectometry Methods 0.000 claims description 7
- 230000003190 augmentative effect Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 description 63
- 230000008569 process Effects 0.000 description 63
- 230000001629 suppression Effects 0.000 description 52
- 239000013598 vector Substances 0.000 description 44
- 230000003287 optical effect Effects 0.000 description 35
- 238000010586 diagram Methods 0.000 description 24
- 230000005540 biological transmission Effects 0.000 description 22
- 235000019640 taste Nutrition 0.000 description 22
- 238000013507 mapping Methods 0.000 description 21
- 239000000306 component Substances 0.000 description 16
- 238000013461 design Methods 0.000 description 16
- 210000001508 eye Anatomy 0.000 description 16
- 230000003238 somatosensory effect Effects 0.000 description 16
- 230000008859 change Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 14
- 230000007613 environmental effect Effects 0.000 description 13
- 230000004044 response Effects 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 11
- 230000002457 bidirectional effect Effects 0.000 description 11
- 230000004438 eyesight Effects 0.000 description 11
- 230000001902 propagating effect Effects 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 9
- 230000003993 interaction Effects 0.000 description 9
- 239000013307 optical fiber Substances 0.000 description 9
- 210000002265 sensory receptor cell Anatomy 0.000 description 9
- 108091008691 sensory receptors Proteins 0.000 description 9
- 102000027509 sensory receptors Human genes 0.000 description 9
- 239000000835 fiber Substances 0.000 description 8
- 238000005286 illumination Methods 0.000 description 8
- 230000035945 sensitivity Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000010521 absorption reaction Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000001419 dependent effect Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 230000001788 irregular Effects 0.000 description 6
- 230000000644 propagated effect Effects 0.000 description 6
- 239000000126 substance Substances 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 239000002131 composite material Substances 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000000704 physical effect Effects 0.000 description 5
- 230000004304 visual acuity Effects 0.000 description 5
- 230000001427 coherent effect Effects 0.000 description 4
- 235000009508 confectionery Nutrition 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000002834 transmittance Methods 0.000 description 4
- 230000001720 vestibular Effects 0.000 description 4
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 3
- 238000002835 absorbance Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005315 distribution function Methods 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 210000000412 mechanoreceptor Anatomy 0.000 description 3
- 108091008704 mechanoreceptors Proteins 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 229920000642 polymer Polymers 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 239000010703 silicon Substances 0.000 description 3
- 229910052710 silicon Inorganic materials 0.000 description 3
- 230000004936 stimulating effect Effects 0.000 description 3
- 230000000638 stimulation Effects 0.000 description 3
- 238000001429 visible spectrum Methods 0.000 description 3
- 235000002566 Capsicum Nutrition 0.000 description 2
- 235000006679 Mentha X verticillata Nutrition 0.000 description 2
- 235000016257 Mentha pulegium Nutrition 0.000 description 2
- 244000246386 Mentha pulegium Species 0.000 description 2
- 235000002899 Mentha suaveolens Nutrition 0.000 description 2
- 235000004357 Mentha x piperita Nutrition 0.000 description 2
- 235000001636 Mentha x rotundifolia Nutrition 0.000 description 2
- 108050002069 Olfactory receptors Proteins 0.000 description 2
- 102000012547 Olfactory receptors Human genes 0.000 description 2
- 239000006002 Pepper Substances 0.000 description 2
- 241000722363 Piper Species 0.000 description 2
- 235000016761 Piper aduncum Nutrition 0.000 description 2
- 235000017804 Piper guineense Nutrition 0.000 description 2
- 235000008184 Piper nigrum Nutrition 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000005253 cladding Methods 0.000 description 2
- 210000002858 crystal cell Anatomy 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000002845 discoloration Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000796 flavoring agent Substances 0.000 description 2
- 235000019634 flavors Nutrition 0.000 description 2
- 235000001050 hortel pimenta Nutrition 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004020 luminiscence type Methods 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 235000019633 pungent taste Nutrition 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 102000005962 receptors Human genes 0.000 description 2
- 108020003175 receptors Proteins 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 235000019615 sensations Nutrition 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000002103 transcriptional effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 108090000790 Enzymes Proteins 0.000 description 1
- 102000004190 Enzymes Human genes 0.000 description 1
- 206010027646 Miosis Diseases 0.000 description 1
- 230000002745 absorbent Effects 0.000 description 1
- 239000002250 absorbent Substances 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000006065 biodegradation reaction Methods 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 229910052804 chromium Inorganic materials 0.000 description 1
- 239000011651 chromium Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000000839 emulsion Substances 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000003205 fragrance Substances 0.000 description 1
- 239000003365 glass fiber Substances 0.000 description 1
- 108091005708 gustatory receptors Proteins 0.000 description 1
- 239000003864 humus Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010297 mechanical methods and process Methods 0.000 description 1
- 230000005226 mechanical processes and functions Effects 0.000 description 1
- 230000003547 miosis Effects 0.000 description 1
- 230000000051 modifying effect Effects 0.000 description 1
- 210000001706 olfactory mucosa Anatomy 0.000 description 1
- 239000000382 optic material Substances 0.000 description 1
- 239000012788 optical film Substances 0.000 description 1
- 238000013041 optical simulation Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000029553 photosynthesis Effects 0.000 description 1
- 238000010672 photosynthesis Methods 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000021317 sensory perception Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 210000001779 taste bud Anatomy 0.000 description 1
- 230000036327 taste response Effects 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/0006—Arrays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/04—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres
- G02B6/06—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres the relative position of the fibres being the same at both ends, e.g. for transporting images
- G02B6/08—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres the relative position of the fibres being the same at both ends, e.g. for transporting images with fibre bundle in form of plate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Image Generation (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
3D 환경으로부터 데이터를 렌더링하기 위한 시스템들과 방법들이 개시된다. 본원의 방법들과 시스템들은 싱글 렌더링 패스에서 3D 환경으로부터 에너지 데이터를 캡쳐하기 위해 관측 볼륨으로부터의 역 레이트레이싱을 이용하여, 데이터를 보다 효율적이고 정확하게 수집한다.
Description
본 개시내용은 일반적으로는, 3차원 환경을, 에너지장 프로젝션 장치에게 4차원 에너지장을 출력하라는 지시를 하기 위한 데이터 세트로, 렌더링하는 것에 관련된 것이다.
진 로덴베리(Gene Roddenberry)의 스타 트랙(Star Trek)에 의해 대중화되고 1900년대 초에 작가인 알렉산더 모츠코프스키(Alexander Moszkowski)에 의해 처음 구상되었던 "홀로덱(holodeck)" 챔버 내에서의 상호작용식 가상 세계의 꿈은 거의 한 세기 동안 과학 소설과 기술 혁신에 영감을 주었다. 하지만, 문학, 미디어, 및 어린이와 성인의 집단적 상상력 외에는 이 경험에 대한 강력한 구현은 존재하지 않는다. 본 출원은 3D 환경으로부터의 정보를, 4D 에너지장 투영 시스템으로 하여금 3D 환경으로부터의 장면 상에 모델링된 4D 에너지장을 출력하게 하는 포맷으로, 렌더링하는 시스템 및 방법을 교시한다.
일 실시예에서, 3차원(3D) 환경으로부터 4차원(4D) 에너지장을 렌더링하는 방법은 장면 전체에 위치하는 복수의 에너지 데이터 포인트들에 의해 묘사되는 3D 환경의 장면을 제공하는 단계; 및 상기 장면의 가상 픽셀 평면 상에 복수의 가상 픽셀들을 배치하는 단계로서, 각각의 가상 픽셀은 2D 각 좌표 및 2D 공간 좌표를 포함하는 기지의 고유한 4D 좌표를 갖는, 단계를 포함한다. 이 실시예에서, 상기 각각의 가상 픽셀의 상기 2D 각 좌표는 상기 장면의 가상 관찰 평면 상에 위치한 복수의 가상 관찰 위치들 중 하나의 가상 관찰 위치와 상기 가상 픽셀 사이의 각도 상관관계를 설명하고, 상기 각각의 가상 픽셀의 상기 2D 공간 좌표는 상기 장면의 가상 디스플레이 평면 상에 위치한 복수의 가상 개구들의 가상 개구의 위치를 식별한다. 다음으로, 상기 방법은, 상기 가상 관찰 평면으로부터 복수의 광선을 따라 상기 장면의 상기 복수의 에너지-데이터 포인트들의 에너지 데이터 포인트들을 샘플링하는 단계로서, 각각의 광선은 하나의 가상 관찰 위치 및 하나의 가상 픽셀과, 상기 광선에 의해 교차되는 상기 하나의 가상 픽셀의 상기 2D 각 좌표에 의해 결정되는 각도로, 교차하고, 각각의 광선은 상기 광선에 의해 교차되는 상기 하나의 가상 픽셀의 2D 공간 좌표에 의해 결정되는 하나의 가상 개구와 교차하는, 단계를 포함한다. 본 실시예에서, 상기 방법은, 각각의 광선을 따라 샘플링된 상기 에너지 데이터 포인트들을 상기 광선에 의해 교차되는 상기 하나의 가상 픽셀에 대한 에너지 값에 상관시키는 단계; 및 각각의 광선의 상기 하나의 가상 픽셀의 상기 에너지 값 및 각각의 광선의 상기 하나의 가상 픽셀의 상기 기지의 고유한 4D 좌표들을, 에너지 장치에게 4D 에너지장을 출력하라는 지시를 하도록 작동 가능한 포맷을 갖는 데이터 세트로, 렌더링하는 단계를 포함한다.
일 실시예에서, 상기 복수의 광선들의 적어도 하나의 광선은 상기 복수의 가상 관찰 위치들의 각각의 가상 관찰 위치와 교차한다. 일 실시예에서, 상기 복수의 광선들의 적어도 하나의 광선은 상기 복수의 가상 픽셀들의 각각의 가상 픽셀과 교차한다. 몇몇 실시예에서, 4D 에너지장은 광 필드, 햅틱 필드, 또는 촉각 필드를 포함한다.
일 실시예에서, 상기 에너지-데이터 포인트들은 에너지 주파수, 에너지 강도, 에너지 투명도, 에너지 굴절도, 또는 에너지 반사도 중 적어도 하나를 설명하는 값을 포함한다. 일 실시예에서, 상기 3D 환경은 2차원 공간 내의 포인트들에 깊이 맵을 적용하는 것에 의해 결정될 수 있다. 다른 실시예에서, 상기 가상 디스플레이 평면은 에너지 지향 장치의 도파관 시스템에 대응하고, 에너지는 상기 장면의 적어도 일부의 검출 가능한 4D 에너지장 표현을 형성하기 위한 상기 데이터 세트에 따라 상기 도파관 시스템을 통해 지향되도록 동작 가능하다.
일 실시예에서, 상기 복수의 가상 픽셀들은 상기 도파관 시스템의 제1 측면 상의 복수의 에너지 위치들에 대응한다. 다른 실시예에서, 상기 데이터 세트는 백터화된 재료 특성 데이터를 추가로 포함한다. 작동 시, 상기 방법의 적어도 일부가 실시간으로 수행된다. 다른 기술에서, 상기 방법은 전체적으로 실시간으로 수행된다. 다른 실시예에서, 상기 방법의 적어도 두 부분은 상이한 기간에 수행된다.
몇몇 실시예에서, 상기 데이터 세트는 시각, 청각, 질감(textural), 지각(sensational), 또는 냄새 센서에 의해 인지 가능한 신호를 설명한다. 일 실시예에서, 복수의 광선들의 각각의 광선을 따라 샘플링된 에너지 데이터 포인트들을 에너지 값들과 동시에 상관시킨다. 몇몇 경우에, 데이터 세트는 2진 파일 포맷으로 저장된다.
일 실시예에 있어서, 상기 복수의 광선들의 각각의 광선은 상기 복수의 가상 개구들 중 상기 하나의 가상 개구를 통해 상기 복수의 가상 픽셀들 중 상기 하나의 가상 픽셀을 넘어서까지 확장하고, 상기 복수의 에너지 데이터 포인트들의 상기 에너지 데이터 포인트는 상기 가상 관찰 평면으로부터 샘플링된다.
일 실시예에서, 상술한 단계들이 무한히 반복될 수 있다. 일 실시예에서, 상술한 단계들이 상기 3D 환경으로부터 동적 4D 에너지장을 렌더링 하기 위해 무한히 반복될 수 있다.
일 실시예에서, 상기 에너지 값을 렌더링하는 단계는 상기 에너지 장치에 대한 상기 에너지 데이터를 교정하는 것을 더 포함한다. 일 실시예에서, 광선 파일은 상기 각각의 가상 관찰 위치의 위치 및 모든 광선에 의해 교차되는 상기 하나의 가상 픽셀의 상기 2D 각 좌표를 식별하는 3D 공간 좌표를 저장한다. 다른 실시예에서, 상기 광선 파일은 상기 각각의 가상 관찰 위치의 상기 3D 공간 좌표를 상기 가상 관찰 위치와 교차하는 모든 광선에 의해 교차되는 모든 가상 픽셀의 상기 2D 각 좌표와 연관시킨다. 또 다른 실시예에서, 상기 광선 파일은 광선에 의해 교차하는 상기 하나의 가상 관찰 위치로부터 상기 광선을 따라 상기 복수의 에너지 데이터 포인트들의 상기 에너지 데이터 포인트들을 샘플링하기 위한 각각의 광선에 대한 명령어를 제공하며, 상기 명령어는 적어도 상기 광선에 의해 교차되는 상기 하나의 가상 관찰 위치의 상기 3D 공간 좌표와 상기 광선에 의해 교차되는 상기 하나의 가상 픽셀의 상기 2D 각 좌표에 의해 결정된다.
일 실시예에서, 동적 3차원(3D) 환경으로부터 4차원(4D) 에너지장을 렌더링하는 시스템은 감각 데이터 엔진과 렌더링 엔진을 포함하는 프로세싱 서브시스템을 포함하고, 상기 감각 데이터 엔진은 상기 장면 전체에 위치하는 복수의 에너지 데이터 포인트들에 의해 묘사되는 3D 환경의 장면을 제공한다. 일 실시예에서, 상기 감각 데이터 엔진은 상기 장면의 가상 픽셀 평면 상에 복수의 가상 픽셀들을 배치하고, 여기서 각각의 가상 픽셀은 2D 각 좌표 및 2D 공간 좌표를 포함하는 기지의 고유한 4D 좌표를 포함한다. 각각의 가상 픽셀 좌표의 상기 2D 각은 상기 감각 데이터 엔진에 의해 상기 장면의 가상 관찰 평면 상에 위치된 복수의 가상 관찰 위치들 중 하나의 가상 관찰 위치와 상기 가상 픽셀 사이의 각도 상관관계를 설명하고, 각각의 가상 픽셀의 상기 2D 공간 좌표는 상기 감각 데이터 엔진에 의해 상기 장면의 가상 디스플레이 평면 상에 위치된 복수의 가상 개구들의 가상 개구의 위치를 식별한다.
본 실시예에서, 상기 렌더링 엔진은 상기 가상 관찰 평면으로부터 복수의 광선을 따라 상기 장면의 상기 복수의 에너지 데이터 포인트들의 에너지 데이터 포인트들을 샘플링하고, 각각의 광선은 하나의 가상 관찰 위치 및 하나의 가상 픽셀과, 상기 광선에 의해 교차되는 상기 하나의 가상 픽셀의 상기 2D 각 좌표에 의해 결정되는 각도로, 교차하고, 각각의 광선은 그 광선에 의해 교차된 상기 하나의 가상 픽셀의 상기 2D 공간 좌표에 의해 결정되는 하나의 가상 개구와 교차한다.
또한 본 실시예에서, 상기 렌더링 엔진은 각각의 광선을 따라 샘플링된 상기 에너지 데이터 포인트들을 상기 복수의 가상 픽셀들 중 하나의 가상 픽셀의 에너지 값에 상관시키고, 상기 렌더링 엔진은 상기 복수의 가상 픽셀들 중 상기 하나의 가상 픽셀의 상기 에너지 값들과 상기 복수의 가상 픽셀들 중 상기 하나의 상기 가상 픽셀의 상기 기지의 고유한 4D 에너지장을, 에너지 장치에게 4D 에너지장을 출력하라는 지시를 하도록 작동 가능한 포맷을 갖는 데이터세트로, 렌더링한다.
일 실시예에서, 상기 복수의 광선들의 적어도 하나의 광선은 상기 복수의 가상 관찰 위치들의 각각의 가상 관찰 위치와 교차한다. 다른 실시예에서, 상기 복수의 광선들의 적어도 하나의 광선은 상기 복수의 가상 픽셀들의 각각의 가상 픽셀과 교차한다. 몇몇 실시예에서, 4D 에너지장은 광 필드, 햅틱 필드, 또는 촉각 필드일 수 있다.
일 실시예에서, 상기 에너지-데이터 포인트들은 에너지 주파수, 에너지 강도, 에너지 투명도, 에너지 굴절도, 또는 에너지 반사도 중 적어도 하나를 설명하는 값을 포함한다. 작동 시, 상기 3D 환경은 2차원 공간 내의 포인트들에 깊이 맵을 적용하는 것에 의해 결정된다.
일 실시예에서, 상기 가상 디스플레이 평면은 에너지 지향 장치의 도파관 시스템에 대응하고, 에너지는 상기 장면의 적어도 일부의 검출 가능한 4D 에너지장 표현을 형성하기 위한 상기 데이터 세트에 따라 상기 도파관 시스템을 통해 지향될 수 있다. 다른 실시예에서, 상기 복수의 가상 픽셀들은 상기 도파관 시스템의 제1 측면 상의 복수의 에너지 위치들에 대응한다. 다른 실시예에서, 상기 데이터 세트는 백터화된 재료 특성 데이터를 추가로 포함한다.
작동 시, 상기 시스템의 적어도 일부가 실시간으로 수행된다. 다른 작동 시, 상기 시스템은 전체가 실시간으로 수행된다. 다른 실시예에서, 상기 시스템의 적어도 두 부분들이 상이한 기간에 수행된다.
일 실시예에서, 상기 데이터 세트는 시각, 청각, 질감(textural), 지각(sensational), 또는 냄새 센서에 의해 인지 가능한 신호를 설명한다. 다른 실시예에서, 복수의 광선들의 각각의 광선을 따라 샘플링된 에너지 데이터 포인트들을 에너지 값들과 동시에 상관시킨다. 또 다른 실시예에서, 데이터 세트는 2진 파일 포맷으로 저장된다.
일 실시예에서, 상기 복수의 에너지-데이터 포인트들의 에너지 데이터 포인트들은 상기 렌더링 엔진에 의해, 상기 가상 관찰 평면으로부터 상기 복수의 가상 개구들 중 상기 하나의 가상 개구를 통해 상기 복수의 가상 픽셀들 중 상기 하나의 가상 픽셀을 넘어서까지 확장하는 상기 복수의 광선들의 각각의 광선을 따라 샘플링된다. 다른 실시예에서, 상기 시스템은 상기 동적 3D 환경으로부터 동적 4D 에너지장을 렌더링하기 위해 무한히 작동될 수 있다. 또 다른 실시예에서, 상기 시스템은 상기 데이터 세트를 저장하기 위한 메모리를 추가로 포함한다. 일 실시예에서, 상기 렌더링 시스템은 상기 에너지 장치에 대해서 상기 에너지 데이터를 교정한다. 다른 실시예에서, 상기 시스템은 상기 복수의 에너지-데이터 포인트들을 저장하기 위한 메모리를 추가로 포함한다.
일 실시예에서, 광선 파일은 각각의 가상 관찰 위치의 위치 및 모든 광선에 의해 교차되는 상기 하나의 가상 픽셀의 상기 2D 각 좌표를 식별하는 3D 공간 좌표를 저장한다. 다른 실시예에서, 상기 광선 파일은 상기 각각의 가상 관찰 위치의 상기 3D 공간 좌표를 상기 가상 관찰 위치와 교차하는 모든 광선에 의해 교차되는 모든 가상 픽셀의 상기 2D 각 좌표와 연관시킨다. 또 다른 실시예에서, 상기 광선 파일은 상기 광선에 의해 교차하는 상기 하나의 가상 관찰 위치로부터 상기 광선을 따라 상기 복수의 에너지 데이터 포인트들의 에너지 데이터 포인트들을 샘플링하기 위한 각각의 광선에 대한 명령어를 제공하며, 상기 명령어는 적어도 광선에 의해 교차되는 상기 하나의 가상 관찰 위치의 상기 3D 공간 좌표와 광선에 의해 교차되는 상기 하나의 가상 픽셀의 상기 2D 각 좌표에 의해 결정된다.
일 실시예에서, 3차원(3D) 환경으로부터 에너지 데이터를 렌더링하는 방법은 장면 전체에 위치하는 복수의 에너지 데이터 포인트들에 의해 묘사되는 3D 환경의 장면을 제공하는 단계; 및 상기 장면의 가상 픽셀 평면 상에 복수의 가상 픽셀들을 배치하는 단계로서, 각각의 가상 픽셀은 2D 각 좌표 및 2D 공간 좌표를 포함하는 기지의 고유한 4D 좌표를 갖는, 단계를 포함한다. 각각의 가상 픽셀의 상기 2D 각 좌표는 상기 가상 픽셀과 상기 장면의 가상 관찰 평면 상에 위치한 복수의 가상 관찰 위치들 중 하나의 가상 관찰 위치 사이의 각도 상관관계를 설명하고, 각각의 가상 픽셀의 상기 2D 공간 좌표는 상기 장면의 가상 디스플레이 평면 상에 위치한 복수의 가상 개구들의 가상 개구의 위치를 식별한다. 상기 방법의 다음 단계는 상기 가상 관찰 평면으로부터 복수의 광선을 따라 상기 장면의 상기 복수의 에너지-데이터 포인트들의 에너지 데이터 포인트들을 샘플링하는 것을 포함하고, 각각의 광선은 하나의 가상 관찰 위치 및 하나의 가상 픽셀과, 상기 광선에 의해 교차되는 상기 하나의 가상 픽셀의 상기 2D 각 좌표에 의해 결정되는 각도로, 교차하고, 각각의 광선은 광선에 의해 교차되는 상기 하나의 가상 픽셀의 2D 공간 좌표에 의해 결정되는 하나의 가상 개구와 교차한다. 일 방법에서, 이 다음 단계는 각각의 광선을 따라 샘플링된 상기 에너지 데이터 포인트들을 상기 광선에 의해 교차되는 상기 하나의 가상 픽셀에 대한 에너지 값에 상관시키는 단계와, 각각의 광선의 상기 하나의 가상 픽셀의 상기 에너지 값 및 각각의 광선의 상기 하나의 가상 픽셀의 상기 기지의 고유한 4D 좌표들을, 에너지 장치에게 에너지 데이터를 출력하라는 지시를 하도록 작동 가능한 포맷을 갖는 데이터 세트로, 렌더링하는 단계를 포함한다.
일 실시예에서, 각각의 개구는 2개의 광선들에 의해 교차된다. 다른 실시예에서, 복수의 가상 관찰 위치들은 2개의 가상 관찰 위치들을 포함한다. 몇몇 실시예들에서, 상기 데이터 세트는 에너지 장치에게 입체 이미지를 출력하라는 지시를 하도록 작동 가능한 포맷을 갖거나, 또는 상기 데이터 세트는 에너지 장치에게 가상 이미지를 출력하라는 지시를 하도록 작동 가능한 포맷을 갖거나, 또는 상기 데이터 세트는 에너지 장치에게 증강 현실 이미지를 출력하라는 지시를 하도록 작동 가능한 포맷을 갖는다.
일 실시예에서, 각각의 개구는 다수의 광선들에 의해 교차된다. 다른 실시예에서, 상기 데이터 세트는 에너지 장치에게 다수의 뷰들로부터 이미지를 출력하라는 지시를 하도록 작동 가능한 포맷을 갖고, 상기 다수의 뷰들은 상기 각각의 가상 개구와 교차하는 다수의 광선에 대응한다.
도 1은 에너지 지향 시스템에 대한 설계 파라미터를 예시하는 개략도이다.
도 2는 기계적 엔벨로프(envelope)를 갖는 능동 소자 영역을 갖는 에너지 시스템을 예시하는 개략도이다.
도 3은 에너지 릴레이 시스템을 예시하는 개략도이다.
도 4는 베이스 구조체에 함께 접착되어 고정된 에너지 릴레이 요소들의 실시예를 예시하는 개략도이다.
도 5a는 멀티 코어 광섬유를 통해 중계된 이미지의 일례를 예시하는 개략도이다.
도 5b는 횡방향 앤더슨 편재 원리의 특성들을 나타내는 에너지 릴레이를 통해 중계된 이미지의 일례를 예시하는 개략도이다.
도 6은 에너지 표면으로부터 뷰어로 전파된 광선을 예시하는 개략도이다.
도 7a는 본 발명의 일 실시예에 따른 것으로, 베이스 구조체, 4개의 에너지 장치, 및 심리스 에너지 표면을 형성하는 4개의 에너지 릴레이 요소를 갖는 에너지 도파관 시스템의 사시도이다.
도 7b는 본 발명의 일 실시예에 따른 에너지 릴레이 시스템을 예시한다.
도 7c는 본 발명의 일 실시예에 따른 에너지 도파관 시스템의 실시예를 위에서 아래로 투시한 사시도이다.
도 7d는 도 7c에 도시된 실시예의 전면 사시도이다.
도 7e 내지 도 7l은 에너지 억제 요소의 다양한 실시예를 예시한다.
도 8은 홀로그래픽 감각 데이터를 처리하기 위한 프로세스의 일 실시예를 나타내는 흐름도이다.
도 9는 감각 데이터로 구성된 가상 환경의 개략도이다.
도 10은 에너지 트레이싱의 일 실시예를 예시하는 개략도이다.
도 11은 트레이싱 프로세스를 거치는 에너지 지향 장치(1000)의 일 실시예를 예시하는 개략도이다.
도 12는 홀로그래픽 감각 데이터를 처리하기 위한 프로세싱 시스템의 개략도이다.
도 13은 벡터화 프로세스의 일 실시예를 나타내는 블록도이다.
도 14는 3D 환경에서의 에너지 모델링의 몇몇 양태를 예시한다.
도 15는 3D 환경으로부터 4D 에너지장을 렌더링하기 위한 프로세스의 일 실시예를 나타내는 흐름도이다.
도 16a는 3D 환경의 시각적 표현을 묘사한다.
도 17은 3D 환경으로부터의 가상 픽셀들, 가상 개구, 및 가상 관찰 위치들의 한 가지 퍼스펙티브(perspective)를 도시한다.
도 18은 3D 환경으로부터의 가상 픽셀들, 가상 개구, 및 가상 관찰 위치의 한 가지 퍼스펙티브를 도시한다.
도 19a는 가상 관찰 위치의 양태로부터 3D 환경의 시각적 표현을 묘사한다.
도 20은 3D 환경으로부터 에너지 데이터를 렌더링하기 위한 프로세스의 일 실시예를 나타내는 흐름도이다.
도 21은 디지털 체적 표현에서 다양한 객체들의 역 트레이싱 개략도이다.
도 22는 3D 환경으로부터 4D 에너지장을 렌더링하기 위한 시스템의 일 실시예를 나타내는 개략도이다.
도 2는 기계적 엔벨로프(envelope)를 갖는 능동 소자 영역을 갖는 에너지 시스템을 예시하는 개략도이다.
도 3은 에너지 릴레이 시스템을 예시하는 개략도이다.
도 4는 베이스 구조체에 함께 접착되어 고정된 에너지 릴레이 요소들의 실시예를 예시하는 개략도이다.
도 5a는 멀티 코어 광섬유를 통해 중계된 이미지의 일례를 예시하는 개략도이다.
도 5b는 횡방향 앤더슨 편재 원리의 특성들을 나타내는 에너지 릴레이를 통해 중계된 이미지의 일례를 예시하는 개략도이다.
도 6은 에너지 표면으로부터 뷰어로 전파된 광선을 예시하는 개략도이다.
도 7a는 본 발명의 일 실시예에 따른 것으로, 베이스 구조체, 4개의 에너지 장치, 및 심리스 에너지 표면을 형성하는 4개의 에너지 릴레이 요소를 갖는 에너지 도파관 시스템의 사시도이다.
도 7b는 본 발명의 일 실시예에 따른 에너지 릴레이 시스템을 예시한다.
도 7c는 본 발명의 일 실시예에 따른 에너지 도파관 시스템의 실시예를 위에서 아래로 투시한 사시도이다.
도 7d는 도 7c에 도시된 실시예의 전면 사시도이다.
도 7e 내지 도 7l은 에너지 억제 요소의 다양한 실시예를 예시한다.
도 8은 홀로그래픽 감각 데이터를 처리하기 위한 프로세스의 일 실시예를 나타내는 흐름도이다.
도 9는 감각 데이터로 구성된 가상 환경의 개략도이다.
도 10은 에너지 트레이싱의 일 실시예를 예시하는 개략도이다.
도 11은 트레이싱 프로세스를 거치는 에너지 지향 장치(1000)의 일 실시예를 예시하는 개략도이다.
도 12는 홀로그래픽 감각 데이터를 처리하기 위한 프로세싱 시스템의 개략도이다.
도 13은 벡터화 프로세스의 일 실시예를 나타내는 블록도이다.
도 14는 3D 환경에서의 에너지 모델링의 몇몇 양태를 예시한다.
도 15는 3D 환경으로부터 4D 에너지장을 렌더링하기 위한 프로세스의 일 실시예를 나타내는 흐름도이다.
도 16a는 3D 환경의 시각적 표현을 묘사한다.
도 17은 3D 환경으로부터의 가상 픽셀들, 가상 개구, 및 가상 관찰 위치들의 한 가지 퍼스펙티브(perspective)를 도시한다.
도 18은 3D 환경으로부터의 가상 픽셀들, 가상 개구, 및 가상 관찰 위치의 한 가지 퍼스펙티브를 도시한다.
도 19a는 가상 관찰 위치의 양태로부터 3D 환경의 시각적 표현을 묘사한다.
도 20은 3D 환경으로부터 에너지 데이터를 렌더링하기 위한 프로세스의 일 실시예를 나타내는 흐름도이다.
도 21은 디지털 체적 표현에서 다양한 객체들의 역 트레이싱 개략도이다.
도 22는 3D 환경으로부터 4D 에너지장을 렌더링하기 위한 시스템의 일 실시예를 나타내는 개략도이다.
홀로덱("홀로덱 설계 파라미터들"이라고 통칭함)의 실시예는 가상의 사회적 상호작용식 환경 내에서 수신된 에너지 자극들이 실제적이라고 믿게 하기 위해 인간의 감각 수용체들을 속이기에 충분한 에너지 자극을 제공하며, 다음을 제공한다: 1) 외부 액세서리들 없이 양안 디스패러티, 머리 장착식 안경류 또는 기타 주변 장치들; 2) 임의의 수의 관찰자들을 위해 동시에 관측 볼륨(viewing volume) 전체에 걸친 정확한 운동 시차(motion parallax), 오클루젼(occlusion) 및 혼탁(opacity); 3) 모든 인지된 광선에 대한 눈의 동기식 수렴(convergence), 원근조절(accommodation) 및 축동(miosis)을 통한 시각 초점(visual focus); 및 4) 시각, 청각, 촉각, 미각, 후각 및/또는 균형을 위한 인간의 감각 "해상도"를 초과하는 충분한 밀도 및 해상도의 수렴 에너지파 전파.
시각계, 청각계, 체성감각계, 미각계, 후각계 및 전정(vestibular)계를 포함하는 홀로덱 설계 파라미터들에 의해 제안되는 바와 같은 강력한 방식으로 모든 수용장들(receptive fields)을 위해 제공할 수 있는 기술이, 현재까지의 종래 기술에 기초하여, 수 세기는 아니더라도, 수십 년이 걸렸다.
본 개시내용에서, 광 필드(light field) 및 홀로그램이라는 용어들은 임의의 감각 수용체 반응의 자극에 대한 에너지 전파를 정의하기 위해 상호교환 가능하게 사용될 수 있다. 초기 개시들은 홀로그래픽 이미지 및 체적형 햅틱스를 위한 에너지 표면들을 통한 에너지 및 역학적 에너지 전파의 예들을 지칭할 수 있는 한편, 모든 형태의 감각 수용체들이 본 개시내용에서 구상된다. 또한, 전파 경로들을 따른 에너지 전파를 위해 본원에 개시된 원리들은 에너지 방출 및 에너지 캡처 양방 모두에 적용 가능할 수 있다.
오늘날 렌티큘러 인쇄, 페퍼의 유령, 무안경 스테레오스코픽 디스플레이, 수평 패러랠랙스 디스플레이, 헤드마운트 VR 및 AR 디스플레이(HMD), 및 "포로그라피(fauxlography)"로 통칭하는 다른 이와 같은 환영 등을 포함하는 홀로그램과 불행히도 종종 혼동되는 많은 기술이 존재한다. 이러한 기술들은 진정한 홀로그램 디스플레이의 원하는 특성들 중 일부를 나타낼 수 있기는 하지만, 4개의 식별된 홀로덱 설계 파라미터들 중 적어도 2개를 해결하기에 충분한 임의의 방식으로 인간의 시각적 감각 반응을 자극하는 능력이 부족하다.
이러한 도전들은 홀로그램 에너지 전파에 충분한 심리스 에너지 표면을 생성하기 위해 종래 기술에 의해 성공적으로 구현되지 못했다. 패럴랙스 배리어(parallax barriers), 호겔(hogels), 복셀(voxels), 회절 광학, 멀티 뷰 투영, 홀로그램 디퓨저(diffuser)들, 회전 거울, 다층형 디스플레이, 시간 순차 디스플레이, 머리 장착식 디스플레이 등을 포함하는 체적 및 방향 다중화 광 필드 디스플레이를 구현하기 위한 다양한 접근법들이 있기는 하지만, 종래의 접근법들은 이미지 품질, 해상도, 각도 샘플링 밀도, 크기, 비용, 안전성, 프레임 속도 등에 대한 타협을 수반할 수 있으며, 이는 궁극적으로 실현 불가능한 기술을 초래할 수 있다.
인간의 감각 수용체들을 충분히 속일 수 있게 에너지파들을 전파할 수 있도록, 시각계, 청각계, 체성감각계들에 대한 홀로덱 설계 파라미터들을 달성하기 위해, 그 각각의 계들 각각의 인간의 예민성(acuity)이 연구되고 이해되었다. 시각계는 약 1각분(arc min)으로 분해할 수 있으며, 청각계는 배치에 있어서의 차이를 적게는 3도만큼 구별할 수 있으며 손에 있는 체성감각계는 2 내지 12mm로 분리된 지점들을 식별할 수 있다. 이러한 예민성을 측정하기 위한 다양하고 상충되는 방식이 존재하기는 하지만, 이러한 값들은 에너지 전파의 인지를 자극하기 위한 시스템들과 방법들을 이해하기에 충분하다.
언급된 감각 수용체들 중에서 인간의 시각계는, 심지어 단일 광자조차도 감각을 유발할 수 있음을 고려하면, 단연코 가장 민감하다. 이러한 이유로, 이 소개의 대부분은 시각적인 에너지파 전파에 초점을 맞출 것이고, 개시된 에너지 도파관 표면 내에 결합된 상당히 낮은 해상도의 에너지 시스템들은 홀로그램 감각 인지를 유도하기 위해 적절한 신호들을 수렴할 수 있다. 달리 언급하지 않는 한, 모든 개시는 모든 에너지 및 감각 도메인들에 적용된다.
관측 볼륨 및 시야 거리(viewing distance)가 주어진 시각계에 대한 에너지 전파의 효과적인 설계 파라미터들을 계산할 때, 원하는 에너지 표면은 많은 기가픽셀의 유효 에너지 위치 밀도를 포함하도록 설계될 수 있다. 넓은 관측 볼륨 또는 근시야 관측(near field viewing)에 대해서는, 원하는 에너지 표면의 설계 파라미터들이 수백 기가픽셀 또는 그 이상의 유효 에너지 위치 밀도를 포함할 수 있다. 이와 비교하여, 원하는 에너지원은 볼륨 햅틱의 초음파 전파를 위한 1 내지 250메가픽셀의 에너지 위치 밀도 또는 입력 환경 변수들에 따른 홀로그램 사운드의 음향 전파를 위한 36 내지 3,600개의 유효 에너지 위치들의 어레이를 갖도록 설계될 수 있다. 주목해야 할 중요한 점은 개시된 양방향 에너지 표면 아키텍처를 이용하면 모든 컴포넌트가 홀로그램 전파를 가능하게 하기 위해 임의의 에너지 영역에 대해 적합한 구조체들을 형성하도록 구성될 수 있다는 것이다.
하지만, 오늘날 홀로덱을 사용하기 위한 주요 과제는 이용 가능한 시각적 기술들과 에너지 장치 제한들을 수반한다. 청각 및 초음파 장치들은, 복잡성이 과소 평가되어서는 안 되지만, 각각의 수용 계에서의 감각 예민성에 기초한 원하는 밀도에 있어서의 상당한 차이를 고려하면 덜 어렵다. 홀로그램 에멀젼은 정적 이미지에서 간섭 패턴들을 인코딩하기 위해 원하는 밀도를 초과하는 해상도로 존재하지만, 최첨단 디스플레이 장치들은 해상도, 데이터 스루풋 및 제조 가능성이 제한된다. 현재까지, 시력에 대해 거의 홀로그램 해상도를 갖는 광 필드를 의미 있게 생성할 수 있는 디스플레이 장치는 하나도 없었다.
강력한 광 필드 디스플레이를 위해 원하는 해상도를 충족시킬 수 있는 단일 실리콘 기반의 장치를 제작하는 것은 실용적이지 않을 수 있으며 현재의 제조 능력을 넘어선 극히 복잡한 제조 공정들을 수반할 수 있다. 다수의 기존 디스플레이 장치를 함께 타일링하는 것에 대한 제한은, 패키징, 전자 장치, 인클로저, 광학기기의 물리적 크기에 의해 형성된 이음매 및 간극과, 필연적으로 이미징, 비용 및/또는 크기 관점으로부터 실행 불가능한 기술을 초래하는 다수의 다른 과제들을 수반한다.
본원에 개시된 실시예들은 홀로덱을 구축하기 위한 실제 경로를 제공할 수 있다.
이제부터는, 본원의 일부를 형성하며 실시될 수 있는 예시적인 실시예들을 도시하는 첨부 도면들을 참조하여, 예시적인 실시예들에 대해 설명할 것이다. 본 개시내용 및 첨부된 청구범위에서 사용된 바와 같이, "실시예", "예시적인 실시예" 및 "예시의 실시예"라는 용어들은 반드시 단일 실시예를 지칭하는 것이 아니며, 예시적인 실시예들의 범위 또는 사상으로부터 벗어나지 않으면서, 다양한 예시적인 실시예들이 용이하게 결합되고 상호교환될 수 있다. 또한, 본원에서 사용되는 전문용어는 단지 예시적인 실시예들을 설명하기 위한 것이지, 제한하려고 의도되는 것은 아니다. 이와 관련하여, 본원에 사용된 바와 같이, 용어 "안에"는 "안에" 및 "위에"를 포함할 수 있고, 용어 "일" 및 "그"는 단수 및 복수의 지칭되는 것들을 포함할 수 있다. 또한, 본원에 사용된 용어 "~에 의해"는 또한 문맥에 따라 "~로부터"를 의미할 수도 있다. 또한, 본원에서 사용되는 바와 같이, 용어 "~이면"은 또한 문맥에 따라 "~일 때" 또는 "~할 때"를 의미할 수도 있다. 또한, 본원에 사용된 바와 같이, "및/또는"이라는 단어는 하나 이상의 관련된 열거 항목들 중 임의의 것 및 모든 가능한 조합들을 지칭하고 포함할 수 있다.
홀로그램 시스템 고려사항:
광 필드 에너지 전파 해상도의 개요
광 필드 및 홀로그램 디스플레이는 에너지 표면 위치들이 관측 볼륨 내에서 전파되는 각도, 색 및 강도 정보를 제공하는 복수의 투영들의 결과이다. 개시된 에너지 표면은, 부가적인 정보가 공존하고, 동일한 표면을 통해 전파되어 다른 감각계 반응들을 유도할 수 있는 기회들을 제공한다. 스테레오스코픽 디스플레이와는 달리, 공간에서의 수렴된 에너지 전파 경로들의 보이는 위치는 관찰자가 관측 볼륨 주위를 이동함에 따라 변하지 않으며, 임의의 수의 보는 사람들이 실제로 거기에 존재하는 것처럼 전파된 객체들을 실제 공간에서 동시에 볼 수 있다. 일부 실시예들에서, 에너지의 전파는 동일한 에너지 전파 경로에 위치될 수도 있지만 방향이 반대이다. 예를 들어, 에너지 전파 경로를 따른 에너지 방출 및 에너지 포획은 양방 모두가 본 개시내용의 일부 실시예들에서 가능하다.
도 1은 감각 수용체 반응의 자극에 관련된 변수들을 나타내는 개략도이다. 이들 변수들은 표면 대각선(101), 표면 폭(102), 표면 높이(103), 결정된 타겟 시팅(seating) 거리(118), 디스플레이의 중심으로부터의 타겟 시팅 시야(104), 눈 사이의 샘플들로서 여기에서 보여진 중간 샘플들의 수(105), 평균 성인의 안구 간격(106), 각분에서 인간의 눈의 평균 해상도(107), 타겟 관찰자 위치와 표면 폭 사이에 형성된 수평 시야(108), 타겟 관찰자 위치와 표면 높이 사이에 형성된 수직 시야(109), 표면에 걸친, 결과적인 수평 도파관 요소 해상도 또는 요소들의 전체 수(110), 표면에 걸친, 결과적인 수직 도파관 요소 해상도 또는 요소들의 전체 수(111), 눈 사이의 안구 간격과 눈 사이의 각도 투영을 위한 중간 샘플들의 수에 기초한 샘플 거리(112), 샘플 거리 및 타겟 시팅 거리에 기초할 수 있는 각도 샘플링(113), 원하는 각도 샘플링으로부터 도출된 도파관 요소 당 전체 해상도 수평도(114), 원하는 각도 샘플링으로부터 도출된 도파관 요소 당 전체 해상도 수직도(115), 원하는 이산(discreet) 에너지원들의 결정된 수의 계수(count)인 장치 수평도(116), 그리고 원하는 이산 에너지원들의 결정된 수의 계수인 장치 수직도(117)를 포함할 수 있다.
원하는 최소 해상도를 이해하는 방법은, 시각적(또는 다른) 감각 수용체 반응의 충분한 자극을 보장하기 위해 다음의 기준, 즉, 표면 크기(예컨대, 84" 대각선), 표면 종횡비(예컨대, 16:9), 시팅 거리(예컨대, 디스플레이로부터 128"), 시팅 시야(예컨대, 디스플레이의 센터를 중심으로 120도 또는 +/-60도), 소정의 거리에 있는 원하는 중간 샘플들(예컨대, 눈 사이에서의 하나의 부가적인 전파 경로), 성인의 평균 안구 간격(약 65mm), 그리고 인간의 눈의 평균 해상도(약 1각분)에 기초할 수 있다. 이러한 예시적인 값들은 특정 애플리케이션 설계 파라미터들에 따른 플레이스홀더(placeholders)로 간주되어야 한다.
또한, 시각 감각 수용체에 기인한 값들의 각각은 원하는 전파 경로 파라미터들을 결정하기 위해 다른 시스템들로 대체될 수 있다. 다른 에너지 전파의 실시예들에 대해서는, 청각계의 각도 민감도는 3도 정도로 낮을 수 있고, 손의 체성감각계의 공간 해상도는 2 내지 12mm 정도로 작을 수 있음이 고려될 수 있다.
이러한 감각 예민성을 측정하기 위한 다양하고 상충되는 방식이 존재하기는 하지만, 이러한 값들은 가상의 에너지 전파의 인지를 자극하기 위한 시스템들과 방법들을 이해하기에 충분하다. 설계 해상도를 고려하는 많은 방식들이 있으며, 아래 제안된 방법은 실용적인 제품 고려사항을 감각계의 생물학적 분해 한계와 결합시킨다. 당업자에 의해 이해될 수 있는 바와 같이, 다음의 개요는 임의의 그러한 시스템 설계의 단순화이며, 단지 예시의 목적을 위해 고려되어야 한다.
이해된 감각계의 해상도 한계로, 전체 에너지 도파관 요소 밀도는, 수신 감각계가 인접한 요소로부터 단일 에너지 도파관 요소를 식별할 수 없도록 계산될 수 있으며, 다음과 같다.
위의 계산들은 대략적으로 32×18°의 시야를 초래하고, 이는 약 1920×1080(가장 가까운 포맷으로 반올림됨) 에너지 도파관 요소들이 요구되는 것을 초래한다. 또한, (u, v) 양방 모두가 에너지 위치들의 보다 규칙적인 공간 샘플링(예컨대, 픽셀 종횡비)을 제공하기 위해 시야가 일정하도록 변수들이 제약될 수 있다. 시스템의 각도 샘플링은, 다음과 같은, 최적화된 거리에 있는 두 지점들 사이의 정의된 타겟 관측 볼륨 위치와 부가적인 전파 에너지 경로들을 가정한다:
이 경우, 주어진 거리만큼 적절한 샘플 수를 설명하기 위해 임의의 메트릭(metric)이 활용될 수 있지만, 안구간 거리는 샘플 거리를 계산하기 위해 활용된다. 위의 변수들을 고려할 때, 0.57° 당 약 1개의 광선이 요구될 수 있으며, 독립적인 감각계 당 전체 계의 해상도는 다음과 같이 결정될 수 있다:
시력 시스템에 대해 해결된 에너지 표면 및 각도 해상도의 크기를 고려한 상기의 시나리오를 이용하면, 결과적인 에너지 표면은 바람직하게는 약 400k×225k 픽셀의 에너지 해상도 위치들, 또는 90기가픽셀의 홀로그램 전파 밀도를 포함할 수 있다. 제공된 이러한 변수들은 오직 예시의 목적으로 제공되며, 에너지의 홀로그램 전파의 최적화를 위해 많은 다른 감각 및 에너지 계측 고려사항이 고려되어야 한다. 추가적인 실시예에서, 입력 변수들에 기초하여 1기가픽셀의 에너지 해상도 위치들이 바람직할 수 있다. 추가적인 실시예에서, 입력 변수들에 기초하여 1,000기가픽셀의 에너지 해상도 위치들이 요구될 수 있다.
현재 기술 제한사항:
능동 영역, 소자 전자 장치, 패키징 및 기계적 엔벨로프
도 2는 소정의 기계적 폼 팩터를 갖는 능동 영역(220)을 갖는 장치(200)를 예시한다. 장치(200)는 능동 영역(220)에 전력을 공급하고 인터페이스하기 위한 드라이버(230) 및 전자 장치(240)를 포함할 수 있으며, 능동 영역은 x 및 y 화살표들로 나타낸 치수를 갖는다. 이 장치(200)는 컴포넌트들을 구동, 전력공급 및 냉각시키기 위한 케이블류 및 기계적 구조들을 고려하지 않고, 플렉스(flex) 케이블을 장치(200)에 도입함으로써 기계적 풋프린트가 더 최소화될 수 있다. 이러한 장치(200)의 최소 풋프린트는 또한 M:x 및 M:y 화살표들로 나타낸 치수를 갖는 기계적 엔벨로프(210)로 지칭될 수 있다. 이 장치(200)는 단지 설명의 목적일 뿐이고 주문형 전자 설계는 기계적 엔벨로프 오버헤드를 더 감소시킬 수 있지만, 거의 모든 경우에 장치의 능동 영역의 정확한 크기가 아닐 수 있다. 일 실시예에서, 이 장치(200)는 마이크로 OLED, DLP 칩 또는 LCD 패널에 대한 능동 이미지 영역(220), 또는 이미지 조명의 목적을 갖는 임의의 다른 기술에 관한 전자 장치의 의존성을 예시한다.
일부 실시예들에서, 다른 투영 기술들을 고려하여 다수의 이미지를 더 큰 전체 디스플레이에 집성(aggregate)하는 것이 또한 가능할 수 있다. 하지만, 이것은, 투영 거리, 최소 초점, 광학 품질, 균일한 필드 해상도, 색수차(chromatic aberration), 열 특성, 교정(calibration), 정렬, 부가적인 크기 또는 폼 팩터에 대한 더 큰 복잡성의 대가를 치를 수 있다. 대부분의 실제 응용들에 대해서는, 수십 또는 수백 개의 이들 투영 소스(200)를 호스팅하는 것은 신뢰성이 떨어지면서 훨씬 더 큰 설계를 초래할 수 있다.
오직 예시적인 목적으로, 3840×2160개의 사이트의 에너지 위치 밀도를 갖는 에너지 장치들을 가정하면, 다음과 같이 주어진, 에너지 표면에 대해 요구되는 개별 에너지 장치(예컨대, 장치(100))의 수를 결정할 수 있다:
상기의 해상도 고려사항을 고려하면, 도 2에 나타낸 것과 유사한 약 105×105 장치들이 요구된다. 많은 장치들이 정규 그리드에 매핑될 수도 있고 매핑되지 않을 수도 있는 다양한 픽셀 구조체들을 포함한다는 것에 유의해야 한다. 각각의 전체 픽셀 내에 부가적인 서브 픽셀 또는 위치가 존재하는 경우, 이들이 활용되어 부가적인 해상도 또는 각도 밀도를 생성할 수 있다. 픽셀 구조체(들)의 지정 위치에 따라 광 필드를 올바른 (u, v) 좌표로 변환하는 방법을 결정하기 위해 부가적인 신호 처리가 사용될 수 있으며, 알려지고 교정된 각 장치의 명시적인 특성이 될 수 있다. 또한, 다른 에너지 도메인들은 이들 비율들 및 장치 구조들의 상이한 취급을 수반할 수 있고, 당업자는 원하는 주파수 도메인의 각각 사이의 직접적인 본질적인 관계를 이해할 것이다. 이것은 이후의 개시내용에서 보다 상세히 설명되고 논의될 것이다.
결과적인 계산은 얼마나 많은 이러한 개별 장치들이 전체 해상도 에너지 표면을 생성하는 데 필요한 지를 이해하는 데 사용될 수 있다. 이 경우, 약 105×105 또는 약 11,080개의 장치들이 시력 임계치를 달성하는 데 필요할 수 있다. 충분한 감각 홀로그램 전파를 위해 이러한 가용 에너지 위치들로부터 심리스 에너지 표면을 제작하는 과정 내에는 도전과 참신함이 존재한다.
심리스 에너지 표면들의 개요:
에너지 릴레이들의 어레이들의 구성 및 설계
일부 실시예들에서, 장치들에 대한 기계적 구조의 제한으로 인해 심을 갖지 않는 개별 장치들의 어레이로부터 고에너지 위치 밀도를 생성하는 과제를 해결하기 위한 접근법들이 개시된다. 일 실시예에서, 에너지 전파 릴레이 시스템은 능동 소자 영역의 유효 크기를 증가시켜 기계적 치수들을 충족시키거나 초과하여 릴레이들의 어레이를 구성하고 단일의 심리스 에너지 표면을 형성할 수 있다.
도 3은 이러한 에너지 릴레이 시스템(300)의 일 실시예를 예시한다. 나타낸 바와 같이, 릴레이 시스템(300)은 기계적 엔벨로프(320)에 장착된 장치(310)를 포함할 수 있으며, 에너지 릴레이 요소(330)는 장치(310)로부터 에너지를 전파한다. 릴레이 요소(330)는 장치의 다수의 기계적 엔벨로프(320)가 다수의 장치(310)의 어레이 내에 배치될 때 생성될 수 있는 임의의 간극(340)을 완화시키는 능력을 제공하도록 구성될 수 있다.
예를 들어, 장치의 능동 영역(310)이 20mm×10mm이고 기계적 엔벨로프(320)가 40mm×20mm라면, 에너지 릴레이 요소(330)는 축소형 단부(화살표 A) 상에서 약 20mm×10mm이고 확대형 단부(화살표 B) 상에서 40mm×20mm인 테이퍼 형상을 생성하도록 2:1의 배율로 설계될 수 있으며, 각각의 장치(310)의 기계적 엔벨로프(320)를 변경하거나 이와 충돌시키지 않으면서 이들 요소(330)의 어레이를 함께 심리스로(seamlessly) 정렬하는 능력을 제공한다. 기계적으로, 릴레이 요소들(330)은 장치들(310) 사이의 최소 이음매 간극(340)을 보장하면서 정렬 및 연마하기 위해 함께 접합되거나 융합될 수 있다. 이러한 일 실시예에서, 눈의 시력 한계보다 작은 이음매 간극(340)을 달성하는 것이 가능하다.
도 4는 함께 형성되고 부가적인 기계적 구조(430)에 견고하게 고정된 에너지 릴레이 요소들(410)을 갖는 베이스 구조체(400)의 일례를 예시한다. 심리스 에너지 표면(420)의 기계적 구조는 릴레이 요소들(410, 450)을 장착하기 위해 접합 또는 다른 기계적 공정을 통해 동일한 베이스 구조체에 직렬로 다수의 에너지 릴레이 요소들(410, 450)을 결합하는 능력을 제공한다. 일부 실시예들에서, 각각의 릴레이 요소(410)는 융합, 결합, 접착, 압입, 정렬 또는 그렇지 않은 방식으로 함께 부착되어 결과적인 심리스 에너지 표면(420)을 형성할 수 있다. 일부 실시예들에서, 장치(480)는 릴레이 요소(410)의 후방에 장착될 수 있고, 결정된 공차(tolerance) 내에서 적절한 에너지 위치 정렬이 유지되는 것을 보장하기 위해 수동적으로 또는 능동적으로 정렬될 수 있다.
일 실시예에서, 심리스 에너지 표면은 하나 이상의 에너지 위치들을 포함하고, 하나 이상의 에너지 릴레이 요소 스택들은 제1 및 제2 측면을 포함하고, 각각의 에너지 릴레이 요소 스택은 하나 이상의 에너지 위치들과 심리스 에너지 표면 사이에서 연장되는 전파 경로들을 따라 에너지를 지향시키는 고유 심리스 에너지 표면을 형성하도록 배치되며, 여기서, 말단 에너지 릴레이 요소들의 임의의 2개의 인접한 제2 측면들의 에지들 사이의 이격 거리는, 고유 심리스 에너지 표면의 폭보다 큰 거리를 두고 20/40 시력보다 좋은 시력을 갖는 인간의 눈의 시력에 의해 정의되는 최소 인지 가능한 윤곽보다 작다.
일 실시예에서, 심리스 에너지 표면들의 각각은 횡 방향 및 종 방향으로 배향된 제1 및 제2 표면을 형성하는 하나 이상의 구조체들을 각각 갖는 하나 이상의 에너지 릴레이 요소들을 포함한다. 제1 릴레이 표면은 포지티브 또는 네거티브 확대를 초래하는 제2 릴레이 표면과는 상이한 영역을 가지며, 제2 릴레이 표면을 통해 에너지를 통과시키는 제1 및 제2 표면 양방 모두에 대해 명시적인 표면 윤곽들로 구성되어 제2 릴레이 표면 전체에 걸친 표면 윤곽의 법선에 대해 +/-10도의 각도를 실질적으로 채운다.
일 실시예에서, 다수의 에너지 도메인들은 시각, 청각, 촉각 또는 다른 에너지 도메인들을 포함하는 하나 이상의 감각 홀로그램 에너지 전파 경로들을 지향하도록 단일 에너지 릴레이 내에 또는 다수의 에너지 릴레이들 사이에 구성될 수 있다.
일 실시예에서, 심리스 에너지 표면은 시스템 전체에 걸쳐 양방향 에너지 전파를 제공하기 위해 하나 이상의 에너지 도메인들을 동시에 수신 및 방출하기 위해 각각의 제2 측면에 대한 2이상의 제1 측면들을 포함하는 에너지 릴레이들로 구성된다.
일 실시예에서, 에너지 릴레이들은 느슨한 코히어런트(coherent) 요소들로서 제공된다.
컴포넌트 엔지니어드 구조체들에 대한 소개:
횡 방향 앤더슨 편재 에너지 릴레이들에서의 개시된 진전들
에너지 릴레이들의 특성들은 횡 방향 앤더슨 편재를 유도하는 에너지 릴레이 요소들에 대해 본원에 개시된 원리들에 따라 상당히 최적화될 수 있다. 횡 방향 앤더슨 편재는 횡 방향으로 무질서하지만 종방향으로 일정한 재료를 통해 전송되는 광선의 전파이다.
이것은 앤더슨 편재 현상을 일으키는 재료들의 효과는 다중 산란 경로들 사이의 무작위화에 의한 것보다 내부 전반사에 의한 영향이 더 적을 수 있음을 의미하고, 여기서, 파 간섭은 종 방향 배향으로의 전파를 지속시키는 반면에 횡 방향 배향으로의 전파를 완전히 제한할 수 있다.
중요한 부가적인 이점은 전통적인 다중-코어 광섬유 재료들의 클래딩(cladding)의 제거이다. 클래딩은 섬유들 사이의 에너지의 산란을 기능적으로 제거하는 것이지만, 동시에 에너지의 광선들에 대한 장벽으로서 작용하므로, 적어도 코어 대 클래드 비율(예컨대, 70:30의 코어 대 클래드 비율은 수신된 에너지 송신을 최대 70%로 송신할 것이다)에 의해 송신을 감소시키고, 부가적으로 전파된 에너지에서 강한 픽셀화 패터닝을 형성한다.
도 5a는 광섬유의 본질적인 특성으로 인해 픽실레이션(pixilation) 및 광섬유 노이즈가 나타날 수 있는 다중-코어 광섬유를 통해 이미지가 릴레이되는, 이러한 비-앤더슨 편재(non-Anderson Localization) 에너지 릴레이(500)의 예의 단면도를 예시한다. 종래의 다중-모드 및 다중-코어 광섬유를 사용하면, 중계된 이미지들은 코어들의 개별 어레이의 내부 전반사의 특성들로 인해 본질적으로 픽셀화 될 수 있어서, 코어들 사이의 크로스토크(cross-talk)가 변조 전달 함수를 감소시키고 번짐(blurring)이 증가된다. 종래의 다중-코어 광섬유를 이용하여 생성된 결과 이미지는 도 3에 나타낸 것과 유사한 잔류 고정형 노이즈 섬유 패턴을 갖는 경향이 있다.
도 5b는 도 5a로부터의 고정형 섬유 패턴과 비교하여, 중계된 패턴이 더 큰 밀도의 결정립 구조들을 갖는 횡 방향 앤더슨 편재의 특성들을 나타내는 재료들을 포함하는 에너지 릴레이를 통해 동일한 중계된 이미지(550)의 예를 예시한다. 일 실시예에서, 무작위화된 미세(microscopic) 컴포넌트 엔지니어드 구조체들을 포함하는 릴레이들은 횡 방향 앤더슨 편재를 유도하고 상업적으로 이용 가능한 다중 모드 유리 광섬유보다 더 높은 분해 가능 해상도의 전파를 이용하여 광을 보다 효율적으로 전송한다.
유사한 광학 등급의 유리 재료가 실시예 내에서 생성된 동일한 재료에 대한 비용보다 10 내지 100배 이상 비싸고 무게가 나가는, 비용 및 중량 양방 모두의 측면에서 횡방향 앤더슨 편재 재료 특성들에 상당한 이점이 존재하며, 여기서, 개시된 시스템들 및 방법들은 당업계에 공지된 다른 기술들에 비해 비용 및 품질 양방 모두를 개선할 수 있는 중요한 기회들을 시사하는 무작위화된 미세 컴포넌트 엔지니어드 구조체들을 포함한다.
일 실시예에서, 횡방향 앤더슨 편재를 나타내는 릴레이 요소는 차원 격자로 배치된 3개의 직교 평면들의 각각에 복수의 적어도 2개의 상이한 컴포넌트 엔지니어드 구조체들을 포함할 수 있으며, 복수의 구조는 차원 격자 내의 횡방향 평면에서의 재료 파 전파 특성들의 무작위화된 분포들 그리고 차원 격자 내의 종방향 평면에서 재료 파 전파 특성들의 유사한 값들의 채널들을 형성하며, 여기서, 에너지 릴레이를 통해 전파되는 편재형 에너지 파들은 횡 방향 배향에 비해 종 방향 배향에서 더 높은 전송 효율을 갖는다.
일 실시예에서, 다수의 에너지 도메인들은 시각, 청각, 촉각 또는 다른 에너지 도메인들을 포함하는 하나 이상의 감각 홀로그램 에너지 전파 경로들을 지향하도록 단일 에너지 릴레이 내에 또는 다수의 횡방향 앤더슨 편재 에너지 릴레이들 사이에 구성될 수 있다.
일 실시예에서, 심리스 에너지 표면은 시스템 전체에 걸쳐 양방향 에너지 전파를 제공하기 위해 하나 이상의 에너지 도메인들을 동시에 수신 및 방출하기 위해 각각의 제2 측면에 대한 2이상의 제1 측면들을 포함하는 횡방향 앤더슨 편재 에너지 릴레이들로 구성된다.
일 실시예에서, 횡방향 앤더슨 편재 에너지 릴레이들은 느슨한 코히어런트 또는 가요성 에너지 릴레이 요소들로서 구성된다.
4D 플렌옵틱(Plenoptic) 함수들에 대한 고려사항:
홀로그램 도파관 어레이들을 통한 에너지의 선택적 전파
전술한 바와 같이, 본원 전반에 걸쳐서, 광 필드 디스플레이 시스템은 일반적으로 에너지원(예컨대, 조명 소스) 및 상기의 설명에서 언급된 바와 같이 충분한 에너지 위치 밀도로 구성된 심리스 에너지 표면을 포함한다. 다수의 릴레이 요소들은 에너지를 에너지 장치들로부터 심리스 에너지 표면으로 중계하는 데 사용될 수 있다. 필요한 에너지 위치 밀도로 심리스 에너지 표면에 에너지가 전달되면, 에너지는 개시된 에너지 도파관 시스템을 통해 4D 플렌옵틱 함수에 따라 전파될 수 있다. 당업자에 의해 이해되는 바와 같이, 4D 플렌옵틱 함수는 본 기술분야에 잘 알려져 있으며 본원에서는 더 이상 설명되지 않을 것이다.
에너지 도파관 시스템은, 4D 플렌옵틱 함수의 각도 성분을 나타내는, 통과하는 에너지파들의 각도 방향을 변경하도록 구성된 구조를 갖는 4D 플렌옵틱 함수의 공간 좌표를 나타내는 심리스 에너지 표면을 따르는 복수의 에너지 위치들을 통해 에너지를 선택적으로 전파하되, 전파된 에너지파들은 4D 플렌옵틱 함수에 의해 지향된 복수의 전파 경로들에 따라 공간에서 수렴할 수 있다.
이제4D 플렌옵틱 함수에 따른 4D 이미지 공간에서의 광 필드 에너지 표면의 예를 나타내는 도 6을 참조한다. 이 도면은 관측 볼륨 내의 다양한 위치들로부터 에너지의 광선들이 공간(630)에서 수렴하는 방법을 설명하는 관찰자(620)에 대한 에너지 표면(600)의 광선 트레이스(trace)들을 나타낸다. 나타낸 바와 같이, 각각의 도파관 요소(610)는 에너지 표면(600)을 통한 에너지 전파(640)를 기술하는 정보의 4차원을 정의한다. 2개의 공간 차원들(본원에서 x 및 y로 지칭됨)은 이미지 공간에서 볼 수 있는 물리적인 복수의 에너지 위치들이고, 가상 공간에서 관찰되는 각도 성분들인 세타(theta) 및 파이(phi)(본원에서 u 및 v로 지칭됨)이며, 이것은 에너지 도파관 어레이를 통해 투영될 때 가상 공간에서 관찰된다. 일반적으로 그리고 4D 플렌옵틱 함수에 따라, 복수의 도파관(예컨대, 렌즈릿(lenslet)들)은, 본원에 기술된 홀로그램 또는 광 필드 시스템을 형성함에 있어서, x, y 차원로부터 가상 공간에서의 고유한 위치로 u, v 각도 성분에 의해 정의된 방향을 따라 에너지 위치를 지향시킬 수 있다.
하지만, 광 필드 및 홀로그램 디스플레이 기술들에 대한 중요한 도전은 회절, 산란, 확산, 각도 방향, 교정, 포커스, 시준(collimation), 곡률, 균일성, 요소 크로스토크 뿐만 아니라 감소된 유효 해상도 그리고 충분한 충실도로 정확하게 에너지를 수렴하는 것에 대한 불능에 기여하는 다수의 다른 파라미터들 중 임의의 것을 정확히 설명하지 않은 설계들로 인해 제어되지 않은 에너지의 전파로부터 발생한다는 것을 당업자는 이해할 것이다.
일 실시예에서, 홀로그램 디스플레이와 연관된 도전 과제들을 해결하기 위한 선택적 에너지 전파에 대한 접근법은 에너지 억제 요소들을 포함할 수 있고, 4D 플렌옵틱 함수에 의해 정의된 환경 내에 거의 시준된 에너지를 갖는 도파관 개구들을 실질적으로 채우는 것을 포함할 수 있다.
일 실시예에서, 에너지 도파관들의 어레이는 규정된 4D 함수에 의해 정의된 고유한 방향들로 도파관 요소의 유효 개구를 연장통과하여, 단일 도파관 요소만을 통과하도록 각각의 에너지 위치의 전파를 제한하도록 배치된 하나 이상의 요소들에 의해 억제된 심리스 에너지 표면을 따르는 복수의 에너지 위치들에 실질적으로 채우도록 구성된 각각의 도파관 요소에 대한 복수의 에너지 전파 경로들을 정의할 수 있다.
일 실시예에서, 다수의 에너지 도메인들은 시각, 청각, 촉각 또는 다른 에너지 도메인들을 포함하는 하나 이상의 감각 홀로그램 에너지 전파들을 지향하도록 단일 에너지 릴레이 내에 또는 다수의 에너지 도파관들 사이에 구성될 수 있다.
일 실시예에서, 에너지 도파관들 및 심리스 에너지 표면은 시스템 전체에 걸쳐 양방향 에너지 전파를 제공하기 위해 하나 이상의 에너지 도메인들을 수신 및 방출하도록 구성된다.
일 실시예에서, 에너지 도파관들은, 벽, 테이블, 바닥, 천장, 실내 또는 기타 기하학적 형태 기반의 환경들을 포함하는 임의의 심리스 에너지 표면 배향을 위해 디지털 방식으로 인코딩된, 회절식, 굴절식, 반사식, 그린식(grin), 홀로그램, 프레넬(Fresnel) 등의 도파관 구성들을 활용하여, 비-송신 공극(void) 영역들을 포함하는 비선형 또는 비규칙적 에너지의 분포들을 전파하도록 구성된다. 추가적인 실시예에서, 에너지 도파관 요소는 임의의 표면 프로파일 및/또는 탁상 시야(tabletop viewing)를 제공하는 다양한 기하학적 형태들을 생성하도록 구성되어, 사용자가 360도 구성에서 에너지 표면 주위의 모든 곳에서 홀로그램 이미지를 볼 수 있게 한다.
일 실시예에서, 에너지 도파관 어레이 요소들은 반사 표면들일 수 있고, 요소들의 배치는 육각형, 정사각형, 불규칙형, 반정칙형(semi-regular), 만곡형, 비평면형, 구형, 원통형, 틸트형(tilted) 규칙형, 틸트형 불규칙형, 공간적 변화형 및/또는 다중 계층형일 수 있다.
심리스 에너지 표면 내의 임의의 컴포넌트에 대해서는, 도파관, 또는 릴레이 컴포넌트들은, 광섬유, 실리콘, 유리, 폴리머, 광학 릴레이들, 회절, 홀로그램, 굴절, 또는 반사 요소들, 광학 면판, 에너지 결합기들, 빔 스플리터들, 프리즘들, 편광 요소들, 공간 광 변조기들, 능동 픽셀들, 액정 셀들, 투명 디스플레이들, 또는 앤더슨 편재 또는 내부 전반사를 나타내는 유사한 재료들을 포함할 수 있지만, 이에 한정되는 것은 아니다.
홀로덱을 실현하는 것:
홀로그램 환경들 내에서 인간의 감각 수용체들을 자극하는 양방향 심리스 에너지 표면 시스템들의 집성
전체 룸(room)들을 포함하는 임의의 크기들, 형상들, 윤곽들 또는 폼 팩터들을 형성하는 다수의 심리스 에너지 표면들을 함께 타일링(tiling), 융합, 본딩, 부착 및/또는 스티칭(stitching)함으로써 심리스 에너지 표면 시스템들의 대규모 환경들을 구축하는 것이 가능하다. 각각의 에너지 표면 시스템은 양방향 홀로그램 에너지 전파, 방출, 반사 또는 감지를 위해 집합적으로 구성된 베이스 구조체, 에너지 표면, 릴레이들, 도파관, 장치들 및 전자 장치를 갖는 어셈블리를 포함할 수 있다.
일 실시예에서, 타일링된 심리스 에너지 시스템들의 환경은 주어진 환경에서 모든 표면들을 포함하는 설비들을 포함하는 큰 심리스 평면 또는 곡선 벽들을 형성하도록 집성되며, 심리스, 불연속의 평면, 각면형, 만곡형, 원통형, 구형, 기하 또는 비규칙적 기하학적 형태의 임의의 조합으로서 구성된다.
일 실시예에서, 평면의 표면들의 집성된 타일(tile)들은 무대 또는 장소 기반의 홀로그램 엔터테인먼트를 위한 벽 크기의 시스템들을 형성한다. 일 실시예에서, 평면의 표면들의 집성된 타일들은 동굴 기반의 홀로그램 설비들을 위해 천장과 바닥 양방 모두를 포함하는 4개 내지 6개의 벽들을 갖는 룸을 커버한다. 일 실시예에서, 곡면들의 집성된 타일들은 몰입형(immersive) 홀로그램 설비들을 위한 원통형의 심리스 환경을 생성한다. 일 실시예에서, 심리스 구형 표면들의 집성된 타일들은 몰입형 홀로덱 기반의 경험들을 위한 홀로그램 돔을 형성한다.
일 실시예에서, 심리스 만곡형 에너지 도파관들의 집성된 타일들은 에너지 도파관 구조체 내의 에너지 억제 요소들의 경계를 따른 정확한 패턴을 따르는 기계적 에지들을 제공하여, 인접한 도파관 표면들의 인접한 타일링된 기계적 에지들을 결합, 정렬 또는 융합함으로써 모듈식 및 심리스 에너지 도파관 시스템을 초래한다.
집성된 타일링 환경의 다른 실시예에서, 에너지는 다수의 동시 에너지 도메인들에 대해 양방향으로 전파된다. 추가적인 실시예에서, 에너지 표면은 광 필드 데이터가 도파관을 통해 조명원에 의해 투영되고 동시에 동일한 에너지 표면을 통해 수신될 수 있도록 설계된 도파관들을 갖는 동일한 에너지 표면으로부터 동시에 디스플레이 및 캡처하는 능력을 제공한다. 추가적인 실시예에서, 추가 깊이 감지 및 능동 스캐닝 기술들이 활용되어 정확한 세계 좌표계에서 에너지 전파와 관찰자 사이의 상호 작용을 허용할 수 있다. 추가적인 실시예에서, 에너지 표면 및 도파관은 주파수들을 방출, 반사, 또는 수렴하여 촉각 감각 또는 체적 햅틱 피드백을 유도하도록 동작 가능하다. 일부 실시예들에서, 양방향 에너지 전파 및 집성된 표면들의 임의의 조합이 가능하다.
일 실시예에서, 시스템은 적어도 2개의 에너지 장치를 심리스 에너지 표면의 동일한 부분에 페어링할 수 있도록 2개 이상의 경로 에너지 결합기들과 독립적으로 페어링된 하나 이상의 에너지 장치들을 이용하여 에너지 표면을 통한 에너지의 양방향 방출 및 감지가 가능한 에너지 도파관을 포함하거나, 또는 하나 이상의 에너지 장치들이 베이스 구조체에 또는 오프-축(off-axis)의 직접 또는 반사 투영 또는 감지를 위해 도파관의 FOV의 전방 및 외측에서의 위치에 고정된 부가적인 컴포넌트에 근접하여 에너지 표면 뒤에 고정되고, 또한 결과적인 에너지 표면은 도파관이 에너지를 수렴할 수 있게 하는 에너지의 양방향 송신, 에너지를 방출하는 제1 장치 및 에너지를 감지하는 제2 장치를 제공하며, 여기서, 정보는 전파된 에너지 패턴들, 깊이 추정, 근접도, 모션 추적, 이미지, 색상 또는 사운드 형성 또는 기타 에너지 주파수 분석 내에서 4D 플렌옵틱 눈 및 망막 추적 또는 간섭의 감지를 포함하는, 하지만 이에 한정되지는 않는, 컴퓨터 비전 관련 작업들을 수행하도록 처리된다. 추가적인 실시예에서, 추적된 위치들은 양방향 캡처된 데이터와 투영 정보 간의 간섭에 기초하여 에너지의 위치들을 능동적으로 계산 및 수정한다.
일부 실시예들에서, 초음파 센서, 가시적인 에너지 디스플레이 및 초음파 방출 장치를 포함하는 3개의 에너지 장치들의 복수의 조합들은, 각각의 장치의 에너지 도메인, 그리고 초음파 및 전자기 에너지 각각을 위해 구성된 2개의 엔지니어드 도파관 요소들에 특정한 엔지니어드 특성들을 포함하는 3개의 제1 표면들의 각각과 함께 단일의 제2 에너지 릴레이 표면에 결합된 에너지를 전파하는 3개의 제1 릴레이 표면들의 각각에 대해 함께 구성되어, 별도의 에너지 도메인을 위해 구성된 다른 도파관 요소들에 의해 독립적으로 그리고 실질적으로 영향을 받지 않은 각각의 장치의 에너지를 지향 및 수렴하는 능력을 제공한다.
일부 실시예들에서, 시스템 아티팩트(artifact)들을 제거하고 인코딩/디코딩 기술들과 함께 사용하기 위해 결과적인 에너지 표면의 기하학적 매핑을 생성하기 위한 효율적인 제조를 가능하게 하는 교정 절차뿐만 아니라 교정된 구성 파일들에 기초하여 데이터를 에너지 전파에 적절한 교정된 정보로 변환하기 위한 전용 통합 시스템이 개시된다.
일부 실시예들에서, 일련의 부가적인 에너지 도파관들 및 하나 이상의 에너지 장치들이 불투명한 홀로그램 픽셀들을 생성하기 위해 시스템에 통합될 수 있다.
일부 실시예들에서, 도파관의 직경보다 큰 공간 해상도 및/또는 각도 해상도를 제공하기 위해 또는 다른 초해상도(super-resolution) 목적을 위해 에너지 억제 요소들, 빔 스플리터들, 프리즘들, 능동 시차 배리어들 또는 편광 기술들을 포함하는 부가적인 도파관 요소가 통합될 수 있다.
일부 실시예들에서, 개시된 에너지 시스템은 또한 가상 현실(VR) 또는 증강 현실(AR)과 같은 착용형 양방향 장치로서 구성될 수 있다. 다른 실시예들에서, 에너지 시스템은 디스플레이되거나 수신된 에너지로 하여금 관찰자를 위한 공간에서 결정된 평면에 근접하게 포커싱되도록 하는 조정 광학 요소(들)를 포함할 수 있다. 일부 실시예들에서, 도파관 어레이는 홀로그램 헤드 장착식 디스플레이에 통합될 수 있다. 다른 실시예들에서, 시스템은 관찰자가 에너지 시스템 및 실제 환경(예컨대, 투과형 홀로그램 디스플레이) 양방 모두를 볼 수 있게 하는 다수의 광학 경로들을 포함할 수 있다. 이러한 경우, 시스템은 다른 방법들에 더하여 근시야로서 제공될 수 있다.
일부 실시예들에서, 데이터의 송신은 정보 및 메타데이터의 임의의 데이터세트를 수신하는 선택 가능하거나 가변적인 압축 비율들로 프로세스들을 인코딩하는 것; 상기 데이터세트를 분석하고, 더 희박한 데이터세트를 형성하는 재료 특성들, 벡터들, 표면 ID들, 새로운 픽셀 데이터를 수신 또는 할당하며, 수신된 데이터는 2D, 스테레오스코픽, 멀티 뷰, 메타데이터, 광 필드, 홀로그램, 기하학적 형태, 벡터들 또는 벡터화된 메타데이터를 포함하고, 인코더/디코더는, 깊이 메타데이터를 갖거나 갖지 않은 깊이 추정 알고리즘들을 통해, 2D; 2D + 깊이, 메타데이터 또는 기타 벡터화된 정보; 스테레오스코픽, 스테레오스코픽 + 깊이, 메타데이터 또는 기타 벡터화된 정보; 멀티 뷰; 멀티 뷰 + 깊이, 메타데이터 또는 기타 벡터화된 정보; 홀로그램; 또는 광 필드 컨텐츠에 대한 이미지 처리를 포함하여 실시간 또는 오프라인에서의 데이터를 변환하는 능력을 제공할 수 있으며, 역 레이트레이싱 방법은 특성화된 4D 플렌옵틱 함수를 통해 다양한 2D, 스테레오스코픽, 다중 뷰, 체적, 광 필드 또는 홀로그램 데이터로부터의 역 레이트레이싱에 의해 생성된 결과적인 변환 데이터를 실제 좌표들에 적절히 매핑한다. 이들 실시예에서, 원하는 전체 데이터 송신은 원시 광 필드 데이터세트보다 다수의 자리수만큼 덜 송신된 정보일 수 있다.
홀로그램 감각 데이터를 제공하기에 적합한 에너지 지향 장치
일 실시예에서, 광학 기계적 디스플레이 장치는 광을 방출 및 안내하여 2D, 스테레오스코픽, 멀티뷰, 플렌옵틱, 4D, 체적, 광 필드, 홀로그래픽 또는 임의의 다른 시각적 광 표현을 형성할 수 있다.
도 7a는 방사 디스플레이 장치, 광학 릴레이 및 마이크로 렌즈 어레이와 같은 굴절 요소의 어레이로서 구현되는 도파관으로 구성되는 경우의 광 필드 광학 기계 시스템의 일 예이며, 여기서는 하나 이상의 디스플레이로부터의 가시적 이미지가 에너지 표면으로 전송되기 이전에 광학적으로 중계될 수 있으며, 굴절 요소들의 어레이가 에너지 표면 상의 각 위치와 그 위치로부터의 광 투영 방향 사이의 매핑을 제공하여 4D 체적 광 필드 이미지가 투영될 수 있다.
일 실시예에서, 도파관은 광선을 수렴하여 관찰자의 관점에서의 주시각과 거리적응을 유도할 수 있다.
일 실시예에서, 도파관들 및 에너지 릴레이들은 다양한 표면 지오메트리들로 형성되거나 폴리싱될 수 있다. 일 실시예에서, 에너지 릴레이들은 횡방향 앤더슨 편재를 유도하는 요소를 포함한다. 일 실시예에서, 에너지 릴레이들은 양방향성이며, 에너지를 방출 및/또는 투영할 수 있다.
일 실시예에서, 4차원(4D)의 플렌옵틱 함수에 따라 에너지를 지향시키도록 구성된 에너지 시스템은 복수의 에너지 장치를 포함한다. 일부 실시예들에서, 복수의 에너지 장치는 이미지 정보를 방출하는 조명 소스를 포함하며, 여기서 이미지 정보는 가시광, IR, UV, 코히런트, 레이저, 적외선, 편광 또는 다른 전자기 조명 소스를 활용하는, 방출, 투영, 또는 반사 디스플레이 기술을 포함한다. 다른 실시예들에서, 복수의 에너지 장치는 음향 필드로부터 몰입 형 오디오 또는 체적 촉감을 제공하도록 구성된 기계적 에너지 방출 장치를 포함한다.
일부 실시예들에서, 상기 구성된 에너지 시스템은 복수의 에너지 장치, 에너지 릴레이 시스템 및 에너지 도파관 시스템이 모두 베이스 구조체에 결합될 수 있도록 하는 베이스 구조체(예를 들면, 72)를 더 포함할 수 있다. 다른 실시예들에서, 복수의 에너지 장치, 에너지 릴레이 시스템 및 에너지 도파관 시스템은 하나 이상의 장착 브래킷에 의해서 베이스 구조체에 결합될 수 있다.
일부 실시예들에서, 복수의 에너지 장치는 기계적, 화학적, 전사적, 열적, 전기적, 전위적, 운동적, 자기적, 중력적, 복사적, 에너지적, 구조적, 비정형적 또는 다른 형태의 에너지를 포함하는, 에너지를 캡처하거나 감지하기 위한 에너지 장치를 포함한다. 다른 실시예들에서, 복수의 에너지 장치는 기계적, 화학적, 전사적, 열적, 전기적, 전위적, 운동적, 자기적, 중력적, 복사적, 에너지적, 구조적, 비구조적 또는 다른 형태의 에너지를 포함하는, 에너지를 전파하거나 방출하기 위한 에너지 장치를 포함한다. 또 다른 실시예들에서, 복수의 에너지 장치는 감각 피드백 또는 가청 제어를 제공하도록 구성된 음향 수신 장치를 포함한다
일 실시예에서, 에너지 시스템은 하나 이상의 에너지 릴레이 요소를 갖는 에너지 릴레이 시스템(예를 들어, 도 7b에 가장 잘 도시된 바와 같은 6110)을 더 포함하며, 하나 이상의 에너지 릴레이 요소 각각은 제1 표면 및 제2 표면을 포함하고, 하나 이상의 에너지 중계 요소의 제2 표면은 에너지 릴레이 시스템의 단일 심리스 에너지 표면을 형성하도록 배치되고, 제1 복수의 에너지 전파 경로는 에너지 릴레이 시스템의 단일 심리스 에너지 표면을 통해 복수의 에너지 장치 내의 에너지 위치들로부터 연장된다. 이에 대해서는 아래에서 자세히 설명한다.
이제부터는 본 발명의 일 실시예에 따른 것으로서, 에너지 릴레이 시스템(6110)을 직교도로 예시하는 도 7b를 참조한다. 일 실시예에서, 에너지 릴레이 시스템(6110)은 2개 이상의 릴레이 요소(6112)를 포함할 수 있으며, 각각의 릴레이 요소(6112)는 하나 이상의 구조체로 형성되며, 각각의 릴레이 요소(6112)는 제1 표면(6114), 제2 표면(6116), 횡 방향 배향(일반적으로 표면들(6114, 6116)에 평행) 및 종 방향 배향(일반적으로 표면들(6114, 6116)에 수직)을 포함한다. 일 실시예에서, 제1 표면(6114)의 표면적은 제2 표면(6116)의 표면적과 상이할 수 있다. 예를 들어, 제1 표면(6114)의 표면적은 제2 표면(6116)의 표면적보다 크거나 작을 수 있다. 다른 실시예에서, 제1 표면(114)의 표면적은 제2 표면(6116)의 표면적과 동일할 수 있다. 에너지 파들은 제1 표면(6114)으로부터 제2 표면(6116)으로 또는 그 반대로 통과할 수 있다.
일 실시예에서, 에너지 릴레이 시스템(6110)의 릴레이 요소(6112)는 제1 표면(6114)과 제2 표면(6116) 사이의 경사진 프로파일 부분(6118)을 포함한다. 동작 시에, 제1 표면(6114)과 제2 표면(6116) 사이에서 전파하는 에너지 파는 횡 방향 배향에서보다 종 방향 배향에서 더 높은 전송 효율을 가질 수 있으며, 릴레이 요소(6112)를 통과하는 에너지 파는 공간 확대 또는 공간 축소를 야기할 수 있다. 다시 말하면, 릴레이 요소 장치(6110)의 릴레이 요소(6112)를 통과하는 에너지 파는 배율 증가 또는 배율 감소를 경험할 수 있다. 일부 실시예들에서, 에너지 릴레이 요소(6110)를 형성하기 위한 하나 이상의 구조는 유리, 탄소, 광섬유, 광학 필름, 플라스틱, 중합체 또는 이들의 혼합물을 포함할 수 있다.
일 실시예에서, 제1 표면(6114)을 통과하는 에너지 파들은 제1 해상도를 가지며, 제2 표면(6116)을 통과하는 에너지 파들은 제2 해상도를 갖고, 제2 해상도는 제1 해상도의 약 50 % 이상이다. 다른 실시예에서, 에너지파들은 제1 표면에 제공될 때 균일한 프로파일을 가지지만, 전방 방향으로 에너지 밀도를 갖는 모든 방향으로 방사하는 제2 표면을 통과할 수 있으며, 이것은 제2 릴레이 표면 상의 위치에 관계없이, 제2 표면의 법선에 대하여 +/- 10도의 개방 각도로 실질적으로 콘을 채우게 된다.
일부 실시예들에서, 제1 표면(6114)은, 제1 표면(6114) 및 제2 표면(6116) 중 적어도 하나의 폭과 다른 폭을 갖는 기계적 엔벨로프를 포함하는 에너지원으로부터 에너지를 수신하도록 구성될 수 있다.
각각의 릴레이(6112)에서, 에너지는 종 방향 배향을 규정하는 제1 및 제2 표면들 사이에서 전송되고, 각각의 릴레이의 제1 및 제2 표면들은 일반적으로 제1 및 제2 방향들에 의해 규정되는 횡 방향 배향을 따라 연장되며, 여기서 종 방향 배향은 횡 방향 배향에 대하여 실질적으로 수직하다. 일 실시예에서, 복수의 릴레이를 통해 전파하는 에너지 파들은 종 방향 배향에서 최소 굴절률 변화로 결합되는 횡 방향 배향에서 무작위화된 굴절률 변동성으로 인해 횡 방향 배향에서보다 종 방향 배향에서 더 높은 전송 효율을 갖는다. 각각의 릴레이가 멀티코어 섬유로 구성되는 일부 실시예들에서, 각각의 릴레이 요소 내에서 전파하는 에너지파들은 이러한 배향의 섬유 정렬에 의해 결정되는 종 방향 배향에서 이동할 수 있다.
일 실시예에서, 말단 에너지 릴레이 요소의 임의의 2개의 인접한 제2 측면들의 에지들 사이의 이격은, 단일 심리스 에너지 표면의 높이 또는 단일 심리스 에너지 표면의 폭 중의 더 작은 것보다 큰 심리스 에너지 표면으로부터의 거리를 두고서 20/40보다 양호한 시력을 갖는 인간 눈의 시력에 의해 정의되는 최소 인지 가능한 윤곽보다 작을 수 있다.
일 실시예에서, 적층된 구성의 복수의 에너지 릴레이 요소는 복수의 면판을 포함할 수 있다. 일부 실시예들에서, 복수의 면판은 상이한 길이를 가질 수 있거나 또는 느슨한 코히어런트 광학 릴레이일 수 있다. 다른 실시예들에서, 복수의 요소는 도 7b와 유사한 경사진 프로파일 부분들을 가질 수 있으며, 이 경사진 프로파일 부분들은 릴레이 요소의 법선 축에 대하여 수직이 아닌 각도로 경사지거나, 선형이거나, 만곡되거나, 테이퍼지거나, 각면이 되거나, 또는 정렬될 수 있다. 또 다른 실시예들에서, 복수의 릴레이 요소를 통해 전파하는 에너지 파들은 종 방향 배향에서 최소 굴절률 변화로 결합되는 횡 방향 배향에서 무작위화된 굴절률 변동성으로 인해 횡 방향 배향에서보다 종 방향 배향에서 더 높은 전송 효율을 갖는다. 각각의 에너지 릴레이가 멀티코어 섬유로 구성되는 실시예들에서, 각각의 릴레이 요소 내에서 전파하는 에너지파들은 이러한 배향의 섬유 정렬에 의해 결정되는 종 방향 배향에서 이동할 수 있다.
일부 실시예들에서, 하나 이상의 릴레이 요소(예를 들어, 6112)는 융합 또는 타일링된 모자이크를 포함하며, 인접한 융합 또는 타일링된 모자이크 사이의 이음새는 단일 심리스 에너지 표면의 폭 또는 높이 이상의 거리를 두고 20/40보다 양호한 시각을 갖는 인간의 시력에 의해 정의되는 최소 인지 가능한 윤곽 이하로 분리된다.
다른 실시예들에서, 하나 이상의 릴레이 요소(예컨대, 6112)는 광섬유, 실리콘, 유리, 중합체, 광학 릴레이, 회절 소자, 홀로그래픽 광학 소자, 굴절 소자, 반사 소자, 광학 면판, 광학 결합기, 빔 스플리터, 프리즘, 편광 컴포넌트, 공간 광 변조기, 능동 픽셀, 액정 셀, 투명 디스플레이, 또는 단일 심리스 에너지 표면을 형성하기 위한 앤더슨 편재 또는 내부 전반사 특성을 갖는 임의의 유사한 재료를 포함할 수 있다.
또 다른 실시예들에서, 하나 이상의 릴레이 요소(예를 들어, 6112)는 지정된 응용을 위한 평면형, 구형, 원통형, 원뿔형, 각면형, 타일형, 규칙형, 불규칙형 또는 임의의 다른 기하학적 형상을 포함하는 단일 심리스 에너지 표면의 형상을 수용하도록 구성된다.
또 다른 실시예에서, 시스템은 에너지 도파관들의 어레이를 갖는 에너지 도파관 시스템(예를 들어, 도 7c 내지 도 7l에 가장 잘 도시된 7100)을 포함하며, 제2 복수의 에너지 전파 경로는 4D 플렌옵틱 함수에 의해 결정되는 방향들에서 에너지 도파관들의 어레이를 통해 단일 심리스 에너지 표면으로부터 연장된다.
도 7c는 복수의 에너지 전파 경로(7108)를 한정하도록 동작 가능한 에너지 도파관 시스템(7100)의 일 실시예를 위에서 아래로 투시한 사시도를 예시한다. 에너지 도파관 시스템(7100)은 복수의 에너지 전파 경로(7108)를 따라 에너지를 지향시키도록 구성되는 에너지 도파관들의 어레이(7112)를 포함한다. 일 실시예에서, 복수의 에너지 전파 경로(7108)는 어레이(7116)의 제1 측면 상의 복수의 에너지 위치(7118)를 통해 어레이(7114)의 제2 측면까지 연장된다.
도 7c 및 도 7l을 참조하면, 일 실시예에서, 복수의 에너지 전파 경로(7108)의 제1 서브세트(7290)는 제1 에너지 위치(7122)를 통해 연장된다. 제1 에너지 도파관(7104)은 복수의 에너지 전파 경로(7108)의 제1 서브세트(7290)의 제1 에너지 전파 경로(7120)를 따라 에너지를 지향시키도록 구성된다. 제1 에너지 전파 경로(7120)는 제1 에너지 위치(7122)와 제1 에너지 도파관(7104) 사이에 형성된 제1 주 광선(7138)에 의해 정의될 수 있다. 제1 에너지 전파 경로(7120)는 에너지 전파 경로(7120A 및 7120B)를 따라 제1 에너지 도파관(7104)에 의해 각각 지향되는 제1 에너지 위치(7122)와 제1 에너지 도파관(7104) 사이에 형성된 광선(7138A 및 7138B)을 포함할 수 있다. 제1 에너지 전파 경로(7120)는 제1 에너지 도파관(7104)으로부터 어레이(7114)의 제2 측면을 향해 연장될 수 있다. 일 실시예에서, 제1 에너지 전파 경로(7120)를 따라 지향되는 에너지는, 제1 주 광선(7138)에 의해 제2 측면(7114)을 통과하여 전파되는 각도에 실질적으로 평행한 방향으로 제1 에너지 도파관(7104)을 통해 지향되는 에너지 전파 경로(7120A 및 7120B) 사이에 있거나 또는 이를 포함하는 하나 이상의 에너지 전파 경로를 포함한다.
실시예들은 제1 에너지 전파 경로(7120)를 따라 지향된 에너지가 에너지 전파 경로(7120A 및 7120B) 및 제1 주 광선(7138)에 실질적으로 평행한 방향으로 제1 에너지 도파관(7104)을 빠져나갈 수 있도록 구성될 수 있다. 제2 측면(7114) 상의 에너지 도파관 요소(7112)를 통해 연장되는 에너지 전파 경로는 실질적으로 유사한 전파 방향의 복수의 에너지 전파 경로를 포함하는 것으로 가정될 수 있다.
도 7d는 에너지 도파관 시스템(7100)의 일 실시예에 대한 정면도이다. 제1 에너지 전파 경로(7120)는 적어도 제1 에너지 위치(7122)에 의해 결정되는 제1 에너지 도파관(7104)으로부터 연장되는 고유한 방향(7208)으로 어레이(7114)의 제2 측면을 향해 연장될 수 있다. 제1 에너지 도파관(7104)은 공간 좌표(7204)에 의해 정의될 수 있으며, 적어도 제1 에너지 위치(7122)에 의해 결정되는 고유 방향(7208)은 제1 에너지 전파 경로(7120)의 방향들을 정의하는 각도 좌표(7206)에 의해 정의될 수 있다. 공간 좌표(7204) 및 각도 좌표(7206)는 제1 에너지 전파 경로(7120)의 고유한 방향(7208)을 정의하는 4차원 플렌옵틱 좌표 세트(7210)를 형성할 수 있다.
일 실시예에서, 제1 에너지 도파관(7104)을 통해 제1 에너지 전파 경로(7120)를 따라 지향된 에너지는 실질적으로 제1 에너지 도파관(7104)의 제1 개구(7134)를 채우고, 에너지 전파 경로(7120A 및 7120B) 사이에 놓여 있는 제1 에너지 전파 경로(7120)의 방향과 평행한 하나 이상의 에너지 전파 경로를 따라 전파한다. 일 실시예에서, 제1 개구(7134)를 실질적으로 채우는 하나 이상의 에너지 전파 경로는 제1 개구(7134)의 직경의 50 %보다 큰 길이를 포함할 수 있다.
바람직한 실시예에서, 제1 개구(7134)를 실질적으로 채우는 제1 에너지 도파관(7104)을 통해 제1 에너지 전파 경로(7120)를 따라 지향된 에너지는 제1 개구(7134) 직경의 50% 내지 80%의 길이를 포함할 수 있다.
도 7c 및 도 7e 내지 도 7l을 다시 참조하면, 일 실시예에서, 에너지 도파관 시스템(7100)은 제1 측면(7116)과 제2 측면(7114) 사이의 에너지 전파를 제한하고 인접한 도파관들(7112) 사이의 에너지 전파를 금지하도록 배치된 에너지 억제 요소(7124)를 더 포함할 수 있다. 일 실시예에서, 에너지 억제 요소는 제1 개구(7134)를 통해 연장되지 않는 다수의 에너지 전파 경로(7108) 중 제1 서브세트(7290)의 부분을 따르는 에너지 전파를 금지하도록 구성된다. 일 실시예에서, 에너지 억제 요소(7124)는 에너지 도파관들의 어레이(7112)와 복수의 에너지 위치들(7118) 사이의 제1 측면(7116) 상에 위치될 수 있다. 일 실시예에서, 에너지 억제 요소(7124)는 복수의 에너지 위치들(7118)과 에너지 전파 경로들(7108) 사이의 제2 측면(7114) 상에 위치될 수 있다. 일 실시예에서, 에너지 억제 요소(7124)는 에너지 도파관들의 어레이(7112) 또는 복수의 에너지 위치들(7118)에 직교하는 제1 측면(7116) 또는 제2 측면(7114) 상에 위치될 수 있다.
일 실시예에서, 제1 에너지 전파 경로(7120)를 따라 지향되는 에너지는 제2 에너지 도파관(7128)을 통해 제2 에너지 전파 경로(7126)를 따라 지향되는 에너지와 수렴할 수 있다. 제1 및 제2 에너지 전파 경로들은 어레이(7112)의 제2 측면(7114) 상의 위치(7130)에서 수렴할 수 있다. 일 실시예에서, 제3 및 제4 에너지 전파 경로들(7140, 7141)은 또한 어레이(7112)의 제1 측면(7116) 상의 위치(7132)에서 수렴할 수 있다. 일 실시예에서, 제5 및 제6 에너지 전파 경로들(7142, 7143)은 또한 어레이(7112)의 제1 및 제2 측면들(7116, 7114) 사이의 위치(7136)에서 수렴할 수 있다.
또한, 도 7e 내지 도7l은 에너지 억제 요소(7124)의 다양한 실시예들에 대한 도면이다. 의심의 여지를 없애기 위해, 이들 실시예는 예시적인 목적으로 제공되며, 본 개시내용의 범위 내에서 제공되는 조합 또는 구현의 범위를 결코 제한하지 않는다.
도 7e는 에너지 억제 요소(7251)가 에너지 위치(7118)의 표면에 인접하여 배치되고 특정 굴절, 회절, 반사 또는 다른 에너지 변경 특성을 포함하는 복수의 에너지 위치(7118)의 실시예를 예시한다. 에너지 억제 요소(7251)는 에너지 전파 경로들(7252)을 따르는 에너지의 전파를 금지함으로써 에너지 전파 경로들(7290)의 제1 서브세트를 보다 작은 범위의 전파 경로들(7253)로 제한하도록 구성될 수 있다. 일 실시예에서, 에너지 억제 요소는 1보다 작은 개구수를 갖는 에너지 릴레이이다.
도 7f는 에너지 억제 구조체(7254)가 에너지 위치들(7118)의 영역들 사이에 직교 배치되고, 에너지 억제 구조체(7254)가 흡수 특성을 나타내며, 에너지 억제 구조체(7254)가 에너지 전파 경로(7256)를 따라 규정된 높이를 가짐으로써 특정 에너지 전파 경로들(7255)이 금지되도록 하는 다수의 에너지 위치들(7118)의 실시예를 예시한다. 일 실시예에서, 에너지 억제 구조체(7254)는 육각형 형상이다. 일 실시예에서, 에너지 억제 구조체(7254)는 둥근 형상이다. 일 실시예에서, 에너지 억제 구조체(7254)는 전파 경로의 임의의 배향을 따라 그 형상 또는 크기가 불균일하다. 일 실시예에서, 에너지 억제 구조체(7254)는 추가의 특성들을 갖는 다른 구조체 내에 포함된다.
도 7g는 다수의 에너지 위치들(7118)을 예시한 것이며, 제1 에너지 억제 구조체(7257)는 이를 통해 전파하는 에너지(7259)를 실질적으로 제1 상태로 배향시키도록 구성된다. 제2 에너지 억제 구조체(7258)는 실질적으로 제1 상태로 배향된 에너지(7259)가 전파되도록 허용하고, 실질적으로 제1 상태와 비유사하게 배향된 에너지(7260)의 전파를 제한하도록 구성된다. 일 실시예에서, 에너지 억제 요소(7257, 7258)는 에너지 편광 요소 쌍이다. 일 실시예에서, 에너지 억제 요소(7257, 7258)는 에너지 파 대역 통과 요소 쌍이다. 일 실시예에서, 에너지 억제 요소(7257, 7258)는 회절 도파관 쌍이다.
도 7h는 복수의 에너지 위치들(7118)의 실시예를 예시한 것이며, 본 실시예에서 에너지 억제 요소(7261)는 에너지 전파 경로들(7263)이 복수의 에너지 위치들(7118) 중 어느 에너지 위치를 통해 연장되는지 여하에 따라 특정의 정도로 에너지 전파 경로들(7263)을 변경하도록 구성된다. 에너지 억제 요소(7261)는 특정 에너지 전파 경로들(7262)이 금지되도록 에너지 전파 경로들(7263)을 따라 균일 또는 비균일한 방식으로 에너지 전파 경로들(7263)을 변경할 수 있다. 에너지 억제 구조체(7254)는 에너지 위치들(7118)의 영역들 사이에 직교 배치되며, 에너지 억제 구조체(7254)는 흡수 특성을 나타내고, 억제 에너지 구조체(7254)는 에너지 전파 경로(7263)를 따라 규정된 높이를 가짐으로써 특정 에너지 전파 경로들(7262)이 금지되도록 한다. 일 실시예에서, 억제 요소(7261)는 필드 렌즈이다. 일 실시예에서, 억제 요소(7261)는 회절 도파관이다. 일 실시예에서, 억제 요소(7261)는 만곡된 도파관 표면이다.
도 7i는 에너지 억제 요소(7264)가 다른 전파 경로(7267)가 통과하는 것을 허용하면서 에너지(7266)의 전파를 제한하는 흡수 특성을 제공하는 복수의 에너지 위치들(7118)의 실시예를 예시하고 있다.
도 7j는 복수의 에너지 위치들(7118) 및 복수의 에너지 도파관들(7112)의 실시예를 예시하는 것으로, 본 실시예에서 제1 에너지 억제 구조체(7268)는 이를 통해 전파하는 에너지(7270)를 제1 상태로 실질적으로 배향시키도록 구성된다. 제2 에너지 억제 구조체(7271)는 제1 상태로 실질적으로 배향된 에너지(7270)가 전파되도록 허용하고, 제1 상태와 실질적으로 유사하지 않게 배향된 에너지(7269)의 전파를 제한하도록 구성된다. 스트레이 에너지 전파(7272)에 의해 예시된 시스템을 통한 에너지 전파를 추가로 제어하기 위해, 에너지 억제 구조체(7268, 7271)는 에너지 전파가 정확한 전파 경로를 유지하도록 보장하는 복합 에너지 억제 요소를 필요로 할 수 있다.
도 7k는 복수의 에너지 위치들(7118)의 실시예를 예시한 것이며, 본 실시예에서 에너지 억제 요소(7276)는 에너지 전파 경로(7278)를 따르는 에너지의 전파를 제한하는 한편, 에너지 전파 경로(7277)를 따르는 다른 에너지가 도파관들의 어레이(7112) 내의 유효 개구(7284)를 위한 한 쌍의 에너지 도파관들(7112)을 통과할 수 있게 하는 흡수 특성을 제공한다. 일 실시예에서, 에너지 억제 요소(7276)는 블랙 크롬을 포함한다. 일 실시예에서, 에너지 억제 요소(7276)는 흡수성 재료를 포함한다. 일 실시예에서, 에너지 억제 요소(7276)는 투명 픽셀 어레이를 포함한다. 일 실시예에서, 에너지 억제 요소(7276)는 양극산화처리 재료를 포함한다.
도 7l은 복수의 에너지 위치들(7118) 및 복수의 에너지 도파관들(7112)을 포함하는 실시예를 예시한 것이며, 본 실시예에서 제1 에너지 억제 구조체(7251)는 에너지 위치들(7118)의 표면에 인접하게 배치되고, 특정한 굴절, 회절, 반사 또는 다른 에너지 변환 특성을 포함한다. 에너지 억제 구조체(7251)는 에너지 전파 경로들(7274)을 따르는 에너지의 전파를 금지함으로써 에너지 전파 경로들(7290)의 제1 서브세트를 보다 작은 범위의 전파 경로들(7275)로 제한하도록 구성될 수 있다. 제2 에너지 억제 구조체(7261)는 에너지 전파 경로들(7275)이 복수의 에너지 위치들(7118) 중 어느 위치를 통해서 연장되는지 여하에 따라 특정의 정도로 에너지 전파 경로들(7275)을 변경하도록 구성된다. 에너지 억제 구조체(7261)는 특정 에너지 전파 경로들(7274)이 금지되도록 균일 또는 비균일한 방식으로 에너지 전파 경로들(7275)을 변경할 수 있다. 제3 에너지 억제 구조체(7254)는 에너지 위치(7118)의 영역들 사이에서 직교하게 배치된다. 에너지 억제 구조체(7254)는 흡수 특성을 나타내며, 특정 에너지 전파 경로들(7274)이 억제되도록 하는 에너지 전파 경로(7275)를 따라 규정된 높이를 갖는다. 에너지 억제 요소(7276)는 에너지(7281)가 통과하는 것을 허용하면서 에너지(280)의 전파를 제한하는 흡수 특성을 제공한다. 유사하거나 상이한 도파관 요소들(7112)로 이루어지는 복합 시스템이 복수의 에너지 위치들(7118)로부터의 에너지에 의해서 유효 도파관 요소 개구(7285)를 실질적으로 채우고 특정 시스템에 의해 규정되는 에너지의 전파 경로(7273)를 변경하도록 위치된다.
일 실시예에서, 에너지 억제 구조체(7124)는 제1 에너지 위치(7122)에 근접하게 위치될 수 있으며 일반적으로 제1 에너지 도파관(7104)을 향해 연장될 수 있다. 일 실시예에서, 에너지 억제 구조체(7124)는 제1 에너지 도파관(7104)에 근접하게 위치될 수 있으며 일반적으로 제1 에너지 위치(7122)를 향해 연장될 수 있다.
일 실시예에서, 에너지 시스템은 에너지 도파관 시스템을 통해 제2 복수의 에너지 전파 경로들을 따라 에너지를 단일의 심리스 에너지 표면으로 지향시키고, 에너지 릴레이 시스템을 통해 단일의 심리스 에너지 표면으로부터 제1 복수의 에너지 전파 경로들을 따라 복수의 에너지 장치들로 에너지를 지향시키도록 구성된다.
다른 실시예에서, 에너지 시스템은 에너지 릴레이 시스템을 통해 복수의 에너지 장치들로부터 복수의 에너지 전파 경로들을 따라 단일의 심리스 에너지 표면으로 에너지를 지향시키고, 에너지 도파관 시스템을 통해 단일의 심리스 에너지 표면으로부터 제2 복수의 에너지 전파 경로들을 따라 에너지를 지향시키도록 구성된다.
또 다른 실시예에서, 단일의 심리스 에너지 표면은 3이하 파장의 가시광 내로 편재된 광 전송을 안내하도록 동작 가능하다.
홀로그래픽 디스플레이에 적합한 감각 데이터
에너지 지향 표면으로부터의 표면을 통한 플렌옵틱 4D 함수는 에너지 위치들을 포함하는 제1 평면으로부터 2개의 공간 좌표 
를 제공하며, 이것은 에너지 전파 경로의 벡터를 정의하는 도파 파라미터들 
을 포함하는 제2 평면을 따라 제2 좌표를 통해 지향된다
. 복수의 에너지 지향 표면을 고려하여, 플렌옵틱 5D 함수는 하나 이상의 에너지 위치들을 포함하는 제1 좌표로부터 3개의 공간 좌표 
를 제공하며, 이것은 에너지 전파 경로의 벡터를 정의하는 도파 파라미터들
을 포함하는 평면을 따라 제2 좌표를 통해 지향된다
. 4D 또는 5D 각각에 대해, 기능 및 토론의 간소화를 위해 명시적으로 언급되지 않은 경우에도 시간 및 색상 
에 대한 추가 변수들이 고려되어 응용에 필요한 플렌옵틱 함수들 중 임의의 것을 포함하는 것으로 가정할 수 있다. 의심의 여지를 없애기 위해, 에너지 지향 표면에 대한 언급은 단지 예시적인 것이며, 5D 좌표의 측위를 위한 공간 내의 임의의 추가 지점, 위치, 방향 또는 평면을 포함할 수 있으며, 집합적으로 에너지 "지향 표면"이라고 지칭된다.
도 8은 컨텐츠 데이터에 대한 4차원(4D) 플렌옵틱 좌표를 결정하는 프로세스(800)의 실시예를 예시하는 흐름도이다. 프로세스(800)는 시각 센서, 음성 센서, 텍스처 센서, 감각 센서 또는 후각 센서에 의해 인지 가능한 임의의 신호를 포함할 수 있는 컨텐츠 데이터가 수신되는 단계(802)를 포함할 수 있다. 도 9는 객체 위치, 재료 특성(예를 들어, 재료 특성(906, 907, 및 908)), 가상 광원(904), 비객체(non-object) 위치에서의 지오메트리(902), 기준 표면 외측의 컨텐츠, 가상 카메라 위치(914), 객체들의 세그먼테이션(910), 배경 텍스처(912), 및 계층화된 컨텐츠들 중의 적어도 하나를 포함할 수 있는 컨텐츠 데이터에 대한 일 실시예를 예시한 개략도이다.
도 8 및 도 9를 참조하면, 프로세스(800)는 컨텐츠 데이터의 디지털 체적 표현(922)을 생성하기 위해 제1 표면(920)에 대한 데이터 포인트들의 위치가 결정되는 단계(804)를 더 포함할 수 있다. 제1 표면(920)은 공간 내의 데이터 포인트들의 위치를 정의하기 위한 기준 표면으로서 사용될 수 있다. 일 실시예에서, 프로세스(800)는 4D 함수가 적용되는 제2 표면에 대한 체적 표현에서 데이터 포인트들의 위치를 트레이싱함으로써 데이터 포인트들의 4D 플렌옵틱 좌표가 제2 표면에서 결정되는 단계(806)를 더 포함할 수 있다. 일 실시예에서, 프로세스(800)는 에너지원 위치 값들이 제1 수렴 지점을 갖는 4D 플렌옵틱 좌표에 대해 결정되는 단계(808)를 더 포함할 수 있다.
단계(802)에서 수신된 컨텐츠 데이터는 N개의 뷰를 포함할 수 있으며, N은 하나 이상이다. 단일 뷰는 깊이 채널의 유무에 관계없이 제공될 수 있다. 스테레오스코픽 뷰들은 깊이 채널의 유무에 관계없이 제공될 수 있다. 멀티 뷰 이미지는 깊이 채널의 유무에 관계없이 제공될 수 있다. 또한, 4D 광 필드는 깊이 채널의 유무에 관계없이 제공될 수 있다.
단계(806)의 트레이싱은 글로벌 모델 또는 개별적으로 특성화 된 시스템 또는 두 방법의 일부 조합으로서 메모리에 저장될 수 있는 에너지 시스템의 교정된 지오메트리의 사전 지식을 사용할 수 있다.
일 실시예에서, 입력 데이터와 출력 에너지원 간의 매핑은 다양한 비트레이트 소스들 간을 정확하게 매핑하는 방법을 제공한다. 단계(806)의 트레이싱은 상기 나열된 일부 샘플들로부터 체적 4D 데이터 세트 전체를 추론하는 능력을 제공한다. 사용 가능한 데이터로부터 깊이 정보가 제공되거나 계산되어야 한다. 깊이 정보가 알려져 있거나 계산된 상태에서, N개의 뷰(들)는 깊이 좌표에 기초한 기지의 체적 표현으로부터의 샘플들을 4D 공간으로 삼각 측량함으로써 역 트레이싱될 수 있다.
삼각 측량은 에너지 도파관과 에너지원 위치 포맷 해상도 간의 매핑이 제공되는 경우 N 소스 컨텐츠의 각 가용 에너지원 위치가 각 에너지 도파관의 에너지원 위치를 나타내는 것으로 가정할 수 있다. N 소스 컨텐츠 해상도가 더 낮은 경우, 초-해상도 또는 스케일링 알고리즘들이 구현될 수 있다. N 소스 이미지(들)의 해상도가 에너지 지향 장치 내의 에너지 도파관의 수보다 높은 경우, 슈퍼 샘플링된 에너지원 위치들 사이의 보간이 수행됨으로써 결과적인 4D 역 레이트레이스에 있어서 에너지 도파관마다 더 많은 양의 에너지원 위치들을 생성할 수가 있다.
상기에서는 거리 정보가 제공 또는 계산된 깊이 정보의 형태에 따라 정확할 수도 있고 정확하지 않을 수도 있는 깊이 맵으로부터 결정될 수 있는 것으로 가정하며, 알려지거나 가정된 거리 정보에 의해서, 에너지 지향 장치 특성들에 의해 결정되는 (u, v) 각도 정보 및 x-y 에너지원 위치 좌표와 조합된 거리 정보가 제한된 이미징 데이터 샘플들을 갖는 4D 또는 5D 광 필드로 간주될 수 있다. 거리 정보에 기초한 이미징 샘플들은 각 에너지 도파관 뒤에 각각 존재할 수 있는 적절한 에너지원 위치들로 다시 삼각 측량되며, 누락된 데이터는 본원에 포함된 개시를 통해 단계(808)에서 생성될 수 있다.
일 실시예에서 도 7c, 도 8, 도 9, 도 10을 참조하면, 에너지 위치들이 제1 표면(920)에 위치될 수 있고, 4D 함수가 적용되는 제2 표면은 에너지 지향 장치의 도파관 시스템(7100)에 대응할 수 있으며, 데이터 포인트들의 4D 플렌옵틱 좌표들에 따라 도파관 시스템을 통해 지향되어 컨텐츠 데이터의 감지 가능한 체적 표현을 형성하도록 에너지가 동작될 수 있다.
일 실시예에서, 프로세스(800)는 제1 수렴 지점을 갖는 4D 좌표들에 대해 에너지원 위치 값들이 결정되는 단계(810)를 더 포함할 수 있다. 본 개시의 예시적인 구현을 제공하기 위해, 도 10은 이미지(1002)의 형태의 컨텐츠 데이터가, 에너지 위치(1010)를 참조하여 결정된 최소 위치(1006) 및 최대 위치(1008) 내에서 제공 또는 계산될 수 있는 거리 위치(1004)를 갖는 트레이싱 프로세스를 거치는 에너지 지향 장치(1000)의 실시예를 예시하고 있다. 일 실시예에서, 에너지 위치들(1010)은 에너지 지향 장치 표면을 포함할 수 있다. 4D 플렌옵틱 함수에 의해 정의되는 에너지 위치들(1010)로부터 알려진 지오메트리로 인하여 이미지(1002)의 가상 표면 상의 포인트(1014)의 삼각 측량이 광선(1016)을 따라 각각 고유한 x-y 좌표를 갖는 특정 에너지 위치들(1018)로 역 트레이싱될 수 있다. 누락된 샘플들은 데이터 세트에 포함된 가용 정보에 기초하여 계산적으로 산출될 수 있다.
추가적인 N개 샘플이 제공될 경우, 동일한 방법이 추가의 다중 퍼스펙티브 이미징 데이터와 함께 적용됨으로써 더 많은 역 레이트레이싱 샘플 세트를 생성하고 우수한 홀로그램 결과를 제공한다. 다수의 N개 샘플로부터의 깊이 정보가 단일 깊이 맵을 통해 제공되거나, 최대 N, 또는 N보다 많은 깊이 맵들을 통해 제공됨으로써, 소스 위치(N+X 퍼스펙티브)와 소스 깊이 맵(N+X 깊이 맵) 사이의 알려진 매핑으로 적절한 역 레이트레이싱이 수행되는 것을 보장한다.
예를 들어, 중심 N 퍼스펙티브에 대한 단일 깊이 맵이 제공되는 경우, 추가의 깊이 맵들은 N과 N+X 뷰포인트들 사이의 소스 및 타겟 위치를 정확하게 매핑하기 위해 각 인접 뷰들 사이의 디스패러티를 계산함으로써 보간될 수 있다. 이 방법을 사용하면, 4D 광 필드에 적절한 뷰 종속 매핑을 역 레이트레이싱함으로써 정확한 퍼스펙티브(들)가 적절한 도파관 좌표들로 투영되며 그 결과 뷰어가 연관된 뷰포인트들에서 올바른 뷰 종속성을 유지할 수 있게 된다.
인코더 및 디코더는 강건하며 2D/플랫 파일, 깊이가 있는 2D, 스테레오스코픽, 단일 깊이 채널이 있는 스테레오스코픽, 이중 깊이 채널이 있는 스테레오스코픽, 깊이가 없는 N+X 멀티 뷰, N+Y 깊이가 있는 N+Y 멀티 뷰, 환경을 재구성하기 위해 텍스처, 지오메트리, 라이팅, 재료 특성 등을 포함할 수 있는 지오메트리 또는 벡터 기반 장면 파일들을 포함하며 이에 한정되지 않는 복수의 데이터 타입들을 해석할 수 있으며, 여기서 다수의 RGBAZ 값들이 각 x-y 좌표, 4D 또는 5D(4D 플러스 깊이) 광 필드에 대해 제공되거나, N+X 뷰 플러스 N+Y 델타 채널 데이터 세트로서 제공될 수 있고, 깊이 채널은 결정된 에너지 지향 장치의 시야에 필요한 일정 양의 에너지원 위치 데이터의 렌더링만을 위한 저대역폭 방법을 제공한다. 프로세서들은 월드 좌표 위치들의 유무에 관계없이, 그리고 보상된 최소 및 최대 투영된 월드 위치들의 유무에 관계없이, 그리고 특징화 및/또는 설계된 에너지 지향 장치 고유사항을 고려하여 실시간 속도까지, 또는 이것을 초과하여 역 레이트레이싱함으로써, 적절한 4D 광 필드를 제공하여 뷰어에게 프레젠테이션할 수 있다.
일 실시예에서, 프로세스(800)는 도파관 시스템(7100)의 제1 측면 상의 에너지 위치들(7122)과 도파관 시스템(7100)의 제2 측면 상의 도파관 요소(7100)로부터의 에너지 전파 경로들(7120)의 각도 방향들 사이의 매핑이 적용되는 단계(812)를 더 포함할 수 있다. 이렇게 함으로써, 데이터 포인트들의 4D 플렌옵틱 좌표들에 대응하는 도파관 시스템(7100)의 제1 측면 상의 다수의 에너지 위치들이 결정되도록 할 수 있다.
도 12는 감각 데이터 프로세서(1202), 벡터화 엔진(1204) 및 트레이싱 엔진(1206)을 갖는 프로세싱 서브시스템과 통신하는 데이터 입/출력 인터페이스(1201)를 포함하는 프로세싱 시스템(1200)의 개략도이다. 감각 데이터 프로세서(1202), 벡터화 엔진(1204), 및 트레이싱 엔진(1206)은 개별적으로 또는 이들의 임의의 조합으로, 하나 이상의 프로세서 상에서 구현될 수 있다는 것을 이해해야 한다. 프로세스(800)의 단계(802)는 데이터 입/출력 인터페이스(1201)를 통해 프로세싱 서브시스템(1220)에 컨텐츠 데이터를 입력할 수 있다. 단계(804)는 컨텐츠 데이터의 체적 표현을 생성하기 위해 감각 데이터 프로세서(1202)에 의해 수행될 수 있다. 단계(806)
일 실시예에서, 매핑을 적용하는 것은 시스템(7100)에서의 왜곡을 교정하는 것을 포함할 수 있으며, 이것은 공간 왜곡, 각도 왜곡, 강도 왜곡 및 색 왜곡으로 구성된 그룹으로부터 선택되는 적어도 하나의 왜곡에 대해 교정하는 것을 더 포함할 수 있다.
일 실시예에서, 에너지 지향 장치는 도파관 시스템(7100)에 인접한 제1 표면(6116)을 갖는 릴레이 시스템(6100)을 도파관 시스템(7100)의 제1 측면 상에 더 포함할 수 있으며, 도파관 시스템의 제1 측면 상의 에너지 위치들(7112)은 릴레이 시스템(6110)의 제2 표면(6114)에 인접하게 위치될 수 있다.
일 실시예에서, 매핑을 적용하는 것은 도파관 시스템(7100)에서의 왜곡을 교정하는 것을 포함할 수 있다. 일 실시예에서, 매핑을 적용하는 것은 릴레이 시스템(6110)에서의 왜곡 및 도파관 시스템(7100)에서의 왜곡 모두를 교정하는 것을 포함할 수 있다. 일 실시예에서, 교정 대상인 왜곡은 공간 왜곡, 각도 왜곡, 강도 왜곡 및 색상 왜곡으로 이루어진 그룹으로부터 선택되는 적어도 하나의 왜곡을 포함할 수 있다.
일 실시예에서, 상기 방법 일부가 실시간으로 수행될 수 있으며, 또는 상기 방법 전체가 실시간으로 수행될 수 있거나, 또는 상기 방법의 적어도 두 부분이 상이한 시간 기간에 수행될 수 있다.
2D에서 광 필드로 변환
일 실시예에서, 컨텐츠 데이터는 2차원(2D) 공간에서의 데이터 포인트들을 포함할 수 있으며, 단계(704)의 위치들을 결정하는 것은 2차원 공간에서의 데이터 포인트들에 깊이 맵을 적용하는 것을 포함할 수 있다.
2차원 또는 평면 이미지를 광 필드 데이터로 변환하는 방법은 여러 가지가 있다. 여기에는 동작 분석으로부터의 깊이를 통한 깊이 정보의 평가, 수동 또는 렌더링 수단을 통해 제공된 깊이 채널, 또는 디스패러티, 깊이, 오클루젼, 지오메트리의 수동 생성 및/또는 수동 및 자동 프로세스들에 의한 전체 환경의 재생성을 통해 전체 광 필드를 재생하는 시각 효과 컨텐츠 생성을 위한 표준으로 알려진 기타 방법이 포함된다.
제1 실시예에서, 이용 가능한 에너지원 위치 정보로부터의 깊이 추정을 수행하기 위한 실시간 또는 오프라인 프로세서를 포함하는 시스템이 가능하다. 이것은 셋톱 박스로서 또는 오프라인 프로세스로서 에너지 지향 장치에서 수행될 수 있다. 누락된 체적 데이터에 대한 추가 계산은 시간 정보 및/또는 아트 텍스처 합성의 상태 또는 당업계에 공지된 다른 기술을 이용하여 수행될 수 있다.
제2 실시예에서는, 깊이 정보가 이미지 스트림으로서 제공되며 이미지 포맷에 내장될 수 있다. 마찬가지로, 누락된 체적 데이터에 대한 추가 계산이 수행될 수 있다.
제3 실시예에서는, 아티스트 또는 프로세스가 누락된 환경 정보를 생성하기 위해 활용되며, 이 누락된 환경 정보는 장면 내의 각 객체를 격리 또는 세그먼트화하고, 상기 객체들을 시간 경과에 따라 수동으로, 반자동 또는 자동으로 추적하고, 디스패러티 공간, 에너지 지향 장치 공간, 광학 공간 또는 월드 좌표들을 활용하여 객체들을 공간에 배치함으로써, 배경, 투명도, 에지 세부 사항 등의 재구성을 위해 당업계에 알려진 시각 효과 프로세스들을 통해 배경 및 전경 누락 정보를 합성하여 환경을 재생성하는 프로세스를 포함할 수 있다. 의심의 여지를 없애기 위해, 구현 프로세스들은 이들 환경의 재구성을 위해 열거된 실시예들 중 임의의 것이거나 이 중에 없거나 전부일 수 있다. 생성된 환경 정보는 에너지 지향 장치의 뷰 각도들에 의해 결정되는 만큼 많은 누락 정보를 포함해야 하며, 적절한 오클루젼 및 뷰 의존 정보가 적절하게 생성되도록 이들 뷰 각도들이 아티스트에게 알려질 수 있다.
또한, 장면의 각 객체에 대한 표면 모델이 부분 모델로서 또는 완전하게 구축된 모델로서 생성될 수 있으며, 이미지 데이터의 텍스처들이 지오메트리의 표면들에 투영되어 다음의 역 레이트레이싱에 적합한 형상을 제공한다.
또한, 4D 광 필드의 재생성 정확도를 더욱 높이기 위해 가상 조명 소스들에서 뷰 의존 라이팅을 도입할 수 있도록 재료 특성들을 계산하거나 수동으로 도입할 수 있다.
또한, 기존의 변환된 재료를 보완하기 위해 추가의 CG 또는 합성 컨텐츠가 도입될 수도 있다. 체적 데이터의 추가도 포함될 수 있다. CG, 2D, 스테레오스코픽, 멀티 뷰 및/또는 4D 미디어를 하나의 합성물로 심리스 혼합하기 위해 N+X 컨텐츠의 상호 혼합을 도입할 수도 있다.
결과물인 2D에서 광 필드 변환된 컨텐츠는 CG 장면 자체에서 나타나는 지오메트리, 텍스처, 조명, 재질 등을 포함하는 지오메트리 장면 파일로 유지될 수 있으며 N+D 깊이 채널에 의해서 N+X 뷰로 렌더링되거나, 4D 또는 5D(4D + 깊이) 광 필드, x-y 좌표당 Z 샘플의 스태킹 제한 유무와 관계없이 x-y 에너지원 위치 좌표당 다중 RGBAZ 샘플을 허용하는 포맷인 깊이 있는 이미지로 렌더링되거나, 또는 N+X 뷰 플러스 N+Y 델타 채널 데이터 세트로 제공될 수 있으며, 여기서 깊이 채널은 결정된 에너지 지향 장치의 시야에 대해 요구되는 일정량의 에너지원 위치 데이터의 렌더링만을 위한 저대역폭 방법을 제공한다. 이러한 각각의 출력 포맷들 중 하나, 일부 또는 전부를 생성할 수 있도록 하는 툴이 제공될 수 있다.
스테레오스코픽 및 멀티 뷰에서 광 필드로의 변환
상기한 단일 뷰 컨텐츠 활용의 프로세스는 스테레오스코픽 및 멀티 뷰 재료에 적용될 수도 있다. 깊이 정보의 추정은 모션 분석으로부터의 깊이를 통해서 뿐만 아니라 스테레오스코픽, 멀티 뷰 및/또는 디스패러티 분석, 제공된 깊이 채널 또는 수동 또는 렌더링 수단을 통해 제공된 깊이 채널들, 또는 디스패러티, 깊이, 오클루젼, 지오메트리 및/또는 시각 효과 컨텐츠 생성을 위한 표준으로 알려진 다른 방법을 통해 얻어지며 이에 따라 수동 및 자동 프로세스를 통해 전체 환경의 재생성을 통해 전체 광 필드를 재현하고 적절한 데이터를 활용하여 제공된 이미징 재료에서 사용 가능한 뷰 종속 컨텐츠를 계속 유지한다.
일 실시예에서, 단계(102)에서 수신된 컨텐츠 데이터는 3차원(3D) 공간에서의 데이터 포인트들을 포함할 수 있으며, 위치를 결정하는 것은 3D 공간에서 데이터 포인트들을 조정하는 것을 포함할 수 있다.
일 실시예에서, 3D 공간에서 데이터 포인트들을 조정하는 것은 3D 공간에서의 데이터 포인트들에 깊이 맵을 적용하거나, 새로운 데이터 포인트들을 추가하거나, 오클루젼된 데이터 포인트들을 재구성하거나, 또는 이들의 임의의 조합을 포함할 수 있다.
이 접근법에 대한 중요한 이점은 모션 시차(motion parallax) 또는 다른 유사한 2D 추정 프로세스들에 비해 스테레오스코픽 디스패러티 추정의 정확도가 훨씬 더 높다는 것이다. 또한 변환된 4D 광 필드의 이미지 품질은 조명, 투과도, 재료, 오클루젼 등을 포함하되 이에 한정되지 않는 일부 뷰 종속 조건의 가용성으로 인해 더욱더 정확하다.
멀티 뷰 이미지 데이터의 명시적인 각도 의존성을 유지하는 능력은 중심 뷰포인트 카메라 또는 일부 다른 정의된 중심점과 관련된 표면 법선을 계산하는 능력에 의존한다. 이러한 법선 및 디스패러티 또는 깊이 정보가 알려지면, 에너지 지향 장치 뷰 각도에 기초하여 뷰포인트들 사이를 보간할 수 있으며, 이것은 역 레이트레이싱에 직접 적용되거나, 또는 역 레이트레이싱 동안에 텍스처 합성의 일부로서 합성된다.
간략화를 위해, 2D에서 광 필드 이미지로의 재구성에 대해 이전에 개시된 모든 방법들은 스테레오스코픽 또는 멀티 뷰 데이터 세트의 재구성에 적용될 수 있다.
4D 또는 5D 광 필드의 NxN RGB 이미지 생성
4D 또는 5D 광 필드를 활용하여, NxN개의 또는 최대 NxN 개 중의 임의 값의 RGB 멀티 뷰 이미지를 생성할 수 있다. 이 프로세스는, 정사각형 그리드로 가정할 경우, 각각의 도파관 아래의 각각의 하부 좌측 좌표를 0,0 위치로 고려하고, 상부 우측 위치를 N, N 위치로 고려함으로써 수용된다. 이 그리드는 단지 예시일뿐이며 임의의 다른 매핑 방법도 활용될 수 있다. 각각의 0,0 내지 N,N 위치에 있어서, 활용되는 캡처 시스템에 기초하여 가능한 가장 넓은 필드 깊이를 갖는 광 필드로부터 전체 해상도 이미지를 형성하는 것이 가능하며, 여기서 어레이의 각 도파관은 단일 에너지원 위치로 간주되고, 각 도파관 아래의 각 좌표는 0,0에서 N, N까지의 각각의 완전한 이미지에 대해 더 큰 에너지원 위치 어레이의 단일 에너지원 위치이다. 이것은 깊이 정보에 대한 5D 광 필드에 대해서도 반복될 수 있다. 이러한 방식으로, 4D 또는 5D 광 필드 사이에서의 2D, 스테레오스코픽, 멀티 뷰, 포인트 클라우드, CG 장면 파일 또는 그 밖의 4D 또는 5D 광 필드에서 도출될 수 있는 원하는 데이터 조합을 포함하는 다양한 배포 목적에 필요한 데이터 세트의 임의의 서브세트로의 변환이 용이하게 이루어질 수 있다. 불규칙형 또는 정사각형으로 패킹된 4D 또는 5D 구조의 경우, 에너지원 위치를 일반 그리드에 정렬하기 위해 추가 보간이 필요하거나 에너지원 위치와 비-정사각형으로 패킹된 구조 사이의 선형 매핑이 구현될 수 있으며 여기서는 결과 이미지들이 나타나지 않을 수도 있고 에너지원 위치 아티팩트들을 포함할 수도 있다.
도 11은 각각의 에너지 도파관 요소 위치 및 에너지 위치 좌표에 따라 각 에너지 도파관 요소(1104)의 하부로부터 에너지 위치(1102)를 배열함으로써 4D 또는 5D 광 필드를 다수의 뷰포인트로 변환하는 방법을 예시한 것이다. 이것은 광 필드와 더 작은 데이터 세트 간의 끊김없는 전송 능력을 제공한다.
N+X RGB 및 N+Y 깊이 데이터 세트
데이터 전송 크기의 균형과 함께 최고의 품질을 제공하는 이상적인 데이터 세트 포맷은 N+X RGB 및 N+Y 깊이 + 벡터화된 채널의 사용을 포함하며, 여기서 N+X RGB 정보에는 특정 해상도 및 포맷을 나타낼 수 있는 N RGB 이미지, 및 상이한 해상도 및 저해상도, 델타 정보 등을 포함하는 RGB 데이터에 대한 포맷을 나타낼 수 있는 X, 및 N+Y 깊이 + N 깊이를 포함하는 벡터화된 채널 + 특정 해상도와 포맷 그리고 상이한 해상도와 깊이에 대한 포맷을 나타낼 수 있는 Y를 포함하는 벡터화된 채널 + 저해상도, 델타 정보 등을 포함하는 벡터 데이터가 포함될 수 있다.
N+X개의 뷰는 중심 뷰의 유무와 관계없이 중심점 주위의 소정의 반경으로부터, 중심 뷰의 유무와 관계없이 중심점 주위의 여러 반경으로부터, 또는 다수 뷰의 매핑 및 이와 관련된 패킹 또는 퍼스펙티브 위치를 결정하는 임의의 방법으로부터, 일반 그리드 상에 생성될 수 있다. 퍼스펙티브들을 위한 구성이 파일의 메타데이터에 포함될 수 있거나, 또는 제공된 깊이 + 벡터화된 채널들은, 이미징 데이터가 다른 필수 메타데이터 없이도 XYZ 공간의 동일한 좌표에 정렬되도록, 월드 좌표로의 직접 매핑을 포함할 수 있다.
4D 디스크 반전 및 에너지 지향 장치 호환성 처리
4D 또는 5D 광 필드 시스템의 광학 시뮬레이션을 사용하여 가상 장비로 캡처된 잠재적 데이터를 비롯한, 플렌옵틱 또는 광 필드 4D 또는 5D 시스템으로 캡처된 모든 데이터의 경우, 결과로 생성되는 플라이스 아이(fly's eye) 퍼스펙티브 에는 광 필드의 uv 벡터를 나타내는 디스크가 포함된다. 그러나, 이러한 좌표는 에너지 지향 장치에 존재하지 않을 수 있는 에너지 포커싱 요소를 가정한 것이다. 본 제안된 에너지 지향 장치 솔루션에서는, 포커싱 요소가 뷰어의 눈일 수 있으며, 캡처 시스템과의 매핑 및 원본 캡처 방법과 뷰잉된 에너지 지향 장치 간의 매핑은 더 이상 정확하지 않다.
이것을 반전시키고 캡쳐 시스템과 비교할 때 그 시스템에서 추가적으로 누락된 에너지 지향 요소를 보정하기 위해, 각각의 디스크를 독립적으로 플립할 수 있으며, 각 (u, v) 좌표의 x-y 위치는 각 도파관의 중심점을 기준으로 재지정된다. 이러한 방식으로, 주 도파관의 결과로서 형성되는 이미지의 반전이 인버트되어, 광 필드 에너지 지향 장치가 올바른 x-y-u-v 방향으로 광선을 투영하게 한다.
이에 대한 또 다른 실시예는 하드웨어 수정을 구현하는 것일 수 있으며, 여기서는 에너지 도파관 어레이를 활용하여 모든 제시된 에너지 도파관 에너지원 위치의 직접 반전을 제공한다. 광 필드 에너지 지향 장치의 경우, 캡처 시스템과 에너지 지향 장치 간의 직접 매핑을 갖는 것이 유리하다. 이것은 정확한 x-y-u-v 좌표에 대한 추가 시간을 중계할 필요성을 제거함으로써 전체 어레이 내의 에너지 도파관의 그룹이 제거될 수 있도록 하는 HMD 시스템 또는 체적 불투명 에너지 지향 장치를 포함하는 실시예에 더욱 유리할 수 있다.
또한, 모든 광 필드가 동일한 것은 아니다. 이들은 상이한 NA, FOV, N 값, 광학 프리스크립션 등으로 캡처될 수 있다. 입력 광 필드 데이터의 인트린식 및 익스트린식을 이해하여 에너지 지향 장치 특성으로 변환할 수 있다. 이것은 홀로그램 및 광 필드 데이터의 범용 파라미터화를 위해 본 개시 내용에 포함된 실시예들에 의해 수행될 수 있다.
역 에너지 트레이싱 및 에너지 지향 시스템의 감각 특성 벡터화를 통한 홀로그래픽 감각 데이터 전송의 범용 파라미터화
에너지 지향 표면으로부터의 표면을 통한 플렌옵틱 4D 함수는 에너지 위치들을 포함하는 제1 평면으로부터 2개의 공간 좌표 
를 제공하며, 이것은 에너지 전파 경로의 벡터를 정의하는 도파 파라미터들 
을 포함하는 제2 평면을 따라 제2 좌표를 통해 지향된다
. 복수의 에너지 지향 표면을 고려하여, 플렌옵틱 5D 함수는 하나 이상의 에너지 위치들을 포함하는 제1 좌표로부터 3개의 공간 좌표 
를 제공하며, 이것은 에너지 전파 경로의 벡터를 정의하는 도파 파라미터들 
을 포함하는 평면을 따라 제2 좌표를 통해 지향된다
. 4D 또는 5D 각각에 대해, 기능 및 토론의 간소화를 위해 명시적으로 언급되지 않은 경우에도 시간 및 색상 
에 대한 추가 변수들이 고려되어 응용에 필요한 플렌옵틱 함수들 중 임의의 것을 포함하는 것으로 가정할 수 있다. 의심의 여지를 없애기 위해, 에너지 지향 표면에 대한 언급은 단지 예시적인 것이며, 5D 좌표의 측위를 위한 공간 내의 임의의 추가 지점, 위치, 방향 또는 평면을 포함할 수 있으며, 집합적으로 에너지 "지향 표면"이라고 지칭된다.
에너지 전파 경로의 제1 벡터에 따라, 에너지들의 수렴을 포함하는 복수의 교차점들이 추가 에너지 전파 경로들과 함께 발생할 수 있다. 이 교차점에서, 3D 포인트 또는 깊이 파라미터는 4D 또는 5D 함수를 갖는 복수의 에너지 전파 경로들 사이의 위치 
에 형성되며, 여기서 수렴 
의 3D 포인트는 복수의 에너지 전파 경로들 사이에 존재하며, 에너지 지향 표면 또는 표면들 내에 포함되는 각각의 
또는 
좌표의 경우, 제1 좌표와 수렴 3D 포인트 사이에 형성되는 단일의 
전파 경로만이 존재한다. 4D 함수 
또는 5D 함수 
는 
에서 각 수렴 포인트에 대해 존재하는 모든 4D 
또는 5D 
좌표 및 상응하는 
전파 경로들을 집합적으로 정의한다.
에너지 지향 표면 
을 통한 복수의 에너지 전파 경로들을 따르는 에너지 수렴으로 인한 제1 5D 좌표에서, 이 좌표는 더 큰 객체, 체적, 입자 또는 편재화된 에너지 파라미터 내의 포인트를 나타낼 수 있고, 제1 5D 좌표에 근접한 추가 좌표에서의 수렴 에너지들은 환경 또는 홀로그래픽 데이터 세트 내의 감각 에너지들에 대한 추가의 벡터화된 특성들을 나타낼 수 있다. 이러한 벡터화된 특성들은 4D 또는 5D 데이터 세트 중 하나의 영역들에 대한 4D 데이터 세트 내의 각 에너지 위치 좌표에 대한 각 5D 좌표 또는 에너지 표면을 포함하는 좌표들의 다른 서브세트에 대한 정보를 포함할 수 있다.
일 실시예에서는, 래스터 및 벡터 2D, 3D, 4D 및 5D 데이터 세트에 대한 시각, 청각, 체성 감각, 미각, 후각, 전정(vestibular) 또는 감각 시스템 반응에 관한 다른 원하는 에너지들의 전파를 위한 4D 및 5D 홀로그래픽 감각 에너지 특성들의 범용 파라미터화가 개시되며, 여기서 2D 데이터는 단일 각도 샘플을 포함할 수 있고, 3D 데이터는 단일 차원에서의 2개 이상의 각도 샘플을 포함할 수 있고, 4D 데이터는 2차원에서의 복수의 각도 샘플을 포함할 수 있고, 또는 5D 데이터는 3차원 이상의 차원에서 복수의 각도 샘플을 포함할 수 있으며, 이것은 4D 에너지 지향 표면의 제2 평면의 제2 좌표를 기준으로 한다.
수신된 샘플 데이터의 실시예들은 다음 중의 어느 것을 포함할 수 있다:
1). 2D 또는 모노스코픽, 플랫, 포인트 클라우드, uv-매핑된 지오메트리, 인트린식 지오메트리, 딥 이미지, 계층화된 이미지, CAD 파일(인트린식), 단일 포인트 샘플링, 단일 카메라 캡처, 단일 프로젝터 투영, 체적 측정(체적 내의 벡터가 있는 모노스코픽 단일 샘플 포인트들), 3 자유도 소스(DoF; 단일 포인트를 중심으로 하는 모노스코픽 x, y, z 회전을 갖는 래스터), 비-광 필드 6 DoF 소스(래스터 + 모노스코픽 샘플들로부터의 벡터), 체적형 에너지 지향 장치(체적 내의 모노스코픽 샘플들), 페퍼의 유령(Pepper 's Ghost) 소스(단일 포인트 투영) 소스, 2D AR HMD 소스(모노스코픽 단일 또는 다중 포커스 평면; 계층화된 모노스코픽), 2D VR HMD 소스(모노스코픽 단일 또는 다중 포커스 평면; 계층화된 모노스코픽), 또는 임의의 다른 2차원 래스터 또는 벡터 정보 표현;
2). 3D 또는 스테레오스코픽, 트리스코픽(단일 베이스라인), 멀티뷰(1D), 1D 멀티 샘플, 1D 멀티 퍼스펙티브, 수평 또는 수직 시차, 1D 투영 어레이, 2 포인트 샘플링, 1D 포인트 샘플링, 수평 또는 수직 어레이, 불릿 타임(bullet time), 3 DoF 소스(래스터; 단일 포인트를 중심으로 하는 스테레오스코픽 x, y, z 회전), 3 DoF 소스(단일 포인트를 중심으로 하는 스테레오스코픽 x, y, z 회전 내의 3D 래스터), 비-광 필드 6 DoF 소스(3D 래스터 + 스테레오스코픽 샘플들로부터의 벡터), 1D 체적형 에너지 지향 장치의 소스(1D 시차가 포함된 샘플), 오토스테레오스코픽 데이터 소스, 수평 멀티 뷰 에너지 지향 장치의 소스, 3D AR HMD 소스(스테레오스코픽 단일 또는 다중 포커스 평면; 계층화된 스테레오스코픽), 3D VR HMD 소스(스테레오스코픽 단일 또는 다중 포커스 평면; 계층화된 스테레오스코픽), 또는 임의의 다른 3차원 래스터 또는 벡터 정보의 표현;
3). 4D 또는 플렌옵틱(5D), 멀티스코픽, 적분 이미지(integral image), 광 필드(4D), 2D 멀티 뷰, 2D 멀티 샘플, 2D 퍼스펙티브, 2D 시차, 수평 및 수직 시차, 2D 투영 어레이, 2D 포인트 샘플링, 모션 캡쳐 스테이지(표면을 따라), 평면 어레이, 감시 카메라 어레이, 렌더링 또는 레이트래이싱 지오메트리 표현(4D 표현), 익스트린식 지오메트리(4D 표현), 광 필드 6 DoF 소스(평면 광 필드 샘플들 내의 4D 래스터), 프리-뷰포인트 6 DoF 소스(4D 래스터 + 4D 광 필드 샘플들로부터의 벡터들), 4D 체적형 에너지 지향 장치 소스(2D 시차 포함된 샘플), 광 필드 에너지 지향 장치 소스(4D 샘플링), 광 필드 HMD 소스(근시야 4D 샘플링), 홀로 그래픽 에너지 지향 장치 소스(4D 샘플링), 또는 임의의 다른 4차원 래스터 또는 벡터 정보의 표현;
4). 5D 또는 플렌옵틱 + 깊이, 광 필드 + 깊이, 홀로그래픽(5D 샘플링, 4D + 깊이), 임의의 멀티 뷰(모든 x, y 및 z 축을 따라), 멀티 샘플(모든 xyz를 따라), 멀티 퍼스펙티브(모든 xyz를 따라), 체적 시차(모든 xyz를 따라), 투영 어레이(모든 xyz를 따라), 포인트 샘플링(모든 xyz를 따라), 모션 캡처 스테이지(모든 xyz를 따라), 감시 카메라 어레이(임의의 xyz 설정), 렌더링된 또는 레이트래이싱된 지오메트리 표현(5D 표현), 큐빅 또는 체적 렌더링(모든 xyz를 따라), 익스트린식 지오메트리(5D 표현), 광 필드 6 DoF 소스(체적 광 필드 샘플 내의 5D 래스터), 프리-뷰포인트 6 DoF 소스(5D 래스터 + 5D 광 필드 샘플로부터의 벡터), 5D 광 필드 HMD 소스(근시야 5D 샘플링, 4D + 다중 평면), 홀로그래픽 에너지 지향 장치 소스(5D 샘플링, 4D + 다중 평면), 또는 임의의 다른 5차원 래스터 또는 벡터 정보의 표현.
각각의 제2 좌표에서, 제공된 데이터는 래스터 또는 벡터 샘플의 서브-세트 또는 슈퍼-세트를 포함할 수 있으며, 샘플은 래스터 또는 벡터 샘플들의 서브-세트 또는 슈퍼-세트의 해석 또는 처리를 통해 증가된 샘플링 밀도로 변환할 수 있도록 추가 벡터화된 정보를 나타내거나 포함할 수 있다.
2D, 3D, 4D 또는 5D 제공 데이터 세트 각각에 있어서, 정보는 벡터화된 정보, 수동 식별, 컴퓨터 비전 분석, 자동화 처리 또는 원본 데이터 세트로부터 제공된 샘플을 5D 좌표 시스템으로 변환하는 다른 수단을 통해 변환된다. 2D, 3D, 4D 또는 5D 제공 데이터 세트 각각에 있어서, 정보는 복수 샘플 또는 샘플 레이어 그리고 4D 에너지 지향 표면의 제2 평면의 제2 좌표를 기준으로 각 제공된 데이터 세트에 대한 원래의 각도 샘플링 컴포넌트에 대한 추가 벡터화된 특성들을 포함할 수 있거나, 또는 2D, 3D, 4D 또는 5D 추가 제공 데이터 세트 중 임의의 것에 기여하는 샘플의 조합을 포함할 수 있다.
제공된 샘플 각각은 각각의 원하는 좌표에 대한 인트린식 에너지를 포함하며, 인트린식 에너지는 추가적인 익스트린식 에너지 속성들을 포함할 수 있고, 여기서 인트린식 에너지는 다른 외부 샘플, 특성 또는 환경 조건이 없는 경우 주어진 5D 좌표에서의 값을 나타낸다. 전자기 스펙트럼에서, 이것은 모든 입사 방사선을 반사하는 백체(white body)에 대응하는 반사율에 대한 무차원 측정으로서 알베도(albedo)라고 지칭될 수 있지만, 무차원 값의 범위가 특정 감각 에너지에 상응하는 각각의 원하는 감각 에너지로 명시적으로 확장될 수 있다. 시각 감각 시스템 내에서 이 범위는 약 400nm내지 700um이며, 청각 감각 시스템에서 이 범위는 약 20Hz내지 20kHz이다.
지난 수십년 동안 인간의 감각을 재현할 수 있는 광대한 기술 향상으로 인해 전자적 수단을 통해 감지된 감각, 향기 및 풍미의 정교한 패턴 인식을 인위적으로 활용했다. 전자기 스펙트럼 외부에 존재할 수 있는 다른 시스템의 경우, 이러한 무차원 값은 감지된 시력 반응을 기반으로 동일한 방식으로 특성화될 수 있다. 홀로그래픽 감각 에너지 기술이 새롭게 부상하는 동안, 본 실시예에 개시된 것은 가상 환경에서 모든 인간 감각을 자극하여 다양한 감각 파라미터에 대한 범용 구조를 명확하게 하기 위한 시스템, 방법 및 포맷을 포함하며, 이에 따라 적절한 데이터 처리, 구성된 가상 환경의 완전한 몰입 및 홀로그래픽 감각 기술을 위한 에너지 전파의 실시예에 필요한 임의의 감각 에너지 파라미터 또는 장치로의 전송, 저장, 벡터화, 변환은 미래의 응용에 개시될 것이다. 또한 본 발명은 고전적인 "스멜-오-비전(smell-o-vision)"과 같은 신기한 물건이나 FeelReal의 냄새 나는 VR 헤드셋과 같은 최신 버전을 비롯한 다른 아날로그 장치가 본 데이터 세트의 벡터화 내에서 제공되는 파라미터화된 값을 활용할 수 있게 하는 것을 의도한다.
일 실시예에서, 체성 감각 시스템은 50Hz 내지 300Hz로 정규화될 수 있는 피부 내의 압력 감도 범위를 갖는 텍스처를 위한 기계 수용체, 0℃ 내지 50℃(이 범위는 극한의 온도에 의해 정의된 상한과 하한을 갖는 훨씬 넓은 범위일 수 있음)로 정규화될 수 있는 피부 내의 온도 감도 범위를 갖는 기계 수용체 또는 시간, 스트레인, 모듈러스에 대한 변수를 비롯한 다수의 물리적 성질을 제공하는 시간 경과에 따른 응력과 스트레인 사이의 변형을 겪을 경우, 점성 및 탄성 특성 모두를 측정하는 재료의 점탄성 거동의 범위를 정의하는 표면 변형성을 포함하는 감도를 정의하는 컴포넌트들에 기초하여 정의될 수 있으며, 또한 본 개시의 목적상, 화강암과 같은 움직일 수 없는 고체의 경우 0의 값을 갖고 물과 같은 저점도 액체의 경우 1을 갖는 무차원 정규화된 스케일로 단순화된다. 당업자는 제공되는 실제 벡터가 재료의 점탄성을 적절히 정의하는 데 필요한 물질적 성질을 포함할 것이며 예시적인 목적으로만 정규화될 수 있음을 이해할 것이다.
마지막으로, 미각 및 후각 장치를 포함하는 인공 전자 감지의 최신 기술은 홀로덱 설계 파라미터에 대하여 개시된 감각 파라미터를 더 벡터화할 수 있으며, 또한 본원에서 설명된 홀로그래픽 도파 수단을 통한 인공적인 맛과 냄새의 전자적 재현을 가능하게 할 수 있는 가능성을 보여준다. 인공 전자 맛 냄새 수용체는 주파수 기반의 인공 맛 수용체가 효소 바이오 센서를 이용하여 화학 자극의 강도를 주파수 기반의 펄스로의 인코딩 및 변환을 통해 샘플링하고 패턴 인식 시스템을 통해 샘플링된 화학 조성의 주파수로 반복적으로 정확하게 맛을 감지하여 인간의 입맛을 구성하는 맛을 감지하는 나노 장치를 통해 상당한 발전을 이루었다. 이 기술은 모든 유형의 검출 가능한 맛으로 확장될 수 있으며 인공 후각 시스템의 유사한 발전은 전기 신호의 변화를 통한 특별한 후각 반응의 주파수 내에 포함된 패턴을 더욱 파라미터화하기 위한 지속적인 연구를 통해 비갑개(nasal conchae)를 겨냥한 약한 전기 펄스를 사용하여 냄새 수용체를 자극하는 디지털 인터페이스를 보여줬다.
일 실시예에서, 후각, 미각 및 다른 감각 시스템을 나타내기 위한 주파수 임의 생성 및 복잡한 전자 패턴에 대해 확립된 경로에 의해, 미각에 대한 명민한 반응은 평균 인간의 2,000 내지 8,000개의 미뢰를 포화시키는 최소 및 최대 미각 반응을 나타내기 위해 0 내지 1의 스케일을 따라 전자적으로 제어되는 파라미터들 각각에 대해 정규화된 스케일을 포함하도록 벡터화될 수 있으며, 이것은 잠재적으로 신맛, 짠맛, 쓴맛(spiciness), 단맛 및 풍미(unmami)에 대한 벡터를 포함하지만 이에 한정되지 않고 벡터화된 신호의 벡터 및 공간 좌표는 복잡한 후각 구현에 대한 생성을 나타낼 수 있다.
다른 실시예에서, 냄새에 대한 명민한 반응은 평균 인간의 10 cm2의 후각 상피를 포화시키는 최소 및 최대 후각 반응을 나타내기 위해 0 내지 1의 스케일을 따라 전자적으로 제어되는 파라미터들 각각에 대한 정규화된 스케일을 포함하도록 추가로 벡터화될 수 있으며, 고도로 복잡한 후각 공간에 있어서, 이것은 향기로운, 과일향 나는, 나무향 나는(수지성), 화학적, 달콤한, 박하향 나는(페퍼민트), 토스트향 나는(너티), 매운향이 나는 및 부식향이 나는 벡터를 포함하지만 이에 한정되지 않으며, 벡터화된 신호의 벡터 및 공간 좌표는 복잡한 후각 구현에 대한 생성을 나타낼 수 있다.
이들 각 벡터는 제공된 벡터화된 값의 적절한 적용에 필요한 파, 진폭, 크기 또는 다른 속성으로 변환된 맛, 냄새 또는 다른 감각 영역에 대해 이러한 패턴을 나타내는 정규화된 값을 제공할 수 있다. 냄새 및 맛의 감각은 감각계 내에서 가장 뒤떨어진 감각의 두 가지이지만, 복잡한 혼합을 벡터화하기 위한 파라미터화된 값을 통해, 일 실시예에서, 시각, 청각, 체성 감각, 미각, 후각, 전정 또는 기타 원하는 감각계 반응의 개별화의 맞춤화를 제공하기 위해 이러한 감각 에너지의 감도에 대한 사용자 기반 대화식 제어를 제공하는 것이 추가적으로 가능하다.
일 실시예에서, 샘플의 각 감각 알베도 에너지 값은 다른 외부 샘플, 특성 또는 환경 조건 각각의 제공된 샘플의 부가 결과를 나타내는 단일 샘플 값으로 베이킹된 익스트린식 에너지 속성을 추가로 포함할 수 있다. 이 구성에서, 화합물 샘플 값은 물리적 기반으로 또는 시뮬레이션된 환경에서 다른 샘플로부터의 다른 에너지의 잠복 속성을 나타내거나 나타내지 않을 수도 있다. 파라미터화되고 재구성된 홀로그래픽 데이터 세트를 전송하는 가장 효율적이고 순수한 방법은 단순화되고 낮은 대역폭 주파수 정보를 제공하는 단일의 인트린식 샘플 정보를 기반으로 하지만, 물리적 기반 이미징 또는 음향 시스템과 같은 전적으로 합성 환경 외부에서 수신하는 것이 항상 가능하지는 않다. 실제 환경에서는, 항상 결과 샘플 정보에 약간의 익스트린식 기여가 존재한다. 라이트 스테이지 또는 반사율, 형상, 텍스처 및 모션 캡처의 평가를 용이하게 하는 당업계에 공지된 다른 시스템과 같은 특정 시스템은 몇몇 형태의 구조화된 조명 및 알베도, 깊이 정보, 표면 법선 및 양방향 산란 분포 표면 특성의 직접 또는 간접 분석을 제공하는 하나 이상의 이미징 장치를 이용한다.
양방향 산란 분포 함수(BSDF)는 BTDF(bidirectional transmittance distribution function), BTF(bidirectional texture function) 및 BRDF(Birectional Reflectance Distribution Function)의 일반화된 슈퍼 세트이며, 이것은 종종 일반화된 함수 
로 표현되며, 컴퓨터 그래픽 및 당업계에 공지된 시각 알고리즘에서 표면 특성을 파라미터화하고 식별하기 위한 모델로서 집합적으로 작용한다. 이 함수는 에너지 전파 경로에 대해 입사 방향 
및 출사 반사 또는 전송 방향 
이 주어지면 가시광이 반사되거나 전송되거나 표면과 상호 작용하는 방식을 나타내며(여기서 표면 법선은 객체 표면의 접선에 수직임), 또한 이 함수는 들어오는 경로 
를 따라 표면에 입사하는 광에 대한 나가는 경로 
를 따라 나오는 반사광의 비율을 나타내며, 여기서 각각의 들어오는 광 경로 및 나가는 광 경로 각각 
에 대한 파라미터화된 방위각 및 천정각을 정의하는 4D 함수를 포함할 수 있다.
이 함수들은 표면에 부딪치는 에너지 
의 제1 위치 
에 대해 더 명확하게 표현될 수 있고, 변색, 발광, 표면 아래 산란, 비-국지적 산란 효과, 반사, 그림자, 마스킹, 상호 반사 등과 같은 가시 파장 효과들을 설명하기 위해 재료 특성들이 에너지 
의 제2 위치 
로 내부적으로 산란시킨 이후에 종료될 수 있으며, 결과 출력 에너지는 표면의 재료 특성, 입력 에너지들 및 위치들, 객체, 부피 또는 위치의 표면을 가로지르는 출력 에너지들 및 위치들에 기초한다.
따라서, 표면에 충돌하는 임의의 두 에너지 광선 사이에서 에너지가 전달되는 방식, 파장 또는 주파수 의존성 및 공간적으로 변하는 재료 특성들 또는 표면들을 포함하는 방식을 설명하는 일반화된 특성은 10D 함수로 표현될 수 있으며, 입력 에너지, 벡터화된 표면 프로파일의 영향, 및 반사, 굴절, 거울상 반사, 투과, 산란, 확산된 출력, 또는 함수 
의 일반화가 주어진 임의의 에너지 도메인의 결과인 기타 재료 특성을 설명하기 위해 데이터 세트 내에서 이용 가능하거나 제공되는 샘플들 중의 임의의 것 또는 그 각각에 대한 
으로서 지정된다.
이제 에너지 지향 표면을 고려하여, 플렌옵틱 4D 함수는 에너지 위치들을 포함하는 제1 평면으로부터 2개의 공간 좌표 
를 제공하고, 에너지 전파 경로 
의 벡터를 정의하는 도파관 파라미터들 
를 포함하는 제2 평면을 따라 제2 좌표를 통해 지향된다. 복수의 에너지 지향 표면을 고려하여, 플렌옵틱 5D 함수는 하나 이상의 에너지 위치들을 포함하는 제1 좌표로부터 3개의 공간 좌표 
를 제공하며, 이것은 에너지 전파 경로의 벡터를 정의하는 도파 파라미터들 
을 포함하는 평면을 따라 제2 좌표를 통해 지향된다 
. 4D 또는 5D 각각에 대해, 기능 및 토론의 간소화를 위해 명시적으로 언급되지 않은 경우에도 시간 및 색상 
에 대한 추가 변수들이 고려되어 응용에 필요한 플렌옵틱 함수들 중 임의의 것을 포함하는 것으로 가정할 수 있다.
에너지 전파 경로의 제1 벡터에 따라, 에너지들의 수렴을 포함하는 복수의 교차점들이 추가 에너지 전파 경로들과 함께 발생할 수 있다. 이 교차점에서, 4D 또는 5D 플렌옵틱 함수들을 갖는 복수의 에너지 전파 경로들 중 위치 
에서 3D 포인트 또는 깊이 파라미터가 형성되고, 여기서 3D 포인트는 복수의 에너지 전파 경로들 중의 수렴 
이며, 에너지 지향 4D 표면 또는 5 D 표면들 내에 포함된 각각의 
또는 
좌표에 대해, 제1 좌표와 수렴 3D 포인트 사이에 형성되는 단일 
전파 경로 각도만이 존재한다. 4D 함수 
또는 5D 함수 
는 
에서 각 수렴 포인트에 대해 존재하는 모든 4D 
또는 5D 
좌표 및 상응하는 
전파 경로들을 집합적으로 정의한다.
수렴 좌표 
에서, 표면이 형성되며, 이 표면은 수렴 에너지 전파 경로들의 3D 위치를 포함하는 포인트, 체적, 객체, 또는 다른 실시예를 포함할 수 있다. 각 표면 위치에 대해 제공된 샘플들은 결과적인 에너지뿐만 아니라 표면 위치에 근접한 주어진 지점을 타격하는 하나 이상의 입력 에너지 원들을 특성화하거나 처리하기 위해 하나 이상의 표면 특성들, 벡터들, 재료들, 특성화 또는 다른 식별 특성 
을 포함할 수 있으며, 여기서 반사율 함수는 이제 표면의 다양한 특성들에 대한 일반화된 벡터를 포함하고, 11D 범용 객체 파라미터화 함수 
로 표현된다.
11D 범용 홀로그래픽 파라미터화 함수 
는 주어진 환경 및 벡터화된 객체 특성들에 대한 결과 값들을 정의하고, 4D 함수 
는 에너지 지향 장치 표면으로부터의 에너지 전파 경로들을 정의하며, 따라서, 전송되는 방향 
이 전파 경로 
를 정의하고 그 전파 경로들과 동일한 15D 범용 홀로그래픽 파라미터화 함수 
으로서 더 일반화될 수 있으며, 이에 의해 공간 좌표 
을 정의하고, 각각의 전송되는 방향 
에 대해 하나의 
값들의 세트만이 
을 만족시킬 수 있다. 당업자는 4D 및 5D 홀로그래픽 감각 에너지 특성에 대한 개시된 범용 파라미터화와 관련된 렌더링 요건들 외에도 다양한 변환 및 수학적 구성을 이해할 것이다.
공간의 수렴 포인트들에서 형성된 표면들과 일치하는 모든 감각 에너지 특성들의 벡터화를 나타내는 완전한 15D 함수를 통하여, 필요한 데이터의 크기의 몇 배가 근본적으로 제거되어, 진정한 홀로그래픽 데이터 세트들의 송신을 가능하게 하는 실행 가능 경로를 마련한다.
벡터화된 특성들은 합성적으로 프로그래밍되거나 캡처되거나 계산적으로 평가될 수 있는 특성들에 대한 감각 도메인들 각각에 대해 정확한 법칙을 제공하기 위한 것이며, 여기서 
은 일반 시스템 메타 데이터 또는 각각의 또는 임의의 감각 에너지 도메인에 대해 제공된 데이터 세트 내에서 주어진 샘플에 대한 객체에 관하여 각 표면, 체적 또는 3D 좌표 
벡터화된 특성들에 대한 속성들을 규정할 수 있으며, 다음을 포함한다:
1.) 시스템 메타데이터는 법선, 깊이 정보, 환경 속성들, 주어진 3D 좌표에 대한 다수의 각도 샘플들, 절차적 텍스처, 지오메트리, 포인트 클라우드, 딥 이미지 데이터, 정적 프레임, 시간 프레임, 비디오 데이터, 표면 ID, 표면 통과, 좌표 맵, 가상 카메라 좌표, 가상 조명 및 시각적 에너지 정보, 환경 맵들, 시각적 감각 샘플 정보의 필드 밖의 장면 정보, 곡선, 정점, 시간 정보, 네트워크 데이터, 데이터베이스, 객체 인식, 에너지 장치, 외부 데이터 피드, 시스템 수정 및 상호 작용을 위한 센서, 시스템 상태, 음성 인식, 후각 감지, 청각 감지, 안면 인식, 체성 감각 인식, 미각 인식, UI, UX, 사용자 프로파일, 흐름 및 모션 벡터, 레이어, 영역, 투명도, 세그먼트, 애니메이션, 순서 정보, 절차 정보, 변위 맵, 또는 각 샘플의 적절한 프로세싱을 위한 충분한 데이터를 제공하는 데 필요한 다른 장면 데이터를 포함하는 각 샘플에 대한 표면 특성들에 대한 임의의 감각 에너지 특정 속성들 또는 시스템 전체 기준들을 제공할 수 있고;
2.) 시각적 감각 에너지는 가시적 또는 비-가시적 전자기 에너지의 적절한 렌더링, 변색, 발광, 표면 하도 산란, 비-국부 산란 효과, 반사, 섀도잉, 흡광도, 투과율, 마스킹, 상호 반사, 알베도, 투명도, 피직스, 다이내믹스, 반사, 굴절, 회절, 광학 효과, 대기 효과, 주파수, 변조 표면 프로파일, 텍스처, 변위 맵, 다른 감각 에너지들과 특별히 상호 관련하고 프로비저닝된 에너지들(예를 들어, 반사 특성을 변화시키는 사운드의 진동 또는 표면 변형을 일으키는 촉각 재료 변형)에 기초하여 반응하는 피직스 및 다이내믹스, 레이어, 영역, 투명도, 세그먼트, 곡선, 애니메이션, 순서 정보, 절차 정보, 재료의 크기, 환경 조건, 실내 다이내믹스, 또는 표면, 환경, 공간, 객체, 포인트, 체적 등에 대한 다른 관련 재료 특성들을 정의하는 표면 속성들을 포함할 수 있고;
3.) 청각 감각 에너지: 편재된 사운드 필드의 배치와 관련하는 벡터, 크기, 진폭, 질량, 재료 전파 파라미터, 흡광도, 투과도, 음향 반사도를 알려주는 재료 특성, 확산, 전송, 증가, 마스킹, 산란 위치, 주파수 의존성 또는 변조, 피치, 음색, 점도, 부드러움, 질감, 모듈러스, 객체, 표면, 매체 등 내에서의 음향 파의 전파를 결정하는 임의의 다른 파라미터들, 다른 감각 에너지들과 구체적으로 상호 관련되어 프로비저닝 에너지들에 기초하여 반응하는 피직스 및 다이내믹스(예를 들어, 재료의 사운드를 변화시키는 온도), 레이어, 영역, 투명도, 세그먼트, 곡선, 순서 정보, 절차 정보, 재료의 크기, 환경 조건, 공간 다이내믹스, 또는 표면, 환경, 공간, 객체, 포인트, 체적 등에 대한 다른 관련 재료 특성들;
4.) 텍스처, 압력, 감온 수용체, 온도, 다른 다이내믹스들 중의 시간, 변형, 모듈러스에 대한 변수를 포함하는 다양한 피직스를 제공하는 응력과 스트레인 사이의 변형을 겪을 때 점성 및 탄성 특성 모두를 측정하는 재료의 점탄성 거동 범위를 정의하는 표면 변형 파라미터들 및 벡터들에 대한 기계 수용체들과 관련된 체성 감각 에너지 벡터, 레이어, 영역, 투명도, 세그먼트, 곡선, 애니메이션, 순서 정보, 절차 정보, 재료의 크기, 환경 조건, 공간 다이내믹스, 또는 표면, 환경, 공간, 객체, 포인트, 체적 또는 다른 체성 감각 파라미터들에 대한 다른 관련 재료 특성들;
5.) 향기로운, 과일향 나는, 나무향 나는(수지성), 화학적, 달콤한, 박하향 나는(페퍼민트), 토스트향 나는(너티), 매운향이 나는 및 부식향이 나는 것에 대한 미각 감각 에너지 벡터로서, 상기 벡터 및 벡터화된 신호들의 공간 좌표는 복잡한 후각 구현들에 대한 생성을 나타낼 수 있고, 지속 시간, 크기, 주파수, 길이, 시간, 반경, 변조, 레이어, 영역, 투명도, 세그먼트, 곡선, 애니메이션, 시퀀스 정보, 절차 정보, 재질 크기, 환경 조건, 공간 다이내믹스 또는 그 밖의 표면, 환경, 공간, 객체, 포인트, 체적 또는 다른 미각 감각 파라미터와 관련된 재료 특성들을 더 제공하고;
6.) 신맛, 짠맛, 쓴맛(spiciness), 단맛 및 풍미(unmami)에 대한 후각 감각 에너지 벡터들로서, 상기 벡터 및 벡터화된 신호들의 공간 좌표는 복잡한 후각 구현들에 대한 생성을 나타낼 수 있고 지속 시간, 크기, 주파수, 길이, 시간, 반경, 변조, 레이어, 영역, 투명도, 세그먼트, 곡선, 애니메이션, 시퀀스 정보, 절차 정보, 재질 크기, 환경 조건, 공간 다이내믹스 또는 그 밖의 표면, 환경, 공간, 객체, 포인트, 체적 또는 다른 후각 감각 파라미터와 관련된 재료 특성들을 더 제공하고;
7.) 또는, 임의의 다른 감각 샘플 데이터 세트로부터의 물리적, 합성, 전송 또는 전산 상호 의존성에 기초하여 다른 상호 관련된 감각 다이내믹스로서, 필요로 하거나, 설계되거나, 요구되는 감각 시스템 벡터들, 및 특정 특성의 파라미터화가 일반화된 홀로그픽 구성 데이터의 재구성, 저장, 처리 또는 전송에 유용한 임의의 추가적인 감각 특성들.
상기 주어진 요소는 수신된 데이터 세트로서, 단일 각도 샘플을 갖는 2D 데이터, 단일 차원에서 2개 이상의 각도 샘플을 갖는 3D 데이터, 2차원에서 복수의 각도 샘플들을 갖는 4D 데이터, 또는 3차원 또는 그 이상의 차원에서 복수의 각도 샘플들을 갖는 5D 데이터를 포함한다.
제공된 모든 소스 자료에 대해 각 소스 자료는 홀로그래픽 데이터 세트의 효율적인 벡터화를 위해 적절하게 준비하기 위한 추가 프로세스를 거칠 수 있다. 제공된 에너지 원이 에너지 지향 표면보다 낮은 공간 해상도 또는 각도 해상도를 보이는 경우 본래의 소스를 4D 또는 5D 데이터 세트로 정확하게 변환하기 위해 변환 프로세스가 필요할 수 있다.
적절한 준비를 위해, 일 실시예에서, 제공된 2D 또는 3D 소스 재료는 표준 이미징 시스템으로부터의 사진 캡쳐를 포함한다. 이러한 일련의 이미지 내에서, 반사, 굴절, 투명 요소, 및 물리적 특성에 기초한 조명과의 재료 특성 상호 작용의 다른 유사한 예가 래스터링된다.
이미 래스터된 재료 특성들을 가진 표면들에 대한 표면 ID들을 간단히 식별하여 컨텐츠를 준비하는 경우, 유효 데이터는 4D 좌표 시스템으로 수렴하기에 충분할 수 있지만, 이러한 표면들에 적용된 임의의 추가 렌더링은 사진 합성 및 파라미터화된 합성 렌더링 반사 특성의 피직스에 대한 이중 이미지를 나타낸다. 효율적인 홀로그램 전송을 위한 이상적인 소스 데이터 세트는 샘플 소스 정보의 알베도 표현과 알베도 멀티 뷰 샘플의 객체 기반 체적 샘플링을 형성하는 메타 데이터를 갖는 지정된 에너지 도메인들 각각에 대한 벡터화된 재료 특성들을 포함하며, 모든 재료 특성들은 정확한 표면 식별 및 렌더링뿐만 아니라 지정된 벡터화된 표면 특성들에 기초하여 다른 감각 에너지들의 위치 또는 투영을 제공한다.
일 실시예에서, 수동, 반자동, 컴퓨터 비전 또는 자동화된 프로세스들이 소스 샘플 데이터 세트의 컨텐츠를 알고리즘적으로 또는 수동적으로 평가하기 위해 프로비저닝되며, 여기서 수동 또는 알고리즘 분석이 수행되고, 이에 의해 당업계에 공지된 세그먼트화 및 다른 객체 분리 방법들이 바람직하지 않은 물리적으로 래스터화된 효과들을 포함하는 영역들을 식별하기 위해 수행된다. 일 실시예에서, 사람이 배경 앞에서 촬영되며, 여기서 사람의 재질 특성들은 환경으로부터의 반사를 포함하고, 배경 객체들은 촬영된 사람에 의해 가려진다. 이 영역들이 바람직하지 않은 것으로 식별된 이후에, 프로세스를 활용하여 1) 해당 객체들을 격리하고: 2) 오클루젼, 투명성, 에지 또는 다른 요소를 설명하기 위해 모든 객체 요소들을 핵심 컴포넌트들로 분리하고; 3) 이미지 분석, 시간 분석, 에너지 분석, 기계 학습의 촉진과 함께, 컴퓨터 비전, 추가 하드웨어, 및 장면, 객체들 및/또는 환경에 대한 정보를 추가적으로 캡처하는 에너지 장치들을 통해, 완전 수동 수단을 통해, 재료 특성을 나타낼 임의의 표면이 컴퓨터 비전, 알고리즘들, 프로세서들 또는 수동 시각 효과들을 통해 제거된 임의의 그러한 베이킹된 재료 특성들을 갖도록 객체 요소들이 프로비저닝되며, 여기서 수동 프로세스들은 외부 재료 특성이 없는 상태에서 고유 재료 특성을 재생하여 가장 효율적인 송신 및 전파를 위한 컨텐츠를 준비할 목적으로 와이어 제거, 페인트 고정, 클린 플레이트, 이미지 복원, 알파 매트 생성, 오클루젼 충전, 객체 레크리에이션, 이미지 투영, 모션 트래킹, 카메라 트래킹, 로토스코프, 옵티컬 플로우 등을 수행하는 방법들에 대해 일반적으로 당업계에 공지되어 있으며; 4) 위의 추가 프로세스들에는 원하는 샘플들 각각에 대한 깊이 또는 3D 좌표 값들의 수동 또는 컴퓨터 지원 식별이 포함되고; 5) 또한, 관련된 재료 특성들을 식별하는 이 실시예 내에서, 이들 각각은 에너지 지향 장치의 디스플레이 드라이버들 내에서 또는 파라미터화된 데이터 세트를 인코딩 및 디코딩할 수 있는 임의의 추가 시스템 내에서 더 쉽게 렌더링될 수 있도록 포인트, 데이터의 영역, 표면, 객체 또는 다른 재료 표현을 나타낸다.
일 실시예에서, 위의 데이터 세트는 알베도 시간 에너지 샘플들을 준비하는 3D 멀티 뷰 샘플들을 포함하고, 이들 각각은 RGBA 정보의 다수의 층들을 가지며, 벡터화된 재료 특성의 모음은 각 세그먼트화 재료를 표면 ID 및 일련의 표면 파라미터들과 연관시켜, 익스트린식 이미지 데이터를 제거하기 이전에 본 소스 데이터 세트를 면밀히 재구성하며, 여기서 음향 데이터 세트에는 시각적 에너지 시스템의 재료 특성들과 관련된 벡터화된 재료 특성들이 프로비저닝되고, 또한 다수의 사운드 채널들 각각은 식별된 주파수, 변조, 공간 배치 및 다른 사운드 위치 파악 특성을 가지며, 여기서 체성 감각의 감각 에너지 데이터 세트는 시각 에너지 데이터 세트 내에 포함된 표면들의 서브세트에 대해 제공되어, 점탄성 및 온도 벡터화된 재료 특성을 추가로 포함하며, 이들 둘은 다른 벡터화된 데이터 세트들과 상관지어진다.
임의의 제공된 데이터 세트에서, 시각적인 에너지 데이터 세트로부터의 각각의 제공된 샘플은 에너지 지향 장치 표면과 관련하여 상대적인 깊이 위치에 대해 평가되고, 여기서 임의의 시각적 에너지 샘플들에 대한 샘플들 각각은 3D 좌표 시스템에 배치되며, 여기서 에너지 전파 경로 길이는, 에너지 지향 4D 표면 또는 5D 표면 내에 포함된 각각의 
또는 
좌표에 대해, 4D 또는 5D 플렌옵틱 함수들 내의 복수의 에너지 전파 경로들 중 위치 
에 있는 제1 3D 포인트와 교차하는 공존하는 복수의 수렴 에너지 전파 경로들에 관련하여 각각의 3D 좌표를 상관시키는 함수와 관련하여 평가되며, 제1 좌표와 수렴 3D 포인트 사이의 단일 
전파 경로 각도만이 형성된다. 4D 함수 
또는 5D 함수 
는 에너지 지향 장치 내에 포함된 모든 4D 
또는 5D 
좌표들 및 위치 
에서의 각 수렴 포인트에 대해 존재하는 그에 상응하는 전파 경로 
들을 집합적으로 정의하며, 여기서 제시되거나 이용 가능한 4D 
또는 5D 
공간 좌표당 샘플들의 전체 개수가 분석 프로세스를 수행한 이후에 알려지고, 여기서 위치 
에서의 각 3D 포인트와 4D 또는 5D 좌표 위치 사이의 총 에너지 전파 경로 길이가 알려지며, 또한 여기서 이용 가능한 복수의 3D 좌표 데이터로부터 샘플링된 3D 좌표 값들에 대한 4D 또는 5D 좌표 및 최소 경로 길이당 가용 전체 샘플들에 기초한 가중 분포가 임의의 데이터 세트에서 4D 또는 5D 광 필드의 완전한 샘플링을 제공한다.
상기의 다른 실시예로서, 임의의 1) 시각적, 청각적, 체성 감각에 대한 샘플들 각각 및 임의의 다른 제공된 에너지 샘플들이 제공된 데이터 세트, 추가 프로세싱 또는 추가 벡터화된 특성들에 기초하여 3D 좌표계에 배치된 이후에 2) 좌표 분석을 수행하기 이전에 3) 15D 범용 홀로그램 파라미터화 함수 
가 평가되며, 여기서 4) 추가의 공지된 환경 장면, 기하학, 메타 데이터 등이 제공되며, 각각은 독립적인 벡터화된 재료 특성들을 갖고 5) 가상 조명 정보가 제공되고 추가 감각 에너지 메타 데이터 특성들은 렌더링 기능들을 변경할 수 있는 특성들 사이의 임의의 잠재적인 간섭에 대해 평가되며 6) 15D 파라미터화 함수는 각각 제공된 3D 좌표 및 상응하는 벡터화된 재료 특성을 평가하고, 7) 온-라인, 오프-라인, 실시간, 프로세서, ASIC, FPGA, 클라우드 또는 다른 형태의 렌더링 프로세스를 통해 렌더링 프로세스를 수행하여, 임의의 제공된 데이터 세트에 따라 새로운 복수의 각도 변화 재료 속성들을 생성하며, 여기서 8) 렌더링 프로세스는 전파 경로들 
각각을 정의하고 이와 동일한 전송되는 방향 
의 각각에 특정되고, 이에 의해 공간 좌표 
를 정의하며, 각각의 전송되는 방향 
에 대해 
= 
을 만족할 수 있는 하나의 
세트의 값만이 있을 수 있으며, 여기서 9) 렌더링된 결과 및 결과적으로 이용 가능한 새로운 각도 변화 재료 특성에 기초하여, 제공된 샘플들 각각에 대한 에너지 전파 경로 길이를 포함하는 4D 또는 5D 좌표 각각은, 교차점이 4D 또는 5D 플렌옵틱 함수 내의 복수의 에너지 전파 경로들 중 위치 
에 있는 제1 3D 포인트와 교차하는, 공존하는 복수의 수렴 에너지 전파 경로들에 관련하여 각각의 3D 좌표를 상관시키는, 상기 함수와 관련하여 평가되며, 여기서 에너지 지향 4D 표면 또는 5D 표면 내에 포함된 각각의 
또는 
좌표에 대해, 제1 좌표와 수렴 3D 포인트 사이에 형성되는 단일 
전파 경로 각도만이 존재한다. 4D 함수 
또는 5D 함수 
는 에너지 지향 장치 내에 포함된 모든 4D 
또는 5D 
좌표들 및 
에서 각각의 수렴 포인트에 존재하는 그에 상응하는 
전파 경로들을 집합적으로 정의하며, 여기서 제시 또는 이용 가능한 4D 
또는 5D 
공간 좌표당 샘플들의 전체 수는 이 분석 프로세스를 수행한 이후에 알려지고, 여기서 위치 
에서의 각 3D 포인트와 4D 또는 5D 좌표 위치 사이의 전체 에너지 전파 경로 길이가 알려지고, 여기서 이용 가능한 복수의 3D 좌표 데이터로부터 샘플링된 3D 좌표 값들에 대한 4D 또는 5D 좌표 및 최소 경로 길이 당 전체 이용 가능한 샘플들에 기초한 가중 분포는 임의의 데이터 세트로부터의 모든 제공된 감각 에너지들에 대한 4D 또는 5D 광 필드의 완전한 샘플링을 제공한다.
상기 시스템의 추가 실시예에서, 렌더링은 추가적으로 양방향 에너지 지향 표면을 설명하여, 실제 환경의 조명을 나타내는 감지된 전자기 에너지 또는 환경 내의 특정 음향 주파수들의 흡광도는 렌더링 프로세스에 대한 동적 또는 오프라인 업데이트가 발생하거나 다른 감지된 대화식 실제 요소가 평가될 수 있으며, 여기서 조명 및 음향 또는 다른 소스들은 환경 조건의 수정을 수용하도록 조정된다.
다시 도 8을 참조하면, 프로세스(800)의 일 실시예에서의 상기 개시된 원리들의 관점에서, 수신된 컨텐츠 데이터는 벡터화된 재료 특성 데이터를 더 포함할 수 있으며, 여기서 프로세스(800)는 컨텐츠 데이터의 디지털 체적 표현이 벡터화된 재료 특성 데이터와 관련되는 단계(830)를 더 포함하며; 단계(804)에서, 에너지원 위치 값들을 결정하는 것은 컨텐츠 데이터의 체적 표현과 관련된 적어도 벡터화된 재료 특성 데이터에 기초한다.
도 9 및 도 13을 참조하면, 일 실시예에서, 벡터화 프로세스(1300)는 제1 컨텐츠 데이터가 수신되는 단계(1302) 및 컨텐츠 데이터의 표면(915)을 식별하는 단계(1304)를 포함할 수 있다. 일 실시예에서, 표면(915)을 식별하는 것은 컨텐츠 데이터에서 세그먼테이션 데이터를 사용하는 것을 포함할 수 있다. 벡터화 프로세스(1300)는 표면(915)의 표면 식별이 결정되는 단계(1306) 및 표면(915)의 재료 특성 데이터가 결정되는 단계(1308)를 더 포함할 수 있다. 일 실시예에서, 재료 특성 데이터를 결정하는 단계는 수동 결정을 포함하거나 소정의 프로세스를 사용할 수 있다. 단계들(1306 및 1308) 이후에, 벡터화 프로세스(1300)는 표면 식별이 표면(915)의 재료 특성 데이터와 연관되는 단계(1310)를 더 포함할 수 있다. 벡터화 프로세스(1300)는 재료 특성 데이터의 벡터가 생성되는 단계(1312)를 더 포함할 수 있다. 벡터화 프로세스(1300)는 벡터화된 재료 특성 데이터가 생성된 벡터들에 기초하여 생성되는 단계(1314)를 더 포함할 수 있다.
일 실시예에서, 프로세스(1300)는 재료 특성 데이터가 제1 컨텐츠 데이터로부터 제거되고, 단계(1314)로부터 생성되는 벡터화된 특성 데이터로 대체되는 단계(1316)를 선택적으로 포함할 수 있다. 일 실시예에서, 단계(1314)에서 생성된 벡터화된 재료 특성 데이터는 위에서 논의된 바와 같이 본 개시의 에너지 지향 장치에 대한 4D 플렌옵틱 좌표를 결정하기 위해 전술한 바와 같이 프로세스(800)에서 사용될 수 있다.
프로세스(1300)는 프로세싱 시스템(1200)을 포함하는 본 개시내용의 임의의 프로세싱 시스템을 이용하여 수행될 수 있다. 일 실시예에서, 컨텐츠 데이터는 단계(1302)에서 데이터 입/출력 인터페이스(1201)를 통해 수신될 수 있고, 벡터화 프로세스(1300)의 단계(1304 내지 1314)는 벡터화 엔진(1204)을 사용하여 수행될 수 있다. 또한, 단계(1314)에서 생성된 벡터화된 재료 특성 데이터는 상술한 바와 같이 프로세스(800)의 단계에 따라 처리하기 위해 감각 데이터 프로세서 (1202) 및 트레이싱 엔진(1206)에 의해 사용될 수 있다. 단계들(808 및 812)은 홀로그래픽 표현을 위한 4D 좌표를 결정하기 위해 트레이싱 엔진에 의해 수행될 수 있다. 단계(810)는 감각 데이터 프로세서(1202)에 의해 수행될 수 있다. 프로세싱 서브시스템의 출력은 압축 엔진(1210)에 제공될 수 있으며, 압축 엔진(1210)으로부터 압축된 데이터는 시스템(1210)에 로컬로 또는 원격으로 연결된 에너지 지향 시스템으로의 전송을 위해 메모리에 저장되거나 데이터 입력 인터페이스(1201)에 제공될 수 있다. 또한, 데이터는 향후에 검색될 때까지 메모리(1208)에 저장될 수 있다.
3D 환경으로부터의 4D 에너지장의 렌더링
본 개시내용에서 더 고려된 것은 3D 환경으로 나타낼 수 있는 컨텐츠 데이터의 디지털 체적 표현을 샘플링하기 위한 역 경로를 제공하는 역 매핑으로 에너지 지향 장치(1000)와 호환되는 포맷으로 디지털 체적 표현을 렌더링하는 것을 허용하는 역 트레이싱 프로세스의 실시예들이다.
3D 환경으로부터 4D 에너지장을 렌더링하는 것은 많은 과제를 제기한다. 설명의 목적을 위해, 이러한 도전의 일부는 광 필드의 맥락에서 설명된다. 하지만, 이 출원의 개시내용은 다른 형태의 에너지에도 적용가능하다. 그리고, 이러한 설명은 이러한 원리를 다른 에너지 형태에 적용하는 것을 제한하지 않는다.
3D 환경에서 에너지는 3D 환경에서의 객체의 물리적 특성에 의존하는 다양한 다른 방법으로 3D 환경에서 객체와 상호작용하며, 이러한 방법은 어떻게 에너지가 생성되고, 반사되고, 흡수되고, 전달되거나, 또는, 이러한 객체들에 의해 충돌되는 것으로 모델될 수 있다. 도 14는 3D 환경에서 에너지와 객체 사이의 몇몇 상호작용이 어떻게 이 환경으로부터의 장면의 인식에 영향을 미치는지 예시하고 있다. 3D 환경(1400) 내 시야(1404)를 갖는 가상의 관찰자의 관찰 위치(1402)가 예시되어 있다. 에너지선(1406)은 에너지원(1408)으로부터 직접적으로 관찰 위치(1402)에 도달할 수 있거나, 반사 객체(1410A, 1410B, 1410C)에 반사되어 도달할 수 있는데, 이는 에너지선이 관찰 위치(1402)에 도달할 때 에너지의 속성에 영향을 미친다. 단락 203을 포함하여 본 개시내용의 전체에 걸쳐서 설명된 바와 같이, 시각, 청각, 체성 감각, 미각, 후각, 전정, 또는 다른 요구되는 에너지를 포함하는, 3D 환경(1400) 내 에너지의 다양한 속성이 고려된다. 도 14는 관찰 지점을 향한 몇몇의 에너지 경로를 단지 부분적으로만 도시하고 있음을 주목해야 한다. 이해되는 바와 같이 에너지 경로의 일부와 나머지 반사의 소스는 도면에서 생략될 수 있다. 몇몇 경우에, 단일 에너지 경로(1406)는 관찰 위치(1402)로 가는 길에 다수의 객체(14010A 및 1410C)에서 반사되고, 그 중 일부 객체(1410C)는 관찰 위치(1402)의 시야(1404)로부터 일탈될 수 있다. 관찰 위치(1402)로 가는 길에, 에너지(1406)는 또한, 부분적으로 투명한 객체(1412)를 통과하거나, 또는 에너지가 관찰 위치(1402)에 도달했을 때 에너지가 감지되는 방식을 변경하게 되는 굴절 객체(미도시)를 통과할 수 있다. 따라서, 3D 환경으로부터의 장면의 정확한 렌더링은 3D 환경에서 가상의 관찰자의 관찰 위치(1402)로부터의 시야(1404) 안과 바깥 모두에서 발생하는 많은 반복에 대해 좀 계산이 필요로 할 것이다. 이는 홀로그램 시스템에서 더 복잡해질 수 있는데, 이는 홀로그램 시스템이 고유한 에너지 수렴의 많은 수의 동시 투영을 요구하기 때문이다. 도 14는 예시를 위해 제시되어 있고, 설명의 편의를 위해 몇몇 가능한 양태를 과도하게 단순화한다. 3D 환경은 3D 환경에서의 에너지 전파에 영향을 주는 많은 추가적인 물리적 특성을 설명할 수 있다는 것과, 도 14는 본 개시내용의 실시예들을 제한하지 않는다는 것을 이해하게 될 것이다.
3D 환경으로부터 4D 에너지장 데이터를 렌더링하는 종래 기술은 이중 절두체 렌더링, 경사 렌더링, 및 멀티뷰 렌더링을 포함한다. 이중 절두체 렌더링(Double frustrum rendering)은 관찰 위치의 시야 밖의 데이터는 밝히지 못하는 다중 경로 렌더링 방법으로서, 이는 다중 렌더링 경로로부터 계산적으로 복잡한 데이터의 포스트-혹 통합을 요구한다. 경사 렌더링(oblique rendering)도 또한 복잡한 포스트-혹 계산을 요구하고, 수천만의 렌더링 경로를 요구하며, 완벽한 투영 광학 장치들 및 무조리개와 같은 물리적 에너지 투영 시스템에 대한 비현실적인 가정을 한다. 경사 렌더링은 또한 현존하는 워크플로우에 쉽게 통합되기 어렵다. 그리고, 마지막으로, 멀티뷰 렌더링은 시야의 밖과 시야의 안의 동시적인 렌더링을 허용하지 않으며, 이중 절두체 렌더링 및 경사 렌더링에서 나타나는 몇몇 다른 문제를 나타낸다.
본원의 실시예는, 3D 환경을, 4D 에너지 프로젝션을 위한 데이터 세트로 싱글 패스 렌더링하는 시스템 및 방법을 제공한다. 본 개시내용의 실시예는 현격하게 더 매끄럽고 더 응집력이 있는 에너지장 프로젝션을 생성하는데, 왜냐하면 적어도 본 개시내용에 의해 허용된 싱글 패스 렌더링은 계산적으로 버거운 포스트-혹 통합의 수고를 피할 수 있기 때문이다. 그리고, 본 개시내용의 방법 및 시스템은 인-스크린 및 아웃-스크린 효과 모두를 설명하기 때문이다. 실시예들에서, 본 시스템 및 방법은 파장/에너지 고려와, 디스플레이 특정 교정을 포함할 수 있다(또는 다양한 시스템에서 심리스하게 이동할 수 있는 임의의 다른 기능을 포함할 수 있다). 이는 추가적으로, 유리한 경우 및 시점이 있다면, 다른 4D 좌표를 계산하기 위한 변위 맵으로의 픽셀 프로세싱을 포함할 수 있다.
도 15는 3D 환경으로부터 4D 에너지장을 렌더링하기 위한 프로세스의 일 실시예를 나타내는 흐름도이다. 도 15 및 도 16을 참고하면, 프로세스는 장면(1600) 전체에 걸쳐 위치된 복수의 에너지 데이터 포인트들(1602)에 의해 묘사되는 3D 환경의 장면(1600)을 제공하기 위한 제1 단계(1510)를 포함할 수 있다. 3D 환경에서 장면(1600)의 시각적 표현이 도 16에 묘사되어 있다. 이해될 수 있는 바와 같이, 에너지 데이터 포인트들(1602)은 3D 환경의 다른 실시예에서 다른 방법으로 구성될 수 있다. 에너지 데이터 포인트들(1602)은 장면(1600)의 가상의 모습을 결정하는 다양한 물리적 특성과, 장면(1602)에서 어떻게 요소들이 상호작용하는지를 설명하는 값 또는 값들의 집합을 포함할 수 있다. 이들의 일례는 색상, 반사도, 재료 특성, 및 에너지 방향들이다. 장면(1600)에서 고려되어야 할 다른 특성들은 시각, 청각, 체성 감각, 미각, 후각, 전정, 또는 다른 바람직한 에너지를 포함할 수 있다. 일부 실시예에서, 에너지 데이터 포인트들은 다차원의 함수를 저장할 수 있다. 그 함수는, 에너지가 에너지 데이터 포인트들(1602)과 교차함에 따라 에너지가 어떻게 반사되는지, 굴절되는지, 전달되는지, 또는 그렇지 않으면 어떻게 영향을 받는지를 묘사하는, 물질계에서의 특성들에 대응하는 값을 포함할 수 있다. 또한, 몇몇 실시예에서, 에너지 데이터 포인트들(1602)은 에너지 데이터 포인트들이 장면(1600)에서 에너지의 전파를 총체적으로 모델링하는 것을 허용하는 강도 및 지향 정보를 또한 포함할 수 있다. 에너지 데이터 포인트들(1602)이 가시 스펙트럼에서 전자기적 에너지와 관련된 정보에 추가하여 또는 그에 대신하여, 다른 유형의 에너지의 에너지 값을 가질 수 있는 것을 또한 주지해야 한다. 에너지-데이터 포인트들(1602)에서의 값으로 저장될 수 있는 정보의 종류에는 제한이 없다.
3D 환경에 에너지 데이터 포인트들(1602)을 구성하거나 배치하기 위한 다양한 방법이 있음이 이해될 것이다. 3D 환경 내 에너지 데이터 포인트들(1602)의 밀도는 실시예마다 다를 수 있다. 또는, 몇몇 실시예들에서, 에너지-데이터 포인트들(1602)의 밀도는 3D 환경(1600) 내 위치마다, 또는 3D 환경(1600) 내 객체마다 다를 수 있다.
3D 환경(1600)의 몇몇 실시예들에서, 에너지 데이터 포인트들(1602)은 가상 또는 물리적 공간 내 위치들에 대응할 수 있다. 또한, 에너지 데이터 포인트들(1602)의 값들은 에너지-데이터 포인트들이 매핑되는 공간을 상이한 객체들이 차지함에 따라 변화할 수 있다. 에너지 데이터 포인트들(1602)의 값들은 또한 빛이 3D 환경의 일 실시예를 통해 전파됨에 따라 변화할 수 있다. 또한, 도 16이 전자기적 3D 환경에서의 장면을 묘사하지만, 본 개시내용은 이 도메인에서의 에너지에 제한되지 않음이 다시 주지되어야 한다. 3D 환경의 실시예는 가시 스펙트럼에서 전자기적 에너지에 더하여, 촉각 표면을 생성하는 데 사용될 수 있는 초음파의 형태인 역학적 에너지와 같은 다른 유형의 에너지를 설명할 수 있다. 설명된 다른 에너지는 시각, 청각, 체성 감각, 미각, 후각, 전정, 또는 다른 에너지들을 포함할 수 있다.
다시 도 15 및 도 16을 참고하면, 실시예에서, 3D 환경으로부터 4D 에너지장을 렌더링하기 위한 프로세스는 장면(1600)에서 가상 픽셀 평면(1606) 상에 복수의 가상 픽셀들(1604)을 위치시키는 제2 단계(1520)을 포함할 수 있으며, 여기서 각각의 픽셀은 2D 각 좌표와 2D 공간 좌표를 포함하는 공지의 고유한 4D 좌표를 갖고, 2D 각 좌표는 각각의 가상 픽셀(1604)과 장면(1600)에서 가상 관찰 평면(1610)(도 16에서 도면 부호 1610을 붙인 점선으로 표시된 직사각형 박스로 도시된 것) 상에 위치된 복수의 가상 관찰 위치들(1608)의 가상 관찰 위치 사이의 각도 상관관계를 묘사하고, 2D 공간 좌표는 장면(1600)에서 가상 디스플레이 평면(1614) 상에 배치된 복수의 가상 개구들(1612)의 개구의 위치를 식별한다. 몇몇 실시예들에서, 가상 관찰 위치들(1608)은 동일 평면 장치들의 렌더링을 하도록 하는 2개 또는 그 이상의 가상 관찰 평면들 상에 위치될 수 있다.
용어 "가상 픽셀"은 본 개시내용의 실시예를 광 필드를 포함하는 3D 환경으로 제한하지 않는 다는 것이 이해될 것이다. 가상 픽셀들은 햅틱 필드 및 음향 필드를 포함하지만 이에 한정되지 않는 임의의 형태의 탐지 가능한 에너지장을 포함하는 3D 환경 내 에너지 위치들을 포함할 수 있다. 다른 에너지장들은 시각, 청각, 체성 감각, 미각, 후각, 전정, 또는 다른 바람직한 에너지장들을 포함할 수 있다.복수의 가상 픽셀들(1604)은 가상 픽셀들의 2차원 배열을 형성하도록 배열될 수 있다. 몇몇 실시예에서, 복수의 가상 픽셀들(1604)은 다른 방법으로 배열될 수 있다. 예를 들어, 실시예들은 가상 픽셀들이 곡면 또는 임의의 다른 형태를 형성하도록 배열될 수 있게 한다. 유사하게, 복수의 가상 관찰 위치들(1608)은 다른 실시예에서 다른 형태들을 형성하도록 배열되는 것이 허용된다. 몇몇 실시예에서, 가상 픽셀 평면(1606)과 가상 디스플레이 평면(1614)은 서로 평행하다. 몇몇 실시예에서, 가상 픽셀 평면(1606)과 가상 관찰 평면(1610)은 서로 평행하다. 몇몇 실시예에서, 가상 픽셀 평면(1606)과, 가상 디스플레이 평면(1614)과, 가상 관찰 평면(1610)은 서로 평행하다.
장면(1602)에서 복수의 가상 관찰 위치(1608)에 대해 복수의 가상 픽셀들(1604)과 복수의 가상 개구들(1612)의 위치는 복수의 에너지원들 또는 위치들의 위치와 이 4D 에너지 투영 시스템을 위한 의도된 관측 볼륨에 대한 물리적인 4D 에너지 투영 시스템에서 복수의 개구들에 대응될 수 있다. 그리고, 몇몇 실시예에서, 복수의 가상 픽셀들(1604), 복수의 가상 개구들(1612), 및 복수의 가상 관찰 위치들(1608)의 개수와 위치들은 에너지원들 또는 위치들의 개수, 시야, 개구들의 개수, 도파관들, 또는 4D 에너지 투영 시스템의 다른 특징들에 의존하는 4D 에너지 투영 시스템을 위한 데이터를 렌더링하기 위해 변화할 수 있다. 몇몇 실시예에서, 복수의 가상 픽셀들(1604), 복수의 가상 개구들(1612), 및 복수의 가상 관찰 위치들(1608)의 정의된 개수와 위치들을 임의의 유형의 4D 에너지 투영 시스템에 대해 교정하는 알고리즘이 사용될 수 있다. 도 16은 단지 작은 개수의 가상 픽셀들(1604), 가상 개구들(1612), 및 가상 관찰 위치들(1608)를 묘사하지만, 실시예들은 이런 요소들의 각각의 수십, 수백, 수천 또는 그 이상을 포함할 수 있다. 게다가, 가상 디스플레이 평면(1614)은 에너지 프로젝션 표면의 위치 또는 물리적인 4D 에너지 투영 시스템에서 스크린에 대응할 수 있다.
도 15 및 도 16을 다시 참조하면, 실시예에서, 3D 환경으로부터 4D 에너지장을 렌더링하기 위한 프로세스는 복수의 광선들(1616)을 따라 가상 관찰 평면(1610)로부터 장면(1600)에서 복수의 에너지 데이터 포인트들(1602)의 에너지 데이터 포인트들을 샘플링하는 것을 포함하는 제3 단계(1530)을 포함할 수 있다. 복수의 광선들(1616) 각각은 복수의 가상 관찰 위치들(1608)의 하나의 가상 관찰 위치 및 복수의 가상 픽셀들(1606)의 하나의 가상 픽셀과 복수의 가상 픽셀들(1604)의 하나의 가상 픽셀의 2D 각 좌표에 의해 결정되는 각도로 교차한다. 복수의 광선들(1616)의 각각의 광선은 복수의 가상 개구들(1612)의 하나의 가상 개구와 광선의 2D 공간 좌표에 의해 결정되는 가상 개구와 교차한다. 2D 공간 좌표와 2D 각 좌표는 함께 단일 4D 에너지장 좌표를 형성한다. 예를 들어, 복수의 광선들(1616)의 제1 광선(1618)은 복수의 픽셀들(1604)의 제1 가상 픽셀(1620)과 복수의 가상 관찰 위치들(1608)의 제1 가상 관찰 위치(1622)와 제1 가상 픽셀(1620)의 종래의 고유한 4D 좌표의 2D 각 좌표에 의해 결정되는 각도로 교차한다. 제1 광선(1618)은 또한 제1 개구의 2D 공간 좌표에 의해 인식되는 복수의 가상 개구들(1612)의 제1 개구(1624)와 교차한다.
도 17은 3D 환경에서 장면(1700)을 부분적으로 묘사하는 것에 의해 본 개시내용의 3D 환경으로부터 4D 에너지장을 렌더링 하기 위한 몇몇 실시예의 방법 또는 시스템에서 가상 픽셀들의 종래의 고유한 4D 좌표에 의해 설명되는 관계를 추가로 예시한다. 장면(1700)에 더 많은 가상 픽셀들, 가상 개구들, 및 가상 관찰 위치들이 위치될 수 있음이 이해될 것이다. 4D 에너지장을 위한 데이터를 렌더링하기 위해, 일부 실시예들은 심리스한 것처럼 인식되는 에너지장을 제공하기 위해 매우 많은 수의 가상 픽셀들과 가상 관찰 위치들을 포함할 수 있다. 가상 픽셀들(1702, 1704, 1706) 중 하나를 위한 2D 각 좌표는 그 픽셀들(1702, 1704, 1706)과 가상 관찰 위치들(L1, L2, L3) 사이의 각도 상관관계를 설명한다. 예를 들어, 제1 가상 픽셀(1702)을 위한 2D 각 좌표(U1, V1)은 픽셀(1702)과 가상 관찰 위치들(L3) 사이의 각도 상관관계를 설명한다. 예를 들어, 제2 가상 픽셀(1704)을 위한 2D 각 좌표(U2, V1)은 픽셀(1704)과 가상 관찰 위치들(L2) 사이의 각도 상관관계를 설명한다. 그리고, 제3 가상 픽셀(1706)을 위한 2D 각 좌표(U3, V1)은 픽셀(1706)과 가상 관찰 위치들(L1) 사이의 각도 상관관계를 설명한다. 몇몇 실시예에서, 각 좌표는 본 개시내용의 다른 부분에서 설명되는 바와 같이 제1 전파 경로의 고유한 방향을 정의하는 4D 에너지 투영 시스템에서의 2D 각 좌표에 대응한다. 도 16 및 도 17에 도시된 것과 같은 일부 실시예들은 특정한 에너지 타입에 대해 복수의 가상 픽셀들 중 어느 하나의 가상 픽셀과 교차하는 오직 하나의 광선을 요구한다.
도 17은 복수의 가상 개구부들 중 하나의 가상 개구부(1708)의 위치들을 확인하는 2D 공간 좌표(X1, Y1)를 또한 묘사한다. 2D 공간 좌표는 본 개시내용의 다른 부분에 기재된 바와 같이, 예컨대 본 개시내용의 도 7C 및 도 7D에서 논의된 실시예와 같이, 물리적인 4D 에너지 지향 시스템에 대한 4D 광 필드 좌표에서 2D 공간 좌표에 대응할 수 있다. 2D 각 좌표와 2D 공간 좌표는 함께 단일 4D 에너지장 좌표를 형성한다. 단일 4D 좌표들은 물리적인 4D 에너지 투영 시스템에 대한 4D 광 필드 좌표에 대응할 수 있다 도 17에 묘사된 것과 같은 실시예들에서, 제1 가상 픽셀(1702)는 4D 좌표(X1, Y1, U1, V1)를 갖고, 제2 가상 픽셀(1704)은 좌표(X1, Y1, U2, V1)를 갖고, 제3 가상 픽셀(1706)은 좌표(X1, Y1, U3, V1)를 갖는다. 몇몇 실시예에서, 도 16 및 도 17에 도시된 것들과 같이, 다수의 광선들은 복수의 가상 개구들 중 각각의 가상 개구(1708)에서 수렴할 수 있다. 제1, 제2, 및 제3 가상 픽셀들(1702, 1704, 1706)에 대한 좌표들은 동일한 공간 좌표를 공유하여, 이러한 가상 픽셀들의 광선들(1710)은 동일한 가상 개구(1708)에서 수렴한다. 하지만, 이러한 광선들은 2D 각 좌표가 가상 픽셀들 간에 서로 다르기 때문에 다른 가상 관찰 위치들(L1, L2, L3)과 교차한다.
본 개시내용의 시스템들 및 방법들의 몇몇 실시예에서, 복수의 광선들의 적어도 하나의 광선(1710)은 복수의 가상 관찰 위치들 중 각각의 가상 관찰 위치(L1, L2, L3)와 교차한다.
몇몇 실시예들에서, 도 18에 도시된 바와 같이, 다수의 광선들(1802)은 또한 단일 관찰 위치(L2)에서 수렴할 있는데, 이는 공지의 유일한 4D 좌표들에 의해 설명되는 관계를 추가로 보여준다. 이러한 실시예들 중 몇몇에서, 하나의 가상 관찰 위치(L2)에서 수렴하는 광선들(1802) 중 오직 하나의 광선은 동일한 가상 개구와 교차할 수 있다. 도 18에 도시된 것처럼, 수렴하는 광선들(1802) 중 하나는 좌표 (X1, Y1)과, 하나는 좌표 (X2, Y1)과, 하나는 좌표 (X3, Y1)과 교차한다. 도 17 및 도 18은 단지 예시를 위한 것일 뿐이고, 본 개시내용의 실시예들을 제한하지 않는다. 이해하게 되는 바와 같이, 도 16, 도 17, 및 도 18은 적은 수의 가상 픽셀들, 가상 개구들, 광선들, 및 가상 관찰 위치들을 도시하지만, 다른 실시예들은 수십, 수백, 수천, 또는 다른 개수의 이러한 요소들을 포함할 수 있다. 가상 픽셀들이 가상 평면 상의 어느 곳에도 위치될 수 있음이 이해되어야 한다. 그리고, 가상 위치들은 가상 관찰 평면 상의 어느 곳에도 위치될 수 있다. 또한, 이러한 도면들 각각은 실시예들마다 변화할 수 있는 스타일 표현이다. 그리고, 본 출원의 개시내용은 어떤 형태의 에너지에도 적용될 수 있고, 가시 스펙트럼 내의 전자기 에너지로 제한되지 않는다.
도 16을 다시 돌아가면, 복수의 광선들(1616)은 가상 픽셀 평면(1606)을 넘어서까지 확장한다. 몇몇 실시예에서, 복수의 광선들(1616)은 가상 픽셀 평면(1606)을 넘어서까지 무한히 확장할 수 있다. 이는 가상 픽셀 평면(1606)의 전방의 객체들(1626), 및 사진(1628)과 같은 후방의 객체들로부터 에너지 데이터 포인트들을 샘플링하는 것을 허용한다.
몇몇 실시예에서, 복수의 광선(1616)을 따르는 에너지 데이터 포인트들(1602)은, 복수의 광선들(1616)을 가상 관찰 평면(1610)로부터 가상 디스플레이 평면(1614)을 통해서, 그리고 가상 픽셀 평면(1606)을 통해서 그를 넘어서까지 트레이싱함으로써, 샘플링된다. 이는 본 개시내용의 방법 및 시스템들이 가상 디스플레이 평면(1610)의 전방의 테이블(1628A)과 같은 객체 및 가상 디스플레이 평면(1610)의 후방의 사진(1628B)과 같은 객체들로부터 정보를 캡쳐하는 에너지 데이터 포인트들을 단일 패스로 샘플링할 수 있게 한다. 이는 또한 본 개시내용의 시스템들과 방법들이, 본 개시내용의 다른 부분들에서 더 상세히 기재되어 있는 것처럼, 싱글 패스에서 관찰 위치로부터의 시야 밖과 안에서 발생하는 수많은 에너지 상호작용들을 설명하는 것을 허용한다. 이는 다수의 렌더링 패스들을 통합하려고 하는 어렵고, 부담되고, 불완전한 포스트-혹 계산의 필요성을 제거한다.
도 19는 가상 관찰 위치(1906)로부터의 3D 환경의 한 장면을 도시하는 것으로, 이 도면은 본 개시내용의 시스템들과 방법들이 수많은 다양한 에너지 상호작용들이 싱글 패스에서 어떻게 고려되는지를 추가로 예시하고 있다. 본 개시내용의 시스템들과 방법들의 실시예들은 데이터 포인트들(1902)이 가상 관찰 위치(1906)로부터 복수의 광선들(1904)을 따라 샘플링 되도록 한다. 도 19는 예시를 위해 제공된 것이고, 본 개시내용의 실시예들을 제한하지 않음이 이해될 것이다. 명료성을 위해, 도 19는 가상 픽셀들 또는 가상 개구들을 나타내지 않는다. 그리고, 가상 관찰 위치(1906)의 크기는 실시예마다 다를 수 있다. 이런 설명의 목적을 위해, 가상 관찰 위치(1906)는 소정의 시야(1908)를 갖는다. 시야의 크기는 실시예마다 다를 수 있고, 예컨대, 물리적 4D 에너지 프로젝팅 시스템의 종류에 의존할 수 있다. 또한, 잘 이해되는 바와 같이, 시야(1908)의 크기는 다양한 목적들에 따라 결정되거나 변화될 수 있다. 복수의 광선들(1904)을 따라 에너지 데이터 포인트들(1902)를 샘플링 하는 것은 객체들, 시야(1908)에서 예시로 든 객체들(1910A, 1910B), 및 시야(1908) 내측의 객체들에 의해 반사되는 에너지를 설명한다. 이 예에서, 시야(1908) 밖의 사람(미도시)으로 부터의 에너지는 시야(1908) 내에서 거울(1910B)에 반사되어 광선(1904)에 의해 샘플링된 거울(1910B) 상의 반영(1912)을 생성한다. 도 19는 예시를 위해 제공된 것이고, 본 개시내용의 실시예들을 제한하지 않는다. 그리고, 비록 도 19는 3D 라이트 환경을 나타내지만, 본 개시내용의 시스템들 및 방법들의 실시예들은 다른 감각 및 에너지 도메인들에 적용 가능하다.
다시 한번 도 15를 참조하면, 실시예에서 3D 환경으로부터 4D 에너지장을 렌더링하기 위한 프로세스들은 각각의 광선을 따라 샘플링된 에너지 데이터 포인트들을 복수의 가상 픽셀들 중의 하나의 가상 픽셀에 대한 에너지 값에 상관시키는 것을 포함하는 제4 단계(1540)를 포함한다.
이 단계(1540)은 본 개시내용의 시스템들과 방법들이 광선의 경로에서 객체들의 변화하는 특성들을 설명하도록 한다. 예를 들어, 몇몇 실시예들에서, 가상 픽셀(도 19에 미도시)에 대한 에너지 값을 가상 픽셀(도 19에 미도시)과 교차하는 단독의 광선을 따라 샘플링된 에너지 데이터 포인트들(1902)과 상관시킨다. 예를 들어, 광선(1916)은 부분 반사 객체(1920)과 부분 반사 객체(1920)와 가상 관찰 위치(1906) 사이에 위치된 부분 투과 객체(1918)과 교차한다. 이 장면(1900)을 위한 데이터를 렌더링하기 위해, 본 개시내용의 시스템 또는 방법은 부분 투과 객체(1918)가 부분 반사 객체(1920)로부터 그 부분 투과 객체(1918)를 통해서 가상 관찰 위치(1906)로 반사된 빛에 어떻게 영향을 미치는지를 설명한다. 예를 들어, 부분 반사 객체(1920)은 공간 방사 함수를 가질 수 있는데, 광원(미도시)에 의해 조사될 때, 이는 에너지를 다른 방향들로 분산시키고, 가상 관찰 위치(1906)에 도달하기 전에 부분 투과 객체(1918)에 의해 감쇠될 것이다. 실시예들은 다른 데이터 포인트에 대한 에너지 값이 동일한 광선을 따른 다른 에너지 데이터의 투과 또는 반사 특성들에 적어도 기초하여 가중치를 부여받도록 할 것이다. 본 개시내용의 시스템들 및 방법들은 가상 픽셀(도 19에 미도시)에 대한 에너지 값을 광선(1916)의 길이 방향을 따르는 에너지 데이터 포인트들에 상관지어지게 하여 이런 유형의 변화하는 특성들을 설명할 수 있도록 한다. 이해되는 바와 같이, 다양한 에너지 데이터 포인트들은 다른 실시예들에서 임의의 수의 상이한 특성들을 설명하도록 모델링될 수 있고, 일부는 다른 에너지 도메인에 대해 특별히 맞추어질 수 있다. 다중 패스 렌더링 시스템에서 에너지 값들을 결정하기가 매우 어려울 수 있는데, 이는 이 시스템이 렌더들과 에너지 값에 도달하기 위해 각각의 렌더의 3차원 인터페이스들을 따라 다수의 가능한 상호작용들을 모델링 하는 데 필요한 모든 정보를 통합해야 하는 시도를 해야 하기 때문이다. 본 개시내용의 시스템들 및 방법들은 이러한 부담과 부정확한 측정들을 피할 수 있게 한다.
3D 환경으로부터 4D 에너지장을 렌더링하기 위한 프로세스들은, 복수의 가상 픽셀들 중 하나의 가상 픽셀들의 에너지 값들과, 복수의 가상 픽셀들 중 하나의 가상 픽셀들의 기지의 고유한 4D 에너지장을, 에너지 장치에게 4D 에너지장을 출력하라는 지시를 하도록 작동 가능한 포맷을 갖는 데이터 세트로, 렌더링하는 것을 포함하는 제5 단계(1550)를 포함한다. 몇몇 실시예에서, 본 개시내용의 시스템들과 방법들은 데이터 세트가, 4D, 5D, 10D, 11D, 또는 15D를 포함하여, 본 개시내용의 다른 곳에 설명되거나 언급된 임의의 데이터 세트를 포함하게 할 수 있다. 상이한 종류의 데이터를 설명하는 3D 환경의 상이한 실시예들에 대해 기타 유형의 데이터 세트들이 렌더링될 수 있음이 이해될 것이다. 몇몇 실시예에서, 렌더링은 상이한 유형의 4D 에너지 투영 시스템들에 대해서 데이터 세트들을 교정할 수 있다. 상이한 아키텍쳐들, 또는 상이한 요소들, 또는 상이한 개수의 요소들을 갖는 4D 에너지 지향 시스템들에 대해서 데이터를 렌더링하기 위해 상이한 유형의 교정이 적용될 수 있다. 예를 들어, 상이한 시야들을 갖거나 상이한 개수 또는 위치의 에너지원들 또는 기타 컴포넌트들을 갖는 시스템들에 대해 교정이 필요할 수 있다. 본 개시내용의 시스템들과 방법들의 몇몇 실시예에서, 에너지-데이터 포인트(1902)는 에너지 주파수, 에너지 강도, 에너지 투명도, 에너지 굴절도, 에너지 반사도 중 적어도 하나를 설명하는 값을 포함한다.
본 개시내용에 있어서의 3차원 환경으로부터 4차원 에너지장을 렌더링하는 방법의 몇몇 실시예들은 4D 에너지장을 투영하는 에너지 장치들에 대해서 그 방법이 교정되게 할 수 있다. 이해되는 바와 같이, 4D 투영 시스템 내의 물리적 에너지원들 및 에너지 전파 경로들의 위치는 가상 픽셀들의 이론적 위치들 및 가상 픽셀들과 가상 관찰 위치들 간의 이론적 각도 상관관계와 다를 수 있다. 이는 에너지 장치마다 또는 에너지 장치의 도파관마다의 작은 변화들 때문일 수 있다. 예를 들어, 도파관의 약간의 결함으로 인해 에너지 전파 경로들이 예상된 방향에서 약간 벗어날 수 있다. 그리고, 에너지 위치는 3D 환경 내 대응하는 가상 위치와 약간 다를 수 있으며, 이로 인해 에너지 전파 방향에 편차가 발생할 수도 있다. 교정 방법은 "홀로그램 에너지 지향 시스템들에 대한 교정 방법"이라는 명칭의 공동 소유의 미국 출원 제16/064,300호에 개시되어 있으며, 이는 본원에 원용되어 포함된다.
도 21은 3D 환경에서의 역 트레이싱을 예시하는 개략도이다. 도 21에 나타낸 방법은 장면 전체에 걸쳐 배치된 복수의 에너지 데이터 포인트들에 의해 묘사되는 3D 환경의 장면(21000)을 제공하는 것을 포함할 수 있다. 일 실시예에서, 장면(21000)을 제공하는 것은 단락 [0244] 내지 [0245]에서 전술한 실시예들에 따라 구현될 수 있다. 또한, 도 21에 나타낸 것은 장면(21000)에서 가상 픽셀 평면(21004) 상에 복수의 가상 픽셀들(21012)을 배치하는 것이고, 여기서 복수의 가상 픽셀들(21012)의 각각의 가상 픽셀은 2D 각 좌표 및 2D 공간 좌표를 포함하는 기지의 고유한 4D 좌표를 포함하고, 여기서 복수의 가상 픽셀들(21012)의 각각의 가상 픽셀의 2D 각 좌표는 가상 픽셀과 장면(21000)에서 가상 관찰 평면(21006) 상에 위치한 복수의 가상 관찰 위치(21008)의 가상 관찰 위치 사이의 각도 상관관계를 설명하며, 여기서 각각의 가상 픽셀의 2D 공간 좌표는 장면(21000)의 가상 디스플레이(21019) 상에 위치한 복수의 가상 개구들(21010)의 가상 개구의 위치를 식별한다. 일 실시예에서, 복수의 가상 픽셀들(21012)을 제공하는 것은 단락 [0245] 내지 [0247]에서 전술한 실시예들에 따라 구현될 수 있다.
추가로 도 21에 나타낸 것은, 가상 관찰 평면(21006)으로부터 복수의 광선(21020)을 따라 장면(21000)의 복수의 에너지-데이터 포인트들의 에너지 데이터 포인트들을 샘플링하는 것이고, 여기서 복수의 광선(21020) 또는 각각의 광선은 복수의 가상 관찰 위치들(21008) 중 하나의 가상 관찰 위치 및 광선에 의해 교차되는 하나의 가상 픽셀의 2D 각 좌표에 의해 결정되는 각도로 복수의 가상 픽셀들(21012) 중 하나의 가상 픽셀과 교차하고, 여기서 각각의 광선은 광선에 의해 교차된 하나의 가상 픽셀의 2D 공간 좌표에 의해 결정되는 하나의 가상 개구와 교차한다 일 실시예에서, 데이터 포인트들을 샘플링하는 것은 단락 [0248] 내지 [0255]에서 전술한 실시예들에 따라 구현될 수 있다.
추가로 도 21에 나타낸 것은, 복수의 광선들(21020)의 각각의 광선을 따라 샘플링된 에너지 데이터 포인트들을 광선에 의해 교차되는 복수의 가상 픽셀들(21012) 중 하나의 가상 픽셀에 대한 에너지 값에 상관시키는 것이다. 일 실시예에서, 샘플링된 데이터 포인트들을 상관시키는 것은 단락 [0256] 및 [0257]에서 전술한 실시예들에 따라 구현될 수 있다. 각각의 광선의 하나의 가상 픽셀의 에너지 값 및 각각의 광선의 하나의 가상 픽셀의 기지의 고유한 4D 좌표들은 에너지 장치에게 4D 에너지필드를 출력하라고 지시를 하도록 작동 가능한 포맷을 갖는 데이터 세트로 렌더링될 수 있다. 일 실시예에서, 렌더링하는 것은 단락 [0258]에서 전술한 실시예들에 따라 구현될 수 있다.
도 21에 예시된 바와 같이, 가상 픽셀 평면(21004) 후방의 에너지 데이터 포인트들에 대한 정보를 캡처하기 위해, 복수의 광선들(21012)이 가상 관찰 평면으로부터 가상 픽셀 평면(21004)을 통해서 그를 넘어서까지 역 트레이싱될 수 있다. 이는 3D 환경으로부터 4D 에너지장들을 렌더링하는 방법이 멀리 있는 객체들(21013)로부터 반사가 나오는 경우에도 가상 픽셀 평면 뒤의 에너지 반사를 고려하도록 한다.
도 21은 또한 이 방법의 실시예들이 어떻게 부분 투과 객체(21015)를 설명할 수 있는지를 나타낸다. 도시된 바와 같이, 에너지 데이터는 객체들(21013)로부터 반사된 데이터를 샘플링 할 가상 픽셀 디스플레이(21004)를 지나 부분 투과 객체(21015)를 통해 샘플링된다. 몇몇 실시예에서, 에너지 값들은 가상 픽셀들의 어레이의 가상 픽셀들에 대한 에너지 데이터에 도달하도록 객체들(21013) 및 부분 투과 객체(21015)의 에너지 데이터(21014)를 가중함으로써 샘플링된 정보에 따라 상관지어질 수 있다.
일 실시예에서, 도 20 및 도 21의 역 트레이싱 및 매핑 프로세스는 원하는 4D 디스플레이 특정 체적 에너지 표현(예를 들어, 이미지)에 대한 역 레이트레이싱의 단일 프로세스 단계를 허용할 수 있음이 이해될 것이다. 이는 파장/에너지 고려와, 디스플레이-특정의 교정을 포함할 수 있다(또는 다양한 시스템 사이에서 심리스하게 이동할 수 있는 임의의 다른 기능들을 포함할 수 있다). 이는 추가적으로, 유리한 경우 및 시점이 있다면, 다른 4D 좌표를 계산하기 위한 변위 맵으로의 픽셀 프로세싱을 포함할 수 있다.
본 개시내용의 시스템들 및 방법들의 몇몇 실시예에서, 복수의 광선들 중 적어도 하나의 광선은 복수의 가상 픽셀들의 각각의 픽셀과 교차한다.
본 개시내용의 시스템들 및 방법들의 몇몇 실시예에서, 상기 가상 디스플레이 평면은 에너지 지향 장치의 도파관 시스템에 대응하고, 에너지는 상기 장면의 적어도 일부의 검출 가능한 체적 표현을 형성하기 위해 상기 데이터 세트에 따라 상기 도파관 시스템을 통해 지향되도록 동작 가능하다.
본 개시내용의 시스템들 및 방법들의 몇몇 실시예에서, 복수의 가상 픽셀들은 도파관 시스템의 제1 측면 상의 복수의 에너지 위치들에 대응한다.
본 개시내용의 시스템들 및 방법들의 몇몇 실시예에서, 데이터 세트는 백터화된 재료 특성 데이터를 추가로 포함한다.
본 개시내용의 시스템들 및 방법들의 몇몇 실시예에서, 본 방법의 적어도 일부는 실시간으로 수행된다.
본 개시내용의 시스템들 및 방법들의 몇몇 실시예에서, 본 방법은 전부 실시간으로 수행된다.
본 개시내용의 시스템 및 방법의 몇몇 실시예에서, 본 방법의 적어도 두 부분은 다른 시간 간격으로 수행된다.
본 개시내용의 시스템 및 방법의 몇몇 실시예에서, 복수의 광선들 중 적어도 하나의 광선은 복수의 개구들의 각각의 개구와 교차한다.
본 개시내용의 시스템 및 방법의 몇몇 실시예에서, 데이터 세트는 시각, 음향, 질감, 지각, 또는 후각 센서에 의해 인식되는 적어도 하나의 신호를 설명한다.
본 개시내용의 시스템 및 방법의 몇몇 실시예에서, 복수의 광선들 중 각각의 광선을 따라 샘플링된 에너지 데이터 포인트들을 에너지 값들과 동시에 상관시킨다.
본 개시내용의 시스템 및 방법의 몇몇 실시예에서, 데이터 세트는 2진 파일 포맷으로 저장된다.
본 개시내용의 시스템들 및 방법들의 몇몇 실시예에서, 복수의 에너지-데이터 포인트들의 에너지 데이터 포인트는 가상 관찰 평면으로부터 복수의 가상 개구들 중 하나의 가상 개구를 통해 복수의 가상 픽셀들 중 하나의 가상 픽셀을 넘어서까지 확장하는 복수의 광선들의 각각의 광선을 따라 샘플링된다.
본 개시내용의 시스템 및 방법의 몇몇 실시예에서, 단계들은 무한히 반복될 수 있다. 몇몇 실시예에서, 이는 장면이 시간에 따른 장면 변화들을 동적으로 캡쳐하도록 한다.
실시예들에서, 본 개시내용의 3D 환경으로부터 4D 에너지장을 렌더링하기 위한 방법은 가상 관찰 위치들 및 가상 관찰 위치들의 4D 좌표들에 대한 정보를 이러한 가상 관찰 위치로부터의 가상 관찰 위치들과 교차하는 임의의 광선들을 따라 데이터를 샘플링하기 위한 명령을 제공할 수 있는 광선 파일에 저장하는 단계를 더 포함한다. 광선 파일은 말 그대로 가상 관찰 평면 상에서 어떤 샘플들이 렌더링되는지에 대한 매핑일 뿐이며, 3D 가상 관찰 평면 좌표 및 관련 2D(u, v) 각 좌표 목록을 포함할 수 있다. 예를 들어, 일부 실시예에서, 광선 파일은 합성 4D 광 필드를 효과적으로 샘플링하기 위해 장면 지오메트리, 색상, 반사 등과 같은 CG 장면 정보와 함께 사용될 수 있다. 광선 파일에 저장된 정보는 4D 에너지장을 출력하는 데 사용될 에너지 장치의 종류에 따라 달라질 수 있고, 이는 픽셀의 수와 허용 가능한 관찰 위치들의 위치가 에너지 장치마다 다를 수 있기 때문이라는 것을 이해하게 될 것이다. 몇몇 실시예에서, 광선 파일은 주어진 에너지 장치에 대한 3D 환경을 샘플링하는 방법을 시스템에 지시하는 수단을 제공할 수 있다. 다른 실시예에서, 광선 파일은 특정 에너지장 투영 장치 설계에 이상적인 매핑인데, 이는 상대적으로 작은 장치 간 차이는 반영하지 않은 것이어서, 나중에 추가적인 장치 종속적 교정을 거치도록 하기 위해서는 상기 광선 파일을 사용한 임의의 장면 샘플링을 할 것을 필요로 한다. 다음의 논의는 도 17 및 도 18을 참조하지만, 본 개시내용에 설명된 방법들은 더 많은 가상 관찰 위치들, 가상 픽셀들, 가상 개구들, 및 광선들을 갖는 실시예에 적용된다는 것을 이해하게 될 것이다. 일 실시예에서, 3D 공간 좌표는 각각의 가상 관찰 위치(L2)의 위치 및 모든 광선(1710)에 의해 교차되는 하나의 가상 픽셀(1702, 1704, 1706)의 2D 각도 좌표를 식별할 수 있다. 몇몇 실시예에서, 광선 파일은 각각의 가상 관찰 위치(L2)의 3D 공간 좌표를 가상 관찰 위치와 교차하는 모든 광선에 의해 교차되는 모든 가상 픽셀(1702, 1704, 1706)의 2D 각 좌표와 연관시킨다. 예를 들어, 도 18의 L2는 광선(1802)에 의해 교차된다. 그리고, 광선 파일은 가상 픽셀(1803, 1805, 1807) 각 좌표와 장면에서 L2의 위치를 식별하는 3D 공간 좌표와 연관시킬 수 있을 뿐만 아니라 L2와도 연관시킬 수 있다. 실시예에서, 광선 파일은 광선에 의해 교차하는 하나의 가상 관찰 위치(L2)로부터 광선을 따라 복수의 에너지 데이터 포인트들(1802)의 에너지 데이터 포인트들을 샘플링하기 위한 각각의 광선(1802)에 대한 명령어를 제공하며, 여기서 명령어는 적어도 광선에 의해 교차되는 하나의 가상 관찰 위치(L2)의 3D 공간 좌표와 광선에 의해 교차되는 하나의 가상 픽셀의 2D 각 좌표에 의해 결정된다. 예를 들어, 광선 파일은 적어도 L2의 3D 공간 좌표 및 1803의 2D 각도 좌표에 의해 결정된 광선(1809)에 대한 명령을 제공할 수 있다. 이해되는 바와 같이, 이 방법은 2D, 입체, 가상 현실, 증강 현실, 및 멀티뷰 디스플레이 시스템에 대한 렌더링 데이터를 포함하는 에너지장들 이외의 다양한 응용 분야에 사용될 수 있다.
본 개시내용의 3차원 환경으로부터 4차원 에너지장을 렌더링하기 위한 방법의 몇몇 실시예들에서, 에너지 값 렌더링은 또한 해당 에너지 장치에 대해서 에너지 데이터를 교정하는 것을 추가로 포함할 수 있다. 이해되는 바와 같이, 가상 픽셀에 대한 이론적 위치들과 가상 픽셀들과 가상 관찰 위치 간의 이론적 각도 상관관계는 물리적 구현과 다를 수 있다. 이는 에너지 장치마다 또는 에너지 장치의 도파관마다의 작은 변화들 때문일 수 있다. 예를 들어, 도파관의 약간의 결함으로 인해 에너지 전파 경로들이 예상된 방향에서 약간 벗어날 수 있다. 그리고, 에너지 위치는 3D 환경에서 해당 가상 위치와 약간 다를 수 있으며, 이로 인해 에너지 전파 방향에 약간의 편차가 발생할 수도 있다. 몇몇 실시예에서, 이러한 편차는 에너지 장치 또는 특정 종류의 에너지 장치에 대해서 에너지 데이터를 교정함으로써 설명할 수 있다. 다른 유형의 교정도 또한 적합할 수 있음이 이해될 것이다.
도 15에 도시된 프로세스는 프로세싱 시스템(2200)을 포함하는 본 개시내용의 임의의 프로세싱 시스템 또는 공지의 적합한 시스템을 이용하여 수행될 수 있다. 실시예들에서, 처리 시스템은 렌더링 엔진(2210) 및 감각 데이터 엔진(2220)을 포함할 수 있다. 감각 데이터 엔진(2220)은 몇몇 실시예에서 3D 환경에서 장면을 제공하기 위해 단계(1510)를 수행할 수 있다. 그리고, 감각 데이터 엔진(2220)은 몇몇 실시예에서 가상 픽셀 상에 복수의 가상 픽셀들을 위치시키는 단계(1520)도 또한 수행할 수 있다. 몇몇 실시예의 렌더링 엔진(2210)은 에너지 데이터 포인트들을 샘플링하기 위해 단계(1530)을 수행할 수 있다. 렌더링 엔진(2230)은 각각의 광선을 따라 샘플링된 에너지 데이터 포인트들을 에너지 값과 상관시키기 위한 단계(1540)도 또한 수행할 수 있다. 또한, 렌더링 엔진(2210)은 에너지 값들을 렌더링하기 위해 단계(1550)를 또한 수행할 수 있다. 몇몇 실시예에서, 시스템은 또한 데이터 세트를 저장하는 메모리(2240)를 포함할 수 있다.
3D 환경에서 4D 에너지장을 렌더링하는 방법은 다른 애플리케이션을 위해 에너지 데이터를 렌더링하는 데 적용될 수 있음이 이해될 것이다. 이러한 방법은 장면 전체에 위치하는 복수의 에너지 데이터 포인트들에 의해 묘사되는 3D 환경의 장면을 제공하기 위한 제1 단계(2210)를 포함할 수 있다. 제2 단계(2220)는 장면의 가상 픽셀 평면 상에 복수의 가상 픽셀들을 배치하는 것을 포함하고, 여기서 각각의 가상 픽셀은 2D 각 좌표 및 2D 공간 좌표를 포함하는 기지의 고유한 4D 좌표를 포함하고, 여기서 각각의 가상 픽셀의 2D 각 좌표는 가상 픽셀과 장면의 가상 관찰 평면 상에 위치한 복수의 가상 관찰 위치의 가상 관찰 위치 사이의 각도 상관관계를 설명하며, 여기서 각각의 가상 픽셀의 2D 공간 좌표는 장면의 가상 디스플레이 상에 위치한 복수의 가상 개구들의 가상 개구의 위치를 식별한다. 제3 단계(2230)는 가상 관찰 평면으로부터 복수의 광선을 따라 장면의 복수의 에너지 데이터 포인트들의 에너지 데이터 포인트들을 샘플링하는 것이고, 여기서 각각의 광선은 하나의 가상 관찰 위치, 및 광선에 의해 교차되는 하나의 가상 픽셀의 2D 각 좌표에 의해 결정되는 각도로 하나의 가상 픽셀과 교차하고, 여기서 각각의 광선은 광선에 의해 교차된 하나의 가상 픽셀의 2D 공간 좌표에 의해 결정되는 하나의 가상 개구와 교차한다 제4 단계는 각 광선을 따라 샘플링된 에너지 데이터 포인트들을 광선에 의해 교차된 하나의 가상 픽셀에 대한 에너지 값과 상관시키는 것을 포함할 수 있고, 제5 단계(2250)는, 각각의 광선의 하나의 가상 픽셀의 에너지 값 및 각각의 광선의 하나의 가상 픽셀의 기지의 고유한 4D 좌표들을, 에너지 장치에게 에너지 데이터를 출력하라고 지시를 하도록 작동 가능한 포맷을 갖는 데이터 세트로, 렌더링하는 것을 포함할 수 있다.
에너지 데이터의 몇몇 형태들이 훨씬 적은 4D 에너지장을 렌더링하는 데 필요한 가상 관찰 픽셀들과 가상 관찰 위치를 가질 수 있음이 이해될 것이다. 예를 들어, 몇몇 실시예들에서, 각각의 개구는 2개의 광선들에 의해 교차된다. 이러한 실시예들에서, 복수의 가상 관찰 위치들은 2개의 가상 관찰 위치들을 포함한다. 그러나, 이러한 실시예들은 에너지 장치에게 입체 이미지를 출력하라고 지시를 하도록 작동 가능한 데이터 세트를 생성하도록 동작할 수 있다. 입체 디스플레이들은 제1 이미지를 관찰자의 제1 눈으로, 제2 이미지를 제2 눈으로 향하게 한다. 결과적으로, 몇몇 실시예들에서, 각각의 개구는 단지 2개의 가상 픽셀들을 포함할 수 있고, 단지 2개의 가상 관찰 위치들이(각각의 눈마다 하나씩) 있을 수 있다. 이러한 실시예는 에너지 장치에게 가상 현실 이미지를 출력하라고 지시를 하도록 작동 가능한 포맷을 가진 데이터 세트를 제공할 수 있다. 그리고, 이러한 실시예는 에너지 장치에게 증강 현실 이미지를 출력하라는 지시를 하도록 작동 가능한 포맷을 가진 데이터 세트를 제공할 수 있다.
다른 실시예들에서, 각각의 가상 개구는 추가적인 관찰 위치들 또는 뷰들에 대응하는 추가적인 광선들에 의해 교차될 수 있음이 이해될 것이다. 이러한 실시예는 다중 뷰 디스플레이에 대해 동작 가능한 포맷을 갖는 데이터 세트를 허용할 수 있으며, 여기서 뷰들의 수는 각각의 가상 픽셀과 교차하는 광선들의 수에 대응한다. 이 원리는 3 개의 관찰 위치들(L1, L2, L3) 및 3 개의 광선(1710)이 하나의 개구(X1, Y1)와 교차하는 것을 보여주는 도 17에서 설명되며, 여기서 각 광선은 하나의 가상 픽셀(1702, 1704, 및 1706)과 교차한다. 각각의 관찰 위치는 다중 뷰 시스템의 하나의 뷰에 대응할 수 있다. 일부 실시예들은 많은 추가적인 관찰 위치를 가질 것이라는 것을 이해하게 될 것이다.
본원에 개시된 원리들에 따른 다양한 실시예들이 위에서 설명되었지만, 이들은 단지 예로서 제시되었고 제한적인 것이 아니라는 것이 이해되어야 한다. 따라서, 본 발명(들)의 폭 및 범위는 전술한 예시적인 실시예들 중 임의의 것에 의해 제한되어서는 안 되며, 오직 본 개시내용으로부터 유래되는 청구범위 및 그의 등가물들에 따라 정의되어야 한다. 또한, 전술한 장점들 및 특징들은 설명된 실시예들에서 제공되지만, 그와 같은 청구범위의 적용을 상기의 장점들의 일부 또는 전부를 달성하는 공정들 및 구조들로 제한해서는 안된다.
본 개시내용의 주요 특징은 본 개시내용의 범위를 벗어나지 않고 다양한 실시예에서 채용될 수 있음이 이해될 것이다. 당업자는 일상적인 실험만을 사용하여도 본원에 기재된 특정 절차들에 대한 다수의 등가물들을 인식하거나 또는 확인할 수 있을 것이다. 그러한 등가물들은 본 개시내용의 범위 내에 있는 것으로 간주되며 청구범위에 포함된다.
또한, 본원에서의 섹션 표제들은 37 CFR 1.77에 따른 제안사항과의 일관성을 위해 제공되거나, 또는 그렇지 않으면 구조적 단서를 제공하기 위해 제공된 것이다. 이 표제들은 본 개시내용으로부터 유래될 수 있는 임의의 청구항들에 기재된 발명(들)을 제한하거나 특징짓지 않는 것이다. 구체적으로, 그리고 예로서, 이러한 청구항들은, 표제들이 "발명의 분야"를 지칭하고는 있지만 소위 기술 분야를 설명하려는 그 표제 하에서의 언어에 의해 제한되어서는 안 된다. 또한, "발명의 배경" 부분에서의 기술에 대한 설명은 그 기술이 본 개시내용에서의 임의의 발명(들)에 대한 선행 기술이라는 것을 인정하는 것으로 해석되어서는 안 된다. "발명의 내용" 부분은 공표된 청구범위에 기재된 발명(들)의 특징짓기로 간주되어서는 안 된다. 게다가, 본 개시내용에서 "발명"이라고 하는 언급은 그 어떠한 것도 본 개시내용에 오직 신규성이라는 한 가지 점만 존재한다고 논쟁하는 데 사용되어서는 안 된다. 다수의 발명들은 본 개시내용으로부터 유래되는 다수의 청구항들의 한정에 따라 정해질 수 있으며, 따라서 그러한 청구항들은 그에 의해 보호되는 발명(들) 및 이의 등가물들을 정의한다. 모든 경우에서, 그러한 청구항들의 범위는 본 개시내용에 비추어 그 자체의 장점들에 대해 고려되어야 하지만 본원에 기재된 표제들에 의해 제약되어서는 안 된다.
"하나의"라는 용어의 사용은, 청구범위 및/또는 명세서에서 "포함하는"이라는 용어와 함께 사용되는 경우, "하나"를 의미할 수도 있지만, "하나 이상", "적어도 하나", 그리고 "하나 또는 하나 초과"의 의미와 일치하는 것이기도 하다. 본 개시내용은 단지 대안들과 "및/또는"만을 지칭하는 정의를 지지하기는 하지만, 청구범위에서 "또는"이라는 용어의 사용은, 명시적으로 대안들만을 지칭하는 것으로 나타내거나 대안들이 상호 배타적인 경우를 제외하고는, "및/또는"을 의미하는 것으로 사용된다. 본 출원의 전반에 걸쳐, 용어 "약"은 값이 장치에 대한 고유한 오차를 포함하는 것을 나타내는 데 사용되며, 그 값, 또는 연구 주제들 사이에 존재하는 변동을 결정하기 위한 방법이 채용된다. 전술한 논의에 종속되지만 일반적으로, "약"과 같은 근사의 단어에 의해 수정된 본원에서의 수치는 언급된 값으로부터 적어도 ±1, 2, 3, 4, 5, 6, 7, 10, 12, 또는 15%만큼 변경될 수 있다.
본 명세서 및 청구항(들)에서 사용된 바와 같이, "포함하는"(및 임의의 형태의 포함하는, 이를테면 "포함하고" 및 "포함한다"), "갖는"(및 임의의 형태의 갖는, 이를테면 "갖다" "가진다"), "포함되는"(및 임의의 형태의 포함되는, 이를테면 "포함되고" 및 "포함된다"), 또는 "함유하는"(및 임의의 형태의 함유하는, 이를테면 "함유하고" 및 "함유한다")은 포괄적이거나 확장 가능(open-ended)하며, 부가적인 언급되지 않은 요소들이나 방법 단계들을 배제하지 않는다.
"~하는 때에, "등가의", "~하는 동안", "완료" 등과 같은 비교, 측정, 및 타이밍의 단어들은 "실질적으로 ~하는 때에", "실질적으로 등가의", "실질적으로 ~하는 동안", "실질적으로 완료" 등을 의미하며, 여기서, "실질적으로"는 이러한 비교, 측정, 및 타이밍이 묵시적으로 또는 명시적으로 언급된 원하는 결과를 달성하기 위해 실행 가능하다는 것을 의미한다. "근처", "근접" 및 "인접"과 같은 요소들의 상대적 위치와 관련된 단어들은 각각의 시스템 요소 상호 작용에 물리적인 영향을 미치기에 충분히 가깝다는 것을 의미하는 것이다. 이와 유사하게, 그 밖에도 근사라는 단어는, 그렇게 수식될 때 반드시 절대적이거나 완전하지 않은 것으로 이해되는 조건이기는 하지만 당업자가 그러한 조건이 존재한다고 나태내는 것을 보증할 수 있도록 하기에 충분히 가깝다고 생각되는 조건을 지칭한다. 설명이 변경될 수 있는 정도는 변경이 얼마나 크게 도입될 수 있는지에 달려 있으며, 여전히 당업자로 하여금 수정된 특징을 수정되지 않은 특징의 원하는 특성들 및 능력들을 여전히 가지는 것으로 인식하게 하는 것이다.
본원에 사용된 바와 같은 "또는 그의 조합"이라는 용어는 이 용어 앞에 기재된 나열된 항목들의 모든 순열 및 조합을 지칭한다. 예를 들어, "A, B, C, 또는 이들의 조합"은 A, B, C, AB, AC, BC, 또는 ABC 중 적어도 하나를 포함하도록 의도된 것이며, 특정 문맥에서 순서가 중요하다면 BA, CA, CB, CBA, BCA, ACB, BAC, 또는 CAB도 포함하는 것으로 의도된 것이다. 이 예를 계속 설명하면, BB, AAA, AB, BBC, AAABCCCC, CBBAAA, CABABB 등과 같이 하나 이상의 항목 또는 용어를 반복하여 포함하는 조합이 명시적으로 포함된다. 당업자는 통상적으로 문맥으로부터 명백하지 않는 한 임의의 조합의 항목들 또는 용어들의 수에 제한이 없다는 것을 이해할 것이다.
본원에 개시되고 청구된 모든 구성들 및/또는 방법들은 본 개시내용에 비추어 과도한 실험 없이 제조되고 실행될 수 있다. 본 개시내용의 구성들 및 방법들은 바람직한 실시예들의 관점에서 기재되었지만, 본 개시내용의 개념, 사상, 및 범위를 벗어나지 않는 한, 그 구성들 및/또는 방법들에, 그리고 본원에 기재된 방법의 단계들에 또는 단계들의 시퀀스에, 변형예들이 적용될 수 있음은 당업자에게 명백할 것이다. 당업자에게 명백한 이러한 모든 유사한 대체예들 및 변형예들은 첨부된 청구범위에 의해 정의된 바와 같은 본 개시내용의 사상, 범위, 및 개념 내에 있는 것으로 간주된다.
Claims (57)
- 3차원(3D) 환경으로부터 4차원(4D) 에너지장을 렌더링하는 방법으로서,
장면 전체에 위치하는 복수의 에너지 데이터 포인트들에 의해 묘사되는 3D 환경의 장면을 제공하는 단계;
상기 장면의 가상 픽셀 평면 상에 복수의 가상 픽셀들을 배치하는 단계로서, 각각의 가상 픽셀은 2D 각 좌표 및 2D 공간 좌표를 포함하는 기지의 고유한 4D 좌표를 가지며, 상기 각각의 가상 픽셀의 상기 2D 각 좌표는 상기 장면의 가상 관찰 평면 상에 위치한 복수의 가상 관찰 위치들 중 하나의 가상 관찰 위치와 상기 가상 픽셀 사이의 각도 상관관계를 설명하고, 상기 각각의 가상 픽셀의 상기 2D 공간 좌표는 상기 장면의 가상 디스플레이 평면 상에 위치한 복수의 가상 개구들의 가상 개구의 위치를 식별하는, 단계;
상기 가상 관찰 평면으로부터 복수의 광선을 따라 상기 장면의 상기 복수의 에너지 데이터 포인트들의 에너지 데이터 포인트들을 샘플링하는 단계로서, 각각의 광선은 하나의 가상 관찰 위치 및 하나의 가상 픽셀과, 상기 광선에 의해 교차되는 상기 하나의 가상 픽셀의 상기 2D 각 좌표에 의해 결정되는 각도로, 교차하고, 각각의 광선은 상기 광선에 의해 교차되는 상기 하나의 가상 픽셀의 2D 공간 좌표에 의해 결정되는 하나의 가상 개구와 교차하는, 단계;
각각의 광선을 따라 샘플링된 상기 에너지 데이터 포인트들을 상기 광선에 의해 교차되는 상기 하나의 가상 픽셀에 대한 에너지 값에 상관시키는 단계, 및
각각의 광선의 상기 하나의 가상 픽셀의 상기 에너지 값 및 각각의 광선의 상기 하나의 가상 픽셀의 상기 기지의 고유한 4D 좌표들을, 에너지 장치에게 4D 에너지장을 출력하라는 지시를 하도록 작동 가능한 포맷을 갖는 데이터 세트로, 렌더링하는 단계를 포함하는 방법. - 제1항에 있어서, 상기 복수의 광선들의 적어도 하나의 광선은 상기 복수의 가상 관찰 위치들의 각각의 가상 관찰 위치와 교차하는, 방법.
- 제1항에 있어서, 상기 복수의 광선들의 적어도 하나의 광선은 상기 복수의 가상 픽셀들의 각각의 가상 픽셀과 교차하는, 방법.
- 제1항에 있어서, 상기 4D 에너지장은 광 필드를 포함하는, 방법.
- 제1항에 있어서, 상기 4D 에너지장은 햅틱 필드를 포함하는, 방법.
- 제1항에 있어서, 상기 4D 에너지장은 촉각 필드를 포함하는, 방법.
- 제1항에 있어서, 상기 에너지 데이터 포인트들은 에너지 주파수, 에너지 강도, 에너지 투명도, 에너지 굴절도, 및 에너지 반사도 중 적어도 하나를 설명하는 값을 포함하는, 방법.
- 제1항에 있어서, 상기 3D 환경은 2차원 공간 내의 포인트들에 깊이 맵을 적용하는 것에 의해 결정되는, 방법.
- 제1항에 있어서, 상기 가상 디스플레이 평면은 에너지 지향 장치의 도파관 시스템에 대응하고, 에너지는 상기 장면의 적어도 일부의 검출 가능한 4D 에너지 표현을 형성하기 위한 상기 데이터 세트에 따라 상기 도파관 시스템을 통해 지향되도록 동작 가능한, 방법.
- 제9항에 있어서, 상기 복수의 가상 픽셀들은 상기 도파관 시스템의 제1 측면 상의 복수의 에너지 위치들에 대응하는, 방법.
- 제1항에 있어서, 상기 데이터 세트는 백터화된 재료 특성 데이터를 추가로 포함하는, 방법.
- 제1항에 있어서, 당해 방법의 적어도 일부가 실시간으로 수행되는, 방법.
- 제1항에 있어서, 당해 방법이 전체적으로 실시간으로 수행되는, 방법.
- 제1항에 있어서, 당해 방법의 적어도 두 부분은 상이한 기간에 수행되는, 방법.
- 제1항에 있어서, 상기 데이터 세트는 시각, 청각, 텍스처(textural), 지각(sensational), 또는 냄새 센서에 의해 인지 가능한 신호를 설명하는, 방법.
- 제1항에 있어서, 복수의 광선들의 각각의 광선을 따라 샘플링된 에너지 데이터 포인트들을 에너지 값들과 동시에 상관시키는, 방법.
- 제1항에 있어서, 데이터 세트는 2진 파일 포맷으로 저장되는, 방법.
- 제1항에 있어서, 상기 복수의 광선들의 각각의 광선은 상기 복수의 가상 개구들 중 상기 하나의 가상 개구를 통해 상기 복수의 가상 픽셀들 중 상기 하나의 가상 픽셀을 넘어서까지 확장하고, 상기 복수의 에너지-데이터 포인트들의 상기 에너지 데이터 포인트들은 상기 가상 관찰 평면으로부터 샘플링되는, 방법.
- 제1항에 있어서, 상기 단계들이 무한히 반복될 수 있는, 방법.
- 제1항에 있어서, 상기 단계들이 3D 환경으로부터 동적 4D 에너지장을 렌더링 하기 위해 무한히 반복될 수 있는, 방법.
- 제1항에 있어서, 상기 에너지 데이터를 렌더링하는 단계는 상기 에너지 장치에 대한 상기 에너지 데이터를 교정하는 것을 더 포함하는, 방법.
- 제1항에 있어서, 광선 파일은 상기 각각의 가상 관찰 위치의 위치 및 모든 광선에 의해 교차되는 상기 하나의 가상 픽셀의 상기 2D 각 좌표를 식별하는 3D 공간 좌표를 저장하는, 방법.
- 제21항에 있어서, 상기 광선 파일은 상기 각각의 가상 관찰 위치의 상기 3D 공간 좌표를 상기 가상 관찰 위치와 교차하는 모든 광선에 의해 교차되는 모든 가상 픽셀의 상기 2D 각 좌표와 연관시키는, 방법.
- 제21항에 있어서, 상기 광선 파일은 광선에 의해 교차하는 상기 하나의 가상 관찰 위치로부터 상기 광선을 따라 상기 복수의 에너지 데이터 포인트들의 상기 에너지 데이터 포인트들을 샘플링하기 위한 각각의 광선에 대한 명령어를 제공하며, 상기 명령어는 적어도 상기 광선에 의해 교차되는 상기 하나의 가상 관찰 위치의 상기 3D 공간 좌표와 상기 광선에 의해 교차되는 상기 하나의 가상 픽셀의 상기 2D 각 좌표에 의해 결정되는, 방법.
- 동적 3차원(3D) 환경으로부터 4차원(4D) 에너지장을 렌더링하는 시스템으로서,
감각 데이터 엔진 및 렌더링 엔진을 포함하는 프로세싱 서브시스템을 포함하고,
상기 감각 데이터 엔진은 상기 장면 전체에 위치하는 복수의 에너지 데이터 포인트들에 의해 묘사되는 3D 환경의 장면을 제공하고,
상기 감각 데이터 엔진은 상기 장면의 가상 픽셀 평면 상에 복수의 가상 픽셀들을 배치하고, 각각의 가상 픽셀은 2D 각 좌표 및 2D 공간 좌표를 포함하는 기지의 고유한 4D 좌표를 포함하고, 각각의 가상 픽셀 좌표의 상기 2D 각은 상기 감각 데이터 엔진에 의해 상기 장면의 가상 관찰 평면 상에 위치된 복수의 가상 관찰 위치들 중 하나의 가상 관찰 위치와 상기 가상 픽셀과 사이의 각도 상관관계를 설명하고, 각각의 가상 픽셀의 상기 2D 공간 좌표는 상기 감각 데이터 엔진에 의해 상기 장면의 가상 디스플레이 평면 상에 위치된 복수의 가상 개구들의 가상 개구의 위치를 식별하고,
상기 렌더링 엔진은 상기 가상 관찰 평면으로부터 복수의 광선을 따라 상기 장면의 상기 복수의 에너지 데이터 포인트들의 에너지 데이터 포인트들을 샘플링하고, 각각의 광선은 하나의 가상 관찰 위치 및 하나의 가상 픽셀과, 상기 광선에 의해 교차되는 상기 하나의 가상 픽셀의 상기 2D 각 좌표에 의해 결정되는 각도로, 교차하고, 각각의 광선은 그 광선에 의해 교차된 상기 하나의 가상 픽셀의 상기 2D 공간 좌표에 의해 결정되는 하나의 가상 개구와 교차하고,
상기 렌더링 엔진은 각각의 광선을 따라 샘플링된 상기 에너지 데이터 포인트들을 상기 복수의 가상 픽셀들의 하나의 가상 픽셀에 대한 에너지 값에 상관시키고,
상기 렌더링 엔진은 상기 복수의 가상 픽셀들의 상기 하나의 가상 픽셀들의 상기 에너지 값들과 상기 복수의 가상 픽셀들의 상기 하나의 가상 픽셀의 상기 기지의 고유한 4D 에너지장을, 에너지 장치에게 4D 에너지장을 출력하라는 지시를 하도록 작동 가능한 포맷을 갖는 데이터 세트로, 렌더링하는, 시스템. - 제25항에 있어서, 상기 복수의 광선들의 적어도 하나의 광선은 상기 복수의 가상 관찰 위치들의 각각의 가상 관찰 위치와 교차하는, 시스템.
- 제25항에 있어서, 상기 복수의 광선들의 적어도 하나의 광선은 상기 복수의 가상 픽셀들의 각각의 가상 픽셀과 교차하는, 시스템.
- 제25항에 있어서, 상기 4D 에너지장은 광 필드를 포함하는, 시스템.
- 제25항에 있어서, 상기 4D 에너지장은 햅틱 필드를 포함하는, 시스템.
- 제25항에 있어서, 상기 4D 에너지장은 촉각 필드를 포함하는, 시스템.
- 제25항에 있어서, 상기 에너지 데이터 포인트들은 에너지 주파수, 에너지 강도, 에너지 투명도, 에너지 굴절도, 및 에너지 반사도 중 적어도 하나를 설명하는 값을 포함하는, 시스템.
- 제25항에 있어서, 상기 3D 환경은 2차원 공간 내의 포인트들에 깊이 맵을 적용하는 것에 의해 결정되는, 시스템.
- 제25항에 있어서, 상기 가상 디스플레이 평면은 에너지 지향 장치의 도파관 시스템에 대응하고, 에너지는 상기 장면의 적어도 일부의 검출 가능한 4D 에너지-필드 표현을 형성하기 위한 상기 데이터 세트에 따라 상기 도파관 시스템을 통해 지향되도록 동작 가능한, 시스템.
- 제33항에 있어서, 상기 복수의 가상 픽셀들은 상기 도파관 시스템의 제1 측면 상의 복수의 에너지 위치들에 대응하는, 시스템.
- 제25항에 있어서, 상기 데이터 세트는 백터화된 재료 특성 데이터를 추가로 포함하는, 시스템.
- 제25항에 있어서, 당해 시스템의 적어도 일부가 실시간으로 수행되는, 시스템.
- 제25항에 있어서, 당해 시스템은 전체가 실시간으로 수행되는, 시스템.
- 제25항에 있어서, 당해 시스템의 적어도 두 부분들이 상이한 기간에 수행되는, 시스템.
- 제25항에 있어서, 상기 데이터 세트는 시각, 청각, 질감(textural), 지각(sensational), 또는 냄새 센서에 의해 인지 가능한 신호를 설명하는, 시스템.
- 제25항에 있어서, 복수의 광선들의 각각의 광선을 따라 샘플링된 상기 에너지 데이터 포인트들을 에너지 값들과 동시에 상관시키는, 시스템.
- 제25항에 있어서, 데이터 세트는 2진 파일 포맷으로 저장되는, 시스템.
- 제25항에 있어서, 상기 복수의 에너지 데이터 포인트들의 에너지 데이터 포인트들은 상기 렌더링 엔진에 의해, 상기 가상 관찰 평면으로부터 상기 복수의 가상 개구들 중 상기 하나의 가상 개구를 통해 상기 복수의 가상 픽셀들 중 상기 하나의 가상 픽셀을 넘어서까지 확장하는 상기 복수의 광선들의 각각의 광선을 따라, 샘플링되는, 시스템.
- 제25항에 있어서, 당해 시스템은 상기 동적 3D 환경으로부터 동적 4D 에너지장을 렌더링 하기 위해 무한히 작동될 수 있는, 시스템.
- 제25항에 있어서, 상기 데이터 세트를 저장하기 위한 메모리를 추가로 포함하는 시스템.
- 제25항에 있어서, 당해 시스템은 상기 에너지 장치에 대해서 상기 에너지 데이터를 교정하는, 시스템.
- 제25항에 있어서, 상기 복수의 에너지 데이터 포인트들을 저장하기 위한 메모리를 추가로 포함하는 시스템.
- 제25항에 있어서, 광선 파일은 상기 각각의 가상 관찰 위치의 위치 및 모든 광선에 의해 교차되는 상기 하나의 가상 픽셀의 상기 2D 각 좌표를 식별하는 3D 공간 좌표를 저장하는, 시스템.
- 제47항에 있어서, 상기 광선 파일은 상기 각각의 가상 관찰 위치의 상기 3D 공간 좌표를 상기 가상 관찰 위치와 교차하는 모든 광선에 의해 교차되는 모든 가상 픽셀의 상기 2D 각 좌표와 연관시키는, 시스템.
- 제48항에 있어서, 상기 광선 파일은 상기 광선에 의해 교차하는 상기 하나의 가상 관찰 위치로부터 상기 광선을 따라 상기 복수의 에너지 데이터 포인트들의 상기 에너지 데이터 포인트들을 샘플링하기 위한 각각의 광선에 대한 명령어를 제공하며, 상기 명령어는 적어도 상기 광선에 의해 교차되는 상기 하나의 가상 관찰 위치의 상기 3D 공간 좌표와 상기 광선에 의해 교차되는 상기 하나의 가상 픽셀의 상기 2D 각 좌표에 의해 결정되는, 시스템.
- 3차원(3D) 환경으로부터 에너지 데이터를 렌더링하는 방법으로서,
장면 전체에 위치하는 복수의 에너지 데이터 포인트들에 의해 묘사되는 3D 환경의 장면을 제공하는 단계;
상기 장면의 가상 픽셀 평면 상에 복수의 가상 픽셀들을 배치하는 단계로서, 각각의 가상 픽셀은 2D 각 좌표 및 2D 공간 좌표를 포함하는 기지의 고유한 4D 좌표를 가지며, 각각의 가상 픽셀의 상기 2D 각 좌표는 상기 가상 픽셀과 상기 장면의 가상 관찰 평면 상에 위치한 복수의 가상 관찰 위치들 중 하나의 가상 관찰 위치 사이의 각도 상관관계를 설명하고, 각각의 가상 픽셀의 상기 2D 공간 좌표는 상기 장면의 가상 디스플레이 평면 상에 위치한 복수의 가상 개구들의 가상 개구의 위치를 식별하는, 단계;
상기 가상 관찰 평면으로부터 복수의 광선을 따라 상기 장면의 상기 복수의 에너지 데이터 포인트들의 에너지 데이터 포인트들을 샘플링하는 단계로서, 각각의 광선은 하나의 가상 관찰 위치 및 하나의 가상 픽셀과, 상기 광선에 의해 교차되는 상기 하나의 가상 픽셀의 상기 2D 각 좌표에 의해 결정되는 각도로, 교차하고, 각각의 광선은 그 광선에 의해 교차된 상기 하나의 가상 픽셀의 상기 2D 공간 좌표에 의해 결정되는 하나의 가상 개구와 교차하는, 단계;
각각의 광선을 따라 샘플링된 상기 에너지 데이터 포인트들을 상기 광선에 의해 교차되는 상기 가상 픽셀에 대한 에너지 값에 상관시키는 단계; 및
각각의 광선의 상기 하나의 가상 픽셀의 상기 에너지 값 및 각각의 광선의 상기 하나의 가상 픽셀의 상기 기지의 고유한 4D 좌표들을, 에너지 장치에게 에너지 데이터를 출력하라는 지시를 하도록 작동 가능한 포맷을 갖는 데이터 세트로, 렌더링하는 단계를 포함하는, 방법. - 제50항에 있어서, 상기 각각의 개구는 2개의 광선들에 의해 교차되는, 방법.
- 제51항에 있어서, 상기 복수의 가상 관찰 위치들은 2개의 가상 관찰 위치들을 포함하는, 방법.
- 제52항에 있어서, 상기 데이터 세트는 에너지 장치에게 입체 이미지를 출력하라는 지시를 하도록 작동 가능한 포맷을 갖는, 방법.
- 제52항에 있어서, 상기 데이터 세트는 에너지 장치에게 가상 이미지를 출력하라는 지시를 하도록 작동 가능한 포맷을 갖는, 방법.
- 제52항에 있어서, 상기 데이터 세트는 에너지 장치에게 증강 현실 이미지를 출력하라는 지시를 하도록 작동 가능한 포맷을 갖는, 방법.
- 제50항에 있어서, 상기 각각의 개구는 다수의 광선들에 의해 교차되는, 방법.
- 제51항에 있어서, 상기 데이터 세트는 에너지 장치에게 다수의 뷰들로부터 이미지를 출력하라는 지시를 하도록 작동 가능한 포맷을 갖고, 상기 다수의 뷰들은 상기 각각의 가상 개구와 교차하는 다수의 광선에 대응하는, 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862617286P | 2018-01-14 | 2018-01-14 | |
| US62/617,286 | 2018-01-14 | ||
| PCT/US2019/013554 WO2019140414A1 (en) | 2018-01-14 | 2019-01-14 | Systems and methods for rendering data from a 3d environment |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200116942A true KR20200116942A (ko) | 2020-10-13 |
Family
ID=67219168
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207023603A KR20200116942A (ko) | 2018-01-14 | 2019-01-14 | 3d 환경에서 데이터를 렌더링하는 시스템 및 방법 |
Country Status (8)
| Country | Link |
|---|---|
| US (2) | US11650354B2 (ko) |
| EP (1) | EP3737997A4 (ko) |
| JP (2) | JP7274682B2 (ko) |
| KR (1) | KR20200116942A (ko) |
| CN (1) | CN112074782B (ko) |
| AU (1) | AU2019206713A1 (ko) |
| CA (1) | CA3088376A1 (ko) |
| WO (1) | WO2019140414A1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102408198B1 (ko) * | 2022-01-14 | 2022-06-13 | (주)이브이알스튜디오 | 3차원 객체의 렌더링을 위한 방법 및 장치 |
| WO2022124437A1 (ko) * | 2020-12-08 | 2022-06-16 | 한국전자기술연구원 | 호겔 단위로 경화하는 홀로그래픽 프린팅 방법 |
| KR102461478B1 (ko) * | 2021-05-03 | 2022-11-03 | (주)이머시브캐스트 | 이미지 내의 객체 떨림 감소를 위한 클라우드 vr 장치 |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3779892A4 (en) * | 2018-04-12 | 2021-05-05 | Toppan Printing Co., Ltd. | LIGHT FIELD GENERATION SYSTEM, IMAGE DISPLAY SYSTEM, INFORMATION ACQUISITION SERVER, IMAGE GENERATION SERVER, DISPLAY DEVICE, LIGHT FIELD IMAGE GENERATION METHOD, AND PICTURE DISPLAY METHOD |
| US10951875B2 (en) | 2018-07-03 | 2021-03-16 | Raxium, Inc. | Display processing circuitry |
| CN112823299B (zh) * | 2018-10-01 | 2024-03-29 | 镭亚股份有限公司 | 全息现实系统、多视图显示器和方法 |
| US11195319B1 (en) | 2018-10-31 | 2021-12-07 | Facebook Technologies, Llc. | Computing ray trajectories for pixels and color sampling using interpolation |
| US11361511B2 (en) * | 2019-01-24 | 2022-06-14 | Htc Corporation | Method, mixed reality system and recording medium for detecting real-world light source in mixed reality |
| CN113574472A (zh) * | 2019-03-14 | 2021-10-29 | 光场实验室公司 | 利用具有非零偏转角的能量引导表面引导能量的系统 |
| US11212514B2 (en) | 2019-03-25 | 2021-12-28 | Light Field Lab, Inc. | Light field display system for cinemas |
| US11683459B2 (en) | 2019-09-04 | 2023-06-20 | Material Technologies Corporation | Object feature visualization apparatus and methods |
| US11503256B2 (en) | 2019-09-04 | 2022-11-15 | Material Technologies Corporation | Object feature visualization apparatus and methods |
| US11610372B2 (en) | 2019-10-11 | 2023-03-21 | Qualcomm Incorporated | Methods and apparatus for multiple lens distortion correction |
| CN110689514B (zh) * | 2019-10-11 | 2022-11-11 | 深圳大学 | 一种透明物体的新视角合成模型的训练方法和计算机设备 |
| US11474597B2 (en) | 2019-11-01 | 2022-10-18 | Google Llc | Light field displays incorporating eye trackers and methods for generating views for a light field display using eye tracking information |
| EP4058162A4 (en) | 2019-11-11 | 2023-10-25 | Manticore Games, Inc. | PROGRAMMATIC MATERIAL CONFIGURATION |
| JP2023512869A (ja) | 2019-12-03 | 2023-03-30 | ライト フィールド ラボ、インコーポレイテッド | ビデオゲームおよび電子スポーツのためのライトフィールドディスプレイシステム |
| US11363247B2 (en) * | 2020-02-14 | 2022-06-14 | Valve Corporation | Motion smoothing in a distributed system |
| JP7520539B2 (ja) * | 2020-03-19 | 2024-07-23 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| CN111460660A (zh) * | 2020-03-31 | 2020-07-28 | 安阳师范学院 | 一种内置模拟物理力学实验场景的电子装置及其控制方法 |
| CN113643414B (zh) * | 2020-05-11 | 2024-02-06 | 北京达佳互联信息技术有限公司 | 一种三维图像生成方法、装置、电子设备及存储介质 |
| CN112691378B (zh) * | 2020-12-23 | 2022-06-07 | 完美世界(北京)软件科技发展有限公司 | 图像处理方法、设备及可读介质 |
| CN112862938B (zh) * | 2021-01-15 | 2022-06-03 | 湖北理工学院 | 一种环境设计展示装置及方法 |
| US12028507B2 (en) * | 2021-03-11 | 2024-07-02 | Quintar, Inc. | Augmented reality system with remote presentation including 3D graphics extending beyond frame |
| CN113129352B (zh) * | 2021-04-30 | 2024-07-26 | 清华大学 | 一种稀疏光场重建方法及装置 |
| CN113420495B (zh) * | 2021-05-31 | 2023-02-03 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 主动诱骗式智能抗干扰方法 |
| US11935199B2 (en) * | 2021-07-26 | 2024-03-19 | Google Llc | Augmented reality depth detection through object recognition |
| CN114066721B (zh) * | 2021-11-03 | 2024-02-02 | 抖音视界有限公司 | 显示方法、装置和电子设备 |
| US20230154101A1 (en) * | 2021-11-16 | 2023-05-18 | Disney Enterprises, Inc. | Techniques for multi-view neural object modeling |
| US11972512B2 (en) * | 2022-01-25 | 2024-04-30 | Adobe Inc. | Directional editing of digital images |
| US20220217322A1 (en) * | 2022-03-25 | 2022-07-07 | Intel Corporation | Apparatus, articles of manufacture, and methods to facilitate generation of variable viewpoint media |
| CN114492088B (zh) * | 2022-04-02 | 2022-07-08 | 国家超级计算天津中心 | 一种材料外形状态显示方法和系统 |
| CN115035178B (zh) * | 2022-05-25 | 2024-10-01 | 武汉工程大学 | 一种增强现实显示系统、方法及存储介质 |
| CN115690359B (zh) * | 2022-10-27 | 2023-12-15 | 科大讯飞股份有限公司 | 一种点云处理方法、装置、电子设备及存储介质 |
| CN116883607B (zh) * | 2023-09-06 | 2023-12-05 | 四川物通科技有限公司 | 基于辐射传输的虚拟现实场景生成系统 |
| CN117876564B (zh) * | 2024-01-15 | 2024-09-17 | 联想新视界（北京）科技有限公司 | 图像处理方法及相关设备 |
Family Cites Families (123)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2000293A6 (es) | 1986-12-29 | 1988-02-01 | Dominguez Montes Juan | Instalacion y procedimiento para obtener imagenes tridimensionales en movimiento esto es tetradimimensionales tanto en color como en blanco y negro |
| GB2251700B (en) | 1990-11-30 | 1994-08-24 | Combined Optical Ind Ltd | Multiple array lens |
| US5481385A (en) | 1993-07-01 | 1996-01-02 | Alliedsignal Inc. | Direct view display device with array of tapered waveguide on viewer side |
| US5396350A (en) | 1993-11-05 | 1995-03-07 | Alliedsignal Inc. | Backlighting apparatus employing an array of microprisms |
| US20010028485A1 (en) | 1997-07-08 | 2001-10-11 | Stanley Kremen | Methods of preparing holograms |
| AUPO884297A0 (en) | 1997-08-27 | 1997-09-18 | Orme, Gregory Michael | Imaging devices |
| US6169594B1 (en) | 1998-08-24 | 2001-01-02 | Physical Optics Corporation | Beam deflector and scanner |
| US6684007B2 (en) | 1998-10-09 | 2004-01-27 | Fujitsu Limited | Optical coupling structures and the fabrication processes |
| US7015954B1 (en) | 1999-08-09 | 2006-03-21 | Fuji Xerox Co., Ltd. | Automatic video system using multiple cameras |
| US6326939B1 (en) | 1999-09-24 | 2001-12-04 | Ronald S. Smith | Optical waveguide system for a flat-panel display |
| US6452699B1 (en) | 1999-09-28 | 2002-09-17 | Holospex, Inc. | Controlled diffraction efficiency far field viewing devices |
| US6556280B1 (en) | 2000-09-19 | 2003-04-29 | Optical Switch Corporation | Period reconfiguration and closed loop calibration of an interference lithography patterning system and method of operation |
| GB0030675D0 (en) | 2000-12-15 | 2001-01-31 | Rue De Int Ltd | Methods of creating high efficiency diffuse back-reflectors based on embossed surface relief |
| JP3429282B2 (ja) | 2001-02-02 | 2003-07-22 | リサーチ・インターナショナル・インコーポレーテッド | 自動化されたシステム、及びサンプルの分析方法 |
| GB0119176D0 (en) | 2001-08-06 | 2001-09-26 | Ocuity Ltd | Optical switching apparatus |
| EP1461645A4 (en) | 2001-12-14 | 2006-09-06 | Digital Optics Internat Corp | UNIFORM LIGHTING SYSTEM |
| CN1643565B (zh) | 2002-03-13 | 2013-09-04 | 杜比实验室特许公司 | 高动态范围显示装置 |
| JP3969252B2 (ja) | 2002-08-27 | 2007-09-05 | 日本電気株式会社 | 立体画像平面画像切換表示装置及び携帯端末装置 |
| AU2003279127A1 (en) | 2002-10-03 | 2004-04-23 | Massachusetts Institute Of Technology | Method for fabrication of diffractive optical elements for maskless lithography |
| JP3970784B2 (ja) | 2003-02-10 | 2007-09-05 | シャープ株式会社 | マイクロレンズ基板、及びそれを備えた液晶表示素子、並びに投影型液晶表示装置 |
| JP2005026772A (ja) | 2003-06-30 | 2005-01-27 | Victor Co Of Japan Ltd | 立体映像表示方法及び立体映像表示装置 |
| US20050243275A1 (en) | 2004-04-30 | 2005-11-03 | Curatu Eugene O | Wavefront sensor and relay for optical measurement and associated methods |
| US20060028459A1 (en) | 2004-08-03 | 2006-02-09 | Silverbrook Research Pty Ltd | Pre-loaded force sensor |
| US7916180B2 (en) | 2004-08-25 | 2011-03-29 | Protarius Filo Ag, L.L.C. | Simultaneous multiple field of view digital cameras |
| DE102005041229A1 (de) | 2004-12-30 | 2006-08-03 | Volkswagen Ag | Displayanordnung für ein Fahrzeug |
| US8537310B2 (en) | 2005-03-01 | 2013-09-17 | North Carolina State University | Polarization-independent liquid crystal display devices including multiple polarization grating arrangements and related devices |
| US9092886B2 (en) * | 2005-08-11 | 2015-07-28 | Koninklijke Philips N.V. | Rendering a view from an image dataset |
| ATE499800T1 (de) | 2006-03-03 | 2011-03-15 | Koninkl Philips Electronics Nv | Autostereoskopische anzeigevorrichtung mit steuerbarem flüssigkristall-linsenarray zur umschaltung zwischen einem 3d- und einem 2d-modus |
| US20080144174A1 (en) | 2006-03-15 | 2008-06-19 | Zebra Imaging, Inc. | Dynamic autostereoscopic displays |
| WO2008127410A2 (en) | 2006-11-07 | 2008-10-23 | New York University | Holographic microfabrication and characterization system for soft matter and biological systems |
| GB2444301A (en) | 2006-11-30 | 2008-06-04 | Qinetiq Ltd | Autostereoscopic projection display |
| US8736675B1 (en) | 2006-12-01 | 2014-05-27 | Zebra Imaging, Inc. | Multi-core processor architecture for active autostereoscopic emissive displays |
| US7792423B2 (en) | 2007-02-06 | 2010-09-07 | Mitsubishi Electric Research Laboratories, Inc. | 4D light field cameras |
| US7710845B2 (en) | 2007-02-09 | 2010-05-04 | Sanyo Electric Co., Ltd. | Holographic memory and holographic recording apparatus |
| DE102007023737B4 (de) | 2007-05-16 | 2009-01-02 | Seereal Technologies S.A. | Verfahren zum Generieren von Videohologrammen in Echtzeit zur Erweiterung einer 3D-Rendering-Graphikpipeline |
| US10108146B2 (en) | 2007-08-11 | 2018-10-23 | Massachusetts Institute Of Technology | Anisotropic leaky-mode modulator for holographic video displays |
| US20140300695A1 (en) | 2007-08-11 | 2014-10-09 | Massachusetts Institute Of Technology | Full-Parallax Acousto-Optic/Electro-Optic Holographic Video Display |
| US8149265B2 (en) | 2007-08-11 | 2012-04-03 | Massachusetts Institute Of Technology | Holographic video display system |
| GB0716776D0 (en) * | 2007-08-29 | 2007-10-10 | Setred As | Rendering improvement for 3D display |
| DE102007042984A1 (de) | 2007-09-10 | 2009-03-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung zur optischen Navigation |
| DE102007047470B3 (de) | 2007-09-28 | 2009-05-28 | Visumotion Gmbh | Verfahren zur Ausrichtung eines Parallaxenbarriereschirms auf einem Bildschirm |
| WO2009050294A2 (en) | 2007-10-19 | 2009-04-23 | Seereal Technologies S.A. | Light modulating device |
| JP4928476B2 (ja) | 2008-01-22 | 2012-05-09 | 日本放送協会 | 立体像生成装置、その方法およびそのプログラム |
| EP2289235A4 (en) | 2008-05-20 | 2011-12-28 | Pelican Imaging Corp | RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER |
| JP2009300268A (ja) | 2008-06-13 | 2009-12-24 | Nippon Hoso Kyokai <Nhk> | ３次元情報検出装置 |
| US9600067B2 (en) * | 2008-10-27 | 2017-03-21 | Sri International | System and method for generating a mixed reality environment |
| US8666142B2 (en) | 2008-11-18 | 2014-03-04 | Global Filtration Systems | System and method for manufacturing |
| WO2010124028A2 (en) | 2009-04-21 | 2010-10-28 | Vasylyev Sergiy V | Light collection and illumination systems employing planar waveguide |
| DE102009003069A1 (de) | 2009-05-13 | 2010-11-25 | Seereal Technologies S.A. | 3D-Anzeigedisplay mit steuerbarer Vorrichtung zum Nachführen von Sichtbarkeitsbereichen |
| US8345144B1 (en) | 2009-07-15 | 2013-01-01 | Adobe Systems Incorporated | Methods and apparatus for rich image capture with focused plenoptic cameras |
| US9083958B2 (en) | 2009-08-06 | 2015-07-14 | Qualcomm Incorporated | Transforming video data in accordance with three dimensional input formats |
| WO2011042711A2 (en) | 2009-10-09 | 2011-04-14 | Milan Momcilo Popovich | Compact edge illuminated diffractive display |
| EP2488912B1 (en) | 2009-10-12 | 2019-07-24 | The Trustees Of Columbia University In The City Of New York | Waveguide comprising photonic crystal for outcoupling light of specific wavelengths |
| US8493383B1 (en) * | 2009-12-10 | 2013-07-23 | Pixar | Adaptive depth of field sampling |
| US9326675B2 (en) | 2009-12-24 | 2016-05-03 | Microsoft Technology Licensing, Llc | Virtual vision correction for video display |
| US20130250150A1 (en) | 2010-05-03 | 2013-09-26 | Michael R. Malone | Devices and methods for high-resolution image and video capture |
| KR101756910B1 (ko) | 2010-05-11 | 2017-07-26 | 삼성전자주식회사 | 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법 |
| WO2011158752A1 (ja) | 2010-06-15 | 2011-12-22 | シャープ株式会社 | 表示装置およびその製造方法 |
| KR102251546B1 (ko) | 2010-07-06 | 2021-05-14 | 시리얼 테크놀로지즈 에스.에이. | 홀로그래픽 또는 입체 디스플레이를 위한 빔 확장 및 각종 콜리메이터 |
| US20120050833A1 (en) | 2010-08-30 | 2012-03-01 | Massachusetts Institute Of Technology | Methods and Apparatus for Holographic Animation |
| WO2012047216A1 (en) | 2010-10-06 | 2012-04-12 | Hewlett-Packard Development Company, L.P. | Systems and methods for acquiring and processing image data produced by camera arrays |
| US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
| JP2014522591A (ja) | 2011-05-25 | 2014-09-04 | サード ディメンション アイピー リミテッド ライアビリティー カンパニー | 角スライス実像３ｄディスプレイのためのアライメント、キャリブレーション、およびレンダリングのシステムおよび方法 |
| EP2551827A3 (en) | 2011-07-28 | 2017-08-02 | Sony Mobile Communications AB | Presenting three dimensional depth |
| US8917453B2 (en) | 2011-12-23 | 2014-12-23 | Microsoft Corporation | Reflective array waveguide |
| EP2618103A1 (de) | 2012-01-17 | 2013-07-24 | Hexagon Technology Center GmbH | Verfahren, System und Computerprogramm zum Messen eines Winkels zwischen zwei räumlich voneinander entfernten Elementen und dessen Verwendung |
| JP5845123B2 (ja) | 2012-03-22 | 2016-01-20 | 日本放送協会 | ３次元モデル−インテグラル画像変換装置およびそのプログラム |
| KR20130112541A (ko) | 2012-04-04 | 2013-10-14 | 삼성전자주식회사 | 플레놉틱 카메라 장치 |
| CN106125308B (zh) | 2012-04-25 | 2019-10-25 | 罗克韦尔柯林斯公司 | 用于显示图像的装置和方法 |
| US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
| US9860522B2 (en) * | 2012-08-04 | 2018-01-02 | Paul Lapstun | Head-mounted light field display |
| US9703019B2 (en) | 2012-08-28 | 2017-07-11 | President And Fellows Of Harvard College | Adaptive optic and acoustic devices |
| US9143673B2 (en) | 2012-09-19 | 2015-09-22 | Google Inc. | Imaging device with a plurality of pixel arrays |
| RU2015122885A (ru) | 2012-11-16 | 2017-01-10 | Конинклейке Филипс Н.В. | Отражательный или работающий на пропускание и отражение автостереоскопический дисплей со сниженными эффектами полосчатости |
| JP6076083B2 (ja) | 2012-12-26 | 2017-02-08 | 日本放送協会 | 立体画像補正装置及びそのプログラム |
| KR101896339B1 (ko) | 2012-12-27 | 2018-09-10 | 삼성전자주식회사 | 다수의 프로젝터들을 사용하는 광필드 디스플레이의 보정 방법 및 장치 |
| US20150262424A1 (en) * | 2013-01-31 | 2015-09-17 | Google Inc. | Depth and Focus Discrimination for a Head-mountable device using a Light-Field Display System |
| US9497380B1 (en) | 2013-02-15 | 2016-11-15 | Red.Com, Inc. | Dense field imaging |
| CN103248905A (zh) | 2013-03-22 | 2013-08-14 | 深圳市云立方信息科技有限公司 | 一种模仿全息3d场景的显示装置和视觉显示方法 |
| US10062210B2 (en) | 2013-04-24 | 2018-08-28 | Qualcomm Incorporated | Apparatus and method for radiance transfer sampling for augmented reality |
| WO2014188149A1 (en) | 2013-05-20 | 2014-11-27 | Milan Momcilo Popovich | Holographic waveguide eye tracker |
| CN105247860B (zh) | 2013-06-05 | 2017-12-19 | 索尼公司 | 图像处理设备及图像处理方法 |
| US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| WO2015005672A1 (en) | 2013-07-09 | 2015-01-15 | Samsung Electronics Co., Ltd. | Image generating apparatus and method and non-transitory recordable medium |
| US9817626B2 (en) | 2013-07-25 | 2017-11-14 | Empire Technology Development Llc | Composite display with multiple imaging properties |
| WO2015071903A1 (en) | 2013-11-14 | 2015-05-21 | Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. | Printed optics system |
| JP2016537901A (ja) | 2013-11-22 | 2016-12-01 | ヴィディノティ エスアーＶｉｄｉｎｏｔｉ Ｓａ | ライトフィールド処理方法 |
| US9456134B2 (en) | 2013-11-26 | 2016-09-27 | Pelican Imaging Corporation | Array camera configurations incorporating constituent array cameras and constituent cameras |
| JP2015114775A (ja) | 2013-12-10 | 2015-06-22 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| US10244223B2 (en) * | 2014-01-10 | 2019-03-26 | Ostendo Technologies, Inc. | Methods for full parallax compressed light field 3D imaging systems |
| US20150197062A1 (en) | 2014-01-12 | 2015-07-16 | Zohar SHINAR | Method, device, and system of three-dimensional printing |
| US9746686B2 (en) | 2014-05-19 | 2017-08-29 | Osterhout Group, Inc. | Content position calibration in head worn computing |
| US9369259B2 (en) | 2014-02-13 | 2016-06-14 | Farrokh Mohamadi | W-band combiner-splitter fabricated using 3-D printing |
| US10048647B2 (en) | 2014-03-27 | 2018-08-14 | Microsoft Technology Licensing, Llc | Optical waveguide including spatially-varying volume hologram |
| US9786986B2 (en) | 2014-04-07 | 2017-10-10 | Kymeta Coproration | Beam shaping for reconfigurable holographic antennas |
| US9478036B2 (en) | 2014-04-14 | 2016-10-25 | Nokia Technologies Oy | Method, apparatus and computer program product for disparity estimation of plenoptic images |
| US20160014395A1 (en) | 2014-07-10 | 2016-01-14 | Arete Associates | Data fusion processing to identify obscured objects |
| WO2016007920A1 (en) | 2014-07-11 | 2016-01-14 | New York University | Three dimensional tactile feedback system |
| EP3663849A1 (en) | 2014-07-31 | 2020-06-10 | Vuzix Corporation | Image and wave field projection through diffusive media |
| US9360668B2 (en) | 2014-08-07 | 2016-06-07 | Continental Automotive Systems, Inc. | Dynamically calibrated head-up display |
| US10529059B2 (en) | 2014-08-11 | 2020-01-07 | The Regents Of The University Of California | Vision correcting display with aberration compensation using inverse blurring and a light field display |
| JP6388435B2 (ja) | 2014-08-21 | 2018-09-12 | 日本放送協会 | 画像生成装置、画像生成方法、及びプログラム |
| WO2016048402A2 (en) | 2014-09-26 | 2016-03-31 | Reald | Multiscopic image capture system |
| WO2016046514A1 (en) | 2014-09-26 | 2016-03-31 | LOKOVIC, Kimberly, Sun | Holographic waveguide opticaltracker |
| US20160091786A1 (en) | 2014-09-30 | 2016-03-31 | Google Inc. | Screen configuration for display system |
| US10656596B2 (en) | 2014-10-09 | 2020-05-19 | EagleMae Ventures LLC | Video display and method providing vision correction for multiple viewers |
| EP3223678A4 (en) | 2014-11-26 | 2018-08-01 | Eyekon E.r.d. Ltd. | Dynamic computer images for improving visual perception |
| JP6602867B2 (ja) | 2014-12-22 | 2019-11-06 | サイバーオプティクス コーポレーション | 三次元計測システムの校正を更新する方法 |
| US9544583B2 (en) | 2015-01-09 | 2017-01-10 | Ricoh Company, Ltd. | Object space calibration of plenoptic imaging systems |
| CN104837003B (zh) | 2015-04-03 | 2017-05-17 | 深圳市魔眼科技有限公司 | 一种全息立体显示用于矫正视力的移动终端及方法 |
| CN205185315U (zh) | 2015-10-14 | 2016-04-27 | 北京工业大学 | 3d立体复印机 |
| US10416454B2 (en) | 2015-10-25 | 2019-09-17 | Facebook Technologies, Llc | Combination prism array for focusing light |
| CN105629620B (zh) | 2015-12-31 | 2019-03-15 | 武汉天马微电子有限公司 | 折射透镜及其驱动方法、显示装置 |
| WO2017127897A1 (en) | 2016-01-27 | 2017-08-03 | Paul Lapstun | Shuttered waveguide light field display |
| US9945988B2 (en) | 2016-03-08 | 2018-04-17 | Microsoft Technology Licensing, Llc | Array-based camera lens system |
| NZ743841A (en) | 2016-07-15 | 2018-12-21 | Light Field Lab Inc | Energy propagation and transverse anderson localization with two-dimensional, light field and holographic relays |
| WO2018014045A2 (en) | 2016-07-15 | 2018-01-18 | Light Field Lab, Inc. | Method of calibration for holographic energy directing systems |
| WO2018014046A1 (en) | 2016-07-15 | 2018-01-18 | Light Field Lab, Inc. | Encoded energy waveguides for holographic super resolution |
| US10757400B2 (en) | 2016-11-10 | 2020-08-25 | Manor Financial, Inc. | Near eye wavefront emulating display |
| CA2959820A1 (en) * | 2017-03-03 | 2018-09-03 | Evolution Optiks Limited | Vision correction system and method, and light field display and barrier therefor |
| CN107103638B (zh) * | 2017-05-27 | 2020-10-16 | 杭州万维镜像科技有限公司 | 一种虚拟场景与模型的快速渲染方法 |
| US10583613B2 (en) | 2017-06-19 | 2020-03-10 | International Business Machines Corporation | 3D printing on the surface of an acoustic hologram |
| US10490599B2 (en) * | 2017-07-13 | 2019-11-26 | Applied Materials, Inc. | Collimated, directional micro-LED light field display |
-
2019
- 2019-01-14 US US16/635,136 patent/US11650354B2/en active Active
- 2019-01-14 WO PCT/US2019/013554 patent/WO2019140414A1/en active Application Filing
- 2019-01-14 EP EP19739021.4A patent/EP3737997A4/en active Pending
- 2019-01-14 JP JP2020538963A patent/JP7274682B2/ja active Active
- 2019-01-14 KR KR1020207023603A patent/KR20200116942A/ko active IP Right Grant
- 2019-01-14 CN CN201980018331.9A patent/CN112074782B/zh active Active
- 2019-01-14 AU AU2019206713A patent/AU2019206713A1/en active Pending
- 2019-01-14 CA CA3088376A patent/CA3088376A1/en active Pending
-
2023
- 2023-04-04 JP JP2023061038A patent/JP7521745B2/ja active Active
- 2023-04-20 US US18/136,959 patent/US20230341592A1/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022124437A1 (ko) * | 2020-12-08 | 2022-06-16 | 한국전자기술연구원 | 호겔 단위로 경화하는 홀로그래픽 프린팅 방법 |
| KR102461478B1 (ko) * | 2021-05-03 | 2022-11-03 | (주)이머시브캐스트 | 이미지 내의 객체 떨림 감소를 위한 클라우드 vr 장치 |
| KR102408198B1 (ko) * | 2022-01-14 | 2022-06-13 | (주)이브이알스튜디오 | 3차원 객체의 렌더링을 위한 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112074782A (zh) | 2020-12-11 |
| JP2021512394A (ja) | 2021-05-13 |
| EP3737997A4 (en) | 2021-09-29 |
| EP3737997A1 (en) | 2020-11-18 |
| JP2023098929A (ja) | 2023-07-11 |
| US11650354B2 (en) | 2023-05-16 |
| CN112074782B (zh) | 2024-09-24 |
| JP7274682B2 (ja) | 2023-05-17 |
| CA3088376A1 (en) | 2019-07-18 |
| US20230341592A1 (en) | 2023-10-26 |
| US20200380762A1 (en) | 2020-12-03 |
| WO2019140414A1 (en) | 2019-07-18 |
| JP7521745B2 (ja) | 2024-07-24 |
| AU2019206713A1 (en) | 2020-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230341592A1 (en) | Systems and methods for rendering data from a 3d environment | |
| US11874493B2 (en) | System and methods of universal parameterization of holographic sensory data generation, manipulation and transport | |
| WO2018014047A1 (en) | System and methods of holographic sensory data generation, manipulation and transport | |
| WO2018014040A1 (en) | Holographic superimposition of real world plenoptic opacity modulation through transparent waveguide arrays | |
| US20240151896A1 (en) | System and methods of universal parameterization of holographic sensory data generation, manipulation and transport | |
| JP2024156664A (ja) | ３ｄ環境からデータをレンダリングするためのシステムおよび方法 | |
| NZ789927A (en) | System and methods of holographic sensory data generation, manipulation and transport | |
| WO2024216300A2 (en) | System and methods for modulating and propagating energy wavefronts |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |