KR20220012285A - 라이트필드 디스플레이 시스템 기반 상업용 시스템 - Google Patents
라이트필드 디스플레이 시스템 기반 상업용 시스템 Download PDFInfo
- Publication number
- KR20220012285A KR20220012285A KR1020217041455A KR20217041455A KR20220012285A KR 20220012285 A KR20220012285 A KR 20220012285A KR 1020217041455 A KR1020217041455 A KR 1020217041455A KR 20217041455 A KR20217041455 A KR 20217041455A KR 20220012285 A KR20220012285 A KR 20220012285A
- Authority
- KR
- South Korea
- Prior art keywords
- holographic
- display
- display system
- customer
- energy
- Prior art date
Links
- 230000001953 sensory effect Effects 0.000 claims abstract description 117
- 230000033001 locomotion Effects 0.000 claims abstract description 39
- 230000004044 response Effects 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 22
- 230000003993 interaction Effects 0.000 claims description 12
- 238000010801 machine learning Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 230000004438 eyesight Effects 0.000 claims description 5
- 230000007613 environmental effect Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 49
- 230000002776 aggregation Effects 0.000 description 32
- 238000004220 aggregation Methods 0.000 description 32
- 239000003795 chemical substances by application Substances 0.000 description 29
- 230000009471 action Effects 0.000 description 28
- 238000013473 artificial intelligence Methods 0.000 description 25
- 238000003384 imaging method Methods 0.000 description 23
- 239000000463 material Substances 0.000 description 21
- 230000002787 reinforcement Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 238000009826 distribution Methods 0.000 description 15
- 230000008859 change Effects 0.000 description 13
- 230000002452 interceptive effect Effects 0.000 description 12
- 238000012546 transfer Methods 0.000 description 10
- 241001481833 Coryphaena hippurus Species 0.000 description 9
- 230000006399 behavior Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 8
- 230000000295 complement effect Effects 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 239000011521 glass Substances 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000002604 ultrasonography Methods 0.000 description 7
- 229920000742 Cotton Polymers 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000002457 bidirectional effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 230000006855 networking Effects 0.000 description 3
- 239000002304 perfume Substances 0.000 description 3
- 229920000728 polyester Polymers 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 239000002023 wood Substances 0.000 description 3
- 241000196324 Embryophyta Species 0.000 description 2
- 241000282320 Panthera leo Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 210000002268 wool Anatomy 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241000245165 Rhododendron ponticum Species 0.000 description 1
- 206010039740 Screaming Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- -1 blue color Substances 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 239000003205 fragrance Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 210000000412 mechanoreceptor Anatomy 0.000 description 1
- 108091008704 mechanoreceptors Proteins 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000012788 optical film Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
- G02B30/56—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
- G03H1/024—Hologram nature or properties
- G03H1/0248—Volume holograms
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H3/00—Holographic processes or apparatus using ultrasonic, sonic or infrasonic waves for obtaining holograms; Processes or apparatus for obtaining an optical image from them
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G06N3/0454—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
- G06Q30/0255—Targeted advertisements based on user history
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
- G03H2001/0055—Adaptation of holography to specific applications in advertising or decorative art
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
- G03H2001/0061—Adaptation of holography to specific applications in haptic applications when the observer interacts with the holobject
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Human Computer Interaction (AREA)
- Development Economics (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Holo Graphy (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
라이트필드(LF) 디스플레이 시스템은 LF 디스플레이 어셈블리를 포함한다. LF 디스플레이 어셈블리는, LF 디스플레이 시스템의 가시 부피 내의 고객에게 홀로그래픽 상품을 제공하도록 구성된 하나 이상의 LF 디스플레이 모듈들을 포함한다. LF 디스플레이 시스템은 또한 홀로그래픽 상품의 제공에 반응하여 고객 입력을 수신하도록 구성된다. LF 디스플레이 시스템은 LF 디스플레이 시스템의 가시 부피 내의 고객을 추적할 수 있다. LF 디스플레이 시스템은 수신된 고객 입력 및/또는 추적된 고객 이동에 기초하여 홀로그래픽 상품의 프레젠테이션을 업데이트할 수 있다. LF 디스플레이 시스템은 감각 피드백 시스템을 통해 다른 감각 피드백을 더 제공할 수 있다. LF 디스플레이 시스템은 고객 프로파일 하에 고객 정보를 저장하기 위한 고객 프로파일링 시스템을 더 포함할 수 있다. LF 디스플레이 시스템은 LF 디스플레이 모듈들에 의해 제공되는 홀로그래픽 비서를 통해 정보를 더 제공할 수 있다.
Description
관련 출원의 교차 참조
본 출원은 미국 특허출원 제16/418,237호(2019년 5월 21일 출원)의 우선권을 주장하며, 그 전문이 참고로 포함된다. 본 출원은 국제출원 PCT/US2017/042275, PCT/US2017/042276, PCT/US2017/042418, PCT/US2017/042452, PCT/US2017/042462, PCT/US2017/042466, PCT/US2017/042467, PCT/US2017/042468, PCT/US2017/042469, PCT/US2017/042470, 및 PCT/US2017/042679와 더 관련되며, 이들 모두 전체로서 본원에 참고로 포함된다.
본 개시는 상업용 시스템에 관한 것이며, 구체적으로는 라이트필드 디스플레이(LF: light field display) 기반의 상업용 시스템에 관한 것이다.
통상적인 상업용 시스템은 도매, 소매, 이윤을 내는 것 및/또는 상업과 관련한 것, 또는 이들의 일부 조합으로 크게 분류될 수 있다. 이 때, 소매 및 도매는 실제 상점 환경 및 온라인 쇼핑 환경으로 분류될 수 있다. 실제 상점 환경에서, 상점의 고객은 종종 하나 이상의 상점 직원의 도움을 받으면서 스스로 여유를 가지고 상점을 둘러본다. 의류 매장에서 고객들은 의류 제품을 착용해 볼 수 있지만, 수많은 의류 제품을 착용하려고 할 때에는 지루한 노력이 될 수 있다. 일부 다른 상점 설정에서, 고객은 상품과 상호작용할 수 있는 옵션을 갖지 않을 수도 있고, 상점에 머무르면서 더 큰 상품을 보지 못할 수 있다. 예를 들어, 고객은 그들의 집에 가구 상점의 판매용 가구를 시각화하기를 원할 수 있다. 또 다른 예에서, 고객은 조리 도구가 부엌의 다양한 벽 색상들과 얼마나 어울리는지를 보고 싶어할 수 있다. 이와 달리, 온라인 쇼핑 설정에서, 많은 고객들은 그들의 개인 컴퓨팅 장치를 통해 원격으로 쇼핑할 수 있다. 그러나, 많은 온라인 소매 사이트들은 본질적으로 고객들이 온라인 소매 사이트들을 통해 상품을 착용해볼 수 없으며, 잠재적으로 다수의 고객들이, 온라인에 있는 설명들과 정확하게 일치하지 않는 상품을 받아서 만족하지 못하게 한다. 또한, 이러한 온라인 소매 사이트들 중 다수는 일반적으로 어떠한 쇼핑 보조를 제공하지 않는다.
상업적 응용을 위한 라이트필드(LF: light field) 디스플레이 시스템이 개시된다. LF 디스플레이 시스템은 홀로그래픽 콘텐츠를 제공하도록 구성된다. 홀로그래픽 콘텐츠는 LF 디스플레이 시스템으로부터 투사된 홀로그램인 홀로그래픽 객체(예를 들어, 홀로그래픽 비서, 판매 제품, 가구 등)를 사용하여 표현되는 홀로그래픽 상품을 포함할 수 있다. LF 디스플레이 시스템은 하나 이상의 LF 디스플레이 모듈들을 포함하는 LF 디스플레이 어셈블리를 갖는다. 하나 이상의 LF 디스플레이 모듈들은, LF 디스플레이 시스템의 가시 부피 내의 고객에게 홀로그래픽 객체를 포함하는 홀로그래픽 상품을 제공하도록 구성된다. LF 디스플레이 시스템은 홀로그래픽 상품의 제공에 반응하여 입력을 수신하도록 구성된다.
일부 실시예들에서, LF 디스플레이 시스템은 상품에 대한 홀로그래픽 콘텐츠 및 파라미터들의 세트에 부분적으로 기초하여 홀로그래픽 객체에 대한 디스플레이 명령들을 생성한다. 하나 이상의 LF 디스플레이 모듈들은 디스플레이 명령들에 따라 가시 부피 내에 홀로그래픽 객체를 제공하며, 홀로그래픽 객체는 투사된 이미지이다. 입력은 홀로그래픽 객체의 프레젠테이션을 조절하기 위해 수신되고, LF 디스플레이 시스템은 입력에 기초하여 디스플레이 명령들을 업데이트한다. LF 디스플레이 어셈블리는 LF 디스플레이 어셈블리를 이용하여 업데이트된 디스플레이 명령들에 따라 수정된 홀로그래픽 객체를 제공한다.
도 1은 하나 이상의 실시예들에 따른 홀로그래픽 객체를 제공하는 라이트필드 디스플레이 모듈의 도면이다.
도 2a는 하나 이상의 실시예들에 따른, 라이트필드 디스플레이 모듈의 일부분의 단면도이다.
도 2b는 하나 이상의 실시예들에 따른, 라이트필드 디스플레이 모듈의 일부분의 단면도이다.
도 3a는 하나 이상의 실시예들에 따른, 라이트필드 디스플레이 모듈의 사시도이다.
도 3b는 하나 이상의 실시예들에 따른, 인터리빙(interleaved)된 에너지 중계 장치들을 포함하는 라이트필드 디스플레이 모듈의 단면도이다.
도 4a는 하나 이상의 실시예들에 따른, 단일 측면의 이음매 없는 표면 환경을 형성하기 위해 2차원으로 타일링(tiled)되는 라이트필드 디스플레이 시스템의 일부의 사시도이다.
도 4b는 하나 이상의 실시예들에 따른, 다중-측면의 이음매 없는 표면 환경에서의 라이트필드 디스플레이 시스템의 일부의 사시도이다.
도 4c는 하나 이상의 실시예들에 따른, "날개형(winged)" 구성의 집합 표면을 갖는 LF 디스플레이 시스템의 평면도를 도시한다.
도 4d는 하나 이상의 실시예들에 따른, "경사진(sloped)" 구성의 집합 표면을 갖는 LF 디스플레이 시스템의 측면도를 예시한다.
도 4e는 하나 이상의 실시예들에 따른, 방의 전면 벽 위에 집합 표면을 갖는 LF 디스플레이 시스템의 평면도를 도시한다.
도 4f는 하나 이상의 실시예들에 따른, 방의 전면 벽 위에 집합 표면을 갖는 LF 디스플레이 시스템의 측면도를 도시한다.
도 5a는 하나 이상의 실시예들에 따른 LF 디스플레이 시스템의 블록도이다.
도 5b는 하나 이상의 실시예들에 따른, 상점용 LF 디스플레이 시스템을 포함하는 LF 상점 플랫폼 환경의 블록도이다.
도 6은 하나 이상의 실시예들에 따른, 온라인 쇼핑을 위한 LF 디스플레이 시스템의 도면이다.
도 7은 하나 이상의 실시예들에 따른, 홀로그래픽 상품을 제공하도록 구성된 LF 디스플레이 시스템의 도면이다.
도 8은 하나 이상의 실시예들에 따른, 디스플레이 케이스로서 구현되는 LF 디스플레이 시스템의 도면이다.
도 9a는 하나 이상의 실시예들에 따른, 실제 이미지인 홀로그래픽 객체를 포함하는 홀로그래픽 콘텐츠를 제공하는 LF 디스플레이 시스템의 도면이다.
도 9b는 하나 이상의 실시예들에 따른, 하나 이상의 가상 이미지를 포함하는 홀로그래픽 콘텐츠를 제공하는 도 9a의 LF 디스플레이 시스템의 도면이다.
도 10은 하나 이상의 실시예들에 따른, 고객에게 홀로그래픽 상품을 디스플레이하도록 구성된 LF 디스플레이 시스템의 도면이다.
도 11은 하나 이상의 실시예들에 따른, 상점의 고객들을 위한 홀로그래픽 소매상 비서를 제공하도록 상점에서 구현되는 LF 디스플레이 시스템의 도면이다.
도 2a는 하나 이상의 실시예들에 따른, 라이트필드 디스플레이 모듈의 일부분의 단면도이다.
도 2b는 하나 이상의 실시예들에 따른, 라이트필드 디스플레이 모듈의 일부분의 단면도이다.
도 3a는 하나 이상의 실시예들에 따른, 라이트필드 디스플레이 모듈의 사시도이다.
도 3b는 하나 이상의 실시예들에 따른, 인터리빙(interleaved)된 에너지 중계 장치들을 포함하는 라이트필드 디스플레이 모듈의 단면도이다.
도 4a는 하나 이상의 실시예들에 따른, 단일 측면의 이음매 없는 표면 환경을 형성하기 위해 2차원으로 타일링(tiled)되는 라이트필드 디스플레이 시스템의 일부의 사시도이다.
도 4b는 하나 이상의 실시예들에 따른, 다중-측면의 이음매 없는 표면 환경에서의 라이트필드 디스플레이 시스템의 일부의 사시도이다.
도 4c는 하나 이상의 실시예들에 따른, "날개형(winged)" 구성의 집합 표면을 갖는 LF 디스플레이 시스템의 평면도를 도시한다.
도 4d는 하나 이상의 실시예들에 따른, "경사진(sloped)" 구성의 집합 표면을 갖는 LF 디스플레이 시스템의 측면도를 예시한다.
도 4e는 하나 이상의 실시예들에 따른, 방의 전면 벽 위에 집합 표면을 갖는 LF 디스플레이 시스템의 평면도를 도시한다.
도 4f는 하나 이상의 실시예들에 따른, 방의 전면 벽 위에 집합 표면을 갖는 LF 디스플레이 시스템의 측면도를 도시한다.
도 5a는 하나 이상의 실시예들에 따른 LF 디스플레이 시스템의 블록도이다.
도 5b는 하나 이상의 실시예들에 따른, 상점용 LF 디스플레이 시스템을 포함하는 LF 상점 플랫폼 환경의 블록도이다.
도 6은 하나 이상의 실시예들에 따른, 온라인 쇼핑을 위한 LF 디스플레이 시스템의 도면이다.
도 7은 하나 이상의 실시예들에 따른, 홀로그래픽 상품을 제공하도록 구성된 LF 디스플레이 시스템의 도면이다.
도 8은 하나 이상의 실시예들에 따른, 디스플레이 케이스로서 구현되는 LF 디스플레이 시스템의 도면이다.
도 9a는 하나 이상의 실시예들에 따른, 실제 이미지인 홀로그래픽 객체를 포함하는 홀로그래픽 콘텐츠를 제공하는 LF 디스플레이 시스템의 도면이다.
도 9b는 하나 이상의 실시예들에 따른, 하나 이상의 가상 이미지를 포함하는 홀로그래픽 콘텐츠를 제공하는 도 9a의 LF 디스플레이 시스템의 도면이다.
도 10은 하나 이상의 실시예들에 따른, 고객에게 홀로그래픽 상품을 디스플레이하도록 구성된 LF 디스플레이 시스템의 도면이다.
도 11은 하나 이상의 실시예들에 따른, 상점의 고객들을 위한 홀로그래픽 소매상 비서를 제공하도록 상점에서 구현되는 LF 디스플레이 시스템의 도면이다.
개요
라이트필드(LF) 디스플레이 시스템은 적어도 하나의 홀로그래픽 객체를 포함하는 홀로그래픽 상품을 소매 시스템의 고객들에게 제공하는 상업용 시스템으로서 또는 상업용 시스템의 구성요소로서 구현된다. 홀로그래픽 상품은 일반적으로 LF 디스플레이 시스템에 의해 디스플레이되는 홀로그래픽 콘텐츠를 포함하는 용어이다. 홀로그래픽 상품은 물리적 상품 아이템, 디지털 자산(예를 들어, 가상 게임, 소셜 네트워크, 또는 다른 온라인 시스템 내의 게임 아이템과 같은 제3자 시스템 상의 자산), 렌더링될 서비스, 또 다른 구매 가능한 물건, 또는 이들의 임의의 조합을 나타낼 수 있다. 이하에서 설명되는 실시예들은 "소매 시스템들"을 지칭하지만, 본 개시에서 설명되는 원리들은 도매 시스템들을 포함하는 모든 상업용 시스템들로서 또는 그의 구성요소로서 구현되는 LF 디스플레이 시스템의 실시예들로 확장된다. LF 디스플레이 시스템은, LF 디스플레이 시스템의 가시 부피 내의 하나 이상의 관찰자들에게 보이게 될 하나 이상의 홀로그래픽 객체들을 포함하는 홀로그래픽 콘텐츠를 제공하도록 구성된 LF 디스플레이 어셈블리를 포함한다. 홀로그래픽 개체는 또한 다른 감각 자극(예를 들어, 촉각, 청각, 또는 후각)으로 증강될 수 있다. 예를 들어, LF 디스플레이 시스템 내의 음향 방출 장치는 홀로그래픽 객체의 일부 또는 전부에 대한 촉각 표면을 제공하는 초음파 압력파를 방출할 수 있다. 홀로그래픽 콘텐츠는 추가적인 시각적 콘텐츠(즉, 2D 또는 3D 시각 콘텐츠)를 포함할 수 있다. 결맞은(cohesive) 경험이 가능하도록 보장하기 위한 방출기들의 조절은 다중 방출기 구현들에서의 시스템의 일부이다(즉, 임의의 주어진 시점에서 정확한 햅틱 느낌 및 감각 자극을 제공하는 홀로그래픽 객체들). LF 디스플레이 어셈블리는 홀로그래픽 콘텐츠를 생성하기 위한 하나 이상의 LF 디스플레이 모듈들을 포함할 수 있다. 추가적으로, 하나 이상의 LF 디스플레이 모듈들은 단일 면의 또는 다중-면의 이음매 없는 표면 환경을 형성할 수 있다.
일부 실시예들에서, LF 디스플레이 시스템은 시스템이 적어도 하나의 유형의 에너지를 동시에 방출하면서도, 동시에, 관찰자들에게 반응하고 반응형 경험을 생성하기 위해 적어도 하나의 유형의 에너지를 흡수할 수 있게 하는 구성요소들을 포함할 수 있다. 예를 들어, LF 디스플레이 시스템은 제공된 홀로그래픽 객체들의 햅틱 지각을 위한 초음파뿐만 아니라 보기 위한 홀로그래픽 객체들 모두를 방출할 수 있고, 동시에 관찰자들 및 다른 장면 분석을 추적하기 위한 이미징 정보를 흡수할 수 있으며, 또한 관찰자들에 의한 터치 반응을 검출하기 위해 제공된 홀로그래픽 객체들에 관하여 관찰자들의 움직임을 추적할 수 있다. 또한, LF 디스플레이 시스템은 고객에 의한 음성 명령들을 통해 입력을 수신하기 위한 하나 이상의 음향 수신 장치를 가질 수 있다. 일 예로서, 이러한 시스템은, 관찰자에 의해 가상으로 "터치될" 때, 터치 자극에 반응하여 변형될 수 있는 홀로그래픽 의류 아이템을 투사할 수 있다. 주위 환경의 에너지 감지를 수행하는 LF 디스플레이 시스템 구성요소들은 에너지를 방출하고 흡수하는 양방향 에너지 요소를 통해 디스플레이 표면에 통합될 수 있고/있거나, 음향 방출/수신 장치 및 카메라와 같은 이미징 캡처 장치와 같이 디스플레이 표면으로부터 분리되어 있는 전용 센서일 수 있다.
LF 디스플레이 시스템은 상업용 시스템의 많은 실시예들에서 서로 다른 상업적 경험을 고객에게 제공하도록 구성된다. 고객, 관찰자 및 사용자는 본 개시에 설명된 바와 같이 모두 동의어이다. 일부 실시예들에서, LF 디스플레이 시스템은 온라인 쇼핑 시 홀로그래픽 상품을 제공하도록 구성된 집 환경에서 구현될 수 있으며, 그 예는 도 6에서 후술된다. LF 디스플레이 시스템은 통상적인 온라인 상업용 시스템들에 의해 디스플레이되는 온라인 상품들의 2D 표현들에 제한되지 않고 관찰자가 3D로 홀로그래픽 상품들을 더 잘 시각화하기 위해 상이한 관점에서 관찰할 수 있는 홀로그래픽 상품을 제공할 수 있다. 또한, LF 디스플레이 시스템은 고객이 홀로그래픽 상품의 배열을 변경할 수 있게 하여 고객으로 하여금 자신의 집 주변 또는 상점에서 다양한 상품의 배열을 시각화할 수 있게 하며, 그 예는 도 7에서 후술된다. 다른 경우에, LF 디스플레이 시스템은 또한 고객의 몸에 홀로그래픽 상품을 디스플레이하고 고객이 홀로그래픽 상품과 상호작용할 수 있게 하며, 이들의 예는 도 9a 및 도 10에서 후술된다. 이러한 경우, LF 디스플레이 시스템은 홀로그래픽 상품과의 현실적인 상호작용을 증가시키기 위해 다른 감각 자극을 더 제공한다. 일부 실시예들에서, 다른 감각 자극들은 제공된 홀로그래픽 상품에 기초하여 상이한 유형의 햅틱 표면들을 시뮬레이션하는 촉각 피드백을 포함할 수 있는데, 예를 들어, 벨벳을 위한 햅틱 표면은 코듀로이(corduroy)를 위한 햅틱 표면과는 상이할 것이다.
일부 실시예들에서, LF 디스플레이 시스템은 물리적 상점 환경에서 구현될 수 있고, 물리적 상점에서 쇼핑하는 동안 홀로그래픽 상품을 고객들에게 제공하도록 구성될 수 있다. LF 디스플레이 시스템은 홀로그래픽 상품을 물리적 상점 내의 고객에게 제공하는 다중-면의 이음매 없는 표면 환경일 수 있다. 일부 실시예들에서, LF 디스플레이 시스템은 물리적 상점의 전체 섹션, 인클로저, 또는 이들의 임의의 조합으로서 구현된다. 예를 들어, LF 디스플레이 시스템은 고객이 홀로그래픽 가구를 보는 데에 도움을 주기 위해 다른 다양한 특성들과 함께 LF 디스플레이 시스템 내의 홀로그래픽 가구를 변형하게 할 수 있으며, 그 예는 도 7에 설명되어 있다. 홀로그래픽 가구의 변형은 상이한 홀로그래픽 가구를 디스플레이하게 하는 전환, 홀로그래픽 가구의 변형된 형태를 초래하는 홀로그래픽 가구의 파라미터들을 변경하는 것(예를 들어, 홀로그래픽 가구의 크기 조절, 홀로그래픽 가구의 이동, 홀로그래픽 가구의 회전, 홀로그래픽 가구의 색상 변경, 홀로그래픽 가구의 햅틱 표면 변화 등), 및 이들의 임의의 조합을 포함하지만, 이에 제한되지 않는다.
일부 실시예들에서, LF 디스플레이 시스템은 상업용 시스템(가정 또는 상점에서 구성됨)이 디스플레이 상에 홀로그래픽 상품을 제공하게 하는 디스플레이 케이스로서 구현되고, 그 예는 도 8에 기술되어 있다. 이러한 실시예들에서, 디스플레이 케이스로서 구현되는 LF 디스플레이 시스템은 고가의 상품들을 고가의 상품으로서 제공하는 것이 아니라 홀로그래픽 객체들로서 제공하는, 위험이 없는 옵션을 제공한다.
일부 실시예들에서, LF 디스플레이 시스템은 홀로그래픽 투사 상의 홀로그래픽 상품을 고객의 홀로그래픽 투사에 제공하는 단일 면의 이음매 없는 표면 환경으로서 구성된다. 홀로그래픽 상품을 이용한 고객의 홀로그래픽 투사는, LF 디스플레이의 표면과 관찰자 사이에 디스플레이될 수 있고, 그 예들은 LF 디스플레이의 표면 뒤에 디스플레이된 것으로 도 9a에서 설명되어 있거나, LF 디스플레이의 표면에 의해 분할되도록 도 9b에서 설명되어 있다. 다른 실시예에서, LF 디스플레이 시스템은 고객이 홀로그래픽 상품과 상호작용할 수 있게 홀로그래픽 상품을 고객에게 투사하도록 구성되며, 그 예는 도 10에서 설명된다. LF 디스플레이 시스템은 또한 물리적 상점 내의 고객들이 쇼핑하는 동안 홀로그래픽 비서를 제공하도록 구성될 수 있으며, 그 예는 도 11에서 설명된다. 홀로그래픽 비서는, 홀로그래픽 비서에 대해 할당된 하나 이상의 고객들만이 자신에게 할당된 홀로그래픽 비서를 볼 수 있도록 LF 디스플레이 시스템에 의해 제공될 수 있다. 추가적으로, LF 디스플레이 시스템은 하나 이상의 고객들에 의해서만 인식될 수 있는 다른 감각 자극들을 제공할 수 있다. LF 디스플레이 시스템은 또한 각각의 고객에게 개인화된 콘텐츠를 제공하도록 각각의 고객을 식별하기 위한 관찰자 프로파일링 시스템을 포함할 수 있다. 관찰자 프로파일링 시스템은, 예를 들어, 홀로그래픽 비서를 통해, 홀로그래픽 콘텐츠 또는 추천을 개인화하기 위한 후속 방문 시 사용될 수 있는 물리적 상점에 대한 그의 방문에 관한 다른 정보를 더 기록할 수 있다.
LF 상점 플랫폼은 홀로그래픽 콘텐츠 제공자들이 LF 상점 플랫폼의 고객들에게 홀로그래픽 콘텐츠를 제공하기 위한 홀로그래픽 콘텐츠 제공자용 매체를 제공하며, 그 예는 도 5b에서 설명된다. 기본 실시예에서, LF 상점 플랫폼은 온라인 시스템, 제3자 시스템, 및 하나 이상의 클라이언트 LF 디스플레이 시스템들을 포함한다. 온라인 시스템은 네트워크를 통해 제3자 시스템 및 클라이언트 LF 디스플레이 시스템들과 통신한다. 온라인 시스템은 제3자 시스템으로부터 또는 클라이언트 LF 디스플레이 시스템들로부터 유래될 수 있는 홀로그래픽 콘텐츠를 수신한다. 온라인 시스템은 그러한 홀로그래픽 콘텐츠를 저장하고, 다른 클라이언트 LF 디스플레이 시스템들에 대한 홀로그래픽 콘텐츠의 배포를 조절할 수 있다. 일부 예에서, 온라인 시스템은 홀로그래픽 콘텐츠로 제공되는 클라이언트 LF 디스플레이 시스템의 고객들로부터 보수를 수집한다. 이어서, 온라인 시스템은 홀로그래픽 콘텐츠의 제공자에 대해 보수를 제공할 수 있다.
라이트필드 디스플레이 시스템 개요
도 1은 하나 이상의 실시예들에 따른, 홀로그래픽 객체(120)를 나타내는 라이트필드(LF, light field) 디스플레이 모듈(110)의 도면(100)이다. LF 디스플레이 모듈(110)은 라이트필드(LF) 디스플레이 시스템의 일부이다. LF 디스플레이 시스템은 하나 이상의 LF 디스플레이 모듈들을 사용하여 적어도 하나의 홀로그래픽 객체를 포함하는 홀로그래픽 콘텐츠를 제공한다. LF 디스플레이 시스템은 하나 또는 다수의 관찰자들에게 홀로그래픽 콘텐츠를 제공할 수 있다. 일부 실시예들에서, LF 디스플레이 시스템은 또한 다른 감각 콘텐츠(예를 들어, 터치, 오디오, 냄새, 온도 등)로 홀로그래픽 콘텐츠를 증강시킬 수 있다. 예를 들어, 이하에서 설명되는 바와 같이, 포커싱된 초음파 음파의 투사는 홀로그래픽 객체의 일부 또는 전부의 표면을 시뮬레이션할 수 있는 중간-공기(mid-air)의 촉감을 생성할 수 있다. LF 디스플레이 시스템은 하나 이상의 LF 디스플레이 모듈들(110)을 포함하고, 이는 도 2 내지 도 5와 관련하여 아래에서 상세히 설명된다.
LF 디스플레이 모듈(110)은 홀로그래픽 객체들(예를 들어, 홀로그래픽 객체(120))을 하나 이상의 관찰자들(예를 들어, 관찰자(140))에 제공하는 홀로그래픽 디스플레이이다. LF 디스플레이 모듈(110)은 에너지 장치층(예를 들어, 방출형 전자적 디스플레이 또는 음향 투사 장치) 및 에너지 도파층(예를 들어, 광학 렌즈 어레이)을 포함한다. 추가적으로, LF 디스플레이 모듈(110)은 다수의 에너지 소스들 또는 검출기들을 함께 조합하여 단일 표면을 형성하기 위해, 에너지 중계(relay) 층을 포함할 수 있다. 높은 레벨에서, 에너지 장치(device) 층은 에너지(예를 들어, 홀로그래픽 콘텐츠)를 생성한 다음, 에너지 도파층을 이용하여 하나 이상의 4차원(4D) 라이트필드 기능들에 따른 공간 내의 영역으로 이를 유도한다. LF 디스플레이 모듈(110)은 또한 하나 이상의 유형의 에너지를 동시에 투사 및/또는 감지할 수 있다. 예를 들어, LF 디스플레이 모듈(110)은 가시 부피 내의 초음파 촉각 표면뿐만 아니라 홀로그래픽 이미지를 투사할 수 있는 한편, 동시에 가시 부피로부터 이미징 데이터를 검출할 수 있다. LF 디스플레이 모듈(110)의 동작은 도 2 내지 도 3과 관련하여 아래에서 더 상세히 설명된다.
LF 디스플레이 모듈(110)은 하나 이상의 4D 라이트필드 기능들(예를 들어, 5D 플렌옵틱(plenoptic) 기능으로부터 도출된)을 이용하여 홀로그래픽 객체 부피(160) 내에 홀로그래픽 객체들을 생성한다. 홀로그래픽 객체는 3차원(3D), 2차원(2D), 또는 이들의 일부 조합일 수 있다. 또한, 홀로그래픽 객체들은 다색(예를 들어, 풀(full) 컬러)일 수 있다. 홀로그래픽 객체는 스크린 평면의 전방에, 스크린 평면 뒤에 투사되거나, 스크린 평면에 의해 분할될 수 있다. 홀로그래픽 객체(120)는 홀로그래픽 객체 부피(160) 내의 어디에서나 인식되도록 제공될 수 있다. 홀로그래픽 객체 부피(160) 내의 홀로그래픽 객체는 관찰자(140)에게 공간 내에 떠있는 것처럼 보일 수 있다.
홀로그래픽 객체 부피(160)는 홀로그래픽 객체가 관찰자(140)에 의해 인지될 수 있는 부피를 나타낸다. 홀로그래픽 객체 부피(160)는 홀로그래픽 객체가 디스플레이 영역(150)의 평면 앞에 표시될 수 있도록 디스플레이 영역(150)의 표면 앞에서(즉, 관찰자(140)를 향하여) 연장될 수 있다. 또한, 홀로그래픽 객체 부피(160)는 디스플레이 영역(150)의 표면 뒤에(즉, 관찰자(140)로부터 멀어지게) 연장될 수 있어서, 홀로그래픽 객체가 마치 디스플레이 영역(150)의 평면 뒤에 있는 것처럼 표시될 수 있다. 즉, 홀로그래픽 객체 부피(160)는 디스플레이 영역(150)으로부터 기원하는(예를 들어, 투사되는) 그리고 홀로그래픽 객체를 생성하도록 수렴하는 모든 광선을 포함할 수 있다. 여기서, 광선은 디스플레이 표면의 전방에, 디스플레이 표면에, 또는 디스플레이 표면 뒤에 있는 지점에서 수렴할 수 있다. 보다 단순하게, 홀로그래픽 객체 부피(160)는 홀로그래픽 객체가 관찰자에 의해 인식될 수 있는 모든 부피를 내포한다.
가시 부피(130)는 LF 디스플레이 시스템에 의해 홀로그래픽 객체 부피(160) 내에 표시되는 홀로그래픽 객체들(예를 들어, 홀로그래픽 객체(120))이 완전히 보일 수 있는 공간의 부피이다. 홀로그래픽 객체들은 실제 객체들과 구별할 수 없도록 홀로그래픽 객체 부피(160) 내에 표시될 수 있고, 가시 부피(130) 내에서 보일 수 있다. 홀로그래픽 객체는 물리적으로 존재할 경우에 해당 객체의 표면으로부터 생성되는 것과 동일한 광선을 투사함으로써 형성된다.
일부 경우에, 홀로그래픽 객체 부피(160) 및 대응하는 가시 부피(130)는 단일 관찰자를 위해 설계되도록 상대적으로 작을 수 있다. 다른 실시예들에서, 예를 들어, 도 4, 및 도 6 내지 도 11에 관련하여 이하에서 상세히 설명되는 바와 같이, LF 디스플레이 모듈들은 넓은 범위(예를 들어, 1명 내지 수천명)의 관찰자들을 수용할 수 있는 더 큰 홀로그래픽 객체 부피들 및 대응하는 가시 부피들을 생성하도록 확장 및/또는 타일링될 수 있다. 본 개시에서 제공된 LF 디스플레이 모듈들은, LF 디스플레이의 전체 표면이 홀로그래픽 이미징 광학부(holographic imaging optics)를 포함하고, 비활성 또는 데드(dead) 공간이 없으며, 베젤(bezel)이 필요하지 않도록 제조될 수 있다. 이러한 실시예들에서, LF 디스플레이 모듈들은 이미징 영역이 LF 디스플레이 모듈들 사이의 이음매(seam)에 걸쳐 연속적이도록 타일링될 수 있고, 타일형 모듈들 사이의 접합선은 눈의 시력으로는 실질적으로 검출될 수 없다. 특히, 일부 구성들에서, 디스플레이 표면의 일부는 홀로그래픽 이미징 광학부를 포함하지 않을 수 있지만, 이들은 본원에서 상세히 설명되지 않는다.
가시 부피(130)의 플렉시블한 크기 및/또는 형상은 관찰자로 하여금 가시 부피(130) 내에 제한되지 않게 할 수 있다. 예를 들어, 관찰자(140)는 가시 부피(130) 내에서 다른 위치로 이동할 수 있고, 대응하는 관점으로부터 홀로그래픽 객체(120)의 상이한 뷰를 볼 수 있다. 예를 들어, 도 1을 참조하면, 관찰자(140)는 홀로그래픽 객체(120)가 돌고래의 정면인 것처럼 보이도록 홀로그래픽 객체(120)에 대해 제1 위치에 있다. 관찰자(140)는 돌고래의 상이한 뷰를 보기 위해 홀로그래픽 객체(120)에 대해 다른 위치로 이동할 수 있다. 예를 들어, 관찰자(140)는 마치 관찰자(140)가 실제 돌고래를 보고 있고, 돌고래의 상이한 뷰를 보기 위해 실제 돌고래에 대한 자신의 상대적인 위치를 변경하는 것과 매우 유사하게, 돌고래의 좌측면, 돌고래의 우측면 등을 볼 수 있도록 이동할 수 있다. 일부 실시예들에서, 홀로그래픽 객체(120)는 홀로그래픽 객체(120)에 대해 시야에서 차단되지 않은 선(즉, 객체/사람에 의해 차단되지 않음)을 갖는, 가시 부피(130) 내의 모든 관찰자들에게 보일 수 있다. 이들 관찰자는 홀로그래픽 객체(120)의 상이한 관점을 보기 위해 가시 부피 내에서 움직일 수 있도록, 제한되지 않을 수 있다. 따라서, LF 디스플레이 시스템은 마치 홀로그래픽 객체들이 물리적으로 존재하는 것처럼 복수의 제한되지 않은 관찰자들이 실세계 공간에서 홀로그래픽 객체들의 상이한 관점들을 동시에 볼 수 있도록, 홀로그래픽 객체들을 제공할 수 있다.
이와 달리, 일반적으로, 통상적인 디스플레이(예를 들어, 입체, 가상 현실, 증강 현실 또는 혼합 현실)에서는 콘텐츠를 보기 위해서 각각의 관찰자가 특정 종류의 외부 장치(예를 들어, 3-D 안경, 근안(near-eye) 디스플레이, 또는 헤드마운트형 디스플레이)를 착용할 필요가 있다. 추가적으로 및/또는 대안적으로, 통상적인 디스플레이들은 관찰자가(예를 들어, 디스플레이에 대해 고정된 위치를 갖는 의자에서) 특정 가시 위치로 제한될 것을 필요로 할 수도 있다. 예를 들어, 스테레오스코픽 디스플레이에 의해 도시된 객체를 관찰할 때, 관찰자는 객체 상에서보다는 디스플레이 표면 상에 항상 초점을 맞추고, 디스플레이는 항상 그 인식된 객체 주위를 이동하려고 시도하는 관찰자를 따르는 객체의 두 개의 뷰들만을 제공할 것인데, 이는 그 객체에 대한 인식의 왜곡을 초래할 것이다. 그러나, 라이트필드 디스플레이를 이용하면, LF 디스플레이 시스템에 의해 제공된 홀로그래픽 객체의 관찰자들은 홀로그래픽 객체를 보기 위해서 외부 장치를 착용할 필요가 없고, 특정 위치에 국한될 필요도 없다. LF 디스플레이 시스템은, 특별한 아이웨어(eyewear), 안경, 또는 헤드마운팅형 액세서리에 대한 어떠한 요건도 없이, 물리적 객체가 관찰자들에게 보일 수 있는 것과 거의 동일한 방식으로 관찰자들에게 보이는 방식으로 홀로그래픽 객체를 제공한다. 또한, 관찰자는 가시 부피 내의 임의의 위치로부터 홀로그래픽 콘텐츠를 볼 수 있다.
특히, 홀로그래픽 객체 부피(160) 내의 홀로그래픽 객체들에 대한 잠재적인 위치들은 부피의 크기에 의해 제한된다. 홀로그래픽 객체 부피(160)의 크기를 증가시키기 위해서, LF 디스플레이 모듈(110)의 디스플레이 영역(150)의 크기가 증가될 수 있고/있거나, 다수의 LF 디스플레이 모듈들이 이음매 없는 디스플레이 표면을 형성하는 방식으로 함께 타일링될 수 있다. 이음매 없는 디스플레이 표면은 개별적인 LF 디스플레이 모듈들의 디스플레이 영역들보다 더 큰 유효 디스플레이 영역을 갖는다. LF 디스플레이 모듈들을 타일링(tiling)하는 것에 관한 일부 실시예들은 도 4, 및 도 6 내지 도 11과 관련하여 이하에서 설명된다. 도 1에 도시된 바와 같이, 디스플레이 영역(150)은 피라미드인 홀로그래픽 객체 부피(160)를 야기하는 직사각형이다. 다른 실시예들에서, 디스플레이 영역은 소정의 다른 형상(예를 들어, 육각형)을 가질 수 있으며, 이는 또한 대응하는 가시 부피의 형상에 영향을 미친다.
또한, 상기 설명은 LF 디스플레이 모듈(110)과 관찰자(140) 사이에 있는 홀로그래픽 객체 부피(160)의 일부 내에 홀로그래픽 객체(120)를 제공하는 것에 초점을 맞추지만, LF 디스플레이 모듈(110)은 디스플레이 영역(150)의 평면 뒤에서 홀로그래픽 객체 부피(160)에 콘텐츠를 추가적으로 제공할 수 있다. 예를 들어, LF 디스플레이 모듈(110)은, 디스플레이 영역(150)이 홀로그래픽 객체(120)가 점프하고 있는 바다의 표면인 것으로 보이게 할 수 있다. 그리고 디스플레이된 콘텐츠는 물 아래에 있는 해양 생물을 보기 위해 관찰자(140)가 디스플레이된 표면을 관통하여 볼 수 있도록 할 수 있다. 또한, LF 디스플레이 시스템은 디스플레이 영역(150)의 평면의 후방 및 전방을 포함하는 홀로그래픽 객체 부피(160) 주위로 이음매 없이 이동하는 콘텐츠를 생성할 수 있다.
도 2a는 하나 이상의 실시예들에 따른, LF 디스플레이 모듈(210)의 일 부분의 일 단면(200)을 도시한다. LF 디스플레이 모듈(210)은 LF 디스플레이 모듈(110)일 수 있다. 다른 실시예들에서, LF 디스플레이 모듈(210)은 디스플레이 영역(150)과 다른 디스플레이 영역 형상을 갖는 다른 LF 디스플레이 모듈일 수 있다. 예시된 실시예에서, LF 디스플레이 모듈(210)은 에너지 장치층(220), 에너지 중계층(230), 및 에너지 도파층(240)을 포함한다. LF 디스플레이 모듈(210)의 일부 실시예들은 여기에서 설명되는 것들과는 상이한 구성요소들을 갖는다. 예를 들어, 일부 실시예들에서, LF 디스플레이 모듈(210)은 에너지 중계층(230)을 포함하지 않는다. 유사하게, 기능들은 본원에 설명된 것과 다른 방식으로 구성요소들 중에 분배될 수 있다.
여기에서 설명되는 디스플레이 시스템은 실세계에서 일반적으로 물체를 둘러싸고 있는 에너지를 복제하는 에너지의 방출을 제공한다. 여기서, 방출된 에너지는 디스플레이 표면 상의 모든 좌표로부터 특정 방향을 향해 지향된다. 즉, 디스플레이 표면 상의 다양한 좌표들은 방출된 에너지에 대한 투사 위치들로서 작용한다. 디스플레이 표면으로부터 지향된 에너지는 많은 광선들이 수렴될 수 있게 하며, 이에 의해, 홀로그래픽 객체들을 생성할 수 있다. 가시광의 경우, 예를 들어, LF 디스플레이는 홀로그래픽 객체 부피 내의 임의의 지점에서 수렴할 수 있는 투사 위치들로부터 매우 많은 수의 광선들을 투사할 것이고, 따라서 광선들은 투사되는 객체보다 더 멀리 위치한 관찰자의 관점으로부터 이 공간의 영역에 위치된 실세계 객체의 표면으로부터 나오는 것처럼 보일 것이다. 이런 식으로, LF 디스플레이는 관찰자의 관점으로부터 그러한 물체의 표면을 벗어나는 반사된 광의 광선들을 생성하고 있다. 관찰자 관점은 임의의 주어진 홀로그래픽 객체 상에서 변할 수 있고, 관찰자는 해당 홀로그래픽 객체의 상이한 뷰를 볼 것이다.
에너지 장치층(220)은 하나 이상의 전자 디스플레이(예를 들어, OLED와 같은 발광 디스플레이) 및 본원에 설명된 바와 같은 하나 이상의 다른 에너지 투사 및/또는 에너지 수신 장치를 포함한다. 하나 이상의 전자 디스플레이들은 (예를 들어, LF 디스플레이 시스템의 컨트롤러로부터) 디스플레이 명령들에 따른 콘텐츠를 디스플레이하도록 구성된다. 하나 이상의 전자 디스플레이는 각각 개별적으로 제어되는 강도(intensity)를 갖는 복수의 픽셀을 포함한다. 발광 LED 및 OLED 디스플레이와 같은 여러 유형의 상업용 디스플레이가 LF 디스플레이에 사용될 수 있다.
에너지 장치층(220)은 또한, 하나 이상의 음향 투사 장치 및/또는 하나 이상의 음향 수신 장치를 포함할 수 있다. 음향 투사 장치는 홀로그래픽 객체(250)를 보완하는 하나 이상의 압력파를 생성한다. 생성된 압력파는 예를 들어, 가청, 초음파, 또는 이들의 일부 조합일 수 있다. 초음파 압력파들의 어레이는 (예를 들어, 홀로그래픽 객체(250)의 표면에서) 부피 촉각 감각을 위해 사용될 수 있다. 가청 압력파는 홀로그래픽 객체(250)를 보완할 수 있는 오디오 콘텐츠(예를 들어, 몰입형 오디오)를 제공하기 위해 사용된다. 예를 들어, 홀로그래픽 객체(250)가 돌고래라고 가정하면, 하나 이상의 음향 투사 장치는 (1) 관찰자가 홀로그래픽 객체(250)를 터치할 수 있도록 돌고래의 표면과 동일하게 위치하는 촉각 표면을 생성하고, (2) 클릭, 처핑(chirpping) 또는 채터(chatter)와 같은 돌고래의 소리에 대응하는 오디오 콘텐츠를 제공하기 위해 사용될 수 있다. 음향 수신 장치(예를 들어, 마이크 또는 마이크 어레이)는 LF 디스플레이 모듈(210)의 로컬 영역 내의 초음파 및/또는 가청 압력파를 모니터링하도록 구성될 수 있다.
에너지 장치층(220)은 또한, 하나 이상의 이미징 센서들을 포함할 수 있다. 이미징 센서는 가시광 대역에서의 광에 민감할 수 있고, 일부 경우에는 다른 대역(예를 들어, 적외선)에서의 광에 민감할 수 있다. 이미징 센서는 예를 들어 시모스(CMOS, complementary metal oxide semi-conductor) 어레이, 전하 결합 소자(CCD), 광검출기들의 어레이, 광을 포획하는 몇몇 다른 센서, 또는 이들의 일부 조합일 수 있다. LF 디스플레이 시스템은 관찰자들의 위치 추적을 위해 하나 이상의 이미징 센서에 의해 캡처된 데이터를 사용할 수 있다.
일부 구성들에서, 에너지 중계층(230)은 에너지 장치층(220)과 에너지 도파층(240) 사이의 에너지(예를 들어, 전자기 에너지, 기계적 압력파 등)를 중계(relay)한다. 에너지 중계층(230)은 하나 이상의 에너지 중계 요소들(260)을 포함한다. 각각의 에너지 중계 요소는 제1 표면(265) 및 제2 표면(270)을 포함하고, 이는 2개의 표면들 사이의 에너지를 중계한다. 각각의 에너지 중계 요소의 제1 표면(265)은 하나 이상의 에너지 장치들(예를 들어, 전자 디스플레이 또는 음향 투사 장치)에 연결될 수 있다. 에너지 중계 요소는 예를 들어, 유리, 탄소, 광섬유, 광학 필름, 플라스틱, 폴리머, 또는 이들의 일부 조합으로 구성될 수 있다. 추가적으로, 일부 실시예들에서, 에너지 중계 요소는 제1 표면(265)과 제2 표면(270) 사이를 통과하는 에너지의 확대(증가 또는 감소)를 조절할 수 있다. 중계부가 확대를 제공하는 경우, 중계부는 테이퍼(taper)라고 불리는 접합된 테이퍼형(tapered) 중계부들의 어레이의 형태를 취할 수 있으며, 테이퍼의 일 단부의 면적은 반대쪽 단부보다 실질적으로 클 수 있다. 테이퍼의 큰 단부는 이음매 없는 에너지 표면(275)을 형성하기 위해 함께 접합할 수 있다. 하나의 장점은 다수의 디스플레이의 베젤과 같은 다수의 에너지 소스의 기계적인 엔벨로프(envelope)를 수용하기 위해, 각각의 테이퍼의 다수의 작은 단부들 상에 공간이 생성된다는 것이다. 이러한 여분의 공간은 에너지 소스가 작은 테이퍼 면 위에 나란히 배치될 수 있게 하며, 각각의 에너지 소스는 작은 테이퍼 표면으로 에너지를 지향시키고 큰 이음매 없는 에너지 표면으로 중계되도록 하는 활성(active) 영역을 가진다. 테이퍼형 중계를 사용하는 또 다른 장점은 테이퍼들의 큰 단부에 의해 형성된 조합된 이음매 없는 에너지 표면 상에 비-이미징 데드(dead) 공간이 존재하지 않는다는 점이다. 테두리 또는 베젤이 존재하지 않으며, 따라서 이음매 없는 에너지 표면이 함께 타일링되어, 눈의 시력에 따라서는 실질적으로 이음매가 없는 더 큰 표면을 형성할 수 있다.
인접한 에너지 중계 요소들의 제2 표면들은 함께 모여서 에너지 표면(275)을 형성한다. 일부 실시예들에서, 인접한 에너지 중계 요소들의 엣지들 사이의 분리는, 예를 들어, 20/40 비전을 갖는 인간의 눈의 시력에 의해 정의되는 바와 같은 인지 가능한 최소 윤곽보다 더 작고, 따라서 에너지 표면(275)은 가시 부피(285) 내의 관찰자(280)의 관점으로부터 효과적으로 매끄럽게(seamless) 된다.
일부 실시예들에서, 인접한 에너지 중계 요소들의 제2 표면들은 그들 사이에 이음매가 존재하지 않는 방식으로, 하나 이상의 압력, 열 및 화학 반응을 포함할 수 있는 처리 단계들과 함께 융합된다. 그리고 또 다른 실시예들에서, 에너지 중계 요소들의 어레이는 중계 물질의 연속 블록의 일 측면을 작은 테이퍼 단부들의 어레이로 몰딩함으로써 형성되고, 각각은, 작은 테이퍼형 단부에 부착된 에너지 장치로부터의 에너지를 결코 세분화되지 않는 더 큰 면적을 갖는 단일의 조합된 표면으로 전달하도록 구성된다.
일부 실시예들에서, 하나 이상의 에너지 중계 요소들은 에너지 국소화(energy localization)를 나타내며, 여기서 표면들(265, 270)에 실질적으로 수직한 세로(longitudinal) 방향에서의 에너지 전달 효율은 수직한 가로(transverse) 평면에서의 전달 효율보다 훨씬 더 높고, 에너지 밀도는 에너지 파동이 표면(265)과 표면(270) 사이에서 전파될 때 이 가로 평면 내에 매우 국소화된다. 이러한 에너지의 국소화는 이미지와 같은 에너지 분배가 해상도에서의 어떠한 큰 손실 없이도 이들 표면들 사이에서 효율적으로 중계될 수 있게 한다.
에너지 도파층(240)은 에너지 도파층(240) 내의 도파(waveguide) 요소들을 사용하여 에너지 표면(275) 상의 위치(예를 들어, 좌표)로부터, 디스플레이 표면으로부터 홀로그래픽 가시 부피(285)까지의 바깥으로의 특정 에너지 전파 경로로 에너지를 지향시킨다. 에너지 전파 경로는 상기 도파에 대해 에너지 표면 좌표 위치에 의해 적어도 결정되는 2개의 각도(angular) 치수에 의해 정의된다. 도파는 공간적 2D 좌표와 연관된다. 이들 4개의 좌표들은 함께 4차원(4D) 에너지 필드를 형성한다. 일 예로서, 전자기 에너지의 경우, 에너지 도파층(240) 내의 도파 요소들은 가시 부피(285)를 관통하여 상이한 전파 방향들을 따라 이음매 없는 에너지 표면(275) 상의 위치들로부터 광을 지향시킨다. 다양한 예들에서, 광은 홀로그래픽 객체 부피(255) 내에 홀로그래픽 객체(250)를 형성하기 위해 4D 라이트필드 기능에 따라 지향된다.
에너지 도파층(240) 내의 각각의 도파 요소는, 예를 들어, 하나 이상의 구성요소들로 구성된 렌즈릿(lenslet)일 수 있다. 일부 구성들에서, 렌즈릿은 볼록 렌즈일 수 있다. 볼록 렌즈는 구면, 비구면 또는 자유 형태인 표면 프로파일을 가질 수 있다. 추가적으로, 일부 실시예들에서, 도파 요소들의 일부 또는 전부는 하나 이상의 추가적인 광학 요소들을 포함할 수 있다. 추가적인 광학 요소는 예를 들어, 배플(baffle), 볼록 렌즈, 오목 렌즈, 구면 렌즈, 비구면 렌즈, 자유 형태 렌즈, 액정 렌즈, 액체 렌즈, 굴절 요소, 회절 요소, 또는 이들의 일부 조합과 같은 에너지-억제 구조일 수 있다. 일부 실시예들에서, 렌즈릿 및/또는 추가적인 광학 요소들 중 적어도 하나는 자신의 광학 출력을 동적으로 조절할 수 있다. 예를 들어, 렌즈릿은 액정 렌즈 또는 액체 렌즈일 수 있다. 렌즈릿 및/또는 적어도 하나의 추가적인 광학 요소의 표면 프로파일의 동적 조정은 도파 요소로부터 투사되는 광의 추가적인 지향성 제어를 제공할 수 있다.
도시된 예에서, LF 디스플레이의 홀로그래픽 객체 부피(255)는 광선(256) 및 광선(257)에 의해 형성되는 경계를 갖지만, 다른 광선에 의해 형성될 수도 있다. 홀로그래픽 객체 부피(255)는 에너지 도파층(240)의 전방(즉, 관찰자(280) 쪽으로) 및 후방으로(즉, 관찰자(280)로부터 멀리) 연장되는 연속적인 부피이다. 도시된 예에서, 광선(256) 및 광선(257)은 사용자에 의해 인지될 수 있는 디스플레이 표면(277)의 법선에 대해 가장 높은 각도로 LF 디스플레이 모듈(210)의 서로 반대되는 엣지들로부터 투사되지만, 이들은 다른 투사된 광선들일 수 있다. 광선들은 디스플레이의 시야를 정의하고, 따라서 홀로그래픽 가시 부피(285)에 대한 경계를 정의한다. 일부 경우에, 광선들은 전체 디스플레이가 비네팅(vignetting) 없이 관찰될 수 있는 홀로그래픽 가시 부피(예를 들어, 이상적인 가시 부피)를 정의한다. 디스플레이의 시야가 증가함에 따라, 광선(256)과 광선(257)의 수렴 지점이 디스플레이에 더 근접할 것이다. 따라서, 더 큰 시야를 갖는 디스플레이는 관찰자(280)가 더 가까운 가시 거리에서 전체 디스플레이를 볼 수 있게 한다. 또한, 광선(256, 257)은 이상적인 홀로그래픽 객체 부피를 형성할 수 있다. 이상적인 홀로그래픽 객체 부피 내에 제공된 홀로그래픽 객체는 가시 부피(285)의 임의의 위치에서 볼 수 있다.
일부 예들에서, 홀로그래픽 객체들은 가시 부피(285)의 일부에만 제공될 수 있다. 즉, 홀로그래픽 객체 부피는 임의의 수의 가시 서브 부피(예를 들어, 가시 서브 부피(290))로 분할될 수 있다. 또한, 홀로그래픽 객체는 홀로그래픽 객체 부피(255)의 외부에 투사될 수 있다. 예를 들어, 홀로그래픽 객체(251)는 홀로그래픽 객체 부피(255)의 외부에 제공된다. 홀로그래픽 객체(251)가 홀로그래픽 객체 부피(255)의 외부에 제공되기 때문에, 이는 가시 부피(285)의 모든 위치에서 보이지 않는다. 예를 들어, 홀로그래픽 객체(251)는 가시 서브 부피(290)의 위치에서 보일 수 있지만, 관찰자(280)의 위치에서는 보이지 않을 수 있다.
예를 들어, 도 2b를 참조하면, 상이한 가시 서브 부피들로부터의 홀로그래픽 콘텐츠를 보는 것이 예시된다. 도 2b는 하나 이상의 실시예들에 따른 LF 디스플레이 모듈의 일 부분의 단면(200)을 도시한다. 도 2b의 단면은 도 2a의 단면과 동일하다. 그러나, 도 2b는 LF 디스플레이 모듈(210)로부터 투사된 상이한 광선들의 세트를 도시한다. 광선(256)과 광선(257)은 여전히 홀로그래픽 객체 부피(255) 및 가시 부피(285)를 형성한다. 그러나, 도시된 바와 같이, LF 디스플레이 모듈(210)의 상부 및 LF 디스플레이 모듈(210)의 하부로부터 투사된 광선들은 가시 부피(285) 내에서 다양한 가시 서브 부피들(예를 들어, 가시 서브 부피들(290A, 290B, 290C, 및 290D))을 형성하도록 오버랩된다. 제1 가시 서브 부피(예를 들어, 290A) 내의 관찰자는 다른 가시 서브 부피들(예를 들어, 290B, 290C, 및 290D) 내의 관찰자들이 인지할 수 없는 홀로그래픽 객체 부피(255) 내에 제공된 홀로그래픽 콘텐츠를 인지할 수 있다.
더 간단히, 도 2a에 도시된 바와 같이, 홀로그래픽 객체 부피(255)는 홀로그래픽 객체들이 가시 부피(285) 내의 관찰자들(예를 들어, 관찰자(280))에 의해 인지될 수 있도록 LF 디스플레이 시스템에 의해 제공될 수 있는 부피이다. 이런 식으로, 가시 부피(285)는 이상적인 가시 부피의 일 예이고, 홀로그래픽 객체 부피(255)는 이상적인 객체 부피의 일 예이다. 그러나, 다양한 구성들에서, 관찰자들은 다른 예시적인 홀로그래픽 객체 부피들 내의 LF 디스플레이 시스템(200)에 의해 제공되는 홀로그래픽 객체들을 인지할 수 있다. 보다 일반적으로, "눈-선(eye-line) 가이드라인"은 LF 디스플레이 모듈로부터 투사된 홀로그래픽 콘텐츠를 볼 때 적용된다. 눈-선(eye-line) 가이드라인은 관찰자의 눈 위치 및 보고 있는 홀로그래픽 객체에 의해 형성되는 선이 LF 디스플레이 표면과 교차해야 한다고 강조한다.
LF 디스플레이 모듈(210)에 의해 제공되는 홀로그래픽 콘텐츠를 보는 경우, 관찰자(280)의 각각의 눈은 홀로그래픽 객체(250)의 상이한 관점을 보게 되는데, 그 이유는 홀로그래픽 콘텐츠가 4D 라이트필드 기능에 따라 제공되기 때문이다. 또한, 관찰자(280)가 가시 부피(285) 내에서 이동함에 따라, 그는 또한 가시 부피(285) 내의 다른 관찰자들과 마찬가지로 홀로그래픽 객체(250)의 상이한 관점들을 볼 수 있다. 통상의 기술자에 의해 이해되는 바와 같이, 4D 라이트필드 기능은 당업계에 잘 알려져 있으며, 본원에서는 더 상세히 설명되지 않을 것이다.
본원에 더 상세하게 설명되는 바와 같이, 일부 실시예들에서, LF 디스플레이는 하나 이상의 유형의 에너지를 투사할 수 있다. 예를 들어, LF 디스플레이는 예를 들어, 기계적 에너지 및 전자기 에너지와 같은 2가지 유형의 에너지를 투사할 수 있다. 이러한 구성에서, 에너지 중계층(230)은, 에너지 표면(275)에서 함께 인터리빙(interleaved)되되 에너지가 2개의 상이한 에너지 장치층들(220)로 중계되도록 분리되는, 2개의 개별적인 에너지 중계부들을 포함할 수 있다. 여기서, 하나의 중계부는 전자기 에너지를 전달하도록 구성될 수 있는 반면, 다른 중계부는 기계적 에너지를 수송하도록 구성될 수 있다. 일부 실시예들에서, 기계적 에너지는 에너지 도파층(240) 상의 전자기 도파 요소들 사이의 위치들로부터 투사될 수 있고, 하나의 전자기 도파 요소로부터 다른 전자기 도파 요소로 광이 전송되는 것을 억제하는 구조들의 형성을 돕는다. 일부 실시예들에서, 에너지 도파층(240)은 또한 컨트롤러로부터의 디스플레이 명령들에 따른 특정 전파 경로들을 따라서 집속된 초음파를 수송하는 도파 요소들을 포함할 수 있다.
다른 실시예들(도시되지 않음)에서, LF 디스플레이 모듈(210)은 에너지 중계층(230)을 포함하지 않음에 유의해야 한다. 이 경우에, 에너지 표면(275)은 에너지 장치층(220) 내에 하나 이상의 인접한 전자 디스플레이를 사용하여 형성된 방출 표면이다. 그리고 일부 실시예들에서, 에너지 중계층이 없는 경우, 인접한 전자 디스플레이들의 엣지들 사이의 분리는 20/40 비전을 갖는 인간의 눈의 시력에 의해 정의되는 바와 같이 인지 가능한 최소의 윤곽보다 더 작으며, 이에 따라 에너지 표면은 가시 부피(285) 내의 관찰자(280)의 관점에서 효과적으로 매끄럽게 된다.
LF 디스플레이 모듈
도 3a는 하나 이상의 실시예들에 따른 LF 디스플레이 모듈(300A)의 사시도이다. LF 디스플레이 모듈(300A)은 LF 디스플레이 모듈(110) 및/또는 LF 디스플레이 모듈(210)일 수 있다. 다른 실시예들에서, LF 디스플레이 모듈(300A)은 일부 다른 LF 디스플레이 모듈일 수 있다. 예시된 실시예들에서, LF 디스플레이 모듈(300A)은 에너지 장치층(310), 에너지 중계층(320), 및 에너지 도파층(330)을 포함한다. LF 디스플레이 모듈(300A)은 본원에 기술된 바와 같이 디스플레이 표면(365)으로부터 홀로그래픽 콘텐츠를 제공하도록 구성된다. 편의상, 디스플레이 표면(365)은 LF 디스플레이 모듈(300A)의 프레임(390) 상의 점선으로 도시되지만, 보다 정확하게는, 프레임(390)의 내부 림(rim)에 의해 한정된 도파 요소들의 전방에 직접 위치된다. 디스플레이 표면(365)은 에너지가 투사될 수 있는 복수의 투사 위치들을 포함한다. LF 디스플레이 모듈(300A)의 일부 실시예들은 여기에서 설명되는 것들과는 상이한 구성요소들을 갖는다. 예를 들어, 일부 실시예들에서, LF 디스플레이 모듈(300A)은 에너지 중계층(320)을 포함하지 않는다. 유사하게, 기능들은 본원에 설명된 것과 다른 방식으로 구성요소들 중에 분배될 수 있다.
에너지 장치층(310)은 에너지 장치층(220)의 일 실시예이다. 에너지 장치층(310)은 4개의 에너지 장치들(340)(도면에는 3개가 도시됨)을 포함한다. 에너지 장치들(340)은 모두 동일한 유형(예를 들어, 모두 전자 디스플레이들)일 수 있거나, 하나 이상의 상이한 유형들을 포함(예를 들어, 전자 디스플레이들 및 적어도 하나의 음향 에너지 장치를 포함)할 수 있다.
에너지 중계층(320)은 에너지 중계층(230)의 일 실시예이다. 에너지 중계층(320)은 4개의 에너지 중계 장치들(350)(도면에는 3개가 도시됨)을 포함한다. 에너지 중계 장치들(350)은 모두 동일한 유형의 에너지(예를 들어, 광)를 중계하거나, 하나 이상의 상이한 유형들(예를 들어, 광 및 소리)을 중계할 수 있다. 중계 장치들(350) 각각은 제1 표면 및 제2 표면을 포함하고, 에너지 중계 장치들(350)의 제2 표면은 단일의 이음매 없는 에너지 표면(360)을 형성하도록 배열된다. 도시된 실시예에서, 에너지 중계 장치들(350) 각각은 제1 표면이 제2 표면보다 더 작은 표면 영역을 갖도록 테이퍼화되며, 이는 테이퍼들의 작은 단부 상에 에너지 장치들(340)의 기계적인 엔벨로프들을 수용하게 한다. 이는 또한, 전체 영역이 에너지를 투사할 수 있기 때문에, 이음매 없는 에너지 표면에 경계가 없어지게 한다. 이는, 전부피로 조합된 표면에 이음매가 없도록, 데드 스페이스(dead space) 또는 베젤 없이 LF 디스플레이 모듈(300A)의 다수의 인스턴스들을 함께 배치함으로써, 이러한 이음매 없는 에너지 표면이 타일링(tiled)될 수 있다는 것을 의미한다. 다른 실시예들에서, 제1 표면 및 제2 표면은 동일한 표면적을 갖는다.
에너지 도파층(330)은 에너지 도파층(240)의 일 실시예이다. 에너지 도파층(330)은 복수의 도파 요소들(370)을 포함한다. 도 2와 관련하여 위에서 설명된 바와 같이, 에너지 도파층(330)은 홀로그래픽 객체를 형성하기 위해 4D 라이트필드 기능에 따른 특정 전파 경로를 따라서 이음매 없는 에너지 표면(360)으로부터 에너지를 지향시키도록 구성된다. 도시된 실시예에서, 에너지 도파층(330)은 프레임(390)에 의해 한정되는 것에 유의해야 한다. 다른 실시예들에서는, 프레임(390)이 없고/없거나, 프레임(390)의 두께가 감소된다. 프레임(390)의 두께의 제거 또는 감소는 LF 디스플레이 모듈(300A)을 추가적인 LF 디스플레이 모듈과 함께 타일링하는 것을 용이하게 할 수 있다.
도시된 실시예에서, 이음매 없는 에너지 표면(360) 및 에너지 도파층(330)은 평면형(planar)이다. 다른 실시예들에서, 도시되지는 않았지만, 이음매 없는 에너지 표면(360) 및 에너지 도파층(330)은 하나 이상의 차원들에서 만곡될 수 있다.
LF 디스플레이 모듈(300A)은 이음매 없는 에너지 표면의 표면 상에 상주하는 추가적인 에너지 소스들로 구성될 수 있고, 라이트필드에 대해 에너지 필드의 추가적인 투사를 허용한다. 일 실시예에서, 음향 에너지 필드는 이음매 없는 에너지 표면(360) 상의 임의의 수의 위치들에 장착된 정전기 스피커들(도시되지 않음)로부터 투사될 수 있다. 또한, LF 디스플레이 모듈(300A)의 정전기 스피커들은 듀얼 에너지 표면이 동시에 소리 필드들 및 홀로그래픽 콘텐츠를 투사하도록, 라이트필드 디스플레이 모듈(300A) 내에 위치된다. 예를 들어, 정전기 스피커들은 전자기 에너지의 일부 파장에 대해 투과성인 하나 이상의 다이어프램 요소들로 형성될 수 있고, 하나 이상의 전도성 요소들(예를 들어, 하나 이상의 다이어프램 요소들을 샌드위치화하는 평면들)에 의해 구동될 수 있다. 정전기 스피커들은 다이어프램 요소들이 도파 요소들의 일부를 덮도록 이음매 없는 에너지 표면(360)에 장착될 수 있다. 스피커들의 전도성 전극들은 전자기 도파들 사이의 광 전송을 억제하도록 설계되고/되거나 전자기 도파 요소들(예를 들어, 프레임(390)) 사이의 위치들에 위치하는 구조물들과 함께 배치될 수 있다. 다양한 구성들에서, 스피커들은 가청 소리를 투사하고/하거나 햅틱 표면을 생성하는 집속된 초음파 에너지의 여러 소스들을 투사할 수 있다.
일부 구성들에서, 에너지 장치(340)는 에너지를 감지할 수 있다. 예를 들어, 에너지 장치는 마이크, 광 센서, 음향 트랜스듀서 등일 수 있다. 이와 같이, 에너지 중계 장치들은 또한 이음매 없는 에너지 표면(360)으로부터 에너지 장치층(310)으로 에너지를 중계할 수 있다. 즉, 에너지 장치들 및 에너지 중계 장치들(340)이 에너지를 방출하고 동시에 감지(예를 들어, 라이트필드들을 방출하고 소리를 감지)하도록 구성될 때, LF 디스플레이 모듈의 이음매 에너지 표면(360)은 양방향성 에너지 표면을 형성한다.
보다 광범위하게, LF 디스플레이 모듈(340)의 에너지 장치(340)는 에너지 소스 또는 에너지 센서일 수 있다. LF 디스플레이 모듈(300A)은 사용자에게 고품질 홀로그래픽 콘텐츠의 투사를 용이하게 하기 위해 에너지 소스들 및/또는 에너지 센서들로서 작용하는 다양한 유형들의 에너지 장치들을 포함할 수 있다. 다른 소스들 및/또는 센서들은 열 센서들 또는 소스들, 적외선 센서들 또는 소스들, 이미지 센서들 또는 소스들, 음향 에너지를 생성하는 기계적 에너지 트랜스듀서들, 피드백 소스들 등을 포함할 수 있다. 많은 다른 센서들 또는 소스들이 가능하다. 또한, LF 디스플레이 모듈들은, LF 디스플레이 모듈이 커다란 집합된 이음매 없는 에너지 표면으로부터 여러 유형의 에너지를 투사하고 감지하는 어셈블리를 형성할 수 있도록 타일링(tiled)될 수 있다.
LF 디스플레이 모듈(300A)의 다양한 실시예들에서, 이음매 없는 에너지 표면(360)은 다양한 표면 부분들을 가질 수 있으며, 각각의 표면 부분은 특정 유형의 에너지를 투사 및/또는 방출하도록 구성된다. 예를 들어, 이음매 없는 에너지 표면이 듀얼-에너지 표면일 때, 이음매 없는 에너지 표면(360)은 전자기 에너지를 투사하는 하나 이상의 표면 부분들, 및 초음파 에너지를 투사하는 하나 이상의 다른 표면 부분들을 포함한다. 초음파 에너지를 투사하는 표면 부분들은 전자기 도파 요소들 사이의 이음매 없는 에너지 표면(360) 상에 위치될 수 있고/있거나, 전자기 도파 요소들 사이의 광 전송을 억제하도록 설계된 구조물들과 함께 위치될 수 있다. 이음매 없는 에너지 표면이 양방향 에너지 표면인 예에서, 에너지 중계층(320)은 이음매 없는 에너지 표면(360)에서 인터리빙되는 2개의 유형의 에너지 중계 장치들을 포함할 수 있다. 다양한 실시예들에서, 이음매 없는 에너지 표면(360)은 임의의 특정한 도파 요소(370) 아래의 표면의 부분들이 모두 에너지 소스들, 모두 에너지 센서들, 또는 에너지 소스들 및 에너지 센서들의 혼합이 되도록, 구성될 수 있다.
도 3b는 하나 이상의 실시예들에 따른, 인터리빙된 에너지 중계 장치들을 포함하는 LF 디스플레이 모듈(300B)의 단면도이다. 에너지 중계 장치(350A)는 에너지 장치(340A)에 연결된 에너지 중계 제1 표면(345A)과 이음매 없는 에너지 표면(360) 사이에서 에너지를 전달한다. 에너지 중계부(350B)는 에너지 장치(340B)에 연결된 에너지 중계 제1 표면(345B)과 이음매 없는 에너지 표면(360) 사이에서 에너지를 전달한다. 두 중계 장치들은 이음매 없는 에너지 표면(360)에 연결된 인터리빙된 에너지 중계 장치(352)에서 인터리빙(interleaved)된다. 이러한 구성에서, 표면(360)은 에너지 소스 또는 에너지 센서일 수 있는 두 에너지 장치들(340A 및 340B)의 인터리빙된 에너지 위치들을 포함한다. 따라서, LF 디스플레이 모듈(300B)은 둘 이상의 유형의 에너지를 투사하기 위한 듀얼 에너지 투사 장치로서, 또는 한 유형의 에너지를 투사하고 동시에 다른 유형의 에너지를 감지하기 위한 양방향 에너지 장치로서, 구성될 수 있다. LF 디스플레이 모듈(300B)은 LF 디스플레이 모듈(110) 및/또는 LF 디스플레이 모듈(210)일 수 있다. 다른 실시예들에서, LF 디스플레이 모듈(300B)은 몇몇 다른 LF 디스플레이 모듈일 수 있다.
LF 디스플레이 모듈(300B)은 도 3a의 LF 디스플레이 모듈(300A)의 것들과 유사하게 구성된 많은 구성요소들을 포함한다. 예를 들어, 예시된 실시예에서, LF 디스플레이 모듈(300B)은 적어도 도 3a에 관해 기술된 것들의 동일한 기능을 포함하는, 에너지 장치층(310), 에너지 중계층(320), 이음매 없는 에너지 표면(360), 및 에너지 도파층(330)을 포함한다. 추가적으로, LF 디스플레이 모듈(300B)은 디스플레이 표면(365)으로부터 에너지를 제공 및/또는 수신할 수 있다. 특히, LF 디스플레이 모듈(300B)의 구성요소들은 대안적으로, 도 3a의 LF 디스플레이 모듈(300A)의 구성요소들과 연결되고/되거나 지향(orient)된다. LF 디스플레이 모듈(300B)의 일부 실시예들은 여기에서 설명되는 것들과는 상이한 구성요소들을 갖는다. 유사하게, 기능들은 본원에 설명된 것과 다른 방식으로 구성요소들 중에 분배될 수 있다. 도 3b는 더 큰 면적을 갖는 양방향 에너지 표면 또는 듀얼 에너지 투사 표면을 생성하도록 타일링될 수 있는 단일 LF 디스플레이 모듈(300B)의 설계를 예시한다.
일 실시예에서, LF 디스플레이 모듈(300B)은 양방향 LF 디스플레이 시스템의 LF 디스플레이 모듈이다. 양방향 LF 디스플레이 시스템은 디스플레이 표면(365)으로부터 에너지를 투사함과 동시에 에너지를 감지할 수 있다. 이음매 없는 에너지 표면(360)은 이음매 없는 에너지 표면(360) 상에 근접하게 인터리빙되는 에너지 투사 위치 및 에너지 감지 위치 모두를 포함한다. 따라서, 도 3b의 예에서, 에너지 중계층(320)은 도 3a의 에너지 중계층과는 상이한 방식으로 구성된다. 편의상, LF 디스플레이 모듈(300B)의 에너지 중계층은 본원에서 "인터리빙된 에너지 중계층"으로 지칭될 것이다.
인터리빙된 에너지 중계층(320)은 두 개의 레그들, 즉, 제1 에너지 중계 장치(350A) 및 제2 에너지 중계 장치(350B)를 포함한다. 각각의 레그들은 도 3b에서 약간 음영이 있는 영역으로서 도시되어 있다. 각각의 레그들은 플렉시블 중계 물질로 제조될 수 있고, 다양한 크기들 및 형상들의 에너지 장치들과 함께 사용하기에 충분한 길이로 형성될 수 있다. 인터리빙된 에너지 중계층의 일부 영역들에서, 두 개의 레그들은 이음매 없는 에너지 표면(360)에 접근함에 따라 함께 조밀하게(tightly) 인터리빙(interleaved)된다. 도시된 예에서, 인터리빙된 에너지 중계 장치들(352)은 어두운 음영 영역으로 도시되어 있다.
이음매 없는 에너지 표면(360)에서 인터리빙되는 동안, 에너지 중계 장치들은 상이한 에너지 장치들로부터/그에 대해 에너지를 중계하도록 구성된다. 에너지 장치들은 에너지 장치층(310)에 존재한다. 도시된 바와 같이, 에너지 장치(340A)는 에너지 중계 장치(350A)에 연결되고, 에너지 장치(340B)는 에너지 중계 장치(350B)에 연결된다. 다양한 실시예들에서, 각각의 에너지 장치는 에너지 소스 또는 에너지 센서일 수 있다.
에너지 도파층(330)은 일련의 수렴 지점들을 향하여 투사된 경로들을 따라 이음매 없는 에너지 표면(360)으로부터 에너지 파들을 조향(steer)하기 위한 도파 요소들(370)을 포함한다. 이 예에서, 홀로그래픽 객체(380)는 일련의 수렴 지점들에 형성된다. 특히, 도시된 바와 같이, 홀로그래픽 객체(380)에서의 에너지의 수렴은 디스플레이 표면(365)의 관찰자측(즉, 전면) 상에서 발생한다. 그러나, 다른 예에서, 에너지의 수렴은, 디스플레이 표면(365)의 전방 및 디스플레이 표면(365)의 후방 둘 모두에서 연장되는, 홀로그래픽 객체 부피 내의 어느 곳에도 존재할 수 있다. 도파 요소들(370)은 후술하는 바와 같이 에너지 장치(예를 들어, 에너지 센서)로 들어오는 에너지를 동시에 조향할 수 있다.
LF 디스플레이 모듈(300B)의 일 예시적인 실시예에서, 방출형 디스플레이는 에너지 소스(예를 들어, 에너지 장치(340A))로서 사용되고, 이미징 센서는 에너지 센서(예를 들어, 에너지 장치(340B))로서 사용된다. 이런 식으로, LF 디스플레이 모듈(300B)은 홀로그래픽 콘텐츠를 투사함과 동시에 디스플레이 표면(365)의 전방에서 해당 부피로부터 광을 검출할 수 있다. 이런 식으로, LF 디스플레이 모듈(300B)의 이 실시예는 LF 디스플레이 및 LF 센서 모두로서 기능한다.
일 실시예에서, LF 디스플레이 모듈(300B)은 디스플레이 표면 상의 투사 위치들로부터 디스플레이 표면의 전방으로 라이트필드(light field)를 투사함과 동시에, 투사 위치들에서 디스플레이 표면의 전방으로부터 라이트필드를 캡처하도록 구성된다. 이 실시예에서, 에너지 중계 장치(350A)는 도파 요소들(370) 아래에 위치된 이음매 없는 에너지 표면(360)에서의 제1 세트의 위치들을 에너지 장치(340A)에 연결한다. 일 예에서, 에너지 장치(340A)는 소스 픽셀들의 어레이를 갖는 방출형(emissive) 디스플레이이다. 에너지 중계 장치(340B)는 도파 요소들(370) 아래에 위치된 이음매 없는 에너지 표면(360)에서의 제2 세트의 위치들을 에너지 장치(340B)에 연결한다. 일 예에서, 에너지 장치(340B)는 센서 픽셀들의 어레이를 갖는 이미징 센서이다. LF 디스플레이 모듈(300B)은 특정 도파 요소들(370) 아래에 있는 이음매 없는 에너지 표면(365)에서의 위치들이 모든 방출형 디스플레이 위치들, 모든 이미징 센서 위치들, 또는 이들 위치들의 어떤 조합이 되도록 구성될 수 있다. 다른 실시예들에서, 양방향 에너지 표면은 다양한 다른 형태의 에너지를 투사하고 수신할 수 있다.
LF 디스플레이 모듈(300B)의 다른 예시적인 실시예에서, LF 디스플레이 모듈은 2개의 상이한 유형의 에너지를 투사하도록 구성된다. 예를 들어, 일 실시예에서, 에너지 장치(340A)는 전자기 에너지를 방출하도록 구성된 방출형 디스플레이이고, 에너지 장치(340B)는 기계적 에너지를 방출하도록 구성된 초음파 트랜스듀서이다. 이와 같이, 광 및 소리는 이음매 없는 에너지 표면(360)에서의 다양한 위치들로부터 투사될 수 있다. 이러한 구성에서, 에너지 중계 장치(350A)는 에너지 장치(340A)를 이음매 없는 에너지 표면(360)에 연결하고 전자기 에너지를 중계한다. 에너지 중계 장치는 전자기 에너지를 수송하는 데에 효율적인 특성들(예를 들어, 가변 굴절률)을 갖도록 구성된다. 에너지 중계 장치(350B)는 에너지 장치(340B)를 이음매 없는 에너지 표면(360)에 연결하고 기계적 에너지를 중계한다. 에너지 중계 장치(350B)는 초음파 에너지의 효율적인 수송(예를 들어, 상이한 음향 임피던스를 갖는 물질들의 분포)을 위한 특성들을 갖도록 구성된다. 일부 실시예들에서, 기계적 에너지는 에너지 도파층(330) 상의 도파 요소들(370) 사이의 위치들로부터 투사될 수 있다. 기계적 에너지를 투사하는 위치들은 광이 하나의 전자기 도파 요소로부터 다른 전자기 도파 요소로 전송되는 것을 억제하는 역할을 하는 구조물들을 형성할 수 있다. 일 예에서, 초음파 기계적 에너지를 투사하는 공간적으로 분리된 위치들의 어레이는 중간-공기(mid-air) 중의 3차원 햅틱 형상들 및 표면들을 생성하도록 구성될 수 있다. 표면들은 투사된 홀로그래픽 객체(예를 들어, 홀로그래픽 객체(380))와 일치할 수 있다. 일부 예들에서, 어레이에 걸친 위상 지연들 및 진폭 변동들은 햅틱 형상들의 생성을 보조할 수 있다.
다양한 실시예들에서, 인터리빙된 에너지 중계 장치들을 갖는 LF 디스플레이 모듈(300B)은 특정 유형의 에너지 장치를 포함하는 각각의 에너지 장치층을 갖는 다수의 에너지 장치층들을 포함할 수 있다. 이러한 예들에서, 에너지 중계층들은 이음매 없는 에너지 표면(360)과 에너지 장치층(310) 사이에서 적절한 유형의 에너지를 중계하도록 구성된다.
타일형 LF 디스플레이 모듈
도 4a는 하나 이상의 실시예들에 따른, 단일-측면의 이음매 없는 표면 환경을 형성하기 위해 2차원으로 타일링(tiled)되는 LF 디스플레이 시스템(400)의 일 부분의 사시도이다. LF 디스플레이 시스템(400)은 어레이(410)를 형성하도록 타일링되는 복수의 LF 디스플레이 모듈들을 포함한다. 보다 명시적으로, 어레이(410) 내의 작은 사각형들 각각은 타일형 LF 디스플레이 모듈(412)을 나타낸다. LF 디스플레이 모듈(412)은 LF 디스플레이 모듈(300A또는 300B)과 동일할 수 있다. 어레이(410)는 예를 들어, 방의 표면(예를 들어, 벽)의 일부 또는 전부를 커버할 수 있다. LF 어레이는, 예를 들어, 테이블 상판, 게시판, 로툰다(rotunda) 등과 같은 다른 표면들을 커버할 수 있다.
어레이(410)는 하나 이상의 홀로그래픽 객체들을 투사할 수 있다. 예를 들어, 도시된 실시예에서, 어레이(410)는 홀로그래픽 객체(420) 및 홀로그래픽 객체(422)를 투사한다. LF 디스플레이 모듈들(412)의 타일링은 훨씬 더 큰 가시 부피뿐만 아니라, 객체들이 어레이(410)로부터 더 먼 거리로 투사될 수 있게 한다. 예를 들어, 도시된 실시예에서, 가시 부피는 근사적으로, LF 디스플레이 모듈(412)의 전방(및 후방)의 국소화된 부피가 아니라, 어레이(410)의 전방 및 후방에 있는 전체 영역이다.
일부 실시예들에서, LF 디스플레이 시스템(400)은 홀로그래픽 객체(420)를 관찰자(430) 및 관찰자(434)에 제공한다. 관찰자(430) 및 관찰자(434)는 홀로그래픽 객체(420)의 상이한 관점들을 수신한다. 예를 들어, 관찰자(430)에게는 홀로그래픽 객체(420)의 직접적인 뷰가 제공되는 반면, 관찰자(434)에게는 홀로그래픽 객체(420)의 더 경사진 뷰가 제공된다. 관찰자(430) 및/또는 관찰자(434)가 이동함에 따라, 그들은 홀로그래픽 객체(420)의 상이한 관점들을 제공받는다. 이는 관찰자가 홀로그래픽 객체에 대해 이동함으로써 홀로그래픽 객체와 시각적으로 상호작용할 수 있게 한다. 예를 들어, 관찰자(430)가 홀로그래픽 객체(420) 주위를 걸어갈 때, 관찰자(430)는 홀로그래픽 객체(420)가 어레이(410)의 홀로그래픽 객체 부피 내에 남아 있는 한, 홀로그래픽 객체(420)의 상이한 측면들을 보게 된다. 따라서, 관찰자(430) 및 관찰자(434)는 마치 실제로 존재하는 것처럼 실제 공간에서 홀로그래픽 객체(420)를 동시에 볼 수 있다. 또한, 홀로그래픽 객체(420)는 물리적 객체가 보이는 것과 거의 동일한 방식으로 관찰자들에게 보이기 때문에 관찰자(430) 및 관찰자(434)는 홀로그래픽 객체(420)를 보기 위해 외부 장치를 착용할 필요가 없다. 또한, 여기에서, 홀로그래픽 객체(422)는 어레이의 가시 부피가 어레이의 표면 뒤로 연장되기 때문에, 어레이 뒤에 도시되어 있다. 이런 식으로, 홀로그래픽 객체(422)는 관찰자(430) 및/또는 관찰자(434)에 제공될 수 있다.
일부 실시예들에서, LF 디스플레이 시스템(400)은 관찰자(430) 및 관찰자(434)의 위치들을 추적하는 추적 시스템을 포함할 수 있다. 일부 실시예들에서, 추적되는 위치는 관찰자의 위치이다. 다른 실시예들에서, 추적되는 위치는 관찰자의 눈의 위치이다. 눈의 위치 추적은 눈이 어디를 보고 있는지를 추적하는 시선 추적(예를 들어, 응시 위치를 결정하기 위해 방향을 사용함)과는 상이하다. 관찰자(430)의 눈과 관찰자(434)의 눈은 서로 다른 위치에 있다.
다양한 구성들에서, LF 디스플레이 시스템(400)은 하나 이상의 추적 시스템들을 포함할 수 있다. 예를 들어, 도 4a의 예시된 실시예에서, LF 디스플레이 시스템은 어레이(410) 외부에 있는 추적 시스템(440)을 포함한다. 여기서, 추적 시스템은 어레이(410)에 연결된 카메라 시스템일 수 있다. 외부의 추적 시스템들은 도 5a와 관련하여 더 상세히 설명된다. 다른 예시적인 실시예들에서, 추적 시스템은 본원에 기술된 바와 같이 어레이(410) 내에 통합될 수 있다. 예를 들어, 어레이(410) 내에 포함된 양방향 에너지 표면을 포함하는 하나 이상의 LF 디스플레이 모듈들(412)의 에너지 장치(예를 들어, 에너지 장치(340))는 어레이(410)의 전방에서 관찰자들의 이미지들을 캡처하도록 구성될 수 있다. 어느 경우든, LF 디스플레이 시스템(400)의 추적 시스템(들)은 어레이(410)에 의해 제공되는 홀로그래픽 콘텐츠를 보는 관찰자(예를 들어, 관찰자(430) 및/또는 관찰자(434))에 관한 추적 정보를 결정한다.
추적 정보는 관찰자의 위치에 대한(예를 들어, 추적 시스템에 대한) 공간 내의 위치, 또는 관찰자의 일 부분의 위치(예를 들어, 관찰자의 한쪽 또는 양쪽 눈, 또는 관찰자의 말단부들)를 기술한다. 추적 시스템은 추적 정보를 결정하기 위해 임의의 수의 깊이 결정 기술들을 이용할 수 있다. 깊이 결정 기술들은 예를 들어, 구조화된 광, 비행 시간, 스테레오 이미징, 일부 다른 깊이 결정 기술, 또는 이들의 몇몇 조합을 포함할 수 있다. 추적 시스템은 추적 정보를 결정하도록 구성된 다양한 시스템들을 포함할 수 있다. 예를 들어, 추적 시스템은 하나 이상의 적외선 소스들(예를 들어, 구조화된 광원들), 적외선에서의 이미지들을 캡처할 수 있는 하나 이상의 이미징 센서들(예를 들어, 적-청-녹-적외선 카메라), 및 추적 알고리즘을 실행하는 프로세서를 포함할 수 있다. 추적 시스템은 관찰자들의 위치들을 결정하기 위해 깊이 추정 기술들을 사용할 수 있다. 일부 실시예들에서, LF 디스플레이 시스템(400)은 본원에 설명된 바와 같이 관찰자(430) 및/또는 관찰자(434)의 추적된 위치들, 동작들, 또는 제스처들에 기초하여 홀로그래픽 객체들을 생성한다. 예를 들어, LF 디스플레이 시스템(400)은 어레이(410) 및/또는 특정 위치의 임계 거리 내에 들어오는 관찰자에 응답하여 홀로그래픽 객체를 생성할 수 있다.
LF 디스플레이 시스템(400)은 추적 정보에 부분적으로 기초하여 각각의 관찰자에 맞춤화된 하나 이상의 홀로그래픽 객체들을 제공할 수 있다. 예를 들어, 관찰자(430)에게는 홀로그래픽 객체(420)가 제공될 수 있지만, 홀로그래픽 객체(422)는 제공되지 않을 수 있다. 유사하게, 관찰자(434)에게는 홀로그래픽 객체(422)가 제공될 수 있지만, 홀로그래픽 객체(420)는 제공되지 않을 수 있다. 예를 들어, LF 디스플레이 시스템(400)은 관찰자(430) 및 관찰자(434) 각각의 위치를 추적한다. LF 디스플레이 시스템(400)은 홀로그래픽 객체가 제공될 위치에 대한 관찰자들의 위치에 기초하여 관찰자에게 보이는 홀로그래픽 객체의 관점을 결정한다. LF 디스플레이 시스템(400)은 결정된 관점에 대응하는 특정 픽셀들로부터 광을 선택적으로 투사한다. 따라서, 관찰자(434) 및 관찰자(430)는 동시에, 잠재적으로 완전히 상이한 경험을 가질 수 있다. 즉, LF 디스플레이 시스템(400)은 가시 부피의 서브 부피(즉, 도 2b에 도시된 가시 서브 부피(290A, 290B, 290C, 및 290D)와 유사함)를 보기 위해 홀로그래픽 콘텐츠를 제공할 수 있다. 예를 들어, 도시된 바와 같이, LF 디스플레이 시스템(400)이 관찰자(430)의 위치를 추적할 수 있기 때문에, LF 디스플레이 시스템(400)은 관찰자(430)를 둘러싸는 가시 서브 부피에 공간 콘텐츠(예를 들어, 홀로그래픽 객체(420))를, 그리고 관찰자(434)를 둘러싸는 가시 서브 부피에 사파리 콘텐츠(예를 들어, 홀로그래픽 객체(422))를 제공할 수 있다. 이와 달리, 통상적인 시스템들은 유사한 경험을 제공하기 위해 개별 헤드셋을 사용해야 한다.
일부 실시예들에서, LF 디스플레이 시스템(400)은 하나 이상의 감각 피드백 시스템들을 포함할 수 있다. 감각 피드백 시스템들은 홀로그래픽 객체들(420, 422)을 증강시키는 다른 감각 자극들(예를 들어, 촉각, 청각, 또는 후각)을 제공한다. 예를 들어, 도 4a의 예시된 실시예에서, LF 디스플레이 시스템(400)은 어레이(410) 외부의 감각 피드백 시스템(442)을 포함한다. 일 예에서, 감각 피드백 시스템(442)은 어레이(410)에 연결된 정전기 스피커일 수 있다. 외부 감각 피드백 시스템은 도 5와 관련하여 더욱 상세히 설명된다. 다른 예시적인 실시예들에서, 감각 피드백 시스템은 본원에 기술된 바와 같이 어레이(410) 내에 통합될 수 있다. 예를 들어, 어레이(410)에 포함된 LF 디스플레이 모듈(412)의 에너지 장치(예를 들어, 도 3b의 에너지 장치(340A))는 어레이의 전방에서 관찰자들에게 초음파 에너지를 투사하고 및/또는 어레이의 전방에서 관찰자들로부터 이미징 정보를 수신하도록 구성될 수 있다. 어느 경우든, 감각 피드백 시스템은 어레이(410)에 의해 제공되는 홀로그래픽 콘텐츠(예를 들어, 홀로그래픽 객체(420) 및/또는 홀로그래픽 객체(422))를 보는 관찰자(예를 들어, 관찰자(430) 및/또는 관찰자(434))에게 감각 콘텐츠를 제공하고/하거나 그로부터 감각 콘텐츠를 수신한다.
LF 디스플레이 시스템(400)은 어레이 외부의 하나 이상의 음향 투사 장치를 포함하는 감각 피드백 시스템(442)을 포함할 수 있다. 대안적으로 또는 추가적으로, LF 디스플레이 시스템(400)은 본원에 기술된 바와 같이 어레이(410) 내에 통합된 하나 이상의 음향 투사 장치들을 포함할 수 있다. 음향 투사 장치들은 부피 촉각 표면을 투사하도록 구성된 초음파 소스들의 어레이로 구성될 수 있다. 일부 실시예들에서, 촉각 표면은 관찰자의 일부분이 하나 이상의 표면들의 임계 거리 내에 있는 경우 홀로그래픽 객체의 하나 이상의 표면들에 대해 홀로그래픽 객체와 일치(예를 들어, 홀로그래픽 객체(420)의 표면에서)될 수 있다. 부피 촉각 감각은 사용자가 홀로그래픽 객체의 표면들을 만지고 느낄 수 있게 할 수 있다. 또한, 복수의 음향 투사 장치들은 관찰자들에게 오디오 콘텐츠(예를 들어, 몰입형 오디오)를 제공하는 가청 압력파를 투사할 수 있다. 따라서, 초음파 압력파 및/또는 가청 압력파는 홀로그래픽 객체를 보완하는 작용을 할 수 있다.
다양한 실시예들에서, LF 디스플레이 시스템(400)은 관찰자의 추적된 위치에 부분적으로 기초하여 다른 감각 자극들을 제공할 수 있다. 예를 들어, 도 4a에 도시된 홀로그래픽 객체(422)는 사자이고, LF 디스플레이 시스템(400)은 시각적으로(즉, 홀로그래픽 객체(422)가 으르렁거리는(roar) 것으로 보임) 및 청각적으로(즉, 하나 이상의 음향 투사 장치들은 관찰자(430)가 홀로그래픽 객체(422)로부터 나오는 사자의 으르렁거림으로서 인지하는 압력파를 투사함) 으르렁거리는 홀로그래픽 객체(422)를 가질 수 있다.
도시된 구성에서, 홀로그래픽 가시 부피는 도 2의 LF 디스플레이 시스템(200)의 가시 부피(285)와 유사한 방식으로 제한될 수 있음에 유의해야 한다. 이는 관찰자가 단일의 벽면 디스플레이 유닛으로 경험하게 될 인식된 몰입의 정도를 제한할 수 있다. 이를 해결하기 위한 한 가지 방법은 도 4b 내지 도 4f와 관련하여 아래에서 설명되는 바와 같이 다수의 측면들을 따라 타일링되는 다수의 LF 디스플레이 모듈들을 사용하는 것이다.
도 4b는 하나 이상의 실시예들에 따른, 다중-측면의 이음매 없는 표면 환경에서의 LF 디스플레이 시스템(402)의 일 부분의 사시도이다. LF 디스플레이 시스템(402)은 복수의 LF 디스플레이 모듈들이 다중 측면의 이음매 없는 표면 환경을 생성하도록 타일링되는 것을 제외하고는, LF 디스플레이 시스템(400)과 실질적으로 유사하다. 보다 구체적으로, LF 디스플레이 모듈들은 6개의 면의 집합된(aggregated) 이음매 없는 표면 환경인 어레이를 형성하도록 타일링된다. 도 4b에서, 복수의 LF 디스플레이 모듈들은 방의 모든 벽들, 천장 및 바닥을 커버한다. 다른 실시예들에서, 복수의 LF 디스플레이 모듈들은 벽, 바닥, 천장, 또는 이들의 일부 조합의 전부가 아닌 일부를 커버할 수 있다. 다른 실시예들에서, 복수의 LF 디스플레이 모듈들은 일부 다른 집합된 이음매 없는 표면을 형성하도록 타일링된다. 예를 들어, 벽들은 원통형의 집합된 에너지 환경이 형성되도록 만곡될 수 있다. 또한, 도 6 내지 도 9와 관련하여 후술하는 바와 같이, 일부 실시예들에서, LF 디스플레이 모듈들은 상점 관련 홀로그래픽 객체들을 제공하기 위해 가정 내에 또는 물리적 상점 내에 하나의 표면을 형성하도록 타일링될 수 있다.
LF 디스플레이 시스템(402)은 하나 이상의 홀로그래픽 객체들을 투사할 수 있다. 예를 들어, 도시된 실시예에서, LF 디스플레이 시스템(402)은 홀로그래픽 객체(420)를 6개의 면의 집합된 이음매 없는 표면 환경에 의해 둘러싸인 영역으로 투사한다. 이 예에서, LF 디스플레이 시스템의 가시 부피는 또한, 6개의 면의 집합된 이음매 없는 표면 환경 내에 포함된다. 도시된 구성에서, 관찰자(434)는 홀로그래픽 객체(420)와, 홀로그래픽 객체(420)를 형성하기 위해 사용되는 에너지(예를 들어, 광 및/또는 압력파)를 투사하는 LF 디스플레이 모듈(414)의 사이에 위치될 수 있음에 유의해야 한다. 따라서, 관찰자(434)의 위치로 인해, 관찰자(430)는 LF 디스플레이 모듈(414)로부터의 에너지로부터 형성된 홀로그래픽 객체(420)를 인지하는 것을 방해받을 수 있다. 그러나, 도시된 구성에서, 적어도 하나의 다른 LF 디스플레이 모듈, 예를 들어, LF 디스플레이 모듈(416)은 (예를 들어, 관찰자(434)에 의해) 방해받지 않고, 홀로그래픽 객체(420)를 형성하도록 에너지를 투사하여 관찰자(430)에 의해 관찰될 수 있다. 이런 식으로, 공간 내의 관찰자들에 의한 막힘(occlusion)은 홀로그래픽 투사들의 일부 부분이 사라지게 할 수 있지만, 그 효과는 부피의 단지 한쪽 면만 홀로그래픽 디스플레이 패널들로 채워지는 경우보다는 훨씬 더 작다. 홀로그래픽 객체(422)는 홀로그래픽 객체 부피가 집합된 표면 뒤로 연장되기 때문에 6개의 면의 집합된 이음매 없는 표면 환경의 벽들 "외부에" 도시되어 있다. 따라서, 관찰자(430) 및/또는 관찰자(434)는 홀로그래픽 객체(422)를 그들이 관통하여 이동할 수 있는, 둘러싸인 6개의 면의 환경의 "외부에" 있는 것으로서 인지할 수 있다.
도 4a를 참조하여 전술한 바와 같이, 일부 실시예들에서, LF 디스플레이 시스템(402)은 관찰자들의 위치들을 능동적으로 추적하고, 추적된 위치들에 기초하여 홀로그래픽 콘텐츠를 제공하도록 상이한 LF 디스플레이 모듈들에 동적으로 지시할 수 있다. 따라서, 다중-측면의 구성은 제한되지 않은 관찰자들이 다중-측면의 이음매 없는 표면 환경에 의해 둘러싸인 영역을 관통하여 자유롭게 이동할 수 있는 홀로그래픽 객체들을 제공하기 위한 보다 강건한(robust)(예를 들어, 도 4a에 비해) 환경을 제공할 수 있다.
특히, 다양한 LF 디스플레이 시스템들은 상이한 구성들을 가질 수 있다. 또한, 각각의 구성은, 집합적으로, 이음매 없는 디스플레이 표면("집합 표면")을 형성하는, 표면들의 특정 배향을 가질 수 있다. 즉, LF 디스플레이 시스템의 LF 디스플레이 모듈들은 다양한 집합 표면들을 형성하도록 타일링될 수 있다. 예를 들어, 도 4b에서, LF 디스플레이 시스템(402)은 방의 벽들을 근사화하는 6개의 면의 집합 표면을 형성하도록 타일링된 LF 디스플레이 모듈들을 포함한다. 일부 다른 예들에서, 집합 표면은 전체 표면(예를 들어, 전체 벽)이 아니라 표면의 일부(예를 들어, 벽의 절반)에서만 발생할 수 있다. 일부 예들은 본원에서 설명된다.
일부 구성들에서, LF 디스플레이 시스템의 집합 표면은 국부화된 가시 부피를 향해 에너지를 투사하도록 구성된 집합 표면을 포함할 수 있다. 국부적인 가시 부피에 에너지를 투사하는 것은, 예를 들어, 특정 가시 부피 내의 투사된 에너지의 밀도를 증가시키고, 그 부피 내의 관찰자들에 대한 FOV를 증가시키며, 가시 부피를 디스플레이 표면에 더 가깝게 하는 것에 의해, 더 높은 품질의 가시 경험을 가능하게 한다.
예를 들어, 도 4c는 "날개형(winged)" 구성으로 집합 표면을 갖는 LF 디스플레이 시스템(450A)의 평면도를 도시한다. 이 예에서, LF 디스플레이 시스템(450A)은 전면 벽(452), 후면 벽(454), 제1 측벽(456), 제2 측벽(458), 천장(도시되지 않음), 및 바닥(도시되지 않음)을 갖는 방에 위치된다. 제1 측벽(456), 제2 측벽(458), 후면 벽(454), 바닥 및 천장은 모두 수직한다. LF 디스플레이 시스템(450A)은 전면 벽을 덮는 집합 표면(460)을 형성하도록 타일링된 LF 디스플레이 모듈들을 포함한다. 전면 벽(452), 및 따라서 집합 표면(460)은 3개의 부분들, 즉, (i) 후면 벽(454)과 근사적으로 평행한 제1 부분(462)(즉, 중앙 표면), (ii) 제1 부분(462)을 제1 측벽(456)에 연결하고 방의 중심을 향해 에너지를 투사하기 위한 각도에 위치되는 제2 부분(464)(즉, 제1 측면), 및 (iii) 제1 부분(462)을 제2 측벽(458)에 연결하고 방의 중심을 향해 에너지를 투사하기 위한 각도에 위치되는 제3 부분(466)(즉, 제2 측면)을 포함한다. 제1 부분은 방 안의 수직한 평면이고, 수평 및 수직 축을 가진다. 제2 부분 및 제3 부분은 수평 축을 따라 방의 중심을 향해 각진다.
이 예에서, LF 디스플레이 시스템(450A)의 가시 부피(468A)는 방의 중앙에 있고, 집합 표면(460)의 세 부분들에 의해 부분적으로 둘러싸인다. 관찰자를 적어도 부분적으로 둘러싸는 집합 표면("주위 표면")은 관찰자들의 몰입적 경험을 증가시킨다.
설명을 위해, 예를 들어, 단지 중앙 표면만을 갖는 집합 표면을 고려한다. 도 2a를 참조하면, 디스플레이 표면의 어느 한쪽 단부로부터 투사되는 광선들은 전술한 바와 같이 이상적인 홀로그래픽 부피 및 이상적인 가시 부피를 생성한다. 이제, 예를 들어, 중앙 표면이 관찰자를 향해 각진 2개의 측면들을 포함하는 경우를 고려한다. 이 경우에, 광선(256) 및 광선(257)은 중앙 표면의 법선으로부터 더 큰 각도로 투사될 것이다. 따라서, 가시 부피의 시야는 증가할 것이다. 유사하게, 홀로그래픽 가시 부피는 디스플레이 표면에 더 가까울 것이다. 추가적으로, 2개의 제2 부분 및 제3 부분이 가시 부피에 더 가까이 경사지기 때문에, 디스플레이 표면으로부터 고정된 거리에 투사되는 홀로그래픽 객체들은 해당 가시 부피에 더 가깝다.
단순화를 위해, 단지 중앙 표면만을 갖는 디스플레이 표면은 평면형의(planar) 시야, (중앙의) 디스플레이 표면과 가시 부피 사이의 평면형의 임계 간격, 및 홀로그래픽 객체와 가시 부피 사이의 평면형의 근접성을 갖는다. 관찰자를 향해서 각진 하나 이상의 측면들을 추가하는 것은 평면형의 시야에 비해 시야를 증가시키고, 평면형의 간격에 비해 디스플레이 표면과 가시 부피 사이의 간격을 감소시키며, 평면형의 근접성에 비해 디스플레이 표면과 홀로그래픽 객체 사이의 근접성을 증가시킨다. 관찰자를 향해 측면들을 더 경사지게 하는 것은 시야를 더 증가시키고, 간격을 더 감소시키며, 근접성을 더 증가시킨다. 즉, 측면들의 각진 배치는 관찰자들에 대한 몰입적 경험을 증가시킨다.
유사한 예에서, 도 4d는 "경사진(sloped)" 구성으로 집합 표면을 갖는 LF 디스플레이 시스템(450B)의 일 측면도를 도시한다. 이 예에서, LF 디스플레이 시스템(450B)은 전면 벽(452), 후면 벽(454), 제1 측벽(도시되지 않음), 제2 측벽(도시되지 않음), 천장(472), 및 바닥(474)을 갖는 방에 위치된다. 제1 측벽, 제2 측벽, 후면 벽(454), 바닥(474), 및 천장(472)은 모두 수직이다. LF 디스플레이 시스템(450B)은 전면 벽을 커버하는 집합 표면(460)을 형성하도록 타일링된 LF 디스플레이 모듈들을 포함한다. 전면 벽(452) 및 이에 따른 집합 표면(460)은 3개의 부분들, 즉, (i) 후면 벽(454)(즉, 중앙 표면)과 거의 평행한 제1 부분(462), (ii) 제1 부분(462)을 천장(472)에 연결하고 방의 중심을 향해 에너지를 투사하도록 각진 제2 부분(464)(즉, 제1 측면), 및 (iii) 제1 부분(462)을 바닥(474)으로 연결하고 방의 중심을 향해 에너지를 투사하도록 각진 제3 부분(464)(즉, 제2 측면)을 포함한다. 제1 부분은 방 안의 수직한 평면이고, 수평 및 수직 축을 가진다. 제2 부분 및 제3 부분은 수직축을 따라 방의 중심을 향하여 각진다.
이 예에서, LF 디스플레이 시스템(450B)의 가시 부피(468B)는 방의 중심에 있고 집합 표면(460)의 세 부분들에 의해 부분적으로 둘러싸인다. 도 4c에 도시된 구성과 유사하게, 2개의 측면 부분들(예를 들어, 제2 부분(464) 및 제3 부분(466))은 관찰자를 둘러싸고 주위 표면을 형성하도록 각진다. 주위 표면은 홀로그래픽 가시 부피(468B) 내의 임의의 관찰자의 관점으로부터 가시 FOV를 증가시킨다. 추가적으로, 주위 표면은 투사된 객체들이 더 가깝게 보이도록 가시 부피(468B)가 디스플레이의 표면에 더 가깝게 되게 한다. 즉, 측면들의 각진 배치는 시야를 증가시키고, 간격을 감소시키며, 집합 표면의 근접성을 증가시키며, 그에 따라 관찰자들에 대한 몰입형 경험을 증가시킨다. 또한, 아래에서 설명되는 바와 같이, 가시 부피(468B)의 크기 및 위치를 최적화하기 위해 편향 광학계가 사용될 수 있다.
집합 표면(460)의 측면 부분들의 경사진 구성은, 제3 부분(466)이 경사지지 않은 경우보다, 홀로그래픽 콘텐츠가 가시 부피(468B)에 더 가깝게 제공될 수 있게 한다. 예를 들어, 경사진 구성에서 LF 디스플레이 시스템으로부터 제공된 캐릭터의 하단 말단부들(예를 들어, 다리)은, 평평한 전면 벽을 갖는 LF 디스플레이 시스템이 사용된 경우보다, 더 가깝고 더 현실적으로 보일 수 있다.
또한, LF 디스플레이 시스템의 구성 및 그것이 위치되는 환경은 가시 부피들 및 가시 서브 부피들의 형태 및 위치들을 알려줄 수 있다.
도 4e는 하나 이상의 실시예들에 따른, 방의 전면 벽(452) 상에 집합 표면(460)을 갖는 LF 디스플레이 시스템(450C)의 평면도를 도시한다. 이 예에서, LF 디스플레이 시스템(450D)은 전면 벽(452), 후면 벽(454), 제1 측벽(456), 제2 측벽(458), 천장(도시되지 않음), 및 바닥(도시되지 않음)을 갖는 방 안에 위치된다.
LF 디스플레이 시스템(450C)은 집합 표면(460)으로부터 다양한 광선들을 투사한다. 디스플레이 표면 상의 각각의 위치로부터, 광선들은 가시 부피에 중심을 두는 각도 범위로 투사된다. 집합 표면(460)의 좌측으로부터 투사된 광선들은 수평 각도 범위(481)를 가지며, 집합 표면의 우측으로부터 투사된 광선들은 수평 각도 범위(482)를 가지며, 집합 표면(460)의 중심으로부터 투사된 광선들은 수평 각도 범위(483)를 가진다. 이러한 지점들 사이에서, 도 6과 관련하여 아래 설명되는 바와 같이, 투사된 광선들은 각도 범위의 중간 값을 취할 수 있다. 이런 식으로 디스플레이 표면에 걸쳐 투사된 광선들에서 경사진 편향 각도를 갖는 것은 가시 부피(468C)를 생성한다. 또한, 이러한 구성은 측면 벽들(456, 458)로 광선을 투사하여 디스플레이의 해상도를 낭비하는 것을 방지한다.
도 4f는 하나 이상의 실시예들에 따른, 방의 전면 벽(452) 상에 집합 표면(460)을 갖는 LF 디스플레이 시스템(450D)의 측면도를 도시한다. 이 예에서, LF 디스플레이 시스템(450E)은 전면 벽(452), 후면 벽(454), 제1 측벽(도시되지 않음), 제2 측벽(도시되지 않음), 천장(472), 및 바닥(474)을 갖는 방 안에 위치된다. 이 예에서, 바닥에는 각각의 층이 전면 벽으로부터 후면 벽으로 이동함에 따라 계단 상승하도록 층이 형성된다. 여기서, 바닥의 각각의 층은 가시 서브 부피(예를 들어, 가시 서브 부피(470A 및 470B))를 포함한다. 계단형 바닥은 가시 서브 부피들이 오버랩되지 않게 한다. 즉, 각각의 가시 서브 부피는 해당 가시 서브 부피로부터, 다른 가시 서브 부피를 통과하지 않는 집합 표면(460)으로의 시야 라인(line of sight)을 갖는다. 즉, 이러한 배향은 계층들 간의 수직 오프셋으로 인해 각각의 계층이 다른 계층들의 가시 서브 부피들을 "너머 볼 수" 있게 하는 "경기장 좌석" 효과를 생성한다. 오버랩되지 않는 가시 서브 부피들을 포함하는 LF 디스플레이 시스템들은 오버랩되는 가시 부피들을 갖는 LF 디스플레이 시스템들보다 더 높은 품질의 가시 경험을 제공할 수 있다. 예를 들어, 도 4f에 도시된 구성에서, 가시 서브 부피들(470A 및 470B)의 관찰자들에게 상이한 홀로그래픽 콘텐츠가 투사될 수 있다.
LF 디스플레이 시스템의 제어
도 5a는 하나 이상의 실시예들에 따른, LF 디스플레이 시스템(500)의 블록도이다. LF 디스플레이 시스템(500)은 LF 디스플레이 어셈블리(510) 및 컨트롤러(520)를 포함한다. LF 디스플레이 어셈블리(510)는 라이트필드(light field)를 투사하는 하나 이상의 LF 디스플레이 모듈들(512)을 포함한다. LF 디스플레이 모듈(512)은 다른 유형의 에너지를 투사 및/또는 감지하는 통합된 에너지 소스(들) 및/또는 에너지 센서(들)를 포함하는 소스/센서 시스템(514)을 포함할 수 있다. 컨트롤러(520)는 데이터 저장부(522), 네트워크 인터페이스(524), 및 LF 처리 엔진(530)을 포함한다. 컨트롤러(520)는 또한, 추적 모듈(526), 및 관찰자 프로파일링 모듈(528)을 포함할 수 있다. 일부 실시예들에서, LF 디스플레이 시스템(500)은 또한, 감각 피드백 시스템(540) 및 추적 시스템(550)을 포함한다. 도 1, 도 2, 도 3 및 도 4와 관련하여 설명된 LF 디스플레이 시스템들은 LF 디스플레이 시스템(500)의 실시예들이다. 다른 실시예들에서, LF 디스플레이 시스템(500)은 본원에 설명된 것들보다 더 많은 또는 더 적은 모듈들을 포함한다. 유사하게, 기능들은 본원에 설명된 것과 다른 방식으로 모듈들 및/또는 다른 엔티티들 중에 분배될 수 있다. LF 디스플레이 시스템(500)의 응용예들은 또한 도 6 내지 도 10과 관련하여 아래에서 상세히 설명된다.
LF 디스플레이 어셈블리(510)는 가시 부피 내에 위치된 관찰자들에게 보일 수 있는 홀로그래픽 객체 부피 내에 홀로그래픽 콘텐츠를 제공한다. LF 디스플레이 어셈블리(510)는 컨트롤러(520)로부터 수신된 디스플레이 명령들을 실행함으로써 홀로그래픽 콘텐츠를 제공할 수 있다. 홀로그래픽 콘텐츠는, LF 디스플레이 어셈블리(510)의 집합 표면의 전방에, LF 디스플레이 어셈블리(510)의 집합 표면 뒤에, 또는 이들의 일부 조합에 투사되는, 하나 이상의 홀로그래픽 객체들을 포함할 수 있다. 컨트롤러(520)를 이용하여 디스플레이 명령들을 생성하는 것은 이하에서 더 상세히 설명된다.
LF 디스플레이 어셈블리(510)는 LF 디스플레이 어셈블리(510)에 포함된 하나 이상의 LF 디스플레이 모듈들(예를 들면, LF 디스플레이 모듈(110), LF 디스플레이 시스템(200), 및 LF 디스플레이 모듈(300) 중 임의의 것)을 사용하여 홀로그래픽 콘텐츠를 제공한다. 편의상, 하나 이상의 LF 디스플레이 모듈들은 본원에서 LF 디스플레이 모듈(512)로 설명될 수 있다. LF 디스플레이 모듈(512)은 LF 디스플레이 어셈블리(510)를 형성하도록 타일링될 수 있다. LF 디스플레이 모듈들(512)은 다양한 이음매 없는 표면 환경들(예를 들어, 단일 면, 다중 면, 물리적 상점 환경의 벽, 만곡된 표면 등)로서 구성될 수 있다. 즉, 타일형 LF 디스플레이 모듈들은 집합 표면을 형성한다. 전술한 바와 같이, LF 디스플레이 모듈(512)은 홀로그래픽 콘텐츠를 제공하는 에너지 장치층(예를 들어, 에너지 장치층(220)) 및 에너지 도파층(예를 들어, 에너지 도파층(240))을 포함한다. 또한, LF 디스플레이 모듈(512)은 홀로그래픽 콘텐츠를 제공할 때 에너지 장치층과 에너지 도파층 간에 에너지를 전달하는 에너지 중계층(예를 들어, 에너지 중계층(230))을 포함할 수 있다.
또한, LF 디스플레이 모듈(512)은 전술한 바와 같이 에너지 투사 및/또는 에너지 감지를 위해 구성된 다른 통합 시스템들을 포함할 수 있다. 예를 들어, 라이트필드 디스플레이 모듈(512)은 에너지를 투사 및/또는 감지하도록 구성된 임의의 수의 에너지 장치들(예를 들어, 에너지 장치(340))을 포함할 수 있다. 편의상, LF 디스플레이 모듈(512)의 통합된 에너지 투사 시스템들 및 통합된 에너지 감지 시스템들은, 본원에서 집합적으로, 소스/센서 시스템(514)으로서 기술될 수 있다. 소스/센서 시스템(514)은 소스/센서 시스템(514)이 LF 디스플레이 모듈(512)과 동일한 이음매 없는 에너지 표면을 공유하도록LF 디스플레이 모듈(512) 내에 통합된다. 즉, LF 디스플레이 어셈블리(510)의 집합 표면은 LF 디스플레이 모듈(512) 및 소스/센서 모듈(514) 모두의 기능을 포함한다. 즉, 소스/센서 시스템(514)을 갖는 LF 디스플레이 모듈(512)을 포함하는 LF 어셈블리(510)는 라이트필드를 투사하면서 동시에 에너지를 투사 및/또는 감지할 수 있다. 예를 들어, LF 디스플레이 어셈블리(510)는 전술한 바와 같이 듀얼-에너지 표면 또는 양방향 에너지 표면으로서 구성된 LF 디스플레이 모듈(512) 및 소스/센서 시스템(514)을 포함할 수 있다.
일부 실시예들에서, LF 디스플레이 시스템(500)은 감각 피드백 시스템(540)을 이용하여, 생성된 홀로그래픽 콘텐츠를 다른 감각 콘텐츠(예를 들어, 조절된 터치, 오디오, 또는 냄새)로 증강한다. 감각 피드백 시스템(540)은 컨트롤러(520)로부터 수신된 디스플레이 명령들을 실행함으로써 홀로그래픽 콘텐츠의 투사를 증강시킬 수 있다. 일반적으로, 감각 피드백 시스템(540)은 LF 디스플레이 어셈블리(510)(예를 들어, 감각 피드백 시스템(442)) 외부에 있는 임의의 개수의 감각 피드백 장치를 포함한다. 일부 예시적인 감각 피드백 장치들은 조정된 음향 투사 및 수신 장치, 방향제 투사 장치, 온도 조절 장치, 힘 작동 장치, 압력 센서, 변환기 등을 포함할 수 있다. 일부 경우에, 감각 피드백 시스템(540)은 라이트필드 디스플레이 어셈블리(510)와 유사한 기능을 가질 수 있고, 그 반대도 가능하다. 예를 들어, 감각 피드백 시스템(540) 및 라이트필드 디스플레이 어셈블리(510) 모두는 소리 필드를 생성하도록 구성될 수 있다. 또 다른 예로서, 감각 피드백 시스템(540)은, 라이트필드 디스플레이(510) 어셈블리가 햅틱 표면을 생성하도록 구성되지 않는 동안, 햅틱 표면을 생성하도록 구성될 수 있다.
예를 들어, 라이트필드 디스플레이 시스템(500)의 예시적인 실시예에서, 감각 피드백 시스템(540)은 하나 이상의 음향 투사 장치들을 포함할 수 있다. 하나 이상의 음향 투사 장치들은 컨트롤러(520)로부터 수신된 디스플레이 명령들을 실행할 때 홀로그래픽 콘텐츠를 보완하는 하나 이상의 압력파들을 생성하도록 구성된다. 생성된 압력파들은 예를 들어, 가청(소리의 경우), 초음파(터치의 경우), 또는 이들의 일부 조합일 수 있다. 유사하게, 감각 피드백 시스템(540)은 아로마 투사 장치를 포함할 수 있다. 방향제 투사 장치는 컨트롤러로부터 수신된 디스플레이 명령들을 실행할 때 타겟 영역의 일부 또는 전부에 향기를 제공하도록 구성될 수 있다. 방향제 장치들은 공기 순환 시스템(예를 들어, 덕트, 팬(fan), 또는 벤트)에 연결되어 타겟 영역 내의 기류를 조정할 수 있다. 또한, 감각 피드백 시스템(540)은 온도 조절 장치를 포함할 수 있다. 온도 조절 장치는 컨트롤러(520)로부터 수신된 디스플레이 명령들을 실행할 때 타겟 영역의 일부 또는 전부에서 온도를 증가 또는 감소시키도록 구성된다.
일부 실시예들에서, 감각 피드백 시스템(540)은 LF 디스플레이 시스템(500)의 관찰자들로부터 입력을 수신하도록 구성된다. 이러한 경우에, 감각 피드백 시스템(540)은 관찰자들로부터 입력을 수신하기 위한 다양한 감각 피드백 장치들을 포함한다. 감각 피드백 장치들은 음향 수신 장치들(예를 들어, 마이크), 압력 센서, 조이스틱, 모션 검출기, 트랜스듀서 등과 같은 장치를 포함할 수 있다. 감각 피드백 시스템은 홀로그래픽 콘텐츠 및/또는 감각 피드백을 조정하기 위해 검출된 입력을 컨트롤러(520)에 전송할 수 있다.
예를 들어, 라이트필드 디스플레이 어셈블리의 예시적인 실시예에서, 감각 피드백 시스템(540)은 마이크를 포함한다. 마이크는 하나 이상의 관찰자들(예를 들어, 음성 명령들, 홀로그래픽 콘텐츠의 제공에 대한 오디오 반응들 등)에 의해 생성된 오디오를 녹음하도록 구성된다. 감각 피드백 시스템(540)은 녹음된 오디오를 관찰자 입력으로서 컨트롤러(520)에 제공한다. 컨트롤러(520)는 홀로그래픽 콘텐츠를 생성하기 위해 관찰자 입력을 사용할 수 있다. 유사하게, 감각 피드백 시스템(540)은 압력 센서를 포함할 수 있다. 압력 센서는 관찰자에 의해 압력 센서로 인가되는 힘을 측정하도록 구성된다. 감각 피드백 시스템(540)은 측정된 힘을 관찰자 입력으로서 컨트롤러(520)에 제공할 수 있다.
일부 실시예들에서, LF 디스플레이 시스템(500)은 추적 시스템(550)을 포함한다. 추적 시스템(550)은 타겟 영역 내의 관찰자들의 위치, 동작 및/또는 특성들을 결정하도록 구성된 임의의 수의 추적 장치들을 포함한다. 일반적으로, 추적 장치들은 LF 디스플레이 어셈블리(510)의 외부에 있다. 일부 예시적인 추적 장치들은 카메라 어셈블리("카메라"), 깊이 센서, 구조화된 광, LIDAR 시스템, 카드 스캐닝 시스템, 또는 타겟 영역 내의 관찰자를 추적할 수 있는 임의의 다른 추적 장치를 포함한다.
추적 시스템(550)은 타겟 영역의 일부 또는 전부에 빛을 비추는 하나 이상의 에너지 소스들을 포함할 수 있다. 그러나, 일부 경우에, 타겟 영역은 홀로그래픽 콘텐츠를 제공할 때 LF 디스플레이 어셈블리(510)로부터의 자연 광 및/또는 주변광으로 조명된다. 에너지 소스는 컨트롤러(520)로부터 수신된 명령들을 실행할 때 광을 투사한다. 광은 예를 들어, 구조화된 광 패턴, 빛의 펄스(예를 들어, IR 플래시), 또는 이들의 일부 조합일 수 있다. 추적 시스템은 가시 대역(~380 nm 내지 750 nm), 적외선(IR) 대역(~750 nm 내지 1700 nm), 자외선 대역(10 nm 내지 380 nm), 전자기 스펙트럼의 일부 다른 부분, 또는 이들의 일부 조합의 광을 투사할 수 있다. 소스는 예를 들어, 발광 다이오드(LED), 마이크로 LED, 레이저 다이오드, TOF 깊이 센서, 튜닝가능한 레이저 등을 포함할 수 있다.
추적 시스템(550)은 컨트롤러(520)로부터 수신된 명령들을 실행할 때 하나 이상의 방출 파라미터를 조절할 수 있다. 방출 파라미터는 추적 시스템(550)의 소스로부터 광이 어떻게 투사되는지에 영향을 주는 파라미터이다. 방출 파라미터는 예를 들어, 밝기, 펄스 속도(연속적인 조명을 포함하기 위함), 파장, 펄스 길이, 광이 소스 어셈블리로부터 어떻게 투사되는지에 영향을 주는 일부 다른 파라미터, 또는 이들의 일부 조합을 포함할 수 있다. 일 실시예에서, 소스는 비행 시간(time-of-flight) 동작으로 광의 펄스들을 투사한다.
추적 시스템(550)의 카메라는 타겟 영역으로부터 반사된 광(예를 들어, 구조화된 광 패턴)의 이미지들을 캡처한다. 카메라는 컨트롤러(520)로부터 수신된 추적 명령들을 실행할 때 이미지들을 캡처한다. 전술한 바와 같이, 광은 추적 시스템(550)의 소스에 의해 투사될 수 있다. 카메라는 하나 이상의 카메라들을 포함할 수 있다. 즉, 카메라는 예를 들어, 포토다이오드들의 어레이(1D 또는 2D), CCD 센서, CMOS 센서, 추적 시스템(550)에 의해 광 투사의 일부 또는 전부를 검출하는 일부 다른 장치, 또는 이들의 일부 조합일 수 있다. 일 실시예에서, 추적 시스템(550)은 LF 디스플레이 어셈블리(510)의 외부에 있는 라이트필드 카메라를 포함할 수 있다. 다른 실시예들에서, 카메라들은 LF 디스플레이 어셈블리(510)에 포함된 LF 디스플레이 소스/센서 모듈(514)의 일부로서 포함된다. 예를 들어, 전술한 바와 같이, 라이트필드 모듈(512)의 에너지 중계 요소가 에너지 장치층(220)에서 발광 디스플레이 및 이미징 센서 모두를 인터리빙하는 양방향 에너지 층인 경우, LF 디스플레이 어셈블리(510)는 라이트필드를 투사하고 동시에 디스플레이 전방의 가시 영역으로부터의 이미징 정보를 기록하도록 구성될 수 있다. 일 실시예에서, 양방향 에너지 표면으로부터의 캡처된 이미지들은 라이트필드 카메라를 형성한다. 카메라는 캡처된 이미지들을 컨트롤러(520)에 제공한다.
추적 시스템(550)의 카메라는 컨트롤러(520)로부터 수신된 추적 명령들을 실행할 때 하나 이상의 이미징 파라미터들을 조절할 수 있다. 이미징 파라미터는 카메라가 이미지를 어떻게 캡처하는지에 영향을 주는 파라미터이다. 이미징 파라미터는 예를 들어, 프레임 레이트, 구경(aperture), 게인, 노출 길이, 프레임 타이밍, 롤링 셔터 또는 전역 셔터 캡처 모드들, 카메라가 이미지들을 어떻게 캡처하는지에 영향을 주는 일부 다른 파라미터, 또는 이들의 일부 조합을 포함할 수 있다.
컨트롤러(520)는 LF 디스플레이 어셈블리(510) 및 LF 디스플레이 시스템(500)의 임의의 다른 구성요소를 제어한다. 컨트롤러(520)는 데이터 저장부(522), 네트워크 인터페이스(524), 추적 모듈(526), 관찰자 프로파일링 모듈(528), 및 라이트필드 처리 엔진(530)을 포함한다. 다른 실시예들에서, 컨트롤러(520)는 본원에 설명된 것들보다 더 많은 또는 더 적은 모듈들을 포함한다. 유사하게, 기능들은 본원에 설명된 것과 다른 방식으로 모듈들 및/또는 다른 엔티티들 중에 분배될 수 있다. 예를 들어, 추적 모듈(526)은 LF 디스플레이 어셈블리(510) 또는 추적 시스템(550)의 일부일 수 있다.
데이터 저장부(522)는 LF 디스플레이 시스템(500)에 대한 정보를 저장하는 메모리이다. 저장된 정보는 디스플레이 명령들, 추적 명령들, 방출 파라미터들, 이미징 파라미터들, 타겟 영역의 가상 모델, 추적 정보, 카메라에 의해 캡처된 이미지들, 하나 이상의 관찰자들 프로파일들, 라이트필드 디스플레이 어셈블리(510)에 대한 보정 데이터, LF 모듈들(512)의 해상도 및 방향을 포함하는 LF 디스플레이 시스템(510)에 대한 구성 데이터, 원하는 가시 부피의 기하학적 형상, 홀로그래픽 객체 부피의 기하학적 형상, 3D 모델들, 장면들 및 환경들을 포함한 그래픽 생성을 위한 콘텐츠, 재료들 및 텍스처들, LF 디스플레이 시스템(500)에 의해 사용될 수 있는 다른 정보, 또는 이들의 일부 조합을 포함할 수 있다. 데이터 저장부(522)는 읽기 전용 메모리(ROM), 동적 랜덤 액세스 메모리(DRAM), 정적 랜덤 액세스 메모리(SRAM), 또는 이들의 몇몇 조합과 같은 메모리이다.
네트워크 인터페이스(524)는 라이트필드 디스플레이 시스템이 네트워크를 통해 다른 시스템들 또는 환경들과 통신하게 한다. 일 예에서, LF 디스플레이 시스템(500)은 네트워크 인터페이스(524)를 통해 원격 라이트필드 디스플레이 시스템으로부터 홀로그래픽 콘텐츠를 수신한다. 다른 예에서, LF 디스플레이 시스템(500)은 네트워크 인터페이스(524)를 사용하여 홀로그래픽 콘텐츠를 원격 데이터 저장부에 전송한다.
추적 모듈(526)은 LF 디스플레이 시스템(500)에 의해 제공되는 콘텐츠를 관찰하는 관찰자들을 추적한다. 이를 위해, 추적 모듈(526)은 추적 시스템(550)의 소스(들) 및/또는 카메라(들)의 동작을 제어하는 추적 명령들을 생성하고, 추적 시스템(550)에 추적 명령들을 제공한다. 추적 시스템(550)은 추적 명령들을 실행하고 추적 모듈(526)에 추적 입력을 제공한다.
추적 모듈(526)은 타겟 영역 내의 하나 이상의 관찰자들의 위치를 결정할 수 있다. 결정된 위치는 예를 들어, 일부 기준점(예를 들어, 디스플레이 표면)에 대해 상대적일 수 있다. 다른 실시예들에서, 결정된 위치는 타겟 영역의 가상 모델 내에 있을 수 있다. 추적되는 위치는, 예를 들어, 관찰자의 추적된 위치 및/또는 관찰자의 일 부분의 추적된 위치(예를 들어, 눈 위치, 손 위치 등)일 수 있다. 추적 모듈(526)은 추적 시스템(550)의 카메라들로부터 하나 이상의 캡처된 이미지들을 사용하여 위치를 결정한다. 추적 시스템(550)의 카메라들은 LF 디스플레이 시스템(500) 주위에 분포될 수 있고, 스테레오 내의 이미지들을 캡처할 수 있으며, 추적 모듈(526)이 관찰자들을 수동적으로 추적할 수 있게 한다. 다른 실시예들에서, 추적 모듈(526)은 관찰자들을 능동적으로 추적한다. 즉, 추적 시스템(550)은 타겟 영역의 일부 부분을 비추고, 타겟 영역을 이미징하며, 추적 모듈(526)은 비행시간 및/또는 구조화된 광 깊이 결정 기술들을 이용하여 위치를 결정한다. 추적 모듈(526)은 결정된 위치들을 이용하여 추적 정보를 생성한다.
추적 모듈(526)은 또한, LF 디스플레이 시스템(500)의 관찰자들로부터의 입력들로서 추적 정보를 수신할 수 있다. 추적 정보는 관찰자가 LF 디스플레이 시스템(500)에 의해 제공되는 다양한 입력 옵션들에 대응하는 신체 움직임들을 포함할 수 있다. 예를 들어, 추적 모듈(526)은 관찰자의 신체 움직임을 추적하고, LF 처리 엔진(530)에 대한 입력으로서 임의의 다양한 이동을 할당할 수 있다. 추적 모듈(526)은 추적 정보를 데이터 저장부(522), LF 처리 엔진(530), 관찰자 프로파일링 모듈(528), LF 디스플레이 시스템(500)의 임의의 다른 구성요소, 또는 이들의 일부 조합에 제공할 수 있다.
추적 모듈(526)에 대한 맥락을 제공하기 위해, 홀로그래픽 상품을 관찰자에게 디스플레이하는 LF 디스플레이 시스템(500)의 예시적인 실시예를 고려한다. 특정 홀로그래픽 상품을 디스플레이하는 것에 반응하여, 관찰자는 다양한 입력에 할당될 수 있는 손 및/또는 팔의 움직임으로 응답할 수 있다. 추적 시스템(550)은 관찰자의 손 및/또는 팔의 움직임을 기록하고, 해당 기록을 추적 모듈(526)에 전송할 수 있다. 추적 모듈(526)은 기록 내의 관찰자의 손 및/또는 팔의 움직임을 추적하고, 그 입력을 LF 처리 엔진(530)에 전송한다. 후술하는 바와 같이, 관찰자 프로파일링 모듈(528)은, 이미지 내의 정보가 관찰자의 손의 움직임이 예를 들어, 상품을 구매하기 위한 입력과 연관되어 있다는 것을 나타내는 것으로 결정한다. 따라서, LF 처리 엔진(530)은 상품의 구매를 최종 확인하기 위해 적절한 홀로그래픽 콘텐츠를 생성한다.
LF 디스플레이 시스템(500)은 관찰자들을 식별하고 프로파일링하도록 구성된 관찰자 프로파일링 모듈(528)을 포함한다. 관찰자 프로파일링 모듈(528)은 LF 디스플레이 시스템(500)에 의해 디스플레이되는 홀로그래픽 콘텐츠를 관찰하는 관찰자(또는 관찰자들)의 프로파일을 생성한다. 관찰자 프로파일링 모듈(528)은 관찰자 입력 및 모니터링된 관찰자 행동, 동작, 및 반응에 부분적으로 기초하여 관찰자 프로파일을 생성한다. 관찰자 프로파일링 모듈(528)은 추적 시스템(550)(예를 들어, 기록된 이미지, 비디오, 소리 등)으로부터 획득된 정보에 액세스하고, 해당 정보를 처리하여 다양한 정보를 결정할 수 있다. 다양한 예들에서, 관찰자 프로파일링 모듈(528)은 관찰자 행동, 동작들, 및 반응들을 결정하기 위해 임의의 수의 머신 비전 알고리즘 또는 머신 히어링(hearing) 알고리즘을 사용할 수 있다. 모니터링되는 관찰자 행동은, 예를 들어, 미소, 찌푸림, 응원, 박수, 웃음, 흥분 레벨, 제스처의 다른 변화, 또는 관찰자들의 움직임 등을 포함할 수 있다.
보다 일반적으로, 관찰자 프로파일은 LF 디스플레이 시스템으로부터의 홀로그래픽 콘텐츠를 보는 관찰자에 대해 수신 및/또는 결정된 임의의 정보를 포함할 수 있다. 예를 들어, 각각의 관찰자 프로파일은 LF 디스플레이 시스템(500)에 의해 디스플레이되는 콘텐츠에 대해 해당 관찰자의 동작들 또는 반응들을 기록(log)할 수 있다. 관찰자 프로파일에 포함될 수 있는 일부 예시적인 정보는 아래에서 제공된다.
일부 실시예들에서, 관찰자 프로파일은 디스플레이된 홀로그래픽 상품, 디스플레이된 홀로그래픽 콘텐츠 객체 등에 관한 관찰자의 반응을 기술할 수 있다. 예를 들어, 관찰자 프로파일은 관찰자가 일반적으로 꽃무늬가 있는 의류 항목(홀로그램으로 표시됨)에 대해 긍정적인 반응을 갖는다는 것을 나타낼 수 있다.
일부 실시예들에서, 관찰자 프로파일은, 예를 들어, 집에서, LF 디스플레이 시스템(500)을 이용하여 영화를 시청하는 관찰자의 특성들을 나타낼 수 있다. 예를 들어, 영화관의 관찰자는 대학교 로고를 표시하는 스웨트셔츠를 입고 있다. 이 경우에, 관찰자 프로파일은 관찰자가 스웨트셔츠를 입고 있다는 것을 표시할 수 있고, 스웨트셔츠에 있는 로고의 대학교와 관련된 홀로그래픽 콘텐츠를 선호할 수 있다. 보다 광범위하게, 관찰자 프로파일에 표시될 수 있는 관찰자의 특성들은 예를 들어, 나이, 성별, 인종, 의복, 관찰 위치 등을 포함할 수 있다.
일부 실시예들에서, 관찰자 프로파일은 원하는 영화와 관련한 관찰자에 대한 선호도를 나타낼 수 있다. 예를 들어, 관찰자 프로파일은 관찰자가 그들의 가족 구성원 모두에게 적합한 나이 대의 홀로그래픽 콘텐츠만을 보기를 선호함을 나타낼 수 있다. 다른 예에서, 관찰자 프로파일은 (예를 들어, 벽 위에) 홀로그래픽 콘텐츠를 디스플레이하기 위한 홀로그래픽 객체 부피들 및 (예를 들어, 그들의 머리 위에) 홀로그래픽 콘텐츠를 디스플레이하지 않기 위한 홀로그래픽 객체 부피들을 나타낼 수 있다. 관찰자 프로파일은 또한 관찰자가 그들 가까이에 제공된 햅틱 인터페이스를 선호하거나, 이들을 회피하는 것을 선호함을 나타낼 수 있다.
다른 예에서, 관찰자 프로파일은 특정 관찰자에 대해 관찰된 홀로그래픽 상품의 이력을 나타낸다. 예를 들어, 관찰자 프로파일링 모듈(528)은 관찰자가 이전에 홀로그래픽으로 디스플레이된 책상을 본 적이 있는 것으로 결정한다. 이와 같이, LF 디스플레이 시스템(500)은 관찰자가 또한 인식할 수 있는 또 다른 유사한 책상 또는 이전에 본 책상에 적합할 수 있는 사무실 의자를 디스플레이할 수 있다.
일부 실시예들에서, 관찰자 프로파일은 또한 특정 관찰자가 아니라 관찰자들의 그룹에 대한 특성들 및 선호도들을 기술할 수 있다. 예를 들어, 관찰자 프로파일링 모듈(528)은 가정에서 구현되는 LF 디스플레이 시스템(500)을 갖는 가족용 관찰자 프로파일을 생성할 수 있다. 일 예에서, 관찰자 프로파일링 모듈(528)은 가족의 집단적 관심을 기술하는 특성들을 갖는 가족용 관찰자 프로파일을 생성한다. 프로파일은 다양한 관심을 가질 수 있는 가족 구성원들의 비율을 더 세분화할 수 있다.
관찰자 프로파일링 모듈(528)은 또한 관찰자 프로파일을 구현하기 위해 제3자 시스템 또는 시스템들로부터 특정 관찰자(또는 관찰자들)와 연관된 프로파일에 액세스할 수 있다. 예를 들어, 관찰자는 그 관찰자의 소셜 미디어 계정에 링크된 제3자 판매자로부터 상품 아이템을 구매하거나, 관찰자는 예를 들어, 가상 게임에서, 소셜 네트워크 웹사이트 등에서 디지털 자산을 구매할 수 있다. 따라서, 관찰자의 구매는 그의 소셜 미디어 계정에 링크된다. 관찰자가 LF 디스플레이 시스템(500)을 구현하는 소매 상점에 들어갈 때, 관찰자 프로파일링 모듈(528)은 관찰자 프로파일을 구축(또는 증강)하기 위해 그의 소셜 미디어 계정으로부터의 정보에 액세스할 수 있다.
일부 실시예들에서, 데이터 저장부(522)는 관찰자 프로파일링 모듈(528)에 의해 생성되고, 업데이트되고, 및/또는 유지되는 관찰자 프로파일들을 저장하는 관찰자 프로파일 저장부를 포함한다. 관찰자 프로파일은 관찰자 프로파일링 모듈(528)에 의해 임의의 시간에 데이터 저장부에서 업데이트될 수 있다. 예를 들어, 일 실시예에서, 관찰자 프로파일 저장부는 특정 관찰자가 LF 디스플레이 시스템(500)에 의해 제공되는 홀로그래픽 콘텐츠를 볼 때 그들의 관찰자 프로파일에 있는 특정 관찰자에 관한 정보를 수신 및 저장한다. 이 예에서, 관찰자 프로파일링 모듈(528)은 관찰자들을 인식할 수 있는 얼굴 인식 알고리즘을 포함하고, 그들이 제공된 홀로그래픽 콘텐츠를 볼 때 그들을 긍정적으로(positively) 식별할 수 있다. 예를 들어, 관찰자가 LF 디스플레이 시스템(500)의 타겟 영역에 진입함에 따라, 추적 시스템(550)은 관찰자의 이미지를 획득한다. 관찰자 프로파일링 모듈(528)은 캡처된 이미지를 입력하고, 얼굴 인식 알고리즘을 이용하여 관찰자의 얼굴을 식별한다. 식별된 얼굴은 프로파일 저장부 내의 관찰자 프로파일과 연관되며, 그에 따라, 해당 관찰자에 대해 획득된 모든 입력 정보가 그들의 프로파일에 저장될 수 있다. 관찰자 프로파일링 모듈은 또한, 관찰자를 긍정적으로 식별하기 위해 카드 식별 스캐너, 음성 식별자, 무선-주파수 식별(RFID) 칩 스캐너, 바코드 스캐너 등을 이용할 수 있다.
관찰자 프로파일링 모듈(528)이 관찰자들을 긍정적으로 식별할 수 있는 실시예들에서, 관찰자 프로파일링 모듈(528)은 LF 디스플레이 시스템(500)에 대한 각각의 관찰자의 각각의 방문을 판단할 수 있다. 그 후, 관찰자 프로파일링 모듈(528)은 각각의 관찰자에 대한 관찰자 프로파일 내의 각각의 방문의 시간 및 날짜를 저장할 수 있다. 유사하게, 관찰자 프로파일링 모듈(528)은 관찰자로부터 수신된 감각 피드백 시스템(540), 추적 시스템(550) 및/또는 LF 디스플레이 어셈블리(510)의 임의의 조합으로부터의 입력들이 발생할 때마다 그들을 저장할 수 있다. 관찰자 프로파일 시스템(528)은 또한 관찰자 프로파일과 함께 저장될 수 있는 컨트롤러(520)의 다른 모듈들 또는 구성요소들로부터 특정 관찰자에 관한 추가적인 정보를 수신할 수 있다. 그 후, 컨트롤러(520)의 다른 구성요소들은 또한 해당 관찰자에게 제공될 후속 콘텐츠를 결정하기 위해, 저장된 관찰자 프로파일들에 액세스할 수 있다.
LF 처리 엔진(530)은, LF 디스플레이 시스템(500)에 의해 지원되는 모든 센서 도메인들에 대한 데이터뿐만 아니라, 라이트필드 데이터로 구성된 홀로그래픽 콘텐츠를 생성한다. 예를 들어, LF 처리 엔진(530)은, LF 디스플레이 어셈블리(510)에 의해 실행될 때, LF 디스플레이 어셈블리(510)로 하여금 홀로그래픽 콘텐츠를 제공하게 하는 래스터화된(rasterized) 포맷("래스터화된 데이터")으로 4D 좌표들을 생성할 수 있다. LF 처리 엔진(530)은 데이터 저장부(522)로부터 래스터화된 데이터에 액세스할 수 있다. 추가적으로, LF 처리 엔진(530)은 벡터화된 데이터 세트로부터 래스터화된 데이터를 구성할 수 있다. 벡터화된 데이터는 이하에 설명된다. LF 처리 엔진(530)은 또한, 홀로그래픽 객체들을 증강시키는 감각 콘텐츠를 제공하기 위해 필요한 감각 명령들을 생성할 수 있다. 전술한 바와 같이, 감각 명령들은 LF 디스플레이 시스템(500)에 의해 실행될 때, 햅틱 표면들, 소리 필드들, 및 LF 디스플레이 시스템(500)에 의해 지원되는 다른 형태의 감각 에너지를 생성할 수 있다. LF 처리 엔진(530)은 데이터 저장부(522)로부터의 감각 명령들에 액세스하거나, 감각 명령들을 구성하여 벡터화된 데이터 세트를 형성할 수 있다. 집합적으로, 4D 좌표들 및 감각 데이터는 홀로그래픽 및 감각 콘텐츠를 생성하기 위해 LF 디스플레이 시스템에 의해 실행가능한 디스플레이 명령들로서 홀로그래픽 콘텐츠를 표현한다. 일부 실시예들에서, 디스플레이 명령들은 LF 디스플레이 시스템(500)의 특성들, 또는 더 구체적으로는 LF 디스플레이 모듈들의 특성들에 기초한다. 특성들은 해상도, 홀로그래픽 객체 부피의 기하학적 형상, 가시 부피의 기하학적 형상, LF 디스플레이 모듈들의 다른 물리적 특성(예를 들어, 휘도, 재생률 등)을 포함하지만 이에 제한되지 않는 하드웨어 구성이다. 보다 일반적으로, 홀로그래픽 콘텐츠는 이상적인 라이트필드 좌표들, 라이브 액션 콘텐츠, 래스터화된 데이터, 벡터화된 데이터, 중계부들의 세트에 의해 전송된 전자기 에너지, 에너지 장치들의 그룹에 전송된 명령들, 하나 이상의 에너지 표면들 상의 에너지 위치들, 디스플레이 표면으로부터 투사되는 에너지 전파 경로들의 세트, 관찰자 또는 청중에게 보이는 홀로그래픽 객체, 및 다른 많은 유사한 형태들을 갖는 CG 콘텐츠의 형태를 취할 수 있다.
LF 디스플레이 시스템(500) 내의 다양한 에너지 소스들을 통한 에너지의 흐름을 기술하는 래스터화된 데이터의 양은 매우 크다. 데이터 저장부(522)로부터 액세스될 때 LF 디스플레이 시스템(500) 상에 래스터화된 데이터를 디스플레이할 수 있지만, LF 디스플레이 시스템(500) 상에서 효율적으로 전송하고 수신하며(예를 들어, 네트워크 인터페이스(524)를 통해), 이어서 래스터화된 데이터를 디스플레이할 수는 없다. 예를 들어, LF 디스플레이 시스템(500)에 의한 홀로그래픽 투사를 위한 짧은 영화를 나타내는 래스터화된 데이터를 예로 들 수 있다. 이 예에서, LF 디스플레이 시스템(500)은 수 기가비트 픽셀들을 포함하는 디스플레이를 포함하고, 래스터화된 데이터는 디스플레이 상의 각각의 픽셀 위치에 대한 정보를 포함한다. 래스터화된 데이터의 대응하는 크기는 방대하며(예를 들어, 영화 디스플레이 시간의 초당 수 기가바이트), 네트워크 인터페이스(524)를 통해 상용 네트워크 상에서 효율적으로 전송되도록 관리될 수 없다. 효율적인 전송의 문제는 홀로그래픽 콘텐츠의 라이브 스트리밍을 포함하는 응용들에서 증폭될 수 있다. 데이터 저장부(522) 상에 래스터화된 데이터를 단지 저장하는 추가적인 문제점은, 감각 피드백 시스템(540) 또는 추적 모듈(526)로부터의 입력들을 이용하여 대화형 경험이 요구될 때 발생한다. 반응형 경험을 가능하게 하기 위해, LF 처리 엔진(530)에 의해 생성된 라이트필드 콘텐츠는 감각 또는 추적 입력에 응답하여 실시간으로 변경될 수 있다. 즉, 일부 경우에, LF 콘텐츠는 단순히 데이터 저장부(522)로부터 판독되지 못할 수 있다.
따라서, 일부 구성들에서, LF 디스플레이 시스템(500)에 의해 디스플레이하기 위한 홀로그래픽 콘텐츠를 나타내는 데이터는 벡터화된 데이터 포맷("벡터화된 데이터")으로 LF 처리 엔진(530)에 전송될 수 있다. 벡터화된 데이터는 래스터화된 데이터보다 여러 배(order)만큼 더 작을 수 있다. 또한, 벡터화된 데이터는 데이터의 효율적인 공유를 가능하게 하는 데이터 세트 크기를 가지면서 높은 이미지 품질을 제공한다. 예를 들어, 벡터화된 데이터는 보다 밀도 높은 데이터 세트로부터 도출된 희소 데이터 세트일 수 있다. 따라서, 벡터화된 데이터는, 조밀한 래스터화된 데이터로부터 얼마나 희소한 벡터화된 데이터가 샘플링되는지에 기초하여, 이미지 품질과 데이터 전송 크기 사이에 조정 가능한 균형을 가질 수 있다. 벡터화된 데이터를 생성하기 위한 조정 가능한 샘플링은 주어진 네트워크 속도에 대한 이미지 품질의 최적화를 가능하게 한다. 결과적으로, 벡터화된 데이터는 네트워크 인터페이스(524)를 통해 홀로그래픽 콘텐츠의 효율적인 전송을 가능하게 한다. 벡터화된 데이터는 또한 홀로그래픽 콘텐츠가 상용 네트워크를 통해 라이브 스트리밍될 수 있게 한다.
요약하면, LF 처리 엔진(530)은 데이터 저장부(522)로부터 액세스된 래스터화된 데이터, 데이터 저장부(522)로부터 액세스된 벡터화된 데이터, 또는 네트워크 인터페이스(524)를 통해 수신된 벡터화된 데이터로부터 도출된 홀로그래픽 콘텐츠를 생성할 수 있다. 다양한 구성들에서, 벡터화된 데이터는 데이터 전송 전에 인코딩될 수 있고, LF 컨트롤러(520)에 의한 수신 후에 디코딩될 수 있다. 일부 예들에서, 벡터화된 데이터는 데이터 압축과 관련된 추가된 데이터 보안 및 성능 향상을 위해 인코딩된다. 예를 들어, 네트워크 인터페이스에 의해 수신된 벡터화된 데이터는 홀로그래픽 스트리밍 애플리케이션으로부터 수신된 인코딩된 벡터화된 데이터일 수 있다. 일부 예들에서, 벡터화된 데이터 내의 인코딩된 정보 콘텐츠에 액세스하기 위해, 벡터화된 데이터는 디코더, LF 처리 엔진(530), 또는 이들 모두를 필요로 할 수 있다. 인코더 및/또는 디코더 시스템들은 고객들에게 이용 가능하거나 제3자 벤더들에게 라이센스 부여될 수 있다.
벡터화된 데이터는, 반응형 경험을 지원할 수 있는 방식으로 LF 디스플레이 시스템(500)에 의해 지원되는 각각의 감각 도메인에 대한 모든 정보를 포함한다. 예를 들어, 반응형 홀로그래픽 경험을 위한 벡터화된 데이터는 LF 디스플레이 시스템(500)에 의해 지원되는 각각의 감각 도메인에 대한 정확한 물리적 특성을 제공할 수 있는 임의의 벡터화된 속성들을 포함할 수 있다. 벡터화된 속성들은 합성적으로 프로그램되고, 캡처되며, 컴퓨터로 평가되는 등일 수 있는 임의의 속성들을 포함할 수 있다. LF 처리 엔진(530)은 벡터화된 데이터 내의 벡터화된 속성들을 래스터화된 데이터로 변환하도록 구성될 수 있다. 그 후, LF 처리 엔진(530)은 LF 디스플레이 어셈블리(510)를 사용하여, 벡터화된 데이터로부터 변환된 홀로그래픽 콘텐츠를 투사할 수 있다. 다양한 구성들에서, 벡터화된 속성들은 하나 이상의 적색/녹색/청색/알파 채널(RGBA) + 깊이 이미지, 하나의 고해상도 중심 이미지 및 더 낮은 해상도의 다른 뷰들을 포함할 수 있는 다양한 해상도에서 깊이 정보를 갖거나 갖지 않는 다중 뷰 이미지들, 알베도 및 반사도와 같은 재료 특성, 표면 법선, 다른 광학적 효과, 표면 식별, 기하학적 객체 좌표, 가상 카메라 좌표, 디스플레이 평면 위치, 조명 좌표, 표면에 대한 촉각적 강성(stiffness), 촉각적 연성, 촉각적 강도, 소리 필드의 진폭 및 좌표, 환경 조건, 텍스처에 대한 기계 수용체와 관련된 체성감각 에너지 벡터, 또는 온도, 청각 및 임의의 다른 감각 도메인 속성을 포함할 수 있다. 많은 다른 벡터화된 속성들이 또한 가능하다.
LF 디스플레이 시스템(500)은 또한, 반응형 가시 경험을 생성할 수 있다. 즉, 홀로그래픽 콘텐츠는 관찰자 위치, 제스처, 상호작용, 홀로그래픽 콘텐츠와의 상호작용, 또는 관찰자 프로파일링 모듈(528) 및/또는 추적 모듈(526)로부터 도출된 다른 정보를 포함하는 입력 자극에 응답할 수 있다. 예를 들어, 일 실시예에서, LF 처리 시스템(500)은 네트워크 인터페이스(524)를 통해 수신된 실시간 성능의 벡터화된 데이터를 이용하여 반응형 가시 경험을 생성한다. 다른 예에서, 홀로그래픽 객체가 관찰자 상호작용에 응답하여 즉시 특정 방향으로 이동할 필요가 있는 경우, LF 처리 엔진(530)은 장면의 렌더링을 업데이트하여 홀로그래픽 객체가 그 요구된 방향으로 이동하게 할 수 있다. 이는 LF 처리 엔진(530)으로 하여금 관찰자 상호작용에 정확하게 응답하기 위해 벡터화된 데이터 세트를 사용하여 적절한 객체 배치 및 이동, 충돌 검출, 폐색(occlusion), 컬러, 음영, 조명 등을 갖는 3D 그래픽 장면에 기초하여 실시간으로 라이트필드를 렌더링하도록 요구할 수 있다. LF 처리 엔진(530)은 벡터화된 데이터를 LF 디스플레이 어셈블리(510)에 의한 표시를 위해 래스터화된 데이터로 변환한다.
래스터화된 데이터는 실시간 성능을 나타내는 홀로그래픽 콘텐츠 명령들 및 감각 명령들(디스플레이 명령들)을 포함한다. LF 디스플레이 어셈블리(510)는 디스플레이 명령들을 실행함으로써 실시간 공연의 홀로그래픽 및 감각 콘텐츠를 동시에 투사한다. LF 디스플레이 시스템(500)은 추적 모듈(526) 및 관찰자 프로파일링 모듈(528)을 이용하여 제공된 실시간 성능으로 관찰자 상호작용(예를 들어, 음성 응답, 터치 등)을 모니터링한다. 관찰자 상호작용에 응답하여, LF 처리 엔진은 관찰자에게 디스플레이하기 위해 추가적인 홀로그래픽 및/또는 감각 콘텐츠를 생성함으로써 상호작용 경험을 생성할 수 있다.
설명을 위해, 관찰자에게 자전거를 나타내는 홀로그래픽 객체를 생성하는 LF 처리 엔진(530)을 포함하는 LF 디스플레이 시스템(500)의 예시적인 실시예를 고려한다. 관찰자는 자전거를 나타내는 홀로그래픽 객체를 터치하기 위해 움직일 수 있다. 이에 대응하여, 추적 시스템(550)은 홀로그래픽 객체에 대한 관찰자의 손의 움직임을 추적한다. 관찰자의 움직임은 추적 시스템(550)에 의해 기록되고 컨트롤러(520)로 전송된다. 추적 모듈(526)은 관찰자의 손의 움직임을 연속적으로 판단하고 판단된 움직임들을 LF 처리 엔진(530)에 전송한다. LF 처리 엔진(530)은 관찰자의 손의 배치를 결정하고, 홀로그래픽 객체의 임의의 필요한 변화(위치, 색, 또는 폐색 등)를 포함하도록 그래픽의 실시간 렌더링을 조절한다. LF 처리 엔진(530)은 (예를 들어, 초음파 스피커를 사용하여) 부피 햅틱 투사 시스템을 사용하여 촉각 표면을 생성하도록 LF 디스플레이 어셈블리(510)(및/또는 감각 피드백 시스템(540))에 명령한다. 생성된 촉각 표면은 홀로그래픽 객체의 적어도 일부에 대응하고, 홀로그래픽 객체의 외부 표면의 일부 또는 전부와 실질적으로 동일한 공간을 점유한다. LF 처리 엔진(530)은 관찰자에게 자전거를 터치하는 시각적 및 촉각적 인지 모두를 제공하도록, 추적 정보를 사용하여 LF 디스플레이 어셈블리(510)로 하여금 렌더링된 홀로그래픽 객체의 위치와 함께 촉각 표면의 위치를 이동시키도록 지시한다. 보다 단순하게, 관찰자가 그의 손이 홀로그래픽 자전거를 터치하는 것을 보는 경우, 관찰자는 그들의 손이 홀로그래픽 자전거를 터치하는 것을 나타내는 햅틱 피드백을 느끼고, 동시에 자전거는 터치에 반응하여 위치 또는 움직임을 변경한다. 일부 예들에서, 데이터 저장부(522)로부터 액세스되는 반응형 자전거를 제공하는 것이 아니라, 반응형 자전거는 네트워크 인터페이스(524)를 통해 라이브 스트리밍 애플리케이션으로부터 수신된 홀로그래픽 콘텐츠의 일부로서 수신될 수 있다.
LF 처리 엔진(530)은 또한, LF 디스플레이 시스템(500)에 의해 디스플레이하기 위한 홀로그래픽 콘텐츠를 생성할 수 있다. 여기서 중요한 것은, 디스플레이를 위한 홀로그래픽 콘텐츠를 생성하는 것이 디스플레이를 위한 홀로그래픽 콘텐츠에 액세스하거나, 수신하는 것과는 다르다는 것이다. 즉, 콘텐츠를 생성할 때, LF 처리 엔진(530)은 이전에 생성된 및/또는 수신된 콘텐츠에 액세스하는 것과 달리, 디스플레이를 위해 완전히 새로운 콘텐츠를 생성한다. LF 처리 엔진(530)은 추적 시스템(550), 감각 피드백 시스템(540), 관찰자 프로파일링 모듈(528), 추적 모듈(526), 또는 이들의 일부 조합으로부터의 정보를 이용하여, 디스플레이를 위한 홀로그래픽 콘텐츠를 생성할 수 있다. 일부 예들에서, LF 처리 엔진(530)은 LF 디스플레이 시스템(500)의 구성요소들(예를 들어, 추적 정보 및/또는 관찰자 프로파일)로부터 정보를 액세스하고, 그 정보에 기초하여 홀로그래픽 콘텐츠를 생성하며, LF 디스플레이 시스템(500)을 사용하여 생성된 홀로그래픽 콘텐츠를 응답으로서 디스플레이할 수 있다. 생성된 홀로그래픽 콘텐츠는 LF 디스플레이 시스템(500)에 의해 디스플레이될 때 다른 감각 콘텐츠(예를 들어, 터치, 오디오 또는 냄새)로 증강될 수 있다. 또한, LF 디스플레이 시스템(500)은 나중에 디스플레이될 수 있도록, 생성된 홀로그래픽 콘텐츠를 저장할 수 있다.
LF 디스플레이 시스템을 위한 동적 콘텐츠 생성
일부 실시예들에서, LF 처리 엔진(530)은 LF 디스플레이 시스템(500)에 의해 디스플레이하기 위한 홀로그래픽 콘텐츠를 생성하기 위해 인공지능(artificial intelligence, AI) 모델을 포함한다. AI 모델은 회귀 모델, 신경망, 분류기, 또는 임의의 다른 AI 알고리즘을 포함하지만 이에 제한되지 않는, 지도 또는 비-지도 학습 알고리즘을 포함할 수 있다. AI 모델은, 관찰자의 행동에 대한 정보를 포함할 수 있는, LF 디스플레이 시스템(500)에 의해(예를 들어, 추적 시스템(550)에 의해) 기록된 관찰자 정보에 기초하여 관찰자 선호도를 결정하는 데에 사용될 수 있다.
AI 모델은 홀로그래픽 콘텐츠를 생성하기 위해 데이터 저장부(522)로부터의 정보에 액세스할 수 있다. 예를 들어, AI 모델은 데이터 저장부(522) 내의 관찰자 프로파일 또는 프로파일들로부터 관찰자 정보에 액세스할 수 있거나, 또는 LF 디스플레이 시스템(500)의 다양한 구성요소들로부터 관찰자 정보를 수신할 수 있다. 설명을 위해, AI 모델은 다양한 다른 홀로그래픽 상품의 관찰 이력을 고려할 때 관찰자가 다른 홀로그래픽 상품을 보는 것을 선호할 수 있다고 결정할 수 있다. AI 모델은 또한, 데이터 저장부(522)의 관찰자 프로파일 저장부 내의 각각의 관찰자의 학습된 선호도들을 저장할 수 있다. 일부 예들에서, AI 모델은 관찰자들의 그룹이 아니라 개별 관찰자에 대한 홀로그래픽 콘텐츠를 생성할 수 있다.
관찰자들의 특성들을 식별하고, 반응을 식별하며, 및/또는 식별된 정보에 기초하여 홀로그래픽 콘텐츠를 생성하는 데에 사용될 수 있는 AI 모델의 일 예는 노드 계층들을 갖는 콘볼루션(convolutional) 신경망 모델이며, 여기서 현재 층의 노드들에서의 값들은 이전 층의 노드들에서의 값들의 변환이다. 모델의 변환은 현재 계층과 이전 계층을 연결하는 가중치 및 파라미터 세트를 통해 결정된다. 예를 들어, AI 모델은 5개 층의 노드들, 즉, A, B, C, D, 및 E층들을 포함할 수 있다. A층으로부터 B층으로의 변환은 함수(W1)에 의해 주어지고, B층으로부터 C층으로의 변환은 W2에 의해 주어지며, C층으로부터 D층으로의 변환은 W3에 의해 주어지고, D층으로부터 E층으로의 변환은 W4에 의해 주어진다. 일부 예들에서, 변환은 또한, 모델의 이전 계층들 사이에서 변환하는 데 사용된 가중치들 및 파라미터들의 세트를 통해 결정될 수 있다. 예를 들어, D층으로부터 E층으로의 변환 W4는 A층으로부터 B층으로의 변환 W1을 달성하기 위해 사용되는 파라미터들에 기초할 수 있다.
모델에 대한 입력은 콘볼루션 층(A) 상에 인코딩되는 시스템(550) 추적에 의해 얻어진 이미지일 수 있고, 모델의 출력은 출력 층(E)으로부터 디코딩되는 홀로그래픽 콘텐츠이다. 대안적으로 또는 추가적으로, 출력은 이미지 내의 관찰자의 결정된 특성일 수 있다. 이 예에서, AI 모델은 식별 계층(C) 내의 관찰자 특성을 나타내는 이미지 내의 잠재 정보를 식별한다. AI 모델은 이미지 내의 임의의 특성, 동작, 반응 등을 식별하기 위해 콘볼루션 층(A)의 차원을 식별 층(C)의 차원으로 감소시킨다. 일부 예들에서, AI 모델은 그 다음에 홀로그래픽 콘텐츠를 생성하기 위해 식별 층(C)의 차원을 증가시킨다.
추적 시스템(550)으로부터의 이미지는 콘볼루션 층(A)으로 인코딩된다. 콘볼루션 층(A) 내의 이미지들은 식별 층(C) 내의 다양한 특성들 및/또는 반응 정보 등과 관련될 수 있다. 이러한 요소들 간의 관련성 정보는 대응하는 계층들 간에 일 세트의 변환들을 적용하여 인출될 수 있다. 즉, AI 모델의 콘볼루션 층(A)은 인코딩된 이미지를 나타내고, 모델의 식별 층(C)은 미소짓는 관찰자를 나타낸다. 주어진 이미지 내의 미소짓는 관찰자들은, 컨볼루션 층(A)의 공간에서 이미지의 픽셀 값들에 변환들(W1 및 W2)을 적용함으로써 식별될 수 있다. 변환들을 위한 가중치들 및 파라미터들은 이미지에 포함된 정보와, 미소짓는 관찰자의 식별 사이의 관계를 나타낼 수 있다. 예를 들어, 가중치들 및 파라미터들은 이미지 내의 미소짓는 관찰자를 나타내는 정보에 포함된 형상, 색상, 크기 등의 양자화(quantization)일 수 있다. 가중치들 및 파라미터들은 이력 데이터(예를 들어, 이전에 추적된 관찰자들)에 기초할 수 있다.
이미지 내의 미소짓는 관찰자들은 식별 층(C)에서 식별된다. 식별 층(C)은 이미지 내의 미소짓는 관찰자들에 대한 잠재적인 정보에 기초하여 미소짓는 관찰자들을 식별한다.
이미지 내의 미소짓는 관찰자들을 식별하는 것은 홀로그래픽 콘텐츠를 생성하는 데에 사용될 수 있다. 홀로그래픽 콘텐츠를 생성하기 위해, AI 모델은 식별 층(C)에서 시작하고, 식별 층(C) 내의 주어진 식별된 미소짓는 관찰자들의 값에 변환들(W2 및 W3)을 적용한다. 변환들로 인해 출력 층(E)에서의 노드들의 세트가 생성된다. 변환들에 대한 가중치들 및 파라미터들은 식별된 미소짓는 관찰자들 및 특정 홀로그래픽 콘텐츠 및/또는 선호도들 사이의 관계들을 나타낼 수 있다. 일부 경우에, 홀로그래픽 콘텐츠는 출력 층(E)의 노드들로부터 직접 출력되는 반면, 다른 경우에, 콘텐츠 생성 시스템은 출력 층(E)의 노드들을 홀로그래픽 콘텐츠로 디코딩한다. 예를 들어, 출력이 식별된 특성들의 세트이면, LF 처리 엔진은 그 특성들을 이용하여 홀로그래픽 콘텐츠를 생성할 수 있다.
추가적으로, AI 모델은 중간 층들로 알려진 층들을 포함할 수 있다. 중간 층들은 이미지, 특성/반응의 식별 등, 또는 홀로그래픽 콘텐츠의 생성에 대응하지 않는 층들이다. 예를 들어, 주어진 예에서, B층은 콘볼루션 층(A)과 식별 층(C) 사이의 중간 층이다. D층은 식별 층(C)과 출력 층(E) 사이의 중간 층이다. 은닉 층들은, 데이터에서 관찰되지는 않지만 특성들을 식별하고 홀로그래픽 콘텐츠를 생성할 때 이미지의 구성요소들 사이의 관계들을 지배할 수 있는 상이한 식별의 측면들에 대한 잠재적인 표현들이다. 예를 들어, 은닉 층 내의 노드는 "미소 짓고 웃는 사람들"의 공통점을 공유하는 입력 값들 및 식별 값들에 대해 강한 연결들(예를 들어, 큰 가중치 값들)을 가질 수 있다. 다른 예로서, 은닉 층 내의 다른 노드는 "소리지르고 겁먹은 사람들"의 공통점을 공유하는 입력 값들 및 식별 값들에 대해 강한 연결들을 가질 수 있다. 물론, 신경망에는 임의의 수의 연결이 존재한다. 추가적으로, 각각의 중간 층은, 예를 들어, 잔여 블록들, 콘볼루션 층들, 풀링 동작들, 연결들 건너뛰기, 뒤에 이어붙이기(concatenation) 등과 같은 기능들의 조합이다. 임의의 수의 중간 층들(B)이 식별 층에 대한 콘볼루션 층의 연결을 감소시키는 기능을 할 수 있고, 임의의 수의 중간 층들(D)이 출력 층에 대한 식별 층의 연결을 증가시키는 기능을 할 수 있다.
일 실시예에서, AI 모델은 강화 학습으로 훈련된 결정론적 방법들을 포함한다(따라서, 강화 학습 모델을 생성한다). 모델은 입력들로서 추적 시스템(550)으로부터의 측정들 및 출력들로서 생성된 홀로그래픽 콘텐츠에 대한 변화들을 사용하여 성능의 품질을 증가시키도록 훈련된다.
강화 학습은 기계가 수치적 보상 신호를 최대화하기 위해 '무엇을 할 것인가'(상황을 동작에 어떻게 매핑하는지)를 학습하는 머신러닝 시스템이다. 학습자(예를 들어, LF 처리 엔진(530))는 어떤 동작(예를 들어, 기술된 홀로그래픽 콘텐츠를 생성)을 취하도록 지시되지 않고, 대신에 동작들을 시도하여 어떤 동작들이 가장 많은 보상을 산출하는지를 발견(예를 들어, 더 많은 사람들을 응원함으로써 홀로그래픽 콘텐츠의 품질을 증가시킴)한다. 일부 경우에, 동작들은 즉각적인 보상뿐만 아니라 그 다음 상황에도 영향을 미칠 수 있으며, 그 결과, 모든 후속 보상들에 영향을 줄 수 있다. 이러한 두 가지 특성(시행착오 검색 및 지연된 보상)은 강화 학습의 2개의 주된 특징들이다.
강화 학습은 학습 방법을 특징짓는 것이 아니라 학습 문제를 특징 지음으로써 정의된다. 기본적으로, 강화 학습 시스템은 목표를 달성하기 위해 그 환경과 상호작용하는 학습 에이전트가 직면하는 문제의 중요한 측면들을 포착한다. 즉, 공연자를 위한 노래를 생성하는 예에서, 강화 학습 시스템은 장소 내의 관찰자들에 대한 정보(예를 들어, 나이, 성향 등)를 캡처한다. 이러한 에이전트는 환경의 상태를 감지하고, 목표 또는 목표들을 달성하기 위해 상태에 영향을 주는(예를 들어, 관찰자들이 환호하는 팝송을 생성하는) 동작을 취한다. 가장 기본적인 형태에서, 강화 학습의 공식은 학습자에 대한 세 가지 측면들, 즉, 감지, 동작, 목표를 포함한다. 노래의 예를 계속하면, LF 처리 엔진(530)은 추적 시스템(550)의 센서들을 이용하여 환경의 상태를 감지하고, 환경 내의 관찰자들에게 홀로그래픽 콘텐츠를 디스플레이하며, 그 노래에 대한 관찰자들의 인지의 척도인 목표를 달성한다.
강화 학습에서 발생하는 과제들 중 하나는 탐색(exploration)과 이용(exploitation) 간의 트레이드오프이다. 시스템에서 보상을 증가시키기 위해, 강화 학습 에이전트는 과거에 시도했고 보상을 생산하는 데에 효과적인 것으로 밝혀졌던 동작들을 선호한다. 그러나 보상을 생성하는 동작들을 발견하기 위해 학습 에이전트는 이전에 선택하지 않은 동작들을 선택한다. 에이전트는 보상을 획득하기 위해 이미 알고 있는 정보를 '이용'하지만, 미래에 더 나은 동작 선택들을 하기 위해서 정보를 '탐색' 한다. 학습 에이전트는 다양한 동작들을 시도하고, 새 동작들을 시도하는 동안 최상으로 보이는 것을 점진적으로 선호한다. 확률적 태스크에서, 각각의 동작은 일반적으로, 예상되는 보상에 대한 신뢰할 수 있는 추정을 얻기 위해 여러 번 시도된다. 예를 들어, LF 처리 엔진이, 긴 시간 주기 후에 관찰자가 웃는 결과를 초래할 것을 이미 알고 있는 홀로그래픽 콘텐츠를 생성하는 경우, LF 처리 엔진은 관찰자가 웃을 때까지의 시간이 감소하도록 홀로그래픽 콘텐츠를 변경할 수 있다.
또한, 강화 학습은 불확실한 환경과 상호작용하는 목표 지향적 에이전트의 전체 문제를 고려한다. 강화 학습 에이전트는 명확한 목표를 갖고 있으며, 자신들의 환경의 측면들을 감지할 수 있고, 높은 보상(즉, 환호하는 군중)을 받을 수 있는 동작들을 선택할 수 있다. 또한, 에이전트들은 일반적으로, 그들이 직면하는 환경 주위에서 상당한 불확실성에도 불구하고 동작한다. 강화 학습이 계획을 포함하는 경우, 시스템은 환경 요소들이 어떻게 획득되고 개선되는지에 대한 질문뿐만 아니라, 계획 및 실시간 동작 선택 간의 상호작용을 해결한다. 강화 학습이 진행되도록 하려면, 중요한 하위 문제들을 분리하고 연구해야 하는데, 하위 문제들은 완벽한 반응형의 목표를 추구하는 에이전트에서 명확한 역할을 수행한다.
강화 학습 문제는 상호작용들이 처리되고 목표를 달성하기 위해 동작들이 수행되는 머신러닝 문제의 프레임을 작성하는 것이다. 학습자 및 의사 결정자는 에이전트(예를 들어, LF 처리 엔진(530))로 불린다. 에이전트 외부의 모든 것을 포함하여 상호작용하는 것은 환경(예를 들어, 장소 내의 관찰자 등)이라고 불린다. 이들 둘은 연속적으로 상호작용하며, 에이전트는 동작들(예를 들어, 홀로그래픽 콘텐츠를 생성)을 선택하고, 환경은 이러한 동작들에 응답하여 에이전트에게 새로운 상황들을 제공한다. 환경은 또한, 에이전트가 시간 경과에 따라 최대화하려고 시도하는 특별한 숫자 값인 보상을 제공한다. 특정 상황에서, 보상은 홀로그래픽 콘텐츠에 대한 관찰자의 긍정적인 반응을 최대화하도록 작용한다. 환경의 전부피인 사양은 강화 학습 문제점의 한 인스턴스인 태스크를 정의한다.
더 많은 컨텍스트를 제공하기 위해, 에이전트(예를 들어, LF 처리 엔진(530)) 및 환경은 이산적인 시간 단계들의 시퀀스, 즉, t = 0, 1, 2, 3 등의 각각에서 상호작용한다. 각각의 시간 단계 t에서, 에이전트는 환경의 상태 st의 일부 표현(예를 들어, 추적 시스템(550)으로부터의 측정치들)을 수신한다. 상태들 st는 S 내에 있고, 여기서 S는 가능한 상태들의 세트이다. 상태 st 및 시간 단계 t에 기초하여, 에이전트는 (예를 들어, 공연자가 다리찢기를 하도록 하는) 동작을 선택한다. 동작은 A(st) 내에 있으며, 여기서 A(st)는 가능한 동작들의 세트이다. 하나의 시간 상태 후에, 자신의 동작의 결과로서 부분적으로, 에이전트는 수치적 보상 rt+1을 수신한다. 상태 rt+1은 R 내에 있으며, 여기서 R은 가능한 보상들의 집합이다. 에이전트가 보상을 수신하면, 에이전트는 새로운 상태 st+1에서 선택한다.
각각의 시간 단계에서, 에이전트는 상태들로부터 각각의 가능한 동작을 선택하는 확률들로의 매핑을 구현한다. 이 매핑은 에이전트의 정책이라고 부르며, πt로 표시되는데, 여기서 πt(s, a)는 st = s인 경우에 at = a일 확률이다. 강화 학습 방법은 에이전트가 에이전트 동작들로 인해 발생한 상태들 및 보상들의 결과로서 자신의 정책을 변경하는 방법을 지시할 수 있다. 에이전트의 목표는 시간이 경과함에 따라 수신하는 총 보상의 양을 최대화하는 것이다.
이러한 강화 학습 프레임워크는 플렉시블하며, 여러 상이한 방식으로 많은 상이한 문제점들에 적용될 수 있다(예를 들어 홀로그래픽 콘텐츠의 생성). 이 프레임워크는 센서, 메모리 및 제어 장치의 세부사항이 무엇이든 간에, 목표 지향 행동을 학습하는 임의의 문제(또는 목적)가 에이전트와 그의 환경 사이를 오가는 세 개의 신호, 즉, 에이전트에 의해 행해진 선택을 나타내는 하나의 신호(동작), 선택이 이루어지는 기초를 나타내는 하나의 신호(상태), 및 에이전트의 목표를 정의하기 위한 하나의 신호(보상)로 감소될 수 있음을 제안한다.
물론, AI 모델은 임의의 개수의 머신 러닝 알고리즘을 포함할 수 있다. 사용될 수 있는 일부 다른 AI 모델들은 선형 회귀 및/또는 로지스틱 회귀, 분류 트리 및 회귀 트리, k-평균 클러스터링, 벡터 양자화 등이다. 어떤 경우든, 일반적으로, LF 처리 엔진(530)은 추적 모듈(526) 및/또는 관찰자 프로파일링 모듈(528)로부터 입력을 받고, 머신 러닝 모델은 응답으로서 홀로그래픽 콘텐츠를 생성한다. 유사하게, AI 모델은 홀로그래픽 콘텐츠의 렌더링을 지시할 수 있다.
LF 처리 엔진(530)은 디스플레이되고 있는 홀로그래픽 상품에 기초하여 홀로그래픽 콘텐츠를 생성할 수 있다. 예를 들어, 도시되고 있는 홀로그래픽 상품은 상품의 특성을 기술하는 메타데이터의 집합과 연관될 수 있다. 메타데이터는 예를 들어, 색상, 재료, 다른 구매자에 의한 평점, 비용, 판매량 등을 포함할 수 있다. LF 처리 엔진(530)은 홀로그래픽 상품을 기술하는 임의의 메타데이터에 액세스하여, 제공될 홀로그래픽 콘텐츠를 생성할 수 있다. 예를 들어, 관찰자의 집에 구현된 LF 디스플레이 시스템(500)에 의해 소파를 나타내는 홀로그래픽 상품이 제공된다. LF 처리 엔진(530)은 소파의 메타데이터에 액세스하여 집의 벽들에 대한 홀로그래픽 콘텐츠를 생성하여 소파를 보완한다. 여기서, 메타데이터는 색상 및 재료를 포함할 수 있다. LF 처리 엔진(530)은 메타데이터를 AI 모델로 입력하고, 이에 반응하여 집의 벽들에 디스플레이할 홀로그래픽 콘텐츠를 수신한다.
일 예에서, LF 처리 엔진(530)은 통상적인 2차원(2D) 영화를 LF 디스플레이 시스템에 의해 디스플레이하기 위한 홀로그래픽 콘텐츠로 변환할 수 있다. 예를 들어, LF 처리 엔진(530)은 통상적인 영화를 AI 모델에 입력할 수 있고, AI 모델은 통상적인 영화의 임의의 부분을 홀로그래픽 콘텐츠로 변환한다. 일 예에서, AI 모델은 2차원 데이터를 홀로그래픽 데이터로 변환함으로써 훈련된 머신러닝 알고리즘을 사용하여 통상적인 영화를 홀로그래픽 콘텐츠로 변환할 수 있다. 다양한 상황에서, 훈련 데이터는 이미 생성되었거나, 생성되거나, 또는 이들의 일부 조합일 수 있다. 그 후, LF 디스플레이 시스템(500)은 통상적인 2차원 버전의 영화가 아닌, 해당 영화의 홀로그래픽 버전을 디스플레이할 수 있다.
온라인 상점 플랫폼
도 5b는 하나 이상의 실시예들에 따른, 상점용 LF 디스플레이 시스템을 포함하는 LF 상점 플랫폼 환경(560)의 블록도이다. 도 5b에 도시된 LF 상점 환경(560)은 하나 이상의 클라이언트 LF 디스플레이 시스템(500A 및 500B), 네트워크(570), 하나 이상의 제3자 시스템(580), 및 온라인 시스템(590)을 포함한다. 대안적인 구성들에서, 상이한 및/또는 추가의 구성요소들이 LF 상점 환경(560)에 포함될 수 있다. 예를 들어, 온라인 시스템(590)은 소셜 네트워킹 시스템, 콘텐츠 공유 네트워크, 또는 고객들에게 콘텐츠를 제공하는 다른 시스템이다.
클라이언트 LF 디스플레이 시스템들(500A 및 500B)은 홀로그래픽 콘텐츠를 디스플레이하고, 입력을 수신하며, 네트워크(570)를 통해 데이터를 전송 및/또는 수신할 수 있다. 클라이언트 LF 디스플레이 시스템(500A)은 LF 디스플레이 시스템(500)의 일 실시예이다. 따라서, 클라이언트 LF 디스플레이 시스템(500A)은 클라이언트 LF 디스플레이 시스템(500A)의 하나 이상의 고객들에게 홀로그래픽 콘텐츠를 제공한다. 다른 실시예들에서, 클라이언트 LF 디스플레이 시스템(500A)은 고객들로 하여금 하나 이상의 고객들에 의해 생성된 홀로그래픽 콘텐츠를 온라인 시스템(590)에 제공하게 할 수 있다. 클라이언트 LF 디스플레이 시스템(500A)은 네트워크(570)를 통해 통신하도록 구성된다. 일부 실시예들에서, 클라이언트 LF 디스플레이 시스템(500A)은 클라이언트 LF 디스플레이 시스템(500A)의 고객이 온라인 시스템(590)과 상호작용하게 하는 애플리케이션을 실행한다. 예를 들어, 클라이언트 LF 디스플레이 시스템(500A)은 네트워크(570)를 통해 클라이언트 LF 디스플레이 시스템(500A)과 온라인 시스템(590) 사이에서 상호작용할 수 있도록 브라우저 애플리케이션을 실행한다. 다른 실시예들에서, 클라이언트 LF 디스플레이 시스템(500A)은 IOS® 또는 ANDROID™와 같은 클라이언트 LF 디스플레이 시스템(500A)의 네이티브 운영체제 상에서 동작하는 API(application programming interface)를 통해 온라인 시스템(590)과 상호작용한다.
클라이언트 LF 디스플레이 시스템들(500A)은 유선 및/또는 무선 통신 시스템들 모두를 사용하여, 근거리 및/또는 광역 네트워크들의 임의의 조합을 포함할 수 있는 네트워크(570)를 통해 통신하도록 구성된다. 일부 실시예들에서, 네트워크(570)는 표준 통신 기술들 및/또는 프로토콜들을 사용한다. 예를 들어, 네트워크(570)는 이더넷, 802.11, WiMAX(worldwide interoperability for microwave access), 3G, 4G, 코드 분할 다중 접속(CDMA), 디지털 가입자 회선(DSL) 등과 같은 기술들을 사용하는 통신 링크들을 포함한다. 네트워크(570)를 통해 통신하기 위해 사용되는 네트워킹 프로토콜들의 예들은 다중프로토콜 라벨 스위칭(MPLS), 전송 제어 프로토콜/인터넷 프로토콜(TCP/IP), 하이퍼텍스트 전송 프로토콜(HTTP), 간단한 메일 전송 프로토콜(SMTP), 및 파일 전송 프로토콜(FTP)을 포함한다. 네트워크(570)를 통해 교환된 데이터는 HTML(hypertext markup language) 또는 XML(extensible markup language)과 같은 임의의 적합한 포맷을 사용하여 표현될 수 있다. 일부 실시예들에서, 네트워크(570)의 통신 링크들 모두 또는 일부는 임의의 적절한 기술들을 사용하여 암호화될 수 있다. 예를 들어, 홀로그래픽 콘텐츠는 암호화될 수 있고, 그 후, 클라이언트 LF 디스플레이 시스템들(500A 및 500B)에 의해 복호화될 수 있다. 다른 실시예에서, 네트워크(570)를 통해 전송된 데이터는 압축된 크기로 데이터를 저장하는 인코딩된 포맷으로 인코딩된다. 클라이언트 LF 디스플레이 시스템(500A)은 인코딩된 포맷을 제공 가능한 포맷으로 디코딩하며, 예를 들어 홀로그래픽 콘텐츠를 제공하기 위한 제공 가능한 포맷으로 디코딩한다.
하나 이상의 제3자 시스템들(580)은 온라인 시스템(590)과 통신하기 위해 네트워크(570)에 연결될 수 있다. 일부 실시예들에서, 제3자 시스템(580)은 네트워크(570)를 통해 클라이언트 LF 디스플레이 시스템들(500A)에 배포될 홀로그래픽 콘텐츠를 통신하는 콘텐츠 제공자이다. 일부 실시예들에서, 제3자 시스템(580)은 또한 홀로그래픽 콘텐츠를 온라인 시스템(590)에 전달할 수 있으며, 그 후, 홀로그래픽 콘텐츠가 클라이언트 LF 디스플레이 시스템들(500A)에 배포될 수 있다. 각각의 제3자 시스템(580)은 클라이언트 LF 디스플레이 시스템들(500A)에 제공하기 위해 배포될 수 있는 홀로그래픽 콘텐츠 아이템들을 저장할 수 있는 콘텐츠 저장부(582)를 갖는다. 또한, 홀로그래픽 콘텐츠 아이템들은 온라인 시스템(590)에 의한 제공을 위해 클라이언트 LF 디스플레이 시스템들(500A)에 배포될 때 수집될 수 있는 비용과 연관될 수 있다.
온라인 시스템(590)은 홀로그래픽 콘텐츠의 배포를 중재한다. 온라인 시스템(590)은 고객 프로파일 저장부(592), 콘텐츠 저장부(594), 거래 모듈(596), 및 콘텐츠 배포 모듈(598)을 포함한다. 다른 실시예들에서, 온라인 시스템(590)은 다양한 애플리케이션들에 대한 추가적인, 더 적은, 또는 상이한 구성요소들을 포함할 수 있다. 네트워크 인터페이스, 보안 기능, 로드 밸런서, 장애 복구 서버, 관리 및 네트워크 운영 콘솔 등과 같은 통상적인 구성요소들은 시스템 아키텍처의 세부사항을 모호하게 하지 않게 하도록, 표시되지 않는다.
온라인 시스템(590)의 각각의 고객은 고객 프로파일 저장부(592)에 저장되어 있는 고객 프로파일과 연관될 수 있다. 고객 프로파일은 고객의 특성들을 포함한다. 특성들은 고객에 의해 명시적으로 공유된 고객에 관한 선언적 정보를 포함할 수 있고, 또한 온라인 시스템(590)에 의해 추론되는 프로파일 정보를 포함할 수 있다. 일부 실시예들에서, 고객 프로파일은 다수의 데이터 필드들을 포함하며, 각각의 데이터 필드들은 대응하는 온라인 시스템 고객의 하나 이상의 속성들을 기술한다. 고객 프로파일에 저장된 정보의 예들은 생물학적, 인구 통계학적, 및 다른 유형의 설명 정보(예를 들어, 직업 경험, 교육 이력, 성별, 수입, 구매에 소비된 비용, 취미, 위치, 나이, 관찰 기록, 아이템에 소비된 시간, 이전에 본 아이템들의 카테고리들, 구매 이력 등)를 포함한다. 고객 프로파일은 또한 고객에 의해 제공되는 다른 정보, 예를 들어, 이미지 또는 비디오를 저장할 수 있다. 특정 실시예들에서, 고객들의 이미지들은 이미지 내에 디스플레이되는 온라인 시스템 고객들을 식별하는 정보로, 해당 고객의 고객 프로파일 내에 저장되고 고객이 태깅되어 있는 이미지들을 식별하는 정보로, 태깅될 수 있다. 또한, 고객 프로파일 저장부(592) 내의 고객 프로파일은 예를 들어, 클라이언트 LF 디스플레이 시스템들(500A 및 500B) 또는 하나 이상의 제3자 시스템들(580) 중 임의의 하나 상에서 수행되는, 대응하는 고객들에 의한 동작들에 대한 참조를 유지할 수 있다. 동작들의 예들은 아이템 구매, 하나 이상의 홀로그래픽 객체들과의 상호작용, LF 디스플레이 시스템에 제공된 하나 이상의 사용자 입력들, 온라인 시스템과 관련된 다른 동작 등을 포함한다. 일부 실시예들에서, 고객 프로파일은 제공된 정보 및/또는 고객 프로파일링 시스템(예를 들어, 도 5b에 설명된 고객 프로파일링 시스템 또는 관찰자 프로파일링 시스템(528))으로부터 기록되거나 추론된 정보를 포함할 수 있는 하나 이상의 클라이언트 LF 디스플레이 시스템들(500A)에 의해 제공되는 정보를 저장할 수 있다.
고객 프로파일 저장부(592) 내의 고객 프로파일들이 개인들과 빈번하게 연관되어 개인들이 온라인 시스템(590)을 통해 서로 상호작용할 수 있게 하는 반면, 고객 프로파일들은 또한 기업들 또는 조직들과 같은 엔티티들에 대해 저장될 수 있다. 이는 엔티티로 하여금 다른 온라인 시스템 고객들과 콘텐츠를 연결하고 교환하기 위해 온라인 시스템(590) 상에서 존재를 확립할 수 있게 한다. 엔티티는 그 자신에 관한 정보나, 그의 제품들에 관한 정보를 게시할 수 있거나, 또는 엔티티의 고객 프로파일과 연관된 브랜드 페이지를 사용하여 온라인 시스템(590)의 고객들에게 다른 정보를 제공할 수 있다. 온라인 시스템(590)의 다른 고객들은 브랜드 페이지에 게시된 정보를 수신하거나 브랜드 페이지로부터 정보를 수신하기 위해 브랜드 페이지에 접속할 수 있다. 브랜드 페이지와 연관된 고객 프로파일은 엔티티 자체에 관한 정보를 포함할 수 있고, 그 엔티티에 관한 정보 데이터 또는 배경을 고객들에게 제공할 수 있다.
콘텐츠 저장부(594)는 하나 이상의 클라이언트 LF 디스플레이 시스템(500A)의 고객들에 배포될 홀로그래픽 콘텐츠를 저장한다. 홀로그래픽 콘텐츠의 예는 홀로그래픽 상품, 홀로그래픽 영화 또는 비디오, 홀로그래픽 시뮬레이션, 홀로그래픽 경험, 홀로그래픽 게임, 홀로그래픽 아이템, 홀로그래픽 비서, 임의의 다른 홀로그래픽 객체, 또는 이들의 임의의 조합의 범위일 수 있다. 홀로그래픽 상품은 클라이언트 LF 디스플레이 시스템(500A또는 500B) 또는 순수 디지털 자산을 사용하여 고객에 의해 구입될 수 있는 물리적 아이템을 나타낼 수 있다. 온라인 시스템 고객들은 콘텐츠 저장부(594)에 의해 저장될 홀로그래픽 콘텐츠를 생성할 수 있다. 일부 실시예들에서, 홀로그래픽 콘텐츠는 온라인 시스템(590)으로부터 분리된 제3자 시스템(580)으로부터 수신된다. 일부 실시예들에서, 콘텐츠 저장부(594) 내의 객체들은 콘텐츠의 단일 조각들 또는 콘텐츠 "아이템들"을 표현한다.
거래 모듈(596)은 콘텐츠 저장부(594)에 저장된 홀로그래픽 콘텐츠에 대한 클라이언트 LF 디스플레이 시스템(500A)에 의한 거래를 관리한다. 거래 모듈(596)은 특정 홀로그래픽 콘텐츠 아이템에 대해 하나 이상의 클라이언트 LF 디스플레이 시스템(500A)으로부터 결제를 수신한다. 일부 실시예들에서, 클라이언트 LF 디스플레이 시스템들(500A)은 거래 모듈(596)에 의해 홀로그래픽 콘텐츠 아이템들의 제공을 위한 비용으로 청구되는 하나 이상의 고객 프로파일들과 연관된다. 일부 실시예들에서, 홀로그래픽 콘텐츠 아이템들은 무기한으로 구입되어 사용될 수 있거나, 특정 기간 동안 대여될 수 있다. 그 후, 거래 모듈(596)에 의해 수집된 전체 또는 부분에서의 보수가 홀로그래픽 콘텐츠 아이템의 제공자에게 제공될 수 있다. 예를 들어, 홀로그래픽 영화를 제공한 제3자 시스템은 홀로그래픽 영화를 구매하거나 대여함으로써 홀로그래픽 영화의 제공을 위해 클라이언트 LF 디스플레이 시스템(500A)으로부터 수집된 보수의 대부분을 수신할 수 있다.
콘텐츠 배포 모듈(598)은 클라이언트 LF 디스플레이 시스템들(500A)에 홀로그래픽 콘텐츠 아이템들을 제공한다. 콘텐츠 배포 모듈(598)은 클라이언트 LF 디스플레이 시스템(500A)에 제공될 홀로그래픽 콘텐츠 아이템과 함께 거래 모듈(596)로부터의 요청을 수신할 수 있다. 콘텐츠 배포 모듈(598)은 콘텐츠 저장부(594)로부터 홀로그래픽 콘텐츠 아이템을 검색하고, 고객에게 디스플레이하기 위해 클라이언트 LF 디스플레이 시스템(500A)에 홀로그래픽 콘텐츠 아이템을 제공한다.
도 6은 하나 이상의 실시예들에 따른, 온라인 쇼핑을 위한 상점용 LF 디스플레이 시스템(600)의 도면이다. LF 디스플레이 시스템(600)은 LF 디스플레이 시스템(500, 500A, 또는 500B)의 일 실시예이다. LF 디스플레이 시스템(600)은 단일 면의 이음매 없는 표면 환경 또는 다중-측면의 이음매 없는 표면 환경을 형성하는 LF 디스플레이 어셈블리의 LF 디스플레이 모듈(620)에 의해 형성되는, LF 디스플레이를 갖는 인클로저(610)를 포함한다. 일부 실시예들에서, LF 디스플레이 시스템은 홀로그래픽 상품(625)을 LF 디스플레이 시스템(600)의 하나 이상의 고객들에 제공하는 LF 디스플레이 모듈들(620)을 포함한다. 일부 실시예들에서, 인클로저(610)는 LF 디스플레이 시스템(600)의 고객들이 앉을 수 있는 하나 이상의 의자들(630)과 함께 제공된다. 제공될 수 있는 홀로그래픽 상품(예를 들어, 홀로그래픽 객체들)의 예들은, 주택 내의 하나 이상의 방들, 주택 내의 하나 이상의 가구, 차량의 일부, 가전 장치, 물리적 상품의 임의의 다른 표현, 디지털 자산의 임의의 다른 표현, 렌더링될 서비스의 임의의 다른 표현, 구매 가능한 물건의 임의의 다른 표현 등을 포함한다. LF 디스플레이 시스템(600)은 콘텐츠 제공자들 및 고객들로부터의 홀로그래픽 콘텐츠의 배포를 제어하는 LF 상점 플랫폼의 일부로서 구현될 수 있다. 콘텐츠 제공자들은 홀로그래픽 콘텐츠를 생성하고, 이를 나중에 LF 디스플레이 시스템(600)에 배포될 수 있는 LF 상점 플랫폼에 제공하는 제3자 시스템일 수 있다. 또한, 고객들은 다른 고객들에 배포하기 위한 홀로그래픽 콘텐츠를 생성할 수 있다. LF 상점 플랫폼은 도 5b를 참조하여 상세히 설명된다.
LF 디스플레이 시스템(600)은 하나 이상의 고객들로부터 입력을 수신할 수 있다. 입력은 추적 시스템(예를 들어, 추적 시스템(550)), 입력을 또한 수신하기 위해 양방향 표면들로서 구성된 LF 디스플레이 모듈들(620), 다른 입력 장치(예를 들어, 마이크, 버튼, 원격 컨트롤, 모바일 장치 상에서 실행되는 애플리케이션, 웹 브라우저) 등의 임의의 조합을 통해 수신될 수 있다. 수신된 입력은 오디오 입력들(예를 들어, 고객으로부터의 음성 입력), 추적 입력들(예를 들어, 추적 시스템으로부터 추적되는 고객들에 의한 제스처들), 버튼 입력들(예를 들어, 원격 컨트롤 상에 눌러진 버튼들, 또는 터치스크린 디스플레이 등), 또는 이들의 임의의 조합을 포함할 수 있지만, 이에 제한되지 않는다. 수신된 고객 입력에 반응하여, LF 디스플레이 시스템(600)은 홀로그래픽 콘텐츠의 표시를 업데이트할 수 있다. 홀로그래픽 콘텐츠의 표시를 업데이트하는 단계는 홀로그래픽 객체 부피 내의 홀로그래픽 객체를 크기 조정하는 단계, 홀로그래픽 객체 부피 내의 홀로그래픽 객체를 이동시키는 단계, 홀로그래픽 객체의 외관을 변경하는 단계, 다른 홀로그래픽 객체를 디스플레이하는 단계, 홀로그래픽 객체에 관한 정보를 디스플레이하는 단계, 홀로그래픽 객체의 구성 또는 맞춤 구성을 디스플레이하는 단계, 또는 홀로그래픽 객체에 대한 물리적 설정(예를 들어, 서핑보드의 경우 해변가 맥락)을 디스플레이하는 단계를 포함할 수 있다. 일부 경우에, LF 디스플레이 시스템(600)은 온라인 상점으로부터의 물리적 상품들, 디지털 자산들 및 서비스들 중 하나 이상을 구매하려는 의도로서 다양한 입력들을 연관시킬 수 있다.
물리적인 상품들 또는 서비스들의 구매에 연관된 이러한 입력들을 수신하는 것에 반응하여, LF 디스플레이 시스템(600)은 구매의 확인 또는 수용을 디스플레이할 수 있다. 다른 경우에, LF 디스플레이 시스템(600)은 홀로그래픽 상품(625)의 디스플레이를 수정하기 위한 일부 입력을 연관시킬 수 있다. 예를 들어, 고객은 홀로그래픽 상품(625)의 크기를 증가시키기 위해 두 팔을 펼칠 수 있다. 다른 예에서, 고객은 박수를 쳐서 예를 들어, 공중에 떠있는 홀로그래픽 꽃병으로부터 집의 환경 내의 홀로그래픽 꽃병의 뷰로 전환하는, 홀로그래픽 상품의 다른 홀로그래픽 표현을 볼 수 있다. 일부 경우에, LF 디스플레이 시스템(600)은 다양한 홀로그래픽 상품(625)을 스크롤링하기 위한 다른 입력들을 연관시킬 수 있다. 예를 들어, 고객은 다른 홀로그래픽 상품(625)으로 스크롤하기 위한 입력으로서 수신될 수 있도록 손을 오른쪽에서 왼쪽으로(또는 그 반대로) 스와이핑할 수 있다. 이에 반응하여, LF 디스플레이 시스템(600)은 후속하는 홀로그래픽 상품(625)을 추가 또는 최대화하면서 현재의 홀로그래픽 상품(625)을 제거 또는 최소화하기 위해, 제공되는 홀로그래픽 콘텐츠를 조절할 수 있다. 다른 실시예들에서, LF 디스플레이 시스템(600)은 또한 다른 입력 장치들(예를 들어, 원격 컨트롤, 터치스크린, 입력들을 수신하도록 구성된 클라이언트 장치 상의 애플리케이션, 웹 브라우저 등)을 갖고, 고객은 LF 디스플레이 시스템(600)과 함께 온라인 쇼핑하는 동안 입력 장치들 상에 입력들을 제공할 수 있다.
홀로그래픽 상품(625)의 표시를 업데이트하는 일부 실시예에서, 고객은 홀로그래픽 상품(625)의 표시를 회전시키기 위한 입력을 제공한다. 일 예에서, LF 디스플레이 시스템(600)에는 홀로그래픽 상품(625)을 회전시키기 위해 "회전"이라고 말하는 오디오 입력 및/또는 손을 회전하는 제스처 입력이 할당된다. 홀로그래픽 상품(625)을 회전시키는 것에 대응하는 정확한 입력이 수신되는 경우, LF 디스플레이 시스템(600)은 홀로그래픽 상품(625)을 회전시킨다. 일부 실시예들에서, 홀로그래픽 상품(625)의 회전은, 고객이 그의 손을 회전할 때 홀로그래픽 상품(625)을 일정한 양으로 회전시키도록 고객의 손의 위치에 연결(tied)된다. 마찬가지로, 고객이 그의 손의 회전을 중지할 때, 홀로그래픽 상품(625)은 회전을 중단한다.
홀로그래픽 상품(625)의 표시를 업데이트하는 일부 실시예들에서, 고객은 홀로그래픽 상품(625)의 표시를 크기 조절하기 위한 입력을 제공한다. 예를 들어, LF 디스플레이 시스템(600)에는 홀로그래픽 상품(625)의 표시 크기를 증가시키기 위해 "확대"라고 말하는 오디오 입력 및/또는 두 팔을 벌리는 제스처 입력이 할당된다. "확대"라고 말하는 것 및/또는 두 팔을 벌리는 것의 정확한 입력이 있는 경우, LF 디스플레이 시스템(600)은 그 후, 홀로그래픽 상품(625)의 표시 크기를 증가시킨다. 보완적인 예에서, LF 디스플레이 시스템(600)은 홀로그래픽 상품(625)의 표시 크기를 감소시키기 위해 다양한 입력을 지정할 수 있다. 그 후, LF 디스플레이(600)는 지정된 입력에 대응하는 고객 입력을 수신할 수 있고, 후속하여 홀로그래픽 상품(625)의 표시 크기를 감소시키기 위해 홀로그래픽 상품(625)의 표시를 업데이트할 수 있다.
홀로그래픽 상품(625)의 표시를 업데이트하는 일부 실시예들에서, 고객은 홀로그래픽 상품(625)을 LF 디스플레이 시스템(600)의 가시 부피 내로 이동시키기 위한 입력을 제공한다. LF 디스플레이 시스템(600)은 홀로그래픽 상품(625)에 양손으로 접촉하는 고객의 제스처 입력을 지정할 수 있다. LF 디스플레이 시스템(600)은 추가적으로 또는 그와 달리, "이동", "슬라이드", 또는 다른 관련 명령을 말하는 고객의 음성 입력을 지정할 수 있다. 그 후, 홀로그래픽 상품(625)을 표시한 경우 LF 디스플레이 시스템(600)은 홀로그래픽 상품(625)의 표시를 업데이트하기 위해 고객으로부터 입력을 수신할 수 있다. LF 디스플레이 시스템(600)이 고객의 제스처를 추적하는 경우, 고객은 두 팔로 홀로그래픽 상품(625)에 접촉할 수 있다. LF 디스플레이 시스템(600)의 추적 시스템은, LF 디스플레이 시스템(600)의 가시 부피 내에 표시된 홀로그래픽 상품의 위치와 비교하여 고객의 손의 위치를 평가함으로써 고객이 홀로그래픽 상품(625)을 잡고 있는 것으로 결정할 수 있다. 고객이 홀로그래픽 상품(625) 상에 두 손을 위치시킨 것으로 결정한 경우, LF 디스플레이 시스템(600)은 손의 움직임을 추적한다. 이어서, 고객이 양 손을 상이한 위치로 이동시킬 때, LF 디스플레이 시스템(600)은 홀로그래픽 상품(625)을 이동시키기 위해 (예를 들어, 추적 시스템을 통해) 제스처 입력을 수신한다. 그 후, LF 디스플레이 시스템(600)은 홀로그래픽 상품(625)의 위치를 초기 위치로부터 고객의 손의 움직임에 기초하는 후속 위치로 이동시키도록 홀로그래픽 상품(625)의 표시를 업데이트한다. 음성 입력의 예에서, LF 디스플레이 시스템(600)은 "이동"이라고 말하는 고객 입력을 수신하고, 그 후, 한 위치에서 다른 위치로 이동시키도록 홀로그래픽 상품(625)의 표시를 업데이트할 수 있다. 입력은 또한 홀로그래픽 상품(625)의 최종적인 위치를 포함할 수 있다. 예를 들어, 고객은 "오른쪽으로 5피트 이동"이라고 말할 수 있으며, 그 후, LF 디스플레이 시스템(600)은 홀로그래픽 상품(625)을 초기 위치의 오른쪽으로 5피트에 있는 최종 위치로 이동시킬 수 있다.
일부 실시예들에서, LF 디스플레이 시스템(600)은 집 안에서 구현된다. LF 디스플레이 시스템(600)은 집 안의 하나 이상의 고객들에게 홀로그래픽 콘텐츠를 제공할 수 있다. 홀로그래픽 콘텐츠는 홀로그래픽 상품(625)을 포함할 수 있다. 홀로그래픽 상품(625)은 온라인 소매 상점에 의해 판매되는 물리적 상품의 홀로그래픽 표현 또는 콘텐츠 제공자에 의해 온라인으로 판매되는 순수 디지털 자산인 홀로그래픽 콘텐츠를 지칭한다. 물리적 상품의 홀로그래픽 표현으로서 홀로그래픽 상품(625)의 일 예는 온라인 쇼핑 포털을 통해 의류 매장에서 구매할 수 있는 의류 물품의 홀로그래픽 표현이다. 의류의 홀로그래픽 표현은 고객이 온라인 상에서 의류 물품을 구매하기 전에 홀로그래픽 상품(625)과 상호작용하게 할 수 있다. 콘텐츠 제공자에 의해 판매되는 홀로그래픽 콘텐츠로서 홀로그래픽 상품(625)의 일 예는 집에서 LF 디스플레이 시스템(600)에 의해 표시하기 위해 구매 또는 대여될 수 있는 홀로그래픽 영화이다. 홀로그래픽 상품(625)은 또한 유명한 배우, 활동하는 스포츠 영웅, 또는 이국적인 장소의 이미지 또는 비디오의 형태를 취할 수 있다. 일부 경우에, LF 디스플레이 시스템(600)은 집에서 LF 디스플레이 시스템(600)의 고객들에 대해 몰입형 홀로그래픽 영화 또는 경험을 제공할 수 있는 인클로저(610) 내의 다중-측면의 이음매 없는 표면 환경이다.
물리적 상품 또는 서비스의 홀로그래픽 표현으로서 홀로그래픽 상품(625)을 갖는 실시예들에서, LF 디스플레이 시스템(600)은 LF 디스플레이 시스템(600)을 통해 온라인 소매 상점으로부터의 홀로그래픽 상품(625)을 고객 쇼핑 온라인으로 제공한다. 온라인 소매 상점은 물리적 상품 또는 서비스를 판매할 수 있다. 어느 경우든지, LF 디스플레이 시스템(600)은 하나 이상의 고객들이 볼 수 있는 홀로그래픽 상품(625)을 제공할 수 있다. 홀로그래픽 상품(625)은 LF 디스플레이 시스템(600)의 LF 디스플레이의 스크린 평면 앞에, 또는 스크린 평면 뒤에 투영되거나, 스크린 평면에 의해 분할되는, 홀로그래픽 객체로서 제공될 수 있다. 판매를 위한 서비스들을 갖는 실시예들에서, 다양한 서비스들의 홀로그래픽 표현들은 렌더링될 서비스들의 스니펫 또는 미리보기를 제공할 수 있다. 예를 들어, LF 디스플레이 시스템(600)은 수면 아래의 스노클링 또는 바다 위의 항해의 홀로그래픽 표현을 제공함으로써 스노클링 여행의 미리보기를 제공할 수 있다. 물리적 상품들 또는 서비스들의 홀로그래픽 표현들이 고객들에게 제공될 때, 고객들은 홀로그래픽 상품들(625)과 상호작용하는 옵션을 가질 수 있다.
LF 디스플레이 시스템(600)은 또한 표시된 홀로그래픽 상품(625)과 연관된 다른 감각 자극을 제공하기 위해 감각 피드백 시스템(예를 들어, 감각 피드백 시스템(540))을 가질 수 있다. 일부 예들은 촉각 피드백, 오디오 피드백, 아로마 생성, 온도 피드백, 모션 제어 등을 포함한다. 감각 피드백 시스템(540)은 피드백을 제공하기 위한 다양한 피드백 장치를 포함할 수 있다. 일부 실시예들에서, 음향 방출 장치는 하나 이상의 LF 디스플레이 모듈들의 일부일 수 있고 감각 피드백을 제공하기 위해 감각 피드백 시스템에 의해 사용되도록 구성될 수 있다. 예를 들어, 음향 방출 장치는 오디오 피드백을 제공하기 위해 사용될 수 있다. 다른 예로서, 초음파는 촉각 피드백을 제공하는 부피 햅틱 표면을 생성하도록 투사될 수 있다. 이들 햅틱 표면은 라이트필드 및 집속된 초음파 에너지 모두를 투사하는 라이트필드 디스플레이 어셈블리 내의 이중 에너지 표면을 사용하여, 또는 전용 부피 햅틱 디스플레이를 사용함으로써 투사될 수 있다. 각각의 홀로그래픽 상품 객체(625)는 또한 감각 피드백 시스템에 의한 감각 피드백의 표시를 지시하는 감각 피드백 파라미터와 관련될 수 있다.
촉각 피드백을 갖는 실시예들에서, 감각 피드백 시스템은 홀로그래픽 상품(625)의 표시와 함께 촉각 피드백을 제공한다. 각각의 홀로그래픽 상품 아이템(625)은 촉각 피드백의 지시 제공을 위한 파라미터들의 세트를 갖는다. 다른 실시예들에서, 데이터 저장부(522) 내의 재료 파라미터들은 다양한 재료들에 대한 촉각 피드백 파라미터들을 포함할 수 있다. 각각의 홀로그래픽 상품 아이템(625)은 재료 데이터 저장부로부터 특정 재료에 대한 촉각 피드백 파라미터를 검색할 해당 재료의 파라미터를 가질 수 있고, 감각 피드백 시스템은 매칭되는 촉각 표면을 제공할 것이다. 의류 물품의 홀로그래픽 표현의 일 예에서, 감각 피드백 시스템은 고객이 의류 물품을 느낄 수 있게 하는 촉각 피드백을 제공한다. 의류 물품의 촉각 피드백 파라미터들은 텍스처, 두께, 강도(rigidity), 또는 의류 물품을 구성하기 위해 사용되는 재료의 임의의 조합을 포함할 수 있다.
의류 물품에 대한 파라미터들에 대응하여, 감각 피드백 시스템은 촉각 피드백을 제공할 수 있다. 일 예로서, 고객은 면의 느낌을 시뮬레이션하기 위해 촉각 피드백 파라미터를 갖는 면으로 제조된 의류 물품을 선택할 수 있다. 감각 피드백 시스템은 촉각 피드백 파라미터를 수신하여 면의 촉감을 시뮬레이션하는 촉각 표면을 생성한다. 또한, 고객은 홀로그래픽 의류의 재료를 면에서 폴리에스테르로 바꾸기 위한 입력을 제공할 수 있다. 감각 피드백 시스템은 폴리에스테르를 위한 촉각 피드백 파라미터들을 검색하고, 검색된 폴리에스테르를 위한 파라미터들에 따라 촉각 피드백의 제공을 조절할 수 있다. 감각 피드백 시스템은 하나의 재료로부터 다른 재료로의 촉각 피드백 파라미터들의 변화에 대응하여, 투사되는 초음파를 하나의 파형으로부터 다른 파형으로 변화시킨다. 홀로그래픽 상품(625)에 촉각 피드백을 제공하는 것은, 홀로그래픽 상품(625)에 대응하는 물리적 상품을 구매할지를 고려할 때, 고객에게 보다 포괄적인 경험을 제공한다. 또한, 고객은 촉각 피드백을 통해 다양한 재료를 경험할 수 있으며, 이는 어떤 재료의 홀로그래픽 상품을 구매할지를 결정하는 것을 도울 수 있다.
후각 피드백의 실시예들에서, 감각 피드백 시스템은 홀로그래픽 상품(625)의 제공과 함께 후각 피드백을 제공한다. 일 예에서, 감각 피드백 시스템은 레스토랑 또는 상점에서 구입할 수 있는 다양한 식품들의 홀로그래픽 표현들을 제공하면서 후각 피드백을 제공한다. 후각 피드백은 고객으로 하여금 홀로그래픽 상품(625)으로 제공된 식품을 구매하도록 유도할 수 있다. 촉각 피드백과 유사하게, 각각의 홀로그래픽 상품(625)은 감각 피드백 시스템에 의한 후각 피드백의 제공을 지시하는 후각 피드백 파라미터를 가질 수 있다.
다양한 형태의 감각 피드백을 갖는 일 예에서, 감각 피드백 시스템은 해변 휴가의 홀로그램 표현을 제공한다. LF 디스플레이 모듈(620)은 해변, 모래, 파도, 해변의 다른 홀로그래픽 객체(예를 들어, 비치 볼, 서핑보드, 비치 타월, 나뭇가지, 조개 등), 또는 이들의 일부 조합의 홀로그래픽 표현을 제공한다. 감각 피드백 시스템은 제공된 임의의 홀로그래픽 객체(예를 들어, 비치 볼, 서핑 보드 등)와 일치하는 촉각 피드백, 해변 환경과 관련된 임의의 오디오 신호(예를 들어, 갈매기 울음소리, 부서지는 파도, 배 경적음 등)에 대한 오디오 피드백, 바다의 미풍을 시뮬레이션하기 위한 바람 피드백, 및 낮 중의 열을 시뮬레이션하기 위한 온도 피드백 등을 제공한다. 모든 감각 피드백은 제공되고 있는 서비스를 구매하도록 고객을 유도하는, 제공된 해변가 휴가의 LF 디스플레이 시스템(600)의 고객을 완전히 몰입시키도록 돕는다.
콘텐츠 제공자들에 의한 판매에 대한 홀로그래픽 콘텐츠로서 홀로그래픽 상품(625)을 갖는 실시예들에서, LF 디스플레이 시스템(600)은 LF 디스플레이 시스템(600)을 통해 온라인 콘텐츠 제공자로부터 홀로그래픽 콘텐츠에 대한 고객 쇼핑에 대해 홀로그래픽 상품(625)을 제공한다. 홀로그래픽 콘텐츠는 홀로그래픽 영화, 홀로그래픽 시뮬레이션, 홀로그래픽 경험, 홀로그래픽 게임, 유명한 배우, 운동선수, 또는 역사적 인물의 홀로그램 표현 등을 포함할 수 있지만, 이에 제한되는 것은 아니다. LF 디스플레이 시스템(600)은 렌더링될 홀로그래픽 콘텐츠의 스니펫 또는 미리보기를 제공할 수 있다. 다른 실시예들에서, LF 디스플레이 시스템(600)은 LF 디스플레이 시스템의 고객들에 대한 홀로그래픽 광고들을 디스플레이하기 위해 사용된다. 예를 들어, LF 디스플레이 시스템(600)은 홀로그래픽 영화 내에 산재된 홀로그래픽 광고들을 제공할 수 있다.
도 7은 하나 이상의 실시예들에 따른, 홀로그래픽 상품(725)을 제공하도록 구성된 LF 디스플레이 시스템(700)의 도면이다. LF 디스플레이 시스템(700)은 LF 디스플레이 시스템(500)의 일 실시예이다. LF 디스플레이 시스템(700)은 단일 면의 이음매 없는 표면 환경 또는 다중-측면의 이음매 없는 표면 환경을 형성하는 LF 디스플레이 모듈(720)을 갖는 인클로저(710)를 포함한다. 도 7의 예시는 인클로저(710)의 2개의 벽 위에 배치된 LF 디스플레이 모듈들(720)을 나타내지만, LF 디스플레이 모듈(720)은 모든 벽, 바닥, 천장, 또는 이들의 임의의 조합을 포함하지만 이에 제한되지 않는 인클로저(710)의 임의의 표면 상에 집적될 수 있다. LF 디스플레이 모듈들(720)은 홀로그래픽 상품(725)을 LF 디스플레이 시스템(700)의 하나 이상의 고객들에게 제공한다.
하나 이상의 실시예들에서, 인클로저(710)는 LF 디스플레이 시스템(700)에 의해 다르게 나타날 수 있는 하나 이상의 물리적 객체들을 포함할 수 있다. LF 디스플레이 시스템(700)은 또한 감각 피드백 시스템(540), 추적 시스템(550), 관찰자 프로파일링 시스템(528), 및 컨트롤러(520)와 같은 LF 디스플레이 시스템(500)의 다른 컴포넌트들의 임의의 조합을 포함할 수 있다. LF 디스플레이 시스템(700)은 콘텐츠 제공자들 및 콘텐츠 고객들로부터의 홀로그래픽 콘텐츠의 배포를 제어하는 LF 상점 플랫폼의 일부로서 구현될 수 있다. LF 상점 플랫폼은 도 5b를 참조하여 상세히 설명된다.
일부 실시예들에서, LF 디스플레이 시스템(700)은 소매 상점에서 구현된다. LF 디스플레이 시스템(700)은 소매 상점의 일 부분 또는 전체에 통합될 수 있다. LF 디스플레이 시스템(700)은 소매 상점 내의 하나 이상의 고객들에게 홀로그래픽 콘텐츠를 제공할 수 있다. 홀로그래픽 콘텐츠는 홀로그래픽 상품(725)을 갖는 홀로그래픽 환경을 디스플레이하는 것을 포함할 수 있다. 각각의 홀로그래픽 환경은 다양한 파라미터, 예를 들어, 방의 크기, 방 안의 각각의 표면의 색상, 방의 바닥 상의 패턴 등을 가질 수 있다. 이 실시예에서, 홀로그래픽 상품(725)은 소매 상점에 의해 판매될 수 있는 물리적 상품의 홀로그래픽 표현일 수 있다. 각각의 홀로그래픽 상품(725)은 LF 디스플레이 모듈(720)에 의한 표시를 위한 파라미터, 예를 들어, 크기, 형상, 패턴, 색상, 밝기, 또는 이들의 임의의 조합을 가질 수 있다. 추가적으로, 각각의 홀로그래픽 상품(725)은 도 5 내지 도 6에서 전술한 것과 유사한 감각 피드백(예를 들어, 촉각 표면의 위치 및 표면의 텍스처를 포함하는 초음파 압력파의 투사에 의해 생성되는 촉각 표면들)을 제공하기 위한 파라미터들, 또는 이들의 임의의 조합을 포함할 수 있다. LF 디스플레이 시스템(700)의 고객은 LF 디스플레이 시스템(700)에 의해 제공될 홀로그래픽 환경 및/또는 홀로그래픽 상품(725)을 선택할 수 있다.
LF 디스플레이 시스템(700)은 고객이 인클로저(710) 내에서 홀로그래픽 상품(725)을 배열할 수 있게 하면서 다양한 구성, 레이아웃, 및 조합으로 홀로그래픽 상품(725)을 디스플레이할 수 있다. 또한, 고객은 (예를 들어, 추적 시스템(550)을 통해, LF 디스플레이 모듈들(720)을 통해, 도 5 내지 도 6에서 전술한 바와 같은 추가적인 입력 장치를 통해) LF 디스플레이 시스템(700)에 입력을 제공하여, 인클로저(710) 내에 제공된 홀로그래픽 상품(725)의 표시를 업데이트할 수 있다. 구체적으로, 일부 실시예들에서, 고객은 홀로그래픽 환경 또는 홀로그래픽 상품(725)에 대한 각각의 파라미터를 토글하기 위한 입력을 제공할 수 있다. 해당 입력에 따라, LF 디스플레이 시스템(700)은 홀로그래픽 상품(725)의 배치의 시각적 감각을 고객에게 제공하기 위해, (예를 들어, 홀로그래픽 상품(725)의 다양한 선택을 조절하도록, LF 디스플레이 시스템(700)의 가시 부피 주위에서 홀로그래픽 상품(725)을 움직이도록, 홀로그래픽 환경을 변화시키도록 등) 홀로그래픽 콘텐츠의 표시를 업데이트할 수 있다. 고객에 의한 입력은 고객이 또한 홀로그래픽 상품(725)과 상호작용할 수 있게 한다.
일 예에서, LF 디스플레이 시스템(700)은 상점(예를 들어, 가구 매장)의 섹션에서 구현된다. LF 디스플레이 시스템(700)은 고객들이 인클로저(710) 내에서 홀로그래픽 상품(725)으로서 표시될 다양한 가구 아이템들을 고르고 선택할 수 있게 한다. 또한, 고객들은 주방, 거실, 침실, 사무실 공간 등과 같은 홀로그래픽 환경을 선택할 수 있다. LF 디스플레이 시스템(700)은 선택된 홀로그래픽 환경 내에서 선택된 모든 홀로그래픽 가구를 제공할 수 있다. 그 다음에, 고객은 홀로그래픽 가구의 표시를 수정하기 위한 입력을 제공할 수 있다. 이 예를 계속하면, 고객은 홀로그래픽 객체 부피 내에 홀로그래픽 가구 물품을 재배열하여 상대적인 치수 또는 위치를 더 잘 감지할 수 있다.
촉각 피드백에 관하여 도 6에 설명된 유사한 원리들을 적용하면, 고객은 홀로그래픽 가구의 상이한 재료 구조들을 테스트하기 위해 각각의 홀로그래픽 가구 물품의 촉각 피드백 파라미터들을 조절하기 위한 입력을 또한 제공할 수 있다. 예를 들어, 고객은 가시 부피 내의 홀로그래픽 테이블을 금속에서 목재로 변경하도록 조절할 수 있다. 이에 반응하여, LF 디스플레이 시스템(700)은 테이블을 금속에서 목재로 변경하기 위한 입력을 반영하기 위해 LF 디스플레이 모듈들(720)에 의한 표시를 업데이트할 수 있다. 감각 피드백 시스템은 또한, 테이블이 금속으로 구성되는 것으로부터 목재로 구성되는 것으로 변하는 것에 대응하는 감각 피드백 제공 조절을 반영하기 위해 감각 피드백 시스템에 의한 제공을 업데이트할 수 있다. 다른 예에서, 고객은 서랍의 문을 여는 입력을 제공할 수 있다. 이에 응답하여, LF 디스플레이 시스템(700)은, 문이 열리도록 스윙하고 서랍의 내부의 세부사항을 제공하도록 홀로그래픽 서랍의 표시를 업데이트할 수 있다. 인클로저(710) 내의 홀로그래픽 상품(725)을 재배열하는 신속한 능력은 고객에 의해 고려되고 있는 물리적인 상품의 더 나은 감각을 제공한다. LF 디스플레이 시스템(700)을 이용하여, 고객들은 식탁과 식탁 의자가 서로 보완되는 방식을 더 잘 시각화할 수 있다. LF 디스플레이 시스템(700)의 이러한 실시예의 다른 이점은, 이제 LF 디스플레이 시스템(700)이 다양한 홀로그래픽 상품 물품들(725)의 구성, 레이아웃, 조합의 모든 순열로 홀로그래픽 상품(725)을 용이하게 재배열할 수 있기 때문에, LF 디스플레이 시스템(700)을 구현하는 소매 상점이 그들의 물리적인 제품들의 디스플레이들을 빠르게 조절할 수 있다는 것이다.
일부 실시예들에서, LF 디스플레이 시스템(700)은 집 또는 다른 사적인 맥락에서 구현된다. LF 디스플레이 시스템(700)은 집 내의 하나 이상의 고객들에게 홀로그래픽 콘텐츠를 제공할 수 있다. 홀로그래픽 콘텐츠는 홀로그래픽 상품(725)을 포함할 수 있다. 이 실시예에서, 홀로그래픽 상품(725)은 집에서 디스플레이될 수 있고 구매할 수 있는 홀로그래픽 객체를 지칭한다. 홀로그래픽 상품(725)의 일부 예는 홀로그래픽 홈 데코, 홀로그래픽 가구, 홀로그래픽 부엌, 홀로그래픽 의류 등을 포함하지만, 이에 제한되지 않는다. 홀로그래픽 상품(725)은 홀로그래픽 상품(725)을 생성할 수 있는 콘텐츠 제공자에 의해 판매될 수 있다. 추가적으로, 콘텐츠 제공자들은 LF 상점 플랫폼을 통해 홀로그래픽 상품(725)을 제공할 수 있다. LF 디스플레이 시스템(700)의 일 예에서, LF 디스플레이 시스템(700)은 집(예를 들어, 벽, 천장, 바닥 등)에 있는 거실의 모든 벽 표면에 통합된다. LF 디스플레이 시스템(700)의 다른 예에서, LF 디스플레이 시스템(700)은 하나의 벽 위에 단일 디스플레이로서 존재한다. LF 디스플레이 시스템(700)은 집의 거실 내에 디스플레이하기 위한 홀로그래픽 상품(725)을 생성한다. 이 예에서 홀로그래픽 상품(725)은 홈 데코, 예를 들어 홀로그래픽 꽃병, 홀로그래픽 그림, 홀로그래픽 화분, 홀로그래픽 선반, 홀로그래픽 조명 기구, 홀로그래픽 페인팅된 벽 등일 수 있다. 다른 응용예에서, LF 디스플레이 시스템(700)은, 고객이 그들의 집의 맥락에서 물리적인 가구를 상상하게 할 수 있는 구매 가능한 물리적 가구의 홀로그래픽 표현으로서 홀로그래픽 상품(725)을 제공할 수 있다. 이 응용예에서, LF 디스플레이 시스템(700)은 홀로그래픽 가구의 위치를 조절하여, 잠재적으로 상당히 무거운 가구를 물리적으로 이동시킬 필요 없이, 고객이 홀로그래픽 가구의 위치를 변경할 수 있게 한다. 다른 예에서, 거실은 가구를 나타내는 홀로그래픽 콘텐츠(예를 들어, 홀로그래픽 객체)가 상이하게 보이도록 LF 디스플레이 시스템(700)을 이용하여 변환될 수 있는 일부 물리적 가구를 이미 가지고 있을 수 있다. 예를 들어, LF 디스플레이 시스템(700)은 추적 시스템을 통해 인클로저(710) 내의 물리적 객체의 존재를 검출한다. LF 디스플레이 시스템(700)은 검출된 물리적 객체를 고객에게 제공하고, 홀로그래픽 표면을 객체의 적어도 일부 상으로 투사함으로써 고객으로 하여금 검출된 물리적 객체를 어떻게 변환할 것인지에 대한 입력을 제공하게 한다. 고객은 파라미터들(예를 들어, 디스플레이 파라미터들, 촉각 피드백 파라미터들)을 토글하기 위한 입력들을 제공하여, 홀로그래픽 스킨을 물리적 객체의 표면 상에 효과적으로 중첩시키면서, 검출된 물리적 객체에 근접하여 제공되는 홀로그래픽 스킨의 표시를 조절할 수 있다. 일 예에서, LF 디스플레이 시스템(700)은, 원형 테이블 상에 홀로그래픽 테이블 상부 패턴 또는 텍스처를 투사함으로써 테이블 상부에 다양한 패턴 또는 디자인을 갖도록 원형 테이블을 변환할 수 있다. 대안적인 실시예에서, LF 디스플레이 시스템(700)은 사무실, 갤러리, 사무실 공간 등의 다른 사적인 맥락에서 구현될 수 있다.
도 8은 하나 이상의 실시예들에 따른, 디스플레이 케이스로서 구현되는 LF 디스플레이 시스템(800)의 도면이다. LF 디스플레이 시스템(800)은 LF 디스플레이 시스템(500)의 일 실시예이다. LF 디스플레이 시스템(800)은 일면의 이음매 없는 표면 환경 또는 다중-측면의 이음매 없는 표면 환경을 형성하는 LF 디스플레이 어셈블리의 LF 디스플레이 모듈들(820)에 의해 형성된 LF 디스플레이를 갖는 인클로저(810)를 포함한다. 일부 실시예들에서, LF 디스플레이 시스템은, 홀로그래픽 상품(825)을 LF 디스플레이 시스템(800)의 하나 이상의 고객들에게 제공하는 LF 디스플레이 모듈들(820)을 포함한다. 하나 이상의 실시예들에서, 인클로저(810)는 또한 디스플레이 케이스의 하나 이상의 표면들을 형성하는 하나의 디스플레이 유리(840) 또는 다수의 디스플레이 유리(840)를 갖는다. 하나 이상의 실시예들에서, 인클로저(810)는 또한 물리적 스탠드(835)와 같은 물리적 객체와 함께 제공된다. LF 디스플레이 시스템(800)은 또한 감각 피드백 시스템(540), 추적 시스템(550), 관찰자 프로파일링 시스템(528), 및 컨트롤러(520)와 같은 LF 디스플레이 시스템(500)의 다른 구성요소들의 임의의 조합을 포함할 수 있다. LF 디스플레이 시스템(800)은 콘텐츠 제공자들 및 콘텐츠 고객들로부터의 홀로그래픽 콘텐츠의 배포를 제어하는 LF 상점 플랫폼의 일부로서 구현될 수 있다.
일부 실시예들에서, LF 디스플레이 시스템(800)은 인클로저(810) 내에 홀로그래픽 상품(825)을 디스플레이하기 위한 디스플레이 케이스로서 구현된다. 이 실시예에서, LF 디스플레이 시스템(800)은 인클로저(810)의 하나 이상의 표면들에 통합된 하나 이상의 LF 디스플레이 모듈들(820)을 가질 수 있다. 도 8의 예시에서, LF 디스플레이 시스템(800)은 디스플레이 케이스의 적어도 3개의 벽들 상에 통합된 LF 디스플레이 모듈들(820)을 갖는다. 도 8의 예시에서, LF 디스플레이 시스템(800)은 또한 물리적 스탠드(835) 및 디스플레이 유리(840)를 갖지만, 다른 실시예들은 물리적 스탠드(825) 또는 디스플레이 유리(840)를 갖지 않을 수 있다. LF 디스플레이 시스템(800)은 소매 상점에 의해 판매하기 위한 물리적 상품의 홀로그래픽 표현으로서 홀로그래픽 상품(825)을 제공할 수 있다. LF 디스플레이 시스템(800)은 가능하게는 고위험 상품인 물리적 상품의 홀로그래픽 표현을 제공할 수 있다. 예를 들어, 이러한 고위험 상품은 하나 이상의 환경 조건 등에 의해 손상되는, 비싸고, 부서지기 쉬운 것과 같은 특성을 가질 수 있다(예를 들어, 광 민감성 상품, 습기 민감성 상품, 온도 민감성 상품). 일 예에서, LF 디스플레이 시스템(800)은 물리적 스탠드(835) 상의 홀로그래픽 상품(825)으로서 매우 비싼 보석 아이템의 홀로그래픽 표현을 제공할 수 있다. 소매 상점은 소매 상점에게 큰 손실이 될 실제 보석 물품을 절도당하는 도둑 또는 강도에 대한 어떠한 가능성도 없이 홀로그래픽 상품(825)을 디스플레이할 수 있다. 다른 예에서, LF 디스플레이 시스템(800)은 홀로그래픽 상품(825)으로서 빛, 온도 및 습도에 민감한 골동품 문서의 홀로그래픽 표현을 제공할 수 있다. 소매 상점은 제어된 환경에서 골동품 문서를 보유할 수 있는 한편, 골동품 문서를 불필요하게 노출시키지 않고도 고객들이 홀로그래픽 표현을 볼 수 있게 한다. 추가적으로, 일부 실시예들에서, LF 디스플레이 시스템(800)은 고객으로 하여금 도 6에 전술된 원리들과 일치하는, 투사된 촉각 표면 및 추적 시스템을 통해 홀로그래픽 상품(825)과 상호작용하게 한다. 이러한 실시예들의 후속하는 예에서, 고객은 추가적으로 고가그이 보석 아이템의 제공된 폴로그래픽 표현을 집고 느낄 수 있어, 고객이 홀로그래픽 상품(825)과 더 몰입적인 경험을 가질 수 있게 한다.
도 9a는 하나 이상의 실시예들에 따른, 실제 이미지인 홀로그래픽 객체를 포함하는 홀로그래픽 콘텐츠를 제공하는 LF 디스플레이 시스템(900)의 도면이다. 실제 이미지는 LF 디스플레이 시스템(900)의 스크린 평면 앞에 투사된 이미지이다. LF 디스플레이 시스템(900)은 사적인 맥락(예를 들어, 집, 사적인 사무실 등) 및/또는 공개된 맥락(예를 들어, 소매 상점)으로 구현될 수 있다. LF 디스플레이 시스템(900)은 LF 디스플레이 시스템(500)의 일 실시예이다. LF 디스플레이 시스템(900)은 단일면의 이음매 없는 표면 환경을 형성하는 LF 디스플레이 어셈블리의 LF 디스플레이 모듈들(920)을 가진다. LF 디스플레이 모듈들(920)은 고객(930)의 홀로그래픽 객체(940)를 갖는 홀로그래픽 상품(925)을 포함하는 홀로그래픽 콘텐츠를 고객(930)에게 제공한다. 다른 실시예들에서, LF 디스플레이 시스템(900)은 LF 디스플레이 시스템(900)의 다수의 고객들을 위해 홀로그래픽 객체(940)와 유사한 다수의 홀로그래픽 투사들을 제공한다. LF 디스플레이 시스템(900)은 또한 감각 피드백 시스템(540), 추적 시스템(550), 관찰자 프로파일링 시스템(528), 및 컨트롤러(520)와 같은 LF 디스플레이 시스템(500)의 다른 구성요소들의 임의의 조합을 포함할 수 있다. 다른 실시예들에서, LF 디스플레이 시스템(900)은 이미지 데이터를 캡처하기 위해 추적 시스템과 구별되는 추가적인 카메라들을 포함한다. LF 디스플레이 시스템(900)은 콘텐츠 제공자들 및 콘텐츠 고객들로부터의 홀로그래픽 콘텐츠의 배포를 제어하는 LF 상점 플랫폼의 일부로서 구현될 수 있다.
도 9a의 예시에서, LF 디스플레이 시스템(900)은 고객(930)의 전방의 실제 이미지로서 홀로그래픽 객체(940)를 포함하는 홀로그래픽 콘텐츠를 생성한다. 홀로그래픽 객체(940)는 고객(930) 앞에 서 있는 실제 사람인 것으로 보인다. LF 디스플레이 시스템(900)은 추적 시스템(예를 들어, 추적 시스템(550)), LF 디스플레이 모듈들(920), LF 디스플레이 시스템(900)에 포함된 하나 이상의 카메라들, 및 임의의 추가적인 추적 장치들의 임의의 조합을 통해 고객(930)의 이미지 데이터를 캡처한다. 일부 예들에서, LF 디스플레이 시스템(900)은 다수의 관점들로부터 고객(930)의 이미지 데이터를 수신한다. 이러한 다수의 관점들은 양방향 전자기 에너지 표면 및 집적된 이미지 센서들을 구비한 하나 이상의 LF 디스플레이 모듈들(920)로부터, 또는 추적 시스템과 별개로 또는 추적 시스템의 일부로서 하나 이상의 카메라들로부터 기록될 수 있다. 일부 실시예들에서, LF 디스플레이 시스템(900)은 360˚만큼 클 수 있는 각도 범위에 걸친 관점들을 포함하는 이미지 데이터를 캡처하는 고객(930) 주변의 카메라들을 갖는다. 다른 실시예들에서, LF 디스플레이 시스템(900)은 고객(930)으로 하여금 LF 디스플레이 시스템(900)의 앞에 서있으면서 회전하게 한다. 고객이 회전함에 따라, LF 디스플레이 시스템의 카메라들이 LF 디스플레이 모듈들(920) 내로 구현되고/되거나 360˚만큼 클 수 있는 큰 각도 범위를 포함하는 이미지 데이터가 캡처된다. 이러한 캡처된 이미지 데이터를 이용하여, LF 디스플레이 시스템(900)은 고객들(930)을 근사화하는 3D 모델과, 3D 모델에 따른 디스플레이 명령들을 생성할 수 있다. 디스플레이 명령들을 이용하여, LF 디스플레이 시스템(900)은 캡처된 이미지 데이터를 통해 고객(930)의 홀로그래픽 객체(940)를 생성한다. 제공된 홀로그래픽 객체(940)는 고객(930)과 유사한 크기일 수 있는 크기를 가질 수 있다. 다른 실시예들에서, LF 디스플레이 시스템(900)은 홀로그래픽 객체(940)의 크기를 더 크거나 작게 조절하기 위해 고객(930)에 의한 입력을 허용한다. 도 9a의 예시에서, 홀로그래픽 객체(940)는 LF 디스플레이 시스템(900)과 고객(930) 사이의 공간에 제공된다. 홀로그래픽 객체(940)는 또한 스크린 평면 뒤에 투사되거나 또는 LF 디스플레이 시스템(900)의 스크린 평면에 의해 분할될 수 있다.
LF 디스플레이 시스템(900)은 홀로그래픽 객체(940) 상에 제공될 홀로그래픽 상품 물품(925)의 고객(930)으로부터 입력을 수신한다. 입력은 예를 들어, 추적 시스템, LF 디스플레이 모듈들(920), 및 다른 입력 장치(예를 들어, 원격 제어, 터치스크린, LF 디스플레이 시스템(900)에 연결된 클라이언트 장치 상의 애플리케이션, 웹 브라우저 등)의 임의의 조합을 통해, 도 6에 설명된 원리들과 유사하게 수신될 수 있다. LF 디스플레이 시스템(900)에 대한 입력으로서, 고객(930)은 홀로그래픽 객체(940) 상에 홀로그래픽 상품(925)으로서 제공될 하나 이상의 상품을 선택할 수 있다. 상품의 일부 예는 구매 가능한 의류 물품, 구매 가능한 보석 물품, 및 구매 가능한 액세서리를 포함할 수 있다.
수신된 입력에 반응하여, LF 디스플레이 시스템(900)은 선택된 하나 이상의 상품 물품들에 기초하여 홀로그래픽 객체(940) 상에 하나 이상의 홀로그래픽 상품 물품들(925)을 제공한다. 각각의 홀로그래픽 상품 물품(925)은 데이터 저장부(예를 들어, 컨트롤러(520)의 데이터 저장부(522))에 저장된 파라미터들을 가질 수 있다. 그 후, 선택된 홀로그래픽 상품(925)은 실제 홀로그래픽 투사(940)에 따라 크기 조절될 수 있다. 일부 실시예들에서, 홀로그래픽 상품(925)은 소매 상점에 의해 판매될 수 있는 크기들에 따른 파라미터를 가지며, 이에 따라 고객은 홀로그래픽 객체(940) 상에서 각각의 크기를 맞추어 볼 수 있는 다양한 크기를 선택할 수 있다. 또한, 고객은 판매되는 물리적인 제품의 조합에 대응하는 다른 파라미터들(예를 들어, 재료, 색상)에 대한 입력을 제공할 수 있다. 예를 들어, 고객은 소매 상점에서 판매 중인 티셔츠의 면 재질, 청색 색상 및 미디엄 크기의 입력을 제공할 수 있다. LF 디스플레이 시스템(900)은 입력들을 수신하고, 입력들에 따라 홀로그래픽 상품(925)의 표시를 업데이트한다. LF 디스플레이 시스템(900)은 홀로그래픽 객체(940) 상에 청색의, 미디엄 크기의 면 셔츠를 제공할 수 있다. 일부 실시예들에서, LF 디스플레이 시스템(900)은 홀로그래픽 상품(925)에 대한 파라미터들의 현재 조합이 홀로그래픽 객체(940) 상에서 부정확하다고 결정한다. 예를 들어, 고객은 스몰 크기의 셔츠를 선택했을 수 있지만, LF 디스플레이 시스템(900)은 스몰 셔츠를 디스플레이하기 위한 파라미터들이 홀로그래픽 객체(940)를 디스플레이하기 위한 파라미터들과 맞지 않는다고 결정한다. 이러한 실시예들에서, LF 디스플레이 시스템(900)은, 예를 들어, 홀로그래픽 객체(940) 상에 디스플레이할 미디엄 사이즈 셔츠를 선택하도록 고객에게 제안하면서, 상이한 선택가능 파라미터를 고객에게 제안할 수 있다. 촉각 피드백 상의 입력에 관한 도 6의 전술한 원리와 유사하게, 고객은 홀로그래픽 상품(925)의 촉각 피드백의 표시를 조절하기 위한 입력을 제공할 수 있다. 예를 들어, 고객이 면 셔츠로부터 양모 셔츠로 변경하는 입력을 제공하는 경우, LF 디스플레이 시스템(900)은 홀로그래픽 객체(940) 상의 양모의 느낌에 대응하는 촉각 피드백을 제공하기 위해 촉각 피드백 파라미터를 검색할 수 있다.
일부 실시예들에서, LF 디스플레이 시스템(900)은 고객(930)을 실시간으로 추적하여, 고객(930)의 움직임에 매칭하도록 홀로그래픽 객체(940)를 업데이트한다. LF 디스플레이 시스템(900)은 고객(930)의 움직임에 매칭하는 홀로그래픽 객체(940)의 움직임을 갖는 거울을 효과적으로 시뮬레이션한다. 홀로그래픽 상품(925)을 갖는 홀로그래픽 객체(940)는 상품을 구매하기 전에 선택된 상품을 착용한 것을 시각화하기 위해 고객(930)을 위한 매체를 제공한다. LF 디스플레이 시스템(900)의 다른 응용예에서, LF 디스플레이 시스템(900)은 고객(930)의 옷장의 일부인 물품들을 제공할 수 있다. 고객(930)는 홀로그래픽 객체(940) 상에 제공되는 의상을 시각화하기 위해 LF 디스플레이 시스템(900)을 이용할 수 있고, 해당 의상은 고객(930)의 옷장 내의 하나 이상의 물품들로 구성된다. 어느 응용예든지, 고객(930)은 홀로그래픽 객체(940) 상에 제공되는 다양한 홀로그래픽 상품(925)을, 물리적인 상품을 계속하여 입거나 고객(930)의 몸으로부터 벗는 번거로움 없이 시각화할 수 있다. 예를 들어, 고객(930)은 고객(930) 몸에 착용된 물품들의 외관을 시각화하기 위해 고객(930)으로 하여금 백 개의 물품들을 입고 벗는 것을 필요로 하는 것이 아니라, 홀로그래픽 객체(940) 상에 제공될 홀로그래픽 상품(925)의 선택을 간단히 변경함으로써 백 개의 물품들을 신속하게 착용할 수 있다. 홀로그래픽 객체(940)를 사용하여, 고객은 홀로그래픽 객체(940) 상의 홀로그래픽 상품(925)의 상이한 관점들을 관찰하기 위해 상이한 관찰 위치들로 이동하는 능력을 갖고, 이에 의해 홀로그래픽 상품의 둘 이상의 관점을 제공한다.
도 9b는 하나 이상의 실시예들에 따른, 하나 이상의 가상 이미지들을 포함하는 홀로그래픽 콘텐츠를 제공하는 도 9a의 LF 디스플레이 시스템(900)의 예시이다. 가상 이미지는 LF 디스플레이 시스템(900)의 스크린 평면 뒤에 투사된 이미지이다. 도 9a와 달리, LF 디스플레이 시스템(900)은 스크린 내(in-screen)의 홀로그래픽 객체(960) 및 거울과 같이 LF 디스플레이 시스템(900)의 뒤에 보이는 홀로그래픽 상품 물품(925)을 포함하는 홀로그래픽 콘텐츠를 제공한다. 가상 객체(960)는 고객(930)의 크기보다 크거나 작을 수 있다. 일 예에서, LF 디스플레이 시스템(900)은 고객(930)으로 하여금 홀로그래픽 상품(925)을 확대하는 것을 허용하면서 홀로그래픽 상품(960)이 고객(930)보다 더 큰 크기를 갖도록 디스플레이한다. 또는, 또 다른 예에서, LF 디스플레이 시스템(900)은 고객(930)으로 하여금 홀로그래픽 상품(925)을 더 넓은 관점에서 볼 수 있게 하면서 홀로그래픽 객체(960)가 고객(930)보다 더 작은 크기를 갖도록 디스플레이한다.
일부 실시예들에서, LF 디스플레이 시스템(900)은 거울과 유사하게 동작하도록 구성된다. LF 디스플레이 시스템(900)은 추적 시스템 및/또는 LF 디스플레이 모듈들(920)을 통해 고객(930)의 이미지 데이터를 캡처한다. 그 후, LF 디스플레이 시스템(900)은 LF 디스플레이 모듈들(920)의 뒤에 가상 이미지로서 스크린 내 홀로그래픽 고객(960)을 생성한다. 고객(930)이 이동함에 따라, LF 디스플레이 시스템(900)은 도 5 내지 도 6에서 전술한 바와 유사한 원리들을 적용하여, 고객의 움직임을 추적한다. LF 디스플레이 시스템(900)은 또한 스크린 내 홀로그래픽 고객(960)의 표시를 업데이트하기 위해 고객(930)의 이미지 데이터를 연속적으로 캡처할 수 있다. 일부 실시예들에서, 홀로그래픽 상품(925)은 홀로그래픽 고객(960) 위에 제공된다. 고객이 이동함에 따라, LF 디스플레이 시스템(900)은 고객의 움직임에 매칭되는 홀로그래픽 상품(925)의 표시를 업데이트하기 위해 디스플레이 명령들을 업데이트한다. 예를 들어, 고객이 한쪽으로 회전하면, LF 디스플레이 시스템(900)은 홀로그래픽 상품(925)의 표시를 업데이트하여 홀로그래픽 상품(925)을 회전시키고, 또한 홀로그래픽 고객(960)의 표시를 업데이트한다.
도 10은 하나 이상의 실시예들에 따른, 고객에게 홀로그래픽 상품을 디스플레이하도록 구성된 LF 디스플레이 시스템(1000)의 예시이다. LF 디스플레이 시스템(1000)은 사적인 맥락(예를 들어, 집, 개인 사업 등) 또는 공개 맥락(예를 들어, 소매 상점)으로 구현될 수 있다. LF 디스플레이 시스템(1000)은 LF 디스플레이 시스템(500)의 일 실시예이다. LF 디스플레이 시스템(1000)은 단일 면의 이음매 없는 표면 환경 또는 다중-측면의 이음매 없는 표면 환경을 형성하는 LF 디스플레이 모듈들(1020)을 갖는다. LF 디스플레이 모듈들(1020)은 LF 디스플레이 시스템(1000)의 하나 이상의 고객들에 의해 착용되는 홀로그래픽 상품(1025)을 제공한다. 이러한 예시에서, LF 디스플레이 시스템(1000)은 고객의 팔(1045)의 일부에 편안하게 들어맞도록 크기가 정해질 수 있다. 다른 실시예들에서, LF 디스플레이 시스템(1000)은 고객에게 편안하게 들어맞도록 크기가 정해진 드레싱 룸으로서 구현될 수 있다. LF 디스플레이 시스템(1000)은 또한 감각 피드백 시스템(540), 추적 시스템(550), 관찰자 프로파일링 시스템(528), 및 컨트롤러(520)와 같은 LF 디스플레이 시스템(500)의 다른 구성요소들의 임의의 조합을 포함할 수 있다. LF 디스플레이 시스템(1000)은 콘텐츠 제공자들 및 콘텐츠 고객들로부터의 홀로그래픽 콘텐츠의 배포를 제어하는 LF 상점 플랫폼의 일부로서 구현될 수 있다.
LF 디스플레이 시스템(1000)은 고객 위에, 구체적으로는 도 10의 예시에서 고객의 팔(1045) 위에 홀로그래픽 상품(1025)을 제공한다. LF 디스플레이 시스템(1000)은 온라인 또는 상점에서 구매할 수 있는 물리적 제품의 홀로그래픽 표현일 수 있는 홀로그래픽 상품(1025)을 제공한다. 홀로그래픽 상품(1025)은 또한 LF 상점 플랫폼을 통해 온라인으로 구매 가능한 착용할 수 있는 홀로그래픽 콘텐츠 물품일 수 있다. 착용 가능한 홀로그래픽 콘텐츠 물품은 LF 디스플레이 시스템(1000) 주위에 생성되어 고객에게 제공될 수 있다. 고객은 제공될 홀로그래픽 상품(1025)을 선택할 수 있다. LF 디스플레이 시스템(1000)은 데이터 저장부(예를 들어, 컨트롤러(520)의 데이터 저장부(522))로부터 홀로그래픽 상품(1025)과 연관된 파라미터들을 검색할 수 있다. 파라미터들은 LF 디스플레이 모듈들(1020)에 의한 홀로그래픽 상품(1025)의 제공을 지시한다. 도 5 내지 도 6의 홀로그래픽 콘텐츠의 파라미터들에 대한 설명은 홀로그래픽 상품(1025)에 대한 파라미터들로 연장된다. LF 디스플레이 시스템(1000)은 도 5 내지 도 6에서 추적에 관하여 전술한 유사한 원리들에 따라 고객의 위치를 추적한다. LF 디스플레이 시스템(1000)은 고객, 또는 더 구체적으로는 고객의 팔(1045)의 위치를 결정한 경우, 그 후 홀로그래픽 상품(1025)의 파라미터들, 구체적으로는 홀로그래픽 상품(1025)의 위치를 조절한다. LF 디스플레이 시스템(1000)은 고객의 팔(1045)과 접촉하거나 그에 근접하여 홀로그래픽 상품(1025)을 제공한다. 소매 상점 구현예들에서, LF 디스플레이 시스템(1000)은 고객으로 하여금 자신의 몸 위에 홀로그래픽 상품을 제공하는 LF 디스플레이 시스템(1000)을 통해 자신의 몸에 착용된 물리적 상품을 시각화하게 할 수 있다. 예를 들어, 소매 상점은 많은 팔찌를 판매할 수 있다. 각각의 팔찌를 착용하고 벗는 것 대신에, 고객은 그들의 팔(1045) 위에 홀로그래픽 상품(1025)을 제공할 수 있는 LF 디스플레이 시스템(1000) 내에 그들의 팔(1045)을 위치시킬 수 있다.
LF 디스플레이 시스템(1000)은 또한 고객에게 제공될 다양한 홀로그래픽 상품 물품(1025)의 고객으로부터 입력을 수신한다. LF 디스플레이 시스템(1000)은 추적 시스템, LF 디스플레이 모듈들(1020), 및 고객으로부터 입력을 수신할 다른 입력 장치(예를 들어, 원격 제어, 터치스크린, LF 디스플레이 시스템(1000)에 연결된 클라이언트 장치 상의 애플리케이션 등)의 임의의 조합을 이용한다. 수신된 입력에 반응하여, LF 디스플레이 시스템(1000)은 선택된 하나 이상의 상품에 기초하여 고객에게 하나 이상의 홀로그래픽 상품(1025)을 제공한다. 예를 들어, 고객은 10개의 상이한 팔찌를 선택하여 팔찌들의 대기열을 입력으로서 제공할 수 있다. LF 디스플레이 시스템(1000)은 (예를 들어, 가상 카탈로그로부터) 10개의 상이한 팔찌의 선택을 수신하고, 각각의 팔찌를 고객의 팔(1045) 위에 홀로그래픽 상품(1025)으로서 제공한다. 일부 실시예들에서, LF 디스플레이 시스템(1000)은 또한 고객의 움직임에 매칭하는 홀로그래픽 상품들(1025)의 표시를 업데이트하기 위해, 추적 시스템(예를 들어, 추적 시스템(550)), LF 디스플레이 모듈들(1020), LF 디스플레이 시스템(1000)에 포함된 하나 이상의 카메라들, 및 임의의 추가적인 추적 장치들의 임의의 조합을 통해 실시간으로 고객을 추적한다. 추적 정보가 고객의 팔(1045)의 실시간 위치들을 설명하기 때문에, LF 디스플레이 시스템(1000)은 홀로그래픽 상품(1025)을 디스플레이하기 위한 파라미터들, 구체적으로는 LF 디스플레이 시스템(1000)의 가시 부피 내의 홀로그래픽 상품(1025)의 위치를 조절할 수 있다. 예를 들어, 고객은 그들의 팔(1045)을 이동시킬 수 있는 한편, LF 디스플레이 시스템(1000)은 고객의 팔(1045)의 움직임을 추적하고, 고객의 팔(1045)의 움직임에 반응하여 홀로그래픽 상품의 표시를 업데이트한다.
다른 실시예들에서, LF 디스플레이 시스템(1000)은 또한 제공된 홀로그래픽 상품(1025)과 동시에 고객에게 감각 피드백을 제공한다. LF 디스플레이 시스템(1000)은 감각 피드백 시스템(예를 들어, 감각 피드백 시스템(540))을 이용하여 고객에게 감각 피드백을 제공할 수 있다. 감각 피드백은 촉각 피드백, 오디오 피드백, 후각 피드백, 온도 피드백, 바람 피드백 등을 포함할 수 있다. 각각의 홀로그래픽 상품(1025)은 감각 피드백의 제공을 위한 파라미터들을 가질 수 있다. 일 예에서, LF 디스플레이 시스템(1000)은 팔찌에 대한 촉각 피드백 파라미터들에 따라 고객의 팔(1045) 위에 제공되는 팔찌의 다양한 위상적 특징들에 대응하는 촉각 피드백을 제공한다. 다른 예에서, LF 디스플레이 시스템(1000)은 상이한 열 교환 특성들을 갖는 다양한 재료들에 대응하는 다양한 온도 피드백을 제공한다.
도 11은 하나 이상의 실시예들에 따른, 상점의 고객들에 대한 홀로그래픽 상점 비서를 제공하기 위해, 상점에 구현된 LF 디스플레이 시스템(1100)의 예시이다. LF 디스플레이 시스템(1100)은 LF 디스플레이 시스템(500)의 일 실시예이다. LF 디스플레이 시스템(1100)은 단일 면의 이음매 없는 표면 환경 또는 다중-측면의 이음매 없는 표면 환경을 형성하는 LF 디스플레이 모듈들(1120)에 의해 형성된 LF 디스플레이를 갖는 인클로저(1110)를 포함한다. 소매 상점의 맥락에서, LF 디스플레이는 벽, 천장, 및 바닥의 임의의 조합으로 소매 상점의 하나 이상의 방 또는 섹션에 통합될 수 있다. 일부 실시예들에서, LF 디스플레이 어셈블리는 개인화된 홀로그래픽 비서를 통해 LF 디스플레이 시스템(1100)의 하나 이상의 고객들에게 홀로그래픽 상점 비서를 제공하는, LF 디스플레이 모듈들(1120)을 포함하는 LF 디스플레이 어셈블리(510)의 일 실시예이다. LF 디스플레이 시스템(1100)은 또한 감각 피드백 시스템(540), 추적 시스템(550), 관찰자 프로파일링 시스템(528), 및 컨트롤러(520)와 같은 LF 디스플레이 시스템(500)의 다른 구성요소들의 임의의 조합을 포함할 수 있다. LF 디스플레이 시스템(1100)은 콘텐츠 제공자들 및 콘텐츠 고객들로부터의 홀로그래픽 콘텐츠의 배포를 제어하는 LF 상점 플랫폼의 일부로서 구현될 수 있다.
LF 디스플레이 시스템(1100)은 소매 상점 내의 고객들(예를 들어, 1130 및 1135)에게 홀로그래픽 비서들(예를 들어, 1140 및 1145)을 제공한다. LF 디스플레이 시스템(1100)은 데이터 저장부(예를 들어, 컨트롤러(520)의 데이터 저장부(522))에 홀로그래픽 비서들에 대한 파라미터들을 저장할 수 있다. 일부 실시예들에서, LF 디스플레이 시스템(1100)은 모든 고객들에게 제공되는 디폴트 홀로그래픽 비서를 가질 수 있다. 다른 실시예들에서, LF 디스플레이 시스템(1100)은 각각의 고객에 개별적인 홀로그래픽 비서, 고객들의 그룹에 대한 개별 홀로그래픽 비서, 또는 각각의 고객에 대한 하나 이상의 홀로그래픽 비서들을 제공할 수 있다. 홀로그래픽 비서들은 홀로그래픽 비서의 유형을 포함하는 파라미터들을 가질 수 있다. 홀로그래픽 비서 유형의 다양한 예들은 홀로그래픽 인간, 다른 홀로그래픽 아바타(예를 들어, 로봇, 외계인, 다른 것, 무생물 객체 등) 등을 포함한다. 다른 파라미터들은, 비서의 크기, 가용한 경우 비서의 성별, 비서의 음성, 비서의 성격, 또는 이들의 임의의 조합을 포함할 수 있지만 이에 제한되는 것은 아니다. 각각의 고객이 개인화된 홀로그래픽 비서를 수신하는 실시예들에서, LF 디스플레이 시스템(1100)은 홀로그래픽 비서를 변경하는 옵션을 제공한다. 그 후, 고객은 모든 다양한 파라미터들을 조절하기 위한 입력을 제공할 수 있으며, 이에 따라 고객들은 홀로그래픽 비서의 유형, 성별, 크기, 음성, 성격 등을 선택할 수 있다. 그 후, LF 디스플레이 시스템(1100)은 디폴트 파라미터들 및/또는 고객으로부터 제공된 파라미터들에 따라 홀로그래픽 비서들을 제공할 수 있다.
홀로그래픽 비서는 쇼핑하는 동안 고객에게 정보를 제공할 수 있다. LF 디스플레이 시스템(1100)은 홀로그래픽 비서들을 통해 고객들에게 제공하기 위해 데이터 저장부로부터 정보를 검색할 수 있다. 예를 들어, 홀로그래픽 비서는 유치원에서 쇼핑하는 고객에게 진달래 화분을 추천하는 것과 같이, 소매 상점에서 구매할 수 있는 다양한 상품 물품들에 대해 고객에게 제안을 제공할 수 있다. 다른 예들에서, 홀로그래픽 비서들은 또한 현재의 판매, 다양한 물리적 상품의 가격, 상점 내의 다양한 상품의 재고, 상점의 개방/폐쇄 시간, 다양한 물리적 상품의 위치, 물리적 상품의 하나 이상의 설명 등과 같은 다른 정보를 제공할 수 있다.
LF 디스플레이 시스템(1100)은 감각 피드백 시스템(예를 들어, 감각 피드백 시스템(540))을 이용하여, 홀로그래픽 비서들의 제공과 함께 다른 감각 피드백을 제공할 수 있다. 예를 들어, LF 디스플레이 시스템(1100)은 고객이 홀로그래픽 비서에 의해 터치하거나 터치되는 것을 경험할 수 있게 하는 촉각 피드백을 제공할 수 있다. 또한, LF 디스플레이 시스템(1100)은 홀로그래픽 비서들에 의한 음성과 같은 홀로그래픽 비서들과의 오디오 피드백을 제공할 수 있다.
하나 이상의 실시예들에서, LF 디스플레이 시스템(1100)은 소매 상점 전체에 걸쳐 고객들과 상호작용할 수 있는 홀로그래픽 비서들을 제공한다. LF 디스플레이 시스템(1100)은 추적 시스템(예를 들어, 추적 시스템(550)), LF 디스플레이 모듈들(1120), LF 디스플레이 시스템(1100)에 포함된 하나 이상의 카메라들, 및 임의의 추가적인 추적 장치들의 임의의 조합을 통해 소매 상점 전체에 걸쳐 고객들을 추적한다. LF 디스플레이 시스템(1100)은 추적 정보를 사용하여 각각의 홀로그래픽 비서의 디스플레이 명령들을 업데이트한다. LF 디스플레이 시스템(1100)은 고객의 움직임에 기초하여 홀로그래픽 비서들의 표시를 계속적으로 업데이트한다. 각각의 고객에게 홀로그래픽 비서가 제공되는 실시예들에서, LF 디스플레이 시스템(1100)은 고객들 사이에 합리적인 이격이 있다고 가정하는 경우, 각각의 홀로그래픽 비서를 그들의 고객에 의해서만 볼 수 있도록 제공할 수 있다. 예를 들어, LF 디스플레이 시스템(1100)은 고객 A(1130)에게만 보이는 홀로그래픽 비서(1140)를 고객 A(1130)에게 제공하는 반면, 고객 B(1135)에게만 보이는 홀로그래픽 비서(1145)를 고객 B(1135)에게 제공한다. LF 디스플레이 시스템(1100)은 각각의 고객의 시선(gaze)을 더 추적하여, 홀로그래픽 비서들이 고객들의 시선과 마주치는 것을 도울 수 있다. 예를 들어, LF 디스플레이 시스템(1100)은 고객 A(1130)의 시선과 마주치는 시선을 갖는 홀로그래픽 비서 A(1140)를 제공하도록 고객 A(1130)의 시선을 추적한다. 또한, LF 디스플레이 시스템은 고객의 움직임을 추적하는 감각 피드백 시스템(예를 들어, 감각 피드백 시스템(540))을 통해 다른 감각 피드백을 제공할 수 있다. 예를 들어, LF 디스플레이 시스템(1100)은 이동 중에 고객에 의해 지속적으로 오디오 피드백이 인식될 수 있도록 오디오 피드백을 조절한다.
일부 실시예들에서, LF 디스플레이 시스템(1100)은 고객들로부터 입력을 수신하고, 수신된 입력과 반응하도록 홀로그래픽 비서들을 제공한다. LF 디스플레이 시스템(1100)은 추적 시스템(예를 들어, 추적 시스템(550)), 하나 이상의 LF 디스플레이 모듈들(1120), 입력을 수신하도록 구성된 감각 피드백 시스템(540), 및 하나 이상의 입력 장치(예를 들어, 원격 제어, 터치스크린, 입력을 수신하도록 구성된 클라이언트 장치 상의 애플리케이션 등)의 임의의 조합을 이용할 수 있다. LF 디스플레이 시스템(1100)은 고객으로부터 입력을 수신하고, 제공된 입력에 반응하여 정보를 제공할 수 있다. 예를 들어, 고객은 소매 상점의 입구 근처의 전자 터치스크린 상에 제공된 카테고리들의 메뉴로부터 식물들의 카테고리를 선택한다. 이에 반응하여, LF 디스플레이 시스템(1100)은 고객에 의해 제공되는 선택된 카테고리에 따라 구매 가능한 식물들을 갖는 상점의 몇 개의 섹션들을 제안하는 홀로그래픽 비서를 제공한다. 다른 예에서, 고객은 그들의 홀로그래픽 비서의 외관을 선택하는 옵션을 갖는다.
추가적인 실시예들에서, LF 디스플레이 시스템은 관찰자 프로파일링 시스템(528)의 일 실시예인 고객 프로파일링 시스템을 가진다. 고객 프로파일링 시스템은 소매 상점 내에 존재하는 고객들을 긍정적으로 식별한다. 고객 프로파일링 시스템은 얼굴 인식을 위한 추적 시스템으로부터 하나 이상의 카메라들, 물리적 토큰(예를 들어, 손목밴드 상의 RFID칩 또는 바코드)을 스캔하는 식별 스캐너를 사용할 수 있다. 고객들이 소매 상점 내에서 이동할 때, LF 디스플레이 시스템(1100)은 각각의 식별된 고객의 움직임을 모니터링한다. 고객 프로파일링 시스템은 각각의 고객의 동작 또는 제공된 입력에 대한 데이터 기록을 유지할 수 있다. 예를 들어, 고객 프로파일링 시스템은 고객이 제공하는 다양한 관심을 LF 디스플레이 시스템(1100)에 기록할 수 있다. 또한, 다른 행동들은 상품의 구매, 상품과의 상호작용, 다른 고객과의 상호작용, 다른 상점 관련자와의 상호작용 등을 포함할 수 있다. 고객 프로파일링 시스템은 고객의 패턴 및/또는 관심사를 결정하기 위한 고객의 데이터에 적용될 수 있는 AI 모델을 더 포함할 수 있다. 그 후, LF 디스플레이 시스템(1100)은 홀로그래픽 비서들을 통해 또는 투사된 홀로그래픽 상품을 통해, 결정된 패턴들 및/또는 관심들에 따라 정보를 제공할 수 있다. 다른 실시예들에서, LF 디스플레이 시스템(1100)은 고객의 데이터에 따라 소매 상점에 후속 방문하는 경우 각각의 고객에게 홀로그래픽 비서들을 통해 개인화된 정보를 제공할 수 있다. 후속 방문의 일 예에서, 홀로그래픽 비서는, 고객이 이전 방문에서 상호작용하였던 상품 물품을 제안할 수 있다.
추가적인 예들에서, LF 디스플레이 시스템(1100)은 부동산(예를 들어, 판매 및/또는 임대를 위한 집, 판매 및/또는 임대를 위한 상업 부동산)의 홀로그래픽 투어를 시뮬레이션하도록 구성될 수 있다. LF 디스플레이 시스템(700)과 유사하게, LF 디스플레이 시스템(1100)은 LF 디스플레이 시스템(1100)의 가시 부피 내에 다양한 홀로그래픽 상품을 갖는 홀로그래픽 환경을 제공할 수 있다. 홀로그래픽 환경 및 홀로그래픽 상품은 LF 디스플레이 시스템(1100)에 의한 홀로그래픽 환경의 표시를 지시하는 다양한 파라미터들을 가질 수 있다. 파라미터들은 제3자 시스템에 의해 제공되거나, 하나 이상의 외부 카메라들을 통해 수집되거나, 또는 고객에 의해 입력될 수 있다. 일 실시예에서, LF 디스플레이 시스템(1100)은 거실의 크기, 거실의 각각의 표면에 대한 색상 등을 포함할 수 있는 파라미터들에 따라 홀로그래픽 거실을 디스플레이한다. 그 후, LF 디스플레이 시스템(1100)은 홀로그래픽 환경의 표시를 변경하기 위해 도 5 내지 도 7에 전술한 원리들에 따라 입력을 수신할 수 있다. 예를 들어, 수신된 입력은 다른 홀로그래픽 상품과 함께 다른 홀로그래픽 환경을 제공하는 것일 수 있다. 이 실시예에서, 부동산 판매원은 LF 디스플레이 시스템(1100)과 함께 전시되고 있는 판매를 위해 집 내의 방을 선택할 수 있다. 그 후, LF 디스플레이 시스템(1100)은 선택된 방에 홀로그래픽 가구를 구비한 홀로그래픽 환경을 제공할 수 있다. 그 후, 판매원은 집 안의 다른 방을 선택할 수 있고, 이에 응답하여, LF 디스플레이 시스템(1100)은 새로 선택된 방에 대한 파라미터들을 검색하고, 새로운 방 선택에 따라 홀로그래픽 환경 및 임의의 홀로그래픽 가구를 제공한다.
추가 구성 정보
본 개시의 실시예들에 대한 전술한 설명은 예시의 목적으로 제공되었지만, 개시된 정확한 형태들로 배타적으로 또는 본 개시를 제한하는 것으로 의도되는 것은 아니다. 통상의 기술자는 위의 개시 내용에 비추어 많은 수정 및 변형이 가능하다는 것을 이해할 수 있다.
본 설명의 일부 부분들은 정보에 대한 동작들의 알고리즘들 및 기호 표현들의 관점에서 본 개시의 실시예들을 기술한다. 이러한 알고리즘 설명들 및 표현들은 작업 내용을 다른 통상의 기술자들에게 효과적으로 전달하기 위해, 데이터 처리 분야의 통상의 기술자들에 의해 통상적으로 사용된다. 이러한 동작들은, 기능적으로, 계산적으로, 또는 논리적으로 기술되지만, 컴퓨터 프로그램들 또는 균등한 전기 회로들, 마이크로코드 등에 의해 구현되는 것으로 이해된다. 나아가, 일반성을 잃지 않고, 이러한 동작들의 모듈들을 모듈들로 지칭하는 것이 종종 편리하다는 것이 입증되었다. 설명된 동작들 및 그들의 연관된 모듈들은 소프트웨어, 펌웨어, 하드웨어, 또는 이들의 임의의 조합으로 구현될 수 있다.
본원에 설명된 단계들, 동작들, 또는 프로세스들 중 임의의 것은 하나 이상의 하드웨어 또는 소프트웨어 모듈들로, 단독으로 또는 다른 장치들과 조합하여 수행되거나 구현될 수 있다. 일부 실시예들에서, 소프트웨어 모듈은, 설명된 단계들, 동작들, 또는 프로세스들 중 임의의 것 또는 전부를 수행하기 위해 컴퓨터 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능 매체를 포함한 컴퓨터 프로그램 제품으로 구현된다.
본 개시의 실시예들은 또한, 본원에서의 동작들을 수행하기 위한 장치에 관한 것일 수 있다. 이 장치는 필요한 목적을 위해 특별히 구성될 수 있고/있거나, 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨팅 장치를 포함할 수 있다. 이러한 컴퓨터 프로그램은 비-일시적, 유형의 컴퓨터 판독가능 저장 매체, 또는 컴퓨터 시스템 버스에 연결될 수 있는 전자 명령들을 저장하기에 적합한 임의의 유형의 매체에 저장될 수 있다. 또한, 본 명세서에서 언급되는 임의의 컴퓨팅 시스템들은 단일 프로세서를 포함할 수 있거나, 증가된 컴퓨팅 능력을 위해 다수의 프로세서 설계들을 이용하는 아키텍처일 수 있다.
본 개시의 실시예들은 또한, 본원에 기술된 컴퓨팅 프로세스에 의해 생성되는 제품에 관한 것일 수 있다. 이러한 제품은 컴퓨팅 프로세스로부터 발생하는 정보를 포함할 수 있으며, 여기서 해당 정보는 비-일시적인 유형의 컴퓨터 판독가능 저장 매체 상에 저장되고, 본원에 기술된 컴퓨터 프로그램 제품 또는 다른 데이터 조합의 임의의 실시예를 포함할 수 있다.
마지막으로, 본 명세서에서 사용되는 언어는 주로 가독성 및 교육 목적을 위해 선택되었고, 본 발명의 청구 대상을 기술하거나 제한하기 위해 선택되지 않았을 수 있다. 따라서, 본 개시의 범위는 이러한 상세한 설명에 의해 제한되는 것이 아니라, 본원에 기초하여 발행하는 임의의 청구항들에 의해 제한되는 것으로 의도된다. 따라서, 실시예들의 개시는 다음의 청구항들에 제공된 본 개시의 범위를 제한하는 것이 아니라 예시적인 것이다.
Claims (74)
- 라이트필드(LF) 디스플레이 시스템으로서,
하나 이상의 LF 디스플레이 모듈들을 포함하되 상기 하나 이상의 LF 디스플레이 모듈들의 가시 부피 내에 위치된 고객에게 홀로그래픽 객체 부피 내의 하나 이상의 홀로그래픽 객체들을 포함한 홀로그래픽 상품을 제공하도록 구성되는, LF 디스플레이 어셈블리를 포함하고,
상기 LF 디스플레이 시스템은 상기 홀로그래픽 상품의 제공에 반응하여 입력을 수신하도록 구성되는, LF 디스플레이 시스템. - 제1항에 있어서, 상기 LF 디스플레이 어셈블리는 상기 수신된 입력에 대응하는 상기 홀로그래픽 객체들 중 하나의 표시를 업데이트하는, LF 디스플레이 시스템.
- 제2항에 있어서, 상기 홀로그래픽 객체의 표시를 업데이트하는 것은,
상기 LF 디스플레이 시스템의 상기 홀로그래픽 객체 부피 내의 상기 홀로그래픽 객체를 크기 조절하는 것;
상기 LF 디스플레이 시스템의 상기 홀로그래픽 객체 부피 내의 상기 홀로그래픽 객체를 이동시키는 것; 및
상기 홀로그래픽 객체의 외관을 변경하는 것 중 하나인, LF 디스플레이 시스템. - 제2항에 있어서, 상기 홀로그래픽 객체의 표시를 업데이트하는 것은,
상기 홀로그래픽 객체와는 상이한 다른 홀로그래픽 객체를 디스플레이하는 것;
상기 홀로그래픽 객체에 관한 정보를 디스플레이하는 것;
상기 홀로그래픽 객체의 구성을 디스플레이하는 것; 및
상기 홀로그래픽 객체에 대한 물리적 설정을 디스플레이하는 것 중 하나인, LF 디스플레이 시스템. - 제1항에 있어서, 상기 홀로그래픽 객체는
집 안의 하나 이상의 방들;
상기 집 안의 하나 이상의 가구;
차량의 일 부분;
가전 장치; 및
물리적 제품 중 하나 이상인, LF 디스플레이 시스템. - 제1항에 있어서, 상기 홀로그래픽 상품은 디지털 자산과 연관되며, 상기 수신된 입력은 상기 디지털 자산의 구매에 대응하는, LF 디스플레이 시스템.
- 제1항에 있어서, 상기 홀로그래픽 상품은 렌더링될 서비스와 연관되며, 상기 수신된 입력은 상기 서비스의 구매에 대응하는, LF 디스플레이 시스템.
- 제1항에 있어서,
하나 이상의 고객들의 특성들을 포함하는 하나 이상의 고객 프로파일들을 저장하는 컴퓨터 판독가능 저장 매체를 더 포함하는, LF 디스플레이 시스템. - 제8항에 있어서, 상기 특성들은 고객에 의해 수행되는 하나 이상의 동작들을 포함하고, 상기 LF 디스플레이 시스템은 사용자에 대한 상기 고객 프로파일 내의 하나 이상의 사용자 입력들을 기록하도록 더 구성되는, LF 디스플레이 시스템.
- 제9항에 있어서, 상기 동작들은,
물품의 구매;
하나 이상의 홀로그래픽 객체들과의 상호작용;
하나 이상의 홀로그래픽 객체들의 관찰 이력; 및
상기 LF 디스플레이 시스템에 제공되는 하나 이상의 사용자 입력들을 중 하나 이상을 포함하는, LF 디스플레이 시스템. - 제8항에 있어서, 상기 특성들은 사용자의 인구통계 정보, 직업 경험, 교육 이력, 성별, 수입, 구매에 소비된 금액, 취미, 위치, 나이, 관찰 이력, 물품에 소비된 시간, 이전에 관찰한 물품들의 카테고리, 및 구매 이력 중 하나 이상을 포함하는, LF 디스플레이 시스템.
- 제8항에 있어서, 상기 홀로그래픽 상품은 제공을 위해 상기 고객에 대한 고객 프로파일 내의 특성에 기초하여 선택되는, LF 디스플레이 시스템.
- 제12항에 있어서, 상기 홀로그래픽 상품은 상기 고객 프로파일의 특성을 이용하는 머신러닝 모델을 이용하여 선택되는, LF 디스플레이 시스템.
- 제8항에 있어서, 상기 LF 디스플레이 시스템은 고객 프로파일 내의 하나 이상의 특성들을 외부 시스템으로 전송하도록 구성되는, LF 디스플레이 시스템.
- 제8항에 있어서, 고객 프로파일 내의 하나 이상의 특성들은 외부 시스템으로부터 검색되는, LF 디스플레이 시스템.
- 제1항에 있어서, 각각의 LF 디스플레이 모듈은 상기 홀로그래픽 객체들이 투사되는 디스플레이 표면을 가지며, 상기 하나 이상의 LF 디스플레이 모듈들의 상기 디스플레이 표면을 타일링하여 이음매 없는 디스플레이 표면이 형성되는, LF 디스플레이 시스템.
- 제16항에 있어서, 상기 홀로그래픽 객체들 중 하나는, 이음매 없는 디스플레이 표면이 상기 홀로그래픽 객체와 상기 고객 사이에 있거나 상기 이음매 없는 디스플레이 표면에 의해 분할되도록, 상기 이음매 없는 디스플레이 표면 뒤에서, 상기 고객과 상기 이음매 없는 디스플레이 표면 사이에 디스플레이되는, LF 디스플레이 시스템.
- 제16항에 있어서, 각각의 LF 디스플레이 모듈은,
복수의 에너지 소스 위치들을 제공하도록 구성되는 에너지 장치 층,
복수의 에너지 도파관을 구비한 에너지 도파층을 포함하며, 각각의 도파관은 상기 에너지 소스 위치에 따라 4D 라이트필드 기능과 함께, 적어도 하나의 에너지 소스 위치로부터의 에너지를 상기 디스플레이 표면으로부터의 적어도 하나의 특정 방향으로 투사하여, 상기 홀로그래픽 객체들을 형성하도록 구성되고,
상기 홀로그래픽 객체들의 가시 관점들은 상기 홀로그래픽 객체 부피 내의 상기 홀로그래픽 객체에 대한 가시 부피에서의 상기 고객의 위치에 부분적으로 기초하여 변하는, LF 디스플레이 시스템. - 제18항에 있어서, 상기 LF 디스플레이 모듈들은 주변 환경으로부터 라이트필드를 수신하도록 더 구성되는, LF 디스플레이 시스템.
- 제19항에 있어서, 상기 LF 디스플레이 어셈블리는 상기 하나 이상의 LF 디스플레이 모듈들에 의해 수신된 상기 환경으로부터의 상기 라이트필드에 기초하여 상기 입력을 수신하도록 더 구성되는, LF 디스플레이 시스템.
- 제18항에 있어서, 상기 에너지 도파층은
복수의 에너지 도파관에 연결된 정전 스피커들의 어레이를 더 포함하고, 상기 정전 스피커들의 어레이는,
구동될 때 음향 에너지를 발생시키도록 구성된 적어도 하나의 투명 막; 및
상기 투명 막을 음향학적으로 구동하도록 구성된 다수의 전극들을 포함하며, 상기 복수의 전극들의 각각의 전극은 상기 복수의 에너지 도파관들의 하나 이상의 에너지 도파관들 사이에 위치되는, LF 디스플레이 시스템. - 제1항에 있어서,
상기 LF 디스플레이 시스템의 상기 가시 부피 내에서 상기 고객의 움직임을 추적하도록 구성된 추적 시스템을 더 포함하는, LF 디스플레이 시스템. - 제22항에 있어서, 상기 추적 시스템은 상기 LF 디스플레이 모듈들의 전방에 있는 영역의 이미지들을 캡처하도록 구성된 하나 이상의 카메라들을 포함하는, LF 디스플레이 시스템.
- 제23항에 있어서, 상기 하나 이상의 카메라들은 상기 LF 디스플레이 어셈블리의 외부에 있는, LF 디스플레이 시스템.
- 제22항에 있어서, 상기 추적 시스템은 상기 LF 디스플레이 모듈들의 전방에서 상기 객체들의 깊이를 검출하도록 구성된 하나 이상의 깊이 센서들을 포함하는, LF 디스플레이 시스템.
- 제22항에 있어서, 상기 LF 디스플레이 어셈블리는 상기 추적 시스템에 의해 추적되는 상기 고객의 움직임에 기초하여 상기 홀로그래픽 객체의 표시를 업데이트하는, LF 디스플레이 시스템.
- 제22항에 있어서, 상기 추적 시스템은
상기 LF 디스플레이 시스템의 홀로그래픽 객체 부피 내에 있는 상기 고객의 몸의 일 부분의 위치를 결정하도록 더 구성되고,
상기 LF 디스플레이 어셈블리는 상기 결정된 위치에 부분적으로 기초하여 상기 몸의 일부에 의해 착용되는 것으로 보이도록 상기 홀로그래픽 상품을 표시하는, LF 디스플레이 시스템. - 제27항에 있어서, 상기 LF 디스플레이 어셈블리는 하나 이상의 홀로그래픽 객체들로서 상기 몸의 부분을 표시하도록 더 구성되는, LF 디스플레이 시스템.
- 제1항에 있어서,
하나 이상의 감각 피드백 장치들을 포함하되 상기 홀로그래픽 객체와 동시에 감각 피드백을 제공하도록 구성되는, 감각 피드백 시스템을 더 포함하는, LF 디스플레이 시스템. - 제29항에 있어서, 상기 감각 피드백은 촉각 피드백, 오디오 피드백, 후각 피드백, 온도 피드백, 또는 이들의 임의의 조합을 포함하는, LF 디스플레이 시스템.
- 제29항에 있어서, 상기 감각 피드백 시스템은 상기 홀로그래픽 객체에 촉각 피드백을 제공하기 위한 초음파 에너지 투사 장치를 포함하고, 상기 초음파 에너지 투사 장치는 상기 홀로그래픽 객체의 표면에 근접하거나 상기 홀로그래픽 객체의 표면에 일치하는 부피 촉각 표면을 생성하도록 구성되는, LF 디스플레이 시스템.
- 제31항에 있어서, 상기 홀로그래픽 상품은 텍스처를 갖는 물리적 상품과 연관되고, 상기 촉각 표면은 상기 물리적 상품의 텍스처를 시뮬레이션하는, LF 디스플레이 시스템.
- 제31항에 있어서, 상기 부피 햅틱 투사 장치는 상기 LF 디스플레이 어셈블리의 일부인, LF 디스플레이 시스템.
- 제29항에 있어서, 상기 LF 디스플레이 어셈블리는 상기 하나 이상의 LF 디스플레이 모듈들을 갖는 상기 LF 디스플레이 시스템의 상기 홀로그래픽 객체 부피 내의 상기 고객에게 홀로그래픽 비서를 제공하도록 더 구성되는, LF 디스플레이 시스템.
- 제34항에 있어서, 상기 감각 피드백 시스템은 상기 홀로그래픽 상품에 관한 정보를 포함하는 오디오 피드백을 상기 고객에게 제공하는, LF 디스플레이 시스템.
- 제29항에 있어서, 상기 LF 디스플레이 시스템은 물리적 소매 상점에서 구현되고, 상기 감각 피드백 시스템은 상기 홀로그래픽 상품에 관한 정보를 포함하는 오디오 피드백을 상기 고객에게 제공하며, 상기 제공된 정보는 상기 물리적 상품의 저장소 내의 위치, 상기 상점 내의 상기 물리적 상품의 재고, 상기 상점 내의 상기 물리적 상품의 가격, 및 상기 물리적 상품의 하나 이상의 설명들 중 하나인, LF 디스플레이 시스템.
- 제1항에 있어서, 상기 LF 디스플레이 시스템은
네트워크를 통해 상기 LF 디스플레이 시스템에 연결되되 상기 고객에 제공하기 위해 상기 홀로그래픽 상품을 상기 LF 디스플레이 시스템에 배포하도록 구성되는 온라인 시스템을 포함하는, LF 상점 플랫폼의 일 구성요소인, LF 디스플레이 시스템. - 제37항에 있어서, 상기 홀로그래픽 상품은 물리적 상품과 연관되며, 상기 수신된 입력은 상기 물리적 상품의 구매에 대응하는, LF 디스플레이 시스템.
- 제37항에 있어서, 상기 홀로그래픽 상품은 디지털 자산과 연관되며, 상기 수신된 입력은 상기 디지털 자산의 구매에 대응하는, LF 디스플레이 시스템.
- 제37항에 있어서, 상기 LF 디스플레이 시스템은 상기 온라인 시스템으로부터 인코딩된 포맷으로 상기 홀로그래픽 상품을 수신하도록 구성되고, 상기 홀로그래픽 상품을 제공하기 위한 표시 가능한 포맷으로 상기 홀로그래픽 상품을 디코딩하도록 구성되는, LF 디스플레이 시스템.
- 제40항에 있어서, 상기 인코딩된 포맷은 벡터화된 포맷이고, 상기 디코딩된 포맷은 래스터화된 포맷인, LF 디스플레이 시스템.
- 제37항에 있어서, 상기 홀로그래픽 상품은 상기 LF 디스플레이 시스템의 하드웨어 구성에 기초하여 제공되는, LF 디스플레이 시스템.
- 제42항에 있어서, 상기 하드웨어 구성은
해상도,
각도 당 투사된 광선의 수,
시야,
상기 디스플레이 표면 상의 편향 각도,
상기 디스플레이 표면의 치수,
홀로그래픽 객체 부피의 기하학적 구조, 및
홀로그래픽 가시 부피의 기하학적 구조 중 하나 이상을 포함하는, LF 디스플레이 시스템. - 제37항에 있어서, 상기 수신된 입력은 상기 홀로그래픽 상품의 구매에 대응하고, 상기 LF 디스플레이 시스템은 상기 구매에 반응하여 상기 홀로그래픽 상품을 다른 LF 디스플레이 시스템으로 전송하도록 구성되는, LF 디스플레이 시스템.
- 제44항에 있어서, 상기 LF 디스플레이 시스템은 상기 홀로그래픽 상품을 암호화하도록 더 구성되고, 상기 다른 LF 디스플레이 시스템은 상기 홀로그래픽 상품을 복호화하고 상기 홀로그래픽 상품을 표시하도록 구성되는, LF 디스플레이 시스템.
- 제37항에 있어서, 상기 온라인 시스템은
하나 이상의 고객들의 특성들을 포함하는 하나 이상의 고객 프로파일들을 저장하는 컴퓨터 판독가능 저장 매체를 더 포함하는, LF 디스플레이 시스템. - 제46항에 있어서, 상기 특성들은 고객에 의해 수행되는 하나 이상의 동작들을 포함하고, 상기 LF 디스플레이 시스템은 사용자에 대한 상기 고객 프로파일 내의 하나 이상의 사용자 입력들을 기록하도록 더 구성되는, LF 디스플레이 시스템.
- 제47항에 있어서, 상기 동작들은
물품의 구매;
하나 이상의 홀로그래픽 객체들과의 상호작용;
하나 이상의 홀로그래픽 객체들의 관찰 이력; 및
상기 LF 디스플레이 시스템에 제공되는 하나 이상의 사용자 입력들을 중 하나 이상을 포함하는, LF 디스플레이 시스템. - 제46항에 있어서, 상기 특성들은 사용자의 인구통계 정보, 직업 경험, 교육 이력, 성별, 수입, 구매에 소비된 금액, 취미, 위치, 나이, 관찰 이력, 물품에 소비된 시간, 이전에 관찰된 물품들의 카테고리, 및 구매 이력 중 하나 이상을 포함하는, LF 디스플레이 시스템.
- 제46항에 있어서, 상기 홀로그래픽 상품은 제공을 위해, 상기 고객에 대한 고객 프로파일 내의 특성에 기초하여 선택되는, LF 디스플레이 시스템.
- 제50항에 있어서, 상기 홀로그래픽 상품은 상기 고객 프로파일 내의 특성을 이용하는 머신러닝 모델을 이용하여 선택되는, LF 디스플레이 시스템.
- 제46항에 있어서, 상기 온라인 시스템은 고객 프로파일 내의 하나 이상의 특성들을 상기 네트워크를 통해 외부 시스템으로 전송하도록 구성되는, LF 디스플레이 시스템.
- 제46항에 있어서, 고객 프로파일 내의 하나 이상의 특성들은 네트워크를 통해 외부 시스템으로부터 검색되는, LF 디스플레이 시스템.
- 제46항에 있어서, 하나 이상의 고객 프로파일들은 하나 이상의 엔티티들과 연관되는, LF 디스플레이 시스템.
- 제1항에 있어서, 상기 LF 디스플레이 시스템은 물리적 소매 상점 내에 위치되고, 상기 수신된 입력은 상기 홀로그래픽 상품의 구매에 대응하는, LF 디스플레이 시스템.
- 제1항에 있어서, 상기 LF 디스플레이 시스템은 상기 고객의 집 안에 위치하는, LF 디스플레이 시스템.
- 제1항에 있어서, 상기 LF 디스플레이 시스템은 디스플레이 케이스로서 구현되는, LF 디스플레이 시스템.
- 방법으로서,
파라미터들의 세트에 부분적으로 기초하여 홀로그래픽 객체에 대한 디스플레이 명령들을 생성하는 단계;
하나 이상의 라이트필드(LF) 디스플레이 모듈들로 구성된 LF 디스플레이 시스템에 의해, 홀로그래픽 객체 부피 내의 하나 이상의 홀로그래픽 객체들을 디스플레이 명령들에 따라 가시 부피 내에 위치된 고객에게 제공하는 단계;
상기 홀로그래픽 객체들 중 하나의 제공을 조절하기 위한 입력을 수신하는 단계;
상기 입력에 기초하여 디스플레이 명령들을 업데이트하는 단계; 및
상기 업데이트된 디스플레이 명령들에 따라 상기 LF 디스플레이 모듈들을 이용하여 수정된 홀로그래픽 객체를 제공하는 단계를 포함하는, 방법. - 제58항에 있어서,
상기 고객의 몸의 일부의 움직임을 추적하는 단계; 및
상기 추적된 움직임에 부분적으로 기초하여 홀로그래픽 객체 부피 내의 상기 홀로그래픽 객체의 위치를 업데이트하는 단계를 더 포함하는, 방법. - 제59항에 있어서, 상기 추적은 상기 LF 디스플레이 모듈들의 전방에 있는 영역의 이미지들을 캡처하도록 구성된 하나 이상의 카메라들에 의해 수행되는, 방법.
- 제60항에 있어서, 상기 하나 이상의 카메라들은 상기 LF 디스플레이 모듈들의 외부에 있는, 방법.
- 제59항에 있어서, 상기 추적은 상기 LF 디스플레이 모듈들의 전방에서 객체들의 깊이를 검출하도록 구성된 하나 이상의 깊이 센서들에 의해 수행되는, 방법.
- 제59항에 있어서, 상기 추적은 주변 환경으로부터 라이트필드를 수신하도록 구성된 상기 LF 디스플레이 모듈들에 의해 수행되는, 방법.
- 제58항에 있어서, 각각의 LF 디스플레이 모듈은 상기 홀로그래픽 객체들이 투사되는 디스플레이 표면을 가지며, 상기 하나 이상의 LF 디스플레이 모듈들의 상기 디스플레이 표면들을 타일링함으로써 이음매 없는 디스플레이 표면이 형성되는, 방법.
- 제64항에 있어서, 상기 홀로그래픽 객체들 중 하나는 이음매 없는 디스플레이 표면이 상기 홀로그래픽 객체와 상기 고객 사이에 있거나 상기 이음매 없는 디스플레이 표면에 의해 분할되도록, 상기 이음매 없는 디스플레이 표면 뒤에서, 상기 고객 및 상기 이음매 없는 디스플레이 표면 사이에 디스플레이되는, 방법.
- 제58항에 있어서,
초음파 에너지를 투사하는 단계, 및 상기 홀로그래픽 객체의 표면에 대응하는 위치에서 부피 촉각 표면을 생성하는 단계를 더 포함하는, 방법. - 제58항에 있어서, 상기 하나 이상의 LF 디스플레이 모듈들은 집 안의 하나 이상의 표면들 또는 물리적 소매 상점 안의 하나 이상의 표면들을 형성하는, 방법.
- 제58항에 있어서,
상기 홀로그래픽 상품 및 상기 파라미터들의 세트를 온라인 시스템으로부터 수신하는 단계를 더 포함하고,
상기 파라미터들의 세트에 부분적으로 기초하여 상기 디스플레이 명령들을 생성하는 단계는,
상기 LF 디스플레이 시스템의 하드웨어 구성을 식별하는 단계; 및
상기 하드웨어 특성들 및 상기 파라미터들의 세트에 따라 상기 디스플레이 명령들을 결정하는 단계를 더 포함하는, 방법. - 제58항에 있어서, 상기 하드웨어 구성은
해상도,
각도 당 투사된 광선의 수,
시야,
상기 디스플레이 표면 상의 편향 각도,
상기 디스플레이 표면의 치수,
홀로그래픽 객체 부피의 기하학적 구조, 및
홀로그래픽 가시 부피의 기하학적 구조 중 하나 이상을 포함하는, 방법. - LF 디스플레이 시스템으로서,
하나 이상의 LF 디스플레이 모듈들을 포함하되 상기 하나 이상의 LF 디스플레이 모듈들의 가시 부피 내에 위치된 고객에게 홀로그래픽 객체 부피 내의 하나 이상의 홀로그래픽 객체들을 포함한 홀로그래픽 상품을 제공하도록 구성되는, LF 디스플레이 어셈블리를 포함하고,
상기 LF 디스플레이 시스템은 상기 홀로그래픽 상품에 대한 디스플레이 케이스의 일부를 형성하는, LF 디스플레이 시스템. - 제70항에 있어서, 상기 LF 디스플레이 모듈들은 상기 디스플레이 케이스의 2개 이상의 면들을 형성하는, LF 디스플레이 시스템.
- 제70항에 있어서, 상기 디스플레이 케이스 내에서 상기 고객의 몸의 일 부분의 움직임을 추적하도록 구성된 추적 시스템을 더 포함하고, 상기 LF 디스플레이 어셈블리는 상기 고객의 몸의 상기 추적된 부분에 근접하여 상기 홀로그래픽 상품을 제공하도록 구성되는, LF 디스플레이 시스템.
- 제70항에 있어서, 상기 홀로그래픽 상품은 물리적 제품의 표현인, LF 디스플레이 시스템.
- 제73항에 있어서, 상기 물리적 제품은 하나 이상의 주변 환경 조건들에 의해 손상될 수 있는 값비싼, 부서지기 쉬운, 대상으로 구성된 그룹으로부터 선택된 특성을 갖는, LF 디스플레이 시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/418,237 | 2019-05-21 | ||
| US16/418,237 US20200371472A1 (en) | 2019-05-21 | 2019-05-21 | Light Field Display System Based Commercial System |
| PCT/US2020/031915 WO2020236434A1 (en) | 2019-05-21 | 2020-05-07 | Light field display system based commercial system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220012285A true KR20220012285A (ko) | 2022-02-03 |
Family
ID=73456601
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217041455A KR20220012285A (ko) | 2019-05-21 | 2020-05-07 | 라이트필드 디스플레이 시스템 기반 상업용 시스템 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20200371472A1 (ko) |
| EP (1) | EP3956715A4 (ko) |
| JP (1) | JP2022533347A (ko) |
| KR (1) | KR20220012285A (ko) |
| CN (1) | CN113811810A (ko) |
| CA (1) | CA3139703A1 (ko) |
| WO (1) | WO2020236434A1 (ko) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220050236A1 (en) * | 2018-12-10 | 2022-02-17 | Sony Group Corporation | Display apparatus |
| US11494992B2 (en) * | 2020-08-27 | 2022-11-08 | Micron Technology, Inc. | Constructing an augmented reality image |
| US11450072B2 (en) * | 2020-11-07 | 2022-09-20 | Doubleme, Inc. | Physical target movement-mirroring avatar superimposition and visualization system and method in a mixed-reality environment |
| KR102514934B1 (ko) * | 2021-10-28 | 2023-03-29 | 주식회사스페이스엘비스 | 확장현실을 기반으로 하는 컨텐츠 제작 시스템 |
| CN114554167B (zh) * | 2022-02-21 | 2023-05-09 | 重庆第二师范学院 | 一种基于大数据的智能全息投影系统 |
| KR20240087400A (ko) * | 2022-12-12 | 2024-06-19 | 서울대학교산학협력단 | 홀로그램 스케일링 방법 및 그 장치 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6945457B1 (en) * | 1996-05-10 | 2005-09-20 | Transaction Holdings Ltd. L.L.C. | Automated transaction machine |
| US20040047013A1 (en) * | 2002-09-06 | 2004-03-11 | Heng Cai | Holographic marketing method and system for consumer products in a retail environment |
| US20080144174A1 (en) * | 2006-03-15 | 2008-06-19 | Zebra Imaging, Inc. | Dynamic autostereoscopic displays |
| US10872322B2 (en) * | 2008-03-21 | 2020-12-22 | Dressbot, Inc. | System and method for collaborative shopping, business and entertainment |
| HU0900478D0 (en) * | 2009-07-31 | 2009-09-28 | Holografika Hologrameloeallito | Method and apparatus for displaying 3d images |
| WO2014100012A1 (en) * | 2012-12-20 | 2014-06-26 | The Regents Of The University Of California | Electrostatic graphene speaker |
| EP2973532A4 (en) * | 2013-03-15 | 2017-01-18 | Magic Leap, Inc. | Display system and method |
| US10595100B2 (en) * | 2013-09-16 | 2020-03-17 | The Electric Fan Company | Distributed, unfolding, embedded transaction and inventory apparatuses, methods and systems |
| AU2014354673B2 (en) * | 2013-11-27 | 2019-04-11 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| US10430985B2 (en) * | 2014-03-14 | 2019-10-01 | Magic Leap, Inc. | Augmented reality systems and methods utilizing reflections |
| CN204120654U (zh) * | 2014-10-09 | 2015-01-28 | 上海杰派展示有限公司 | 具有视觉活跃效果的360°虚拟立体成像多媒体展柜 |
| WO2016123769A1 (zh) * | 2015-02-05 | 2016-08-11 | 周谆 | 虚拟饰品试戴的人机交互方法和系统 |
| EP3268916A4 (en) * | 2015-03-11 | 2018-10-24 | Ventana 3D LLC | Holographic interactive retail system |
| US10591869B2 (en) * | 2015-03-24 | 2020-03-17 | Light Field Lab, Inc. | Tileable, coplanar, flat-panel 3-D display with tactile and audio interfaces |
| US10235810B2 (en) * | 2015-09-22 | 2019-03-19 | 3D Product Imaging Inc. | Augmented reality e-commerce for in-store retail |
| WO2017070286A1 (en) | 2015-10-21 | 2017-04-27 | Wal-Mart Stores, Inc. | Apparatus and method for providing a virtual shopping space |
| KR101706122B1 (ko) * | 2015-11-10 | 2017-02-13 | 주식회사 더코더 | 데이터가 삽입된 홀로그램 금속 스티커 제조 방법 |
| WO2018014046A1 (en) * | 2016-07-15 | 2018-01-18 | Light Field Lab, Inc. | Encoded energy waveguides for holographic super resolution |
| CN114296175A (zh) * | 2016-07-15 | 2022-04-08 | 光场实验室公司 | 利用二维、光场和全息中继器的能量传播和横向安德森局域化 |
| US20180047093A1 (en) * | 2016-08-09 | 2018-02-15 | Wal-Mart Stores, Inc. | Self-service virtual store system |
| JP6855722B2 (ja) * | 2016-09-21 | 2021-04-07 | 富士ゼロックス株式会社 | 画像処理装置およびプログラム |
-
2019
- 2019-05-21 US US16/418,237 patent/US20200371472A1/en active Pending
-
2020
- 2020-05-07 EP EP20809850.9A patent/EP3956715A4/en active Pending
- 2020-05-07 WO PCT/US2020/031915 patent/WO2020236434A1/en unknown
- 2020-05-07 CA CA3139703A patent/CA3139703A1/en active Pending
- 2020-05-07 JP JP2021568049A patent/JP2022533347A/ja active Pending
- 2020-05-07 KR KR1020217041455A patent/KR20220012285A/ko unknown
- 2020-05-07 CN CN202080035187.2A patent/CN113811810A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN113811810A (zh) | 2021-12-17 |
| US20200371472A1 (en) | 2020-11-26 |
| CA3139703A1 (en) | 2020-11-26 |
| JP2022533347A (ja) | 2022-07-22 |
| WO2020236434A1 (en) | 2020-11-26 |
| EP3956715A4 (en) | 2023-01-04 |
| EP3956715A1 (en) | 2022-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20220012285A (ko) | 라이트필드 디스플레이 시스템 기반 상업용 시스템 | |
| US11428933B2 (en) | Light field display system for performance events | |
| JP7420400B2 (ja) | ライトフィールドディスプレイシステムベースの遊園地のアトラクション | |
| US12022053B2 (en) | Light field display system for cinemas | |
| KR20210137473A (ko) | 홀로그래픽 콘텐츠를 포함한 비디오 통신 | |
| US11902500B2 (en) | Light field display system based digital signage system | |
| US20210060405A1 (en) | Light Field Display System for Sporting Events | |
| KR20220054619A (ko) | 모바일 장치를 위한 라이트필드 디스플레이 | |
| JP7492577B2 (ja) | 成人向けライトフィールドディスプレイシステム発明者：ジョナサン・シャン・カラフィンブレンダン・エルウッド・ベベンシージョン・ドーム | |
| JP2022553890A (ja) | ゲーム環境向けライトフィールドディスプレイシステム |