KR20220054619A - 모바일 장치를 위한 라이트필드 디스플레이 - Google Patents
모바일 장치를 위한 라이트필드 디스플레이 Download PDFInfo
- Publication number
- KR20220054619A KR20220054619A KR1020227009073A KR20227009073A KR20220054619A KR 20220054619 A KR20220054619 A KR 20220054619A KR 1020227009073 A KR1020227009073 A KR 1020227009073A KR 20227009073 A KR20227009073 A KR 20227009073A KR 20220054619 A KR20220054619 A KR 20220054619A
- Authority
- KR
- South Korea
- Prior art keywords
- holographic
- user
- mobile device
- display
- energy
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 47
- 230000001953 sensory effect Effects 0.000 claims description 109
- 230000004044 response Effects 0.000 claims description 34
- 230000006870 function Effects 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 28
- 238000003384 imaging method Methods 0.000 claims description 26
- 238000013473 artificial intelligence Methods 0.000 claims description 21
- 230000000007 visual effect Effects 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 14
- 230000009471 action Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 238000002604 ultrasonography Methods 0.000 claims description 10
- 230000008921 facial expression Effects 0.000 claims description 5
- 230000007613 environmental effect Effects 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 description 64
- 230000002776 aggregation Effects 0.000 description 28
- 238000004220 aggregation Methods 0.000 description 28
- 230000003993 interaction Effects 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 16
- 238000009877 rendering Methods 0.000 description 13
- 241001481833 Coryphaena hippurus Species 0.000 description 11
- 230000002452 interceptive effect Effects 0.000 description 11
- 230000003190 augmentative effect Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000012546 transfer Methods 0.000 description 9
- 230000006399 behavior Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000001755 vocal effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000002787 reinforcement Effects 0.000 description 4
- 230000035807 sensation Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007667 floating Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 241000282320 Panthera leo Species 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 239000002304 perfume Substances 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 241001125840 Coryphaenidae Species 0.000 description 1
- 206010027940 Mood altered Diseases 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000003205 fragrance Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000000412 mechanoreceptor Anatomy 0.000 description 1
- 108091008704 mechanoreceptors Proteins 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000012788 optical film Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/10—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images using integral imaging methods
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
- G02B30/56—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H3/00—Holographic processes or apparatus using ultrasonic, sonic or infrasonic waves for obtaining holograms; Processes or apparatus for obtaining an optical image from them
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/33—User authentication using certificates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/30—Profiles
- H04L67/306—User profiles
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
- G03H2001/0061—Adaptation of holography to specific applications in haptic applications when the observer interacts with the holobject
Abstract
라이트필드 디스플레이 시스템은 사용자에게 몰입형 동작 경험을 제공하면서, 적어도 하나의 홀로그래픽 객체를 포함하는 홀로그래픽 콘텐츠를 사용자에게 제공하기 위해 모바일 장치에서 구현된다. 시스템은 사용자를 위한 홀로그래픽 콘텐츠를 생성하고 제공한다. 일 실시예에서, 시스템은 사용자로부터 명령을 수신한다. 일부 실시예들에서, 제공된 홀로그래픽 콘텐츠는 모바일 장치의 사용자로부터 명령들을 수신하기 위해 시스템에 의해 사용되는 홀로그래픽 사용자 인터페이스를 포함할 수 있다. 후속하여, 시스템은 수신된 명령들을 인식하고, 시스템에 의해 실행하기 위한 하나 이상의 계산 명령들을 결정하며, 결정된 계산 명령을 실행한다.
Description
관련 출원의 교차 참조
본 출원은 국제특허출원 PCT/US2017/042275, PCT/US2017/042276, PCT/US2017/042418, PCT/US2017/042452, PCT/US2017/042462, PCT/US2017/042466, PCT/US2017/042467, PCT/US2017/042468, PCT/US2017/042469, PCT/US2017/042414, 및 PCT/US2017/042679에 관련되며, 이들 모두 그 전문이 본원에 참고로 포함된다.
본 개시는 스마트폰 및 태블릿과 같은 모바일 장치에 관한 것이며, 구체적으로는, 모바일 장치에서의 라이트필드 디스플레이에 관한 것이다.
모바일 장치는 일반적으로 사용자 인터페이스뿐만 아니라 콘텐츠를 디스플레이하기 위해, 2차원(2D) 시각적 디스플레이에 의존한다. 텍스트, 이미지, 및 비디오를 포함하는 2차원 콘텐츠를 디스플레이하는 것에 부가하여, 모바일 장치 상의 2D 시각적 디스플레이는 모바일 장치에 의해 사용자에게 제공되는 특정 범위의 기능들을 디스플레이하고, 사용자로 하여금 원하는 기능을 선택하고 구성할 수 있게 하기 위한 반응형 인터페이스를 제공하도록 설계된다. 모바일 장치 내의 상호작용은 2D 시각적 디스플레이 상의 버튼, 키보드, 또는 터치 인터페이스와 같은 물리적 요소를 사용하여 제공된다. 그러나, 2D 시각적 디스플레이는 디스플레이가 모바일 장치 표면 상에 점유하는 풋프린트로 크기가 제한된다. 결과적으로, 디스플레이 콘텐츠는 또한, 2D 시각적 디스플레이의 크기로 제한되며, 이는 모바일 장치 사용자에게 제공될 수 있는 가시 경험뿐만 아니라 상호 동작을 제한한다. 특히, 2D 시각적 디스플레이는 사용자에게 몰입형 동작 경험을 제공하는 데에 제한된 기회를 제공한다.
설명된 실시예들은 장치를 사용하는 동안 모바일 장치 사용자에게 몰입형 동작 경험을 제공하는 모바일 장치의 라이트필드 디스플레이 시스템을 포함하는 기술들에 관한 것이다.
모바일 장치 내의 라이트필드(LF: light field) 디스플레이 시스템은 모바일 장치의 사용자에 의해 보이기 위한 홀로그래픽 콘텐츠를 생성한다. 생성된 홀로그래픽 콘텐츠는 모바일 장치의 사용자에게 디스플레이되는 홀로그래픽 사용자 인터페이스일 수 있다. 라이트필드 디스플레이 시스템은 사용자로부터 명령을 수신할 수 있다. LF 디스플레이 시스템은 수신된 사용자 명령에 기초하여 계산 명령을 결정하고, 결정된 계산 명령을 적절하게 실행한다. 일부 실시예들에서, 홀로그래픽 콘텐츠는 생성된 홀로그래픽 콘텐츠 상에서 촉각 표면으로 증강된다. 촉각 표면은 사용자에게 터치 감각을 제공할 수 있다.
일부 실시예들에서, 모바일 장치는 홀로그래픽 콘텐츠, LF 디스플레이 어셈블리, 및 명령 인터페이스를 생성하도록 구성된 컨트롤러를 포함하는 LF 디스플레이 시스템을 포함한다. LF 디스플레이 어셈블리는 하나 이상의 LF 디스플레이 모듈들의 가시 부피 내에 위치된 모바일 장치의 하나 이상의 사용자들에게 홀로그래픽 객체 부피 내의 홀로그래픽 콘텐츠를 제공하도록 구성된 하나 이상의 LF 디스플레이 모듈들을 포함한다.
일부 실시예들에서, LF 디스플레이 시스템은 추적 시스템 및/또는 관찰자 프로파일링 모듈을 포함한다. 추적 시스템 및 관찰자 프로파일링 모듈은 모바일 장치의 사용자들의 특성, 사용자를 설명하는 사용자 프로파일, 및/또는 모바일 장치의 동작 동안 제공된 홀로그래픽 콘텐츠에 대한 사용자들의 반응들을 모니터링 및 저장할 수 있다. 홀로그래픽 콘텐츠는 모니터링되거나 저장된 정보 중 임의의 것에 기초하여 디스플레이를 위해 생성될 수 있다.
일부 실시예들에서, 모바일 장치의 사용자는 홀로그래픽 콘텐츠와 상호작용할 수 있고, 상호작용은 홀로그래픽 콘텐츠 생성 시스템에 대한 입력으로서 동작할 수 있다. 일부 실시예들에서, 모바일 장치의 LF 디스플레이 시스템은 홀로그래픽 콘텐츠에 부가하여 감각 자극들을 생성할 수 있다. 예를 들어, 일부 실시예들에서, LF 디스플레이 시스템의 일부 또는 전부는 하나 이상의 초음파 스피커들을 포함한다. 복수의 초음파 스피커들은 홀로그래픽 콘텐츠의 적어도 일부와 일치하는 햅틱 표면을 생성하도록 구성될 수 있다. 추적 시스템은 (예를 들어, LF 디스플레이 모듈들의 이미징 센서들 및/또는 일부 다른 카메라들에 의해 캡처된 이미지들을 통해) 홀로그래픽 객체와 사용자의 상호작용을 추적하도록 구성된다. 그리고 LF 디스플레이 시스템은 상호작용에 기초하여 홀로그래픽 콘텐츠를 제공하도록 구성된다.
도 1은 하나 이상의 실시예들에 따른 홀로그래픽 객체를 제공하는 라이트필드 디스플레이 모듈의 도면이다.
도 2a는 하나 이상의 실시예들에 따른, 라이트필드 디스플레이 모듈의 일부분의 단면도이다.
도 2b는 하나 이상의 실시예들에 따른, 라이트필드 디스플레이 모듈의 일부분의 단면도이다.
도 3a는 하나 이상의 실시예들에 따른, 라이트필드 디스플레이 모듈의 사시도이다.
도 3b는 하나 이상의 실시예들에 따른, 인터리빙(interleaved)된 에너지 중계 장치들을 포함하는 라이트필드 디스플레이 모듈의 단면도이다.
도 4a는 하나 이상의 실시예들에 따른, 단일 측면의 이음매 없는 표면 환경을 형성하기 위해 2차원으로 타일링(tiled)되는 라이트필드 디스플레이 시스템의 일부의 사시도이다.
도 4b는 하나 이상의 실시예들에 따른, 다중-측면의 이음매 없는 표면 환경에서의 라이트필드 디스플레이 시스템의 일부의 사시도이다.
도 4c는 하나 이상의 실시예들에 따른, 날개형 구성의 집합 표면을 갖는 라이트필드 디스플레이 시스템의 평면도이다.
도 4d는 하나 이상의 실시예들에 따른, 경사진 구성의 집합 표면을 갖는 라이트필드 디스플레이 시스템의 측면도이다.
도 4e는 하나 이상의 실시예들에 따른, 장치의 전방 패널 상에 집합 표면을 갖는 라이트필드 디스플레이 시스템의 평면도이다.
도 5는 하나 이상의 실시예들에 따른, 라이트필드 디스플레이 시스템의 블록도이다.
도 6은 하나 이상의 실시예들에 따른, 모바일 장치 내의 라이트필드 디스플레이 시스템을 위한 네트워크 환경의 블록도이다.
도 7은 모바일 장치를 갖는 라이트필드 디스플레이를 사용하는 실시예의 일 예의 디스플레이이다.
도 8은 하나 이상의 실시예들에 따른, 라이트필드 디스플레이 시스템을 사용하여 모바일 장치와의 상호작용을 가능하게 하기 위한 방법을 도시하는 흐름도이다.
도 2a는 하나 이상의 실시예들에 따른, 라이트필드 디스플레이 모듈의 일부분의 단면도이다.
도 2b는 하나 이상의 실시예들에 따른, 라이트필드 디스플레이 모듈의 일부분의 단면도이다.
도 3a는 하나 이상의 실시예들에 따른, 라이트필드 디스플레이 모듈의 사시도이다.
도 3b는 하나 이상의 실시예들에 따른, 인터리빙(interleaved)된 에너지 중계 장치들을 포함하는 라이트필드 디스플레이 모듈의 단면도이다.
도 4a는 하나 이상의 실시예들에 따른, 단일 측면의 이음매 없는 표면 환경을 형성하기 위해 2차원으로 타일링(tiled)되는 라이트필드 디스플레이 시스템의 일부의 사시도이다.
도 4b는 하나 이상의 실시예들에 따른, 다중-측면의 이음매 없는 표면 환경에서의 라이트필드 디스플레이 시스템의 일부의 사시도이다.
도 4c는 하나 이상의 실시예들에 따른, 날개형 구성의 집합 표면을 갖는 라이트필드 디스플레이 시스템의 평면도이다.
도 4d는 하나 이상의 실시예들에 따른, 경사진 구성의 집합 표면을 갖는 라이트필드 디스플레이 시스템의 측면도이다.
도 4e는 하나 이상의 실시예들에 따른, 장치의 전방 패널 상에 집합 표면을 갖는 라이트필드 디스플레이 시스템의 평면도이다.
도 5는 하나 이상의 실시예들에 따른, 라이트필드 디스플레이 시스템의 블록도이다.
도 6은 하나 이상의 실시예들에 따른, 모바일 장치 내의 라이트필드 디스플레이 시스템을 위한 네트워크 환경의 블록도이다.
도 7은 모바일 장치를 갖는 라이트필드 디스플레이를 사용하는 실시예의 일 예의 디스플레이이다.
도 8은 하나 이상의 실시예들에 따른, 라이트필드 디스플레이 시스템을 사용하여 모바일 장치와의 상호작용을 가능하게 하기 위한 방법을 도시하는 흐름도이다.
개요
라이트필드(LF: light field) 디스플레이 시스템은 적어도 하나의 홀로그래픽 객체를 포함하는 홀로그래픽 콘텐츠를 모바일 장치 사용자에게 제공하기 위해 모바일 장치에서 구현된다. 용어 "사용자", "모바일 장치 사용자", "장치 사용자" 및 "관찰자"는 본원에서 상호교환적으로 사용된다. 용어 "모바일 장치" 및 "장치"는 또한 본원에서 상호교환적으로 사용되고, 이들은 휴대성 및 컴팩트성을 위해 설계된 핸드헬드(handheld) 전자 컴퓨팅 장치를 지칭한다. 모바일 장치의 예들은 모바일 전화기, 스마트폰, PDA, 태블릿, 전자책 리더, 휴대용 뮤직 플레이어, 휴대용 컴퓨터 등을 포함하지만, 이들로 제한되는 것은 아니다.
모바일 장치 내의 LF 디스플레이 시스템은 장치를 사용하는 동안 사용자에게 몰입형 동작 경험을 제공하기 위해 장치 기능과 통합된다. 모바일 장치 기능은, 장치 사용자로 하여금 인터넷을 브라우징하고, 미디어 콘텐츠를 소비하며, 방대한 소프트웨어 애플리케이션들을 실행할 수 있게 하는, 웹 브라우저 또는 소프트웨어 클라이언트 애플리케이션 프로그램과 같은 컴퓨터 프로그램 모듈들을 실행함으로써 활성화된다. LF 디스플레이 시스템은 LF 디스플레이 시스템의 가시 부피에서 관찰자에게 보이게 될 하나 이상의 홀로그래픽 객체들을 포함하는 홀로그래픽 콘텐츠를 제공하도록 구성된 LF 디스플레이 어셈블리를 포함한다. LF 디스플레이 시스템에 의해 제공되는 홀로그래픽 콘텐츠는 장치 기능과 통합되며, 이는 장치 상에서 소프트웨어 애플리케이션을 실행하면서 장치 사용자의 몰입적 경험을 증가시킨다. LF 디스플레이 시스템에 의해 제공되는 홀로그래픽 콘텐츠는 또한 다른 감각 자극(예를 들어, 촉각, 음향, 온도, 압력, 힘, 또는 후각)으로 증강될 수 있다. 예를 들어, LF 디스플레이 시스템 내의 초음파 방출기들은 부피 햅틱 투사(volumetric haptic projection)를 생성하는 초음파 압력파를 투사할 수 있다. 부피 햅틱 투사는 투사되는 홀로그래픽 객체들의 일부 또는 전부에 대응하는 촉각 표면을 제공한다. 홀로그래픽 콘텐츠는 추가적인 시각적 콘텐츠(즉, 2D 또는 3D 시각 콘텐츠)를 포함할 수 있다. 결맞은(cohesive) 경험이 인에이블되는 것을 보장하기 위한 에너지 소스들의 조정(즉, 정확한 햅틱 느낌 및 감각 자극들을 임의의 주어진 시점에 제공하는 홀로그래픽 객체들)은 다수의 에너지 소스들을 이용한 구현들에서의 LF 시스템의 일부이다. 예를 들어, LF 시스템은 홀로그래픽 콘텐츠 및 햅틱 표면들의 프리젠테이션을 조정하기 위한 컨트롤러를 포함할 수 있다.
일부 실시예들에서, LF 디스플레이 시스템은 시스템으로 하여금 적어도 하나의 유형의 에너지를 투사할 수 있게 하고, 동시에, 사용자에게 응답하고 반응형 경험을 생성하기 위한 목적으로 적어도 하나의 유형의 에너지를 감지할 수 있게 하는 구성요소들을 포함할 수 있다. 감지된 에너지는 관찰자가 홀로그래픽 콘텐츠에 어떻게 반응하는지 기록하는 데 사용될 수 있다. 예를 들어, LF 디스플레이 시스템은, 사용자에 의한 터치 반응을 검출하기 위해 초음파를 감지하는 동안, 사용자 및 다른 장면 분석을 추적하기 위한 이미징 정보를 동시에 기록하고, 햅틱 인지를 위한 초음파뿐만 아니라 보이기 위한 홀로그래픽 객체들을 함께 투사할 수 있다. 예를 들어, 이러한 시스템은 관찰자에 의해 가상으로 "터치"될 때 터치 자극에 따라 그의 "행동"을 수정하는 홀로그래픽 객체를 투사할 수 있다. 환경의 에너지 감지를 수행하는 디스플레이 시스템 구성요소들은 디스플레이 표면에 통합될 수 있거나, 초음파 스피커 및 카메라 같은 이미징 캡처 장치와 같이, 디스플레이 표면과 분리된 전용 센서들일 수 있다.
LF 디스플레이 시스템은 생성된 홀로그래픽 객체들에 기초하여 모바일 장치들에 다양한 경험들을 제공하도록 구성될 수 있다. 예를 들어, 일 실시예에서, 모바일 장치 상의 LF 디스플레이 시스템은 지도 보기 애플리케이션을 통해 지형의 홀로그래픽 뷰를 사용자에게 제공하도록 구현될 수 있다. LF 디스플레이 어셈블리는 단일 측면의 또는 다중 측면의 이음매 없는(seamless) 표면 환경을 형성할 수 있다. 홀로그래픽 콘텐츠는 모바일 장치 스크린 그 자체와 같은 물리적 객체들을 증강시키거나 향상시킬 수 있다. 예를 들어, 일 실시예에서, 장치 상의 LF 디스플레이 시스템은, 예를 들어, 애플리케이션이 장치 상에 로딩되고 있음을 나타내기 위해, 예를 들어, 엔벨로프(envelope) 구와 같은 3D 홀로그래픽 진행 표시자(gif)를 제공하도록 구현될 수 있다. 또한, 사용자는 3D 안경 또는 임의의 다른 헤드기어와 같은 아이웨어(eyewear) 장치를 필요로 하지 않고 홀로그래픽 콘텐츠를 자유롭게 볼 수 있다.
일부 실시예들에서, LF 디스플레이 시스템은 추적 시스템 및/또는 감각 피드백 시스템을 통해 입력을 수신할 수 있다. 입력에 기초하여, LF 디스플레이 시스템은 관련 구성요소들에 피드백을 제공할 뿐만 아니라 홀로그래픽 콘텐츠를 조정할 수 있다.
LF 디스플레이 시스템은 또한, LF 디스플레이 시스템의 가시 부피 내에서 사용자의 움직임을 추적하기 위한 시스템을 포함할 수 있다. 사용자의 추적된 움직임은 모바일 장치를 사용하는 사용자의 경험을 향상시키기 위해 사용될 수 있다. 예를 들어, LF 디스플레이 시스템은 홀로그래픽 콘텐츠와의 사용자 상호작용(예를 들어, 홀로그래픽 버튼을 누르는 것)을 용이하게 하기 위해 추적 정보를 사용할 수 있다. LF 디스플레이 시스템은 추적된 정보를 사용하여 홀로그래픽 객체에 대한 손가락 위치를 모니터링할 수 있다. 예를 들어, 홀로그래픽 객체는 관찰자에 의해 "눌러질(push)" 수 있는 버튼일 수 있다. LF 디스플레이 시스템은 상기 버튼에 대응하고 상기 버튼과 실질적으로 동일한 공간을 점유하는 촉각 표면을 생성하기 위해 초음파 에너지를 투사할 수 있다. LF 디스플레이 시스템은 추적 정보를 사용하여, 관찰자에 의해 "눌러질" 때 상기 버튼을 동적으로 이동시키는 것에 따라 촉각 표면의 위치를 동적으로 이동시킬 수 있다. LF 디스플레이 시스템은 추적 정보를 이용하여, 사용자를 바라보고/보거나 눈을 맞추는, 또는 사용자와 다른 방식으로 상호작용하는, 홀로그래픽 캐릭터를 렌더링할 수 있다. LF 디스플레이 시스템은 추적 정보를 이용하여, 사용자에 근접하게 투사되어 사용자를 "터치"하는 홀로그래픽 객체를 렌더링할 수 있으며, 여기서 초음파 스피커들은 홀로그래픽 객체가 사용자에 대한 터치의 감각을 생성하는 촉각 표면을 생성한다.
추가적으로, LF 디스플레이 시스템은 각각의 장치 사용자에게 개인화된 콘텐츠를 제공하기 위해 각각의 사용자를 식별하기 위한 사용자 프로파일링 시스템을 포함할 수 있다. 사용자 프로파일링 시스템은 홀로그래픽 콘텐츠를 개인화하기 위해 후속 사용 상에서 검색될 수 있는 장치의 사용에 관한 정보(예를 들어, 관찰된 콘텐츠의 유형들, 이동된 장소들)를 더 기록할 수 있다.
라이트필드 디스플레이 시스템 개요
도 1은 하나 이상의 실시예들에 따른, 홀로그래픽 객체(120)를 나타내는 라이트필드(LF, light field) 디스플레이 모듈(110)의 도면(100)이다. LF 디스플레이 모듈(110)은 라이트필드(LF) 디스플레이 시스템의 일부이다. LF 디스플레이 시스템은 하나 이상의 LF 디스플레이 모듈들을 사용하여 적어도 하나의 홀로그래픽 객체를 포함하는 홀로그래픽 콘텐츠를 제공한다. LF 디스플레이 시스템은 하나 또는 다수의 관찰자들에게 홀로그래픽 콘텐츠를 제공할 수 있다. 일부 실시예들에서, LF 디스플레이 시스템은 또한 다른 감각 콘텐츠(예를 들어, 터치, 오디오, 냄새/후각, 압력, 힘, 또는 온도)로 홀로그래픽 콘텐츠를 증강시킬 수 있다. 예를 들어, 이하에서 설명되는 바와 같이, 포커싱된 초음파 음파의 투사는 홀로그래픽 객체의 일부 또는 전부의 표면을 시뮬레이션할 수 있는 공중(mid-air) 촉감을 생성할 수 있다. LF 디스플레이 시스템은 하나 이상의 LF 디스플레이 모듈들(110)을 포함하고, 이는 도 2 내지 도 8과 관련하여 아래에서 상세히 설명된다.
LF 디스플레이 모듈(110)은 홀로그래픽 객체들(예를 들어, 홀로그래픽 객체(120))을 하나 이상의 관찰자들(예를 들어, 관찰자(140))에 제공하는 홀로그래픽 디스플레이이다. LF 디스플레이 모듈(110)은 에너지 장치층(예를 들어, 방출형 전자적 디스플레이 또는 음향 투사 장치) 및 에너지 도파층(예를 들어, 광학 렌즈 어레이)을 포함한다. 추가적으로, LF 디스플레이 모듈(110)은 다수의 에너지 소스들 또는 검출기들을 함께 조합하여 단일 표면을 형성하기 위해, 에너지 중계(relay) 층을 포함할 수 있다. 고수준에서, 에너지 장치층은 에너지 도파관을 사용하여 하나 이상의 4차원(4D) 라이트필드 기능들에 따라 공간 내의 특정 영역에 지향되는 에너지(예를 들어, 홀로그래픽 콘텐츠)를 생성한다. LF 디스플레이 모듈(110)은 또한 하나 이상의 유형의 에너지를 동시에 투사 및/또는 감지할 수 있다. 예를 들어, LF 디스플레이 모듈(110)은 가시 부피 내의 초음파 촉각 표면뿐만 아니라 홀로그래픽 이미지를 투사할 수 있는 한편, 동시에 가시 부피로부터 이미징 데이터를 검출할 수 있다. LF 디스플레이 모듈(110)의 동작은 도 2 내지 도 3과 관련하여 아래에서 상세히 설명된다.
LF 디스플레이 모듈(110)은 하나 이상의 4D 라이트필드 기능들(예를 들어, 플렌옵틱(plenoptic) 기능으로부터 도출된)을 이용하여 홀로그래픽 객체 부피(160) 내에 홀로그래픽 객체들을 생성한다. 홀로그래픽 객체는 3차원(3D), 2차원(2D), 또는 이들의 일부 조합일 수 있다. 또한, 홀로그래픽 객체들은 다색(예를 들어, 풀(full) 컬러)일 수 있다. 홀로그래픽 객체는 스크린 평면의 전방에, 스크린 평면 뒤에 투사되거나, 스크린 평면에 의해 분할될 수 있다. 홀로그래픽 객체(120)는 홀로그래픽 객체 부피(160) 내의 어디에서나 인식되도록 제공될 수 있다. 홀로그래픽 객체 부피(160) 내의 홀로그래픽 객체는 관찰자(140)에게 공간 내에 떠있는 것처럼 보일 수 있다.
홀로그래픽 객체 부피(160)는 홀로그래픽 객체가 관찰자(140)에 의해 인지될 수 있는 부피를 나타낸다. 홀로그래픽 객체 부피(160)는 홀로그래픽 객체들이 디스플레이 영역(150)의 평면의 전방에 제공될 수 있도록, 디스플레이 표면(150)의 전방에(즉, 관찰자(140)를 향하여) 연장될 수 있다. 또한, 홀로그래픽 객체 부피(160)는 디스플레이 영역(150)의 표면 뒤에(즉, 관찰자(140)로부터 멀어지게) 연장될 수 있어서, 홀로그래픽 객체가 마치 디스플레이 영역(150)의 평면 뒤에 있는 것처럼 표시될 수 있다. 즉, 홀로그래픽 객체 부피(160)는 디스플레이 영역(150)으로부터 기원하는(예를 들어, 투사되는) 그리고 홀로그래픽 객체를 생성하도록 수렴하는 모든 광선을 포함할 수 있다. 여기서, 광선은 디스플레이 표면의 전방에, 디스플레이 표면에, 또는 디스플레이 표면 뒤에 있는 지점에서 수렴할 수 있다. 보다 단순하게, 홀로그래픽 객체 부피(160)는 홀로그래픽 객체가 관찰자에 의해 인식될 수 있는 모든 부피를 내포한다.
가시 부피(130)는 LF 디스플레이 시스템에 의해 홀로그래픽 객체 부피(160) 내에 표시되는 홀로그래픽 객체들(예를 들어, 홀로그래픽 객체(120))이 완전히 보일 수 있는 공간의 부피이다. 홀로그래픽 객체들은 실제 객체들과 구별할 수 없도록 홀로그래픽 객체 부피(160) 내에 표시될 수 있고, 가시 부피(130) 내에서 보일 수 있다. 홀로그래픽 객체는 물리적으로 존재할 경우에 해당 객체의 표면으로부터 생성되는 것과 동일한 광선을 투사함으로써 형성된다.
일부 경우에, 홀로그래픽 객체 부피(160) 및 대응하는 가시 부피(130)는 단일 관찰자를 위해 설계되도록 상대적으로 작을 수 있다. 다른 실시예들에서, 예를 들어, 도 4a 및 도 4b와 관련하여 아래에서 상세히 설명되는 바와 같이, LF 디스플레이 모듈들은 (예를 들어, 1명 내지 수천 명의) 대규모 관찰자들을 수용할 수 있는 더 큰 홀로그래픽 객체 부피들 및 대응하는 가시 부피들을 생성하도록 확장 및/또는 타일링될 수 있다. 본 개시에서 제공된 LF 디스플레이 모듈들은, 모듈의 전체 표면이, 베젤을 필요로 하지 않고, 비활성 공간 또는 사각지대 없이, 홀로그래픽 이미징 광학 기기를 포함하도록 구축된다. 이러한 실시예들에서, LF 디스플레이 모듈들은 이미징 영역이 LF 디스플레이 모듈들 사이에서 타일의 이음매를 가로질러 연속적이도록 타일링될 수 있고, 타일링된 모듈들 사이의 결합 라인은 눈의 시력을 사용해서는 사실상 검출될 수 없다. 특히, 일부 구성들에서, 디스플레이 표면의 일부는 홀로그래픽 이미징 광학부를 포함하지 않을 수 있지만, 이들은 본원에서 상세히 설명되지 않는다.
가시 부피(130)의 플렉시블한 크기 및/또는 형상은 관찰자로 하여금 가시 부피(130) 내에 제한되지 않게 할 수 있다. 예를 들어, 관찰자(140)는 가시 부피(130) 내에서 다른 위치로 이동할 수 있고, 대응하는 관점으로부터 홀로그래픽 객체(120)의 상이한 뷰를 볼 수 있다. 예를 들어, 도 1을 참조하면, 관찰자(140)는 홀로그래픽 객체(120)가 돌고래의 정면인 것처럼 보이도록 홀로그래픽 객체(120)에 대해 제1 위치에 있다. 관찰자(140)는 돌고래의 상이한 뷰를 보기 위해 홀로그래픽 객체(120)에 대해 다른 위치로 이동할 수 있다. 예를 들어, 관찰자(140)는 마치 관찰자(140)가 실제 돌고래를 보고 있고, 그 돌고래의 상이한 측면을 보기 위해 실제 돌고래에 대해 자신의 상대적인 위치를 변경하는 것처럼, 돌고래의 좌측, 돌고래의 우측 등을 보도록 이동할 수 있다. 일부 실시예들에서, 홀로그래픽 객체(120)는 홀로그래픽 객체(120)에 대해 시야에서 차단되지 않은 선(즉, 객체/사람에 의해 차단되지 않음)을 갖는, 가시 부피(130) 내의 모든 관찰자들에게 보일 수 있다. 이들 관찰자는 홀로그래픽 객체(120)의 상이한 관점을 보기 위해 가시 부피 내에서 움직일 수 있도록, 제한되지 않을 수 있다. 따라서, LF 디스플레이 시스템은 마치 홀로그래픽 객체들이 물리적으로 존재하는 것처럼 복수의 제한되지 않은 관찰자들이 실세계 공간에서 홀로그래픽 객체들의 상이한 관점들을 동시에 볼 수 있도록, 홀로그래픽 객체들을 제공할 수 있다.
이와 달리, 일반적으로, 통상적인 디스플레이(예를 들어, 입체, 가상 현실, 증강 현실 또는 혼합 현실)에서는 콘텐츠를 보기 위해서 각각의 관찰자가 특정 종류의 외부 장치(예를 들어, 3-D 안경, 근안(near-eye) 디스플레이, 또는 헤드마운트형 디스플레이)를 착용할 필요가 있다. 추가적으로 및/또는 대안적으로, 통상적인 디스플레이들은 관찰자가(예를 들어, 디스플레이에 대해 고정된 위치를 갖는 의자에서) 특정 가시 위치로 제한될 것을 필요로 할 수도 있다. 예를 들어, 스테레오스코픽 디스플레이에 의해 도시된 객체를 관찰할 때, 관찰자는 객체 상에서보다는 디스플레이 표면 상에 항상 초점을 맞추고, 디스플레이는 항상 그 인식된 객체 주위를 이동하려고 시도하는 관찰자를 따르는 객체의 두 개의 뷰들만을 제공할 것인데, 이는 그 객체에 대한 인식의 왜곡을 초래할 것이다. 그러나, 라이트필드 디스플레이를 이용하면, LF 디스플레이 시스템에 의해 제공되는 홀로그래픽 객체의 관찰자들은 홀로그래픽 객체를 보기 위해 외부 장치를 착용할 필요가 없다. LF 디스플레이 시스템은, 특별한 아이웨어(eyewear), 안경, 또는 헤드마운팅형 액세서리에 대한 어떠한 요건도 없이, 물리적 객체가 관찰자들에게 보일 수 있는 것과 거의 동일한 방식으로 관찰자들에게 보이는 방식으로 홀로그래픽 객체를 제공한다. 또한, 관찰자는 가시 부피 내의 임의의 위치로부터 홀로그래픽 콘텐츠를 볼 수 있다.
특히, 홀로그래픽 객체 부피(160) 내의 홀로그래픽 객체들에 대한 잠재적인 위치들은 부피의 크기에 의해 제한된다. 홀로그래픽 객체 부피(160)의 크기를 증가시키기 위해, LF 디스플레이 모듈(110)의 디스플레이 영역(150)의 크기는 증가될 수 있고/있거나, 다수의 LF 디스플레이 모듈들은 개별적인 LF 디스플레이 모듈들의 디스플레이 영역들보다 더 큰 유효 디스플레이 영역을 갖는 이음매 없는 디스플레이 표면을 형성하는 방식으로 함께 타일링될 수 있다. LF 디스플레이 모듈들을 타일링(tiling)하는 것에 관한 일부 실시예들은 도 4a 및 도 4b와 관련하여 이하에서 설명된다. 도 1에 도시된 바와 같이, 디스플레이 영역(150)은 피라미드인 홀로그래픽 객체 부피(160)를 야기하는 직사각형이다. 다른 실시예들에서, 디스플레이 영역은 소정의 다른 형상(예를 들어, 육각형)을 가질 수 있으며, 이는 또한 대응하는 가시 부피의 형상에 영향을 미친다.
추가적으로, 상기 설명은 LF 디스플레이 모듈(110)과 관찰자(140) 사이에 있는 홀로그래픽 객체 부피(160)의 일 부분 내에 홀로그래픽 객체(120)를 제공하는 것에 초점을 맞추지만, LF 디스플레이 모듈(110)은 디스플레이 영역(150)의 평면 뒤에 나타나는 콘텐츠를 부가적으로 제공할 수 있다. 예를 들어, LF 디스플레이 모듈(110)은 디스플레이 영역(150) 내의 디스플레이된 홀로그래픽 객체의 일 부분으로 하여금 홀로그래픽 객체(120)가 밖으로 점프하고 있는 바다의 표면인 것처럼 보이게 만들 수 있다. 디스플레이된 콘텐츠는 물 아래에 있는 해양 생물을 보기 위해 관찰자(140)가 디스플레이된 표면을 관통하여 볼 수 있도록 할 수 있다. 또한, LF 디스플레이 시스템은 디스플레이 표면(150)의 평면의 후방 및 전방을 포함하는 홀로그래픽 객체 부피(160) 주위로 매끄럽게 이동하는 콘텐츠를 생성할 수 있다.
도 2a는 하나 이상의 실시예들에 따른 LF 디스플레이 모듈(210)의 일 부분의 단면(200)이다. LF 디스플레이 모듈(210)은 LF 디스플레이 모듈(110)일 수 있다. 다른 실시예들에서, LF 디스플레이 모듈(210)은 디스플레이 영역(150)과 다른 디스플레이 영역 형상을 갖는 다른 LF 디스플레이 모듈일 수 있다. 예시된 실시예에서, LF 디스플레이 모듈(210)은 에너지 장치층(220), 에너지 중계층(230), 및 에너지 도파층(240)을 포함한다. LF 디스플레이 모듈(210)의 일부 실시예들은 여기에서 설명되는 것들과는 상이한 구성요소들을 갖는다. 예를 들어, 일부 실시예들에서, LF 디스플레이 모듈(210)은 에너지 중계층(230)을 포함하지 않는다. 유사하게, 기능들은 본원에 설명된 것과 다른 방식으로 구성요소들 중에 분배될 수 있다.
여기에서 설명되는 디스플레이 시스템은 실세계에서 일반적으로 물체를 둘러싸고 있는 에너지를 복제하는 에너지의 방출을 제공한다. 여기서, 방출된 에너지는 디스플레이 표면 상의 모든 좌표로부터 특정 방향을 향해 지향된다. 즉, 디스플레이 표면 상의 다양한 좌표들은 방출된 에너지에 대한 투사 위치들로서 작용한다. 디스플레이 표면으로부터의 지향된 에너지는 많은 광선들의 수렴을 가능하게 하며, 이에 의해 홀로그래픽 객체들이 생성될 수 있다. 가시광의 경우, 예를 들어, LF 디스플레이는 홀로그래픽 객체 부피 내의 임의의 지점에서 수렴하도록 매우 많은 수의 광선을 투사할 것이고, 따라서 이들은 투사되는 객체보다 더 멀리 위치한, 관찰자의 관점에서는 이 공간의 영역에 위치하는, 실세계 객체의 표면으로부터 나오는 것처럼 보일 것이다. 이런 식으로, LF 디스플레이는 관찰자의 관점으로부터 그러한 물체의 표면을 벗어나는 반사된 광의 광선들을 생성하고 있다. 관찰자 관점은 임의의 주어진 홀로그래픽 객체 상에서 변할 수 있고, 관찰자는 해당 홀로그래픽 객체의 상이한 뷰를 볼 것이다.
에너지 장치층(220)은 하나 이상의 전자 디스플레이(예를 들어, OLED와 같은 발광 디스플레이) 및 본원에 설명된 바와 같은 하나 이상의 다른 에너지 투사 및/또는 에너지 수신 장치를 포함한다. 하나 이상의 전자 디스플레이들은 (예를 들어, LF 디스플레이 시스템의 컨트롤러로부터) 디스플레이 명령들에 따른 콘텐츠를 디스플레이하도록 구성된다. 하나 이상의 전자 디스플레이는 각각 개별적으로 제어되는 강도(intensity)를 갖는 복수의 픽셀을 포함한다. 발광 LED 및 OLED 디스플레이와 같은 여러 유형의 상업용 디스플레이가 LF 디스플레이에 사용될 수 있다.
에너지 장치층(220)은 또한, 하나 이상의 음향 투사 장치 및/또는 하나 이상의 음향 수신 장치를 포함할 수 있다. 음향 투사 장치는 홀로그래픽 객체(250)를 보완하는 하나 이상의 압력파를 생성한다. 생성된 압력파는 예를 들어, 가청, 초음파, 또는 이들의 일부 조합일 수 있다. 초음파 압력파들의 어레이는 (예를 들어, 홀로그래픽 객체(250)의 표면에서) 부피 촉각 감각을 위해 사용될 수 있다. 가청 압력파는 홀로그래픽 객체(250)를 보완할 수 있는 오디오 콘텐츠(예를 들어, 몰입형 오디오)를 제공하기 위해 사용된다. 예를 들어, 홀로그래픽 객체(250)가 돌고래라고 가정하면, 하나 이상의 음향 투사 장치는 (1) 관찰자가 홀로그래픽 객체(250)를 터치할 수 있도록 돌고래의 표면과 동일하게 위치하는 촉각 표면을 생성하고, (2) 클릭, 처핑(chirpping) 또는 채터(chatter)와 같은 돌고래의 소리에 대응하는 오디오 콘텐츠를 제공하기 위해 사용될 수 있다. 음향 수신 장치(예를 들어, 마이크 또는 마이크 어레이)는 LF 디스플레이 모듈(210)의 로컬 영역 내의 초음파 및/또는 가청 압력파를 모니터링하도록 구성될 수 있다.
에너지 장치층(220)은 또한, 하나 이상의 이미징 센서들을 포함할 수 있다. 이미징 센서는 가시 광 대역의 광에 적어도 민감하고, 일부 경우에는 다른 대역(예를 들어, 적외선)의 광에 민감할 수 있다. 이미징 센서는 예를 들어 시모스(CMOS, complementary metal oxide semi-conductor) 어레이, 전하 결합 소자(CCD), 광검출기들의 어레이, 광을 포획하는 몇몇 다른 센서, 또는 이들의 일부 조합일 수 있다. LF 디스플레이 시스템은 관찰자들의 위치 추적을 위해 하나 이상의 이미징 센서에 의해 캡처된 데이터를 사용할 수 있다.
에너지 중계층(230)은 에너지 장치층(220)과 에너지 도파층(240) 사이에서 에너지(예를 들어, 전자기, 기계적 압력파)를 중계한다. 에너지 중계층(230)은 하나 이상의 에너지 중계 요소들(260)을 포함한다. 각각의 에너지 중계 요소는 제1 표면(265) 및 제2 표면(270)을 포함하고, 이는 2개의 표면들 사이의 에너지를 중계한다. 각각의 에너지 중계 요소의 제1 표면(265)은 하나 이상의 에너지 장치들(예를 들어, 전자 디스플레이 또는 음향 투사 장치)에 연결될 수 있다. 에너지 중계 요소는 예를 들어, 유리, 탄소, 광섬유, 광학 필름, 플라스틱, 폴리머, 또는 이들의 일부 조합으로 구성될 수 있다. 추가적으로, 일부 실시예들에서, 에너지 중계 요소는 제1 표면(265)과 제2 표면(270) 사이를 통과하는 에너지의 확대(증가 또는 감소)를 조절할 수 있다. 중계부가 확대를 제공하는 경우, 중계부는 테이퍼(taper)라고 불리는 접합된 테이퍼형(tapered) 중계부들의 어레이의 형태를 취할 수 있으며, 테이퍼의 일 단부의 면적은 반대쪽 단부보다 실질적으로 클 수 있다. 테이퍼의 큰 단부는 이음매 없는 에너지 표면(275)을 형성하기 위해 함께 접합할 수 있다. 하나의 장점은 다수의 디스플레이의 베젤과 같은 다수의 에너지 소스의 기계적인 엔벨로프(envelope)를 수용하기 위해, 각각의 테이퍼의 다수의 작은 단부들 상에 공간이 생성된다는 것이다. 이러한 여분의 공간은 에너지 소스가 작은 테이퍼 면 위에 나란히 배치될 수 있게 하며, 각각의 에너지 소스는 작은 테이퍼 표면으로 에너지를 지향시키고 큰 이음매 없는 에너지 표면으로 중계되도록 하는 활성(active) 영역을 가진다. 테이퍼형 중계를 사용하는 또 다른 장점은 테이퍼들의 큰 단부에 의해 형성된 조합된 이음매 없는 에너지 표면 상에 비-이미징 데드(dead) 공간이 존재하지 않는다는 점이다. 테두리 또는 베젤이 존재하지 않으며, 따라서 이음매 없는 에너지 표면이 함께 타일링되어, 눈의 시력에 따라서는 실질적으로 이음매가 없는 더 큰 표면을 형성할 수 있다.
인접한 에너지 중계 요소들의 제2 표면들은 함께 모여서 에너지 표면(275)을 형성한다. 일부 실시예들에서, 인접한 에너지 중계 요소들의 엣지들 사이의 간격은, 에너지 표면(275)이 가시 부피(285) 내의 관찰자(280)의 관점으로부터 효과적으로 이음매 없도록, 20/40시력보다 더 양호한 사람의 시력에 의해 정의되는 바와 같은 최소한의 인지 가능한 윤곽보다 더 작다.
일부 실시예들에서, 인접한 에너지 중계 요소들의 제2 표면들은 그들 사이에 이음매가 존재하지 않는 방식으로, 하나 이상의 압력, 열 및 화학 반응을 포함할 수 있는 처리 단계들과 함께 융합된다. 그리고 또 다른 실시예들에서, 에너지 중계 요소들의 어레이는 중계 물질의 연속 블록의 일 측면을 작은 테이퍼 단부들의 어레이로 몰딩함으로써 형성되고, 각각은, 작은 테이퍼형 단부에 부착된 에너지 장치로부터의 에너지를 결코 세분화되지 않는 더 큰 면적을 갖는 단일의 조합된 표면으로 전달하도록 구성된다.
일부 실시예들에서, 하나 이상의 에너지 중계 요소들은 에너지 국소화(energy localization)를 나타내며, 여기서 표면들(265, 270)에 실질적으로 수직한 세로(longitudinal) 방향에서의 에너지 전달 효율은 수직한 가로(transverse) 평면에서의 전달 효율보다 훨씬 더 높고, 에너지 밀도는 에너지 파동이 표면(265)과 표면(270) 사이에서 전파될 때 이 가로 평면 내에 매우 국소화된다. 이러한 에너지의 국소화는 이미지와 같은 에너지 분배가 해상도에서의 어떠한 큰 손실 없이도 이들 표면들 사이에서 효율적으로 중계될 수 있게 한다.
에너지 도파층(240)은 에너지 도파층(240) 내의 도파(waveguide) 요소들을 사용하여 에너지 표면(275) 상의 위치(예를 들어, 좌표)로부터, 디스플레이 표면으로부터 홀로그래픽 가시 부피(285)까지의 바깥으로의 특정 전파 경로로 에너지를 지향시킨다. 에너지 전파 경로는 상기 도파에 대해 에너지 표면 좌표 위치에 의해 적어도 결정되는 2개의 각도(angular) 치수에 의해 정의된다. 도파는 공간적 2D 좌표와 연관된다. 이들 4개의 좌표들은 함께 4차원(4D) 에너지 필드를 형성한다. 일 예로서, 전자기 에너지의 경우, 에너지 도파층(240) 내의 도파 요소들은 가시 부피(285)를 관통하여 상이한 전파 방향들을 따라 이음매 없는 에너지 표면(275) 상의 위치들로부터 광을 지향시킨다. 다양한 예들에서, 광은 홀로그래픽 객체 부피(255) 내에 홀로그래픽 객체(250)를 형성하기 위해 4D 라이트필드 기능에 따라 지향된다.
에너지 도파층(240) 내의 각각의 도파 요소는, 예를 들어, 하나 이상의 구성요소들로 구성된 렌즈릿(lenslet)일 수 있다. 일부 구성들에서, 렌즈릿은 볼록 렌즈일 수 있다. 볼록 렌즈는 구면, 비구면 또는 자유 형태인 표면 프로파일을 가질 수 있다. 추가적으로, 일부 실시예들에서, 도파 요소들의 일부 또는 전부는 하나 이상의 추가적인 광학 요소들을 포함할 수 있다. 추가적인 광학 요소는 예를 들어, 배플(baffle), 볼록 렌즈, 오목 렌즈, 구면 렌즈, 비구면 렌즈, 자유 형태 렌즈, 액정 렌즈, 액체 렌즈, 굴절 요소, 회절 요소, 또는 이들의 일부 조합과 같은 에너지-억제 구조일 수 있다. 일부 실시예들에서, 렌즈릿 및/또는 추가적인 광학 요소들 중 적어도 하나는 자신의 광학 출력을 동적으로 조절할 수 있다. 예를 들어, 렌즈릿은 액정 렌즈 또는 액체 렌즈일 수 있다. 렌즈릿 및/또는 적어도 하나의 추가적인 광학 요소의 표면 프로파일의 동적 조정은 도파 요소로부터 투사되는 광의 추가적인 지향성 제어를 제공할 수 있다.
도시된 예에서, LF 디스플레이의 홀로그래픽 객체 부피(255)는 광선(256) 및 광선(257)에 의해 형성되는 경계를 갖지만, 다른 광선에 의해 형성될 수도 있다. 홀로그래픽 객체 부피(255)는 에너지 도파층(240)의 전방(즉, 관찰자(280) 쪽으로) 및 후방으로(즉, 관찰자(280)로부터 멀리) 연장되는 연속적인 부피이다. 도시된 예에서, 광선(256) 및 광선(257)은 사용자에 의해 인지될 수 있는 디스플레이 표면(277)의 법선에 대해 가장 높은 각도로 LF 디스플레이 모듈(210)의 서로 반대되는 엣지들로부터 투사되지만, 이들은 다른 투사된 광선들일 수 있다. 광선들은 디스플레이의 시야를 정의하고, 따라서 홀로그래픽 가시 부피(285)에 대한 경계를 정의한다. 일부 경우에, 광선들은 전체 디스플레이가 비네팅(vignetting) 없이 관찰될 수 있는 홀로그래픽 가시 부피(예를 들어, 이상적인 가시 부피)를 정의한다. 디스플레이의 시야가 증가함에 따라, 광선(256)과 광선(257)의 수렴 지점이 디스플레이에 더 근접할 것이다. 따라서, 더 큰 시야를 갖는 디스플레이는 관찰자(280)가 더 가까운 가시 거리에서 전체 디스플레이를 볼 수 있게 한다. 또한, 광선(256, 257)은 이상적인 홀로그래픽 객체 부피를 형성할 수 있다. 이상적인 홀로그래픽 객체 부피 내에 제공된 홀로그래픽 객체는 가시 부피(285)의 임의의 위치에서 볼 수 있다.
일부 예들에서, 홀로그래픽 객체들은 가시 부피(285)의 일부에만 제공될 수 있다. 즉, 홀로그래픽 객체 부피는 임의의 수의 가시 서브 부피(예를 들어, 가시 서브 부피(290))로 분할될 수 있다. 또한, 홀로그래픽 객체는 홀로그래픽 객체 부피(255)의 외부에 투사될 수 있다. 예를 들어, 홀로그래픽 객체(251)는 홀로그래픽 객체 부피(255)의 외부에 제공된다. 홀로그래픽 객체(251)가 홀로그래픽 객체 부피(255)의 외부에 제공되기 때문에, 이는 가시 부피(285)의 모든 위치에서 보이지 않는다. 예를 들어, 홀로그래픽 객체(251)는 가시 서브 부피(290)의 위치에서 보일 수 있지만, 관찰자(280)의 위치에서는 보이지 않을 수 있다.
예를 들어, 도 2b를 참조하면, 상이한 가시 서브 부피들로부터의 홀로그래픽 콘텐츠를 보는 것이 예시된다. 도 2b는 하나 이상의 실시예들에 따른 LF 디스플레이 모듈의 일 부분의 단면(200)을 도시한다. 도 2b의 단면은 도 2a의 단면과 동일하다. 그러나, 도 2b는 LF 디스플레이 모듈(210)로부터 투사된 상이한 광선들의 세트를 도시한다. 광선(256)과 광선(257)은 여전히 홀로그래픽 객체 부피(255) 및 가시 부피(285)를 형성한다. 그러나, 도시된 바와 같이, LF 디스플레이 모듈(210)의 상부 및 LF 디스플레이 모듈(210)의 하부로부터 투사된 광선들은 가시 부피(285) 내에서 다양한 가시 서브 부피들(예를 들어, 가시 서브 부피들(290A, 290B, 290C, 및 290D))을 형성하도록 오버랩된다. 제1 가시 서브 부피(예를 들어, 290A) 내의 관찰자는 다른 가시 서브 부피들(예를 들어, 290B, 290C, 및 290D) 내의 관찰자들이 인지할 수 없는 홀로그래픽 객체 부피(255) 내에 제공된 홀로그래픽 콘텐츠를 인지할 수 있다.
더 간단히, 도 2a에 도시된 바와 같이, 홀로그래픽 객체 부피(255)는 홀로그래픽 객체들이 가시 부피(285) 내의 관찰자들(예를 들어, 관찰자(280))에 의해 인지될 수 있도록 LF 디스플레이 시스템에 의해 제공될 수 있는 부피이다. 이런 식으로, 가시 부피(285)는 이상적인 가시 부피의 일 예이고, 홀로그래픽 객체 부피(255)는 이상적인 객체 부피의 일 예이다. 그러나, 다양한 구성들에서, 관찰자들은 다른 예시적인 홀로그래픽 객체 부피들에서 LF 디스플레이 시스템(200)에 의해 제공되는 홀로그래픽 객체들을 인지할 수 있어서, 다른 예시적인 가시 부피들의 관찰자들이 홀로그래픽 콘텐츠를 인지할 수 있다. 보다 일반적으로, "눈-선(eye-line) 가이드라인"은 LF 디스플레이 모듈로부터 투사된 홀로그래픽 콘텐츠를 볼 때 적용된다. 눈-선(eye-line) 가이드라인은 관찰자의 눈 위치 및 보고 있는 홀로그래픽 객체에 의해 형성되는 선이 LF 디스플레이 표면과 교차해야 한다고 강조한다.
LF 디스플레이 모듈(210)에 의해 제공되는 홀로그래픽 콘텐츠를 보는 경우, 관찰자(280)의 각각의 눈은 홀로그래픽 객체(250)의 상이한 관점을 보게 되는데, 그 이유는 홀로그래픽 콘텐츠가 4D 라이트필드 기능에 따라 제공되기 때문이다. 또한, 관찰자(280)가 가시 부피(285) 내에서 이동함에 따라, 그는 또한 가시 부피(285) 내의 다른 관찰자들과 마찬가지로 홀로그래픽 객체(250)의 상이한 관점들을 볼 수 있다. 통상의 기술자에 의해 이해되는 바와 같이, 4D 라이트필드 기능은 당업계에 잘 알려져 있으며, 본원에서는 더 상세히 설명되지 않을 것이다.
본원에 더 상세하게 설명되는 바와 같이, 일부 실시예들에서, LF 디스플레이는 하나 이상의 유형의 에너지를 투사할 수 있다. 예를 들어, LF 디스플레이는 예를 들어, 기계적 에너지 및 전자기 에너지와 같은 2가지 유형의 에너지를 투사할 수 있다. 이러한 구성에서, 에너지 중계층(230)은, 에너지 표면(275)에서 함께 인터리빙(interleaved)되되 에너지가 2개의 상이한 에너지 장치층들(220)로 중계되도록 분리되는, 2개의 개별적인 에너지 중계부들을 포함한다. 여기서, 하나의 중계부는 전자기 에너지를 전달하도록 구성될 수 있는 반면, 다른 중계부는 기계적 에너지를 수송하도록 구성될 수 있다. 일부 실시예들에서, 기계적 에너지는 에너지 도파층(240) 상의 전자기 도파 요소들 사이의 위치들로부터 투사될 수 있고, 하나의 전자기 도파 요소로부터 다른 전자기 도파 요소로 광이 전송되는 것을 억제하는 구조들의 형성을 돕는다. 일부 실시예들에서, 에너지 도파층(240)은 또한 컨트롤러로부터의 디스플레이 명령들에 따른 특정 전파 경로들을 따라서 집속된 초음파를 수송하는 도파 요소들을 포함할 수 있다.
다른 실시예들(도시되지 않음)에서, LF 디스플레이 모듈(210)은 에너지 중계층(230)을 포함하지 않음에 유의해야 한다. 이 경우에, 에너지 표면(275)은 에너지 장치층(220) 내에 하나 이상의 인접한 전자 디스플레이를 사용하여 형성된 방출 표면이다. 그리고 일부 실시예들에서, 인접한 전자적 디스플레이들의 엣지들 사이의 간격은 에너지 표면이 가시 부피(285) 내의 관찰자(280)의 관점으로부터 효과적으로 이음매 없도록, 20/40비전을 갖는 사람의 시력에 의해 정의되는 바와 같은 최소한의 인지 가능한 윤곽보다 더 작다.
LF 디스플레이 모듈
도 3a는 하나 이상의 실시예들에 따른 LF 디스플레이 모듈(300A)의 사시도이다. LF 디스플레이 모듈(300A)은 LF 디스플레이 모듈(110) 및/또는 LF 디스플레이 모듈(210)일 수 있다. 다른 실시예들에서, LF 디스플레이 모듈(300A)은 일부 다른 LF 디스플레이 모듈일 수 있다. 예시된 실시예들에서, LF 디스플레이 모듈(300A)은 에너지 장치층(310), 에너지 중계층(320), 및 에너지 도파층(330)을 포함한다. LF 디스플레이 모듈(300A)은 본원에 기술된 바와 같이 디스플레이 표면(365)으로부터 홀로그래픽 콘텐츠를 제공하도록 구성된다. 편의상, 디스플레이 표면(365)은 LF 디스플레이 모듈(300A)의 프레임(390) 상의 점선으로 도시되지만, 보다 정확하게는, 프레임(390)의 내부 림(rim)에 의해 한정된 도파 요소들의 전방에 직접 위치된다. 디스플레이 표면(365)은 에너지가 투사될 수 있는 복수의 투사 위치들을 포함한다. LF 디스플레이 모듈(300A)의 일부 실시예들은 여기에서 설명되는 것들과는 상이한 구성요소들을 갖는다. 예를 들어, 일부 실시예들에서, LF 디스플레이 모듈(300A)은 에너지 중계층(320)을 포함하지 않는다. 유사하게, 기능들은 본원에 설명된 것과 다른 방식으로 구성요소들 중에 분배될 수 있다.
에너지 장치층(310)은 에너지 장치층(220)의 일 실시예이다. 에너지 장치층(310)은 4개의 에너지 장치들(340)(도면에는 3개가 도시됨)을 포함한다. 에너지 장치들(340)은 모두 동일한 유형(예를 들어, 모두 전자 디스플레이들)일 수 있거나, 하나 이상의 상이한 유형들을 포함(예를 들어, 전자 디스플레이들 및 적어도 하나의 음향 에너지 장치를 포함)할 수 있다.
에너지 중계층(320)은 에너지 중계층(230)의 일 실시예이다. 에너지 중계층(320)은 4개의 에너지 중계 요소들(350)(도면에는 3개가 보임)을 포함한다. 에너지 중계 장치들(350)은 모두 동일한 유형의 에너지(예를 들어, 광)를 중계하거나, 하나 이상의 상이한 유형들(예를 들어, 광 및 소리)을 중계할 수 있다. 각각의 중계 요소들(350)은 제1 표면 및 제2 표면을 포함하고, 에너지 중계 요소들(350)의 제2 표면은 하나의 이음매 없는 에너지 표면(360)을 형성하도록 배열된다. 도시된 실시예에서, 각각의 에너지 중계 요소들(350)은 제1 표면이 제2 표면보다 더 작은 표면 영역을 갖도록 테이퍼링되며, 이는 테이퍼의 작은 단부 상에 에너지 장치(340)의 기계적인 엔벨로프가 수용될 수 있게 한다. 이는 또한, 전체 영역이 에너지를 투사할 수 있기 때문에, 이음매 없는 에너지 표면에 경계가 없어지게 한다. 이는, 전체 조합된 표면이 이음매 없도록, 사각지대 또는 베젤 없이, 다수의 인스턴스(300)를 함께 배치함으로써 이러한 이음매 없는 에너지 표면이 타일링(tiled)될 수 있다는 것을 의미한다. 다른 실시예들에서, 제1 표면 및 제2 표면은 동일한 표면적을 갖는다.
에너지 도파층(330)은 에너지 도파층(240)의 일 실시예이다. 에너지 도파층(330)은 복수의 도파 요소들(370)을 포함한다. 도 2와 관련하여 위에서 설명된 바와 같이, 에너지 도파층(330)은 홀로그래픽 객체를 형성하기 위해 4D 라이트필드 기능에 따른 특정 전파 경로를 따라서 이음매 없는 에너지 표면(360)으로부터 에너지를 지향시키도록 구성된다. 도시된 실시예에서, 에너지 도파층(330)은 프레임(390)에 의해 한정되는 것에 유의해야 한다. 다른 실시예들에서는, 프레임(390)이 없고/없거나, 프레임(390)의 두께가 감소된다. 프레임(390)의 두께의 제거 또는 감소는 LF 디스플레이 모듈(300A)을 추가적인 LF 디스플레이 모듈(300)과 함께 타일링하는 것을 용이하게 할 수 있다.
도시된 실시예에서, 이음매 없는 에너지 표면(360) 및 에너지 도파층(330)은 평면형(planar)이다. 다른 실시예들에서, 도시되지는 않았지만, 이음매 없는 에너지 표면(360) 및 에너지 도파층(330)은 하나 이상의 차원들에서 만곡될 수 있다.
LF 디스플레이 모듈(300A)은 이음매 없는 에너지 표면의 표면 상에 상주하는 추가적인 에너지 소스들로 구성될 수 있고, 라이트필드에 대해 에너지 필드의 추가적인 투사를 허용한다. 일 실시예에서, 음향 에너지 필드는 이음매 없는 에너지 표면(360) 상의 임의의 수의 위치들에 장착된 정전기 스피커들(도시되지 않음)로부터 투사될 수 있다. 또한, LF 디스플레이 모듈(300A)의 정전기 스피커들은 듀얼 에너지 표면이 동시에 소리 필드들 및 홀로그래픽 콘텐츠를 투사하도록, 라이트필드 디스플레이 모듈(300A) 내에 위치된다. 예를 들어, 정전기 스피커들은 전자기 에너지의 일부 파장에 대해 투과성인 하나 이상의 다이어프램 요소들을 이용하여 형성될 수 있으며, 전도성 요소들을 이용하여 구동될 수 있다. 정전기 스피커들은 다이어프램 요소들이 도파 요소들의 일부를 덮도록 이음매 없는 에너지 표면(360)에 장착될 수 있다. 스피커들의 전도성 전극들은 전자기 도파들 사이의 광 전송을 억제하도록 설계되고/되거나 전자기 도파 요소들(예를 들어, 프레임(390)) 사이의 위치들에 위치하는 구조물들과 함께 배치될 수 있다. 다양한 구성들에서, 스피커들은 가청 소리를 투사하고/하거나 햅틱 표면을 생성하는 집속된 초음파 에너지의 여러 소스들을 투사할 수 있다.
일부 구성들에서, 에너지 장치(340)는 에너지를 감지할 수 있다. 예를 들어, 에너지 장치는 마이크, 광 센서, 음향 트랜스듀서 등일 수 있다. 이와 같이, 에너지 중계 장치들은 또한 이음매 없는 에너지 표면(360)으로부터 에너지 장치층(310)으로 에너지를 중계할 수 있다. 즉, 에너지 장치들 및 에너지 중계 장치들(340)이 에너지를 방출하고 동시에 감지(예를 들어, 라이트필드들을 방출하고 소리를 감지)하도록 구성될 때, LF 디스플레이 모듈의 이음매 에너지 표면(360)은 양방향성 에너지 표면을 형성한다.
보다 광범위하게, LF 디스플레이 모듈(340)의 에너지 장치(340)는 에너지 소스 또는 에너지 센서일 수 있다. LF 디스플레이 모듈(300A)은 사용자에게 고품질 홀로그래픽 콘텐츠의 투사를 용이하게 하기 위해 에너지 소스들 및/또는 에너지 센서들로서 작용하는 다양한 유형들의 에너지 장치들을 포함할 수 있다. 다른 소스들 및/또는 센서들은 열 센서들 또는 소스들, 적외선 센서들 또는 소스들, 이미지 센서들 또는 소스들, 음향 에너지를 생성하는 기계적 에너지 트랜스듀서들, 피드백 소스들 등을 포함할 수 있다. 많은 다른 센서들 또는 소스들이 가능하다. 또한, LF 디스플레이 모듈들은, LF 디스플레이 모듈이 커다란 집합된 이음매 없는 에너지 표면으로부터 여러 유형의 에너지를 투사하고 감지하는 어셈블리를 형성할 수 있도록 타일링(tiled)될 수 있다.
LF 디스플레이 모듈(300A)의 다양한 실시예들에서, 이음매 없는 에너지 표면(360)은 다양한 표면 부분들을 가질 수 있으며, 각각의 표면 부분은 특정 유형의 에너지를 투사 및/또는 방출하도록 구성된다. 예를 들어, 이음매 없는 에너지 표면이 듀얼-에너지 표면일 때, 이음매 없는 에너지 표면(360)은 전자기 에너지를 투사하는 하나 이상의 표면 부분들, 및 초음파 에너지를 투사하는 하나 이상의 다른 표면 부분들을 포함한다. 초음파 에너지를 투사하는 표면 부분들은 도파 요소들 사이의 이음매 없는 에너지 표면(360) 상에 위치될 수 있고/있거나 도파 요소들 사이의 광 투과를 억제하도록 설계된 구조물들과 함께 위치(co-locate)될 수 있다. 이음매 없는 에너지 표면이 양방향 에너지 표면인 예에서, 에너지 중계층(320)은 이음매 없는 에너지 표면(360)에서 인터리빙되는 2개의 유형의 에너지 중계 장치들을 포함할 수 있다. 다양한 실시예들에서, 이음매 없는 에너지 표면(360)은 특정 도파 요소들(370) 아래의 표면의 부분들이 모두 에너지 소스들이거나, 모두 에너지 센서들이거나, 또는 에너지 소스들 및 에너지 센서들의 혼합이 되도록, 구성될 수 있다.
도 3b는 하나 이상의 실시예들에 따른, 인터리빙된 에너지 중계 장치들을 포함하는 LF 디스플레이 모듈(300B)의 단면도이다. 에너지 중계 장치(350A)는 에너지 장치(340A)에 연결된 에너지 중계 제1 표면(345A)과 이음매 없는 에너지 표면(360) 사이에서 에너지를 전달한다. 에너지 중계부(350B)는 에너지 장치(340B)에 연결된 에너지 중계 제1 표면(345B)과 이음매 없는 에너지 표면(360) 사이에서 에너지를 전달한다. 두 중계 장치들은 이음매 없는 에너지 표면(360)에 연결된 인터리빙된 에너지 중계 장치(352)에서 인터리빙(interleaved)된다. 이러한 구성에서, 표면(360)은 에너지 소스 또는 에너지 센서일 수 있는 두 에너지 장치들(340A 및 340B)의 인터리빙된 에너지 위치들을 포함한다. 따라서, LF 디스플레이 모듈(300B)은 둘 이상의 유형의 에너지를 투사하기 위한 듀얼 에너지 투사 장치로서, 또는 한 유형의 에너지를 투사하고 동시에 다른 유형의 에너지를 감지하기 위한 양방향 에너지 장치로서, 구성될 수 있다. LF 디스플레이 모듈(300B)은 LF 디스플레이 모듈(110) 및/또는 LF 디스플레이 모듈(210)일 수 있다. 다른 실시예들에서, LF 디스플레이 모듈(302)은 일부 다른 LF 디스플레이 모듈일 수 있다.
LF 디스플레이 모듈(300B)은 도 3a의 LF 디스플레이 모듈(300A)의 것들과 유사하게 구성된 많은 구성요소들을 포함한다. 예를 들어, 예시된 실시예에서, LF 디스플레이 모듈(300B)은 적어도 도 3a에 관해 기술된 것들의 동일한 기능을 포함하는, 에너지 장치층(310), 에너지 중계층(320), 이음매 없는 에너지 표면(360), 및 에너지 도파층(330)을 포함한다. 추가적으로, LF 디스플레이 모듈(300B)은 디스플레이 표면(365)으로부터 에너지를 제공 및/또는 수신할 수 있다. 특히, LF 디스플레이 모듈(300B)의 구성요소들은 대안적으로, 도 3a의 LF 디스플레이 모듈(300A)의 구성요소들과 연결되고/되거나 지향(orient)된다. LF 디스플레이 모듈(300B)의 일부 실시예들은 여기에서 설명되는 것들과는 상이한 구성요소들을 갖는다. 유사하게, 기능들은 본원에 설명된 것과 다른 방식으로 구성요소들 중에 분배될 수 있다. 도 3b는 더 큰 면적을 갖는 양방향 에너지 표면 또는 듀얼 에너지 투사 표면을 생성하도록 타일링될 수 있는 단일 LF 디스플레이 모듈(302)의 설계를 예시한다.
일 실시예에서, LF 디스플레이 모듈(300B)은 양방향 LF 디스플레이 시스템의 LF 디스플레이 모듈이다. 양방향 LF 디스플레이 시스템은 디스플레이 표면(365)으로부터 에너지를 투사함과 동시에 에너지를 감지할 수 있다. 이음매 없는 에너지 표면(360)은 이음매 없는 에너지 표면(360) 상에 근접하게 인터리빙되는 에너지 투사 위치 및 에너지 감지 위치 모두를 포함한다. 따라서, 도 3b의 예에서, 에너지 중계층(320)은 도 3a의 에너지 중계층과는 상이한 방식으로 구성된다. 편의상, LF 디스플레이 모듈(300B)의 에너지 중계층은 본원에서 "인터리빙된 에너지 중계층"으로 지칭될 것이다.
인터리빙된 에너지 중계층(320)은 두 개의 레그들, 즉, 제1 에너지 중계 장치(350A) 및 제2 에너지 중계 장치(350B)를 포함한다. 각각의 레그들은 약간 음영이 있는 영역으로서 도시되어 있다. 각각의 레그들은 플렉시블 중계 물질로 제조될 수 있고, 다양한 크기들 및 형상들의 에너지 장치들과 함께 사용하기에 충분한 길이로 형성될 수 있다. 인터리빙된 에너지 중계층의 일부 영역들에서, 두 개의 레그들은 이음매 없는 에너지 표면(360)에 접근함에 따라 함께 조밀하게(tightly) 인터리빙(interleaved)된다. 도시된 예에서, 인터리빙된 에너지 중계 장치들(352)은 어두운 음영 영역으로 도시되어 있다.
이음매 없는 에너지 표면(360)에서 인터리빙되는 동안, 에너지 중계 장치들은 상이한 에너지 장치들로부터/그에 대해 에너지를 중계하도록 구성된다. 에너지 장치들은 에너지 장치층(310)에 존재한다. 도시된 바와 같이, 에너지 장치(340A)는 에너지 중계 장치(350A)에 연결되고, 에너지 장치(340B)는 에너지 중계 장치(350B)에 연결된다. 다양한 실시예들에서, 각각의 에너지 장치는 에너지 소스 또는 에너지 센서일 수 있다.
에너지 도파층(330)은 일련의 수렴 지점들을 향하여 투사된 경로들을 따라 이음매 없는 에너지 표면(360)으로부터 에너지 파들을 조향(steer)하기 위한 도파 요소들(370)을 포함한다. 이 예에서, 홀로그래픽 객체(380)는 일련의 수렴 지점들에 형성된다. 특히, 도시된 바와 같이, 홀로그래픽 객체(380)에서의 에너지의 수렴은 디스플레이 표면(365)의 관찰자 측에서 발생한다. 그러나, 다른 예에서, 에너지의 수렴은, 디스플레이 표면(365)의 전방 및 디스플레이 표면(365)의 후방 둘 모두에서 연장되는, 홀로그래픽 객체 부피 내의 어느 곳에도 존재할 수 있다. 도파 요소들(370)은 후술하는 바와 같이 에너지 장치(예를 들어, 에너지 센서)로 들어오는 에너지를 동시에 조향할 수 있다.
LF 디스플레이 모듈(300B)의 일 예시적인 실시예에서, 방출형 디스플레이는 에너지 소스로서 사용되고, 이미징 센서는 에너지 센서로서 사용된다. 이런 식으로, LF 디스플레이 모듈(300B)은 홀로그래픽 콘텐츠를 투사함과 동시에 디스플레이 표면(365)의 전방에서 해당 부피로부터 광을 검출할 수 있다. 이런 식으로, LF 디스플레이 모듈(300B)의 이 실시예는 LF 디스플레이 및 LF 센서 모두로서 기능한다.
일 실시예에서, LF 디스플레이 모듈(300B)은 디스플레이 표면(365)의 전방에 라이트필드를 투사하고 동시에 디스플레이 표면(365)의 전방으로부터 라이트필드를 캡처하도록 구성된다. 이 실시예에서, 에너지 중계 장치(350A)는 도파 요소들(370) 아래에 위치된 이음매 없는 에너지 표면(360)에서의 제1 세트의 위치들을 에너지 장치(340A)에 연결한다. 일 예에서, 에너지 장치(340A)는 소스 픽셀들의 어레이를 갖는 방출형(emissive) 디스플레이이다. 에너지 중계 장치(340B)는 도파 요소들(370) 아래에 위치된 이음매 없는 에너지 표면(360)에서의 제2 세트의 위치들을 에너지 장치(340B)에 연결한다. 일 예에서, 에너지 장치(340B)는 센서 픽셀들의 어레이를 갖는 이미징 센서이다. LF 디스플레이 모듈(302)은 특정 도파 요소(370) 아래에 있는 이음매 없는 에너지 표면(365)에서의 위치들이 모두 발광 디스플레이 위치들이거나, 모두 이미징 센서 위치들이거나, 또는 위치들의 일부 조합이 되도록, 구성될 수 있다. 다른 실시예들에서, 양방향 에너지 표면은 다양한 다른 형태의 에너지를 투사하고 수신할 수 있다.
LF 디스플레이 모듈(300B)의 다른 예시적인 실시예에서, LF 디스플레이 모듈은 2개의 상이한 유형의 에너지를 투사하도록 구성된다. 예를 들어, 에너지 장치(340A)는 전자기 에너지를 방출하도록 구성된 방출 디스플레이이고, 에너지 장치(340B)는 기계적 에너지를 방출하도록 구성된 초음파 변환기이다. 이와 같이, 광 및 소리는 이음매 없는 에너지 표면(360)에서의 다양한 위치들로부터 투사될 수 있다. 이러한 구성에서, 에너지 중계 장치(350A)는 에너지 장치(340A)를 이음매 없는 에너지 표면(360)에 연결하고 전자기 에너지를 중계한다. 에너지 중계 장치는 전자기 에너지를 수송하는 데에 효율적인 특성들(예를 들어, 가변 굴절률)을 갖도록 구성된다. 에너지 중계 장치(350B)는 에너지 장치(340B)를 이음매 없는 에너지 표면(360)에 연결하고 기계적 에너지를 중계한다. 에너지 중계 장치(350B)는 초음파 에너지의 효율적인 수송(예를 들어, 상이한 음향 임피던스를 갖는 물질들의 분포)을 위한 특성들을 갖도록 구성된다. 일부 실시예들에서, 기계적 에너지는 에너지 도파층(330) 상의 도파 요소들(370) 사이의 위치들로부터 투사될 수 있다. 기계적 에너지를 투사하는 위치들은 광이 하나의 전자기 도파 요소로부터 다른 전자기 도파 요소로 전송되는 것을 억제하는 역할을 하는 구조물들을 형성할 수 있다. 일 예에서, 초음파 기계적 에너지를 투사하는 공간적으로 분리된 위치들의 어레이는 공중(mid-air)의 3차원 햅틱 형상들 및 표면들을 생성하도록 구성될 수 있다. 표면들은 투사된 홀로그래픽 객체(예를 들어, 홀로그래픽 객체(380))와 일치할 수 있다. 일부 예들에서, 어레이에 걸친 위상 지연들 및 진폭 변동들은 햅틱 형상들의 생성을 보조할 수 있다.
다양한 실시예들에서, 양방향 LF 디스플레이 모듈(302)은 특정 유형의 에너지 장치를 포함하는 각각의 에너지 장치층을 갖는 다수의 에너지 장치층들을 포함할 수 있다. 이러한 예들에서, 에너지 중계층들은 이음매 없는 에너지 표면(360)과 에너지 장치층(330) 사이에서 적절한 유형의 에너지를 중계하도록 구성된다.
타일형 LF 디스플레이 모듈
도 4a는 하나 이상의 실시예들에 따른, 단일-측면의 이음매 없는 표면 환경을 형성하기 위해 2차원으로 타일링(tiled)되는 LF 디스플레이 시스템(400)의 일 부분의 사시도이다. LF 디스플레이 시스템(400)은 어레이(410)를 형성하도록 타일링되는 복수의 LF 디스플레이 모듈들을 포함한다. 보다 명시적으로, 어레이(410) 내의 작은 사각형들 각각은 타일형 LF 디스플레이 모듈(412)을 나타낸다. 어레이(410)는 예를 들어, 표면의 일부 또는 전부를 커버할 수 있다.
어레이(410)는 하나 이상의 홀로그래픽 객체들을 투사할 수 있다. 예를 들어, 도시된 실시예에서 어레이(410)는 홀로그래픽 객체(420) 및 홀로그래픽 객체(430)를 투사한다. LF 디스플레이 모듈들의 타일링은 훨씬 더 큰 가시 부피뿐만 아니라, 객체들이 어레이(410)로부터 더 먼 거리로 투사될 수 있게 한다. 예를 들어, 도시된 실시예에서, 가시 부피는 근사적으로, LF 디스플레이 모듈(412)의 전방(및 후방)의 국소화된 부피가 아니라, 어레이(410)의 전방 및 후방에 있는 전체 영역이다.
일부 실시예들에서, LF 디스플레이 시스템(400)은 홀로그래픽 객체(420)를 관찰자(430) 및 관찰자(434)에 제공한다. 관찰자(430) 및 관찰자(434)는 홀로그래픽 객체(420)의 상이한 관점들을 수신한다. 예를 들어, 관찰자(430)에게는 홀로그래픽 객체(420)의 직접적인 뷰가 제공되는 반면, 관찰자(434)에게는 홀로그래픽 객체(430)의 더 경사진 뷰가 제공된다. 관찰자(430) 및/또는 관찰자(434)가 이동함에 따라, 그들은 홀로그래픽 객체(420)의 상이한 관점들을 제공받는다. 이는 관찰자가 홀로그래픽 객체에 대해 이동함으로써 홀로그래픽 객체와 시각적으로 상호작용할 수 있게 한다. 예를 들어, 관찰자(430)가 홀로그래픽 객체(420) 주위를 걸어갈 때, 관찰자(430)는 홀로그래픽 객체(420)가 어레이(410)의 홀로그래픽 객체 부피 내에 남아 있는 한, 홀로그래픽 객체(420)의 상이한 측면들을 보게 된다. 따라서, 관찰자(430) 및 관찰자(434)는 마치 실제로 존재하는 것처럼 실제 공간에서 홀로그래픽 객체(420)를 동시에 볼 수 있다. 또한, 홀로그래픽 객체(420)는 물리적 객체가 가시적인 것과 거의 동일한 방식으로 관찰자들에게 보이기 때문에, 홀로그래픽 객체(420)의 관찰자(440) 및 관찰자(450)는 홀로그래픽 객체(420)를 보기 위해 외부 장치를 착용할 필요가 없다. 또한, 여기에서, 홀로그래픽 객체(422)는 어레이의 가시 부피가 어레이의 표면 뒤로 연장되기 때문에, 어레이 뒤에 도시되어 있다. 이런 식으로, 홀로그래픽 객체(422)는 관찰자(430) 및/또는 관찰자(434)에 제공될 수 있다.
일부 실시예들에서, LF 디스플레이 시스템(400)은 관찰자(430) 및 관찰자(434)의 위치들을 추적하는 추적 시스템을 포함할 수 있다. 일부 실시예들에서, 추적되는 위치는 관찰자의 위치이다. 다른 실시예들에서, 추적되는 위치는 관찰자의 눈의 위치이다. 눈의 위치 추적은 눈이 어디를 보고 있는지를 추적하는 시선 추적(예를 들어, 응시 위치를 결정하기 위해 방향을 사용함)과는 상이하다. 관찰자(430)의 눈과 관찰자(434)의 눈은 서로 다른 위치에 있다.
다양한 구성들에서, LF 디스플레이 시스템(400)은 하나 이상의 추적 시스템들을 포함할 수 있다. 예를 들어, 도 4a의 예시된 실시예에서, LF 디스플레이 시스템은 어레이(410) 외부에 있는 추적 시스템(440)을 포함한다. 여기서, 추적 시스템은 어레이(410)에 연결된 카메라 시스템일 수 있다. 외부의 추적 시스템들은 도 5a와 관련하여 더 상세히 설명된다. 다른 예시적인 실시예들에서, 추적 시스템은 본원에 기술된 바와 같이 어레이(410) 내에 통합될 수 있다. 예를 들어, 어레이(410)에 포함된 LF 디스플레이 모듈(412)의 에너지 장치(예를 들어, 에너지 장치(340))는 어레이(440)의 전방에서 관찰자들의 이미지들을 캡처하도록 구성될 수 있다. 어느 경우든, LF 디스플레이 시스템(400)의 추적 시스템(들)은 어레이(410)에 의해 제공되는 홀로그래픽 콘텐츠를 보는 관찰자(예를 들어, 관찰자(430) 및/또는 관찰자(434))에 관한 추적 정보를 결정한다.
추적 정보는 관찰자의 위치에 대한(예를 들어, 추적 시스템에 대한) 공간 내의 위치, 또는 관찰자의 일 부분의 위치(예를 들어, 관찰자의 한쪽 또는 양쪽 눈, 또는 관찰자의 말단부들)를 기술한다. 추적 시스템은 추적 정보를 결정하기 위해 임의의 수의 깊이 결정 기술들을 이용할 수 있다. 깊이 결정 기술들은 예를 들어, 구조화된 광, 비행 시간, 스테레오 이미징, 일부 다른 깊이 결정 기술, 또는 이들의 몇몇 조합을 포함할 수 있다. 추적 시스템은 추적 정보를 결정하도록 구성된 다양한 시스템들을 포함할 수 있다. 예를 들어, 추적 시스템은 하나 이상의 적외선 소스들(예를 들어, 구조화된 광원들), 적외선에서의 이미지들을 캡처할 수 있는 하나 이상의 이미징 센서들(예를 들어, 적-청-녹-적외선 카메라), 및 추적 알고리즘을 실행하는 프로세서를 포함할 수 있다. 추적 시스템은 관찰자들의 위치들을 결정하기 위해 깊이 추정 기술들을 사용할 수 있다. 일부 실시예들에서, LF 디스플레이 시스템(400)은 관찰자(430) 및/또는 관찰자(434)의 추적된 위치들에 기초하여 홀로그래픽 객체들을 생성한다. 예를 들어, LF 디스플레이 시스템(400)은 어레이(410) 및/또는 특정 위치의 임계 거리 내에 들어오는 관찰자에 응답하여 홀로그래픽 객체를 생성할 수 있다.
LF 디스플레이 시스템(400)은 추적 정보에 부분적으로 기초하여 각각의 관찰자에 맞춤화된 하나 이상의 홀로그래픽 객체들을 제공할 수 있다. 예를 들어, 관찰자(430)에게는 홀로그래픽 객체(420)가 제공될 수 있지만, 홀로그래픽 객체(422)는 제공되지 않을 수 있다. 그리고 관찰자(434)에게는 홀로그래픽 객체(422)가 제공될 수 있지만, 홀로그래픽 객체(420)는 제공되지 않을 수 있다. 예를 들어, LF 디스플레이 시스템(400)은 관찰자(430) 및 관찰자(434) 각각의 위치를 추적한다. LF 디스플레이 시스템(400)은 홀로그래픽 객체가 제공되어야 하는 위치에 대한 그들의 상대적인 위치에 기초하여 관찰자에게 보여야 하는 홀로그래픽 객체의 관점을 결정한다. LF 디스플레이 시스템(400)은 결정된 관점에 대응하는 특정 픽셀들로부터 광을 선택적으로 투사한다. 따라서, 관찰자(434) 및 관찰자(430)는 동시에, 잠재적으로 완전히 상이한 경험을 가질 수 있다. 즉, LF 디스플레이 시스템(400)은 가시 부피의 서브 부피(즉, 도 2b에 도시된 가시 서브 부피(290A, 290B, 290C, 및 290D)와 유사함)를 보기 위해 홀로그래픽 콘텐츠를 제공할 수 있다. 예를 들어, 도시된 바와 같이, LF 디스플레이 시스템(400)이 관찰자(430)의 위치를 추적할 수 있기 때문에, LF 디스플레이 시스템(400)은 관찰자(430)를 둘러싸는 가시 서브 부피에 공간 콘텐츠(예를 들어, 홀로그래픽 객체(420))를, 그리고 관찰자(434)를 둘러싸는 가시 서브 부피에 사파리 콘텐츠(예를 들어, 홀로그래픽 객체(422))를 제공할 수 있다. 이와 달리, 통상적인 시스템들은 유사한 경험을 제공하기 위해 개별 헤드셋을 사용해야 한다.
일부 실시예들에서, LF 디스플레이 시스템(400)은 하나 이상의 감각 피드백 시스템들을 포함할 수 있다. 감각 피드백 시스템들은 홀로그래픽 객체들(420, 422)을 증강시키는 다른 감각 자극들(예를 들어, 촉각, 오디오, 압력, 힘, 또는 냄새/후각)을 제공한다. 예를 들어, 도 4a의 예시된 실시예에서, LF 디스플레이 시스템(400)은 어레이(410) 외부의 감각 피드백 시스템(442)을 포함한다. 일 예에서, 감각 피드백 시스템(442)은 어레이(410)에 연결된 정전기 스피커일 수 있다. 외부 감각 피드백 시스템은 도 5a와 관련하여 더욱 상세히 설명된다. 다른 예시적인 실시예들에서, 감각 피드백 시스템은 본원에 기술된 바와 같이 어레이(410) 내에 통합될 수 있다. 예를 들어, 어레이(410)에 포함된 LF 디스플레이 모듈(412)의 에너지 장치(예를 들어, 도 3b의 에너지 장치(340A))는 어레이의 전방에서 관찰자들에게 초음파 에너지를 투사하고 및/또는 어레이의 전방에서 관찰자들로부터 이미징 정보를 수신하도록 구성될 수 있다. 어느 경우든, 감각 피드백 시스템은 어레이(410)에 의해 제공되는 홀로그래픽 콘텐츠(예를 들어, 홀로그래픽 객체(420) 및/또는 홀로그래픽 객체(422))를 보는 관찰자(예를 들어, 관찰자(430) 및/또는 관찰자(434))에게 감각 콘텐츠를 제공하고/하거나 그로부터 감각 콘텐츠를 수신한다.
LF 디스플레이 시스템(400)은 어레이 외부의 하나 이상의 음향 투사 장치를 포함하는 감각 피드백 시스템을 포함할 수 있다. 대안적으로 또는 추가적으로, LF 디스플레이 시스템(400)은 본원에 기술된 바와 같이 어레이(410) 내에 통합된 하나 이상의 음향 투사 장치들을 포함할 수 있다. 음향 투사 장치들은 부피 촉각 표면을 투사하도록 구성된 초음파 소스들의 어레이로 구성될 수 있다. 일부 실시예들에서, 부피 표면은 홀로그래픽 객체와 일치하도록 투사될 수 있다. 일부 실시예들에서, 부피 촉각 표면은 홀로그래픽 객체의 임계 거리 내에 투사될 수 있다. 일부 실시예들에서, 촉각 표면은 관찰자의 일부분이 하나 이상의 표면들의 임계 거리 내에 있는 경우 홀로그래픽 객체의 하나 이상의 표면들에 대해 홀로그래픽 객체와 일치(예를 들어, 홀로그래픽 객체(420)의 표면에서)될 수 있다. 부피 촉각 감각은 사용자로 하여금 홀로그래픽 객체의 표면을 만지고 느낄 수 있게 한다. 또한, 복수의 음향 투사 장치들은 관찰자들에게 오디오 콘텐츠(예를 들어, 몰입형 오디오)를 제공하는 가청 압력파를 투사할 수 있다. 따라서, 초음파 압력파 및/또는 가청 압력파는 홀로그래픽 객체를 보완하는 작용을 할 수 있다.
다양한 실시예들에서, LF 디스플레이 시스템(400)은 관찰자의 추적된 위치에 부분적으로 기초하여 다른 감각 자극들을 제공할 수 있다. 예를 들어, 도 4a에 도시된 홀로그래픽 객체(422)는 사자이고, LF 디스플레이 시스템(400)은 시각적으로(즉, 홀로그래픽 객체(430)가 으르렁거리는(roar) 것으로 보임) 및 청각적으로(즉, 하나 이상의 음향 투사 장치들은 관찰자(430)가 홀로그래픽 객체(422)로부터 나오는 사자의 으르렁거림으로서 인지하는 압력파를 투사함) 으르렁거리는 홀로그래픽 객체(422)를 가질 수 있다.
도시된 구성에서, 홀로그래픽 가시 부피는 도 2의 LF 디스플레이 시스템(200)의 가시 부피(285)와 유사한 방식으로 제한될 수 있음에 유의해야 한다. 이는 관찰자가 하나의 장치를 이용하여 경험하게 될, 인식되는 몰입도를 제한할 수 있다. 이를 해결하기 위한 한 가지 방법은 도 4b와 관련하여 아래에서 설명되는 바와 같이 다수의 측면들을 따라 타일링되는 다수의 LF 디스플레이 모듈들을 사용하는 것이다.
도 4b는 하나 이상의 실시예들에 따른, 다중-측면의 이음매 없는 표면 환경에서의 LF 디스플레이 시스템(402)의 일 부분의 사시도이다. LF 디스플레이 시스템(402)은 복수의 LF 디스플레이 모듈들이 다중 측면의 이음매 없는 표면 환경을 생성하도록 타일링되는 것을 제외하고는, LF 디스플레이 시스템(400)과 실질적으로 유사하다. 보다 구체적으로, LF 디스플레이 모듈들은 6개의 면의 집합된(aggregated) 이음매 없는 표면 환경인 어레이를 형성하도록 타일링된다. 다른 실시예들에서, 복수의 LF 디스플레이 모듈들은 표면의 전부가 아닌 일부를 커버할 수 있거나, 또는 이들의 일부 조합을 커버할 수 있다. 다른 실시예들에서, 복수의 LF 디스플레이 모듈들은 일부 다른 집합된 이음매 없는 표면을 형성하도록 타일링된다. 예를 들어, 표면은 원통형의 집합된 에너지 환경이 형성되도록 만곡될 수 있다.
LF 디스플레이 시스템(402)은 하나 이상의 홀로그래픽 객체들을 투사할 수 있다. 예를 들어, 도시된 실시예에서, LF 디스플레이 시스템(402)은 홀로그래픽 객체(420)를 6개의 면의 집합된 이음매 없는 표면 환경에 의해 둘러싸인 영역으로 투사한다. 이 예에서, LF 디스플레이 시스템의 가시 부피는 또한, 6개의 면의 집합된 이음매 없는 표면 환경 내에 포함된다. 도시된 구성에서, 관찰자(432)는 홀로그래픽 객체(420)와, 홀로그래픽 객체(420)를 형성하기 위해 사용되는 에너지(예를 들어, 광 및/또는 압력파)를 투사하는 LF 디스플레이 모듈(414)의 사이에 위치될 수 있음에 유의해야 한다. 따라서, 관찰자(434)의 위치로 인해, 관찰자(430)는 LF 디스플레이 모듈(414)로부터의 에너지로부터 형성된 홀로그래픽 객체(420)를 인지하는 것을 방해받을 수 있다. 그러나, 도시된 구성에서, (예를 들어, 관찰자(434)에 의해) 방해받지 않는 적어도 하나의 다른 LF 디스플레이 모듈, 예를 들어, LF 디스플레이 모듈(416)은, 홀로그래픽 객체(420)를 형성하도록 에너지를 투사할 수 있다. 이런 식으로, 공간 내의 관찰자들에 의한 막힘(occlusion)은 홀로그래픽 투사들의 일부 부분이 사라지게 할 수 있지만, 그 효과는 부피의 단지 한쪽 면만 홀로그래픽 디스플레이 패널들로 채워지는 경우보다는 훨씬 더 작다. 홀로그래픽 객체(422)는 홀로그래픽 객체 부피가 집합된 표면 뒤로 연장되기 때문에, 6면의 집합된 이음매 없는 표면 환경의 인클로저 "외부에" 도시되어 있다. 따라서, 관찰자(430) 및/또는 관찰자(434)는 홀로그래픽 객체(422)를 6면 환경의 "외부"인 것으로 인식할 수 있다.
도 4a를 참조하여 전술한 바와 같이, 일부 실시예들에서, LF 디스플레이 시스템(402)은 관찰자들의 위치들을 능동적으로 추적하고, 추적된 위치들에 기초하여 홀로그래픽 콘텐츠를 제공하도록 상이한 LF 디스플레이 모듈들에 동적으로 지시할 수 있다. 따라서, 다중-측면의 구성은 제한되지 않은 관찰자들이 다중-측면의 이음매 없는 표면 환경에 의해 둘러싸인 영역을 관통하여 자유롭게 이동할 수 있는 홀로그래픽 객체들을 제공하기 위한 보다 강건한(robust)(예를 들어, 도 4a에 비해) 환경을 제공할 수 있다.
특히, 다양한 LF 디스플레이 시스템들은 상이한 구성들을 가질 수 있다. 또한, 각각의 구성은, 집합적으로, 이음매 없는 디스플레이 표면("집합 표면")을 형성하는, 표면들의 특정 배향을 가질 수 있다. 즉, LF 디스플레이 시스템의 LF 디스플레이 모듈들은 다양한 집합 표면들을 형성하도록 타일링될 수 있다. 예를 들어, 도 4b에서, LF 디스플레이 시스템(402)은 6면의 집합된 표면을 형성하도록 타일링된 LF 디스플레이 모듈들을 포함한다. 일부 다른 예들에서, 집합 표면은 전체 표면이 아니라 표면의 일부에서만 발생할 수 있다. 일부 예들은 본원에서 설명된다.
일부 구성들에서, LF 디스플레이 시스템의 집합 표면은 국부화된 가시 부피를 향해 에너지를 투사하도록 구성된 집합 표면을 포함할 수 있다. 국부적인 가시 부피에 에너지를 투사하는 것은, 예를 들어, 특정 가시 부피 내의 투사된 에너지의 밀도를 증가시키고, 그 부피 내의 관찰자들에 대한 FOV를 증가시키며, 가시 부피를 디스플레이 표면에 더 가깝게 하는 것에 의해, 더 높은 품질의 가시 경험을 가능하게 한다.
예를 들어, 도 4c는 "날개형(winged)" 구성으로 집합 표면을 갖는 LF 디스플레이 시스템(450A)의 평면도를 도시한다. LF 디스플레이 시스템(450A)은 집합 표면(460)을 형성하도록 타일링된 LF 디스플레이 모듈들을 포함한다. LF 디스플레이 시스템(450A)은 3개 부분들, 즉, (i) 제1 중앙 부분(462), (ii) 제1 부분(462)에 연결되고, 중앙 부분의 전방을 향하여 투사하도록 중앙 부분으로부터 특정 각도로 배치되는 제2 부분(즉, 제1 측면)(464), 및 (iii) 제1 부분(462)에 연결되고, 중앙 부분의 전방을 향하여 투사하도록 중앙 부분으로부터 특정 각도로 배치되는 제3 부분(즉, 제2 측면)(466)을 포함하는 집합 표면(460)을 갖는다. 모바일 장치는 제1 중앙 부분(462)이 관찰자를 향하도록 설계된 주 디스플레이 스크린이고, 제2 부분(464) 및 제3 부분(466)은 관찰자를 부분적으로 둘러싸기 위해 관찰자를 향해 각지도록, 도 4c에 도시된 것과 유사한 구성으로 설계될 수 있다. 제1 중앙 부분이 수평 및 수직축을 갖는 수직면에 있도록 모바일 장치가 유지될 때, 제2 부분 및 제3 부분은 수평축을 따라 중앙 부분의 전방을 향해 각진다.
이 예에서, LF 디스플레이 시스템(450A)의 가시 부피(468A)는 집합 표면(460)의 3개의 부분들에 의해 부분적으로 둘러싸인 장치의 전방에 놓인다. 관찰자를 적어도 부분적으로 둘러싸는 집합 표면("주위 표면")은 관찰자들의 몰입적 경험을 증가시킨다.
설명을 위해, 예를 들어, 단지 중앙 표면만을 갖는 집합 표면을 고려한다. 도 2a를 참조하면, 디스플레이 표면의 어느 한쪽 단부로부터 투사되는 광선들은 전술한 바와 같이 이상적인 홀로그래픽 부피 및 이상적인 가시 부피를 생성한다. 이제, 예를 들어, 중앙 표면이 관찰자를 향해 각진 2개의 측면들을 포함하는 경우를 고려한다. 이 경우에, 광선(256) 및 광선(257)은 중앙 표면의 법선으로부터 더 큰 각도로 투사될 것이다. 따라서, 가시 부피의 시야는 증가할 것이다. 유사하게, 홀로그래픽 가시 부피는 디스플레이 표면에 더 가까울 것이다. 추가적으로, 2개의 제2 부분 및 제3 부분이 가시 부피에 더 가까이 경사지기 때문에, 디스플레이 표면으로부터 고정된 거리에 투사되는 홀로그래픽 객체들은 해당 가시 부피에 더 가깝다.
단순화를 위해, 단지 중앙 표면만을 갖는 디스플레이 표면은 평면형의(planar) 시야, (중앙의) 디스플레이 표면과 가시 부피 사이의 평면형의 임계 간격, 및 홀로그래픽 객체와 가시 부피 사이의 평면형의 근접성을 갖는다. 관찰자를 향해서 각진 하나 이상의 측면들을 추가하는 것은 평면형의 시야에 비해 시야를 증가시키고, 평면형의 간격에 비해 디스플레이 표면과 가시 부피 사이의 간격을 감소시키며, 평면형의 근접성에 비해 디스플레이 표면과 홀로그래픽 객체 사이의 근접성을 증가시킨다. 관찰자를 향해 측면들을 더 경사지게 하는 것은 시야를 더 증가시키고, 간격을 더 감소시키며, 근접성을 더 증가시킨다. 즉, 측면들의 각진 배치는 관찰자들에 대한 몰입적 경험을 증가시킨다.
또한, 도 6과 관련하여 아래에서 설명되는 바와 같이, 편향 광학계는 LF 디스플레이 파라미터들(예를 들어, 치수들 및 FOV)에 대한 가시 부피의 크기 및 위치를 최적화하기 위해 사용될 수 있다.
도 4d를 참조하면, 유사한 예에서, 도 4d는 "경사진" 구성으로 집합 표면을 갖는 LF 디스플레이 시스템(450B)의 측면도를 도시한다. LF 디스플레이 시스템(450B)은 집합 표면(460)을 형성하도록 타일링된 LF 디스플레이 모듈들을 포함한다. 집합 표면(460)은 3개 부분들, 즉, (i) 제1 부분(즉, 중앙 면)(462), (ii) 제1 부분(462)에 연결되고, 중앙 부분의 전방을 향하여 투사하도록 중앙 부분으로부터 특정 각도로 배치되는 제2 부분(즉, 제1 측면)(464), 및 (iii) 제1 부분(462)에 연결되고, 중앙 부분의 전방을 향하여 투사하도록 중앙 부분으로부터 특정 각도로 배치되는 제3 부분(즉, 제2 측면)(464)을 포함한다. 모바일 장치는 제1 중앙 부분(462)이 관찰자를 향하도록 설계된 주 디스플레이 스크린이고, 제2 부분(464) 및 제3 부분(466)은 관찰자를 부분적으로 둘러싸기 위해 관찰자를 향해 각지도록, 도 4d에 도시된 것과 유사한 구성으로 설계될 수 있다. 제1 부분이 수평 및 수직축을 갖는 수직면에 있도록 모바일 장치가 유지될 때, 제2 부분 및 제3 부분은 수평축을 따라 중앙 부분의 전방을 향해 각진다.
이 예에서, LF 디스플레이 시스템(450B)의 가시 부피(468B)는 중앙 부분의 전방에 있고 집합 표면(460)의 3개의 부분들에 의해 부분적으로 둘러싸인다. 도 4c에 도시된 구성과 유사하게, 2개의 측면 부분들(예를 들어, 제2 부분(464) 및 제3 부분(466))은 관찰자를 둘러싸고 주위 표면을 형성하도록 각진다. 주위 표면은 홀로그래픽 가시 부피(468B) 내의 임의의 관찰자의 관점으로부터 가시 FOV를 증가시킨다. 추가적으로, 주위 표면은 투사된 객체들이 더 가깝게 보이도록 가시 부피(468B)가 디스플레이의 표면에 더 가깝게 되게 한다. 즉, 측면들의 각진 배치는 시야를 증가시키고, 간격을 감소시키며, 집합 표면의 근접성을 증가시키며, 그에 따라 관찰자들에 대한 몰입형 경험을 증가시킨다. 또한, 아래에서 설명되는 바와 같이, 가시 부피(468B)의 크기 및 위치를 최적화하기 위해 편향 광학계가 사용될 수 있다.
집합 표면(460)의 측면 부분들의 경사진 구성은, 제3 부분(466)이 경사지지 않은 경우보다, 홀로그래픽 콘텐츠가 가시 부피(468B)에 더 가깝게 제공될 수 있게 한다. 예를 들어, 경사진 구성에서 LF 디스플레이 시스템으로부터 제공된 캐릭터의 하부 말단부(예를 들어, 다리)는 편평한 전면 디스플레이를 갖는 LF 디스플레이 시스템이 사용된 경우보다 더 가깝고 더 현실적으로 보일 수 있다.
또한, LF 디스플레이 시스템의 구성 및 그것이 위치되는 환경은 가시 부피들 및 가시 서브 부피들의 형태 및 위치들을 알려줄 수 있다.
예를 들어, 도 4e는 집합 표면(460)을 갖는 LF 디스플레이 시스템(450C)의 평면도를 도시한다. LF 디스플레이 시스템(450C)은 집합 표면(460)으로부터 다양한 광선들을 투사한다. 집합 표면(460)의 좌측으로부터 투사된 광선들은 수평 각도 범위(481)를 가지며, 집합 표면의 우측으로부터 투사된 광선들은 수평 각도 범위(482)를 가지며, 집합 표면(460)의 중심으로부터 투사된 광선들은 수평 각도 범위(483)를 가진다. 이러한 지점들 사이에서, 투사된 광선들은 각도 범위의 중간 값을 취할 수 있다. 이런 식으로 디스플레이 표면에 걸쳐 투사된 광선들에서 경사진 편향 각도를 갖는 것은 가시 부피(468C)를 생성한다.
LF 디스플레이 시스템의 제어
도 5는 하나 이상의 실시예들에 따른 LF 디스플레이 시스템(500)의 블록도이다. LF 디스플레이 시스템(500)은 LF 디스플레이 어셈블리(510) 및 컨트롤러(520)를 포함한다. LF 디스플레이 어셈블리(510)는 라이트필드(light field)를 투사하는 하나 이상의 LF 디스플레이 모듈들(512)을 포함한다. LF 디스플레이 모듈(512)은 다른 유형의 에너지를 투사 및/또는 감지하는 통합된 에너지 소스(들) 및/또는 에너지 센서(들)를 포함하는 소스/센서 시스템(514)을 포함할 수 있다. 컨트롤러(520)는 데이터 저장부(522), 네트워크 인터페이스(524), LF 처리 엔진(530), 명령 라이브러리(532), 및 보안 모듈(534)을 포함한다. 컨트롤러(520)는 또한, 추적 모듈(526), 및 사용자 프로파일링 모듈(528)을 포함할 수 있다. 일부 실시예들에서, LF 디스플레이 시스템(500)은 또한, 감각 피드백 시스템(570) 및 추적 시스템(580)을 포함한다. 도 1, 도 2, 도 3 및 도 4와 관련하여 설명된 LF 디스플레이 시스템들은 LF 디스플레이 시스템(500)의 실시예들이다. 다른 실시예들에서, LF 디스플레이 시스템(500)은 본원에 설명된 것들보다 더 많은 또는 더 적은 모듈들을 포함한다. 유사하게, 기능들은 본원에 설명된 것과 다른 방식으로 모듈들 및/또는 다른 엔티티들 중에 분배될 수 있다. LF 디스플레이 시스템(500)의 응용예들은 또한 도 6 내지 도 7과 관련하여 아래에서 상세히 설명된다.
LF 디스플레이 어셈블리(510)는 가시 부피 내에 위치된 관찰자들에게 보일 수 있는 홀로그래픽 객체 부피 내에 홀로그래픽 콘텐츠를 제공한다. LF 디스플레이 어셈블리(510)는 컨트롤러(520)로부터 수신된 디스플레이 명령들을 실행함으로써 홀로그래픽 콘텐츠를 제공할 수 있다. 홀로그래픽 콘텐츠는, LF 디스플레이 어셈블리(510)의 집합 표면의 전방에, LF 디스플레이 어셈블리(510)의 집합 표면 뒤에, 또는 이들의 일부 조합에 투사되는, 하나 이상의 홀로그래픽 객체들을 포함할 수 있다. 컨트롤러(520)를 이용하여 디스플레이 명령들을 생성하는 것은 이하에서 더 상세히 설명된다.
LF 디스플레이 어셈블리(510)는 LF 디스플레이 어셈블리(510)에 포함된 하나 이상의 LF 디스플레이 모듈들(예를 들면, LF 디스플레이 모듈(110), LF 디스플레이 시스템(200), 및 LF 디스플레이 모듈(300) 중 임의의 것)을 사용하여 홀로그래픽 콘텐츠를 제공한다. 편의상, 하나 이상의 LF 디스플레이 모듈들은 본원에서 LF 디스플레이 모듈(512)로 설명될 수 있다. LF 디스플레이 모듈(512)은 LF 디스플레이 어셈블리(510)를 형성하도록 타일링될 수 있다. LF 디스플레이 모듈들(512)은 다양한 이음매 없는 표면 환경들(예를 들어, 단일 면, 다면형, 만곡된 표면 등)로서 구성될 수 있다. 즉, 타일형 LF 디스플레이 모듈들은 집합 표면을 형성한다. 전술한 바와 같이, LF 디스플레이 모듈(512)은 홀로그래픽 콘텐츠를 제공하는 에너지 장치층(예를 들어, 에너지 장치층(220)) 및 에너지 도파층(예를 들어, 에너지 도파층(240))을 포함한다. 또한, LF 디스플레이 모듈(512)은 홀로그래픽 콘텐츠를 제공할 때 에너지 장치층과 에너지 도파층 간에 에너지를 전달하는 에너지 중계층(예를 들어, 에너지 중계층(230))을 포함할 수 있다.
또한, LF 디스플레이 모듈(512)은 전술한 바와 같이 에너지 투사 및/또는 에너지 감지를 위해 구성된 다른 통합 시스템들을 포함할 수 있다. 예를 들어, 라이트필드 디스플레이 모듈(512)은 에너지를 투사 및/또는 감지하도록 구성된 임의의 수의 에너지 장치들(예를 들어, 에너지 장치(340))을 포함할 수 있다. 편의상, LF 디스플레이 모듈(512)의 통합된 에너지 투사 시스템들 및 통합된 에너지 감지 시스템들은, 본원에서 집합적으로, 소스/센서 시스템(514)으로서 기술될 수 있다. 소스/센서 시스템(514)은 소스/센서 시스템(514)이 LF 디스플레이 모듈(512)과 동일한 이음매 없는 에너지 표면을 공유하도록LF 디스플레이 모듈(512) 내에 통합된다. 즉, LF 디스플레이 어셈블리(510)의 집합 표면은 LF 디스플레이 모듈(512) 및 소스/센서 모듈(514) 모두의 기능을 포함한다. 즉, 소스/센서 시스템(514)을 갖는 LF 디스플레이 모듈(512)을 포함하는 LF 어셈블리(510)는 라이트필드를 투사하면서 동시에 에너지를 투사 및/또는 감지할 수 있다. 예를 들어, LF 디스플레이 어셈블리(510)는 전술한 바와 같이 듀얼-에너지 표면 또는 양방향 에너지 표면으로서 구성된 LF 디스플레이 모듈(512) 및 소스/센서 시스템(514)을 포함할 수 있다.
일부 실시예들에서, LF 디스플레이 시스템(500)은 감각 피드백 시스템(570)을 이용하여, 생성된 홀로그래픽 콘텐츠를 다른 감각 콘텐츠(예를 들어, 조정된 터치, 오디오, 압력, 힘, 또는 후각)로 증강한다. 감각 피드백 시스템(570)은 컨트롤러(520)로부터 수신된 디스플레이 명령들을 실행함으로써 홀로그래픽 콘텐츠의 투사를 증강시킬 수 있다. 일반적으로, 감각 피드백 시스템(570)은 LF 디스플레이 어셈블리(510)(예를 들어, 감각 피드백 시스템(442)) 외부에 있는 임의의 개수의 감각 피드백 장치를 포함한다. 일부 예시적인 감각 피드백 장치는 조정된 음향 투사 및 수신 장치, 아로마 투사 장치, 온도 조절 장치, 힘 작동 장치, 압력 센서, 가속도계, 자이로스코프, 트랜스듀서 등을 포함할 수 있다. 일부 경우에, 감각 피드백 시스템(570)은 라이트필드 디스플레이 어셈블리(510)와 유사한 기능을 가질 수 있고, 그 반대도 가능하다. 예를 들어, 감각 피드백 시스템(570) 및 라이트필드 디스플레이 어셈블리(510) 모두는 소리 필드를 생성하도록 구성될 수 있다. 또 다른 예로서, 감각 피드백 시스템(570)은, 라이트필드 디스플레이(510) 어셈블리가 햅틱 표면을 생성하도록 구성되지 않는 동안, 햅틱 표면을 생성하도록 구성될 수 있다.
예를 들어, 라이트필드 디스플레이 시스템(500)의 예시적인 실시예에서, 감각 피드백 시스템(570)은 음향 투사 장치를 포함할 수 있다. 음향 투사 장치는 컨트롤러(520)로부터 수신된 디스플레이 명령들을 실행할 때 홀로그래픽 콘텐츠를 보완하는 하나 이상의 압력파를 생성하도록 구성된다. 생성된 압력파들은 예를 들어, 가청(소리의 경우), 초음파(터치의 경우), 또는 이들의 일부 조합일 수 있다. 유사하게, 감각 피드백 시스템(570)은 방향제 투사 장치를 포함할 수 있다. 방향제 투사 장치는 컨트롤러로부터 수신된 디스플레이 명령들을 실행할 때 타겟 영역의 일부 또는 전부에 향기를 제공하도록 구성될 수 있다. 또한, 감각 피드백 시스템(570)은 온도 조절 장치를 포함할 수 있다. 온도 조절 장치는 컨트롤러(520)로부터 수신된 디스플레이 명령들을 실행할 때 타겟 영역의 일부 또는 전부에서 온도를 증가 또는 감소시키도록 구성된다.
일부 실시예들에서, 감각 피드백 시스템(570)은 힘 작동 장치를 포함할 수 있다. 힘 작동 장치는 타겟 영역 내의 일부 물리적 객체들을 이동시키기 위해 사용될 수 있다. 일 예에서, LF 디스플레이 시스템(500)은 다중 감각 게임 애플리케이션과 통합될 수 있고, 여기서 힘 작동 장치는 게임과 연관된 조각들을 이동시킬 수 있다.
일부 실시예들에서, 감각 피드백 시스템(570)은 LF 디스플레이 시스템(500)의 관찰자들로부터 입력을 수신하도록 구성된다. 이러한 경우에, 감각 피드백 시스템(570)은 관찰자들로부터 입력을 수신하기 위한 다양한 감각 피드백 장치들을 포함한다. 감각 피드백 장치들은 음향 수신 장치(예를 들어, 마이크), 압력 센서, 모션 검출기, 초음파 트랜스듀서, 다른 트랜스듀서, 힘 센서, 온도 센서, 터치 센서, 근접 센서 등과 같은 장치들을 포함할 수 있다. 센서 피드백 시스템은 또한 버튼, 다이얼, 노브, 키패드, 지문 센서, 조이스틱, 기타 입력 하드웨어, 또는 이들의 임의의 조합으로 구성될 수 있다. 감각 피드백 시스템(570)은 홀로그래픽 콘텐츠가 제공될 때 감각 피드백을 제공하도록 구성되는 감각 피드백 장치들을 포함할 수 있다. 감각 피드백 시스템은 홀로그래픽 콘텐츠 및/또는 감각 피드백을 조정하기 위해 검출된 입력을 컨트롤러(520)에 전송할 수 있다. 일부 실시예들에서, 감각 피드백 시스템(570)은 관찰자들로부터 수신된 입력을, 관찰자로부터 모바일 장치로의 수신된 명령으로서 식별한다.
예를 들어, 라이트필드 디스플레이 어셈블리의 예시적인 실시예에서, 감각 피드백 시스템(570)은 마이크를 포함한다. 마이크는 모바일 장치 사용자에 의해 생성된 오디오를 녹음하도록 구성된다. 감각 피드백 시스템(570)은 녹음된 오디오를 사용자 입력으로서 컨트롤러(520)에 제공한다. 컨트롤러(520)는 홀로그래픽 콘텐츠를 생성하기 위해 사용자 입력을 사용할 수 있다. 유사하게, 감각 피드백 시스템(570)은 압력 센서를 포함할 수 있다. 압력 센서는 사용자에 의해 압력 센서로 인가되는 힘을 측정하도록 구성된다. 감각 피드백 시스템(570)은 측정된 힘을 사용자 입력으로서 컨트롤러(520)에 제공할 수 있다.
일부 실시예들에서, 감각 피드백 어셈블리(570)는 또한 사용자의 움직임을 리디렉션하도록 구성된다. 일 실시예에서, 감각 피드백 어셈블리(570)는, 예를 들어, 카메라 센서들이 능동적으로 이미지 데이터를 기록하는 동안 추적 시스템(580)이 모바일 장치 카메라들을 차단하는 사용자 손의 존재를 추적하는 것과 같이, 이동을 억제하기 위해 촉각적 압력파를 생성할 수 있는 음향 투사 장치를 포함한다. 다른 실시예에서, 감각 피드백 어셈블리(570)는 추가적인 동작을 하는 사용자에게 청각적으로 신호를 보내기 위해 음향 방출 장치를 사용할 수 있다(예를 들어, "카메라가 녹화 중입니다 - 카메라를 가리지 마세요").
일부 실시예들에서, LF 디스플레이 시스템(500)은 추적 시스템(580)을 포함한다. 추적 시스템(580)은 위치, 움직임, 제스처, 표정, 시선, 및/또는 타겟 영역 내의 사용자들의 성별 및 연령과 같은 특성을 포함하는, 장치의 사용자에 관한 정보를 획득하도록 구성된 임의의 수의 추적 장치들을 포함한다. 일반적으로, 추적 장치들은 LF 디스플레이 어셈블리(510)의 외부에 있다. 일부 예시적인 추적 장치들은 카메라 어셈블리("카메라"), 깊이 센서, 구조화된 광, LIDAR 시스템, 카드 스캐닝 시스템, 또는 타겟 영역 내의 사용자를 추적할 수 있는 임의의 다른 추적 장치를 포함한다.
추적 시스템(580)은 타겟 영역의 일부 또는 전부에 빛을 비추는 하나 이상의 에너지 소스들을 포함할 수 있다. 그러나, 일부 경우에, 타겟 영역은 홀로그래픽 콘텐츠를 제공할 때 LF 디스플레이 어셈블리(510)로부터의 자연 광 및/또는 주변광으로 조명된다. 에너지 소스는 컨트롤러(520)로부터 수신된 명령들을 실행할 때 광을 투사한다. 광은 예를 들어, 구조화된 광 패턴, 빛의 펄스(예를 들어, IR 플래시), 또는 이들의 일부 조합일 수 있다. 추적 시스템은 가시 대역(~380 nm 내지 750 nm), 적외선(IR) 대역(~750 nm 내지 1700 nm), 자외선 대역(10 nm 내지 380 nm), 전자기 스펙트럼의 일부 다른 부분, 또는 이들의 일부 조합의 광을 투사할 수 있다. 소스는 예를 들어, 발광 다이오드(LED), 마이크로 LED, 레이저 다이오드, TOF 깊이 센서, 튜닝가능한 레이저 등을 포함할 수 있다.
추적 시스템(580)은 컨트롤러(520)로부터 수신된 명령들을 실행할 때 하나 이상의 방출 파라미터를 조절할 수 있다. 방출 파라미터는 추적 시스템(580)의 소스로부터 광이 어떻게 투사되는지에 영향을 주는 파라미터이다. 방출 파라미터는 예를 들어, 밝기, 펄스 속도(연속적인 조명을 포함하기 위함), 파장, 펄스 길이, 광이 소스 어셈블리로부터 어떻게 투사되는지에 영향을 주는 일부 다른 파라미터, 또는 이들의 일부 조합을 포함할 수 있다. 일 실시예에서, 소스는 비행 시간(time-of-flight) 동작으로 광의 펄스들을 투사한다.
추적 시스템(580)의 카메라는 타겟 영역으로부터 반사된 광(예를 들어, 구조화된 광 패턴)의 이미지들을 캡처한다. 카메라는 컨트롤러(520)로부터 수신된 추적 명령들을 실행할 때 이미지들을 캡처한다. 전술한 바와 같이, 광은 추적 시스템(580)의 소스에 의해 투사될 수 있다. 카메라는 하나 이상의 카메라들을 포함할 수 있다. 즉, 카메라는 예를 들어, 포토다이오드들의 어레이(1D 또는 2D), CCD 센서, CMOS 센서, 추적 시스템(580)에 의해 광 투사의 일부 또는 전부를 검출하는 일부 다른 장치, 또는 이들의 일부 조합일 수 있다. 일 실시예에서, 추적 시스템(580)은 LF 디스플레이 어셈블리(510)의 외부에 있는 라이트필드 카메라를 포함할 수 있다. 다른 실시예들에서, 카메라는 LF 디스플레이 어셈블리(510)에 포함된 LF 디스플레이 모듈의 일부로서 포함된다. 예를 들어, 전술한 바와 같이, 라이트필드 모듈(512)의 에너지 중계 요소가 에너지 장치층(220)에서 발광 디스플레이 및 이미징 센서 모두를 인터리빙하는 양방향 에너지 층인 경우, LF 디스플레이 어셈블리(510)는 라이트필드를 투사하고 동시에 디스플레이 전방의 가시 영역으로부터의 이미징 정보를 기록하도록 구성될 수 있다. 일 실시예에서, 양방향 에너지 표면으로부터의 캡처된 이미지들은 라이트필드 카메라를 형성한다. 카메라는 캡처된 이미지들을 컨트롤러(520)에 제공한다.
추적 시스템(580)의 카메라는 컨트롤러(520)로부터 수신된 추적 명령들을 실행할 때 하나 이상의 이미징 파라미터들을 조절할 수 있다. 이미징 파라미터는 카메라 어셈블리가 이미지들을 캡처하는 방식에 영향을 주는 파라미터이다. 이미징 파라미터는 예를 들어, 프레임 레이트, 구경, 게인, 노출 길이, 프레임 타이밍, 카메라 어셈블리가 이미지들을 캡처하는 방식에 영향을 주는 일부 다른 파라미터, 또는 이들의 일부 조합을 포함할 수 있다.
일부 실시예들에서, 추적 시스템(580)은 또한 LF 디스플레이 시스템(500)의 관찰자들로부터 입력을 수신하도록 구성된다. 추적 시스템(580)은 관찰자의 신체 움직임을 추적하고, 특정한 추적된 움직임에 관한 정보를 컨트롤러(520)에 전송할 수 있다. 일부 실시예들에서, 추적 시스템(580)은 사용자에게 제공되는 홀로그래픽 사용자 인터페이스와 협력하여 사용된다.
컨트롤러(520)는 LF 디스플레이 어셈블리(510) 및 LF 디스플레이 시스템(500)의 임의의 다른 구성요소를 제어한다. 컨트롤러(520)는 데이터 저장부(522), 네트워크 인터페이스(524), 추적 모듈(526), 사용자 프로파일링 모듈(528), 라이트필드 처리 엔진(530), 및 명령 라이브러리(532)를 포함한다. 다른 실시예들에서, 컨트롤러(520)는 본원에 설명된 것들보다 더 많은 또는 더 적은 모듈들을 포함한다. 유사하게, 기능들은 본원에 설명된 것과 다른 방식으로 모듈들 및/또는 다른 엔티티들 중에 분배될 수 있다. 예를 들어, 추적 모듈(526)은 LF 디스플레이 어셈블리(510) 또는 추적 시스템(580)의 일부일 수 있다.
데이터 저장부(522)는 LF 디스플레이 시스템(500)에 대한 정보를 저장하는 메모리이다. 저장된 정보는 디스플레이 명령, 추적 명령, 방출 파라미터, 이미징 파라미터, 타겟 영역의 가상 모델, 추적 정보, 카메라에 의해 캡처된 이미지, 하나 이상의 사용자 프로파일, 라이트필드 디스플레이 어셈블리(510)를 위한 보정 데이터, LF 모듈들(512)의 해상도 및 방향을 포함하는 LF 디스플레이 시스템(510)에 대한 구성 데이터, 원하는 가시 부피의 기하학적 형상, 3D 모델, 장면 및 환경을 포함하는 그래픽 생성을 위한 콘텐츠, 재료 및 텍스처, 패스워드와 같은 인증 인자를 포함하는 보안 관련 정보, 스마트 카드, 보안 모듈(534)에 의해 사용될 수 있는 생체인식 데이터, LF 디스플레이 시스템(500)에 의해 사용될 수 있는 기타 정보, 또는 이들의 일부 조합을 포함할 수 있다. 데이터 저장부(522)는 읽기 전용 메모리(ROM), 동적 랜덤 액세스 메모리(DRAM), 정적 랜덤 액세스 메모리(SRAM), 또는 이들의 몇몇 조합과 같은 메모리이다.
네트워크 인터페이스(524)는 라이트필드 디스플레이 시스템이 네트워크를 통해 다른 시스템들 또는 환경들과 통신하게 한다. 일 예에서, LF 디스플레이 시스템(500)은 네트워크 인터페이스(524)를 통해 온라인 홀로그래픽 콘텐츠 저장부와 같은 원격 서버로부터 홀로그래픽 콘텐츠를 수신한다. 다른 예에서, LF 디스플레이 시스템(500)은 네트워크 인터페이스(524)를 사용하여 홀로그래픽 콘텐츠를 원격 데이터 저장부에 전송한다.
추적 모듈(526)은 LF 디스플레이 시스템(500)에 의해 제공되는 콘텐츠를 관찰하는 관찰자들을 추적한다. 이를 위해, 추적 모듈(526)은 추적 시스템(580)의 소스(들) 및/또는 카메라(들)의 동작을 제어하는 추적 명령들을 생성하고, 추적 시스템(580)에 추적 명령들을 제공한다. 추적 시스템(580)은 추적 명령들을 실행하고 추적 모듈(526)에 추적 입력을 제공한다.
추적 모듈(526)은 모바일 장치의 타겟 영역 내의 하나 이상의 관찰자들의 위치를 결정할 수 있다. 결정된 위치는 일부 기준점(예를 들어, 디스플레이 표면)에 대해 상대적일 수 있다. 다른 실시예들에서, 결정된 위치는 타겟 영역의 가상 모델 내에 있을 수 있다. 추적되는 위치는, 예를 들어, 관찰자의 추적된 위치 및/또는 관찰자의 일 부분의 추적된 위치(예를 들어, 눈 위치, 손 위치 등)일 수 있다. 추적 모듈(526)은 추적 시스템(580)의 카메라들로부터 하나 이상의 캡처된 이미지들을 사용하여 위치를 결정한다. 추적 시스템(580)의 카메라들은 LF 디스플레이 시스템(500) 주위에 분포될 수 있고, 스테레오 내의 이미지들을 캡처할 수 있으며, 추적 모듈(526)이 사용자들을 수동적으로 추적할 수 있게 한다. 다른 실시예들에서, 추적 모듈(526)은 사용자들을 능동적으로 추적한다. 즉, 추적 시스템(580)은 타겟 영역의 일부 부분을 비추고, 타겟 영역을 이미징하며, 추적 모듈(526)은 비행시간 및/또는 구조화된 광 깊이 결정 기술들을 이용하여 위치를 결정한다. 추적 모듈(526)은 결정된 위치들을 이용하여 추적 정보를 생성한다.
추적 모듈(526)은 또한 예를 들어, (이하 더 설명되는) 모바일 장치 상의 홀로그래픽 사용자 인터페이스를 사용하는 동안에, LF 디스플레이 시스템(500)의 관찰자들로부터의 입력으로서 추적 정보를 수신할 수 있다. 추적 정보는 사용자가 LF 디스플레이 시스템(500)에 의해 제공되는 다양한 입력 옵션들에 대응하는 신체 움직임들을 포함할 수 있다. 예를 들어, 추적 모듈(526)은 사용자의 신체 움직임을 추적하고, 다양한 움직임들 중 임의의 것을 LF 처리 엔진(530)에 대한 입력으로서 할당할 수 있다. 추적 모듈(526)은 추적 정보를 데이터 저장부(522), LF 처리 엔진(530), 사용자 프로파일링 모듈(528), 명령 저장부(532), LF 디스플레이 시스템(500)의 임의의 다른 구성요소, 또는 이들의 일부 조합에 제공할 수 있다. LF 처리 엔진(530)은 제공된 추적 정보에 부분적으로 기초하여 홀로그래픽 콘텐츠를 생성할 수 있다.
추적 모듈(526)에 대한 컨텍스트를 제공하기 위해, 모바일 장치 내에서 게임 애플리케이션에 사용되는 LF 디스플레이 시스템(500)의 예시적인 실시예를 고려한다. 사용자가 자신의 흥분을 나타내기 위해서 자신의 주먹을 공중으로 뻗음으로써 승리에 반응할 때, 추적 시스템(580)은 사용자의 손의 움직임을 기록하고 해당 기록을 추적 모듈(526)에 전송할 수 있다. 추적 모듈(526)은 기록에서 사용자의 손의 움직임을 추적하고, 입력을 아래에서 설명되는 LF 처리 엔진(530)으로 전송한다. 후술하는 바와 같이, 사용자 프로파일링 모듈(528)은 이미지 내의 정보가 사용자의 손의 움직임이 긍정적 반응과 연관되어 있음을 나타내는 것으로 결정한다. 따라서, LF 처리 엔진(530)은 승리를 축하하기 위해 적절한 홀로그래픽 콘텐츠를 생성한다. 예를 들어, LF 처리 엔진(530)은 게임 애플리케이션과 관련하여 홀로그래픽 객체 부피에 컨페티(confetti)를 투사할 수 있다.
LF 디스플레이 시스템(500)은 장치 사용자들을 식별하고 프로파일링하도록 구성된 사용자 프로파일링 모듈(528)을 포함한다. 사용자 프로파일링 모듈(528)은 LF 디스플레이 시스템(500)에 의해 디스플레이되는 홀로그래픽 콘텐츠를 관찰하는 사용자(또는 사용자들)의 프로파일을 생성한다. 사용자 프로파일 모듈(528)은 사용자 입력 및 모니터링된 사용자 행동, 동작, 및 반응에 부분적으로 기초하여 사용자 프로파일을 생성한다. 사용자 프로파일링 모듈(528)은 추적 시스템(580)(예를 들어, 기록된 이미지, 비디오, 소리 등)으로부터 획득된 정보에 액세스하고, 해당 정보를 처리하여 다양한 정보를 결정할 수 있다. 다양한 예들에서, 사용자 프로파일링 모듈(528)은 사용자 행동, 동작 및 반응을 결정하기 위해 머신 비전 또는 머신러닝 알고리즘들을 사용할 수 있다. 모니터링된 사용자 행동은, 예를 들어, 미소, 응원, 박수, 웃음, 두려움, 비명, 흥분 레벨, 움츠림, 제스처의 다른 변화, 또는 사용자들의 움직임 등을 포함할 수 있다.
보다 일반적으로, 사용자 프로파일은 LF 디스플레이 시스템으로부터의 홀로그래픽 콘텐츠를 보는 사용자에 대해 수신 및/또는 결정된 임의의 정보를 포함할 수 있다. 예를 들어, 각각의 사용자 프로파일은 LF 디스플레이 시스템(500)에 의해 디스플레이되는 콘텐츠에 대해 해당 사용자의 동작들 또는 반응들을 기록(log)할 수 있다. 사용자 프로파일에 포함될 수 있는 일부 예시적인 정보는 아래에서 제공된다.
사용자 프로파일은 LF 디스플레이 시스템(500)에 의해 디스플레이되는 콘텐츠에 대한 사용자의 행동에 기초할 수 있다. 일부 실시예들에서, 장치 내에 존재하는 소프트웨어 애플리케이션들은 LF 디스플레이 시스템(500)과 기능적으로 통합될 수 있고, 사용자 프로파일은 장치에서 이러한 소프트웨어 애플리케이션들을 실행하는 동안 모니터링되는 사용자 행동에 기초한다.
따라서, 예를 들어, 모니터링된 행동은 사용자가 하루 또는 일주일과 같은 기간 내에 애플리케이션을 사용하는 횟수, 사용자가 얼마나 자주 애플리케이션 상의 특정 설정을 사용하는지(예를 들어, 장치에서 특정 퍼즐게임 애플리케이션과 함께 "레벨 8설정"이 얼마나 자주 사용되는지), 사용자가 특정 유형의 홀로그래픽 콘텐츠에 어떻게 반응하는지(예를 들어, 시계 알람 애플리케이션에서, 사용자에 대해 선호되는 설정이 무엇인지, 고 주파수 휘파람을 동반하는 플래시 버튼의 홀로그래픽 이미지 또는 단지 플래시 버튼의 홀로그래픽 이미지), 특정 장치의 사용에 관련된 일부 다른 행동, 또는 이들의 조합과 같은 특징들을 포함할 수 있다.
다른 예에서, 사용자는 홀로그래픽 콘텐츠와 관련하여 제공되는 햅틱 인터페이스에 대한 선호도, 예를 들어, LF 디스플레이 시스템(100)에 의해 생성될 수 있고 모바일 장치 사용자에게 옵션으로서 제공될 수 있는 홀로그래픽 키보드 터치 인터페이스에서의 선호되는 키 클릭 감도를 나타낼 수 있다.
사용자 프로파일 정보의 일부로서 저장된 다른 사용자 특성은 예를 들어, 사용자의 이름, 사용자의 나이, 인종, 성별, 관찰 위치, 업무 정보, 교육, 수입, 구매에 소비된 금액, 취미, 위치, 시청 이력, 시청된 온라인 항목들의 카테고리들, 구매 이력, 장치 및 애플리케이션 설정 선호도, 거주지 위치, 임의의 다른 인구통계 정보, 또는 이들의 일부 조합을 포함할 수 있다.
사용자 프로파일링 모듈(528)은 또한 사용자 프로파일을 구축 및/또는 업데이트하기 위해 제3자 시스템 또는 온라인 시스템들로부터 특정 사용자(또는 사용자들)와 연관된 프로파일에 액세스할 수 있다. 사용자 프로파일링 모듈(528)은 사용자(또는 사용자들)의 소셜 미디어 계정으로부터의 정보를 이용하여 사용자 프로파일을 업데이트하도록 구성될 수 있다. 예를 들어, 사용자의 소셜 미디어 또는 다른 온라인 계정들에 링크되어 있는 제3자 벤더들과의 사용자 상호작용들은 사용자 프로파일링 모듈(528)에 의해 액세스될 수 있는 추가의 사용자 프로파일 정보를 제공할 수 있다. 따라서, 사용자 프로파일 정보는 좋아하는 뮤지션, 좋아하는 영화 캐릭터, 좋아하지 않는 음악 장르 등과 같은 정보를 저장하고, 이 정보를 온라인 홀로그래픽 콘텐츠 저장부로부터의 콘텐츠에 액세스하는 데 활용할 수 있다.
일부 실시예들에서, 데이터 저장부(522)는 사용자 프로파일링 모듈(528)에 의해 생성되고, 업데이트되고, 및/또는 유지되는 사용자 프로파일들을 저장하는 사용자 프로파일 저장부를 포함한다. 사용자 프로파일은 사용자 프로파일링 모듈(528)에 의해 임의의 시간에 데이터 저장부에서 업데이트될 수 있다. 예를 들어, 일 실시예에서, 사용자 프로파일 저장부는 특정 사용자가 LF 디스플레이 시스템(500)에 의해 제공되는 홀로그래픽 콘텐츠를 볼 때 그들의 사용자 프로파일에 있는 특정 사용자에 관한 정보를 수신 및 저장한다. 이 예에서, 사용자 프로파일링 모듈(528)은 사용자들을 인식할 수 있는 얼굴 인식 알고리즘을 포함하고, 사용자들이 제시된 홀로그래픽 콘텐츠를 바라볼 때 긍정 식별할 수 있다. 예를 들어, 사용자가 LF 디스플레이 시스템(500)의 타겟 영역에 진입함에 따라, 추적 시스템(580)은 사용자의 이미지를 획득한다. 사용자 프로파일링 모듈(528)은 캡처된 이미지를 입력하고, 얼굴 인식 알고리즘을 이용하여 사용자의 얼굴을 식별한다. 식별된 얼굴은 프로파일 저장부 내의 사용자 프로파일과 연관되며, 그에 따라, 해당 사용자에 대해 획득된 모든 입력 정보가 그들의 프로파일에 저장될 수 있다. 사용자 프로파일링 모듈은 또한, 사용자를 긍정적으로 식별하기 위해 카드 식별 스캐너, 음성 식별자, 무선-주파수 식별(RFID) 칩 스캐너, 바코드 스캐너 등을 이용할 수 있다.
사용자 프로파일링 모듈(528)이 사용자들을 긍정적으로 식별할 수 있기 때문에, 사용자 프로파일링 모듈(528)은 각각의 사용자에 관한 정보뿐만 아니라, LF 디스플레이 시스템(500)의 각각의 사용자를 결정할 수 있다. 이는 모바일 장치가 예를 들어, 교실 설정에서 다수의 학생들에 의해, 또는 가족 내에서, 공유된 사용을 갖는 모바일 태블릿 장치들과 같이, 다수의 사용자들에 의해 공유될 수 있는 경우에 특히 적절하다. 그 후, 사용자 프로파일링 모듈(528)은 각각의 사용자에 대한 사용자 프로파일 내의 각각의 방문의 시간 및 날짜를 저장할 수 있다. 유사하게, 사용자 프로파일링 모듈(528)은 사용자로부터 수신된 감각 피드백 시스템(570), 추적 시스템(580) 및/또는 LF 디스플레이 어셈블리(510)의 임의의 조합으로부터의 입력들이 발생할 때마다 그들을 저장할 수 있다. 사용자 프로파일 시스템(528)은 또한 사용자 프로파일과 함께 저장될 수 있는 컨트롤러(520)의 다른 모듈들 또는 구성요소들로부터 특정 사용자에 관한 추가적인 정보를 수신할 수 있다. 그 후, 컨트롤러(520)의 다른 구성요소들은 또한 해당 사용자에게 제공될 후속 콘텐츠를 결정하기 위해, 저장된 사용자 프로파일들에 액세스할 수 있다. 컨트롤러(520)는 저장된 사용자 프로파일들로부터 적어도 부분적으로 액세스된 데이터에 기초하여 홀로그래픽 콘텐츠를 수신 또는 생성하도록 구성될 수 있다. 예를 들어, 가족 내의 10대를 위해 생성된 사용자 인터페이스는 그녀가 좋아하는 홀로그래픽 만화책 수퍼 히어로의 아바타를 사용하여 구두 명령을 수신할 수 있는 반면, 할아버지를 위해 생성된 사용자 인터페이스는 "푸시(push)"를 용이하게 하기 위해 일치하는 촉각 자극을 갖는 버튼들의 큰 렌더링이 쉽게 보일 수 있는, 확대된 반짝이는 홀로그래픽 인터페이스일 수 있다.
LF 처리 엔진(530)은, LF 디스플레이 어셈블리(510)에 의해 실행될 때, LF 디스플레이 어셈블리(510)로 하여금 홀로그래픽 콘텐츠를 제공하게 하는 래스터화된 포맷("래스터화된 데이터")으로 4D 좌표들을 생성한다. LF 처리 엔진(530)은 데이터 저장부(522)로부터 래스터화된 데이터에 액세스할 수 있다. 추가적으로, LF 처리 엔진(530)은 벡터화된 데이터 세트로부터 래스터화된 데이터를 구성할 수 있다. 벡터화된 데이터는 이하에 설명된다. LF 처리 엔진(530)은 또한, 홀로그래픽 객체들을 증강시키는 감각 콘텐츠를 제공하기 위해 필요한 감각 명령들을 생성할 수 있다. 전술한 바와 같이, 감각 명령들은 LF 디스플레이 시스템(500)에 의해 실행될 때, 햅틱 표면들, 소리 필드들, 및 LF 디스플레이 시스템(500)에 의해 지원되는 다른 형태의 감각 에너지를 생성할 수 있다. LF 처리 엔진(530)은 데이터 저장부(522)로부터의 감각 명령들에 액세스하거나, 감각 명령들을 구성하여 벡터화된 데이터 세트를 형성할 수 있다. 종합하면, 4D 좌표들 및 감각 데이터는 홀로그래픽 및 감각 콘텐츠를 생성하기 위해 LF 디스플레이 시스템에 의해 실행될 수 있는 디스플레이 명령들로서 홀로그래픽 데이터를 나타낸다.
LF 디스플레이 시스템(500) 내의 다양한 에너지 소스들을 통한 에너지의 흐름을 기술하는 래스터화된 데이터의 양은 매우 크다. 데이터 저장부(522)로부터 액세스될 때 LF 디스플레이 시스템(500) 상에 래스터화된 데이터를 디스플레이할 수 있지만, LF 디스플레이 시스템(500) 상에서 효율적으로 전송하고 수신하며(예를 들어, 네트워크 인터페이스(524)를 통해), 이어서 래스터화된 데이터를 디스플레이할 수는 없다. 예를 들어, LF 디스플레이 시스템(500)에 의한 홀로그래픽 투사를 위한 짧은 비디오를 나타내는 래스터화된 데이터를 예로 들 수 있다. 이 예에서, LF 디스플레이 시스템(500)은 수 기가비트 픽셀들을 포함하는 디스플레이를 포함하고, 래스터화된 데이터는 디스플레이 상의 각각의 픽셀 위치에 대한 정보를 포함한다. 래스터화된 데이터의 대응하는 크기는 방대하며(예를 들어, 비디오 디스플레이 시간의 초당 수 기가바이트), 네트워크 인터페이스(524)를 통해 상업용 네트워크 상에서는 효율적인 전송을 위해 관리되지 못할 수 있다. 효율적인 전송의 문제는 홀로그래픽 콘텐츠의 라이브 스트리밍을 포함하는 응용들에서 증폭될 수 있다. 데이터 저장부(522) 상에 래스터화된 데이터를 단지 저장하는 추가적인 문제점은, 감각 피드백 시스템(570) 또는 추적 모듈(526)로부터의 입력들을 이용하여 반응형 경험이 요구될 때 발생한다. 반응형 경험을 가능하게 하기 위해, LF 처리 엔진(530)에 의해 생성된 라이트필드 콘텐츠는 감각 또는 추적 입력에 응답하여 실시간으로 변경될 수 있다. 즉, 일부 경우에, LF 콘텐츠는 단순히 데이터 저장부(522)로부터 판독되지 못할 수 있다.
따라서, 일부 구성들에서, LF 디스플레이 시스템(500)에 의해 디스플레이하기 위한 홀로그래픽 콘텐츠를 나타내는 데이터는 벡터화된 데이터 포맷("벡터화된 데이터")으로 LF 처리 엔진(530)에 전송될 수 있다. 벡터화된 데이터는 래스터화된 데이터보다 여러 배(order)만큼 더 작을 수 있다. 또한, 벡터화된 데이터는 데이터의 효율적인 공유를 가능하게 하는 데이터 세트 크기를 가지면서 높은 이미지 품질을 제공한다. 예를 들어, 벡터화된 데이터는 보다 밀도 높은 데이터 세트로부터 도출된 희소 데이터 세트일 수 있다. 따라서, 벡터화된 데이터는, 조밀한 래스터화된 데이터로부터 얼마나 희소한 벡터화된 데이터가 샘플링되는지에 기초하여, 이미지 품질과 데이터 전송 크기 사이에 조정 가능한 균형을 가질 수 있다. 벡터화된 데이터를 생성하기 위한 조정 가능한 샘플링은 주어진 네트워크 속도에 대한 이미지 품질의 최적화를 가능하게 한다. 결과적으로, 벡터화된 데이터는 네트워크 인터페이스(524)를 통해 홀로그래픽 콘텐츠의 효율적인 전송을 가능하게 한다. 벡터화된 데이터는 또한 홀로그래픽 콘텐츠가 상용 네트워크를 통해 라이브 스트리밍될 수 있게 한다.
요약하면, LF 처리 엔진(530)은 데이터 저장부(522)로부터 액세스된 래스터화된 데이터, 데이터 저장부(522)로부터 액세스된 벡터화된 데이터, 또는 네트워크 인터페이스(524)를 통해 수신된 벡터화된 데이터로부터 도출된 홀로그래픽 콘텐츠를 생성할 수 있다. 다양한 구성들에서, 벡터화된 데이터는 데이터 전송 전에 인코딩될 수 있고, LF 컨트롤러(520)에 의한 수신 후에 디코딩될 수 있다. 일부 예들에서, 벡터화된 데이터는 데이터 압축과 관련된 추가된 데이터 보안 및 성능 향상을 위해 인코딩된다. 예를 들어, 네트워크 인터페이스에 의해 수신된 벡터화된 데이터는 홀로그래픽 스트리밍 애플리케이션으로부터 수신된 인코딩된 벡터화된 데이터일 수 있다. 일부 예들에서, 벡터화된 데이터 내의 인코딩된 정보 콘텐츠에 액세스하기 위해, 벡터화된 데이터는 디코더, LF 처리 엔진(530), 또는 이들 모두를 필요로 할 수 있다. 인코더 및/또는 디코더 시스템들은 고객들에게 이용 가능하거나 제3자 벤더들에게 라이센스 부여될 수 있다.
벡터화된 데이터는, 대화형 경험을 지원할 수 있는 방식으로 LF 디스플레이 시스템(500)에 의해 지원되는 각각의 감각 도메인에 대한 모든 정보를 포함한다. 예를 들어, 대화형 홀로그래픽 경험에 대한 벡터화된 데이터는 LF 디스플레이 시스템(500)에 의해 지원되는 각각의 감각 도메인에 대한 정확한 물리적 특성을 제공할 수 있는 임의의 벡터화된 속성들을 포함할 수 있다. 벡터화된 속성들은 합성적으로 프로그램되고, 캡처되며, 컴퓨터로 평가되는 등일 수 있는 임의의 속성들을 포함할 수 있다. LF 처리 엔진(530)은 벡터화된 데이터 내의 벡터화된 속성들을 래스터화된 데이터로 변환하도록 구성될 수 있다. 그 후, LF 처리 엔진(530)은 LF 디스플레이 어셈블리(510)를 사용하여, 벡터화된 데이터로부터 변환된 홀로그래픽 콘텐츠를 투사할 수 있다. 다양한 구성들에서, 벡터화된 속성들은 하나 이상의 적색/녹색/청색/알파 채널(RGBA) + 깊이 이미지, 하나의 고해상도 중심 이미지 및 더 낮은 해상도의 다른 뷰들을 포함할 수 있는 다양한 해상도에서 깊이 정보를 갖거나 갖지 않는 다중 뷰 이미지들, 알베도 및 반사도와 같은 재료 특성, 표면 법선, 다른 광학적 효과, 표면 식별, 기하학적 객체 좌표, 가상 카메라 좌표, 디스플레이 평면 위치, 조명 좌표, 표면에 대한 촉각적 강성(stiffness), 촉각적 연성, 촉각적 강도, 소리 필드의 진폭 및 좌표, 환경 조건, 텍스처에 대한 기계 수용체와 관련된 체성감각 에너지 벡터, 또는 온도, 청각 및 임의의 다른 감각 도메인 속성을 포함할 수 있다. 많은 다른 벡터화된 속성들이 또한 가능하다.
LF 디스플레이 시스템(500)은 또한 대화형 관찰 경험을 생성할 수 있다. 즉, 홀로그래픽 콘텐츠는 사용자 위치, 제스처, 상호작용, 홀로그래픽 콘텐츠와의 상호작용, 또는 사용자 프로파일링 모듈(528) 및/또는 추적 모듈(526)로부터 도출된 다른 정보를 포함하는 입력 자극에 응답할 수 있다. 예를 들어, 일 실시예에서, LF 처리 시스템(500)은 네트워크 인터페이스(524)를 통해 장치 상에서 라이브 스트리밍 애플리케이션의 일부로서 수신된 실시간 성능의 벡터화된 데이터를 이용하여 반응형 관찰 경험을 생성한다. 다른 예에서, 홀로그래픽 객체가 사용자 상호작용에 응답하여 즉시 특정 방향으로 이동할 필요가 있는 경우, LF 처리 엔진(530)은 장면의 렌더링을 업데이트하여 홀로그래픽 객체가 그 요구된 방향으로 이동하게 할 수 있다. 이는 LF 처리 엔진(530)으로 하여금 사용자 상호작용에 정확하게 응답하기 위해 벡터화된 데이터 세트를 사용하여 적절한 객체 배치 및 이동, 충돌 검출, 폐색(occlusion), 컬러, 음영, 조명 등을 갖는 3D 그래픽 장면에 기초하여 실시간으로 라이트필드를 렌더링하도록 요구할 수 있다. LF 처리 엔진(530)은 벡터화된 데이터를 LF 디스플레이 어셈블리(510)에 의한 표시를 위해 래스터화된 데이터로 변환한다.
래스터화된 데이터는 실시간 성능을 나타내는 홀로그래픽 콘텐츠 명령들 및 감각 명령들(디스플레이 명령들)을 포함한다. LF 디스플레이 어셈블리(510)는 디스플레이 명령들을 실행함으로써 실시간 공연의 홀로그래픽 및 감각 콘텐츠를 동시에 투사한다. LF 디스플레이 시스템(500)은 추적 모듈(526) 및 사용자 프로파일링 모듈(528)을 이용하여 제공된 실시간 성능으로 사용자 상호작용(예를 들어, 음성 응답, 터치 등)을 모니터링한다. 사용자 상호작용에 응답하여, LF 처리 엔진은 사용자들에게 디스플레이하기 위해 추가적인 홀로그래픽 콘텐츠 및/또는 감각 콘텐츠를 생성함으로써 대화형 경험을 생성한다.
설명을 위해, 모바일 장치에서 애플리케이션의 실행 동안, 모바일 장치의 사용자의 가시 부피 내에 떠있는 풍선들을 나타낸 복수의 홀로그래픽 객체들을 생성하는, LF 처리 엔진(530)을 포함하는 LF 디스플레이 시스템(500)의 예시적인 실시예를 고려한다. 사용자는 풍선을 나타내는 홀로그래픽 객체를 터치하기 위해 이동할 수 있다. 이에 대응하여, 추적 시스템(580)은 홀로그래픽 객체에 대한 사용자의 손의 움직임을 추적한다. 사용자의 움직임은 추적 시스템(580)에 의해 기록되고 컨트롤러(520)로 전송된다. 추적 모듈(526)은 사용자의 손의 움직임을 연속적으로 판단하고 판단된 움직임들을 LF 처리 엔진(530)에 전송한다. LF 처리 엔진(530)은 장면 내의 사용자의 손의 배치를 결정하고, 홀로그래픽 객체의 임의의 필요한 변화(위치, 색, 또는 폐색)를 포함하도록 그래픽의 실시간 렌더링을 조절한다. LF 처리 엔진(530)은 (예를 들어, 초음파 스피커를 사용하여) 부피 햅틱 투사 시스템을 사용하여 촉각 표면을 생성하도록 LF 디스플레이 어셈블리(510)(및/또는 감각 피드백 시스템(570))에 명령한다. 생성된 촉각 표면은 홀로그래픽 객체의 적어도 일부에 대응하고, 홀로그래픽 객체의 외부 표면의 일부 또는 전부와 실질적으로 동일한 공간을 점유한다. LF 처리 엔진(530)은 추적 정보를 사용하여, 사용자가 풍선을 터치하는 시각적 및 촉각적 감각 모두를 인지하도록, 렌더링된 홀로그래픽 객체의 위치와 함께 촉각 표면의 위치를 이동시키도록 LF 디스플레이 어셈블리(510)에 동적으로 명령한다. 보다 단순하게, 사용자가 자신의 손이 홀로그래픽 풍선을 터치하는 것을 볼 때, 사용자는 그들의 손이 홀로그래픽 풍선을 터치하는 것을 나타내는 햅틱 피드백을 느끼고, 동시에 풍선은 터치에 응답하여 위치 또는 움직임을 변경한다. 일부 예들에서, 데이터 저장부(522)로부터 액세스되는 콘텐츠와 함께 애플리케이션을 실행하는 것에 관련된 반응형 풍선을 제공하기보다는, 반응형 풍선은 네트워크 인터페이스(524)를 통해 라이브 스트리밍 애플리케이션으로부터 수신된 홀로그래픽 콘텐츠의 일부로서 수신될 수 있다.
LF 처리 엔진(530)은 휴대용 모바일 장치 상에서 미디어 콘텐츠의 관찰자들에게 동시 디스플레이를 위한 홀로그래픽 콘텐츠를 제공할 수 있다. 예를 들어, LF 디스플레이 시스템(500)으로 증강된 모바일 장치 상에서 시청되고 있는 비디오는, 비디오("홀로그래픽 콘텐츠 트랙") 동안에 사용자에게 제시될 홀로그래픽 콘텐츠를 포함할 수 있다. 홀로그래픽 콘텐츠 트랙은 장치에 의해 수신되고, 데이터 저장부(522)에 저장될 수 있다. 홀로그래픽 콘텐츠 트랙은 장치 상에서 비디오를 보는 사용자의 시청 경험을 향상시키는 홀로그래픽 콘텐츠를 포함한다.
LF 처리 엔진(530)은 사용자 프로파일에 기초하여 홀로그래픽 콘텐츠를 생성, 수정 및/또는 업데이트할 수 있다. 사용자 프로파일에 대한 업데이트는 디스플레이된 홀로그래픽 콘텐츠에 대한 업데이트를 초래할 수 있다. 일부 실시예들에서, LF 처리 엔진(530)은 인공지능 모델과 함께, 사용자 프로파일에 기초하여 홀로그래픽 콘텐츠를 생성, 수정 및/또는 업데이트할 수 있다.
홀로그래픽 콘텐츠 트랙 내의 홀로그래픽 콘텐츠는 홀로그래픽 콘텐츠를 디스플레이하기 위해 임의의 개수의 시간적, 청각적, 시각적 등의 신호들과 연관될 수 있다. 예를 들어, 홀로그래픽 콘텐츠 트랙은 비디오 중 특정 시간에 디스플레이될 홀로그래픽 콘텐츠를 포함할 수 있다. 예시로서, 홀로그래픽 콘텐츠 트랙은 비디오 "Bottlenosed" 동안, 비디오 시작 후 35분 42초에 디스플레이하기 위한 홀로그래픽 돌고래 떼를 포함할 수 있다. 다른 예에서, 홀로그래픽 콘텐츠 트랙은 감각 피드백 시스템(570)이 특정 오디오 신호를 기록할 때 제공될 홀로그래픽 콘텐츠를 포함한다. 예시로서, 홀로그래픽 콘텐츠 트랙은, 감각 피드백 시스템(570)에 의해 기록된 오디오가 사용자/플레이어가 웃고 있다는 것을 나타내는 경우, 게임 애플리케이션 동안 제공할 웃고 있는 홀로그래픽 아바타를 포함한다. 다른 예에서, 홀로그래픽 콘텐츠 트랙은 추적 시스템(580)이 특정 시각적 신호를 기록할 때 디스플레이할 홀로그래픽 콘텐츠를 포함한다. 예시로서, 홀로그래픽 콘텐츠 트랙은, 사용자가 장치로부터 멀리 이동하고 있다는 것을 나타내는 정보를 추적 시스템(580)이 기록할 때, 디스플레이 상에 "멈추고 싶나요?"라는 단어를 갖는 홀로그래픽 반짝이는 부호를 포함한다. 청각 및 시각적 신호를 결정하는 것은 아래에 더 상세히 설명된다.
홀로그래픽 콘텐츠 트랙은 또한 공간 렌더링 정보를 포함할 수 있다. 즉, 홀로그래픽 콘텐츠 트랙은 디스플레이된 비디오 트랙에 홀로그래픽 콘텐츠를 제공하기 위한 공간 위치를 나타낼 수 있다. 예를 들어, 홀로그래픽 콘텐츠 추적은 특정 홀로그래픽 콘텐츠가 다른 것들이 아닌 몇몇 홀로그래픽 가시 부피에 제공되어야 한다는 것을 나타낼 수 있다. 예를 들어, LF 처리 엔진(530)은 사용자의 얼굴 바로 앞에, 홀로그래픽 가시 부피 내에 이메일 애플리케이션을 디스플레이하는 홀로그래픽 스크린을 제공할 수 있다. 유사하게, 홀로그래픽 콘텐츠 트랙은 다른 것들에는 제공되지 않는 일부 가시 부피들에 제공되는 홀로그래픽 콘텐츠를 나타낼 수 있다. 예를 들어, LF 처리 엔진은 사용자의 얼굴 바로 앞에 있는 가시 부피에 홀로그래픽 스크린을 제공할 수 있지만, 해당 스크린이 사용자에게만 개인적인 것이 되도록 임의의 다른 가시 부피에는 제공하지 않을 수 있다.
LF 처리 엔진(530)은 장치 상에서 실행하는 애플리케이션과 함께 사용자에게 디스플레이하기 위해 홀로그래픽 콘텐츠를 제공할 수 있다. 홀로그래픽 콘텐츠는 거래 수수료에 대한 대가로, 모바일 장치로 다운로드하기 위한 이용가능한 홀로그래픽 콘텐츠를 제공하는 온라인 홀로그래픽 콘텐츠 저장부로부터, 네트워크를 통해 LF 디스플레이 시스템(500) 장치에 수신될 수 있다. 예를 들어, 사용자는 온라인 홀로그래픽 콘텐츠 저장부에 액세스할 수 있고, 장치 상에서 실행되는 애플리케이션들과 함께 홀로그래픽 아바타로서 사용하기 위한 특정 슈퍼 히어로 캐릭터를 거래 수수료에 대한 대가로 획득할 수 있다. 홀로그래픽 콘텐츠는, 거래 수수료에 대한 대가로, 모바일 장치 상에서의 다운로드 및 실행을 위해 홀로그래픽 애플리케이션을 이용가능하게 하는 온라인 홀로그래픽 애플리케이션 스토어로부터, 네트워크를 통해 LF 디스플레이 시스템(500)에 수신될 수 있다. 예를 들어, 사용자는 홀로그래픽 아바타를 생성하고 사용자 맞춤화하기 위한 애플리케이션을 구매하기 위한 홀로그래픽 애플리케이션 스토어에 액세스할 수 있고, 애플리케이션 실행파일은 홀로그래픽 아바타를 생성 및 사용자 맞춤화하기 위한 특수한 홀로그래픽 사용자 인터페이스를 다운로드할 수 있다. 홀로그래픽 콘텐츠는 장치 상에서 실행되는 특정 애플리케이션과 관련하여 광고 콘텐츠의 일부로서 제공될 수 있다. 예를 들어, 사용자가 모바일 장치 상에서 게임 애플리케이션을 클릭할 때, LF 디스플레이 시스템(500)은 광고주에 의해 제공되는 광고들로서 제품들의 홀로그래픽 콘텐츠에 액세스하고, 게임 애플리케이션의 과정 동안 이들을 디스플레이할 수 있다. 홀로그래픽 콘텐츠는 데이터 저장부(522)에 저장될 수 있거나, 또는 네트워크 인터페이스(524)를 통해 벡터화된 포맷으로 LF 디스플레이 시스템(500)으로 스트리밍될 수 있다.
LF 처리 엔진(500)은 또한 특정 위치에서 환경적 특성에 맞게 홀로그래픽 콘텐츠를 수정할 수 있다. 예를 들어, 사용자가 어두운 방 공간에 위치하는지, 밝게 조명된 방에 위치하는지, 밝은 외부에 위치하는지 등에 기초하여, LF 처리 엔진은 해당 위치의 조명에 적합한 밝기로 디스플레이되도록 모바일 장치 상의 홀로그래픽 콘텐츠를 변경할 수 있다. LF 처리 엔진은 추적 모듈(580) 내의 카메라 시스템으로부터의 정보와 함께 데이터 저장부(522)에 저장된 데이터를 사용하여 홀로그래픽 콘텐츠의 디스플레이를 사용자 맞춤화할 수 있다. 또한, 홀로그래픽 콘텐츠의 변경은 사용자 프로파일링 모듈(528)에 의해 결정되는 바와 같은 사용자 디스플레이 선호도를 또한 가질 수 있다.
LF 처리 엔진(530)은 또한 감각 피드백 시스템(570)으로부터 수신된 정보에 응답하여 홀로그래픽 콘텐츠를 변경할 수 있다. 예를 들어, 감각 피드백 시스템(570)의 가속도계는 모바일 장치의 선형 가속도를 측정할 수 있다. LF 처리 엔진(530)은 가속도에 의해 야기되는 홀로그래픽 디스플레이에서 임의의 시각적 떨림(jitter)을 필터링하기 위해 디스플레이된 홀로그래픽 콘텐츠를 수정할 수 있다. 유사하게, 감각 피드백 시스템(570)의 자이로스코프는 모바일 장치의 방향의 변화를 검출할 수 있고, 검출된 변화에 기초하여 디스플레이된 홀로그래픽 콘텐츠를 재배향(reorient)할 수 있다. 일부 실시예들에서, 추적 모듈(526)은 사용자의 머리 회전을 추적할 수 있고, 이에 응답하여 디스플레이된 홀로그래픽 UI를 다시 배향할 수 있다.
LF 처리 엔진(530)은 또한, LF 디스플레이 시스템(500)에 의해 디스플레이하기 위한 홀로그래픽 콘텐츠를 생성할 수 있다. 여기서 중요한 것은, 디스플레이를 위한 홀로그래픽 콘텐츠를 생성하는 것이 디스플레이를 위한 홀로그래픽 콘텐츠에 액세스하거나, 수신하는 것과는 다르다는 것이다. 즉, 콘텐츠를 생성할 때, LF 처리 엔진(530)은 이전에 생성된 및/또는 수신된 콘텐츠에 액세스하는 것과 달리, 디스플레이를 위해 완전히 새로운 콘텐츠를 생성한다. LF 처리 엔진(530)은 데이터 저장부(522), 추적 모듈(526), 사용자 프로파일링 모듈(528), 감각 피드백 시스템(570), 추적 시스템(580) 또는 이들의 일부 조합으로부터 정보를 획득 또는 수신하여, 디스플레이를 위한 홀로그래픽 콘텐츠를 생성할 수 있다. 일부 예들에서, LF 처리 엔진(530)은 LF 디스플레이 시스템(500)의 구성요소들로부터 정보(예를 들어, 추적 정보 및/또는 사용자 프로필)를 액세스하고, 해당 정보에 기초하여 홀로그래픽 콘텐츠를 생성하며, LF 디스플레이 시스템(500)을 사용하여, 생성된 홀로그래픽 콘텐츠를 디스플레이할 수 있다. 생성된 홀로그래픽 콘텐츠는 LF 디스플레이 시스템(500)에 의해 디스플레이될 때 다른 감각 콘텐츠(예를 들어, 터치, 오디오, 압력, 힘, 또는 냄새/후각)로 증강될 수 있다. 또한, LF 디스플레이 시스템(500)은 생성된 홀로그래픽 콘텐츠를 미래의 사용을 위해 데이터 저장부(522)에 저장할 수 있다.
일부 실시예들에서, LF 처리 엔진(530)은 모바일 장치의 동작 상태를 변경하는 것에 응답하여, 생성된 홀로그래픽 콘텐츠가 업데이트되거나, 수정되거나, 삭제되거나, 일시 정지되거나, 또는 이들의 조합이 되게 할 수 있다. 일부 실시예들에서, LF 처리 엔진(530)은 추적 시스템(580)에 의해 수신되고 추적 모듈(526)에 의해 해석되는 정보에 응답하여, 생성된 홀로그래픽 디스플레이가 업데이트되거나, 수정되거나, 삭제되거나, 일시 정지되거나, 또는 이들의 일부 조합이 되게 할 수 있다. 예를 들어, 추적 모듈(580)은 홀로그래픽 캐릭터가 장치와 상호작용하고 있는 사용자에 눈을 맞추도록 홀로그래픽 캐릭터를 다시 렌더링하기 위해, 추적 시스템(580)으로부터 캡처된 사용자 시선 정보를 LF 디스플레이 모듈에 제공할 수 있다. 일부 실시예들에서, 사용자에 의해 수행된 동작 선택들은 홀로그래픽 콘텐츠의 디스플레이에 영향을 미칠 수 있다. 예를 들어, LF 디스플레이 시스템은 사용자가 알람 애플리케이션으로 하여금 오전 6시에 알람을 생성하도록 동작 선택을 했다고 결정하는 경우, LF 디스플레이 시스템은 오전 6시에만 알람 소리와 함께, 또는 사용자에 의해 구성된 바와 같이, 반짝이는 적색 버튼의 홀로그래픽 묘사를 제공할 수 있다.
일부 실시예들에서, LF 디스플레이 시스템(500)은 명령 라이브러리(532)를 포함한다. 명령 라이브러리(532)는 사용자 명령들을 인식하고 해석하는 명령 인터페이스로서 동작할 수 있다. 인식된 명령들은 모바일 장치의 동작 상태의 변경을 야기할 수 있다. 사용자 명령들은 감각 피드백 시스템(570)(예를 들어, 오디오), 추적 모듈(526)(예를 들어, 추적된 제스처 또는 표정), 사용자 프로파일링 모듈(528)(예를 들어, 저장된 개별 선호도), 또는 이들의 일부 조합으로부터 수신된 추적 정보에 기초하여 해석될 수 있다. 명령 라이브러리(532)는 사용자 명령들을 해석하기 위해 휴리스틱스(heuristics)를 적용할 수 있고, LF 처리 엔진(530)으로 하여금 적절한 홀로그래픽 콘텐츠, 촉각 및 임의의 다른 다중 감각 정보를 생성하도록 지시할 수 있다. 명령 라이브러리(532)는 수신된 사용자 명령들의, LF 디스플레이 시스템(500)에 의해 실행될 수 있는 계산 명령들에 대한 매핑을 저장한다. 명령 라이브러리(532)는 또한 저장된 매핑과 연관된 휴리스틱스를 저장한다. 명령 라이브러리(532)는 LF 디스플레이 시스템(500)에 의해 디스플레이되는 홀로그래픽 사용자 인터페이스를 통해 사용자 명령들을 수신할 수 있다. LF 디스플레이 시스템(500)에 의해 모바일 장치를 통해 수신되는 가능한 사용자 명령들의 예는, 사용자에 의한 홀로그래픽 객체의 다양한 터치 접촉(예를 들어, 특정 디스플레이된 홀로그래픽 "버튼"의 손가락 터치) 및 홀로그래픽 객체의 표면에 대한 다양한 터치 움직임(예를 들어, 디스플레이된 홀로그래픽 "노브(knob)")을 포함할 수 있다. 일부 실시예들에서, 터치 접촉 또는 터치 움직임은, 추적 모듈(526)에 의해 사용자가 홀로그래픽 사용자 인터페이스의 일부로서 투사되는 디스플레이된 홀로그래픽 객체의 임계 거리 내에 있는 것으로 결정될 때 발생하는 것으로 결정될 수 있다. 일부 실시예들에서, 사용자 명령들은 타겟 영역 내에 있는 동안 사용자에 의한 구두 명령들(예를 들어, 모바일 장치 상의 음향 수신기를 사용하여 캡처되는 "다음 주유소의 위치를 나에게 보여줘" 형태의 구두 명령), 추적 시스템(580)에 의해 캡처된 제스처 및 신체 움직임(예를 들어, 타이머가 일시 정지되어야 한다는 것을 나타내기 위해 타겟 영역 내의 사용자에 의해 들어올려진 손), 감각 피드백 시스템(570)의 일부로서 디스플레이에 연결된 물리적 스위치, 노브, 버튼, 또는 다이얼의 감지, 또는 이들의 조합과 같은, 사용자에 의해 제공되는 감각 피드백을 포함할 수 있다.
수신된 사용자 명령들에 대응하는 LF 처리 엔진에 의해 실행되는 계산 명령들은, 특정 홀로그래픽 객체들을 디스플레이하거나, 홀로그래픽 콘텐츠의 디스플레이를 업데이트하거나, 특정 홀로그래픽 객체의 디스플레이를 변경하거나, 홀로그래픽 객체들의 시퀀스를 디스플레이하거나, LF 디스플레이 시스템(500)에 의해 제공되는 콘텐츠를 일시 정지 또는 재생하거나, 디스플레이된 객체를 삭제하거나, 또는 이들의 조합을 위한 명령들을 포함할 수 있다. 다른 계산 명령들은 예를 들어, 조이스틱의 게임 컨트롤과 같은 다른 센서들 및 컨트롤들을 작동시키는 것을 포함할 수 있다. 따라서, 일부 실시예들에서, 예를 들어, 디스플레이된 홀로그래픽 "다이얼"을 회전시키는, 검출된 사용자 동작은 추적 시스템(580)에 의해 명령 라이브러리(532)에 보고된다. 이에 응답하여, 명령 라이브러리(532)는 저장된 휴리스틱스 중 하나의 휴리스틱을 적용하고, 예를 들어, 디스플레이된 홀로그래픽 시계에서 타이머 애플리케이션을 적절히 설정하기 위한 명령들을 시스템으로 전송하는 것을 포함하는 계산 명령이 실행될 필요가 있다고 결정할 수 있다.
일부 실시예들에서, 명령 라이브러리(540)는 데이터 저장부(522) 및 추적 모듈(580)로부터 정보를 수신하여, 신뢰도가 더 낮게 검출될 수 있는 사용자 명령들에 기초하는 모호한 맵핑들을 해결한다. 그러나, 추적 시스템(580)으로부터의 정보 및 데이터 저장부(522)로부터의 사용자 프로파일 정보는 매핑을 명확하게 하고 실행될 특정의 계산 명령을 결정하기 위해 충분한 휴리스틱 정보를 제공할 수 있다. 그 후, 이 결정된 계산 명령은 실행을 위해 LF 처리 엔진(530)에 제공된다.
일부 실시예들에서, LF 디스플레이 시스템(500)은 보안 모듈(534)을 포함한다. 보안 모듈(534)은 LF 디스플레이 시스템에 의해 제공되는 기능들 중 적어도 일부에 대한 보안 액세스를 강화한다. 이를 위해, 보안 모듈(534)은 모바일 장치의 사용자로부터 패스워드 또는 생체인식 데이터와 같은 인증 암호 정보를 수신하기 위해 LF 디스플레이 시스템(500)에 의해 사용자 인터페이스 구성요소들을 생성할 수 있다. 보안 모듈은 데이터 저장부(522)에 저장된 데이터에 기초하여 암호 정보를 인증할 수 있다. 사용자를 인증하는 것에 후속하여, 보안 모듈(534)은 LF 디스플레이 시스템(500)의 기능들 중 일부 또는 전부에 대해, 사용자에 의한 보안 액세스를 가능하게 할 수 있다. 일부 실시예들에서, 보안 모듈(534)은 데이터 저장부 또는 온라인 소스들로부터 액세스되는 특정 홀로그래픽 콘텐츠의 디스플레이, 또는 모바일 장치 상의 특정 애플리케이션들의 실행을 가능하게 할 수 있다. 예를 들어, LF 디스플레이 시스템은 사용자 암호를 인증하는 경우에만 관찰자에게 특정 홀로그래픽 콘텐츠를 제공할 수 있고, 인증된 사용자 암호가 없는 경우에는 그것들을 제공하지 않을 수 있다. 보안 모듈(534)은 모바일 장치의 사용자를 인증하는 것과 관련된 정보를 데이터 저장부(522), 사용자 프로파일링 모듈(528), LF 처리 엔진(530), 명령 라이브러리(532), LF 디스플레이 시스템(500)의 임의의 다른 구성요소, 또는 이들의 일부 조합에 제공할 수 있다.
LF 디스플레이 시스템을 위한 동적 콘텐츠 생성
일부 실시예들에서, LF 처리 엔진(530)은 LF 디스플레이 시스템(500)에 의해 디스플레이하기 위한 홀로그래픽 콘텐츠를 생성하기 위해 인공지능(artificial intelligence, AI) 모델을 포함한다. AI 모델은 회귀 모델, 신경망, 분류기, 또는 임의의 다른 AI 알고리즘을 포함하지만 이에 제한되지 않는, 지도 또는 비-지도 학습 알고리즘을 포함할 수 있다. AI 모델은, 사용자의 행동에 대한 정보를 포함할 수 있는, LF 디스플레이 시스템(500)에 의해(예를 들어, 추적 시스템(580)에 의해) 기록된 사용자 정보에 기초하여 사용자 선호도를 결정하는 데에 사용될 수 있다. AI 모델은 또한, 데이터 저장부(522)의 사용자 프로파일 저장부 내의 각각의 사용자의 학습된 선호도들을 저장할 수 있다. 일부 예들에서, 다수의 사용자들이 모바일 장치를 동작시킬 수 있는 경우, AI 모델은 해당 사용자의 학습된 선호도들에 기초하여 특정한 개별 사용자를 위한 홀로그래픽 콘텐츠를 생성할 수 있다. AI 모델은 홀로그래픽 콘텐츠를 생성 및/또는 변경하기 위해 데이터 저장부(522)로부터의 정보에 액세스할 수 있다. 일부 실시예들에서, AI 모델은 명령 라이브러리(532)에 저장된 명령 매핑을 위한, 사용자에 특이적인 휴리스틱스를 확립하기 위해 학습 알고리즘의 결과를 사용할 수 있다.
사용자들의 특성들을 식별하고, 반응을 식별하며, 및/또는 식별된 정보에 기초하여 홀로그래픽 콘텐츠를 생성하는 데에 사용될 수 있는 AI 모델의 일 예는 노드 계층들을 갖는 콘볼루션(convolutional) 신경망 모델이며, 여기서 현재 층의 노드들에서의 값들은 이전 층의 노드들에서의 값들의 변환이다. 모델의 변환은 현재 계층과 이전 계층을 연결하는 가중치 및 파라미터 세트를 통해 결정된다. 일부 예들에서, 변환은 또한, 모델의 이전 계층들 사이에서 변환하는 데 사용된 가중치들 및 파라미터들의 세트를 통해 결정될 수 있다.
모델에 대한 입력은 제1 콘볼루션 층 위로 인코딩된 추적 시스템(580)에 의해 얻어진 이미지일 수 있고, 모델의 출력은 신경망의 출력층으로부터 디코딩된 홀로그래픽 콘텐츠이다. 대안적으로 또는 추가적으로, 출력은 이미지 내의 사용자의 결정된 특성일 수 있다. 이 예에서, AI 모델은 신경망의 중간층들 중 하나에서 사용자 특성을 나타내는 이미지 내의 잠재적인 정보를 식별할 수 있다. 계층들에서 식별되는 요소들 간의 연관성 정보는 대응하는 중간층들 사이에 변환 세트를 적용함으로써 검색될 수 있다. 변환을 위한 가중치 및 파라미터는 시작층 내에 포함된 정보와 최종 출력 층으로부터 얻어진 정보 사이의 관계를 나타낼 수 있다. 예를 들어, 가중치들 및 파라미터들은 이미지 내의 미소짓는 사용자를 나타내는 정보에 포함된 형상, 색상, 크기 등의 양자화(quantization)일 수 있다. 가중치들 및 파라미터들은 이력 데이터(예를 들어, 이전에 추적된 사용자들)에 기초할 수 있다. 일부 실시예들에서, 추적 시스템으로부터의 정보는 AI 모델과 함께 사용되어, 제공된 홀로그래픽 콘텐츠의 임계 거리와 일치하거나 그 안에 있는 부피 촉각 표면을 생성할 수 있다.
일 실시예에서, AI 모델은 강화 학습으로 훈련된 결정론적 방법들을 포함한다(따라서, 강화 학습 모델을 생성한다). 모델은 입력들로서 추적 시스템(580)으로부터의 측정들 및 출력들로서 생성된 홀로그래픽 콘텐츠에 대한 변화들을 사용하여 성능의 품질을 증가시키도록 훈련된다.
강화 학습은 기계가 수치적 보상 신호를 최대화하기 위해 '무엇을 할 것인가'(상황을 동작에 어떻게 매핑하는지)를 학습하는 머신러닝 시스템이다. 학습자(예를 들어, LF 처리 엔진(530))는 어떤 동작들을 취해야 하는지(예를 들어, 미리 정해진 홀로그래픽 콘텐츠를 생성하는 것)를 지시받지 않고, 대신에 어떤 동작들을 시도함으로써 가장 많은 보상이 산출되는지(예를 들어, 사용자가 더 많이 미소짓게 하게 함으로써 홀로그래픽 콘텐츠의 품질을 증가시킴)를 발견한다. 일부 경우에, 동작들은 즉각적인 보상뿐만 아니라 그 다음 상황에도 영향을 미칠 수 있으며, 그 결과, 모든 후속 보상들에 영향을 줄 수 있다. 이러한 두 가지 특성(시행착오 검색 및 지연된 보상)은 강화 학습의 2개의 주된 특징들이다.
AI 모델은 임의의 개수의 머신 러닝 알고리즘을 포함할 수 있다. 사용될 수 있는 일부 다른 AI 모델들은 선형 회귀 및/또는 로지스틱 회귀, 분류 트리 및 회귀 트리, k-평균 클러스터링, 벡터 양자화 등이다. 일반적으로, LF 처리 엔진(530)은 추적 모듈(526) 및/또는 사용자 프로파일링 모듈(528)로부터 입력을 받고, 머신러닝 모델은 그에 응답하여 홀로그래픽 콘텐츠를 생성한다. 유사하게, AI 모델은 홀로그래픽 콘텐츠의 렌더링을 지시할 수 있다.
네트워크 환경
도 6은 하나 이상의 실시예들에 따른, 네트워크 환경(600)의 블록도를 도시한다. 네트워크 환경(600)은 하나 이상의 모바일 장치들(610), 네트워크(630), 및 하나 이상의 원격 서버들(640)을 포함한다.
일 실시예에서, 모바일 장치(610)는 사용자로 하여금 인터넷을 브라우징하고, 미디어 콘텐츠를 소비하고, 다양한 소프트웨어 애플리케이션들을 실행할 수 있게 하는, 컴퓨터 프로그램 모듈들, 예를 들어, 웹 브라우저 또는 클라이언트 애플리케이션들을 실행하는 휴대용 컴퓨팅 장치이다. 모바일 장치(610)는, 예를 들어, 개인용 컴퓨터, 태블릿 컴퓨터, 스마트폰, 전용 전자책 리더, 또는 임의의 다른 유형의 휴대용 네트워크 연결 가능한 장치일 수 있다. 모바일 장치(610)는 라이트필드 디스플레이 시스템(612) 및 사용자 인터페이스(614)를 포함한다. 다른 실시예들에서, 모바일 장치(610)는 본원에 설명된 것들보다 더 많은 또는 더 적은 모듈들을 포함한다. 유사하게, 기능들은 본원에 설명된 것과 다른 방식으로 모듈들 및/또는 다른 엔티티들 중에 분배될 수 있다.
모바일 장치(610)는 다른 구성요소들 중에서도, LF 디스플레이 시스템(612), 사용자 인터페이스(614), 모바일 운영체제(OS: operating system)(616), 전력 시스템(618), 및 GPS(Global Positioning System) 모듈(620)을 포함한다. LF 디스플레이 시스템(612)은 도 5에 도시된 LF 디스플레이 시스템(500)의 일 실시예이다. 사용자(650)는 사용자 인터페이스(614)를 통해 모바일 장치(610)와 상호작용할 수 있다.
LF 디스플레이 시스템(612)은 모바일 장치(610)의 하드웨어 구성요소들에 대한 액세스를 가질 수 있다. 예를 들어, LF 디스플레이 시스템(612)은 배터리로부터 또는 모바일 장치 상의 충전 유닛과 같은 전력 소스로부터 전력을 유도하기 위해 모바일 장치 내의 전력 회로에 액세스함으로써 스스로 전력을 공급할 수 있다. 추적 시스템(580)은 하나 이상의 카메라들 또는 모바일 장치(610)의 깊이 센서, 또는 GPS 모듈(620)에 액세스할 수 있다. 감각 피드백 시스템(570)은 사용자 인터페이스(614)의 버튼, 스위치, 마이크, 또는 키보드에 대한 액세스를 가질 수 있다. 컨트롤러(520)는 시간-기반 기능들에 대해 요구되는 바와 같이 모바일 장치 내의 실시간 클럭(RTC: real-time clock) 회로에 액세스할 수 있다. 사용자 프로파일링 모듈(528)은 지문 센서 또는 키보드에 대한 직접적인 액세스를 갖는 사용자 식별을 결정할 수 있다. 사용자 프로파일링 모듈은 네트워크(630)에 연결된 네트워크 인터페이스(614)를 통해 사용자 프로파일 정보를 다운로드 또는 업로드할 수 있다. LF 디스플레이 어셈블리는 사용자 설정에 따라 홀로그래픽 콘텐츠 또는 2D 콘텐츠를 투사할 수 있다. 일반적으로, LF 디스플레이 시스템(612)은 모바일 장치(610)의 다른 하드웨어 구성요소들에 통합된다.
모바일 장치(610)는 모바일 장치(610)의 사용자(650)에게 모바일 동작 경험들을 제공하는 모바일 OS(616)를 포함한다. 모바일 OS(616)는 모바일 전화 기능, LF 디스플레이 시스템의 동작 기능, 디스플레이 및 I/O 장치를 포함하는 모바일 환경에 적합한 사용자 인터페이스 기능의 제공을 관리한다. LF 디스플레이 시스템(612)은 LF 디스플레이 시스템(500)에 의해 제공되는 홀로그래픽 디스플레이일 수 있다. 모바일 OS(616)는 모바일 OS(616)의 사용자 인터페이스를 통해 사용자에 의해 제어될 수 있는, 모바일 장치(610) 상에서 실행하는 애플리케이션 프로그램들을 관리한다. 사용자 인터페이스는 LF 디스플레이 시스템(612)으로부터 투사된 그래픽 사용자 인터페이스(GUI: graphical user interface)일 수 있다. 모바일 OS(616)는 각각의 계층이 하위 계층과 인터페이싱하는 다양한 추상화 계층들을 가지며, CPU, 메모리, 및 I/O와 같은 모바일 장치 리소스들을 관리하기 위한 커널을 포함한다. 커널은 프로세스의 저수준 스케줄링, 프로세스간 통신, 프로세스 생성 및 삭제, 인터럽트 핸들링 등에 대한 특징들을 제공한다. 모바일 OS의 다른 추상화 계층들은 시스템 호출 또는 애플리케이션 프로그래밍 인터페이스(API: application programming interface) 계층을 통해 커널과 상호작용한다. 모바일 장치(610)의 사용자(650)는 사용자 인터페이스(614)를 통해 모바일 OS(616)와 상호작용한다.
모바일 OS의 기능적 관점은 모바일 OS(616)를, 모바일 장치(610)의 하드웨어에 의해 전달되는 이벤트들에 대한 대기 루프 내에 존재하고, 이벤트 큐 내에 상주하는 전달된 이벤트들에 대한 적절한 응답을 가능하게 하는, 이벤트 구동 시스템으로서 간주하는 것이다. 이러한 이벤트들의 예들은, 예를 들어, 2D 터치스크린의 특정 위치 상의 터치, 셀룰러 네트워크를 통한 착신 전화, 네트워크 인터페이스를 통한 메시지 등일 수 있다. 또한, 이벤트 구동 모바일 OS(616)는, 투사된 홀로그래픽 인터페이스 상으로의 손, 손가락 또는 다른 신체 부분의 터치, 추적 시스템(580)으로부터 수신된 추적 데이터에 기초하여 추적 모듈(526)에 의해 보고되는 제스처, 투사된 홀로그래픽 버튼 상에 함께 위치되는 일치하는 촉각 표면 상의 압력-관련 터치 이벤트 등을 포함하는, LF 디스플레이 시스템(612)에 의해 보고되는 바와 같은 이벤트들에 응답할 수 있다. 모바일 장치의 하드웨어 구성요소들에 의해 전달되는 이러한 및 다른 이벤트들에 대한 모바일 OS에 의한 응답은 모바일 OS 기능들의 모든 추상화 계층들에서 모바일 OS에 의해 수행되는 동작들을 포함한다.
모바일 OS(616) 또는 모바일 OS(616) 상에서 실행되는 애플리케이션들은 LF 디스플레이 시스템(612)으로 하여금 필요에 따라 모바일 장치의 하드웨어 구성요소들에 액세스할 수 있게 하면서, LF 디스플레이 시스템(612)을 관리할 수 있다. 모바일 OS(616) 상에서 실행되는 애플리케이션들은 사용자에 의한 요청에 따라 홀로그래픽 콘텐츠의 프리젠테이션을 관리할 수 있다. 유사하게, 모바일 OS(616)는 홀로그래픽 사용자 인터페이스를 표시하고, 추적 모듈(526)에 의해 제공되는 추적 정보에 기초하여 사용자로부터의 동작 선택을 수락할 수 있으며, 추적 모듈(526)은 추적 시스템(580)으로부터의 데이터를 분석할 수 있다. 모바일 OS(616)는 소셜 미디어 계정들에 액세스하는 애플리케이션들을 실행할 수 있고, 개인화된 홀로그래픽 콘텐츠를 제공하기 위해 사용자 프로파일링 모듈(528)과 인터페이스할 수 있다. 일반적으로, 모바일 OS(616)는 컨트롤러를 관리하고, 홀로그래픽 콘텐츠를 디스플레이하며, 모바일 장치(610)의 하드웨어 구성요소들에 대한 액세스를 제공하기 위해, LF 디스플레이 시스템(612)의 컨트롤러(520)와 인터페이스할 수 있다. 일부 실시예들에서, 모바일 OS(616)는 플러그 가능한 모듈들을 수용하여, LF 디스플레이 시스템의 컨트롤러(520)를 관리하기 위한 드라이버들로서 동작할 수 있다. 모바일 OS는 모바일 OS(616) 상에서 실행되는 이러한 모듈들 또는 애플리케이션들과 인터페이스할 수 있고, 홀로그래픽 콘텐츠를 표시하거나, 사용자 프로파일링 정보를 제공 또는 검색하거나, 추적 정보 등을 교환하기 위해, LF 디스플레이 시스템의 컨트롤러(520)에 대한 API 호출들에 액세스할 수 있다.
모바일 장치(610)는 모바일 장치(610)의 다양한 구성요소들에 전력을 공급하기 위한 전력 시스템(618)을 포함한다. 전력 시스템(618)은 전력 관리 시스템, 하나 이상의 전력 소스들(예를 들어, 배터리, 교류 전류(AC: alternating current), 재충전 시스템, 전력 장애 검출 회로, 전력 변환기 또는 인버터, 전력 상태 표시자, 및 모바일 장치들에서의 전력의 생성, 관리, 및 분배와 관련된 다른 구성요소들)을 포함할 수 있다. 전술한 바와 같이, LF 디스플레이 시스템(612)은 모바일 장치 상의 전력 시스템(618)에 액세스함으로써 스스로 전력을 공급할 수 있다.
모바일 장치(510)는 GPS 모듈(620)을 포함한다. GPS 모듈(620)은 모바일 장치의 위치를 결정하고, 다양한 애플리케이션들에서 사용하기 위해 이러한 정보를 제공한다. 이 위치 정보는 지도 기반 애플리케이션 등과 같이, 위치 정보를 활용할 수 있는 애플리케이션에 사용되도록 LF 디스플레이 시스템(500)에 제공될 수 있다. 일부 실시예들에서, LF 디스플레이 시스템(500)은 GPS 모듈(620)로부터 수신된 위치 데이터에 기초해서 뿐만 아니라, GPS 모듈(620)로부터의 데이터에 응답하여, 홀로그래픽 콘텐츠를 디스플레이할 수 있다. 예를 들어, LF 디스플레이 시스템(500)은 실행되는 내비게이션 애플리케이션과 관련하여, 일단 GPS 모듈이 모바일 장치 상에서 실행되는 내비게이션 애플리케이션에 의해 목적지 위치로 매핑되는 위치 좌표들을 제공하면, 특정 장소에 도착을 나타내는 홀로그래픽 콘텐츠를 디스플레이할 수 있다.
네트워크(630)는 유선 및/또는 무선 통신 시스템들 모두를 사용하여, 근거리 및/또는 광역 네트워크들의 임의의 조합을 포함할 수 있다. 예를 들어, 근거리 네트워크는 WiFi 및 블루투스 네트워크를 포함할 수 있다. 일 실시예에서, 네트워크(630)는 표준 통신 기술들 및/또는 프로토콜들을 사용한다. 예를 들어, 네트워크(630)는 이더넷, 802.11, WiMAX(worldwide interoperability for microwave access), 3G, 4G, 코드 분할 다중 접속(CDMA), 디지털 가입자 회선(DSL) 등과 같은 기술들을 사용하는 통신 링크들을 포함한다. 네트워크(630)를 통해 통신하기 위해 사용되는 네트워킹 프로토콜들의 예들은 다중프로토콜 라벨 스위칭(MPLS), 전송 제어 프로토콜/인터넷 프로토콜(TCP/IP), 하이퍼텍스트 전송 프로토콜(HTTP), 간단한 메일 전송 프로토콜(SMTP), 및 파일 전송 프로토콜(FTP)을 포함한다. 네트워크(630)를 통해 교환된 데이터는 HTML(hypertext markup language) 또는 XML(extensible markup language)과 같은 임의의 적합한 포맷을 사용하여 표현될 수 있다. 일부 실시예들에서, 네트워크(630)의 통신 링크들 모두 또는 일부는 임의의 적절한 기술들을 사용하여 암호화될 수 있다.
하나 이상의 원격 서버(640)는 네트워크(630)를 통해 모바일 장치(610)와 통신할 수 있다. 일 실시예에서, 원격 서버(640)는 장치(610) 상에 디스플레이하기 위한 콘텐츠뿐만 아니라, 실행을 위한 애플리케이션을 제공하는 애플리케이션 공급자일 수 있다. 원격 서버는 거래 수수료에 대한 대가로, 모바일 장치 상에서 다운로드 및 실행하기 위한 이용가능한 홀로그래픽 애플리케이션을 가능하게 하는 온라인 홀로그래픽 애플리케이션 스토어일 수 있다. 원격 서버(640)는 거래 수수료에 대한 대가로, 모바일 장치들로 다운로드하기 위한 이용가능한 홀로그래픽 콘텐츠를 제공하는 온라인 홀로그래픽 콘텐츠 저장부일 수 있다. 원격 서버(640)는 제3자 애플리케이션 및/또는 콘텐츠 제공자일 수 있다. 새로운 애플리케이션, 새로운 콘텐츠, 및 기존 애플리케이션 및 콘텐츠에 대한 업데이트는 네트워크(630) 상에서 푸시(push) 활성화 업데이트 또는 풀(pull) 활성화 업데이트 중 임의의 것을 통해, 원격 서버(640)로부터 장치(610)에서의 실행 및/또는 디스플레이를 위해 이용될 수 있다. 이러한 애플리케이션 및 콘텐츠는 라이트필드 디스플레이 시스템(612)에 의한 투사 및 디스플레이를 위해 데이터 저장부(522)에 저장될 홀로그래픽 콘텐츠 트랙들을 포함할 수 있다. 모바일 디스플레이 장치(610)에 이용 가능한 콘텐츠는, 모바일 장치(610) 내의 소프트웨어 애플리케이션을 실행하는 것과 관련하여, 라이트필드 디스플레이 시스템(612)에 의해 디스플레이될 광고, 제품 오퍼, 및 제품 쿠폰들을 포함할 수 있다. 예를 들어, 인기 애니메이션 캐릭터를 묘사하는 홀로그래픽 콘텐츠는 네트워크(630)를 통해 제3자 콘텐츠 제공자로부터 다운로드될 수 있고, 사용자(650)에 의해 하나 이상의 애플리케이션들에서 사용자(650)를 표현하는 "홀로그래픽 아바타"로서 사용하기 위해 라이트필드 디스플레이 시스템(612)에 저장될 수 있다.
하나 이상의 실시예들에서, 장치(610)에 대한 비인가된 네트워크 액세스가 방지되는 것을 보장하기 위해, 시스템은 장치(610)에 대한 보안 접속을 확립하고/하거나 장치(610)로 콘텐츠를 다운로드하기 위해, 특정 엔티티에 의해, 보안 설정들을 사용하여 장치(610)에 대한 네트워크 액세스를 인증할 수 있다. 일부 실시예들에서, 장치(610)는 패스워드 및 스마트 카드와 같은 인증 인자들을 포함할 수 있거나, 네트워크(630) 또는 사용자 인터페이스(614)를 통해 모바일 장치(610)에 액세스할 때 액세스 제어를 시행하기 위해 생체인식 방법들을 사용할 수 있다.
LF 디스플레이 시스템의 홀로그래픽 사용자 인터페이스 및 "터치" 해석
이하는 사용자가 모바일 장치와 상호작용하는 홀로그래픽 사용자 인터페이스(UI: user interface)를 생성하기 위한 LF 디스플레이 시스템의 일부 실시예들의 설명이다. 이 설명은 도 5의 LF 디스플레이 시스템(500)에 예시된 구성요소들을 참조한다.
일부 실시예들에서, 생성된 홀로그래픽 UI는 사용자에게 제공되는 하나 이상의 홀로그래픽 UI 객체들을 포함하는 사용자 인터페이스이다. 일부 실시예들에서, 제공된 홀로그래픽 UI 객체들은, 예를 들어, 홀로그래픽 객체들이 존재하는 것으로 보이는 모바일 장치의 표면 위에 떠 있는 가상 스크린을 도시하는 가상 이미지 디스플레이의 일부일 수도 있다. 일부 실시예들에서, 제공된 홀로그래픽 객체들 및/또는 가상 이미지들은 장치 상의 물리적 UI를 증강시킬 수 있다. 생성된 홀로그래픽 UI 객체들은 "버튼", "노브(knob)", "다이얼", "키패드" 등과 같은 3D 홀로그래픽 객체들을 포함할 수 있지만, 이에 제한되지 않는다. 생성된 홀로그래픽 객체들은 또한 다수의 옵션들의 목록을 갖는 홀로그래픽 메뉴를 디스플레이하는 홀로그래픽 "스크린"과 같은 2D 홀로그래픽 객체들을 포함할 수 있다. 사용자는 (예를 들어, 오디오 큐를 통해, 또는 시각적으로 표시된 프롬프트를 통해), 홀로그래픽 메뉴에서 (예를 들어, 손가락으로) 특정 옵션을 포인팅하거나 터치함으로써 옵션들 중 하나 이상을 선택하도록 촉구될 수 있다.
일부 실시예들에서, 제공된 홀로그래픽 UI 객체들은, 제공된 홀로그래픽 객체의 표면과 함께 위치되는 촉각 표면을 생성하기 위해 촉각 자극들로 증강될 수 있다. 따라서, 예를 들어, 감각 피드백 시스템(570)은 초음파 에너지, 예를 들어 압력파를 투사하여, 홀로그래픽 "버튼" 상의 전방에 디스플레이된 표면과 함께 배치되는 촉각 표면을 생성할 수 있다. 추적 시스템(580)은 홀로그래픽 "버튼"을 향하는 사용자의 움직임(예를 들어, 사용자의 손가락의 움직임)을 추적할 수 있다. 움직임 정보는 추적 시스템(580)에 의해 컨트롤러(520)로 전송될 수 있다. 컨트롤러(520)의 추적 모듈(526)은, 추적되는 손가락이, 제공된 촉각 표면의 특정 임계 거리 내에 있을 때, 손가락이 "터치" 또는 홀로그래픽 "버튼"을 "누르는" 것으로 결정할 수 있다. 또한, 추적 모듈(526)에 의한 이러한 결정에 응답하여, 명령 라이브러리(532)는 함께 배치된 촉각 표면이 사용자에 의해 "푸시"된 것처럼 홀로그래픽 "버튼"의 움직임에 대응하여, 홀로그래픽 "버튼" 및 함께 배치된 제공된 촉각 표면을 다른 위치에 렌더링하도록 LF 처리 엔진(530)에 명령할 수 있다.
일부 실시예들에서, 홀로그래픽 UI는 감각 피드백 시스템(570)으로부터 수신된 정보에 응답하여 수정되거나 업데이트될 수 있다. 예를 들어, 감각 피드백 시스템(570)의 가속도계는 모바일 장치의 선형 가속도를 측정할 수 있고, 측정된 가속도와 동기적으로, 디스플레이된 홀로그래픽 UI를 점진적으로 업데이트할 수 있다. 유사하게, 감각 피드백 시스템(570)의 자이로스코프는 모바일 장치의 방향의 변화를 검출할 수 있고, 검출된 변화에 기초하여 UI를 다시 배향할 수 있다. 일부 실시예들에서, 추적 모듈(526)은 사용자의 머리 회전을 추적할 수 있고, 그에 응답하여, 디스플레이된 홀로그래픽 UI를 다시 배향할 수 있다.
다른 실시예에서, 홀로그래픽 UI는 사용자에게 인사하는 홀로그래픽 캐릭터를 제공하는 것을 포함할 수 있다. 일부 실시예들에서, 홀로그래픽 캐릭터는 홀로그래픽 UI 객체들의 프리젠테이션과 함께 제공될 수 있다. 다른 실시예들에서, 홀로그래픽 캐릭터가 사용자에게 먼저 제공될 수 있고, 그 후에 홀로그래픽 UI 객체들을 갖는 홀로그래픽 '메뉴'가 제공될 수 있다. 일부 실시예들에서, 홀로그래픽 캐릭터는 사용자로부터 수신된 명령들에 응답하여 수정될 수 있다. 또 다른 실시예들에서, 모든 상호작용들은 감각 피드백 시스템(570)의 음향 수신기들에 의해 수신되는, 사용자로부터의 구두 음성 명령들을 포함할 수 있다. 일부 실시예들에서, 제공된 홀로그래픽 캐릭터는 모바일 장치의 스피커들을 통해 사용자에게 구두 응답들을 발행하기 위해 음향 자극들로 증강될 수 있다.
일부 실시예들에서, 홀로그래픽 캐릭터는 AI 모델에 의해 생성되고 개인화될 수 있다. 홀로그래픽 캐릭터는, 외모(예를 들어, 유명인사의 외모), 옷(또는 없음), 성격, 음성(예를 들어, 유명인사의 억양 또는 음성), 성질, 언어(예를 들어, 사용되는 욕설의 양), 또는 다른 특징 중 임의의 것을 포함하는, 취향에 따라 변경될 수 있는 다양한 특성을 가질 수 있다. 홀로그래픽 캐릭터는 CG 캐릭터(예를 들어, 슈퍼 히어로)의 외모, 배우 또는 운동선수와 같은 유명한 인물, 다수의 이용 가능한 아바타들 중 하나의 랜덤 선택, 또는 다른 외모를 가질 수 있다. 홀로그래픽 캐릭터의 외모는 인식할 수 있는 음향 음성(예를 들어, 외모에 매칭되는 유명인사의 음성)을 수반할 수 있고, 사용자에 의해 쉽게 변경될 수 있다. 홀로그래픽 캐릭터는 또한 사용자에게 보다 매력적으로 만들기 위해 사용자 프로파일 또는 소셜 미디어 계정에 액세스할 수 있다. 예를 들어, 홀로그래픽 캐릭터는 사용자의 소셜 미디어 계정들 상에 나타나는 사진들 또는 설명들에서의 관찰된 특징들에 기초하여 재생가능한 피드백을 제공할 수 있거나, 또는 스케줄링된 이벤트의 날짜에, 달력 리마인더에 기초하여 농담을 제공할 수 있다. 사용자에게 즐거움을 주기 위해, 홀로그래픽 캐릭터는 사용자의 선택에 따라 기분이 좋지 않거나 기분이 좋을 수 있다. 모바일 장치 상에서 보여지고 경험되는 홀로그래픽 캐릭터들의 특징들에 대한 선택은 온라인 스토어와 같은 제3자 콘텐츠 제공자에서 원격 서버(640)를 통해 네트워크(630) 상에서, 일부 경우에는 거래 수수료에 대한 대가로, 다운로드 가능할 수 있다.
일부 실시예들에서, 추적 모듈(526)은 추적 시스템(580)으로부터 수신된 정보에 기초하여 LF 디스플레이 시스템의 타겟 뷰 내에서 사용자의 존재를 결정하고, 수신된 정보를 분석하며, 분석의 결과들을 명령 라이브러리(532)에 전송한다. 명령 라이브러리(532)는 수신된 분석에 기초하여 명령 라이브러리(532)에 저장된 휴리스틱스를 사용할 수 있고, 사용자 인터페이스가 사용자에게 디스플레이될 필요가 있다는 것을 결정할 수 있다. 또한, 사용자 프로파일링 시스템(528)에 의해 저장된 사용자 프로파일 정보를 사용하여, 명령 라이브러리(532)는 명령 라이브러리(532)에 다른 휴리스틱스를 적용할 수 있고, 저장된 매핑으로부터, 장치의 사용자에게 인사하는 특정 홀로그래픽 캐릭터의 디스플레이를 포함하는 사용자 맞춤화된 사용자 인터페이스가 생성될 필요가 있는 것으로 결정할 수 있다. 명령 라이브러리(532)는, 홀로그래픽 객체 부피 내에 디스플레이하기 위한, 사용자에게 인사하는 결정된 홀로그래픽 캐릭터를 디스플레이하기 위해, 계산 명령을 LF 처리 엔진(530)에 발행할 수 있다. 이 계산 명령을 실행하는 것은, LF 처리 엔진(530)이, 홀로그래픽 캐릭터를 렌더링하고 디스플레이하는 것에 관한, 데이터 저장부(522)로부터의 이미지 데이터를 획득하는 것을 포함할 수 있다. 명령 라이브러리(532)는 또한 감각 피드백 시스템(570)에서 음향 트랜스듀서를 트리거하여, 디스플레이된 홀로그래픽 캐릭터와 동기화되는 가청 인사를 전송할 수 있다. LF 처리 엔진(530)은 추적 시스템(580)으로부터 획득된 추적 정보를 이용하여, 홀로그래픽 캐릭터가 사용자를 보고/보거나 눈을 마주치거나, 사용자와 다른 방식으로 상호작용하도록 렌더링할 수 있다. 사용자로부터의 구두 응답은 이러한 수신된 응답 데이터를 추가적인 처리를 위해 컨트롤러(520)에 제공하는, 감각 피드백 시스템(570) 내에 위치된 음향 수신 장치(예를 들어, 마이크 또는 마이크 어레이)에 의해 수신될 수 있다. 명령 라이브러리(532)는 감각 피드백 시스템(570)으로부터 수신된 데이터를 사용하고, 휴리스틱스를 적용하며, 사용자에 의한 구두 발언에 응답하여, 예를 들어, 내비게이션 보조 애플리케이션 인터페이스가 사용자에게 디스플레이될 필요가 있다고 결정할 수 있다.
다른 실시예에서, 사용자는 이메일 애플리케이션 및/또는 소셜 미디어 애플리케이션과 같은 특정한 원하는 애플리케이션들의 디스플레이로 또한 증강되는 특정한 사용자 맞춤화된 3D 홀로그래픽 사용자 인터페이스의 프리젠테이션으로 항상 시작하도록 LF 디스플레이 시스템을 구성할 수 있다. 일부 실시예들에서, 모바일 장치 사용자는 특정 애플리케이션들을 실행하는 동안 사용자에 의해 사용하기 위한 제공된 원하는 특정 홀로그래픽 사용자 인터페이스들을 갖도록, LF 디스플레이 시스템과 관련하여 다양한 애플리케이션들에 대한 애플리케이션 설정들을 구성할 수 있다.
다른 실시예들에서, 홀로그래픽 사용자 인터페이스는 본원에 설명된 것들보다 더 많은 또는 더 적은 기능들을 포함한다. 유사하게, 기능들은 본원에서 설명되는 것과는 상이한 방식으로 LF 디스플레이 시스템(500)의 모듈들 및/또는 상이한 엔티티들 사이에서 분배될 수 있다.
추적 시스템(580)은 (예를 들어, 카메라, 카메라들의 세트, 깊이 센서, 또는 추적 시스템(580) 내의 일부 다른 센서들을 사용함으로써) 사용자의 움직임을 추적할 수 있다. 사용자의 움직임은 터치 해석을 위해, 추적 시스템(580)에 의해 컨트롤러(520)로 전송될 수 있다. 일부 실시예들에서, 터치 해석은 다음과 같이 수행되는데, 추적 시스템(580)은 먼저, 제공된 홀로그래픽 객체에 사용자가 접근할 때(예를 들어, 하나 이상의 손가락으로) 사용자 움직임을 추적한다. 추적 시스템(580)은 추적된 움직임 정보를 컨트롤러(520)에 전송한다. 추적 모듈(526)은 추적되는 손가락이, 제공된 홀로그래픽 객체로부터 임계 거리 내에 있다고 결정하고, 그에 응답하여 사용자가 홀로그래픽 객체를 "터치"하고 있다고 결정한다. 다른 실시예들에서, 터치 해석은 제공된 홀로그래픽 객체들에 대한 다른 종류의 움직임들을 추적 시스템(580)에 의해 추적하는 것을 포함할 수 있다. 사용자에 의한 추적된 움직임은, 사용자가 하나 이상의 제공된 홀로그래픽 객체에 대해 위치 변경, 이동, 푸시, 누르기, 다이얼링, 회전, 타이핑, 찌르기 등 중 하나 이상을 수행하고 있다고 결정하는 것을 포함할 수 있지만, 이들로 제한되는 것은 아니다.
일부 실시예들에서, 감각 피드백 시스템(570)은 디스플레이된 홀로그래픽 객체를 증강시키는 촉각 표면의 "터치"를 감지할 수 있다. 이러한 결정은 촉각 표면을 생성하는 초음파 에너지에서의 터치에 의해 유발되는 변경을 검출하는 감각 피드백 시스템(570) 내의 압력 센서로부터 입력을 수신하는 것에 기초할 수 있다. 이러한 정보는 추가적인 분석을 위해 컨트롤러(520)로 전송될 수 있다.
도 7은 하나 이상의 실시예들에 따른, 모바일 장치의 일부로서 구현되는 LF 디스플레이 시스템(700)의 일 실시예의 도면이다. LF 디스플레이 시스템(700)은 도 5에 도시된 바와 같은 LF 디스플레이 시스템(500)의 실시예이다. 모바일 장치(710)는 LF 디스플레이 시스템(700)의 LF 디스플레이 어셈블리(720)를 포함한다. LF 디스플레이 어셈블리(720)는 하나 이상의 LF 디스플레이 모듈들(예를 들어, 도 2b의 LF 디스플레이 모듈(210) 또는 도 4a의 LF 디스플레이 모듈(412))로 구성될 수 있다. 하나 이상의 실시예들에서, 모바일 장치(710)는 특정 사용자에 의해 장치에 액세스하기 위한 물리적 특징부(예를 들어, 버튼 등) 및/또는 2D 디지털 디스플레이들(2D 터치스크린들을 포함함)를 포함할 수 있는 하나 이상의 제어 패널(730)을 포함한다. 또한, 모바일 장치(710)는 장치의 사용자(예를 들어, 관찰자 A(772) 또는 관찰자 B(774))에게 홀로그래픽 콘텐츠를 생성하기 위한 LF 디스플레이 어셈블리(720)(예를 들어, 도 5의 LF 디스플레이 어셈블리(510))를 포함한다. LF 디스플레이 시스템(700)은 또한, 감각 피드백 시스템(570), 추적 시스템(580), 사용자 프로파일링 시스템(590), 및 컨트롤러(520)와 같은 도 5에 도시된 LF 디스플레이 시스템(500)의 다른 구성요소들의 임의의 조합을 포함할 수 있다.
LF 디스플레이 시스템은 하나 이상의 LF 디스플레이 모듈들로 구성된 LF 디스플레이 어셈블리(720)를 사용하여 사용자에게 적어도 하나의 홀로그래픽 객체를 포함하는 홀로그래픽 콘텐츠를 제공할 수 있다. 홀로그래픽 객체는 3차원(3D), 2차원(2D), 또는 이들의 일부 조합일 수 있다. 또한, 홀로그래픽 객체들은 다색(예를 들어, 풀(full) 컬러)일 수 있다. 도 7에 도시된 바와 같이, 홀로그래픽 객체 부피(740)는 LF 디스플레이 어셈블리(720)의 LF 디스플레이 표면의 전방 및 후방 모두에(예를 들어, 도 1에 도시된 홀로그래픽 객체 부피(160)와 유사하게) 연장된다. 홀로그래픽 가시 부피(750)는 사용자가 LF 디스플레이 어셈블리(720)에 의해 제공되는 홀로그래픽 객체를 볼 수 있는 가시 공간을 나타낸다. 홀로그래픽 객체들(762 및 764)은 홀로그래픽 객체 부피(740) 내의 어느 곳에나 배치될 수 있다. 관찰자 A(772) 및 관찰자 B(774)는 디스플레이된 홀로그래픽 객체들(762 및 764)을 볼 수 있다. 홀로그래픽 객체들(762 및 764)은 또한, 촉각 표면들이 홀로그래픽 객체들의 하나 이상의 표면들과 일치하도록 LF 디스플레이 시스템(700)으로부터 투사된 촉각 표면들을 가질 수 있다. LF 디스플레이 시스템(700)의 추적 시스템은 디스플레이된 홀로그래픽 객체들(762또는 764)의 표면을 터치하는 사용자를 추적할 수 있으며, 이는 감각 피드백 시스템으로 하여금 응답을 트리거하게 할 수 있다. 따라서, 예를 들어, 홀로그래픽 객체(762)를 향한 손가락(770)의 움직임뿐만 아니라, 홀로그래픽 객체(762)의 촉각 표면 상의 손가락(770)의 "터치"는 LF 디스플레이 시스템(700)에서 추적 시스템에 의해 확립될 수 있다. 홀로그래픽 객체들(762 및 764)과 일치하는 투사된 촉각 표면들은 손가락(770)의 움직임에 응답하여 감각 피드백 시스템에 의해 적절히 조절될 수 있다(예를 들어, 버튼이 푸시되었다는 것을 나타내는 홀로그래픽 콘텐츠의 변화들과 동시에 촉각 버튼의 위치를 변경함).
모바일 장치에서 사용자 맞춤화된 홀로그래픽 디스플레이
일부 실시예들에서, LF 디스플레이 시스템은 도 5의 사용자 프로파일링 시스템(528)에 의해 획득되는 사용자 정보와 조합하여 추적 시스템을 사용하여, 사용자 맞춤화된 반응형 경험을 생성할 수 있다. 예를 들어, 홀로그래픽 UI를 갖는 애플리케이션에서, 생성된 홀로그래픽 "버튼들"은 사용자에 기초하여 크기가 다를 수 있는데, 예를 들어, 이들은 어린이의 경우 작을 수 있고, 나이 든 사용자에 의해서는 쉽게 볼 수 있도록 더 밝은 색상을 갖는 큰 크기일 수 있다.
또한, 일부 실시예들에서, LF 디스플레이 시스템은 특정 사용자들을 위한 특정 콘텐츠를 디스플레이하도록 사용자 맞춤화될 수 있다. 따라서, 예를 들어, LF 디스플레이 시스템은 한 사용자를 위한 홀로그래픽 "버튼들" 및 다른 사용자를 위한 홀로그래픽 "다이얼"을 디스플레이하도록 사용자 맞춤화될 수 있다. 따라서, 도 7과 관련하여, 추적 시스템(580)이 관찰자 A(772)의 존재를 추적할 때, 구성된 설정들은 관찰자 A(772)에 대한 (유일한) 홀로그래픽 객체(762)(즉, 홀로그래픽 "버튼들")의 사용자 맞춤형 디스플레이를 야기할 수 있다. 관찰자 B(774)가 존재하지 않는 경우, 홀로그래픽 객체(764)의 디스플레이는 제공되지 않는다. 유사하게, 관찰자 B(774)의 존재를 감지하면, 구성된 설정들은 관찰자(774)에 대한 홀로그래픽 객체(764)의 사용자 맞춤형 디스플레이(즉, 홀로그래픽 "다이얼")를 야기할 수 있다.
다른 실시예들에서, LF 디스플레이 모듈은 장치 사용자와 상호작용(예를 들어, 보고, 말하고, 듣고, 터치하거나, 또는 이들의 일부 조합)하기 위해 사용자 맞춤화된 홀로그래픽 캐릭터를 디스플레이할 수 있다. 홀로그래픽 캐릭터들의 하나 이상의 특성은 사용자에 의해 사용자 맞춤화될 수 있다. 사용자 맞춤화 가능한 특성은 홀로그래픽 캐릭터의 시각적, 청각적 및 성격 특징 중 어느 하나일 수 있다. 일부 실시예들에서, 홀로그래픽 캐릭터와 연관된 특징들 중 일부 또는 전부는 거래 수수료에 대한 대가로, 네트워크를 통해 하나 이상의 온라인 시스템들로부터 검색될 수 있다(예를 들어, 홀로그래픽 캐릭터에 "바트 심슨(Bart Simpson)"을 추가하는 것). 추가적으로, 추적 시스템은 사용자의 시선을 추적할 수 있다. 추적 시스템은 장치와 상호 작용하고 있는 사용자와 눈을 맞추도록 홀로그래픽 캐릭터를 다시 렌더링하기 위해 LF 디스플레이 시스템(500)에 시선 정보를 제공할 수 있다.
일부 추가적인 실시예들에서, 다수의 사용자들이 모바일 장치를 사용하는 경우, 사용자 프로파일링 시스템은 각각의 장치 사용자들에 대한 사용자 프로파일들을 구축하여 사용자 선호도들 또는 다른 사용자 특성들을 저장할 수 있다. 사용자 프로파일들은 각각의 사용자들에 대한 사용자 프로파일링 모듈(528)에 의해 구축될 수 있고, 이들 사용 프로파일들을 데이터 저장부(522)에 저장할 수 있다.
LF 디스플레이 시스템은 사용자 프로파일링 시스템(590)을 이용하여, 장치의 각각의 후속 사용 동안에 사용자에게 홀로그래픽 콘텐츠를 개인화할 수 있다. 예를 들어, LF 디스플레이 시스템(500)은 이름에 의해(예를 들어, 시각적으로 또는 오디오에 의해) 사용자를 어드레스할 수 있다. 이는 추적 정보를 사용하여 사용자 신원을 결정하거나, 얼굴 또는 음성 인식과 같은 사용자 인증, 패스워드 입력, 또는 일부 다른 방법을 사용하는 것을 포함할 수 있다. 일부 실시예들에서, LF 디스플레이 시스템(500)은 이전에 생성된 홀로그래픽 콘텐츠에 대한 사용자의 반응에 대응하는 홀로그래픽 콘텐츠를 생성한다. 예를 들어, 일부 실시예들에서, LF 처리 엔진(530)의 AI 머신러닝 모듈은 사용자가 이메일을 체크하고, 이어서, Sudoku 퍼즐을 푸는 것에 의해 하루를 시작한다는 것을 학습할 수 있다. LF 디스플레이 시스템(500)은 데이터 저장부(522)에 저장된 데이터에 기초하여 획득되고 렌더링되는 Sudoku 퍼즐의 디스플레이와 함께, 이메일 애플리케이션이 열려 있는, 홀로그래픽 3D "홈" 스크린 디스플레이를 생성할 수 있다.
일부 실시예들에서, 사용자에 대한 라이트필드 디스플레이를 사용자 맞춤화하는 것은 프라이버시 모드를 포함할 수 있고, 추적 시스템(580)은 사용자의 위치를 추적하며, 그 사용자에게만 가시적인 맞춤형 홀로그래픽 콘텐츠를 생성한다. 도 2b는 LF 디스플레이 시스템(200)에 의해 형성될 수 있는 복수의 가시 서브부피들(290)을 도시한다. 그 섹션들에서 설명된 바와 같이, 가시 서브부피(290A) 내의 사용자는 가시 서브부피들(290B, 290C, 290D) 내의 사용자가 인식할 수 없는, 홀로그래픽 객체 부피(255)에 제공된 홀로그래픽 객체를 인지할 수 있고, 따라서 시청 프라이버시를 보장할 수 있다. 따라서, 이러한 상황들 하에서, 홀로그래픽 스크린 디스플레이 상의 이메일을 읽는 사용자는 디스플레이가 그 사용자에게만 보이고, 이웃 사람들에게는 보이지 않는다는 것을 확신할 수 있다. 다른 실시예들에서, LF 디스플레이 어셈블리의 가시 부피 내의 모든 사용자들은 홀로그래픽 가시 부피 내에 위치된 모든 홀로그래픽 객체들을 볼 수 있다(그러나, 모두, 사용자 위치에 따라 상이한 관점들을 볼 수 있다). 모바일 장치는 하나 이상의 추적된 사용자들에 대한 프라이버시 모드에서 홀로그래픽 콘텐츠를 렌더링하기 위해 LF 디스플레이 시스템에 대한 프라이버시 설정을 제공할 수 있다.
모바일 장치의 LF 디스플레이 시스템을 사용하는 예시적인 사용자 애플리케이션
모바일 장치들은 다양한 소프트웨어 애플리케이션들과 관련하여 사용된다. 이러한 애플리케이션들 중 몇몇은 장치 내의 LF 디스플레이 시스템을 사용하여 더 증강될 수 있다. 이러한 예들 중 일부는 아래에 간략하게 제공된다.
일 실시예에서, LF 디스플레이 시스템(500)은 블록들을 포함하는 퍼즐 애플리케이션과 함께 사용될 수 있다. LF 디스플레이 시스템(500)은 홀로그래픽 "비어 있는 구조물"을 "충진"할 필요가 있는 블록들을 나타내는 마킹들을 갖는 "비어 있는 구조물"의 홀로그래픽 디스플레이를 생성할 수 있다. 동시에, 시스템은 시청하는 플레이어에게 다양한 형상의 "블록"의 홀로그래픽 세트를 디스플레이할 수 있다. 구조물을 생성하기 위한 이미지 렌더링 데이터 및 "블록들"의 세트는 네트워크(630)를 통해 퍼즐 애플리케이션을 미리 다운로드할 때 데이터 저장부(530)에 저장될 수 있다. 플레이어가 블록을 터치하고 그의 손가락을 상기 블록을 수용하는 구조물 내의 정확한 3D 위치로 이동시킴에 따라, 추적 시스템(580)은 이러한 움직임을 추적하고, LF 처리 엔진(530)은 플레이어의 손가락의 위치로 이동하는 블록을 갖고, 그 후 위치가 "이동됨"에 따라 상기 블록으로 "채워진" 대응하는 3D 위치를 갖는 "구조물"의 홀로그래픽 렌더링을 생성한다.
다른 홀로그래픽 사용자 애플리케이션들은 추적 시스템(580)과 협력하여 감각 피드백 시스템(570)을 사용하여, "터치"될 때 "움직이는" 홀로그래픽 렌더링을 생성하는 것을 포함할 수 있다. 예들은 가구 조립을 용이하게 하고, 스스로 조립하게 하는(do-it-yourself) 응용을 가르치는 홀로그래픽 렌더링을 제공하는 것뿐만 아니라, 예를 들어, 의대생들이 사용자의 식별된 움직임에 반응하여 변화하는 홀로그래픽 인체의 렌더링을 이용하여 인체를 해부하도록 교육받는 교육적 응용을 포함한다.
일 실시예에서, LF 디스플레이 시스템(500)에 의해 디스플레이하기 위한 광고들을 생성하는 것을 포함하여, 사용자에게 제품에 관한 햅틱 정보를 제공하는 촉각 표면 샘플들을 생성하기 위해 감각 피드백 시스템(570)의 초음파 방출기들이 사용될 수 있다(예를 들어, 카펫 제조자는 사용자가 경험할 수 있는 다양한 텍스처를 갖는 양탄자 샘플들을 디스플레이하는 광고를 디스플레이할 수 있다).
다른 응용예들은 터치 및 음성 명령과 같은 감각 자극에 반응하고 "사이버 애완동물"의 소유자에게 "사이버 애완동물"과의 몰입형 경험을 제공하는 "사이버 애완동물"의 홀로그래픽 렌더링을 생성하는 것을 포함한다. 추적 시스템(580) 및 감각 피드백 시스템(570)은 함께, 사용자에게 홀로그래픽 "사이버-애완동물"과의 반응형 경험을 제공할 수 있다.
도 8은 하나 이상의 실시예들에 따른, 라이트필드 디스플레이 시스템을 사용하여 모바일 장치와의 사용자 상호작용을 가능하게 하는 프로세스를 나타낸 흐름도이다. 일 실시예에서, 도 8의 프로세스는 (도 5에 도시된 바와 같이) 라이트필드 디스플레이 시스템(500)에 의해 수행된다. 다른 엔티티들은 다른 실시예들에서 이 프로세스의 단계들 중 일부 또는 전부를 수행할 수 있다. 마찬가지로, 실시예들은 상이한 및/또는 추가적인 단계들을 포함할 수 있거나, 또는 상이한 순서로 단계들을 수행할 수 있다.
라이트필드 디스플레이 시스템(500)은 사용자로부터 명령을 수신한다(810). 사용자 명령은 물리적 컨트롤들, 예를 들어, 눌려질 수 있는 물리적 버튼 및 물리적인 터치가 가능한 스크린들을 통해 수신될 수 있으며, 이는 모두 모바일 장치 상에 위치되고 감각 피드백 시스템(570)의 일부일 수 있다. 다른 예에서, 사용자 명령들은 감각 피드백 시스템(570)의 일부인 음향 마이크와 같은 음향 수신기들에서 음성 명령들로서 수신될 수 있다. 사용자 명령은 또한, 디스플레이된 홀로그래픽 UI와 같이, 사용자에 의한 홀로그래픽 객체 상호작용을 통해 수신될 수 있다. 사용자 명령은 또한, 추적 모듈(526)로부터의 명령들을 통해, 사용자를 추적하고 있는 추적 시스템(580)을 통해 수신될 수 있다. 일 실시예에서, 사용자 명령은 추적 시스템(580)에 의해 기록되고 추적 모듈(526)에 의해 분석된 사용자에 의한 제스처, 신체 움직임, 또는 표정으로서 캡처될 수 있다. 다른 실시예에서, 사용자 명령은 사용자가 디스플레이된 홀로그래픽 UI 상의 홀로그래픽 "버튼"과 같은 촉각 홀로그래픽 표면을 터치했다는 것을 추적 시스템(580)이 검출할 때 수신될 수 있다. 사용자 명령들은 또한, 통신 네트워크를 통해 모바일 장치에 수신될 수 있다. 수신된 사용자 명령은 해석 및 분석을 위해 컨트롤러를 통해 명령 라이브러리(532)로 중계된다.
라이트필드 디스플레이 시스템(500)은 사용자 명령을 처리하여 계산 명령을 결정한다(820). 라이트필드 디스플레이 시스템(500)의 명령 라이브러리(532)는, 필요한 경우, 사용자 제스처, 신체 움직임 또는 표정들을 해석하기 위한 추적 모듈과 함께, 가능하게는 사용자 프로파일링 시스템(528)에 의해 저장된 사용자 프로파일 정보와 관련하여, 수신된 사용자 명령을 해석하고, 저장된 휴리스틱스를 적용할 수 있으며, 수신된 사용자 명령에 기초하여 계산 명령을 결정한다. 결정된 계산 명령의 일 예는 모바일 장치의 사용자에 의한 디스플레이를 위해 더 많은 홀로그래픽 콘텐츠를 생성하기 위한 명령이다. 또 다른 예는 생성된 홀로그래픽 콘텐츠를 변경하는 것일 수 있다. 결정된 계산 명령은, 예를 들어 사용자의 시선을 추적하기 위한 이미징 센서와 같은, LF 디스플레이 시스템의 센서들을 활성화시킬 수 있다. 결정된 계산 명령은 또한, 모바일 장치 내의 컨트롤들을 활성화시킬 수 있다. 결정된 계산 명령의 일 예는 모바일 장치의 사용자에 의한 디스플레이를 위해 더 많은 홀로그래픽 콘텐츠를 생성하는 것이다. 또 다른 예는 생성된 홀로그래픽 콘텐츠를 변경하는 것일 수 있다. 생성된 홀로그래픽 콘텐츠는 LF 디스플레이 시스템에 수신된 파라미터의 값에 응답하여 수정될 수 있다. 따라서, 예를 들어, 애플리케이션이 네트워크를 통해 모바일 장치 상에 다운로드되고 있을 때 다운로드 진행을 나타내도록 홀로그래픽 "구(sphere)"가 투사될 수 있다. 다운로드가 진행되는 시점에 다운로드된 콘텐츠의 백분율을 나타내는 파라미터의 값이 LF 디스플레이 시스템에 의해 사용되어, 애플리케이션의 다운로드의 진행을 예시하는 컬러로 채워진 홀로그래픽 구를 묘사할 수 있다. 결정된 계산 명령은, 예를 들어 사용자의 시선을 추적하기 위한 트리거 센서와 같은, LF 디스플레이 시스템의 센서들을 활성화시킬 수 있다. 결정된 계산 명령은 또한, 모바일 장치 내의 컨트롤들을 활성화시킬 수 있다. 예를 들어, 계산 명령은 모바일 장치의 스피커 부피를 증가시키거나, 특정 오디오 톤을 알람 경보로서 설정할 수 있다.
라이트필드 디스플레이 시스템은 계산 명령에 기초하여 디스플레이를 위해 홀로그래픽 콘텐츠를 생성한다(830). 라이트필드 디스플레이 시스템(500)의 LF 처리 엔진(530)은 결정된 계산 명령을 명령 라이브러리(532)로부터 수신하고, 계산 명령에 기초하여 디스플레이를 위한 홀로그래픽 콘텐츠를 생성한다(830).
라이트필드 디스플레이 시스템(500)은 생성된 홀로그래픽 콘텐츠를 디스플레이한다(840). 컨트롤러(520)는 LF 처리 엔진(530)으로부터 LF 디스플레이 어셈블리(510)로 홀로그래픽 콘텐츠를 투사하기 위한 디스플레이 명령들을 전송한다. LF 디스플레이 어셈블리(510)는 홀로그래픽 콘텐츠를 사용자에게 디스플레이한다.
추가 구성 정보
본 개시의 실시예들에 대한 전술한 설명은 예시의 목적으로 제공되었지만, 개시된 정확한 형태들로 배타적으로 또는 본 개시를 제한하는 것으로 의도되는 것은 아니다. 통상의 기술자는 위의 개시 내용에 비추어 많은 수정 및 변형이 가능하다는 것을 이해할 수 있다.
본 설명의 일부 부분들은 정보에 대한 동작들의 알고리즘들 및 기호 표현들의 관점에서 본 개시의 실시예들을 기술한다. 이러한 알고리즘 설명들 및 표현들은 작업 내용을 다른 통상의 기술자들에게 효과적으로 전달하기 위해, 데이터 처리 분야의 통상의 기술자들에 의해 통상적으로 사용된다. 이러한 동작들은, 기능적으로, 계산적으로, 또는 논리적으로 기술되지만, 컴퓨터 프로그램들 또는 균등한 전기 회로들, 마이크로코드 등에 의해 구현되는 것으로 이해된다. 나아가, 일반성을 잃지 않고, 이러한 동작들의 모듈들을 모듈들로 지칭하는 것이 종종 편리하다는 것이 입증되었다. 설명된 동작들 및 그들의 연관된 모듈들은 소프트웨어, 펌웨어, 하드웨어, 또는 이들의 임의의 조합으로 구현될 수 있다.
본원에 설명된 단계들, 동작들, 또는 프로세스들 중 임의의 것은 하나 이상의 하드웨어 또는 소프트웨어 모듈들로, 단독으로 또는 다른 장치들과 조합하여 수행되거나 구현될 수 있다. 일 실시예에서, 소프트웨어 모듈은, 기술된 단계들, 동작들, 또는 프로세스들 중 임의의 것 또는 전부를 수행하기 위해 컴퓨터 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 코드를 포함하는 컴퓨터-판독가능 매체를 포함한, 컴퓨터 프로그램 제품으로 구현된다.
본 개시의 실시예들은 또한, 본원에서의 동작들을 수행하기 위한 장치에 관한 것일 수 있다. 이 장치는 필요한 목적을 위해 특별히 구성될 수 있고/있거나, 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨팅 장치를 포함할 수 있다. 이러한 컴퓨터 프로그램은 비-일시적, 유형의 컴퓨터 판독가능 저장 매체, 또는 컴퓨터 시스템 버스에 연결될 수 있는 전자 명령들을 저장하기에 적합한 임의의 유형의 매체에 저장될 수 있다. 또한, 본 명세서에서 언급되는 임의의 컴퓨팅 시스템들은 단일 프로세서를 포함할 수 있거나, 증가된 컴퓨팅 능력을 위해 다수의 프로세서 설계들을 이용하는 아키텍처일 수 있다.
본 개시의 실시예들은 또한, 본원에 기술된 컴퓨팅 프로세스에 의해 생성되는 제품에 관한 것일 수 있다. 이러한 제품은 컴퓨팅 프로세스로부터 발생하는 정보를 포함할 수 있으며, 여기서 해당 정보는 비-일시적인 유형의 컴퓨터 판독가능 저장 매체 상에 저장되고, 본원에 기술된 컴퓨터 프로그램 제품 또는 다른 데이터 조합의 임의의 실시예를 포함할 수 있다.
마지막으로, 본 명세서에서 사용되는 언어는 주로 가독성 및 교육 목적을 위해 선택되었고, 본 발명의 청구 대상을 기술하거나 제한하기 위해 선택되지 않았을 수 있다. 따라서, 본 개시의 범위는 이러한 상세한 설명에 의해 제한되는 것이 아니라, 본원에 기초하여 발행하는 임의의 청구항들에 의해 제한되는 것으로 의도된다. 따라서, 실시예들의 개시는 다음의 청구항들에 제공된 본 개시의 범위를 제한하는 것이 아니라 예시적인 것이다.
Claims (50)
- 모바일 장치로서,
라이트필드(LF) 디스플레이 시스템을 포함하고, 상기 LF 디스플레이 시스템은,
홀로그래픽 콘텐츠를 생성하도록 구성된 컨트롤러;
상기 생성된 홀로그래픽 콘텐츠를 상기 모바일 장치의 사용자에게 제공하도록 구성된 하나 이상의 LF 디스플레이 모듈들을 포함하는 LF 디스플레이 어셈블리; 및
상기 사용자로부터의 하나 이상의 명령들을 인식하도록 구성된 명령 인터페이스를 포함하는, 모바일 장치. - 제1항에 있어서, 상기 컨트롤러는 상기 모바일 장치의 동작 상태의 변화에 응답하여 상기 생성된 홀로그래픽 콘텐츠를 업데이트하도록 구성되는, 모바일 장치.
- 제1항에 있어서, 상기 컨트롤러는 상기 사용자로부터의 하나 이상의 인식된 명령들에 기초하여 홀로그래픽 콘텐츠를 수정하도록 더 구성되는, 모바일 장치.
- 제1항에 있어서, 상기 하나 이상의 인식된 명령들은 상기 모바일 장치의 동작 상태의 변화를 야기하는, 모바일 장치.
- 제1항에 있어서, 상기 LF 디스플레이 시스템은,
상기 모바일 장치의 사용자에 관한 정보를 획득하도록 구성된 하나 이상의 추적 장치들을 포함하는 추적 시스템을 더 포함하고,
상기 컨트롤러는 상기 추적 시스템에 의해 획득된 정보에 부분적으로 기초하여 상기 사용자를 위한 상기 홀로그래픽 콘텐츠를 생성하도록 구성되는, 모바일 장치. - 제5항에 있어서, 상기 생성된 홀로그래픽 콘텐츠는 상기 모바일 장치의 동작을 제어하기 위한 하나 이상의 홀로그래픽 특징부들을 갖는 홀로그래픽 사용자 인터페이스(UI)를 포함하고, 상기 명령 인터페이스는 상기 생성된 홀로그래픽 UI를 통해 상기 사용자로부터 수신된 상기 하나 이상의 명령들을 인식하도록 더 구성되는, 모바일 장치.
- 제5항에 있어서, 상기 명령 인터페이스는 상기 사용자가 상기 제공된 홀로그래픽 UI의 상기 하나 이상의 홀로그래픽 특징부들의 임계 거리 내에 있다고 결정하는 것에 기초하여, 상기 홀로그래픽 UI를 통해 상기 사용자로부터의 명령을 수신하도록 더 구성되는, 모바일 장치.
- 제5항에 있어서, 상기 추적 시스템에 의해 획득된 상기 정보는, 상기 사용자의 위치, 상기 사용자의 움직임, 상기 사용자의 제스처, 상기 사용자의 표정, 상기 사용자의 시선, 상기 사용자의 성별, 및 상기 사용자의 나이 중 임의의 조합을 포함하는, 모바일 장치.
- 제5항에 있어서, 상기 컨트롤러는 상기 추적 시스템에 의해 획득된 정보 및 인공지능 모델을 사용하여 상기 홀로그래픽 콘텐츠를 생성하도록 구성되는, 모바일 장치.
- 제5항에 있어서, 상기 추적 시스템은, 라이트필드 카메라, 하나 이상의 2D 이미징 센서들, 및 깊이 센서를 포함하는 센서들의 임의의 조합을 포함하는, 모바일 장치.
- 제10항에 있어서, 상기 컨트롤러는 상기 추적 시스템 내의 상기 하나 이상의 센서들로부터 데이터를 캡처하고, 상기 캡처된 데이터에 기초하여 상기 홀로그래픽 콘텐츠를 생성함으로써, 상기 홀로그래픽 콘텐츠를 생성하도록 더 구성되는, 모바일 장치.
- 제11항에 있어서, 상기 컨트롤러는 상기 추적 시스템 내의 상기 하나 이상의 센서들로부터의 캡처된 데이터에 기초하여 상기 생성된 홀로그래픽 콘텐츠를 수정하도록 더 구성되는, 모바일 장치.
- 제1항에 있어서, 상기 LF 디스플레이 시스템은,
상기 홀로그래픽 콘텐츠가 제공될 때 감각 피드백을 수신하도록 구성된 적어도 하나의 감각 피드백 장치를 포함하는 감각 피드백 시스템을 더 포함하는, 모바일 장치. - 제13항에 있어서, 상기 명령 인터페이스는 상기 수신된 감각 피드백을 상기 사용자로부터 수신된 하나 이상의 명령들로서 인식하도록 더 구성되는, 모바일 장치.
- 제13항에 있어서, 상기 감각 피드백 시스템은 초음파 트랜스듀서들, 압력 센서들, 힘 센서들, 온도 센서들, 터치 센서들, 근접 센서들, 또는 이들의 임의의 조합을 포함하는, 모바일 장치.
- 제13항에 있어서, 상기 감각 피드백 시스템은 버튼들, 다이얼들, 노브들, 키패드들, 지문 센서들, 조이스틱들, 다른 입력 하드웨어, 또는 이들의 임의의 조합 중 하나 이상을 더 포함하는, 모바일 장치.
- 제13항에 있어서, 상기 감각 피드백 시스템은 마이크 및 음성 인식 소프트웨어를 더 포함하는, 모바일 장치.
- 제1항에 있어서, 상기 LF 디스플레이 시스템은,
상기 홀로그래픽 콘텐츠가 제공될 때 감각 피드백을 제공하도록 구성된 적어도 하나의 감각 피드백 장치를 포함하는 감각 피드백 시스템을 더 포함하는, LF 디스플레이 시스템. - 제18항에 있어서, 상기 컨트롤러는 촉각 자극들, 음향 자극들, 온도 자극들, 후각 자극들, 압력 자극들, 힘 자극들, 또는 이들의 임의의 조합을 포함하는 감각 콘텐츠로 상기 생성된 홀로그래픽 콘텐츠를 증강시키도록 더 구성되는, 모바일 장치.
- 제18항에 있어서, 상기 감각 피드백 시스템은, 상기 제공된 홀로그래픽 객체의 표면의 임계 거리 내에, 또는 상기 제공된 홀로그래픽 객체의 표면과 일치하게 부피 촉각 표면을 생성하도록 구성된 초음파 에너지 투사 장치를 더 포함하는, 모바일 장치.
- 제20항에 있어서, 상기 초음파 에너지 투사 장치는, 사용자 터치에 대한 상기 생성된 부피 촉각 표면의 저항, 상기 생성된 부피 촉각 표면의 텍스처, 또는 상기 컨트롤러에 수신된 파라미터의 값에 기초한 촉각 강도 중 하나 이상을 조절하도록 더 구성되는, 모바일 장치.
- 제5항에 있어서, 상기 추적 시스템에 의해 획득된 정보에 부분적으로 기초하여 생성된 부피 촉각 표면을 생성하도록 구성된 초음파 에너지 투사 장치를 더 포함하는, 모바일 장치.
- 제22항에 있어서, 상기 초음파 에너지 투사 장치는 상기 추적 시스템에 의해 획득된 정보에 응답하여 상기 생성된 부피 촉각 표면을 업데이트하도록 더 구성되는, 모바일 장치.
- 제22항에 있어서, 상기 초음파 에너지 투사 장치는 상기 추적 시스템에 의해 획득된 정보 및 인공지능 모델을 사용하여 상기 부피 촉각 표면을 생성하도록 더 구성되는, 모바일 장치.
- 제1항에 있어서, 상기 컨트롤러는,
네트워크 인터페이스를 통해 온라인 시스템으로부터 제1 포맷으로 상기 홀로그래픽 콘텐츠의 적어도 일부를 검색하고,
상기 홀로그래픽 콘텐츠의 벡터화된 포맷을 상기 LF 디스플레이 어셈블리에 의해 제공하기 위한 제2 포맷으로 변환하도록 더 구성되는, 모바일 장치. - 제25항에 있어서, 상기 제1 포맷은 벡터화된 포맷을 포함하고, 상기 제2 포맷은 래스터화된 포맷을 포함하는, 모바일 장치.
- 제1항에 있어서, 상기 LF 디스플레이 시스템은, 상기 홀로그래픽 콘텐츠가 상기 사용자에게 제공되는 위치에서의 환경적 특성에 기초하여 상기 홀로그래픽 콘텐츠의 프리젠테이션을 수정하도록 구성되는, 모바일 장치.
- 제1항에 있어서, 상기 LF 디스플레이 시스템은 상기 LF 디스플레이 시스템에 수신된 파라미터의 값에 기초하여 상기 홀로그래픽 콘텐츠의 프리젠테이션을 수정하도록 구성되는, 모바일 장치.
- 제1항에 있어서, 상기 컨트롤러는 상기 LF 디스플레이 시스템에서 상기 사용자에 대해 유지되는 사용자 프로파일에 기초하여 부분적으로 상기 홀로그래픽 콘텐츠를 생성하도록 더 구성되는, LF 디스플레이 시스템.
- 제1항에 있어서,
상기 모바일 장치의 사용자에 관한 정보를 획득하도록 구성된 하나 이상의 추적 장치들을 포함하는 추적 시스템; 및
사용자 프로파일링 모듈을 더 포함하고, 상기 사용자 프로파일링 모듈은,
상기 추적 시스템에 의해 획득된 상기 정보에 액세스하고,
상기 정보를 처리하여 상기 사용자를 식별하며,
상기 추적 장치에 의해 획득된 정보에 기초하여,
상기 사용자에 대한 사용자 프로파일을 생성하는 것, 및
상기 사용자에 대한 사용자 프로파일을 수정하는 것 중 하나 이상을 수행하도록 더 구성되고,
상기 컨트롤러는 상기 사용자 프로파일에 부분적으로 기초하여 상기 사용자에 대한 상기 홀로그래픽 콘텐츠를 생성하도록 더 구성되는, LF 디스플레이 시스템. - 제30항에 있어서, 상기 컨트롤러는 상기 사용자 프로파일 및 인공지능 모델을 사용하여,
상기 홀로그래픽 콘텐츠를 생성하는 것, 및
상기 홀로그래픽 콘텐츠를 수정하는 것 중 하나 이상을 수행하도록 더 구성되는, LF 디스플레이 시스템. - 제30항에 있어서, 상기 사용자 프로파일링 모듈은,
상기 사용자의 소셜 미디어 계정으로부터의 정보를 사용하여 상기 사용자 프로파일을 업데이트하도록 더 구성되고,
상기 컨트롤러는 상기 업데이트된 사용자 프로파일에 부분적으로 기초하여 상기 홀로그래픽 콘텐츠를 생성하도록 구성되는, LF 디스플레이 시스템. - 제1항에 있어서, 상기 홀로그래픽 콘텐츠는 상기 모바일 장치 상에서 실행하는 애플리케이션과 함께 제공되는, 모바일 장치.
- 제33항에 있어서, 상기 제공된 홀로그래픽 콘텐츠는 GPS(Global Positioning System)로부터 획득된 위치 좌표들에 기초하는, 모바일 장치.
- 제33항에 있어서, 상기 제공된 홀로그래픽 콘텐츠는 온라인 소스로부터 수신된 콘텐츠에 기초하는, 모바일 장치.
- 제33항에 있어서, 상기 제공된 홀로그래픽 콘텐츠는 상기 사용자에 의해 행해진 동작 선택에 응답하여 온라인 소스로부터 수신된 콘텐츠에 기초하는, 모바일 장치.
- 제1항에 있어서, 상기 제공된 홀로그래픽 콘텐츠는 홀로그래픽 캐릭터를 포함하는, 모바일 장치.
- 제37항에 있어서, 상기 제공된 홀로그래픽 캐릭터와 연관된 특성은 상기 사용자에 의해 적어도 부분적으로 구성되는, 모바일 장치.
- 제37항에 있어서, 상기 제공된 홀로그래픽 캐릭터와 연관된 특성은 상기 제공된 홀로그래픽 캐릭터의 시각적, 청각적 및 성격 특성을 포함하는, 모바일 장치.
- 제37항에 있어서, 상기 제공된 홀로그래픽 캐릭터와 연관된 특성은 네트워크를 통해 온라인 시스템으로부터 검색되는, 모바일 장치.
- 제39항에 있어서, 상기 특성은 거래 수수료에 대한 대가로 상기 네트워크를 통해 상기 온라인 시스템으로부터 검색되는, 모바일 장치.
- 제8항에 있어서, 상기 컨트롤러는 상기 추적 시스템에 의해 획득된 정보에 기초하여 상기 사용자를 위한 홀로그래픽 캐릭터를 생성하도록 구성되는, 모바일 장치.
- 제42항에 있어서, 상기 LF 디스플레이 어셈블리는 상기 사용자의 시선과 눈 맞춤을 유지하기 위해 상기 생성된 홀로그래픽 캐릭터의 눈을 업데이트하도록 구성되는, 모바일 장치.
- 제1항에 있어서, 상기 LF 디스플레이 시스템은,
인증 모듈을 포함하는 보안 모듈을 포함하고, 상기 인증 모듈은,
사용자로부터 보안 암호를 수신하고,
상기 수신된 보안 암호를 인증하며,
상기 모바일 장치의 하나 이상의 기능들에 대한 보안 액세스를 가능하게 하고,
상기 인증에 응답하여 특정 홀로그래픽 콘텐츠의 생성을 가능하게 하도록 구성되는, 모바일 장치. - 제1항에 있어서, 상기 컨트롤러, 상기 LF 디스플레이 어셈블리, 및 상기 명령 인터페이스의 동작 기능들은 모바일 운영체제(모바일 OS)에 의해 상기 모바일 장치의 다른 동작 기능들과 관련하여 관리되는, 모바일 장치.
- 제45항에 있어서, 상기 모바일 OS는, 상기 컨트롤러, 상기 LF 디스플레이 어셈블리 및 상기 명령 인터페이스 중 하나 이상으로부터 수신된 입력과 관련된 정보를 수신하는, 모바일 장치.
- 제46항에 있어서, 상기 모바일 OS는 상기 수신된 정보에 응답하여 기능적 추상화의 하나 이상의 계층들에서 동작들을 수행하는, 모바일 장치.
- 제45항에 있어서, 상기 모바일 OS는 상기 모바일 OS에서 실행되는 플러그 가능한 모듈들 또는 애플리케이션들 중 하나 이상을 통해 상기 컨트롤러, 상기 LF 디스플레이 어셈블리, 및 상기 명령 인터페이스의 동작 기능들을 관리하는, 모바일 장치.
- 제48항에 있어서, 상기 모바일 OS는 상기 컨트롤러와 인터페이스하여 홀로그래픽 콘텐츠를 디스플레이하는, 모바일 장치.
- 제45항에 있어서, 상기 모바일 OS는 상기 모바일 장치의 하드웨어 구성요소들에 대한 상기 LF 디스플레이 시스템의 액세스를 용이하게 하는, 모바일 장치.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/US2019/049379 WO2021045730A1 (en) | 2019-09-03 | 2019-09-03 | Light field display for mobile devices |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220054619A true KR20220054619A (ko) | 2022-05-03 |
Family
ID=74852881
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227009073A KR20220054619A (ko) | 2019-09-03 | 2019-09-03 | 모바일 장치를 위한 라이트필드 디스플레이 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20220326760A1 (ko) |
| EP (1) | EP4025963A4 (ko) |
| JP (1) | JP2022553613A (ko) |
| KR (1) | KR20220054619A (ko) |
| CN (1) | CN114341747A (ko) |
| WO (1) | WO2021045730A1 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11328314B2 (en) * | 2020-05-14 | 2022-05-10 | Zmbizi App Llc | Context-aware systems and methods for selecting smartphone applications/services and awarding reward points |
| FR3122000B1 (fr) * | 2021-04-16 | 2023-12-08 | Faurecia Interieur Ind | Interface homme-machine holographique et véhicule associé |
| CN115185150A (zh) * | 2022-06-02 | 2022-10-14 | 广州大学 | 一种基于声悬浮的裸眼3d和裸眼vr系统以及实现方法 |
| CN116027934B (zh) * | 2022-08-11 | 2023-10-20 | 荣耀终端有限公司 | 展示卡片的方法及装置 |
Family Cites Families (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7728964B2 (en) * | 2004-12-23 | 2010-06-01 | Matthew Feinsod | Motion compensated light-emitting apparatus |
| US8514238B2 (en) * | 2008-11-21 | 2013-08-20 | Adobe Systems Incorporated | System and method for adding vector textures to vector graphics images |
| US8581838B2 (en) * | 2008-12-19 | 2013-11-12 | Samsung Electronics Co., Ltd. | Eye gaze control during avatar-based communication |
| US9160966B2 (en) * | 2011-05-11 | 2015-10-13 | Microsoft Technology Licensing, Llc | Imaging through a display screen |
| US9880640B2 (en) * | 2011-10-06 | 2018-01-30 | Amazon Technologies, Inc. | Multi-dimensional interface |
| EP2831832A4 (en) * | 2012-03-30 | 2015-09-09 | Intel Corp | PROCESS FOR ADVANCED HOLOGRAPHIC COOKING |
| US9501942B2 (en) * | 2012-10-09 | 2016-11-22 | Kc Holdings I | Personalized avatar responsive to user physical state and context |
| CA2896985A1 (en) * | 2013-01-03 | 2014-07-10 | Meta Company | Extramissive spatial imaging digital eye glass for virtual or augmediated vision |
| WO2014150518A1 (en) * | 2013-03-15 | 2014-09-25 | Legacy Media, Llc | Provision of predefined communications |
| US9310769B2 (en) * | 2013-03-28 | 2016-04-12 | Disney Enterprises, Inc. | Coarse integral holographic display |
| US20150244747A1 (en) * | 2014-02-26 | 2015-08-27 | United Video Properties, Inc. | Methods and systems for sharing holographic content |
| US9465361B2 (en) * | 2014-03-31 | 2016-10-11 | Disney Enterprises, Inc. | Image based multiview multilayer holographic rendering algorithm |
| US9508195B2 (en) * | 2014-09-03 | 2016-11-29 | Microsoft Technology Licensing, Llc | Management of content in a 3D holographic environment |
| US20160203221A1 (en) * | 2014-09-12 | 2016-07-14 | Lithium Technologies, Inc. | System and apparatus for an application agnostic user search engine |
| US9661272B1 (en) * | 2015-01-28 | 2017-05-23 | Isaac S. Daniel | Apparatus, system and method for holographic video conferencing |
| US9959658B2 (en) * | 2015-02-26 | 2018-05-01 | Rovi Guides, Inc. | Methods and systems for generating holographic animations |
| EP3265865A1 (en) * | 2015-03-06 | 2018-01-10 | Illinois Tool Works Inc. | Sensor assisted head mounted displays for welding |
| US9712810B2 (en) * | 2015-06-03 | 2017-07-18 | Disney Enterprises, Inc. | Tracked automultiscopic 3D tabletop display |
| CN107850788B (zh) * | 2015-07-03 | 2020-10-27 | 依视路国际公司 | 用于增强现实的方法和系统 |
| US10120454B2 (en) * | 2015-09-04 | 2018-11-06 | Eyesight Mobile Technologies Ltd. | Gesture recognition control device |
| KR102549216B1 (ko) * | 2015-11-02 | 2023-06-30 | 삼성전자 주식회사 | 사용자 프로파일을 생성하기 위한 전자 장치 및 방법 |
| US9813673B2 (en) * | 2016-01-20 | 2017-11-07 | Gerard Dirk Smits | Holographic video capture and telepresence system |
| US10228653B2 (en) * | 2016-04-07 | 2019-03-12 | Pixie Dust Technologies, Inc. | System and method for rendering interactive aerial volumetric graphics and generating spatial audio using femtosecond lasers |
| US10453431B2 (en) * | 2016-04-28 | 2019-10-22 | Ostendo Technologies, Inc. | Integrated near-far light field display systems |
| US10602126B2 (en) * | 2016-06-10 | 2020-03-24 | Lucid VR, Inc. | Digital camera device for 3D imaging |
| US10140776B2 (en) * | 2016-06-13 | 2018-11-27 | Microsoft Technology Licensing, Llc | Altering properties of rendered objects via control points |
| US11024014B2 (en) * | 2016-06-28 | 2021-06-01 | Microsoft Technology Licensing, Llc | Sharp text rendering with reprojection |
| KR102629584B1 (ko) * | 2016-07-19 | 2024-01-25 | 삼성전자주식회사 | 빔 조향 백라이트 유닛 및 이를 포함하는 홀로그래픽 디스플레이 장치 |
| WO2018045553A1 (zh) * | 2016-09-09 | 2018-03-15 | 上海海知智能科技有限公司 | 人机交互的系统及方法 |
| US20180329209A1 (en) * | 2016-11-24 | 2018-11-15 | Rohildev Nattukallingal | Methods and systems of smart eyeglasses |
| US20180232937A1 (en) * | 2017-02-14 | 2018-08-16 | Philip Moyer | System and Method for Implementing Virtual Reality |
| KR20240046613A (ko) * | 2017-04-19 | 2024-04-09 | 매직 립, 인코포레이티드 | 웨어러블 시스템을 위한 멀티모달 임무 실행 및 텍스트 편집 |
| GB201709199D0 (en) * | 2017-06-09 | 2017-07-26 | Delamont Dean Lindsay | IR mixed reality and augmented reality gaming system |
| US20190005724A1 (en) * | 2017-06-30 | 2019-01-03 | Microsoft Technology Licensing, Llc | Presenting augmented reality display data in physical presentation environments |
| US10803832B2 (en) * | 2017-08-01 | 2020-10-13 | Samsung Electronics Co., Ltd. | Synchronizing holographic displays and 3D objects with physical video panels |
| WO2019060889A1 (en) * | 2017-09-25 | 2019-03-28 | Ventana 3D, Llc | ARTIFICIAL INTELLIGENCE (IA) CHARACTER SYSTEM CAPABLE OF NATURAL VERBAL AND VISUAL INTERACTIONS WITH A HUMAN BEING |
| US10796359B2 (en) * | 2017-10-18 | 2020-10-06 | Mastercard International Incorporated | Consumer sampling webpage linked with digital wallet |
| US10560689B2 (en) * | 2017-11-28 | 2020-02-11 | Paul Lapstun | Viewpoint-optimized light field display |
| JP7389032B2 (ja) * | 2017-12-14 | 2023-11-29 | マジック リープ， インコーポレイテッド | 仮想アバタのコンテキストベースのレンダリング |
| US10616562B2 (en) * | 2017-12-21 | 2020-04-07 | X Development Llc | Directional light emitters and electronic displays featuring the same |
| KR20200116941A (ko) * | 2018-01-14 | 2020-10-13 | 라이트 필드 랩 인코포레이티드 | 정렬된 구조를 사용해 에너지 릴레이의 횡방향 에너지 편재를 위한 시스템 및 방법 |
| US11256460B2 (en) * | 2018-02-05 | 2022-02-22 | Disney Enterprises, Inc. | Digital companion device with display |
| US10838574B2 (en) * | 2018-04-09 | 2020-11-17 | Spatial Systems Inc. | Augmented reality computing environments—workspace save and load |
| US10831274B2 (en) * | 2018-05-07 | 2020-11-10 | International Business Machines Corporation | Changing tactile sensitivity of interactions with midair interfaces |
| US10832589B1 (en) * | 2018-10-10 | 2020-11-10 | Wells Fargo Bank, N.A. | Systems and methods for past and future avatars |
| US20200290513A1 (en) * | 2019-03-13 | 2020-09-17 | Light Field Lab, Inc. | Light field display system for vehicle augmentation |
| US20210049666A1 (en) * | 2019-08-16 | 2021-02-18 | Subfiber OÜ | System and method for dynamically displaying images on electronic displays according to machine-learned patterns |
-
2019
- 2019-09-03 CN CN201980100073.9A patent/CN114341747A/zh active Pending
- 2019-09-03 KR KR1020227009073A patent/KR20220054619A/ko not_active Application Discontinuation
- 2019-09-03 WO PCT/US2019/049379 patent/WO2021045730A1/en unknown
- 2019-09-03 EP EP19944529.7A patent/EP4025963A4/en active Pending
- 2019-09-03 JP JP2022513658A patent/JP2022553613A/ja active Pending
- 2019-09-03 US US17/640,081 patent/US20220326760A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021045730A1 (en) | 2021-03-11 |
| CN114341747A (zh) | 2022-04-12 |
| US20220326760A1 (en) | 2022-10-13 |
| EP4025963A1 (en) | 2022-07-13 |
| EP4025963A4 (en) | 2023-08-30 |
| JP2022553613A (ja) | 2022-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11428933B2 (en) | Light field display system for performance events | |
| KR20220054619A (ko) | 모바일 장치를 위한 라이트필드 디스플레이 | |
| US20220210395A1 (en) | Light field display system for cinemas | |
| US20200371472A1 (en) | Light Field Display System Based Commercial System | |
| KR20220106770A (ko) | 비디오 게임 및 e스포츠를 위한 라이트필드 디스플레이 시스템 | |
| US20220300143A1 (en) | Light Field Display System for Consumer Devices | |
| US20220329917A1 (en) | Light Field Display System for Adult Applications | |
| US20240087220A1 (en) | Electronic device and method of providing content sharing based on object | |
| US20220308359A1 (en) | Light field display system for gaming environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal |