KR20190043999A - 눈 위치를 사용하는 삼차원 무안경 광 필드 디스플레이 - Google Patents

눈 위치를 사용하는 삼차원 무안경 광 필드 디스플레이 Download PDF

Info

Publication number
KR20190043999A
KR20190043999A KR1020180112089A KR20180112089A KR20190043999A KR 20190043999 A KR20190043999 A KR 20190043999A KR 1020180112089 A KR1020180112089 A KR 1020180112089A KR 20180112089 A KR20180112089 A KR 20180112089A KR 20190043999 A KR20190043999 A KR 20190043999A
Authority
KR
South Korea
Prior art keywords
display
image
position information
eye
processor
Prior art date
Application number
KR1020180112089A
Other languages
English (en)
Inventor
알렉세이 수피코브
조슈아 라트클리프
퀴옹 후앙
로널드 아주마
투오투오 리
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20190043999A publication Critical patent/KR20190043999A/ko
Priority to KR1020220151182A priority Critical patent/KR20220155970A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes

Abstract

일부 예에서, 삼차원 디스플레이 시스템은 디스플레이(예를 들어, 디스플레이 스크린 또는 디스플레이 패널), 마이크로 렌즈 어레이, 및 사람의 하나 이상의 눈을 추적하고 눈 위치 정보를 제공하기 위한 눈 추적기를 포함한다. 디스플레이 시스템은 또한 컬러 플러스 깊이 이미지(예로서, RGB-D 이미지) 또는 광 필드 이미지를 렌더링하거나 캡처링하기 위한 렌더링 프로세서를 포함한다. 디스플레이 시스템은 또한 눈 위치 정보를 사용하여 렌더링된 컬러 플러스 깊이 이미지 또는 광 필드 이미지를 디스플레이에 제공될 디스플레이 이미지로 변환하기 위한 광 필드 프로세서를 포함한다.

Description

눈 위치를 사용하는 삼차원 무안경 광 필드 디스플레이{THREE DIMENSIONAL GLASSES FREE LIGHT FIELD DISPLAY USING EYE LOCATION}
본 개시 내용은 일반적으로 삼차원(3D) 디스플레이에 관한 것이다.
3D TV, 영화, 게임 등과 같은 입체 삼차원(3D) 비디오 콘텐츠를 전달하는 데 필요한 기술은 점차 대량 시장 제품(예로서, 가상 현실, 3D 영화, 3D 스마트폰 등)에 진입하고 있다. 능동/수동 안경 기반, 멀티-뷰 렌티큘러 등과 같은 일부 입체 3D 디스플레이들은 상이한 이미지를 입체 쌍으로 각각의 눈에 전달한다. 이러한 독립적인 이미지들은, 예를 들어, 사용자의 두뇌에서 입체적으로 융합되어 3D 시각 인식의 양안 경험을 효과적으로 재현할 수 있다.
실제 상황에서, 예를 들어, 인간이 특정 피사체를 보고 있을 때, 그들의 양 눈은 피사체의 거리에 눈모음(converge) 및 포커싱(focus)(또는 조절(accommodate))한다. 그러나, 많은 입체 삼차원 디스플레이에서, 사용자는 피사체의 거리에 눈모음 및 포커싱(또는 조절)할 수 없다.
다음의 상세한 설명은 개시되는 주제의 다수의 특징의 특정 예들을 포함하는 첨부 도면들을 참조함으로써 더 잘 이해될 수 있다.
도 1은 실제 시청 환경을 도시한다.
도 2는 삼차원(3D) 디스플레이 시청 환경을 도시한다.
도 3은 삼차원(3D) 디스플레이 시스템을 도시한다.
도 4는 시간적 다중화를 도시한다.
도 5는 눈 상자(eye box)를 도시한다.
도 6은 눈 상자를 도시한다.
도 7은 눈 상자를 도시한다.
도 8은 디스플레이 이미지 처리 환경을 도시한다.
도 9는 컴퓨팅 디바이스를 도시한다.
도 10은 하나 이상의 프로세서 및 하나 이상의 유형의 비일시적 컴퓨터 판독 가능 매체를 도시한다.
일부 예들에서, 본 개시 내용 및 도면들 전반에서 동일한 컴포넌트들 및 특징들을 나타내기 위해 동일한 번호들이 사용된다. 일부 예들에서, 100 시리즈의 번호는 도 1에서 최초로 발견되는 특징을 나타내고, 200 시리즈의 번호는 도 2에서 최초로 발견되는 특징을 나타내며, 기타 등등이다.
일부 실시예는 삼차원(3D) 디스플레이에 관한 것이다. 일부 실시예는 눈 추적(및/또는 동공 추적)을 갖는 3D 디스플레이에 관한 것이다. 일부 실시예는 눈모음 및 조절 문제를 해결하는 3D 디스플레이에 관한 것이다.
삼차원 디스플레이에서, 사용자는 피사체의 거리에 눈모음 및 포커싱(또는 조절)하지 못할 수 있다. 이것은 3D 디스플레이에서 발생할 수 있는 이접 운동-조절 충돌(vergence-accommodation conflict)로 지칭될 수 있으며, 눈모음-조절 충돌로도 지칭될 수 있다. 이러한 충돌은 눈 포커스 및 눈모음 문제와 관련되며, 특히 장시간 사용 후에 눈의 피로, 현기증, 메스꺼움 등을 유발할 수 있다. 텐서(Tensor) 디스플레이는 때때로 눈모음 및 조절(포커스) 문제를 해결할 수 있지만, 이러한 디스플레이의 효율은 매우 낮을 수 있다. 이러한 디스플레이는 회절, 모아레(Moire) 등으로 어려움을 겪을 수 있으며, 최적화 목적으로 많은 양의 계산을 요구할 수 있다. 부피측정(volumetric) 디스플레이는 부피가 클 수 있으며, 종종 가동 머신 요소를 요구한다. 많은 부피측정 디스플레이는 또한 폐색(occlusion)을 지원하지 않으며, 컬러 이미지를 렌더링할 수 없는 것과 같은 시각 품질의 저하를 겪을 수 있다.
일부 실시예에서, 밝고, 풀 컬러 이미지를 제공하고, 정확한 폐색을 가능하게 하는 삼차원 디스플레이 시스템이 구현될 수 있다. 일부 실시예에서, 삼차원 디스플레이는 작지만, 여전히 큰 깊이 필드를 가질 수 있다.
도 1은 사용자(102)(또는 시청자(102))를 포함하는 환경(100)(예를 들어, "실제 환경")을 도시한다. 사용자(102)는 눈들(104)을 갖는다. 사용자의 눈들(104)은 도 1에 점선(110)으로 도시된 시선을 따라 물체(106)(예를 들어, 실제 물체(106))를 바라본다. 점선(110)은 물체(106)에 있는 포커스 포인트에서 끝나는 포커스 라인을 나타낸다. 점선(110)은 물체(106)에 또한 존재하는 눈모음 포인트에서 끝난다. 일부 실시예에서, 환경(100)은 물리적 공간에서의 실제 삼차원(3D) 시각을 나타낸다. 도 1의 눈모음 포인트와 포커스 포인트는 동일한 깊이 평면 상에 있다. 즉, 실제 환경(100)에서의 눈모음 포인트 및 포커스 포인트는 (예를 들어, 실제 물체(106)에서) 동일하다.
도 2는 사용자(202)(또는 시청자(202))를 포함하는 환경(200)(예를 들어, 삼차원 디스플레이 환경)을 도시한다. 사용자(202)는 눈들(204)을 갖는다. 사용자의 눈들(204)은 도 2에 점선(210)으로 도시된 시선을 따라 삼차원(3D) 디스플레이 스크린(208) 상에 표시된 삼차원(3D) 표시된 물체(206)의 겉보기 위치(apparent location)를 바라본다. 점선(212)은 3D 디스플레이 스크린(208)에서 삼차원(3D) 포커스 포인트(예를 들어, 포커스 또는 조절 포인트(214))에서 끝나는 포커스 라인을 나타낸다. 점선(210)은 표시된 3D 물체(206)의 겉보기 위치에 있는 눈모음 포인트에서 끝난다. 일부 실시예에서, 환경(200)은 3D 디스플레이 스크린(208) 상에 표시되는 겉보기 물체(206)를 보는 사용자(202)에 의한 삼차원(3D) 시각을 나타낸다. 일부 실시예에서, 사용자(202)의 눈들(204)은 3D 디스플레이 스크린(208) 상의 포커스 포인트를 3D 물체(206)의 겉보기 위치에 있는 눈모음 포인트로부터 분리하도록 강요 받는다. 이것은, 예를 들어, 이접 운동-조절 충돌, 눈모음-조절 충돌 및/또는 눈모음 및 조절 충돌 문제로서 알려져 있다.
예를 들어, 도 1의 환경(100)과 같은 실제 환경에서, 예를 들어, 인간 사용자가 특정 피사체를 보고 있을 때, 사용자의 양 눈은 피사체(예를 들어, 실제 물체(106))의 거리에 눈모음 및 포커싱(또는 조절)한다. 그러나, 예를 들어, 도 2의 환경(200)과 같은 많은 입체 삼차원 디스플레이 환경에서, 사용자는 피사체의 겉보기 위치의 거리에(예를 들어, 삼차원으로 표시된 물체의 겉보기 위치(206)에) 눈모음 및 포커싱(또는 조절)하지 못한다.
일부 삼차원(3D) 디스플레이 시스템에서, 사용자의 눈들은 장면을 포커싱하여 보기 위해 단일 포커스 평면(예를 들어, 3D 디스플레이 스크린(208)의 포커스 평면)에 조절되어야 한다. 예를 들어, 3D 텔레비전(TV) 또는 3D 영화와 같은 3D 비디오의 경우, 포커스 평면은 물리적 디스플레이 스크린 자체이다. 그러나, 사용자의 눈들은 표시되는 하나 이상의 3D 물체의 하나 이상의 겉보기 위치에 눈모음할 수 있다. 이 겉보기 위치는 스크린 앞이나 뒤에 있을 수 있다. 사용자의 눈들로부터 디스플레이 스크린까지의 거리와 사용자의 눈들로부터 스크린 앞 및/또는 뒤에 나타나는 3D 물체(들)의 겉보기 위치(들)까지의 거리는 많은 상황에서 일치하지 않을 것이다. 눈들로부터 디스플레이 스크린의 포커스 포인트(또는 조절 포인트)까지의 거리와 눈들로부터 표시된 3D 물체들의 겉보기 위치(들)의 3D 눈모음 포인트(들)까지의 거리의 이러한 불일치는 눈모음-조절 충돌(또는 이접 운동-조절 충돌 또는 눈모음 및 조절 충돌 문제)로 지칭될 수 있다. 이 충돌의 결과로서, 사용자는 두통, 피로, 눈의 피로 등을 겪을 수 있다. 이 문제는 특히 시각 계통이 여전히 발달하고 있는 어린이들 사이에 건강 문제를 유발할 수 있다.
도 3은 삼차원(3D) 디스플레이 시스템 시청 환경(300)을 도시한다. 환경(300)은 디스플레이 시스템의 사용자(302)(또는 시청자(302))를 포함한다. 사용자(302)는 동공들(304)을 포함하는 눈들을 갖는다. 디스플레이 시스템 시청 환경(300)은 사용자(302)가 볼 디스플레이(312)를 포함한다. 일부 실시예에서, 디스플레이(312)는 임의의 타입의 디스플레이일 수 있다. 일부 실시예에서, 디스플레이(312)는 디스플레이 스크린 및/또는 디스플레이 패널일 수 있고/있거나 디스플레이 스크린 및/또는 디스플레이 패널을 포함할 수 있다. 일부 실시예에서, 디스플레이(312)는 임의의 픽셀 밀도를 갖는 디스플레이, 디스플레이 스크린 및/또는 디스플레이 패널일 수 있다. 일부 실시예에서, 디스플레이(312)는 고 픽셀 밀도 디스플레이, 고 인치당 픽셀 또는 고 PPI 디스플레이 및/또는 4K 디스플레이일 수 있다. 일부 실시예에서, 디스플레이(312)는 인치당 250 픽셀보다 높은 픽셀 밀도를 갖는 디스플레이이다. 일부 실시예에서, 디스플레이(312)는 가능한 한 높은 픽셀 밀도를 갖는 디스플레이이다. 일부 실시예에서, 디스플레이(312)는 특히 모바일 폰 스크린 또는 태블릿 스크린일 수 있다. 일부 실시예에서, 디스플레이(312)는 액정 디스플레이, LCD 디스플레이, 액정 디스플레이 스크린, LCD 디스플레이 스크린, 액정 디스플레이 패널 및/또는 LCD 디스플레이 패널 등일 수 있다.
일부 실시예에서, 디스플레이 백라이트(314)가 디스플레이(312) 뒤에 제공될 수 있다. 마이크로 렌즈 어레이(316)(예를 들어, 긴 초점 거리 마이크로 렌즈 어레이 및/또는 F 값이 8보다 큰 긴 초점 거리 마이크로 렌즈 어레이)가 디스플레이(312)와 사용자(302)의 눈들 사이에서 디스플레이(312) 앞에 제공된다. 일부 실시예에서, 마이크로 렌즈 어레이(316)는 긴 초점 거리를 갖는 긴 초점 거리 마이크로 렌즈 어레이이다. 예를 들어, 일부 실시예에서, 마이크로 렌즈 어레이(316)는 8 내지 30의 F 값을 갖는 긴 초점 거리를 갖는 긴 초점 거리 마이크로 렌즈 어레이이다. 일부 실시예에서, 마이크로 렌즈 어레이(316)는 시청 거리 및 눈 상자 크기(또는 시청 영역 크기)에 따라 긴 초점 거리를 가지며, F 값은 8과 30 사이에서 변한다. 동공 추적 디바이스(318)가 사용자(302)의 동공들(304)을 추적하고 임의의 결과(들)를 컴퓨팅 디바이스(322) 및 광 필드 처리 유닛(324)으로 전송하는 데 사용될 수 있다. 일부 실시예에서, 예를 들어, 동공 추적 디바이스(318)는 실시간 3D 동공 추적 시스템일 수 있다. 디스플레이(312)는 사용자(302)에게 디스플레이(312)에(예를 들어, 디스플레이(312)의 평면에), 디스플레이(312)의 앞에(디스플레이(312)와 사용자(302) 사이에) 그리고/또는 디스플레이(312) 뒤에 있는 것으로 보일 수 있는 삼차원 물체(320)의 겉보기 위치를 표시하는 데 사용된다.
컴퓨팅 디바이스(322)는, 예를 들어, 그래픽 엔진을 포함할 수 있다. 컴퓨팅 디바이스(322)는 사용자의 좌측 및/또는 우측 동공 위치에 따라 컬러 이미지 및/또는 컬러 플러스 깊이 이미지를 렌더링할 수 있고(예를 들어, RGB 또는 RGB-D 이미지를 포함하는, 깊이를 갖거나 갖지 않는 적색, 녹색, 청색 성분과 같은 임의의 컬러 성분을 렌더링할 수 있고), 렌더링된 이미지를 광 필드 처리 유닛(324)으로 전송할 수 있다. 일부 실시예에서, 이미지는 컴퓨팅 디바이스(322)에 의해 렌더링되는 것이 아니라 캡처될 수 있다는 점에 유의한다. 일부 실시예에서, 컴퓨팅 디바이스(322)는 입체 컬러 플러스 깊이 이미지 또는 광 필드 이미지를 캡처하거나 렌더링할 수 있다. 광 필드 처리 유닛(324)은 동공 추적 디바이스(318)로부터의 동공 위치 정보를 사용하여, 예를 들어, 스크린 공간 광선 추적을 사용하여 컴퓨팅 디바이스(322)로부터 수신된 이미지를 입체 적분 이미지로 변환할 수 있다. 본원에서 스크린 공간 광선 추적이 설명되지만, 이미지를 변환할 수 있는 많은 다른 방법이 있다. 예를 들어, 일부 실시예에 따르면 렌더링 및 후처리는 많은 다른 방식으로 구현될 수 있다. 일부 실시예에 따르면, 스크린 공간 광선 추적 이외의 많은 후처리 기술이 구현될 수 있다. 광 필드 처리 유닛(324)은 표시를 위해 디스플레이 스크린(312)에 광 필드 이미지 스트림을 제공할 수 있다. 일부 실시예에서, 백라이트(314)(예를 들어, 지향성 백라이트)는 광을 대응하는 동공 위치들로 조종할 수 있다.
일부 실시예에서, 도 3에 도시된 디스플레이 시스템은 복수의 응용을 가능하게 하는 유연한 광 조종 장치이다. 일부 실시예는 눈모음 및 조절 충돌 문제를 겪지 않는 단일 시청자 무안경 삼차원(3D) 디스플레이를 구현한다. 일부 실시예에서, 이러한 디스플레이는, 예를 들어, 수십 기가 픽셀을 필요로 하는 무차별 적분 디스플레이, 조절을 지원하기 위해 충분한 뷰 밀도의 생성을 어렵게 하는 회절 제한에 의해 제한될 수 있는 텐서 디스플레이, 또는 부피가 크고 비실용적인 부피측정 디스플레이와 같은 다른 디스플레이에 비해 작고, 가볍고, 계산 및 에너지 효율적이다. 일부 실시예에서, 지향성 백라이트 장치가 추가적인 이익을 위해 구현될 수 있다.
일부 실시예에서, 도 3의 디스플레이 시스템의 광 조종 특성은 시청자의 눈 동공들을 통과하는 광선들에 대한 정확한 광 필드를 생성하는 데 사용될 수 있다. 동공 위치로 향하는 광 필드를 생성하는 것은 현재 이용 가능한 상품 디스플레이를 사용하여 정확한 조절(또는 포커스) 및 눈모음 실마리를 생성할 수 있을 만큼 충분히 높은 밀도의 광선으로 3D 이미지를 생성하는 것을 가능하게 할 수 있다.
일부 실시예에서, 매우 높은 뷰 밀도가 작은 눈 상자 내에서 달성될 수 있다. 작은 눈 상자의 위치는 (예를 들어, 동공 추적 디바이스(318)와 같은 동공 추적 디바이스에 응답하여) 시청자의 동공 위치와 정렬될 수 있다. 작은 눈 상자의 크기는 통상적인 인간의 동공 크기 범위에 대응할 수 있다. (예를 들어, 고 픽셀 밀도 디스플레이 및/또는 디스플레이(312)와 같은) 디스플레이의 앞에 (예를 들어, 긴 초점 거리 마이크로 렌즈 어레이 및/또는 마이크로 렌즈 어레이(316)와 같은) 마이크로 렌즈 어레이(MLA)를, 마이크로 렌즈 어레이(MLA)와 디스플레이 사이의 특정 공간을 두고, 배치함으로써 작은 눈 상자 안에서 높은 뷰 밀도가 달성될 수 있다. 눈 상자의 위치는 사용자 추적 장치에 응답하여(예를 들어, 동공 추적 디바이스(318)와 같은 동공 추적 디바이스에 응답하여) 디스플레이 상에 표시될 이미지를 시프팅시킴으로써 변경될 수 있다.
일부 실시예에서, 렌더링 프로세스(예를 들어, 컴퓨팅 디바이스(322)에 의해 구현되는 렌더링 프로세스)는 시청자의 눈들의 위치들에 의존한다(예를 들어, 동공 추적 디바이스(318)에 의해 추적된 사용자(302)의 동공들(304)의 위치들에 의존한다). 일부 실시예에서, 캡처링 프로세스(예를 들어, 컴퓨팅 디바이스(322)에 의해 구현되는 캡처링 프로세스)는 시청자의 눈들의 위치들에 의존한다(예를 들어, 동공 추적 디바이스(318)에 의해 추적되는 사용자(302)의 동공들(304)의 위치들에 의존한다). 일부 실시예에서, 실시간 3D 추적 시스템(예를 들어, 동공 추적 디바이스(318))이 시청자의 동공 위치들을 추적하는 데 사용될 수 있다. 추적된 동공 위치들은 캡처링 또는 렌더링 카메라 투영 중심들을 배치하고/하거나 눈 상자 정렬을 디지털 방식으로 미세 조정하는 데 사용될 수 있다.
일부 실시예는 적분 이미징 시스템, 3D 동공 추적 디바이스, 및 사용자의 좌안 및 우안 모두에 대해 충분히 높은 뷰 밀도를 전달하여 이접 운동-조절 충돌 또는 눈모음-조절 충돌(즉, 눈모음 및 조절 충돌 문제)을 극복할 수 있는 광 필드 처리 유닛을 사용하는 무안경 3D 디스플레이에 관한 것이다.
일부 실시예에서, (동공 추적 디바이스(318)와 같은) 3D 동공 추적 시스템은 디스플레이의 시청자의 동공 위치를 추적하고, 그 결과를 (예를 들어, 컴퓨팅 디바이스(322)와 같은) 컴퓨터로 그리고 (예를 들어, 광 필드 처리 유닛(324)과 같은) 광 필드 처리 유닛으로 전송한다. 컴퓨팅 디바이스는 시청자의 좌측 및/또는 우측 동공 위치에 따라 입체 이미지(예를 들어, RGB 및/또는 RGB-D 이미지)를 캡처링 및/또는 렌더링한다. 광 필드 처리 유닛은, 예를 들어, 스크린 공간 광선 추적 또는 임의의 다른 뷰 보간/합성 기술을 사용하여, 동공 위치 정보를 사용하여, 캡처링 및/또는 렌더링된 이미지들을 적분 이미지로 변환한다. 이어서, 이미지는 고해상도 디스플레이 스크린(예로서, 디스플레이(312)) 상에 표시된다. 동시에, 일부 실시예에서, (예를 들어, 백라이트(314)와 같은) 지향성 백라이트가 광을 대응하는 동공 위치들로 조종한다.
일부 실시예에서, 예를 들어, 마이크로 렌즈 어레이(316)와 같은 마이크로 렌즈 어레이(MLA)가, 예를 들어, 디스플레이(312)와 같은 고 픽셀 밀도 디스플레이 모듈 앞에 배치된다. 디스플레이 모듈 및 마이크로 렌즈 어레이는 마이크로 렌즈 어레이의 초점 거리에서 이격되며, 따라서 디스플레이 상의 각각의 픽셀로부터의 광선들은 마이크로 렌즈 어레이 상의 각각의 마이크로 렌즈를 통과하여 시준된 빔을 형성한다. 마이크로 렌즈 어레이 앞에 마이크로 렌즈 어레이와 사용자 눈 시점 사이의 거리 dZ가 주어지면, 적분 이미지 피치 크기 wp가 다음과 같을 때 가장 큰 눈 상자가 발생한다.
Figure pat00001
여기서, f는 마이크로 렌즈 어레이의 초점 거리이고, pl은 마이크로 렌즈 어레이의 렌즈 피치이고, pp는 디스플레이의 픽셀 피치이다. 눈 상자 크기 we는 다음 식을 사용하여 계산할 수 있다.
Figure pat00002
시청자의 눈들이 눈 상자의 중심에 완전히 위치할 때, 그들은 정확한 광 필드 이미지를 볼 수 있다. 하나의 픽셀로부터의 광선들은 그 픽셀 위의 마이크로 렌즈를 통해 이동하고, 또한 인접한 마이크로 렌즈를 통해 이동하여 복제 안구 상자를 형성한다. 시청자의 눈들이 주요(primary) 눈 상자 밖으로 나갈 때, 그들은 광 필드 이미지의 변화를 인식한 다음에 복제(replica) 눈 상자에 들어갈 것이다.
도 3에 도시된 일부 실시예 및/또는 다른 실시예에서, 소정 이미지 패턴을 표시하는 디스플레이를 취하여 디스플레이 앞에 렌즈 어레이를 배치하는 경우, 사0용자는 완전한 삼차원 이미지를 볼 수 있다. 이것은 사용자가 안경을 착용하지 않고 단지 디스플레이 및 렌즈 어레이의 영역을 봄으로써 달성될 수 있다. 디스플레이 및 렌즈 어레이의 파라미터에 따라, 사용자가 3D 이미지를 볼 영역의 크기는 변할 수 있다. 사용자가 이 3D 이미지를 보는 영역은 주요 시청 구역으로 지칭될 수 있다(본 명세서에서 사용되는 시청 구역은 눈 상자로도 지칭된다). 그러나, 사용자가 주요 시청 구역(주요 눈 상자) 외부로 이동하는 경우, 사용자는 또한 다양한 사용자 시청 영역(눈 상자)을 통해 반복될 수 있는 하나 이상의 보조 시청 구역(보조 눈 상자)에서 동일하거나 유사한 이미지를 볼 수 있다. 다수의 보조 시청 구역이 있을 수 있으며, 보조 시청 구역의 수는 렌즈 어레이가 사용자로 하여금 볼 수 있게 하는 것에 의존한다.
이미지의 해상도(및/또는 3D 이미지 품질), 이미지의 포커스 능력 등은 시청 구역 안으로 빔 형성되는 전체 픽셀 수에 의존할 수 있다. 시청 구역이 작을수록 광 필드 밀도가 높아진다. 시청 구역이 넓을수록 광 필드 밀도가 낮아진다. 광 필드 밀도가 더 낮은 경우, 포커스가 저하되고, 3D 이미지 품질이 점차 허용할 수 없게 될 것이다.
렌즈 어레이가 디스플레이 앞에 배치되고, 시청 구역이 작아지는 (예를 들어, 시청자의 동공의 크기보다 약간 큰) 구현에서, 매우 조밀한 광 필드가 생성될 수 있다. 그러나, 하나의 동공은 이미지를 매우 잘 볼 수 있지만, 다른 하나의 동공은 이미지를 전혀 잘 볼 수 없을 수 있다(예로서, 다른 하나의 동공은 시청 구역들 사이에 있기 때문에 동일한 이미지 또는 손상된 이미지를 볼 수 있다). 또한, 사용자가 그의 눈을 시프팅시키는 경우, 그의 눈은 하나의 시청 구역을 떠나 다른 시청 구역에 들어갈 수 있다. 시청 구역(눈 상자)이 2개의 부분(예를 들어, 좌안에 대한 부분과 우안에 대한 부분)으로 분할되고, 좌안이 시청 구역의 좌측 부분의 하나의 반복을 볼 수 있고, 우안이 시청 구역의 우측 부분의 다른 반복을 볼 수 있는 경우, 사용자는 사용자의 두 눈으로 3D 이미지를 보기 위해 입체 조밀 광 필드를 볼 수 있다. 다른 접근법은 눈마다 하나의 눈 상자를 사용하는 것이다. 그러나, 광이 여러 방향으로 진행하는 통상의 백라이트가 사용되는 경우, 모든 눈 상자(시청 구역)가 시청 구역들의 모든 반복과 함께 조명될 것이다.
일부 실시예에서, 지향성 백라이트는 모든 광을 소정 방향으로 방출하는 데 사용될 수 있다. 이러한 방식으로, 지향성 백라이트 제어는 특정 시간에 단 하나의 시청 구역을 조명하는 데 사용될 수 있고, 시청 구역의 반복은 보이지 않는다. 예를 들어, 일부 실시예에서, 지향성 백라이트는 하나의 특정 시간에 사용자의 눈(및/또는 동공)의 영역에서 하나의 눈 상자(또는 시청 구역)를 향해서만 지향되는 광을 방출한다. 일부 실시예에서, 동공 위치가 추적되며, 따라서 지향성 백라이트는 특정 시간에 특정 추적 동공으로 광을 보내도록 제어될 수 있다. 일부 실시예에서, 백라이트의 특정 발광 다이오드(LED)가 턴온되고, 백라이트의 특정 다른 LED가 턴오프되어, 백라이트로부터 방출된 제어된 광을 지향시켜 시청자의 눈(및/또는 동공)의 영역에서 광을 방출할 수 있다. 이러한 방식으로, 지향성 백라이트의 방출 광의 방향은 눈 운동(및/또는 동공 운동)에 따라 변경될 수 있다. 이러한 지향성 백라이트는 시청자의 눈들 사이에서 시간 다중화될 수 있다(본 명세서에서 시간적 다중화로도 지칭될 수 있다). 일부 실시예에서, 둘 이상의 사용자의 눈들(및/또는 동공들)은 일부 실시예에 따라 시간 다중화될 수 있다. 일부 실시예에서, 하나의 특정 사용자에 대해, 시간 다중화는 이미지가 사용자에게 연속적으로 보이도록 사용자의 눈들(및/또는 사용자의 동공들) 사이에서 빠른 주파수로 발생한다. 예를 들어, 일부 실시예에서, 주파수는 사용자의 두 눈에 대해 120Hz(각각의 눈에 대해 60Hz)일 수 있다. 일부 실시예에서, 주파수는 120Hz보다 크다(각각의 눈에 대해 60Hz보다 크다).
일부 실시예에서, 전술한 바와 같이, 하나 이상의 시청자의 동공 주위에 집중된 높은 뷰 밀도의 광 필드가 긴 초점 거리의 마이크로 렌즈 어레이 및 지향성 백라이트를 사용하는 시스템에 의해 생성된다. 이러한 시스템은 광 필드를 많은 뷰(예를 들어, 20 × 20 뷰)와 함께 작은 눈 상자(예를 들어, 일부 실시예에서 작은 10mm × 10mm 눈 상자) 안으로 지향시킨다. 일부 실시예에서, 눈 상자 위치는 제어 가능한 지향성 백라이트 시스템을 사용하여 변경된다. 이러한 방식으로, 임의의 특정 순간에 지향성 백라이트는 광을 단지 하나의 눈 안으로 조종할 수 있다. 시간 다중화는 사람의 눈 깜박임 임계치를 초과하는 속도로 눈 상자 위치 및 표시된 콘텐츠를 변경함으로써 필요한 광 필드를 양 눈 안으로 전달하는 데 사용될 수 있다.
도 4는 시간적 다중화(400)(및/또는 시간 다중화(400))를 도시한다. 일부 실시예에서, 도 4는 지향성 백라이트 제어를 이용하는 시간적 다중화(및/또는 시간 다중화)를 도시한다. 도 4는, 예를 들어, 제1 시간 프레임(프레임 1), 제2 시간 프레임(프레임 2), 제3 시간 프레임(프레임 3) 및 제4 시간 프레임(프레임 4)에서의 좌안 및 우안을 갖는 사용자(402)를 도시한다. 일부 실시예에서, 시간 프레임들은 인간이 인식할 수 있는 것보다 빠른 디스플레이 레이트를 갖는다. 일부 실시예에서, 시간 프레임들은, 예를 들어, 120Hz의 디스플레이 레이트를 갖는다.
도 4는 또한 디스플레이(412)(예를 들어, 디스플레이 스크린 및/또는 디스플레이 패널), 백라이트(414)(예를 들어, 방향 제어될 수 있는 지향성 백라이트) 및 마이크로 렌즈 어레이(416)를 도시한다. 일부 실시예에서, 디스플레이(412), 백라이트(414) 및/또는 마이크로 렌즈 어레이(416)는 도 3의 디스플레이(312), 백라이트(314) 및/또는 마이크로 렌즈 어레이(316)와 유사할 수 있다. 프레임 1에서, 높은 뷰 밀도의 광 필드(432L)가 백라이트(414), 디스플레이(412) 및 마이크로 렌즈 어레이(416)로부터 사용자(402)의 좌안(및/또는 좌측 동공)으로 집중된다. 프레임 2에서, 높은 뷰 밀도의 광 필드(432R)가 백라이트(414), 디스플레이(412) 및 마이크로 렌즈 어레이(416)로부터 사용자(402)의 우안(및/또는 우측 동공)으로 집중된다. 프레임 3에서, 높은 뷰 밀도의 광 필드(432L)가 백라이트(414), 디스플레이(412) 및 마이크로 렌즈 어레이(416)로부터 사용자(402)의 좌안(및/또는 좌측 동공)으로 집중된다. 프레임 4에서, 높은 뷰 밀도의 광 필드(432R)가 백라이트(414), 디스플레이(412) 및 마이크로 렌즈 어레이(416)로부터 사용자(402)의 우안(및/또는 우측 동공)으로 집중된다. 이러한 방식으로, 디스플레이 백라이트(414)는 사용자(402)의 좌안과 우안 사이에서 교대하는 광을 조종할 수 있는 지향성 백라이트일 수 있다. 이러한 광의 조종은, 예를 들어, 추적된 눈 위치 정보(예를 들어, 추적된 동공 위치 정보)에 기초할 수 있다. 추적된 눈 위치 정보는, 예를 들어, 동공 추적 디바이스(318)와 같은 눈 추적 디바이스로부터의 추적된 눈 위치 정보일 수 있다. 일부 실시예에서, 디스플레이 백라이트(414)는 추적된 눈 위치 정보에 기초하여 (및/또는 추적된 동공 위치 정보에 기초하여) 인간 인식 가능 화면 재생률(referesh rate)보다 높은 화면 재생률로(예를 들어, 120Hz로) 좌안과 우안 사이에서 교대하는 광을 조종할 수 있다. 예를 들어, 도 4의 프레임들은 인간 인식 가능 화면 재생률보다 높은 (120Hz의 화면 재생률와 같은) 화면 재생률로 교대될 수 있다.
일부 실시예에서, 높은 뷰 밀도의 광 필드(예를 들어, 높은 뷰 밀도의 광 필드(432L) 및/또는 높은 뷰 밀도의 광 필드(432R))가 하나 이상의 시청자의 동공들 주위에 집중될 수 있다(예를 들어, 시청자(402)의 눈들 및/또는 동공들 주위에 집중될 수 있다). 높은 뷰 밀도의 필드(들)는 긴 초점 거리 마이크로 렌즈 어레이(예를 들어, 마이크로 렌즈 어레이(416)) 및 지향성 백라이트(예를 들어, 백라이트(414))를 사용하는 시스템에 의해 생성될 수 있다. 이러한 시스템은 광 필드(예를 들어, 광 필드(432L) 및/또는 광 필드(432R))를 많은 뷰(예를 들어, 20 × 20 뷰)와 함께 작은 눈 상자(예를 들어, 일부 실시예에서는 작은 10mm × 10mm 눈 상자)로 지향시킨다. 일부 실시예에서, 눈 상자 위치는 (예를 들어, 백라이트(414)를 포함하는) 제어 가능한 지향성 백라이트 시스템을 사용하여 변경된다. 이러한 방식으로, 임의의 특정 순간에, 지향성 백라이트는, 예를 들어, 도 4에 도시된 바와 같이 단지 하나의 눈 안으로 광을 조종할 수 있다. 시간 다중화는 사람 눈 깜박임 임계치를 초과하는 속도로(예로서, 120Hz로) 눈 상자 위치 및 표시된 콘텐츠를 변경함으로써 필요한 광 필드를 양 눈 안으로 전달하는 데 사용될 수 있다.
도 4는 본 명세서에서 단일 사용자의 두 눈 사이의 시간 다중화로서 설명되었다. 그러나, 일부 실시예에서, 도 4에 도시되거나 본 명세서에서 설명된 시간 다중화는 단일 사용자에 한정되지 않는다. 일부 실시예에서, 지향성 백라이트의 시간 다중화는 둘 이상의 사용자 사이에서(예를 들어, 어느 한 사용자에게 명백하지 않도록 충분히 높은 화면 재생률에서 다수의 사용자의 눈들 사이에서) 구현될 수 있다. 지향성 백라이트의 조종은 하나의 사용자에 한정되지 않는다. 디스플레이 주파수가 충분히 높으면, 둘 이상의 사용자가 동시에 해결될 수 있다. 예를 들어, 일부 실시예에서, 프레임 1에서 제1 사용자의 제1 눈은 지향성 백라이트를 수신하고, 프레임 2에서, 제2 사용자의 제1 눈은 지향성 백라이트를 수신하고, 프레임 3에서 제1 사용자의 제2 눈은 지향성 백라이트를 수신하고, 프레임 4에서 제2 사용자의 제2 눈은 지향성 백라이트를 수신한다. 다른 실시예에서, 다른 수의 사용자가 다른 눈 순서로 지향성 백라이트를 수신하는 것이 구현될 수 있다. 일부 실시예에서, 순차적 시스템이 구현된다. 예를 들어, 일부 실시예는 광이 (예를 들어, 지향성 백라이트로부터) 시간 다중화 방식으로 디스플레이 근처의 개별 위치 또는 공간으로 조종될 수 있는 시간 다중화 시스템에 관련된다.
일부 실시예에서, 제어식 백라이트를 이용하거나 제어식 백라이트 없이, 디스플레이 상에 표시된 적분 이미지는 눈 상자의 크기 및 위치를 정의할 수 있다. 디스플레이 상에 표시된 적분 이미지를 시프팅시킴으로써, 눈 상자 중심은 좌측 또는 우측 동공 위치와 정렬되도록 시프팅될 수 있다.
도 5는 좌측(L) 및 우측(R) 부분으로 세분되는 눈 상자(500)를 도시한다. 눈 상자(500)는 좌측(L) 및 우측(R) 중심 눈 상자(502)를 포함한다. 중심 눈 상자(502) 이외의 다른 눈 상자(500)는 중심 눈 상자(502)의 반복이다. 일부 실시예에서, 눈 상자(500)는 분할된 눈 상자 또는 세분된 눈 상자로 지칭되는데, 이는 좌측(L) 부분과 우측(R) 부분으로 분할되기 때문이다. 일부 실시예에서, 눈 상자(500)는 하나 이상의 사용자의 눈들(예를 들어, 동공들) 안으로 필요한 광 필드를 전달하기 위해 도 3 및/또는 도 4의 시스템과 함께 사용될 수 있다.
도 6a는 눈 상자(600A)의 정면도를 도시한다. 도 6b는 디스플레이(612B)와 마이크로 렌즈 어레이(616B)의 조합을 측면도로 도시한다. 일부 실시예에서, 도 6a는 양호한 시청 영역(602A) 및 나쁜 시청 영역(604A)을 정면도로 도시한다. 일부 실시예에서, 측면도(600B)는 정면도(600A)의 측면으로부터의 도면이다. 일부 실시예에서, 마이크로 렌즈 어레이(616B)는 긴 초점 거리 마이크로 렌즈 어레이이다. 일부 실시예에서, 디스플레이(612B)는 도 3의 디스플레이(312)와 유사 및/또는 동일하다. 일부 실시예에서, 마이크로 렌즈 어레이(616B)는 도 3의 마이크로 렌즈 어레이(316)와 유사 및/또는 동일하다. 실시예에서, 눈 상자(600A)는 하나 이상의 사용자의 눈들(예를 들어, 동공들) 안으로 필요한 광 필드를 전달하기 위해 도 3 및/또는 도 4의 시스템과 함께 사용될 수 있다.
일부 실시예에서, 높은 뷰 밀도의 광 필드가 긴 초점 거리 마이크로 렌즈 어레이(예를 들어, 마이크로 렌즈 어레이(616B)) 및 분할된 눈 상자(예를 들어, 분할된 눈 상자(500) 및/또는 분할된 눈 상자(600A))를 사용하여 작은 눈 상자 안에 생성된다.
일부 실시예에서, 눈 상자를 좌측(L) 및 우측(R) 부분으로 분할함으로써, 눈 상자는 눈 상자의 좌측 부분이 좌안을 커버하고, 눈 상자의 우측 부분의 반복이 우안을 커버하는 방식으로 배열될 수 있다. 이러한 방식으로, 시청자는 정확한 시청 거리에 있을 때 정확한 광 필드를 볼 것이다. 일부 실시예에서, 사용자의 IPD가 눈 상자 크기의 정수배에 가까울 때, 사용자는 양 눈이 동일한 하위 눈 상자를 볼 것이기 때문에(예를 들어, 양 눈이 우안 상자를 보거나 양 눈이 좌안 상자를 볼 것이므로) 정확한 광 필드 이미지를 인식할 수 없을 것이다. 일부 실시예에서, 이 문제는 초점 거리 및 마이크로 렌즈 어레이와 스크린 사이의 간격을 변경할 수 있는 마이크로 렌즈 어레이 옵틱스를 사용하거나 눈 상자 크기를 결정하는 시청 거리를 변경함으로써 해결될 수 있다.
일부 실시예에서, (예를 들어, 도 3의 백라이트(314) 및/또는 도 4의 백라이트(414)와 같은) 작고 제어 가능한 지향성 백라이트 시스템이 분할된 눈 상자 시스템의 한계를 극복하기 위해 사용된다. 예를 들어, 분할된 눈 상자 시스템은 시청자의 IPD(예를 들어, 시청자의 수평 IPD)가 눈 상자 폭의 절반의 홀수 배일 때 소정의 고정 시청 거리에 정확한 광 필드를 생성할 수 있다. 도 3에 도시된 바와 같이, 예를 들어, IPD = 5*We/2일 때, 눈 상자의 L 부분은 시청자의 좌안 상에 정렬되고, 눈 상자의 R 부분은 시청자의 우안 상에 정렬된다. 그러나, IPD = 6*We/2인 시청자에게는 여기서 눈 상자의 L 부분은 좌측에 정렬되고, 눈 상자의 L 부분은 또한 우측에 정렬되고, 백라이트의 조정 및/또는 사용이 필요할 수 있다. 유사한 배열이 도 6a에 도시된 눈 상자(600A)에서 발생할 수 있다.
일부 실시예에서, 눈 상자 형상은 정사각형일 필요는 없다. 그러나, 일부 실시예에서, 눈 상자는 균일한 그립으로 타일화될 수 있는 형상을 갖는다. 시청자의 머리가 디스플레이 스크린에 대해 회전되는 경우, 시청자의 좌우 눈은 디스플레이에 대해 상이한 겉보기 높이를 가질 수 있다. 따라서, 일부 실시예에서, 눈 상자의 좌측 및 우측 부분은 위 또는 아래로 움직일 수 있다.
도 7은 눈 상자(700)를 도시한다. 일부 실시예에서, 눈 상자(700)는 제1 눈 상자 부분(702)(예를 들어, 좌안 상자 부분(702)) 및 제2 눈 상자 부분(704)(예를 들어, 우안 상자 부분(704))을 포함한다. 전술한 바와 같이, 예를 들어, 시청자의 머리가 디스플레이 스크린에 대해 회전되는 경우, 시청자의 좌우 눈은 디스플레이에 대해 상이한 겉보기 높이를 가질 수 있다. 따라서, 도 7에 도시된 바와 같이, 부분들(702, 704)이 상이한 높이에 있도록 눈 상자(700)의 부분(702)(예를 들어, 좌측 부분(702))이 상하로 움직일 수 있고/있거나, 부분(704)(예를 들어, 우측 부분(704))이 상하로 움직일 수 있다. 일부 실시예에서, 눈 상자(700)는 하나 이상의 사용자의 눈들(예를 들어, 동공들) 안으로 필요한 광 필드를 전달하기 위해 도 3 및/또는 도 4의 시스템과 함께 사용될 수 있다.
눈 상자의 일부 부분은 본 명세서에서 직사각형 형상인 것으로 예시되었다. 예를 들어, 도 5 및 7의 L 및 R 눈 상자 부분은 직사각형으로 예시된다. 그러나, 일부 실시예에서, 이것은 광선의 절반 미만이 이용되게 할 수 있는데, 이는 직사각형이 동공의 형상과 잘 맞지 않기 때문이다. 그러나, 일부 실시예에서, 마이크로 렌즈 어레이는 상이한 마이크로 렌즈 종횡비로 설계될 수 있다. 예를 들어, 일부 실시예에서, 2와 동일한 마이크로 렌즈 종횡비를 갖는 마이크로 렌즈 어레이 설계가 사용될 수 있으며, 이는, 예를 들어, 각각의 세분된(또는 분할된) 눈 상자가 정사각형일 수 있는 배열을 유발한다.
일부 실시예에서, 3D 디스플레이 상에 표시될 이미지를 생성하기 위해, 사용자(시청자)의 동공 위치에 기초한 캡처링 및/또는 렌더링이 컴퓨팅 디바이스에 의해 (예를 들어, 그래픽 하드웨어를 사용하여) 수행되어, 장면의 기하 및 텍스처 정보(예로서, RGB-D 이미지)를 캡슐화하는 인터미디어 데이터를 생성할 수 있다. 이어서, 데이터(예로서, RGB-D 이미지)는 광 필드 처리 유닛으로 전송된다. 광 필드 처리 유닛은 실시간 동공 위치를 사용하여, 눈 상자 중심을 동공 위치에 정렬시키는 데 필요한 최적의 눈 상자 크기 및 이미지 오프셋을 계산한다. 그 다음, 광 필드 처리 유닛은 이미지(예로서, RGB-D 이미지)를 최종 적분 이미지로 변환할 수 있다. 이것은, 예를 들어, 스크린 공간 광선 추적을 사용하거나 다른 기술에 따라 구현될 수 있다. 일부 실시예에서, 그래픽 엔진을 사용하여 RGB-D 이미지를 생성하는 대신, 캡처링된 RGB-D 이미지를 광 필드 처리 유닛으로 전송하여 3D 디스플레이 상에 표시될 이미지를 생성할 수 있다.
스크린 공간 광선 추적은 반사, 굴절, 광택 반사, 주변 폐색 및/또는 전역 조명의 근사를 생성하기 위한 매우 효율적인 후처리 기술이다. 이는 일부 광선 추적 기술보다 훨씬 낮은 비용으로 구현할 수 있다. 일부 실시예에서, 스크린 공간 광선 추적은 RGB-D 데이터로부터 광 필드 렌더링을 생성하는 데 사용된다. 일부 실시예에서, 스크린 공간 광선 추적 이외의 기술이 사용될 수 있다(예를 들어, 일부 실시예에 따르면, 임의의 후처리 기술이 사용될 수 있다).
도 8은 삼차원(3D) 디스플레이 환경(800)에서의 디스플레이 이미지 처리를 도시한다. 환경(800)은 디스플레이(812)(및/또는 디스플레이 스크린(812) 및/또는 디스플레이 패널(812)) 및 마이크로 렌즈 어레이(816)를 포함한다. 디스플레이(812)는 사용자 또는 시청자에 의해 시청될 삼차원 이미지를 표시할 수 있다. 일부 실시예에서, 디스플레이(812)는, 예를 들어, 디스플레이(312)와 동일하거나 유사할 수 있다. 일부 실시예에서, 디스플레이(812)는 임의의 타입의 디스플레이, 임의의 타입의 디스플레이 스크린 및/또는 임의의 타입의 디스플레이 패널일 수 있다. 일부 실시예에서, 디스플레이(812)는 특히 모바일 폰 스크린 또는 태블릿 스크린일 수 있다. 일부 실시예에서, (도 8에 도시되지 않은) 디스플레이 백라이트가 디스플레이(812) 뒤에 제공될 수 있다. 마이크로 렌즈 어레이(816)는 긴 초점 거리 마이크로 렌즈 어레이일 수 있으며, 디스플레이(812)와 사용자의 눈들 사이에서 디스플레이(812)의 앞에 제공된다. 디스플레이(812)는 사용자에게 디스플레이(812)에(예를 들어, 디스플레이(812)의 평면에, 디스플레이(812) 앞에(디스플레이(812)와 사용자 사이에) 그리고/또는 디스플레이(812) 뒤에) 있는 것처럼 보일 수 있는 삼차원(3D) 물체(820)의 겉보기 위치를 표시하는 데 사용된다. 도 8에서, 물체(820)는 디스플레이(812) 뒤의 겉보기 위치에(도 8의 디스플레이(812) 위에) 표시된다. 캡처링 및/또는 렌더링 카메라(832)가 가까운 클립 평면(842), 마이크로 렌즈 어레이(816), 디스플레이(812) 및 먼 클립 평면(844)을 통해 이미지를 캡처링 및/또는 렌더링하는 데 사용된다.
일부 실시예에서, 물체(820)를 포함하는 장면이 캡처링되고/되거나 가까운 클립 평면(842)에 있는 캔버스에 렌더링되었다. 장면이 캡처링 및/또는 렌더링되었으므로, 임의의 포인트에서의 컬러 및 깊이가 이용 가능하다. 디스플레이(812) 상의 픽셀 P에 대해, 픽셀 P의 위치 및 픽셀 P의 전방에 있는 렌즈릿(lenslet)(또는 마이크로 렌즈 어레이 내의 렌즈)의 광학 중심은 공간 내의 광선 R을 정의한다. 픽셀 P의 컬러는 광선 R과 삼차원(3D) 장면의 교차 포인트(예로서, 포인트 C)의 컬러에 의해 정의될 수 있다. 가까운 클립 평면(842)의 캔버스 상에서의 간단한 일차원(1D) 검색이 다음의 단계들을 사용하여 교차 포인트 C를 발견하는 데 사용될 수 있다.
1. 광선 R과 가까운 클립 평면(842) 및 먼 클립 평면(844) 양자와의 교차를 계산한다. 도 8의 경우에, 이들 두 포인트는 가까운 클립 평면(842)의 포인트 A 및 먼 클립 평면(844)의 포인트 B이다.
2. 포인트 B를 가까운 클립 평면(842) 상에 투영하여 포인트 B'를 획득한다. 이 투영은 포인트 B와 캡처링 및/또는 렌더링 카메라(832)의 시점 사이에 라인을 그림으로써 수행될 수 있다.
3. 포인트 A에서 포인트 B'까지 보간한다. 이러한 보간은 가까운 클립 평면(842)에 의해 표현되는 이차원(2D) 평면에서 발생할 수 있다. 시퀀스 내의 각각의 픽셀은, 예를 들어, Bresenham 보간 알고리즘(또는 Bresenham의 라인 알고리즘 또는 디지털 차동 분석기 알고리즘 또는 DDA 라인 알고리즘)을 사용하여 효율적으로 계산될 수 있다. 일부 실시예에서, Bresenham의 라인 알고리즘(또는 다른 알고리즘)은 두 포인트 사이의 직선에 가까운 근사화를 형성하기 위해 선택되어야 하는 n 차원 래스터의 포인트를 결정하는 데 사용될 수 있다. 일부 실시예에서, Bresenham의 원래의 알고리즘을 확장하거나 수정하는 Bresenham 알고리즘 패밀리 중 임의의 것이 사용될 수 있다. 예를 들어, https://en.wikipedia.org/wiki/Bresenham%27s_line_algorithm을 참조한다.
4. 보간에 의해 생성된 각각의 포인트 C'에 대해, 깊이는 미리 계산된 이차원(2D) 캔버스로부터 판독된다. 광선 R 상의 대응하는 3D 포인트 C의 깊이도 계산된다. 포인트 A에서 포인트 B'까지의 2D 선분은 포인트 A에서 포인트 B까지의 3D 라인의 2D 투영이므로, 임의의 포인트 C'에 대해, 대응하는 포인트 C가 직접 계산될 수 있다. 3D 포인트 C의 깊이가 미리 계산된 2D 캔버스로부터 판독된 깊이보다 크거나 3D 포인트가 절두체 바깥에 있을 때까지(즉, 먼 클립 평면(844)을 지날 때까지) 포인트 C'가 반복적으로 생성되고 테스트된다. 이 테스트는 가상 장면 내의 정확한 포인트 C가 발견되었는지 또는 해당 픽셀과 연관된 가상 물체가 없는지를 결정하는 데 사용할 수 있다. 해당 픽셀과 연관된 가상 물체가 없으면, C의 컬러는 배경 컬러로 설정될 수 있다.
5. 픽셀 P의 컬러를 픽셀 C의 컬러로 설정하고 프로세스를 종료한다.
일부 실시예에서, 여기에 설명된 기술은 사용자에게 실용적인 컴퓨터의 디스플레이를 구축하는 데 사용될 수 있다. 일부 실시예에서, 컴퓨터의 디스플레이는 눈의 피로를 일으키지 않고 또는 3D 안경을 요구하지 않고 3D 콘텐츠를 표시하는 데 사용될 수 있다. 일부 실시예에서, 여기에 설명되고/되거나 예시된 디스플레이는 모든 폼 팩터(예를 들어, 웨어러블, 폰, 태블릿, 랩탑, 데스크탑 및/또는 원안(far-eye) 디스플레이를 포함하는 모든 디스플레이)로 포함될 수 있다.
일부 실시예에서, 3D 디스플레이 상에 표시될 이미지는 광선 추적 및/또는 임의의 다른 기술을 이용하여 직접 렌더링될 수 있다. 추적된 동공 위치 및 시청 거리와 함께, 수학식 1 및 수학식 2를 사용하여 눈 상자 크기 및 위치가 계산될 수 있다. 일부 실시예에서, 디스플레이 상의 각각의 단일 픽셀은 임의의 주어진 눈 상자 내의 하나의 마이크로 렌즈로부터만 보일 것이다. 가상 장면에서 픽셀 중심과 마이크로 렌즈 광학 중심을 통과하는 광선의 추적은 최종 이미지의 해당 특정 픽셀에 대한 픽셀 컬러를 반환할 것이다.
일부 실시예에서, 3D 디스플레이 상에 표시될 이미지는 다수의 절두체를 사용하는 종래의 래스터화를 이용하여 직접 렌더링될 수 있다. 렌더링 카메라에 대한 다수의 절두체는 눈 상자 크기, 눈 상자 위치 및 스크린 크기에 의해 정의된다. 하나의 단일 렌즈로부터 보이는 픽셀들의 수는 필요한 렌더링 카메라들의 수를 정의한다. 하나의 단일 마이크로 렌즈로부터 보이는 픽셀들의 수가 정수가 아닌 경우, 렌더링 카메라 수는 더 큰 정수로 업샘플링될 수 있다. 예를 들어, 하나의 마이크로 렌즈 아래의 픽셀 수는 10.5*10.5개이지만, 10.5*10.5개의 렌더링 카메라를 갖는 것은 불가능하다. 대안으로서, 15*15개의 카메라를 사용될 수 있다. 절두체는 눈 상자의 균일한 15*15 2D 격자 샘플인 절두체의 투영 중심과 디스플레이의 4개의 코너에 의해 정의된다. 각각의 카메라에 대한 해상도 요구는 디스플레이 상의 마이크로 렌즈 수에 의해 정의된다. 최종 적분 이미지는 15*15개의 렌더링된 이미지를 역방향으로 인터리빙한 다음에 업샘플링 비율(10.5/15)의 역수로 다운샘플링하여 생성될 수 있다. 동공의 위치에 따라, 적분 이미지가 시프팅되어야 할 것이다.
일부 실시예에서, 지향성 백라이트 기반 시간 다중화가 구현된다. 일부 실시예에서, 눈 상자(본 명세서에서 시청 영역으로도 지칭됨)는 (예를 들어, 좌안과 우안 사이에) 분할된다. 일부 실시예에서, 다양한 콘텐츠 생성 접근법이 구현될 수 있다. 일부 실시예에서, 임의의 렌더링 구현이 사용될 수 있다. 일부 실시예에서, 스크린 공간 광선 추적(예를 들어, 일부 실시예에서는, RGB-D 이미지와 같은 컬러 플러스 깊이 이미지에 대한 스크린 공간 광선 추적)이 사용될 수 있다. 일부 실시예에서, 광선 추적이 구현될 수 있다. 일부 실시예에서, 캡처링된 데이터 합성(예를 들어, 캡처링된 RGB 이미지 데이터 또는 캡처링된 RGB-D 이미지 데이터와 같은 캡처링된 이미지 데이터 합성)이 구현될 수 있다.
도 9는 컴퓨팅 디바이스(900)의 예의 블록도이다. 일부 실시예에서, 컴퓨팅 디바이스(900)는 시청 모드 조정을 구현할 수 있는 디바이스에 포함될 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(900)는 본 명세서에서 설명되고/되거나 도면에 도시된 바와 같이 동공(또는 눈) 추적, 이미지 렌더링, 이미지 처리 등을 구현할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(900)는 동공 추적 디바이스(예를 들어, 동공 추적 디바이스(318))의 일부 또는 전부로서 포함될 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(900)는 이미지 렌더링을 구현하는 컴퓨팅 디바이스(예를 들어, 컴퓨팅 디바이스(322))의 일부 또는 전부로서 포함될 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(900)는 광 필드 처리 유닛(예를 들어, 광 필드 처리 유닛(324))의 일부 또는 전부로서 포함될 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(900)는, 예를 들어, 특히 디스플레이 시스템에 포함될 수 있다. 컴퓨팅 디바이스(900)는 저장된 명령어들을 실행하도록 구성되는 프로세서(902)뿐만 아니라 프로세서(902)에 의해 실행 가능한 명령어들을 저장하는 메모리 디바이스(904)(및/또는 저장 디바이스(904))를 포함할 수 있다. 프로세서(902)는 단일 코어 프로세서, 멀티 코어 프로세서, 컴퓨팅 클러스터 또는 임의의 수의 다른 구성일 수 있다. 메모리 디바이스(904)는 메모리 디바이스 및/또는 저장 디바이스일 수 있고, 휘발성 저장소, 비휘발성 저장소, 랜덤 액세스 메모리, 판독 전용 메모리, 플래시 메모리, 및/또는 임의의 다른 적절한 메모리 및/또는 저장 시스템을 포함할 수 있다. 프로세서(902)에 의해 실행되는 명령어들은 또한 본 명세서에서 설명되는 바와 같이 시청 모드 조정을 구현하는 데 사용될 수 있다.
프로세서(902)는 또한 컴퓨팅 디바이스(900)를 디스플레이 디바이스(910)에 접속하도록 구성되는 디스플레이 인터페이스(908)에 시스템 인터커넥트(906)(예를 들어, PCI®, PCI-Express®, NuBus 등)을 통해 링크될 수 있다. 디스플레이 디바이스(910)는 컴퓨팅 디바이스(900)의 내장 컴포넌트인 디스플레이 스크린을 포함할 수 있다. 디스플레이 디바이스(910)는, 예를 들어, 디스플레이, 마이크로 렌즈 어레이 및/또는 디스플레이 백라이트를 포함할 수 있다.
일부 실시예에서, 디스플레이 인터페이스(908)는 임의의 적합한 그래픽 처리 유닛, 송신기, 포트, 물리적 인터커넥트 등을 포함할 수 있다. 일부 예에서, 디스플레이 인터페이스(908)는 데이터를 디스플레이 디바이스(910)로 전송하기 위한 임의의 적절한 프로토콜을 구현할 수 있다. 예를 들어, 디스플레이 인터페이스(908)는 고화질 멀티미디어 인터페이스(HDMI) 프로토콜, DisplayPort 프로토콜, 또는 일부 다른 프로토콜 또는 통신 링크 등을 사용하여 데이터를 전송할 수 있다.
일부 실시예에서, 디스플레이 디바이스(910)는 디스플레이 제어기를 포함한다. 일부 실시예에서, 디스플레이 제어기는 디스플레이 디바이스 안에서 그리고/또는 디스플레이 디바이스에 제어 신호를 제공할 수 있다. 일부 실시예에서, 디스플레이 제어기는 디스플레이 인터페이스(908)에 (그리고/또는 디스플레이 인터페이스(908) 대신에) 포함될 수 있다. 일부 실시예에서, 디스플레이 제어기는 디스플레이 인터페이스(908)와 디스플레이 디바이스(910) 사이에 결합될 수 있다. 일부 실시예에서, 디스플레이 제어기는 디스플레이 인터페이스(908)와 인터커넥트(906) 사이에 결합될 수 있다. 일부 실시예에서, 디스플레이 제어기는 프로세서(902)에 포함될 수 있다. 일부 실시예에서, 디스플레이 제어기는 임의의 도면에 예시되고/되거나 본원의 임의의 곳에서 설명된 임의의 예에 따라 디스플레이 디바이스(910)의 디스플레이 및/또는 백라이트의 제어를 구현할 수 있다.
일부 실시예에서, 본 명세서에서 설명된 임의의 기술은 디스플레이 디바이스(910) 내에서 전체적으로 또는 부분적으로 구현될 수 있다. 일부 실시예에서, 본 명세서에서 설명된 임의의 기술은 디스플레이 제어기 내에서 전체적으로 또는 부분적으로 구현될 수 있다. 일부 실시예에서, 본 명세서에서 설명된 임의의 기술은 프로세서(902) 내에서 전체적으로 또는 부분적으로 구현될 수 있다.
또한, 네트워크 인터페이스 제어기(본원에서는 NIC라고도 함)(912)는 컴퓨팅 디바이스(900)를 시스템 인터커넥트(906)를 통해 네트워크(도시되지 않음)에 접속하도록 구성될 수 있다. 네트워크(도시되지 않음)는 특히 무선 네트워크, 유선 네트워크, 셀룰러 네트워크, 무선 네트워크, 광역 네트워크(WAN), 근거리 네트워크(LAN), 전역 위치 위성(GPS) 네트워크 및/또는 인터넷일 수 있다.
프로세서(902)는 시스템 인터커넥트(906)를 통해 I/O 인터페이스(914)에 접속될 수 있다. I/O 인터페이스(914)는 인터커넥트(906)를 하나 이상의 I/O 디바이스(916)와 결합하는 데 사용될 수 있다. 하나 이상의 입출력(I/O) 디바이스 인터페이스(914)는 컴퓨팅 호스트 디바이스(900)를 하나 이상의 I/O 디바이스(916)에 접속하도록 구성될 수 있다. I/O 디바이스(916)는, 예를 들어, 키보드 및/또는 포인팅 디바이스를 포함할 수 있으며, 포인팅 디바이스는 특히 터치 패드 또는 터치 스크린을 포함할 수 있다. I/O 디바이스(916)는 컴퓨팅 디바이스(900)의 내장 컴포넌트일 수 있거나, 컴퓨팅 디바이스(900)에 외부적으로 접속된 디바이스일 수 있다.
일부 실시예에서, 프로세서(902)는 또한 하드 드라이브, 솔리드 스테이트 드라이브(SSD), 자기 드라이브, 광학 드라이브, 휴대용 드라이브, 플래시 드라이브, 범용 직렬 버스(USB) 플래시 드라이브, 드라이브들의 어레이, 및/또는 이들의 조합을 포함하는 임의의 다른 타입의 저장소를 포함할 수 있는 저장 디바이스(918)에 시스템 인터커넥트(906)를 통해 링크될 수 있다. 일부 실시예에서, 저장 디바이스(918)는 임의의 적합한 애플리케이션을 포함할 수 있다. 일부 실시예에서, 저장 디바이스(918)는 눈 추적(및/또는 동공 추적)(920), 이미지 렌더링(922), 이미지 처리(924) 및/또는 (예를 들어, 지향성 백라이트와의 시간적 다중화와 같은) 시간적 다중화(926)를 포함할 수 있다. 일부 실시예에서, 눈 추적(및/또는 동공 추적)(920), 이미지 렌더링(922), 이미지 처리(924) 및/또는 시간적 다중화(926)는 본 명세서의 임의의 곳에서 설명 및/또는 예시된 바와 같이 기능을 수행하기 위해 실행될 수 있는 (예를 들어, 프로세서(902)에 의해 실행될 수 있는) 명령어들을 포함할 수 있다.
도 9의 블록도는 컴퓨팅 디바이스(900)가 도 9에 도시된 모든 컴포넌트를 포함해야 한다는 것을 나타내도록 의도된 것이 아니라는 것을 이해해야 한다. 오히려, 컴퓨팅 디바이스(900)는 도 9에 도시된 것보다 더 적고/적거나 추가적인 컴포넌트(예를 들어, 추가적인 메모리 컴포넌트, 내장 제어기, 추가적인 모듈, 추가적인 네트워크 인터페이스 등)를 포함할 수 있다는 것을 이해해야 한다. 또한, 눈 추적(920), 이미지 렌더링(922), 이미지 처리(924) 및/또는 시간적 다중화(926) 중 임의의 기능은 하드웨어 및/또는 프로세서(902)에서 부분적으로 또는 전체적으로 구현될 수 있다. 예를 들어, 기능은 특히 주문형 집적 회로, 내장 제어기에 구현된 로직, 또는 프로세서(902)에 구현된 로직으로 구현될 수 있다. 일부 실시예에서, 눈 추적(920), 이미지 렌더링(922), 이미지 처리(924) 및/또는 시간적 다중화(926)의 기능들은 로직으로 구현될 수 있으며, 로직은 여기서 언급되는 바와 같이 임의의 적합한 하드웨어(예로서, 특히 프로세서), 소프트웨어(예로서, 특히 애플리케이션), 펌웨어, 또는 하드웨어, 소프트웨어 및 펌웨어의 임의의 적절한 조합을 포함할 수 있다.
도 10은 하나 이상의 프로세서 및 하나 이상의 유형의 비일시적 컴퓨터 판독 가능 매체의 예의 블록도이다. 하나 이상의 유형의 비일시적 컴퓨터 판독 가능 매체(1000)는 컴퓨터 인터커넥트(1004)를 통해 프로세서(1002)에 의해 액세스될 수 있다. 또한, 하나 이상의 유형의 비일시적 컴퓨터 판독 가능 매체(1000)는 프로세서(1002)로 하여금 본 명세서에 설명된 동작을 수행하게 하기 위한 코드를 포함할 수 있다. 예를 들어, 일부 실시예에서, 컴퓨터 판독 가능 매체(1000)는 프로세서로 하여금 일부 실시예에 따른 눈 추적(1006)(및/또는 눈 추적(1006)), 이미지 렌더링(1008), 이미지 처리(1010) 및/또는 시간적 다중화(예를 들어, 백라이트 제어와의 시간적 다중화) 중 하나 이상을 수행하게 하기 위한 코드를 포함할 수 있다. 일부 실시예에서, 프로세서(1002)는 하나 이상의 프로세서이다. 일부 실시예에서, 프로세서(1002)는 도 9의 프로세서(902)와 유사하게(그리고/또는 동일하게) 수행할 수 있고/있거나 프로세서(902)에 의해 수행될 수 있는 것과 동일한 기능들 중 일부 또는 전부를 수행할 수 있다.
본 명세서에서 논의된 다양한 컴포넌트는 소프트웨어 컴포넌트를 사용하여 구현될 수 있다. 이러한 소프트웨어 컴포넌트는 도 10에 지시된 바와 같이 하나 이상의 유형의 비일시적 컴퓨터 판독 가능 매체(1000) 상에 저장될 수 있다. 예를 들어, 눈 추적(1006), 이미지 렌더링(1008), 이미지 처리(1010) 및/또는 시간적 다중화(1012)(예를 들어, 백라이트 제어와의 시간적 다중화)를 구현하는 컴퓨터 판독 가능 명령어들을 포함하는 소프트웨어 컴포넌트는 일부 실시예에 따라 하나 이상의 컴퓨터 판독 가능 매체(1000)에 포함될 수 있다. 눈 추적(1006), 이미지 렌더링(1008), 이미지 처리(1010) 및/또는 시간적 다중화(1012)는 프로세서(1002)로 하여금 본 명세서에서 그리고/또는 도면을 참조하여 설명된 임의의 동작들 중 하나 이상을 수행하게 하도록 구성될 수 있다.
도 10에 도시된 임의의 적절한 수의 소프트웨어 컴포넌트가 하나 이상의 유형의 비일시적 컴퓨터 판독 가능 매체(1000) 내에 포함될 수 있음을 이해해야 한다. 또한, 도 10에 도시되지 않은 임의의 수의 추가적인 소프트웨어 컴포넌트가 특정 응용에 따라 하나 이상의 유형의 비일시적 컴퓨터 판독 가능 매체(1000) 내에 포함될 수 있다.
실시예들은 RGB 및/또는 RGB-D 이미지와 관련하여 본 명세서에서 설명되었다. 그러나, 실시예들은 RGB 이미지 또는 다른 컬러 이미지를 포함하는 임의의 컬러 이미지와 더 일반적으로 관련될 수 있고/있거나, RGB-D 이미지 또는 다른 컬러 플러스 깊이 이미지를 포함하는 컬러 플러스 깊이 이미지와 관련될 수 있다.
본 명세서에서 개시된 주제의 "하나의 실시예" 또는 "일 실시예" 또는 "일부 실시예"에 대한 언급은 실시예와 관련하여 설명된 특정 특징, 구조 또는 특성이 개시된 주제의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, "하나의 실시예에서" 또는 "일부 실시예에서"라는 문구는 명세서 전반의 다양한 곳에서 나타날 수 있지만, 반드시 동일한 실시예 또는 실시예들을 지칭하지는 않을 수 있다.
예 1은 삼차원 디스플레이 장치이다. 삼차원 디스플레이 장치는 디스플레이(예를 들어, 디스플레이, 디스플레이 스크린 및/또는 디스플레이 패널) 및 마이크로 렌즈 어레이를 포함한다. 삼차원 디스플레이 장치는 또한 복수의 눈을 추적하고 추적에 대응하는 눈 위치 정보를 제공하기 위한 눈 추적기를 포함한다. 렌더링 프로세서는 컬러 플러스 깊이 이미지 또는 광 필드 이미지를 렌더링하거나 캡처링한다. 광 필드 프로세서는 눈 위치 정보를 사용하여 렌더링되거나 캡처링된 컬러 플러스 깊이 이미지 또는 광 필드 이미지를 디스플레이에 제공될 디스플레이 이미지로 변환한다.
예 2는 선택적 특징을 포함 또는 배제하는, 예 1의 디스플레이를 포함한다. 이 예에서, 렌더링 프로세서는 눈 위치 정보에 기초하여 광 필드 이미지를 렌더링하며, 광 필드 프로세서는 렌더링되거나 캡처링된 컬러, 광 필드 또는 멀티 뷰 이미지를 디스플레이에 필요한 광 필드 이미지로 합성한다.
예 3은 선택적 특징을 포함하거나 배제하는, 예 1 또는 2 중 어느 하나의 디스플레이를 포함한다. 이 예에서, 디스플레이 백라이트는 눈 위치 정보에 기초하여 백라이트를 조종한다.
예 4는 선택적 특징을 포함하거나 배제하는, 예 1 내지 3 중 어느 하나의 디스플레이를 포함한다. 이 예에서, 디스플레이는 인치당 250 픽셀보다 높은 픽셀 밀도를 갖는 고 픽셀 밀도 디스플레이이다.
예 5는 선택적 특징을 포함하거나 배제하는, 예 1 내지 4 중 어느 하나의 디스플레이를 포함한다. 이 예에서, 마이크로 렌즈 어레이는 F 값이 8보다 큰 긴 초점 거리 마이크로 렌즈 어레이이다.
예 6은 선택적 특징을 포함하거나 배제하는, 예 1 내지 5 중 어느 하나의 디스플레이를 포함한다. 이 예에서, 눈 추적기는 하나 이상의 동공을 추적하는 동공 추적기이고, 눈 위치 정보는 동공 위치 정보이다.
예 7은 선택적 특징을 포함하거나 배제하는, 예 1 내지 6 중 어느 하나의 디스플레이를 포함한다. 이 예에서, 눈 추적기는 삼차원 눈 추적기이고, 눈 위치 정보는 삼차원 눈 위치 정보이다.
예 8은 선택적 특징을 포함하거나 배제하는, 예 1 내지 7 중 어느 하나의 디스플레이를 포함한다. 이 예에서, 렌더링 프로세서는 그래픽 엔진이다.
예 9는 선택적 특징을 포함하거나 배제하는, 예 1 내지 8 중 어느 하나의 디스플레이를 포함한다. 이 예에서, 광 필드 프로세서는 렌더링되거나 캡처링된 컬러 플러스 깊이 이미지 또는 광 필드 이미지를 디스플레이에 제공될 입체 적분 이미지로 변환한다.
예 10은 선택적 특징을 포함하거나 배제하는, 예 1 내지 9 중 어느 하나의 디스플레이를 포함한다. 이 예에서, 렌더링 프로세서는 하나 이상의 눈의 추적된 위치에 따라 각각의 컬러 플러스 깊이 이미지 또는 광 필드 이미지를 렌더링한다.
예 11은 선택적 특징을 포함하거나 배제하는, 예 1 내지 예 10의 디스플레이를 포함한다. 이 예에서, 렌더링 프로세서는 눈 위치 정보에 기초하여 컬러 플러스 깊이 이미지 또는 광 필드 이미지를 렌더링한다.
예 12는 선택적 특징을 포함하거나 배제하는, 예 1 내지 예 11 중 어느 하나의 디스플레이를 포함한다. 이 예에서, 광 필드 프로세서는 눈 위치 정보를 사용하여 최적의 눈 상자 크기를 계산하고 눈 상자의 중심을 사람의 눈 위치와 정렬하도록 표시된 이미지를 오프셋시킨다.
예 13은 선택적 특징을 포함하거나 배제하는, 예 1 내지 12 중 어느 하나의 디스플레이를 포함한다. 이 예에서, 광 필드 프로세서는 렌더링되거나 캡처링된 컬러 플러스 깊이 이미지 또는 광 필드 이미지를 하나 이상의 후처리 기술을 사용하여 디스플레이 이미지로 변환한다.
예 14는 선택적 특징을 포함하거나 배제하는, 예 13의 디스플레이를 포함한다. 이 예에서, 하나 이상의 후처리 기술은 스크린 공간 광선 추적을 포함한다.
예 15는 선택적 특징을 포함하거나 배제하는, 예 1 내지 예 14 중 어느 하나의 디스플레이를 포함한다. 이 예에서, 광 필드 프로세서는 디스플레이 이미지를 디스플레이에 제공한다.
예 16은 선택적 특징을 포함하거나 배제하는, 예 1 내지 15 중 어느 하나의 디스플레이를 포함한다. 이 예에서, 디스플레이 백라이트는 추적된 눈 위치 정보에 기초하여 인간 인식 가능 화면 재생률보다 높은 화면 재생률로 좌안과 우안 사이에서 교대하는 광을 조종한다.
예 17은 삼차원 디스플레이 광 필드 이미지 방법이다. 방법은 마이크로 렌즈 어레이 및 디스플레이 스크린을 보는 하나 이상의 눈을 추적하여 눈 위치 정보를 제공하는 단계, 컬러 플러스 깊이 이미지 또는 광 필드 이미지를 렌더링 또는 캡처링하는 단계, 및 눈 위치 정보를 사용하여 렌더링되거나 캡처링된 컬러 플러스 깊이 이미지 또는 광 필드 이미지를 디스플레이에 제공될 디스플레이 이미지로 변환하는 단계를 포함한다.
예 18은 선택적인 특징을 포함하거나 배제하는, 예 17의 방법을 포함한다. 이 예에서, 광 필드 이미지는 눈 위치 정보에 기초하여 렌더링되고, 캡처링된 컬러, 광 필드 또는 멀티 뷰 이미지는 디스플레이에 필요한 광 필드 이미지로 합성된다.
예 19는 선택적 특징을 포함하거나 배제하는, 예 17 또는 18 중 어느 하나의 방법을 포함한다. 이 예에서, 백라이트는 눈 위치 정보에 기초하여 조종된다.
예 20은 선택적 특징을 포함하거나 배제하는, 예 17 내지 19 중 어느 하나의 방법을 포함한다. 이 예에서, 디스플레이는 인치당 250 픽셀보다 높은 픽셀 밀도를 갖는 고 픽셀 밀도 디스플레이이다.
예 21은 선택적 특징을 포함하거나 배제하는, 예 17 내지 20 중 어느 하나의 방법을 포함한다. 이 예에서, 마이크로 렌즈 어레이는 F 값이 8보다 큰 긴 초점 거리 마이크로 렌즈 어레이이다.
예 22는 선택적 특징을 포함 또는 배제하는, 예 17 내지 21 중 어느 하나의 방법을 포함한다. 이 예에서, 마이크로 렌즈 어레이 및 디스플레이 스크린을 보는 하나 이상의 동공이 동공 위치 정보를 제공하도록 추적되고, 눈 위치 정보는 동공 위치 정보이다.
예 23은 선택적 특징을 포함 또는 배제하는, 예 17 내지 22 중 어느 하나의 방법을 포함한다. 이 예에서, 하나 이상의 눈은 삼차원으로 추적되고, 눈 위치 정보는 삼차원 눈 위치 정보이다.
예 24는 선택적 특징을 포함하거나 배제하는, 예 17 내지 23 중 어느 하나의 방법을 포함한다. 이 예에서, 렌더링은 그래픽 렌더링을 포함한다.
예 25는 선택적 특징을 포함하거나 배제하는, 예 17 내지 24 중 어느 하나의 방법을 포함한다. 이 예에서, 렌더링되거나 캡처링된 컬러 플러스 깊이 이미지 또는 광 필드 이미지는 디스플레이에 제공될 적분 이미지로 변환된다.
예 26은 선택적 특징을 포함하거나 배제하는, 예 17 내지 25 중 어느 하나의 방법을 포함한다. 이 예에서, 각각의 컬러 플러스 깊이 이미지는 눈들 중 하나의 눈의 추적된 위치에 따라 렌더링된다.
예 27은 선택적 특징을 포함하거나 배제하는, 예 17 내지 26 중 어느 하나의 방법을 포함한다. 이 예에서, 컬러 플러스 깊이 이미지는 눈 위치 정보에 기초하여 렌더링된다.
예 28은 선택적 특징을 포함하거나 배제하는, 예 17 내지 27 중 어느 하나의 방법을 포함한다. 이 예에서, 눈 위치 정보는 최적의 눈 상자 크기를 계산하고, 눈 상자의 중심을 눈 위치와 정렬하기 위해 표시된 이미지를 오프셋시키는 데 사용된다.
예 29는 선택적 특징을 포함하거나 배제하는, 예 17 내지 28 중 어느 하나의 방법을 포함한다. 이 예에서, 렌더링된 컬러 플러스 깊이 이미지 또는 캡처링된 컬러 플러스 깊이 이미지는 하나 이상의 후처리 기술을 사용하여 디스플레이 이미지로 변환된다.
예 30은 선택적인 특징을 포함하거나 배제하는, 예 29의 방법을 포함한다. 이 예에서, 하나 이상의 후처리 기술은 스크린 공간 광선 추적을 포함한다.
예 31은 선택적 특징을 포함하거나 배제하는, 예 17 내지 30 중 어느 하나의 방법을 포함한다. 이 예에서, 디스플레이 이미지는 디스플레이에 제공된다.
예 32는 선택적 특징을 포함하거나 배제하는, 예 17 내지 31 중 어느 하나의 방법을 포함한다. 이 예에서, 좌안과 우안 사이에서 교대하는 광은 추적된 눈 위치 정보에 기초하여 인간 인식 가능 화면 재생률보다 높은 화면 재생률로 조종된다.
예 33은 하나 이상의 유형의 비일시적 머신 판독 가능 매체이다. 매체는 적어도 하나의 프로세서 상에서 실행되는 것에 응답하여 적어도 하나의 프로세서로 하여금 마이크로 렌즈 어레이 및 디스플레이 스크린을 보는 하나 이상의 눈을 추적하여 눈 위치 정보를 제공하고, 컬러 플러스 깊이 이미지 또는 광 필드 이미지를 렌더링 또는 캡처링하고, 눈 위치 정보를 사용하여 렌더링되거나 캡처링된 컬러 플러스 깊이 이미지 또는 광 필드 이미지를 디스플레이에 제공될 디스플레이 이미지로 변환하게 하는 복수의 명령어를 포함한다.
예 34는 선택적 특징을 포함하거나 배제하는, 예 33의 하나 이상의 유형의 비일시적 머신 판독 가능 매체를 포함한다. 이 예에서, 하나 이상의 유형의 비일시적 머신 판독 가능 매체는 적어도 하나의 프로세서 상에서 실행되는 것에 응답하여 적어도 하나의 프로세서로 하여금 눈 위치 정보에 기초하여 광 필드 이미지를 렌더링하고, 캡처링된 컬러, 광 필드 또는 멀티 뷰 이미지를 디스플레이에 필요한 광 필드 이미지로 합성하게 하는 복수의 명령어를 포함한다.
예 35는 선택적 특징을 포함하거나 배제하는, 예 33 또는 34 중 어느 하나의 유형의 비일시적 머신 판독 가능 매체를 포함한다. 이 예에서, 하나 이상의 유형의 비일시적 머신 판독 가능 매체는 적어도 하나의 프로세서 상에서 실행되는 것에 응답하여 적어도 하나의 프로세서로 하여금 눈 위치 정보에 기초하여 백라이트를 조종하게 하는 복수의 명령어를 포함한다.
예 36은 선택적 특징을 포함하거나 배제하는, 예 33 내지 35 중 어느 하나의 유형의 비일시적 머신 판독 가능 매체를 포함한다. 이 예에서, 디스플레이는 인치당 250 픽셀보다 높은 픽셀 밀도를 갖는 고 픽셀 밀도 디스플레이이다.
예 37은 선택적인 특징을 포함하거나 배제하는, 예 33 내지 36 중 어느 하나의 유형의 비일시적 머신 판독 가능 매체를 포함한다. 이 예에서, 마이크로 렌즈 어레이는 F 값이 8보다 큰 긴 초점 거리 마이크로 렌즈 어레이이다.
예 38은 선택적 특징을 포함하거나 배제하는, 예 33 내지 37 중 어느 하나의 유형의 비일시적 머신 판독 가능 매체를 포함한다. 이 예에서, 하나 이상의 유형의 비일시적 머신 판독 가능 매체는 적어도 하나의 프로세서 상에서 실행되는 것에 응답하여 적어도 하나의 프로세서로 하여금 마이크로 렌즈 어레이 및 디스플레이 스크린을 보는 하나 이상의 동공을 추적하여 동공 위치 정보를 제공하게 하는 복수의 명령어를 포함하며, 눈 위치 정보는 동공 위치 정보이다.
예 39는 선택적인 특징을 포함하거나 배제하는, 예 33 내지 38 중 어느 하나의 유형의 비일시적 머신 판독 가능 매체를 포함한다. 이 예에서, 하나 이상의 유형의 비일시적 머신 판독 가능 매체는 적어도 하나의 프로세서 상에서 실행되는 것에 응답하여 적어도 하나의 프로세서로 하여금 삼차원으로 하나 이상의 눈을 추적하게 하는 복수의 명령어를 포함하며, 눈 위치 정보는 삼차원 눈 위치 정보이다.
예 40은 선택적 특징을 포함하거나 배제하는, 예 33 내지 39 중 어느 하나의 유형의 비일시적 머신 판독 가능 매체를 포함한다. 이 예에서, 렌더링은 그래픽 렌더링을 포함한다.
예 41은 선택적 특징을 포함하거나 배제하는, 예 33 내지 40 중 어느 하나의 유형의 비일시적 머신 판독 가능 매체를 포함한다. 이 예에서, 하나 이상의 유형의 비일시적 머신 판독 가능 매체는 적어도 하나의 프로세서 상에서 실행되는 것에 응답하여 적어도 하나의 프로세서로 하여금 렌더링되거나 캡처링된 컬러 플러스 깊이 이미지 또는 광 필드 이미지를 디스플레이에 제공될 적분 이미지로 변환하게 하는 복수의 명령어를 포함한다.
예 42는 선택적 특징을 포함하거나 배제하는, 예 33 내지 41 중 어느 하나의 유형의 비일시적 머신 판독 가능 매체를 포함한다. 이 예에서, 하나 이상의 유형의 비일시적 머신 판독 가능 매체는 적어도 하나의 프로세서 상에서 실행되는 것에 응답하여 적어도 하나의 프로세서로 하여금 눈들 중 하나의 눈의 추적된 위치에 따라 각각의 컬러 플러스 깊이 이미지를 렌더링하게 하는 복수의 명령어를 포함한다.
예 43은 선택적 특징을 포함하거나 배제하는, 예 33 내지 42 중 어느 하나의 유형의 비일시적 머신 판독 가능 매체를 포함한다. 이 예에서, 하나 이상의 유형의 비일시적 머신 판독 가능 매체는 적어도 하나의 프로세서 상에서 실행되는 것에 응답하여, 적어도 하나의 프로세서로 하여금 눈 위치 정보에 기초하여 컬러 플러스 깊이 이미지를 렌더링하게 하는 복수의 명령어를 포함한다.
예 44는 선택적 특징을 포함하거나 배제하는, 예 33 내지 43 중 어느 하나의 유형의 비일시적 머신 판독 가능 매체를 포함한다. 이 예에서, 하나 이상의 유형의 비일시적 머신 판독 가능 매체는 적어도 하나의 프로세서 상에서 실행되는 것에 응답하여 적어도 하나의 프로세서로 하여금 최적 눈 상자 크기를 계산하고, 눈 상자의 중심을 눈의 위치와 정렬하기 위해 표시된 이미지를 오프셋시키게 하는 복수의 명령어를 포함한다.
예 45는 선택적 특징을 포함하거나 배제하는, 예 33 내지 44 중 어느 하나의 유형의 비일시적 머신 판독 가능 매체를 포함한다. 이 예에서, 하나 이상의 유형의 비일시적 머신 판독 가능 매체는 적어도 하나의 프로세서 상에서 실행되는 것에 응답하여 적어도 하나의 프로세서로 하여금 렌더링된 컬러 플러스 깊이 이미지 또는 캡처링된 컬러 플러스 깊이 이미지를 하나 이상의 후처리 기술을 사용하여 디스플레이 이미지로 변환하게 하는 복수의 명령어를 포함한다.
예 46은 선택적 특징을 포함하거나 배제하는, 예 45의 하나 이상의 유형의 비일시적 머신 판독 가능 매체를 포함한다. 이 예에서, 하나 이상의 후처리 기술은 스크린 공간 광선 추적을 포함한다.
예 47은 선택적 특징을 포함하거나 배제하는, 예 33 내지 46 중 어느 하나의 유형의 비일시적 머신 판독 가능 매체를 포함한다. 이 예에서, 하나 이상의 유형의 비일시적 머신 판독 가능 매체는 적어도 하나의 프로세서 상에서 실행되는 것에 응답하여 적어도 하나의 프로세서로 하여금 디스플레이 이미지를 디스플레이에 제공하게 하는 복수의 명령어를 포함한다.
예 48은 선택적 특징을 포함하거나 배제하는, 예 33 내지 47 중 어느 하나의 유형의 비일시적 머신 판독 가능 매체를 포함한다. 이 예에서, 하나 이상의 유형의 비일시적 머신 판독 가능 매체는 적어도 하나의 프로세서 상에서 실행되는 것에 응답하여 적어도 하나의 프로세서로 하여금 추적된 눈 위치 정보에 기초하여 인간 인식 가능 화면 재생률보다 높은 화면 재생률로 좌안과 우안 사이에서 교대하는 광을 조종하게 하는 복수의 명령어를 포함한다.
예 49는 디스플레이, 마이크로 렌즈 어레이, 복수의 눈을 추적하는 수단, 추적에 대응하는 눈 위치 정보를 제공하는 수단, 컬러 플러스 깊이 이미지 또는 광 필드 이미지를 렌더링 또는 캡처링하는 수단, 및 눈 위치 정보를 사용하여 렌더링되거나 캡처링된 컬러 플러스 깊이 이미지 또는 광 필드 이미지를 디스플레이에 제공될 디스플레이 이미지로 변환하는 수단을 포함하는 삼차원 디스플레이 장치이다.
예 50은 선택적 특징을 포함하거나 배제하는, 예 49의 삼차원 디스플레이 장치를 포함한다. 이 예에서, 장치는 눈 위치 정보에 기초하여 광 필드 이미지를 렌더링하는 수단, 및 렌더링되거나 캡처링된 컬러, 광 필드 또는 멀티 뷰 이미지를 디스플레이에 필요한 광 필드 이미지로 합성하는 수단을 포함한다.
예 51은 선택적 특징을 포함하거나 배제하는, 예 49 또는 50 중 어느 하나의 삼차원 디스플레이 장치를 포함한다. 이 예에서, 장치는 눈 위치 정보에 기초하여 백라이트를 조종하는 수단을 포함한다.
예 52는 선택적 특징을 포함하거나 배제하는, 예 49 내지 51 중 어느 하나의 삼차원 디스플레이 장치를 포함한다. 이 예에서, 디스플레이는 인치당 250 픽셀보다 높은 픽셀 밀도를 갖는 고 픽셀 밀도 디스플레이이다.
예 53은 선택적 특징을 포함하거나 배제하는, 예 49 내지 52 중 어느 하나의 삼차원 디스플레이 장치를 포함한다. 이 예에서, 마이크로 렌즈 어레이는 F 값이 8보다 큰 긴 초점 거리 마이크로 렌즈 어레이이다.
예 54는 선택적 특징을 포함하거나 배제하는, 예 49 내지 53 중 어느 하나의 삼차원 디스플레이 장치를 포함한다. 이 예에서, 장치는 하나 이상의 동공을 추적하는 수단을 포함하고, 눈 위치 정보는 동공 위치 정보이다.
예 55는 선택적 특징을 포함하거나 배제하는, 예 49 내지 54 중 어느 하나의 삼차원 디스플레이 장치를 포함한다. 이 예에서, 장치는 삼차원으로 하나 이상의 눈을 추적하는 수단을 포함하며, 눈 위치 정보는 삼차원 눈 위치 정보이다.
예 56은 선택적 특징을 포함하거나 배제하는, 예 49 내지 55 중 어느 하나의 삼차원 디스플레이 장치를 포함한다. 이 예에서, 렌더링하는 수단은 그래픽을 렌더링하는 수단을 포함한다.
예 57은 선택적 특징을 포함하거나 배제하는, 예 49 내지 56 중 어느 하나의 삼차원 디스플레이 장치를 포함한다. 이 예에서, 장치는 렌더링되거나 캡처링된 컬러 플러스 깊이 이미지 또는 광 필드 이미지를 디스플레이에 제공될 입체 적분 이미지로 변환하는 수단을 포함한다.
예 58은 선택적 특징을 포함하거나 배제하는, 예 49 내지 57 중 어느 하나의 삼차원 디스플레이 장치를 포함한다. 이 예에서, 장치는 눈들 중 하나의 눈의 추적된 위치에 따라 각각의 컬러 플러스 깊이 이미지 또는 광 필드 이미지를 렌더링하는 수단을 포함한다.
예 59는 선택적 특징을 포함하거나 배제하는, 예 49 내지 58 중 어느 하나의 삼차원 디스플레이 장치를 포함한다. 이 예에서, 장치는 눈 위치 정보에 기초하여 컬러 플러스 깊이 이미지 또는 광 필드 이미지를 렌더링하는 수단을 포함한다.
예 60은 선택적 특징을 포함하거나 배제하는, 예 49 내지 59 중 어느 하나의 삼차원 디스플레이 장치를 포함한다. 이 예에서, 장치는 눈 위치 정보를 사용하여 최적의 눈 상자 크기를 계산하고, 눈 상자의 중심을 사람의 눈 위치와 정렬하도록 표시된 이미지를 오프셋시키는 수단을 포함한다.
예 61은 선택적 특징을 포함하거나 배제하는, 예 49 내지 60 중 어느 하나의 삼차원 디스플레이 장치를 포함한다. 이 예에서, 장치는 렌더링되거나 캡처링된 컬러 플러스 깊이 이미지 또는 광 필드 이미지를 하나 이상의 후처리 기술을 사용하여 디스플레이 이미지로 변환하는 수단을 포함한다.
예 62는 선택적 특징을 포함하거나 배제하는, 예 61의 삼차원 디스플레이 장치를 포함한다. 이 예에서, 하나 이상의 후처리 기술은 스크린 공간 광선 추적을 포함한다.
예 63은 선택적 특징을 포함하거나 배제하는, 예 49 내지 62 중 어느 하나의 삼차원 디스플레이 장치를 포함한다. 이 예에서, 장치는 디스플레이 이미지를 디스플레이에 제공하는 수단을 포함한다.
예 64는 선택적 특징을 포함하거나 배제하는, 예 49 내지 63 중 어느 하나의 삼차원 디스플레이 장치를 포함한다. 이 예에서, 장치는 추적된 눈 위치 정보에 기초하여 인간 인식 가능 화면 재생률보다 높은 화면 재생률로 좌안과 우안 사이에서 교대하는 광을 조종하는 디스플레이 백라이트 수단을 포함한다.
예 65는 실행될 때 머신으로 하여금 임의의 이전의 예의 방법을 수행하거나 장치를 실현하게 하는 코드를 포함하는 머신 판독 가능 매체이다.
예 66은 임의의 이전의 예에서와 같은 방법을 수행하는 수단을 포함하는 장치이다.
예 67은 실행될 때 임의의 이전의 예에서와 같은 방법을 구현하거나 장치를 실현하는 머신 판독 가능 명령어들을 포함하는 머신 판독 가능 저장소이다.
예 68은 프로세서 및 임의의 이전의 예에서와 같은 디스플레이 장치를 포함하는 삼차원 디스플레이 시스템이다.
개시된 주제의 실시예들이 도면들 내의 회로도, 흐름도, 블록도 등을 참조하여 설명되었지만, 이 분야의 통상의 기술자들은 개시된 주제를 구현하는 많은 다른 방법이 대안적으로 사용될 수 있다는 것을 쉽게 알 것이다. 예를 들어, 도면 내의 요소들의 배열 및/또는 도면 내의 블록들의 실행 순서는 변경될 수 있고/있거나, 회로도 내의 회로 요소들 중 일부 및 설명된 블록도/흐름도 내의 블록들은 변경, 제거 또는 결합될 수 있다. 예시 및/또는 설명된 임의의 요소들은 변경, 제거 또는 결합될 수 있다.
앞의 설명에서, 개시된 주제의 다양한 양태가 설명되었다. 설명의 목적을 위해, 특정 번호, 시스템 및 구성이 주제에 대한 철저한 이해를 돕기 위해 설명되었다. 그러나, 본 개시 내용의 이익을 갖는 이 분야의 기술자에게는 본 주제가 특정 상세 없이 실시될 수 있다는 것이 명백하다. 다른 예들에서는, 잘 알려진 특징, 컴포넌트 또는 모듈은 개시된 주제를 모호하게 하지 않기 위해 생략, 단순화, 결합 또는 분할되었다.
개시된 주제의 다양한 실시예는 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수 있으며, 머신에 의해 액세스될 때 머신으로 하여금 태스크를 수행하거나 추상 데이터 타입 또는 저레벨 하드웨어 컨텍스트를 정의하거나 결과를 생성하게 하는 명령어, 함수, 절차, 데이터 구조, 로직, 애플리케이션 프로그램, 설계의 시뮬레이션, 에뮬레이션 및 제조를 위한 설계 표현 또는 포맷과 같은 프로그램 코드를 참조하여 또는 그와 관련하여 설명될 수 있다.
프로그램 코드는 설계된 하드웨어가 어떻게 수행될 것으로 예상되는지에 대한 모델을 본질적으로 제공하는 하드웨어 기술 언어 또는 다른 기능적 기술 언어를 사용하여 하드웨어를 표현할 수 있다. 프로그램 코드는 컴파일 및/또는 해석될 수 있는 어셈블리 또는 기계어 또는 하드웨어 정의 언어 또는 데이터일 수 있다. 또한, 소프트웨어를, 한 가지 형태 또는 다른 형태로, 액션을 취하거나 결과를 초래하는 것으로서 말하는 것은 이 분야에서 일반적이다. 이러한 표현은 프로세서가 액션을 수행하거나 결과를 생성하게 하는 처리 시스템에 의한 프로그램 코드의 실행을 설명하는 간단한 방법일 뿐이다.
프로그램 코드는, 예를 들어, 저장 디바이스와 같은 하나 이상의 휘발성 및/또는 비휘발성 메모리 디바이스 및/또는 솔리드 스테이트 메모리, 하드 드라이브, 플로피 디스크, 광학 저장소, 테이프, 플래시 메모리, 메모리 스틱, 디지털 비디오 디스크, 디지털 다기능 디스크(DVD) 등은 물론, 머신 액세스 가능 생체 상태 유지 저장소와 같은 더 색다른 매체를 포함하는 관련 머신 판독 가능 또는 머신 액세스 가능 매체에 저장될 수 있다. 머신 판독 가능 매체는 안테나, 광섬유, 통신 인터페이스 등과 같이 머신에 의해 판독 가능한 형태로 정보를 저장, 전송 또는 수신하기 위한 임의의 유형의 메커니즘을 포함할 수 있다. 프로그램 코드는 패킷, 직렬 데이터, 병렬 데이터 등의 형태로 전송될 수 있으며, 압축 또는 암호화된 포맷으로 사용될 수 있다.
프로그램 코드는 프로세서, 프로세서에 의해 판독 가능한 휘발성 및/또는 비휘발성 메모리, 적어도 하나의 입력 디바이스 및/또는 하나 이상의 출력 디바이스를 각각 포함하는 모바일 또는 고정 컴퓨터, 개인 휴대 단말기, 셋톱 박스, 셀룰러 전화기 및 페이저, 및 기타 전자 디바이스와 같은 프로그래밍 가능 머신 상에서 실행되는 프로그램에서 구현될 수 있다. 프로그램 코드는 설명된 실시예를 수행하고 출력 정보를 생성하기 위해 입력 디바이스를 사용하여 입력된 데이터에 적용될 수 있다. 출력 정보는 하나 이상의 출력 디바이스에 적용될 수 있다. 이 분야의 통상의 기술자는 개시된 주제의 실시예가 멀티프로세서 또는 멀티코어 프로세서 시스템, 미니 컴퓨터, 메인프레임 컴퓨터는 물론, 사실상 임의의 디바이스 안에 내장될 수 있는 퍼베이시브 또는 미니어처 컴퓨터 또는 프로세서를 포함하는 다양한 컴퓨터 시스템 구성으로 실시될 수 있음을 알 수 있다. 개시된 주제의 실시예는 또한 통신 네트워크를 통해 링크된 원격 처리 디바이스에 의해 태스크가 수행될 수 있는 분산 컴퓨팅 환경에서 실시될 수 있다.
동작들은 순차적 프로세스로서 설명될 수 있지만, 동작들의 일부는 사실상 병렬로, 동시에 그리고/또는 분산 환경에서, 그리고 단일 또는 멀티프로세서 머신에 의한 액세스를 위해 국지적으로 그리고/또는 원격적으로 저장된 프로그램 코드로 수행될 수 있다. 일부 실시예에서, 동작들의 순서는 개시된 주제의 사상을 벗어나지 않고 재배열될 수 있다. 프로그램 코드는 내장 제어기에 의해 또는 그와 함께 사용될 수 있다.
개시된 주제가 예시적인 실시예들을 참조하여 설명되었지만, 이 설명은 제한적인 의미로 해석되도록 의도되지 않는다. 예시적인 실시예들은 물론, 개시된 주제가 속하는 분야의 기술자들에게 명백한 주제의 다른 실시예들의 다양한 변경들은 개시된 주제의 범위 내에 있는 것으로 간주된다. 예를 들어, 각각의 도시된 실시예 및 각각의 설명된 실시예에서, 도면들 및 본 명세서에서의 설명은 도시되거나 설명된 디바이스가 특정 도면에 도시되거나 특정 도면을 참조하여 설명된 컴포넌트 모두를 포함한다는 것을 나타내도록 의도되지 않는다는 것을 이해해야 한다. 또한, 각각의 컴포넌트는 로직으로 구현될 수 있으며, 로직은 여기서 언급된 바와 같이, 예를 들어, 임의의 적절한 하드웨어(예를 들어, 특히 프로세서), 소프트웨어(예를 들어, 특히 애플리케이션), 펌웨어, 또는 하드웨어, 소프트웨어 및 펌웨어의 임의의 적절한 조합을 포함할 수 있다.

Claims (68)

  1. 삼차원 디스플레이 장치로서,
    디스플레이와,
    마이크로 렌즈 어레이와,
    복수의 눈을 추적하고 상기 추적에 대응하는 눈 위치 정보를 제공하기 위한 눈 추적기와,
    컬러 플러스 깊이 이미지(color plus depth image) 또는 광 필드 이미지(light field image)를 렌더링하거나 캡처링하기 위한 렌더링 프로세서와,
    상기 눈 위치 정보를 사용하여 상기 렌더링되거나 캡처링된 컬러 플러스 깊이 이미지 또는 광 필드 이미지를 상기 디스플레이에 제공될 디스플레이 이미지로 변환하기 위한 광 필드 프로세서를 포함하는
    삼차원 디스플레이 장치.
  2. 제1항에 있어서,
    상기 렌더링 프로세서는 상기 눈 위치 정보에 기초하여 광 필드 이미지를 렌더링하며, 상기 광 필드 프로세서는 렌더링되거나 캡처링된 컬러, 광 필드 또는 멀티 뷰 이미지를 상기 디스플레이에 필요한 광 필드 이미지로 합성하는
    삼차원 디스플레이 장치.
  3. 제1항에 있어서,
    상기 눈 위치 정보에 기초하여 백라이트를 조종하기 위한 디스플레이 백라이트를 포함하는
    삼차원 디스플레이 장치.
  4. 제1항에 있어서,
    상기 디스플레이는 인치당 250 픽셀보다 높은 픽셀 밀도를 갖는 고 픽셀 밀도 디스플레이인
    삼차원 디스플레이 장치.
  5. 제1항에 있어서,
    상기 마이크로 렌즈 어레이는 F 값이 8보다 큰 긴 초점 거리 마이크로 렌즈 어레이(long focal length micro lens array)인
    삼차원 디스플레이 장치.
  6. 제1항에 있어서,
    상기 눈 추적기는 하나 이상의 동공을 추적하기 위한 동공 추적기이고, 상기 눈 위치 정보는 동공 위치 정보인
    삼차원 디스플레이 장치.
  7. 제1항에 있어서,
    상기 눈 추적기는 삼차원 눈 추적기이고, 상기 눈 위치 정보는 삼차원 눈 위치 정보인
    삼차원 디스플레이 장치.
  8. 제1항에 있어서,
    상기 렌더링 프로세서는 그래픽 엔진을 포함하는
    삼차원 디스플레이 장치.
  9. 제1항에 있어서,
    상기 광 필드 프로세서는 상기 렌더링되거나 캡처링된 컬러 플러스 깊이 이미지 또는 광 필드 이미지를 상기 디스플레이에 제공될 입체 적분 이미지(stereo integral image)로 변환하는
    삼차원 디스플레이 장치.
  10. 제1항에 있어서,
    상기 렌더링 프로세서는 상기 눈들 중 하나 이상의 눈의 상기 추적된 위치에 따라 각각의 컬러 플러스 깊이 이미지 또는 광 필드 이미지를 렌더링하는
    삼차원 디스플레이 장치.
  11. 제1항에 있어서,
    상기 렌더링 프로세서는 상기 눈 위치 정보에 기초하여 상기 컬러 플러스 깊이 이미지 또는 광 필드 이미지를 렌더링하는
    삼차원 디스플레이 장치.
  12. 제1항에 있어서,
    상기 광 필드 프로세서는 상기 눈 위치 정보를 사용하여 최적의 눈 상자 크기를 계산하고 눈 상자의 중심을 사람의 눈 위치와 정렬하도록 표시된 이미지를 오프셋시키는
    삼차원 디스플레이 장치.
  13. 제1항에 있어서,
    상기 광 필드 프로세서는 상기 렌더링되거나 캡처링된 컬러 플러스 깊이 이미지 또는 광 필드 이미지를 하나 이상의 후처리 기술을 사용하여 디스플레이 이미지로 변환하는
    삼차원 디스플레이 장치.
  14. 제13항에 있어서,
    상기 하나 이상의 후처리 기술은 스크린 공간 광선 추적을 포함하는
    삼차원 디스플레이 장치.
  15. 제1항에 있어서,
    상기 광 필드 프로세서는 상기 디스플레이 이미지를 상기 디스플레이에 제공하는
    삼차원 디스플레이 장치.
  16. 제1항에 있어서,
    상기 추적된 눈 위치 정보에 기초하여 인간 인식 가능 화면 재생률보다 높은 화면 재생률로 좌안과 우안 사이에서 교대하는 광을 조종하기 위한 디스플레이 백라이트를 포함하는
    삼차원 디스플레이 장치.
  17. 삼차원 디스플레이 광 필드 이미지 방법으로서,
    마이크로 렌즈 어레이 및 디스플레이 스크린을 보는 하나 이상의 눈을 추적하여 눈 위치 정보를 제공하는 단계와,
    컬러 플러스 깊이 이미지 또는 광 필드 이미지를 렌더링 또는 캡처링하는 단계와,
    상기 눈 위치 정보를 사용하여 상기 렌더링되거나 캡처링된 컬러 플러스 깊이 이미지 또는 광 필드 이미지를 상기 디스플레이에 제공될 디스플레이 이미지로 변환하는 단계를 포함하는
    삼차원 디스플레이 광 필드 이미지 방법.
  18. 제17항에 있어서,
    상기 눈 위치 정보에 기초하여 광 필드 이미지를 렌더링하는 단계와,
    캡처링된 컬러, 광 필드 또는 멀티 뷰 이미지를 상기 디스플레이에 필요한 광 필드 이미지로 합성하는 단계를 포함하는
    삼차원 디스플레이 광 필드 이미지 방법.
  19. 제17항에 있어서,
    상기 눈 위치 정보에 기초하여 백라이트를 조종하는 단계를 포함하는
    삼차원 디스플레이 광 필드 이미지 방법.
  20. 제17항에 있어서,
    상기 디스플레이는 인치당 250 픽셀보다 높은 픽셀 밀도를 갖는 고 픽셀 밀도 디스플레이인
    삼차원 디스플레이 광 필드 이미지 방법.
  21. 제17항에 있어서,
    상기 마이크로 렌즈 어레이는 F 값이 8보다 큰 긴 초점 거리 마이크로 렌즈 어레이인
    삼차원 디스플레이 광 필드 이미지 방법.
  22. 제17항에 있어서,
    상기 마이크로 렌즈 어레이 및 상기 디스플레이 스크린을 보는 하나 이상의 동공을 추적하여 동공 위치 정보를 제공하는 단계를 포함하되, 상기 눈 위치 정보는 동공 위치 정보인
    삼차원 디스플레이 광 필드 이미지 방법.
  23. 제17항에 있어서,
    상기 하나 이상의 눈을 삼차원으로 추적하는 단계를 포함하되, 상기 눈 위치 정보는 삼차원 눈 위치 정보인
    삼차원 디스플레이 광 필드 이미지 방법.
  24. 제17항에 있어서,
    상기 렌더링은 그래픽 렌더링을 포함하는
    삼차원 디스플레이 광 필드 이미지 방법.
  25. 제17항에 있어서,
    상기 렌더링되거나 캡처링된 컬러 플러스 깊이 이미지 또는 광 필드 이미지를 상기 디스플레이에 제공될 적분 이미지로 변환하는 단계를 포함하는
    삼차원 디스플레이 광 필드 이미지 방법.
  26. 제17항에 있어서,
    각각의 컬러 플러스 깊이 이미지를 상기 눈들 중 하나 이상의 눈의 상기 추적된 위치에 따라 렌더링하는 단계를 포함하는
    삼차원 디스플레이 광 필드 이미지 방법.
  27. 제17항에 있어서,
    상기 컬러 플러스 깊이 이미지를 상기 눈 위치 정보에 기초하여 렌더링하는 단계를 포함하는
    삼차원 디스플레이 광 필드 이미지 방법.
  28. 제17항에 있어서,
    상기 눈 위치 정보를 사용하여 최적의 눈 상자 크기를 계산하고, 눈 상자의 중심을 눈 위치와 정렬하기 위해 표시된 이미지를 오프셋시키는 단계를 포함하는
    삼차원 디스플레이 광 필드 이미지 방법.
  29. 제17항에 있어서,
    상기 렌더링된 컬러 플러스 깊이 이미지 또는 캡처링된 컬러 플러스 깊이 이미지를 하나 이상의 후처리 기술을 사용하여 디스플레이 이미지로 변환하는 단계를 포함하는
    삼차원 디스플레이 광 필드 이미지 방법.
  30. 제29항에 있어서,
    상기 하나 이상의 후처리 기술은 스크린 공간 광선 추적을 포함하는
    삼차원 디스플레이 광 필드 이미지 방법.
  31. 제17항에 있어서,
    상기 디스플레이 이미지를 상기 디스플레이에 제공하는 단계를 포함하는
    삼차원 디스플레이 광 필드 이미지 방법.

  32. 제17항에 있어서,
    상기 추적된 눈 위치 정보에 기초하여 인간 인식 가능 화면 재생률보다 높은 화면 재생률로 좌안과 우안 사이에서 교대하는 광을 조종하는 단계를 포함하는
    삼차원 디스플레이 광 필드 이미지 방법.
  33. 하나 이상의 유형의 비일시적 머신 판독 가능 매체로서,
    적어도 하나의 프로세서 상에서 실행되는 것에 응답하여 상기 적어도 하나의 프로세서로 하여금,
    마이크로 렌즈 어레이 및 디스플레이 스크린을 보는 하나 이상의 눈을 추적하여 눈 위치 정보를 제공하게 하고,
    컬러 플러스 깊이 이미지 또는 광 필드 이미지를 렌더링 또는 캡처링하게 하며,
    상기 눈 위치 정보를 사용하여 상기 렌더링되거나 캡처링된 컬러 플러스 깊이 이미지 또는 광 필드 이미지를 상기 디스플레이에 제공될 디스플레이 이미지로 변환하게 하는 복수의 명령어를 포함하는
    하나 이상의 유형의 비일시적 머신 판독 가능 매체.

  34. 제33항에 있어서,
    적어도 하나의 프로세서 상에서 실행되는 것에 응답하여 상기 적어도 하나의 프로세서로 하여금,
    상기 눈 위치 정보에 기초하여 광 필드 이미지를 렌더링하고,
    캡처링된 컬러, 광 필드 또는 멀티 뷰 이미지를 상기 디스플레이에 필요한 광 필드 이미지로 합성하게 하는 복수의 명령어를 포함하는
    하나 이상의 유형의 비일시적 머신 판독 가능 매체.
  35. 제33항에 있어서,
    적어도 하나의 프로세서 상에서 실행되는 것에 응답하여 상기 적어도 하나의 프로세서로 하여금 상기 눈 위치 정보에 기초하여 백라이트를 조종하게 하는 복수의 명령어를 포함하는
    하나 이상의 유형의 비일시적 머신 판독 가능 매체.
  36. 제33항에 있어서,
    상기 디스플레이는 인치당 250 픽셀보다 높은 픽셀 밀도를 갖는 고 픽셀 밀도 디스플레이인
    하나 이상의 유형의 비일시적 머신 판독 가능 매체.
  37. 제33항에 있어서,
    상기 마이크로 렌즈 어레이는 F 값이 8보다 큰 긴 초점 거리 마이크로 렌즈 어레이인
    하나 이상의 유형의 비일시적 머신 판독 가능 매체.
  38. 제33항에 있어서,
    적어도 하나의 프로세서 상에서 실행되는 것에 응답하여 상기 적어도 하나의 프로세서로 하여금 상기 마이크로 렌즈 어레이 및 상기 디스플레이 스크린을 보는 하나 이상의 동공을 추적하여 동공 위치 정보를 제공하게 하는 복수의 명령어를 포함하되, 상기 눈 위치 정보는 동공 위치 정보인
    하나 이상의 유형의 비일시적 머신 판독 가능 매체.
  39. 제33항에 있어서,
    적어도 하나의 프로세서 상에서 실행되는 것에 응답하여 상기 적어도 하나의 프로세서로 하여금 상기 하나 이상의 눈을 삼차원으로 추적하게 하는 복수의 명령어를 포함하되, 상기 눈 위치 정보는 삼차원 눈 위치 정보인
    하나 이상의 유형의 비일시적 머신 판독 가능 매체.
  40. 제33항에 있어서,
    상기 렌더링은 그래픽 렌더링을 포함하는
    하나 이상의 유형의 비일시적 머신 판독 가능 매체.
  41. 제33항에 있어서,
    적어도 하나의 프로세서 상에서 실행되는 것에 응답하여 상기 적어도 하나의 프로세서로 하여금 상기 렌더링되거나 캡처링된 컬러 플러스 깊이 이미지 또는 광 필드 이미지를 상기 디스플레이에 제공될 적분 이미지로 변환하게 하는 복수의 명령어를 포함하는
    하나 이상의 유형의 비일시적 머신 판독 가능 매체.
  42. 제33항에 있어서,
    적어도 하나의 프로세서 상에서 실행되는 것에 응답하여 상기 적어도 하나의 프로세서로 하여금 상기 눈들 중 하나 이상의 눈의 상기 추적된 위치에 따라 각각의 컬러 플러스 깊이 이미지를 렌더링하게 하는 복수의 명령어를 포함하는
    하나 이상의 유형의 비일시적 머신 판독 가능 매체.
  43. 제33항에 있어서,
    적어도 하나의 프로세서 상에서 실행되는 것에 응답하여 상기 적어도 하나의 프로세서로 하여금 상기 눈 위치 정보에 기초하여 상기 컬러 플러스 깊이 이미지를 렌더링하게 하는 복수의 명령어를 포함하는
    하나 이상의 유형의 비일시적 머신 판독 가능 매체.
  44. 제33항에 있어서,
    적어도 하나의 프로세서 상에서 실행되는 것에 응답하여 상기 적어도 하나의 프로세서로 하여금 상기 눈 위치 정보를 사용하여 최적의 눈 상자 크기를 계산하고, 눈 상자의 중심을 눈 위치와 정렬하도록 표시된 이미지를 오프셋시키게 하는 복수의 명령어를 포함하는
    하나 이상의 유형의 비일시적 머신 판독 가능 매체.
  45. 제33항에 있어서,
    적어도 하나의 프로세서 상에서 실행되는 것에 응답하여 상기 적어도 하나의 프로세서로 하여금 상기 렌더링된 컬러 플러스 깊이 이미지 또는 캡처링된 컬러 플러스 깊이 이미지를 하나 이상의 후처리 기술을 사용하여 디스플레이 이미지로 변환하게 하는 복수의 명령어를 포함하는
    하나 이상의 유형의 비일시적 머신 판독 가능 매체.
  46. 제45항에 있어서,
    상기 하나 이상의 후처리 기술은 스크린 공간 광선 추적을 포함하는
    하나 이상의 유형의 비일시적 머신 판독 가능 매체.
  47. 제33항에 있어서,
    적어도 하나의 프로세서 상에서 실행되는 것에 응답하여 상기 적어도 하나의 프로세서로 하여금 상기 디스플레이 이미지를 상기 디스플레이에 제공하게 하는 복수의 명령어를 포함하는
    하나 이상의 유형의 비일시적 머신 판독 가능 매체.
  48. 제33항에 있어서,
    적어도 하나의 프로세서 상에서 실행되는 것에 응답하여 상기 적어도 하나의 프로세서로 하여금 상기 추적된 눈 위치 정보에 기초하여 인간 인식 가능 화면 재생률보다 높은 화면 재생률로 좌안과 우안 사이에서 교대하는 광을 조종하게 하는 복수의 명령어를 포함하는
    하나 이상의 유형의 비일시적 머신 판독 가능 매체.
  49. 삼차원 디스플레이 장치로서,
    디스플레이와,
    마이크로 렌즈 어레이와,
    복수의 눈을 추적하는 수단과,
    상기 추적에 대응하는 눈 위치 정보를 제공하는 수단과,
    컬러 플러스 깊이 이미지 또는 광 필드 이미지를 렌더링 또는 캡처링하는 수단과,
    상기 눈 위치 정보를 사용하여 상기 렌더링되거나 캡처링된 컬러 플러스 깊이 이미지 또는 광 필드 이미지를 상기 디스플레이에 제공될 디스플레이 이미지로 변환하는 수단을 포함하는
    삼차원 디스플레이 장치.

  50. 제49항에 있어서,
    상기 눈 위치 정보에 기초하여 광 필드 이미지를 렌더링하는 수단과,
    렌더링되거나 캡처링된 컬러, 광 필드 또는 멀티 뷰 이미지를 상기 디스플레이에 필요한 광 필드 이미지로 합성하는 수단을 포함하는
    삼차원 디스플레이 장치.
  51. 제49항에 있어서,
    상기 눈 위치 정보에 기초하여 백라이트를 조종하는 수단을 포함하는
    삼차원 디스플레이 장치.
  52. 제49항에 있어서,
    상기 디스플레이는 인치당 250 픽셀보다 높은 픽셀 밀도를 갖는 고 픽셀 밀도 디스플레이인
    삼차원 디스플레이 장치.
  53. 제49항에 있어서,
    상기 마이크로 렌즈 어레이는 F 값이 8보다 큰 긴 초점 거리 마이크로 렌즈 어레이인
    삼차원 디스플레이 장치.
  54. 제49항에 있어서,
    하나 이상의 동공을 추적하는 수단을 포함하되, 상기 눈 위치 정보는 동공 위치 정보인
    삼차원 디스플레이 장치.
  55. 제49항에 있어서,
    하나 이상의 눈을 삼차원으로 추적하는 수단을 포함하되, 상기 눈 위치 정보는 삼차원 눈 위치 정보인
    삼차원 디스플레이 장치.
  56. 제49항에 있어서,
    상기 렌더링하는 수단은 그래픽을 렌더링하는 수단을 포함하는
    삼차원 디스플레이 장치.
  57. 제49항에 있어서,
    상기 렌더링되거나 캡처링된 컬러 플러스 깊이 이미지 또는 광 필드 이미지를 상기 디스플레이에 제공될 입체 적분 이미지로 변환하는 수단을 포함하는
    삼차원 디스플레이 장치.
  58. 제49항에 있어서,
    상기 눈들 중 하나 이상의 눈의 상기 추적된 위치에 따라 각각의 컬러 플러스 깊이 이미지 또는 광 필드 이미지를 렌더링하는 수단을 포함하는
    삼차원 디스플레이 장치.
  59. 제49항에 있어서,
    상기 눈 위치 정보에 기초하여 상기 컬러 플러스 깊이 이미지 또는 광 필드 이미지를 렌더링하는 수단을 포함하는
    삼차원 디스플레이 장치.
  60. 제49항에 있어서,
    상기 눈 위치 정보를 사용하여 최적의 눈 상자 크기를 계산하고, 눈 상자의 중심을 사람의 눈 위치와 정렬하도록 표시된 이미지를 오프셋시키는 수단을 포함하는
    삼차원 디스플레이 장치.
  61. 제49항에 있어서,
    상기 렌더링되거나 캡처링된 컬러 플러스 깊이 이미지 또는 광 필드 이미지를 하나 이상의 후처리 기술을 사용하여 디스플레이 이미지로 변환하는 수단을 포함하는
    삼차원 디스플레이 장치.
  62. 제61항에 있어서,
    상기 하나 이상의 후처리 기술은 스크린 공간 광선 추적을 포함하는
    삼차원 디스플레이 장치.
  63. 제49항에 있어서,
    상기 디스플레이 이미지를 상기 디스플레이에 제공하는 수단을 포함하는
    삼차원 디스플레이 장치.
  64. 제49항에 있어서,
    상기 추적된 눈 위치 정보에 기초하여 인간 인식 가능 화면 재생률보다 높은 화면 재생률로 좌안과 우안 사이에서 교대하는 광을 조종하는 디스플레이 백라이트 수단을 포함하는
    삼차원 디스플레이 장치.
  65. 실행될 때 머신으로 하여금 제 1 항 내지 제 64 항 중 어느 한 항의 방법을 수행하거나 장치를 실현하게 하는 코드를 포함하는
    머신 판독 가능 매체.
  66. 제 17 항 내지 제 32 항 중 어느 한 항의 방법을 수행하는 수단을 포함하는
    장치.
  67. 실행될 때 제 1 항 내지 제 64 항 중 어느 한 항의 방법을 구현하거나 장치를 실현하는 머신 판독 가능 명령어를 포함하는
    머신 판독 가능 저장소.
  68. 삼차원 디스플레이 시스템으로서,
    프로세서와,
    제 1 항 내지 제 16 항 및 제 49 항 내지 제 64 항 중 어느 한 항의 디스플레이 장치를 포함하는
    삼차원 디스플레이 시스템.
KR1020180112089A 2017-10-19 2018-09-19 눈 위치를 사용하는 삼차원 무안경 광 필드 디스플레이 KR20190043999A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220151182A KR20220155970A (ko) 2017-10-19 2022-11-14 눈 위치를 사용하는 삼차원 무안경 광 필드 디스플레이

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/787,947 US20190124313A1 (en) 2017-10-19 2017-10-19 Three dimensional glasses free light field display using eye location
US15/787,947 2017-10-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220151182A Division KR20220155970A (ko) 2017-10-19 2022-11-14 눈 위치를 사용하는 삼차원 무안경 광 필드 디스플레이

Publications (1)

Publication Number Publication Date
KR20190043999A true KR20190043999A (ko) 2019-04-29

Family

ID=65996409

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020180112089A KR20190043999A (ko) 2017-10-19 2018-09-19 눈 위치를 사용하는 삼차원 무안경 광 필드 디스플레이
KR1020220151182A KR20220155970A (ko) 2017-10-19 2022-11-14 눈 위치를 사용하는 삼차원 무안경 광 필드 디스플레이

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220151182A KR20220155970A (ko) 2017-10-19 2022-11-14 눈 위치를 사용하는 삼차원 무안경 광 필드 디스플레이

Country Status (4)

Country Link
US (4) US20190124313A1 (ko)
KR (2) KR20190043999A (ko)
CN (2) CN115951504A (ko)
DE (1) DE102018123048A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101880751B1 (ko) * 2017-03-21 2018-07-20 주식회사 모픽 무안경 입체영상시청을 위해 사용자 단말과 렌티큘러 렌즈 간 정렬 오차를 줄이기 위한 방법 및 이를 수행하는 사용자 단말
US20190124313A1 (en) 2017-10-19 2019-04-25 Intel Corporation Three dimensional glasses free light field display using eye location
US11435583B1 (en) * 2018-01-17 2022-09-06 Apple Inc. Electronic device with back-to-back displays
US11036048B2 (en) * 2018-10-03 2021-06-15 Project Whitecard Digital Inc. Virtual reality system and method for displaying on a real-world display a viewable portion of a source file projected on an inverse spherical virtual screen
EP3786767B1 (en) * 2019-07-29 2023-11-08 HTC Corporation Eye tracking method, head-mounted display, and computer readable storage medium
US11430175B2 (en) 2019-08-30 2022-08-30 Shopify Inc. Virtual object areas using light fields
US11029755B2 (en) 2019-08-30 2021-06-08 Shopify Inc. Using prediction information with light fields
CN113132715B (zh) * 2019-12-31 2023-08-04 Oppo广东移动通信有限公司 一种图像处理方法、装置、电子设备及其存储介质
CN111427166B (zh) * 2020-03-31 2022-07-05 京东方科技集团股份有限公司 一种光场显示方法及系统、存储介质和显示面板
US11763779B1 (en) * 2020-04-23 2023-09-19 Apple Inc. Head-mounted display systems with alignment monitoring
CN112526763B (zh) * 2020-11-20 2022-09-27 亿信科技发展有限公司 一种光场3d显示装置及其驱动方法
CN113516748A (zh) * 2021-07-30 2021-10-19 中山大学 一种集成成像光场显示的实时渲染方法及装置
CN114327346B (zh) * 2021-12-27 2023-09-29 北京百度网讯科技有限公司 显示方法、显示装置、电子设备以及存储介质
CN114755842B (zh) * 2022-04-06 2024-04-02 南方科技大学 一种基于重构光场的裸眼3d显示装置及方法
CN115022616B (zh) * 2022-08-08 2022-12-02 太原理工大学 一种基于人眼跟踪的图像聚焦增强显示装置和显示方法

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6343862B1 (en) 1998-11-20 2002-02-05 Minolta Co., Ltd. Projecting image display device
GB0410551D0 (en) * 2004-05-12 2004-06-16 Ller Christian M 3d autostereoscopic display
US8662081B2 (en) 2005-02-15 2014-03-04 Yale University Intrauterine device
CA2596300C (en) 2005-02-15 2011-11-22 Yale University Intrauterine fallopian tube occlusion device and method for use
US8181653B2 (en) 2005-02-15 2012-05-22 Yale University Intrauterine fallopian tube occlusion device
ATE539202T1 (de) 2008-01-15 2012-01-15 Johnson & Son Inc S C Spülkastenmontierter toilettenspender
US8680754B2 (en) 2008-01-15 2014-03-25 Philip Premysler Omnidirectional LED light bulb
KR20100118113A (ko) 2008-01-15 2010-11-04 타가셉트 인코포레이티드 ７－(３-피리디닐)－１，７－디아자스피로［４．４］노난의제조 및 거울상이성질체 분리 및 라세미 화합물과 거울상이성질체의 신규한 염 형태
US8072448B2 (en) 2008-01-15 2011-12-06 Google Inc. Three-dimensional annotations for street view data
US8685477B2 (en) 2008-01-17 2014-04-01 Enodis Corporation Method for blending a beverage in a single serving cup
US20090186761A1 (en) 2008-01-18 2009-07-23 Cleareso, Llc Use of bio-derived surfactants for mitigating damage to plants from pests
WO2009091563A1 (en) 2008-01-18 2009-07-23 Thomson Licensing Depth-image-based rendering
US7589900B1 (en) * 2008-03-11 2009-09-15 Microvision, Inc. Eyebox shaping through virtual vignetting
TWI420413B (zh) 2010-07-15 2013-12-21 Chunghwa Picture Tubes Ltd 深度圖強化方法及其電腦可讀媒體
US8520883B2 (en) 2010-07-21 2013-08-27 Dennis A. Tracy Articulating speaker assembly providing for pivotal adjustment of connected first and second midrange members
US8526662B2 (en) 2010-08-05 2013-09-03 Dennis A. Tracy Articulating speaker assembly providing for pivotal adjustment of connected first and second members
US9180039B2 (en) 2010-08-16 2015-11-10 Yale University Intrauterine device
EP2472880A1 (en) 2010-12-28 2012-07-04 ST-Ericsson SA Method and device for generating an image view for 3D display
JP2013064996A (ja) * 2011-08-26 2013-04-11 Nikon Corp 三次元画像表示装置
US9191661B2 (en) * 2011-08-29 2015-11-17 Microsoft Technology Licensing, Llc Virtual image display device
KR20140057594A (ko) 2011-09-08 2014-05-13 인텔 코오퍼레이션 상호작용 스크린 보기
KR101953686B1 (ko) 2011-11-30 2019-05-23 삼성전자주식회사 부화소를 렌더링하는 영상 처리 장치 및 방법
US8638498B2 (en) 2012-01-04 2014-01-28 David D. Bohn Eyebox adjustment for interpupillary distance
US9116337B1 (en) 2012-03-21 2015-08-25 Google Inc. Increasing effective eyebox size of an HMD
JP6224068B2 (ja) 2012-03-27 2017-11-01 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 複数の観視者用の３ｄディスプレイ
CN102842301B (zh) 2012-08-21 2015-05-20 京东方科技集团股份有限公司 显示画面调节装置、显示装置及显示方法
KR101944911B1 (ko) * 2012-10-31 2019-02-07 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
CN103813148A (zh) 2012-11-13 2014-05-21 联咏科技股份有限公司 三维立体显示装置及其方法
US9182817B2 (en) 2013-03-12 2015-11-10 Intel Corporation Techniques for automated evaluation of 3D visual content
US10061134B2 (en) * 2013-09-03 2018-08-28 Koninklijke Philips N.V. Multi-view display device
CN105580051B (zh) 2013-10-30 2019-05-14 英特尔公司 图像捕捉反馈
KR102303389B1 (ko) 2013-12-23 2021-09-16 유니버시티 오브 델라웨어 3-d 라이트 필드 카메라 및 사진술 방법
US9483020B2 (en) 2014-03-13 2016-11-01 Robert Krause Methodology for a practical flat panel format holographic display utilizing the narrow hologram and holodot concepts
US9761155B2 (en) 2014-07-29 2017-09-12 Futurewei Technologies, Inc. Skin touch temperature test apparatus and method
US10529059B2 (en) 2014-08-11 2020-01-07 The Regents Of The University Of California Vision correcting display with aberration compensation using inverse blurring and a light field display
US20160091966A1 (en) * 2014-09-26 2016-03-31 Superd Co., Ltd. Stereoscopic tracking status indicating method and display apparatus
CN104539924A (zh) 2014-12-03 2015-04-22 深圳市亿思达科技集团有限公司 基于人眼追踪的全息显示方法及全息显示装置
US10247941B2 (en) * 2015-01-19 2019-04-02 Magna Electronics Inc. Vehicle vision system with light field monitor
KR102415502B1 (ko) * 2015-08-07 2022-07-01 삼성전자주식회사 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
US10341633B2 (en) 2015-11-20 2019-07-02 Qualcomm Incorporated Systems and methods for correcting erroneous depth information
US10169846B2 (en) * 2016-03-31 2019-01-01 Sony Interactive Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
US10410571B2 (en) 2016-08-03 2019-09-10 Semiconductor Energy Laboratory Co., Ltd. Display device and electronic device
US10623723B2 (en) 2016-09-29 2020-04-14 Intel Corporation Hybrid stereo rendering for depth extension in dynamic light field displays
DE102016224162A1 (de) * 2016-12-05 2018-06-07 Continental Automotive Gmbh Head-Up-Display
US20190124313A1 (en) 2017-10-19 2019-04-25 Intel Corporation Three dimensional glasses free light field display using eye location

Also Published As

Publication number Publication date
US10939085B2 (en) 2021-03-02
CN115951504A (zh) 2023-04-11
US20200204781A1 (en) 2020-06-25
DE102018123048A1 (de) 2019-04-25
US11438566B2 (en) 2022-09-06
KR20220155970A (ko) 2022-11-24
US20210152804A1 (en) 2021-05-20
US20190124313A1 (en) 2019-04-25
US20230019187A1 (en) 2023-01-19
CN109683335A (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
KR20190043999A (ko) 눈 위치를 사용하는 삼차원 무안경 광 필드 디스플레이
EP1757109B1 (en) 3d display method and apparatus
US6556236B1 (en) Intelligent method and system for producing and displaying stereoscopically-multiplexed images of three-dimensional objects for use in realistic stereoscopic viewing thereof in interactive virtual reality display environments
Balram et al. Light‐field imaging and display systems
Balogh et al. Holovizio 3D display system
US20050264858A1 (en) Multi-plane horizontal perspective display
KR20160134714A (ko) 가변 초점 및/또는 객체 인식 기능을 가진 웨어러블 3d 증강 현실 디스플레이
WO2017055894A1 (en) Multi-planar volumetric real time three-dimensional display and method of operation
US20180299683A1 (en) Image presenting apparatus, optical transmission type head-mounted display, and image presenting method
US20060250390A1 (en) Horizontal perspective display
JP6712557B2 (ja) ステレオ立体視装置
KR101721103B1 (ko) 입체영상표시장치 및 그 구동방법
US20200201044A1 (en) Periodic lenses systems for augmented reality
CN115236871A (zh) 基于人眼跟踪和双向背光的桌面式光场显示系统及方法
Zhang et al. An interactive multiview 3D display system
CN113671721B (zh) 一种显示装置和系统以及方法
Dorado et al. Toward 3D integral-imaging broadcast with increased viewing angle and parallax
Park et al. Augmented reality lightfield display for a smart window using an active pinhole array
Lee et al. Eye tracking based glasses-free 3D display by dynamic light field rendering
KR101736924B1 (ko) 입체영상표시장치 및 그 구동방법
Hua Advances in Head‐Mounted Light‐Field Displays for Virtual and Augmented Reality
Ebner et al. Off-Axis Layered Displays: Hybrid Direct-View/Near-Eye Mixed Reality with Focus Cues
CN112970247A (zh) 显示多重景深影像的系统与方法
JP2014106330A (ja) ３次元表示装置及び３次元表示方法
Wetzstein et al. Factored displays: improving resolution, dynamic range, color reproduction, and light field characteristics with advanced signal processing

Legal Events

Date Code Title Description
A201 Request for examination
A107 Divisional application of patent
E902 Notification of reason for refusal