KR20190126428A - 조향 가능한 중심와 디스플레이 - Google Patents

조향 가능한 중심와 디스플레이 Download PDF

Info

Publication number
KR20190126428A
KR20190126428A KR1020197031073A KR20197031073A KR20190126428A KR 20190126428 A KR20190126428 A KR 20190126428A KR 1020197031073 A KR1020197031073 A KR 1020197031073A KR 20197031073 A KR20197031073 A KR 20197031073A KR 20190126428 A KR20190126428 A KR 20190126428A
Authority
KR
South Korea
Prior art keywords
display
center
field
image
eye
Prior art date
Application number
KR1020197031073A
Other languages
English (en)
Other versions
KR102578929B1 (ko
Inventor
아론 매튜 이쉬
앤드류 존 그로스
에드워드 치아 닝 탕
스콧 디. 드왈드
조셉 로저 바텔
케빈 윌리엄 킹
3세 워렌 코넬리우스 웰치
Original Assignee
아브간트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아브간트 코포레이션 filed Critical 아브간트 코포레이션
Publication of KR20190126428A publication Critical patent/KR20190126428A/ko
Application granted granted Critical
Publication of KR102578929B1 publication Critical patent/KR102578929B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G06K9/00335—
    • G06K9/00597—
    • G06K9/00671—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

적어도 1°의 단안 시야를 갖는 중심와 디스플레이를 포함하는 디스플레이 시스템은, 적어도 20°의 스캔 가능한 시야 내에서 위치 결정되고, 중심와 디스플레이는 사용자에 대해 위치 결정된다. 일 실시형태에서, 중심와 디스플레이는 사용자의 중심와에 대해 위치 결정된다.

Description

조향 가능한 중심와 디스플레이
본 출원은 2017년 3월 27일자로 출원된 미국 가출원 제62/477,404호, 및 2017년 10월 20일자로 출원된 미국 가출원 제62/575,354호에 대한 우선권을 주장하며, 두 기초 출원 모두를 전체적으로 원용한다.
근안 디스플레이(near-eye display)는, 큰 시야(field of view: FOV)에 걸쳐 고해상도에서 이미지를 디스플레이하는 경쟁 요건을 갖는다. 가상 및 증강 현실의 많은 애플리케이션에서, 시야는 90°보다 더 커야 하며, 이상적으로 쌍안 시야(binocular field of view)는 180° 이상으로 연장될 것이다. 동시에, 디스플레이의 해상도는, 가상 이미지에서 픽셀화가 거의 또는 전혀 인식되지 않도록 인간 시각 시스템의 해상도와 매칭되어야 한다. 단일의 시스템에서 이들 두 요건을 조합하는 것은 다수의 도전 과제를 제시한다. 픽셀화의 출현을 방지하기 위해, 해상도는 픽셀당 대략 0.01 내지 0.02도일 필요가 있다. 90° 이상의 정사각형 시야에서, 이것은 눈(eye)당 4.5k×4.5k 픽셀 또는 그 이상에 대응한다. 그러한 해상도를 달성하는 것은, 패널, 구동 전자장치, 및 렌더링 파이프라인의 레벨에서 어려운 문제이다.
추가적으로, 전체 시야에 걸쳐 충분히 높은 해상도로 넓은 FOV 이미지를 사용자에게 투영할 수 있는 광학 시스템도 또한 설계하기 어렵다. 렌더링, 데이터 레이트, 및 패널 요건을 동시에 감소시키면서 넓은 시야에 걸쳐 고해상도 이미지를 사용자에게 제공할 수 있는 시스템 아키텍처는 증강 및 가상 현실 시스템에 대한 새로운 애플리케이션을 가능하게 할 것이다.
본 발명은, 같은 참조 번호가 유사한 요소를 나타내는 첨부하는 도면에서 제한이 아닌 예로서 예시되며, 첨부하는 도면에서:
도 1a는 중심와(fovea)를 도시하는 눈을 예시한다.
도 1b는 눈의 시각 범위(vision range)를 예시한다.
도 1c는 중심와 중심(fovea center)으로부터의 거리와 시력(visual acuity) 사이의 관계를 예시한다.
도 1d는 예시적인 수직 시야를 예시한다.
도 1e는 예시적인 수평 시야를 예시한다.
도 1f는 제1 예시적인 시선 벡터(gaze vector)를 갖는 눈을 예시한다.
도 1g는 도 1f에서 도시되는 제1 예시적인 시선 벡터에 대한 조향 가능한 중심와 디스플레이의 포지션(position)을 예시한다.
도 1h는 제2 예시적인 시선 벡터를 갖는 눈을 예시한다.
도 1i는 도 1h에서 도시되는 제2 예시적인 시선 벡터에 대한 조향 가능한 중심와 디스플레이의 포지션을 예시한다.
도 1j는 각각의 눈에 대한 중심와 디스플레이 및 필드 디스플레이(field display)를 도시하는 쌍안 디스플레이(binocular display)의 일 실시형태를 예시한다.
도 1k는 각각의 눈에 대한 중심와 디스플레이 및 공유된 필드 디스플레이를 도시하는 쌍안 디스플레이의 일 실시형태를 예시한다.
도 2는 시스템의 일 실시형태의 블록도이다.
도 3은 이동 가능한 중심와 디스플레이에서 시간 경과에 따른 고해상도 영역의 이동의 일 실시형태의 예시이다.
도 4a 및 도 4b는 디스플레이를 활용하는 일 실시형태의 플로우차트이다.
도 5a는 하이브리드 디스플레이(hybrid display)의 일 실시형태의 예시이다.
도 5b는 롤오프 배율(roll-off magnification)을 사용하는 디스플레이의 일 실시형태의 예시이다.
도 6은 하이브리드 디스플레이의 일 실시형태의 예시이다.
도 7은 하이브리드 디스플레이의 일 실시형태의 예시이다.
도 8은 하이브리드 디스플레이의 일 실시형태의 예시이다.
도 9는 하이브리드 디스플레이의 일 실시형태의 예시이다.
도 10은 하이브리드 디스플레이의 일 실시형태의 예시이다.
도 11은 하이브리드 디스플레이의 일 실시형태의 예시이다.
도 12는 시간 다중화(time multiplexing)를 사용하는 하이브리드 디스플레이의 일 실시형태의 예시이다.
도 13a 및 도 13b는 시간 다중화를 사용하는 하이브리드 디스플레이의 일 실시형태의 예시이다.
도 14A 및 도 14B는 상기의 시스템에서 사용될 수도 있는 도파관(waveguide)을 사용하는 중심와 디스플레이의 일 실시형태의 예시이다.
도 15A 및 도 15B는 상기의 시스템에서 사용될 수도 있는 도파관을 사용하는 필드 디스플레이의 일 실시형태의 예시이다.
도 16a는 하이브리드 디스플레이 시스템의 다른 실시형태의 예시이다.
도 16b는 하이브리드 디스플레이 시스템의 다른 실시형태의 예시이다.
도 17은 외부 디스플레이와 함께 중심와 디스플레이를 사용하는 일 실시형태의 플로우차트이다.
도 18은 관련된 더 큰 디스플레이 없이 중심와 디스플레이를 사용하는 일 실시형태의 플로우차트이다.
도 19는 중심와 디스플레이의 에지를 블렌딩하는(blending) 일 실시형태의 플로우차트이다.
도 20은 눈 움직임 분류(eye movement classification)를 사용하는 일 실시형태의 플로우차트이다.
도 21은 눈 움직임의 예시적인 타입의 테이블이다.
도 22는 스마트 위치 결정(smart positioning)의 일 실시형태의 플로우차트이다.
도 23은 본 발명과 함께 사용될 수도 있는 컴퓨터 시스템의 일 실시형태의 블록도이다.
본 출원은 중심와 디스플레이로 지칭되는 조향 가능한 중심와 디스플레이를 개시한다. 일 실시형태에서, 중심와 디스플레이는 사용자의 중심와가 위치되는 곳에 고해상도 영역을 제공하도록 위치 결정된다(positioned). "중심와"는, 시력이 가장 높은 눈의 망막에서의 작은 오목부이다. 도 1a는 망막과 중심와를 도시하면서 눈을 예시한다. 시야의 중심은, 망막 원추체(retinal cone)가 특히 집중되는 이 영역에서 집속된다. 중심와의 중심은 가장 높은 해상도를 갖는 망막의 영역이지만, 그러나 대략 2도의 시야를 갖는다. 최고 해상도 중심와 영역으로부터 최저 해상도 먼 주변 영역까지의 범위에 이르는 시력의 영역이 도 1b에서 예시되어 있다. 눈의 해상도는 중심와의 중심으로부터 20°보다 더 멀리 떨어지면 거의 10의 1승배만큼 감소한다. 도 1c는 중심와의 중심으로부터의 거리(편심)에 기초하여 시력에서의 감소(스넬렌 분율(Snellen fraction))를 예시한다.
일 실시형태에서, 시스템은, 사용자의 눈의 시야의 중심 또는 다른 계산된 포지션과 정렬되도록 지향되는 조향 가능한 중심와 디스플레이를 제공하는 것에 의해 이것의 이점을 이용한다. 일 실시형태에서, 필드 디스플레이는 더 큰 시야에 걸쳐 더 낮은 해상도 필드 디스플레이 이미지를 제공한다. 이것은, 사용자가 그들의 주변 시각(peripheral vision)에서, 뿐만 아니라, 그들의 시선의 방향에서 이미지를 인식한다는 것을 의미한다. 일 실시형태에서, 시스템은, 주로 사용자의 눈의 시야의 중심을 향해 지향되는 고해상도 이미지를 중심와 디스플레이를 사용하여 제공하고, 제2 필드 디스플레이를 활용하여 큰 시야에 걸친 필드 디스플레이 이미지를 제공한다. 이것은, 사용자가 그들의 주변 시각에서, 뿐만 아니라, 그들의 시선의 방향에서 이미지를 인식한다는 것을 의미한다. 일 실시형태에서, 시스템은, 양안(binocular) 및 주변 영역을 채우도록 작은 시야에 걸쳐 고해상도 이미지를 그리고 큰 필드에 걸쳐 더 낮은 해상도 이미지를 제시하기 위해 눈마다 높은 픽셀 밀도 디스플레이를 사용한다. 일 실시형태에서, 중심와 디스플레이의 해상도는 픽셀당 0.2 아크-분(arc-minute)과 픽셀당 3 아크-분 사이에 있다. 일 실시형태에서, 필드 디스플레이의 해상도는 픽셀당 1 아크-분과 픽셀당 20 아크-분 사이에 있다. 일 실시형태에서, 필드 디스플레이 및 중심와 디스플레이는 단일의 가변 픽셀 디스플레이에서 조합될 수도 있다. 일 실시형태에서, 작은 시야에 걸쳐 각각의 눈의 중심와 영역에 고해상도 이미지를 그리고 큰 필드에 걸쳐 더 낮은 해상도 이미지를 제공하여 양안 및 주변 영역장치를 채우기 위해, 시스템은 각각의 눈에 대해 가변 픽셀 밀도 디스플레이를 사용한다. 일 실시형태에서, 가변 픽셀 밀도 디스플레이는 가변 밀도에서 주소 지정되는 표준 디스플레이일 수도 있다.
그러한 시스템은, 동일하게 높게 인식되는 해상도의 전통적인 근안 디스플레이의 픽셀의 수 또는 처리의 양의 일부만을 요구하면서, 넓은 시야를 갖는 고해상도 이미지의 인식을 생성한다. 일 실시형태에서, 그러한 시스템은 또한, 렌더링되는 픽셀의 수를 감소시키는 것에 의해 렌더링 시스템의 전력 소비를 상당히 감소시킨다.
일 실시형태에서, 시스템은 두 개보다 더 많은 디스플레이를 포함할 수도 있다. 일 실시형태에서, 각각의 눈에 대한 중심와 영역, 양안 중첩의 영역, 및 주변 영역을 커버하는 세 가지 레벨의 해상도가 있을 수도 있다. 일 실시형태에서, 다수의 디스플레이 및 해상도에 대한 비디오 이미지는 함께 집성될 수도 있다. 다른 실시형태에서, 다수의 디스플레이 및 해상도에 대한 비디오 이미지는 분리될 수도 있다.
도 1d는, 55° 초점 영역, 또는 안락 구역(comfort zone)뿐만 아니라, 주변 영역을 도시하는 예시적인 수직 시야를 예시한다. 심볼 인식 영역은 수직으로 대략 30°이다.
도 1e는, 60° 초점 영역, 및 30° 심볼 인식 구역, 뿐만 아니라 주변 시각 영역, 및 135°의 전체 쌍안 범위를 도시하는 예시적인 수평 시야를 예시한다. 그것을 넘어, (우안 및 좌안에 대한) 단안(monocular) 범위, 및 사용자가 눈을 움직이는 경우에만 보이는 일시적 범위가 있다.
일 실시형태에서, 조향 가능한 중심와 디스플레이는 수직 및 수평 30° 심볼 인식 영역 내에 위치 결정된다. 다른 실시형태에서, 조향 가능한 중심와 디스플레이는 55° 수직 및 60° 수평 초점 영역/안락 구역 내에 위치 결정된다.
도 1f 및 도 1g는 한쪽 눈에 대한 중심와 디스플레이의 시야를 예시한다. 일 실시형태에서, 중심와 디스플레이(110)는 시선 벡터(105)를 중심에 두도록 위치 결정된다. 시선 벡터는 눈의 시야의 중심을 정의한다.
일 실시형태에서, 중심와 디스플레이(110)의 시야는 1°에 걸친 최소 시야 및 20°에 걸친 최대 시야의 단안 시야이다. 일 실시형태에서 필드 디스플레이(120)의 시야는 40°에 걸친 단안 시야 및 최대 전체 단안 범위(full monocular range)를 제공한다. 시야의 전체 단안 범위는 통상적으로 코를 향해 60°, 코에서 멀어지게 107도, 수평에서 위로 70°, 수평에서 아래로 80°인 것으로 간주된다.
일 실시형태에서, 필드 디스플레이(120)는 중심와 디스플레이(110)의 범위 외부에 이미지 데이터를 제공할 수도 있다. 도 1f는, 눈, 및 시선 벡터(105)를 중심에 두는 중심와 디스플레이(110)의 시야를 도시하는 상면도를 제공한다. 도 1g는 중심와 디스플레이(110)의 시야의 예시적인 포지션을 도시하는 정면도를 제공한다. 일 실시형태에서, 중심와 디스플레이(110)는 20°와 160° 사이의 총 스캔 가능한 시야(160)를 가지며, 그 내에 위치 결정될 수 있다. 상기에서 언급되는 바와 같이, 중심와 디스플레이(110)는 적어도 1°의 단안 시야를 갖는다. 일 실시형태에서, 중심와 디스플레이 중심와(110)는 10°의 단안 시야를 가지며, 중심와 디스플레이에 대한 총 스캔 가능한 시야(160)는 60°이다. 이것은, 정확한 위치(location)에서 중심와 디스플레이(110)의 위치 결정(positioning)을 가능하게 한다.
도 1h 및 도 1i는, 사용자가 위를 그리고 좌측으로 바라 봄에 따라, 상이한 위치에 위치 결정되는 중심와 디스플레이(110)의 시야를 도시한다. 이 구성에서 볼 수 있는 바와 같이, 중심와 디스플레이(110)의 시야는 이동되고, 중심와 디스플레이(110)의 시야 위 및 아래의 필드 디스플레이의 시야의 부분은 균일하지 않다. 도 1i는 정면으로부터의 디스플레이의 시야의 예시적인 위치 결정을 도시한다.
필드 디스플레이와 조합하여 중심와 디스플레이를 포함하는 시스템을 사용하는 것은, 종래의 근안 디스플레이의 픽셀의 수 및 처리량의 일부만을 요구하면서, 넓은 시야를 갖는 고해상도 이미지의 인식을 생성한다. 일 실시형태에서, 그러한 시스템은 또한, 렌더링되는 픽셀의 수를 감소시키는 것에 의해 렌더링 시스템의 전력 소비를 상당히 감소시킨다.
일 실시형태에서, 시스템은, 눈마다 두 개보다 더 많은 디스플레이를 포함할 수도 있다. 일 실시형태에서, 각각의 눈에 대한 중심와 영역, 양안 중첩의 영역, 및 주변 영역을 커버하는 세 가지 레벨의 해상도가 있을 수도 있다. 다른 실시형태에서, 시스템은 조향 가능한 중심와 디스플레이만을 포함하고, 필드 디스플레이는 외부 시스템에 의해 제공될 수도 있다. 다른 실시형태에서, 시스템은 관련된 필드 디스플레이 없이 조향 가능한 중심와 디스플레이로만 구성될 수도 있다.
도 1j는, 우안 중심와 디스플레이(110A)의 시야, 및 좌안 중심와 디스플레이(110B)에 대한 시야를 포함하는 쌍안 디스플레이의 일 실시형태를 예시한다. 우안(150A) 및 좌안(150B)의 각각에 대해, 더 큰 시야(120A 및 120B)를 각각 갖는 필드 디스플레이가 또한 존재한다. 일 실시형태에서, 필드 디스플레이 시야(120A, 120B)는 적어도 초점 영역을 통해 연장된다.
도 1k는, 우안 중심와 디스플레이(110A)의 시야, 및 좌안 중심와 디스플레이(110B)에 대한 시야를 포함하는 쌍안 디스플레이의 일 실시형태를 예시한다. 그러나, 이 구성에서, 필드 디스플레이(170)는 사용자의 시야를 걸쳐 연장되는 단일의 디스플레이이다. 일 실시형태에서, 중심와 디스플레이 및 필드 디스플레이는 고글과 같은 웨어러블 디스플레이에 통합되는 디스플레이일 수도 있다. 다른 실시형태에서, 중심와 디스플레이는 웨어러블 디바이스의 일부일 수도 있고, 한편, 필드 디스플레이는 프로젝터 또는 스크린과 같은 별개의 디스플레이이다.
도 2는 예시적인 광학 시스템(210, 280) 및 관련된 처리 시스템(238)의 일 실시형태를 예시한다. 일 실시형태에서, 처리 시스템은 프로세서를 포함하는 컴퓨터 시스템에서 구현될 수도 있다. 일 실시형태에서, 처리 시스템(238)은 디스플레이 시스템의 일부일 수도 있다. 다른 실시형태에서, 처리 시스템(238)은 원격일 수도 있다. 일 실시형태에서, 광학 시스템(210, 280)은 헤드 마운트형 디스플레이와 같은 웨어러블 시스템에서 구현될 수도 있다. 중심와 이미지는, 중심와 디스플레이를 지향시키는 우안 중심와 디스플레이(220) 및 좌안 중심와 디스플레이(230)를 통해 사용자의 눈에 제시된다. 일 실시형태에서, 중심와 디스플레이(220, 230)는 중심와 디스플레이 이미지를 주로 사용자의 눈의 시야의 중심을 향해 지향시킨다. 다른 실시형태에서, 이미지는, 하기에 설명되는 바와 같이, 상이한 위치로 지향될 수도 있다.
우안에 대한 중심와 이미지는 제1 디스플레이 소자(222)를 사용하여 생성된다. 일 실시형태에서, 디스플레이 소자는 디지털 마이크로미러 디바이스(digital micromirror device: DMD)이다. 일 실시형태에서, 디스플레이 소자(222)는 스캐닝 마이크로미러 디바이스이다. 일 실시형태에서, 디스플레이 소자(222)는 스캐닝 파이버 디바이스(scanning fiber device)이다. 일 실시형태에서, 디스플레이 소자는 유기 발광 다이오드(organic light-emitting diode: OLED)이다. 일 실시형태에서, 디스플레이 소자(222)는 액정 온 실리콘(liquid crystal on silicon: LCOS) 패널이다. 일 실시형태에서, 디스플레이 소자(222)는 액정 디스플레이(liquid crystal display: LCD) 패널이다. 일 실시형태에서, 디스플레이 소자(222)는 마이크로 LED 또는 마이크로 발광 다이오드(micro light emitting diode: μLED) 패널이다. 일 실시형태에서, 디스플레이 소자는 스캔식 레이저 시스템(scanned laser system)이다. 일 실시형태에서, 시스템은 축외(off axis) 홀로그래픽 광학 소자(holographic optical element: HOE)를 갖는 하이브리드 시스템이다. 일 실시형태에서, 시스템은 도파관을 포함한다. 일 실시형태에서, 도파관은 다층 도파관이다. 일 실시형태에서, 디스플레이 소자는 그러한 소자의 조합을 포함할 수도 있다. 하기의 도 5 내지 도 16은 디스플레이 소자를 더 자세하게 논의한다.
일 실시형태에서, 제1 디스플레이 소자(222)는 안경 또는 고글과 같은 근안 디바이스에 위치된다.
중심와 디스플레이에 대한 초점 및 시야는 중간 광학 소자(intermediate optical element)(224)를 사용하여 설정된다. 중간 광학 소자(224)는, 렌즈, 미러 및 회절 광학 소자를 포함할 수도 있지만, 그러나 이들로 제한되는 것은 아니다. 일 실시형태에서, 가상 이미지의 초점은 무한대로 설정된다. 다른 실시형태에서, 가상 이미지의 초점은 무한대보다 더 가깝게 설정된다. 일 실시형태에서, 가상 이미지의 초점은 변경될 수 있다. 일 실시형태에서, 가상 이미지는 동시에 인식되는 두 개 이상의 초점 거리를 가질 수 있다.
일 실시형태에서, 중심와 디스플레이 이미지는 주로 사용자의 눈의 시야의 중심을 향해 지향된다. 일 실시형태에서, 중심와 디스플레이 이미지의 시야(FOV)는 1 도보다 더 크다. 일 실시형태에서, 중심와 디스플레이 이미지의 FOV는 1 도와 20° 사이에 있다. 일 실시형태에서, 중심와 디스플레이 이미지는, 눈 추적에서의 부정확성을 해결하기 위해 5°보다 더 클 수도 있고, 사용자가 블렌딩(blending)을 인식할 수 없도록 성공적으로 블렌딩하는 데 필요한 영역을 제공할 수도 있고, 다양한 타입의 눈 움직임에 대해 중심와 디스플레이를 위치 재결정하는(reposition) 데 걸리는 시간을 고려할 수도 있다.
일 실시형태에서, 시스템은, 20 내지 220°의 시야를 갖는 더 낮은 해상도 필드 디스플레이 이미지를 더 포함한다.
일 실시형태에서, 중심와 디스플레이 이미지는, 하나 이상의 완전히 또는 부분적으로 투명한 위치 결정 소자(226)의 세트를 사용하여 사용자의 눈 상으로 직접적으로 투영된다. 일 실시형태에서, 위치 결정 소자(226)는 조향 가능한 미러를 포함한다. 일 실시형태에서, 위치 결정 소자(226)는 만곡된 미러(curved mirror)를 포함한다. 일 실시형태에서, 위치 결정 소자(226)는 프레넬 반사기(Fresnel reflector)를 포함한다. 일 실시형태에서, 위치 결정 소자(226)는 회절 소자를 포함한다. 일 실시형태에서, 회절 소자는 표면 요철 격자(surface relief grating)이다. 일 실시형태에서, 회절 소자는 볼륨 홀로그램(volume hologram)이다. 일 실시형태에서, 디스플레이(220)는, 디스플레이가 동일한 프레임에서 복수의 초점 거리에서 이미지 소자를 나타내는 것을 가능하게 하는 초점 조정기(focal adjustor)(223)를 포함할 수도 있다. 일 실시형태에서, 초점 조정기(223)는, 2016년 8월 12일자로 출원된 미국 특허 출원 제15/236,101호에 설명되는 바와 같이, 광학 경로 길이 연장기(optical path length extender)일 수도 있다.
좌안 중심와 디스플레이(230)에 대해 소자의 유사한 세트가 존재한다. 일 실시형태에서, 우안 중심와 디스플레이(220) 및 좌안 중심와 디스플레이(230)는 매칭된다. 다른 실시형태에서, 그들은 상이한 소자를 포함할 수도 있다.
일 실시형태에서, 눈 추적기(240)는 사용자의 시선 벡터, 예를 들면, 눈이 보고 있는 곳을 추적한다. 일 실시형태에서, 눈 추적 시스템은 카메라 기반의 눈 추적 시스템(240)이다. 일 실시형태에서, 눈 추적 시스템(240)은 수신 센서를 갖는 적외선 스캐닝 레이저이다. 다른 눈 추적 메커니즘이 사용될 수도 있다. 중심와 포지션 계산기(245)는 눈 추적 시스템(240)으로부터의 데이터에 기초하여 사용자 시야의 중심을 결정한다.
일 실시형태에서, 조정 가능한 위치 결정 소자(226, 236)는, 주로 사용자의 눈의 시야의 중심을 향해 지향되도록 중심와 이미지를 위치 결정하도록 중심와 디스플레이(220, 230)를 조정하기 위해 사용된다. 일 실시형태에서, 이미지의 방향은 포지션 소자(226, 236) 중 하나인 미러의 각도를 변경하는 것에 의해 조정된다. 일 실시형태에서, 미러의 각도는 전자기력을 사용하는 것에 의해 변경된다. 일 실시형태에서, 미러의 각도는 정전기력을 사용하는 것에 의해 변경된다. 일 실시형태에서, 미러의 각도는 압전력(piezoelectric force)을 사용하는 것에 의해 변경된다. 일 실시형태에서, 조정 가능한 소자는, 이미지를 위치 결정하기 위해 이동되는 이미지 소스, 또는 디스플레이 소자(222, 232)이다. 일 실시형태에서, 중심와 이미지는 사용자의 눈의 시야의 중심으로 지향되도록 위치 결정된다. 다른 실시형태에서, 조향 소자(226, 236)와 같은 다른 포지션 소자(226, 236)가 변경될 수도 있다.
필드 디스플레이(280)는 통신 로직(270, 290)을 통해 처리 시스템(238)과 통신한다. 일 실시형태에서, 다수의 디스플레이가 존재할 수도 있다. 여기서, 두 개의 필드 디스플레이인 필드 디스플레이(285) 및 주변 디스플레이(288)를 나타낸다. 추가 레벨의 해상도가 또한 나타내어질 수도 있다. 일 실시형태에서, 필드 디스플레이(280)는, 사용자의 양쪽 눈에 의해 보이는 단일의 필드 디스플레이(285), 또는 눈마다 하나의 필드 디스플레이를 포함할 수도 있다. 일 실시형태에서, 필드 디스플레이(280)는 가변 해상도를 가질 수도 있다.
일 실시형태에서, 필드 디스플레이(280)가 별개의 시스템인 경우, 독립 중심와 디스플레이(210)의 디스플레이를 필드 디스플레이(280)의 디스플레이와 동기화하기 위해, 동기 신호 생성기(292)가 사용된다. 일 실시형태에서, 동기 신호 생성기(292)는, 조정 가능한 미러, 또는 중심와 디스플레이의 다른 위치 결정 소자를 필드 디스플레이와 동기화하기 위해 사용된다. 이것은 디스플레이의 동기화로 나타난다. 일 실시형태에서, 필드 디스플레이(280)는, 전이가 매끄러운 것을 보장하도록 중심와 디스플레이 이미지의 에지를 필드 디스플레이 이미지와 블렌딩하는 블렌더 시스템(blender system)(294)을 포함한다.
일 실시형태에서, 더 낮은 해상도 필드 디스플레이 이미지는, 완전히 또는 부분적으로 투명한 광학 시스템을 사용하여 사용자에게 제시된다. 일 실시형태에서, 이 부분적으로 투명한 시스템은 도파관 광학 시스템을 포함한다. 일 실시형태에서, 이 부분적으로 투명한 시스템은 편평할 수도 있거나 또는 굴절력(optical power)을 가질 수 있는 부분 미러를 포함한다. 일 실시형태에서, 이 부분적으로 투명한 시스템은 회절 광학 소자를 포함한다. 일 실시형태에서, 이 이미지는 직시 광학 시스템(direct view optical system)을 통해 사용자에게 제시된다. 일 실시형태에서, 이 부분적으로 투명한 시스템은 광을 반사시키거나 또는 산란시키기 위한 개재물(inclusion)을 포함한다.
필드 디스플레이(280)의 일 실시형태에서, 모노비전 주변 뷰(monovision peripheral view)(288)의 영역에서 이미지를 디스플레이하기 위해 추가적인 디스플레이 서브시스템이 사용된다. 일 실시형태에서, 이 서브시스템은 LED 어레이이다. 일 실시형태에서, 이 서브시스템은 OLED 어레이이다. 일 실시형태에서, 이 디스플레이 서브시스템은 스캔식 레이저를 사용한다. 일 실시형태에서, 이 서브시스템은 LCD 패널을 사용한다. 일 실시형태에서, 이 서브시스템은 이미지의 FOV 또는 초점을 조작하기 위한 어떠한 중간 광학 소자도 갖지 않는다. 일 실시형태에서, 이 서브시스템은 중간 광학 소자를 갖는다. 일 실시형태에서, 이들 중간 광학 소자는 마이크로렌즈 어레이를 포함한다.
조향 가능한 중심와 디스플레이(210) 및 필드 디스플레이(280)에 의해 디스플레이되는 이미지 데이터는 처리 시스템(238)에 의해 생성된다. 일 실시형태에서, 시스템은 눈 추적기(240)를 포함한다. 일 실시형태에서, 눈 추적기(240)는 사용자의 시선 벡터, 예를 들면, 눈이 보고 있는 곳을 추적한다. 일 실시형태에서, 눈 추적 시스템은 카메라 기반의 눈 추적 시스템(240)이다. 대안적으로, 눈 추적 시스템(240)은 적외선 레이저 기반일 수도 있다. 중심와 포지션 계산기(245)는 눈 추적 시스템(240)으로부터의 데이터에 기초하여 사용자 시야의 중심을 결정한다.
일 실시형태에서 처리 시스템(238)은, 디스플레이(220, 230)가 적절하게 위치 결정되는 것을 보장하기 위해, 포지션 소자(226, 236)의 위치 결정을 검증하는 중심와 포지션 검증기(foveal position validator)(247)를 더 포함한다. 일 실시형태에서, 이것은, 중심와 디스플레이의 이동에 비추어, 사용자의 눈의 시야의 중심에 대한 중심와 디스플레이 위치를 재평가하는 것을 포함한다. 일 실시형태에서, 중심와 포지션 검증기(247)는, 감지 메커니즘을 사용하여, 위치 결정 소자가 자신의 목표 위치에 도달했는지를 검증하기 위한 피드백을 제공한다. 일 실시형태에서, 감지 메커니즘은 카메라일 수도 있다. 일 실시형태에서, 감지 메커니즘은 기어링(gearing)일 수도 있다. 감지 메커니즘은, 광학 소자의 포지션을 결정할 수 있는 다른 타입의 센서일 수도 있다. 일 실시형태에서, 중심와 디스플레이의 실제 포지션이 목표 포지션이 아닌 경우, 중심와 포지션 검증기(247)는 정확한 이미지 데이터를 제공하도록 디스플레이를 변경할 수도 있다. 이것은 아래에서 더 상세하게 설명된다.
일 실시형태에서, 사용자의 시선 벡터가 이동할 곳을 예측하기 위해, 눈 움직임 분류기(eye movement classifier)(260)가 사용될 수 있다. 이 데이터는, 사용자의 시선 벡터의 다음 포지션에 기초하여 중심와 디스플레이(220, 230)를 이동시키기 위해 예측 위치 결정기(positioner)(265)에 의해 사용될 수도 있다. 일 실시형태에서, 스마트 위치 결정기(267)는 디스플레이(220, 230)를 예측적으로 위치 결정하기 위해 눈 추적 및 눈 움직임 분류와 같은 사용자 데이터를 활용할 수도 있다. 일 실시형태에서, 스마트 위치 결정기(267)는, 디스플레이(220, 230)에 대한 최적의 위치 결정을 식별하기 위해 디스플레이될 프레임에서 예정된 데이터(upcoming data)에 관한 데이터를 추가적으로 사용할 수도 있다. 일 실시형태에서, 스마트 위치 결정기(267)는 시선 벡터에 의해 나타내어지지 않는 포지션에서 디스플레이(220, 230)를 위치 결정할 수도 있다. 예를 들면, 디스플레이된 프레임 데이터는 소량의 관련 데이터만을 갖는 경우(예를 들면, 다른 어두운 스크린 상에서 조명되는 나비), 프레임의 의도가 뷰어로 하여금 특정한 포지션을 보게 하는 것인 경우.
처리 시스템(238)은 컷아웃 로직(cut-out logic)(250)을 더 포함할 수도 있다. 컷아웃 로직(250)은 중심와 디스플레이(220, 230)의 위치를 정의하고 컷아웃을 갖는 디스플레이 정보를 관련 필드 디스플레이(280)에 제공한다. 필드 디스플레이(280)는 이 데이터를 렌더링하여 필드 디스플레이에서 이미지의 대응하는 부분의 컷아웃을 포함하는 더 낮은 해상도 필드 디스플레이 이미지를 생성한다. 이것은, 중심와 이미지와 필드 이미지 사이에 간섭이 없는 것을 보장한다. 일 실시형태에서, 컷아웃이 있을 때, 블렌더 로직(255)은 전이가 매끄러운 것을 보장하도록 컷아웃의 에지를 중심와 이미지와 블렌딩한다. 다른 실시형태에서, 중심와 디스플레이는, 더 낮은 해상도 필드 이미지 위에 오버레이되는 더 밝은 소자인 스프라이트를 디스플레이하기 위해 사용될 수도 있다. 그러한 경우에, 컷아웃 로직(250)도 또한 블렌더 로직(255)도 필요하지 않다. 일 실시형태에서, 컷아웃 로직(250) 및 블렌더 로직(255)은 필요에 따라 선택적으로 활성화될 수도 있다.
일 실시형태에서, 시스템은 중심와 디스플레이(210)를 독립 필드 디스플레이(280)와 동기화할 수도 있다. 이 경우, 일 실시형태에서, 동기화 로직(272)은 디스플레이를 동기화한다. 일 실시형태에서, 독립 필드 디스플레이(280)는 조정 가능한 미러, 또는 중심와 디스플레이(210)의 다른 위치 결정 소자와 동기화된다. 이것은 디스플레이의 동기화로 나타난다. 필드 디스플레이(280)는 위치 결정 데이터를 수신할 수도 있다. 일 실시형태에서, 이 경우 컷아웃이 없을 수도 있다.
일 실시형태에서, 처리 시스템(238)은 이미지의 중심으로부터 에지 쪽으로 증가하는 왜곡을 갖는 중심와 디스플레이(210)에 대한 광학 왜곡 시스템(275)을 포함할 수도 있다. 이러한 의도적인 왜곡은, 픽셀로 하여금, 중심와 이미지의 중심으로부터 에지 쪽으로 이동하면서 인식된 사이즈가 증가하게 할 것이다. 중심와 디스플레이 이미지의 동일한 각도 영역을 커버하는 데 더 적은 픽셀이 필요로 될 것이기 때문에, 인식된 해상도에서의 이러한 변화는 필요한 처리의 양을 감소시킬 것이다.
도 5b는, 광학 축으로부터의 각도가 증가함에 따라, 더 낮은 해상도를 갖는 왜곡된 이미지의 예를 도시한다. 광학 왜곡은, 중심와 디스플레이(210)와 필드 디스플레이(280) 사이의 블렌딩을 도울 수도 있다. 다른 실시형태에서, 광학 왜곡 시스템(275)을 포함하는 중심와 디스플레이(210)는 필드 디스플레이 없이 사용될 수 있을 것이다. 그것은 또한 더 쉬운 광학 설계를 제공하고, 블렌딩에 대한 처리를 절약한다.
일 실시형태에서, 가변 해상도의 고도로 왜곡된 이미지는, 중심과 에지 사이에서 큰 비율을 갖는다. 이 디스플레이의 총 FOV는 클 것이다(최대 180°).
일 실시형태에서, 롤오프 로직(roll-off logic)(277)은 디스플레이의 에지에서 롤오프를 제공한다. 일 실시형태에서 롤오프는 해상도 롤오프(디스플레이 영역의 에지를 향해 감소하는 해상도)를 포함할 수도 있다. 일 실시형태에서, 이것은 광학 왜곡 시스템(275)에 의한 확대를 통해 구현될 수도 있다. 롤오프는, 일 실시형태에서, 밝기 및/또는 콘트라스트 롤오프(에지를 향해 감소하는 밝기 및/또는 콘트라스트)를 포함한다. 그러한 롤오프는 디스플레이의 에지의 급격성(abruptness)을 감소시키도록 설계된다. 일 실시형태에서, 롤오프는 "없음(nothing)"으로 롤오프되도록 설계될 수도 있다, 즉, 전체 밝기/콘트라스트로부터 그레이 또는 블랙 또는 환경 컬러로 점차적으로 감소될 수도 있다. 일 실시형태에서, 롤오프 로직(277)은 관련된 필드 디스플레이가 없는 경우, 중심와 디스플레이(210)에 의해 사용될 수도 있다. 일 실시형태에서, 롤오프 로직(297)은, 시스템에 필드 디스플레이가 존재하는 경우, 필드 디스플레이(280)의 일부일 수도 있다.
도 3은, 사용자의 눈이 움직일 때, 시간 경과에 따른 중심와 이미지의 이동의 일 실시형태를 예시한다. 어느 시간의 경우에서도, 중심와 이미지가 디스플레이되는 작은 구역이 존재한다. (이 예에서) 고해상도의 5° 디스플레이 위치는 사용자의 시야의 중심에 초점이 맞춰진다. 저해상도 필드 이미지는 큰 시야를 제공한다. 그러나, 중심와 영역 외부의 눈의 상대 해상도가 더 낮기 때문에, 사용자는, 작은 고해상도 중심와 이미지 및 더 큰 저해상도 필드 이미지를 포함하는 이러한 조합 이미지를 큰 시야에 걸쳐 고해상도로 인식한다.
도 4a는 중심와 디스플레이를 활용하는 일 실시형태의 플로우차트이다. 프로세스는 블록 410에서 시작한다. 일 실시형태에서, 이 프로세스의 시작 이전에, 디스플레이 시스템은 사용자에게 적합화된다. 이 초기 셋업은, 사용자에 대한 "기준선" 디스플레이가 정확하다는 것을 보장하기 위해, 필요로 되는 눈동자간 거리(Interpupillary Distance: IPD) 및 임의의 도수(prescription)를 결정하는 것을 포함한다.
블록 415에서, 사용자의 눈이 추적된다. 일 실시형태에서, 눈을 추적하기 위해 IR 카메라가 사용된다. 일 실시형태에서, 눈 추적은 사용자의 시선 벡터, 예를 들면, 사용자가 초점을 맞추게 되는 곳을 식별한다. 눈 추적은 좌안 및 우안 시선 벡터/각도, 및 (L/R 눈 시선 벡터로부터 유도되는) 시선 중심을 식별할 수도 있다. 눈 추적은, 기준선 기준 프레임에 대한 좌안 및 우안의 위치(X, Y, Z) 및 방위(롤, 피치, 요)를 결정할 수도 있다. 일 실시형태에서, 기준선 기준 프레임은, 디스플레이가 사용자에게 초기에 적합되고 사용자의 눈동자간 거리, 디옵터, 및 다른 관련 데이터가 확립될 때, 확립된다.
블록 420에서, 중심와의 위치는 시선 벡터 데이터에 기초하여 결정된다. 일 실시형태에서, 중심와 위치는 각각의 눈에 대한 좌표(X, Y, Z) 및 방위(롤, 피치, 요)를 포함한다.
블록 425에서, 프로세스는 중심와 디스플레이가 위치 재결정되어야 하는지의 여부를 결정한다. 이것은 중심와 디스플레이의 현재 포지션을 사용자의 시선 벡터 또는 중심와 이미지의 의도된 포지션과 비교하는 것에 기초한다. 그들이 오정렬되는 경우, 시스템은 중심와 디스플레이가 위치 재결정되어야 한다는 것을 결정한다. 만약 그렇다면, 블록 430에서, 디스플레이는 위치 재결정된다. 일 실시형태에서, 중심와 디스플레이가 특정한 거리보다 더 많이 이동되면, 디스플레이는 이동 동안 턴오프된다. 이것은, 사용자가 이동을 인식하지 못하는 것을 보장한다. 일 실시형태에서, 특정한 거리는 0.5°보다 더 크다. 일 실시형태에서, 사용자가 깜박이는 동안 이동이 발생하면 중심와 디스플레이는 턴오프되지 않는다. 비록 용어 "위치 재결정하는(repositioning)"이 사용되지만, 이것은 일반적으로 접안렌즈(eye piece)의 물리적 움직임이 있다는 것을 의미하지는 않는다는 것을 유의한다. 일 실시형태에서, 디스플레이를 위치 결정하는 미러 또는 다른 광학 소자는 중심와 이미지의 중심 위치 결정을 변경하기 위해 사용된다. 그 다음, 프로세스는, 디스플레이가 위치 재결정되었든 또는 그렇지 않든 간에, 블록 435으로 계속된다.
블록 435에서, 옵션 사항으로(optionally), 시스템은 중심와 디스플레이와 동일한 위치에서 위치 결정될 필드 디스플레이의 부분을 컷아웃시킨다. 이것은 필드 디스플레이가 중심와 디스플레이와 간섭하는 것을 방지한다. 일 실시형태에서, 컷아웃은 렌더링 엔진에서 수행된다. 다른 실시형태에서, 중심와 이미지는, 컷아웃이 더욱 명확해질 필요가 없는 스프라이트 또는 다른 밝은 이미지 소자일 수도 있다. 그 경우, 이 블록을 스킵될 수도 있다. 일 실시형태에서, 사용자의 시선이 기준선 기준으로부터 실질적으로 이동했다는 것을 사용자 눈 추적이 나타내는 경우 컷아웃은 스킵된다. 기준선 기준은 사용자의 디폴트 시선 포지션인데, 그로부터 시선의 움직임이 추적된다. 기준선 기준으로부터의 실질적 움직임은, 시스템이 사용자의 정확한 시선 포지션을 결정할 수 없다는 것을 의미한다. 이 경우, 일 실시형태에서, 중심와 이미지는 드롭될 수도 있거나, 또는 중심와 디스플레이가 일시적으로 턴오프될 수도 있다.
블록 440에서, 일 실시형태에서, 중심와 이미지와 필드 이미지 사이의 에지는 블렌딩된다. 이것은, 필드 이미지와 중심와 이미지 사이의 평활하고 인식 불가능한 전이를 보장한다. 블록 445에서, 중심와 디스플레이 및 필드 디스플레이를 통합하는 하이브리드 이미지가 사용자에게 디스플레이된다. 그 다음 프로세스는 블록 410으로 복귀하여 추적 및 디스플레이를 계속한다. 설명이 중심와 이미지 및 필드 이미지에 대해 설명하지만, 고려되는 이미지는 비디오의 순차적 이미지를 포함한다는 것을 유의한다.
도 4b는, 중심와 디스플레이의 실제 위치가 의도된 위치와 매칭되지 않는다는 것을 디스플레이 포지션 검증(display position validation)이 나타내는 경우 취해질 수도 있는 정정 조치의 일 실시형태를 예시한다. 프로세스는 블록 450에서 시작한다.
블록 452에서, 중심와 디스플레이 위치 결정이 개시된다. 일 실시형태에서, 이것은 도 4a의 블록 430에 대응한다. 도 4b로 돌아가서, 블록 454에서, 중심와 디스플레이의 실제 포지션이 검증된다. 일 실시형태에서, 중심와 디스플레이의 위치 및 방위를 결정하기 위해 하나 이상의 센서가 사용된다. 일 실시형태에서, 센서는 카메라, 조정 가능한 미러의 포지션을 검출하는 기계적 소자 또는 다른 위치 결정 소자 등을 포함할 수도 있다.
블록 456에서, 프로세스는 중심와 디스플레이가 정확하게 위치 결정되는지의 여부를 결정한다. 정확한 위치 결정은, 사용자에 대한 적절한 위치에 중심와 이미지를 디스플레이하기 위해, 계산된 위치에서 중심와 디스플레이를 갖는다. 중심와 디스플레이가 정확하게 위치 결정되면, 블록 464에서 이미지가 디스플레이된다. 일 실시형태에서, 이것은, 계산된 위치에서의 중심와 이미지 및 관련된 필드 디스플레이 이미지를 포함하는 하이브리드 이미지를 디스플레이하는 것을 포함한다. 그 다음, 프로세스는 블록 475에서 종료된다.
블록 456에서, 프로세스는, 중심와 디스플레이가 정확하게 위치 결정되지 않았다는 것을 결정하면, 프로세스는 블록 458로 계속된다.
블록 458에서, 프로세스는 중심와 디스플레이가 위치 재결정되기에 충분한 시간이 있는지의 여부를 결정한다. 이 결정은, 이동될 필요가 있는 거리, 이동의 속도, 및 다음 이미지가 처리 시스템에 의해 전송될 때까지의 시간에 기초한다. 일 실시형태에서, 그것은 또한 사용자의 눈 움직임에 의존한다. 일 실시형태에서, 시스템은, 어떠한 이미지도 인식되지 않을 때, 사용자가 깜박거리는 동안 중심와 디스플레이를 우선적으로 이동시킨다. 일 실시형태에서, 위치 재결정하는 것은, 디스플레이의 블랭킹 기간 내(blanking period)에 발생한다. 예를 들면, 하나의 좌표를 따른 단지 1°의 움직임이 중심와 디스플레이를 실질적으로 그리고 3차원적으로 이동시키는 것보다 더 적은 시간이 걸린다. 충분한 시간이 있다면, 프로세스는 블록 452로 복귀하여 중심와 디스플레이를 위치 재결정한다. 그렇지 않으면, 프로세스는 블록 460으로 계속된다.
블록 460에서, 프로세스는 중심와 디스플레이의 실제 포지션이 의도된 포지션의 범위 이내에 있는지의 여부를 결정한다. 일 실시형태에서, 이러한 맥락에서 "범위 이내(within range)"는, 시스템이 차이에 대해 디스플레이를 조정할 수 있다는 것을 의미한다. 그것이 범위 이내에 있으면, 프로세스는 블록 462로 계속된다.
블록 462에서, 중심와 이미지는 실제 포지션에서 렌더링을 위해 조정되고, 이미지는 블록 464에서 디스플레이된다. 예를 들면, 일 실시형태에서, 포지션 차이가 매우 작으면 원래의 계산된 중심와 이미지가 잘못된 위치에서 시각적 아티팩트(visual artifact)를 야기하지 않으면서 렌더링될 수도 있다. 다른 실시형태에서, 중심와 이미지는 실제 위치에서 적절하게 렌더링되도록 조정될 수도 있다. 예를 들면, 중심와 이미지는, 위치 차이를 고려하기 위해, 크롭될 수도 있고, 브라이트닝될 수도 있고, 왜곡될 수도 있고, 콘트라스트 조정될 수도 있고, 색도 좌표(백색점) 조정될 수도 있고, 크롭될 수도 있고, 측방향으로 시프트될 수도 있다. 일 실시형태에서, 에지 블렌딩의 반경방향 위치는 시프트될 수도 있거나 또는 변경될 수도 있다. 일 실시형태에서, 시스템은 과도하게 렌더링할 수도 있는데, 예를 들면, 5° 중심와 디스플레이를 위해 5.5°의 시각 이미지를 렌더링할 수도 있어서, 재렌더링을 필요로 하지 않으면서 0.5°의 시프트를 가능하게 한다.
중심와 디스플레이가 범위 이내에 있지 않으면, 블록 466에서, 일 실시형태에서, 프레임 데이터는 렌더링을 위해 필드 디스플레이로 전송된다. 블록 468에서, 일 실시형태에서, 중심와 이미지는 디스플레이되지 않는다. 일 실시형태에서, 프레임은 드롭된다. 다른 실시형태에서, 중심와 디스플레이는 일시적으로 턴오프된다. 일 실시형태에서, 사용자의 시선이 기준선 기준 밖으로 너무 멀리 이동했다는 것을 사용자 눈 추적이 나타내는 경우, 중심와 디스플레이는 범위 이내에 있는 것으로 간주되지 않는다.
블록 470에서, 필드 디스플레이 이미지는, 이미지 컷아웃 없이 그리고 중심와 이미지의 디스플레이 또는 렌더링 없이, 렌더링된다. 블록 472에서, 필드 디스플레이 이미지가 디스플레이된다. 그 다음, 프로세스는 종료된다.
도 5a는, 중심와 디스플레이 서브시스템(510) 및 필드 디스플레이 서브시스템(550)을 포함하는 디스플레이의 일 실시형태를 예시한다. 중심와 디스플레이 서브시스템(510)은, 일 실시형태에서, 디스플레이 패널(515) 또는 다른 이미지 소스, 및 중간 광학기기(intermediate optic)(520)를 포함한다. 중간 광학기기(520)의 출력은 조정 가능한 미러(525) 또는 위치 결정을 제공하는 다른 소자로 지향된다. 조정 가능한 미러(525)는 이미지를 부분 미러(530) 및 만곡된 부분 미러(curved partial mirror)(535)로 지향시키는데, 이들은 이미지를 사용자의 눈(590)을 향해 지향시킨다. 일 실시형태에서, 조정 가능한 미러(525)는, 각도를 조정하기 위해 프리즘의 하나의 표면이 이동되는 튜닝 가능한 프리즘(tunable prism), 예컨대 OPTOTUNE™으로부터의 튜닝 가능 프리즘 TP-12-16에 의해 대체될 수도 있다. 일 실시형태에서, 조정 가능한 미러(525)는 음향 광학 변조기(acousto-optical modulator) 및 미러에 의해 대체될 수도 있다. 일 실시형태에서, 이들 소자의 각각은 유사한 소자로 대체될 수도 있는데, 이것은 고해상도 디스플레이의 선택적인 이동이 사용자의 눈(590)의 시야 중심과 정렬되는 것을 가능하게 한다. 일 실시형태에서 필드 디스플레이 서브시스템(550)은 투영 서브시스템(555) 및 광 가이드(560)를 포함한다. 대안적인 실시형태는 필드 디스플레이 서브시스템(550)에 대한 상이한 투영 방법을 활용할 수도 있다.
도 5b는, 중심와 이미지를 필드 이미지와 블렌딩하기 위해 사용될 수도 있는 롤오프의 일 실시형태를 예시한다. 일 실시형태에서, 시스템 해상도 롤오프는, 중심와 영역 외부에서 더 낮은 해상도 데이터를 나타내기 위해 디스플레이의 에지를 확대하는 것을 포함한다. 이것은 또한 시야를 증가시킨다. 확대는, 하드웨어, 소프트웨어, 또는 조합을 사용하여 다양한 방식으로 제공될 수도 있다. 도 16b는, 해상도가 롤오프될 때, 픽셀 밀도의 분포를 나타내는 예시적인 디스플레이(580)를 예시한다. 중심에서 볼 수 있는 바와 같이, 픽셀은 균일한 사이즈이다(중심 다각형(585)에 의해 예시됨). 디스플레이 영역의 에지를 향해 픽셀 사이즈는 더 커지고, 왜곡된다. 이것은 좌측 다각형(595)에서 볼 수 있다. 픽셀 에지 사이의 거리가 수평 및 수직 둘 모두에서 증가하기 때문에, 일 실시형태에서, 중앙 영역으로부터 수평 및 수직에서 제거되는 픽셀은, 하부 다각형(1680)에서 볼 수 있는 바와 같이, 더욱 왜곡되고, 더 크다. 도 5b는 상대적으로 작은 디스플레이를 예시하며 및 중심 다각형(585)과 코너 다각형(595) 사이의 비율은 1보다 더 큰 것에서부터 10 이하까지의 범위에 이를 수도 있다는 것을 유의한다.
도 6은 중심와 서브시스템(610) 및 필드 디스플레이 서브시스템(650)을 포함하는 디스플레이의 다른 실시형태를 예시한다. 그들 두 개의 서브시스템 외에, 도 6의 실시형태는 주변 시각 디스플레이(670)를 포함한다. 일 실시형태에서의 주변 시각 디스플레이는 OLED 디스플레이이다.
도 7은 중심와 디스플레이 서브시스템(710) 및 필드 디스플레이 서브시스템(750)을 포함하는 디스플레이의 다른 실시형태를 예시한다. 이 실시형태에서 필드 디스플레이 서브시스템은 마이크로렌즈 어레이(760)를 갖는 OLED이다.
도 8은 중심와 디스플레이 서브시스템(810) 및 옵션 사항인 필드 디스플레이 서브시스템(850)을 포함하는 디스플레이의 다른 실시형태를 예시한다. 이 실시형태에서, 중심와 디스플레이 서브시스템(810)은, 사용자에 의해 착용되는 안경 또는 고글로 구현될 수도 있다. 일 실시형태에서 옵션 사항인 필드 디스플레이 서브시스템(850)은 TV 모니터(860)와 같은 디스플레이 스크린일 수도 있다. 필드 디스플레이 서브시스템(850)은 안경 또는 고글에 옵션 사항으로 부착될 수도 있는 모듈형 소자일 수도 있다. 일 실시형태에서, 시스템은 중심와 디스플레이 서브시스템(810)을 통해서만 고해상도 이미지를 제공할 수도 있다. 사용자가 이용 가능한 옵션 사항인 필드 디스플레이 서브시스템(850)을 갖는 경우, 렌더링 시스템(도시되지 않음)은 중심와 디스플레이 서브시스템(810)과 통신할 수 있고 필드 디스플레이 서브시스템(850)은 더 넓은 시야를 제공한다. 일 실시형태에서, 이 구성에서, 중심와 디스플레이 서브시스템은 최대 20°의 시야를 제공할 수도 있다.
도 9는 중심와 디스플레이 서브시스템(910) 및 필드 디스플레이 서브시스템(950)을 포함하는 디스플레이의 다른 실시형태를 예시한다. 이 실시형태에서, 중심와 디스플레이 서브시스템(910)은 OLED 마이크로 디스플레이와 같은 디스플레이 패널로서 작용하는 프로젝터(920)와 결합되는 40 내지 55°의 FoV를 갖는 광 가이드(930)를 포함한다. 일 실시형태에서, 디스플레이 패널(920)은, 전체 40 내지 55° 이미지를 전송하는 대신, 사용자의 시야의 중심와 영역을 커버하는 영역과 관련되는 작은 이미지만을 전송한다. 스팟 외부의 도파관(930)의 나머지는 투명할 것이다. 중심와 영역 외부에서, 이것은 OLED 디스플레이(960)와 같은 더 낮은 해상도 필드 디스플레이(950)로 채워질 수 있을 것이다.
도 10은 중심와 디스플레이 서브시스템(1010) 및 필드 디스플레이 서브시스템(1050)을 포함하는 디스플레이의 다른 실시형태를 예시한다. 이 실시형태에서, 중심와 디스플레이 서브시스템(1010)은 디스플레이 패널(1015), 중간 광학기기(1020), 광을 축외 홀로그램 광학 소자(HOE)(1030)로 지향시키는 조정 가능한 미러(1025)를 포함한다. HOE(1030)는 디스플레이(1015)로부터의 광을 사용자의 눈으로 안내한다. 조정 가능한 미러(1025)는 중심와 디스플레이 서브시스템(1010)이 정확하게 위치 결정되는 것을 가능하게 하기 위한 이동을 제공한다. 일 실시형태에서, 필드 디스플레이 서브시스템(1050)은 투영 서브시스템(1055) 및 광 가이드(1060)를 포함한다.
도 11은 중심와 디스플레이 서브시스템(1110) 및 필드 디스플레이 서브시스템(1150)을 포함하는 디스플레이의 다른 실시형태를 예시한다. 이 실시형태에서, 중심와 디스플레이 서브시스템(1110)은 디스플레이 패널(1115), 중간 광학기기(1120), 광을 내장된 부분 미러(1130)를 갖는 프리즘으로 지향시키는 조정 가능한 미러(1125)를 포함한다. 프리즘(1130) 내의 내장된 부분 미러로부터의 광은 만곡된 부분 미러(1140)에 의해 사용자의 눈으로 반사된다. 조정 가능한 미러(1125)은 중심와 디스플레이 서브시스템(1110)이 정확하게 위치 결정되는 것을 가능하게 하기 위한 이동을 제공한다. 일 실시형태에서, 필드 디스플레이 서브시스템(1150)은 투영 서브시스템(1155) 및 광 가이드(1160)를 포함한다.
도 12는, 공간적으로 다중화된 고해상도 디스플레이 및 저해상도 디스플레이를 제공하는 디스플레이의 다른 실시형태를 예시한다. 도 12의 실시형태에서, 광은 단일의 디스플레이 패널(1210)에 의해 제공된다. 단일의 디스플레이 패널(1210)은 두 개의 별개의 이미지인 중심와 디스플레이 부분 및 필드 디스플레이 부분을 디스플레이한다. 중심와 디스플레이 부분은 중심와 디스플레이 중간 광학기기(1220), 조정 가능한 미러(1230), 및 부분 미러(1240) 및 만곡된 부분 미러(1245)을 통과한다. 일 실시형태에서, 미러(1240, 1245)는 광을 재지향시키기 위해 다른 메커니즘으로 대체될 수도 있다.
단일의 디스플레이 패널(1210)로부터의 필드 디스플레이 이미지 부분은, 일 실시형태에서, 필드 디스플레이 중간 옵션(1250)으로 진행하는데, 필드 디스플레이 중간 옵션은 그것을 광 가이드(1260)로 전달한다. 이것은 단일의 디스플레이 패널(1210)이, 공간 멀티플렉싱을 활용하여, 중심와 디스플레이 및 필드 디스플레이 둘 모두에 대한 데이터를 제공하는 것을 가능하게 한다. 일 실시형태에서, 중심와 디스플레이 부분 및 필드 디스플레이 부분에 대한 디스플레이 패널(1210) 상의 이미지의 상대적 사이즈는 동일하지 않다. 일 실시형태에서, 디스플레이 사이즈는 동일하지만, 그러나, 필드 디스플레이 중간 광학기기(1250)는, 필드 디스플레이로서 활용될 수도 있는 이미지의 부분을 확대시킨다.
도 13a 및 도 13b는 중심와 이미지 및 더 낮은 해상도 필드 디스플레이 이미지를 포함하는 시간 다중화된 디스플레이의 일 실시형태를 예시한다. 시스템은, 필드 디스플레이 중간 광학기기(1355) 통해 데이터를 선택적으로 전송하는(중심와 이미지 데이터의 경우) 또는 그것을 필드 디스플레이 중간 광학기기로 반사하는 컬러 또는 편광 선택 미러(1325) 및 단일의 디스플레이 패널(1310)을 활용한다. 디스플레이 패널(1310)은 시간 다중화 방식으로, 예를 들면, 인간 인식에서 두 세트의 이미지를 생성하기에 충분한 속도로 프레임을 교대하면서, 중심와 이미지 데이터 및 더 낮은 해상도 필드 디스플레이 데이터를 디스플레이한다.
도 13a는 중심와 이미지 프레임에 대한 광 경로를 예시한다. 데이터는 중심와 디스플레이 중간 광학기기(1320)를 통해 진행하고, 그 다음, 컬러 또는 편광 감지 미러(1325)를 통과하여 지향된다. 그것은 조정 가능한 미러(1330)에 의해 반사된다. 일 실시형태에서, 부분 미러(1340) 및 만곡된 부분 미러(1345)는 이미지를 사용자의 눈으로 지향시키기 위해 사용된다. 일 실시형태에서, 추가적인 중심와 디스플레이 중간 광학기기(1320)는 컬러 또는 편광 선택 미러(1325) 뒤에 위치 결정될 수도 있다. 이미지를 지향시키기 위한 대안적인 구성이 사용될 수도 있다.
도 13b는 필드 디스플레이 이미지 데이터에 대한 광 경로를 예시한다. 단일의 패널 디스플레이(1310)로부터의 이미지 데이터는, 컬러 또는 편광 선택 미러(1325)에 의해 필드 디스플레이 중간 광학기기를 향해 반사되기 이전에, 중심와 디스플레이 중간 광학기기(1320)을 통해 이동한다. 일 실시형태에서, 광을 지향시키기 위해 하나 이상의 재지향 미러(redirecting mirror)(1350)가 사용될 수도 있다. 필드 디스플레이 중간 광학기기(1355)로부터, 광은 광 가이드(1360)를 통해 진행한다. 그 다음, 출력은 만곡된 부분 미러(1345) 및 부분 미러(1340)를 통해 사용자의 눈으로 전달된다.
중심와 이미지와 필드 디스플레이 이미지 사이에서 디스플레이를 빠르게 전환하는 것에 의해, 시스템은 두 개의 이미지를, 둘 모두 사용자에 의해 동시에 인식되도록, 시간 다중화된 방식으로 디스플레이한다.
도 14A 및 도 14B는 도파관을 사용하는 중심와 디스플레이 서브시스템의 일 실시형태를 예시한다. 중심와 디스플레이 서브시스템의 이러한 구성은, 일 실시형태에서, 상기에서 설명되는 실시형태 중 임의의 것에서 사용될 수도 있다. 일 실시형태에서, 중심와 이미지는 디스플레이 패널(1410)을 활용한다. 디스플레이 패널(1410)의 출력은 광학기기(1420)를 통과한다. 광학기기(1420)가 단일의 렌즈로서 예시되지만, 기술 분야에서 숙련된 자는 임의의 중간 광학기기 소자가 광학기기(1420)로서 포함될 수도 있다는 것을 이해할 것이다. 광학기기(1420)의 출력은 조향 소자(1430)로 전달되는데, 조향 소자는 그것을 광 가이드 인커플러(light guide in-coupler)(1440) 안으로 조향시킨다. 조향 소자(1430)는 광을 광 가이드 인커플러(1440)의 적절한 부분으로 지향시킨다. 그 다음, 이미지 데이터는 광 가이드(1450)를 통과하고, 광 가이드 아웃 커플러(1460)를 통해 사용자의 눈으로 빠져 나간다. 조향 소자(1430)는, 사용자의 눈 포지션으로 조정된 중심와 이미지를 위해 광을 정확하게 지향시킨다.
도 15A 및 도 15B는 다층 광 가이드를 사용하는 필드 디스플레이 이미지의 일 실시형태를 예시한다. 이 적층된 도파관은 필드 디스플레이를 위해 상기에서 설명되는 구성에서 사용될 수도 있다. 이 예에서, 시야의 각각의 부분마다 하나씩, 두 개의 도파관이 존재한다. 다른 실시형태에서, 네 개의 적층된 도파관이 존재할 수도 있다.
디스플레이 패널(1510)의 출력은 광학기기(1520)를 통과한다. 광학기기(1520)가 단일의 렌즈로서 예시되지만, 기술 분야에서 숙련된 자는 임의의 중간 광학기기 소자가 광학기기(1520)로서 포함될 수도 있다는 것을 이해할 것이다. 광학기기(1520)의 출력은 광 가이드 인커플러(1540, 1545)로 전달된다. 일 실시형태에서, 광학기기(1520)는 컬러 또는 편광에 기초하여 디스플레이 패널(1510)로부터 데이터를 분할하고, 그것을 광 가이드 인커플러(1540, 1545) 중 하나로 지향시킨다. 이 예에서, 상부 광 가이드(1550)는 이미지의 제1 시야 부분에 대해 사용되고, 하부 광 가이드(1555)는 이미지의 제2 시야 부분에 대해 사용된다. 중심와 라이트 가이드(1550, 1555)로부터의 출력은 라이트 가이드 아웃 커플러(1560, 1565)에 의해 사용자의 눈으로 지향된다.
도 16a는 중심와 디스플레이 서브시스템(1610) 및 필드 디스플레이 서브시스템(1640)을 포함하는 디스플레이의 다른 실시형태를 예시한다. 이 구성은 도 5와 관련하여 상기에서 설명되는 구성과 유사하지만, 그러나 조정 가능한 미러를 사용하는 대신, 사용자의 눈에 대해 중심와 디스플레이를 위치 결정하기 위해 이동 가능한 디스플레이 패널(1615)이 사용된다. 중심와 디스플레이 서브시스템의 이동 가능한 소자에 대한 이 구성은, 조정 가능한 미러를 대체하는 상기에서 설명되는 시스템에서 활용될 수도 있다.
도 16b는 중심와 디스플레이 서브시스템(1650) 및 필드 디스플레이 서브시스템(1690)을 포함하는 디스플레이의 다른 실시형태를 예시한다. 이 구성은 도 5와 관련하여 상기에서 설명되는 구성과 유사하지만, 그러나 조정 가능한 미러를 사용하는 대신, 사용자의 눈에 대해 중심와 디스플레이를 위치 결정하기 위해 튜닝 가능한 프리즘(1665)이 사용된다. 이 실시형태에서, 중심와 이미지를 위치 결정하도록 각도를 조정하기 위해 튜닝 가능한 프리즘의 하나의 표면이 이동된다. 튜닝 가능한 프리즘은 OPTOTUNE™으로부터의 튜닝 가능한 프리즘 TP-12-16일 수도 있다. 중심와 디스플레이 서브시스템의 이동 가능한 소자에 대한 이 구성은, 조정 가능한 미러를 튜닝 가능한 프리즘(1665)으로 대체하는 상기에서 설명되는 시스템에서 활용될 수도 있다. 다른 실시형태에서, 조정 가능한 미러(525)는 음향 광학 변조기 및 미러에 의해 대체될 수도 있다. 중심와 디스플레이 서브시스템의 이동 가능한 소자에 대한 이 구성은, 조정 가능한 미러를 대체하는 상기에서 설명되는 시스템에서 활용될 수도 있다.
도 5 내지 도 16a에서 도시되는 구성은 광학기기, 및 특정한 레이아웃과 함께 제시된다는 것을 유의한다. 그러나, 설계는 특정한 레이아웃을 요구하지 않으며, 시스템에서 추가적인 광학 소자가 활용될 수도 있다. 더구나, 구성 사이에 소자가 혼합 및 매칭될 수도 있다.
도 17은 외부 디스플레이와 함께 중심와 디스플레이를 사용하는 일 실시형태의 플로우차트이다. 외부 디스플레이는 중심와 디스플레이와 동일한 시스템에 의해 제어되지 않는 디스플레이이다. 예를 들면, 외부 디스플레이는, 예를 들면, 가상 현실(VR) 동굴(cave) 또는 필드 디스플레이를 제공하는 다른 환경에서의 투영된 시스템일 수도 있다. 일 실시형태에서, 사용자는 증강 현실(augmented reality: AR) 또는 가상 현실(virtual reality: VR) 헤드셋을 착용할 수도 있는데, AR 또는 VR 헤드셋은 환경과 상호 작용하여, AR/VR 헤드셋이, 다른 시스템에 의해 제공되는 필드 디스플레이 외에, 중심와 디스플레이를 제공하는 하이브리드 디스플레이를 제공한다.
프로세스는 블록 1710에서 시작한다. 블록 1715에서, 중심와 디스플레이 시스템과 외부 디스플레이 시스템 사이에 핸드셰이크가 수행된다. 일 실시형태에서, 핸드셰이크는, 시스템 둘 모두가 함께 작용하여 조합 디스플레이(combination display)를 제공할 수 있다는 것을 입증한다. 일 실시형태에서, 핸드셰이크는 중심와 디스플레이 시스템과 필드 디스플레이 시스템 사이의 연결을 셋업하는 것을 포함한다.
블록 1720에서, 외부 디스플레이 시스템으로부터 동기화 데이터가 설정된다. 중심와 시스템이 외부 시스템과 완전히 동기화되도록 설계되기 때문에, 일 실시형태에서, 이 동기화 신호는 프레임 데이터를 제공한다.
블록 1725에서, 중심와 디스플레이에 대한 위치 결정이 결정된다. 상기에서 언급되는 바와 같이, 이 결정은 사용자의 시선 벡터, 예측된 시선, 또는 디스플레이되고 있는 프레임으로부터의 데이터에 기초한 스마트 위치 결정에 기초할 수도 있다.
블록 1730에서, 프로세스는 선택된 위치에서 디스플레이되기 위해, 중심와 디스플레이가 위치 재결정되어야 하는지의 여부를 결정한다. 만약 그렇다면, 블록 1735에서, 위치 결정이 트리거된다.
블록 1750에서, 중심와 디스플레이는 오버레이되어, 외부 디스플레이를 향상시킨다. 일 실시형태에서, 외부 디스플레이가 별개이기 때문에, 그것은 컷아웃 로직을 포함하지 않는다. 다른 실시형태에서, 중심와 디스플레이 이미지가 도시되는 위치로부터 저해상도 이미지의 일부를 시스템이 렌더링하는 것을 방해하는 컷아웃 로직이 존재할 수도 있다.
블록 1760에서, 중심와 디스플레이와 필드 디스플레이 이미지 사이의 에지를 블렌딩하기 위해 블러가 적용된다. 블록 1770에서, 중심와 이미지 및 필드 이미지를 포함하는 하이브리드 이미지가 사용자에게 디스플레이된다. 이러한 방식으로, 사용자는, VR 동굴 또는 필드 디스플레이를 제외한 큰 시야를 갖는 다른 디스플레이 환경에 진입할 때 향상된 시청 품질을 가질 수 있다. 그 다음, 프로세스는 블록 1720으로 루프백하여, 비디오 또는 다른 디스플레이가 종료될 때까지, 프로세스를 계속한다.
도 18은 관련된 필드 디스플레이 없이 중심와 디스플레이를 사용하는 일 실시형태의 플로우차트이다. 이 경우, 시스템은, 상기에서 논의되는 필드 디스플레이 없이, 중심와 디스플레이만을 제공한다. 그러나, 일 실시형태에서, 중심와 디스플레이는 시야를 증가시키기 위해 적용되는 블렌딩 또는 배율을 가질 수도 있다.
블록 1820에서, 프로세스는, 사용자 데이터 또는 다른 데이터에 기초하여, 중심와 디스플레이에 대한 포지션을 결정한다. 사용자 데이터는 시선 벡터, 예측된 시선 벡터 등을 포함할 수도 있다. 외부 데이터는 디스플레이될 이미지 데이터에 대한 정보를 포함할 수도 있다.
블록 1830에서, 프로세스는 중심와 디스플레이가 위치 재결정되어야 하는지의 여부를 결정한다. 사용자의 시선이 변하지 않기 때문에 디스플레이는 다수의 프레임에 대해 위치 재결정될 필요가 없을 수도 있다. 포지션이 변경되어야 하는 경우, 블록 1840에서, 중심와 디스플레이가 조정된다. 일 실시형태에서, 조정은 눈 포지션을 교정하기 위해 조향 가능한 눈 박스(steerable eye box)를 포함할 수도 있다. 일 실시형태에서, 조정은 사용자 시야의 중심와 영역과 관련하여 디스플레이의 포지션을 시프팅하는 것을 포함할 수도 있다. 일 실시형태에서, 이동이 소정의 거리보다 더 큰 경우, 중심와 디스플레이는 이동 동안 턴오프된다. 일 실시형태에서, 거리는 0.5°보다 더 크다. 일 실시형태에서, 이동 동안 사용자가 깜박이면, 중심와 디스플레이는 턴오프되지 않을 수도 있다.
블록 1850에서, 중심와 디스플레이는 적절한 포지션에서 사용자에게 제공된다.
블록 1860에서, 일 실시형태에서, 디스플레이의 에지에서 롤오프가 제공된다. 롤오프는, 일 실시형태에서, 해상도 롤오프(디스플레이 영역의 에지를 향해 감소하는 해상도)를 포함한다. 롤오프는, 일 실시형태에서, 밝기 및/또는 콘트라스트 롤오프(에지를 향해 감소하는 밝기 및/또는 콘트라스트)를 포함한다. 그러한 롤오프는 디스플레이의 단부의 급격성을 감소시키도록 설계된다. 일 실시형태에서, 롤오프는 "없음"으로 롤오프되도록 설계될 수도 있다, 즉, 전체 밝기/콘트라스트로부터 그레이 또는 블랙 또는 환경 컬러로 점차적으로 감소될 수도 있다.
일 실시형태에서, 해상도 롤오프는, 중심와 영역 외부에서 더 낮은 해상도 필드 디스플레이 이미지와 더 잘 블렌딩되도록 중심와 디스플레이의 에지에서 픽셀 사이즈를 확대하는 것을 포함한다. 이것은 또한 시야를 증가시킨다. 확대는, 하드웨어, 소프트웨어, 또는 조합을 사용하여 다양한 방식으로 제공될 수도 있다. 도 5b는, 해상도가 롤오프될 때, 픽셀 밀도의 분포를 나타내는 예시적인 디스플레이를 예시한다.
블록 1870에서, 적절한 시선 각도 기반의 보정이 이미지에 적용된다. 시선 벡터가 전방으로의 일직선으로부터 변함에 따라, 시야에 걸쳐 왜곡이 증가된다. 시선 각도 기반의 보정은, 소프트웨어에서의 임의의 왜곡을 보정하기 위해, 위치 결정을 위해 사용되는 공지된 시선 각도를 활용한다. 그 다음, 프로세스는 블록 1820으로 복귀한다. 이러한 방식으로, 조향 가능한 중심와 디스플레이는 사용자의 시선 또는 다른 실마리를 따르는 조향 가능한 중심와 디스플레이를 제공하기 위해 사용될 수도 있다. 일 실시형태에서, 중심와 디스플레이는 가변 시야를 제공할 수도 있다.
도 19는 중심와 디스플레이의 에지를 블렌딩하는 일 실시형태의 플로우차트이다. 프로세스는 블록 1910에서 시작한다. 상기에서 논의되는 바와 같이, 중심와 디스플레이가 필드 디스플레이와 함께 위치 결정될 때, 디스플레이 사이의 에지는 블렌딩된다. 이것은 사용자에 대한 지속적인 인상(impression)을 생성한다. 일 실시형태에서, 이 프로세스는 도 4의 블록 440, 및 도 17의 블록 1760에 대응한다.
블록 1920에서, 프로세스는 중심와 이미지의 에지를 식별한다. 일 실시형태에서, 에지는 중심와 디스플레이가 이용 가능한 시야에 의해 정의된다. 다른 실시형태에서, 중심와 디스플레이는, 그것이 디스플레이할 수 있는 최대치보다 더 작은 시야를 디스플레이할 수도 있다.
블록 1930에서, 프로세스는 최상의 블렌딩 기술을 결정하고, 그것을 적용한다. 일 실시형태에서, 블렌딩 기술은, 알파 마스크, 디더링된 블렌드, 픽셀 인터레이싱, 컬러 기반의 알파 채널 블렌딩, 픽셀 기반의 알파 채널 블렌딩, 다중 샘플 안티앨리어싱(multi-sample antialiasing: MSAA), 시간 필터링 블렌딩, 및/또는 다른 블렌딩 기술을 사용하는 블렌딩을 포함할 수도 있다.
블록 1950에서, 프로세스는 다른 기술이 적용되어야 하는지의 여부를 결정한다. 만약 그렇다면, 블록 1960에서, 다음 기술이 선택되고, 프로세스는 블록 1940으로 복귀한다. 그렇지 않다면, 프로세스는 블록 1970에서 종료된다. 상기에서 언급되는 바와 같이, 일 실시형태에서, 이 프로세스는 고해상도 중심와 디스플레이 이미지 및 더 낮은 해상도 필드 디스플레이 이미지를 포함하는 각각의 프레임과 함께 호출된다. 일 실시형태에서, 배경에 중첩되는 스프라이트 또는 다른 이미지 소자를 중심와 디스플레이가 나타낼 때, 어떠한 블렌딩도 적용되지 않을 수도 있다.
도 20은 눈 움직임 분류를 사용하는 일 실시형태의 플로우차트이다. 눈 움직임 분류는, 중심와 디스플레이를 위치 결정하기 위한 사용자의 눈의 미래 위치를 예측하기 위해 사용된다. 프로세스는 블록 2010에서 시작한다. 블록 2015에서, 사용자 시야의 중심와 영역의 위치가 결정된다(2015). 블록 2020에서, 사용자의 눈 움직임이 분류된다. 도 21은, 식별될 수도 있는 몇몇 예시적인 눈 움직임을 예시한다. 눈 움직임은, 고정, 깜박임, 미세한 단속적 운동(micro-saccade), 느린 추적, 및 빠른 움직임/단속적 운동을 포함한다. 일 실시형태에서, 눈 움직임 외에, 예측 목적을 위해 눈 움직임을 분류함에 있어서 머리 포지션이 사용될 수도 있다. 이들 타입의 눈 움직임은 기술 분야에서 공지되어 있다.
블록 2025에서, 프로세스는 눈 움직임에 대한 적절한 응답을 결정한다. 응답은, 디스플레이의 포지션 변경, 시야 변경, 해상도 변경, 깊이 데이터(이것은 3D 시선 벡터에 의존할 수도 있음) 변경, 수렴 지점 변경을 포함할 수도 있다. 결정은 눈 움직임 분류에 기초하여 사용자의 시선 벡터의 후속 위치를 예측하는 것에 기초할 수도 있다.
블록 2030에서, 프로세스는 중심와 디스플레이가 변경되어야 하는지의 여부를 결정한다. 만약 그렇다면, 블록 2035에서, 중심와 디스플레이가 변경된다. 상기에서 언급되는 바와 같이, 변경은 포지션, 시야, 해상도 등의 변화를 포함할 수도 있다.
블록 2040에서, 프로세스는 분석에 기초하여 필드 디스플레이가 변경되어야 하는지의 여부를 결정한다. 만약 그렇다면, 블록 2045에서, 필드 디스플레이가 변경된다. 일 실시형태에서, 필드 디스플레이는 해상도, 깊이 데이터, 수렴 지점 등을 변경하는 것에 의해 변경될 수도 있다. 일 실시형태에서, 필드 디스플레이는 조향 가능하지 않지만, 그러나 다른 변경이 이루어질 수도 있다.
블록 2050에서, 에지는, 중심와 디스플레이와 필드 디스플레이 이미지 사이에서 블러링된다(blurred). 블록 2060에서, 하이브리드 이미지가 사용자에게 디스플레이된다. 그 다음, 프로세스는 블록 2015로 복귀하여 다음 이미지를 계속 처리한다. 일 실시형태에서, 이 프로세스는, 각각의 프레임의 디스플레이 이전에 각각의 프레임에 대한 평가가 이루어지도록 매우 빠르게 발생한다는 것을 유의한다.
도 22는 스마트 위치 결정의 일 실시형태의 플로우차트이다. 프로세스는 블록 2210에서 시작한다. 이 프로세스는, 시스템이 단지 사용자의 시선 벡터에 기초하는 것이 아니라 위치 결정을 활용하도록 설계되는 경우에 사용될 수도 있다.
블록 2215에서, 사용자의 눈이 추적된다. 일 실시형태에서, 사용자의 머리 움직임도 또한 추적될 수도 있다. 이것은, 전정 안반사(vestibular ocular reflex)에 기초하여 사용자의 눈 움직임을 예측함에 있어서 유용하다. 머리 움직임 및 눈 움직임은 조합되어 각각의 눈의 포지션 및 방위를 결정할 수도 있다.
블록 2220에서, 외부 데이터가 수신된다. 이 외부 데이터는, 중심와 디스플레이를 사용하여 고해상도로 나타내어져야 하는 강조된 소자, 사용자의 눈을 안내되어야 하는 위치, 또는 다른 외부 인자를 포함할 수도 있다. 일 실시형태에서, 중심와 디스플레이는, 사용자의 시선 벡터에 있지 않은 관련 소자를 가리킬 수도 있다. 예를 들면, 어두운 스크린 및 주목하는 단 하나의 소자가 있는 경우, 고해상도 중심와 디스플레이는 주목하는 소자에 가장 잘 배치된다. 다른 예로서, 대부분의 스크린이 의도적으로 흐릿하지만, 그러나 글(writing) 또는 다른 세밀한 상세 내용을 갖는 어떤 부분이 있다면, 그것은 중심와 디스플레이를 배치할 장소일 수도 있다. 디스플레이를 위치 결정하는 다른 이유가 사용될 수도 있다.
블록 2225에서, 최적의 위치 결정 및 구성은, 외부 데이터 및 사용자 데이터에 기초하여 중심와 디스플레이에 대해 결정된다. 상기에서 언급되는 바와 같이, 사용자 데이터는 사용자의 눈 및 머리 위치 결정을 포함한다. 일 실시형태에서, 외부 데이터는 사용자와는 독립적이며, 디스플레이되고 있는 프레임에 관한 정보를 반영한다. 일 실시형태에서, 중심와 디스플레이를 다시 목표로 삼는 외부 데이터가 없다면, 디폴트 구성은 사용자에 대한 중심와 중심에서 그것을 위치 결정하는 것이다. 그러나, 외부 정보에 기초하여, 이것은 소정의 프레임 및 내용에 대해 변경될 수도 있다.
블록 2230에서, 프로세스는 중심와 디스플레이가 변경되어야 하는지의 여부를 결정한다. 변경은 포지션, 해상도, 초점 거리 등의 변경일 수도 있다. 만약 그렇다면, 블록 2235에서, 디스플레이는 변경된다.
블록 2240에서, 프로세스는 필드 디스플레이 부분이 변경되어야 하는지의 여부를 결정한다. 변경은, 해상도, 밝기, 콘트라스트 등의 변경일 수도 있다. 만약 그렇다면, 블록 2245에서, 디스플레이는 변경된다.
블록 2250에서, 중심와 디스플레이와 필드 디스플레이 이미지 사이의 에지가 블렌딩되고, 블록 2255에서, 조합 이미지가 디스플레이된다. 그 다음, 프로세스는 블록 2215로 복귀한다.
비록 상기 프로세스가 플로우차트 형태로 예시되지만, 기술 분야에서 숙련된 자는 이것이 단순화를 위해 행해진다는 것을 이해할 것이다. 소자 사이에 의존성이 없다면, 다양한 소자의 순서는 동일하게 유지될 필요는 없다. 예를 들면, 중심와 디스플레이 및 필드 디스플레이의 조정은 임의의 순서로 행해질 수도 있다. 사용자의 눈 및 머리의 추적은 지속적으로 행해질 수도 있다. 시스템은 외부 데이터를, 프로세스에서 지속적으로 또는 특정한 시간에 수신할 수도 있기 보다는, 그것이 이용 가능한 경우 수신할 수도 있다. 플로우차트에 대한 다른 그러한 조정은 본 발명의 범위 내에 있다.
도 23은 본 발명과 함께 사용될 수도 있는 컴퓨터 시스템의 일 실시형태의 블록도이다. 그러나, 기술 분야에서 통상의 지식을 가진 자에게는, 다양한 시스템 아키텍처의 다른 대안적인 시스템이 또한 사용될 수도 있다는 것이 명백할 것이다.
도 23에서 예시되는 데이터 처리 시스템은, 정보를 전달하기 위한 버스 또는 다른 내부 통신 수단(2340), 및 정보를 처리하기 위한, 버스(2340)에 결합되는 처리 유닛(2310)을 포함한다. 처리 유닛(2310)은 중앙 처리 유닛(central processing unit: CPU), 디지털 신호 프로세서(digital signal processor: DSP), 또는 다른 타입의 처리 유닛(2310)일 수도 있다.
시스템은, 일 실시형태에서, 프로세서(2310)에 의해 실행될 정보 및 명령어를 저장하기 위한, 버스(2340)에 결합되는 랜덤 액세스 메모리(random access memory: RAM) 또는 다른 휘발성 저장 디바이스(2320)(메모리로 지칭됨)를 더 포함한다. 메인 메모리(2320)는 또한, 처리 유닛(2310)에 의한 명령어의 실행 동안 임시 변수 또는 다른 중간 정보를 저장하기 위해 사용될 수도 있다.
시스템은 또한, 일 실시형태에서, 프로세서(2310)에 대한 정적 정보 및 명령어를 저장하기 위한, 버스(2340)에 결합되는 판독 전용 메모리(ROM)(2350) 및/또는 정적 저장 디바이스(2350)를 포함한다. 일 실시형태에서, 시스템은 또한, 자기 디스크 또는 광학 디스크 및 그의 대응하는 디스크 드라이브, 또는 시스템에 어떠한 전력도 공급되지 않을 때 데이터를 저장할 수 있는 플래시 메모리 또는 다른 저장소와 같은 데이터 저장 디바이스(2330)를 포함한다. 일 실시형태에서, 데이터 저장 디바이스(2330)는 정보 및 명령어를 저장하기 위해 버스(2340)에 결합된다.
시스템은 또한, 정보를 출력하기 위한, 버스(2360)를 통해 버스(2340)에 결합되는 음극선관(cathode ray tube: CRT) 또는 액정 디스플레이(liquid crystal display: LCD)와 같은 출력 디바이스(2370)에 결합될 수도 있다. 출력 디바이스(2370)는 시각적 출력 디바이스, 오디오 출력 디바이스, 및/또는 촉각 출력 디바이스(예를 들면, 진동 등)일 수도 있다.
입력 디바이스(2375)는 버스(2360)에 결합될 수도 있다. 입력 디바이스(2375)는, 사용자가 정보 및 커맨드 선택을 처리 유닛(2310)에 전달하는 것을 가능하게 하기 위한, 영숫자 및 다른 키를 포함하는 키보드와 같은 영숫자 입력 디바이스일 수도 있다. 추가적인 사용자 입력 디바이스(2380)가 더 포함될 수도 있다. 하나의 그러한 사용자 입력 디바이스(2380)는, 방향 정보 및 커맨드 선택을 처리 유닛(2310)에 전달하기 위한, 그리고 디스플레이 디바이스(2370) 상에서 이동을 제어하기 위한, 버스(2360)를 통해 버스(2340)에 결합될 수도 있는 커서 제어 디바이스(2380), 예컨대, 마우스, 트랙볼, 스타일러스, 커서 방향 키, 또는 터치 스크린이다.
옵션 사항으로 컴퓨터 시스템(2300)에 결합될 수도 있는 다른 디바이스는, 네트워크를 통해 분산 시스템의 다른 노드에 액세스하기 위한 네트워크 디바이스(2385)이다. 통신 디바이스(2385)는, 이더넷, 토큰 링, 인터넷, 또는 광역 네트워크, 개인 영역 네트워크, 무선 네트워크 또는 다른 디바이스에 액세스하는 다른 방법에 결합하기 위해 사용되는 것과 같은 다수의 상업적으로 이용 가능한 네트워킹 주변장치 디바이스 중 임의의 것을 포함할 수도 있다. 통신 디바이스(2385)는 또한, 널 모뎀 연결, 또는 컴퓨터 시스템(2300)과 외부 세계 사이의 연결성을 제공하는 임의의 다른 메커니즘일 수도 있다.
도 23에서 예시되는 이 시스템의 컴포넌트 중 임의의 것 또는 모두 및 관련 하드웨어는 본 발명의 다양한 실시형태에서 사용될 수도 있다는 것을 유의한다.
본 발명을 구현하는 특정한 머신은 특정한 구현에 따라 다양한 방식으로 구성될 수도 있다는 것이 기술 분야에서 통상의 지식을 가진 자에 의해 인식될 것이다. 본 발명을 구현하는 제어 로직 또는 소프트웨어는, 메인 메모리(2320), 대용량 저장 디바이스(2330), 또는 프로세서(2310)에 로컬로 또는 원격으로 액세스 가능한 다른 저장 매체에 저장될 수 있다.
본원에서 설명되는 시스템, 방법 및 프로세스는 메인 메모리(2320) 또는 판독 전용 메모리(2350)에 저장되는 소프트웨어로서 구현될 수 있고 프로세서(2310)에 의해 실행될 수 있다는 것이 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이다. 이 제어 로직 또는 소프트웨어는 또한, 컴퓨터 판독 가능 프로그램 코드가 구현되고 대용량 저장 디바이스(2330)에 의해 판독 가능하며 프로세서(2310)로 하여금 본원에서의 방법 및 교시에 따라 동작하게 하기 위한 컴퓨터 판독 가능 매체를 포함하는 제조 물품 상에 상주할 수도 있다.
본 발명은 또한, 상기에서 설명되는 컴퓨터 하드웨어 컴포넌트의 서브세트를 포함하는 핸드헬드 또는 휴대용 디바이스에서 구현될 수도 있다. 예를 들면, 핸드헬드 디바이스는, 버스(2340), 프로세서(2310), 및 메모리(2350 및/또는 2320)만을 포함하도록 구성될 수도 있다.
핸드헬드 디바이스는 버튼 또는 입력 시그널링 컴포넌트의 세트를 포함하도록 구성될 수도 있는데, 사용자는, 버튼 또는 입력 시그널링 컴포넌트의 세트를 사용하여, 이용 가능한 옵션의 세트로부터 선택할 수도 있다. 이들은 입력 디바이스 #1(2375) 또는 입력 디바이스 # 2(2380)로 간주될 수 있다. 핸드헬드 디바이스는 또한, 핸드헬드 디바이스의 사용자에게 정보를 디스플레이하기 위한 액정 디스플레이(LCD) 또는 디스플레이 소자 매트릭스와 같은 출력 디바이스(2370)를 포함하도록 구성될 수도 있다. 그러한 핸드헬드 디바이스를 구현하기 위해 종래의 방법이 사용될 수도 있다. 그러한 디바이스에 대한 본 발명의 구현예는, 본원에서 제공되는 바와 같은 본 발명의 개시가 주어지면, 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이다.
본 발명은 또한, 키오스크 또는 차량과 같은, 상기에서 설명되는 컴퓨터 하드웨어 컴포넌트의 서브세트를 포함하는 특수 목적 어플라이언스(appliance)에서 구현될 수도 있다. 예를 들면, 어플라이언스는, 처리 유닛(2310), 데이터 저장 디바이스(2330), 버스(2340) 및 메모리(2320)를 포함할 수도 있고, 어떠한 입력/출력 메커니즘도 포함하지 않을 수도 있거나, 또는 사용자가 기본적인 방식으로 디바이스와 통신하는 것을 허용하는 작은 터치 스크린과 같은 기본적인 통신 메커니즘만을 포함할 수도 있다. 일반적으로, 디바이스의 목적이 더욱 특수할수록, 디바이스가 기능하기 위해서는 더 적은 소자가 존재할 필요가 있다. 몇몇 디바이스에서, 사용자와의 통신은 터치 기반의 스크린, 또는 유사한 메커니즘을 통할 수도 있다. 일 실시형태에서, 디바이스는 어떠한 직접적인 입력/출력 신호도 제공하지 않을 수도 있지만, 그러나, 웹 사이트 또는 네트워크 디바이스(2385)를 통한 다른 네트워크 기반의 연결을 통해 구성 및 액세스될 수도 있다.
컴퓨터 시스템으로서 구현되는 특정한 머신의 임의의 구성은 특정한 구현예에 따라 사용될 수도 있다는 것이 기술 분야에서 통상의 지식을 가진 자에 의해 인식될 것이다. 본 발명을 구현하는 제어 로직 또는 소프트웨어는, 프로세서(2310)가 로컬로 또는 원격으로 액세스 가능한 임의의 머신 판독 가능 매체 상에 저장될 수 있다. 머신 판독 가능 매체는, 머신(예를 들면, 컴퓨터)에 의해 판독 가능한 형태로 정보를 저장하기 위한 임의의 메커니즘을 포함한다. 예를 들면, 머신 판독 가능 매체는 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 자기 디스크 저장 매체, 광학 저장 매체, 플래시 메모리 디바이스, 또는 임시의 또는 영구적 데이터 저장을 위해 사용될 수도 있는 다른 저장 매체를 포함한다. 일 실시형태에서, 제어 로직은, 전기, 광학, 음향 또는 다른 형태의 전파 신호(예를 들면, 반송파, 적외선 신호, 디지털 신호 등)와 같은 송신 가능한 데이터로서 구현될 수도 있다.
전술한 명세서에서, 본 발명은 그 특정한 예시적인 실시형태를 참조하여 설명되었다. 그러나, 첨부된 청구범위에서 기술되는 바와 같은 본 발명의 더 넓은 사상 및 범위를 벗어나지 않으면서 다양한 수정 및 변경이 이루어질 수도 있다는 것이 명백할 것이다. 따라서, 명세서 및 도면은 제한적인 의미라기 보다는 예시적인 것으로 간주되어야 한다.

Claims (20)

  1. 하이브리드 디스플레이 시스템(hybrid display system)으로서,
    적어도 40°의 단안 시야(monocular field of view)를 갖는 필드 디스플레이(field display);
    적어도 1°의 단안 시야를 가지며, 적어도 20°에 걸쳐 스캔 가능한 시야 내에 위치 결정되는 중심와 디스플레이(foveal display)로서, 상기 필드 디스플레이의 상기 시야 내에서 사용자에 대해 위치 결정됨으로써, 상기 필드 디스플레이 및 상기 중심와 디스플레이의 각각으로부터의 이미지 데이터를 포함하는 하이브리드 디스플레이를 제시하는, 상기 중심와 디스플레이를 포함하는, 하이브리드 디스플레이 시스템.
  2. 제1항에 있어서,
    상기 중심와 디스플레이가 웨어러블 디스플레이 중심와 디스플레이에서 구현되는 것을 더 포함하는, 하이브리드 디스플레이 시스템.
  3. 제1항에 있어서, 상기 중심와 디스플레이의 실제 포지션(position)을 검증하고 상기 실제 포지션이 의도된 포지션이 아닌 경우 상기 중심와 디스플레이 이미지 데이터를 조정하기 위해, 중심와 포지션 검증기(foveal position validator)를 더 포함하는, 하이브리드 디스플레이 시스템.
  4. 제1항에 있어서,
    미래의 눈 포지션의 예측에 기초하여 위치 결정되는 상기 중심와 디스플레이를 더 포함하는, 하이브리드 디스플레이 시스템.
  5. 제3항에 있어서,
    사용자의 눈 포지션 및 방위를 추적하기 위한 눈 추적기; 및
    눈 움직임 타입을 식별하기 위한 눈 움직임 분류기(eye movement classifier)로서, 눈 움직임 분류는 상기 중심와 디스플레이를 예측적으로 위치 결정하기 위한 상기 예측을 제공하기 위해 사용되는, 상기 눈 움직임 분류기를 더 포함하는, 하이브리드 디스플레이 시스템.
  6. 제1항에 있어서,
    중심와 디스플레이 이미지에 대응하는 포지션에서 상기 필드 디스플레이로부터의 필드 디스플레이 이미지의 일부를 컷아웃시키기 위한 컷아웃 로직(cut-out logic)을 더 포함하는, 하이브리드 디스플레이 시스템.
  7. 제6항에 있어서,
    상기 중심와 디스플레이 이미지 및 상기 필드 디스플레이 이미지가 만나는 에지를 블렌딩하기 위한 블렌딩 로직(blending logic)을 더 포함하는, 하이브리드 디스플레이 시스템.
  8. 제7항에 있어서, 상기 블렌딩은, 알파 마스크, 디더링된 블렌드, 픽셀 인터레이싱, 컬러 기반의 알파 채널 블렌딩, 픽셀 기반의 알파 채널 블렌딩, 다중 샘플 안티앨리어싱(multi-sample antialiasing: MSAA) 및 시간 필터링 블렌딩 중 하나 이상을 포함하는, 하이브리드 디스플레이 시스템.
  9. 제1항에 있어서, 상기 필드 디스플레이는 외부 디스플레이이고,
    상기 하이브리드 디스플레이 시스템은, 상기 중심와 디스플레이와 상기 필드 디스플레이 사이의 디스플레이를 동기화하기 위한 동기화 로직을 더 포함하는, 하이브리드 디스플레이 시스템.
  10. 제1항에 있어서,
    조향 가능한 중심와 디스플레이의 이동을 가능하게 하는 상기 중심와 디스플레이에 대한 포지션 소자를 더 포함하는, 하이브리드 디스플레이 시스템.
  11. 제10항에 있어서, 상기 위치 결정 가능한 소자는, 조정 가능한 미러, 튜닝 가능한 프리즘, 음향 광학 변조기, 조정 가능한 디스플레이 패널, 만곡된 미러, 회절 소자 및 프레넬(Fresnel) 반사기 중 하나 이상을 포함하는, 하이브리드 디스플레이 시스템.
  12. 디스플레이 시스템으로서,
    적어도 1°의 단안 시야를 가지며, 적어도 20°의 스캔 가능한 시야 내에 위치 결정되는 중심와 디스플레이(foveal display)를 포함하되, 상기 중심와 디스플레이는 사용자에 대해 위치 결정되는, 디스플레이 시스템.
  13. 제12항에 있어서,
    필드 디스플레이 이미지를 디스플레이하는 적어도 30°의 단안 시야를 갖는 필드 디스플레이를 더 포함하되, 상기 필드 디스플레이 이미지는 상기 중심와 디스플레이 이미지와 중첩되어서;
    상기 중심와 디스플레이 및 상기 필드 디스플레이의 조합이 큰 시야 및 인식되는 고해상도를 제공하는, 디스플레이 시스템.
  14. 제13항에 있어서,
    상기 중심와 디스플레이 이미지의 상기 포지션에 대응하는 포지션에서 필드 디스플레이 이미지의 일부를 컷아웃시키기 위한 컷아웃 로직을 더 포함하는, 디스플레이 시스템.
  15. 제14항에 있어서, 상기 중심와 디스플레이 이미지 및 상기 필드 디스플레이 이미지가 만나는 에지를 블렌딩하기 위한 블렌딩 로직을 더 포함하는, 디스플레이 시스템.
  16. 제15항에 있어서, 상기 블렌딩은, 알파 마스크, 디더링된 블렌드, 픽셀 인터레이싱, 컬러 기반의 알파 채널 블렌딩, 픽셀 기반의 알파 채널 블렌딩, 다중 샘플 안티앨리어싱(MSAA), 및 시간 필터링 블렌딩 중 하나 이상을 포함하는, 디스플레이 시스템.
  17. 제12항에 있어서,
    상기 중심와 디스플레이와 필드 디스플레이를 제공하는 외부 디스플레이 사이의 디스플레이를 동기화하기 위한 동기화 로직을 더 포함하는, 디스플레이 시스템.
  18. 제12항에 있어서,
    사용자의 눈 포지션 및 방위를 추적하기 위한 눈 추적기; 및
    눈 움직임 타입을 식별하기 위한 눈 움직임 분류기로서, 눈 움직임 분류는 상기 중심와 디스플레이를 예측적으로 위치 결정하기 위기 위해 사용되는, 상기 눈 움직임 분류기를 더 포함하는, 디스플레이 시스템.
  19. 제12항에 있어서, 조향 가능한 중심와 디스플레이의 이동을 가능하게 하는 상기 중심와 디스플레이에 대한 위치 결정 소자를 더 포함하는, 디스플레이 시스템.
  20. 제19항에 있어서, 상기 위치 결정 소자는, 조정 가능한 미러, 튜닝 가능한 프리즘, 음향 광학 변조기, 조정 가능한 디스플레이 패널, 만곡된 미러, 회절 소자 및 프레넬 반사기 중 하나 이상을 포함하는, 디스플레이 시스템.
KR1020197031073A 2017-03-27 2018-03-27 조향 가능한 중심와 디스플레이 KR102578929B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201762477404P 2017-03-27 2017-03-27
US62/477,404 2017-03-27
US201762575354P 2017-10-20 2017-10-20
US62/575,354 2017-10-20
US15/937,770 2018-03-27
US15/937,770 US10514546B2 (en) 2017-03-27 2018-03-27 Steerable high-resolution display
PCT/US2018/024680 WO2018183405A1 (en) 2017-03-27 2018-03-27 Steerable foveal display

Publications (2)

Publication Number Publication Date
KR20190126428A true KR20190126428A (ko) 2019-11-11
KR102578929B1 KR102578929B1 (ko) 2023-09-15

Family

ID=63669309

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197031073A KR102578929B1 (ko) 2017-03-27 2018-03-27 조향 가능한 중심와 디스플레이

Country Status (7)

Country Link
US (4) US10514546B2 (ko)
EP (1) EP3602181A4 (ko)
JP (2) JP2020515895A (ko)
KR (1) KR102578929B1 (ko)
CN (1) CN110520781A (ko)
CA (1) CA3057878A1 (ko)
WO (1) WO2018183405A1 (ko)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3057109A1 (en) 2017-03-22 2018-09-27 Magic Leap, Inc. Depth based foveated rendering for display systems
EP3602181A4 (en) 2017-03-27 2020-05-13 Avegant Corp. STEERABLE FOVEA DISPLAY
WO2019067157A1 (en) * 2017-09-27 2019-04-04 Apple Inc. MITIGATION OF VISUAL ARTIFACTS OF DYNAMIC FOVÉAL DISPLAY
CN112136094A (zh) * 2018-03-16 2020-12-25 奇跃公司 用于显示系统的基于深度的凹式渲染
US10359845B1 (en) * 2018-05-01 2019-07-23 Facebook Technologies, Llc Display assembly using dynamic liquid crystal array
US20200049946A1 (en) * 2018-08-10 2020-02-13 Varjo Technologies Oy Display apparatus and method of displaying using gaze prediction and image steering
US11099381B2 (en) * 2018-08-10 2021-08-24 Varjo Technologies Oy Synchronizing light sources and optics in display apparatuses
US20200133385A1 (en) * 2018-10-26 2020-04-30 Otis Elevator Company Priority-based adjustment to display content
GB2578769B (en) * 2018-11-07 2022-07-20 Advanced Risc Mach Ltd Data processing systems
KR20210097190A (ko) 2018-12-07 2021-08-06 아브간트 코포레이션 조향 가능한 위치 설정 요소
KR20240042166A (ko) * 2019-01-07 2024-04-01 아브간트 코포레이션 제어 시스템 및 렌더링 파이프라인
WO2020146546A1 (en) * 2019-01-08 2020-07-16 Avegant Corp. Sensor-based eye-tracking using a holographic optical element
US11070778B2 (en) 2019-02-14 2021-07-20 Facebook Technologies, Llc Multi-projector display architecture
DE102020104527B4 (de) 2019-03-19 2023-06-22 Nvidia Corporation Foveales anzeigesystem für erweiterte realität
US10725304B1 (en) * 2019-03-28 2020-07-28 Facebook Technologies, Llc Compensatory image during swift-eye movement
US11284053B2 (en) 2019-03-29 2022-03-22 Razmik Ghazaryan Head-mounted display and projection screen
US10554940B1 (en) 2019-03-29 2020-02-04 Razmik Ghazaryan Method and apparatus for a variable-resolution screen
US11586049B2 (en) 2019-03-29 2023-02-21 Avegant Corp. Steerable hybrid display using a waveguide
US10466489B1 (en) 2019-03-29 2019-11-05 Razmik Ghazaryan Methods and apparatus for a variable-resolution screen
WO2021055230A1 (en) * 2019-09-19 2021-03-25 Akalana Management Llc Optical systems with low resolution peripheral displays
US11435821B2 (en) 2019-09-26 2022-09-06 Apple Inc. Gaze-independent dithering for dynamically foveated displays
CN113661477B (zh) 2019-09-27 2024-09-10 苹果公司 管理具有加法显示器的设备
US11662807B2 (en) * 2020-01-06 2023-05-30 Tectus Corporation Eye-tracking user interface for virtual tool control
US11614797B2 (en) * 2019-11-05 2023-03-28 Micron Technology, Inc. Rendering enhancement based in part on eye tracking
CN113966482A (zh) * 2019-11-22 2022-01-21 苹果公司 具有用于执行凹的多个光路径的显示系统
US11132056B2 (en) * 2019-12-04 2021-09-28 Facebook Technologies, Llc Predictive eye tracking systems and methods for foveated rendering for electronic displays
US11904102B2 (en) * 2019-12-17 2024-02-20 Tobii Ab Method and system for applying adapted colour rendering on a display
US11624921B2 (en) 2020-01-06 2023-04-11 Avegant Corp. Head mounted system with color specific modulation
KR20210107408A (ko) 2020-02-24 2021-09-01 삼성전자주식회사 광학 장치 및 이를 포함한 근안 디스플레이 장치
FR3107611B1 (fr) * 2020-02-26 2022-03-04 Aledia Ecran d’affichage à résolution multiple et procédé de réalisation
DE102020203638A1 (de) 2020-03-20 2021-09-23 Robert Bosch Gesellschaft mit beschränkter Haftung Projektionsvorrichtung für eine Datenbrille, Verfahren zum Darstellen von Bildinformationen mittels einer Projektionsvorrichtung und Steuergerät
AU2021263437A1 (en) * 2020-04-30 2022-12-15 Marsupial Holdings, Inc. Extended field-of-view near-to-eye wearable display
WO2022015647A2 (en) * 2020-07-13 2022-01-20 Perdix Systems Llc Optical systems with multiple light engines for foveation
CN115956218A (zh) * 2020-08-20 2023-04-11 见真实股份有限公司 近眼图像投影系统和包括所述近眼图像投影系统的可穿戴装置
US11488345B2 (en) * 2020-10-22 2022-11-01 Varjo Technologies Oy Display apparatuses and rendering servers incorporating prioritized re-rendering
US11971556B2 (en) 2020-11-19 2024-04-30 Google Llc MEMS device with elliptical mirror
CN115280404A (zh) 2020-12-14 2022-11-01 谷歌有限责任公司 可变亮度和视场显示
US11442543B1 (en) 2021-01-29 2022-09-13 Apple Inc. Electronic devices with monocular gaze estimation capabilities
CN117043663A (zh) * 2021-03-31 2023-11-10 索尼集团公司 图像显示设备
CN115494640A (zh) * 2021-06-17 2022-12-20 中强光电股份有限公司 产生虚拟实境影像的光场近眼显示器及其方法
US11495194B1 (en) * 2021-08-10 2022-11-08 Varjo Technologies Oy Display apparatuses and methods incorporating pattern conversion

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130127472A (ko) * 2010-12-17 2013-11-22 마이크로소프트 코포레이션 증강 현실 디스플레이용 최적화 초점 영역

Family Cites Families (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4924522A (en) 1987-08-26 1990-05-08 Ncr Corporation Method and apparatus for displaying a high resolution image on a low resolution CRT
US5035500A (en) * 1988-08-12 1991-07-30 Rorabaugh Dale A Automated ocular perimetry, particularly kinetic perimetry
US6008781A (en) * 1992-10-22 1999-12-28 Board Of Regents Of The University Of Washington Virtual retinal display
US8330812B2 (en) * 1995-05-30 2012-12-11 Simulated Percepts, Llc Method and apparatus for producing and storing, on a resultant non-transitory storage medium, computer generated (CG) video in correspondence with images acquired by an image acquisition device tracked in motion with respect to a 3D reference frame
US6204974B1 (en) * 1996-10-08 2001-03-20 The Microoptical Corporation Compact image display system for eyeglasses or other head-borne frames
US6097353A (en) * 1998-01-20 2000-08-01 University Of Washington Augmented retinal display with view tracking and data positioning
CA2375519A1 (en) * 1999-06-21 2000-12-28 The Microoptical Corporation Eyeglass display lens system employing off-axis optical design
JP4374708B2 (ja) * 2000-03-30 2009-12-02 株式会社デンソー 網膜走査ディスプレイ装置及び光走査装置
NZ537849A (en) * 2005-01-21 2007-09-28 Peter James Hilton Direct Retinal Display projecting a scanned optical beam via diverging and converging reflectors
JP4735234B2 (ja) 2005-12-19 2011-07-27 ブラザー工業株式会社 画像表示システム
US20080015553A1 (en) 2006-07-12 2008-01-17 Jaime Zacharias Steering laser treatment system and method of use
US8246170B2 (en) * 2007-11-21 2012-08-21 Panasonic Corporation Display apparatus
US8314814B2 (en) * 2007-12-20 2012-11-20 Raytheon Company Imaging system
US20100149073A1 (en) 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
US7786648B2 (en) 2008-08-18 2010-08-31 New Scale Technologies Semi-resonant driving systems and methods thereof
US20110075257A1 (en) * 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
US20110141225A1 (en) 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Based on Low-Res Images
US20120249797A1 (en) * 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9128281B2 (en) * 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9632315B2 (en) * 2010-10-21 2017-04-25 Lockheed Martin Corporation Head-mounted display apparatus employing one or more fresnel lenses
US9513490B2 (en) * 2011-01-10 2016-12-06 Eastman Kodak Company Three channel delivery of stereo images
EP2744392B1 (en) 2011-09-07 2019-03-27 Novasight Ltd. Method and system for treatment of visual impairment
US20130100176A1 (en) 2011-10-21 2013-04-25 Qualcomm Mems Technologies, Inc. Systems and methods for optimizing frame rate and resolution for displays
US8681426B2 (en) 2011-11-04 2014-03-25 Honeywell International Inc. Steerable near-to-eye display and steerable near-to-eye display system
JP5524254B2 (ja) 2012-02-14 2014-06-18 富士フイルム株式会社 ミラー駆動装置及びその制御方法
US9779643B2 (en) 2012-02-15 2017-10-03 Microsoft Technology Licensing, Llc Imaging structure emitter configurations
US20130286053A1 (en) * 2012-04-25 2013-10-31 Rod G. Fleck Direct view augmented reality eyeglass-type display
US9788714B2 (en) * 2014-07-08 2017-10-17 Iarmourholdings, Inc. Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
WO2014155288A2 (en) 2013-03-25 2014-10-02 Ecole Polytechnique Federale De Lausanne (Epfl) Method and apparatus for head worn display with multiple exit pupils
DE102013208625A1 (de) 2013-05-10 2014-11-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiapertur-projektionsdisplay und einzelbilderzeuger für ein solches
US9952042B2 (en) 2013-07-12 2018-04-24 Magic Leap, Inc. Method and system for identifying a user location
US9335548B1 (en) * 2013-08-21 2016-05-10 Google Inc. Head-wearable display with collimated light source and beam steering mechanism
US11402629B2 (en) 2013-11-27 2022-08-02 Magic Leap, Inc. Separated pupil optical systems for virtual and augmented reality and methods for displaying images using same
JP2015132747A (ja) 2014-01-15 2015-07-23 セイコーエプソン株式会社 プロジェクター
US9766463B2 (en) * 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10068311B2 (en) 2014-04-05 2018-09-04 Sony Interacive Entertainment LLC Varying effective resolution by screen location by changing active color sample count within multiple render targets
US9588408B1 (en) * 2014-05-15 2017-03-07 Autofuss Methods and systems for projecting a target portion of an image at a higher resolution
US9874744B2 (en) * 2014-06-25 2018-01-23 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays
CN106415447B (zh) * 2014-06-30 2019-08-06 索尼公司 信息处理装置、信息处理方法和图像处理系统
GB201417208D0 (en) * 2014-09-30 2014-11-12 Ibvision Ltd Method Software And Apparatus For Testing A Patiants Visual Field
IL235073A (en) * 2014-10-07 2016-02-29 Elbit Systems Ltd Head-mounted view of enlarged images that are locked on an object of interest
KR101844883B1 (ko) 2014-12-23 2018-04-03 메타 컴퍼니 관심 객체의 임의의 깊이에 있는 동일한 평면으로 시각적 조절과 시각적 수렴을 결합시키는 장치, 방법 및 시스템
EP3237953A1 (en) * 2014-12-26 2017-11-01 CY Vision Inc. Near-to-eye display device with variable resolution
US10013808B2 (en) * 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US10284118B2 (en) 2015-02-06 2019-05-07 New Scale Technologies, Inc. Two-axis angular pointing device and methods of use thereof
US10054797B2 (en) * 2015-02-12 2018-08-21 Google Llc Combining a high resolution narrow field display and a mid resolution wide field display
US10417832B2 (en) 2015-03-11 2019-09-17 Facebook Technologies, Llc Display device supporting configurable resolution regions
US20160274365A1 (en) 2015-03-17 2016-09-22 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays with heterogeneous display quality
JP6520432B2 (ja) 2015-06-09 2019-05-29 セイコーエプソン株式会社 光学デバイスおよび画像表示装置
US10210844B2 (en) * 2015-06-29 2019-02-19 Microsoft Technology Licensing, Llc Holographic near-eye display
EP3332554B1 (en) 2015-08-07 2022-07-06 Apple Inc. System and method for displaying a stream of images
EP4380150A3 (en) * 2015-10-08 2024-07-24 InterDigital VC Holdings, Inc. Methods and systems of automatic calibration for dynamic display configurations
US10726619B2 (en) 2015-10-29 2020-07-28 Sony Interactive Entertainment Inc. Foveated geometry tessellation
WO2017083331A1 (en) * 2015-11-09 2017-05-18 Digital Surgicals Pte Ltd. Personalized hand-eye coordinated digital stereo microscopic systems and methods
US20170188021A1 (en) 2015-12-24 2017-06-29 Meta Company Optical engine for creating wide-field of view fovea-based display
US20170255012A1 (en) * 2016-03-04 2017-09-07 Sharp Kabushiki Kaisha Head mounted display using spatial light modulator to move the viewing zone
US20170255020A1 (en) * 2016-03-04 2017-09-07 Sharp Kabushiki Kaisha Head mounted display with directional panel illumination unit
US10438400B2 (en) 2016-03-08 2019-10-08 Nvidia Corporation Perceptually-based foveated rendering using a contrast-enhancing filter
US10192528B2 (en) * 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US10460704B2 (en) * 2016-04-01 2019-10-29 Movidius Limited Systems and methods for head-mounted display adapted to human visual mechanism
GB2553744B (en) 2016-04-29 2018-09-05 Advanced Risc Mach Ltd Graphics processing systems
US20190278102A1 (en) 2016-07-25 2019-09-12 Optotune Ag Optical device for enhancing resolution of an image using multistable states
US10255714B2 (en) * 2016-08-24 2019-04-09 Disney Enterprises, Inc. System and method of gaze predictive rendering of a focal area of an animation
US10140695B2 (en) 2016-10-04 2018-11-27 Facebook Technologies, Llc Head-mounted compound display including a high resolution inset
US9779478B1 (en) 2016-10-04 2017-10-03 Oculus Vr, Llc Rendering composite content on a head-mounted display including a high resolution inset
CA3042554C (en) * 2016-11-16 2023-07-18 Magic Leap, Inc. Multi-resolution display assembly for head-mounted display systems
US9711072B1 (en) 2016-12-01 2017-07-18 Varjo Technologies Oy Display apparatus and method of displaying using focus and context displays
US9711114B1 (en) 2016-12-01 2017-07-18 Varjo Technologies Oy Display apparatus and method of displaying using projectors
WO2018107055A1 (en) 2016-12-09 2018-06-14 New Scale Technologies, Inc. Semi-resonant motion devices and methods thereof
GB2560306B (en) * 2017-03-01 2020-07-08 Sony Interactive Entertainment Inc Image processing
US20180269266A1 (en) 2017-03-16 2018-09-20 Intel Corporation Foveated displays for virtual and augmented reality
CA3057109A1 (en) * 2017-03-22 2018-09-27 Magic Leap, Inc. Depth based foveated rendering for display systems
EP3602181A4 (en) 2017-03-27 2020-05-13 Avegant Corp. STEERABLE FOVEA DISPLAY
US11209650B1 (en) 2018-09-06 2021-12-28 Facebook Technologies, Llc Waveguide based display with multiple coupling elements for artificial reality
US10866422B2 (en) 2019-02-21 2020-12-15 Microsoft Technology Licensing, Llc Micro LED display system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130127472A (ko) * 2010-12-17 2013-11-22 마이크로소프트 코포레이션 증강 현실 디스플레이용 최적화 초점 영역

Also Published As

Publication number Publication date
US20220187604A1 (en) 2022-06-16
WO2018183405A1 (en) 2018-10-04
CN110520781A (zh) 2019-11-29
EP3602181A4 (en) 2020-05-13
EP3602181A1 (en) 2020-02-05
US20240027771A1 (en) 2024-01-25
US11163164B2 (en) 2021-11-02
CA3057878A1 (en) 2018-10-04
JP2020515895A (ja) 2020-05-28
KR102578929B1 (ko) 2023-09-15
US20200133006A1 (en) 2020-04-30
US20180284451A1 (en) 2018-10-04
JP2023027369A (ja) 2023-03-01
US11656468B2 (en) 2023-05-23
US10514546B2 (en) 2019-12-24

Similar Documents

Publication Publication Date Title
US11656468B2 (en) Steerable high-resolution display having a foveal display and a field display with intermediate optics
US20240280827A1 (en) Dynamic field of view variable focus display system
US11480784B2 (en) Binocular display with digital light path length modulation
US6072443A (en) Adaptive ocular projection display
US9667954B2 (en) Enhanced image display in head-mounted displays
EP3948399B1 (en) Steerable hybrid display using a waveguide
US10187634B2 (en) Near-eye display system including a modulation stack
JP2000258723A (ja) 映像表示装置
WO2014057274A1 (en) Head-mountable display with extended field of view
TW201024797A (en) Sterioscopic disply apparatus and display method
JP3453086B2 (ja) 三次元表示方法およびヘッドマウントディスプレイ装置
JP2009098326A (ja) 三次元画像形成装置
JP2018054976A (ja) 頭部搭載型表示装置及び頭部搭載型表示装置の表示制御方法
JPH085955A (ja) 虚像式立体画像表示装置および虚像式立体画像表示方法
JP2017102220A (ja) 画像表示装置
EP3891546A1 (en) Steerable positioning element
CN115767067A (zh) 一种基于视觉穿透现实方法及系统
JPH09127455A (ja) 表示装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant