KR20180062946A - 디스플레이 장치 및 초점 디스플레이와 컨텍스트 디스플레이를 이용하여 디스플레이하는 방법 - Google Patents
디스플레이 장치 및 초점 디스플레이와 컨텍스트 디스플레이를 이용하여 디스플레이하는 방법 Download PDFInfo
- Publication number
- KR20180062946A KR20180062946A KR1020170159281A KR20170159281A KR20180062946A KR 20180062946 A KR20180062946 A KR 20180062946A KR 1020170159281 A KR1020170159281 A KR 1020170159281A KR 20170159281 A KR20170159281 A KR 20170159281A KR 20180062946 A KR20180062946 A KR 20180062946A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- focus
- projection
- display
- context
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000003287 optical effect Effects 0.000 claims abstract description 230
- 230000000007 visual effect Effects 0.000 claims abstract description 73
- 238000009877 rendering Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims description 26
- 230000000873 masking effect Effects 0.000 claims description 8
- 239000004973 liquid crystal related substance Substances 0.000 claims description 7
- 229910052710 silicon Inorganic materials 0.000 claims description 3
- 239000010703 silicon Substances 0.000 claims description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 claims 1
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 230000004459 microsaccades Effects 0.000 description 2
- 230000003278 mimic effect Effects 0.000 description 2
- 230000004461 rapid eye movement Effects 0.000 description 2
- 201000009310 astigmatism Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
- G03B21/142—Adjusting of projection optics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0149—Head-up displays characterised by mechanical features
- G02B2027/0161—Head-up displays characterised by mechanical features characterised by the relative positioning of the constitutive elements
- G02B2027/0163—Electric or electronic control thereof
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Controls And Circuits For Display Device (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Electroluminescent Light Sources (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- User Interface Of Digital Computer (AREA)
- Projection Apparatus (AREA)
Abstract
컨텍스트 이미지를 렌더링하기 위한 적어도 하나의 컨텍스트 디스플레이와; 초점 이미지를 렌더링하기 위한 적어도 하나의 초점 디스플레이와; 상기 렌더링된 컨텍스트 이미지의 투영을 상기 렌더링된 초점 이미지의 투영과 결합하여 시각적 장면을 생성하기 위한 적어도 하나의 광 결합기와; 시선 방향을 검출하기 위한 수단과; 상기 적어도 하나의 광 결합기 및 상기 시선 방향을 검출하기 위한 수단과 통신 결합된 프로세서를 포함하는 디스플레이 장치가 개시된다. 렌더링된 컨텍스트 이미지의 투영의 각도 폭은 40도 내지 220도 범위이다. 렌더링된 초점 이미지의 투영의 각도 폭은 5도 내지 60도의 범위이다.
Description
본 발명은 일반적으로 가상현실에 관한 것이며, 보다 상세하게는, 컨텍스트 디스플레이, 초점 디스플레이 및 광 결합기를 포함하는 디스플레이 장치와 상기 디스플레이 장치를 통해 디스플레이하는 방법에 관한 것이다.
최근에는, 모의의 환경(또는 가상 세계)을 사용자에게 제시하기 위해, 가상현실, 증강현실 등과 같은 기술의 사용이 급속히 증가하고 있다. 구체적으로, 모의의 환경은 입체경과 같은 현대 기술을 사용하여 사용자에게 모의의 환경에서의 몰입감을 제공함으로써 사용자의 현실 경험을 향상시킨다.
일반적으로, 사용자는 그러한 모의의 환경을 경험하기 위해, 가상현실 장치와 같은, 장치를 사용할 수 있다. 예를 들어, 가상현실 장치는 사용자의 각 눈에 대하여 하나의 디스플레이를 갖는 쌍안 가상현실 장치를 포함할 수 있다. 구체적으로, 쌍안 가상현실 장치의 두 개의 디스플레이는 서로 다른 2차원 이미지를 결합함으로써 깊이의 환영을 생성하기 위해 사용자의 눈에 서로 다른 2차원 이미지(또한, 스테레오 그램이라고도 함)를 표시할 수 있다. 선택적으로, 그러한 가상현실 장치는 근거리 디스플레이를 포함할 수 있다. 이러한 가상현실 장치의 예는 헤드 장착형 가상현실 장치, 가상현실 안경 등을 포함한다. 또한, 가상현실 장치의 시야는 전형적으로 약 60° 내지 150°이지만, 인간의 시야는 비교적 더 크다(즉, 약 180°). 시야가 넓어지면 몰입감이 커져 주변 환경에 대한 인식이 높아진다.
그러나, 종래의 가상현실 장치에는 특정 제한이 있다. 예를 들어, 인간의 눈의 시력에 근접하게 모방하기에 적합한 디스플레이의 크기는 너무 커서 기존의 이용 가능한 가상현실 장치 내에 수용될 수 없다. 구체적으로, 인간의 눈과 거의 동일한 시야를 갖는 디스플레이는 치수적으로 매우 크다. 다른 예에서, 포커스 플러스 컨텍스트 스크린(focus plus context screens)과 같은 비교적 작은 크기의 디스플레이는 저해상도 디스플레이에 내장되는 고해상도 디스플레이를 포함한다. 그러나, 그러한 포커스 플러스 컨텍스트 스크린 내에서의 고해상도 디스플레이의 위치는 고정되어, 그 위에 렌더링된 이미지가 종종 고해상도 디스플레이 및 저해상도 디스플레이의 에지에서 불연속으로 나타난다. 결과적으로, 이러한 포커스 플러스 컨텍스트 화면은 가상현실 장치 내에서 사용하기에 충분히 잘 개발되지 못했다. 따라서, 종래의 가상현실 장치는 인간 시각계를 모방하는 능력이 제한적이다.
따라서, 전술한 설명에 비추어 볼 때, 가상현실 장치에 사용되는 종래의 디스플레이와 관련된 전술한 결점을 극복할 필요가 있다.
본 발명은 디스플레이 장치를 제공하고자 한다. 또한, 본 발명은 컨텍스트 디스플레이, 초점 디스플레이 및 광 결합기를 포함하는 디스플레이 장치를 통해 디스플레이하는 방법을 제공하고자 한다. 본 발명은 종래의 가상현실 장치에서 사용되는 디스플레이 내의 물리적 크기 제한 및 이미지 불연속의 현존하는 문제에 대한 해결책을 제공하고자 한다. 본 발명의 목적은 선행 기술에서 직면한 문제점을 적어도 부분적으로 극복하고, 인간의 시각계에 근접하게 모방하도록 강력하고 사용하기 쉬운 디스플레이 장치를 제공하는 해결책을 제공하는 것이다.
일 측면에서, 본 발명의 일 실시형태는,
- 컨텍스트 이미지(context image)를 렌더링(rendering)하기 위한 적어도 하나의 컨텍스트 디스플레이로서, 렌더링된 컨텍스트 이미지의 투영의 각도 폭은 40도 내지 220도 범위인, 상기 적어도 하나의 컨텍스트 디스플레이와;
- 초점 이미지를 렌더링하기 위한 적어도 하나의 초점 디스플레이로서, 렌더링된 초점 이미지의 투영의 각도 폭은 5도 내지 60도의 범위인, 상기 적어도 하나의 초점 디스플레이와;
- 상기 렌더링된 컨텍스트 이미지의 투영을 상기 렌더링된 초점 이미지의 투영과 결합하여 시각적 장면을 생성하기 위한 적어도 하나의 광 결합기(optical combiner)와;
- 시선 방향을 검출하기 위한 수단과;
- 상기 적어도 하나의 광 결합기 및 상기 시선 방향을 검출하기 위한 수단과 통신 결합된 프로세서를 포함하고, 상기 프로세서는,
(a) 입력 이미지를 수신하고, 상기 검출된 시선 방향을 사용하여 상기 입력 이미지의 시각 정확도의 영역을 결정하는 단계와;
(b) 상기 컨텍스트 이미지 및 상기 초점 이미지를 생성하도록 상기 입력 이미지를 처리하는 단계로서, 상기 컨텍스트 이미지는 제 1 해상도를 갖고 상기 초점 이미지는 제 2 해상도를 가지며,
- 상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하는 상기 컨텍스트 이미지의 영역이 마스킹되고,
- 상기 초점 이미지는 상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하고,
- 상기 제 2 해상도가 상기 제 1 해상도보다 높은, 상기 처리 단계와;
(c) 상기 적어도 하나의 컨텍스트 디스플레이에서 상기 컨텍스트 이미지 및 상기 적어도 하나의 초점 디스플레이에서 상기 초점 이미지를 실질적으로 동시에 렌더링하는 한편, 렌더링된 초점 이미지의 투영이 렌더링된 컨텍스트 이미지의 마스킹된 영역의 투영과 실질적으로 중첩하는 방식으로 상기 렌더링된 컨텍스트 이미지의 투영을 상기 렌더링된 초점 이미지의 투영과 결합하도록 상기 적어도 하나의 광 결합기를 제어하는 단계로 구성되는, 디스플레이 장치를 제공한다.
다른 측면에서, 본 발명의 일 실시형태는 적어도 하나의 컨텍스트 디스플레이, 적어도 하나의 초점 디스플레이, 적어도 하나의 광 결합기 및 시선 방향을 검출하기 위한 수단을 포함하는 디스플레이 장치를 통해 디스플레이하는 방법을 제공하며, 상기 방법은,
(i) 상기 적어도 하나의 컨텍스트 디스플레이에서 컨텍스트 이미지를 렌더링하는 단계로서, 렌더링된 컨텍스트 이미지의 투영의 각도 폭은 40도 내지 220도 범위인, 상기 컨텍스트 이미지를 렌더링하는 단계와;
(ii) 상기 적어도 하나의 초점 디스플레이에서 초점 이미지를 렌더링하는 단계로서, 렌더링된 초점 이미지의 투영의 각도 폭은 5도 내지 60도 범위인, 상기 초점 이미지를 렌더링하는 단계와;
(iii) 상기 적어도 하나의 광 결합기를 사용하여 상기 렌더링된 컨텍스트 이미지의 투영을 상기 렌더링된 초점 이미지의 투영과 결합하여 시각적 장면을 생성하는 단계와;
(iv) 시선 방향을 검출하고, 상기 검출된 시선 방향을 사용하여 입력 이미지의 시각 정확도의 영역을 결정하는 단계와;
(v) 상기 컨텍스트 이미지 및 상기 초점 이미지를 생성하도록 상기 입력 이미지를 처리하는 단계로서, 상기 컨텍스트 이미지는 제 1 해상도를 갖고, 상기 초점 이미지는 제 2 해상도를 가지며, 상기 제 2 해상도가 상기 제 1 해상도보다 높으며, 상기 처리 단계는,
- 상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하는 상기 컨텍스트 이미지의 영역을 마스킹하는 단계와;
- 상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하도록 상기 초점 이미지를 생성하는 단계를 포함하는, 상기 처리 단계와;
(vi) 상기 렌더링된 초점 이미지의 투영이 상기 렌더링된 컨텍스트 이미지의 마스킹된 영역의 투영과 실질적으로 중첩하는 방식으로 상기 렌더링된 컨텍스트 이미지의 투영을 상기 렌더링된 초점 이미지의 투영과 결합하도록 상기 적어도 하나의 광 결합기를 제어하는 단계를 포함하고,
상기 단계들 (i), (ii) 및 (vi)는 실질적으로 동시에 수행된다.
본 발명의 실시형태들은 선행 기술의 전술한 문제점들을 실질적으로 제거하거나 적어도 부분적으로 해결하고, 시선 우연(gaze contingency)을 이용하여 디스플레이 장치 내에서 능동 포비에이션(active foveation)의 구현을 가능하게 한다.
본 발명의 추가 측면, 이점, 특징 및 목적은 첨부된 청구 범위와 관련하여 해석되는 예시적인 실시형태의 도면 및 상세한 설명으로부터 명백해질 것이다.
본 발명의 특징은 첨부된 청구 범위에 의해 한정된 바와 같이 본 발명의 범위를 벗어나지 않고 다양한 조합으로 결합될 수 있음을 이해할 것이다.
상기의 요약 및 예시적인 실시형태의 하기 상세한 설명은 첨부된 도면과 함께 읽을 때에 더 잘 이해된다. 본 발명을 예시하기 위한 목적으로, 본 발명의 예시적인 구조가 도면에 도시된다. 그러나, 본 발명은 여기에 개시된 특정 방법 및 수단에 제한되지 않는다. 또한, 당업자는 도면에서 크기가 조정된 것이 아니라는 것을 이해할 것이다. 가능한 유사 구성요소는 동일한 부호로 나타내어진다.
다음의 도면을 참조하여, 단지 예시의 목적으로, 본 발명의 실시형태들이 지금 설명될 것이다:
도 1은 본 발명의 일 실시형태에 따른 디스플레이 장치를 사용하기 위한 환경의 개략도이고;
도 2 및 도 3은 본 발명의 상이한 실시형태에 따른 상기 디스플레이 장치의 구조를 나타낸 블록도이고;
도 4a 내지 도 4b는 본 발명의 상이한 실시형태들에 따른 눈에 대한 상기 디스플레이 장치의 예시적인 동작의 개략도이고;
도 5는 본 발명의 일 실시형태에 따른, 상기 디스플레이 장치의 컨텍스트 디스플레이 및 초점 디스플레이의 예시적인 표현이고;
도 6a 내지 도 6i는 본 발명의 다양한 실시형태들에 따른 상기 디스플레이 장치의 예시적인 구현들이고;
도 7은 본 발명의 일 실시형태에 따른 상기 디스플레이 장치를 통한 디스플레이하는 방법의 단계들을 도시한다.
첨부 도면에서, 밑줄 친 숫자는 상기 밑줄 친 숫자가 위치한 항목 또는 상기 밑줄 친 숫자가 인접하는 항목을 나타내기 위해 사용된다. 밑줄이 그어지지 않은 번호는 상기 밑줄이 그어지지 않은 번호를 항목을 연결하는 선으로 식별되는 항목과 관련된다. 숫자에 밑줄이 그어져 있지 않고 관련 화살표가 붙어 있으면 상기 밑줄이 그어지지 않은 숫자는 상기 화살표가 가리키는 일반 항목을 식별하는데 사용된다.
다음의 도면을 참조하여, 단지 예시의 목적으로, 본 발명의 실시형태들이 지금 설명될 것이다:
도 1은 본 발명의 일 실시형태에 따른 디스플레이 장치를 사용하기 위한 환경의 개략도이고;
도 2 및 도 3은 본 발명의 상이한 실시형태에 따른 상기 디스플레이 장치의 구조를 나타낸 블록도이고;
도 4a 내지 도 4b는 본 발명의 상이한 실시형태들에 따른 눈에 대한 상기 디스플레이 장치의 예시적인 동작의 개략도이고;
도 5는 본 발명의 일 실시형태에 따른, 상기 디스플레이 장치의 컨텍스트 디스플레이 및 초점 디스플레이의 예시적인 표현이고;
도 6a 내지 도 6i는 본 발명의 다양한 실시형태들에 따른 상기 디스플레이 장치의 예시적인 구현들이고;
도 7은 본 발명의 일 실시형태에 따른 상기 디스플레이 장치를 통한 디스플레이하는 방법의 단계들을 도시한다.
첨부 도면에서, 밑줄 친 숫자는 상기 밑줄 친 숫자가 위치한 항목 또는 상기 밑줄 친 숫자가 인접하는 항목을 나타내기 위해 사용된다. 밑줄이 그어지지 않은 번호는 상기 밑줄이 그어지지 않은 번호를 항목을 연결하는 선으로 식별되는 항목과 관련된다. 숫자에 밑줄이 그어져 있지 않고 관련 화살표가 붙어 있으면 상기 밑줄이 그어지지 않은 숫자는 상기 화살표가 가리키는 일반 항목을 식별하는데 사용된다.
다음의 상세한 설명은 본 발명의 실시형태들 및 이들을 구현할 수 있는 방법을 설명한다. 본 발명 내용을 실행하는 일부 모드가 개시되었지만, 당업자라면 본 발명 내용을 수행하거나 실행하기 위한 다른 실시형태도 가능하다는 것을 인식할 것이다.
일 측면에서, 본 발명의 일 실시형태는,
컨텍스트 이미지를 렌더링하기 위한 적어도 하나의 컨텍스트 디스플레이로서, 렌더링된 컨텍스트 이미지의 투영의 각도 폭은 40도 내지 220도 범위인, 상기 적어도 하나의 컨텍스트 디스플레이와;
초점 이미지를 렌더링하기 위한 적어도 하나의 초점 디스플레이로서, 렌더링된 초점 이미지의 투영의 각도 폭은 5도 내지 60도의 범위인, 상기 적어도 하나의 초점 디스플레이와;
- 상기 렌더링된 컨텍스트 이미지의 투영을 상기 렌더링된 초점 이미지의 투영과 결합하여 시각적 장면을 생성하기 위한 적어도 하나의 광 결합기와;
- 시선 방향을 검출하기 위한 수단과;
- 상기 적어도 하나의 광 결합기 및 상기 시선 방향을 검출하기 위한 수단과 통신 결합된 프로세서를 포함하고, 상기 프로세서는,
(a) 입력 이미지를 수신하고, 상기 검출된 시선 방향을 사용하여 상기 입력 이미지의 시각 정확도의 영역을 결정하는 단계와;
(b) 상기 컨텍스트 이미지 및 상기 초점 이미지를 생성하도록 상기 입력 이미지를 처리하는 단계로서, 상기 컨텍스트 이미지는 제 1 해상도를 갖고 상기 초점 이미지는 제 2 해상도를 가지며,
- 상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하는 상기 컨텍스트 이미지의 영역이 마스킹되고,
- 상기 초점 이미지는 상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하고,
- 상기 제 2 해상도가 상기 제 1 해상도보다 높은, 상기 처리 단계와;
(c) 상기 적어도 하나의 컨텍스트 디스플레이에서 상기 컨텍스트 이미지 및 상기 적어도 하나의 초점 디스플레이에서 상기 초점 이미지를 실질적으로 동시에 렌더링하는 한편, 렌더링된 초점 이미지의 투영이 렌더링된 컨텍스트 이미지의 마스킹된 영역의 투영과 실질적으로 중첩하는 방식으로 상기 렌더링된 컨텍스트 이미지의 투영을 상기 렌더링된 초점 이미지의 투영과 결합하도록 상기 적어도 하나의 광 결합기를 제어하는 단계로 구성되는, 디스플레이 장치를 제공한다.
다른 측면에서, 본 발명의 일 실시형태는 적어도 하나의 컨텍스트 디스플레이, 적어도 하나의 초점 디스플레이, 적어도 하나의 광 결합기 및 시선 방향을 검출하기 위한 수단을 포함하는 디스플레이 장치를 통해 디스플레이하는 방법을 제공하며, 상기 방법은,
(i) 상기 적어도 하나의 컨텍스트 디스플레이에서 컨텍스트 이미지를 렌더링하는 단계로서, 렌더링된 컨텍스트 이미지의 투영의 각도 폭은 40도 내지 220도 범위인, 상기 컨텍스트 이미지를 렌더링하는 단계와;
(ii) 상기 적어도 하나의 초점 디스플레이에서 초점 이미지를 렌더링하는 단계로서, 렌더링된 초점 이미지의 투영의 각도 폭은 5도 내지 60도 범위인, 상기 초점 이미지를 렌더링하는 단계와;
(iii) 상기 적어도 하나의 광 결합기를 사용하여 상기 렌더링된 컨텍스트 이미지의 투영을 상기 렌더링된 초점 이미지의 투영과 결합하여 시각적 장면을 생성하는 단계와;
(iv) 시선 방향을 검출하고, 상기 검출된 시선 방향을 사용하여 입력 이미지의 시각 정확도의 영역을 결정하는 단계와;
(v) 상기 컨텍스트 이미지 및 상기 초점 이미지를 생성하도록 상기 입력 이미지를 처리하는 단계로서, 상기 컨텍스트 이미지는 제 1 해상도를 갖고, 상기 초점 이미지는 제 2 해상도를 가지며, 상기 제 2 해상도가 상기 제 1 해상도보다 높으며, 상기 처리 단계는,
- 상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하는 컨텍스트 이미지의 영역을 마스킹하는 단계와;
- 상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하도록 상기 초점 이미지를 생성하는 단계를 포함하는, 상기 처리 단계와;
(vi) 상기 렌더링된 초점 이미지의 투영이 상기 렌더링된 컨텍스트 이미지의 상기 마스킹된 영역의 투영과 실질적으로 중첩하는 방식으로 상기 렌더링된 컨텍스트 이미지의 투영을 상기 렌더링된 초점 이미지의 투영과 결합하도록 상기 적어도 하나의 광 결합기를 제어하는 단계를 포함하고,
상기 단계들 (i),(ii) 및 (vi)는 실질적으로 동시에 수행된다.
본 발명은 디스플레이 장치 및 상기 디스플레이 장치를 통해 디스플레이하는 방법을 제공한다. 여기에 설명된 디스플레이 장치는 초점 디스플레이 및 컨텍스트 디스플레이의 크기에 의해 동작이 제한되지 않는다. 따라서, 가상현실 장치와 같은 소형의 장치에서 용이하게 구현될 수 있다. 또한, 상기 디스플레이 장치는 눈의 시선 방향을 검출하고 인간 눈의 급속 안구운동(saccades) 및 미세환속운동(microsaccade)을 고려하여 인간 시각계의 능동 포비에이션(foveation)을 시뮬레이팅한다. 또한, 전술한 디스플레이 장치를 사용하여 디스플레이된 이미지는 광 결합기에 의한 그의 구성 투영들의 적절한 조합으로 인해 연속적으로 나타난다. 따라서, 전술한 디스플레이 장치는 인간의 시각계를 모방하기 위해 시선 우연(gaze contingency)을 모방한다. 또한, 디스플레이 장치의 구성요소들은 저렴하고 제조가 용이하다. 또한, 상기 디스플레이 장치를 사용하여 디스플레이하는 방법은 구현하기 쉽고, 견고한 능동 포비에이션(foveation) 능력을 갖는다.
상기 디스플레이 장치는 컨텍스트 이미지를 렌더링하기 위한 적어도 하나의 컨텍스트 디스플레이, 초점 이미지를 렌더링하기 위한 적어도 하나의 초점 디스플레이, 및 상기 렌더링된 컨텍스트 이미지의 투영을 상기 렌더링된 초점 이미지의 투영과 결합하여 시각적 장면을 생성하는 적어도 하나의 광 결합기를 포함한다. 렌더링된 컨텍스트 이미지의 투영의 각도 폭은 40도에서 220도 범위이다. 렌더링된 초점 이미지의 투영의 각도 폭은 5도에서 60도 범위이다. 구체적으로, 시각적 장면은 헤드 장착형 가상현실 장치, 가상현실 안경, 증강현실 헤드세트 등과 같은 장치의 사용자에게 제시될 모의된 환경 내의 장면에 해당할 수 있다. 더 구체적으로, 시각적 장면은 사용자의 눈에 투영될 수 있다. 그러한 예에서, 상기 장치는 본 명세서에서 설명된 디스플레이 장치를 포함할 수 있다.
선택적으로, 렌더링된 컨텍스트 이미지의 투영의 각도 폭은 220도를 초과할 수 있다. 그러한 예에서, 컨텍스트 이미지를 렌더링하기 위한 컨텍스트 디스플레이의 각도 치수는 220도보다 클 수 있다. 일 실시형태에 따르면, 렌더링된 컨텍스트 이미지의 투영의 각도 폭은, 예를 들어, 40, 50, 60, 70, 80, 90, 100, 110, 120, 130, 140, 150, 160 또는 170도로부터 70, 80, 90, 100, 110, 120, 130, 140, 150, 160, 170, 180, 190, 200, 210 또는 220도일 수 있다. 다른 실시형태에 따르면, 렌더링된 초점 이미지의 투영의 각도 폭은, 예를 들어, 5, 10, 15, 20, 25, 30, 35, 40, 45 또는 50도에서 15, 20, 25, 30, 35, 40, 45, 50, 55 또는 60도일 수 있다.
일 실시형태에서, 컨텍스트 이미지는 디스플레이 장치를 통해 렌더링되고 투영될 시각적 장면의 넓은 이미지에 관한 것이다. 구체적으로, 컨텍스트 이미지의 전술한 각도 폭은 사용자의 눈의 움직임과 관련된 급속 안구운동(saccades)을 수용한다. 다른 실시형태에서, 초점 이미지는 디스플레이 장치를 통해 렌더링되고 투영되는 이미지에 관한 것이다. 구체적으로, 전술한 초점 이미지의 각도 폭은 사용자의 눈의 움직임과 관련된 미세환속운동(microsaccade)을 수용한다. 또한, 초점 이미지는 컨텍스트 이미지보다 치수가 작다. 또한, 컨텍스트 이미지 및 초점 이미지는 그의 투영들의 조합시에 집합적으로 시각적 장면을 구성한다.
일 실시형태에서, 본 명세서에서 사용되는 '컨텍스트 디스플레이'라는 용어는 컨텍스트 이미지의 렌더링을 용이하게 하도록 적응된 디스플레이(또는 스크린)에 관한 것이다. 구체적으로, 상기 적어도 하나의 컨텍스트 디스플레이는 그 위에 컨텍스트 이미지의 투영을 수신하도록 적응될 수 있다. 일 실시형태에 따르면, 상기 적어도 하나의 컨텍스트 디스플레이는 액정 디스플레이(LCD), 발광 다이오드(LED)계 디스플레이, 유기 LED(OLED)계 디스플레이, 마이크로 OLED계 디스플레이, 및 LCoS(Liquid Crystal on Silicon)계 디스플레이로 이루어진 군으로부터 선택될 수 있다.
일 실시형태에서, 본 명세서에서 사용되는 '초점 디스플레이'라는 용어는 그 위에 초점 이미지의 렌더링을 용이하게 하도록 적응된 디스플레이(또는 스크린)에 관한 것이다. 구체적으로, 상기 적어도 하나의 초점 디스플레이는 그 위에 초점 이미지의 투영을 수신하도록 적응될 수 있다. 일 실시형태에 따르면, 상기 적어도 하나의 초점 디스플레이는 액정 디스플레이(LCD), 발광 다이오드(LED)계 디스플레이, 유기 LED(OLED)계 디스플레이, 마이크로 OLED계 디스플레이, 및 LCoS(Liquid Crystal on Silicon)계 디스플레이로 이루어진 군으로부터 선택될 수 있다.
선택적으로, 상기 적어도 하나의 컨텍스트 디스플레이 및/또는 상기 적어도 하나의 초점 디스플레이는 적어도 하나의 프로젝터 및 적어도 하나의 투영 스크린을 통해 구현된다. 예를 들어, 하나의 컨텍스트 디스플레이는 하나의 프로젝터 및 상기 하나의 프로젝터와 관련된 하나의 투영 스크린을 통해 구현될 수 있다.
일 실시형태에 따르면, 상기 적어도 하나의 컨텍스트 디스플레이는 정적으로 위치될 수 있고, 상기 적어도 하나의 초점 디스플레이는 렌더링된 컨텍스트 및 초점 이미지들의 원하는 투영을 위해 이동 가능할 수 있다. 구체적으로, 상기 적어도 하나의 초점 디스플레이는 렌더링된 초점 이미지의 투영의 위치를 조정하기 위해 이동될 수 있다. 대안적으로, 상기 적어도 하나의 컨텍스트 디스플레이 및 초점 디스플레이는 위치 교환될 수 있다. 구체적으로, 그러한 경우에, 적어도 하나의 컨텍스트 디스플레이는 이동 가능할 수 있고 적어도 하나의 초점 디스플레이는 정적으로 위치될 수 있다.
일 실시형태에서, 적어도 하나의 컨텍스트 디스플레이의 치수는 적어도 하나의 초점 디스플레이의 치수와 비교하여 더 크다. 구체적으로, 적어도 하나의 초점 디스플레이는 적어도 하나의 컨텍스트 디스플레이보다 크기가 훨씬 작을 수 있다. 따라서, 적어도 하나의 초점 디스플레이가 적어도 하나의 컨텍스트 디스플레이와 비교하여 쉽게 이동될 수 있음이 명백할 수 있다.
디스플레이 장치는 렌더링된 컨텍스트 이미지의 투영과 렌더링된 초점 이미지의 투영을 결합하여 시각적 장면을 생성하는 적어도 하나의 광 결합기를 포함한다. 본 발명의 일 실시형태에 따르면, 본 명세서에 사용된 용어 '광 결합기'는 렌더링된 컨텍스트 이미지의 투영과 렌더링된 초점 이미지의 투영을 결합하여 시각적 장면을 구성하는 장비(예: 광학 소자)에 관한 것이다. 구체적으로, 적어도 하나의 광 결합기는 인간 시각계의 능동 포비에이션을 시뮬레이팅하도록 구성될 수 있다.
디스플레이 장치는 시선 방향을 검출하기 위한 수단과, 상기 적어도 하나의 광 결합기 및 상기 시선 방향을 검출하기 위한 수단과 통신 결합된(coupled in communication) 프로세서를 더 포함한다.
일 실시형태에서, 프로세서는 디스플레이 장치의 동작을 제어하기에 적합한 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합일 수 있다. 구체적으로, 프로세서는 디스플레이 장치의 동작을 제어하여 시각적 장면을 처리하고 사용자의 시야에 디스플레이(또는 투영)할 수 있다. 디스플레이 장치가 사용자와 관련된 장치 내에서 사용되는 경우에, 프로세서는 장치 외부에 있을 수도 그렇지 않을 수도 있다.
선택적으로, 프로세서는 메모리 유닛에 통신 가능하게 결합될 수 있다. 일 실시형태에서, 메모리 유닛은 프로세서에 의해 처리될 이미지를 저장하기에 적합한 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합일 수 있다.
일 실시형태에서, 시선 방향을 검출하기 위한 수단은 눈 추적기와 같은 눈의 움직임 및 눈의 시선의 방향을 측정하기 위한 특수 장비에 관한 것이다. 구체적으로, 시선 방향의 정확한 검출은 디스플레이 장치가 그 위에 시선 우연(gaze contingency)을 근접하게 구현할 수 있게 한다. 또한, 시선 방향을 검출하기 위한 수단은 눈에 접촉되어 배치되거나 배치되지 않을 수 있다. 시선 방향을 검출하기 위한 수단의 예는 센서를 구비한 콘택트렌즈, 눈동자의 위치를 감시하는 카메라 등을 들 수 있다.
상기 프로세서는 입력 이미지를 수신하고 상기 검출된 시선 방향을 사용하여 상기 입력 이미지의 시각 정확도의 영역을 결정하도록 구성된다. 일 실시형태에 따르면, 본 명세서에 사용된 '입력 이미지'라는 용어는 디스플레이 장치를 통해 디스플레이될 이미지(예를 들어, 상기 시각적 장면의 이미지)에 관한 것이다. 일 실시형태에서, 입력 이미지는 사용자와 관련된 장치에 결합된 이미지 센서로부터 수신될 수 있다. 구체적으로, 이미지 센서는 실제 환경의 이미지를 눈에 투영될 입력 이미지로서 포착할 수 있다. 일례에서, 프로세서는 사용자와 관련된 헤드 장착형 가상현실 장치의 이미지 센서로부터 사용자가 있을 수 있는 커피 숍의 입력 이미지를 수신한다. 다른 실시형태에서, 입력 이미지는 프로세서에 통신 가능하게 결합된 메모리 유닛으로부터 수신될 수 있다. 구체적으로, 메모리 유닛은 동영상 전문가 그룹(MPEG), 공동 영상 전문가 그룹(JPEG), TIFF(Tagged Image File Format), 이동성 네트워크 그래픽(PNG), 도형 교환 포맷(GIF), 및 비트맵 파일 포맷(BMP)을 포함하지만 그에 제한되지 않는 적절한 형식으로 상기 입력 이미지를 저장하도록 구성될 수 있다.
전술한 실시형태에서, 프로세서는 검출된 시선 방향을 사용하여 입력 이미지의 시각 정확도의 영역을 결정할 수 있다. 일 실시형태에서, 시각 정확도의 영역은 눈의 검출된 시선 방향이 초점화될 수 있는 입력 이미지의 영역에 관련된다. 구체적으로, 시각 정확도의 영역은 입력 이미지 내의 관심 영역(또는 고정점)일 수 있고, 눈의 중심와(fovea) 상에 투영될 수 있다. 또한, 시각 정확도의 영역은 입력 이미지 내의 초점의 영역일 수 있다. 따라서, 시각 정확도의 영역은 입력 이미지가 인간의 시각계에 의해 보여질 때, 입력 이미지의 다른 영역들에 비해 훨씬 더 상세하게 분석된 영역에 관련된다는 것이 명백할 수 있다.
또한, 입력 이미지의 시각 정확도의 영역을 결정한 후, 프로세서는 컨텍스트 이미지 및 초점 이미지를 생성하도록 입력 이미지를 처리하도록 구성되며, 상기 컨텍스트 이미지는 제 1 해상도를 갖고 상기 초점 이미지는 제 2 해상도를 갖는다. 제 2 해상도는 제 1 해상도보다 높다. 초점 이미지는 입력 이미지의 시각 정확도의 영역에 실질적으로 대응한다. 구체적으로, 컨텍스트 이미지는 입력 이미지의 저해상도 표현에 해당한다. 따라서, 컨텍스트 이미지에는 입력 이미지의 시각 정확도의 영역과 입력 이미지의 나머지 영역이 포함된다. 보다 구체적으로, 눈의 검출된 시선 방향이 초점화될 수 있는 컨텍스트 이미지의 일부에만 상기 초점 이미지가 대응하기 때문에, 상기 컨텍스트 이미지의 크기는 상기 초점 이미지의 크기보다 크다.
일 실시형태에서, 제 1 해상도 및 제 2 해상도는 각도 해상도로 이해될 수 있다. 구체적으로, 제 2 해상도를 나타내는 각도당 픽셀수(Pixels Per Degree)는 제 1 해상도를 나타내는 각도당 픽셀수보다 높다. 예를 들어, 사용자의 눈의 중심와(fovea)는 2도의 시야에 대응하고, 각도당 57 픽셀수를 나타내는 114 픽셀과 동일한 각도 단면적의 초점 이미지의 투영을 수신한다. 따라서, 초점 이미지에 대응하는 각도 픽셀 크기(angular pixel size)는 2/114 또는 0.017일 것이다. 또한, 이러한 예에서, 눈의 망막은 180도의 시야에 대응하고, 각도당 15 픽셀수를 나타내는 2700 픽셀과 동일한 각도 단면적의 컨텍스트 이미지의 투영을 수신한다. 따라서, 컨텍스트 이미지에 대응하는 각도 픽셀 크기는 180/2700 또는 0.067일 것이다. 계산된 바와 같이, 컨텍스트 이미지에 대응하는 각도 픽셀 크기는 초점 이미지에 대응하는 각도 픽셀 크기보다 분명히 훨씬 크다. 그러나, 입력 이미지의 시각 정확도의 영역에 대응하는, 컨텍스트 이미지의 일부에만 상기 초점 이미지가 대응하기 때문에, 상기 초점 이미지에 비해 상기 컨텍스트 이미지는 픽셀들의 총수로 나타내어지는 인지 각도 해상도가 더 클수 있다.
또한, 컨텍스트 이미지 및 초점 이미지의 생성과 함께, 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하는 컨텍스트 이미지의 영역이 마스킹된다. 또한, 초점 이미지는 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하고, 제 2 해상도는 제 1 해상도보다 높다. 구체적으로, 마스킹은 프로세서에 의해 수행되어 입력 이미지의 시각 정확도의 영역에 대응하는 컨텍스트 이미지의 영역을 숨기거나(또는 불투명하게) 할 수 있다. 예를 들어, 입력 이미지의 시각 정확도의 영역에 대응하는 컨텍스트 이미지의 픽셀들은 마스킹을 위해 디밍될(dimmed) 수 있다.
입력 이미지를 처리한 후, 상기 프로세서는, 상기 적어도 하나의 컨텍스트 디스플레이에서 상기 컨텍스트 이미지 및 상기 적어도 하나의 초점 디스플레이에서 상기 초점 이미지를 실질적으로 동시에 렌더링하는 한편, 렌더링된 초점 이미지의 투영이 렌더링된 컨텍스트 이미지의 마스킹된 영역의 투영과 실질적으로 중첩하는 방식으로 상기 렌더링된 컨텍스트 이미지의 투영을 상기 렌더링된 초점 이미지의 투영과 결합하도록 상기 적어도 하나의 광 결합기를 제어하게 구성된다. 구체적으로, 상기 렌더링된 컨텍스트 및 초점 이미지들의 결합된 투영들은 집합적으로 입력 이미지의 투영을 구성한다. 투영들의 결합 동안에 시간 지연을 회피하기 위해 컨텍스트 이미지 및 초점 이미지가 실질적으로 동시에 렌더링 된다는 것이 명백할 수 있다.
렌더링된 컨텍스트 이미지의 투영의 각도 폭은 렌더링된 초점 이미지의 투영의 각도 폭보다 크다. 이는 렌더링된 초점 이미지가 일반적으로 눈의 중심와(fovea) 상에 및 주변에 투영되는 반면, 렌더링된 컨텍스트 이미지는 상기 중심와가 단지 작은 부분인 눈의 망막에 투영된다는 사실 때문이다. 구체적으로, 렌더링된 컨텍스트 및 초점 이미지들의 결합은 입력 이미지를 구성하고, 눈에 투사되어 그 위에 입력 이미지를 투영할 수 있다.
컨텍스트 이미지를 렌더링하고, 초점 이미지를 렌더링하고, 렌더링된 컨텍스트 이미지의 투영을 렌더링된 초점 이미지의 투영과 결합하도록 적어도 하나의 광 결합기를 제어하는 것은 실질적으로 동시에 수행된다.
상기 적어도 하나의 광 결합기는 렌더링된 컨텍스트 이미지의 마스킹된 영역의 투영과 렌더링된 초점 이미지의 투영을 실질적으로 중첩하여 입력 이미지의 시각 정확도의 영역의 왜곡을 회피한다. 구체적으로, 입력 이미지의 시각 정확도의 영역은 저해상도의 렌더링된 컨텍스트 이미지와 고해상도의 렌더링된 초점 이미지 모두 내에서 표현된다. 동일한 영역의 저해상도 이미지 및 고해상도 이미지의 투영들의 중첩(또는 포개짐)은 동일한 영역의 외관의 왜곡을 초래한다. 또한, 고해상도의 렌더링된 초점 이미지는 저해상도의 렌더링된 컨텍스트 이미지와 비교하여 입력 이미지의 시각 정확도의 영역에 속하는 더 많은 정보를 포함할 수 있다. 따라서, 왜곡 없이 상기 렌더링된 고해상도의 초점 이미지를 투영하도록, 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하는 컨텍스트 이미지의 영역이 마스킹된다.
또한, 프로세서는 입력 이미지의 시각 정확도의 영역과 입력 이미지의 나머지 영역 사이에 전이 영역층(또는 에지)이 최소화되도록 입력 이미지의 시각 정확도의 영역에 대응하는 컨텍스트 이미지의 영역을 마스킹하도록 구성될 수 있다. 디스플레이된 입력 이미지의 시각 정확도의 영역이 초점 이미지의 투영(및 컨텍스트 이미지의 마스킹된 영역)에 대응하는 한편, 디스플레이된 입력 이미지의 나머지 영역은 컨텍스트 이미지의 투영에 대응한다는 것을 이해해야 한다. 구체적으로, 상기 마스킹은, 디스플레이된 입력 이미지가 연속적이게 나타나도록 상기 포개진 컨텍스트 이미지와 초점 이미지 사이에 전이 영역층을 최소화하게 점진적인 계조(gradual gradation)로서 수행되어야만 한다. 예를 들어, 프로세서는 입력 이미지의 시각 정확도의 영역에 대응하는 컨텍스트 이미지의 픽셀을 상당히 희미하게 할 수 있고, 입력 이미지의 시각 정확도의 영역으로부터 거리가 멀어짐에 따라 픽셀의 디밍(dimming) 양을 점차 감소시킬 수 있다.
선택적으로, 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하는 컨텍스트 이미지의 영역을 마스킹하는 것은 상기 전이 영역에서의 컨텍스트 이미지와 초점 이미지 사이에 역치의 선형 투명도 마스크 블렌드(linear transparency mask blend of inverse values), 사용자의 눈에 의한 자연적 검출이 어려운 형상을 포함하는 스텔스(또는 위장) 패턴 등을 이용하여 수행될 수 있다. 상기 렌더링된 컨텍스트 및 초점 이미지들의 결합된 투영들의 배치 및 외관이 부적절하고/하거나 불연속성을 갖는 경우, 입력 이미지의 투영도 마찬가지로 부적절할 것이다.
일 실시형태에서, 프로세서는 적어도 하나의 컨텍스트 디스플레이 및 적어도 하나의 초점 디스플레이 중의 적어도 하나에 대해 이미지 처리 기능을 구현할 수 있다. 구체적으로, 이미지 처리 기능은 적어도 하나의 컨텍스트 디스플레이에서 컨텍스트 이미지 및 초점 디스플레이에서 적어도 하나의 초점 이미지를 렌더링하기 전에 구현될 수 있다. 더 구체적으로, 이러한 이미지 처리 기능의 구현은 렌더링된 컨텍스트 및 초점 이미지들의 품질을 최적화할 수 있다. 따라서, 적어도 하나의 컨텍스트 디스플레이 및 적어도 하나의 초점 디스플레이 중의 적어도 하나의 특성 및 입력 이미지의 특성을 고려하여 이미지 처리 기능이 선택될 수 있다.
일 실시형태에 따르면, 적어도 하나의 컨텍스트 디스플레이에 대한 이미지 처리 기능은 인지된 컨텍스트 이미지 품질을 최적화하기 위한 적어도 하나의 기능을 포함할 수 있으며, 상기 적어도 하나의 기능은 저역 통과 여과, 색 처리 및 감마 보정을 포함하는 군으로부터 선택된다. 일 실시형태에서, 적어도 하나의 컨텍스트 디스플레이에 대한 이미지 처리 기능은 렌더링된 컨텍스트 및 초점 이미지들의 결합된 투영들의 경계상에서 인지된 왜곡을 최소화하기 위한 에지 처리(edge processing)를 더 포함할 수 있다.
다른 실시형태에 따르면, 적어도 하나의 초점 디스플레이에 대한 이미지 처리 기능은 인지된 초점 이미지 품질을 최적화하기 위한 적어도 하나의 기능을 포함할 수 있으며, 상기 적어도 하나의 기능은 이미지 절단, 이미지 선명화, 색 처리 및 감마 보정을 포함하는 군으로부터 선택된다. 일 실시형태에서, 적어도 하나의 초점 디스플레이에 대한 이미지 처리 기능은 렌더링된 컨텍스트 및 초점 이미지들의 결합된 투영들의 경계상에서 인지된 왜곡을 최소화하기 위한 에지 처리를 더 포함할 수 있다.
일 실시형태에서, 적어도 하나의 광 결합기는, 렌더링된 컨텍스트 이미지의 투영이 실질적으로 통과하게끔 하는 한편, 렌더링 초점 이미지의 투영을 실질적으로 반사시키기 위해, 또는, 렌더링된 초점 이미지의 투영이 실질적으로 통과하게끔 하는 한편, 렌더링된 컨텍스트 이미지의 투영을 실질적으로 반사시키기 위해 배치되는 적어도 하나의 제 1 광학 소자를 포함할 수 있다. 구체적으로, 적어도 하나의 제 1 광학 소자는 렌더링된 컨텍스트 및 초점 이미지들의 투영들의 광 경로들을 결합하도록 배열될 수 있다. 적어도 하나의 제 1 광학 소자의 이와 같은 배열은 눈의 중심와 상에 및 주위에서 렌더링된 초점 이미지의 투영을 용이하게 하고, 상기 중심와가 단지 작은 부분인, 눈의 망막 상에서 렌더링된 컨텍스트 이미지의 투영이 투사되는 것이 분명하다. 일 실시형태에서, 적어도 하나의 광 결합기의 적어도 하나의 제 1 광학 소자는 반투명 거울, 반투명 필름, 프리즘, 편광기, 광 도파관 중의 하나 이상을 통해 구현될 수 있다.
예를 들어, 적어도 하나의 광 결합기의 적어도 하나의 제 1 광학 소자는 광 도파관으로서 구현될 수 있다. 이러한 예에서, 광 도파관은 렌더링된 초점 이미지의 투영이 그로부터 반사됨으로써 사용자 눈의 시야로 통과하도록 배열될 수 있다. 또한, 이러한 예에서, 광 도파관은 적어도 하나의 컨텍스트 디스플레이(및 구체적으로, 컨텍스트 이미지)가 그를 통해 보일 수 있게 투명할 수 있다. 따라서, 광 도파로는 반투명일 수 있다. 다른 방법으로, 광 도파관은 렌더링된 컨텍스트 이미지의 투영이 그로부터 반사됨으로써 사용자 눈의 시야로 통과할 수 있도록 배열될 수 있으며, 광 도파관은 적어도 하나의 초점 디스플레이(및 구체적으로, 초점 이미지)가 그를 통해 보이게 투명할 수 있다. 이러한 구현은 적어도 하나의 초점 디스플레이가 그것과 연관된 액추에이터를 사용하여 이동 가능한 적어도 하나의 프로젝터를 통해 구현되는 경우에도 활용될 수 있다.
일 실시형태에서, 광 도파관은 마이크로프리즘, 미러, 회절 광학 등과 같은 광학 소자를 더 포함할 수 있다. 선택적으로, 광 도파관은 기울일 수 있고 및/또는 움직일 수 있다.
일 실시형태에 따르면, 적어도 하나의 광 결합기는 적어도 하나의 광 결합기의 적어도 하나의 제 1 광학 소자에 대해 적어도 하나의 초점 디스플레이를 이동시키는 적어도 하나의 제 1 액추에이터를 포함할 수 있으며, 여기서, 프로세서는 상기 적어도 하나의 제 1 광학 소자 상에서 렌더링된 초점 이미지의 투영의 위치를 조정하도록 상기 적어도 하나의 제1 액추에이터를 제어하도록 구성된다. 구체적으로, 적어도 하나의 제 1 액추에이터는 눈의 시선 방향이 한 방향에서 다른 방향으로 이동할 때에 적어도 하나의 초점 디스플레이를 움직일 수 있다. 그러한 예에서, 적어도 하나의 광학 소자 및 적어도 하나의 초점 디스플레이의 배열은 렌더링된 초점 이미지를 눈의 중심와 상에 및 주위로 투사할 수 없다. 따라서, 시선 방향의 이동이 발생하여도 렌더링된 초점 이미지가 눈의 중심와 상에 및 주위에서 투영될 수 있게 적어도 하나의 제 1 광학 소자 상에서 렌더링된 초점 이미지의 투영의 위치를 조정하도록, 프로세서는 적어도 하나의 제 1 액추에이터를 제어하여 적어도 하나의 제 1 광학 소자에 대해 적어도 하나의 초점 디스플레이를 이동시킬 수 있다. 보다 구체적으로, 프로세서는 작동 신호(전류, 유압 등)를 생성함으로써 적어도 하나의 제 1 액추에이터를 제어할 수 있다.
일 예에서, 적어도 하나의 제 1 액추에이터는 적어도 하나의 제 1 광학 소자로부터 더 가깝거나 멀어지게 적어도 하나의 초점 디스플레이를 움직일 수 있다. 다른 예에서, 적어도 하나의 제 1 액추에이터는 적어도 하나의 제 1 광학 소자에 대하여 적어도 하나의 초점 디스플레이를 측 방향으로 이동시킬 수 있다. 또 다른 예에서, 적어도 하나의 제 1 액추에이터는 적어도 하나의 제 1 광학 소자에 대해 적어도 하나의 초점 디스플레이를 기울이고 및/또는 회전시킬 수 있다.
다른 실시형태에 따르면, 적어도 하나의 광 결합기는 적어도 하나의 제 1 광학 소자와 적어도 하나의 초점 디스플레이 사이의 광 경로 상에 위치되는 적어도 하나의 제 2 광학 소자와, 상기 적어도 하나의 제 1 광학 소자에 대하여 상기 적어도 하나의 제 2 광학 소자를 이동시키는 적어도 하나의 제 2 액추에이터를 포함할 수 있다. 이러한 실시형태에서, 적어도 하나의 제 2 광학 소자는 렌즈, 프리즘, 미러 및 빔 스플리터로 이루어진 군으로부터 선택될 수 있다. 또한, 이러한 실시형태에서, 프로세서는 적어도 하나의 제 1 광학 소자상에서 렌더링된 초점 이미지의 투영의 위치를 조정하게 적어도 하나의 제 2 액추에이터를 제어하도록 구성된다. 구체적으로, 제 2 광학 소자는, 시선 방향의 이동이 발생하여도 렌더링된 초점 이미지의 투영을 눈의 중심와 상에 및 주위에서 용이하게 하도록 적어도 하나의 제 1 광학 소자 상에서 렌더링된 초점 이미지의 투영의 광 경로를 변경할 수 있다. 보다 구체적으로, 프로세서는 작동 신호(전류, 유압 등과 같은)를 생성함으로써 적어도 하나의 제 2 액추에이터를 제어할 수 있다.
예를 들어, 2개의 프리즘이 반투명 미러(적어도 하나의 제 1 광학 소자)와 적어도 하나의 초점 디스플레이 사이의 광 경로 상에 배치될 수 있다. 구체적으로, 렌더링된 초점 이미지의 투영의 광 경로는 두 개의 프리즘을 통과할 때 변경되어 렌더링된 초점 이미지의 투영의 위치를 반투명 미러 상에서 조정할 수 있다. 또한, 두 개의 프리즘은 시선 방향의 이동이 발생하여도 렌더링된 초점 이미지의 투영을 눈의 중심와 상에 및 주위에서 용이하게 하도록 적어도 하나의 제 2 액추에이터에 의해 횡 방향 및/또는 측 방향으로 이동되고, 회전되고, 기울어질 수 있다.
본 발명의 일 실시형태에서, 적어도 하나의 광 결합기는 적어도 하나의 제 1 광학 소자를 이동시키는 적어도 하나의 제 3 액추에이터를 포함할 수 있으며, 프로세서는 상기 적어도 하나의 제 1 광학 소자 상에 렌더링된 초점 이미지의 투영의 위치를 조정하도록 적어도 하나의 제 3 액추에이터를 제어하도록 구성된다. 구체적으로, 적어도 하나의 제 3 액추에이터는 시선 방향의 이동이 발생하여도 렌더링된 초점 이미지의 투영을 눈의 중심와 상에 및 주위에서 용이하게 하도록 적어도 하나의 제 1 광학 소자를 이동시킬 수 있다. 보다 구체적으로, 프로세서는 작동 신호(전류, 유압 등과 같은)를 생성함으로써 적어도 하나의 제 3 액추에이터를 제어할 수 있다.
일 예에서, 적어도 하나의 제 3 액추에이터는 적어도 하나의 제 1 광학 소자를 적어도 하나의 초점 디스플레이에 가깝게 또는 멀리 이동시킬 수 있다. 다른 예에서, 적어도 하나의 제 3 액추에이터는 적어도 하나의 초점 디스플레이에 대해 적어도 하나의 제 1 광학 소자를 측 방향으로 이동시킬 수 있다. 또 다른 예에서, 적어도 하나의 제 3 액추에이터는 적어도 하나의 제 1 광학 소자를 기울이고 및/또는 회전시킬 수 있다.
일 실시형태에 따르면, 상기 디스플레이 장치는 상기 적어도 하나의 제 1 광학 소자와 상기 적어도 하나의 초점 디스플레이 사이의 광 경로 상에 위치되는 적어도 하나의 초점 렌즈와, 상기 적어도 하나의 초점 디스플레이에 대하여 상기 적어도 하나의 초점 렌즈를 이동시키기 위한 적어도 하나의 제 4 액추에이터를 포함할 수 있다. 그러한 실시형태에서, 프로세서는 렌더링된 초점 이미지의 투영의 초점을 조정하도록 상기 적어도 제 4 액추에이터를 제어하게 구성될 수 있다. 구체적으로, 적어도 하나의 초점 렌즈는 그의 광 경로를 변화시킴으로써 렌더링된 초점 이미지의 투영의 초점을 조정하도록 그의 특수한 특성을 이용할 수 있다. 더 구체적으로, 렌더링된 초점 이미지의 투영의 초점은 디옵터 튜닝(diopter tuning), 비점수차 보정(astigmatism correction) 등을 수용하도록 조정될 수 있다. 보다 구체적으로, 프로세서는 작동 신호(전류, 유압 등과 같은)를 생성함으로써 적어도 하나의 제 4 액추에이터를 제어할 수 있다.
다른 실시형태에 따르면, 상기 디스플레이 장치는 상기 적어도 하나의 제 1 광학 소자와 상기 적어도 하나의 초점 디스플레이 사이의 광 경로 상에 위치되는 적어도 하나의 초점 렌즈를 포함할 수 있으며, 상기 프로세서는 상기 적어도 하나의 초점 렌즈에 제어 신호를 인가함에 의해 상기 적어도 하나의 초점 렌즈의 적어도 하나의 능동 광학 특성을 제어하도록 구성된다. 구체적으로, 적어도 하나의 초점 렌즈의 능동 광학 특성은 초점 길이 및 광 출력을 포함할 수 있지만, 이에 한정되는 것은 아니다. 또한, 이러한 실시형태에서, 제어 신호는 전기 신호, 유압 등일 수 있다.
일 실시형태에서, 적어도 하나의 초점 렌즈는 액정 렌즈(LC 렌즈) 등일 수 있다. 선택적으로, 적어도 하나의 초점 렌즈는 적어도 하나의 제 1 광학 소자와 적어도 하나의 컨텍스트 디스플레이 사이의 광 경로 상에 위치될 수 있다.
적어도 하나의 컨텍스트 디스플레이 및 초점 디스플레이의 물리적인 크기(또는 치수)는 상술한 디스플레이 장치의 동작을 제한하지 않을 수 있음을 이해해야 한다. 구체적으로, 물리적으로 작은 크기의 컨텍스트 및 초점 디스플레이들은 렌더링된 컨텍스트 및 초점 이미지들의 광 경로에서 확대 렌즈들과 함께 사용되어 소망하는 크기를 갖는 그의 투영들을 보장할 수 있다.
선택적으로, 전술한 디스플레이 장치는 다른(another) 입력 이미지를 수신하고, 상기 다른 입력 이미지를 처리하여 다른 초점 및 컨텍스트 이미지들을 생성하고, 상기 다른 초점 및 컨텍스트 이미지들을 렌더링하는 한편, 상기 렌더링된 다른 초점 및 컨텍스트 이미지들의 투영들을 결합하도록 사용될 수 있다. 일 예에서, 상기 다른(another) 입력 이미지는 사용자와 관련된 헤드 장착형 가상현실 장치의 비디오카메라로부터 수신될 수 있다.
본 설명은 또한 전술한 바와 같은 방법에 관한 것이다. 상기에서 개시된 다양한 실시형태 및 변형 예가 상기 방법에 준용된다.
보다 구체적으로, 상기 방법은 렌더링된 컨텍스트 이미지의 투영이 실질적으로 통과하게끔 하는 한편, 렌더링된 초점 이미지의 투영을 실질적으로 반사시키기 위한, 또는 렌더링된 초점 이미지의 투영이 실질적으로 통과하게끔 하는 한편, 렌더링된 컨텍스트 이미지의 투영을 실질적으로 반사시키기 위한 적어도 하나의 광 결합기의 적어도 하나의 제 1 광학 소자를 준비하는 단계를 더 포함할 수 있다.
다른 실시형태에 따르면, 상기 방법은 상기 적어도 하나의 제 1 광학 소자 상에 렌더링된 초점 이미지의 투영의 위치를 조정하는 단계를 포함할 수 있다. 상기 조정 단계는 적어도 하나의 광 결합기의 적어도 하나의 제 1 광학 소자에 대해 적어도 하나의 초점 디스플레이를 이동시키도록 적어도 하나의 광 결합기의 적어도 하나의 제 1 액추에이터를 제어함에 의해 수행될 수 있다. 상기 조정 단계는 적어도 하나의 제 1 광학 소자에 대해 적어도 하나의 광 결합기의 적어도 하나의 제 2 광학 소자를 이동시키도록 적어도 하나의 광 결합기의 적어도 하나의 제 2 액추에이터를 제어함에 의해 수행될 수 있으며, 상기 적어도 하나의 제 2 광학 소자는 적어도 하나의 제 1 광학 소자와 적어도 하나의 초점 디스플레이 사이의 광 경로 상에 위치된다. 또 다른 실시형태에서, 상기 조정 단계는 적어도 하나의 제 1 광학 소자를 이동시키도록 적어도 하나의 광 결합기의 적어도 하나의 제 3 액추에이터를 제어함으로써 수행된다.
상기 방법은 또한, 상기 렌더링된 초점 이미지의 상기 투영의 초점을 조정하기 위해, 상기 적어도 하나의 초점 디스플레이에 대해 상기 디스플레이 장치의 적어도 하나의 초점 렌즈를 이동시키도록 상기 디스플레이 장치의 적어도 하나의 제 4 액추에이터를 제어하는 단계를 포함할 수 있으며, 상기 적어도 하나의 초점 렌즈는 상기 적어도 하나의 제 1 광학 소자와 상기 적어도 하나의 초점 디스플레이 사이의 광 경로 상에 위치한다.
도면의 상세한 설명
도 1을 참조하면, 본 발명의 일 실시형태에 따른, 디스플레이 장치를 사용하기 위한 환경(100)의 개략도가 도시된다. 환경(100)은 헤드 장착형 가상현실 장치와 같은 장치(104)를 착용한 사용자(102)를 포함한다. 예시적인 환경(100)에서, 장치(104)는 가상 환경을 구현할 수 있다. 또한, 장치(104)는 능동 포비에이션(foveation)을 착용한 디스플레이 장치(도시되지 않음)를 포함한다. 또한, 장치(104)의 동작은 처리 유닛(108)에 의해 제어된다. 도시된 바와 같이, 사용자(102)는 핸드헬드형 액추에이터(106A, 106B)를 잡아 가상 환경과 상호 작용한다. 따라서, 환경(100)은 또한, 장치(104) 및 핸드헬드형 액추에이터(106A, 106B)의 공간 좌표를 식별하기 위한 공간 로케이터(110A, 110B)를 포함한다. 공간 로케이터는(110A, 110B)은 식별된 공간 좌표들을 처리 유닛(108)에 전송하도록 구성된다.
도 2를 참조하면, 본 발명의 일 실시형태에 따른 디스플레이 장치(200)(도 1의 장치(104)의 디스플레이 장치와 같은)의 구조의 블록도가 도시된다. 디스플레이 장치(200)는 컨텍스트 이미지를 렌더링하기 위한 적어도 하나의 컨텍스트 디스플레이(202), 초점 이미지를 렌더링하기 위한 적어도 하나의 초점 디스플레이(204), 및 렌더링된 컨텍스트 이미지의 투영을 렌더링된 초점 이미지의 투영과 결합하여 시각적 장면을 생성하기 위한 적어도 하나의 광 결합기(206)를 포함한다.
도 3을 참조하면, 본 발명의 다른 실시형태에 따른 디스플레이 장치(300)(도 1의 장치(104)의 디스플레이 장치와 같은)의 구조의 블록도가 도시된다. 디스플레이 장치(300)는 컨텍스트 이미지를 렌더링하기 위한 적어도 하나의 컨텍스트 디스플레이(302), 초점 이미지를 렌더링하기 위한 적어도 하나의 초점 디스플레이(304), 적어도 하나의 광 결합기(306), 시선 방향을 검출하기 위한 수단(308), 및 프로세서(310)를 포함한다. 광 결합기(306)는 렌더링된 컨텍스트 이미지의 투영을 렌더링된 초점 이미지의 투영과 결합하여 시각적 장면을 생성한다. 도시된 바와 같이, 프로세서(310)는 적어도 하나의 컨텍스트 디스플레이(302) 및 적어도 하나의 초점 디스플레이(304)에 연결된다. 또한, 프로세서(310)는 적어도 하나의 광 결합기(306) 및 시선 방향을 검출하기 위한 수단(308)과 통신 결합된다.
도 4a를 참조하면, 본 발명의 일 실시형태에 따른, 눈(402)에 대한 디스플레이 장치(도 3에 도시된 디스플레이 장치(300)와 같은)의 예시적인 동작이 도시된다. 도시된 바와 같이, 눈의 시선 방향은 직선(또는 앞 방향)이다. 시선(406)은 눈(402) 상에 투시되는 시선 방향을 따른 시야의 중심을 나타낸다는 것을 분명히 알 수 있다. 또한, 중심와(fovea)(404)는 눈(402)의 망막 중심부의 함몰형 영역이다. 시선 방향을 따른 시야의 입력 이미지가 적어도 하나의 컨텍스트 디스플레이(302)와, 적어도 하나의 초점 디스플레이(304)와, 적어도 하나의 제 1 광학 소자(306A) 및 적어도 하나의 제 1 액추에이터(306B)와 같은 적어도 하나의 광 결합기(306)를 포함하는 것으로 도시된 디스플레이 장치를 사용하여 눈(402) 상에 투영된다. 일 예에서, 적어도 하나의 제 1 광학 소자(306A)는 반투명 미러이다. 적어도 하나의 제 1 액추에이터(306B)는 적어도 하나의 광 결합기(306)의 적어도 하나의 제 1 광학 소자(306A)에 대하여 적어도 하나의 초점 디스플레이(304)를 이동시키도록 동작 가능하다. 적어도 하나의 초점 디스플레이(304)는 적어도 하나의 제 1 광학 소자(306A) 및 적어도 하나의 제 1 액추에이터(306B)를 사용하여 중심와(404) 상에 초점 이미지를 투영한다. 구체적으로, 적어도 하나의 제 1 광학 소자(306A)는 적어도 하나의 초점 디스플레이(304)로부터의 중심와(fovea)(404)로 광선을 반사시킨다. 적어도 하나의 컨텍스트 디스플레이(302)는 컨텍스트 이미지를 실질적으로 적어도 하나의 제 1 광학 소자(306A)를 통해 눈(402) 상에 투영한다. 적어도 하나의 제 1 광학 소자(306A) 및 적어도 하나의 제 1 액추에이터(306B)는 초점 이미지의 투영이 컨텍스트 이미지의 마스킹된 영역(408)의 투영과 실질적으로 중첩하는 방식으로 상기 컨텍스트 이미지의 투영이 상기 초점 이미지의 투영과 결합하도록 배치된다. 도시된 바와 같이, 상기 마스킹된 영역(408)은 초점 및 컨텍스트 이미지들의 투영들 간의 왜곡을 회피하도록 중심와(404) 상에 컨텍스트 이미지를 투영하는 동안에 디밍되는 적어도 하나의 컨텍스트 디스플레이(302)의 일부이다.
도 4b를 참조하면, 도 4a와 비교되는 눈의 시선 방향에서의 측 방향 이동(sideway shift)이 도시된다. 시선 방향을 따르는 시야의 이미지(시선(406)에 의해 묘사된)가 적어도 하나의 컨텍스트 디스플레이(302)와, 적어도 하나의 초점 디스플레이(304)와, 적어도 하나의 제 1 광학 소자(306A) 및 적어도 하나의 제 1 액추에이터(306B)와 같은 적어도 하나의 광 결합기(306)를 포함하는 것으로 도시된 디스플레이 장치를 사용하여 눈(402) 상에 투영된다. 도시된 바와 같이, 시선 방향의 이동(shift)으로 인해, 적어도 하나의 초점 디스플레이(304)는 적어도 하나의 제 1 액추에이터(306B)에 의해 적어도 하나의 제 1 광학 소자(306A)에 대해 측 방향(sideway)으로 이동되어 중심와(404) 상에 초점 이미지의 투영을 계속한다. 그러므로, 적어도 하나의 컨텍스트 디스플레이(302)상의 마스킹된 영역(408)은 시선 방향의 이동을 수용하도록 마찬가지로 이동한다.
도 5를 참조하면, 본 발명의 일 실시형태에 따른, 디스플레이 장치(300)의 적어도 하나의 컨텍스트 디스플레이(302) 및 적어도 하나의 초점 디스플레이(304)의 예시적인 표현이 도시된다. 구체적으로, 적어도 하나의 컨텍스트 디스플레이(302)가 저해상도 디스플레이지만, 적어도 하나의 초점 디스플레이(304)는 고해상도 디스플레이이다. 도시된 바와 같이, 적어도 하나의 컨텍스트 디스플레이(302)의 치수는 적어도 하나의 초점 디스플레이(304)의 치수와 비교하여 더 크다. 또한, 적어도 하나의 초점 디스플레이(304)에서 렌더링된 초점 이미지는 시선 방향이 집중되는 입력 이미지의 시각 정확도(502)의 영역에 실질적으로 대응한다.
도 6a 내지 도 6i를 참조하면, 본 발명의 다양한 실시형태에 따른(도 3에 도시된 바와 같은) 디스플레이 장치(300)의 예시적인 구현이 도시된다. 도 6a 내지 도 6i는 명료성을 위해 디스플레이 장치(300)의 구현을 위한 단순화된 배열을 포함하며, 이는 여기 청구항들의 범위를 부당하게 제한해서는 안 된다는 것을 당업자가 이해할 수 있다. 당업자는 본 발명의 실시형태의 많은 변형, 대안 및 수정을 인식 할 것이다.
도 6a를 참조하면, 본 발명의 일 실시형태에 따른 디스플레이 장치(도 3에 도시된 디스플레이 장치(300)와 같은)의 예시적인 구현 예가 도시된다. 디스플레이 장치는 적어도 하나의 컨텍스트 디스플레이(302), 적어도 하나의 초점 디스플레이(304), 및 적어도 하나의 제 1 광학 소자(306A)를 갖는 적어도 하나의 광 결합기를 포함하도록 도시된다. 또한, 디스플레이 장치는 컨텍스트 및 초점 이미지들의 투영들의 광 경로 상에 위치하는 초점 렌즈(602)를 포함한다. 초점 렌즈(602)는 확대 또는 수축(또는 축소) 렌즈 중 하나이다.
도 6b를 참조하면, 본 발명의 일 실시형태에 따른 디스플레이 장치(도 3에 도시된 디스플레이 장치(300)와 같은)의 다른 예시적인 구현 예가 도시된다. 디스플레이 장치는 적어도 하나의 컨텍스트 디스플레이(302)와, 적어도 하나의 초점 디스플레이(304)와, 적어도 하나의 제 1 광학 소자(306A) 및 적어도 하나의 제 1 액추에이터(306B)를 갖는 적어도 하나의 광 결합기를 포함하도록 도시된다. 적어도 하나의 제 1 액추에이터(306B)는 적어도 하나의 광 결합기의 적어도 하나의 제 1 광학 소자(306A)에 대해 적어도 하나의 초점 디스플레이(304)를 이동시킨다. 디스플레이 장치의 프로세서(도 3에 도시된 프로세서(310))는 적어도 하나의 제 1 광학 소자(306A) 상에 렌더링된 초점 이미지의 투영의 위치를 조정하도록 적어도 하나의 제 1 액추에이터(306B)를 제어하도록 구성된다. 또한, 디스플레이 장치는 컨텍스트 및 초점 이미지들의 투영들의 광 경로 상에 위치하는 초점 렌즈(602)를 포함한다.
도 6c를 참조하면, 본 발명의 일 실시형태에 따른 디스플레이 장치(도 3에 도시된 디스플레이 장치(300)와 같은)의 다른 예시적인 구현 예가 도시된다. 디스플레이 장치는 적어도 하나의 컨텍스트 디스플레이(302)와, 적어도 하나의 초점 디스플레이(304)와, 적어도 하나의 제 1 광학 소자(306A), 적어도 하나의 제 2 광학 소자(306C)(예를 들어, 2개의 프리즘(604, 606)) 및 적어도 하나의 제 2 액추에이터(미도시)를 갖는 적어도 하나의 광 결합기를 포함하도록 도시된다. 도시된 바와 같이, 적어도 하나의 제 2 광학 소자(306C), 구체적으로, 2개의 프리즘(604, 606)은 적어도 하나의 제 1 광학 소자(306A)와 적어도 하나의 초점 디스플레이(304) 사이의 광 경로 상에 위치된다. 적어도 하나의 제 2 액추에이터(미도시)는 적어도 하나의 제 1 광학 소자(306A)에 대해 2개의 프리즘(604, 606)을 이동시킨다. 디스플레이 장치의 프로세서(도 3에 도시된 프로세서(310)와 같은)는 적어도 하나의 제 1 광학 소자(306A) 상에 렌더링된 초점 이미지의 투영의 위치를 조정하도록 적어도 하나의 제 2 액추에이터(미도시)를 제어하도록 구성된다. 또한, 디스플레이 장치는 컨텍스트 및 초점 이미지들의 투영들의 광 경로 상에 위치하는 초점 렌즈(602)를 포함한다.
도 6d를 참조하면, 본 발명의 일 실시형태에 따른 디스플레이 장치(도 3에 도시된 디스플레이 장치(300)와 같은)의 다른 예시적인 구현 예가 도시된다. 디스플레이 장치는 적어도 하나의 컨텍스트 디스플레이(302)와, 적어도 하나의 초점 디스플레이(304)와, 적어도 하나의 제 1 광학 소자(306A), 적어도 하나의 제 2 광학 소자(306C)(예를 들어, 미러(608)) 및 적어도 하나의 제 2 액추에이터(미도시)를 갖는 적어도 하나의 광 결합기를 포함하도록 도시된다. 도시된 바와 같이, 미러(608)는 적어도 하나의 제 1 광학 소자(306A)와 적어도 하나의 초점 디스플레이(304) 사이의 광 경로 상에 위치된다. 적어도 하나의 제 2 액추에이터(미도시)는 적어도 하나의 제 1 광학 소자(306A)에 대하여 미러(608)를 기울인다. 디스플레이 장치의 프로세서(도 3에 도시된 프로세서(310)와 같은)는 적어도 하나의 제 1 광학 소자(306A)상에 렌더링된 초점 이미지의 투영의 위치를 조정하도록 적어도 하나의 제 2 액추에이터(미도시)를 제어하도록 구성된다. 또한, 디스플레이 장치는 컨텍스트 및 초점 이미지들의 투영들의 광 경로 상에 위치하는 초점 렌즈(602)를 포함한다.
도 6e를 참조하면, 본 발명의 일 실시형태에 따른 디스플레이 장치(도 3에 도시된 디스플레이 장치(300)와 같은)의 다른 예시적인 구현 예가 도시된다. 디스플레이 장치는 적어도 하나의 컨텍스트 디스플레이(302)와, 적어도 하나의 초점 디스플레이(304)와, 적어도 하나의 제 1 광학 소자(306A) 및 상기 적어도 하나의 제 1 광학 소자(306A)를 적어도 하나의 축을 따라 회전시키기 위한 적어도 하나의 제 3 액추에이터(미도시)를 갖는 적어도 하나의 광 결합기를 포함하도록 도시된다. 디스플레이 장치의 프로세서(도 3에 도시된 프로세서(310)와 같은)는 적어도 하나의 제 1 광학 소자(306A) 상에 렌더링된 초점 이미지의 투영의 위치를 조정하도록 적어도 하나의 제 3 액추에이터(미도시)를 제어하도록 구성된다. 또한, 디스플레이 장치는 컨텍스트 및 초점 이미지들의 투영들의 광 경로 상에 위치되는 초점 렌즈(602)를 포함한다.
도 6f를 참조하면, 본 발명의 실시형태에 따른 디스플레이 장치(도 3에 도시된 디스플레이 장치(300)와 같은)의 또 다른 예시적인 구현 예가 도시된다. 디스플레이 장치는 적어도 하나의 컨텍스트 디스플레이(302)와, 적어도 하나의 초점 디스플레이(304)와, 적어도 하나의 제 1 광학 소자(306A), 상기 적어도 하나의 제 1 광학 소자(306A)와 적어도 하나의 초점 디스플레이(304) 사이의 광 경로 상에 위치한 적어도 하나의 초점 렌즈(306D), 및 적어도 하나의 초점 디스플레이(304)에 대해 적어도 하나의 초점 렌즈(306D)를 이동시키는 적어도 하나의 제 4 액추에이터(306E)를 갖는 적어도 하나의 광 결합기를 포함하도록 도시된다. 디스플레이 장치의 프로세서(도 3에 도시된 프로세서(310)와 같이)는 적어도 하나의 제 4 액추에이터(306E)를 제어하여 렌더링된 초점 이미지의 투영의 초점을 조정하도록 구성된다. 도시된 바와 같이, 추가 렌즈(610)가 적어도 하나의 컨텍스트 디스플레이(302)와 적어도 하나의 제 1 광학 소자(306A) 사이의 광 경로에 선택적으로 배치될 수 있다. 또한, 디스플레이 장치는 컨텍스트 및 초점 이미지들의 투영들의 광 경로 상에 위치하는 초점 렌즈(602)를 포함한다.
도 6g를 참조하면, 본 발명의 일 실시형태에 따른 디스플레이 장치(도 3에 도시된 디스플레이 장치(300)와 같은)의 다른 예시적인 구현 예가 도시된다. 디스플레이 장치는 적어도 하나의 컨텍스트 디스플레이(302)와, 프로젝터(612)와 연관된 투영 스크린과 같은 적어도 하나의 초점 디스플레이(304)와, 적어도 하나의 제 1 광학 소자(306A)를 갖는 적어도 하나의 광 결합기를 포함하도록 도시된다. 프로젝터(612)는 디스플레이 장치의 프로세서(도 3에 도시된 프로세서(310)와 같은) 대신에 초점 이미지를 생성하는데 사용된다는 것이 명백할 수 있다. 또한, 프리즘(614)이 프로젝터(612)와 적어도 하나의 초점 디스플레이(304) 사이의 광 경로에 위치하여 초점 이미지를 렌더링한다. 일 예에서, 프로젝터(612) 및/또는 적어도 하나의 초점 디스플레이(304)는 액추에이터를 사용하여 이동될 수 있다. 또한, 디스플레이 장치는 컨텍스트 및 초점 이미지들의 투영들의 광 경로 상에 위치하는 초점 렌즈(602)를 포함한다.
도 6h를 참조하면, 본 발명의 일 실시형태에 따른 디스플레이 장치(도 3에 도시된 디스플레이 장치(300)와 같은)의 또 다른 예시적인 구현 예가 도시된다. 디스플레이 장치는 적어도 하나의 컨텍스트 디스플레이(302)와, 프로젝터(612)와 관련된 투영 스크린과 같은 적어도 하나의 초점 디스플레이(304)와, 적어도 하나의 제 1 광학 소자(306A)를 갖는 적어도 하나의 광 결합기를 포함하도록 도시된다. 프로젝터(612)는 디스플레이 장치의 프로세서(도 3에 도시된 프로세서(310)와 같은) 대신에 초점 이미지를 생성하는데 사용된다는 것이 명백할 수 있다. 또한, 회전 미러(616)가 프로젝터(612)와 적어도 하나의 초점 디스플레이(304) 사이의 광 경로 내에 위치되어 초점 이미지를 그 위에 투영한다. 일 예에서, 프로젝터(612), 회전 미러(616) 및/또는 적어도 하나의 초점 디스플레이(304)는 액추에이터를 사용하여 이동될 수 있다. 또한, 디스플레이 장치는 컨텍스트 및 초점 이미지들의 투영들의 광 경로 상에 위치하는 초점 렌즈(602)를 포함한다.
도 6i를 참조하면, 본 발명의 일 실시형태에 따른 디스플레이 장치(도 3에 도시된 디스플레이 장치(300)와 같은)의 또 다른 예시적인 구현 예가 도시된다. 디스플레이 장치는 적어도 하나의 컨텍스트 디스플레이(302)와, 적어도 하나의 초점 디스플레이(304)와, 렌더링된 컨텍스트 이미지의 투영이 실질적으로 통과하게끔 하는 한편, 렌더링 초점 이미지의 투영을 실질적으로 반사시키도록 배치된 광 도파관(618)과 같은 적어도 하나의 광학 소자를 갖는 적어도 하나의 광 결합기를 포함하도록 도시된다. 도시된 바와 같이, 광 도파관(618)은 마이크로 프리즘, 미러, 회절 광학 등과 같은 광학 소자(620)를 내부에 갖는다. 대안적으로, 광 도파관(618)은 렌더링된 초점 이미지의 투영이 실질적으로 통과하게끔 하는 한편, 렌더링된 컨텍스트 이미지의 투영을 실질적으로 반사시키도록 배치될 수 있다. 또한, 디스플레이 장치는 컨텍스트 및 초점 이미지들의 투영들의 광 경로 상에 위치하는 초점 렌즈(602)를 포함한다.
도 7을 참조하면, 본 발명의 일 실시형태에 따른 디스플레이 장치(300)를 통해 디스플레이하는 방법(700)의 단계가 도시된다. 단계(702)에서, 컨텍스트 이미지는 적어도 하나의 컨텍스트 디스플레이에서 렌더링되고, 여기서 렌더링된 컨텍스트 이미지의 투영의 각도 폭은 40도 내지 220도 범위이다. 단계(704)에서, 초점 이미지는 적어도 하나의 초점 디스플레이에서 렌더링되고, 렌더링된 초점 이미지의 투영의 각도 폭은 5도 내지 60도 범위이다. 단계(706)에서, 적어도 하나의 광 결합기가 렌더링된 컨텍스트 이미지의 투영을 렌더링된 초점 이미지의 투영과 결합하여 시각적 장면을 생성하는데 사용된다.
단계들(702 내지 706)은 단지 예시적인 것이며, 본 명세서의 청구항들의 범위를 벗어나지 않으면서 하나 이상의 단계들이 추가되거나, 하나 이상의 단계들이 제거되거나, 하나 이상의 단계들이 상이한 순서로 제공되는 다른 대안들이 또한 제공될 수 있다. 예를 들어, 디스플레이 장치는 시선 방향을 검출하기 위한 수단을 더 포함할 수 있으며, 방법(700)은 시선 방향을 검출하는 단계; 검출된 시선 방향을 사용하여 입력 이미지의 시각 정확도의 영역을 결정하는 단계; 컨텍스트 이미지 및 초점 이미지를 생성하도록 상기 입력 이미지를 처리하는 단계로서, 상기 컨텍스트 이미지는 제 1 해상도를 갖고, 상기 초점 이미지는 제 2 해상도를 가지며, 상기 제 2 해상도가 상기 제 1 해상도보다 높으며, 상기 처리 단계는, 상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하는 컨텍스트 이미지의 영역을 마스킹하는 단계와; 상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하도록 상기 초점 이미지를 생성하는 단계를 포함하는, 상기 처리 단계와; 상기 렌더링된 초점 이미지의 투영이 상기 렌더링된 컨텍스트 이미지의 마스킹된 영역의 투영과 실질적으로 중첩하는 방식으로 상기 렌더링된 컨텍스트 이미지의 투영을 상기 렌더링된 초점 이미지의 투영과 결합하도록 상기 적어도 하나의 광 결합기를 제어하는 단계를 더 포함할 수 있다. 일 예에서, 방법(700)은 렌더링된 컨텍스트 이미지의 투영이 실질적으로 통과하게끔 하는 한편, 렌더링 초점 이미지의 투영을 실질적으로 반사시키기 위한, 또는 렌더링된 초점 이미지의 투영이 실질적으로 통과하게끔 하는 한편, 렌더링된 컨텍스트 이미지의 투영을 실질적으로 반사시키기 위한 광 결합기의 적어도 하나의 제 1 광학 소자를 준비하는 단계를 포함할 수 있다. 다른 예에서, 방법(700)은 적어도 하나의 제 1 광학 소자 상에 렌더링된 초점 이미지의 투영의 위치를 조정하는 단계를 더 포함할 수 있다. 예를 들어, 방법(700)에서, 상기 조정 단계는 적어도 하나의 광 결합기의 적어도 하나의 제 1 광학 소자에 대해 적어도 하나의 초점 디스플레이를 이동시키도록 적어도 하나의 광 결합기의 적어도 하나의 제 1 액추에이터를 제어함에 의해 수행될 수 있다. 다른 예에서, 방법(700)에서, 상기 조정 단계는 적어도 하나의 제 1 광학 소자에 대해 적어도 하나의 광 결합기의 적어도 하나의 제 2 광학 소자를 이동시키도록 적어도 하나의 광 결합기의 적어도 하나의 제 2 액추에이터를 제어함에 의해 수행될 수 있으며, 상기 적어도 하나의 제 2 광학 소자는 적어도 하나의 제 1 광학 소자와 적어도 하나의 초점 디스플레이 사이의 광 경로 상에 위치된다. 예를 들어, 방법(700)에서, 상기 조정 단계는 적어도 하나의 제 1 광학 소자를 이동시키도록 적어도 하나의 광 결합기의 적어도 하나의 제 3 액추에이터를 제어함으로써 수행된다. 선택적으로, 상기 방법(700)은 또한, 상기 렌더링된 초점 이미지의 상기 투영의 초점을 조정하기 위해, 상기 적어도 하나의 초점 디스플레이에 대해 상기 디스플레이 장치의 적어도 하나의 초점 렌즈를 이동시키도록 상기 디스플레이 장치의 적어도 하나의 제 4 액추에이터를 제어하는 단계를 더 포함할 수 있으며, 상기 적어도 하나의 초점 렌즈는 상기 적어도 하나의 제 1 광학 소자와 상기 적어도 하나의 초점 디스플레이 사이의 광 경로 상에 위치한다.
전술한 본 발명의 실시형태들에 대한 변형은 첨부된 청구 범위에 의해 한정된 본 발명의 범위를 벗어나지 않고 가능하다. 본 발명을 기술하고 청구하는데 사용되는 "포함하는", "병합한", "갖는"의 표현은 비 배타적인 방식으로 간주되는 것으로, 즉, 명백히 기술되지 않은 항목, 구성성분 또는 요소가 존재하는 것으로 허용하도록 의도된다. 단수로의 언급은 또한 복수형과 관련되는 것으로 해석되어야 한다.
Claims (17)
- 디스플레이 장치에 있어서,
- 컨텍스트 이미지(context image)를 렌더링하기 위한 적어도 하나의 컨텍스트 디스플레이로서, 렌더링된 컨텍스트 이미지의 투영의 각도 폭은 40도 내지 220도 범위인, 상기 적어도 하나의 컨텍스트 디스플레이와;
- 초점 이미지를 렌더링하기 위한 적어도 하나의 초점 디스플레이로서, 렌더링된 초점 이미지의 투영의 각도 폭은 5도 내지 60도의 범위인, 상기 적어도 하나의 초점 디스플레이와;
- 상기 렌더링된 컨텍스트 이미지의 투영을 상기 렌더링된 초점 이미지의 투영과 결합하여 시각적 장면을 생성하기 위한 적어도 하나의 광 결합기와;
- 시선 방향을 검출하기 위한 수단과;
- 상기 적어도 하나의 광 결합기 및 상기 시선 방향을 검출하기 위한 수단과 통신 결합된 프로세서를 포함하고, 상기 프로세서는,
(a) 입력 이미지를 수신하고, 상기 검출된 시선 방향을 사용하여 상기 입력 이미지의 시각 정확도의 영역을 결정하는 단계와;
(b) 상기 컨텍스트 이미지 및 상기 초점 이미지를 생성하도록 상기 입력 이미지를 처리하는 단계로서, 상기 컨텍스트 이미지는 제 1 해상도를 갖고 상기 초점 이미지는 제 2 해상도를 가지며,
- 상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하는 상기 컨텍스트 이미지의 영역이 마스킹되고,
- 상기 초점 이미지는 상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하고,
- 상기 제 2 해상도가 상기 제 1 해상도보다 높은, 상기 처리 단계와;
(c) 상기 적어도 하나의 컨텍스트 디스플레이에서 상기 컨텍스트 이미지 및 상기 적어도 하나의 초점 디스플레이에서 상기 초점 이미지를 실질적으로 동시에 렌더링하는 한편, 렌더링된 초점 이미지의 투영이 렌더링된 컨텍스트 이미지의 마스킹된 영역의 투영과 실질적으로 중첩하는 방식으로 상기 렌더링된 컨텍스트 이미지의 투영을 상기 렌더링된 초점 이미지의 투영과 결합하도록 상기 적어도 하나의 광 결합기를 제어하는 단계를 포함하는, 디스플레이 장치. - 제 1 항에 있어서, 적어도 하나의 광 결합기는,
- 상기 렌더링된 컨텍스트 이미지의 투영이 실질적으로 통과하게끔 하는 한편, 상기 렌더링 초점 이미지의 투영을 실질적으로 반사시키기 위해, 또는,
- 상기 렌더링된 초점 이미지의 투영이 실질적으로 통과하게끔 하는 한편, 상기 렌더링된 컨텍스트 이미지의 투영을 실질적으로 반사시키기 위해,
배치되는 적어도 하나의 제 1 광학 소자를 포함하는, 디스플레이 장치. - 제 2 항에 있어서, 상기 적어도 하나의 광 결합기의 상기 적어도 하나의 제 1 광학 소자는 반투명 미러, 반투명 필름, 프리즘, 편광기, 광 도파관 중의 하나 이상을 통해 구현되는, 디스플레이 장치.
- 제 2 항 또는 제 3 항에 있어서, 상기 적어도 하나의 광 결합기는 상기 적어도 하나의 광 결합기의 상기 적어도 하나의 제 1 광학 소자에 대해 상기 적어도 하나의 초점 디스플레이를 이동시키기 위한 적어도 하나의 제 1 액추에이터를 포함하고, 상기 프로세서는 상기 적어도 하나의 제 1 광학 소자 상에 렌더링된 초점 이미지의 투영의 위치를 조정하도록 상기 적어도 하나의 제 1 액추에이터를 제어하도록 구성되는, 디스플레이 장치.
- 제 2 항, 제 3 항, 또는 제 4 항에서, 상기 적어도 하나의 광 결합기는,
- 상기 적어도 하나의 제 1 광학 소자와 상기 적어도 하나의 초점 디스플레이기 사이의 광 경로 상에 위치되고, 렌즈, 프리즘, 미러, 및 빔 스플리터로 이루어진 군으로부터 선택되는 적어도 하나의 제 2 광학 소자와;
상기 적어도 하나의 제 2 광학 소자를 상기 적어도 하나의 제 1 광학 소자에 대해 이동시키기 위한 적어도 하나의 제 2 액추에이터를 포함하고,
상기 프로세서는 상기 적어도 하나의 제 1 광학 소자 상에서 상기 렌더링된 초점 이미지의 상기 투영의 위치를 조정하도록 상기 적어도 하나의 제 2 액추에이터를 제어하도록 구성되는, 디스플레이 장치. - 제 2 항, 제 3 항, 제 4 항 또는 제 5 항에 있어서,
상기 적어도 하나의 광 결합기는 상기 적어도 하나의 제 1 광학 소자를 이동시키기 위한 적어도 하나의 제 3 액추에이터를 포함하고, 상기 프로세서는 상기 적어도 하나의 제 1 광학 소자 상에 상기 렌더링된 초점 이미지의 투영의 위치를 조정하도록 상기 적어도 하나의 제 3 액추에이터를 제어하도록 구성되는, 디스플레이지 장치. - 제 2 항 내지 제 6 항 중의 어느 한 항에 있어서, 상기 디스플레이 장치는,
상기 적어도 하나의 제 1 광학 소자와 상기 적어도 하나의 초점 디스플레이기 사이의 광 경로 상에 위치되는 적어도 하나의 초점 렌즈와;
상기 적어도 하나의 초점 렌즈를 상기 적어도 하나의 초점 디스플레이에 대해 이동시키기 위한 적어도 하나의 제 4 액추에이터를 포함하고,
상기 프로세서는 상기 렌더링된 초점 이미지의 상기 투영의 초점을 조정하도록 상기 적어도 하나의 제 4 액추에이터를 제어하도록 구성되는, 디스플레이 장치. - 제 2 항 내지 제 6 항 중의 어느 한 항에 있어서, 상기 디스플레이 장치는,
상기 적어도 하나의 제 1 광학 소자와 상기 적어도 하나의 초점 디스플레이 사이의 광 경로 상에 위치되는 적어도 하나의 초점 렌즈를 포함하고,
상기 프로세서는 상기 적어도 하나의 초점 렌즈에 제어 신호를 인가함에 의해 상기 적어도 하나의 초점 렌즈의 적어도 하나의 능동 광학 특성을 제어하도록 구성되는, 디스플레이 장치. - 제 1 항 내지 제 8 항 중의 어느 한 항에 있어서, 상기 적어도 하나의 컨텍스트 디스플레이 및/또는 상기 적어도 하나의 초점 디스플레이는 액정 디스플레이(LCD), 발광 다이오드(LED)계 디스플레이, 유기 LED(OLED)계 디스플레이, 마이크로 OLED계 디스플레이, 및 LCoS(Liquid Crystal on Silicon)계 디스플레이로 이루어진 군으로부터 선택되는, 디스플레이 장치
- 제 1 항 내지 제 9 항 중의 어느 한 항에 있어서, 상기 적어도 하나의 컨텍스트 디스플레이 및/또는 상기 적어도 하나의 초점 디스플레이는 적어도 하나의 프로젝터 및 적어도 하나의 투영 스크린을 통해 구현되는, 디스플레이 장치.
- 적어도 하나의 컨텍스트 디스플레이, 적어도 하나의 초점 디스플레이, 적어도 하나의 광 결합기 및 시선 방향을 검출하기 위한 수단을 포함하는 디스플레이 장치를 통해 디스플레이하는 방법으로서, 상기 방법은,
(i) 상기 적어도 하나의 컨텍스트 디스플레이에서 컨텍스트 이미지를 렌더링하는 단계로서, 렌더링된 컨텍스트 이미지의 투영의 각도 폭은 40도 내지 220도 범위인, 상기 컨텍스트 이미지를 렌더링하는 단계와;
(ii) 상기 적어도 하나의 초점 디스플레이에서 초점 이미지를 렌더링하는 단계로서, 렌더링된 초점 이미지의 투영의 각도 폭은 5도 내지 60도 범위인, 상기 초점 이미지를 렌더링하는 단계와;
(iii) 상기 적어도 하나의 광 결합기를 사용하여 상기 렌더링된 컨텍스트 이미지의 투영을 상기 렌더링된 초점 이미지의 투영과 결합하여 시각적 장면을 생성하는 단계와;
(iv) 시선 방향을 검출하고, 상기 검출된 시선 방향을 사용하여 입력 이미지의 시각 정확도의 영역을 결정하는 단계와;
(v) 상기 컨텍스트 이미지 및 상기 초점 이미지를 생성하도록 상기 입력 이미지를 처리하는 단계로서, 상기 컨텍스트 이미지는 제 1 해상도를 갖고, 상기 초점 이미지는 제 2 해상도를 가지며, 상기 제 2 해상도가 상기 제 1 해상도보다 높으며, 상기 처리 단계는,
- 상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하는 컨텍스트 이미지의 영역을 마스킹하는 단계와;
- 상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하도록 상기 초점 이미지를 생성하는 단계를 포함하는, 상기 처리 단계와;
(vi) 상기 렌더링된 초점 이미지의 투영이 상기 렌더링된 컨텍스트 이미지의 마스킹된 영역의 투영과 실질적으로 중첩하는 방식으로 상기 렌더링된 컨텍스트 이미지의 투영을 상기 렌더링된 초점 이미지의 투영과 결합하도록 상기 적어도 하나의 광 결합기를 제어하는 단계를 포함하고,
상기 단계들(i), (ii) 및 (vi)는 실질적으로 동시에 수행되는, 방법. - 제 11 항에 있어서,
- 상기 렌더링된 컨텍스트 이미지의 투영이 실질적으로 통과하게끔 하는 한편, 렌더링 초점 이미지의 투영을 실질적으로 반사시키기 위한, 또는,
- 상기 렌더링된 초점 이미지의 투영이 실질적으로 통과하게끔 하는 한편, 렌더링된 컨텍스트 이미지의 투영을 실질적으로 반사시키기 위한,
상기 적어도 하나의 광 결합기의 적어도 하나의 제 1 광학 소자를 준비하는 단계를 더 포함하는, 방법. - 제 12 항에 있어서, 상기 적어도 하나의 제 1 광학 소자 상에 상기 렌더링된 초점 이미지의 투영의 위치를 조정하는 단계를 더 포함하는, 방법.
- 제 13 항에 있어서, 상기 조정 단계는 상기 적어도 하나의 광 결합기의 상기 적어도 하나의 제 1 광학 소자에 대해 상기 적어도 하나의 초점 디스플레이를 이동시키도록 상기 적어도 하나의 광 결합기의 적어도 하나의 제 1 액추에이터를 제어함에 의해 수행되는, 방법.
- 제 13 항 또는 제 14 항에 있어서, 상기 조정 단계는 상기 적어도 하나의 제 1 광학 소자에 대해 상기 적어도 하나의 광 결합기의 적어도 하나의 제 2 광학 소자를 이동시키도록 상기 적어도 하나의 광 결합기의 적어도 하나의 제 2 액추에이터를 제어함에 의해 수행되며, 상기 적어도 하나의 제 2 광학 소자는 상기 적어도 하나의 제 1 광학 소자와 상기 적어도 하나의 초점 디스플레이 사이의 광 경로 상에 위치되는, 방법.
- 제 13 항, 제 14 항 또는 제 15 항에 있어서, 상기 조정 단계는 상기 적어도 하나의 제 1 광학 소자를 이동시키도록 상기 적어도 하나의 광 결합기의 적어도 하나의 제 3 액추에이터를 제어함에 의해 수행되는, 방법.
- 제 13 항 내지 제 16 항에 있어서, 상기 렌더링된 초점 이미지의 상기 투영의 초점을 조정하기 위해, 상기 적어도 하나의 초점 디스플레이에 대해 상기 디스플레이 장치의 적어도 하나의 초점 렌즈를 이동시키도록 상기 디스플레이 장치의 적어도 하나의 제 4 액추에이터를 제어하는 단계를 더 포함하고, 상기 적어도 하나의 초점 렌즈는 상기 적어도 하나의 제 1 광학 소자와 상기 적어도 하나의 초점 디스플레이 사이의 광 경로 상에 위치하는, 방법.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/366,424 US9711072B1 (en) | 2016-12-01 | 2016-12-01 | Display apparatus and method of displaying using focus and context displays |
| US15/366,424 | 2016-12-01 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20180062946A true KR20180062946A (ko) | 2018-06-11 |
Family
ID=59296286
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170159281A KR20180062946A (ko) | 2016-12-01 | 2017-11-27 | 디스플레이 장치 및 초점 디스플레이와 컨텍스트 디스플레이를 이용하여 디스플레이하는 방법 |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US9711072B1 (ko) |
| EP (1) | EP3330771B1 (ko) |
| JP (2) | JP2018109745A (ko) |
| KR (1) | KR20180062946A (ko) |
| CN (1) | CN107783298B (ko) |
| HK (1) | HK1245897B (ko) |
| SG (1) | SG10201709770SA (ko) |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10410398B2 (en) * | 2015-02-20 | 2019-09-10 | Qualcomm Incorporated | Systems and methods for reducing memory bandwidth using low quality tiles |
| JP6901094B2 (ja) * | 2016-12-20 | 2021-07-14 | ベステル エレクトロニク サナイー ベ ティカレト エー．エス． | データ伝送方法及びデータ伝送装置 |
| JP2020515895A (ja) | 2017-03-27 | 2020-05-28 | エイヴギャント コーポレイション | 操作可能な中心窩ディスプレイ |
| CN110574099B (zh) * | 2017-05-01 | 2022-07-12 | 安波福技术有限公司 | 基于头部跟踪的场序跳视分离减少 |
| US10602033B2 (en) * | 2017-05-02 | 2020-03-24 | Varjo Technologies Oy | Display apparatus and method using image renderers and optical combiners |
| US10495895B2 (en) * | 2017-06-14 | 2019-12-03 | Varjo Technologies Oy | Display apparatus and method of displaying using polarizers |
| US10371998B2 (en) | 2017-06-29 | 2019-08-06 | Varjo Technologies Oy | Display apparatus and method of displaying using polarizers and optical combiners |
| CN108762483B (zh) * | 2018-04-16 | 2021-02-09 | 广景视睿科技（深圳）有限公司 | 一种互动投影仪及互动投影方法 |
| US10764581B2 (en) | 2018-05-24 | 2020-09-01 | Lockhead Martin Corporation | Multi-resolution regionalized data transmission |
| WO2020112836A1 (en) * | 2018-11-30 | 2020-06-04 | Magic Leap, Inc. | Methods and systems for high efficiency eyepiece in augmented reality devices |
| CN113196132A (zh) | 2018-12-07 | 2021-07-30 | 阿维甘特公司 | 可操纵定位元件 |
| US11126261B2 (en) | 2019-01-07 | 2021-09-21 | Avegant Corp. | Display control system and rendering pipeline |
| CN109637418B (zh) * | 2019-01-09 | 2022-08-30 | 京东方科技集团股份有限公司 | 一种显示面板及其驱动方法、显示装置 |
| US10466489B1 (en) | 2019-03-29 | 2019-11-05 | Razmik Ghazaryan | Methods and apparatus for a variable-resolution screen |
| US11284053B2 (en) | 2019-03-29 | 2022-03-22 | Razmik Ghazaryan | Head-mounted display and projection screen |
| US10554940B1 (en) | 2019-03-29 | 2020-02-04 | Razmik Ghazaryan | Method and apparatus for a variable-resolution screen |
| EP3948399A1 (en) | 2019-03-29 | 2022-02-09 | Avegant Corp. | Steerable hybrid display using a waveguide |
| US20200413032A1 (en) * | 2019-06-27 | 2020-12-31 | Texas Instruments Incorporated | Methods and apparatus to render 3d content within a moveable region of display screen |
| EP3938833A1 (en) * | 2019-11-22 | 2022-01-19 | Apple Inc. | Display systems having multiple light paths for performing foveation |
| EP4062225A4 (en) | 2020-01-06 | 2023-12-27 | Avegant Corp. | HEAD MOUNTED SYSTEM WITH COLOR SPECIFIC MODULATION |
| RU2741256C1 (ru) * | 2020-02-04 | 2021-01-22 | Олег Леонидович Головков | Виртуальный шлем с использованием фокусных и контекстных дисплеев |
| US11348514B2 (en) | 2020-02-06 | 2022-05-31 | Varjo Technologies Oy | LED-based display apparatus and method incorporating sub-pixel shifting |
| US11307410B2 (en) | 2020-02-06 | 2022-04-19 | Varjo Technologies Oy | Display apparatus and method incorporating adaptive pose locking |
| US11308900B2 (en) | 2020-02-06 | 2022-04-19 | Varjo Technologies Oy | Display apparatus and method incorporating sub-pixel aware shifting and overlap compensation |
| US11056030B1 (en) | 2020-02-06 | 2021-07-06 | Varjo Technologies Oy | Display apparatus and method of enhancing apparent resolution using liquid-crystal device |
| US11170678B2 (en) | 2020-02-06 | 2021-11-09 | Varjo Technologies Oy | Display apparatus and method incorporating gaze-based modulation of pixel values |
| US11538199B2 (en) * | 2020-02-07 | 2022-12-27 | Lenovo (Singapore) Pte. Ltd. | Displaying a window in an augmented reality view |
| CN112650461B (zh) * | 2020-12-15 | 2021-07-13 | 广州舒勇五金制品有限公司 | 一种基于相对位置的展示系统 |
| RU207960U1 (ru) * | 2021-07-21 | 2021-11-26 | Общество с ограниченной ответственностью "СтендАп Инновации" | Мобильное интерактивное проекционное устройство |
| WO2023111790A1 (ja) * | 2021-12-17 | 2023-06-22 | 株式会社半導体エネルギー研究所 | 電子機器 |
| WO2023139445A1 (ja) * | 2022-01-21 | 2023-07-27 | 株式会社半導体エネルギー研究所 | 電子機器 |
| US11899215B1 (en) * | 2022-07-29 | 2024-02-13 | Htc Corporation | Head mounted display, display device and image display method thereof |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US931683A (en) | 1908-06-06 | 1909-08-17 | George S Cox And Brother | Haircloth-loom. |
| JPH0777665A (ja) * | 1993-03-29 | 1995-03-20 | Canon Inc | 画像表示装置及びその為の画像撮影装置 |
| US5394203A (en) * | 1994-06-06 | 1995-02-28 | Delco Electronics Corporation | Retracting head up display with image position adjustment |
| JPH08313843A (ja) * | 1995-05-16 | 1996-11-29 | Agency Of Ind Science & Technol | 視線追従方式による広視野高解像度映像提示装置 |
| JPH11109278A (ja) * | 1997-10-03 | 1999-04-23 | Minolta Co Ltd | 映像表示装置 |
| EP1190571A1 (en) * | 1999-04-08 | 2002-03-27 | New York University | Extremely high resolution foveated display |
| JP4374708B2 (ja) * | 2000-03-30 | 2009-12-02 | 株式会社デンソー | 網膜走査ディスプレイ装置及び光走査装置 |
| US7872635B2 (en) | 2003-05-15 | 2011-01-18 | Optimetrics, Inc. | Foveated display eye-tracking system and method |
| WO2005057248A2 (en) * | 2003-12-04 | 2005-06-23 | New York University | Eye tracked foveal display by controlled illumination |
| US7973834B2 (en) | 2007-09-24 | 2011-07-05 | Jianwen Yang | Electro-optical foveated imaging and tracking system |
| JP2010153983A (ja) * | 2008-12-24 | 2010-07-08 | Panasonic Electric Works Co Ltd | 投影型映像表示装置および該方法 |
| US9292973B2 (en) * | 2010-11-08 | 2016-03-22 | Microsoft Technology Licensing, Llc | Automatic variable virtual focus for augmented reality displays |
| US9025252B2 (en) * | 2011-08-30 | 2015-05-05 | Microsoft Technology Licensing, Llc | Adjustment of a mixed reality display for inter-pupillary distance alignment |
| US8638498B2 (en) * | 2012-01-04 | 2014-01-28 | David D. Bohn | Eyebox adjustment for interpupillary distance |
| ES2900423T3 (es) * | 2013-03-15 | 2022-03-16 | Percept Tech Inc | Gafas digitales ópticas y perceptivas mejoradas |
| WO2015127146A1 (en) * | 2014-02-19 | 2015-08-27 | Evergaze, Inc. | Apparatus and method for improving, augmenting or enhancing vision |
| EP3256900A4 (en) * | 2015-02-12 | 2018-10-31 | Google LLC | Combining a high resolution narrow field display and a mid resolution wide field display |
| US9619712B2 (en) * | 2015-05-18 | 2017-04-11 | Daqri, Llc | Threat identification system |
-
2016
- 2016-12-01 US US15/366,424 patent/US9711072B1/en active Active
- 2016-12-08 US US15/372,973 patent/US9710887B1/en active Active
-
2017
- 2017-11-27 KR KR1020170159281A patent/KR20180062946A/ko not_active Application Discontinuation
- 2017-11-27 SG SG10201709770SA patent/SG10201709770SA/en unknown
- 2017-11-27 JP JP2017226384A patent/JP2018109745A/ja active Pending
- 2017-11-27 CN CN201711209417.9A patent/CN107783298B/zh active Active
- 2017-11-27 EP EP17203679.0A patent/EP3330771B1/en active Active
-
2018
- 2018-04-26 HK HK18105440.5A patent/HK1245897B/zh unknown
-
2019
- 2019-01-09 JP JP2019001594A patent/JP2019091051A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP3330771A1 (en) | 2018-06-06 |
| US9711072B1 (en) | 2017-07-18 |
| CN107783298A (zh) | 2018-03-09 |
| JP2019091051A (ja) | 2019-06-13 |
| SG10201709770SA (en) | 2018-07-30 |
| HK1245897B (zh) | 2019-08-02 |
| CN107783298B (zh) | 2018-10-09 |
| EP3330771B1 (en) | 2020-06-03 |
| JP2018109745A (ja) | 2018-07-12 |
| US9710887B1 (en) | 2017-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3330771B1 (en) | Display apparatus and method of displaying using focus and context displays | |
| KR101977903B1 (ko) | 디스플레이 장치 및 프로젝터를 이용하여 디스플레이하는 방법 | |
| EP3548955B1 (en) | Display apparatus and method of displaying using image renderers and optical combiners | |
| WO2018100239A1 (en) | Imaging system and method of producing images for display apparatus | |
| US10602033B2 (en) | Display apparatus and method using image renderers and optical combiners | |
| EP3548991A1 (en) | Gaze-tracking system and method of tracking user's gaze | |
| US10371998B2 (en) | Display apparatus and method of displaying using polarizers and optical combiners | |
| WO2018100240A1 (en) | Display apparatus image renderers and optical combiners | |
| US9989774B1 (en) | Display apparatus and method of displaying using optical combiners and context and focus image renderers | |
| CN109997067B (zh) | 使用便携式电子设备的显示装置和方法 | |
| CN110088662B (zh) | 成像系统和产生背景图像和聚焦图像的方法 | |
| EP3330773B1 (en) | Display apparatus and method of displaying using context display and projectors | |
| US10495895B2 (en) | Display apparatus and method of displaying using polarizers |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |