KR20220145668A - 자유형상 곡면을 포함하는 디스플레이 장치 및 그 동작 방법 - Google Patents

자유형상 곡면을 포함하는 디스플레이 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20220145668A
KR20220145668A KR1020210052530A KR20210052530A KR20220145668A KR 20220145668 A KR20220145668 A KR 20220145668A KR 1020210052530 A KR1020210052530 A KR 1020210052530A KR 20210052530 A KR20210052530 A KR 20210052530A KR 20220145668 A KR20220145668 A KR 20220145668A
Authority
KR
South Korea
Prior art keywords
image
curved surface
images
display device
virtual
Prior art date
Application number
KR1020210052530A
Other languages
English (en)
Inventor
문석일
이창건
성기영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210052530A priority Critical patent/KR20220145668A/ko
Priority to US17/512,245 priority patent/US11682325B2/en
Priority to CN202111587872.9A priority patent/CN115236855A/zh
Priority to EP22169101.7A priority patent/EP4083683A1/en
Priority to JP2022070907A priority patent/JP2022167885A/ja
Publication of KR20220145668A publication Critical patent/KR20220145668A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B27/0103—Head-up displays characterised by optical features comprising holographic elements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Holo Graphy (AREA)
  • Processing Or Creating Images (AREA)
  • Eyeglasses (AREA)

Abstract

디스플레이 장치 및 그 방법을 제공한다. 본 디스플레이 장치는, 광을 변조하여 복수 개의 영상을 시순차적으로 생성하는 영상 생성기 및 복수 개의 영상에 대응하는 복수 개의 가상 영상을 사용자의 눈으로부터 서로 다른 깊이에 시순차적으로 형성하는 자유형상 곡면(freeform surface)을 포함하는 광학계를 포함하고, 자유형상 곡면상에서 복수 개의 영상과 그에 대응하는 복수 개의 가상 영상간의 오차 값 각각은 자유형상 곡면의 프로파일 값이하이다.

Description

자유형상 곡면을 포함하는 디스플레이 장치 및 그 동작 방법{DISPLAY APPARATUS INCLUDING FREE-FORMED SURFACE AND OPERATING METHOD OF THE SAME}
본 개시는 자유형상 곡면을 갖는 디스플레이 장치 및 그 동작 방법에 관한 것이다.
가상 현실 (virtual reality, VR)을 제공하는 헤드 마운트 디스플레이는 현재 상용화 단계에 이르러 엔터테인먼트 산업에 널리 적용되고 있는 추세이다. 이와 더불어 의료, 교육, 산업 분야에서 응용이 가능한 형태로 발전하고 있다.
가상 현실 디스플레이의 발전된 형태인 증강 현실(augmented reality, AR) 디스플레이는 현실 세계와 가상 현실을 결합해주는 영상 장치로 현실과 가상 사이의 상호 작용을 이끌어 낼 수 있는 특징을 가진다. 현실과 가상 현실의 상호 작용은 현실 상황에 대하여 실시간으로 정보를 제공하는 기능을 기반으로 하며, 현실 세계의 환경 위에 가상의 대상이나 정보를 겹쳐 보여줌으로써 현실의 효과를 더욱 증가시킬 수 있다.
본 개시는 자유형상 곡면을 이용하여 깊이 정보가 다른 복수 개의 영상을 제공하는 디스플레이 장치 및 그 동작 방법을 제공한다.
일 유형에 따른 디스플레이 장치는, 광을 변조하여 복수 개의 영상을 시순차적으로 생성하는 영상 생성기; 및 상기 복수 개의 영상에 대응하는 복수 개의 가상 영상을 사용자의 눈으로부터 서로 다른 깊이에 시순차적으로 형성하는 자유형상 곡면(freeform surface)을 포함하는 광학계;을 포함하고, 상기 자유형상 곡면상에서 상기 복수 개의 영상과 그에 대응하는 복수 개의 가상 영상간의 오차 값 각각은 상기 자유형상 곡면의 프로파일 값이하이다.
그리고, 상기 오차 값은, 상기 자유형상 곡면에서 상기 영상 생성기에서 생성된 영상과 그에 대응하는 가상 영상간의 픽셀값 차이에 기초할 수 있다.
그리고, 상기 자유형상 곡면의 프로파일은, 상기 자유형상 곡면상에서 각 영상과 그에 대응하는 가상 영상간의 오차에 대한 합의 최소값들로 구성될 수 있다.
또한, 상기 자유형상 곡면은, 상기 복수 개의 영상과 상기 자유형상 곡면간의 광 경로 길이에 기초하여 상기 복수 개의 가상 영상을 서로 다른 깊이에 형성될 수 있다.
그리고, 상기 영상 생성기에서 생성된 영상과 상기 자유형상 곡면간의 광 경로 길이가 작을수록 그에 대응하는 가상 영상의 깊이는 커질 수 있다.
또한, 상기 영상 정보에 포함된 깊이 정보 및 사용자가 주시하는 깊이 정보 중 적어도 하나를 기초하여 상기 영상 생성기를 제어하는 프로세서;를 더 포함할 수 있다.
그리고, 상기 프로세서의 제어에 의해 상기 영상 생성기가 서로 다른 위치에서 상기 복수 개의 영상을 생성하도록 상기 영상 생성기의 위치를 조절하는 구동부;를 더 포함할 수 있다.
또한, 상기 구동부는, 인가되는 신호에 따라 형상이 가변되어 상기 영상 생성기의 위치를 조절하는 형상 가변 부재를 포함할 수 있다.
그리고, 상기 형상 가변 부재는 열에 의해 형상이 가변되는 물질을 포함할 수 있다.
또한, 형상 기억 합금(Shape Memory Alloy) 또는 전기 활성 폴리머(Electro Active Polymer)를 중 적어도 하나를 포함할 수 있다.
그리고, 상기 프로세서는 상기 영상 정보를 컴퓨터 생성 홀로그램(Computer-generated hologram) 연산하는 하고, 상기 영상 생성기는, 상기 프로세서로부터 수신된 상기 GGH에 따라 대표 깊이가 서로 다른 상기 복수 개의 영상을 생성할 수 있다.
또한, 상기 사용자가 주시하는 깊이를 추적하는 아이 트래킹 센서;를 더 포함하고, 상기 프로세서는, 상기 사용자가 주시하는 깊이에 상기 가상 영상이 형성되도록 상기 영상 생성기를 제어할 수 있다.
그리고, 상기 광학계는, 상기 복수 개의 가상 영상과 외부 환경에 대응하는 외부 광을 한 지점으로 수렴시키는 컴바이너이고, 상기 자유형상 곡면은 상기 컴바이너에 일체화될 수 있다.
또한, 상기 컴바이너는 상기 가상 영상을 전달하는 투명 도파로를 포함하며, 상기 투명 도파로의 표면에 상기 자유형상 곡면이 배치될 수 있다.
그리고, 상기 컴바이너는 상기 자유형상 곡면에 배치된 반투과막을 더 포함할 수 있다.
또한, 상기 디스플레이 장치는, 증강 현실 장치일 수 있다.
한편, 일 실시예에 따른 자유형상 곡면을 포함하는 디스플레이 장치의 동작 방법은, 광을 변조하여 복수 개의 영상을 시순차적으로 생성하는 단계; 및 상기 자유형상 곡면에 의해 상기 복수 개의 영상 각각에 대응하는 복수 개의 가상 영상을 서로 다른 깊이에 시순차적으로 형성하는 단계;를 포함하고, 상기 자유형상 곡면상에서 각 영상과 그에 대응하는 가상 영상간의 오차 값은 상기 자유형상 곡면의 프로파일값 이하일 수 있다.
그리고, 상기 오차 값은, 상기 자유형상 곡면에서 상기 영상 생성기에서 생성된 영상과 그에 대응하는 가상 영상간의 픽셀값 차이에 기초할 수 있다.
또한, 상기 자유형상 곡면의 프로파일은, 상기 자유형상 곡면상에서 각 영상과 그에 대응하는 가상 영상간의 오차에 대한 합의 최소값들로 구성될 수 있다.
그리고, 상기 가상 영상을 형성하는 단계는, 상기 복수 개의 영상과 상기 자유형상 곡면간의 광 경로 길이 각각을 기초로 상기 복수 개의 가상 영상을 서로 다른 깊이에 형성할 수 있다.
또한, 상기 영상 생성기에서 생성된 영상과 상기 자유형상 곡면간의 광경로 길이가 작을수록 상기 영상에 대응하는 가상 영상의 깊이는 커질 수 있다.
그리고, 사용자가 주시하는 깊이를 추적하는 단계;를 더 포함하고, 상기 가상 영상을 형성하는 단계는, 상기 사용자가 주시하는 깊이에 상기 가상 영상을 형성할 수 있다.
상술한 디스플레이 장치는 다중 깊이를 구현할 수 있는 자유형상 곡면을 포함하기 때문에 선명한 가상 영상을 제공할 수 있다.
상술한 디스플레이 장치는 장치는 웨어러블 기기에 적용되기 용이하며, 예를 들어, 안경형 증강 현실 디스플레이 장치등에 적용될 수 있다.
도 1은 일 실시예에 따른 디스플레이 장치의 개략적인 구성을 나타내는 도면이다.
도 2는 일 실시예에 따른 디스플레이 장치의 동작 방법을 설명하는 도면이다.
도 3은 일 실시예에 따른 자유형상 곡면을 설계하는 방법을 설명하는 참조도면이다.
도 4a 및 도 4b는 단일 깊이에 최적화된 자유형상 곡면을 이용하여 가상 영상을 관측한 결과이다.
도 5a 및 도 5b은 두 깊이에 대해 최적화된 자유형상 곡면을 이용하여 가상 영상을 관측한 결과이다.
도 6는 일 실시예에 따른 자유형상 곡면을 포함한 디스플레이 장치를 도시한 도면이다.
도 7은 도 6에 적용되는 구동부의 예를 도시한 도면이다.
도 8은 일 실시예에 따른 자유형상 곡면을 포함하는 홀로그램 디스플레이 장치를 도시한 도면이다.
도 9는 도 8의 홀로그램 영상을 생성하는 영상 생성기를 도시한 도면이다.
도 10은 일 실시예에 따른 아이 트래킹 센서를 포함하는 디스플레이 장치를 설명하는 도면이다.
도 11은 일 실시예에 따른 광투과판이 배치된 광학계를 포함하는 디스플레이 장치를 도시한 도면이다.
도 12는 일 실시예에 따른 양안 각각에 영상을 제공하는 디스플레이 장치를 도시한 도면이다.
도 13은 예시적인 실시 예에 따른 디스플레이 장치가 자동차에 적용된 예를 도시한 것이다.
도 14는 예시적인 실시 예에 따른 디스플레이 장치가 증강 현실 안경 또는 가상 현실 안경에 적용된 예를 도시한 것이다.
이하, 첨부된 도면들을 참조하여, 자유형상 곡면을 포함하는 디스플레이 장치(10)에 대해 상세하게 설명한다. 이하의 도면들에서 동일한 참조부호는 동일한 구성요소를 지칭하며, 도면상에서 각 구성요소의 크기는 설명의 명료성과 편의상 과장되어 있을 수 있다. 또한, 이하에 설명되는 실시예는 단지 예시적인 것에 불과하며, 이러한 실시예들로부터 다양한 변형이 가능하다.
이하에서, "상부" 나 "상"이라고 기재된 것은 접촉하여 바로 위에 있는 것뿐만 아니라 비접촉으로 위에 있는 것도 포함할 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 다수의 표현을 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
"상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 다수 모두에 해당하는 것일 수 있다. 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 이러한 단계들은 적당한 순서로 행해질 수 있으며, 반드시 기재된 순서에 한정되는 것은 아니다.
또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.
방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 한정되는 것은 아니다.
모든 예들 또는 예시적인 용어의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 청구범위에 의해 한정되지 않는 이상 이런 예들 또는 예시적인 용어로 인해 범위가 한정되는 것은 아니다.
도 1은 일 실시예에 따른 디스플레이 장치(10)의 개략적인 구성을 나타내는 도면이고, 도 2는 일 실시예에 따른 디스플레이 장치의 동작 방법을 설명하는 도면이다. 도 1 및 도 2를 참조하면, 일 실시예에 따른 디스플레이 장치(10)는 복수 개의 영상을 시순차적으로 생성하는 영상 생성기(110) 및 복수 개의 영상에 대응하는 복수 개의 가상 영상을 서로 다른 깊이에 시순차적으로 형성하는 자유형상 곡면(freeform optics)(121)이 배치된 광학계(120)을 포함할 수 있다.
영상 생성기(110)는 광을 변조하여 복수 개의 영상을 시순차적으로 생성할 수 있다(S210). 영상 생성기(110)에서 생성된 영상은, 예컨대, 관찰자의 좌안과 우안에 각각 제공되는 스테레오(stereo) 영상일 수도 있고, 또는 홀로그래픽 영상, 라이트 필드(light field) 영상, IP(integral photography) 영상 등일 수 있으며, 멀티 뷰(multi-view) 혹은 슈퍼 멀티뷰(super multi-view) 방식의 영상을 포함할 수도 있다. 또한, 영상 생성기(110)에서 형성되는 영상은 이에 한정되지 않으며 일반적인 2차원 영상일 수도 있다.
영상 생성기(110)는, 예를 들어, LCoS(liquid crystal on silicon) 소자, LCD(liquid crystal display) 소자, OLED(organic light emitting diode) 영상 생성기(110), DMD(digital micromirror device)를 포함할 수 있고, 또한, Micro LED, QD(quantum dot) LED 등의 차세대 디스플레이를 포함할 수도 있다. 영상 생성기(110)가 OLED 디스플레이, Micro LED 등과 같이 자체 발광형 디스플레이인 경우, 영상 생성기(110)는 단지 하나의 디스플레이 패널만을 포함할 수 있다. 그러나, 영상 생성기(110)가 LCoS 소자, LCD 소자 등과 같이 비발광형인 경우, 영상 생성기(110)는 조명광을 제공하는 광원(410) 및 조명광의 경로를 조절하기 위한 광학계 등을 더 포함할 수 있다.
자유형상 곡면(121)은 복수 개의 영상에 대응하는 복수 개의 가상 영상을 서로 다른 깊이, 예를 들어, 관찰자가 눈으로부터 서로 다른 깊이에 시순차적으로 형성할 수 있다. 구체적으로, 영상 생성기(110)에서 생성된 영상은 자유형상 곡면(121)에서 반사되어 관찰자의 눈으로 전달될 수 있다. 영상 생성기(110)에서 생성된 영상과 자유형상 곡면(121)간의 광 경로 길이에 기초하여 관찰자는 특정 깊이에 영상이 형성된 것으로 인식할 수 있다. 관찰자는 영상 생성기(110)가 생성한 영상과 다른 위치에 있는 영상을 인식하는 바, 관찰차가 인식한 영상을 가상 영상이라고 칭할 수 있다.
자유형상 곡면(121)은 비축으로 입사하는 광을 한 초점으로 모아주거나 광축에 대해 기울어진 방향으로 입사하는 광을 온전하게 형성시키기 위해 최적화로 설계된 곡면을 의미한다. 상기한 자유형상 곡면(121)의 프로파일 값은 관찰자가 인식하는 가상 영상의 시야각, 자유형상 곡면(121)을 포함하는 광학계(120)의 두께, 아이박스의 크기, 영상 생성기(110)의 위치 등 다양한 조건을 만족하는 최적화 과정을 통해 설계될 수 있다. 그리하여, 자유형상 곡면(121) 설계시 적용된 광학 조건과 자유형상 곡면(121)의 이용시 광학 조건이 조금만 달라지더라도 관찰자는 품질이 떨어진 가상 영상을 인식할 수 있다.
한편, 자유형상 곡면(121)이 단일 초점으로 최적화되어 설계된다면 상기한 자유형상 곡면(121)은 하나의 깊이에 형성된 가상 영상의 품질은 좋은 반면 다른 깊이에 형성된 가상 영상의 품질은 떨어질 수 있다. 관찰자의 양안에 의해 인지적 깊이가 계속 변하는 바, 자유형상 곡면(121)이 하나의 깊이 정보를 갖는 가상 영상을 제공하게 되면, 가상 영상이 제공하는 깊이와 관찰자가 인지하는 깊이 사이에서 오는 괴리감으로 관찰자는 어지러움을 느낄 수 있다.
일 실시예에 따른 자유형상 곡면(121)은 복수 개의 영상이 서로 다른 깊이에서 선명하게 형성되도록 설계된 곡면을 포함할 수 있다. 도 3은 일 실시예에 따른 자유형상 곡면(121)을 설계하는 방법을 설명하는 참조도면이다. 디스플레이 장치(10)와 동일한 조건에서, 가상 영상이 형성될 위치에 오브젝트 영상(Io1, Io2)을 배치시키고, 영상 생성기(110)에 의해 생성된 영상의 위치에 타겟 영상(It1, It2)을 배치시킨다. 그리하여, 타겟 영상(It1, It2)과 오브젝트 영상(Io1, Io2)간의 오차가 최소가 되는 조건을 만족시키는 곡면 프로파일을 설계할 수 있다. 타겟 영상(It1, It2)과 오브젝트 영상(Io1, Io2)간의 오차는 타겟 영상(It1, It2)과 오브젝트 영상(Io1, Io2)간의 대응하는 픽셀들간의 픽셀 값의 차이에 기초할 수 있다. 예를 들어, 타겟 영상(It1, It2)과 오브젝트 영상(Io1, Io2)간의 오차는 타겟 영상(It1, It2)과 오브젝트 영상(Io1, Io2)간의 대응하는 픽셀들간의 픽셀 값의 차이에 대한 절대값의 제곱일 수 있다.
복수 개의 깊이에 선명한 가상 영상을 형성하기 위해, 가상 영상이 형성될 제1 깊이(D1)에 제1 오브젝트 영상(Io1)을 배치시키고, 제1 깊이(D1)에 대응하는 영상 생성기(110)의 의해 생성된 영상의 제1 위치(d1)에 제1 타겟 영상(It1)을 배치시킬 수 있다. 그리고, 가상 영상이 형성될 제2 깊이(D2)에 제2 오브젝트 영상(Io2)을 배치시키고, 제2 깊이(D2)에 대응하는 영상 생성기(110)의 의해 생성된 영상의 제2 위치(d2)에 제2 타겟 영상(It1)을 배치시킬 수 있다.
그리고 나서, 제1 타겟 영상(It1)과 제1 오브젝트 영상(Io1)간의 오차(
Figure pat00001
)와 제2 타겟 영상(It2)과 제2 오브젝트 영상(Io2)간의 오차(
Figure pat00002
)의 합이 최소가 되는 조건을 만족시키는 곡면 프로파일을 설계할 수 있다.
하기 수학식 1은 두 개의 서로 다른 깊이(D1, D2)에서 선명한 가상 영상을 형성하는 자유형상 곡면(121)의 각 영역에서 곡면 프로파일의 값이다.
[수학식 1]
Figure pat00003
도 3에는 2 개의 깊이에서 가상 영상을 선명하게 제공할 수 있는 자유형상 곡면(121)의 곡면 프로파일을 설명하였다. 자유형상 곡면(121)의 곡면 프로파일은 3개 이상의 깊이에서 가상 영상을 선명하게 제공할 수도 있다.
하기 수학식 2은 k(여기서, k는 2이상의 자연수)개의 깊이에서 선명한 가상 영상을 제공할 수 있는 자유형상 곡면(121)의 곡면 프로파일이다.
[수학식 2]
Figure pat00004
여기서, Itn은 dn의 위치에 생성된 타겟 영상이고, Ion(f(x, y), dn, Dn)은 Dn의 깊이에 형성된 가상 영상이며,
Figure pat00005
은 Itn과 Ion간의 오차이다.
도 4a 및 도 4b는 단일 깊이에 최적화된 자유형상 곡면을 이용하여 가상 영상을 관측한 결과이다. 가상 영상이 제1 깊이(D1)에 형성되도록 최적화한 자유 형성 곡면을 설계하였다. 그리고, 영상 생성기(110)를 제1 위치(d1)에 배치시킨 후 영상을 생성하니, 도 4a에 도시된 바와 같이, 관찰자는 뚜렷한 가상 영상을 관측할 수 있었다.
한편, 가상 영상이 제2 깊이(D2)에 형성되도록 영상 생성기(110)를 제2 위치(d2)에 배치시킨 후 영상을 생성하였다. 도 3b에 도시된 바와 같이, 관찰자는 품질이 떨어진, 초점이 맞지 않는 가상 영상을 관측할 수 있었다.
도 5a 및 도 5b는 두 깊이에 대해 최적화된 자유형상 곡면을 이용하여 가상 영상을 관측한 결과이다. 가상 영상이 제1 및 제2 깊이(D1, D2)에 형성되도록 최적화된 자유 형성 곡면을 설계하였다. 영상 생성기(110)를 제1 위치(D1)에 배치시킨 후 영상을 생성하니, 도 5a에 도시된 바와 같이, 관찰자는 뚜렷한 가상 영상을 관측할 수 있었다.
영상 생성기(110)를 제2 위치(d2)에 배치시킨 후 영상을 생성하여도, 도4b에 도시된 바와 같이, 관찰자는 뚜렷한 가상 영상을 관측할 수 있었다.
상기와 같이, 복수 개의 깊이에 대해 최적화된 자유형상 곡면(121)을 통해 관찰자는 서로 다른 깊이에서 품질이 우수한 가상 영상을 관측할 수 있다.
도 6는 일 실시예에 따른 자유형상 곡면(121)을 포함한 디스플레이 장치(20)를 도시한 도면이다. 도 1과 도 6를 비교하면, 도 6의 디스플레이 장치(20)는, 영상 생성기(110), 가상 영상과 외부 풍경을 담은 실사 광을 혼합하여 관찰자에게 제공하는 광학계로서의 컴바이너(120a), 영상 생성기(110)의 위치가 가변되도록 영상 생성기(110)를 구동하는 구동부(130) 및 영상 정보에 따라 영상 생성기(110)와 구동부(130)를 제어하는 프로세서(140)를 포함할 수 있다.
컴바이너(120a)는 영상 생성기(110)에서 생성된 영상을 담은 광(L1)을 관찰자의 눈에 전달할 뿐 아니라, 이와 함께 관찰자 전방(front)의 외부의 풍경을 담은 광(L2)도 관찰자의 눈에 전달할 수 있다. 예를 들어, 컴바이너(120a)는 영상을 담은 광(L1)을 관찰자의 눈의 향해 반사하고 외부의 풍경을 담은 광(L1)을 관찰자의 눈의 향해 투과시킬 수 있다.
외부의 광(L2)은 별도의 영상 생성기(110)에서 생성된 영상이 아니라, 관찰자의 정면에 존재하는 실제 전경을 담고 있다. 따라서, 관찰자는 영상 생성기(110)에서 인공적으로 영상과 실제 전경을 함께 동시에 인지할 수 있다. 이에 따라 디스플레이 장치(10)는 투시형(see-through type) 디스플레이로 기능할 수 있게 된다.
컴바이너(120a)는 영상 생성기(110)에서 생성된 영상을 전달하는 도파로(122)를 포함할 수 있다. 도파로(122)는 복수의 표면들을 포함하며, 복수의 표면들 중 적어도 하나의 표면이 자유형상 곡면(121)을 포함할 수 있다.
도 6에 도시된 바와 같이, 도파로(122)는 서로 마주하여 배치된 제1 표면(S1)과 자유형상 곡면(121)인 제2 표면(S2), 및 제1 표면(S1)과 제2 표면(S2) 사이에서 서로 마주하여 배치된 제3 표면(S3)과 제4 표면(S4)을 포함할 수 있다. 제2 표면(S2)이 자유형상 곡면(121)으로 도시되어 있으나, 이에 한정되지 않는다. 제1 표면(S1)도 자유형상 곡면이 될 수 있다. 제3 표면(S3)과 제4 표면(S4)은 굴절력을 갖지 않도록 서로 평행하게 배치될 수 있다.
실시예에 따른 디스플레이 장치(20)는 가상 영상이 배치된 면, 즉, 가상면(VP)의 위치가 하나의 값으로 고정되는 것이 아니라 표시될 영상의 깊이감을 반영하여 가상면(VP)의 위치가 변경될 수 있다. 이를 위하여 디스플레이 장치(20)는 영상 생성기(110)의 위치를 구동하기 위한 구동부(130)를 더 포함할 수 있다.
구동부(130)는 자유형상 곡면(121)와의 거리가 가변되도록 영상 생성기(110)를 평행이동시킬 수 있다. 영상 생성기(110)와 자유형상 곡면(121)간의 거리가 거리, 즉 영상 생성기(110)에서 생성된 영상과 자유형상 곡면(121)간의 광 경로 길이가 작을수록 영상 생성기(110)에서 생성된 영상에 대응하는 가상 영상의 깊이는 커질 수 있다. 그러나, 이에 한정되지 않는다. 구동부(130)는 기설계된 자유형성 곡면(121)의 깊이에 대응하여 영상 생성기(110)를 틸트 운동시킬 수도 있다
구동부(130)는 부피가 작으면서 영상 생성기(110)의 구동 범위를 넓게 하기 위해 형상 가변 물질을 포함할 수 있다. 즉, 구동부(130)는 인가 신호에 따라 변형되며 영상 생성기(110)에 구동력을 제공할 수 있다. 이러한 형상 가변을 위해, 열에 의해 형상이 가변되는 물질이 구동부(130)에 채용될 수 있다. 구동부(130)는 형상 기억 합금(Shape Memory Alloy) 또는 전기 활성 폴리머(Electro Active Polymer)를 포함할 수 있다. 구동부(130)의 구동에 의해 영상 생성기(110)의 위치를 가변시키는 구체적인 설명은 도 7에서 설명한다.
프로세서(140)는 영상 정보에 기초하여 영상 생성기(110)를 제어할 광 변조 신호와 구동부(130)를 제어할 구동 신호를 생성할 수 있다. 그리하여 영상 생성기(110)는 프로세서(140)의 제어하에 특정 위치에서 영상을 생성할 수 있다.
도면에는 도시되어 있지 않지만, 디스플레이 장치(20)은 메모리를 더 포함할 수 있다. 메모리(500)에 영상 정보를 포함하여 영상 표시 장치(500)의 구동에 필요한 다양한 데이터, 프로그램들의 코드 등이 저장될 수 있다.
영상 정보는 프레임 단위의 영상 각각에 대한 컬러 정보와 깊이 정보를 포함할 수 있다. 프로세서(140)는 영상 정보에 포함된 프레임 단위의 각 영상에 대한 화소별 컬러 정보를 참조하여 정해진 컬러값이 구현되는 광 변조 신호를 생성할 수 있다.
영상 정보에 포함된 깊이 정보가 프레임 단위의 깊이 정보인 경우, 프로세서(140)는 상기한 깊이 정보에 기초하여 구동 신호를 생성할 수 있다.
상기한 깊이 정보가 프레임 단위의 깊이 정보가 아닌 경우, 예를 들어, 프레임 내 서브 영상 또는 화소별 깊이 정보인 경우, 프로세서(140)는 프레임 단위의 대표 길이를 결정할 수 있고, 대표 깊이에 기초하여 구동 신호를 생성할 수 있다.
프로세서(140)는 영상 정보에 포함된 컬러 정보 및/또는 깊이 정보를 이용하여 프레임 단위의 각 영상에 대한 대표 깊이를 결정할 수 있다.
예를 들어, 프로세서(140)는 영상 정보로부터 컬러 맵을 추출하고, 컬러 맵에 대한 콘텐츠 분석 및/또는 샐리언시(saliency) 정보 분석 등을 수행하여 대표 깊이를 결정할 수 있다. 샐리언시 정보 분석은 관찰자가 주시할 가능성이 높은 영역, 다시 말하면, 시각 집중도가 높은 영역을 결정하기 위해 행해질 수 있다. 시각 집중도가 높은 영역의 결정을 위해 밝기, 색상, 윤곽선, 객체 크기 등이 고려될 수 있다. 예를 들어, 주변에 비해 밝기나 색상 차이가 큰 영역, 윤곽선 특징이 강한 영역, 객체의 크기가 큰 영역이 시각 집중도가 높은 영역이 될 수 있다. 이러한 영역에 해당하는 깊이 값을 대표 깊이로 결정할 수 있다. 또는, 영상에 담긴 내용(contents)에 따라, 시각 집중도가 높은 위치가 결정될 수도 있다.
이외에도 프로세서(140)은 깊이 맵(depth map)으로부터 zone of comfort을 고려하여 대표 깊이를 결정할 수도 있고, 깊이 맵에 포함된 깊이 정보를 양자화하여 이를 기초로 대표 깊이를 결정할 수도 있다.
프로세서(140)는 결정된 대표 깊이에 따라 구동 신호를 생성할 수 있다. 구동 신호는 예를 들어, 구동부(130)의 가변 물질의 변형을 위해 적절한 열을 발생시키는 전기 신호일 수 있다. 구동 신호는 광 변조 신호보다 소정 시간만큼 지연되게 전송될 수 있다. 상기 소정 시간은 관찰자의 눈의 수렴-조절(vergence-accommodation) 시간 이상으로 설정될 수 있다. 이는 사람의 눈이 변경된 깊이에 있는 가상 영상을 인지할 때 소요되는 시간을 고려한 것일 수 있다.
도 7은 도 6에 적용되는 구동부의 예를 도시한 도면이다. 구동부(130)는 구동 신호에 따라 형태가 변하여 영상 생성기(110)의 위치를 조절하는 변형부(310) 및 변형부(310)를 지지하면서 특정 위치에 고정된 고정부(320)를 포함할 수 있다.
변형부(310)은 고정부(320)와 영상 생성기(110) 사이에 배치될 수 있다. 변형부(310)의 각각의 양 단부들은 고정부(320) 및 영상 생성기(110)에 각각 접할 수 있다. 한 쌍의 변형부(310)이 도시되었으나, 이는 예시적인 것이다. 다른 예시적인 실시예들에서, 하나의 변형부(310) 또는 셋 이상의 변형부(310)이 제공될 수 있다.
변형부(310)에 전기적인 신호가 인가되어, 변형부(310)의 온도가 높아지면, 변형부(310)의 각각의 길이가 줄어들 수 있다. 이 경우, 영상 생성기(110)는 고정부(320)와 가까와지며, 즉, 영상 생성기(110)는 자유형상 곡면(121)간의 거리가 커질 수 있다.
변형부(310)의 온도가 제어되어, 변형부(310)의 각각의 길이 변화 정도가 조절될 수 있고, 영상 생성기(110)와 자유형상 곡면(121)간의 거리가 제어될 수 있다.
또는, 변형부(310)는 와이어 형태를 가질 수 있다. 변형부(310)의 길이는 변형부(310)의 온도 또는 변형부(310) 내에 형성되는 전기장에 따라 변할 수 있다. 예를 들어, 변형부(310)는 형상 기억 합금(Shape Memory Alloy, SMA), 전기 활성 폴리머(Electro Active Polymer, EAP), 및 이들의 조합을 포함할 수 있다. 변형부(310)가 형상 기억 합금을 포함하는 경우, 변형부(310)는 높은 온도에서 짧은 길이를 가질 수 있고, 낮은 온도에서 긴 길이를 가질 수 있다. 변형부(310)가 전기 활성 폴리머를 포함하는 경우, 변형부(310)에 전기장이 인가된 때, 변형부(310)의 길이는 인가된 전기장에 수직한 방향으로 길어질 수 있다. 이하에서는 변형부(310)가 온도에 의해 변형되는 것을 예시하여 설명할 것이다.
변형부(310)의 온도는 변형부(310)에 인가되는 전기적인 신호에 의해 조절될 수 있다. 전기적인 신호는 프로세서(140)에서 전송된 구동 신호에 기초한 것으로, 전기적인 신호는 전류 신호 또는 전압 신호일 수 있다. 예를 들어, 변형부(310)에 전류가 인가되어 변형부(310)의 온도를 높일 수 있다. 변형부(310)에 전류가 인가되지 않은 경우, 변형부(310)의 온도는 낮아질 수 있다.
도 6 및 도 7에서는 구동부(130)를 이용하여 영상 생성기(110)의 위치를 변경함으로써 가상 영상의 깊이를 조절한다고 하였으나, 이에 한정되지 않는다. 영상 생성기(110)가 홀로그램 영상을 생성하는 경우, 홀로그램 영상의 홀로그램면을 변경함으로써 가상 영상의 깊이를 다르게 구현할 수도 있다.
도 8은 일 실시예에 따른 자유형상 곡면(121)을 포함하는 홀로그램 디스플레이 장치(30)를 도시한 도면이고, 도 9는 도 8의 홀로그램 영상을 생성하는 영상 생성기(110)를 도시한 도면이다. 도 8을 참조하면, 홀로그램 영상을 생성하는 영상 생성기(110a), 시순차적으로 생성된 홀로그램 영상으로부터 깊이가 서로 다른 복수 개 가상 영상을 형상하는 자유형상 광학계(120) 및 영상 정보로부터 컴퓨터 생성 홀로그램(computer generated hologram: CGH)을 생성하여, CGH을 공간 광 변조기(420)에 제공하는 프로세서(140a)를 포함할 수 있다.
영상 생성기(110a)는, 도 9를 참조하면, 가간섭성 광을 제공하는 광원(410), 입사된 광을 회절시켜 홀로그램 영상을 생성하는 공간 광 변조기(420) 및 홀로그램 영상을 소정의 공간상에 형성하는 초점 광학계(430)를 포함할 수 있다.
광원(410)은 레이저 다이오드를 포함할 수 있다. 그러나, 어느 정도의 공간 간섭성(spatial coherence)을 가지고 있다면 공간 광 변조기(420)에 의해 회절 및 변조되어 가간섭성을 가질 수 있기 때문에, 어느 정도의 공간 간섭성을 갖는 광을 방출한다면 다른 광원도 사용이 가능하다.
공간 광 변조기(420)는 입사된 광을 회절시켜 홀로그램 영상을 생성한다. 홀로그램 방식은 물체파와 참조파의 간섭 무늬를 기록한 홀로그램에 참조파를 조사하면 물체파가 재생되는 원리를 이용한다. 최근에는 이러한 간섭 무늬 형성을 위해 컴퓨터 생성 홀로그램(computer generated hologram CGH)이 사용되고 있다.
초점 광학계(430)는, 영상 정보에 포함된 깊이 정보에 따라, 홀로그래픽 영상을 디스플레이하기 위한 것이다. 초점 광학계(430)는 공간 광 변조기(420)에서 생성된 홀로그래픽 영상을 공간 광 변조기(420)와 다른 공간, 즉, 홀로그램 평면(HP)상에 표시되도록 초점 위치를 가변시키는 구성을 포함할 수 있다.
초점 광학계(430)는 하나 이상의 렌즈를 포함할 수 있다. 하나 이상의 렌즈는 곡률이 가변되거나, 또는, 광축 방향을 따라, 이동할 수 있도록 구성될 수 있으며, 이에 따라 초점 위치가 가변되고 홀로그램 영상이 표시되는 홀로그램 평면(HP)의 위치가 가변될 수 있다.
프로세서(140)는 3차원 영상 정보로부터 홀로그램 영상이 표시될 홀로그램 평면(HP)의 대표 깊이를 결정하고, 3차원 영상 정보를 기초로 대표 깊이에 대응하는 컴퓨터 생성 홀로그램(computer generated hologram CGH)를 생성한다. 프로세서(140)는 3차원 영상 정보에 포함된 컬러 정보와 깊이 정보를 분석하여 대표 깊이를 결정하는데, 대표 깊이를 결정하는 방법은 앞서 설명하였는 바, 구체적인 설명은 생략한다.
프로세서(140)의 제어하에 공간 광 변조기(420)는 대표 깊이에 대응하는 홀로그램 평면(HP)에 홀로그램 영상을 표시하고, 홀로그램 영상은 자유형상 곡면(121)에 의해 반사됨으로써 깊이가 다른 복수 개의 홀로그램 영상에 대응하는 가상 영상을 형성할 수 있다.
영상 정보로부터 영상의 대표 깊이를 추출한다고 하였으나, 이에 한정되지 않는다. 디스플레이 장치(10)는 관찰자가 주시하는 깊이를 추적하여 가상 영상에 대한 깊이 정보를 제공할 수 있다.
도 10은 일 실시예에 따른 아이 트래킹 센서(150)를 포함하는 디스플레이 장치(40)를 설명하는 도면이다. 도 10에 도시된 바와 같이, 디스플레이 장치(40)는 관찰자가 주시하는 깊이를 추적하는 아이 트래킹 센서(150)를 더 포함할 수 있다.
아이 트래킹 센서(150)는 관찰자의 눈의 위치 및 방향을 추적함으로써, 관찰자가 주시하는 깊이에 대한 정보를 획득할 수 있다. 예를 들어, 아이 트래킹 센서(150)는 적외선의 각막 반사를 이용하여 시선 방향을 검출하는 기술을 이용하여 관찰자가 주시하는 깊이에 대한 정보를 획득할 수 있다. 그러나 이에 한정되지 않는다. 아이 트래킹 센서(150)는 컴퓨터 비전 기술을 이용하여, 눈동자의 이미지를 획득하고, 획득된 이미지를 이용하여 눈동자의 위치 변화를 추적할 수 있다. 아이 트래킹 센서(150)는 눈동자의 위치 변화를 이용하여 관찰자가 주시하는 깊이 정보를 획득할 수 있다. 아이 트래킹 센서(150)는 획득한 깊이에 대한 정보를 프로세서(140)에 제공할 수 있다. 아이 트래킹 센서(150)는 적외선카메라, 가시광선 카메라, 또는, 기타 다양한 센서를 포함할 수 있다.
프로세서(140)는 아이 트래킹 센서(150)로부터 수신된 관찰자가 주시하는 깊이 정보를 기초로 영상의 대표 깊이를 결정할 수 있다. 그리고, 상기한 대표 깊이에 따라 구동부(130)의 구동 신호를 생성하거나 대표 깊이에 대응하는 컴퓨터 생성 홀로그램(computer generated hologram CGH)을 생성할 수도 있다. 대표 깊이에 대응하는 영상 표시는 앞서 설명하였는 바, 구체적인 설명은 생략한다.
도 6에는 도파관의 일 표면이 자유형상 곡면(121)으로 형성된다고 하였으나, 이에 한정되지 않는다. 자유형상 광학계(120)는 도파관 이외의 다른 구성요소도 포함할 수 있다.
도 11은 일 실시예에 따른 광투과판(123)이 배치된 광학계(120)를 포함하는 디스플레이 장치를 도시한 도면이다. 도 6과 도 11의 광학계(120b)를 비교하면, 도 11의 광학계(120b)는 도파로(122)와 접하는 광투과판(123)을 더 포함할 수 있다. 광투과판(123)은 자유형상 곡면(121)과 상보적 형상을 갖는 곡면을 포함할 수 있으며, 도파로(122)의 제3 표면(S3), 및 제4 표면(S4)을 함께 공유할 수 있다. 외부의 풍경을 담은 광(L2)은 제4 표면(S4)에 입사한 후, 자유형상 곡면(121) 및 제3 표면(S3)을 순차적으로 통과하여 관찰자의 눈에 입사할 수 있다.
영상을 담은 광(L1)을 반사하고 외부의 풍경을 담은 광(L2)을 투과시키기 위하여 자유형상 곡면(121)상에는 반투과막(124)이 배치될 수 있다. 반투과막(124)은 단순히 입사광의 일부를 반사하고 나머지 일부를 통과시킬 수 있다. 그러면, 영상을 담은 광(L1)의 일부가 자유형상 곡면(121)에서 반투과막(124)에 의해 반사되어 관찰자의 눈을 향해 진행하고, 외부의 풍경을 담은 광(L2)의 일부가 자유형상 곡면(121)에서 반투과막(124)을 투과하여 관찰자의 눈을 향해 진행할 수 있다.
영상 생성기(110)에서 생성된 영상을 담은 광(L1)이 편광 특성을 갖는다면, 반투과막(124)은 특정 편광 성분을 갖는 광을 반사하고 다른 편광 성분을 갖는 광을 투과시키도록 구성될 수도 있다. 예를 들어, 가상 영상을 담은 광(L1)이 제1 편광 성분을 갖는다면, 반투과막(124)은 제1 편광 성분을 갖는 광을 반사하고 제1 편광 성분에 수직한 제2 편광 성분을 갖는 광을 투과시킬 수도 있다.
도면에는 반투과막(124)이 자유형상 곡면(121)상에 배치된 것으로 설명하였으나, 이에 한정되지 않는다, 반투과막(124)과 자유형상 곡면(121)은 도파로(122)상에서 서로 분리되어 배치될 수 있음도 물론이다.
도 12는 일 실시예에 따른 양안 각각에 영상을 제공하는 디스플레이 장치(60)를 도시한 도면이다. 양안에 제공되는 영상은 동일할 수 있고, 또는 시차 정보를 가지는 영상일 수 있다.
디스플레이 장치(60)는 우안용 영상을 생성하는 제1 영상 생성기(110R), 우안용 영상과 현실 환경을 하나의 영역으로 수렴시키는 제1 영상 수렴 부재(120R), 좌안용 영상을 생성하는 제1 영상 생성기(110L), 좌안용 영상과 현실 환경을 하나의 영역으로 수렴시키는 제2 영상 수렴 부재(120L), 및 대표 깊이에 영상이 표시되도록 제1 및 제2 영상 생성기(110R, 110L)를 제어하는 프로세서(140b)를 포함할 수 있다.
제1 및 제2 영상 생성기(110R, 110L)각각은 프로세서(140b)의 제어하에 우안용 영상, 좌안용 영상을 생성할 수 있다. 제1 및 제2 영상 생성기(110R, 110L)는 앞서 설명하였는 바, 구체적인 설명은 생략한다.
프로세서(140b)는 제1 및 제2 영상 생성기(110R, 110L)가 영상을 생성할 수 있도록 광 변조 신호를 생성할 뿐만 아니라, 영상 정보 또는 아이 트래킹 센서로부터 수신된 정보로부터 대표 깊이를 결정할 수도 있다.
제1 영상 수렴 부재(120R)는 우안용 영상의 광 경로(L1)와 현실 환경의 광 경로(L2) 중 적어도 하나를 변경시켜 영상과 현실 환경을 하나의 영역에 수렴시킬 수 있다. 여기서 하나의 영역은 관찰자의 우안(RE)일 수 있다. 영상 수렴 부재(120R)는 복수의 광경로(L1, L2)에 따른 복수의 광을 관찰자의 눈으로 전달할 수 있다. 제2 영상 수렴 부재(120L)는 좌안용 영상의 광 경로(L3)와 현실 환경의 광 경로(L2) 중 적어도 하나를 변경시켜 좌안용 영상과 현실 환경을 하나의 영역에 수렴시킬 수 있다. 여기서 하나의 영역은 관찰자의 좌안(RE)일 수 있다.
제1 및 제2 영상 수렴 부재(120R, 120L)는 앞서 설명한 자유형상 곡면을 포함할 수 있다. 뿐만 아니라, 제1 및 제2 영상 수렴 부재(120R, 120L)는, 도파관, 광 투과판, 빔스플리터(beam splitter) 또는 반투과막(124)(transflective film) 등을 더 포함할 수도 있다.
제1 광 경로(L1) 및 제3 광 경로(L3)의 광에 의해 전달되는 영상은 증강 현실 장치내에서 제공된 영상일 수 있다. 제2 광경로(L2)의 광에 의해 전달되는 현실 환경은 상기 증강 현실 장치를 통해서 상기 관찰자가 마주하는 환경일 수 있다. 현실 환경은 상기 관찰자가 마주하는 전경을 포함할 수 있고, 소정의 배경 피사체(background subject)를 포함할 수 있다.
도 13은 예시적인 실시 예에 따른 디스플레이 장치가 자동차에 적용된 예를 도시한 것이다. 디스플레이 장치가 자동차용 헤드업 디스플레이 장치(70)에 적용될 수 있다. 헤드업 디스플레이 장치(70)는 자동차의 일 영역에 구비된 영상 생성기(110c)와, 영상 생성기(110c)에서 생성된 영상을 운전자가 볼 수 있도록 광의 경로를 변환하는 적어도 하나 이상의 광학계(120d)를 포함할 수 있다. 광학계(120d)는 일 실시예에 따른 자유형성 광학계를 포함할 수 있다.
도 14는 예시적인 실시 예에 따른 디스플레이 장치가 증강 현실 안경 또는 가상 현실 안경에 적용된 예를 도시한 것이다. 증강 현실 안경(80)은 영상을 생성하는 영상 생성기(110d)과, 영상 생성기(110d)으로부터의 영상을 관찰자의 눈에 들어가도록 안내하는 광학계(120d)를 포함할 수 있다. 광학계(120d)는 일 실시예에 따른 자유형성 광학계(120)를 포함할 수 있다.
이외에도 일 실시예에 따른 디스플레이 장치(10, 20, 30, 40, 50, 60)는 다양한 종류의 웨어러블(wearable) 장치, 헤드 장착형 디스플레이(HMD; head mounted display), 안경형 디스플레이(glasses-type display), 또는 고글형 디스플레이(goggle-type display)로 구현될 수 있다.
상술한 디스플레이 장치(10, 20, 30, 40, 50, 60)는 스마트폰(smart phone)등, 다른 전자 기기에 연동 또는 연결되어 동작할 수 있다. 예를 들어, 영상 생성기를 구동하는 프로세서는 스마트폰(smart phone)에 구비될 수 있다. 뿐만 아니라, 스마트폰에 상술한 디스플레이 장치가 구비될 수도 있다.
지금까지, 본 발명의 이해를 돕기 위하여 예시적인 실시예가 설명되고 첨부된 도면에 도시되었다. 그러나, 이러한 실시예는 단지 본 발명을 예시하기 위한 것이고 이를 제한하지 않는다는 점이 이해되어야 할 것이다. 그리고 본 발명은 도시되고 설명된 설명에 국한되지 않는다는 점이 이해되어야 할 것이다. 이는 다양한 다른 변형이 본 기술분야에서 통상의 지식을 가진 자에게 일어날 수 있기 때문이다.
10, 20, 30, 40, 50, 60, 70: 디스플레이 장치
110, 110a, 110b, 110c, 110d, 110R, 110L : 영상 생성기
120, 120a, 120b, 120c, 120d: 광학계
121: 자유형상 곡면
130: 구동부
140: 프로세서
150: 아이 트래킹 센서

Claims (22)

  1. 광을 변조하여 복수 개의 영상을 시순차적으로 생성하는 영상 생성기; 및
    상기 복수 개의 영상에 대응하는 복수 개의 가상 영상을 사용자의 눈으로부터 서로 다른 깊이에 시순차적으로 형성하는 자유형상 곡면(freeform surface)을 포함하는 광학계;를 포함하고,
    상기 자유형상 곡면상에서 상기 복수 개의 영상과 그에 대응하는 복수 개의 가상 영상간의 오차 값 각각은 상기 자유형상 곡면의 프로파일 값이하인 디스플레이 장치.
  2. 제 1항에 있어서,
    상기 오차 값은,
    상기 자유형상 곡면에서 상기 영상 생성기에서 생성된 영상과 그에 대응하는 가상 영상간의 픽셀값 차이에 기초한 디스플레이 장치.
  3. 제 1항에 있어서,
    상기 자유형상 곡면의 프로파일은,
    상기 자유형상 곡면상에서 각 영상과 그에 대응하는 가상 영상간의 오차에 대한 합의 최소값들로 구성된 디스플레이 장치.
  4. 제 1항에 있어서,
    상기 자유형상 곡면은,
    상기 복수 개의 영상과 상기 자유형상 곡면간의 광 경로 길이에 기초하여 상기 복수 개의 가상 영상을 서로 다른 깊이에 형성하는 디스플레이 장치.
  5. 제 4항에 있어서,
    상기 영상 생성기에서 생성된 영상과 상기 자유형상 곡면간의 광 경로 길이가 작을수록 그에 대응하는 가상 영상의 깊이는 커지는 디스플레이 장치.
  6. 제 1항에 있어서,
    상기 영상 정보에 포함된 깊이 정보 및 사용자가 주시하는 깊이 정보 중 적어도 하나를 기초하여 상기 영상 생성기를 제어하는 프로세서;를 더 포함하는 디스플레이 장치.
  7. 제 1항에 있어서,
    상기 프로세서의 제어에 의해 상기 영상 생성기가 서로 다른 위치에서 상기 복수 개의 영상을 생성하도록 상기 영상 생성기의 위치를 조절하는 구동부;를 더 포함하는 디스플레이 장치.
  8. 제 7항에 있어서,
    상기 구동부는,
    인가되는 신호에 따라 형상이 가변되어 상기 영상 생성기의 위치를 조절하는 형상 가변 부재를 포함하는 디스플레이 장치.
  9. 제 7항에 있어서,
    상기 형상 가변 부재는
    열에 의해 형상이 가변되는 물질을 포함하는 디스플레이 장치.
  10. 제 7항에 있어서,
    형상 기억 합금(Shape Memory Alloy) 또는 전기 활성 폴리머(Electro Active Polymer)를 중 적어도 하나를 포함하는 디스플레이 장치.
  11. 제 5항에 있어서,
    상기 프로세서는
    상기 영상 정보를 컴퓨터 생성 홀로그램(Computer-generated hologram) 연산하는 하고,
    상기 영상 생성기는,
    상기 프로세서로부터 수신된 상기 GGH에 따라 대표 깊이가 서로 다른 상기 복수 개의 영상을 생성하는 디스플레이 장치.
  12. 제 5항에 있어서,
    상기 사용자가 주시하는 깊이를 추적하는 아이 트래킹 센서;를 더 포함하고,
    상기 프로세서는,
    상기 사용자가 주시하는 깊이에 상기 가상 영상이 형성되도록 상기 영상 생성기를 제어하는 디스플레이 장치.
  13. 제 1항에 있어서,
    상기 광학계는,
    상기 복수 개의 가상 영상과 외부 환경에 대응하는 외부 광을 한 지점으로 수렴시키는 컴바이너이고,
    상기 자유형상 곡면은 상기 컴바이너에 일체화된 디스플레이 장치.
  14. 제 13항에 있어서,
    상기 컴바이너는 상기 가상 영상을 전달하는 투명 도파로를 포함하며, 상기 투명 도파로의 표면에 상기 자유형상 곡면이 배치된, 디스플레이 장치.
  15. 제 12항에 있어서,
    상기 컴바이너는 상기 자유형상 곡면에 배치된 반투과막을 더 포함하는, 디스플레이 장치.
  16. 제 1항에 있어서,
    상기 디스플레이 장치는,
    증강 현실 장치인 디스플레이 장치.
  17. 자유형상 곡면을 포함하는 디스플레이 장치의 동작 방법에 있어서,
    광을 변조하여 복수 개의 영상을 시순차적으로 생성하는 단계; 및
    상기 자유형상 곡면에 의해 상기 복수 개의 영상 각각에 대응하는 복수 개의 가상 영상을 서로 다른 깊이에 시순차적으로 형성하는 단계;를 포함하고,
    상기 자유형상 곡면상에서 각 영상과 그에 대응하는 가상 영상간의 오차 값은 상기 자유형상 곡면의 프로파일값 이하인 디스플레이 장치의 동작 방법.
  18. 제 17항에 있어서,
    상기 오차 값은,
    상기 자유형상 곡면에서 상기 영상 생성기에서 생성된 영상과 그에 대응하는 가상 영상간의 픽셀값 차이에 기초한 디스플레이 장치의 동작 방법.
  19. 제 17항에 있어서,
    상기 자유형상 곡면의 프로파일은,
    상기 자유형상 곡면상에서 각 영상과 그에 대응하는 가상 영상간의 오차에 대한 합의 최소값들로 구성된 디스플레이 장치의 동작 방법.
  20. 제 17항에 있어서,
    상기 가상 영상을 형성하는 단계는,
    상기 복수 개의 영상과 상기 자유형상 곡면간의 광 경로 길이 각각을 기초로 상기 복수 개의 가상 영상을 서로 다른 깊이에 형성하는 디스플레이 장치의 동작 방법.
  21. 제 20항에 있어서,
    상기 영상 생성기에서 생성된 영상과 상기 자유형상 곡면간의 광경로 길이가 작을수록 상기 영상에 대응하는 가상 영상의 깊이는 커지는 디스플레이 장치의 동작 방법.
  22. 제 17항에 있어서,
    사용자가 주시하는 깊이를 추적하는 단계;를 더 포함하고,
    상기 가상 영상을 형성하는 단계는,
    상기 사용자가 주시하는 깊이에 상기 가상 영상을 형성하는 디스플레이 장치의 동작 방법.
KR1020210052530A 2021-04-22 2021-04-22 자유형상 곡면을 포함하는 디스플레이 장치 및 그 동작 방법 KR20220145668A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020210052530A KR20220145668A (ko) 2021-04-22 2021-04-22 자유형상 곡면을 포함하는 디스플레이 장치 및 그 동작 방법
US17/512,245 US11682325B2 (en) 2021-04-22 2021-10-27 Display apparatus including free-formed surface and operating method thereof
CN202111587872.9A CN115236855A (zh) 2021-04-22 2021-12-23 包括自由形成的表面的显示装置及其操作方法
EP22169101.7A EP4083683A1 (en) 2021-04-22 2022-04-20 Display apparatus including free-formed surface and operating method thereof
JP2022070907A JP2022167885A (ja) 2021-04-22 2022-04-22 自由形状曲面を含むディスプレイ装置及びその動作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210052530A KR20220145668A (ko) 2021-04-22 2021-04-22 자유형상 곡면을 포함하는 디스플레이 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR20220145668A true KR20220145668A (ko) 2022-10-31

Family

ID=81344481

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210052530A KR20220145668A (ko) 2021-04-22 2021-04-22 자유형상 곡면을 포함하는 디스플레이 장치 및 그 동작 방법

Country Status (5)

Country Link
US (1) US11682325B2 (ko)
EP (1) EP4083683A1 (ko)
JP (1) JP2022167885A (ko)
KR (1) KR20220145668A (ko)
CN (1) CN115236855A (ko)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8934160B2 (en) * 2011-10-25 2015-01-13 National Central University Optical head-mounted display with mechanical one-dimensional scanner
CN107329259B (zh) 2013-11-27 2019-10-11 奇跃公司 虚拟和增强现实系统与方法
WO2015134740A1 (en) * 2014-03-05 2015-09-11 Arizona Board Of Regents On Behalf Of The University Of Arizona Wearable 3d augmented reality display with variable focus and/or object recognition
JP6361986B2 (ja) * 2016-05-30 2018-07-25 マツダ株式会社 車両用表示装置
US10334236B2 (en) 2016-07-26 2019-06-25 Samsung Electronics Co., Ltd. See-through type display apparatus
KR102222825B1 (ko) 2016-11-15 2021-03-05 크리얼 에스에이 보정한 단안의 깊이 단서를 갖는 접안 순차 라이트 필드 프로젝터
KR102547823B1 (ko) * 2017-12-13 2023-06-26 삼성전자주식회사 컨텐츠 시각화 장치 및 방법
US10955685B2 (en) * 2018-12-28 2021-03-23 Lightspace Technologies, SIA Volumetric display arrangement and a method for representing content of an image
US10837621B2 (en) 2019-01-25 2020-11-17 Mitsubishi Electric Research Laboratories, Inc. Methods and systems for freeform irradiance tailoring for light fields
KR20190116191A (ko) 2019-09-23 2019-10-14 엘지전자 주식회사 전자 디바이스

Also Published As

Publication number Publication date
CN115236855A (zh) 2022-10-25
EP4083683A1 (en) 2022-11-02
JP2022167885A (ja) 2022-11-04
US11682325B2 (en) 2023-06-20
US20220343815A1 (en) 2022-10-27

Similar Documents

Publication Publication Date Title
US10775633B1 (en) Exit pupil steering for near-eye displays
US10419731B2 (en) Virtual image generator
US9442294B2 (en) Image display device in the form of a pair of eye glasses comprising micro reflectors
US10409082B2 (en) Adjustable focal plane optical system
KR20190130147A (ko) 디스플레이 시스템들을 위한 깊이 기반 포비티드 렌더링
WO2020190575A1 (en) Varifocal display with fixed-focus lens
JP2023509295A (ja) 中心窩適応ディスプレイシステム
KR20160104363A (ko) 3차원 영상 표시용 광 변조 신호 형성 방법, 3차원 영상 표시 방법 및 장치
CN104407440A (zh) 具有视线跟踪功能的全息显示装置
CN116802544A (zh) 位于波导显示器上的相位结构
US11536969B2 (en) Scene camera
CN107797436B (zh) 全息显示装置及其显示方法
JP2023509294A (ja) スイッチ可能なパンチャラトナム－ベリー位相格子積層体
CN113132711A (zh) 图像显示设备和图像显示方法
CN110780454B (zh) 三维图像显示设备和方法
US20240061246A1 (en) Light field directional backlighting based three-dimensional (3d) pupil steering
TW202235963A (zh) 異質分層的體積布拉格光柵波導架構
KR20220145668A (ko) 자유형상 곡면을 포함하는 디스플레이 장치 및 그 동작 방법
KR20220146169A (ko) 자유형상 곡면을 포함하는 홀로그래픽 디스플레이 장치 및 그 동작 방법
US12032154B2 (en) Display apparatus including vision correction lens
US20230360567A1 (en) Virtual reality display system
US12085717B2 (en) Hybrid waveguide to maximize coverage in field of view (FOV)
US20230314716A1 (en) Emission of particular wavelength bands utilizing directed wavelength emission components in a display system
EP4414769A1 (en) Folded beam two-dimensional (2d) beam scanner
WO2023219925A1 (en) Virtual reality display system

Legal Events

Date Code Title Description
A201 Request for examination