KR20210010370A - 다중 깊이 표현이 가능한 영상 표시 장치 - Google Patents

다중 깊이 표현이 가능한 영상 표시 장치 Download PDF

Info

Publication number
KR20210010370A
KR20210010370A KR1020200086980A KR20200086980A KR20210010370A KR 20210010370 A KR20210010370 A KR 20210010370A KR 1020200086980 A KR1020200086980 A KR 1020200086980A KR 20200086980 A KR20200086980 A KR 20200086980A KR 20210010370 A KR20210010370 A KR 20210010370A
Authority
KR
South Korea
Prior art keywords
display device
image
driving
processor
depth
Prior art date
Application number
KR1020200086980A
Other languages
English (en)
Inventor
신봉수
김윤태
성기영
이창건
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2020/009388 priority Critical patent/WO2021010772A1/ko
Priority to CN202080062250.1A priority patent/CN114341705A/zh
Priority to EP20840549.8A priority patent/EP4001995A4/en
Priority to US17/628,111 priority patent/US20220326522A1/en
Publication of KR20210010370A publication Critical patent/KR20210010370A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/52—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels the 3D volume being constructed from a stack or sequence of 2D planes, e.g. depth sampling systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/02—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0154—Head-up displays characterised by mechanical features with movable elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0154—Head-up displays characterised by mechanical features with movable elements
    • G02B2027/0159—Head-up displays characterised by mechanical features with movable elements with mechanical means other than scaning means for positioning the whole image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

영상 표시 장치는 광을 변조하여 영상을 형성하는 디스플레이 소자; 상기 디스플레이 소자의 위치가 가변되도록 상기 디스플레이 소자를 구동하는 구동부; 상기 디스플레이소자에서 형성한 영상을 관찰자의 눈에 전달하는 것으로, 포커싱 부재를 포함하는 광 전달부; 및 영상 정보에 따라 광 변조 신호 및 구동 신호를 생성하고, 상기 광 변조 신호 및 상기 구동 신호에 따라 상기 디스플레이 소자 및 상기 구동부를 각각 제어하는 프로세서;를 포함한다.

Description

다중 깊이 표현이 가능한 영상 표시 장치{Image display device capable of multi-depth expression}
본 개시는 다중 깊이 표현이 가능한 영상 표시 장치에 대한 것이다.
3차원 영상 표시 기술은 다양한 분야에 적용되고 있으며, 최근, 가상 현실 (Virtual reality, VR) 디스플레이, 증강 현실(Augmented reality, AR) 디스플레이와 관련된 영상 장치에도 적용되고 있다.
가상 현실 (Virtual reality, VR)을 제공하는 헤드 마운트 디스플레이는 현재 상용화 단계에 이르러 엔터테인먼트 산업에 널리 적용되고 있는 추세이다. 이와 더불어 의료, 교육, 산업 분야에서 응용이 가능한 형태로 발전하고 있다.
가상 현실 디스플레이의 발전된 형태인 증강 현실(Augmented reality, AR) 디스플레이는 현실 세계와 가상 현실을 결합해주는 영상 장치로 현실과 가상 사이의 상호 작용을 이끌어 낼 수 있는 특징을 가진다. 현실과 가상 현실의 상호 작용은 현실 상황에 대하여 실시간으로 정보를 제공하는 기능을 기반으로 하며, 현실 세계의 환경 위에 가상의 대상이나 정보를 겹쳐 보여줌으로써 현실의 효과를 더욱 증가시킬 수 있다.
이러한 장치에서, 3차원 영상 표시를 위해 스테레오스코피(stereoscopy) 기술이 통상 사용되는데, 이 때, 수렴-조절(Vergence-Accommodation) 불일치에 의한 시각 피로가 수반될 수 있다. 이에 따라, 시각 피로를 감소시킬 수 있는 3차원 영상 표시 방법이 모색되고 있다.
본 개시는 다양한 깊이 표현이 가능한 영상 표시 장치를 제공한다.
일 유형에 따르면, 광을 변조하여 영상을 형성하는 디스플레이 소자; 상기 디스플레이 소자의 위치가 가변되도록 상기 디스플레이 소자를 구동하는 구동부; 상기 디스플레이소자에서 형성한 영상을 관찰자의 눈에 전달하는 것으로, 포커싱 부재를 포함하는 광 전달부; 및 영상 정보에 따라 광 변조 신호 및 구동 신호를 생성하고, 상기 광 변조 신호 및 상기 구동 신호에 따라 상기 디스플레이 소자 및 상기 구동부를 각각 제어하는 프로세서;를 포함하는 영상 표시 장치가 제공된다.
상기 구동부는 상기 디스플레이 소자와 상기 포커싱 부재와의 거리가 가변되도록 상기 디스플레이 소자를 평행 이동시킬 수 있다.
상기 구동부는 인가 신호에 따라 변형되며 상기 디스플레이 소자에 구동력을 제공하는 형상 가변부를 포함할 수 있다.
상기 형상 가변부는 열에 의해 형상이 가변되는 물질을 포함할 수 있다.
상기 형상 가변부는 형상 기억 합금(Shape Memory Alloy) 또는 전기 활성 폴리머(Electro Active Polymer)를 포함할 수 있다.
상기 광 전달부는 상기 디스플레이 소자에서 형성된 영상을 소정 위치의 가상면(virtual image plane)상의 확대된 상으로 관찰자의 눈에 전달할 수 있다.
상기 영상 정보는 복수 프레임의 영상 각각에 대해 상기 가상면의 위치와 연동되는 깊이 정보를 포함하며, 상기 프로세서는 상기 깊이 정보에 따라 상기 구동 신호를 생성할 수 있다.
상기 깊이 정보는 상기 복수 프레임의 영상 각각에 대한 샐리언시 맵(saliency map)으로부터 미리 설정된 정보일 수 있다.
상기 프로세서는 서로 다른 깊이 정보를 갖는 연속된 두 프레임의 영상 중 어느 하나에 적용할 스케일 인자(scale factor)를 생성하고, 상기 스케일 인자를 상기 영상 정보에 반영하여 상기 광 변조 신호를 생성할 수 있다.
상기 프로세서는 상기 두 프레임의 영상 각각이 이미징 되는 배율을 연산하고, 두 배율간의 변화값이 소정 기준값 이하인 경우에는 상기 스케일 인자를 1로 설정할 수 있다.
상기 프로세서는 상기 두 프레임의 영상 각각이 이미징 되는 배율을 연산하고, 두 배율간의 변화값이 소정 기준값보다 큰 경우 상기 두 프레임의 영상의 유사성을 판단할 수 있다.
상기 프로세서는 상기 두 프레임의 영상의 유사도가 소정 기준값 이하인 경우 상기 스케일 인자를 1로 설정하고, 상기 두 프레임의 영상의 유사도가 소정 기준값보다 큰 경우 상기 변화값을 상쇄하는 스케일 인자를 생성할 수 있다.
상기 프로세서는 같은 프레임의 영상에 대하여 상기 구동 신호를 상기 광변조 신호보다 소정 시간만큼 지연되게 전송하며 상기 디스플레이 소자 및 상기 구동부를 제어할 수 있다.
상기 소정 시간은 관찰자의 눈의 수렴-조절(vergence-accommodation) 시간 이상으로 설정될 수 있다.
상기 광 전달부는 상기 디스플레이 소자로부터의 영상을 담은 제1광과 관찰자의 전방(front)에 있는 실사(real environment) 영상을 담은 제2광을 결합하여 관찰자의 눈에 전달할 수 있다.
상기 광 전달부는 상기 제1광의 진행 경로 및 상기 제2광의 진행 경로에 대해 비스듬하게 배치된 빔 스플리터; 및 상기 포커싱 부재;를 포함할 수 있다.
상기 빔 스플리터는 하프 미러(half mirror)일 수 있다.
상기 디스플레이 소자는 제1 디스플레이 소자 및 제2 디스플레이 소자를 포함하고, 상기 구동부는 상기 제1 디스플레이 소자 및 상기 제2 디스플레이 소자의 위치가 가변되도록 상기 제1 디스플레이 소자 및 상기 제2 디스플레이 소자를 각각 구동하는 제1 및 제2 구동부를 포함하며, 상기 광 전달부는 상기 제1 디스플레이 소자 및 상기 제2 디스플레이 소자에서 형성한 영상을 각각 관찰자의 좌안 및 우안에 전달하는 제1 광전달부 및 제2 광전달부를 포함할 수 있다.
상기 영상 정보는 한 프레임의 3차원 영상으로 인지될 한 쌍의 좌안 영상 및 우안 영상에 대한 정보를 포함하며, 상기 프로세서는 상기 좌안 영상이 상기 제1 디스플레이 소자에서 형성되고 상기 우안 영상이 상기 제2 디스플레이 소자에서 형성되도록 상기 제1 디스플레이 소자 및 상기 제2 디스플레이 소자를 제어할 수 있다.
상기 영상 정보는 상기 좌안 영상 및 우안 영상이 각각 이미징될 가상면의 위치와 연동되는 깊이 정보를 더 포함하며, 상기 프로세서는 상기 깊이 정보에 따라 상기 제1 구동부 및 상기 제2 구동부를 제어할 수 있다.
상기 영상 표시 장치는 웨어러블(wearable) 장치일 수 있다.
상기 구동부는 니어(near) 범위 및 파(far) 범위를 각각 대표하는 두 깊이 값 중 하나에 대응하는 위치로 상기 디스플레이 소자를 구동할 수 있다.
상기 영상 표시 장치는 관찰자의 눈이 주시하는 깊이 위치를 센싱하는 아이 트래킹 센서(eye tracking sensor)를 더 포함할 수 있다.
상기 프로세서는 상기 아이 트래킹 센서에서 센싱된 측정값을 참조하여 상기 구동 신호를 생성할 수 있다.
상기 프로세서는 상기 측정값에 대해 니어(near) 범위 또는 파(far) 범위 여하를 판단하고, 상기 니어 범위 및 파 범위를 각각 대표하는 두 대표값 중 하나에 대응하는 위치로 상기 디스플레이 소자가 구동되도록 상기 구동 신호를 생성할 수 있다.
상기 프로세서는 복수 프레임의 영상 각각에 대해 샐리언시 맵(saliency map)을 이용하여 설정된 깊이 값에 근거하여 상기 구동 신호를 생성할 수 있다.
상기 프로세서는 상기 아이 트래킹 센서에서의 측정값을 반영하여 상기 구동 신호를 수정할 수 있다.
상기 프로세서는 샐리언시 맵을 이용하여 설정된 깊이 값과 상기 아이 트래킹 센서에서의 측정값이 기설정된 니어(near) 범위 및 파(far) 범위 중 서로 다른 범위에 속하는 경우에만 상기 구동 신호를 수정할 수 있다.
상술한 영상 표시 장치에 따르면, 컴팩트한 구조로 넓은 범위의 깊이 표현이 가능하다.
상술한 영상 표시 장치는 양안 시차 방식과 깊이 표현을 결합한 3차원 영상을 제공할 수 있다.
상술한 영상 표시 장치는 웨어러블 기기에 적용되기 용이하며, 예를 들어, 안경형 증강 현실 디스플레이 장치 등에 적용될 수 있다.
도 1은 실시예에 따른 영상 표시 장치의 구성 및 광학적 배치를 보이는 도면이다.
도 2는 도 1의 영상 표시 장치에 채용될 수 있는 프로세서의 예시적인 구성을 보이는 블록도이다.
도 3은 도 1의 영상 표시 장치에 채용될 수 있는 프로세서의 다른 예시적인 구성을 보이는 블록도이다.
도 4는 도 1의 영상 표시 장치에 채용될 수 있는 프로세서의 또 다른 예시적인 구성을 보이는 블록도이다.
도 5는 도 4의 프로세서에 구비된 스케일 인자 생성부의 동작을 예시적으로 설명하는 흐름도이다.
도 6 및 도 7은 도 1의 영상 표시 장치에서 구동부의 예시적인 구조와 함께 구동부의 변형에 따라 디스플레이 소자 및 상면 위치가 변경된 것을 예시적으로 보이고 있다.
도 8은 도 6, 도 7에 예시된 구동부의 상세한 형상을 보인 사시도이다.
도 9는 도 1의 영상 표시 장치에 채용될 수 있는 구동부의 예시적인 구성을 보인다.
도 10은 도 1의 영상 표시 장치에 채용될 수 있는 구동부의 다른 예시적인 구성을 보인다.
도 11은 도 1의 영상 표시 장치에 채용될 수 있는 구동부의 또 다른 예시적인 구성을 보인다.
도 12는 다른 실시예에 따른 영상 표시 장치의 구성 및 광학적 배치를 보인다.
도 13은 도 12의 영상 표시 장치에 구비되는 프로세서의 구성을 예시적으로 보이는 블록도이다.
도 14는 다른 실시예에 따른 영상 표시 장치의 구성 및 광학적 배치를 보인다.
도 15는 도 14의 영상 표시 장치에 채용될 수 있는 프로세서의 예시적인 구성을 보이는 블록도이다.
도 16은 도 15의 프로세서가 구동 신호를 생성하는 예시적인 과정을 보이는 흐름도이다.
도 17은 도 15의 프로세서가 구동 신호를 생성하는 다른 예시적인 과정을 보이는 흐름도이다.
도 18은 도 14의 영상 표시 장치에 채용될 수 있는 프로세서의 다른 예시적인 구성을 보이는 블록도이다.
도 19는 도 18의 프로세서가 구동 신호를 생성하는 예시적인 과정을 보이는 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들에 대해 상세히 설명하기로 한다. 이하의 도면들에서 동일한 참조부호는 동일한 구성요소를 지칭하며, 도면상에서 각 구성요소의 크기는 설명의 명료성과 편의상 과장되어 있을 수 있다. 한편, 이하에 설명되는 실시예는 단지 예시적인 것에 불과하며, 이러한 실시예들로부터 다양한 변형이 가능하다.
이하에서, "상부" 나 "상"이라고 기재된 것은 접촉하여 바로 위에 있는 것뿐만 아니라 비접촉으로 위에 있는 것도 포함할 수 있다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
“상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다.
방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 한정되는 것은 아니다. 모든 예들 또는 예시적인 용어(예를 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 범위가 한정되는 것은 아니다.
도 1은 실시예에 따른 영상 표시 장치의 구성 및 광학적 배치를 보이는 도면이고, 도 2는 도 1의 영상 표시 장치에 채용될 수 있는 프로세서의 예시적인 구성을 보이는 블록도이다.
영상 표시 장치(1000)는 광을 변조하여 영상을 형성하는 디스플레이 소자(100), 디스플레이 소자(100)의 위치가 가변되도록 디스플레이 소자(100)를 구동하는 구동부(200), 디스플레이 소자(100)에서 형성한 영상을 관찰자의 눈에 전달하는 광 전달부(300) 및 영상 정보에 따라 디스플레이 소자(100)와 구동부(200)를 제어하는 프로세서(400)를 포함한다.
디스플레이 소자(100)는 관찰자에게 제공할 영상에 대한 영상 정보에 따라 광을 변조하여 영상을 형성한다. 디스플레이 소자(100)에서 형성하는 영상은 관찰자의 양안에 제공될 수 있으며, 도면에서는 편의상 단안을 향하는 광학계만을 도시하고 있다. 디스플레이 소자(100)에서 형성하는 영상은 예를 들어, 관찰자의 좌, 우안에 각각 제공되는 스테레오(stereo) 영상일 수 있고, 홀로그램(hologram) 영상, 라이트 필드(light field) 영상, IP(integral photography) 영상 등일 수 있고 또한, 멀티 뷰(multi-view) 혹은 슈퍼 멀티뷰(super multi-view) 방식의 영상을 포함할 수 있다. 또한, 이에 한정되지 않으며 일반적인 2차원 영상일 수도 있다.
디스플레이 소자(100)는 예를 들어, LCoS(liquid crystal on silicon) 소자, LCD(liquid crystal display) 소자, OLED(organic light emitting diode) 디스플레이 소자, DMD(digital micromirror device)를 포함할 수 있고, 또한, Micro LED, QD(quantum dot) LED 등의 차세대 디스플레이 소자를 포함할 수 있다.
영상 표시 장치(1000)에는 도시되지는 않았으나, 디스플레이 소자(100)에 영상 형성을 위한 광을 제공하는 광원이 구비될 수 있고, 이 외에도, 광로 조절을 위한 빔 스플리터, 영상의 확대, 축소를 위한 릴레이 렌즈, 노이즈 제거를 위한 공간 필터 등의 구성이 더 구비될 수도 있다.
광 전달부(300)는 디스플레이 소자(100)에서 형성된 영상을 경로 변경하고 관찰자의 시야에 알맞은 크기로 결상하여 관찰자의 눈에 전달하는 것이다. 광 전달부(300)는 포커싱 부재(310)를 포함할 수 있고, 또한, 광을 분기하여 경로를 바꾸는 부재로서 빔 스플리터(330)를 포함할 수 있다.
포커싱 부재(310)는 굴절력을 가지는 결상 부재로서 디스플레이 소자(100)에서 형성된 영상을 확대 또는 축소할 수 있다. 포커싱 부재(310)는 오목 거울로 도시되고 있으나 이에 한정되는 것은 아니다. 포커싱 부재(310)는 오목 거울 외 볼록 렌즈, 오목 렌즈 등이 조합된 형태를 가질 수도 있다.
빔 스플리터(330)는 입사광의 반을 투과시키고 나머지 반을 반사시키는 하프 미러(half mirror)일 수 있다. 다만, 이에 한정되지 않으며 편광에 따라 입사광을 투과 또는 반사시키는 편광 빔 스플리터일 수도 있다. 빔 스플리터(330)가 편광 빔 스플리터인 경우 편광 전환을 위한 추가적인 광학 요소들이 광 전달부(300)에 더 구비될 수 있다.
도시된 바와 같이, 포커싱 부재(310)와 빔 스플리터(330)는 투명 도광 부재(350)를 통해 고정되어 광 전달부(300)는 일체형 구조를 가질 수 있다. 다만, 이는 예시적인 것이며 이에 한정되는 것은 않는다.
광 전달부(300)는 디스플레이 소자(100)에서 형성한 영상을 담은 광을 관찰자의 눈에 전달할 뿐 아니라, 이와 함께, 관찰자 전방(front)의 실사(real environment) 영상을 담은 광을 사용자의 눈에 전달할 수 있다. 이에 따라 영상 표시 장치(1000)가 투시형(see-through type) 디스플레이로 기능할 수 있게 된다.
광 전달부(300)는 도시된 형상, 구성에 한정되지 않는다. 디스플레이 소자(100)에서 형성된 영상을 관찰자 전방의 실사(real environment) 영상과 함께 관찰자의 동공에 전달하기 위한 추가적인 광학 소자가 더 구비될 수 있고, 다양한 형상, 구조의 광학 윈도우가 채용될 수 있다.
디스플레이 소자(100)에서 형성된 영상의 광은 빔 스플리터(310)를 투과하여 포커싱 부재(310)에 반사된 후 다시 빔 스플리터(310)에서 반사되는 경로로 관찰자의 눈에 도달한다. 이러한 경로에서, 관찰자는 빔 스플리터(310) 후방의 소정 위치의 가상면(virtual image plane)(VP)에 형성된 허상을 인지하는 것이며, 가상면(VP)의 위치에 따라 관찰자가 느끼는 깊이감은 차이가 있다.
실시예에 따른 영상 표시 장치(1000)는 가상면(VP)의 위치가 하나의 값으로 고정되는 것이 아니라 표시될 영상의 깊이감을 반영하여 가상면(VP)의 위치를 변경시킬 수 있다. 이를 위하여 영상 표시 장치(1000)는 디스플레이 소자(100)의 위치를 구동하기 위한 구동부(200)를 구비하고 있다. 구동부(200)는 포커싱 부재(310)와의 거리가 가변되도록 디스플레이 소자(100)를 평행 이동 시킬 수 있다. 디스플레이 소자(100)의 위치가 A1 방향을 따라 가변될 때, 가상면(VP)의 위치는 A2방향을 따라 가변된다.
영상 표시 장치(1000)에서 채용하는 구동부(200)는 가능한 작은 부피로서 디스플레이 소자(100)의 위치 구동 범위를 넓게 하기 위해, 형상 가변 물질을 채용한다. 즉, 구동부(200)는 인가 신호에 따라 변형되며 디스플레이 소자(100)에 구동력을 제공할 수 있다. 이러한 형상 가변을 위해, 열에 의해 형상이 가변되는 물질이 구동부(200)에 채용될 수 있다. 구동부(200)는 형상 기억 합금(Shape Memory Alloy) 또는 전기 활성 폴리머(Electro Active Polymer)를 포함할 수 있다. 구동부(200)의 구동에 의해 디스플레이 소자(100)의 위치를 가변시키는 예시적인 세부 구성은 도 6 내지 도 11에서 후술할 것이다.
프로세서(400)는 관찰자에게 인지될 영상과 관련되는 영상 정보에 따라 디스플레이 소자(100)에 전송될 광 변조 신호(SG1) 및 구동부(200)에 전송될 구동 신호(SG2)를 생성할 수 있다. 생성된 광 변조 신호(SG1) 및 구동 신호(SG2)에 디스플레이 소자(100) 및 구동부(200)가 각각 제어된다. 즉, 광 변조 신호(SG1)에 의해 디스플레이 소자(100)에서 영상이 형성되고, 이러한 영상에 알맞게 설정된 가상면(VP)이 위치하도록 디스플레이 소자(100)의 위치가 구동된다.
영상 표시 장치(1000)는 또한, 메모리(500)를 포함하며, 메모리(500)에 영상 정보를 포함하여 영상 표시 장치(500)의 구동에 필요한 다양한 데이터, 프로그램들의 코드가 저장될 수 있다.
프로세서(400)는 광변조 신호 생성부(410)와 구동 신호 생성부(480)를 포함할 수 있다. 영상 정보를 참조하여 광변조 신호 생성부(410)에서 광 변조 신호(SG1)가, 구동 신호 생성부(480)에서 구동 신호(SG2)가 생성된다.
영상 정보는 관찰자에게 제공할 복수 프레임의 영상 각각에 대해, 복수의 화소의 컬러값과 관련된 화소별 데이터를 포함하며, 또한, 이와 함께, 각각의 영상이 이미징되는 가상면(VP)의 위치와 연동되는 깊이 정보를 포함할 수 있다.
영상 정보에 포함된 상기 깊이 정보는 복수 프레임의 영상 각각에 대해 미리 정해진 대표 깊이 값일 수 있다. 이러한 깊이 값은 하나 또는 그 이상으로 설정될 수도 있다.
대표 깊이는 샐리언시 맵(saliency map)으로부터 미리 설정될 수 있다.. 샐리언시 맵(saliency map) 분석은 관찰자가 주시할 가능성이 높은 영역, 다시 말하면, 시각 집중도가 높은 영역을 선정하기 위해 행해질 수 있다. 시각 집중도가 높은 영역의 선정을 위해 밝기, 색상, 윤곽선, 객체 크기 등이 고려될 수 있다. 예를 들어, 주변에 비해 밝기나 색상 차이가 큰 영역, 윤곽선 특징이 강한 영역, 객체의 크기가 큰 영역이 시각 집중도가 높은 영역이 될 수 있다. 이러한 영역에 해당하는 깊이 값을 대표 깊이로 선정할 수 있다. 또는, 영상에 담긴 내용(contents)에 따라, 시각 집중도가 높은 위치가 선정될 수도 있다.
이 외에도, 영상에 대한 깊이 맵(depth map)과 컬러 맵(color map)을 분석하여 예를 들어, 깊이별 빈도에 따라 대표 깊이가 설정될 수도 있다. 또는, 인간의 시각 인지 특성을 고려한 ZOC(Zone of Comfort) 분석을 통해 대표 깊이가 설정될 수도 있다.
이와 같이 설정된 대표 깊이는 연속적인 값일 수도 있으나, 복수개의 불연속적인(discrete) 값일 수 있다. 즉, 깊이 표현에 필요한 값들이 모두 사용되는 것이 아니라 이들 값을 소정 간격으로 양자화(quantization)한 불연속적인 값들 중에서 대표 깊이가 설정될 수 있다. 깊이 값을 양자화하는 경우 동영상 표현을 위해 모든 프레임마다 대표 깊이 값을 선정할 때, 연속된 프레임에서 선정되는 대표 깊이 값의 변동폭을 줄일 수 있다. 이에 따라 구동부(200)에 의한 디스플레이 소자(100)의 위치 변동 폭이 감소될 수 있고 또한, 대표 깊이에 대응하도록 가상면(VP)의 위치를 변경할 때, 구동부(200)에 인가되는 구동 신호(SG2)도 양자화 될 수 있고 구동이 용이해질 수 있다. 연속된 프레임에서 같은 대표 깊이 값이 선정되는 경우 디스플레이 소자(100)의 위치 구동은 필요하지 않으므로 영상 표시 장치(1000)의 구동이 보다 간소해질 수 있다. 양자화된 깊이 값은 예를 들어, 니어(near) 및 파(far)를 각각 대표하는 두 깊이 값으로 설정될 수도 있다.
광 변조 신호 생성부(410)는 영상 정보에 포함된 화소별 데이터를 참조하여 정해진 컬러값이 구현되는 전기 신호를 광 변조 신호(SG1)로 생성할 수 있다.
구동 신호 생성부(480)는 깊이 정보를 참조하여 설정된 대표 깊이 값에 대응하는 위치에 가상면(VP)이 형성되도록 디스플레이 소자(100)가 위치 이동되게 하는 구동 신호(SG2)를 생성할 수 있다. 구동 신호(SG2)는 예를 들어, 구동부(200)의 가변 물질의 변형을 위해 적절한 열을 발생시키는 전기 신호일 수 있다.
광 변조 신호(SG1)와 구동 신호(SG2)가 각각 디스플레이 소자(100)와 구동부(200)에 전송되어, 대응하는 영상이 변경된 가상면(VP)의 위치로부터 관찰자에게 인지될 수 있다.
구동부(200)의 구동을 위한 구동 신호(SG2)는 광 변조 신호(SG1)보다 소정 시간만큼 지연되게 전송될 수 있다. 상기 소정 시간은 관찰자의 눈의 수렴-조절(vergence-accommodation) 시간 이상으로 설정될 수 있다. 이는 사람의 눈이 변경된 깊이 위치의 상을 인지할 때 소요되는 시간을 고려한 것이다.
도 3은 도 1의 영상 표시 장치에 채용될 수 있는 프로세서의 다른 예시적인 구성을 보이는 블록도이다.
프로세서(401)는 광변조 신호 생성부(410), 구동 신호 생성부(480)와 함께, 대표 깊이 추출부(430)를 더 포함할 수 있다.
도 2의 설명에서, 영상 정보는 미리 설정된 깊이 정보를 포함하는 것으로 설명되었으나, 이에 한정되지 않으며, 프로세서(401)가 대표 깊이 추출부(430)를 포함할 수 있다. 즉, 프로세서(401)는 영상 정보에 포함되는 화소별 데이터를 참조하여 각 영상마다에 대한 대표 깊이를 추출하고 이를 영상 정보에 다시 반영한다. 이를 참조하여, 구동 신호 생성부(480)에서 구동 신호(SG2)를 생성할 수도 있다.
도 4는 도 1의 영상 표시 장치에 채용될 수 있는 프로세서의 또 다른 예시적인 구성을 보이는 블록도이고, 도 5는 도 4의 프로세서에 구비된 스케일 인자 생성부의 동작을 예시적으로 설명하는 흐름도이다.
프로세서(402)는 광변조 신호 생성부(410), 구동 신호 생성부(480), 대표 깊이 추출부(430) 외에, 스케일 인자 생성부(450)를 더 포함할 수 있다.
스케일 인자 생성부(450)는 서로 다른 깊이 정보를 갖는 연속된 두 프레임의 영상 중 어느 하나에 적용할 스케일 인자(scale factor)를 생성한다.
이는 연속된 두 프레임의 영상이 서로 다른 가상면(VP)을 가질 때, 서로 다른 배율을 나타낼 수 있음을 고려한 것이다.
배율 m은 다음과 같이 정의된다.
Figure pat00001
여기서 do는 디스플레이 소자(100)의 영상 표시면으로부터 포커싱 부재(310)까지의 거리이고, di는 포커싱 부재(310)에서 가상면(VP)까지의 거리이다. di는 가상의 광경로를 따른 거리로서, 표시된 거리, di, di'에는 포커싱 부재(310)의 중심에서 빔 스플리터(310) 중심까지의 거리와 빔 스플리터(310)의 중심에서 가상면(VP)가 포함된다.
디스플레이 소자(100)의 위치, 가상면(VP)의 위치에 따라, do, di 가 정해지 고 이 때의 배율을 m이라고 할 때, 변경된 가상면(VP)의 위치에 대응하는 배율(m')은 di'/do'으로 이 값은 m과 다르다. 연속된 프레임 영상에서 나타나는 이와 같은 배율 변화는 관찰자에게 어색하게 느껴질 수 있다. 보다 자연스러운 깊이감을 형성하기 위해, 이러한 배율 변화를 상쇄할 수 있는 스케일 인자(scale factor)를 영상 정보에 반영하여 디스플레이 소자(100)에 영상을 형성할 수 있다.
스케일 인자(scale factor)의 적용은 배율이 다른 모든 연속하는 프레임 영상에 적용되어야 하는 것은 아니며, 배율 변화값이 소정의 정해진 기준값보다 큰 경우에 적용될 수 있다. 또한, 배율 변화값이 크더라도, 서로 연관되지 않는 다른 장면에 대한 영상에는 이러한 스케일 인자 적용은 필요하지 않을 수 있다. 이러한 상황을 고려하여 스케일 인자를 설정, 적용할 수 잇다.
도 5를 참조하면, 스케일 인자 생성을 위해, 연속하는 두 프레임의 영상에 대한 배율 변화를 판단한다(S451). 즉, 연속하는 두 프레임 영상 각각의 배율, m1, m2를 연산하고 변화값을 산출한다. 변화값은 예를 들어, 비율(m2/m1)이나 차이(m2-m1)로 정의될 수 있다.
다음, 산출된 두 배율간의 변화값을 소정 기준값과 비교한다(S452).
소정 기준값 이하인 경우, 스케일 인자를 1로 설정한다(S456).
두 배율간의 변화값이 소정 기준값보다 큰 경우 상기 두 프레임의 영상의 유사성을 판단한다(S453). 영상의 유사성 판단을 위해 소정의 판단 기준에 따라 정의된 수치를 비교할 수 있다. 이러한 수치를 유사도로 지칭하고 있다. 유사도는 화소값에 기초하여 정의될 수 있고, 이 외에도 영상 비교에 적절한 다른 기준으로 정의될 수도 있다.
배율 변화가 큰 경우에도 관련성이 없는 장면에서는 스케일 인자를 적용하지 않을 수 있다. 관찰자가 배율 변화도 장면 변경의 일부로 자연스럽게 느낄 수 있기 때문이다. 비교된 상기 두 프레임의 영상의 유사도가 소정 기준값 이하인 경우 스케일 인자를 1로 설정할 수 있다(S456).
상기 두 프레임의 영상의 유사도가 소정 기준값보다 큰 경우 배율 변화값을 상쇄하는 스케일 인자를 생성할 수 있다(S455). 예를 들어, 변화값이 비율로 설정된 경우, 스케일 인자는 배율 변화값에 반비례하는 값으로 설정될 수 있다.
이와 같이 스케일 인자 생성부(450)에서 설정된 스케일 인자는 다시 영상 정보에 반영되고, 이를 참조하여 광변조 신호 생성부(410)가 광변조 신호를 생성한다.
대표 깊이 추출부(430)는 도 3에서 설명한 바와 같이, 영상 정보로부터 대표 깊이를 설정하고 이를 다시 깊이 정보로 영상 정보에 반영할 수 있다. 이를 참조하여 구동 신호 생성부(480)에서 구동 신호(SG2)를 생성할 수 있다.
도 4에 도시된 프로세서(402)는 스케일 인자 생성부(450)와 함께 대표 깊이 추출부(430)가 구비하는 것으로 도시되었으나 이는 예시적인 것이고, 이들이 함께 구비되어야 하는 것은 아니다. 예를 들어, 다른 프로세서 등에서 설정된 대표 깊이가 깊이 정보로서 영상 정보에 미리 포함되어 있을 수도 있다. 또한, 스케일 인자도 다른 프로세서 등에서 설정되어 영상 정보에 미리 포함될 수도 있다.
도 6 및 도 7은 도 1의 영상 표시 장치에서 구동부의 예시적인 구조와 함께 구동부의 변형에 따라 디스플레이 소자 및 상면 위치가 변경된 것을 예시적으로 보이고 있다. 도 8은 도 6, 도 7에 채용된 구동부의 상세한 형상을 보인 사시도이다.
도 6 및 도 7을 참조하면, 구동부(200)는 변형부(210), 브릿지부(220) 및 구동 제어부(230)를 포함할 수 있다. 변형부(210)는 와이어 형태를 가질 수 있다. 변형부(210)의 길이는 변형부(210)의 온도 또는 변형부(210) 내에 형성되는 전기장에 따라 변할 수 있다. 예를 들어, 변형부(210)는 형상 기억 합금(Shape Memory Alloy, SMA), 전기 활성 폴리머(Electro Active Polymer, EAP), 및 이들의 조합을 포함할 수 있다. 변형부(210)가 형상 기억 합금을 포함하는 경우, 변형부(210)는 높은 온도에서 짧은 길이를 가질 수 있고, 낮은 온도에서 긴 길이를 가질 수 있다. 변형부(210)가 전기 활성 폴리머를 포함하는 경우, 변형부(210)에 전기장이 인가된 때, 변형부(210)의 길이는 인가된 전기장에 수직한 방향으로 길어질 수 있다. 이하에서는 변형부(210)가 온도에 의해 변형되는 것을 예시하여 설명할 것이다.
도 8에 도시된 바와 같이, 브릿지부(220)는 일 방향으로 연장되고 양 단부에 서로 마주하는 리세스 영역이 구비된 판형 부재로 이루어진다. 브릿지부(220)는 탄성을 가질 수 있으며, 변형부(210)에 의해 휘어져, 아치 형태를 가질 수 있다. 변형부(210)는 브릿지부(220)의 리세스 영역에 끼워지며 브릿지부(220)의 단부를 둘러싸는 형상을 가질 수 있다. 변형부(210)가 브릿지부(220)의 양 단부를 감을 때 브릿지부(220)의 리세스 영역들은 변형부(210)를 고정하게 되고, 이에 따라, 변형부(210) 및 브릿지부(220)의 위치가 정렬될 수 있다.
변형부(210)의 온도는 변형부(210)에 인가되는 전기적인 신호에 의해 조절될 수 있다. 전기적인 신호는 구동 제어부(230)에 의해 인가될 수 있다. 구동 제어부(230)는 프로세서(400)에서 전송된 구동 신호(SG2)에 따라 제1변형부(210)에 전기적인 신호를 인가할 수 있다. 전기적인 신호는 전압 신호 또는 전류 신호일 수 있다. 예를 들어, 구동 제어부(230)에 의해 변형부(210)에 전압이 인가되어 변형부(210)의 온도를 높일 수 있다. 변형부(210)에 전압이 인가되지 않은 경우, 변형부(210)의 온도는 낮아질 수 있다.
브릿지부(220)의 휘어진 정도는 변형부(210)의 길이 변화에 따라 달라질 수 있다. 변형부(210)가 짧아진 때, 브릿지부(220)의 휘어진 정도가 커질 수 있다. 이에 따라, 디스플레이 소자(100)와 포커싱 부재(310) 사이의 거리가 짧아질 수 있다. 변형부(210)가 길어진 경우, 브릿지부(220)의 휘어진 정도가 작아질 수 있다. 이에 따라, 디스플레이 소자(100)와 포커싱 부재(310) 사이의 거리가 멀어질 수 있다.
도 6을 참조하면, 구동 제어부(230)는 변형부(210)에 전압을 인가하지 않을 수 있다. 이러한 상태에서, 디스플레이 소자(100)는 포커싱 부재(310)로부터 거리 do' 만큼 이격될 수 있고, 포커싱 부재(310)로부터 가상면(VP)까지의 광경로상 거리는 di'가 될 수 있다.
도 7을 참조하면, 변형부(210)에 전압이 인가되어, 변형부(210)의 온도를 높일 수 있다. 상기 전압은 구동 제어부(230)에 의해 인가될 수 있다. 이에 따라, 변형부(210)의 길이는 줄어들 수 있다. 변형부(210)의 온도가 제어되어, 변형부(210)의 길이 변화 정도가 조절될 수 있다.
변형부(210)의 길이가 짧아질 때 브릿지부(220)의 휘어진 정도는 커질 수 있다. 이러한 변형 과정에서 브릿지부(220)는 디스플레이 소자(100)를 밀어 디스플레이 소자(100)를 광 전달부(300)에 가깝게 배치시킬 수 있다. 디스플레이 소자(100)와 포커싱 부재(310) 사이의 거리는 do로 짧아지며, 가상면(VP)과 포커싱 부재(310) 사이의 거리는 di로 짧아질 수 있다.
도 6을 다시 참조하면, 구동 제어부(230)가 변형부(210)에 다시 전압을 인가하지 않는 경우, 변형부(210)의 온도는 낮아지고 길이는 다시 길어질 수 있다. 브릿지부(220)의 휘어진 정도는 작아질 수 있다. 디스플레이 소자(100)와 포커싱 부재(310) 사이의 거리는 do'로 다시 길어지고, 가상면(VP)과 포커싱 부재(310) 사이의 거리는 di'로 다시 길어질 수 있다.
도 9 내지 도 11은 도 1의 영상 표시 장치에 채용될 수 있는 구동부의 예시적인 구성들을 보인다.
도 9를 참조하면, 구동부(201)는 변형부들(212), 지지부(240), 및 구동 제어부(230)를 포함할 수 있다. 변형부들(212)의 각각은 그 위치 및 형태를 제외하면, 도 8을 참조하여 설명된 변형부(210)와 실질적으로 동일할 수 있다.
변형부들(212)은 지지부(240)와 디스플레이 소자(100) 사이에 배치될 수 있다. 변형부들(212)의 각각의 양 단부들은 지지부(240) 및 디스플레이 소자(100)에 각각 접할 수 있다. 한 쌍의 변형부들(212)이 도시되었으나, 이는 예시적인 것이다. 다른 예시적인 실시예들에서, 하나의 변형부(212) 또는 셋 이상의 변형부들(212)이 제공될 수 있다.
구동 제어부(230)는 변형부들(212)에 전기적으로 연결되어, 변형부들(212)에 전기적인 신호를 인가할 수 있다. 예를 들어, 구동 제어부(230)는 변형부들(212)에 전압을 인가할 수 있다.
변형부들(212)에 전기적인 신호가 인가되어, 변형부들(212)의 온도가 높아지면, 변형부들(212)의 각각의 길이가 줄어들 수 있다. 이 경우, 디스플레이 소자(100)는 지지부(240)와 가까와지며, 즉, 포커싱 부재(310)와의 거리가 멀어지게 된다.
변형부들(212)의 온도가 제어되어, 변형부들(210)의 각각의 길이 변화 정도가 조절될 수 있고 디스플레이 소자(100)와 포커싱 부재(310) 간의 거리가 제어될 수 있다.
도 10을 참조하면, 구동부(202)는 변형부들(212), 지지부(240), 복원부들(252), 및 구동 제어부(230)를 포함할 수 있다. 변형부들(212), 지지부(240), 및 구동 제어부(230)는 도 9를 참조하여 설명된 것과 실질적으로 동일할 수 있다.
복원부들(252)은 지지부(240) 및 디스플레이 소자(100) 사이에 제공될 수 있다. 복원부들(252)은 지지부(240)부터 디스플레이 소자(100)까지 연장될 수 있다. 복원부들(252)은 서로 교차하도록 연장될 수 있다. 복원부들(252)의 각각의 양 단부들은 지지부(240) 및 디스플레이 소자(100)에 각각 접할 수 있다. 복원부들(252)은 탄성을 가질 수 있다. 예를 들어, 복원부들(252)의 각각은 탄소를 포함하는 막대를 포함할 수 있다. 복원부들(252)이 휘어진 경우, 복원부들(252)은 다시 휘어지기 전 상태로 회복되려는 복원력을 가질 수 있다.
변형부들(212)에 전기적인 신호가 인가될 때, 변형부들(212)의 온도가 높아지며 변형부들(212)의 각각의 길이가 줄어들고 복원부들(252)이 휘어진다. 이에 따라, 디스플레이 소자(100)는 지지부(240) 쪽으로 움직이는 구동력을 받게 되고 포커싱 부재(310) 간의 거리가 멀어지게 된다. 변형부들(212)의 온도가 제어되어, 변형부들(210)의 각각의 길이의 변화 정도가 조절될 수 있고, 디스플레이 소자(100)와 포커싱 부재(310) 간의 거리가 제어될 수 있다.
복원부들(252)은 복원력을 가지며 따라서 인가된 전기 신호가 없어질 때, 변형부들(212)의 길이 증가에 따라 원래 상태로 복원될 수 있다. 상기 복원력은 디스플레이 소자(100)와 지지부(240) 사이의 거리를 늘리는 방향으로 작용할 수 있고 이에 따라 디스플레이 소자(100)와 포커싱 부재(310) 간의 거리가 짧아질 수 있다.
도 11을 참조하면, 구동부(203)는 변형부들(212), 지지부(240), 복원부들(254), 및 구동 제어부(230)를 포함할 수 있다. 변형부들(212), 지지부(240), 및 구동 제어부(230)는 도 9를 참조하여 설명된 것과 실질적으로 동일할 수 있다.
복원부들(254)은 지지부(240) 및 디스플레이 소자(100) 사이에 제공될 수 있다. 복원부들(254)은 토션 스프링(torsion spring)을 포함할 수 있다. 복원부들(254)이 비틀어진 경우, 복원부들(254)은 비틀어지기 전 상태로 회복되려는 복원력을 가질 수 있다. 복원부들(254)의 각각의 양 단부들은 지지부(240) 및 디스플레이 소자(100)에 각각 접할 수 있다.
변형부들(212)에 전기적인 신호가 인가되면, 변형부들(212)의 온도가 높아지며 변형부들(212)의 각각의 길이가 줄어들 수 있고 디스플레이 소자(100)와 지지부(240)가 가까워질 수 있다. 디스플레이 소자(100)와 지지부(240)가 서로 가까워짐에 따라, 복원부들(254)은 비틀어질 수 있다. 이에 따라 디스플레이 소자(100)는 포커싱 부재(310)로부터 멀어지게 된다. 변형부들(212)의 온도가 제어되어, 변형부들(210)의 각각의 길이의 변화 정도가 조절되며 디스플레이 소자(100)와 포커싱 부재(310) 간의 거리가 제어될 수 있다.
복원부들(254)은 초기 상태로 돌아가려는 복원력을 가지며 따라서 인가된 전기 신호가 없어질 때, 변형부들(212)의 길이 증가에 따라 원래 상태로 복원될 수 있다. 상기 복원력은 디스플레이 소자(100)와 지지부(240) 사이의 거리를 늘리는 방향으로 작용할 수 있다. 이에 따라 디스플레이 소자(100)와 포커싱 부재(310) 간의 거리가 짧아질 수 있다.
상술한 바와 같이, 실시예에 따른 영상 표시 장치(1000)에 구비될 수 있는 구동부(200)(201)(202)(203)는 형상 가변 물질을 채용하여, 작은 부피를 가지면서도 디스플레이 소자(100)의 위치 구동 범위를 넓게 할 수 있다. 디스플레이 소자(100)의 구동 범위는 약 1mm 이내일 수 있다. 이러한 구동 범위를 예를 들어, 보이스 코일 모터나, 피에조 액츄에이터 등으로 구현하는 경우 부피증가가 매우 크며, 반면, 실시예의 경우 이들보다 작은 부피로 구현될 수 있다.
도 11은 다른 실시예에 따른 영상 표시 장치의 구성 및 광학적 배치를 보인다. 도 12는 도 11의 영상 표시 장치에 구비되는 프로세서의 구성을 예시적으로 보이는 블록도이다.
영상 표시 장치(2000)는 제1 디스플레이 소자(160), 제1 구동부(170), 제1 광전달부(360), 제2 디스플레이 소자(260), 제2 구동부(270), 제2 광전달부(370)를 포함할 수 있다.
제1 구동부(260), 제2 구동부(270)는 각각 제1 디스플레이 소자(160), 제2 디스플레이 소자(170)의 위치를 구동하고, 제1 광전달부(360), 제2 광전달부(370)는 각각 제1 디스플레이 소자(160) 및 제2 디스플레이 소자(170)에서 형성한 영상을 관찰자의 좌안 및 우안에 전달한다.
영상 표시 장치(2000)는 또한, 프로세서(800)와 메모리(700)를 포함하며, 프로세서(800)는 메모리(700)에 저장된 영상 정보에 따라 제1 디스플레이 소자(160), 제2 디스플레이 소자(170), 제1 구동부(260), 제2 구동부(270)를 제어한다. 프로세서(800)는 광변조 신호 생성부(810)와 구동 신호 생성부(880)를 포함할 수 있으며, 메모리(700)에 이들의 실행을 위한 프로그램 코드가 저장될 수 있다.
메모리(700)에 저장되는 상기 영상 정보는 한 프레임의 3차원 영상으로 인지될 수 있는 한 쌍의 좌안 영상 및 우안 영상에 대한 정보를 포함할 수 있다. 좌안 영상 및 우안 영상은 소정의 시차(disparity)를 가진다. 프로세서(800)는 좌안 영상이 제1 디스플레이 소자(160)에서 형성되고 우안 영상이 제2 디스플레이 소자(170)에서 형성되도록 광변조 신호(SG1_L)(SG1_R)을 생성하고 이에 따라 제1 디스플레이 소자(160) 및 제2 디스플레이 소자(170)를 제어한다.
상기 영상 정보는 또한, 좌안 영상 및 우안 영상이 각각 이미징될 가상면(VP)의 위치와 연동되는 깊이 정보를 더 포함할 수 있고, 프로세서(800)는 상기 깊이 정보에 따라, 즉, 설정된 깊이 위치에 가상면(VP)이 형성되도록 구동 신호(SG2_L)(SG2_R)을 생성하고 제1 구동부(260) 및 상기 제2 구동부(270)를 제어한다.
이러한 깊이 정보는 각 프레임의 영상에 대해 미리 설정되어 메모리(700)에 저장될 수도 있고, 또는 프로세서(800)에 구비된 대표 깊이 추출부(830)의 실행에 따라 설정된 깊이 정보가 영상 정보에 반영될 수도 있다.
프로세서(800)는 또한, 광변조 신호 생성부(810), 구동 신호 생성부(880) 대표 깊이 추출부(830) 외에 스케일 인자 생성부(850)를 포함할 수 있다.
스케일 인자 생성부(850)는 양안용으로 각각 구비된 좌안 영상 정보, 우안 영상 정보에 대해 연속 프레임 영상 간의 배율 변화에 따른 스케일 인자를 생성하는 점에서만 차이가 있고, 실질적으로 도 4 및 도 5에서 설명한 스케일 인자 생성부(450)와 실질적으로 동일하다.
실시예에 따른 영상 표시 장치(2000)는 양안 시차 방식과 깊이 표현을 결합하여 3차원 영상을 표현할 수 있다. 소정의 깊이 위치의 사물이 포함된 영상에 대해, 이러한 영상이 이미징 되는 가상면(VP)의 위치를 이에 맞게 조절함으로써, VAC(vergence accommodation conflict)를 줄일 수 있다. 또한, 다양한 깊이 위치에 사물들이 존재하는 영상은 예를 들어, 샐리언시 맵에 따라 정해지는 주사물의 깊이 위치를 대표 깊이 위치로 하여 가상면(VP)이 형성되게 하고, 나머지 깊이감은 양안 시차로 표현하여 3차원 영상이 인지되게 할 수 있다. 또한, 대표 깊이 위치는 복수 프레임의 영상에서 니어(near) 및 파(far)로 구분되는 두 값만이 사용될 수도 있다. 실시예의 영상 표시 장치(2000)는 양안 시차 및 스케일 인자를 함께 활용하고 있으므로 두 종류의 깊이 값 만으로도 자연스럽고 관찰자의 눈의 피로가 적은 깊이 표현이 가능하다.
상술한 영상 표시 장치(1000)(2000)는 관찰자의 시선을 추적하는 아이 트래킹 모듈(eye tracking module)이 더 적용될 수 있고, 디스플레이 소자의 위치를 구동하는 구동 신호의 생성에 아이 트래킹 모듈에서 측정한 정보가 활용될 수 있다.
도 14는 다른 실시예에 따른 영상 표시 장치의 구성 및 광학적 배치를 보인다. 도 15는 도 14의 영상 표시 장치에 채용될 수 있는 프로세서의 예시적인 구성을 보이는 블록도이다.
본 실시예의 영상 표시 장치(3000)는 아이 트래킹 센서(ES)를 더 구비하며 프로세서(801)가 아이 트래킹 센서(ES)에서 센싱한 신호(S_ES)를 처리하여 구동 신호(SG2_R)(SG2_L)를 생성하도록 구성된 점에서 도 12의 영상 표시 장치(2000)와 차이가 있다. 이하에서는 차이점 위주로 설명할 것이다.
영상 표시 장치(3000)는 제1 디스플레이 소자(160), 제1 구동부(170), 제1 광전달부(360), 제2 디스플레이 소자(260), 제2 구동부(270), 제2 광전달부(370)를 포함한다. 제1 구동부(260), 제2 구동부(270)는 전술한 바와 같이 형상 가변 물질을 채용하는 구동부(200)(201)(202)(203) 중 어느 하나 또는 이로부터 조합, 변형된 형태를 가질 수 있다. 제1 구동부(260), 제2 구동부(270)는 각각 제1 디스플레이 소자(160), 제2 디스플레이 소자(170)의 위치를 구동하고, 제1 광전달부(360), 제2 광전달부(370)는 각각 제1 디스플레이 소자(160) 및 제2 디스플레이 소자(170)에서 형성한 영상을 관찰자의 좌안 및 우안에 전달한다.
영상 표시 장치(3000)는 또한, 관찰자의 시선을 추적하는 아이 트래킹 센서(ES)를 포함한다. 아이 트래킹 센서(ES)는 동공의 실제 위치, 회전 각도를 센싱할 수 있고 또한, 양안의 수렴(vergence) 위치를 센싱할 수 있다. 아이 트래킹 센서(ES)에서 센싱한 신호(S_ES)는 프로세서(801)에 전달되며 프로세서(801)에 구비된 아이 트래킹 모듈에서 관찰자가 주시하는 깊이 위치를 연산할 수 있다.
도면에는 두 개의 아이트래킹 센서(ES)각 제1 광전달부(360), 제2 광전달부(370)에 각각 구비된 것으로 예시적으로 도시되고 있으며, 이에 한정되는 것은 아니다. 아이 트래킹 센서(ES)는 양안의 동공 위치를 센싱할 수 있는 다른 적절한 위치에 배치될 수 있고, 개수도 변경될 수 있다.
도 15를 참조하면, 프로세서(801)는 광변조 신호 생성부(810), 구동 신호 생성부(880), 대표 깊이 결정부(831)를 포함하며, 또한, 스케일 인자 생성부(850)를 더 포함할 수 있다. 대표 깊이 결정부(831)는 아이 트래킹 센서(ES)에서 센싱한 신호(S_ES)를 처리하여 관찰자가 주시하는 깊이 위치를 결정하는 아이 트래킹 모듈을 포함할 수 있고, 이의 실행을 위한 프로그램 코드가 메모리(700)에 저장될 수 있다.
도 16은 도 15의 프로세서(801)가 구동 신호를 생성하는 예시적인 과정을 보이는 흐름도이다.
대표 깊이 결정부(831)가 아이 트래킹 센서(ES)에서 센싱된 신호를 처리하여 관찰자가 주시하는 깊이 위치(dm)를 결정한다(S810), 다음, 결정된 깊이 값(dm)에 근거하여, 구동 신호(SG2_R)(SG2_L)를 생성한다(S815). 즉, 결정된 깊이 값(dm)에 해당하는 위치에 가상면(VP)이 형성되도록 디스플레이 소자(160)(170)의 위치를 변경하는 구동 신호(SG2_R)(SG2_L)가 생성되고, 제1 구동부(260), 제2 구동부(270)에 전달된다.
도 17은 도 15의 프로세서가 구동 신호를 생성하는 다른 예시적인 과정을 보이는 흐름도이다.
대표 깊이 결정부(831)가 아이 트래킹 센서(ES)의 센싱된 신호를 처리하여 관찰자가 주시하는 깊이 위치(dm)를 결정한다(S820), 다음, 결정된 깊이 값(dm)으로부터 구동 신호(SG2_R)(SG2_L) 생성에 반영할 대표 깊이 값(dr)을 설정한다(S823). 대표 깊이 값(dr)은 미리 설정된 니어(near) 범위 및 파(far) 범위를 각각 대표하는 두 가지 값, dn, df 중 하나로 정해질 수 있다. 이러한 설정에서 두가지 대표 값, dn, df 및 니어 범위와 파 범위를 구분하는 기준이 되는 깊이 값 dc가 미리 정해질 수 있다. 아이 트래킹 센서(ES)에 의해 결정된 깊이 값(dm)이 dc 보다 작은 경우(0<dm<dc), dn이 대표 깊이 값(dr)으로 정해지고, 아이 트래킹 센서(ES)에 의해 결정된 깊이 값(dm)이 dc 보다 큰 경우(dc<dm<∞) df가 대표 깊이 값(dr)으로 정해질 수 있다. 아이 트래킹 센서(ES)에 의해 결정된 깊이 값(dm)이 dc와 같은 경우 dn 또는 df가 대표 깊이 값(dr)으로 정해질 수 있다.
다음, 결정된 대표 깊이 값(dr)에 근거하여, 구동 신호(SG2_R)(SG2_L)를 생성한다(S825). 즉, 결정된 깊이 값(dm)에 해당하는 위치에 가상면(VP)이 형성되도록 디스플레이 소자(160)(170)의 위치를 변경하는 구동 신호(SG2_R)(SG2_L)가 생성되고, 제1 구동부(260), 제2 구동부(270)에 전달된다.
이와 같이 니어(near) 및 파(far)로 구분되는 두 범위를 대표하는 두 가지 깊이 값만으로 깊이감을 표현하여도, 실시예의 영상 표시 장치(3000)는 양안 시차(disparity) 및 스케일 인자를 함께 활용하고 있으므로 관찰자의 눈의 피로가 적고, 자연스러운 깊이 표현이 가능하다.
도 18은 도 14의 영상 표시 장치(3000)에 채용될 수 있는 다른 예시적인 프로세서(802)의 구성을 보이는 블록도이다. 도 19는 도 18의 프로세서(802)가 구동 신호를 생성하는 예시적인 과정을 보이는 흐름도이다.
프로세서(802)는 광변조 신호 생성부(810), 구동 신호 생성부(880), 대표 깊이 결정부(832)를 포함하며, 또한, 스케일 인자 생성부(850)를 더 포함할 수 있다. 대표 깊이 결정부(832)는 샐리언시 맵 모듈과 아이트래킹 모듈을 포함하며, 즉, 구동 신호(SG2_R)(SG2_L)의 생성에 이들이 모두 활용될 수 있다.
도 18을 참조하면, 먼저, 샐리언시 맵 모듈을 활용하여 깊이 값(ds)이 결정될 수 있다(S830), 샐리앤시 맵 분석은 전술한 바와 같이, 관찰자가 주시할 가능성이 높은 영역, 다시 말하면, 시각 집중도가 높은 영역을 선정하는 것이다. 이와 같이 선정된 영역의 깊이 값(ds)이 해당 프레임 영상의 대표 깊이 값으로 결정될 수 있다. 시각 집중도가 높은 영역의 선정을 위해 예를 들어, 밝기, 색상, 윤곽선, 객체 크기 등이 고려될 수 있다.
결정된 깊이 값(ds)에 따라 구동 신호(SG2_R)(SG2_L)를 생성한다(S832).
또한, 아이 트래킹 센서(ES)의 센싱 결과로부터 깊이 값(dm)을 결정한다(S834). 다음, 결정된 깊이 값(dm)을 참조하여 구동 신호(SG2_R)(SG2_L)를 수정한다.
이러한 과정은 샐리언시 맵 분석의 결과와 달리, 관찰자가 의도적으로 다른 영역에 시선을 집중하는 경우, 이를 디스플레이 소자 위치 구동에 반영하기 위한 것이다. 예를 들어, 샐리언시 맵 분석에 의해 예상되는 주시 영역에 따라 이에 알맞은 가상면 위치에 영상이 표시되도록 디스플레이 소자의 위치를 구동하였으나 관찰자가 다른 영역을 주시하는 경우, 수렴-조절(Vergence-Accommodation) 불일치에 의한 시각 피로가 수반될 수 있다. 또한, 예상된 주시 위치와 실제의 주시 위치의 깊이 차이가 클수록 피로감은 더 커질 수 있다. 따라서, 샐리언시 맵 분석을 활용하여 복수 프레임 영상 각각에 대해 대표 깊이를 설정하되, 아이 트래킹 센서(ES)에서의 센싱 결과를 참조하여 필요한 경우 구동 신호(SG2_R)(SG2_L)를 수정함으로써 보다 자연스러운 깊이 표현이 가능하다.
샐리언시 맵을 활용하여 깊이 값(ds)을 결정할 때, 연속적인 값이 아니라, 니어 범위, 파 범위를 대표하는 두 가지 대표값 중 하나로 깊이 값이 결정될 수도 있다. 이 경우, 샐리언시 맵 분석에 의해 결정된 깊이 값(ds)과 아이 트래킹 센서(ES)에 의해 결정된 깊이 값(dm)이 서로 다른 범위에 속하는 경우에만, 구동 신호(SG2_R)(SG2_L)를 수정하면 된다. 즉, 니어(near) 영역에 주시할 것으로 예상되는 영상에 대해 관찰자가 파(far) 영역을 주시하는 경우 또는 반대인 경우에만 구동 신호(SG2_R)(SG2_L)를 수정하는 방식이다. 다시 말하면, 샐리언시 맵에서 설정된 예상 주시 영역과 실제의 주시 영역이 다소 차이가 있더라도 두 영역이 같은 범위에 속하는 경우에는 구동 신호(SG2_R)(SG2_L)를 수정하지 않는다. 이와 같이, 샐리언시 맵과 관찰자의 시선 추적을 결합하여 구동부의 구동을 가능한 단순하게 하면서 자연스러운 깊이 표현이 가능하다.
상술한 영상 표시 장치(1000)(2000)(3000)는 웨어러블(wearable) 형태로 구성될 수 있다. 영상 표시 장치 들의 구성요소의 전부나 또는 일부가 웨어러블(wearable) 형태로 구성될 수 있다.
예를 들어, 영상 표시 장치(1000)(2000)(3000)는 헤드 장착형 디스플레이(head mounted display)(HMD)의 형태로 적용될 수 있다. 또한, 이에 한정되지 않으며, 안경형 디스플레이(glasses-type display) 또는 고글형 디스플레이(goggle-type display)로 적용될 수 있다.
상술한 영상 표시 장치(1000)(2000)는 디스플레이 소자에 형성된 영상과 현실 세계의 영상을 관찰자에게 함께 보여줄 수 있는 점에서, 증강 현실(augmented reality)(AR)을 구현하는데 적용될 수 있다.
증강 현실(AR)은, 현실 세계의 환경 위에 가상의 대상이나 정보를 결합하여 보여줌으로써 현실의 효과를 더욱 증가시킬 수 있다. 예를 들어, 관찰자의 위치에서, 현실 세계가 제공하는 환경에 대한 부가적인 정보를 영상 형성부에서 형성하여 관찰자에게 제공할 수 있다. 이러한 증강 현실(AR) 디스플레이는 유비쿼터스(ubiquitous) 환경이나 사물 인터넷(internet of things)(IoT) 환경에 적용될 수 있다.
현실 세계의 영상은 실사(real environment)에 한정되지 않으며, 예를 들어, 다른 영상 기기에서 형성한 영상이 될 수도 있다. 따라서, 상술한 영상 표시 장치는 두 영상을 함께 보여주는 멀티 영상 디스플레이 장치로 적용될 수도 있다.
상술한 영상 표시 장치(1000)(2000)(3000)는 스마트폰(smart phone)등, 다른 전자 기기에 연동 또는 연결되어 동작할 수 있다. 예를 들어, 영상 표시 장치(1000)(2000)(3000)를 구동하는 프로세서가 스마트폰(smart phone)에 구비될 수 있다. 뿐만 아니라, 스마트폰에 상술한 영상 표시 장치(1000)(2000)(3000)가 구비될 수도 있다.
지금까지, 본 발명의 이해를 돕기 위하여 예시적인 실시예가 설명되고 첨부된 도면에 도시되었다. 그러나, 이러한 실시예는 단지 본 발명을 예시하기 위한 것이고 이를 제한하지 않는다는 점이 이해되어야 할 것이다. 그리고 본 발명은 도시되고 설명된 설명에 국한되지 않는다는 점이 이해되어야 할 것이다. 이는 다양한 다른 변형이 본 기술분야에서 통상의 지식을 가진 자에게 일어날 수 있기 때문이다.
1000, 2000, 3000 - 영상 표시 장치
100, 160, 170 - 디스플레이 소자
200, 260, 270 - 구동부
310 - 포커싱 부재
330 - 빔 스플리터
350 - 투명 도광 부재

Claims (28)

  1. 광을 변조하여 영상을 형성하는 디스플레이 소자;
    상기 디스플레이 소자의 위치가 가변되도록 상기 디스플레이 소자를 구동하는 구동부;
    상기 디스플레이소자에서 형성한 영상을 관찰자의 눈에 전달하는 것으로, 포커싱 부재를 포함하는 광 전달부; 및
    영상 정보에 따라 광 변조 신호 및 구동 신호를 생성하고, 상기 광 변조 신호 및 상기 구동 신호에 따라 상기 디스플레이 소자 및 상기 구동부를 각각 제어하는 프로세서;를 포함하는 영상 표시 장치.
  2. 제1항에 있어서,
    상기 구동부는
    상기 디스플레이 소자와 상기 포커싱 부재와의 거리가 가변되도록 상기 디스플레이 소자를 평행 이동시키는, 영상 표시 장치.
  3. 제1항에 있어서,
    상기 구동부는 인가 신호에 따라 변형되며 상기 디스플레이 소자에 구동력을 제공하는 형상 가변부를 포함하는, 영상 표시 장치.
  4. 제3항에 있어서,
    상기 형상 가변부는 열에 의해 형상이 가변되는 물질을 포함하는, 영상 표시 장치.
  5. 제3항에 있어서,
    상기 형상 가변부는 형상 기억 합금(Shape Memory Alloy) 또는 전기 활성 폴리머(Electro Active Polymer)를 포함하는, 영상 표시 장치.
  6. 제1항에 있어서,
    상기 광 전달부는
    상기 디스플레이 소자에서 형성된 영상을 소정 위치의 가상면(virtual image plane)상의 확대된 상으로 관찰자의 눈에 전달하는, 영상 표시 장치.
  7. 제6항에 있어서,
    상기 영상 정보는 복수 프레임의 영상 각각에 대해 상기 가상면의 위치와 연동되는 깊이 정보를 포함하며,
    상기 프로세서는 상기 깊이 정보에 따라 상기 구동 신호를 생성하는, 영상 표시 장치.
  8. 제7항에 있어서,
    상기 깊이 정보는 상기 복수 프레임의 영상 각각에 대한 샐리언시 맵(saliency map)으로부터 미리 설정된 정보인, 영상 표시 장치.
  9. 제7항에 있어서,
    상기 프로세서는
    서로 다른 깊이 정보를 갖는 연속된 두 프레임의 영상 중 어느 하나에 적용할 스케일 인자(scale factor)를 생성하고,
    상기 스케일 인자를 상기 영상 정보에 반영하여 상기 광 변조 신호를 생성하는, 영상 표시 장치.
  10. 제9항에 있어서,
    상기 프로세서는
    상기 두 프레임의 영상 각각이 이미징 되는 배율을 연산하고,
    두 배율간의 변화값이 소정 기준값 이하인 경우에는 상기 스케일 인자를 1로 설정하는, 영상 표시 장치.
  11. 제9항에 있어서,
    상기 프로세서는
    상기 두 프레임의 영상 각각이 이미징 되는 배율을 연산하고,
    두 배율간의 변화값이 소정 기준값보다 큰 경우 상기 두 프레임의 영상의 유사성을 판단하는, 영상 표시 장치.
  12. 제11항에 있어서,
    상기 프로세서는
    상기 두 프레임의 영상의 유사도가 소정 기준값 이하인 경우 상기 스케일 인자를 1로 설정하고,
    상기 두 프레임의 영상의 유사도가 소정 기준값보다 큰 경우 상기 변화값을 상쇄하는 스케일 인자를 생성하는, 영상 표시 장치.
  13. 제1항에 있어서,
    상기 프로세서는
    같은 프레임의 영상에 대하여
    상기 구동 신호를 상기 광변조 신호보다 소정 시간만큼 지연되게 전송하며 상기 디스플레이 소자 및 상기 구동부를 제어하는, 영상 표시 장치.
  14. 제13항에 있어서,
    상기 소정 시간은 관찰자의 눈의 수렴-조절(vergence-accommodation) 시간 이상으로 설정되는, 영상 표시 장치.
  15. 제1항에 있어서,
    상기 광 전달부는
    상기 디스플레이 소자로부터의 영상을 담은 제1광과
    관찰자의 전방(front)에 있는 실사(real environment) 영상을 담은 제2광을 결합하여 관찰자의 눈에 전달하는, 영상 표시 장치.
  16. 제15항에 있어서,
    상기 광 전달부는
    상기 제1광의 진행 경로 및 상기 제2광의 진행 경로에 대해 비스듬하게 배치된 빔 스플리터; 및
    상기 포커싱 부재;를 포함하는, 영상 표시 장치.
  17. 제16항에 있어서,
    상기 빔 스플리터는 하프 미러(half mirror)인, 영상 표시 장치.
  18. 제1항에 있어서,
    상기 디스플레이 소자는 제1 디스플레이 소자 및 제2 디스플레이 소자를 포함하고,
    상기 구동부는 상기 제1 디스플레이 소자 및 상기 제2 디스플레이 소자의 위치가 가변되도록 상기 제1 디스플레이 소자 및 상기 제2 디스플레이 소자를 각각 구동하는 제1 및 제2 구동부를 포함하며,
    상기 광 전달부는 상기 제1 디스플레이 소자 및 상기 제2 디스플레이 소자에서 형성한 영상을 각각 관찰자의 좌안 및 우안에 전달하는 제1 광전달부 및 제2 광전달부를 포함하는, 영상 표시 장치.
  19. 제18항에 있어서,
    상기 영상 정보는
    한 프레임의 3차원 영상으로 인지될 한 쌍의 좌안 영상 및 우안 영상에 대한 정보를 포함하며,
    상기 프로세서는 상기 좌안 영상이 상기 제1 디스플레이 소자에서 형성되고 상기 우안 영상이 상기 제2 디스플레이 소자에서 형성되도록 상기 제1 디스플레이 소자 및 상기 제2 디스플레이 소자를 제어하는, 영상 표시 장치.
  20. 제19항에 있어서,
    상기 영상 정보는
    상기 좌안 영상 및 우안 영상이 각각 이미징될 가상면의 위치와 연동되는 깊이 정보를 더 포함하며,
    상기 프로세서는 상기 깊이 정보에 따라 상기 제1 구동부 및 상기 제2 구동부를 제어하는, 영상 표시 장치.
  21. 제18항에 있어서,
    상기 영상 표시 장치는 웨어러블(wearable) 장치인, 영상 표시 장치.
  22. 제1항 내지 제21항 중 어느 한 항에 있어서,
    상기 구동부는 니어(near) 및 파(far)를 각각 대표하는 두 깊이 값 중 하나에 대응하는 위치로 상기 디스플레이 소자를 구동하는, 영상 표시 장치.
  23. 제1항 내지 21항 중 어느 한 항에 있어서,
    관찰자의 눈이 주시하는 깊이 위치를 센싱하는 아이 트래킹 센서(eye tracking sensor)를 더 포함하는, 영상 표시 장치.
  24. 제23항에 있어서,
    상기 프로세서는 상기 아이 트래킹 센서에서 센싱된 측정값을 참조하여 상기 구동 신호를 생성하는, 영상 표시 장치.
  25. 제23항에 있어서,
    상기 프로세서는
    상기 측정값에 대해 니어(near) 범위 또는 파(far) 범위 여하를 판단하고, 상기 니어 범위 및 파 범위를 각각 대표하는 두 대표값 중 하나에 대응하는 위치로 상기 디스플레이 소자가 구동되도록 상기 구동 신호를 생성하는, 영상 표시 장치.
  26. 제23항에 있어서,
    상기 프로세서는
    복수 프레임의 영상 각각에 대해 샐리언시 맵(saliency map)을 이용하여 설정된 깊이 값에 근거하여 상기 구동 신호를 생성하는, 영상 표시 장치.
  27. 제26항에 있어서,
    상기 프로세서는
    상기 아이 트래킹 센서에서의 측정값을 반영하여 상기 구동 신호를 수정하는, 영상 표시 장치.
  28. 제27항에 있어서,
    상기 프로세서는
    샐리언시 맵을 이용하여 설정된 깊이 값과 상기 아이 트래킹 센서에서의 측정값이 기설정된 니어(near) 범위 및 파(far) 범위 중 서로 다른 범위에 속하는 경우에만 상기 구동 신호를 수정하는, 영상 표시 장치.

KR1020200086980A 2019-07-18 2020-07-14 다중 깊이 표현이 가능한 영상 표시 장치 KR20210010370A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/KR2020/009388 WO2021010772A1 (ko) 2019-07-18 2020-07-16 다중 깊이 표현이 가능한 영상 표시 장치
CN202080062250.1A CN114341705A (zh) 2019-07-18 2020-07-16 能够表达多个深度的图像显示设备
EP20840549.8A EP4001995A4 (en) 2019-07-18 2020-07-16 IMAGE DISPLAY DEVICE FOR EXPRESSING MULTIPLE DEPTHS
US17/628,111 US20220326522A1 (en) 2019-07-18 2020-07-16 Image display device capable of expressing multiple depth

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190087098 2019-07-18
KR20190087098 2019-07-18

Publications (1)

Publication Number Publication Date
KR20210010370A true KR20210010370A (ko) 2021-01-27

Family

ID=70480116

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200086980A KR20210010370A (ko) 2019-07-18 2020-07-14 다중 깊이 표현이 가능한 영상 표시 장치

Country Status (4)

Country Link
US (2) US11030926B2 (ko)
EP (1) EP3767371A3 (ko)
KR (1) KR20210010370A (ko)
CN (1) CN112241068A (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200045359A (ko) * 2018-10-22 2020-05-04 삼성전자주식회사 투시형 디스플레이 장치
CN112241068A (zh) * 2019-07-18 2021-01-19 三星电子株式会社 能够多深度表达的图像显示装置
KR20210052091A (ko) 2019-10-31 2021-05-10 삼성전자주식회사 다중 깊이 표현이 가능한 디스플레이 장치
KR20210111069A (ko) 2020-03-02 2021-09-10 삼성전자주식회사 비정형 광학계 및 이를 구비하는 디스플레이 장치
JP2022086074A (ja) * 2020-11-30 2022-06-09 セイコーエプソン株式会社 虚像表示装置、光学ユニット、虚像表示装置の調整方法及び虚像表示装置の製造方法
CN113703187A (zh) * 2021-08-30 2021-11-26 北京京东方技术开发有限公司 一种显示装置及显示方法
CN114280778A (zh) * 2021-11-24 2022-04-05 歌尔光学科技有限公司 一种智能眼镜及其像距调节方法
CN115662338A (zh) * 2022-10-18 2023-01-31 武汉华星光电技术有限公司 显示装置

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08234141A (ja) * 1994-12-01 1996-09-13 Olympus Optical Co Ltd 頭部装着型映像表示装置
JP2003513333A (ja) 1999-10-29 2003-04-08 マイクロビジョン インコーポレイテッド 視線追跡型パーソナル・ディスプレイ
JP3918487B2 (ja) 2001-07-26 2007-05-23 セイコーエプソン株式会社 立体表示装置及び投射型立体表示装置
WO2003079272A1 (en) * 2002-03-15 2003-09-25 University Of Washington Materials and methods for simulating focal shifts in viewers using large depth of focus displays
JP2008020813A (ja) * 2006-07-14 2008-01-31 Konica Minolta Opto Inc レンズ駆動機構およびそれを用いる撮像装置
US20150153572A1 (en) * 2011-10-05 2015-06-04 Google Inc. Adjustment of Location of Superimposed Image
KR101992767B1 (ko) 2012-12-14 2019-09-30 한국전자통신연구원 입체영상 디스플레이에서의 계층적 다중화를 위한 장치 및 방법
US9699433B2 (en) * 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
KR101592087B1 (ko) 2014-02-10 2016-02-04 강원대학교산학협력단 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체
CN107077002A (zh) * 2014-10-23 2017-08-18 索尼互动娱乐股份有限公司 虚拟图像距离改变装置、虚拟图像距离改变方法以及程序
KR101626679B1 (ko) 2014-11-26 2016-06-01 강원대학교산학협력단 2ｄ 영상으로부터 입체 영상을 생성하는 방법 및 이를 기록한 기록 매체
US20160286210A1 (en) 2015-03-27 2016-09-29 Osterhout Group, Inc. See-through computer display systems
US10152906B2 (en) * 2015-04-26 2018-12-11 Mems Start, Llc Near-eye display system and method
KR102272706B1 (ko) * 2015-05-05 2021-07-05 액추에이터 솔루션스 게엠베하 틸트 모듈 부조립체 및 그것을 포함하는 광학 영상 안정장치
KR101670970B1 (ko) 2015-05-15 2016-11-01 한양대학교 에리카산학협력단 3차원 디스플레이 장치, 3차원 디스플레이 방법 및 이를 이용한 헤드업 마운트 디스플레이 장치
WO2017112084A1 (en) * 2015-12-22 2017-06-29 E-Vision Smart Optics, Inc. Dynamic focusing head mounted display
US10088673B2 (en) 2016-03-15 2018-10-02 Deepsee Inc. 3D display apparatus, method, and applications
WO2017163292A1 (ja) 2016-03-24 2017-09-28 パナソニックＩｐマネジメント株式会社 ヘッドアップディスプレイ装置、及び車両
US9922464B2 (en) * 2016-05-10 2018-03-20 Disney Enterprises, Inc. Occluded virtual image display
EP4235391A3 (en) * 2016-08-22 2023-10-25 Magic Leap, Inc. Virtual, augmented, and mixed reality systems and methods
TW201819990A (zh) * 2016-10-31 2018-06-01 美商康寧公司 單中心廣視野個人顯示器
US10379612B1 (en) * 2016-12-16 2019-08-13 Apple Inc. Electronic device with gaze tracking system
KR101968399B1 (ko) 2017-03-21 2019-04-12 엔에이치엔 주식회사 시력 보정을 위해 초점 거리를 조절하는 방법 및 시스템
WO2018175625A1 (en) 2017-03-22 2018-09-27 Magic Leap, Inc. Depth based foveated rendering for display systems
KR101917762B1 (ko) 2017-05-22 2019-01-29 주식회사 그루크리에이티브랩 가상현실 장치의 컨버전스를 조절하여 눈의 피로를 감소시키는 방법
KR102206570B1 (ko) 2017-07-21 2021-02-18 문명일 스마트 안경
KR20190033405A (ko) * 2017-09-21 2019-03-29 민상규 접이식 가상현실 장비
JP2019074582A (ja) * 2017-10-13 2019-05-16 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10809524B2 (en) * 2018-01-08 2020-10-20 Facebook Technologies, Llc Varifocal apparatuses, systems, and methods employing a deformable stepped lens
US11048075B1 (en) * 2018-03-29 2021-06-29 Facebook Technologies, Llc Optical lens assemblies and related methods
KR20200045359A (ko) 2018-10-22 2020-05-04 삼성전자주식회사 투시형 디스플레이 장치
WO2020243014A1 (en) * 2019-05-24 2020-12-03 Magic Leap, Inc. Variable focus assemblies
CN112241068A (zh) * 2019-07-18 2021-01-19 三星电子株式会社 能够多深度表达的图像显示装置

Also Published As

Publication number Publication date
EP3767371A3 (en) 2021-02-24
CN112241068A (zh) 2021-01-19
US20210020081A1 (en) 2021-01-21
US11030926B2 (en) 2021-06-08
EP3767371A2 (en) 2021-01-20
US20210264828A1 (en) 2021-08-26

Similar Documents

Publication Publication Date Title
KR20210010370A (ko) 다중 깊이 표현이 가능한 영상 표시 장치
JP7036572B2 (ja) 虚像表示装置およびそれを用いたヘッドマウントディスプレイ
KR102673817B1 (ko) 3차원 영상 표시 장치 및 영상 처리 방법
CN110582718A (zh) 近眼显示器的变焦像差补偿
KR102384223B1 (ko) 3차원 영상 표시용 광 변조 신호 형성 방법, 3차원 영상 표시 방법 및 장치
US12088777B2 (en) Image display device including moveable display element and image display method
US20210132396A1 (en) Display apparatus capable of multi-depth expression
WO2017014138A1 (ja) 画像提示装置、光学透過型ヘッドマウントディスプレイ、および画像提示方法
CN110780454B (zh) 三维图像显示设备和方法
EP4001995A1 (en) Image display device capable of expressing multiple depth
KR20210023295A (ko) 다중 깊이 표현이 가능한 영상 표시 장치
US11409114B2 (en) Image display device capable of multi-depth expression
KR20170087732A (ko) 패널 유연성을 이용한 플렉서블 디스플레이 장치 및 그 동작 방법
US11682325B2 (en) Display apparatus including free-formed surface and operating method thereof
KR20210111149A (ko) 다중 깊이 표현이 가능한 영상 표시 장치
KR20230167578A (ko) 대상 객체 적응적 심도 가변형 증강현실 장치 및 방법