KR20210091580A - 3차원 영상 표시 장치 및 방법 - Google Patents

3차원 영상 표시 장치 및 방법 Download PDF

Info

Publication number
KR20210091580A
KR20210091580A KR1020200004945A KR20200004945A KR20210091580A KR 20210091580 A KR20210091580 A KR 20210091580A KR 1020200004945 A KR1020200004945 A KR 1020200004945A KR 20200004945 A KR20200004945 A KR 20200004945A KR 20210091580 A KR20210091580 A KR 20210091580A
Authority
KR
South Korea
Prior art keywords
image
image data
virtual
display device
virtual surface
Prior art date
Application number
KR1020200004945A
Other languages
English (en)
Inventor
김윤태
신봉수
성기영
이홍석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200004945A priority Critical patent/KR20210091580A/ko
Priority to US16/905,141 priority patent/US11509877B2/en
Priority to CN202010855483.9A priority patent/CN113132711A/zh
Priority to EP20201863.6A priority patent/EP3851899B1/en
Publication of KR20210091580A publication Critical patent/KR20210091580A/ko
Priority to US17/969,432 priority patent/US20230043244A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/322—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/002—Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

영상 표시 장치는 제1 영상 데이터에 포함되는 깊이 정보에 따라 영상이 맺히는 가상면(virtual image plane)의 위치를 설정하고, 상기 가상면의 위치를 반영하여 상기 제1 영상데이터를 수정한 제2 영상 데이터를 생성하는 프로세서; 상기 제2 영상 데이터에 따라 광을 변조하는 디스플레이 소자와, 상기 디스플레이 소자에서 형성한 영상을 상기 가상면 상에 이미징하는 것으로, 포커싱 부재를 구비하는 광 전달부를 포함하는, 영상 형성 광학계; 및 상기 가상면의 위치가 조절되도록, 상기 영상 형성 광학계를 구동하는 구동부;를 포함한다.

Description

3차원 영상 표시 장치 및 방법{Device and method for 3-dimensional image display}
본 개시는 3차원 영상 표시 장치 및 방법에 대한 것이다.
3차원 영상 표시 기술은 다양한 분야에 적용되고 있으며, 최근, 가상 현실 (Virtual reality, VR) 디스플레이, 증강 현실(Augmented reality, AR) 디스플레이와 관련된 영상 장치에도 적용되고 있다.
가상 현실 (Virtual reality, VR)을 제공하는 헤드 마운트 디스플레이는 현재 상용화 단계에 이르러 엔터테인먼트 산업에 널리 적용되고 있는 추세이다. 이와 더불어 의료, 교육, 산업 분야에서 응용이 가능한 형태로 발전하고 있다.
가상 현실 디스플레이의 발전된 형태인 증강 현실(Augmented reality, AR) 디스플레이는 현실 세계와 가상 현실을 결합해주는 영상 장치로 현실과 가상 사이의 상호 작용을 이끌어 낼 수 있는 특징을 가진다. 현실과 가상 현실의 상호 작용은 현실 상황에 대하여 실시간으로 정보를 제공하는 기능을 기반으로 하며, 현실 세계의 환경 위에 가상의 대상이나 정보를 겹쳐 보여줌으로써 현실의 효과를 더욱 증가시킬 수 있다.
이러한 장치에서, 3차원 영상 표시를 위해 스테레오스코피(stereoscopy) 기술이 통상 사용되는데, 이 때, 수렴-조절(Vergence-Accomadation) 불일치에 의한 시각 피로가 수반될 수 있어 다중 깊이 표시가 가능한 3차원 영상 표시 방법이 모색되고 있다.
본 개시는 다중 깊이 표시가 가능한 3차원 영상 표시 장치 및 방법을 제공한다.
일 유형에 따르면, 제1 영상 데이터에 포함되는 깊이 정보에 따라 영상이 맺히는 가상면(virtual image plane)의 위치를 설정하고, 상기 가상면의 위치를 반영하여 상기 제1 영상데이터를 수정한 제2 영상 데이터를 생성하는 프로세서; 상기 제2 영상 데이터에 따라 광을 변조하는 디스플레이 소자와, 상기 디스플레이 소자에서 형성한 영상을 상기 가상면 상에 이미징하는 것으로, 포커싱 부재를 구비하는 광 전달부를 포함하는, 영상 형성 광학계; 및 상기 가상면의 위치가 조절되도록, 상기 영상 형성 광학계를 구동하는 구동부;를 포함하는 영상 표시 장치가 제공된다.
상기 프로세서는 상기 제1 영상 데이터에 포함되는 복수 프레임 각각에 대해 상기 가상면 위치 설정 및 상기 제2 영상 데이터 생성을 수행할 수 있다.
상기 프로세서는 프레임에 따라 가변되는 상기 가상면의 위치에서 일정한 크기의 영상이 표시되도록 상기 제2 영상 데이터를 생성할 수 있다.
상기 프로세서는 설정된 가상면의 위치에 따라 상기 영상 형성 광학계를 제어할 구동 신호를 생성하여 상기 구동부에 전달할 수 있다.
상기 구동부는 상기 디스플레이 소자와 상기 포커싱 부재와의 거리가 가변되도록 상기 구동 신호에 따라 상기 디스플레이 소자를 평행 이동시킬 수 있다.
상기 구동부는 상기 구동 신호에 따라 변형되며 상기 디스플레이 소자에 구동력을 제공하는 형상 가변부를 포함할 수 있다.
상기 프로세서는 설정된 가상면의 위치를 이전 프레임의 가상면 위치와 비교하고, 가상면 위치 변화에 따른 배율 변화를 상쇄하는 보정 파라미터를 사용하여 상기 제2 영상 데이터를 생성할 수 있다.
상기 프로세서는 가상면의 위치가 관찰자를 향해 가까워질 때 적용하는 제1함수 또는 가상면의 위치가 관찰자로부터 멀어질 때 적용하는 제2함수를 사용하여 상기 제2 영상 데이터를 생성할 수 있다.
상기 제1함수 및 상기 제2함수는 상기 구동부의 구동 특성으로부터 추출되는 시간-변이(time-stroke) 곡선으로부터 미리 설정될 수 있다.
상기 프로세서는 상기 제1 영상 데이터의 영상을 가상 카메라로부터 획득하는 방식으로 상기 제2 영상 데이터를 생성하며, 설정된 가상면의 위치를 이전 프레임의 가상면 위치와 비교한 변화값을 Δz이라고 할 때, -Δz 만큼 상기 가상 카메라의 위치를 이동하여 상기 제2 영상 데이터를 생성할 수 있다.
또는, 상기 프로세서는 상기 제1 영상 데이터의 영상을 가상 카메라로부터 획득하는 방식으로 상기 제2 영상 데이터를 생성하며, 설정된 가상면에 대응하는 화각을 이전 프레임의 가상면에 대응하는 화각과 비교한 변화값을 변화값을 Δθ이라고 할 때, -Δθ 만큼 상기 가상 카메라의 화각을 변경하여 상기 제2 영상 데이터를 생성할 수 있다.
상기 프로세서는 상기 제1 영상 데이터에 포함되는 깊이 맵(depth map)과 컬러 맵(color map)을 분석하여 상기 가상면의 위치를 설정할 수 있다.
상기 프로세서는 상기 깊이 맵에 포함된 깊이 값들의 빈도에 대한 히스토그램을 활용하여 상기 가상면의 위치를 설정할 수 있다.
상기 프로세서는 상기 컬러 맵(color map)으로부터 샐리언시(saliency) 정보를 분석하여 상기 가상면의 위치를 설정할 수 있다.
상기 영상 표시 장치는 관찰자가 주시하는 깊이 위치를 센싱하는 아이 트래킹 센서를 더 포함할 수 있고, 상기 프로세서는 센싱된 상기 깊이 위치에 따라 상기 가상면의 위치를 설정할 수 있다.
상기 광 전달부는 상기 디스플레이 소자에서 형성된 영상과 관찰자 전방으로부터의 광을 결합하여 관찰자의 시야에 전달할 수 있다.
상기 제1 영상 데이터 및 상기 제2 영상 데이터는 각각 관찰자의 양안 위치에 전달될 영상을 위한 쌍(pair)으로 구비될 수 있다.
상기 영상 표시 장치는 웨어러블(wearable) 장치일 수 있다.
일 유형에 따르면, 제1 영상 데이터에 포함되는 깊이 정보에 따라, 디스플레이 소자에서 형성될 형성될 영상이 맺히는 가상면(virtual image plane)의 위치를 설정하는 단계; 설정된 가상면의 위치를 반영하여 상기 제1 영상데이터를 보정한 제2 영상 데이터를 생성하는 단계; 설정된 가상면의 위치에 디스플레이 소자에서 형성한 영상이 맺히도록 상기 디스플레이 소자를 포함하는 영상 형성 광학계를 제어하는 단계; 및 상기 제2 영상 데이터에 의한 광 변조 신호를 상기 디스플레이 소자에 전달하는 단계;를 포함하는, 영상 표시 방법이 제공된다.
상기 가상면의 위치를 설정하는 단계 및 상기 제2 영상 데이터를 생성하는 단계는 상기 제1 영상 데이터에 포함되는 복수 프레임 각각에 대해 수행될 수 있다.
상기 제2 영상 데이터를 생성하는 단계는 가변되는 상기 가상면의 위치에서 일정한 크기의 영상이 표시되도록 상기 제1 영상 데이터를 보정할 수 있다.
상기 제2 영상 데이터를 생성하는 단계는 설정된 가상면의 위치를 이전 프레임의 가상면 위치와 비교하고, 가상면 위치 변화에 따른 배율 변화를 상쇄하는 보정 파라미터를 사용할 수 있다.
상기 보정 파라미터는 상기 디스플레이 소자를 구동하는 구동부의 구동 특성으로부터 미리 설정된 시간-변이(time-stroke) 곡선으로부터 추출될 수 있다.
상기 제2 영상 데이터를 생성하는 단계는 상기 제1 영상 데이터의 영상을 가상 카메라로부터 획득하는 방식을 사용하며, 설정된 가상면의 위치를 이전 프레임의 가상면 위치와 비교한 변화값을 Δz이라고 할 때, -Δz 만큼 상기 가상 카메라의 위치를 이동하여 상기 제2 영상 데이터를 생성할 수 있다.
또는, 상기 제2 영상 데이터를 생성하는 단계는 상기 제1 영상 데이터의 영상을 가상 카메라로부터 획득하는 방식을 사용하며, 설정된 가상면에 대응하는 화각을 이전 프레임의 가상면에 대응하는 화각과 비교한 변화값을 Δθ이라고 할 때, -Δθ 만큼 상기 가상 카메라의 화각을 변경하여 상기 제2 영상 데이터를 생성할 수 있다.
상술한 3차원 영상 표시 장치 및 방법에 따르면, 연속하는 프레임 영상의 각각에 대해 서로 다른 깊이를 표현할 수 있고, 또한, 이에 의한 영상 왜곡이 적은 양질의 영상이 제공될 수 있다.
상술한 3차원 영상 표시 장치는 웨어러블 기기에 적용되기 용이하며, 예를 들어, 안경형 증강 현실 디스플레이 장치 등에 적용될 수 있다.
도 1은 실시예에 따른 영상 표시 장치의 구성 및 광학적 배치를 보이는 도면이다.
도 2는 도 1의 영상 표시 장치에 구비되는 프로세서의 구성을 개략적으로 설명하는 블록도이다.
도 3a 내지 도 3d는 관찰자의 눈이 깊이 위치가 다른 상을 다른 크기로 인지하게 되는 것을 개념적으로 설명하는 도면들이다.
도 4는 도 1의 영상 표시 장치에서 프로세서의 예시적인 동작을 세부적으로 설명하는 설명하는 흐름도이다.
도 5a 및 도 5b는 영상 보정에 사용되는 함수로서, 각각 near to far, far to near에 대응하는 함수를 예시적으로 보인다.
도 6은 도 1의 영상 표시 장치에 구비되는 구동부의 예시적인 구성을 보인다.
도 7은 다른 실시예에 다른 영상 표시 장치에서 프로세서의 예시적인 동작을 세부적으로 설명하는 설명하는 흐름도이다.
도 8a 및 도 8b는 도 7의 영상 표시 장치에 구비되는 영상 형성 광학계가 서로 다른 깊이 위치에 영상을 표시할 때, 깊이 위치의 변화 방향을 고려하여 보정된 영상 정보가 입력되는 것을 개념적으로 보인다.
도 9는 다른 실시예에 다른 영상 표시 장치에서 프로세서의 예시적인 동작을 세부적으로 설명하는 설명하는 흐름도이다.
도 10a 및 도 10b는 도 9의 영상 표시 장치에 구비되는 영상 형성 광학계가 서로 다른 깊이 위치에 영상을 표시할 때, 깊이 위치의 변화 방향을 고려하여 보정된 영상 정보가 입력되는 것을 개념적으로 보인다.
도 11는 또 다른 실시예에 따른 영상 표시 장치의 구성 및 광학적 배치를 보인다.
도 12은 또 다른 실시예에 따른 영상 표시 장치의 구성 및 광학적 배치를 보인다.
도 13은 실시예에 따른 영상 표시 방법을 개략적으로 설명하는 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들에 대해 상세히 설명하기로 한다. 이하의 도면들에서 동일한 참조부호는 동일한 구성요소를 지칭하며, 도면상에서 각 구성요소의 크기는 설명의 명료성과 편의상 과장되어 있을 수 있다. 한편, 이하에 설명되는 실시예는 단지 예시적인 것에 불과하며, 이러한 실시예들로부터 다양한 변형이 가능하다.
이하에서, "상부" 나 "상"이라고 기재된 것은 접촉하여 바로 위에 있는 것뿐만 아니라 비접촉으로 위에 있는 것도 포함할 수 있다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
“상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다.
방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 한정되는 것은 아니다. 모든 예들 또는 예시적인 용어(예를 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 범위가 한정되는 것은 아니다.
도 1은 실시예에 따른 영상 표시 장치의 구성 및 광학적 배치를 보이는 도면이다. 도 2는 도 1의 영상 표시 장치에 구비되는 프로세서의 구성을 개략적으로 설명하는 블록도이다.
도 1을 참조하면, 영상 표시 장치(1000)는 광을 변조하여 영상을 형성하는 디스플레이 소자(100)와 디스플레이 소자(100)에서 형성한 영상을 관찰자의 눈에 전달하는 광 전달부(300)를 포함하는 영상 형성 광학계, 영상 형성 광학계가 형성하는 가상면(virtual image plane)의 위치를 조절하기 위해 영상 형성 광학계를 구동하는 구동부(200) 및 영상 정보에 따라 디스플레이 소자(100)와 구동부(200)를 제어하고 가변되는 가상면의 위치를 고려하여 영상을 보정하는 영상 보정부(450)를 구비하는 프로세서(400)를 포함한다.
영상 표시 장치(1000)는 또한, 메모리(500)를 포함하며, 메모리(500)에 영상 정보를 포함하여 영상 표시 장치(500)의 구동에 필요한 다양한 데이터, 프로그램들의 코드가 저장될 수 있다.
영상 표시 장치(1000)는 또한, 관찰자가 주시하는 깊이 위치를 센싱하는 아이 트래킹 센서(미도시)를 더 포함할 수도 있다.
디스플레이 소자(100)는 관찰자에게 제공할 영상에 대한 영상 정보에 따라 광을 변조하여 영상을 형성한다. 디스플레이 소자(100)에서 형성하는 영상은 관찰자의 양안에 제공될 수 있으며, 도면에서는 편의상 단안을 향하는 광학계만을 도시하고 있다. 디스플레이 소자(100)에서 형성하는 영상은 예를 들어, 관찰자의 좌, 우안에 각각 제공되는 스테레오(stereo) 영상일 수 있고, 홀로그램(hologram) 영상, 라이트 필드(light field) 영상, IP(integral photography) 영상 등일 수 있고 또한, 멀티 뷰(multi-view) 혹은 슈퍼 멀티뷰(super multi-view) 방식의 영상을 포함할 수 있다. 또한, 이에 한정되지 않으며 일반적인 2차원 영상일 수도 있다.
디스플레이 소자(100)는 예를 들어, LCoS(liquid crystal on silicon) 소자, LCD(liquid crystal display) 소자, OLED(organic light emitting diode) 디스플레이 소자, DMD(digital micromirror device)를 포함할 수 있고, 또한, Micro LED, QD(quantum dot) LED 등의 차세대 디스플레이 소자를 포함할 수 있다.
영상 표시 장치(1000)에는 도시되지는 않았으나, 디스플레이 소자(100)에 영상 형성을 위한 광을 제공하는 광원이 구비될 수 있고, 이 외에도, 광로 조절을 위한 빔 스플리터, 영상의 확대, 축소를 위한 릴레이 렌즈, 노이즈 제거를 위한 공간 필터 등의 구성이 더 구비될 수도 있다.
광 전달부(300)는 디스플레이 소자(100)에서 형성된 영상을 경로 변경하고 관찰자의 시야에 알맞은 크기로 결상하여 관찰자의 눈에 전달하는 것이다. 광 전달부(300)는 포커싱 부재(310)를 포함할 수 있고, 또한, 광을 분기하여 경로를 바꾸는 부재로서 빔 스플리터(330)를 포함할 수 있다.
포커싱 부재(310)는 굴절력을 가지는 결상 부재로서 디스플레이 소자(100)에서 형성된 영상을 확대 또는 축소할 수 있다. 포커싱 부재(310)는 오목 거울로 도시되고 있으나 이에 한정되는 것은 아니다. 포커싱 부재(310)는 오목 거울 외 볼록 렌즈, 오목 렌즈 등이 조합된 형태를 가질 수도 있다.
빔 스플리터(330)는 입사광의 반을 투과시키고 나머지 반을 반사시키는 하프 미러(half mirror)일 수 있다. 다만, 이에 한정되지 않으며 편광에 따라 입사광을 투과 또는 반사시키는 편광 빔 스플리터일 수도 있다. 빔 스플리터(330)가 편광 빔 스플리터인 경우 편광 전환을 위한 추가적인 광학 요소들이 광 전달부(300)에 더 구비될 수 있다.
도시된 바와 같이, 포커싱 부재(310)와 빔 스플리터(330)는 투명 도광 부재(350)를 통해 고정되어 광 전달부(300)는 일체형 구조를 가질 수 있다. 다만, 이는 예시적인 것이며 이에 한정되는 것은 않는다.
광 전달부(300)는 디스플레이 소자(100)에서 형성한 영상을 담은 광과 함께, 이와 함께, 관찰자 전방(front)으로부터의 광을 결합하여 사용자의 시야에 전달할 수 있다. 의 실사(real environment) 영상을 담은 광을 사용자의 눈에 전달할 수 있다. 이에 따라 영상 표시 장치(1000)는 디스플레이 소자(100)에서 형성한 영상과 실사(real environment)를 함께 보여주는, 투시형(see-through type) 디스플레이로 기능할 수 있게 된다.
광 전달부(300)는 도시된 형상, 구성에 한정되지 않는다. 디스플레이 소자(100)에서 형성된 영상을 관찰자 전방의 실사(real environment) 영상과 함께 관찰자의 동공에 전달하기 위한 추가적인 광학 소자가 더 구비될 수 있고, 다양한 형상, 구조의 광학 윈도우가 채용될 수 있다.
디스플레이 소자(100)에서 형성된 영상의 광은 빔 스플리터(310)를 투과하여 포커싱 부재(310)에 반사된 후 다시 빔 스플리터(310)에서 반사되는 경로로 관찰자의 눈에 도달한다. 이러한 경로에서, 관찰자는 빔 스플리터(310) 후방의 소정 위치의 가상면(virtual image plane)(VP)에 형성된 허상을 인지하는 것이며, 가상면(VP)의 위치에 따라 관찰자가 느끼는 깊이감은 차이가 있다.
실시예에 따른 영상 표시 장치(1000)는 가상면(VP)의 위치가 하나의 위치로 고정되는 것이 아니며, 표시될 영상의 깊이감을 반영하여 가상면(VP)의 위치가 변경될 수 있다. 이를 위하여 영상 표시 장치(1000)는 영상 형성 광학계를 구동하는 구동부(200)를 구비하고 있다. 구동부(200)는 도시된 바와 같이, 디스플레이 소자(100)의 위치를 변경하도록 구성될 수 있다. 구동부(200)는 포커싱 부재(310)와의 거리가 가변되도록 디스플레이 소자(100)를 평행 이동 시킬 수 있다. 디스플레이 소자(100)의 위치가 A1 방향을 따라 가변될 때, 가상면(VP)의 위치는 A2방향을 따라 가변된다. 다만, 이는 예시적인 것이며, 다른 실시예에서, 구동부(200)는 포커싱 부재(310)를 구동하여 가상면(VP)의 위치를 변경시킬 수도 있다.
영상 표시 장치(1000)에서 채용하는 구동부(200)는 다양한 종류의 액츄에이터를 포함할 수 있다. 구동부(200)는 가능한 작은 부피로서 디스플레이 소자(100)의 위치 구동 범위를 넓게 하기 위해, 형상 가변 물질을 채용할 수 있다. 다만, 구동부(200)의 종류는 특별히 제한되지 않는다.
프로세서(400)는 관찰자에게 인지될 영상과 관련되는 깊이 정보에 따라 디스플레이 소자(100)에 전송될 광 변조 신호(SG1) 및 구동부(200)에 전송될 구동 신호(SG2)를 생성할 수 있다.
도 2에 도시한 바와 같이, 프로세서(400)는 제1 영상 데이터에 포함되는 깊이 정보에 따라 영상이 맺히는 가상면(virtual image plane)의 위치를 설정하고, 가상면의 위치를 반영하여 제1 영상데이터를 수정한 제2 영상 데이터를 생성할 수 있다.
제1 영상 데이터는 깊이 맵(depth map), 컬러 맵(color map)을 포함할 수 있다. 즉, 제1 영상 데이터는 관찰자에게 제공할 복수 프레임의 영상 각각에 대해, 복수의 화소의 컬러값과 관련된 화소별 데이터를 포함하며, 또한, 이와 함께, 각각의 영상이 이미징되는 가상면(VP)의 위치와 연동되는 깊이 정보를 포함할 수 있다. 제1 영상 데이터는 프레임 버퍼(frame buffer)에 저장될 수 있다.
깊이 정보 추출부(410)는 제1 영상 데이터를 분석하여 깊이 정보를 추출하고, 영상을 표시한 깊이 위치, 즉, 가상면(virtual image plane)의 위치를 설정한다. 이러한 위치 설정은 복수의 프레임의 영상 각각에 대해 수행될 수 있다. 깊이 정보 추출을 위해, 제1 영상 데이터에 포함되는 깊이 맵(depth map)과 컬러 맵(color map)을 분석할 수 있다. 예를 들어, 깊이 맵에 포함된 깊이 값들의 빈도에 대한 히스토그램을 활용하여 가상면의 위치를 설정할 수 있다. 또는, 컬러 맵(color map)으로부터 샐리언시(saliency) 정보를 분석하여 가상면의 위치를 설정할 수 있다. 샐리언시 맵(saliency map) 분석은 관찰자가 주시할 가능성이 높은 영역, 다시 말하면, 시각 집중도가 높은 영역을 선정하기 위해 행해질 수 있다. 시각 집중도가 높은 영역의 선정을 위해 밝기, 색상, 윤곽선, 객체 크기 등이 고려될 수 있다. 예를 들어, 주변에 비해 밝기나 색상 차이가 큰 영역, 윤곽선 특징이 강한 영역, 객체의 크기가 큰 영역이 시각 집중도가 높은 영역이 될 수 있다. 또는, 영상에 담긴 내용(contents)에 따라, 시각 집중도가 높은 위치가 선정될 수도 있다. 이러한 시각 집중도를 고려하여 가상면의 위치를 설정할 수 있다. 이 외에도, 가상면의 위치 설정을 위해, 모션 정보의 분석이나, 인간의 시각 인지 특성을 고려한 ZOC(Zone of Comfort) 분석이 수행될 수 있다.
영상 표시 장치(1000)가 관찰자가 주시하는 깊이 위치를 센싱하는 아이 트래킹 센서를 포함하는 경우, 깊이 정보 추출부(410)는 아이 트래킹 센서가 센싱한 깊이 위치로부터 가상면의 위치를 설정할 수도 있다.
구동 신호 생성부(420)는 설정된 가상면의 위치에 영상이 맺히도록, 디스플레이 소자(100)가 위치 이동되게 하는 구동 신호(SG2)를 생성할 수 있다. 구동 신호(SG2)는 예를 들어, 구동부(200)의 가변 물질의 변형을 위해 적절한 열을 발생시키는 전기 신호일 수 있다. 다만, 이에 한정되는 것은 아니다. 구동신호 생성부(420)에서 생성된 구동 신호(SG2)는 구동부에 전달된다.
영상 보정부(450)는 깊이 정보 추출부(410)에서 추출된 깊이 정보에 따라 제1 영상 데이터를 보정한 제2 영상 데이터를 생성한다. 제2 영상 데이터에 따라 광 변조 신호 생성부(460)가 광 변조 신호(SG1)를 생성하고 이를 디스플레이 소자에 전달한다. 즉, 광 변조 신호 생성부(460)는 제2 영상 데이터에 포함된 화소별 데이터를 참조하여 정해진 컬러값이 구현되는 전기 신호를 광 변조 신호(SG1)로 생성할 수 있다.
영상 보정부(450)에서의 영상 보정은 디스플레이 소자(100)의 위치 이동에 따라 가상면의 위치가 변할 때 발생하는 영상 왜곡을 보정하기 위한 것이다.
가상면의 위치가 변할 때 발생하는 영상 왜곡을 도 3a 내지 도 3d를 도 1과 함께 참조하여 설명하면 다음과 같다.
도 3a 내지 도 3d는 관찰자의 눈이 깊이 위치가 다른 상을 다른 크기로 인지하게 되는 것을 개념적으로 설명하는 도면들이다.
도 3a를 참조하면, 다른 깊이 위치(far, near)의 object(①②)이 오목 미러에 의해 상을 형성할 때, 형성된 상(image)(①'②')은 서로 다른 크기를 가지며 또한 관찰자에게 서로 다른 화각(field of view)(θ1, θ2)으로 인지된다.
도 3b, 도 3c에 나타낸 것처럼, 가상면의 위치가 far plane, near plane의 경우, 각각 FOVfar, FOVnear의 화각으로 나타나며, FOVfar> FOVnear 의 관계를 갖는다. 또한, 도 3d에 도시한 바와 같이, near plane의 화면 크기는 far plane의 화면 크기보다 작게 인지된다.
이는 배율(magnification)의 개념으로도 설명될 수 있다. 배율 m은 image distance/object distance로 정의되며, 도 1에서, di/do가 된다. 여기서 do는 디스플레이 소자(100)의 영상 표시면으로부터 포커싱 부재(310)까지의 거리이고, di는 포커싱 부재(310)에서 가상면(VP)까지의 거리이다. di는 가상의 광경로를 따른 거리로서, 표시된 거리, di, di'에는 포커싱 부재(310)의 중심에서 빔 스플리터(310) 중심까지의 거리와 빔 스플리터(310)의 중심에서 가상면(VP)까지의 거리가 포함된다.
디스플레이 소자(100)의 위치, 가상면(VP)의 위치에 따라, do, di 가 정해지 고 이 때의 배율을 m이라고 할 때, 변경된 가상면(VP')의 위치에 대응하는 배율(m')은 di'/do'으로 이 값은 m과 다르다.
실시예에 따른 영상 표시 장치(1000)는 연속된 프레임 영상에서 나타나는 배율 변화에 의한 영상 왜곡을 보정하기 위해, 형성될 가상면의 위치를 고려하여 보정된 제2 영상데이터를 생성하여 이에 따른 광변조 신호(SG1)를 디스플레이 소자(100)에 제공한다. 제2 영상 데이터는 즉, 프레임에 따라 가변되는 가상면의 위치에서 가능한 일정한 크기의 영상이 표시되도록 보정된 데이터이다. 또한, 제2 영상 데이터는 가상면 위치 변경에 따라 발생하는 다른 영상 왜곡, 예를 들어, Pincushion distortion, Barrel distortion, image misalignment 등이 보정된 영상 데이터일 수 있다.
도 4는 도 1의 영상 표시 장치(1000)에서 프로세서(400)의 예시적인 동작을 세부적으로 설명하는 설명하는 흐름도이다.
각 프레임에서 형성하고자 하는 영상에 대한 제1 영상데이터가 입력되면(S110), 제1 영상 데이터에 포함된 깊이 정보에 따라 가상면의 위치를 설정한다(S120).
가상면의 위치가 설정되면, 이 위치로 디스플레이 소자를 구동시키기 위한 구동 신호(SG2)를 생성하고(S130) 이를 구동부에 전달한다(S140).
설정된 가상면의 위치는 직전 프레임의 가상면 위치와 비교된다(S150).
가상면의 위치가 멀어지고 있는 지(near to far) 또는 가까워지고 있는 지(far to near)에 따라, 다른 함수의 보정 파라미터가 적용될 수 있다. 가상면의 위치가 직전보다 멀어진 경우 near to far 함수를 적용하고(S164), 가상면의 위치가 직전보다 가까워지는 경우 far to near 함수를 적용한다(S162).
도 5a 및 도 5b는 영상 보정에 사용되는 함수로서, 각각 near to far, far to near에 대응하는 함수에 대한 그래프를 예시적으로 보인다.
두 그래프는 구동부의 구동 특성으로부터 추출되는 시간-변이(time-stroke) 곡선이다. far to near, near to far의 두 경우에 대한 시간-변이(time-stroke) 데이터로부터 각 경우에 보정 파라미터를 정하는 함수가 미리 설정될 수 있다.
도 5a는 구동부의 작용에 따라 디스플레이 소자의 위치가 far to near로 변하는 데이터를 측정한 결과와, 측정 결과를 다항식 함수로 회귀(regression) 분석하여 추출한 함수 그래프를 포함한다.
far to near로 가상면의 위치가 변할 때, 도 3a, 도 3b에서 예시한 바와 같이 영상이 작아지게 되므로, 이를 상쇄하기 위해 영상 확대를 위한 리사이즈(resize) 함수를 설정하여 영상 크기를 조절할 수 있다.
이러한 함수(ratio)는 도 5a에서 추출된 함수 y로부터, 다음과 같이 설정될 수 있다.
ratio=1+y*(α)
여기서, α는 0에서 1사이의 값이다. α는 예를 들어, 0.01일 수 있으며, 다만 이에 한정되지 않고 다른 적절한 수치가 선택될 수 있다.
도 5b는 구동부의 작용에 따라 디스플레이 소자의 위치가 near to far로 변하는 데이터를 측정한 결과와, 측정 결과를 다항식 함수로 회귀(regression) 분석하여 추출한 함수 그래프를 포함한다.
near to far로 가상면의 위치가 변할 때, 도 3a, 도 3b에서 예시한 바와 같이 영상이 커지게 되므로, 이를 상쇄하도록 영상 축소를 위한 리사이즈(resize) 함수를 설정하여 영상 크기를 조절할 수 있다.
이러한 함수(ratio)는 도 5b에서 추출된 함수 y로부터, 다음과 같이 설정될 수 있다.
ratio=1-(1-y)*(α)
여기서, α는 0에서 1사이의 값이다. α는 예를 들어, 0.01일 수 있으며, 다만 이에 한정되지 않고 다른 적절한 수치가 선택될 수 있다.
다시 도 4를 참조하면, 이와 같이 설정된 보정 파라미터에 따라 영상을 보정하여 제2 영상 데이터가 생성된다(S170).
제2 영상 데이터에 따라 광 변조 신호(SG1)를 생성하고(S180), 이를 디르플레이 소자에 전달한다(S190).
이러한 영상 확대 처리 및 축소 처리는 디스플레이 소자(100)의 위치 변화에 맞추어 연속적으로 수행될 수도 있다.
이와 같이 생성된 광 변조 신호(SG1) 및 구동 신호(SG2)에 따라, 영상 형성 광학계는 영상을 표시하며, 표시된 영상이 변경된 가상면(VP)의 위치로부터 관찰자에게 인지될 수 있다. 관찰자는 가상면의 위치 변화에 의한 영상 왜곡이 적은 영상을 인지하게 된다.
도 6은 도 1의 영상 표시 장치에 구비되는 구동부의 예시적인 구성을 보인다.
구동부(200)는 형상 가변부(210), 지지부(240), 구동 제어부(230)를 포함할 수 있다. 형상 가변부(210)는 복수개 구비되어 각각의 양 단부들이 지지부(240) 및 디스플레이 소자(100)에 각각 접할 수 있다. 한 쌍의 형상 가변부(210)이 도시되었으나, 이는 예시적인 것이고 형상 가변부(210)들은 다른 개수로 구비될 수도 있다.
형상 가변부(210)의 길이는 형상 가변부(212)의 온도 또는 형상 가변부(210) 내에 형성되는 전기장에 따라 변할 수 있다. 예를 들어, 형상 가변부(210)는 형상 기억 합금(Shape Memory Alloy, SMA), 전기 활성 폴리머(Electro Active Polymer, EAP), 및 이들의 조합을 포함할 수 있다. 형상 가변부(210)가 형상 기억 합금을 포함하는 경우, 형상 가변부(210)는 높은 온도에서 짧은 길이를 가질 수 있고, 낮은 온도에서 긴 길이를 가질 수 있다. 형상 가변부(210)가 전기 활성 폴리머를 포함하는 경우, 형상 가변부(212)에 전기장이 인가된 때, 형상 가변부(210)의 길이는 인가된 전기장에 수직한 방향으로 길어질 수 있다.
구동 제어부(230)는 형상 가변부(210)에 전기적으로 연결되어, 형상 가변부들(210)에 전기적인 신호를 인가할 수 있다. 예를 들어, 구동 제어부(230)는 형상 가변부들(212)에 전류를 인가할 수 있다. 형상 가변부(210)에 전기적인 신호가 인가되어, 형상 가변부(210)의 온도가 높아지면, 형상 가변부(210)의 각각의 길이가 줄어들 수 있다. 이 경우, 디스플레이 소자(100)는 지지부(240)와 가까와지며, 즉, 포커싱 부재(310)와의 거리가 멀어지게 된다. 형상 가변부(210)에 전류가 인가되지 않는 경우 형상 가변부(210)의 온도가 낮아지며, 길이가 길어질 수 있다. 이와 같이, 형상 가변부(210)의 온도가 제어되어, 형상 가변부들(210)의 각각의 길이 변화 정도가 조절될 수 있고 디스플레이 소자(100)와 포커싱 부재(310) 간의 거리가 제어될 수 있다. 형상 가변부(212)가 A1 방향을 따라 변형됨에 따라 디스플레이 소자(100)에 A1 방향의 구동력이 제공되고, 디스플레이 소자(100)와 포커싱 부재(310) 간의 거리가 제어될 수 있다. 또한, 이에 따라, 디스플레이 소자(100)에서 형성한 영상이 맺히는 가상면(VP)의 위치가 도 1에 예시한, A2방향을 따라 변경될 수 있다.
도시된 구동부(200)의 형태는 예시적이며, 디스플레이 소자(100)에 A1 방향의 구동력을 제공할 수 있는 다른 형태로 변경될 수 있다.
도 7은 다른 실시예에 따른 영상 표시 장치에서 프로세서의 예시적인 동작을 세부적으로 설명하는 흐름도이다.
본 실시예의 영상 표시 장치는 프로세서가 제1 영상 데이터를 보정한 제2 영상 데이터를 생성하는 세부적인 방법에서 차이가 있으며, 영상 표시 장치의 구성도는 도 1과 실질적으로 동일하다.
프로세서의 동작을 살펴보면, 제1 영상 데이터가 입력되면(S110), 이로부터 깊이 정보에 따라 가상면 위치를 설정하고(S120), 구동신호(SG2)를 생성하여(S130) 구동부에 전달하는 과정(S140)은 도 4에서 설명한 것과 동일하다.
깊이 정보를 반영하여 제2 영상 데이터를 생성하는 과정은 도 4에서 설명한 것과 차이가 있다. 본 실시예에서, 제2 영상 데이터는 제1 영상 데이터의 영상을 가상 카메라로부터 획득하는 방식으로 생성된다. 이 때, 깊이 정보에 따라 가상 카메라의 위치를 변경하여 제2 영상 데이터를 생성한다. 이러한 방법은 도 4에서 설명한, 리사이즈(resize) 함수를 사용하여 영상을 보정하는 것과 동일한 효과를 나타낼 수 있다.
먼저, 설정된 가상면의 위치에 대해, 이전 프레임의 가상면 위치에 대한 변화값(Δz)을 추출한다(S155). 다음, 변화값의 반대 방향으로, 즉, -Δz 만큼 가상 카메라를 이동하여 제1 영상 데이터의 영상을 획득하는 방법으로 제2 영상 데이터를 생성한다(S175).
도 8a 및 도 8b는 도 7의 영상 표시 장치에 구비되는 영상 형성 광학계가 서로 다른 깊이 위치에 영상을 표시할 때, 깊이 위치의 변화 방향을 고려하여 보정된 영상 정보가 입력되는 것을 개념적으로 보인다.
도 8a와 같이, 가상면의 위치가 near에서 far로 +Δz만큼 멀어질 때, 영상은 커지게 된다. 이 때, 변경된 가상면의 위치에서도 영상 크기가 유지되도록 영상 형성 광학계에 입력되는 영상을 작게 할 수 있다. 즉, 가상 카메라의 위치를 가상 영상 방향으로 -Δz 이동시키는 영상 보정한 제2 영상 데이터를 영상 형성 광학계에 입력한다.
도 8b와 같이, 가상면의 위치가 far에서 near로 가까워질 때, 즉, -Δz만큼 가상면의 위치가 변경될 때, 영상은 작아지게 된다. 이 때, 변경된 가상면의 위치에서도 영상 크기가 유지되도록 영상 형성 광학계에 입력되는 영상을 크게 할 수 있다. 즉, 가상 카메라의 위치를 가상 영상 방향으로 +Δz 이동시키는 영상 보정한 제2 영상 데이터를 영상 형성 광학계에 입력한다.
이러한 방법으로 변경된 가상면의 위치에서도 영상 크기가 비교적 일정한 영상이 인지될 수 있다.
도 9는 다른 실시예에 다른 영상 표시 장치에서 프로세서의 예시적인 동작을 세부적으로 설명하는 설명하는 흐름도이다.
본 실시예의 영상 표시 장치는 프로세서가 제1 영상 데이터를 보정한 제2 영상 데이터를 생성하는 세부적인 방법에서 차이가 있으며, 영상 표시 장치의 구성도는 도 1과 실질적으로 동일하다.
프로세서의 동작을 살펴보면, 제1 영상 데이터가 입력되면(S110), 이로부터 깊이 정보에 따라 가상면 위치를 설정하고(S120), 구동신호(SG2)를 생성하여(S130) 구동부에 전달하며(S140), 또한, 제2 영상 데이터는 제1 영상 데이터의 영상을 가상 카메라로부터 획득하는 방식으로 생성되는 개념이 도 7의 설명과 동일하다.
본 실시예에서, 깊이 정보에 따라 가상 카메라의 화각(field of view, FOV)을 변경하여 제2 영상 데이터를 생성한다. 이러한 방법은 도 4에서 설명한, 리사이즈(resize) 함수를 사용하여 영상을 보정하는 것과 동일한 효과를 나타낼 수 있다.
먼저, 설정된 가상면에 대해, 이전 프레임의 가상면 위치의 화각에 대한 변화값(Δθ)을 추출한다(S157). 다음, 가상 카메라의 화각을 - Δθ만큼 변경하여 제1 영상 데이터의 영상을 획득하는 방법으로 제2 영상 데이터를 생성한다(S177).
도 10a 및 도 10b는 도 9의 영상 표시 장치에 구비되는 영상 형성 광학계가 서로 다른 깊이 위치에 영상을 표시할 때, 깊이 위치의 변화 방향을 고려하여 보정된 영상 정보가 입력되는 것을 개념적으로 보인다.
도 10a와 같이, 가상면의 위치가 near에서 far로 멀어질 때, 화각이 Δθ만큼 변하고 영상은 커지게 된다. 이 때, 변경된 가상면의 위치에서도 영상 크기가 유지되도록 영상 형성 광학계에 입력되는 영상을 작게 할 수 있다. 가상 카메라의 화각을 줄여, 즉, -Δθ만큼 화각을 변경하는 방식으로 영상 보정한 제2 영상 데이터를 영상 형성 광학계에 입력한다.
도 10b와 같이, 가상면의 위치가 far에서 near로 가까워질 때, 화각이 -Δθ만큼 변하고 영상은 작아지게 된다. 이 때, 변경된 가상면의 위치에서도 영상 크기가 유지되도록 영상 형성 광학계에 입력되는 영상을 크게 할 수 있다. 가상 카메라의 화각을 넓혀, 즉, +Δθ만큼 화각을 변경하는 방식으로 영상 보정한 제2 영상 데이터를 영상 형성 광학계에 입력한다.
이러한 영상 보정에 의해 변경된 가상면의 위치에서도 영상 크기가 비교적 일정한 영상이 인지될 수 있다.
도 11는 다른 실시예에 따른 영상 표시 장치의 구성 및 광학적 배치를 보인다.
본 실시예의 영상 표시 장치(1001)는 가상면의 위치를 변경시키는 구동에서 도 1의 영상 표시 장치(1000)와 차이가 있고, 나머지 구성은 실질적으로 동일하다.
도 1에서 디스플레이 소자(100)가 구동부(200)에 의해 위치 이동되는 것과 달리, 본 실시예에서는 포커싱 부재(315)의 위치가 구동부(200)에 의해 조절되고 있다. 포커싱 부재(315)가 구동부(200)에 의해 A1 방향을 따라 구동될 때, 가상면(VP)의 위치가 A2 방향을 따라 조절될 수 있다.
이 외에도, 영상 형성 광학계가 형성하는 가상면의 위치는 다른 방법으로 조절될 수 있다. 예를 들어, 포커싱 부재(315)의 굴절력(refractive power)이 전기적으로 제어될 수 있다. 포커싱 부재(315)의 곡면 형상이 가변되거나 또는 포커싱 부재(315)의 굴절률(refractive index)이 가변됨으로써, 굴절력이 조절되고, 가상면의 위치가 조절될 수도 있다.
도 12은 또 다른 실시예에 따른 영상 표시 장치의 구성 및 광학적 배치를 보인다.
본 실시예의 영상 표시 장치(2000)는 양안 각각에 영상을 제공하는 구성을 가질 수 있다. 양안에 제공되는 영상은 동일할 수 있고, 또는 시차 정보를 가지는 영상일 수 있다.
영상 표시 장치(2000)는 제1 디스플레이 소자(160), 제1 구동부(170), 제1 광전달부(360), 제2 디스플레이 소자(260), 제2 구동부(270), 제2 광전달부(370)를 포함할 수 있다.
제1 구동부(260), 제2 구동부(270)는 각각 제1 디스플레이 소자(160), 제2 디스플레이 소자(170)의 위치를 구동하고, 제1 광전달부(360), 제2 광전달부(370)는 각각 제1 디스플레이 소자(160) 및 제2 디스플레이 소자(170)에서 형성한 영상을 관찰자의 좌안 및 우안에 전달한다.
영상 표시 장치(2000)는 또한, 프로세서(800)와 메모리(700)를 포함하며, 프로세서(800)는 메모리(700)에 저장된 영상 및 이에 포함되는 깊이 정보에 따라 제1 디스플레이 소자(160), 제2 디스플레이 소자(170), 제1 구동부(260), 제2 구동부(270)를 제어한다. 프로세서(800)는 또한, 가상면의 위치 가변에 따른 영상 왜곡을 보정하는 영상 보정부(850)를 포함한다. 메모리(700)에 프로세서의 실행을 위한 프로그램 코드가 저장될 수 있다.
메모리(700)에 저장되는 상기 영상 정보는 한 프레임의 3차원 영상으로 인지될 수 있는 한 쌍의 좌안 영상 및 우안 영상에 대한 정보를 포함할 수 있다. 좌안 영상 및 우안 영상은 소정의 시차(disparity)를 가진다. 프로세서(800)는 좌안 영상이 제1 디스플레이 소자(160)에서 형성되고 우안 영상이 제2 디스플레이 소자(170)에서 형성되도록 광변조 신호(SG1_L)(SG1_R)을 생성하고 이에 따라 제1 디스플레이 소자(160) 및 제2 디스플레이 소자(170)를 제어한다.
상기 영상 정보는 또한, 좌안 영상 및 우안 영상이 각각 이미징될 가상면(VP)의 위치와 연동되는 깊이 정보를 더 포함할 수 있고, 프로세서(800)는 깊이 정보에 따라, 즉, 설정된 깊이 위치에 가상면(VP)이 형성되도록 구동 신호(SG2_L)(SG2_R)을 생성하고 제1 구동부(260) 및 상기 제2 구동부(270)를 제어한다.
프로세서(800)는 가상면의 위치 가변에 의한 영상 왜곡을 보정하는 영상 보정부를 포함한다. 영상 보정부(850)가 가상면의 가변 위치 여하를 판단하여 영상을 보정하는 세부 과정은 도 4, 도 7, 도 9을 참조하여 전술한 것과 실질적으로 동일하며, 양안 영상에 대해 수행되는 점에서만 차이가 있다. 양안 영상의 보정 정도는 서로 동일할 수도 있고, 필요에 따라 달라질 수도 있다.
실시예에 따른 영상 표시 장치(2000)는 양안 시차 방식과 깊이 표현을 결합하여 3차원 영상을 표현할 수도 있다.
도 13은 실시예에 따른 영상 표시 방법을 개략적으로 설명하는 흐름도이다.
영상 표시 방법은 전술한 영상 표시 장치(1000)(1001)(2000) 또는 이들로부터 변형된 구성의 영상 표시 장치에 의해 수행될 수 있다.
먼저, 제1 영상 데이터에 포함되는 깊이 정보에 따라, 디스플레이 소자에서 형성될 형성될 영상이 맺히는 가상면(virtual image plane)의 위치를 설정한다(S200).
다음, 설정된 가상면의 위치를 반영하여 제1 영상데이터를 보정한 제2 영상 데이터를 생성한다(S300).
가상면의 위치를 설정하는 단계(S200)와 제2 영상 데이터를 생성하는 단계(S300)은 복수 프레임 각각에 대해 수행되는 것으로, 제2 영상 데이터의 생성은 가변되는 가상면의 위치에서 일정한 크기의 영상이 표시되도록 제1 영상 데이터를 보정하는 과정이다. 즉, 제2 영상 데이터의 생성을 위해 이전 프레임의 가상면 위치와 비교하고 이를 반영하여 제1 영상 데이터를 보정한 제2 영상 데이터를 생성한다.
제2 영상 데이터의 생성을 위해, 설정된 가상면의 위치에 대해, near to far, far to near 여하를 판단하고 이와 관련된 resize 보정 파라미터를 사용하는 방법(S310), 또는 가상면의 위치 변화의 반대 방향으로 가상 카메라를 이동시키는 방법(S320), 또는 가상면의 위치 변화에 따른 화면 크기를 상쇄하도록 가상 카메라의 화각을 변경하는 방법(S330)이 사용될 수 있다. 이에 대해서는 도 4, 도 7 및 도 9에서 설명한 바와 같다. 전술한 설명은 영상의 크기 변화에 따른 왜곡을 보정하는 것을 위주로 설명하였으나, 이에 한정되지 않는다. 가상면 위치 변경에 따라 발생하는 다른 영상 왜곡, 예를 들어, Pincushion distortion, Barrel distortion, image misalignment 등을 추가적으로 보정하는 과정이 더 수행될 수 있다.
또한, 설정된 가상면의 위치에 디스플레이 소자에서 형성한 영상이 맺히도록 디스플레이 소자를 포함하는 영상 형성 광학계를 제어한다(S400). 영상 형성 광학계가 형성하는 가상면의 위치 조절을 위해, 디스플레이 소자의 위치를 조절하거나(S410) 또는 포커싱 부재의 위치 또는 굴절력을 조절할 수 있다(S410). 이에 대해서는 도 1 및 도 11에서 설명한 바와 같다.
다음, 디스플레이 소자는 제2 영상 데이터에 의한 광 변조신호에 따라 영상을 출력한다(S500). 출력된 영상은 설정된 가상면에 제공하는 깊이감을 관찰자에게 제공하며, 또한, 가상면 위치 변화에 따른 영상 크기 변화 등의 영상 왜곡이 적은, 보정된 영상이다.
상술한 영상 표시 방법은 전술한 영상 표시 장치들(1000)(1001)(2000)에서 구현될 수 있을 뿐 아니라, 이들의 변형예 및 이를 활용할 수 있는 다양한 광학 기기, 전자 기기에 적용될 수 있다.
상술한 영상 표시 장치(1000)(1001)(2000)는 웨어러블(wearable) 형태로 구성될 수 있다. 영상 표시 장치 들의 구성요소의 전부나 또는 일부가 웨어러블(wearable) 형태로 구성될 수 있다.
예를 들어, 영상 표시 장치(1000)(1001)(2000)는 헤드 장착형 디스플레이(head mounted display)(HMD)의 형태로 적용될 수 있다. 또한, 이에 한정되지 않으며, 안경형 디스플레이(glasses-type display) 또는 고글형 디스플레이(goggle-type display)로 적용될 수 있다.
상술한 영상 표시 장치(1000)(1001)(2000)는 디스플레이 소자에 형성된 영상과 현실 세계의 영상을 관찰자에게 함께 보여줄 수 있는 점에서, 증강 현실(augmented reality)(AR)을 구현하는데 적용될 수 있다.
증강 현실(AR)은, 현실 세계의 환경 위에 가상의 대상이나 정보를 결합하여 보여줌으로써 현실의 효과를 더욱 증가시킬 수 있다. 예를 들어, 관찰자의 위치에서, 현실 세계가 제공하는 환경에 대한 부가적인 정보를 영상 형성부에서 형성하여 관찰자에게 제공할 수 있다. 이러한 증강 현실(AR) 디스플레이는 유비쿼터스(ubiquitous) 환경이나 사물 인터넷(internet of things)(IoT) 환경에 적용될 수 있다.
현실 세계의 영상은 실사(real environment)에 한정되지 않으며, 예를 들어, 다른 영상 기기에서 형성한 영상이 될 수도 있다. 따라서, 상술한 영상 표시 장치는 두 영상을 함께 보여주는 멀티 영상 디스플레이 장치로 적용될 수도 있다.
상술한 영상 표시 장치(1000)(2000)는 스마트폰(smart phone)등, 다른 전자 기기에 연동 또는 연결되어 동작할 수 있다. 예를 들어, 영상 표시 장치(1000)(2000)를 구동하는 프로세서가 스마트폰(smart phone)에 구비될 수 있다. 뿐만 아니라, 스마트폰에 상술한 영상 표시 장치(1000)(2000)가 구비될 수도 있다.
지금까지, 본 발명의 이해를 돕기 위하여 예시적인 실시예가 설명되고 첨부된 도면에 도시되었다. 그러나, 이러한 실시예는 단지 본 발명을 예시하기 위한 것이고 이를 제한하지 않는다는 점이 이해되어야 할 것이다. 그리고 본 발명은 도시되고 설명된 설명에 국한되지 않는다는 점이 이해되어야 할 것이다. 이는 다양한 다른 변형이 본 기술분야에서 통상의 지식을 가진 자에게 일어날 수 있기 때문이다.
1000, 1001, 2000 -영상 표시 장치
100, 160, 170 - 디스플레이 소자
200, 260, 270 - 구동부
300, 360, 370 - 광 전달부
310, 315 - 포커싱 부재

Claims (25)

  1. 제1 영상 데이터에 포함되는 깊이 정보에 따라 영상이 맺히는 가상면(virtual image plane)의 위치를 설정하고, 상기 가상면의 위치를 반영하여 상기 제1 영상데이터를 수정한 제2 영상 데이터를 생성하는 프로세서;
    상기 제2 영상 데이터에 따라 광을 변조하는 디스플레이 소자와, 상기 디스플레이 소자에서 형성한 영상을 상기 가상면 상에 이미징하는 것으로, 포커싱 부재를 구비하는 광 전달부를 포함하는, 영상 형성 광학계; 및
    상기 가상면의 위치가 조절되도록, 상기 영상 형성 광학계를 구동하는 구동부; 를 포함하는 영상 표시 장치.
  2. 제1항에 있어서,
    상기 프로세서는
    상기 제1 영상 데이터에 포함되는 복수 프레임 각각에 대해 상기 가상면 위치 설정 및 상기 제2 영상 데이터 생성을 수행하는, 영상 표시 장치.
  3. 제2항에 있어서,
    상기 프로세서는
    프레임에 따라 가변되는 상기 가상면의 위치에서 일정한 크기의 영상이 표시되도록 상기 제2 영상 데이터를 생성하는, 영상 표시 장치.
  4. 제1항에 있어서,
    상기 프로세서는
    설정된 가상면의 위치에 따라 상기 영상 형성 광학계를 제어할 구동 신호를 생성하여 상기 구동부에 전달하는, 영상 표시 장치.
  5. 제4항에 있어서,
    상기 구동부는
    상기 디스플레이 소자와 상기 포커싱 부재와의 거리가 가변되도록 상기 구동 신호에 따라 상기 디스플레이 소자를 평행 이동시키는, 영상 표시 장치.
  6. 제5항에 있어서,
    상기 구동부는 상기 구동 신호에 따라 변형되며 상기 디스플레이 소자에 구동력을 제공하는 형상 가변부를 포함하는, 영상 표시 장치.
  7. 제2항에 있어서,
    상기 프로세서는
    설정된 가상면의 위치를 이전 프레임의 가상면 위치와 비교하고, 가상면 위치 변화에 따른 배율 변화를 상쇄하는 보정 파라미터를 사용하여 상기 제2 영상 데이터를 생성하는, 영상 표시 장치.
  8. 제7항에 있어서,
    상기 프로세서는
    가상면의 위치가 관찰자를 향해 가까워질 때 적용하는 제1함수 또는 가상면의 위치가 관찰자로부터 멀어질 때 적용하는 제2함수를 사용하여 상기 제2 영상 데이터를 생성하는, 영상 표시 장치.
  9. 제8항에 있어서,
    상기 제1함수 및 상기 제2함수는
    상기 구동부의 구동 특성으로부터 추출되는 시간-변이(time-stroke) 곡선으로부터 미리 설정되는, 영상 표시 장치.
  10. 제2항에 있어서,
    상기 프로세서는
    상기 제1 영상 데이터의 영상을 가상 카메라로부터 획득하는 방식으로 상기 제2 영상 데이터를 생성하며,
    설정된 가상면의 위치를 이전 프레임의 가상면 위치와 비교한 변화값을 Δz이라고 할 때, -Δz 만큼 상기 가상 카메라의 위치를 이동하여 상기 제2 영상 데이터를 생성하는, 영상 표시 장치.
  11. 제2항에 있어서,
    상기 프로세서는
    상기 제1 영상 데이터의 영상을 가상 카메라로부터 획득하는 방식으로 상기 제2 영상 데이터를 생성하며,
    설정된 가상면에 대응하는 화각을 이전 프레임의 가상면에 대응하는 화각과 비교한 변화값을 변화값을 Δθ이라고 할 때, -Δθ 만큼 상기 가상 카메라의 화각을 변경하여 상기 제2 영상 데이터를 생성하는, 영상 표시 장치.
  12. 제1항에 있어서,
    상기 프로세서는
    상기 제1 영상 데이터에 포함되는 깊이 맵(depth map)과 컬러 맵(color map)을 분석하여 상기 가상면의 위치를 설정하는, 영상 표시 장치.
  13. 제12항에 있어서,
    상기 프로세서는 상기 깊이 맵에 포함된 깊이 값들의 빈도에 대한 히스토그램을 활용하여 상기 가상면의 위치를 설정하는, 영상 표시 장치.
  14. 제12항에 있어서,
    상기 프로세서는 상기 컬러 맵(color map)으로부터 샐리언시(saliency) 정보를 분석하여 상기 가상면의 위치를 설정하는, 3차원 영상 표시 장치.
  15. 제1항에 있어서,
    관찰자가 주시하는 깊이 위치를 센싱하는 아이 트래킹 센서를 더 포함하며,
    상기 프로세서는 센싱된 상기 깊이 위치에 따라 상기 가상면의 위치를 설정하는 영상 표시 장치.
  16. 제1항에 있어서,
    상기 광 전달부는
    상기 디스플레이 소자에서 형성된 영상과 관찰자 전방으로부터의 광을 결합하여 관찰자의 시야에 전달하는, 영상 표시 장치.
  17. 제1항에 있어서,
    상기 제1 영상 데이터 및 상기 제2 영상 데이터는 각각 관찰자의 양안 위치에 전달될 영상을 위한 쌍(pair)으로 구비되는, 영상 표시 장치.
  18. 제1항에 있어서,
    상기 영상 표시 장치는 웨어러블(wearable) 장치인, 영상 표시 장치.
  19. 제1 영상 데이터에 포함되는 깊이 정보에 따라, 디스플레이 소자에서 형성될 형성될 영상이 맺히는 가상면(virtual image plane)의 위치를 설정하는 단계;
    설정된 가상면의 위치를 반영하여 상기 제1 영상데이터를 보정한 제2 영상 데이터를 생성하는 단계;
    설정된 가상면의 위치에 디스플레이 소자에서 형성한 영상이 맺히도록 상기 디스플레이 소자를 포함하는 영상 형성 광학계를 제어하는 단계; 및
    상기 제2 영상 데이터에 의한 광 변조 신호를 상기 디스플레이 소자에 전달하는 단계;를 포함하는, 영상 표시 방법.
  20. 제19항에 있어서,
    상기 가상면의 위치를 설정하는 단계 및 상기 제2 영상 데이터를 생성하는 단계는 상기 제1 영상 데이터에 포함되는 복수 프레임 각각에 대해 수행되는, 영상 표시 방법.
  21. 제20항에 있어서,
    상기 제2 영상 데이터를 생성하는 단계는
    가변되는 상기 가상면의 위치에서 일정한 크기의 영상이 표시되도록 상기 제1 영상 데이터를 보정하는, 영상 표시 방법.
  22. 제20항에 있어서,
    상기 제2 영상 데이터를 생성하는 단계는
    설정된 가상면의 위치를 이전 프레임의 가상면 위치와 비교하고, 가상면 위치 변화에 따른 배율 변화를 상쇄하는 보정 파라미터를 사용하는, 영상 표시 방법.
  23. 제22항에 있어서,
    상기 보정 파라미터는
    상기 디스플레이 소자를 구동하는 구동부의 구동 특성으로부터 미리 설정된 시간-변이(time-stroke) 곡선으로부터 추출되는, 영상 표시 방법.
  24. 제20항에 있어서,
    상기 제2 영상 데이터를 생성하는 단계는
    상기 제1 영상 데이터의 영상을 가상 카메라로부터 획득하는 방식을 사용하며,
    설정된 가상면의 위치를 이전 프레임의 가상면 위치와 비교한 변화값을 Δz이라고 할 때, -Δz 만큼 상기 가상 카메라의 위치를 이동하여 상기 제2 영상 데이터를 생성하는, 영상 표시 방법.
  25. 제20항에 있어서,
    상기 제2 영상 데이터를 생성하는 단계는
    상기 제1 영상 데이터의 영상을 가상 카메라로부터 획득하는 방식을 사용하며,
    설정된 가상면에 대응하는 화각을 이전 프레임의 가상면에 대응하는 화각과 비교한 변화값을 Δθ이라고 할 때, -Δθ 만큼 상기 가상 카메라의 화각을 변경하여 상기 제2 영상 데이터를 생성하는, 영상 표시 방법.
KR1020200004945A 2020-01-14 2020-01-14 3차원 영상 표시 장치 및 방법 KR20210091580A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020200004945A KR20210091580A (ko) 2020-01-14 2020-01-14 3차원 영상 표시 장치 및 방법
US16/905,141 US11509877B2 (en) 2020-01-14 2020-06-18 Image display device including moveable display element and image display method
CN202010855483.9A CN113132711A (zh) 2020-01-14 2020-08-24 图像显示设备和图像显示方法
EP20201863.6A EP3851899B1 (en) 2020-01-14 2020-10-14 Image display device and image display method
US17/969,432 US20230043244A1 (en) 2020-01-14 2022-10-19 Image display device including moveable display element and image display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200004945A KR20210091580A (ko) 2020-01-14 2020-01-14 3차원 영상 표시 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20210091580A true KR20210091580A (ko) 2021-07-22

Family

ID=72885465

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200004945A KR20210091580A (ko) 2020-01-14 2020-01-14 3차원 영상 표시 장치 및 방법

Country Status (4)

Country Link
US (2) US11509877B2 (ko)
EP (1) EP3851899B1 (ko)
KR (1) KR20210091580A (ko)
CN (1) CN113132711A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2610205A (en) * 2021-08-26 2023-03-01 Envisics Ltd Field of view optimisation
CN114326295B (zh) * 2022-03-15 2022-07-19 之江实验室 一种氧化锌微纳图案的飞秒激光直写方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2364601A1 (en) 2001-12-03 2003-06-03 Utar Scientific Inc. Computer-assisted hologram forming method and apparatus
US8175449B2 (en) 2006-05-30 2012-05-08 Konica Minolta Opto, Inc. Driving device, driving mechanism, and image sensing apparatus
US20110075257A1 (en) * 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
US9251590B2 (en) * 2013-01-24 2016-02-02 Microsoft Technology Licensing, Llc Camera pose estimation for 3D reconstruction
CN110542938B (zh) 2013-11-27 2023-04-18 奇跃公司 虚拟和增强现实系统与方法
WO2015095737A2 (en) 2013-12-19 2015-06-25 The University Of North Carolina At Chapel Hill Optical see-through near-eye display using point light source backlight
US11138793B2 (en) * 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
WO2016063620A1 (ja) 2014-10-23 2016-04-28 株式会社ソニー・コンピュータエンタテインメント 虚像距離変更装置、虚像距離変更方法、プログラム
JP6378781B2 (ja) 2014-12-19 2018-08-22 株式会社ソニー・インタラクティブエンタテインメント 頭部装着型表示装置、及び映像表示システム
JP6443677B2 (ja) * 2015-03-12 2018-12-26 日本精機株式会社 ヘッドマウントディスプレイ装置
US11106276B2 (en) * 2016-03-11 2021-08-31 Facebook Technologies, Llc Focus adjusting headset
US10129523B2 (en) * 2016-06-22 2018-11-13 Microsoft Technology Licensing, Llc Depth-aware reprojection
WO2018027015A1 (en) 2016-08-04 2018-02-08 Dolby Laboratories Licensing Corporation Single depth tracked accommodation-vergence solutions
US10379611B2 (en) * 2016-09-16 2019-08-13 Intel Corporation Virtual reality/augmented reality apparatus and method
KR102546321B1 (ko) * 2018-07-30 2023-06-21 삼성전자주식회사 3차원 영상 표시 장치 및 방법
CN109031484B (zh) 2018-09-25 2020-09-29 中国计量大学 一种电控调焦的液体镜头
KR101971937B1 (ko) 2018-11-08 2019-04-24 주식회사 휴메닉 고령자를 위한 혼합현실 기반 인지훈련 시스템 및 방법

Also Published As

Publication number Publication date
US11509877B2 (en) 2022-11-22
EP3851899B1 (en) 2023-12-27
US20230043244A1 (en) 2023-02-09
US20210218946A1 (en) 2021-07-15
EP3851899A1 (en) 2021-07-21
CN113132711A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
US10382699B2 (en) Imaging system and method of producing images for display apparatus
US11030926B2 (en) Image display apparatus capable of multi-depth expression
JP3787939B2 (ja) 立体映像表示装置
US20230043244A1 (en) Image display device including moveable display element and image display method
KR20210100175A (ko) 하이퍼보컬 뷰포트(hvp) 디스플레이를 위한 적응형 뷰포트
US9905143B1 (en) Display apparatus and method of displaying using image renderers and optical combiners
KR102673817B1 (ko) 3차원 영상 표시 장치 및 영상 처리 방법
WO2021105549A1 (en) Display apparatus and method of correcting image distortion therefor
US11733651B2 (en) Holographic display apparatus and operating method thereof
CN110780454B (zh) 三维图像显示设备和方法
CN106772821B (zh) 一种可交互裸眼3d系统
KR102026361B1 (ko) 접안 디스플레이 장치
EP4001995A1 (en) Image display device capable of expressing multiple depth
US11682325B2 (en) Display apparatus including free-formed surface and operating method thereof
US11716457B2 (en) Display method of image
WO2024122191A1 (ja) 画像処理装置及び方法、プログラム、記憶媒体
KR102135888B1 (ko) 프로젝션 장치
KR20210111149A (ko) 다중 깊이 표현이 가능한 영상 표시 장치