KR20220030016A - 디스플레이 장치 및 디스플레이 장치의 동작 방법 - Google Patents

디스플레이 장치 및 디스플레이 장치의 동작 방법 Download PDF

Info

Publication number
KR20220030016A
KR20220030016A KR1020200111697A KR20200111697A KR20220030016A KR 20220030016 A KR20220030016 A KR 20220030016A KR 1020200111697 A KR1020200111697 A KR 1020200111697A KR 20200111697 A KR20200111697 A KR 20200111697A KR 20220030016 A KR20220030016 A KR 20220030016A
Authority
KR
South Korea
Prior art keywords
display device
pixel
eyes
reliability
weight kernel
Prior art date
Application number
KR1020200111697A
Other languages
English (en)
Inventor
하인우
홍성훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200111697A priority Critical patent/KR20220030016A/ko
Priority to US17/208,049 priority patent/US12052406B2/en
Publication of KR20220030016A publication Critical patent/KR20220030016A/ko
Priority to US18/749,108 priority patent/US20240340397A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H04N13/125—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues for crosstalk reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/268—Image signal generators with monoscopic-to-stereoscopic image conversion based on depth image-based rendering [DIBR]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

일 실시예에 따른 디스플레이 장치의 동작 방법은 사용자의 양 눈의 위치를 기초로 디스플레이 패널의 픽셀들 각각을 광 필드 렌더링한 결과에 따른 신뢰도를 산출하고, 신뢰도에 따라 해당하는 픽셀의 가중치 커널을 결정하며, 가중치 커널을 기초로, 양 눈 각각에 대응하는 픽셀의 밝기를 조절한다.

Description

디스플레이 장치 및 디스플레이 장치의 동작 방법{PLAY DEVICE AND OPERATING METHOD OF THEREOF}
아래의 실시예들은 디스플레이 장치 및 디스플레이 장치의 동작 방법에 관한 것이다.
현재 상용화되고 있는 대부분의 3차원 디스플레이 장치는 사용자의 양 눈에 서로 다른 영상을 재생함으로써 깊이감을 주는 원리를 사용한다. 이러한 방식은 사용자에게 양 눈의 시차 정보만을 줄 뿐, 초점 조절, 및 운동 시차 등과 같은 한쪽 눈의 깊이 인지 요인을 전달하지 못한다. 그러므로, 3차원 영상이 자연스럽지 못하고, 눈의 피로가 야기될 수 있다.
피로감 없는 자연스러운 3차원 영상을 표시하는 기술로서 광선의 공간 각도(spatio-angular) 분포 즉, 광 필드(light field)를 재생하는 3차원 디스플레이 기술들이 있다. 여기서, 광 필드는 물체로부터 오는 광선의 위치 별 또는 방향 별 분포를 말한다. 이러한 광 필드를 임의의 면에서 광학적으로 재생하면 그 뒤에 위치한 사용자는 실제 물체가 있을 때와 같은 광선 분포를 경험하므로 자연스러운 물체의 3차원 영상을 볼 수 있다.
일 실시예에 따르면, 디스플레이 장치의 동작 방법은 사용자의 양 눈의 위치를 기초로 디스플레이 패널의 픽셀들 각각을 광 필드 렌더링한 결과에 따른 신뢰도를 산출하는 단계; 상기 신뢰도에 따라 해당하는 픽셀의 가중치 커널(weight kernel)을 결정하는 단계; 및 상기 가중치 커널을 기초로, 상기 양 눈 각각에 대응하는 픽셀의 밝기를 조절하는 단계를 포함한다.
상기 가중치 커널은 상기 신뢰도가 낮을수록 상기 해당하는 픽셀의 밝기를 감소시키도록 결정될 수 있다.
상기 가중치 커널은 미리 설정된 기준값 이상의 신뢰도를 가지는 픽셀들에 대응하여, 해당하는 픽셀의 밝기를 유지하도록 결정될 수 있다.
상기 가중치 커널을 결정하는 단계는 상기 디스플레이 패널에 의하여 표현될 컨텐츠의 특성을 획득하는 단계; 및 상기 컨텐츠의 특성을 기초로, 상기 신뢰도에 따라 상기 가중치 커널을 결정하는 단계를 포함할 수 있다.
상기 가중치 커널을 결정하는 단계는 상기 신뢰도가 미리 설정된 기준값보다 크거나 같은 경우, 해당하는 픽셀의 밝기를 증가시키는 단계; 및 상기 신뢰도가 상기 기준값보다 작은 경우, 상기 해당하는 픽셀의 밝기를 감소시키는 단계를 포함할 수 있다.
상기 가중치 커널을 결정하는 단계는 상기 디스플레이 패널에 의해 표현되는 3차원 가상 객체 별로 상기 가중치 커널을 결정하는 단계를 포함할 수 있다.
상기 가중치 커널을 결정하는 단계는 상기 디스플레이 패널에 의해 표현되는 3차원 가상 객체와 상기 양 눈 사이의 깊이를 추정하는 단계; 및 상기 깊이에 기초로, 상기 신뢰도에 따라 상기 가중치 커널을 결정하는 단계를 포함할 수 있다.
상기 픽셀의 밝기를 조절하는 단계는 상기 가중치 커널에 따라, 상기 픽셀에 포함된 서브 픽셀들의 강도(intensity)를 조절하는 단계를 포함할 수 있다.
상기 픽셀의 밝기를 조절하는 단계는 상기 양 눈 중 왼쪽 눈에 대응하는 영상으로부터 해당하는 픽셀의 제1 값을 획득하는 단계; 상기 양 눈 중 오른쪽 눈에 대응하는 영상으로부터 상기 해당하는 픽셀의 제2 값을 획득하는 단계; 상기 제1 값에 포함된 서브 픽셀들의 강도들과 상기 제2 값에 포함된 서브 픽셀들의 강도들을 기초로, 상기 제1 값과 상기 제2 값에 공통적으로 포함된 서브 픽셀들의 강도들을 결정하는 단계; 및 상기 결정된 서브 픽셀들의 강도들에 기초하여, 상기 픽셀의 밝기를 조절하는 단계를 포함할 수 있다.
상기 픽셀의 밝기를 조절하는 단계는 상기 픽셀들 각각에 대응하여, 해당하는 픽셀을 광 필드 렌더링한 결과에 따라 상기 양 눈 중 어느 한 눈에 대응하는 영상으로부터, 상기 해당하는 픽셀의 값을 획득하는 단계; 및 상기 획득된 픽셀의 값에 상기 해당하는 픽셀의 가중치 커널을 적용하는 단계를 포함할 수 있다.
상기 신뢰도를 산출하는 단계는 상기 양 눈의 위치를 기초로 상기 픽셀들 각각을 광 필드 렌더링함으로써, 상기 픽셀들 각각이 상기 양 눈 중 어느 쪽 눈에 대응하는지 여부 및 상기 신뢰도를 결정하는 단계를 포함할 수 있다.
상기 디스플레이 장치의 동작 방법은 상기 사용자의 양 눈의 위치를 추적(tracking)하는 단계를 더 포함할 수 있다.
상기 디스플레이 장치의 동작 방법은 상기 추적에 의해 상기 사용자의 양 눈의 위치 이동 여부를 결정하는 단계를 더 포함하고, 상기 가중치 커널을 결정하는 단계는 상기 양 눈의 위치 이동 여부를 기초로, 상기 가중치 커널을 변경하는 단계를 포함할 수 있다.
상기 디스플레이 장치의 동작 방법은 상기 디스플레이 장치의 파라미터를 획득하는 단계를 더 포함하고, 상기 가중치 커널을 결정하는 단계는 상기 디스플레이 장치의 파라미터를 기초로, 상기 신뢰도에 따라 상기 가중치 커널을 결정하는 단계를 포함할 수 있다.
일 실시예에 따르면, 디스플레이 장치는 디스플레이 패널; 및 사용자의 양 눈의 위치를 기초로 상기 디스플레이 패널의 픽셀들 각각을 광 필드 렌더링한 결과에 따른 신뢰도를 산출하고, 상기 신뢰도에 따라 해당하는 픽셀의 가중치 커널을 결정하며, 상기 가중치 커널을 기초로, 상기 양 눈 각각에 대응하는 픽셀의 밝기를 조절하는 프로세서를 포함한다.
상기 가중치 커널은 상기 신뢰도가 낮을수록 상기 해당하는 픽셀의 밝기를 감소시키도록 결정될 수 있다.
상기 가중치 커널은 미리 설정된 기준값 이상의 신뢰도를 가지는 픽셀들에 대응하여, 해당하는 픽셀의 밝기를 유지하도록 결정될 수 있다.
상기 프로세서는 상기 디스플레이 패널에 의하여 표현될 컨텐츠의 특성을 획득하고, 상기 컨텐츠의 특성을 기초로, 상기 신뢰도에 따라 상기 가중치 커널을 결정할 수 있다.
상기 프로세서는 상기 신뢰도가 미리 설정된 기준값보다 크거나 같은 경우, 해당하는 픽셀의 밝기를 증가시키고, 상기 신뢰도가 상기 기준값보다 작은 경우, 상기 해당하는 픽셀의 밝기를 감소시킬 수 있다.
상기 프로세서는 상기 디스플레이 패널에 의해 표현되는 3차원 가상 객체 별로 상기 가중치 커널을 결정할 수 있다.
상기 프로세서는 상기 디스플레이 패널에 의해 표현되는 3차원 가상 객체와 상기 양 눈 사이의 깊이를 추정하고, 상기 깊이에 기초로, 상기 신뢰도에 따라 상기 가중치 커널을 결정할 수 있다.
상기 프로세서는 상기 가중치 커널에 따라, 상기 픽셀에 포함된 서브 픽셀들의 강도를 조절할 수 있다.
상기 프로세서는 상기 양 눈 중 왼쪽 눈에 대응하는 영상으로부터 해당하는 픽셀의 제1 값을 획득하고, 상기 양 눈 중 오른쪽 눈에 대응하는 영상으로부터 상기 해당하는 픽셀의 제2 값을 획득하고, 상기 제1 값에 포함된 서브 픽셀들의 강도들과 상기 제2 값에 포함된 서브 픽셀들의 강도들을 기초로, 상기 제1 값과 상기 제2 값에 공통적으로 포함된 서브 픽셀들의 강도들을 결정하며, 상기 결정된 서브 픽셀들의 강도들에 기초하여, 상기 픽셀의 밝기를 조절할 수 있다.
상기 프로세서는 상기 픽셀들 각각에 대응하여, 해당하는 픽셀을 광 필드 렌더링한 결과에 따라 상기 양 눈 중 어느 한 눈에 대응하는 영상으로부터, 상기 해당하는 픽셀의 값을 획득하고, 상기 획득된 픽셀의 값에 상기 해당하는 픽셀의 가중치 커널을 적용할 수 있다.
상기 프로세서는 상기 양 눈의 위치를 기초로 상기 픽셀들 각각을 광 필드 렌더링함으로써, 상기 픽셀들 각각이 상기 양 눈 중 어느 쪽 눈에 대응하는지 여부 및 상기 신뢰도를 결정할 수 있다.
상기 프로세서는 상기 사용자의 양 눈의 위치를 추적할 수 있다.
상기 프로세서는 상기 추적에 의해 상기 사용자의 양 눈의 위치 이동 여부를 결정하고, 상기 양 눈의 위치 이동 여부를 기초로, 상기 가중치 커널을 변경할 수 있다.
상기 디스플레이 장치는 상기 디스플레이 장치의 파라미터를 획득하는 통신 인터페이스를 더 포함하고, 상기 프로세서는 상기 디스플레이 장치의 파라미터를 기초로, 상기 신뢰도에 따라 상기 가중치 커널을 결정할 수 있다.
상기 디스플레이 장치는 HUD(Head Up Display) 장치, 3D 디지털 정보 디스플레이(Digital Information Display, DID), 내비게이션 장치, 3D 모바일 기기, 스마트 폰, 스마트 TV, 태블릿(Tablet), 스마트 차량, 및 IoT 기기 중 적어도 하나를 포함할 수 있다.
도 1은 일 실시예에 따른 디스플레이 장치의 디스플레이 패턴의 구조 및 동작을 설명하기 위한 도면.
도 2는 일 실시예에 따른 디스플레이 장치에서 광 필드 영상을 생성하는 방법을 설명하기 위한 도면.
도 3은 일 실시예에 따른 디스플레이 장치에서 크로스토크가 발생하는 상황을 설명하기 위한 도면.
도 4는 일 실시예에 따른 디스플레이 장치의 동작 방법을 나타낸 흐름도.
도 5는 일 실시예에 따라 픽셀의 가중치 커널을 결정하는 방법을 설명하기 위한 도면.
도 6은 일 실시예에 따른 사용자의 양 눈과 특정 픽셀에서 출력되는 광선들 간의 관계에 따른 신뢰도를 설명하기 위한 도면.
도 7 및 도 8은 실시예들에 따른 디스플레이 장치의 동작 방법을 나타낸 흐름도.
도 9는 일 실시예에 따른 사용자의 양 눈의 위치 이동 여부를 기초로, 마진 영역에서의 픽셀의 밝기를 조절하는 방법을 설명하기 위한 도면.
도 10은 일 실시예에 따른 디스플레이 장치의 블록도.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 디스플레이 장치의 디스플레이 패턴의 구조 및 동작을 설명하기 위한 도면이다. 도 1의 (a)를 참조하면, 일 실시예에 따른 디스플레이 장치(100)의 구성이 도시된다.
디스플레이 장치(100)는 예를 들어, 광 필드(light field) 렌더링을 수행할 수 있다. 이하에서 '광 필드(Light Field)'는 빛이 공간 상에서 분포하는 상태를 광선의 분포를 통해 표현하는 개념이다. 이 개념을 이용하면 사물에서 반사되거나 발생한 빛은 공간 속을 직진하여 사람의 눈에 들어오는 것으로 정의되며, 삼차원 공간은 무수히 많은 광 필드로 구성될 수 있다. 본 명세서에서 '렌더링'은 3차원 공간 상에 광 필드(light field)를 생성하기 위하여 디스플레이 패널(110)에 표시될 영상을 생성하는 동작으로 이해될 수 있다. 광 필드 렌더링에 대하여는 후술하기로 한다.
일 실시예에 따른 디스플레이 장치(100)는 예를 들어, HUD(Head Up Display) 장치, 3D 디지털 정보 디스플레이(Digital Information Display, DID), 내비게이션 장치, 3D 모바일 기기, 스마트 폰, 스마트 TV, 태블릿(Tablet), 스마트 차량, 및 IoT 기기 중 적어도 하나일 수 있다.
디스플레이 장치(100)는 일정한 공간에 존재하는 점들에서 여러 방향으로 출력되는 빛을 그대로 표현할 수 있다. 디스플레이 장치(100)는 실제 물체가 한 점에서 여러 방향으로 빛을 생성하거나 반사하는 원리를 이용할 수 있다. 예를 들어, '렌더링'은 3차원 공간 상에 광 필드를 생성하기 위하여 디스플레이 패널(110)에 포함된 픽셀 또는 서브 픽셀들의 값을 결정하는 동작일 수 있다. 디스플레이 장치(100)가 광 필드 렌더링을 수행하는 방법은 아래의 도 2를 참조하여 구체적으로 설명한다.
디스플레이 장치(100)는 픽셀들을 포함하는 디스플레이 패널(110) 및 픽셀들로부터 방사(출력)되는 빛이 통과하는 광학 레이어(130)를 포함할 수 있다. 디스플레이 패널(110)의 픽셀들 각각을 구성하는 서브 픽셀들의 구조는 다양하게 변형될 수 있다. 서브 픽셀들은 예를 들어, R(Red) 픽셀, G(Green) 픽셀, 및 B(Blue) 픽셀 등을 포함할 수 있다. 예를 들어, 디스플레이 패널(110)은 서브 픽셀들이 스트라이프 패턴으로 배열된 RGB 패널, 또는 서브 픽셀들이 다이아몬드 패턴으로 배열된 펜타일 패널 등일 수 있다.
디스플레이 장치(100)는 예를 들어, 펜타일 패널에 기반하여 서로 다른 방향의 광선을 구현할 수 있다. 일반적인 RGB 패널은 하나의 픽셀에 서로 크기가 동일한 R 서브 픽셀, G 서브 픽셀, 및 B 서브 픽셀이 포함되는 서브 픽셀 구조를 가질 수 있다. 반면, 펜타일 패널에 포함된 R 서브 픽셀, G 서브 픽셀, 및 B 서브 픽셀의 크기는 서로 다를 수 있다. 하나의 픽셀 내에서 G 서브 픽셀과 R 서브 픽셀은 대각 방향으로 배치될 수 있다. 또한, 하나의 픽셀 내에서 G 서브 픽셀과 B 서브 픽셀은 대각 방향으로 배치될 수 있다. 하나의 픽셀 내 서브 픽셀들의 배치는 다양하게 변형될 수 있다. 또한, R 서브 픽셀, G 서브 픽셀, 및 B 서브 픽셀 각각의 크기 및 형태는 다양하게 변형될 수 있다
광학 레이어(130)는 예를 들어, 도 1에 도시된 렌티큘러 렌즈(Lenticular Lens) 이외에도 패럴랙스 배리어(Parallex Barrier), 렌즈 어레이(lense array) 및 마이크로 렌즈 어레이 등 다양한 광학 필터를 포함할 수 있다. 또한, 광학 레이어(130)는 예를 들어, 방향성 백 라이트 유닛(directional back light unit)을 포함할 수 있다. 실시예들에서 광학 레이어(130)는 전술한 광학 필터에 한정되지 않고, 디스플레이의 전면 또는 후면에 배치될 수 있는 모든 형태의 광학 레이어들을 포함할 수 있다.
디스플레이 패널(110)에 포함된 픽셀(또는 서브 픽셀)로부터 출력되는 광선의 방향은 광학 레이어(130)를 통하여 결정될 수 있다. 서브 픽셀들 각각으로부터 출력되는 빛은 광학 레이어(130)를 통과하면서 특정 방향의 광선으로 방사(출력)될 수 있다. 이러한 과정을 통해 디스플레이 장치(100)는 입체 영상 또는 다시점 영상을 표현할 수 있다. 디스플레이 장치(100)의 광학적 특성은 디스플레이 패널(110)에 포함된 서브 픽셀의 광선의 방향과 관련된 특성을 포함할 수 있다.
광학 레이어(130)는 복수의 광학 원소들(131, 133)을 포함할 수 있다. 각각의 광학 원소들은 '3D 화소'라고 지칭될 수 있다. 하나의 3D 화소는 여러 방향으로 다른 정보를 포함하는 광선을 출력할 수 있다. 광학 레이어(130)에 포함된 하나의 3D 화소에서 예를 들어, 15×4 방향의 광선들(150)이 출력될 수 있다. 디스플레이 장치(100)는 복수의 3D 화소들을 이용하여 3차원 공간상의 점들을 표현할 수 있다. 이 때, 디스플레이 패널(110)의 서브 픽셀의 구조에 따라 디스플레이 패널(110) 내 서브 픽셀들의 위치 및/또는 크기가 달라지므로, 디스플레이 패널(110)의 서브 픽셀 구조에 따라 디스플레이 패널(110) 내 각 서브 픽셀들로부터 출력되는 광선의 방향이 달라질 수 있다.
도 1의 (b)를 참조하면, 디스플레이 패널(110)의 서브 픽셀들 각각의 광선의 방향을 따라 전파되는 빛이 사용자의 양 눈에 도달되는 상황이 도시된다. 이하에서, 사용자는 디스플레이 장치(100)에 의해 재생되는 영상 또는 컨텐츠를 시청하는 사용자에 해당할 수 있다.
디스플레이 패널(110)의 시각 영역 내에 사용자가 있는 경우에 사용자의 양 눈에 대응되는 영상은 다음과 같이 결정될 수 있다. 예를 들어, 임의의 픽셀(또는 서브 픽셀)의 광선의 방향을 따라 전파되는 빛이 사용자의 오른쪽 눈보다 사용자의 왼쪽 눈에 더 가깝게 도달한다고 판단되는 경우, 해당 픽셀은 왼쪽 영상에 대응하는 것으로 결정될 수 있다. 또한, 픽셀의 광선의 방향을 따라 전파되는 빛이 사용자의 왼쪽 눈보다 사용자의 오른쪽 눈에 더 가깝게 도달한다고 판단되는 경우, 해당 픽셀은 오른쪽 영상에 대응하는 것으로 결정될 수 있다.
디스플레이 장치(100)는 다양한 렌즈들을 이용하여 서로 다른 방향의 광선(ray)를 구현할 수 있다. 디스플레이 패널(110)은 영상을 표현하는 서브 픽셀들로 구성될 수 있다. 또한, 광학 레이어(130)는 각 서브 픽셀에서 나온 빛을 특정 방향으로 제한하는 역할을 하는 광학 원소들의 집합에 해당할 수 있다.
광학 레이어(130)는 예를 들어, 차량의 윈드쉴드(wind shield)를 포함할 수 있다. 실시예에 따라, 광학 레이어(130)는 차량의 옆 유리나 뒷 유리를 포함할 수도 있다.
도 2는 일 실시예에 따른 디스플레이 장치에서 광 필드 영상을 생성하는 방법을 설명하기 위한 도면이다.
2D 영상은 3차원 공간 정보를 2차원으로 투사한 영상 정보를 취득하고 표현하기 때문에 획득 시점과 표현 시점이 달라도 문제가 되지 않는다. 하지만, 3차원 공간의 광 필드를 획득하고 표현하는 경우, 광 필드 획득을 위한 카메라 시점과 광 필드 표현을 위한 프로젝터 시점이 다르면 카메라에서 촬영한 영상 정보를 직접 프로젝터에서 사용할 수 없다.
따라서, 일 실시예에서는 광 필드 영상을 생성할 때, 렌더링 카메라의 시점을 사용자 평면의 시청 시점이 아닌 프로젝터 시점으로 옮겨서 렌더링을 수행함으로써 광 필드 정보를 변환없이 사용하여 빠르고 정확하게 광 필드를 생성하도록 할 수 있다.
일 실시예에 따른 디스플레이 장치는 사용자 또는 카메라와 가까운 경계면(near plane)(210)에서 표시되는 그래픽 객체의 정점(vertex)들을 입력 받고, 그래픽 객체의 정점들을 먼 경계면(far plane)(230)에 투영할 수 있다. 이때, 그래픽 객체는 사용자의 왼쪽 눈에 대응하는 좌 영상(Left Image)(201) 및 사용자의 오른쪽 눈에 대응하는 우 영상(Right Image)(203)을 포함할 수 있다. 여기서, 먼 경계면(230)은 광 필드가 재현되는 스크린 방향의 제1 거리에 대응하는 평면으로서, 가상 스크린(Virtual Screen)에 해당하며 할 수 있다. 디스플레이 장치는 예를 들어, 그래픽 객체의 적어도 하나의 정점을 먼 경계면(230)에 투영하는 매트릭스 연산을 수행함으로써 그래픽 객체의 정점들을 먼 경계면(230)에 투영할 수 있다.
디스플레이 장치는 그래픽 객체의 정점(vertex)들 중 카메라에서 가장 먼 제1 거리에 위치하는 그래픽 객체의 적어도 하나의 정점을, 카메라에서 가장 가까운 제2 거리에 위치하도록 변환할 수 있다. 그리고, 디스플레이 장치는 그래픽 객체의 정점(vertex)들 중 제2 거리에 위치하는 그래픽 객체의 적어도 하나의 정점을 제1 거리에 위치하도록 변환할 수 있다. 여기서, '제1 거리'는 디스플레이 장치의 카메라 위치로부터 스크린 방향으로 그래픽 객체가 전부 표현될 수 있는 가장 먼 위치에 해당하는 거리로서, 카메라 또는 프로젝터에서 먼 경계면(230) 혹은 가상 스크린까지의 거리에 해당할 수 있다. 또한, '제2 거리'는 그래픽 객체가 전부 표현될 수 있는 가장 가까운 위치에 해당하는 거리로서, 가까운 경계면(210)까지의 거리에 해당할 수 있다. 제1 거리 및 제2 거리는 예를 들어, 그래픽 객체를 투영할 디스플레이 패널의 상, 하단 위치, 좌, 우측 위치 등과 함께 사용자로부터 입력될 수 있다.
이와 같이, 디스플레이 장치는 표시하고자 하는 그래픽 객체의 정점(들)을 가까운 경계면(210)이 아니라, 먼 경계면(230)에 투영하고, 먼 경계면(230)에 투영된 그래픽 객체의 정점들을 이용하여 그래픽 객체에 대한 광 필드 영상의 씬(scene)(250)을 생성할 수 있다.
도 3은 일 실시예에 따른 디스플레이 장치에서 크로스토크가 발생하는 상황을 설명하기 위한 도면이다. 도 3을 참조하면, 사용자의 양 눈 각각이 시점 영역 내에 정확하게 위치하는 경우(310) 및 사용자의 양 눈 각각이 시점 영역을 벗어나 위치하는 경우(330)가 도시된다.
디스플레이 장치는 예를 들어, 사용자의 양 눈 또는 왼쪽 눈을 기준으로 하여 시점 영역의 너비만큼의 영역을 정의하고, 정의된 영역 내에 사용자들의 눈의 방향을 표시할 수 있다. 디스플레이 장치는 하나의 시점 영역 내에 매핑된 양 눈의 방향을 기준으로, 양 눈을 위한 영상을 표시하게 될 광선들의 방향(ray direction)의 범위를 결정할 수 있다.
디스플레이 장치는 예를 들어, 도 1에 도시된 디스플레이 패널(110)의 픽셀과 광학 레이어(130)에 속한 복수의 광학 원소들(131, 133) 사이의 상대적인 위치로 인한 반복적 특성에 기초하여, 사용자의 양 눈의 위치를 시점 영역으로 매핑할 수 있다. '시점 영역'은 사용자의 시야가 미치는 시야각 범위 내의 영역으로서, 사용자의 양 눈에 대응하는 각 영상을 표시하게 될 광선(들)의 방향(ray direction)의 범위에 해당할 수 있다.
디스플레이 장치는 많은 수의 광선들에 의해 사용자의 양 눈에 서로 다른 영상, 다시 말해 스테레오 영상을 표현할 수 있다. 어느 하나의 픽셀에서 표현하는 광선들의 수가 많아지면 결과적으로 디스플레이 장치가 표현하는 영상의 해상도가 낮아지거나, 또는 시야각 내의 많은 광선들 간의 간섭에 의한 크로스토크(crosstalk)가 발생할 수 있다. 이 밖에도, 사용자의 양 눈의 위치와 시점 영역이 일치하는 않는 경우에도 크로스토크가 발생할 수 있다.
310에서와 같이 사용자의 양 눈 각각의 위치가 시점 영역 내에 정확하게 위치하는 경우, 각 픽셀에 대응하는 광선에 의해 각 눈에 대응하는 영상이 정확하게 표시될 수 있다. 반면, 330과 같이 사용자의 양 눈 각각의 위치가 시점 영역을 벗어난 경우에는 사용자의 오른쪽 눈에 대응하는 영상이 사용자의 왼쪽 눈에 잘못 표시될 수 있다. 이 경우, 사용자의 양 눈의 시차에 의해 표현되는 3차원 영상이 자연스럽지 못하고, 눈의 피로가 야기될 수 있다. 특정 픽셀에서 출력되는 광선(들)이 전파되는 위치와 양 눈의 사이의 위치 관계는 아래의 도 6을 참조하여 보다 구체적으로 설명한다.
따라서, 일 실시예에 따른 디스플레이 장치는 사용자의 양 눈 각각에 대응하는 광선들에 의해 생성되는 영상이 사용자의 양 눈의 위치에 맞게 표시되도록 신뢰도가 임계치보다 낮은 마진 영역에 대한 픽셀의 밝기를 조절함으로써 크로스토크의 발생을 방지할 수 있다. 또한, 일 실시예에 따른 디스플레이 장치는 가중치 커널의 파라미터를 변경함으로써 사용자의 양 눈의 위치 이동을 포함하는 다양한 상황들에 맞게 마진 영역에 대한 픽셀의 밝기를 조절함으로써 보다 정확하고, 사용자의 눈에 편안한 3차원 영상을 제공할 수 있다.
도 4는 일 실시예에 따른 디스플레이 장치의 동작 방법을 나타낸 흐름도이다. 도 4를 참조하면, 일 실시예에 따른 디스플레이 장치는 단계(410) 내지 단계(430)을 통해 양 눈 각각에 대응하는 픽셀의 밝기를 조절하여 3차원 영상을 디스플레이 패널에 재생할 수 있다.
단계(410)에서, 디스플레이 장치는 사용자의 양 눈의 위치를 기초로 디스플레이 패널의 픽셀들 각각을 광 필드 렌더링한 결과에 따른 신뢰도를 산출한다. 디스플레이 장치는 사용자의 양 눈의 위치를 기초로 픽셀들 각각을 광 필드 렌더링함으로써, 픽셀들 각각이 양 눈 중 어느 쪽 눈에 대응하는지 여부 및 광 필드 렌더링한 결과에 따른 신뢰도를 결정할 수 있다.
단계(420)에서, 디스플레이 장치는 단계(410)에서 산출한 신뢰도에 따라 해당하는 픽셀의 가중치 커널(weight kernel)을 결정한다. 가중치 커널은 예를 들어, 가우시안 함수 등과 같은 형태로 표현될 수 있으며, '가중치 함수'라고도 부를 수 있다. 가중치 커널은 예를 들어, 사용자의 양 눈 각각을 위한 영상을 표시하는 광선에 대응하는 픽셀의 밝기(brightness), 및 사용자의 양 눈의 위치를 기초로 디스플레이 패널의 픽셀들 각각을 광 필드 렌더링한 결과에 따른 신뢰도가 임계치보다 낮은 마진 영역 등에 대한 파라미터를 포함할 수 있다.
단계(420)에서, 가중치 커널은 다양한 방식으로 결정될 수 있다. 가중치 커널은 예를 들어, 단계(410)에서 산출한 신뢰도가 낮을수록 해당하는 픽셀의 밝기를 감소시키도록 결정될 수 있다. 또는 가중치 커널은 예를 들어, 미리 설정된 기준값 이상의 신뢰도를 가지는 픽셀들에 대응하여 해당하는 픽셀의 밝기를 유지하고, 해당 기준값 미만의 신뢰도를 가지는 픽셀들에 한하여 픽셀의 밝기를 감소시키도록 결정될 수도 있다.
디스플레이 장치는 디스플레이 패널에 의하여 표현될 컨텐츠의 특성을 획득하고, 컨텐츠의 특성을 기초로, 신뢰도에 따라 가중치 커널을 결정할 수 있다. 또한, 디스플레이 장치는 디스플레이 패널에 의해 표현되는 3차원 가상 객체 별로 가중치 커널을 결정할 수 있다. 또한, 디스플레이 장치는 예를 들어, 디스플레이 패널에 의해 표현되는 3차원 가상 객체와 양 눈 사이의 깊이를 추정할 수 있다. 디스플레이 장치는 추정한 깊이에 기초로, 신뢰도에 따라 가중치 커널을 결정할 수 있다.
실시예에 따라서, 디스플레이 장치는 디스플레이 장치의 파라미터를 획득하고, 디스플레이 장치의 파라미터를 기초로 단계(410)에서 산출한 신뢰도에 따라 가중치 커널을 결정할 수도 있다. 디스플레이 장치가 가중치 커널을 결정하는 방법은 아래의 도 5를 참조하여 구체적으로 설명한다.
단계(430)에서, 디스플레이 장치는 단계(420)에서 결정한 가중치 커널을 기초로, 양 눈 각각에 대응하는 픽셀의 밝기를 조절한다. 디스플레이 장치는 단계(420)에서 결정한 가중치 커널에 따라, 픽셀에 포함된 서브 픽셀들의 강도(intensity)를 조절할 수 있다. 디스플레이 장치는, 예를 들어 신뢰도가 미리 설정된 기준값보다 크거나 같은 경우, 해당하는 픽셀의 밝기를 증가시키고, 신뢰도가 기준값보다 작은 경우, 해당하는 픽셀의 밝기를 감소시킬 수 있다.
단계(430)에서, 디스플레이 장치는 픽셀들 각각에 대응하여, 해당하는 픽셀을 광 필드 렌더링한 결과에 따라 양 눈 중 어느 한 눈에 대응하는 영상으로부터, 해당하는 픽셀의 값을 획득할 수 있다. 디스플레이 장치는 획득된 픽셀의 값에 해당하는 픽셀의 가중치 커널을 적용할 수 있다. 디스플레이 장치는 예를 들어, 가중치 커널을 기초로, 양 눈 각각의 위치에 기초하여 광 필드 렌더링을 수행함으로써 양 눈 각각에 대응하는 디스플레이 패널의 픽셀의 값을 결정할 수 있다. 광 필드 렌더링은 예를 들어, 렌티큘러 렌즈, 패럴랙스 배리어, 또는 방향성 백라이트를 통하여 출력되는 광선들 중 어느 광선이 사용자의 오른쪽 눈 또는 왼쪽 눈으로 전파되는지를 결정하는 과정에 해당할 수 있다. 디스플레이 장치는 광 필드 렌더링을 통하여, 디스플레이 패널의 각 픽셀들이 왼쪽 눈을 위한 영상을 재생해야 하는지, 또는 오른쪽 눈을 위한 영상을 재생해야 하는지 여부를 결정할 수 있다. 여기서, '픽셀의 값'을 해당 픽셀의 색상 및/또는 해당 픽셀의 밝기(강도)를 모두 포괄하는 의미로 이해될 수 있다.
디스플레이 장치는 예를 들어, 도 1을 통해 전술한 광학 레이어(130)와 디스플레이 패널(110)에 포함된 서브 픽셀의 위치 관계로 인해 결정된, 서브 픽셀로부터 나가는 광선들의 방향을 포함하는 광선들의 방향의 범위가 표현해야 할 영상에서의 서브 픽셀들의 강도(intensity)를 결정할 수 있다.
일 실시예에 따르면, 단계(430)에서, 디스플레이 장치는 양 눈 중 왼쪽 눈에 대응하는 영상으로부터 해당하는 픽셀의 제1 값을 획득할 수 있다. 디스플레이 장치는 양 눈 중 오른쪽 눈에 대응하는 영상으로부터 해당하는 픽셀의 제2 값을 획득할 수 있다. 디스플레이 장치는 제1 값에 포함된 서브 픽셀들의 강도들과 제2 값에 포함된 서브 픽셀들의 강도들을 기초로, 제1 값과 제2 값에 공통적으로 포함된 서브 픽셀들의 강도들을 결정할 수 있다. 디스플레이 장치는 결정된 서브 픽셀들의 강도들에 기초하여, 픽셀의 밝기를 조절할 수 있다.
디스플레이 장치는 단계(430)에서 조절된 픽셀의 밝기를 디스플레이 패널에 재생할 수 있다. 이때, 디스플레이 패널에 재생되는 영상은 예를 들어, 렌티큘러 렌즈 등을 통하여 방향성을 가지는 광선들로 출력되고, 광선들은 예를 들어, 차량의 윈드 쉴드 등과 같은 광학 레이어에서 굴절되어 사용자(예를 들어, 운전자)를 향하여 전파될 수 있다. 사용자는 왼쪽 눈과 오른쪽 눈에서 서로 다른 영상(예를 들어, 스테레오 영상)을 시청하게 되므로, 3차원 가상 객체를 포함하는 3차원 영상을 경험할 수 있다.
도 5는 일 실시예에 따라 픽셀의 가중치 커널을 결정하는 방법을 설명하기 위한 도면이다. 도 5를 참조하면, 사용자의 왼쪽 눈(501)에 대응하는 왼쪽 영상(left image)에 대응하는 시점 영역(510) 및 사용자의 오른쪽 눈(503)에 대응하는 오른쪽 영상(right image)에 대응하는 시점 영역(530)이 도시된다.
시점 영역(510, 530) 각각은 사용자의 양 눈 각각에 대응하는 영상을 표시하게 될 광선들의 방향의 범위에 해당하며, 시점 영역 각각에서 신뢰도가 임계치보다 낮은 마진 영역에 대한 픽셀의 밝기는 조절될 수 있다. 시점 영역(510, 530) 각각의 마진 영역은 예를 들어, 가우시안 함수와 같은 형태로 축소되거나, 또는 확장될 수 있다. 시점 영역(510, 530) 각각은 사용자의 양 눈 각각을 중심으로 허용 가능한 최소 분리 거리 내에 있는 영역에 해당할 수 있다. '허용 가능한 최소 분리 거리'란 허용 가능한 범위의 크로스토크를 발생시키는 최소 거리로서, 양 눈의 중앙(예를 들어, 안구의 위치)을 기준으로 양쪽에 서로 다른 영상을 표현했을 때 양쪽 위치 모두에 미리 지정된 일정 수준 이하의 크로스토크를 발생시키는 최소 거리에 해당할 수 있다.
예를 들어, 특정 픽셀에서 출력되는 광선(들)이 전파되는 위치가 사용자의 양 눈(501, 503)의 사이인 경우, 디스플레이 패널의 픽셀들 각각을 광 필드 렌더링한 결과에 따른 신뢰도가 낮게 결정될 수 있다. 이와 달리, 특정 픽셀에서 출력되는 광선(들)이 전파되는 위치가 550과 같이 사용자의 양 눈(501, 503)의 중심으로 갈수록 신뢰도가 높게 결정될 수 있다. 디스플레이 장치는 신뢰도에 따라 해당하는 픽셀의 가중치 커널이 해당하는 픽셀의 밝기를 감소시키거나 증가시키도록 결정할 수 있다.
디스플레이 장치는 예를 들어, 크로스토크를 발생시키는 원인에 해당하는 양안 시차의 정도 및 양안 시차로 인해 발생하는 좌우 색상의 편차에 따라 양 눈 각각에 대응하는 광선을 출력하는 픽셀의 밝기(또는 강도)를 조절하거나 또는 시점 영역의 마진을 조절할 수 있다.
예를 들어, 사용자의 양 눈의 위치를 기초로 디스플레이 패널의 픽셀들 각각을 광 필드 렌더링한 결과에 따른 신뢰도가 미리 설정된 기준값보다 크거나 같은 경우, 디스플레이 장치는 해당하는 픽셀의 밝기를 증가시킬수 있다. 이와 달리, 신뢰도가 기준값보다 작은 경우, 디스플레이 장치는 해당하는 픽셀의 밝기를 감소시킬 수 있다.
디스플레이 장치는 550과 같이 양 눈의 중심 부분으로 갈수록, 다시 말해 사용자의 양 눈의 위치를 기초로 디스플레이 패널의 픽셀들 각각을 광 필드 렌더링한 결과에 따른 신뢰도가 높을수록 해당하는 픽셀의 밝기를 증가시켜 표시되는 영상의 정확도를 향상시킬 수 있다.
일 실시예에서는 영상의 밝기와 영상의 정확도 간의 트레이드 오프(trade-off) 관계에 따라 결정된 가중치 커널을 기초로 사용자의 양 눈 각각에 대응하는 픽셀의 밝기를 조절함으로써 영상의 정확도를 향상시킬 수 있다.
디스플레이 장치는 예를 들어, 디스플레이 패널에 의해 표현되는 3차원 가상 객체 별로 가중치 커널을 결정할 수 있다. 예를 들어, 3차원 디스플레이 장치는 눈의 피로감 때문에 대부분의 컨텐츠는 2차원 평면(VID) 근처에서 투영하고, 강조하고자 하는 일부의 컨텐츠를 3차원 가상 객체로 표시할 수 있다. 일 실시예에 따른 디스플레이 장치는 2차원 평면에서는 해당하는 픽셀의 밝기를 유지하고, 3차원 가상 객체를 포함하는 컨텐츠는 광 필드 렌더링한 결과에 따른 신뢰도에 따라 해당하는 픽셀의 밝기를 감소시키거나, 또는 사용자의 양 눈 각각에 대응하는 픽셀에 공통적으로 포함된 서브 픽셀들의 강도들에 의해 픽셀의 밝기를 조절함으로써 크로스토크의 발생률을 낮추어 영상의 정확도를 향상시킬 수 있다.
이 밖에도, 디스플레이 장치는 디스플레이 패널에 의해 표현되는 3차원 가상 객체와 사용자의 양 눈 사이의 깊이를 추정할 수 있다. 디스플레이 장치는 추정한 깊이에 기초로, 신뢰도에 따라 가중치 커널을 결정할 수 있다. 디스플레이 장치는 예를 들어, 추정한 깊이가 미리 설정된 기준 깊이보다 먼 경우, 해당하는 픽셀의 밝기를 증가시키도록 가중치 커널을 결정할 수 있다. 디스플레이 장치는 추정된 깊이가 기준 깊이보다 가깝거나 같은 경우, 해당하는 픽셀의 밝기를 감소시키도록 가중치 커널을 결정할 수 있다.
도 6은 일 실시예에 따른 사용자의 양 눈과 특정 픽셀에서 출력되는 광선들 간의 관계에 따른 신뢰도를 설명하기 위한 도면이다. 도 6을 참조하면, 디스플레이 패널의 픽셀들로부터 출력되는 광선(들)(610)과 사용자의 왼쪽 눈(620) 및 오른쪽 눈(630)이 도시된다.
일 실시예에서 양 눈(620, 630) 각각과 광선(들)(610) 간의 거리는 광선(들)(610)이 양 눈(620, 630)의 사이를 통과하는 경우에 각 눈의 동공 중심으로부터 광선(들)(610)까지의 거리에 해당할 수 있다. 다시 말해, 사용자의 왼쪽 눈(620)과 광선(들)(610)과의 거리는 a에 해당하고, 사용자의 오른쪽 눈(630)과 광선(들)(610)과의 거리는 b에 해당할 수 있다.
전술한 것과 같이, 특정 픽셀에서 출력되는 광선(들)(610)이 전파되는 위치가 도 6에 도시된 것과 같이 양 눈(620, 630)의 사이에 해당하면, 디스플레이 패널의 픽셀들 각각을 광 필드 렌더링한 결과에 따른 신뢰도가 낮게 결정될 수 있다.
디스플레이 장치는 예를 들어, 신뢰도에 따라, 사용자의 양 눈을 중심으로 하는 일정 범위 내에 들어오는 광선들(610)이 어느 눈에 대한 영상을 표시하도록 할 지 바운드(bound)를 결정할 수 있다. 예를 들어, 이웃하는 광선(들)의 범위가 어느 한 눈의 중심으로부터 일정 크기 내로 가까운 경우, 디스플레이 장치는 서로 이웃하는 광선들이 같은 3차원 가상 객체 또는 영상을 표현하도록 결정할 수 있다. 이는 이웃하는 광선들이 향하는 중심 방향이 어느 한 눈의 중심으로부터 일정 크기 내로 가까운 경우, 이웃하는 광선들에 서로 다른 영상을 표현하게 되면 크로스토크가 크게 발생할 수 있기 때문이다.
도 7은 다른 실시예에 따른 디스플레이 장치의 동작 방법을 나타낸 흐름도이다. 도 7에서 점선으로 표시된 부분은 선택적으로(optionally) 수행되는 구성에 해당할 수 있다.
도 7을 참조하면, 일 실시예에 따른 디스플레이 장치는 디스플레이 장치에 의해 생성되는 3차원 가상 객체의 렌더링 결과를 획득할 수 있다(710). 디스플레이 장치는 3차원 가상 객체의 렌더링 결과를 기초로, 예를 들어, 3차원 가상 객체에 대응하는 RGB 색상 정보 및 깊이 정보 중 적어도 하나의 정보를 획득할 수 있다. 단계(710)에서 획득된 3차원 가상 객체의 렌더링 결과 및/또는 적어도 하나의 정보는 실시예에 따라서 단계(740)으로 전달될 수도 있고, 전달되지 않을 수도 있다.
디스플레이 장치는 사용자의 양 눈의 위치를 추적(tracking)할 수 있다(720). 디스플레이 장치는 예를 들어, 눈 추적기(eye tracker)를 이용하여 사용자의 양 눈을 추적함으로써 양 눈 각각의 3차원 위치 좌표를 획득할 수 있다. 이때, 눈 추적기의 출력값은 디스플레이 장치의 특정 지점(예를 들어, 디스플레이 패널의 좌측 최상단의 지점)을 기준으로 한 상대적인 좌표에 해당할 수 있다. 양 눈 각각의 3차원 위치 좌표는 예를 들어, 사용자의 왼쪽 눈의 위치를 나타내는 3차원 실수 벡터값(left_x, left_y, left_z) 및 사용자의 오른쪽 눈의 위치를 나타내는 3차원 실수 벡터값(right_x right_y, right_z)에 해당할 수 있다.
실시예에 따라서, 디스플레이 장치는 디스플레이 장치의 파라미터를 획득할 수도 있다(730). 디스플레이 장치의 파라미터는 예를 들어, 디스플레이 장치의 디스플레이 패널의 크기, 디스플레이 패널의 렌즈 파라미터, 및 디스플레이 패널의 픽셀들 간의 간격 등을 포함할 수 있으며, 반드시 이에 한정되지는 않는다. 단계(730)은 실시예에 따라서, 선택적으로 수행될 수도 있고, 수행되지 않을 수도 있다.
도 7에 도시된 단계(710), 단계(720), 및 단계(730)의 수행 과정은 반드시 이에 한정되는 것은 아니다. 단계(710), 단계(720), 및 단계(730)는 동시에 수행될 수도 있고, 또는 근소한 시간 차를 두고 수행될 수도 있다.
디스플레이 장치는 단계(710), 단계(720), 및 단계(730)을 통해 획득한 정보를 함께 이용하여 디스플레이 패널의 픽셀 별 좌, 우를 결정하고, 해당하는 픽셀의 가중치 커널을 결정할 수 있다(740). 여기서, '(디스플레이 패널의) 픽셀 별 좌, 우를 결정'한다는 것은 광선(들)에 대응하는 픽셀이 좌, 우 양 눈 중 어느 쪽 눈에 대응하는지를 결정한다는 의미로 이해될 수 있다. 이때, 디스플레이 장치는 단계(720)에서 수신한 양 눈 각각의 3차원 위치 좌표를 기초로, 해당 광선이 양 눈 중 어디에 더 가까운지를 결정함으로써 픽셀 별 좌, 우를 결정할 수 있다.
단계(740)에서, 디스플레이 장치는 단계(710)에서 수신한 3차원 가상 객체 별로 가중치 커널을 결정하거나, 또는 3차원 가상 객체에 대응하는 RGB 색상 정보 및 깊이 정보 중 적어도 하나의 정보를 기초로, 가중치 커널을 변경할 수도 있다.
디스플레이 장치는 가중치 커널에 RGB 색상 정보를 반영하여 양 눈 각각에 대응하는 픽셀의 값을 결정할 수 있다. 또는 디스플레이 장치는 예를 들어, 단계(730)에서 수신한 디스플레이 장치의 파라미터를 기초로, 신뢰도에 따라 가중치 커널을 결정할 수도 있다.
디스플레이 장치는 단계(740)에서 결정된 픽셀의 값을 기초로 픽셀 별 좌우 색상을 맵핑할 수 있다(750). 이때, 디스플레이는 가중치 커널에 단계(710)에서 획득된 RGB 색상 정보를 반영하여 양 눈 각각에 대응하는 픽셀 별 좌우 색상을 맵핑할 수 있다.
디스플레이 장치는 단계(750)에서 맵핑된 색상에 따라 3차원 가상 객체를 표시할 수 있다(760).
도 8은 다른 실시예에 따른 디스플레이 장치의 동작 방법을 나타낸 흐름도이다. 도 8을 참조하면, 일 실시예에 따른 디스플레이 장치는 사용자의 양 눈(의 위치)을 추적할 수 있다(810). 디스플레이 장치는 예를 들어, 눈 추적기 또는 내부 카메라(interior camera)를 이용하여 사용자의 양 눈 각각의 위치를 실시간으로 추적할 수 있다.
디스플레이 장치는 단계(810)의 추적에 의해 사용자의 양 눈의 위치 이동 여부를 판단할 수 있다(820). 디스플레이 장치는 예를 들어, 정지 상태 또는 움직임 상태와 같은 양 눈의 위치 이동 여부를 기초로, 가중치 커널을 변경할 수 있다. 디스플레이 장치는 양 눈의 위치 이동 여부를 기초로, 가중치 터널을 변경함으로써 사용자의 움직임을 포함하는 다양한 상황 변화에 적절하게 사용자의 양 눈에 맞는 픽셀 값 또는 영상을 제공할 수 있다.
예를 들어, 단계(820)에서 양 눈의 위치 이동이 없는 것으로 결정된 경우, 디스플레이 장치는 정지 파라미터를 사용할 것을 결정할 수 있다(830). 여기서, '정지 파라미터'는 사용자의 양 눈의 위치를 기초로 디스플레이 패널의 픽셀들 각각을 광 필드 렌더링한 결과에 따른 신뢰도에 따라 처음 결정된 가중치 터널이 그대로 유지된 경우에 가중치 터널의 값 또는 정보를 지칭하는 것에 해당할 수 있다. 디스플레이 장치는 정지 파라미터에 의해 양 눈 각각에 대응하는 픽셀의 밝기를 조절할 수 있다(840).
또는 예를 들어, 단계(820)에서 양 눈의 위치 이동이 있는 것으로 결정된 경우, 디스플레이 장치는 양 눈의 움직임 속도를 계산하고(850), 움직임 속도에 따른 적응적 파라미터를 사용할 것을 결정할 수 있다(860). 여기서, '적응적 파라미터'는 신뢰도에 따라 결정된 가중치 터널이 이후에 변경 또는 보완된 경우에 변경 또는 보완된 가중치 터널의 값 또는 정보를 지칭하는 것에 해당할 수 있다.
디스플레이 장치는 적응적 파라미터에 의해 양 눈 각각에 대응하는 픽셀의 밝기를 조절할 수 있다(870). 디스플레이 장치는 양 눈의 위치 이동이 있는 경우, 시점 영역에 대응하는 픽셀의 밝기를 조절한 적응적 파라미터에 의해 양 눈 각각에 대응하는 픽셀의 값을 결정할 수 있다.
도 9는 일 실시예에 따른 사용자의 양 눈의 위치 이동 여부를 기초로, 마진 영역에서의 픽셀의 밝기를 조절하는 방법을 설명하기 위한 도면이다. 도 9를 참조하면, 일 실시예에 따른 디스플레이 패널에 의해 표시되는 3차원 가상 객체의 한 지점(P(xp, yp, zp)에 대응하는 시점 영역의 마진에 따라 적응적으로 픽셀의 값이 결정되는 상황들(910, 930)이 도시된다.
일 실시예에 따른 디스플레이 장치는 사용자의 양 눈의 위치를 기초로 디스플레이 패널의 픽셀들 각각을 광 필드 렌더링한 결과에 따른 신뢰도를 기초로, 광선(들)에 대응하는 픽셀이 양 눈 중 어느 쪽 눈에 대응하는지를 결정할 수 있다. 디스플레이 장치는 결정된 눈에 대응하는 광선의 방향의 범위에 해당하는 시점 영역의 마진을 결정할 수 있다.
예를 들어, 사용자의 양 눈 각각에 대응하는 영상을 표시하게 될 광선들에 의한 시점 영역(915)을 고려하지 않는 경우, 디스플레이 장치는 상황(910)과 같이 눈 각각에 대응하는 픽셀의 밝기를 포함하는 픽셀의 값을 동일하게 결정할 수 있다.
실시예에 따라서, 디스플레이 장치는 예를 들어, 광선에 대응하는 픽셀이 어느 쪽 눈에 대응하는지에 대한 결정의 신뢰도, 다시 말해 사용자의 양 눈의 위치를 기초로 디스플레이 패널의 픽셀들 각각을 광 필드 렌더링한 결과에 따른 신뢰도를 미리 설정된 기준값과 비교할 수 있다.
예를 들어, 신뢰도가 기준값보다 작은 경우, 디스플레이 장치는 해당하는 픽셀의 밝기를 감소시킬 수 있다. 이때, 해당 픽셀에 인접한 픽셀들의 가중치 커널은 예를 들어, 해당 픽셀에 인접한 픽셀들의 밝기(또는 밝기의 평균값)를 포함할 수 있다.
예를 들어, 어떤 광선(들)이 51%의 확률로 사용자의 오른쪽 눈을 향하는 광선(들)이라고 판단했으나 실제로는 왼쪽 눈을 향하는 광선(들)에 해당한다고 하자. 이 경우, 실제 사용자 눈으로는 엉뚱한 영상을 보게 되어 불편함을 느끼게 된다. 전체 영상에서 이 비율이 일정 값을 넘어가면 사용성이 많이 떨어지게 된다.
따라서 일 실시예에서는 광선(들)에 대응하는 픽셀이 어느 쪽 눈에 대응하는지에 대한 신뢰도가 기준 값보다 작은 경우, 잘못된 영상을 보여주기보다는 해당 광선을 '정의되지 않은 광선(undefined ray)'으로 결정할 수 있다. 디스플레이 장치는 정의되지 않은 광선에 대응하는 픽셀에, 예를 들어, 왼쪽 눈을 위한 영상 및 오른쪽 눈을 위한 영상의 색상 값 중 최소 값을 할당할 수 있다. 이후, 디스플레이 장치는 영상 처리를 통해 정의되지 않은 광선으로 인해 손실된 색상 값을 보정할 수 있다. 일 실시예에서는 이러한 보정 과정을 크로스토크가 주로 발생하는 영역에 적용하여 전체적인 영상 품질의 저하를 최소화할 수 있다.
예를 들어, 상황(930)과 같이 사용자의 양 눈 사이의 간격이 좁아 사용자의 양 눈 각각을 중심으로 허용 가능한 최소 분리 거리가 보장되지 않고 각 눈에 대응하는 시점 영역이 겹치는 마진 영역(935)이 존재한다고 하자. 이때, 마진 영역(835)는 사용자의 양 눈의 위치를 기초로 디스플레이 패널의 픽셀들 각각을 광 필드 렌더링한 결과에 따른 신뢰도가 임계치보다 낮은 영역에 해당할 수 있다.
이 경우, 디스플레이 장치는 마진 영역(935)에 대한 픽셀의 값을 신뢰도에 따라 어두운 색으로 결정할 수 있다. 또는, 디스플레이 장치는 양 눈 각각에 해당하는 픽셀의 공통 값을 마진 영역(935)에 대한 픽셀의 값으로 결정할 수 있다. 디스플레이 장치는 예를 들어, 양 눈 중 왼쪽 눈에 대응하는 영상으로부터 해당하는 픽셀의 제1 값을 획득하고, 오른쪽 눈에 대응하는 영상으로부터 해당하는 픽셀의 제2 값을 획득할 수 있다. 디스플레이 장치는 제1 값에 포함된 서브 픽셀들의 강도들과 제2 값에 포함된 서브 픽셀들의 강도들을 기초로, 제1 값과 제2 값에 공통적으로 포함된 서브 픽셀들의 강도들을 결정할 수 있다. 또는, 디스플레이 장치는 마진 영역(935)에 대한 픽셀의 값을 미리 정해진 어두운 색(예를 들어, 검정색)으로 결정할 수도 있다.
디스플레이 장치는 결정된 서브 픽셀들의 강도들에 기초하여, 픽셀의 밝기를 조절할 수 있다. 상황(930)은 예를 들어, 양 눈의 위치가 이동되지 않은 정지 상태에서 적용될 수 있다.
디스플레이 장치는 전술한 것과 같이, 사용자의 양 눈의 위치 이동을 포함하는 다양한 상황들에 맞게 시점 영역에 대응하는 픽셀의 밝기를 적응적으로 조절함으로써 사용자에게 보다 정확한 영상을 제공하는 한편, 전체적인 영상 품질의 저하를 최소화할 수 있다.
도 10은 일 실시예에 따른 디스플레이 장치의 블록도이다. 도 10을 참조하면, 일 실시예에 따른 디스플레이 장치(1000)는 센서(1010), 프로세서(1030) 및 디스플레이 패널(1050)을 포함한다. 센서(1010), 프로세서(1030) 및 디스플레이 패널(1050)은 통신 버스(1005)를 통해 서로 연결될 수 있다.
센서(1010)는 사용자의 양 눈의 위치를 감지한다. 센서(1010)는 예를 들어, 이미지 센서, 또는 홍채 센서일 수도 있고, 눈 추적기(eye tracker)일 수도 있다. 센서(1010)는 사용자의 양 눈 각각에 대응하는 3차원 좌표를 출력할 수 있다.
프로세서(1030)는 센서(1010)에 의해 감지된 양 눈의 위치를 기초로, 디스플레이 패널의 픽셀들 각각을 광 필드 렌더링한 결과에 따른 신뢰도를 산출한다. 프로세서(1030)는 신뢰도에 따라 해당하는 픽셀의 가중치 커널을 결정한다. 프로세서(1030)는 가중치 커널을 기초로, 양 눈 각각에 대응하는 픽셀의 밝기를 조절한다.
디스플레이 패널(1050)은 프로세서(1030)에 의해 결정된 양 눈 각각에 대응하는 픽셀의 밝기를 포함하는 픽셀의 값을 재생한다. 디스플레이 패널(1050)은 예를 들어, 광 필드 디스플레이 패널일 수 있다.
디스플레이 장치(1000)는 예를 들어, HUD 장치, 3D 디지털 정보 디스플레이(DID), 내비게이션 장치, 3D 모바일 기기, 스마트 폰, 스마트 TV, 태블릿(Tablet), 스마트 차량, 및 IoT 기기 중 적어도 하나일 수 있다.
또한, 프로세서(1030)는 도 1 내지 도 9를 통해 전술한 적어도 하나의 방법 또는 적어도 하나의 방법에 대응되는 알고리즘을 수행할 수 있다. 프로세서(1030)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다. 예를 들어, 하드웨어로 구현된 예측 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
프로세서(1030)는 프로그램을 실행하고, 디스플레이 장치(1000)을 제어할 수 있다. 프로세서(1030)에 의하여 실행되는 프로그램 코드는 메모리에 저장될 수 있다.
도면에 도시하지 않았으나, 디스플레이 장치(1000)는 메모리를 더 포함할 수 있다. 메모리는 상술한 프로세서(1030)의 처리 과정에서 생성되는 다양한 정보들을 저장할 수 있다. 이 밖에도, 메모리는 각종 데이터와 프로그램 등을 저장할 수 있다. 메모리는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리는 하드 디스크 등과 같은 대용량 저장 매체를 구비하여 각종 데이터를 저장할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (30)

  1. 사용자의 양 눈의 위치를 기초로 디스플레이 패널의 픽셀들 각각을 광 필드 렌더링한 결과에 따른 신뢰도를 산출하는 단계;
    상기 신뢰도에 따라 해당하는 픽셀의 가중치 커널(weight kernel)을 결정하는 단계; 및
    상기 가중치 커널을 기초로, 상기 양 눈 각각에 대응하는 픽셀의 밝기를 조절하는 단계
    를 포함하는,
    디스플레이 장치의 동작 방법.
  2. 제1항에 있어서,
    상기 가중치 커널은
    상기 신뢰도가 낮을수록 상기 해당하는 픽셀의 밝기를 감소시키도록 결정되는,
    디스플레이 장치의 동작 방법.
  3. 제1항에 있어서,
    상기 가중치 커널은
    미리 설정된 기준값 이상의 신뢰도를 가지는 픽셀들에 대응하여, 해당하는 픽셀의 밝기를 유지하도록 결정되는,
    디스플레이 장치의 동작 방법.
  4. 제1항에 있어서,
    상기 가중치 커널을 결정하는 단계는
    상기 디스플레이 패널에 의하여 표현될 컨텐츠의 특성을 획득하는 단계; 및
    상기 컨텐츠의 특성을 기초로, 상기 신뢰도에 따라 상기 가중치 커널을 결정하는 단계
    를 포함하는,
    디스플레이 장치의 동작 방법.
  5. 제1항에 있어서,
    상기 가중치 커널을 결정하는 단계는
    상기 신뢰도가 미리 설정된 기준값보다 크거나 같은 경우, 해당하는 픽셀의 밝기를 증가시키는 단계; 및
    상기 신뢰도가 상기 기준값보다 작은 경우, 상기 해당하는 픽셀의 밝기를 감소시키는 단계
    를 포함하는,
    디스플레이 장치의 동작 방법.
  6. 제1항에 있어서,
    상기 가중치 커널을 결정하는 단계는
    상기 디스플레이 패널에 의해 표현되는 3차원 가상 객체 별로 상기 가중치 커널을 결정하는 단계
    디스플레이 장치의 동작 방법.
  7. 제1항에 있어서,
    상기 가중치 커널을 결정하는 단계는
    상기 디스플레이 패널에 의해 표현되는 3차원 가상 객체와 상기 양 눈 사이의 깊이를 추정하는 단계; 및
    상기 깊이에 기초로, 상기 신뢰도에 따라 상기 가중치 커널을 결정하는 단계
    를 포함하는,
    디스플레이 장치의 동작 방법.
  8. 제1항에 있어서,
    상기 픽셀의 밝기를 조절하는 단계는
    상기 가중치 커널에 따라, 상기 픽셀에 포함된 서브 픽셀들의 강도(intensity)를 조절하는 단계
    를 포함하는,
    디스플레이 장치의 동작 방법.
  9. 제1항에 있어서,
    상기 픽셀의 밝기를 조절하는 단계는
    상기 양 눈 중 왼쪽 눈에 대응하는 영상으로부터 해당하는 픽셀의 제1 값을 획득하는 단계;
    상기 양 눈 중 오른쪽 눈에 대응하는 영상으로부터 상기 해당하는 픽셀의 제2 값을 획득하는 단계;
    상기 제1 값에 포함된 서브 픽셀들의 강도들과 상기 제2 값에 포함된 서브 픽셀들의 강도들을 기초로, 상기 제1 값과 상기 제2 값에 공통적으로 포함된 서브 픽셀들의 강도들을 결정하는 단계; 및
    상기 결정된 서브 픽셀들의 강도들에 기초하여, 상기 픽셀의 밝기를 조절하는 단계
    를 포함하는,
    디스플레이 장치의 동작 방법.
  10. 제1항에 있어서,
    상기 픽셀의 밝기를 조절하는 단계는
    상기 픽셀들 각각에 대응하여,
    해당하는 픽셀을 광 필드 렌더링한 결과에 따라 상기 양 눈 중 어느 한 눈에 대응하는 영상으로부터, 상기 해당하는 픽셀의 값을 획득하는 단계; 및
    상기 획득된 픽셀의 값에 상기 해당하는 픽셀의 가중치 커널을 적용하는 단계
    를 포함하는,
    디스플레이 장치의 동작 방법.
  11. 제1항에 있어서,
    상기 신뢰도를 산출하는 단계는
    상기 양 눈의 위치를 기초로 상기 픽셀들 각각을 광 필드 렌더링함으로써, 상기 픽셀들 각각이 상기 양 눈 중 어느 쪽 눈에 대응하는지 여부 및 상기 신뢰도를 결정하는 단계
    를 포함하는,
    디스플레이 장치의 동작 방법.
  12. 제1항에 있어서,
    상기 사용자의 양 눈의 위치를 추적(tracking)하는 단계
    를 더 포함하는,
    디스플레이 장치의 동작 방법.
  13. 제12항에 있어서,
    상기 추적에 의해 상기 사용자의 양 눈의 위치 이동 여부를 결정하는 단계
    를 더 포함하고,
    상기 가중치 커널을 결정하는 단계는
    상기 양 눈의 위치 이동 여부를 기초로, 상기 가중치 커널을 변경하는 단계
    를 포함하는,
    디스플레이 장치의 동작 방법.
  14. 제1항에 있어서,
    상기 디스플레이 장치의 파라미터를 획득하는 단계
    를 더 포함하고,
    상기 가중치 커널을 결정하는 단계는
    상기 디스플레이 장치의 파라미터를 기초로, 상기 신뢰도에 따라 상기 가중치 커널을 결정하는 단계
    를 포함하는,
    디스플레이 장치의 동작 방법.
  15. 하드웨어와 결합되어 제1항 내지 제14항 중 어느 하나의 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
  16. 디스플레이 패널; 및
    사용자의 양 눈의 위치를 기초로 상기 디스플레이 패널의 픽셀들 각각을 광 필드 렌더링한 결과에 따른 신뢰도를 산출하고, 상기 신뢰도에 따라 해당하는 픽셀의 가중치 커널을 결정하며, 상기 가중치 커널을 기초로, 상기 양 눈 각각에 대응하는 픽셀의 밝기를 조절하는 프로세서
    를 포함하는,
    디스플레이 장치.
  17. 제16항에 있어서,
    상기 가중치 커널은
    상기 신뢰도가 낮을수록 상기 해당하는 픽셀의 밝기를 감소시키도록 결정되는,
    디스플레이 장치.
  18. 제16항에 있어서,
    상기 가중치 커널은
    미리 설정된 기준값 이상의 신뢰도를 가지는 픽셀들에 대응하여, 해당하는 픽셀의 밝기를 유지하도록 결정되는,
    디스플레이 장치.
  19. 제16항에 있어서,
    상기 프로세서는
    상기 디스플레이 패널에 의하여 표현될 컨텐츠의 특성을 획득하고, 상기 컨텐츠의 특성을 기초로, 상기 신뢰도에 따라 상기 가중치 커널을 결정하는,
    디스플레이 장치.
  20. 제16항에 있어서,
    상기 프로세서는
    상기 신뢰도가 미리 설정된 기준값보다 크거나 같은 경우, 해당하는 픽셀의 밝기를 증가시키고, 상기 신뢰도가 상기 기준값보다 작은 경우, 상기 해당하는 픽셀의 밝기를 감소시키는,
    디스플레이 장치.
  21. 제16항에 있어서,
    상기 프로세서는
    상기 디스플레이 패널에 의해 표현되는 3차원 가상 객체 별로 상기 가중치 커널을 결정하는,
    디스플레이 장치.
  22. 제16항에 있어서,
    상기 프로세서는
    상기 디스플레이 패널에 의해 표현되는 3차원 가상 객체와 상기 양 눈 사이의 깊이를 추정하고, 상기 깊이에 기초로, 상기 신뢰도에 따라 상기 가중치 커널을 결정하는,
    디스플레이 장치.
  23. 제16항에 있어서,
    상기 프로세서는
    상기 가중치 커널에 따라, 상기 픽셀에 포함된 서브 픽셀들의 강도를 조절하는,
    디스플레이 장치.
  24. 제16항에 있어서,
    상기 프로세서는
    상기 양 눈 중 왼쪽 눈에 대응하는 영상으로부터 해당하는 픽셀의 제1 값을 획득하고, 상기 양 눈 중 오른쪽 눈에 대응하는 영상으로부터 상기 해당하는 픽셀의 제2 값을 획득하고, 상기 제1 값에 포함된 서브 픽셀들의 강도들과 상기 제2 값에 포함된 서브 픽셀들의 강도들을 기초로, 상기 제1 값과 상기 제2 값에 공통적으로 포함된 서브 픽셀들의 강도들을 결정하며, 상기 결정된 서브 픽셀들의 강도들에 기초하여, 상기 픽셀의 밝기를 조절하는,
    디스플레이 장치.
  25. 제16항에 있어서,
    상기 프로세서는
    상기 픽셀들 각각에 대응하여,
    해당하는 픽셀을 광 필드 렌더링한 결과에 따라 상기 양 눈 중 어느 한 눈에 대응하는 영상으로부터, 상기 해당하는 픽셀의 값을 획득하고, 상기 획득된 픽셀의 값에 상기 해당하는 픽셀의 가중치 커널을 적용하는,
    디스플레이 장치.
  26. 제16항에 있어서,
    상기 프로세서는
    상기 양 눈의 위치를 기초로 상기 픽셀들 각각을 광 필드 렌더링함으로써, 상기 픽셀들 각각이 상기 양 눈 중 어느 쪽 눈에 대응하는지 여부 및 상기 신뢰도를 결정하는,
    디스플레이 장치.
  27. 제16항에 있어서,
    상기 프로세서는
    상기 사용자의 양 눈의 위치를 추적하는,
    디스플레이 장치.
  28. 제27항에 있어서,
    상기 프로세서는
    상기 추적에 의해 상기 사용자의 양 눈의 위치 이동 여부를 결정하고, 상기 양 눈의 위치 이동 여부를 기초로, 상기 가중치 커널을 변경하는,
    디스플레이 장치.
  29. 제16항에 있어서,
    상기 디스플레이 장치의 파라미터를 획득하는 통신 인터페이스
    를 더 포함하고,
    상기 프로세서는
    상기 디스플레이 장치의 파라미터를 기초로, 상기 신뢰도에 따라 상기 가중치 커널을 결정하는,
    디스플레이 장치.
  30. 제16항에 있어서,
    상기 디스플레이 장치는
    HUD(Head Up Display) 장치, 3D 디지털 정보 디스플레이(Digital Information Display, DID), 내비게이션 장치, 3D 모바일 기기, 스마트 폰, 스마트 TV, 태블릿(Tablet), 스마트 차량, 및 IoT 기기 중 적어도 하나를 포함하는,
    디스플레이 장치.
KR1020200111697A 2020-09-02 2020-09-02 디스플레이 장치 및 디스플레이 장치의 동작 방법 KR20220030016A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200111697A KR20220030016A (ko) 2020-09-02 2020-09-02 디스플레이 장치 및 디스플레이 장치의 동작 방법
US17/208,049 US12052406B2 (en) 2020-09-02 2021-03-22 Display apparatus and operating method of the same
US18/749,108 US20240340397A1 (en) 2020-09-02 2024-06-20 Display apparatus and operating method of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200111697A KR20220030016A (ko) 2020-09-02 2020-09-02 디스플레이 장치 및 디스플레이 장치의 동작 방법

Publications (1)

Publication Number Publication Date
KR20220030016A true KR20220030016A (ko) 2022-03-10

Family

ID=80359055

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200111697A KR20220030016A (ko) 2020-09-02 2020-09-02 디스플레이 장치 및 디스플레이 장치의 동작 방법

Country Status (2)

Country Link
US (2) US12052406B2 (ko)
KR (1) KR20220030016A (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11770513B1 (en) * 2022-07-13 2023-09-26 Rovi Guides, Inc. Systems and methods for reducing a number of focal planes used to display three-dimensional objects
WO2024098378A1 (zh) * 2022-11-11 2024-05-16 京东方科技集团股份有限公司 显示装置及其亮度补偿方法、计算机存储介质
NL2033691B1 (en) * 2022-12-08 2024-06-14 Dimenco Holding B V Method for displaying a stereoscopic image on an autostereoscopic display device
WO2024145265A1 (en) * 2023-01-01 2024-07-04 Leia Inc. 3d display system and method employing stereo mapping coordinates

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100218380B1 (ko) 1996-03-30 1999-09-01 이종수 공간 부호화 패턴광 투영방법을 이용한 3차원 형상 복원방법
JP2010088092A (ja) 2008-09-02 2010-04-15 Panasonic Corp 立体映像伝送システム、映像表示装置および映像出力装置
KR101661215B1 (ko) 2010-08-16 2016-09-30 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
KR101829459B1 (ko) 2011-07-14 2018-02-14 엘지디스플레이 주식회사 영상처리방법과 이를 이용한 입체영상 표시장치
KR101944911B1 (ko) 2012-10-31 2019-02-07 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
US10412373B2 (en) * 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
KR102174258B1 (ko) 2015-11-06 2020-11-04 삼성전자주식회사 무안경 3d 디스플레이 장치 및 그 제어 방법
KR102447101B1 (ko) * 2017-09-12 2022-09-26 삼성전자주식회사 무안경 3d 디스플레이를 위한 영상 처리 방법 및 장치

Also Published As

Publication number Publication date
US12052406B2 (en) 2024-07-30
US20240340397A1 (en) 2024-10-10
US20220070427A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
CN109495734B (zh) 用于自动立体三维显示器的图像处理方法和设备
KR20220030016A (ko) 디스플레이 장치 및 디스플레이 장치의 동작 방법
EP3035681B1 (en) Image processing method and apparatus
US9881421B2 (en) Image processing
JP6886253B2 (ja) 複数のユーザのためのレンダリング方法及び装置
JP7046085B2 (ja) 画像修復におけるアンチエイリアシング
KR101953686B1 (ko) 부화소를 렌더링하는 영상 처리 장치 및 방법
KR101944911B1 (ko) 영상 처리 방법 및 영상 처리 장치
US8294754B2 (en) Metadata generating method and apparatus and image processing method and apparatus using metadata
JP4764305B2 (ja) 立体画像生成装置、方法およびプログラム
KR102397089B1 (ko) 이미지 처리 방법 및 이미지 처리 장치
JP6517245B2 (ja) 三次元画像を生成するための方法及び機器
KR101732836B1 (ko) 셰이더 기반의 그래픽스 콘텐츠에 대한 뷰잉 배향에 의한 입체 변환
KR20180038552A (ko) 가상 및 증강 현실 시스템들 및 방법들
US20130127861A1 (en) Display apparatuses and methods for simulating an autostereoscopic display device
KR102564479B1 (ko) 사용자의 눈을 위한 3d 렌더링 방법 및 장치
KR20160021968A (ko) 영상 처리 방법 및 장치
US10672311B2 (en) Head tracking based depth fusion
EP3747191B1 (en) Autostereoscopic display with viewer tracking
US10699383B2 (en) Computational blur for varifocal displays
KR20210096449A (ko) Hud 시스템에서 영상을 재생하는 방법 및 그 hud 시스템
US11938817B2 (en) Method and apparatus for controlling head-up display based on eye tracking status
KR102411661B1 (ko) 영상 처리 방법 및 디바이스
JP2024017515A (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法
JP2024017504A (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法