KR20130061042A - 부화소를 렌더링하는 영상 처리 장치 및 방법 - Google Patents

부화소를 렌더링하는 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20130061042A
KR20130061042A KR20120074188A KR20120074188A KR20130061042A KR 20130061042 A KR20130061042 A KR 20130061042A KR 20120074188 A KR20120074188 A KR 20120074188A KR 20120074188 A KR20120074188 A KR 20120074188A KR 20130061042 A KR20130061042 A KR 20130061042A
Authority
KR
South Korea
Prior art keywords
subpixel
user
eye
ray
center
Prior art date
Application number
KR20120074188A
Other languages
English (en)
Other versions
KR101953686B1 (ko
Inventor
박주용
남동경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120074188A priority Critical patent/KR101953686B1/ko
Priority to US13/688,502 priority patent/US8890865B2/en
Priority to EP12853626.5A priority patent/EP2786583B1/en
Priority to CN201280058535.3A priority patent/CN103988504B/zh
Priority to JP2014544677A priority patent/JP6050373B2/ja
Priority to PCT/KR2012/010339 priority patent/WO2013081429A1/en
Publication of KR20130061042A publication Critical patent/KR20130061042A/ko
Application granted granted Critical
Publication of KR101953686B1 publication Critical patent/KR101953686B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

부화소를 렌더링하는 영상 처리 장치 및 방법이 개시된다. 영상 처리 장치는 사용자의 눈 위치와 부화소의 위치에 기초하여 부화소의 화소값을 조정할 수 있다. 그리고, 조정된 부화소의 화소값에 기초하여 입체 영상을 라이트필드 디스플레이에 표시할 수 있다.

Description

부화소를 렌더링하는 영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD FOR RENDERING SUBPIXEL}
아래의 실시예들은 영상 처리 장치 및 방법에 관한 것으로, 사용자의 시청 위치를 고려하여 부화소를 렌더링하는 영상 처리 장치 및 방법에 관한 것이다.
사람의 양 눈에 서로 다른 영상을 디스플레이하는 3D(3-dimensional) 디스플레이는 안경식 방식과, 무안경식 방식이 존재할 수 있다. 안경식 방식은 편광을 이용한 분할, 시분할, 원색(primary color)의 파장을 다르게 한 파장 분할 등을 이용하여 원하는 영상을 필터링하는 방식이다. 그리고, 무안경식 방식은 패럴랙스 베리어(parallax barrier) 또는 렌티큘러 렌즈(Lenticular Lens) 등을 이용하여 각 영상을 특정 공간에서만 볼 수 있도록 하는 방식이다.
특히, 무안경식 방식 중 일반적인 라이트필드(Light Field)를 재현하는 방식도 있다. 이와 같이, 라이트필드를 재현하는 방식은 일정한 공간에 존재하는 점들이 여러 방향으로 출력하는 광선을 디스플레이를 통해 그대로 재현하는 방식을 의미할 수 있다.
무안경식 방식에서 해상도 저하를 억제하면서 시청 영역을 넓히고, 전후좌우상하의 전방향의 자연스러운 시차를 제공할 수 있는 렌더링 기술이 필요하다.
일실시예에 따른 영상 처리 장치는 디스플레이에 표현된 컨텐츠를 시청하는 사용자의 눈 위치에 기초하여 상기 사용자에게 표현할 제1 라이트필드(light field)를 결정하는 라이트필드 결정부; 및 상기 사용자의 눈 위치에 기초하여 상기 제1 라이트필드를 상기 디스플레이가 표현하는 컨텐츠와 관련된 제2 라이트필드로 변환하는 라이트필드 변환부를 포함할 수 있다.
영상 처리 장치의 라이트필드 결정부는, 상기 사용자의 눈 위치에 기초하여 상기 디스플레이에 포함된 부화소로부터 출력되는 중심 광선 중 사용자가 인식할 수 있는 중심 광선인 대표 광선을 이용하여 상기 제1 라이트필드를 결정할 수 있다.
영상 처리 장치에서 상기 중심 광선은, 상기 부화소의 중심점으로부터 최대 밝기를 나타내는 방향으로 출력되고, 상기 대표 광선은, 상기 부화소의 위치에서 사용자의 눈 위치로의 방향에 일치하거나 또는 상기 부화소의 위치에서 사용자의 눈 위치로의 방향에 가장 인접하는 중심 광선을 포함할 수 있다.
영상 처리 장치의 라이트필드 변환부는, 상기 디스플레이에 포함된 부화소의 위치와 상기 사용자의 눈 위치를 이용하여 상기 부화소의 기준 정보를 생성하고, 상기 기준 정보와 상기 대표 광선을 이용하여 상기 제1 라이트필드를 제2 라이트필드로 변환할 수 있다.
영상 처리 장치에서 상기 부화소의 기준 정보는, 상기 부화소의 수평 방향의 위치와 상기 사용자의 눈의 수평 방향 위치를 연결하는 기준 정보 또는 상기 부화소의 수직 방향의 위치와 상기 사용자의 눈의 수직 방향 위치를 연결하는 기준 정보 중 적어도 하나를 포함할 수 있다.
다른 실시예에 따른 영상 처리 장치는 사용자의 눈 위치를 이용하여 디스플레이에 포함된 부화소의 대표 광선을 결정하는 대표 광선 결정부; 상기 사용자의 눈 위치와 상기 부화소의 위치를 이용하여 기준 정보를 결정하는 기준 정보 결정부; 및 상기 대표 광선과 기준 정보를 이용하여 상기 부화소의 신호 레벨을 조절하는 부화소 렌더링부를 포함할 수 있다.
영상 처리 장치의 상기 대표 광선 결정부는, 상기 사용자의 눈 위치를 이용하여 상기 부화소에서 광학 필터를 통해 출력되는 중심 광선들 중 사용자가 인식할 수 있는 중심 광선을 상기 부화소의 대표 광선으로 결정할 수 있다.
영상 처리 장치에서 상기 중심 광선은, 상기 부화소의 중심점으로부터 최대 밝기를 나타내는 방향으로 출력되고, 상기 대표 광선은, 상기 부화소의 위치에서 사용자의 눈 위치로의 방향에 일치하거나 또는 상기 부화소의 위치에서 사용자의 눈 위치로의 방향에 가장 인접하는 중심 광선을 포함할 수 있다.
영상 처리 장치의 기준 정보 결정부는, 상기 사용자의 눈 위치와 상기 부화소의 위치를 연결한 가상선을 기준 정보로 결정할 수 있다.
영상 처리 장치의 기준 정보 결정부는, 상기 부화소의 수평 방향의 위치와 상기 사용자의 눈의 수평 방향 위치를 연결한 가상선 또는 상기 부화소의 수직 방향의 위치와 상기 사용자의 눈의 수직 방향 위치를 연결한 가상선 중 적어도 하나를 이용하여 기준 정보를 결정할 수 있다.
영상 처리 장치의 부화소 렌더링부는, 상기 대표 광선과 기준 정보를 비교한 각도 차이를 이용하여 상기 부화소의 신호 레벨을 조절할 수 있다.
영상 처리 장치의 부화소 렌더링부는, 상기 부화소를 통해 표현되는 컨텐츠가 사용자의 왼쪽 눈 또는 오른쪽 눈 중 적어도 하나에 보이는 지 여부에 따라 사용자의 왼쪽 눈과 관련하여 부화소의 신호 레벨을 조절하거나 또는 사용자의 오른쪽 눈과 관련하여 부화소의 신호 레벨을 조절할 수 있다.
일실시예에 따른 영상 처리 방법은 디스플레이에 표현된 컨텐츠를 시청하는 사용자의 눈 위치에 기초하여 상기 사용자에게 표현할 제1 라이트필드(light field)를 결정하는 단계; 및 상기 사용자의 눈 위치에 기초하여 상기 제1 라이트필드를 상기 디스플레이가 표현하는 컨텐츠와 관련된 제2 라이트필드로 변환하는 단계를 포함할 수 있다.
영상 처리 방법은 상기 제1 라이트필드를 결정하는 단계는, 상기 사용자의 눈 위치에 기초하여 상기 디스플레이에 포함된 부화소로부터 출력되는 중심 광선 중 사용자가 인식할 수 있는 중심 광선인 대표 광선을 이용하여 상기 제1 라이트필드를 결정할 수 있다.
영상 처리 방법에서 중심 광선은, 상기 부화소의 중심점으로부터 최대 밝기를 나타내는 방향으로 출력되고, 상기 대표 광선은, 상기 부화소의 위치에서 사용자의 눈 위치로의 방향에 일치하거나 또는 상기 부화소의 위치에서 사용자의 눈 위치로의 방향에 가장 인접하는 중심 광선을 포함할 수 있다.
영상 처리 방법에서 제2 라이트필드로 변환하는 단계는 상기 디스플레이에 포함된 부화소의 위치와 상기 사용자의 눈 위치를 이용하여 상기 부화소의 기준 정보를 생성하는 단계; 및 상기 기준 정보와 상기 대표 광선을 이용하여 상기 제1 라이트필드를 제2 라이트필드로 변환하는 단계를 포함할 수 있다.
영상 처리 방법에서 상기 부화소의 기준 정보는, 상기 부화소의 수평 방향의 위치와 상기 사용자의 눈의 수평 방향 위치를 연결하는 기준 정보 또는 상기 부화소의 수직 방향의 위치와 상기 사용자의 눈의 수직 방향 위치를 연결하는 기준 정보 중 적어도 하나를 포함할 수 있다.
다른 실시예에 따른 영상 처리 방법은 사용자의 눈 위치를 이용하여 디스플레이에 포함된 부화소의 대표 광선을 결정하는 단계; 상기 사용자의 눈 위치와 상기 부화소의 위치를 이용하여 기준 정보를 결정하는 단계; 및 상기 대표 광선과 기준 정보를 이용하여 상기 부화소의 신호 레벨을 조절하는 단계를 포함할 수 있다.
영상 처리 방법에서 상기 부화소의 대표 광선을 결정하는 단계는, 상기 사용자의 눈 위치를 이용하여 상기 부화소에서 광학 필터를 통해 출력되는 중심 광선들 중 사용자가 인식할 수 있는 중심 광선을 상기 부화소의 대표 광선으로 결정할 수 있다.
영상 처리 방법에서 상기 중심 광선은, 상기 부화소의 중심점으로부터 최대 밝기를 나타내는 방향으로 출력되고, 상기 대표 광선은, 상기 부화소의 위치에서 사용자의 눈 위치로의 방향에 일치하거나 또는 상기 부화소의 위치에서 사용자의 눈 위치로의 방향에 가장 인접하는 중심 광선을 포함할 수 있다.
영상 처리 방법에서 상기 기준 정보를 결정하는 단계는, 상기 사용자의 눈 위치와 상기 부화소의 위치를 연결한 가상선을 기준 정보로 결정할 수 있다.
영상 처리 방법에서 상기 기준 정보를 결정하는 단계는, 상기 부화소의 수평 방향의 위치와 상기 사용자의 눈의 수평 방향 위치를 연결한 가상선 또는 상기 부화소의 수직 방향의 위치와 상기 사용자의 눈의 수직 방향 위치를 연결한 가상선 중 적어도 하나를 이용하여 기준 정보를 결정할 수 있다.
영상 처리 방법에서 상기 부화소의 신호 레벨을 조절하는 단계는, 상기 대표 광선과 기준 정보를 비교한 각도 차이를 이용하여 상기 부화소의 신호 레벨을 조절할 수 있다.
영상 처리 방법에서 상기 부화소의 신호 레벨을 조절하는 단계는, 상기 부화소를 통해 표현되는 컨텐츠가 사용자의 왼쪽 눈 또는 오른쪽 눈 중 적어도 하나에 보이는 지 여부에 따라 사용자의 왼쪽 눈과 관련하여 부화소의 신호 레벨을 조절하거나 또는 사용자의 오른쪽 눈과 관련하여 부화소의 신호 레벨을 조절할 수 있다.
도 1은 영상 처리 장치의 동작을 설명하는 도면이다.
도 2는 일실시예에 따라 영상 처리 장치의 세부 구성을 도시한 도면이다.
도 3은 다른 실시예에 따라 영상 처리 장치의 세부 구성을 도시한 도면이다.
도 4는 복수의 방향으로 광선을 출력하는 라이트필드 디스플레이를 도시한 도면이다.
도 5는 수평 방향의 디스플레이에 포함된 두 개의 3D 화소에서 출력된 광선이 사용자의 좌안 및 우안에 입력되는 예시를 도시한 도면이다.
도 6은 수평 방향의 디스플레이에 포함된 한 개의 3D 화소에서 출력된 광선이 사용자의 좌안 및 우안에 입력되는 예시를 도시한 도면이다.
도 7은 수평 방향의 디스플레이의 3D 화소를 이용하여 부화소의 신호 레벨을 조절하는 과정을 설명하는 도면이다.
도 8은 부화소에서 출력된 중심 광선이 광학 필터를 통과한 결과를 도시한 도면이다.
도 9는 부화소에서 출력된 중심 광선에서 대표 광선을 결정하는 과정을 도시한 도면이다.
도 10은 수평 방향의 디스플레이의 부화소를 이용하여 부화소의 신호 레벨을 조절하는 과정을 설명하는 도면이다.
도 11은 부화소의 응답 특성을 나타내는 가시성 그래프를 도시한 도면이다.
도 12는 도 11의 가시성 그래프에서 색상별로 동일한 색상을 표시하는 부화소들 중 최대값을 도시한 가시성 그래프이다.
도 13은 도 11의 가시성 그래프에서 동일한 색상을 표시하는 부화소들 중 이웃하는 부화소끼리의 합의 최대값을 도시한 도면이다.
도 14는 도 12 및 도 13의 가시성 그래프에서 그린(Green)의 부화소를 모델링한 결과를 도시한 도면이다.
도 15는 도 14에 도시된 그래프를 통해 부화소의 신호 레벨을 조절하는 과정을 설명하는 도면이다.
도 16은 일실시예에 따라 영상 처리 방법을 도시한 도면이다.
도 17은 다른 실시예에 따라 영상 처리 방법을 도시한 도면이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명할 수 있다
도 1은 영상 처리 장치의 동작을 설명하는 도면이다.
센서(101)는 라이트필드 디스플레이(103)를 통해 컨텐츠를 시청하는 사용자의 눈 위치를 측정할 수 있다. 이때, 센서(101)는 사용자의 눈을 촬영하여 3차원 공간 좌표(x,y,z)를 계산할 수 있는 카메라를 포함할 수 있다. 일례로, 카메라는 하나 이상의 가시 대역 카메라, 하나 이상의 적외선 카메라, 및 하나 이상의 깊이 카메라 중 적어도 하나를 포함할 수 있다. 이때, 카메라는 라이트필드 디스플레이(103)에 삽입되거나, 또는 탈부착될 수도 있다.
영상 처리 장치(102)는 사용자의 눈 위치에 적절한 라이트필드에 대응하는 시점 영상을 표현할 수 있다. 영상 처리 장치(102)는 사용자의 눈 위치에 대응하는 제1 라이트필드를 결정할 수 있다. 제1 라이트필드는 사용자의 눈 위치에서의 시점 영상을 의미할 수 있다. 그리고, 영상 처리 장치(102)는 제1 라이트필드를 라이트필드 디스플레이(103)가 표현할 수 있는 제2 라이트필드로 변환할 수 있다. 이 때, 라이트필드의 변환 과정은 보다 적은 수의 제2 라이트필드로 보다 많은 제1 라이트필드를 표현하기 위한 샘플링 과정을 의미할 수 있다.
최종적으로, 변환된 제2 라이트필드는 라이트필드 디스플레이(103)에 표현될 수 있다. 그러면, 사용자는 시청 위치와 무관하게 라이트필드 디스플레이(103)를 통해 원하는 3차원 영상을 시청할 수 있다. 즉, 사용자가 위치를 이동하여 컨텐츠를 시청하더라도, 영상 처리 장치(102)는 사용자의 위치에 적절한 시점 영상을 표현할 수 있다.
도 2는 일실시예에 따라 영상 처리 장치의 세부 구성을 도시한 도면이다.
도 2를 참고하면, 영상 처리 장치(200)는 라이트필드 결정부(201) 및 라이트필드 변환부(202)를 포함할 수 있다.
라이트필드 결정부(201)는 디스플레이에 표현된 컨텐츠를 시청하는 사용자의 눈 위치에 기초하여 사용자에게 표현할 제1 라이트필드(light field)를 결정할 수 있다. 일례로, 라이트필드 결정부(201)는 사용자의 눈 위치에 기초하여 디스플레이에 포함된 부화소로부터 출력되는 중심 광선 중 사용자가 인식할 수 있는 중심 광선인 대표 광선을 이용하여 제1 라이트필드를 결정할 수 있다. 사용자의 눈 위치는 영상 처리 장치의 내부에 위치한 센서 또는 외부에 위치한 센서를 통해 지속적으로 추적될 수 있다.
이 때, 중심 광선은 부화소의 중심점으로부터 출력되는 복수의 광선들 중 최대 밝기를 나타내는 방향으로 출력되는 광선을 의미할 수 있다. 중심 광선은 부화소마다 미리 설정될 수 있으며, 부화소의 중심점으로부터 적어도 하나가 출력될 수 있다. 부화소로부터 출력되는 중심 광선의 진행 방향은 디스플레이의 전면 또는 후면에 배치된 광학 필터에 의해 적어도 하나 이상의 방향으로 결정될 수 있다. 중심 광선이 출력되는 방향은 사용자가 부화소를 통해 표현되는 영상에 대한 최적의 시청 방향을 의미할 수 있다.
그리고, 대표 광선은 부화소로부터 출력되는 적어도 하나의 중심 광선들 중에서 부화소의 위치에서 사용자의 눈 위치로의 방향에 일치하거나 또는 부화소의 위치에서 사용자의 눈 위치로의 방향에 가장 인접하는 중심 광선을 의미할 수 있다. 즉, 대표 광선은 부화소로부터 출력되는 중심 광선 중에서 사용자의 눈에 가장 잘 보일 수 있는 중심 광선을 의미할 수 있다.
결국, 중심 광선은 부화소로부터 출력되는 광선 중 최적으로 시청하기 위한 방향을 의미하며, 대표 광선은 사용자가 위치를 움직인다고 하더라도 중심 광선들 중 사용자의 눈 위치에 따라 결정되는 중심 광선을 의미한다. 다시 말해서, 부화소로부터 출력되는 적어도 하나의 중심 광선은 사용자의 눈 위치에 따라 결정될 수 있는 대표 광선의 후보군을 의미한다. 만약, 부화소로부터 출력되는 중심 광선이 디스플레이의 전면에 배치된 광학 필터에 의해 특정 방향으로 결정되는 경우, 대표 광선은 결정된 방향의 중심 광선으로부터 선택될 수 있다. 만약 부화소로부터 출력되는 중심 광선이 디스플레이의 후면에 배치된 광학 필터로부터 발생한 빛의 방향에 의해 적어도 하나 이상의 방향으로 결정되는 경우, 대표 광선은 이 중심 광선으로부터 선택될 수 있다.
라이트필드 변환부(202)는 사용자의 눈 위치에 기초하여 제1 라이트필드를 디스플레이가 표현하는 컨텐츠와 관련된 제2 라이트필드로 변환할 수 있다. 일례로, 라이트필드 변환부(202)는 디스플레이에 포함된 부화소의 위치와 사용자의 눈 위치를 이용하여 부화소의 기준 정보를 생성할 수 있다. 그런 후, 라이트필드 변환부(202)는 기준 정보와 대표 광선을 이용하여 제1 라이트필드를 제2 라이트필드로 변환할 수 있다. 디스플레이가 물리적으로 표현할 수 있는 제2 라이트필드는 제한적이므로, 사용자가 인지할 수 있는 제1 라이트필드를 변환할 필요가 있다. 이 때, 제2 라이트필드는 다수의 시점 영상으로 표현될 컨텐츠로부터 선택될 수 있다.
구체적으로, 라이트필드 변환부(202)는 부화소의 위치와 사용자의 눈 위치를 연결한 가상선인 기준 정보와 대표 광선 간의 각도 차이를 이용하여 제1 라이트필드를 제2 라이트필드로 변환할 수 있다. 이 때, 부화소의 기준 정보는 부화소의 수평 방향의 위치와 사용자의 눈의 수평 방향 위치를 연결하는 기준 정보를 포함할 수 있다. 또는, 부화소의 기준 정보는 부화소의 수직 방향의 위치와 사용자의 눈의 수직 방향 위치를 연결하는 기준 정보를 포함할 수 있다.
이 때, 라이트필드의 변환 과정은 부화소의 렌더링을 통해 수행될 수 있다. 구체적으로, 라이트필드의 변환 과정은 기준 정보와 대표 광선 간 각도에 기초하여 수행될 수 있다. 라이트필드 변환부(202)는 가상선과 대표 광선 간의 각도 차이를 부화소마다 설정된 가시성 정보에 적용함으로써 부화소마다 밝기값을 조절할 수 있다. 이러한 라이트필드의 변환 과정은 사용자의 왼쪽 눈과 오른쪽 눈 전부에 대해 실시간으로 수행될 수 있다.
구체적으로, 대표 광선은 부화소로부터 최적의 밝기를 나타내는 중심 광선들 중 하나를 의미한다. 사용자의 눈 위치와 부화소의 위치를 연결한 기준 정보가 대표 광선과 일치하지 않는다면, 라이트필드 변환부(202)는 부화소마다 설정된 최대 밝기값인 가시성 정보를 증가시킴으로써 부화소를 렌더링할 수 있다. 즉, 라이트필드 변환부(202)는 기준 정보와 대표 광선 간의 차이가 증가할수록 부화소의 밝기값을 증가시킬 수 있다. 여기서 실제 신호값은 그 범위가 있어서 증가에 한계가 있기 때문에 부화소의 밝기값이 최대로 증가된 경우에 대해 원래 밝기값으로 표현하고, 밝기값이 최대가 아닌 정도로 증가된 경우에 대해서는 최대로 증가된 경우에 비례하여 감소시킨다.
실시예에 따라, 영상 처리 장치(200)는 유한한 수의 제2 라이트필드로 변환하는 경우 발생할 수 있는 색 왜곡을 보정할 수 있다. 한편, 영상 처리 장치(200)는 유한한 수의 제2 라이트필드로 변환하는 경우 발생할 수 있는 화면 내의 휘도 불균일(모아레) 등을 보정할 수 있다.
도 3은 다른 실시예에 따라 영상 처리 장치의 세부 구성을 도시한 도면이다.
도 3을 참고하면, 영상 처리 장치(300)는 대표 광선 결정부(301), 기준 정보 결정부(302) 및 부화소 렌더링부(303)를 포함할 수 있다.
대표 광선 결정부(301)는 사용자의 눈 위치를 이용하여 디스플레이에 포함된 부화소의 대표 광선을 결정할 수 있다. 일례로, 대표 광선 결정부(301)는 사용자의 눈 위치를 이용하여 부화소에서 광학 필터를 통해 출력되는 중심 광선들 중 사용자가 인식할 수 있는 중심 광선을 부화소의 대표 광선으로 결정할 수 있다.
여기서, 중심 광선은 부화소의 중심점으로부터 최대 밝기를 나타내는 방향으로 출력될 수 있다. 그리고, 대표 광선은 부화소의 위치에서 사용자의 눈 위치로의 방향에 일치하거나 또는 부화소의 위치에서 사용자의 눈 위치로의 방향에 가장 인접하는 중심 광선을 포함할 수 있다.
기준 정보 결정부(302)는 사용자의 눈 위치와 부화소의 위치를 이용하여 기준 정보를 결정할 수 있다. 일례로, 기준 정보 결정부(302)는 사용자의 눈 위치와 부화소의 위치를 연결한 가상선을 기준 정보로 결정할 수 있다. 이 때, 일례로, 기준 정보 결정부(302)는 부화소의 수평 방향의 위치와 사용자의 눈의 수평 방향 위치를 연결한 가상선 또는 부화소의 수직 방향의 위치와 사용자의 눈의 수직 방향 위치를 연결한 가상선 중 적어도 하나를 이용하여 기준 정보를 결정할 수 있다.
부화소 렌더링부(303)는 대표 광선과 기준 정보를 이용하여 부화소의 신호 레벨을 조절할 수 있다. 일례로, 부화소 렌더링부(303)는 대표 광선과 기준 정보를 비교한 각도 차이를 이용하여 부화소의 신호 레벨을 조절할 수 있다. 부화소 렌더링부(303)는 기준 정보인 가상선과 대표 광선 간의 각도 차이를 부화소마다 설정된 가시성 정보에 적용함으로써 부화소마다 밝기값을 조절할 수 있다. 이러한 부화소의 렌더링 과정은 사용자의 왼쪽 눈과 오른쪽 눈 전부에 대해 실시간으로 수행될 수 있다.
그리고, 부화소 렌더링부(303)는 부화소를 통해 표현되는 컨텐츠가 사용자의 왼쪽 눈 또는 오른쪽 눈 중 적어도 하나에 보이는 지 여부에 따라 사용자의 왼쪽 눈과 관련하여 부화소의 신호 레벨을 조절하거나 또는 사용자의 오른쪽 눈과 관련하여 부화소의 신호 레벨을 조절할 수 있다.
도 3에서, 중심 광선, 대표 광선의 정의는 도 2를 참고할 수 있다.
도 4는 복수의 방향으로 광선을 출력하는 라이트필드 디스플레이를 도시한 도면이다.
도 4에 따르면, 라이트필드 디스플레이는 복수의 부화소들을 포함하는 패널(401) 및 부화소로부터 출력되는 광선이 통과하는 광학 필터(402)를 포함할 수 있다. 여기서, 광학 필터는 렌티큘러 렌즈(Lenticular Lens), 패럴랙스 배리어(Parallex Barrier), 및 마이크로 렌즈 어레이 등을 포함할 수 있다. 다만, 아래 실시예들은 상기 광학 필터에 한정되지 않고, 디스플레이의 전면 또는 후면에 배치될 수 있는 모든 형태의 광학 필터를 포함한다. 이 때, 복수의 부화소들 각각으로부터 출력되는 광선(403)이 통과하는 광학 필터는 3D 화소를 포함할 수 있다. 즉, 광학 필터가 디스플레이의 전면에 배치된 경우, 하나의 3D 화소에는 복수의 부화소들 각각에서 출력된 적어도 하나의 광선(403)이 입사될 수 있다. 그리고, 부화소들 각각으로부터 출력된 광선(403)은 3D 화소를 통해 외부로 방사될 수 있다. 광학 필터가 디스플레이 후면에 배치된 경우, 하나의 3D 화소에서 출력되는 광선들이 적어도 하나 이상의 부화소에 입사될 수 있다. 그리고 각각의 부화소를 통과하는 광선은 특정 방향을 가지고 외부로 방사될 수 있다. 이러한 과정을 통해 라이트필드 디스플레이는 입체 영상을 표현할 수 있다.
일례로, 광학 필터(402)에 포함된 하나의 3D 화소에서 15×4 방향의 광선(403)이 출력될 수 있다. 즉, 하나의 3D 화소는 여러 방향으로 다른 정보의 광선(403)을 출력할 수 있고, 이러한 3D 화소들은 3차원 공간상의 점들을 표현할 수 있다.
특히, 디스플레이의 패널(401)에 포함된 부화소로부터 출력되는 중심 광선은 광학 필터(402)를 통해 진행 방향이 결정될 수 있다. 그리고, 진행 방향이 결정된 중심 광선들 중에서 부화소와 사용자의 눈 위치에 기초한 기준 정보와 일치하거나 또는 기준 정보와 가장 유사한 중심 광선이 대표 광선으로 결정될 수 있다. 도 4에서, 디스플레이의 패널(401)에 포함된 부화소에서 출력되는 중심 광선이 광학 필터(402)를 구성하는 3D 화소를 통해 출력될 때, 3D 화소를 통해 출력되는 중심 광선들 중에서 어느 하나가 대표 광선으로 결정될 수 있다. 이 때, 도 4에서 3D 화소를 통해 출력되는 광선(403)이 중심 광선을 의미하며, 사용자의 눈 위치에 따라 대표 광선이 될 수 있다. 이 후, 대표 광선에 기초하여 부화소의 렌더링이 수행될 수 있다.
도 5는 수평 방향의 시차를 갖는 디스플레이에 포함된 두 개의 3D 화소에서 출력된 광선이 사용자의 좌안 및 우안에 입력되는 예시를 도시한 도면이다.
도 5에 따르면, 사용자가 왼쪽 눈(502)와 오른쪽 눈(503)을 통해 3차원 공간 상의 오브젝트(501)를 바라보는 경우, 3D 화소(504)와 3D 화소(505)는 여러 방향의 광선들을 발생시킬 수 있다. 그러면, 3D 화소(504)와 3D 화소(505)를 통해 출력된 광선들은 사용자의 왼쪽 눈(502)과 오른쪽 눈(503)에 보여진다.
실제로, 3D 화소(504)와 3D 화소(505)를 통해 출력된 광선들 중 사용자의 왼쪽 눈(502)에 직접 도달하거나 또는 왼쪽 눈(502)과 가장 인접한 위치에 도달하는 광선이 왼쪽 눈(502)에 대한 3D 화소(504)와 3D 화소(505)의 대표 광선으로 결정될 수 있다. 반대로, 3D 화소(504)와 3D 화소(505)를 통해 출력된 광선들 중 사용자의 오른쪽 눈(503)에 직접 도달하거나 또는 오른쪽 눈(503)과 가장 인접한 위치에 도달하는 광선이 오른쪽 눈(503)에 대한 3D 화소(504)와 3D 화소(505)의 대표 광선으로 결정될 수 있다.
도 6은 수평 방향의 시차를 갖는 디스플레이에 포함된 한 개의 3D 화소에서 출력된 광선이 사용자의 좌안 및 우안에 입력되는 예시를 도시한 도면이다.
도 6에서 하나의 3D 화소(601)으로부터 광선이 출력되면, 주 시청 영역에 해당하는 광선 중 일부가 사용자의 왼쪽 눈(602)에 도달할 수 있다. 하지만, 사용자의 오른쪽 눈(603)에는 보조 시청 영역에 해당하는 광선 중 일부가 도달할 수 있다. 즉, 도 6은 주 시청 영역이 넓지 않은 디스플레이 장치를 이용할 때도, 주 시청영역에 인접하여 반복적으로 형성되는 보조 시청 영역에 해당하는 광선을 이용하여 라이트 필드를 구성함으로써 실제 시청 시야각을 넓힐 수 있음을 보여주고 있다. 또한, 도 6은 하나의 3D 화소(601)에서 출력된 광선들 중 사용자의 왼쪽 눈(602) 또는 오른쪽 눈(603)에 보이는 광선이 무엇인지를 도시되고 있다. 디스플레이에 포함된 모든 3D 화소에 대해 사용자의 양쪽 눈에 보이는 광선이 결정되면, 영상 처리 장치는 사용자의 양쪽 눈에 보이는 영상을 결정할 수 있다.
다시 말해서, 사용자의 눈 위치가 결정되면 영상 처리 장치는 사용자의 눈에 보이는 광선을 결정할 수 있다. 그리고, 영상 처리 장치는 사용자의 눈에 보이는 광선에 눈의 위치에 기초한 적절한 화소값을 할당함으로써, 사용자가 자연스러운 입체 영상을 시청할 수 있도록 할 수 있다.
도 7은 수평 방향의 디스플레이의 3D 화소를 이용하여 부화소의 신호 레벨을 조절하는 과정을 설명하는 도면이다.
도 7은 사용자의 눈 위치를 고려하여 부화소를 렌더링하는 과정을 3D 화소를 기준으로 설명할 수 있다. 이 때, 부화소를 렌더링하는 과정은 부화소의 신호 레벨을 조절하는 것을 의미할 수 있다.
도 7에서, 3D 화소(701)의 좌표를 (ai, o)이라고 하고, 사용자의 오른쪽 눈(702)의 좌표를 (x,z)라고 할 수 있다. 이 때, 3D 화소(701)에서 오른쪽 눈(702)으로 향하는 직선의 기울기는 하기 수학식 1에 따라 결정된다.
Figure pat00001
여기서, αi는 3D 화소(701)에서 오른쪽 눈(702)으로 향하는 직선의 기울기를 의미할 수 있다. 영상 처리 장치는 αi를 이용하여 3D 화소(701)에서 출력된 광선들 중 사용자의 오른쪽 눈(702)에 보이는 광선을 결정할 수 있다. 그리고, 영상 처리 장치는 사용자의 오른쪽 눈(702)에 보이는 광선을 표현하는 부화소를 결정할 수 있다. 뿐만 아니라, 영상 처리 장치는 사용자의 오른쪽 눈(702)에 보이는 광선의 기울기가 αi와 어떤 차이가 있는 지에 따라 부화소에 어떤 값을 할당할 것인지를 결정할 수 있다. 여기서, 3D 화소(701)에서 출력된 광선들은 3D 화소(701)에서 최대 밝기(Max Brightness)를 나타내는 중심 광선을 의미하며, 사용자의 오른쪽 눈(702)에 보이는 광선은 3D 화소(701)의 대표 광선일 수 있다.
영상 처리 장치는 αi와 가장 유사한 광선을 출력하는 부화소 pi를 하기 수학식 2에 따라 결정할 수 있다.
Figure pat00002
여기서,
Figure pat00003
는 부화소 pi를 결정하는 함수를 의미할 수 있다.
그러면, (ai, o)에 위치한 3D 화소로부터 출력된 광선의 기울기와 αi의 차이로 인해 발생하는 부화소 pi의 신호 레벨의 조정 정도 ri는 하기 수학식 3에 따라 결정될 수 있다.
Figure pat00004
그리고, αi에 따라 디스플레이에 표현되는 컨텐츠 ci는 하기 수학식 4에 따라 결정될 수 있다.
Figure pat00005
실제, 디스플레이에 포함된 부화소 pi는 수학식 5에 따라 컨텐츠 ci의 pi 위치에 대응하는 값과 신호 레벨의 조정 정도 ri를 이용하여 결정될 수 있다.
Figure pat00006
앞서 설명한 사항은 디스플레이가 수평 방향 시차만을 구현하는 경우를 가정한 것이며, 디스플레이가 수평 방향과 수직 방향의 시차를 모두 구현하는 경우도 유사하게 적용될 수 있다.
수직 방향으로 배치된 디스플레이의 3D 화소(0, bi)에서 사용자의 오른쪽 눈으로 향하는 직선의 기울기 βi는 하기 수학식 6에 따라 결정된다.
Figure pat00007
만약, 영상 처리 장치가 수학식 1을 통해 도출된 αi와 수학식 6을 통해 도출된 βi에 대해 가장 유사한 광선을 출력하는 부화소 pi를 하기 수학식 7에 따라 결정할 수 있다.
Figure pat00008
여기서,
Figure pat00009
는 부화소 pi를 결정하는 함수를 의미할 수 있다. 그러면, (ai, bi)에 위치한 3D 화소를 통과하는 광선의 기울기와 기울기 αi 및 βi의 차이로 인해 발생하는 부화소 pi의 신호 레벨의 조정 정도 ri는 하기 수학식 8에 따라 결정될 수 있다.
Figure pat00010
그리고, αi 및 βi에 따라 디스플레이에 표현되는 컨텐츠 ci는 하기 수학식 9에 따라 결정될 수 있다.
Figure pat00011
실제, 디스플레이에 포함된 부화소 pi는 수학식 10에 따라 컨텐츠 ci의 pi 위치에 대응하는 값과 신호 레벨의 조정 정도 ri로 결정될 수 있다.
Figure pat00012
앞서 설명한 연산 과정들은 사용자의 눈 위치가 결정되면, 디스플레이를 구성하는 모든 3D 화소에서 독립적으로 계산되므로, 연산 과정의 병렬화를 통해 처리 속도가 향상될 수 있다.
도 8은 부화소에서 출력된 중심 광선이 광학 필터를 통과한 결과를 도시한 도면이다.
도 8을 참고하면, 디스플레이에 포함된 부화소(801)로부터 중심 광선이 출력될 수 있다. 중심 광선은 부화소(801)의 중심점으로부터 출력된 광선들 중 최대 밝기를 나타내는 방향으로 출력될 수 있다. 즉, 중심 광선의 방향은 부화소(801)에 대한 최적이 시청 방향을 의미한다. 이 때, 중심 광선은 부화소(801)의 중심점으로부터 적어도 하나가 출력될 수 있다.
부화소(801)로부터 출력된 중심 광선은 패럴랙스 배리어 또는 렌티큘러 렌즈와 같은 광학 필터(802)를 통과할 수 있다. 광학 필터(802)를 통과한 중심 광선은 사용자의 눈(803)이 인식할 수 있는 영역에 도달할 수 있다. 앞서 설명한 3D 화소는 광학 필터(802)에서 중심 광선이 출력되는 위치에 대응한다. 실제로, 부화소(801)로부터 출력된 중심 광선은 광학 필터(802)를 통해 진행 방향이 결정될 수 있으며, 사용자의 눈(803)에는 결정된 방향의 중심 광선이 도달할 수 있다.
이 때, 영상 처리 장치는 사용자의 눈 위치에 기초하여 디스플레이에 포함된 부화소(801)로부터 출력되는 중심 광선 중 사용자가 인식할 수 있는 중심 광선인 대표 광선을 결정할 수 있다. 여기서, 대표 광선은 광학 필터(820)를 통해 진행방향이 결정된 중심 광선으로부터 결정될 수 있다. 만약, 광학 필터(820)가 존재하지 않는다면, 대표 광선은 부화소(801)로부터 출력된 중심 광선으로부터 결정될 수 있다. 대표 광선은 부화소(801)마다 독립적으로 결정될 수 있다. 이 때, 부화소(801)로부터 출력된 중심 광선이 광학 필터(802)의 어떤 위치를 통과하는 지 여부에 따라 사용자가 인식할 수 있는 영역에 도달하는 것이 달라진다.
도 9는 부화소에서 출력된 중심 광선에서 대표 광선을 결정하는 과정을 도시한 도면이다.
도 9를 참고하면, 부화소(901)의 집합들 중 레드(red) 부화소로부터 복수의 중심 광선이 출력될 수 있다. 이 때, 출력된 중심 광선들의 진행 방향은 디스플레이의 광학 필터(902)를 통과하면서 결정될 수 있다. 레드 부화소로부터 3개의 중심 광선(a1~a3)이 출력된다고 가정할 때, 사용자가 인식할 수 있는 중심 광선은 a2가 된다. 즉, 부화소로부터 출력된 중심 광선은 사용자의 눈(903)에 도달하거나 또는 사용자의 눈(903)에 멀리 벗어날 수 있다.
이 때, 중심 광선 a2는 사용자의 눈(903)에 직접 도달하지 않지만, 중심 광선 a2가 가지고 있는 광선 폭으로 인해 사용자는 중심 광선 a2를 인식할 수 있다. 중심 광선은 사용자가 인식할 수 있는 최대 밝기를 나타내는 광선일 수 있다. 즉, 중심 광선이 사용자의 눈(903)에 직접 도달하지 않더라도 중심 광선의 광선 폭으로 인해 사용자의 눈(903)에 일정 수준의 밝기를 나타내는 광선이 도달할 수 있다.
결국, 영상 처리 장치는 중심 광선 a2를 레드를 나타내는 부화소(901)의 대표 광선으로 결정할 수 있다. 만약, 사용자가 이동하여 사용자의 눈(903)의 위치가 변경되면, 레드를 나타내는 부화소(901)의 대표 광선은 변경될 수 있다. 이러한 과정을 통해 영상 처리 장치는 실시간으로 사용자의 눈(903)의 위치를 추적하면서, 눈(903)의 위치에 따라 디스플레이에 포함된 모든 부화소의 대표 광선을 결정할 수 있다.
그러면, 영상 처리 장치는 사용자의 눈(903)과 레드를 나타내는 부화소(901)를 연결하는 가상선인 기준 정보(904)와 대표 광선 a2의 차이를 이용하여 레드 부화소를 렌더링할 수 있다. 구체적으로, 사용자의 눈(903)과 레드를 나타내는 부화소(901)를 연결하는 가상선과 대표 광선 a2 간의 각도 차이를 이용하여 레드 부화소의 화소값을 조절할 수 있다. 부화소의 화소값을 조절하는 과정은 도 11 내지 도 15를 통해 구체적으로 설명하기로 할 수 있다.
도 10은 수평 방향의 디스플레이의 부화소를 이용하여 부화소의 신호 레벨을 조절하는 과정을 설명하는 도면이다.
도 10은 사용자의 눈 위치를 고려하여 부화소를 렌더링하는 과정을 부화소를 기준으로 설명할 수 있다. 이 때, 부화소를 렌더링하는 과정은 부화소의 신호 레벨을 조절하는 것을 의미할 수 있다.
도 10에서, 부화소(1001)의 좌표를 (mi, o)이라고 하고, 사용자의 오른쪽 눈(1002)의 좌표를 (x,z)라고 할 수 있다. 이 때, 부화소(1001)에서 오른쪽 눈(1002)으로 향하는 직선의 기울기는 하기 수학식 11에 따라 결정된다.
Figure pat00013
여기서, μi는 부화소(1001)에서 오른쪽 눈(1002)으로 향하는 직선의 기울기를 의미할 수 있다. 만약, 부화소(1001)에서 출력된 광선이 가장 가까운 광학 필터를 통과한 이후의 직선의 기울기를 μi0라고 가정할 수 있다. 그러면, 부화소(1001)에서 출력된 광선이 광학 필터를 통과하기 위해서는 기울기 μi0+kδu로 표현될 수 있다. 이 때, k는 정수이다.
영상 처리 장치는 μi를 이용하여 부화소(1001)에서 출력된 광선들 중 사용자의 오른쪽 눈(1002)에 보이는 광선을 결정할 수 있다. 여기서, 부화소(1001)에서 출력된 광선들은 부화소(1001)에서 최대 밝기(Max Brightness)를 나타내는 중심 광선을 의미하며, 사용자의 오른쪽 눈(1002)에 보이는 광선은 부화소(1001)의 대표 광선 ui일 수 있다. 대표 광선 ui는 하기 수학식 12에 따라 결정될 수 있다.
Figure pat00014
그러면, 기울기 μi와 (mi, o)에 위치한 부화소(1001)로부터 출력된 대표 광선 ui의 차이로 인해 부화소(1001)의 신호 레벨의 조정 정도 ri는 하기 수학식 13에 따라 결정될 수 있다.
Figure pat00015
그리고, μi에 따라 디스플레이에 표현되는 컨텐츠 ci는 하기 수학식 14에 따라 결정될 수 있다.
Figure pat00016
실제, 디스플레이에 포함된 부화소(1001)는 수학식 15에 따라 컨텐츠 ci를 표현할 수 있다.
Figure pat00017
앞서 설명한 사항은 디스플레이가 수평 방향 시차만을 구현하는 경우를 가정한 것이며, 디스플레이가 수평 방향과 수직 방향의 시차를 모두 구현하는 경우도 유사하게 적용될 수 있다.
수직 방향으로 배치된 디스플레이의 부화소(0, ni)에서 사용자의 오른쪽 눈으로 향하는 직선의 기울기 ν i는 하기 수학식 16에 따라 결정된다.
Figure pat00018
부화소(1001)에서 출력된 광선이 가장 가까운 광학 필터를 통과한 이후의 수평 방향의 기울기 μi0이고, 수직 방향의 기울기 ν i0라고 할 수 있다. 그리고, 부화소(1001)로부터 출력된 광선이 광학 필터를 통과할 수 있는 수평 방향의 기울기 μi0+kδu이고, 수직 방향의 기울기 νi0+lδu라고 할 수 있다. 여기서, k와 l은 정수이다. 이 때, 영상 처리 장치는 μi와 νi와 유사한 ui와 vi을 하기 수학식 17을 통해 도출할 수 있다.
Figure pat00019
Figure pat00020
그러면, 영상 처리 장치는 수학식 18에 따라 μi와 νi와 유사한 ui와 vi의 차이를 이용하여 부화소(1001)의 신호 레벨의 조정 정도 ri를 결정할 수 있다.
Figure pat00021
그러면, 부화소(1001)를 통해 표현되는 컨텐츠는 하기 수학식 19에 따라 결정될 수 있다.
Figure pat00022
그러면, 영상 처리 장치는 수학식 18에서 도출된 ri와 수학식 19에서 도출된 ci를 이용하여 수학식 20에 따라 부화소(1001)가 표시해야할 신호
Figure pat00023
를 결정할 수 있다.
Figure pat00024
앞서 설명한 연산 과정들은 사용자의 눈 위치가 결정되면, 디스플레이를 구성하는 모든 부화소에서 독립적으로 계산되므로, 연산 과정의 병렬화를 통해 처리 속도가 향상될 수 있다.
영상 처리 장치는 사용자의 눈의 위치가 결정되었을 때, 상기 과정을 통해 각각의 부화소가 표현해야 할 신호를 결정할 수 있다. 이 때, 부화소가 표현해야 할 신호는 사용자의 양 눈에 대해 독립적으로 결정될 수 있다.
다만, 하나의 부화소가 사용자의 양 눈에 모두 보여진다면, 각각의 눈에 대응하는 신호를 최대값, 최소값, 또는 평균값 등을 출력하는 연산 과정을 통해 최종적으로 부화소가 표현해야 할 신호를 결정할 수 있다. 이와 같은 과정은 하기 수학식 21을 통해 결정될 수 있다.
Figure pat00025
여기서, viL은 왼쪽 눈에 대해 부화소가 표현해야 할 신호인 화소값을 의미하고, viR은 오른쪽 눈에 대해 부화소가 표현해야 할 신호인 화소값을 의미한다. 그리고, fstereo는 viL과 viR의 최대값, 최소값 또는 평균값을 도출하기 위한 함수를 의미한다. Vi는 양 눈에 대해 부화소가 표현해야 할 최종적인 신호를 의미한다.
일례로, 사용자의 양쪽 눈에서 동일한 부화소가 화소값을 조정해야 하는 것으로 결정된 경우, 영상 처리 장치는 부화소의 화소값 wiL과 부화소의 화소값 wiR 중 큰 쪽의 화소값으로 부화소의 화소값을 조정할 수 있다. 예를 들어, wiL<wiR인 경우, 영상 처리 장치는 부화소의 화소값을 wiR에 기초하여 조정할 수 있다.
다른 예로, 영상 처리 장치는 부화소의 화소값 wiL과 부화소의 화소값 wiR 중 작은 쪽의 화소값으로 부화소의 화소값을 조정할 수 있다. 예를 들어, wiL<wiR인 경우, 영상 처리 장치는 부화소의 화소값을 wiL에 기초하여 조정할 수 있다.
또 다른 예로, 영상 처리 장치는 부화소의 화소값 wiL과 부화소의 화소값 wiR의 평균값을 계산하고, 계산된 평균값에 기초하여 부화소의 화소값을 조정할 수 있다. 예를 들어, 영상 처리 장치는 부화소의 화소값을 에 기초하여 조정할 수 있다.
도 11은 부화소의 응답 특성을 나타내는 가시성 그래프를 도시한 도면이다.
부화소의 렌더링에 있어서, 부화소의 신호 레벨의 조정 정도는 디스플레이의 특성인 라이트필드의 분포 모델을 통해 결정될 수 있다. 부화소를 통해 표현되는 색상을 균일하게 하기 위해 부화소의 신호 레벨의 조정 정도는 도 11 내지 도 15를 통해 결정될 수 있다.
도 11에 도시된 그래프는 12개의 부화소로 이루어진 부화소 그룹에서 부화소 각각에 대한 사용자의 시청 각도별 응답 특성을 나타낸다. 도 11에 도시된 그래프는 부화소 각각의 휘도를 같은 색끼리 그룹화하여 최대값으로 정규화함으로써 도출된 시인성 정보를 나타낸다. 도 11에서, 12개의 부화소들은 그린 색상의 부화소(G1, G4, G7, G10), 레드 색상의 부화소(R2, R5, R8, R11), 및 블루 색상의 부화소(B3, B6, B9, B12)로 각각 분류될 수 있다.
도 11을 참고하면, 사용자의 시청 방향이 디스플레이 면에 수직한 방향으로부터의 각도가 커질수록 휘도값이 작아진다. 다시 말해서, 사용자의 시청 방향이 부화소가 포함된 디스플레이 면의 법선 방향으로부터 각도가 커질수록 사용자는 부화소를 통해 출력된 신호의 휘도가 작아짐을 인지할 수 있다.
특히, 도 11에 도시된 부화소의 응답 특성은 약 15도의 주기로 최대값을 나타낸다. 최대값을 나타내는 각도는 디스플레이 장치의 특성에 따라 달라질 수 있다. 여기서, 각 부화소에 대해 응답 특성이 최대값을 나타내는 방향이 부화소의 최적 시청 방향이다. 그리고, 부화소의 응답 특성이 최대값을 나타내는 방향으로 출력된 광선은 중심 광선을 의미할 수 있다. 즉, 도 11에서 시인성 정보가 피크가 이루는 방향으로 출력된 광선이 중심 광선을 의미할 수 있다. 또한, 각 부화소마다 적어도 하나의 중심 광선이 존재할 수 있다.
도 12는 도 11의 가시성 그래프에서 색상별로 동일한 색상을 표시하는 부화소들 중 최대값을 도시한 가시성 그래프이다.
도 12를 참고하면, 동일한 색상을 표시하는 부화소들의 최대값은 특정 방향에 대해 1개의 부화소를 켰을 때 최대로 나타내는 정규화된 휘도값을 의미한다. 여기서, 특정 방향은 사용자가 부화소를 바라보는 시청 방향을 의미한다. 최적 시청 방향은 부화소가 최대의 밝기를 나타내는 시청 방향을 의미한다. 결국, 특정 방향과 일치하거나 가장 유사한 최적 시청 방향을 가진 부화소가 선택된다.
도 12를 참고하면, 동일한 색상을 표시하는 부화소들의 최대값은 방향에 따라 다르기 때문에 부화소의 휘도에 대한 보정이 필요하다. 즉, 보정 과정이 없다면 사용자는 부화소의 위치에 따라 각 색상의 밝기가 다르게 보이며, 디스플레이를 통해 표현된 영상에서 색이 불균일할 수 있다.
즉, 사용자가 움직여서 사용자의 눈 위치가 변경되더라도 부화소의 출력 신호가 변경되지 않는다면, 사용자가 시청하는 영상의 색은 불균일하다. 따라서, 사용자의 눈의 위치에 따라 부화소가 표현하는 신호를 조정할 필요가 있다.
도 13은 도 11의 가시성 그래프에서 동일한 색상을 표시하는 부화소들 중 이웃하는 부화소끼리의 합의 최대값을 도시한 도면이다.
도 13에 도시된 휘도값은 특정 방향과 최적 시청 방향이 가장 가까운 두 개의 부화소를 켰을 때 나타나는 값을 의미할 수 있다. 도 13의 그래프는 도 11의 그래프보다 진폭이 상당하게 줄어들었음을 알 수 있다.
도 12와 도 13에 도시된 가시성 정보의 특성을 이용하여 부화소가 균일하게 표현할 색표현 특성을 도출하기 위해서는, 신호의 변화를 보상하기 위한 신호 조정 비율을 이용할 수 있다. 신호 조정 비율은 디스플레이의 특성에 따라 결정될 수 있으며, 도 12와 도 13의 가시성 정보를 모델링함으로써 결정될 수 있다.
도 14는 도 12 및 도 13의 가시성 그래프에서 그린(Green)의 부화소를 모델링한 결과를 도시한 도면이다.
도 14에서, G Max는 도 12에 도시된 가시성 정보 중 그린과 관련된 가시성 정보를 의미한다. G2 Max는 도 13에 도시된 가시성 정보 중 그린과 관련된 가시성 정보를 의미한다.
그리고, G Model은 G Max에 코사인 함수를 적용한 가시성 정보를 의미하고, G2 Model은 G2 Max에 코사인 함수를 적용한 가시성 정보를 의미한다. 영상 처리 장치는, G Max와 G model 간의 유사성, 및 G2 Max와 G2 model 간의 유사성에 기초하여 부화소의 휘도값과 관련도니 신호 조정 비율을 결정할 수 있다.
이러한 결과, 디스플레이에 포함된 각 부화소의 신호 레벨을 균일하게 할 수 있다. 즉, 각 부화소의 신호 레벨이 전체적으로 균일해지면서 콘텐츠의 본래 휘도 및 색의 표현이 가능하다.
도 15는 도 14에 도시된 그래프를 통해 부화소의 신호 레벨을 조절하는 과정을 설명하는 도면이다.
영상 처리 장치는 특정 방향과 최적의 시청 방향이 가까운 4개의 부화소를 선택할 때, R,G,B 중 적어도 하나의 부화소를 2개 선택할 수 있다. 이 때, 선택된 부화소는 다른 종류의 부화소에 비해 최적 시청 방향과 부화소의 표현 방향의 차이가 크다. 예를 들어, 레드 2개, 그린 1개, 블루 1개가 선택되거나, 레드 1개, 그린 2개, 블루 1개가 선택되거나, 또는 레드 1개, 그린 1개, 블루 2개가 선택될 수 있다.
예를 들어, 사용자의 시청방향이 2, 3 영역에 있다면, 그린 부화소는 1개가 선택되고 G max와 같은 응답 특성이 도출된다. 그리고, 사용자의 시청방향이 1,4 영역에 있을 경우에 그린 부화소는 2개가 선택되고 G2 max와 같은 응답 특성이 도출된다. 즉, 하나의 포물선이 하나의 부화소와 대응된다고 할 때, 2,3 영역은 하나의 부화소만 선택된다. 하지만, 1, 4 영역은 2개의 포물선이 포함되므로, 1, 4 영역은 이웃하는 동일한 색상의 2개의 부화소가 선택된다.
이러한 응답 특성을 이용하여 부화소의 신호 레벨을 보상하기 위해, 모델링한 결과를 바탕으로 G model inv, G2 model inv를 결정할 수 있다. 결정된 G model inv는 영역 2, 3 영역에 사용자의 시청 방향이 위치할 경우에 대해 부화소의 신호 레벨을 보상하기 위한 신호조정 비율로 사용될 수 있다. 그리고, G2 model inv 1,4 영역에 사용자의 시청 방향이 위치할 경우에 대해 부화소의 신호 레벨을 보상하기 위한 신호조정 비율로 사용될 수 있다.
이 때 영상 처리 장치는 하나의 신호조정 함수를 이용할 수 있다. 이 신호조정 함수는 1,4영역에서 G2 model inv함수값을 신호조정 비율로 하고, 2,3 영역에서 G model inv값을 신호조정 비율로 하는 함수로 결정될 수 있다. 이 때 부화소의 신호 레벨을 1보다 크게 조정할 수는 없으므로 결정된 신호조정 함수에서 신호조정 비율의 최대값이 1이 되도록 정규화하여 사용할 수 있다. 결국, 사용자의 눈의 위치에 따라 사용자의 시청 방향이 1, 2, 3, 4 영역 중 어느 영역에 속했는 지 여부가 결정된다. 그리고, 결정된 영역에 기초하여, 해당 영역과 관련된 부화소의 최대 휘도값은 G model inv, G2 model inv 중 어느 하나에 의해 결정된 비율만큼 감소될 수 있다.
도 16은 일실시예에 따른 영상 방법을 도시한 도면이다.
단계(1601)에서, 영상 처리 장치는 디스플레이에 표현된 컨텐츠를 시청하는 사용자의 눈 위치에 기초하여 사용자에게 표현할 제1 라이트필드(light field)를 결정할 수 있다. 일례로, 영상 처리 장치는 사용자의 눈 위치에 기초하여 디스플레이에 포함된 부화소로부터 출력되는 중심 광선 중 사용자가 인식할 수 있는 중심 광선인 대표 광선을 이용하여 제1 라이트필드를 결정할 수 있다.
이 때, 중심 광선은 부화소의 중심점으로부터 출력되는 복수의 광선들 중 최대 밝기를 나타내는 방향으로 출력되는 광선을 의미할 수 있다. 중심 광선은 부화소마다 미리 설정될 수 있으며, 부화소의 중심점으로부터 적어도 하나가 출력될 수 있다. 부화소로부터 출력된 중심 광선은 디스플레이의 전면 또는 후면에 배치된 광학 필터에 의해 진행 방향이 결정될 수 있다.
그리고, 대표 광선은 부화소의 위치에서 사용자의 눈 위치로의 방향에 일치하거나 또는 부화소의 위치에서 사용자의 눈 위치로의 방향에 가장 인접하는 중심 광선을 포함할 수 있다. 즉, 대표 광선은 부화소로부터 출력된 중심 광선 중에서 사용자의 눈에 가장 잘 보일 수 있는 중심 광선을 의미할 수 있다. 이 때, 대표 광선은 디스플레이의 전면 또는 후면에 배치된 광학 필터에 의해 진행 방향이 결정된 중심 광선으로부터 선택될 수 있다.
단계(1602)에서, 영상 처리 장치는 사용자의 눈 위치에 기초하여 제1 라이트필드를 디스플레이가 표현하는 컨텐츠와 관련된 제2 라이트필드로 변환할 수 있다. 일례로, 영상 처리 장치는 디스플레이에 포함된 부화소의 위치와 사용자의 눈 위치를 이용하여 부화소의 기준 정보를 생성할 수 있다. 그런 후, 영상 처리 장치는 기준 정보와 대표 광선을 이용하여 제1 라이트필드를 제2 라이트필드로 변환할 수 있다.
구체적으로, 영상 처리 장치는 부화소의 위치와 사용자의 눈 위치를 연결한 가상선과 대표 광선 간의 각도 차이를 이용하여 제1 라이트필드를 제2 라이트필드로 변환할 수 있다. 여기서, 가상선은 부화소의 기준 정보를 의미할 수 있다. 이 때, 부화소의 기준 정보는 부화소의 수평 방향의 위치와 사용자의 눈의 수평 방향 위치를 연결하는 기준 정보를 포함할 수 있다. 또는, 부화소의 기준 정보는 부화소의 수직 방향의 위치와 사용자의 눈의 수직 방향 위치를 연결하는 기준 정보를 포함할 수 있다.
이 때, 라이트필드의 변환 과정은 부화소의 렌더링을 통해 수행될 수 있다. 구체적으로, 라이트필드의 변환 과정은 가상선과 대표 광선 간 각도에 기초하여 수행될 수 있다. 영상 처리 장치는 가상선과 대표 광선 간의 각도 차이를 부화소마다 설정된 가시성 정보에 적용함으로써 부화소마다 밝기값을 조절할 수 있다. 이러한 라이트필드의 변환 과정은 사용자의 왼쪽 눈과 오른쪽 눈 전부에 대해 실시간으로 수행될 수 있다.
도 17은 다른 실시예에 따른 영상 방법을 도시한 도면이다.
단계(1701)에서, 영상 처리 장치는 사용자의 눈 위치를 이용하여 디스플레이에 포함된 부화소의 대표 광선을 결정할 수 있다. 일례로, 영상 처리 장치는 사용자의 눈 위치를 이용하여 부화소에서 광학 필터를 통해 출력되는 중심 광선들 중 사용자가 인식할 수 있는 중심 광선을 부화소의 대표 광선으로 결정할 수 있다.
여기서, 중심 광선은 부화소의 중심점으로부터 최대 밝기를 나타내는 방향으로 출력될 수 있다. 그리고, 대표 광선은 부화소의 위치에서 사용자의 눈 위치로의 방향에 일치하거나 또는 부화소의 위치에서 사용자의 눈 위치로의 방향에 가장 인접하는 중심 광선을 포함할 수 있다.
단계(1702)에서, 영상 처리 장치는 사용자의 눈 위치와 부화소의 위치를 이용하여 기준 정보를 결정할 수 있다. 일례로, 영상 처리 장치는 사용자의 눈 위치와 부화소의 위치를 연결한 가상선을 기준 정보로 결정할 수 있다. 이 때, 일례로, 영상 처리 장치는 부화소의 수평 방향의 위치와 사용자의 눈의 수평 방향 위치를 연결한 가상선 또는 부화소의 수직 방향의 위치와 사용자의 눈의 수직 방향 위치를 연결한 가상선 중 적어도 하나를 이용하여 기준 정보를 결정할 수 있다.
단계(1703)에서, 영상 처리 장치는 대표 광선과 기준 정보를 이용하여 부화소의 신호 레벨을 조절할 수 있다. 일례로, 영상 처리 장치는 대표 광선과 기준 정보를 비교한 각도 차이를 이용하여 부화소의 신호 레벨을 조절할 수 있다. 영상 처리 장치는 기준 정보인 가상선과 대표 광선 간의 각도 차이를 부화소마다 설정된 가시성 정보에 적용함으로써 부화소마다 밝기값을 조절할 수 있다. 이러한 부화소의 렌더링 과정은 사용자의 왼쪽 눈과 오른쪽 눈 전부에 대해 실시간으로 수행될 수 있다.
그리고, 영상 처리 장치는 부화소를 통해 표현되는 컨텐츠가 사용자의 왼쪽 눈 또는 오른쪽 눈 중 적어도 하나에 보이는 지 여부에 따라 사용자의 왼쪽 눈과 관련하여 부화소의 신호 레벨을 조절하거나 또는 사용자의 오른쪽 눈과 관련하여 부화소의 신호 레벨을 조절할 수 있다.
상기 언급한 실시예들은 다시점 디스플레이 장치와 Integral Imaging 장치 등을 포함하는 Light Field 방식의 디스플레이 장치에 대해, 사용자의 눈의 위치에 따라 부화소를 조정하는 과정을 나타낸다. Light Field 방식의 디스플레이 장치는 주 시청 영역의 광선이 인접하는 영역에 일정하게 반복되는 특징을 갖는 렌티큘러 렌즈, 마이크로 렌즈 어레이 또는 배리어 어레이와 같은 광학 필터를 이용하거나 화소 또는 부화소로부터 나온 빛이 특정 진행방향을 갖는 프로젝터와 같은 장치를 이용할 수 있다.
렌티큘러 렌즈, 마이크로 렌즈 어레이 또는 배리어 어레이와 같은 광학필터를 이용하는 Light Field 방식 디스플레이 장치의 경우 앞서 언급한 시청 영역이 반복되는 특징을 이용하면 주 시청영역을 좁게 해도 보조 시청영역의 반복특성을 이용할 수 있다. 이러한 과정을 통해 사용자 추적을 통해 광선 수 자원을 절약하면서 넓은 시청 영역을 확보할 수 있다. 또한 이와 같은 광학 필터를 이용하여 관측하고자 하는 광선에 인접한 광선들이 야기할 수 있는 광선간 Crosstalk 효과도 방지할 수 있다.
또한 사용자의 눈 위치를 감지하여 적응적으로 부화소를 렌더링함으로써 사용자의 위치에 따른 최적의 시청 거리를 설정할 필요없이 사용자는 어떠한 위치에 존재하는 지 무관하게 일정 품질 이상의 3D 영상을 시청할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속할 수 있다.
101: 센서
102: 영상 처리 장치
103: 라이트필드 디스플레이

Claims (41)

  1. 디스플레이에 표현된 컨텐츠를 시청하는 사용자의 눈 위치에 기초하여 상기 사용자에게 표현할 제1 라이트필드(light field)를 결정하는 라이트필드 결정부; 및
    상기 사용자의 눈 위치에 기초하여 상기 제1 라이트필드를 상기 디스플레이가 표현하는 컨텐츠와 관련된 제2 라이트필드로 변환하는 라이트필드 변환부
    를 포함하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 라이트필드 결정부는,
    상기 사용자의 눈 위치에 기초하여 상기 디스플레이에 포함된 부화소로부터 출력되는 중심 광선 중 사용자가 인식할 수 있는 중심 광선인 대표 광선을 이용하여 상기 제1 라이트필드를 결정하는 영상 처리 장치.
  3. 제2항에 있어서,
    상기 중심 광선은,
    상기 부화소의 중심점으로부터 최대 밝기를 나타내는 방향으로 출력되고,
    상기 대표 광선은,
    상기 부화소의 위치에서 사용자의 눈 위치로의 방향에 일치하거나 또는 상기 부화소의 위치에서 사용자의 눈 위치로의 방향에 가장 인접하는 중심 광선을 포함하는 영상 처리 장치.
  4. 제1항에 있어서,
    상기 라이트필드 변환부는,
    상기 디스플레이에 포함된 부화소의 위치와 상기 사용자의 눈 위치를 이용하여 상기 부화소의 기준 정보를 생성하고, 상기 기준 정보와 상기 대표 광선을 이용하여 상기 제1 라이트필드를 제2 라이트필드로 변환하는 영상 처리 장치.
  5. 제4항에 있어서,
    상기 부화소의 기준 정보는,
    상기 부화소의 수평 방향의 위치와 상기 사용자의 눈의 수평 방향 위치를 연결하는 기준 정보 또는
    상기 부화소의 수직 방향의 위치와 상기 사용자의 눈의 수직 방향 위치를 연결하는 기준 정보 중 적어도 하나를 포함하는 영상 처리 장치.
  6. 제2항에 있어서,
    상기 대표 광선은,
    상기 디스플레이의 전면에 배치된 광학 필터에 의해 중심 광선이 특정 방향으로 결정되면, 상기 결정된 방향의 중심 광선으로부터 선택되는 영상 처리 장치.
  7. 제2항에 있어서,
    상기 대표 광선은,
    상기 디스플레이의 후면에 배치된 광학 필터로부터 발생한 광선의 방향에 의해 중심 광선이 적어도 하나 이상의 방향으로 결정되면, 상기 적어도 하나 이상의 방향에 대응하는 중심 광선으로부터 선택되는 영상 처리 장치.
  8. 제1항에 있어서,
    상기 라이트필드 변환부는,
    상기 부화소마다 설정된 최대 밝기값인 가시성 정보를 증가시킴으로써 부화소를 렌더링하는 영상 처리 장치.
  9. 제1항에 있어서,
    상기 라이트필드 변환부는,
    부화소의 밝기값이 최대로 증가된 경우, 부화소를 원래 밝기값으로 표현하고, 밝기값이 최대가 아닌 정도로 증가된 경우, 부화소를 최대로 증가된 경우에 비례하여 밝기값을 감소시키는 영상 처리 장치.
  10. 사용자의 눈 위치를 이용하여 디스플레이에 포함된 부화소의 대표 광선을 결정하는 대표 광선 결정부;
    상기 사용자의 눈 위치와 상기 부화소의 위치를 이용하여 기준 정보를 결정하는 기준 정보 결정부; 및
    상기 대표 광선과 기준 정보를 이용하여 상기 부화소의 신호 레벨을 조절하는 부화소 렌더링부
    를 포함하는 영상 처리 장치.
  11. 제9항에 있어서,
    상기 대표 광선 결정부는,
    상기 사용자의 눈 위치를 이용하여 상기 부화소에서 광학 필터를 통해 출력되는 중심 광선들 중 사용자가 인식할 수 있는 중심 광선을 상기 부화소의 대표 광선으로 결정하는 영상 처리 장치.
  12. 제11항에 있어서,
    상기 중심 광선은,
    상기 부화소의 중심점으로부터 최대 밝기를 나타내는 방향으로 출력되고,
    상기 대표 광선은,
    상기 부화소의 위치에서 사용자의 눈 위치로의 방향에 일치하거나 또는 상기 부화소의 위치에서 사용자의 눈 위치로의 방향에 가장 인접하는 중심 광선을 포함하는 영상 처리 장치.
  13. 제10항에 있어서,
    상기 기준 정보 결정부는,
    상기 사용자의 눈 위치와 상기 부화소의 위치를 연결한 가상선을 기준 정보로 결정하는 영상 처리 장치.
  14. 제13항에 있어서,
    상기 기준 정보 결정부는,
    상기 부화소의 수평 방향의 위치와 상기 사용자의 눈의 수평 방향 위치를 연결한 가상선 또는 상기 부화소의 수직 방향의 위치와 상기 사용자의 눈의 수직 방향 위치를 연결한 가상선 중 적어도 하나를 이용하여 기준 정보를 결정하는 영상 처리 장치.
  15. 제10항에 있어서,
    상기 부화소 렌더링부는,
    상기 대표 광선과 기준 정보를 비교한 각도 차이를 이용하여 상기 부화소의 신호 레벨을 조절하는 영상 처리 장치.
  16. 제10항에 있어서,
    상기 부화소 렌더링부는,
    상기 부화소를 통해 표현되는 컨텐츠가 사용자의 왼쪽 눈 또는 오른쪽 눈 중 적어도 하나에 보이는 지 여부에 따라 사용자의 왼쪽 눈과 관련하여 부화소의 신호 레벨을 조절하거나 또는 사용자의 오른쪽 눈과 관련하여 부화소의 신호 레벨을 조절하는 영상 처리 장치.
  17. 제10항에 있어서,
    상기 대표 광선은,
    상기 디스플레이의 전면에 배치된 광학 필터에 의해 중심 광선이 특정 방향으로 결정되면, 상기 결정된 방향의 중심 광선으로부터 선택되는 영상 처리 장치.
  18. 제10항에 있어서,
    상기 대표 광선은,
    상기 디스플레이의 후면에 배치된 광학 필터로부터 발생한 광선의 방향에 의해 중심 광선이 적어도 하나 이상의 방향으로 결정되면, 상기 적어도 하나 이상의 방향에 대응하는 중심 광선으로부터 선택되는 영상 처리 장치.
  19. 제10항에 있어서,
    상기 부화소 렌더링부는,
    상기 부화소마다 설정된 최대 밝기값인 가시성 정보를 증가시킴으로써 부화소를 렌더링하는 영상 처리 장치.
  20. 제10항에 있어서,
    상기 부화소 렌더링부는,
    부화소의 밝기값이 최대로 증가된 경우, 부화소를 원래 밝기값으로 표현하고, 밝기값이 최대가 아닌 정도로 증가된 경우, 부화소를 최대로 증가된 경우에 비례하여 밝기값을 감소시키는 영상 처리 장치.
  21. 디스플레이에 표현된 컨텐츠를 시청하는 사용자의 눈 위치에 기초하여 상기 사용자에게 표현할 제1 라이트필드(light field)를 결정하는 단계; 및
    상기 사용자의 눈 위치에 기초하여 상기 제1 라이트필드를 상기 디스플레이가 표현하는 컨텐츠와 관련된 제2 라이트필드로 변환하는 단계
    를 포함하는 영상 처리 방법.
  22. 제21항에 있어서,
    상기 제1 라이트필드를 결정하는 단계는,
    상기 사용자의 눈 위치에 기초하여 상기 디스플레이에 포함된 부화소로부터 출력되는 중심 광선 중 사용자가 인식할 수 있는 중심 광선인 대표 광선을 이용하여 상기 제1 라이트필드를 결정하는 영상 처리 방법.
  23. 제22항에 있어서,
    상기 중심 광선은,
    상기 부화소의 중심점으로부터 최대 밝기를 나타내는 방향으로 출력되고,
    상기 대표 광선은,
    상기 부화소의 위치에서 사용자의 눈 위치로의 방향에 일치하거나 또는 상기 부화소의 위치에서 사용자의 눈 위치로의 방향에 가장 인접하는 중심 광선을 포함하는 영상 처리 방법.
  24. 제21항에 있어서,
    상기 제2 라이트필드로 변환하는 단계는
    상기 디스플레이에 포함된 부화소의 위치와 상기 사용자의 눈 위치를 이용하여 상기 부화소의 기준 정보를 생성하는 단계; 및
    상기 기준 정보와 상기 대표 광선을 이용하여 상기 제1 라이트필드를 제2 라이트필드로 변환하는 단계
    를 포함하는 영상 처리 방법.
  25. 제24항에 있어서,
    상기 부화소의 기준 정보는,
    상기 부화소의 수평 방향의 위치와 상기 사용자의 눈의 수평 방향 위치를 연결하는 기준 정보 또는
    상기 부화소의 수직 방향의 위치와 상기 사용자의 눈의 수직 방향 위치를 연결하는 기준 정보 중 적어도 하나를 포함하는 영상 처리 방법.
  26. 제23항에 있어서,
    상기 대표 광선은,
    상기 디스플레이의 전면에 배치된 광학 필터에 의해 중심 광선이 특정 방향으로 결정되면, 상기 결정된 방향의 중심 광선으로부터 선택되는 영상 처리 방법.
  27. 제23항에 있어서,
    상기 대표 광선은,
    상기 디스플레이의 후면에 배치된 광학 필터로부터 발생한 광선의 방향에 의해 중심 광선이 적어도 하나 이상의 방향으로 결정되면, 상기 적어도 하나 이상의 방향에 대응하는 중심 광선으로부터 선택되는 영상 처리 방법.
  28. 제21항에 있어서,
    상기 제2 라이트필드로 변환하는 단계는,
    상기 부화소마다 설정된 최대 밝기값인 가시성 정보를 증가시킴으로써 부화소를 렌더링하는 영상 처리 방법.
  29. 제21항에 있어서,
    상기 제2 라이트필드로 변환하는 단계는,
    부화소의 밝기값이 최대로 증가된 경우, 부화소를 원래 밝기값으로 표현하고, 밝기값이 최대가 아닌 정도로 증가된 경우, 부화소를 최대로 증가된 경우에 비례하여 밝기값을 감소시키는 영상 처리 방법.
  30. 사용자의 눈 위치를 이용하여 디스플레이에 포함된 부화소의 대표 광선을 결정하는 단계;
    상기 사용자의 눈 위치와 상기 부화소의 위치를 이용하여 기준 정보를 결정하는 단계; 및
    상기 대표 광선과 기준 정보를 이용하여 상기 부화소의 신호 레벨을 조절하는 단계
    를 포함하는 영상 처리 방법.
  31. 제30항에 있어서,
    상기 부화소의 대표 광선을 결정하는 단계는,
    상기 사용자의 눈 위치를 이용하여 상기 부화소에서 광학 필터를 통해 출력되는 중심 광선들 중 사용자가 인식할 수 있는 중심 광선을 상기 부화소의 대표 광선으로 결정하는 영상 처리 방법.
  32. 제31항에 있어서,
    상기 중심 광선은,
    상기 부화소의 중심점으로부터 최대 밝기를 나타내는 방향으로 출력되고,
    상기 대표 광선은,
    상기 부화소의 위치에서 사용자의 눈 위치로의 방향에 일치하거나 또는 상기 부화소의 위치에서 사용자의 눈 위치로의 방향에 가장 인접하는 중심 광선을 포함하는 영상 처리 방법.
  33. 제30항에 있어서,
    상기 기준 정보를 결정하는 단계는,
    상기 사용자의 눈 위치와 상기 부화소의 위치를 연결한 가상선을 기준 정보로 결정하는 영상 처리 방법.
  34. 제33항에 있어서,
    상기 기준 정보를 결정하는 단계는,
    상기 부화소의 수평 방향의 위치와 상기 사용자의 눈의 수평 방향 위치를 연결한 가상선 또는 상기 부화소의 수직 방향의 위치와 상기 사용자의 눈의 수직 방향 위치를 연결한 가상선 중 적어도 하나를 이용하여 기준 정보를 결정하는 영상 처리 방법.
  35. 제30항에 있어서,
    상기 부화소의 신호 레벨을 조절하는 단계는,
    상기 대표 광선과 기준 정보를 비교한 각도 차이를 이용하여 상기 부화소의 신호 레벨을 조절하는 영상 처리 방법.
  36. 제31항에 있어서,
    상기 부화소의 신호 레벨을 조절하는 단계는,
    상기 부화소를 통해 표현되는 컨텐츠가 사용자의 왼쪽 눈 또는 오른쪽 눈 중 적어도 하나에 보이는 지 여부에 따라 사용자의 왼쪽 눈과 관련하여 부화소의 신호 레벨을 조절하거나 또는 사용자의 오른쪽 눈과 관련하여 부화소의 신호 레벨을 조절하는 영상 처리 방법.
  37. 제30항에 있어서,
    상기 대표 광선은,
    상기 디스플레이의 전면에 배치된 광학 필터에 의해 중심 광선이 특정 방향으로 결정되면, 상기 결정된 방향의 중심 광선으로부터 선택되는 영상 처리 방법.
  38. 제30항에 있어서,
    상기 대표 광선은,
    상기 디스플레이의 후면에 배치된 광학 필터로부터 발생한 광선의 방향에 의해 중심 광선이 적어도 하나 이상의 방향으로 결정되면, 상기 적어도 하나 이상의 방향에 대응하는 중심 광선으로부터 선택되는 영상 처리 방법.
  39. 제30항에 있어서,
    상기 상기 부화소의 신호 레벨을 조절하는 단계는,
    상기 부화소마다 설정된 최대 밝기값인 가시성 정보를 증가시킴으로써 부화소를 렌더링하는 영상 처리 방법.
  40. 제30항에 있어서,
    상기 부화소의 신호 레벨을 조절하는 단계는,
    부화소의 밝기값이 최대로 증가된 경우, 부화소를 원래 밝기값으로 표현하고, 밝기값이 최대가 아닌 정도로 증가된 경우, 부화소를 최대로 증가된 경우에 비례하여 밝기값을 감소시키는 영상 처리 방법.
  41. 제21항 내지 제40항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
KR1020120074188A 2011-11-30 2012-07-06 부화소를 렌더링하는 영상 처리 장치 및 방법 KR101953686B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020120074188A KR101953686B1 (ko) 2011-11-30 2012-07-06 부화소를 렌더링하는 영상 처리 장치 및 방법
US13/688,502 US8890865B2 (en) 2011-11-30 2012-11-29 Image processing apparatus and method for subpixel rendering
EP12853626.5A EP2786583B1 (en) 2011-11-30 2012-11-30 Image processing apparatus and method for subpixel rendering
CN201280058535.3A CN103988504B (zh) 2011-11-30 2012-11-30 用于子像素渲染的图像处理设备和方法
JP2014544677A JP6050373B2 (ja) 2011-11-30 2012-11-30 サブピクセルをレンダリングする映像処理装置及び方法
PCT/KR2012/010339 WO2013081429A1 (en) 2011-11-30 2012-11-30 Image processing apparatus and method for subpixel rendering

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20110126734 2011-11-30
KR1020110126734 2011-11-30
KR1020120074188A KR101953686B1 (ko) 2011-11-30 2012-07-06 부화소를 렌더링하는 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130061042A true KR20130061042A (ko) 2013-06-10
KR101953686B1 KR101953686B1 (ko) 2019-05-23

Family

ID=48466421

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120074188A KR101953686B1 (ko) 2011-11-30 2012-07-06 부화소를 렌더링하는 영상 처리 장치 및 방법

Country Status (6)

Country Link
US (1) US8890865B2 (ko)
EP (1) EP2786583B1 (ko)
JP (1) JP6050373B2 (ko)
KR (1) KR101953686B1 (ko)
CN (1) CN103988504B (ko)
WO (1) WO2013081429A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150058637A (ko) * 2013-11-19 2015-05-29 삼성전자주식회사 레이어드 디스플레이 기법을 위한 디스플레이 장치 및 영상 생성 방법
US9936192B2 (en) 2014-08-18 2018-04-03 Samsung Electronics Co., Ltd. Image processing method and apparatus
US10397541B2 (en) 2015-08-07 2019-08-27 Samsung Electronics Co., Ltd. Method and apparatus of light field rendering for plurality of users
US10521953B2 (en) 2016-11-22 2019-12-31 Samsung Electronics Co., Ltd. Three-dimensional (3D) image rendering method and apparatus
US10728512B2 (en) 2016-11-25 2020-07-28 Samsung Electronics Co., Ltd. Three-dimensional display apparatus

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101953686B1 (ko) * 2011-11-30 2019-05-23 삼성전자주식회사 부화소를 렌더링하는 영상 처리 장치 및 방법
CN106461955B (zh) 2014-01-31 2019-08-13 奇跃公司 显示增强现实的方法
NZ727361A (en) 2014-05-30 2020-05-29 Magic Leap Inc Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
NZ764960A (en) 2014-05-30 2022-05-27 Magic Leap Inc Methods and system for creating focal planes in virtual and augmented reality
CN104461425B (zh) * 2014-11-28 2018-11-27 广东欧珀移动通信有限公司 屏幕内容的显示调整方法、装置及终端
KR102333267B1 (ko) 2014-12-10 2021-12-01 삼성전자주식회사 눈 위치 예측 장치 및 방법
CA2975234C (en) 2015-01-26 2023-07-25 Magic Leap, Inc. Virtual and augmented reality systems and methods having improved diffractive grating structures
CN105260152B (zh) * 2015-10-09 2018-05-08 利亚德光电股份有限公司 用于led显示屏的图像处理方法和装置
CN106254845B (zh) * 2015-10-20 2017-08-25 深圳超多维光电子有限公司 一种裸眼立体显示的方法、装置及电子设备
US20170178395A1 (en) * 2015-12-16 2017-06-22 Google Inc. Light field rendering of an image using variable computational complexity
EP3185550A1 (en) * 2015-12-23 2017-06-28 Thomson Licensing Tridimensional rendering with adjustable disparity direction
CN109073819A (zh) 2016-04-07 2018-12-21 奇跃公司 用于增强现实的系统和方法
EP3443735B1 (en) 2016-04-12 2024-09-18 Quidient, LLC Quotidian scene reconstruction engine
EP3494543B1 (en) 2016-08-05 2023-06-28 InterDigital CE Patent Holdings A method for obtaining at least one sub-aperture image being associated with one view
KR102564479B1 (ko) 2016-11-22 2023-08-07 삼성전자주식회사 사용자의 눈을 위한 3d 렌더링 방법 및 장치
KR102655810B1 (ko) 2016-11-22 2024-04-09 삼성전자주식회사 3d 영상 렌더링 방법 및 장치
US20190124313A1 (en) * 2017-10-19 2019-04-25 Intel Corporation Three dimensional glasses free light field display using eye location
KR102401168B1 (ko) 2017-10-27 2022-05-24 삼성전자주식회사 3차원 디스플레이 장치의 파라미터 캘리브레이션 방법 및 장치
CA3097202A1 (en) 2018-05-02 2019-11-07 Quidient, Llc A codec for processing scenes of almost unlimited detail
US10623714B2 (en) 2018-05-24 2020-04-14 Innolux Corporation Stereoscopic display device and method for operating using pixel offset map
CN109256076B (zh) * 2018-08-30 2022-02-22 京东方科技集团股份有限公司 边缘像素显示方法、系统、存储设备和显示装置
CN109143602A (zh) * 2018-09-25 2019-01-04 张家港康得新光电材料有限公司 一种3d显示装置及电子设备
US10636116B1 (en) * 2018-10-22 2020-04-28 Evolution Optiks Limited Light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
KR102707598B1 (ko) 2018-12-04 2024-09-19 삼성전자주식회사 3차원 증강 현실을 위한 캘리브레이션 방법 및 그 장치
WO2020189319A1 (ja) * 2019-03-19 2020-09-24 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US11212513B2 (en) * 2019-07-03 2021-12-28 Innolux Corporation Method for displaying a stereoscopic image on a display device
CN112929643B (zh) * 2019-12-05 2022-06-28 北京芯海视界三维科技有限公司 3d显示设备、方法及终端
WO2024176749A1 (ja) * 2023-02-20 2024-08-29 ソニーグループ株式会社 情報処理装置、立体映像表示システム及びプログラム
DE102023202638A1 (de) 2023-03-23 2024-09-26 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Betriebsvorrichtung zum Betreiben einer Anzeigevorrichtung beispielsweise für ein Fahrzeug, Verfahren und Erzeugungsvorrichtung zum Erzeugen einer Filterfunktion und Anzeigesystem für ein Fahrzeug

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110049039A (ko) * 2009-11-04 2011-05-12 삼성전자주식회사 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990069140A (ko) 1998-02-05 1999-09-06 구자홍 입체영상 표시장치
JP2003299121A (ja) * 2002-04-05 2003-10-17 Canon Inc 立体画像表示装置および立体画像表示システム
DE10359403B4 (de) * 2003-12-18 2005-12-15 Seereal Technologies Gmbh Autostereoskopisches Multi-User-Display
DE102004059729B3 (de) * 2004-12-11 2006-04-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur autostereoskopischen Erzeugung von dreidimensionalen Bildinformationen aus gerasterten Subpixelauszügen und Anordnung zur Verfahrensdurchführung
JP4468341B2 (ja) 2006-09-28 2010-05-26 株式会社東芝 三次元画像表示方法および三次元画像表示装置
JP4403162B2 (ja) * 2006-09-29 2010-01-20 株式会社東芝 立体画像表示装置および立体画像の作製方法
KR101320513B1 (ko) 2006-12-05 2013-10-22 엘지디스플레이 주식회사 영상표시장치 및 이의 구동방법
JP2008185629A (ja) * 2007-01-26 2008-08-14 Seiko Epson Corp 画像表示装置
JP4331224B2 (ja) 2007-03-29 2009-09-16 株式会社東芝 三次元画像表示装置及び三次元画像の表示方法
GB0718633D0 (en) 2007-05-16 2007-11-07 Seereal Technologies Sa Holograms
CN101072366B (zh) * 2007-05-24 2010-08-11 上海大学 基于光场和双目视觉技术的自由立体显示系统和方法
US20090282429A1 (en) * 2008-05-07 2009-11-12 Sony Ericsson Mobile Communications Ab Viewer tracking for displaying three dimensional views
JP4386299B1 (ja) 2008-10-09 2009-12-16 健治 吉田 パララックスバリア、裸眼立体映像表示装置
JP2010113159A (ja) * 2008-11-06 2010-05-20 Sharp Corp 立体画像表示装置および立体画像表示方法
KR101502597B1 (ko) 2008-11-13 2015-03-13 삼성전자주식회사 고심도 입체 영상 표시가 가능한 디스플레이 장치 및 방법
KR101296900B1 (ko) 2009-01-07 2013-08-14 엘지디스플레이 주식회사 입체 영상의 뷰 제어방법과 이를 이용한 입체 영상표시장치
KR101606797B1 (ko) * 2009-10-28 2016-03-29 삼성디스플레이 주식회사 입체 영상 표시 장치 및 영상 표시 방법
JP5306275B2 (ja) * 2010-03-31 2013-10-02 株式会社東芝 表示装置及び立体画像の表示方法
JP5607430B2 (ja) * 2010-06-10 2014-10-15 株式会社ジャパンディスプレイ 立体映像表示装置及び電子機器
KR101675961B1 (ko) * 2010-12-29 2016-11-14 삼성전자주식회사 적응적 부화소 렌더링 장치 및 방법
JP5643160B2 (ja) * 2011-07-01 2014-12-17 株式会社ジャパンディスプレイ 表示装置
KR101953686B1 (ko) * 2011-11-30 2019-05-23 삼성전자주식회사 부화소를 렌더링하는 영상 처리 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110049039A (ko) * 2009-11-04 2011-05-12 삼성전자주식회사 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150058637A (ko) * 2013-11-19 2015-05-29 삼성전자주식회사 레이어드 디스플레이 기법을 위한 디스플레이 장치 및 영상 생성 방법
US9936192B2 (en) 2014-08-18 2018-04-03 Samsung Electronics Co., Ltd. Image processing method and apparatus
US10397541B2 (en) 2015-08-07 2019-08-27 Samsung Electronics Co., Ltd. Method and apparatus of light field rendering for plurality of users
US10521953B2 (en) 2016-11-22 2019-12-31 Samsung Electronics Co., Ltd. Three-dimensional (3D) image rendering method and apparatus
US11457194B2 (en) 2016-11-22 2022-09-27 Samsung Electronics Co., Ltd. Three-dimensional (3D) image rendering method and apparatus
US10728512B2 (en) 2016-11-25 2020-07-28 Samsung Electronics Co., Ltd. Three-dimensional display apparatus
US11281002B2 (en) 2016-11-25 2022-03-22 Samsung Electronics Co., Ltd. Three-dimensional display apparatus

Also Published As

Publication number Publication date
EP2786583A4 (en) 2015-05-27
US20130135299A1 (en) 2013-05-30
JP2015504641A (ja) 2015-02-12
WO2013081429A1 (en) 2013-06-06
US8890865B2 (en) 2014-11-18
EP2786583B1 (en) 2019-05-08
KR101953686B1 (ko) 2019-05-23
JP6050373B2 (ja) 2016-12-21
CN103988504A (zh) 2014-08-13
EP2786583A1 (en) 2014-10-08
CN103988504B (zh) 2016-11-02

Similar Documents

Publication Publication Date Title
KR101953686B1 (ko) 부화소를 렌더링하는 영상 처리 장치 및 방법
CN109495734B (zh) 用于自动立体三维显示器的图像处理方法和设备
KR101629479B1 (ko) 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
JP6517245B2 (ja) 三次元画像を生成するための方法及び機器
KR102240568B1 (ko) 영상 처리 방법 및 장치
KR102370062B1 (ko) 3차원 디스플레이 장치를 위한 보정 계수 결정 방법 및 그 방법을 이용한 3차원 디스플레이 장치
KR101675961B1 (ko) 적응적 부화소 렌더링 장치 및 방법
JP6734620B2 (ja) 映像処理方法及び映像処理装置
JP5150255B2 (ja) ビューモードの検出
KR20170017587A (ko) 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
US12052406B2 (en) Display apparatus and operating method of the same
KR20130008555A (ko) 3ｄ 디스플레이 장치에서 3차원 영상을 시각화하는 방법 및 3ｄ 디스플레이 장치
JP2006287592A (ja) 画像生成装置、電子機器、画像生成方法及びプログラム
US11172190B2 (en) Stereo weaving for head-tracked autostereoscopic displays
KR20120010404A (ko) 색유지형 선택적 부화소 렌더링을 이용한 다시점 디스플레이 시스템 및 방법
KR102570277B1 (ko) 3d 영상 장치의 왜곡 보정 방법 및 그 방법을 이용하는 장치
KR20160028596A (ko) 입체 영상 표시 장치
JP5304758B2 (ja) 多視点画像作成装置及び多視点画像作成方法並びに多視点画像表示システム
EP3139604B1 (en) Method and apparatus for generating images
US9460550B2 (en) Multi-viewpoint image generation apparatus and method
KR20170029364A (ko) 영상 생성 방법 및 영상 생성 장치
KR20150039060A (ko) 사용자의 눈의 위치에 기초하는 레이어드 디스플레이 기법을 위한 영상 생성 장치 및 디스플레이 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant