KR102570277B1

KR102570277B1 - 3d 영상 장치의 왜곡 보정 방법 및 그 방법을 이용하는 장치

Info

Publication number: KR102570277B1
Application number: KR1020160152787A
Authority: KR
Inventors: 황효석; 남동경
Original assignee: 삼성전자주식회사
Priority date: 2016-11-16
Filing date: 2016-11-16
Publication date: 2023-08-24
Also published as: US10523928B2; US20180139437A1; KR20180055213A

Abstract

3D 영상 장치의 왜곡 보정 방법 및 그 방법을 이용하는 장치가 개시된다. 일 실시예에 따른 왜곡 보정 방법은 디스플레이 패널의 시점들에 대응하는 소스 영상들에 기초하여 디스플레이 패널에 제1 영상을 표시하고, 제1 지점에서 디스플레이 패널을 촬영하여 제2 영상을 생성하고, 디스플레이 패널 및 제2 영상의 왜곡을 보상하는 제1 보상 값을 결정하는 단계들을 포함한다.

Description

3D 영상 장치의 왜곡 보정 방법 및 그 방법을 이용하는 장치{METHOD FOR CORRECTING DISTORTION OF 3D IMAGING APPARATUS AND APPARATUS USING THE SAME}

아래 실시예들은 3D 영상 장치의 왜곡 보정 방법 및 그 방법을 이용하는 장치에 관한 것이다.

입체 영상을 인지하기 위한 요인 중 가장 지배적인 요인은 사용자의 양 눈에 보여지는 영상의 차이이다. 사용자의 양 눈에 서로 다른 영상을 보여주기 위한 방법으로 편광을 이용한 분할, 시분할, 원색(primary color)의 파장을 다르게 한 파장 분할 등을 원하는 영상을 필터링(Filtering)하는 안경 방식과, 패럴렉스 배리어(parallax barrier), 렌티큘러 렌즈(lenticular lens), 또는 방향성 백라이트 유닛(directional BLU) 등 3D 변환 장치를 이용하여 각 영상을 특정 공간에서만 볼 수 있도록 하는 무안경 방식이 있다. 무안경 방식의 경우, 안경 착용의 불편을 덜 수 있다는 장점이 있다. 그러나, 3D 디스플레이 장치의 생산 과정 또는 3D 변환 장치의 설치 과정 등에서 설계 값과 상이한 오차가 발생되는 경우, 크로스 톡(crosstalk)으로 인하여 영상 품질이 저하될 수 있다.

일 측에 따르면, 왜곡 보정 방법은 디스플레이 패널의 픽셀들에 시점들을 할당하는 단계; 상기 시점들에 대응하는 소스 영상들에 기초하여, 상기 디스플레이 패널에 제1 영상을 표시하는 단계; 상기 제1 영상이 3D 광학 장치를 통하여 출력되는 동안 제1 지점에서 상기 디스플레이 패널이 촬영된 영상에 기초하여 제2 영상을 생성하는 단계; 상기 디스플레이 패널 및 상기 3D 광학 장치 사이의 기하학적 왜곡으로 인한 상기 제2 영상의 왜곡을 보상하는 제1 보상 값을 결정하는 단계; 및 상기 제1 보상 값에 기초하여, 상기 시점들 중 적어도 일부를 갱신하는 단계를 포함한다.

상기 제1 보상 값을 결정하는 단계는 상기 제1 지점의 시점에 대응하는 소스 영상 및 상기 제2 영상의 차이에 기초하여, 상기 제1 보상 값을 결정하는 단계를 포함할 수 있다. 상기 왜곡 보정 방법은 상기 제2 영상 내의 기준 점에서 관찰되는 기준 소스 영상을 결정하는 단계를 더 포함하고, 상기 제1 보상 값을 결정하는 단계는 상기 제2 영상의 전체 영역에 상기 기준 소스 영상이 나타나도록, 상기 제1 보상 값을 결정하는 단계를 포함할 수 있다. 상기 소스 영상들은 시점 번호들에 대응하는 특징 값들을 갖고, 상기 제1 보상 값을 결정하는 단계는 상기 기준 소스 영상의 특징 값과 나머지 소스 영상들의 특징 값 사이의 차에 기초하여, 상기 제1 보상 값을 결정하는 단계를 포함할 수 있다. 상기 소스 영상들은 일정한 간격의 색상(hue) 값 또는 일정한 간격의 강도(intensity) 값에 기초하여 결정된 특징 값들을 가질 수 있다.

상기 왜곡 보정 방법은 제2 지점에서 상기 디스플레이 패널을 촬영하여 생성된 제3 영상에 기초하여, 상기 제3 영상의 왜곡을 보상하는 제2 보상 값을 결정하는 단계; 및 상기 제1 보상 값 및 상기 제2 보상 값에 기초하여, 제3 지점에서 관찰되는 왜곡을 보정하는 제3 보상 값을 결정하는 단계를 더 포함할 수 있고, 이 때 상기 시점들 중 적어도 일부를 갱신하는 단계는 상기 제3 보상 값에 기초하여 상기 시점들 중 적어도 일부를 갱신하는 단계일 수 있다. 상기 제3 보상 값은 상기 제1 지점과 상기 제2 지점 사이의 거리 및 상기 제1 보상 값 및 상기 제2 보상 값 사이의 차에 기초하여 결정될 수 있다. 상기 왜곡 보정 방법은 사용자의 눈 위치를 검출하는 단계; 및 상기 눈 위치에 기초하여 상기 제3 지점을 결정하는 단계를 더 포함할 수 있다.

상기 왜곡 보정 방법은 상기 3D 광학 장치의 기하학적 모델에 기초하여, 상기 픽셀들 각각에 관한 시역(FOV: field of view)을 결정하는 단계; 상기 제1 지점, 상기 픽셀들 각각 및 상기 제1 지점과 구분되는 제4 지점이 이루는 각도들을 결정하는 단계; 상기 픽셀들 각각에 관한 FOV 및 상기 각도들에 기초하여, 상기 제4 지점에서 관찰되는 왜곡을 보정하는 조절 값을 결정하는 단계; 및 상기 조절 값에 기초하여, 상기 시점들 중 적어도 일부를 갱신하는 단계를 더 포함할 수 있다. 상기3D 광학 장치의 기하학적 모델은 상기 제1 보상 값에 기초하여 추정된, 상기 디스플레이 패널과 상기 3D 광학 장치 사이의 갭(gap)에 기초하여 결정될 수 있다. 상기 조절 값은 상기 픽셀들 각각에 관한 FOV 및 상기 각도들 사이의 비(ratio)에 따라 결정될 수 있다.

다른 일 측에 따르면, 왜곡 보정 방법은 디스플레이 패널의 픽셀들에 시점들을 할당하는 단계; 상기 시점들에 대응하는 소스 영상들에 기초하여, 상기 디스플레이 패널에 제1 영상을 표시하는 단계; 상기 제1 영상이 3D 광학 장치를 통하여 출력되는 동안 제1 지점 및 제2 지점에서 상기 디스플레이 패널이 촬영된 영상들에 기초하여, 제2 영상 및 제3 영상을 생성하는 단계; 상기 제2 영상의 왜곡을 보상하는 제1 보상 값 및 상기 제3 영상의 왜곡을 보상하는 제2 보상 값을 결정하는 단계; 상기 제1 보상 값 및 상기 제2 보상 값에 기초하여, 제3 지점에서 관찰되는 왜곡을 보상하기 위한 제3 보상 값을 결정하는 단계; 및 상기 제3보상 값에 기초하여, 상기 시점들 중 적어도 일부를 갱신하는 단계를 포함한다.

일 측에 따르면, 왜곡 보정 방법은 디스플레이 패널의 픽셀들에 시점들을 할당하는 단계; 상기 시점들에 대응하는 소스 영상들에 기초하여, 상기 디스플레이 패널에 제1 영상을 표시하는 단계; 상기 제1 영상이 3D 광학 장치를 통하여 출력되는 동안 촬영 지점들에서 상기 디스플레이 패널이 촬영된 영상들에 기초하여, 제2 영상들을 생성하는 단계; 상기 제2 영상들에 기초하여, 상기 촬영 지점들에서 관측되는 상기 디스플레이 패널의 가시 픽셀들에 관한 가시 픽셀 라인들을 결정하는 단계; 시청 위치에 대응하는 라인과 상기 가시 픽셀 라인들의 교점들을 결정하는 단계; 및 상기 디스플레이 패널의 픽셀들 중에 상기 교점들에 대응하는 픽셀들에 상기 시청 위치에 대응하는 시점을 재할당하는 단계를 포함한다.

상기 가시 픽셀 라인들을 결정하는 단계는 상기 제2 영상들의 픽셀 값들에 기초하여, 상기 촬영 지점들에 따른 상기 가시 픽셀들의 위치들을 나타내는 상기 가시 픽셀들의 대응 점들을 결정하는 단계; 및 상기 대응 점들을 연결하여 상기 가시 픽셀 라인들을 결정하는 단계를 포함할 수 있다. 상기 소스 영상들은 시점 번호들에 대응하는 특징 값들을 가질 수 있고, 상기 가시 픽셀들의 대응 점들을 결정하는 단계는 상기 제1 영상에 포함된 제1 픽셀의 특징 값 및 상기 제2 영상들에 포함된 픽셀들 중에 상기 제1 픽셀에 대응하는 제2 픽셀의 특징 값의 비교에 기초하여, 상기 제1 픽셀에 대응하는 상기 디스플레이 패널의 픽셀을 가시 픽셀로 결정하는 단계; 및 상기 제2 픽셀의 특징 값에 기초하여, 상기 가시 픽셀의 대응 점을 결정하는 단계를 포함할 수 있다.

도 1은 일 실시예에 따른 왜곡 보정 시스템을 나타낸 도면.
도 2는 일 실시예에 따른 시점들의 할당을 나타낸 도면.
도 3은 일 실시예에 따른 특징 값을 나타낸 도면.
도 4는 일 실시예에 따른 보상 값의 결정 과정을 나타낸 동작 흐름도.
도 5는 일 실시예에 따른 보상 값에 기초한 시점 보상 과정을 나타낸 도면.
도 6은 다른 실시예에 따른 보상 값에 따른 시점 보상 과정을 나타낸 도면.
도 7은 일 실시예에 따른 갭의 추정 과정을 나타낸 도면.
도 8은 일 실시예에 따른 조절 값의 결정 과정을 나타낸 도면.
도 9는 일 실시예에 따른 조절 값에 기초한 시점 조절 과정을 나타낸 도면.
도 10은 일 실시예에 따른 가시 픽셀들의 대응 점들을 결정하는 과정을 나타낸 도면.
도 11은 일 실시예에 따른 가시 픽셀 라인들 및 갭의 관계를 나타낸 도면.
도 12는 일 실시예에 따른 가시 픽셀 라인들 및 라인을 나타낸 도면.
도 13은 일 실시예에 따른 특징 값들의 관측을 나타낸 도면.
도 14는 일 실시예에 따른 가시 픽셀의 결정 과정을 나타낸 도면.
도 15은 일 실시예에 따른 헤드 업 디스플레이 영상의 보정을 나타낸 도면.
도 16은 일 실시예에 따른 스마트 안경 영상의 보정을 나타낸 도면.
도 17는 일 실시예에 따른 왜곡 보정 장치를 나타낸 블록도.
도 18은 일 실시예에 따른 왜곡 보정 방법을 나타낸 동작 흐름도.
도 19는 다른 실시예에 따른 왜곡 보정 방법을 나타낸 동작 흐름도.

본 명세서에서 개시되어 있는 특정한 구조적 또는 기능적 설명들은 단지 기술적 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 실시예들은 다양한 다른 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.

제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이해되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 일 실시예에 따른 왜곡 보정 시스템을 나타낸 도면이다. 도 1을 참조하면, 왜곡 보정 시스템(100)은 왜곡 보정 장치(110), 디스플레이 패널(120), 3D 광학 장치(130) 및 카메라들(140, 150, 160)을 포함할 수 있다. 디스플레이 패널(120) 및 3D 광학 장치(130)는 무안경식 3D 디스플레이 장치를 구성할 수 있다. 무안경식 3D 디스플레이 장치는 사용자가 안경 등 부가적인 장치를 착용하지 않고도 3차원 영상을 시청할 수 있도록 하는 장치이다. 2D 디스플레이 장치의 디스플레이 패널에 포함된 픽셀들 각각에서 출력되는 빛은 모든 방향으로 진행(propagation)되는 반면, 무안경식 3D 디스플레이 장치의 디스플레이 패널(120)에 포함된 픽셀들 각각에서 출력되는 빛은 3D 광학 장치(130)를 통하여 제한된 방향으로만 출력된다. 이로 인하여, 사용자의 양 눈에 입사되는 영상들이 달라질 수 있으며, 사용자는 입체감을 느낄 수 있다.

무안경식 3D 디스플레이 장치는 패널의 전면 또는 후면에 3D 광학 장치(130)가 부착된 형태로 구현될 수 있다. 3D 광학 장치(130)는 패널을 통과하는 빛의 진행 방향을 제어한다. 디스플레이 패널(120)은 LCD 패널, LED 패널 및 OLED 패널 등으로 구성될 수 있으며, 3D 광학 장치(130)는 렌즈 어레이(lens array), 패럴렉스 배리어(parallax barrier) 및 방향성 백라이트 유닛(directional back light unit) 등으로 구성될 수 있다. 예를 들어, 디스플레이 패널(120)의 픽셀은 모든 방향으로 빛을 출력한다. 3D 광학 장치(130)가 렌즈 어레이로 구성되는 경우, 빛이 렌즈 어레이에 의하여 굴절되어 특정 방향으로만 출력될 수 있다. 3D 광학 장치(130)가 패럴렉스 배리어로 구성되는 경우, 패럴렉스 배리어에 의하여 특정 방향의 빛만 통과되고 나머지 방향의 빛은 차단될 수 있다.

3D 광학 장치(130)의 제작 과정에서 3D 광학 장치(130)는 미리 설계된 파라미터와 다른 파라미터를 갖게 될 수 있다. 여기서, 파라미터는 배리어 또는 렌즈의 주기를 나타내는 피치(pitch), 배리어 또는 렌즈의 기울어진 정도를 나타내는 기운 각도(slanted angle), 배리어 또는 렌즈와 디스플레이 패널(120) 사이의 거리를 나타내는 갭(gap) 및 배리어 또는 렌즈와 디스플레이 패널(120) 사이의 x 축에 관한 관계를 나타내는 오프셋(offset)을 포함할 수 있다. 실제 제작된 3D 광학 장치(130)의 파라미터가 아닌 미리 설계된 파라미터에 기반하여 3D 영상이 출력될 경우, 크로스톡이 발생하거나 3D 영상이 왜곡될 수 있다. 크로스 톡(Cross-Talk)이 발생되면, 사용자는 흐려진 영상을 보거나 오차가 심할 경우 어지러움 등을 유발 할 수 있는 일그러진 영상을 보게 된다.

크로스 톡을 억제하기 위해 실제 시청 시의 파라미터를 추정하고, 추정된 파라미터에 기초하여 3D 영상을 생성하는 방법이 이용될 수 있다. 이 때, 파라미터를 추정하기 위해서는 3D 광학 장치가 파라미터에 의해 정의될 수 있어야 한다. 다시 말해, 파라미터 추정 방식은 파라미터로 표현 가능한 구조에 적용될 수 있다. 따라서, 부분적인 휘어짐이나 부분적인 왜곡을 갖는 형태, 또는 다항식으로 근사하기 어려운 형태의 3D 광학 장치에는 파라미터 추정 방식을 적용할 수 없다. 또한, 파라미터 추정 방식은 파라미터를 추정하는 과정이 파라미터에 의존적이므로, 파라미터로 표현될 수 없는 형태의 3D 광학 장치는 파라미터 추정 방식을 통해 보정될 수 없다.

왜곡 보정 장치(110)는 왜곡을 보정하기 위해 파라미터에 의한 기하학적 형상을 근사화 하지 않고 모든 픽셀에 관한 보상 값을 직접 할당한다. 따라서, 실시예들은 부분적인 휘어짐 또는 부분적인 형태, 또는 비정형적인 형태를 갖는 3D 광학 장치의 왜곡을 보정할 수 있다. 보다 구체적으로, 왜곡 보정 장치(110)는 미리 정해진 규칙에 따라 디스플레이 패널(120)의 픽셀들에 시점들을 할당하고, 시점들에 대응하는 소스 영상들에 기초하여 디스플레이 패널(120)에 제1 영상을 표시할 수 있다. 왜곡 보정 장치(110)는 디스플레이 패널(120)에 빛을 제공함으로써, 3D 광학 장치(130)를 통하여 제1 영상을 출력할 수 있다. 카메라(160)는 제1 영상이 3D 광학 장치(130)를 통하여 출력되는 동안 제1 지점(165)에서 디스플레이 패널(120)을 촬영할 수 있다. 디스플레이 패널(120)을 촬영한다는 것은 디스플레이 패널(120) 및 3D 광학 장치(130)로 구성된 무안경식 3D 디스플레이 장치를 촬영하는 것을 포함할 수 있다. 왜곡 보정 장치(110)는 카메라(160)에 의해 촬영된 영상에 기초하여, 제2 영상을 생성할 수 있다. 제2 영상은 제1 영상에 일대일로 대응하도록 변환된 영상으로, 왜곡 보정 장치(110)는 카메라(160)에 의해 촬영된 영상을 자르거나 회전함으로써 제2 영상을 생성할 수 있다.

디스플레이 패널(120) 또는 3D 광학 장치(130)에는 부분적인 휘어짐이나 부분적인 왜곡이 있을 수 있다. 이러한 형태에 따라, 디스플레이 패널(120) 및 3D 광학 장치(130) 사이에는 기하학적 왜곡이 존재할 수 있고, 제2 영상은 디스플레이 패널(120) 및 3D 광학 장치(130)에 의한 왜곡을 포함할 수 있다. 왜곡 보정 장치(110)는 제2 영상의 왜곡을 보상하는 보상 값을 결정할 수 있다. 예를 들어, 왜곡 보정 장치(110)는 제1 지점(165)의 시점에 대응하는 소스 영상 및 제2 영상의 차이에 기초하여 보상 값을 결정할 수 있다. 보다 구체적인 보상 값의 결정 과정은 후술한다. 왜곡 보정 장치(110)는 결정된 보상 값에 기초하여 픽셀들에 할당된 시점들 중 적어도 일부를 갱신함으로써 제2 영상에서 왜곡을 보상할 수 있다.

제1 지점(165)에 기초하여 결정된 보상 값은 제3 지점(175)에서 관찰되는 왜곡의 보정에는 제한적일 수 있다. 일 측에 따르면, 제3 지점(175)에서 관찰되는 왜곡을 보정하기 위해, 카메라(150)에 기초한 추가적인 보상 값이 이용될 수 있다. 카메라(150)는 카메라(160)과 같이 제1 영상이 3D 광학 장치(130)를 통하여 출력되는 동안 제2 지점(155)에서 디스플레이 패널(120)을 촬영할 수 있다. 왜곡 보정 장치(110)는 카메라(160)에 의해 촬영된 영상에 기초하여 제3 영상을 생성할 수 있고, 제3 영상의 왜곡을 보상하는 보상 값을 결정할 수 있다. 왜곡 보정 장치(110)는 제1 지점(165) 및 제2 지점(155)에 대응하는 보상 값들을 이용하여 제3 지점(175)의 보상 값을 추정할 수 있다. 추정된 보상 값은 제3 지점(175)에 위치한 사용자에 의해 관찰되는 왜곡을 보정하는데 이용될 수 있다. 왜곡 보정 장치(110)는 제작 과정에서 제1 지점(165) 및 제2 지점(155)에 대응하는 보상 값들을 저장할 수 있고, 실제 사용 과정에서 제1 지점(165) 및 제2 지점(155)에 대응하는 보상 값들을 이용하여 사용자의 위치에 따른 보상 값을 추정할 수 있다. 왜곡 보정 장치(110)는 카메라(140)를 이용하여 사용자의 위치를 추적할 수 있다.

다른 일 측에 따르면, 제3 지점(175)의 사용자에 의해 관찰되는 왜곡을 보정하기 위해, 조절 값이 이용될 수 있다. 왜곡 보정 장치(110)는 보상 값에 기초하여 3D 광학 장치(130)의 기하학적 모델을 결정하고, 3D 광학 장치(130)의 기하학적 모델에 따라 제3 지점(175)에 관한 조절 값을 결정할 수 있다. 여기서, 보상 값은 한 대의 카메라(160)에서 촬영된 영상에 기초하여 결정될 수 있다. 왜곡 보정 장치(110)는 보상 값에 기초하여 디스플레이 패널(120)과 3D 광학 장치(130) 사이의 갭(gap)을 추정하고, 추정된 갭에 기초하여 3D 광학 장치(130)의 기하학적 모델을 결정할 수 있다. 보다 구체적인 조절 값의 결정 과정은 후술한다. 왜곡 보정 장치(110)는 하나의 지점(165)에서 촬영된 영상에 기초하여 보상 값을 결정하고, 해당 보상 값을 이용하여 3D 광학 장치(130)의 기하학적 모델을 결정함으로써, 다른 지점(175)의 조절 값을 획득할 수 있다.

3D 광학 장치(130)는 파라미터로 표현할 수 없는 곡면 등의 비정형적인 형태를 가질 수 있다. 보상 값은 3D 광학 장치(130)의 파라미터에 비의존적으로 결정되므로, 왜곡 보정 장치(110)는 3D 광학 장치(130)의 형태와 무관하게 보상 값을 이용하여 3D 광학 장치(130)의 왜곡을 보상할 수 있다. 예를 들어, 왜곡 보정 장치(110)는 3D 광학 장치(130)에 부분적인 휘어짐이나 부분적인 왜곡이 있는 경우, 및 3D 광학 장치(130)가 차량의 앞 유리 또는 안경의 렌즈와 같이 다항식으로 근사하기 어려운 형태를 갖는 경우에, 3D 광학 장치(130)의 왜곡을 보상할 수 있다.

왜곡 보정 장치(110)는 수학식 1에 기초하여 디스플레이 패널(120)의 모든 픽셀들에 시점 번호들을 할당함으로써 왜곡이 보정된 영상을 생성할 수 있다.

수학식 1에서, 는 i번째 행, j 번째 열에 해당하는 픽셀의 시점 번호를 나타내고, 는 i번째 행, j 번째 열에 해당하는 픽셀의 초기 시점 번호를 나타내고, 는 i번째 행, j 번째 열에 해당하는 픽셀에 관한 보상 값을 나타내고, 는 i번째 행, j 번째 열에 해당하는 픽셀에 관한 조절 값을 나타낸다. 는 고정된 지점(165)에 관한 것이므로, 고정된 지점에서 영상을 관찰하는 사용자를 위해 가 이용될 수 있다. 또한, 다른 지점(175)에 관한 보상 값을 결정하기 위해 복수의 지점들(155, 165)에 대응하여 결정된 보상 값들이 이용될 수 있다. 또한, 다른 지점(175)에 관한 보상 값을 결정하기 위해 가 추가적으로 이용될 수 있다.

도 2는 일 실시예에 따른 시점들의 할당을 나타낸 도면이다. 도 2를 참조하면 디스플레이 패널(210) 및 3D 광학 장치(220)가 도시되어 있다. 디스플레이 패널(210)은 복수의 픽셀들을 갖고, 3D 광학 장치(220) 또는 디스플레이 패널(210)와 3D 광학 장치(220)의 관계에 관해 다양한 파라미터가 정의될 수 있다. 예를 들어, 파라미터들은 배리어 또는 렌즈의 주기를 나타내는 피치, 배리어 또는 렌즈의 기울어진 정도를 나타내는 기운 각도, 배리어 또는 렌즈와 디스플레이 패널 사이의 거리를 나타내는 갭 및 배리어 또는 렌즈와 디스플레이 패널 사이의 x 축에 관한 관계를 나타내는 오프셋을 포함할 수 있다.

왜곡 보정 장치는 디스플레이 패널(210)의 모든 픽셀들에 초기 시점 번호들을 할당한다. 왜곡 보정 장치는 수학식 2를 이용하여 초기 시점 번호들을 할당할 수 있다.

수학식 2에서 는 i번째 행, j 번째 열에 해당하는 픽셀의 초기 시점 번호를 나타내고, N은 총 시점의 수를 나타내고, i는 픽셀의 행을 나타내고, j는 픽셀의 열을 나타내고, f는 오프셋을 나타내고, α는 기운 각도를 나타내고, p는 피치를 나타내고, d는 디스플레이 패널(210)과 카메라 사이의 거리를 나타내고, t는 갭을 나타낸다.

도 3은 일 실시예에 따른 특징 값을 나타낸 도면이다. 왜곡 보정 과정에서는 특징 값이 이용될 수 있다. 왜곡 보정 장치는 시점 번호들에 특징 값을 할당하고, 특징 값에 기초하여 보상 값이나 조절 값을 계산할 수 있다. 앞서 언급된 것처럼, 제1 영상은 소스 영상들에 기초하여 생성된다. 제1 영상은 복수의 시점들을 포함하고, 제1 영상의 시점들마다 상이한 소스 영상이 적용된다. 소스 영상들은 시점들에 따라 상이한 특징 값을 가질 수 있다. 특징 값은 일정한 간격의 색상(hue) 값 또는 일정한 간격의 강도(intensity) 값에 기초하여 결정될 수 있다. 여기서, 강도는 빛의 강도를 의미한다. 실시예들에 따르면 이러한 특징 값들을 갖는 소스 영상들에 기초하여 생성된 제1 영상을 통해, 왜곡이 직관적으로 관찰되고, 용이하게 보정될 수 있다. 아래에서는 색상 값을 예로 설명하겠지만, 아래의 설명은 강도 및 다른 예시에도 동일하게 적용될 수 있다.

왜곡 보정 장치는, 시점 번호들에 할당된 특징 값들이 일정한 간격을 갖도록, 총 시점 수(N)에 기초하여 특징 값들을 분할할 수 있다. 예를 들어, 색상 값의 범위(M)가 360이고, 총 시점 수(N)가 10개인 경우, 제1 시점에는 0의 색상 값이 할당되고, 제2 시점에는 36의 색상 값이 할당되고, 제10 시점에는 324의 색상 값이 할당될 수 있다. 이 경우, 제1 시점에 대응하는 지점에서는 0의 색상 값에 대응하는 빨간색의 영상이 관찰되어야 한다. 제1 시점에 대응하는 지점에서 다른 색상이 포함된 영상이 관찰된다면 해당 영상에는 왜곡이 포함된 것이므로, 색상 값을 통해 왜곡을 보정할 수 있다. 특징 값들은 일정한 간격에 따라 할당되므로, 특징 값에 기초하여 시점 간의 선형 변환이 가능하다. 따라서, 후술될 것처럼 시점 간의 선형 변환을 통해 보상 값이나 조절 값이 용이하게 계산될 수 있다.

도 4는 일 실시예에 따른 보상 값의 결정 과정을 나타낸 동작 흐름도이다. 도 4를 참조하면, 단계(410)에서, 왜곡 보정 장치는 보상 값()을 초기화한다. 왜곡 보정 장치는 보상 값()을 0으로 초기화할 수 있다. 단계(420)에서, 왜곡 보정 장치는 소스 영상들에 기초하여 제1 영상()을 생성한다. 왜곡 보정 장치는 수학식 3에 기초하여 제1 영상()을 생성할 수 있다.

수학식 3에서, m은 반복 횟수를 나타낸다. 수학식 3을 참조하면, 제1 영상()은 초기 시점 번호() 및 보상 값()에 기초하여 결정된다. 아래에서 설명될 것처럼, 보상 값()은 지속적으로 갱신되므로, 보상 값()이 일정한 수준으로 수렴하기 전까지는 제1 영상()도 지속적으로 갱신된다. 상술된 것처럼, 왜곡 보정 장치는 시점들에 색상 값들을 할당할 수 있다.

단계(430)에서, 왜곡 보정 장치는 디스플레이 패널이 촬영된 영상에 기초하여 제2 영상()을 생성한다. 제2 영상()은 제1 영상()에 일대일로 대응하도록 디스플레이 패널이 촬영된 영상을 변환한 영상으로, 왜곡 보정 장치는 디스플레이 패널이 촬영된 영상을 자르거나 회전함으로써 제2 영상()을 생성할 수 있다. 단계(440)에서, 왜곡 보정 장치는 제2 영상()을 분석한다. 시점들에 색상 값이 할당된 경우, 제2 영상()에 다양한 색상이 포함되었다면, 제2 영상()에는 왜곡이 있는 것으로 볼 수 있다. 왜곡 보정 장치는 제2 영상()에 하나의 색상이 포함되도록 적절한 보상 값()을 결정할 수 있다.

왜곡 보정 장치는 제2 영상()에서 기준 점을 결정할 수 있다. 기준 점에서 관찰되는 영상을 기준 소스 영상으로 지칭할 수 있다. 일 측에 따르면, 왜곡 보정 장치는 제2 영상()의 전체 영역에 기준 소스 영상이 나타나도록, 보상 값()을 결정할 수 있다. 기준 점은 제2 영상()의 중심 또는 제2 영상()에서 디스플레이 패널을 촬영한 카메라와 수직을 이루는 지점일 수 있다. 기준 점에서의 색상 값을 라고 정의하면, 와 제2 영상()의 모든 픽셀들의 색상 값 사이의 차를 수학식 4로 구할 수 있다.

수학식 4에서, 는 i번째 행, j 번째 열에 해당하는 픽셀의 색상 값을 나타내고, 는i번째 행, j 번째 열에 해당하는 픽셀의 색상 값()과 기준 점에서의 색상 값() 사이의 차를 나타낸다. 수학식 4에 따라, 보상 값()을 수학식 5와 같이 나타낼 수 있다.

수학식 5에서 360은 색상 값의 범위이다. 경우에 따라, 색상 값의 범위는 다른 수로 정의될 수 있다.

단계(450)에서, 왜곡 보정 장치는 보상 값()을 갱신한다. 단계(460)에서, 왜곡 보정 장치는 보상 값()이 수렴하는지 결정한다. 보상 값()이 수렴하지 않는 경우, 왜곡 보정 장치는 단계(420)를 다시 수행한다. 반복 횟수가 증가할수록, 제2 영상()의 색상 값들은 기준 점에서의 색상 값()으로 수렴하게 된다. 보상 값()이 수렴하는 경우, 왜곡 보정 장치는 단계(470)를 수행한다. 색상 값들의 분산(variance)가 일정한 임계치 이하가 되면, 왜곡 보정 장치는 보상 값()이 수렴한 것으로 판단할 수 있다. 단계(470)에서, 왜곡 보정 장치는 수렴된 값으로 보상 값()을 결정한다. 보상 값()은 하나의 지점 또는 복수의 지점에서 결정될 수 있다. 왜곡 보정 장치는 복수의 지점 각각에 관해 도 4의 단계들을 수행함으로써 복수의 지점 각각에 관한 보상 값()을 결정할 수 있다.

도 5는 일 실시예에 따른 보상 값에 기초한 시점 보상 과정을 나타낸 도면이다. 도 5를 참조하면, 왜곡 보정 장치는 디스플레이 패널(520)의 픽셀들에 시점들을 할당하고, 디스플레이 패널(520)의 픽셀들에 대응하는 소스 영상들에 기초하여 디스플레이 패널(520)에 제1 영상을 표시한다. 도 5에서, 제1 영상에는 디스플레이 패널(520)의 시점들 및 디스플레이 패널(520)의 시점들에 대응하는 소스 영상들이 도시되어 있다. 제1 영상의 숫자들은 각 픽셀들에 할당된 시점들을 나타내고, 제1 영상의 무늬들은 각 시점들에 대응하는 색상들을 나타낸다.

왜곡 보정 장치(510)는 3D 광학 장치(530)를 통해 제1 영상을 출력하고, 카메라(540)는 제1 영상이 3D 광학 장치(530)를 통해 출력되는 동안 제1 지점(550)에서 디스플레이 패널(520)을 촬영한다. 왜곡이 없는 경우, 제1 지점(550)에서는 제1 시점의 소스 영상이 관찰되는 것으로 가정한다. 왜곡 보정 장치(510)는 카메라(540)에 의해 촬영된 영상에 기초하여 제2 영상을 생성한다. 제2 영상에는 제1 시점에 대응하는 소스 영상 이외에 다른 시점들에 대응하는 소스 영상들이 포함되어 있다. 따라서, 제2 영상에는 왜곡이 포함된 것으로 볼 수 있다.

왜곡 보정 장치(510)는 제1 시점의 소스 영상 및 제2 영상의 차이에 기초하여 보상 값을 결정할 수 있다. 왜곡 보정 장치(510)는 상술된 수학식 5에 기초하여 보상 값을 결정할 수 있다. 왜곡 보정 장치(510)는 보상 값에 기초하여 디스플레이 패널(520)의 시점들 중 적어도 일부를 갱신할 수 있다. 왜곡 보정 장치(510)는 제1 영상의 갱신 및 이에 따른 보상 값의 갱신을 반복함에 따라, 보정된 제2 영상을 획득할 수 있다. 왜곡의 보정에 따라 보정된 제2 영상에서는 제1 시점에 대응하는 소스 영상만 관찰될 수 있다.

도 6은 다른 실시예에 따른 보상 값에 따른 시점 보상 과정을 나타낸 도면이다. 왜곡 보정 장치(611)는 디스플레이 패널(612)의 픽셀들에 시점들을 할당하고, 디스플레이 패널(612)의 픽셀들에 대응하는 소스 영상들에 기초하여 디스플레이 패널(612)에 제1 영상을 표시한다. 왜곡 보정 장치(611)는 3D 광학 장치(613)를 통해 제1 영상을 출력하고, 카메라들(614, 615)은 제1 영상이 3D 광학 장치(613)를 통해 출력되는 동안 제1 지점(616) 및 제2 지점(617)에서 디스플레이 패널(612)을 촬영한다. 왜곡 보정 장치(611)는 카메라들(614, 615)에 의해 촬영된 영상에 기초하여 제2 영상 및 제3 영상을 생성한다. 왜곡이 없는 경우, 제1 지점(616)에서는 제1 시점의 소스 영상이 관찰되고, 제2 지점(617)에서는 제2 시점의 소스 영상이 관찰되는 것으로 가정한다. 왜곡 보정 장치(611)는 제1 시점의 소스 영상 및 제2 영상의 차이에 기초하여 제1 보상 값을 결정하고, 제2 시점의 소스 영상 및 제3 영상의 차이에 기초하여 제2 보상 값을 결정할 수 있다. 왜곡 보정 장치(611)는 상술된 수학식 5에 기초하여 보상 값을 결정할 수 있다.

왜곡 보정 장치(621)는 디스플레이 패널(622)의 픽셀들에 시점들을 할당하고, 디스플레이 패널(622)의 픽셀들에 대응하는 소스 영상들에 기초하여 디스플레이 패널(622)에 제1 영상을 표시한다. 왜곡 보정 장치(621)는 3D 광학 장치(623)를 통해 제1 영상을 출력한다. 도 6에서, 왜곡 보정 장치(611)와 왜곡 보정 장치(612), 디스플레이 패널(621)과 디스플레이 패널(622), 및 3D 광학 장치(613)와 3D 광학 장치(623)는 서로 구분되게 도시되어 있으나, 이들은 서로 동일한 구성일 수 있다.

왜곡 보정 장치(621)는 카메라(624)를 이용하여 사용자의 위치를 추적할 수 있다. 사용자는 제3 지점(629)에 있고, 왜곡이 없는 경우 제3 지점(629)에서는 제3 시점의 소스 영상이 관찰되는 것으로 가정한다. 왜곡 보정 장치(621)는 제1 보상 값 및 제2 보상 값에 기초하여, 제3 지점(629)에서 관찰되는 왜곡을 보정하는 제3 보상 값을 결정할 수 있다. 제4 지점(627)은 제1 지점(616)에 대응하고, 제5 지점(628)은 제2 지점(617)에 대응한다. 따라서, 사용자가 제4 지점(627)에 위치할 경우, 디스플레이 패널(622)의 시점들에는 제1 보상 값이 적용될 수 있고, 사용자가 제5 지점(628)에 위치할 경우, 디스플레이 패널(622)의 시점들에는 제2 보상 값이 적용될 수 있다. 왜곡 보정 장치(621)는 제4 지점(627)과 제5 지점(628) 사이의 거리 및 제1 보상 값 및 제2 보상 값 사이의 차에 기초하여 제3 보상 값을 결정할 수 있다. 예를 들어, 왜곡 보정 장치(621)는 제1 지점(616)과 제2 지점(617) 사이의 거리 및 제1 보상 값 및 제2 보상 값 사이의 차 사이의 비(ratio)에 기초하여 제3 보상 값을 결정할 수 있다.

왜곡 보정 장치(621)는 제3 보상 값에 기초하여 디스플레이 패널(623)의 시점들 중 적어도 일부를 갱신할 수 있다. 왜곡 보정 장치(621)는 제3 영상의 갱신 및 이에 따른 보상 값의 갱신을 반복함에 따라, 보정된 제2 영상을 획득할 수 있다. 보정된 제2 영상에는 왜곡이 보정되어 제3 시점에 대응하는 소스 영상만 관찰될 수 있다. 도 6에서 설명된 실시예를 통해 미리 정해지지 않은 제3 지점(629)에 관한 영상의 왜곡이 보정될 수 있다. 또한, 왜곡 보정 장치(510)는 3D 광학 장치들(613, 623)의 파라미터와 무관하므로, 도 6에서 설명된 실시예는 3D 광학 장치들(613, 623)이 비정형적인 형태를 갖는 경우에도 적용될 수 있다.

도 7은 일 실시예에 따른 갭의 추정 과정을 나타낸 도면이다. 상술된 보상 값을 통해 디스플레이 패널과 3D 광학 장치 사이의 갭을 추정할 수 있다. 디스플레이 패널과 3D 광학 장치 사이의 갭이 일정하기 않을 경우, 영상에 왜곡이 생길 뿐만 아니라, 디스플레이 패널의 픽셀들마다 FOV(field of view)가 상이하게 된다. 따라서, 사용자가 보상 값이 적용된 위치에서 벗어날 경우, 상이한 FOV를 고려하여, 픽셀들의 시점들에 적절한 조절 값이 적용되어야 한다.

도 7을 참조하면, 디스플레이 패널(701), 설계 상의 3D 광학 장치의 위치(702), 추정된 3D 광학 장치의 위치(703)가 도시되어 있다. 도 7에서, d는 디스플레이 패널(701)과 카메라(704)의 거리를 나타내고, t는 설계 상의 갭을 나타내고, h는 설계 상의 피치를 나타내고, h’은 보상 값에 따라 계산된 피치를 나타내고, t’는 추정된 갭을 나타낸다. 위치(721)에 슬릿 배리어(slit barrier) 또는 기운 렌즈(slanted lens)의 중심이 있는 경우, 카메라(704)는 위치(711)의 픽셀을 보게 된다. 3D 광학 장치가 실제로 위치(703)에 있는 경우, 카메라(704)는 위치(711)에서 Δh만큼 떨어진 위치(712)의 픽셀이 보게 된다. 이 때, 위치(711)의 픽셀은 슬릿 배리어 또는 기운 렌즈 (732)에 가려서 보이지 않게 되고, 위치(712)의 픽셀은 슬릿 배리어(slit barrier) 또는 기운 렌즈(slanted lens)의 중심이 있는 위치(722)를 통과하게 된다. 3D 광학 장치의 피치(731, 732의 크기)가 동일하다고 가정하면, 디스플레이 패널(701)에 투영되는 피치의 크기 h 및 h’는 디스플레이 패널(701)과 3D 광학 장치 사이의 갭(t, t')에 비례하게 된다. h’은 아래의 수학식들로 구할 수 있다.

수학식 6에서 은 시점 차이(view difference)의 가로 방향 변화율을 나타낸다. 및 수학식 7을 이용하여 Δ h 를 수학식 7과 같이 구할 수 있다.

수학식 7에서 360은 색상 값의 범위이다. 상술된 것처럼, 사용하는 패턴의 특징 값의 범위에 따라 해당 값은 변할 수 있다. 수학식 8을 이용하여 h를 구할 수 있다.

수학식 8에서, h는 광학 장치의 설계 상의 피치의 가로 방향 크기()가 디스플레이 패널(701)에 투영된 크기를 나타내고, p는 피치를 나타내고, d는 디스플레이 패널(701)과 카메라(704) 사이의 거리를 나타내고, t는 디스플레이 패널(701)과 3D 광학 장치 사이의 갭을 나타낸다. t가 0에 가까울수록 h는 에 가까운 값을 가지게 되며, t가 커질수록 h도 커지게 된다. 이와 같은 모델을 이용하여 t’를 수학식 9와 같이 추정할 수 있다.

디스플레이 패널(701)의 모든 픽셀들에 대해서 t’이 구해지면, 이를 이용하여 3D 광학 장치의 기하학적 모델을 결정할 수 있다. 또한, t’또는 3D 광학 장치의 기하학적 모델을 이용하여 디스플레이 패널(701)의 모든 픽셀들에 대한 FOV를 결정할 수 있다. 이는 도 9를 참조하여 설명한다.

도 8은 일 실시예에 따른 조절 값의 결정 과정을 나타낸 도면이다. 도 8을 참조하면, 디스플레이 패널의 픽셀들(801, 802), 픽셀(801)에 관해 추정된 갭(t’)에 따른 3D 광학 장치의 위치(811), 픽셀(802)에 관해 추정된 갭(t’)에 따른 3D 광학 장치의 위치(812), 시점 차이를 구하기 위한 영상을 획득한, 도 7에서 카메라(704)가 위치한 지점(p1) 및 사용자가 위치한 지점(p2)이 도시되어 있다. 도 8에 나타난 것처럼, 픽셀(801)에 관해 추정된 갭(t’)이 픽셀(802)에 관해 추정된 갭(t’)보다 클 때, 픽셀(801)의 FOV보다 픽셀(802)의 FOV가 넓다. 디스플레이 패널의 픽셀 의 FOV 는 수학식 10으로 구할 수 있다.

수학식 10에서, 는 픽셀 의 FOV를 나타내고, 는 픽셀 의 갭을 나타낸다. 지점(p1), 픽셀() 및 지점(p2)이 이루는 각도 를 수학식 11로 구할 수 있다.

위치 이동에 따른 시점 번호의 변화량은 해당 픽셀의 FOV에 의존적이다. 같은 이동 거리를 움직였을 때, 넓은 FOV를 가지는 픽셀에 비해서 좁은 FOV를 가지는 픽셀의 시점 번호의 변화량이 커진다. 시점 번호의 변화량에 기초하여 조절 값은 수학식 12와 같이 나타낼 수 있다.

수학식 12에서 는 i번째 행, j번째 열에 해당하는 조절 값을 나타낸다. 수학식 12를 참조하면, 는 픽셀 의 FOV 와, 지점(p1), 픽셀() 및 지점(p2)이 이루는 각도 사이의 비(ratio)에 의해 결정될 수 있다. 상술된 것처럼, 왜곡 보정 장치는 수학식 1에 기초하여 디스플레이 패널의 모든 픽셀들에 시점 번호들을 할당함으로써 왜곡이 보정된 영상을 생성할 수 있다. 도 8의 예시에서, 왜곡 보정 장치는 초기 시점 번호, 지점(p1)에서 구한 보상 값 및 사용자가 위치한 지점(p2)에 관한 조절 값에 기초하여, 사용자가 위치한 지점(p2)에 대응하는 시점 번호들을 디스플레이 패널의 모든 픽셀들에 할당할 수 있다. 왜곡 보정 장치는 조절 값을 통해 보상 값이 계산된 지점(p1) 외에도 사용자의 움직임에 따른 지점(p2)에서의 왜곡을 보정할 수 있다.

도 9는 일 실시예에 따른 조절 값에 기초한 시점 조절 과정을 나타낸 도면이다. 도 9를 참조하면, 왜곡 보정 장치(911)는 디스플레이 패널(912)의 픽셀들에 시점들을 할당하고, 디스플레이 패널(912)의 픽셀들에 대응하는 소스 영상들에 기초하여 디스플레이 패널(912)에 제1 영상을 표시한다. 왜곡 보정 장치(911)는 3D 광학 장치(913)를 통해 제1 영상을 출력하고, 카메라(914)는 제1 영상이 3D 광학 장치(913)를 통해 출력되는 동안 제1 지점(915)에서 디스플레이 패널(912)을 촬영한다. 왜곡 보정 장치(911)는 카메라(914)에 의해 촬영된 영상에 기초하여 제2 영상을 생성한다. 왜곡이 없는 경우, 제1 지점(915)에서는 제1 시점의 소스 영상이 관찰되는 것으로 가정한다. 왜곡 보정 장치(911)는 제1 시점의 소스 영상 및 제2 영상의 차이에 기초하여 제1 보상 값을 결정할 수 있다. 왜곡 보정 장치(911)는 상술된 수학식 5에 기초하여 보상 값을 결정할 수 있다.

왜곡 보정 장치(921)는 디스플레이 패널(922)의 픽셀들에 시점들을 할당하고, 디스플레이 패널(922)의 픽셀들에 대응하는 소스 영상들에 기초하여 디스플레이 패널(922)에 제1 영상을 표시한다. 왜곡 보정 장치(921)는 3D 광학 장치(923)를 통해 제1 영상을 출력한다. 도 9에서, 왜곡 보정 장치(911)와 왜곡 보정 장치(912), 디스플레이 패널(921)과 디스플레이 패널(922), 및 3D 광학 장치(913)와 3D 광학 장치(923)는 서로 구분되게 도시되어 있으나, 이들은 서로 동일한 구성일 수 있다.

왜곡 보정 장치(921)는 카메라(924)를 이용하여 사용자의 위치를 추적할 수 있다. 사용자는 제2 지점(927)에 있고, 왜곡이 없는 경우 제2 지점(927)에서는 제2 시점의 소스 영상이 관찰되는 것으로 가정한다. 디스플레이 패널(922)의 픽셀들에 제1 지점(915)에 대응하는 보상 값에 기초한 시점들이 할당된 경우, 제2 지점(927)에서는 왜곡이 관찰될 수 있다. 상술된 것처럼, 픽셀들마다 FOV가 상이할 수 있기 때문이다. 왜곡 보정 장치(921)는 상술된 수학식 12에 기초하여 제2 지점(927)에 대응하는 조절 값을 결정할 수 있다. 왜곡 보정 장치는 상술된 수학식 1에 제1 지점(915)에 대응하는 보상 값 및 제2 지점(927)에 대응하는 조절 값을 적용함으로써, 디스플레이 패널(923)의 시점들 중 적어도 일부를 갱신할 수 있다. 왜곡 보정 장치(921)는 사용자의 움직임에 대응하는 지점(927)에서의 조절 값을 통해 보상 값이 계산된 지점(926) 외에도 사용자의 움직임에 따른 지점(p2)에서의 왜곡을 보정할 수 있다.

도 10은 일 실시예에 따른 가시 픽셀들의 대응 점들을 결정하는 과정을 나타낸 도면이다. 도 10을 참조하면, 왜곡 보정 장치는 디스플레이 패널(1010)의 픽셀들에 시점들을 할당할 수 있고, 디스플레이 패널(1010)은 할당된 시점들에 대응하는 소스 영상들에 기초하여 제1 영상을 표시할 수 있다. 상술된 것처럼, 소스 영상들은 시점 번호들에 대응하는 특징 값들을 가질 수 있다. 왜곡 보정 장치는 제1 영상이 3D 광학 장치를 통하여 출력되는 동안 촬영 지점들(u1, u2, u3)에서 디스플레이 패널(1010)이 촬영된 영상들에 기초하여, 제2 영상들을 생성할 수 있다. 예를 들어, 왜곡 보정 장치는 촬영 지점(u1)에서 디스플레이 패널(1010)이 촬영된 영상에 기초하여 제2 영상(1020)을 생성할 수 있다. 제2 영상(1020)은 제1 영상에 일대일로 대응하도록 변환된 영상으로, 왜곡 보정 장치는 촬영된 영상을 자르거나 회전함으로써 제2 영상(1020)을 생성할 수 있다.

왜곡 보정 장치는 제2 영상(1020)의 모든 열(row)에 관해 가시 픽셀(visible pixel)들 및 가시 픽셀의 대응 점들을 결정하고, 가시 픽셀들의 대응 점들에 기초하여 가시 픽셀 라인(visible pixel line)들을 결정할 수 있다. 아래에서는 제2 영상(1020)의 제1 열(R1)에 관해 가시 픽셀 라인들이 결정되는 과정을 설명하겠으나, 아래의 설명과 유사한 방식으로 제2 영상(1020)의 제2 열(R2) 및 제3 열(R3)에 관한 가시 픽셀 라인들이 결정될 수 있다.

제1 열(R1)은 제1 영상의 픽셀들(x1, x2, x3, x4)에 대응하는 픽셀들(x1`, x2`, x3`, x4`)을 포함할 수 있다. 왜곡 보정 장치는 픽셀들(x1, x2, x3, x4)의 픽셀 값들 및 픽셀들(x1`, x2`, x3`, x4`)의 픽셀 값들의 비교에 기초하여, 픽셀들(x1, x2, x3, x4)에 대응하는 디스플레이 패널(1010)의 픽셀들을 가시 픽셀들로 결정할 수 있다. 제1 영상의 픽셀 값들은 특징 값들에 기초하여 결정될 수 있으므로, 왜곡 보정 장치는 픽셀들(x1, x2, x3, x4)의 특징 값들 및 픽셀들(x1`, x2`, x3`, x4`)의 특징 값들을 비교할 수 있다. 제1 영상은 출력 과정에서 3D 광학 장치 등의 영향으로 왜곡될 수 있고, 이러한 왜곡에 따라 픽셀(x1)의 특징 값 및 픽셀(x1`)의 특징 값 간에 차이가 발생될 수 있다. 왜곡 보정 장치는 픽셀(x1)의 특징 값 및 픽셀(x1`)의 특징 값 간의 차이가 미리 정해진 범위에 포함되는 경우, 픽셀(x1)에 디스플레이 패널(1010)의 픽셀을 가시 픽셀들로 결정할 수 있다. 가시 픽셀들의 결정 과정은 후술한다.

디스플레이 패널(1010)을 x-y 평면으로 보고, 촬영 지점 또는 시청 위치를 u-v 평면으로 볼 경우, (x, y, u, v)의 4차원의 라이트 필드(light field)가 정의될 수 있다. 4차원의 라이트 필드에서 가로 축 (x, u)만 고려할 경우, x에서 u로 들어온 빛은 x-u의 2차원 평면에서 하나의 점으로 표시할 수 있다. 예를 들어, 픽셀들(x1, x2, x3, x4)에 대응하는 디스플레이 패널(1010)의 픽셀들이 촬영 지점(u1)에서 관측되는 가시 픽셀들로 결정된 경우, 디스플레이 패널(1010)의 가시 픽셀들은 2차원 평면(1030)에서 대응 점들(1035)로 표시될 수 있다. 또한, 픽셀들(x1, x2, x3, x4)에 대응하는 디스플레이 패널(1010)의 픽셀들이 촬영 지점들(u1, u2, u3)에서 관측되는 가시 픽셀들로 결정된 경우, 디스플레이 패널(1010)의 가시 픽셀들은 2차원 평면(1040)에서 대응 점들(1041, 1043, 1045)로 표시될 수 있다.

왜곡 보정 장치는 대응 점들(1041, 1043, 1045)을 연결하여 가시 픽셀 라인들을 결정할 수 있다. 대응 점들(1041, 1043, 1045)은 촬영 지점(u1)에 따른 가시 픽셀들의 위치들을 나타낼 수 있다. 따라서, 가시 픽셀 라인들에 의해 임의의 시청 위치에 따른 가시 픽셀들의 위치가 특정될 수 있다. 왜곡 보정 장치는 임의의 시청 위치에서 관측되는 가시 픽셀들의 위치를 파악하고, 가시 픽셀들에 임의의 시청 위치에 대응하는 시점을 할당할 수 있다. 도 10의 실시예와는 달리, 촬영 지점들의 수는 셋 이상일 수 있고, 이 경우 대응 점들의 수는 촬영 지점들의 수에 의존적으로 증가될 수 있다. 상술된 것처럼, 대응 점들(1041, 1043, 1045)은 제2 영상(1020)의 제1 열(R1)에 관해 결정된 것으로, 제2 영상(1020)의 나머지 열들에 관해서도 대응 점들이 결정될 수 있다.

도 11은 일 실시예에 따른 가시 픽셀 라인들 및 갭의 관계를 나타낸 도면이다. 도 11을 참조하면, 왜곡 보정 장치는 2차원 평면(1110) 상에서 가시 픽셀들의 대응 점들을 결정할 수 있고, 대응 점들을 연결하여 가시 픽셀 라인들을 결정할 수 있다. 3D 광학 장치(1130)는 패럴렉스 배리어의 슬릿이나 렌티큘러 렌즈의 굴곡과 같이 제한된 방향의 빛을 통과시키는 광학 성분(optical element)들을 포함할 수 있다. 예를 들어, 디스플레이 패널(1120)에서 조사된 빛은 3D 광학 장치(1130)의 광학 성분을 통해 시청 위치(1140)에 도달할 수 있다.

Δx는 디스플레이 패널(1120) 상에서 광학 성분(1135)에 빛을 조사하는 픽셀의 위치 변화를 나타내고, Δu는 시청 위치(1140) 상에서 광학 성분(1135)으로부터 빛이 도달되는 지점의 위치 변화를 나타낸다. 이 때, 가시 픽셀 라인의 기울기는 Δx 및 Δu에 의해 결정될 수 있다. 3D 광학 장치(1130)의 광학 성분에는 굴곡 등의 왜곡이 있을 수 있으므로, 가시 픽셀 라인의 기울기는 3D 광학 장치(1130)의 광학 성분 별로 상이할 수 있다.

도 11에서, d는 디스플레이 패널(1120) 및 3D 광학 장치(1130) 사이의 갭을 나타내고, t는 3D 광학 장치(1130) 및 시청 위치(1140) 사이의 거리를 나타낸다. 이 때, 갭(d)과 거리(t)의 비는 변화량(Δx) 및 변화량(Δu)의 비와 동일하다. 따라서, 가시 픽셀 라인의 기울기(a)는 수학식 13과 같이 나타낼 수 있고, 수학식 13에 기초하여 갭(t)를 수학식 14와 같이 나타낼 수 있다.

따라서, 왜곡 보정 장치는 가시 픽셀 라인의 기울기(a) 및 거리(t)를 이용하여 갭(t)을 구할 수 있다. 수학식 14는 광학 성분(1135)에 관한 것이지만, 왜곡 보정 장치는 3D 광학 장치(1130)의 나머지 광학 성분에 관해서도 상술된 것과 유사한 방식으로 갭을 구할 수 있다.

도 12는 일 실시예에 따른 가시 픽셀 라인들 및 라인을 나타낸 도면이다. 왜곡 보정 장치는 가시 픽셀 라인들을 구성한 이후에 특정한 시청 위치에서 관측되는 가시 픽셀을 알아낼 수 있다. 보다 구체적으로, 왜곡 보정 장치는 시청 위치(U, 미도시)에 대응하는 라인(m)과 가시 픽셀 라인들의 교점들을 결정하고, 디스플레이 패널의 픽셀들 중에 해당 교점들에 대응하는 픽셀들을 시청 위치(U)에서 관측되는 가시 픽셀들로 결정할 수 있다. 왜곡 보정 장치는 해당 교점들에 대응하는 픽셀들에 시청 위치(U)에 대응하는 시점을 재할당할 수 있다. 예를 들어, 시청 위치(U)에 대응하는 라인(m)과 가시 픽셀 라인(1210)의 교점의 x 좌표 x1에 대응하는 디스플레이 패널의 제1 픽셀은 시청 위치(U)에서 관측되는 가시 픽셀로 결정될 수 있다. 유사한 방식으로, 라인(m)과 가시 픽셀 라인들(1220, 1230, 1240)의 교점들의 x 좌표들 x2, x3 및 xn에 대응하는 디스플레이 패널의 제2 픽셀, 제3 픽셀 및 제4 픽셀은 시청 위치(U)에서 관측되는 가시 픽셀로 결정될 수 있다. 따라서, 왜곡 보정 장치는 제1 픽셀 내지 제4 픽셀에 시청 위치(U)에 대응하는 시점을 재할당할 수 있다.

도 13은 일 실시예에 따른 특징 값들의 관측을 나타낸 도면이다. 왜곡 보정 장치는 가시 픽셀을 결정함에 있어서 디스플레이 패널의 x 좌표를 고려할 수 있다. 상술된 것처럼, 소스 영상들은 시점 번호들에 대응하는 특징 값들을 가질 수 있으므로, 왜곡 보정 장치는 특징 값들을 이용하여 x 좌표를 결정할 수 있다. 예를 들어, 디스플레이 패널의 제1 픽셀에서 제1 시점에 대응하는 빨간색이 출력될 수 있다. 왜곡 보정 장치는 디스플레이 패널의 픽셀들의 좌표를 알 수 있다. 예를 들어, 제1 픽셀의 x 좌표는 x1일 수 있다. 이 경우, 왜곡 보정 장치는 제2 영상의 제2 픽셀에서 빨간 색이 관측됨에 따라, 제1 픽셀을 가시 픽셀로 결정할 수 있고, 해당 가시 픽셀의 대응 점의 x 좌표를 x1으로 결정할 수 있다.

디스플레이 패널에서 동일한 픽셀이라도, 제2 영상에서 관측되는 특징 값에 따라 x 좌표가 다르게 결정될 수 있다. 이러한 차이는 광학 성분의 오프셋(offset) 등에 의해 발생할 수 있다. 예를 들어, 디스플레이 패널의 픽셀들에는 색상 값에 따른 특징 값이 할당될 수 있고, 촬영 지점(u1)에서 디스플레이 패널의 i 번째 픽셀이 관측될 수 있다. i 번째 픽셀에서 광선(1310)을 통해 녹색(G)이 관측된 경우, 왜곡 보정 장치는 녹색(G)에 대응하는 x 좌표에 기초하여 i 번째 픽셀의 위치를 결정할 수 있다. 또는, i 번째 픽셀에서 광선(1320)을 통해 파란색(B)이 관측된 경우, 왜곡 보정 장치는 파란색(B)에 대응하는 x 좌표에 기초하여 i 번째 픽셀의 위치를 결정할 수 있다.

도 14는 일 실시예에 따른 가시 픽셀의 결정 과정을 나타낸 도면이다. 상술된 것처럼, 왜곡 보정 장치는 디스플레이 패널에 표시된 제1 영상이 3D 광학 장치(1420)를 통하여 출력되는 동안 디스플레이 패널을 촬영하여 제2 영상을 생성하고, 제2 영상에 포함된 픽셀들의 픽셀 값들에 기초하여 가시 픽셀을 결정할 수 있다. 디스플레이 패널의 픽셀들에서 출력된 빛에는 3D 광학 장치(1420) 등에 의해 간섭이 발생할 수 있다. 왜곡 보정 장치는 제2 영상에 포함된 픽셀들의 픽셀 값들에 기초하여 가시 픽셀의 위치를 추정하므로, 제2 영상에 포함된 픽셀들의 픽셀 값들에 오차가 포함될 경우, 가시 픽셀의 위치에도 오차가 발생할 수 있다. 따라서, 왜곡 보정 장치는 제2 영상에 포함된 픽셀들의 픽셀 값들에 관한 검증을 통해 가시 픽셀을 결정할 수 있다. 예를 들어, 왜곡 보정 장치는 디스플레이 패널에 실제로 할당된 픽셀 값과 제2 영상을 통해 관측되는 픽셀 값을 비교하고, 그 차이가 미리 정해진 가시 범위(visible range) 내일 경우에만 디스플레이 패널의 픽셀을 가시 픽셀로 결정할 수 있다.

도 14에는 제1 영상의 제1 열(1410) 및 제2 영상의 제1 열(1430)이 도시되어 있다. 왜곡 보정 장치는 제1 영상이 3D 광학 장치(1420)를 통해 출력되는 동안 촬영 지점(u)에서 디스플레이 패널을 촬영하여 제2 영상을 생성할 수 있다. 제1 영상의 제1 열(1410)에 포함된 제1 픽셀의 특징 값은 빨간색(R)일 수 있고, 제1 영상의 제1 열(1410)에 포함된 제2 픽셀의 특징 값은 주황색(O)일 수 있다. 또한, 제2 영상의 제1 열(1430)에 포함된 제1 픽셀의 특징 값은 빨간색(R)일 수 있고, 제2 영상의 제1 열(1430)에 포함된 제2 픽셀의 특징 값은 파란색(B)일 수 있다. 가시 범위는 광학 성분에 기초하여 결정될 수 있다. 예를 들어, 렌즈의 폭에 의해 가시 범위(1405)가 결정될 수 있다. 특정 렌즈에서는 해당 렌즈에 인접한 픽셀들에서 출력되는 빛에 의한 특징 값이 관측될 수 있기 때문이다.

왜곡 보정 장치는 제2 영상의 제1 열(1430)에 포함된 제1 픽셀의 특징 값이 제1 영상의 제1 열(1410)에 포함된 제1 픽셀의 특징 값으로부터 가시 범위(1405) 내에 있는 빨간색(R)이므로, 제1 영상의 제1 열(1410)에 포함된 제1 픽셀에 대응하는 디스플레이 패널의 픽셀을 가시 픽셀로 결정할 수 있다. 또한, 왜곡 보정 장치는 제2 영상의 제1 열(1430)에 포함된 제2 픽셀의 특징 값이 제1 영상의 제1 열(1410)에 포함된 제2 픽셀의 특징 값으로부터 가시 범위(1405) 밖에 있는 파란색(B)이므로, 제1 영상의 제1 열(1410)에 포함된 제2 픽셀에 대응하는 디스플레이 패널의 픽셀을 가시 픽셀에서 제외할 수 있다. 이와 같이 가시 픽셀들이 결정된 이후에, 왜곡 보정 장치는 2차원 평면(1435)에서 가시 픽셀들의 대응 점들을 표시할 수 있다.

도 15은 일 실시예에 따른 헤드 업 디스플레이 영상의 보정을 나타낸 도면이다. 도 15을 참조하면, 무안경식 3D 디스플레이 장치(1510), 거울들(1520, 1530) 및 차량의 유리(1540)가 도시되어 있다. 사용자는 무안경식 3D 디스플레이 장치(1510)에 출력된 영상을 유리(1540)를 통해 관찰할 수 있다. 일반적으로 차량의 유리(1540)는 비정형적인 형태를 갖는다. 실시예들은 비정형적인 형태의 디스플레이 에도 적용될 수 있으므로, 차량의 유리(1540)를 이용한 헤드 업 디스플레이(HUD: head up display)에 적용될 수 있다. 사용자가 고정된 지점(1550)에서 영상을 관찰하는 것을 가정할 경우, 지점(1550)에 관해 사전에 계산된 하나의 보정 값을 이용하여 3D 디스플레이 장치(1510)의 시점들을 결정할 수 있다. 또한, 사용자가 지점(1550) 이외의 지점에서도 영상을 관찰하는 것을 가정할 경우, 사용자 또는 사용자의 눈의 위치를 추적하고, 사전에 계산된 둘 이상의 보정 값을 이용하여 추적된 위치에 대응하는 보정 값을 결정하고, 결정된 보정 값을 이용하여 3D 디스플레이 장치(1510)의 시점들을 결정할 수 있다.

도 16은 일 실시예에 따른 스마트 안경 영상의 보정을 나타낸 도면이다. 도 16을 참조하면, 무안경식 3D 디스플레이 장치(1610), 거울들(1620, 1630) 및 안경 렌즈(1640)가 도시되어 있다. 사용자는 무안경식 3D 디스플레이 장치(1610)에 출력된 영상을 안경 렌즈(1640)를 통해 관찰할 수 있다. 일반적으로 렌즈(1640)는 비정형적인 형태를 갖는다. 상술된 것처럼, 실시예들은 비정형적인 형태의 디스플레이에도 적용될 수 있으므로, 스마트 안경의 렌즈(1640)에도 적용될 수 있다. 차량의 헤드 업 디스플레이와 동일하게, 사용자가 고정된 지점(1650)에서 영상을 관찰하는 것을 가정할 경우, 지점(1650)에 관해 사전에 계산된 하나의 보정 값을 이용하여 3D 디스플레이 장치(1610)의 시점들을 결정할 수 있다. 또한, 사용자가 지점(1650) 이외의 지점에서도 영상을 관찰하는 것을 가정할 경우, 사용자 또는 사용자의 눈의 위치를 추적하고, 사전에 계산된 둘 이상의 보정 값을 이용하여 추적된 위치에 대응하는 보정 값을 결정하고, 결정된 보정 값을 이용하여 3D 디스플레이 장치(1610)의 시점들을 결정할 수 있다.

도 17는 일 실시예에 따른 왜곡 보정 장치를 나타낸 블록도이다. 도 17를 참조하면, 왜곡 보정 장치는 센서(1710), 프로세서(1720) 및 메모리(1730)를 포함한다. 왜곡 보정 장치는 센서(1710)를 선택적으로 포함할 수 있다. 센서(1710), 프로세서(1720) 및 메모리(1730)는 버스(1740)를 통해 통신을 수행할 수 있다. 센서(1710)는 디스플레이 패널을 촬영하거나, 사용자의 위치를 추적하기 위한 이미지 센서 및 깊이 센서 등을 포함할 수 있다. 센서(1710)는 상술된 적어도 하나의 카메라들에 대응할 수 있다. 메모리(1730)는 하드 디스크(HDD), 솔리드 스테이트 디스크(SSD), 플래시 메모리 등 비 휘발성 메모리이거나, 디램(DRAM) 등 휘발성 메모리일 수 있다. 메모리(1730)는 프로세서(1720) 내부의 캐쉬 메모리일 수 있다. 메모리(1730)는 컴퓨터에서 읽을 수 있는 명령어를 포함한다. 상기 명령어는 앞서 설명된 동작들을 수행하기 위한 것일 수 있다. 예를 들어, 상기 명령어가 프로세서(1720)에서 실행되면, 프로세서(1720)는 디스플레이 패널의 픽셀들에 시점들을 할당하고, 상기 시점들에 대응하는 소스 영상들에 기초하여, 디스플레이 패널에 제1 영상을 표시하고, 제1 영상이 3D 광학 장치를 통하여 출력되는 동안 제1 지점에서 디스플레이 패널이 촬영된 영상에 기초하여 제2 영상을 생성하고, 디스플레이 패널 및 3D 광학 장치 사이의 기하학적 왜곡으로 인한 제2 영상의 왜곡을 보상하는 제1 보상 값을 결정하고, 제1 보상 값에 기초하여, 상기 시점들 중 적어도 일부를 갱신할 수 있다. 그 밖에, 왜곡 보정 장치에는 앞서 설명된 내용이 적용될 수 있으므로, 보다 상세한 설명은 생략한다.

도 18은 일 실시예에 따른 왜곡 보정 방법을 나타낸 동작 흐름도이다. 도 18을 참조하면, 단계(1810)에서, 왜곡 보정 장치는 디스플레이 패널들에 시점들을 할당한다. 단계(1820)에서, 왜곡 보정 장치는 시점들에 대응하는 소스 영상들에 기초하여, 디스플레이 패널에 제1 영상을 표시한다. 단계(1830)에서, 왜곡 보정 장치는 제1 영상이 3D 광학 장치를 통하여 출력되는 동안 제1 지점에서 디스플레이 패널이 촬영된 영상에 기초하여 제2 영상을 생성한다. 단계(1840)에서, 왜곡 보정 장치는 디스플레이 패널 및 3D 광학 장치 사이의 기하학적 왜곡으로 인한 제2 영상의 왜곡을 보상하는 제1 보상 값을 결정한다. 단계(1850)에서, 왜곡 보정 장치는 제1 보상 값에 기초하여, 상기 시점들 중 적어도 일부를 갱신한다. 그 밖에, 왜곡 보정 방법에는 앞서 설명된 내용이 적용될 수 있으므로, 보다 상세한 설명은 생략한다.

도 19는 다른 실시예에 따른 왜곡 보정 방법을 나타낸 동작 흐름도이다. 도 19를 참조하면, 단계(1910)에서, 왜곡 보정 장치는 디스플레이 패널의 픽셀들에 시점들을 할당한다. 단계(1920)에서, 왜곡 보정 장치는 상기 시점들에 대응하는 소스 영상들에 기초하여, 디스플레이 패널에 제1 영상을 표시한다. 단계(1930)에서, 왜곡 보정 장치는 제1 영상이 3D 광학 장치를 통하여 출력되는 동안 제1 지점 및 제2 지점에서 디스플레이 패널이 촬영된 영상들에 기초하여, 제2 영상 및 제3 영상을 생성한다. 단계(1940)에서, 왜곡 보정 장치는 제2 영상의 왜곡을 보상하는 제1 보상 값 및 제3 영상의 왜곡을 보상하는 제2 보상 값을 결정한다. 단계(1950)에서, 왜곡 보정 장치는 제1 보상 값 및 제2 보상 값에 기초하여, 제3 지점에서 관찰되는 왜곡을 보상하기 위한 제3 보상 값을 결정한다. 단계(1960)에서, 왜곡 보정 장치는 제3보상 값에 기초하여, 상기 시점들 중 적어도 일부를 갱신한다. 그 밖에, 왜곡 보정 방법에는 앞서 설명된 내용이 적용될 수 있으므로, 보다 상세한 설명은 생략한다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(Programmable Logic Unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims

디스플레이 패널의 픽셀들에 시점들을 할당하는 단계;
상기 시점들에 대응하는 특징 값들을 갖는 소스 영상들에 기초하여, 상기 디스플레이 패널에 제1 영상을 표시하는 단계;
상기 제1 영상이 3D 광학 장치를 통하여 출력되는 동안 제1 지점에서 상기 디스플레이 패널이 촬영된 영상에 기초하여 제2 영상을 생성하는 단계;
상기 제2 영상 내의 기준 점에서 관찰되는 특징 값에 따른 기준 소스 영상을 결정하는 단계;
상기 기준 소스 영상의 상기 특징 값과 나머지 소스 영상들의 특징 값 사이의 차에 기초하여, 상기 디스플레이 패널 및 상기 3D 광학 장치 사이의 기하학적 왜곡으로 인한 상기 제2 영상의 왜곡을 보상하는 제1 보상 값을 결정하는 단계; 및
상기 제1 보상 값에 기초하여, 상기 시점들 중 적어도 일부를 갱신하는 단계
를 포함하고,
상기 특징 값들은 일정한 간격의 색상(hue) 값 또는 일정한 간격의 강도(intensity) 값에 대응하는,
왜곡 보정 방법.
제1항에 있어서,
상기 제1 보상 값을 결정하는 단계는
상기 제1 지점의 시점에 대응하는 소스 영상 및 상기 제2 영상의 차이에 기초하여, 상기 제1 보상 값을 결정하는 단계를 포함하는, 왜곡 보정 방법.
제1항에 있어서,
상기 제1 보상 값을 결정하는 단계는
상기 제2 영상의 전체 영역에 상기 기준 소스 영상이 나타나도록, 상기 제1 보상 값을 결정하는 단계를 포함하는, 왜곡 보정 방법.
삭제
삭제
제1항에 있어서,
제2 지점에서 상기 디스플레이 패널을 촬영하여 생성된 제3 영상에 기초하여, 상기 제3 영상의 왜곡을 보상하는 제2 보상 값을 결정하는 단계; 및
상기 제1 보상 값 및 상기 제2 보상 값에 기초하여, 제3 지점에서 관찰되는 왜곡을 보정하는 제3 보상 값을 결정하는 단계
를 더 포함하고,
상기 시점들 중 적어도 일부를 갱신하는 단계는
상기 제3 보상 값에 기초하여 상기 시점들 중 적어도 일부를 갱신하는 단계인, 왜곡 보정 방법.
제6항에 있어서,
상기 제3 보상 값은
상기 제1 지점과 상기 제2 지점 사이의 거리 및 상기 제1 보상 값 및 상기 제2 보상 값 사이의 차에 기초하여 결정되는, 왜곡 보정 방법.
제6항에 있어서,
사용자의 눈 위치를 검출하는 단계; 및
상기 눈 위치에 기초하여 상기 제3 지점을 결정하는 단계
를 더 포함하는, 왜곡 보정 방법.
제1항에 있어서,
상기 3D 광학 장치의 기하학적 모델에 기초하여, 상기 픽셀들 각각에 관한 시역(FOV: field of view)을 결정하는 단계;
상기 제1 지점, 상기 픽셀들 각각 및 상기 제1 지점과 구분되는 제4 지점이 이루는 각도들을 결정하는 단계;
상기 픽셀들 각각에 관한 FOV 및 상기 각도들에 기초하여, 상기 제4 지점에서 관찰되는 왜곡을 보정하는 조절 값을 결정하는 단계; 및
상기 조절 값에 기초하여, 상기 시점들 중 적어도 일부를 갱신하는 단계
를 더 포함하는, 왜곡 보정 방법.
제9항에 있어서,
상기3D 광학 장치의 기하학적 모델은
상기 제1 보상 값에 기초하여 추정된, 상기 디스플레이 패널과 상기 3D 광학 장치 사이의 갭(gap)에 기초하여 결정되는, 왜곡 보정 방법.
제9항에 있어서,
상기 조절 값은
상기 픽셀들 각각에 관한 FOV 및 상기 각도들 사이의 비(ratio)에 따라 결정되는, 왜곡 보정 방법.
디스플레이 패널의 픽셀들에 시점들을 할당하는 단계;
상기 시점들에 대응하는 특징 값들을 갖는 소스 영상들에 기초하여, 상기 디스플레이 패널에 제1 영상을 표시하는 단계;
상기 제1 영상이 3D 광학 장치를 통하여 출력되는 동안 제1 지점 및 제2 지점에서 상기 디스플레이 패널이 촬영된 영상들에 기초하여, 제2 영상 및 제3 영상을 생성하는 단계;
상기 제2 영상 내의 기준 점에서 관찰되는 특징 값에 따른 기준 소스 영상을 결정하는 단계;
상기 제2 영상의 왜곡을 보상하는 제1 보상 값 및 상기 제3 영상의 왜곡을 보상하는 제2 보상 값을 결정하는 단계;
상기 제1 보상 값 및 상기 제2 보상 값에 기초하여, 제3 지점에서 관찰되는 왜곡을 보상하기 위한 제3 보상 값을 결정하는 단계; 및
상기 제3 보상 값에 기초하여, 상기 시점들 중 적어도 일부를 갱신하는 단계
를 포함하고,
상기 특징 값들은 일정한 간격의 색상(hue) 값 또는 일정한 간격의 강도(intensity) 값에 대응하고,
상기 제1 보상 값 및 상기 제2 보상 값을 결정하는 단계는
상기 기준 소스 영상의 상기 특징 값과 나머지 소스 영상들의 특징 값 사이의 차에 기초하여, 상기 제1 보상 값을 결정하는 단계를 포함하는,
왜곡 보정 방법.
제12항에 있어서,
상기 제1 보상 값을 결정하는 단계는
상기 제1 지점의 시점에 대응하는 소스 영상 및 상기 제2 영상의 차이에 기초하여, 상기 제1 보상 값을 결정하는 단계를 포함하는, 왜곡 보정 방법.
제12항에 있어서,
상기 제1 보상 값을 결정하는 단계는
상기 제2 영상의 전체 영역에 상기 기준 소스 영상이 나타나도록, 상기 제1 보상 값을 결정하는 단계를 포함하는, 왜곡 보정 방법.
삭제
제12항에 있어서,
상기 제3 보상 값은
상기 제1 지점과 상기 제2 지점 사이의 거리 및 상기 제1 보상 값 및 상기 제2 보상 값 사이의 차에 기초하여 결정되는, 왜곡 보정 방법.
디스플레이 패널의 픽셀들에 시점들을 할당하는 단계;
상기 시점들에 대응하는 소스 영상들에 기초하여, 상기 디스플레이 패널에 제1 영상을 표시하는 단계;
상기 제1 영상이 3D 광학 장치를 통하여 출력되는 동안 촬영 지점들에서 상기 디스플레이 패널이 촬영된 영상들에 기초하여, 제2 영상들을 생성하는 단계;
상기 제2 영상들에 기초하여, 상기 촬영 지점들에서 관측되는 상기 디스플레이 패널의 가시 픽셀들에 관한 가시 픽셀 라인들을 결정하는 단계;
시청 위치에 대응하는 라인과 상기 가시 픽셀 라인들의 교점들을 결정하는 단계; 및
상기 디스플레이 패널의 픽셀들 중에 상기 교점들에 대응하는 픽셀들에 상기 시청 위치에 대응하는 시점을 재할당하는 단계
를 포함하는, 왜곡 보정 방법.
제17항에 있어서,
상기 가시 픽셀 라인들을 결정하는 단계는
상기 제2 영상들의 픽셀 값들에 기초하여, 상기 촬영 지점들에 따른 상기 가시 픽셀들의 위치들을 나타내는 상기 가시 픽셀들의 대응 점들을 결정하는 단계; 및
상기 대응 점들을 연결하여 상기 가시 픽셀 라인들을 결정하는 단계
를 포함하는, 왜곡 보정 방법.
제18항에 있어서,
상기 소스 영상들은 시점 번호들에 대응하는 특징 값들을 갖고,
상기 가시 픽셀들의 대응 점들을 결정하는 단계는
상기 제1 영상에 포함된 제1 픽셀의 특징 값 및 상기 제2 영상들에 포함된 픽셀들 중에 상기 제1 픽셀에 대응하는 제2 픽셀의 특징 값의 비교에 기초하여, 상기 제1 픽셀에 대응하는 상기 디스플레이 패널의 픽셀을 가시 픽셀로 결정하는 단계; 및
상기 제2 픽셀의 특징 값에 기초하여, 상기 가시 픽셀의 대응 점을 결정하는 단계
를 포함하는, 왜곡 보정 방법.
하드웨어와 결합되어 제1항 내지 제3항, 제6항 내지 제14항, 및 제 16항 내지 제19항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.