KR102276456B1

KR102276456B1 - Iid에서 디스플레이 오차를 보정하는 장치 및 방법

Info

Publication number: KR102276456B1
Application number: KR1020150052393A
Authority: KR
Inventors: 리 웨이밍; 조우 밍차이; 지아오 샤오후이; 홍 타오; 왕 씨잉; 왕 하이타오; 남동경
Original assignee: 삼성전자주식회사
Priority date: 2014-04-18
Filing date: 2015-04-14
Publication date: 2021-07-12
Also published as: KR20150120866A; CN105025284A; CN105025284B; US10142616B2; US20170041594A1

Abstract

무안경식 3차원 디스플레이 장치 및 디스플레이 오차 보정 장치 및 방법이 제시된다. 디스플레이 장치는, 단일 카메라가 IID 영상을 촬영한 이미지를 획득하여, 2차원 패널의 일면에 위치하는 마이크로 렌즈 어레이의 설계위치와 실제위치에 따른 오차를 보정함으로써, 고품질의 3차원 이미지를 제공한다.

Description

IID에서 디스플레이 오차를 보정하는 장치 및 방법{Apparatus and methods for correcting errors in Integral Image Display}

3차원 디스플레이 장치에 연관되며, 보다 구체적으로는 무안경식 IID에 대한 디스플레이 오차를 보정하는 방법 및 장치에 연관된다.

IID(Integral Image Display) 방식의 3차원 디스플레이 기술은 화면의 밝기가 강하고 사용자가 맨 눈(naked eye)으로 3차원 영상을 볼 수 있는 장점이 있다. IID 방식은 2차원 디스플레이(예를 들면, 액정 디스플레이(LCD) 패널)의 위에 위치한 마이크로 렌즈 어레이 (Micro Lens Array)의 굴절을 통해 2차원 EIA(Elemental image array) 이미지가 서로 다른 방향으로 굴절되어 3차원 영상을 만들어낼 수 있다.

마이크로 렌즈 어레이 자체의 특징적 요소(예를 들어, 정밀도 등)나 마이크로 렌즈 어레이가 설치된 환경적 요소(예를 들어, 온도 등)에 따라 마이크로 렌즈 어레이의 실제 위치는 설계 위치에서 벗어날 수 있다. 따라서, 고 품질의 IID 방식의 3차원 디스플레이를 위해서는 마이크로 렌즈 어레이의 실제위치에 대한 오차보정이 필요하다.

일측에 따르면, 단일의 카메라가 IID 영상을 촬영한 제1 이미지를 획득하는 이미지 획득부; 및 2차원 패널의 일면에 위치하는 마이크로 렌즈 어레이에 대하여, 상기 마이크로 렌즈 어레이의 설계위치와 상기 마이크로 렌즈 어레이의 실제위치 사이의 오차를 나타내는 오차 모델을 최적화함으로써 상기 오차를 추정하는 오차 추정부를 포함하는 디스플레이 오차 보정 장치가 제공된다. 일실시예에 따르면 상기 오차 추정부는, 미리 설정된 초기 오차 파라미터 값으로 상기 초기 오차 모델을 생성하고, 상기 제1 이미지의 임의의 한 점에 대하여 상기 2차원 패널에 매핑되는 대응위치에 따라 상기 초기 오차 파라미터 값을 갱신하여 상기 오차 모델을 최적화할 수 있다. 이때 오차 추정부는, 상기 단일 카메라와 상기 마이크로 렌즈 어레이의 사이에 존재하는 가상의 이미지 평면에 대하여, 상기 제1 이미지의 임의의 점이 각 마이크로 렌즈와 상기 단일 카메라의 중심 위치에 의해 상기 이미지 평면 위에 대응되는 대응위치를 결정하는 대응위치 확정부; 상기 제1 이미지의 각 픽셀점과 상기 2차원 패널의 픽셀점의 대응관계를 분석하여 상기 대응위치가 상기 2차원 패널에 매핑되는 제1 매핑위치를 확정하는 제1 매핑위치 확정부; 상기 단일 카메라의 중심 위치와 상기 대응위치와의 연결선이 상기 2차원 패널에 매핑되는 제2 매핑위치를 확정하는 제2 매핑위치 확정부; 및 상기 제1 매핑위치와 상기 제2 매핑위치 사이의 위치 차이에 따라 상기 오차 모델을 최적화하는 최적화부를 포함할 수 있다. 일실시예에 따른 오차 모델을 최적화하는 것은 상기 제1 매핑위치와 상기 제2 매핑위치 사이의 거리가 최소가 되도록 상기 오차 파라미터 값을 갱신하여 목적을 달성할 수 있고, 상기 마이크로 렌즈 어레이 중 하나 이상의 각 마이크로 렌즈에 대하여 상기 제1 매핑위치와 상기 제2 매핑위치의 거리를 계산하고, 상기 계산한 거리의 합의 최소가 되는 경우 상기 초기 오차 파라미터가 최적화되었다고 간주할 수 있다.

다른 일측에 따르면, 단일의 카메라가 IID 영상을 촬영한 제1 이미지를 획득하는 이미지 획득부; 2차원 패널의 일면에 위치하는 마이크로 렌즈 어레이에 대하여, 상기 마이크로 렌즈 어레이의 설계위치와 상기 마이크로 렌즈 어레이의 실제위치 사이의 오차를 나타내는 오차 모델을 최적화함으로써 상기 오차를 추정하는 오차 추정부; 및 상기 마이크로 렌즈 어레이의 오차에 따라 상기 제1 이미지에 대하여 EIA (Elemental Image Array) 방식의 제2 이미지를 렌더링하는 렌더링부를 포함하는 디스플레이 장치가 제공된다. 다른 일실시예에서 오차 추정부는 상기 단일 카메라와 상기 마이크로 렌즈 어레이의 사이에 존재하는 가상의 이미지 평면에 대하여, 상기 제1 이미지의 임의의 점이 각 마이크로 렌즈와 상기 단일 카메라의 중심 위치에 의해 상기 이미지 평면 위에 대응되는 대응위치를 결정하는 대응위치 확정부; 상기 제1 이미지의 각 픽셀점과 상기 2차원 패널의 픽셀점의 대응관계를 분석하여 상기 대응위치가 상기 2차원 패널에 매핑되는 제1 매핑위치를 확정하는 제1 매핑위치 확정부; 상기 단일 카메라의 중심 위치와 상기 대응위치와의 연결선이 상기 2차원 패널에 매핑되는 제2 매핑위치를 확정하는 제2 매핑위치 확정부; 및 상기 제1 매핑위치와 상기 제2 매핑위치 사이의 위치 차이에 따라 상기 오차 모델을 최적화하는 최적화부를 포함한다. 이때 최적화부는, 상기 제1 매핑위치와 상기 제2 매핑위치 사이의 거리가 최소가 되도록 상기 오차 파라미터 값을 갱신하여 상기 오차 모델을 최적화할 수 있다.

나아가, 다른 일실시예에서 상기 렌더링부는, 상기 마이크로 렌즈 어레이의 오차에 따라 산출된 각 마이크로 렌즈의 실제위치에 기초하여 생성된 광선 모델에 따라 상기 제2 이미지를 렌더링할 수 있다. 또한, 상기 렌더링부는 상기 마이크로 렌즈 어레이의 오차에 기초하여 각 마이크로 렌즈의 실제위치를 계산하는 위치확정부; 상기 각 마이크로 렌즈의 실제위치에 기초하여 상기 2차원 패널의 각 픽셀에 대응되는 3차원 광선을 나타내는 광선 모델을 생성하는 광선모델 생성부; 및 상기 광선 모델을 이용하여 제1 이미지에 대하여 EIA 방식의 제2 이미지를 렌더링하는 EIA 렌더링부를 포함할 수 있다.

다른 일실시예에 따른 광선모델 생성부는, 상기 2차원 패널의 픽셀과 상기 마이크로 렌즈 어레이의 각 마이크로 렌즈의 대응관계를 초기화하는 초기화부; 상기 제1 이미지의 임의의 한 점을 상기 2차원 패널에 투영시킨 점을 이용하여 상기 각 마이크로 렌즈마다 상기 대응관계를 갱신하는 갱신부; 및 평형한 두 개의 평면 위의 점을 이용하여 상기 2차원 패널의 픽셀과 상기 픽셀에 대응되는 마이크로 렌즈의 방향을 표시하는 방향묘사부를 포함한다. 이때 상기 갱신부는, 상기 제1 이미지에 속하는 임의의 제1 관찰점이 특정 마이크로 렌즈를 통해 상기 2차원 패널에 투영된 제1 투영점을 획득하는 투영부; 상기 2차원 패널에서 상기 제1 투영점을 중심으로 소정 크기의 윈도우(window)를 형성하는 윈도우 구성부; 및 상기 윈도우의 각 픽셀로 매핑되는 마이크로 렌즈에 대한 갱신을 수행하는 로컬 갱신부를 포함하며, 상기 로컬 갱신부는, 상기 제1 투영점을 획득하게 한 상기 특정 마이크로 렌즈가 상기 초기화된 대응관계에 따른 마이크로 렌즈인지 확인하는 확인부; 상기 특정 마이크로 렌즈가 상기 초기화된 대응관계와 일치하지 않은 경우, 상기 윈도우의 제1 픽셀에 대하여 상기 초기화된 대응관계에 따라 상기 제1 이미지에 투영시킨 제2 투영점을 획득하고, 상기 윈도우의 제1 픽셀에 대하여 상기 특정 마이크로 렌즈에 따라 상기 제1 이미지에 투영시킨 제3 투영점을 획득하는 픽셀 투영부; 및 상기 제2 투영점과 상기 제1 관찰점 사이의 제1 거리 및 상기 제3 투영점과 상기 제1 관찰점 사이의 제2 거리를 계산하고, 상기 제1 거리가 상기 제2 거리보다 크거나 같을 때 상기 제1 투영점에 대한 상기 2차원 패널의 픽셀에 대응되는 마이크로 렌즈를 상기 특정 마이크로 렌즈로 갱신하는 매핑갱신부를 포함할 수 있다.

또 다른 일측에 따르면, 디스플레이 오차 보정 방법이 제공된다. 방법은, 단일의 카메라가 IID 영상을 촬영한 제1 이미지를 획득하는 단계; 2차원 패널의 일면에 위치하는 마이크로 렌즈 어레이에 대하여, 상기 마이크로 렌즈 어레이의 설계위치와 상기 마이크로 렌즈 어레이의 실제위치 사이의 오차를 나타내는 오차 모델을 생성하는 단계; 및 상기 오차 모델을 최적화하여 상기 오차를 추정하는 단계를 포함한다.

도 1은 일실시예에 따른 디스플레이 오차 보정 장치의 블록도이다.
도 2는 일실시예에 따른 디스플레이 오차 보정 장치의 오차 추정부의 세부 블록도이다.
도 3은 일실시예에 따라 디스플레이 오차를 보정하기 위한 단일 카메라, 2차원 패널 및 마이크로 렌즈 어레이의 관계를 나타낸 개념도이다.
도 4는 다른 일실시예에 따른 디스플레이 장치의 블록도이다.
도 5는 다른 일실시예에 따른 디스플레이 장치의 렌더링부의 세부 블록도이다.
도 6은 다른 일실시예에 따른 디스플레이 장치가 렌더링하는 과정을 나타낸 개념도이다.
도 7은 다른 일실시예에 따른 디스플레이 장치의 광선모델 생성부의 세부 블록도이다.
도 8은 도 7의 광선모델 생성부의 갱신부에 대한 세부 블록도이다.
도 9는 또 다른 일실시예에 따른 디스플레이 오차 보정 방법의 순서도이다.
도 10은 또 다른 일실시예에 따라 디스플레이 오차를 계산하는 과정을 나타낸 순서도이다.
도 11은 또 다른 일실시예에 따라 디스플레이 오차를 반영하여 렌더링하는 방법을 나타낸 순서도이다.
도 12는 또 다른 일실시예에 따라 마이크렌즈의 대응관계를 갱신하는 방법을 나타낸 순서도이다.

이하에서, 일부 실시예들을, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

아래 설명에서 사용되는 용어는, 연관되는 기술 분야에서 일반적으로 보편적인 것으로 선택되었으나, 기술의 발달 및/또는 변화, 관례, 기술자의 선호 등에 따라 다른 용어가 있을 수 있다. 따라서, 아래 설명에서 사용되는 용어는 기술적 사상을 한정하는 것으로 이해되어서는 안 되며, 실시예들을 설명하기 위한 예시적 용어로 이해되어야 한다.

또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세한 그 의미를 기재할 것이다. 따라서 아래 설명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 명세서 전반에 걸친 내용을 토대로 이해되어야 한다.

도1은 일실시예에 따른 디스플레이 오차 보정 장치의 블록도이다. 디스플레이 오차 보정 장치는 이미지 획득부(110) 및 오차 추정부(120)를 포함한다. 이미지 획득부(110)는 단일의 카메라가 IID 영상을 촬영한 제1 이미지를 획득한다. 무안경식 3차원 디스플레이를 하기 위한 IID 영상을 하나의 단일 카메라가 촬영하여 획득한 이미지에 대하여 마이크로 렌즈에 대한 오차를 보정하게 된다. 2차원 패널의 일면에 위치하는 마이크로 렌즈 어레이는 제1 이미지를 각기 다른 방향으로 굴절시킴으로써 무안경식 3차원 이미지를 디스플레이할 수 있다. 2차원 패널의 각 픽셀 위치에 대하여 IID 영상을 촬영한 이미지에 대해서 코드표시를 진행한다. 그리고, IID 영상을 촬영한 이미지에 대하여 디코드를 수행하면 다시 이미지에 대한 2차원 패널의 각 픽셀의 대응 관계를 얻을 수 있다. IID 영상을 촬영한 이미지는 2차원 그레이 코드(Gray Code)의 흑백이미지 또는 위상 변이 변화를 포함한 사인줄무늬(sinusoidal fringe) 형식의 이미지가 될 수 있다.

제1 이미지의 픽셀점과 2차원 패널상의 픽셀의 대응관계를 기초로, 2차원 패널상의 픽셀과 제1 이미지를 촬영한 단일 카메라의 가상의 이미지 평면(예를 들면, 이미지 센서상의 이미지 평면)위의 점의 대응관계를 획득한다. 다시 말하면, 제1 이미지에 대하여 디코드를 진행하는 것을 통하여 2차원 패널상의 픽셀이 단일 카메라의 이미지 평면 위에서 어디에 위치하는지 알 수 있다. 2차원 패널상의 픽셀과 제1 이미지를 촬영한 단일 카메라의 이미지 평면의 픽셀 위치에 대한 대응관계에 근거하여, 단일 카메라에 대한 모션 파라미터를 획득할 수 있다. 모션 파라미터는 예를 들면, 회전 파라미터와 평행이동 파라미터이다. 모션 파라미터는 일실시예가 속하는 기술분야에서 알려진 다양한 방법으로 획득할 수 있으므로, 구체적인 방법은 기술하지 않는다.

오차 추정부(120)는 2차원 패널의 일면에 위치하는 마이크로 렌즈 어레이에 대하여, 마이크로 렌즈 어레이의 설계위치와 마이크로 렌즈 어레이의 실제위치 사이의 오차를 나타내는 오차 모델을 생성하고, 오차 모델을 최적화함으로써 오차를 추정한다. 구체적으로 디스플레이 오차를 추정하는 방법은, 아래 도 2 및 도 3을 참조하여 설명한다.

도 2는 일실시예에 따른 디스플레이 오차 보정 장치의 오차 추정부의 세부 블록도로서, 오차 추정부는 미리 설정된 초기 오차 파라미터 값으로 초기 오차 모델을 먼저 생성하고, 제1 이미지의 임의의 한점에 대하여 2차원 패널에 매핑되는 대응되치에 따라 초기 오차 파라미터 값을 갱신함으로써 오차 모델을 최적화하게 된다. 도 1의 오차 추정부(120)는 대응위치 확정부(121), 제1 매핑위치 확정부(122), 제2 매핑위치 확정부(123) 및 최적화부(124)를 포함한다.

도 3은 일실시예에 따라 디스플레이 오차를 보정하기 위한 단일 카메라(301), 2차원 패널(302) 및 마이크로 렌즈 어레이(303)의 관계를 나타낸 개념도이다. 도 3에서 마이크로 렌즈 어레이의 실제 위치를 계산함으로써 오차를 추정할 수 있다.

도 2를 참조하면, 대응위치 확정부(121)는 먼저 초기 오차 파라미터에 근거하여 마이크로 렌즈의 위치(도 3에서 L_c로 표시)를 계산한다. 이때 위치(L_c)는 마이크로 렌즈의 설계위치에 해당한다. 오차 파라미터（φ）는 마이크로 렌즈의 실제 위치와 설계위치에 대한 위치 차이를 의미하고, 오차 모델은 이와 같은 오차 파라미터로 마이크로 렌즈의 설계위치에 대한 마이크로 렌즈의 실제위치의 오차를 나타낸 함수이다.

수학식 1은 마이크로 렌즈의 실제 위치를 표시한 것으로 마이크로 렌즈의 설계 위치 및 오차 모델을 이용하여 정의할 수 있다.

수학식 1에서 [x_ij, y_ij, z_ij]^T는 마이크로 렌즈의 실제위치의 3차원 좌표를 나타낸다. [x'_ij, y'_ij, z'_ij]^T는 마이크로 렌즈의 설계위치의 3차원 좌표를 나타내고, [e^(x) _ij, e^(y) _ij, e^(z) _ij]^T는 마이크로 렌즈의 실제위치의 3차원 좌표와 설계위치의 3차원 좌표 사이의 오차를 나타낸다.

[e^(x) _ij, e^(y) _ij, e^(z) _ij]^T에서 서로 다른 유형의 오차에 대해서는 서로 다른 오차 모델을 사용함으로써 전체 계산량을 줄일 수 있다.

예를 들면, 2차원 패널에 대하여 마이크로 렌즈 어레이의 설계 위치 및 실제 위치에 대한 오차를 하나의 2차원 평면내의 회전각도 θ와 평행이동 벡타[tx, ty]로 표시 할 수 있다. 렌즈 어레이에서 각 렌즈의 중심 좌표를 기준으로 수학식 2와 같이 오차를 정의할 수 있다.

수학식 2와 같이 오차 파라미터 φ는 회전각도 θ와 평행이동 벡타 [tx, ty ]를 포함하여 정의할 수 있다.

일실시예에서 렌즈 어레이에 휨현상(Warping phenomenon)이 존재한다고 가정하면 렌즈 어레이의 렌즈 빛 중심은 한 개 평면상에 놓이지 않는다. 이러한 상황에서, 수학식 3과 같이 하나의 타원 방사상 왜곡 모델(radial distortion model)을 이용하여 Z방향의 오차변화를 정의할 수 있다.

수학식 3에서 [x₀, y₀]는 방사상 왜곡 중심의 수평면에서의 위치를 나타내고, [a, b, c, d ]는 렌즈 어레이 왜곡형태의 파라미터를 나타낸다. 여기서, 오차 파라미터 φ 는 [x₀, y₀, a, b, c, d ] 가 된다.

한편, 오차 모델에 대한 수학식 2 및 3은 일실시예에 관한 수식으로써, 오차 모델은 다른 방법으로 정의할 수 있기 때문에 수학식 2 및 3에 의해 실시예들의 오차 모델이 한정되어 해석되어서는 안 된다.

대응위치 확정부(121)는 마이크로 렌즈의 위치를 기준으로 대응위치를 확정할 수 있다. 이때 일실시예에서 마이크로 렌즈의 위치는 마이크로 렌즈의 중심 좌표로 나타낼 수 있다. 구체적으로 단일 카메라와 마이크로 렌즈 어레이의 사이에 존재하는 가상의 이미지 평면에 대하여, 제1 이미지의 임의의 점이 각 마이크로 렌즈와 단일 카메라의 중심 위치에 의해 이미지 평면 위에 대응되는 점을 대응위치(도3에서 I_c로 표시)로써 결정할 수 있다.

도 3을 참조하면, 모션 파라미터 값을 기초로 단일 마케라(301)의 중심좌표 O_c를 확정하고, 마이크로 렌즈(303)의 설계위치 L_c를 단일 카메라의 가상의 이미지 평면에 투영하는 것을 통하여 제1 이미지에 대한 마이크로 렌즈의 대응위치 I_c (즉, 이미지 평면에서 위치)를 얻을 수 있다. 다시 말해서, 마이크로 렌즈 위치 L_c와 단일 카메라의 중심 위치 O_c에 대한 연결선이 이미지 평면과 만나는 교점이 대응위치 I_c 가 된다.

제1 매핑위치 확정부(122)는 제1 이미지의 각 픽셀점과 2차원 패널(302)의 픽셀점의 대응관계를 분석하여 대응위치가 2차원 패널에 매핑되는 제1 매핑위치를 확정한다. 대응관계를 분석하는 것은 제1 이미지에 대한 디코드를 수행함으로써 할 수 있다. 이때 2차원 패널(302) 상에서 대응위치 I_c가 매핑되는 위치는 제1 매핑위치 P_SL(c; φ)로 나타낼 수 있다. 즉, 제1 이미지의 임의의 점에 대하여 2차원 패널에 디스플레이 되는 점의 좌표를 확정하는 것이다.

제2 매핑위치 확정부(123)는 단일 카메라(301)의 중심 위치와 대응위치와의 연결선이 2차원 패널(302)에 매핑되는 위치를 제2 매핑위치로 확정한다. 다시 말해, 모션 파라미터 및 마이크로 렌즈의 위치 L_c에 기초하여 대응위치 I_c가 2차원 패널에서 위치하는 좌표를 제2 매핑위치 P_p(c; φ)로 나타낸다.

다음으로, 최적화부(124)는 제1 매핑위치와 제2 매칭위치 사이의 위치 차이에 따라 오차 모델을 최적화한다. 구체적으로 제1 매핑위치와 제2 매핑위치의 위치 차이는 둘 사이의 거리가 될 수 있으며, 거리를 이용하여 초기 오차 파라미터를 최적화할 수 있다. 일실시예에서는 마이크로 렌즈 어레이 중 하나 이상의 각 마이크로 렌즈에 대해서 제1 매핑위치와 제2 매핑위치 사이의 거리를 계산하고, 계산한 거리의 합이 최소가 되는 경우 초기 오차 파라미터가 최적화되었다고 보는 것이다.

마이크로 렌즈 어레이 중 하나 이상의 각 마이크로 렌즈에 대한 거리의 합은 아래 수학식 4와 같이 표현할 수 있다.

수학식 4에서 CC는 마이크로 렌즈의 중심 위치를 나타낼 수 있다. 이때 마이크로 렌즈는 마이크로 렌즈 어레이에 포함된 하나 이상이 될 수 있으므로 마이크로 렌즈 어레이의 부분 집합이라 볼 수 있다. P_p (c; φ)는 제2 매핑위치로써, 오차 파라미터 φ와 마이크로 렌즈의 위치 L_c, 마이크로 렌즈의 중심 좌표 c로 표현될 수 있고, P_SL(c; φ)은 제1 매핑위치로써, 역시 오차 파라미터 φ와 마이크로 렌즈의 위치 L_c, 마이크로 렌즈의 중심 좌표 c로 표현될 수 있다. (P_p (c; φ) - PSL (c; φ))²는 제2 매핑위치 P_p (c; φ)와 제1 매핑위치 P_SL (c; φ) 사이의 거리를 나타낸다.

E（φ）를 최소화하여 오차 파라미터 φ를 최적화할 수 있다. 예를 들면, 유전계산법(genetic algorithm) 등 계발식 비선형 최적화 계산법(Heuristic nonlinear oprimization algorithm)을 이용하여 φ의 전체 최적 해를 얻을 수 있다.

최적화된 오차 파라미터에 따라 마이크로 어레이의 오차 값을 최종적으로 계산하여 오차를 추정할 수 있다. 최적화 후의 오차 값을 마이크로 렌즈의 실제위치와 설계위치의 상대 오차 모델(예를 들면, 식(1), (2), 또는 (3))에 대입하여 마이크로 렌즈의 실제위치를 계산하는 것이다.

다른 일실시예에서는, IID 영상을 촬영한 이미지에 대한 디스플레이 오차를 보정한 이미지를 렌더링하여 도시하는 디스플레이 장치가 제공된다. 도 4는 다른 일실시예에 따른 디스플레이 장치의 블록도이다. 디스플레이 장치는 이미지 획득부(410), 오차 추정부(420) 및 렌더링부(430)를 포함한다.

이미지 획득부(410)는 단일 카메라가 IID 영상을 촬영한 제1 이미지를 획득한다. 획득한 제1 이미지의 디코딩을 통해 제1 이미지의 각 픽셀 점과 2차원 패널의 픽셀 점의 대응 관계를 알 수 있다.

오차 추정부(420)은 2차원 패널의 일면에 위치하는 마이크로 렌즈 어레이에 대해서, 마이크로 렌즈 어레이의 설계위치와 마이크로 렌즈 어레이의 실제위치 사이의 오차를 나타내는 오차 모델을 최적화함으로써 설계위치와 실제위치 사이의 오차를 추정할 수 있다. 오차 추정부(420)는 대응위치 확정부, 제1 매핑위치 확정부, 제2 매핑위치 확정부 및 최적화부를 포함하는데, 이는 도 2의 각 구성과 대응되어 설명될 수 있다. 구체적으로 대응위치 확정부는 단일 카메라와 마이크로 렌즈 어레이의 사이에 존재하는 가상의 이미지 평면에 대하여, 제1 이미지의 임의의 점이 각 마이크로 렌즈와 단일 카메라의 중심 위치에 의해 이미지 평면 위에 대응되는 대응위치를 결정할 수 있다. 도 3을 참조하면, 각 마이크로 렌즈 위치 즉, 여기서는 설계위치를 말한다. L_c와 단일 카메라의 중심 위치 O_c에 의해 가상의 이미지 평면 위에 대응위치 I_c를 결정할 수 있다.

제1 매칭위치 확정부는, 제1 이미지의 각 픽셀점과 2차원 패널의 픽셀점의 대응관계를 분석하여 대응위치 Ic가 2차원 패널에 매핑되는 제1 매핑위치 P_SL (c; φ)를 확정할 수 있다. 이때 φ는 초기 오차 파라미터이고, c는 마이크로 렌즈의 중심 위치이다. 제2 매핑위치 확정부는, 단일 카메라의 중심 위치 Oc와 대응위치 Ic와의 연결선이 2차원 패널에 매핑되는 위치를 제2 매핑위치 P_p (c; φ)로 확정할 수 있다. 역시 φ는 초기 오차 파라미터이고, c는 마이크로 렌즈의 중심 위치이다. 최적화부는 제1 매핑위치와 제2 매핑위치 사이의 위치 차이, 즉 거리 등에 따라 오차 모델을 최적화할 수 있다. 일실시예에서 오차 모델은 제1 매핑위치와 제2 매핑위치 사이의 거리가 최소가 되도록 오차 파라미터 값을 갱신하여 최적화할 수 있다.

마이크로 렌즈에 대한 오차 값을 계산한 다음, 렌더링부(430)는 마이크로 렌즈 어레이의 오차에 따라 제1 이미지에 대하여 EIA(Elemental Image Array) 방식의 제2 이미지를 렌더링한다. 마이크로 렌즈 어레이의 오차에 따라 산출된 각 마이크로 렌즈의 실제위치에 기초하여 생성된 광선 모델에 따라 제2 이미지를 렌더링할 수 있다. 렌더링부(430)가 제2 이미지를 렌더링하는 구체적인 내용은 도 5 및 도 6을 참조하여 상세히 설명한다.

도 5는 다른 일실시예에 따른 디스플레이 장치의 렌더링부의 세부 블록도이다. 렌더링부(430)는 위치확정부(431), 광선모델 생성부(432) 및 EIA 렌더링부(433)를 포함한다.

위치확정부(431)는 마이크로 렌즈 어레이의 오차에 기초하여 각 마이크로 렌즈의 실제위치를 계산한다. 예를 들면, 상술한 수학식 1에 근거하여 마이크로 렌즈의 실제위치를 계산할 수 있다.

다음으로, 광선모델 생성부(432)는 각 마이크로 렌즈의 실제위치에 기초하여 2차원 패널의 각 픽셀에 대응되는 3차원 광선을 나타내는 광선 모델을 생성한다. 광선 모델은 EIA 이미지를 렌더링 할 때 필요한 것으로, 2차원 패널상의 각 픽셀을 3차원 공간에서 하나의 광선으로 매핑하는 역할을 한다. 마이크로 렌즈 위치에 오차가 존재 할 때, 디폴트(default)로 생성된 광선모델은 EIA 이미지를 정확하게 렌더링할 수 없기 때문에 마이크로 렌즈의 실제 위치에 따라 광선 모델을 생성하는 것이 필요하다. 광선 모델을 생성하는 과정은 도 6을 참조하여 아래에서 상세히 설명한다.

EIA 렌더링부(433)은 광선 모델을 이용하여 제1 이미지에 대하여 EIA 방식의 제2 이미지를 렌더링한다.

도 6은 다른 일실시예에 따른 디스플레이 장치가 렌더링하는 과정을 나타낸 개념도이다. 특히, 렌더링 과정 중에서 광선 모델을 생성하는 과정을 나타낸다. 그리고 도 7은 다른 일실시예에 따른 디스플레이 장치의 광선모델 생성부의 세부 블록도이다. 도 5의 광선모델 생성부(432)는 초기화부(710), 갱신부(720) 및 방향묘사부(730)를 포함한다.

초기화부(710)는 2차원 패널의 픽셀과 마이크로 렌즈 어레이의 각 마이크로 렌즈의 대응관계를 초기화한다. 미리 설정된 값으로 대응관계를 초기화할 수 있으며, 예를 들면 초기화 할 때, 2차원 패널의 각각의 픽셀을 예정 마이크로 렌즈에 매핑하고 초기표시부호를 통하여 예정 마이크로 렌즈를 표시하면서 초기화할 수 있다. 초기표시부호는 각각의 마이크로 렌즈의 표시부호와 다른 표시부호여야 한다.

예시적으로 아래의 방식을 통해 2차원 패널의 픽셀과 마이크로 렌즈의 매핑 관계를 표시할 수 있다. 2차원 패널의 한 개 픽셀의 좌표를 (m, n)이라 가정하면, 각 픽셀에서 마이크로 렌즈에 대한 매핑은 표시부호: (S(m,n),T(m,n),G(m,n))로 표시한다. S(m,n),T(m,n),G(m,n)은 각각 픽셀에서 매핑 된 마이크로 렌즈의 중심에 대한 x, y, z축에서의 좌표 값이다. 만약 (S(m,n)=0,T(m,n)=0,G(m,n)=0)인 마이크로 렌즈가 존재하지 않는다고 가정할 때, (0, 0, 0)을 초기 표기부호로 할 수 있다. 이때, 초기화를 통해 각각의 픽셀로 매핑된 마이크로 렌즈의 중심 좌표는 (0, 0, 0)가 되는 것이다. 이 외에, 번호 등 기타 방식의 표시부호를 통하여 2차원 패널과 마이크로 렌즈의 매핑 관계를 표시할 수 있다.

갱신부(720)는 제1 이미지의 임의의 한 점을 2차원 패널에 투영시킨 점을 이용하여 각 마이크로 렌즈마다 대응관계를 갱신한다. 대응관계를 갱신하는 것은 도 6 및 도 8을 참조하여 상세히 설명한다. 도 6에서는, 2차원 패널(601), 마이크로 렌즈 어레이(602), 및 제1 이미지(603 또는 제1 관찰점이 포함된 관찰면)을 도시하고 있다.

도 8은 도 7의 광선모델 생성부의 갱신부(720)에 대한 세부 블록도이다. 갱신부(720)는 투영부(721), 윈도우 구성부(722) 및 로컬 갱신부(723)를 포함하고, 2차원 패널과 마이크로 렌즈의 대응관계를 나타내는 광선모델의 값을 갱신하는 역할을 한다.

투영부(721)는 제1 이미지에 속하는 임의의 제1 관찰점이 특정 마이크로 렌즈를 통해 2차원 패널에 투영된 제1 투영점을 획득한다. 도 6를 참조하여 설명하면, 제1 이미지 또는 관찰면(603)에 속하는 임의의 제1 관찰점(V_c)가 마이크로 렌즈 어레이 (602) 중 특정 마이크로 렌즈 H^(j)를 통해 2차원 패널(601)에 투영된 제1 투영점 T₁을 획득할 수 있다.

윈도우 구성부(722)는 2차원 패널에서 제1 투영점을 중심으로 소정 크기의 윈도우(window)를 형성한다. 윈도우는 다양한 형태를 가질 수 있으며, 예를 들어 원형, 구형, 정사각형, 직사각형 등이 될 수 있다. 도 6에서는, 제1 투영점 T₁을 중심으로 픽셀 7개를 포함하는 직사각형의 윈도우 W를 형성하였다.

일실시예에서, 윈도우의 변의 길이는 아래 수학식 5와 같이 정의할 수 있다.

p는 마이크로 렌즈의 크기(예를 들어, 마이크로 렌즈의 직경), D는 예정 관찰점에서 2차원 패널까지 거리, s는 2차원 패널 픽셀의 물리적 치수(예를 들어, 정사각형 픽셀의 변의 길이), g는 마이크로 렌즈 어레이의 설계위치와 2차원 패널 사이의 거리 값이다.

로컬 갱신부(723)는 2차원 픽셀 위의 윈도우를 이용하여 윈도우 내의 각 픽셀로 매핑되는 마이크로 렌즈에 대한 갱신을 수행한다. 보다 상세히 설명하자면, 로컬 갱신부(723)는 초기 대응관계와 동일한지 확인하는 확인부(723-1)와 초기 대응관계와 일치하지 않는 경우 제2 투영점 및 제3 투영점을 계산하는 픽셀 투영부(723-2), 제2 투영점 및 제3 투영점을 이용하여 대응관계를 갱신하는 매핑갱신부(723-3)을 포함한다.

확인부(723-1)는 제1 투영점을 획득하게 한 특정 마이크로 렌즈가 초기화된 대응관계에 따른 것인지 확인한다. 즉, 도 6에서 제1 관찰점 Vc는 마이크로 렌즈 H(j)를 통해 2차원 패널의 제1 투영점 T1으로 투영된다. 이때 확인부(723-1)는 2차원 패널의 픽셀 중 제1 투영점 T1과 마이크로 렌즈 어레이 H(j)가 초기화된 대응관계에서 매핑된 관계인지 확인하게 된다. 그리고 초기화된 대응관계와 일치하지 않은 경우 윈도우를 구성하는 픽셀 중 어느 한 픽셀인 제1 픽셀에 대해서 두 개의 투영점을 획득한다. 윈도우는 다양한 형태로 하나 이상의 픽셀을 포함하고 있기 때문에 제1 픽셀은 윈도우 내 임의의 픽셀에 해당한다.

구체적으로, 픽셀투영부(723-2)는 먼저 제1 픽셀에 대해서 초기화된 대응관계, 즉 2차원 패널의 픽셀과 마이크로 렌즈와 초기화된 대응관계에 따라 제1 픽셀을 제1 이미지를 포함하는 관찰면에 투영시켜 제2 투영점을 획득한다. 예시적으로 도 6에서는 제1 픽셀이 윈도우 W의 첫 번째 픽셀이고, 초기화된 대응관계에 따라 제1 픽셀을 마이크로 렌즈 H⁽ⁱ⁾를 통해 관찰면에 투영시킨 제2 투영점으로 P₁을 얻을 수 있다. 다음으로, 특정 마이크로 렌즈, 즉 제1 관찰점 V_c을 제1 투영점 T₁으로 투영시키게 한 마이크로 렌즈 H^(j)를 이용하여 윈도우의 제1 픽셀을 제1 이미지(관찰면)에 투영시켜 제3 투영점으로 P₂를 얻을 수 있다.

매핑 갱신부(723-3)는 두 개의 투영점을 이용하여 마이크로 렌즈와 2차원 패널의 픽셀 간의 대응관계를 갱신할 수 있다. 제2 투영점과 제1 관찰점 사이를 제1 거리라고 하고, 제3 투영점과 제1 관찰점 사이를 제2 거리라고 할 때, 제1 거리가 제2 거리보다 크거나 같은 경우 제1 투영점에 대한 2차원 패널의 픽셀에 대응되는 마이크로 렌즈를 특정 마이크로 렌즈로 갱신한다. 즉, 제1 투영점에 해당하는 2차원 패널의 픽셀과 제1 관찰점을 제1 투영점에 이르게 한 해당 마이크로 렌즈를 대응시키는 것이다.

예시적으로, 도 6에서는 제1 거리는 |V_c - P₁|가 되고, 제 2 거리는 |V_c - P₂|가 된다. 아래 수학식 6의 부등식을 만족하는 경우 대응관계를 갱신하게 된다.

제1 거리가 제2 거리보다 크거나 같은 경우, 제1 투영점 T1에 대응하는 2차원 픽셀에 대한 대응관계의 마이크로 렌즈를 H^(j)로 갱신한다. 반대로 제1 거리가 제2 거리보다 작은 경우는 초기화된 대응관계를 유지하게 된다. 매핑 갱신부(723-3)는 이와 같은 방법으로 제1 이미지의 임의의 한점을 제1 관찰점으로 보아, 2차원 패널과 마이크로 렌즈와의 대응관계를 갱신할 수 있다.

다시 도 7을 참조하면, 방향묘사부(730)는 평형한 두 개의 평면 위의 점을 이용하여 2차원 패널의 픽셀에 대응되는 마이크로 렌즈의 방향을 표시할 수 있다. 즉, 2차원 패널과 마이크로 렌즈는 서로 평행하며 각각 이들 위에 점을 이용하여 2차원 패널에서 3차원 공간으로 나아가는 광선을 결정하는 광선 모델을 생성하게 된다.

도 9는 또 다른 일실시예에 따른 디스플레이 오차 보정 방법의 순서도이다. 또 다른 일실시예에서는, 단일 카메라가 IID 영상을 촬영한 제1 이미지에 대하여 마이크로 어레이로 인한 오차를 보정할 수 있다.

먼저, 단일의 카메라가 IID 영상을 촬영한 제1 이미지를 획득한다(901). 일실시예에서는, 단일 카메라를 이용하여 IID 영상을 촬영하여 무안경식 3차원 이미지를 디스플레이 할 수 있다.

2차원 패널의 일면에 위치하는 마이크로 렌즈 어레이에 대하여, 마이크로 렌즈 어레이의 설계위치와 마이크로 렌즈 어레이의 실제위치 사이의 오차를 나태는 오차 모델을 생성한다(902). 오차 모델은 수학식 1과 같이 마이크로 렌즈의 실제위치와 설계위치와의 관계를 이용하여 정의할 수 있으며, 수학식 2 내지 3과 같이 오차 파라미터를 이용하여 표현할 수 있다.

오차 모델을 최적화함으로써 마이크로 렌즈 어레이에 대한 오차를 추정한다(903). 오차를 추정하기 위해서, 미리 설정된 초기 오차 파라미터 값으로 초기 오차 모델을 생성하고, 제1 이미지의 임의의 한 점에 대하여 2차원 패널에 매핑되는 대응위치에 따라 초기 오차 파라미터 값을 갱신하여 오차 모델을 최적화한다. 구체적으로, 오차 모델을 최적화하는 단계는 도 10에서 상세히 설명한다.

도 10은 또 다른 일실시예에 따라 디스플레이 오차를 계산하는 과정을 나타낸 순서도이다. 먼저 1001 단계에서, 단일 카메라와 마이크로 렌즈 어레이의 사이에 존재하는 가상의 이미지 평면에 대해서, 제1 이미지의 임의의 점이 각 마이크로 렌즈와 단일 카메라의 중심 위치에 의해 이미지 평면 위에 대응되는 대응위치를 결정한다. 대응위치는 도 3에서 I_c로 표현할 수 있다. 즉, 카메라 중심위치 O_c와 마이크로 렌즈 어레이의 위치 L_c를 연결한 직선이 단일의 카메라에 평행한 이미지 평면과 만나는 교점이 대응위치 I_c가 된다.

1002 단계에서는, 제1 이미지의 각 픽셀점과 2차원 패널의 픽셀점의 대응관계를 분석하여 대응위치가 2차원 패널에 매핑되는 제1 매핑위치를 확정한다. 제1 매핑위치 P_SL(c; φ)는 오차 파라미터 φ와 마이크로 렌즈 중심 위치 c에 따라 정의되며, 제1 이미지에 대한 디코딩을 수행함으로써 2차원 패널의 픽셀점과의 대응관계를 알 수 있다.

1003 단계에서는, 단일 카메라의 중심 위치와 대응위치와의 연결선이 2차원 패널에 매핑되는 제2 매핑위치를 확정한다. 제2 매핑위치 P_p(c; φ)는 모션 파라미터와 마이크로 렌즈의 위치 L_c에 기초하여 대응위치 Ic가 2차원 패널에 위치하는 좌표를 나타낸다. 오차 파라미터 φ와 마이크로 렌즈 중심 위치 c에 따라 정의된다.

제1 매핑위치와 제2 매핑위치가 확정되면, 두 위치 사이의 위치 차이에 따라 오차 모델을 최적화한다. 제1 매핑위치와 제2 매핑위치의 거리를 계산하고, 계산한 거리의 합이 최소가 되는 경우, 초기 오차 파라미터가 최적화되었다고 간주하여 오차 모델을 최적화한다.

또 다른 일실시예에 따른 디스플레이 오차 보정 방법은 마이크로 렌즈 어레이의 오차에 따라 제1 이미지에 대하여 EIA 방식의 제2 이미지를 렌더링하는 단계를 더 포함할 수 있다. 구체적으로 제2 이미지를 렌더링하는 방법은 도 11과 같다. 도 11은 또 다른 일실시예에 따라 디스플레이 오차를 반영하여 렌더링하는 방법을 나타낸 순서도이다.

1101 단계에서는, 마이크로 렌즈 어레이의 오차에 기초하여 각 마이크로 렌즈의 실제위치를 계산한다. 예를 들어, 마이크로 렌즈 어레이의 오차와 마이크로 렌즈의 실제위치, 설계위치에 대한 수학식 1을 이용하여 마이크로 렌즈의 실제위치를 계산할 수 있다.

1102 단계에서는, 2차원 패널의 각 픽셀에 대응되는 3차원 광선을 나타내는 광선 모델을 생성한다. 광선 모델은 EIA 이미리를 렌더링 할 때 사용되며, 2차원 패널상의 각 픽셀을 3차원 공간에서 하나의 광선으로 매핑하는 역할을 한다. 광선 모델은 2차원 패널의 각 픽셀과 마이크로 렌즈의 대응관계를 초기화하고, 제1 이미지 상의 임의의 점에 대한 2차원 패널에 투영시킨 점을 기초로 대응관계를 갱신하여 생성할 수 있다. 대응관계를 갱신하는 구체적인 방법은 도 12에서 상세히 설명한다.

1103 단계에서는, 광선모델을 이용하여 제1 이미지에 대하여 EIA 방식의 제2 이미지를 렌더링한다. 다양한 렌더링 방식에 의해 렌더링을 수행할 수 있으며, EIA 이미지를 렌더링하는 방법은 모두 적용될 수 있다.

도 12는 또 다른 일실시예에 따라 마이크로 렌즈의 대응관계를 갱신하는 방법을 나타낸 순서도이다. 또 다른 일실시예에서, 광선 모델을 생성하는 단계는, 2차원 패널의 픽셀과 마이크로 렌즈 어레이의 각 마이크로 렌즈의 대응관계를 초기화하고, 제1 이미지의 임의의 한 점을 2차원 패널에 투영시킨 점을 이용하여 2차원 패널의 픽셀과 마이크로 렌즈의 대응관계를 갱신한다. 평행한 두 개의 평면 위의 점을 이용하여 2차원 패널의 픽셀과 해당 픽셀에 대응되는 마이크로 렌즈의 방향을 표시함으로써 광선 모델을 생성한다. 초기화된 대응관계 값을 기준으로 대응관계를 갱신하는 방법은, 제1 이미지에 속하는 임의의 제1 관찰점이 특정 마이크로 렌즈를 통해 2차원 패널에 투영된 제1 투영점을 획득하고, 2차원 패널에서 제1 투영점을 중심으로 소정 크기의 윈도우를 형성한 후, 윈도우의 각 픽셀로 매핑되는 마이크로 렌즈에 대한 갱신을 수행한다. 이때 윈도우의 각 픽셀로 매핑되는 마이크로 렌즈에 대한 갱신을 수행하는 과정을 도 12를 참조하여 설명한다.

먼저, 1201 단계에서 제1 투영점 T₁을 획득하게 한 특정 마이크로 렌즈 H(j)가 초기화된 대응관계(예를 들어, T₁-H^(j))에 따른 마이크로 렌즈인지 확인한다. 초기값에 해당한다면, T₁-H^(j)의 대응관계는 적절한 것으로 마이크로 렌즈에 H^(j)를 매핑하고 종료한다. 반대로 대응관계가 초기값에 해당하지 않는 경우, 투영을 하여 두 개의 투영점을 획득한다. 도 6을 참조하여 설명하면, 제1 관찰점 V_c를 특정 마이크로 렌즈 H^(j)를 통해 2차원 패널에 투영한 제1 투영점 T₁에 대하여, 7개의 픽셀을 포함하는 윈도우 W를 형성하였을 때, 윈도우의 임의의 한 픽셀(도 6에서는 첫 번째 위치한 픽셀)에 대해서 초기화된 대응관계를 이용하여 (첫 번째 픽셀-H⁽ⁱ⁾) 다시 제1 관찰점 V_c가 위치하는 관찰면(제1 이미지가 될 수 있다)에 투영시킨 점을 제2 투영점 P₁으로 얻는다. 다음으로 첫 번째 픽셀을 제1 투영점을 획득하게 한 특정 마이크로 렌즈 H^(j)를 통해 관찰면으로 투영시킨 점을 제3 투영점 P₂로 얻는다. 제2 투영점 P₁과 제3 투영점 P₂를 얻고, 다음으로 투영점들과 제1 관찰점과의 거리를 산출한다. 제1 거리는 제2 투영점 P₁과 제1 관찰점 V_c 사이의 거리를 나타내고, 제2 거리는 제3 투영점 P₂와 제1 관찰점 V_c 사이의 거리를 나타낸다.

1204 단계에서는, 제1 거리와 제2 거리를 비교한다. 만일 제1 거리가 제2 거리보다 작은 경우(1204-아니오), 마이크로 렌즈 H^(j)를 통해 투영시키는 것이 더 적절하기 때문에 제1 투영점 T₁이 위치한 2차원 패널의 픽셀에 대한 마이크로 렌즈는 H^(j)로 대응시킨다. (이 경우, 초기화된 대응관계에 이미 매핑되어 있기 때문에 실질적으로 매핑을 할 필요는 없다) 반면에, 제1 거리가 제2 거리보다 크거나 같은 경우(1204-예) 마이크로 렌즈 H⁽ⁱ⁾를 통해 투영시키는 것이 더 적절하다고 보아 제1 투영점 T₁이 위치한 2차원 패널의 픽셀에 대한 마이크로 렌즈는 H⁽ⁱ⁾로 대응시키고 종료한다.

2차원 패널의 각 픽셀과 마이크로 렌즈의 대응관계에 대한 매핑이 완료되어 광선 모델이 생성되면, 광선 모델을 이용하여 제1 이미지에 대하여 EIA 방식의 제2 이미지를 렌더링한다.

실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

단일의 카메라가 IID(Integral Image Display) 영상을 촬영한 제1 이미지를 획득하는 이미지 획득부; 및
2차원 패널의 일면에 위치하는 마이크로 렌즈 어레이에 대하여, 상기 마이크로 렌즈 어레이의 설계위치와 상기 마이크로 렌즈 어레이의 실제위치 사이의 오차를 나타내는 오차 모델을 최적화함으로써 상기 오차를 추정하는 오차 추정부;
를 포함하는 디스플레이 오차 보정 장치.
제1항에 있어서,
상기 오차 추정부는,
미리 설정된 초기 오차 파라미터 값으로 상기 초기 오차 모델을 생성하고, 상기 제1 이미지의 임의의 한 점에 대하여 상기 2차원 패널에 매핑되는 대응위치에 따라 상기 초기 오차 파라미터 값을 갱신하여 상기 오차 모델을 최적화하는, 디스플레이 오차 보정 장치.
제1항에 있어서,
상기 오차 추정부는,
상기 단일 카메라와 상기 마이크로 렌즈 어레이의 사이에 존재하는 가상의 이미지 평면에 대하여, 상기 제1 이미지의 임의의 점이 각 마이크로 렌즈와 상기 단일 카메라의 중심 위치에 의해 상기 이미지 평면 위에 대응되는 대응위치를 결정하는 대응위치 확정부;
상기 제1 이미지의 각 픽셀점과 상기 2차원 패널의 픽셀점의 대응관계를 분석하여 상기 대응위치가 상기 2차원 패널에 매핑되는 제1 매핑위치를 확정하는 제1 매핑위치 확정부;
상기 단일 카메라의 중심 위치와 상기 대응위치와의 연결선이 상기 2차원 패널에 매핑되는 제2 매핑위치를 확정하는 제2 매핑위치 확정부; 및
상기 제1 매핑위치와 상기 제2 매핑위치 사이의 위치 차이에 따라 상기 오차 모델을 최적화하는 최적화부
를 포함하는 디스플레이 오차 보정 장치.
제3항에 있어서,
상기 최적화부는,
상기 제1 매핑위치와 상기 제2 매핑위치 사이의 거리가 최소가 되도록 오차 파라미터 값을 갱신하여 상기 오차 모델을 최적화하는 디스플레이 오차 보정 장치.
제4항에 있어서,
상기 최적화부는,
상기 마이크로 렌즈 어레이 중 하나 이상의 각 마이크로 렌즈에 대하여 상기 제1 매핑위치와 상기 제2 매핑위치의 거리를 계산하고, 상기 계산한 거리의 합의 최소가 되는 경우 초기 오차 파라미터가 최적화되었다고 간주하는 디스플레이 오차 보정 장치.
단일의 카메라가 IID(Integral Image Display) 영상을 촬영한 제1 이미지를 획득하는 이미지 획득부;
2차원 패널의 일면에 위치하는 마이크로 렌즈 어레이에 대하여, 상기 마이크로 렌즈 어레이의 설계위치와 상기 마이크로 렌즈 어레이의 실제위치 사이의 오차를 나타내는 오차 모델을 최적화함으로써 상기 오차를 추정하는 오차 추정부; 및
상기 마이크로 렌즈 어레이의 오차에 따라 상기 제1 이미지에 대하여 EIA (Elemental Image Array) 방식의 제2 이미지를 렌더링하는 렌더링부
를 포함하는 디스플레이 장치.
제6항에 있어서,
상기 오차 추정부는,
상기 단일 카메라와 상기 마이크로 렌즈 어레이의 사이에 존재하는 가상의 이미지 평면에 대하여, 상기 제1 이미지의 임의의 점이 각 마이크로 렌즈와 상기 단일 카메라의 중심 위치에 의해 상기 이미지 평면 위에 대응되는 대응위치를 결정하는 대응위치 확정부;
상기 제1 이미지의 각 픽셀점과 상기 2차원 패널의 픽셀점의 대응관계를 분석하여 상기 대응위치가 상기 2차원 패널에 매핑되는 제1 매핑위치를 확정하는 제1 매핑위치 확정부;
상기 단일 카메라의 중심 위치와 상기 대응위치와의 연결선이 상기 2차원 패널에 매핑되는 제2 매핑위치를 확정하는 제2 매핑위치 확정부; 및
상기 제1 매핑위치와 상기 제2 매핑위치 사이의 위치 차이에 따라 상기 오차 모델을 최적화하는 최적화부
를 포함하는 디스플레이 장치.
제7항에 있어서,
상기 최적화부는,
상기 제1 매핑위치와 상기 제2 매핑위치 사이의 거리가 최소가 되도록 오차 파라미터 값을 갱신하여 상기 오차 모델을 최적화하는, 디스플레이 장치.
제6항에 있어서,
상기 렌더링부는,
상기 마이크로 렌즈 어레이의 오차에 따라 산출된 각 마이크로 렌즈의 실제위치에 기초하여 생성된 광선 모델에 따라 상기 제2 이미지를 렌더링하는 디스플레이 장치.
제9항에 있어서,
상기 렌더링부는,
상기 마이크로 렌즈 어레이의 오차에 기초하여 각 마이크로 렌즈의 실제위치를 계산하는 위치확정부;
상기 각 마이크로 렌즈의 실제위치에 기초하여 상기 2차원 패널의 각 픽셀에 대응되는 3차원 광선을 나타내는 광선 모델을 생성하는 광선모델 생성부; 및
상기 광선 모델을 이용하여 제1 이미지에 대하여 EIA 방식의 제2 이미지를 렌더링하는 EIA 렌더링부
를 포함하는 디스플레이 장치.
제10항에 있어서,
상기 광선모델 생성부는,
상기 2차원 패널의 픽셀과 상기 마이크로 렌즈 어레이의 각 마이크로 렌즈의 대응관계를 초기화하는 초기화부;
상기 제1 이미지의 임의의 한 점을 상기 2차원 패널에 투영시킨 점을 이용하여 상기 각 마이크로 렌즈마다 상기 대응관계를 갱신하는 갱신부; 및
평형한 두 개의 평면 위의 점을 이용하여 상기 2차원 패널의 픽셀과 상기 픽셀에 대응되는 마이크로 렌즈의 방향을 표시하는 방향묘사부
를 포함하는 디스플레이 장치.
제11항에 있어서,
상기 갱신부는,
상기 제1 이미지에 속하는 임의의 제1 관찰점이 특정 마이크로 렌즈를 통해 상기 2차원 패널에 투영된 제1 투영점을 획득하는 투영부;
상기 2차원 패널에서 상기 제1 투영점을 중심으로 소정 크기의 윈도우(window)를 형성하는 윈도우 구성부; 및
상기 윈도우의 각 픽셀로 매핑되는 마이크로 렌즈에 대한 갱신을 수행하는 로컬 갱신부
를 포함하는 디스플레이 장치.
제12항에 있어서,
상기 로컬 갱신부는,
상기 제1 투영점을 획득하게 한 상기 특정 마이크로 렌즈가 상기 초기화된 대응관계에 따른 마이크로 렌즈인지 확인하는 확인부;
상기 특정 마이크로 렌즈가 상기 초기화된 대응관계와 일치하지 않은 경우, 상기 윈도우의 제1 픽셀에 대하여 상기 초기화된 대응관계에 따라 상기 제1 이미지에 투영시킨 제2 투영점을 획득하고, 상기 윈도우의 제1 픽셀에 대하여 상기 특정 마이크로 렌즈에 따라 상기 제1 이미지에 투영시킨 제3 투영점을 획득하는 픽셀 투영부; 및
상기 제2 투영점과 상기 제1 관찰점 사이의 제1 거리 및 상기 제3 투영점과 상기 제1 관찰점 사이의 제2 거리를 계산하고, 상기 제1 거리가 상기 제2 거리보다 크거나 같을 때 상기 제1 투영점에 대한 상기 2차원 패널의 픽셀에 대응되는 마이크로 렌즈를 상기 특정 마이크로 렌즈로 갱신하는 매핑갱신부
를 포함하는 디스플레이 장치.
단일의 카메라가 IID(Integral Image Display) 영상을 촬영한 제1 이미지를 획득하는 단계;
2차원 패널의 일면에 위치하는 마이크로 렌즈 어레이에 대하여, 상기 마이크로 렌즈 어레이의 설계위치와 상기 마이크로 렌즈 어레이의 실제위치 사이의 오차를 나타내는 오차 모델을 생성하는 단계; 및
상기 오차 모델을 최적화하여 상기 오차를 추정하는 단계;
를 포함하는 디스플레이 오차 보정 방법.
제14항에 있어서,
상기 오차를 추정하는 단계는,
미리 설정된 초기 오차 파라미터 값으로 상기 초기 오차 모델을 생성하고, 상기 제1 이미지의 임의의 한 점에 대하여 상기 2차원 패널에 매핑되는 대응위치에 따라 상기 초기 오차 파라미터 값을 갱신하여 상기 오차 모델을 최적화하는, 디스플레이 오차 보정 방법.
제15항에 있어서,
상기 오차 모델을 최적화하는 단계는,
상기 단일 카메라와 상기 마이크로 렌즈 어레이의 사이에 존재하는 가상의 이미지 평면에 대하여, 상기 제1 이미지의 임의의 점이 각 마이크로 렌즈와 상기 단일 카메라의 중심 위치에 의해 상기 이미지 평면 위에 대응되는 대응위치를 결정하는 단계;
상기 제1 이미지의 각 픽셀점과 상기 2차원 패널의 픽셀점의 대응관계를 분석하여 상기 대응위치가 상기 2차원 패널에 매핑되는 제1 매핑위치를 확정하는 단계;
상기 단일 카메라의 중심 위치와 상기 대응위치와의 연결선이 상기 2차원 패널에 매핑되는 제2 매핑위치를 확정하는 단계; 및
상기 제1 매핑위치와 상기 제1 매핑위치 사이의 위치 차이에 따라 상기 오차 모델을 최적화하는 단계
를 포함하는 디스플레이 오차 보정 방법.
제16항에 있어서,
상기 오차 모델을 최적화하는 단계는,
상기 제1 매핑위치와 상기 제2 매핑위치 사이의 거리가 최소가 되도록 상기 오차 파라미터 값을 최적화하여 상기 오차 모델을 갱신하는 디스플레이 오차 보정 방법.
제17항에 있어서,
상기 오차 모델을 최적화하는 단계는,
상기 마이크로 렌즈 어레이 중 하나 이상의 각 마이크로 렌즈에 대하여 상기 제1 매핑위치와 상기 제2 매핑위치의 거리를 계산하고, 상기 계산한 거리의 합의 최소가 되는 경우 상기 초기 오차 파라미터가 최적화되었다고 간주하는 디스플레이 오차 보정 방법.
제14항에 있어서,
상기 마이크로 렌즈 어레이의 오차에 따라 상기 제1 이미지에 대하여 EIA (Elemental Image Array) 방식의 제2 이미지를 렌더링하는 단계
를 더 포함하는 디스플레이 오차 보정 방법.
제19항에 있어서,
상기 렌더링하는 단계는,
상기 마이크로 렌즈 어레이의 오차에 따라 산출된 각 마이크로 렌즈의 실제위치에 기초하여 생성된 광선 모델에 따라 상기 제2 이미지를 렌더링하는 디스플레이 오차 보정 방법.
제20항에 있어서,
상기 렌더링하는 단계는,
상기 마이크로 렌즈 어레이의 오차에 기초하여 각 마이크로 렌즈의 실제위치를 계산하는 단계;
상기 각 마이크로 렌즈의 실제위치에 기초하여 상기 2차원 패널의 각 픽셀에 대응되는 3차원 광선을 나타내는 광선 모델을 생성하는 단계; 및
상기 광선모델을 이용하여 상기 제1 이미지에 대하여 EIA 방식의 제2 이미지를 렌더링하는 단계
를 포함하는 디스플레이 오차 보정 방법.
제21항에 있어서,
상기 광선 모델을 생성하는 단계는,
상기 2차원 패널의 픽셀과 상기 마이크로 렌즈 어레이의 각 마이크로 렌즈의 대응관계를 초기화하는 단계;
상기 제1 이미지의 임의의 한 점을 상기 2차원 패널에 투영시킨 점을 이용하여 상기 각 마이크로 렌즈마다 상기 대응관계를 갱신하는 단계; 및
평형한 두 개의 평면 위의 점을 이용하여 상기 2차원 패널의 픽셀과 상기 픽셀에 대응되는 마이크로 렌즈의 방향을 표시하는 단계
를 포함하는 디스플레이 오차 보정 방법.
제22항에 있어서,
상기 대응관계를 갱신하는 단계는,
상기 제1 이미지에 속하는 임의의 제1 관찰점이 특정 마이크로 렌즈를 통해 상기 2차원 패널에 투영된 제1 투영점을 획득하는 단계;
상기 2차원 패널에서 상기 제1 투영점을 중심으로 소정 크기의 윈도우(window)를 형성하는 단계; 및
상기 윈도우의 각 픽셀로 매핑되는 마이크로 렌즈에 대한 갱신을 수행하는 단계
를 포함하는 디스플레이 오차 보정 방법.
제23항에 있어서,
상기 윈도우의 각 픽셀로 매핑되는 마이크로 렌즈에 대한 갱신을 수행하는 단계는,
상기 제1 투영점을 획득하게 한 상기 특정 마이크로 렌즈가 상기 초기화된 대응관계에 따른 마이크로 렌즈인지 확인하는 단계;
상기 특정 마이크로 렌즈가 상기 초기화된 대응관계와 일치하지 않은 경우, 상기 윈도우의 제1 픽셀에 대하여 상기 초기화된 대응관계에 따라 상기 제1 이미지에 투영시킨 제2 투영점을 획득하고, 상기 윈도우의 제1 픽셀에 대하여 상기 특정 마이크로 렌즈에 따라 상기 제1 이미지에 투영시킨 제3 투영점을 획득하는 단계; 및
상기 제2 투영점과 상기 제1 관찰점 사이의 제1 거리 및 상기 제3 투영점과 상기 제1 관찰점 사이의 제2 거리를 계산하고, 상기 제1 거리가 상기 제2 거리보다 크거나 같을 때 상기 제1 투영점에 대한 상기 2차원 패널의 픽셀에 대응되는 마이크로 렌즈를 상기 특정 마이크로 렌즈로 갱신하는 단계
를 포함하는 디스플레이 오차 보정 방법.