KR101783384B1 - 3차원 입체 영상의 왜곡 현상을 조정하기 위한 3차원 입체영상 보정 방법 - Google Patents

Abstract

본 발명은 3차원 입체 영상의 왜곡 현상을 조정하기 위한 3차원 입체영상 보정 방법에 있어서, (a) 시차장벽 또는 렌티큘러 필름의 정렬오차를 확인하는 단계; (b) 상기 정렬오차를 이용하여 보정각을 결정하는 단계 및; (c) 상기 보정각을 이용하여 이미지를 스큐(skew)하는 단계를 포함한다.

Description

3차원 입체 영상의 왜곡 현상을 조정하기 위한 3차원 입체영상 보정 방법{CORRECTION METHOD OF 3D IMAGES TO CORRECT 3D IMAGE DISTORTION}

본 발명은 3차원 입체 영상 표시장치에서 수행되는 3차원 입체 영상의 보정 방법에 관한 것으로서, 보다 상세하게는 획득된 3차원 이미지 또는 가상의 3차원 공간상의 물체들을 스큐하여 보정함으로써 3차원 입체 영상의 왜곡 현상을 조정하는 3차원 입체 영상 보정 방법에 관한 것이다.

일반적인 3차원 입체영상 표시장치, 예를 들어 렌티큘러(lenticular) 방식 또는 시차장벽(parallax barrier) 방식 등의 무안경 3D 디스플레이는 여러 시점에 해당하는 영상을 요구사항에 맞추어 공간적으로 각각의 시역이 형성되도록 조정함으로써, 좌안과 우안에 다른 시점의 영상이 인지되도록 하여 3차원 입체영상을 구현하는 장치이다. 즉, 무안경 방식의 3차원 입체영상 구현은 2시점 이상의 다시점에 해당하는 영상정보를 일반적인 2D 모니터(LCD 등)의 픽셀에 해당 시점별로 적절히 배치하고, 렌티큘러 방식 또는 시차장벽 방식을 이용하여 각 시점별 영상을 공간상에 구분하여 시역을 형성함으로써, 시청자가 3차원 영상을 경험하도록 구현한다.

일반적으로, 시차장벽 또는 렌티큘러 렌즈 는디스플레이 패널의 수직방향에 대해 일정 각도 기울어져 합착될 수 있으며, 이 경우 서브픽셀 각각은 다른 시점에 해당될 수 있다. 도 1은 시차장벽의 기울기에 따라 사선으로 배치된 동일 시점의 서브픽셀 배열을 나타내는 예시도이다. 도 1을 참조하면, 한 시점을 구성하는 서브픽셀은 시차장벽의 기울기와 동일한 기울기를 가지는 직선 상에 위치한다.

따라서 시점별 영상이 공간상으로 구분되어 시역이 설계된 대로 형성되기 위해서는 시차장벽 또는 렌티큘러 렌즈 필름이 원래 설계된 각도로 2D 디스플레이(예를 들어, LCD 등)상에 정확하게 정렬되어 합착되어야 한다. 그런데 일반적으로시차장벽 또는 렌티큘러렌즈 필름의 합착시 정렬오차(misalignment)가 발생할 수 있으며, 이로 인해 3차원 입체영상의 왜곡 또는 크로스토크 증가 및 시역범위의 축소 등의 문제가 발생한다. 이러한 문제는 디스플레이의 해상도가 클수록 더욱 심각해 지며, 이러한 정렬오차(misalignment)는 3차원 입체영상의 질을 매우 저하시키는 요인 중 하나이다. 특히, 도 2 및 [표 1]을 참조하면, 이러한 정렬오차에 의한 3차원 입체영상의 왜곡현상으로서, 깊이(depth)에 따라 3차원 입체 영상 이미지들이 더욱 기울어져 보이는 것을 알 수 있다.

왼쪽으로부터	깊이(mm)
1번째 막대기	0
2번째 막대기	-80
3번째 막대기	-160
4번째 막대기	-240
5번째 막대기	-320

이에 더하여, 도 3 및 [표 2]를 통하여도, 이러한 정렬오차에 의한 3차원 입체영상의 왜곡현상으로 깊이(depth)를 가진 3차원 입체영상 이미지들은 원래 이미지보다 기울어져 보이는 것을 알 수 있다.

물체	깊이(mm)	물체	깊이(mm)
1번 카드	-200	7번 카드	40
2번 카드	-160	8번 카드	80
3번 카드	-120	9번 카드	120
4번 카드	-80	10번 카드	160
5번 카드	-40	1번 카드	200
6번 카드	0	배경화면	210

또한, 도 2 및 도 3을 참조하면, 그 깊이가 증가할수록 기울어져 보이는 현상은 더욱 증가됨을 알 수 있다. 특히 도 3을 참조하면, 1번-4번 카드와 8번-11번 카드는 기울어지는 각도도 반대로 된다.

일반적으로, 시차장벽 또는 렌티큘 러필름의 합착공정시 정확도 및 정밀도에 있어서 오차가 발생할 수 있으며, 설계된 각도로 정확히 합착하는 것은 사실상 거의 불가능하다. 따라서, 이러한 합착 오차로 인해 발생하는 문제점을 해결하는 것이 필요하다.

본 발명의 목적은 시차장벽 및 렌티큘러 필름이 잘못 정렬되어 합착되 는경우라 하더라도 시점별 3차원 이미지 획득 시 또는 획득된 이미지를 보정함으로써 정렬오차에 의한 3차원 입체영상의 왜곡 등의 문제점을 해결하는 3차원 입체 영상 보정 방법을 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명의 일태양은, 3차원 입체 영상의 왜곡 현상을 조정하기 위한 3차원 입체영상 보정 방법에 있어서, (a) 시차장벽 또는 렌티큘러 필름의 정렬오차를 확인하는 단계; (b) 상기 정렬오차를 이용하여 보정각을 결정하는 단계 및; (c) 상기 보정각을 이용하여 이미지를 스큐(skew)하는 단계를 포함한다.

바람직하게, 상기 (a) 단계의 정렬오차(ΔM)는 서브픽셀(또는 픽셀)의 개수로 나타낸 정렬오차가 발생한 두 점간 거리이다. 이때, 임의의 점 A와 동일한 시점에 해당하는 점이 B이고, 정렬오차에 의한 동일 시점에 해당하는 임의의 점이 C일 때, 상기 정렬오차(ΔM)는 다음의 [수학식]를 이용하여 결정될 수 있다.

[수학식]

여기서, R은 동일시점을 구성하는 서브픽셀간의 최소수직거리의 최대배수에 해당하는 스크린의 수직 해상도보다 같거나 작은 값, m은 B와 C점이 모니터상에 동일 서브픽셀(또는 픽셀) 행에 위치할 때 서브픽셀(또는 픽셀) 개수로 나타낸 A점과의 수직거리, △n은B와 C점의 수평거리.

바람직하게, 상기 (b) 단계의 보정각(θ)은 3차원 입체영상의 이미지 깊이에 따라 결정되고, 상기 보정각(θ)은 다음의 [수학식]를 이용하여 결정될 수 있다.

[수학식]

여기에서,ΔM은 시차장벽 또는 렌티큘러 필름의 정렬오차 정도, N_v는 수직 시점 수, ΔC는 인접한 영상획득 카메라들 간의 간격, b는 서브픽셀들 간의 수직 간격, R은 동일시점을 구성하는 서브픽셀간의 최소수직거리의 최대배수에 해당하는 스크린의 수직 해상도보다 같거나 작은 값, L은 카메라와 스크린간의 거리, 및 d는 물체의 깊이로서 d<0이면 음의 깊이이고 d>0이면 양의 깊이이다.

바람직하게, 상기 3차원 입체영상의 이미지 깊이d 와 정렬오차 정도를 나타내는 ΔM의 부호에 따라 상기 수학식에서 상기 보정각(θ)이 양수이면 이미지는 반시계 방향으로 스큐되고, 상기 3차원 입체영상의 이미지 깊이d 와 정렬오차(misalignment) 정도를 나타내는 ΔM의 부호에 따라 상기 수학식에서 상기 보정각(θ)이 음수이면 이미지는 시계 방향으로 스큐된다.

바람직하게,상기 (c) 단계에서 스큐는, 높이(y)에 따른 좌표 매핑(x`)이고, 다음의 [수학식]를 이용하여 결정될 수 있다.

[수학식]

바람직하게, 상기 (c) 단계에서, 물체를 보정각을 이용하여 (가상의) 3차원 공간의 물체들을 스큐한 후 카메라를 통해 시점별 이미지를 획득하거나, 또는 직육면체 형태의 (가상의) 3차원 공간의 좌표를 깊이에 따라 달리 주어지는 보정각에 해당하는 좌표변환을 통해 기울어진 (가상의) 3차원 직육면체 공간상에서 시점별 이미지를 획득하거나, 또는 얻어진 각 시점별 이미지에 대해 각 서브픽셀(또는 픽셀)이 가지는 정보를 깊이에 따라 다른 보정각을 사용하여 스큐한 후 래스터라이제이션(rasterization)을 통해 한 장의 3차원 출력 영상을 만들 수 있다.

상기한 바와 같이 본 발명에 의하면, 무안경 방식의 3차원 입체영상 표시장치에서 시차장벽 또는 렌티큘러 필름이 정확히 정렬되어 합착되지 못한 경우에 발생되는 이미지의 왜곡현상을, 각 시점별 이미지 영상을 획득하는데 있어서 이미지를 보정함으로써 해결하는 방법이다. 따라서, 본 발명에 의하면 합착 정렬 오차발생으로 인한 3차원 입체영상의 왜곡을 제거하는 효과가 있다.

도 1은 종래의 시차장벽 기울기에 따라 사선으로 배치된 동일시점의 서브픽셀 배열의 예시도이다.
도 2는 종래의 렌티큘러 필름 또는 시차장벽의 정렬오차에 의한 수직한 막대기의 깊이 증가에따른 영상왜곡 현상의 예시도이다.
도 3은 종래의 렌티큘러 필름 또는 시차장벽의 정렬오차에 의한 카드의 깊이 증가에 따른 영상왜곡 현상의 다른 예시도이다.
도 4는 본 발명의 바람직한 실시예에 의한 3차원 입체 영상 보정 방법을 설명하기 위한 흐름도이다.
도5는 시차장벽 또는 렌티큘러 필름의 기울어진 정도에 해당하는 합착각도를 서브픽셀 개수를 통하여 확인하기 위한 방법을 설명하는 예시도이다.
도 6는 시차장벽 또는 렌티큘러 필름의 기울어진 정도에 해당하는 합착각도를 테스트 패턴을 통하여 확인하기 위한 방법을 설명하는 예시도이다.
도 7은 시차장벽 또는 렌티큘러 필름이 정렬오차(ΔM)로 기울어진 경우의 예시도이다.
도 8은 디스플레이 패널의 서브픽셀 구조를 설명하는 예시도이다.
도 9는 불일치(disparity)에 의해 발생되는 정렬오차(Misalignment)로 인한 영상왜곡 현상을 설명하는 예시도이다.
도 10 및 도 11은 음의 깊이(negative depth)를 가지는 이미지 영상의 보정 정도(skew 보정을 위한 각도)를 결정하는 수식의 유도과정을 설명하는 예시도이다.
도 12 및 도 13은 양의 깊이(positive depth)를 가지는 이미지 영상의 보정 정도(skew 보정을 위한 각도)를 결정하는 수식의 유도과정을 설명하는 예시도이다.
도 14는 이미지 영상의 보정 각도(θ)에 따라 이미지 영상이 스큐되는 방향을 나타내는 예시도이다.
도 15 및 도 16은 스큐의 의미를 설명하기 위한 예시도이다.
도 17은 본 발명에 따라 이미지 영상의 보정을 수행한 결과를 나타내는 예시도이다.

이하, 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.

비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.

또한, 각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 “포함한다(comprises)" 및/또는 “포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

또한, 본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 4는 본 발명의 바람직한 실시예에 의한 3차원 입체 영상 보정 방법을 설명하기 위한 흐름도이다.

도 4를 참조하면, 먼저 시차장벽 또는 렌티큘러 필름의 정렬오차를 확인한다(제100단계). 구체적으로, 정렬오차의 정도는 디스플레이 패널의 수직방향 대비시차장벽 또는 렌티큘러 필름의 기울어진 정도에 해당하는 합착각도를 확인하는 방식을 통하여 확인될 수 있고,이는 서브픽셀 개수로 표현될 수 있다.

보다 구체적으로, 시차장벽 또는 렌티큘러 필름의 기울어진 정도에 해당하는 합착각도는 아래와 같은 방법으로 확인될 수 있다.

도 5는 시차장벽 또는 렌티큘러 필름의 기울어진 정도에 해당하는 합착각도를 서브픽셀 개수를 통하여 확인하기 위한 방법을 설명하는 예시도이다. 일 실시예에서, 도 5를 참조하면, 렌티큘러 필름이 설계된 α각도로 합착되지 못하고α`으로 합착된 경우를 나타내고 있다. 도 5에서 큰 점들은 디스플레이 패널에서 임의의 서브픽셀(또는 픽셀)의 중심을 의미하고, a는 서브픽셀 중심간의 수평거리 그리고 b 는 서브픽셀 중심간의 수직거리를 나타낸다. 그리고, A, B, C 점은 합착각도를 확인하기 위한 임의의 점이다. 원래 합착각도가 α일 때, 픽셀상 임의의 점 A와 동일한 시점에 해당하는 B의 수평 길이가 X이고, 수직 길이가 H이다.따라서 상기 시점에 해당하는 시역에서 A점과 B 점을 구동시키면 동시에 관측된다. 하지만 합착이 원하는 대로 되지 못한 경우 A점과 B 점은 동시에 관측되지 않는다. 이때 A 점과 동시에 보이는 점, 예를 들어 도4 에서 C (또는 C`)를 찾음으로써 합착각도를 알아낼 수 있다. 즉, 잘못 합착된 각도 α`는 다음의 [식 1]을 이용하여 확인될 수 있다.

[식 1]

여기서, H는 점 A와 C의 수직거리, X`는 점 A와 C의 수평거리, a와 b는 각각 서브픽셀(또는 픽셀)중심간 가로 간격 및 세로 간격, n`과 m은 각각 X`와 H에 해당하는 서브픽셀(또는 픽셀) 개수, △n*a 는 합착각도 오차로 인해 발생한 서브픽셀(또는 픽셀)간 수평거리이다.상기 [식 1]에서 α`이 α 보다 큰 경우는 △n 의 부호를 - 로 정의한다. 즉, 예를들어 도 4에서 C`점에 해당한다.

바람직하게, 기울어진 정도를 나타내는 지표는 서브픽셀 개수로 표현되는

을 이용할 수 있고, 여기에서 R*b는 설계된 기울기상에 존재하는 동일시점의 최대 수직거리에 해당하므로, h 가 모니터의 수직해상도이며

의 배수로 주어질 때,

이다. 일반적으로 R*b은 동일시점을 구성하는 서브픽셀간의 최소수직거리의 최대배수에 해당하는 값으로 스크린의 수직 해상도보다 같거나 작은 값이 된다.

즉, 수직방향으로 H 만큼 떨어진 동일 시점을 구성하는 두 서브픽셀(또는 픽셀)을 구동하는 경우, 합착정렬이 잘 된 경우(파란선)에는 구동된 A(빨간점)와 B(파란점)가 해당 시역에 위치하는 관찰 카메라에게 동시에 보이게 된다. 하지만 정렬이 정확히 되지 않은 경우(예를 들어,α`로 합착된 경우), A가 보이는 관찰위치에서 B 점은 보이지 않게 된다. 이 때, B 점으로부터 수평으로 좌우에 위치한 서브픽셀(또는 픽셀)을 차례로 구동시킴으로써, A 점이 보이는 관찰위치에서 관찰 카메라에게 동시에 보여지는 C 점을 찾는다. 이렇게 합착각도α` 가 확인될 수 있다. 이러한 합착각도를 확인하는 방법은 관찰 카메라를 이용하여 두 점 이상을 이용하여 전술한 바와 동일한 방법으로 찾을 수도 있다.

또한, 정렬오차의 정도는, 도 6을 참조하면, 테스트 패턴을 통하여 확인될 수도 있다. 정렬오차의 정도 ΔM은, 도 6과 같이, 보정 전(Before correction)의 기울어져 보이는 막대기가 ΔM의 값에 따라 어느 경우에 수직하게 보이는지를 기초로 결정될 수 있다. 보다 구체적으로, 테스트 패턴(test pattern)으로서 깊이가 0이 아닌 수직한 막대기 형태의 3차원 입체영상을 구동하는 경우 정렬오차(misalignment)에 의하여 막대기가 기울어져 보이게 되므로, 정렬오차의 정도를 측정하는 정밀도에 따라, 예를 들어, ΔM=±1, ±2, ±3, ..., ±K에 해당하는 보정된 수직 막대기를 순차적으로 구동함으로써 ΔM이 어떤 값일 때 막대기가 수직하게 보이는지를 기초로 ΔM이 확인될 수 있다. 즉, 정렬오차의 정도는 ΔM을 기초로 K가 결정되거나 또는, K를 기준으로 어떠한 범위내에 해당하는 ΔM으로 보정한 보정 이미지들 중 수직한 막대기에 해당하는 ΔM를 찾음으로써 정렬오차의 정도가 확인될 수도 있다. 예를 들어, 도 6을 참조하면, 보정 전의 기울어진 막대기들(before correction)에 ΔM=0.5, ΔM=1.0, ΔM=1.5, 및 ΔM=2 서브픽셀 보정을 수행한 이미지들 중에서 ΔM=2로 보정된 이미지가 가장 수직한 막대기에 해당하므로, 정렬오차의 정도는 ΔM=2로 확인될 수 있다.도 6에서 왼쪽 막대기는 깊이(depth)가 0 인 막대기를 나타내고,오른쪽 막대기는 깊이(depth)가 음인 막대기의 경우이다.깊이가 음인 막대기의 왜곡방향 즉,기운방향은 합착각도가 + 인지 -인지에 따라 다르게 된다.

이에 더하여, 도 7은 시차장벽 또는 렌티큘러 필름이 정렬오차(ΔM)로 기울어진 경우의 예시도이고, 도 8은 디스플레이 패널의 서브픽셀 구조를 설명하는 예시도이다. 도 8에서, 렌티큘러 또는 시차장벽 피치(pitch)에 해당하는 수평방향 서브픽셀 개수

와 기울기에 해당하는 수직방향 서브픽셀 개수

로 구성되는 평행사변형 안에 총 시점수가 서브픽셀 별로 할당되게 된다.

도 7 및 도 8을 참조하면, 렌티큘러 필름 또는 시차장벽의 정렬오차가 ΔM인 경우, 왜곡된 3차원 입체 영상이 나타나는 원인은, 도 7에서 B가 m 번째 시점에 해당하면 C는 m-ΔM*N_v번째 시점이 되므로, 정렬오차된 렌트큘러 필름 또는 시차장벽의 기울기를 가지는 직선상에 위치하는 여러 다른 시점들이 관측자에게 동시에 보여지게 되기 때문이다. 여기에서, ΔM는 B에서 C까지의 거리에 해당하는 서브픽셀의 수이고, N_v는 수직방향의 거리에 해당하는 서브픽셀의 개수(수직 시점의 수)및 N_h는 수평방향의 거리에 해당하는 서브픽셀의 개수(수평 시점의 수)에 해당하며, 전체 시점의 수는 N=N_v*N_h가 된다. 여기에서, h가 모니터 수직 해상도 일 때,

을 가정하면, R은

로 주어지고, 여기에서, b는 서브픽셀들 간의 수직 거리이다. 일반적으로 R*b은 동일시점을 구성하는 서브픽셀간의 최소수직거리의 최대배수에 해당하는 값으로 스크린의 수직 해상도보다 같거나 작은 값이 된다. 즉, 렌티큘러 필름 또는 시차장벽이 정렬오차가 발생하면, 결과적으로 3차원 입체영상 이미지를 기울어져 보이도록 만든다. 예를 들어, 수직한 이미지의 경우는 도 2 및 도 3에서와 같이 3차원 입체영상의 수직한 물체가 기울어져 보이게 된다. 이때, 기울어진 정도는, 도 9과 같은 깊이(depth)를 가진 물체를 표현하는 2차원 평면(모니터 스크린 평면)상의 불일치(disparity)에 의해 입체영상이 기울어져 보이는 현상(왜곡)이 발생하기 때문에, 3차원 입체 영상 이미지가 가지는 깊이에 따라 그 정도가 달라진다. 즉, 도 9에서 깊이(|d|)가 클수록 더 많이 기울어지게 된다. 도 9에서의 모니터 수직 해상도 h는 총시점수(N=N_v*N_h)의 배수인 경우를 예를 들어 설명하였다.

다음으로, 다시 도 4를 참조하면, 제100단계에서 확인된 시차장벽 또는 렌티큘러 필름의 정렬오차를 이용하여 보정각을 결정한다(제200단계). 이러한 보정각은 3차원 입체영상의 이미지 깊이에 따라 달리 결정될 수 있다.

이하, 도 10 내지 도 13을 참조하여 이미지 영상의 보정 각도를 결정하는 방법을 구체적으로 설명한다.

먼저, 도 10 및 도 11은 음의 깊이(negative depth)를 가지는 이미지 영상의 보정 각도를 결정하는 수식의 유도과정을 설명하는 예시도이다. 음의 깊이(negative depth)란 3D 물체의 위치가 관측시 모니터 스크린 앞에 위치하는 경우이다. 여기서 모니터 스크린은 (가상의)3차원 공간상에서 불일치(disparity)가 0 인 평면에 해당한다.엄밀히 말해 (가상의)3차원 공간상의 모니터 스크린 위치는 불일치(disparity)가 0 인 평면보다 아주 약간 앞쪽(또는 뒤쪽)에 위치할 수 있다.이는 동일한 위치의 불일치(disparity)가 0 인 3차원 입체영상(예를 들어 점)을 표현하기 위한 각각의 시점에 해당하는 모니터 서브픽셀간의 거리차로 인한 불일치(disparity)발생을 의미하는 것으로 정렬오차(misalignment)로 인한 3차원 입체영상의 왜곡현상의 이유를 설명하는데 있어서는 무관하다.

도 10의 우측 도면을 참조하면, 수직하게 H(=b*R) 만큼 떨어져 있는 동일 시점의 두 점 A 및 B의 경우, 정렬오차에 의하여 A 점이 보이는 시역위치에서 같은 시점 정보를 가진 B 점이 동시에 보이지 않고, 다른 시점 정보를 가지는 C 점이 A 점과 함께 보이게 되어, 수직한 두 점이 기울어져 보이게 된다. 따라서, 이러한 기울어져 보이게 되는 현상을 해결하기 위하여, 수직한 두 점이 표현되기 위하여는 수직한 두 점 중 아래 점(C)을 나타내는 이미지를 x만큼 이동시켜야 한다. 그런데, 위에서 바라본 도면인도 10의 좌측 도면을 참조하면, 스크린 위치에 해당하는 적색 점이 이동되어야 하는 이동거리 x와, (가상의)3차원 공간상에 깊이(depth)를 가지는 물체의 위치에 해당하는 청색 점이 이동되어야 하는 이동거리 x`은 [식 2]과 같은 관계를 만족한다.

[식 2]

[식 2]에서L은 카메라와 스크린간의 거리, d는 3차원 (가상)공간 상의 물체의 깊이에 해당한다.또한, 도 10에서 l은, l=ΔM*N_v*ΔC를 만족하고, ΔC는 시점별 영상획득 카메라들 간의 간격(길이)에 해당한다.도 10 에서 모니터 수직 해상도 h는 총시점수(N=N_v*N_h)의 배수인 경우를 예를 들어 설명하였다.

도 11을 참조하면, 중앙 도면은 스크린 평면상 x를 기준으로 한 보정각이고, 우측 도면은 거리에 따른 스크린 평면과 물체 위치 평면의 크기관계를 나타낸 것이고, 좌측 도면은 스크린 평면과 물체 평면을정면(우측도면의 삼각형의 우측 꼭지점)에서 바라본 도면을 나타낸다.여기서 스크린 평면과 물체 평면의 크기가 달라 x와 x`은 다르지만,각도는 두 평면상에서 동일하게 됨을 알 수 있다.

따라서, 보정각(θ)은 다음의 [식 3]를 이용하여 결정한다.

[식 3]

수학식 3에서

는 수직 시점 수, ΔC는 인접한 영상획득 카메라간의 간격(길이), b는 서브픽셀들 간의 수직 간격, 및 R은 스크린의 수직 해상도 와 관련이 있다.보다 정확히는 일반적으로 R은 동일시점을 구성하는 서브픽셀간의 최소수직거리의 최대배수에 해당하는 값으로 스크린의 수직 해상도보다 같거나 작은 값이 되며, 모니터 해상도 h 가

의 배수인 경우에는

이다. 도 11에 도시된 각 변수간의 관계를 이용하여 보정각이 결정되며, 스크린 면(x 기준) 또는 물체 면(x` 기준)에서 보정각(θ)의 동일함은 상기 수식을 통해서도 증명된다.

다음으로, 도 12 및 도 13은 양의 깊이(positive depth)를 가지는 이미지 영상의 보정 각도를 결정하는 수식의 유도과정을 설명하는 예시도이다. 양의 깊이(positive depth)란 3D 물체의 위치가 관측시 모니터 스크린 뒤에 위치한 경우이다.

도 12의 우측도면을 참조하면, 수직하게 H(=b*R) 만큼 떨어져 있는 동일 시점의 두 점 A 및 B의 경우, 정렬오차에 의하여 A 점이 보이는 시역위치에서 같은 시점 정보를 가진 B 점이 동시에 보이지 않고, 다른 시점 정보를 가지는 C점이 A 점과 함께 보이게 되어, 수직한 두 점이 기울어져 보이게 된다. 따라서, 이러한 기울어져 보이게 되는 현상을 해결하기 위하여, 수직한 두 점이 표현되기 위하여는 수직한 두 점 중 아래 점을 나타내는 이미지를 x만큼 이동시켜야 한다. 그런데, 위에서 바라본 도면인 도 12의 좌측 도면을 참조하면, 스크린 위치에 해당하는 적색 점이 이동되어야 하는 이동거리 x와, 물체의 위치에 해당하는 청색 점이 이동되어야 하는 이동거리 x`은 [식 4]과 같은 관계를 만족한다.

[식 4]

[식 4]에서 L은 카메라와 스크린간의 거리, 및 d는 물체의 깊이에 해당한다. 또한 도 12에서 l은, l=ΔM*N_v*ΔC를 만족하고, ΔC는 시점별 영상획득 카메라들간의 간격(길이)에 해당한다.

도 13을 참조하면, 중앙 도면은 스크린 평면상 x를 기준으로 한 보정각이고, 우측 도면은 거리에 따른 스크린 평면과 물체 위치 평면의 크기관계를 나타낸 것이고, 좌측 도면은 스크린 평면과 물체 평면을 정면(우측도면의 삼각형의 우측 꼭지점)에서 바라 본 도면을 나타낸다.여기서 스크린 평면과 물체 평면의 크기가 달라 x와 x`은 다르지만,각도는 역시 두 평면상에서 동일하게 됨을 알 수 있다.

따라서, 마찬가지로 식4에서와 같은 유도과정을 통해 보정각(θ)은 다음의 [식 5]를 이용하여 결정한다.

[식 5]

수학식 5에서

는 수직 시점 수, ΔC는 인접한 영상획득 카메라간의 간격(길이), b는 서브픽셀들 간의 수직 간격, 및 R은 스크린의 수직 해상도 와 관련이 있다.보다 정확히는 일반적으로 R은 동일시점을 구성하는 서브픽셀간의 최소수직거리의 최대배수에 해당하는 값으로 스크린의 수직 해상도보다 같거나 작은 값이 되며,모니터 해상도 h 가

의 배수인 경우에는

이다.도 13에 도시된 각 변수간의 관계를 이용하여 보정각이 결정되며, 스크린 면(x 기준) 또는 물체 면(x`기준)에서 보정각(θ)은 역시 동일하다.

결론적으로, 상기 설명한 바와 같은 음의 깊이와 양의 깊이를 모두 고려하면, 이미지 영상의 보정 각도는 이미지 영상의 깊이(depth)와 정렬오차(misalignment) 정도인 ΔM에 의해 아래의 [식 6]과 같이 결정할 수 있다.

[식 6]

다음으로, 다시 도 4를 참조하면, 제200단계에서 결정된 보정각을 이용하여 이미지를 스큐(skew)한다(제300단계).

도 14는 이미지 영상의 보정 각도에 따라 이미지 영상이 스큐되는 방향을 나타내는 예시도이다. 도 14를 참조하면, 위의 [식 6]에서 이미지의 깊이 d가 양의 깊이로서, “d>0”이고 “ΔM>0”이면, 도 14의 (a)와 같이 양의 보정각이 결정되어 이미지는 반시계 방향으로 스큐된다. 반대로, [식6]에서 이미지의 깊이 d가 음의 깊이로서, “d<0”이고 “ΔM>0”이면, 도 14의 (b)와 같이 음의 보정각이 결정되어 이미지는 시계방향으로 스큐된다. 즉,보정각(θ)의 부호에 따라 스큐하는 방향이 수식에 의해 달리 결정된다.

여기에서, 깊이에 따라 다른 각도로 3차원 공간상의 물체면(3D object plane)를스큐(skew)한다는 것은, 도 15와 같다. 도 15는 스큐의 의미를 설명하기 위한 예시도로서, 3차원 (가상)공간의 어떠한 깊이상에 위치하는 일 단면이 스큐되는 경우를 나타내는 예이다. 직사각형인 물체면 즉,(가상의)3차원 공간상의 어떤 깊이에 해당하는 단면을 전체적으로 회전시키는 것이 아니라, 수직 y 축을 기준으로 평행사변형 형태로 수직각을 보정각에 따라 변형시키는 것이다. 따라서, 도 15의 우측도는“d>0”이고“ΔM>0”인 경우 양의 보정각이 결정되어 이미지가 반시계 방향으로 스큐되는 것을 보여주고, 도 15의 좌측도는“d<0”이고 “ΔM>0” 인 경우 음의 보정각이 결정되어 이미지가 시계방향으로 스큐되는 것을 보여준다.

또는 도 15 및 [식 7]을 참조하면, 스큐라는 것은(가상의)3차원 공간상의 어떤 깊이에 해당하는 단면에서의 높이에 따른 좌표 매핑(변형(translation))를 의미한다. 도 16은 스큐정도에 대한 기준 정보로서의 소위 스큐각도 θ가 단순 회전을 의미하는 θ`과 다름을 설명하기 위한 예이다.

[식 7]

결과적으로, 본 발명은 상기와 같은 방법으로 결정된 보정각도로 3차원 이미지를 스큐하여 보정함으로써, 보정된 각 시점별 이미지를 획득할 수 있다. 예를 들어, (가상의) 3차원 공간상의 물체 이미지를 각 시점에 해당하는 여러 카메라로 획득하는 경우에는 물체를 보정각을 이용하여 스큐한 후 카메라를 통해 시점별 이미지를 획득하거나, 또는 직육면체 형태의 (가상의)3차원 공간의 좌표를 깊이에 따라 달리 주어지는 보정각에 해당하는 좌표변환(skew)를 통해 얻어지는 기울어진(skewed) (가상의)3차원 직육면체 공간상에서 시점별 이미지를 획득하거나,또는 얻어진 각 시점별 이미지에 대해 각 서브픽셀(또는 픽셀)이 가지는 정보(픽셀값 또는 색정보)를 깊이에 따라 다른 보정각을 사용하여 스큐한 후 래스터라이제이션(rasterization) 을 통해 한 장의 3차원 출력 영상을 만들 수도 있다.

도 17은 본 발명에 따라 이미지 영상의 보정을 수행한 결과를 나타내는 예시도로서, (a)는 보정전의 왜곡된 3차원 이미지 영상을 나타내며, (b)는 보정된 후의 올바른 모습의 3차원 이미지 영상을 나타낸다. 구체적으로, 도 17의 (a)는 렌티큘러 필름의 정렬오차에 의한 영상의 왜곡 현상을 보이는 3차원 입체 영상 이미지에 해당하고, 도 17의 (b)는 상기의 [식 6]을 이용하여 결정된 보정 각도를 이용하여 깊이에 따른 이미지 영상의 보정을 수행한 후의 3차원 입체 영상 이미지에 해당한다. 도 17 (a)를 참조하면 물체의 깊이별로 각각 다르게 기울어져 보이는 현상이 있으나, 도 17의 (b)를 참조하면 깊이에 따른 이미지 영상의 보정을 수행하여 물체들이 모두 수직하게 보정된 것을 알 수 있다.

전술한 본 발명에 따른 3차원 입체 영상의 왜곡 현상을 조정하기 위한 3차원 입체영상 보정 방법에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.

Claims (10)

1. 3차원 입체 영상의 왜곡 현상을 조정하기 위한 3차원 입체영상 보정 방법에 있어서,
   (a) 시차장벽 또는 렌티큘러 필름의 정렬오차를 확인하는 단계;
   (b) 상기 정렬오차를 이용하여 보정각을 결정하는 단계 및;
   (c) 상기 보정각을 이용하여 이미지를 스큐(skew)하는 단계를 포함하되,
   상기 (b) 단계의 보정각(θ)은 3차원 입체영상의 이미지 깊이에 따라 결정되는 것을 특징으로 하는 3차원 입체 영상 보정 방법.
   
2. 제1항에 있어서, 상기 (a) 단계의 정렬오차(ΔM)는 서브픽셀(또는 픽셀)의 개수로 나타낸 정렬오차가 발생한 두 점간 거리인 것을 특징으로 하는 3차원 입체 영상 보정 방법.
   
3. 제2항에 있어서,
   임의의 점 A와 동일한 시점에 해당하는 점이 B이고, 정렬오차에 의한 동일 시점에 해당하는 임의의 점이 C일 때,
   상기 정렬오차(ΔM)는 다음의 [수학식]를 이용하여 결정되는 것을 특징으로 하는 3차원 입체 영상 보정 방법.
   [수학식]

   

   
   여기서, R은 동일시점을 구성하는 서브픽셀간의 최소수직거리의 최대배수에 해당하는 스크린의 수직 해상도보다 같거나 작은 값,m은 B와 C점이 모니터상에 동일 서브픽셀(또는 픽셀) 행에 위치할 때 서브픽셀(또는 픽셀) 개수로 나타낸 A점과의 수직거리,△n은 B와 C점의 수평거리.
   
4. 삭제
5. 제1항에 있어서, 상기 보정각(θ)은 다음의 [수학식]를 이용하여 결정되는 것을특징으로 하는 3차원 입체 영상 보정 방법.
   [수학식]
   

   

   
   여기에서,ΔM은 시차장벽 또는 렌티큘러 필름의 정렬오차 정도, N_v는 수직 시점 수, ΔC는 인접한 영상획득 카메라들 간의 간격, b는 서브픽셀들 간의 수직 간격, R은 동일시점을 구성하는 서브픽셀간의 최소수직거리의 최대배수에 해당하는 스크린의 수직 해상도보다 같거나 작은 값, L은 카메라와 스크린간의 거리, 및 d는 물체의 깊이로서 d<0이면 음의 깊이이고 d>0이면 양의 깊이이다.
   
6. 제1항에 있어서,
   상기 3차원 입체영상의 이미지 깊이가 양의 깊이이면 이미지는 반시계 방향으로 스큐되고, 상기 3차원 입체영상의 이미지 깊이가 음의 깊이이면 이미지는 시계 방향으로 스큐되는 것을 특징으로 하는 3차원 입체 영상 보정 방법.
   
7. 제6항에 있어서,상기 (c) 단계에서 스큐는, 높이(y)에 따른 좌표 매핑(x`) 이고, 다음의 [수학식]를 이용하여 결정되는 것을 특징으로 하는 3차원 입체 영상 보정 방법.
   [수학식]

   

   
   
8. 제1항에 있어서,상기 (c) 단계에서,
   물체를 보정각을 이용하여 스큐한 후 카메라를 통해 시점별 이미지를 획득하는 것을 특징으로 하는 3차원 입체 영상 보정 방법.
   
9. 제1항에 있어서,상기 (c) 단계에서,
   직육면체 형태의 3차원 공간의 좌표를 깊이에 따라 달리 주어지는 보정각에 해당하는 좌표변환을 통해 기울어진 3차원 직육면체 공간상에서 시점별 이미지를 획득하는 것을 특징으로 하는 3차원 입체 영상 보정 방법.
   
10. 제1항에 있어서,상기 (c) 단계에서,
    얻어진 각 시점별 이미지에 대해 각 서브픽셀(또는 픽셀)이 가지는 정보를 깊이에 따라 다른 보정각을 사용하여 스큐한 후 래스터라이제이션(rasterization)을 통해 한 장의 3차원 출력 영상을 만드는 것을 특징으로 하는 3차원 입체 영상 보정 방법.

Images