KR102421162B1 - 입체 사각지대를 극소화한 무안경방식 입체영상의 제작 방법 - Google Patents

Abstract

렌티큘러렌즈(lenticular lens) 또는 시차 판(parallax barrier)을 이용한 무안경방식(auto-stereo or glasses-free) 입체이미지(stereoscopic image) 및 입체모니터의 입체영상(stereo contents)은 좌, 우 눈에 각기 맺혀지는 각기 다른 각도의 이미지의 조합 즉, 입체 세트(stereo set)가, 한정된 영상소스로 인해서 그 조합도 유한(limited)한데 당해 입체 세트의 끝나는 지점과 다시 시작되는 지점 사이에서 어지럽게 겹쳐 보이는 좌우반전 입체(reversed stereo) 현상이 나타나게 되고 이로 인하여 입체로 볼 수 없는 영역인 입체 사각지대(3D dead zone)가 생겨나는데 이것은 종래의 인터레이싱(interlacing) 방식에서는 피할 수 없는 결과이다. 따라서 본 발명은 이러한 좌우반전에 의한 입체 사각지대를 유발하는 기존방식의 인터레이싱의 문제를 해결하여 눈의 피로를 극소화하여 편안한 입체영상을 구현하는 새로운 방식의 인터레이싱에 관한 것이다.

Description

입체 사각지대를 극소화한 무안경방식 입체영상의 제작 방법{Methods of making auto-stereo images with reduced 3D dead zones}

본 발명과 관계된 기술분야는 렌티큘러렌즈(lenticular lens) 및 시차 판(parallax barrier)을 이용한 무안경방식(auto-stereoscopic)의 입체이미지의 제작 및 당해 자재로 만들어진 입체모니터용 입체영상 콘텐츠를 제작하는 영역이다.

렌티큘러렌즈 또는 시차 판을 이용하여 제작되는 무안경방식의 입체이미지 및 당해 자재로 제작된 무안경방식 입체모니터용 입체 콘텐츠를 제작하는데 관련된 기술들은 선행특허 및 관련 문헌이 매우 많이 존재하고 있다. 여기서 가장 중요한 것은 무안경 입체이미지 및 입체모니터용 영상을 제작하는 과정에서 인터레이싱(interlacing)이 진행되는데 이는 다각도(multi camera angle)의 영상 소스(image source)를 픽셀(pixel)의 단위로 나누어 일정한 배열로 순차적으로 섞어 짜면서 렌티큘러렌즈 또는 시차 판과 광학적으로 매칭(optical matching)이 되도록 피치(pitch)를 맞춰서 하나의 영상으로 만드는 과정이다. 이러한 인터레이싱 방법이 본 발명과 직접적인 관련이 있는 기술이라고 할 수 있다.

미국특허 US7,457,038 B2

Parallax barrier from Wikipedia (URL: https://en.wikipedia.org/wiki/Parallax_barrier)

무안경방식의 입체영상은 다각도의 영상 소스를 각기 픽셀의 단위로 분할하여 렌티큘러렌즈 및 시차 판 후면에 일정한 순열로 배열시킴으로써 관찰자(viewer)가 어느 위치에 있든지 좌, 우 눈에 각기 다른 각도의 영상이 보이도록 하는 원리로 작동되는데 영상소스의 수가 한정되어 있으므로 좌, 우 눈에 보이는 영상의 조합인 입체 세트(stereo set)도 그 수가 한정될 수밖에 없다. 따라서 당해 입체 세트가 끝나는 지점과 다시 시작되는 지점의 사이에서 좌우반전현상이 발생하게 되며 관찰자가 당해 지점에 도달하면 좌, 우 눈에 각기 좌우가 뒤바뀐 반대각도의 영상이 보이는 현상이 발생하게 되는데 이를 좌우반전 입체(reversed stereo) 또는 가성 입체 (pseudo-scopic stereo)라고 부르며 이로 인하여 정상적인 입체영상의 구현이 안 될 뿐 아니라 영상이 겹쳐 보여서 어지럽고 눈에 피로를 주는 영역(area)인 입체 사각지대(3D dead zone)가 생기는 것이다. 기존방식의 인테레이싱에 의해서 생성되는 무안경방식의 입체영상은 이러한 문제로 인하여 입체영상의 활성화에 큰 걸림돌이 되고 있다. 따라서 이러한 입체사각지대(3D dead zones)을 제거하거나 극소화한 무안경방식의 입체이미지 및 입체모니터용 입체콘텐츠를 생성하는 방법이 필요하며 본 발명은 그러한 기존방식의 인터레이싱의 문제점의 해결을 통하여 어지러움이 없고 눈이 편안한 무안경방식의 입체이미지 및 입체모니터용 입체콘텐츠의 생성을 도모하고자 하는 것이다.

상기 기술한 바대로 입체 세트의 끝나는 지점과 다시 시작되는 지점 사이에서 발생하는 좌우반전 현상에 의한 입체 사각지대를 극소화하기 위하여 기존과는 다른 방식의 인터레이싱이 필요한데 이를 위하여 영상 소스의 이미지의 구도에 따라서 그에 적합한 이미지 데이터의 순열 변경 등이 필요하다. 따라서 각각의 소스 영상의 구도에 적합한 방식의 인터레이싱을 통하여 입체 사각지대를 제거하거나 극소화는 방법을 통하여 이러한 문제들을 해결할 수 있다.

본 발명의 인터레이싱방식을 적용한 입체이미지 및 입체모니터용 입체 영상은 좌우반전의 문제로 인하여 발생하는 입체 사각지대로 인하여 공공장소에서 불특정 다수가 보는 입체홍보, 광고 및 입체간판, 인테리어 등의 분야에 진입하는 것이 어려웠다. 그러나 본 발명을 통하여 그러한 진입장벽의 원인의 해소가 가능하여 무안경방식의 입체이미지 및 입체모니터를 이용한 홍보, 광고 및 간판, 인테리어가 가능하므로 본 발명의 효과는 매우 크다고 볼 수 있다.

도면 1은 기존의 인터레이스 방식을 도시화한 것으로 예시적으로 8개 카메라 각도의 영상 소스를 이용할 경우 영상 소스의 순열과 관찰자의 위치에 따라서 각각의 렌즈 선(lens lines or lenticules)을 통하여 좌, 우 눈에 각기 보이는 이미지가 바뀌는 것을 설명하기 위한 도면이다.
도면 2는 인터레이스에 사용되는 영상 소스가 가지는 시차(parallax)를 설명하기 위한 도면이다.
도면 3은 이미지 구성요소들이 가지는 시차가 입체영상에서 미치는 상관관계를 입체적으로 설명하기 위한 것이다.
도면 4는 본 발명에 의한 변형된 순차의 인터레이싱의 방식을 도식화한 것으로 도면 1과 동일하게 8개의 카메라 각도의 영상 소스을 사용하는 예이다.
도면 5는 도면 1의 예시처럼 기존방식의 인터레이싱을 사용한 입체영상이 실제 보여지는 현상을 설명하기 위한 것이다.
도면 6은 도면 4에서 설명한 첫 번째 새로운 순열의 인터레이싱에 의해서 얻어지는 입체효과를 도시화한 것이다.
도면 7은 소스 영상의 이미지 구도에 따라서 선택적으로 적용할 수 있는 본 발명의 두 번째의 새로운 방식의 인터레이싱을 도시화한 것이다.
도면 8은 상기 도면 7에 기술된 인터레이싱을 적용할 경우 실제로 입체로 보이는 현상을 입체적으로 보여주기 위한 것이다.
도면 9는 소스 영상의 각기 다른 구도 및 그에 따른 특성을 설명하기 위한 것이다.
도면 10은 기존방식과 도면 7의 본 발명의 두 번째 방식에 따른 좌우반전 시차의 크기를 비교하여 보여주기 위한 것이다.

본 발명의 근본적인 목적은 렌티큘러렌즈 및 시차 판을 이용하여 제작되는 무안경방식의 입체이미지 및 당해 자재들로 만들어진 입체모니터용 입체콘텐츠가 가지고 있던 문제인 입체 사각지대가 발생하는 근본적인 원인을 제거하는 것이기 때문에 이를 위한 새로운 인터레이싱의 방식이 필요하다. 따라서 기존 방식의 문제점을 먼저 설명하고 이를 토대로 본 발명의 실시 수단에 대해서 기술하고자 한다. 도면 1은 8개의 각기 다른 카메라 각도의 이미지들을 사용하는 8안(8 views) 방식의 예로서 가장 왼쪽 각도의 이미지인 극 좌상(leftmost image)을 이미지 #1로 하여 점차로 우측으로 이동한 카메라 각도의 이미지들을 이미지 #2, #3, #4, #5, #6, #7, #8로 순차적으로 번호를 매기면 이미지 #8이 가장 우측 각도의 카메라의 이미지 즉, 극 우상(rightmost image)이 된다. 이때 렌티큘러렌즈를 구성하는 각각의 렌즈 선(lens line or lenticule) 즉, 도면 1의 상단에 표기된 lens line #1, #2, #3 등으로 번호가 매겨진 각각의 렌즈 선 안에 들어가는 이미지 데이터는 상기 언급한 8개의 각기 다른 이미지로부터 픽셀단위로 분할하여 순차적으로 불러와서 섞어 짜이게 되는데 이미지 #1에서 첫 번째 픽셀을 그리고 이미지 #2에서 두 번째 픽셀 등의 순서대로 첫 번째 렌즈 선 안에 픽셀 8개의 데이터가 모두 들어가고 나면 그 다음 단계에 렌즈 선 #2 안에 들어가는 이미지는 이미지 #1의 9번째 픽셀, 이미지 #2의 10번째 그리고 이미지 #3의 11번째 등으로 형식으로 인터레이싱이 진행되게 된다. 따라서 도면 1의 예처럼 관찰자가 '9'의 위치에 있을 때는 관찰자의 좌측 눈에 표기된 시선(viewing line) 1, 2처럼 픽셀 1, 1-1 등이 들어오고 우측 눈에는 표기된 3, 4처럼 픽셀 2,2-1 등이 들어오게 되어 좌측 눈에는 왼쪽 카메라 각도의 이미지 데이터가 그리고 우측 눈에는 점차로 우측으로 이동한 카메라 각도의 이미지 데이터가 들어와서 정상적인 입체 데이터를 제공하는 입체 세트(stereo set)가 구성되므로 입체영상의 구현에 아무런 문제가 없다. 하지만, 관찰자가 이동하여 '10'의 위치에 도달할 경우 좌측 눈에는 표기된 5, 6처럼 가장 극 우상(rightmost image)의 데이터인 8, 8-1 등이 들어오는데 이보다 더 우측으로 이동된 카메라 각도의 이미지 데이터 즉, 이미지 #9가 없기 때문에 결국은 우측 눈에는, 표기된 7, 8처럼 극 좌상(leftmost image)의 데이터인 1-1, 1-2 등이 들어오게 되어 좌, 우가 바뀌는 현상 즉, 좌우반전 입체현상(reversed stereo phenomenon)이 발생하며 이로 인해서 이미지가 겹쳐서 어지럽고 입체가 구현되지 않는 영역(area)이 생겨나는데 이를 입체 사각지대(3D dead zones)라고 부른다. 여기서 중요한 것은 좌우반전현상에 의해서 생기는 문제점인 겹쳐 보이고 입체가 제대로 구현이 안 되는 이유는 좌, 우 눈의 반대 각도의 영상이 각각의 눈에 거꾸로 맺히는 것이 그 근본적인 문제이긴 하지만 무엇보다도 극우 상 즉, 이미지 #8과 극 좌상 즉, 이미지 #1 사이의 시차가 너무 커서 사람의 뇌가 정상적으로 합성(fusion)을 이룰 수 없기 때문이다. 이는 여러 개 각도의 영상 소스를 사용하는 무안경방식의 입체영상의 시차가 양안방식 입체영상(binocular stereo image)이 가지는 시차의 3배 이상이기 때문인데 양안방식의 경우는 인간의 눈이 가지는 적정 시차에 해당하는 좌, 우 두 개의 이미지로만 구성되어 입체 세트가 한 개만 존재하는데 반해서 무안경방식의 입체영상은 관찰자의 여러 위치에 대응하는 다수의 입체 세트가 필요하기 때문에 그만큼 큰 시차를 가질 수밖에 없는 것이다. 한편, 도면 1, 도면 4 및 도면 7은 관찰자의 위치에 따라서 렌즈 아래에 숨겨진 영상 데이터가 관찰자의 위치변동시 좌, 우 눈에 보이는 데이터의 변화에 대한 기본원리를 설명하기 위해서 간략히 표기된 것이라서 추가적인 설명이 필요한데 도면 1을 예로 들면 관찰자가 '9'의 위치에 있을 때 좌측 눈에 들어오는 이미지 데이터는 1, 1-1로 표기되어 있지만 실제로는 1, 1-1, 1-2, 1-3...처럼 입체이미지의 가로 폭에 거쳐서 존재하는 모든 렌즈 선 아래 각기 존재하는 해당 각도의 데이터를 모두 보게 되므로 오른쪽 눈도 마찬가지로 2, 2-1의 데이터뿐만이 아니라 2, 2-1, 2-4...처럼 우측의 해당 각도의 데이터 전부를 보게 된다. 물론 이는 관찰자가 피치 값(pitch value)에 맞는 '적정입체 응시거리 (optimal stereo viewing distance)'에 위치한 경우에 한하며 관찰자가 좌우로의 수평이동이 아니고 입체이미지의 앞으로 더 가까이 또는 뒤로 더 멀리 가게 되어 당해 적정입체응시거리를 벗어날 경우는 좌측 눈에 단순하게 1, 1-1, 1-3 등이 보이는 대신에 1,2-1, 3-2 등이 들어오고 우측 눈에는 2, 2-1, 2-3이 아닌 2, 3-1, 4-2 등의 이미지의 결합의 형태로 입체 세트가 생성되게 된다. 따라서 이렇게 적청입체응시거리를 벗어나면 하나의 각도의 이미지에서 분리된 데이터들만 보는 것이 아니라 여러 각도의 이미지의 데이터를 묶어서 보게 되는 원리이다. 또 한 본 발명을 이해하기 위해선 영상소스의 구도와 영상을 구성하는 각 객체들이 가지는 시차에 대한 선행적인 이해가 필요하다. 기본적으로 입체영상은 시차에 의해서 구현되는 것인데 도면 2의 'a'에서 객체(object)인 사각형이 이미지 #1의 안에서의 위치가 21이라고 가정하면 이미지 #8의 안에서의 위치는 23처럼 원래의 위치에서 좌측으로 이동하게 되며 이에 따라서 원래의 위치와 변경된 위치 사이에 25와 같은 간격이 발생하게 되는데 이를 시차(parallax)라고 부른다. 이렇게 원래의 위치에서 이미지의 카메라의 각도가 우측으로 점차 이동할수록 객체의 위치가 반대편인 좌측으로 이동하는 경우에 발생하는 시차를 마이너스 시차(negative parallax)라고 하며 이런 경우에 당해 객체인 사각형은 입체영상에서 화면을 기준으로 튀어나와 보이게 된다. 그리고 본 도면의 'b'에서처럼 객체인 동그라미의 원래의 위치가 22라고 가정할 때 우측 각도의 이미지에서의 위치가 24처럼 카메라와 동일한 방향인 우측으로 이동하여 26과 같은 시차를 가지는 경우를 플러스적 시차(positive parallax)라고 부르며 당해 객체인 동그라미는 입체영상으로 보면 화면을 기준으로 안으로 들어가 보이게 된다. 물론 a, b와 달리 좌, 우 눈에 보이는 이미지의 시차가 전혀 없는 객체의 경우는 화면의 표면에 보이게 되며 이를 '0'의 시차(zero parallax)라고 부른다. 아울러 도면 3의 예시처럼 b-1의 동그라미 간의 시차(32) 보다 c-1의 삼각형의 플러스적 시차(35)가 더 클 경우 당해 삼각형은, 입체영상으로 볼 때 동그라미보다 화면 안으로 더 들어가 보이게 되며 본 도면에는 나와있지 않지만 만일 어떤 임의의 객체가 a-1의 사각형의 시차(31)보다 더 큰 마이너스의 시차를 가진다면 당해 객체는 입체영상으로 볼 때 본 도면의 사각형보다 더 돌출되어 보이게 되는 원리이다. 지금까지 설명한 내용을 바탕으로 기존방식의 인터레이싱의 문제점을 좀 더 세부적으로 설명하자면 도면 1의 예시에서 사용된 영상소스가 도면 3에 예시된 것과 같은 시차를 가진 객체들로 구성되어 있다 가정할 때 도면 1의 관찰자의 위치가 '9'에 있을 경우는 도면 5의 'f'의 경우와 같이 관찰자가 보는 방향(57)에서 화면의 표면(56)을 기준으로 사각형의 객체(58)는 밖으로 튀어나오고 동그라미(59)는 안으로 들어가 보이며 삼각형(60)은 그보다 더 안으로 들어가 보이는 형태로 정상적인 입체가 구현되며 이러한 정상적인 입체의 구현은 관찰자의 좌측 눈에 이미지 #7 그리고 우측 눈에 이미지 #8의 데이터가 들어올 때까지 유지되고 관찰자의 위치가 '10'에 이르러 좌우반전 현상이 발생하면 도면 5의 'g'에서처럼 관찰자가 보는 방향(61)에서 가장 안으로 들어가 보여야 하는 삼각형(64)이 화면의 표면(56)을 기준으로 가장 많이 튀어나오고 그 다음에 동그라미(63)가 돌출되어 보이는 반면에 돌출되어야 할 사각형(62)이 안으로 들어가 보이는 기이한 현상이 발생한다. 예를 들어서 도면 5의 'f'와 'g'의 삼각형(60, 64)이 원경인 먼 산이고 동그라미(59, 63)가 그보다 관찰자에게 가까운 건물이며 사각형(58, 62)이 가장 근경인 사람이라고 가정할 때 'f'의 경우는 아무런 문제없이 정상적인 입체가 구현되겠지만 'g'의 경우는 가장 멀리 있는 산이 앞으로 튀어나오고 근경인 건물이 산의 뒤로 그리고 가장 근경인 사람이 건물과 산을 뚫고 그보다 더 깊이 들어가 보이게 되는 실제와는 전혀 반대의 입체구도가 만들어지게 되고 이러한 형태의 입체영상의 데이터를 사람의 뇌에 입력하여 합성을 요구하는 결과를 초래하게 된다. 이런 경우 좌우반전의 시차가 너무나 커서 사람의 뇌에서 당해 시차의 이미지들의 합성을 이루지 못할 뿐 아니라 인간의 경험과 반대되는 입체 구도를 보게 되므로 결과적으로 나타나는 현상은 단순히 겹쳐 보이고 어지럽다는 느낌만이 들게 되는 것이다. 이와 더불어 입체 영상의 이미지를 구성하는 요소인 객체들의 구도 및 객체들 사이의 위치적인 상호관계도 중요한 부분인데 도면 9의 'k'처럼 객체인 사각형(76)과 동그라미(77)가 서로 떨어져 있는 경우와 'l'처럼 두 개의 객체(78, 79)가 서로 맞물리는 구도로 크게 두 가지로 분류할 수 있는데 인간의 뇌는 일상의 경험을 통해서 'l'의 예처럼 사각형(78)이 동그라미(79)의 왼쪽 부분을 덮고 있는 형태(occlusion)를 근거로 사각형이 동그라미보다 더 앞에 있다는 것을 인지하게 된다. 하지만, k의 구도의 경우는 그러한 판단을 할 수 있는 근거가 없기 때문에 시각적으로 제공되는 객체들의 시차에 의해서만 어느 것이 앞에 있고 뒤에 있는지를 판단하게 되는 것이다. 상기 서술된 내용을 근거로 본 발명의 새로운 인터레이싱의 방식을 설명하자면 도면 4의 상단의 예시처럼 8개 각도의 영상소스를 사용하는 경우 기존방식의 인터레이싱은 이미지 #1 ~ #8까지의 구간을 렌즈 선 #1, #2, #3... 등의 순으로 픽셀단위로 배열하는데 반하여 본 발명의 인터레이싱은 영상 소스의 배열에서 이미지 #1로 시작하여 이미지 #5에 도달하면 그 다음부터 이미지를 역순으로 배열하는 방식으로 렌즈 선 #1 아래에 1, 2, 3, 4, 5 그리고 역순으로 4, 3, 2를 배열하고 렌즈 선 #2 아래에 1-1, 2-1, 3-1, 4-1, 5-1 그리고 역순으로 4-1, 3-1, 2-1 등으로 배열하는 형식으로 기존 방식과 달리 나머지 이미지 #6 ~ #8은 사용하지 않는 것이다. 상기 설명한 바와 같이 이미지 데이터의 순열을 바꾸면 도면 4의 관찰자의 위치(19)에서는 정상적인 입체 세트가 구성되며 관찰자가 수평으로 이동하면 순차적으로 입체 세트가 생성되는데 관찰자의 위치 '19'에서 '20'으로 이동하는 과정에서 좌측 눈에 2, 2-1, 2-3 등이 들어오고 우측 눈에는 3, 3-1, 3-2 등이 들어오며 그 다음 단계에는 좌측 눈에 3, 3-1, 3-2 등이 그리고 우측 눈에는 4, 4-1, 4-2 등의 입체 세트가 지속적으로 형성되어 계속하여 정상적인 입체로 보이게 된다. 하지만, 관찰자가 '20'의 위치에 도달하면 좌측 눈에는 15, 16의 표기처럼 5, 5-1, 5-2 등이 들어오고 우측 눈에는 반대로 그보다 더 좌측 각도의 데이터인 4, 4-1, 4-2 등이 들어와서 좌우반전이 발생하지만 도면 1의 관찰자의 위치(10)에서 발생하는 좌우반전현상의 시차 즉, 이미지 데이터 #1과 #8의 시차는 매우 커서 뇌에서 합성을 이룰 수 없는 반면에 본 발명에 의한 좌우반전의 시차는 크지 않기 때문에 당해 입체 세트에 대해서 뇌에서 정상적으로 합성이 이루어진다. 그 결과로 좌우가 반전된 이미지를 보게 되지만 입체로 보게 된다. 따라서 이러한 원리를 활용하여 도면 9의 'k'와 같이 각각의 객체들이 서로 맞물려있지 않아서 어느 것이 앞에 있고 뒤에 있는지를 인식할 수 없는 구도이고 도면 3의 a-1, b-1처럼 객체들이 서로 반대의 시차 즉, 마이너스와 플러스의 시차를 각기 가졌다고 가정할 때 도면 4의 관찰자의 위치인 '19'에서는 원래의 시차에 의해서 화면의 표면을 기준으로 사각형은 튀어나오고 동그라미는 들어가 보이며 관찰자의 위치가 '20'에 도달한 이후부터는 그 입체감이 반대로 변하게 된다. 만일 상기의 예에서 객체 a-1과 b-1이 각기 물 방물과 물고기라고 가정한다면 물방울이 물고기 앞으로 나오든 그 깊이가 반대로 바뀌어도 두 객체에 대한 깊이를 인식할 수 있는 근거가 없기 때문에 아무런 문제가 없는 입체영상이 구현되며 어지럽게 겹쳐 보이는 문제를 유발하지 않으므로 눈의 피로가 없는 편안한 입체영상을 구현할 수 있다. 이렇듯 배경이 없이 객체들 간의 거리감으로만 표현되는 구도의 입체영상은 좌우반전이 입체를 구현하는데 아무런 영향을 미치지를 않으며 입체 사각지대가 전혀 없는 편안한 입체가 구현될 수 있는 것이다. 하지만, 영상 소스에 배경이 존재하고 당해 배경과 객체들이 모두 겹쳐지는 형태의 영상인 경우는 문제가 발생하는데 만약에 도면 3의 c-1이 바닷속 배경이라면 물방울과 물고기가 모두 당해 배경과 겹쳐 있다고 가정할 때 물방울과 물고기는 서로 입체감이 바뀌어도 그 차이를 알 수가 없는데 반해서 바닷속 배경인 c-1의 경우는 물방울과 물고기가 모두 배경과 겹쳐 있는 상태이므로 기존방식과 동일한 좌우반전의 문제를 유발하게 된다. 따라서 배경인 c-1에 대해서는 객체인 a-1, b-1과는 달리 기존방식의 순열을 그대로 가지도록 하여야 한다. 좀 더 구체적으로 말하면 영상 소스를 준비할 때 배경과 객체들을 분리해서 입체 변환(stereoscopic conversion)을 하여야 한다. 일반적으로 입체변환은 거리인식지도(depthmap)에 기반을 둔 프로그램이나 레이어(layer)의 수평이동방식의 프로그램에 의해서 진행되는데 이러한 입체 변환작업을 객체와 배경을 분리하여 별개로 진행하는 것을 의미하며 실질적인 방법으로 a-1, b-1의 객체들은 이들 객체들의 색상과 섞이지 않는 단색의 색상을 임시의 배경으로 만들고 입체변환을 한 후에 당해 배경색을 제거하는 크로마키(chroma key)효과를 이용하여 투명한 배경에 객체들만 남도록 하고 배경인 c-1은 별도로 입체변환을 하여 객체들과 당해 배경을 하나로 합성하면 되는데 이때 어도비 애프터이펙트(Adobe After-Effect) 또는 프리미어(Premiere)와 같은 편집프로그램을 이용하면 쉽게 작업할 수 있다. 객체들의 영상(이미지 #1 ~ #4)은 타임 라인(time line)에서 복사하여 복사된 소스를 좌우반전(duration reversed)을 시키면 되고 배경은 이미지 #1 ~ #8까지 원래의 순열로 사용하면 되는 것이다. 부연하여 설명하면 8안의 영상이라고 가정할 때 객체들의 이미지는 #1 ~ #4까지만 입체변환하고 이를 타임 라인에서 복사하고 반전시켜서 #4 ~ #1까지를 얻을 수 있으므로 #1 ~ #4 그리고 다시 #4 ~ #1로 이어지는 8개의 이미지의 순열이 생성되고 배경인 c-1의 이미지는 입체변환을 통해서 #1 ~ #8까지를 생성하여 원래의 순열 그대로 객체들과 합성하면 된다. 이런 방법을 통해서 객체들과 배경은 각기 다른 순열을 가지게 되는데 객체들은 본 발명에 의한 순열로 그리고 배경은 기존방식의 순열로 배열되게 된다. 물론 도면 4에서 설명한 순열과 다소 틀려서 그 순열이 이미지 #1, #2, #3, #4, #4, #3, #2, #1와 같아서 도면 4의 예와 달리 이미지 #4와 #1이 연이어서 중복 배열되지만 입체적으로 볼 때 큰 차이는 없게 된다. 그 이유는 상기 기술한 바대로 적정입체응시거리를 벗어나면 한 개의 이미지의 분리된 픽셀들만을 보는 것이 아니라 렌즈의 광학적 원리에 의해서 여러 각도의 이미지들의 분리된 픽셀들의 묶음을 보게 되기 때문에 그러한 중복된 부분에 대한 영상의 차이를 인식하지 못하게 되므로 이미지 순열의 끝과 시작의 이미지는 중복하여 사용하여도 무방하다. 그리고 입체영상에 사용하는 렌티큘러렌즈 및 시차 판은 그 응시각도 (viewing angle)가 15도 ~ 30도 미만으로 자재마다 다소 차이가 있는데 동일한 시차의 영상 소스를 사용하여도 당해 응시각도에 따라서 입체감의 크기는 변하는데 좁은 응시각도일수록 입체감이 커지고 넓은 응시각도는 반대로 입체감이 줄어들게 되므로 기존방식의 인터레이스에 사용하던 영상소스의 수의 50% ~70%의 범주에서 렌즈의 응시각도에 따라서 적절한 수의 이미지들을 사용하면 된다. 한 가지 덧붙일 부분은 상기 설명한 c-1 즉, 배경의 경우는, 객체인 a-1, b-1과 달리 도면 4의 관찰자의 위치(20)에서 좌우반전이 발생하지 않고 도면 1의 관찰자의 위치(10)에서 좌우반전이 발생하게 된다. 이렇게 객체들과 배경의 좌우반전의 타이밍(timing)에 차이가 생기게 된다. c-1이 상기에 가정한 것처럼 배경이라서 객체들인 a-1, b-1과 겹쳐지기 때문에 배경의 이미지에 대해서는 객체들과 합성하기 전에 "초점이 흐려지는 효과(blurring effect)"를 주어서 상이 명확히 보이지 않도록 하여 좌우반전 시에 입체 사각지대가 극소화되도록 하여야 한다. 기존방식의 입체영상은 좌우반전이 객체를 포함한 이미지 전체에서 발생하지만 본 발명에 의한 입체영상은 이와는 달리 객체들 즉, a-1, b-1이 입체 사각지대가 없이 지속적으로 입체영상이 구현되므로 배경이 흐릿해지면 당해 배경에서 발생하는 좌우반전 현상을 거의 인식하지 못하게 된다. 이는 배경 이미지에 대한 초점을 흐리게 하는 효과를 적용함으로써 배경 이미지의 입체 세트 간의 시차를 인식할 수 있는 경계선을 없애주어서 전체적으로 당해 배경에 대한 깊이 감(depth perception)만을 인식하게 되며 배경 이미지에서 발생하는 좌우반전의 문제를 거의 인식할 수 없게 되는 것이다. 지금까지 설명한 본 발명의 효과를 입체적으로 설명하자면 도면 4의 관찰자의 위치(19)에서는 도면 6의 'h'와 같이 사각형(66)이 화면의 표면(75)을 기준으로 튀어나오고 동그라미(67)는 안으로 들어가 보이며 배경인 삼각형(68)은 그보다 더 들어가 보이게 된다. 그리고 도면 4의 관찰자의 위치인 '20' 이후부터는 도면 6의 'j'와 같이 좌우반전이 발생하여 동그라미(73)가 튀어나오고 사각형(72)이 안으로 들어가 보이게 되며 배경에 해당하는 삼각형(74)은 흐릿한 상태에서 가장 안으로 들어가 보이게 된다. 도면 4에서 관찰자의 위치가 '20'과 '19'의 사이에 도달하면 도면 6의 'i'의 예시처럼 객체들 즉, a-1, b-1은 화면의 표면(75)에 잠시 머무르게 되지만 그 구간이 너무 짧아서 단순하게 객체인 a-1과 b-1이 서로 반대로 나오고 들어가는 과정으로만 인식하게 되는 것이다. 상기와 같이 영상소스의 구도를 임의로 결정하여 각각의 구성요소들이 겹치지 않도록 하는 디자인과는 달리 소비자의 요청에 의해서 구성요소가 겹쳐야만 하는 디자인을 영상 소스로 사용할 경우는 상기 기술한 순열의 변경과 배경에 대한 흐릿해지는 효과(blurring effect)만으로는 입체 사각지대를 제거하지 못하는 문제가 여전히 남는다. 따라서 이 경우에는 또 다른 방식의 순열을 이용해야만 하는데 이것은 본 발명의 또 다른 형태이다. 도면 7의 예시와 같이 기존방식에서 사용하던 영상소스의 수의 절반의 이미지들을 배열한 이후에 당해 사용된 이미지의 정 가운데 순차의 것을 반복적으로 배열하는 것이다. 좀 더 구체적으로 설명한다면 도면 7의 예시처럼 이미지 #1 ~ #5까지 배열하고 난 후에 #1과 #5의 중간 회차 즉, 이미지 #3을 반복적으로 배열하는 것을 의미한다. 이렇게 함으로써 도면 1의 관찰자의 위치인 '10'에서 발생하는 좌우반전의 시차가 너무 커서 생기는 어지러움의 문제를 해결하고자 하는 것으로 도면 10의 예를 들어 설명한다면 'd'의 흰색 사각형(46)이 이미지 #1의 객체의 위치이고 검은색 사각형(48)이 이미지 #8의 객체의 위치라고 가정할 때 발생하는 시차가 '48'과 같고 이것이 기존방식에서 발생하는 좌우반전의 시차 값이라고 가정하면 상기 기술한 방식의 또 다른 새로운 배열을 통해서 줄어드는 좌우반전의 시차를 'e'를 예로 들어서 설명하면 흰색 사각형(49)이 이미지 #1의 객체이고 검은색 사각형(50)이 이미지 #5의 객체라고 가정하면 당해 객체의 시차는 '51'과 같이 '48' 대비 1/2 정도로 줄어들게 되는데 이는 기존방식의 영상 소스의 절반 정도만을 사용하기 때문에 총 시차가 그만큼 줄어들기 때문이다. 바꾸어 말하면 시차 '48'은 이미지 #1과 이미지 #8 사이의 간격이지만 시차 '51'은 이미지 #1과 #5의 간격이기 때문이다. 아울러 도면 10의 'e'의 하단에 표기된 흰색 사각형(54)은 중간 순차인 이미지 #3을 보여주는 것으로 극우 상(50)과의 시차(52)와 극 좌상(49)과의 시차(53)로 둘로 나누어지게 되므로 좌우반전이 '48'처럼 크게 한 번에 생기지 않고 이미지 #1 ~ #5의 사이에서 입체영상으로 보이다가 이미지 #5에서 중간 순차인 이미지 #3으로 넘어가는 지점에서 시차 '53'이 생겨서 좌우반전이 1차로 생기고 다음 단계에 이미지 #3이 형성하는 평면의 영상이 계속되다가 이미지 #1에 도달하면 시차 '52'에 의한 2차 좌우반전이 생기는 형태로 그 타이밍이 분할되므로 실제로는 시차 '51'이 아니고 '52' 및 '53'으로 급격히 줄어들게 된다. 이를 도면 8을 이용하여 좀 더 세부적으로 설명하면 이미지 #1 ~ #5의 구간의 입체 세트에서는 'h-1'처럼 사각형(66-1)은 화면의 표면(75-1)을 기준으로 돌출되고 동그라미(67-1)는 안으로 들어가 보이며 삼각형(68-1)은 그보다 더 안으로 들어가 보이는 정상적인 입체영상이 구현되며 이미지 #3만으로 이루어진 입체 세트의 구간에서는 당해 세트들의 시차가 '0'이므로 'i-1'처럼 모든 것이 평면의 영상으로 보이게 된다. 하지만, 이미지 #5와 이미지 #3 그리고 이미지 #3과 이미지 #1이 각기 이루는 입체 세트에서는 'j-1'처럼 좌우반전이 발생해도 화면의 표면(75-1)의 가까운 곳에서 약하게 생기게 된다. 따라서 좌우반전으로 인한 겹침은 다소 있지만 그 정도가 매우 약해짐에 따라서 입체 사각지대를 인식하는 것이 극히 줄어들게 되는 효과가 있다. 물론 두 번째 기술한 방식에서도 영상 소스의 수를 결정하는 것은 상기 첫 번째 방식과 마찬가지로 렌즈의 응시각도에 따라서 기존에 사용하던 이미지 수의 50 ~ 70% 범위에서 선택하면 된다. 또 한 상기 기술한 두 가지의 새로운 방식의 인터레이싱을 통해서 얻게 되는 부가적인 이득은 렌티큘러렌즈를 이용한 입체이미지나 입체모니터의 경우는 굴절로 인해서 측면에서 입체구현이 잘 안되고 이미지가 뭉개져 보이는 문제점이 있는데 본 발명의 첫 번째 방식의 입체영상을 측면에서 보면 이미지 전체적으로 다소 입체감이 줄어들어 보이지만 깨끗하게 보이고 두 번째 방식의 입체영상을 측면에서 보면 평면의 영상으로 보이지만 깨끗하고 선명하게 보일 뿐 아니라 정상적인 입체 세트의 구간에서는 제대로 입체영상으로 보이므로 그러한 측면 시야각의 문제도 동시에 해결할 수가 있다. 결과적으로 본 발명의 새로운 인터레이싱 방법은 기존방식에 사용하던 영상 소스를 기준으로 렌즈의 응시각도에 따라서 50 ~ 70%에 해당하는 수의 이미지를 사용하며 이미지 구도상 객체들이 입체변환 후에도 상호 겹치지 않는 경우는 사용하는 이미지를 1차 원래의 순열대로 배열하고 그 이후에 전체 이미지 수의 중간 순차부터 역순으로 이미지를 배열하는 방법과 이미지 구도상 객체 및 배경이 겹쳐지는 경우에는 상기와 같이 1차 배열을 하고 난 뒤에 사용하는 이미지의 중간 순차 이미지를 반복적으로 배열하는 방법으로 두 가지로 나눌 수 있는데 이는 영상소스의 구도에 따라서 선택 적용해야 발명의 목적을 충분히 달성할 수가 있다는 것을 의미한다. 한편, 입체모니터의 경우는 sub-pixel(R,G,B)의 경계가 분명하고 이를 통하여 이미지가 선명하게 재연되기 때문에 픽셀의 1/3의 단위 즉, sub-pixel을 이용하여 8개 내지 9개 각도의 영상 소스를 사용하는 8안 및 9안(8 views or 9 views)의 입체영상을 구현하면 되기 때문에 영상소스의 이미지 수가 매우 적은데 반하여 입체이미지는 출력해상도 및 렌즈의 선수(LPI: Lines Per Inch)에 따라서 많게는 200개가 넘는 영상소스가 필요하기도 하다. 물론 영상 소스의 극 좌상(leftmost image)과 극 우상(rightmost image) 사이의 시차가 동일한 조건에서 이미지의 수가 늘어나면 각각의 이미지들 사이의 시차는 상대적으로 줄어들게 되어 더 많은 수의 이미지를 사용할 수 있다. 이는 출력에 의한 입체이미지의 경우는 프린터가 CMYK의 도트(dot)를 각기 뿌려서 이미지 형태 및 색상을 재현하기 때문에 각각의 이미지들 사이의 시차를 줄여야만 입체 품질이 담보되기 때문에 좀 더 많은 이미지를 적용하여 인터레이싱을 하여야 하기 때문이다. 하지만, 입체이미지와 입체모니터용 영상에 각기 필요로 하는 이미지의 수는 틀리지만 상기 설명한 이미지 순열과 동일한 비율로 환산하여 적용하면 된다. 마지막으로 본 발명을 설명함에 있어 영상 소스의 순차를 왼쪽 카메라 각도를 기준으로 점차 오른쪽으로 이동된 카메라 각도의 이미지들의 순으로 번호를 매겼는데 일부 인터레이싱 프로그램들은 이들 이미지의 순차를 역순으로 번호를 매기고 프로그램 내부에서 그 순열을 다시금 반대로 바꾸는 형태의 것들도 있지만 결과적으로는 외관상의 순열만 다른 것이지 실제의 인터레이싱에서의 순차는 본 발명의 설명의 예와 동일함으로 혼란을 겪을 필요는 없다고 하겠다.

본 발명의 실시를 위하여 물리적인 자재를 별도로 만들 필요가 없기 때문에 별도의 투자가 필요하지 않으며 만일 기존의 인터레이싱 프로그램을 사용하여 본 발명을 적용하려면 이미 상용화된 편집프로그램에서 영상 소스의 순열을 바꾸거나 배경에 대해서 흐릿해지는 효과를 적용하면 되므로 본 발명의 실시가 현실적으로 용이하고 더욱이 본 발명을 통한 입체영상은 기존방식의 문제점을 제거하였으므로 상업화에 크게 기여할 수 있다. 따라서 본 발명의 산업상 이용가능성은 매우 크다.

시차판(parallax barrier): 베리어스크린(barrier-screen)이라고도 부르며 검은색의 차단막(black strips)과 투명한 개구부(clear aperture)를 번갈아 가면서 배열한 패턴으로 좌, 우 시차를 개폐(separation)하여 입체영상을 구현하는 입체이미지의 주요 자재이다.
선수(Lines Per Inch): 이는 렌티큘러렌즈에 있어서 개별적인 렌즈의 기둥이 1인치의 간격에 몇 개가 존재하는가 하는 단위이며 선수가 높을수록 입체감이 떨어지고 선수가 낮을수록 렌즈의 두께는 굵어지며 입체감이 커지고 멀리서도 입체영상을 볼 수 있다.
플러스적 시차(Positive parallax): 입체영상의 원리로 이미지의 표면을 기준으로 안으로 들어가 보이는 사물들이 갖는 시차로 입체 인터레이스이미지 상으로는 왼쪽 눈에 해당하는 이미지가 왼쪽에 그리고 오른쪽의 것은 오른쪽에 위치하며 입체로 볼 때 두 눈은 좌, 우의 눈이 각기 평행하게 보게 된다.
마이너스적 시차(Negative parallax): 플러스적 시차와 반대로 이미지 표면을 기준으로 밖으로 돌출되는 효과를 내는 객체에 적용되는 시차로 왼쪽과 오른쪽의 눈이 각기 엇갈려서 보게 되는데 두 개의 시선이 교차한 지점에 튀어나와 보이게 된다. 따라서 입체 인터레이스이미지 상으로 왼쪽과 오른쪽 눈에 해당하는 이미지가 각기 반대로 위치하게 된다.
무안경방식 입체영상(auto-stereoscopic image): 영상 소스가 여러 각도의 것이 사용된다는 면에서 다안식 입체영상(multi views stereo) 또는 특수안경의 착용이 없이 입체가 구현된다는 점에서 자동입체 영상(auto-stereo)라고 하며 렌티큘러렌즈 또는 시차 판을 이용하여 제작하는 것이 가장 저렴하며 일반적이다.
인터레이싱(interlacing) : 입체영상을 구현하기 위하여 양안(binocular) 또는 다안(multi views)의 영상소스를 픽셀별로 분리하여 일정한 순차로 섞어짜는 과정을 일컫는 것으로 이는 프로그램을 이용하여 실행하는 것이 일반적인데 입체이미지의 경우는 포토샵 등의 그래픽 편집 프로그램 내에서 진행할 수도 있다.
피치(pitch): 렌티큘러렌즈를 구성하는 렌즈가 1인치의 간격에 몇 개가 들어 있는지를 말하는 LPI와도 같이 사용된다. 일정한 거리를 기준으로 하여 물리적인 렌즈와 인터레이싱 이미지의 간격을 광학적으로 일치시킨 값을 논할 때 pitch value(피치 값)이라고 말한다.
입체 세트(stereo set) : 입체영상에서 좌, 우 눈에 각기 맺혀지는 각기 다른 이미지의 조합을 말하는데 안경방식에서 이러한 입체 세트가 한 개밖에 없지만 무안경방식에서는 다각도의 영상소스를 이용하여 여러 개의 입체 세트를 구성하여 관찰자의 위치의 변동에 대응하여 그에 맞는 입체 세트가 보이도록 하여 입체를 지속적으로 구현하게 한다.
적정입체응시거리(optimal stereo viewing distance): 무안경방식의 입체영상에 있어서 피치를 확정하는 거리를 말하며 당해 피치 값에 의해서 만들어진 영상은 피치를 확정한 거리에서 가장 입체구현이 잘 되며 당해 거리를 벗어나서 앞, 뒤로 갈수록 여러 각도의 이미지의 조합이 이루어지면서 입체세트를 구성하게 된다.
입체응시각도(stereo viewing angle): 렌티큘러렌즈 및 시차 판이 만들어질 때 갖게 되는 입체로 볼 수 있는 각도인데 이것이 30도 미만의 것이 입체전용으로 사용되며 이보다 큰 각도의 것은 입체감이 떨어지며 플립(flip) 전용 렌즈로 분류된다. 또 한 당해 입체응시각도에 따라서 관찰자가 정상적인 입체영상을 보면서 움직일 수 있는 여유 공간(freedom of stereo viewing)이 결정된다.
입체 사각지대(3D dead zone): 입체응시각도를 벗어나는 영역 즉, 좌우반전이 발생하는 구간을 일컫는 말로써 당해 구간은 입체응시각도와 또 다른 입체응시각도 사이에 존재하게 되며 입체응시각도가 많을수록 당해 사각지대도 같은 비율로 늘어나게 된다.
좌우반전 입체(reversed stereo): 입체 세트가 만들어질 때 좌, 우 눈에 반대 각도의 이미지가 맺혀지는 것을 말하며 그 결과로 의도된 것과 정반대의 입체구도가 나타나며 뇌에서 좌, 우상을 합성하지 못하고 겹져 보여서 어지럽고 눈이 아픈 증상을 유발하게 된다. 결국은 이러한 좌우반전으로 인해서 입체영상의 사각지대가 초래되는 것이다.

Claims (2)

1개의 이미지에서 배경 이미지와 객체 이미지가 겹쳐지지 않는 영상의 다각도 영상소스들 중 일부 영상소스를 기 설정된 렌즈 라인들 마다 1차 배열하는 단계; 및
상기 기 설정된 렌즈 라인 중 각 렌즈 라인의 중간지점부터 좌측눈의 시야에 보여지는 순차적으로 1차 배열된 일부 영상소스를 역순으로 2차 배열하는 단계를 포함하는 입체 사각지대를 극소화한 무안경방식 입체영상의 제작 방법.

1개의 이미지에서 배경 이미지와 객체 이미지가 겹쳐져 있는 영상의 다각도 영상소스들 중 일부 영상소스를 기 설정된 렌즈 라인들 마다 순열되도록 배열하는 제1 단계;
상기 배경 이미지에 해당하는 다각도 영상소스들을 상기 기 설정된 렌즈 라인들 마다 순열되도록 극좌상에서 극우상순으로 배열하는 제2 단계;
상기 객체 이미지에 해당하는 상기 일부 영상소스를 기 설정된 렌즈 라인들 마다 1차 배열하고, 상기 기 설정된 렌즈 라인 중 특정영역에 배열된 일부 영상소스를 역순으로 배열하는 제3 단계;
상기 제2 단계에서 배열된 배경 이미지의 영상소스들과 상기 제3 단계에서 배열된 객체 이미지의 영상소스를 정합하는 제4 단계; 및
상기 기 설정된 렌즈 라인들 마다 상기 제4 단계에서 정합된 영상소스를 배열하되, 각 렌즈 라인의 중간지점부터 좌측눈의 시야에 보여지도록 순차적으로 배열된 상기 정합된 영상소스들 중 중간에 위치한 영상소스가 배열되도록 하는 제5 단계를 포함하는 입체 사각지대를 극소화한 무안경방식 입체영상의 제작 방법.

Images