KR20110091377A - 최적시차 3ｄ 영상물 제작방법, 그리고, 기록매체 - Google Patents

Abstract

본 발명은 최적시차 3D 영상물 제작방법에 대한 것이다. 본 발명에 의한 최적시차 3D 영상물 제작방법은, 3D 입체 영상을 출력하기 위한 장치의 스크린의 크기, 시청거리 및 해상도를 설정하는 환경설정단계와; 상기 환경 설정단계에서 설정된 상영조건에 대응하여, 사람이 입체감의 형성에 최적인 양안 시차에 해당하는 픽셀 기준 값을 결정하는 단계와; 상기 환경 설정단계에서 설정된 상영조건에 대응하여, 사람이 입체감을 느낄 수 있는 최대 한계 양안 시차에 해당하는 픽셀 기준 값을 결정하는 단계와; 상기 최적 양안 시차에 대응하는 픽셀 값에 의해 원본 영상을 쉬프트 시켜 좌안 영상과 우안 영상을 형성하며, 영상변환 과정에서 원본 영상에 발생한 픽셀 변화가 상기 최대 한계 양안 시차에 대응하는 픽셀 기준 값의 범위 이내가 되도록 하여 입체 영상을 형성하는 컨버팅 단계를 포함하여 구성되는 것을 특징으로 한다.

Description

최적시차 3Ｄ 영상물 제작방법 및 최적시차 3Ｄ 영상물, 그리고, 기록매체{A 3D Picture Producing Method ＆ A 3D Picture Using Optimum Parallax Stored In An Electronic Medium, And A Storage Medium}

본 발명은 3D 영상물 제작방법에 대한 것으로, 더욱 상세하게는 스크린의 크기, 해상도, 시청거리에 따른 최적 양안 시차와 최대 양안 시차에 해당하는 픽셀 기준 값을 결정하여 3D 영상물로의 컨버팅에 사용하는 것을 특징으로 하는 최적시차 3D 영상물 제작방법에 대한 것이다.

3D 입체 영상 컨테츠를 만드는 방식에는 2가지가 있다. 인간의 좌/우 눈을 모방한 2개의 카메라로 영상을 촬영하여 컨텐츠로 만드는 방법과 기존의 2D 컨텐츠를 3D 입체영상으로 변환하는 방법이 있다.

이 중에서 2D 컨텐츠를 3D 입체영상 컨텐츠로 변환하는 방식은 기존에 제작되었던 컨텐츠를 재활용하여 새로운 이익을 창출한다는 측면에서 각광을 받고 있는 상황이다.

2D 컨텐츠를 3D 입체 컨텐츠로 변환하는 방법은 원본 영상을 좌영상으로 가정하고 가상의 시차를 준 우영상을 생성한 후 이것을 전용 디스플레이에 알맞게 재생시켜 주는 방식이다.

그러나, 이 방법 자체가 기계로 처리하기에는 힘든 프로세스를 포함하고 있어서 현재 대부분의 변환작업은 리터칭 그래픽 툴을 이용한 인간의 수작업에 의존하고 있다.

또한, 이렇게 일일이 수작업에 의존하다 보니 컨텐츠를 제작하기 위한 단가가 높아져서 대부분의 변환 컨텐츠는 HD급 이상의 고화질을 필요로 하는 고해상도 대화면 전용 컨텐츠가 대부분이다.

3D 입체 영상 컨텐츠는 재생되는 매체에 따라 제작방식 또한 다르게 해야 본래 목표였던 컨텐츠의 입체감을 확실히 느낄 수 있는데, 기존의 HD급 이상의 고화질 대화면 전용 컨텐츠를 크기 변환만 하여 그대로 모바일 기기로 재생한다면 입체감을 느끼기 힘들게 되어 입체 컨텐츠가 가지는 장점이 사라지게 된다.

특히, 입체 영상을 위한 사람 양안 시차의 최적 값(13.5분)이나 최대 값(1도즉 60분)은 실험값으로 정해져 있으나, PC, HDTV, 모바일 기기 등에 적용할 수 있는 구체적인 픽셀 값은 정해져 있지 않으며 입체영상의 컨버팅 작업자의 감각에 의하거나, 고화질 대화면 전용 컨텐츠를 크기변환만 하여 모바일이나 PC 모니터 등 다른 입체 영상 상영장치에 적용하므로 화면크기와 시청거리 해상도 등이 상당한 차이가 있는 경우에는 입체감보다는 화면이 겹쳐보이는 시각적 혼란이나 눈의 피로를 주게 되는 문제가 있다.

본 발명의 목적은, 스크린의 크기, 해상도, 시청거리에 따른 최적 양안 시차와 최대 양안 시차에 해당하는 픽셀 기준 값을 결정하고 3D 영상물로 컨버팅에 사용하여 최상의 입체효과를 형성하는 것이 가능한 최적시차 영상물 제작방법 및 최적시차 영상물, 그리고 기록매체를 구현하는 것이다.

상기 목적을 달성하기 위한 본 발명에 의한 최적시차 3D 영상물 제작방법은, 3D 입체 영상을 출력하기 위한 장치의 스크린의 크기, 시청거리 및 해상도를 설정하는 환경설정단계와; 상기 환경 설정단계에서 설정된 상영조건에 대응하여, 사람이 입체감의 형성에 최적인 양안 시차에 해당하는 픽셀 기준 값을 결정하는 단계와; 상기 환경 설정단계에서 설정된 상영조건에 대응하여, 사람이 입체감을 느낄 수 있는 최대 한계 양안 시차에 해당하는 픽셀 기준 값을 결정하는 단계와; 상기 최적 양안 시차에 대응하는 픽셀 값에 의해 원본 영상을 쉬프트 시켜 좌안 영상과 우안 영상을 형성하며, 영상변환 과정에서 원본 영상에 발생한 픽셀 변화가 상기 최대 한계 양안 시차에 대응하는 픽셀 기준 값의 범위 이내가 되도록 하여 입체 영상을 형성하는 컨버팅 단계를 포함하여 구성되는 것을 특징으로 한다.

상기 컨버팅 단계에서 사용하는 최대 한계 양안 시차에 대응하는 픽셀 기준 값은, 상기 3D 영상물을 시청하는 시청자의 위치들에 따라 정해지는 각 최대 양안 시차에 대응하는 픽셀 기준 값들 중에서 최소값을 선택하는 것을 특징으로 한다.

상기 컨버팅 단계에서 사용하는 최대 한계 양안 시차에 대응하는 픽셀 기준 값은, 3D 영상물이 상영될 스크린들의 크기에 대응하는 각 최대 양안 시차의 픽셀 값 중에서 최소값을 선택하는 것을 특징으로 한다.

상기 컨버팅 단계에서 사용하는 최대 한계 양안 시차에 대응하는 픽셀 기준 값은, 3D 영상물이 상영될 스크린들의 해상도에 대응하는 각 최대 양안 시차의 픽셀 기준 값 중에서 최소값을 선택하는 것을 특징으로 한다.

상기 컨버팅 단계에서는, 오브젝트에 대한 쉬프트(shift)와 배경에 대한 스큐(skew)를 포함하며, 그 모든 변환과정의 최대 픽셀 변위가 상기 최대 한계 양안 시차에 대응하는 픽셀 기준 값 미만인 것을 특징으로 한다.

상기 3D 영상물은 2차원 동영상을 3차원 동영상으로 변환시킨 것이며, 상기 최적 양안 시차 및 최대 한계 양안 시차에 대응하는 픽셀 기준 값은 원본 영상인 좌영상과 변환된 영상인 차 영상의 시간 프레임에서 발생한 픽셀 변위에 대해 적용하는 것을 특징으로 한다.

상기 목적을 달성하기 위한 본 발명에 의한 컴퓨터 프로그램을 기록한 컴퓨터로 판독가능한 기록매체는 상술한바 중 어느 하나의 최적시차 3D 영상물 제작방법의 각 단계를 컴퓨터 시스템상에서 수행하는 컴퓨터 프로그램을 기록한 것을 특징으로 한다.

상기 목적을 달성하기 위한 본 발명에 의한 최적시차 3D 영상물은, 상술한 바 중 어느 하나의 최적시차 3D 영상물 제작방법의 각 단계에 의해 제작된 것을 특징으로 한다.

본 발명은 상기와 같은 구성에 의해 입체영상을 형성하기 위한 최적시차와 최대시차를 영상물을 상영할 스크린의 크기 및 해상도에 따른 픽셀정보로 제공하여 영상물에 대한 최대의 입체효과 주면서도 다양한 거리와 각도 위치의 시청자에 대해 적절한 입체영상을 제공하는 것이 가능하게 된다.

또한, 화면 크기가 작은 스마트폰 등에서 상영되는 영상물에 대해서도 최대의 입체효과를 부여하는 최적 양안시차에 의해 영상물이 제작될 수 있도록 화면의 크기와 해상도에 따른 픽셀 값으로 시차범위를 환산하여 정하므로 작은 화면에서도 최적화된 입체효과를 부여하는 것이 가능해진다.

도 1은 입체영상을 출력하기 위한 상영장치 및 시청거리를 예시한 도면.
도 2는 상영장치의 크기와 시청거리에 의한 최적 양안시차 및 최대 양안시차에 대응하는 픽셀 기준 값을 산출하는 과정을 예시한 개요도.
도 3은 상영장치의 크기에 따른 양안 시차의 최적값에 해당하는 픽셀 기준 값과 양안시차의 최대 값에 해당하는 픽셀 기준 값을 예시한 도표.
도 4는 상영장치의 크기에 따른 양안 시차의 최적값에 해당하는 픽셀 기준 값과 양안시차의 최대 값에 해당하는 픽셀 기준 값을 예시한 도표.
도 5는 시청위치에 대응하는 최대·최적 필셀 기준 값을 산출하는 과정을 예시한 개요도
도 6은 본 실시예의 최적 양안시차의 픽셀 기준 값과 최대 양안시차의 픽셀 기준 값을 적용시켜 입체영상을 제작하는 과정을 예시한 도면.
도 7은 최대·최적 양안시차의 픽셀 기준 값을 동영상 컨버팅에 적용하는 과정을 예시한 도면.

이하 상기와 같은 구성을 갖는 본 발명에 의한 최적시차 3D 영상물 제작방법의 바람직한 실시예의 구성을 첨부된 도면을 참조하여 상세하게 설명한다.

본 발명의 실시예의 3D 영상물 제작방법은 상영장치 및 시청자의 조건에 따른 최대/최적 양안 시차를 픽셀 값으로 전환하여 2D 영상을 3D 영상으로 컨버팅하므로 3D 영상의 상영장치 및 시청자의 조건을 입력하여 최적/최대 시차를 픽셀 기준 값으로 연산하는 과정이 선행된다.

3D 입체 영상을 위하여 제작된 좌/우 영상은 두 영상의 양안시차가 13분 정도일 때 가장 입체감이 잘 느껴진다. 또한 시차가 60분을 넘어가게 되면 입체상이 잘 안 맺히기 시작한다. 모바일 기기는 화면크기가 2.5인치에서 7인치 정도가 대부분이며, 평균적인 시청거리가 30cm 정도이며, 사람의 수평 시야각은 6~10도 정도를 커버하므로 영화관 스크린이나 가정용 TV·PC 모니터와는 입체감을 느낄 수 있는 최적/최대 양안 시차에 대응하는 픽셀 기준 값이 상당한 차이가 있게 된다.

예컨대 영화관은 스크린의 크기가 20m 이상이며 시청거리가 40m 정도이고 해상도는 4K(4096*2048) 정도이며, 가정용 TV나 모니터의 경우 대략 80cm이고 시청거리는 2미터 정도이며 해상도는 Full HD 1920*1080이며, 모바일은 3.2 인치·시청거리 30cm ·해상도 320*240로 계산했을 경우 도 3과 4에 도시된 도표와 같은 최대 수평 양안 시차와 최적 수평 양안 시차가 나오게 된다.

본 발명의 실시예에서는 상영장치의 조건인 스크린의 크기 및 해상도와, 시청자의 조건인 시청거리·시야각을 고려한 최대 및 최적 양안 시차에 대응하는 픽셀 기준 값을 결정하는 과정을 수행한다.

예컨대, 도 2에서, 상영장치 및 시청자의 조건에 대한 최대 및 최적 양안 시차에 대응하는 픽셀 기준 값을 결정하는 과정은 다음과 같다.

시청거리(사람의 시야가 시작되는 위치에서부터 스크린까지 거리)= D

스크린의 크기(폭)= W

D를 높이로 하고 W/2를 밑변으로 하는 직각삼각형의 빗변길이 = B

이 경우 스크린이 사람의 시야각에서 차지하는 범위는 삼각함수를 이용하여 다음과 같이 구해진다.

한편, 도 5와 같이 시청자의 위치가 스크린 정중앙에 대응하는 위치가 아니고 스크린의 일측에 치우쳐 있는 경우 최적 양안 시차와 최대 양안 시차는 동일하지만 동일 조건 상영장치에 대하여 시청자의 위치가 상이하므로 픽셀 기준 값은 달라진다.

즉, 본 발명의 실시예에서는 시청자의 위치 변화의 범위 내에서 적절한 입체효과를 나타내는 입체영상을 형성하기 위하여 시청자의 위치에 따라 산정된 최대 양안 시차에 대응하는 픽셀 기준 값을 연산한다. 즉,

로 픽셀 기준 값이 계산된다.

예컨대,

이 된다.

예컨대, 스크린에 가장 가까운 위치 정중앙에 있는 시청자의 최대 양안 시차에 해당하는 픽셀 기준 값은 가장 작기 때문에 본 발명의 실시예에서는 좌안 영상과 우안 영상을 형성하기 위해 쉬프트 되는 최대 픽셀 수는 상기 픽셀 기준 값으로 한다.

도 6은 상기 과정에 의해 산출된 최대 및 최적 양안 시차에 대응하는 픽셀 기준 값을 이용하여 입체영상을 형성하는 과정을 보여준다.

예컨대, 좌측 원본 영상에서 배경의 최상단은 화면에서 가장 깊이 들어가 보이는 지점이 되고, 최하단은 화면에서 가장 앞으로 튀어나와 보이는 부분이며, 입체효과를 발생시키기 위해 배경을 왜곡시키는 스큐(skew, 화면왜곡)와 오브젝트 1과 2에 대한 쉬프트가 이루어진다.

즉, 입체감의 형성을 위하여 오브젝트 1과 오브젝트 2를 최적·최대 양안 시차에 대응하는 픽셀 기준 값에 의해 쉬프트시켜 좌안 영상과 우안 영상을 만들 수 있다. 하지만 이 경우 오브젝트 자체의 입체감이 살아나지 않아서 배경과 단절감이 생길 수 있으므로 배경 스큐를 통하여 배경에 자연스럽게 매치되도록 해준다.

이때, 원본 픽셀과의 차이가 최대 양안 시차(1°)를 넘어서게 되면 양안 융합이 이루어지지 않고 따로 보이게 되므로 스큐에 의한 픽셀 이동은 최대 픽셀 기준 값 미만에서 수행될 수 있도록 해야 한다. .

이 경우 좌안 영상과 우안 영상에 가상의 시차를 형성하기 위한 최적 양안시차에 대응하는 픽셀 기준 값에 의해 오브젝트에 대한 쉬프트가 이루어질 수 있고, 입체 효과를 위한 배경 스큐에 있어서 최대의 픽셀 변위 값은 가상의 최대 양안 시차에 해당하는 픽셀 기준 값에 의한다.

한편, 본 실시예의 배경 스큐 및 오브젝트 쉬프트에 대한 픽셀 변위 값은 일정 범위에 위치한 시청자(즉 예상되는 시청위치)에 대한 최대 픽셀 기준 값들 중 가장 작은 값보다 작도록 설정하는 것이 바람직하다.

한편, 본 실시예의 배경 스큐 및 오브젝트 쉬프트에 의해 발생할 수 있는 픽셀 변위 값은 영상이 상영될 예정인 스크린의 해상도의 범위에 의해 보완되어 사용되는 것이 가능하다.

즉, 가장 일반적인 스크린의 해상도에 대한 최적 픽셀 기준 값을 산출하여 영상 컨버팅의 픽셀 기준 값으로 할 수 있고, 입체 영상이 상영될 스크린의 해상도가 가장 낮은 스크린에 대한 최대 픽셀 기준 값 범위 내에서 배경 스큐와 오브젝트 쉬프트에 의한 픽셀이동이 이루어져 입체 영상이 형성되도록 보완할 수 있다.

도 6에 도시된 바와 같이, 오브젝트 1과 오브젝트 2를 제외한 배경(왼쪽에서 두 번째 배경 도면에서 검은색 부분)을 스큐하는데, 그 결과 배경 도면상에서 상단 왼쪽과 하단 오른쪽 부분에는 화면왜곡에 의한 홀(HOLE, 검은색부분)이 생기게 된다.

또한, 도 6의 왼쪽에서 3번째 도시된 바와 같이 오브젝트 1은 좌측으로 쉬프트 하게 되므로 오브젝트 1의 오른쪽 에지 부분에는 검은색 부분인 홀이 형성된다. 한편, 오브젝트 2는 수평과 수직면이 명확하게 구분되는 오브젝트이므로 수직면은 쉬프트에 의하고 수평면은 스큐에 의해 변환하여 배경과 이질감 없는 화면을 형성하게 된다.

이 경우에 배경 스큐에 의한 최대 픽셀의 이동은 최대 픽셀 기준 값 미만으로 설정되어야 하며, 오브젝트 1의 쉬프트에 의한 픽셀변화 또한 최대 픽셀 기준 값 미만이 되어야 한다. 오브젝트 2에 대한 쉬프트와 스큐에 의한 전체 픽셀 이동의 결과 또한 최대 픽셀 기준 값 미만이 되어야 적절한 입체효과를 형성하는 것이 가능하다.

상기 도 6에서 배경 부분 최하단부는 사람의 양안 융합이 가능한 가장 가까운 거리이므로, 배경 그림의 최하단부는 최대 양의 시차로 깊이감은 정면 수십cm정도 된다. 또한, 사람이 깊이감을 느낄 수 있는 가장 먼 거리는 대략 15~20m정도이며, 배경 그림의 최상단부위는 사람이 느낄 수 있는 최대 음의 시차로 20m 정도의 깊이감을 느낄 수 있으며 이들 깊이감에 따른 시차에 의한 픽셀이동의 기준을 설정할 수 있다.

한편, 본 발명의 다른 실시예에서 상기 배경 오브젝트에 대한 쉬프트 스큐 이외 다양한 입체효과 발생을 위한 과정들에서 발생하는 픽셀 변위는 상기 최대 픽셀 기준 값 미만에서 수행되어야 하며, 최종 결과 화면상에서도 상기 최대 픽셀 기준 값 미만이 되는 것이 바람직하다.

도 7에 도시된 본 발명의 다른 실시예는 2차원 동영상으로부터 3차원 입체효과를 주는 과정을 예시한다.

2D 동영상을 3D 동영상으로 전환하는 경우에는 가상의 양안 시차를 형성하기 위해 좌영상과 그 차영상이 되는 우영상을 시간상으로 가까운 프레임에서 찾게 되는 데, 이때 최적 양안 시차는 수평시차 절반 수준의 수직 시차까지도 커버할 수 있다는 측면에서 유용하게 사용될 수 있다.

즉, 좌영상의 차영상이 되는 우영상을 시간상으로 가까운 프레임에서 찾았다 하더라도 수직값이 틀린 경우가 많은데, 이 경우 최적 양안 시차에 해당하는 프레임을 선택하여 컨버팅 작업의 복잡도를 줄여 줄 수 있다.

예컨대, 도시된 바와 같이 T-2 프레임에서 T+2 프레임까지의 프레임을 좌영상에 가까운 프레임이라고 하면, 좌영상에 대한 오브젝트의 픽셀 이동이 최적시차에 해당하는 픽셀 이동이 있는 프레임을 선택하는 것에 의해 컨버팅 작업의 복잡도를 줄여줄 수 있게 된다.

또한, 입체감이 크게 중요하지 않은 장면에서는 최대 시차 대신 최적시차를 변환에 대입하여 별다른 리터칭 없이 근사 우영상을 근처 프레임에서 찾아주는 작업만으로 컨버팅이 가능해진다.

본 발명의 권리범위는 상기 실시예에 한정되는 것이 아니라 특허청구범위에 기재된 사항에 의해 정해지며, 청구범위 기재사항과 균등범위에서 당업자가 행한 다양한 변형과 개작을 포함함은 자명하다.

Claims (8)

1. 3D 입체 영상을 출력하기 위한 장치의 스크린의 크기, 시청거리 및 해상도를 설정하는 환경설정단계와;
   상기 환경 설정단계에서 설정된 상영조건에 대응하여, 사람이 입체감의 형성에 최적인 양안 시차에 해당하는 픽셀 기준 값을 결정하는 단계와;
   상기 환경 설정단계에서 설정된 상영조건에 대응하여, 사람이 입체감을 느낄 수 있는 최대 한계 양안 시차에 해당하는 픽셀 기준 값을 결정하는 단계와;
   상기 최적 양안 시차에 대응하는 픽셀 값에 의해 원본 영상을 쉬프트 시켜 좌안 영상과 우안 영상을 형성하며, 영상변환 과정에서 원본 영상에 발생한 픽셀 변화가 상기 최대 한계 양안 시차에 대응하는 픽셀 기준 값의 범위 이내가 되도록 하여 입체 영상을 형성하는 컨버팅 단계를 포함하여 구성되는 것을 특징으로 하는 최적시차 3D 영상물 제작방법.
   
2. 청구항 1에 있어서, 상기 컨버팅 단계에서 사용하는 최대 한계 양안 시차에 대응하는 픽셀 기준 값은,
   상기 3D 영상물을 시청하는 시청자의 위치들에 따라 정해지는 각 최대 양안 시차에 대응하는 픽셀 기준 값들 중에서 최소값을 선택하는 것을 특징으로 하는 최적시차 3D 영상물 제작방법.
   
3. 청구항 1에 있어서, 상기 컨버팅 단계에서 사용하는 최대 한계 양안 시차에 대응하는 픽셀 기준 값은,
   3D 영상물이 상영될 스크린들의 크기에 대응하는 각 최대 양안 시차의 픽셀 값 중에서 최소값을 선택하는 것을 특징으로 하는 최적시차 3D 영상물 제작방법.
   
4. 청구항 1에 있어서, 상기 컨버팅 단계에서 사용하는 최대 한계 양안 시차에 대응하는 픽셀 기준 값은,
   3D 영상물이 상영될 스크린들의 해상도에 대응하는 각 최대 양안 시차의 픽셀 기준 값 중에서 최소값을 선택하는 것을 특징으로 하는 최적시차 3D 영상물 제작방법.
   
5. 청구항 1에 있어서, 상기 컨버팅 단계에서는,
   오브젝트에 대한 쉬프트(shift)와 배경에 대한 스큐(skew)를 포함하며, 그 모든 변환과정의 최대 픽셀 변위가 상기 최대 한계 양안 시차에 대응하는 픽셀 기준 값 미만인 것을 특징으로 하는 최적시차 3D 영상물 제작방법.
   
6. 청구항 1에 있어서, 상기 3D 영상물은 2차원 동영상을 3차원 동영상으로 변환시킨 것이며, 상기 최적 양안 시차 및 최대 한계 양안 시차에 대응하는 픽셀 기준 값은 원본 영상인 좌영상과 변환된 영상인 차 영상의 시간 프레임에서 발생한 픽셀 변위에 대해 적용하는 것을 특징으로 하는 최적시차 3D 영상물 제작방법.
   
7. 청구항 1 내지 6 중 어느 하나의 청구항에 있어서의 최적시차 3D 영상물 제작방법의 각 단계를 컴퓨터 시스템상에서 수행하는 컴퓨터 프로그램을 기록한 컴퓨터로 판독가능한 기록매체.
   
8. 청구항 1 내지 6 중 어느 하나의 청구항에 있어서의 최적시차 3D 영상물 제작방법의 각 단계에 의해 제작된 것을 특징으로 하는 최적시차 3D 영상물.
   
   

Images