KR102286572B1 - 2ｄ 동영상으로부터 새로운 3ｄ 입체 동영상 제작을 위한 장치 및 방법 - Google Patents

Abstract

2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작을 위한 장치 및 방법이 개시된다. 본 발명의 일 면에 따른 컴퓨터로 구현 가능한, 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법은 입력된 2D 동영상을 컷 단위의 작업 클립으로 분할하는 단계; 상기 작업 클립에서 객체 영역 추출 정보를 생성하는 단계; 및 상기 객체 영역 추출 정보에 기초하여 작업 클립 별로 입체 변환 작업 지시서를 생성하는 단계를 포함한다.

Description

2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작을 위한 장치 및 방법{Device and Method for new 3D Video Representation from 2D Video}

본 발명은 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작을 위한 장치 및 방법에 관한 것으로서, 보다 상세하게는 작업 관리자가 세무 작업자들에게 입체 연출 결과를 효율적으로 전달할 수 있는 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상을 제작하는 방법에 관한 것이다.

최근 기술의 발전으로 3D 디스플레이(3D Display)의 보급이 증가함에 따라 사용자들의 3D 영상에 대한 요구도 증가하고 있다. 이에 따라 부족한 3D 영상을 제공하기 위하여, 기존의 2D 영상을 3D 영상으로 변환하는 방법이 많이 사용되고 있다. 그러나 상기와 같은 2D 영상의 3D 변환 작업은 복잡하고 정교하므로, 보통 수작업으로 이루어지는 경우가 많고, 따라서 전문적인 인력과 많은 작업 시간이 필요한 문제점이 있다. 따라서 최근에는 자동으로 영상을 변환하기 위한 도구가 개발되고 있는 상황이다.

한편, 입체 영상 생성은 배경과 객체를 분리(segmentation)를 하고 분리된 객체에 깊이 값을 부여하거나 3D 객체를 생성하여 2차원 영상과 맞추는(fitting)방식으로 깊이 지도(depth map)를 얻는다. 깊이 지도나 3D 객체를 이용하여 렌더링(rendering)하여 좌우 양안 영상을 생성한다. 이러한 객체 분리에서부터 입체 영상 생성까지의 작업은 효율적인 파이프라인 형태로 구성될 필요가 있으나, 현재 각 작업은 각각 다른 툴에서 수행되고 있는 실정이다. 따라서, 툴 간의 호환성이 지원되지 않거나, 혹은 포맷 지원이 되지 않는 경우에는 제작의 효율성과 품질이 떨어지는 문제가 있다.

또한, 2차원 영상을 3차원 입체영상으로 변환하기 위해서는 2차원 영상에서는 표현할 수 없는 3차원 공간 깊이 정보를 인위적으로 생성해야 한다. 2차원 여상 내의 각 객체마다 적당한 깊이 정보를 부여함으로써 3차원 입체영상을 생성할 수 있게 된다. 이때, 영상의 각 객체마다 또는 각 작업 클립마다 작업자 각자가 임의로 깊이 정보를 부여한다면, 전체 입체 변환 결과물의 공간 정보에 일관성이 없어지게 된다.

대규모 수작업을 필요로 하는 2D-3D 변환 작업일수록 여려 명의 작업자에게 일일이 작업 지시를 하는 것은 까다로운 작업이다. 특히, 작업 관리자 또한 전체적인 변환 작업을 관리할 수 있는 시스템 없이는 전체 입체 작업의 일관성을 유지하기가 힘들어진다.

본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여, 작업 관리자들이 영상의 전체적인 입체감을 컨트롤하고 각 개체 별 또는 작업 영상 클립 별로 공간 깊이감을 부여할 수 있는 효율적인 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작을 위한 장치 및 방법을 제공하는 것을 목적으로 한다.

본 발명의 다른 목적은 작업 관리자가 연출한 입체 공간정보를 실제 작업자에게 효과적으로 전달하기 위한 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작을 위한 장치 및 방법을 제공하는 것이다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 면에 따른 컴퓨터로 구현 가능한, 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법은 입력된 2D 동영상을 컷 단위의 작업 클립으로 분할하는 단계, 상기 작업 클립에서 객체 영역 추출 정보를 생성하는 단계 및 상기 객체 영역 추출 정보에 기초하여 작업 클립 별로 입체 변환 작업 지시서를 생성하는 단계를 포함하고, 상기 객체 영역 추출 정보를 생성하는 단계는 상기 작업 클립에서 추출된 객체영역에 최대 깊이 값 및 최소 깊이 값을 결정하는 단계와, 3차원 공간 상에서 위에서 직각으로 바라본, 최대 깊이 값 및 최소 깊이 값이 결정된 객체영역을 시각화한 평면영상을 표시하는 단계를 포함하고, 상기 평면영상은 객체 별로 결정된 최대 깊이 값 및 최소 깊이 값에 따라 상이한 크기 및 위치를 가지는 복수 다각형으로 구성된다.

상기 객체 영역 추출 정보를 생성하는 단계는, 상기 작업 클립에서 객체영역 추출방법 및 작업품질을 결정하는 단계를 포함한다.

상기 객체 영역 추출 정보를 생성하는 단계는, 상기 작업 클립에서 객체영역을 지정한 사용자 입력을 받는 단계와, 사용자 입력에 따라 지정된 객체영역을 레어어(Layer) 단위로 관리하는 단계를 포함한다.

상기 객체 영역 추출 정보를 생성하는 단계는, 상기 작업 클립에서 추출된 객체영역에 깊이 정보 부여방법, 최대 깊이 값 및 최소 깊이 값 중 적어도 하나를 지정하기 위한 사용자 인터페이스를 제공하는 단계를 포함한다.

삭제

삭제

상기 객체 영역 추출 정보를 생성하는 단계는, 상기 복수 다각형의 크기 및 위치를 변경하기 위한 사용자 인터페이스를 제공하는 단계와, 상기 사용자 인터페이스를 이용하여 상기 복수 다각형의 크기 및 위치를 변경하여 객체 별로 깊이 값을 가시적으로 변경하는 단계를 더 포함한다.

상기 작업 클립 별로 입체 변환 작업 지시서를 생성하는 단계는, 작업 클립과 상기 작업 클립에 대한 입체 변환 작업 지시서를 사용자 인터페이스에게 전달하는 단계를 포함하되, 상기 입체 변환 작업 지시서는, 해당 작업 클립에서 레이어 단위로 추출된 객체영역의 정보, 특정 객체영역에 대한 깊이 정보 부여방법, 특정 객체영역의 최대 깊이 값 및 최소 깊이 값 중 적어도 하나를 포함한다.

한편, 적어도 하나 이상의 프로세서와, 상기 프로세서에 의해 실행되는 코드가 저장된 비휘발성 메모리를 포함하는 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작을 위한 장치에 있어서, 상기 프로세서는 입력된 2D 동영상을 컷 단위의 작업 클립으로 분할하는 영상 분할부, 상기 작업 클립에서 추출되는 객체영역을 결정하는 객체영역 결정부, 추출된 객체영역 별 깊이 값을 결정하는 객체 별 깊이 값 결정부 및 추출된 객체영역 별 결정된 깊이 값 정보를 포함하는 객체 영역 추출 정보에 기초하여 작업 클립 별로 입체 변환 작업 지시서를 생성하는 입체 변환 작업 지시서 생성부를 포함하고, 상기 객체 별 깊이 값 결정부는 상기 작업 클립에서 추출된 객체영역에 최대 깊이 값 및 최소 깊이 값을 결정하고, 3차원 공간 상에서 위에서 직각으로 바라본, 최대 깊이 값 및 최소 깊이 값이 결정된 객체영역을 시각화한 평면영상을 표시하고, 상기 평면영상은 객체 별로 결정된 최대 깊이 값 및 최소 깊이 값에 따라 상이한 크기 및 위치를 가지는 복수 다각형으로 구성된다.

상기 객체영역 결정부는, 상기 작업 클립에서 객체영역을 지정한 사용자 입력을 받고, 상기 사용자 입력에 따라 지정된 객체영역을 레어어(Layer) 단위로 관리한다.

상기 객체 별 깊이 값 결정부는, 상기 작업 클립에서 추출된 객체영역에 깊이 정보 부여방법, 최대 깊이 값 및 최소 깊이 값 중 적어도 하나를 지정하기 위한 사용자 인터페이스를 제공한다.

삭제

삭제

상기 객체 별 깊이 값 결정부는, 상기 복수 다각형의 크기 및 위치를 변경하기 위한 사용자 인터페이스를 제공하고, 상기 사용자 인터페이스를 이용하여 상기 복수 다각형의 크기 및 위치를 변경하여 객체 별로 깊이 값을 가시적으로 변경한다.

상기 입체 변환 작업 지시서 생성부는, 작업 클립과 상기 작업 클립에 대한 입체 변환 작업 지시서를 사용자 인터페이스에게 전달하되, 상기 입체 변환 작업 지시서는, 해당 작업 클립에서 레이어 단위로 추출된 객체영역의 정보, 특정 객체영역에 대한 깊이 정보 부여방법, 특정 객체영역의 최대 깊이 값 및 최소 깊이 값 중 적어도 하나를 포함한다.

이상 상술한 바와 같은 본 발명에 따르면, 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상을 제작할 때, 작업 관리자가 전체 입체 변환 작업을 편리하게 연출하고 통제할 수 있으며, 각 세부 작업자들이 작업 관리자의 연출 의도를 효과적으로 파악하여 전체 작업을 효율적으로 진행할 수 있게 된다.

도 1은 본 발명의 실시예에 따른 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작을 위한 장치의 구성을 도시한 블록도.
도 2는 본 발명의 실시예에 따라 영상 내 객체 추출 영역을 결정하고, 이에 깊이 정보를 부여하는 일 예를 도시한 도면.
도 3은 본 발명의 실시예에 따라 객체 별로 부여된 깊이 정보를 위에서 직각으로 바라본 일 예를 도시한 도면.
도 4는 본 발명의 실시예에 따라 세부 작업자에게 전달되는 작업 지시서의 일 예를 도시한 도면.
도 5는 본 발명의 실시예에 따른 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작을 위한 방법을 도시한 흐름도.
도 6은 본 발명의 실시예에 따른 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작을 위한 방법이 수행되는 컴퓨터 시스템의 일 예를 도시한 도면.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명은 생략한다.

본 명세서에서 “2D 동영상(2D Video)”는 2차원 방식으로 촬영된 동영상을 의미한다. 따라서, 2D 동영상이 상영될 때에는 '너비'와 '높이'만 있는 2차원 영상으로 인식될 수 있다. 영상 처리 분야의 당업자에게 자명한 사항으로서, 동영상은 일련의 영상 프레임으로 구성된다. 여기서 영상 프레임은 픽셀들의 배열을 포함한다. 2D 동영상은 적어도 하나 이상의 장면(Scene)들로 구성될 수 있다. 여기서, 각각의 장면은 적어도 하나 이상의 영상 프레임으로 구성될 수 있다.

또한, 본 명세서에서 “스테레오 동영상(Stereo Video)”는 좌 시점과 우 시점을 포함하는 다시점 동영상의 한 형태를 의미한다. 따라서, 스테레오 동영상(혹은, 3D 동영상)이 상영될 때에는 '너비', '높이', '깊이'가 있는 3차원 영상으로 인식될 수 있다.

또한, 본 명세서에서 “컷(cut)”, 혹은 “장면(scene)”은 하나의 카메라 위치에서 촬영된 필름을 의미하는 것으로서, 연출에서 최소 단위이다. 이하에서는 “컷”과 “장면”을 혼용하여 기재하도록 하고, 2개의 용어의 의미는 동일하다.

이하에서는 도 1을 참조하여 본 발명의 실시예에 따른 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 장치를 설명한다. 도 1에는 본 발명의 실시예에 따른 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 장치가 도시된다.

도 1을 참조하면, 본 발명의 실시예에 따른 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작을 위한 장치는 영상 분할부(100), 객체영역 결정부(200), 객체별 깊이 값 결정부(300) 및 입체변환 작업지시서 생성부(400)를 포함하여 이루어진다.

상기 영상 분할부(100)는 입력되는 2D 동영상을 컷 단위의 작업 클립으로 분류하여 저장한다.

예컨대, 2D 동영상은 복수의 장면으로 분류되고(Cut_#1,Cut_#2,Cut_#3, ,Cut_#25), 각각의 장면은 해당하는 복수의 영상 프레임들로 구성된다.

여기서, 컷은 영상의 내용이 급격하게 변화하는 지점을 기준으로 분류되며, 예컨대, 영상 시퀀스 별로 Cut_#1 장면은 0번 영상 프레임부터 499번 영상 프레임까지 총 500개의 영상 프레임으로 구성되고, Cut_#25 장면은 1327번 영상 프레임부터 1357번 영상 프레임까지 총 31개의 영상 프레임으로 구성된다.

이와 같이, 본 발명의 실시예에 따른 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 장치는 입력된 2D 동영상을 자동으로 컷 단위의 작업 클립으로 분류하여 저장함으로써, 작업자가 장면 별로 영상 처리 작업을 용이하게 할 수 있도록 한다.

상기 객체영역 결정부(200)는 각 작업 클립마다 객체영역의 추출방법 및 정밀도를 결정한다.

만약, 객체영역의 추출방법 및 정밀도(객체 추출 작업 품질) 등의 결정 없이 각 작업 클립에 대한 세부 작업자가 임의로 객체영역을 추출한다면, 전체 영상의 객체들은 입체 품질의 일관성을 잃어버리게 될 것이므로 이는 매우 중요한 입체 연출 작업 중의 하나이다.

본 발명의 실시예에서는 작업 관리자가 객체 영역을 손쉽게 결정하고, 해당 작업 클립에 대한 세부 작업자가 이를 전달받기 쉽도록 작업 클립의 대표 이미지 상에 직접 곡선 또는 폴리라인 등으로 객체 영역을 지정할 수 있는 방안을 제공한다.

도 2에는 본 발명의 실시예에 따라 영상 내 객체 추출 영역을 결정하고, 이에 깊이 정보를 부여하는 일 예를 도시된다. 도 2에 도시된 바와 같이, 작업 관리자가 작업 클립의 대표 이미지 상에 마우스 또는 타블렛 펜 등을 이용하여 객체 영역의 테두리를 그려 넣어주면(A,B,C,D,E,F) 각각의 객체 영역들은 자동으로 지정 및 분류된다.

이 때, 각각의 객체 영역들은 레이어(Layer) 단위(30)로 관리되며, 상기 객체영역 결정부(200)는 레이어 단위로 관리되는 각각의 객체 영역들의 객체 추출 작업 품질 수준(31)을 입력하기 위한 사용자 인터페이스를 제공한다. 작업 관리자가 결정한 객체 영역 추출 정보는 이후 작업 지시서로 생성되어 해당 작업 클립의 세부 작업자에게 전달된다.

한편, 영상 내 객체 영역을 추출하는 최종 목표는 각 객체 영역들에 자연스럽고 일관성 있는 깊이 값을 부여하기 위해서이다. 깊이 값은 각 객체 영역이 3차원 공간 상에서 차지하는 최대, 최소 깊이 정보와, 깊이 정보 부여 방법으로 구성된다.

도 2를 참조하면, 상기 객체 별 깊이 값 결정부(300)는 작업 클립에서 추출된 객체영역에 깊이 정보 부여방법, 최대 깊이 값 및 최소 깊이 값 중 적어도 하나를 지정하기 위한 사용자 인터페이스를 제공한다.

예컨대, 작업 관리자의 입력에 기초하여 상기 객체영역 결정부(200)가 객체 영역을 가운데 뒷산(A), 왼쪽 뒷산(B), 오른쪽 뒷산(C), 가운데 뒷산(D), 오른쪽 작은 산(E), 호수(F)으로 추출하고, 추출된 각각의 객체영역은 레이어 단위(30)로 관리되어, 각 객체영역마다 객체 추출 작업 품질이 상,중,하로 지정된 경우를 가정하자.

이 때, 작업 관리자는 상기 객체 별 깊이 값 결정부(300)에서 제공되는 사용자 인터페이스를 이용하여 깊이 정보 부여방법(33), 최대 깊이 정보(34), 최소 깊이 정보(35)를 입력한다. 예컨대, 깊이 정보 부여방법(33)으로는 Linear, Cylinder, Radial, Quadric 깊이 값 편집 템플릿이 적용될 수 있다.

또한, 상기 객체 별 깊이 값 결정부(300)는 추출된 객체영역에 깊이 정보 부여 방법, 최대, 최소 깊이 정보가 결정되면, 이를 결정한 작업 관리자가 확인하기 용이하도록 3차원 공간의 위쪽에서 바라 본 객체영역을 시각화한 평면영상(top view)을 표시한다.

상기 평면영상은 도 3에 도시된 바와 같이 객체 별로 결정된 최대 깊이 값 및 최소 깊이 값에 따라 상이한 크기 및 위치를 가지는 복수 다각형으로 구성될 수 있다.

예를 들어, 작업 관리자가 호수와 가장 가까운 위치에서 가운데 뒷산 방향으로 바라본다고 가정하고, 각 객체영역에 깊이 정보를 결정한다면, 호수는 작업 관리자에 가장 가까운 거리에 위치하고, 가운데 뒷산은 가장 먼 거리에 위치할 것이다. 이와 같이, 특정 위치로부터 거리감을 표현하기 위해 결정된 최대, 최소 깊이 정보는 도 3에 도시된 바와 같은 평면 영상으로 표현되어 작업 관리자에게 보여진다.

여기서, 다각형의 크기는 작업 관리자가 작업 클립 상에서 지정한 객체 영역의 크기에 비례하고, 다각형의 위치는 작업 관리자가 입력한 최대, 최소 깊이 정보에 따라 결정된다.

또한, 상기 객체 별 깊이 값 결정부(300)는 복수 다각형의 크기 및 위치를 변경하기 위한 사용자 인터페이스를 제공하고, 작업 관리자가 제공된 사용자 인터페이스를 이용하여 복수 다각형의 크기 및 위치를 변경하면, 객체 별로 깊이 값을 가시적으로 변경할 수 있다.

입체변환 작업지시서 생성부(400)는 작업 관리자에 의해 연출된 입체 변환 작업 정보를 작업 지서서로 생성하여 각 작업 클립의 해당 세부 작업자에게 전달한다.

도 4에는 본 발명의 실시예에 따라 세부 작업자에게 전달되는 작업 지시서가 예시적으로 도시된다.

도 4를 참조하면, 세부 작업자에게 전달되는 작업 지시서는 작업 관리자가 결정한 입체 깊이 정보가 효과적으로 전달될 수 있도록 복수의 그림과 표로 가시화된다.

예컨대, 상기 작업 지시서는 객체 영역 추출 정보가 포함되어 있는 작업 클립(11), 객체 추출 작업 품질 정보가 포함된 테이블(21), 각 객체 영역이 3차원 공간 상에서 차지하는 최대, 최소 깊이 정보와, 깊이 정보 부여 방법이 포함된 테이블(31), 결정된 깊이 정보가 단면으로 가시화된 평면 영상(41)을 포함할 수 있다.

여기서, 상기 객체 추출 작업 품질 정보가 포함된 테이블(21)은 해당 작업 클립의 정보, 레이어 정보(21a), 레이어 구분 정보(21b), 객체 추출 작업 품질 정보(21c), 작업 메모(21d) 등으로 이루어질 수 있다.

상기 테이블(31)은 해당 작업 클립의 정보(31a), 레이어 정보(31b), 레이어 구분 정보(31c), 깊이 정보 부여 방법(31d), 최소 깊이 정보(31e), 최대 깊이 정보(31f) 등으로 이루어질 수 있다.

이상, 도 1 내지 도 4를 참조하여 본 발명의 일 실시예에 따른 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작을 위한 장치를 살펴보았다. 이하에서는 도 5를 참조하여 본 발명의 다른 실시예에 따른 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작을 위한 방법을 살펴보도록 한다.

도 5는 본 발명의 실시예에 따른 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작을 위한 방법을 도시한 흐름도이다.

도 1 및 도 5를 참조하면, 영상 분할부(100)는 입력된 2D 동영상을 컷 단위의 작업 클립으로 분할한다(S100). 대규모 입체 영상 변환 작업에서 작업 관리자는 전체적인 작업 컨트롤을 위해 2D 동영상 전체를 손쉽게 관리해야 한다. 그러나 영상의 상영 시간이 길어짐에 따라 컨트롤해야 하는 영상 프레임의 수가 급속하게 늘어나므로, 본 발명의 실시예에서는 입력 2D 동영상을 컷 단위의 작업 클립으로 분할하여 관리한다. 컷은 영상의 내용이 급속하게 변화하는 지점을 기준으로 분류된다.

이어, 객체 영역 결정부(200) 및 객체 별 깊이 값 결정부(300)는 상기 작업 클립에서 객체 영역 추출 정보를 생성한다(S200).

상기 객체 영역 결정부(200)는 작업 클립에서 객체영역 추출방법 및 작업품질을 결정한다. 예컨대, 상기 객체 영역 결정부(200)는 작업 클립에서 객체영역을 지정한 사용자 입력을 받고, 사용자 입력에 따라 지정된 객체영역을 레어어(Layer) 단위로 관리한다. 이때, 상기 객체 영역 결정부(200)는 객체 추출 작업 품질 정보를 입력하기 위한 사용자 인터페이스를 제공하고, 작업 관리자는 사용자 인터페이스를 이용하여 객체 추출 작업 품질 정보를 해당 객체 영역에 대한 정보로서 입력한다.

또한, 상기 객체 별 깊이 값 결정부(300)는 작업 클립에서 추출된 객체영역에 깊이 정보 부여방법, 최대 깊이 값 및 최소 깊이 값 중 적어도 하나를 지정하기 위한 사용자 인터페이스를 제공하고, 작업 관리자는 사용자 인터페이스를 이용하여 해당 객체 영역에 대한 작업 정보로서, 깊이 정보 부여방법, 최대 깊이 값 및 최소 깊이 값 중 적어도 하나의 정보를 입력한다.

작업 관리자에 의해 깊이 정보 부여방법, 최대 깊이 값 및 최소 깊이 값 등의 정보가 입력되면, 상기 객체 별 깊이 값 결정부(300)는 3차원 공간 상에서 위에서 직각으로 바라본, 최대 깊이 값 및 최소 깊이 값이 결정된 객체영역을 시각화한 평면영상을 표시한다.

상기 평면영상은 객체 별로 결정된 최대 깊이 값 및 최소 깊이 값에 따라 상이한 크기 및 위치를 가지는 복수 다각형으로 구성되는데, 상기 객체 별 깊이 값 결정부(300)는 복수 다각형의 크기 및 위치를 변경하기 위한 사용자 인터페이스를 제공하고, 작업 관리자가 사용자 인터페이스를 이용하여 복수 다각형의 크기 및 위치를 변경하면, 객체 별로 깊이 값을 가시적으로 변경하여 표시한다.

이어, 입체 변환 작업지시서 생성부(400)는 객체 영역 추출 정보에 기초하여 작업 클립 별로 입체 변환 작업 지시서를 생성한다(S300).

상기 입체 변환 작업지시서 생성부(400)는 작업 클립과 상기 작업 클립에 대한 입체 변환 작업 지시서를 해당 작업 클립의 세부 작업자에게 전달한다. 상기 작업 지시서는 해당 작업 클립에서 레이어 단위로 추출된 객체영역의 정보, 특정 객체영역에 대한 깊이 정보 부여방법, 특정 객체영역의 최대 깊이 값 및 최소 깊이 값 중 적어도 하나를 포함할 수 있다.

본 발명에 따르면, 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상을 제작할 때, 작업 관리자가 전체 입체 변환 작업을 편리하게 연출하고 통제할 수 있으며, 각 세부 작업자들이 작업 관리자의 연출 의도를 효과적으로 파악하여 전체 작업을 효율적으로 진행할 수 있게 된다.

한편, 본 발명의 실시예에 따른 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 도 6에는 컴퓨터 시스템의 간단한 실시예가 도시된다. 도시된 바와 같이, 컴퓨터 시스템은 적어도 하나 이상의 프로세서(121)와, 메모리(123)와, 사용자 입력 장치(126)와, 데이터 통신 버스(122)와, 사용자 출력 장치(127)와, 저장소(128) 등을 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스(122)를 통해 데이터 통신을 한다.

또한, 컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스(129)를 더 포함할 수 있다. 상기 프로세서(121)는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리(123) 및/또는 저장소(128)에 저장된 명령어를 처리하는 반도체 장치일 수 있다.

상기 메모리(123) 및 상기 저장소(128)는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 상기 메모리(123)는 ROM(124) 및 RAM(125)을 포함할 수 있다.

따라서, 본 발명의 실시예에 따른 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법은 컴퓨터 시스템에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법이 컴퓨터 시스템에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 제작 방법을 수행할 수 있다.

다른 한편으로, 상술한 본 발명에 따른 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

1. 컴퓨터로 구현 가능한, 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법에 있어서,
   입력된 2D 동영상을 컷 단위의 작업 클립으로 분할하는 단계;
   상기 작업 클립에서 객체 영역 추출 정보를 생성하는 단계; 및
   상기 객체 영역 추출 정보에 기초하여 작업 클립 별로 입체 변환 작업 지시서를 생성하는 단계를 포함하고,
   상기 객체 영역 추출 정보를 생성하는 단계는,
   상기 작업 클립에서 추출된 객체영역에 최대 깊이 값 및 최소 깊이 값을 결정하는 단계와,
   3차원 공간 상에서 위에서 직각으로 바라본, 최대 깊이 값 및 최소 깊이 값이 결정된 객체영역을 시각화한 평면영상을 표시하는 단계를 포함하고,
   상기 평면영상은,
   객체 별로 결정된 최대 깊이 값 및 최소 깊이 값에 따라 상이한 크기 및 위치를 가지는 복수 다각형으로 구성되는 것
   인 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법.
   
2. 제1 항에 있어서, 상기 객체 영역 추출 정보를 생성하는 단계는,
   상기 작업 클립에서 객체영역 추출방법 및 작업품질을 결정하는 단계를 포함하는 것
   인 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법.
   
3. 제1항에 있어서, 상기 객체 영역 추출 정보를 생성하는 단계는,
   상기 작업 클립에서 객체영역을 지정한 사용자 입력을 받는 단계와,
   사용자 입력에 따라 지정된 객체영역을 레어어(Layer) 단위로 관리하는 단계를 포함하는 것
   인 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법.
   
4. 제1항에 있어서, 상기 객체 영역 추출 정보를 생성하는 단계는,
   상기 작업 클립에서 추출된 객체영역에 깊이 정보 부여방법, 최대 깊이 값 및 최소 깊이 값 중 적어도 하나를 지정하기 위한 사용자 인터페이스를 제공하는 단계를 포함하는 것
   인 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법.
   
5. 삭제
6. 삭제
7. 제1항에 있어서, 상기 객체 영역 추출 정보를 생성하는 단계는,
   상기 복수 다각형의 크기 및 위치를 변경하기 위한 사용자 인터페이스를 제공하는 단계와,
   상기 사용자 인터페이스를 이용하여 상기 복수 다각형의 크기 및 위치를 변경하여 객체 별로 깊이 값을 가시적으로 변경하는 단계를 더 포함하는 것
   인 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법.
   
8. 제1항에 있어서, 상기 입체 변환 작업 지시서를 생성하는 단계는,
   작업 클립과 상기 작업 클립에 대한 입체 변환 작업 지시서를 사용자 인터페이스에게 전달하는 단계를 포함하되,
   상기 입체 변환 작업 지시서는,
   해당 작업 클립에서 레이어 단위로 추출된 객체영역의 정보, 특정 객체영역에 대한 깊이 정보 부여방법, 특정 객체영역의 최대 깊이 값 및 최소 깊이 값 중 적어도 하나를 포함하는 것
   인 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법.
   
9. 적어도 하나 이상의 프로세서와, 상기 프로세서에 의해 실행되는 코드가 저장된 비휘발성 메모리를 포함하는 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작을 위한 장치에 있어서,
   상기 프로세서는,
   입력된 2D 동영상을 컷 단위의 작업 클립으로 분할하는 영상 분할부;
   상기 작업 클립에서 추출되는 객체영역을 결정하는 객체영역 결정부;
   추출된 객체영역 별 깊이 값을 결정하는 객체 별 깊이 값 결정부; 및
   추출된 객체영역 별 결정된 깊이 값 정보를 포함하는 객체 영역 추출 정보에 기초하여 작업 클립 별로 입체 변환 작업 지시서를 생성하는 입체 변환 작업 지시서 생성부
   를 포함하고,
   상기 객체 별 깊이 값 결정부는,
   상기 작업 클립에서 추출된 객체영역에 최대 깊이 값 및 최소 깊이 값을 결정하고, 3차원 공간 상에서 위에서 직각으로 바라본, 최대 깊이 값 및 최소 깊이 값이 결정된 객체영역을 시각화한 평면영상을 표시하고,
   상기 평면영상은,
   객체 별로 결정된 최대 깊이 값 및 최소 깊이 값에 따라 상이한 크기 및 위치를 가지는 복수 다각형으로 구성되는 것
   인 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작을 위한 장치.
   
10. 제9항에 있어서, 상기 객체영역 결정부는,
    상기 작업 클립에서 객체영역을 지정한 사용자 입력을 받고, 상기 사용자 입력에 따라 지정된 객체영역을 레어어(Layer) 단위로 관리하는 것
    인 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작을 위한 장치.
11. 제9항에 있어서, 상기 객체 별 깊이 값 결정부는,
    상기 작업 클립에서 추출된 객체영역에 깊이 정보 부여방법, 최대 깊이 값 및 최소 깊이 값 중 적어도 하나를 지정하기 위한 사용자 인터페이스를 제공하는 것
    인 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작을 위한 장치.
    
12. 삭제
13. 삭제
14. 제9항에 있어서, 상기 객체 별 깊이 값 결정부는,
    상기 복수 다각형의 크기 및 위치를 변경하기 위한 사용자 인터페이스를 제공하고, 상기 사용자 인터페이스를 이용하여 상기 복수 다각형의 크기 및 위치를 변경하여 객체 별로 깊이 값을 가시적으로 변경하는 것
    인 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작을 위한 장치.
    
15. 제9항에 있어서, 상기 입체 변환 작업 지시서 생성부는,
    작업 클립과 상기 작업 클립에 대한 입체 변환 작업 지시서를 사용자 인터페이스에게 전달하되,
    상기 입체 변환 작업 지시서는,
    해당 작업 클립에서 레이어 단위로 추출된 객체영역의 정보, 특정 객체영역에 대한 깊이 정보 부여방법, 특정 객체영역의 최대 깊이 값 및 최소 깊이 값 중 적어도 하나를 포함하는 것
    인 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작을 위한 장치.
    

Images