KR101757352B1 - 입체 영상 생성 방법 - Google Patents

Abstract

본 발명은 입체 영상 생성 방법으로, 로토스코핑(Rotoscoping) 기법에 의해 단안 영상에 포함된 하나 이상의 객체를 분리하는 단계와, 분리된 하나 이상의 객체에 깊이값을 부여하여 객체를 배치하는 단계와, 각 객체가 배치된 형태의 가상의 스테레오 카메라를 생성하거나 깊이정보를 이용한 양안 영상 생성하는 단계를 포함한다.

Description

입체 영상 생성 방법{stereoscopic images generation method}

본 발명은 영상 처리 방법에 관한 것으로, 특히 2차원 영상을 입력으로 하여 3차원 입체 영상을 생성하는 방법에 관한 것이다.

현재 입체 영상 제작은 상용 툴을 이용하여 수작업에 의해 생성/변환되고 있다. 이러한 상용 툴을 이용한 입체 영상 제작은 다수의 작업자들이 하나의 영상을 일정 분량으로 나누어 입체 영상을 생성하고, 다수의 작업자들에 의해 생성된 입체영상들을 최종적으로 하나의 영상으로 합성한다.

그러나, 이러한 다수의 작업자들에 의해 생성된 입체 영상들을 합성할 경우, 작업자들마다 깊이값 추출이 달라 깊이감의 연속성이 유지되지 않게 된다. 또한, 깊이맵 편집을 2차원에서 수행하므로, 정확한 깊이 공간을 생성하기 어려운 점이 있다. 따라서, 상이한 작업자들이 생성한 영상의 깊이가 급격히 바뀌거나 공간의 깊이가 일치하지 않아 시각피로 유발할 수 있다.

본 발명은 단안 영상을 입체 영상으로 변환시 빈번하게 발생하는 깊이 공간 불일치로 인한 시각피로 유발을 최소화하는 입체 영상 생성 방법을 제공한다.

본 발명은 입체 영상 생성 방법으로, 로토스코핑(Rotoscoping) 기법에 의해 단안 영상에 포함된 하나 이상의 객체를 분리하는 단계와, 분리된 하나 이상의 객체에 깊이값을 부여하여 객체를 배치하는 단계와, 각 객체가 배치된 형태의 가상의 스테레오 카메라를 생성하거나 깊이정보를 이용한 양안 영상 생성하는 단계를 포함한다.

본 발명에 따르면, 3차원 콘텐츠 제작시 깊이정보 재해석 및 제어가 가능해져 시청자의 시각적 피로 유발을 줄일 수 있는 깊이공간 연출이 가능하다. 또한, 기존 입체 촬영에서 발생하는 기하오차 및 색상 불일치 등의 구조적 결함을 회피할 수 있어 2차원 영상의 입체화가 가능해진다. 또한, 양질의 입체콘텐츠를 다량 확보할 수 있게 되어 디지털콘텐츠 산업발전에 크게 기여한다.

도 1은 본 발명의 일 실시 예에 따른 입체 영상 생성 방법을 설명하기 위한 순서도이다.
도 2는 본 발명의 일 실시 예에 따른 입체 영상 생성 툴을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 깊이 스크립트 툴에서의 인터페이스를 도시한 도면이다.
도 4a 및 도 4b는 단안 영상으로부터 레이어 추출 및 깊이 스크립트 설정에 대한 도면이다.
도 5a 및 도 5b는 단안 영상으로부터 양안 영상을 생성을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 변환 툴에서의 레이어(Layer)별 깊이정보 배치 및 생성을 설명하기 위한 도면이다.

이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시 예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.

본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시 예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

명세서 전반에 걸쳐 사용되는 용어들은 본 발명 실시 예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 발명의 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 일 실시 예에 따른 입체 영상 생성 방법을 설명하기 위한 순서도이다.

도 1을 참조하면, 입체 영상 생성 방법은 로토스코핑(Rotoscoping) 기법에 의해 단안 영상에 포함된 하나 이상의 객체를 분리하는 단계(110)와, 분리된 하나 이상의 객체에 깊이값을 부여하여 객체를 배치하는 단계(120)와, 각 객체가 배치된 형태의 가상의 스테레오 카메라를 생성하거나 깊이정보를 이용한 양안 영상 생성하는 단계(130)를 포함한다. 또한, 부가적으로 양안 영상들에 의해 발생되는 홀 영역을 채우는 단계를 더 포함한다.

전술한 바와 같은 방법에 의해 생성된 입체 영상은 좌, 우 영상 간에 시차(disparity) 부여에 따른 각각의 프레임(frame)별 정확한 깊이 지도 생성, 시퀀스내 연속성(continuity)의 유지 정도에 따라, 그 품질이 결정된다.

이러한 프레임(frame)별 정확한 깊이 지도 생성, 시퀀스내 연속성(continuity)의 유지를 위해, 본 발명은 깊이 레이어 기반 공간 재조명 및 제어를 통한 입체 영상 생성 방법을 위해, 기존의 단안 영상으로부터의 양안 영상툴은 각각 상이한 장점을 가진 다양한 상용 S/W를 사용하여, 단계별로 다수의 툴에 나누어 작업하거나, 인하우스 S/W를 개발하여 한가지툴로 패키지화하여 작업을 진행한다.

도 2는 본 발명의 일 실시 예에 따른 입체 영상 생성 툴을 설명하기 위한 도면이다.

본 발명에서는 일 실시 예에 따라, 입체 영상 변환을 위해 크게 깊이 스크립트 툴(210), 변환 툴(220) 및 렌더링 관리툴(230)로 구성된다.

깊이 스크립트 툴(210)은 프로젝트 설정(Set Project), 자동/수동 컷 분할 또는 배분, 깊이 스크립트(Depth Script) 작성/수정, 컷 자동 변환(Auto Converting), 난이도별 작업 배분, 작업 폴더/파일 자동 생성, 랜더링 파일 입력 및 랜더링 관리툴로 송출을 포함한다. 여기서, 컷 자동 변환은 외부의 다른 툴에 의해 자동 변환된 경우로, 컷 자동 변환이 수행될 경우에는 변환 툴(220)이 동작되지 않고, 랜더링 관리툴로 송출하게 된다.

변환 툴(Converting Tool)(220)은 깊이 스크립트 툴(210)이 수행된 후, 3차원 영상으로 변환하는 것으로, 레이어(Layer)/깊이(Depth)/양안 영상 입력 및 배치, 트래킹, Keyer 기능, 로토 블러쉬, 로토 스코핑, 수동 UI를 포함하는 계층 정보 추출과, 3D Warping, IBMR, 깊이 정보 조절, Depth 간 합성을 포함하는 깊이 정보 생성과, 2D Warping, 깊이 정보 블러링, 전경 확대, 대응 영역, 수동 홀 필링을 포함하는 홀 필링을 포함한다.

랜더링 관리툴(Render Manager Tool)(230)은 컷 별 Render, Batch Render, Auto Converting 호출 및 네트워크 랜더링을 포함한다.

깊이 스크립트 툴(210)에 의한 시간축에 따른 사용자 정의 깊이정보와 Top View에서의 공간객체 재정렬을 위한 디스플레이 인터페이스 방법을 설명하기로 한다.

도 3은 본 발명의 일 실시 예에 따른 깊이 스크립트 툴에서의 인터페이스를 도시한 도면이다.

도 3을 참조하면, 깊이 스크립트 툴의 인터페이스에는 객체 추출된 영상(310)과, 추출된 객체의 깊이 스크립트(320)가 도시되어 있다.

도 4a 및 도 4b는 단안 영상으로부터 레이어 추출 및 깊이 스크립트 설정에 대한 도면이다.

도 4a를 참조하면, 단안 영상에서는 레이어들 (1), (2), (3)이 추출된다. 도 4b를 참조하면, 각각의 레이어들 (1), (2), (3)의 깊이가 미리 정해진 최대 깊이와 최소 깊이의 사이에서 초기 배치된다.

도 5a 및 도 5b는 단안 영상으로부터 양안 영상을 생성을 설명하기 위한 도면이다.

도 5a를 참조하면, 전술한 바와 같이 초기 배치가 이루어진 영상으로부터 양안 영상을 생성하기 위해 존재하지 않는 왼쪽 카메라를 IOD 값으로 조정하여 배치하게 된다. 이 경우 지정된 IOD 값에 의해 각 레이어의 깊이를 조절할 수 있는 범위는 제한된다.

레이어 (1)은 레이어 (2)보다 항상 전면에 놓여야 한다고 가정하며, 레이어 (1)이 이동하는 범위는 오른쪽 카메와 왼쪽 카메라에 동시에 보여야 하므로, 점 p보다 깊은 깊이를 가지게 된다. 그러므로, 레이어 (1)이 이동할 수 있는 d 구간 내에서 가능하게 된다.

도 5b를 참조하면, 만약 사용자가 IOD 간격을 감소시켜, 레이어 (1)이 3차원 공간 내에서 이동하는 범위는 넓어질 수 있지만, 이 경우 최대 깊이를 벗어나지 않도록 조절함으로써 3차원 공간이 분석된 깊이 스크립트를 반영한 레이어 깊이 정보를 가능하게 한다.

전술한 바와 같이 깊이 스크립트 툴에 의해 동작된 후, 변환 툴(Converting Tool)(220)에서 로토스코핑(Rotoscoping)에 의한 객체 분리 후, 레이어(Layer) 방식으로 깊이 지도를 합성하여 재가공하는 방법을 설명하기로 한다.

도 6은 본 발명의 일 실시 예에 따른 변환 툴에서의 레이어(Layer)별 깊이정보 배치 및 생성을 설명하기 위한 도면이다.

로토스코핑(Rotoscoping) 혹은 로토브러쉬(Roto Brush) 방식에 의해 분리되어진 객체들을 삼차원 공간 트래킹(Traking)을 통해 공간 배치하고, 각각의 객체들을 타임라인의 임의의 사용자 정의 그래프(Depth Scriopt)와 분리된 객체들을 연동하여 Top view에서 깊이공간을 객관적으로 묘사하게 된다.

이런 인터페이스 방법의 장점으로는 타임 라인에 놓이게 되는 각각의 레이어(Layer)를 다양한 방법으로 제작 혹은 디자인하여 스택(Stack)에 놓을 수 있다.또한, 이를 사용자 정의 깊이 공간 설정(Depth Scriopt)과 연동을 통해 깊이 정보를 재정의할 수 있을 뿐만 아니라, 최종 합성(Merge)하여 한 장의 깊이지도를 생성해 낼 수 있게 된다. 기존 2.5D 제작방식과의 차이점으로는 3D 제작 툴(Tool) 혹은 NukeX와 같은 Comosite툴에서 각 객체(Object)들을 삼차원 배치하여 세부 깊이(Depth)를 표현하고, 가상의 두 대의 카메라를 통해 랜더링(Rendering)하게 되는 방식에 비해 각 객체들의 깊이 지도를 따로 작성하여 레이어(Layer)방식으로 쌓아서 합성하는 기존 방식과 전혀 상이한 새로운 개념의 깊이지도 작성 방법이다.

Claims (10)

1. 로토스코핑(Rotoscoping) 기법에 의해 단안 영상에 포함된 하나 이상의 객체를 분리하는 단계;
   분리된 하나 이상의 객체에 깊이값을 부여하여 객체를 배치하는 단계; 및
   각 객체가 배치된 형태의 가상의 스테레오 카메라를 생성하거나 깊이정보를 이용한 양안 영상 생성하는 단계를 포함하고,
   상기 분리된 하나 이상의 객체에 깊이값을 부여하여 객체를 배치하는 단계는,
   객체 추출된 영상 및 추출된 객체의 깊이 스크립트를 출력하는 깊이 스크립트 툴을 사용해 상기 객체에 깊이값을 부여하는 단계를 포함하는, 입체 영상 생성 방법.
2. 제 1항에 있어서,
   상기 양안 영상들에 의해 발생되는 홀 영역을 채우는 단계를 더 포함함을 특징으로 하는 입체 영상 생성 방법.
   
3. 제 1항에 있어서, 상기 양안 영상을 생성하는 단계는
   초기 배치가 이루어진 영상으로부터 양안 영상을 생성하기 위해 존재하지 않는 왼쪽 카메라를 IOD 값으로 조정하여 배치함을 특징으로 하는 입체 영상 생성 방법.
   
4. 제 1항에 있어서, 상기 양안 영상을 생성하는 단계는
   로토스코핑 또는 로토브러쉬 방식에 의해 분리되어진 객체들을 삼차원 공간 트래킹을 통해 공간 배치하고, 각각의 객체들을 타임라인의 임의의 사용자 정의 그래프와 분리된 객체들을 연동하여 상면에서 깊이 공간을 묘사함을 특징으로 하는 입체 영상 생성 방법.
   
5. 제 1항에 있어서, 상기 양안 영상을 생성하는 단계는
   객체들 각각의 깊이 지도를 별도로 작성하는 단계와,
   상기 객체들 각각의 깊이 지도를 레이어 방식으로 쌓아서 합성하여 한 장의 깊이 지도를 생성하는 단계를 포함함을 특징으로 하는 입체 영상 생성 방법.
   
6. 삭제
7. 제 1항에 있어서,
   상기 깊이 스크립트 툴은
   프로젝트 설정, 자동/수동 컷 분할 또는 배분, 깊이 스크립트 작성/수정, 컷 자동 변환, 난이도별 작업 배분, 작업 폴더/파일 자동 생성, 랜더링 파일 입력 및 랜더링 관리툴로 송출 중 적어도 하나 이상의 기능을 수행함을 특징으로 하는 입체 영상 생성 방법.
   
8. 제 1항에 있어서,
   상기 객체에 깊이값이 부여된 후 3차원 영상으로 변환하기 위해 변환툴이 사용되는데,
   상기 변환툴은
   레이어/깊이/양안 영상 입력 및 배치, 트래킹, Keyer 기능, 로토 블러쉬, 로토 스코핑, 수동 UI를 포함하는 계층 정보 추출과, 3D Warping, IBMR, 깊이 정보 조절, Depth 간 합성을 포함하는 깊이 정보 생성과, 2D Warping, 깊이 정보 블러링, 전경 확대, 대응 영역, 수동 홀 필링 중 적어도 하나 이상을 기능을 수행함을 특징으로 하는 입체 영상 생성 방법.
   
9. 제 1항에 있어서,
   양안 영상을 생성하기 위해 랜더링 관리툴이 더 사용되는데,
   상기 랜더링 관리툴은
   컷 별 Render, Batch Render, Auto Converting 호출 및 네트워크 랜더링 기능을 수행함을 특징으로 하는 입체 영상 생성 방법.
   
10. 제 9항에 있어서, 상기 깊이 스크립트 툴은
    컷 자동 변환을 수행할 경우, 상기 컷 자동 변환된 객체를 상기 랜더링 관리툴에 전달함을 특징으로 하는 입체 영상 생성 방법.

Images