KR101285111B1

KR101285111B1 - 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치 및 방법

Info

Publication number: KR101285111B1
Application number: KR1020120010215A
Authority: KR
Inventors: 김하윤; 김아란; 전병기; 정원석; 박영환; 이강호; 최연봉
Original assignee: (주)리얼디스퀘어; 에스케이플래닛 주식회사
Priority date: 2012-02-01
Filing date: 2012-02-01
Publication date: 2013-07-17

Abstract

본 발명은 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치 및 방법에 관한 것으로서, 2차원 영상에서 선택된 객체에 Z 컨트롤 포인트를 설정하고 선택된 객체의 깊이정보를 확인하며 Z 컨트롤 포인트를 Z축 방향으로 이동시켜 선택된 객체의 깊이정보를 수정하는 사용자 인터페이스부, 2차원 영상의 깊이 맵을 생성하고, 사용자 인터페이스부를 통해 객체의 깊이정보가 수정된 경우 이전의 깊이 맵에서 객체의 수정된 깊이정보를 실시간으로 반영하여 수정된 깊이 맵을 생성하는 깊이 맵 생성부, 깊이 맵에 따라 2차원 영상을 3차원 영상으로 렌더링하고, 수정된 깊이 맵이 생성된 경우 3차원 영상에 수정된 깊이정보를 실시간으로 반영하여 객체의 깊이정보가 수정된 3차원 영상을 렌더링하는 3차원 영상 렌더링부, 렌더링된 3차원 영상을 디스플레이하는 디스플레이부, 및 2차원 영상에서 사용자 인터페이스부를 통해 수정되는 깊이정보를 깊이 맵 생성부로 실시간 전달하고 깊이 맵 생성부에서 생성된 수정된 깊이 맵을 3차원 영상 렌더링부에 실시간 전달하여 깊이정보가 수정된 3차원 영상이 디스플레이 되도록 제어하는 영상 제어부를 포함한다. 이에 의해, 2차원 영상에서 특정 객체를 선택하여 해당 객체의 깊이정보를 조절하고 깊이정보가 조절된 객체의 3차원 렌더링 영상을 실시간으로 확인할 수 있다.

Description

2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치 및 방법{CONVERSION DEVICE FOR TWO DIMENSIONAL IMAGE TO THREE DIMENSIONAL IMAGE, AND METHOD THEREOF}

본 발명은 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치 및 방법에 관한 것으로서, 보다 상세하게는, 2차원 영상에서 특정 객체를 선택하여 해당 객체의 깊이정보를 확인하며 깊이정보를 조절하고 깊이정보가 조절된 객체의 3차원 렌더링 영상을 실시간으로 확인할 수 있도록 함으로써, 깊이정보 조절에 따른 렌더링 결과를 실시간 확인하여 적절한 깊이정보를 용이하게 입력할 수 있고 깊이정보 수정에 따른 작업 시간을 단축시키는 한편 변환된 3차원 영상의 품질을 향상시킬 수 있는 영상 변환 장치 및 방법에 관한 것이다.

3차원 입체 영상(stereoscopic image)에 대한 관심이 높아지면서 입체영상을 생성하기 위한 다양한 방법들이 개발되고 있다. 입체 영상을 생성하는 방법 중에는 2차원 비디오 영상을 3차원 입체 영상으로 변환하는 방법이 있다. 2차원 비디오 영상을 3차원 입체 영상으로 변환하는 경우, 이미 만들어진 비디오 콘텐츠를 활용할 수 있으며 별도의 촬영장비를 이용하지 않고도 3차원 입체 영상을 얻을 수 있다는 장점이 있다.

2차원 평면 영상을 3차원 입체 영상으로 변환시키기 위해서는, 2차원 평면 영상으로부터 서로 다른 시차 정보를 가지는 좌측 영상과 우측 영상을 생성해야 한다. 이에, 2차원 평면 영상에 표시된 객체들에 깊이(depth)정보를 부여하여 깊이 맵(Depth Map)을 생성하고 깊이 맵에 기초하여 좌측 영상과 우측 영상을 생성함으로써 2차원 평면 영상을 3차원 입체 영상으로 변환하고 있다.

여기서, 3차원 입체 영상의 품질에 문제가 있다면 깊이 맵을 수정하고, 수정된 깊이 맵에 따라 다시 3차원 입체 영상을 렌더링한 후 수정 결과를 확인하여 객체들의 깊이정보 변화를 확인해야 한다. 그런데, 렌더링을 수행하는 데에는 비교적 많은 시간이 소요되고 깊이 맵을 수정할 때마다 새롭게 렌더링을 수행하여야 하기 때문에 작업 시간이 지연되고 업무 효율이 저하되는 문제점이 있다.

한국공개특허 2011-0099526 평면 영상을 입체 영상으로 변환하는 방법

본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 2차원 영상에서 특정 객체를 선택하고 선택된 객체의 깊이정보를 가상의 3차원 입체 공간 상에서 확인하며 해당 객체의 깊이정보를 조절할 수 있고 객체의 깊이정보 변화와, 깊이정보가 조절된 객체의 3차원 렌더링 영상을 한 화면에서 실시간으로 확인할 수 있도록 함으로써, 깊이정보 조절에 따른 렌더링 결과를 실시간 확인하여 적절한 깊이정보를 용이하게 입력할 수 있고 깊이정보 수정에 따른 작업 시간을 단축시키는 한편 변환된 3차원 영상의 품질을 향상시킬 수 있는 영상 변환 장치 및 방법을 제공하는데 그 기술적 과제가 있다.

상술한 목적을 달성하기 위한 본 발명의 일 측면에 따르면, 영상 변환 장치는 2차원 영상에서 선택된 객체에 Z 컨트롤 포인트를 설정하고 상기 선택된 객체의 깊이정보를 확인하며 상기 Z 컨트롤 포인트를 Z축 방향으로 이동시켜 상기 선택된 객체의 깊이정보를 수정하는 사용자 인터페이스부, 상기 2차원 영상의 깊이 맵을 생성하고, 상기 사용자 인터페이스부를 통해 상기 객체의 깊이정보가 수정된 경우 이전의 깊이 맵에서 상기 객체의 수정된 깊이정보를 실시간으로 반영하여 수정된 깊이 맵을 생성하는 깊이 맵 생성부, 상기 깊이 맵에 따라 상기 2차원 영상을 3차원 영상으로 렌더링하고, 상기 수정된 깊이 맵이 생성된 경우 상기 3차원 영상에 상기 수정된 깊이정보를 실시간으로 반영하여 상기 객체의 깊이정보가 수정된 3차원 영상을 렌더링하는 3차원 영상 렌더링부, 상기 렌더링된 3차원 영상을 디스플레이하는 디스플레이부, 및 상기 2차원 영상에서 상기 사용자 인터페이스부를 통해 수정되는 깊이정보를 상기 깊이 맵 생성부로 실시간 전달하고 상기 깊이 맵 생성부에서 생성된 수정된 깊이 맵을 상기 3차원 영상 렌더링부에 실시간 전달하여 상기 깊이정보가 수정된 3차원 영상이 디스플레이 되도록 제어하는 영상 제어부를 포함한다.

여기서, 깊이 맵 생성부는, 상기 사용자 인터페이스부에서 선택된 객체정보를 추출하는 객체정보 추출모듈, 상기 Z 컨트롤 포인트의 Z값에 따라 상기 객체의 깊이정보를 설정하는 깊이정보 설정모듈, 상기 Z 컨트롤 포인트의 변화에 따라 해당 객체의 수정된 깊이정보를 인식하는 깊이정보 수정부, 및 상기 깊이정보 설정모듈에서 인식된 깊이정보에 기초하여 깊이 맵을 생성하고, 상기 깊이정보 수정모듈에서 입력된 수정된 깊이정보를 상기 생성된 깊이 맵에 반영하여 수정된 깊이 맵을 생성하는 깊이 맵 생성모듈을 포함한다.

또한, 사용자 인터페이스부는, 사용자의 선택에 따라 적어도 둘 이상의 객체를 선택하고, 상기 선택된 둘 이상의 객체의 깊이정보를 가상의 3차원 입체 공간상에 투영하여 세로축으로 정렬하고, 정렬된 상기 가상의 3차원 입체 공간상에 투영된 객체의 깊이정보를 비교하며 상기 선택된 객체의 깊이정보를 수정하고, 상기 깊이 맵 생성부는 상기 둘 이상의 객체의 수정된 깊이정보를 실시간으로 반영하여 수정된 깊이 맵을 생성할 수 있다.

또한, 영상 제어부는, 상기 2차원 영상의 깊이정보를 수정하는 사용자 인터페이스부와 상기 2차원 영상을 렌더링한 3차원 영상이 한 화면상에 표시되도록 상기 디스플레이부를 제어할 수 있다.

또한, 3차원 영상 렌더링부는, 상기 깊이 맵에 기초하여 상기 2차원 영상에 대해 서로 다른 시차 정보를 가진 좌측 영상과 우측 영상을 생성하고 서로 다른 시차 정보를 가진 좌측 영상과 우측 영상을 조합하여 3차원 영상을 생성할 수 있다.

상술한 목적을 달성하기 위한 본 발명의 다른 측면에 따르면, 영상 변환 방법은 (A) 2차원 영상의 깊이 맵을 생성하는 단계, (B) 상기 깊이 맵에 따라 3차원 영상을 렌더링하여 표시하는 단계, (C) 상기 2차원 영상에서 특정 객체를 정의한 객체정보를 입력받는 단계, (D) 상기 선택된 객체에 Z 컨트롤 포인트를 설정하고 상기 선택된 객체의 깊이정보를 확인하며 상기 Z 컨트롤 포인트를 Z축 방향으로 이동시켜 표시하는 단계, (E) 상기 이동시켜 표시한 Z 컨트롤 포인트의 Z값에 따라 상기 객체의 수정된 깊이정보를 실시간 인식하는 단계, (F) 상기 객체의 수정된 깊이정보에 따라 이전의 깊이 맵에서 상기 객체의 수정된 깊이정보를 실시간으로 반영하여 수정된 깊이 맵을 생성하는 단계, 및 (G) 상기 수정된 깊이 맵에 기초하여 상기 객체의 깊이정보가 수정된 3차원 영상을 렌더링하여 표시하는 단계를 포함한다.

여기서, (D) 단계는, 상기 선택된 객체의 영역에 Z 컨트롤 포인트를 설정하는 단계, 및 상기 Z 컨트롤 포인트가 Z축 방향으로 이동된 경우, 상기 이동된 Z 컨트롤 포인트를 포함하는 평면에 상기 객체를 투영하여 표시하는 단계를 포함한다.

또한, 상기 (E) 단계는, 상기 Z 컨트롤 포인트의 Z 값의 변화에 따라 상기 객체의 수정된 깊이정보를 인식할 수 있다.

또한, (G) 단계는, 상기 2차원 영상, 및 상기 2차원 영상의 수정된 깊이 맵과, 상기 2차원 영상을 렌더링한 3차원 영상을 한 화면에 표시할 수 있다.

또한, 상기 2차원 영상에서 둘 이상의 객체를 선택하여 깊이정보를 수정하는 경우, 상기 (C) 단계 내지 상기 (F) 단계를 반복한 후, 선택된 모든 객체의 수정된 깊이정보가 반영된 깊이 맵이 생성되면, 상기 (G) 단계를 수행할 수 있다.

상술한 바와 같이 본 발명의 영상 변환 장치 및 방법은, 2차원 영상에서 특정 객체를 선택하고 선택된 객체의 깊이정보를 가상의 3차원 입체 공간상에서 확인하며 해당 객체의 깊이정보를 조절할 수 있는 효과가 있다.

또한, 2차원 영상에서 다수의 객체를 선택하여 다수의 객체의 깊이정보를 수정한 경우, 다수의 객체의 깊이정보를 가상의 3차원 입체 공간상에서 비교하며 각 객체의 깊이정보를 수정할 수 있는 효과가 있다.

또한, 객체의 수정된 깊이정보와 깊이정보가 조절된 객체의 3차원 렌더링 영상을 한 화면에서 실시간으로 확인할 수 있도록 함으로써, 깊이정보 조절에 따른 렌더링 결과를 실시간 확인하여 적절한 깊이정보를 용이하게 입력할 수 있고 깊이정보 수정에 따른 작업 시간을 단축시키는 한편 변환된 3차원 영상의 품질을 향상시키는 효과가 있다.

도 1은 본 발명의 실시예에 따른 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치의 제어블럭도,
도 2는 본 발명의 실시예에 따른 깊이 맵 생성부의 제어블럭도,
도 3은 본 발명의 실시예에 따른 2차원 영상을 3차원 영상으로 변환하는 영상 변환 방법의 흐름도,
도 4 내지 도 7은 본 발명의 일 실시예에 따른 영상 변환 장치의 작업 화면의 표시 상태도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세히 설명하기로 한다. 첨부 도면을 참조하여 설명함에 있어 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 실시예에 따른 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치(100)의 제어블럭도이다. 본 발명의 실시예에 따른 영상 변환 장치(100)는 입력된 2차원 영상에 대해 사용자가 직접 깊이정보를 설정할 수 있도록 그래픽 인터페이스를 제공하고, 사용자의 입력에 따라 깊이 맵(depth map)을 생성하여 3차원 영상을 모델링한다. 여기서, 2차원 영상 및 3차원 영상은 정지 영상과 동영상을 모두 포함할 수 있으며, 2차원 영상이 동영상일 경우 깊이정보 설정 등의 과정은 2차원 영상을 구성하는 프레임 단위로 수행될 수 있다.

도 1에 도시된 바와 같이, 본 발명의 영상 변환 장치(100)는 2차원 영상 입력부(110), 사용자 인터페이스부(120), 디스플레이부(130), 영상 제어부(140), 깊이 맵 생성부(200) 및 3차원 영상 렌더링부(300)를 포함한다.

2차원 영상 입력부(110)는 3차원 영상으로 변환하고자 하는 2차원 영상을 입력 받는다.

사용자 인터페이스부(120)는 영상 변환 장치(100)의 기능 선택 및 제어를 위한 사용자 인터페이스를 제공하여, 2차원 영상에서 특정 객체를 선택한 후 깊이정보를 입력 및 수정하는 기능을 선택할 수 있다.

사용자는 사용자 인터페이스부(120)를 통해 2차원 영상에 표시된 객체를 선택하고 해당 객체에 깊이정보를 입력하거나 수정할 수 있다. 2차원 영상에서 객체 선택은 에지 인식 등의 영상 인식 기술을 이용하여 자동으로 선택되도록 하거나, 혹은 사용자 인터페이스부(120)를 통해 베지어 곡선(Bezier curve)을 설정하여 객체를 선택하도록 할 수 있다. 베지어 곡선은 몇 개의 제어점을 선택하여 점과 점 사이가 연결되도록 함으로써 생성되는 불규칙한 곡선을 뜻한다. 또한, 자동으로 인식된 객체를 사용자가 편집하여 객체를 선택하는 것도 가능하다.

사용자는 사용자 인터페이스부(120)를 통해 2차원 영상에서 특정 객체를 선택하여 깊이정보를 입력하거나 수정할 수 있다. 사용자는 선택한 객체의 소정 영역을 클릭하여 Z 컨트롤 포인트를 선택하고, Z 컨트롤 포인트 Z축 방향으로 드래그함으로써 깊이정보를 입력하거나 수정할 수 있다.

일반적으로, 컨트롤 포인트를 제어 또는 수정하려는 점(point)을 의미하며, 사용자가 마우스를 이용하여 수정하려는 점 또는 영역을 클릭하면 클릭된 영역이 컨트롤 포인트가 된다.

본 발명에서는, 2차원 영상에서 선택된 객체 상에 마우스를 이용하여 임의의 점을 클릭하면 클릭된 점이 Z 컨트롤 포인트로 설정된다.

사용자는 사용자 인터페이스부(120)를 통해 선택한 객체의 깊이정보를 Z 컨트롤 포인트를 마우스로 드래그하여 Z축 방향으로 이동시켜 수정할 수 있다.

이때, 수정된 Z값은 가상의 3차원 입체 공간상에 투영된 객체의 높이로 표현되며, 사용자는 변화된 높이로부터 객체의 입체감을 예측하며 객체의 깊이정보를 수정할 수 있다.

깊이정보 수정을 위해, 사용자는 사용자 인터페이스부(120)를 통해 3차원 공간의 xy 평면에 2차원 영상을 배치하고, 특정 객체에서 설정된 Z 컨트롤 포인트를 Z축으로 이동시켜 3차원 입체 평면에 객체를 투영시킨다.

사용자가 사용자 인터페이스부(120)를 통해 적어도 둘 이상의 객체를 선택하면, 선택된 둘 이상의 객체의 깊이정보를 3차원 입체 평면상에 투영하여 세로축으로 정렬하고, 정렬된 3차원 입체 평면상에 투영된 객체의 깊이정보를 비교하며 각각의 객체의 깊이정보를 수정할 수 있다.

따라서, 2차원 영상에서 다수의 객체를 선택하여 깊이정보를 수정할 경우, 다수의 객체의 상대적 깊이정보를 가상의 3차원 입체 평면상에 투영하여 비교하며 깊이정보를 수정할 수 있다.

디스플레이부(130)는 2차원 영상이 렌더링된 처리 결과를 사용자에게 표시한다.

영상 제어부(140)는 사용자 인터페이스부(120)를 통해 Z 컨트롤 포인트를 입력받아, Z 컨트롤 포인트를 포함하는 가상의 3차원 입체 평면에 해당 객체를 투영하여 표시한다.

영상 제어부(140)는 객체 선택 정보와 해당 객체의 Z 컨트롤 포인트 정보를 깊이 맵 생성부(200)에 실시간 전달하여 사용자 입력에 따라 깊이 맵이 수정되도록 깊이 맵 생성부(200)를 제어한다.

영상 제어부(140)는 깊이 맵(depth map)에 따라 2차원 영상이 3차원 영상으로 변환되어 디스플레이부(130)에 표시되도록 3차원 영상 렌더링부(300)를 제어한다.

영상 제어부(140)는 2차원 영상의 깊이정보를 수정하는 사용자 인터페이스부(120)와 2차원 영상을 렌더링한 3차원 영상이 한 화면상에 표시되도록 디스플레이부(130)를 제어한다.

따라서, 디스플레이부(130)는 사용자 인터페이스부(120)가 배치된 화면 영역 상에 팝업창 형태로 표시될 수 있다.

여기서, 영상 제어부(140)의 깊이 맵 수정 제어 과정과 수정된 깊이 맵에 따른 3차원 영상 렌더링 과정은 사용자 입력에 따라 실시간으로 진행된다. 즉, 사용자가 깊이정보를 수정하면 수정된 깊이정보가 깊이 맵에 실시간으로 반영되고, 이에 연동하여 3차원 렌더링 영상에도 수정된 깊이정보가 반영되어 디스플레이부(130)에 표시된 3차원 영상이 변화하게 된다. 따라서, 사용자는 깊이정보 수정에 따른 3차원 영상의 변화를 실시간 확인할 수 있다.

깊이 맵 생성부(200)는 선택된 객체 정보를 추출한다. 깊이 맵 생성부(200)는 객체에 부여된 Z 컨트롤 포인트를 깊이정보로 인식하고, Z 컨트롤 포인트의 이동에 따라 해당 객체의 깊이정보가 변화하는 것을 인식한다. 깊이 맵 생성부(200)는 인식된 깊이정보에 따라 깊이 맵(depth map)을 생성한다. 깊이 맵(depth map)은 2차원 영상에 포함된 객체들이 3차원 영상으로 인식되도록 변환하기 위해 적용되는 변환정보로서, 각 픽셀에 대한 시점 정보, 각 픽셀의 가까운 쪽 위치와 먼 쪽의 위치를 나타내는 색상정보를 포함할 수 있다. 이에, 깊이 맵(depth map)을 시각화 하는 경우 흑백으로 높낮이를 표시한 영상으로 표시된다.

3차원 영상 렌더링부(300)는 깊이 맵 생성부(200)에서 생성된 깊이 맵(depth map)을 이용하여 입력된 2차원 영상을 3차원 영상으로 변환한다. 3차원 영상 렌더링부(300)는 깊이 맵(depth map)을 이용하여 서로 다른 시차 정보를 가진 좌측 영상과 우측 영상을 생성하고 서로 다른 시차 정보를 가진 좌측 영상과 우측 영상을 조합하여 3차원 영상을 생성한다. 여기서, 사용자가 깊이 맵을 수정하는 경우 영상 제어부(140)는 수정된 깊이 맵을 3차원 영상 렌더링부(300)에 전달하여 수정된 깊이 맵에 따른 3차원 영상이 생성되도록 한다.

이러한 구성에 따라, 본 발명에 따른 영상 변환 장치(100)는 2차원 영상에서 특정 객체를 선택하고 해당 객체에 Z 컨트롤 포인트를 부여하여 드래그함으로써 객체의 깊이정보를 입력하며, 해당 객체의 깊이정보 변화에 따른 3차원 렌더링 영상을 실시간 확인할 수 있다.

도 2는 본 발명의 실시예에 따른 깊이 맵 생성부(200)의 제어블럭도이다.

도 2에 도시된 바와 같이 깊이 맵 생성부(200)는 객체정보 추출모듈(210), 깊이정보 설정모듈(220), 깊이정보 수정모듈(230) 및 깊이 맵 생성모듈(240)을 포함한다.

객체정보 추출모듈(210)은 2차원 영상에서 깊이정보 설정을 위해 선택된 객체의 정보를 추출한다. 객체 정보는 2차원 영상에서 선택된 객체의 식별정보, x 좌표, y 좌표, 벡터 값 등을 포함할 수 있다.

깊이정보 설정모듈(220)은 객체에 설정된 Z 컨트롤 포인트의 이동에 따라 해당 객체의 깊이정보를 설정할 수 있다. 2차원 영상에서 선택된 객체에 설정된 Z 컨트롤 포인트는Z축 이동에 따라 가상의 3차원 입체 공간상에 위치하게 된다. 깊이정보 설정모듈(220)은 3차원 입체 공간상에 위치한 Z 컨트롤 포인트의 Z값을 이용하여 해당 객체의 깊이정보를 인식할 수 있다.

깊이정보 수정모듈(230)은 특정 객체에 대해 사용자가 Z 컨트롤 포인트를 이동하는 경우 수정된 깊이정보를 깊이 맵 생성모듈(240)로 전달한다.

깊이 맵 생성모듈(240)은 깊이정보 설정모듈(220)에서 인식된 객체의 깊이정보에 기초하여 2차원 영상의 깊이 맵(depth map)을 생성한다. 또한, 깊이정보 수정모듈(230)로부터 특정 객체의 수정된 깊이정보를 입력받아 깊이 맵을 수정하여, 수정된 깊이 맵을 3차원 영상 렌더링부(300)로 전달한다.

이러한 구성에 따라, 깊이 맵 생성부(200)는 사용자가 입력한 Z 컨트롤 포인트의 이동에 따라 객체의 깊이정보가 수정된 것을 인식하고, 수정된 깊이정보를 실시간 깊이 맵에 반영하여 3차원 영상 렌더링부(300)로 전달한다. 3차원 영상 렌더링부(300)는 수정된 깊이 맵이 입력되는 경우 실시간 수정사항을 반영하여 3차원 영상을 렌더링 함으로서 깊이정보 변화에 따른 3차원 영상을 실시간으로 확인할 수 있도록 한다.

도 3은 본 발명의 실시예에 따른 2차원 영상을 3차원 영상으로 변환하는 영상 변환 방법의 흐름도이다.

영상 변환 장치(100)에 2차원 영상이 입력되면(S110), 영상 제어부(140)는 2차원 영상을 3차원 공간의 x, y 평면에 디스플레이한다.

깊이 맵 생성부(200)는 입력된 2차원 영상의 깊이 맵을 생성한다(S120). 여기서, 깊이 맵 생성을 위한 깊이정보는 사용자가 직접 입력할 수 있으며, 혹은, 영상 인식 기술을 이용하여 깊이 맵이 자동으로 생성되도록 하는 것도 가능하다.

3차원 영상 렌더링부(300)는 생성된 깊이 맵에 따라 2차원 영상을 3차원 영상으로 렌더링한다(S130).

사용자는 디스플레이부(130)에서 렌더링된 3차원 영상을 확인한 후, 깊이정보를 수정하고자 하는 객체를 선택할 수 있다. 사용자는 사용자 인터페이스부(120)를 통해 2차원 영상에서 객체를 선택 입력할 수 있다. 이에, 객체정보 추출모듈(210)은 해당 객체의 정보를 추출한다(S140).

사용자는 사용자 인터페이스부(120)를 통해 선택된 객체에 Z 컨트롤 포인트를 설정하고 이를 Z축 방향으로 드래그하여 해당 객체의 깊이정보를 수정할 수 있다(S150). 이에, 깊이정보 수정모듈(230)은 해당 객체의 Z값에 따라 수정된 깊이정보를 인식하여 깊이 맵 생성모듈(250)로 전달한다.

깊이 맵 생성모듈(250)은 이 전에 생성된 깊이 맵에서 해당 객체의 깊이정보를 수정한다(S300).

수정된 깊이 맵은 실시간 3차원 영상 렌더링부(300)로 전달되어 깊이정보가 변경된 3차원 영상이 실시간으로 렌더링되어 표시된다(S170).

2차원 영상에서 다수의 객체를 선택하여 각각의 객체의 깊이정보를 수정하는 경우, 선택한 다수의 객체의 깊이정보를 모두 수정한 후 수정된 깊이 맵을 이용하여 2차원 영상을 렌더링하여 3차원 영상을 생성하거나 3차원 영상을 수정하여 렌더링한다.

이상 설명한 바와 같이, 본 발명은 2차원 평면에서 객체를 선택하고 해당 객체에 Z 컨트롤 포인트를 설정하여 드래그하는 방법으로 해당 객체의 깊이정보를 수정할 수 있다. 수정된 깊이정보는 깊이 맵에 실시간 반영되어 깊이정보가 변경된 3차원 영상이 실시간으로 렌더링 된다. 이에 따라, 사용자는 깊이정보 수정에 따른 3차원 영상의 변화를 실시간 확인하여 깊이정보를 용이하고 신속하게 수정할 수 있다.

본 발명의 실시예에 따른 영상 변환 장치(100)의 작업 과정을 도 4 내지 도7을 참조하여 설명한다.

도 4 내지 도 7은 사용자 인터페이스부(410, 510, 610, 710)와 디스플레이부(420, 520, 620, 720)가 한 화면에 표시된 영상 변환 장치(100)의 작업 화면의 표시상태도이다.

도 4 내지 도 7에 공통된 내용은 먼저 설명하고, 객체의 깊이정보 변화에 따른 렌더링 후 3차원 영상을 대비하여 설명하는 내용은 도 4 및 도 5, 도 6 및 도7을 비교하며 설명하도록 한다.

사용자 인터페이스부(410, 510, 610, 710)의 상단에는 작업 모드를 선택하는 메뉴가 표시되고, 왼 측에는 저작을 위한 도구상자에 포함된 메뉴가 표시된다.

여기서, 작업 모드 선택 메뉴는 객체를 선택하는 마스크(MASK) 작업 모드 선택 메뉴, 깊이 맵을 생성 또는 수정하는 깊이 맵(DEPTHMAP) 작업 모드 선택 메뉴, 및 2차원 영상을 생성 또는 수정된 깊이 맵을 이용하여 3차원으로 렌더링하는 렌더링(RENDERING) 작업 모드 선택 메뉴를 포함하여 구성된다.

사용자는 사용자 인터페이스부(410, 510, 610, 710)에 표시된 메뉴를 이용하여 2차원 영상에서 객체 선택, 깊이정보 수정, 3차원 영상으로 렌더링을 수행할 수 있다.

먼저, 사용자가 사용자 인터페이스부(410, 510, 610, 710)의 마스크(MASK) 작업 모드 선택 메뉴를 선택하면, 사용자 인터페이스부(410, 510, 610, 710)의 작업 화면에는 깊이정보를 수정할 객체를 선택할 수 있는 2차원 영상(412, 512, 612, 712), 2차원 영상의 깊이 맵(414, 514, 614, 714) 및 깊이정보(Z, Z' )가 표시된 객체(B, B', G, G', H, H')가 투영될 수 있는 가상의 3차원 입체 공간(416, 516, 616, 716)이 표시된다.

즉, 2차원 영상(412, 512, 612, 712)은 사용자 인터페이스부(410, 510, 610, 710) 작업 화면의 xy 평면에 표시되며, 2차원 영상(412, 512, 612, 712)과 동일한 평면상에 2차원 영상의 깊이 맵(414, 514, 614, 714)이 표시되고, 가상의 3차원 공간(416, 516, 616, 716)은 2차원 영상(412, 512, 612, 712)과 xy 평면을 공유하도록 표시된다.

여기서, 2차원 영상의 깊이 맵(414, 514, 614, 714)은 깊이정보를 0~255 사이의 그레이 정보로 나타낸 것으로 표시된다.

객체 선택은 사용자 인터페이스부(410, 510, 610, 710)에 표시된 2 차원 영상(412, 512, 612, 712)의 일부 영역을 지정하여 선택된다.

여기서, 객체는 점, 선 또는 면으로 선택될 수 있고, 객체 선택 방법은 마우스로 다수의 제어점들을 선택하여 연결하거나, 자동 객체 인식을 위한 다양한 영상 인식 기술을 사용하여 선택할 수 있다.

예를 들어, 사용자가 2차원 영상에서 선택할 객체 윤곽선을 따라 몇 개의 제어점을 선택하고, 선택한 제어점들 사이가 연결되도록 베지어 곡선(Bezier curve) 설정을 선택하여 객체를 선택할 수 있다.

또한, 에지 인식 기술을 이용하여 하나의 에지 영역이 자동 선택되도록 함으로써 객체를 선택하거나, 선택된 하나의 에지 영역을 편집하여 객체로 선택할 수 있다.

본 실시예에서는 2차원 영상(412, 512, 612, 712)에서 사람의 얼굴과 머리 윤곽을 따라 다수의 제어점을 선택하고 선택된 제어점 사이가 폐곡선으로 연결되도록 베지어 곡선 설정을 선택하여 사람의 얼굴 영역을 객체로 선택할 수 있다.

또한, 2차원 영상(412, 512, 612, 712)에서 사람의 얼굴 영역을 마우스로 선택한 후 에지 인식 기술을 실행하는 메뉴를 선택함으로써 얼굴 윤곽을 따라 하나의 폐곡선으로 연결된 객체를 선택할 수 있다.

다음으로, 사용자 인터페이스부(410, 510, 610, 710)의 깊이 맵(DEPTHMAP) 작업 모드 선택 메뉴가 선택되면, 사용자 인터페이스부(410, 510, 610, 710)의 작업 화면에는 객체가 선택된 2차원 영상(412, 512, 612, 712), 2차원 영상의 깊이 맵(414, 514, 614, 714) 및 깊이정보(Z, Z' )가 표시된 객체(B, B', G, G', H, H')가 투영될 수 있는 가상의 3차원 입체 공간(416, 516, 616, 716)이 표시된다.

사용자는 선택한 객체상의 임의의 점을 Z 컨트롤 포인트(P)로 설정한다. 여기서, Z 컨트롤 포인트(P)는 선택된 객체의 깊이 정보를 변화시키기 위한 제어점으로 사용된다.사용자는 선택된 객체에 설정한 Z 컨트롤 포인트(P)를 드래그하여 Z축 방향으로 일정 거리(Z, Z') 이동시킬 수 있고, 일정 거리(Z, Z') 이동시킨 Z 컨트롤 포인트 위치의 가상의 3차원 공간(416, 516, 616, 716)상에 투영된 객체(B, B', G, G', H, H')를 표시할 수 있다.

즉, Z 컨트롤 포인트(P)를 Z축 방향으로 Z'만큼 이동시키면, 가상의 3차원 공간(416, 516, 616, 716)상에 투영된 객체(B, B', G, G', H, H')는 2차원 영상에서 선택된 객체와 x좌표, y좌표는 동일하고, z좌표만 Z'로 변경된 좌표를 갖게 된다. 따라서, 선택된 객체의 깊이정보는 z좌표의 변화된 크기만큼 변경되므로, 변화된 깊이정보를 반영하여 깊이 맵이 수정된다.

다음으로, 사용자 인터페이스부(410, 510, 610, 710)의 렌더링 작업 모드 선택 메뉴가 선택되면, 디스플레이부(420, 520, 620, 720)는 수정된 깊이 맵을 이용하여 2차원 영상이 렌더링된 3차원 영상을 표시한다.

이때, 디스플레이부(420, 520, 620, 720)는 팝업창 형태로 사용자 인터페이스부(410, 510, 610, 710)와 함께 표시될 수 있다.

선택된 객체에 대응되는 3차원 영상 부분은 영상의 다른 부분보다 변화된 깊이정보만큼 돌출되거나 함몰되어 관측된다.

사용자 인터페이스부(410, 510, 610, 710)를 통해 선택된 객체의 깊이정보를 변화시킨 경우 렌더링된 3차원 영상의 변화를 도 4 및 도 5, 도 6 및 도 7을 비교하며 설명하도록 한다.

도 4 및 도 5는 하나의 객체가 선택되고 깊이정보가 수정된 경우, 깊이정보 수정을 위한 사용자 인터페이스부(410, 510)의 작업 화면과, 선택된 객체의 수정된 깊이정보를 반영하여 렌더링을 수행한 디스플레이부(420, 520)의 작업 화면을 나타낸 것이다.

먼저, 도 4를 참조하면, B는 선택된 객체(얼굴 영역)의 깊이정보를 Z로 입력하여 가상의 3차원 입체 공간(416)상에 투영한 객체를 의미하고, C는 B를 입력된 깊이정보 Z를 이용하여 렌더링한 3차원 영상을 의미하고, A는 선택된 객체의 입력된 깊이정보를 그레이 정보로 나타낸 것을 의미한다.

2차원 영상의 다른 객체들과 비교할 때, 3차원 입체 공간(416)상에 투영된 객체(B)는 상대적으로 큰 깊이정보(Z)를 가지며, 선택된 객체를 렌더링한 3차원 영상(C)은 2차원 영상의 다른 객체와 비교할 때 상대적으로 화면 앞으로 돌출되게 표시되고, 선택된 객체의 깊이정보를 그레이 정보로 나타낸 것(A)은 상대적으로 밝게 표시된다.

도 5를 참조하면, B'는 선택된 객체(얼굴 영역)의 깊이정보를 Z(도 4)에서 Z'만큼 수정하여 가상의 3차원 입체 공간(516)상에 투영한 객체를 의미하고, C'는 B'를 수정된 깊이정보 Z'를 이용하여 렌더링한 3차원 영상을 의미하고, A'는 수정된 깊이정보를 그레이 정보로 나타낸 것을 의미한다.

앞서 설명한 바와 같이, 깊이정보 수정은 깊이정보를 수정할 객체를 선택하고 선택된 객체의 임의의 점을 Z 컨트롤 포인트로 설정한 후 Z 컨트롤 포인트를 Z축 방향으로 이동시켜 수행된다.

도 5에 도시된 A'를 도 4에 도시된 A와 비교할 때, 선택된 객체의 깊이정보가 크게 수정되면(Z->Z'), 깊이정보를 그레이 정보로 나타낸 것(A')은 상대적으로 밝게 표시되고, 도 5에 도시된 C'를 도 4에 도시된 C와 비교할 때, 렌더링된 3차원 영상의 객체 C'는 C보다 상대적으로 화면 앞으로 더 돌출되어 표시된다.

즉, C'는 C와 비교하여 더 크게 표시되며, 원근법에 따라 관측자를 기준으로 C'는 C보다 관측자에 더 가깝게(화면에서 더 돌출되어) 표시되는 것을 알 수 있다.

상술한 바와 같이, 본 발명에 의하면, 작업자가 사용자 인터페이스부에 표시된 가상의 3차원 입체 공간 상에 투영된 객체의 입체감과 깊이 맵의 그레이 정보를 직접 확인하며 객체의 깊이정보를 조절할 수 있고, 마우스를 이용하여 깊이정보를 편리하게 조절할 수 있으므로 작업자의 편의성을 향상시킬 수 있다.

또한, 깊이정보를 조절하는 사용자 인터페이스부가 표시된 작업 화면과, 수정된 깊이정보가 반영된 렌더링된 3차원 영상을 팝업창 형태로 표시하는 디스플레이부가 표시된 작업 화면을 동일한 화면 상에서 함께 비교할 수 있고, 수정된 깊이정보가 반영된 렌더링된 3차원 영상을 실시간 확인할 수 있으므로 작업 시간을 단축할 수 있다.

도 6 및 도 7은 다수의 객체가 선택되고 다수의 객체 중 하나의 객체의 깊이정보가 수정된 경우, 깊이정보 수정을 위한 사용자 인터페이스부(410, 510)의 작업 화면과, 선택된 객체의 수정된 깊이정보를 반영하여 렌더링을 수행한 디스플레이부(420, 520)의 작업 화면을 나타낸 것이다.

도 6을 참조하면, G, H, B는 선택된 다수의 객체들(얼굴 영역, 팔 영역, 공 영역)의 깊이정보를 가상의 3차원 입체 공간(616)상에 투영한 객체를 표시하고, D, E, F는 다수의 객체들(얼굴 영역, 팔 영역, 공 영역)의 깊이정보를 그레이 정보로 나타낸 것을 의미하고, m1, m2, m3는 각각의 객체 중 일부 영역에 홀(Hole)을 형성하도록 표시한 라인을 나타낸 후 렌더링한 3차원 영상에 표시된 각 라인을 의미한다.

다수의 객체들의 깊이정보 수정은 깊이정보를 변경할 다수의 객체들을 모두 선택한 후 각 객체의 깊이정보를 순차적으로 수정하거나, 하나의 객체를 선택하여 깊이정보를 수정한 후 다른 객체를 선택하여 깊이정보를 수정할 수 있다.

앞서 설명한 바와 같이, 객체 선택은 다양한 영상 처리 기술을 사용할 수 있고, 깊이정보 수정은 깊이정보를 변경할 객체 상에 Z 컨트롤 포인트를 설정하고 Z 컨트롤 포인트를 Z축 방향으로 이동시켜 수행할 수 있다.

여기서, 3차원 영상의 다수의 객체들(얼굴 영역, 팔 영역, 공 영역)은 각각의 깊이정보에 따라 2차원 영상의 다른 객체들보다 상대적으로 화면 앞으로 돌출된 것으로 표시되며, 얼굴 영역, 팔 영역, 공 영역은 깊이정보(z)가 동일하므로 화면 앞으로 돌출된 정도는 동일하다.

도 7을 참조하면, G', H', B'는 선택된 다수의 객체들(얼굴 영역, 팔 영역, 공 영역)의 깊이정보를 가상의 3차원 입체 공간(616)상에 투영한 객체를 표시하고, D', E', F'는 다수의 객체들(얼굴 영역, 팔 영역, 공 영역)의 깊이정보를 그레이 정보로 나타낸 것을 의미하고, m1', m2', m3'는 각각의 객체 중 일부 영역에 홀(Hole)을 표시한 라인을 나타낸 후 렌더링한 3차원 영상에 표시된 각 라인을 의미한다.

홀(Hole)은 2차원 영상에는 없었으나 3차원 영상으로 렌더링하는 과정에서 발생한 영상의 갭(gap)으로 렌더링된 3차원 영상의 노이즈 성분을 의미한다.

여기서, 3차원 영상의 다수의 객체들(얼굴 영역, 팔 영역, 공 영역)은 각각의 깊이정보에 따라 2차원 영상의 다른 객체들보다 상대적으로 화면 앞으로 돌출된 것으로 표시된다.

또한, 가상의 3차원 입체 공간(716) 상에 투영된 얼굴 영역(B')는 팔 영역(H') 및 공 영역(G')보다 더 큰 깊이정보(Z')를 가지며, 얼굴 영역의 깊이정보를 그레이 정보를 나타낸 것(F')은 팔 영역(E') 및 공 영역(D')보다 밝게 표시되는 것을 확인할 수 있다.

특히, 얼굴 영역은 팔 영역 및 공 영역보다 큰 깊이정보(Z')를 가지므로, 렌더링된 3차원 영상의 얼굴 영역(I')은 팔 영역 및 공 영역보다 상대적으로 화면 앞으로 더욱 돌출된 것으로 표시된다.

도 6 및 도 7을 참조하여, 3차원 영상에 표시된 각각의 객체 중 일부 영역에 홀(Hole)을 표시한 라인인, 도 6의 m1, m2, m3와 도 7의 m1', m2', m3'를 비교하면, 깊이정보가 Z에서 Z'로 수정된 얼굴 영역에 표시한 라인(m1-> m1')의 굵기만 굵게 변화된 것을 알 수 있다.

원근법에 따라, 동일한 위치에 있는 관측자에게 더 굵게 관측된 라인(m1')은 다른 라인(m1)보다 관측자에 더 가까운 위치에 표시된 것이므로, 도 7의 홀을 표시한 라인(m1')은 도 6의 홀을 표시한 라인(m1)에 비하여 화면 앞으로 더 돌출되어 표시된 것을 알 수 있다.

따라서, 얼굴 영역의 깊이정보가 수정됨에 따라 얼굴 영역 전체의 깊이정보가 수정되므로, 얼굴 영역 내부에 포함된 홀을 표시한 라인도 렌더링 후 3차원 영상에서 화면 앞으로 돌출되도록 표시되는 것을 알 수 있다.

상술한 바와 같이, 본 발명에 의하면, 다수의 객체에 대하여 깊이정보를 수정하는 경우 다수의 객체들의 깊이정보를 상호 비교하며 수정할 수 있으므로 작업의 정확도를 향상시킬 수 있다.

또한, 다수의 객체들의 깊이정보를 모두 수정한 후 렌더링을 실시할 수 있으므로 작업 시간을 단축할 수 있다.

본 발명에 따른 영상 변환 장치는 개인용 컴퓨터, 태블릿 PC, 노트북, 휴대폰, 스마트폰 등 다양한 형태의 장치로 구현될 수 있고, 본 발명에 따른 영상 변환 방법은 상기의 장치들에 구비된 하나 혹은 그 이상의 코어로 이루어진 프로세서에 의하여 실행될 수 있다.

본 발명의 또 다른 측면에 따르면, 2차원 영상의 깊이 맵을 생성하는 단계, 깊이 맵에 따라 3차원 영상을 렌더링하여 표시하는 단계, 2차원 영상에서 특정 객체를 정의한 객체정보를 입력받는 단계, 선택된 객체에 Z 컨트롤 포인트를 입력받아 객체의 위치를 사용자의 선택에 따라 Z축 방향으로 이동시켜 표시하는 단계, 객체의 Z값에 따라 객체의 수정된 깊이정보를 인식하는 단계, 객체의 수정된 깊이정보에 따라 깊이 맵을 수정하는 단계 및 수정된 객체의 깊이정보가 반영된 수정된 깊이 맵에 기초하여 3차원 영상을 렌더링하여 표시하는 단계를 포함하는 영상 변환 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체에 기록될 수 있다.

2차원 영상을 3차원 영상으로 변환하는 영상 변환 방법은 프로그램으로 작성 가능하며, 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 프로그래머에 의하여 용이하게 추론될 수 있다.

또한, 2차원 영상을 3차원 영상으로 변환하는 영상 변환에 관한 프로그램은 전자장치가 읽을 수 있는 정보저장매체(Readable Media)에 저장되고, 전자장치에 의하여 읽혀지고 실행됨으로써 2차원 영상에서 특정 객체를 선택하여 해당 객체의 깊이정보를 조절하고 깊이정보가 조절된 객체의 3차원 렌더링 영상을 실시간으로 확인할 수 있는 영상 변환 장치를 제공할 수 있다.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

본 발명은 2차원 영상에서 특정 객체를 선택하여 해당 객체의 깊이정보를 조절하고 깊이정보가 조절된 객체의 3차원 렌더링 영상을 실시간으로 확인할 수 있도록 함으로써, 깊이정보 조절에 따른 렌더링 결과를 실시간 확인하여 적절한 깊이정보를 용이하게 입력할 수 있고 깊이정보 수정에 따른 작업 시간을 단축시키는 한편 변환된 3차원 영상의 품질을 향상시킬 수 있는 영상 변환 장치와 방법 및 그에 대한 기록매체를 제공하는 데에 이용할 수 있다.

100 : 영상 변환 장치 110 : 2차원 영상 입력부
120 : 사용자 인터페이스부 130 : 디스플레이부
140 : 영상 제어부 300 : 3차원 영상 렌더링부
200 : 깊이 맵 생성부 210 : 객체정보 추출모듈
220 : 깊이정보 설정모듈 230 : 깊이정보 수정모듈
240 : 깊이 맵 생성모듈

Claims

2차원 영상에서 선택된 객체에 Z 컨트롤 포인트를 설정하고 상기 선택된 객체의 깊이정보를 확인하며 상기 Z 컨트롤 포인트를 Z축 방향으로 이동시켜 상기 선택된 객체의 깊이정보를 수정하는 사용자 인터페이스부;
상기 2차원 영상의 깊이 맵을 생성하고, 상기 사용자 인터페이스부를 통해 상기 객체의 깊이정보가 수정된 경우 이전의 깊이 맵에서 상기 객체의 수정된 깊이정보를 실시간으로 반영하여 수정된 깊이 맵을 생성하는 깊이 맵 생성부;
상기 2차원 영상의 깊이 맵에 따라 상기 2차원 영상을 3차원 영상으로 렌더링하고, 상기 수정된 깊이 맵이 생성된 경우 상기 3차원 영상에 상기 수정된 깊이정보를 실시간으로 반영하여 상기 객체의 깊이정보가 수정된 3차원 영상을 렌더링하는 3차원 영상 렌더링부;
상기 렌더링된 3차원 영상을 디스플레이하는 디스플레이부; 및
상기 2차원 영상에서 상기 사용자 인터페이스부를 통해 수정되는 깊이정보를 상기 깊이 맵 생성부로 실시간 전달하고 상기 깊이 맵 생성부에서 생성된 수정된 깊이 맵을 상기 3차원 영상 렌더링부에 실시간 전달하여 상기 깊이정보가 수정된 3차원 영상이 디스플레이 되도록 제어하는 영상 제어부를 포함하는 영상 변환 장치.
제1항에 있어서,
상기 깊이 맵 생성부는,
상기 사용자 인터페이스부에서 선택된 객체정보를 추출하는 객체정보 추출모듈;
상기 Z 컨트롤 포인트의 Z값에 따라 상기 객체의 깊이정보를 설정하는 깊이정보 설정모듈;
상기 Z 컨트롤 포인트의 변화에 따라 해당 객체의 수정된 깊이정보를 인식하는 깊이정보 수정모듈; 및
상기 깊이정보 설정모듈에서 인식된 깊이정보에 기초하여 깊이 맵을 생성하고, 상기 깊이정보 수정모듈에서 입력된 수정된 깊이정보를 상기 생성된 깊이 맵에 반영하여 수정된 깊이 맵을 생성하는 깊이 맵 생성모듈을 포함하는 것을 특징으로 하는 영상 변환 장치.
제1항에 있어서,
상기 사용자 인터페이스부는,
사용자의 선택에 따라 적어도 둘 이상의 객체를 선택하고, 상기 선택된 둘 이상의 객체의 깊이정보를 가상의 3차원 입체 공간상에 투영하여 세로축으로 정렬하고, 정렬된 상기 가상의 3차원 입체 공간상에 투영된 객체의 깊이정보를 비교하며 상기 선택된 객체의 깊이정보를 수정하고,
상기 깊이 맵 생성부는 상기 둘 이상의 객체의 수정된 깊이정보를 실시간으로 반영하여 수정된 깊이 맵을 생성하는 것을 특징으로 하는 영상 변환 장치.
제1항에 있어서,
상기 영상 제어부는,
상기 2차원 영상의 깊이정보를 수정하는 사용자 인터페이스부와 상기 2차원 영상을 렌더링한 3차원 영상이 한 화면상에 표시되도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 영상 변환 장치.
제1항에 있어서,
상기 3차원 영상 렌더링부는,
상기 깊이 맵에 기초하여 상기 2차원 영상에 대해 서로 다른 시차 정보를 가진 좌측 영상과 우측 영상을 생성하고 서로 다른 시차 정보를 가진 좌측 영상과 우측 영상을 조합하여 3차원 영상을 생성하는 것을 특징으로 하는 영상 변환 장치.
(A)2차원 영상의 깊이 맵을 생성하는 단계;
(B)상기 깊이 맵에 따라 3차원 영상을 렌더링하여 표시하는 단계;
(C)상기 2차원 영상에서 특정 객체를 정의한 객체정보를 입력받는 단계;
(D)상기 객체에 Z 컨트롤 포인트를 설정하고 상기 객체의 깊이정보를 확인하며 상기 Z 컨트롤 포인트를 Z축 방향으로 이동시켜 표시하는 단계;
(E)상기 이동시켜 표시한 Z 컨트롤 포인트의 Z값에 따라 상기 객체의 수정된 깊이정보를 실시간 인식하는 단계;
(F)상기 객체의 수정된 깊이정보에 따라 이전의 깊이 맵에서 상기 객체의 수정된 깊이정보를 실시간으로 반영하여 수정된 깊이 맵을 생성하는 단계; 및
(G)상기 수정된 깊이 맵에 기초하여 상기 객체의 깊이정보가 수정된 3차원 영상을 렌더링하여 표시하는 단계를 포함하는 영상 변환 방법.
제6항에 있어서,
상기 (D) 단계는,
상기 객체의 영역에 Z 컨트롤 포인트를 설정하는 단계; 및
상기 Z 컨트롤 포인트가 Z축 방향으로 이동된 경우, 상기 이동된 Z 컨트롤 포인트를 포함하는 평면에 상기 객체를 투영하여 표시하는 단계를 포함하는 것을 특징으로 하는 영상 변환 방법.
제6항에 있어서,
상기 (E) 단계는,
상기 Z 컨트롤 포인트의 Z 값의 변화에 따라 상기 객체의 수정된 깊이정보를 인식하는 것을 특징으로 하는 영상 변환 방법.
제6항에 있어서,
상기 (G) 단계는,
상기 2차원 영상, 및 상기 2차원 영상의 수정된 깊이 맵과, 상기 2차원 영상을 렌더링한 3차원 영상을 한 화면에 표시하는 것을 특징으로 하는 영상 변환 방법.
제6항에 있어서,
상기 2차원 영상에서 둘 이상의 객체를 선택하여 깊이정보를 수정하는 경우, 상기 (C) 단계 내지 상기 (F) 단계를 반복한 후, 선택된 모든 객체의 수정된 깊이정보가 반영된 깊이 맵이 생성되면, 상기 (G) 단계를 수행하는 것을 특징으로 하는 영상 변환 방법.