KR20130091541A

KR20130091541A - 사용자 인터랙션에 기초하여 3ｄ 영상을 생성하기 위한 방법 및 장치

Info

Publication number: KR20130091541A
Application number: KR1020120012914A
Authority: KR
Inventors: 문영호; 김세훈; 심우성; 이수찬; 곽한탁; 엄명진; 우지환
Original assignee: 삼성전자주식회사
Priority date: 2012-02-08
Filing date: 2012-02-08
Publication date: 2013-08-19
Also published as: US9304653B2; KR101953306B1; US20130205248A1

Abstract

입력 영상을 수신하고, 사용자 입력을 수신하며, 수신된 사용자 입력에 기초하여 상기 입력 영상에 포함된 객체를 판별(segmentation)하고, 판별된 객체의 영역을 수정하고, 수정된 영역에 기초하여 상기 판별된 객체에 대한 레이어를 구성하며, 구성된 레이어에 기초하여 3D 영상을 생성함으로써, 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 방법이 개시된다.

Description

사용자 인터랙션에 기초하여 3Ｄ 영상을 생성하기 위한 방법 및 장치{THE METHOD AND APPARATUS FOR CREATING 3D IMAGE BASED ON USER INTERACTION}

본 발명은 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 방법 및 장치에 관한 것으로, 더욱 상세하게는 객체를 판별하고, 레이어를 생성하고 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 방법 및 장치에 관한 것이다.

최근 멀티미디어 기술의 발달과 함께 시청자의 영상정보에 대한 새로운 욕구를 충족하고자 3D 입체 영상의 제작 및 재생을 위한 방법 및 장치에 대한 연구가 활발히 진행되고 있다. 또한 현재까지도 대부분의 영상이 2D 형식으로 제작되어 보급된다는 점에서 2차원 영상을 3차원 영상으로 변환하는 방법에 관한 연구도 함께 진행되고 있다.

3D 입체 영상을 제작하기 위하여, 2D 영상에 포함된 적어도 하나의 객체에 대하여 판별(segmentation)하는 작업이 선행되어야 한다. 따라서, 2D 영상에 포함된 적어도 하나의 객체를 비교적 빠르고 정확하게 판별해낼 필요가 있다. 또한, 판별된 적어도 하나의 객체에 대하여 레이어(layer)를 각각 생성하고 생성된 레이어를 영상이 재생될 화면으로부터 적절히 배치하여 가공함으로써, 판별된 객체에 대하여 입체감을 살릴 수 있다. 예컨대, 이러한 방식으로 3D 영상을 생성할 수 있다.

본 발명은 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 방법 및 장치에 관한 것이다.

본 발명의 일 실시예에 따른 사용자 인터랙션(interaction)에 기초하여 3D 영상을 생성하기 위한 방법은, 입력 영상을 수신하는 단계; 사용자 입력을 수신하는 단계; 상기 수신된 사용자 입력에 기초하여 상기 입력 영상에 포함된 객체를 판별(segmentation)하는 단계를 포함할 수 있다. 또한, 상기 판별된 객체의 영역을 수정하는 단계; 상기 수정된 영역에 기초하여 상기 판별된 객체에 대한 레이어를 구성하는 단계; 상기 구성된 레이어에 기초하여 3D 영상을 생성하는 단계를 포함 할 수 있다.

또한, 본 발명의 일 실시예에 따른 입력 영상은 복수의 프레임을 포함할 수 있다.

본 발명의 일 실시예에 따른 상기 사용자 입력을 수신하는 단계는 상기 복수의 프레임 중 적어도 하나에 대하여 객체를 판별하기 위한 사용자 입력을 수신하는 단계를 포함하고, 상기 사용자 입력에 기초하여 상기 입력 영상에 포함된 객체를 판별하는 단계는, 상기 객체가 판별된 적어도 하나의 프레임에 기초하여 상기 복수의 프레임 중 나머지 프레임들에 대하여 객체를 판별하는 단계; 및 상기 판별된 객체를 복수의 프레임 상에서 표시하는 단계를 포함 할 수 있다.

또한, 본 발명의 일 실시예에 따른 상기 복수의 프레임 중 적어도 하나에 대하여 객체를 판별하기 위한 사용자 입력을 수신하는 단계는, 상기 복수의 프레임 중 최초 프레임 및 최종 프레임 중 적어도 하나에 대하여 객체를 판별하기 위한 사용자 입력을 수신하는 단계를 포함할 수 있다. 또한, 상기 객체가 판별된 적어도 하나의 프레임에 기초하여 상기 복수의 프레임 중 나머지 프레임들에 대하여 객체를 판별하는 단계는, 상기 객체가 판별된 최초 프레임 및 객체가 판별된 최종 프레임 중 적어도 하나에 기초하여 상기 복수의 프레임 중 나머지 프레임들에 대하여 객체를 판별하는 단계를 포함 할 수 있다.

본 발명의 일 실시예에 따른 상기 판별된 객체의 영역을 수정하는 단계는, 사용자 입력에 기초하여 상기 판별된 객체를 선택하는 단계; 상기 선택된 객체의 영역을 수정하기 위한 편집 윈도우를 제공하는 단계; 상기 편집 윈도우에 포함된 적어도 하나의 명령들 중 상기 선택된 객체의 영역을 수정하기 위한 명령을 선택하는 단계; 상기 선택된 명령에 기초하여 상기 선택된 객체의 영역을 수정하는 단계를 포함할 수 있다. 상기 적어도 하나의 명령들은 상기 판별된 객체가 상이한 경계선을 갖게 하기 위한 명령일 수 있다.

본 발명의 일 실시예에 따른 상기 판별된 객체의 영역을 수정하는 단계는, 상기 판별된 객체를 선택하는 단계; 상기 선택에 의하여 상기 판별된 객체의 경계선을 획득하는 단계; 사용자 입력에 기초하여 상기 획득된 경계선을 수정하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 상기 사용자 입력에 기초하여 상기 획득된 경계선을 수정하는 단계는, 미리 설정된 방향으로의 사용자 입력을 수신하여 상기 경계선을 수정하는 단계를 포함하고, 상기 미리 설정된 방향은 상, 하, 좌, 우, 대각선 방향 중 적어도 하나를 포함할 수 있다.

또한, 본 발명의 일 실시예에 따른 상기 사용자 입력에 기초하여 상기 획득된 경계선을 수정하는 단계는, 상기 경계선 중 일부를 선택하는 단계; 상기 선택된 일부를 포함하는 소정의 영역을 확대 영상으로써 제공하는 단계; 상기 확대 영상에 대한 미리 설정된 방향으로의 사용자 입력을 수신하여 상기 선택된 일부를 수정하는 단계를 포함할 수 있다. 상기 미리 설정된 방향은 상, 하, 좌, 우, 대각선 방향 중 적어도 하나를 포함 할 수 있다.

본 발명의 일 실시예에 따른 상기 수정된 영역에 기초하여 상기 판별된 객체에 대한 레이어를 구성하는 단계는, 상기 수정된 영역으로 판별된 객체별로 레이어를 생성하는 단계; 상기 생성된 레이어의 배치 순서를 결정하는 단계를 포함 할 수 있다.

본 발명의 일 실시예에 따른 상기 입력 영상은 복수의 객체들을 포함할 수 있다. 상기 수정된 영역으로 판별된 객체별로 레이어를 생성하는 단계는, 각각의 수정된 영역으로 판별된 복수의 객체들에 상응하게 각각의 레이어를 생성하는 단계; 상기 생성된 각각의 레이어를 소정의 기준에 따라 배치하는 단계를 포함 할 수 있다. 상기 소정의 기준은, 상기 각각의 레이어가 생성되는 순서에 따라 화면 상의 전방에서 후방으로 배치하는 것을 포함 할 수 있다.

본 발명의 일 실시예에 따른 상기 생성된 레이어의 배치 순서를 결정하는 단계는, 미리 설정된 방향으로의 사용자 입력을 수신하여 상기 배치된 각각의 레이어의 배치 순서를 수정하는 단계를 포함할 수 있고, 상기 미리 설정된 방향은 상, 하, 좌, 우, 대각선 방향 중 적어도 하나를 포함 할 수 있다.

본 발명의 일 실시예에 따른 상기 생성된 레이어의 배치 순서를 결정하는 단계는, 상기 각각의 레이어가 상이한 순서로 배치된 복수의 레이어 그룹을 제공하는 단계; 상기 복수의 레이어 그룹 중 어느 하나를 선택하는 사용자 입력을 수신하는 단계를 포함할 수 있고, 상기 레이어의 배치 순서는 상기 사용자 입력에 기초하여 결정될 수 있다.

본 발명의 일 실시예에 따른 상기 수정된 영역에 기초하여 상기 판별된 객체에 대한 레이어를 구성하는 단계는, 상기 수정된 영역으로 판별된 객체를 선택하는 단계; 가상 레이어를 생성하는 단계; 상기 선택된 객체와 상기 가상 레이어를 매칭시킴으로써, 상기 판별된 객체에 대한 레이어를 구성하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 상기 구성된 레이어에 기초하여 3D 영상을 생성하는 단계는, 상기 결정된 레이어의 배치 순서에 기초하여 상기 판별된 객체에 파라미터 값을 부여하는 단계; 상기 파라미터 값에 기초하여 입력 영상을 3D 영상으로 변환하는 단계를 포함 할 수 있다.

본 발명의 일 실시예로서, 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 장치가 제공된다. 본 발명의 일 실시예에 따른 장치는 입력 영상을 수신하는 영상 수신부; 사용자 입력을 수신하는 사용자 입력 수신부; 상기 사용자 입력에 기초하여 상기 입력 영상에 포함된 객체를 판별하는 객체 판별부; 상기 판별된 객체의 영역을 수정하는 객체 수정부; 상기 수정된 영역에 기초하여 상기 판별된 객체에 대한 레이어를 구성하는 레이어 구성부; 상기 구성된 레이어에 기초하여 3D 영상을 생성하는 3D 영상 변환부를 포함할 수 있다.

한편, 본 발명의 일 실시예에 의하면, 전술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 방법을 나타내는 플로우차트이다.
도 2는 복수의 프레임 상에서 객체를 판별하고 표시하는 일 예를 도시한다.
도 3은 본 발명의 일 실시예에 따라 판별된 객체의 영역을 수정하기 위한 방법을 나타내는 플로우 차트이다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따라 판별된 객체의 영역을 수정하는 방법의 일 예를 도시한다.
도 5a 및 5b는 본 발명의 일 실시예에 따라 판별된 객체의 영역을 수정하는 방법의 다른 예를 도시한다.
도 6은 본 발명의 일 실시예에 따라 판별된 객체의 영역을 수정하는 방법의 또 다른 예를 도시한다.
도 7은 본 발명의 일 실시예에 따라 판별된 객체에 대한 레이어를 구성하는 일 예를 도시한다.
도 8은 본 발명의 일 실시예에 따라 레이어의 배치 순서를 결정하는 일 예를 도시한다.
도 9는 본 발명의 일 실시예에 따라 레이어의 배치 순서를 결정하는 다른 예를 도시한다.
도 10은 본 발명의 일 실시예에 따라 레이어의 배치 순서를 결정하는 또 다른 예를 도시한다.
도 11는 본 발명의 일 실시예에 따라 레이어의 배치 순서를 결정하는 또 다른 예를 도시한다.
도 12는 본 발명의 일 실시예에 따른 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 장치를 도시한다.
도 13은 본 발명의 일 실시예에 따른 객체 수정부를 도시한다.
도 14는 본 발명의 일 실시예에 따른 레이어 구성부를 도시한다.
도 15는 본 발명의 일 실시예에 따른 순서 결정부를 도시한다.
도 16은 본 발명의 일 실시예에 따른 3D 영상 변환부를 도시한다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

도 1은 본 발명의 일 실시예에 따른 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 방법을 나타내는 플로우차트이다.

본 발명의 일 실시예에 따른 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 방법은, 입력 영상을 수신하는 단계(S100), 사용자 입력을 수신하는 단계(S200), 상기 수신된 사용자 입력에 기초하여 상기 입력 영상에 포함된 객체를 판별하는 단계(S300), 상기 판별된 객체의 영역을 수정하는 단계(S400), 상기 수정된 영역에 기초하여 상기 판별된 객체에 대한 레이어를 구성하는 단계(S500) 및 상기 구성된 레이어에 기초하여 3D 영상을 생성하는 단계(S600)를 포함할 수 있다.

본 발명의 일 실시예에 따른 입력 영상을 복수의 프레임을 포함할 수 있다.

본 발명의 일 실시예에 따른 사용자 입력을 수신하는 단계(S200)는 예컨대, 터치 패드, 마우스, 포인트 마우스, 리모컨, 조이스틱, 키패드 등을 통하여 사용자로부터 입력을 수신하는 것을 포함할 수 있다. 예를 들어, 본 발명의 일 실시예에 따른 사용자 입력은 터치 패드 상으로 사용자가 직접 터치하는 것, 마우스, 포인트 마우스 등을 이용하여 커서를 이동시켜서 사용자 인터페이스(UI; user interface)등을 클릭하는 것, 또는 조이스틱, 키패드 등을 이용하여 UI 상에서 이동하면서 UI를 선택하는 것 등을 포함할 수 있다.

또한, 사용자 입력을 수신하는 단계(S200)는 입력 영상의 복수의 프레임 중 적어도 하나에 대하여 객체를 판별하기 위한 사용자 입력을 수신하는 단계를 포함할 수 있다. 예를 들어, 복수의 프레임 중 적어도 하나에 대하여 객체를 판별하기 위한 사용자 입력을 수신하는 단계는, 상기 복수의 프레임 중 최초 프레임 및 최종 프레임 중 적어도 하나에 대하여 객체를 판별하기 위한 사용자 입력을 수신하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 수신된 사용자 입력에 기초하여 상기 입력 영상에 포함된 객체를 판별하는 단계(S300)는 상기 객체가 판별된 적어도 하나의 프레임에 기초하여 상기 복수의 프레임 중 나머지 프레임들에 대하여 객체를 판별하는 단계 및 판별된 객체를 복수의 프레임 상에서 표시하는 단계를 포함할 수 있다. 예를 들어, 객체가 판별된 적어도 하나의 프레임에 기초하여 상기 복수의 프레임 중 나머지 프레임들에 대하여 객체를 판별하는 단계는, 상기 객체가 판별된 최초 프레임 및 객체가 판별된 최종 프레임 중 적어도 하나에 기초하여 상기 복수의 프레임 중 나머지 프레임들에 대하여 객체를 판별하는 단계를 포함할 수 있다. 이와 관련해서는 도 2를 참조하여 설명하도록 한다.

도 2는 복수의 프레임 상에서 객체를 판별하고 표시하는 일 예를 도시한다.

도 2를 참조하면, 최초 프레임(201) 및 최종 프레임(20n) 중 적어도 하나는 객체를 판별하기 위하여 사용자 입력을 수신할 수 있다. 객체를 판별하기 위한 사용자 입력을 수신한 최초 프레임(201) 및 최종 프레임(20n) 중 적어도 하나를 이용하여 복수의 프레임 중 나머지 프레임들, 예컨대 최초 프레임(201) 및 최종 프레임(20n) 사이에 포함된 프레임들에 대하여 객체 판별을 자동적으로 수행할 수 있다. 나머지 프레임들에 대한 객체 판별은 다음과 같은 방식으로 수행될 수 있다:

(1) 순방향 객체 판별 방식: 객체를 판별하기 위한 사용자 입력을 수신한 최초 프레임(201)으로부터 최종 프레임(20n)으로 진행하면서 객체를 판별하는 방식.

(2) 역방향 객체 판별 방식: 객체를 판별하기 위한 사용자 입력을 수신한 최종 프레임(20n)으로부터 최초 프레임(201)으로 거슬러 진행하며 객체를 판별하는 방식.

(3) 혼합 객체 판별 방식: 객체를 판별하기 위한 사용자 입력을 수신한 최초 프레임(201)및 최종 프레임(20n)으로부터 쌍방향(즉, 순방향 및 역방향)으로 진행하며 객체를 판별하는 방식.

바람직하게는 나머지 프레임들에 대한 객체 판별은 혼합 객체 판별 방식에 따라 수행될 수 있다.

본 발명의 일 실시예에 따른 판별된 객체를 복수의 프레임 상에서 표시하는 단계는 예컨대, 판별된 객체의 경계선이 강조되도록 표시하는 것을 포함할 수 있다. 예를 들어, 판별된 객체의 경계선을 점선, 굵은 실선 등으로 표시하거나 또는 판별되지 않은 다른 객체들의 경계선을 나타내는 색과는 상이한 색을 사용하여 경계선을 표시할 수 있다.

도 3은 본 발명의 일 실시예에 따라 판별된 객체의 영역을 수정하기 위한 방법을 나타내는 플로우 차트이다.

도 1 및 도 3을 참조하면, 본 발명의 일 실시예에 따라 판별된 객체의 영역을 수정하는 단계(S400)는 사용자 입력에 기초하여 상기 판별된 객체를 선택하는 단계(S401), 상기 선택된 객체의 영역을 수정하기 위한 편집 윈도우를 제공하는 단계(S402), 상기 편집 윈도우에 포함된 적어도 하나의 명령들 중 상기 선택된 객체의 영역을 수정하기 위한 명령을 선택하는 단계(S403) 및 상기 선택된 명령에 기초하여 상기 선택된 객체의 영역을 수정하는 단계(S404)를 포함할 수 있다. 본 발명의 일 실시예에 따른 적어도 하나의 명령들은 판별된 객체가 상이한 경계선을 갖게 하기 위한 명령을 포함할 수 있다. 이와 관련하여서는 도 4a 및 도 4b를 참조하여 설명하기로 한다.

도 4a 및 도 4b는 본 발명의 일 실시예에 따라 판별된 객체의 영역을 수정하는 방법의 일 예를 도시한다.

본 발명의 일 실시예에 따르면, 단계 S401에서 사용자 입력에 기초하여 상기 판별된 객체를 선택(400)할 수 있다. 단계 S401에서의 객체의 선택에 따라 객체의 영역을 수정하기 위한 편집 윈도우(420)가 제공(S402)될 수 있다.

예컨대, 사용자 입력은 전술한 바와 같이, 터치 패드, 마우스, 포인트 마우스, 리모컨, 조이스틱, 키패드 등을 통하여 사용자로부터 입력을 수신하는 것을 포함할 수 있다.

편집 윈도우(420)는 선택된 객체의 영역을 수정하기 위한 적어도 하나의 명령들을 포함할 수 있다. 편집 윈도우(420)에서는 예를 들어, 그래프 컷(graph cut), 스냅 컷(snab cut), 소프트 컷(soft cut)과 같이 객체에 대하여 다양한 경계선을 갖도록 하는 명령들이 제공된다. 예컨대, 이러한 각각의 명령들과 객체가 가질 수 있는 다양한 경계선은 동일한 색상으로 표시될 수 있다.

또한 도 4b에 도시되는 바와 같이 예를 들어, 각각의 명령들과 객체가 가질 수 있는 다양한 경계선은 서로 상응하게 넘버링되어 표현될 수 있다. 이러한 표시에 의하여, 사용자의 직관력이 높아질 수 있고, 이에 따라 사용자는 보다 수월하게 객체의 영역을 수정할 수 있다.

다시 도 4a 및 도 4b를 참조하면, 편집 윈도우(420) 내의 복수의 명령들 중 사용자의 선택에 의하여 적어도 하나의 명령이 선택(430)될 수 있다(S403). 이러한 선택에 의하여, 선택된 명령 및 선택된 명령에 상응하여 객체가 가질 수 있는 경계선이 강조되어 표시될 수 있다(S404).

도 4b는 사용자 입력을 리모컨을 이용하여 입력하는 일 예를 도시하는 것으로, 판별된 객체의 영역을 수정하는 과정은 전술한 바와 같다.

도 5a 및 5b는 본 발명의 일 실시예에 따라 판별된 객체의 영역을 수정하는 방법의 다른 예를 도시한다.

본 발명의 일 실시예에 따른 판별된 객체의 영역을 수정하는 단계(S400)는, 상기 판별된 객체를 선택하는 단계, 상기 판별된 객체의 경계선을 획득하는 단계 및 사용자 입력에 기초하여 상기 획득된 경계선을 수정하는 단계를 포함할 수 있다.

상기 판별된 객체를 선택하는 단계는 전술한 바와 같이 사용자 입력에 기초하여 판별된 객체를 선택하는 것을 포함할 수 있다. 또한, 이러한 객체의 선택에 의하여 판별된 객체의 경계선이 획득될 수 있다. 다시 말해서, 사용자 입력에 의하여 판별된 객체가 선택되면, 그와 동시에 선택된 객체의 현재의 경계선이 표시될 수 있다.

본 발명의 일 실시예에 따라 사용자 입력에 기초하여 상기 획득된 경계선을 수정하는 단계는, 미리 설정된 방향으로의 사용자 입력을 수신하여 상기 경계선을 수정하는 단계를 포함할 수 있다. 예컨대, 이러한 미리 설정된 방향은 상, 하, 좌, 우, 대각선 방향 중 적어도 하나를 포함할 수 있다.

예를 들어, 사용자가 객체에 대하여 좌향으로의 입력을 입력하는 경우, 판별된 객체의 획득된 경계선은 현재 위치보다 좌향으로 이동될 수 있다. 마찬가지로, 사용자가 객체에 대하여 우측으로 기운 대각 방향으로의 입력을 입력하는 경우, 판별된 객체의 획득된 경계선은 현재 위치보다 우측으로 기운 대각 방향으로 이동될 수 있다. 이러한 경계선의 이동에 따라, 객체의 경계선이 확대되거나 또는 축소되는 효과를 획득할 수 있다.

도 5b는 사용자 입력을 리모컨을 이용하여 입력하는 일 예를 도시하는 것으로, 판별된 객체의 영역을 수정하는 과정은 전술한 바와 같다.

도 6은 본 발명의 일 실시예에 따라 판별된 객체의 영역을 수정하는 방법의 또 다른 예를 도시한다.

본 발명의 일 실시예에 따른 사용자 입력에 기초하여 상기 획득된 경계선을 수정하는 단계는, 상기 경계선 중 일부를 선택하는 단계(610), 선택된 일부를 포함하는 소정의 영역을 확대 영상으로써 제공하는 단계(620) 및 상기 확대 영상에 대한 미리 설정된 방향으로의 사용자 입력을 수신하여 상기 선택된 일부를 수정하는 단계(630)를 포함할 수 있다. 본 발명의 일 실시예에 따른 미리 설정된 방향은 상, 하, 좌, 우, 대각선 방향 중 적어도 하나를 포함할 수 있다.

본 발명의 일 실시예에 따른 상기 경계선 중 일부를 선택하는 단계(610)는 선택된 객체의 경계선 중 일부를 선택하기 위한 사용자 입력을 수신하는 단계, 이러한 수신된 사용자 입력에 의하여 선택된 경계선의 일부를 포함하는 소정의 영역을 획득하는 단계를 포함할 수 있다. 예컨대, 소정의 영역은 다각형, 원 등으로 구성될 수 있는 임의의 형태의 프레임 등을 포함할 수 있다.

본 발명의 일 실시예에 따르면, 획득된 소정의 영역은 확대 영상으로써 제공 (620)될 수 있다. 예컨대, 영상의 확대 비율은 미리 설정될 수도 있고, 사용자 입력에 의하여 가변적으로 조절될 수 있다.

본 발명의 일 실시예에 따라, 확대 영상에 대한 미리 설정된 방향으로의 사용자 입력을 수신하여 상기 선택된 경계선의 일부를 수정(630)할 수 있다. 경계선의 수정 과정에 대하여는 전술한 바와 같다.

도 7은 본 발명의 일 실시예에 따라 판별된 객체에 대한 레이어를 구성하는 일 예를 도시한다.

본 발명의 일 실시예에 따라 수정된 영역에 기초하여 상기 판별된 객체에 대한 레이어를 구성하는 단계(S500)는 상기 수정된 영역으로 판별된 객체별로 레이어를 생성하는 단계 및 상기 생성된 레이어의 배치 순서를 결정하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 입력 영상은 복수의 객체들을 포함할 수 있다.

본 발명의 일 실시예에 따른 상기 수정된 영역으로 판별된 객체별로 레이어를 생성하는 단계는, 각각의 수정된 영역으로 판별된 복수의 객체들에 상응하게 각각의 레이어를 생성하는 단계 및 상기 생성된 각각의 레이어를 소정의 기준에 따라 배치하는 단계를 포함할 수 있다.

도 7을 참조하면, 입력 영상에 포함된 복수의 객체들(410, 411 및 412)은 전술한 과정을 통하여 객체별로 수정된 경계선을 포함하여 판별될 수 있다. 앞서 판별된 복수의 객체들 각각에 상응하게 레이어(710, 720 및 730)가 생성될 수 있다. 또한, 예컨대, 앞서 판별된 복수의 객체들의 개수만큼의 가상의 레이어들이 생성될 수 있다. 이러한 가상의 레이어들이 생성된 초기 상태는 가상의 레이어들 내에 어떠한 객체도 포함하지 않는 빈 상태일 수 있다.

이러한 생성된 각각의 레이어는 레이어를 배치하는 단계에서 소정의 기준에 따라 배치될 수 있는데, 이러한 소정의 기준으로는 예를 들면, 각각의 레이어가 생성되는 순서에 따라 화면 상의 전방에서 후방으로 배치되는 것을 포함할 수 있다. 마찬가지로, 복수의 객체들의 개수에 기초하여 생성된 가상의 레이어들도 가상의 레이어가 생성되는 순서에 따라 화면 상의 전방에서 후방으로 배치될 수 있다. 여기서, 화면의 전방이라 함은 스크린으로부터 사용자의 시선에 근접한 방향을 포함할 수 있다.

또한, 소정의 기준에 따라 배치된 각각의 레이어들에는 배치 순서를 나타내는 표식 등이 부여될 수 있다. 예를 들어, 화면의 최전방의 레이어에는 첫 레이어임을 나타내는 표식 등이 부여될 수 있는데, 이를 테면 숫자 '1', 영문자 'a', 자음 'ㄱ'과 같은 표식 등이 부여될 수 있다. 같은 방식으로 화면의 최후방의 레이어에는 마지막 레이어임을 나타내는 표식 등이 부여될 수 있다.

본 발명의 일 실시예에 따르면, 전술한 바와 같이 소정의 기준에 의하여 배치된 레이어들의 배치 순서를 변경할 수도 있다.

도 8은 본 발명의 일 실시예에 따라 레이어의 배치 순서를 결정하는 일 예를 도시한다.

본 발명의 일 실시예에 따른 상기 생성된 레이어의 배치 순서를 결정하는 단계는, 미리 설정된 방향으로의 사용자 입력을 수신하여 상기 배치된 각각의 레이어의 배치 순서를 수정하는 단계를 포함할 수 있다. 예컨대, 미리 설정된 방향은 상, 하, 좌, 우, 대각선 방향 중 적어도 하나를 포함할 수 있다.

도 8을 참조하면 예를 들어, 화면의 최후방에 배치하고 싶은 레이어(730)가 최전방에 배치되어 있다. 따라서, 사용자는 미리 설정된 방향으로의 입력을 통하여 화면의 최후방에 배치하고 싶은 레이어(730)를 이동시킬 수 있다.

도 9는 본 발명의 일 실시예에 따라 레이어의 배치 순서를 결정하는 다른 예를 도시한다.

본 발명의 일 실시예에 따른 상기 생성된 레이어의 배치 순서를 결정하는 단계는, 상기 각각의 레이어가 상이한 순서로 배치된 복수의 레이어 그룹을 제공하는 단계, 상기 복수의 레이어 그룹 중 어느 하나를 선택하는 사용자 입력을 수신하는 단계를 포함할 수 있다. 본 발명의 일 실시예에 따른 레이어의 배치 순서는 복수의 레이어 그룹 중 어느 하나를 선택하는 사용자 입력에 기초하여 결정될 수 있다.

도 9를 참조하면 예컨대, 각각의 레이어가 상이한 순서로 배치된 복수의 레이어 그룹(G1, G2 및 G3)이 제공될 수 있다. 레이어의 상이한 배치 순서는 랜덤으로 결정될 수 있다. 복수의 레이어 그룹(G1, G2 및 G3) 중 어느 하나를 선택하는 사용자 입력에 따라 레이어의 배치 순서가 결정될 수 있다. 예를 들어, 도 9에 도시되는 바와 같이 사용자가 특정 레이어 그룹(G3)를 선택하는 경우, 레이어의 배치 순서는 레이어 그룹(G3)가 나타내는 바와 같이 결정될 수 있다.

도 10은 본 발명의 일 실시예에 따라 레이어의 배치 순서를 결정하는 또 다른 예를 도시한다.

본 발명의 일 실시예에 따른 수정된 영역에 기초하여 상기 판별된 객체에 대한 레이어를 구성하는 단계는, 상기 수정된 영역으로 판별된 객체를 선택(410)하는 단계, 가상 레이어(1010)를 생성하는 단계 및 상기 선택된 객체(410)와 상기 가상 레이어(1010)를 매칭시킴으로써, 상기 판별된 객체에 대한 레이어(710)를 구성하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따라, 상기 수정된 영역으로 판별된 객체를 선택(410)하는 단계와 가상 레이어(1010)를 생성하는 단계는 임의의 순서로 수행될 수 있다. 즉, 객체를 선택한 이후에 가상 레이어가 생성될 수도 있고, 가상 레이어가 먼저 생성된 이후에 객체를 선택할 수도 있다.

또한, 생성되는 가상 레이어의 개수는 영상에 포함된 판별된 객체의 개수와 상응할 수 있다. 예를 들어, 영상에 포함된 판별된 객체의 총 개수에 상응하게 가상의 레이어가 생성되어 사용자에게 제공될 수 있다.

도 11는 본 발명의 일 실시예에 따라 레이어의 배치 순서를 결정하는 또 다른 예를 도시한다.

도 11을 참조하면, 가상 레이어를 먼저 생성한 이후에 객체를 선택하여 매칭시킬 수 있다. 이런 경우, 본 발명의 일 실시예에 따른 선택된 객체(410)와 상기 가상 레이어(1010)를 매칭시키는 것은 객체(410)를 선택하여 선택된 객체를 드래그 등을 통하여 이동시켜서 가상 레이어(1010)와 매칭시키는 것을 포함할 수 있다.

본 발명의 일 실시예에 따른 상기 구성된 레이어에 기초하여 3D 영상을 생성하는 단계(S600)는, 상기 결정된 레이어의 배치 순서에 기초하여 상기 판별된 객체에 파라미터 값을 부여하는 단계 및 상기 파라미터 값에 기초하여 입력 영상을 3D 영상으로 변환하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 객체에 부여된 파라미터 값은 이를 테면 객체에 대한 사용자의 시점을 수치화한 값으로서 예컨대, 객체의 깊이(depth) 값을 포함할 수 있다. 또한, 본 발명의 일 실시예로서, 객체에 파라미터를 부여함으로써, 객체와 파라미터의 매칭을 나타내는 맵 또는 테이블을 획득할 수 있다.

또한, 본 발명의 일 실시예에 따르면, 파라미터 값에 기초하여 hole-filling 등 화면 상에 입체감을 부여하기 위한 각종 기법 등을 이용하여 입력 영상을 3D 영상으로 변환할 수 있다.

전술한 일련의 과정은 입력 영상에 포함되는 복수의 프레임들에 대하여 각각 수행될 수 있다.

도 12는 본 발명의 일 실시예에 따른 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 장치를 도시한다.

본 발명의 일 실시예에 따른 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 장치(1200)는 영상 수신부(1210), 사용자 입력 수신부(1220), 객체 판별부(1230), 객체 수정부(1240), 레이어 구성부(1250) 및 3D 영상 변환부(1260)를 포함할 수 있다. 이와 관련하여 도 13 내지 16을 참조하여 이하에서 설명하도록 한다.

도 13은 본 발명의 일 실시예에 따른 객체 수정부(1240)를 도시한다. 도 14는 본 발명의 일 실시예에 따른 레이어 구성부(1250)를 도시한다. 도 15는 본 발명의 일 실시예에 따른 순서 결정부(143)를 도시한다. 도 16은 본 발명의 일 실시예에 따른 3D 영상 변환부(1260)를 도시한다.

영상 수신부(1210)는 입력되는 영상을 수신할 수 있다. 본 발명의 일 실시예에 따른 입력 영상은 복수의 프레임을 포함할 수 있다.

사용자 입력 수신부(1220)는 사용자로부터의 입력을 수신할 수 있고, 이러한 사용자 입력에 대하여는 전술한 바와 같다.

객체 판별부(1230)는, 객체가 판별된 적어도 하나의 프레임에 기초하여 상기 복수의 프레임 중 나머지 프레임들에 대하여 객체를 판별하고, 그리고 상기 판별된 객체를 복수의 프레임 상에서 표시할 수 있다.

객체 수정부(1240)는, 사용자 입력 수신부(1220)로부터의 사용자 입력에 기초하여 상기 판별된 객체를 선택하는 객체 선택부(131), 선택된 객체의 영역을 수정하기 위한 적어도 하나의 명령들을 포함하는 편집 윈도우를 제공하는 윈도우 제공부(133), 판별된 객체의 영역을 수정하기 위한 영역 수정부(135)를 포함할 수 있다.

또한, 객체 수정부(1240)는, 판별된 객체의 경계선을 획득하는 경계선 획득부(137) 및 판별된 객체의 경계선 중 선택된 일부를 포함하는 소정의 영역을 확대 영상으로써 제공하기 위한 확대 영상 제공부(139)를 더 포함할 수 있다.

레이어 구성부(1250)는, 수정된 영역으로 판별된 객체별로 레이어를 생성하는 레이어 생성부(141) 및 상기 생성된 레이어의 배치 순서를 결정하는 순서 결정부(143)를 포함할 수 있다. 또한, 레이어 구성부(1250)는 상기 수정된 영역으로 판별된 객체가 선택됨에 따라 가상 레이어를 생성하는 가상 레이어 생성부(145)를 더 포함할 수 있다.

순서 결정부(143)는, 생성된 각각의 레이어가 상이한 순서로 배치된 복수의 레이어 그룹을 제공하는 레이어 그룹 제공부(151), 사용자 입력에 기초하여 상기 배치된 각각의 레이어의 배치 순서를 수정하는 순서 수정부(153) 및 선택된 객체와 가상 레이어를 매칭시킴으로써 상기 레이어의 배치 순서를 결정하는 레이어 매칭부(155)를 포함할 수 있다.

3D 영상 변환부(1260)는, 결정된 레이어의 배치 순서에 기초하여 상기 판별된 객체에 파라미터 값을 부여하는 파라미터 제공부(161) 및 파라미터 값에 기초하여 입력 영상을 3D 영상으로 변환하는 영상 변환부(162)를 포함할 수 있다.

본 발명의 일 실시예에 따른 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 장치와 관련하여서는 전술한 방법에 대한 내용이 적용될 수 있다. 따라서, 장치와 관련하여, 전술한 방법에 대한 내용과 동일한 내용에 대하여는 설명을 생략하였다.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.

이러한 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims

사용자 인터랙션(interaction)에 기초하여 3D 영상을 생성하기 위한 방법으로서,
입력 영상을 수신하는 단계;
사용자 입력을 수신하는 단계;
상기 수신된 사용자 입력에 기초하여 상기 입력 영상에 포함된 객체를 판별(segmentation)하는 단계;
상기 판별된 객체의 영역을 수정하는 단계;
상기 수정된 영역에 기초하여 상기 판별된 객체에 대한 레이어를 구성하는 단계; 및
상기 구성된 레이어에 기초하여 3D 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 방법.
제 1 항에 있어서,
상기 입력 영상은 복수의 프레임을 포함하고,
상기 사용자 입력을 수신하는 단계는 상기 복수의 프레임 중 적어도 하나에 대하여 객체를 판별하기 위한 사용자 입력을 수신하는 단계를 포함하고,
상기 사용자 입력에 기초하여 상기 입력 영상에 포함된 객체를 판별하는 단계는,
상기 객체가 판별된 적어도 하나의 프레임에 기초하여 상기 복수의 프레임 중 나머지 프레임들에 대하여 객체를 판별하는 단계; 및
상기 판별된 객체를 복수의 프레임 상에서 표시하는 단계를 포함하는 것을 특징으로 하는 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 방법.
제 2 항에 있어서,
상기 복수의 프레임 중 적어도 하나에 대하여 객체를 판별하기 위한 사용자 입력을 수신하는 단계는, 상기 복수의 프레임 중 최초 프레임 및 최종 프레임 중 적어도 하나에 대하여 객체를 판별하기 위한 사용자 입력을 수신하는 단계를 포함하고,
상기 객체가 판별된 적어도 하나의 프레임에 기초하여 상기 복수의 프레임 중 나머지 프레임들에 대하여 객체를 판별하는 단계는, 상기 객체가 판별된 최초 프레임 및 객체가 판별된 최종 프레임 중 적어도 하나에 기초하여 상기 복수의 프레임 중 나머지 프레임들에 대하여 객체를 판별하는 단계를 포함하는 것을 특징으로 하는 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 방법.
제 1 항에 있어서,
상기 판별된 객체의 영역을 수정하는 단계는,
사용자 입력에 기초하여 상기 판별된 객체를 선택하는 단계;
상기 선택된 객체의 영역을 수정하기 위한 편집 윈도우를 제공하는 단계;
상기 편집 윈도우에 포함된 적어도 하나의 명령들 중 상기 선택된 객체의 영역을 수정하기 위한 명령을 선택하는 단계; 및
상기 선택된 명령에 기초하여 상기 선택된 객체의 영역을 수정하는 단계를 포함하고,
상기 적어도 하나의 명령들은 상기 판별된 객체가 상이한 경계선을 갖게 하기 위한 명령인 것을 특징으로 하는 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 방법.
제 1 항에 있어서,
상기 판별된 객체의 영역을 수정하는 단계는,
상기 판별된 객체를 선택하는 단계;
상기 선택에 의하여 상기 판별된 객체의 경계선을 획득하는 단계; 및
사용자 입력에 기초하여 상기 획득된 경계선을 수정하는 단계를 포함하는 것을 특징으로 하는 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 방법.
제 5 항에 있어서,
상기 사용자 입력에 기초하여 상기 획득된 경계선을 수정하는 단계는, 미리 설정된 방향으로의 사용자 입력을 수신하여 상기 경계선을 수정하는 단계를 포함하고,
상기 미리 설정된 방향은 상, 하, 좌, 우, 대각선 방향 중 적어도 하나를 포함하는 것을 특징으로 하는 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 방법.
제 5 항에 있어서,
상기 사용자 입력에 기초하여 상기 획득된 경계선을 수정하는 단계는,
상기 경계선 중 일부를 선택하는 단계;
상기 선택된 일부를 포함하는 소정의 영역을 확대 영상으로써 제공하는 단계;
상기 확대 영상에 대한 미리 설정된 방향으로의 사용자 입력을 수신하여 상기 선택된 일부를 수정하는 단계를 포함하고,
상기 미리 설정된 방향은 상, 하, 좌, 우, 대각선 방향 중 적어도 하나를 포함하는 것을 특징으로 하는 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 방법.
제 5 항에 있어서,
상기 수정된 영역에 기초하여 상기 판별된 객체에 대한 레이어를 구성하는 단계는,
상기 수정된 영역으로 판별된 객체별로 레이어를 생성하는 단계; 및
상기 생성된 레이어의 배치 순서를 결정하는 단계를 포함하는 것을 특징으로 하는 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 방법.
제 8 항에 있어서,
상기 입력 영상은 복수의 객체들을 포함하고,
상기 수정된 영역으로 판별된 객체별로 레이어를 생성하는 단계는,
각각의 수정된 영역으로 판별된 복수의 객체들에 상응하게 각각의 레이어를 생성하는 단계; 및
상기 생성된 각각의 레이어를 소정의 기준에 따라 배치하는 단계를 포함하는 것을 특징으로 하는 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 방법.
제 9 항에 있어서,
상기 소정의 기준은, 상기 각각의 레이어가 생성되는 순서에 따라 화면 상의 전방에서 후방으로 배치하는 것을 포함하는 것을 특징으로 하는 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 방법.
제 9 항에 있어서,
상기 생성된 레이어의 배치 순서를 결정하는 단계는,
미리 설정된 방향으로의 사용자 입력을 수신하여 상기 배치된 각각의 레이어의 배치 순서를 수정하는 단계를 포함하고,
상기 미리 설정된 방향은 상, 하, 좌, 우, 대각선 방향 중 적어도 하나를 포함하는 것을 특징으로 하는 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 방법.
제 9 항에 있어서,
상기 생성된 레이어의 배치 순서를 결정하는 단계는,
상기 각각의 레이어가 상이한 순서로 배치된 복수의 레이어 그룹을 제공하는 단계;
상기 복수의 레이어 그룹 중 어느 하나를 선택하는 사용자 입력을 수신하는 단계를 포함하고,
상기 레이어의 배치 순서는 상기 사용자 입력에 기초하여 결정되는 것을 특징으로 하는 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 방법.
제 5 항에 있어서,
상기 수정된 영역에 기초하여 상기 판별된 객체에 대한 레이어를 구성하는 단계는,
상기 수정된 영역으로 판별된 객체를 선택하는 단계;
가상 레이어를 생성하는 단계; 및
상기 선택된 객체와 상기 가상 레이어를 매칭시킴으로써, 상기 판별된 객체에 대한 레이어를 구성하는 단계를 포함하는 것을 특징으로 하는 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 방법.
제 8 항에 있어서,
상기 구성된 레이어에 기초하여 3D 영상을 생성하는 단계는,
상기 결정된 레이어의 배치 순서에 기초하여 상기 판별된 객체에 파라미터 값을 부여하는 단계; 및
상기 파라미터 값에 기초하여 입력 영상을 3D 영상으로 변환하는 단계를 포함하는 것을 특징으로 하는 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 방법.
사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 장치로서,
입력 영상을 수신하는 영상 수신부;
사용자 입력을 수신하는 사용자 입력 수신부;
상기 사용자 입력에 기초하여 상기 입력 영상에 포함된 객체를 판별하는 객체 판별부;
상기 판별된 객체의 영역을 수정하는 객체 수정부;
상기 수정된 영역에 기초하여 상기 판별된 객체에 대한 레이어를 구성하는 레이어 구성부;
상기 구성된 레이어에 기초하여 3D 영상을 생성하는 3D 영상 변환부를 포함하는 것을 특징으로 하는 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 장치.
제 15 항에 있어서,
상기 입력 영상은 복수의 프레임을 포함하고,
상기 사용자 입력 수신부는 상기 복수의 프레임 중 적어도 하나에 대하여 객체를 판별하기 위한 사용자 입력을 수신하고,
상기 객체 판별부는,
상기 객체가 판별된 적어도 하나의 프레임에 기초하여 상기 복수의 프레임 중 나머지 프레임들에 대하여 객체를 판별하고, 그리고 상기 판별된 객체를 복수의 프레임 상에서 표시하는 것을 특징으로 하는 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 장치.
제 16 항에 있어서,
상기 복수의 프레임 중 적어도 하나에 대하여 객체를 판별하기 위한 사용자 입력을 수신하는 것은, 상기 복수의 프레임 중 최초 프레임 및 최종 프레임 중 적어도 하나에 대하여 객체를 판별하기 위한 사용자 입력을 수신하는 것을 포함하고,
상기 객체가 판별된 적어도 하나의 프레임에 기초하여 상기 복수의 프레임 중 나머지 프레임들에 대하여 객체를 판별하는 것은, 상기 객체가 판별된 최초 프레임 및 객체가 판별된 최종 프레임 중 적어도 하나에 기초하여 상기 복수의 프레임 중 나머지 프레임들에 대하여 객체를 판별하는 것을 포함하는 것을 특징으로 하는 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 장치.
제 15 항에 있어서,
상기 객체 수정부는,
상기 사용자 입력 수신부로부터의 사용자 입력에 기초하여 상기 판별된 객체를 선택하는 객체 선택부;
상기 선택된 객체의 영역을 수정하기 위한 편집 윈도우를 제공하는 윈도우 제공부;
상기 편집 윈도우에 포함된 적어도 하나의 명령들 중 선택된 명령에 기초하여 상기 선택된 객체의 영역을 수정하는 영역 수정부를 포함하고,
상기 사용자 입력 수신부는 상기 판별된 객체를 선택하기 위한 사용자 입력을 수신하고, 상기 편집 윈도우에 포함된 적어도 하나의 명령들 중 상기 선택된 객체의 영역을 수정하기 위한 명령을 선택하는 사용자 입력을 수신하는 것을 더 포함하고,
상기 적어도 하나의 명령들은 상기 판별된 객체가 상이한 경계선을 갖도록 하기 위한 명령들을 포함하는 것을 특징으로 하는 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 장치.
제 15 항에 있어서,
상기 객체 수정부는,
상기 사용자 입력 수신부로부터의 사용자 입력에 기초하여 상기 판별된 객체를 선택하는 객체 선택부;
상기 선택에 의하여 상기 판별된 객체의 경계선을 획득하는 경계선 획득부; 및
상기 사용자 입력 수신부로부터의 사용자 입력에 기초하여 상기 획득된 경계선을 수정하는 영역 수정부를 포함하는 것을 특징으로 하는 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 장치.
제 19 항에 있어서,
상기 영역 수정부는, 미리 설정된 방향으로의 사용자 입력을 수신하여 상기 경계선을 수정하는 것을 포함하고,
상기 미리 설정된 방향은 상, 하, 좌, 우, 대각선 방향 중 적어도 하나를 포함하는 것을 특징으로 하는 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 장치.
제 19 항에 있어서,
상기 사용자 입력 수신부는 상기 경계선 중 일부를 선택하기 위한 사용자 입력 신호를 수신하고,
상기 객체 수정부는,
상기 경계선 중 선택된 일부를 포함하는 소정의 영역을 확대 영상으로써 제공하는 확대 영상 제공부를 더 포함하고,
상기 영역 수정부는 상기 확대 영상에 대한 미리 설정된 방향으로의 사용자 입력을 수신하여 상기 선택된 일부를 수정하는 것을 더 포함하고,
상기 미리 설정된 방향은 상, 하, 좌, 우, 대각선 방향 중 적어도 하나를 포함하는 것을 특징으로 하는 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 장치.
제 19 항에 있어서,
상기 레이어 구성부는,
상기 수정된 영역으로 판별된 객체별로 레이어를 생성하는 레이어 생성부;
상기 생성된 레이어의 배치 순서를 결정하는 순서 결정부를 포함하는 것을 특징으로 하는 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 장치.
제 22 항에 있어서,
상기 입력 영상은 복수의 객체들을 포함하고,
상기 레이어 생성부는, 각각의 수정된 영역으로 판별된 복수의 객체들에 상응하게 각각의 레이어를 생성하는 것을 더 포함하고,
상기 순서 결정부는, 상기 생성된 각각의 레이어를 소정의 기준에 따라 배치하는 것을 더 포함하는 것을 특징으로 하는 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 장치.
제 23 항에 있어서,
상기 소정의 기준은, 상기 각각의 레이어가 생성되는 순서에 따라 화면 상의 전방에서 후방으로 배치하는 것을 포함하는 것을 특징으로 하는 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 장치.
제 23 항에 있어서,
상기 순서 결정부는,
상기 사용자 입력 수신부에서 수신된 미리 설정된 방향으로의 사용자 입력에 기초하여 상기 배치된 각각의 레이어의 배치 순서를 수정하는 순서 수정부를 포함하고,
상기 미리 설정된 방향은 상, 하, 좌, 우, 대각선 방향 중 적어도 하나를 포함하는 것을 특징으로 하는 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 장치.
제 23 항에 있어서,
상기 순서 결정부는,
상기 각각의 레이어가 상이한 순서로 배치된 복수의 레이어 그룹을 제공하는 레이어 그룹 제공부를 포함하고,
상기 사용자 입력 수신부는 복수의 레이어 그룹 중 어느 하나를 선택하는 사용자 입력을 수신하는 것을 포함하며,
상기 레이어의 배치 순서는 상기 사용자 입력에 기초하여 결정되는 것을 특징으로 하는 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 장치.
제 19 항에 있어서,
상기 레이어 구성부는,
사용자 입력 수신부로부터의 사용자 입력에 기초하여 상기 수정된 영역으로 판별된 객체가 선택됨에 따라 가상 레이어를 생성하는 가상 레이어 생성부;
상기 생성된 가상 레이어의 배치 순서를 결정하는 순서 결정부를 포함하고,
상기 순서 결정부는, 상기 선택된 객체와 상기 가상 레이어를 매칭시킴으로써 상기 레이어의 배치 순서를 결정하는 레이어 매칭부를 포함하는 것을 특징으로 하는 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 장치.
제 22 항에 있어서,
상기 3D 영상 변환부는,
상기 결정된 레이어의 배치 순서에 기초하여 상기 판별된 객체에 파라미터 값을 부여하는 파라미터 제공부; 및
상기 파라미터 값에 기초하여 입력 영상을 3D 영상으로 변환하는 영상 변환부를 포함하는 것을 특징으로 하는 사용자 인터랙션에 기초하여 3D 영상을 생성하기 위한 장치.
제 1 항 내지 제 14 항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.