KR20150090364A - 2ｄ 동영상으로부터 새로운 3ｄ 입체 동영상 제작을 위한 장치 및 방법 - Google Patents

2ｄ 동영상으로부터 새로운 3ｄ 입체 동영상 제작을 위한 장치 및 방법 Download PDF

Info

Publication number
KR20150090364A
KR20150090364A KR1020140010558A KR20140010558A KR20150090364A KR 20150090364 A KR20150090364 A KR 20150090364A KR 1020140010558 A KR1020140010558 A KR 1020140010558A KR 20140010558 A KR20140010558 A KR 20140010558A KR 20150090364 A KR20150090364 A KR 20150090364A
Authority
KR
South Korea
Prior art keywords
node
stereoscopic
movies
user interface
creating
Prior art date
Application number
KR1020140010558A
Other languages
English (en)
Other versions
KR102082132B1 (ko
Inventor
남승우
장경호
김명하
반윤지
김혜선
구본기
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020140010558A priority Critical patent/KR102082132B1/ko
Priority to US14/600,126 priority patent/US9720563B2/en
Publication of KR20150090364A publication Critical patent/KR20150090364A/ko
Application granted granted Critical
Publication of KR102082132B1 publication Critical patent/KR102082132B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Computer Graphics (AREA)

Abstract

입체 영상 제작을 위한 노드 기반 작업 파이프라인을 이용하여 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상을 제작하는 방법이 개시된다. 본 발명의 일 면에 따른 컴퓨터로 구현 가능한, 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법은 그래픽 사용자 인터페이스(Graphic User Interface, GUI)로 제공되는 노드연결 작업 영역에 3D 입체 동영상 제작에 필요한 각각의 작업 시퀀스가 정의된 노드(node)들을 생성하는 단계; 생성된 노드들 사이의 연결 관계를 정의한 작업 파이프라인을 생성하는 단계; 상기 작업 파이프라인의 임의의 노드에서 사용될 사용자 정의 데이터를 작업할 사용자 인터페이스를 제공하고, 상기 사용자 인터페이스를 통해 입력된 사용자 입력에 기초하여 사용자 정의 데이터를 생성하는 단계; 및 상기 작업 파이프라인과, 상기 사용자 정의 데이터를 이용하여 입력된 2D 동영상에서 3D 입체 동영상을 출력하는 단계를 포함한다.

Description

2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작을 위한 장치 및 방법{Device and Method for new 3D Video Representation from 2D Video}
본 발명은 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작을 위한 장치 및 방법에 관한 것으로서, 보다 상세하게는 입체 영상 제작을 위한 노드 기반 작업 파이프라인을 이용하여 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상을 제작하는 방법에 관한 것이다.
최근 기술의 발전으로 3D 디스플레이(3D Display)의 보급이 증가함에 따라 사용자들의 3D 영상에 대한 요구도 증가하고 있다. 이에 따라 부족한 3D 영상을 제공하기 위하여, 기존의 2D 영상을 3D 영상으로 변환하는 방법이 많이 사용되고 있다. 그러나 상기와 같은 2D 영상의 3D 변환 작업은 복잡하고 정교하므로, 보통 수작업으로 이루어지는 경우가 많고, 따라서 전문적인 인력과 많은 작업 시간이 필요한 문제점이 있다. 따라서 최근에는 자동으로 영상을 변환하기 위한 도구가 개발되고 있는 상황이다.
한편, 입체 영상 생성은 배경과 객체를 분리(segmentation)를 하고 분리된 객체에 깊이 값을 부여하거나 3D 객체를 생성하여 2차원 영상과 맞추는(fitting)방식으로 깊이 지도(depth map)를 얻는다. 깊이 지도나 3D 객체를 이용하여 렌더링(rendering)하여 좌우 양안 영상을 생성한다. 이러한 객체 분리에서부터 입체 영상 생성까지의 작업은 효율적인 파이프라인 형태로 구성될 필요가 있으나, 현재 각 작업은 각각 다른 툴에서 수행되고 있는 실정이다. 따라서, 툴 간의 호환성이 지원되지 않거나, 혹은 포맷 지원이 되지 않는 경우에는 제작의 효율성과 품질이 떨어지는 문제가 있다.
본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여, 노드 기반 작업 파이프라인을 이용하여 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상을 제작하는 방법을 제공하는 것을 목적으로 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 면에 따른 컴퓨터로 구현 가능한, 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법은 그래픽 사용자 인터페이스(Graphic User Interface, GUI)로 제공되는 노드연결 작업 영역에 3D 입체 동영상 제작에 필요한 각각의 작업 시퀀스가 정의된 노드(node)들을 생성하는 단계; 생성된 노드들 사이의 연결 관계를 정의한 작업 파이프라인을 생성하는 단계; 상기 작업 파이프라인의 임의의 노드에서 사용될 사용자 정의 데이터를 작업할 사용자 인터페이스를 제공하고, 상기 사용자 인터페이스를 통해 입력된 사용자 입력에 기초하여 사용자 정의 데이터를 생성하는 단계; 및 상기 작업 파이프라인과, 상기 사용자 정의 데이터를 이용하여 입력된 2D 동영상에서 3D 입체 동영상을 출력하는 단계를 포함한다.
또한, 본 발명의 일 면에 따른 컴퓨터로 구현 가능한, 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법은 상기 작업 파이프라인의 임의의 노드에서 처리된 결과를 실시간으로 표시하는 단계를 더 포함할 수 있다.
본 발명의 일 면에 따른 컴퓨터로 구현 가능한, 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법은 장면 별 노드 기반 작업 파이프라인 생성을 위한 제2 사용자 인터페이스를 제공하는 단계; -여기서, 상기 제2 사용자 인터페이스는 노드를 생성하고, 노드와 노드를 연결할 수 있는 작업공간과, 노드들 사이의 연결도(diagram)를 표시- 상기 제2 사용자 인터페이스에서 작업 대상이 되는 2D 동영상 시퀀스를 호출하여 입력 값으로 정의하는 제1 노드를 생성하는 단계; 상기 2D 동영상 시퀀스에 대하여 객체 혹은 배경을 분리(segmentation)하는 제 2노드를 생성하는 단계; 상기 분리된 객체 혹은 배경에 대하여 깊이 지도을 정의하는 제3 노드를 생성하는 단계; 상기 2D 동영상 시퀀스와 상기 깊이 지도를 입력으로 하여 좌우 양안의 스테레오 영상 시퀀스(Left image, Right image)를 렌더링하는 제4 노드를 생성하는 단계; 및 상기 제1 노드, 상기 제2 노드, 상기 제3 노드, 및 상기 제4 노드 사이의 연결 관계를 정의한 작업 파이프라인을 생성하는 단계를 포함한다.
바람직한 실시 예에 있어서, 상기 제2 노드를 생성하는 단계는 상기 2D 동영상 시퀀스를 구성하는 객체들을 분리하는 커브 기반의 사용자 인터페이스를 제공하는 단계와, 분리된 객체들을 동시에 혹은 따로 추적하는 단계와, 추적 결과를 수정할 수 있는 사용자 인터페이스를 제공하는 단계를 포함한다.
바람직한 실시 예에 있어서, 상기 제3 노드를 생성하는 단계는 상기 2D 동영상 시퀀스를 구성하는 객체들에 대한 깊이 값 편집 템플릿을 선택할 수 있는 사용자 인터페이스를 제공하는 단계와, 작업자에 의해 선택된 깊이 값 편집 템플릿을 적용하여 깊이 지도를 생성하는 단계를 포함한다.
바람직한 실시 예에 있어서, 상기 깊이 지도를 생성하는 단계는 객체 별로 적어도 하나 이상의 상기 깊이 값 편집 템플릿을 적용하는 단계를 포함한다.
바람직한 실시 예에 있어서, 상기 작업 파이프라인을 생성하는 단계는 상기 제1 노드, 상기 제2 노드, 제3 노드, 및 상기 제4 노드 사이의 작업 순서를 연결도(graph or diagram)으로 정의하는 단계를 포함한다.
바람직한 실시 예에 있어서, 상기 작업 파이프라인을 생성하는 단계는 상기 제1 노드, 상기 제2 노드, 제3 노드 및 상기 제4 노드 사이의 입력, 출력 관계를 정의하는 단계를 포함한다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 다른 면에 따른 컴퓨터로 구현 가능한, 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상을 제작하기 위한 장치는 적어도 하나 이상의 프로세서와, 상기 프로세서에 의해 실행되는 코드가 저장된 비휘발성 메모리를 포함하되, 상기 프로세서는 입체 영상 제작 관리를 위한 제1 사용자 인터페이스와, 장면 별 노드 기반 작업 파이프라인 생성을 위한 제2 사용자 인터페이스를 제공하도록 구현되는 것이고, 상기 제2 사용자 인터페이스는 3D 입체 동영상 제작에 필요한 각각의 작업 시퀀스가 정의된 노드를 생성하고, 노드와 노드를 연결하고, 노드들 사이의 연결도(graph or diagram)를 표시하는 노드 연결 작업 영역을 포함하는 것을 특징으로 한다.
바람직한 실시 예에 있어서, 상기 프로세서는 상기 노드 연결 작업 영역에 3D 입체 동영상 제작에 필요한 각각의 작업 시퀀스가 정의된 노드(node)들을 생성하고, 생성된 노드들 사이의 연결 관계를 정의한 작업 파이프라인을 생성하고, 상기 작업 파이프라인의 임의의 노드에서 사용될 사용자 정의 데이터를 작업할 사용자 인터페이스를 제공하고, 상기 사용자 인터페이스를 통해 입력된 사용자 입력에 기초하여 사용자 정의 데이터를 생성하고, 상기 작업 파이프라인과, 상기 사용자 정의 데이터를 이용하여 입력된 2D 동영상에서 3D 입체 동영상을 출력한다.
상기 프로세서는 상기 노드연결 작업 영역에 작업 대상이 되는 2D 동영상 시퀀스를 호출하여 입력 값으로 정의하는 제1 노드를 생성하고,
바람직한 실시예에 있어서, 상기 2D 동영상 시퀀스에 대한 객체별 혹은 배경을 분리할 수 있는 제2노드를 생성하고, 상기 2D동영상 시퀀스에 대하여 객체별 혹은 배경의 깊이 지도를 정의하는 제3 노드를 생성하고, 상기 2D 동영상 시퀀스와 상기 깊이 지도를 입력으로 하여 좌우 양안의 스테레오 영상 시퀀스(Image Left, Image Right)를 렌더링하는 제4 노드를 생성하고, 상기 제1 노드, 상기 제2 노드, 상기 제3 노드, 및 상기 제4 노드 사이의 연결 관계를 정의한 작업 파이프라인을 생성한다.
여기서, 상기 프로세서는 상기 2D 동영상 시퀀스를 구성하는 객체별 혹은 배경을 분리할 수 있는 커브기반의 사용자 인터페이스를 제공하고 분리된 객체들을 동시 혹은 개별로 추적할 수 있는 기능을 포함하고 추적 결과를 수정할 수 있는 사용자 인터페이스를 제공하여 상기 2D 동영상 시퀀스에 대하여 객체별 혹은 배경 분리한 객체별 마스크와 레이어를 생성한다.
여기서, 상기 프로세서는 상기 2D 동영상 시퀀스를 구성하는 객체들에 대한 깊이 값 편집 템플릿을 선택할 수 있는 사용자 인터페이스를 제공하고, 작업자에 의해 선택된 깊이 값 편집 템플릿을 적용하여 상기 2D 동영상 시퀀스에 대한 깊이 지도를 생성한다.
여기서, 상기 프로세서는 상기 제1 노드, 상기 제2 노드, 제3 노드, 및 상기 제4 노드 사이의 작업 순서 및 입력, 출력 관계를 연결도(graph or diagram)으로 정의한다.
바람직한 실시예에 있어서, 상기 제1 사용자 인터페이스는 상기 2D 동영상 시퀀스를 자동으로 장면 별로 분류하여 표시한 리스트 뷰어를 포함한다.
바람직한 실시예에 있어서, 상기 제1 사용자 인터페이스는 작업자가 수동으로 프레임 별 뎁스 스크립트(Depth Script)를 작성할 수 있는 수단을 제공하는 프레임 별 뎁스 스크립트 편집 툴 및 작업자가 수동으로 장면 별 뎁스 스크립트를 작성할 수 있는 수단을 제공하는 컷 별 뎁스 스크립트 편집 툴을 포함한다.
바람직한 실시예에 있어서, 상기 프레임 별 뎁스 스크립트 편집 툴 또는 상기 컷 별 뎁스 스크립트 편집 툴에서 작성된 뎁스 스크립트는 상기 제2 사용자 인터페이스에서 생성된 임의의 노드에서 자동으로 호출되는 것을 특징으로 한다.
이상 상술한 바와 같은 본 발명에 따르면, 3D 입체 동영상 제작에 필요한 각각의 작업 시퀀스가 정의된 노드(node)들을 생성하고, 생성된 노드들 사이의 연결 관계를 정의한 작업 파이프라인을 설계할 수 있는 툴을 제공함으로써, 작업의 효율성을 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법을 도시한 도면.
도 2는 본 발명의 실시예에 따른 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법이 수행되는 컴퓨터 시스템의 일 예를 도시한 도면.
도 3a 및 도 3b는 본 발명의 실시예에 따른 제1 사용자 인터페이스를 도시한 도면.
도 4a 내지 도 4i는 본 발명의 실시예에 따른 제2 사용자 인터페이스를 도시한 도면.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명은 생략한다.
본 명세서에서 “2D 동영상(2D Video)”는 2차원 방식으로 촬영된 동영상을 의미한다. 따라서, 2D 동영상이 상영될 때에는 '너비'와 '높이'만 있는 2차원 영상으로 인식될 수 있다. 영상 처리 분야의 당업자에게 자명한 사항으로서, 동영상은 일련의 영상 프레임으로 구성된다. 여기서 영상 프레임은 픽셀들의 배열을 포함한다. 2D 동영상은 적어도 하나 이상의 장면(Scene)들로 구성될 수 있다. 여기서, 각각의 장면은 적어도 하나 이상의 영상 프레임으로 구성될 수 있다.
또한, 본 명세서에서 “스테레오 동영상(Stereo Video)”는 좌 시점과 우 시점을 포함하는 다시점 동영상의 한 형태를 의미한다. 따라서, 스테레오 동영상(혹은, 3D 동영상)이 상영될 때에는 '너비', '높이', '깊이'가 있는 3차원 영상으로 인식될 수 있다.
또한, 본 명세서에서 “컷(cut)”, 혹은 “장면(scene)”은 하나의 카메라 위치에서 촬영된 필름을 의미하는 것으로서, 연출에서 최소 단위이다. 이하에서는 “컷”과 “장면”을 혼용하여 기재하도록 하고, 2개의 용어의 의미는 동일하다.
한편, 본 발명의 실시예에 따른 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 도 2에는 컴퓨터 시스템의 간단한 실시예가 도시된다. 도시된 바와 같이, 컴퓨터 시스템은 적어도 하나 이상의 프로세서(121)와, 메모리(123)와, 사용자 입력 장치(126)와, 데이터 통신 버스(122)와, 사용자 출력 장치(127)와, 저장소(128) 등을 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스(122)를 통해 데이터 통신을 한다.
또한, 컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스(129)를 더 포함할 수 있다. 상기 프로세서(121)는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리(123) 및/또는 저장소(128)에 저장된 명령어를 처리하는 반도체 장치일 수 있다.
상기 메모리(123) 및 상기 저장소(128)는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 상기 메모리(123)는 ROM(124) 및 RAM(125)을 포함할 수 있다.
따라서, 본 발명의 실시예에 따른 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법은 컴퓨터 시스템에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법이 컴퓨터 시스템에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 제작 방법을 수행할 수 있다.
도 1 및 도 2를 참조하면, 컴퓨터 시스템은 2D 동영상으로부터 새로운 3D 입체 동영상을 제작할 수 있는 작업 환경을 제공한다. 예컨대, 컴퓨터 시스템은 도 1에 도시된 각각의 프로세스들을 수행하여 작업 환경을 사용자에게 제공한다.
다른 한편으로, 상술한 본 발명에 따른 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이하에서는 도 1을 참조하여 본 발명의 실시예에 따른 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법을 설명한다. 도 1에는 본 발명의 실시예에 따른 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법이 도시된다.
도 2와 같은 컴퓨터 시스템에 2D 동영상이 입력되면(S10), 2D 동영상은 장면 별로 분류되어 저장된다(S20). 도 3에는 2D 동영상이 장면 별로 분류되어 저장된 실시예가 예시적으로 도시된다. 도 3을 참조하면, 2D 동영상은 복수의 장면으로 분류되고(Cut_#1,Cut_#2,Cut_#3,...,Cut_#25), 각각의 장면은 해당하는 복수의 영상 프레임들로 구성된다. 예컨대, 영상 시퀀스 별로 Cut_#1 장면은 0번 영상 프레임부터 499번 영상 프레임까지 총 500개의 영상 프레임으로 구성되고, Cut_#25 장면은 1327번 영상 프레임부터 1357번 영상 프레임까지 총 31개의 영상 프레임으로 구성된다. 이와 같이, 본 발명의 실시예에 따른 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법은 입력된 2D 동영상을 자동으로 장면 별로 분류하여 저장으로써, 작업자가 장면 별로 영상 처리 작업을 용이하게 할 수 있도록 한다.
다음으로, 각각의 영상 프레임에서 객체와 배경을 분리하는 과정(Segmentation processing)이 수행된다(S30). 2D 동영상을 3D 동영상으로 변환하기 위해서는 2D 동영상의 각 영상 프레임의 픽셀에 깊이 값(depth value)이 요구된다. 예컨대, 특정 장면을 구성하는 각각의 객체 영역 내의 깊이 값은 해당 장면을 구성하는 연속적인 영상 프레임에서 유연하게 변하지만, 객체 영역의 경계면(boundary)에서 깊이 값은 불연속하게 된다. 이와 같은, 깊이 값의 불연속 속성을 이용하여 객체 영역을 찾고, 이를 배경에서 분리한다. 도 4c에는 배경에서 객체 영역이 분리된 일 예가 도시된다. 이에 대한 구체적인 설명은 후술하기로 한다.
또한, 본 발명의 실시예에 따른 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법은 분리된 객체 영역을 각각의 영상 프레임에서 자동으로 추적하는 기능(Tracking processing)을 제공한다(S40). 예컨대, 분리된 객체 영역과, 배경 영역은 각각 복수의 레이어(layer)로 구성되고, 영상 시퀀스 별로 객체 영역에 해당하는 레이어가 이동 및 변화하는 것을 자동으로 추적한다.
여기서, 객체 영역에 해당하는 레이어에 대한 추적은 해당 장면을 구성하는 모든 영상 프레임에서 수행될 수 있으며, 추적 결과 이동 또는 변화가 있는 객체 영역이 어느 하나라도 있는 경우, 해당 객체 영역을 포함하는 영상 프레임은 키 프레임으로 설정된다. 한편, 키 프레임과 키 프레임 사이에 있는 영상 프레임은 인터폴레이션(interpolation) 기능을 통해 보간될 수 있다.
이후, 분리된 각각의 객체 영역 및 배경 영역에 대해 픽셀 단위로 깊이 값이 설정된다(S50). 여기서, 깊이 값 설정은 2D 동영상의 소스 이미지를 입력으로 받아 자동 방식으로 수행될 수 있으며, 혹은 작업자가 깊이 값을 편집할 수 있는 모드를 제공하여 사용자 입력에 기초하여 생성된 사용자 정의 데이터를 이용할 수 있다. 사용자 정의 데이터를 이용한 반자동 방식의 깊이 값 설정은 작업자에게 제공되는 사용자 인터페이스(GUI)를 통해 수행될 수 있고, 이는 프레임 단위로 수행되거나, 다른 한편으로 장면 단위로 수행될 수도 있다. 반자동 깊이 값 설정(depth edit)을 위해 작업자에게 제공되는 사용자 인터페이스는 도 4에 예시적으로 도시된다. 이에 대한 구체 설명은 도 4를 참조하여 후술하기로 한다.
다음으로, 입력된 2D 동영상의 각 영상 프레임과 S50 단계에서 생성된 깊이 지도를 이용하여 3D 동영상 생성을 위한 좌우 양안 시점의 스테레오 이미지 및 양안 이미지에 해당하는 양안 깊이 지도가 생성된다(S60). 한편, 양안의 스테레오 이미지 렌더링 시에는 홀(hole)이 발생할 수 있는데, 본 발명의 실시예는 주변 픽셀의 정보를 이용하여 자동, 혹은 수동으로 홀을 채우는 기능(Hole filling, interpolation, automatic hole filling)을 제공할 수 있다.
이후, S60 단계에서 생성된 양안 시점의 스테레오 이미지를 정합하여 3D 동영상을 생성한다(S70). 여기서, 좌우 양안의 스테레오 이미지는 side-by-side 방식, up-down 방식, line-by-line 방식 등으로 정합될 수 있으며, 본 발명의 실시예는 전술한 방식에 한정되지 않는다.
이하에서는 도 3 내지 도 4를 참조하여, 본 발명의 실시예에 따른 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법이 수행되는 컴퓨터 환경에서 제공되는 사용자 인터페이스를 구체적으로 살펴본다.
본 발명의 실시예에 따른 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법이 수행되는 컴퓨터 환경에서는 입체 영상 제작 관리를 위한 제1 사용자 인터페이스와, 장면 별 노드 기반 작업 파이프라인 생성을 위한 제2 사용자 인터페이스가 제공된다. 도 3에는 본 발명의 실시예에 따른 제1 사용자 인터페이스가 도시되고, 도 4에는 본 발명의 실시예에 따른 제2 사용자 인터페이스가 도시된다.
도 3을 참조하면, 입체 영상 제작 관리를 위한 제1 사용자 인터페이스(10)는 컷 리스트 뷰어(11), 컷 영상 뷰어(12), 컷 시퀀스 뷰어(13), 자동 생성 깊이 지도 뷰어(14), 자동 생성 양안 스테레오 이미지 뷰어(15), 입력 2D 영상 뷰어(16), 프레임 별 뎁스 스크립트(Depth script) 편집 툴(17), 컷 별 뎁스 스크립트(Depth script) 편집 툴(18)을 포함한다.
컷 리스트 뷰어(11)에는 컷 별(장면 별)로 분류된 영상 프레임의 리스트가 도시된다. 작업자가 컷 리스트 뷰어(11)에서 임의의 컷 리스트를 선택하면 해당하는 컷(장면) 영상이 컷 영상 뷰어(12)에 출력된다. 작업자는 컷 리스트 뷰어(11)를 통해 작업 대상이 되는 컷을 선택하여, 컷 별 혹은 프레임 별로 작업을 수행한다.
자동 생성 깊이 지도 뷰어(14)에는 자동 깊이 지도 생성 기능을 통해 생성된 깊이 지도 영상이 출력되고, 자동 생성 양안 스테레오 이미지 뷰어(15)에는 현재 작업 대상이 되는 장면 혹은 프레임에 대한 스테레오 이미지가 출력된다.
입력 2D 영상 뷰어(16)에는 입력된 2D 동영상이 출력되고, 프레임 별 뎁스 스크립트 편집 툴(17)은 작업자가 수동으로 프레임 별 뎁스 스크립트를 작성할 수 있는 수단을 제공한다. 컷 별 뎁스 스크립트 편집 툴(18)은 작업자가 수동으로 컷 별 뎁스 스크립트를 작성할 수 있는 수단을 제공한다. 여기서, 뎁스 스크립트란, 각 장면, 혹은 각 영상 프레임마다 좌우 영상에 의한 깊이감을 어떻게 연출할 것인지를 정량적으로 기술해 놓은 문서이다.
프레임 별 뎁스 스크립트 편집 툴(17), 혹은 컷 별 뎁스 스크립트 편집 툴(18)에서 작성된 뎁스 스크립트는 저장되고, 이 정보들은 장면 별 노드 기반 작업 파이프라인 생성을 위한 제2 사용자 인터페이스로 제공되어, 작업자가 컷 별로 깊이 값 작업을 할 수 있게 한다. 이에 대해서는 도 4를 참조하여 후술하기로 한다.
도 4a를 참조하면, 장면 별 노드 기반 작업 파이프라인 생성을 위한 제2 사용자 인터페이스(20)는 노드연결 작업 영역(21), 결과 뷰어(22), 타임라인 뷰어(23), 속성 뷰어(24), 레이어 뷰어(25)를 포함한다.
노드연결 작업 영역(21)은 작업자가 각 노드를 생성하고, 노드와 노드를 연결할 수 있는 작업공간과, 연결도(diagram)를 표시한다. 여기서, 노드는 3D 입체 동영상 제작에 필요한 각각의 작업 시퀀스를 정의한다. 예컨대, 노드연결 작업 영역(21)에서 제공되는 노드에는 2D 영상 시퀀스를 불러오는 소스(source) 노드, 각 작업 단계별 중간 혹은 최종 결과를 출력하는 뷰어(viewer) 노드, 각 객체 별로 분리 작업 기능을 제공하는 로토(roto) 노드, 외부에서 객체가 분리된 결과가 저장된 데이터를 작업 파이프라인에 불러올 수 있는 로토_호출(roto_import) 노드, 배경에서 분리된 객체 영역에 해당하는 로토 레이어 별로 깊이 지도를 편집 및 제작하거나, 혹은 배경 영역에 해당하는 레이어의 깊이 지도를 편집 및 제작하는 깊이 값 편집(depth edit) 노드, 깊이 지도와 2D 영상 시퀀스를 입력으로 하여 양안의 스테레오 이미지를 생성하는 DIBR 노드, 깊이 지도와 입력 2D 영상을 정합하는 Image Merge 노드(Blend, Add, Max Layer, Min Layer 등), 양안 렌더링 된 좌우 스테레오 이미지를 입체 영상 형태(예: side-by-side, up-down, line-by-line)로 정합하는 3D Mux노드, 양안 렌더링시 생성되는 홀을 채우는 hole filling(interpolation, automatic hole filling) 노드 등을 포함한다. 전술한 노드에 정의된 작업 시퀀스를 간략하게 정리하면 아래와 같다.
소스 노드: 소스 이미지 시퀀스를 불러오는 노드
뷰어 노드: 노드와 연결된 결과를 보는 노드
로토 노드: rotoscoping 작업을 할 수 있는 노드
로토_호출 노드: 이미 rotoscoping 된 결과를 로드할 수 있는 노드
(rotoscoping: 배경과 객체를 분리하는 작업)
깊이 값 편집 노드: 개별 rotoscopoing 작업 후 생긴 객체 별 레이어에 깊이 지도 편집할 수 있는 노드(객체 별 레이어에 다수 깊이 지도 편집을 적용할 수 있음)
DIBR 노드: 소스 이미지 시퀀스와 깊이 값 편집 노드의 결과를 받아 양안의 스테레오 이미지로 렌더링하는 노드(좌우 양안 렌더링된 결과와 좌우 양안에 해당되는 깊이 지도를 출력함)
3DMux 노드: 좌우 양안의 결과를 Side-by-side, up and down 형태로 Muxing해주는 노드
Auto 노드: 소스 이미지 시퀀스를 입력으로 받아 깊이 지도를 자동으로 생성해주는 노드
도 4b에는 노드연결 작업 영역(21)에서 소스 노드와 뷰어 노드 사이에 연결 관계가 정의된 작업 파이프라인의 결과가 도시된다. 즉, 소스 노드에서 작업 대상이 되는 2D 영상 시퀀스가 호출되고, 소스 노드의 동작 결과를 확인하기 위해 뷰어 노드를 소스 노드와 연결하면 도 4b와 같이 호출된 2D 이미지 시퀀스가 디스플레이 상에 출력된다.
도 4c에는 노드연결 작업 영역(21)에서 소스 노드, 로토 노드 및 뷰어 노드 사이에 연결 관계가 정의된 작업 파이프라인의 결과가 도시된다. 즉, 소스 노드에서 작업 대상이 되는 2D 영상 시퀀스가 호출되고, 로토 노드에서 제공되는 rotoscoping 기능에 의해 객체는 배경에서 자동으로 분리된다. 전술한 바와 같이 분리된 객체 영역과, 배경 영역은 복수의 레이어(layer)로 구성되고 각 레이어에 대한 정보는 레이어 뷰어(25)에 표시된다. 작업자가 로토 노드를 선택하면 각 레이어를 편집할 수 있는 사용자 인터페이스가 제공되고, 이 때 작업자는 레이어 별로 X-spline, 바이저 곡선(beizer curve)을 이용하여 편집할 수 있다.
이 때, 2D 동영상 시퀀스를 구성하는 객체별 혹은 배경을 분리할 수 있는 커브기반의 사용자 인터페이스가 제공되고, 분리된 객체들을 동시 혹은 개별로 추적할 수 있는 기능을 포함하고 추적 결과를 수정할 수 있는 사용자 인터페이스가 제공된다. 상기 2D 동영상 시퀀스에 대하여 객체별 혹은 배경 분리한 객체별 마스크와 레이어가 생성된다.
또한, 영상 시퀀스 별로 객체 영역에 해당하는 레이어가 이동 및 변화하는 것을 자동으로 추적할 수 있음은 앞서 살펴본 바와 같다. 여기서, 객체 영역에 해당하는 레이어에 대한 추적은 해당 장면을 구성하는 모든 영상 프레임에서 수행될 수 있으며, 추적 결과 이동 또는 변화가 있는 객체 영역이 어느 하나라도 있는 경우, 해당 객체 영역을 포함하는 영상 프레임은 키 프레임으로 설정된다. 설정된 키 프레임은 타임라인 뷰어(23)에 표시될 수 있으며, 키 프레임과 키 프레임 사이에 있는 영상 프레임은 인터폴레이션(interpolation) 기능을 통해 보간될 수 있다.
노드연결 작업 영역(21)에서 제공하는 깊이 값 편집 노드는 분리된 객체 레이어마다 깊이 값을 편집할 수 있는 수단을 제공한다. 작업자는 깊이 값 편집 노드를 선택하여 객체 레이어 별로 깊이 값을 편집할 수 있다. 이 때, Linear, Cylinder, Radial, Constant 형태와 같은 깊이 값 편집 템플릿이 제공되며, 작업자는 특정 객체 레이어에서 전술한 4가지 형태 중 어느 하나를 선택하여 용이하게 깊이 값을 편집할 수 있다. 도 4d 내지 도 4f에는 Linear, Cylinder, Radial 깊이 값 편집 템플릿이 적용된 결과가 차례대로 도시된다.
Linear 깊이 값 편집 템플릿은 시점과 종점 사이에 깊이 값을 연속적으로 변화(Gradation)시킨다. 작업자는 결과 뷰어(22)에 출력된 객체 이미지에서 시점과 종점을 마우스나 키보드와 같은 입력 장치로 지정할 수 있으며, Linear 깊이 값 편집 템플릿을 적용하여 객체 레이어에 깊이 값을 편집한 결과는 도 4d에 도시된 바와 같다.
Cylinder 깊이 값 편집 템플릿을 적용하여 객체 레이어에 깊이 값을 편집한 결과는 도 4e에 도시된 바와 같다. 작업자는 결과 뷰어(22)에 출력된 객체 이미지에서 원기둥 형상의 시점과 종점을 마우스나 키보드와 같은 입력 장치로 지정할 수 있다.
Radial 깊이 값 편집 템플릿을 적용하여 객체 레이어에 깊이 값을 편집한 결과는 도 4f에 도시된 바와 같다. 작업자는 결과 뷰어(22)에 출력된 객체 이미지에서 원 형상의 중심과 최 외곽 2개의 점을 마우스나 키보드와 같은 입력 장치로 지정할 수 있다.
앞에서, 깊이 값 편집 노드에서 제공하는 사용자 인터페이스를 이용하여 객체 레이어에 깊이 값이 편집되는 과정을 구체적으로 살펴보았다. 전술한 바와 같이, 작업자는 깊이 값 편집 노드에서 제공하는 깊이 값 편집 템플릿 중 어느 하나를 지정하여 객체 레이어의 깊이 값을 편집할 수 있지만, 다른 한편으로 1개의 객체 레이어에는 1개 이상의 깊이 값 편집 템플릿이 지정될 수 있다.
한편, 깊이 값 편집 노드는 작업자가 각각의 객체 레이어, 혹은 배경 레이어에 깊이 값을 편집할 수 있는 수단(예컨대, 사용자 인터페이스)을 제공하지만, Auto 노드는 2D 동영상을 소스 이미지 시퀀스로 입력 받아, 깊이 지도를 자동으로 생성한다. 도 4i에는 Auto 노드를 이용하여 자동으로 깊이 지도가 생성된 결과가 도시된다. 본 발명의 실시예에 따른 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법에서 깊이 지도는 깊이 값 편집 노드를 통해 수동으로 생성될 수 있고, Auto 노드를 이용하여 자동으로 생성될 수 있다. 또한, 깊이 값 편집 노드에서 생성된 깊이 지도와 Auto 노드에서 생성된 깊이 지도가 합성된 결과를 이용할 수도 있다. 이와 같이, 최종 깊이 지도 제작에 있어서, 자동화 비율을 작업자가 임의로 조정할 수 있게 하는 것이 본 발명의 특징 중에 하나이다.
도 4g 및 도 4h에는 노드연결 작업 영역(21)에서 소스 노드, 로토 노드, 깊이 값 편집 노드, DIBR 노드, 3DMux 노드 및 뷰어 노드 사이에 연결 관계가 정의된 작업 파이프라인의 결과가 도시된다.
. 즉, 소스 노드에서 작업 대상이 되는 2D 영상 시퀀스가 호출되고, 로토 노드에서 제공되는 rotoscoping 기능에 의해 객체는 배경에서 자동으로 분리된다. 전술한 바와 같이 분리된 객체 영역과, 배경 영역은 복수의 레이어(layer)로 구성되고 각 레이어에 대한 정보는 레이어 뷰어(25)에 표시된다.
DIBR 노드는 소스 노드에서 호출된 2D 영상 시퀀스와, 깊이 값 편집 노드에서 생성된 해당 2D 영상 시퀀스의 깊이 지도를 입력으로 하여, 좌우 양안의 스테레오 영상 시퀀스(Image Left, Image Right)를 렌더링한다. 또한, 좌우 양안의 스테레오 영상 시퀀스에 해당하는 깊이 지도(Depth Left, Depth Right)을 함께 출력할 수 있다.
3DMux 노드는 좌우 양안의 스테레오 영상 시퀀스를 정합하여 3D 동영상을 출력한다. 여기서, 3D 동영상은 입체 디바이스, 즉 입체 3D TV, 3D 모니터 등에 바로 출력함으로써, 작업자가 3D 변환 결과를 확인하고 깊이 값을 즉시 수정할 수 있는 편의를 제공한다. 한편, 좌우 양안의 스테레오 영상 시퀀스를 렌더링할 시, 렌더링 결과에 홀이 발생할 수 있다. 본 발명의 실시예는 주변 픽셀의 정보를 이용하여 자동, 혹은 수동으로 홀을 채우는 기능(Hole filling, interpolation, automatic hole filling)을 제공할 수 있다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (17)

  1. 컴퓨터로 구현 가능한, 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법에 있어서,
    그래픽 사용자 인터페이스(Graphic User Interface, GUI)로 제공되는 노드연결 작업 영역에 3D 입체 동영상 제작에 필요한 각각의 작업 시퀀스가 정의된 노드(node)들을 생성하는 단계;
    생성된 노드들 사이의 연결 관계를 정의한 작업 파이프라인을 생성하는 단계;
    상기 작업 파이프라인의 임의의 노드에서 사용될 사용자 정의 데이터를 작업할 사용자 인터페이스를 제공하고, 상기 사용자 인터페이스를 통해 입력된 사용자 입력에 기초하여 사용자 정의 데이터를 생성하는 단계;
    상기 작업 파이프라인과, 상기 사용자 정의 데이터를 이용하여 입력된 2D 동영상에서 3D 입체 동영상을 출력하는 단계
    를 포함하는 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법.
  2. 제1 항에 있어서,
    상기 작업 파이프라인의 임의의 노드에서 처리된 결과를 실시간으로 표시하는 단계
    를 더 포함하는 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법.
  3. 컴퓨터로 구현 가능한, 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법에 있어서,
    장면 별 노드 기반 작업 파이프라인 생성을 위한 제2 사용자 인터페이스를 제공하는 단계; -여기서, 상기 제2 사용자 인터페이스는 노드를 생성하고, 노드와 노드를 연결할 수 있는 작업공간과, 노드들 사이의 연결도(diagram)를 표시
    상기 제2 사용자 인터페이스에서 작업 대상이 되는 2D 동영상 시퀀스를 호출하여 입력 값으로 정의하는 제1 노드를 생성하는 단계;
    상기 2D 동영상 시퀀스에 대하여 객체 혹은 배경을 분리(segmentation)하는 제 2노드를 생성하는 단계;
    상기 분리된 객체 혹은 배경에 대하여 깊이 지도을 정의하는 제3 노드를 생성하는 단계;
    상기 2D 동영상 시퀀스와 상기 깊이 지도를 입력으로 하여 좌우 양안의 스테레오 영상 시퀀스(Image Left, Image Right)를 렌더링하는 제4 노드를 생성하는 단계; 및
    상기 제1 노드, 상기 제2 노드, 상기 제3 노드, 및 상기 제4 노드 사이의 연결 관계를 정의한 작업 파이프라인을 생성하는 단계
    를 포함하는 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법.
  4. 제3항에 있어서, 상기 제2 노드를 생성하는 단계는,
    상기 2D 동영상 시퀀스를 구성하는 객체들을 분리하는 커브 기반의 사용자 인터페이스를 제공하는 단계;
    분리된 객체들을 동시에 혹은 따로 추적하는 단계; 및
    추적 결과를 수정할 수 있는 사용자 인터페이스를 제공하는 단계를 포함하는 것
    인 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법.
  5. 제3항에 있어서, 상기 제3 노드를 생성하는 단계는,
    상기 2D 동영상 시퀀스를 구성하는 객체들에 대한 깊이 값 편집 템플릿을 선택할 수 있는 사용자 인터페이스를 제공하는 단계와,
    작업자에 의해 선택된 깊이 값 편집 템플릿을 적용하여 깊이 지도를 생성하는 단계를 포함하는 것
    인 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법.
  6. 제5항에 있어서, 상기 깊이 지도를 생성하는 단계는,
    객체 별로 적어도 하나 이상의 상기 깊이 값 편집 템플릿을 적용하는 단계를 포함하는 것
    인 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법.
  7. 제3항에 있어서, 상기 작업 파이프라인을 생성하는 단계는,
    상기 제1 노드, 상기 제2 노드, 상기 제3 노드, 및 상기 제4 노드 사이의 작업 순서를 연결도(diagram)으로 정의하는 단계를 포함하는 것
    인 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법.
  8. 제3항에 있어서, 상기 작업 파이프라인을 생성하는 단계는,
    상기 제1 노드, 상기 제2 노드, 상기 제3 노드, 및 상기 제4 노드 사이의 입력, 출력 관계를 정의하는 단계를 포함하는 것
    인 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작 방법.
  9. 적어도 하나 이상의 프로세서와, 상기 프로세서에 의해 실행되는 코드가 저장된 비휘발성 메모리를 포함하는 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작을 위한 장치에 있어서,
    상기 프로세서는 입체 영상 제작 관리를 위한 제1 사용자 인터페이스와, 장면 별 노드 기반 작업 파이프라인 생성을 위한 제2 사용자 인터페이스를 제공하도록 구현되는 것이되,
    상기 제2 사용자 인터페이스는 3D 입체 동영상 제작에 필요한 각각의 작업 시퀀스가 정의된 노드를 생성하고, 노드와 노드를 연결하고, 노드들 사이의 연결도(diagram)를 표시하는 노드연결 작업 영역을 포함하는 것
    인 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작을 위한 장치.
  10. 제9항에 있어서,
    상기 프로세서는 상기 노드연결 작업 영역에 3D 입체 동영상 제작에 필요한 각각의 작업 시퀀스가 정의된 노드(node)들을 생성하고,
    생성된 노드들 사이의 연결 관계를 정의한 작업 파이프라인을 생성하고,
    상기 작업 파이프라인의 임의의 노드에서 사용될 사용자 정의 데이터를 작업할 사용자 인터페이스를 제공하고, 상기 사용자 인터페이스를 통해 입력된 사용자 입력에 기초하여 사용자 정의 데이터를 생성하고,
    상기 작업 파이프라인과, 상기 사용자 정의 데이터를 이용하여 입력된 2D 동영상에서 3D 입체 동영상을 출력하는 것
    인 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작을 위한 장치.

  11. 제9항에 있어서,
    상기 프로세서는 상기 노드연결 작업 영역에 작업 대상이 되는 2D 동영상 시퀀스를 호출하여 입력 값으로 정의하는 제1 노드를 생성하고,
    상기 2D 동영상 시퀀스에 대한 객체별 혹은 배경을 분리할 수 있는 제2노드를 생성하고,
    상기 2D동영상 시퀀스에 대하여 객체별 혹은 배경의 깊이 지도를 정의하는 제3 노드를 생성하고,
    상기 2D 동영상 시퀀스와 상기 깊이 지도를 입력으로 하여 좌우 양안의 스테레오 영상 시퀀스(Image Left, Image Right)를 렌더링하는 제4 노드를 생성하고,
    상기 제1 노드, 상기 제2 노드, 상기 제3 노드, 및 상기 제4 노드 사이의 연결 관계를 정의한 작업 파이프라인을 생성하는 것
    인 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작을 위한 장치.
  12. 제11항에 있어서,
    상기 프로세서는 상기 2D 동영상 시퀀스를 구성하는 객체별 혹은 배경을 분리할 수 있는 커브기반의 사용자 인터페이스를 제공하고 분리된 객체들을 동시 혹은 개별로 추적할 수 있는 기능을 포함하고 추적 결과를 수정할 수 있는 사용자 인터페이스를 제공하여 상기 2D 동영상 시퀀스에 대하여 객체별 혹은 배경 분리한 객체별 마스크와 레이어를 생성하는 것
    인 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작을 위한 장치.
  13. 제11항에 있어서,
    상기 프로세서는 상기 2D 동영상 시퀀스를 구성하는 객체들에 대한 깊이 값 편집 템플릿을 선택할 수 있는 사용자 인터페이스를 제공하고, 작업자에 의해 선택된 깊이 값 편집 템플릿을 적용하여 상기 2D 동영상 시퀀스에 대한 깊이 지도를 생성하는 것
    인 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작을 위한 장치.
  14. 제11항에 있어서,
    상기 프로세서는 상기 제1 노드, 상기 제2 노드, 상기 제3 노드, 및 상기 제4 노드 사이의 작업 순서 및 입력, 출력 관계를 연결도(diagram)으로 정의하는 것
    인 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작을 위한 장치.
  15. 제9항에 있어서,
    상기 제1 사용자 인터페이스는 상기 2D 동영상 시퀀스를 자동으로 장면 별로 분류하여 표시한 리스트 뷰어를 포함하는 것
    인 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작을 위한 장치.
  16. 제9항에 있어서,
    상기 제1 사용자 인터페이스는 작업자가 수동으로 프레임 별 뎁스 스크립트(Depth Script)를 작성할 수 있는 수단을 제공하는 프레임 별 뎁스 스크립트 편집 툴 및 작업자가 수동으로 장면 별 뎁스 스크립트를 작성할 수 있는 수단을 제공하는 컷 별 뎁스 스크립트 편집 툴을 포함하는 것
    인 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작을 위한 장치.
  17. 제16항에 있어서,
    상기 프레임 별 뎁스 스크립트 편집 툴 또는 상기 컷 별 뎁스 스크립트 편집 툴에서 작성된 뎁스 스크립트는 상기 제2 사용자 인터페이스에서 생성된 임의의 노드에서 자동으로 호출되는 것
    인 2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작을 위한 장치.
KR1020140010558A 2014-01-28 2014-01-28 2ｄ 동영상으로부터 새로운 3ｄ 입체 동영상 제작을 위한 장치 및 방법 KR102082132B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140010558A KR102082132B1 (ko) 2014-01-28 2014-01-28 2ｄ 동영상으로부터 새로운 3ｄ 입체 동영상 제작을 위한 장치 및 방법
US14/600,126 US9720563B2 (en) 2014-01-28 2015-01-20 Apparatus for representing 3D video from 2D video and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140010558A KR102082132B1 (ko) 2014-01-28 2014-01-28 2ｄ 동영상으로부터 새로운 3ｄ 입체 동영상 제작을 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150090364A true KR20150090364A (ko) 2015-08-06
KR102082132B1 KR102082132B1 (ko) 2020-02-28

Family

ID=53679050

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140010558A KR102082132B1 (ko) 2014-01-28 2014-01-28 2ｄ 동영상으로부터 새로운 3ｄ 입체 동영상 제작을 위한 장치 및 방법

Country Status (2)

Country Link
US (1) US9720563B2 (ko)
KR (1) KR102082132B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220150410A (ko) * 2019-04-01 2022-11-10 구글 엘엘씨 동적 깊이 이미지를 캡처 및 편집하는 기술
US11778007B2 (en) 2018-08-14 2023-10-03 Kt Corporation Server, method and user device for providing virtual reality content

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102286572B1 (ko) * 2015-03-04 2021-08-06 한국전자통신연구원 2ｄ 동영상으로부터 새로운 3ｄ 입체 동영상 제작을 위한 장치 및 방법
US11979244B2 (en) * 2021-09-30 2024-05-07 Snap Inc. Configuring 360-degree video within a virtual conferencing system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6573907B1 (en) * 1997-07-03 2003-06-03 Obvious Technology Network distribution and management of interactive video and multi-media containers
JP2003528360A (ja) * 1999-02-03 2003-09-24 アイサーフティーヴィー 一般的三次元グラフィックスパイプラインを使用する低廉なデジタル・イメージ／ビデオの編集のための方法及び装置
KR100772319B1 (ko) * 2006-11-03 2007-10-31 포항공과대학교 산학협력단 메시지 전달 기반 스테레오 영상 정합 시스템
US20130266292A1 (en) * 2012-02-06 2013-10-10 LEGEND3D. Inc. Multi-stage production pipeline system
KR20130131480A (ko) * 2011-03-14 2013-12-03 퀄컴 인코포레이티드 셰이더 기반 그래픽 콘텐츠를 위한 입체 변환

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6968511B1 (en) * 2002-03-07 2005-11-22 Microsoft Corporation Graphical user interface, data structure and associated method for cluster-based document management
US7990374B2 (en) * 2004-06-29 2011-08-02 Sensable Technologies, Inc. Apparatus and methods for haptic rendering using data in a graphics pipeline
US20100104258A1 (en) * 2008-10-28 2010-04-29 International Business Machines Corporation User-specified event-based remote triggering of a consumer digital video recording device
KR101271460B1 (ko) 2009-12-02 2013-06-05 한국전자통신연구원 영상 복원 장치 및 그 방법
KR101356544B1 (ko) 2012-03-29 2014-02-19 한국과학기술원 3차원 입체영상 생성 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6573907B1 (en) * 1997-07-03 2003-06-03 Obvious Technology Network distribution and management of interactive video and multi-media containers
JP2003528360A (ja) * 1999-02-03 2003-09-24 アイサーフティーヴィー 一般的三次元グラフィックスパイプラインを使用する低廉なデジタル・イメージ／ビデオの編集のための方法及び装置
KR100772319B1 (ko) * 2006-11-03 2007-10-31 포항공과대학교 산학협력단 메시지 전달 기반 스테레오 영상 정합 시스템
KR20130131480A (ko) * 2011-03-14 2013-12-03 퀄컴 인코포레이티드 셰이더 기반 그래픽 콘텐츠를 위한 입체 변환
US20130266292A1 (en) * 2012-02-06 2013-10-10 LEGEND3D. Inc. Multi-stage production pipeline system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11778007B2 (en) 2018-08-14 2023-10-03 Kt Corporation Server, method and user device for providing virtual reality content
KR20220150410A (ko) * 2019-04-01 2022-11-10 구글 엘엘씨 동적 깊이 이미지를 캡처 및 편집하는 기술
US11949848B2 (en) 2019-04-01 2024-04-02 Google Llc Techniques to capture and edit dynamic depth images

Also Published As

Publication number Publication date
KR102082132B1 (ko) 2020-02-28
US9720563B2 (en) 2017-08-01
US20150212687A1 (en) 2015-07-30

Similar Documents

Publication Publication Date Title
US9595296B2 (en) Multi-stage production pipeline system
US20110157155A1 (en) Layer management system for choreographing stereoscopic depth
JP2019525515A (ja) マルチビューシーンのセグメンテーションおよび伝播
US9305398B2 (en) Methods for creating and displaying two and three dimensional images on a digital canvas
AU2013216732B2 (en) Motion picture project management system
US10271038B2 (en) Camera with plenoptic lens
CA2669016A1 (en) System and method for compositing 3d images
US20130257851A1 (en) Pipeline web-based process for 3d animation
US20170125055A1 (en) Method and Apparatus for Generating Encoded Content Using Dynamically Optimized Conversion for 3D Movies
KR20150090364A (ko) 2ｄ 동영상으로부터 새로운 3ｄ 입체 동영상 제작을 위한 장치 및 방법
US10834374B2 (en) Method, apparatus, and device for synthesizing virtual viewpoint images
KR20200084265A (ko) 타임 슬라이스 영상을 편집하는 장치, 방법 및 컴퓨터 프로그램
US20150009227A1 (en) Color grading preview method and apparatus
US9894346B2 (en) Apparatus and method for producing new 3D stereoscopic video from 2D video
KR20170001839A (ko) 360°실사 vr콘텐츠 제작공정에서 프로젝션 맵핑을 활용한 vfx 후반작업 적용 방법
US8855472B2 (en) Video editing apparatus, video editing method, program, and integrated circuit
KR101577671B1 (ko) 동적 시네마의 제작 및 실행 방법
US20140210943A1 (en) Apparatus and method for creating three-dimensional video
KR101801898B1 (ko) 다시점 영상 기반의 단일 영상 처리 방법 및 장치
KR101130044B1 (ko) 입체 프리젠테이션 영상 제작 프로그램이 저장된 컴퓨터로 읽을 수 있는 매체, 그 프로그램이 저장된 서버 시스템 및 무 안경 방식의 다 시점 입체영상 출력 엔진용 입체 프리젠테이션 영상 제작방법
Mayhew et al. Critical alignment methods for stereoscopic production and post-production image registration
KR20140080716A (ko) 입체 영상 생성 방법
Vázquez et al. A non-conventional approach to the conversion of 2D video and film content to stereoscopic 3D
KR20130117504A (ko) 무안경 입체 콘텐츠 제작 방법
KR20170131077A (ko) 파노라믹 영상 내 객체 편집 장치 및 그 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20140128

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180411

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20140128

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190619

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20191127

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200221

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200224

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20231203