KR20110070678A - 2ｄ 동영상으로부터 새로운 3ｄ 입체 동영상 제작을 위한 장치 및 방법 - Google Patents

2ｄ 동영상으로부터 새로운 3ｄ 입체 동영상 제작을 위한 장치 및 방법 Download PDF

Info

Publication number
KR20110070678A
KR20110070678A KR1020100028570A KR20100028570A KR20110070678A KR 20110070678 A KR20110070678 A KR 20110070678A KR 1020100028570 A KR1020100028570 A KR 1020100028570A KR 20100028570 A KR20100028570 A KR 20100028570A KR 20110070678 A KR20110070678 A KR 20110070678A
Authority
KR
South Korea
Prior art keywords
frame
image
unit
matting
depth value
Prior art date
Application number
KR1020100028570A
Other languages
English (en)
Inventor
김재환
김재헌
김진호
정일권
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US12/970,089 priority Critical patent/US20110149039A1/en
Publication of KR20110070678A publication Critical patent/KR20110070678A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 이미 존재하는 하나 혹은 둘 이상의 주어진 2D 동영상 프레임으로 부터 사용자가 새로운 3D 입체 장면의 재연출하기 위한 장치 및 그 방법에 관한 것이다. 많은 수작업을 요구하는 영상후 처리작업을 자동화할 수 있는 장치 및 방법을 제공함으로써, 기존의 2D 영상으로부터 새로운 3D 입체 동영상을 제작 및 편집할 수 있다.

Description

2Ｄ 동영상으로부터 새로운 3Ｄ 입체 동영상 제작을 위한 장치 및 방법{Device and Method for new 3D Video Representation from 2D Video}
본 발명은 2D 동영상으로부터 새로운 3D 입체 동영상 제작을 위한 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 자동추적 매팅, 깊이값 생성 및 저장된 3D 영상을 이용하여 새로운 입체 동영상을 제작 및 편집할 수 있는 2D 동영상으로부터 새로운 3D 입체 동영상 제작을 위한 장치 및 그 방법에 관한 것이다.
본 발명은 지식경제부 및 문화체육관광부 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2007-S-051-03, 과제명: 디지털 크리쳐 제작 S/W 개발].
영상 특수효과 등과 같은 CGI(computer-generated imagery)를 생성하기 위해서는 영상 내의 특정객체를 추적하여, 추적된 객체에 특정 매트(matte) 혹은 필터를 적용한다. 이와 같은 특정객체를 추적하는 과정은 수작업으로 이루어지고 있는 것이 일반적이다. 또한, 추적된 객체를 매팅하는 장치는 스틸 이미지에 대해서만 적용 가능하거나, 이미지 시퀀스에서 일괄적인 색보정을 통해 이루어져 많은 노이즈가 생기고, 특정 객체에 대한 부분적인 작업이 어려운 단점이 있다.
최근 컴퓨터 비전기술을 기반으로 2D 영상에 대한 3D 입체 영상복원 연구가 많이 진행되고 있으나, 주어진 영상 시퀀스에서의 객체 복원이며, 그 대상이 정적인 객체로 제한되고 입체복원 및 가시화를 위해서는 많은 수작업을 필요로 한다.
따라서, 본 발명의 목적은 본 발명은 기존의 2D 동영상을 이용하여 새로운 3D 입체동영상을 제작 및 편집하기 위한 것으로서, 키프레임을 기반으로 각 프레임의 특정영역을 자동으로 추적하고, 추적된 특정영역과 트라이맵을 이용하여 매팅하는 장치 및 그 방법을 제공함에 있다. 또한, 각 프레임의 깊이값을 자동으로 생성하는 장치 및 그 방법을 제공한다. 그리고, 저장된 3D 영상을 이용하여 새로운 입체 동영상을 제작 및 편집할 수 있는 장치 및 그 방법을 제공한다.
상기의 목적을 달성하기 위한 자동추적 매팅장치는 2D 영상의 프레임, 키프레임 및 트라이맵을 수신하는 입력부; 상기 키프레임을 기반으로 상기 각 프레임별로 특정영역을 추적하는 추적부; 및 상기 각 프레임별로 추적된 특정영역과 상기 트라이맵을 이용하여 상기 각 프레임을 매팅하는 매팅부; 를 포함한다.
바람직하게는, 상기 각 프레임의 매팅결과를 나타내는 표시부를 더 포함한다.
한편, 본 발명에 따른 새로운 3D 입체동영상 제작 장치는, 2D 영상 프레임을 수신하는 수신부; 상기 프레임에서 키프레임을 생성하는 키프레임 생성부; 및 상기 키프레임으로부터 3D 영상을 생성하는 3D 영상생성부; 를 포함하며, 상기 키프레임 생성부는, 상기 프레임의 색상값 채널 및 알파값 채널에 깊이값 채널을 부가하여 픽셀을 정의하는 픽셀 정의부; 상기 픽셀 정의부에 3차원 좌표값을 나타내는 카메라 참조채널을 부가하여 계층정보를 정의하는 계층정보 정의부; 및 상기 계층정보 정의부에 상기 2D 영상 중에서 추적의 대상이 되는 객체를 부가하여 키프레임을 정의하는 키프레임 정의부; 를 포함한다.
바람직하게는, 상기 키프레임은, 상기 프레임의 깊이값을 계산하기 위한 회귀함수; 및 상기 회귀함수의 적용 범위를 나타내는 프레임 범위; 를 더 포함하도록 정의되는 것을 특징으로 한다.
또한, 상기 3D 영상생성부는 제1항 또는 제2항의 자동추적 매팅장치인 것을 특징으로 한다.
또한, 상기 3D 영상생성부는, 상기 프레임이 상기 키프레임의 범위에 속하는지 판단하는 제어부; 및 상기 프레임의 속도 및 좌표값을 상기 키프레임의 회귀함수에 입력하여 깊이값을 추출하는 함수부; 를 포함하는 깊이값 생성장치인 것을 특징으로 한다.
또한, 상기 깊이값 생성장치는, 컬러 기반의 군집된 영역을 중심으로 불규칙한 메쉬맵을 생성하는 메쉬맵 생성부를 더 포함하고, 상기 수신부는 상기 메쉬맵을 이용하여 사용자가 설정한 지역적 깊이값을 더 수신하는 것을 특징으로 한다.
또한, 3D 영상을 완성(image completion)하는 저작도구부를 더 포함한다.
또한, 상기 3D 영상을 저장하는 저장부를 더 포함한다.
또한, 상기 저장부에 저장된 3D 영상을 이용하여 새로운 입체 동영상을 만드는 3D 입체동영상 생성부를 더 포함한다.
한편, 본 발명에 따른 자동추적 매팅방법은, 2D 영상의 프레임, 키프레임 및 트라이맵을 수신하는 단계; 상기 키프레임을 기반으로 상기 각 프레임별로 특정영역을 추적하는 단계; 및 상기 각 프레임별로 추적된 특정영역과 상기 트라이맵을 이용하여 상기 각 프레임을 매팅하는 단계; 를 포함한다.
바람직하게는, 상기 각 프레임의 매팅결과를 나타내는 단계; 및 수정된 알파맵을 수신하였는지 판단하는 단계; 를 더 포함한다.
한편, 본 발명에 따른 새로운 3D 입체동영상 제작 방법은, (a) 2D 영상 프레임을 수신하는 단계, (b) 상기 프레임에서 키프레임을 생성하는 단계; 및 (c) 상기 키프레임으로부터 3D 영상을 생성하는 단계; 를 포함하며, 상기 (b)는, (b-1) 상기 2D 영상의 색상값 채널 및 알파값 채널에 깊이값 채널을 부가하여 픽셀을 정의하는 단계; (b-2) 상기 픽셀에 3차원 좌표값을 나타내는 카메라 참조채널을 부가하여 계층정보를 정의하는 단계; 및 (b-3) 상기 계층정보에 추적의 대상이 되는 객체를 부가하여 키프레임을 정의하는 단계를 포함한다.
바람직하게는, 상기 (b)는, 상기 픽셀의 깊이값을 계산하기 위한 회귀함수를 정의하는 단계; 및 상기 회귀함수의 적용 대상이 되는 프레임의 범위를 정의하는 단계를 더 포함한다.
또한, 상기 (c)는 제11항 또는 12항의 자동추적 매팅방법인 것을 특징으로 한다.
또한, 상기 (c)는, 2D 영상의 키프레임 및 프레임을 수신하는 단계; 상기 프레임이 상기 키프레임의 범위에 속하는지 판단하는 단계; 상기 프레임으로부터 속도 및 좌표 값을 추출하는 단계; 상기 키프레임의 회귀함수에 상기 속도 및 좌표 값을 입력하여 깊이값을 추출하는 단계; 상기 깊이값을 상기 프레임에 지정하는 단계; 를 포함하는 것을 특징으로 한다.
또한, 상기 2D 영상에서 군집된 영역에 대한 불규칙한 메쉬맵을 생성하는 단계; 및 상기 메쉬맵을 이용하여 사용자가 설정한 지역적 깊이 값을 수신하여 저장하는 단계를 더 포함한다.
또한, 3D 영상완성(image completion) 단계를 더 포함한다.
또한, 상기 3D 영상을 저장하는 단계를 더 포함한다.
또한, 상기 저장된 3D 영상을 이용하여 새로운 입체 동영상을 만드는 단계를 더 포함한다.
본 발명에 따르면, 영상 내의 객체를 자동추적하여 분리하고, 깊이값을 자동으로 생성하여 저장함으로써, 2D 동영상으로부터 사용자가 원하는 새로운 3D 입체 동영상을 편집 및 제작할 수 있다.
도 1은 2D 영상으로부터 새로운 3D 입체동영상을 제작하기 위한 장치에 관한 전체적인 구성도이다.
도 2는 새로운 3D 입체동영상 제작을 위한 키프레임 생성을 나타내는 구성도이다.
도 3은 2D 영상으로부터 3D 영상을 생성하기 위한 자동추적 매팅장치를 나타내는 구성도이다.
도 4는 2D 영상으로부터 3D 영상을 생성하기 위한 깊이값 생성장치를 나타내는 구성도이다.
도 5는 2D 영상으로부터 새로운 3D 입체동영상 제작방법에 관한 블럭도이다.
도 6은 2D 영상으로부터 3D 영상을 생성하기 위한 자동추적 매팅방법에 관한 블럭도이다.
도 7은 2D 영상으로부터 3D 영상을 생성하기 위한 깊이값 생성방법에 관한 블럭도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
도 1은 2D 영상으로부터 새로운 3D 입체동영상을 제작하기 위한 장치에 관한 전체적인 구성도, 도 2는 새로운 3D 입체동영상 제작을 위한 키프레임 생성을 나타내는 구성도, 도 3은 2D 영상으로부터 3D 영상을 생성하기 위한 자동추적 매팅장치를 나타내는 구성도, 도 4는 2D 영상으로부터 3D 영상을 생성하기 위한 깊이값 생성장치를 나타내는 구성도이다. 도 5는 2D 영상으로부터 새로운 3D 입체동영상 제작방법에 관한 블럭도, 도 6은 2D 영상으로부터 3D 영상을 생성하기 위한 자동추적 매팅방법에 관한 블럭도, 도 7은 2D 영상으로부터 3D 영상을 생성하기 위한 깊이값 생성방법에 관한 블럭도이다.
본 발명은, 하나 혹은 둘 이상의 2D 동영상으로부터 새로운 3D 입체 영상제작을 위해 2D 영상 프레임으로부터 키프레임 생성, 추적(tracking)을 통한 자동 로토스코핑(auto-rotoscoping)과 추적된 객체에 대한 매팅(matting), 객체에 대한 깊이값(depth value) 생성, 객체의 홀(hole) 또는 교합(occlusion) 부분 채우기(image completion) 기술 및 분리된 객체를 저장하고 추출할 수 있는 데이터베이스를 필요로 한다.
도 1을 참조하면, 본 발명에 따른 2D 동영상으로부터 3D 입체영상을 제작하기 위한 장치는 수신부(100), 키프레임 생성부(200), 3D 영상생성부(300), 저작도구부(400), 저장부(500) 및 3D 입체동영상 생성부(600)를 포함한다.
수신부(100)는 하나 또는 둘 이상의 2D 영상 프레임을 수신한다.
키프레임 생성부(200)는 2D 영상의 프레임으로부터 키프레임을 만든다. 키프레임 생성부(200)에 관한 상세한 설명은 아래에서 후술한다.
3D 영상생성부(300)는 키프레임을 기반으로 3D 입체동영상을 제작 및 편집하기 위한 3D 영상을 만든다. 본 발명에서 3D 영상생성부(300)는 자동추적 매팅장치(310) 및 깊이값 생성장치(320)를 포함할 수 있다. 자동추적 매팅장치(310)와 깊이값 생성장치(320)는 아래에서 후술한다.
저작도구(Authoring tool)부(400)는 사용자가 3D 영상생성부(300)로부터 만들어진 3D 영상을 완성(image completion)할 수 있도록 지원한다. 3D 영상생성부(300)에서 생성된 3D 영상에는 구멍(hole) 이나 교합(occlusion)이 생길 수 있다. 저작도구부(400)는 영상 내에 존재하는 구멍이나 교합 등을 주위의 픽셀값 또는 해당 영상의 전/후 프레임의 정보를 이용하여 자연스럽게 완성할 수 있도록 지원한다.
저장부(500)는 자동추적 매팅장치(310)에 의한 매팅결과와 깊이값 생성장치(320)에 의한 깊이값 및 지역적 깊이값 정보를 포함하는 3D 영상을 데이터베이스에 저장한다. 또한, 저작도구부(400)에서 완성한 3D 영상을 저장하고, 3D 입체동영상 생성부(600)에 상기의 3D 영상을 제공한다.
3D 입체동영상 생성부(600)는 사용자가 3D 입체로 표현하고자 하는 기준에 따라 객체를 재배치하여, 기존의 2D 동영상으로부터 새로운 3D 입체동영상을 제작 및 편집할 수 있도록 한다. 3D 입체를 표현하는 방법에는 인간의 좌/우 눈에 맺히는 상의 차이로 인하여 입체감을 느낀다는 사실을 이용하여 영상을 만드는 스테레오스코픽(stereoscophic) 기반의 방법, 다시점(multi-view)을 위한 이미지 기반의 렌더링(image based rendering) 방법 및 홀로그램이 있을 수 있다.
이와 같이, 본 발명은 기존의 2D 동영상을 이용하여 새로운 3D 입체 동영상을 제작 및 편집할 수 있다. 따라서, 기존 동영상을 재활용하여 새로운 입체 동영상을 제작한다는 점에서 효율적이며, 자동추적 매팅장치(310)나 깊이값 생성장치(320)는 다양한 분야에서 응용될 수 있다.
도 2를 참조하면, 본 발명에 따른 2D 영상 프레임으로부터 키프레임을 만드는 키프레임 생성부(200)는 픽셀 정의부(210), 계층정보 정의부(220) 및 키프레임 정의부(230)를 포함한다. 픽셀 정의부(210)는 R, G, B 색상값 채널(Red color channel, Green color channel, Blue color channel) 및 투명도를 나타내는 알파값 채널(Alpha value channel)에 깊이값 채널(depth value channel)을 부가하여 픽셀을 정의한다. 각 픽셀의 깊이값은 영상내 객체 사이의 3차원 거리 차이를 나타내며, 0부터 255사이의 값으로 표현되고, 거리가 가까울수록 0에 접근한다. 이와 같은 깊이값은 2D 영상과 함께 스테레오뷰(stero views) 및 멀티뷰(multi-view)를 생성하기 위하여 사용된다.
계층정보(Layer) 정의부(220)는 픽셀 정의부(210)에 이미지상에서 프로젝션 행렬(world-to-image projection matrix) 정보를 나타내는 카메라 참조채널(Camera reference channel)을 부가하여 객체를 정의한다. 이미지상의 프로젝션 행렬은 3차원 공간에서 (x, y, z) 좌표를 나타내며, 3D 입체공간에서 객체의 움직임을 반영한다. 이와 같은 카메라 참조채널은 멀티시점(multi-view)의 3D 입체표현을 위해 사용되며, 스테레오스코픽(Stereoscopic) 기반의 입체영상을 표현하기 위해 좌/우안(眼) 쉬프트(shift) 영상생성에 사용된다. 또한, 후술하는 바와 같이 카메라 참조채널로부터 속도값을 추출할 수 있다.
키프레임(Keyframe) 정의부(230)는 계층정보 정의부(220)에 추적의 대상이 되는 객체(Contour), 각 프레임에서 추적의 대상이 되는 객체의 깊이값 계산을 위한 회귀함수(Regression function) 및 회귀함수의 적용범위를 나타내는 프레임 범위(Range)를 부가하여 키프레임을 정의한다. 키프레임에서 정의하는 회귀함수 및 프레임 범위 정보는 아래에서 서술하는 깊이값 생성장치(320)에서 사용된다.
도 3을 참조하면, 본 발명에 따른 자동추적 매팅장치(310)는 입력부(311), 추적부(312), 매팅부(313) 및 표시부(314)를 포함한다.
입력부(311)는 하나 또는 둘 이상의 2D 영상 프레임, 키프레임 및 트라이맵을 수신한다. 트라이맵(trimap)은 전경(前景)과 배경(背景) 및 그 중간 영역을 표시하는 지도를 말한다.
추적부(312)는 키프레임을 기반으로 각 프레임별로 특정영역을 추적한다. 키프레임은 2D 영상 프레임 중에서 사용자가 추적하고자 하는 특정영역을 구체적으로 명시한 프레임을 말한다. 즉, 추적부(312)는 사용자가 구체적으로 명시한 키프레임을 기반으로 키프레임 이외의 나머지 프레임에서 특정영역을 자동으로 추적한다. 자동추적 방법에는 optical flow 방법, 객체 분포의 유사도를 이용하는 커널 기반의 mean-shift 방법 및 객체의 경계선(boundary) 검출을 기반으로 하는 contour 추적방법 등이 있을 수 있다. 또한, 추적부(312)는 깊이값을 충분히 활용하여 교합(occlusion)이 발생한 경우에도 원활하게 추적할 수 있다.
매팅부(313)는 추적부(312)에서 추적된 특정영역과 추적된 특정영역에 대한 트라이맵을 이용하여 매팅(matting)한다. 매팅은 영상내의 전경과 배경이 되는 객체를 정밀하게 분리하여 투명도를 나타내는 알파맵을 추출하는 것을 말한다. 매팅부(313)는 기계학습(machine-learning) 기반의 여러 알고리즘을 이용하여 추적부(312)의 특정영역과 특정영역에 대한 트라이맵으로부터 알파맵을 자동으로 추출할 수 있다.
표시부(314)는 매팅부(313)의 각 프레임별 매팅결과를 표시하여, 사용자가 분리된 전경과 배경에 대한 오차를 검사할 수 있도록 지원한다. 사용자는 오차가 있다고 판단한 경우, 트라이맵을 수정하여 다시 입력한다. 매팅부(313)는 입력부(311)에서 수신한 수정된 트라이맵과 추적부(312)의 특정영역으로부터 알파맵을 다시 추출하고, 표시부(314)는 그 결과를 표시하여 사용자가 오차를 검사할 수 있도록 한다.
도 4를 참조하면, 본 발명에 따른 깊이값 생성장치(320)는 제어부(321), 함수부(322), 메쉬맵 생성부(323)를 포함한다. 깊이값 생성장치(320)는 프레임과 키프레임을 이용하여 깊이값을 생성한다. 상술한 바와 같이 키프레임은 추적의 대상이 되는 객체(Contour), 계층정보(Layer), 회귀함수(Regression function) 및 프레임 범위(Range)에 대한 정보를 포함한다.
제어부(321)는 해당 프레임이 키프레임의 프레임 범위에 속하는지를 판단한다. 예를 들면, 키프레임의 프레임 범위가 10 ~ 20 이고 해당 프레임이 15인 경우, 해당 프레임은 키프레임의 범위에 속한다.
함수부(322)는 해당 프레임이 키프레임의 범위에 속하는 경우, 키프레임의 회귀함수(Regression function)를 이용하여 각 프레임마다 깊이값을 생성한다. 회귀함수는 독립변수(independent variables)와 종속변수(dependent variables) 사이의 관계에 대한 수학적 모델이다. 이와 같은 모델에 의하여 임의의 독립변수가 주어졌을 때, 이에 따른 종속변수를 예측하는 방법이다. 회귀함수는 선형회귀(Linear Regression) 및 비선형회귀(Non-linear regression) 함수일 수 있다. 선형 회귀함수로 예를 들면,
Figure pat00001
와 같이 표현할 수 있다. Y는 종속변수이고, X1 , X2 는 독립변수를 나타낸다. 본 발명에서는 종속변수 Y는 깊이값을 나타내고, 독립변수 X1 , X2 는 프레임내의 객체 위치와 속도를 나타낸다. 즉, 객체의 위치와 속도를 알면 깊이값을 자동으로 계산할 수 있다. 객체의 위치는 계층정보의 카메라 참조채널 정보에서 추출할 수 있다. 속도는 자동추적 매팅방법에 의하여 추적의 대상이 되는 객체를 매팅한 경우, 자동추적을 통해 얻은 속도벡터 값에서 추출할 수 있다. 또한, 속도는 직전 프레임과 현재 프레임간의 위치 변화에 초당 프레임 수를 곱하여 얻을 수 있다. 즉,
Figure pat00002
와 같이 구할 수 있다. (x1, y1, z1)는 직전 프레임에서 객체의 위치를 나타내고, (x2, y2, z2)는 현재 프레임에서 객체의 위치를 나타낸다.
상술한 바와 같은 깊이값(depth)에 더하여 지역적 깊이값(local depth)을 설정할 수 있다. 지역적 깊이값은 영상을 보다 섬세하게 표현하기 위하여 필요한 값이다. 메쉬맵 생성부(323)는 컬러기반으로 군집된 영역에 대하여 불규칙한 메쉬맵(Meshmap)을 생성한다. 이와 같은 메쉬맵을 사용자에게 제공함으로써, 사용자는 군집개수의 지정에 따라 지역적 깊이값을 유연하게 설정할 수 있다.
수신부(100)는 사용자가 메쉬맵을 이용하여 설정한 지역적 깊이값을 수신하고, 저장부(500)는 함수부(322)에서 자동으로 도출된 깊이값과 수신부(100)의 지역적 깊이값을 저장한다.
이와 같이, 깊이값 생성장치(320)는 키프레임을 중심으로 객체의 깊이값을 반자동으로 추출하고, 메쉬맵을 생성하여 사용자에게 제공함으로써 보다 섬세한 표현을 위한 지역적 깊이값을 설정할 수 있다. 따라서, 각 프레임간의 상호관련성을 충분히 반영하여 3D 영상을 생성할 수 있는 효과가 있다.
도 5를 참조하여, 본 발명에 따른 2D 동영상으로부터 3D 입체 영상 제작을 위한 방법을 설명하면, 먼저 수신부는, 2D 영상 프레임을 수신한다(S100).
다음으로 픽셀 정의부(210)는, R, G, B 색상값과 투명도에 관한 알파값을 포함하는 픽셀에 깊이값 채널을 부가한다(S210). 각 픽셀의 깊이값은 영상내 객체 사이의 3차원 거리 차이를 나타내는 것으로 0부터 255사이의 값으로 표현할 수 있고, 거리가 가까울수록 0에 접근한다. 이와 같은 깊이값은 2D 영상과 함께 스테레어뷰(stero views) 및 멀티뷰(multi-view)를 생성하기 위하여 사용한다.
다음으로 계층정보 정의부(S220)는, 깊이값을 포함하는 픽셀에 3차원 좌표값을 나타내는 카메라 참조채널을 부가한다(S220). 카메라 참조채널은 3차원 공간에서 (x, y, z) 좌표를 나타내며, 3D 입체공간에서 객체의 움직임을 반영한다. 이와 같은 카메라 참조채널은 멀티시점의 3D 입체표현과 스테레오스코픽(Stereoscopic) 기반의 입체영상 표현을 위해 사용할 수 있다.
다음으로 키프레임 정의부(230)는, 계층정보에 추적의 대상이 되는 객체(Contour)를 부가하여 키프레임을 정의한다(S231).
다음으로 키프레임 정의부(230)는, 키프레임에 회귀함수(S232)와 프레임의 범위를 부가한다(S233). 키프레임 회귀함수는 각 프레임의 깊이값을 자동으로 생성하기 위한 것이고, 프레임의 범위는 키프레임 회귀함수의 적용대상이 되는 프레임 값을 정의한 것이다.
다음으로 3D 영상생성부(300)는, 상기의 키프레임을 기반으로 3D 영상을 생성한다(S300). 새로운 3D 입체 동영상 제작을 위해 3D 영상이 사용된다. 본 발명에는 3D 영상 생성방법으로 자동추적 매팅방법과 깊이값 생성방법이 있다.
다음으로 저작도구부(400)는, 사용자가 3D 영상생성부(300)로부터 만들어진 3D 영상을 완성할 수 있도록 지원한다(S400). 3D 영상생성부(300)에서 생성된 3D 영상에는 구멍(hole)등이 생길 수 있는데, 이와 같은 구멍 등을 주위의 픽셀값 또는 해당 영상의 전/후 프레임의 정보를 이용하여 완성할 수 있도록 지원한다.
다음으로 저장부(500)는, 자동추적 매팅방법에 의하여 추출된 알파맵과 깊이값 생성방법에 의한 깊이값 및 지역적 깊이값을 저장한다(S500). 또한, 상기에서 완성된 3D 영상을 데이터베이스에 저장한다.
다음으로 3D 입체동영상 생성부(600), 사용자가 3D 입체로 표현하고자 하는 기준에 따라 객체를 재배치하여, 기존의 2D 영상으로부터 새로운 3D 입체동영상을 제작 및 편집한다(S600). 3D 표현 기준에는 인간의 좌/우 눈에 맺히는 상의 차이로 인하여 입체감을 느낀다는 사실을 이용하여 영상을 만드는 스테레오스코픽(stereoscophic), 다시점(multi-view)을 위한 이미지 기반의 렌더링(image based rendering) 및 홀로그램이 있을 수 있다.
도 6을 참조하여, 본 발명에 따른 자동추적 매팅방법을 설명하면, 먼저 수신부(100)는 2D 영상의 프레임, 키프레임 및 트라이맵을 수신한다(S311).
다음으로 자동추적 매팅장치(310)는, 키프레임을 기반으로 각 프레임별로 특정영역을 추적한다(S312). 키프레임은 2D 영상 프레임 중에서 사용자가 추적하고자 하는 특정영역을 구체적으로 명시한 2 이상의 프레임을 말한다. 즉, 사용자가 구체적으로 명시한 키프레임을 기반으로 키프레임 이외의 나머지 프레임에서 특정영역을 자동으로 추적한다.
다음으로 자동추적 매팅장치(310)는, 추적된 특정영역과 특정영역에 대한 트라이맵을 이용하여 전경과 배경이 되는 객체를 정밀하게 분리하여 투명도를 나타내는 알파맵을 추출한다(S313). 즉, 기계학습(machine-learning) 기반의 여러 알고리즘을 이용하여 추적된 특정영역과 특정영역에 대한 트라이맵으로부터 알파맵을 자동으로 추출한다.
다음으로 자동추적 매팅장치(310)는, 프레임별 매팅결과를 표시한다(S314). 사용자는 표시된 매팅결과로서 분리된 전경과 배경에 대한 부분적 오차가 있는지 여부를 검토한다. 사용자는 오차가 있다고 판단한 경우, 특정영역에 대하여 사전에 정의된 트라이맵을 수정하여 다시 입력한다.
다음으로 자동추적 매팅장치(310)는, 수정된 트라이맵을 수신하였는지 판단한다(S315). 수정된 트라이맵이 있는 경우, 수정된 트라이맵과 추적된 특정영역으로부터 새로운 알파맵을 추출하고, 그 결과를 표시한다. 사용자는 새로운 알파맵에 오차가 있는지 여부를 검토한다.
도 7을 참조하여, 본 발명에 따른 깊이값 생성을 위한 방법을 설명하면, 먼저 수신부(100)는 키프레임을 수신한다(S321). 키프레임은 추적의 대상이 되는 객체, 계층정보, 회귀함수 및 프레임 범위에 대한 정보를 포함한다.
다음으로 수신부(100)는, 깊이값 생성의 대상이 되는 프레임을 수신한다(S322).
다음으로 깊이값 생성장치(320)는, 상기 프레임이 키프레임의 프레임 범위에 속하는지 여부를 판단한다(S323). 예를 들어, 프레임 범위가 10 ~ 20이고 해당 프레임이 15 라면, 해당 프레임은 키프레임의 범위에 속한다.
다음으로 깊이값 생성장치(320)는, 해당 프레임의 속도 및 위치 값을 추출한다(S324). 위치 값은 계층정보의 카메라 참조채널 값에서 추출할 수 있다. 속도는 자동추적 매팅방법에 의하여 추적의 대상이 되는 객체를 매팅한 경우, 자동추적을 통해 얻은 속도벡터 값에서 추출할 수 있다. 또한 속도는 프레임간의 위치 변화에 초당 프레임 수를 곱하여 추출할 수 있다. 상세한 내용은 상술한 바와 같다.
다음으로 깊이값 생성장치(320)는, 회귀함수에 추출된 위치와 속도를 입력하여 깊이값을 생성한다(S325). 회귀함수는 독립변수와 종속변수 사이의 관계에 대한 수학적 모델이다. 이와 같은 모델에 임의의 독립변수가 주어졌을 때, 이에 따른 종속변수의 값을 예측하는 방법이다. 본 발명에서는 위치와 속도를 독립변수로 하여 회귀함수에 입력하면, 종속변수인 깊이값이 생성된다. 상세한 내용은 상술한 바와 같다.
다음으로 깊이값 생성장치(320)는, 컬러기반으로 군집된 영역에 대하여 불규칙한 메쉬맵을 만든다(S326). 생성된 메쉬맵을 사용자에게 제공함으로써, 사용자는 군집개수의 지정에 따라 지역적 깊이값을 유연하게 설정할 수 있다. 이와 같은 지역적 깊이값은 영상을 보다 섬세하게 표현할 수 있다.
다음으로 깊이값 생성장치(320)는, 회귀함수에 의해 도출된 깊이값을 저장한다(S500). 또한, 사용자가 메쉬맵을 이용하여 설정한 지역적 깊이값을 저장한다.
이상에서는 본 발명의 바람직한 실시예 및 응용예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예 및 응용예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 수신부 200 : 키프레임 생성부
300 : 3D 영상생성부 400 : 저작도구부
500 : 저장부 600 : 3D 입체동영상 생성부

Claims (20)

  1. 2D 영상의 프레임, 키프레임 및 트라이맵을 수신하는 입력부;
    상기 키프레임을 기반으로 상기 각 프레임별로 특정영역을 추적하는 추적부; 및
    상기 각 프레임별로 추적된 특정영역과 상기 트라이맵을 이용하여 상기 각 프레임을 매팅하는 매팅부; 를 포함하는 자동추적 매팅장치.
  2. 제1항에 있어서,
    상기 각 프레임의 매팅결과를 나타내는 표시부를 더 포함하는 자동추적 매팅장치.
  3. 2D 영상 프레임을 수신하는 수신부;
    상기 프레임에서 키프레임을 생성하는 키프레임 생성부; 및
    상기 키프레임으로부터 3D 영상을 생성하는 3D 영상생성부; 를 포함하며,
    상기 키프레임 생성부는,
    상기 프레임의 색상값 채널 및 알파값 채널에 깊이값 채널을 부가하여 픽셀을 정의하는 픽셀 정의부;
    상기 픽셀 정의부에 3차원 좌표값을 나타내는 카메라 참조채널을 부가하여 계층정보를 정의하는 계층정보 정의부; 및
    상기 계층정보 정의부에 상기 2D 영상 중에서 추적의 대상이 되는 객체를 부가하여 키프레임을 정의하는 키프레임 정의부; 를 포함하는 3D 입체영상 제작장치.
  4. 제3항에 있어서,
    상기 키프레임은,
    상기 프레임의 깊이값을 계산하기 위한 회귀함수; 및
    상기 회귀함수의 적용 범위를 나타내는 프레임 범위; 를 더 포함하도록 정의되는 3D 입체영상 제작장치.
  5. 제3항에 있어서,
    상기 3D 영상생성부는 제1항 또는 제2항의 자동추적 매팅장치인 것인 3D 입체영상 제작장치.
  6. 제4항에 있어서,
    상기 3D 영상생성부는,
    상기 프레임이 상기 키프레임의 범위에 속하는지 판단하는 제어부; 및
    상기 프레임의 속도 및 좌표값을 상기 키프레임의 회귀함수에 입력하여 깊이값을 추출하는 함수부; 를 포함하는 깊이값 생성장치인 것인 3D 입체영상 제작장치.
  7. 제6항에 있어서,
    상기 깊이값 생성장치는,
    컬러 기반의 군집된 영역을 중심으로 불규칙한 메쉬맵을 생성하는 메쉬맵 생성부를 더 포함하고,
    상기 수신부는 상기 메쉬맵을 이용하여 사용자가 설정한 지역적 깊이값을 더 수신하는 것인 3D 입체영상 제작장치.
  8. 제3항에 있어서,
    3D 영상을 완성(image completion)하는 저작도구부를 더 포함하는 3D 입체영상 제작장치.
  9. 제3항에 있어서,
    상기 3D 영상을 저장하는 저장부를 더 포함하는 3D 입체영상 제작장치.
  10. 제9항에 있어서,
    상기 저장부에 저장된 3D 영상을 이용하여 새로운 입체 동영상을 만드는 3D 입체동영상 생성부를 더 포함하는 3D 입체영상 제작장치.
  11. 2D 영상의 프레임, 키프레임 및 트라이맵을 수신하는 단계;
    상기 키프레임을 기반으로 상기 각 프레임별로 특정영역을 추적하는 단계; 및
    상기 각 프레임별로 추적된 특정영역과 상기 트라이맵을 이용하여 상기 각 프레임을 매팅하는 단계; 를 포함하는 자동추적 매팅방법.
  12. 제11항에 있어서,
    상기 각 프레임의 매팅결과를 나타내는 단계; 및
    수정된 알파맵을 수신하였는지 판단하는 단계; 를 더 포함하는 자동추적 매팅방법.
  13. (a) 2D 영상 프레임을 수신하는 단계,
    (b) 상기 프레임에서 키프레임을 생성하는 단계; 및
    (c) 상기 키프레임으로부터 3D 영상을 생성하는 단계; 를 포함하며,
    상기 (b)는,
    (b-1) 상기 2D 영상의 색상값 채널 및 알파값 채널에 깊이값 채널을 부가하여 픽셀을 정의하는 단계;
    (b-2) 상기 픽셀에 3차원 좌표값을 나타내는 카메라 참조채널을 부가하여 계층정보를 정의하는 단계; 및
    (b-3) 상기 계층정보에 추적의 대상이 되는 객체를 부가하여 키프레임을 정의하는 단계를 포함하는 3D 입체영상 제작방법.
  14. 제13항에 있어서,
    상기 (b)는,
    상기 픽셀의 깊이값을 계산하기 위한 회귀함수를 정의하는 단계; 및
    상기 회귀함수의 적용 대상이 되는 프레임의 범위를 정의하는 단계를 더 포함하는 3D 입체영상 제작방법.
  15. 제13항에 있어서,
    상기 (c)는 제11항 또는 12항의 자동추적 매팅방법인 것인 3D 입체영상 제작방법.
  16. 제14항에 있어서,
    상기 (c)는,
    2D 영상의 키프레임 및 프레임을 수신하는 단계;
    상기 프레임이 상기 키프레임의 범위에 속하는지 판단하는 단계;
    상기 프레임으로부터 속도 및 좌표 값을 추출하는 단계;
    상기 키프레임의 회귀함수에 상기 속도 및 좌표 값을 입력하여 깊이값을 추출하는 단계;
    상기 깊이값을 상기 프레임에 지정하는 단계; 를 포함하는 것인 3D 입체영상 제작방법.
  17. 제16항에 있어서,
    상기 2D 영상에서 군집된 영역에 대한 불규칙한 메쉬맵을 생성하는 단계; 및
    상기 메쉬맵을 이용하여 사용자가 설정한 지역적 깊이 값을 수신하여 저장하는 단계를 더 포함하는 3D 입체영상 제작방법.
  18. 제13항에 있어서,
    3D 영상완성(image completion) 단계를 더 포함하는 3D 입체영상 제작방법.
  19. 제13항에 있어서,
    상기 3D 영상을 저장하는 단계를 더 포함하는 새로운 3D 입체영상 제작방법.
  20. 제19항에 있어서,
    상기 저장된 3D 영상을 이용하여 새로운 입체 동영상을 만드는 단계를 더 포함하는 3D 입체영상 제작방법.


KR1020100028570A 2009-12-18 2010-03-30 2ｄ 동영상으로부터 새로운 3ｄ 입체 동영상 제작을 위한 장치 및 방법 KR20110070678A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/970,089 US20110149039A1 (en) 2009-12-18 2010-12-16 Device and method for producing new 3-d video representation from 2-d video

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020090127352 2009-12-18
KR20090127352 2009-12-18

Publications (1)

Publication Number Publication Date
KR20110070678A true KR20110070678A (ko) 2011-06-24

Family

ID=44546030

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100028570A KR20110070678A (ko) 2009-12-18 2010-03-30 2ｄ 동영상으로부터 새로운 3ｄ 입체 동영상 제작을 위한 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20110070678A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170109898A (ko) * 2016-03-22 2017-10-10 한국전자통신연구원 객체 추출 장치 및 방법
US10043286B2 (en) 2015-09-09 2018-08-07 Electronics And Telecommunications Research Institute Apparatus and method for restoring cubical object
KR102492163B1 (ko) * 2022-02-23 2023-01-26 인하대학교 산학협력단 가변적 다층 깊이 영상을 이용한 라이트필드 합성 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043286B2 (en) 2015-09-09 2018-08-07 Electronics And Telecommunications Research Institute Apparatus and method for restoring cubical object
KR20170109898A (ko) * 2016-03-22 2017-10-10 한국전자통신연구원 객체 추출 장치 및 방법
KR102492163B1 (ko) * 2022-02-23 2023-01-26 인하대학교 산학협력단 가변적 다층 깊이 영상을 이용한 라이트필드 합성 방법 및 장치

Similar Documents

Publication Publication Date Title
EP1800267B1 (en) System and method for processing video images
US8791941B2 (en) Systems and methods for 2-D to 3-D image conversion using mask to model, or model to mask, conversion
EP2033164B1 (en) Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
Wang et al. Stereobrush: interactive 2d to 3d conversion using discontinuous warps
CN111640173B (zh) 一种基于特定路径的家装漫游动画的云端渲染方法及系统
US20080225045A1 (en) Systems and methods for 2-d to 3-d image conversion using mask to model, or model to mask, conversion
US20110157155A1 (en) Layer management system for choreographing stereoscopic depth
US20080226181A1 (en) Systems and methods for depth peeling using stereoscopic variables during the rendering of 2-d to 3-d images
US20200258309A1 (en) Live in-camera overlays
US20080228449A1 (en) Systems and methods for 2-d to 3-d conversion using depth access segments to define an object
US20080226160A1 (en) Systems and methods for filling light in frames during 2-d to 3-d image conversion
US20080226128A1 (en) System and method for using feature tracking techniques for the generation of masks in the conversion of two-dimensional images to three-dimensional images
US20080225042A1 (en) Systems and methods for allowing a user to dynamically manipulate stereoscopic parameters
US20080226194A1 (en) Systems and methods for treating occlusions in 2-d to 3-d image conversion
US20130057540A1 (en) Methods and apparatus for digital stereo drawing
CN103051915B (zh) 一种交互式立体视频关键帧的制作方法及制作装置
KR101181962B1 (ko) 3ｄ 입체영상 변환장치 및 변환방법
US20110149039A1 (en) Device and method for producing new 3-d video representation from 2-d video
JP2023172882A (ja) 三次元表現方法及び表現装置
KR20110070678A (ko) 2ｄ 동영상으로부터 새로운 3ｄ 입체 동영상 제작을 위한 장치 및 방법
JP5307051B2 (ja) 立体映像調整装置及び調整方法
Paier et al. Realistic retargeting of facial video
Xiang On generated artistic styles: Image generation experiments with GAN algorithms

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E90F Notification of reason for final refusal