KR20110071522A - 깊이 영상 편집 방법 및 장치 - Google Patents

깊이 영상 편집 방법 및 장치 Download PDF

Info

Publication number
KR20110071522A
KR20110071522A KR1020090128116A KR20090128116A KR20110071522A KR 20110071522 A KR20110071522 A KR 20110071522A KR 1020090128116 A KR1020090128116 A KR 1020090128116A KR 20090128116 A KR20090128116 A KR 20090128116A KR 20110071522 A KR20110071522 A KR 20110071522A
Authority
KR
South Korea
Prior art keywords
depth image
depth
frame
boundary information
interest
Prior art date
Application number
KR1020090128116A
Other languages
English (en)
Other versions
KR101281961B1 (ko
Inventor
정원식
방건
엄기문
신홍창
허남호
이수인
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020090128116A priority Critical patent/KR101281961B1/ko
Priority to US12/890,872 priority patent/US20110150321A1/en
Publication of KR20110071522A publication Critical patent/KR20110071522A/ko
Application granted granted Critical
Publication of KR101281961B1 publication Critical patent/KR101281961B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 편집할 깊이 영상 프레임 및 이에 대응되는 컬러 영상의 선택을 입력 받는 단계, 상기 컬러 영상에서 관심 객체의 선택을 입력 받는 단계, 상기 관심 객체의 경계 정보를 추출하는 단계, 및 상기 관심 객체의 상기 경계 정보를 이용하여 상기 깊이 영상 프레임의 깊이 값을 수정하는 단계를 포함하는 깊이 영상 편집 방법을 제안한다.
경계 정보, 깊이 값, 깊이 영상 편집

Description

깊이 영상 편집 방법 및 장치{METHOD AND APPARATUS FOR EDITING DEPTH VIDEO}
영상 편집 방법 및 장치에 관한 것으로서, 더욱 상세하게는 컬러 영상과 깊이 영상으로 구성된 3D(Three-Dimensional) 영상에 있어서 깊이 영상의 깊이 값을 정확하게 수정 하기 위한 깊이 영상 편집 방법 및 장치에 대한 것이다.
획득된 깊이 영상을 좀 더 정확한 영상으로 편집하는 방법에는 MPEG에서 발표된 기술들이 있다. MPEG에서 발표된 방법들은 기본적으로 수작업을 통하여 잘 만들어진 깊이 영상이 존재한다는 것을 가정하고 있다.
MPEG에서 발표된 방법들 중 하나는 움직임 추정을 이용하여 움직임이 없는 배경 영역을 찾아낸 뒤, 이 영역에서는 시간에 따른 깊이 영상의 깊이 값들이 거의 변하지 않는다는 가정을 이용하여 이전 프레임의 깊이 값을 이용하여 시간에 따라 깊이 값이 크게 변하는 것을 방지함으로써 깊이 영상의 질을 향상 시키는 방법이 있다.
또한, MPEG에 발표된 다른 방법으로는 수작업으로 얻어진 깊이 영상에 대하여 움직임 추정을 이용하여 현재 프레임의 깊이 값을 수정하는 방법이 있다.
이들 방법들은 깊이 영상의 첫 번째 프레임을 제외한 이어지는 프레임들에 대해서는 자동으로 깊이 영상 수정이 이루어지는 특징이 있다. 따라서 이들 방법들을 이용하여 깊이 영상을 편집하기 위해서는 깊이 영상의 첫 번째 프레임이 잘 만들어져 있어야 한다.
깊이 영상의 첫 번째 프레임에 대한 수작업 방법으로는 Adobe Photoshop이나 Corel Paint Shop Pro 등과 같은 정지 영상 편집 소프트웨어를 사용하는 방법이 있다.
이 방법은 컬러 영상과 깊이 영상을 동시에 보면서 깊이 영상의 깊이 값을 수정하거나, 컬러 영상을 배경 영상으로 하여 깊이 영상과 겹쳐서 보면서 영상의 깊이 값을 수정하는 방법이다.
그러나 이러한 방법들은 깊이 영상을 편집하는 사람의 숙련도에 따라 그 결과가 달라질 수 있으며, 정확도를 높이기 위해서는 편집자의 많은 시간과 노력이 요구되는 문제가 있다.
본 발명의 일실시예는 깊이 영상 편집에 있어서 필요한 사람의 작업량을 최소화하며 깊이 영상의 정확도를 높일 수 있는 깊이 영상 편집 방법 및 장치를 제공하는 것을 그 목적으로 한다.
본 발명의 일실시예에 따른 깊이 영상 편집 방법은 편집할 깊이 영상 프레임 및 이에 대응되는 컬러 영상의 선택을 입력 받는 단계, 상기 컬러 영상에서 관심 객체의 선택을 입력 받는 단계, 상기 관심 객체의 경계 정보를 추출하는 단계, 및 상기 관심 객체의 상기 경계 정보를 이용하여 상기 깊이 영상 프레임의 깊이 값을 수정하는 단계를 포함한다.
본 발명의 일실시예에 따른 깊이 영상 편집 방법은 편집할 깊이 영상 프레임 및 이에 대응되는 컬러 영상의 선택을 입력 받는 단계, 상기 컬러 영상의 이전 시점(時點) 또는 인접 시점 (時點)의 프레임을 이용하여 상기 깊이 영상 프레임에 대응되는 현재 프레임의 객체 경계 정보를 추출하는 단계, 및 상기 현재 프레임의 상기 객체 경계 정보를 이용하여 상기 깊이 영상 프레임의 깊이 값을 수정하는 단계를 포함한다.
본 발명의 일실시예에 따른 깊이 영상 편집 장치는 편집할 깊이 영상 프레임과 이에 대응되는 컬러 영상 및 상기 컬러 영상에서 관심 객체의 선택을 입력 받는 입력부, 상기 관심 객체의 경계 정보를 추출하는 추출부, 및 상기 관심 객체의 상 기 경계 정보를 이용하여 상기 깊이 영상 프레임의 깊이 값을 수정하는 편집부를 포함한다.
본 발명의 일실시예에 따른 깊이 영상 편집 장치는 편집할 깊이 영상 프레임 및 이에 대응되는 컬러 영상의 선택을 입력 받는 입력부, 상기 컬러 영상의 이전 시점(時點) 또는 인접 시점(時點)의 프레임을 이용하여 상기 깊이 영상 프레임에 대응되는 현재 프레임의 객체 경계 정보를 추출하는 추출부, 및 상기 현재 프레임의 상기 객체 경계 정보를 이용하여 상기 깊이 영상 프레임의 깊이 값을 수정하는 편집부를 포함한다.
본 발명의 일실시예에 따르면, 깊이 영상을 얻는데 필요한 사람의 작업량을 최소화 할 수 있다.
또한, 본 발명의 일실시예에 따르면, 보다 입체감이 있는 양질의 3D 콘텐츠를 획득할 수 있다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
3D 영상을 이용한 방송 서비스는 UDTV서비스와 함께 HDTV에 이은 차세대 방송 서비스로 주목 받고 있다. 고화질의 상용 오토-스테레오스코픽(auto-stereoscopic) 디스플레이의 출시 등과 같은 관련 기술의 발달을 바탕으로, 각 가정에서 3D 영상을 즐길 수 있는 3DTV 서비스가 수년 내에 제공 될 수 있을 것으로 예상되고 있다.
3DTV 기술은 하나의 좌영상과 하나의 우영상을 제공하여 3D 영상을 제공하였던 스테레오스코픽(stereoscopic)에서, 여러 시점의 영상 및 오토-스테레오스코픽 디스플레이를 이용하여 시청자의 시청 위치에 맞는 시점의 영상을 제공할 수 있도록 하는 다시점 영상 기술로 발전하고 있다.
특히, Video-plus-depth와 DIBR을 결합한 기술이 다른 기술에 비하여 여러 가지 장점을 가지고 있어서 3D 서비스에 가장 적합한 기술로 생각되고 있다.
Video-plus-depth는 시청자에게 다시점 영상을 서비스하기 위한 기술 중 하나로, 각 시점에 해당되는 영상과 해당 시점의 깊이 영상을 이용하여 3D 서비스를 제공하는 기술이다.
도 1은 Video-plus-depth 영상을 나타낸 도면이다.
도 1을 참조하면, Video-plus-depth은 컬러 비디오 영상(110)에 깊이 영상(맵)(130)을 더한 것으로서, 이러한 Video-plus-depth를 이용할 경우에는 일반적인 2D 디스플레이와의 호환성을 유지할 수 있다. 또한, depth 영상(130)은 일반 영상에 비하여 적은 비트율로 압축할 수 있기 때문에 전송 효율을 높일 수 있는 장점이 있다.
또한, 촬영된 시점의 영상이 아닌 중간 시점 영상을 촬영된 시점의 영상으로부터 생성할 수 있으므로, 제한된 대역폭에 맞는 시점 수의 영상을 전송할 수 있고, 이로부터 시청자가 필요로 하는 시점 수의 영상을 생성 할 수 있는 장점이 있다.
Video-plus-depth의 문제점 중의 하나인 occlusion 문제를 해결하기 위하여 도 2에 도시된 것과 같이 depth-image-based rendering(DIBR) 기술을 함께 사용할 수 있다.
도 2는 3개 시점에 대한 컬러 영상 및 깊이 영상을 입력 받아 9개 시점으로 출력하는 것을 나타낸 도면이다.
도 2를 참조하면, 오토 스테레오스코픽 디스플레이를 위하여 필요한 시점의 수가 9인 경우, 9개의 영상을 전송하는 것은 많은 전송 대역을 필요로 한다.
따라서, 3개의 영상(V1, V5, V9)을 해당 영상에 대응되는 깊이 영상(D1, D5, D9)과 함께 전송하고, 이들을 이용한 중간 시점 영상 생성을 통하여 사용자에게 9개의 영상을 제공함으로써 전송 효율을 높일 수 있음을 보여주고 있다. 이때 중간 영상 생성을 위해서는 DIBR을 사용할 수 있다.
이상에서 간단히 살펴본 바와 같이, Video-plus-depth와 DIBR을 결합한 기술은 다른 기술에 비하여 여러 가지 장점을 가지며, 각 가정에 3D TV 서비스를 제공하는데 있어서 고려하여야 할 사항들을 잘 만족시킬 수 있는 기술이다.
하지만, 이 기술은 주어진 영상에 대한 깊이가 깊이 영상에 의하여 정확하게 주어져 있다는 것을 가정하고 있기 때문에 깊이 영상의 정확도가 3D 영상 서비스의 만족도를 좌우한다고 할 수 있다.
본 발명은 입체감을 주는데 있어서 중요한 역할을 하는 깊이 영상 편집 방법에 관한 것으로 컬러 영상에 존재하는 객체와 이에 대응되는 깊이 영상에 대한 객체 정보를 이용하여 깊이 영상의 깊이 값을 적절히 수정함으로써 정확한 깊이 값을 얻고, 이로부터 향상된 화질의 3D 영상을 제공할 수 있도록 한다.
도 3은 본 발명의 제1 실시예에 따른 깊이 영상 편집 장치의 블록도이다. 도 3을 참조하면, 깊이 영상 편집 장치(300)는 입력부(310), 추출부(330), 및 편집부(350)를 포함한다.
입력부(310)는 사용자로부터 편집할 깊이 영상 프레임과 이에 대응되는 컬러 영상의 선택을 입력받고, 컬러 영상에서 관심 객체의 선택을 입력받는다. 이때 영상은 동영상뿐만 아니라 정지 영상 또한 포함된다.
추출부(330)는 입력부(310)를 통해 사용자로부터 입력받은 관심 객체의 경계 정보를 추출한다.
여기서 입력부(310)는 사용자로부터 관심 객체의 선택을 재입력 받을 수 있고, 추출부(330)는 재입력된 상기 관심 객체의 경계 정보를 다시 추출할 수 있다.
본 발명의 일실시예에 따른 깊이 영상 편집 장치 및 방법은 화면 내에 존재하는 각 객체에 대하여 깊이 영상에 비하여 정확한 정보를 가지고 있는 컬러 영상에서 객체 경계(윤곽)를 찾고, 이 객체 경계(윤곽)를 깊이 영상에 적용한 뒤, 이를 이용하여 깊이 영상의 깊이 값을 수정한다.
따라서, 주요 편집 대상은 편집자 또는 사용자가 선택한 영상의 주요 관심 객체 및 그 주변이다.
여기서, 관심 객체는 컬러 영상에서 물리적인 의미를 갖는 즉, 완전한 형상을 가지는 객체만을 의미하는 것은 아니며 깊이 값의 불연속성이 없는 영역 등과 같이 깊이 영상의 특성이 동일한 영역도 포함한다. 이는 편집 대상이 컬러 영상이 아니라, 깊이 영상이기 때문이다.
이때 하나의 깊이 영상 내에서 관심 객체는 하나 또는 둘 이상이 될 수 있다.
편집부(350)는 추출부(330)에서 추출된 관심 객체의 경계 정보를 이용하여 깊이 영상 프레임의 깊이 값을 수정한다.
여기서 편집부(350)는, 깊이 영상 프레임에서 관심 객체에 대응되는 영역의 경계 정보를 추출하는 경계 정보 추출부(미도시)를 더 포함할 수 있다. 또한, 편집부(350)는 경계 정보 추출부에서 추출된 관심 객체에 대응되는 영역의 경계 정보와 추출부(330)에서 추출된 관심 객체의 경계 정보를 비교하여 깊이 영상 프레임의 깊이 값을 수정할 수 있다.
이 밖에도 편집부(350)는 깊이 영상 프레임의 깊이 값을 외삽(extrapolation) 방법에 의해 수정할 수도 있다.
이처럼 본 발명의 일실시예에 따른 깊이 영상 편집 장치는 현재 편집하고자 하는 깊이 영상 프레임과 이에 대응되는 컬러 영상만을 이용하여 깊이 영상의 깊이 값을 편집할 수 있다. 이러한 편집 방법을 편의상 프레임 내 깊이 영상 편집 방법이라 한다.
실시예에 따라서는 깊이 영상 편집 장치는 이전 시점 (時點) 또는 인접 시점(時點)의 프레임으로부터의 정보를 이용하여 현재 프레임의 깊이 영상의 깊이 값을 편집할 수 있다.
이러한 편집 방법을 편의상 프레임 간 깊이 영상 편집 방법이라 하고, 프레 임 간 깊이 영상 편집 방법을 이용한 깊이 영상 편집 장치를 제 2 실시예를 통해 설명한다.
본 발명의 제2 실시예에 따른 깊이 영상 편집 장치는 입력부(310), 추출부(330) 및 편집부(350)를 포함할 수 있다.
입력부(310)는, 편집할 깊이 영상 프레임 및 이에 대응되는 컬러 영상의 선택을 입력 받는다. 또한 입력부(310)는 사용자로부터 관심 객체의 선택을 재입력 받을 수도 있다.
추출부(330)는, 컬러 영상의 이전 시점(時點) 또는 인접 시점 (時點)의 프레임을 이용하여 깊이 영상 프레임에 대응되는 현재 컬러 영상 프레임의 객체 경계 정보를 추출한다. 또한, 추출부(330)는 입력부(310)를 통해 재입력된 관심 객체의 경계 정보를 다시 추출할 수도 있다.
여기서 추출부(330)는 컬러 영상의 이전 시점 또는 인접 시점의 프레임을 움직임 추정 방법 등에 의해 추적하여 현재 컬러 영상 프레임의 객체 경계 정보를 추출할 수 있다.
여기서 컬러 영상 프레임은 동영상 및 정지 영상을 포함할 수 있다.
편집부(350)는, 현재 프레임의 객체 경계 정보를 이용하여 깊이 영상 프레임의 깊이 값을 수정한다.
여기서 편집부(350)는 현재 프레임의 객체 경계 정보에 의해 수정할 객체 경계 영역을 결정하고, 수정할 경계 영역에 외삽(extrapolation) 방법을 적용하여 깊이 값을 수정함으로써 깊이 영상을 편집할 수 있다.
이때 외삽(extrapolation)방법은 어떤 변역 안에서 몇 개의 변수 값에 대한 함수값이 알려져 있을 때 이 변역 외의 변수 값에 대한 함수값을 추정하는 방법으로서, 외삽 방법을 이용하면 주어진 기본 점들의 범위 밖에 있는 함수의 값을 계산할 수 있다.
또한, 편집부(350)는 현재 프레임의 객체 경계 정보에 의해 수정할 객체 경계 영역을 결정하고, 수정할 객체 경계 영역에 해당하는 깊이 영상의 깊이 값을 이전 시점 또는 인접 시점의 프레임에서의 해당 위치의 깊이 값을 이용하여 수정할 수 있다.
본 발명의 일실시예에 따른 깊이 영상 편집 방법은 현재 편집하고자 하는 깊이 영상 프레임과 이에 대응되는 컬러 영상만을 이용하여 깊이 영상의 깊이 값을 편집하는 프레임 내 깊이 영상 편집 방법을 이용할 수 있으며, 이에 대하여는 도 4 내지 도 6을 통해 설명한다.
도 4는 본 발명의 일실시예에 따른 깊이 영상 편집 방법을 나타낸 흐름도이다.
도 4를 참조하면, 깊이 영상 편집 방법은 깊이 영상 및 컬러 영상의 선택을 입력 받는 단계(410), 관심 객체의 선택을 입력받는 단계(430), 경계 정보를 추출하는 단계(450), 깊이 영상을 수정하는 단계(470), 및 결과 영상을 저장하는 단계(490)를 포함한다.
먼저 단계 410에서 사용자로부터 편집할 깊이 영상 프레임 및 이에 대응되는 컬러 영상의 선택을 입력받은 뒤, 단계 430을 통해 컬러 영상에서 관심 객체의 선 택을 입력받는다.
단계 430의 컬러 영상에서 관심 객체를 선택을 입력받는 방법에는 여러 가지가 있을 수 있는데, 예를 들어, 관심 객체에 대한 대충의 외곽선을 사용자가 직접 그리는 방법, 객체를 포함하는 사각형을 그리는 방법, 객체의 내부를 사용자가 직선이나 곡선 등으로 사용자가 표시하는 방법, 이에 더하여 객체의 외부를 사용자가 표시하는 방법 등을 들 수 있다.
여기서 컬러 영상은 동영상 및 정지 영상을 포함할 수 있다.
단계 450에서는 단계 430을 통해 선택된 관심 객체의 경계 정보를 추출한다. 단계 450에서 관심 객체의 경계 정보를 추출하는 방법으로는 예를 들어, Mean shift, Graph Cut, GrabCut 등을 들 수 있다. 여기서 객체의 경계 정보는 객체의 경계를 나타낼 수 있는 정보로서, 예를 들어, 경계 지점의 좌표값, gray 영상, 마스크 등을 포함할 수 있다.
실시예에 따라서는 단계 430의 관심 객체의 선택과 단계 450의 경계정보를 추출하는 과정을 동시에 실행할 수 있다. 이들 방법들은 주로, 사용자가 마우스를 드래그하면 그 주변에서 비슷한 영역들을 찾아서 확장해 나가는 방법으로, 객체 내부를 확장해 나가는 방법과 객체 외부를 확장해 나가는 방법 및 두 가지 방법을 병행하는 방법이 있다.
다음으로 컬러 영상에서 추출된 관심 객체의 경계 정보를 이용하여 깊이 영상 프레임의 깊이 값을 수정하고, 이에 의해 깊이 영상이 수정된다 (470).
단계 470에서 깊이 영상을 수정하는 가장 기본적인 방법은 컬러 영상에서 얻 어진 관심 객체의 경계 정보를 깊이 영상에 표시해 준 뒤, 편집자가 표시된 경계 정보를 이용하여 직접 깊이 영상을 편집하는 방법이다.
이때 깊이 영상의 편집에는 예를 들어, 포토샵, 페인트 샵 프로 등에서 일반적으로 사용되고 있는 기능인 페인트 브러쉬 기능 등을 통하여 직접 깊이 영상을 편집하는 방법이 이용될 수 있다.
깊이 영상을 수정하는 방법에 대한 설명에 앞서, 컬러 영상에서 얻어진 객체의 경계 정보를 깊이 영상에 표시하는 방법을 도 5를 통해 설명한다.
도 5는 본 발명의 일실시예에 따른 컬러 영상과 깊이 영상으로 이루어진 3D 영상과, 컬러 영상에서 얻어진 객체의 경계 정보를 깊이 영상에 표시한 영상을 나타낸 도면이다.
도 5를 참조하면, 컬러 영상의 남자에 대응되는 깊이 영상 프레임이 객체의 경계 부분에서 부정확한 것을 볼 수 있다. 특히, 남자의 머리 부분과 비슷한 컬러를 갖는 대문 부분에서 부정확한 값을 가지는 것을 알 수 있으며, 컬러 영상에서 얻어진 관심 객체의 경계 정보를 깊이 영상 프레임에 표시해 보면 이를 더욱 정확히 알 수 있다.
또한, 깊이 영상 프레임을 살펴보면, 관심 객체의 경계 영역에서 배경과의 깊이 값의 차이가 크게 발생함을 알 수 있다. 이는 깊이 영상에서는 쉽게 경계 정보를 검출을 할 수 있음을 의미한다.
따라서, 깊이 영상 프레임에서 관심 객체에 대응되는 영역의 경계 정보를 검출하고, 이를 컬러 영상에서 얻은 관심 객체의 경계 정보와 비교해 보면 깊이 영상 프레임에서 잘못된 값을 가지고 있는 영역을 알 수 있다.
이와 같은 방법으로 잘못된 깊이 값을 가지는 영역을 찾아서, 깊이 영상 프레임의 깊이 값을 수정할 수 있다. 이때 깊이 영상 프레임의 깊이 값은 외삽 (extrapolation) 등의 방법을 이용하여 자동으로 깊이 값 수정(편집)이 가능하다.
편집자의 수동 깊이 영상 편집에 앞서서 위에서 설명한 자동 편집을 먼저 실행한다면 편집자의 깊이 영상 편집을 위한 작업량을 크게 줄일 수 있다.
마지막으로, 깊이 영상 프레임에 대한 편집이 완료된 후에는 단계 490을 통해 편집된 결과 영상을 저장한다. 여기서, 단계 410 내지 단계 470의 과정은 편집자의 필요에 따라 여러 프레임에 대하여 수행할 수 있다.
단계 490의 저장 과정은 각각의 프레임에 대한 편집이 끝날 때 마다 저장하거나, 편집 대상이 되는 여러 프레임에 대한 편집이 완료된 후 한번에 모두 저장할 수 있다. 또한 실시예에 따라서는, 여러 프레임 작업 시 작업 중에 저장할 수 있다.
이상에서는 본 발명에 의한 프레임 내 깊이 영상 편집 방법의 기본적인 흐름에 대하여 설명하였다.
영상에 따라서는 위에서 설명한 기본적인 흐름에 따라 한번에 수정되지 않는 경우가 있다. 예를 들면 관심 객체의 경계 정보 추출이 쉽게 되지 않는 영상이 있을 수 있고, 깊이 영상 편집에 있어서, 앞에서 설명한 자동 편집만으로도 만족할 만한 편집 결과를 얻을 수 있는 영상도 있을 수 있다.
따라서, 관심 객체의 경계 정보 추출이나 깊이 영상의 편집 과정에서 만족스 러운 결과를 얻을 수 있도록 하는 방법이 필요하며, 이에 대하여는 도 6을 통해 설명한다.
도 6은 본 발명의 일실시예에 따른 깊이 영상 편집 방법을 나타낸 흐름도이다.
도 6을 참조하여 먼저, 관심 객체의 경계 정보 추출 과정을 살펴보면, 사용자의 입력에 의하여 관심 객체를 선택하고, 이에 따라 관심 객체의 경계 정보를 추출한 결과가 만족스럽지 않은 경우에 관심 객체의 경계 정보를 좀 더 정확하게 추출 할 수 있도록 하는 방법으로는 크게 두 가지를 생각할 수 있다.
첫 번째로는 사용자의 관심 객체 선택을 위한 입력을 수정(620)하여 관심 객체의 경계 정보 추출을 다시 실행함으로써 좀 더 정확한 관심 객체의 경계 정보를 추출할 수 있도록 하는 방법이 있다.
즉, 단계 614에서 추출된 관심 객체의 경계 정보가 만족스럽지 못한 경우에 사용자로부터 관심 객체의 선택을 재입력 받고(620), 재입력된 관심 객체의 경계 정보를 추출하며(614), 재입력된 관심 객체의 경계 정보를 이용하여 깊이 값을 수정하는 것이다(624).
이 방법은 추출된 객체 경계가 실제 객체와는 많이 달라서 사람이 직접 수정하기에는 작업량이 너무 많을 것으로 판단되는 경우에 유용하게 사용될 수 있다.
두 번째 방법으로는 객체 경계를 사용자가 직접 수정 (622)하는 방법이 있다. 이 방법은 추출된 객체 경계가 대체로 만족할만한 수준에 있으나, 특정 부분에서만 수정이 필요한 경우에 유용하게 사용될 수 있을 것이다. 물론 이 두 가지 방 법은 병행하여 사용될 수 있다.
깊이 영상 프레임의 수정 과정에 있어서도, 앞에서 설명한 자동 수정 과정과 수동 수정 과정을 선택적으로 실행할 수 있도록 하는 것이 바람직하다.
즉, 사용자의 선택에 따라 자동 수정 과정(624)을 수행할 것인지 아니면, 자동 수정 과정 없이 수동 수정(628) 만을 수행할 것인지를 결정하고, 자동 수정을 실행한다면, 그 결과에 대한 사용자의 만족 여부 (626)에 따라 수동 수정 과정(628)의 수행 여부를 결정하는 것이 바람직하다.
도 6에서 610 내지 614 및 624의 과정은 도 4에서의 단계 410 내지 단계 470까지의 과정과 동일하므로 이에 대하여는 해당 부분의 설명을 참조하기로 한다.
실시예에 따라서는 깊이 영상 편집 방법은 이전 시점 (時點) 또는 인접 시점 (時點)의 프레임으로부터의 정보를 이용하여 현재 프레임의 깊이 영상의 깊이 값을 편집하는 프레임 간 깊이 영상 편집 방법을 이용할 수 있으며, 이에 대하여는 도 7 내지 도 8을 통해 설명한다.
본 발명의 일실시예에 따른 프레임 간 깊이 영상 편집 방법에서 편집 대상이 되는 깊이 영상 프레임 및 대응되는 컬러 영상은 프레임 간 상관성이 많이 존재하므로, 이러한 상관성을 깊이 영상의 편집에 활용하는 방법이라 할 수 있다.
프레임 간 깊이 영상 편집의 경우에는 프레임 간의 유사성을 이용하는 것이므로, 사용자의 개입 없이 자동으로 깊이 영상 편집을 수행하는 것을 기본으로 한다. 그러나, 상황에 따라 편집자가 개입하여 수작업을 할 수 있도록 기능을 확장할 수 있으며, 이는 도 8을 통해 설명한다.
도 7은 본 발명의 실시예에 따른 깊이 영상 편집 방법의 흐름도이다. 도 7을 참조하면, 깊이 영상 편집 방법은 깊이 영상 및 컬러 영상의 프레임을 선택 하는 단계(710), 객체 경계 정보를 추출하는 단계(730), 깊이 영상을 수정하는 단계(750), 및 결과 영상을 저장하는 단계(770)를 포함한다.
단계 710은 사용자로부터 편집할 깊이 영상 프레임 및 이에 대응되는 컬러 영상의 선택을 입력 받는다.
단계 730은 컬러 영상의 이전 시점 (時點) 또는 인접 시점(時點)의 프레임을 이용하여 깊이 영상 프레임에 대응되는 현재 프레임의 객체 경계 정보를 추출한다.
단계 730에서 현재 프레임의 객체 경계 정보의 추출을 위해 컬러 영상의 이전 시점 또는 인접 시점의 프레임을 움직임 추정 방법에 의해 추적하여 현재 프레임의 객체 경계 정보를 추출할 수 있다.
여기서 이전 시점 (時點) 또는 인접 시점(時點)의 프레임의 객체 경계 정보로부터 현재 프레임의 객체 경계 정보를 추출하기 위하여 사용되는 움직임 추정 방법으로는 예를 들어, BMA(block matching algorithm), Optical Flow 등이 사용될 수 있다.
단계 750은 단계 730에서 추출된 현재 프레임의 객체 경계 정보를 이용하여 깊이 영상 프레임의 깊이 값을 수정하여 깊이 영상을 수정한다.
단계 750에서 깊이 영상 프레임의 깊이 값을 수정하기 위하여 현재 프레임의 객체 경계 정보에 의해 수정할 객체 경계 영역을 결정하고, 수정할 경계 영역에 앞서 설명한 외삽(extrapolation) 방법을 적용하여 깊이 값을 수정할 수 있다.
이처럼 추출된 경계를 이용한 깊이 영상 수정 방법으로는 본 발명의 프레임 내 편집 방법에서 설명했던 방법을 그대로 적용할 수도 있고, 이전 프레임의 깊이 값을 이용할 수도 있다.
이전 프레임의 깊이 값을 이용하는 방법의 경우, 객체 경계 추출 과정에서 찾은 이전 프레임으로부터의 움직임을 이용하여 움직임 깊이 값 수정이 필요한 영역에 대하여 이전 프레임으로부터 해당 위치의 깊이 값을 가져와서 수정할 수 있다.
즉, 현재 프레임의 객체 경계 정보에 의해 수정할 객체 경계 영역을 결정하고, 수정할 객체 경계 영역에 해당하는 깊이 영상의 깊이 값을 이전 시점 또는 인접 시점의 프레임에서의 해당 위치의 깊이 값을 이용하여 수정할 수 있다.
위에서 설명한 단계 710 내지 단계 750의 과정은 편집자의 필요에 따라 여러 프레임에 대하여 자동으로 수행할 수 있다. 즉, 마지막 프레임까지 자동으로 반복 수행하도록 하거나, 사용자가 입력한 프레임 수만큼 반복할 수 있도록 할 수 있으며, 필요에 따라 수행 중 멈추도록 할 수도 있다.
단계 770은 깊이 영상이 편집된 최종적인 결과 영상을 저장한다.
이때, 결과 영상의 저장은 각각의 프레임에 대한 편집이 끝날 때마다 저장하거나, 편집 대상이 되는 여러 프레임에 대한 편집이 완료된 후 한번에 모두 저장할 수 있으며, 여러 프레임 작업 시 작업 중에 저장할 수도 있다.
이상에서는 본 발명의 일실시예에 따른 기본적인 프레임 간 깊이 영상 편집 방법에 대하여 설명하였다. 앞에서도 언급한 바와 같이, 프레임 간 깊이 영상 편집 은 자동으로 수행되는 것을 기본으로 하지만, 자동으로 수행되는 각 과정이 만족스럽지 않은 경우에는 편집자가 수동으로 수정할 수 있는 기능도 제공하여야 한다.
이러한 기능을 포함하는 확장된 프레임 간 깊이 영상 편집 방법을 도 8을 통해 설명한다.
도 8은 본 발명의 일실시예에 따른 깊이 영상 편집 방법을 나타낸 흐름도이다.
도 8을 참조하면, 확장된 프레임 간 깊이 영상 편집 방법은 이전 프레임의 객체 경계 정보를 이용하여 추출한 현재 프레임의 객체 경계 정보가 편집자가 판단하기에 만족스럽지 않은 경우(814)(816)에는 자동 수행을 멈출 수 있다. 그 후 편집자의 선택에 따라 객체 경계 영역을 수정(818)하여 다시 한번 객체 경계 영역을 추출(820)하거나, 수동으로 객체 경계를 수정(822) 할 수 있다.
즉, 단계 818에서 사용자로부터 현재 프레임의 객체 경계 정보를 추출할 객체 경계 영역에 대한 선택을 다시 입력 받고, 단계 820을 통해 입력 받은 객체 경계 영역에서 객체 경계 정보를 재추출 하여 깊이 영상 프레임의 깊이 값을 수정하는 것이다.
이 과정은 앞에서 설명한 프레임 내 깊이 영상 편집 방법에서 수행하는 과정과 유사한 과정이라 할 수 있다. 또한, 깊이 영상의 자동 수정 결과가 만족스럽지 않은 경우(826)에는 편집자가 깊이 영상을 수동으로 수정(828) 할 수 있는 기능이 포함될 수 있다.
도 8에서 810, 812 및 824의 과정은 도 7에서의 단계 710 내지 단계 750의 과정과 동일하므로 이에 대하여는 해당 부분의 설명을 참조하기로 한다.
본 발명에 의한 깊이 영상 편집 방법은 프레임 내 깊이 영상 편집 방법과 프레임 간 깊이 영상 편집 방법을 선택적으로 사용하거나, 두 방법을 결합하여 사용 하는 것을 포함한다.
본 발명에 의한 깊이 영상 편집 방법의 일 실시예로는 모든 프레임에 대하여 프레임 내 깊이 영상 편집 방법을 사용하는 것이 될 수 있으며, 또 다른 예로는 첫 번째 프레임에 대하여서만 프레임 내 깊이 영상 편집 방법을 사용하고, 이 후 프레임에 대하여서는 프레임간 깊이 영상 편집 방법을 사용하는 것이 될 수 있다.
또한, 편집자의 판단에 따라 필요한 경우에는 프레임 내 깊이 영상 편집 방법을 사용하고, 나머지 경우에는 프레임간 영상 편집 방법을 사용할 수 있다.
이상, 도 3 내지 도 8를 통해 설명한 깊이 영상 편집 방법 및 장치에 대한 설명에 있어서, 동일한 명칭을 가지는 구성 요소, 용어 및 기타 부분에 대한 상호 간의 설명을 참조할 수 있다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같 은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가지 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 Video-plus-depth 영상을 나타낸 도면이다.
도 2는 3개 시점에 대한 컬럴 영상 및 깊이 영상을 입력 받아 9개 시점을 출력하는 것을 나타낸 도면이다.
도 3은 본 발명의 제1 실시예에 따른 깊이 영상 편집 장치의 블록도이다.
도 4는 본 발명의 일실시예에 따른 깊이 영상 편집 방법을 나타낸 흐름도이다.
도 5는 본 발명의 일실시예에 따른 컬러 영상과 깊이 영상으로 이루어진 3D 영상과, 컬러 영상에서 얻어진 객체의 경계 정보를 깊이 영상에 표시한 영상을 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 깊이 영상 편집 방법을 나타낸 흐름도이다.
도 7은 본 발명의 일실시예에 따른 깊이 영상 편집 방법의 흐름도이다.
도 8은 본 발명의 일실시예에 따른 깊이 영상 편집 방법을 나타낸 흐름도이다.

Claims (16)

  1. 편집할 깊이 영상 프레임 및 이에 대응되는 컬러 영상의 선택을 입력받는 단계;
    상기 컬러 영상에서 관심 객체의 선택을 입력받는 단계;
    상기 관심 객체의 경계 정보를 추출하는 단계; 및
    상기 관심 객체의 상기 경계 정보를 이용하여 상기 깊이 영상 프레임의 깊이 값을 수정하는 단계
    를 포함하는 깊이 영상 편집 방법.
  2. 제1항에 있어서,
    상기 깊이 영상 프레임의 깊이 값을 수정하는 상기 단계는,
    상기 깊이 영상 프레임에서 상기 관심 객체에 대응되는 영역의 경계 정보를 추출하는 단계
    를 더 포함하고,
    상기 관심 객체에 대응되는 영역의 상기 경계 정보와 상기 관심 객체의 상기 경계 정보를 비교하여 상기 깊이 영상 프레임의 상기 깊이 값을 수정하는 깊이 영상 편집 방법.
  3. 제2항에 있어서,
    상기 깊이 영상 프레임의 상기 깊이 값을 외삽(extrapolation) 방법에 의해 수정하는 깊이 영상 편집 방법.
  4. 제1항에 있어서,
    사용자로부터 상기 관심 객체의 선택을 재입력 받는 단계; 및
    상기 재입력된 상기 관심 객체의 경계 정보를 추출하는 단계
    를 더 포함하고,
    상기 재입력된 상기 관심 객체의 경계 정보를 이용하여 상기 깊이 값을 수정하는 깊이 영상 편집 방법.
  5. 편집할 깊이 영상 프레임 및 이에 대응되는 컬러 영상의 선택을 입력받는 단계;
    상기 컬러 영상의 이전 시점 또는 인접 시점의 프레임을 이용하여 상기 깊이 영상 프레임에 대응되는 현재 프레임의 객체 경계 정보를 추출하는 단계; 및
    상기 현재 프레임의 상기 객체 경계 정보를 이용하여 상기 깊이 영상 프레임의 깊이 값을 수정하는 단계
    를 포함하는 깊이 영상 편집 방법.
  6. 제5항에 있어서,
    상기 현재 프레임의 객체 경계 정보를 추출하는 상기 단계는,
    상기 컬러 영상의 이전 시점 또는 인접 시점의 프레임을 움직임 추정 방법에 의해 추적하여 상기 현재 프레임의 객체 경계 정보를 추출하는 깊이 영상 편집 방법.
  7. 제5항에 있어서,
    상기 깊이 영상 프레임의 깊이 값을 수정하는 상기 단계는,
    상기 현재 프레임의 상기 객체 경계 정보에 의해 수정할 객체 경계 영역을 결정하고, 상기 수정할 경계 영역에 외삽 방법을 적용하여 상기 깊이 값을 수정하는 깊이 영상 편집 방법.
  8. 제5항에 있어서,
    상기 깊이 영상 프레임의 깊이 값을 수정하는 상기 단계는,
    상기 현재 프레임의 상기 객체 경계 정보에 의해 수정할 객체 경계 영역을 결정하고, 상기 수정할 객체 경계 영역에 해당하는 깊이 영상의 깊이 값을 상기 이전 시점 또는 상기 인접 시점의 프레임에서의 해당 위치의 깊이 값을 이용하여 수정하는 깊이 영상 편집 방법.
  9. 제5항에 있어서,
    사용자로부터 상기 현재 프레임의 객체 경계 정보를 추출할 객체 경계 영역에 대한 선택을 입력받는 단계; 및
    상기 입력받은 객체 경계 영역에서 상기 객체 경계 정보를 재추출 하는 단계
    를 더 포함하고,
    상기 재추출된 상기 객체 경계 정보를 이용하여 상기 깊이 영상 프레임의 상기 깊이 값을 수정하는 깊이 영상 편집 방법.
  10. 편집할 깊이 영상 프레임과 이에 대응되는 컬러 영상 및 상기 컬러 영상에서 관심 객체의 선택을 입력받는 입력부;
    상기 관심 객체의 경계 정보를 추출하는 추출부; 및
    상기 관심 객체의 상기 경계 정보를 이용하여 상기 깊이 영상 프레임의 깊이 값을 수정하는 편집부
    를 포함하는 깊이 영상 편집 장치.
  11. 제10항에 있어서, 상기 편집부는,
    상기 깊이 영상 프레임에서 상기 관심 객체에 대응되는 영역의 경계 정보를 추출하는 경계 정보 추출부
    를 더 포함하고,
    상기 관심 객체에 대응되는 영역의 상기 경계 정보와 상기 관심 객체의 상기 경계 정보를 비교하여 상기 깊이 영상 프레임의 상기 깊이 값을 수정하는 깊이 영상 편집 장치.
  12. 제11항에 있어서,
    상기 편집부는,
    상기 깊이 영상 프레임의 상기 깊이 값을 외삽(extrapolation) 방법에 의해 수정하는 깊이 영상 편집 장치.
  13. 편집할 깊이 영상 프레임 및 이에 대응되는 컬러 영상의 선택을 입력 받는 입력부;
    상기 컬러 영상의 이전 시점 또는 인접 시점의 프레임을 이용하여 상기 깊이 영상 프레임에 대응되는 현재 프레임의 객체 경계 정보를 추출하는 추출부; 및
    상기 현재 프레임의 상기 객체 경계 정보를 이용하여 상기 깊이 영상 프레임의 깊이 값을 수정하는 편집부
    를 포함하는 깊이 영상 편집 장치.
  14. 제13항에 있어서,
    상기 추출부는,
    상기 컬러 영상의 이전 시점 또는 인접 시점의 프레임을 움직임 추정 방법에 의해 추적하여 상기 현재 프레임의 객체 경계 정보를 추출하는 깊이 영상 편집 장치.
  15. 제13항에 있어서,
    상기 편집부는,
    상기 현재 프레임의 상기 객체 경계 정보에 의해 수정할 객체 경계 영역을 결정하고, 상기 수정할 경계 영역에 외삽 방법을 적용하여 상기 깊이 값을 수정하는 깊이 영상 편집 장치.
  16. 제13항에 있어서,
    상기 편집부는,
    상기 현재 프레임의 상기 객체 경계 정보에 의해 수정할 객체 경계 영역을 결정하고, 상기 수정할 객체 경계 영역에 해당하는 깊이 영상의 깊이 값을 상기 이전 시점 또는 상기 인접 시점의 프레임에서의 해당 위치의 깊이 값을 이용하여 수정하는 깊이 영상 편집 장치.
KR1020090128116A 2009-12-21 2009-12-21 깊이 영상 편집 방법 및 장치 KR101281961B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090128116A KR101281961B1 (ko) 2009-12-21 2009-12-21 깊이 영상 편집 방법 및 장치
US12/890,872 US20110150321A1 (en) 2009-12-21 2010-09-27 Method and apparatus for editing depth image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090128116A KR101281961B1 (ko) 2009-12-21 2009-12-21 깊이 영상 편집 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20110071522A true KR20110071522A (ko) 2011-06-29
KR101281961B1 KR101281961B1 (ko) 2013-07-03

Family

ID=44151196

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090128116A KR101281961B1 (ko) 2009-12-21 2009-12-21 깊이 영상 편집 방법 및 장치

Country Status (2)

Country Link
US (1) US20110150321A1 (ko)
KR (1) KR101281961B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101285111B1 (ko) * 2012-02-01 2013-07-17 (주)리얼디스퀘어 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치 및 방법
KR101294619B1 (ko) * 2012-01-31 2013-08-07 전자부품연구원 깊이 이미지 왜곡 보정 방법 및 이를 적용한 영상기기
KR20140065894A (ko) * 2012-11-22 2014-05-30 삼성전자주식회사 깊이 영상을 이용한 컬러 영상 처리 장치 및 방법
KR20140088697A (ko) * 2013-01-03 2014-07-11 삼성전자주식회사 깊이 영상 처리 장치 및 방법
KR20140128041A (ko) * 2013-04-26 2014-11-05 삼성전자주식회사 영상의 화질을 개선하는 장치 및 방법
KR101589670B1 (ko) * 2014-07-23 2016-01-28 (주)디넥스트미디어 깊이맵을 이용하여 2차원 동영상으로부터 3차원 동영상을 생성하는 방법

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
CN103403607A (zh) * 2011-03-04 2013-11-20 三星电子株式会社 多视点图像显示装置
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
KR102002165B1 (ko) 2011-09-28 2019-07-25 포토내이션 리미티드 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법
WO2013058735A1 (en) * 2011-10-18 2013-04-25 Hewlett-Packard Development Company, L.P. Depth mask assisted video stabilization
US9336625B2 (en) * 2011-10-25 2016-05-10 Microsoft Technology Licensing, Llc Object refinement using many data sets
US20130202194A1 (en) * 2012-02-05 2013-08-08 Danillo Bracco Graziosi Method for generating high resolution depth images from low resolution depth images using edge information
US9412206B2 (en) * 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
JP2013191011A (ja) * 2012-03-14 2013-09-26 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
CN104508681B (zh) 2012-06-28 2018-10-30 Fotonation开曼有限公司 用于检测有缺陷的相机阵列、光学器件阵列和传感器的系统及方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
CN104662589B (zh) 2012-08-21 2017-08-04 派力肯影像公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
EP2888698A4 (en) 2012-08-23 2016-06-29 Pelican Imaging Corp PROPERTY-BASED HIGH-RESOLUTION MOTION ESTIMATION FROM LOW-RESOLUTION IMAGES RECORDED WITH AN ARRAY SOURCE
US9436382B2 (en) 2012-09-18 2016-09-06 Adobe Systems Incorporated Natural language image editing
US9588964B2 (en) 2012-09-18 2017-03-07 Adobe Systems Incorporated Natural language vocabulary generation and usage
US10656808B2 (en) * 2012-09-18 2020-05-19 Adobe Inc. Natural language and user interface controls
US9412366B2 (en) 2012-09-18 2016-08-09 Adobe Systems Incorporated Natural language image spatial and tonal localization
WO2014052974A2 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating images from light fields utilizing virtual viewpoints
US8983176B2 (en) * 2013-01-02 2015-03-17 International Business Machines Corporation Image selection and masking using imported depth information
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
EP2973476A4 (en) 2013-03-15 2017-01-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
EP3201877B1 (en) 2014-09-29 2018-12-19 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
KR102115328B1 (ko) 2015-06-15 2020-05-26 한국전자통신연구원 전역 대조도 기반 영상 매팅을 통한 영상 내부의 관심 객체 추출 장치 및 방법
CN104992442B (zh) * 2015-07-08 2018-01-16 北京大学深圳研究生院 面向平面显示设备的视频立体化绘制方法
KR102535617B1 (ko) 2016-01-04 2023-05-24 한국전자통신연구원 깊이 영상에서의 객체 검출 시스템 및 방법
EP3547661A4 (en) * 2016-11-28 2019-12-04 Sony Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING AND PROGRAM
CN107025635B (zh) 2017-03-09 2020-01-24 Oppo广东移动通信有限公司 基于景深的图像饱和度的处理方法、处理装置和电子装置
US11189065B2 (en) * 2017-04-17 2021-11-30 Intel Corporation Editor for images with depth data
WO2021055585A1 (en) 2019-09-17 2021-03-25 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
MX2022004163A (es) 2019-10-07 2022-07-19 Boston Polarimetrics Inc Sistemas y metodos para la deteccion de estandares de superficie con polarizacion.
MX2022005289A (es) 2019-11-30 2022-08-08 Boston Polarimetrics Inc Sistemas y metodos para segmentacion de objetos transparentes usando se?ales de polarizacion.
WO2021154386A1 (en) 2020-01-29 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100496513B1 (ko) * 1995-12-22 2005-10-14 다이나믹 디지탈 텝스 리서치 피티와이 엘티디 영상변환방법및영상변환시스템과,부호화방법및부호화시스템
WO1999030280A1 (en) * 1997-12-05 1999-06-17 Dynamic Digital Depth Research Pty. Ltd. Improved image conversion and encoding techniques
EP1654884A1 (en) * 2003-08-05 2006-05-10 Koninklijke Philips Electronics N.V. Multi-view image generation
US7728878B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Labortories, Inc. Method and system for processing multiview videos for view synthesis using side information
US8384763B2 (en) * 2005-07-26 2013-02-26 Her Majesty the Queen in right of Canada as represented by the Minster of Industry, Through the Communications Research Centre Canada Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
US8213711B2 (en) * 2007-04-03 2012-07-03 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Method and graphical user interface for modifying depth maps
US8488868B2 (en) * 2007-04-03 2013-07-16 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
US20090219383A1 (en) * 2007-12-21 2009-09-03 Charles Gregory Passmore Image depth augmentation system and method
EP2232875A2 (en) * 2008-01-11 2010-09-29 Thomson Licensing Video and depth coding
EP2327059B1 (en) * 2008-10-02 2014-08-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Intermediate view synthesis and multi-view data signal extraction
KR101497659B1 (ko) * 2008-12-04 2015-03-02 삼성전자주식회사 깊이 영상을 보정하는 방법 및 장치
TW201028964A (en) * 2009-01-23 2010-08-01 Ind Tech Res Inst Depth calculating method for two dimension video and apparatus thereof
US9398289B2 (en) * 2010-02-09 2016-07-19 Samsung Electronics Co., Ltd. Method and apparatus for converting an overlay area into a 3D image
US9053573B2 (en) * 2010-04-29 2015-06-09 Personify, Inc. Systems and methods for generating a virtual camera viewpoint for an image
KR20110124473A (ko) * 2010-05-11 2011-11-17 삼성전자주식회사 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법
KR20120049636A (ko) * 2010-11-09 2012-05-17 삼성전자주식회사 영상 처리 장치 및 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101294619B1 (ko) * 2012-01-31 2013-08-07 전자부품연구원 깊이 이미지 왜곡 보정 방법 및 이를 적용한 영상기기
KR101285111B1 (ko) * 2012-02-01 2013-07-17 (주)리얼디스퀘어 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치 및 방법
KR20140065894A (ko) * 2012-11-22 2014-05-30 삼성전자주식회사 깊이 영상을 이용한 컬러 영상 처리 장치 및 방법
KR20140088697A (ko) * 2013-01-03 2014-07-11 삼성전자주식회사 깊이 영상 처리 장치 및 방법
KR20140128041A (ko) * 2013-04-26 2014-11-05 삼성전자주식회사 영상의 화질을 개선하는 장치 및 방법
KR101589670B1 (ko) * 2014-07-23 2016-01-28 (주)디넥스트미디어 깊이맵을 이용하여 2차원 동영상으로부터 3차원 동영상을 생성하는 방법

Also Published As

Publication number Publication date
US20110150321A1 (en) 2011-06-23
KR101281961B1 (ko) 2013-07-03

Similar Documents

Publication Publication Date Title
KR101281961B1 (ko) 깊이 영상 편집 방법 및 장치
KR100931311B1 (ko) 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법
CN109462747B (zh) 基于生成对抗网络的dibr系统空洞填充方法
JP5156837B2 (ja) 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法
US20160065931A1 (en) Method and Apparatus for Computing a Synthesized Picture
CN102113015B (zh) 使用修补技术进行图像校正
US20140009462A1 (en) Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects
KR101625830B1 (ko) 깊이 맵을 생성하기 위한 방법 및 디바이스
KR101590763B1 (ko) Ｄｅｐｔｈ ｍａｐ 오브젝트의 영역 확장을 이용한 ３ｄ 영상 생성 장치 및 방법
KR20180132946A (ko) 멀티-뷰 장면 분할 및 전파
CN103561258B (zh) 一种Kinect深度视频时空联合修复方法
US20100080448A1 (en) Method and graphical user interface for modifying depth maps
JP2015522198A (ja) 画像に対する深度マップの生成
US9041773B2 (en) Conversion of 2-dimensional image data into 3-dimensional image data
JP2009500752A (ja) ビデオオブジェクトのカットアンドペースト
US20110080463A1 (en) Image processing apparatus, method, and recording medium
US9578312B2 (en) Method of integrating binocular stereo video scenes with maintaining time consistency
Do et al. Quality improving techniques for free-viewpoint DIBR
CN104378619B (zh) 一种基于前后景梯度过渡的快速高效的空洞填补算法
CN110660131B (zh) 一种基于深度背景建模的虚拟视点空洞填补方法
JP2012170067A (ja) トレリス構造を用いてシーンの仮想画像を生成する方法とシステム
KR101549929B1 (ko) 깊이 지도를 생성하는 방법 및 장치
CN108924434B (zh) 一种基于曝光变换的立体高动态范围图像合成方法
KR100960694B1 (ko) 다시점 영상 매팅 시스템과 방법 및 이를 수록한 저장매체
US20140125778A1 (en) System for producing stereoscopic images with a hole filling algorithm and method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee