KR102138950B1 - 조합된 깊이 큐들에 기초하여 모노스코픽 이미지로부터 깊이 맵 생성 - Google Patents

조합된 깊이 큐들에 기초하여 모노스코픽 이미지로부터 깊이 맵 생성 Download PDF

Info

Publication number
KR102138950B1
KR102138950B1 KR1020157007981A KR20157007981A KR102138950B1 KR 102138950 B1 KR102138950 B1 KR 102138950B1 KR 1020157007981 A KR1020157007981 A KR 1020157007981A KR 20157007981 A KR20157007981 A KR 20157007981A KR 102138950 B1 KR102138950 B1 KR 102138950B1
Authority
KR
South Korea
Prior art keywords
depth map
image
determining
motion
pixels
Prior art date
Application number
KR1020157007981A
Other languages
English (en)
Other versions
KR20150079576A (ko
Inventor
첸 우
데바르가 무케지
밍 왕
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20150079576A publication Critical patent/KR20150079576A/ko
Application granted granted Critical
Publication of KR102138950B1 publication Critical patent/KR102138950B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination

Abstract

이미지에 대한 컬러 깊이 맵, 공간 깊이 맵, 및 모션 깊이 맵의 가중화된 조합에 기초하여 모노스코픽 이미지에 대한 조합된 깊이 맵이 생성되며, 이들 각각의 깊이 맵들은 이미지 평면에 대한 픽셀들의 깊이를 나타낸다. 컬러 깊이 맵은 픽셀들의 컬러들에 따라 픽셀들의 깊이를 결정하며, 공간 깊이 맵은 이미지 내에서의 픽셀들의 위치에 따라 픽셀들의 깊이를 결정하며, 모션 깊이 맵은 이미지 내에서의 픽셀들의 움직임에 따라 픽셀들의 깊이를 결정한다. 각각의 깊이 맵들은 가중치와 관련되며, 가중치는 가중화된 조합을 생성하는데 이용된다. 상기 가중치들은 서로 다른 모노스코픽 이미지들 간의 변동을 처리할 수 있도록 적응형이다.

Description

조합된 깊이 큐들에 기초하여 모노스코픽 이미지로부터 깊이 맵 생성{DEPTH MAP GENERATION FROM A MONOSCOPIC IMAGE BASED ON COMBINED DEPTH CUES}
본 발명은 비디오 프로세싱에 관한 것이며, 특히 모노스코픽(monoscopic) 이미지들을 스테레오스코픽(stereoscopic) 3D 이미지들로 변환하는 것에 관한 발명이다.
스테레오 혹은 "3D" 비디오들은 입체시(stereopsis)를 시뮬레이션함으로써 깊이 지각의 환영(illusion of depth perception)을 증가시키며, 따라서 시차(parallax)의 시뮬레이션을 통해 깊이의 환영을 생성할 수 있다. 하지만, 스테레오 비디오의 광범위한 채택을 늦추는 요인들 중 하나는, 스테레오 포맷의 비디오들의 가용성(availability)이다. 전통적으로, 스테레오 비디오들을 생성하는 주된 방법은, 깊이 정보를 캡춰하기 위하여 서로 다른 시점들로 앵글된 2개의 서로 다른 카메라들을 이용하여 스테레오로 촬영하는 것이었다. 스테레오로 촬영하는 것과 관련된 어려움(difficulty) 및 고비용으로 인하여, 현재까지 상대적으로 적은 수의 스테레오 비디오들이 생성되었다.
또한, 모노스코픽 이미지들의 스테레오 비디오 출력을 생성하는 것이 현재 가능하긴 하지만, 현존하는 몇몇 기술들은 객체 분할(object segmentation)에 의존하여 이미지 내의 객체들을 식별하고, 그리고 이미지의 평면(plane)에 대한 객체들의 깊이들을 대략적으로 결정한다. 객체 분할은 객체들의 경계들을 부정확하게 판별할 수도 있는바, 이는 부정확한 깊이 할당들을 야기하므로, 이미지 내에서 어떤 객체들이 돌출되는지(projected) 그리고 어떤 객체들이 리세스(recess)되는지를 시청자들이 식별하는 것을 어렵게 할 수 있다. 그 결과, 기존의 기술들은 이미지 내의 객체들의 깊이를 일관적으로 그리고 정확한 방식으로 묘사하는 모노스코픽 이미지들로부터 스테레오스코픽 이미지들을 생성할 수 없는 것이 일반적이다.
이미지에 대한 컬러 깊이 맵, 공간 깊이 맵, 및 모션 깊이 맵의 가중화된 조합에 기초하여 모노스코픽 이미지에 대한 조합된 깊이 맵이 생성되며, 이들 각각의 깊이 맵 들은 이미지 평면에 대한 픽셀들의 깊이를 나타낸다. 일실시예에서, 각각의 깊이 맵들은 가중치와 관련되며, 가중치는 가중화된 깊이 맵을 계산하는데 이용된다. 상기 가중치들은 서로 다른 모노스코픽 이미지들 간의 변동을 처리할 수 있도록 적응형이 될 수 있다. 일실시예에서, 깊이 맵은 가중치들의 세트에 관련될 수 있는바, 개별 픽셀 또는 픽셀의 그룹에 대한 가중치들을 포함하여 각각의 가중치는 이미지의 일부분에 대응한다.
컬러 깊이 맵은 픽셀의 컬러에 기초하여, 이미지 내의 각 픽셀의 깊이를 나타낸다. 유사한 컬러들을 갖는 픽셀들은 유사한 깊이들을 가질 것이다라는 결정에 기초하여 컬러 깊이 맵이 생성되며, 이는 픽셀의 컬러와 픽셀 깊이에 대한 결정을 연관시키는 컬러 깊이 함수를 제공한다. 일실시예에서, 이미지 내의 컬러들의 분포에 기초하여, 컬러 깊이 맵에 대한 가중치가 결정된다. 컬러 깊이 맵 가중치는 컬러 콘트라스트에 따라 스케일링되며, 컬러 콘트라스트는 컬러에 기초하여 깊이를 수량화한 것의 신뢰도를 나타낸다.
대표적인 모노스코픽 이미지들의 매우 큰 컬렉션(collection)에 대해서 각 위치에서 픽셀들의 깊이를 평균화함으로써 공간 깊이 맵이 생성된다. 공간 깊이 맵을 생성함에 있어서, 각각의 픽셀 위치에서의 픽셀 깊이의 분산을 나타내는 분산 맵이 또한 생성될 수 있다.공간 깊이 맵 가중치는 상기 분산 맵에 의해서 표시되는 분산에 기초하여 결정된다. 분석될 각각의 픽셀 위치에 대하여, 분산 맵이 액세스되며 그리고 각 위치에서의 분산에 반비례하게(inversely) 공간 깊이 맵 가중치가 스케일링된다
모션 깊이 맵은 픽셀들의 로컬 모션에 기초하여 픽셀들의 깊이를 결정하는바, 더 빠른 움직임을 갖는 픽셀들은 이미지의 전경(foreground)에 보다 가깝다라는 결정을 이용한다. 2개의 프레임들 간의 픽셀들의 전체 모션(total motion)으로부터 카메라 모션을 감산함으로써 로컬 모션이 계산된다. 모션 깊이 함수는 계산된 로컬 모션을 픽셀 깊이 맵에 연관시킨다. 모션 깊이 맵을 위한 가중치는 이미지 내의 모션의 양에 기초하여 결정된다. 이미지에서 로컬 모션을 갖는 픽셀들의 퍼센티지가 결정되며, 그리고 움직이는 픽셀들의 퍼센티지의 함수로서, 모션 깊이 맵 가중치가 증가되거나 또는 감소된다.
전술한 본 발명의 피처들 및 장점들과 다음에 설명될 발명의 상세한 설명은 모두를 포괄한 것은 아니다. 본 출원의 도면들, 상세한 설명들 및 청구항들을 참조하면, 추가적인 많은 피처들 및 장점들이 해당 기술분야의 당업자에게 명백해질 것이다.
도1은 본 발명의 일실시예에 따른 이미지의 조합된 깊이 맵을 생성하는 방법의 개관을 대략적으로 도시한다.
도2는 본 발명의 일실시예에 따른 깊이 맵 생성 모듈의 블록도이다.
도3은 본 발명의 일실시예에 따라 모션 깊이 맵 가중치를 생성하기 위한 프로세스의 순서도이다.
도4는 본 발명의 일실시예에 따라 이미지의 조합된 깊이 맵을 생성하기 위한 프로세스의 순서도이다.
이러한 도면들은 본 발명의 여러 실시예들을 단지 예시적인 목적으로 묘사한 것이다. 해당 기술분야의 당업자라면 다음에 논의되는 내용으로부터 본 발명의 원리들을 벗어남이 없이도 본 명세서에 설명된 구조들 및 방법들에 대한 대안적인 실시예들이 적용될 수 있음을 능히 이해할 수 있을 것이다.
개관
도1은 이미지의 조합된 깊이 맵을 생성하기 위한 프로세스의 개관을 예시한다. 비디오 프레임(102)은 모노스코픽 이미지이며, 본 발명의 일실시예에서 비디오 프레임(102)은 모노스코픽 카메라로 촬영된 비디오의 프레임이다. 비디오 프레임(102)은 복수의 픽셀들을 가지며, 하나 이상의 객체들을 묘사할 수 있다. 비디오 프레임(102)이 모노스코픽 카메라에 의해서 촬영되었기 때문에, 비디오 프레임(102)의 픽셀들은 동일 평면(본 명세서에서 이미지 평면이라 지칭됨) 상에 존재한다. 상기 픽셀들은 비디오 프레임(102)에 의해서 묘사되는 객체들의 오리지널 깊이 관계들(original depth relationships)을 분명하게 서술하지 않는다.
하지만, 비디오 프레임(102)에 대한 다양한 깊이 맵들을 생성함으로써, 비디오 프레임(102)의 픽셀들의 오리지널 깊이 관계들에 대한 표현(representation)이 생성될 수 있다. 컬러 깊이 맵(104)은, 픽셀들의 컬러를 픽셀들의 깊이에 대한 표시자(indicator)로 이용하여, 비디오 프레임(102)의 픽셀들의 깊이들을 판별한다. 공간(spatial) 깊이 맵(106)은, 이미지의 소정 평면들에 있는 객체들은 특정 깊이를 가질 것이라는 가정에 기초하여, 이미지 내의 픽셀들의 위치를 이용하여 깊이를 판별한다. 모션(motion: 이하, '모션' 혹은 '움직임' 이라 함) 깊이 맵(108)은 2개의 프레임들 사이에서의(가령, 프레임 I-1와 프레임 I 사이에서의) 움직임(motion)을 이용하여, 픽셀 깊이를 판별한다. 컬러 깊이 맵(104), 공간 깊이 맵(106), 모션 깊이 맵(108) 각각은, 픽셀 당 깊이 값들을 제공하는바, 이러한 픽셀 당 깊이 값들은, 비디오 프레임(102)의 평면에 수직한 방향으로 픽셀이 돌출되게 혹은 리세스되게 표현되는 양(amount)을 나타낸다. 일실시예에서, 큰 깊이 값은 픽셀이 프레임의 후면(back) 부근에 있음을 나타내는 반면에, 작은 깊이 값 혹은 네가티브 깊이 값은, 픽셀이 평면의 전면(front) 부근에 있음을 나타낸다.
여러 개의 깊이 맵들을 조합함으로써, 이미지의 다양한 피처들을 채용하여 픽셀 깊이를 판별하는 개선된 깊이 맵이 생성될 수 있다. 조합된 깊이 맵(110)은 컬러 깊이 맵(104), 공간 깊이 맵(106), 및 모션 깊이 맵(108)의 선형 조합이다. 일실시예에서, 조합된 깊이 맵(110)은 픽셀-바이-픽셀 기반(pixel-by-pixel basis)으로 계산된다. 예를 들어, 컬러 깊이 맵(104)에 의해서 표시되는 깊이 Dcolor, 공간 깊이 맵(106)에 의해서 표시되는 깊이 Dspatial, 및 모션 깊이 맵(108)에 의해서 표시되는 깊이 Dmotion 각각은, 비디오 프레임(102)의 위치(x, y)에서의 픽셀의 깊이를 나타내며, 조합된 깊이 맵 D(x, y)는 다음과 같이 표현될 수 있다.
Figure 112015030436310-pct00001
(1)
여기서, w1은 컬러 깊이 맵 가중치이고, w2은 공간 깊이 맵 가중치이며, w3은 모션 깊이 맵 가중치이다. 다른 실시예에서, 조합된 깊이 맵(110)은 이미지의 픽셀들의 그룹들에 대해서 결정된다. 각 부분에서 깊이를 가장 정확하게 판별하도록, 비디오 프레임(102)의 다양한 픽셀들에 대해서 동일한 혹은 서로 다른 가중치들을 이용하여, 이미지의 다른 부분들의 다른 피처들을 이용하여, 조합된 깊이 맵(110)이 생성될 수 있다.
조합된 깊이 맵(110)은 모노스코픽 이미지로부터 스테레오스코픽 이미지를 생성하는데 이용될 수 있다. 일실시예에서는, 비디오 프레임(102)과 동일하지만 오프셋 픽셀들을 갖는 프레임을 생성하는데, 깊이 이미지 기반의 렌더링(Depth Image Based Rendering: DIBR)이 이용될 수도 있다. 예를 들어, 비디오 프레임(102)이 좌측 프레임으로 이용된다면, DIBR은 조합된 깊이 맵(110)에 의해서 묘사된 깊이들에 기초하여 좌측 프레임으로부터 픽셀들을 쉬프트함으로써 우측 프레임을 생성한다.
도2는 본 발명의 일실시예에 따라 조합된 깊이 맵(110)을 생성하는 깊이 맵 생성 모듈(200)의 블록도이다. 깊이 맵 생성 모듈(200)은 컬러 깊이 맵 생성기(202), 공간 깊이 맵 생성기(204), 모션 깊이 맵 생성기(206), 및 조합된 깊이 맵 모듈(208)을 포함한다. 깊이 맵 생성 모듈(200)의 대안적인 실시예들은 여기에 서술된 것들과 다른 및/또는 추가 모듈들을 갖는다. 이와 유사하게, 여기에 서술된 것과 다른 방식으로 모듈들 사이에서 기능들이 분산될 수도 있다.
깊이 맵 생성 모듈(200)은 비디오 데이터베이스(212)와 통신하도록 구성될 수 있다. 일실시예에서 깊이 맵 생성 모듈(200)은 인터넷 등의 네트워크를 통하여 비디오 데이터베이스(212)와 통신한다. 다른 실시예에서 깊이 맵 생성 모듈(200)은 하드웨어 혹은 전용 데이터 통신 기법을 통하여 비디오 데이터베이스(212)와 통신한다. 비디오 데이터베이스(212)는 다양한 소스들로부터 획득된 모노스코픽 및 스테레오스코픽 비디오들을 저장한다. 대안적으로 혹은 추가적으로 비디오 데이터베이스(212)는 개별 이미지들을 저장할 수도 있다. 비디오 데이터베이스(212) 내의 비디오들 혹은 이미지들은, 사용자들 예컨대, 비디오 저장소(repository) 혹은 비디오 호스팅 웹사이트에 비디오를 업로딩하는 사용자들로부터 획득될 수도 있다. 비디오 데이터베이스(212) 내의 비디오들은 복수의 프레임들을 포함하며, 이들 각각은 픽셀들의 2차원 어레이를 갖는다. 픽셀의 특정 컬러는, 가령 RGB 혹은 YCbCr 컬러 스페이스 등의 컬러 스페이스에서 정의될 수 있다.
깊이 맵 생성 모듈(200)은, 이미지 평면에 대한 각 프레임 내의 픽셀들의 깊이를 나타내는 하나 이상의 깊이 맵들을 생성하도록, 비디오 프레임들을 프로세싱한다. 일실시예에서, 깊이 맵 생성 모듈(200)은, 그 각각이 프레임 내의 서로 다른 깊이 큐들(depth cues)을 이용하여 생성된 여러 개의 깊이 맵들을 생성하고, 그리고 상기 깊이 맵들을 픽셀 깊이들의 단일 표현(single representation)으로 조합한다. 깊이 맵 생성 모듈(200)의 컬러 깊이 맵 생성기(202), 공간 깊이 맵 생성기(204), 및 모션 깊이 맵 생성기(206) 각각은, 서로 다른 깊이 큐를 이용하여 깊이 맵들을 생성하며, 이들은 깊이 맵 모듈(208)에 의해서 조합된다.
컬러 깊이 맵 생성기(202)는 비디오 프레임(102)을 입력으로서 수신하고 그리고 픽셀들의 깊이들을 판별하기 위한 컬러 큐들(cues)을 이용하여 프레임에 대한 깊이 맵을 생성한다. 일반적으로, 컬러 깊이 맵 생성기(202)는 픽셀 컬러와 깊이를 상관시키는 경험적으로 정의된(heuristically-defined) 규칙들에 기초하여, 서로 다른 컬러들(혹은 컬러들의 범위들)을 서로 다른 깊이들에 연관시킨다. 일실시예서, 이러한 규칙은 히스토리컬(historical) 깊이 데이터에 대한 분석에 의해서 정의된다. 컬러 깊이 맵 생성기(202)는, 비디오 데이터베이스(212)의 이미지들의 샘플 세트를 분석하는바, 이들 이미지들은 스테레오스코픽 렌즈들로 촬영되었으며 그리고 각 픽셀 컬러에 대한 깊이 정보가 알려진 것이다. 픽셀 컬러는 픽셀에서 각각의 원색(primary color)의 강도를 나타내는 트리플렛(triplet)에 의해서 특정될 수 있다. 예를 들어, RGB 컬러 스페이스에서, 백색은 (100%, 100%, 100%), (255, 255, 255), 혹은 #FFFFFF 로 표현될 수 있는바, 이는 적색, 녹색, 및 청색 성분의 최대 강도를 나타낸다. 이러한 히스토리컬(historical) 컬러 깊이 데이터에 기초하여, 컬러 깊이 맵 생성기(202)는, 각각의 컬러(혹은 컬러 범위)의 픽셀들에 대한 평균 깊이 혹은 다른 성능 지수(figure of merit)를 결정한다. 평균 깊이는, 가령, 각각의 컬러 트리플렛을 깊이 값에 연관시키는 룩업 테이블과 같은, 컬러 깊이 프라이어(color depth prior)로 통합될 수도 있다. 컬러 깊이 맵 생성기(202)에 의해 생성되는 컬러 깊이 프라이어(color depth prior)는 예컨대, 적색을 더 많이 갖는 픽셀들에 연관된 작은 깊이 값들(즉, 프레임의 전면(front)에 보다 가까운)을 나타낼 수도 있으며, 그리고 청색을 더 많이 갖는 픽셀들에 연관된 높은 깊이 값들(즉, 프레임의 후면(back)에 보다 가까운)을 나타낼 수도 있다. 이러한 관련성은 이미지들의 배경(background)에 자주 등장하는 가령, 하늘 혹은 나무들(주로 청색을 가짐)과 같은 객체들로부터 유발될 수 있으며, 반면에 사람들(주로, 적색을 가짐)과 같은 객체들은 종종 전경(foreground)에 위치된다.
다른 실시예들에서, 컬러 깊이 맵 생성기(202)는 픽셀 색의 적색 및 청색 성분들의 상대적인 강도에 기초하여, 적색 픽셀들을 낮은 깊이 값들(즉, 프레임의 전면(front)에 보다 가까운)에 연관시키고 그리고 청색 픽셀들을 높은 깊이 값들(즉, 프레임의 후면(back)에 보다 가까운)에 연관시키도록, 룩업 테이블(혹은 이와 동등한 기능)을 이용할 수도 있다. YCbCr 컬러 스페이스에서는, 예를 들어, 룩업 테이블(혹은 이와 동등한 기능)은, 픽셀들의 청색(Cb) 및 적색(Cr) 차이 성분들의 선형 조합을 픽셀들의 판별된 깊이에 관련시킬 수 있다. 청색 픽셀들은 통상적으로 프레임의 후면(back)에 가까운 객체들에 연관된다라는 가정에 기초하여, 더 큰 Cb 성분은 더 큰 깊이를 야기하는 반면에, 더 큰 Cr 성분은 더 작은(혹은 네가티브) 픽셀 깊이를 야기하도록, 컬러 깊이 함수가 가중화(weighted)될 수도 있다. 예를 들어, 픽셀 깊이 Dcolor 는, 다음과 같은 형태의 컬러 깊이 함수에 의해서 표현될 수 있다.
Figure 112015030436310-pct00002
(2)
여기서, α와 β 는 픽셀들로부터 유도된다. β 값은 Cb 및 Cr 에 대해서 가능한 값들의 범위의 크기를 나타낸다. 예를 들어, Cb 및 Cr 가 0에서 255 사이의 임의의 값을 가질 수 있다면, β 는 255이다.
일실시예에서, 분석되는 이미지 혹은 이미지들의 픽셀들의 차이 성분들(difference components) Cb 및 Cr 사이에서 이미지 내의(혹은 여러 이미지들에 대한) 최대 스프레드(maximum spread)의 방향을 결정하는 기본 성분 분석을 수행함으로써, 컬러 깊이 맵 생성기(202)는 α를 결정한다.
픽셀들의 색상들에 대한 RGB 표현들을 YCbCr 표현들로 변환한 이후에, 만일 적용가능하다면, 컬러 깊이 맵 생성기(202)는 분석된 모든 픽셀들에 대하여 a 및 b에 대한 값을 결정하는바, 여기서, a = Cr-128 이고 b = Cb-128 이다. 3개의 서로 다른 예상값들(expectations)이 계산된다. 즉, Sa = E(a2), Sb = E(b2), 및 Sab = E(ab) 이며, 여기서 예상값 E(z)는 분석된 모든 픽셀들에 대한 z의 평균 값이다. 예상값들 Sa, Sb, 및 Sab 는 매트릭스 C를 생성하는데 이용되며, 매트릭스 C는 다음과 같이 정의된다.
Figure 112015030436310-pct00003
기본 성분 분석은 상기 C의 고유 값(eigenvalue) 및 고유 벡터(eigenvector)를 결정하고 그리고 2개의 고유 값들 중 큰 것에 해당하는 고유 벡터 v를 선택한다. 그 요소들의 합이 1이 되도록 스케일링되는 때, v는 α 및 1-α 라는 요소들을 갖는다. 컬러 깊이 맵 생성기(202)는 수식 (2)의 컬러 깊이 함수를 이용하여 비디오 프레임(102)에 대한 컬러 깊이 맵(104)을 생성한다.
일실시예에서, 컬러 깊이 맵 생성기(202)는 실외 장면(outdoor scene) 혹은 실내 장면(indoor scene)을 묘사하는 것으로서 이미지를 분류함으로써, 컬러 깊이 맵을 개선시킨다. 각각이 그 분류(classification)에 따라 라벨링된 실내, 실외, 및 배경 이미지들을 포함하는 이미지들의 트레이닝 세트를 수집함으로써, 이미지에 대한 이러한 분류가 결정될 수 있다. 가령, 각 이미지 내의 픽셀들의 색상들 등과 같은 피처들이 트레이닝 이미지들로부터 추출된다. 컬러 깊이 맵 생성기(202)는 지원 벡터 머신(support vector machine:SVM)과 같은 분류기(classifier)를 이용하여, 추출된 피처들에 따라 이미지 라벨들에 기초하여 이미지들을 분류하기 위한 모델을 확립한다. 각각의 분류에 대하여 서로 다른 컬러 깊이 프라이어들(priors)이 생성될 수도 있다. 새로운, 분류되지 않은 이미지가 수신되는 경우, 컬러 깊이 맵 생성기(202)는 새로운 이미지로부터 동일한 피처들을 추출하며 그리고 트레이닝된 모델을 적용하여, 새로운 이미지에 대한 분류를 결정한다. 다음으로, 이미지의 분류에 대한 컬러 깊이 프라이어로부터 이미지 내의 픽셀들의 깊이가 결정된다.
공간 깊이 맵 생성기(204)는 프레임 내의 다양한 위치들에서의 평균 픽셀 깊이에 기초하여, 비디오 프레임(102)에 대한 또 다른 깊이 맵을 생성한다. 평균 픽셀 깊이를 결정하기 위하여, 공간 깊이 맵 생성기(204)는, 비디오 데이터베이스(212) 내의 이미지들의 샘플 세트를 분석하는바, 이들 이미지들은 스테레오스코픽 렌즈들로 촬영되었으며 그리고 각각의 픽셀 위치에 대해 알려진 깊이 정보를 갖는다. 픽셀 위치는 실제 좌표 쌍(x, y)에 관하여 표현될 수 있거나 혹은 이미지 원점(origin)으로부터의 오프셋의 퍼센티지에 기초하는 상대적인 위치에 관하여 표현될 수도 있는바 예컨대, (x%, y%)로 표현될 수 있으며, 여기서 x%는 주어진 픽셀에 대한 전체 이미지 폭의 퍼센티지이다. 따라서, 640×480 이미지에서 (320, 240)에 위치한 픽셀은 (0.50, 0.50)의 위치에 있는 것이다. 매우 많은 수의 3D 이미지들에 대하여, 미리결정된 위치들에 있는 픽셀들의 알려진 깊이들을 평균화함으로써, 공간 깊이 맵 생성기(204)는 공간 깊이 프라이어(spatial depth prior)(각각의 위치에서의 픽셀 깊이들의 통계적인 평균을 나타냄) 및 분산 프라이어(variance prior)(각각의 위치에서의 픽셀 깊이들의 분산을 나타냄)를 생성한다. 공간 깊이 프라이어는 픽셀 위치들을 깊이들에 연관시키는 룩업 테이블로서 구성될 수도 있다. 이와 유사하게, 분산 프라이어는 픽셀 위치들을 깊이 분산들에 연관시키는 룩업 테이블로서 구성될 수도 있다.
공간 깊이 맵 생성기(204)에 의해서 생성된 공간 깊이 프라이어는, 이미지의 중심 및 바닥(bottom) 부근에 위치한 픽셀들에 관련된 작은 깊이 값들 및 이미지의 최상부(top) 및 측면들(sides) 부근에 위치한 픽셀들에 대한 큰 깊이 값들을 나타낼 수 있는데, 이는 프레임의 중심 및 바닥 부근의 객체들은 통상적으로 이미지의 전경(foreground)에 배치되기 때문이다. 일실시예에서, 공간 깊이 맵 생성기(204)는 여러 개의 가능한 장면 분류들(scene classifications) 각각에 대해 하나씩인 여러 개의 공간 깊이 프라이어들을 결정한다. 예를 들어, 공간 깊이 맵 생성기(204)는 전술한 바와 같이 지원 벡터 머신에 의해서 분류되는, 실외 및 실내 장면들에 대해서 별도의 공간 깊이 프라이어들을 생성할 수도 있다. 일실시예에서, 공간 깊이 맵 생성기(204)가 모노스코픽 비디오 프레임(102)을 입력으로 수신하는 경우, 공간 깊이 맵 생성기(204)는 픽셀의 위치에 따라 공간 깊이 프라이어 내의 이미지의 픽셀에 대해 깊이 값을 설정함으로써 공간 깊이 맵(106)을 생성한다. 이러한 결정은 이미지 내의 각 픽셀(혹은 픽셀들의 그룹)에 대해서 수행될 수 있다. 다른 일실시예에서, 공간 깊이 맵 생성기(204)는 픽셀에 대한 깊이 값을 생성하도록, 공간 깊이 프라이어에 의해서 특정된 값을 스케일링할 수 있다. 예를 들어, 공간 깊이 프라이어 내의 평균 값은 "실외" 분류에 속하는 이미지들에 대해서 더 커지도록 스케일링될 수 있는바, 이는 실외 장면들에서 필드(field)의 잠재적으로 더 큰 깊이를 설명할 수 있다.
모션 깊이 맵 생성기(206)는 카메라의 움직임에 대한, 비디오 프레임(102)의 픽셀들의 움직임(motion)에 기초하여 비디오 프레임(102)의 깊이 맵을 생성한다. 모션 깊이 맵 생성기(206)는, 가장 움직임이 많은 객체들은 통상적으로 프레임의 전면(front)에 가까울 것이라는 가정을 이용하여, 깊이를 결정한다. 도3은 2개의 프레임들 사이에서 움직임을 계산하고 그리고 이러한 움직임에 기초하여 깊이를 결정하기 위하여 모션 깊이 맵 생성기(206)에 의해 채용되는 프로세스를 예시한다.
움직임을 계산하기 위하여, 모션 깊이 맵 생성기(206)는 가령, 비디오 프레임(102) 및 비디오 시퀀스에서 비디오 프레임(102)에 선행하는 프레임 등과 같은 2개 이상의 비디오 프레임들을 입력으로서 수신한다.
가령, 해당 기술분야의 당업자에게 알려진 피처 검출 알고리즘 등을 이용하여, 단계 302에서 프레임들로부터 피처들이 추출된다. 이들 피처들은 컬러 피처들(예컨대, HSV 컬러 스페이스에서의 색조(hue) 및 포화도(saturation)), 텍스처 피처들(예컨대, Gabor 웨이브렛으로부터의), 에지 피처들(예컨대, Canny 에지 디텍터에 의해서 검출된 것들), 라인 피처들(예컨대, 확률적 허프 변환(probabilistic Hough Transform)에 의해서 검출된 것들), 혹은 SIFT(Scale Invariant Feature Transform), GLOH(Gradient Location and Orientation Histogram), LESH(Local Energy based Shape Histogram) 또는 SURF(Speeded Up Robust Features) 등과 복수의 이미지 피처들 중 임의의 것을 포함할 수 있다. 일실시예에서는, 라플라시안-오브-가우시안 필터(Laplacian-of-Gaussian filter)들이 이용되어 하나의 프레임 내에서 관심있는 포인트들을 검출할 수 있으며 그리고 로컬 영역 상의 텍스처 피처들에 대한 118-차원(dimension) Gabor 웨이브렛(Gabor wavelet)을 계산함으로써, 로컬 피처들이 결정될 수 있다. 일실시예에서, 모션 깊이 맵 생성기(206)는 각각의 프레임으로부터 대략(on the order of) 103 개의 피처들을 추출한다. 피처들을 추출한 이후에, 모션 깊이 맵 생성기(206)는 입력 프레임들 사이에서의 추출된 피처 포인트들의 움직임을 계산함으로써 이미지의 글로벌 모션을 결정한다(단계 304). 글로벌 모션은 카메라 그 자체의 이동(movement)을 나타낸다. 예를 들어, 비디오를 촬영하는 동안에 카메라가 왼쪽에서부터 오른쪽으로 고정된 속도로 패닝(panning)하였다면, 그 비디오는 상기 고정된 속도에 대응하는 글로벌 모션을 갖게될 것이다. 글로벌 플로우(global flow)를 결정하기 위하여, 로컬 모션(local motion)을 갖는 비디오 내의 객체들은 각 프레임의 픽셀들 중 작은 서브세트만을 포함할 것이라고 가정된다. 대다수의 픽셀들은 2개의 프레임들 사이에서 동일한 모션을 가질 것이다. 대다수의 픽셀들에 의해서 공유되는 모션은 이미지의 글로벌 모션이다. 일실시예에서, 상기 플로우의 로부스트 피트(robust fit)를 결정하는데 랜덤 샘플 컨센서스(RANSAC) 알고리즘이 이용될 수 있으며, 로컬 모션을 갖는 외곽(outlying) 픽셀들은 글로벌 플로우를 결정하기 위해 무시된다. 로컬 모션을 갖지 않는 픽셀들은, 그 분포가 글로벌 플로우에 의해서 설명될 수 있는 데이터 포인트들인, 인라이어들(inliers)이 되도록 RANSAC 알고리즘에 의해서 결정될 수 있다. RANSAC은, Martin A. Fischler 와 Robert C. Bolles의 저서인 "Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography" Comm. of the ACM 24 (6), 381-395, 에 개시되어 있으며, 상기 문헌은 참조로서 본 명세서에 통합된다.
RANSAC 알고리즘은, 호모그래피 A(homography A)를 출력하는바, 이는 한 프레임 내의 픽셀의 위치를 후속 프레임에서의 그것의 위치에 매핑시킨다. 예를 들어, 하나의 픽셀이 프레임 I0 에서는 위치(x0, y0)에 있고 프레임 I1 에서는 위치(x1, y1)에 있다고 가정하면, 다음과 같이 RANSAC 알고리즘은, 변환의 에러를 최소화시키기 위하여 3×3 호모그래피 A 를 결정한다.
Figure 112015030436310-pct00004
(2)
인라이어들(inliers)이 될 것이라고 결정된 모든 픽셀들에 대하여, λ는 스칼라 값이라고 가정된다. 호모그래피를 결정한 이후, 모션 깊이 맵 생성기(206)는 매트릭스 A의 행렬식 M(determinant M)을 계산하며, 이는 비디오 프레임(102)의 픽셀들의 글로벌 모션을 수량화한다.
또한, 모션 깊이 맵 생성기(206)는 단계 306에서 이미지 내의 각 픽셀에 대한 전체 모션 벡터들을 생성한다. 일실시예에서, 전체 모션 벡터들은 해당 기술분야의 당업자에게 알려진 옵티컬(optical) 플로우 알고리즘에 의해서 결정된다. 옵티컬 플로우는
예를 들어, 옵티컬 플로우는 Berthold K.P. Horn과 Brian G. Schunck (1981)의 "Determing Optical Flow," artificial Intelligence 17: 185-203 에 개시되어 있다. 모션 깊이 맵 생성기(206)에 의해서 채용된 옵티컬 플로우 알고리즘은 픽셀 강도의 공간적 및 시간적 도함수들(derivatives)에 기초하여 비디오의 프레임들 사이에서 픽셀들의 속도를 측정하며, 블록 매칭법, 위상 상관법(phase correlation), 혹은 다수의 변분법들(variational methods) 등의 방법들에 의해서 풀이될 수 있다.
단계 308에서 모션 깊이 맵 생성기(206)는 개별 픽셀의 모션 벡터로부터 프레임의 글로벌 모션 M 을 감산함으로써, 각 픽셀의 로컬 모션을 계산한다. 보다 상세하게는, 로컬 모션은, 전체 모션 벡터의 크기와 호모그래피 A 의 행렬식 M 사이의 차이값(difference)이다. 다음으로, 단계 310에서는, 보다 고속으로 움직이는 객체들은 프레임의 전경(foreground)에 있다라는 가정에 기초하여, 픽셀 깊이가 결정될 수 있다.
일실시예에서는, 모션을 갖는 것 또는 모션을 갖지 않는 것으로 각각의 픽셀을 분류하기 위하여, 모션 깊이 맵 생성기(206)는 각 픽셀의 로컬 모션에 임계값을 적용한다. 모션을 갖는 것으로 판별된 이들 픽셀들은 깊이 값 0이 할당될 수 있으며(이들을 전경에 위치시킴), 그리고 모션을 갖지 않는 것으로 판별된 픽셀들은 깊이 값 255가 할당될 수 있다(이들을 배경(background)에 위치시킴).
깊이 맵 모듈(208)은 컬러 깊이 맵, 공간 깊이 맵, 및 모션 깊이 맵의 가중화된 조합을 계산함으로써, 조합된 깊이 맵을 생성한다. 컬러 깊이 맵 가중치 w1, 공간 깊이 맵 가중치 w2, 및 모션 깊이 맵 가중치 w3 는, 깊이 맵 모듈(208)이 각각의 개별 깊이 맵들로부터 조합된 깊이 맵(110)을 생성할 수 있게 한다. 일실시예에서, 가중치 w1, w2, 및 w3 각각은 0에서 1까지의 값을 가지며, 이들 값들이 전부 합산되면 1이 된다.
일실시예에서, 깊이 맵 모듈(208)은 가중치 w1, w2, 및 w3 을 경험적으로(heuristically) 결정한다. 다른 실시예에서, 가중치들은 프레임의 피처들에 기초하여 적응적(adaptive)이며, 그리고 다양한 위치들에서의 피처들에 따라 프레임에서 가변할 수도 있다.
적응형 컬러 깊이 맵 가중치
일실시예에서, 깊이 맵 모듈(208)은 이미지 내의 컬러들의 분포에 기초하여 이미지의 컬러 깊이 맵에 대한 적응형 가중치를 결정할 수 있다. 적응형 컬러 깊이 맵 가중치 w1은, 컬러 큐들(cues)을 이용하여 깊이 맵을 생성할 수 있는 신뢰도(confidence)를 나타낸다. 만일, 이미지가 좁은 컬러 분포를 갖는다면, 이미지 내의 모든 픽셀들은 이미지 내에서의 픽셀들의 깊이에 상관없이, 동일한 컬러 혹은 유사한 컬러들을 가질 것이다. 따라서, 컬러 분포가 좁은 경우에는, 가령, 공간 큐들(spatial cues), 혹은 모션 큐들(motion cues) 등과 같은 대안적인 깊이 큐들에 좀더 의존하여 깊이를 결정하는 것이 바람직할 것이다. 다른 한편으로, 이미지가 넓은 컬러 분포를 갖는 경우, 깊이 맵 모듈(208)은 컬러 깊이들을 좀더 정확하게 판별할 수 있을 것인바, 이는 컬러 분포가 넓은 경우에는 컬러 깊이 맵 가중치를 증가시키는 것이 유리함을 의미한다.
일실시예에서, 깊이 맵 모듈(208)은 이미지에 대한 컬러 콘트라스트를 계산함으로써, 컬러들의 분포를 수량화한다. 예를 들어, 깊이 맵 모듈(208)은 다음의 표현식에 따라 이미지 내의 픽셀들의 강도들(intensities)에 기초하여 제곱 평균(Root Mean Square: RMS) 이미지 콘트라스트 c 를 계산할 수 있다.
Figure 112015030436310-pct00005
(3)
사이즈 m×m 을 갖는 이미지의 경우, Iij 는 위치 (i, j)에 있는 픽셀의 강도이며,
Figure 112015030436310-pct00006
는 이미지에 있는 픽셀들의 평균 강도이다. c의 값은 [0, 1] 범위에 있도록 정규화(normalized)된다. 컬러 깊이 맵 가중치의 상한 및 하한을 각각 w1_max 및 w1_min 이라 하면, 컬러 깊이 맵 가중치 w1 은 콘트라스트 c에 기초하여 다음과 같이 결정된다.
Figure 112015030436310-pct00007
(4)
다른 실시예에서, 깊이 맵 모듈은 히스토그램들에 대해 계산된 개별 엔트로피(discrete entropy)에 기초하여, 이미지에 대한 컬러 분포를 계산한다. 예를 들면, YCbCr 컬러 스페이스에서, 깊이 맵 모듈(208)은, 컬러 히스토그램들 hist_y, hist_cb, 및 hist_cr 를 검색(retrieve)할 수 있는바, 이들은 x-축에서 B 빈스(B bins)(예컨대, 255)으로 양자화된다(quantized). 히스토그램들은 컬러 스페이스의 각각의 컬러 채널에 대한, 각각의 컬러 빈의 프레임에 있는 픽셀들의 개수를 나타낸다. 깊이 맵 모듈(208)은, 각 히스토그램의 엔트로피 H(x) 뿐만 아니라 B 빈스(B bins)를 구비한 유니폼 히스토그램의 엔트로피도 계산한다. 각각의 채널에서 모든 컬러들의 균등한 분포를 나타내는 유니폼 히스토그램은 최대 잠재(possible) 엔트로피 H(unif)를 갖는다. Y, Cb, 및 Cr 채널들 각각에서 히스토그램들의 엔트로피를 나타내는 H(hist_y), H(hist_cb), 및 H(hist_cr)을 계산한 이후에, 깊이 맵 모듈(208)은 H(unif)에 대한 히스토그램들의 비율들을 평균화하여 컬러 깊이 맵 가중치 w1 을 결정한다:
Figure 112015030436310-pct00008
(5)
수식 (5)에서 w1_max 는 w1 값에 대해 경험적으로-선택된 상한값이다.
적응형 모션 깊이 맵 가중치
일실시예에서, 깊이 맵 모듈(208)은 비디오의 2개 이상의 프레임들 사이에서의 픽셀들의 로컬 모션의 양에 기초하여 모션 깊이 맵을 위한 적응형 가중치를 결정한다. 만일, 이미지의 픽셀들이 소량(little)에서 0 까지의 로컬 모션을 갖는다면, 유사한 로컬 모션을 갖는 픽셀들은 서로 다른 깊이들을 가질 것으로 예상된다. 그 결과, 적응형 모션 깊이 맵 가중치 w2는 모션을 이용하여 깊이를 결정함에 있어서의 신뢰도를 나타낸다.
깊이 맵 모듈(208)은 프레임 내에서 로컬 모션을 갖는 픽셀들의 퍼센티지에 기초하여, 적응형 모션 깊이 맵 가중치를 계산한다. 일실시예에서, 개별 픽셀들에는 이진(binary) 모션 값이 할당되며, 상기 이진 모션 값은 그 픽셀이 움직이는지(in motion) 혹은 움직이지 않는지를 나타낸다. 모션 깊이 맵 생성기(206)에 의해서 계산된 차이 벡터(difference vector)의 크기에 거리 임계값이 적용될 수 있는바, 따라서 임계값 보다 큰 크기의 차이 벡터를 갖는 픽셀은 움직이는 것으로 판별되며(그리고 "1" 이라는 모션 값이 할당됨), 임계값 보다 작은 크기의 차이 벡터를 갖는 픽셀은 정지한 것으로 판별된다(그리고 "0" 이라는 모션 값이 할당됨). 차이 벡터들에 거리 임계값을 적용한 이후에, 깊이 맵 모듈(208)은 프레임에서 로컬 모션을 갖는 픽셀들의 퍼센티지 p 를 결정하는바, 여기서 p = (MV_1/N) 이며, MV_1 은 모션 값이 1인 픽셀들의 개수이고, N은 이미지 내의 픽셀들의 개수이다.
모션 깊이 맵 가중치 w2 는 퍼센티지 p의 함수로서 조정된다. 일실시예에서, 깊이 맵 모듈(208)은 로컬 모션을 갖는 픽셀들의 퍼센티지에 모션 임계값을 적용한다. 만일, 퍼센티지 p가 모션 임계값보다 크다면, w2는 현재 값으로부터 소량만큼 증가된다. 만일, 퍼센티지 p가 모션 임계값보다 작다면, w2는 소량만큼 감소된다. 보다 상세하게는, 모션 임계값 ε와 퍼센티지 p 가 주어지면,
깊이 맵 모듈(208)은 w2i 에 1.0에 가까운 값을 곱함으로써 w2i-1 에 대한 w2i 값을 결정할 수 있는바, 여기서 w2i 는 프레임 i에 있는 픽셀의 모션 깊이 맵 가중치에 해당하고, w2i-1 은 프레임 i-1에 있는 동일 픽셀의 모션 깊이 맵 가중치에 해당한다. 예를 들어, 깊이 맵 모듈(208)은 다음과 같이 w2i 를 결정할 수 있다.
Figure 112015030436310-pct00009
(6)
승수(multiplier) 값들(상기 일례에서는 1.02 및 0.98)은 경험적으로 결정될 수 있으며, 임의의 적절한 값들이 깊이 맵 모듈(208)에 의해서 이용될 수 있다. 깊이 맵 모듈(208)은 또한, w2에 대한 상한값 및 하한값을 정의할 수 있는바, 상기 상한값 및 하한값은 모션 깊이 맵 가중치가 현재 값으로부터 벗어날 수 있는 범위를 제한한다.
적응형 공간 깊이 맵 가중치
일실시예에서, 깊이 맵 모듈(208)은 공간 깊이 프라이어의 분산(variance)에 기초하여, 이미지의 공간 깊이 맵을 위한 적응형 가중치를 결정한다. 낮은 분산은, 공간 깊이 프라이어에 의해서 특정되는, 픽셀 위치에서의 평균 깊이 값이 픽셀의 깊이를 정확하게 예측할 확률이 높다는 것을 나타낸다. 공간 깊이 맵 생성기(204)에 의해서 생성된 분산 프라이어는 각각의 픽셀 위치에서의 깊이 분산을 나타낸다.
위치 (x, y)에 있는 픽셀에 대한 적응형 공간 깊이 맵 가중치 w3을 생성하기 위하여, 깊이 맵 모듈(208)은 분산 프라이어에서 (x, y)에서의 분산을 찾아낸다. 만일, 상기 분산이 크다면, 깊이 맵 모듈(208)은 w3의 값을 증가시키고, 그리고 상기 분산이 작다면 w3 을 감소시킨다. 일실시예에서, 깊이 맵 모듈(208)은 수식 (6)에서 서술된 것과 유사한 방법으로 w3을 결정한다(예컨대, 분산이 현재 임계값보다 크거나 작다면 기결정된 값들을 w3에 곱하는 방식).
조합된 깊이 맵 생성
이미지에 대한 조합된 깊이 맵을 생성하기 위하여 적응형 가중치들이 이용된다면, 깊이 맵 모듈(208)은 전술한 바와 같은 방법들을 이용하여 1개 혹은 2개의 적응형 가중치들을 결정할 수 있으며 그리고 결정된 가중치(들)에 기초하여 나머지 가중치 혹은 가중치들을 계산할 수 있다(3개의 가중치들의 합계가 1이 된다는 제한 내에서). 예를 들어, 만일 깊이 맵 모듈(208)이 하나의 적응형 가중치(가령, 적응형 w1)를 생성한다면, 나머지 2개의 가중치들은 다음과 같은 고정 비율 α를 갖도록 정의될 수 있다.
α = w2/w3 (7)
w2 및 w3 에 대한 값들은 다음과 같이 결정될 수 있다.
Figure 112015030436310-pct00010
(8)
Figure 112015030436310-pct00011
(9)
대안적으로는, 만일 깊이 맵 모듈(208)이 2개의 적응형 가중치들을 생성한다면, 1.0 이라는 제한값으로부터 상기 2개의 생성된 가중치들을 감산함으로써 3번째 가중치가 결정될 수 있다.
도4는 모노스코픽 이미지의 조합된 깊이 맵을 생성하기 위한 프로세스를 예시한 순서도이다. 상기 프로세스의 단계들은 깊이 맵 생성 모듈(200)에 의해서 수행될 수 있다. 다른 실시예들은 추가적인 단계들 혹은 더 적은 단계들을 가질 수 있으며, 그리고 상기 단계들을 다른 순서대로 수행할 수도 있다.
단계 402에서 깊이 맵 생성 모듈(200)은 복수의 픽셀들을 갖는 모노스코픽 이미지에 액세스한다. 일실시예엥서, 상기 이미지는 가령, 비디오 프레임(102) 등과 같은 비디오의 프레임이다. 단계 404에서 픽셀들의 깊이를 결정하기 위해 픽셀들의 컬러들을 이용함으로써 이미지에 대한 컬러 깊이 맵이 결정된다. 유사한 컬러들을 갖는 픽셀들은 유사한 깊이들을 가질 것이다라는 가정에 기초하여 컬러 깊이 맵이 생성된다. 일실시예에서, 깊이 맵 생성 모듈(200)은 이미지에 있는 픽셀들의 컬러 정보에 액세스하며 그리고 히스토리컬 깊이 정보 혹은 컬러 깊이 함수에 기초하여 컬러 깊이 맵을 계산한다.
또한, 단계 406에서 깊이 맵 생성 모듈(200)은픽셀들의 깊이를 결정하기 위하여 픽셀들의 위치들을 이용함으로써, 이미지에 대한 공간 깊이 맵을 결정한다. 많은 수의 3D 이미지들로부터 획득된 다양한 위치들에서의 공지된 픽셀 깊이들을 평균화함으로써 계산된 공간 깊이 프라이어는, 이미지 내의 픽셀의 위치와 픽셀의 깊이에 대한 맵 간의 상관(correlation)을 제공한다. 일실시예에서, 공간 깊이 프라이어는 픽셀의 위치를 픽셀의 깊이에 관련시키는 룩업 테이블이다.
단계 408에서 깊이 맵 생성 모듈(200)은 픽셀들의 깊이를 결정하기 위해 2개의 프레임들 사이에서의 픽셀들의 모션을 이용함으로써, 이미지에 대한 모션 깊이 맵을 결정한다. 2개의 프레임들 사이에서의 픽셀들의 전체 모션으로부터 동일한 2개의 프레임들 사이에서의 글로벌 모션을 감산함으로써, 픽셀 모션이 결정된다.
단계 410에서 컬러 깊이 맵 가중치, 공간 깊이 맵 가중치, 및 모션 깊이 맵 가중치가 결정된다. 상기 가중치들은 0 에서 1 사이의 값이며, 전부 합산되면 1.0 이 된다. 일실시예에서, 가중치들은 이미지들 사이 및 각 이미지에 대하여 적응형인바, 이는 이미지 내의 서로 다른 피처들 및 서로 다른 피처들의 깊이를 보다 정확하게 수량화하는 각각의 깊이 맵 방법의 신뢰성을 해명할 수 있다.
마지막으로, 깊이 맵 생성 모듈(200)은 단계 412에서 조합된 깊이 맵을 생성한다. 조합된 깊이 맵은, 컬러 깊이 맵 가중치에 의해서 가중화된 컬러 깊이 맵, 공간 깊이 맵 가중치에 의해서 가중화된 공간 깊이 맵, 및 모션 깊이 맵 가중치에 의해서 가중화된 모션 깊이 맵의 선형 조합(linear combination)이다. 조합된 깊이 맵을 생성함으로써, 깊이 맵 생성 모듈(200)은, 이미지 내의 픽셀들의 깊이에 대한 보다 정확한 맵을 제공한다(개별 맵 단독으로 제공되는 것 보다 정확함).
추가적인 구성 고려사항들
전술한 바와 같은 본 발명의 실시예들에 대한 설명들은 단지 일례로서 제공된 것이다. 이러한 설명은 본 발명을 속속들이 규명하고자 의도된 것이 아니며, 개시된 정확한 형태 그대로 본 발명을 한정하고자 의도된 것이 아니다. 해당 기술분야의 당업자라면, 전술한 내용에 비추어 볼때 수 많은 변형예들 및 수정예들이 가능함을 능히 이해할 것이다.
본 설명의 몇몇 부분들은 알고리즘들 및 정보 상의 동작들에 대한 상징적인 표현의 관점에서 본 발명의 실시예들을 설명하고 있다. 이들 알고리즘적 설명들 및 표현들은, 자신의 연구성과를 다른 당업자들에게 효과적으로 전달하기 위하여 데이터 프로세싱 분야의 당업자들에 의해서 통상적으로 이용된다. 기능적으로, 계산학적으로, 혹은 논리적으로 서술된 이러한 동작들은, 컴퓨터 프로그램 혹은 이와 등가인 전자 회로들, 마이크로코드, 기타 등등에 의해서 구현될 수 있음을 유의해야 한다. 또한, 범용성을 잃지 않고, 이러한 동작들의 배치들을 모듈들로 지칭하는 것이 때론 편리하다는 점이 입증되었다. 설명된 동작들 및 이들의 관련 모듈들은 소프트웨어, 펌웨어, 하드웨어, 혹은 이들의 임의의 조합으로 구현될 수 있다.
본 명세서에 서술된 임의의 단계들, 동작들 혹은 프로세스들은 하나 이상의 하드웨어 혹은 소프트웨어 모듈들로 수행 혹은 구현될 수 있다(단독으로 혹은 다른 디바이스들과 조합되어). 일실시예에서, 소프트웨어 모듈은 컴퓨터 프로그램 코드를 내포하는 컴퓨터 판독가능한 매체를 포함하는 컴퓨터 프로그램 제품을 구현될 수 있으며, 상기 컴퓨터 프로그램 코드는 전술한 단계들, 동작들, 혹은 프로세스들의 전부 또는 일부를 수행하도록 컴퓨터 프로세서에 의해서 실행될 수 있다.
또한, 본 발명의 실시예들은 상기 동작들을 수행하기 위한 장치에 관한 것일 수 있다. 이러한 장치는 요구되는 목적들을 위하여 특별하게 구성될 수도 있으며 및/또는 컴퓨터에 저장된 컴퓨터 프로그램에 의해서 선택적으로 활성화 혹은 재구성되는 범용 컴퓨팅 디바이스를 포함할 수도 있다. 이러한 컴퓨터 프로그램은 비-일시적인, 유형의 컴퓨터 판독가능한 저장 매체 혹은 전자적인 명령들을 저장하기에 적합한 임의 유형의 매체에 저장될 수 있는바, 이들은 컴퓨터 시스템 버스에 접속될 수 있다. 또한, 본 명세서에서 참조되는 임의의 컴퓨팅 시스템은 하나의 프로세서를 포함할 수도 있으며, 또는 계산 능력을 증가시키기 위하여 다수의 프로세서 설계들을 채용하는 구조를 가질 수도 있다.
또한, 본 발명의 실시예들은 컴퓨팅 프로세스에 의해서 생산된 제품에 관한 것일 수도 있다. 이러한 제품은 컴퓨팅 프로세스를 야기하는 정보를 포함할 수 있는바, 상기 정보는 비-일시적인, 유형의 컴퓨터 판독가능한 저장 매체에 저장되며 그리고 컴퓨터 프로그램 제품 혹은 여기에 설명된 다른 데이터 조합의 임의의 실시예를 포함할 수 있다.
마지막으로, 본 명세서에 사용되는 언어는 가독성 및 명령 목적으로 기본적으로 선택되며, 그리고 발명의 주된 내용을 한정하고 혹은 감싸도록 선택되지 않을 수 있다. 따라서, 본 발명의 범위는 발명의 상세한 설명에 의해서 제한되지 않는 것으로 의도되며, 청구범위에 의해서 정의된다. 따라서, 본 발명의 실시예에 대한 설명은 예시적인 것으로 의도되며, 다음의 청구범위에 개시된본 발명의 범위를 제한하는 것이 아니다.

Claims (20)

  1. 이미지의 깊이 맵을 생성하는 방법으로서,
    상기 이미지에 액세스하는 단계 - 상기 이미지는 복수의 픽셀들을 포함하고, 각각의 픽셀은 컬러 및 상기 이미지 내의 위치를 가짐 - ;
    상기 이미지 내의 픽셀들의 컬러들에 기초하여 상기 이미지에 대한 컬러 깊이 맵을 결정하는 단계;
    픽셀들의 상기 위치들 및 복수의 다른 이미지들에서 유사한 위치들에 있는 픽셀들에 대한 히스토리컬(historical) 깊이 정보에 기초하여 상기 이미지에 대한 공간 깊이 맵(spatial depth map)을 결정하는 단계;
    상기 이미지에서의 픽셀 모션(motion)에 기초하여 상기 이미지에 대한 모션 깊이 맵을 결정하는 단계;
    컬러 깊이 맵 가중치, 공간 깊이 맵 가중치, 및 모션 깊이 맵 가중치를 결정하는 단계 - 상기 공간 깊이 맵 가중치는 복수의 다른 이미지들에서 유사한 위치들에 있는 상기 픽셀들에 대한 히스토리컬 깊이 분산 정보에 기초하여 결정되고, 상기 히스토리컬 깊이 분산 정보는 상기 히스토리컬 깊이 정보의 분산을 나타냄 - ; 및
    상기 컬러 깊이 맵 가중치에 의해서 가중화된(weighted) 컬러 깊이 맵, 상기 공간 깊이 맵 가중치에 의해서 가중화된 공간 깊이 맵, 및 상기 모션 깊이 맵 가중치에 의해서 가중화된 모션 깊이 맵의 조합으로부터, 상기 이미지에 대한 조합된 깊이 맵을 생성하는 단계
    를 포함하는 것을 특징으로 하는 이미지의 깊이 맵을 생성하는 방법.
  2. 제1항에 있어서,
    상기 컬러 깊이 맵 가중치를 결정하는 단계는,
    상기 픽셀들의 컬러들의 분포를 묘사하는 히스토그램을 결정하는 단계; 및
    상기 히스토그램에 의해서 묘사되는 컬러들의 분포에 기초하여 상기 컬러 깊이 맵 가중치를 결정하는 단계
    를 포함하는 것을 특징으로 하는 이미지의 깊이 맵을 생성하는 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 모션 깊이 맵 가중치를 결정하는 단계는,
    상기 이미지에서 로컬 모션(local motion)을 갖는 픽셀들의 퍼센티지를 결정하는 단계를 포함하고, 상기 모션 깊이 맵 가중치는 상기 로컬 모션을 갖는 픽셀들의 퍼센티지에 기초하는 것을 특징으로 하는 이미지의 깊이 맵을 생성하는 방법.
  5. 제2항에 있어서,
    상기 히스토그램에 의해서 묘사되는 컬러들의 분포에 기초하여 상기 컬러 깊이 맵 가중치를 결정하는 단계는,
    상기 히스토그램에 관련된 엔트로피를 결정하는 단계 - 상기 엔트로피는 컬러들의 상기 분포에 기초함 - ;
    상기 이미지에 관련된 최대 엔트로피에 대한 상기 엔트로피의 비율을 결정하는 단계 - 상기 비율은 상기 컬러들의 상대적인 분포를 나타냄 - ; 그리고
    상기 비율에 기초하여 상기 컬러 깊이 맵 가중치를 결정하는 단계
    를 포함하고,
    상기 컬러 깊이 맵 가중치는 상기 비율에 정비례(directly proportional)하는 것을 특징으로 하는 이미지의 깊이 맵을 생성하는 방법.
  6. 제1항에 있어서,
    상기 히스토리컬 깊이 분산 정보에 기초하여 상기 공간 깊이 맵 가중치를 결정하는 단계는,
    상기 이미지 내의 위치에 관련된 히스토리컬 깊이 분산 정보를 검색하는 단계;
    제 1 승수(multiplier)를 결정하는 단계 - 상기 제 1 승수는 1 보다 큰 값을 가짐 - ;
    제 2 승수를 결정하는 단계 - 상기 제 2 승수는 1 보다 작은 값을 가짐 - ;
    상기 위치에 관련된 히스토리컬 깊이 분산 정보를 분산 임계값과 비교하는 단계를 포함하고,
    상기 공간 깊이 맵 가중치를 결정하는 단계는,
    상기 위치에 관련된 히스토리컬 깊이 분산 정보가 상기 분산 임계값 보다 크다라는 결정에 응답하여, 상기 제 1 승수를 상기 공간 깊이 맵 가중치에 곱하는 단계; 및
    상기 위치에 관련된 히스토리컬 깊이 분산 정보가 상기 분산 임계값 보다 작다라는 결정에 응답하여, 상기 제 2 승수를 상기 공간 깊이 맵 가중치에 곱하는 단계
    를 포함하는 것을 특징으로 하는 이미지의 깊이 맵을 생성하는 방법.
  7. 제4항에 있어서,
    제 2 이미지에서 로컬 모션을 갖는 픽셀들의 퍼센티지에 기초하여 상기 제 2 이미지에 대한 모션 깊이 맵 가중치를 결정하는 단계 - 상기 제 2 이미지는 비디오 시퀀스에서 상기 제 1 이미지에 선행함 - ;
    제 1 승수를 결정하는 단계 - 상기 제 1 승수는 1 보다 큰 값을 가짐 - ;
    제 2 승수를 결정하는 단계 - 상기 제 2 승수는 1 보다 작은 값을 가짐 - ; 그리고
    제 1 이미지에서 로컬 모션을 갖는 픽셀들의 퍼센티지를 모션 임계값과 비교하는 단계를 더 포함하고,
    상기 제 1 이미지에 대한 모션 깊이 맵 가중치를 결정하는 단계는,
    상기 제 1 이미지에서 로컬 모션을 갖는 픽셀들의 퍼센티지가 상기 모션 임계값 보다 크다라는 결정에 응답하여, 상기 제 2 이미지에 대한 모션 깊이 맵 가중치에 상기 제 1 승수를 곱하는 단계; 및
    상기 제 1 이미지에서 로컬 모션을 갖는 픽셀들의 퍼센티지가 상기 모션 임계값 보다 작다라는 결정에 응답하여, 상기 제 2 이미지에 대한 모션 깊이 맵 가중치에 상기 제 2 승수를 곱하는 단계
    를 포함하는 것을 특징으로 하는 이미지의 깊이 맵을 생성하는 방법.
  8. 이미지의 깊이 맵을 생성하기 위한 컴퓨터 프로그램 명령들을 저장하는 비-일시적인(non-transitory) 컴퓨터 판독가능한 저장매체로서, 상기 컴퓨터 프로그램 명령들은,
    상기 이미지에 액세스하는 단계 - 상기 이미지는 복수의 픽셀들을 포함하고, 각각의 픽셀은 컬러 및 상기 이미지 내의 위치를 가짐 - ;
    상기 이미지 내의 픽셀들의 컬러들에 기초하여 상기 이미지에 대한 컬러 깊이 맵을 결정하는 단계;
    픽셀들의 상기 위치들 및 복수의 다른 이미지들에서 유사한 위치들에 있는 픽셀들에 대한 히스토리컬 깊이 정보에 기초하여 상기 이미지에 대한 공간 깊이 맵을 결정하는 단계;
    상기 이미지에서의 픽셀 모션에 기초하여 상기 이미지에 대한 모션 깊이 맵을 결정하는 단계;
    컬러 깊이 맵 가중치, 공간 깊이 맵 가중치, 및 모션 깊이 맵 가중치를 결정하는 단계 - 상기 공간 깊이 맵 가중치는 복수의 다른 이미지들에서 유사한 위치들에 있는 상기 픽셀들에 대한 히스토리컬 깊이 분산 정보에 기초하여 결정되고, 상기 히스토리컬 깊이 분산 정보는 상기 히스토리컬 깊이 정보의 분산을 나타냄 -; 및
    상기 컬러 깊이 맵 가중치에 의해서 가중화된 컬러 깊이 맵, 상기 공간 깊이 맵 가중치에 의해서 가중화된 공간 깊이 맵, 및 상기 모션 깊이 맵 가중치에 의해서 가중화된 모션 깊이 맵의 조합으로부터, 상기 이미지에 대한 조합된 깊이 맵을 생성하는 단계
    를 포함하는 단계들을 수행하도록 실행가능한 것을 특징으로 하는 비-일시적인 컴퓨터 판독가능한 저장매체.
  9. 제8항에 있어서,
    상기 컬러 깊이 맵 가중치를 결정하는 단계는,
    상기 픽셀들의 컬러들의 분포를 묘사하는 히스토그램을 결정하는 단계; 및
    상기 히스토그램에 의해서 묘사되는 컬러들의 분포에 기초하여 상기 컬러 깊이 맵 가중치를 결정하는 단계
    를 포함하는 것을 특징으로 하는 비-일시적인 컴퓨터 판독가능한 저장매체.
  10. 삭제
  11. 제8항에 있어서,
    상기 모션 깊이 맵 가중치를 결정하는 단계는,
    상기 이미지에서 로컬 모션(local motion)을 갖는 픽셀들의 퍼센티지를 결정하는 단계를 포함하고, 상기 모션 깊이 맵 가중치는 상기 로컬 모션을 갖는 픽셀들의 퍼센티지에 기초하는 것을 특징으로 하는 비-일시적인 컴퓨터 판독가능한 저장매체.
  12. 제9항에 있어서,
    상기 히스토그램에 의해서 묘사되는 컬러들의 분포에 기초하여 상기 컬러 깊이 맵 가중치를 결정하는 단계는,
    상기 히스토그램에 관련된 엔트로피를 결정하는 단계 - 상기 엔트로피는 컬러들의 상기 분포에 기초함 - ;
    상기 이미지에 관련된 최대 엔트로피에 대한 상기 엔트로피의 비율을 결정하는 단계 - 상기 비율은 상기 컬러들의 상대적인 분포를 나타냄 - ; 그리고
    상기 비율에 기초하여 상기 컬러 깊이 맵 가중치를 결정하는 단계
    를 포함하고,
    상기 컬러 깊이 맵 가중치는 상기 비율에 정비례하는 것을 특징으로 하는 비-일시적인 컴퓨터 판독가능한 저장매체.
  13. 제8항에 있어서,
    상기 히스토리컬 깊이 분산 정보에 기초하여 상기 공간 깊이 맵 가중치를 결정하는 단계는,
    상기 이미지 내의 위치에 관련된 히스토리컬 깊이 분산 정보를 검색하는 단계;
    제 1 승수를 결정하는 단계 - 상기 제 1 승수는 1 보다 큰 값을 가짐 - ;
    제 2 승수를 결정하는 단계 - 상기 제 2 승수는 1 보다 작은 값을 가짐 - ;
    상기 위치에 관련된 히스토리컬 깊이 분산 정보를 분산 임계값과 비교하는 단계를 포함하고,
    상기 공간 깊이 맵 가중치를 결정하는 단계는,
    상기 위치에 관련된 히스토리컬 깊이 분산 정보가 상기 분산 임계값 보다 크다라는 결정에 응답하여, 상기 제 1 승수를 상기 공간 깊이 맵 가중치에 곱하는 단계; 및
    상기 위치에 관련된 히스토리컬 깊이 분산 정보가 상기 분산 임계값 보다 작다라는 결정에 응답하여, 상기 제 2 승수를 상기 공간 깊이 맵 가중치에 곱하는 단계
    를 포함하는 것을 특징으로 하는 비-일시적인 컴퓨터 판독가능한 저장매체.
  14. 제11항에 있어서,
    제 2 이미지에서 로컬 모션을 갖는 픽셀들의 퍼센티지에 기초하여 상기 제 2 이미지에 대한 모션 깊이 맵 가중치를 결정하는 단계 - 상기 제 2 이미지는 비디오 시퀀스에서 상기 제 1 이미지에 선행함 - ;
    제 1 승수를 결정하는 단계 - 상기 제 1 승수는 1 보다 큰 값을 가짐 - ;
    제 2 승수를 결정하는 단계 - 상기 제 2 승수는 1 보다 작은 값을 가짐 - ; 그리고
    제 1 이미지에서 로컬 모션을 갖는 픽셀들의 퍼센티지를 모션 임계값과 비교하는 단계를 더 포함하고,
    상기 제 1 이미지에 대한 모션 깊이 맵 가중치를 결정하는 단계는,
    상기 제 1 이미지에서 로컬 모션을 갖는 픽셀들의 퍼센티지가 상기 모션 임계값 보다 크다라는 결정에 응답하여, 상기 제 2 이미지에 대한 모션 깊이 맵 가중치에 상기 제 1 승수를 곱하는 단계; 및
    상기 제 1 이미지에서 로컬 모션을 갖는 픽셀들의 퍼센티지가 상기 모션 임계값 보다 작다라는 결정에 응답하여, 상기 제 2 이미지에 대한 모션 깊이 맵 가중치에 상기 제 2 승수를 곱하는 단계
    를 포함하는 것을 특징으로 하는 비-일시적인 컴퓨터 판독가능한 저장매체.
  15. 이미지의 깊이 맵을 생성하는 시스템으로서,
    컴퓨터 프로그램 명령들을 저장하는 비-일시적인 컴퓨터 판독가능한 저장매체; 및
    상기 컴퓨터 프로그램 명령들을 실행하는 프로세서를 포함하고,
    상기 컴퓨터 프로그램 명령들은,
    상기 이미지에 액세스하는 단계 - 상기 이미지는 복수의 픽셀들을 포함하고, 각각의 픽셀은 컬러 및 상기 이미지 내의 위치를 가짐 - ;
    상기 이미지 내의 픽셀들의 컬러들에 기초하여 상기 이미지에 대한 컬러 깊이 맵을 결정하는 단계;
    픽셀들의 상기 위치들 및 복수의 다른 이미지들에서 유사한 위치들에 있는 픽셀들에 대한 히스토리컬 깊이 정보에 기초하여 상기 이미지에 대한 공간 깊이 맵을 결정하는 단계;
    상기 이미지에서의 픽셀 모션에 기초하여 상기 이미지에 대한 모션 깊이 맵을 결정하는 단계;
    컬러 깊이 맵 가중치, 공간 깊이 맵 가중치, 및 모션 깊이 맵 가중치를 결정하는 단계 - 상기 공간 깊이 맵 가중치는 복수의 다른 이미지들에서 유사한 위치들에 있는 상기 픽셀들에 대한 히스토리컬 깊이 분산 정보에 기초하여 결정되고, 상기 히스토리컬 깊이 분산 정보는 상기 히스토리컬 깊이 정보의 분산을 나타냄 -; 및
    상기 컬러 깊이 맵 가중치에 의해서 가중화된 컬러 깊이 맵, 상기 공간 깊이 맵 가중치에 의해서 가중화된 공간 깊이 맵, 및 상기 모션 깊이 맵 가중치에 의해서 가중화된 모션 깊이 맵의 조합으로부터, 상기 이미지에 대한 조합된 깊이 맵을 생성하는 단계
    를 포함하는 단계들을 수행하도록 실행가능한 것을 특징으로 하는 이미지의 깊이 맵을 생성하는 시스템.
  16. 제15항에 있어서,
    상기 컬러 깊이 맵 가중치를 결정하는 단계는,
    상기 픽셀들의 컬러들의 분포를 묘사하는 히스토그램을 결정하는 단계; 및
    상기 히스토그램에 의해서 묘사되는 컬러들의 분포에 기초하여 상기 컬러 깊이 맵 가중치를 결정하는 단계
    를 포함하는 것을 특징으로 하는 이미지의 깊이 맵을 생성하는 시스템.
  17. 삭제
  18. 제15항에 있어서,
    상기 모션 깊이 맵 가중치를 결정하는 단계는,
    상기 이미지에서 움직이는 픽셀들의 퍼센티지를 결정하는 단계를 포함하고, 상기 모션 깊이 맵 가중치는 상기 움직이는 픽셀들의 퍼센티지에 기초하는 것을 특징으로 하는 이미지의 깊이 맵을 생성하는 시스템.
  19. 제16항에 있어서,
    상기 히스토그램에 의해서 묘사되는 컬러들의 분포에 기초하여 상기 컬러 깊이 맵 가중치를 결정하는 단계는,
    상기 히스토그램에 관련된 엔트로피를 결정하는 단계 - 상기 엔트로피는 컬러들의 상기 분포에 기초함 - ;
    상기 이미지에 관련된 최대 엔트로피에 대한 상기 엔트로피의 비율을 결정하는 단계 - 상기 비율은 상기 컬러들의 상대적인 분포를 나타냄 - ; 그리고
    상기 비율에 기초하여 상기 컬러 깊이 맵 가중치를 결정하는 단계
    를 포함하고,
    상기 컬러 깊이 맵 가중치는 상기 비율에 정비례하는 것을 특징으로 하는 이미지의 깊이 맵을 생성하는 시스템.
  20. 제15항에 있어서,
    상기 히스토리컬 깊이 분산 정보에 기초하여 상기 공간 깊이 맵 가중치를 결정하는 단계는,
    상기 이미지 내의 위치에 관련된 히스토리컬 깊이 분산 정보를 검색하는 단계;
    제 1 승수를 결정하는 단계 - 상기 제 1 승수는 1 보다 큰 값을 가짐 - ;
    제 2 승수를 결정하는 단계 - 상기 제 2 승수는 1 보다 작은 값을 가짐 - ;
    상기 위치에 관련된 히스토리컬 깊이 분산 정보를 분산 임계값과 비교하는 단계를 포함하고,
    상기 공간 깊이 맵 가중치를 결정하는 단계는,
    상기 위치에 관련된 히스토리컬 깊이 분산 정보가 상기 분산 임계값 보다 크다라는 결정에 응답하여, 상기 제 1 승수를 상기 공간 깊이 맵 가중치에 곱하는 단계; 및
    상기 위치에 관련된 히스토리컬 깊이 분산 정보가 상기 분산 임계값 보다 작다라는 결정에 응답하여, 상기 제 2 승수를 상기 공간 깊이 맵 가중치에 곱하는 단계
    를 포함하는 것을 특징으로 하는 이미지의 깊이 맵을 생성하는 시스템.
KR1020157007981A 2012-11-01 2013-10-28 조합된 깊이 큐들에 기초하여 모노스코픽 이미지로부터 깊이 맵 생성 KR102138950B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/666,566 2012-11-01
US13/666,566 US9098911B2 (en) 2012-11-01 2012-11-01 Depth map generation from a monoscopic image based on combined depth cues
PCT/IB2013/059733 WO2014068472A1 (en) 2012-11-01 2013-10-28 Depth map generation from a monoscopic image based on combined depth cues

Publications (2)

Publication Number Publication Date
KR20150079576A KR20150079576A (ko) 2015-07-08
KR102138950B1 true KR102138950B1 (ko) 2020-07-28

Family

ID=50546717

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157007981A KR102138950B1 (ko) 2012-11-01 2013-10-28 조합된 깊이 큐들에 기초하여 모노스코픽 이미지로부터 깊이 맵 생성

Country Status (6)

Country Link
US (2) US9098911B2 (ko)
EP (1) EP2915333B8 (ko)
JP (1) JP6438403B2 (ko)
KR (1) KR102138950B1 (ko)
CN (2) CN107277491B (ko)
WO (1) WO2014068472A1 (ko)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9483836B2 (en) * 2011-02-28 2016-11-01 Sony Corporation Method and apparatus for real-time conversion of 2-dimensional content to 3-dimensional content
WO2012174090A2 (en) * 2011-06-13 2012-12-20 University Of Florida Research Foundation, Inc. Systems and methods for estimating the structure and motion of an object
US8995755B2 (en) * 2011-09-30 2015-03-31 Cyberlink Corp. Two-dimensional to stereoscopic conversion systems and methods
JP2013172190A (ja) * 2012-02-17 2013-09-02 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP6140935B2 (ja) 2012-05-17 2017-06-07 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置
US10298898B2 (en) 2013-08-31 2019-05-21 Ml Netherlands C.V. User feedback for real-time checking and improving quality of scanned image
US9619884B2 (en) * 2013-10-03 2017-04-11 Amlogic Co., Limited 2D to 3D image conversion device and method
US10311595B2 (en) * 2013-11-19 2019-06-04 Canon Kabushiki Kaisha Image processing device and its control method, imaging apparatus, and storage medium
AU2013263760A1 (en) * 2013-11-28 2015-06-11 Canon Kabushiki Kaisha Method, system and apparatus for determining a depth value of a pixel
EP3089102B1 (en) 2013-12-03 2019-02-20 ML Netherlands C.V. User feedback for real-time checking and improving quality of scanned image
EP3092603B1 (en) 2014-01-07 2022-05-11 ML Netherlands C.V. Dynamic updating of composite images
WO2015104236A1 (en) 2014-01-07 2015-07-16 Dacuda Ag Adaptive camera control for reducing motion blur during real-time image capture
WO2015173173A1 (en) * 2014-05-12 2015-11-19 Dacuda Ag Method and apparatus for scanning and printing a 3d object
WO2015175907A1 (en) * 2014-05-15 2015-11-19 Indiana University Research And Technology Corp. Three dimensional moving pictures with a single imager and microfluidic lens
US9940541B2 (en) 2015-07-15 2018-04-10 Fyusion, Inc. Artificially rendering images using interpolation of tracked control points
US10176592B2 (en) 2014-10-31 2019-01-08 Fyusion, Inc. Multi-directional structured image array capture on a 2D graph
US10262426B2 (en) 2014-10-31 2019-04-16 Fyusion, Inc. System and method for infinite smoothing of image sequences
US10275935B2 (en) 2014-10-31 2019-04-30 Fyusion, Inc. System and method for infinite synthetic image generation from multi-directional structured image array
US10726593B2 (en) 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US9292926B1 (en) * 2014-11-24 2016-03-22 Adobe Systems Incorporated Depth map generation
US9679387B2 (en) * 2015-02-12 2017-06-13 Mitsubishi Electric Research Laboratories, Inc. Depth-weighted group-wise principal component analysis for video foreground/background separation
JP2018506797A (ja) * 2015-02-12 2018-03-08 ネクストブイアール・インコーポレイテッド 環境測定を行うための、及び／又は、このような測定を使用するための方法及び装置
PL412832A1 (pl) 2015-06-24 2017-01-02 Politechnika Poznańska Sposób renderowania w oparciu o obraz głębi i system do renderowania w oparciu o obraz głębi
US10147211B2 (en) * 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US10852902B2 (en) 2015-07-15 2020-12-01 Fyusion, Inc. Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
CN108141606B (zh) * 2015-07-31 2022-03-01 港大科桥有限公司 用于全局运动估计和补偿的方法和系统
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
US10033926B2 (en) * 2015-11-06 2018-07-24 Google Llc Depth camera based image stabilization
US10372968B2 (en) * 2016-01-22 2019-08-06 Qualcomm Incorporated Object-focused active three-dimensional reconstruction
DE102016208056A1 (de) * 2016-05-11 2017-11-16 Robert Bosch Gmbh Verfahren und Vorrichtung zur Verarbeitung von Bilddaten und Fahrerassistenzsystem für ein Fahrzeug
CN109154499A (zh) * 2016-08-18 2019-01-04 深圳市大疆创新科技有限公司 用于增强立体显示的系统和方法
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
CN106981079A (zh) * 2016-10-26 2017-07-25 李应樵 一种基于权重自适应立体深度调整的方法
CN106447719B (zh) * 2016-10-31 2019-02-12 成都通甲优博科技有限责任公司 一种单目摄像机获取深度图的方法
CN106504289B (zh) * 2016-11-02 2019-12-17 深圳乐动机器人有限公司 一种室内目标检测方法及装置
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
CN107133982B (zh) * 2017-04-28 2020-05-15 Oppo广东移动通信有限公司 深度图构建方法、装置及拍摄设备、终端设备
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
EP3418975A1 (en) * 2017-06-23 2018-12-26 Koninklijke Philips N.V. Depth estimation for an image
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
US10776992B2 (en) * 2017-07-05 2020-09-15 Qualcomm Incorporated Asynchronous time warp with depth data
CN109842789A (zh) * 2017-11-28 2019-06-04 奇景光电股份有限公司 深度感测装置及深度感测方法
US11062479B2 (en) * 2017-12-06 2021-07-13 Axalta Coating Systems Ip Co., Llc Systems and methods for matching color and appearance of target coatings
CN110349196B (zh) * 2018-04-03 2024-03-29 联发科技股份有限公司 深度融合的方法和装置
CN108537836A (zh) * 2018-04-12 2018-09-14 维沃移动通信有限公司 一种深度数据获取方法及移动终端
US11853713B2 (en) * 2018-04-17 2023-12-26 International Business Machines Corporation Graph similarity analytics
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
CN110889851B (zh) * 2018-09-11 2023-08-01 苹果公司 针对深度和视差估计的语义分割的稳健用途
CN110084826B (zh) * 2018-11-30 2023-09-12 叠境数字科技（上海）有限公司 基于tof相机的头发分割方法
US11164326B2 (en) * 2018-12-18 2021-11-02 Samsung Electronics Co., Ltd. Method and apparatus for calculating depth map
CN111340922A (zh) * 2018-12-18 2020-06-26 北京三星通信技术研究有限公司 定位与地图构建的方法和电子设备
US11449769B2 (en) * 2019-04-11 2022-09-20 International Business Machines Corporation Cognitive analytics for graphical legacy documents
JP7257272B2 (ja) * 2019-06-24 2023-04-13 日本放送協会 奥行きマップ生成装置及びそのプログラム、並びに、立体画像生成装置
CN110400344B (zh) * 2019-07-11 2021-06-18 Oppo广东移动通信有限公司 深度图处理方法和装置
US11470299B2 (en) * 2019-09-27 2022-10-11 Nevermind Capital Llc Methods and apparatus for encoding frames captured using fish-eye lenses
KR102262832B1 (ko) * 2019-11-29 2021-06-08 연세대학교 산학협력단 단안 비디오 영상의 깊이 추정 방법 및 장치
US11450018B1 (en) 2019-12-24 2022-09-20 X Development Llc Fusing multiple depth sensing modalities
CN111260597B (zh) * 2020-01-10 2021-12-03 大连理工大学 一种多波段立体相机的视差图像融合方法
CN112785575B (zh) * 2021-01-25 2022-11-18 清华大学 一种图像处理的方法、装置和存储介质
JP7303930B1 (ja) 2022-07-27 2023-07-05 維沃移動通信有限公司 画像処理方法、装置、電子機器および読み取り可能な記憶媒体

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070024614A1 (en) 2005-07-26 2007-02-01 Tam Wa J Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3949796B2 (ja) 1997-11-06 2007-07-25 株式会社ブリヂストン タイヤ形状判定装置
US7352386B1 (en) 1999-06-22 2008-04-01 Microsoft Corporation Method and apparatus for recovering a three-dimensional scene from two-dimensional images
JP2001320731A (ja) * 1999-11-26 2001-11-16 Sanyo Electric Co Ltd ２次元映像を３次元映像に変換する装置及びその方法
CA2472272A1 (en) 2001-11-24 2003-06-05 Tdv Technologies Corp. Generation of a stereo image sequence from a 2d image sequence
JP4214976B2 (ja) * 2003-09-24 2009-01-28 日本ビクター株式会社 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム
JP4770154B2 (ja) 2004-11-08 2011-09-14 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
CA2653815C (en) 2006-06-23 2016-10-04 Imax Corporation Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
US8330801B2 (en) 2006-12-22 2012-12-11 Qualcomm Incorporated Complexity-adaptive 2D-to-3D video sequence conversion
CA2627999C (en) 2007-04-03 2011-11-15 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
ATE507542T1 (de) * 2007-07-03 2011-05-15 Koninkl Philips Electronics Nv Berechnung einer tiefenkarte
WO2009011492A1 (en) * 2007-07-13 2009-01-22 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding stereoscopic image format including both information of base view image and information of additional view image
US8463019B2 (en) 2007-07-19 2013-06-11 JVC Kenwood Corporation Pseudo 3D image generation device, image encoding device, image encoding method, image transmission method, image decoding device, and image decoding method
JP4886898B2 (ja) * 2007-07-26 2012-02-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 深さ関連情報伝達のための方法及び装置
KR101506926B1 (ko) 2008-12-04 2015-03-30 삼성전자주식회사 깊이 추정 장치 및 방법, 및 3ｄ 영상 변환 장치 및 방법
US8553972B2 (en) * 2009-07-06 2013-10-08 Samsung Electronics Co., Ltd. Apparatus, method and computer-readable medium generating depth map
CN101945295B (zh) * 2009-07-06 2014-12-24 三星电子株式会社 生成深度图的方法和设备
US8644624B2 (en) 2009-07-28 2014-02-04 Samsung Electronics Co., Ltd. System and method for indoor-outdoor scene classification
KR101699920B1 (ko) * 2009-10-07 2017-01-25 삼성전자주식회사 깊이 조절 방법 및 장치
US8537200B2 (en) 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data
US20110122225A1 (en) 2009-11-23 2011-05-26 General Instrument Corporation Depth Coding as an Additional Channel to Video Sequence
US9042636B2 (en) 2009-12-31 2015-05-26 Disney Enterprises, Inc. Apparatus and method for indicating depth of one or more pixels of a stereoscopic 3-D image comprised from a plurality of 2-D layers
JP5227993B2 (ja) * 2010-03-31 2013-07-03 株式会社東芝 視差画像生成装置、及びその方法
KR20110124473A (ko) 2010-05-11 2011-11-17 삼성전자주식회사 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법
US8432392B2 (en) * 2010-09-02 2013-04-30 Samsung Electronics Co., Ltd. Display system with image conversion mechanism and method of operation thereof
US8836765B2 (en) 2010-11-05 2014-09-16 Chung-Ang University Industry-Academy Cooperation Foundation Apparatus and method for generating a fully focused image by using a camera equipped with a multi-color filter aperture
US9171372B2 (en) * 2010-11-23 2015-10-27 Qualcomm Incorporated Depth estimation based on global motion
JP5963422B2 (ja) 2010-12-17 2016-08-03 キヤノン株式会社 撮像装置、表示装置、コンピュータプログラムおよび立体像表示システム
JP5242667B2 (ja) * 2010-12-22 2013-07-24 株式会社東芝 マップ変換方法、マップ変換装置及びマップ変換プログラム
EP2509324A1 (en) * 2011-04-08 2012-10-10 Thomson Licensing Method and apparatus for analyzing stereoscopic or multi-view images
JP5291755B2 (ja) 2011-04-21 2013-09-18 株式会社エム・ソフト 立体視画像生成方法および立体視画像生成システム
CN102196292B (zh) * 2011-06-24 2013-03-06 清华大学 基于人机交互生成视频深度图序列的方法及系统
CN102263979B (zh) * 2011-08-05 2013-10-09 清华大学 一种平面视频立体化的深度图生成方法及装置
US8817073B2 (en) * 2011-08-12 2014-08-26 Himax Technologies Limited System and method of processing 3D stereoscopic image
US9501834B2 (en) * 2011-08-18 2016-11-22 Qualcomm Technologies, Inc. Image capture for later refocusing or focus-manipulation
CN102360489B (zh) * 2011-09-26 2013-07-31 盛乐信息技术（上海）有限公司 实现二维图像到三维图像转换的方法及装置
US20140098100A1 (en) * 2012-10-05 2014-04-10 Qualcomm Incorporated Multiview synthesis and processing systems and methods

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070024614A1 (en) 2005-07-26 2007-02-01 Tam Wa J Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging

Also Published As

Publication number Publication date
CN104756491A (zh) 2015-07-01
EP2915333B8 (en) 2017-11-22
US9098911B2 (en) 2015-08-04
KR20150079576A (ko) 2015-07-08
US20140118494A1 (en) 2014-05-01
CN107277491B (zh) 2019-04-30
US9426449B2 (en) 2016-08-23
EP2915333B1 (en) 2017-10-11
JP6438403B2 (ja) 2018-12-12
EP2915333A1 (en) 2015-09-09
WO2014068472A1 (en) 2014-05-08
JP2016500975A (ja) 2016-01-14
CN104756491B (zh) 2017-07-25
CN107277491A (zh) 2017-10-20
EP2915333A4 (en) 2015-11-04
US20150304630A1 (en) 2015-10-22

Similar Documents

Publication Publication Date Title
KR102138950B1 (ko) 조합된 깊이 큐들에 기초하여 모노스코픽 이미지로부터 깊이 맵 생성
KR102319177B1 (ko) 이미지 내의 객체 자세를 결정하는 방법 및 장치, 장비, 및 저장 매체
Feng et al. Local background enclosure for RGB-D salient object detection
US9042662B2 (en) Method and system for segmenting an image
US9679387B2 (en) Depth-weighted group-wise principal component analysis for video foreground/background separation
US9129380B2 (en) Background understanding in video data
Kim et al. 2D-to-3D conversion by using visual attention analysis
Muddamsetty et al. A performance evaluation of fusion techniques for spatio-temporal saliency detection in dynamic scenes
KR101125061B1 (ko) Ｌｄｉ 기법 깊이맵을 참조한 2ｄ 동영상의 3ｄ 동영상 전환방법
KR101833943B1 (ko) 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템
US10096116B2 (en) Method and apparatus for segmentation of 3D image data
Thomas et al. Color balancing for change detection in multitemporal images
Dittrich et al. Saliency detection for stereoscopic video
Shinde et al. Image object saliency detection using center surround contrast
EP2932466B1 (en) Method and apparatus for segmentation of 3d image data
CN108062741B (zh) 双目图像处理方法、成像装置和电子设备
Lin et al. Foreground object detection in highly dynamic scenes using saliency
US11270120B2 (en) Visual object insertion classification for videos
Chen et al. Video Saliency Detection Using Spatiotemporal Cues
KR20170077429A (ko) 동영상 분석 기반 주목도 지도 생성 방법 및 시스템
류현주 SCENE CLASSIFICATION FOR DEPTH ASSIGNMENT
KRISHNA SUPER-PIXEL BASED SALIENCY IN 3D-IMAGE OBJECT DETECTION USING CONTENT BASED IMAGE RETRIEVAL.

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant