KR20100051675A

KR20100051675A - 깊이－관련 정보 전파를 위한 방법 및 장치

Info

Publication number: KR20100051675A
Application number: KR1020107004007A
Authority: KR
Inventors: 크리스티앙 바레캄프
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2007-07-26
Filing date: 2008-07-18
Publication date: 2010-05-17
Also published as: EP2174511B1; JP4886898B2; WO2009013682A2; US8854425B2; KR101483660B1; CN101822067A; CN101822067B; WO2009013682A3; EP2174511A2; ATE514285T1; JP2010534878A; US20100194856A1

Abstract

본 발명은 제 1 이미지(820)와 연관된 제 1 깊이-맵(810)으로부터 제 2 이미지(830)와 연관된 제 2 깊이-맵(860)으로 깊이-관련 정보를 전파하는 방법 및 장치에 관한 것으로서, 상기 제 1 및 제 2 이미지는 이미지 시퀀스에서 시간적으로 근접한 이미지들이다. 상기 방법은 상기 제 1 이미지(820) 및 상기 제 2 이미지(830)의 픽셀들을 사용하여 깊이 값들을 상기 제 1 깊이-맵(810)으로부터 중간 깊이-맵(840)으로 전파함으로써 상기 제 2 이미지(830)와 연관된 중간 깊이-맵(840)을 발생시키는 단계, 상기 제 1 깊이-맵(810)에서의 제 1 위치 주위의 공간적인 영역에서의 깊이 값들 및 상기 중간 깊이-맵(840)에서의 제 2 위치 주위의 공간적인 영역에서의 깊이 값들을 포함하는 정보를 사용하여 모션 벡터(850)를 발생시키는 단계, 및 상기 모션 벡터(850) 및 상기 제 1 깊이-맵(810)을 포함하는 정보를 사용하여 상기 제 2 깊이-맵(860)에서의 제 2 위치에 대한 깊이 값을 발생시키는 단계를 포함한다.

Description

깊이－관련 정보 전파를 위한 방법 및 장치{METHOD AND APPARATUS FOR DEPTH-RELATED INFORMATION PROPAGATION}

본 발명은 제 1 이미지(image)와 연관된 제 1 깊이-맵(depth-map)으로부터 제 2 이미지와 연관된 제 2 깊이-맵으로 깊이-관련 정보를 전파하는 방법 및 장치에 관한 것으로서, 상기 제 1 및 제 2 이미지는 이미지 시퀀스(image sequence)에서 시간적으로 근접한 이미지들이다.

지난 몇 년에 걸쳐, 많은 회사들이 3-차원(3D) 이미지들을 렌더링(rendering)하는데 적합한 자동입체 디스플레이(autostereoscopic display)들을 활발하게 개발하고 있다. 이러한 디바이스들은 특수한 헤드기어(headgear) 및/또는 안경을 필요로 하지 않고 3D 임프레션(impression)을 뷰어(view)들에게 제공할 수 있다.

자동입체 디스플레이들은 일반적으로 상이한 뷰잉 각도(viewing angle)들에 대해 상이한 뷰들을 발생시킨다. 이 방식으로, 뷰어의 좌측 눈(left eye)에 대해 제 1 이미지가 발생될 수 있고, 뷰어의 우측 눈에 대해 제 2 이미지가 발생될 수 있다. 적절한 이미지들, 즉, 각각 좌측 및 우측 눈의 뷰포인트(viewpoint)로부터 적절한 이미지들을 디스플레이함으로써, 각각의 이미지들을 디스플레이하고 3D 임프레션을 뷰어에게 전달하는 것이 가능하다.

이와 같은 자동입체 디스플레이들을 위한 이미지들을 발생시키기 위하여 다양한 기술들이 사용될 수 있다. 예를 들어, 멀티-뷰 이미지(multi-view image)들이 각각의 카메라(camera)의 위치가 각각의 뷰의 각각의 뷰포인트에 대응하는 다중 카메라들을 사용하여 기록될 수 있다. 대안적으로, 개별적인 이미지들이 3D 컴퓨터 모델(computer model)을 사용하여 발생될 수 있다.

역방향 호환성(backwards compatibility)을 유지하고 대역폭 사용에 대해 개선시키기 위하여, 많은 자동입체 디스플레이들은 종래의 2D 이미지들 및 대응하는 깊이-맵들의 시퀀스의 형태의 입력 시퀀스를 사용한다.

깊이-맵들은 이미지에서 묘사된 오브젝트(object)들의 카메라까지의 절대 또는 상대 거리를 나타내는 깊이 정보를 제공한다. 예로서, 깊이 정보를 나타내는 통상적인 방식은 8-비트 그레이-스케일 이미지(8-bit grey-scale image)에 의한 것이다. 깊이-맵들은 픽셀(pixel)마다 깊이 정보를 제공할 수 있지만, 당업자들에게 명백한 바와 같이, 더 낮은 해상도 깊이-맵과 같은 더 조잡한 그래뉼레러티(granularity)를 또한 사용할 수 있고, 여기서 각각의 깊이-맵 값은 다수의 픽셀들에 대한 깊이-정보를 제공한다.

디스패러티 맵(disparity map)들이 상술된 깊이-맵에 대한 대안으로서 사용될 수 있다. 디스패러티는 좌측-눈 및 우측-눈 뷰포인트와 같은 2개의 뷰포인트로부터 관측될 때 장면(scene) 내의 오브젝트들의 분명한 시프트(shift)를 나타낸다. 디스패러티 정보 및 깊이 정보는 관련되며, 당업자들에게 통상적으로 공지되어 있는 바와 같이 서로 맵핑될 수 있다.

상술된 것을 고려하여, 용어들 깊이-관련 정보 및 깊이 값들은 명세서 전체에 걸쳐 사용되며, 적어도 깊이 정보 뿐만 아니라, 디스패러티 정보를 포함하는 것으로 이해된다.

이미지 시퀀스 및 깊이-관련 정보 맵들, 또는 줄여서 깊이-맵들의 대응하는 시퀀스를 자동입체 디스플레이에 제공함으로써, 상기 자동입체 디스플레이는 하나의 뷰어들에 대해 콘텐트(content)의 다수의 뷰들을 렌더링할 수 있다. 새롭게 생성된 콘텐트가 정확하게 기록된 깊이 값들을 가지고 있을지라도, 더 많은 종래의 2-차원(2D) 이미지 시퀀스들은 필요한 깊이 값들을 포함하지 않는다.

2D 콘텐트를 3D 콘텐트로 변환하는 다양한 방법들이 공지되어 있고, 이러한 방법들 중 일부는 인간의 개입이 없는 실-시간 변환을 다루는 반면, 다른 방법들은 인간-원조 2D 대 3D 변환을 다룬다. 후자의 방법에서, 운영자들이 일반적으로 선택된 키 프레임(key frame)들에 대한 깊이 정보를 규정하고, 이 깊이 정보는 그 후에 논-키 프레임(non-key frame)들로 전파된다. 깊이-값들이 이미지 시퀀스에서 이미지들의 서브셋(subset)에 대해서만 이용 가능할 때 유사한 방법들이 깊이 값들을 전파하는데 사용될 수 있다.

공지된 방법은 국제 특허 출원 WO2002/13141에서 제공된다. 이 방법에 따르면, 네트워크(network)는 키-프레임으로부터 픽셀들의 서브셋에 대한 주석이 달린 깊이 갑(annotated depth)을 사용하여 트레이닝(traning)된다. 이 정보는 텍스처 정보(texture information) 및 깊이 특징들 사이의 관계를 습득하는데 사용된다. 그 후, 상기 트레이닝된 네트워크가 전체 키-프레임들에 대한 깊이 정보를 발생시키는데 사용된다. 제 2 단계 동안, 키-프레임들의 깊이-맵들이 이미지 특징들 및 키 프레임(들)까지의 상대 거리로부터 논 키-프레임에 대한 깊이-맵들을 발생시키는데 사용된다.

공지된 방법에 의한 문제점은 상이한 깊이들에 위치된 유사한 텍스처 정보를 갖는 오브젝트들을 핸들링(handling)하기가 어렵다는 것이다.

본 발명의 목적은 이 문제점을 개선하고, 제 1 이미지와 연관된 제 1 -깊이로부터 제 2 이미지와 연관된 제 2 깊이-맵으로 깊이-관련 정보를 전파하는 것을 돕는 대안적인 해결책을 제공하는 것이며, 상기 제 1 및 제 2 이미지는 이미지 시퀀스에서 시간적으로 근접한 이미지이다.

이 목적은 본 발명에 따른 방법이 제 1 이미지 및 제 2 이미지의 픽셀들을 사용하여 깊이 값들을 제 1 깊이-맵으로부터 중간 깊이-맵으로 전파함으로써 제 2 이미지와 연관된 중간 깊이-맵을 발생시키는 단계; 상기 제 1 깊이-맵에서의 제 1 위치 주위의 공간적인 영역에서의 깊이 값들 및 상기 중간 깊이-맵에서의 제 2 위치 주위의 공간적인 영역에서의 깊이 값들을 포함하는 정보를 사용하여 모션 벡터(motion vector)를 발생시키는 단계; 및 상기 모션 벡터 및 상기 제 1 깊이-맵을 포함하는 정보를 사용하여 상기 제 2 깊이-맵에서의 제 2 위치에 대한 깊이 값을 발생시키는 단계를 포함한다는 점에서 실현된다.

상기 제 1 및 제 2 이미지는 유사하지만, 상이한 시간스탬프(timestamp)를 갖는 이미지 시퀀스로부터의 이미지들을 나타낸다. 결과적으로, 전형적으로, 상기 제 1 및 제 2 이미지는 서로 유사하지만, 예를 들어, 카메라 뷰포인트, 카메라 세팅(camera setting)들, 오브젝트 모션, 및/또는 오브젝트 변화에서의 변화들의 결과로서 상이할 것이다.

따라서, 상기 제 1 및 제 2 이미지와 각각 연관된 제 1 및 제 2 깊이-맵이 또한 상이한 시간스탬프들과 관련된다. 본 발명은 제 1 이미지와 연관된 제 1 깊이-맵으로부터의 깊이 값들을 사용하여 제 2 이미지에 대한 깊이-맵을 발생시키는 것을 원조하므로; 본 발명은 정보를 제 1 깊이-맵으로부터 제 2 깊이-맵으로 전파한다.

키-프레임의 수동으로 주석이 달린 깊이-맵들과 같은 신뢰 가능한 깊이-맵들의 깊이 값들의 전파 동안, 전파된 깊이-맵들은 전형적으로 키-프레임에 가까울수록 더 작은 에러(error)들을 나타내고 키-프레임으로부터 더 멀리 떨어질수록 더 큰 에러들을 나타낸다.

이와 같은 전파 에러들이 상기 에러들이 여전히 상대적으로 작을 때 초기에 수정될 필요가 있다는 것이 본 발명자의 식견이다. 추가된 보너스(bonus)로서, 더 작은 에러들은 더 작은 개구들을 갖는 필터(filter)들의 사용을 허용한다. 초기 단계에서 전파 에러들을 수정하기 위하여, 본 발명자는 다-단계 방법을 제안한다. 제 1 단계에서, 제 1 깊이-맵으로부터 깊이 값들을 전파함으로써 중간 깊이-맵이 발생된다. 용어 전파는 본원에서 제 1 깊이-맵이 중간 깊이-맵과 상이한 시간스탬프와 연관된다는 것을 강조하기 위하여 사용된다. 제 1 깊이-맵으로부터의 깊이-값들은 예를 들어, 제 1 및 제 2 이미지 둘 모두의 루미넌스(luminance), 크로미넌스(chrominance) 및/또는 텍스처와 같은 이미지 특징들을 기반으로 한 필터를 사용하여 전파될 수 있다. 결과적인 중간 깊이-맵은 제 2 깊이-맵에 대한 초기 추정치로서 해석될 수 있다.

바람직하게는, 상기 중간 깊이-값은 쌍방향 필터(bilateral filter)를 사용하여 발생된다. 그러나, 예를 들어, 기계-습득 방법들의 사용과 같은 다른 방법들이 대신 사용될 수 있다.

제 2 단계에서, 상기 제 1 깊이-맵에서의 제 1 위치 주위의 공간적인 영역 및 상기 중간 깊이-맵에서의 제 2 위치 주위의 공간적인 영역으로부터의 정보를 사용하여 모션 벡터가 설정된다. 상기 모션 벡터는 상기 중간 깊이-맵에서의 제 2 위치 주위의 공간적인 영역 및 상기 제 1 깊이-맵에서의 제 1 위치 주위의 공간적인 영역이 상대적으로 높은 상관성을 나타내도록, 즉, 제 1 깊이-맵에서의 다른 공간적인 영역들에 비하여 더 높은 상관성을 나타내도록 선택된다.

제 3 단계에서, 상기 모션 벡터는 상기 모션 벡터 및 상기 제 1 깊이-맵을 포함하는 정보를 사용하여 제 2 깊이-맵에서의 제 2 위치에 대한 깊이 값을 발생시키는데 사용된다.

상기의 방식으로, 키-프레임으로부터의 주석이 달린 깊이 값들, 또는 대안적으로, 본 발명에 따라 이미 전파되었던 깊이 값들이 부가적인 프레임들로 전파될 수 있다. 상기 제 2 단계는 명시적으로 상기 제 1 깊이-맵에서의 제 1 위치의 공간적인 콘텍스트(spatial context) 및 상기 제 2 깊이-맵에서의 제 2 위치의 공간적인 콘텍스트 둘 모두를 고려한다. 모션 벡터에 의해 적절하도록 표시되는 콘텍스트에서 제 1 깊이 맵으로부터의 깊이 값들을 사용함으로써, 특히, 유사한 컬러(color) 및 상이한 깊이의 오브젝트들 중 제 1 깊이-맵에 존재하는 오브젝트 경계(object boundary)들이 실질적으로 보존될 수 있다. 상기의 방식으로, 본 발명은 종래 기술의 문제점을 효율적으로 개선한다.

하나의 실시예에서, 상기 제 2 깊이-맵에서의 제 2 위치에 대한 깊이 값은 모션 벡터 및 상기 제 1 깊이-맵만으로부터의 깊이 값들을 사용하여 형성된다. 이 경우에, 상기 모션 벡터는 깊이 값 및/또는 영역을 상기 제 1 깊이-맵으로부터 상기 제 2 깊이-맵으로 카피(copy)하는데 사용된다. 상기 제 1 및 제 2 위치들은 모션 벡터의 소스(source) 및 타겟(target)에 대응한다. 상기 실시예의 장점은 깊이-값들을 제 1 깊이-맵으로부터 제 2 깊이 맵으로 카피함으로써, 제 1 깊이 맵의 에지 무결성(edge integrity)이 실질적으로 보존될 것이라는 점이다.

부가적인 실시예에서, 상기 제 2 깊이-맵에서의 제 2 위치에 대한 깊이 값을 발생시키는 단계는 모션 벡터 및 제 1 깊이-맵을 기반으로 한 깊이 값 및 중간 깊이-맵에서의 제 2 위치 값에서의 깊이 값을 기반으로 한 깊이 값을 포함하는 후보 세트(candidate set)로부터 깊이 값을 선택하는 단계를 포함한다. 상기 방법의 장점은 상기 제 1 깊이 맵으로부터의 깊이 값들의 카피가 만족스러운 결과를 발생시키지 않는 경우에, 중간 깊이-맵이 폴백(fallback)으로서 사용될 수 있다는 점이다. 모션 벡터 발생이 모션 벡터에 대한 절대차들의 합(Sum of Absolute Differences: SAD)의 계산을 포함하는 이 실시예의 바람직한 변형에서, SAD는 후보 세트로부터 깊이 값을 선택하는데 사용된다.

더 부가적인 실시예에서, 제 1 및 중간 깊이-맵의 깊이-값들 및/또는 영역들은 제 2 깊이-맵의 깊이-값 및/또는 블록을 형성하기 위하여 결합되는데, 예를 들어, 혼합된다. 이 방식으로, 깊이 값들 사이의 더 연속적인 전이가 획득될 수 있다. 이 실시예는 신뢰성 측정치(reliability measure)가 중간 깊이-맵으로부터의 기여(contribution), 즉, 제 2 깊이-맵의 초기 추정치를 가중시키는데 사용될 때 특히 효율적이다.

본 발명의 하나의 실시예에서, 중간 깊이-맵 발생은 제 1 이미지의 적어도 하나의 픽셀 및 제 2 이미지의 적어도 하나의 픽셀을 기반으로 한 가중 팩터(weight factor)들을 사용한 제 1 깊이-맵으로부터의 깊이 값들의 가중된 추가에 의한 중간 깊이-맵에서의 깊이 값의 계산을 포함하며, 각각의 깊이-관련 정보의 공간적으로 근접한 픽셀들 둘 모두가 전파된다.

상기 실시예의 바람직한 실시예에서, 가중 팩터들은 상기 제 1 이미지로부터의 적어도 하나의 픽셀 및 상기 제 2 이미지로부터의 적어도 하나의 픽셀 사이의 차이의 비-선형 함수를 기반으로 하여 결정된다. 이 방식으로, 결과적인 깊이-값들에서 상당한 차이들을 나타내는 픽셀들의 영향들이 억제될 수 있다.

본 발명의 목적은 부가적으로 제 1 이미지와 연관된 제 1 깊이-맵으로부터 제 2 이미지와 연관된 제 2 깊이-맵으로 깊이-관련 정보를 전파하는 깊이-맵 전파 장치에 의해 실현되며, 상기 제 1 및 제 2 이미지는 이미지 시퀀스에서 시간적으로 근접한 이미지들이며, 상기 장치는: 제 1 이미지 및 제 2 이미지의 픽셀들을 사용하여 깊이 값들을 제 1 깊이-맵으로부터 중간 깊이-맵으로 전파함으로써 제 2 이미지와 연관된 중간 깊이-맵을 발생시키도록 배열되는 제 1 발생 수단; 상기 제 1 깊이-맵에서의 제 1 위치 주위의 공간적인 영역에서의 깊이 값들 및 상기 중간 깊이-맵에서의 제 2 위치 주위의 공간적인 영역에서의 깊이 값들을 포함하는 정보를 사용하여 모션 벡터를 발생시키도록 배열되는 제 2 발생 수단; 및 상기 모션 벡터 및 상기 제 1 깊이-맵을 포함하는 정보를 사용하여 상기 제 2 깊이-맵에서의 제 2 위치에 대한 깊이 값을 발생시키도록 배열되는 제 3 발생 수단을 포함한다.

본 발명에 의하면, 제 1 이미지와 연관된 제 1 깊이-맵으로부터 제 2 이미지와 연관된 제 2 깊이-맵으로 깊이-관련 정보를 전파하는 것을 돕는 대안적인 해결책이 제공된다.

본 발명의 이러한 장점들 및 다른 장점들이 첨부 도면을 사용하여 더 상세히 설명될 것이다.

도 1은 쌍방향 필터를 사용한 깊이 전파 방법을 도시한 도면.
도 2는 컴퓨터-발생된 이미지 및 쌍방향 필터를 사용하여 전파되는 깊이-맵의 예를 도시한 도면.
도 3은 본 발명에 의해 다루어지는 깊이 모호성(depth ambiguity) 문제를 도시한 도면.
도 4는 본 발명에 의해 다루어지는 새로운 컬러 문제점을 도시한 도면.
도 5는 본 발명에 따른 방법의 흐름도.
도 6은 본 발명에 따른 깊이 맵-전파의 예를 도시한 도면.
도 7은 본 발명에 따른 깊이 전파 장치의 블록도.
도 8은 본 발명에 따른 소비자 전자 디바이스 및 콘텐트 변환 디바이스 둘 모두의 블록도.
도면들이 크기대로 도시되어 있지는 않다. 일반적으로, 도면들에서 동일한 구성요소들에는 동일한 참조 번호들이 병기되어 있다.

반-자동화된 2D 대 3D 콘텐트 변환, 즉, 인간-원조되는 콘텐트 변환을 수행할 때, 변환 프로세스는 논 키-프레임들에 깊이 값들을 전파하는데 사용되는 자동화된 외삽 루틴(automated extrapolation routine)들에 의해 생성된 에러들에 의해 영향을 받을 수 있다. 논 키-프레임들로의 깊이 값들의 전파를 자동화하기 위하여 본 발명자에 의해 적용되는 하나의 방법은 쌍방향 필터링을 사용한다. 쌍방향 필터들은 원래, 본원에 참조되어 있는 1998년의 컴퓨터 비전에 대한 국제 컨퍼런스의 회보에서 간행된 C. Tomasi, 등에 의한 "Bilateral filtering for Gray and Color Images"에 개시된 바와 같이, 이미지들의 에지-보존 평활화를 위하여 개발되었다.

본 발명자는 쌍방향 필터들이 깊이 값들을 키-프레임으로부터 이미지 시퀀스에서의 부가적인 프레임으로 전파하는데 매우 효율적이라는 것을 발견하였다. 깊이 관련 정보를 전파하기 위하여, 쌍방향 필터는 다음 이미지 쌍들에 반복적으로 적용된다. 상기 이유 때문에, 제 1 이미지(I1)와 연관된 제 1 깊이 맵(D1)을 기반으로 하여 중간 깊이 맵을 발생시키는데 쌍방향 필터들이 사용되는 것이 바람직하다.

쌍방향 필터링들은 도메인 필터링(domain filtering)을 범위 필터링(range filtering)과 결합한다. 쌍방향 필터링이 깊이를 키-프레임으로부터 이미지 시퀀스에서의 부가적인 프레임들로 전파하기 위한 매우 효율적인 방법이라는 것이 실험을 통해 제시되었다. 이 깊이 전파 프로세스는 반복적인 방식으로 적용될 수 있다. 각각의 반복적인 단계에 대하여, 깊이는:

의 관계를 사용하여 제 1 이미지로부터 제 2 이미지로 전파된다.

이하에서, 제 1 깊이-맵으로부터의 깊이 값들이 중간 깊이-맵으로 전파되는 쌍방향 필터의 단일 반복이 조사된다. 여기서,

는 시간(t+δ)에서, 중간 깊이-맵에서의 픽셀(i)에서의 깊이 값이고,

는 공간상 이웃 픽셀(j)에서의 제 1 깊이-맵에서의 깊이 값이다.

쌍방향 필터가 순방향 전파에, 즉, 시간적으로 순방향 (δ>0) 전파에 사용될 수 있다는 점이 당업자에게 명백할 것이다. 그러나, 쌍방향 필터들이 또한 역방향 전파(δ<0)에 사용될 수 있다. 더욱이, 전형적으로 쌍방향 필터링이 반복적인 방식으로(δ=-1 또는 δ=1) 인접한 이미지들로부터 깊이를 전파하는데 사용될지라도, 더 큰 스텝-크기(step-size)(δ<-1 또는 δ>1)를 사용하는 것이 또한 가능하다. 쌍방향 필터가 본 발명과 조합하여 사용될 때, 상기 쌍방향 필터가 인접한 이미지들로부터 깊이 값들을 전파하는데 사용되는 것이 바람직하다. 이 방식으로, 제 1 및 제 2 이미지 사이의 차이들의 량이 최소로 유지됨으로써, 중간 깊이-맵이 수정될 수 있는 확률을 증가시킨다.

최초에, 키-프레임(t=0)에서, 깊이 값들이 에러가 없는 것으로 인식된다고 가정된다. 픽셀(j)은 위치(i) 상에서 센터링(centering)된 시간적인 이웃으로부터 나온다. 함수(f_ij)는 공간적인 이웃들을 자신들의 공간적인 거리에 따라 가중시킨다. 여기서, 크기 Δ의 박스 필터(box filter)를 사용한다:

예를 들어, 19 픽셀들의 윈도우 크기(window size) Δ가 사용되는 경우에, 9 픽셀들의 최대 모션이 반복마다 추적될 수 있다. 가중치들(

)은 시간 스탬프(t+δ)에서의 제 2 이미지에서의 픽셀(i) 및 프레임(t)에서의 이웃 픽셀들(j) 사이의 컬러 차이에 따른다. 사용된 가중치들은:

에 의해 제공되며,

여기서, α는 컬러 중요도를 결정하는 상수이다. 컬러의 영향은 α의 증가에 따라 증가한다. 도 1은 Δ=7의 일례의 필터 윈도우 크기에 대한 쌍방향 깊이 전파 필터의 동작을 도시한다. 도 1은 이미지 시퀀스의 제 1 이미지(I^(t)) 및 제 2 이미지(I^(t+δ))를 도시한다. 제 1 및 제 2 이미지는 위첨자(t+δ)로 표시된 시간적으로 근접한 이미지 시퀀스로부터의 상이한 이미지들을 나타낸다. 제 1 이미지에서 보이는 밝은 픽셀들은 더 어두운 청색 배경(blue background) 상에서의 적색 오브젝트(red object)의 적색 픽셀들을 나타낸다. I^(t+δ)로 표시된 제 2 이미지(I2)에서, 어두운 청색 배경 픽셀들은 오브젝트가 우측으로 이동하였기 때문에 커버(cover)되지 않는다.

(

) 로 표시된 중간 깊이 맵의 새로운 깊이 값(i)을 계산하기 위하여, 프레임(t)의 필터 풋프린트(filter footprint)에서의 모든 픽셀들(j)에 대해 가중치들(

)이 계산된다. 프레임(t+δ)의 픽셀(i)에서의 깊이 값을 예측하기 위하여 가중된 평균이 사용된다. 컬러 차이들이 어두운 청색 픽셀들에 대해서 작지만, 밝은 적색 픽셀들에 대해 크기 때문에, 어두운 청색 픽셀들의 깊이 값들의 가중치들은 밝은 적색 픽셀들의 깊이 값들의 가중치들보다 더 높을 것이다. 결과적으로, 중간 깊이-맵에서의 깊이 값은 실질적으로 어두운 청색 픽셀들의 깊이 값에 의해 결정될 것이다.

쌍방향 필터는 유사한 컬러가 유사한 깊이 값을 나타낸다고 암시적으로 가정한다. 그러나, 실제로, 이 컬러 불변 가정은 종종 어겨져서, 전파된 깊이 값들에서 에러들을 발생시킨다. 일단 에러들이 깊이 맵에 도입되면, 상기 에러들은 새로운 프레임들로 반복적으로 전파된다.

도 2는 식 1을 기반으로 한 쌍방향 필터를 사용하여 30개의 이미지들에 걸쳐 전파되었던 깊이 맵에서의 이와 같은 전파 에러들의 영향을 도시한다. 도 2의 결과들을 발생시키기 위하여, Δ=19의 풋프린트 크기를 갖는 쌍방향 필터가 사용되었다. 컬러 중요도 파라미터(α)는 0.125로 설정되었다.

이 이미지에서, 다음 문제점들이 관측될 수 있다.

1. '깊이 모호성'-문제점

깊이 모호성은 사실상 단일 컬러가 상이한 깊이 값들에서 하나이고 동일한 이미지에서 발생하는 상황과 관련된다. 쌍방향 필터의 경우에, 이것은 시간에 걸쳐 전파 및 축적되는 깊이 맵의 에러들을 발생시킨다.

2. '새로운 컬러'-문제점

새로운 컬러 문제점은 초기 깊이-맵 추정치가 발생되고 있는 제 2 이미지가 원래 키-프레임 이미지에 존재하지 않는 컬러를 포함한다는 사실의 결과이다. 결과적으로, 어떤 종류의 깊이 값이 이 컬러와 연관되어야 하는지에 관한 정보가 존재하지 않는다. 이 상황은 예를 들어, 배경의 새로운 부분이 커버되지 않고 있는 경우, 초점을 벗어난 전경 오브젝트(out-of-focus foreground object)의 에지가 제 2 이미지에서의 새로운 배경 컬러와 혼합되는 경우, 또는 이미지에서 투명성이 존재하는 경우에 발생한다.

도 2에서, '깊이 모호성' 문제점은 도면에서 2개의 주사위가 만나는 장소에서 보인다. 2개의 주사위의 컬러는 동일하지만, 전경 및 배경 주사위의 깊이 값들은 상이하다. 결과적으로, 전파 이후에, 이 경계에 대한 깊이 값은 각각의 깊이 값들의 평균이다. "새로운 컬러" 문제점은 배경의 부분이 커버되고 있지 않아서 부정확한 깊이 값을 발생시키는 도면의 우측 상에서 보인다.

도 3은 깊이 모호성 문제점을 더 상세히 도시한다. 제 1 이미지(I^(t))의 전경에서의 지배적인 컬러인 밝은 적색 픽셀들이 또한 배경에서 발생한다. 결과적으로, 깊이 값이 제 1 이미지(I^(t)) 및 제 2 이미지(I^(t+δ))를 기반으로 한 쌍방향 필터링을 사용하여 전파될 때, 제 1 깊이 맵(

)으로부터의 깊이 값들의 평균화가 발생하여, 중간 깊이 맵(

)에서 에러 있는 깊이 값을 발생시킬 것이다.

도 4는 새로운 컬러 문제점을 더 상세히 도시한다. 새로운 컬러는 제 2 이미지(I^(t+δ))에서 나타난다: 전경에서의 밝은 적색 오브젝트가 우측으로 이동함에 따라, 매우 밝은 황색 컬러의 여러 픽셀들이 배경에서 보이게 된다. 황색이 제 1 이미지(I^(t))의 필터 윈도우에서 나타나지 않기 때문에, 컬러 및 깊이 사이의 관계는 정확하게 카피될 수 없고, 에러 있는 깊이가 발생될 것이다.

상기 예가 본 발명에서 사용하기 위한 중간 깊이-맵을 발생시키기 위하여 쌍방향 필터링을 사용하는 것을 명시적으로 제안할지라도, 상기에 언급된 문제점들은 전형적으로 깊이-값들을 추론하기 위하여 이미지 특징들을 사용하는 다른 방법들에서 발생한다. 이미지 특징들은 엄밀히 말하면, 실제 깊이-값들과 직접적으로 링크(link)되지 않고, 상이한 깊이들에서의 오브젝트들이 유사한 컬러들, 텍스처들 및/또는 루미넌스를 가질 수 있다. 결과적으로, 모호성은 이와 같은 이미지 특징들을 사용하는 다른 전파 방법들에 영향을 줄 것이다.

본 발명의 목표는 적어도 모호성 문제점을 개선하는 것이다. 중간 깊이-맵에서의 깊이 에러들은 전형적으로 몇 개의 픽셀들로서 시작하지만, 키-프레임으로부터 더 멀어질수록 더 큰 영역들을 커버하는 경향이 있다. 본 발명은 전파 에러들이 더 전파되지 않도록 하는 것을 돕는 방식으로, 전파 에러들이 발생된 직후에 전파 에러들을 수정하는 것을 제안한다.

도 5는 깊이-관련 정보를 제 1 이미지와 연관된 제 1 깊이-맵으로부터 제 2 이미지와 연관된 제 2 깊이-맵으로 전파하는 본 발명에 따른 방법의 흐름도를 도시하며, 상기 제 1 및 제 2 이미지는 이미지 시퀀스에서 시간적으로 근접한 이미지이다. 상기 방법은 S1, S2, 및 S3로서 각각 도 5에 표시된 3개의 단계들을 포함한다.

도 5에 도시된 제 1 단계(S1)는 제 1 이미지 및 제 2 이미지의 이미지 특징들을 사용하여, 깊이 값들을 제 1 깊이-맵으로부터 중간 깊이-맵으로 전파함으로써 제 2 이미지와 연관된 중간 깊이-맵을 발생시키는 것을 포함한다. 실제로, 이러한 이미지 특징들은 예를 들어, 크로미넌스, 루미넌스, 및/또는 텍스처일 수 있다. 단계(S1)는 상술된 바와 같은 쌍방향 필터를 사용하여 구현될 수 있다. 그러나, 본 발명은 이에 제한되지 않는다. 대안적인 방법들은 예를 들어, 깊이 값들을 전파하기 위하여 이미지 특징들을 사용하는 기계 습득 방법들을 포함하지만, 이에 제한되지 않는다.

제 2 이미지와 연관된 제 2 깊이 맵에서의 제 2 위치에 대한 깊이 값을 발생시키기 위하여, 제 2 단계(S2)에서, 제 1 깊이-맵 및 중간 깊이-맵을 사용하여 모션 벡터가 발생된다. 이 모션 벡터는 제 2 깊이-맵에서의 제 2 위치 주위의 공간적인 영역과의 상대적으로 높은 상관성을 나타내는 제 1 깊이-맵에서의 제 1 위치 주위의 공간적인 영역을 식별한다.

제 2 단계(S2)는 당업자에게 공지되어 있는 모션 추정 알고리즘을 사용하여 다양한 방식들로 구현될 수 있다. 어느 특정 알고리즘이 사용되는지는 상기 알고리즘이 중간 깊이-맵에서의 제 2 위치의 공간적인 콘텍스트 및 제 1 깊이-맵에서의 제 1 위치의 공간적인 콘텍스트를 고려하는 한 중요하지 않다. 이 방식으로, 모션 벡터는 제 2 깊이-맵에서의 공간적인 영역과 유사한 제 1 깊이-맵에서의 공간적인 영역을 식별한다.

제 3 단계(S3)에서, 제 2 깊이-맵에서의 제 2 위치에 대한 깊이 값이 모션 벡터 및 제 1 깊이-맵을 포함하는 정보를 사용하여 발생된다. 본 발명의 범위를 벗어남이 없이 이 깊이 값을 발생시키기 위하여 다양한 대안적인 방법들이 사용될 수 있다.

제 1 방법에서, 제 3 단계(S3)는 제 2 단계(S2)에서 발생된 모션 벡터를 사용하여 제 1 깊이 맵으로부터 깊이 값들을 카피하는 것을 포함한다. 이 방법 뒤의 비율은 각각의 이미지들 사이의 차이들이 상대적으로 작은 한, 대응하는 깊이-맵들 사이의 변화들이 또한 작을 것이라는 것이다.

따라서, 중간 깊이-맵에서의 제 2 위치에서의 공간적인 영역보다 제 2 위치 주위의 공간적인 영역의 더 정확한 표현을 제공하는 제 1 깊이-맵에서의 공간적인 영역이 존재할 것이다. 제 2 단계(S2)에서 발생된 모션 벡터는 중간 깊이-맵에서의 제 2 위치의 공간적인 영역과의 비교적 양호한 매칭(match)을 제공하는 제 1 깊이-맵에서의 공간적인 영역의 표시를 나타낸다.

이 제 1 방법에서, 모션 벡터는 제 1 깊이-맵으로부터 제 2 깊이-맵으로 깊이 값 및/또는 전체 영역을 카피하는데 사용된다. 제 1 깊이-맵으로부터 영역을 카피하고/하거나, 깊이 값의 공간적인 콘텍스트를 고려함으로써, 깊이-맵 내의 에지들이 실질적으로 보존될 것이다.

본 발명의 구현을 더 설명하기 위하여, 블록-기반 모션 벡터 발생의 형태인 제 2 단계(S2) 및 제 1 깊이-맵으로부터 제 2 깊이-맵으로 공간적인 영역들을 카피하는 형태의 제 3 단계들의 구현이 다음에 논의될 것이다.

상술된 바와 같이, 중간 깊이-맵(

)은 제 2 깊이-맵의 제 1 추정치로서 해석될 수 있다. 그 후, 이 추정치는 제 2 단계(S2) 및 제 3 단계(S3)를 사용하여 수정된다. 이 추정치를 수정하기 위하여, 중간 깊이-맵(

)에서의 깊이 에러들이 공간적으로 상관되지 않고 제 1 깊이-맵(

)에서의 깊이 값들이 (이미지가 키-프레임에 대응하는 경우에) 에러가 없거나 또는 이미 수정되었다(아래첨자 "cor"로 표시된다)고 가정된다.

중간 깊이-맵(

)을 수정하기 위하여, 픽셀들은 16×16 픽셀들의 k=1…N 블록들(B_k)로 그룹화된다. 그 후, 각각의 블록(B_k)에 대하여, (중간 깊이 맵으로부터의) 블록(B_k)이 제 1 깊이-맵에서의 블록과 비교될 때 가장 작은 매칭 에러를 발생시키는 변위 벡터(u_x ^(k), u_y ^(k))가 결정된다.

그 후, 제 2 깊이 맵(

)에 대한 깊이 값들이 모든 (x, y)∈B_k에 대하여

을 사용하여 획득된다. 이 모션 보상 동작은 제 1 깊이-맵으로부터 제 2 깊이 맵으로의 깊이-값들의 블록들의 카피에 대응한다. 상기 변위 벡터는 블록(B_k)에서의 모든 픽셀들에 걸쳐 합산된 깊이 에러 함수의 최소화에 의해 결정되며:

여기서, 깊이 에러 함수(g(x,y,v_x,v_y))는:

에 의해 제공된다.

상기 깊이 에러 함수가 상이한 통계적인 특성들을 갖는 2개의 신호들 사이에서 계산되고;

가 예를 들어, 쌍방향 필터에 기인하는 중간 깊이-맵이고,

가 주석이 달린 깊이-맵 또는 이전에 수정된 깊이-맵 중 하나인 제 1 깊이-맵이라는 점을 주의하라.

상기 방법이 로컬 이웃(local neighborhood)에서 모든 위치들을 탐색하는 모션 추정 절차를 사용할지라도, 다른 탐색 방법들을 사용하여 수용 가능한 결과들을 획득하는 것이 가능하다. 모션 추정의 이와 같은 최적화들 및/또는 변형들은 당업자들에게 널리 공지되어 있다.

도 6은 제 1 이미지(I^(t)), 제 2 이미지(I^(t+δ)), 제 1 깊이-맵(

) 및 중간 깊이-맵(

)의 예를 도시한다. 모션 벡터 발생 동안, 중간 깊이-맵(

)에서의 제 2 위치에서의 블록과의 가장 양호한 매칭을 제공하는 블록이 제 1 위치에서의 제 1 깊이 맵(

) 내에서 식별된다. 여기서, 가장 양호한 매칭은 가장 작은 매칭 에러를 발생시키는 매칭이다. 다음으로, 모션 벡터에 의해 식별된 블록이 제 2 위치에서의 제 2 깊이-맵으로 카피된다. 이 방법은 제 2 깊이-맵에 존재하는 형상 정보가 실질적으로 전파된 프레임들에서 보존되는 것을 보증한다.

상기 방법은 매칭의 품질에 관계없이 가장 양호한 매칭에 대응하는 정보를 제 1 깊이-맵으로부터 제 2 깊이-맵으로 카피한다. 대안적인 실시예에서, 제 1 깊이 맵(

)으로부터 정보를 전파할지 또는 중간 깊이 맵(

)으로부터 정보를 전파할지 여부에 대한 선택이 행해진다.

이러한 대안적인 깊이 값들 중 어느 것이 전파되어야 하는지에 관한 판정은 바람직하게는 매칭 에러를 기반으로 한다. 매칭 에러가 낮은 경우에, 제 1 깊이-맵(

)에서의 제 1 위치 주변의 공간적인 영역 및 중간 깊이-맵(

)에서의 제 2 위치 주변의 공간적인 영역 사이에 상당한 상관성이 존재한다. 이와 같은 상황에서, 제 1 깊이-맵(

)으로부터 정보를 전파하는 것이 바람직하다. 대안적으로, 매칭 에러가 큰 경우에, 모션 벡터 후보가 최적이 아닐 수 있는 상당한 가능성이 존재한다는 것이 명백하다. 이 상황에서, 중간 깊이-맵(

)으로부터 정보를 전파하는 것이 바람직하다.

더 바람직하게는, 매칭 에러 문턱값이 상기 후보들 사이를 선택하는데 사용된다. 추가적인 후보들 및/또는 추가적인 선택 기준들의 추가와 같은 상기 방법에 대한 미묘한 변화들이 구상된다.

상기 방법의 가능한 단점은 인접한 블록들에 대해 상이한 후보들이 선택될 때, 이것이 결과적인 제 2 깊이-맵에서 불연속들을 발생시킬 수 있다는 것이다. 이와 같은 불연속들을 방지하기 위하여, 후보들 중 하나를 선택하는 대신에, 후보들을 혼합하는 것이 또한 가능하다. 바람직하게는, 이러한 후보들을 혼합하는 것은 매칭 에러와 같은 신뢰성 측정치에 의해 제어된다. 매칭 에러가 높은 경우에, 이것은 모션 벡터 후보의 신뢰성이 상대적으로 낮다는 표시이다. 결과적으로, 이 후보의 가중치는 후보들을 혼합할 때 낮아질 수 있다.

후보들의 선택 및/또는 혼합을 더 개선시키기 위하여, 중간 깊이-맵의 깊이-값들의 신뢰성을 나타내는 신뢰성 측정치와 같은 부가적인 신뢰성 측정치들이 사용될 수 있다. 중간 깊이-맵을 발생시키기 위하여 쌍방향 필터가 사용되는 경우에, 이와 같은 신뢰성 측정치는 필터 가중치들을 계산할 때 픽셀들 사이의 가장 작은 컬러 차이를 확립함으로써 확립될 수 있다. 제 1 이미지 및 제 2 이미지에서의 픽셀들 사이의 모든 컬러 차이들이 큰 경우에, 즉, 모든 가중치들이 작은 경우에, 쌍방향 필터가 신뢰 가능한 깊이-값을 제공하지 않을 상당한 확률이 존재한다.

명세서 전체에 걸쳐서 깊이 값들의 전파가 시간적으로 순방향으로 발생하는 것이 고려될지라도, 본 발명은 이에 제한되지 않는다. 본 발명은 양방향 전파, 즉, 순방향 및 역방향 전파 둘 모두를 적용하는 시나리오들에서 유사하게 유용하게 사용될 수 있다. 양방향 전파 시나리오에서, 각각의 프레임에 대해 2개의 중간 깊이-맵들이 추정될 수 있고, 2개의 모션 벡터들이 발생될 수 있다. 양방향 방법에서, 역방향 및 순방향 예측의 기여가 바람직하게는, 대응하는 키 프레임들까지의 거리에 따라 가중된다.

본 발명의 최대 효과로 사용하기 위하여, 중간 깊이-맵의 발생은 바람직하게는 제 1 및 제 2 이미지에서의 픽셀들 사이의 차이들을 고려해야 하지만, 제 1 깊이-맵의 형태에 의해 제공되는 공간적인 제약들을 부과하는 것을 자제해야 한다. 대조적으로, 모션 벡터를 발생시키는 단계는 바람직하게는 깊이 값이 발생되고 있는 픽셀 주위의 영역의 형태에 의해 제공되는 공간적인 제약들을 고려한다.

도 7은 본 발명에 따라 깊이-관련 정보를 제 1 이미지(820)와 연관된 제 1 깊이-맵(810)으로부터 제 2 이미지(830)와 연관된 제 2 깊이-맵(860)으로 전파하는 기본적인 깊이-맵 전파 장치(800)를 도시한다. 상기 장치(800)는 입력 커넥터(connector)들(802, 801, 및 803) 상에서 각각 3개의 입력 신호들: 제 1 이미지(820), 제 1 깊이-맵(810) 및 제 2 이미지(830)를 수신한다. 상기 장치는 출력 커넥터(806) 상에서 하나의 출력 신호, 즉 제 2 깊이 맵(860)을 출력한다.

상기 장치(800)의 변형에서, 주석이 달린 키-프레임들을 갖는 이미지 시퀀스 형태의 단일 집합 입력 신호가 3개의 입력 커넥터들(801, 802, 및 803) 대신에 단일 커넥터 상에 입력된다. 마찬가지로, 단일 집합 출력 신호는 본 발명에 따라 전파되는 깊이-맵들을 갖는 이미지 시퀀스 형태로 제공될 수 있다.

상기 장치(800)는 제 2 이미지(830)와 연관된 중간 깊이-맵(840)을 발생시키도록 배열되는 제 1 발생 수단(805)을 더 포함한다. 상술된 바와 같이, 중간 깊이-맵(840)의 발생은 제 1 이미지(820) 및 제 2 이미지(830)의 픽셀들을 사용하여 깊이 값들을 제 1 깊이-맵(810)으로부터 중간 깊이-맵(840)으로 전파함으로써 다양한 방식들로 구현될 수 있다.

상기 장치는 또한 제 1 깊이-맵에서의 제 1 위치 주위의 공간적인 영역에서의 깊이 값들 및 중간 깊이-맵에서의 제 2 위치 주위의 공간적인 영역에서의 깊이 값들을 포함하는 정보를 사용하여 모션 벡터(850)를 발생시키도록 배열되는 제 2 발생 수단(815)을 포함한다.

그 후, 이 모션 벡터(850)는 상기 모션 벡터(850) 및 제 1 깊이-맵(810)을 포함하는 정보를 사용하여 제 2 깊이-맵(860)에서의 제 2 위치에 대한 깊이 값을 발생시키도록 배열되는 제 3 발생 수단(825)에 의해 사용된다.

상기 장치(800)의 대안적인 구현예들은 본 발명의 범위를 벗어남이 없이 구상될 수 있다는 점이 당업자들에게 명백할 것이다. 상술된 발생 수단들 모두가 프로세싱 태스크(processing task)들을 수행하기 때문에, 상기 제 1, 제 2 및 제 3 발생 수단들(805, 815, 825)에 의해 수행된 태스크들이 단일 디지털 신호 프로세서(digital signal processor) 상으로 맵핑될 수 있다.

디지털 신호 프로세서가 명시적으로 상술되었을지라도, 본 발명은 이에 제한되지 않는다. 상술된 디지털 신호 프로세서와 유사한 기능을 제공하는 대안적인 프로세싱 플랫폼(processing platform)들이 사용될 수 있다. 이러한 프로세싱 플랫폼들은 프로그래밍 가능한 프로세싱 플랫폼들일 필요는 없지만, 마찬가지로 전용 주문형 반도체(Application Specific Integrated Circuit: ASIC)로 이루어질 수 있다. 실제로, 프로세싱 태스크들은 본 발명의 범위를 벗어남이 없이 하이브리드 하드웨어/소프트웨어 시스템(hybrid hardware/software system) 내의 다양한 모듈들에 걸쳐 분배될 수 있다.

도 8은 상술된 장치(800)를 각각 포함하는 콘텐트 변환 디바이스(955) 및 소비자 전자 디바이스(965)를 도시한다. 콘텐트 변환 디바이스는 입력 커넥터(901)를 통하여 이미지 시퀀스(910) 형태의 입력 신호를 수신하는 입력 준비 수단(905)을 포함한다. 입력 시퀀스(910)는 장치(800)에 의해 사용되는 제 1 및 제 2 이미지를 제공한다. 입력 준비 수단(905)은 키-프레임들의 인간 원조 샷 컷 검출(human assisted shot-cut detection) 및 주석을 가능하게 한다. 그 후, 본 발명은 깊이 값들을 논 키-프레임들로 전파하는데 사용될 수 있다. 게다가, 콘텐트 변환 디바이스(955)는 예를 들어, 출력 커넥터(902)를 통하여 출력하기 위한 전파된 깊이-맵들을 포함하는 출력 신호(920)에 대한 포맷 선택을 허용하는 출력 준비 수단(915)을 더 포함한다.

소비자 전자 디바이스(965)는 이미지 시퀀스 및 상기 이미지 시퀀스에서의 키-프레임들을 선택하기 위한 깊이-정보를 포함하는 입력 신호(930)를 수신하는 입력 커넥터(903)를 포함한다. 입력 준비 수단(925)은 장치(800)에 의한 프로세싱을 위해 이미지들을 준비한다. 동작 시에, 장치(800)는 깊이-정보를 키-프레임들로부터 논-키 프레임들로 효율적으로 전파한다. 결과적으로, 입력 신호(930) 내의 모든 이미지가 깊이-맵을 필요로 하지는 않고, 이 방식으로, 본 발명은 또한 송신 신호의 데이터 압축을 가능하게 한다.

선택적으로, 소비자 전자 디바이스(965)는 수반된 깊이 맵들을 갖는 결과적인 이미지 시퀀스를 디스플레이하는 자동입체 디스플레이 수단(935)을 포함할 수 있다.

명세서 전체에 걸쳐서, 중간 깊이-맵의 발생이 단일 프로세싱 단계로서 제공되지만, 중간 깊이-맵의 발생이 이에 제한되지 않는다는 점이 당업자들에게 명백하다. 실제로, 중간 깊이-맵의 발생이 예를 들어, 잡음 억제를 제공하는 사후-프로세싱 단계들을 포함하는 여러 단계들을 포함할 확률이 훨씬 더 높다.

명세서 전체에 걸쳐서, 용어 이미지 시퀀스는 어떤 연속성의 형태를 포함하는 이미지 시퀀스에 사용된다. 깊이 값들의 전파가 이와 같은 연속이 존재하는 상황에서만 뜻이 통한다는 점이 당업자에게 명백할 것이다. 실질적으로 연속적인 이미지 시퀀스를 획득하기 위하여, 이미지 시퀀스는 실질적으로 연속적인 이미지 시퀀스들을 분리하기 위해 샷-컷 검출기에 제공되거나 또는 수동으로 프로세싱될 수 있다.

상술된 실시예들이 본 발명을 제한하기보다는 오히려 설명하며, 당업자들이 첨부된 청구항들의 범위를 벗어남이 없이 많은 대안적인 실시예들을 디자인할 수 있을 것이라는 점이 주의되어야 한다.

청구항들에서, 괄호들 사이에 배치된 임의의 참조 부호들은 청구항을 제한하는 것으로 해석되어서는 안된다.

본 발명의 구조 내에서, 많은 변화들이 가능하다는 점이 명백할 것이다. 본 발명이 본원에 상술되고 특정하게 도시되었던 것에 의해 제한되지 않는다는 점이 당업자들에 의해 인식될 것이다. 본 발명은 각각 및 모든 신규한 독특한 특징 및 독특한 특징들의 각각 및 모든 조합에 있다. 청구항들에서의 참조 번호들은 본 발명의 보호 범위를 제한하지 않는다.

동사 "포함한다" 및 이의 활용형들의 사용은 청구항들에서 진술된 것들 이외의 요소들의 존재를 배제하지 않는다. 요소 앞의 관사 "a" 또는 "an"의 사용은 복수의 이와 같은 요소들의 존재를 배제하지 않는다.

Claims

제 1 이미지(820)와 연관된 제 1 깊이-맵(810)으로부터 제 2 이미지(830)와 연관된 제 2 깊이-맵(860)으로 깊이-관련 정보를 전파하는 방법으로서, 상기 제 1 및 제 2 이미지는 이미지 시퀀스에서 시간적으로 근접한 이미지들인, 상기 깊이-관련 정보 전파 방법에 있어서:
- 상기 제 1 이미지(820) 및 상기 제 2 이미지(830)의 픽셀들을 사용하여 깊이 값들을 상기 제 1 깊이-맵(810)으로부터 중간 깊이-맵(840)으로 전파함으로써 상기 제 2 이미지(830)와 연관된 중간 깊이-맵(840)을 발생시키는 단계;
- 상기 제 1 깊이-맵(810)에서의 제 1 위치 주위의 공간적인 영역에서의 깊이 값들 및 상기 중간 깊이-맵(840)에서의 제 2 위치 주위의 공간적인 영역에서의 깊이 값들을 포함하는 정보를 사용하여 모션 벡터(850)를 발생시키는 단계; 및
- 상기 모션 벡터(850) 및 상기 제 1 깊이-맵(810)을 포함하는 정보를 사용하여 상기 제 2 깊이-맵(860)에서의 제 2 위치에 대한 깊이 값을 발생시키는 단계를 포함하는, 깊이-관련 정보 전파 방법.
제 1 항에 있어서, 상기 중간 깊이-맵(840)을 발생시키는 단계는 상기 제 1 이미지(820)의 적어도 하나의 픽셀 및 상기 제 2 이미지(830)의 적어도 하나의 대응하는 픽셀을 기반으로 한 가중 팩터들을 사용한 상기 제 1 깊이-맵(810)으로부터의 깊이 값들의 가중된 추가에 의해 상기 중간 깊이-맵(840)에서의 깊이 값을 계산하는 단계를 포함하고, 각각의 깊이-관련 정보의 공간적으로 근접한 픽셀들 둘 모두가 전파되는, 깊이-관련 정보 전파 방법.
제 2 항에 있어서, 상기 가중 팩터들은 상기 제 1 이미지로부터의 적어도 하나의 픽셀 및 상기 제 2 이미지로부터의 적어도 하나의 대응하는 픽셀 사이의 차이의 비-선형 함수를 기반으로 하여 결정되는, 깊이-관련 정보 전파 방법.
제 1 항에 있어서, 상기 제 2 깊이-맵(860)에서의 상기 제 2 위치에 대한 깊이 값을 발생시키는 단계는:
- 상기 모션 벡터(850) 및 상기 제 1 깊이-맵(810)을 기반으로 한 깊이 값 및
- 상기 중간 깊이-맵(840)에서의 상기 제 2 위치 값에서의 깊이 값을 기반으로 한 깊이 값을 포함하는 후보들로부터 깊이 값을 선택하는 단계를 포함하는, 깊이-관련 정보 전파 방법.
제 1 항에 있어서, 상기 제 2 깊이-맵(860)에서의 상기 제 2 위치에 대한 깊이 값을 발생시키는 단계는:
- 상기 모션 벡터(850) 및 상기 제 1 깊이-맵(810)을 기반으로 한 깊이 값 및
- 상기 중간 깊이-맵(840)에서의 상기 제 2 위치 값에서의 깊이 값을 기반으로 한 깊이 값을 포함하는 정보를 가중하여 추가하는 단계를 포함하는, 깊이-관련 정보 전파 방법.
제 1 항에 있어서, 상기 중간 깊이-맵(840)을 발생시키는 단계는 상기 중간 깊이-맵(840)에서의 깊이 값에 대한 신뢰성 측정치(R)를 발생시키는 단계를 더 포함하며, 상기 신뢰성 측정치(R)는 상기 제 2 깊이-맵(860)에서의 상기 제 2 위치에 대한 깊이 값을 발생시키는데 사용되는, 깊이-관련 정보 전파 방법.
제 1 항에 있어서, 상기 이미지 시퀀스는 부가적인 이미지 시퀀스로부터의 샷인 깊이-관련 정보 전파 방법.
제 1 이미지(820)와 연관된 제 1 깊이-맵(810)으로부터 제 2 이미지(830)와 연관된 제 2 깊이-맵(860)으로 깊이-관련 정보를 전파하는 깊이-맵 전파 장치(800)로서, 상기 제 1 및 제 2 이미지는 이미지 시퀀스에서 시간적으로 근접한 이미지들인, 상기 깊이-맵 전파 장치에 있어서:
- 상기 제 1 이미지(820) 및 상기 제 2 이미지(830)의 픽셀들을 사용하여 깊이 값들을 상기 제 1 깊이-맵(810)으로부터 중간 깊이-맵(840)으로 전파함으로써 상기 제 2 이미지(830)와 연관된 중간 깊이-맵(840)을 발생시키도록 배열되는 제 1 발생 수단(805);
- 상기 제 1 깊이-맵(810)에서의 제 1 위치 주위의 공간적인 영역에서의 깊이 값들 및 상기 중간 깊이-맵(840)에서의 제 2 위치 주위의 공간적인 영역에서의 깊이 값들을 포함하는 정보를 사용하여 모션 벡터(850)를 발생시키도록 배열되는 제 2 발생 수단(815); 및
- 상기 모션 벡터(850) 및 상기 제 1 깊이-맵(810)을 포함하는 정보를 사용하여 상기 제 2 깊이-맵(860)에서의 제 2 위치에 대한 깊이 값을 발생시키도록 배열되는 제 3 발생 수단(825)을 포함하는, 깊이-맵 전파 장치.
제 8 항에 따른 깊이-맵 전파 장치(800)를 포함하는 소비자 전자 디바이스(965).
제 8 항에 따른 깊이-맵 전파 장치(800)를 포함하는 콘텐트 변환 디바이스(955).
프로그래밍 가능한 디바이스가 제 1 항 내지 제 7 항 중 어느 한 항에 따른 깊이-관련 정보 전파 방법을 실행하도록 하는 명령들을 포함하는 컴퓨터 프로그램 제품.