KR101625830B1 - 깊이 맵을 생성하기 위한 방법 및 디바이스 - Google Patents

Abstract

본 발명은 단안 정보를 이용하여 이미지에 대한 깊이 맵을 생성하기 위한 디바이스 및 방법(100)에 관한 것이며, 상기 방법은 이미지(205)에 대한 제 1 깊이 맵을 생성하는 단계(110)로서, 제 1 깊이 맵은 이미지에 도시된 장면의 글로벌 깊이 프로파일(global depth profile)의 추정치에 대응하는, 상기 제 1 깊이 맵을 생성하는 단계; 이미지에 대한 제 2 깊이 맵을 생성하는 단계(120)로서, 제 2 깊이 맵의 화소와 연관된 깊이 값은 화소와 공간적으로 근사한 영역 내의 제 1 깊이 맵의 깊이 값들 및 영역 내의 이미지의 색 및 휘도 값들 중 적어도 하나에 기초하는, 상기 제 2 깊이 맵을 생성하는 단계; 및 제 1 깊이 맵 및 제 2 깊이 맵으로부터의 깊이 값들을 이용하여 이미지에 대한 제 3 깊이 맵을 생성하는 단계(130) 포함하고, 상기 생성은 제 3 및 제 1 깊이 맵의 깊이 값 간의 차이가 제 2 및 제 1 깊이 맵의 깊이 값간의 대응하는 차이와 비교하여 스케일링되도록 깊이 차이를 스케일링한다. 본 발명은 또한 본 발명에 따른 방법을 실행하는데 이용하기 위한 컴퓨터 프로그램 제품에 관한 것이다.

Description

깊이 맵을 생성하기 위한 방법 및 디바이스{METHOD AND DEVICE FOR GENERATING A DEPTH MAP}

본 발명은 단안 정보(monocular information)를 이용하여 이미지에 대한 깊이 맵을 생성하기 위한 방법 및 디바이스, 단안 정보를 이용하여 이미지에 대한 깊이 맵을 생성하기 위한 컴퓨터 판독가능한 매체 상의 컴퓨터 프로그램 제품에 관한 것이다.

지난 십여 년에 걸쳐서 상당한 양의 연구가 가정 및 그 주변에서 이용하기 위한 3D 디스플레이 기술의 실현에 기울어졌다. 그 결과, 입체 및 오토스테레오스코픽 디스플레이들의 강풍이 발생하였다.

스테레오스코픽 디스플레이들에서, 관람자의 눈들은 일반적으로 예를 들면, 관람자들 사이에 위치한 안경들 또는 포일들(foils) 및 시간-멀티플렉싱된 또는 동시적인 방식으로(예를 들면, 스펙트럼 분리를 통해), 관람자의 좌안에 대한 좌안 이미지 및 관람자의 우안에 대한 우안 이미지로 지향되는 디스플레이에 의해 도움을 받는다. 일반적으로, 이용자들은 성가시게 착용 안경들을 찾고, 오토스테레오스코픽 디스플레이들은 유사하게 상당한 주의를 받는다. 오토스테레오스코픽 디스플레이들, 종종 다중-뷰 디스플레이들은 일반적으로 다수의 가상화(관람자들에 지향된 뷰잉 콘(viewing cone)에서 멀티플렉싱되는 예를 들면, 5 내지 9 이상의 이미지들 또는 뷰들)를 허용한다. 콘으로부터의 개별적인 뷰들을 좌 및 우안으로 각각 주시함으로써 자동입체 효과가 육안에 의해 획득된다.

입체 디스플레이들 및 오토스테레오스코픽 디스플레이들에 대한 중요한 이슈는 콘텐트의 전달이다. 3차원 콘텐트를 디스플레이에 전달하기 위한 다양한 접근들이 알려져 있다. 이 접근들 중 일부는 모든 뷰들을 명시적으로 인코딩하는 반면, 다른 것들은 하나 또는 일부의 뷰들을 및 이 뷰들 중 하나 또는 모두에 대한 부가적인 깊이 및/또는 디스패리티 정보를 인코딩한다. 깊이 정보를 제공하는 이점은 예를 들면, 제공된 이미지들에 기초하여 부가적인 뷰들을 렌더링할 때, 3-차원 콘텐트의 조작이 용이하다는 것이다.

이러한 깊이 정보는 예를 들면, 입체 이미지들의 디스패리티의 분석을 통해, 또는 범위 파인더들(range finders)을 이용하여 획득될 수 있지만, 이는 일반적으로 새롭게 획득된 콘텐트에 대해서만 가능하다. 또한, 입체 또는 멀티뷰 획득은 일반적으로 비용을 또한 더 들게 한다. 그 결과, 단안 이미지들, 또는 단안 이미지 시퀀스들로부터 깊이 정보의 획득에 대해 지향된 상당한 연구가 이루어졌다. 이러한 알고리즘들의 다양한 애플리케이션들(applications)은 고품질 콘텐트를 위해 완전히 자동화된 변환으로부터 이용자 원조 2D-3D 변환(user assisted 2D to 3D conversion)의 범위에 걸쳐서 고려될 수 있다. 이용자 원조 2D 내지 3D 변환의 경우에, 컴퓨터 원조 깊이 맵 생성이 상당한 시간 절약을 나타낼 수 있다.

단안 이미지로부터 깊이 맵을 획득하는 접근의 예는 3-차원 이미지 포착 및 애플리케이션 VI-Vol. 5302-13, SPIE 전자 이미징 2004의 회보에서 공개된 S. Battiato 등에 의한 "Depth Map Generation by Image Classification"에서 제공된다.

위의 논문에서, 깊이 맵은 이미지의 추정된 글로벌 깊이 프로파일(global depth profile)을 기초로 하고, 이는 차후에 이미지 구조를 포함하는 추가의 깊이 맵과 조합된다. 그러나 결과적인 조합은 최종 이미지에서 만족스런 깊이 지각을 항상 제공하는 것은 아니다.

이에 따라, 본 발명의 목적은 대안의 깊이 맵을 제공하는 대안의 방법을 제공하는 것이다.

상기는 단안 정보를 이용하여 이미지에 대한 깊이 맵을 생성하기 위한 방법에 의해 달성되고, 상기 방법은 이미지에 대한 제 1 깊이 맵을 생성하는 단계로서, 제 1 깊이 맵은 이미지에 도시된 장면의 글로벌 깊이 프로파일의 추정치에 대응하는, 상기 제 1 깊이 맵을 생성하는 단계; 이미지에 대한 제 2 깊이 맵을 생성하는 단계로서, 제 2 깊이 맵의 화소와 연관된 깊이 값은 화소와 공간적으로 근사한 영역 내의 제 1 깊이 맵의 깊이 값들 및 영역 내의 이미지의 색 및 휘도 값들 중 적어도 하나에 기초하는, 상기 제 2 깊이 맵을 생성하는 단계; 및 제 1 깊이 맵 및 제 2 깊이 맵으로부터의 깊이 값들을 이용하여 이미지에 대한 제 3 깊이 맵을 생성하는 단계를 포함하고, 상기 생성은 제 3 및 제 1 깊이 맵의 깊이 값 간의 차이가 제 2 및 제 1 깊이 맵의 깊이 값간의 대응하는 차이와 비교하여 스케일링되도록 깊이 차이를 스케일링한다.

제 3 깊이 맵의 생성은 2개의 근본이 되는 깊이 맵 성분들(제 1 및 제 2 깊이 맵)에 기초하고, 양쪽 모두는 이 제 1 깊이 맵을 근본으로 하는 추정된 글로벌 깊이 프로파일을 기초로 한다. 특히, 이미지가 이미지 시퀀스로부터의 이미지일 때, 이 글로벌 깊이 프로파일은 이미지 시퀀스의 인접한 이미지들과 유사하게 되기 쉽고, 따라서, 제 3 깊이 맵의 시간적 안정성에 기여한다.

이어서, 제 2 깊이 맵 생성은 글로벌 깊이 프로파일내로 로컬 구조를 효과적으로 통합한다. 제 2 깊이 맵의 생성 동안, 이미지의 휘도 및/또는 색 유사성이 깊이 값들에 할당되는데 이용된다. 그 결과, 이미지에서 유사한 색 및/또는 휘도를 갖는 오브젝트들의 깊이 값들은 국부적으로 더욱 유사하게 만들어지고, 그에 의해, 이미지에서 유사성을 갖는 구조들은 일반적으로 보다 유사하고 및 종종 글로벌 깊이 프로파일로부터 두드러지는 깊이 값들을 갖게 한다.

위에서 언급한 유사성은 색 및/또는 휘도 값들의 미리 결정된 변동 내에 있는 것으로서 정량된다는 것에 주의한다.

마지막으로 제 3 단계는 제 1 및 제 2 깊이 맵 간의 차이들의 일부를 효과적으로 스케일링하는 방식으로 생성된 제 1 및 제 2 깊이 맵을 조합한다. 본 발명에 따른 일 실시예에서, 이는 로컬 구조 및 글로벌 깊이 프로파일 간의 보다 선언적인 차이들의 도입을 허용한다. 이러한 방식으로 종종 제 1 및 제 2 깊이 맵간의 다소 미묘한 차이들이 오브젝트에 대해 개선될 수 있어서 보다 동적인 깊이 맵을 발생시킨다. 대안적으로, 제 2 깊이 맵의 로컬 구조들은 지나치게 선언적이 되는 것이 가능한데, 이 경우 0 과 1 사이의 팩터(factor)를 갖는 스케일링이 3D 시청 경험을 개선할 수 있다.

제 2 깊이 맵의 화소에 대한 깊이 값을 생성할 때, 제 1 깊이 맵의 대응하는 화소 주위의 영역에서 제 1 깊이 맵으로부터의 깊이 값들이 이용된다는 것에 주의한다. 바람직하게는, 이러한 근사한 깊이 값들의 깊이 값들은, 예를 들면, 이미지 움직임, 로컬 에지니스(local edginess) 및/또는 근사한 텍스처의 양과 같은 다른 이미지 속성들이 또한 이용될지라도 색 및/또는 휘도 유사성에 기초하여 가중된다. 이러한 방식으로, 유사한 색 및/또는 휘도의 화소들과 연관된 깊이 값들은 덜 유사한 화소들보다 제 2 깊이 맵의 화소의 깊이 값들에 더 기여한다.

여기서 '근사한'은 글로벌적이 아니라 국부적을 암시하도록 의도된다. 즉 이미지 전체를 기초로 하지 않는다. 실제로 '근사한'은 종종 구멍(aperture) 내의 화소들에 관련된다. 구멍이 미리 결정된 형상 및/또는 크기를 가질 수 있지만, 예를 들면, 추가의 이미지 정보에 기초하여 구멍을 동적으로 적응시키는 것 또한 가능할 수 있다.

실시예에서, 제 1 깊이 맵은 깊이 맵 템플릿에 기초한다. 이러한 템플릿은 경사(slant) 즉, 장면의 하부의 전경으로부터 상부의 배경으로의 그레디언트(gradient)와 같은 단순한 일반적인 템플릿일 수 있다. 대안의 경사는 배경의 시작을 정의하는 일정한 수직 위치의 수평선을 포함할 수 있다. 대안적으로, 여기에 참조문헌으로 포함되고 위에서 인용된 S. Battiato에 의한 "Depth Map Generation by Image Classification"에 개시된 것과 같은 복잡한 파라미터화가능한 템플릿이 구성될 수 있다. 여기서 예는 파라미터화가능한 글로벌 깊이 프로파일이 이미지 분석에 기초하여 어떻게 구성될 수 있는지에 관해 제시된다. 일반적으로 말하자면, 깊이 맵 템플릿은 장면의 특정 형태의 깊이 프로파일의 추정치로 구성되고, 이에 따라 상당한 변동을 보여줄 수 있고; 예를 들면, 실내 대화 장면의 통상적인 깊이 프로파일 간의 차이들 또는 어안 확대(fish-eye close-up)를 고려한다.

양호한 실시예에서, 제 2 깊이 맵의 생성은 이미지의 색 및 휘도 값들 중 하나 및 제 1 깊이 맵의 깊이 값들에 양방향 필터(bilateral filter)의 적용을 포함한다. 그 결과, 이미지의 단편화가 필요 없고, 동시에 이미지 내의 색 및/또는 휘도 변동들은 색 천이의 한측으로부터의 깊이 값들이 색 천이의 다른 측상의 화소들의 깊이 값들에 기여하는 것을 방지하는데 이용될 수 있다. 그 결과, 특정한 색 및/또는 휘도 유사성을 갖는 영역들에 대응하는 제 2 깊이 맵의 깊이 값들은 일반적으로 제 1 깊이 맵의 대응하는 영역들보다 더 유사한 깊이 값들을 가질 것이다. 그 결과, 오브젝트들은 글로벌 깊이 프로파일로부터 더 뚜렷하게 될 것이다.

추가의 양호한 실시예에서, 제 3 깊이 맵에 대한 깊이 값은 장면의 관점(viewpoint)에 가장 근접한 깊이에 대응하는 깊이 값으로 설정되고,

- 상기 제 1 깊이 맵의 대응하는 깊이 값; 및

- 상기 제 2 깊이 맵으로부터의 대응하는 깊이 값에 기초한 후보 깊이 값 중 하나로부터 선택된다. 실제로, 통상적으로 제 3 깊이 맵에 대한 깊이 값은 제 1 깊이 맵의 깊이 값 및 제 2 깊이 맵으로부터 대응하는 깊이 값에 기초한 후보 깊이 값의 최대치로 설정된다. 이 특정한 조치의 결과로서, 제 3 깊이 맵의 깊이 값들은 글로벌 깊이 프로파일 뒤에 배치되지 않을 것이다. 결과적으로, 제 2 깊이 맵에서 글로벌 깊이 프로파일의 뒤에 배치된 오브젝트들(그 일부들)은 글로벌 깊이 프로파일로 설정될 것이다. 추가의 후보 깊이 값들이 예견(envisage)된다는 것에 주의할 것이다.

유리한 실시예들에서 위에서 언급한 후보 값은 제 1 깊이 맵으로부터의 깊이 값을 제 1 깊이 맵으로부터의 깊이 값과 제 2 깊이 맵으로부터의 대응하는 깊이 값의 가중된 차이에 더한 것을 포함한다. 그 결과, 개선이 조정될 수 있고, 심지어 이용자/관람자 제어 하에서 가능하다. 대안적으로, 후보 값은 제 1 깊이 맵으로부터의 깊이 값에 공간적으로 근사한 하나 이상의 깊이 값들에 기초한 임계 깊이 값을 포함할 수 있다. 이 방식으로, 특정한 색 또는 휘도를 갖는 오브젝트들에 대한 깊이 값들이 추가로 개선될 수 있다.

실시예에서, 깊이 맵이 생성되는 이미지는 이미지 시퀀스의 부분이다. 1차 근사로서, 이미지 시퀀스는 화면들로 분할될 수 있고, 후속적으로 글로벌 깊이 프로파일은 화면의 이미지들에 기초하여 선택될 수 있다. 이러한 방식으로, 생성된 깊이 맵들의 일관성이 추가로 개선될 수 있다.

예를 들면, 파마미터화가능한 깊이 맵 텝플릿들과 특히 유리하게 조합될 수 있는 더 개선된 방법에서, 글로벌 깊이 프로파일은 화면에서 처음 및 마지막 이미지과 같이 화면의 하나 이상의 이미지에 기초하여 결정되거나, 더 큰 수의 이미지들/프레임들에 상에서 화면 내의 추가의 변동들이 존재하도록 규정된다.

위의 실시예들이 특별히 유리할 수 있지만, 글로벌 깊이 프로파일이 이미지 시퀀스의 모든 이미지/프레임들을 별개로 기초하여, 또는 보다 선택적으로 이용된 마지막 글로벌 깊이 프로파일 및 현재 이미지/프레임의 평가를 통해 선택되는 실시예와 같은 추가의 실시예들을 배제하지 않는다.

본 발명의 목적은 추가로 대안의 깊이 맵을 제공하는 대안의 디바이스를 제공하는 것이다.

상기는 단안 정보를 이용하여 이미지에 대한 깊이 맵을 생성하기 위한 디바이스에 의해 달성되고, 상기 디바이스는 이미지를 수신하도록 구성된 수신 수단; 및 처리 수단)을 포함하고, 상기 처리 수단은, 이미지에 대한 제 1 깊이 맵을 생성하고(제 1 깊이 맵은 상기 이미지에 도시된 장면의 글로벌 깊이 프로파일의 추정치에 대응할 수 있음), 이미지에 대한 제 2 깊이 맵을 생성하고(제 2 깊이 맵의 화소와 연관된 깊이 값은 화소와 공간적으로 근사한 영역 내의 제 1 깊이 맵의 깊이 값들 및 영역 내의 상기 이미지의 색 및 휘도 값들 중 적어도 하나에 기초함), 및 제 1 깊이 맵 및 제 2 깊이 맵으로부터의 깊이 값들을 이용하여 이미지에 대한 제 3 깊이 맵을 생성하도록 구성되고, 상기 생성은 제 3 및 제 1 깊이 맵의 깊이 값 간의 차이가 제 2 및 제 1 깊이 맵의 깊이 값 간의 대응하는 차이와 비교하여 스케일링되도록 깊이 차이를 스케일링한다.

상기는 추가로 단안 정보를 이용하여 이미지에 대한 깊이 맵을 생성하기 위한 컴퓨터 판독가능 매체상의 컴퓨터 프로그램 제품에 의해 달성된다.

본 발명의 상기 및 다른 양상들, 특징들 및 이점들은 이하에 기술된 실시예(들)를(을) 참조하여 명료하고 분명해질 것이다.

본 발명의 실시예들은 도면들을 참조하여 예로서 기술될 것이다.

도 1은 본 발명에 따른 방법의 흐름도.
도 2는 본 발명에 따른 디바이스의 블록도.
도 3a는 제 1 및 제 2 깊이 맵의 수직 횡단 부를 도시하는 도면.
도 3b는 2개의 깊이 맵들의 수직 횡단 부를 도시하는 도면.
도 3c는 3개의 깊이 맵들의 수직 횡단 부를 도시하는 도면.
도 3d는 3개의 깊이 맵들의 수직 횡단 부를 도시하는 도면.
도 4는 장면의 글로벌 깊이 프로파일의 몇 개의 추정치들을 도시하는 도면.
도 5는 본 발명에 따른 방법의 몇 개의 단계들의 출력을 도시하는 도면.

상술한 바와 같이, 단안 정보를 이용하여 이미지에 대한 깊이 맵들의 생성은 입체 이미지들을 이용할 때보다 더 복잡하다. 입체 또는 멀티뷰 이미지들의 경우에, 종종 뷰들에 도시된 장면에 관한 깊이 정보를 획득하기 위해 장면의 각 뷰들간의 디스패리티를 이용하는 것이 가능하다.

입체 및 연장하여 멀티뷰 획득 수단이 이용가능하게 될지라도, 일반적으로 단안 획득 수단에 비하면 이러한 수단을 이용하는데 수반되는 부가적인 비용이 여전히 존재한다. 또한, 기존의 단안 콘텐트에 있어서, 이중-뷰, 즉 스테레오 또는 다중-뷰 포멧에서 종종 재포착이 가능하지 않을 수 있다.

그 결과, 단안 정보를 이용하여 이미지의 깊이 맵을 생성하기 위한 방법들에 대한 요구가 존재한다.

도 1은 본 발명에 따른 방법(100)의 흐름도를 도시한다. 방법(100)은 단안 정보를 이용하여 이미지에 대한 깊이 맵을 생성하기 위한 방법을 표시한다. 방법은 이미지에 대한 제 1 깊이 맵을 생성(110)하는 제 1 단계를 포함한다. 제 1 단계 동안, 깊이 맵, 일반적으로 이미지의 모든 화소들에 대한 깊이 맵이 생성되고, 여기서 제 1 깊이 맵의 깊이 값들은 이미지에 도시된 장면의 글로벌 깊이 프로파일의 추정치에 대응한다.

본원에 참조문헌으로서 포함된 ICCV 2007, 2007, 컴퓨터 비전에 관한 IEEE 11차 국제 컨퍼런스에서 V. Nedovic 등에 의한 "Depth Information by Stage Classification"에서, 5개의 글로벌 및 11개 이상의 특정 깊이 스테이지들로의 이미지들의 분류 및 이러한 깊이 스테이지로 이미지를 맵핑하는 방법이 제시되었다. 글로벌 스테이지들은 예를 들면, 풍경 화면과 같이 하늘, 배경 및 지면을 포함하는 제 1 스테이지에 대응한다. 제 2 스테이지는 통상적으로 실내 장면들에 적합한 박스(box)를 포함한다. 코너 스테이지(corner stage)라 칭하는 제 3 스테이지는 통상적으로 실내 장면들에 적합하다. 배경 앞의 한 명 이상의 사람들을 위한 제 4 스테이지 및 마지막으로 제 5 스테이지는 깊이를 갖지 않는 장면들을 포함한다.

위의 논문에서 이용된 분류가 특히 유리하지만, 소모적이지 않고 숙련자에 의해 쉽게 확장될 수 있다는 점에 주의해야 한다. 예를 들면, 논문에 제시된 모델은 어안 렌즈를 이용해서 만들어진 마이크로 화면에 대응하는 글로벌 깊이 프로파일을 제공하지 않는다.

도 4는 일정한 이미지들에 대해 이용될 수 있는 글로벌 깊이 프로파일의 깊이 맵들의 몇 개의 예들을 제공한다. 여기서, 이미지(410)은 이미지 상부의 배경으로의 하부의 전경의 그레디언트(gradient)를 제공한다. 일반적으로 수평을 검출하고 이어서 배경에서 수평 위에 모든 픽셀들을 배치함으로써 프로파일을 정제하는데 이러한 프로파일을 이용할 때 유리할 수 있다는 것은 당업자에게 자명할 것이다. 대안적으로, 더 불길한 구름들을 갖는 풍경을 생성하는데 유리할 수 있다. 후자의 경우에, 2개의 수직 그레디언트들을 포함하는 이미지(420)가 이용될 수 있다. 그 결과, 이미지의 상부에 위치한 구름들은 수평에 있는 것보다 시청자에게 더 가깝게 위치한다.

이번에, 이미지(440)은 백색 중앙을 갖고 이미지의 에지를 향해 어두워지는 원들을 갖는 원형 그레디언트로 구성된 어안 마이크로-화면을 위한 글로벌 깊이 프로파일에 대한 깊이 맵을 도시한다. 그 결과, 이미지의 중앙은 가장 근접하고, 이미지의 에지들은 이미지가 주시되는 시점으로부터 물러나서 가장 멀다. 마지막으로, 이미지(450)은 앞에서 관측된 장면과 유사한 단순한 박스를 위한 깊이 맵을 제공한다.

도 1을 한번 더 참조하여, 제 1 깊이 맵의 생성 이후에, 다음 단계는 여상에 대한 제 2 깊이 맵을 생성(120)하는 것에 대응한다. 제 2 깊이 맵에서, 화소에 연관된 깊이 맵은 이하의 3개를 기초로 한다:

- 화소와 공간적으로 근사한 영역 내의 제 1 깊이 맵의 깊이 값들; 및

- 영역 내의 이미지의 색 및/또는 휘도 값들;

제 2 깊이 맵은 명시적으로 제 1 깊이 맵 및 이미지의 색 및/또는 휘도 정보에 기초한다는 점에 주의한다. 그 결과, 제 2 깊이 맵은 통상적으로 글로벌 깊이 프로파일로부터 뚜렷한 색 및/또는 휘도를 갖는 오브젝트들의 구별을 허용한다.

양호한 실시예에서, 제 2 깊이 맵의 생성은 예를 들면, 한편으로 제 1 이미지의 깊이 값들 및 다른 한편으로 이미지의 색 정보와 같이 양방향 필터를 수반한다.

깊이 맵에 로컬 구조를 부가하기 위해, 교차 또는 접합 양방향 필터가 이용될 수 있다.

양방향 필터들은 (공간적)도메인 및 (강도)범위 특성들 양쪽 모두를 이용하는 비-선형 필터들이다. 아래의 수식(1)은 기본적인 양방향 필터를 도시한다. 출력 이미지 O _P 는 위치(P)의 근처(S)의 입력 이미지 I _q 로부터의 위치들 q의 화소의 가중된 평균에 의해 결정된다. 가중 산출은 공간적 거리 함수(s) 및 강도 범위 함수(r)에 의존한다. 여기서 함수(s)는 종래의 2D 콘볼루젼 필터 커널이다. 이어서 함수(r)는 에지 보존 특성들을 전달하기 위해 더 큰 강도 차이들로 감소한다.

(1)

여기서,

이다.

바람직하게는, 함수들(s 및 r)은 수식들(2) 및 (3)에서 이하에 지시된 바와 같이 구현된다.

(2)

및

(3)

위에서 언급한 바와 같이, 제 2 이미지들로부터의 색 및/또는 휘도 정보로부터 범위 정보에 기초하여 로컬 깊이 정보를 창출하는 특이 유리한 방법은 교차 또는 접합 양방향 필터를 적용하는 것이다. 본 발명의 실시예에서, 제 2 깊이 맵은 이러한 접합 양방향 필터를 이용하여 생성된다. 접합 양방향 필터는 입력 이미지로부터의 범위 정보(색 및/또는 휘도)를 이용하여 장면의 글로벌 깊이 프로파일의 추정치를 나타내는 제 1 깊이 맵을 필터링하는데 이용된다.

수식(4)은 제 2 깊이 맵(D2 _p )이 장면의 깊이 프로파일의 추정치를 나타내는 제 1 깊이 맵(D1 _p ) 및 이미지(I)으로부터의 이미지 콘텐트를 이용하여 어떻게 생성될 수 있는지를 도시한다.

(4)

여기서,

이다.

제 2 깊이 맵을 생성하는 특히 효과적인 방법을 위에서 제공하였지만, 제 2 깊이 맵은 당업자에게 알려진 다른 방식으로 생성될 수 있다.

양방향 필터는 바람직하게는 참조문헌으로서 포함된 2006 컴퓨터 비전에 관한 유럽 컨퍼런스의 회보에서 공개된 Sylvain Paris 및

Durand에 의한 "A Fast Approximation of the Bilateral Filter using a Signal Processing Approach"에 기술된 바와 같이, 더 높은-차원의 쌍방 그리드 도메인(Bilateral Grid domain)에서 공식화될 수 있다. 이 공식화는 거친 3D 그리드를 이용하여 데이터를 다운샘플(downsample)링하고, 이에 따라 매우 효율적으로 구현될 수 있다. 이 접근은 제 3 깊이 맵을 생성하기 위한 스케일링 동작(scaling operation)이 바람직한 실시예에서 업샘플링(upsampling) 이전에 다운샘플링된 3D 그리드에서 실행될 수 있기 때문에 여기에 개시된 방법과 유리하게 조합될 수 있다. 위의 논문에서 Paris 및 Durand는 다운샘플링 자체가 양방향 필터에 대해 완료될 수 있다는 것을 도시한다. 본 발명에 적용될 때, 이는 제 1 및 제 2 깊이 맵이 더 낮은 해상도로 생성될 수 있다는 것을 암시한다.

도 1을 재차 참조하면, 제 2 깊이 맵의 생성에 이어서, 방법은 제 1 깊이 맵 및 제 2 깊이 맵으로부터의 깊이 값들을 이용하여 이미지에 대한 제 3 깊이 맵을 생성(130)(스케일링 깊이 차이의 생성)하는 단계로 진행되고, 이에 따라 제 3 및 제 1 깊이 맵의 깊이 값간의 차이는 제 2 및 제 1 깊이 맵의 깊이 값 간의 대응하는 차이에 비교된다.

상기는 일단 도 3a 내지 도 3d에서 보다 가시적으로 제시된다. 도 3a는 제 1 깊이 맵의 수직 횡단 부(10) 및 제 2 깊이 맵(20)의 수직 횡단 부를 도시한다. 알 수 있는 바와 같이, 제 1 깊이 맵은 경사에 대응한다. 이번에, 제 2 횡단 부는 제 1 깊이 맵에 어느 정도 뒤따르지만, 국부적으로 벗어난 곡선에 대응한다. 이 제 2 곡선은 예를 들면, 위에서 기술된 바와 같은 양방향 필터를 이용하여 생성될 수 있는 예시적인 곡선이다.

양방향 필터가 특이 유리하지만, 예를 들면, T-교차점들에 의해 제공된 희박한 로컬 오더링(sparse local ordering)은 제 1 글로벌 깊이 맵으로부터의 값들을 이용하여 조밀한 깊이 프로파일로 통합될 수 있는 T-교차점이 이어지는 입력 이미지의 단편화(segmentation)의 이용을 통하는 것과 같이 다른 접근들이 예견된다. 도 3b는 재차 수직 횡단 부(10) 및 본 발명에 따른 횡단 부들(10 및 20) 위에서 최대(z-방향에서)에 대응하는 수직 횡단 부(30)를 도시한다. 여기서, 깊이 값들(d3(y))은

(5)에 대응하는 수직 횡단 부(30)의 각 깊이 값들에 대응한다.

여기서 d1(y)는 횡단 부(10)의 각 깊이 값들에 대응하고,

d2(y)는 횡단 부(20)의 각 깊이 값들에 대응한다.

이어서, 도 3c는 횡단 부(30)에 기초하여 본 발명에 따른 제 4 수직 횡단 부(40)를 도시한다. 횡단 부(40)는 경사(횡단 부 10) 앞의 횡단 부(40)상의 지점들이 횡단 부(30) 상의 대응하는 지점들만큼 경사로부터 2배 떨어져서 위치된다는 것을 명료하게 하기 위해 횡단 부(30)와 함께 도시된다.

(6)

ω에 대한 적절한 값을 선택함으로써, 깊이 차이들은 더 강조되거나 감소될 수 있다. 깊이 맵을 생성할 때, 이 파라미터는 이용자가 로컬 색 및/또는 휘도 변동에 기초한 깊이 맵 변동들을 개선하는 것을 허용한다. 그 결과, 이미지의 깊이 맵은 이미지 정보와의 적절한 상관을 보다 잘 도시할 수 있을 것이고 그 결과 보다 유사한 외형을 제공할 것인 반면, ω의 낮은 값들은 장면의 일반적인 깊이 프로파일을 주로 반영하는 깊이 맵을 발생시킬 것이다.

차이를 증폭할지 또는 차이를 감쇠할지 여부에 관한 선택은 제 2 깊이 맵의 본질에 주로 의존한다는 것은 당업자에게 자명할 것이다. 제 2 깊이 맵이 제 1 깊이 맵과 상당한 차이를 보여주는 경우, 차이들을 감쇠할 필요가 있을 수 있다. 반면에, 차이가 통상적으로 작을 때, 차이의 증폭이 적절할 수 있다.

이어서 도 3d는 본 발명에 따른 제 5 수직 횡단 부(50)를 또한 도시한다. 이어서 제 5 횡단 부는 경사 앞에 있는 횡단 부(40)상의 지점들에 대한 깊이 값들이 임계값(d2_T(y))으로 설정된 것을 도시한다. 여기서 임계값은 색 및/또는 휘도 유사성에 기초한 수직 스캔(vertical scan)에 의해 결정된다. 이러한 수직 스캔(여기서 하부에서 상부로) 동안 색 및/또는 휘도의 배경으로부터 두드러지고 상당히 더 높은 깊이 맵을 갖는 부분과 직면하는 경우에, 임계값은 스캔에서 직면한 깊이 값들에 기초하여 이 부분에 대해 선택될 수 있다. 이어서 이 부분(스캔 방향에서) 상하의 깊이 값들은 통상적으로 제 1 깊이 맵에 존재하는 글로벌 깊이 프로파일을 반영한다(즉, 다른 부분들이 존재하지 않는 경우). 이 처리는 상부 우측에서 횡단 부(50)에 대한 배경 경사를 따라 깊이 값들을 연장함으로써 도 3D에서 가시화된다. 여기서, 깊이 값들의 "불연속성(discontinuity)"이 도시되는데, 이는 이미지의 색 및/또는 휘도 불연속성에 대응한다.

(7)

위에서 표시된 바와 같이, 더 높은-차원의 쌍방 그리드 도메인에서 제 2 깊이 맵을 생성하기 위해 이용되는 양방향 필터를 공식화함으로써, 깊이 맵 생성은 보다 효율적이 된다. 그러나, 이 특정 구현은 추가의 이점을 부가적으로 제공하는데; 양방향 필터의 이 특정 공식화는 추가의 휘도(또는 색) 차원에서 부가적인 분리를 제공하기 때문이다. 이어서, 이는 단일 스캔이 도 3D에서 예시된 바와 같이 이용될 수 있다는 것을 암시하며, 여기서 휘도(또는 색) 유사성을 갖는 각각의 부분은 분리(isolation)하여 처리될 수 있다. 그 결과, 이 특정 구현은 더이상 임의의 불연속성들을 명시적으로 검출할 필요가 없기 때문에 보너스 효과를 제공한다.

도 1로부터의 방법은 도 5에서 추가로 예시된다. 도 5는 본 발명에 따른 방법을 이용하여 처리되는 일련의 이미지부들을 도시한다. 이미지(510)은 입력 여상의 부분을 포함하고, 이 특정 부분은 일부의 빙산의 장면뷰에 대응하고, 이미지(510)의 하부는 전경에 대응하고 이미지의 상부는 배경에 대응한다.

경사에 기초한 제 2 깊이 맵은 이미지(520)에서 제공되고, 경사는 제 1 깊이 맵 및 이미지의 휘도 양쪽 모두를 이용한 양방향 필터를 이용하여 후속적으로 필터링된다. 후속적인 이미지(530)은 제 1 및 제 2 깊이 맵의 최대치에 대응하는 중간값을 대응하는 이미지에 제공한다.

깊이 임프레션(depth impression)을 추가로 개선하기 위해, 본 발명은 도 3c에서 도시된 예와 마찬가지로 제 1 및 제 2 깊이 맵간의 차이들(여기서 팩터 2만큼)을 개선하도록 제안한다. 결과적인 이미지(540)은 이미지(530)보다 구체적으로, 빙산들의 부분들이 뒤에 있는 하늘에 비해 전방에 있게 한다는 점에서 일부 개선점을 도시한다.

이미지(550)은 팩터 4만큼 개선된 동일한 절차를 도시한다. 그 결과, 전경 오브젝트들의 깊이 임프레션은 추가로 개선된다.

도 2는 본 발명에 따라 단안 정보를 이용하여 이미지(205)에 대한 깊이 맵을 생성하기 위한 디바이스(200)를 도시한다. 디바이스(200)는 이미지를 수신하도록 구성된 수신 수단(210)을 포함한다. 명확성을 위해 예가 단지 단일의 이미지에 대한 깊이 맵의 생성을 참조하여 기술되지만, 이미지들의 시퀀스들에 대한 깊이 맵들의 생성을 위해 변형될 수 있다는 것이 당업자에게 자명할 것이다. 사실상, 본 발명에 따른 디바이스는 예를 들면, 이미지 정보 및 깊이 정보의 병렬 스트림들을 포함하는 3차원 비디오 신호로의 단안 이미지 시퀀스들의 2D-3D 변환에 적합한 디바이스인 것이 바람직하다.

디바이스(200)는 처리 수단(220)을 추가로 포함한다. 이러한 처리 수단은 일반적으로 예를 들면, 범용 처리 플랫폼으로 이용하여, 디지털 신호 처리기들 이용하여 및/또는 애플리케이션 특정 집적 회로들을 이용하여 다양한 방식들로 구현될 수 있다. 처리 수단(220)은 이미지(205)에 대 한 제 1 깊이 맵을 생성하도록 구성된다. 제 1 깊이 맵은 이미지에 도시된 장면의 글로벌 깊이 프로파일의 추정치에 대응한다.

처리 수단은 이미지에 대한 제 2 깊이 맵을 생성하도록 추가로 구성된다. 깊이 맵의 해상도가 본 발명의 특정 실시예에서, 이미지(205)의 해상도에 비해 서브샘플링되지만, 제 2 깊이 맵의 깊이 값들은 통상적으로 이미지의 단일 화소와 연관된다.

특정 이미지 화소와 연관된 제 2 깊이 맵의 깊이 값은 이미지 화소에 공간적으로 근사한 영역내의 제 1 깊이 맵의 깊이 값들에 기초한다. 또한, 상기 영역 내의 이미지 화도들의 색 또는 휘도 값들에 기초한다. 그 결과, 제 2 깊이 맵은 제 1 깊이 맵에 존재하는 글로벌 깊이 정보에 비교되는 로컬 깊이 정보를 포함할 수 있다.

처리 수단은 제 1 깊이 맵 및 제 2 깊이 맵으로부터의 깊이 값들을 이용하여 이미지(205)에 대한 제 3 깊이 맵(215)을 생성하도록 추가로 구성된다. 제 3 깊이 맵의 깊이 값들을 생성할 때, 제 1 및 제 2 깊이 맵 간의 미묘한 깊이 차이들이 스케일링된다. 그 결과, 제 3 깊이 맵의 특정 깊이 값들과 제 1 깊이 맵의 대응하는 깊이 값들 간의 특정 차이들은 제 2 및 제 1 깊이 맵의 깊이 값 간의 대응하는 차이들에 비교하여 스케일링된다.

선택적으로, 디바이스(200)는 제 3 깊이 맵을 다루기 위한 부가적인 소프트웨어/하드웨어 수단을 추가로 포함할 수 있다.

예를 들면, 제 3 깊이 맵(215)은 디바이스(200) 내에서 추가로 후속적으로 처리될 수 있거나, 대안적으로 저장 수단(230) 상에서 추후의 이용을 위해 저장될 수 있다. 대안적으로, 제 3 깊이 맵은 바람직하게는 3차원 이미지 신호내로 이미지(205)과 함께 인코딩 수단(240)에 의해 인코딩될 수 있다. 그러면, 이러한 인코딩 이미지 신호는 저장 수단(230) 상에 저장될 수 있거나, 예를 들면, IP 프로토콜과 같은 프로토콜을 이용하여 케이블 또는 RF에 의한 송신을 위한 송신 수단(250)에 의해 송신될 수 있다.

다른 대안적으로, 제 3 깊이 맵은 렌더링 수단(260)에 의한 하나 이상의 뷰들의 렌더링을 위해 바람직하게는 이미지(205)과 함께 입력으로서 역할할 수 있다. 이어서 렌더링된 뷰들은 3-차원 (자동)입체 디스플레이 수단(270) 상에 출력될 수 있다.

명확성을 위해 위의 설명은 다양한 기능적 유닛들을 참조하여 본 발명의 실시예들를 기술하였다는 것을 이해할 것이다. 그러나 상이한 기능적 유닛들(또는 처리기들)간의 기능성의 임의의 적합한 분배가 본 발명으로부터 벗어남 없이 이용될 수 있다는 것이 자명할 것이다. 예를 들면, 개별적인 처리기들 또는 제어기들에 의해 실행되도록 예시된 기능성은 동일한 처리기들 또는 제어기들에 의해 실행될 수 있다. 그러므로 특정 기능적 유닛들에 대한 참조들은 엄격한 논리적 또는 물리적 구조 또는 구성을 나타내는 것이 아니라 기술된 기능성을 제공하는 적합한 수단에 대한 참조로서만 이해되어야 한다.

본 발명은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합을 포함하는 임의의 적합한 형태로 구현될 수 있다. 본 발명은 선택적으로는 하나 이상의 데이터 처리기들 및/또는 디지털 신호 처리기들을 구동하는 컴퓨터 소프트웨어로서 적어도 부분적으로 구현될 수 있다. 본 발명의 실시예들의 소자들 및 구성요소들은 임의의 적합한 방식으로 물리적으로, 기능적으로 및 논리적으로 구현될 수 있다. 실제로, 기능성은 단일의 유닛으로, 복수의 유닛들로 또는 기능적 유닛들의 부부분으로서 구현될 수 있다. 이렇기 때문에, 본 발명은 단일의 유닛들로 구현될 수 있고 또는 상이한 유닛들 및 처리기들 사이에서 물리적으로 및 기능적으로 분배될 수 있다.

본 발명이 일부 실시예들에 연계하여 기술되었지만, 여기서 기술된 특정 형태들로 제한되도록 의도되지 않는다. 오히려, 본 발명의 범위는 첨부된 청구항들에 의해서만 제한된다. 부가적으로, 특징이 특정 실시예들과 연계하여 기술되는 것으로 보일 수 있지만, 기술된 실시예들의 다양한 특징들이 본 발명에 따라 조합될 수 있다는 것을 당업자는 인지할 수 있다. 청구항들에서, 용어 '포함하는(comprising)'은 다른 소자들 또는 단계들의 존재를 배제하지 않는다.

또한, 개별적으로 나열된 복수의 수단들, 소자들 또는 방법 단계들은 예를 들면, 단일의 유닛 또는 처리기에 의해 구현될 수 있다. 부가적으로, 개별적인 특징들은 상이한 청구항들에서 포함될 수 있지만, 이들은 유리하게 조합되는 것이 가능할 수 있고, 상이한 청구항들 내의 포함은 특징들의 조합이 실용적이지 않고/않거나 유리하지 않다는 것을 암시하는 것은 아니다. 청구항들의 하나의 카테고리 내로의 특징의 포함은 이 카테고리로의 제한을 암시하지 않고, 오히려 이 특징이 다른 청구항 카테고리들에 적절히 균등하게 응용가능하다는 것을 나타낸다. 또한, 청구항들에서의 특징들의 순서는 특징들이 반드시 작동되어야 하는 임의의 특정 순서를 암시하는 것이 아니고, 특히 방법 청구항의 개별적인 단계들의 순서는 단계들이 반드시 이 순서대로 실행되어야 한다는 것을 암시하는 것은 아니다. 오히려, 단계들은 임의의 적합한 순서로 실행될 수 있다. 또한, 단수의 언급이 복수성을 배제하지 않는다. 따라서 오브젝트의 부정 관사("a", "an"), "제 1(first)", "제 2(second)"등에 대한 참조들이 복수성을 배제하지 않는다. 청구항들의 참조 부호들은 단순히 예를 명확하게 하는 것으로서 제공되고 어떤 방식으로도 청구항들의 범위를 제한하는 것으로서 해석되선 안된다.

200: 디바이스 210: 수신 수단
220: 처리 수단 230: 저장 수단
240: 인코딩 수단 250: 송신 수단
260: 렌더링 수단
270: 오토스테레오스코픽 디스플레이 수단

Claims (16)

1. 단안 정보(monocular information)를 이용하여 이미지(205)에 대한 깊이 맵을 생성하는 방법(100)에 있어서:
   상기 이미지(205)에 대한 제 1 깊이 맵을 생성하는 단계(110)로서, 상기 제 1 깊이 맵은 상기 이미지(205)에 도시된 장면의 글로벌 깊이 프로파일(global depth profile; 410, 420, 440, 450)의 추정치에 대응하는, 상기 제 1 깊이 맵을 생성하는 단계(110);
   상기 이미지(205)에 대한 제 2 깊이 맵(520)을 생성하는 단계(120)로서, 상기 제 2 깊이 맵의 화소와 연관된 깊이 값은 상기 화소와 공간적으로 근사한 영역 내의 상기 제 1 깊이 맵의 깊이 값들 및 상기 영역 내의 상기 이미지의 색 및 휘도 값들 중 적어도 하나에 기초하는, 상기 제 2 깊이 맵(520)을 생성하는 단계(120); 및
   상기 제 1 깊이 맵 및 상기 제 2 깊이 맵으로부터의 깊이 값들을 이용하여 상기 이미지(205)에 대한 제 3 깊이 맵(530, 540, 550)을 생성하는 단계(130)를 포함하고,
   상기 제 3 깊이 맵을 생성하는 단계는,
   - 상기 제 1 깊이 맵의 제 1 깊이 값 및 상기 제 2 깊이 맵의 제 2 깊이 값 간의 깊이 차이를 결정하는 단계, 및
   - 상기 제 3 및 제 1 깊이 맵의 깊이 값 간의 차이가 상기 제 2 및 제 1 깊이 맵의 깊이 값 간의 대응하는 차이와 비교하여 감쇠 또는 증폭되도록, 상기 깊이 차이를 스케일링하여 상기 스케일링된 차이 및 상기 제 1 깊이 값을 조합하는 단계를 포함하는, 단안 정보를 이용하여 이미지(205)에 대한 깊이 맵을 생성하는 방법(100).
2. 제 1 항에 있어서,
   깊이 차이들은 색 및 휘도 유사성 중 적어도 하나를 갖는 공간적 영역의 다수의 화소들에 대해 스케일링되는, 단안 정보를 이용하여 이미지(205)에 대한 깊이 맵을 생성하는 방법(100).
3. 제 1 항에 있어서,
   상기 깊이 차이는 상기 제 1 깊이 값, 및 상기 제 1 깊이 값과 상기 제 2 깊이 값의 최대치 간에 결정되는, 단안 정보를 이용하여 이미지(205)에 대한 깊이 맵을 생성하는 방법(100).
4. 제 1 항에 있어서,
   상기 제 2 깊이 맵의 상기 생성은 상기 이미지의 색 및 휘도 값들 중 하나 및 상기 제 1 깊이 맵의 깊이 값들에 양방향 필터(bilateral filter)의 적용을 포함하는, 단안 정보를 이용하여 이미지(205)에 대한 깊이 맵을 생성하는 방법(100).
5. 제 1 항에 있어서,
   상기 제 3 깊이 맵에 대한 깊이 값은 상기 장면의 관점(viewpoint)에 가장 근접한 깊이에 대응하는 깊이 값으로 설정되고:
   - 상기 제 1 깊이 맵의 대응하는 깊이 값; 및
   - 상기 제 2 깊이 맵으로부터의 대응하는 깊이 값에 기초한 후보 깊이 값 중 하나로부터 선택되는, 단안 정보를 이용하여 이미지(205)에 대한 깊이 맵을 생성하는 방법(100).
6. 제 5 항에 있어서,
   상기 후보 깊이 값은 상기 제 1 깊이 맵으로부터의 깊이 값에 상기 제 1 깊이 맵으로부터의 깊이 값과 상기 제 2 깊이 맵으로부터의 대응하는 깊이 값의 가중된 차이를 더한 것인, 단안 정보를 이용하여 이미지(205)에 대한 깊이 맵을 생성하는 방법(100).
7. 제 6 항에 있어서,
   상기 후보 깊이 값은 상기 제 1 깊이 맵으로부터의 깊이 값에 공간적으로 근사한 깊이 값들에 기초한 임계 깊이 값인, 단안 정보를 이용하여 이미지(205)에 대한 깊이 맵을 생성하는 방법(100).
8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
   상기 이미지는 이미지 시퀀스의 부분이고, 상기 글로벌 깊이 프로파일의 추정치는 샷(shot) 내의 모든 이미지들에 대해 동일한, 단안 정보를 이용하여 이미지(205)에 대한 깊이 맵을 생성하는 방법(100).
9. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
   상기 이미지는 이미지 시퀀스의 부분이고, 상기 글로벌 깊이 프로파일의 추정은 샷의 하나 이상의 이미지에 기초하여 결정되는, 단안 정보를 이용하여 이미지(205)에 대한 깊이 맵을 생성하는 방법(100).
10. 단안 정보를 이용하여 이미지(205)에 대한 깊이 맵을 생성하기 위한 디바이스(200)에 있어서:
    상기 이미지를 수신하도록 구성된 수신 수단(210); 및
    처리 수단(220)을 포함하고,
    상기 처리 수단은:
    - 상기 이미지에 대한 제 1 깊이 맵을 생성하고, 상기 제 1 깊이 맵은 상기 이미지(205)에 도시된 장면의 글로벌 깊이 프로파일(410, 420, 440, 450)의 추정치에 대응하고,
    - 상기 이미지(205)에 대한 제 2 깊이 맵(520)을 생성하고, 상기 제 2 깊이 맵의 화소와 연관된 깊이 값은 상기 화소와 공간적으로 근사한 영역 내의 제 1 깊이 맵의 깊이 값들 및 상기 영역 내의 상기 이미지의 색 및 휘도 값들 중 적어도 하나에 기초하고,
    - 상기 제 1 깊이 맵 및 상기 제 2 깊이 맵으로부터의 깊이 값들을 이용하여 상기 이미지(205)에 대한 제 3 깊이 맵(530, 540, 550)을 생성하도록 구성된 상기 처리 수단을 포함하고,
    상기 제 3 깊이 맵을 생성하는 것은
    - 상기 제 1 깊이 맵의 제 1 깊이 값 및 상기 제 2 깊이 맵의 제 2 깊이 값간의 깊이 차이를 결정하는 것, 및
    - 상기 제 3 및 제 1 깊이 맵의 깊이 값 간의 차이가 상기 제 2 및 제 1 깊이 맵의 깊이 값 간의 대응하는 차이와 비교하여 감쇠 또는 증폭되도록, 상기 깊이 차이를 스케일링하여 상기 스케일링된 차이 및 상기 제 1 깊이 값을 조합하는 것을 포함하는, 단안 정보를 이용하여 이미지(205)에 대한 깊이 맵을 생성하기 위한 디바이스(200).
11. 제 10 항에 있어서,
    상기 처리 수단은 깊이 차이들이 색 및 휘도 유사성 중 적어도 하나를 갖는 공간적 영역의 다수의 화소들에 대해 스케일링되도록 구성되는, 단안 정보를 이용하여 이미지(205)에 대한 깊이 맵을 생성하기 위한 디바이스(200).
12. 제 10 항에 있어서,
    상기 처리 수단은 상기 제 3 깊이 맵에 대한 깊이 값이 상기 장면의 관점에 가장 근접한 깊이에 대응하는 깊이 값으로 설정되고, 적어도:
    - 상기 제 1 깊이 맵의 대응하는 깊이 값; 및
    - 상기 제 2 깊이 맵으로부터의 대응하는 깊이 값에 기초한 후보 깊이 값으로부터 선택되도록 구성되는, 단안 정보를 이용하여 이미지(205)에 대한 깊이 맵을 생성하기 위한 디바이스(200).
13. 제 12 항에 있어서,
    상기 처리 수단은 상기 후보 깊이 값이 상기 제 1 깊이 맵으로부터의 깊이 값을 상기 제 1 깊이 맵으로부터의 깊이 값 및 상기 제 2 깊이 맵으로부터의 대응하는 깊이 값의 가중된 차이에 더하도록 구성되는, 단안 정보를 이용하여 이미지(205)에 대한 깊이 맵을 생성하기 위한 디바이스(200).
14. 제 10 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 이미지는 이미지 시퀀스의 부분이고, 상기 글로벌 깊이 프로파일의 추정치는 샷 내의 모든 이미지들에 대해 동일한, 단안 정보를 이용하여 이미지(205)에 대한 깊이 맵을 생성하기 위한 디바이스(200).
15. 단안 정보를 이용하여 이미지에 대한 깊이 맵을 생성하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독가능한 기록 매체에 있어서,
    상기 프로그램은 제 1 항 내지 제 7 항 중 어느 한 항에 따른 방법 단계들을 실행하기 위한 명령들을 포함하는, 컴퓨터 판독가능한 기록 매체.
16. 삭제

Images