KR20230117601A - 깊이 맵을 처리하기 위한 장치 및 방법 - Google Patents

Abstract

깊이 맵의 처리는, 깊이 맵의 적어도 제1 픽셀에 대해, 깊이 맵의 다른 깊이 값들을 포함하는 후보 깊이 값들의 세트를 결정하고(105); 비용 함수에 응답하여 후보 깊이 값들 각각에 대한 비용 값을 결정하고(107); 후보 깊이 값들의 세트에 대한 비용 값들에 응답하여 제1 깊이 값을 선택하고(109); 제1 깊이 값에 응답하여 제1 픽셀에 대한 업데이트된 깊이 값을 결정하는(111) 단계들을 수행하는 것을 포함한다. 후보 깊이 값들의 세트는 후보 깊이 값들의 세트에 포함되지 않는, 또는 제1 후보 깊이 값보다 더 높은 비용 함수를 갖는 제1 방향을 따른 적어도 하나의 픽셀보다 제1 픽셀로부터 더 멀리 떨어진 제1 방향을 따른 제1 후보 깊이 값을 포함한다.

Description

깊이 맵을 처리하기 위한 장치 및 방법

본 발명은 깊이 맵(depth map)을 처리하기 위한 장치 및 방법에 관한 것이며, 특히, 그러나 비-배타적으로, 멀티-뷰 깊이/디스패리티(disparity) 추정을 수행하기 위한 깊이 맵의 처리에 관한 것이다.

전통적으로, 이미지들의 기술적 처리 및 사용은 2차원 이미징에 기초했지만, 점점 더 이미지 처리에서 3차원이 명백하게 고려되고 있다.

예를 들어, 관찰되는 장면의 상이한 뷰(view)들을 관찰자의 두 눈에 제공함으로써 관찰 경험에 제3 차원을 추가하는 3차원(3D) 디스플레이들이 개발되었다. 이것은 표시되는 2개의 뷰를 분리하기 위한 안경을 사용자가 착용하게 함으로써 달성될 수 있다. 그러나, 이것은 사용자에게 불편한 것으로 간주될 수 있기 때문에, (렌티큘러 렌즈(lenticular lens)들 또는 배리어(barrier)들과 같은) 디스플레이에 있는 수단을 사용하여 뷰들을 분리하고, 그들이 개별적으로 사용자의 눈들에 도달할 수 있는 상이한 방향들로 그들을 전송하는 무안경 입체 디스플레이(autostereoscopic display)들을 사용하는 것이 많은 시나리오에서 선호된다. 입체 디스플레이들의 경우 2개의 뷰가 요구되는 반면, 무안경 입체 디스플레이들은 전형적으로 더 많은 뷰(이를테면 예를 들어 9개의 뷰)를 필요로 한다.

다른 예는 다수의 카메라에 의해 캡처된 장면의 공간 내비게이션을 (한계 내에서) 허용하는 자유 뷰포인트 사용 사례이다. 이것은 예를 들어 스마트폰 또는 태블릿 상에서 행해질 수 있으며, 게임-유사 경험을 제공할 수 있다. 대안으로서, 데이터는 증강 현실(AR) 또는 가상 현실(VR) 헤드셋 상에서 관찰될 수 있다.

많은 응용들에서, 새로운 관찰 방향들에 대한 뷰 이미지들을 생성하는 것이 바람직할 수 있다. 이미지 및 깊이 정보에 기초하여 그러한 새로운 뷰 이미지들을 생성하기 위한 다양한 알고리즘이 공지되어 있지만, 이들은 제공된(또는 도출된) 깊이 정보의 정확도에 크게 의존하는 경향이 있다.

실제로, 3차원 이미지 정보는 장면에 대한 상이한 뷰 방향들에 대응하는 복수의 이미지에 의해 제공될 수 있다. 그러한 정보는 오프셋 카메라 위치들로부터 2개 이상의 동시 이미지를 캡처하는 전용 3D 카메라 시스템들을 사용하여 캡처될 수 있다.

그러나, 많은 응용에서, 제공된 이미지들은 원하는 방향들에 직접적으로 대응하지 않을 수 있거나, 더 많은 이미지가 필요할 수 있다. 예를 들어, 무안경 입체 디스플레이들의 경우, 2개 초과의 이미지가 필요하며, 실제로 종종 9개 내지 26개의 뷰 이미지가 사용된다.

상이한 뷰 방향들에 대응하는 이미지들을 생성하기 위해, 뷰 포인트 시프팅 처리(view point shifting processing)가 이용될 수 있다. 이것은 전형적으로 연관된 깊이 정보(또는 아마도 다수의 이미지 및 연관된 깊이 정보)와 함께 단일 뷰 방향에 대한 이미지를 사용하는 뷰 시프팅 알고리즘에 의해 수행된다. 그러나, 현저한 아티팩트(artefact)들 없이 새로운 뷰 이미지들을 생성하기 위해, 제공된 깊이 정보가 충분히 정확해야 한다.

다른 예시적인 응용은 사용자에 의한 배향의 움직임 및 변화와 매칭되도록 가상 현실 헤드셋에 대해 우안 및 좌안 뷰들이 연속적으로 생성될 수 있는 가상 현실 경험을 포함한다. 동적 가상 현실 뷰들의 그러한 생성은 많은 경우에 관련 깊이 정보를 제공하는 연관된 깊이 맵과 조합하여 광 강도 이미지에 기초할 수 있다.

새로운 뷰들로부터의 제시된 3차원 이미지/이미지들의 품질은 수신된 이미지 및 깊이 데이터의 품질에 의존하고, 특히 3차원 인식은 수신된 깊이 정보의 품질에 의존한다. 이미지들에 대한 깊이 정보에 의존하는 다른 알고리즘들 또는 처리가 알려져 있으며, 이들은 또한 깊이 정보의 정확도 및 신뢰도에 매우 민감한 경향이 있다.

그러나, 많은 실제 응용 및 시나리오에서 제공된 깊이 정보는 최적이 아닌 경향이 있다. 실제로, 많은 실제 응용들 및 사용 시나리오들에서, 깊이 정보는 원하는 만큼 정확하지 않을 수 있으며, 이것은 에러들, 아티팩트들 및/또는 잡음이 처리에서 그리고 생성된 이미지들에 도입되는 결과를 가져올 수 있다.

많은 응용에서, 캡처된 이미지로부터 결정되는 깊이 큐(depth cue)로부터 현실 세계 장면을 기술하는 깊이 정보가 추정될 수 있다. 예를 들어, 깊이 정보는 상이한 뷰 위치들에 대한 뷰 이미지들을 비교하는 것에 의해 깊이 값들을 추정하고 추출함으로써 생성될 수 있다.

예를 들어, 많은 응용에서, 3차원 장면들은 약간 상이한 위치들에서 2개의 카메라를 사용하여 입체 이미지들로서 캡처된다. 이어서 2개의 이미지 내의 대응하는 이미지 객체들 간의 디스패리티들을 추정함으로써 특정 깊이 값들이 생성될 수 있다. 그러나, 그러한 깊이 추출 및 추정은 문제가 있으며, 비-이상적 깊이 값들을 초래하는 경향이 있다. 이것은 다시 아티팩트들 및 저하된 3차원 이미지 품질을 초래할 수 있다.

깊이 정보를 개선하기 위해, 후처리를 위한 그리고/또는 깊이 추정 및/또는 깊이 맵들을 개선하기 위한 다수의 기술들이 제안되었다. 그러나, 이들 모두는 최적이 아닌 경향이 있고 최적으로 정확하고 신뢰가능하지 않은 경향이 있으며/있거나, 예를 들어 요구되는 계산 자원으로 인해, 구현하기가 어려울 수 있다. 그러한 알고리즘들의 예들이 WO2020/178289A1호 및 EP 3 396 949A1호에 제공된다.

깊이 맵이 초기화되고 후속하여 스캐닝 접근법을 사용하여 반복하여 업데이트될 수 있는 특정 접근법이 제안되었으며, 여기서 현재 픽셀의 깊이는 전형적으로 이웃 픽셀들에 대한 깊이 값들인 후보 깊이 값들의 후보 세트에 기초하여 업데이트된다. 현재 픽셀에 대한 깊이 값의 업데이트는 비용 함수에 의존한다. 그러나, 그러한 접근법은 많은 시나리오들에서 깊이 맵을 개선할 수 있지만, 항상 최적으로 정확한 깊이 맵들을 생성하지는 않는 것을 포함하여, 모든 시나리오들에서 최적은 아닌 경향이 있다. 그것은 또한 많은 수의 후보 픽셀들이 고려되어야 하기 때문에 계산적으로 부담이 큰 경향이 있다.

따라서, 깊이 정보를 생성/처리/수정하기 위한 개선된 접근법이 유리할 것이며, 특히 증가된 유연성, 용이해진 구현, 감소된 복잡성, 감소된 자원 요건, 개선된 깊이 정보, 더 신뢰성 있고/있거나 정확한 깊이 정보, 개선된 3D 경험, 깊이 정보에 기초한 렌더링된 이미지의 개선된 품질, 및/또는 개선된 성능을 허용하는, 깊이 맵을 처리하기 위한 접근법이 유리할 것이다.

따라서, 본 발명은 전술한 불리한 점들 중 하나 이상을 단독으로 또는 임의의 조합으로 바람직하게 완화, 경감 또는 제거하고자 한다.

본 발명의 태양에 따르면, 깊이 맵을 처리하는 방법으로서, 깊이 맵을 수신하는 단계; 깊이 맵의 적어도 제1 픽셀에 대해, 제1 픽셀 이외의 깊이 맵의 다른 픽셀들에 대한 깊이 값들을 포함하는 후보 깊이 값들의 세트를 결정하고; 비용 함수에 응답하여 후보 깊이 값들의 세트 내의 후보 깊이 값들 각각에 대한 비용 값을 결정하고; 후보 깊이 값들의 세트에 대한 비용 값들에 응답하여 후보 깊이 값들의 세트로부터 제1 깊이 값을 선택하고; 제1 깊이 값에 응답하여 제1 픽셀에 대한 업데이트된 깊이 값을 결정하는 단계들을 수행하는 단계를 포함하며, 후보 깊이 값들의 세트는 제1 픽셀로부터의 제1 방향을 따른 제1 후보 깊이 값을 포함하고, 제1 방향을 따라 적어도 하나의 픽셀의 제1 개재 픽셀 세트는 비용 함수가 제1 후보 깊이 값에 대한 비용 함수를 초과하지 않는 후보 깊이 값들의 세트 중의 후보 깊이 값을 포함하지 않고, 제1 픽셀로부터 제1 후보 깊이 값까지의 거리는 제1 픽셀로부터 제1 개재 픽셀 세트까지의 거리보다 큰, 깊이 맵을 처리하는 방법이 제공된다.

본 발명은 깊이 맵들을 개선하여, 개선된 3차원 이미지 처리 및 인식 렌더링 품질을 야기할 수 있다. 특히, 접근법은 많은 실시예 및 시나리오에서 더 일관된 그리고/또는 정확한 깊이 맵을 제공할 수 있다. 처리는 많은 실시예에서 충분히 낮은 복잡성 및/또는 자원 요구를 유지하면서 개선된 깊이 맵을 제공할 수 있다.

많은 실시예에서의 이점은, 접근법이 깊이 추정 기술에서의, 예를 들어 스테레오- 또는 멀티-뷰 이미지들을 사용하는 디스패리티 기반 깊이 추정에서의 사용 및 통합에 매우 적합할 수 있다는 것이다.

접근법은 특히 복잡성이 비교적 낮고 자원 요구가 낮은 접근법을 사용하여 깊이 맵들을 개선할 수 있다. 접근법은 예를 들어 순차적 비트 스캐닝 및 처리를 허용할 수 있으며, 이때 픽셀당 비교적 적은 결정이 전체 정확도를 증가시키기에 충분하다.

깊이 맵은 이미지의 픽셀들에 대한 깊이 값들을 나타낼 수 있다. 깊이 값은 예를 들어 디스패리티 값, z-좌표, 또는 뷰포인트 값으로부터의 거리를 포함하는 깊이를 나타내는 임의의 값일 수 있다.

제1 픽셀의 처리는 반복될 수 있으며, 이때 깊이 맵의 새로운 픽셀이 각각의 반복에 대해 선택된다. 제1 픽셀의 선택은 깊이 맵에 대한 스캔 시퀀스에 따를 수 있다. 픽셀은 깊이 값이 제공되는 깊이 맵에서의 위치/영역에 대응할 수 있다. 깊이 맵에서의 픽셀은 깊이 맵이 깊이를 표시하는 연관된 이미지에서의 하나 이상의 픽셀에 대응할 수 있다. 깊이 맵은, 각각의 픽셀에 대해 깊이 값이 제공되는, 픽셀들의 2차원 배열에 의해 형성될 수 있다. 이에 따라 깊이 맵의 (픽셀) 영역에 대해 각각의 픽셀/깊이 값이 제공된다. 픽셀에 대한 참조는 (픽셀에 대한) 깊이 값에 대한 참조일 수 있고, 그 반대일 수도 있다. 픽셀에 대한 참조는 깊이 값에 대한 깊이 맵에서의 위치에 대한 참조일 수 있다. 깊이 맵의 각각의 픽셀은 하나의 깊이 값과 링크될 수 있다(그리고 그 반대일 수도 있다).

비용 함수는 메리트 함수(merit function)로서 구현될 수 있고, 비용 값은 메리트 값에 의해 표시될 수 있다. 비용 값들에 응답하여 제1 깊이 값을 선택하는 것은 메리트 함수로부터 결정된 메리트 값들에 응답하여 제1 깊이 값을 선택하는 것으로서 구현될 수 있다. 증가하는 메리트 값/함수는 감소하는 비용 값/함수이다. 제1 깊이 값의 선택은 최저 비용 값을 갖는 후보 깊이 값들의 세트 중의 후보 깊이 값의 선택일 수 있으며, 이는 최고 메리트 값을 갖는 후보 깊이 값들의 세트 중의 후보 깊이 값의 선택인 제1 깊이 값의 선택에 대응한다/그와 동등하다.

업데이트된 깊이 값은 제1 깊이 값에 의존하는 값을 가질 것이다. 이것은 몇몇 상황들에 대해 그리고 몇몇 경우들에서의 몇몇 픽셀들에 대해 처리 전의 제1 픽셀의 깊이 값과 동일한 업데이트된 깊이 값을 야기할 수 있다. 몇몇 실시예에서, 업데이트된 깊이 값은 제1 깊이 값의 함수로서, 그리고 구체적으로는 제1 깊이 값 이외의 깊이 맵의 다른 깊이 값에 의존하지 않는 함수로서 결정된다. 많은 실시예에서, 업데이트된 깊이 값은 제1 깊이 값과 동일하도록 설정될 수 있다.

몇몇 실시예에서, 제1 방향은 설명된 바와 같은 픽셀들의 개재 세트가 존재하는 유일한 방향일 수 있다. 몇몇 실시예에서, 제1 방향은 설명된 바와 같은 픽셀들의 개재 세트가 존재하는 제1 픽셀로부터의 방향들의 각도 간격의 방향일 수 있다. 각도 간격은 1°, 2°, 3°, 5°, 10° 또는 15°를 초과하지 않는 스팬/폭/범위를 가질 수 있다. 제1 방향은 그러한 실시예들에서 그러한 각도 간격 이내의 방향들에 대한 참조로 대체될 수 있다.

후보 깊이 값들의 세트는 후보 깊이 값들의 세트에 포함되지 않는, 또는 제1 후보 깊이 값보다 더 높은 비용 함수를 갖는 제1 방향을 따른 적어도 하나의 픽셀보다 제1 픽셀로부터 더 멀리 떨어진 제1 방향을 따른 제1 후보 깊이 값을 포함할 수 있다.

본 발명의 선택적인 특징에 따르면, 제1 방향을 따른 비용 함수는 거리 임계치 미만인 거리에 대한 제1 픽셀로부터의 거리의 함수로서의 단조 증가 비용 기울기, 및 임계치 초과인 제1 픽셀로부터의 적어도 하나의 거리에 대한 제1 픽셀로부터의 거리의 함수로서의 감소 비용 기울기를 갖는다.

이것은 많은 실시예에서 개선된 성능 및/또는 구현을 제공할 수 있다. 그것은 비용 함수가 제1 후보 깊이 값에 대한 비용 함수를 초과하지 않는 후보 깊이 값들의 세트 중의 후보 깊이 값을 포함하지 않는 적어도 하나의 픽셀의 제1 개재 픽셀 세트가 존재하며, 제1 픽셀로부터 제1 후보 깊이 값까지의 거리가 제1 픽셀로부터 제1 개재 픽셀 세트까지의 거리보다 큰 것을 보장할 수 있다.

거리의 함수로서의 단조 증가 기울기는 증가하는 거리에 대해 항상 증가하거나 일정하게 유지되는 기울기이다.

본 발명의 선택적인 특징에 따르면, 제1 개재 픽셀 세트는 깊이 값들이 후보 값들의 세트에 포함되지 않는 픽셀들의 세트이다.

이것은 많은 실시예에서 개선된 성능 및/또는 구현을 제공할 수 있다. 그것은 비용 함수가 제1 후보 깊이 값에 대한 비용 함수를 초과하지 않는 후보 깊이 값들의 세트 중의 후보 깊이 값을 포함하지 않는 적어도 하나의 픽셀의 제1 개재 픽셀 세트가 존재하며, 제1 픽셀로부터 제1 후보 깊이 값까지의 거리가 제1 픽셀로부터 제1 개재 픽셀 세트까지의 거리보다 큰 것을 보장할 수 있다.

본 발명의 선택적인 특징에 따르면, 비용 함수는 비용 함수가 적용되는 후보 깊이 값과 매칭되는 디스패리티만큼 오프셋된 픽셀들에 대한 멀티-뷰 이미지들의 이미지 값들 사이의 차이에 의존하는 비용 기여를 포함한다.

접근법은 멀티-뷰 디스패리티 고려사항과 조합되어 멀티-뷰 이미지들에 기초한 유리한 깊이 추정 접근법을 제공할 수 있다. 접근법은 예를 들어 초기 깊이 맵이 멀티-뷰 이미지의 상이한 이미지들 사이의 매치에 기초하여 반복하여 업데이트되도록 허용할 수 있다.

본 발명의 선택적인 특징에 따르면, 방법은 제1 방향을 깊이 맵에 대한 중력 방향으로서 결정하는 단계를 추가로 포함하며; 중력 방향은 깊이 맵에 의해 표현되는 장면에서의 중력 방향과 매칭되는 깊이 맵에서의 방향이다.

이것은 특히 효율적인 성능 및 개선된 깊이 맵을 제공할 수 있으며, 개선된 그리고 종종 더 정확한 깊이 맵을 제공하기 위해 장면들의 전형적인 특성들을 이용할 수 있다.

본 발명의 선택적인 특징에 따르면, 제1 방향은 깊이 맵에서의 수직 방향이다.

이것은 특히 효율적인 성능 및 개선된 깊이 맵을 제공할 수 있으며, 개선된 그리고 종종 더 정확한 깊이 맵을 제공하기 위해 장면들의 전형적인 특성들을 이용할 수 있다.

본 발명의 선택적인 특징에 따르면, 방법은 깊이 맵에 의해 표현되는 장면의 적어도 일부에 대한 깊이 모델을 결정하는 단계를 추가로 포함하며, 깊이 값에 대한 비용 함수는 깊이 값과 깊이 모델로부터 결정된 모델 깊이 값 사이의 차이에 의존한다.

이것은 특히 효율적인 성능 및 개선된 깊이 맵을 제공할 수 있으며, 개선된 그리고 종종 더 정확한 깊이 맵을 제공하기 위해 장면 객체들의 전형적인 특성들을 이용할 수 있다. 비용 함수는 깊이 값과 모델 깊이 값 사이의 차이를 증가시키기 위한 증가하는 비용을 제공할 수 있다.

본 발명의 선택적인 특징에 따르면, 비용 함수는 깊이 값이 모델 깊이 값을 초과하는지 또는 모델 깊이 값 미만인지에 대해 비대칭이다.

이것은 많은 실시예 및 시나리오에서 특히 유리한 깊이 맵을 제공할 수 있다.

본 발명의 선택적인 특징에 따르면, 깊이 모델은 장면에 대한 배경 모델이다.

이것은 많은 실시예 및 시나리오에서 특히 유리한 깊이 맵을 제공할 수 있다.

본 발명의 선택적인 특징에 따르면, 방법은 깊이 맵들의 시간적 시퀀스의 다른 깊이 맵으로부터의 깊이 값으로서, 시퀀스는 깊이 맵을 포함하는, 상기 깊이 값; 깊이 맵에 의해 표현되는 장면과는 독립적인 깊이 값; 및 제1 픽셀에 대한 깊이 값의 오프셋에 응답하여 결정되는 깊이 값 중 적어도 하나의 깊이 값을 포함하여, 깊이 맵으로부터의 것이 아닌 후보 깊이 값들의 세트 내의 후보 깊이 값들을 포함시키는 단계를 추가로 포함한다.

이것은 많은 실시예 및 시나리오에서 특히 유리한 깊이 맵을 제공할 수 있다.

본 발명의 선택적인 특징에 따르면, 깊이 값에 대한 비용 함수는 깊이 값의 유형에 의존하며, 유형은, 깊이 맵의 깊이 값; 거리 임계치보다 더 가까운 깊이 맵의 깊이 값; 거리 임계치보다 더 멀리 떨어진 깊이 맵의 깊이 값; 깊이 맵을 포함하는 깊이 맵들의 시간적 시퀀스 중의 다른 깊이 맵으로부터의 깊이 값; 제1 깊이 값의 깊이 값에 대해 장면 독립적 깊이 값 오프셋을 갖는 깊이 값; 깊이 맵에 의해 표현되는 장면과는 독립적인 깊이 값; 및 제1 픽셀에 대한 깊이 값의 오프셋에 응답하여 결정되는 깊이 값 중 적어도 하나를 포함하는 유형들의 그룹 중의 하나이다.

이것은 많은 실시예 및 시나리오에서 특히 유리한 깊이 맵을 제공할 수 있다.

본 발명의 선택적인 특징에 따르면, 방법은 깊이 맵의 복수의 픽셀들을, 복수의 픽셀들로부터 새로운 제1 픽셀을 반복하여 선택하고 각각의 새로운 제1 픽셀에 대해 단계들을 수행함으로써, 처리하도록 배열된다.

본 발명의 선택적인 특징에 따르면, 제1 픽셀로부터의 제2 방향에 대한 후보 깊이 값들의 세트는 제2 후보 깊이 값으로서, 제2 방향을 따른 적어도 하나의 픽셀의 픽셀 세트가 비용 함수가 제2 후보 깊이 값에 대한 비용 함수를 초과하지 않는 후보 깊이 값들의 세트 중의 후보 깊이 값을 포함하지 않는, 상기 제2 후보 깊이 값을 포함하지 않으며, 제1 픽셀로부터 제2 후보 깊이 값까지의 거리는 제1 픽셀로부터 픽셀 세트까지의 거리보다 크다.

이것은 많은 실시예 및 시나리오에서 특히 유리한 깊이 맵을 제공할 수 있다. 몇몇 실시예에서, 제1 방향은 설명된 바와 같은 픽셀들의 개재 세트가 존재하는 유일한 방향일 수 있다.

본 발명의 태양에 따르면, 깊이 맵을 처리하기 위한 장치로서, 깊이 맵을 수신하기 위한 수신기; 깊이 맵을 처리하기 위한 프로세서를 포함하며, 처리는, 깊이 맵의 적어도 제1 픽셀에 대해, 제1 픽셀 이외의 깊이 맵의 다른 픽셀들에 대한 깊이 값들을 포함하는 후보 깊이 값들의 세트를 결정하고; 비용 함수에 응답하여 후보 깊이 값들의 세트 내의 후보 깊이 값들 각각에 대한 비용 값을 결정하고; 후보 깊이 값들의 세트에 대한 비용 값들에 응답하여 후보 깊이 값들의 세트로부터 제1 깊이 값을 선택하고; 제1 깊이 값에 응답하여 제1 픽셀에 대한 업데이트된 깊이 값을 결정하는 단계들을 수행하는 것을 포함하며, 후보 깊이 값들의 세트는 제1 픽셀로부터의 제1 방향을 따른 제1 후보 깊이 값을 포함하고, 제1 방향을 따라 적어도 하나의 픽셀의 제1 개재 픽셀 세트는 비용 함수가 제1 후보 깊이 값에 대한 비용 함수를 초과하지 않는 후보 깊이 값들의 세트 중의 후보 깊이 값을 포함하지 않고, 제1 픽셀로부터 제1 후보 깊이 값까지의 거리는 제1 픽셀로부터 제1 개재 픽셀 세트까지의 거리보다 큰, 깊이 맵을 처리하기 위한 장치가 제공된다.

본 발명의 이들 및 다른 태양들, 특징들 및 이점들이 이하에 설명되는 실시예(들)로부터 명백할 것이며 그것을 참조하여 설명될 것이다.

본 발명의 실시예들이 도면을 참조하여 단지 예로서 설명될 것이다.
도 1은 본 발명의 몇몇 실시예에 따른 깊이 맵을 처리하는 방법의 예를 예시한다.
도 2는 본 발명의 몇몇 실시예에 따른 깊이 맵을 처리하기 위한 장치의 예를 예시한다.
도 3은 몇몇 깊이 맵들의 예를 예시한다.
도 4는 깊이 맵의 몇몇 픽셀들 및 깊이 값들의 예를 예시한다.
도 5는 깊이 맵의 몇몇 픽셀들 및 깊이 값들의 예를 예시한다.
도 6은 본 발명의 몇몇 실시예에 따른 방법에 대한 방향을 따른 비용 함수의 예를 예시한다.
도 7은 상이한 프로세스들에 의해 생성된 깊이 맵들의 예를 예시한다.

하기의 설명은 이미지에 대한 깊이 맵을 처리하는 것에 적용가능한 본 발명의 실시예들에, 그리고 구체적으로 멀티-뷰 깊이 추정 방법의 일부로서 그러한 깊이 맵을 처리하는 것에 초점을 맞춘다. 그러나, 본 발명은 이러한 응용으로 제한되는 것이 아니라, 많은 다른 시나리오들에 적용될 수 있다는 것이 인식될 것이다.

장면을 나타내는 이미지는 오늘날 때때로 장면에서 이미지 객체들의 깊이에 대한 정보를 제공하는 깊이 맵에 의해 보완되는데, 즉 그것은 이미지에 대한 추가적인 깊이 데이터를 제공한다. 그러한 추가적인 정보는 예를 들어 뷰-포인트 시프팅, 3D 표현 등을 허용하며, 그에 의해 다수의 추가적인 서비스를 제공할 수 있다. 깊이 맵은, 전형적으로 제1 개수의 수평 행(row) 및 제2 개수의 수직 열(column)을 갖는 어레이(array)로 배열된, 복수의 픽셀 각각에 대한 깊이 값을 제공하는 경향이 있다. 깊이 값들은 연관된 이미지의 픽셀들에 대한 깊이 정보를 제공한다. 많은 실시예에서, 깊이 맵의 해상도는 이미지의 해상도와 동일할 수 있으며, 이에 따라 이미지의 각각의 픽셀은 깊이 맵의 하나의 깊이 값에 대한 일대일 링크를 가질 수 있다. 그러나, 많은 실시예에서, 깊이 맵의 해상도는 이미지의 해상도보다 낮을 수 있고, 몇몇 실시예에서 깊이 맵의 깊이 값은 이미지의 복수의 픽셀에 대해 공통일 수 있다(그리고 구체적으로 깊이 맵 픽셀들은 이미지 픽셀들보다 클 수 있다).

깊이 값들은 특히 깊이 좌표 값(예를 들어, 픽셀에 대한 z-값을 직접 제공함) 또는 디스패리티 값을 포함한, 깊이를 나타내는 임의의 값일 수 있다. 많은 실시예에서, 깊이 맵은 각각의 픽셀이 깊이(/디스패리티) 값을 제공하는 픽셀들의 (행들 및 열들을 갖는) 직사각형 어레이일 수 있다.

장면의 깊이의 표현의 정확도는 렌더링되고 사용자에 의해 인식되는 이미지의 결과적인 품질에서 핵심 파라미터이다. 따라서 정확한 깊이 정보의 생성이 중요하다. 인공 장면(예를 들어, 컴퓨터 게임)의 경우, 정확한 값을 달성하는 것은 비교적 용이할 수 있지만, 예를 들어 현실 세계 장면의 캡처를 수반하는 응용들의 경우, 이것은 매우 어려울 수 있다.

깊이를 추정하기 위한 다수의 상이한 접근법들이 제안되었다. 하나의 접근법은 상이한 뷰포인트들로부터 장면을 캡처하는 상이한 이미지들 간의 디스패리티를 추정하는 것이다. 그러나, 그러한 디스패리티 추정은 본질적으로 완벽하지 않다. 또한, 접근법은 장면이 다수의 방향으로부터 캡처될 것을 요구하는데, 이는 종종 예를 들어 레거시 캡처의 경우에 그러하지 않다. 다른 옵션은 (이미지들의 시퀀스에서의) 이미지 객체들의 모션은 더 멀리 떨어져 있는 객체들에 대해보다 카메라에 가까운 객체들에 대해 더 높은 경향이 있을 것임을 활용하는 모션 기반 깊이 추정을 수행하는 것이다(예를 들어, 병진하는 카메라의 경우, 아마도 장면에서의 대응하는 객체들의 실제 모션에 대한 보상 후에). 세 번째 접근법은 장면에서 깊이에 대한 미리 결정된(가정된) 정보를 활용하는 것이다. 예를 들어, 야외 장면에 대해(그리로 실제로 가장 전형적인 실내 장면에 대해), 이미지에서 하위에 있는 객체는 이미지에서 상위에 있는 객체보다 더 가까운 경향이 있다(예를 들어, 바닥 또는 지면은 높이가 증가함에 따라 카메라까지의 거리가 증가하고, 하늘은 하위 지면보다 더 뒤쪽에 있는 경향이 있고, 등등이다). 따라서, 적합한 깊이 맵 값을 추정하기 위해 미리 결정된 깊이 프로파일이 사용될 수 있다.

그러나, 대부분의 깊이 추정 기술들은 완벽하지는 않은 깊이 추정을 야기하는 경향이 있으며, 개선된 그리고 전형적으로 더 신뢰성 있고/있거나 정확한 깊이 값들이 많은 응용들에 대해 유리할 것이다.

하기에서, 깊이 맵을 처리하고 업데이트하기 위한 접근법이 설명될 것이다. 접근법은 몇몇 실시예에서, 구체적으로 상이한 뷰포인트들로부터 장면을 캡처하는 다수의 이미지들 사이의 디스패리티를 고려하는 깊이 추정 알고리즘과 같은, 깊이 추정의 일부로서 사용될 수 있으며, 실제로 프로세스는 멀티-뷰 이미지들로부터 깊이를 결정하는 깊이 추정 알고리즘의 통합된 부분일 수 있다. 그러나, 이것은 접근법에 대해 필수적인 것은 아니고, 몇몇 실시예에서 접근법은 예를 들어 추정된 깊이 맵들의 후처리로서 적용될 수 있다는 것이 인식될 것이다.

접근법은 많은 시나리오에서 깊이 맵을 개선하고 더 정확한 깊이 정보를 제공할 수 있다. 그것은 또한 상이한 깊이 추정 고려사항들과 접근법들을 조합하는 데 적합할 수 있고, 깊이 추정을 개선하는 데 사용될 수 있다.

깊이 맵을 처리하는 방법의 흐름도를 도시하는 도 1, 및 방법을 실행하기 위한 대응하는 장치의 요소들을 예시하는 도 2를 참조하여 접근법이 설명될 것이다.

도 2의 장치는 구체적으로 컴퓨터 또는 처리 모듈과 같은, 처리 유닛일 수 있다. 그렇기 때문에, 그것은 CPU, MPU, DSP 또는 유사한 것과 같은 적합한 프로세서에 의해 구현될 수 있다. 장치는 기술자에게 알려질 바와 같이 프로세서에 결합된 휘발성 및 비휘발성 메모리를 추가로 포함할 수 있다. 게다가, 예를 들어 사용자 인터페이스, 네트워크 인터페이스 등과 같은, 적합한 입력 및 출력 회로부가 포함될 수 있다.

도 1의 방법은 단계(101)에서 시작하며, 여기서 수신기(201)는 깊이 맵을 수신한다. 많은 실시예에서, 깊이 맵은 연관된 이미지와 함께 수신된다. 게다가, 많은 실시예에서, 깊이 맵은 별개의 깊이 맵과 추가로 연관될 수 있는 하나 이상의 이미지와 함께 이미지에 대해 수신된다. 예를 들어, 상이한 뷰포인트들로부터의 장면을 나타내는 다른 이미지들이 수신될 수 있다. 몇몇 실시예에서, 이미지 및 깊이 맵은, 예를 들어 비디오 시퀀스의 이미지 또는 프레임인 이미지와 같은, 이미지들 및 깊이 맵들의 시간적 시퀀스의 일부일 수 있다. 이에 따라, 몇몇 실시예에서, 수신기(201)는 다른 시간들에 대한 이미지들 및/또는 깊이 맵들을 수신할 수 있다. 처리되는 깊이 맵 및 이미지는 이후로, 각각, 제1 또는 현재 깊이 맵 및 제1 또는 현재 이미지로도 지칭될 것이다.

수신된 제1 깊이 맵은 더 정확한 깊이 맵을 생성하도록 처리되는 초기 제1 이미지일 수 있고, 구체적으로 몇몇 실시예에서 깊이 추정 프로세스에 대한 초기 입력일 수 있다. 하기의 설명은 깊이 추정이 상이한 뷰-포인트들로부터의 동일한 장면의 상이한 이미지들 사이의 디스패리티의 고려를 포함하는 멀티-뷰 깊이 추정 프로세스의 일부로서 방법이 사용되는 예에 초점을 맞출 것이다. 이 프로세스는 이미지의 가능한 깊이의 매우 대략적인 표시를 제공할 수 있는 초기 깊이 맵으로 초기화된다.

예를 들어, 초기 깊이 맵은 이미지 내의 이미지 객체들을 검출하고 이미지를 이미지 객체들과 배경으로 분할함으로써 간단히 생성될 수 있다. 배경 섹션들에는 미리 결정된 깊이가 할당될 수 있고, 이미지 객체들은 그들이 더 앞선다는 것을 나타내는 상이한 미리 결정된 깊이로 결정될 수 있거나, 예를 들어 대략적인 디스패리티 추정이 다른 이미지 내의 대응하는 이미지 객체에 대한 검색에 기초하여 수행될 수 있고 결과적인 추정된 깊이가 전체 이미지 객체에 할당될 수 있다. 결과적인 깊이 맵의 예가 도 3의 (a)에 도시된다.

다른 예로서, 이미지에서의 높이를 증가시키기 위한 증가하는 깊이와 같은 미리 결정된 깊이 패턴이 할당될 수 있다. 그러한 깊이 맵의 예가 도 3의 (b)에 예시되며, 예를 들어 풍경 장면들 및 이미지들에 적합할 수 있다. 도 3의 (c)에 도시된 바와 같이, 접근법들이 조합될 수 있다.

많은 실시예에서, 좌측/우측 이미지 쌍이, 예를 들어 선험적 피팅된 3D 깊이 모델을 사용하여, 블록-기반 2D 디스패리티 벡터 필드를 초기화하는 데 사용될 수 있다. 그러한 실시예들에서, 깊이 값들은 디스패리티 값들일 수 있거나, 뷰포인트로부터의 거리를 직접적으로 표시하는 깊이 값들이 이들로부터 계산될 수 있다. 접근법은 지면 및 배경과 같은 장면 기하학적 구조의 소정 지식을 고려할 수 있다. 예를 들어, 3D 모델에 기초하여, 2D 디스패리티 필드가 생성되고 초기 깊이 맵으로서 사용될 수 있다.

이에 따라, 설명된 접근법에서 대략적인 그리고 전형적으로 부정확한 초기 제1 깊이 맵을 갖는 초기 제1 이미지가 수신기(201)에 의해, 그리고 이 예에서 상이한 뷰포인트로부터의 장면을 나타내는 적어도 하나의 다른 이미지와 함께 수신된다. 이어서 접근법은 이 깊이 맵을 처리하여, 깊이 맵의 상이한 픽셀들의 실제 깊이를 더 잘 반영하는 더 정확한 깊이 맵을 생성할 수 있다.

깊이 맵(들) 및 (선택적으로) 이미지(들)는 수신기(201)로부터, 도 1을 참조하여 하기에서 설명되는 바와 같은 나머지 방법 단계들을 수행하도록 배열된 프로세서(203)로 공급된다.

하기의 접근법은 원칙적으로 깊이 맵의 깊이 값들/픽셀들의 서브세트에만, 또는 실제로 원칙적으로 깊이 맵의 단일 픽셀에만 적용될 수 있지만, 프로세스는 전형적으로 깊이 맵의 모든 또는 거의 모든 픽셀들에 적용된다. 적용은 전형적으로 순차적이다. 예를 들어, 프로세스는 깊이 맵을 통해 스캐닝하여, 처리를 위해 픽셀들을 순차적으로 선택할 수 있다. 예를 들어, 방법은 좌상 코너로부터 시작하고 우하 코너에 있는 픽셀이 처리될 때까지 먼저 수평으로 그리고 이어서 수직으로 스캐닝할 수 있는데, 즉 왼쪽에서 오른쪽으로, 위에서 아래로의 스캐닝이 적용될 수 있다.

게다가, 많은 실시예에서, 접근법은 반복될 수 있고 동일한 깊이 맵에 반복하여 적용될 수 있다. 이에 따라, 하나의 처리/업데이트로부터의 결과적인 깊이 맵은 후속 프로세스/업데이트를 위한 입력 깊이 맵으로서 사용될 수 있다. 많은 실시예에서, 깊이 값들의 결과적인 업데이트를 갖는 깊이 맵의 스캐닝은 다수 회 되풀이/반복될 수 있는데, 예를 들어 5회 내지 10회 반복이 수행될 수 있다.

방법은 단계(101)에서 시작하며, 여기서 수신기(201)는 전술된 바와 같은 깊이 맵을 수신하고 그것을 프로세서(203)에 포워딩한다.

단계(103)에서 다음 픽셀이 선택된다. 깊이 맵에 대한 프로세스를 시작할 때, 다음 픽셀은 전형적으로 우상 픽셀과 같은 미리 결정된 픽셀일 수 있다. 그렇지 않으면, 다음 픽셀은, 구체적으로 미리 결정된 스캔 시퀀스/순서와 같은, 적용된 처리 시퀀스에 따른 다음 픽셀일 수 있다.

이어서, 이후로 제1 또는 현재 픽셀로도 지칭될, 식별된 픽셀에 대해, 방법은 이 픽셀에 대한 깊이 값을 결정하도록 진행한다. 제1 또는 현재 픽셀의 깊이 값은 제1 또는 현재 깊이 값으로도 지칭될 것이고, 용어 '초기 및 업데이트된 깊이 값'은 픽셀의 처리 전후의 값을 각각 지칭하는 데, 즉 각각 현재 반복 전후의 깊이 맵의 깊이 값들을 지칭하는 데 사용될 것이다.

단계(105)에서, 프로세서(203)는 후보 깊이 값들의 세트를 결정/선택하도록 진행한다. 후보 깊이 값들의 세트는 후보 픽셀들의 세트에 대한 깊이 값들을 포함하도록 선택된다. 현재 깊이 맵의 픽셀들의 후보 세트는 깊이 맵 내의 다수의 다른 픽셀을 포함한다. 예를 들어, 후보 세트는, 예를 들어 현재 픽셀로부터의 주어진 거리 내의 또는 현재 픽셀 주위의 윈도우/커널 내의 픽셀들의 세트와 같은, 현재 픽셀 주위의 이웃 내의 픽셀들에 대한 깊이 값들을 포함하도록 선택될 수 있다.

많은 실시예에서, 픽셀들의 후보 세트는 또한 현재 픽셀 자체의 깊이 값을 포함하는데, 즉 제1 깊이 값은 그 자체가 세트 중의 후보 깊이 값들 중 하나이다.

게다가, 많은 실시예에서, 후보 깊이 값들의 세트는 또한 다른 깊이 맵들로부터의 깊이 값들을 포함할 수 있다. 예를 들어, 이미지가 비디오 스트림의 일부인 많은 실시예에서, 이전 및/또는 후속 프레임들/이미지들로부터의 하나 이상의 깊이 값이 또한 후보 깊이 값들의 세트에 포함될 수 있거나, 깊이 맵이 동시에 추정되는 다른 뷰들로부터의 깊이 값들이 포함될 수 있다.

몇몇 실시예에서, 후보 깊이 값들의 세트는, 직접적으로 깊이 맵의 깊이 값들이 아닌 값들을 추가로 포함할 수 있다. 예를 들어, 몇몇 실시예에서, 후보 깊이 값들의 세트는 하나 이상의 고정된 깊이 값, 또는 예를 들어, 고정된 오프셋만큼 현재 초기 깊이 값보다 큰 또는 작은 깊이 값들과 같은, 상대 오프셋 깊이 값들을 포함할 수 있다. 다른 예는, 후보 깊이 값들의 세트가 하나 이상의 무작위 또는 반-무작위 깊이 값을 포함할 수 있다는 것이다.

단계(105)에 이어서 단계(107)가 뒤따르며, 여기서 후보 깊이 값들의 세트에 대해 비용 값들이 결정될 수 있고, 구체적으로 후보 깊이 값들의 세트 중의 각각의 후보 깊이 값에 대해 비용 값이 결정될 수 있다.

비용 값은 나중에 더 상세히 설명될 바와 같이 다수의 상이한 파라미터에 의존할 수 있는 비용 함수에 기초하여 결정될 수 있다. 많은 실시예에서, 현재 깊이 맵의 픽셀들에 대한 후보 깊이 값들에 대한 비용 함수는 깊이 값에 대응하는 디스패리티만큼 오프셋된 멀티-뷰 이미지들의 이미지 값들 사이의 차이에 의존한다. 이에 따라, 제1 깊이 값, 또는 아마도 후보 깊이 값들의 세트에 속하는 후보 깊이 값들의 세트 중의 각각의 후보 깊이 값에 대해, 비용 함수는 후보 깊이 값과 매칭되는 2개의 이미지 뷰 사이의 디스패리티를 갖는 이미지 영역들 내의 멀티-뷰 이미지의 2개의 뷰 이미지 사이의 차이의 함수로서 단조 감소일 수 있다. 이미지 영역들은 구체적으로 현재 픽셀 및/또는 후보 깊이 값의 픽셀을 포함하는 이미지 영역들일 수 있다. 이미지 영역은 전형적으로, 예를 들어 말하자면 이미지의 1%, 2%, 5%, 또는 10% 이하를 구성하는, 그리고/또는 예를 들어 100개, 1000개, 2000개, 5000개, 또는 10000개 초과의 픽셀을 포함하지 않는 것과 같이, 비교적 작을 수 있다.

몇몇 실시예에서, 프로세서(203)는 주어진 후보 깊이 값에 대해 깊이 값과 매칭되는 2개의 이미지 사이의 디스패리티를 결정할 수 있다. 이어서 그것은 이 디스패리티를 적용하여, 그 디스패리티만큼 다른 이미지 내의 영역에 대해 오프셋된, 2개의 이미지 중 하나 내의 영역을 식별할 수 있다. 2개의 영역에서의 이미지 신호 값들, 예를 들어 RGB 값들 사이에서 차이 척도가 결정될 수 있다. 이에 따라, 후보 깊이 값이 올바르다는 가정에 기초하여 2개의 이미지/이미지 영역에 대해 차이 척도가 결정될 수 있다. 차이가 낮을수록, 후보 깊이 값이 깊이의 정확한 반영일 가능성이 높다. 이에 따라, 차이 척도가 낮을수록 비용 함수가 낮다.

이미지 영역은 전형적으로 제1/현재 픽셀 주위의 작은 영역일 수 있고, 실제로 몇몇 실시예에서 제1/현재 픽셀만을 포함할 수 있다.

따라서, 현재 깊이 맵에 대응하는 후보 깊이 값들에 대해, 비용 함수는 후보 깊이 값에 대응하는 디스패리티에 대한 2개의 멀티-뷰 이미지 사이의 매치에 의존하는 비용 기여를 포함할 수 있다.

많은 실시예에서, 시간적으로 오프셋된 깊이 맵들 및 이미지들과 같은, 이미지와 연관된 다른 깊이 맵들에 대한 후보 깊이 값들에 대한 비용 값은 또한 대응하는 이미지 매치 비용 기여를 포함할 수 있다.

몇몇 실시예에서, 후보 깊이 값들 중 일부의 비용은 이미지 매치 비용 기여를 포함하지 않을 수 있다. 예를 들어, 깊이 맵 또는 이미지와 연관되지 않은 미리 결정된 고정된 깊이 오프셋에 대해, 고정된 비용 값이 예를 들어 할당될 수 있다.

비용 함수는 전형적으로 그것이 깊이 값이 현재 픽셀에 대한 정확한 또는 올바른 깊이 값을 반영할 가능성을 나타내도록 결정될 수 있다.

메리트 함수에 기초한 메리트 값의 결정, 및/또는 메리트 값들에 기초한 후보 깊이 값의 선택은 본질적으로 또한 비용 함수에 기초한 비용 값의 결정, 및/또는 비용 값들에 기초한 후보 깊이 값의 선택이라는 것이 인식될 것이다. 메리트 값은 단순히 함수를 메리트 값에 적용함으로써 비용 함수로 변환될 수 있으며, 여기서 함수는 임의의 단조 감소 함수이다. 더 높은 메리트 값은 더 낮은 비용 값에 대응하며, 예를 들어 가장 높은 메리트 값을 갖는 후보 깊이 값의 선택은 가장 낮은 값을 갖는 비용 값을 선택하는 것과 직접적으로 동일하다.

후보 깊이 값들의 세트 중의 각각의 후보 깊이 값에 대한 비용 값을 결정하는 단계(107)에 이어서 단계(109)가 뒤따르며, 여기서 후보 깊이 값들의 세트로부터의 깊이 값이 후보 깊이 값들의 세트에 대한 비용 값들에 응답하여 선택된다. 선택된 후보 깊이 값은 이후로 선택된 깊이 값으로 지칭될 것이다.

많은 실시예에서, 선택은 최저 비용 값들이 결정된 후보 깊이 값의 선택일 수 있다. 몇몇 실시예에서, 다른 파라미터들을 또한 고려하여 더 복잡한 기준이 평가될 수 있다(동등하게 그러한 고려사항들은 전형적으로 (수정된) 비용 함수의 일부로 간주될 수 있다).

이에 따라, 현재 픽셀에 대해, 접근법은 비용 함수에 의해 결정된 바와 같은 현재 픽셀에 대한 올바른 깊이 값을 반영할 가능성이 가장 높은 것으로 간주되는 후보 깊이 값을 선택할 수 있다.

단계(109)에 이어서 단계(111)가 뒤따르며, 여기서 선택된 깊이 값에 기초하여 현재 픽셀에 대해 업데이트된 깊이 값이 결정된다. 정확한 업데이트는 개별 실시예의 특정 요건들 및 선호들에 의존할 것이다. 예를 들어, 많은 실시예에서, 제1 픽셀에 대한 이전의 깊이 값은 단순히 선택된 깊이 값으로 대체될 수 있다. 다른 실시예에서, 업데이트는 초기 깊이 값을 고려할 수 있는데, 예를 들어 업데이트된 깊이 값은 초기 깊이 값과 선택된 깊이 값의 가중 조합으로서 결정될 수 있으며, 예를 들어 가중치는 선택된 깊이 값에 대한 절대 비용 값에 의존한다.

이에 따라, 단계(111) 후에 현재 픽셀에 대해 업데이트 또는 수정된 깊이 값이 결정되었다. 단계(113)에서, 처리될 현재 깊이 맵의 모든 픽셀이 실제로 처리되었는지가 평가된다. 전형적으로, 이것은 이미지 내의 모든 픽셀이 처리되었는지의 결정, 및 구체적으로 스캐닝 시퀀스가 끝에 도달했는지의 검출에 대응한다.

만약 그렇지 않다면, 방법은 단계(103)로 복귀하며, 여기서 다음 픽셀이 선택되고, 이 다음 픽셀에 대해 프로세스가 반복된다. 다른 경우라면, 방법은 단계(115)로 진행하며, 여기서 추가적인 반복들이 깊이 맵에 적용되어야 하는지가 평가된다. 몇몇 실시예에서, 한 번의 반복만이 수행될 것이고, 단계(115)는 생략된다. 다른 실시예들에서, 프로세스는, 예를 들어 (예를 들어, 이전 반복에서 발생하는 전체 변화량이 임계치 미만인 것과 같은) 소정의 중단 기준이 달성되거나 미리 결정된 수의 반복이 수행될 때까지, 깊이 맵에 반복하여 적용될 수 있다.

다른 반복이 요구되는 경우, 방법은 단계(103)로 복귀하며, 여기서 다음 픽셀이 새로운 반복에서의 제1 픽셀로서 결정된다. 구체적으로, 다음 픽셀은 스캐닝 시퀀스에서의 제1 픽셀일 수 있다. 추가의 반복이 요구되지 않는 경우, 방법은 단계(117)로 진행하며, 여기서 그것은 업데이트된 그리고 전형적으로 개선된 깊이 맵으로 끝난다. 깊이 맵은 예를 들어 출력 회로(205)를 통해, 뷰 합성 프로세서와 같은, 다른 기능으로 출력될 수 있다.

상기의 설명은 단일 픽셀에 대한 적용에 초점을 맞추는 반면, 예를 들어 결정된 업데이트된 깊이 값이 제1 픽셀을 포함하는 블록 내의 모든 깊이 값에 적용되는 블록 프로세스가 적용될 수 있다는 것이 인식될 것이다.

후보 깊이 값들의 특정 선택은 특정 응용에 대한 원하는 동작 및 성능에 의존할 수 있다. 전형적으로, 후보 깊이 값들의 세트는 현재 픽셀의 이웃 내의 다수의 픽셀들을 포함할 것이다. 커널, 영역, 또는 템플릿이 현재 픽셀을 오버레이할 수 있고, 커널/영역/템플릿 내의 픽셀들은 후보 세트에 포함될 수 있다. 또한, 상이한 시간 프레임(전형적으로 깊이 맵이 제공되는 현재 프레임 직전 또는 직후) 내의 동일한 픽셀뿐만 아니라 잠재적으로 이웃 픽셀들의 커널이 포함되지만, 이는 전형적으로 현재 깊이 맵 내의 커널보다 실질적으로 더 작다. 전형적으로, (각각, 증가된 깊이 및 감소된 깊이에 대응하는) 적어도 2개의 오프셋 깊이 값이 추가로 포함된다.

그러나, 계산 복잡성 및 자원 수요를 감소시키기 위해, 후보 세트에 포함되는 깊이 값들의 수는 전형적으로 실질적으로 제한된다. 특히, 모든 후보 깊이 값들이 각각의 새로운 픽셀에 대해, 그리고 전형적으로 각각의 반복에 대한 깊이 맵의 모든 픽셀들에 대해 평가됨에 따라, 각각의 추가적인 후보 값은 다수의 추가적인 처리 단계들을 야기한다.

그러나, 달성될 수 있는 깊이 맵의 개선은 후보들의 특정 선택 및 가중치에 크게 의존하는 경향이 있고 실제로 이것은 최종 깊이 맵 품질에 큰 영향을 미치는 경향이 있다는 것이 또한 밝혀졌다. 이에 따라 품질/성능과 계산 자원 요건 사이의 트레이드-오프(trade-off)는 매우 어렵고 후보 깊이 값 결정에 매우 민감하다.

많은 전형적인 응용에서, 각각의 픽셀에 대한 후보 깊이 값들의 세트 내에 대략 5개 내지 20개 이하의 후보 깊이 값을 갖는 것이 종종 바람직하다. 많은 실제 시나리오에서, 비디오 시퀀스들에 대한 실시간 처리를 달성하기 위해 후보 깊이 값들의 수를 약 10개의 후보로 제한하는 것이 필요하다. 그러나, 비교적 적은 수의 후보 깊이 값들은 세트에 어느 후보 깊이 값을 포함시킬지의 결정/선택을 매우 중요하게 만든다.

현재 깊이 값을 업데이트하기 위해 고려할 깊이 맵들의 후보 깊이 값들의 세트를 결정할 때의 직관적인 접근법은 현재 픽셀들에 가까운 깊이 값들을 포함시키는 것이며, 가중은 더 멀리 떨어진 깊이 값들을 선택할 가능성이 더 적도록(또는 적어도 더 많지 않도록) 하는 것인데, 즉 모든 다른 파라미터들이 동일한 경우, 현재 픽셀에 더 가까운 후보 깊이 값이 더 멀리 떨어진 것에 비해 선택될 것이다. 이에 따라, 직관적인 접근법은 현재 픽셀 주위의 (전형적으로 매우 작은) 이웃 내의 픽셀들을 포함하는 커널로서, 그리고 현재 픽셀로부터의 거리에 따라 단조 증가하는 비용 함수로 후보 깊이 값들의 세트를 생성하는 것일 것이다. 예를 들어, 후보 깊이 값들의 세트는, 말하자면 현재 픽셀로부터 1 또는 2 픽셀 거리의 미리 결정된 거리 내의 모든 픽셀로서 결정될 수 있으며, 제1 픽셀로부터의 거리에 따라 증가하는 비용 함수가 적용될 수 있다.

그러나, 그러한 직관적인 접근법은 많은 실시예에서 유리한 성능을 제공할 수 있는 반면, 본 발명자는 한 방향으로의 더 가까운 픽셀의 선택에 비해 그 방향을 따른 더 멀리 떨어진 픽셀을 선택하는 바이어스를 증가시키는 반직관적인 접근법을 취함으로써 많은 응용에서 유리한 성능이 달성될 수 있다는 것을 깨달았다. 이에 따라, 접근법에서, 더 멀리 떨어진 픽셀을 선택할 확률은 방향을 따른 더 가까운 픽셀에 비해 증가된다.

몇몇 실시예에서, 이것은 후보 깊이 값들의 세트에 포함되지 않는 하나 이상의 픽셀보다 더 멀리 떨어진 하나 이상의 픽셀을 포함하는/포함하도록 선택/발생/생성/결정되는 방향을 따른 후보 깊이 값들의 세트에 의해 달성될 수 있다. 예를 들어, 방향을 따른 가장 가까운 하나 이상의 픽셀이 후보 깊이 값들의 세트에 포함될 수 있고, 후보 깊이 값들의 세트에 포함되지 않는 하나 이상의 픽셀이 뒤따르고, 이어서 후보 깊이 값들의 세트에 포함되는 하나 이상의 더 멀리 떨어진 픽셀이 뒤따른다.

그러한 접근법의 예가 도 4에 도시되어 있다. 이 예에서, 현재 깊이 값/픽셀(403)을 둘러싸는 4개의 이웃 깊이 값/픽셀(401)이 후보 깊이 값들의 세트에 포함된다. 후보 깊이 값들의 세트는 현재 깊이 값에 추가로 포함될 수 있다. 그러나, 또한 후보 깊이 값들의 세트는 주어진 방향(407)을 따른 멀리 떨어진 깊이 값/픽셀(405)을 포함하도록 배열된다. 멀리 떨어진 깊이 값/픽셀(405)은 현재 픽셀(403)로부터 Δ개 픽셀의 거리에 있으며, 여기서 Δ>2이고, 전형적으로는 훨씬 더 크다. 이 예에서, 후보 깊이 값들의 세트는 시간적 이웃 깊이 맵 내의 동일한 위치에 있는 픽셀(409)에 대한 깊이 값을 추가로 포함한다.

이에 따라, 이 예에서, 7개의 깊이 값만을 포함하는 후보 깊이 값들의 세트가 생성되며, 시스템은 이러한 깊이 값들 각각에 대한 비용 함수를 평가함으로써 비용 값을 결정하도록 진행할 수 있다. 이어서 그것은 최저 비용 값을 갖는 깊이 값을 선택하고, 예를 들어 이것을 선택된 후보 깊이 값의 값이 되도록 설정함으로써, 현재 깊이 값을 업데이트할 수 있다. 적은 수의 후보 깊이 값으로 인해, 매우 빠른 그리고/또는 낮은 자원 요구 처리가 수행될 수 있다.

게다가, 얼마나 많은 후보 깊이 값들이 평가되는지에 있어서의 제약에도 불구하고, 가까운 이웃 깊이 값들뿐만 아니라 하나 이상의 멀리 떨어진 깊이 값을 포함하는 접근법은 실제로 예를 들어 종종 생성되는 더 일관된 그리고/또는 정확한 업데이트된 깊이 맵을 제공할 수 있는 특별히 유리한 성능을 제공하는 것으로 밝혀졌다. 예를 들어, 많은 깊이 값들은, 장면 내에 존재하고 실질적으로 동일한 거리에 있는 객체들을 나타낸다. 더 멀리 떨어진 깊이 값을 고려하는 것은 많은 상황들에서, 동일한 객체에 속하지만, 예를 들어 더 적은 국부적 이미지 잡음으로 인해, 더 양호한 깊이 추정을 제공할 수 있는 깊이 값이 포함되는 결과를 가져올 수 있다. 특정 방향의 고려는, 예를 들어 기하학적 특성 또는 이미지들에 대한 캡처 배향과의 관계와 같은, 객체의 유망한 특성을 반영할 수 있다. 예를 들어, 배경들에 대해, 깊이는 수평으로 비교적 일정하지만 수직으로 변화하는 경향이 있고, 따라서 수평 방향으로 더 멀리 떨어진 픽셀을 식별하는 것은 현재 픽셀 및 더 멀리 떨어진 픽셀 둘 모두가 동일한 (배경) 깊이를 나타낼 가능성을 증가시킬 수 있다.

이에 따라, 몇몇 실시예에서, 후보 깊이 값들의 세트는 방향을 따라 개재 픽셀 세트보다 더 멀리 떨어진 현재 픽셀로부터의 방향을 따른 제1 후보 깊이 값을 포함하도록 결정될 수 있으며, 여기서 개재 세트는, 제1 후보 깊이 값보다 현재 픽셀에 더 가깝지만 깊이 값이 후보 깊이 값에 포함되지 않는 하나 이상의 픽셀을 포함한다. 따라서, 몇몇 실시예에서, 제1 후보 깊이 값의 픽셀 위치와 현재 픽셀 사이에 방향을 따른 갭(gap)이 있으며, 그 간극에는 후보 깊이 값들의 세트에 포함되지 않는 하나 이상의 픽셀이 있다. 많은 실시예에서, 갭은 제1 후보 깊이 값과 후보 깊이 값들의 세트에 포함된 하나 이상의 가까운 이웃 픽셀 사이에 있을 수 있다.

몇몇 실시예에서, 후보 세트는 현재 픽셀이 속하는 이미지 객체 또는 이미지 객체 유형에 기초하여 적응될 수 있다. 예를 들어, 프로세서(203)는 깊이 맵에서 이미지 객체들을 검출하기 위해(예를 들어, 연관된 이미지에서 그들을 검출함으로써) 이미지 객체 검출 프로세스를 수행하도록 배열될 수 있다. 이어서 그것은 검출된 이미지 객체들에 따라 후보 세트를 조정할 수 있다. 또한, 몇몇 실시예에서, 제1 방향은 현재 픽셀이 속하는 이미지 객체의 특성에 응답하여 적응될 수 있다. 예를 들어, 픽셀은 특정 이미지 객체 또는 객체 유형에 속하고, 제1 방향은, 예를 들어 이미지 객체에 대한 가장 긴 방향과 같은, 이 객체의 특성에 응답하여 결정될 수 있다는 것을 알 수 있다. 예를 들어, 물 위의 보트는 수직 방향보다 수평 방향으로 실질적으로 더 긴 연장부를 갖는 경향이 있을 것이고, 따라서 제1 방향은 수평 방향으로서 결정될 수 있다. 또한, 수직 방향으로보다 수평 방향으로 더 멀리 연장되는 후보 세트가 선택될 수 있다.

몇몇 실시예에서, 시스템은 소정 유형의 객체들(자동차, 비행기 등)을 검출할 수 있고, 분류된 바와 같은 픽셀의 카테고리에 기초하여 후보 세트를 조정하도록 진행할 수 있다.

몇몇 실시예에서, 방향을 따른 더 가까운 깊이 값보다 적어도 하나의 더 멀리 떨어진 깊이 값의 증가된 가중은, 방향을 따른 하나 이상의 픽셀을 후보 깊이 값들의 세트에 포함되는 것으로부터 배제함으로써 달성되지 않을 수 있다. 몇몇 실시예에서, 제1 방향을 따른 모든 픽셀들은 현재 픽셀부터 더 멀리 떨어진 픽셀까지 포함될 수 있으며, 이들은 이후로 각각 제1 후보 깊이 값 및 제1 후보 픽셀로 지칭된다.

그러한 실시예들에서, 더 낮은 바이어스를 갖는 후보 깊이 값들의 개재 세트에 속하는 깊이 값들에 비한 제1 후보 깊이 값의 증가된 바이어스는 비용 함수를 적절하게 설계함으로써 달성될 수 있다. 구체적으로, 비용 함수는 비용 함수가 제1 픽셀에 더 가까운 하나 이상의 깊이 값에 대한 비용 함수보다 제1 후보 깊이 값에 대해 더 낮도록 하는 것일 수 있다.

몇몇 실시예에서, 방향을 따른 비용 함수는 거리 임계치 미만인 거리에 대한 비용 함수가 평가되는 제1 픽셀로부터 후보 깊이 값까지의 거리에 대해 단조 증가 비용 기울기를, 그리고 임계치 초과인 제1 픽셀로부터의 적어도 하나의 거리에 대한 거리에 대해 감소 비용 기울기를 가질 수 있다. 이에 따라, 거리 임계치까지, 비용 함수는, 제1 픽셀까지의 거리가 증가함에 따라, 증가하거나 일정하다. 그러나, 거리 임계치를 초과하는 적어도 하나의 거리에 대해, 비용 함수는 대신에 감소한다.

예를 들어, 거리 임계치는 개재 세트의 마지막 픽셀까지의 거리에 대응할 수 있다. 이에 따라 비용 함수는 개재 세트의 가장 먼 픽셀까지의 그리고 이를 포함하는 픽셀들에 대해 증가(또는 일정)할 수 있다. 그러나, 이러한 가장 먼 픽셀과 제1 후보 픽셀 사이의 거리에 따른 비용 기울기는 감소한다. 이에 따라 제1 후보 깊이 값에 대한 비용 함수는 현재 픽셀에 더 가까운 방향을 따른 적어도 하나의 픽셀보다 낮다.

하나의 픽셀에 대한 비용 함수가 다른 픽셀에 대해서보다 더 작거나 더 낮다는 것은, 비용 함수에 의해 결정되는 결과적인 비용 값이 동일한 모든 다른 파라미터들에 대해, 즉 동일한 2개의 픽셀에 대한 것인 위치 이외의 모든 파라미터들에 대해 더 작다/더 낮다는 것을 의미한다. 유사하게, 하나의 픽셀에 대한 비용 함수가 다른 픽셀에 대해서보다 더 크거나 더 높다는 것은, 비용 함수에 의해 결정되는 결과적인 비용 값이 동일한 2개의 픽셀에 대해 고려되는 모든 다른 파라미터에 대해 더 크다/더 높다는 것을 의미한다. 또한, 하나의 픽셀에 대한 비용 함수가 다른 픽셀을 초과한다는 것은, 비용 함수에 의해 결정되는 결과적인 비용 값이 동일한 2개의 픽셀에 대해 고려되는 모든 다른 파라미터에 대해 다른 것을 초과한다는 것을 의미한다.

예를 들어, 비용 함수는 전형적으로 다수의 상이한 파라미터들을 고려하는데, 예를 들어 비용 값은 C=f(d,a,b,c,...)로서 결정될 수 있으며, 여기서 d는 (거리와 같은) 현재 픽셀에 대한 픽셀의 위치를 지칭하고, a,b,c...는 연관된 이미지들의 이미지 신호 값들, 다른 깊이 값들의 값, 평활도 파라미터 등과 같은, 고려되는 다른 파라미터들을 반영한다.

픽셀 A에 대한 비용 함수 f(d,a,b,c,...)는 파라미터들 a,b,c,...가 2개의 픽셀에 대해(그리고 유사하게 다른 항들에 대해) 동일한 경우 C=f(d,a,b,c,...)가 픽셀 B에 대해서보다 픽셀 A에 대해 더 낮은 경우 픽셀 B에 대해서보다 더 낮다.

더 멀리 떨어진 픽셀을 바이어싱하기 위해 비용 함수를 사용하는 예가 도 5에 예시되어 있다. 이 예는 도 4의 예에 대응하지만, 방향을 따른 모든 픽셀을 추가로 포함하는, 즉 픽셀들(501-507)을 또한 포함하는 후보 깊이 값들의 세트를 갖는다. 그러나, 이 예에서, 비용 함수는 그것이 제1 후보 깊이 값을 몇몇 개재 픽셀들, 그리고 구체적으로 픽셀들(501-507)보다 더 높게 바이어싱하도록 배열된다.

가능한 비용 함수 및 제1 픽셀로부터의 거리 d에 대한 의존성의 예가 도 6에 예시되어 있다. 이 예에서, 비용 함수는 이웃 픽셀(401)에 대해 매우 낮고, 이어서 픽셀들(501)에 대해 거리에 따라 증가한다. 그러나, 제1 후보 픽셀에 대해, 비용 함수는 픽셀들(501)에 비해 감소하지만, 이웃 픽셀(401)에 대해서보다 여전히 더 높게 유지된다. 이에 따라, 이 비용 함수를 적용함으로써, 제1 후보 깊이 값은 개재 픽셀들(501)보다 더 높게 바이어싱되지만 이웃 픽셀(401)만큼 많이 바이어싱되지는 않는다.

이에 따라, 접근법에서 후보 깊이 값들의 세트는 개재 픽셀 세트보다 현재 픽셀로부터 더 큰 거리에 있는 제1 픽셀로부터의 제1 방향을 따른 제1 후보 깊이 값을 포함한다. 개재 픽셀 세트는 적어도 하나의 픽셀을 포함하고, 개재 세트 중의 모든 픽셀은 후보 깊이 값들의 세트에 포함되지 않거나 제1 후보 깊이 값보다 더 높은 비용 함수를 갖는다. 이에 따라, 개재 픽셀 세트는 비용 함수가 제1 후보 깊이 값에 대한 비용 함수를 초과하지 않는 후보 깊이 값을 포함하지 않는다. 따라서, 후보 깊이 값들의 세트는 후보 깊이 값들의 세트에 포함되지 않는, 또는 제1 후보 깊이 값보다 더 높은 비용 함수를 갖는 제1 방향을 따른 적어도 하나의 픽셀보다 제1 픽셀로부터 더 멀리 떨어진 제1 방향을 따른 제1 후보 깊이 값을 포함한다.

몇몇 실시예에서, 이것은 개재 픽셀 세트가 깊이 값들이 후보 값들의 세트에 포함되지 않는 픽셀들의 세트인 것에 직접적으로 대응할 수 있다. 몇몇 실시예에서, 이것은 개재 세트가 비용 함수가 제1 후보 깊이 값의 비용 함수를 초과하는 적어도 하나의 후보 픽셀/깊이 값을 포함하는 것에 직접적으로 대응할 수 있다. 몇몇 실시예에서, 이것은 방향을 따른 비용 함수가 거리 임계치 미만인 거리에 대한 (비용 값이 결정되는) 제1 픽셀로부터 후보 깊이 값까지의 거리에 대해 단조 증가 비용 기울기를, 그리고 임계치 초과인 제1 픽셀로부터의 적어도 하나의 거리에 대한 거리에 대해 감소 비용 기울기를 갖는 것에 직접적으로 대응할 수 있다.

정확한 비용 함수는 특정 실시예에 의존할 것이다. 많은 실시예에서, 비용 함수는 깊이 값과 매칭되는 디스패리티만큼 오프셋된 픽셀들에 대한 멀티-뷰 이미지들의 이미지 값들 사이의 차이에 의존하는 비용 기여를 포함한다. 앞서 설명된 바와 같이, 깊이 맵은 상이한 뷰포인트들로부터 장면을 캡처하는 멀티-뷰 이미지 세트의 이미지(또는 이미지들의 세트)에 대한 맵일 수 있다. 따라서 상이한 이미지들 사이의 동일한 객체의 위치들 사이의 디스패리티가 존재할 것이며, 디스패리티는 객체의 깊이에 의존한다. 따라서, 주어진 깊이 값에 대해, 멀티-뷰 이미지의 2개 이상의 이미지들 사이의 디스패리티는 계산될 수 있다. 따라서, 몇몇 실시예에서, 주어진 후보 깊이 값에 대해, 다른 이미지들에 대한 디스패리티가 결정될 수 있고, 따라서 깊이 값이 올바르다는 가정 하에 제1 픽셀 위치의 다른 이미지들에서의 위치가 결정될 수 있다. 각자의 위치들에서의 하나 이상의 픽셀에 대한, 컬러 또는 밝기 값들과 같은, 이미지 값들이 비교될 수 있고, 적합한 차이 척도가 결정될 수 있다. 깊이 값이 실제로 올바른 경우, 깊이 값이 올바른 깊이가 아닌 경우보다, 이미지 값들이 동일하고, 차이 척도가 작을 가능성이 더 크다. 따라서, 비용 함수는 이미지 값들 사이의 차이의 고려를 포함할 수 있고, 구체적으로 비용 함수는 증가하는 차이 척도에 대한 증가하는 비용을 반영할 수 있다.

그러한 매치 기준을 포함시킴으로써, 접근법은 멀티-뷰 이미지의 이미지들 사이의 디스패리티에 기초한 깊이 추정의 필수 구성요소로서 사용될 수 있다. 깊이 맵이 초기화되고 이어서 점점 더 작은 이미지 값 차이들을 향해 바이어싱하는 업데이트들로 반복하여 처리될 수 있다. 이에 따라 접근법은 상이한 이미지들 사이의 통합된 깊이 결정 및 검색/매치를 효과적으로 제공할 수 있다.

따라서, 접근법에서, 제1 방향으로 더 멀리 떨어진 깊이 값은 제1 방향을 따른 그리고 제1 픽셀에 더 가까운 적어도 하나의 깊이 값보다 높게 바이어싱/가중된다. 몇몇 실시예에서, 이것은 아마도 하나 초과의 방향에 대해 그러할 수 있지만, 많은 실시예에서 그것은 (오직) 하나의 방향에 대해, 또는 예를 들어 1°, 2°, 3°, 5°, 10° 또는 15° 간격 이내와 같은, 작은 간격 이내의 방향들에 대해 그러할 수 있다. 동등하게, 방향은 1°, 2°, 3°, 5°, 10° 또는 15° 이하의 각도 간격의 정도를 갖는 것으로 간주될 수 있다.

이에 따라, 많은 실시예에서, 접근법은, 제1 픽셀로부터의 제2 방향을 따른 임의의 후보 깊이 값에 대해, 제1 픽셀까지의 더 짧은 거리를 갖는 제2 방향을 따른 모든 깊이 값들이 후보 깊이 값들의 세트에 속하게 하는 것이며, 여기서 제2 방향을 따른 비용 함수는 (동일한 모든 다른 파라미터들에 대해) 거리에 따라 단조 증가한다.

대부분의 실시예들에 대해, 제1 픽셀로부터의 제2 방향에 대한 후보 깊이 값들의 세트는 제2 후보 깊이 값으로서, 제2 방향을 따른 적어도 하나의 픽셀의 픽셀 세트가 비용 함수가 제2 후보 깊이 값에 대한 비용 함수를 초과하지 않는 후보 깊이 값들의 세트 중의 후보 깊이 값을 포함하지 않는, 상기 제2 후보 깊이 값을 포함하지 않으며, 제1 픽셀로부터 제2 후보 깊이 값까지의 거리는 제1 픽셀로부터 픽셀 세트까지의 거리보다 크다.

실제로, 전형적으로, 하나의 방향만이 후보 깊이 값들의 세트에 포함되지 않는, 또는 포함되지만 더 높은 비용 함수를 갖는 하나 이상의 픽셀보다 더 멀리 떨어진 후보 깊이 값을 포함한다.

더 멀리 떨어진 깊이 값들/픽셀들이 하나의 방향(잠재적으로 작은 각도 간격을 포함함)으로 제한되는 것의 고려는 많은 실시예에서 특별히 유리한 성능을 허용할 수 있다. 그것은 접근법이 더 멀리 떨어진 픽셀들의 고려를 더 멀리 떨어진 픽셀들이 특히 올바른 깊이를 잠재적으로 반영할 가능성이 있는 상황들로 제약할 수 있는 장면의 특정 특성들에 적응되도록 허용할 수 있다.

특히, 많은 실시예에서, 제1 방향은 깊이 맵/이미지/장면에서 중력 방향에 대응할 수 있다. 본 발명자는, 중력 방향을 따른 더 멀리 떨어진 픽셀들을 고려함으로써, 그러한 깊이 값이 올바를 가능성이 실질적으로 증가되기 때문에 유리한 동작이 달성될 수 있다는 것을 깨달았다.

특히, 본 발명자는, 많은 실제 장면들에서, 객체들이 지면 상에 위치되거나 서 있을 수 있고, 그러한 장면들에서 전체 객체의 깊이는 전형적으로 중력 방향으로 가장 먼 객체의 부분에서의 깊이와 비슷하다는 것을 깨달았다. 본 발명자는 이것이 전형적으로 깊이 맵들에서 대응하는 관계로 변환되며, 여기서 객체에 대한 깊이 값들은 종종 국부적 이웃에서의 깊이 값들보다 깊이 맵에서의 중력 방향으로의 깊이 값들과 더 유사하다는 것을 추가로 깨달았다. 예를 들어, 평평한 표면에 서 있는 사람의 머리에 대해, 깊이는 발의 깊이와 대략 동일할 것이다. 그러나, 머리 주위의 이웃의 깊이는 실질적으로 상이할 수 있는데, 왜냐하면 그것이 먼 배경에 대응하는 픽셀들을 포함할 수 있기 때문이다. 따라서, 이웃 깊이에만 기초한 깊이 처리는 발에 대해서보다 머리에 대해 덜 신뢰성 있고 정확할 가능성이 있다. 그러나, 설명된 접근법은 방법이 이웃뿐만 아니라 중력 방향으로 더 멀리 떨어진 깊이 값들 및 픽셀들을 포함하도록 허용한다. 예를 들어, 사람의 머리에 대한 깊이 값들을 처리할 때, 설명된 접근법은 (특히 몇 번의 반복 후에, 정확한 깊이의 더 정확한 반영일 수 있는) 사람의 발로부터의 깊이 값인 하나의 후보 깊이 값을 야기할 수 있다.

도 7은 달성될 수 있는 개선의 예를 예시한다. 도면은 이미지, 멀리 떨어진 중력 방향 후보들을 고려하지 않는 대응하는 프로세스의 적용 후의 대응하는 깊이 맵, 및 마지막으로 멀리 떨어진 중력 방향 후보들을 고려하는 프로세스의 적용 후의 깊이 맵을 예시한다. 부분들(701 및 703)의 비교는 최좌측 플레이어의 머리가 첫 번째 예에서 잘못된 깊이 값들을 갖지만 두 번째 예에서 적절한 깊이 값들을 갖는 것을 보여준다.

몇몇 실시예에서, 깊이 맵에서의 중력 방향은 미리 결정될 수 있고 제1 방향은 미리 결정될 수 있다. 특히, 많은 전형적인 깊이 맵들 및 이미지들에 대해, 수평 캡처가 수행되고(또는 이미지 및 장면의 수평 방향들을 정렬하기 위해 후처리가 수행되고), 방향은 깊이 맵/이미지에서 수직 방향으로서 미리 결정될 수 있다. 특히, 방향은 이미지에서 위에서 아래로의 방향일 수 있다.

몇몇 실시예에서, 프로세서(203)는 제1 방향을 깊이 맵에서의 중력 방향으로서 결정하도록 배열될 수 있으며, 여기서 깊이 맵에서의 중력 방향은 깊이 맵에 의해 표현되는 장면에서의 중력 방향에 대응하는 방향이다.

몇몇 실시예에서, 그러한 결정은, 이를테면 예를 들어 깊이 맵이 업데이트되는 이미지들을 캡처하는 카메라의 레벨 표시자로부터의, 입력의 평가에 기초할 수 있다. 예를 들어, 스테레오 카메라가 말하자면 수평에 대해 30°의 각도에 있다는 것을 표시하는 데이터가 수신되면, 제1 방향은 깊이 맵 및 이미지들에서 수직 방향에 대해 30°만큼 오프셋된 방향으로서 결정될 수 있다.

많은 실시예에서, 깊이 맵에서의 중력 방향은 깊이 맵 및/또는 이미지들의 분석에 기초할 수 있다. 예를 들어, 중력 방향은 이미지의 중심으로부터, 픽셀의 컬러의 청색의 양에 비례하는 픽셀별 가중을 갖는 평균 가중 이미지 픽셀 위치를 가리키는 벡터와 반대로 선택될 수 있다. 이것은 픽처 내의 파란 하늘이 중력 방향을 결정하는 데 사용되는 간단한 방법이다. 소위 에피폴라 라인(epipolar line)들이 수평이 되도록 입체 이미지 쌍들(또는 멀티 뷰 이미지들)을 교정하는 접근법들이 알려져 있다. 중력은 에피폴라 라인들에 항상 직교하는 것으로 가정될 수 있다.

몇몇 실시예에서, 비용 함수는 장면의 적어도 일부에 대한 깊이 모델의 고려를 포함할 수 있다. 그러한 실시예들에서, 프로세서(203)는 예상 깊이 모델을 결정하기 위해 깊이 모델을 평가하도록 배열될 수 있다. 그렇다면 비용 함수는 깊이 값과 깊이 모델로부터 결정된 모델 깊이 값 사이의 차이에 의존할 수 있다.

깊이 모델은 깊이 맵의 적어도 몇몇 깊이 값들에 깊이 제약들을 부과하는 모델일 수 있으며, 여기서 깊이 제약들은 절대적이거나 상대적일 수 있다. 예를 들어, 깊이 모델은, 깊이 맵 상에 투영될 때, 이미지 객체에 대응하는 픽셀들에 대한 깊이 값들 사이의 대응하는 깊이 관계를 야기할 장면 객체의 3D 모델일 수 있다. 이에 따라, 장면 객체의 절대 깊이는 알려져 있지 않을 수 있지만, 어떤 유형의 객체가 장면 객체에 의해 표현되는지가 알려지면, 깊이 관계가 암시될 수 있다. 다른 예로서, 깊이 모델은 정적 지면 평면 및/또는 정적 배경에 대해 추정된 바와 같은 디스패리티 모델일 수 있거나, 예를 들어 (예를 들어, 경기장에 있는 스포츠 플레이어들을 나타내는) 동적으로 움직이는 평면의 또는 원통형 객체들의 세트에 대한 디스패리티 모델일 수 있다.

이에 따라 비용 함수는 깊이 모델에 따라 후보 깊이 값에 대한 예상 깊이 값을 결정하기 위해 모델을 평가할 수 있다. 이어서 그것은 실제 깊이 값을 예상 값과 비교하고, (적어도 몇몇 깊이 값들에 대해) 차이가 증가함에 따라 단조 증가하는 비용 기여를 결정할 수 있다.

몇몇 실시예에서, 비용 기여는 비대칭일 수 있으며, 이에 따라 깊이 값이 예상 값보다 더 높은지 또는 더 낮은지에 따라 상이할 수 있다. 예를 들어, 모델보다 더 멀리 떨어진 깊이 값들이 모델보다 더 가까운 깊이 값들보다 실질적으로 더 높은 비용 기여를 야기하도록 상이한 함수가 적용될 수 있다. 이것은 업데이트를 모델보다 더 앞서는 깊이들을 향해 바이어싱할 것이다. 그러한 접근법은 모델이 배경 깊이의 표시/추정치를 제공하는 배경 모델일 때 특히 유리할 수 있다. 그러한 경우에, 비용 기여는 깊이 맵이 객체가 깊이 배경보다 더 뒤로서 렌더링될 수 있는 지각적으로 상당한 아티팩트/에러를 야기하는 깊이를 반영하도록 업데이트될 가능성을 더 적게 만들 수 있다.

실제로 몇몇 경우에서, 배경 깊이보다 더 높은 깊이를 나타내는 깊이 값에 대한 비용 기여는 너무 높아서, 이 깊이 값이 선택될 가능성이 매우 낮을 수 있는데, 예를 들어 모델 비교로부터의 비용 기여는 그러한 경우에 매우 높은 값으로(원칙적으로 심지어 무한으로) 설정될 수 있다.

예로서, 모델 평가에 대한 비용 기여는 다음에 의해 주어질 수 있으며

여기서 는 디스패리티로서 표현된 후보 깊이 값이고, 은 디스패리티로서 표현된 모델 깊이 값이고, 및 은 뷰포인트로부터의 거리로서 주어진 대응하는 깊이들이고, 여기서 K는 추정된 깊이 프로파일이 피팅된 모델보다 카메라로부터 더 멀리 떨어지는 것을 회피하기 위해 매우 높은 값으로 설정될 수 있는 설계 파라미터이다. 그 경우에, 피팅된 모델은 그의 최상부에 알고리즘이 깊이 맵에 대한 이미지 객체들을 배치하는 선험적 배경 모델로서의 역할을 한다. 모델 기여는 또한 모델로부터의 큰 디스패리티 편차들에 페널티를 과한다.

몇몇 실시예에서, 깊이 맵 자체로부터의 후보 깊이 값들만이 후보 깊이 값들의 세트에 대해 고려된다. 그러나, 몇몇 실시예에서, 후보 깊이 값들의 세트는 다른 후보 깊이 값을 포함하도록 생성될 수 있다. 앞서 언급된 바와 같이, 후보 깊이 값들의 세트는 깊이 맵을 포함하는 깊이 맵들의 시간적 시퀀스의 다른 깊이 맵으로부터의 하나 이상의 깊이 값을 포함할 수 있다. 구체적으로, 비디오 시퀀스 내의 이전 및/또는 후속 프레임들의 깊이 맵으로부터의 깊이 값이 포함될 수 있다. 몇몇 실시예에서, 후보 깊이 값들의 세트는 제1 픽셀에 대한 깊이 값의 오프셋에 응답하여 결정되는 깊이 값을 포함할 수 있다. 예를 들어, 후보 깊이 값들의 세트는 현재 픽셀에 대한 깊이 값에 대한 미리 결정된 오프셋을 더함으로써 생성되는 깊이 값, 및/또는 현재 픽셀에 대한 깊이 값에 대한 미리 결정된 오프셋을 뺌으로써 생성되는 깊이 값을 포함할 수 있다.

상이한 유형들의 깊이 값들의 포함은 많은 응용들 및 시나리오들에서 개선된 성능을 제공할 수 있으며, 특히 종종 더 적은 제약으로 더 실질적인 업데이트를 허용할 수 있다. 게다가, 상이한 유형들의 깊이 값들은 상이한 유형들이 현재 픽셀에 대한 올바른 깊이를 표시할 잠재적 가능성을 고려하는 비용 함수를 설계함으로써 포함될 수 있다. 구체적으로, 비용 함수는 깊이 값의 유형에 의존할 수 있고, 이에 따라 비용 함수가 어떤 유형의 깊이 값에 적용되는지를 고려할 수 있다. 보다 구체적으로, 비용 함수는 깊이 값이 깊이 맵의 깊이 값인지; (예를 들어, 바로 이웃에 있는) 거리 임계치보다 더 가까운 깊이 맵의 깊이 값인지; 거리 임계치보다 더 멀리 떨어진 깊이 맵의 깊이 값(예를 들어, 중력 방향을 따른 더 멀리 떨어진 픽셀)인지; 깊이 맵을 포함하는 깊이 맵들의 시간적 시퀀스의 다른 깊이 맵으로부터의 깊이 값인지; 깊이 맵에 의해 표현되는 장면과는 독립적인 깊이 값인지; 또는 제1 픽셀에 대한 깊이 값의 오프셋에 응답하여 결정되는 깊이 값인지를 고려할 수 있다. 물론, 많은 실시예에서 이들의 서브세트만이 고려될 것이다.

예로서, 후보 깊이 값들의 세트 중의 각각의 후보 깊이 값에 대해 다음의 비용 함수가 평가될 수 있으며:

,

여기서 는 현재 뷰와 하나 이상의 다른 뷰의 매치 에러에 의존하는 비용이고, 는 공간 평활도를 가중할 뿐만 아니라 일정한 컬러 강도를 갖는 영역들 내의 깊이 전이들에 페널티를 과한다. 그러한 비용 값들/기여들을 결정하기 위한 다수의 상이한 접근법들이 기술자에게 공지되어 있으며, 간략함을 위해 이들은 더 설명되지 않을 것이다. 비용 성분 은 설명된 모델 비용 기여일 수 있으며, 선험적인 알려진 또는 추정된 디스패리티 모델로부터의 디스패리티의 편차를 반영할 수 있다. 는, 예를 들어 그것이 동일한 깊이 맵, 시간적 이웃 깊이 맵 등으로부터의 것인지와 같은, 깊이 값의 유형에 의존하는 비용 기여를 도입할 수 있다.

예로서, 는 다음에 의해 주어질 수 있으며:

여기서 모든 후보들에 걸쳐 합산된 후보 비용은 1일 수 있다:

.

별개의 후보들에 대한 전형적인 비용 값의 예는 다음과 같을 수 있다:

국부적 이웃 후보들에 대한 비용은 전형적으로 작은데, 그 이유는 그러한 이웃들이 매우 유망한 양호한 예측자들이기 때문이다. 시간적 이웃 후보들에 대해서도 마찬가지이지만, 빠르게 이동하는 객체들에 대한 에러들을 회피하기 위해 비용은 약간 더 높다. 오프셋 업데이트에 대한 비용은 잡음의 도입을 회피하기 위해 높아야 한다. 마지막으로, 멀리 떨어진 (중력) 후보의 비용은 전형적으로 보통의 국부적 이웃 후보의 비용보다 더 높은데, 그 이유는 공간 거리가 더 크기 때문이다. 상이한 하위 위치들(Δ에 대한 상이한 값들)에 있는 다수의 그러한 후보들이 사용될 수 있다. 이 경우에, 처리되고 있는 픽셀로부터의 증가하는 거리 Δ의 함수로서 비용을 증가시킬 수 있다.

위의 설명은 명료함을 위해 상이한 기능 회로들, 유닛들 및 프로세서들을 참조하여 본 발명의 실시예들을 설명하였음이 인식될 것이다. 그러나, 본 발명으로부터 벗어남이 없이 상이한 기능 회로들, 유닛들 또는 프로세서들 간의 기능의 임의의 적합한 분산이 사용될 수 있음이 명백할 것이다. 예를 들어, 별개의 프로세서들 또는 컨트롤러들에 의해 수행되도록 예시된 기능이 동일한 프로세서 또는 컨트롤러에 의해 수행될 수 있다. 따라서, 특정 기능 유닛들 또는 회로들에 대한 참조들은 오로지 엄격한 논리적 또는 물리적 구조 또는 조직을 나타내기보다는 설명된 기능을 제공하기 위한 적합한 수단에 대한 참조들로 간주되어야 한다.

본 발명은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합을 포함한 임의의 적합한 형태로 구현될 수 있다. 본 발명은 선택적으로 하나 이상의 데이터 프로세서 및/또는 디지털 신호 프로세서 상에서 실행되는 컴퓨터 소프트웨어로서 적어도 부분적으로 구현될 수 있다. 본 발명의 실시예의 요소들 및 컴포넌트들은 임의의 적합한 방식으로 물리적으로, 기능적으로 그리고 논리적으로 구현될 수 있다. 실제로 기능은 단일 유닛에서, 복수의 유닛에서, 또는 다른 기능 유닛들의 일부로서 구현될 수 있다. 그렇기 때문에, 본 발명은 단일 유닛에서 구현될 수 있거나, 상이한 유닛들, 회로들 및 프로세서들 간에 물리적으로 그리고 기능적으로 분산될 수 있다.

본 발명이 몇몇 실시예들과 관련하여 설명되었지만, 본 발명은 본 명세서에 기재된 특정 형태로 제한되도록 의도되지 않는다. 오히려, 본 발명의 범위는 첨부된 청구항들에 의해서만 제한된다. 또한, 소정 특징이 특정 실시예들과 관련하여 설명되는 것처럼 보일 수 있지만, 당업자는 설명된 실시예들의 다양한 특징들이 본 발명에 따라 조합될 수 있음을 인식할 것이다. 청구항들에서, 용어 '포함하는'은 다른 요소들 또는 단계들의 존재를 배제하지 않는다.

또한, 개별적으로 열거되지만, 복수의 수단, 요소, 회로 또는 방법 단계는 예를 들어 단일 회로, 유닛 또는 프로세서에 의해 구현될 수 있다. 또한, 개개의 특징들이 상이한 청구항들에 포함될 수 있지만, 이들은 아마도 유리하게 조합될 수 있으며, 상이한 청구항들에의 포함은 특징들의 조합이 실현 가능하지 않고/않거나 유리하지 않다는 것을 암시하지 않는다. 또한 하나의 카테고리의 청구항들에의 소정 특징의 포함은 이 카테고리로의 제한을 암시하는 것이 아니라, 오히려 그 특징이 적절한 바에 따라 다른 청구항 카테고리들에 동등하게 적용될 수 있음을 나타낸다. 또한, 청구항들에서의 특징들의 순서는 특징들이 작용되어야 하는 임의의 특정 순서를 암시하지 않으며, 특히 방법 청구항에서의 개별 단계들의 순서는 단계들이 이 순서대로 수행되어야 함을 암시하지 않는다. 오히려, 단계들은 임의의 적합한 순서로 수행될 수 있다. 또한, 단수형 언급은 복수를 배제하지 않는다. 이에 따라 "부정관사(a, an)", "제1", "제2" 등에 대한 언급은 복수를 배제하지 않는다. 청구항들에서의 참조 부호들은 단지 명료화 예로서 제공되며, 어떤 방식으로도 청구항들의 범위를 제한하는 것으로 해석되지 않아야 한다.

Claims (15)

1. 깊이 맵(depth map)을 처리하는 방법으로서,
   깊이 맵을 수신하는 단계;
   상기 깊이 맵의 적어도 제1 픽셀에 대해,
   상기 제1 픽셀 이외의 상기 깊이 맵의 다른 픽셀들에 대한 깊이 값들을 포함하는 후보 깊이 값들의 세트를 결정하고(105),
   비용 함수에 응답하여 상기 후보 깊이 값들의 세트 내의 상기 후보 깊이 값들 각각에 대한 비용 값을 결정하고(107),
   상기 후보 깊이 값들의 세트에 대한 상기 비용 값들에 응답하여 상기 후보 깊이 값들의 세트로부터 제1 깊이 값을 선택하고(109),
   상기 제1 깊이 값에 응답하여 상기 제1 픽셀에 대한 업데이트된 깊이 값을 결정하는(111)
   단계들을 수행하는 단계를 포함하며,
   상기 후보 깊이 값들의 세트는 상기 제1 픽셀로부터의 제1 방향을 따른 제1 후보 깊이 값을 포함하고, 상기 제1 방향을 따라 적어도 하나의 픽셀의 제1 개재 픽셀 세트는 상기 비용 함수가 상기 제1 후보 깊이 값에 대한 상기 비용 함수를 초과하지 않는 상기 후보 깊이 값들의 세트 중의 후보 깊이 값을 포함하지 않고, 상기 제1 픽셀로부터 상기 제1 후보 깊이 값까지의 거리는 상기 제1 픽셀로부터 상기 제1 개재 픽셀 세트까지의 거리보다 큰, 깊이 맵을 처리하는 방법.
2. 제1항에 있어서, 상기 제1 방향을 따른 상기 비용 함수는 거리 임계치 미만인 거리에 대한 상기 제1 픽셀로부터의 거리의 함수로서의 단조 증가 비용 기울기, 및 임계치 초과인 상기 제1 픽셀로부터의 적어도 하나의 거리에 대한 상기 제1 픽셀로부터의 거리의 함수로서의 감소 비용 기울기를 갖는, 깊이 맵을 처리하는 방법.
3. 제1항에 있어서, 상기 제1 개재 픽셀 세트는 깊이 값들이 상기 후보 값들의 세트에 포함되지 않는 픽셀들의 세트인, 깊이 맵을 처리하는 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 비용 함수는 상기 비용 함수가 적용되는 상기 후보 깊이 값과 매칭되는 디스패리티(disparity)만큼 오프셋된 픽셀들에 대한 멀티-뷰 이미지들의 이미지 값들 사이의 차이에 의존하는 비용 기여를 포함하는, 깊이 맵을 처리하는 방법.
5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 방법은 상기 제1 방향을 상기 깊이 맵에 대한 중력 방향으로서 결정하는 단계를 추가로 포함하며, 상기 중력 방향은 상기 깊이 맵에 의해 표현되는 장면에서의 중력 방향과 매칭되는 상기 깊이 맵에서의 방향인, 깊이 맵을 처리하는 방법.
6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 제1 방향은 상기 깊이 맵에서의 수직 방향인, 깊이 맵을 처리하는 방법.
7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 방법은 상기 깊이 맵에 의해 표현되는 장면의 적어도 일부에 대한 깊이 모델을 결정하는 단계를 추가로 포함하며, 깊이 값에 대한 상기 비용 함수는 상기 깊이 값과 상기 깊이 모델로부터 결정된 모델 깊이 값 사이의 차이에 의존하는, 깊이 맵을 처리하는 방법.
8. 제7항에 있어서, 상기 비용 함수는 상기 깊이 값이 상기 모델 깊이 값을 초과하는지 또는 상기 모델 깊이 값 미만인지에 대해 비대칭인, 깊이 맵을 처리하는 방법.
9. 제7항 또는 제8항에 있어서, 상기 깊이 모델은 상기 장면에 대한 배경 모델인, 깊이 맵을 처리하는 방법.
10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    깊이 맵들의 시간적 시퀀스의 다른 깊이 맵으로부터의 깊이 값으로서, 상기 시퀀스는 상기 깊이 맵을 포함하는, 상기 깊이 값,
    상기 깊이 맵에 의해 표현되는 장면과는 독립적인 깊이 값, 및
    상기 제1 픽셀에 대한 깊이 값의 오프셋에 응답하여 결정되는 깊이 값
    중 적어도 하나의 깊이 값을 포함하여, 상기 깊이 맵으로부터의 것이 아닌 상기 후보 깊이 값들의 세트 내의 후보 깊이 값들을 포함시키는 단계를 추가로 포함하는, 깊이 맵을 처리하는 방법.
11. 제1항 내지 제10항 중 어느 한 항에 있어서, 깊이 값에 대한 상기 비용 함수는 상기 깊이 값의 유형에 의존하며, 상기 유형은,
    상기 깊이 맵의 깊이 값,
    거리 임계치보다 더 가까운 상기 깊이 맵의 깊이 값,
    거리 임계치보다 더 멀리 떨어진 상기 깊이 맵의 깊이 값,
    상기 깊이 맵을 포함하는 깊이 맵들의 시간적 시퀀스 중의 다른 깊이 맵으로부터의 깊이 값,
    상기 제1 깊이 값의 깊이 값에 대해 장면 독립적 깊이 값 오프셋을 갖는 깊이 값,
    상기 깊이 맵에 의해 표현되는 장면과는 독립적인 깊이 값, 및
    상기 제1 픽셀에 대한 깊이 값의 오프셋에 응답하여 결정되는 깊이 값
    중 적어도 하나를 포함하는 유형들의 그룹 중의 하나인, 깊이 맵을 처리하는 방법.
12. 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 방법은 상기 깊이 맵의 복수의 픽셀들을, 상기 복수의 픽셀들로부터 새로운 제1 픽셀을 반복하여 선택하고 각각의 새로운 제1 픽셀에 대해 상기 단계들을 수행함으로써, 처리하도록 배열되는, 깊이 맵을 처리하는 방법.
13. 제1항에 있어서, 상기 제1 픽셀로부터의 제2 방향에 대한 상기 후보 깊이 값들의 세트는 제2 후보 깊이 값으로서, 상기 제2 방향을 따른 적어도 하나의 픽셀의 픽셀 세트가 상기 비용 함수가 상기 제2 후보 깊이 값에 대한 상기 비용 함수를 초과하지 않는 상기 후보 깊이 값들의 세트 중의 후보 깊이 값을 포함하지 않는, 상기 제2 후보 깊이 값을 포함하지 않으며, 상기 제1 픽셀로부터 상기 제2 후보 깊이 값까지의 거리는 상기 제1 픽셀로부터 상기 픽셀 세트까지의 거리보다 큰, 깊이 맵을 처리하는 방법.
14. 깊이 맵을 처리하기 위한 장치로서,
    깊이 맵을 수신하기 위한 수신기(201);
    상기 깊이 맵을 처리하기 위한 프로세서(203)를 포함하며, 상기 처리는,
    상기 깊이 맵의 적어도 제1 픽셀에 대해,
    상기 제1 픽셀 이외의 상기 깊이 맵의 다른 픽셀들에 대한 깊이 값들을 포함하는 후보 깊이 값들의 세트를 결정하고(105),
    비용 함수에 응답하여 상기 후보 깊이 값들의 세트 내의 상기 후보 깊이 값들 각각에 대한 비용 값을 결정하고(107),
    상기 후보 깊이 값들의 세트에 대한 상기 비용 값들에 응답하여 상기 후보 깊이 값들의 세트로부터 제1 깊이 값을 선택하고(109),
    상기 제1 깊이 값에 응답하여 상기 제1 픽셀에 대한 업데이트된 깊이 값을 결정하는(111)
    단계들을 수행하는 것을 포함하며,
    상기 후보 깊이 값들의 세트는 상기 제1 픽셀로부터의 제1 방향을 따른 제1 후보 깊이 값을 포함하고, 상기 제1 방향을 따라 적어도 하나의 픽셀의 제1 개재 픽셀 세트는 상기 비용 함수가 상기 제1 후보 깊이 값에 대한 상기 비용 함수를 초과하지 않는 상기 후보 깊이 값들의 세트 중의 후보 깊이 값을 포함하지 않고, 상기 제1 픽셀로부터 상기 제1 후보 깊이 값까지의 거리는 상기 제1 픽셀로부터 상기 제1 개재 픽셀 세트까지의 거리보다 큰, 깊이 맵을 처리하기 위한 장치.
15. 컴퓨터 프로그램 제품으로서, 상기 프로그램이 컴퓨터 상에서 실행될 때 제14항의 단계들 모두를 수행하도록 구성된 컴퓨터 프로그램 코드 수단을 포함하는, 컴퓨터 프로그램 제품.