KR102490985B1

KR102490985B1 - 깊이 맵을 처리하기 위한 장치 및 방법

Info

Publication number: KR102490985B1
Application number: KR1020197034752A
Authority: KR
Inventors: 크리스티안 바레캠프; 윌헬무스 헨드리쿠스 알폰수스 브룰스
Original assignee: 코닌클리케 필립스 엔.브이.
Priority date: 2017-04-26
Filing date: 2018-04-26
Publication date: 2023-01-25
Also published as: TWI786107B; EP3396949A1; US20200077071A1; BR112019022227A2; US11172183B2; WO2018197630A1; CN110678905A; JP2020518058A; JP7159198B2; KR20200002028A; TW201907364A; EP3616399B1; EP3616399A1; RU2019137953A; CN110678905B

Abstract

깊이 맵을 처리하기 위한 장치는 입력 깊이 맵을 수신하는 수신기(203)를 포함한다. 제1 프로세서(205)는 입력 깊이 맵의 픽셀들을 최하부에서 최상부로의 방향으로 처리함으로써 제1 처리된 깊이 맵을 생성한다. 제1 픽셀의 처리는 제1 처리된 깊이 맵에 대한 제1 픽셀에 대한 깊이 값을 입력 깊이 맵에서의 제1 픽셀에 대한 깊이 값, 및 제1 픽셀 아래에 있는 제1 픽셀 세트에 대한 제1 처리된 깊이 맵에서의 깊이 값들에 응답하여 결정된 깊이 값 중 뒤쪽으로 가장 먼 깊이 값으로서 결정하는 것을 포함한다. 이 접근법은 깊이 맵들의 일관성을, 그리고 특히 상이한 깊이 큐들을 조합함으로써 생성된 깊이 맵들에 대해 개선할 수 있다.

Description

깊이 맵을 처리하기 위한 장치 및 방법

본 발명은 깊이 맵(depth map)을 처리하기 위한 장치 및 방법에 관한 것이며, 특히 복수의 깊이 큐(depth cue)를 조합함으로써 생성된 깊이 맵의 처리에 관한 것이지만, 전적으로 이것에만 관한 것은 아니다.

전통적으로, 이미지들의 기술적 처리 및 사용은 2차원 이미징에 기초했지만, 점점 더 이미지 처리에서 3차원이 명백하게 고려되고 있다.

예를 들어, 관찰되는 장면의 상이한 뷰(view)들을 관찰자의 두 눈에 제공함으로써 관찰 경험에 제3 차원을 추가하는 3차원(3D) 디스플레이들이 개발되었다. 이것은 표시되는 2개의 뷰를 분리하기 위한 안경을 사용자가 착용하게 함으로써 달성될 수 있다. 그러나, 이것은 사용자에게 불편한 것으로 간주될 수 있기 때문에, (렌티큘러 렌즈(lenticular lens)들 또는 배리어(barrier)들과 같은) 디스플레이에 있는 수단을 사용하여 뷰들을 분리하고, 그들이 개별적으로 사용자의 눈들에 도달할 수 있는 상이한 방향들로 그들을 전송하는 무안경 입체 디스플레이(autostereoscopic display)들을 사용하는 것이 많은 시나리오에서 바람직하다. 입체 디스플레이들의 경우 2개의 뷰가 요구되는 반면, 무안경 입체 디스플레이들은 전형적으로 더 많은 뷰(이를테면 예를 들어 9개의 뷰)를 필요로 한다.

많은 실시예에서 새로운 관찰 방향들에 대한 뷰 이미지들을 생성하는 것이 바람직할 수 있다. 이미지 및 깊이 정보에 기초하여 그러한 새로운 뷰 이미지들을 생성하기 위한 다양한 알고리즘이 공지되어 있지만, 이들은 제공된(또는 도출된) 깊이 정보의 정확도에 크게 의존하는 경향이 있다.

실제로, 3차원 이미지 정보는 종종 장면에 대한 상이한 뷰 방향들에 대응하는 복수의 이미지에 의해 제공된다. 특히, 영화 또는 텔레비전 프로그램과 같은 비디오 콘텐츠는 점점 더 얼마간의 3D 정보를 포함하도록 생성된다. 그러한 정보는 약간 오프셋된 카메라 위치들로부터 2개의 동시 이미지를 캡처하는 전용 3D 카메라들을 사용하여 캡처될 수 있다.

그러나, 많은 응용에서, 제공된 이미지들은 원하는 방향들에 직접 대응하지 않을 수 있거나, 더 많은 이미지가 필요할 수 있다. 예를 들어, 무안경 입체 디스플레이들의 경우, 2개 초과의 이미지가 필요하며, 실제로 종종 9개 내지 26개의 뷰 이미지가 사용된다.

상이한 뷰 방향들에 대응하는 이미지들을 생성하기 위해, 뷰 포인트 시프팅 처리가 이용될 수 있다. 이것은 전형적으로 관련 깊이 정보와 함께 단일 뷰 방향에 대한 이미지를 사용하는 뷰 시프팅 알고리즘에 의해 수행된다. 그러나, 현저한 아티팩트들 없이 새로운 뷰 이미지들을 생성하기 위해, 제공된 깊이 정보가 충분히 정확해야 한다.

다른 예시적인 응용은 사용자에 의한 배향의 움직임 및 변화와 일치하도록 가상 현실 헤드셋에 대해 우안 및 좌안 뷰들이 연속적으로 생성될 수 있는 가상 현실 경험을 포함한다. 동적 가상 현실 뷰들의 그러한 생성은 많은 경우에 관련 깊이 정보를 제공하는 연관된 깊이 맵과 조합하여 광 강도 이미지에 기초할 수 있다.

새로운 뷰들로부터의 제시된 3차원 이미지/이미지들의 품질은 수신된 이미지 데이터의 품질에 의존하고, 특히 3차원 인식은 수신된 깊이 정보의 품질에 의존한다. 그러나, 많은 실제 응용 및 시나리오에서 제공된 깊이 정보는 최적이 아닌 경향이 있다. 실제로, 많은 실제 응용 및 사용 시나리오에서, 깊이 정보는 원하는 만큼 정확하지 않을 수 있고, 최적이 아닌 깊이 맵으로부터 기인할 수 있는 에러, 아티팩트 및/또는 노이즈가 생성된 이미지에 있을 수 있다.

많은 응용에서, 캡처된 이미지로부터 결정되는 깊이 큐로부터 현실 세계 장면을 기술하는 깊이 정보가 추정될 수 있다. 예를 들어, 깊이 정보는 상이한 뷰 방향들에 대한 뷰 이미지들을 비교하는 것에 의해 깊이 값들을 추정하고 추출함으로써 생성될 수 있다.

예를 들어, 많은 응용에서, 3차원 장면들은 약간 다른 위치들에서 2개의 카메라를 사용하여 입체 이미지들로서 캡처된다. 이어서 2개의 이미지 내의 대응하는 이미지 객체들 간의 디스패리티들을 추정함으로써 특정 깊이 값들이 생성될 수 있다. 그러나, 그러한 깊이 추출 및 추정은 문제가 있으며, 비이상적인 깊이 값들을 초래하는 경향이 있다. 이것은 다시 아티팩트들 및 저하된 3차원 이미지 품질을 초래할 수 있다.

깊이 맵을 생성하는 데 사용될 수 있는 다른 깊이 큐는 예를 들어 이미지들의 시퀀스에서 연속된 이미지들 간의 상대적 모션을 포함한다. 예를 들어, 병진하는 카메라의 경우, 카메라에 더 가까운 객체는 이미지에서 더 큰 상대적 움직임을 나타내고, 이에 따라 시퀀스에서 상이한 이미지들 간의 더 큰 변위를 나타낼 것이다. 이는 상이한 뷰 포인트들로부터의 다수의 동시 이미지에 의존함이 없이 깊이 큐를 생성하는 데 사용될 수 있다. 이 접근법은 전형적으로 장면에서의 객체의 움직임에 대한 보상을 포함할 것이다.

주어진 장면/이미지의 깊이 속성들에 대한 가정을 적용함으로써 다른 가능한 깊이 큐가 달성될 수 있다. 예를 들어, 예컨대 풍경에 대응하는 대부분의 이미지의 경우, 이미지에서 하위에 있는 픽셀들은 이미지에서 상위에 있는 픽셀들보다 더 가까운 경향이 있다.

유감스럽게도, 모든 깊이 추정 접근법은 최적이 아닌 성능을 갖고 최적이 아닌 깊이 추정을 생성하는 경향이 있다. 특정한 문제는 생성된 깊이 맵들이 항상 원하는 만큼 일관되지는 않을 수 있고 예를 들어 장면에서의 깊이 변화를 정확하게 반영하지 못하는 이미지 객체들 간의 깊이 불연속을 나타낼 수 있다는 것이다.

그러한 불일치는 깊이 맵이 복수의 상이한 깊이 큐에 기초하여 생성되는 시스템에 대해 특히 중요할 수 있다. 상이한 깊이 추정들 및 깊이 큐들은 상이한 이미지 객체들에 대해 상이한 성능 및 정확도를 갖는 경향이 있다. 예를 들어, 미리 결정된 깊이 가정에 기초한 깊이 추정은 배경에 대응하는 이미지의 영역에 적합할 수 있는 반면, 예를 들어 모션 추정 기반의 깊이 큐는 전경 이미지 객체에 대해 더 나은 결과를 제공한다. 따라서, 다수의 큐에 기초하여 깊이 맵을 생성하는 것이 종종 유리하지만, 이것은 상이한 큐들 간의 일관성 결여로 인해 저하를 초래하는 경향이 있다.

대응하는 이미지들에서의 시각 정보에 기초하여 깊이 맵을 처리함으로써 그러한 깊이 불일치를 해소하는 것이 제안되었다. 그러나, 그러한 처리는 광 강도 도메인으로부터 깊이 도메인으로의 교차 간섭에 의해 추가 아티팩트를 도입할 위험이 있다. 또한, 그것은 상당한 추가적인 계산 복잡성 및 리소스 요건을 초래하는 경향이 있다. 계산 리소스는 많은 이미지 처리 디바이스 및 시스템에 대한 제한 요인이기 때문에, 이것은 중요한 문제일 수 있다.

따라서, 깊이 정보를 생성하기 위한 개선된 접근법이 유리할 것이며, 특히 증가된 유연성, 용이해진 구현, 감소된 복잡성, 감소된 리소스 요건, 시각적 변화에 대한 감소된 감도, 개선된 3D 경험 및/또는 개선된 깊이 정보를 허용하는 접근법이 유리할 것이다.

따라서, 본 발명은 전술한 불리한 점들 중 하나 이상을 단독으로 또는 임의의 조합으로 바람직하게 완화, 경감 또는 제거하고자 한다.

본 발명의 태양에 따르면 깊이 맵을 처리하기 위한 장치가 제공되며, 장치는 입력 깊이 맵을 수신하기 위한 수신기; 입력 깊이 맵의 복수의 제1 픽셀들을 최하부에서 최상부로의 방향으로 처리함으로써 제1 처리된 깊이 맵을 생성하기 위한 제1 프로세서를 포함하며, 복수의 제1 픽셀들 중 각각의 제1 픽셀의 처리는 제1 처리된 깊이 맵에 대한 제1 픽셀에 대한 깊이 값을 입력 깊이 맵에서의 제1 픽셀에 대한 깊이 값, 및 제1 픽셀 아래에 있는 제1 픽셀 세트에 대한 제1 처리된 깊이 맵에서의 깊이 값들에 응답하여 결정된 깊이 값 중 뒤쪽으로 가장 먼 깊이 값으로서 결정하는 것을 포함한다.

본 발명은 깊이 맵을 개선하여, 개선된 3차원 이미지 처리 및 인식 렌더링 품질을 야기할 수 있다. 특히, 이 접근법은 많은 실시예 및 시나리오에서, 예를 들어 모션 기반 깊이 큐들 및 미리 결정된 깊이 프로파일 깊이 큐들의 조합들과 같은, 상이한 깊이 큐들의 조합들에 기초하여 깊이 맵들에 대한 일관성을 개선 및 증가시키는 것을 비롯해, 더 일관된 깊이 맵을 제공할 수 있다. 특히, 이 접근법은 많은 시나리오에서 지면 또는 바닥 상에 위치된 객체들이 부정확한 깊이 맵에 기초하여 렌더링될 때 그 위에 떠 있는 것처럼 보일 수 있는 자주 직면하는 아티팩트들을 제거하거나 감소시킬 수 있다.

이 접근법은 특히 복잡성이 비교적 낮고 리소스 요구가 낮은 접근법을 사용하여 깊이 맵들을 개선할 수 있다. 이 접근법은 예를 들어 전반적인 일관성을 증가시키기에 충분한 복잡성이 낮은 국부적인 결정들을 갖는 순차적 비트 스캐닝 및 처리를 허용할 수 있다.

픽셀이 다른 픽셀보다 깊이 맵의 최하부에 더 가까이 있다면 픽셀은 깊이 맵에서 그러한 다른 픽셀 아래에 있다. 전형적으로, 깊이 맵은 (수평) 행(row)들 및 (수직) 열(column)들의 어레이일 수 있다. 그러한 시나리오들에서, 픽셀이 다른 픽셀보다 최하부에 더 가까운 행에 있다면 픽셀은 그러한 다른 픽셀 아래에 있다.

깊이 값 세트 중 뒤쪽으로 가장 먼 깊이 값은 (예를 들어, 공칭 또는 가상) 기준 카메라 또는 뷰포인트 위치까지의 가장 먼 거리를 갖는 위치를 반영하는 깊이 값일 수 있다. 깊이 값 세트 중 뒤쪽으로 가장 먼 깊이 값은 배경에 가장 가까운 위치를 반영하는 깊이 값일 수 있다. 깊이 값 세트 중 뒤쪽으로 가장 먼 깊이 값은 관찰 위치로부터의 최대 깊이/거리를 반영하는 깊이 값일 수 있다. 뒤쪽으로 가장 먼 깊이 값은 뒤/배경 쪽으로 가장 먼(뷰포인트로부터 가장 먼) 깊이를 나타내는 깊이 값일 수 있다.

제1 픽셀 세트는 픽셀들의 인접한 영역일 수 있다. 복수의 제1 픽셀은 깊이 맵에서 인접한 영역을 형성할 수 있다.

최하부에서 최상부로의 방향은 주어진 픽셀(구체적으로 제1 픽셀)의 처리가 그 주어진 (제1) 픽셀에 대한 제1 세트의 픽셀들이 이미 처리되었을 때에만 수행되는 것에 의해 달성될 수 있다. 장치는 깊이 맵(들)의 모든 픽셀을 반복적으로 처리하도록 배열될 수 있다.

본 발명의 선택적인 특징에 따르면, 제1 픽셀 세트는 제1 픽셀의 행 바로 아래의 행의 픽셀들을 포함한다.

이것은 많은 실시예 및 시나리오에서 유리한 성능을 제공할 수 있다. 몇몇 실시예에서, 제1 픽셀 세트는 제1 픽셀의 행 바로 아래의 행의 픽셀들만을 포함할 수 있다.

본 발명의 선택적인 특징에 따르면, 제1 픽셀 세트는 20개 이하의 픽셀을 포함한다.

이것은 많은 실시예 및 시나리오에서 유리한 성능을 제공할 수 있다. 이 접근법은 각각의 주어진 픽셀에 대해 적은 수의 픽셀만이 고려될 것을 요구하여서 계산 요건을 감소시키면서 깊이 맵의 효과적인 개선을 제공할 수 있다.

몇몇 실시예에서, 제1 픽셀 세트는 유리하게는 50개, 30개, 15개, 10개 또는 심지어 5개 이하의 픽셀을 포함할 수 있다. 몇몇 실시예에서, 제1 픽셀 세트는 유리하게는 20개, 15개, 10개, 5개 또는 3개 이상의 픽셀을 포함할 수 있다.

본 발명의 선택적인 특징에 따르면, 장치는 제1 처리된 깊이 맵에서의 복수의 제2 픽셀들을 최상부에서 최하부로의 방향으로 처리함으로써 제2 처리된 깊이 맵을 생성하기 위한 제2 프로세서를 추가로 포함하며, 제2 처리된 깊이 맵에서의 각각의 제2 픽셀에 대한 깊이 값을 생성하는 것은, 깊이 스텝 기준(depth step criterion)이 충족되는 경우, 제2 픽셀에 대한 제2 처리된 깊이 맵에서의 깊이 값을 제2 픽셀에 대한 제3 픽셀에 대한 제1 처리된 맵의 깊이 값으로서 설정하고(제3 픽셀은 제2 픽셀 위에 있다), 그렇지 않은 경우, 제2 픽셀에 대한 제2 처리된 깊이 맵에서의 깊이 값을 제1 처리된 깊이 맵에서의 제2 픽셀에 대한 깊이 값으로서 설정하는 것을 포함하며, 깊이 스텝 기준은 입력 깊이 맵 및 제1 처리된 깊이 맵 둘 모두에서의 깊이 스텝들에 의존한다.

이는 많은 실시예에서 성능을 개선할 수 있고, 특히 일관성을 개선하고 제1 프로세서에 의해 도입되는 잠재적 에러, 아티팩트 또는 부정확을 해소할 수 있다.

깊이 스텝은 제2 픽셀과 다른 픽셀 간의 차이(구체적으로 스텝 차이)일 수 있다. 깊이 스텝은 깊이 변화일 수 있다. 깊이 스텝 기준은 깊이 변화(깊이 스텝)가 임계치를 초과할 것을 요구할 수 있다.

본 발명의 선택적인 특징에 따르면, 깊이 스텝 기준은 입력 깊이 맵에서의 깊이 스텝의 절대 값이 제1 임계치보다 높지 않고 제1 처리된 이미지에서의 뒤쪽 깊이 스텝이 제2 임계치보다 낮지 않을 것을 요구한다.

뒤쪽 깊이 스텝은 제2 픽셀과 다른 픽셀 간의 깊이 차이일 수 있으며, 여기서 깊이는 다른 픽셀에 대해서보다 제2 픽셀에 대해 더 뒤에 있다. 뒤쪽 깊이 스텝은 뒤/배경 쪽으로의 깊이 스텝/변화일 수 있다(즉, 뷰 위치로부터의 깊이/거리를 증가시키는 것).

본 발명의 선택적인 특징에 따르면, 깊이 스텝 기준은 제3 픽셀과 제2 픽셀 위의 픽셀 간의 입력 깊이 맵에서의 절대 깊이 스텝이 제3 임계치보다 높지 않을 요건을 포함한다.

본 발명의 선택적인 특징에 따르면, 깊이 스텝 기준은 제2 픽셀과 제2 픽셀 위의 픽셀 간의 입력 이미지에서의 최대 절대 깊이 스텝이 제4 임계치보다 높지 않을 요건을 포함한다.

본 발명의 선택적인 특징에 따르면, 깊이 스텝 기준은 제3 픽셀에서 제2 픽셀로의 제1 처리된 이미지에서의 뒤쪽 깊이 스텝이 제5 임계치보다 낮지 않을 요건을 포함한다.

본 발명의 선택적인 특징에 따르면, 제2 프로세서는 제2 픽셀의 행 바로 위의 행에 포함된 제2 픽셀 세트로부터 제3 픽셀을 선택하도록 배열된다.

이것은 많은 시나리오에서 특히 유리한 성능을 제공할 수 있다. 많은 실시예에서, 제2 픽셀 세트는 3개, 5개, 7개, 10개, 15개, 20개, 30개 또는 50개 이하의 픽셀 및/또는 3개, 5개, 7개, 10개, 15개, 또는 20개 이상의 픽셀을 포함할 수 있다.

본 발명의 선택적인 특징에 따르면, 제1 프로세서는 제1 픽셀 세트의 깊이 값들 중 최대 값에 기초하여 제1 픽셀에 대한 제1 처리된 깊이 맵의 깊이 값을 결정하도록 배열된다.

이것은 많은 시나리오에서 특히 유리한 성능을 제공할 수 있다.

본 발명의 선택적인 특징에 따르면, 장치는 제2 처리된 깊이 맵에서의 복수의 제4 픽셀들을 최하부에서 최상부로의 방향으로 처리함으로써 제3 처리된 깊이 맵을 생성하기 위한 제3 프로세서(209)를 추가로 포함하며, 제3 처리된 깊이 맵에서의 복수의 제4 픽셀들 중 각각의 제4 픽셀에 대한 깊이 값을 생성하는 것은, 깊이 스텝 기준이 충족되는 경우, 제4 픽셀에 대한 제3 처리된 깊이 맵에서의 깊이 값을 제4 픽셀에 대한 제5 픽셀에 대한 제2 처리된 맵의 깊이 값으로서 설정하고(제5 픽셀은 제4 픽셀 아래에 있다), 그렇지 않은 경우, 제4 픽셀에 대한 제3 처리된 깊이 맵에서의 깊이 값을 제2 처리된 깊이 맵에서의 제4 픽셀에 대한 깊이 값으로서 설정하는 것을 포함하며, 깊이 스텝 기준은 입력 깊이 맵 및 제2 처리된 깊이 맵 둘 모두에서의 깊이 스텝들에 의존한다.

이는 많은 실시예에서 성능을 개선할 수 있고, 특히 일관성을 개선하고 제1 프로세서에 의해 도입되지만 잠재적으로 제2 프로세서에 의해 해소되지 않은 잠재적 에러, 아티팩트 또는 부정확을 해소할 수 있다.

본 발명의 선택적인 특징에 따르면, 장치는 이전에 처리된 깊이 맵의 픽셀들을 처리하도록 배열된 깊이 오프셋 프로세서(depth offset processor)를 추가로 포함하며, 이전에 처리된 깊이 맵은 제1 처리된 깊이 맵으로부터 도출되고, 처리는 주어진 픽셀에 대한 이전에 처리된 깊이 맵의 깊이 값을 주어진 픽셀에 대한 이전에 처리된 깊이 맵의 깊이 값과 주어진 픽셀에 대한 입력 깊이 맵의 깊이 값 간의 차이에 응답하여 결정된 값에 의해 수정하는 것을 포함한다.

이것은 많은 실시예 및 시나리오에서 개선된 깊이 맵을 초래할 수 있다. 그것은 특히 예를 들어 여전히 얼마간의 깊이 텍스처가 남아 있도록 허용하면서 생성된 깊이 맵의 개선된 일관성을 허용할 수 있다.

본 발명의 선택적인 특징에 따르면, 장치는 장면의 이미지들의 시퀀스에서의 모션 추정 및 장면에 대한 미리 결정된 깊이 프로파일에 기초한 깊이 큐들에 응답하여 입력 깊이 맵을 생성하기 위한 깊이 맵 생성기를 추가로 포함한다.

이 접근법은 모션 및 미리 결정된 깊이 프로파일에 기초한 깊이 큐들과 같은, 상이한 깊이 큐들로부터 생성된 깊이 맵들을 처리할 때 특히 유리한 성능을 제공할 수 있다.

본 발명의 태양에 따르면 깊이 맵을 처리하는 방법이 제공되며, 방법은 입력 깊이 맵을 수신하는 단계; 입력 깊이 맵의 복수의 제1 픽셀들을 최하부에서 최상부로의 방향으로 처리함으로써 제1 처리된 깊이 맵을 생성하는 단계를 포함하며, 복수의 제1 픽셀들 중 각각의 제1 픽셀의 처리는 제1 처리된 깊이 맵에 대한 제1 픽셀에 대한 깊이 값을, 입력 깊이 맵에서의 제1 픽셀에 대한 깊이 값, 및 제1 픽셀 아래에 있는 제1 픽셀 세트에 대한 제1 처리된 깊이 맵에서의 깊이 값들에 응답하여 결정된 깊이 값 중 뒤쪽으로 가장 먼 깊이 값으로서 결정하는 단계를 포함한다.

본 발명의 이들 및 다른 태양들, 특징들 및 이점들이 이하에 설명되는 실시예(들)로부터 명백할 것이고 그것을 참조하여 설명될 것이다.

본 발명의 실시예들이 도면들을 참조하여 단지 예로서 설명될 것이다.
도 1은 상이한 깊이 큐들에 기초한 깊이 맵들의 예들을 예시한다.
도 2는 본 발명의 몇몇 실시예들에 따른 깊이 맵을 처리하기 위한 장치의 요소들의 예를 예시한다.
도 3은 도 2의 장치에 의해 생성된 깊이 맵의 예를 예시한다.
도 4는 도 3의 깊이 맵의 요소들의 클로즈업을 예시한다.
도 5는 도 2의 장치에 의해 생성된 깊이 맵의 예를 예시한다.
도 6은 도 2의 장치에 의해 생성된 깊이 맵의 예를 예시한다.
도 7은 도 2의 장치의 깊이 맵들의 깊이 프로파일들의 예들을 예시한다.
도 8은 도 2의 장치의 깊이 맵들의 예들을 예시한다.

다음의 설명은 모션 기반 이미지 분석으로부터의 깊이 큐와 장면에 대한 (가정된) 미리 결정된 깊이 프로파일로부터의 깊이 큐를 조합하여 도출된 깊이 맵의 처리에 적용 가능한 본 발명의 실시예들에 중점을 둔다. 그러나, 본 발명은 이러한 응용으로 제한되는 것이 아니라, 많은 다른 깊이 맵에 적용될 수 있다는 것이 인식될 것이다.

장면을 나타내는 이미지는 오늘날 종종 장면에서 이미지 객체들의 깊이에 대한 정보를 제공하는 깊이 맵에 의해 보완되는데, 즉 그것은 이미지에 대한 추가 깊이 데이터를 제공한다. 그러한 추가 정보는 예를 들어 뷰 포인트 시프팅, 3D 표현 등을 허용하며, 그에 의해 다수의 추가 서비스를 제공할 수 있다. 깊이 맵은, 전형적으로 제1 개수의 수평 행 및 제2 개수의 수직 열을 갖는 어레이로 배열된, 복수의 픽셀 각각에 대한 깊이 값을 제공하는 경향이 있다. 깊이 값들은 관련 이미지의 픽셀들에 대한 깊이 정보를 제공한다. 많은 실시예에서, 깊이 맵의 해상도는 이미지의 해상도와 동일할 수 있으며, 이에 따라 이미지의 각각의 픽셀은 깊이 맵의 하나의 깊이 값에 대한 일대일 링크를 가질 수 있다. 그러나, 많은 실시예에서, 깊이 맵의 해상도는 이미지의 해상도보다 낮을 수 있고, 몇몇 실시예에서 깊이 맵의 깊이 값은 이미지의 복수의 픽셀에 대해 공통일 수 있다(그리고 구체적으로 깊이 맵 픽셀들은 이미지 픽셀들보다 클 수 있다).

깊이 값들은 특히 깊이 좌표 값(예를 들어, 픽셀에 대한 z-값을 직접 제공함) 또는 디스패리티 값을 포함한, 깊이를 나타내는 임의의 값일 수 있다. 많은 실시예에서, 깊이 맵은 디스패리티 또는 깊이 좌표 값들의 (행들과 열들을 갖는) 직사각형 어레이일 수 있다.

장면의 깊이의 표현의 정확도는 렌더링되고 사용자에 의해 인식되는 이미지의 결과적인 품질에서 핵심 파라미터이다. 따라서 정확한 깊이 정보의 생성이 중요하다. 인공 장면(예를 들어, 컴퓨터 게임)의 경우, 정확한 값을 달성하는 것은 비교적 용이할 수 있지만, 예를 들어 현실 세계 장면의 캡처를 수반하는 응용들의 경우, 이것은 어려울 수 있다.

깊이를 추정하기 위한 다수의 상이한 접근법들이 제안되었다. 하나의 접근법은 상이한 뷰포인트들로부터 장면을 캡처하는 상이한 이미지들 간의 디스패리티를 추정하는 것이다. 그러나, 그러한 디스패리티 추정은 본질적으로 불완전하다. 또한, 이 접근법은 장면이 다수의 방향으로부터 캡처될 것을 요구하는데, 이는 종종 예를 들어 레거시 캡처의 경우에 그러하지 않다. 다른 옵션은 (이미지들의 시퀀스에서의) 이미지 객체들의 모션은 더 멀리 떨어져 있는 객체들에 대해보다 카메라에 가까운 객체들에 대해 더 높은 경향이 있을 것임을 활용하는 모션 기반 깊이 추정을 수행하는 것이다(예를 들어, 병진하는 카메라의 경우, 아마도 장면에서의 대응하는 객체들의 실제 모션에 대한 보상 후에). 세 번째 접근법은 장면에서 깊이에 대한 미리 결정된(가정된) 정보를 활용하는 것이다. 예를 들어, 야외 장면에 대해(그리로 실제로 가장 전형적인 실내 장면에 대해), 이미지에서 하위에 있는 객체는 이미지에서 상위에 있는 객체보다 더 가까운 경향이 있다(예를 들어, 바닥 또는 지면은 높이가 증가함에 따라 카메라까지의 거리가 증가하고, 하늘은 하위 지면보다 더 뒤쪽에 있는 경향이 있고, 등등이다). 따라서, 적합한 깊이 맵 값을 추정하기 위해 미리 결정된 깊이 프로파일이 사용될 수 있다.

그러나, 대부분의 깊이 큐들은 매우 불확실한 경향이 있고 깊이 순서와 같은 부분 정보만을 제공한다. 그러한 깊이 큐들의 조합이 깊이 맵을 생성하는 데 사용될 때, 종종 남은 큐 충돌이 있다. 이 문제는 예를 들어 모션 기반 깊이 큐를 가정된 전체적인 장면 형상(예를 들어, 비스듬한 지표면)과 조합하여 깊이 맵에 대한 추정된 미리 결정된 깊이 프로파일을 생성할 때 예시될 수 있다. 전형적으로 그러한 큐들은 모든 큐의 깊이 맵들의 가중 조합에 의해 조합된다. 그러나, 그러한 접근법은 종종 상이한 깊이 큐들 사이의 아티팩트 또는 불일치로 이어질 수 있다. 예를 들어, 특정한 문제는 종종 전경 이미지가 배경으로부터 분리된 것처럼 보일 수 있다는 것일 수 있다. 특정한 예로서, 움직이는 객체(예를 들어, 걷는 사람)가 지면 상에 서 있기보다는 지면 위에 떠 있는 것처럼 보일 수 있다.

그러한 불일치가 도 1에 예시되어 있으며, 여기서 이미지 (a)는 모션의 검출에만 기초하여 생성된 가능한 깊이 맵을 예시한다. 이 예에서, 걷는 사람의 움직임은 대응하는 이미지 객체가 주어진 깊이에 있는 것으로 추정되는 결과를 초래한 반면, 움직이지 않는 배경은 배경 깊이 레벨에 있는 것으로 가정된다(밝기의 증가는 카메라까지의 거리의 감소를 나타내는데, 즉 픽셀이 더 밝거나 더 흰색일수록, 그것은 카메라에 더 가깝다). 이미지 (b)는 장면에 대한 미리 결정된 깊이 프로파일에 대응하는 깊이 맵을 예시한다. 이 예에서, 미리 결정된 깊이 프로파일은 지면이 사진의 최하부에서 카메라에 가깝고 그 후 높이가 증가함에 따라 거리가 점점 더 증가하는 것을 반영한다. 그러한 비스듬한 프로파일은 많은 실제 현실 세계 장면들에 대해 전형적일 수 있다.

이미지 (c)는 이미지 (a)와 (b)의 깊이 맵들의 조합의 예를 예시한다. 볼 수 있는 바와 같이 비스듬한 깊이 배경을 가로질러 걷는 사람의 이미지에 대한 더 대표적인 깊이 맵이 생성된다. 그러나, 또한 볼 수 있는 바와 같이, 걷는 사람의 깊이는 배경으로부터 도드라지고, 실제로 발을 포함한 사람의 모든 부분에 대해 그러하다. 유감스럽게도, 이 정보에 기초하여 이미지를 렌더링할 때, 이미지는 사람을 배경으로부터 분리된 것으로 보여주는 경향이 있을 것이며, 실제로 전형적으로 사람이 지면 상에 서 있기보다는 지면 위에 떠 있는 모습을 초래할 수 있다.

도 2는 깊이 맵을 처리할 수 있는, 그리고 많은 실제로 발생하는 상황 및 응용에 대해 전술한 것들과 같은 문제들을 해소, 제거, 감소 및/또는 완화할 수 있는 깊이 처리 장치의 몇몇 요소들을 예시한다. 장치는 많은 시나리오에서 깊이 값 일관성을 개선할 수 있는, 그리고 특히 조합된 깊이 맵을 생성하는 데 사용되는 상이한 깊이 큐들 사이의 일관성을 개선할 수 있는 프로세스를 깊이 맵에 적용할 수 있다.

깊이 처리 장치에 의해 사용되는 이 접근법은 예를 들어 깊이 맵 추정 프로세스에 후처리로서 적용될 수 있는 매우 효율적이고 복잡성이 낮은 접근법을 허용한다. 이 접근법은 많은 실제 장면과 이미지에 대해 객체가 지표면 위로 날아가고 있는 것보다 지표면에 부착되어 있는 것이 통계적으로 훨씬 더 가능성이 높다는 인식을 반영할 수 있다. 그러나, 그러한 깊이 큐를 도입하는 것은 쉽지 않은데 그 이유는 그것은 그와 같이 깊이 측정에 직접 대응하는 것이 아니라 오히려 깊이 맵의 내부 일관성과 관련되는 것에 의해 다른 깊이 추정 큐들과는 상이하기 때문이다.

도 2의 장치의 접근법은 제약을 부과하면서 최하부에서 최상부로의 스캔에 기초하여 깊이 맵을 처리함으로써 이들 고려 사항에 대처할 수 있다. 그러나, 깊이 맵의 처리는 몇몇 상황 및 몇몇 깊이 맵에 대해 얼마간의 아티팩트, 부정확, 또는 에러를 도입할 수 있다. 도 1의 깊이 처리 장치는 따라서 몇몇 실시예에서 여전히 시스템을 매우 효율적으로 유지하면서 이들 효과를 해소할 수 있는 추가의 선택적인 패스(pass)를 수행하도록 배열될 수 있다.

더 상세하게, 청구항 1의 깊이 처리 장치는 특정 예에서 깊이 맵 생성기(203)로부터 처리될 입력 깊이 맵을 수신하는 깊이 맵 수신기(201)를 포함한다.

특정 예에서, 깊이 맵 생성기(203)는 이미지들의 시퀀스(특히 비디오 클립의 프레임에 대응하는 각각의 이미지를 갖는 비디오 클립)로부터 깊이 추정에 의해 입력 깊이 맵을 생성하도록 배열된다. 깊이 생성은 이미지들에 의해 캡처된 장면에 대한 미리 결정된 깊이 프로파일과 모션 추정 깊이 큐의 조합에 기초한다. 입력 깊이 맵은 이미지들의 시퀀스에, 즉 비디오 클립의 프레임들에 대응하는 깊이 맵들의 시퀀스의 깊이 맵일 수 있다.

예로서, 모션 큐에 대한 깊이 맵은 픽셀마다의 모션 벡터를 취하고 그것으로부터 전체적인(배경) 모션을 감산함으로써 생성될 수 있다. 이어서 깊이 값은 이러한 차동 모션의 크기에 비례하도록 설정된다. 전형적으로, 빠르게 움직이는 객체들이 너무 많이 팝아웃(pop-out)하지 않도록 하기 위해 (클리핑과 같은) 비선형 함수가 사용된다.

다른 실시예들에, 장치는 깊이 생성기(203)를 포함하는 것이 아니라 오히려 입력 깊이 맵이 예를 들어 외부 소스로부터 수신될 수 있다는 것을 알 것이다. 다음의 논의는 모션 기반 깊이 큐 및 미리 결정된 깊이 프로파일 큐로부터 생성된 깊이 맵에 중점을 둘 것인 반면, 이 접근법은 많은 경우에 단일 깊이 큐에 기초하여 생성된 깊이 맵들을 포함한, 다른 깊이 맵들에 대해서도 유리한 효과를 제공할 수 있다는 것도 알 것이다.

상이한 실시예들에서 깊이 맵들의 깊이 값들에 의한 깊이의 상이한 표현들이 사용될 수 있다는 것을 알 것이다. 예를 들어, 몇몇 실시예에서, 증가하는 깊이 값들은 객체가 카메라/뷰 포인트로부터 더 뒤쪽에 있는/멀리 떨어진 것을 나타낼 수 있다(예를 들어, 직접적인 z-좌표 값). 다른 실시예들에서, 증가하는 깊이 값들은 객체가 더 앞쪽에 있는, 즉 더 카메라/뷰 포인트 쪽에 있는 것을 나타낼 수 있다(예를 들어, 디스패리티 값). 간결함과 명료함을 위해, 설명은 그것이 더 앞쪽에 있을수록(즉, 카메라/뷰 포인트에 더 가까울수록) 깊이 값이 증가하는 값을 갖는다고 가정할 것이다. 그러나, 설명된 원리 및 접근법은 증가하는 값이 대응하는 객체가 더 뒤쪽에(카메라/뷰 포인트로부터 더 멀리) 있는 것을 나타내는 시나리오에 동등하게 적용 가능하다는 것을 알 것이다.

깊이 맵 수신기(201)는 이후로 제1 처리된 깊이 맵으로 지칭되는, 깊이 맵을 생성하기 위해 입력 깊이 맵을 처리하도록 배열된 제1 프로세서(205)에 결합된다. 제1 프로세서(205)는 입력 깊이 맵의 픽셀들을 최하부에서 최상부로의 방향으로 처리하도록 배열된다. 따라서, 이 접근법에서, 픽셀들은 이미지의 최하부에서 이미지의 최상부 쪽으로의 순서로 처리된다.

이 프로세스에서, 입력 깊이 맵의 깊이 값들은 아래에서 이미 처리된 픽셀들의 깊이 값들에 의존하여 수정된다. 구체적으로, 제1 픽셀로 지칭되는 주어진 픽셀에 대해, 제1 처리된 깊이 맵에서의 깊이 값은 제1 픽셀에 대한 입력 깊이 맵에서의 깊이 값 및 제1 픽셀 아래의 픽셀 세트에 대한 이미 처리된 깊이 값들로부터 결정된 깊이 값 중 뒤쪽으로 가장 먼 깊이 값으로서 선택된다.

이 접근법에서, 픽셀이 다른 픽셀 아래에 있다는 것은 그것이 깊이 맵에서 더 낮다는 것을, 즉 그것이 깊이 맵의 최하부에 더 가깝고 깊이 맵의 최상부로부터 더 멀리 있다는 것을 의미한다. 픽셀이 다른 픽셀 위에 있다는 것은 그것이 깊이 맵에서 더 높다는 것을, 즉 그것이 깊이 맵의 최상부에 더 가깝고 깊이 맵의 최하부로부터 더 멀리 있다는 것을 의미한다. 특히, 픽셀 세트가 제1 픽셀 아래에 있다는 것은 그것들이 깊이 맵의 최하부에 더 가깝다는 것을 반영할 수 있다. 따라서, 그것들은 제1 깊이 픽셀을 포함하는 행보다 하위에 있는/깊이 맵의 최하부에 더 가까운 행에 속할 수 있다.

따라서, 특히, 주어진 제1 깊이 맵 픽셀에 대해, 제1 프로세서(205)는 깊이 맵에서 제1 픽셀 아래에 있는 픽셀 세트를 식별할 수 있다. 예를 들어, 제1 픽셀 아래의 행에 있는 9개의 인접한 픽셀(그리고 이때 중심 픽셀은 제1 픽셀과 동일한 열에 있음)이 선택될 수 있다. 이어서 제1 프로세서(205)는 이러한 제1 픽셀 세트의 깊이 값들에 응답하여 깊이 값을 생성하는 것으로 진행될 수 있는데, 즉 선택된 세트에 대한 9개의 깊이 값에 기초하여 깊이 값이 생성될 수 있다. 이러한 깊이 값은 제약 깊이 값(constraint depth value)으로 지칭될 수 있다. 제약 깊이 값은 예를 들어 제1 픽셀 세트에 대한 가장 앞쪽 깊이 값의 깊이 값을 갖도록 생성될 수 있다. 이어서 제1 프로세서(205)는 제1 처리된 깊이 맵에서의 제1 픽셀에 대한 깊이 값을 입력 깊이 값과 동일하도록 또는 제약 깊이 값과 동일하도록(어느 것이 뒤쪽으로 가장 먼 것으로 간주되는지에 따라) 설정하는 것으로 진행된다. 따라서, 제1 프로세서(205)는 입력 깊이 값과 제약 깊이 값 중 뒤쪽으로 가장 먼 깊이 값을 선택한다.

따라서 이 접근법은 깊이 값들이 아래의 처리된 픽셀들을 반영하는 제약 깊이 값보다 더 앞쪽에 있지 않는 한 그것들이 입력 깊이 맵으로부터 유지되도록 최하부에서 최상부로의 방향으로 깊이 맵을 처리할 수 있다. 제약 값은 예를 들어 현재 픽셀 값 바로 아래의 작은 픽셀 세트에서 앞쪽으로 가장 먼 깊이 값일 수 있다. 이 경우에, 제1 처리된 깊이 맵은 이러한 깊이 값이 아래의 픽셀들보다 더 앞쪽에 있는 경우를 제외하고는 입력 깊이 맵과 동일한 깊이 값으로 설정될 것이며, 그 제외 경우에는 그것은 제약 깊이 값으로 대체될 것인데, 즉 그것은 바로 아래의 작은 픽셀 세트 중 앞쪽으로 가장 먼 것으로 대체될 것이다. 효과는 실질적으로 입력 깊이 맵의 깊이 정보가 이것이 하위 픽셀들보다 더 앞쪽에 있는 이미지 객체들/픽셀들을 초래할 픽셀들을 제외하고는 제1 처리된 깊이 맵에서 유지될 것이라는 점일 것이며, 그 제외 경우에는 픽셀은 아래의 픽셀들과 동일한 레벨에 있도록 뒤로 이동될 것이다.

또한, 프로세스가 최하부에서 최상부로의 방향으로 수행됨에 따라, 앞쪽 깊이 스텝들을 제거하기(또는 적어도 감소시키기) 위해 픽셀들의 그러한 수정은 깊이 맵에서 위쪽으로 전파될 것이며 그에 의해 (앞쪽으로) 도드라지는 객체들을 그 아래의 이미지 객체들/픽셀들과 일치하도록 이미지에서 뒤로 효과적으로 이동시킬 것이다. 이 프로세스는 픽셀들이 순차적으로 처리되고 간단한 비교/프로세스에 기초하면서도 효과적인 깊이 조정을 달성하여 훨씬 더 일관된 깊이 맵이 생성되는 결과를 가져올 수 있는 복잡성이 매우 낮은 접근법이 사용될 수 있게 한다.

특정 예로서, 최하부에서 최상부로의 스캔에서 픽셀(

)(행, 열)에 대한 깊이 값은 더 작은 y-좌표(최하부에 더 가까운, 더 큰 행 i-좌표)를 갖는 객체들을 더 큰 y-좌표(최상부에 더 가까운, 더 작은 행 i-좌표)를 갖는 객체들보다 더 뒤쪽에 있지 않도록 바이어싱하도록 선택적으로 수정될 수 있다. 예를 들어, 각각의 픽셀(

)에 대한 처리는 다음에 의해 주어질 수 있으며:

여기서 D _x _, _y 는 행 x 및 열 y에서의 (깊이 맵) 픽셀에 대한 입력 깊이 맵에서의 깊이 값이고, 이때 증가하는 깊이 값은 픽셀이 더 앞쪽에 있는 것을 나타내며, D' _x,y 는 제1 처리된 깊이 맵에서의 대응하는 깊이 값이고, △는 제1 픽셀 세트의 크기를 정의하는 설계 파라미터이다. △에 대한 전형적인 값들은 3 내지 10의 범위이다.

이러한 후처리 동작을 도 1c의 깊이 맵에 적용한 결과의 예가 도 3에 도시되어 있다. 볼 수 있는 바와 같이, 훨씬 더 일관된 깊이 맵이 달성되고, 상이한 깊이 큐들로부터 결정된 깊이를 갖는 영역들 주위의 스텝 불연속이 감소되었다. 또한, 처리된 깊이 맵에서, 걷는 사람이 이미지에서 뒤로 이동되어서 그가(또는 더 정확히 말하면 그의 발의 바닥이) 배경으로부터 (앞쪽으로) 도드라지지 않는다. 처리된 깊이 맵에 기초하여 이미지가 렌더링될 때의 효과는 걷는 사람이 더 이상 지면 위에(그리고 지면 앞쪽에) 떠 있는 것처럼 보이지 않는다는 것이다. 오히려, 그 사람은 지면 상에 서 있는/지면 상에서 걷는 것처럼 보일 것이고 훨씬 더 현실적인 장면이 렌더링될 것이다.

이것은 실제로 더 현실적인 것으로 인식되는 결과를 제공하는 경향이 있는 복잡성이 낮은 접근법을 제공할 수 있다. 이 접근법은 복잡성이 매우 낮으며, 아마도 얼마간의 에러 또는 아티팩트를 도입할 수 있다. 예를 들어, 나는 새와 같은 객체들은 이미지에서 더 뒤로 이동되어 원래 깊이가 유지되지 않는 결과를 초래할 수 있다. 또한, 이 복잡성이 낮은 접근법은, 예를 들어 도 1 및 도 3에서 걷는 사람의 팔에 대해 볼 수 있는 것과 같은, 몇몇 형상들의 이미지 객체들에 새로운 에러를 도입할 수 있다. 따라서, 직관적으로 복잡성이 낮은 최하부에서 최상부로의 처리 및 제약 요건이 깊이 맵을 개선하기에 적합하지 않은 것으로 예상될 것이다. 그러나, 본 발명자들은 실제로 이 접근법은 그러한 에러에 대한 가능성에도 불구하고 많은 실제 응용들에서 개선된 성능을 제공한다는 것을 깨달았다. 예를 들어, 사람이 지면 위에 떠 있기보다는 지면 상에 서 있는 것처럼 보이는 것의 이점은 몇몇 새들이 잠재적으로 더 뒤로 이동되는 효과보다 중요할 것이다.

제1 픽셀 세트에 대한 픽셀들의 정확한 선택은 개별 실시예의 선호도 및 요건에 의존할 것임을 알 것이다. 대부분의 실시예에서, 제1 픽셀 세트는 제1 픽셀에 대한 다음 하위 행의 픽셀들을 포함하거나 이들로 이루어질 것이다. 구체적으로, 상기 예에서와 같이, 제1 픽셀 세트는 현재 픽셀의 행 바로 아래의 행에 다수의 픽셀을 포함하도록 선택될 수 있다.

많은 실시예에서, 비교적 적은 수의 픽셀이 제1 세트에 포함될 것이고, 많은 실시예에서, 제1 세트 내의 픽셀의 수는 20개 픽셀을 초과하지 않을 수 있다는 것도 알 것이다. 그러한 접근법은 복잡성을 감소시키고 계산적으로 매우 효율적인 동작을 허용할 수 있다.

따라서, 이 접근법은 대부분의 실시예에서 매우 국부적인 깊이 제약에 기초할 수 있고, 입력 깊이 맵은 국부적인 고려 사항에만 기초하여 처리되면서도 전체적인 효과를 제공할 수 있다.

현재 픽셀 아래의 행에서의 다수의 픽셀과 같은, 다수의 픽셀을 포함하는 제1 픽셀 세트는 또한 유리한 효과들을 제공할 수 있다. 몇몇 실시예에서, 그것은 단일 픽셀보다는 작은 영역을 고려함으로써 평균화 효과를 제공할 수 있다. 또한, 그것은 많은 실시예에서 또한 예를 들어 상이한 형상들의 객체들의 깊이가 수직 방향뿐만 아니라 수평 방향으로도 전파될 수 있게 하는 개선된 깊이 조정을 제공할 수 있다.

예를 들어, 도 4는 도 3의 사람의 왼쪽 겨드랑이 영역을 예시한다. 볼 수 있는 바와 같이, 최하부에서 최상부로의 처리에서, 주어진 픽셀에 대한 제약 깊이 값이 적어도 아래의 픽셀의 깊이 값이므로, 사람의 깊이 값들은 수직으로 위쪽으로 전파된다. 그러나, 팔의 최하위 픽셀에 대해, 바로 아래의 픽셀은 배경의 일부이고 이에 따라 제1 픽셀 세트가 수직으로 아래의 픽셀만을 포함한 경우 팔 픽셀은 배경 깊이 값으로 제한될 것이다. 그러나, 제1 픽셀 세트를 수평으로 연장시킴으로써, 하위 행으로부터의 깊이 값들은 옆으로 전파될 수 있는데, 예를 들어 도 4의 몸 픽셀들로부터의 깊이는 팔 영역으로 전파된다.

제1 픽셀 세트의 선택은 상이한 실시예들에서 상이할 수 있고 예를 들어 원하는 옆 깊이 전파와 부과된 수직 제약들 사이의 원하는 트레이드-오프(trade-off)를 제공하도록 선택될 수 있다는 것을 알 것이다. 트레이드-오프는 몇몇 실시예에서 개별 이미지들 또는 프레임들 사이에 변화할 수 있고, 실제로 몇몇 실시예에서 제1 픽셀 세트를 선택하기 위한 규칙 또는 알고리즘이 상이한 프레임들 사이에서 동적으로 변경될 수 있다.

이 접근법은 제1 처리된 깊이 맵의 픽셀들이 최하부에서 최상부로의 방향으로 처리되는 것에 기초한다. 따라서, 주어진 픽셀은 (그 주어진 픽셀에 대한) 제1 픽셀 세트 내의 픽셀들이 이미 처리된 후에만 처리되며, 여기서 제1 세트 내의 픽셀들은 주어진 픽셀 아래에 있다(그것들은 깊이 맵들에서 최상부에서 최하부로 번호가 매겨지는 행들에 대해 더 높은 행 번호를 갖는다).

많은 실시예에서, 입력 깊이 맵에서의 주어진 픽셀은 그 픽셀 바로 아래의 픽셀이 처리된 후에만 처리될 것이다. 많은 실시예에서, 주어진 행의 픽셀들은 그 아래의 행 내의 모든 픽셀이 이미 처리된 후에만, 그리고 실제로 전형적으로 그 아래의 모든 행 내의 모든 픽셀이 이미 처리된 후에만 처리될 것이다.

그러나, 픽셀들의 처리는 수직 또는 수평 방향으로 엄격하게 순차적일 필요는 없다는 것을 알 것이다. 오히려, 주어진 픽셀의 처리는 그 주어진 픽셀에 대한 제1 픽셀 세트의 픽셀들이 이미 처리되었을 것만을 요구한다. 따라서, 몇몇 실시예에서, 예를 들어 처리는 왼쪽(또는 오른쪽) 최하부 코너에서 시작되고 이어서 제1 세트 내의 대응하는 픽셀들이 처리된 것으로 인해 픽셀들이 처리에 이용 가능하게 됨에 따라 최상부 및 오른쪽(또는 왼쪽)을 향해 전파되는 것이 가능할 수 있다.

프로세스가 깊이 맵 내의 모든 픽셀을 포함할 필요는 없다는 것도 알 것이다. 예를 들어, 몇몇 실시예에서, 이 접근법은 이미지의 주어진 영역에 대응하는 깊이 맵의 주어진 영역 내의 픽셀들에만 적용될 수 있다. 또한, 많은 실시예에서, 특정 접근법은 제1 픽셀 세트가 그에 대해 성공적으로 선택될 수 있는 픽셀들에 대해서만 반복될 수 있다. 예를 들어, 많은 실시예에서, 최하부 행은 특정 방식으로 처리되는 것이 아니라 오히려 프로세스는 최하부 행의 픽셀들을 사용하여 제1 픽셀 세트가 생성되는 상태에서 두 번째 최하위 행의 픽셀들에 적용된다. 다른 실시예들에서, 디폴트 깊이 값들이 사용될 수 있다. 예를 들어, 최하부 행의 픽셀들을 처리할 목적으로 깊이 맵의 최하부 행 아래의 행으로서 깊이 값들의 "가상" 또는 "의사" 행(또는 몇몇 실시예에서 행들)이 생성되어 사용될 수 있다. 이 "가상" 행의 깊이 값들은 예를 들어 단순히 디폴트 또는 미리 결정된 값들로서 초기화될 수 있거나(예를 들어, 가장 앞쪽의 가능한 깊이 값에 대응), 예를 들어 앞쪽으로 가장 먼 깊이 값과 같은, 최하부 행의 깊이 값들로부터 결정될 수 있다.

제1 픽셀 세트 내의 픽셀들의 깊이 값들로부터의 제약 깊이 값의 결정은 상이한 실시예들에서 상이한 함수들 또는 알고리즘들에 기초할 수 있다. 제약 깊이 값은 예를 들어 다음 중 하나 이상에 기초하여 결정될 수 있다:

제1 픽셀 세트의 깊이 값들 중 앞쪽으로 최대 값. 이것은 제약 깊이 값이 앞쪽으로 가장 먼 값이 전파에 가장 중요하다는 것을 반영하는 결과를 초래할 수 있다. 제약 깊이 값을 결정하기 위한 이 함수의 이점은 객체가 꼿꼿하게 놓인다는 것이다.

제1 픽셀 세트의 깊이 값들의 평균 값. 이것은 제약 깊이 값이 평균 깊이 또는 객체를 반영하는 결과를 초래할 수 있다. 제약 깊이 값을 결정하기 위한 이 함수의 이점은 그것이 노이즈에 덜 민감하다는 것이다.

제1 픽셀 세트의 깊이 값들의 중앙 값. 이것은 제약 깊이 값이 중앙 깊이 또는 아래의 객체를 반영하는 결과를 초래할 수 있다. 제약 깊이 값을 결정하기 위한 이 함수의 이점은 그것이 평균을 취하지 않으면서 노이즈에 덜 민감하다는 것이다.

앞서 언급한 바와 같이, 제1 프로세서(205)에 의한 처리는 계산적으로 매우 효율적이고 더 일관되고 유리한 깊이 맵들을 초래하는 경향이 있다. 그러나, 또한 언급한 바와 같이, 그것은 몇몇 시나리오에서 몇몇 형상 및 이미지/깊이 맵에 대해 에러를 도입할 수 있다. 예를 들어, 도 3에 도시된 바와 같이, 깊이 에러/아티팩트가 걷는 사람의 팔에 도입될 수 있다. 많은 실시예에서, 그러한 효과들은 비교적 있을 것 같지 않고/않거나 받아들일 수 있는 것으로 간주될 수 있다. 예를 들어, 그것들은 불규칙한 전경 형상들에 대해 더 자주 발생하는 경향이 있고 그러한 객체들이 있을 것 같지 않은 시나리오들에서는, 제1 프로세서(205)에 의한 처리가 충분할 수 있다.

그러나, 다른 실시예들에서, 제1 프로세서(205)는 그러한 에러 및 아티팩트의 효과를 감소시키거나 완화하려고 하기 위해 제1 처리된 깊이 맵을 추가로 처리하도록 배열된 제2 프로세서(207)에 결합된다.

제2 프로세서(207)는 제1 처리된 깊이 맵을 수신하고 제1 처리된 깊이 맵에서의 픽셀들을 최상부에서 최하부로의 방향으로 처리함으로써 제2 처리된 깊이 맵을 생성한다. 따라서 제2 프로세서(207)는 유사한 반복적 또는 순차적 프로세스를 수행할 수 있지만 제1 프로세서(205)에 의한 처리의 반대 방향으로 그렇게 한다. 따라서 제1 프로세서(205)는 제1 패스를 수행하는 것으로 간주될 수 있으며, 이때 제2 프로세서(207)는 제1 패스로부터 초래되었을 수 있는 잠재적인 에러 또는 아티팩트를 해소하려고 하는 제2 패스를 수행한다.

제2 프로세서(207)는 제2 처리된 깊이 맵의 깊이 맵 값을 제1 처리된 깊이 맵에서의 대응하는 픽셀로서 또는 현재 픽셀 위에 있는 제1 처리된 깊이 맵의 픽셀에 대한 깊이 값으로서 설정함으로써 제1 처리된 깊이 맵을 처리하도록 배열된다. 따라서, 제2 처리된 깊이 맵에서의 깊이 값은 제1 처리된 깊이 맵에서의 픽셀에 대한 대응하는 깊이 값에 대한 깊이 값으로서 설정될 수 있거나 그것은 현재 픽셀 위의 픽셀의 제1 처리된 깊이 맵에서의 깊이 값으로서 설정될 수 있다. 어느 깊이 값을 사용할지의 선택은 입력 깊이 맵과 제1 처리된 깊이 맵 양쪽 모두를 고려하는 깊이 스텝 기준에 기초한다.

더 상세하게, 제2 픽셀로 지칭되는 주어진 픽셀에 대해, 제2 프로세서(207)는 제2 처리된 깊이 맵에서의 깊이 값

를 결정한다. 이 깊이 값

에 대한 하나의 후보는 제1 처리된 깊이 맵에서의 대응하는 깊이 값

이다. 이 깊이 값은 제1 후보 깊이 값

으로 지칭될 수 있고 이것이 선택되면 그것은 변경되지 않는 제2 픽셀에 대한 깊이 값에 대응한다.

대안적으로, 제2 처리된 깊이 맵에서의 깊이 값

는 제2 픽셀 위에 있는 제3 픽셀에 대한 제1 처리된 맵의 깊이 값으로 설정될 수 있다. 이 깊이 값은 제2 후보 깊이 값

으로 지칭될 수 있다. 많은 실시예에서, 제3 픽셀/제2 후보 깊이 값은 제2 픽셀 위의 전형적으로 작은 픽셀 세트로부터 선택될 수 있다. 예를 들어, 제2 후보 깊이 값

는 [j-N;j+N]의 구간 내의 k를 갖는 픽셀 세트로부터 선택될 수 있으며, 여기서 N은 전형적으로 작은 수인데, 예를 들어, N은 1 내지 7의 구간 내에 있을 수 있다.

따라서 제2 프로세서(207)에 의한 접근법은 제1 처리된 깊이 맵을 최상부에서 최하부로의 방향으로 처리하고 제1 처리된 깊이 맵의 깊이 값을 유지하거나(

) 깊이 값이 현재 픽셀들 위의 픽셀들에서 아래로 전파되는 것이 되도록 허용한다(

).

깊이 값을 유지할지 또는 그것을 교체할지의 선택은 이전에 언급된 바와 같이 입력 깊이 맵 및 제1 처리된 깊이 맵 양쪽 모두에서의 깊이 스텝들에 의존하는 깊이 스텝 기준에 기초한다.

구체적으로, 깊이 스텝 기준은 입력 깊이 맵에서의 깊이 스텝의 절대 값이 제1 임계치보다 높지 않고 제1 처리된 이미지에서의 뒤쪽 깊이 스텝이 제2 임계치보다 낮지 않을 것을 요구할 수 있다.

따라서, 그러한 실시예에서, 제2 프로세서(207)가 입력 깊이 맵에는 작은 깊이 스텝만이 있지만 제1 처리된 깊이 맵에는 큰 뒤쪽 깊이 스텝이 있음을 검출하면(현재 픽셀로 이동할 때) 제1 처리된 깊이 맵은 위의 픽셀로부터의 깊이 값으로 대체될 수 있다. 이 경우에, 제1 처리된 깊이 맵에서의 큰 깊이 스텝은 제1 프로세서(205)가 원래 입력 깊이 맵에는 없는 깊이 전이를 도입했음을 나타낼 수 있다. 따라서, 제2 프로세서(207)는 더 앞쪽에 있는 깊이 값이 제3 픽셀로부터 현재 픽셀(제2 픽셀)로 전파될 수 있게 한다.

더 구체적으로, 깊이 스텝 기준은 제3 픽셀과 제2 픽셀 위의 픽셀 사이의 입력 깊이 맵에서의 절대 깊이 스텝이 제3 임계치보다 높지 않고/않거나

제2 픽셀과 제2 픽셀 위의 픽셀 사이의 입력 이미지에서의 최대 절대 깊이 스텝이 제4 임계치보다 높지 않을

요건을 포함할 수 있다. 이들 요건은 현재 픽셀(제2 픽셀) 및 타겟 픽셀(제3 픽셀)에 대해 수평 또는 수직 방향으로 입력 이미지에 대응하는 깊이 스텝이 없다는 유리한 표시를 제공할 수 있다. 따라서, 이들 요건은 원래 깊이 맵이 국부적인 깊이 전이/스텝/불연속을 갖지 않았고 이에 따라 임의의 그러한 국부적인 전이/스텝/불연속이 제1 프로세서(205)의 처리에 의해 도입되었을 가능성이 있다는 양호한 표시를 제공한다.

깊이 스텝 기준은 많은 실시예에서 제3 픽셀에서 제2 픽셀로의 제1 처리된 이미지에서의 뒤쪽 깊이 스텝(의 크기)이 제5 임계치보다 낮지 않을, 즉 현재 픽셀들로의 스테핑이 카메라/뷰 포인트로부터 멀어지게 충분히 큰 깊이 스텝을 초래할 요건을 포함할 수 있다. 증가하는 깊이 값 D가 픽셀이 카메라/뷰 포인트에 더 가깝다는 것을 나타내는 실시예들에서, 이것은

에 의해 표현될 수 있다. 이것은 제2 프로세서(207)의 처리에 의해 잠재적으로 초래되었을 수 있는 뒤쪽 깊이 스텝이 존재한다는 적합한 표시를 제공할 수 있다.

특정 예로서, 제2 프로세서(207)는 다음의 알고리즘을 수행할 수 있다:

이 예에서, 예시적인 알고리즘의 라인 4는 이전 행에서의 픽셀로부터 현재 행에서의 현재 픽셀까지 3개의 별개의 4-연결 경로를 따라 (원래 입력 깊이 맵에서) 깊이의 최대 변화를 평가한다. 깊이의 절대 변화가 임계치보다 낮고

이미 처리된 깊이 맵이 여전히 상당한 뒤쪽 스텝을 포함하여서

(여기서 증가하는 값들은 픽셀이 더 앞쪽에 있음을 나타내고 따라서 뒤쪽 스텝이 음의 차이에 대응한다는 점에 유의한다)), 제2 프로세서(207)에 의해 에러가 도입되었음을 나타내는 경우에만, 깊이가 전파된다.

도 5는 이 알고리즘을 도 3 및 도 4의 제1 처리된 깊이 맵에 적용한 결과를 예시한다. 볼 수 있는 바와 같이, 한 팔과 다른 팔의 대부분의 깊이는 사람의 몸에 영향을 미치지 않고서, 그리고 특히 사람의 발과 배경 사이의 일관성에 영향을 미치지 않고서, 사람의 나머지와 동일한 깊이 레벨로 복원되었다.

요건들에 대한 상이한 임계치들은 개별 실시예의 요건들 및 선호도들에 의존할 수 있다는 것을 알 것이다. 몇몇 실시예에서, 임계치들은 동적일 수 있고/있거나 다른 파라미터들 또는 속성들에 의존할 수 있다는 것도 알 것이다.

제3 픽셀은 제2 픽셀 위에 있는 제2 픽셀 세트로부터 선택될 수 있다. 전형적으로 제2 픽셀 세트는 제2 픽셀 바로 위의 행에서의 적은 수의 픽셀들일 수 있다. 예를 들어, 제2 픽셀 세트는 제2 픽셀의 행 바로 위의 행에서의 1개 내지 15개 픽셀의 세트일 수 있다. 전형적으로, 제2 픽셀 세트는 제2 픽셀에 대해 실질적으로 수평 대칭일 수 있다. 깊이 전파의 소스가 되기 위한 후보들로서 비교적 적은 수의 픽셀들을 사용하는 것은 많은 실시예 및 시나리오에서 이것이 추가 효과를 도입하는 낮은 위험을 유지하기 위해 효과를 충분히 낮게 유지하면서 충분히 강한 보상을 초래할 수 있다.

제2 프로세서(207)에 의해 수행되는 프로세스는 깊이 맵 내의 모든 픽셀을 포함할 필요는 없다는 것도 알 것이다. 예를 들어, 몇몇 실시예에서, 이 접근법은 이미지의 주어진 영역에 대응하는 깊이 맵의 주어진 영역 내의 픽셀들에만 적용될 수 있다. 또한, 많은 실시예에서, 특정 접근법은 현재 픽셀 위의 유효한 픽셀들이 그에 대해 선택될 수 있는 픽셀들에 대해서만 반복될 수 있다. 예를 들어, 상기의 의사 코드에 의해 예시된 바와 같이, 많은 실시예에서, 최상부 행은 설명된 방식으로 처리되는 것이 아니라 오히려 프로세스는 두 번째 최상위 행으로부터 시작하여 적용된다. 다른 실시예들에서, 디폴트 깊이 값들이, 예를 들어 최상부 행 위에 디폴트 깊이 값들의 "가상" 행을 추가함으로써, 사용될 수 있다.

도 5에서 볼 수 있는 바와 같이, 제2 프로세서(207)는 제1 프로세서(205)에 의해 도입된 다수의 에러 및 아티팩트가 보상되었을 수 있는 개선된 깊이 맵을 초래한다. 그러나, 볼 수 있는 바와 같이, 이 접근법은 모든 도입된 아티팩트를 해소하지는 않을 수 있다. 예를 들어, 사진의 왼쪽에 있는 팔의 위쪽 섹션은 보상되지 않았다.

도 2의 시스템에서, 제2 프로세서(207)는, 제2 처리된 깊이 맵을 공급받고 이에 응답하여 제3 처리된 깊이 맵을 생성하는 제3 프로세서(209)에 결합된다. 제3 프로세서(209)는 본질적으로 제2 프로세서(207)의 동작과 대칭적인 동작을, 그러나 최하부에서 최상부로의 방향으로 수행한다.

따라서 제3 프로세서(209)는 제2 처리된 깊이 맵을 수신하고 제2 처리된 깊이 맵에서의 픽셀들을 최하부에서 최상부로의 방향으로 처리함으로써 제3 처리된 깊이 맵을 생성할 수 있다. 따라서 제3 프로세서(209)는 제2 프로세서(207)와 유사한 반복적 또는 순차적 프로세스를 수행할 수 있지만 반대 방향으로 그렇게 한다. 따라서 제3 프로세서(209)는 특히 제1 패스로부터 초래되었을 수 있는 잠재적인 에러 또는 아티팩트를 해소하려고 하는 제3 패스를 수행하는 것으로 간주될 수 있다.

제3 프로세서(209)는 제3 처리된 깊이 맵의 깊이 맵 값을 제2 처리된 깊이 맵에서의 대응하는 픽셀로서 또는 현재 픽셀 아래에 있는 제2 처리된 깊이 맵의 픽셀에 대한 깊이 값으로서 설정함으로써 제2 처리된 깊이 맵을 처리하도록 배열된다. 따라서, 제3 처리된 깊이 맵에서의 깊이 값은 제2 처리된 깊이 맵에서의 픽셀에 대한 대응하는 깊이 값에 대한 깊이 값으로서 또는 현재 픽셀 위의 픽셀의 제2 처리된 깊이 맵에서의 깊이 값으로 설정될 수 있다. 어느 깊이 값을 사용할지의 선택은 다시 입력 깊이 맵과 제1 처리된 깊이 맵 양쪽 모두를 고려하는 깊이 스텝 기준에 기초한다.

더 상세하게, 제4 픽셀로 지칭되는 주어진 픽셀에 대해, 제3 프로세서(209)는 제3 처리된 깊이 맵에서의 깊이 값

를 결정한다. 이 깊이 값

에 대한 하나의 후보는 제2 처리된 깊이 맵에서의 대응하는 깊이 값

이다. 이 깊이 값은 제3 후보 깊이 값

으로 지칭될 수 있다.

대안적으로, 제3 처리된 깊이 맵에서의 깊이 값

는 제2 픽셀 아래에 있는 제5 픽셀에 대한 제2 처리된 맵의 깊이 값으로 설정될 수 있다. 이 깊이 값은 제4 후보 깊이 값

으로 지칭될 수 있다. 많은 실시예에서, 제5 픽셀/제4 후보 깊이 값은 제4 픽셀 위의 전형적으로 작은 픽셀 세트로부터 선택될 수 있다. 예를 들어, 제4 후보 깊이 값

따라서 제3 프로세서(209)에 의한 접근법은 제2 처리된 깊이 맵을 최하부에서 최상부로의 방향으로 처리하고 제2 처리된 깊이 맵의 깊이 값을 유지하거나

깊이 값이 현재 픽셀들 아래의 픽셀들에서 위로 전파되도록 허용한다

.

깊이 값을 유지할지 또는 그것을 교체할지의 선택은 이전에 언급된 바와 같이 입력 깊이 맵 및 제2 처리된 깊이 맵 양쪽 모두에서의 깊이 스텝들에 의존하는 깊이 스텝 기준에 기초한다.

구체적으로, 깊이 스텝 기준은 입력 깊이 맵에서의 깊이 스텝의 절대 값이 제1 임계치보다 높지 않고 제2 처리된 이미지에서의 뒤쪽 깊이 스텝이 제2 임계치보다 낮지 않을 것을 요구할 수 있다.

따라서, 그러한 실시예에서, 제3 프로세서(209)가 입력 깊이 맵에는 작은 깊이 스텝만이 있지만 제2 처리된 깊이 맵에는 큰 뒤쪽 깊이 스텝이 있음을 검출하면(현재 픽셀로 이동할 때) 제2 처리된 깊이 맵은 위의 픽셀로부터의 깊이 값으로 대체될 수 있다. 이 경우에, 제2 처리된 깊이 맵에서의 큰 깊이 스텝은 제1 프로세서(205)가 원래 입력 깊이 맵에는 없는 깊이 전이를 도입했음을 나타낼 수 있다. 따라서, 제3 프로세서(209)는 더 앞쪽 깊이 값이 제5 픽셀로부터 현재 픽셀(제4 픽셀)로 전파될 수 있게 한다.

더 구체적으로, 깊이 스텝 기준은 제5 픽셀과 제4 픽셀 아래의 픽셀 사이의 입력 깊이 맵에서의 절대 깊이 스텝이 제6 임계치보다 높지 않고/않거나

제4 픽셀과 제4 픽셀 위의 픽셀 사이의 입력 이미지에서의 최대 절대 깊이 스텝이 제7 임계치보다 높지 않을

요건을 포함할 수 있다. 이들 요건은 현재 픽셀(제4 픽셀) 및 타겟 픽셀(제5 픽셀)에 대해 수평 또는 수직 방향으로 입력 이미지에 대응하는 깊이 스텝이 없다는 유리한 표시를 제공할 수 있다. 따라서, 이들 요건은 원래 깊이 맵이 국부적인 깊이 전이/스텝/불연속을 갖지 않았고 이에 따라 임의의 그러한 국부적인 전이/스텝/불연속이 제1 프로세서(205)에 의한 처리에 의해 도입되었을 수 있다는 양호한 표시를 제공한다.

깊이 스텝 기준은 많은 실시예에서 제5 픽셀에서 제4 픽셀로의 제2 처리된 이미지에서의 뒤쪽 깊이 스텝(의 크기)이 제8 임계치보다 낮지 않을, 즉 현재 픽셀들로의 스테핑이 카메라/뷰 포인트로부터 멀어지게 충분히 큰 깊이 스텝을 초래할 요건을 포함할 수 있다. 증가하는 깊이 값 D가 픽셀이 카메라/뷰 포인트에 더 가깝다는 것을 나타내는 실시예들에서, 이것은

에 의해 표현될 수 있다. 이것은 제1 프로세서(205)의 처리에 의해 잠재적으로 초래되었을 수 있는 뒤쪽 깊이 스텝이 존재한다는 적합한 표시를 제공할 수 있다.

특정 예로서, 제3 프로세서(209)는 다음의 알고리즘을 수행할 수 있다:

제2 프로세서(207)에 의한 처리에 관하여 제공된 다른 코멘트, 예 등이, 필요한 변경을 가하여, 제3 프로세서(209)에 의한 처리에 동등하게 적용된다는 것을 알 것이다.

도 6은 이 알고리즘을 도 5의 제2 처리된 깊이 맵에 적용한 결과를 예시한다. 볼 수 있는 바와 같이, 이미지의 왼쪽에 있는 팔의 깊이는 이제 사람의 몸에 영향을 미치지 않고서, 그리고 특히 사람의 발과 배경 사이의 일관성에 영향을 미치지 않고서, 사람의 나머지와 동일한 깊이 레벨로 복원되었다.

다시, 이 접근법은 유효한 이웃 픽셀들이 그에 대해 발견될 수 있는 적절한 픽셀들에만 적용될 수 있다는 것을 알 것이다. 일반적으로, 프로세스는 몇몇 픽셀에만 적용되도록 제한될 수 있고, 구체적으로 깊이 값을 계산하거나 수정하기 위한 특정 접근법은 다른 요구되는 이웃 깊이 값들이 그에 대해 이용 가능한 픽셀들에만 적용될 수 있다는 것을 알 것이다.

몇몇 실시예에서, 도 2의 깊이 처리 장치는 이전 처리에 의해 감소된 앞쪽 깊이 스텝의 일부를 복원하기 위해 몇몇 깊이 값이 오프셋될 수 있는 오프셋 깊이 맵을 생성하기 위해 제1 프로세서(205)에 의해 그리고 선택적으로 또한 제2 프로세서(207) 및/또는 제3 프로세서(209)에 의해 처리된 깊이 맵을 처리할 수 있는 깊이 오프셋 프로세서(211)를 추가로 포함할 수 있다. 따라서, 깊이 오프셋 프로세서(211)에 의해 처리된 깊이 맵은 제1 처리된 깊이 맵으로부터 도출되는 이미 처리된 깊이 맵일 수 있는데, 즉 제1 프로세서(205)에 의한 처리는 깊이 맵을 초래하는 프로세스의 일부였다. 따라서, 제1 처리된 깊이 맵은 제1 처리된 깊이 맵으로부터, 예를 들어 제2 프로세서(207) 및/또는 제3 프로세서(209)에 의한 처리에 의해 도출되었다. 도출된 깊이 맵은 단순히 제1 처리된 깊이 맵을 이것을 변경하지 않고서 사용하는 간단한 유도를 포함한다는 것을, 즉 깊이 오프셋 프로세서(211)에 공급되는 이미 처리된 깊이 맵은 몇몇 실시예에서 제1 처리된 깊이 맵 자체일 수 있다는 것을 알 것이다.

깊이 오프셋 프로세서(211)의 접근법의 예가 도 7을 참조하여 설명될 수 있으며, 이 도면은 맨 먼저 입력 깊이 맵에서의 열에 대한 가능한 깊이 프로파일

를 도시한다(이때 증가하는 y 값들은 이미지에서 더 상위 행들에 대응한다(즉 y는 최상부를 향해 증가한다)). 다음 프로파일은 제1 프로세서(205)에 의해 생성된 제1 처리된 깊이 맵의 결과적인 깊이 프로파일

를 도시한다. 볼 수 있는 바와 같이, 증가하는 y 값들에 대한 앞쪽 깊이 스텝들은 허용되지 않으며 이에 따라 그러한 깊이 스텝들이 발생하는 경우 깊이 값들은 감소된다.

도 7의 최하위 차트는 깊이 오프셋 프로세서(211)에 의한 예시적인 깊이 처리 후의 가능한 결과적인 깊이 프로파일

를 예시한다. 이 예에서, 앞쪽 깊이 스텝들 중 일부가 재도입되었다. 구체적으로, 이 예에서, 원래 깊이 값들, 및 이에 따라 깊이 스텝들은 최대 깊이 스텝 값 D_maxstep을 조건으로 복귀되었다.구체적으로, 깊이 오프셋 프로세서(211)는 다음의 동작을 수행할 수 있으며:

여기서

는 원래 입력 깊이 맵의 깊이 값이고

는 제1 프로세서(205)(및 선택적으로 제2 프로세서(207) 및 제3 프로세서(209))에 의한 처리의 결과이다.

는 깊이 오프셋 프로세서(211)의 최종 출력이다. 파라미터

은 최대 허용 깊이 차이이다(전형적으로 동적 범위가 0...255인 깊이 맵에 대해 예를 들어 5로 설정됨).

따라서, 이 접근법에서, 일부의, 전형적으로 작은, 앞쪽 깊이 스텝들이 허용/재도입된다. 이 접근법은 많은 시나리오에서 개선된 인식 품질을 초래할 수 있다. 예를 들어, 그것은 이미지 객체들에 얼마간의 깊이 텍스처 및 변화를 도입(그에 의해 예를 들어 예컨대 움직이는 사람의 평평한/판지 모양을 방지하거나 완화)하는 동시에 여전히 이들이 도드라지는 것으로/예를 들어 지면 위에 떠 있는 것으로 인식되지 않는 것을 보장할 수 있다.

따라서 깊이 오프셋 프로세서(211)는 (예를 들어 특정 실시예에 따라 제1 프로세서(205), 제2 프로세서(207), 또는 제3 프로세서(209) 중 임의의 것으로부터 수신될 수 있는) 수신된 깊이 맵의 깊이 값들을 오프셋할 수 있다. 주어진 픽셀에 대한 오프셋은 공손하게 수신된 처리된 깊이 맵과 원래 입력 깊이 맵에서의 이 픽셀에 대한 깊이 값 사이의 차이에 기초하여 결정될 수 있다.

전술한 바와 같은 몇몇 실시예에서, 오프셋은 단순히, 최대 값을 조건으로, 이들 사이의 차이와 동등할 수 있다(그리고 이에 따라 깊이 오프셋 프로세서(211)는 상대 깊이 스텝이 해당 레벨에서 값이 클리핑되는 최대 값을 초과하지 않는 한 입력 깊이 값을 복원한다).

몇몇 실시예에서, 오프셋은 최대 값과의 비교 전에 1 미만의 스케일 팩터에 의해 스케일링될 수 있다. 따라서, 깊이 변화는 더 높은 범위가 표현되도록 허용하면서 축소될 수 있다.

제1 프로세서(205)(및 선택적으로 제2 프로세서(207) 및 제3 프로세서(209))에 의한 후처리의 효과는 더 자연스럽게 보이는 3D 관찰 경험을 제공할 수 있지만 그 대가로 인식 깊이 효과는 잠재적으로 상당히 감소된다. 여전히 비교적 작은 깊이 스텝(최대

)을 허용함으로써, 3D 깊이 인식의 최소 손실과 조합된 지각적으로 더 자연스러운 3D 거동을 달성하는 것이 가능하다. 도 8은 깊이 오프셋 프로세서(211)에 공급되는 깊이 맵 (a) 및 깊이 오프셋 프로세서(211)에 의해 생성된 대응하는 출력 깊이 맵 (b)의 예를 예시한다.

위의 설명은 명료함을 위해 상이한 기능 회로들, 유닛들 및 프로세서들을 참조하여 본 발명의 실시예들을 설명하였음을 알 것이다. 그러나, 본 발명으로부터 벗어남이 없이 상이한 기능 회로들, 유닛들 또는 프로세서들 간의 기능의 임의의 적합한 분산이 사용될 수 있음이 명백할 것이다. 예를 들어, 별개의 프로세서들 또는 컨트롤러들에 의해 수행되도록 예시된 기능이 동일한 프로세서 또는 컨트롤러에 의해 수행될 수 있다. 따라서, 특정 기능 유닛들 또는 회로들에 대한 언급들은 오로지 엄격한 논리적 또는 물리적 구조 또는 조직을 나타내기보다는 설명된 기능을 제공하기 위한 적합한 수단에 대한 언급들로 간주되어야 한다.

본 발명은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합을 포함한 임의의 적합한 형태로 구현될 수 있다. 본 발명은 선택적으로 하나 이상의 데이터 프로세서 및/또는 디지털 신호 프로세서 상에서 실행되는 컴퓨터 소프트웨어로서 적어도 부분적으로 구현될 수 있다. 본 발명의 실시예의 요소들 및 컴포넌트들은 임의의 적합한 방식으로 물리적으로, 기능적으로 그리고 논리적으로 구현될 수 있다. 실제로, 기능은 단일 유닛에서, 복수의 유닛에서, 또는 다른 기능 유닛들의 일부로서 구현될 수 있다. 그렇기 때문에, 본 발명은 단일 유닛에서 구현될 수 있거나, 상이한 유닛들, 회로들 및 프로세서들 간에 물리적으로 그리고 기능적으로 분산될 수 있다.

본 발명이 몇몇 실시예들과 관련하여 설명되었지만, 본 명세서에 기재된 특정 형태로 제한되도록 의도되지 않는다. 오히려, 본 발명의 범주는 첨부된 청구범위에 의해서만 제한된다. 또한, 소정 특징이 특정 실시예들과 관련하여 설명되는 것처럼 보일 수 있지만, 당업자는 설명된 실시예들의 다양한 특징들이 본 발명에 따라 조합될 수 있음을 인식할 것이다. 청구범위에서, 용어 '포함하는'은 다른 요소들 또는 단계들의 존재를 배제하지 않는다.

또한, 개별적으로 열거되지만, 복수의 수단, 요소, 회로 또는 방법 단계는 예를 들어 단일 회로, 유닛 또는 프로세서에 의해 구현될 수 있다. 또한, 개별 특징들이 상이한 청구항들에 포함될 수 있지만, 이들은 아마도 유리하게 조합될 수 있으며, 상이한 청구항들에의 포함은 특징들의 조합이 실현 가능하지 않고/않거나 유리하지 않다는 것을 암시하지는 않는다. 또한, 하나의 카테고리의 청구항들에의 소정 특징의 포함은 이 카테고리로의 제한을 암시하는 것이 아니라, 오히려 그 특징이 적절한 바에 따라 다른 청구항 카테고리들에 동등하게 적용될 수 있음을 나타낸다. 또한, 청구항들에서의 특징들의 순서는 특징들이 작용되어야 하는 임의의 특정 순서를 암시하지는 않으며, 특히 방법 청구항에서의 개별 단계들의 순서는 단계들이 이 순서대로 수행되어야 함을 암시하지는 않는다. 오히려, 단계들은 임의의 적합한 순서로 수행될 수 있다. 또한, 단수형 언급은 복수를 배제하지 않는다. 따라서, "부정관사(a, an)", "제1", "제2" 등에 대한 언급은 복수를 배제하지 않는다. 청구범위에서의 참조 부호들은 단지 명료화 예로서 제공되며, 어떤 방식으로도 청구범위의 범주를 제한하는 것으로 해석되지 않아야 한다.

Claims

깊이 맵(depth map)을 처리하기 위한 장치로서,
입력 깊이 맵을 수신하기 위한 수신기(203);
상기 입력 깊이 맵의 복수의 제1 픽셀들을 최하부에서 최상부로의 방향으로 처리함으로써 제1 처리된 깊이 맵을 생성하기 위한 제1 프로세서(205)를 포함하며,
상기 복수의 제1 픽셀들 중 각각의 제1 픽셀의 처리는 상기 제1 처리된 깊이 맵에 대한 상기 제1 픽셀에 대한 깊이 값을,
상기 입력 깊이 맵에서의 상기 제1 픽셀에 대한 깊이 값, 및
상기 제1 픽셀 아래에 있는 제1 픽셀 세트에 대한 상기 제1 처리된 깊이 맵에서의 깊이 값들에 응답하여 결정된 깊이 값
중 뒤쪽으로 가장 먼 깊이 값으로서 결정하는 것을 포함하는, 깊이 맵을 처리하기 위한 장치.
제1항에 있어서, 상기 제1 픽셀 세트는 상기 제1 픽셀의 행(row) 바로 아래의 행의 픽셀들을 포함하는, 깊이 맵을 처리하기 위한 장치.
제1항 또는 제2항에 있어서, 상기 제1 픽셀 세트는 20개 이하의 픽셀들을 포함하는, 깊이 맵을 처리하기 위한 장치.
제1항 또는 제2항에 있어서, 상기 장치는 상기 제1 처리된 깊이 맵에서의 복수의 제2 픽셀들을 최상부에서 최하부로의 방향으로 처리함으로써 제2 처리된 깊이 맵을 생성하기 위한 제2 프로세서(207)를 추가로 포함하며,
상기 제2 처리된 깊이 맵에서의 각각의 제2 픽셀에 대한 깊이 값을 생성하는 것은,
깊이 스텝 기준(depth step criterion)이 충족되는 경우,
상기 제2 픽셀에 대한 상기 제2 처리된 깊이 맵에서의 상기 깊이 값을 상기 제2 픽셀에 대한 제3 픽셀에 대한 상기 제1 처리된 맵의 깊이 값으로서 설정하고(상기 제3 픽셀은 상기 제2 픽셀 위에 있다),
그렇지 않은 경우,
상기 제2 픽셀에 대한 상기 제2 처리된 깊이 맵에서의 상기 깊이 값을 상기 제1 처리된 깊이 맵에서의 상기 제2 픽셀에 대한 깊이 값으로서 설정하는 것을 포함하며,
상기 깊이 스텝 기준은 상기 입력 깊이 맵 및 상기 제1 처리된 깊이 맵 둘 모두에서의 깊이 스텝들에 의존하는, 깊이 맵을 처리하기 위한 장치.
제4항에 있어서, 상기 깊이 스텝 기준은 상기 입력 깊이 맵에서의 깊이 스텝의 절대 값이 제1 임계치보다 높지 않고 상기 제1 처리된 이미지에서의 뒤쪽 깊이 스텝이 제2 임계치보다 낮지 않을 것을 요구하는, 깊이 맵을 처리하기 위한 장치.
제4항에 있어서, 상기 깊이 스텝 기준은 상기 제3 픽셀과 상기 제2 픽셀 위의 픽셀 간의 상기 입력 깊이 맵에서의 절대 깊이 스텝이 제3 임계치보다 높지 않을 요건을 포함하는, 깊이 맵을 처리하기 위한 장치.
제4항에 있어서, 상기 깊이 스텝 기준은 상기 제2 픽셀과 상기 제2 픽셀 위의 픽셀 간의 입력 이미지에서의 최대 절대 깊이 스텝이 제4 임계치보다 높지 않을 요건을 포함하는, 깊이 맵을 처리하기 위한 장치.
제4항에 있어서, 상기 깊이 스텝 기준은 상기 제3 픽셀에서 상기 제2 픽셀로의 상기 제1 처리된 이미지에서의 뒤쪽 깊이 스텝이 제5 임계치보다 낮지 않을 요건을 포함하는, 깊이 맵을 처리하기 위한 장치.
제4항에 있어서, 상기 제2 프로세서(207)는 상기 제2 픽셀의 행 바로 위의 행에 포함된 제2 픽셀 세트로부터 상기 제3 픽셀을 선택하도록 배열되는, 깊이 맵을 처리하기 위한 장치.
제1항 또는 제2항에 있어서, 상기 제1 프로세서(205)는
상기 제1 픽셀 세트의 상기 깊이 값들 중 최대 값
에 기초하여 상기 제1 픽셀에 대한 상기 제1 처리된 깊이 맵의 상기 깊이 값을 결정하도록 배열되는, 깊이 맵을 처리하기 위한 장치.
제4항에 있어서, 상기 장치는 상기 제2 처리된 깊이 맵에서의 복수의 제4 픽셀들을 최하부에서 최상부로의 방향으로 처리함으로써 제3 처리된 깊이 맵을 생성하기 위한 제3 프로세서(209)를 추가로 포함하며,
상기 제3 처리된 깊이 맵에서의 상기 복수의 제4 픽셀들 중 각각의 제4 픽셀에 대한 깊이 값을 생성하는 것은,
깊이 스텝 기준이 충족되는 경우,
상기 제4 픽셀에 대한 상기 제3 처리된 깊이 맵에서의 상기 깊이 값을 상기 제4 픽셀에 대한 제5 픽셀에 대한 상기 제2 처리된 맵의 깊이 값으로서 설정하고(상기 제5 픽셀은 상기 제4 픽셀 아래에 있다),
그렇지 않은 경우,
상기 제4 픽셀에 대한 상기 제3 처리된 깊이 맵에서의 상기 깊이 값을 상기 제2 처리된 깊이 맵에서의 상기 제4 픽셀에 대한 깊이 값으로서 설정하는 것을 포함하며,
상기 깊이 스텝 기준은 상기 입력 깊이 맵 및 상기 제2 처리된 깊이 맵 둘 모두에서의 깊이 스텝들에 의존하는, 깊이 맵을 처리하기 위한 장치.
제1항 또는 제2항에 있어서, 상기 장치는 이전에 처리된 깊이 맵의 픽셀들을 처리하도록 배열된 깊이 오프셋 프로세서(depth offset processor)(211)를 추가로 포함하며, 상기 이전에 처리된 깊이 맵은 상기 제1 처리된 깊이 맵으로부터 도출되고, 상기 처리는 주어진 픽셀에 대한 상기 이전에 처리된 깊이 맵의 깊이 값을 상기 주어진 픽셀에 대한 상기 이전에 처리된 깊이 맵의 깊이 값과 상기 주어진 픽셀에 대한 상기 입력 깊이 맵의 깊이 값 간의 차이에 응답하여 결정된 값에 의해 수정하는 것을 포함하는, 깊이 맵을 처리하기 위한 장치.
제1항 또는 제2항에 있어서, 장면의 이미지들의 시퀀스에서의 모션 추정 및 상기 장면에 대한 미리 결정된 깊이 프로파일에 기초한 깊이 큐(depth cue)들에 응답하여 상기 입력 깊이 맵을 생성하기 위한 깊이 맵 생성기(201)를 추가로 포함하는, 깊이 맵을 처리하기 위한 장치.
깊이 맵을 처리하는 방법으로서,
입력 깊이 맵을 수신하는 단계;
상기 입력 깊이 맵의 복수의 제1 픽셀들을 최하부에서 최상부로의 방향으로 처리함으로써 제1 처리된 깊이 맵을 생성하는 단계를 포함하며,
상기 복수의 제1 픽셀들 중 각각의 제1 픽셀의 처리는 상기 제1 처리된 깊이 맵에 대한 상기 제1 픽셀에 대한 깊이 값을,
상기 입력 깊이 맵에서의 상기 제1 픽셀에 대한 깊이 값, 및
상기 제1 픽셀 아래에 있는 제1 픽셀 세트에 대한 상기 제1 처리된 깊이 맵에서의 깊이 값들에 응답하여 결정된 깊이 값
중 뒤쪽으로 가장 먼 깊이 값으로서 결정하는 단계를 포함하는, 깊이 맵을 처리하는 방법.
컴퓨터 프로그램이 기록된 컴퓨터 판독가능한 기록 매체로서, 상기 프로그램이 컴퓨터 상에서 실행될 때 제14항의 단계들 모두를 수행하도록 구성된 컴퓨터 프로그램 코드 수단을 포함하는, 컴퓨터 프로그램이 기록된 컴퓨터 판독가능한 기록 매체.