KR102111181B1 - 어레이 카메라를 사용하여 포착된 영상에서의 시차 검출 및 보정을 위한 시스템 및 방법 - Google Patents

Abstract

본 발명의 실시예들에 따른 시스템은 어레이 카메라들을 사용하여 포착된 영상들에서 시차 검출 및 보정을 수행할 수 있다. 카메라들의 상이한 시점들로 인해, 시차는 장면의 포착된 영상들 내의 객체들의 위치의 변동을 초래한다. 본 발명의 실시예들에 따른 방법들은 어레이에서의 상이한 카메라들 사이의 시차로 인한 픽셀 불일치의 정확한 설명을 제공하고, 따라서 초해상도 처리(super-resolution processing)를 수행할 때 적절한 장면 의존적인 기하학적 시프트들이 포착된 영상들의 픽셀들에 적용될 수 있다. 몇몇 실시예들에서, 시차를 검출하는 것은 기준 시점으로부터의 영상에서의 픽셀 위치의 깊이를 추정하기 위해 영상들의 경쟁하는 서브셋들을 사용하는 것을 포함한다. 다수의 실시예들에서, 깊이 추정치들을 발생시키는 것은 다수의 스펙트럼 채널들에서의 픽셀들의 유사도를 고려한다. 특정의 실시예들에서, 깊이 추정치들을 발생시키는 것은 깊이 추정치들의 신뢰성을 나타내는 신뢰도 맵을 발생시키는 것을 포함한다.

Description

어레이 카메라를 사용하여 포착된 영상에서의 시차 검출 및 보정을 위한 시스템 및 방법{SYSTEMS AND METHODS FOR PARALLAX DETECTION AND CORRECTION IN IMAGES CAPTURED USING ARRAY CAMERAS}

본 발명은 일반적으로 디지털 카메라에 관한 것이며, 보다 구체적으로는 어레이 카메라(array camera)들을 사용하여 포착된 영상에서의 시차(parallax)의 검출 및 보정에 관한 것이다.

장면의 양안 관찰(binocular viewing)은 각각의 눈의 상이한 시야들로 인해 장면의 2개의 약간 상이한 영상들을 생성한다. 양안 불일치(binocular disparity)(또는 시차(parallax))라고 하는 이 차이들은 깊이 지각(depth perception)의 주된 수단을 제공하는, 시각적 장면(visual scene)에서의 깊이를 계산하는 데 사용될 수 있는 정보를 제공한다. 입체 깊이 지각(stereoscopic depth perception)과 연관된 깊이의 느낌(impression)도 관측자가 움직이는 동안 하나의 눈으로만 장면을 볼 때와 같은 다른 조건들 하에서 획득될 수 있다. 장면 내의 객체들에 대한 깊이 정보를 획득하기 위해 관측된 시차가 이용될 수 있다. 기계 시각(machine vision)에서의 유사한 원리들이 깊이 정보를 수집하기 위해 사용될 수 있다.

일정 거리만큼 떨어져 있는 2개 이상의 카메라들이 동일한 장면의 사진들을 찍을 수 있고, 포착된 영상들은 일치하는 영상들의 부분들을 찾기 위해 2개 이상의 영상들의 픽셀들을 시프트(shift)시키는 것에 의해 비교될 수 있다. 객체가 상이한 카메라 뷰들 사이에서 시프트하는 양은 객체까지의 거리에 역비례하는 불일치(disparity)라고 불리운다. 다수의 영상들에서의 객체의 시프트를 검출하는 불일치 탐색은 카메라들 사이의 기준선 거리(baseline distance) 및 연관된 카메라들의 초점 거리(focal length)에 기초하여 객체까지의 거리를 계산하는 데 사용될 수 있다. 입체 3차원 영상들을 발생시키기 위해 2개 이상의 카메라들을 사용하는 접근 방법은 흔히 다시점 스테레오(multi-view stereo)라고 한다.

다시점 스테레오는 일반적으로 다음과 같은 구성요소들의 면에서 기술될 수 있다: 정합 기준(matching criterion), 집계 방법(aggregation method), 및 승자 선택(winner selection). 정합 기준은 상이한 영상들에 걸쳐 픽셀들 또는 영역들의 유사도(similarity)를 측정하는 수단으로서 사용된다. 전형적인 오차 척도(error measure)는 영상들 간의 RGB 또는 명도(intensity) 차이이다(이 차이들이 제곱될 수 있거나, 강건한 척도들이 사용될 수 있다). 일부 방법들은 국소 오차 표면(local error surface)의 해석적 최소(analytic minimum)를 계산하는 것에 의해 서브픽셀 불일치(subpixel disparity)를 계산하거나 경사 기반(gradient-based) 기법들을 사용한다. 하나의 방법은 하나의 영상에서의 픽셀과 다른 영상에서의 보간된 명도 함수(intensity function) 간의 최소 차이를 구하는 것을 포함한다. 집계 방법은 탐색 공간(search space)에 걸친 오차 함수(error function)가 계산되거나 누적되는 방식을 말한다. 가장 직접적인 방식은 다수의 카메라들에 대해 소정의 불일치 공간(disparity space)에 걸쳐 고정된 크기의 탐색 창(search window)들을 적용하는 것이다. 다른 방식들은 적응 창(adaptive window), 이동 창(shiftable window), 또는 다중 마스크(multiple mask)를 사용한다. 다른 일련의 방법들은 3D 공간에서의 투표(vote)들을 누적한다(예컨대, 공간 스위프(space sweep) 접근 방법 및 복셀 컬러링(voxel coloring) 및 그 변형들). 초기의 또는 집계된 정합 비용(matching cost)들이 계산되면, 각각의 픽셀에 대한 올바른 불일치 할당(disparity assignment)에 관한 결정이 행해진다. 국소 방법들은, 전형적으로 최소의 집계된 값을 갖는 불일치를 선택하는 것에 의해, 각각의 픽셀에서 독립적으로 이것을 행한다. 최상의 할당들에 대해 반복하여 결정하기 위해 협력/경쟁 알고리즘들이 사용될 수 있다. 일반 명도 유사도 정합(general intensity similarity match)들 또는 에지 특징(edge feature)들과 연관된 깊이들을 계산하기 위해 동적 프로그래밍이 사용될 수 있다. 이 접근 방법들은 깊이 불연속 및 부정합 영역들을 처리하기 위해 에피폴라 라인(epipolar line)을 따라 1차원 순서 제약사항(ordering constraint)들을 이용할 수 있다. 또 다른 부류의 방법들은 스테레오 정합(stereo matching)을, 시뮬레이티드 어닐링(simulated annealing) 및 그래프 컷(graph cut)과 같은 전역적 방법들에 의해 해결될 수 있는 전역 최적화 문제(global optimization problem)로서 정형화한다.

보다 최근에, 연구자들은 명시야 영상(light field image)들을 포착하기 위해 보다 넓은 합성 개구(synthetic aperture)에 걸쳐 있는 다수의 카메라들(예컨대, 스탠포드 다중 카메라 어레이(Stanford Multi-Camera Array))을 사용하였다. 장면 내의 모든 지점들에서의 모든 방향으로부터의 광을 특징지우는 4D 함수로서 종종 정의되는 명시야는 장면의 2차원(2D) 영상들의 2D 컬렉션(2D collection)으로서 해석될 수 있다. 실제의 제약사항들로 인해, 명시야를 형성하는 장면의 2D 영상들의 컬렉션을 동시에 포착하는 일은 통상적으로 어렵다. 그렇지만, 영상 데이터가 카메라들 각각에 의해 포착되는 시간이 가까울수록, 광 세기(예컨대, 형광등의 다른 방식으로는 지각가능하지 않은 플리커(flicker)) 또는 객체 움직임의 그 변동이 포착된 영상들 간의 시간 의존적 변동을 초래할 가능성이 적다. 큰 개구를 갖는 카메라들을 시뮬레이트하기 위해 명시야를 포착 및 재샘플링하는 것을 포함하는 프로세스들이 이용될 수 있다. 예를 들어, 장면 쪽으로 향해 있는 M x N 카메라들의 어레이는 그 어레이만큼 큰 렌즈의 집속 효과(focusing effect)들을 시뮬레이트할 수 있다. 카메라 어레이들을 이와 같이 사용하는 것은 합성 개구 사진 기법(synthetic aperture photography)이라고 할 수 있다.

스테레오 정합이 원래 한 쌍의 영상들로부터 3D 형상을 복구하는 것으로서 정형화되었지만, 카메라 어레이를 사용하여 포착된 명시야는 또한 스테레오 정합에서 사용된 것들과 유사한 알고리즘들을 사용하여 3D 형상을 재구성하는 데 사용될 수 있다. 보다 많은 영상들이 부가될 때, 문제는 부분적으로 폐색된 영역(partially occluded region)들(전부가 아닌 일부 영상들에서 보이는 픽셀들)의 존재가 또한 증가한다는 것이다.

본 발명의 실시예들에 따른 시스템 및 방법은 어레이 카메라들을 사용하여 포착된 영상들에서 시차 검출 및 보정을 수행할 수 있다. 영상 처리 애플리케이션에 의해 구성된 프로세서를 사용하여 상이한 시점(viewpoint)들로부터 포착된 일련의 영상들을 포함하는 명시야로부터의 장면 내의 객체들까지의 거리를 추정하는 본 발명의 방법의 일 실시예는 상이한 시점들로부터 포착된 일련의 영상들의 시점들에 대한 기준 시점(reference viewpoint)을 선택하는 단계; 일련의 영상들 내의 대응하는 픽셀들의 유사도를 증가시키기 위해 일련의 영상들을 정규화하는 단계; 및 일련의 영상들의 적어도 하나의 서브셋을 사용하여 기준 시점으로부터의 영상에서의 픽셀 위치들에 대한 초기 깊이 추정치들을 결정하는 단계를 포함하고, 여기서 기준 시점으로부터의 영상에서의 주어진 픽셀 위치에 대한 초기 깊이 추정치는 복수의 깊이들에서의 예상된 불일치에 기초하여 기준 시점으로부터의 영상에서의 주어진 픽셀 위치에 대응하는 일련의 영상들의 적어도 하나의 서브셋에서의 픽셀들을 식별하는 것; 복수의 깊이들 각각에서 식별된 대응하는 픽셀들의 유사도를 비교하는 것; 및 식별된 대응하는 픽셀들이 가장 높은 정도의 유사도를 가지는 복수의 깊이들 중의 깊이를 기준 시점으로부터의 영상에서의 주어진 픽셀 위치에 대한 초기 깊이 추정치로서 선택하는 것에 의해 결정된다. 그에 부가하여, 본 방법은 초기 깊이 추정치들을 사용하여 일련의 영상들에서의 대응하는 픽셀들을 식별하는 단계; 및 부정합 픽셀들을 검출하기 위해 일련의 영상들에서의 대응하는 픽셀들의 유사도를 비교하는 단계를 포함한다. 초기 깊이 추정치로부터, 일련의 영상들에서의 대응하는 픽셀들 간의 부정합이 검출되지 않을 때, 초기 깊이 추정치를 기준 시점으로부터의 영상에서의 픽셀 위치에 대한 현재의 깊이 추정치로서 선택한다. 초기 깊이 추정치로부터, 일련의 영상들에서의 대응하는 픽셀들 간의 부정합이 검출될 때, 일련의 영상들의 복수의 상이한 서브셋들을 사용하여 일련의 후보 깊이 추정치들을 결정하는 것; 후보 깊이 추정치들에 기초하여 일련의 영상들의 복수의 서브셋들 각각에서의 대응하는 픽셀들을 식별하는 것; 및 가장 유사한 대응하는 픽셀들을 가지는 서브셋의 후보 깊이를 기준 시점으로부터의 영상에서의 픽셀 위치에 대한 현재의 깊이 추정치로서 선택하는 것에 의해 기준 시점으로부터의 영상에서의 픽셀 위치에 대한 현재의 깊이 추정치를 선택한다.

추가의 실시예에서, 상이한 시점들로부터 포착된 일련의 영상들의 시점들에 대한 기준 시점을 선택하는 단계는, 영상들 중 하나의 영상의 시점; 및 가상 시점(virtual viewpoint)으로 이루어진 세트로부터 시점을 선택하는 단계를 포함한다.

다른 실시예에서, 기준 시점으로부터의 영상에서의 픽셀 위치에 대응하는 일련의 영상들 중의 주어진 영상에서의 픽셀은, 기준 시점으로부터의 영상에서의 픽셀 위치의 깊이 추정치; 및 주어진 영상의 시점과 기준 시점 간의 기준선(baseline)에 기초하여 결정되는 장면 의존적인 시프트(scene dependent shift)를 기준 시점으로부터의 영상에서의 픽셀 위치에 적용하는 것에 의해 결정된다.

다른 추가의 실시예에서, 기준 시점으로부터의 영상에서의 주어진 픽셀 위치가 서브셋 내의 각각의 영상에서 보이는 적어도 하나의 서브셋을 초래할 가능성이 있는 자연 장면들의 가시성 특성(visibility characteristic)의 패턴들을 이용하기 위해, 일련의 후보 깊이 추정치들을 결정하는 데 사용되는 일련의 영상들의 서브셋들이 일련의 영상들에서의 영상들의 시점들에 기초하여 선택된다.

또 다른 실시예에서, 일련의 영상들이 다수의 색상 채널(color channel)들 내에서 포착되고; 상이한 시점들로부터 포착된 일련의 영상들의 시점들에 대한 기준 시점을 선택하는 단계는, 영상들 중 하나를 기준 영상으로서 선택하고 기준 영상의 시점을 기준 시점으로서 선택하는 단계를 포함하고; 일련의 후보 깊이 추정치들을 결정하는 데 사용되는 일련의 영상들의 서브셋들은 기준 영상을 포함하는 색상 채널에서의 동일한 수의 영상들이 각각의 서브셋에 나타나도록 선택된다.

다른 추가의 실시예에서, 일련의 후보 깊이 추정치들을 결정하는 데 사용되는 일련의 영상들의 서브셋들은 또한 각각의 서브셋에 기준 영상을 포함하지 않는 색상 채널들에 적어도 2개의 영상들이 있도록 선택된다.

또 다른 실시예는 또한 현재의 깊이 추정치들을 사용하여 일련의 영상들에서의 대응하는 픽셀들을 식별하는 것; 및 주어진 영상에서의 픽셀이 대응하는 픽셀들의 비교에 기초하여 결정된 측광 유사도 기준(photometric similarity criterion)을 충족시키지 못할 때, 픽셀이 기준 시점으로부터의 영상에서 보이지 않는 것으로 결정하는 것에 의해 기준 시점으로부터의 일련의 영상들에서의 픽셀들의 가시성(visibility)을 결정하는 단계를 포함한다.

추가의 실시예에서도, 상이한 시점들로부터 포착된 일련의 영상들의 시점들에 대한 기준 시점을 선택하는 단계는, 일련의 영상들에서의 영상들 중 하나를 기준 영상으로서 선택하고 기준 영상의 시점을 기준 시점으로서 선택하는 단계를 포함하고; 주어진 영상에서의 픽셀이 대응하는 픽셀들의 비교에 기초하여 결정된 측광 유사도 기준을 충족시키지 못할 때, 픽셀이 기준 시점으로부터의 영상에서 보이지 않는 것으로 결정하는 단계는, 주어진 영상에서의 픽셀을 기준 영상에서의 대응하는 픽셀과 비교하는 단계를 더 포함한다.

다른 실시예에서도, 측광 유사도 기준은 적어도, 주어진 영상에서의 픽셀 및 기준 영상에서의 픽셀 중 적어도 하나의 픽셀의 명도에 기초하여 적응하는 유사도 임계치(similarity threshold)를 포함한다.

추가의 부가적인 실시예에서, 측광 유사도 기준은 기준 영상으로부터의 대응하는 픽셀과 기준 영상으로부터의 픽셀과 가장 유사한 대응하는 픽셀 사이의 측광 거리(photometric distance)의 함수로서 적응하는 유사도 임계치를 포함한다.

다른 부가의 실시예에서, 측광 유사도 기준은 기준 영상에서의 픽셀의 신호대 잡음비(signal to noise ratio)에 기초하여 적응하는 유사도 임계치를 포함한다.

또 다른 추가의 실시예에서, 신호대 잡음비에 기초하여 유사도 임계치를 적응시키는 것은, 기준 영상으로부터의 대응하는 픽셀과 기준 영상으로부터의 픽셀에 가장 유사한 대응하는 픽셀의 측광 거리를 스케일링하고 오프셋을 적용하여 적절한 임계치를 획득하는 것에 의해 근사화된다.

또 다른 실시예에서, 일련의 영상들은 복수의 색상 채널들에서 포착된 영상들을 포함하고, 기준 영상은 제1 색상 채널에서 포착된 영상이며, 주어진 영상은 제2 색상 채널에서 포착된 영상이고; 주어진 영상에서의 픽셀이 대응하는 픽셀들의 비교에 기초하여 결정된 측광 유사도 기준을 충족시키지 못할 때, 픽셀이 기준 시점에 보이지 않는 것으로 결정하는 단계는, 기준 시점으로부터의 영상에서의 대응하는 픽셀이 보이는 제2 색상 채널에서의 영상을 제2 색상 채널에 대한 기준 영상으로서 선택하는 단계; 및 주어진 영상에서의 픽셀을 제2 색상 채널에 대한 기준 영상에서의 대응하는 픽셀과 비교하는 단계를 더 포함한다.

다른 추가의 실시예에서도, 상이한 시점들로부터 포착된 일련의 영상들의 시점들에 대한 기준 시점을 선택하는 단계는, 가상 시점을 기준 시점으로서 선택하는 단계를 포함하고; 주어진 영상에서의 픽셀이 대응하는 픽셀들의 비교에 기초하여 결정된 측광 유사도 기준을 충족시키지 못할 때, 픽셀이 기준 시점으로부터의 영상에서 보이지 않는 것으로 결정하는 단계는, 가상 시점에 인접한 영상을 기준 영상으로서 선택하는 단계; 및 주어진 영상에서의 픽셀을 기준 영상에서의 대응하는 픽셀과 비교하는 단계를 더 포함한다.

또 다른 실시예에서도, 가상 시점에 인접한 영상은, 주어진 영상으로부터의 픽셀에 대한 선택된 영상에서의 대응하는 픽셀이 기준 시점으로부터의 영상에서 보이는 것에 기초하여 선택된다.

다른 추가의 실시예도 또한 주어진 픽셀에 대한 현재의 깊이 추정치에 기초하여 기준 시점으로부터의 영상에서의 주어진 픽셀 위치가 보이는 것으로 결정되는 영상들을 사용하여 일련의 영상들의 업데이트된 서브셋을 발생시키는 것; 복수의 깊이들에서의 예상된 불일치에 기초하여 기준 시점으로부터의 영상에서의 주어진 픽셀 위치에 대응하는 일련의 영상들의 업데이트된 서브셋에서의 픽셀들을 식별하는 것; 복수의 깊이들 각각에서 식별된 영상들의 업데이트된 서브셋에서의 대응하는 픽셀들의 유사도를 비교하는 것; 및 일련의 영상들의 업데이트된 서브셋에서의 식별된 대응하는 픽셀들이 가장 높은 정도의 유사도를 가지는 복수의 깊이들 중의 깊이를 기준 시점으로부터의 영상에서의 주어진 픽셀 위치에 대한 업데이트된 깊이 추정치로서 선택하는 것에 의해 기준 시점으로부터의 일련의 영상들에서의 픽셀들의 가시성에 기초하여 기준 시점으로부터의 영상에서의 주어진 픽셀 위치에 대한 깊이 추정치를 업데이트하는 단계를 포함한다.

또 다른 실시예에서도, 일련의 영상들의 서브셋들은 영상들의 쌍들이고; 일련의 영상들의 업데이트된 서브셋은 적어도 3개의 영상들을 포함한다.

다른 추가의 부가 실시예에서, 일련의 영상들 내의 대응하는 픽셀들의 유사도를 증가시키기 위해 일련의 영상들을 정규화하는 단계는, 일련의 영상들 중의 영상들에서의 측광 변동(photometric variation)들 및 장면 독립적인 기하학적 왜곡(scene-independent geometric distortion)들을 보정하기 위해 교정 정보(calibration information)를 이용하는 단계, 및 일련의 영상들 중의 영상들을 정렬(rectification)하는 단계를 더 포함한다.

또 다른 부가의 실시예에서, 일련의 영상들 내의 대응하는 픽셀들의 유사도를 증가시키기 위해 일련의 영상들을 정규화하는 단계는, 일련의 영상들에서의 대응하는 픽셀들의 유사도를 증가시키기 위해 영상들을 재샘플링하는 단계를 더 포함하고; 영상들에 적용되는 장면 독립적인 기하학적 보정(scene-independent geometric correction)들은 서브픽셀 해상도로 결정된다.

다른 추가의 부가 실시예에서, 측광 변동을 보정하기 위해 교정 정보를 이용하는 단계는, 블랙 레벨(Black Level) 계산 및 조정; 비네팅 보정(vignetting correction); 횡색 보정(lateral color correction); 및 온도 정규화(temperature normalization)로 이루어진 그룹으로부터 선택된 정규화 프로세스들 중 임의의 것을 수행하는 단계를 더 포함한다.

또 다른 부가의 실시예에서, 장면 독립적인 기하학적 보정은 또한 일련의 영상들을 포착한 카메라들의 어레이에서의 렌즈들의 왜곡 및 회전을 참작하기 위한 정렬을 포함한다.

추가적인 부가의 실시예에서도, 대응하는 픽셀들의 유사도를 결정하기 위해 비용 함수(cost function)가 이용된다.

다른 부가의 실시예에서도, 대응하는 픽셀들의 유사도를 결정하는 단계는, 계산된 비용들을 공간적으로 필터링하는 단계를 더 포함한다.

다른 추가의 실시예에서, 식별된 대응하는 픽셀들이 가장 높은 정도의 유사도를 가지는 복수의 깊이들 중의 깊이를 기준 시점으로부터의 영상에서의 주어진 픽셀 위치에 대한 초기 깊이 추정치로서 선택하는 단계는, 식별된 대응하는 픽셀들에 대한 필터링된 비용 함수가 가장 높은 레벨의 유사도를 나타내는 복수의 깊이들 중의 깊이를 선택하는 단계를 더 포함한다.

또 다른 추가의 실시예에서, 비용 함수는 한 쌍의 대응하는 픽셀들의 L1 노름(norm); 한 쌍의 대응하는 픽셀들의 L2 노름; 및 일련의 대응하는 픽셀들의 분산(variance)으로 이루어진 그룹으로부터 선택된 적어도 하나의 유사도 척도를 이용한다.

또 다른 추가의 실시예에서, 일련의 영상들이 다수의 색상 채널들 내에서 포착되고, 비용 함수는 다수의 색상 채널들 각각에서의 픽셀들의 유사도를 결정한다.

다른 추가의 실시예도 또한 기준 시점으로부터의 영상에서의 픽셀 위치들에 대한 현재의 깊이 추정치들에 대한 신뢰도 메트릭(confidence metric)들을 발생시키는 단계를 포함한다.

다른 추가적인 부가의 실시예에서, 신뢰도 메트릭은 복수의 신뢰도 인자(confidence factor)들을 인코딩한다.

또 다른 추가의 실시예는 또한 신뢰도 맵(confidence map)에 기초하여 깊이 맵(depth map)을 필터링하는 단계를 포함한다.

또 다른 추가의 실시예도 또한 폐색 픽셀(occluding pixel)들을 찾아내기 위해 기준 시점과 일련의 영상들에서의 영상들의 시점들 사이의 기준선들에 평행인 라인들을 따라 탐색하는 것에 의해 초기 깊이 추정치들에 기초하여 기준 시점으로부터의 영상에서의 특정 픽셀 위치들에 대응하는 일련의 영상들 내의 영상들에서의 픽셀들의 폐색(occlusion)을 검출하는 단계; 및 초기 깊이 추정치로부터, 적어도 하나의 영상에서의 대응하는 픽셀이 폐색되는 것이 검출될 때, 주어진 픽셀이 폐색되는 적어도 하나의 영상을 배제하는 일련의 영상들의 복수의 상이한 서브셋들을 사용하여 일련의 후보 깊이 추정치들을 결정하는 것; 후보 깊이 추정치들에 기초하여 일련의 영상들의 복수의 서브셋들 각각에서의 대응하는 픽셀들을 식별하는 것; 및 가장 유사한 대응하는 픽셀들을 가지는 서브셋의 후보 깊이를 기준 시점으로부터의 영상에서의 픽셀 위치에 대한 현재의 깊이 추정치로서 선택하는 것에 의해 기준 시점으로부터의 영상에서의 픽셀 위치에 대한 현재의 깊이 추정치를 선택하는 단계를 포함한다.

또 다른 추가적인 부가의 실시예에서, 폐색 픽셀들을 찾아내기 위해 기준 시점과 일련의 영상들에서의 영상들의 시점들 사이의 기준선들에 평행인 라인들을 따라 탐색하는 단계는,

일 때 기준 시점으로부터의 영상에서의 픽셀 위치 (x₁, y₁)에 대응하는 픽셀이 대안 시점 영상(alternate view image)에서 기준 시점으로부터의 영상에서의 픽셀 위치 (x₂, y₂)에 의해 폐색되는 것으로 결정하는 단계를 포함하며,

여기서 s₁ 및 s₂는 기준 시점과 대안 시점 영상의 시점 사이의 기준선에 평행인 라인을 따라 픽셀들을 시프트시켜 각각의 픽셀에 대한 초기 깊이 추정치들에 기초하여 대안 시점 영상의 시점 내로 픽셀들을 시프트시키기 위해 픽셀 위치들 (x₁, y₁) 및 (x₂, y₂)에 적용되는 장면 의존적인 기하학적 시프트(scene dependent geometric shift)들이다.

또 다른 추가의 실시예에서도, 픽셀을 폐색되어 있는 것으로 지정하는 결정은 픽셀들의 유사도 및 픽셀들 (x₁, y₁) 및 (x₂, y₂)의 추정된 깊이들의 신뢰도(confidence) 중 적어도 하나를 고려한다.

특정의 실시예에서, 대응하는 픽셀들의 유사도를 결정하기 위해 비용 함수가 이용된다.

다른 특정의 실시예에서, 대응하는 픽셀들의 유사도를 결정하는 단계는 계산된 비용들을 공간적으로 필터링하는 단계를 더 포함한다.

추가적인 특정의 실시예에서, 계산된 비용들의 공간적 필터링은 고정 계수 필터(fixed-coefficient filter); 및 에지 보존 필터(edge-preserving filter)로 이루어진 그룹으로부터 선택된 필터를 이용한다.

다른 추가적인 특정의 실시예에서, 식별된 대응하는 픽셀들이 가장 높은 정도의 유사도를 가지는 복수의 깊이들 중의 깊이를 기준 시점으로부터의 영상에서의 주어진 픽셀 위치에 대한 초기 깊이 추정치로서 선택하는 단계는, 식별된 대응하는 픽셀들에 대한 필터링된 비용 함수가 가장 높은 레벨의 유사도를 나타내는 복수의 깊이들 중의 깊이를 선택하는 단계를 더 포함한다.

또 다른 특정의 실시예에서, 일련의 영상들이 단일의 색상 채널 내에서 포착되고, 비용 함수는 대응하는 픽셀의 분산의 함수이다.

다른 추가적인 특정의 실시예에서, 비용 함수는 이하의 항,

을 포함하는 각각의 영상 i에 걸쳐 일련의 영상들에서 집계된 비용 함수 CV(x, y, d)이고,

여기서 Cost^i,Ref(x, y, d)는 유사도 척도(similarity measure)(즉, 비용 함수)이고, d는 픽셀 (x, y)의 깊이이며, V^i,Ref(x, y)는 픽셀 (x, y)의 가시성(visibility)이고, 처음에 모든 카메라들에 대해 V^i,Ref(x, y) = 1이다.

추가적인 특정의 실시예에서도, 개개의 비용들 Cost^i,Ref(x, y, d)는 다음과 같이 카메라들 i,Ref에 대한 각각의 픽셀 (x, y)에 대한 각각의 불일치 가정(disparity hypothesis) d에 기초하여 계산되고:

여기서 S는 (예를 들어) 유사도 척도이고,

는 기하학적 교정(geometric calibration) 후의 교정된 영상 i이다.

또 다른 특정의 실시예에서, 집계된 비용은 다음과 같이 후보 깊이에서의 시프트된 영상들의 유사도를 고려하고:

여기서 K는 기준 카메라(reference camera)와 동일한 스펙트럼 채널에서의 카메라들의 세트이고,

L은 카메라들의 쌍들의 세트이고, 각각의 쌍에서의 양쪽 카메라들은 (명시야가 다수의 스펙트럼 채널들에서의 영상 데이터를 포함하는 경우 기준 카메라에 대해 상이한 스펙트럼 채널일 수 있는) 동일한 스펙트럼 채널에 있고,

이며,

이다.

추가적인 특정의 실시예에서도, 가중된 집계된 비용 함수(weighted aggregated cost function)가 다음과 같도록 집계된 비용 함수(aggregated cost function)가 필터를 사용하여 공간적으로 필터링되고:

여기서 N(x, y)는 특정의 응용의 요구사항들에 적절한 정사각형, 원형, 직사각형, 또는 임의의 다른 형상일 수 있는 픽셀 (x, y)의 바로 이웃(immediate neighborhood)이고,

Norm은 정규화 항이며,

I_Ref(x, y)는 기준 카메라로부터의 영상 데이터이고,

wd는 픽셀 거리에 기초한 가중 함수이며,

wr은 명도 차이(intensity difference)에 기초한 가중 함수이다.

추가의 실시예에서, 필터는 박스 필터(box filter)이고, wd 및 wr은 상수 계수들이다.

다른 실시예에서, 필터는 양방향 필터(bilateral filter)이고, wd 및 wr은 둘 다 가우시안 가중 함수(Gaussian weighting function)이다.

다른 추가의 실시예에서, 기준 시점으로부터의 영상에서의 픽셀 위치 (x, y)에 대한 깊이 추정치는 다음과 같이 깊이 맵에서 각각의 픽셀 위치에서의 필터링된 비용을 최소화하는 깊이를 선택하는 것에 의해 결정된다.

D(x, y) = argmin{FilteredCV(x, y, d)}

또 다른 실시예에서, 일련의 영상들이 다수의 색상 채널들 내에서 포착되고, 비용 함수는 다수의 색상 채널들로부터의 영상 데이터의 L1 노름을 포함한다.

다른 추가의 실시예에서, 일련의 영상들이 다수의 색상 채널들 내에서 포착되고, 비용 함수는 다수의 색상 채널들로부터의 영상 데이터의 L2 노름을 포함한다.

또 다른 실시예에서, 일련의 영상들이 적어도 적색, 녹색 및 청색 색상 채널들을 포함하는 다수의 색상 채널들 내에서 포착되고; 상이한 시점들로부터 포착된 일련의 영상들의 시점들에 대한 기준 시점을 선택하는 단계는, 녹색 색상 채널에서의 영상들 중 하나를 녹색 기준 영상으로서 선택하고 녹색 기준 영상의 시점을 기준 시점으로서 선택하는 단계를 포함하며; 깊이 d에서 기준 시점으로부터의 영상에서의 픽셀 위치 (x, y)에 대한 비용 함수 Cost(x, y, d)는,

이고,

여기서 Cost_G(x, y, d)는 깊이 d에 기초한 일련의 녹색 영상들 내의 위치들에서의 대응하는 픽셀들에 대한 기준 시점으로부터의 영상에서의 픽셀 위치 (x, y)의 유사도의 척도이고,

Cost_R(x, y, d)는 깊이 d에 기초하여 결정된 일련의 적색 영상들 내의 위치들에서의 대응하는 픽셀들과 기준 시점으로부터의 영상에서의 픽셀 위치 (x, y)의 유사도의 척도이며,

Cost_B(x, y, d)는 깊이 d에 기초하여 결정된 일련의 청색 영상들 내의 위치들에서의 대응하는 픽셀들과 기준 시점으로부터의 영상에서의 픽셀 위치 (x, y)의 유사도의 척도이고,

및

는, 각각, 녹색, 적색 및 청색 비용 함수들에 대한 가중 인자들이다.

추가의 실시예에서도, Cost_G(x, y, d)는 L1 노름, L2 노름, 및 녹색 색상 채널 내에 있는 일련의 영상들 중의 영상들에서의 픽셀들에 걸친 분산으로 이루어진 그룹으로부터 선택된 유사도 척도를 사용한다.

다른 실시예에서도, 적색 색상 채널에 대한 비용 척도(cost measure)(Cost_R(x, y, d)) 및 청색 색상 채널에 대한 비용 척도(Cost_B(x, y, d))는 색상 채널 내의 영상들에서의 대응하는 픽셀들의 독자적인 쌍들 사이의 집계된 차이를 계산하는 것에 의해 결정된다.

추가의 부가적인 실시예에서, 색상 채널 내의 영상들에서의 각각의 독자적인 쌍의 대응하는 픽셀들 사이의 집계된 차이를 계산하는 단계는, 색상 채널 내의 영상들에서의 대응하는 픽셀들의 독자적인 쌍들에 대한 조합 비용 메트릭(combination cost metric)을 결정하는 단계를 포함한다.

다른 부가의 실시예에서, 4개의 영상들(C_A, C_B, C_C, 및 C_D)을 포함하는 적색 색상 채널에 대한 조합 비용 메트릭(Cost_C(x, y, d))은 다음과 같이 결정될 수 있고:

여기서 (x_A, y_A), (x_B, y_B), (x_C, y_C), 및 (x_D, y_D)는, 각각, 깊이 d에서의 영상들 C_A, C_B, C_C, 및 C_D 각각에서의 불일치에 기초하여 결정된 대응하는 픽셀 위치들이다.

또 다른 추가의 실시예에서, 조합 비용 메트릭은 픽셀 밝기 값들의 L1 노름; 픽셀 밝기 값들의 L2 노름; 및 픽셀 밝기 값들의 분산으로 이루어진 그룹으로부터 선택된 적어도 하나를 이용하여 결정된다.

또 다른 실시예에서, 가중 인자들

및

는 고정되어 있다.

다른 추가의 실시예에서도, 가중 인자들

및

는 기준 시점으로부터의 영상에서의 픽셀 위치 (x, y)에 따라 공간적으로 변한다.

또 다른 실시예에서도, 가중 인자들

및

는 기준 시점으로부터의 영상에서의 픽셀 위치 (x, y)에서의 추정된 SNR에 기초하여 변하고; 기준 시점으로부터의 영상에서 픽셀 위치 (x, y)에서의 강한 SNR은 적색 및 청색 색상 채널들에 적용된 가중치(weighting)를 감소시키는 데 사용된다.

추가의 실시예에서, 신뢰도 메트릭은 복수의 신뢰도 인자들을 인코딩한다.

다른 실시예에서, 기준 시점으로부터의 영상에서의 주어진 픽셀 위치에 대한 깊이 추정치에 대한 신뢰도 메트릭은, 주어진 픽셀이 영상 내의 텍스처리스 영역(textureless region) 내에 있다는 표시; 주어진 픽셀을 둘러싸고 있는 영역에서의 신호대 잡음비(SNR)의 척도; 깊이 추정치를 발생시키는 데 사용되는 대응하는 픽셀들의 수; 깊이 추정치를 발생시키기 위해 탐색되는 깊이들의 수의 표시; 주어진 픽셀이 고 콘트라스트 에지(high contrast edge)에 인접해 있다는 표시; 및 주어진 픽셀이 고 콘트라스트 경계(high contrast boundary)에 인접해 있다는 표시로 이루어진 그룹으로부터 선택된 적어도 하나의 신뢰도 인자를 포함한다.

다른 추가의 실시예에서, 기준 시점으로부터의 영상에서의 주어진 픽셀 위치에 대한 깊이 추정치에 대한 신뢰도 메트릭은, 주어진 픽셀이 경사 에지(gradient edge) 상에 있다는 표시; 주어진 픽셀에 대응하는 픽셀들이 부정합된다는 표시; 주어진 픽셀에 대응하는 픽셀들이 폐색된다는 표시; 상이한 기준 카메라들을 사용하여 발생된 깊이 추정치들이 주어진 픽셀에 대한 임계치를 초과한다는 표시; 카메라들의 상이한 서브셋들을 사용하여 발생된 깊이 추정치들이 주어진 픽셀에 대한 임계치를 초과한다는 표시; 주어진 임계치의 깊이가 임계치를 초과하는지에 관한 표시; 주어진 픽셀이 결함이 있다는 표시; 및 주어진 픽셀에 대응하는 픽셀들이 결함이 있다는 표시로 이루어진 그룹으로부터 선택된 적어도 하나의 신뢰도 인자를 포함한다.

또 다른 실시예에서, 기준 시점으로부터의 영상에서의 주어진 픽셀 위치에 대한 깊이 추정치에 대한 신뢰도 메트릭은 적어도, 주어진 픽셀을 둘러싸고 있는 영역에서의 SNR의 척도; 및 깊이 추정치를 발생시키는 데 사용되는 대응하는 픽셀들의 수를 포함한다.

다른 추가의 실시예에서, 신뢰도 메트릭은 적어도 하나의 이진 신뢰도 인자(binary confidence factor)를 인코딩한다.

또 다른 실시예에서, 신뢰도 메트릭은 신뢰도의 정도들의 범위로서 표현된 적어도 하나의 신뢰도 인자를 인코딩한다.

추가의 실시예에서도, 신뢰도 메트릭은 기준 시점으로부터의 영상에서의 주어진 픽셀 위치에 대한 마무리된 깊이 추정치를 발생시키기 위해 사용된 일련의 영상들에서의 픽셀들의 유사도를 비교하는 것에 의해 결정된 적어도 하나의 신뢰도 인자를 인코딩한다.

다른 실시예에서도, 대응하는 픽셀들의 유사도를 나타내는 비용 메트릭(cost metric)을 발생시키기 위해 비용 함수가 이용되고; 기준 시점으로부터의 영상에서의 주어진 픽셀 위치에 대한 깊이 추정치를 발생시키기 위해 사용된 일련의 영상들에서의 픽셀들의 유사도를 비교하는 단계는, 기준 시점으로부터의 영상에서의 주어진 픽셀 위치에 대한 마무리된 깊이 추정치를 발생시키기 위해 사용된 일련의 영상들에서의 픽셀들의 비용 메트릭에 임계치를 적용하는 단계; 및 비용 메트릭이 임계치를 초과할 때, 기준 시점으로부터의 영상에서의 주어진 픽셀 위치에 대한 마무리된 깊이 추정치가 문제 픽셀인 일련의 영상들에서의 적어도 하나의 픽셀을 사용하여 발생되었다는 것을 나타내는 신뢰도 메트릭을 할당하는 단계를 더 포함한다.

추가의 부가적인 실시예에서, 임계치는 기준 시점으로부터의 영상에서의 주어진 픽셀 위치를 둘러싸고 있는 영역의 평균 명도(mean intensity); 및 일련의 영상들을 포착하는 데 사용된 적어도 하나의 센서에 대한 잡음 통계(noise statistics) 중 적어도 하나에 기초하여 수정된다.

또 다른 추가의 실시예에서, 기준 시점으로부터의 영상에서의 주어진 픽셀 위치를 둘러싸고 있는 영역의 평균 명도는, 주어진 픽셀을 중심으로 한 공간 박스 N x N 평균 필터(spatial box N x N averaging filter)를 사용하여 계산된다.

또 다른 실시예에서, 일련의 영상들이 적어도 적색, 녹색 및 청색 색상 채널들을 포함하는 다수의 색상 채널들 내에서 포착되고; 상이한 시점들로부터 포착된 일련의 영상들의 시점들에 대한 기준 시점을 선택하는 단계는, 녹색 색상 채널에서의 영상들 중 하나를 녹색 기준 영상으로서 선택하고 녹색 기준 영상의 시점을 기준 시점으로서 선택하는 단계를 포함하며; 평균 명도는 특정의 노출 및 이득에서의 특정의 평균을 원하는 임계치에 관계시키는 테이블을 사용하여 녹색 채널에 대한 잡음 통계를 결정하는 데 사용된다.

다른 추가의 실시예에서도, 상이한 시점들로부터 포착된 일련의 영상들의 시점들에 대한 기준 시점을 선택하는 단계는, 영상들 중 하나를 기준 영상으로서 선택하고 기준 영상의 시점을 기준 시점으로서 선택하는 단계를 포함하고; 대응하는 픽셀들의 유사도를 나타내는 비용 메트릭을 발생시키기 위해 비용 함수가 이용되고; 일반 부정합(general mismatch)에 기초한 신뢰도 메트릭이 이하의 식을 사용하여 획득되고:

여기서 Cost_min(x, y)는 원하는 깊이 범위에 걸친 불일치 탐색의 최소 비용이고,

Cost^d(x, y)는 (최소 깊이 이외의) 임의의 깊이 또는 깊이들로부터의 비용 데이터를 나타내며,

임의의 카메라에 의해 포착된 I(x, y)^cam 영상 데이터가 신뢰도를 보강하는 데 이용될 수 있으며;

Sensor는 잡음 통계 또는 특성화, 결함있는 픽셀들, (이득 또는 노출과 같은) 임의의 포착된 영상들에 영향을 미치는 센서의 특성들(이들로 제한되지 않음)과 같은 센서의 기지의 특성들을 포함할 수 있는 센서 사전 정보(sensor prior)이다.

Camera intrinsics은 (깊이 측정의 정밀도에 영향을 미치는) 어레이에서의 카메라들 간의 기준선 간격(baseline separation), 및 (특정의 시나리오들에서 폐색 구역들에서의 성능에 영향을 미치는) 색상 필터들의 배열(이들로 제한되지 않음)을 비롯한 신뢰도에 영향을 미칠 수 있는 카메라 및 카메라 어레이에 내재된 요소들을 명시하는 카메라 고유 특성(camera intrinsic)이다.

또 다른 실시예에서도, 상이한 시점들로부터 포착된 일련의 영상들의 시점들에 대한 기준 시점을 선택하는 단계는, 영상들 중 하나를 기준 영상으로서 선택하고 기준 영상의 시점을 기준 시점으로서 선택하는 단계를 포함하고; 대응하는 픽셀들의 유사도를 나타내는 비용 메트릭을 발생시키기 위해 비용 함수가 이용되고; 일반 부정합에 기초한 신뢰도 메트릭이 이하의 식을 사용하여 획득되고:

여기서 Avg(x,y)는 (x, y)의 영역에서의 기준 영상의 명도에 기초하여 신뢰도를 조정하기 위해 사용되는, (x, y)를 둘러싸고 있는 공간적 이웃에 있는 기준 영상의 평균 명도, 또는 이웃에서의 평균 명도의 추정치이고,

a 및 offset은 센서의 이득 및 잡음 통계에 관한 사전 정보로 신뢰도를 조정하기 위해 사용되는 경험적으로 선택된 스케일 및 오프셋 인자들이다.

a 및 offset은 일련의 영상들 중의 영상들을 포착하기 위해 사용된 적어도 하나의 센서의 이득 및 잡음 통계에 관한 사전 정보로 신뢰도를 조정하기 위해 사용되는 경험적으로 선택된 스케일 및 오프셋 인자들이다.

다른 추가의 실시예에서도, 기준 시점으로부터의 영상에서의 픽셀 위치들에 대한 깊이 추정치들에 대한 신뢰도 메트릭들을 발생시키는 단계는, 일련의 영상들 중 적어도 하나의 영상을 포착하는 데 사용된 적어도 하나의 센서 이득을 결정하고 센서 이득에 기초하여 신뢰도 메트릭들을 조정하는 단계를 포함한다.

또 다른 실시예에서도, 기준 시점으로부터의 영상에서의 픽셀 위치들에 대한 깊이 추정치들에 대한 신뢰도 메트릭들을 발생시키는 단계는, 일련의 영상들 중 적어도 하나의 영상을 포착하는 데 사용된 적어도 하나의 노출 시간을 결정하고 센서 이득에 기초하여 신뢰도 메트릭들을 조정하는 단계를 포함한다.

다른 추가적인 부가의 실시예는 또한 기준 시점으로부터의 영상에서의 픽셀 위치들에 대한 마무리된 깊이 추정치들을 포함하는 깊이 맵을 출력하는 단계, 및 깊이 맵 내에 포함된 마무리된 깊이 추정치들에 대한 신뢰도 메트릭들을 포함하는 신뢰도 맵을 출력하는 단계를 포함한다.

또 다른 부가의 실시예는 또한 신뢰도 맵에 기초하여 깊이 맵을 필터링하는 단계를 포함한다.

또 다른 추가적인 부가의 실시예는 상이한 시점들로부터 포착된 일련의 영상들의 시점들에 대한 기준 시점을 선택하는 것; 일련의 영상들 내의 대응하는 픽셀들의 유사도를 증가시키기 위해 일련의 영상들을 정규화하는 것; 일련의 영상들의 적어도 하나의 서브셋을 사용하여 기준 시점으로부터의 영상에서의 픽셀 위치들에 대한 초기 깊이 추정치들을 결정하는 것에 의해 영상 처리 애플리케이션에 의해 구성된 프로세서를 사용하여 상이한 시점들로부터 포착된 일련의 영상들을 포함하는 명시야로부터의 장면 내의 객체들까지의 거리를 추정하는 단계를 포함하고, 여기서 기준 시점으로부터의 영상에서의 주어진 픽셀 위치에 대한 초기 깊이 추정치는, 복수의 깊이들에서의 예상된 불일치에 기초하여 기준 시점으로부터의 영상에서의 주어진 픽셀 위치에 대응하는 일련의 영상들의 적어도 하나의 서브셋에서의 픽셀들을 식별하는 것; 복수의 깊이들 각각에서 식별된 대응하는 픽셀들의 유사도를 비교하는 것; 및 식별된 대응하는 픽셀들이 가장 높은 정도의 유사도를 가지는 복수의 깊이들 중의 깊이를 기준 시점으로부터의 영상에서의 주어진 픽셀 위치에 대한 초기 깊이 추정치로서 선택하는 것에 의해 결정된다. 그에 부가하여, 거리를 추정하는 프로세스는 초기 깊이 추정치들을 사용하여 일련의 영상들에서의 대응하는 픽셀들을 식별하는 단계; 부정합 픽셀들을 검출하기 위해 일련의 영상들에서의 대응하는 픽셀들의 유사도를 비교하는 단계; 초기 깊이 추정치로부터, 일련의 영상들에서의 대응하는 픽셀들 간의 부정합이 검출되지 않을 때, 초기 깊이 추정치를 기준 시점으로부터의 영상에서의 픽셀 위치에 대한 현재의 깊이 추정치로서 선택하는 단계; 및 초기 깊이 추정치로부터, 일련의 영상들에서의 대응하는 픽셀들 간의 부정합이 검출될 때, 일련의 영상들의 복수의 상이한 서브셋들을 사용하여 일련의 후보 깊이 추정치들을 결정하는 것; 후보 깊이 추정치들에 기초하여 일련의 영상들의 복수의 서브셋들 각각에서의 대응하는 픽셀들을 식별하는 것; 및 가장 유사한 대응하는 픽셀들을 가지는 서브셋의 후보 깊이를 기준 시점으로부터의 영상에서의 픽셀 위치에 대한 현재의 깊이 추정치로서 선택하는 것에 의해 기준 시점으로부터의 영상에서의 픽셀 위치에 대한 현재의 깊이 추정치를 선택하는 단계를 더 포함한다. 본 프로세스는 현재의 깊이 추정치들을 사용하여 일련의 영상들에서의 대응하는 픽셀들을 식별하는 것; 및 주어진 영상에서의 픽셀이 대응하는 픽셀들의 비교에 기초하여 결정된 측광 유사도 기준을 충족시키지 못할 때, 픽셀이 기준 시점에 보이지 않는 것으로 결정하는 것에 의해 기준 시점으로부터의 일련의 영상들에서의 픽셀들의 가시성을 결정하는 단계; 및 가시성 정보를 사용하여 기준 시점으로부터의 영상에서 보이는 일련의 영상들로부터의 픽셀들을 식별하는 것; 및 픽셀들을 기준 시점 내로 시프트시키기 위해 기준 시점으로부터의 영상에서 보이는 일련의 영상들로부터의 픽셀들에 장면 의존적인 기하학적 시프트들― 장면 의존적인 기하학적 시프트는 현재의 깊이 추정치들을 사용하여 결정됨 ―을 적용하는 것; 및 일련의 영상들 중의 영상들의 해상도들보다 더 큰 해상도를 가지는 기준 시점으로부터의 융합된 영상을 생성하기 위해 일련의 영상들로부터의 시프트된 픽셀들을 융합시키는 것에 의해 일련의 영상들 중의 영상들의 해상도들보다 더 큰 해상도를 가지는 융합된 영상(fused image)을 생성하기 위해 깊이 추정치들에 기초하여 영상 처리 애플리케이션에 의해 구성된 프로세서를 사용하여 일련의 영상들로부터의 픽셀들을 융합시키는 단계를 더 포함한다.

다른 추가의 실시예는 또한 기준 시점으로부터의 융합된 영상, 상이한 시점들로부터 포착된 일련의 영상들, 현재의 깊이 추정치들, 및 가시성 정보에 기초하여 초해상도 프로세스(super resolution process)를 수행하도록 영상 처리 애플리케이션에 의해 구성된 프로세서를 사용하여 기준 시점으로부터의 영상을 합성하는 단계를 포함한다.

본 발명의 추가의 실시예는 프로세서, 및 상이한 시점들로부터 포착된 일련의 영상들 및 영상 처리 애플리케이션을 포함하는 메모리를 포함한다. 그에 부가하여, 영상 처리 애플리케이션은 상이한 시점들로부터 포착된 일련의 영상들의 시점들에 대한 기준 시점을 선택하고; 일련의 영상들 내의 대응하는 픽셀들의 유사도를 증가시키기 위해 일련의 영상들을 정규화하며; 일련의 영상들의 적어도 하나의 서브셋을 사용하여 기준 시점으로부터의 영상에서의 픽셀 위치들에 대한 초기 깊이 추정치들을 결정하도록 프로세서를 구성하고, 여기서 기준 시점으로부터의 영상에서의 주어진 픽셀 위치에 대한 초기 깊이 추정치는 복수의 깊이들에서의 예상된 불일치에 기초하여 기준 시점으로부터의 영상에서의 주어진 픽셀 위치에 대응하는 일련의 영상들의 적어도 하나의 서브셋에서의 픽셀들을 식별하는 것; 복수의 깊이들 각각에서 식별된 대응하는 픽셀들의 유사도를 비교하는 것; 및 식별된 대응하는 픽셀들이 가장 높은 정도의 유사도를 가지는 복수의 깊이들 중의 깊이를 기준 시점으로부터의 영상에서의 주어진 픽셀 위치에 대한 초기 깊이 추정치로서 선택하는 것에 의해 결정된다. 애플리케이션은 또한, 초기 깊이 추정치들을 사용하여 일련의 영상들에서의 대응하는 픽셀들을 식별하고; 부정합 픽셀들을 검출하기 위해 일련의 영상들에서의 대응하는 픽셀들의 유사도를 비교하도록 프로세서를 구성한다. 초기 깊이 추정치로부터, 일련의 영상들에서의 대응하는 픽셀들 간의 부정합이 검출되지 않을 때, 애플리케이션은 초기 깊이 추정치를 기준 시점으로부터의 영상에서의 픽셀 위치에 대한 현재의 깊이 추정치로서 선택하도록 프로세서를 구성한다. 초기 깊이 추정치로부터, 일련의 영상들에서의 대응하는 픽셀들 간의 부정합이 검출될 때, 애플리케이션은 일련의 영상들의 복수의 상이한 서브셋들을 사용하여 일련의 후보 깊이 추정치들을 결정하는 것; 후보 깊이 추정치들에 기초하여 일련의 영상들의 복수의 서브셋들 각각에서의 대응하는 픽셀들을 식별하는 것; 및 가장 유사한 대응하는 픽셀들을 가지는 서브셋의 후보 깊이를 기준 시점으로부터의 영상에서의 픽셀 위치에 대한 현재의 깊이 추정치로서 선택하는 것에 의해 기준 시점으로부터의 영상에서의 픽셀 위치에 대한 현재의 깊이 추정치를 선택하도록 프로세서를 구성한다.

다른 실시예에서, 영상 처리 애플리케이션은 또한, 현재의 깊이 추정치들을 사용하여 일련의 영상들에서의 대응하는 픽셀들을 식별하는 것; 및 주어진 영상에서의 픽셀이 대응하는 픽셀들의 비교에 기초하여 결정된 측광 유사도 기준을 충족시키지 못할 때, 픽셀이 기준 시점에 보이지 않는 것으로 결정하는 것에 의해 기준 시점으로부터의 일련의 영상들에서의 픽셀들의 가시성을 결정하고; 가시성 정보를 사용하여 기준 시점으로부터의 영상에서 보이는 일련의 영상들로부터의 픽셀들을 식별하는 것; 및 픽셀들을 기준 시점 내로 시프트시키기 위해 기준 시점으로부터의 영상에서 보이는 일련의 영상들로부터의 픽셀들에 장면 의존적인 기하학적 시프트들― 장면 의존적인 기하학적 시프트는 현재의 깊이 추정치들을 사용하여 결정됨 ―을 적용하는 것; 및 일련의 영상들 중의 영상들의 해상도들보다 더 큰 해상도를 가지는 기준 시점으로부터의 융합된 영상을 생성하기 위해 일련의 영상들로부터의 시프트된 픽셀들을 융합시키는 것에 의해 일련의 영상들 중의 영상들의 해상도들보다 더 큰 해상도를 가지는 융합된 영상을 생성하기 위해 깊이 추정치들을 사용하여 일련의 영상들로부터의 픽셀들을 융합시키도록 프로세서를 구성한다.

도 1은 본 발명의 일 실시예에 따른, 어레이 카메라(array camera)를 개념적으로 나타낸 도면.
도 1a는 본 발명의 일 실시예에 따른, 어레이 카메라 모듈을 개념적으로 나타낸 도면.
도 1c는 본 발명의 실시예에 따른, 4 x 4 어레이 카메라 모듈에 대한 컬러 필터 패턴을 개념적으로 나타낸 도면.
도 2는 기준 카메라 및 대안 시점 카메라(alternate view camera)를 사용하여 영상 데이터를 포착하는 것을 개념적으로 나타낸 도면.
도 3a 및 도 3b는 기준 카메라 및 대안 시점 카메라에 의해 포착된 장면의 영상들에서 시차의 효과를 개념적으로 나타낸 도면.
도 4는 본 발명의 실시예에 따른, 상이한 시점들로부터 포착된 복수의 영상들을 포함하는 포착된 명시야로부터의 깊이 맵을 발생시키는 프로세스를 예시한 플로우차트.
도 5는 본 발명의 일 실시예에 따른, 포착된 영상 데이터를 정규화하는 프로세스의 플로우차트.
도 6은 본 발명의 실시예들에 따른, 가시성 정보에 기초하여 깊이 맵을 반복적으로 세밀화(refine)시키는 프로세스의 플로우차트.
도 7은 본 발명의 일 실시예에 따른, 장면 내의 객체들까지의 거리들의 추정치들을 발생시키기 위해 이용될 수 있는 어레이 카메라 내의 카메라들의 서브셋을 개념적으로 나타낸 도면.
도 8은 본 발명의 일 실시예에 따른, 가시성 정보를 사용하여 불일치 탐색을 수행하는 프로세스를 나타낸 플로우차트.
도 8a는 본 발명의 일 실시예에 따른, 카메라 어레이에서의 카메라들의 서브셋들에 의해 포착되는 영상들을 사용하여 깊이를 추정하는 프로세스를 나타낸 플로우차트.
도 8b 내지 도 8i는 본 발명의 실시예들에 따른, 깊이 추정치들을 획득하기 위해 이용될 수 있는 5 x 5 어레이 카메라에서의 카메라들의 서브셋들을 개념적으로 나타낸 도면.
도 8j 내지 도 8m은 본 발명의 실시예들에 따른, 깊이 추정치들을 획득하기 위해 이용될 수 있는 4 x 4 어레이 카메라에서의 카메라들의 서브셋들을 개념적으로 나타낸 도면.
도 9는 본 발명의 일 실시예에 따른, 주어진 픽셀을 폐색 픽셀들에 대한 에피폴라 라인(epipolar line)을 탐색하는 프로세스를 개념적으로 나타낸 도면.
도 10은 본 발명의 일 실시예에 따른, 깊이 맵을 구성하기 위해 이용될 수 있는 5 x 5 어레이 카메라를 개념적으로 나타낸 도면.
도 11은 본 발명의 일 실시예에 따른, 대응하는 픽셀들의 측광 유사도(photometric similarity)에 기초하여 가시성을 결정하는 프로세스를 나타낸 플로우차트.
도 12는 본 발명의 일 실시예에 따른, 4 x 4 어레이 카메라와 관련하여 정의될 수 있는 많은 가상 시점들 중 하나를 개념적으로 나타낸 도면.
도 13은 본 발명의 일 실시예에 따른, 희소 깊이 맵(sparse depth map)을 발생시키는 프로세스를 나타낸 플로우차트.
도 14는 본 발명의 일 실시예에 따른, 희소 깊이 맵을 발생시킬 때 지시자 픽셀(indicator pixel)들로서 이용될 수 있는 일련의 픽셀들을 개념적으로 나타낸 도면.
도 15는 본 발명의 일 실시예에 따른, 픽셀을 둘러싸고 있는 텍스처리스 영역(textureless region)들을 SNR을 사용하여 검출하는 프로세스를 나타낸 플로우차트.
도 16은 본 발명의 일 실시예에 따른, 깊이 맵 및 가시성 정보를 발생시키는 시스템을 나타낸 도면.
도 17은 본 발명의 실시예들에 따른, 초해상도 처리(super-resolution processing)를 사용하여 상이한 시점들로부터 포착된 복수의 저 해상도 영상들로부터 고 해상도 영상을 합성하는 프로세스를 나타낸 플로우차트.
도 18a 및 도 18b는 깊이 추정치들에서의 잡음의 요인들을 개념적으로 나타낸 도면.
도 18c 내지 도 18h는 본 발명의 일 실시예에 따른, 포착된 영상 데이터로부터 깊이 맵 및 신뢰도 맵을 생성하는 것 그리고 깊이 맵을 필터링하기 위해 신뢰도 맵을 사용하는 것을 개념적으로 나타낸 도면.
도 18i 내지 도 18n은 이와 유사하게 본 발명의 일 실시예에 따른, 포착된 영상 데이터로부터 깊이 맵 및 신뢰도 맵을 생성하는 것 그리고 클로즈업 영상들을 사용하여 깊이 맵을 필터링하기 위해 신뢰도 맵을 사용하는 것을 개념적으로 나타낸 도면.

이제 도면들을 참조하면, 어레이 카메라들을 사용하여 포착된 영상들에서의 시차 검출 및 보정을 위한 시스템 및 방법이 예시되어 있다. 발명의 명칭이 "이질적 촬상 소자들을 갖는 모놀리딕 카메라 어레이를 사용한 영상의 포착 및 처리(Capturing and Processing of Images using Monolithic Camera Array with Heterogeneous Imagers)"인 Venkataraman 등의 미국 특허 출원 제12/935,504호에 기술된 것들과 같은 어레이 카메라들이 명시야 영상들을 포착하기 위해 이용될 수 있다. 다수의 실시예들에서, 발명의 명칭이 "초해상도 프로세스를 사용하여 고 해상도 영상을 합성하는 시스템 및 방법(Systems and Methods for Synthesizing High Resolution Images Using Super-Resolution Processes)"인 Lelescu 등의 미국 특허 출원 제12/967,807호에 기술된 것들과 같은 초해상도 프로세스들이 어레이 카메라에 의해 포착된 명시야에서의 저 해상도 영상들로부터 고 해상도 2D 영상 또는 고 해상도 2D 영상들의 스테레오 쌍(stereo pair)을 합성하는 데 이용된다. 고 해상도 및 저 해상도라는 용어는 본 명세서에서 어레이 카메라에 의해 포착된 영상들의 특정의 해상도를 나타내기 위해서가 아니라 상대적인 의미로 사용된다. 미국 특허 출원 제12/935,504호 및 미국 특허 출원 제12/967,807호의 개시 내용은 그 전체가 참조 문헌으로서 본 명세서에 포함된다.

포착된 명시야에서의 각각의 2차원(2D) 영상은 어레이 카메라에서의 카메라들 중 하나의 카메라의 시점으로부터의 영상이다. 카메라들 각각의 상이한 시점으로 인해, 시차는 장면의 상이한 영상들 내의 객체들의 위치의 변동을 초래한다. 본 발명의 실시예들에 따른 시스템 및 방법은 어레이에서의 상이한 카메라들 사이의 시차의 결과로서의 픽셀 불일치의 정확한 설명을 제공하고, 따라서 초해상도 처리를 수행할 때 적절한 장면 의존적인 기하학적 시프트들이, 포착된 영상들의 픽셀들에 적용될 수 있다.

기준 시점이라고 할 수 있는 특정의 시점으로부터, 초해상도 처리를 사용하여 합성된 고 해상도 영상이 합성된다. 기준 시점은 카메라 어레이에서의 카메라들 중 하나의 카메라의 시점일 수 있다. 다른 대안으로서, 기준 시점은 물리 카메라(physical camera)가 없는 임의의 가상 시점일 수 있다. (가상 시점과 달리) 카메라들 중 하나의 카메라의 시점으로부터 고 해상도 영상을 합성하는 것의 이점은 명시야에서의 픽셀들의 불일치가 기준 시점으로부터 포착된 명시야에서의 영상와 관련하여 결정될 수 있다는 것이다. 가상 시점이 이용될 때, 포착된 영상 데이터 중 어느 것도 기준 시점으로부터의 것이 아니며, 따라서 프로세스는 최상의 일치를 결정하기 위해 그 대신에 기준 위치부터 멀리 있는 카메라들에만 의존한다.

본 발명의 많은 실시예들에 따른 어레이 카메라들은 기준 시점으로부터의 깊이 맵을 발생시키기 위해 명시야 내의 영상들에서의 픽셀들 간의 불일치를 사용한다. 깊이 맵은 기준 시점으로부터의 장면 개체들의 거리를 나타내고, 초해상도 처리를 수행할 때 불일치를 보정하기 위해 포착된 명시야 내의 영상들 각각으로부터의 픽셀들에 적용할 장면 의존적인 기하학적 보정을 결정하는 데 이용될 수 있다. 몇몇 실시예들에서, 기준 시점의 초기 깊이 맵이 발생되고, 그 프로세스의 일부로서 또는 후속 프로세스로서, 폐색된 픽셀들 및/또는 다른 유형의 부정합 픽셀들이 검출된다. 폐색되는 픽셀들을 검출하는 프로세스는 또한 기준 시점으로부터 포착된 영상에서의 픽셀이 비기준 시점으로부터의 영상에서 보이는지를 결정하는 것으로 생각될 수 있다. 기준 시점으로부터 포착된 영상에서의 픽셀이 제2 영상에서 보이지 않을 때, 기준 영상에서의 픽셀의 깊이를 결정할 때 제2 영상으로부터의 영상 데이터를 이용하는 것은 깊이 결정에 오류를 유입시킨다. 따라서, 명시야에서의 하나 이상의 영상들에서 폐색되는 기준 영상에서의 픽셀들을 검출하는 것에 의해, 깊이 맵의 정확도가 향상될 수 있다. 몇몇 실시예들에서, 폐색된 픽셀들의 깊이들을 픽셀들이 보이는(즉, 폐색되지 않은) 카메라들로부터 포착된 영상 데이터를 사용하여 결정하는 것에 의해 초기 깊이 맵이 업데이트된다. 다수의 실시예들에서, 있을 수 있는 폐색 및/또는 부정합 픽셀들의 다른 요인들의 존재가 초기 깊이 추정치를 발생시키는 프로세스 동안 검출될 수 있고, 장면 내의 상이한 가시성 패턴들에 대응하는 일련의 영상들의 서브셋들이 일련의 후보 깊이 추정치들을 결정하는 데 사용될 수 있다. 가장 유사한 대응하는 픽셀들을 가지는 영상들의 서브셋의 후보 깊이가 새로운 깊이 추정치로서 사용될 수 있고, 새로운 깊이 추정치는 나머지 일련의 영상들의 일부 또는 전부에서의 대응하는 픽셀들의 가시성을 결정하는 데 사용될 수 있다.

기준 시점으로부터의 깊이 맵은 다른 시점들로부터 포착된 영상들에서 일어났을 가능성이 있는 장면 의존적인 기하학적 시프트들을 결정하는 데 이용될 수 있다. 이 장면 의존적인 기하학적 시프트들은 초해상도 처리에서 이용될 수 있다. 그에 부가하여, 장면 의존적인 기하학적 시프트들은 기준 시점으로부터의 명시야 내의 픽셀들의 가시성의 결정들을 세밀화하기 위해 이용될 수 있다. 다수의 실시예들에서, 장면 의존적인 기하학적 시프트들은 픽셀들의 유사도를 비교하는 데 이용된다. 기준 시점으로부터의 픽셀의 깊이가 올바르게 결정되는 것으로 가정하면, 픽셀들의 유사도는 픽셀이 보이는지를 나타낸다. 유사한 픽셀은 불일치로 인해 시프트된, 기준 시점으로부터 관측된 픽셀일 가능성이 있다. 픽셀들이 유사하지 않은 경우, 기준 시점으로부터 관측된 픽셀은 제2 영상에서 폐색될 가능성이 있다. 많은 실시예들에서, 가시성 정보는 깊이 맵들을 추가로 업데이트하는 데 이용된다. 몇몇 실시예들에서, 가시성 정보가 발생되고 초해상도 처리에서 사용하기 위해 깊이 맵과 함께 제공된다.

다수의 실시예들에서, 깊이 천이(depth transition)들을 수반하는 영역들 및/또는 명시야 내의 하나 이상의 영상들에서 폐색되는 픽셀들을 포함하는 영역들(이들로 제한되지 않음)과 같은 부가의 깊이 정보가 바람직한 영역들에서의 부가의 깊이 추정치들을 포함하는 희소 깊이 맵을 발생시키는 것에 의해 깊이 맵들을 발생시키는 계산 복잡도가 감소된다.

많은 어레이 카메라들은 상이한 카메라들(예를 들어, 미국 특허 출원 제12/935,504호에 개시된 어레이 카메라들을 참조)을 사용하여 색상 정보를 포착한다. 많은 실시예들에서, 녹색 카메라의 시점이 기준 시점으로서 이용된다. 어레이 카메라 내의 다른 녹색 카메라들에 의해 포착된 영상들을 사용하여 초기 깊이 맵이 발생될 수 있고, 명시야 내의 적색, 녹색, 및 청색 픽셀들의 가시성을 결정하기 위해 깊이 맵이 사용될 수 있다. 다른 실시예들에서, 다수의 색상 채널들에서의 영상 데이터가 깊이 추정을 수행하는 데 이용될 수 있다. 몇몇 실시예들에서, 깊이를 추정할 때 각각의 색상 채널에서의 대응하는 픽셀들의 유사도가 고려된다. 다수의 실시예들에서, 깊이를 추정할 때 상이한 색상 채널들에서의 대응하는 픽셀들의 세트들의 유사도가 고려된다. 본 발명의 실시예들에 따른, 단일의 스펙트럼 채널에서, 다수의 스펙트럼 채널들에서, 및/또는 스펙트럼 채널들에 걸쳐 대응하는 픽셀들의 유사도를 고려하는 다양한 비용 함수들을 사용하는 깊이 추정이 이하에서 추가로 논의된다.

몇몇 실시예들에서, 어레이 카메라는 다수의 색상 채널들에서의 영상 데이터를 포착하는 하나 이상의 카메라들을 포함할 수 있다. 예를 들어, 어레이 카메라는, 흑백 카메라(monochrome camera)들에 부가하여 또는 그에 대한 대안으로서, 베이어 컬러 필터 패턴(Bayer color filter pattern)을 가지는 하나 이상의 카메라들을 포함할 수 있다. 다수의 색상 채널들을 포착하는 카메라의 시점이 깊이 맵을 발생시키기 위한 기준 시점으로서 사용될 때, 기준 시점으로부터 포착된 각각의 색상 채널에 대해 깊이 맵 및 가시성 정보가 결정될 수 있다. 기준 영상이 다수의 색상 채널들에 관한 정보를 포함할 때, 깊이 및 가시성 정보가, 다른 색상 채널에서의 픽셀들의 깊이 및 가시성과 관련하여 하나의 채널에서의 픽셀들을 위치 맞춤(registering)하는 것보다, 기준 영상과 관련한 명시야에서의 픽셀들의 불일치에 기초하여 더 신뢰성있게 생성될 수 있다. 다수의 색상 채널들에서 영상 데이터를 포착하는 카메라의 시점을 기준 시점으로서 이용하는 것의 단점은 포착된 색상 채널들에서의 깊이 정보의 분해능이 단일의 채널에서 동일한 수의 픽셀들을 사용하여 영상 데이터를 포착하는 카메라에 비해 감소된다는 것이다. 그에 따라, 어레이 카메라의 구성 및 기준 시점으로서 이용할 시점의 선택은 전형적으로 특정의 응용의 요구사항들에 의존한다.

명시야에서의 픽셀들에 대해 깊이 맵 및 가시성 정보가 발생되면, 장면의 고 해상도 2D 영상을 합성하기 위해 본 발명의 실시예들에 따라 깊이 맵 및 가시성 정보가 초해상도 처리 파이프라인에 제공될 수 있다. 상이한 저 해상도 영상들 간의 시차를 보정하기 위해 깊이 맵이 이용될 수 있고, 폐색된 픽셀들(즉, 기준 시점으로부터 보이지 않는 대안 시점 영상에서의 픽셀들)의 융합(fusion)을 방지하기 위해 융합 동안 가시성 정보가 이용될 수 있다. 몇몇 실시예들에서, 깊이 맵을 발생시키는 프로세스는 또한 깊이 맵에서의 깊이 추정치들에 대한 신뢰도 메트릭들을 포함하는 신뢰도 맵을 발생시키는 것을 포함한다. 몇몇 실시예들에서, 깊이 메트릭들은 대응하는 깊이 추정치의 신뢰성을 나타내는 적어도 하나의 신뢰도 인자를 인코딩한다. 다수의 실시예들에서, 신뢰도 메트릭은 적어도 깊이 추정치와 연관되어 있는 픽셀 위치의 영역에서의 신호대 잡음비(SNR)에 기초한 신뢰도 인자, 및 깊이 추정치를 발생시키는 데 이용되었고 그리고/또는 폐색되어 있는, 깊이 맵과 연관되어 있는 픽셀 위치에 대응하는 일련의 영상들에서의 픽셀들의 수에 기초한 신뢰도 인자를 포함한다. 본 발명의 실시예들에 따른, 어레이 카메라들에 의해 포착된 영상들에서의 불일치를 검출하고 보정하는 시스템 및 방법이 이하에 기술되어 있다. 그렇지만, 시차의 검출 및 보정을 논의하기 전에, 본 발명의 실시예들에 따른 다양한 어레이 카메라들에 대해 논의한다.

어레이 카메라 아키텍처

본 발명의 실시예들에 따른 어레이 카메라들은 카메라들의 어레이를 포함하는 카메라 모듈, 및 영상들을 합성하기 위해 카메라 모듈로부터 영상 데이터를 판독하여 처리하도록 구성된 프로세서를 포함할 수 있다. 본 발명의 일 실시예에 따른 어레이 카메라가 도 1에 예시되어 있다. 어레이 카메라(100)는 개개의 카메라(104)의 어레이를 갖는 카메라 모듈(102)을 포함하고, 여기서 개개의 카메라들의 어레이는 예시된 실시예에서 이용되는 정사각형 배열(이들로 제한되지 않음)과 같은 특정의 배열로 되어 있는 복수의 카메라들을 말한다. 카메라 모듈(102)은 프로세서(108)에 연결되어 있다. 프로세서는 또한 영상 데이터를 저장하기 위해 그리고/또는 이하에서 기술되는 다양한 프로세스들(이들로 제한되지 않음)을 비롯한 프로세스들을 수행하도록 프로세서를 구성하는 데 이용되는 기계 판독가능 명령어들을 저장하기 위해 이용될 수 있는 하나 이상의 상이한 유형의 메모리(110)와 통신하도록 구성되어 있다. 많은 실시예들에서, 메모리는 이하에서 상세히 설명하는 프로세스들 중 임의의 것을 사용하여 깊이 맵(들), 가시성 맵(들), 신뢰도 맵(들), 및/또는 고 해상도 영상(들)을 발생시키기 위해 복수의 영상들을 포함하는 명시야를 처리하도록 구성되어 있는 영상 처리 애플리케이션을 포함한다. 이하에서 추가로 논의되는 바와 같이, 깊이 맵은 전형적으로 기준 시점으로부터의 영상(예컨대, 기준 시점으로부터 합성된 고 해상도 영상)에서의 픽셀들에 대한 깊이 추정치들을 제공한다. 기준 영상에서의 픽셀 위치들이 명시야 내의 특정의 영상들에서 보이는지를 나타내는 가시성 맵들, 명시야 내의 영상에서의 특정 픽셀들이 기준 시점으로부터 보이는지를 나타내는 가시성 맵들, 및 하나의 대안 시점 영상에서 보이는 픽셀이 다른 대안 시점 영상에서 보이는지를 나타내는 가시성 맵들(이들로 제한되지 않음)을 비롯하여, 특정의 응용들의 요구사항에 따라 적절히 각종의 가시성 맵들이 발생될 수 있다. 다른 실시예들에서, 각종의 애플리케이션들 중 임의의 것이 메모리에 저장되고 본 명세서에 기술된 프로세스들을 사용하여 영상 데이터를 처리하는 데 이용될 수 있다. 몇몇 실시예들에서, 본 발명의 실시예들에 따른 프로세스들은 ASIC(application specific integration circuit), 및/또는 FPGA(field programmable gate array)를 사용하여 하드웨어로 구현되거나, 일부가 하드웨어 및 소프트웨어로 구현될 수 있다.

본 발명의 많은 실시예들에 따른 프로세서들(108)은 명시야 내의 영상 데이터를 취하여 하나 이상의 고 해상도 영상들을 합성하도록 적절한 소프트웨어를 사용하여 구성된다. 몇몇 실시예들에서, 기준 시점, 전형적으로 센서(102) 내의 기준 초점면(reference focal plane)(104)의 기준 시점으로부터 고 해상도 영상이 합성된다. 많은 실시예들에서, 프로세서는 센서(102)에서의 초점면들(104) 중 임의의 것의 시점들에 대응하지 않는 가상 시점으로부터 영상을 합성할 수 있다. 명시야에서의 영상들은 영상들을 포착하는 데 사용되는 초점면들의 상이한 시야들로 인해 장면 의존적인 불일치(scene-dependent disparity)를 포함할 것이다. 불일치를 검출하고 보정하는 프로세스들은 이하에서 더 논의된다. 특정의 어레이 카메라 아키텍처가 도 1에 예시되어 있지만, 대안의 아키텍처들이 또한 본 발명의 실시예들에 따라 이용될 수 있다.

어레이 카메라 모듈

본 발명의 실시예들에 따른 어레이 카메라 모듈들은 초점면들의 어레이를 포함하는 촬상기 어레이(imager array) 또는 센서 및 촬상기 어레이에서의 각각의 초점면에 대한 렌즈 스택(lens stack)을 포함하는 광학 어레이(optic array)로 구성될 수 있다. 다수의 초점면들을 포함하는 센서들은 발명의 명칭이 "시스템 온 칩 어레이 카메라의 아키텍처(Architectures for System on Chip Array Cameras)"인 Pain 등의 미국 특허 출원 제13/106,797호(그 개시 내용 전체가 참조 문헌으로서 본 명세서에 포함됨)에 논의되어 있다. 어레이 카메라 모듈 내의 상이한 카메라들이 전자기 스펙트럼의 상이한 부분들에 대한(즉, 상이한 스펙트럼 채널들 내의) 영상 데이터를 포착할 수 있게 하기 위해 광학 어레이(optic array)에서의 렌즈 스택들에 의해 형성된 각각의 광 채널(optical channel) 내에 광 필터(light filter)들이 사용될 수 있다.

본 발명의 일 실시예에 따른 어레이 카메라 모듈이 도 1a에 예시되어 있다. 어레이 카메라 모듈(150)은 초점면들(154)의 어레이를 포함하는 촬상기 어레이(152)를, 렌즈 스택들(158)의 어레이를 포함하는 대응하는 광학 어레이(156)와 함께 포함한다. 렌즈 스택들의 어레이 내에서, 각각의 렌즈 스택(158)은 대응하는 초점면(154) 내의 감광 픽셀(light sensitive pixel)들의 어레이 상에 장면의 영상을 형성하는 광 채널을 생성한다. 렌즈 스택(158)과 초점면(154)의 각각의 쌍(pairing)은 카메라 모듈 내의 단일의 카메라(104)를 형성한다. 카메라(104)의 초점면(154) 내의 각각의 픽셀은 카메라(104)로부터 프로세서(108)로 송신될 수 있는 영상 데이터를 발생시킨다. 많은 실시예들에서, 각각의 광 채널 내의 렌즈 스택은 각각의 초점면(158)의 픽셀들이 장면 내의 동일한 객체 공간 또는 영역을 샘플링하도록 구성되어 있다. 몇몇 실시예들에서, 렌즈 스택들은 초해상도 프로세스의 사용을 통해 증가된 해상도를 복원하는 데 이용될 수 있는 샘플링 다이버시티(sampling diversity)를 제공하기 위해 동일한 객체 공간을 샘플링하는 픽셀들이 서브픽셀 오프셋들로 그렇게 하도록 구성되어 있다. 샘플링 다이버시티라는 용어는 상이한 시점들로부터의 영상들이 장면에서의 동일한 객체를 약간의 서브픽셀 오프셋들로만 샘플링한다는 사실을 말한다. 서브픽셀 정밀도로 영상들을 처리하는 것에 의해, 단일의 영상을 갖는 객체 공간을 단순히 샘플링하는 것과 비교할 때 서브픽셀 오프셋들로 인해 인코딩된 부가 정보가 복원될 수 있다.

예시된 실시예에서, 초점면들이 5 x 5 어레이로 구성되어 있다. 센서 상의 각각의 초점면(154)은 장면의 영상을 포착할 수 있다. 전형적으로, 각각의 초점면은 복수의 열의 픽셀들을 역시 형성하는 복수의 행의 픽셀들을 포함하고, 각각의 초점면은 다른 초점면으로부터의 픽셀들을 포함하지 않는 촬상기의 영역 내에 포함되어 있다. 많은 실시예들에서, 각각의 초점면의 영상 데이터 포착 및 판독이 독립적으로 제어될 수 있다. 이러한 방식으로, 장면 동적 범위(scene dynamic range)의 특정의 부분 및/또는 특정의 색상 채널(이들로 제한되지 않음)을 비롯한 인자들에 기초하여 영상 포착 설정치(image capture setting)들이 조정될 수 있게 하기 위해 초점면 내의 픽셀들의 노출 시간 및 아날로그 이득(analog gain)(이들로 제한되지 않음)을 비롯한 영상 포착 설정치들이 독립적으로 결정될 수 있다. 초점면들에서 이용되는 센서 요소들은 종래의 CIS(CMOS Image Sensor) 픽셀들, CCD(charge-coupled device) 픽셀들, 고 동적 범위 센서 요소들, 다중 스펙트럼 센서 요소들, 및/또는 구조물에 입사하는 광을 나타내는 전기 신호를 발생시키도록 구성된 임의의 다른 구조물(이들로 제한되지 않음)과 같은 개별적인 광 감지 요소들일 수 있다. 많은 실시예들에서, 각각의 초점면의 센서 요소들은 유사한 물리적 특성들을 가지며 동일한 광 채널 및 컬러 필터(존재하는 경우)를 통해 광을 수광한다. 다른 실시예들에서, 센서 요소들은 상이한 특성들을 가지며, 많은 경우들에서, 센서 요소들의 특성들은 각각의 센서 요소에 적용되는 컬러 필터에 관련되어 있다.

몇몇 실시예들에서, 개개의 카메라들 내의 컬러 필터들은 2012년 5월 1일자로 출원된, 발명의 명칭이 "파이 필터 그룹들로 패턴화된 카메라 모듈(Camera Modules Patterned with pi Filter Groups)"인 미국 가특허 출원 제61/641,165호(그 개시 내용 전체가 참조 문헌으로서 본 명세서에 포함됨)에 추가로 논의되는 바와 같이 카메라 모듈을 π 필터 그룹들로 패턴화하는 데 사용될 수 있다. 이 카메라들은 상이한 색상들 또는 스펙트럼의 특정의 부분에 대한 데이터를 포착하는 데 사용될 수 있다. 컬러 필터들을 카메라의 픽셀들에 적용하는 것과 달리, 본 발명의 많은 실시예들에서의 컬러 필터들이 렌즈 스택에 포함되어 있다. 8개의 녹색 카메라들, 4개의 청색 카메라들, 및 4개의 적색 카메라들을 포함하는 도 1c의 구성을 비롯한 각종의 컬러 필터 구성들 중 임의의 것이 이용될 수 있고, 여기서 카메라들은 카메라의 중심 주위에 보다 균등하게 분포되어 있다. 예를 들어, 녹색 카메라는 녹색 광이 광 채널을 통과할 수 있게 하는 녹색 광 필터를 갖는 렌즈 스택을 포함할 수 있다. 많은 실시예들에서, 각각의 초점면에서의 픽셀들은 동일하고 픽셀들에 의해 포착된 광 정보가 각각의 필터면(filter plane)에 대한 대응하는 렌즈 스택에서의 컬러 필터들에 의해 구별(differentiate)된다. 렌즈 스택들에 컬러 필터들을 포함하는 광학 어레이를 갖는 카메라 모듈의 특정의 구조가 앞서 기술되어 있지만, π 필터 그룹들을 포함하는 카메라 모듈들은 컬러 필터들이 종래의 컬러 카메라의 픽셀들에 적용되는 방식과 유사하게 카메라 모듈의 초점면들의 픽셀들에 컬러 필터들을 적용하는 것(이들로 제한되지 않음)을 비롯한 각종의 방식들로 구현될 수 있다. 몇몇 실시예들에서, 카메라 모듈 내의 카메라들 중 적어도 하나는 그의 초점면에서의 픽셀들에 적용되는 균일한 컬러 필터들을 포함할 수 있다. 많은 실시예들에서, 베이어 필터 패턴(Bayer filter pattern)이 카메라 모듈 내의 카메라들 중 하나의 카메라의 픽셀들에 적용된다. 다수의 실시예들에서, 렌즈 스택들에서 뿐만 아니라 촬상기 어레이의 픽셀들에서도 컬러 필터들이 이용되는 카메라 모듈들이 구성된다.

특정의 어레이 카메라들 및 촬상기 어레이들이 앞서 논의되었지만, 본 발명의 실시예들에 따라 영상 데이터를 포착하고 영상들을 합성하기 위해 많은 상이한 어레이 카메라들이 이용될 수 있다. 본 발명의 실시예들에 따른, 어레이 카메라에 의해 포착된 영상 데이터에서의 시차를 검출하고 보정하는 시스템 및 방법이 이하에서 논의된다.

시차/불일치의 결정

다수의 실시예들에서, 명시야를 포착하는 데 사용되는 어레이 카메라 내의 개별적인 카메라들은 유사한 시야들, 고정된 조리개들, 및 초점 거리들을 가진다. 그 결과로서, 카메라들은 아주 유사한 피사계 심도(depth of field)를 가지는 경향이 있다. 2 카메라 시스템(two camera system)에서의 시차가 도 2에 예시되어 있다. 2개의 카메라들(200, 202)은 렌즈 스택(204) 및 초점면(206)을 포함한다. 각각의 카메라는 후방 초점 거리(back focal length) f를 가지며, 2개의 카메라들은 2h의 기준선 거리만큼 분리되어 있다. 양 카메라들의 시야는 전경 객체(208) 및 배경 객체(210)를 포함하는 장면을 내포한다. 제1 카메라(200)의 시점으로부터의 장면이 도 3a에 예시되어 있다. 제1 카메라에 의해 포착된 영상(300)에서, 전경 객체(208)는 배경 객체(210)의 약간 우측에 위치해 있는 것처럼 보인다. 제2 카메라(202)의 시점으로부터의 장면이 도 3b에 예시되어 있다. 제2 카메라에 의해 포착된 영상(302)에서, 전경 객체(208)는 배경 객체(210)의 좌측으로 시프트된 것처럼 보인다. 2개의 카메라들(200, 202)의 상이한 시야에 의해 야기된 불일치는 제1 카메라에 의해 포착된 영상에서의 전경 객체(208)의 위치(제2 카메라에 의해 포착된 영상에서 가상선(ghost line)(304)으로 나타내어져 있음)와 제2 카메라에 의해 포착된 영상에서의 그것의 위치 간의 차이와 같다. 이하에서 추가로 논의되는 바와 같이, 2개의 카메라들로부터 전경 객체까지의 거리는 2개의 포착된 영상들에서의 전경 객체의 불일치를 결정하는 것에 의해 획득될 수 있다.

다시 도 2를 참조하면, 전경 객체 상의 지점 (x_o, y_o, z_o)는 각각의 카메라의 초점면 상에서 카메라의 광학축으로부터 오프셋되어 나타날 것이다. 제1 카메라(200)의 초점면 상의 지점의 제1 카메라의 광학축(212)에 대한 오프셋은 -u_L로서 도시되어 있다. 제2 카메라(202)의 초점면 상의 지점의 제2 카메라의 광학축(214)에 대한 오프셋은 u_R로서 도시되어 있다. 닮은 삼각형들을 사용하여, 2개의 카메라들에 의해 포착된 영상들 사이의 오프셋은 다음과 같이 관측될 수 있다:

2개의 식들을 결합하면 하기 식과 같이 2개의 카메라들 사이의 불일치(또는 시차)가 얻어진다.

상기 식으로부터, 카메라들에 의해 포착된 영상들 간의 불일치가 2개의 카메라들의 기준선(2개의 카메라들 사이의 에피폴라 라인이라고 할 수 있음)의 방향에 있는 벡터를 따라 있다는 것을 알 수 있다. 게다가, 불일치의 크기는 2개의 카메라들의 기준선 간격 및 카메라들의 후방 초점 거리에 정비례하고, 카메라로부터 장면에 나오는 객체까지의 거리에 반비례한다.

어레이 카메라에서의 폐색

장면의 다수의 영상들이 상이한 시점(perspective)들로부터 포착되고 장면이 전경 객체들을 포함할 때, 영상들 각각에서의 전경 객체의 위치의 불일치로 인해, 영상들 전부가 아닌 일부에서 전경 객체 후방에 있는 장면의 부분들이 보이게 된다. 다른 시점들로부터의 장면의 포착된 영상들에서 보이지 않는 장면의 한 부분에 관한 영상 데이터를 포착하는 픽셀은 폐색된 픽셀(occluded pixel)이라고 할 수 있다. 도 3a 및 도 3b를 다시 참조하면, 제2 카메라의 시점이 기준 시점으로서 선택될 때, 영상(302)에서 가상선(304) 내에 포함된 픽셀들은 폐색된 픽셀들(즉, 픽셀들이 제2 카메라(202)에 의해 포착된 영상(302)에서는 보이지만 제1 카메라(200)에 의해 포착된 영상(300)에서는 보이지 않는 장면의 한 부분으로부터의 영상 데이터를 포착함)인 것으로 간주될 수 있다. 제1 영상에서 가상선(306) 내에 포함된 픽셀들은 드러난 픽셀(revealed pixel)들(즉, 기준 시점에서는 보이지 않지만 대안 시점으로 시프트하는 것에 의해 드러나는 픽셀들)인 것으로 간주될 수 있다. 제2 영상에서, 전경 객체(208)의 픽셀들은, 영상(302)에서 가상선(304) 내에 포함된 픽셀들을 폐색하는 장면의 부분들을 포착하기 때문에, 폐색 픽셀(occluding pixel)들이라고 할 수 있다. 제2 영상(302)에서 가상선(304) 내에 포함된 픽셀들의 폐색으로 인해, 카메라로부터 가상선(304) 내에 보이는 장면의 부분들까지의 거리가 2개의 영상들로부터 결정될 수 없는데, 그 이유는 도 3a에 도시된 영상(300)에 대응하는 픽셀들이 없기 때문이다.

이하에서 추가로 논의되는 바와 같이, 기준 시점 주위의 상보적 폐색 구역(complementary occlusion zone)들에 있는 상이한 시점들로부터 장면의 영상들을 포착하는 카메라들의 수를 증가시키는 것은 기준 시점으로부터 보이는 장면의 모든 부분이 또한 다른 카메라들 중 적어도 하나의 카메라의 시점으로부터 보일 가능성을 증가시킨다. 어레이 카메라가 광의 상이한 파장들(예컨대, RGB)을 포착하기 위해 상이한 카메라들을 사용할 때, 기준 시점을 둘러싸고 있는 4분면들에 광의 각각의 파장을 포착하는 적어도 하나의 카메라를 분포시키는 것은 기준 시점으로부터 보이는 장면의 한 부분이 특정의 색상 채널 내에서 포착되는 모든 다른 영상에서 폐색될 가능성을 상당히 감소시킬 수 있다. 본 발명의 실시예들에 따른 폐색의 가능성을 감소시키도록 어레이 카메라들에서의 컬러 필터들을 분포시키는 것은 2012년 5월 1일자로 출원된, 발명의 명칭이 "π 필터 그룹들로 패턴화된 카메라 모듈(Camera Modules Patterned with π Filter Groups)"인 Nisenzon 등의 미국 가특허 출원 제61/641,164호(그 개시 내용이 참조 문헌으로서 그 전체가 본 명세서에 포함됨)에 추가로 논의되어 있다.

어레이 카메라에서의 깊이 맵을 발생시키기 위해 불일치를 사용함

본 발명의 많은 실시예들에 따른 어레이 카메라들은 깊이 맵을 발생시키기 위해 어레이 카메라들에 의해 포착되는 영상들에서 관측되는 불일치를 사용한다. 깊이 맵은 전형적으로 (원래의 입력 영상들의 해상도에 대한 깊이 맵의 분해능에 따라) 카메라로부터 영상 내의 특정 픽셀들 또는 픽셀들의 그룹들까지의 거리를 기술하는 영상에 관한 메타데이터의 계층인 것으로 간주된다. 본 발명의 다수의 실시예들에 따른 어레이 카메라들은 고 해상도 영상의 합성 동안 장면 의존적인 기하학적 시프트들을 발생시키는 것 및/또는 합성된 영상의 동적 리포커싱(dynamic refocusing)을 수행하는 것(이들로 제한되지 않음)을 비롯한 각종의 목적들을 위해 깊이 맵들을 사용한다.

이상에서의 불일치의 논의에 기초하여, 픽셀 불일치에 기초한 장면의 한 부분의 깊이를 결정하는 프로세스가 이론적으로는 간단하다. 어레이 카메라에서의 특정의 카메라의 시점이 기준 시점으로서 선택될 때, 기준 시점으로부터 보이는 장면의 한 부분까지의 거리가, 카메라 어레이에 의해 포착된 영상들 중 일부 또는 전부에서의 대응하는 픽셀들 사이의 불일치를 사용하여 결정될 수 있다. 폐색이 없을 때, 기준 시점으로부터 포착된 영상에서의 픽셀에 대응하는 픽셀이 에피폴라 라인(즉, 2개의 카메라들 사이의 기준선 벡터에 평행인 라인)을 따라 있는 각각의 비기준 또는 대안 시점 영상에 배치될 수 있다. 불일치의 에피폴라 라인을 따른 거리는 카메라와 픽셀들에 의해 포착된 장면의 부분 사이의 거리에 대응한다. 따라서, 특정의 깊이에서 대응할 것으로 예상되는 포착된 영상들에서의 픽셀들을 비교하는 것에 의해, 가장 높은 정도의 유사도를 가지는 픽셀들을 산출하는 깊이에 대해 탐색이 수행될 수 있다. 포착된 영상들에서의 대응하는 픽셀들이 가장 높은 정도의 유사도를 가지는 깊이가 카메라와 픽셀에 의해 포착된 장면의 부분 사이의 가장 유망한 거리로서 선택될 수 있다. 이하에서 논의되는 바와 같이, 본 발명의 실시예들에 따라 특정의 응용들의 요구사항들에 적절하게 단일의 스펙트럼 채널 내에서, 다수의 스펙트럼 채널들 내에서, 및/또는 스펙트럼 채널들에 걸쳐 대응하는 픽셀들에 대해 유사도가 결정될 수 있다.

그렇지만, 앞서 기술된 방법을 사용하여 정확한 깊이 맵을 결정하는 데 많은 과제들이 존재한다. 몇몇 실시예들에서, 어레이 카메라 내의 카메라들이 유사하지만 동일하지는 않다. 따라서, 광학 특성(이들로 제한되지 않음)을 비롯한 영상 특성들, 상이한 센서 특성들(오프셋으로 인한 센서 응답에서의 변동, 상이한 전송 또는 이득 응답, 픽셀 응답의 비선형 특성 등), 포착된 영상들에서의 잡음, 및/또는 조립 공정에 관계된 제조 허용 오차들에 관련된 워핑(warp) 또는 왜곡이 영상들 간에 달라질 수 있고, 이는 상이한 영상들에서의 대응하는 픽셀들의 유사도를 감소시킨다. 그에 부가하여, 초해상도 프로세스들은 고 해상도 영상들을 합성하기 위해 촬상기 어레이에 의해 포착되는 영상들에서의 샘플링 다이버시티에 의존한다. 그렇지만, 샘플링 다이버시티를 증가시키는 것은 또한 명시야에서의 포착된 영상들 내의 대응하는 픽셀들 간의 유사도를 감소시키는 것을 수반할 수 있다. 앞서 기술한 깊이를 결정하는 프로세스가 픽셀들의 유사도에 의존한다는 것을 고려하면, 포착된 영상들 사이의 측광 차이 및 샘플링 다이버시티의 존재는 깊이 맵이 결정될 수 있는 정확도를 감소시킬 수 있다.

깊이 맵을 발생시키는 일은 폐색에 의해 더욱 복잡하게 된다. 앞서 논의한 바와 같이, 기준 시점으로부터 보이는 픽셀이 포착된 영상들 중 하나 이상에서 보이지 않을 때 폐색이 일어난다. 폐색의 효과는, 올바른 깊이에서, 그렇지 않았으면 대응하는 픽셀에 의해 점유될 픽셀 위치가 장면의 다른 부분(전형적으로 카메라에 더 가까운 객체)을 샘플링하는 픽셀에 의해 점유되는 것이다. 폐색 픽셀은 종종 폐색된 픽셀과 아주 상이하다. 따라서, 올바른 깊이에서 픽셀들의 유사도의 비교는 다른 깊이들에서보다 상당히 더 높은 정도의 유사도를 가져올 가능성이 더 적다. 사실상, 폐색 픽셀은 실제로 올바른 깊이에서 대응하는 그 픽셀들의 유사도를 마스킹하는 큰 이상치(strong outlier)로서 역할한다. 그에 따라, 폐색의 존재는 깊이 맵에 강력한 오류 요인을 유입시킬 수 있다.

본 발명의 많은 실시예들에 따른 깊이 맵을 발생시키는 프로세스들은 앞서 기술한 것들(이들로 제한되지 않음)을 비롯한 깊이 맵에 유입될 수 있는 오류 요인들을 최소화시키려고 시도한다. 본 발명의 일 실시예에 따른 깊이 맵을 발생시키는 일반적인 프로세스가 도 4에 예시되어 있다. 프로세스(400)는 어레이 카메라를 사용하여 명시야를 포착하는 단계(402)를 포함한다. 다수의 실시예들에서, 기준 시점이 선택된다(404). 많은 실시예들에서, 기준 시점이 사전 결정된다. 몇몇 실시예들에서, 기준 시점이, 포착된 명시야 또는 어레이 카메라의 사용자에 의해 요청된 특정의 동작(예컨대, 입체 3D 영상 쌍의 발생)에 기초하여 결정될 수 있다. 깊이 맵을 결정하기 전에, 포착된 영상들에서의 대응하는 픽셀들의 유사도를 증가시키기 위해 원시 영상 데이터(raw image data)가 정규화된다(406). 많은 실시예들에서, 정규화는 각각의 카메라의 렌즈 스택에 의해 유입되는 측광 변동 및 장면 독립적인 기하학적 왜곡(이들로 제한되지 않음)을 비롯한 카메라들에 의해 포착된 영상들에서의 변동을 보정하기 위해 교정 정보를 이용하는 것을 포함한다. 몇몇 실시예들에서, 원시 영상 데이터의 정규화는 또한 영상들에서의 대응하는 픽셀들의 유사도에 대한 앨리어싱(aliasing) 및 잡음의 효과를 감소시키기 위한 사전 필터링, 및/또는 시차 탐색(parallax search)의 기하학적 형태를 간소화하기 위한 영상 데이터의 정렬(rectification)을 포함한다. 필터는 가우시안 필터 또는 에지 보존 필터, 고정 계수 필터(박스) 및/또는 임의의 다른 적절한 필터일 수 있다. 다수의 실시예들에서, 정규화는 또한, 예를 들어, 기하학적 렌즈 왜곡을 보정함으로써 포착된 영상들에서의 대응하는 픽셀들의 유사도를 증가시키기 위해 포착된 영상들을 재샘플링하는 것을 포함한다. 본 발명의 실시예들에 따른 원시 영상 데이터의 정규화 동안 수행되는 프로세스들이 이하에서 더 논의된다.

기준 시점으로부터 포착된 영상의 픽셀들에 대해 초기 깊이 맵이 결정된다(408). 초기 깊이 맵은 유망한 폐색 구역들을 결정(410)하는 데 사용되고, 대응하는 픽셀이 보이는 영상들을 사용하여 폐색 구역들에서의 픽셀들의 깊이들을 결정함으로써 폐색 구역들에서의 픽셀들의 깊이들이 업데이트된다(412). 이하에서 추가로 논의되는 바와 같이, 깊이 추정치들이 실세계 장면들에서 만나게 되는 상이한 가시성 패턴들에 대응하는 영상들의 경쟁하는 서브셋들을 사용하여 업데이트될 수 있다. 특정의 시퀀스가 도 4에 도시되어 있지만, 많은 실시예들에서, 초기 깊이 맵이 발생되는 것과 동시에 폐색 구역들이 검출된다.

장면 독립적인 기하학적 차이들을 감소시키기 위해 원시 영상 데이터를 재샘플링하는 것을 포함하는 정규화 프로세스는 그렇지 않았으면 포착된 영상들 각각에서의 대응하는 픽셀들을 정합시키는 능력을 떨어뜨릴 수 있는 선형 및/또는 비선형 렌즈 왜곡을 보정함으로써 오류들을 감소시킬 수 있다. 그에 부가하여, 폐색된 픽셀들을 배제하는 깊이 측정으로 폐색 구역들에서의 깊이 맵을 업데이트하는 것은 얻어진 깊이 맵에서의 오류의 요인들을 추가로 감소시킨다. 깊이 맵을 발생시키는 일반적인 프로세스가 도 4에 예시되어 있지만, 깊이 맵들을 발생시키는 예시된 프로세스들에 대한 변동 및 대안들이 본 발명의 실시예들에 따라 이용될 수 있다. 본 발명의 실시예들에 따른, 원시 영상 데이터를 교정하는 프로세스, 초기 깊이 맵들을 결정하는 프로세스, 및 폐색을 참작하기 위해 깊이 맵들을 업데이트하는 프로세스가 이하에서 더 논의된다.

포착된 영상 데이터에서의 대응하는 픽셀들의 유사도를 증가시킴

어레이 카메라 내의 카메라들 각각에 의해 포착된 영상들 간의 유사도가 클수록, 상이한 가정된 깊이들에서 영상들에서의 대응하는 픽셀들의 측정으로부터, 올바른 깊이에서 가장 높은 유사도가 검출될 가능성이 높다. 미국 특허 출원 제12/935,504호(앞서 참조 문헌으로서 포함됨)에 개시된 바와 같이, 어레이 카메라 내의 카메라들에 의해 포착된 영상들은 전형적으로, 카메라마다의 광학계의 변동이 측광 차이들, 앨리어싱, 잡음, 및 장면 독립적인 기하학적 왜곡들을 유입시킬 수 있다는 것(이들로 제한되지 않음)을 비롯하여, 다수의 방식들로 상이하다. 측광 차이 및 장면 독립적인 기하학적 왜곡은 필터링 및 교정을 통해 보정될 수 있다. 장면 독립적인 기하학적 왜곡을 보상하는 장면 독립적인 기하학적 보정 및 측광 정규화를 수행하는 데 사용되는 측광 교정 데이터는 오프라인 교정 프로세스 및/또는 후속하는 재교정 프로세스를 사용하여 발생될 수 있다. 측광 교정 데이터는 앨리어싱 및 잡음의 효과를 감소시키기 위한 사전 필터링, 블랙 레벨 계산 및 조절, 비네팅 보정, 및 횡색 보정(이들로 제한되지 않음)을 비롯하여 어레이 카메라에 의해 포착된 영상들에 대한 각종의 측광 조절들 중 임의의 것을 수행할 수 있는 측광 정규화 모듈 또는 프로세스에 제공될 수 있다. 몇몇 실시예들에서, 측광 정규화 모듈은 또한 온도 정규화를 수행한다. 교정 프로세스를 사용하여 결정되는 장면 독립적인 기하학적 보정이 또한 영상들 사이의 대응 관계를 증가시키기 위해 포착된 영상들에 적용될 수 있다. 포착된 영상들이 초해상도 처리를 사용하여 고 해상도 영상을 합성하는 데 사용될 때, 영상들에 적용되는 장면 독립적인 기하학적 보정은 전형적으로 서브픽셀 해상도로 결정된다. 그에 따라, 장면 독립적인 기하학적 보정은 전형적으로 종래의 입체 3D 영상에서의 위치 맞춤(registration) 동안 이용되는 보정보다 더 높은 정밀도로 결정된다. 많은 실시예들에서, 장면 독립적인 기하학적 보정은 또한 비기준 영상들의 에피폴라 라인들이 기준 시점으로부터 포착된 영상의 에피폴라 라인들과 쉽게 일렬로 정렬(align)되도록 초점면들에 대한 어레이 카메라의 렌즈들의 왜곡 및 회전을 참작하기 위한 정렬(rectification)을 포함한다. 이러한 방식으로 기하학적으로 정규화하는 것에 의해, 대응하는 픽셀들의 깊이들을 결정하기 위해 수행되는 탐색이 다양한 카메라들에서 직선들을 따른 탐색이 되도록 간단화될 수 있고, 깊이 측정의 정밀도가 향상될 수 있다.

본 발명의 실시예들에 따른, 어레이 카메라에 의해 포착된 영상들에 적용될 수 있는 일련의 장면 독립적인 기하학적 보정 및 측광 보정을 발생시키기 위해 어레이 카메라들을 교정하는 시스템 및 방법이 2013년 3월 13일자로 출원된 발명의 명칭이 "어레이 카메라의 교정 시스템 및 방법(Systems and Methods for Calibration of an Array Camera)"인 Mullis, Jr.의 미국 특허 출원 제61/780,748호(그 개시 내용이 참조 문헌으로서 그 전체 내용이 포함됨)에 기술되어 있다.

다수의 실시예들에서, 어레이 카메라 내의 카메라들의 시야들에서 서브픽셀 정밀도의 시프트들까지 객체들을 검출하기 위해 영상들을 재샘플링하는 것에 의해 포착된 영상들에서의 픽셀들의 대응 관계가 증가된다.

본 발명의 실시예들에 따른, 포착된 영상들 간의 대응 관계를 증가시키기 위해 어레이 카메라에 의해 포착된 영상들에 보정을 적용하는 프로세스가 도 5에 예시되어 있다. 프로세스(500)는 포착된 영상들을 측광적으로 정규화하는 단계(502), 장면 독립적인 기하학적 보정을 정규화된 영상들에 적용하는 단계(504)를 포함한다. 어떤 실시예들에서, 모든 카메라들이 동일 평면에 있고 시차 탐색이 에피폴라 라인들로만 감소될 수 있도록 부가의 정렬 프로세스(505)가 필요하다. 도 5에 도시된 프로세스들은 얻어진 영상들 사이의 대응 관계를 증가시킨다. 따라서, 영상들 사이의 픽셀 대응 관계에 대한 탐색으로부터 정확한 깊이 측정이 얻어질 가능성이 더 많다.

본 발명의 실시예들에 따른 어레이 카메라(들)에 의해 포착된 영상들 사이의 대응 관계를 증가시키는 특정의 프로세스들이 도 5와 관련하여 앞서 논의되었지만, 본 발명의 실시예들에 따른 깊이 맵을 발생시키기 전에, 포착된 영상들 사이의 대응 관계를 증가시키는 각종의 프로세스들 중 임의의 것이 이용될 수 있다. 본 발명의 실시예들에 따른 깊이 맵들을 발생시키는 프로세스들이 이하에서 더 논의된다.

깊이 맵을 발생

깊이 맵을 발생시키는 프로세스는 장면 내의 객체들의 깊이를 추정하기 위해 영상들 사이의 불일치를 이용하는 단계를 포함한다. 앞서 살펴본 바와 같이, 폐색은 앞서 기술된 방식으로 비용 함수들을 사용하여 획득된 깊이 측정의 신뢰성에 영향을 미칠 수 있다. 전형적으로, 이러한 폐색은 대응하는 픽셀들을 비교하는 데 사용되는 유사도 메트릭에 따라 상당한 부정합으로서 나타날 것이다(아마도 보이는 픽셀들의 유사도를 마스킹함). 그렇지만, 본 발명의 많은 실시예들은 초기 깊이 맵을 발생시키고 이어서 폐색에 의한 초기 깊이 맵의 생성에 유입될 수 있는 임의의 오류들을 해결한다. 몇몇 실시예들에서, 다른 시점들로부터 어레이 카메라에 의해 포착되는 영상들에서 폐색될 수 있는 기준 시점으로부터 포착된 영상에서의 픽셀들을 식별하기 위해 초기 깊이 맵이 이용된다. 폐색이 검출될 때, 기준 시점으로부터 포착된 영상에서의 픽셀에 대한 깊이 정보는 픽셀이 폐색되는 영상으로부터의 픽셀들을 유사도 비교로부터 배제시키는 것에 의해 업데이트될 수 있다. 몇몇 실시예들에서, 폐색에 의해 영향을 받는 깊이 추정치들이 실세계 장면들에서 만나게 되는 상이한 가시성 패턴들에 대응하는 영상들의 경쟁하는 서브셋들을 사용하여 업데이트될 수 있다. 특정의 실시예들에서, 업데이트된 깊이 추정치들은 폐색되는 대응하는 픽셀들을 식별하는 데 이용될 수 있고, 깊이 맵의 정밀도에 대한 폐색의 영향이 감소될 수 있도록 가시성 정보를 사용하여 깊이 추정 프로세스가 반복될 수 있다. 몇몇 실시예들에서, 영상들의 서브셋들을 사용하여 업데이트된 깊이 추정치들을 발생시키는 프로세스는 깊이 맵 및 가시성 추정치들을 반복하여 세밀화할 필요성이 감소되거나 제거될 수 있을 정도로 충분히 강건하다.

본 발명의 일 실시예에 따른, 기준 시점으로부터 포착된 영상에서의 픽셀들의 깊이를 결정하는 프로세스가 도 6에 예시되어 있다. 프로세스(600)는 어레이 카메라에 의해 포착된 영상들의 일부 또는 전부를 사용하여 초기 깊이 맵을 결정하는 단계(602)를 포함한다. 포착된 영상들 각각에서 기준 시점으로부터 포착된 영상에서의 각각의 픽셀의 가시성이 이어서 결정된다(604). 대응하는 픽셀 위치가 폐색되는 경우, 기준 시점으로부터 포착된 영상에서의 픽셀의 깊이는 대응하는 픽셀 위치가 폐색되는 영상을 비용 함수로부터 배제시켜 재계산될 수 있다(606). 계속하여 반복할지에 관한 결정(608)이 행해진다. 폐색 구역들에서의 깊이 측정이 세밀화됨에 따라, 포착된 영상들 각각에서의 폐색 구역들 내의 픽셀들의 가시성에 관한 부가 정보가 획득된다. 따라서, 가시성 정보가 세밀화됨에 따라 폐색 구역들에서의 픽셀들의 깊이의 재계산을 반복하는 것은 깊이 맵의 정밀도를 반복하여 향상시킬 수 있다. 사전 결정된 수의 반복들의 완료 및/또는 반복 루프를 통해 특정의 패스에서 업데이트된 깊이 정보가 결정되는 픽셀들의 수가 사전 결정된 수 미만으로 떨어지는 것(이들로 제한되지 않음)을 비롯한 특정의 응용에 적절한 각종의 종료 조건들 중 임의의 것이 반복 루프를 언제 종료시킬지를 결정하는 데 이용될 수 있다. 몇몇 실시예들에서, 부정합 픽셀들을 사용하여 발생된 깊이 추정치들을 업데이트하기 위해 실세계 가시성 패턴들에 대응하는 일련의 영상들의 서브셋들을 이용하는 것으로 인해 단일의 반복만이 수행된다.

마무리된 깊이 맵이 획득되면, 포착된 영상들에서의 픽셀들 각각의 가시성이 결정되고(610), 초해상도 처리를 사용하여 고 해상도 영상을 합성하는 것(이들로 제한되지 않음)을 비롯한 각종의 목적들을 위해 깊이 맵 및/또는 가시성 정보가 이용될 수 있다.

도 7에 예시된 프로세스와 유사한 프로세스의 계산 복잡도가 깊이 결정들을 수행할 때 비교되는 영상들의 수에 의존한다. 카메라가 기준 시점으로부터 멀수록, 관측될 불일치가 크다. 그에 부가하여, 어레이에서의 가장 멀리 있는 카메라들은 그의 엔벨로프 내의 다른 카메라들 전부를 포함한다. 전형적으로, 보다 큰 크기 시프트들은 깊이가 더 높은 정밀도로 결정될 수 있게 한다. 따라서, 깊이 정보를 결정하기 위해 기준 시점으로부터 영상을 포착하는 카메라 및 그 카메라로부터 가장 멀리 있는 카메라들을 사용하는 것은 검출된 깊이의 정밀도를 향상시킬 수 있다. 그에 부가하여, 다양한 기준선들 및 방향들을 갖는 카메라들로부터 나오는 집계된 비용을 사용하는 것은 정합들에서의 주기성을 감소시킬 가능성의 증가로 인해 깊이 추정치들의 신뢰성을 상당히 향상시킬 수 있다. 5 x 5 어레이(도 7을 참조)의 경우에, 중앙의 녹색 카메라(700)는 기준 시점으로부터 영상을 포착하는 데 이용될 수 있고, 중앙의 카메라에 의해 포착된 영상 데이터는 깊이를 결정하기 위해 어레이의 4개의 코너들에 위치해 있는 녹색 카메라들(702)에 의해 포착된 영상 데이터와 비교될 수 있다. 다른 어레이들에서, 카메라들의 각종의 조합들 중 임의의 것에 의해 포착되는 영상들이 본 발명의 실시예들에 따라 깊이를 결정하는 데 이용될 수 있다. 이하에서 추가로 논의되는 바와 같이, 카메라들의 특정의 서브셋들의 선택은 기준 영상에서의 픽셀이 서브셋에서의 다른 카메라들에 의해 포착된 영상 데이터에서 폐색될 가능성을 감소시킬 수 있다.

본 발명의 일 실시예에 따른 깊이 맵 및/또는 가시성 정보를 발생시키는 특정의 프로세스가 도 6에 예시되어 있지만, 초기 깊이 맵을 결정하는 단계 및 이어서 폐색된 픽셀들을 검출하고 폐색된 픽셀들을 배제시키기 위해 깊이 측정을 업데이트하는 것에 의해 깊이 맵을 세밀화하는 단계를 포함하는 각종의 프로세스들 중 임의의 것이 이용될 수 있다. 본 발명의 실시예들에 따른 픽셀들의 깊이 및 가시성을 결정하는 특정의 프로세스들이 이하에서 더 논의된다.

초기 깊이 맵의 결정

어레이 카메라로부터 장면 내의 객체까지의 거리를 결정하는 프로세스들은 어레이 카메라에 의해 포착된 영상들에서의 대응하는 픽셀들이 가장 높은 정도의 유사도를 가지는 깊이를 찾아내는 단계를 포함한다. 앞서 논의한 바와 같이, 특정의 깊이에서, 기준 시점으로부터 포착된 영상에서의 픽셀이 기준 시점과 카메라 어레이 내의 카메라들 각각 사이의 에피폴라 라인을 따라 기지의 거리만큼 시프트할 것이다. 기준 시점으로부터 포착된 영상에서의 픽셀과 다른 영상들에서의 "시프트된" 픽셀들(즉, 특정의 거리에 대한 예상된 시프트에 기초하여 결정되는 위치들에 위치해 있는 영상들에서의 픽셀들)이 대응하는 픽셀들이다. 가정된 깊이가 올바르지 않을 때, 대응하는 픽셀들은 아주 작은 유사도를 나타낼 수 있다(그렇지만, 어떤 장면들에서, 올바르지 않은 깊이들은 주기적 텍스처와 같은 특징들로 인해 높은 정도의 유사도를 가짐). 가정된 깊이가 올바를 때, 대응하는 픽셀들은 이상적으로는 가정된 깊이들 중 임의의 깊이의 가장 높은 정도의 유사도를 나타낼 것이다. 깊이 맵이 포착된 명시야의 초해상도 처리에서 사용될 때, 깊이 맵은 서브픽셀 시프트들의 검출을 가능하게 하기에 충분한 정밀도로 결정될 수 있다. 초해상도 처리에서, 깊이가 직접 이용되지 않고 장면 의존적인 시프트들이 이용된다. 따라서, 서브픽셀 시프트 정밀도에 대응하는 깊이를 검출할 수 있는 것은 초해상도 처리의 성능을 상당히 향상시킬 수 있다. 포착된 영상들의 픽셀들을 재샘플링하는 것이 서브픽셀 시프트 정밀도로 깊이를 결정하는 데 이용될 수 있는 방식이 이하에서 더 논의된다.

많은 실시예들에서, 깊이 추정을 수행할 때 탐색된 불일치를 알려주기 위해 물리적 거리의 범위(예컨대, 20 cm 내지 무한대) 내의 다수의 깊이들의 시차 탐색이 이용된다. 특정의 영상에 대한 픽셀들에서 연속적인 깊이 인덱스들 간의 시차 시프트(parallax shift)들이 일정하고 기준 시점에 대한 가장 큰 기준선에 대응하는 어레이 내의 카메라들에 의해 포착된 영상들에 대해 측정되는 최소 서브픽셀 정밀도에 기초하여 설정되도록 탐색 범위가 다수의 깊이 인덱스들로 분할될 수 있다(예를 들어, 도 7을 참조). 이것은 초해상도 처리에의 입력들로서 사용하기 위한 깊이 추정치에서의 충분한 정확도의 가능성을 증가시킨다. 다른 실시예들에서, 연속적인 깊이 인덱스들이 일정한 픽셀 시프트들에 대응할 필요가 없고, 깊이 탐색이 장면의 특성들에 기초하여 적응될 수 있다.

몇몇 실시예들에서, 대응하는 픽셀들의 유사도를 결정하기 위해 비용 함수가 이용된다. 사용되는 특정의 비용 함수는 전형적으로 어레이 카메라의 구성, 어레이 카메라에 의해 포착된 영상들의 수, 및 어레이 카메라에 의해 이용되는 색상 채널들의 수에 의존한다. 다수의 실시예들에서, 어레이 카메라는 단일의 색상 채널을 포함하고 그리고/또는 깊이 맵이 단일의 색상 채널 내의 카메라들을 사용하여 발생된다. 단일의 색상 채널 내로부터의 영상 데이터가 깊이 맵을 발생시키는 데 이용될 때, 대응하는 픽셀들의 분산을 측정하는 비용 함수가 이용될 수 있다. 몇몇 실시예들에서, L1 노름, L2 노름, 또는 어떤 다른 메트릭들의 합산이 사용될 수 있다. 예를 들어, 대상물(target)에 대한 유사도 메트릭들의 집계(전형적으로, 비기준이 아닌 기준이 또한 사용될 수 있다). 분산이 작을수록, 픽셀들 사이의 유사도가 크다.

다수의 스펙트럼 채널들로부터의 영상 데이터가 또한 깊이 맵을 발생시키는 데 이용될 수 있다. 몇몇 실시예들에서, 스펙트럼 채널들 각각 내의 영상들로부터의 대응하는 픽셀들의 유사도를 살펴보는 것에 의해 주어진 픽셀 위치에서의 깊이가 추정된다. 다수의 실시예들에서, 주어진 픽셀 위치에서의 깊이를 결정하는 프로세스는 또한 상이한 스펙트럼 채널들에 걸쳐 영상들로부터의 대응하는 픽셀들의 유사도에 관한 정보를 사용하는 단계를 포함한다. 다수의 색상 채널들을 사용하여 포착된 영상 데이터를 사용하여 깊이 맵을 발생시킬 때 이용될 수 있는 비용 함수들은 상이한 색상 채널들로부터의 영상 데이터의 조합들의 L1 노름, L2 노름, 또는 L1 노름과 L2 노름의 조합 및/또는 다수의 개별적인 색상 채널들 내의 대응하는 픽셀들의 분산/표준 편차(이들로 제한되지 않음)를 포함한다. 다른 실시예들에서, L1 및 L2 노름의 절단된 버전 및/또는 랭크(rank), 센서스(census), 상관 관계, 및/또는 다시점 스테레오 불일치 검출 기법들에서 실시되는 것들과 같은 임의의 다른 적절한 메트릭에 기초한 임의의 블록 기반 유사도 척도가 이용될 수 있다.

이하에서 추가로 논의되는 바와 같이, 본 발명의 많은 실시예들은, 주어진 픽셀 위치가 카메라들의 서브셋 내의 다른 카메라들에 의해 포착된 대안 시점 영상들에서 폐색될 가능성을 감소시키기 위해, 기준 시점으로부터의 영상에서의 픽셀 위치의 깊이를 결정할 때 자연 장면들의 특성들에 기초하여 그룹화된 다수의 색상 채널들로부터의 카메라들을 비롯한 카메라들의 서브셋들을 이용한다. 어레이 카메라가 기준 시점으로부터의 영상을 포착하는 카메라에서 베이어 필터를 이용하는 경우에, 적색 분산, 녹색 분산, 및 청색 분산의 조합을 측정하는 비용 함수들(이들로 제한되지 않음)을 비롯한 각종의 비용 함수들이 픽셀 유사도를 결정하는 데 이용될 수 있다. 그에 부가하여, 영상의 상이한 영역들에서의 픽셀들에 상이한 비용 함수들이 적용될 수 있다. 몇몇 실시예들에서, 이 기법을 사용하여 중앙의 녹색 카메라 그리고 카메라 어레이의 4개의 코너들 각각에 있는 적색, 청색 및 녹색 카메라들의 클러스터에 의해 포착된 영상 데이터로부터 깊이 맵이 발생된다(예를 들어, 도 7을 참조).

본 발명의 일 실시예에 따른, 어레이 카메라에 의해 포착된 영상들을 사용하여 픽셀의 깊이를 결정하는 프로세스가 도 8에 예시되어 있다. 프로세스(800)는 기준 시점으로부터 포착된 영상으로부터 선택된 픽셀에 대한 초기의 가정된 깊이 또는 거리 d를 선택하는 단계(802)를 포함한다. 깊이 측정을 수행하기 위해 사용되는 기준 영상 내의 픽셀의 위치 및 기준 시점과 다른 카메라들의 시점들 사이의 기준선에 관한 정보에 기초하여, 가정된 깊이 d에서 포착된 영상들 각각에서의 대응하는 픽셀 위치들이 결정된다(804). 많은 실시예들에서, 시차 검출 프로세스에의 입력 영상들이 기하학적으로 보정되지 않고, 주어진 깊이 d에서 대응하는 픽셀들을 식별하기 위해 탐색 동안 시차 시프트에 벡터 오프셋(vector offset)을 가산하는 것에 의해 기하학적 보정이 동작 중에 적용된다. 다른 실시예들에서, 정규화 프로세스 동안 탐색이 시작되기 전에 영상들에 기하학적 보정이 적용되고, 픽셀 대응 관계들을 계산할 때 탐색 동안 기하학적 보정 벡터가 부가되어서는 안된다(즉, 기하학적 보정이 사전 계산된다). 후자의 경우에, 기하학적 왜곡의 사전 보정은 알고리즘을 SIMD 및 GPU와 같은 병렬 프로세서 상에서 상당히 더 효율적이게 할 수 있다.

앞서 살펴본 바와 같이, 폐색은 깊이 추정치들에 오류를 유입시킬 수 있다. 폐색/가시성 정보가 이용가능할 때, 폐색된 픽셀들이 깊이 측정의 일부로서 무시될 수 있다(806). 픽셀들의 가시성에 관한 정보가 (예컨대, 초기 깊이 맵의 발생 동안 및/또는 영상들의 서브셋을 사용한 깊이 추정치의 발생 동안) 이용가능하지 않을 때, 대응하는 픽셀 위치들에서의 픽셀들 전부의 유사도가 깊이를 결정하는 데 사용된다. 도 8a 내지 도 8i를 참조하여 이하에서 논의되는 바와 같이, 기준 영상에서의 주어진 픽셀이 보이는 카메라들의 특정의 서브셋을 식별하기 위해 어레이 카메라에 의해 포착된 영상들의 서브셋들로부터 포착된 영상 데이터에 대해 초기 깊이 탐색이 수행될 수 있다.

대응하는 픽셀들이 식별될 때, 대응하는 픽셀들의 유사도가 측정될 수 있다(808). 많은 실시예들에서, 픽셀들의 유사도가 비용 함수를 사용하여 결정된다. 이용되는 특정의 비용 함수는 비교되는 픽셀 정보에 의존한다. 앞서 살펴본 바와 같이, 하나의 실시예에서, 단일의 색상 채널로부터의 픽셀들이 비교될 때, 비용 함수는 대응하는 픽셀들의 L1 노름, L2 노름, 및/또는 분산을 고려할 수 있다. 다수의 색상 채널들로부터의 픽셀들이 비교될 때, 다수의 색상 채널들로부터의 영상 데이터의 L1 및/또는 L2 노름 그리고/또는 다수의 개별적인 색상 채널들 내의 대응하는 픽셀들의 분산/표준 편차를 포함하는 비용 함수들(이들로 제한되지 않음)을 비롯한 보다 복잡한 비용 함수들이 이용될 수 있다. 다른 실시예들에서, L1 및 L2 노름의 절단된 버전 및/또는 랭크, 센서스, 상관 관계, 및/또는 다시점 스테레오 불일치 검출 기법들에서 실시되는 것들과 같은 임의의 다른 적절한 메트릭에 기초한 임의의 블록 기반 유사도 척도가 이용될 수 있다. 몇몇 실시예들에서, 비용 함수를 이용하여 유사도를 결정하는 프로세스는 고정 계수 필터(가우시안 필터 등), 또는 대안의 실시예에서, 에지 보존 필터(이들로 제한되지 않음)와 같은 필터를 사용하여 계산된 비용들을 공간적으로 필터링하는 단계를 포함한다. 후자의 실시예에서, 이러한 방식으로 에지 보존 필터로 필터링하는 것은 깊이 추정치들을 향상시키기 위해 측광적으로 유사한 이웃 픽셀들로부터의 정보를 이용하는 적응적 지원의 한 형태이다. 필터링이 없는 경우, 깊이 측정은 픽셀 단위(pixel-wise)이고, 필터링되는 경우보다 잡음이 더 많다. 적응적 지원을 사용하여 비용 함수를 평활화(smooth)하는 것은 올바르지 않은 깊이들의 발생을 방지할 수 있다. 다수의 실시예들에서, 계산된 비용들이 양방향 필터를 사용하여 공간적으로 필터링되고, 여기서 양방향 필터 가중치들은 기준 영상으로부터 결정되지만, 보통의 양방향 필터와 달리, 얻어진 필터 가중치들이 기준 영상이 아니라 계산된 비용들에 적용된다. 이러한 방식으로, 기준 영상 데이터가 비용 추정치들의 잡음 제거(denoising)를 향상시키는 가이드로서 사용될 수 있다. 다수의 실시예들에서, 특정의 응용의 요구사항들에 적절한 박스 필터 및/또는 임의의 다른 필터가 이용될 수 있다.

상이한 깊이들에서의 대응하는 픽셀들에 대한 비용 함수의 계산이 깊이 탐색이 완료(810)될 때까지 가정된 깊이들의 범위에 걸쳐 스위프(sweep)하면서 반복된다(812). 가장 유망한 깊이가 이어서 (필터링된) 비용 함수가 대응하는 픽셀들이 가장 높은 레벨의 유사도를 가진다는 것을 나타내는 가정된 깊이로서 결정될 수 있다(814). 몇몇 실시예들에서, 주어진 깊이 계산에 대해, 단일의 카메라가 아주 높은 부정합을 나타내는 경우 조기 종료가 일어날 수 있다. 이 조건에서, 프로세스는, 현재의 깊이에서의 정합이 타당하지 않을 것이기 때문에, 그 다음의 가정된 깊이로 건너뛸 수 있다. 많은 실시예들에서, 깊이 샘플링을 수행하는(즉, 특정의 깊이에서의 불일치에 기초하여 대안 시점 영상들에서의 픽셀들을 비교하는) 프로세스는 불일치 공간에서 균일하게 깊이를 샘플링하는 단계를 포함한다. 달리 말하면, 에피폴라 라인을 따라 균일한 픽셀 시프트들에서 깊이 샘플들이 취해질 수 있다. 다수의 실시예들에서, 탐색은 불일치 공간에서의 균일한 샘플링을 포함하지 않는다. 몇몇 실시예들에서, 탐색은 탐색의 효율성을 증가시키기 위해 영상 특성들을 이용한다. 몇몇 실시예들에서, 탐색은 고 분해능 깊이 맵을 형성하려고 시도함에 있어서 어느 깊이들이 샘플링되는지를 결정하거나 제한하기 위해, 보다 거친 또는 보다 낮은 공간 분해능 깊이 맵 또는 불일치에서의 감소된 탐색 분해능으로부터(예컨대, 영상 미리보기(image preview)로부터)와 같이, 객체들이 장면에서 어디에 있는지에 관한 사전 정보를 사용한다. 예를 들어, 특정의 거리를 넘어 어떤 객체들도 없다는 것을 결정하기 위해 미리보기 깊이 맵(preview depth map)이 사용될 수 있고, 이 경우에, 깊이 탐색을 위해, 그 거리를 넘어 어떤 깊이 샘플들도 할당되지 않을 것이다.

많은 영상들이 유사한 색상의 영역들을 나타내고, 따라서 가장 유망한 가정된 깊이에 대한 탐색이 가능한 가정된 깊이들의 범위에 걸쳐 보다 거칠게 분포되어 있는 제1 세트의 가정된 깊이들을 선택하고 가장 높은 정도의 유사도를 나타내는 이들 중의 깊이를 찾아냄으로써 지능적으로 수행될 수 있다. 제1 세트의 깊이들에서 가장 높은 정도의 유사도를 나타낸 깊이 주위의 보다 세분된 범위 내에서 세밀화하기 위해 제2 탐색이 이어서 수행될 수 있다. 보다 세분된 탐색이 실패하고 발견된 최상의 픽셀이 유사한 색상을 나타내는 영역으로부터 것이 아닌 경우, 원래의 제1 거친 탐색에서보다 더 정밀한 간격으로 전 범위의 깊이들에 걸쳐 전체 탐색(full search)이 수행될 수 있다. 그렇지만, 제2 탐색에서 만족스러운 정합이 발견되는 경우, 제2 탐색 내에서 가장 높은 레벨의 유사도를 나타내는 깊이가 가장 유망한 가정된 깊이로서 사용될 수 있다.

많은 실시예들에서, 인접한 픽셀들에 대해 결정된 깊이 정보를 이용하여 픽셀의 가장 유망한 깊이에 대한 탐색이 수행된다. 몇몇 실시예들에서, 탐색은 하나 이상의 인접한 픽셀들의 깊이 주위를 탐색하는 것에 의해, 인접한 픽셀들의 깊이들에 기초하여(예컨대, 인접한 픽셀들의 평균 깊이에 기초하여 또는 인접한 픽셀들의 쌍들의 선형 보간들에 기초하여) 결정된 깊이 주위를 탐색하는 것에 의해, 및/또는 이전에 식별된 깊이(예컨대, 미리보기 영상 및/또는 비디오 시퀀스에서의 이전 프레임에 대해 결정된 깊이) 주위를 탐색하는 것에 의해 수행된다. 이러한 방식으로 탐색하는 것은 또한 깊이를 결정할 때 공간 필터들의 적용을 간단화시킬 수 있다(이하에서의 논의를 참조). 다른 실시예들에서, 영상에서의 픽셀들의 가장 유망한 깊이를 찾아내는 것의 계산 복잡도를 감소시키기 위해 각종의 기법들 중 임의의 것이 이용될 수 있다.

기준 시점으로부터 포착된 영상에서의 픽셀의 깊이를 결정하는 특정의 프로세스들이 도 8과 관련하여 앞서 논의되어 있지만, 어레이 카메라에 의해 포착된 복수의 영상들에 기초하여 가상 시점으로부터 픽셀의 깊이를 결정하는 프로세스를 비롯한 각종의 프로세스들 중 임의의 것이 픽셀의 깊이를 결정하는 데 이용될 수 있다. 초기 깊이 맵을 발생시키고 이어서 기준 시점으로부터의 영상에서의 픽셀 위치에 대응하는 픽셀이 폐색되는 영상들을 무시함으로써 깊이 맵을 세밀화하기 위해 도 8에 예시된 프로세스와 유사한 프로세스들이 이용될 수 있다. 본 발명의 실시예들에 따른 적응적 지원을 사용하여 픽셀 대응 관계를 결정하는 프로세스들이 이하에서 더 논의된다.

폐색의 존재 시에 픽셀 대응 관계를 결정

기준 시점에 깊이 천이 또는 불연속이 있는 경우, 어레이 카메라에 의해 포착된 영상들 중 적어도 하나에서 깊이 천이에 인접한 픽셀들이 폐색될 가능성이 있다. 구체적으로는, 카메라로부터 더 먼 거리에 있는 천이에 인접한 픽셀들이 카메라에 더 가까운 카메라에 인접한 픽셀들에 의해 폐색될 가능성이 있다. 이상적으로는, 다음과 같이 폐색된 픽셀들을 배제하는 깊이 맵이 어레이 내의 각각의 보이는 카메라 i에 대한 집계된 비용 함수 CV(x, y, d)를 사용하여 결정된다:

여기서 Cost^i,Ref(x, y, d)는 유사도 척도(즉, 비용 함수)이고,

d는 픽셀 (x, y)의 깊이이며,

V^i,Ref(x, y)는 픽셀 (x, y)의 가시성이고 처음에 모든 카메라들에 대해 V^i,Ref(x, y) = 1이다.

다수의 실시예들에서, 개개의 비용들 Cost^i,Ref(x, y, d)는 다음과 같이 카메라들 i,Ref에 대한 각각의 픽셀 (x, y)에 대한 각각의 불일치 가정 d에 기초하여 계산되고:

여기서 S는 (예를 들어) 유사도 척도이고,

는 기하학적 교정 후의 교정된 영상 i이다.

몇몇 실시예들에서, 집계된 비용을 발생시키는 프로세스는 특정의 가정된 또는 후보 깊이에 대응하는 장면 의존적인 기하학적 시프트들이 영상에서의 모든 픽셀들에 적용되는 영상들을 사용하는 단계를 포함할 수 있다. 이러한 방식으로, 탐색된 각각의 후보 깊이에 대해 시프트된 영상이 발생될 수 있다. 시프트된 영상들을 사용하여, 기준 시점으로부터의 영상에서의 특정 픽셀 위치 (x, y)에 대한 각각의 깊이에서의 집계된 비용이 시프트된 영상들과 기준 영상 사이의 유사도를 이용하여 앞서 기술된 방식으로 발생될 수 있다. 그에 부가하여, 집계된 비용은 다음과 같이 후보 깊이에서의 시프트된 영상들의 유사도를 고려할 수 있고:

여기서 K는 기준 카메라와 동일한 스펙트럼 채널에서의 카메라들의 세트이고,

L은 카메라들의 쌍들의 세트이고, 각각의 쌍에서의 양쪽 카메라들은 (명시야가 다수의 스펙트럼 채널들에서의 영상 데이터를 포함하는 경우 기준 카메라에 대해 상이한 스펙트럼 채널일 수 있는) 동일한 스펙트럼 채널에 있고,

이며,

이다.

다수의 실시예들에서, 세트들 K 및 L은 K 및 L에서의 요구사항들을 충족시키는 카메라들 또는 카메라들의 쌍들 전부를 꼭 포함하지는 않는다. 게다가, 누적 비용 함수(cumulative cost function)는 또한 L의 세트가 대응하는 픽셀들의 비용이 결정되는 임의적으로 큰 카메라 그룹들을 포함하는 비용 항(cost term)을 사용하여 구성될 수 있다. 많은 실시예들에서, 유사도 메트릭 S는 L1 노름이다. 몇몇 실시예들에서, 유사도 메트릭은 L2 노름, 대응하는 픽셀들의 분산 또는 표준 편차(특히 L이 보다 큰 카메라 그룹들을 포함하는 경우), 상관 관계, 랭크, 센서스 및/또는 특정의 응용의 요구사항들에 적절한 임의의 다른 척도를 포함하는 창 기반(window-based) 유사도 메트릭들(이들로 제한되지 않음)을 비롯한 다수의 공지된 유사도 메트릭들 중 임의의 것일 수 있다. 비교들이 시프트된 영상들과 관련하여 앞서 논의되어 있지만, 잘 알 수 있는 바와 같이, 비교들은 (영상에서의 모든 픽셀들에 시프트들을 적용하는 것 및 이어서 시프트된 영상들을 비교하는 것과 달리) 개별적인 픽셀 위치들에 시프트들을 적용하는 것 및 가정된 깊이에서 대응하는 픽셀들을 비교하는 것에 의해 수행될 수 있다.

다수의 실시예들에서, 비용 함수는 또한 상이한 스펙트럼 채널들에 걸쳐 대응하는 픽셀들 간의 유사도를 고려할 수 있다. 몇몇 실시예들에서, 이웃들에 있는 픽셀들의 상호 상관(cross-correlation), 이웃들에 있는 픽셀들 간의 정규화된 상호 상관 및/또는 상호 정보(mutual information)를 측정하는 것을 비롯하여 엔트로피 척도(entropy measure)들(이들로 제한되지 않음)과 같은 2 세트의 픽셀들의 상대값(relative value)들의 유사도를 측정하는 임의의 다른 메트릭(이들로 제한되지 않음)을 비롯한 각종의 메트릭들 중 임의의 것을 사용하여 상이한 스펙트럼 채널들로부터의 픽셀들에서의 픽셀들의 이웃들의 유사도가 평가될 수 있다.

몇몇 실시예들에서, 기준 영상을 포함하는 스펙트럼 채널 내의 대응하는 픽셀들과 기준 영상의 유사도, 동일한 스펙트럼 채널에서의 대안 시점 영상들 내의 대응하는 픽셀들의 유사도, 및/또는 상이한 스펙트럼 채널들에서의 영상들 내의 대응하는 픽셀들의 유사도에 상이한 가중치들이 적용될 수 있다.

앞서 논의한 바와 같이, 집계된 비용 함수는 다음과 같이 공간적으로 필터링될 수 있고:

여기서 Filter는 픽셀 위치 (x, y)를 둘러싸고 있는 이웃 N(x, y)에서 적용된다.

필터는 간단한 3 x 3 또는 N x N 박스 필터 또는 기준 영상을 안내로서 사용하는 결합 양방향 필터(joint bilateral filter), 고정 계수 필터(가우시안 필터 또는 박스 필터 등), 또는 임의의 적절한 에지 보존 필터(이들로 제한되지 않음)를 비롯한 어떤 다른 필터일 수 있다. 몇몇 실시예들에서, 가중된 집계된 비용 함수는 다음과 같고:

여기서 N(x, y)는 특정의 응용의 요구사항들에 적절한 정사각형, 원형, 직사각형, 또는 임의의 다른 형상일 수 있는 픽셀 (x, y)의 바로 이웃이고,

Norm은 정규화 항이며,

I_Ref(x, y)는 기준 카메라로부터의 영상 데이터이고,

wd는 픽셀 거리에 기초한 가중 함수이며,

wr은 명도 차이에 기초한 가중 함수이다.

많은 실시예들에서, 필터는 양방향 필터이고, wd 및 wr은 둘 다 가우시안 가중 함수이다.

필터링된 집계된 비용 함수에 기초하여, 다음과 같이 깊이 맵에서의 각각의 픽셀 위치에서 필터링된 비용을 최소화하는 깊이를 선택하는 것에 의해 깊이 맵이 계산될 수 있다:

D(x, y) = argmin_d{FilteredCV(x, y, d)}

집계된 비용 함수가 앞서 기술한 방식으로 에지 보존 필터를 사용하여 필터링될 때, 잡음이 폐색된 픽셀들의 잘못된 검출을 가져올 가능성이 감소된다. 개개의 픽셀들에 대한 깊이들을 계산하는 대신에, 깊이 천이를 보존하는 방식으로 잡음을 필터링하기 위해 각각의 픽셀 주위에서 적응적 지원 창(adaptive support window)이 사용된다. 양방향 필터(이들로 제한되지 않음)와 같은 필터를 이용하는 것은 내용(content)에 기초하여 적응하는 적응적 지원 창을 제공한다. 많은 실시예들에서, 양방향 필터에 대한 공간 및 범위 지원(즉, 특정 픽셀에 대한 집계된 비용 함수에 기여하는 픽셀들의 창의 크기를 정의하는 파라미터들)을 정의하기 위해 기준 영상이 사용되는 양방향 필터가 사용된다. 그 결과로서, 픽셀의 비용 함수의 평활화는 동일한 표면의 일부인 픽셀들의 계산된 비용 함수를 사용하여 달성될 수 있다. 다른 실시예들에서, 박스 필터(이들로 제한되지 않음)와 같은 필터들은 계산이 덜 복잡하고 특정의 응용들의 요구사항들에 충분한 필터링을 제공한다.

다수의 스펙트럼 채널들에서의 픽셀들에 대한 픽셀 대응 관계를 결정

본 발명의 많은 실시예들에 따른 어레이 카메라들은 적색, 녹색 및 청색 카메라들(이들로 제한되지 않음)과 같은 다수의 스펙트럼 채널들에서의 카메라들을 포함한다. 비용 메트릭 CV(x, y, d)는 단일의 스펙트럼 채널 및 다수의 스펙트럼 채널들과 관련하여 앞서 기술되어 있다. 적색, 녹색, 및 청색 카메라들을 포함하는 어레이 카메라의 경우에, 비용 함수는 특정의 깊이에서 녹색 카메라들에서의 픽셀들의 유사도, 적색 카메라들에서의 픽셀들의 유사도, 및 청색 카메라들에서의 픽셀들의 유사도를 고려할 수 있다. 특정의 색상 채널에서의 카메라(예컨대, 녹색 카메라)가 기준 카메라로서 선택되는 경우, 다른 채널들(예컨대, 적색 및 청색 카메라들)에서의 픽셀들은 기준 영상에서의 픽셀들과 직접 비교하기가 어렵다. 그렇지만, 특정의 깊이에서의 불일치가 결정될 수 있고, 다른 색상 채널들에서의 대응하는 픽셀들의 명도 값들이 비교될 수 있다. 이 부가의 비교들을 깊이 추정치에 포함시키는 것은 모든 색상 채널들에 걸친 정보를 이용함으로써 깊이 추정치들을 향상시킬 수 있다. 적색, 녹색, 및 청색 카메라들을 포함하는 어레이 카메라들에서 깊이 추정을 수행하는 데 이용될 수 있는 다양한 비용 함수들이 이하에서 더 논의된다. 그렇지만, 잘 알 수 있는 바와 같이, 본 발명의 실시예들에 따라 임의의 세트의 스펙트럼 채널들에 대해 동일한 비용 함수들이 이용될 수 있다.

몇몇 실시예들에서, 영상 데이터가 적색, 녹색, 및 청색 카메라들을 포함하는 어레이 카메라를 사용하여 포착되고, 녹색 카메라가 기준 카메라로서 선택된다. 깊이 추정치들을 결정할 때 한 세트의 녹색 카메라들에서의 픽셀들 사이의, 한 세트의 적색 카메라들에서의 픽셀들 사이의, 그리고 한 세트의 청색 카메라들에서의 픽셀들 사이의 픽셀 대응 관계를 고려하는 비용 함수가 이용될 수 있다. 몇몇 실시예들에서, 하기의 비용 함수가 이용될 수 있고:

여기서 Cost_G(x, y, d)는 깊이 d에 기초하여 결정된 한 세트의 녹색 카메라들 내의 위치들에서의 픽셀들과 기준 녹색 카메라에서의 픽셀 (x, y)의 위치의 유사도의 척도이고,

Cost_R(x, y, d)는 깊이 d에 기초하여 결정된 한 세트의 적색 카메라들 내의 위치들에서의 대응하는 픽셀들과 기준 녹색 카메라에서의 픽셀 (x, y)의 위치의 유사도의 척도이며,

Cost_B(x, y, d)는 깊이 d에 기초하여 결정된 한 세트의 청색 카메라들 내의 위치들에서의 대응하는 픽셀들과 기준 녹색 카메라에서의 픽셀 (x, y)의 위치의 유사도의 척도이고,

및

는, 각각, 기준 시점 전체에 대해 상수들일 수 있거나 공간적으로 변할 수 있는 녹색, 적색 및 청색 비용 함수들에 대한 가중 인자들이다.

공간 가중치는 포착된 영상 데이터에 의존할 수 있고(예를 들어, 에지 경사(edge gradient)들을 사용함), 센서의 기지의 특성들(예를 들어, SNR을 계산하기 위해 주어진 센서에 대한 잡음 모델 사전 정보(noise model prior)를 사용함)은 물론, 비용 함수의 특성들(공간 가중치가 영상 데이터에 의존하는 다른 경우임)을 보정하거나 사용할 수 있다. 그에 부가하여, 영상이 포착되는 이득 또는 검출된 광 레벨(이들로 제한되지 않음)과 같은 영상 데이터의 포착 동안 이용되는 영상 파라미터(imaging parameter)들이 또한 가중치들을 결정할 시에 고려될 수 있고, 가중 인자들을 변조하는 데 사용될 수 있다.

비용 함수 Cost_G(x, y, d)는 앞서 기술한 메트릭들 중 하나일 수 있다. 많은 실시예들에서, Cost_G(x, y, d)는 대안 시점 영상에서의 픽셀과 기준 영상에서의 픽셀을 비교하는 L1 노름, 대안 시점 영상에서의 픽셀과 기준 영상에서의 픽셀을 비교하는 L2 노름, 및/또는 녹색 카메라들에 의해 포착된 일련의 영상들에서의 픽셀들에 걸친 분산에 기초하여 유사도 척도를 사용한다. 다른 실시예들에서, L1 및 L2 노름의 절단된 버전 및/또는 랭크, 센서스, 상관 관계, 및/또는 다시점 스테레오 불일치 검출 기법들에서 실시되는 것들과 같은 임의의 다른 적절한 메트릭에 기초한 임의의 블록 기반 유사도 척도가 이용될 수 있다.

다수의 실시예들에서, 다른 색상 채널들에 대한 비용 함수들(즉, Cost_R(x, y, d) 및 Cost_B(x, y, d))은 픽셀 대응 관계를 결정하는 기초로서 기준 영상으로부터의 픽셀을 포함하는 비교를 이용하지 않는다. 몇몇 실시예들에서, 대응하는 픽셀들의 유사도는 색상 채널 내의 한 세트의 카메라들에서의 대응하는 픽셀들의 각각의 독자적인 쌍 사이의 집계된 차이를 계산하는 것에 의해 수행된다. 깊이가 4개의 적색 카메라들 R_A, R_B, R_C, 및 R_D를 사용하여 결정되는 어레이 카메라의 예에서, 비용은 다음과 같이 결정될 수 있고:

여기서 (x_A, y_A), (x_B, y_B), (x_C, y_C), 및 (x_D, y_D)는, 각각, 깊이 d에서의 카메라들 R_A, R_B, R_C, 및 R_D 각각에서의 불일치에 기초하여 결정된 픽셀 위치들이다.

상기 메트릭은 조합 비용 메트릭이라고 할 수 있고, 기준 카메라를 포함하지 않는 임의의 색상 채널 내에서 적용될 수 있다. 몇몇 실시예들에서, 색상 채널 내의 한 세트의 카메라들에서의 대응하는 픽셀들의 독자적인 쌍들의 모든 조합을 포함하지는 않는 조합 메트릭이 이용될 수 있다. 몇몇 실시예들에서, 어레이 카메라에 의해 포착된 영상들의 서브셋으로부터의 대응하는 픽셀들의 독자적인 쌍들이 이용될 수 있다. 가상 시점에 대해 깊이들이 결정될 때, 스펙트럼 채널들 중 어느 것도 "기준 카메라"를 포함하지 않고, 스펙트럼 채널들 각각에서 조합 비용 메트릭이 적용될 수 있다. 조합 비용 메트릭이 픽셀 명도 값들 사이의 유사도를 결정하기 위해 L1 노름을 이용하는 것으로 앞서 나타내었지만, 다른 실시예들에서, L2 노름, 픽셀 분산, L1 및 L2 노름의 절단된 버전 및/또는 랭크, 센서스, 상관 관계, 및/또는 다시점 스테레오 불일치 검출 기법들에서 실시되는 것들과 같은 임의의 다른 적절한 메트릭에 기초한 임의의 블록 기반 유사도 척도가 이용될 수 있다.

가중 인자들(예컨대,

및

)은 스펙트럼 채널들 각각의 깊이 추정치에의 기여도를 결정하는 데 사용될 수 있다. 가중치들이 고정되어 있거나 기준 영상에서 픽셀마다 변할 수 있다(즉, 공간적으로 변함). 많은 실시예들에서, SNR(signal-to-noise ratio) 추정기를 사용하여 기준 영상에 대해 SNR의 맵이 발생될 수 있다. 몇몇 실시예들에서, SNR 추정기는 신호 잡음의 사전 특성 평가(prior characterization)에 기초하여 SNR을 결정할 수 있다. SNR 응답이 높은 영역들은 텍스처(texture) 또는 고 신호(high signal)의 존재를 나타낼 수 있다. SNR 추정치가 낮은 영역들은 거의 전적으로 잡음으로 이루어진 텍스처리스 영역(textureless region)을 나타낼 수 있다. 특정의 상황에서, 영상들로부터의 데이터가 특정의 스펙트럼 채널들에서는 잡음이 많을 수 있지만 다른 스펙트럼 채널들에서는 그렇지 않을 수 있다. 예를 들어, 한 영역이 녹색 영상들에서는 텍스처리스인 것처럼 보일 수 있지만, 적색 카메라들에 의해 포착된 영상들에서는 신호 내용(signal content)을 가질 수 있다. 따라서, 녹색 카메라들은 비용 함수에 유용한 정보를 거의 제공하지 않을 것이고, 실제로는 깊이 추정 프로세스에 잡음을 유입시킬 수 있으며, 그 결과 적색 또는 청색 카메라들만이 비용 함수에 포함되어 있는 경우보다 덜 신뢰성있는 깊이 추정치가 얻어진다. 따라서, 색상 채널들 각각에 적용할 가중치들을 결정하기 위해 SNR 맵이 이용될 수 있다. 몇몇 실시예들에서, 픽셀 (x, y)에 대한 기준 영상에서의 SNR 추정치가 낮은 경우― 이는 픽셀 (x, y) 바로 주위의 영역이 텍스처리스일 가능성이 있고 그다지 신호를 포함하지 않는다는 것을 의미함 ―, 기준 영상을 포함하는 색상 채널에 대한 가중치가 픽셀 (x, y)에서 감소되어야만 한다.

많은 실시예들에서, 보다 엄격한 조건이 또한 사용될 수 있고 그리고/또는 기준 영상을 포함하는 스펙트럼 채널에 대한 가중치가 픽셀 (x, y)에서 감소되어야만 하는 대안으로서 사용될 수 있고, 픽셀 (x, y)에서 그리고 모든 카메라들에 대한 기준 영상에서의 (에피폴라 라인들을 따른) 최대 시차의 반경에 대해 기준 영상에서의 SNR 추정치가 낮은 SNR을 나타낼 때, 기준 영상을 포함하는 스펙트럼 채널에 대한 가중치가 픽셀 (x, y)에서 감소되어야만 한다. 스펙트럼 채널 내의 카메라 어레이에서의 다른 카메라들에 대해 결정된 에피폴라 라인들을 따라 위치해 있는 픽셀들에 대해서만 최대 시차의 반경이 결정될 수 있다. 보다 엄격한 기준은, SNR이 기준 영상에서의 픽셀 위치 (x, y)에서 낮을 수 있지만, 기준 카메라를 포함하는 색상 채널 내의 다른 카메라에서의 픽셀 (x, y)로부터 얼마간(최대 시차 시프트 미만) 떨어져 내용이 있을 수 있다는 것― 이는 후보 깊이를 유망한 정합이 되지 못하게 실격시킬 수 있음 ―이다. 따라서, 픽셀 위치 (x, y)가 낮은 SNR을 가질 수 있지만, 근방의 내용은 여전히 가능한 것으로서의 특정의 깊이들을 실격시키는 데 유용한 정보를 제공할 수 있다.

다수의 실시예들에서, 기준 영상에서의 강한 SNR은 계산을 절감하기 위해 다른 색상 채널들에 적용되는 가중치를 감소시키는 데 사용될 수 있다(즉, 보다 적은 수의 카메라들이 탐색되어야만 함). 그에 부가하여, 비용 함수에서 색상 채널에 적용되어야만 하는 가중치를 결정하기 위해 다른 색상 채널들 중 하나에서의 카메라에 대해 SNR이 추정될 수 있다. 많은 실시예들에서, SNR을 결정하는 프로세스는 대안 시점 카메라에서의 픽셀 위치 (x, y)를 기준 카메라에 연결시키는 에피폴라 라인을 따라 SNR을 추정하는 단계를 포함한다. 이어서, 높은 SNR의 영역들이 있는지 에피폴라 라인 또는 라인(들)이 탐색될 수 있다. 대안 시점 카메라에서 에피폴라 라인을 따라 높은 SNR 기여분들이 발견되는 경우, 대안 시점 카메라가 속하는 색상 채널의 가중치는 색상 채널이 기준 영상에서의 픽셀 위치 (x, y)에 대한 비용 메트릭에 기여하도록 설정될 수 있다. 그 대신에, 픽셀 위치 (x, y)에서 시작하는 에피폴라 라인을 따라, 대안 시점 영상이 낮은 SNR만을 나타내는 경우, 대안 시점 영상을 포함하는 색상 채널의 기여분이 그에 대응하여 감소될 수 있다. 많은 실시예들에서, 깊이 추정치들을 결정할 때 색상 채널에 적용할 가중치를 결정할 때 각각의 색상 채널에서의 다수의 카메라들이 고려된다. 기준 카메라를 포함하지 않는 색상 채널들 내에 포함된 정보를 사용하여 깊이를 추정하는 특정의 프로세스들이 앞서 기술되어 있지만, 각종의 프로세스들 중 임의의 것이 본 발명의 실시예들에 따라 특정의 응용들의 요구사항들에 따라 적절히 다수의 색상 채널들에 포함된 정보에 기초하여 깊이 추정치들을 결정하는 데 이용될 수 있다.

초기 깊이 맵에 기초하여, 가시성 V^i,Ref(x, y)가 계산된 깊이 맵 D(x, y)에 기초하여 또는 고정 계수 필터(가우시안 또는 박스 필터 등), 또는 기준 영상을 안내로서 사용하는 결합 양방향 필터(이들로 제한되지 않음)와 같은 적응적 또는 에지 보존 필터를 사용하여 필터링되는 필터링된 깊이 맵 F(D(x, y))에 기초하여 업데이트될 수 있다. 기준 시점으로부터 포착된 영상에서의 픽셀이 다른 영상에서 폐색되는지를 결정하기 위해 각종의 기법들이 이용될 수 있다. 다수의 실시예들에서, 폐색될 수 있는 픽셀들을 식별하기 위해 초기 깊이 맵이 이용된다. 폐색이 일어날 가능성이 있는 구역들을 식별하기 위해 전경 객체들에 관한 정보가 이용될 수 있다. 그에 부가하여, 깊이 맵 내에서의 특이한 깊이 천이 및/또는 국소 픽셀 깊이 값들과 부합하지 않는 픽셀 깊이 값들(이들로 제한되지 않음)을 비롯한 폐색을 검출하기 위해 초기 깊이 맵의 각종의 부가의 특성들 중 임의의 것이 이용될 수 있다.

도 8과 관련한 이상의 논의의 많은 부분이 단일의 스펙트럼 채널에서의 또는 적색, 녹색, 및 청색 색상 채널들에서의 영상 데이터를 사용하여 깊이 추정치들을 발생하는 것에 관련되어 있지만, 앞서 기술한 기법들이 각종의 스펙트럼 채널들 중 임의의 것에 대해 똑같이 적절하다(색상 채널 및 스펙트럼 채널이라는 용어들은 본 명세서에서 서로 바꾸어 사용될 수 있음). 앞서 기술한 기법들 중 임의의 것을 사용하여 각각의 스펙트럼 채널에 대해 결정된 비용 항을 비롯한 앞서 기술한 것들과 유사한 집계된 비용 함수들이 이용될 수 있다. 그에 부가하여, 비용 함수는 앞서 기술한 것들과 유사한 기법들을 사용하여 스펙트럼 채널들에 걸쳐 픽셀들의 유사도를 가중하는 비용 항들을 포함할 수 있다. 얻어진 깊이 추정치들을 정확도는 깊이 추정치가 기준 영상에서의 픽셀 위치 (x, y)가 폐색되는 영상으로부터의 픽셀들을 이용하는 정도에 의존할 수 있다. 기준 시점으로부터의 영상에서의 픽셀 위치 (x, y)가 일련의 영상들에서의 하나 이상의 영상들 내에서 폐색될 때 깊이 추정치들의 정확도를 향상시키는 기법들이 이하에서 더 논의된다.

폐색을 참작하여 영상들의 서브셋들을 사용해 깊이 맵을 발생

가시성의 패턴들이 자연 장면들에 나타난다. 따라서, 패턴 V^i,Ref(x, y)가 전형적으로 임의적이지 않다. 기준 영상에서의 픽셀이 보이는 카메라들에 관한 강한 사전 정보(strong prior)가 존재한다. 많은 실시예들에서, 깊이 맵이 픽셀 (x, y)가 폐색되는 카메라들이 잘못 식별될 가능성이 낮은 V^i,Ref(x, y)에 대한 추정치를 역시 제공하는 방식으로 결정될 수 있다. V^i,Ref(x, y)에 대한 추정치에 기초하여, V^i,Ref(x, y)의 가시성을 세밀화하기 위해 반복할 필요 없이 깊이 추정치가 결정될 수 있다. 다른 대안으로서, 신뢰성있는 깊이 추정치를 사용하여 획득된 가시성 정보에 기초하여 부가의 카메라들을 포함시키는 것에 의해 깊이 맵을 세밀화하기 위해 부가의 반복들이 수행될 수 있다. 그렇지만, 보다 나은 초기 깊이 맵을 획득함으로써, 반복 프로세스가 보다 빠르게 수렴할 가능성이 있다.

많은 실시예들에서, 깊이 맵을 발생시키는 프로세스는 각각이 장면 내에서 상이한 가시성 패턴에 대응하는 카메라들의 다수의 클러스터들 또는 서브셋들을 사용하여 깊이를 결정하는 단계 및 깊이 추정치를, 대응하는 픽셀들이 가장 높은 유사도를 가지는 카메라들의 클러스터에 의해 포착된 영상들의 서브셋을 사용하여 결정된 깊이로서, 선택하는 단계를 포함한다. 본 발명의 일 실시예에 따른, 카메라 어레이의 서브셋들을 나타내는 카메라들의 그룹들에 의해 포착된 영상들을 사용하여 픽셀 (x, y)에 대한 깊이를 결정하는 프로세스가 도 8a에 예시되어 있다. 프로세스(850)는 장면 내에서의 특정의 가시성 패턴에 대응하는 카메라들의 초기 그룹을 선택하는 단계(852) 및 카메라들의 그룹에 의해 포착된 영상 데이터의 서브셋을 사용하는 후보 깊이 추정치가, 카메라들의 그룹 내의 대응하는 픽셀들이 가장 높은 유사도를 가지는 깊이에 기초하여, 발생되는 것으로 결정하는 단계(854)를 포함한다. 몇몇 실시예들에서, 프로세스는 영상들의 각각의 서브셋에 대해 비용들이 결정되고, 서브셋들을 사용하여 발생된 최저 비용의 깊이 추정치가 관련 픽셀 위치에 대한 후보 깊이 추정치로서 선택된다는 것을 제외하고는 도 8과 관련하여 앞서 기술한 것과 유사하다. 이하에서 추가로 논의되는 바와 같이, 주어진 응용의 상황 내에서 가장 신뢰성있는 후보 깊이 추정치를 결정하기 위해, 후보 깊이 추정치에서 영상들의 서브셋 내의 대응하는 픽셀들의 유사도가 이어서 다른 후보 깊이 추정치들에서 영상들의 다른 서브셋들 내의 대응하는 픽셀들의 유사도와 비교된다. 많은 실시예들에서, 픽셀 위치에 대한 깊이 추정치로서 선택되는 후보 깊이 추정치는 후보 깊이 추정치에서 가장 유사한 대응하는 픽셀들을 가지는 영상들의 서브셋에 기초하여 결정된다.

많은 실시예들에서, 카메라들의 그룹은 다수의 색상 채널들로부터의 카메라들을 포함할 수 있고, 카메라들의 그룹을 사용하여 기준 영상에서의 픽셀 (x, y)의 깊이를 추정하기 위해 각각의 색상 채널에서의 비용 메트릭 가중 유사도(cost metric weighting similarity)가 이용된다. 프로세스는 이어서, 카메라들의 그룹들 각각에 대해 깊이 추정치가 결정될 때까지, 각각이 장면 내에서의 상이한 가시성 패턴들에 대응하는 복수의 상이한 카메라 그룹들을 통해 반복한다(856, 858, 854). 기준 시점으로부터의 영상에서의 픽셀 위치 (x, y)에 대한 깊이 추정치는 추정된 깊이에서의 대응하는 픽셀들이 가장 높은 유사도를 가지는 카메라들의 그룹으로부터 깊이 추정치를 선택하는 것에 의해 획득될 수 있다. 앞서 살펴본 바와 같이, 다수의 스펙트럼 채널들에서 및/또는 스펙트럼 채널들에 걸쳐 픽셀들의 유사도를 가중하는 비용 함수를 사용하여 픽셀들의 유사도가 결정될 수 있다. 추정된 깊이에서의 대응하는 픽셀들이 가장 높은 유사도를 가지는 영상들의 서브셋은 특정의 가시성 패턴에 대응하고 기준 시점으로부터의 영상에서의 픽셀 위치 (x, y)가 그가 폐색되는 카메라에서 보이는 것으로 잘못 식별할 가능성이 낮은 V^i,Ref(x, y)의 초기 추정치를 제공한다.

앞서 제공된 논의가 기준 영상에서의 픽셀 위치들 (x, y)과 관련한 카메라들의 각각의 그룹에 대해 탐색을 수행하는 것과 관련하여 제시되어 있지만, 특정의 가시성 패턴에 대응하는 카메라들의 각각의 그룹을 사용하여 기준 영상에서의 픽셀들에 대해 깊이 맵들은 개별적으로 추정될 수 있다. 이러한 방식으로, 비용 함수에서의 잡음을 평활화하기 위해, 카메라들의 특정의 그룹을 사용하여 픽셀 위치 (x, y)에 대해 결정된 비용 메트릭들이 필터링될 수 있다. 따라서, 픽셀 위치 (x, y)에 대한 깊이 추정치는 가장 작은 필터링된 비용 메트릭을 가지는 카메라들의 그룹에 대한 깊이 추정치를 사용하여 선택될 수 있다. 카메라들의 특정의 그룹을 사용하여 결정된 비용 메트릭들에 적용되는 필터들은 고정될 수 있거나, 공간 적응적(spatially adaptive)일 수 있다. 이용되는 특정의 필터들은 본 발명의 실시예들에 따라 특정의 응용들의 요구사항들에 기초하여 결정될 수 있다. 기준 영상에서의 픽셀들에 대한 깊이 추정치들의 선택 후에, 초기 깊이 맵에서의 잡음을 추가로 평활화하기 위해 부가의 필터링이 수행될 수 있다.

장면 내에서의 특정의 가시성 패턴들을 검출하기 위해 이용되는 카메라들의 클러스터들 또는 그룹들은 어레이 카메라 내의 카메라들의 수, 기준 카메라로서 선택되는 카메라, 및/또는 어레이 내의 상이한 색상 채널들로부터의 카메라들의 분포에 의존할 수 있다. 어레이의 중앙에 위치해 있는 기준 카메라에서의 픽셀들에 대한 장면 내에 존재할 가능성이 있는 상이한 가시성 패턴들에 대응하는 5 x 5 어레이에서의 카메라들의 8개의 그룹들이 도 8b 내지 도 8i에 도시되어 있다. 12개의 카메라들을 포함하는 동일한 그룹 템플릿을 회전 및 플립(flip)시키는 것에 의해 8개의 그룹들이 발생된다. 그룹 템플릿의 배향에 따라, 이것은 7개의 녹색 카메라들, 그리고 3개의 적색 카메라들 및 2개의 청색 카메라들, 또는 3개의 청색 카메라들 및 2개의 적색 카메라들을 포함한다. 앞서 살펴본 바와 같이, 5 x 5 어레이의 중앙에 위치해 있는 기준 녹색 카메라에서의 픽셀 (x, y)에 대한 깊이를 추정할 때 카메라들의 그룹들을 선택하기 위해 그룹 템플릿이 이용될 수 있다. 추정된 깊이에서의 3개의 색상 채널들에서의 대응하는 픽셀들이 가장 높은 유사도를 가지는 카메라들의 그룹으로부터 깊이 추정치를 선택하는 것에 의해 픽셀 위치 (x, y)의 깊이가 추정될 수 있다.

카메라들의 그룹들을 선택하기 위한 특정의 그룹들이 도 8b 내지 도 8i에 도시되어 있지만, 장면 내의 공통의 가시성 패턴들에 대응하는 각종의 템플릿들 중 임의의 것이 이용될 수 있다. 예를 들어, 단일의 에피폴라 라인을 따라 있는 카메라들의 그룹들은 도 10을 참조하여 이하에서 기술되는 바와 같이 선택될 수 있다. 많은 실시예들에서, 기준 카메라를 포함하는 색상 채널에서의 동일한 수의 카메라들이 카메라들의 각각의 그룹에 나타나도록 그룹들이 선택된다. 그에 부가하여, 카메라들의 각각의 그룹에 다른 색상 채널들에서의 적어도 2개의 카메라들이 있도록 그룹들이 결정될 수 있다. 그룹들이 불균일한 수의 카메라들을 포함하는 경우, 상이한 크기의 그룹들에 대한 비용 메트릭이 편향(bias)될 수 있고, 이 편향은 정규화를 통해 설명될 수 있다. 많은 실시예들에서, (공통의 기준선을 공유하는 것에 기초하여 선택되는 도 10에 예시된 그룹들과 달리) 카메라들의 그룹들이 기준선 다이버시티를 제공하도록 선택된다. 깊이 탐색이 수행되는 상이한 방사상 에피폴라 라인들의 수가 많을수록, 카메라들의 그룹에 의해 포착된 영상들 중 하나가 잘못된 깊이들을 식별하는 데 도움을 줄 수 있는 정보를 포함할 가능성이 많다. 몇몇 실시예들에서, 각각의 그룹의 에피폴라 라인들에 의해 정의되는 섹터의 중심각(central angle)이 동일하도록 카메라들의 그룹이 선택된다.

4 x 4 어레이 카메라들(이들로 제한되지 않음)과 같은 보다 작은 어레이 카메라들에서, 그리고 어레이 내에서 이용되는 컬러 필터들의 패턴에 따라, 각각의 색상 채널에 동일한 수의 카메라들을 포함하는 카메라들의 그룹들을 선택하는 것이 가능하지 않을 수 있다. 몇몇 실시예들에서, 공통의 가시성 패턴들에 대응하는 카메라들의 그룹들이 단일의 색상 채널에서 동일한 수의 카메라들을 포함하도록 컬러 필터 패턴이 이용된다. 이러한 방식으로, 색상 채널 내에서 포착된 영상 데이터는, 상이한 서브그룹들을 사용하여 획득된 깊이 추정치들의 필터링된 비용들을 비교함으로써, 폐색된 또는 다른 방식으로 부정합된 픽셀들에 대한 깊이들을 추정하는 데 이용될 수 있다. 어레이의 중앙에 위치해 있는 기준 카메라에서의 픽셀들에 대한 장면 내에 존재할 가능성이 있는 상이한 가시성 패턴들에 대응하는 4 x 4 어레이에서의 카메라들의 4개의 그룹들이 도 8j 내지 도 8m에 도시되어 있다. 4개의 카메라들을 포함하는 동일한 그룹 템플릿을 회전 및 플립시키는 것에 의해 4개의 그룹들이 발생된다. 예시된 실시예에서, 다음과 같은 3개의 색상 채널들이 있다: 적색, 녹색, 및 청색. 카메라들의 각각의 그룹은 3개의 녹색 카메라들 및 하나의 청색 또는 적색 카메라를 포함한다. 단일의 적색 또는 청색 카메라의 존재로 인해, 몇몇 실시예들에서, 녹색 색상 채널에서 포착된 영상 데이터를 사용하여 깊이 추정치들이 결정된다. 주어진 픽셀 위치 (x, y)에서, 가장 신뢰성있는 깊이 추정치(즉, 가장 낮은 비용)를 산출한 그룹의 적색 또는 청색 카메라에서의 영상 데이터는 기준 시점으로부터의 영상에서 보이는 것으로 가정된다. 그에 따라, 기준 시점으로부터의 영상에서 픽셀 위치 (x, y)에 대응하는 적색 또는 청색 영상 내의 픽셀 위치에서의 픽셀 값이 적색 또는 청색 색상 채널들 내의 다른 영상들에서의 대응하는 픽셀들의 가시성을 계산하기 위한 기준 픽셀로서 이용될 수 있다. 도 8j 내지 도 8m에 도시된 그룹들 각각에 대해, 스펙트럼 채널들 중 하나가 그룹으로부터 배제되어 있다. 그렇지만, π 필터 그룹의 사용은 배제된 색상 채널에서의 영상들 중 어느 것이 배제된 색상 채널에서의 픽셀들의 가시성을 결정하기 위한 기준 영상으로서 사용되어야만 하는지를 식별하기 위해 이용될 수 있다. π 카메라 그룹의 중앙 카메라의 시점이 기준 시점으로서 이용될 때, 배제된 색상 채널에서의 2개의 영상들이 기준 시점의 반대쪽에 있는 시점들로부터 포착될 것이다. 전형적인 자연 장면들에서, 기준 시점으로부터의 영상 내의 픽셀 위치가 배제된 색상 채널에서의 인접한 카메라들에 의해 포착된 영상들 중 적어도 하나에서 보일 가능성이 있다. 영상들 중 어느 것(있는 경우)이 보이는 기준 시점으로부터의 영상에서의 픽셀 위치에 대응하는 픽셀을 포함할 가능성이 가장 많은지를 결정하기 위해, 2개의 영상들을 포함하는 2개의 서브그룹들 내의 대응하는 픽셀들의 유사도. 서브그룹들 중 적어도 하나에서의 대응하는 픽셀들이 임계치 레벨의 유사도를 달성하는 것으로 가정하면, 대응하는 픽셀들이 가장 높은 레벨의 유사도를 가지는 서브그룹에서의 영상이 배제된 색상 채널에 대한 기준 영상으로서 선택될 수 있다. 이러한 방식으로, 배제된 색상 채널 내의 임의의 영상에서의 대응하는 픽셀들의 가시성이 배제된 색상 채널에 대한 기준 영상으로부터의 대응하는 픽셀과의 그의 유사도에 기초하여 결정될 수 있다. 기준 시점에 인접한 시점들로부터의 포착된 어느 영상도 기준 시점으로부터의 영상 내의 픽셀 위치에 대응하는 보이는 픽셀을 확실히 포함하지 않는 경우, 보이는 대응하는 픽셀을 포함하는 배제된 색상 채널 내의 영상을 식별하기 위해 그리고/또는 배제된 색상 채널로부터의 개개의 영상들 내의 픽셀들의 가시성을 결정하기 위해 대안의 기법들이 이용될 수 있다. 몇몇 실시예들에서, 본 명세서에 기술된 방식으로 에피폴라 라인 탐색을 수행함으로써 가시성이 결정될 수 있다. 다수의 실시예들에서, 기준 픽셀로서 이용될 수 있는 배제된 색상 채널에서의 영상들 내의 대응하는 픽셀을 결정하기 위해 교차 채널 유사도 척도(cross-channel similarity measure)들이 사용될 수 있다. 몇몇 실시예들에서, 대응하는 픽셀을 둘러싸고 있는 이웃이 기준 영상과의 가장 높은 상호 상관(또는 임의의 다른 적절한 교차 채널 유사도 척도)을 나타내는 영상이 배제된 색상 채널에서의 영상들 내의 다른 대응하는 픽셀들의 가시성을 결정하기 위한 기준 픽셀로서 이용될 수 있다. 상이한 크기의 카메라 어레이들을 포함하는 어레이 카메라들로 유사한 접근 방법이 취해질 수 있다.

많은 실시예들에서, 기준 카메라에서의 픽셀에 대한 깊이를 추정하는 데 사용되는 카메라들의 그룹들은 어레이 내의 카메라들의 쌍들에 대응한다. 임계치들의 사용을 통해, 픽셀 (x, y)가 보일 가능성이 있는 카메라들이 식별될 수 있고 초기 가시성 맵 V^i,Ref(x, y)가 구성될 수 있다. 임계치가 하드 임계치(hard threshold), 및/또는 기준 영상에서의 SNR에 기초한 임계치일 수 있다. 도 8b 내지 도 8i에 예시된 것들과 같은 카메라들의 보다 큰 그룹들에 대해서도 마찬가지이다. 대응하는 픽셀들의 세트 내에서의 하나 이상의 이상치 픽셀(outlier pixel)들의 존재를 검출하기 위해 임계치들이 사용될 수 있다. 이상치들을 포함하지 않는 것으로 밝혀진 카메라들의 그룹들이 이어서 결합될 수 있고, 깊이 추정치들의 정밀도를 향상시키기 위해 깊이가 이 새로운 결합된 세트로 재계산된다. 유사한 방식으로, 모든 카메라들이 가시성 맵 V^i,Ref(x, y)에서 보이는 것으로 처음에 가정함으로써 초기 깊이 맵이 구성될 수 있다. 앞서 기술된 방식으로 임계치들을 사용하는 것, 및/또는 에피폴라 라인들을 따라 폐색 탐색을 수행하는 것(이들로 제한되지 않음)을 비롯한 각종의 기법들 중 임의의 것이 카메라 어레이 내의 카메라들 중 적어도 하나에서 픽셀 (x, y)가 폐색되는지를 결정하는 데 이용될 수 있다. 어레이 내의 카메라들 중 적어도 하나에서 폐색될 가능성이 있는 픽셀들의 깊이가 이어서 도 8a와 관련하여 앞서 기술한 프로세스와 유사한 프로세스를 사용하여 또다시 추정될 수 있다. 이러한 방식으로, 픽셀이 폐색되는 카메라들이 신속하게 식별될 수 있다.

기준 영상 내의 픽셀들에 대한 깊이를 추정할 때 깊이 맵들 및 가시성 맵들을 결정하는 각종의 프로세스들이 도 8a 내지 도 8i를 참조하여 앞서 기술되어 있지만, 각종의 프로세스들 중 임의의 것이 본 발명의 실시예들에 따라 특정의 응용들의 요구사항들에 따른 초기 깊이 맵 및/또는 가시성 맵을 결정하는 데 이용될 수 있다. 본 발명의 실시예들에 따른 에피폴라 라인들을 따라 폐색된 픽셀들이 있는지 탐색을 수행하는 단계를 포함하는 프로세스들을 포함하는 폐색된 픽셀들을 식별하는 프로세스들이 이하에서 더 논의된다.

폐색된 픽셀들을 식별

초기 깊이 맵으로부터 폐색된 픽셀들을 식별하는 것과 연관된 과제는 폐색된 픽셀들을 사용하여 결정되는 깊이 맵 내의 깊이들이 잘못된 것일 수 있다는 것이다. 가장 신뢰성있는 깊이 추정치들은 카메라에 가장 가까운 장면 내의 객체들의 깊이 추정치들이다. 이들은 가장 큰 불일치를 야기하기도 하는 객체들이고, (장면 내에서의 객체들의 분포에 따라) 어쩌면 가장 많은 수의 픽셀 폐색을 초래할 수 있다. 따라서, 기준선 벡터를 따라 기준 영상에 폐색 픽셀이 있는지 탐색하는 것에 의해 기준 영상에서 보이는 픽셀이 제2 영상에서 폐색되는지에 관한 결정이 행해질 수 있다. 폐색 픽셀은 제2 영상의 시점으로부터 관측된 불일치가 기준 영상에서 보이는 픽셀을 폐색하기에 충분히 클 정도로 카메라에 충분히 가까운 픽셀이다. 폐색 픽셀에 대한 탐색이 도 9를 참조하면 이해될 수 있다. 기준 시점(900)으로부터 포착된 영상이 도 9에 도시되어 있다. 어레이 카메라에 의해 포착된 제2 영상에서 깊이 d₁을 갖는 픽셀 (x₁, y₁)의 가시성을 결정하기 위해, 기준 영상을 포착한 카메라와 제2 영상을 포착한 카메라 사이의 기준선에 평행인 라인(902)을 따라 탐색이 수행된다. 픽셀 (x₂, y₂)가 카메라에 더 가까울 때(즉, 깊이 d₂ < d₁에 위치해 있을 때), 픽셀 (x₁, y₁)은 폐색될 것이다. 따라서, d₂ ≥ d₁인 모든 픽셀들 (x₂, y₂)가 무시될 수 있다. 각각의 픽셀의 장면 의존적인 기하학적 시프트들(각각, s₂ 및 s₁)은 기준선 벡터에 평행인 라인(902)을 따라 있는 2개의 픽셀들 간의 거리보다 더 큰 경우, 픽셀 (x₂, y₂)는 또한 픽셀 (x₁, y₁)을 폐색시킬 것이다. 달리 말하면,

일 때 픽셀 (x₂, y₂)는 픽셀 (x₁, y₁)을 폐색시킨다.

몇몇 실시예들에서, 상기 식에서의 임계치는 후속의 초해상도 처리 동안 사용된 초해상도 인자(super-resolution factor)의 역수로서 결정될 수 있다(예컨대, 초해상도 프로세스가 3배의 해상도의 증가를 달성하려고 시도할 때, 픽셀의 1/3의 임계치가 적절하다). 상기 식을 충족시키는 픽셀이 발견될 수 없을 때, 픽셀 (x₁, y₁)이 제2 영상에서 보이는 것으로 결론내려질 수 있다. 어떤 픽셀 (x₂, y₂)에 대해 상기 식이 충족되는 경우, 픽셀 (x₁, y₁)이 폐색되는 것으로 간주될 수 있다. 따라서, 제2 영상(및 픽셀이 폐색되는 임의의 다른 영상들)을 무시하여 픽셀 (x, y)에 대한 업데이트된 깊이 추정치를 생성하기 위해 도 8에 예시된 프로세스가 반복될 수 있다. 잘 알 수 있는 바와 같이, 초기 깊이 추정치에서의 잘못된 깊이들로 인해, 보이는 픽셀들이 깊이 맵을 결정하는 프로세스의 장래의 반복들에서 무시될 수 있다. 측광적으로 일관성있는 깊이들을 제공하기 위해 적응적 지원을 사용하는 것은 잡음이 잘못된 픽셀 폐색의 검출을 가져올 가능성을 감소시키고, 이는 후속 프로세스 반복으로부터 유용한 정보를 제거한다. 많은 실시예들에서, 픽셀을 폐색되어 있는 것으로 지정하는 결정은 픽셀들의 유사도 및 픽셀들 (x₁, y₁) 및 (x₂, y₂)의 추정된 깊이들의 신뢰도를 고려한다. 이하에서 추가로 논의되는 바와 같이, 신뢰도 맵이 기준 영상의 깊이 맵과 관련하여 발생될 수 있고, 신뢰도 맵은 특정의 깊이 맵의 신뢰성을 나타낸다. 따라서, 각각의 픽셀의 장면 의존적인 기하학적 시프트들(각각, s₂ 및 s₁)이 신뢰할 수 없는 깊이 추정치들에 기초하는 앞서 제공된 식을 사용하여 식별된 가능한 폐색이 무시될 수 있다. 이와 유사하게, 픽셀들의 명도들의 차이가 사전 결정된 임계치 미만인 픽셀들을 포함하는 가능한 폐색이 무시될 수 있다. 픽셀 값들이 충분히 유사한 경우, 픽셀에 의거하여 발생된 깊이 추정치는 픽셀이 폐색되더라도 대체로 영향을 받지 않을 것이다. 다른 실시예들에서, 특정의 응용들의 요구사항들에 따라 적절히 픽셀을 가시성 맵에서 폐색된 것으로 나타낼지를 결정할 때 각종의 다른 고려사항들이 고려될 수 있다.

도 9와 관련하여 앞서 논의된 탐색이 깊이 추정을 수행하는 데 이용되는 모든 카메라에 대응하는 에피폴라 라인을 따라 행해질 수 있다. 포착된 영상들이 올바르게 정렬될 때, 카메라들의 기준선들을 기준 시점으로부터 포착된 픽셀들의 행들 및 열들에 대해 일렬로 정렬시키는 것에 의해 탐색이 간단화될 수 있다(이상에서의 정렬의 논의를 참조). 폐색 픽셀들에 대한 탐색이 기준 영상에서의 모든 픽셀에 대해 수행될 필요가 없다. 그 대신에, 깊이 천이에 근접한 픽셀들(이들로 제한되지 않음)을 비롯한 어레이 카메라에 의해 포착된 하나 이상의 영상들에서의 폐색될 가능성이 있는 픽셀들에 대해 초기 탐색이 수행될 수 있다. 폐색될 가능성이 있는 것으로 간주되는 픽셀들에 대한 폐색 픽셀들에 대한 탐색이 이어서 수행될 수 있다. 그에 부가하여, 폐색 픽셀들에 대한 탐색은 사전에 거리에 기초하여 픽셀들의 투영들을 계산하는 것에 의해 보다 효율적으로 수행될 수 있다(투영들은 기준선을 따라 있는 인접한 픽셀들이 폐색될 깊이를 나타냄). 그에 부가하여, 픽셀이 폐색될 것으로 결정되면, 인접한 픽셀들의 폐색을 검출하는 프로세스가 폐색 픽셀의 투영을 이용하는 것에 의해 간단화될 수 있다. 다른 실시예들에서, 본 발명의 실시예들에 따라 깊이에 기초하여 영상을 렌더링하는 것(이들로 제한되지 않음)을 비롯한 각종의 기법들 중 임의의 것이 폐색 픽셀 및 폐색된 픽셀을 보다 효율적으로 찾아내는 데 이용될 수 있다.

앞서 살펴본 바와 같이, 초기 깊이 맵의 결정에서 폐색된 픽셀들을 포함시키는 것은 얻어진 픽셀 깊이들에 오류들을 유입시킬 수 있다. 앞서 기술한 프로세스들 중 임의의 것과 유사한 프로세스를 사용하여 폐색이 검출되고 깊이 맵이 업데이트될 때, 깊이 맵에서의 오류들이 제거된다. 깊이 맵에서의 오류들이 제거되기 때문에, 폐색되는 픽셀들에 관해 보다 정확한 예측들이 행해질 수 있다. 그에 따라, 폐색을 검출하는 프로세스가 정지 기준(stopping criterion)에 도달될 때까지 반복하여 수행될 수 있다. 다수의 실시예들에서, 정지 기준은 (이전에 검출되지 않았던) 특정의 반복에서 검출된 폐색된 픽셀들의 수가 사전 결정된 수 미만으로 되는 것 및/또는 사전 결정된 수의 반복들의 완료(이들로 제한되지 않음)일 수 있다.

다시 도 6을 참조하면, 본 발명의 일 실시예에 따라 깊이 맵을 발생시키고 세밀화하는 프로세스가 예시되어 있다. 많은 경우들에서, 초기 깊이 맵을 결정(602)하는 프로세스들은 폐색된 픽셀들의 불일치를 과대평가하는 경향을 가질 것이다. 이것은 폐색된 픽셀들을 전경으로 밀어내는 효과가 있다. 따라서, 다수의 실시예들에서, 깊이 맵을 업데이트(606)하는 목적을 위해, 다른 픽셀을 폐색시키는 픽셀이 또한 폐색된 픽셀로서 취급될 수 있다. 이러한 방식으로, 잘못된 초기 깊이 측정을 가지는 배경 픽셀들의 깊이가 검출되고 업데이트될 수 있다. 이하에서 추가로 논의되는 바와 같이, 깊이 맵이 마무리되면, 무시되는 픽셀들의 가시성이 개별적으로 결정될 수 있다(610). 다수의 실시예들에서, 도 6에 예시된 프로세스(600)와 같은 프로세스들은 또한 프로세스가 반복할 때 깊이 맵을 안정화시키는 데 도움을 주기 위해 깊이 맵에 양방향 필터를 적용하는 단계를 포함한다.

깊이 추정치의 정확도는 전형적으로 깊이 추정치를 발생시키는 데 이용되는 어레이 카메라에 의해 포착된 명시야에서의 영상들의 수에 따라 증가한다. 그렇지만, 보다 적은 수의 영상들을 고려하는 것은 깊이 추정치를 획득하는 것의 계산 복잡도를 감소시킬 수 있다. 깊이 천이가 일어날 때, 폐색은 전형적으로 기준 시점의 한쪽 면에서 포착된 영상들에서 일어날 것이다. 따라서, 기준 카메라의 한쪽 면에 포착된 영상들의 그룹에서 픽셀이 폐색되는지를 결정하기 위해, 앞서 기술한 탐색과 유사한 폐색 픽셀들에 대한 탐색이 이용될 수 있다. 탐색이 폐색이 일어나지 않았음을 나타내는 경우, 영상들의 그 그룹을 사용하여 픽셀의 깊이가 결정될 수 있고 깊이 맵이 업데이트될 수 있다.

어레이 내의 녹색 카메라들을 사용하여 깊이 맵을 구성하기 위해 이용될 수 있는 5 x 5 어레이 카메라가 도 10에 예시되어 있다. 어레이 카메라(1010)는 중앙의 기준 녹색 카메라(1012)를 포함한다. 어레이에서의 나머지 녹색 카메라들은, 녹색 카메라들에 의해 포착된 영상들 중 적어도 하나에서 폐색되는 픽셀들의 깊이를 결정하기 위해, 3개의 녹색 카메라들로 된 8개의 방사상 그룹들을 형성하는 데 이용될 수 있다. 방사상 그룹들이 도 10에 예시되어 있지만, 기준 시점을 둘러싸고 있는 4개의 사분면들 각각에 있는 카메라들의 그룹들이 또한 이용될 수 있다. 그룹은 한 쌍의 카메라들과 같이 작을 수 있고, 그 카메라들 중 하나는 기준 시점으로부터 영상을 포착하는 카메라이다. 많은 실시예들에서, 도 8a 내지 도 8i를 참조하여 앞서 논의된 것들과 같은 그룹들이 또한 이용될 수 있다.

픽셀 폐색을 검출하는 특정의 프로세스들이 도 6, 도 8a 내지 도 8i, 도 9, 및 도 10과 관련하여 앞서 논의되어 있지만, 본 발명의 실시예들에 따라 폐색을 검출하는 것의 계산 복잡도를 감소시키는 프로세스들(이들로 제한되지 않음)을 비롯한 각종의 프로세스들 중 임의의 것이 깊이 맵을 발생시키는 데 이용될 수 있다. 몇몇 실시예들에서, 각각의 픽셀의 깊이를 결정하는 프로세스는 가정된 깊이들 및 가정된 가시성 둘 다 그리고 가장 유망한 깊이 및 폐색의 세트로서 선택된 가장 높은 픽셀 대응 관계를 산출하는 깊이 및 가시성의 조합에 기초하여 탐색하는 단계를 포함할 수 있다. 이러한 방식으로 결정된 가시성이 폐색 픽셀들을 검출하는 전술한 접근 방법을 사용하여 확인될 수 있다.

많은 실시예들에서, 기준 시점으로부터 포착된 영상들에서의 픽셀들의 가시성에 관한 정보가 초해상도 처리(이들로 제한되지 않음)를 비롯한 프로세스들에서 이용된다. 본 발명의 실시예들에 따라 깊이 맵을 사용하여 기준 시점으로부터 어레이 카메라에 의해 포착된 영상들에서의 픽셀들의 가시성을 결정하는 프로세스들이 이하에서 더 논의된다.

픽셀들의 가시성을 결정

깊이 맵을 결정할 시에 그리고 초해상도 처리(이들로 제한되지 않음)를 비롯한 각종의 다른 응용들에서 픽셀 가시성이 이용될 수 있다. 몇몇 실시예들에서, 앞서 기술한 프로세스들과 유사한 프로세스를 사용하여 발생된 기준 시점으로부터 포착된 영상에 대한 깊이 맵이 어레이 카메라에 의해 포착된 다른 영상들(즉, 대안 시점들로부터 포착된 영상들)에 대한 가시성 맵을 발생시키는 데 이용된다. 몇몇 실시예들에서, 대안 시점 영상들에서의 픽셀들이 기준 시점으로부터 보이는지 및 제1 대안 시점 영상에서의 픽셀이 다른 대안 시점 영상들 중 임의의 것에서 보이는지와 관련하여 가시성 맵들이 결정될 수 있다. 다수의 실시예들에서, 단일의 색상 채널 내에서 포착된 영상들에 대한 가시성 맵들을 결정하는 프로세스는 기준 시점으로부터 포착된 영상에서의 픽셀에 대응하는 픽셀들의 측광 유사도를 비교하는 단계를 포함한다. 사전 결정된 레벨의 유사도를 가지는 것으로 간주되는 픽셀들이 보이는 것으로 간주될 수 있고, 임계치 레벨의 유사도 미만인 픽셀들은 폐색된 것으로 간주될 수 있다. 대응하는 픽셀들의 측광 유사도를 결정하는 데 이용되는 임계치가 대응하는 픽셀들의 유사도에 기초하여 적응될 수 있다. 몇몇 실시예들에서, 임계치는 기준 영상으로부터의 픽셀과 기준 영상으로부터의 픽셀과 가장 유사한 대응하는 픽셀 사이의 측광 거리의 함수로서 결정된다. 어레이가 다수의 색상 채널들에서 영상 데이터를 포착할 때, 단일의 색상 채널에서의 픽셀들의 가시성이 다른 채널들에서의 픽셀들의 가시성을 결정하는 데 이용될 수 있다.

본 발명의 일 실시예에 따른, 기준 시점 내의 픽셀에 대응하는 픽셀들의 가시성을 결정하는 프로세스가 도 11에 예시되어 있다. 프로세스(1100)는 기준 시점으로부터 포착된 영상으로부터 픽셀을 선택하는 단계(1102)를 포함한다. 앞서 기술한 프로세스들과 유사한 프로세스를 사용하여 발생된 깊이 맵이 선택된 픽셀의 깊이를 결정하는 데 이용될 수 있다. 선택된 픽셀의 깊이에 기초하여, 어레이 카메라에 의해 포착된 각각의 영상에서의 대응하는 픽셀들의 위치들이 결정될 수 있다(1104). 기준 영상으로부터의 선택된 픽셀에 대응하는 픽셀들의 유사도가 대응하는 픽셀들의 가시성을 결정하는 데 이용될 수 있다. 다수의 실시예들에서, 픽셀들의 측광 거리가 유사도의 척도 및 보일 가능성이 있는 픽셀들 및 폐색될 가능성이 있는 픽셀들을 결정하는 데 사용되는 임계치로서 이용된다. 많은 실시예들에서, 임계치가 비교되는 픽셀들의 특성들에 따라 변한다. 특정의 실시예들에서, 대응하는 픽셀들의 유사도를 결정하는 데 사용되는 임계치 값이, 주어진 색상 채널에서 보이는 것으로 밝혀진 대응하는 픽셀들에 대한 픽셀 명도 값들의 서브셋의 평균으로서, 기준 픽셀의 명도를 사용하여 결정된다. 몇몇 실시예들에서, 평균되는 특정의 대응하는 픽셀 명도들은 픽셀들(이용가능한 경우)에 대한 대응하는 카메라 기준선 및 신뢰도 값들 그리고 픽셀들에 대한 연관된 정합 비용들에 의존할 수 있다. 몇몇 실시예들에서, 임계치는 기준 영상으로부터의 선택된 픽셀과 선택된 픽셀에 측광적으로 가장 가까운 대응하는 픽셀 사이의 측광 거리의 함수로서 결정된다(1106). 다수의 실시예들에서, 임계치는 기준 영상에서의 대응하는 픽셀의 픽셀 명도 및/또는 대안 시점 영상에서의 픽셀의 명도에 기초한다. 특정의 실시예들에서, 임계치는 포착된 영상에 대한 SNR 모델을 사용하여 결정된다. 다수의 실시예들에서, 적절한 임계치를 획득하기 위해, 선택된 픽셀 및 가장 가까운 대응하는 픽셀의 측광 거리가 스케일링되고 그리고/또는 오프셋이 부가된다. 다른 실시예들에서, 고정된 임계치를 사용하는 것(이들로 제한되지 않음)을 비롯한 각종의 기법들 중 임의의 것이 대응하는 픽셀의 가시성을 결정하기 위한 임계치를 결정하는 데 이용될 수 있다.

기준 영상으로부터의 선택된 픽셀들 및 대응하는 픽셀들이 비교되고(1108), 임계치가 픽셀들의 유사도를 결정(1110)하는 데 사용된다. 기준 영상으로부터의 선택된 픽셀과 대응하는 픽셀들 중 하나의 픽셀의 측광 거리가 임계치 미만일 때, 대응하는 픽셀이 보이는 것으로 결정된다(1112). 기준 영상으로부터의 선택된 픽셀과 대응하는 픽셀들 중 하나의 픽셀의 측광 거리가 임계치를 초과할 때, 대응하는 픽셀이 폐색된 것으로 결정된다(1114).

어레이 카메라에 의해 포착된 다른 영상들에서의 대응하는 픽셀들에 대한 가시성 맵들을 발생시키기 위해 기준 영상에서의 픽셀들의 서브셋 또는 전부에 대해 도 11에 예시된 프로세스(1100)가 반복될 수 있다. 기준 시점으로부터의 영상을 포착하는 카메라에서의 픽셀들 모두가 단일의 색상 채널에 있는 실시예들에서, 도 11에 예시된 프로세스와 유사한 프로세스들은 단일의 색상 채널 내에서 포착된 영상들에 대한 가시성을 효과적으로 발생시킨다. 어레이 카메라가 또한 다른 색상 채널들에서 포착된 영상들을 포함할 때, 기준 영상과 동일한 색상 채널에 있지 않은 영상들에서의 픽셀들의 가시성은 기준 시점에서 보일 가능성이 있는 또는 알려진 스펙트럼 채널 내의 영상들로부터의 대응하는 픽셀들과 관련하여 앞서 기술한 것들과 유사한 비교들을 수행하는 것에 의해 결정될 수 있다. 다른 실시예들에서, 기준 영상을 포착하는 카메라는 기준 시점으로부터 다수의 색상 채널들에서의 영상 데이터의 포착을 가능하게 하는 베이어 필터(또는 다른 적절한 필터 패턴)를 이용한다. 이 경우에, 다수의 색상 채널들에서의 영상들에 대한 가시성 정보를 발생시키기 위해 도 11에 예시된 것들과 유사한 프로세스들이 이용될 수 있고, 이 경우, 프로세스는 기준 시점에서의 각각의 위치에서 적색 및 청색 픽셀 값을 획득하기 위해 베이어 필터 패턴을 디모자이킹(demosaicing)하는 단계를 포함한다.

특정의 프로세스들이 도 11과 관련하여 앞서 논의되어 있지만, 깊이 맵을 발생시키는 프로세스의 일부로서 가시성 정보를 반복하여 세밀화하는 프로세스들(이들로 제한되지 않음)을 비롯한 각종의 프로세스들 중 임의의 것이 본 발명의 실시예들에 따라 어레이 카메라에 의해 포착된 영상들에서의 픽셀들의 가시성을 결정하는 데 이용될 수 있다. 많은 실시예들에서, 깊이 맵 및 가시성 맵을 발생시키는 프로세스는 또한 신뢰도 맵 내의 추정된 깊이들의 신뢰성에 관한 정보를 제공할 수 있는 신뢰도 맵을 발생시키는 단계를 포함할 수 있다. 본 발명의 실시예들에 따른 신뢰도 맵들을 결정하는 프로세스들이 이하에서 더 논의된다.

신뢰도 맵

앞서 기술한 것들을 비롯한 깊이 맵들을 발생시키는 프로세스들의 결과, 깊이 추정치들을 신뢰할 수 없는 깊이 맵 내에서의 영역들이 얻어질 수 있다. 어레이 카메라에 의해 포착된 영상 데이터를 사용하여 합성된 영상의 텍스처리스 영역이 도 18a에 예시되어 있고, 본 발명의 실시예들에 따라 앞서 기술한 것들과 유사한 프로세스들을 사용하여 발생된 영상에 대한 깊이 맵이 도 18b에 예시되어 있다. 텍스처리스 영역(1800)에서, 앞서 기술한 방식으로 깊이를 결정하기 위해 사용되는 비용 메트릭은 잡음이 많고, 비록 (즉, 카메라들이 최대 대응 관계를 나타내는 깊이에서의) 최소 비용이 발견될 수 있지만, 결과는 임의의 상당한 기본 신호가 아니라 센서 및 광자 잡음에 대체로 의존한다. 이러한 영역들에서의 픽셀 대응 관계(비용 메트릭에 의해 측정됨)는 실제로 도시된 깊이에서 가장 크지만, 도시되어 있는 얻어진 깊이는 객체의 올바른 깊이가 아니다. 이와 달리, 에지 영역(1802)에서, 비용 함수는 비용이 아주 확실히 최소화되는 깊이를 나타낸다. 그곳에서, 에지 신호는 잡음보다 훨씬 더 크고, 따라서 객체의 실제 깊이에 대응하는 불일치가 더 높은 신뢰도로 검출될 수 있다.

그렇지만, 깊이 오류들이 텍스처리스 영역들로 제한되지 않는다. 다른 부류의 깊이 오류들이 폐색 구역들에서 일어나고, 여기서 특정의 배경 영역들이 어떤 카메라들에서는 보이지만, 다른 카메라들에서는 그렇지 않다. 이러한 종류의 오류가 타이어의 림(rim)을 따라 보일 수 있고, 여기서 전경 영역이 배경 영역과 교차한다. 깊이 맵에서, 전경과 배경 사이의 경계면에서 잘못된 깊이 추정치들을 포함하는 영역들(1804)이 있는 것처럼 보인다.

깊이 맵을 발생시킬 때, 어떤 척도를 통해 깊이 맵 내에서의 상이한 깊이 추정치들의 신뢰성을 수치적으로 나타내는 신뢰도 맵이 발생될 수 있다. 깊이 맵의 어느 영역들이 추가의 처리를 위해 가장 의존될 수 있는지를 결정하기 위해, 신뢰도 맵이 나중의 처리 스테이지들에 의해 또는 제3자 애플리케이션들에 의해 사용될 수 있다. 예를 들어, 깊이 측정 유틸리티는 사용자가 특정 픽셀의 깊이를 획득하기 위해 초해상도 프로세스를 사용하여 합성된 영상의 영역들을 클릭할 수 있게 할 수 있다. 사용자가 영상의 픽셀을 클릭할 때, 결과를 반환하기 전에 신뢰도 맵이 검사될 수 있다. 요청된 위치에서의 깊이의 신뢰도가 낮은 경우, 사용자 인터페이스는 그 위치에서의 깊이를 보고하는 것을 회피할 수 있다. 신뢰도 맵이 높은 경우, 사용자 인터페이스는 선택된 위치에서의 깊이를 안전하게 보고할 수 있다. 즉, 깊이 맵이 오류들을 포함하는 것으로 알려진 경우 부정확한 값을 반환하지 않고 특정의 응용들에 대한 결과들에 자격을 부여하기 위해 신뢰도 맵이 사용될 수 있다.

신뢰도 맵은 각종의 방식들로 인코딩될 수 있고, 단일의 신뢰도 맵 내에 다수의 부류 또는 축의 신뢰도가 인코딩될 수 있다. 본 발명의 실시예들에 따라 신뢰도 맵에 신뢰도 메트릭을 인코딩하기 위해 이용될 수 있는 각종의 신뢰도 척도들이 이하에서 논의된다.

몇몇 실시예들에서, 신뢰도 맵은 픽셀의 깊이 추정치가 영상 내의 텍스처리스 영역 내에 있는지에 기초하여 신뢰도 척도로 인코딩된다. 앞서 살펴본 바와 같이, 주어진 픽셀을 둘러싸고 있는 영역에서의 SNR에 기초하여 텍스처리스 영역들이 검출될 수 있다. SNR이 기지의 조정가능 임계치를 초과한 경우, 그 영역은 이진 방식으로 텍스처리스로 표시될 수 있다. 다른 대안으로서, SNR 자체가 (이진화(threshold)되지 않고) 선형적으로 또는 비선형적으로 재매핑될 수 있고, 연속적인 신뢰도 지시자로서 역할하도록 사용될 수 있다.

많은 실시예들에서, 경사 에지 맵(예컨대, Prewitt 또는 Canny)이 계산되고 신뢰도 맵 내에서의 신뢰도 메트릭으로서 사용될 수 있다. 에지들 및 텍스처가 전형적으로 높은 신뢰도를 가지기 때문에, 경사 맵들 및 SNR 맵들은 종종 깊이 맵에 대한 양호한 거친 신뢰도 척도를 제공한다.

다수의 실시예들에서, 특정의 영역이 폐색 및/또는 부정합 그리고 카메라들 사이의 충돌하는 측정으로 인해 낮은 신뢰도인지에 기초하여 신뢰도 맵이 인코딩될 수 있다(즉, SNR 맵에 의해 검출되는 영역에 텍스처가 있을 수 있지만, 그 영역에서 시차 검출 프로세스가 폐색을 검출하고 그리고/또는 그를 해결할 수 없거나 그렇지 않고 임의의 다른 이유로 깊이를 확실히 추정할 수 없기 때문에 여전히 깊이 오류가 일어날 수도 있다).

다수의 실시예들에서, 신뢰도 메트릭이 깊이 추정 프로세스 동안 달성된 "최상의 비용" 또는 이 양의 선형, 비선형 또는 양자화된 재매핑으로서 결정된다. 깊이 추정 동안 달성된 최소 비용이 선택된 임계치를 초과한 경우, 추정된 깊이에서 다수의 시점들 간에 대응 관계가 없는 것에 기초하여 영역이 낮은 신뢰도인 것으로 표시될 수 있다.

다수의 실시예들에서, 카메라들의 상이한 그룹들 사이에 발생된 상이한 서브그룹들 또는 깊이 맵들 사이의 최상의 비용들을 비교하고, 최상의 비용들 사이의 차이가 임계치보다 더 큰 경우, 영상들의 서브셋들에서 발견된 비용들이 상이한 픽셀 위치들에 대해 낮은 신뢰도인 것으로 표시하는 것에 의해 폐색이 검출될 수 있다.

다수의 실시예들에서, 특정의 영역이 깊이 추정 프로세스 자체에서의 적응적 처리 단계들로 인해 낮은 신뢰도인지에 기초하여 신뢰도 맵이 인코딩될 수 있다. 예를 들어, 특정의 영역에서 보다 적은 수의 깊이들이 탐색되는 경우, 이 정보는 깊이가 신뢰성이 떨어진다는 것을 강조하기 위해 신뢰도 맵에 수치적으로 인코딩될 수 있다. 많은 실시예들에서, 깊이 맵의 특정의 영역들이 실제로는 대응 관계 탐색을 통해 탐색되고, 깊이 맵의 다른 영역들에서, 깊이들은 보다 희박한 점들의 세트에 대한 깊이 탐색으로부터의 결과들에 기초하여 보간된다. 이러한 경우에, 보간된 깊이들을 갖는 픽셀들은 대응 관계들이 실제로 탐색된 픽셀들보다 더 낮은 신뢰도 값들을 부여받는다.

몇몇 실시예들에서, 깊이 측정의 예상된 정밀도가 또한 신뢰도 맵에 수치적 양으로서 코딩될 수 있다. 많은 경우들에서, 카메라로부터 더 멀리 떨어진 깊이들은 더 많은 오류로 측정되고 따라서 덜 신뢰될 것이다. 이러한 경우들에서, 신뢰도 맵은 이러한 영역들을 보다 낮은 신뢰도의 깊이 추정치들을 포함하는 것으로 표시할 수 있다. 신뢰도는 그 깊이에서의 인접한 탐색 위치들 사이의 예상된 깊이 오차에 비례할 수 있다. 특정의 실시예들에서, 시차 탐색에 의해 지원되는 최소 거리에 대응하는 불일치(즉, 이것은 모든 지원되는 깊이들에 대한 임의의 2개의 카메라들 사이에서 관측된 최대 불일치일 것임)가 결정될 수 있다. 최대 불일치가 발견되면, 탐색은 최대 불일치까지 다수의 불일치를 탐색할 것이다. 많은 실시예들에서, 최대 불일치는 D개의 저 해상도 픽셀들이고, 탐색된 깊이들의 수는 N이다. 에피폴라 라인을 따라 인접한 탐색 위치들 사이의 불일치의 픽셀들의 수는 D/(N-1)이다. (n < N에 의해 인덱싱되는) 탐색되는 N개의 불일치 중 임의의 것에 대한 깊이(단위: 미터)는 d_n = C/(n *D/(N-1))이고, 여기서 C는 최대 기준선들을 가지는 개개의 저 해상도 카메라들의 기준선들 및 초점 거리들에 관한 정보를 상수이다. 깊이 맵에서의 특정의 점에서, 깊이가 d_n인 경우, d_n에서의 예상된 측정 오차는 e_n = 1/2 * max(|d_n - d_n+1|, |d_n - d_n-1|)이다. 기본적으로, 예상된 측정 오차는 에피폴라 라인을 따라 고정된 이산 수의 점들을 탐색하는 것으로 인한 오차이다. 깊이 맵 내의 특정 픽셀 위치에서의 깊이 추정치와 관련한 신뢰도 값을 제공하기 위해 오차 값 자체가 선형적으로 또는 비선형적으로 매핑될 수 있다. 오차가 높을수록, 깊이 추정치의 신뢰도가 떨어진다. 몇몇 실시예들에서, 탐색된 불일치가 똑같은 간격으로 있지 않고, 어떤 영역들에서 다른 영역들보다 더 거칠 수 있다. 그에 따라, 신뢰도 맵이 깊이에서의 계산된 오차를 반영하도록 (에피폴라 라인을 따라 탐색 위치들의 분포가 어떻든간에) 인접한 인덱스들 사이에서 이와 유사하게 오차가 계산될 수 있다. 다수의 실시예들에서, 신뢰도 맵은 (깊이가 아니라) 추정된 불일치에서의 최대 오차(그 양의 역수가 이상에 열거되어 있음)를 반영한다. 이것은 영상 융합과 같은 응용들에 대해 보다 유용할 수 있는 반면, 깊이 오차는 (3D 모델링(이들로 제한되지 않음)과 같은) 실세계 좌표로 행해지는 측정 응용들에 대해 보다 유용할 것이다.

다수의 실시예들에서, 신뢰도 맵은 깊이 맵을 신뢰할 수 없는 것으로 만드는 알려진 또는 검출된 렌즈 또는 센서 결함들로 인해 영역들을 낮은 신뢰도인 것으로 표시할 수 있다. 결함 픽셀들(센서 상의 결함 픽셀들은 물론 렌즈 결함들에 의해 영향을 받는 픽셀들 둘 다를 포함하는 용어)이 영상 처리 동안 또는 전처리 교정 단계에서 오프라인으로 검출될 수 있다. 하나의 실시예에서, 임의의 기준 카메라에서 특정 픽셀 (x, y)로부터 어떤 반경 내의 픽셀 결함들의 총수가 사전 설정된 임계치를 초과하는 경우, 픽셀 (x, y)는 픽셀 결함들로 인해 깊이 맵에서 낮은 신뢰도인 것으로 표시된다. 다른 실시예에서, 신뢰도가 임의의 카메라에서 기준 픽셀 (x, y)를 둘러싸고 있는 어떤 반경 및/또는 영역 내에서 픽셀 결함들(또는 렌즈 결함들에 의해 영향을 받는 것으로 알려진 픽셀들)의 수의 함수로서 (하드 임계치로서가 아니라) 비례적으로 증가하는 경우 유사한 신뢰도 값이 정의될 수 있다. 다른 실시예에서, 신뢰도가 다양한 심각도의 오류들을 야기하는 것으로 알려져 있는 결함 픽셀들의 특정의 구성들에 대한 사전 계산된 값일 수 있다. 몇몇 실시예들에서, 결함에 대한 신뢰도 값은 신뢰도 값을 계산할 시에 국소 영상 내용을 고려한다.

몇몇 실시예들에서, 신뢰도 맵은, 기준 영상이 텍스처리스인 것으로 보이지만 다른 색상 채널들에서 텍스처드 내용(textured content)이 있는 경우, 저 신뢰도 영역들로 표시할 수 있다. 하나의 실시예에서, 기준 카메라에서의 픽셀 (x, y)가 국소 반경 및/또는 영역 내에서 탐색된다. 이 국소 반경 및/또는 영역 내에서 내용이 녹색에서 텍스처리스인 것으로 간주되는 경우, 그렇지만 적색 및/또는 청색 카메라들에 대한 다른 (어쩌면 더 큰) 국소 반경/영역 내에서의 동일한 탐색이 적색 및/또는 청색 색상 채널들 내의 영상들에서 충분한 텍스처를 찾아내는 경우, 영역은 녹색 색상 채널이 이 검출 시나리오에서 덜 유용하고 깊이 결과들이 (비록 종종 올바르지만) 신뢰성이 떨어질 것이라는 사실로 인해 보다 낮은 신뢰도인 것으로 표시될 수 있다.

다수의 실시예들에서, 신뢰도 맵은 렌즈 플레어(lens flare) 또는 장면에서의 특징들로 인해 측광 부정합이 있는 시나리오들에서 저 신뢰도인 것으로 수치적으로 인코딩한다. 많은 실시예들에서, 픽셀 위치 (x, y) 주위의 관심 영역의 국소 통계(평균 및 분산)가 계산되고 다른 카메라에서의 유사한 영역의 국소 통계와 비교될 수 있다. 이러한 방식으로, 있을 수 있는 렌즈 플레어(그의 존재는 신뢰도를 감소시킴)를 검출하기 위해 다수의 영상들의 동일한 일반 영역에서의 2개의 이웃들 사이의 국소 영상 통계들이 비교될 수 있다. 다른 실시예들에서, 렌즈 플레어를 검출하기 위해 다수의 영상들에서의 이웃들을 비교하는 데 각종의 기법들 중 임의의 것이 이용될 수 있다. 얻어진 신뢰도 척도는 다수의 카메라들에 의해 포착된 영상들에 걸쳐 영역들의 평균과 분산 간의 차이의 스케일링된 또는 비선형적으로 매핑된 함수일 수 있다. 카메라들에 의해 포착된 영상들 간의 평균 및 분산 차이들이 클수록, 깊이가 신뢰성이 있을 가능성이 낮고 신뢰도가 낮을 것이다.

다수의 실시예들에서, 영상이 아주 어둡고 영상에 잡음이 많을 때 신뢰도를 감소시키기 위해 신뢰도 맵이 조명 조건들에 따라 적응된다. 특정의 실시예들에서, 영상이 촬영된 때의 센서 이득은 모든 깊이들에 대한 신뢰도의 절대적 감소를 가져올 것이다. 다른 실시예에서, 상이한 잡음 레벨들에서 에지 경사들에 대한 임계치들 또는 SNR 비를 계산할 때, 센서의 아날로그 이득 및 노출 시간이 고려된다. 많은 실시예들에서, 일련의 영상들을 포착하는 데 사용되는 카메라 어레이 내의 상이한 카메라들에 대해, 상이한 초점면들에 대한 아날로그 이득들 및 노출 시간들이 이용될 수 있다.

폐색으로 인해 낮은 신뢰도를 가지는 영역들을 검출하기 위해, 최상의 달성된 비용 메트릭이 시차 탐색 동안 저장될 수 있다. 상당한 폐색을 나타내는 영역들에 대해, 최상의 달성된 비용 메트릭은 폐색이 없고 모든 카메라들이 동일한 내용을 본 경우에 나타나게 될 최소 값을 보통 크게 초과한다. 그에 따라, 최상의 달성된 비용들에 임계치가 적용될 수 있다. 최상의 달성된 비용이 임계치를 초과하는 경우, 영역이 폐색될 가능성이 있는 것으로 또는 어떤 다른 문제점(측광 불균일 등)을 가질 가능성이 있는 것으로 표시된다.

특정의 유사도 메트릭들에 대해, 폐색에 대한 저 신뢰도 임계치가 영역의 평균 명도는 물론 센서의 잡음 통계에 대해 보정될 수 있다. 많은 실시예들에서, 기준 영상에서의 영역의 평균이 관심 픽셀을 중심으로 한 공간 박스 N x N 평균 필터를 사용하여 계산된다. 다른 실시예들에서, 평균을 알게 되는 경우, 기준 카메라를 포함하는 색상 채널에 대한 잡음 통계가 특정의 노출 및 이득에서의 특정의 평균을 원하는 임계치에 관련시키는 테이블 검색(table lookup)에 의해 계산될 수 있다. 최상의 정합하는 값이 예상된 잡음을 크게 초과하는 경우, 픽셀은 있을 수 있는 폐색으로 인해 신뢰할 수 없는 것으로 표시될 수 있다.

일반 부정합으로 인해 신뢰도의 비이진 척도(non-binary measure)가 이하의 수식을 사용하여 획득될 수 있고:

여기서 Cost_min(x, y)는 원하는 깊이 범위에 걸친 불일치 탐색의 최소 비용이고,

Cost^d(x, y)는 (최소 깊이 이외의) 임의의 깊이 또는 깊이들로부터의 비용 데이터를 나타내며,

임의의 카메라에 의해 포착된 I(x, y)^cam 영상 데이터가 신뢰도를 보강하는 데 이용될 수 있으며;

Sensor는 잡음 통계 또는 특성화, 결함있는 픽셀들, (이득 또는 노출과 같은) 임의의 포착된 영상들에 영향을 미치는 센서의 특성들(이들로 제한되지 않음)과 같은 센서의 기지의 특성들을 포함할 수 있는 센서 사전 정보이다.

Camera intrinsics은 (깊이 측정의 정밀도에 영향을 미치는) 어레이에서의 카메라들 간의 기준선 간격, 및 (특정의 시나리오들에서 폐색 구역들에서의 성능에 영향을 미치는) 색상 필터들의 배열(이들로 제한되지 않음)을 비롯한 신뢰도에 영향을 미칠 수 있는 카메라 및 카메라 어레이에 내재된 요소들을 명시하는 카메라 고유 특성이다.

몇몇 실시예들에서, Confidence(x, y)는 모든 인수(argument)들에 대해 픽셀 위치 (x, y)에 이웃하는 값들(즉, 공간적 이웃들)을 사용할 수 있다.

많은 실시예들에서, 신뢰도 맵이 이상의 인자들 중 하나 이상(이들로 제한되지 않음)을 비롯한 인자들에 기초하여 인코딩될 수 있다. 각각의 인자는 이진 방식으로 인코딩될 수 있거나, 신뢰도의 (양자화된) 정도들의 범위로서 표현될 수 있거나, 비양자화된 범위들 또는 그의 파생물들일 수 있다. 예를 들어, 특정의 축을 따른 신뢰도가 단일의 비트가 아니라 영역이 텍스처리스일 신뢰도의 레벨을 나타내는 다수의 비트들로서 표현될 수 있다. 특정의 실시예들에서, 특정의 축을 따른 신뢰도가 연속적인 또는 대략 연속적인(즉, 부동 소수점) 양으로서 표현될 수 있다. 신뢰도를 결정할 때 고려되는 다른 인자들은 본 발명의 실시예들에 따라 특정의 응용들의 요구사항들에 따라 적절히 신뢰도의 정도들의 각종의 범위들 중 임의의 것을 사용하여 결정될 수 있다. 몇몇 실시예들에서, 이 조건들 중 일부 또는 전부를 명시할 수 있는 경우 임의의 수의 신뢰도 코드들 또는 값들이 특정 픽셀에 대한 신뢰도 맵에 포함된다. 특정의 신뢰도 메트릭들이 이하에서 더 논의된다.

최소 비용만이 고려되고 센서의 잡음 통계가 선형 모델을 따르는 특정의 실시예에서, 간단화된 형태가 사용될 수 있고:

여기서 Avg(x,y)는 (x, y)의 영역에서의 기준 영상의 명도에 기초하여 신뢰도를 조정하기 위해 사용되는, (x, y)를 둘러싸고 있는 공간적 이웃에 있는 기준 영상의 평균 명도, 또는 이웃에서의 평균 명도의 추정치이고,

a 및 offset은 센서의 이득 및 잡음 통계에 관한 사전 정보로 신뢰도를 조정하기 위해 사용되는 경험적으로 선택된 스케일 및 오프셋 인자들이다.

이 경우에, 보다 높은 값들은 보다 낮은 신뢰도를 나타낼 것이고, 결과들을 어떻게 이진화할지를 결정하는 것은 영상 처리 파이프라인에 달려 있을 것이다.

일반적으로, 신뢰도 맵은 영상에서의 검출된 깊이들의 정확도를 수치적으로 정량화하는 깊이 맵 내에 포함된 깊이 추정치들을 기술하는 메타데이터를 제공한다. 많은 실시예들에서, 기계 시각, 제스처 인식, 포착후 영상 재포커싱(post capture image refocusing), 실시간 응용들, 영상 특수 효과들, 초해상도, 또는 다른 응용들(이들로 제한되지 않음)을 비롯한 응용들에서 깊이 맵과 함께 사용하기 위해, 신뢰도 맵이 깊이 맵과 함께 외부 전달 포맷으로 제공될 수 있다. 본 발명의 일 실시예에 따라 깊이 맵을 필터링하기 위해 깊이 추정 프로세스에서 신뢰도 맵이 이용될 수 있는 방식의 한 예가 도 18c 내지 도 18h에 예시되어 있다. 먼저 도 18c를 참조하면, 상이한 색상 채널들(구체적으로는, 적색, 녹색 및 청색 색상 채널들)에서 포착된 다수의 영상들로부터 초해상도 프로세스를 사용하여 합성된 상이한 깊이들에서의 객체들을 포함하는 장면의 영상이 있다. 앞서 기술한 것들과 유사한 프로세스들을 사용하여 기준 시점으로부터 발생된 깊이 맵이 도 18d에 예시되어 있다. 잘 알 수 있는 바와 같이, 깊이 맵은 잡음이 많다. 앞서 기술한 각종의 메트릭들 중 임의의 것을 사용하여 발생된 신뢰도 맵이 깊이 맵을 발생시키는 프로세스의 일부로서 발생될 수 있다. 본 발명의 일 실시예에 따라 SNR을 이진화함으로써 발생되는 이진 신뢰도 맵이 도 18e에 예시되어 있다. 본 발명의 일 실시예에 따라 SNR에 기초하여 발생된 8-비트 신뢰도 맵이 도 18f에 예시되어 있다. 본 발명의 일 실시예에 따라 SNR을 이진화하는 것에 의해 발생되는 신뢰도 인자와 폐색되는 대응하는 픽셀들의 수를 이진화하는 것에 의해 발생되는 신뢰도 인자를 결합함으로써 발생된 이진 신뢰도 맵이 도 18g에 예시되어 있다. 몇몇 실시예들에서, 깊이 맵을 필터링하기 위해 신뢰도 맵이 이용될 수 있다. 본 발명의 일 실시예에 따라 SNR을 이진화함으로써 발생되는 이진 신뢰도 맵에 기초하여 필터링되는 깊이 맵이 도 18h에 예시되어 있다. 도 18d와 도 18e에 도시된 깊이 맵들을 비교하는 것은 임의의 깊이 추정 프로세스를 사용하여 발생되는 깊이 정보를 해석할 시에 신뢰도 맵의 사용의 값을 노출시킨다. 특정의 신뢰도 메트릭 및 필터링 프로세스가 도 18c 내지 도 18h를 참조하여 앞서 기술되어 있지만, 본 발명의 실시예들에 따라 깊이 추정치들 및/또는 깊이 맵들의 필터링 및/또는 부가의 처리에서 각종의 신뢰도 메트릭들 중 임의의 것이 이용될 수 있다. 본 발명의 실시예들에 따라 신뢰도 맵들을 발생시키고 깊이 맵들을 필터링하기 위해 신뢰도 맵들을 사용하는 것이 도 18i 내지 도 18l에 도시된 클로즈업 영상들에 추가로 예시되어 있다. 구체적으로는 도 18i와 관련하여, 초해상도 처리를 사용하여 적색, 녹색, 및 청색 색상 채널들에서 포착된 영상들(각각의 영상은 단일의 색상 채널에서의 영상 데이터를 포함함)의 명시야로부터 합성된 객체의 클로즈업 영상이 도시되어 있다. 앞서 기술한 기법들을 사용하여 발생된 깊이 맵이 도 18j에 예시되어 있다. 본 발명의 일 실시예에 따라 발생된 SNR을 이진화함으로써 발생되는 이진 신뢰도 맵이 도 18k에 예시되어 있다. SNR을 사용하여 본 발명의 일 실시예에 따라 발생된 다중 비트 분해능 신뢰도 맵이 도 18l에 예시되어 있다. 본 발명의 일 실시예에 따라 각각의 픽셀을 둘러싸고 있는 영역의 SNR을 이진화하는 것에 의해 그리고 폐색되는 기준 시점으로부터의 영상에서의 픽셀 위치에 대응하는 명시야 내의 영상들에서의 픽셀들의 수를 이진화하는 것에 의해 발생된 이진 신뢰도 맵이 도 18m에 예시되어 도 18m에 도시된 이진 신뢰도 맵을 사용하여 필터링된 깊이 맵이 도 18n에 예시되어 있다.

몇몇 실시예들에서, 앞서 기술한 메트릭들 중 하나 이상을 사용하여 발생된 신뢰도 맵이 부가의 정보 채널로서 JPEG-DZ 파일 포맷 또는 다른 파일 포맷들 내에 삽입될 수 있다. 몇몇 실시예들에서, 2012년 9월 28일자로 출원된, 발명의 명칭이 "명시야 영상 파일을 인코딩하는 시스템 및 방법(Systems and Methods for Encoding Light Field Image Files)"인 Venkataraman 등의 미국 특허 출원 제13/631,731호에 기술된 것들과 유사한 프로세스들을 사용하여 신뢰도 맵이 인코딩 및 디코딩된다. 미국 특허 출원 제13/631,731호의 개시 내용은 참조 문헌으로서 그 전체가 본 명세서에 포함된다. 신뢰도를 결정하기 위한 특정의 메트릭들이 앞서 기술되어 있지만, 특정의 응용의 요구사항들에 따라 적절히 신뢰도를 결정하기 위한 각종의 메트릭들 중 임의의 것이 본 발명의 실시예들에 따라 이용될 수 있다.

계산 복잡도를 감소시킴

깊이 맵들을 결정하기 위해 그리고 카메라 어레이에 의해 포착된 영상들의 가시성을 결정하기 위해 앞서 기술한 프로세스들의 계산 복잡도를 감소시키는 데 각종의 전략들이 이용될 수 있다. 몇몇 실시예들에서, 픽셀 위치들의 감소된(즉, 희박한) 서브셋에서 깊이만을 탐색하는 것에 의해 깊이 맵이 구성된다. 보다 적은 수의 점들(즉, 영상에서의 보다 희박한 점들의 세트)에서 깊이 탐색이 행해지고, 깊이가 계산되지 않은 점들에 대해, 다른 수단을 통해 깊이가 할당된다. 끝 무렵에, 이 희박한 깊이 탐색은 기준 영상에서의 모든 픽셀 위치에 대한 깊이를 제공하고, 이 경우 어떤 픽셀들은 탐색되고 다른 픽셀들은 보간을 통해 채워진다. 앞서 언급한 바와 같이, 최종적인 깊이 맵에서의 모든 픽셀들이 포착된 영상들에서의 대응하는 픽셀들에 대한 픽셀의 유사도를 비교하는 것에 의해 획득된 깊이를 갖는 것은 아니다. 그 대신에, 대응 관계 탐색이 행해지지 않은 영역들에서, 주변의 픽셀들의 깊이들의 평균을 구하는 것(대응 관계 탐색이 실행된 경우) 또는 계산된 인접 픽셀들의 깊이들을 보간하는 것(이들로 제한되지 않음)을 비롯한 프로세스들을 사용하여 픽셀들 중 다수의 픽셀의 깊이들이 결정된다. 깊이 측정이 수행되는 픽셀들의 수를 감소시키는 것에 의해, 깊이 맵을 발생시키기 위해 사용되는 계산의 양이 감소될 수 있다. 몇몇 실시예들에서, 영상의 텍스처리스 영역들을 검출하는 것 및 깊이가 계산된 가장 가까운 지시자 픽셀로부터의 단일의 깊이 값을 할당하는 것, 주변의 픽셀들의 깊이들의 평균을 구하는 것, 또는 영상의 텍스처리스 영역들에서의 픽셀들의 깊이를 결정하기 위해 인접한 픽셀들의 깊이들을 보간하는 것(이들로 제한되지 않음)을 비롯한 프로세스들을 사용하는 것에 의해 깊이 맵을 검출할 때 사용되는 계산의 양이 또한 감소될 수 있다. 다른 실시예들에서, 에지들을 포함하는 영역들(이들로 제한되지 않음)을 비롯한 장면의 특성들에 기초하여 및/또는 객체 거리에 기초하여 깊이 맵 내에서의 깊이 추정치들의 정밀도를 변화시키는 것을 비롯하여 깊이 맵을 발생시키는 것의 계산 복잡도를 감소시키는 각종의 프로세스들 중 임의의 것이 본 발명의 실시예들에 따라 특정의 응용들의 요구사항들에 따라 적절히 이용될 수 있다. 본 발명의 실시예들에 따라 희소 깊이 탐색으로부터 깊이 맵들을 발생시키고 영상들에서의 텍스처리스 영역들을 검출하는 프로세스들이 이하에서 더 논의된다.

희소 깊이 탐색으로부터 깊이 맵들을 발생

본 발명의 실시예들에 따라 희소 탐색을 통해 깊이 맵들을 발생시키는 프로세스들은 전형적으로 기준 영상 전체에 걸쳐 일정 간격으로 있거나 분포되어 있는 픽셀들의 희박한 세트의 깊이를 결정하는 것을 포함한다. 희박한 점들로 이루어져 있는 이 초기 깊이 맵에 기초하여, 깊이 천이가 검출될 수 있고, 깊이 천이를 둘러싸고 있는 픽셀들의 깊이들이 앞서 기술한 프로세스들을 사용하여 직접 측정될 수 있다. 나머지 픽셀들의 깊이들이 깊이 맵에서의 희박한 픽셀들의 깊이들에 기초하여 결정될 수 있다. 많은 실시예들에서, 기준 영상이 포착된 해상도에서 기준 영상에서의 픽셀들의 서브셋을 사용하여 깊이 측정이 수행된다.

본 발명의 일 실시예에 따라 희소 탐색을 통해 깊이 맵을 결정하는 프로세스가 도 13에 예시되어 있다. 프로세스(1300)는 기준 영상을 공간 블록들(또는 연관된 픽셀들의 그룹들)로 분할하는 단계(1302) 및 공간 블록들 내의 지시자 픽셀들의 보다 희박한 세트에 대한 깊이 측정을 발생시키는 단계(1304)를 포함한다. 여기서, 공간 블록은 픽셀들의 직사각형 블록, 또는 임의의 특정의 형상에 부합할 필요가 없는 연관된 픽셀들의 서브셋을 서로 바꾸어 말하기 위해 사용될 수 있다.

지시자 픽셀들은 공간 블록(또는 연관된 픽셀들의 그룹) 내의 픽셀들의 서브셋이고, 전형적으로 공간 블록에 걸쳐 깊이의 변동에 관한 정보를 제공하기 위해 선택된다. 본 발명의 일 실시예에 따라 복수의 지시자 픽셀들(1402)을 포함하는 공간 블록(1400)이 도 14에 예시되어 있다. 공간 블록의 중앙에서 그리고 에지들에서 지시자 픽셀들(1402)이 선택된다. 특정의 지시자 픽셀들이 도 14에 예시되어 있지만, 공간 블록 또는 연관된 픽셀들의 그룹 내의 지시자들의 배열이 변환될 수 있고 그리고/또는 공간 블록 내의 각종의 픽셀들 중 임의의 것이 특정의 응용의 요구사항들에 따라 적절히 지시자 픽셀들로서 선택될 수 있다. 다수의 실시예들에서, 상이한 형상의 공간 블록들이 이용되고, 공간 블록의 형상이 변화될 수 있다. 몇몇 실시예들에서, 공간 블록들 내의 지시자 픽셀들의 배열이 변화될 수 있다. 많은 실시예들에서, 지시자 픽셀들이 장면 내용에 기초하여 선택된다. 특정의 실시예들에서, 확실한 깊이 결과들을 제공할 가능성이 가장 많은 점들이 사용될 가능성을 증가시키기 위해 공간 블록 내의 어느 점들이 기준 영상에서 가장 높은 SNR을 갖는지에 기초하여 지시자 픽셀들이 선택된다. 다른 실시예에서, 모든 블록들에 대한 어떤 지시자 픽셀들(도 14에 나타내어져 있음)에 대해 고정된 공간 위치들이 선택되고, 지시자 픽셀들의 어떤 서브셋이 공간 블록에서 가장 높은 SNR을 갖는 점들에 할당된다(즉, 혼합 구성). 다른 실시예에서, 장면 내용에 기초하여 관련 공간 영역들을 생성하기 위해 세그먼트화 프로세스가 사용될 수 있다. 직사각형 공간 블록이 도시되어 있지만, 영상을 앞서 기술한 바와 같이 어떤 지시자 픽셀들을 포함하는 공간 클러스터들로 분할하기 위해 다른 기법들이 사용될 수 있을 것이다. 게다가, 영상의 특정의 부분들에서 공간 블록들이 다른 부분들에서보다 더 클 수 있다.

다시 도 13을 참조하면, 지시자 픽셀들의 깊이들에 기초하여 각각의 블록에서의 픽셀들에 깊이가 할당될 수 있다(1306). 몇몇 실시예들에서, 할당되는 깊이는 이웃하는 지시자 픽셀들의 보간을 통해 획득된다. 몇몇 실시예들에서, 비지시자 픽셀의 깊이가 고정된 이웃 내의 가장 가까운 지시자 픽셀들까지의 거리들의 정규화된 가중 평균으로서 계산될 수 있다. 다른 대안으로서, 지시자 픽셀들의 깊이 측정에 기초하여 공간 블록에서의 픽셀들에 깊이들을 할당하기 위해 최근접 이웃 보간(nearest neighbor interpolation)(1308)이 이용될 수 있다. 다른 실시예에서, 보간을 위한 가중치들은 명도 유사도는 물론 가장 가까운 지시자 픽셀들까지의 공간적 거리를 포함할 수 있다. 다른 실시예에서, 지시자 픽셀 위치들에서 샘플링된 깊이들 사이의 누락된 위치들을 채우기 위해 커널 회귀(Kernel Regression)(이들로 제한되지 않음)와 같은 비선형 회귀가 사용될 수 있다. 다른 실시예에서, 블록 내의 지시자 픽셀들의 합산된 비용들을 최소화함으로써 전체 블록에 대한 단일의 깊이가 할당된다. 다른 실시예들에서, 공간 블록 내의 픽셀들에 대한 깊이 정보를 발생시키기 위해 각종의 기법들 중 임의의 것이 이용될 수 있다.

많은 실시예들에서, 깊이 맵에서의 공간 블록들 각각의 신뢰성이 결정된다(1310). 공간 블록 내에서, 지시자 픽셀들(탐색이 행해진 경우) 및 비지시자 픽셀들(지시자 픽셀 결과들에 기초하여 깊이들이 보간된 경우) 둘 다에 대해 깊이들이 추정될 것이다. 지시자 픽셀들 및 비지시자 픽셀들에 대해, 블록 내에서의 추정된 깊이들의 비용들이 결정된다. 신뢰성 지시자(reliability indicator)를 생성하기 위해 블록 내의 각각의 픽셀의 비용들이 합산된다. 블록 내의 모든 픽셀들의 총 비용이 임계치보다 큰 경우, 공간 블록은 어떤 픽셀들에 대한 추정된 깊이들이 좋지 않은 대응 관계를 갖는 것처럼 보인다는 사실로 인해 신뢰할 수 없는 것으로 표시된다. 공간 블록이 좋지 않은 공간적 대응 관계의 낮은 신뢰성을 가지는 것으로 결정되는 경우, 블록은 깊이 천이 또는 폐색을 포함할 가능성이 있다. 그러한 경우에, 전체적인 대응 관계 탐색 및 폐색 처리가 공간 블록 내에서 실행될 수 있다.

공간 블록이 상기 기준들에 따라 깊이 천이를 가지는 것으로 결정되는 경우, 공간 블록은 '분할'될 수 있고, 새로운 지시자 픽셀들의 세트들이 2개의 자식 공간 블록들 각각에서 선택되고 프로세스가 반복될 수 있다. 하나의 실시예에서, 블록이 절반으로 분할될 수 있다. 다른 실시예에서, 공간 블록 내의 지시자 픽셀들에 의해 구해진 깊이들에 따라 블록이 똑같지 않은 영역들로 분할될 수 있다.

공간 블록들 내에서 그리고/또는 그들 사이에서 깊이 천이가 검출되는 경우, 깊이 천이를 포함하는 공간 블록 내에서 부가의 깊이 측정을 수행함으로써 깊이 맵이 세밀화될 수 있다(1312). 이러한 방식으로, 정확한 깊이 맵을 발생시키는 데 있어서 수행되는 깊이 측정의 수를 감소시키는 것에 의해 깊이 맵을 발생시키는 것의 계산 복잡도가 감소된다.

본 발명의 실시예들에 따른 희소 탐색으로부터 깊이 맵을 발생시키는 특정의 프로세스가 도 13에 예시되어 있지만, 유사한 또는 느리게 천이하는 깊이의 영역들에서 보다 적은 수의 깊이 측정을 수행하는 것에 의해 깊이 맵을 발생시키는 각종의 프로세스들 각각이 본 발명의 실시예들에 따라 이용될 수 있다.

영상들의 텍스처리스 영역들에서의 계산을 감소시킴

많은 실시예들에서, 깊이 맵을 발생시키는 프로세스는 영상의 텍스처리스 영역들에 대해 필요한 계산의 양을 감소시키는 단계를 포함한다. 많은 가정된 깊이들에서의 대응하는 픽셀들이 유사할 수 있기 때문에, 텍스처리스 영역들이 시차로 인해 모호할 수 있다. 따라서, 텍스처리스 영역 내에서의 깊이 측정이 신뢰할 수 없고 잡음이 많은 결과들을 발생시킬 수 있다. 많은 실시예들에서, 픽셀이 텍스처리스 영역에 있는지를 식별하기 위해 픽셀의 깊이를 결정할 때 픽셀을 둘러싸고 있는 영역에서의 SNR이 사용된다. 주어진 픽셀에 대한 초기 깊이 추정치 또는 초기 깊이 추정치들의 세트가, 깊이가 이전에 결정되었던 적어도 하나의 인접한 픽셀의 깊이에 기초하여, 결정될 수 있다. 주어진 픽셀에 대한 대응하는 픽셀들의 분산(또는 임의의 다른 유사도 척도)이 픽셀을 둘러싸고 있는 영역에서의 SNR 임계치 미만일 때, 픽셀이 텍스처리스 영역의 일부인 것으로 가정될 수 있고, 이하에서 기술되는 접근 방법들(그 중 하나)이 픽셀의 깊이를 선택하는 데 사용될 수 있다. 그렇지 않은 경우, 앞서 기술한 프로세스들과 유사한 프로세스를 사용하여 깊이 측정이 수행될 수 있다.

많은 실시예들에서, SNR에 대한 고정된 임계치를 사용하여 텍스처리스 영역들이 검출될 수 있다. 이러한 영역들에서의 탐색을 위한 계산이 탐색된 깊이들의 수를 감소시키는 것에 의해 감소될 수 있다. 많은 실시예들에서, 센서의 잡음 특성들을 고려하는 잡음 의존적인 임계치 미만인 최소 비용 깊이가 식별될 때까지 깊이들의 전체 세트가 탐색될 것이다. 최소 비용이 임계치 미만인 것으로 밝혀질 때 깊이가 텍스처리스 영역의 깊이로서 채택되고, 깊이들이 더 이상 탐색되지 않는다(즉, "충분히 가까운" 대응 관계를 갖는 깊이가 발견되자마자 탐색이 종료된다). 많은 실시예들에서, 텍스처리스 영역들에서의 탐색은 텍스처를 갖는 영역에 대한 정상적인 탐색에서 행해지는 것보다 불일치의 전 범위를 보다 큰 증분으로 탐색하는 것에 의해 계산을 절감할 수 있다(즉, 탐색되는 깊이들의 수를 감소시킴)―최상의 비용이 텍스처리스 영역에서의 픽셀의 깊이로서 선택될 것이다.

본 발명의 일 실시예에 따라 픽셀을 둘러싸고 있는 텍스처리스 영역들을 SNR을 사용하여 검출하는 프로세스가 도 15에 예시되어 있다. 프로세스(1500)는 기준 영상으로부터 픽셀을 선택하는 단계(1502) 및 선택된 픽셀 주위의 영역에서 SNR을 검출하는 단계(1504)를 포함한다. 픽셀에 대해 초기의 가정된 깊이 d가 결정될 수 있다(1506). 많은 실시예들에서, 초기의 가정된 깊이 d는 선택된 픽셀을 둘러싸고 있는 영역에서의 하나 이상의 픽셀들의 깊이에 기초하여 결정된다. 이어서, 가정된 깊이에서의 대응하는 픽셀들의 분산 또는 비용이 사전 결정되거나 선택된 픽셀을 둘러싸고 있는 영역에서의 SNR의 함수(이들로 제한되지 않음)일 수 있는 임계치 미만인지에 관한 결정(1508)이 행해진다. 다른 실시예들에서, 픽셀을 둘러싸고 있는 영역이 텍스처리스인지를 결정하기 위해 각종의 유사도 척도들 중 임의의 것이 이용될 수 있다. 대응하는 픽셀들의 분산 또는 비용이 잡음 또는 사전 결정된 임계치 미만인 경우에, 가정된 깊이는, 픽셀이 텍스처리스 영역 내에 위치하는 것으로 가정할 때, 가장 유망한 깊이로서 선택된다. 대응하는 픽셀들의 분산 또는 비용이 잡음 또는 사전 결정된 임계치를 초과할 때, 앞서 기술한 프로세스들과 유사한 프로세스에 따라 픽셀의 깊이가 결정된다.

기준 영상 내의 텍스처리스 영역들을 검출하는 특정의 프로세스가 도 15와 관련하여 앞서 기술되어 있지만, 영상에서의 텍스처리스 영역들을 검출하는 각종의 프로세스들 중 임의의 것이 실시예들에 따라 이용될 수 있다. 게다가, 본 발명의 실시예들에 따라 신뢰성있는 깊이 맵을 발생시키는 데 있어서 행해지는 깊이 측정의 수를 감소시키기 위해 의존될 수 있는 영상의 다른 특성들을 검출하기 위해 각종의 프로세스들 중 임의의 것이 이용될 수 있다.

가상 시점들로부터 깊이 맵들을 발생

앞서 제공된 논의의 많은 부분이 기준 카메라에 의해 포착된 영상들에 대한 깊이 맵들을 발생시키는 것을 기술하고 있지만, 본 발명의 실시예들에 따른 시스템 및 방법은 가상 시점들로부터의 영상을 합성할 수 있다. 가상 시점은 카메라 어레이 내의 임의의 카메라들의 시점에 대응하지 않는 기준 시점이다. 그에 따라, 카메라 어레이 내의 색상 채널들의 수에 관계없이, 색상 채널들 중 어느 것도 영상 데이터가 기준 시점으로부터 포착되는 카메라를 포함하지 않는다. 본 발명의 일 실시예에 따라 정의될 수 있는 가상 시점의 한 예가 도 12에 예시되어 있다. 어레이 카메라 모듈(1200)은 8개의 녹색 카메라들, 4개의 적색 카메라들, 및 4개의 청색 카메라들을 포함하는 카메라들의 4 x 4 어레이를 포함한다. 어레이 카메라 모듈의 중앙에 있는 가상 시점을 갖는 가상 카메라(1202)가 정의된다. 특정의 가상 시점이 도 12에 예시되어 있지만, 임의의 가상 시점이 카메라 어레이 내의 카메라들에 대해 임의적으로 정의될 수 있다.

가상 시점 깊이 맵을 결정할 때, 비용 메트릭 비교들을 위해 탐색되고 사용될 수 있는 명시적인 기준 카메라가 없다. 많은 실시예들에서, 가상 시점으로부터 합성된 영상에서의 주어진 픽셀 (x, y)의 깊이는 어레이 내의 모든 다른 카메라들에 대한 가상 촬상기(virtual imager)로부터 유효 기준선(effective baseline)을 계산하는 것에 의해 결정된다. 가상 시점에 대한 위치 (i, j)에 있는 카메라에 대한 기준선은 (i, j) - (i_v, j_v)일 것이고, 여기서 (i_v, j_v)는 가상 시점(1202)의 위치이다. 가상 시점과 관련하여 개별적인 카메라들 사이의 기준선들이 결정되면, 깊이를 추정하는 프로세스는 대응하는 픽셀들이 가장 높은 유사도를 가지는 깊이들을 탐색하는 것으로 시작한다. 가상 기준 카메라에서의 각각의 픽셀 (x, y)(즉, 가상 시점으로부터의 영상)에 대해, 탐색은 전형적인 시차 시나리오에서와 같이 진행될 수 있고, 여기서 각각의 깊이 d에 대해, 대안 시점 카메라들 각각에 대한 불일치가 그 깊이에서 결정되고, 색상 채널들 중 하나 이상에서 대응하는 픽셀들의 유사도가 적절한 비용 메트릭을 사용하여 결정된다. 많은 실시예들에서, 기준 카메라를 포함하지 않는 색상 채널들에서의 픽셀들의 유사도를 결정하는 앞서 기술한 조합 비용 메트릭이 이용될 수 있다. 많은 실시예들에서, 특정의 색상 채널에서의 가상 시점에 인접한 카메라는 선택된 기준 카메라에서의 픽셀과 색상 채널에서의 다른 카메라들에 의해 포착된 영상 데이터에서의 대응하는 픽셀들 간의 유사도를 결정하기 위한 기준 카메라로서 사용될 수 있다. 많은 실시예들에서, 녹색 카메라가 대응하는 녹색 픽셀들의 유사도를 결정하기 위한 기준 카메라로서 선택되고, 다른 색상 채널들에서의 대응하는 픽셀들에 대해 조합 비용 메트릭이 사용된다. 많은 실시예들에서, 가상 시점에 대한 초기 깊이 맵을 결정하는 프로세스는 도 8a 내지 도 8i와 관련하여 앞서 기술된 것과 유사한 방식으로 장면 내의 가시성의 패턴들에 대응하는 카메라들의 그룹들을 형성하는 단계를 포함할 수 있다.

가상 시점에 대해 발생된 깊이 맵은 본 발명의 실시예들에 따라 초해상도 프로세스를 사용하여 가상 시점으로부터의 고 해상도 영상을 합성하는 데 이용될 수 있다. 가상 시점으로부터 고 해상도 영상을 합성하는 것에서의 주된 차이점은 고 분해능 격자(high resolution grid)가 가상 시점으로부터 온 것이고 픽셀들이 물리 기준 카메라가 아닌 가상 시점 위치에 대한 것인 기준선들로 계산된 대응 관계들을 사용하여 고 분해능 격자로 융합된다는 것이다. 이 경우에, 고 분해능 격자 상에 규칙적으로 매핑되는 픽셀들을 가지는 물리 기준 카메라가 없다. 잘 알 수 있는 바와 같이, 가상 시점들과 관련한 깊이 맵들에 대한 신뢰도 맵들을 결정하는 프로세스들이 합성된 기준 영상을 분석하는 것 또는 가상 시점에 가까운 영상을 SNR 및/또는 다른 관련 측정을 수행하는 대용물로서 선택하는 것에 관련된 유사한 설비들을 사용하여 결정될 수 있다. 가상 시점들과 관련하여 깊이 맵들을 발생시키는 특정의 프로세스들이 이상에 기술되어 있지만, 본 발명의 실시예들에 따라 가상 시점들에 대한 깊이 추정치들을 발생시키기 위해 앞서 기술한 비용 메트릭들 및 기법들을 포함하는 각종의 프로세스들 중 임의의 것이 이용될 수 있다. 본 발명의 실시예들에 따라 시차 검출 및 보정을 수행하고 깊이 맵들을 발생시키는 시스템이 이하에서 더 논의된다.

시차 검출을 수행하는 시스템

앞서 기술한 것들과 유사한 프로세스들을 사용하여 깊이 맵 및 가시성 정보를 발생시키는 시스템이 도 16에 예시되어 있다. 본 시스템은 명시야를 형성하는 포착된 영상들 및 어레이 카메라에 대한 교정 정보를 입력으로서 받고 깊이 맵, 및 포착된 영상들의 픽셀들의 추정된 가시성을 출력하는 시차 검출 모듈(1600)을 포함한다. 많은 실시예들에서, 시차 검출 모듈(1600)은 또한 기준 영상 내의 특정 픽셀들에 대한 깊이 측정의 신뢰성을 나타내는 신뢰도 맵을 출력한다. 이하에서 추가로 논의되는 바와 같이, 깊이 맵, 추정된 가시성 정보, 및/또는 신뢰도 맵이 포착된 영상들로부터 고 해상도 영상을 발생시키기 위해 어레이 카메라 내의 초해상도 처리 모듈에 그리고 깊이, 신뢰도 및/또는 가시성 정보를 이용할 수 있는 각종의 응용들 중 임의의 것에 제공될 수 있다. 많은 실시예들에서, 시차 검출 모듈 및 초해상도 모듈은 어레이 카메라 내의 마이크로프로세서 상에 소프트웨어 및/또는 펌웨어로 구현된다. 몇몇 실시예들에서, 시차 검출 모듈 및 초해상도 모듈과 연관된 소프트웨어는 어레이 카메라 내의 메모리 내에 저장된다. 다른 실시예들에서, 시차 검출 모듈 및/또는 초해상도 모듈은 임의의 적절히 구성된 하드웨어 및/또는 소프트웨어를 사용하여 구현될 수 있다. 본 발명의 실시예들에 따라 발생된 깊이 맵을 사용하여 어레이 카메라에 의해 포착된 명시야로부터 고 해상도 영상들을 발생시키는 것이 이하에서 더 논의된다.

깊이 맵을 사용한 초해상도 처리

미국 특허 출원 제12/967,807호(앞서 참조 문헌으로서 포함됨)에서 살펴본 바와 같이, 영상들 사이의 불일치는 초해상도 처리를 수행할 때 상당한 아티팩트(artifact)들을 유입시킬 수 있다. 따라서, 미국 특허 출원 제12/967,807호에 개시된 초해상도 프로세스들은 고 해상도 영상을 합성하기 위해 영상들을 사용하기 전에 어레이 카메라에 의해 포착된 영상들에서의 픽셀들 각각의 위치에 장면 의존적인 기하학적 보정을 적용하는 단계를 포함할 수 있다. 어레이 카메라 내의 카메라들의 기준선 및 후방 초점 거리는 용이하게 결정될 수 있고, 따라서 포착된 영상들에서 관측된 장면 의존적인 기하학적 시프트들을 추정함에 있어서의 미지의 양은 어레이 카메라와 장면의 상이한 부분들 사이의 거리이다. 깊이 맵 및 가시성 정보가 앞서 기술한 프로세스들에 따라 발생될 때, 픽셀들 각각의 깊이들로부터 얻어지는 장면 의존적인 기하학적 시프트들이 결정되고, 초해상도 처리를 수행할 때 폐색된 픽셀들이 무시될 수 있다. 많은 실시예들에서, 신뢰도 맵은 깊이 맵을 발생시키는 프로세스의 일부로서 발생되고, 입력 영상들로부터의 픽셀들의 융합을 수행할 때 깊이 맵 내에 포함된 깊이 추정치들의 신뢰성을 평가할 시에 초해상도 프로세스를 돕기 위해 신뢰도 맵이 초해상도 프로세스에의 입력으로서 제공된다.

본 발명의 일 실시예에 따라 깊이 맵을 발생시키는 단계를 포함하는 어레이 카메라에 의해 포착된 명시야를 사용하여 고 해상도 영상을 발생시키는 프로세스가 도 17에 예시되어 있다. 프로세스(1700)는 어레이 카메라를 사용하여 명시야를 포착하는 단계(1702) 및 고 해상도 영상을 합성하기 위해 이용될 수 있는 기준 시점을 선택하는 단계(1704)를 포함한다. 많은 실시예들에서, 기준 시점은 어레이 카메라의 구성에 기초하여 사전 결정된다. 다수의 실시예들에서, 포착된 영상들 사이의 대응 관계를 증가(1706)시키기 위해 교정 정보가 이용된다. 많은 실시예들에서, 포착된 영상들 사이의 대응 관계는 영상들을 재샘플링하는 것을 포함한다. 초기 깊이 맵이 결정되고(1708), 깊이 맵을 업데이트하기 위해 폐색이 결정되고 사용된다(1710). 몇몇 실시예들에서, 폐색을 검출하고 깊이 맵을 업데이트하는 프로세스는 반복적이다.

다수의 실시예들에서, 기준 시점으로부터 포착된 명시야 내에서의 픽셀들의 가시성에 관한 정보를 발생(1712)시키기 위해 깊이 맵이 이용된다. 몇몇 실시예들에서, 깊이 맵 내에 포함된 깊이 추정치들과 관련하여 신뢰도 맵이 (선택적으로) 발생되고(1713), 깊이 맵, 가시성 정보, 및/또는 신뢰도 맵이 초해상도(SR) 처리 파이프라인에 제공된다(1714). 몇몇 실시예들에서, 초해상도 처리 파이프라인은 미국 특허 출원 제12/967,807호에 개시된 초해상도 처리 파이프라인들 중 임의의 것과 유사하다. 초해상도 처리 파이프라인은 어레이 카메라에 의해 출력(1718)되는 기준 시점으로부터의 고 해상도 영상을 합성(1718)하기 위해 명시야, 깊이 맵, 가시성 정보, 및 신뢰도 맵을 비롯한 정보를 이용한다. 몇몇 실시예들에서, 고 해상도 영상을 합성하는 프로세스는 명시야로부터의 영상 데이터의 고해상도 격자 상으로의 파일럿 융합(pilot fusion)을 포함한다. 파일럿 융합의 결과는 이어서 초해상도 프로세스를 사용하여 고 해상도 영상을 합성하는 시작점으로서 이용될 수 있다.

미국 특허 출원 제12/967,807호에 기술된 바와 같이, 포착된 명시야로부터 입체 3D 영상 쌍을 합성하기 위해 도 17에 예시된 프로세스가 수행될 수 있다. 포착된 명시야로부터 고 해상도 영상을 합성하는 특정의 프로세스가 도 17에 예시되어 있지만, 명시야 내의 픽셀들의 깊이의 측정을 포함하는 포착된 명시야들로부터 고 해상도 영상들을 합성하는 각종의 프로세스들 중 임의의 것이 본 발명의 실시예들에 따라 이용될 수 있다.

이상의 설명이 본 발명의 많은 특정의 실시예들을 포함하지만, 이들이 본 발명의 범주에 대한 제한이 아니라 오히려 그의 하나의 실시예의 한 예로서 해석되어서는 안된다. 그에 따라, 본 발명의 범주는 예시된 실시예들에 의해서가 아니라 첨부된 청구항들 및 그의 등가물들에 의해 결정되어야만 한다.

Claims (28)

1. 영상 처리 애플리케이션에 의해 구성된 프로세서를 사용하여 상이한 시점(viewpoint)들로부터 포착된 일련의 영상들을 포함하는 명시야(light field)로부터의 장면 내의 객체들까지의 거리를 추정하는 방법에 있어서,
   상이한 시점들로부터 포착된 상기 일련의 영상들의 시점들에 대한 기준 시점(reference viewpoint)을 선택하는 단계;
   상기 일련의 영상들 내의 대응하는 픽셀들의 유사도를 증가시키기 위해 상기 일련의 영상들을 정규화하는 단계;
   상기 일련의 영상들의 적어도 하나의 서브셋을 사용하여 상기 기준 시점으로부터의 영상에서의 픽셀 위치들에 대한 초기 깊이 추정치(initial depth estimate)들을 결정하는 단계로서, 상기 기준 시점으로부터의 영상에서의 주어진 픽셀 위치에 대한 초기 깊이 추정치는,
   복수의 깊이들에서의 예상된 불일치(disparity)에 기초하여 상기 기준 시점으로부터의 영상에서의 상기 주어진 픽셀 위치에 대응하는 상기 일련의 영상들의 상기 적어도 하나의 서브셋에서의 픽셀들을 식별하는 것;
   상기 복수의 깊이들 각각에서 식별된 상기 대응하는 픽셀들의 유사도를 비교하는 것; 및
   상기 식별된 대응하는 픽셀들이 가장 높은 정도의 유사도를 가지는 상기 복수의 깊이들 중의 깊이를 상기 기준 시점으로부터의 영상에서의 상기 주어진 픽셀 위치에 대한 초기 깊이 추정치로서 선택하는 것에 의해 결정되는 것인 상기 초기 깊이 추정치들을 결정하는 단계;
   상기 초기 깊이 추정치들을 사용하여 상기 일련의 영상들에서의 대응하는 픽셀들을 식별하는 단계;
   부정합 픽셀(mismatched pixel)들을 검출하기 위해 상기 일련의 영상들에서의 상기 대응하는 픽셀들의 유사도를 비교하는 단계;
   초기 깊이 추정치로부터, 상기 일련의 영상들에서의 대응하는 픽셀들 간의 부정합이 검출되지 않을 때, 상기 초기 깊이 추정치를 상기 기준 시점으로부터의 영상에서의 상기 픽셀 위치에 대한 현재의 깊이 추정치로서 선택하는 단계;
   초기 깊이 추정치로부터, 상기 일련의 영상들에서의 대응하는 픽셀들 간의 부정합이 검출될 때,
   상기 일련의 영상들의 복수의 상이한 서브셋들을 사용하여 일련의 후보 깊이 추정치들을 결정하는 것;
   상기 후보 깊이 추정치들에 기초하여 상기 일련의 영상들의 상기 복수의 서브셋들 각각에서의 대응하는 픽셀들을 식별하는 것; 및
   가장 유사한 대응하는 픽셀들을 가지는 서브셋의 후보 깊이를 상기 기준 시점으로부터의 영상에서의 상기 픽셀 위치에 대한 상기 현재의 깊이 추정치로서 선택하는 것에 의해 상기 기준 시점으로부터의 영상에서의 상기 픽셀 위치에 대한 상기 현재의 깊이 추정치를 선택하는 단계를 포함하는, 거리 추정 방법.
2. 제1항에 있어서, 상기 상이한 시점들로부터 포착된 상기 일련의 영상들의 시점들에 대한 기준 시점을 선택하는 단계는,
   상기 영상들 중 하나의 영상의 시점; 및
   가상 시점(virtual viewpoint)
   으로 이루어진 세트로부터 시점을 선택하는 단계를 포함하는 것인, 거리 추정 방법.
3. 제1항에 있어서, 상기 기준 시점으로부터의 영상에서의 픽셀 위치에 대응하는 상기 일련의 영상들 중의 주어진 영상에서의 픽셀은,
   상기 기준 시점으로부터의 영상에서의 상기 픽셀 위치의 깊이 추정치; 및
   상기 주어진 영상의 시점과 상기 기준 시점 간의 기준선(baseline)
   에 기초하여 결정되는 장면 의존적인 시프트(scene dependent shift)를 상기 기준 시점으로부터의 영상에서의 상기 픽셀 위치에 적용하는 것에 의해 결정되는 것인, 거리 추정 방법.
4. 제1항에 있어서, 상기 기준 시점으로부터의 영상에서의 주어진 픽셀 위치가 서브셋 내의 각각의 영상에서 보이는 적어도 하나의 서브셋을 초래할 가능성이 있는 자연 장면들의 가시성 특성(visibility characteristic)의 패턴들을 이용하기 위해, 상기 일련의 후보 깊이 추정치들을 결정하는 데 사용되는 상기 일련의 영상들의 서브셋들이 상기 일련의 영상들에서의 영상들의 시점들에 기초하여 선택되는 것인, 거리 추정 방법.
5. 제4항에 있어서, 상기 일련의 영상들은 다수의 색상 채널(color channel)들 내에서 포착되고;
   상기 상이한 시점들로부터 포착된 상기 일련의 영상들의 시점들에 대한 기준 시점을 선택하는 단계는, 상기 영상들 중 하나를 기준 영상(reference image)으로서 선택하고 상기 기준 영상의 시점을 상기 기준 시점으로서 선택하는 단계를 포함하고;
   상기 일련의 후보 깊이 추정치들을 결정하는 데 사용되는 상기 일련의 영상들의 서브셋들은, 상기 기준 영상을 포함하는 상기 색상 채널에서의 동일한 수의 영상들이 각각의 서브셋에 나타나도록 선택되는 것인, 거리 추정 방법.
6. 제5항에 있어서, 상기 일련의 후보 깊이 추정치들을 결정하는 데 사용되는 상기 일련의 영상들의 서브셋들은 또한, 각각의 서브셋에 상기 기준 영상을 포함하지 않는 상기 색상 채널들에 적어도 2개의 영상들이 있도록 선택되는 것인, 거리 추정 방법.
7. 제1항에 있어서,
   상기 현재의 깊이 추정치들을 사용하여 상기 일련의 영상들에서의 대응하는 픽셀들을 식별하는 것; 및
   주어진 영상에서의 픽셀이 대응하는 픽셀들의 비교에 기초하여 결정된 측광 유사도 기준(photometric similarity criterion)을 충족시키지 못할 때, 상기 픽셀이 상기 기준 시점으로부터의 영상에서 보이지 않는 것으로 결정하는 것에 의해
   상기 기준 시점으로부터의 상기 일련의 영상들에서의 픽셀들의 가시성(visibility)을 결정하는 단계를 더 포함하는, 거리 추정 방법.
8. 제7항에 있어서, 상기 상이한 시점들로부터 포착된 상기 일련의 영상들의 시점들에 대한 기준 시점을 선택하는 단계는, 상기 일련의 영상들에서의 영상들 중 하나를 기준 영상으로서 선택하고 상기 기준 영상의 시점을 상기 기준 시점으로서 선택하는 단계를 포함하고;
   주어진 영상에서의 픽셀이 대응하는 픽셀들의 비교에 기초하여 결정된 측광 유사도 기준을 충족시키지 못할 때, 상기 픽셀이 상기 기준 시점으로부터의 영상에서 보이지 않는 것으로 결정하는 것은, 상기 주어진 영상에서의 상기 픽셀을 상기 기준 영상에서의 상기 대응하는 픽셀과 비교하는 것을 더 포함하는 것인, 거리 추정 방법.
9. 제8항에 있어서, 상기 측광 유사도 기준은 적어도 상기 주어진 영상에서의 픽셀 및 상기 기준 영상에서의 픽셀 중 적어도 하나의 픽셀의 명도(intensity)에 기초하여 적응하는 유사도 임계치(similarity threshold)를 포함하는 것인, 거리 추정 방법.
10. 제8항에 있어서, 상기 측광 유사도 기준은 상기 기준 영상으로부터의 대응하는 픽셀과 상기 기준 영상으로부터의 픽셀과 가장 유사한 대응하는 픽셀 사이의 측광 거리(photometric distance)의 함수로서 적응하는 유사도 임계치를 포함하는 것인, 거리 추정 방법.
11. 제7항에 있어서, 상기 상이한 시점들로부터 포착된 상기 일련의 영상들의 시점들에 대한 기준 시점을 선택하는 단계는, 가상 시점을 상기 기준 시점으로서 선택하는 단계를 포함하고;
    주어진 영상에서의 픽셀이 대응하는 픽셀들의 비교에 기초하여 결정된 측광 유사도 기준을 충족시키지 못할 때, 상기 픽셀이 상기 기준 시점으로부터의 영상에서 보이지 않는 것으로 결정하는 것은,
    상기 가상 시점에 인접한 영상을 기준 영상으로서 선택하는 것; 및
    상기 주어진 영상에서의 상기 픽셀을 상기 기준 영상에서의 상기 대응하는 픽셀과 비교하는 것을 더 포함하는 것인, 거리 추정 방법.
12. 제7항에 있어서,
    주어진 픽셀에 대한 현재의 깊이 추정치에 기초하여 상기 기준 시점으로부터의 영상에서의 상기 주어진 픽셀 위치가 보이는 것으로 결정되는 영상들을 사용하여 상기 일련의 영상들의 업데이트된 서브셋을 발생시키는 것;
    복수의 깊이들에서의 예상된 불일치에 기초하여 상기 기준 시점으로부터의 영상에서의 상기 주어진 픽셀 위치에 대응하는 상기 일련의 영상들의 상기 업데이트된 서브셋에서의 픽셀들을 식별하는 것;
    상기 복수의 깊이들 각각에서 식별된 영상들의 상기 업데이트된 서브셋에서의 대응하는 픽셀들의 유사도를 비교하는 것; 및
    상기 일련의 영상들의 상기 업데이트된 서브셋에서의 상기 식별된 대응하는 픽셀들이 가장 높은 정도의 유사도를 가지는 상기 복수의 깊이들 중의 깊이를 상기 기준 시점으로부터의 영상에서의 상기 주어진 픽셀 위치에 대한 업데이트된 깊이 추정치로서 선택하는 것에 의해
    상기 기준 시점으로부터의 상기 일련의 영상들에서의 픽셀들의 가시성에 기초하여 상기 기준 시점으로부터의 영상에서의 주어진 픽셀 위치에 대한 상기 깊이 추정치를 업데이트하는 단계를 더 포함하는, 거리 추정 방법.
13. 제1항에 있어서, 상기 일련의 영상들 내의 대응하는 픽셀들의 유사도를 증가시키기 위해 상기 일련의 영상들을 정규화하는 단계는,
    상기 일련의 영상들 중의 영상들에서의 측광 변동(photometric variation) 및 장면 독립적인 기하학적 왜곡(scene-independent geometric distortion)을 보정하기 위해 교정 정보(calibration information)를 이용하는 단계; 및
    상기 일련의 영상들 중의 영상들을 정렬(rectification)하는 단계를 더 포함하는 것인, 거리 추정 방법.
14. 제13항에 있어서, 상기 일련의 영상들 내의 대응하는 픽셀들의 유사도를 증가시키기 위해 상기 일련의 영상들을 정규화하는 단계는, 상기 일련의 영상들에서의 대응하는 픽셀들의 유사도를 증가시키기 위해 상기 영상들을 재샘플링하는 단계를 더 포함하고;
    상기 영상들에 적용되는 장면 독립적인 기하학적 보정(scene-independent geometric correction)은 서브픽셀 해상도로 결정되는 것인, 거리 추정 방법.
15. 제1항에 있어서, 대응하는 픽셀들의 유사도를 결정하기 위해 비용 함수(cost function)가 이용되는 것인, 거리 추정 방법.
16. 제15항에 있어서, 대응하는 픽셀들의 유사도를 결정하는 것은, 계산된 비용들을 공간적으로 필터링하는 것을 더 포함하는 것인, 거리 추정 방법.
17. 제15항에 있어서, 상기 식별된 대응하는 픽셀들이 가장 높은 정도의 유사도를 가지는 상기 복수의 깊이들 중의 깊이를 상기 기준 시점으로부터의 영상에서의 상기 주어진 픽셀 위치에 대한 초기 깊이 추정치로서 선택하는 것은, 상기 식별된 대응하는 픽셀들에 대한 필터링된 비용 함수가 가장 높은 레벨의 유사도를 나타내는 상기 복수의 깊이들 중의 깊이를 선택하는 것을 더 포함하는 것인, 거리 추정 방법.
18. 제15항에 있어서, 상기 비용 함수는,
    한 쌍의 대응하는 픽셀들의 L1 노름(norm);
    한 쌍의 대응하는 픽셀들의 L2 노름; 및
    일련의 대응하는 픽셀들의 분산(variance)
    으로 이루어진 그룹으로부터 선택된 적어도 하나의 유사도 척도(similarity measure)를 이용하는 것인, 거리 추정 방법.
19. 제15항에 있어서, 상기 일련의 영상들은 다수의 색상 채널들 내에서 포착되고, 상기 비용 함수는 상기 다수의 색상 채널들 각각에서의 픽셀들의 유사도를 결정하는 것인, 거리 추정 방법.
20. 제1항에 있어서, 상기 기준 시점으로부터의 영상에서의 픽셀 위치들에 대한 상기 현재의 깊이 추정치들에 대한 신뢰도 메트릭(confidence metric)들을 발생시키는 단계를 더 포함하는, 거리 추정 방법.
21. 제20항에 있어서, 상기 신뢰도 메트릭은 복수의 신뢰도 인자(confidence factor)들을 인코딩하는 것인, 거리 추정 방법.
22. 제1항에 있어서,
    폐색 픽셀(occluding pixel)들을 찾아내기 위해 상기 기준 시점과 상기 일련의 영상들에서의 영상들의 시점들 사이의 기준선들에 평행인 라인들을 따라 탐색하는 것에 의해 상기 초기 깊이 추정치들에 기초하여 상기 기준 시점으로부터의 영상에서의 특정 픽셀 위치들에 대응하는 상기 일련의 영상들 내의 영상들에서의 픽셀들의 폐색(occlusion)을 검출하는 단계; 및
    초기 깊이 추정치로부터, 적어도 하나의 영상에서의 대응하는 픽셀이 폐색되는 것이 검출될 때,
    주어진 픽셀이 폐색되는 상기 적어도 하나의 영상을 배제하는 상기 일련의 영상들의 복수의 상이한 서브셋들을 사용하여 일련의 후보 깊이 추정치들을 결정하는 것;
    상기 후보 깊이 추정치들에 기초하여 상기 일련의 영상들의 상기 복수의 서브셋들 각각에서의 대응하는 픽셀들을 식별하는 것; 및
    가장 유사한 대응하는 픽셀들을 가지는 서브셋의 후보 깊이를 상기 기준 시점으로부터의 영상에서의 픽셀 위치에 대한 상기 현재의 깊이 추정치로서 선택하는 것에 의해
    상기 기준 시점으로부터의 영상에서의 상기 픽셀 위치에 대한 상기 현재의 깊이 추정치를 선택하는 단계를 더 포함하는, 거리 추정 방법.
23. 제22항에 있어서, 상기 폐색 픽셀들을 찾아내기 위해 상기 기준 시점과 상기 일련의 영상들에서의 영상들의 시점들 사이의 기준선들에 평행인 라인들을 따라 탐색하는 것은,
    

    

    
    일 때 상기 기준 시점으로부터의 영상에서의 픽셀 위치 (x₁, y₁)에 대응하는 픽셀이 대안 시점 영상(alternate view image)에서 상기 기준 시점으로부터의 영상에서의 픽셀 위치 (x₂, y₂)에 의해 폐색되는 것으로 결정하는 것을 포함하며,
    여기서 s₁ 및 s₂는, 상기 기준 시점과 상기 대안 시점 영상의 시점 사이의 기준선에 평행인 라인을 따라 상기 픽셀들을 시프트시켜 각각의 픽셀에 대한 상기 초기 깊이 추정치들에 기초하여 상기 대안 시점 영상의 시점 내로 상기 픽셀들을 시프트시키기 위해 픽셀 위치들 (x₁, y₁) 및 (x₂, y₂)에 적용되는 장면 의존적인 기하학적 시프트(scene dependent geometric shift)들인 것인, 거리 추정 방법.
24. 제22항에 있어서, 픽셀을 폐색되어 있는 것으로 지정하는 결정은 상기 픽셀들의 유사도 및 상기 픽셀들 (x₁, y₁) 및 (x₂, y₂)의 추정된 깊이들의 신뢰도(confidence) 중 적어도 하나를 고려하는 것인, 거리 추정 방법.
25. 상이한 시점들로부터 포착되는 일련의 저 해상도 영상들을 포함하는 명시야로부터 고 해상도 영상을 합성하는 방법에 있어서,
    영상 처리 애플리케이션에 의해 구성된 프로세서를 사용하여 상이한 시점들로부터 포착된 일련의 영상들을 포함하는 명시야로부터의 장면 내의 객체들까지의 거리를 추정하는 단계;
    상이한 시점들로부터 포착된 상기 일련의 영상들의 시점들에 대한 기준 시점을 선택하는 단계;
    상기 일련의 영상들 내의 대응하는 픽셀들의 유사도를 증가시키기 위해 상기 일련의 영상들을 정규화하는 단계;
    상기 일련의 영상들의 적어도 하나의 서브셋을 사용하여 상기 기준 시점으로부터의 영상에서의 픽셀 위치들에 대한 초기 깊이 추정치들을 결정하는 단계로서, 상기 기준 시점으로부터의 영상 내의 주어진 픽셀 위치에 대한 초기 깊이 추정치는,
    복수의 깊이들에서의 예상된 불일치에 기초하여 상기 기준 시점으로부터의 영상에서의 상기 주어진 픽셀 위치에 대응하는 상기 일련의 영상들의 상기 적어도 하나의 서브셋에서의 픽셀들을 식별하는 것;
    상기 복수의 깊이들 각각에서 식별된 상기 대응하는 픽셀들의 유사도를 비교하는 것; 및
    상기 식별된 대응하는 픽셀들이 가장 높은 정도의 유사도를 가지는 상기 복수의 깊이들 중의 깊이를 상기 기준 시점으로부터의 영상에서의 상기 주어진 픽셀 위치에 대한 초기 깊이 추정치로서 선택하는 것에 의해 결정되는 것인, 상기 초기 깊이 추정치들을 결정하는 단계;
    상기 초기 깊이 추정치들을 사용하여 상기 일련의 영상들에서의 대응하는 픽셀들을 식별하는 단계;
    부정합 픽셀들을 검출하기 위해 상기 일련의 영상들에서의 상기 대응하는 픽셀들의 유사도를 비교하는 단계;
    초기 깊이 추정치로부터, 상기 일련의 영상들에서의 대응하는 픽셀들 간의 부정합이 검출되지 않을 때, 상기 초기 깊이 추정치를 상기 기준 시점으로부터의 영상에서의 상기 픽셀 위치에 대한 현재의 깊이 추정치로서 선택하는 단계;
    초기 깊이 추정치로부터, 상기 일련의 영상들에서의 대응하는 픽셀들 간의 부정합이 검출될 때,
    상기 일련의 영상들의 복수의 상이한 서브셋들을 사용하여 일련의 후보 깊이 추정치들을 결정하는 것;
    상기 후보 깊이 추정치들에 기초하여 상기 일련의 영상들의 상기 복수의 서브셋들 각각에서의 대응하는 픽셀들을 식별하는 것; 및
    가장 유사한 대응하는 픽셀들을 가지는 서브셋의 후보 깊이를 상기 기준 시점으로부터의 영상에서의 상기 픽셀 위치에 대한 상기 현재의 깊이 추정치로서 선택하는 것에 의해 상기 기준 시점으로부터의 영상에서의 상기 픽셀 위치에 대한 상기 현재의 깊이 추정치를 선택하는 단계;
    상기 현재의 깊이 추정치들을 사용하여 상기 일련의 영상들에서의 대응하는 픽셀들을 식별하는 것; 및
    주어진 영상에서의 픽셀이 대응하는 픽셀들의 비교에 기초하여 결정된 측광 유사도 기준을 충족시키지 못할 때, 상기 픽셀이 상기 기준 시점에 보이지 않는 것으로 결정하는 것에 의해,
    상기 기준 시점으로부터의 상기 일련의 영상들에서의 픽셀들의 가시성을 결정하는 단계; 및
    상기 가시성 정보를 사용하여 상기 기준 시점으로부터의 영상에서 보이는 상기 일련의 영상들로부터의 픽셀들을 식별하는 것; 및
    상기 픽셀들을 상기 기준 시점 내로 시프트시키기 위해 상기 기준 시점으로부터의 영상에서 보이는 상기 일련의 영상들로부터의 픽셀들에 장면 의존적인 기하학적 시프트들― 상기 장면 의존적인 기하학적 시프트는 상기 현재의 깊이 추정치들을 사용하여 결정됨 ―을 적용하는 것; 및
    상기 일련의 영상들 중의 영상들의 해상도들보다 더 큰 해상도를 가지는 상기 기준 시점으로부터의 융합된 영상을 생성하기 위해 상기 일련의 영상들로부터의 상기 시프트된 픽셀들을 융합시키는 것에 의해
    상기 일련의 영상들 중의 영상들의 해상도들보다 더 큰 해상도를 가지는 융합된 영상(fused image)을 생성하기 위해 상기 깊이 추정치들에 기초하여 상기 영상 처리 애플리케이션에 의해 구성된 프로세서를 사용하여 상기 일련의 영상들로부터의 픽셀들을 융합시키는 단계를 포함하는, 고 해상도 영상 합성 방법.
26. 제25항에 있어서, 상기 기준 시점으로부터의 상기 융합된 영상, 상이한 시점들로부터 포착된 상기 일련의 영상들, 상기 현재의 깊이 추정치들, 및 상기 가시성 정보에 기초하여 초해상도 프로세스(super resolution process)를 수행하도록 상기 영상 처리 애플리케이션에 의해 구성된 프로세서를 사용하여 상기 기준 시점으로부터의 영상을 합성하는 단계를 더 포함하는, 고 해상도 영상 합성 방법.
27. 영상 처리 시스템에 있어서,
    프로세서; 및
    상이한 시점들로부터 포착된 일련의 영상들 및 영상 처리 애플리케이션을 포함하는 메모리를 포함하고;
    상기 영상 처리 애플리케이션은,
    상이한 시점들로부터 포착된 상기 일련의 영상들의 시점들에 대한 기준 시점을 선택하고;
    상기 일련의 영상들 내의 대응하는 픽셀들의 유사도를 증가시키기 위해 상기 일련의 영상들을 정규화하며;
    상기 일련의 영상들의 적어도 하나의 서브셋을 사용하여 상기 기준 시점으로부터의 영상에서의 픽셀 위치들에 대한 초기 깊이 추정치들을 결정하며― 상기 기준 시점으로부터의 영상 내의 주어진 픽셀 위치에 대한 초기 깊이 추정치는,
    복수의 깊이들에서의 예상된 불일치에 기초하여 상기 기준 시점으로부터의 영상에서의 상기 주어진 픽셀 위치에 대응하는 상기 일련의 영상들의 상기 적어도 하나의 서브셋에서의 픽셀들을 식별하는 것;
    상기 복수의 깊이들 각각에서 식별된 상기 대응하는 픽셀들의 유사도를 비교하는 것; 및
    상기 식별된 대응하는 픽셀들이 가장 높은 정도의 유사도를 가지는 상기 복수의 깊이들 중의 깊이를 상기 기준 시점으로부터의 영상에서의 상기 주어진 픽셀 위치에 대한 초기 깊이 추정치로서 선택하는 것에 의해 결정됨 ―;
    상기 초기 깊이 추정치들을 사용하여 상기 일련의 영상들에서의 대응하는 픽셀들을 식별하고;
    부정합 픽셀들을 검출하기 위해 상기 일련의 영상들에서의 상기 대응하는 픽셀들의 유사도를 비교하며;
    초기 깊이 추정치로부터, 상기 일련의 영상들에서의 대응하는 픽셀들 간의 부정합이 검출되지 않을 때, 상기 초기 깊이 추정치를 상기 기준 시점으로부터의 영상에서의 상기 픽셀 위치에 대한 현재의 깊이 추정치로서 선택하고;
    초기 깊이 추정치로부터, 상기 일련의 영상들에서의 대응하는 픽셀들 간의 부정합이 검출될 때,
    상기 일련의 영상들의 복수의 상이한 서브셋들을 사용하여 일련의 후보 깊이 추정치들을 결정하는 것;
    상기 후보 깊이 추정치들에 기초하여 상기 일련의 영상들의 상기 복수의 서브셋들 각각에서의 대응하는 픽셀들을 식별하는 것; 및
    가장 유사한 대응하는 픽셀들을 가지는 서브셋의 후보 깊이를 상기 기준 시점으로부터의 영상에서의 상기 픽셀 위치에 대한 상기 현재의 깊이 추정치로서 선택하는 것에 의해
    상기 기준 시점으로부터의 영상에서의 상기 픽셀 위치에 대한 상기 현재의 깊이 추정치를 선택하도록 상기 프로세서를 구성하는 것인, 영상 처리 시스템.
28. 제27항에 있어서, 상기 영상 처리 애플리케이션은 또한,
    상기 현재의 깊이 추정치들을 사용하여 상기 일련의 영상들에서의 대응하는 픽셀들을 식별하는 것; 및
    주어진 영상에서의 픽셀이 대응하는 픽셀들의 비교에 기초하여 결정된 측광 유사도 기준을 충족시키지 못할 때, 상기 픽셀이 상기 기준 시점에 보이지 않는 것으로 결정하는 것에 의해
    상기 기준 시점으로부터의 상기 일련의 영상들에서의 픽셀들의 가시성을 결정하고;
    상기 가시성 정보를 사용하여 상기 기준 시점으로부터의 영상에서 보이는 상기 일련의 영상들로부터의 픽셀들을 식별하는 것; 및
    상기 픽셀들을 상기 기준 시점 내로 시프트시키기 위해 상기 기준 시점으로부터의 영상에서 보이는 상기 일련의 영상들로부터의 픽셀들에 장면 의존적인 기하학적 시프트들― 상기 장면 의존적인 기하학적 시프트들은 상기 현재의 깊이 추정치들을 사용하여 결정됨 ―을 적용하는 것; 및
    상기 일련의 영상들 중의 영상들의 해상도들보다 더 큰 해상도를 가지는 상기 기준 시점으로부터의 융합된 영상을 생성하기 위해 상기 일련의 영상들로부터의 상기 시프트된 픽셀들을 융합시키는 것에 의해,
    상기 일련의 영상들 중의 영상들의 해상도들보다 더 큰 해상도를 가지는 융합된 영상을 생성하기 위해 상기 깊이 추정치들을 사용하여 상기 일련의 영상들로부터의 픽셀들을 융합시키도록 상기 프로세서를 구성하는 것인, 영상 처리 시스템.

Images