KR20170139098A

KR20170139098A - Vr/ar 응용에서 심도 증강을 위한 다중-기선 카메라 어레이 시스템 아키텍처

Info

Publication number: KR20170139098A
Application number: KR1020177033448A
Authority: KR
Inventors: 칼틱 벤카타라만; 댄 레레스; 자크 두파레
Original assignee: 포토네이션 케이맨 리미티드
Priority date: 2015-04-19
Filing date: 2016-04-19
Publication date: 2017-12-18
Also published as: EP3286914A4; KR20230008893A; CN108307675B; US10805589B2; WO2016172125A1; US20160309134A1; US20230007223A1; US20210044790A1; EP3286914B1; US11368662B2; WO2016172125A9; KR102483838B1; EP3286914A1; CN108307675A

Abstract

본 발명의 실시예는 카메라들에 의해 포착된 장면 내의 물체들에 대한 심도 맵들을 계산하는 카메라 어레이 이미지형성 아키텍처를 제공하며, 카메라들의 근거리 서브-어레이를 사용하여 근거리 물체들까지의 심도를 계산하고, 카메라의 원거리 서브-어레이를 사용하여 원거리 물체들까지의 심도를 계산한다. 특히, 심도 맵의 정확도를 증가시키기 위해 근거리 서브어레이 내의 카메라들 사이의 기선 거리가 원거리 서브-어레이 내의 카메라들 사이의 기선 거리보다 작다. 몇몇 실시예는 심도 맵들을 계산하는 데 사용하기 위한 조명 근-IR 광원을 제공한다.

Description

VR/AR 응용에서 심도 증강을 위한 다중-기선 카메라 어레이 시스템 아키텍처

본 발명은 일반적으로 가상 현실(virtual reality)/증강 현실(augmented reality) 응용에서 심도 증강(depth augmentation)을 위한 다중-기선 카메라 어레이 시스템 아키텍처(multi-baseline camera array system architecture)에 관한 것이다. 보다 구체적으로, 본 발명은 다중-기선 이미지형성 시스템(multi-baseline imaging system)을 사용하여 근거리(near-field) 및 원거리(far-field) 물체에 대한 심도 정보(depth information)를 결정하기 위한 시스템 및 방법에 관한 것이다.

증강 현실("AR"), 가상 현실("VR") 및 혼합 현실(Mixed Reality, "MR") 장치는 강렬한 사용자 경험을 제공하기 위해 가상 물체를 실세계 뷰(real world view)와 끊김 없이 조합하도록 시도하는 이미지형성 시스템을 구상한다. 특히, VR은 실제 또는 가상 환경을 복제하는, 그리고 사용자가 상호작용하게 하는 방식으로 사용자의 물리적 존재와 환경을 시뮬레이션하는 컴퓨터 기술이다. AR 응용에서, 실세계는 헤드 업 디스플레이(heads up display) 또는 프로젝터(projector)와 같은 디스플레이 기술을 통해 사용자에게 보이는 가상 컴퓨터 그래픽을 이용하여 향상된다. 증강은 텍스트 통지(text notification)만큼 간단하거나, 시뮬레이션 스크린(simulated screen)만큼 복잡한 어떤 것일 수 있다. 이와 같이, 증강 현실은 합성 생성되는 이미지들과 함께 사용자 주위의 실제 환경을 동시에(in tandem) 조합하려고 시도한다. 혼합 현실에서, 사용자가 그들 주위의 실세계를 보게 하면서 또한 사용자의 시야(field of view) 내에 렌더링(rendering)된 가상 물체들을 보게 함으로써 AR과 VR의 장점을 조합한다. 이들 가상 물체는 실제 공간 내의 점에 고정되어, 그들을 사용자의 관점으로부터 장면(scene)의 일체 부분으로서 취급하는 것을 가능하게 만든다. 현실적인 경험을 달성하기 위해, 혼합 현실에서의 실제 물체와 가상 물체 사이의 상호작용은 이들 물체가 실세계에서 상호작용할 방법과 밀접 유사한 방식으로 복제될 필요가 있으며, 따라서 AR/VR/MR 시스템이 실세계에서 물체들의 간격과 심도를 결정할 수 있는 방식은 이들 물체가 가상 물체들과 상호작용하는 것으로 보이게 되는 방법을 결정함에 있어서 상당히 중요하다. MR, VR 및 AR 응용은, 많은 다른 용도들 중에서도, 오락, 및 게이밍(gaming)과 같은 상업적인 용도; 전투 또는 조종사 훈련을 비롯한 군사적인 용도; 및 교육적인 용도를 비롯한 다양한 상이한 목적을 위해 사용될 수 있다.

본 발명의 실시예에 따른 카메라 어레이를 이용하여 심도를 추정하기 위한 시스템 및 방법이 개시된다. 일 실시예에서, 이미지 처리 애플리케이션에 의해 구성된 프로세서를 사용하여 한 세트의 카메라들 내의 상이한 카메라들로부터 포착된 한 세트의 이미지들로부터 장면 내의 물체들까지의 거리들을 추정하는 방법은, 장면의 초기 심도 맵(depth map)을 생성하는 단계; 장면의 근거리 부분들 및 원거리 부분들을 식별하는 단계; 카메라들의 근거리 세트로부터 포착된 이미지 데이터를 사용하여 장면의 근거리 부분들에 대해 심도 맵을 개선하는 단계; 및 카메라들의 원거리 세트로부터 포착된 이미지 데이터를 사용하여 장면의 원거리 부분들에 대해 심도 맵을 개선하는 단계를 포함한다.

다른 실시예는 기준 카메라로부터 한계 거리 내에 위치되는 조명 광원을 사용하여 장면을 조명하는 단계를 포함한다.

다른 실시예에서, 장면의 근거리 부분들은 소정 한계치보다 작은 거리에 있고, 장면의 원거리 부분들은 소정 한계치보다 큰 거리에 있다.

또 다른 실시예에서, 카메라들의 근거리 세트 내의 카메라들 사이의 기선 거리가 카메라들의 원거리 세트 내의 카메라들 사이의 기선 거리보다 작다.

또 다른 실시예에서, 카메라들의 세트 내의 각각의 카메라는 동일한 이미지형성 특성을 갖는다.

또 다른 실시예에서, 카메라들의 세트는 상이한 시야들을 갖는다.

또 다른 실시예에서, 카메라들의 세트는 상이한 해상도들을 갖는다.

다시 다른 실시예에서, 카메라들의 세트는 광 스펙트럼의 상이한 부분들에서 이미지형성한다.

다시 다른 실시예에서, 카메라들의 세트는 동일한 시야와 해상도를 갖는 단색 카메라들이다.

다른 추가의 실시예에서, 단색 카메라들은 가시 스펙트럼의 적어도 일부분과 근-IR 스펙트럼의 적어도 일부분에 걸쳐 이미지형성한다.

다른 추가의 실시예에서, 일정 물체가 VR 응용 내에 또한 표시되는 실세계 물체에 의해 적절히 가려지도록(occluded) 일정 물체를 VR 응용의 디스플레이 상에 어디에 렌더링할지를 결정하기 위해 심도 맵을 사용하는 단계를 포함한다.

또 다른 실시예에서, 일정 물체가 AR 응용 내의 투명 디스플레이를 통해 보이는 실세계 물체에 의해 적절히 가려지도록 일정 물체를 AR 응용의 디스플레이 상에 어디에 렌더링할지를 결정하기 위해 심도 맵을 사용하는 단계를 포함한다.

또 다른 실시예에서, 카메라들의 세트는 이미지들이 표시될 수 있게 하는 디스플레이를 포함하는 헤드셋 내에 장착된다.

다시 또 다른 실시예에서, 기준 카메라와 디스플레이는 헤드셋 내에 장착되는 제거가능 구성요소의 일부이다.

다른 실시예에서, 카메라 어레이는 제1 위치에 위치되고, 적어도 2개의 카메라들을 포함하는, 카메라들의 제1 서브어레이(subarray); 제2 위치에 위치되고, 적어도 2개의 카메라들을 포함하는, 카메라들의 제2 서브어레이; 제1 위치와 제2 위치 사이에 위치되고, 적어도 하나의 기준 카메라를 포함하는, 카메라들의 제3 서브어레이; 및 기준 카메라로부터 한계 거리 내에 위치되는 조명 광원을 포함한다.

다른 실시예에서, 카메라들의 제1, 제2 및 제3 서브어레이들 내의 카메라들은 동일한 이미지형성 특성들을 갖는다.

또 다른 실시예에서, 카메라들의 제1 및 제2 서브어레이들 내의 카메라들은 적어도 하나의 기준 카메라와 상이한 이미지형성 특성들을 갖는다.

또 다른 실시예에서, 카메라들의 제1 및 제2 서브어레이들 내의 카메라들 각각은 기준 카메라와 상이한 에피폴라 축(epipolar axis)을 갖는다.

또 다른 실시예에서, 카메라들은 모두 동일한 시야를 갖는 단색 카메라들이다.

또 다른 실시예에서, 시야는 70도와 90도로 이루어진 군으로부터 선택된다.

다시 다른 실시예에서, 카메라 어레이는 헤드셋에 장착되고, 카메라 어레이 내의 적어도 하나의 카메라는 헤드셋 내에 장착되는 제거가능 구성요소의 일부이다.

다시 다른 실시예에서, 카메라들로부터 얻어진 이미지 데이터는 장면의 심도 맵을 생성하기 위해 사용된다.

다른 추가의 실시예에서, 제1 카메라 어레이와 제3 카메라 어레이 사이의 기선 거리가 제1 카메라 어레이와 제2 카메라 어레이 사이의 기선 거리보다 작다.

다른 실시예에서, 카메라 어레이는 복수의 카메라들; 투사된 텍스처(projected texture)를 갖는 장면을 조명하도록 구성되는 조명 시스템; 프로세서; 이미지 처리 파이프라인 애플리케이션(image processing pipeline application) 및 조명 시스템 컨트롤러 애플리케이션을 포함하는 메모리를 포함하고, 여기서 조명 시스템 컨트롤러 애플리케이션은 프로세서에, 조명 시스템을 제어하여 투사된 텍스처를 갖는 장면을 조명하도록 지시하며, 이미지 처리 파이프라인 애플리케이션은 프로세서에, 장면의 초기 심도 맵을 생성하도록, 장면의 근거리 부분들 및 원거리 부분들을 식별하도록, 카메라들의 근거리 세트로부터 포착된 이미지 데이터를 사용하여 장면의 근거리 부분들에 대해 심도 맵을 개선하도록, 그리고 카메라들의 원거리 세트로부터 포착된 이미지 데이터를 사용하여 장면의 원거리 부분들에 대해 심도 맵을 개선하도록 지시한다.

또 다른 실시예에서, 이미지 처리 파이프라인 애플리케이션은 프로세서에, 기준 카메라로부터 한계 거리 내에 위치되는 조명 광원을 사용하여 장면을 조명하도록 지시한다.

또 다른 실시예에서, 장면의 근거리 부분들은 소정 한계치보다 작은 거리에 있고, 장면의 원거리 부분들은 소정 한계치보다 큰 거리에 있다.

다시 또 다른 실시예에서, 카메라들의 근거리 세트 내의 카메라들 사이의 기선 거리가 카메라들의 원거리 세트 내의 카메라들 사이의 기선 거리보다 작다.

다시 또 다른 실시예에서, 카메라들의 세트 내의 각각의 카메라는 동일한 이미지형성 특성을 갖는다.

또 다른 추가의 실시예에서, 카메라들의 세트는 상이한 시야들을 갖는다.

또 다른 추가의 실시예에서, 카메라들의 세트는 상이한 해상도들을 갖는다.

다시 또 다른 실시예에서, 카메라들의 세트는 광 스펙트럼의 상이한 부분들에서 이미지형성한다.

다시 또 다른 실시예에서, 카메라들의 세트는 동일한 시야와 해상도를 갖는 단색 카메라들이다.

또 다른 추가의 실시예에서, 단색 카메라들은 가시 스펙트럼의 적어도 일부분과 근-IR 스펙트럼의 적어도 일부분에 걸쳐 이미지형성한다.

또 다른 추가의 실시예에서, 이미지 처리 파이프라인 애플리케이션은 프로세서에, 일정 물체가 VR 응용 내에 또한 표시되는 실세계 물체에 의해 적절히 가려지도록 일정 물체를 VR 응용의 디스플레이 상에 어디에 렌더링할지를 결정하기 위해 심도 맵을 사용하도록 지시한다.

다시 또 다른 추가의 실시예에서, 이미지 처리 파이프라인 애플리케이션은 프로세서에, 일정 물체가 AR 응용 내의 투명 디스플레이를 통해 보이는 실세계 물체에 의해 적절히 가려지도록 일정 물체를 AR 응용의 디스플레이 상에 어디에 렌더링할지를 결정하기 위해 심도 맵을 사용하도록 지시한다.

다시 다른 추가의 실시예에서, 카메라들의 세트는 이미지들이 표시될 수 있게 하는 디스플레이를 포함하는 헤드셋 내에 장착된다.

다른 실시예는 이미지 처리 애플리케이션에 의해 구성된 프로세서를 사용하여 한 세트의 카메라들 내의 상이한 카메라들로부터 포착된 한 세트의 이미지들로부터 장면 내의 물체들까지의 거리들을 추정하는 방법을 포함하고, 이 방법은 몇몇 카메라들로부터의 이미지들을 사용하여 장면의 다양한 영역들까지의 심도를 추정하는 단계를 포함하고, 여기서 심도 추정의 정밀도가 장면의 상이한 영역들에 따라 달라진다.

다른 실시예에서, 장면의 근거리 영역에 대한 심도 추정치의 심도 추정 정밀도는 장면의 원거리 영역에 대한 심도 추정치의 정밀도와 상이하다.

또 다른 실시예에서, 심도 추정 정밀도는 상이한 개수의 심도 샘플들을 사용하여 상이한 영역들에서 심도를 추정하는 것으로 인해 달라진다.

또 다른 실시예에서, 심도 추정 정밀도는 카메라들에 의해 포착된 상이한 개수의 이미지들을 사용하여 상이한 영역들에서 심도를 추정하는 것으로 인해 달라진다.

또 다른 실시예에서, 일정 영역의 심도 추정 정밀도는 일정 영역에 위치되는 물체의 심도의 초기 추정치에 기초하여 결정된다.

또 다른 실시예에서, 일정 영역의 심도 추정 정밀도는 기준 카메라의 시야 내에서의 일정 영역의 위치에 기초하여 결정된다.

도 1a는 본 발명의 일 실시예에 따른 증강/혼합 현실 헤드셋의 일부를 형성하는 카메라 어레이를 예시한 도면.
도 1b는 본 발명의 일 실시예에 따른 증강/혼합 현실 헤드셋의 일부를 형성하는 카메라 어레이를 예시한 도면.
도 2는 본 발명의 일 실시예에 따른 하나 이상의 카메라 어레이를 이용하는 카메라 어레이를 개념적으로 예시한 도면.
도 3은 본 발명의 실시예에 따른 AR/VR/MR 응용에 이용되는 많은 카메라 어레이들에 의해 충족될 수 있는 요건들 중 일부를 제공하는 표.
도 4는 본 발명의 일 실시예에 따른 도 3에 개괄된 사양들 중 많은 것을 충족시키는 다중-기선 카메라 어레이 아키텍처를 예시한 도면.
도 5는 본 발명의 일 실시예에 따른 카메라 어레이에 대해 물체 거리 및 다른 이미지형성 파라미터의 함수로서 심도 정확도 값을 보여주는 표.
도 6은 본 발명의 일 실시예에 따른 5개의 카메라들이 작동하는 카메라 어레이를 예시한 도면.
도 7은 본 발명의 일 실시예에 따른 4개의 카메라들이 작동하는 카메라 어레이를 예시한 도면.
도 8은 본 발명의 일 실시예에 따른 3개의 카메라들이 작동하는 카메라 어레이를 예시한 도면.
도 9는 본 발명의 일 실시예에 따른 상이한 구성과 작동 모드를 요약하고, 예시된 처리 시스템 상의 인터페이스(예컨대, MIPI 레인(lane))뿐만 아니라 가능한 계산 및 전력 절감을 항목별로 작성한 표.
도 10은 본 발명의 일 실시예에 따른 기준 카메라를 포함하는 2개의 카메라들의 수직 어레이 위에 위치된 4개의 카메라들의 선형 어레이를 포함하는 카메라 어레이를 예시한 도면.
도 11은 본 발명의 일 실시예에 따른 AR/VR/MR 헤드셋에 사용하기에 적합한 카메라 어레이를 예시한 도면.
도 12는 본 발명의 일 실시예에 따른 퀄컴(Qualcomm)™ 820 시스템을 사용하는 다중-기선 카메라 어레이를 예시한 도면.
도 13은 본 발명의 일 실시예에 따른 퀄컴™ 820 플랫폼 상에 이미지 처리 파이프라인을 구현하는 다중-기선 카메라 어레이에서의 6개의 카메라들의 사용을 예시한 도면.
도 14는 도 12에 도시된 어레이 카메라와 유사한 어레이 카메라 내의 기준 카메라로서 작용하는 카메라에 의해 근-IR 패턴이 상부에 투사되는 장면의 포착된 단색 이미지를 예시한 도면.
도 15는 카메라 어레이에 의해 포착된 한 세트의 이미지들로부터 심도 추정치를 생성하고 심도 추정치의 신뢰도에 기초하여 심도 추정치를 필터링함으로써 생성된 심도 맵을 예시한 도면.
도 16은 도 15에 도시된 고 신뢰도 심도 추정치를 사용하여 생성된 조직화된 심도 맵을 예시한 도면.
도 17은 적색이 물체가 보다 가까이 있음을 나타내고 청색이 물체가 보다 멀리 떨어져 있음을 나타내는, 심도가 의사 색채법(false color)으로 도시된 도 15의 심도 맵을 예시한 도면.
도 18은 카메라 어레이 내의 단일 쌍의 카메라들로부터 심도 맵을 생성하도록 (스테레오 쌍이 가려짐 처리를 수행할 수 없음과 같은 예외를 가지고서) 도 15와 도 17에 도시된 심도 맵들을 생성하기 위해 사용되는 것과 유사한 프로세스를 수행함으로써 얻어지는 심도 맵을 예시한 도면.
도 19는 적색은 보다 가까이 있고 청색은 보다 멀리 떨어져 있는 의사 색채법으로 도시된 스테레오 조밀 심도 맵을 예시한 도면.
도 20은 본 발명의 일 실시예에 따른 카메라 어레이에 대한 심도 정밀도 그래프.
도 21은 본 발명의 일 실시예에 따른 다중-기선 카메라 어레이를 사용하여 장면의 심도 맵을 계산하기 위한 프로세스를 개념적으로 예시한 도면.
도 22는 본 발명의 일 실시예에 따른 AR/VR/MR 헤드셋에 사용하기 위한 2개의 근-IR 패턴화된 광원들을 사용하는 다중-기선 카메라 어레이를 예시한 도면.
도 23은 본 발명의 일 실시예에 따른 VR 헤드셋의 프레임 내에 포함된 카메라들과 조합될 때 카메라 어레이의 기준 카메라로서 작용하는 카메라를 포함하는 이동 전화 핸드셋을 예시한 도면.

이제 도면을 참조하면, 가상 현실(VR)/증강 현실(AR) 또는 혼합 현실(MR) 응용에 사용하기 위한 심도 정보를 얻기 위해 카메라 어레이들을 이용하는 시스템 및 방법이 기술된다. AR/VR/MR 경험은 실세계 이미지(real-world imagery) 내에 고정되거나 삽입되는 가상 물체들이 그들의 국부(local) 및 전역(global) 위상 관계(topological relationship)들과 일치하도록 충분한 정밀도를 갖고서 실시간으로 실세계 물체의 심도를 감지함으로써 향상될 수 있다. 본 발명의 다양한 실시예에 따른 시스템 및 방법은 심도 정보가 도출되어 나올 수 있는 이미지 데이터를 포착하기 위해 AR/VR 헤드셋 내에 장착되는 카메라들의 어레이를 이용한다. 일단 심도 정보가 결정되면, 심도 정보는 환경에 대한 사용자의 자세의 추출, 가상 물체들의 생성, 및/또는 사용자에게 표시되는 가상 환경의 후속 렌더링에 이용될 수 있다. 게다가, 심도 정보는 물체 검출 및 인식에 사용될 수 있으며, 이러한 물체 검출 및 인식은 이어서 맥락 관련 정보(contextually relevant information)를 사용자에게 표시할 수 있게 한다.

가상 물체들을 실세계 이미지와 병합하는 것은 흔히 z-키잉(z-keying)으로 지칭된다. Z-키잉 응용은 가상 물체들이 장면에 추가될 넓은 시야에 걸쳐 그리고/또는 작동 범위(working range)에 걸쳐 심도 정확도에 엄격한 요건을 부과할 수 있다. 따라서, 본 발명의 많은 실시예에 따른 카메라 어레이는 카메라에 의해 포착된 이미지를 처리하기 위한 핀홀(pinhole) 카메라로서 모델링될 수 있는 어레이로 사용되는 카메라들에 전형적인 것보다 더 큰 광학적 왜곡(optical distortion)을 도입할 수 있는 넓은 시야를 갖는 렌즈를 구비한 카메라를 이용한다. 일반적으로, 넓은 시야는 넓은 시야각(view angle), 흔히 80° 90°, 120°, 또는 150° 초과인 넓은 수평 시야각에 의해 특징지어질 수 있는 반면, 좁은 시야는 50°, 80°, 90°, 120°, 또는 150° 미만인 시야각에 의해 특징지어질 수 있다. 소정 카메라 어레이에 의해 사용되는 몇몇 분류에서, 카메라 어레이의 카메라들은 이들이 80° 초과일 수 있는 시야를 가질 때 "넓은"으로 그리고 이들이 80° 미만일 수 있는 시야를 가질 때 "좁은"으로 간주될 수 있다. 상기는 넓은 시야 및 좁은 시야를 특정 숫자의 각도로 기술하지만, "좁은" 또는 "넓은"으로 간주되는 특정 시야는 각도에 기초할 뿐만 아니라 본 발명의 실시예에 따른 특정 응용의 요건에 적합한 바와 같은 다양한 다른 요인에 기초하여 달라질 수 있다. 다수의 실시예에서, 카메라 어레이들은 상이한 시야들을 갖는 카메라들의 서브세트(subset)들을 구비한 카메라들을 이용하고, 상이한 서브세트들로부터의 이미지 데이터를 이용하여 상이한 심도들에 있는 그리고 카메라 어레이의 시야의 상이한 영역들 내에 있는 물체들에 대한 심도 정보를 생성한다. 몇몇 실시예에서, 넓은 작동 범위에 걸친 심도 정확도는 상이한 기선들을 갖는 카메라들의 서브세트들이 물체까지의 초기 검출 거리에 따라 이용되는 카메라 어레이를 이용함으로써 달성된다. 소정 실시예에서, 상이한 거리들에서 거리를 결정하기 위해 이용되는 서브세트들은 상이한 왜곡 대 시야 높이 프로파일들을 갖는 상이한 시야들 및/또는 상이한 해상도들을 포함하는 (그러나 이로 한정되지 않는) 상이한 이미지형성 특성들을 포함한다. 이러한 방식으로, 어레이에 이용되는 카메라의 특성은 특정 응용의 요건에 적당한 거리의 작동 범위와 시야에 걸쳐 심도 정확도를 제공하도록 선택될 수 있다. 심도 정확도 요건에 더하여, 많은 AR 응용은 실내 및 실외 환경 둘 모두에서 AR 헤드셋의 이용을 고려한다. 따라서, 본 발명의 몇몇 실시예에 따른 카메라 어레이들은 다양한 조명 조건에서 작동하는 능력을 갖는다. 소정 실시예에서, 낮은 조명 조건에서 증가된 감도를 제공하기 위해 근-IR 스펙트럼(near-IR spectrum) 내의 이미지 데이터를 포착할 수 있는 카메라가 카메라 어레이 내에 포함된다. 많은 실시예에서, 카메라 어레이는 적절한 조명 조건에서 심도 추정 정확도를 증가시키기 위해 이용될 수 있는 추가의 심도 단서(depth cue)를 제공하기 위해 IR 텍스처를 장면 상에 투사할 수 있는 IR 프로젝터를 포함한다. 쉽게 인식될 수 있는 바와 같이, 동일한 이미지형성 특성을 갖는 카메라들을 사용하는 어레이 또는 상이한 이미지형성 특성들을 갖는 카메라들을 구비한 어레이의 사용은 전형적으로 주어진 응용의 요건에 의존할 것이다. AR/VR/MR 응용에 이용되는 카메라 어레이의 처리 능력은 또한 전형적으로 소비 전력, 대기시간(latency) 및/또는 프레임률(frame rate) 요건과 같은 (그러나 이로 한정되지 않는) 주어진 응용의 요건에 의존한다. 이들 구속조건(constraint) 모두를 동시에 충족시키는 것은 현재 이용가능한 심도 기술들 중 많은 것에 대해 난제로 남아 있다.

물체까지의 심도 또는 거리는, 흔히 멀티-뷰 스테레오(multi-view stereo)로 지칭되는 기술을 사용하여 시차(parallax)에 기초하여 한 세트의 이미지들로부터 추정될 수 있다. 시차는 상이한 시점(viewpoint)들로부터 포착된 이미지들에서 보이는 전경(foreground) 물체들이 시점에 따라 이미지 배경에 대해 이동하는 정도를 지칭한다. 멀티-뷰 스테레오 기술은 2개 이상의 카메라들의 어레이를 사용하여 장면의 이미지들을 포착하고 이미지들에서 관찰되는 시차 변화(parallax shift)에 관한 정보를 사용하여 장면에서 보이는 물체들까지의 거리를 결정함으로써 물체들까지의 거리를 측정한다. 특히, 일정 거리만큼 분리되는 2개 이상의 카메라들이 동일한 장면의 사진들을 촬영할 수 있고, 포착된 이미지들이 비교되어 2개 이상의 이미지들 내의 대응하는 픽셀들 사이의 관찰된 변화를 결정할 수 있다. 픽셀들은 스테레오 카메라 쌍의 각각의 이미지 평면 상에 투사되는 3D 공간 내의 대응하는 점이 유사한 픽셀 값들을 취하면 스테레오 쌍 내의 대응하는 픽셀들로 간주된다. 이는 강도 일관성 가정(intensity constancy assumption)으로 지칭된다. 물체가 상이한 카메라 뷰들 사이에서 이동되는 양은 디스패리티(disparity)로 불리며, 이는 물체까지의 거리에 반비례한다. 다수의 이미지에서 물체의 이동을 검출하는 디스패리티 탐색(disparity search)이 카메라들 사이의 기선 거리 및 관련된 카메라들의 초점 거리들에 기초하여 물체까지의 거리를 계산하는 데 사용될 수 있다. 매우 넓은 시야 렌즈에서, 시차로 인한 디스패리티는 스테레오 카메라 쌍으로부터의 이미지들 내의 대응하는 픽셀들이 매우 상이한 필드 높이들을 갖게 할 수 있다. 이들 두 점에서의 왜곡 및 따라서 MTF는 이들 점이 전형적인 강도 일관성 가정을 사용하여서는 정합될 수 없을 정도로 충분히 상이할 수 있다. 따라서, 많은 실시예에서, 어레이 카메라들은 주어진 넓은 시야에 대해 센서 해상도(및 따라서 광학 포맷(optical format))를 또한 증가시킨다. 소정 실시예는 왜곡/MTF를 시야 높이에 걸쳐 제어된 방식으로 분포시키거나 이들의 조합에 의해 렌즈를 주의하여 설계할 수 있다. 많은 실시예에 대해, 카메라 어레이의 시야가 어떻든 간에, 이 설계가 휘도 일관성 가정이 유지될 것을 보장할 수 있다는 기본적인 가정이 있다. 소정 실시예에서, 카메라 어레이는 이미지들이 상이한 시야들을 갖는 상태에서 픽셀들 사이의 일관성을 증가시키기 위해 리샘플링(resampling)을 사용할 수 있다.

시차 검출을 사용하여 심도를 추정할 수 있는 다양한 어레이 카메라가 2010년 9월 29일자로 출원된, 벤카타라만(Venkataraman) 등의, 발명의 명칭이 "이종 이미저를 갖는 모놀리식 카메라 어레이를 사용한 이미지의 캡처링 및 처리(Capturing and Processing Images Using Monolithic Camera Array with Heterogeneous Imagers)"인 미국 특허 제8,902,321호; 2014년 2월 24일자로 출원된, 벤카타라만 등의, 발명의 명칭이 "얇은 형태 인자 계산 어레이 카메라 및 모듈식 어레이 카메라(Thin Form Factor Computational Array Cameras and Modular Array Cameras)"인 미국 특허 출원 제14/188,521호; 및 2014년 11월 7일자로 출원된, 로다(Rodda) 등의, 발명의 명칭이 "독립적으로 정렬되는 렌즈 스택을 포함하는 어레이 카메라 모듈(Array Camera Modules Incorporating Independently Aligned Lens Stacks)"인 미국 특허 제9,264,592호에 기술되어 있다. 미국 특허 제8,902,321호, 미국 특허 제9,264,592호 및 미국 출원 제14/188,521호로부터의 어레이 카메라 구조체, 심도를 추정하기 위한 어레이 카메라 내의 카메라에 의해 포착된 이미지의 처리 및 어레이 카메라를 구성하는 방법과 관련된 개시 내용을 비롯한 개시 내용이 전체적으로 본 명세서에 참고로 포함된다.

카메라의 어레이에 의해 포착된 이미지를 사용하여 심도 정보를 결정하기 위한 프로세스가 또한 2013년 3월 13일자로 출원된, 시우레아(Ciurea) 등의, 발명의 명칭이 "심도 추정을 수행하기 위해 이미지의 서브세트를 사용하여, 가려짐을 포함하는 어레이 카메라를 사용하여 포착된 이미지에서의 시차 검출 및 보정을 위한 시스템 및 방법(Systems and Methods for Parallax Detection and Correction in Images Captured Using Array Cameras that Contain Occlusions using Subsets of Images to Perform Depth Estimation)"인 미국 특허 제8,619,082호; 및 2014년 3월 12일자로 출원된, 벤카타라만 등의, 발명의 명칭이 "심도 추정 정확도가 다른 필드 심도 맵의 제한된 심도를 사용하여 어레이 카메라에 의해 포착된 이미지 데이터로부터의 이미지를 합성하기 위한 시스템 및 방법(Systems and Methods for Synthesizing Images from Image Data Captured by an Array Camera Using Restricted Depth of Field Depth Maps in which Depth Estimation Precision Varies)"인 미국 특허 출원 제14/207,254호에 개시되어 있다. 미국 특허 제8,619,082호, 및 미국 특허 출원 제14/207,254호로부터의 심도 정보를 얻기 위한 어레이 카메라에 의해 포착된 이미지 데이터의 처리, 가려짐이 존재하는 경우에 심도 정보를 얻기 위한 어레이 카메라에 의해 포착된 이미지의 서브세트의 처리, 및 심도 추정 정확도가 어레이 카메라에 의해 포착된 이미지로부터 변화되는 심도 맵을 생성하기 위한 프로세스와 관련된 개시 내용을 비롯한 개시 내용이 전체적으로 본 명세서에 참고로 포함된다.

전술된 바와 같이, 다양한 다른 것들 중에서, 작동 범위, 작동 시야, 상이한 조명 조건에서 작동하는 능력, 소비 전력을 비롯한, AR/VR/MR 응용에서의 z-키잉에 대한 다양한 구속조건을 충족시키는 것은 전문화된 카메라 어레이의 구성, 대응하는 렌즈, 및/또는 카메라 어레이 내의 카메라의 특정 배치 및 이미지형성 특성에 맞추어진 심도 추정 프로세스의 효율적인 사용을 필요로 할 수 있다. 본 발명의 일 실시예에 따른 증강/혼합 현실 헤드셋의 일부를 형성하는 카메라 어레이가 도 1a와 도 1b에 예시되어 있다. 특히, 도 1a는 프레임의 좌측 단부 상에 위치되는 카메라(110)들의 제1 어레이, 프레임의 우측 단부 상에 위치되는 카메라(120)들의 제2 어레이, 및 카메라(110)들의 제1 어레이와 카메라(120)들의 제2 어레이 사이에 위치되는 하나 이상의 카메라(130)를 갖는 증강 현실 헤드셋(100)을 예시한다. 다중-기선 이미지형성 아키텍처는 이들 다양한 카메라(110 내지 130) 중 하나 이상을 사용하여 장면에 대한 심도 정보를 얻을 수 있다.

도 1a에 예시된 설계는 기준 카메라 주위에 분포되는 카메라들을 포함한다. 기준 카메라 주위에 분포되는 카메라를 비롯한 다양한 어레이 카메라 구조체가, 관련 개시 내용이 전체적으로 본 명세서에 참고로 포함되는 미국 특허 제8,902,321호에 기술되어 있다. 카메라들을 기준 카메라 주위에 분포시키는 것은 기준 카메라의 시야에 보이는 전경 물체들의 에지들 주위에서 심도 추정 정확도를 증가시킬 수 있다. 기준 카메라의 위, 아래, 좌측, 및/또는 우측에 있는 카메라의 존재는 전경 물체의 에지가 또한 어레이 내의 카메라들 중 다른 카메라에서 보일 가능성을 증가시킨다. 전경 물체의 에지 및 에지에 인접한 영역들이 가려지는 카메라들로부터의 이미지들을 무시함으로써, 정확한 심도 추정치가 얻어질 수 있다. 따라서, 주어진 거리 범위 내에서 그리고/또는 시야의 상이한 영역 내에서 심도를 추정하기 위해 사용될 수 있는 카메라들의 주어진 서브세트 내에서, 카메라들의 서브세트가 카메라들의 서브세트 내부에서의 가려짐을 처리하는 능력을 제공하기 위해 기준 카메라 주위에(예컨대, 위, 아래, 좌측, 우측에) 분포되는 카메라들을 포함하는 것이 바람직하다. 소정 실시예에서, 전경 물체에 대한 심도를 결정하기 위해 제1 서브세트만이 이용될 수 있다. 따라서, 제1 서브세트는 가려짐을 처리하기 위해 기준 카메라 주위에 분포되는 카메라들을 구비하도록 요구되지 않는다. 이러한 방식으로, 제1 서브세트는 단일 쌍의 카메라들일 수 있다. 어레이 카메라로부터 더욱 멀리 떨어진 물체들까지의 심도를 결정하기 위해 이용되는 추가의 서브세트들은 가려짐을 처리하기 위해 일정 분포의 카메라들을 포함할 수 있다. 본 발명의 실시예에 따라 구현되는 그러한 카메라들의 어레이의 일례가 아래에서 도 4를 참조하여 논의된다. 쉽게 인식될 수 있는 바와 같이, 상이한 거리들에 그리고 어레이 카메라의 시야의 상이한 영역들 내에 위치되는 물체들의 심도를 추정하기 위해 카메라 어레이에 이용되는 카메라들과 특정 그룹화(grouping) 및 배열은 대개 특정 응용의 요건에 의존한다.

많은 실시예에서, 카메라들의 어레이 내의 카메라들에 의해 포착된 이미지 데이터는 포착된 이미지 데이터로부터 장면의 이미지들을 합성하기 위해 사용될 수 있다. 다수의 실시예에서, 이미지 데이터의 융합은 카메라들의 어레이에 의해 포착된 장면 내에서 물체들까지의 심도를 계산하여 심도 맵들을 생성하고 어레이 카메라들을 사용하여 포착된 이미지들에서 시차를 검출 및 보정하는 것을 수반한다. 어레이 카메라들을 사용하여 포착된 이미지들에서의 시차의 검출 및 보정을 위한 프로세스가, 카메라들의 어레이에 의해 포착된 이미지들로부터 심도를 추정하는 것과 관련된 관련 개시 내용이 위에 참고로 포함되는 미국 특허 제8,619,082호에 기술되어 있다. 심도 맵을 사용하여 카메라들의 어레이에 의해 포착된 이미지들로부터의 이미지 데이터를 융합하기 위한 프로세스가, 시차 보정 및 이미지를 합성하기 위한 이미지 데이터의 융합과 관련된 개시 내용을 비롯한 관련 개시 내용이 전체적으로 참고로 포함되는, 2014년 10월 21일자로 출원된, 렐레스쿠(Lelescu) 등의, 발명의 명칭이 "한 세트의 기하학적으로 정합된 이미지들을 사용하여 고 해상도 이미지를 합성하기 위한 시스템 및 방법(Systems and Methods for Synthesizing High Resolution Images Using a Set of Geometrically Registered Images)"인 미국 특허 제9,047,684호에 서술되어 있다.

도 1b는 카메라(110)들의 제1 어레이와 카메라(120)들의 제2 어레이 사이의 측정된 공간을 포함한 소정의 간격 상세 사항을 예시한다. 이 예에 예시된 바와 같이, 카메라 어레이들 사이의 기선 거리는 12 내지 14 cm이다. 더욱이, 도 1b는 또한 중간 카메라(130) 부근에 위치되는 NIR 패턴화된 광(135)을 예시한다. 몇몇 실시예에서, NIR 투사된 광은 패턴화, 구조화, 및/또는 텍스처화될 수 있고, 반드시 광원 자체인 것은 아닐 수 있다. 몇몇 실시예에서, NIR은 플랫 필드(flat field) NIR 광원(예컨대, 플래시(flash))일 수 있다. 많은 실시예에서, NIR 광원은 레이저 및/또는 LED일 수 있다.

몇몇 실시예에서, 카메라(110 내지 130)들은 근-IR 광원 주위에 대칭으로 분포될 수 있고, 근-IR 광원(135)은 기준 카메라(130)에 보이는 이미지의 부분들에서 투사된 텍스처의 가려짐의 가능성을 감소시키기 위해 기준 카메라(130)에 최대한 가깝게 위치될 수 있다.

몇몇 실시예에서, 중심 카메라 어레이(130) 주위에 위치되는 카메라 어레이(110 내지 120)들 내의 카메라들이 저 해상도(예컨대, 720P) 심도 카메라들일 수 있다. 다른 실시예에서, 카메라(110 내지 130)들 모두가 동일한 이미지형성 특성을 공유할 수 있다(예컨대, 모든 카메라들이 720P, 흑백 카메라들임). 소정 실시예에서, 상이한 카메라들이 광 스펙트럼의 상이한 부분들을 포착할 수 있다.

도 1a와 도 1b가 증강 현실 헤드셋에 의해 사용되는 카메라 어레이를 예시하지만, 많은 다른 것들 중에서 가상 현실 응용, 게이밍 응용을 비롯한 다양한 응용 중 임의의 것이 본 발명의 실시예에 따른 특정 응용의 요건에 적절하게 심도 정보를 포착하기 위해 다양한 위치에 위치되는 카메라들을 갖는 카메라 어레이를 이용할 수 있다. 카메라 어레이를 위한 시스템 아키텍처가 후술될 것이다.

다중-기선 카메라 어레이

장면 내의 다양한 상이한 거리에 위치되는 다양한 물체에 대한 심도 정보를 포착하기 위해, 본 발명의 많은 실시예에 따른 카메라 어레이는 원거리 및 근거리 물체들에 대한 심도를 정확하게 결정하는 데 필요한 만큼 카메라들 사이의 상이한 기선 거리들을 갖는 카메라들의 하나 이상의 서브세트를 이용할 수 있다. 본 발명의 일 실시예에 따른 하나 이상의 카메라 어레이를 이용하는 카메라 어레이가 도 2에 개념적으로 예시되어 있다. 카메라 어레이는 좌측 카메라 서브어레이(subarray)(210), 우측 카메라 서브어레이(220), 및 중심 카메라 서브어레이(230)를 포함한다. 좌측 카메라 서브어레이(210)는 수직축을 따라 정렬되는 2개의 카메라(201, 202)(즉, 2×1 카메라 어레이)를 포함한다. 우측 카메라 서브어레이(220)는 3개의 카메라(203, 204, 206)를 포함하는데, 이때 수직축을 따라 정렬되는 카메라들 중 2개의 카메라(203, 204)와 제3 카메라(206)는 함께 삼각형 구조를 형성한다. 좌측 및 우측 카메라 서브어레이(210, 220)들은 하나의 카메라(205)를 포함하는 기준 카메라 서브어레이(230) 및 조명 시스템(235)의 양측에 있는 상보적 가려짐 구역들에 위치된다.

카메라 어레이(210 내지 230)들 및 조명 시스템(235)은 제어되고 프로세서(240)와 통신한다. 프로세서는 또한 이미지 처리 파이프라인 애플리케이션(250) 및 심도 맵 데이터(255)를 저장하기 위해 사용될 수 있는 하나 이상의 상이한 유형의 메모리(245)와 통신하도록 구성된다. 심도 맵 데이터(255)는 심도 맵, 메시(mesh), 색상 정보, 텍스처 정보, 및/또는 포인트 클라우드(point cloud)를 포함할 수 있다(그러나 이로 한정되지 않음). 많은 실시예에서, 카메라 서브어레이(210 내지 230)들 중 하나 이상이 장면의 이미지 및/또는 비디오를 포착하기 위해 사용될 수 있다. 서브어레이들 중 하나 이상의 서브어레이 내의 카메라들로부터 포착된 이미지들은 심도 맵들을 생성하기 위해 이용될 수 있다.

프로세서(240)를 사용하여 구현되는 이미지형성 파이프라인은 카메라들의 어레이에 의해 포착된 정보에 기초하여 심도 맵들을 생성하고 이미지들을 합성하기 위한 프로세스를 기술하는 위에 참고로 포함되는 다양한 특허 및 출원에 개괄된 바와 같은 다양한 형태를 취할 수 있다. 많은 AR/VR/MR 시스템에서, 이미지형성 파이프라인은 적어도 하기의 4개의 단계를 포함한다: (1) 측광 정규화(Photometric Normalization): 카메라들 사이의 측광 불균형(photometric imbalance)을 정규화함; (2) 기하학적 정규화(Geometric Normalization): 상이한 카메라 사이의 기하학적 변화를 정규화하고, 변화하는 초점 거리, 시야, 배율(magnification) 및 왜곡 변화를 보상함; (3) 시차 검출: 존재할 수 있는 임의의 가려짐을 선택적으로 처리하고 카메라 어레이의 시야의 영역과 물체의 심도에 따라 심도 추정치의 정밀도를 선택적으로 변화시키는 대응하는 픽셀들 사이의 디스패리티로부터 심도 추정치를 계산하는 주 단계; 및 (4) 조직화(Regularization): 조직화는 조직화된 심도 맵을 제공하기 위해 다양한 이미지 프라이어(image prior)를 사용하여 주위의 고 신뢰도 심도 값으로부터 저 신뢰도 심도 값을 갖는 영역을 채우도록 선택적으로 수행될 수 있다. 몇몇 실시예에서, 조직화 단계는 '시차 검출' 단계에서 계산된 픽셀 심도들을 취하고 고-신뢰도 심도 맵 및 순방향 매핑(forward mapping) 프로세스와 조합하여 3D 포인트 클라우드를 출력하는 3D 포인트 클라우드 단계에 의해 대체된다. 장면에 대응하는 3D 포인트 클라우드는 카메라 어레이에 의해 포착된 픽셀들의 3D 세계 좌표(world coordinate)일 수 있다. 프로세서가 주 프로세서 또는 CPU, 그래픽 프로세서(graphics processor, GPU) 및/또는 디지털 신호 프로세서(digital signal processor, DSP)를 포함할 수 있는 시스템 온 칩(system on chip)의 형태를 취하는 경우에, 이미지 처리 파이프라인에서의 상이한 단계들이 펌웨어(firmware) 및/또는 펌웨어와 소프트웨어의 조합을 사용하여 시스템 온 칩 내의 상이한 프로세서들 상에서 구현될 수 있다. 이미지 처리 파이프라인이 구현되는 특정 방식은 대개 주어진 AR/VR/MR 시스템 내에 존재하는 프로세서들에 의존하고, 이미지 처리 단계들 중 하나 이상을 구현하도록 구체적으로 설계되는 응용 주문형 집적 회로(application specific integrated circuitry) 및/또는 필드 프로그램가능 게이트 어레이(field programmable gate array)를 사용할 수 있다.

많은 실시예에서, 심도 추정 프로세스는 카메라 어레이의 시야 내의 영역들에 관한 정보, 및/또는 가상 물체를 장면의 이미지 상에 중첩시키도록 그리고/또는 장면 상에 중첩된 가상 물체를 관찰자가 볼 수 있게 하는 투명 디스플레이 상에 가상 물체를 렌더링하도록 AR/VR/MR 시스템이 z-키잉을 수행하려고 시도하는 거리에 관한 정보를 교환하기 위해 AR/VR/MR 시스템 내의 다른 프로세스들과 통신한다. 쉽게 인식될 수 있는 바와 같이, AR/VR/MR 시스템은 z-키잉이 수행되거나 수행될 가능성이 있는 영역들에서 고도의 심도 정확도만을 필요로 할 수 있다. 따라서, 이미지 처리 파이프라인은, 시야 내의 관심대상인 직사각형 영역의 형태(그러나 이로 한정되지 않음)를 취할 수 있는 AR/VR 플랫폼 상에서 실행되는 렌더링 프로세스로부터 수신된 명령, 및/또는 보다 높은 심도 추정 정밀도가 요구되는 피사계 심도(depth of field)에 따라, 카메라 어레이의 시야의 상이한 영역들 내에서 그리고/또는 상이한 거리들에서 심도 추정 정밀도를 변화시키기 위해, 2014년 3월 12일자로 출원된, 벤카타라만 등의, 발명의 명칭이 "심도 추정 정밀도가 다른 필드 심도 맵들의 제한된 심도를 사용하여 어레이 카메라에 의해 포착된 이미지 데이터로부터의 이미지들을 합성하기 위한 시스템 및 방법(Systems and Methods for Synthesizing Images from Image Data Captured by an Array Camera Using Restricted Depth of Field Depth Maps in which Depth Estimation Precision Varies)"인 미국 특허 출원 제14/207,254호에 기술된 것과 같은 프로세스를 이용할 수 있다. 소정 실시예에서, 조직화는 또한 고 정밀 심도 정보가 요구되는 그들 영역으로 제한될 수 있다. 소정의 다른 실시예에서, 심도 정보를 계산하기 위해 사용되는 카메라 어레이는 장면의 RGB 컬러 이미지/비디오를 포착하기 위해 사용되는 고-해상도 주 카메라를 이용하여 증강될 수 있다. 그러한 실시예에서, 주 카메라는 카메라 어레이로부터의 심도 정보를 이용하여 증강되는 RGB 이미지(또는 비디오)를 포착할 수 있다. 노출(exposure), 이득, 프레임률과 같은, RGB 컬러 이미지(또는 비디오)를 포착하기 위해 사용되는 파라미터는 z-키잉 프로세스에서 렌더링되는 가상 물체의 존재에 의해 변조될 수 있다. 예를 들어, 장면의 RGB 이미지(또는 비디오)를 포착하기 위해 사용되는 초점/노출은 가상 물체를 장면 포착의 초점으로서 사용하여 계산될 수 있다. 이는 가상 물체가 포착의 초점이고 배경이 적절히 디포커싱(defocusing)/디엠퍼사이징(deemphasizing)되는 이미지가 포착되는 결과를 가져올 수 있다. 최종 포착된 이미지는 장면 내에 실제 및 가상 물체들 둘 모두를 구비할 수 있지만, 이때 가상 물체가 (예컨대, 초점 단서(focus cue)와 노출에 관하여) 강조된다. 상기는 AR/VR/MR 환경 내의 어레이 카메라들을 사용하여 심도 정보를 계산하는 것을 기술하지만, 어레이 카메라들은 본 발명의 실시예에 따른 특정 응용의 요건에 적절한 심도 정보를 위해 카메라들을 이용할 수 있는 다양한 다른 컴퓨팅 플랫폼들 중에서, 이동 전화 핸드셋, 태블릿, 데스크톱, 랩톱, 게이밍 시스템 내에 포함되는 카메라 어레이(그러나 이로 한정되지 않음)를 비롯한 다른 환경에서 사용될 수 있다. 쉽게 인식될 수 있는 바와 같이, 어레이 카메라에 의해 수행되는 특정 이미지형성 프로세스는 본 발명의 다양한 실시예에 따른 특정 응용의 요건에 의해 결정될 수 있다.

도 2는 기준 카메라의 대향 측들에 위치되는 2개의 카메라 서브어레이들을 사용하여 심도 정보를 포착하기 위한 다중-기선 카메라 어레이를 예시하지만, 기준 카메라의 상부, 저부, 전방, 후방에 위치되는 카메라 서브어레이들, 또는 본 발명의 실시예에 따른 특정 응용의 요건에 적합한 카메라 서브어레이를 비롯한 다양한 상이한 카메라 어레이 구성들 중 임의의 것이 사용될 수 있다. 이는 장면의 360° 뷰를 포착하기 위해 상이한 방향들로 배향되는 다수의 카메라 어레이들을 포함할 수 있다. 심도 정보를 포착하기 위한 상이한 카메라 어레이 아키텍처들의 추가의 예가 후술된다.

계산 요건 및 교정 강건성(Calibration Robustness)

다중-기선 이미지형성 시스템의 몇몇 실시예의 두드러진 문제점은 시스템이 전체적으로 기계적으로 또는 열적으로 안정되지 않을 수 있는 프레임 상에 장착될 가능성이 있다는 것일 수 있다. 많은 카메라 어레이들에 의해 사용되는 디스패리티 추정 프로세스는 고정되어 알려진 어레이 내의 카메라들의 상대 배향에 의존한다. 어레이 내의 카메라들이 어레이 내의 모든 다른 카메라에 대해 고정되지 않을 때, 이러한 요건이 위반되고, 디스패리티 추정(및 따라서 심도) 추정치가 덜 신뢰하게 될 수 있다.

몇몇 실시예에서, 카메라 어레이는 어레이 내의 카메라들의 상대 간격 및 배향을 결정하기 위해 자세 복원(pose recovery)의 프로세스를 수행한다. 어레이 내의 카메라들의 개수는 자세 복원을 수행하는 데 중요한 역할을 할 수 있다. 구체적으로, 기준 카메라에 대해 고정되는 서브어레이들의 존재는 자세 추정의 프로세스를 안정시키고 자세 추정 파라미터의 정확도를 개선하는 데 도움을 줄 수 있다. 어레이 내의 추가의 카메라들로부터 구속조건을 부과함으로써, 시스템은 회전뿐만 아니라 병진이동과 스케일(scale)을 복원가능할 수 있다. 이는 AR/VR 시스템을 비롯한(그러나 이로 한정되지 않음) 다수의 잠재적 비전(vision) 응용에서 상당한 이점을 갖는다.

많은 실시예에서, 우측에 있는 카메라 서브어레이는 적어도 3개의 카메라들을 포함하고, 열 및 기계적 강성을 제공하는 보드(board) 상에 함께 조립될 수 있다. 다시 말하면, 이러한 보드 상의 카메라들은 서로에 대해 기계적으로 강성이고, 이들의 움직임은 서로 독립적이지 않다. 마찬가지로, 강성은 카메라가 병진이동, 회전, 관찰 방향 변화, 및/또는 다양한 다른 원인 중에서, 휨(warp), 굽힘, 팽창과 같은 기계적 힘 및/또는 온도의 영향으로 인해 발생할 수 있는 다양한 다른 변동 중 임의의 것을 최소로 또는 전혀 갖지 않는 것일 수 있다. 강성을 얻기 위해, 카메라 어레이의 많은 실시예는 시스템의 구조 내에 저-CTE 및 고 강도(stiffness)(예컨대, 고 영률(Young's modulus)) 기재(substrate)를 사용할 수 있다. 또한 탄성 계수(elastic modulus)로 알려진 영률은 일반적으로 선형 탄성 고체 재료의 기계적 특성으로 정의되고, 재료의 응력(단위 면적당 힘)과 변형률(strain)(비례 변형(proportional deformation)) 사이의 관계를 한정한다. 이는 어레이 내의 카메라들의 이러한 서브세트에 의해 포착된 이미지들을 사용하여 회전 및 병진이동(벡터)을 포함하는 강건한 자세 추정을 가능하게 한다. 서브세트에 의해 생성된 정확한 심도 정보를 사용하여, 어레이 내에 견고하게 고정되지 않은 다른 카메라의 기선과 배향에 관한 추정이 수행될 수 있다. 몇몇 실시예에서, 프레임별로 이들 카메라 중 임의의 카메라에 걸쳐 다수의 특징부를 추적하기 위해 특징부 추적 프로세스가 사용된다. 최소 개수의 특징점(feature point)들을 강건하게 추적하는 것은 어레이 내의 카메라들에 대한 필수 카메라 행렬(matrix)의 복원을 가능하게 하며, 이로부터 전체적으로 카메라 시스템의 회전이 정확하게 도출된다. 그러나, 병진이동의 복원은 미지의 스케일 팩터(scale factor)까지만 정확하다. 3개의 카메라들의 그룹을 전체적으로 강성으로 고려하고 강성 서브-어레이 내의 모든 카메라들에 걸쳐 그리고 또한 전체 어레이 내의 다른 카메라를 가로질러 동일한 특징점을 추적함으로써, 시스템은 병진과 스케일을 복원하여 어레이 내의 모든 카메라에 대한 자세의 강건한 복원을 완료할 수 있다.

어레이 내에 존재하는 카메라들의 개수, 더욱 중요하게는 어레이 내에 서로에 대해 견고하게 장착되는 카메라들의 개수는 서로에 대해 견고하게 고정되든 아니든 간에 어레이 내의 모든 카메라들의 배향(즉, 자세)과 기선의 연속적인 교정을 가능하게 한다. 일반적으로, 카메라 어레이 내에 서로에 대해 견고하게 고정되는 2개의 카메라들은 어레이 내의 모든 카메라들에 대한 자세 복원 문제를 완전히 결정된 문제로 바꾸기에 충분할 수 있다. 그러나, 제3 카메라의 추가가 노이즈 및 다른 요인에 대한 자세 복원의 강건성을 증가시킬 수 있다. 따라서, 본 발명의 많은 실시예에 따른 카메라 어레이는 서로에 대해 비-견고하게 장착되는 복수의 카메라들과, 교정을 유지하기에 그리고 카메라들의 전체 어레이의 연속적인 보정이 수행될 수 있게 하는 신뢰성 있는 심도 추정치를 생성하기에 충분한 강성을 갖고서 장착되는 적어도 2개의 카메라들을 포함한다.

쉽게 인식될 수 있는 바와 같이, 기선 카메라 어레이 시스템의 많은 실시예는 다중-기선 카메라 어레이 시스템에서 3개 초과의 카메라들을 구비한다. 몇몇 실시예는 우측에 있는 2개의 카메라들의 그룹 및 중심 카메라를 구비한다. 구속조건들의 유사한 세트를 좌측에 있는 그룹에 적용함으로써, 시스템은 좌측에 있는 카메라 그룹을 위한 비디오 레이트(video rate)로 자세를 회복시킬 수 있다. 중심 카메라에 대해, 소정 실시예의 시스템은 좌측 및 우측에 있는 카메라 그룹들의 강건한 자세 추정치들로부터 자세를 추정하는 과제를 수행할 수 있다. 이러한 문제는 이제 양단부에서의 자세 추정치들에 의해 제한된다. 게다가, 기계 설계 자체로부터의 추가의 구속조건을 포함함으로써, 본 발명의 많은 실시예에 따른 프로세서가 어레이 내의 카메라들의 자세를 결정하게 하고 카메라 어레이의 교정을 유지하게 하는 정확도를 더욱 개선할 수 있다.

이들 구속조건이 없으면, AR/VR/MR 시스템에 대한 열 및 기계적 충격의 존재 하에 교정을 유지하는 문제가 명확한 해법이 없는 완전히 결정되지 않은 문제가 될 수 있다. 이는 순전한 스테레오 해법(즉, 단지 2개의 카메라들)이 실지로 교정을 유지하는 데 곤란을 겪을 가능성이 있는 하나의 이유이다. 큰 기선을 갖는 스테레오 카메라는 작동 동안에 기계적 및 열 안정성을 유지하는 방식으로 구성하기 어려울 수 있다. 카메라들이 교정의 열화를 초래하는 방식으로 자유로이 이동할 때, 카메라들에 걸친 자세 결정의 문제가 결정되지 않은 문제가 되어, 심도 추정치의 정확도를 감소시킨다.

전술된 프로세스(자세 추정)는, 예를 들어 온도, 휨, 충격 등을 비롯한 다수의 요인으로 인해 실지로 발생될 불가피한 기하학적 변형에 대한 고도의 강건성을 보장하기 위해, 재-교정 프로세스(또는 교정 상태의 복원)와 끊김 없이 조합될 수 있다. 특히 AR/VR/MR 시스템 내에 포함되는 카메라 어레이에 대해 구상되는 의도된 일반적인 사용을 위해, 변화에 대한 이러한 강건성이 해소되는 경우 상당한 이익을 제공할 수 있는 중요한 요건들 중 하나일 것임이 인식된다.

몇몇 실시예는 개발되었고 시험되었던 그리고 장면이 이미지형성될 때 소실된 교정의 라이브 복구(live recovery)로 이루어지는 상보적 처리 시스템을 이용할 수 있다. 소정 실시예에서, 카메라 어레이는 이러한 상보적 처리를 사용하여 상이한 시점들로부터 포착된 다수의 이미지로부터의 이미지 데이터를 성공적으로 융합할 수 있는데, 여기서 다시 교정을 유지하는 것이 카메라 기능성의 성공에 매우 중요하다. 계산 카메라 어레이에 의해 포착된 이미지 데이터로부터의 이미지들을 합성하기 위한 프로세스가, 다수의 이미지로부터의 이미지 데이터를 조합하여 새로운 이미지를 합성하는 것과 관련된 관련 부분이 위에서 전체적으로 본 명세서에 참고로 포함되는 미국 특허 제9,047,684호에 개시되어 있다.

근-IR에서의 능동 조명

비-등거리인 의사-무작위(pseudo-random) 텍스처 패턴이 근-IR에서 능동 조명원에 의해 투사될 수 있다. 가능한 조명원 방출기 기술은 많은 실시예에서 800 nm 내지 1000 nm의 파장 범위 내에 있는 몇몇 종류의 레이저원일 수 있다. 소정 실시예에서, 패턴이 투사되는 방식은 패턴이 시스템의 요구되는 작동 범위(예컨대, 0.15 m 내지 4.0 m)에 걸쳐 해상될 수 있도록 결정된다. 다시 말하면, 투사된 패턴들의 요소들은 이들이 전체 작동 범위에 걸쳐 서로 병합되지 않도록 설계된다.

다수의 실시예에서, 본 특허의 특성은, 근-IR 스펙트럼의 적어도 일부분을 포함하는 넓은 스펙트럼 대역에 걸쳐 이미지들을 포착하도록 색수차제거되는(achromatized) 카메라들과 조합하여 (선택적으로) 이용되는 스펙트럼의 근-IR 부분에서의 투사된 패턴; (임의의 그러나 비-주기적인) 의사-무작위 패턴; 및/또는 조명원과 카메라 사이의 측방향 오프셋을 처리하기 위해 카메라 어레이의 시야가 약간 과충전되는 방식으로 투사된 패턴을 포함할 수 있다(그러나 이로 한정되지 않음).

몇몇 실시예에서, 1 m까지만 유효한 근거리 구조화된 조명 시스템이 약 50 mW의 전력만을 소비할 수 있고, LED 기반 굴절 접근법과 같은(그러나 이로 한정되지 않음) 접근법을 이용할 수 있다. 그러나, 능동 조명 시스템의 범위를 4 m의 작동 거리까지 연장시키는 능동 조명 시스템을 사용하는 실시예에서, 레이저 기반 조명원이 회절 접근법과 조합하여 사용될 수 있다. 이러한 경우에, 전력 요건은 상당히 더 클 수 있다(약 1W). 그러나, 소프트웨어 파이프라인은 장면 내용 분석에 기초한 스트로빙(strobing) 및 전력 요건과 전류 인입을 현저히 완화시키기 위한 프레임의 스키핑(skipping)과 같은 전략을 사용할 수 있다.

많은 실시예에서, 카메라들의 어레이는 조명 시스템을 둘러싸는 상보적 가려짐 구역들에서 이용된다. 카메라들의 선형 어레이에 의해 포착된 한 세트의 이미지들을 사용하여 심도를 추정하는 것은 전형적으로 에피폴라 라인을 따라 디스패리티 탐색을 수행하는 것을 수반한다. 많은 실시예에서, 카메라 어레이 내의 조명 시스템의 위치는 심도를 계산하기 위해 사용되는 카메라 어레이 내의 기준 카메라의 위치에 의해 강한 영향을 받을 수 있다. 기준 카메라에 최대한 가까운 근-IR 방출기를 구비하는 것은 근-IR 방출기로부터의 음영(shadow)이 최소화되고 투사된 텍스처가 기준 카메라에 의해 포착될 때 장면에 최대로 입사하는 것을 보장할 수 있다. 따라서, 기준 카메라에 가깝게 위치된 조명 시스템 주위의 상보적 가려짐 구역들에 위치되는 카메라들의 2차원 어레이들의 사용은 심도 추정 성능을 현저히 향상시킬 수 있다.

어레이 내의 카메라들은 IR 광에 민감할 수 있다. 조직화는 세기와 심도 사이의 관계를 사용하고, IR 광은 다양한 위치에서 텍스처를 투사함으로써 이를 방해할 수 있다. 따라서, 많은 실시예는 투사된 조명 패턴의 존재로 인해 어느 점들이 세기를 증가시켰을 수 있는지를 결정하고, 이들 영역에서 더욱 세심한 분석을 수행할 필요가 있을 수 있다. 몇몇 실시예에서, 기준 카메라는 IR-차단 필터(IR-cut filter)를 구비할 수 있고, 투사된 근-IR 패턴으로 인해 어느 점들이 세기를 증가시켰을 수 있는지를 결정하기 위해 사용될 수 있다. 예를 들어, 시스템이 IR 스트로브(IR strobe)를 사용하면, 이는 결국 패턴이 위에 놓인 이미지를 생성할 수 있고, 모든 IR 도트(IR dot)들이 심도일 것이다. 시스템이 이미 그러한 점에서 심도를 가질 수 있기 때문에, 예를 들어 녹색 채널(channel)을 보고 그 점이 투사된 근-IR 패턴의 존재로 인해 세기를 증가시켰는지 아닌지를 추정함으로써, 심도가 주 기준 카메라의 이미지에 대해 어떻게 왜곡되어야 하는지를 시스템은 알 것이다. 몇몇 실시예에 따르면, 시스템은 심도 조직화를 돕기 위해 IR 기준 마크(fiducial mark)와 비-IR 기준 마크의 차이를 분명히 보여줄 수 있다. 이는 카메라 자세를 계산하기 위해 일시적으로 특징부(예컨대, 기준 마크)를 추적할 때 이로울 수 있다. IR 기준들의 위치가 프레임간에 달라지기 때문에, 카메라 자세의 계산시 이들을 고려하지 않는 것이 이로울 수 있다. 따라서, 비-IR 기준 마크와는 별개의 것으로서 IR 기준 마크의 식별이 카메라 자세의 올바른 계산에 이로울 수 있다.

전술된 방식으로의 근-IR-구조화된 조명의 사용에 더하여, 본 발명의 몇몇 실시예에 따른 시스템 및 방법은 자연적으로 좋지 못하게 조명된 장면의 경우에 에지 가시성(edge visibility)을 개선하기 위해 균일 (근-IR) 조명(예컨대, 근-IR 플래시)을 이용할 수 있다. 이는 어떤 파장이 적합한 것으로 밝혀지든 간에, 독립 ("플랫-필드") 조명 시스템에 의해 행해질 수 있다(근-IR이 사람 눈에 보이지 않기 때문에 바람직할 수 있지만, 소정 경우에 가시광이 또한 사용가능할 수 있음). 이를 위해, 모바일 응용을 위한 통상의 근-IR 또는 가시광 플래시 장치가 채용될 수 있다. 대안적으로, 많은 시스템은 이미 심도 해법에 사용되는 구조화된 조명 장치의 제한된 효율(또는 동적 범위(dynamic range))을 사용하거나, 또는 의도적으로 이의 효율을 훨씬 더 감소시킨다. 구체적으로, 구조화된 조명 시스템에서, 투사된 광의 전부가 원하는 밝은 영역(예컨대, "스폿(spot)") 내에 수용되고 "배경"(또는 원하는 어두운 영역)에 광이 없는 구조화된 조명 시스템을 구축하는 것이 종종 어렵다. 따라서, 어둠이 전혀 실제로 어둡지 않으며, 결과적으로 구조화된 조명의 동적 범위가 매우 제한된다. 그러나, 이미 위에 언급된 바와 같이, 이는 전체 장면이 약간 조명됨을 의미하며, 이는 잘 텍스처화되지만 좋지 못하게 조명되는 장면의 경우에 도움을 줄 수 있다. 통합 시간(integration time)이 감소될 수 있고, 프레임률이 잠재적으로 증가될 수 있다. 많은 경우에, 에지들이 구조화된 조명의 샘플링에 의해 반드시 제한되는 것은 아니기 때문에 에지들이 더 매끄러워진다. 또한, 얼마만큼의 광이 구조체 내로 들어가는지와 얼마만큼 장면 위에 균일하게 분포되는지의 비를 조정가능하게 만들려고 시도할 수 있다. 예컨대, 빔 형상화(beam shaping)를 위한 회절 요소와 조합하여 온도를 변경하여 (레이저) 방출기의 파장을 변경시키는 것에 의함(회절 효율은 파장의 함수임). 쉽게 인식될 수 있는 바와 같이, 투사된 패턴의 밝은 부분과 투사된 패턴의 보다 어두운 부분 사이의 콘트라스트(contrast)의 양을 제어하기 위해 사용되는 특정 메커니즘은 주로 특정 응용의 요건에 의존한다.

AR/VR/MR 시스템에 심도 정보를 제공하기 위해 카메라 어레이와 조합하여 사용될 수 있는 다양한 구조화되고 균일한 조명 시스템이 전술되었지만, 쉽게 인식될 수 있는 바와 같이, 조명원의 통합, 조명원의 배치 및 조명원의 특성은 특정 응용의 요건 및 이미지형성 특성 및/또는 어레이 내에서의 카메라들의 배치에 따라 달라질 수 있다. 본 발명의 다수의 실시예에 따른 AR/VR/MR 시스템에 사용하기 위해 구성되는 다양한 카메라 어레이가 아래에서 추가로 논의된다.

범위 및 시스템 요건

AR/VR/MR 시장의 발전은 이상적으로는 이들 시장 수요를 충족시키도록 의도되는 임의의 AR/VR/MR 제품 또는 해법에 의해 충족될 다양한 상이한 구속조건 및/또는 요건을 제시하였다. 따라서, 본 발명의 많은 실시예는 이상적으로 AR/VR/MR 시장 수요를 충족시키도록 요구되는 바와 같은 심도 품질, 작동 범위, 및 계산 및 전력 구속조건을 한정하는 아키텍처를 비롯한, 소정 핵심 작동 요건을 충족시키는 다양한 다중-기선 카메라 어레이 아키텍처를 제공한다. 특히, 본 발명의 실시예에 따른 AR/VR/MR 응용에 사용되는 많은 카메라 어레이에 의해 충족될 수 있는 핵심 요건들 중 일부가 도 3의 표 1에 예시되어 있다.

쉽게 인식될 수 있는 바와 같이, 도 3의 표 1에 표시된 요건은 특정 응용에 따라 달라질 수 있고, 본 발명의 실시예에 따른 시스템 및 방법은 그에 따라 맞춤될 수 있다. 후술되는 섹션들은 제시된 이미지형성 아키텍처, 심도 정확도 및 오차, 전력 및 비용 효율성을 가능하게 하는 작동 특성, 광학적 고려사항, 및 계산 목표를 비롯한 다중-기선 카메라 어레이의 다양한 다른 태양을 다룬다. 후속 섹션들은 또한 작동 효율을 향상시킬 수 있고 카메라 어레이 구현의 비용 및/또는 복잡성의 감소를 달성할 수 있는 가능한 시스템 최적화 고려사항을 확인하게 한다.

다중-기선 카메라 어레이 아키텍처

본 발명의 일 실시예에 따른 도 3의 표 1에 개괄된 사양들 중 많은 것을 충족시키는 다중-기선 카메라 어레이 아키텍처가 도 4에 예시되어 있다. 예시된 실시예에서, 카메라 어레이 #004는 3개의 별개의 그룹들 또는 서브어레이들로 6개의 카메라(401 내지 406)들을 포함하는 다중-기선 카메라 어레이이다. 좌측(410)에 있는 수용 용적부(keep-in volume)는, 제1 대각 시야(diagonal field of view)(사용할 수 있는 샘플 대각 FOV는 70°일 것임)를 각각 가질 수 있는 2개의 VGA 카메라(401, 402)들을 내장한다. 우측(420)에 있는 수용 용적부는 3개의 위치들에 배치되어 가상 삼각형을 한정하는 3개의 카메라(403, 404, 406)들을 내장한다. 우측(420)에 있는 2개의 수직으로 배향된 카메라(403, 404)들은 좌측(410)에 있는 VGA 카메라들과 동일한 시야(예컨대, 70° 대각 시야)를 갖는 VGA 해상도일 수 있는 반면, 수용 용적부의 우측(420)에 있는 카메라(406)인 제3 카메라는 보다 큰 제2 대각 시야(예컨대, 90° 또는 120°가 명시된 요건 내에 있을 것임)를 갖는 720P 해상도를 갖는다. 우측(420)의 하우징은 또한 능동 조명 시스템(407)을 포함한다. 제3 서브어레이는 역시 보다 큰 제2 대각 시야(예컨대, 90° 또는 120°)를 갖는 720P 해상도의 중심 카메라(405)를 포함한다.

몇몇 실시예는 VGA 카메라의 대각 시야를 70°로 그리고 720P 카메라의 대각 시야를 90°로 고정시킬 수 있다. 소정 실시예에서, 모든 카메라들은 전체 가시 스펙트럼 범위와 (선택적으로) 400 nm 내지 900 nm의 근-IR 범위의 일부분을 포함하는 넓은 스펙트럼 대역에 걸쳐 작동하도록 설계될 수 있다. 이는 스펙트럼 감도를 최대화시키고 또한 사용자 경험에 영향을 미침이 없이 능동 조명 시스템(근-IR 범위 내에서 작동함)의 사용을 가능하게 할 수 있다.

도 4의 카메라(405, 406)들을 비롯한, 특히 현재 90도 FOV로 라벨링된 카메라의 DFOV가 특정 AR/VR 고객의 요구에 맞게, 구체적으로 자세 추정을 위해 가능하게는 DFOV를 120도로 증가시키도록 구성(개량)될 수 있음에 주목하여야 한다. 가능하게는 90 또는 120도 DFOV의 경우와 마찬가지로, 보다 큰 FOV 카메라들은 그들의 최대 FOV 능력으로 자세 추정에 사용될 수 있는 반면, 심도 추정을 위해, 시스템은 (이미지 공간에서 소정 필드 높이까지) 전체 FOV 또는 FOV의 보다 작은 부분, 예를 들어 70 내지 90도 DFOV에 대응하는 것을 사용할 수 있으며, 이는 심도 추정에 사용되는 어레이 내의 다른 카메라들의 DFOV와의 조화를 허용한다.

2개의 단부 수용 용적부(410, 420)는 보다 큰 총 기선(예컨대, 약 14 cm)만큼 서로로부터 그리고 보다 작은 기선(예컨대, 양측에서 7 cm)만큼 중심 카메라(405)로부터 분리될 수 있다.

처리 시스템(425)은 MIPI 인터페이스와 같은(그러나 이로 한정되지 않음) 인터페이스를 통한 카메라(401 내지 406)들에 대한 인터페이스 연결, 및 USB3 인터페이스와 같은(그러나 이로 한정되지 않음) 인터페이스(430)를 통한 외부 세계에 대한 인터페이스 연결을 제공하기 위해 사용될 수 있다. 몇몇 실시예에서, 예를 들어 다른 센서들에 의해 사용되는 더욱 많은 레인을 확보하기 위해 카메라 그룹(401, 402 및 405, 406)들의 클록 레인(clock lane)들 및 카메라 인터페이스(예컨대, MIPI 인터페이스)들을 집합시킬 수 있는 브리지 칩(bridge chip)에 관하여 선택사양이 있다. 예를 들어, MIPI 브리지 칩(예컨대, OV680)은 최대 6개 또는 그보다 적은 단일 레인 MIPI 인터페이스들을 출력 1 또는 2 레인 MIPI 인터페이스로 조합할 수 있다. 따라서, 몇몇 실시예에서, 4개의 VGA(30fps) 단일 레인 MIPI 출력들은 처리 시스템(425)(예컨대, 모비디우스(Movidius) MV2)에 연결될 2 레인 MIPI 출력에 조합될 수 있다. 이는 잠재적으로 다른 사용을 위해 다른 센서에 연결하기 위한 처리 시스템 상의 MIPI 입력 레인을 확보하는 이점을 제공할 수 있다. 마이크로프로세서, 디지털 신호 프로세서, 그래픽 처리 유닛, 다수의 처리 유닛을 조합한 시스템 온 칩, 및/또는 FPGA와 같은(그러나 이로 한정되지 않는) 응용 주문형 집적 회로일 수 있는 특정 처리 시스템은 전형적으로 주어진 응용의 요건에 의존한다.

위의 논의는 단순히 전체 시스템의 소수의 실시예의 논의를 나타낸다. 쉽게 인식될 수 있는 바와 같이, 다양한 카메라 조합 중 임의의 것이 본 발명의 다양한 실시예에 따른 특정 응용의 요건에 적절하게 어레이에 이용될 수 있다. 아래의 후속 섹션들은 구성요소 및 계산/소비 전력 비용의 감소를 가능하게 하는 아키텍처 효율의 활용과 함께 작동 특성을 개괄한다. 하기의 작동 모드에서 카메라의 개수가 감소되기 때문에, 브리지 칩이 불필요해질 수 있음에 주목하여야 한다.

작동 모드 및 심도 정확도

위에 제시된 다중-기선 카메라 어레이 시스템은, 예를 들어 0.15 m 내지 4 m의 상당히 큰 피사계 심도에 걸쳐 작동하도록 설계될 수 있다. 1 m보다 크고 4 m에 이르는 거리에 있는 원거리 물체는 높은 기하학적 심도 정확도(즉, 대략 1%의 오차 범위)를 얻기 위해 카메라들 사이의 큰 작동 기선을 필요로 할 수 있다. 이들은 원거리 카메라들, 예를 들어 약 14 cm의 평균 기선 간격을 갖는 도 4의 카메라(401, 402, 403, 404, 406)들에 의해 제공된다. 그러나, 물체 거리가 1 m 미만으로 감소하기 시작함에 따라, 스테레오 양안전도(vergence) 문제가 생길 수 있다. 다시 말하면, 매우 가까운 거리에서 장면 내용의 효율적인 삼각화(triangulation)를 가능하게 하기에 충분한 카메라들의 시야들 사이의 중첩이 없을 수 있다.

스테레오 양안전도 문제에 대한 하나의 해법은 보다 큰 시야를 갖는 것일 수 있다. 그러나, 이는 전형적으로 디스패리티 추정 프로세스를 복잡하게 만들 수 있는데, 그 이유는 그러한 보다 큰 시야와 관련된 광학적 왜곡이 전형적으로 MTF의 대응하는 열화와 함께 커서, 그것이 픽셀 대응 추정을 통해 디스패리티로부터 심도를 결정할 때 에피폴라 기하(epipolar geometry)의 사용을 복잡하게 만들 수 있기 때문이다. 그러한 조건 하에서, 스테레오 카메라 쌍들 내의 대응하는 픽셀들 사이의 픽셀 세기 항상성 가정은 더 이상 유효하지 않을 수 있다. 세기 항상성은 상이한 시점들에 위치되는 2개의 상이한 카메라들 내의 물체 공간의 점의 이미지가 거의 동일한 세기를 갖는다는 가정을 지칭한다(물체에서 램버시안 반사율 모델(Lambertian reflectance model)을 가정함). 유사하게, 보다 넓은 FOV 카메라의 초점 거리는 보다 좁은 FOV 카메라보다 작으며, 이는 심도 추정 정밀도를 감소시키는데 비례하는 영향을 미칠 수 있다. 이러한 요인은 보다 높은 DFOV 카메라가 특정 응용에 의해 요구됨을 상술하는 특정 응용에 대한 사양에 기초하여 정량적으로 평가될 수 있다.

많은 실시예에서, 카메라 어레이는 양단부에 있는 카메라들로부터 대략 7 cm에 있는 근거리 물체들을 처리하기 위한 추가의 카메라(예컨대, 도 4의 카메라(405))를 포함한다. 이러한 카메라의 추가는 스테레오 양안전도 문제를 감소시키지만, 근거리 물체가 적절한 기하학적 정확도(예컨대, 1% 오차)로 심도를 추정하기 위해 삼각화되도록 여전히 충분한 기선을 제공한다. 도 4의 카메라(403, 404, 405, 406)들은 이제 근거리 물체들을 처리할 수 있는 반면, 원거리 물체들은 카메라(401, 402, 403, 404, 406)들에 의해 처리될 수 있다.

몇몇 실시예에서, 작동 요건은 0.15 m 내지 1 m 작동 범위에 대해 90° 이상의 대각 시야를 필요로 하며, 이는 도 4의 카메라(405, 406)들이 보다 높은 대각 시야를 갖는 것을 필요로 하는 반면, 나머지 카메라들은 70° 대각 시야이다. 그러나, 보다 높은 대각 시야에 이를 때 추가의 문제가 분명해질 수 있다. 일반적으로, 보다 큰 시야는 이미지형성 시스템의 초점 거리를 감소시킴과 동시에 이에 수반하여 카메라 쌍들 사이의 디스패리티를 감소시킨다. 디스패리티의 감소는 심도 정확도를 감소시킨다. 이를 효과적으로 해결하기 위해, 카메라 어레이의 많은 실시예는 도 4의 카메라(405, 406)들에 보다 큰 해상도(예컨대, 720P) 센서를 사용함으로써 이미지 센서 대각선을 증가시킨다. 카메라 어레이 시스템의 초점 거리의 이러한 증가에 의해, 이제 전체 작동 범위에 걸쳐 심도 정확도 요건을 충족시키는 것이 가능하다.

도 5에 예시된 표 2는 전술된 시스템에서 물체 거리 및 다른 이미지형성 파라미터의 함수로서 심도 정확도 값을 보여준다.

특정 어레이가 도 1, 도 2, 및 도 4에 관하여 전술되었지만, 다양한 카메라 어레이 중 임의의 것이 특정 응용의 요건에 적절하게 사용될 수 있다. 또한, 효율성을 달성하기 위해 어레이 내의 카메라들의 서브세트로부터의 이미지 데이터를 사용하여 심도 맵이 생성될 수 있다. 본 발명의 다수의 실시예에 따른 심도 맵 생성의 계산 효율을 증가시키기 위한 다양한 프로세스와 대안적인 카메라 어레이 아키텍처가 아래에서 추가로 논의된다.

작동 효율

어레이 내의 하나 이상의 카메라에 의해 포착된 이미지 데이터를 무시함으로써 카메라 어레이의 계산 효율을 증가시키기 위한 여러 가지 가능성이 존재한다. 달성될 수 있는 다수의 효율이 아래에서 도 4에 예시된 카메라 어레이의 맥락에서 논의된다. 쉽게 인식될 수 있는 바와 같이, 도 4에 예시된 카메라 어레이로부터 완전히 카메라들을 제거하여 카메라 어레이들을 후술되는 이미지형성 모드들로 제한함으로써 구성요소 수(count) 및/또는 비용이 감소될 수 있다. 항상 그렇듯이, 이들 효율 고려사항의 절충(tradeoff)이 심도 맵의 전체 품질에 영향을 미친다.

모드 1 [5개의 작동 카메라]

도 6에 예시된 이러한 모드에서, 총 5개의 카메라들이 사용될 수 있다. 큰 기선(예컨대, 14 cm)을 제공하기 위한 단 하나의 카메라, 즉 카메라(602)가 도 6에서 볼 수 있는 바와 같이 유지된다. 시스템은 하나 더 적은 카메라, 즉 카메라(601)(따라서 하나 더 적은 긴 기선이 심도 추정에 이용됨)를 제외하고는 전술된 바와 같이 작동한다. 카메라(603, 604, 605, 606)들은 근거리에 적합할 수 있는 반면(위에서 논의된 바와 같이 정상 시야에 대한 양안전도 문제를 회피함), 카메라(602)는 (카메라(603, 604, 605, 606)들과 함께) 원거리 작동에 사용될 수 있다.

모드 2 [4개의 작동 카메라]

이러한 모드에서, 총 4개의 카메라들이 도 7에 예시된 바와 같이 사용된다. 큰 기선(예컨대, 14 cm)을 보장하기 위한 단 하나의 카메라, 즉 카메라(702)가 도 7에서 볼 수 있는 바와 같이 유지된다. 시스템은 하나 더 적은 카메라(따라서 하나 더 적은 긴 기선이 심도 추정에 사용됨)를 제외하고는 전술된 바와 같이 작동한다. 카메라(704, 705, 706)들은 근거리에 적합한 반면(위에서 논의된 바와 같이 정상 시야에 대한 양안전도 문제를 회피함), 카메라(702)는 (카메라(704, 705, 706)들과 함께) 원거리 작동에 사용될 수 있다. 이러한 작동 모드에서 추가의 절충은, 카메라들에 의한 가려짐 커버리지(occlusion coverage)가 가장 중요해지는 곳에서, 즉 근접 물체들("근" 범위)에 대해 도 6에 예시된 모드 1에서보다 더 좋지 못하다는 것이다. 카메라(704, 705, 706)들은 (모드 1에 비해) 기준 카메라, 즉 카메라(706)가 그러한 각도로부터의 가려짐을 다루기 위해 기준 카메라 위 및 우측 방향으로 다른 카메라를 구비하지 않는 방식으로 배열된다. 그러나, 이들 양상은 후속 처리 단계에서 어느 정도 해소될 수 있다.

모드 3 [3개의 작동 카메라]

이러한 모드에서, 총 3개의 카메라들이 도 8에 예시된 바와 같이 사용된다. 큰 기선(예컨대, 14 cm)을 제공하기 위한 단 하나의 카메라, 즉 카메라(802)가 도 8에서 볼 수 있는 바와 같이 유지된다. 카메라(805, 806)들은 근거리에 적합하고(위에서 논의된 바와 같이 정상 시야에 대한 양안전도 문제를 회피함) 스테레오 시스템과 같이 거동하는 반면, 카메라(802)는 카메라(805, 806)들과 함께 원거리 작동에 사용될 수 있다. 이러한 작동 모드에서 추가의 절충은, 카메라들에 의한 가려짐 커버리지가 가장 중요해지는 곳에서, 즉 근접 물체들("근" 범위)에 대해 도 7의 모드 2에서보다 대체로 더 좋지 못하다는 것이다. 카메라(805, 806)들은 그의 알려진 심도 추정 제한(더 높은 추정 노이즈, 심한 가려짐 문제)을 가지고서 스테레오 시스템을 형성한다. 이들은 후속 처리 단계에서 어느 정도 해소될 수 있다.

도 9는 위에서 논의된 상이한 구성과 작동 모드를 요약하고, 예시된 처리 시스템 상의 인터페이스(예컨대, MIPI 레인(lane))뿐만 아니라 가능한 계산 및 전력 절감을 항목별로 작성한 표를 제공한다.

추가의 카메라 어레이 아키텍처

다수의 실시예에서, 카메라 어레이는 상이한 VR/AR/MR 응용에 적합하게 되는 바와 같이, 상이한 유형의 카메라들 및 카메라들 사이의 다양한 기선을 비롯한 카메라 어레이 구성을 이용한다. VR/AR/MR 시스템에 사용하기 위한 카메라 어레이의 구성을 위해 매우 다양한 가능성이 존재하지만, VR/AR/MR 시스템에 특정한 그리고 잠재적으로 유리하게는 카메라 어레이의 성능에 영향을 미칠 수 있는 다른 응용과 관련된 다양한 설계 고려사항을 예시하기 위해 다수의 예가 아래에서 논의된다.

본 발명의 일 실시예에 따른 기준 카메라를 포함하는 2개의 카메라들의 수직 어레이 위에 위치된 4개의 카메라들의 선형 어레이를 포함하는 카메라 어레이가 도 10에 예시되어 있다. 예시된 실시예에서, 다양한 카메라(1001 내지 1007)와 조명 시스템(1008)은, 기준 카메라와 에피폴라 라인을 공유하는 각각의 카메라가 다른 대안적인 뷰 카메라들의 에피폴라 라인들에 대해 상이한 각도로 정렬되는 결과를 가져오는 방식으로, AR/VR/MR 시스템의 프레임 내에 포함되도록 위치된다. 좌측(1010) 카메라(1001, 1002)들은 카메라들의 1×2 서브어레이로서 수평축을 따라 정렬된다. 이들 카메라 사이의 간격은 대략 1.5 cm이다. 우측(1020) 카메라(1005, 1006)들이 또한 거의 동일한 간격(약 1.5 cm)을 갖고서 좌측(1010)과 유사하게 위치된다. 중간(1030) 카메라(1003, 1004, 1007)들은 카메라(1007, 1003)들 사이의 대략 0.75 cm의 거리, 카메라(1003, 1004)들 사이의 대략 0.65 cm의 거리, 및 카메라(1007, 1004)들 사이의 대략 2.1 cm의 거리를 갖고서 수직으로 정렬된다. 또한, 중간 카메라(1030)와 우측(1010) 사이의 간격은 대략 3.2 cm이고, 좌측도 마찬가지이다(약 3.2 cm). 또한, 고 해상도 이미지형성 카메라(1007)를 제외하고는 모든 카메라들은 동일한 유형이고, 고 해상도 이미지형성 카메라(1007)는 장면의 풀 컬러 이미지를 포착하기 위해 (보다 큰 렌즈에 의해 예시된 바와 같이) 상이한 유형일 수 있다. 몇몇 실시예에서, 카메라(1003)는 심도 맵의 생성을 위한 기준 카메라로서 작용하고, 이어서 초기 심도 맵이 고 해상도 이미지형성 카메라(1007)의 시점으로 왜곡된다. 심도 맵은 또한 Z-키잉을 용이하게 하기 위해 AR/VR 디스플레이가 렌더링되게 하는 시점으로 왜곡될 수 있다. 몇몇 실시예에서, 고 해상도 이미지형성 카메라(1007)는 기준 카메라일 수 있다. 소정 실시예에서, 추가로 후술되는 바와 같이, 기준 카메라(1007)는 카메라 어레이 이미지형성 아키텍처 내에 배치되는 사용자의 스마트폰으로부터의 카메라와 같은 교환가능 카메라일 수 있다.

예시된 실시예에서, 조명 시스템(1008)은 기준 카메라(1007) 부근에 위치된다. 몇몇 실시예에서, 카메라들을 조명 시스템(1008) 주위에 대칭으로 위치시키고 조명 광원을 기준 카메라(1007)에 최대한 가깝게 위치시키는 것은 기준 카메라에 보이는 이미지의 부분들에서 투사된 텍스처의 가려짐의 가능성을 감소시키는 데 도움을 줄 수 있다. 다른 실시예에서, 전경 물체들에 의한 투사된 패턴의 가려짐을 해소하기 위해 다수의 광원이 제공될 수 있다.

몇몇 실시예에서, 카메라(1001 내지 1006)는 각각 크기 6.5 mm × 6.5 mm(글로벌 셔터(global shutter) 3μ 픽셀)의 것일 수 있고, 주 기준 카메라(1007)는 크기 8.5 mm × 8.5 mm의 것일 수 있다. 또한, 상이한 카메라들이 상이한 에피폴라 라인들을 따라 위치될 수 있는데, 이의 몇몇 예가 카메라(1001, 1003, 1004)들과 카메라(1002, 1003, 1004)들 사이에서 파선에 의해 예시되어 있다. 따라서, 카메라들의 어레이 내의 카메라들에 의해 포착된 이미지들의 세트 내의 대응하는 픽셀들이 상이한 에피폴라 라인들 상에 위치된다. 에피폴라 라인을 따르는 영역들이 자가 유사(self-similar)한 경우 심도 추정치들은 신뢰할 수 없다. 디스패리티 탐색이 서로에 대해 상이한 각도들로 정렬되는 다수의 에피폴라 라인을 따라 수행될 때, 패턴이 상이한 에피폴라 라인들을 따른 대응하는 위치들 각각에서 자기-유사할 가능성은 각각의 추가의 에피폴라 라인이 탐색됨에 따라 감소한다. 사용되는 특정 카메라들을 변화시키면서 4개의 카메라들로부터 계산된 심도 맵의 품질을 고려함으로써 두드러진 예가 예시될 수 있다. 따라서, 카메라 2, 3, 4, 및 5로부터 계산된 심도들을 검토하고 이를 카메라 1, 3, 4, 및 6으로부터 계산된 심도와 비교하면, 물체 거리의 함수로서의 심도 정밀도(즉, 정확도)가 관련된 보다 큰 기선으로 인해 후자의 그룹(즉, 카메라 1, 3, 4, 및 6)에서 개선되는 것을 알게 될 것이다. 그러나, 심도 맵의 노이즈는 관련된 다양한 에피폴라 라인의 각도 방향의 보다 큰 변화로 인해 전자의 그룹(즉, 카메라 2, 3, 4, 및 5)에서 더 좋을 수 있다. 카메라 어레이에서(특히 보다 작은 카메라 어레이에서) 에피폴라 라인 각도 방향들 사이의 변화와 기선의 폭 사이의 특정 절충은 전형적으로 주어진 응용의 요건에 의존할 수 있다.

소정 실시예에서, 카메라 어레이들 사이의 기선은 카메라 어레이 내의 카메라들 사이의 기선보다 크다. 따라서, 제1 에피폴라 라인을 따라 관찰되는 디스패리티가 제2 (수직) 에피폴라 라인을 따라 관찰되는 디스패리티보다 상당히 더 클 것이다. 따라서, 제2 에피폴라 라인에 대응하는 방향으로 보다 작은 공간 패턴 특징부 크기를 포함하는 투사된 패턴이 이용될 수 있다. 예를 들어, 수직 공간 패턴 특징부 크기보다 큰 수평 공간 패턴 특징부를 갖는 패턴이, 넓은 수평 기선이 카메라들의 한 쌍의 2차원 어레이들 사이에 존재하고 카메라들의 2차원 어레이 내의 카메라들 사이의 최대 수직 기선이 수평 기선보다 상당히 더 작은 카메라 어레이와 함께 이용될 수 있다. 다른 실시예에서, 공간 패턴 특징부 크기의 차이가, 특정 응용의 요건에 적절하게 투사된 패턴 내에 상이한 축들을 따라 채용될 수 있다.

추가의 카메라 어레이

본 발명의 아키텍처의 일 실시예에 따른 AR/VR/MR 헤드셋에 사용하기에 적합한 다른 카메라 어레이가 도 11에 예시되어 있다. 다중-기선 카메라 어레이(1100)는 카메라들의 좌측 서브어레이(1110), 카메라들의 우측 서브어레이(1120), 카메라들의 중간 서브어레이(1130) 및 조명 시스템(1135)을 포함한다. 카메라들의 좌측 서브어레이(1110)는 수직축을 따라 정렬되는 2개의 카메라(1101, 1102)들을 포함한다. 카메라들의 우측 서브어레이(1120)는 카메라들의 2×2 어레이로서 정렬되는 4개의 카메라(1103, 1104, 1105, 1108)들을 포함한다. 카메라들의 중간 서브어레이(1130)는 대각축을 따라 위치되는 2개의 카메라(1106, 1107)들을 포함한다. 몇몇 실시예에서, 중간 카메라(1106 또는 1107)는 기준 카메라로서 사용될 수 있다. 따라서, 조명 시스템(1135)은, 기준 카메라(1106)에 보이는 이미지의 부분들에서 조명 시스템으로부터의 투사된 텍스처의 가려짐의 가능성을 감소시키기 위해, 다른 레이아웃 구속조건을 고려할 때 가능한 한 기준 카메라(1106)에 가깝게 위치된다. 전술된 카메라 어레이들 중 많은 것과 마찬가지로, 서브어레이는 서브어레이의 간격과 배향이 작동 동안에 달라질 수 있다는 사실에도 불구하고 서브어레이 내의 카메라들의 간격과 배향을 보존하는 강성 기재에 장착될 수 있다.

몇몇 실시예에서, 카메라(1108, 1107)들(이들의 연결부와 함께 점선으로 도시됨)은 설치되지 않을 수 있지만, 있을 수 있는 실험을 위해 그리고/또는 증가된 심도 추정 정밀도를 위해 배치될 수 있다. 예시된 바와 같이, 상부 열(row) 카메라(1101, 1106, 1103, 1109)들을 저부 열 카메라(1102, 1107, 1104, 1105)와 분리시키는 거리는 대략 20 mm이다. 카메라(1101, 1106)들 사이의 거리는 대략 70 mm이다. 카메라(1106, 1103)들 사이의 거리는 대략 70 mm이다. 카메라(1103, 1104)들과 카메라(1108, 1105)들 사이의 거리는 각각 대략 10 mm이다. 특정 거리가 예시되었지만, 다양한 상이한 거리 중 임의의 것이 특정 응용의 요건에 적절하게 다중-기선 카메라 어레이 아키텍처에 대해 규정될 수 있다. 많은 실시예에서, 카메라들은 카메라들 중 적어도 2개가 사용자의 눈보다 더 넓게 이격된다. 다수의 실시예에서, 카메라들은, 2개의 카메라들이 사용자의 눈보다 더 넓게 이격되고 제3 기준 카메라가 사용자의 눈들 사이에 위치되도록 이격된다. 소정 실시예에서, 카메라들은, 적어도 2개의 카메라들의 서브어레이가 사용자의 좌안의 좌측에 견고하게 장착되고 적어도 2개의 카메라들의 서브어레이가 사용자의 우안의 우측에 견고하게 장착되도록 이격된다. 또 다른 실시예에서, 카메라들은, 적어도 2개의 카메라들의 제1 서브어레이가 사용자의 좌안의 좌측에 견고하게 장착되고 적어도 2개의 카메라들의 제2 서브어레이가 사용자의 우안의 우측에 견고하게 장착되며 적어도 2개의 카메라들의 제3 서브어레이가 사용자의 두 눈들 사이에 견고하게 장착되도록 이격된다. 또 다른 실시예에서, 제1, 제2, 및 제3 서브어레이들 내의 모든 카메라들이 동일한 이미지형성 특성을 갖는다. 다른 추가 실시예에서, 서브어레이들 중 적어도 2개가 상이한 이미지형성 특성들을 갖는 카메라들을 포함한다.

다시 도 11을 참조하면, 각각의 카메라(1101 내지 1108)로부터의 이미지 데이터는 멀티플렉서(multiplexer)(1140)에 제공될 수 있다. 몇몇 실시예에서, 시스템은 한 번에 하나의 멀티플렉서(1140) 소스를 작동시켜 정적 장면 포착을 허용할 수 있다. 소정 실시예는 둘 모두의 멀티플렉서(1140) 소스들을 동시에 작동시킬 수 있다.

이러한 데이터는 이어서 USB 인터페이스와 같은(그러나 이로 한정되지 않음) 다양한 인터페이스를 통해 컴퓨팅 시스템에 제공될 수 있다. 컴퓨팅 시스템은 개인용 컴퓨터, 이동 전화 또는 태블릿 컴퓨터, VR/AR/MR 헤드셋, 및/또는 전용 컴퓨팅 플랫폼일 수 있다. 본 발명의 일 실시예에 따른 퀄컴™ 820 시스템을 사용하는 다중-기선 카메라 어레이가 도 12에 예시되어 있다. 특히, 도 12는 퀄컴™ 820 처리 플랫폼으로부터의 QCT 9096 AP를 사용하는 것을 제외하고는 도 11에 도시된 카메라 어레이(1100)와 유사한 카메라 어레이 구조체(1200)를 예시한다. 도 12가 퀄컴™ 820 플랫폼을 사용하는 다중-기선 카메라 어레이 아키텍처를 예시하지만, 다양한 상이한 플랫폼 중 임의의 것이 본 발명의 실시예에 따른 특정 응용의 요건에 적절하게 사용될 수 있다.

쉽게 인식될 수 있는 바와 같이, 도 11과 도 12에 도시된 카메라 어레이와 유사한 카메라 어레이는 보다 적은 카메라들로 구성될 수 있다. 본 발명의 일 실시예에 따른 퀄컴™ 820 플랫폼 상에 이미지 처리 파이프라인을 구현하는 다중-기선 카메라 어레이에서의 6개의 카메라들의 사용이 도 13에 예시되어 있다. 예시된 바와 같이, 다중-기선 카메라 어레이 아키텍처(1300)는 수평축을 따라 정렬되는 2개의 카메라(1301, 1302)들을 포함하는 카메라들의 좌측 서브어레이(1310)를 포함한다. 카메라들의 우측 서브어레이(1320)는 수평축을 따라 정렬되는 2개의 카메라(1303, 1304)들을 포함한다. 카메라들의 중간 서브어레이(1330)는 수직축을 따라 정렬되는 2개의 카메라(1305, 1306)들을 포함한다. 몇몇 실시예에서, 카메라(1306)는 기준 카메라일 수 있다. 시스템은 또한 기준 카메라(1306)에 가깝게 위치되는 조명 시스템(1335)을 포함한다. 카메라(1301, 1302)들의 좌측 서브어레이, 카메라(1303, 1304)들의 우측 서브어레이 및 기준 카메라(1306)를 각각 분리시키는 거리는 대략 40 mm일 수 있다. 카메라(1301, 1302)들을 분리시키는 거리는 대략 10 mm일 수 있다. 카메라(1303, 1304)들을 분리시키는 거리가 또한 대략 10 mm일 수 있다. 카메라(1301 내지 1306)들로부터의 데이터는 2개의 멀티플렉서(1340)들 중 하나에 제공될 수 있는데, 여기서 다수의 카메라로부터의 이미지 데이터는 QCT 8096 AP(대안적으로 퀄컴 820 SOC로 지칭됨) 내에 제공된 2개의 이미지 프로세서들 중 하나에 제공되는 데이터의 단일 스트림 내로 조합된다. 퀄컴™ 820 시스템 온 칩은 2개의 이미지 프로세서들, 디지털 신호 프로세서(DSP), 그래픽 처리 유닛(GPU), 및 중앙 처리 장치(CPU)를 포함한다. 다른 실시예에서, 퀄컴 820 SOC는 위에 언급된 4가지 단계들의 전체 심도 파이프라인을 구현하는 커스텀(custom) RTL을 포함하는 커스텀 하드웨어로 대체될 수 있다. 도 13이 퀄컴 820 플랫폼 상에서 기준 카메라 부근에 위치되는 단일 조명 시스템과 6개의 카메라들을 갖는 다중-기선 카메라 어레이를 사용하는 것을 예시하지만, 다양한 카메라, 조명 시스템, 및/또는 플랫폼 중 임의의 것이 특정 응용의 요건에 적절하게 사용될 수 있다. 본 발명의 실시예에 따른 다수의 조명 시스템을 포함하는 다중-기선 카메라 어레이의 예가 후술된다.

심도 추정 성능의 비교

카메라들의 스테레오 쌍에 비해 심도 추정의 수행시 다수의 카메라를 사용하는 것의 이점이 도 14 내지 도 19를 검토함으로써 인식될 수 있다. 도 14는 도 12에 도시된 어레이 카메라와 유사한 어레이 카메라 내의 기준 카메라로서 작용하는 카메라에 의해 근-IR 패턴이 상부에 투사되는 장면의 포착된 단색 이미지이다. 표시된 바와 같이, 잠재적인 가려짐 경계를 갖는 전경 물체가 존재한다. 도 15는 카메라 어레이에 의해 포착된 한 세트의 이미지들로부터 심도 추정치를 생성하고 심도 추정치의 신뢰도에 기초하여 심도 추정치를 필터링함으로써 생성된 심도 맵을 예시한다. 쉽게 인식될 수 있는 바와 같이, 투사된 근-IR 패턴의 사용은 기준 카메라의 시야 전체에 걸쳐 그리고 장면 내에서 보이는 완전한 심도 범위에 걸쳐 분포되는 다수의 고 신뢰도 심도 추정치를 산출한다. 도 16은 도 15에 도시된 고 신뢰도 심도 추정치를 사용하여 생성된 조직화된 심도 맵을 예시한다. 예시된 바와 같이, 전경 물체는 다중-기선 어레이들로 인해 가려짐 아티팩트(artifact)가 없는 명료한 에지들을 갖는다. 도 17은 적색이 물체가 보다 가까이 있음을 나타내고 청색이 물체가 보다 멀리 떨어져 있음을 나타내는, 심도가 의사 색채법으로 도시된 동일한 심도 맵을 예시한다. 이는 조직화된 심도인데, 이와 같이, 전경 물체는 다중-기선 어레이들로 인해 가려짐 아티팩트가 없는 명료한 에지들을 갖는다. 디스패리티 탐색이 2개 초과의 이미지들; 상이한 기선들을 갖는 카메라들에 의해 포착된 이미지들; 및/또는 평행하지 않은 에피폴라 라인들을 갖는 카메라들에 대해 수행될 수 있게 하는 추가의 카메라들을 제공하는 이점을 인식하기 위해, 카메라 어레이 내의 단일 쌍의 카메라들로부터 심도 맵을 생성하도록 (스테레오 쌍이 가려짐 처리를 수행할 수 없음과 같은 예외를 가지고서) 도 15와 도 17에 도시된 심도 맵들을 생성하기 위해 사용되는 것과 유사한 프로세스를 수행함으로써 얻어지는 심도 맵을 예시한 도 18이 제공된다. 표시된 바와 같이, 카메라들의 단일 스테레오 쌍만이 사용될 때 전경 물체의 에지는 상당한 가려짐 아티팩트를 갖는다. 도 19는 적색은 보다 가까이 있고 청색은 보다 멀리 떨어져 있는 의사 색채법으로 도시된 스테레오 조밀 심도 맵을 예시한다. 예시된 바와 같이, 스테레오 카메라들만이 사용될 때 에지들이 상당한 가려짐 아티팩트를 갖는다. (특히 전경 물체 부근의 가려짐 구역에서) 심도 추정 정밀도의 현저한 개선이 도 15 및 도 17에 도시된 이미지와 도 19 및 도 20에 도시된 이미지의 비교로부터 즉시 명백하지만, 투사된 조명을 포함하는 다중-기선 어레이 카메라를 사용하여 달성가능한 심도 추정 정밀도의 진정한 크기는 도 20을 검토함으로써 인식될 수 있다. 도 20은 심도 정밀도 그래프를 제공한다. 특히, 디스패리티 대 물체 거리 그래프는 측정된 범위 [0.4 m, 1.5 m]에 걸쳐 2% 미만의 오차 범위(error bound)를 보여준다.

전술된 결과가 도 12에 예시된 카메라 어레이와 유사한 카메라 어레이에 의해 포착된 이미지 데이터에 관한 것이지만, 유사한 심도 추정 정밀도가 본 명세서에 기술된 카메라 어레이들 중 많은 것을 사용하여 달성될 수 있다. 위에 언급된 바와 같이, 시야 및/또는 심도의 작동 범위에 걸쳐 고 심도 추정 정밀도를 수반하는 응용에 이용되는 카메라 어레이의 특정 구성은 주어진 응용의 요건에 주로 의존한다.

다중-기선 심도 추정

전술된 바와 같이, 다중-기선 카메라 어레이는 상당히 큰 피사계 심도(예컨대, 0.15 m 내지 4 m)에 걸쳐 작동할 수 있는데, 그 이유는 소정 한계치(예컨대, 1 m 내지 4 m)보다 큰 거리를 갖는 것과 같은 원거리 물체의 심도가 카메라들 사이의 보다 큰 작동 기선을 사용하여 계산될 수 있는 반면, 소정 한계치 미만의(예컨대, 1 m미만의) 거리를 갖는 물체를 비롯한 근거리 물체의 심도가 카메라들 사이의 보다 작은 작동 기선을 사용하여 계산될 수 있기 때문이다. 본 발명의 일 실시예에 따른 다중-기선 카메라 어레이를 사용하여 장면의 심도 맵을 계산하기 위한 프로세스가 도 21에 예시되어 있다. 프로세스(2100)는 초기 심도 추정치 및/또는 초기 심도 맵을 생성한다(2105). 많은 실시예에서, 프로세스는 관련 개시내용이 위에 참고로 포함되는 미국 특허 제8,619,082호에 서술된 프로세스를 사용하여 어레이 카메라에 의해 포착된 장면 내의 물체까지의 심도에 대한 심도 맵을 생성한다.

초기 심도 추정치에 기초하여, 프로세스는 포착된 장면 내에서 장면의 부분들과 근거리 및 원거리 물체들을 식별한다(2110). 몇몇 실시예에서, 근거리 물체는 소정 한계치 미만의(예컨대, 1 m 미만의) 거리를 갖고, 원거리 물체는 소정 한계 거리 이상의(예컨대, 1 m 이상의) 거리를 갖는다. 근거리와 원거리를 한정하는 특정 한계치는 어레이 내의 카메라의 구성(예컨대, 시야, 기선)과 주어진 응용의 요건에 주로 의존한다. 프로세스는 (선택적으로) 다중-기선 카메라 어레이 내의 근거리 카메라들로부터 포착된 이미지들을 사용하여 장면의 부분들 및/또는 근거리 물체들에 대한 심도 추정치들을 개선할 수 있다(2115). 프로세스는 (선택적으로) 다중-기선 카메라 어레이 내의 원거리 카메라들로부터 포착된 이미지들을 사용하여 장면의 부분들 및/또는 원거리 물체들에 대한 심도 맵을 개선할 수 있다(2120). 이어서, 프로세스가 완료된다.

근거리 및 원거리 물체들에 관하여 심도 맵을 생성하기 위한 특정 프로세스가 전술되었지만, 위에 개괄된 카메라 어레이 구조체와 이미지형성 기술을 포함하는 다양한 프로세스 중 임의의 것이 본 발명의 실시예에 따라 심도 추정치를 계산하기 위해 사용될 수 있다. 예를 들어, 본 발명의 많은 실시예에 따른 카메라 어레이는 심도 추정치의 샘플링 및/또는 심도가 샘플링되는 공간 해상도를 변화시킴으로써 카메라 어레이로부터 상이한 심도들에서 그리고/또는 카메라 어레이의 시야의 상이한 영역들 내에서 심도 추정 정밀도를 변화시킬 수 있다. 본 발명의 다양한 실시예에 따른 심도 추정이 수행되는 방식은 전형적으로 주어진 응용의 요건에 의존한다.

다수의 조명 시스템을 포함하는 카메라 어레이

본 발명의 몇몇 실시예는 장면 내의 물체들까지의 심도를 결정하는 데 사용하기 위해 수 개의 조명 시스템을 이용할 수 있다. 본 발명의 일 실시예에 따른 AR/VR/MR 헤드셋에 사용하기 위한 2개의 근-IR 패턴화된 광원들을 사용하는 다중-기선 카메라 어레이가 도 22에 예시되어 있다. 특히, 카메라 어레이는 수직축을 따라 정렬되는 2개의 카메라(2201, 2202)들을 포함하는 카메라들의 좌측 서브어레이(2210), 3개의 카메라(2203, 2204, 2206)들을 포함하는 카메라들의 우측 서브어레이(2220)를 포함한다. 카메라(2203, 2206)들은 수평축을 따라 정렬되고, 카메라(2206, 2204)들은 수직축을 따라 정렬되며, 카메라(2204, 2203)들은 비스듬한(0이 아닌) 축을 따라 정렬된다. 카메라들의 중간 서브어레이(2230)는 조명 광원(2209) 부근에 위치되는 단일 기준 카메라(2205)를 포함한다. 제2 조명 광원(2208)이 카메라(2204) 부근에 위치된다. 다수의 조명 광원을 사용하는 것은 장면 내의 물체들의 심도를 결정하는 정확도를 증가시킬 수 있다. 기준 카메라(2205)와 카메라(2201, 2206)들 사이의 거리는 대략 7 cm이다. 또한, 카메라(2206, 2203)들 사이의 거리는 대략 1 cm이고, 카메라(2206, 2204)들 사이의 거리는 대략 2 cm이다. 도 22가 2개의 조명 광원들을 사용하는 다중-기선 카메라 어레이를 예시하지만, 다수의 상이한 조명 광원 중 임의의 것이 본 발명의 실시예에 따라 특정 응용의 요건에 적절하게 사용될 수 있다.

제거가능 카메라와 조명원을 포함하는 AR/VR/MR 헤드셋

카메라들을 AR/VR/MR 헤드셋의 프레임 내에 포함하는 수 개의 카메라 어레이들이 전술되었으며, 본 발명의 많은 실시예에 따른 카메라 어레이는 AR/VR 헤드셋 내에 견고하게 고정되는 다수의 카메라와 AR/VR 헤드셋에 제거가능하게 부착되는 하나 이상의 카메라 및/또는 조명원을 이용할 수 있다. 많은 실시예에서, 하나 이상의 카메라(또는 다른 제거가능 구성요소) 및/또는 조명원을 포함하는 이동 전화 핸드셋이 VR 헤드셋 프레임 내로 삽입될 수 있다. 이동 전화 핸드셋을 적소에 로킹시킴으로써, 핸드셋 내에 포함된 카메라들이 VR 헤드셋 프레임 내의 카메라들에 대해 정렬되어 카메라 어레이를 형성할 수 있다. 전술된 것과 유사한 프로세스가 카메라의 상대 자세를 결정하고 심도 추정에 사용하기 위한 적합한 교정 정보를 생성하기 위해 사용될 수 있다. 이동 전화 핸드셋으로부터의 적어도 하나의 카메라와 AR/VR/MR 헤드셋의 프레임 내의 적어도 하나의 카메라를 포함하는 카메라 어레이를 포함하는 AR/VR/MR 헤드셋이 아래에서 추가로 논의된다.

본 발명의 일 실시예에 따른 VR 헤드셋의 프레임 내에 포함된 카메라들과 조합될 때 카메라 어레이의 기준 카메라로서 작용하는 카메라를 포함하는 이동 전화 핸드셋이 도 23에 예시되어 있다. 헤드셋(2300)은 카메라의 좌측 서브어레이(2303), 카메라의 우측 서브어레이(2303), 및 또한 기준 카메라(2302)를 포함하는 이동 전화 핸드셋을 위한 장착부(mounting)를 포함한다. 쉽게 인식될 수 있는 바와 같이, 기준 카메라와 헤드셋 내에 포함된 서브어레이들 내의 카메라들은 특정 응용의 요건에 따라 동일한 이미지형성 특성들 또는 상이한 이미지형성 특성들을 가질 수 있다. 헤드셋(2300)은 카메라들 중 2개 이상에 의해 포착된 장면의 이미지들로부터 심도 맵들을 계산하는 것을 비롯한 다양한 상이한 응용을 위해 다양한 카메라(2301 내지 2303)로부터 얻어진 정보를 사용할 수 있다. 소정 실시예에서, 카메라 어레이는 헤드셋(2300) 내에 장착되는 조명원을 포함한다. 다양한 실시예에서, 헤드셋(2300)(예컨대, 이동 전화 핸드셋) 내로 삽입되는 제거가능 구성요소 내에 포함되는 조명원이 사용될 수 있다.

도 23의 위의 논의가 기준 카메라로서 작용하는 이동 전화의 카메라를 언급하지만, 다양한 제거가능 구성요소 중 임의의 것이 헤드셋에 처리 및/또는 이미지형성 기능성을 제공하기 위해 사용될 수 있다. 예를 들어, 소정 실시예는 AR/MR 응용이 실시간 심도 계산을 필요로 할 때 AR/MR 장치 상의 적소에 로킹될 수 있는 탈착가능 카메라 어레이 시스템과 조합하여 주 카메라를 갖는 AR/MR 장치를 구비할 수 있다. 게다가, 헤드셋 내에 포함되는 카메라가 기준 카메라로서 작용할 수 있고, 심도 맵은 (선택적으로) 많은 경우에 주로 장면의 컬러 이미지들을 포착하는 역할을 하는 이동 전화 핸드셋 내의 카메라의 기준 프레임으로 왜곡될 수 있다. 게다가, 몇몇 실시예에서, 카메라 어레이는 심도를 결정하기 위한 카메라들 모두를 포함하는 이동 전화일 수 있고, 이동 전화는 VR/AR/MR 헤드셋 프레임워크(framework)에 부착될 수 있다. 쉽게 인식될 수 있는 바와 같이, 특정 카메라들 및 VR/AR/MR 헤드셋 내의 카메라 어레이 내의 카메라들의 사용은 주로 주어진 응용의 요건에 의해 결정된다.

몇몇 실시예에서, VR 헤드셋 내의 카메라들은 사용자 주위의 환경 내의 물체들을 사용자에게 알리기 위해 사용될 수 있다. 특히, 많은 VR 헤드셋은 사용자가 더 이상 그들의 주위 환경을 볼 수 없도록 사용자를 가상 환경에 완전히 몰입시킨다. 따라서, 많은 실시예는 VR 헤드셋 내의 카메라들을 사용하여 사용자가 장애물과 충돌하기 직전인 경우 또는 사용자가 방의 소정 영역에서 떠나고 있는 경우의 알림과 같은, 그들의 주위 환경에 관한 정보를 사용자에게 제공한다.

상기의 설명이 본 발명의 많은 특정 실시예들을 포함하지만, 이들은 본 발명의 범주에 대한 제한사항들로서 이해되어야 하는 것이 아니라, 오히려 그의 일 실시예의 예시로서 이해되어야 한다. 따라서, 본 발명의 범주는 예시된 실시예들에 의해서가 아니라 첨부된 청구범위 및 그의 동등물들에 의해서 판정되어야 한다.

Claims

이미지 처리 애플리케이션에 의해 구성된 프로세서를 사용하여 한 세트의 카메라들 내의 상이한 카메라들로부터 포착된 한 세트의 이미지들로부터 장면(scene) 내의 물체들까지의 거리들을 추정하는 방법으로서,
장면의 초기 심도 맵(depth map)을 생성하는 단계;
상기 장면의 근거리 부분들 및 원거리 부분들을 식별하는 단계;
카메라들의 근거리 세트로부터 포착된 이미지 데이터를 사용하여 상기 장면의 근거리 부분들에 대해 상기 심도 맵을 개선하는 단계; 및
카메라들의 원거리 세트로부터 포착된 이미지 데이터를 사용하여 상기 장면의 원거리 부분들에 대해 상기 심도 맵을 개선하는 단계
를 포함하는, 방법.
제1항에 있어서, 기준 카메라로부터 한계 거리 내에 위치되는 조명 광원을 사용하여 상기 장면을 조명하는 단계를 추가로 포함하는 방법.
제1항에 있어서, 상기 장면의 근거리 부분들은 소정 한계치보다 작은 거리에 있고, 상기 장면의 원거리 부분들은 상기 소정 한계치보다 큰 거리에 있는, 방법.
제1항에 있어서, 상기 카메라들의 근거리 세트 내의 카메라들 사이의 기선(baseline) 거리가 상기 카메라들의 원거리 세트 내의 카메라들 사이의 기선 거리보다 작은, 방법.
제1항에 있어서, 상기 카메라들의 세트 내의 각각의 카메라는 동일한 이미지형성 특성을 갖는, 방법.
제1항에 있어서, 상기 카메라들의 세트는 상이한 시야(field of view)들을 갖는, 방법.
제1항에 있어서, 상기 카메라들의 세트는 상이한 해상도들을 갖는, 방법.
제1항에 있어서, 상기 카메라들의 세트는 광 스펙트럼의 상이한 부분들에서 이미지형성하는, 방법.
제1항에 있어서, 상기 카메라들의 세트는 동일한 시야와 해상도를 갖는 단색 카메라들인, 방법.
제9항에 있어서, 상기 단색 카메라들은 가시 스펙트럼의 적어도 일부분과 근-IR 스펙트럼의 적어도 일부분에 걸쳐 이미지형성하는, 방법.
제1항에 있어서, 일정 물체가 VR 응용 내에 또한 표시되는 실세계 물체에 의해 적절히 가려지도록(occluded) 상기 일정 물체를 상기 VR 응용의 디스플레이 상에 어디에 렌더링할지를 결정하기 위해 상기 심도 맵을 사용하는 단계를 추가로 포함하는 방법.
제1항에 있어서, 일정 물체가 AR 응용 내의 투명 디스플레이를 통해 보이는 실세계 물체에 의해 적절히 가려지도록 상기 일정 물체를 상기 AR 응용의 디스플레이 상에 어디에 렌더링할지를 결정하기 위해 상기 심도 맵을 사용하는 단계를 추가로 포함하는 방법.
제1항에 있어서, 상기 카메라들의 세트는 이미지들이 표시될 수 있게 하는 디스플레이를 포함하는 헤드셋 내에 장착되는, 방법.
제13항에 있어서, 기준 카메라와 상기 디스플레이는 상기 헤드셋 내에 장착되는 제거가능 구성요소의 일부인, 방법.
카메라 어레이(array)로서,
제1 위치에 위치되고, 적어도 2개의 카메라들을 포함하는, 카메라들의 제1 서브어레이(subarray);
제2 위치에 위치되고, 적어도 2개의 카메라들을 포함하는, 카메라들의 제2 서브어레이;
상기 제1 위치와 상기 제2 위치 사이에 위치되고, 적어도 하나의 기준 카메라를 포함하는, 카메라들의 제3 서브어레이; 및
상기 기준 카메라로부터 한계 거리 내에 위치되는 조명 광원
을 포함하는, 카메라 어레이.
제15항에 있어서, 상기 카메라들의 제1, 제2 및 제3 서브어레이들 내의 카메라들은 동일한 이미지형성 특성들을 갖는, 카메라 어레이.
제15항에 있어서, 상기 카메라들의 제1 및 제2 서브어레이들 내의 카메라들은 상기 적어도 하나의 기준 카메라와 상이한 이미지형성 특성들을 갖는, 카메라 어레이.
제15항에 있어서, 상기 카메라들의 제1 및 제2 서브어레이들 내의 카메라들 각각은 상기 기준 카메라와 상이한 에피폴라 축(epipolar axis)을 갖는, 카메라 어레이.
제15항에 있어서, 상기 카메라들은 모두 동일한 시야를 갖는 단색 카메라들인, 카메라 어레이.
제19항에 있어서, 상기 시야는 70도와 90도로 이루어진 군으로부터 선택되는, 카메라 어레이.
제15항에 있어서, 상기 카메라 어레이는 헤드셋에 장착되고, 상기 카메라 어레이 내의 적어도 하나의 카메라는 상기 헤드셋 내에 장착되는 제거가능 구성요소의 일부인, 카메라 어레이.
제15항에 있어서, 상기 카메라들로부터 얻어진 이미지 데이터는 장면의 심도 맵을 생성하기 위해 사용되는, 카메라 어레이.
제15항에 있어서, 상기 제1 카메라 어레이와 상기 제3 카메라 어레이 사이의 기선 거리가 상기 제1 카메라 어레이와 상기 제2 카메라 어레이 사이의 기선 거리보다 작은, 카메라 어레이.
카메라 어레이로서,
복수의 카메라들;
투사된 텍스처(projected texture)를 갖는 장면을 조명하도록 구성되는 조명 시스템;
프로세서;
이미지 처리 파이프라인 애플리케이션(image processing pipeline application) 및 조명 시스템 컨트롤러 애플리케이션을 포함하는 메모리
를 포함하고,
상기 조명 시스템 컨트롤러 애플리케이션은 상기 프로세서에, 상기 조명 시스템을 제어하여 상기 투사된 텍스처를 갖는 장면을 조명하도록 지시하며,
상기 이미지 처리 파이프라인 애플리케이션은 상기 프로세서에,
장면의 초기 심도 맵을 생성하도록,
상기 장면의 근거리 부분들 및 원거리 부분들을 식별하도록,
카메라들의 근거리 세트로부터 포착된 이미지 데이터를 사용하여 상기 장면의 근거리 부분들에 대해 상기 심도 맵을 개선하도록, 그리고
카메라들의 원거리 세트로부터 포착된 이미지 데이터를 사용하여 상기 장면의 원거리 부분들에 대해 상기 심도 맵을 개선하도록 지시하는, 카메라 어레이.
제24항에 있어서, 기준 카메라로부터 한계 거리 내에 위치되는 조명 광원을 사용하여 상기 장면을 조명하는 것을 추가로 포함하는 카메라 어레이.
제24항에 있어서, 상기 장면의 근거리 부분들은 소정 한계치보다 작은 거리에 있고, 상기 장면의 원거리 부분들은 상기 소정 한계치보다 큰 거리에 있는, 카메라 어레이.
제24항에 있어서, 상기 카메라들의 근거리 세트 내의 카메라들 사이의 기선 거리가 상기 카메라들의 원거리 세트 내의 카메라들 사이의 기선 거리보다 작은, 카메라 어레이.
제24항에 있어서, 상기 카메라들의 세트 내의 각각의 카메라는 동일한 이미지형성 특성을 갖는, 카메라 어레이.
제24항에 있어서, 상기 카메라들의 세트는 상이한 시야들을 갖는, 카메라 어레이.
제24항에 있어서, 상기 카메라들의 세트는 상이한 해상도들을 갖는, 카메라 어레이.
제24항에 있어서, 상기 카메라들의 세트는 광 스펙트럼의 상이한 부분들에서 이미지형성하는, 카메라 어레이.
제24항에 있어서, 상기 카메라들의 세트는 동일한 시야와 해상도를 갖는 단색 카메라들인, 카메라 어레이.
제32항에 있어서, 상기 단색 카메라들은 가시 스펙트럼의 적어도 일부분과 근-IR 스펙트럼의 적어도 일부분에 걸쳐 이미지형성하는, 카메라 어레이.
제24항에 있어서, 일정 물체가 VR 응용 내에 또한 표시되는 실세계 물체에 의해 적절히 가려지도록 상기 일정 물체를 상기 VR 응용의 디스플레이 상에 어디에 렌더링할지를 결정하기 위해 상기 심도 맵을 사용하는 것을 추가로 포함하는 카메라 어레이.
제24항에 있어서, 일정 물체가 AR 응용 내의 투명 디스플레이를 통해 보이는 실세계 물체에 의해 적절히 가려지도록 상기 일정 물체를 상기 AR 응용의 디스플레이 상에 어디에 렌더링할지를 결정하기 위해 상기 심도 맵을 사용하는 것을 추가로 포함하는 카메라 어레이.
제24항에 있어서, 상기 카메라들의 세트는 이미지들이 표시될 수 있게 하는 디스플레이를 포함하는 헤드셋 내에 장착되는, 카메라 어레이.
제24항에 있어서, 기준 카메라와 상기 디스플레이는 상기 헤드셋 내에 장착되는 제거가능 구성요소의 일부인, 카메라 어레이.
이미지 처리 애플리케이션에 의해 구성된 프로세서를 사용하여 한 세트의 카메라들 내의 상이한 카메라들로부터 포착된 한 세트의 이미지들로부터 장면 내의 물체들까지의 거리들을 추정하는 방법으로서,
복수의 카메라들로부터의 이미지들을 사용하여 장면의 다양한 영역들까지의 심도를 추정하는 단계를 포함하고,
심도 추정의 정밀도가 상기 장면의 상이한 영역들에 따라 달라지는, 방법.
제38항에 있어서, 상기 장면의 근거리 영역에 대한 심도 추정치의 심도 추정 정밀도는 상기 장면의 원거리 영역에 대한 심도 추정치의 정밀도와 상이한, 방법.
제38항에 있어서, 상기 심도 추정 정밀도는 상이한 개수의 심도 샘플들을 사용하여 상이한 영역들에서 심도를 추정하는 것으로 인해 달라지는, 방법.
제38항에 있어서, 상기 심도 추정 정밀도는 상기 카메라들에 의해 포착된 상기 이미지들의 보다 낮은 해상도 버전(version)들에 기초하여 소정 영역들에서 심도를 추정하는 것으로 인해 달라지는, 방법.
제38항에 있어서, 상기 심도 추정 정밀도는 상기 카메라들에 의해 포착된 상이한 개수의 이미지들을 사용하여 상이한 영역들에서 심도를 추정하는 것으로 인해 달라지는, 방법.
제38항에 있어서, 일정 영역의 상기 심도 추정 정밀도는 상기 일정 영역에 위치되는 물체의 심도의 초기 추정치에 기초하여 결정되는, 방법.
제38항에 있어서, 일정 영역의 상기 심도 추정 정밀도는 상기 기준 카메라의 시야 내에서의 상기 영역의 위치에 기초하여 결정되는, 방법.