KR102669853B1 - 다중-카메라 시스템들에 대한 카메라 스위칭오버 제어 기술들 - Google Patents

Abstract

본 명세서에 개시된 다양한 실시예들은 다중 카메라 시스템을 동작시키기 위한 기술들을 포함한다. 일부 실시예들에서, 1차 카메라는 복수의 카메라들 중 일부 또는 전부에 대한 물체 거리 추정치들, 거리 오차 정보, 및 최소 물체 거리들을 사용하여 복수의 카메라들로부터 선택될 수 있다. 다른 실시예들에서, 카메라는 카메라의 최소 물체 거리보다 더 가까운 타겟 물체까지의 물체 거리 추정치를 획득하기 위해 디포커스 정보를 사용하도록 구성될 수 있다. 이러한 물체 거리 추정치는 다중-카메라 시스템의 다른 카메라를 포커싱하는 것을 돕기 위해 사용될 수 있다.

Description

다중-카메라 시스템들에 대한 카메라 스위칭오버 제어 기술들{CAMERA SWITCHOVER CONTROL TECHNIQUES FOR MULTIPLE-CAMERA SYSTEMS}

관련 출원에 대한 상호 참조

본 출원은 2021년 9월 13일자로 출원된 미국 가특허 출원 제63/243,611호의 35 U.S.C. § 119(e)에 따른 이익을 주장하며, 이의 내용들은 그 전체가 참조로서 본 명세서에 포함된다.

기술분야

설명된 실시예들은 일반적으로 다중-카메라 시스템을 사용하여 타겟 물체까지의 하나 이상의 거리를 추정하고, 이를 사용하여 다중-카메라 시스템의 카메라에 대한 1차 카메라를 선택하고 및/또는 다중-카메라 시스템의 카메라를 포커싱하는 것에 관한 것이다.

카메라는 계속해서 스마트폰들, 태블릿들, 및 컴퓨터들과 같은 가전제품 디바이스들의 중요한 기능이 되고 있다. 이러한 가전제품 디바이스들은 전통적으로 단일 카메라 또는 반대 방향들로 향하는 2개의 카메라를 가졌지만, 많은 디바이스들은 이제 적어도 부분적으로 중첩되는 시야를 갖는 2개 이상의 카메라를 갖는 다중 카메라 시스템들을 갖는다. 이러한 다중 카메라 시스템들의 상이한 카메라들은 상이한 시나리오들에서 유리하게 사용될 수 있고, 다수의 시야들을 갖는 것은 전체 디바이스가 크고 복잡한 줌 렌즈를 갖는 카메라를 요구하지 않으면서 상이한 레벨들의 광학 줌을 제공하는 것을 가능하게 할 수 있다. 상이한 이미지 모드들에 걸쳐 선택적으로 사용될 수 있는 다수의 카메라들이 있는 경우, 상이한 경우들에서 적절한 카메라 또는 카메라들이 사용되고 있는지(그리고 효과적으로 사용되고 있는지)를 확실하게 하는 것이 어려울 수 있다.

본 개시내용은 다중-카메라 시스템들에 관한 것이다. 일부 변형예들에서, 실시예들은 다중-카메라 시스템으로부터 1차 카메라를 선택하는 다중-카메라 시스템들 및 연관된 방법을 포함한다. 구체적으로, 일부 실시예들은 타겟 물체의 이미지 캡처 동안 1차 카메라로서 다중-카메라 시스템의 제1 카메라와 제2 카메라 사이에서 선택하기 위한 방법을 포함하고, 제1 카메라는 제1 최소 물체 거리를 가지며 제2 카메라는 제2 최소 물체 거리를 갖는다. 이러한 방법들은, 제1 카메라를 사용하여 타겟 물체에 대한 제1 물체 거리 추정치를 결정하는 단계로서, 제1 물체 거리 추정치는 제1 거리 오차 정보와 연관되는, 제1 물체 거리 추정치를 결정하는 단계, 제2 카메라를 사용하여 타겟 물체에 대한 제2 물체 거리 추정치를 결정하는 단계로서, 제2 물체 거리는 제2 거리 오차 정보와 연관되는, 제2 물체 거리 추정치를 결정하는 단계, 및 카메라 선택 로직을 사용하여, 제1 물체 거리 추정치, 제2 물체 거리 추정치, 제1 거리 오차 정보, 제2 거리 오차 정보, 및 제2 최소 물체 거리를 사용하여 제1 카메라 및 제2 카메라 중 하나를 1차 카메라로서 선택하는 단계를 포함할 수 있다.

이러한 변형예들 중 일부에서, 다중-카메라 시스템은 깊이 센서를 포함할 수 있고, 방법은 깊이 센서를 사용하여 타겟 물체에 대한 제3 물체 거리 추정치를 결정하는 단계를 더 포함할 수 있다. 이러한 실시예들 중 일부에서, 방법은 제3 물체 거리 추정치가 제1 임계 거리 미만일 때 제2 카메라의 포커스 위치를 미리 결정된 위치에 홀딩(hold)하는 단계를 더 포함할 수 있다. 다른 실시예들에서, 1차 카메라로서 제1 카메라 및 제2 카메라 중 하나를 선택하는 단계는 제1 거리 오차 정보, 제2 거리 오차 정보, 및 제2 최소 물체 거리를 사용하여 제1 스위칭 임계 거리를 설정하는 단계를 포함한다. 이러한 변형예들 중 일부에서, 1차 카메라로서 제1 카메라 및 제2 카메라 중 하나를 선택하는 단계는 제1 물체 거리 추정치 또는 제2 물체 거리 추정치가 제1 스위칭 임계 거리 미만일 때 제1 카메라를 1차 카메라로서 선택하는 단계를 포함한다. 이러한 변형예들 중 다른 변형예들에서, 1차 카메라로서 제1 카메라 및 제2 카메라 중 하나를 선택하는 단계는 제1 스위칭 임계 거리보다 긴 제2 스위칭 임계 거리를 설정하는 단계를 포함하고, 방법은 제1 물체 거리 추정치 및 제2 물체 거리 추정치 둘 모두가 제2 스위칭 임계 거리보다 클 때 제2 카메라를 1차 카메라로서 선택하는 단계를 더 포함한다. 일부 변형예들에서, 제2 최소 물체 거리는 제2 카메라의 계산된 배향에 기초하여 동적으로 변경된다.

다른 실시예들은 다중-카메라 시스템을 포함하는 디바이스를 포함하고, 다중-카메라 시스템은 제1 최소 물체 거리 및 제1 시야를 갖는 제1 카메라 및 제2 최소 물체 거리 및 제2 시야를 갖는 제2 카메라, 및 제1 카메라 또는 제2 카메라를 1차 카메라로서 선택하도록 구성된 카메라 선택 로직을 포함한다. 카메라는, 제1 카메라로부터 제1 물체 거리 인스턴스(instance) 및 제1 물체 거리 추정치와 연관된 제1 거리 오차 정보를 수신하고, 제2 카메라로부터 제2 물체 거리 인스턴스 및 제2 물체 거리 추정치와 연관된 제2 거리 오차 정보를 수신하고, 제2 최소 물체 거리를 수신하며, 그리고 제1 물체 거리 추정치, 제2 물체 거리 추정치, 제1 거리 오차 정보, 제2 거리 오차 정보, 및 제2 최소 물체 거리를 사용하여 1차 카메라를 선택하도록 추가로 구성된다.

이러한 변형예들 중 일부에서, 제1 최소 물체 거리는 제2 최소 물체 거리보다 짧고, 제1 시야는 제2 시야를 완전히 포함한다. 추가적으로 또는 대안적으로, 다중-카메라 시스템은 제3 물체 거리 추정치를 생성하도록 구성된 깊이 센서를 더 포함한다. 이러한 변형예들 중 일부에서, 다중-카메라 시스템은 제3 물체 거리 추정치가 제1 임계 거리 미만일 때 제2 카메라의 포커스 위치를 미리 결정된 위치에 홀딩하도록 구성된다. 다른 변형예들에서, 1차 카메라를 선택하는 단계는 제1 거리 오차 정보, 제2 거리 오차 정보, 및 제2 최소 물체 거리를 사용하여 제1 스위칭 임계 거리를 설정하는 단계를 포함한다. 이러한 변형예들 중 일부에서, 1차 카메라를 선택하는 단계는 제1 물체 거리 추정치 또는 제2 물체 거리 추정치가 제1 스위칭 임계 거리 미만일 때 제1 카메라를 1차 카메라로서 선택하는 단계를 포함한다. 이러한 변형예들 중 다른 변형예들에서, 1차 카메라를 선택하는 단계는 제1 스위칭 임계 거리보다 긴 제2 스위칭 임계 거리를 설정하는 단계를 포함하고, 제1 물체 거리 추정치 및 제2 물체 거리 추정치 둘 모두가 제2 스위칭 임계 거리보다 클 때 제2 카메라를 1차 카메라로서 선택하는 단계를 더 포함한다.

다른 실시예에서, 타겟 물체의 이미지 캡처 동안 1차 카메라로서 다중-카메라 시스템의 복수의 카메라들 사이에서 선택하기 위한 방법으로서, 여기서 복수의 카메라들의 각각은 각각의 최소 물체 거리를 가지며, 상기 방법은, 복수의 카메라들 중 적어도 하나를 사용하여 타겟 물체에 대한 적어도 하나의 물체 거리 추정치를 결정하는 단계 - 적어도 하나의 물체 거리 추정치들의 각각은 각각의 거리 오차 정보와 연관됨 - 및 카메라 선택 로직을 사용하여 복수의 카메라들로부터 1차 카메라를 선택하는 단계를 포함할 수 있다. 1차 카메라를 선택하는 단계에서, 카메라 로직은 적어도 하나의 물체 거리 추정치, 적어도 하나의 물체 거리 추정치들 각각과 연관된 각각의 거리 오차 정보, 및 복수의 카메라들의 각각의 최소 물체 거리들 중 적어도 하나를 사용할 수 있다. 일부 예들에서, 방법은, 각각의 최소 물체 거리들 중 적어도 하나의 제1 최소 물체 거리를 업데이트하는 단계, 및 업데이트된 제1 최소 물체 거리를 사용하여 1차 카메라를 선택하는 단계를 포함할 수 있다. 다른 예들에서, 방법은, 적어도 하나의 물체 거리 추정치들 각각과 연관된 각각의 거리 노력(effort) 정보의 제1 거리 오차 정보를 업데이트하는 단계, 및 업데이트된 제1 거리 오차 정보를 사용하여 1차 카메라를 선택하는 단계를 포함할 수 있다.

일부 예들에서, 다중-카메라 시스템은 깊이 센서를 더 포함하고, 카메라 선택 로직을 사용하여 1차 카메라를 선택하는 단계는 깊이 센서로부터의 제1 물체 거리 추정치를 사용하여 1차 카메라를 선택하는 단계를 더 포함한다. 이러한 변형예들 중 일부에서, 방법은, 제1 물체 거리 추정치가 제1 임계 거리 미만일 때 미리 결정된 위치에 복수의 카메라들 중 제1 카메라의 포커스 위치를 홀딩하는 단계를 더 포함할 수 있다. 일부 경우들에서, 방법은, 복수의 카메라들 중 하나 이상에 대해(그리고 일부 실시예들에서는 복수의 카메라들 각각에 대해) 카메라 선택 로직을 사용하여 포커스 위치들을 설정하는 단계를 포함할 수 있다.

일부 변형예들에서, 실시예는 다중-카메라 시스템의 카메라를 포커싱하는 다중-카메라 시스템들 및 연관된 방법들을 포함한다. 일부 실시예들에서, 디바이스는, 오토포커스(autofocus) 성능들로 구성되고 제1 최소 물체 거리를 갖는 제1 카메라, 및 오토포커스 성능들로 구성되고 제2 최소 물체 거리를 갖는 제2 카메라를 포함하는 다중-카메라 시스템을 포함할 수 있다. 디바이스는, 제2 카메라가 미리 결정된 포커스 위치에서 타겟 물체에 대한 디포커스(defocus) 정보를 측정하게 하고, 디포커스 정보를 사용하여 외삽된(extrapolated) 포커스 위치를 결정하며, 외삽된 포커스 위치에 적어도 부분적으로 기초하여 제1 카메라가 타겟 물체에 포커싱하게 하도록 구성된 포커스 제어 로직을 더 포함한다. 일부 변형예들에서, 미리 결정된 포커스 위치는 제2 카메라의 최소 물체 거리에 대응한다. 다른 변형예들에서, 포커스 제어 로직은 하나 이상의 미리 결정된 잠금 기준이 충족될 때 제1 카메라가 미리 결정된 포커스 위치에 잠기게 한다. 이러한 변형예들 중 일부에서, 다중-카메라 시스템은 깊이 센서를 더 포함하고, 하나 이상의 미리 결정된 기준은 임계 잠금 거리 미만인 타겟 물체에 대한 물체 거리 추정치를 포함한다.

일부 변형예들에서, 제1 최소 물체 거리는 제2 최소 물체 거리 미만이다. 디바이스는 제1 카메라 또는 제2 카메라를 1차 카메라로서 선택하도록 구성된 카메라 선택 로직을 더 포함할 수 있고, 포커스 제어 로직은 제1 카메라가 1차 카메라로서 선택될 때 제2 카메라가 미리 결정된 포커스 위치에서 타겟 물체에 대한 디포커스 정보를 측정하게 하도록 추가로 구성된다. 다른 변형예들에서, 외삽된 포커스 위치에 적어도 부분적으로 기초하여 제1 카메라가 타겟 물체에 포커싱하게 하는 것은, 외삽된 포커스 위치와 연관된 신뢰도 정보가 제1 미리 결정된 기준을 충족시킬 때 외삽된 포커스 위치 사이의 미리 결정된 관계에 기초하여 제1 카메라에 대한 타겟 포커스 위치를 설정하는 것을 포함한다.

본 명세서에 설명된 다른 실시예들은, 미리 결정된 포커스 위치에서 제1 카메라를 사용하여 타겟 물체에 대한 디포커스 정보를 측정하는 단계, 디포커스 정보를 사용하여 외삽된 포커스 위치를 결정하는 단계, 및 외삽된 포커스 위치에 적어도 부분적으로 기초하여 제1 카메라가 타겟 물체에 포커싱하게 하는 단계를 포함하는, 다중-카메라 시스템의 제2 카메라를 사용하여 다중-카메라 시스템의 제1 카메라를 포커싱하는 방법을 포함한다. 일부 예들에서, 미리 결정된 포커스 위치는 제2 카메라의 최소 물체 거리에 대응한다. 다른 경우들에서, 방법은 하나 이상의 미리 결정된 잠금 기준이 충족될 때 제1 카메라를 미리 결정된 포커스 위치에 잠그는 단계를 포함할 수 있다. 이러한 변형예들 중 일부에서, 방법은, 다중-카메라 시스템의 깊이 센서를 사용하여 타겟 물체에 대한 물체 거리 추정치를 계산하는 단계, 및 물체 거리 추정치를 임계 잠금 거리와 비교하는 단계를 포함할 수 있으며, 여기서 미리 결정된 잠금 기준은 물체 거리 추정치가 임계 잠금 거리 미만일 때 충족된다.

일부 변형예들에서, 미리 결정된 포커스 위치에서 제1 카메라를 사용하여 타겟 물체에 대한 디포커스 정보를 측정하는 단계는, 제1 카메라가 1차 카메라로서 선택되는 동안 디포커스 정보를 측정하는 단계를 포함한다. 다른 변형예들에서, 외삽된 포커스 위치에 적어도 부분적으로 기초하여 제1 카메라가 타겟 물체에 포커싱하게 하는 단계는, 외삽된 포커스 위치와 연관된 신뢰도 정보가 제1 미리 결정된 기준을 충족시킬 때 외삽된 포커스 위치 사이의 미리 결정된 관계에 기초하여 제1 카메라에 대한 타겟 포커스 위치를 설정하는 단계를 포함한다. 이러한 변형예들 중 일부에서, 외삽된 포커스 위치에 적어도 부분적으로 기초하여 제1 카메라가 타겟 물체에 포커싱하게 하는 단계는, 외삽된 포커스 위치와 연관된 신뢰도 정보가 제1 미리 결정된 기준을 충족하지 않을 때 외삽된 포커스 위치에 기초하여 부분 스캔을 수행하는 단계를 포함한다.

본 명세서에 논의된 다른 실시예들은, 제1 카메라 및 제2 카메라를 포함하는 다중-카메라 시스템을 사용하여 타겟 물체에 대한 물체 거리 추정치를 계산하는 방법들을 포함한다. 방법은, 제2 카메라가 미리 결정된 포커스 위치에서 유지되고 있는지 여부를 결정하는 단계, 제2 카메라가 미리 결정된 포커스 위치에서 유지되고 있다는 결정에 응답하여, 제2 카메라가 미리 결정된 포커스 위치에서 유지되고 있는 동안 타겟 물체에 대한 디포커스 정보를 측정하는 단계, 및 디포커스 정보 및 미리 결정된 포커스 위치를 사용하여 물체 거리 추정치를 계산하는 단계를 포함할 수 있다. 이러한 방법들 중 일부에서, 제2 카메라가 미리 결정된 포커스 위치에서 유지되고 있는지 여부를 결정하는 단계는, 제2 카메라가 미리 결정된 포커스 위치에 잠긴 것으로 결정하는 단계를 포함한다. 다른 변형예들에서, 미리 결정된 포커스 위치는 제2 카메라에 대한 매크로 포커스 위치이고, 제2 카메라가 미리 결정된 포커스 위치에서 유지되고 있는지 여부를 결정하는 단계는 타겟 물체가 제2 카메라의 최소 물체 거리보다 더 가깝다고 결정하는 단계를 포함한다.

일부 변형예들에서, 방법은 물체 거리 추정치를 사용하여 제2 카메라에 대한 외삽된 포커스 위치를 계산하는 단계를 더 포함할 수 있다. 이러한 변형예들 중 일부에서, 방법은 제2 카메라에 대한 외삽된 포커스 위치에 적어도 부분적으로 기초하여 제1 카메라를 포커싱하는 단계를 포함할 수 있다. 이러한 변형예들 중 일부에서, 외삽된 포커스 위치에 적어도 부분적으로 기초하여 제1 카메라를 포커싱하는 단계는, 제2 카메라의 포커스 위치들과 제1 카메라의 포커스 위치들 사이의 미리 정의된 관계에 기초하여 제1 카메라에 대한 타겟 포커스 위치를 선택하는 단계를 포함한다.

전술된 예시적인 측면들 및 실시예들에 더하여, 추가 측면들 및 실시예들이 도면들을 참조함으로써 그리고 하기 설명의 연구에 의해 명백해질 것이다.

본 개시내용은 첨부된 도면들과 함께 다음의 상세한 설명에 의해 용이하게 이해될 것이며, 유사한 참조 부호들은 유사한 구조적 요소들을 가리킨다.
도 1a는 다중-카메라 시스템을 포함하는 디바이스의 후면도를 도시한다. 도 1b는 도 1a의 디바이스의 예시적인 구성요소들을 도시한다. 도 1c는 도 1a의 다중-카메라 시스템의 카메라들의 시야들의 표현을 도시한다. 도 1d는 도 1a의 다중-카메라 시스템의 카메라들의 포커싱 범위들을 나타내는 차트를 도시한다.
도 2는 본 명세서에 설명된 다중-카메라 시스템들과 함께 사용될 수 있는 카메라의 예시적인 예의 측단면도를 도시한다.
도 3은 1차 카메라로서 제1 카메라와 제2 카메라 사이에서 선택하기 위해 사용될 수 있는 카메라 선택 로직의 변형예를 도시한다.
도 4는 1차 카메라를 선택하는 방법의 일 실시예를 나타내는 흐름도를 도시한다.
도 5는 다중-카메라 시스템의 제2 카메라로부터의 정보에 적어도 부분적으로 기초하여 다중-카메라 시스템의 제1 카메라의 포커스 위치를 설정하기 위해 사용될 수 있는 포커스 제어 로직의 변형예를 도시한다.
도 6은 디포커스 정보를 사용하여 타겟 물체까지의 거리를 계산하고, 제2 카메라로부터의 정보에 적어도 부분적으로 기초하여 제1 카메라를 타겟 물체에 포커싱하는 방법의 일 실시예를 나타내는 흐름도를 도시한다.
다양한 특징부들 및 요소들(및 이들의 집합들 및 그룹들) 및 그 사이에 제공된 경계들, 분리들, 및 위치 관계들의 비율들 및 치수들(상대적 또는 절대적인)은 첨부된 도면들에서 단지 본 명세서에 기술된 다양한 실시예들의 이해를 용이하게 하기 위해 제공되고, 따라서 반드시 축척에 맞게 나타내어지거나 도시되지 않을 수 있으며, 도시된 실시예에 대해, 그를 참조하여 기술된 실시예들의 제외에 대한 어떠한 선호도 또는 요건도 나타내도록 의도되지 않는다는 것이 이해되어야 한다.
"상단", "하단", "상부", "하부", "전방", "후방", "위", "아래", "상방", "하방", "좌측", "우측", "수직", "수평" 등과 같은 방향 용어는 후술되는 도면들 중 일부에서 구성요소들의 일부의 배향에 관련하여 사용되고, 제한적인 것으로 의도되지 않는다. 다양한 실시예들의 구성요소들이 다수의 상이한 배향으로 위치될 수 있기 때문에, 방향 용어는 설명의 목적으로만 사용되며 결코 제한적인 것은 아니다. 방향 용어는 광범위하게 해석되는 것으로 의도되고, 그에 따라서 구성요소들이 상이한 방식으로 배향되는 것을 배제하는 것으로 해석되지 않아야 한다. 본 명세서에서 사용되는 바와 같이, 아이템들 중 임의의 것을 분리하는 용어 "및" 또는 "또는"과 함께, 일련의 아이템들에 선행하는 어구 "~중 적어도 하나"는, 리스트의 각각의 멤버보다는, 리스트를 전체적으로 수식한다. 어구 "중 적어도 하나"는 열거된 각각의 아이템 중 적어도 하나의 선택을 요구하지 않고; 오히려, 이 어구는 아이템들 중 임의의 것 중 최소한 하나, 및/또는 아이템들의 임의의 조합 중 최소한 하나, 및/또는 아이템들 각각 중 최소한 하나를 포함하는 의미를 허용한다. 예시의 방식으로, 어구 "A, B 및 C 중 적어도 하나" 또는 어구 "A, B 또는 C 중 적어도 하나" 각각은 오직 A, 오직 B 또는 오직 C; A, B, 및 C의 임의의 조합; 및/또는 A, B, 및 C 각각 중 하나 이상을 지칭한다. 유사하게, 본 명세서에 제공된 결합성 또는 분리성 리스트에 대해 제시된 요소들의 순서는 본 개시내용을 오직 제공된 그 순서로 제한하는 것으로 해석되어서는 안 된다는 것이 이해될 수 있다.

이제, 첨부 도면들에 예시된 대표적인 실시예들에 대한 참조가 상세하게 이루어질 것이다. 다음의 설명들이 실시예들을 하나의 바람직한 실시예로 제한하도록 의도되지 않는다는 것이 이해되어야 한다. 반대로, 첨부된 청구범위에 의해 정의된 바와 같은 설명된 실시예들의 사상 및 범주 내에 포함될 수 있는 대안예들, 수정예들 및 등가물들을 포함하고자 한다.

다음의 개시내용은 다수의 카메라("다중-카메라") 시스템 및 이러한 다중-카메라 시스템을 동작시키는 방법에 관한 것이다. 일부 실시예들에서, 다중-카메라 시스템들은 다중-카메라 시스템의 복수의 카메라들로부터 1차 카메라를 선택하도록 구성될 수 있으며, 여기서 다중-카메라 시스템은 제2 카메라의 최소 물체 거리에서 또는 그 근처에서 1차 카메라로서 제1 카메라와 제2 카메라 사이에서 1차 카메라를 스위칭하도록 구성된다. 다른 실시예들에서, 다중-카메라 시스템은, 타겟 물체가 카메라에 대한 최소 물체 거리보다 더 가깝게 위치되는 상황들에서 다중-카메라 시스템의 카메라를 사용하여 타겟 물체에 대한 물체 거리 추정치를 계산할 수 있다. 이러한 실시예들 중 일부에서, 이러한 물체 거리 추정치는 다중-카메라 시스템의 상이한 카메라의 포커스 위치를 설정하는 것을 돕기 위해 사용될 수 있다. 바람직하게는, 카메라는, 타겟 물체에 다른 카메라를 포커싱하는 데 사용될 수 있는 외삽된 포커스 위치를 계산하기 위해 타겟 물체와 연관된 디포커스 정보를 사용할 수 있다. 이들 및 다른 실시예들은 도 1a 내지 도 6을 참조하여 하기에서 논의된다. 그러나, 당업자들은 이러한 도면들에 대하여 본 명세서에서 제공되는 발명을 실시하기 위한 구체적인 내용이 단지 설명의 목적들을 위한 것일 뿐이며, 제한적인 것으로 해석되지 않아야 한다는 것을 용이하게 인식할 것이다.

도 1a는 본 명세서에 설명된 다양한 실시예와 함께 사용하기에 적합한 다중-카메라 시스템(102)을 포함하는 디바이스(100)의 후면도를 도시한다. 일반적으로, 다중-카메라 시스템(102)은 제1 카메라(104) 및 제2 카메라(106)를 포함한다. 다중-카메라 시스템(102)은 선택적으로 하나 이상의 추가 카메라들(예를 들어, 도 1a에 도시된 바와 같은 제3 카메라(108)) 및/또는 하나 이상의 깊이 센서들(예를 들어, 도 1a에 도시된 바와 같은 깊이 센서(110))을 포함할 수 있다. 본 출원의 목적을 위해, 적어도 제1 카메라(104) 및 제2 카메라(106)는 아래에서 더 상세히 설명되는 바와 같이 오토포커스 성능들을 갖도록 구성된다.

일부 실시예들에서, 디바이스(100)는 PDA 및/또는 음악 재생기 기능들과 같은 다른 기능들을 또한 포함하는 휴대용 다기능 전자 디바이스, 예컨대 모바일 전화기이다. 휴대용 다기능 디바이스들의 예시적인 실시예들은 미국 캘리포니아주 쿠퍼티노 소재의 애플 인크.(Apple Inc.)로부터의 아이폰(iPhone) ®, 아이팟 터치(iPod Touch)®, 및 아이패드(iPad)® 디바이스들을 제한 없이 포함한다. 터치-감응형 표면들(예컨대, 터치 스크린 디스플레이들 및/또는 터치패드들)을 갖는 랩톱들 또는 태블릿 컴퓨터들과 같은 다른 휴대용 전자 디바이스들이 선택적으로 사용된다. 일부 실시예들에서, 디바이스는 휴대용 통신 디바이스가 아니라 터치-감응형 표면(예컨대, 터치 스크린 디스플레이 및/또는 터치패드)을 가질 수 있는 데스크톱 컴퓨터임이 또한 이해되어야 한다. 일부 실시예들에서, 전자 디바이스는 디스플레이 생성 구성요소와 (예컨대, 무선 통신을 통해, 유선 통신을 통해) 통신하는 컴퓨터 시스템이다. 디스플레이 생성 구성요소는 CRT 디스플레이를 통한 디스플레이, LED 디스플레이를 통한 디스플레이, 또는 이미지 투영을 통한 디스플레이와 같은 시각적 출력을 제공하도록 구성된다. 일부 실시예들에서, 디스플레이 생성 구성요소는 컴퓨터 시스템과 통합된다. 일부 실시예들에서, 디스플레이 생성 구성요소는 컴퓨터 시스템과 별개이다. 본 명세서에 사용되는 바와 같이, 콘텐츠를 "디스플레이하는 것"은 콘텐츠를 시각적으로 생성하기 위해 유선 또는 무선 연결을 통해, 데이터(예컨대, 이미지 데이터 또는 비디오 데이터)를 통합된 또는 외부 디스플레이 생성 구성요소로 송신함으로써 콘텐츠를 디스플레이하도록 야기하는 것을 포함한다.

도 1b는 디바이스(100)의 예시적인 구성요소들을 도시한다. 일부 실시예들에서, 디바이스(100)는 I/O 섹션(134)을 하나 이상의 컴퓨터 프로세서들(136) 및 메모리(138)와 동작가능하게 결합하는 버스(126)를 갖는다. I/O 섹션(134)은 디스플레이(128)에 연결될 수 있는데, 이는 터치-감응형 구성요소(130), 및 선택적으로, 강도 센서(132)(예컨대, 접촉 강도 센서)를 가질 수 있다. 또한, I/O 섹션(134)은, Wi-Fi, 블루투스, 근거리 통신(NFC), 셀룰러, 및/또는 다른 무선 통신 기법들을 사용하여, 애플리케이션 및 운영 체제 데이터를 수신하기 위해 통신 유닛(140)과 연결될 수 있다. 디바이스(100)는 입력 메커니즘들(142 및/또는 144)을 포함할 수 있다. 입력 메커니즘(142)은, 선택적으로, 예를 들어, 회전가능 입력 디바이스 또는 누름가능 및 회전가능 입력 디바이스이다. 일부 예들에서, 입력 메커니즘(148)은, 선택적으로, 버튼이다. 디바이스(100)는, 선택적으로, GPS 센서(146), 가속도계(148), 방향 센서(150)(예컨대, 나침반), 자이로스코프(152), 모션 센서(154), 및/또는 이들의 조합과 같은, 다양한 센서들을 포함하고, 이들 모두는 I/O 섹션(134)에 동작가능하게 연결될 수 있다.

디바이스(100)의 메모리(138)는, 하나 이상의 컴퓨터 프로세서(136)에 의해 실행될 때, 예를 들어, 컴퓨터 프로세서가 본 명세서에 설명된 기술들(예컨대, 아래에서 보다 상세히 논의되는 카메라 선택 로직, 포커스 제어 로직, 및 이와 연관된 다양한 제어기 및 모듈에 의해 수행되는 기술들)을 수행하게 할 수 있는 컴퓨터-실행가능 명령어들을 저장하기 위한 하나 이상의 비일시적 컴퓨터 판독 가능 저장 매체를 포함할 수 있다. 컴퓨터 판독가능 저장 매체는 명령어 실행 시스템, 장치, 또는 디바이스에 의해 또는 그와 관련하여 사용하기 위한 컴퓨터 실행가능 명령어들을 유형적으로(tangibly) 포함하거나 또는 저장할 수 있는 임의의 매체일 수 있다. 일부 예들에서, 저장 매체는 일시적 컴퓨터 판독가능 저장 매체이다. 일부 예들에서, 저장 매체는 비일시적 컴퓨터 판독가능 저장 매체이다. 비일시적 컴퓨터 판독가능 저장 매체는 자기, 광, 및/또는 반도체 저장소들을 포함할 수 있지만, 이들로 제한되지 않는다. 이러한 저장소의 예들은 자기 디스크들, CD, DVD, 또는 블루레이 기술들에 기초한 광 디스크들은 물론, 플래시, 솔리드 스테이트 드라이브들 등과 같은 영속적 솔리드 스테이트 메모리를 포함한다.

프로세서(136)는, 예를 들어, 본 명세서에 정의된 바와 같은 전용 하드웨어, 본 명세서에서 정의된 바와 같은 컴퓨팅 디바이스, 프로세서, 마이크로프로세서, 프로그램가능 로직 어레이(programmable logic array; PLA), 프로그램가능 어레이 로직(programmable array logic; PAL), 일반 어레이 로직(generic array logic; GAL), 복합 프로그램가능 로직 디바이스(complex programmable logic device; CPLD), 애플리케이션-특정 집적 회로(application-specific integrated circuit; ASIC), 필드-프로그램가능 게이트 어레이(field-programmable gate array; FPGA), 또는 디바이스(100)의 운영 체제 및 애플리케이션들을 실행할 뿐만 아니라 본 명세서에 설명된 바와 같이 이미지들을 캡처하는 것을 용이하게 하도록 구성가능한 임의의 다른 프로그램가능 로직 디바이스(programmable logic device; PLD)를 포함할 수 있다. 디바이스(100)는 도 1b의 구성요소들 및 구성으로 제한되지 않고, 다수의 구성들에서 다른 또는 추가적인 구성요소들을 포함할 수 있다.

도 1a로 되돌아가서, 다중-카메라 시스템(102) 내의 카메라들은 서로 적어도 부분적으로 중첩되는 시야들을 갖는다. 다시 말해서, 디바이스(100)는, 추가 카메라(들)에 대한 시야(들)가 다중-카메라 시스템(102) 내의 적어도 하나의 카메라의 시야와 적어도 부분적으로 중첩되지 않는 경우 다중-카메라 시스템(102)의 일부로 간주되지 않는 추가 카메라 또는 카메라들(도시되지 않음)을 포함할 수 있다. 예를 들어, 디바이스(100)는, 제1 카메라(104) 및 제2 카메라(106)(뿐만 아니라 다중-카메라 시스템(102)의 임의의 다른 카메라들)의 반대 방향으로 향하며 따라서 다중-카메라 시스템(102)의 일부로 간주되지 않을 전방-대면 카메라(도시되지 않음)를 포함할 수 있다.

유사하게, 깊이 센서(110)는, 깊이 센서(110)가 다중-카메라 시스템(102)의 카메라들 중 하나 이상의 카메라들의 시야 내의 하나 이상의 지점들에서 깊이 정보를 획득할 수 있도록 디바이스(100) 내에 위치되고 배열되는 경우, 다중-카메라 시스템(102)의 일부로 간주될 수 있다. 디바이스(100)는 하나 이상의 깊이 센서들(예를 들어, 다중-카메라 시스템(102)의 카메라들의 반대 방향으로 향하며, 그에 따라 다중-카메라 시스템(102)의 일부로 간주되지 않는, 디바이스의 전방 상의 깊이 센서)을 포함할 수 있다. 디바이스는 2개 이상의 다중-카메라 시스템들(예를 들어, 디바이스의 하나의 측면 상의 제1 다중-카메라 시스템 및 디바이스의 제2 측면 상의 제2 다중-카메라 시스템)을 포함할 수 있으며, 이들 각각은 선택적으로 각각의 깊이 센서를 포함할 수 있고, 다중-카메라 시스템들 중 일부 또는 전부는 본 명세서에서 설명된 다양한 방법들 및 기술들을 사용하도록 구성될 수 있다는 것을 이해해야 한다.

다중-카메라 시스템(102)의 카메라들은 상이한 초점 거리들을 가질 수 있으며, 이는 상이한 시야 크기들을 갖는 카메라들을 야기할 수 있다. 예를 들어, 도 1c는 도 1a에 도시된 다중-카메라 시스템(102)의 카메라들에 대한 예시적인 시야들을 도시한다. 제1 카메라(104)는 제1 시야(112)를 가질 수 있고, 제2 카메라는 제2 시야(114)를 가질 수 있고, 제3 카메라(108)는 제3 시야(116)를 가질 수 있다. 거기에 도시된 바와 같이, 제1 카메라(104)의 시야(112)는 제2 카메라(106)의 시야(114) 및 제3 카메라(108)의 시야(116) 둘 모두보다 더 넓은(즉, 더 큰) 시야를 가질 수 있다. 바람직하게는 제1 시야(112)는 제2 시야(114) 및 제3 시야(116) 둘 모두를 완전히 포함하지만(즉, 또한 제1 시야(112)의 일부가 아닌 제2 시야(114) 또는 제3 시야(116)의 부분이 없도록), 반드시 그럴 필요는 없다. 유사하게, 제2 카메라(106)의 시야(114)는 제3 카메라(108)의 시야(116)를 완전히 포함할 수 있다. 도 1c에 도시된 바와 같이 제1 시야(112), 제2 시야(114), 및 제3 시야(116)는 제1 카메라(104), 제2 카메라(106), 및 제3 카메라(108) 각각에 대한 고정된 초점 거리를 가정하지만, 일부 경우들에서, 다중-카메라 시스템의 카메라들 중 하나 이상은 소정 레벨의 광학 줌 성능들을 포함할 수 있다(이는 줌 레벨에 기초하여 크기가 변하는 시야를 야기할 수 있음)는 것을 이해해야 한다. 본 출원의 목적을 위해, 도 1c에 도시된 시야들의 배열은 각각의 카메라에 대한 가장 넓은 가능한 시야인 것으로 가정될 수 있다.

일반적으로, 카메라에 대한 시야의 크기는 카메라의 초점 거리와 반비례 관계에 있다. 다시 말해서, 카메라의 초점 거리가 길수록, 카메라의 시야가 더 좁을 것이다. 카메라의 시야의 선택은 특정 카메라가 유용할 수 있는 상황들에 영향을 미칠 수 있다. 예를 들어, 더 긴 초점 거리들(및 더 좁은 시야들)을 갖는 카메라들은 보통 더 먼 거리들에서 대상의 배율을 증가시키는 것이 바람직한 망원 이미징에서 사용되며 반면, 더 짧은 초점 거리들(및 더 넓은 시야들)을 갖는 카메라들은 보통 장면을 더 많이 캡처하는 것이 바람직한 경우들(예를 들어, 풍경 사진촬영)에서 사용된다.

또한 도 1c에는, 깊이 센서(110)가 장면에 대한 깊이 정보를 계산할 수 있는 장면 내의 영역을 포함하는 깊이 센서(110)에 대한 커버리지(118)의 필드가 도시되어 있다. (아래에서 보다 상세히 논의되는 바와 같은) 깊이 센서(110)의 설계에 따라, 깊이 센서(110)는 커버리지(118)의 필드 내의 모든 지점에 대해 깊이 값들을 계산하지 않을 수 있다는 것을 이해해야 한다. 대신에, 커버리지(118)의 필드는 깊이 센서가 깊이 정보를 제공할 수 있는 가장 넓은 측방향 범위를 반영하도록 의도된다. 본 출원의 목적을 위해, 커버리지(118)의 필드는 직사각형으로 표현되며, 여기서 깊이 센서(110)는 직사각형의 각각의 변 상의 적어도 하나의 지점에 대한 깊이 정보를 제공할 수 있다.

전술한 바와 같이, 깊이 센서(110)에 대한 커버리지(118)의 필드는 다중-카메라 시스템(102)의 카메라들의 시야들의 일부 또는 전부와 적어도 부분적으로 중첩된다. 일부 변형예들에서, 커버리지(118)의 필드가 하나 이상의 카메라들에 대한 시야들을 완전히 포함하는 것이 바람직할 수 있다. 예를 들어, 도 1c에 도시된 예에서, 깊이 센서(110)의 커버리지(118)의 필드는 제2 카메라(106)의 시야(114)(뿐만 아니라 제3 카메라(108)의 시야(116))를 완전히 포함할 수 있지만, 제1 카메라(104)의 시야(112)를 완전히 포함하지는 않을 수 있다. 다른 변형예들에서, 커버리지(118)의 필드는 다중-카메라 시스템(102)의 모든 카메라들의 시야들을 완전히 포함할 수 있다(이는, 도 1a에 도시된 디바이스(100)의 변형예에서는, 제1 카메라(104), 제2 카메라(106), 및 제3 카메라(108) 각각의 시야들을 포함할 것이다). 또 다른 변형예들에서, 커버리지(118)의 필드는 단일 카메라 시야(예를 들어, 도 1c에 도시된 다중-카메라 시스템(102)의 변형예에서, 제3 카메라(108)의 시야(116))를 완전히 포함할 수 있지만, 나머지 카메라 시야들을 완전히 포함하지는 않을 수 있다.

깊이 센서(110)는 깊이 센서(110)와 장면 내의 다양한 지점들 사이의 거리를 계산할 수 있는 임의의 적합한 시스템일 수 있다. 깊이 센서는 이러한 계산된 거리를 포함하는 깊이 맵을 생성할 수 있으며, 이들 중 일부 또는 전부는 후술되는 다양한 기술들에서 사용될 수 있다. 깊이 정보는 임의의 적합한 방식으로 계산될 수 있다. 하나의 비제한적인 예에서, 깊이 센서는 2개의 이미지들이 상이한 위치들로부터 촬영되는 스테레오 이미징을 활용할 수 있고, 2개의 이미지들 내의 대응하는 픽셀들 사이의 거리(디스패리티(disparity))는 깊이 정보를 계산하는 데 사용될 수 있다. 다른 예에서, 깊이 센서는 구조화된 광 이미징을 활용할 수 있으며, 이에 의해 깊이 센서는 장면을 향해 (전형적으로 적외선 조명을 사용하여) 알려진 패턴을 투영하는 동안 장면을 이미징할 수 있고, 이어서 깊이 정보를 계산하기 위해 패턴이 장면에 의해 어떻게 왜곡되는지 볼 수 있다. 또 다른 예에서, 깊이 센서는 비행 시간 감지를 활용할 수 있으며, 이는 깊이 센서로부터 방출된 광(전형적으로 적외선)이 장면으로부터 복귀하는 데 걸리는 시간의 양에 기초하여 깊이를 계산한다. 비행 시간 깊이 센서는 직접적인 비행 시간 또는 간접적인 비행 시간을 활용할 수 있고, 커버리지(118)의 전체 필드를 한 번에 조명할 수 있거나, 또는 주어진 시간에 커버리지(118)의 필드의 서브세트만을 (예를 들어, 하나 이상의 스팟들, 스트라이프들, 또는 고정될 수 있거나 커버리지(118)의 필드에 걸쳐 스캔될 수 있는 다른 패턴들을 통해) 조명할 수 있다.

실제로, 깊이 센서(110)는 제한된 동작 범위(즉, 깊이 센서(110)가 깊이 정보를 제공할 수 있는 장면 깊이들의 범위)를 가질 수 있다. 일반적으로, 깊이 센서(110)의 동작 범위는, 깊이 센서(110)가 출력할 수 있는 최소 거리 및 최대 거리(예를 들어, 깊이 센서(110)는 최소 거리보다 더 가까운 또는 최대 거리보다 더 먼 물체들에 대한 거리 값을 반환하지 않을 것임)를 포함하지만, 일부 경우들에 최소 거리가 0일 수 있음을 이해해야 한다(즉, 깊이 센서(110)는 디바이스(100) 및/또는 깊이 센서(110)의 일부와 접촉하는 물체를 식별할 수 있음). 일부 경우들에서, 깊이 센서(110)는 깊이 정보와 연관된 신뢰도 정보를 제공하도록 구성될 수 있으며, 이는 깊이 센서에 의해 제공되는 깊이 정보의 상대적 정확도를 나타낸다. 깊이 정보의 정확도의 표시를 제공함으로써, 깊이 센서(110)는, 더 짧은 거리에 대한 깊이 계산을 덜 신뢰할 수 있는 상기 더 짧은 거리를 포함하도록 동작 범위를 확장할 수 있다. 이러한 예들에서, 신뢰도 정보는 디바이스 내의 다양한 시스템들이 깊이 정보를 수신할 때 사용할 수 있는 동작 범위의 부분을 선택하는 것을 가능하게 할 수 있다. 예를 들어, 디바이스(100)는 일부 상황들에서 깊이 센서(110)의 완전한 동작을 사용하도록 구성될 수 있지만, 다른 상황들에서 동작 범위의 서브세트(예를 들어, 더 높은 신뢰도 값들과 연관된 동작 범위의 일부)만을 사용할 수 있다.

일부 변형예들에서, 이에 대한 깊이 정보가 장면 내의 주어진 지점에 대한 깊이 값을 포함하지 않지만 대신에 깊이 범위를 포함하는, 깊이 센서(110)의 동작 범위의 일부가 존재할 수 있다. 즉, 물체가 특정 거리들의 범위 내에 위치되는 경우, 깊이 센서(110)는, 해당 범위 내에서 특정 깊이를 특정하지 않고 물체가 해당 거리들의 범위 내에 위치된다는 것을 나타낼 수 있다(예를 들어, 비제한적인 예에서, 깊이 센서(110)는, 물체가 깊이 센서(110)의 20 cm 내에 있는 장면 내의 임의의 지점에 대해 "20 cm 미만"을 출력하도록 구성될 수 있다).

유사하게, 각각의 카메라는, 카메라가 포커싱할 수 있는 장면에서의 최단 거리(따라서, 여전히 포커스가 맞는 동안 카메라에 가장 가까운 물체가 될 수 있음)를 나타내는 최소 물체 거리(최소 포커스 거리로도 알려짐)를 갖는다. 도 1d는 다중-카메라 시스템(102)의 각각의 카메라가 가로지르는 범위들의 예를 도시한다. 도시된 바와 같이, 제1 카메라(104), 제2 카메라(106), 및 제3 카메라(108)는 각각 제1 최소 물체 거리(120), 제2 최소 물체 거리(122), 및 제3 최소 물체 거리(124)를 가질 수 있다. 일반적으로, 제1 카메라(104)의 최소 물체 거리(120)는 제2 카메라(106)의 최소 물체 거리(122)보다 작다. 제2 카메라(106)의 최소 물체 거리(122)는 차례로 제3 카메라(108)의 최소 물체 거리(124)보다 작을 수 있다. 도 1d에 도시된 그래프에서, 제1 카메라(104), 제2 카메라(106), 및 제3 카메라(108) 각각은 무한대로 포커싱할 수 있는 오토포커스 성능들을 갖는 것으로 가정되며, 이는 각각의 카메라가 해당 카메라의 최소 물체 거리로부터 무한대까지의 범위의 물체들에 선택적으로 포커싱하는 것을 가능하게 한다. 이러한 예들에서, 각각의 카메라는 포커스 위치들의 범위에 걸쳐 이동가능할 수 있으며, 여기서 범위의 일 단부(본 명세서에서 "매크로 포커스 위치"로 지칭됨)는 해당 카메라의 최소 물체 거리에 대응한다.

다중-카메라 시스템(102)의 카메라들 모두가 조정 가능한 포커스 성능을 가질 필요가 없으며, 일부 경우들에서 하나 이상의 고정 포커스 카메라를 포함할 수 있음을 이해해야 한다. 그러나, 적어도 2개의 카메라들이 아래에서 더 상세히 논의되는 바와 같이 오토포커스 성능들을 갖는 것이 바람직하다. 다중-카메라 시스템의 카메라가 오토포커스 성능들로 구성될 때, 해당 카메라는 당업자에게 쉽게 명백하게 되는 바와 같이 임의의 적합한 방식으로 구성될 수 있다. 일반적으로, 다중-카메라 시스템(102)의 각각의 카메라는 이미지 센서 및 렌즈를 포함할 수 있으며, 렌즈는 카메라에 의해 수신된 광을 이미지 센서를 향해 지향시키도록 구성된 하나 이상의 렌즈 요소들을 포함한다(렌즈는 렌즈 요소들의 일부 또는 전부를 수용하는 렌즈 배럴(barrel)을 더 포함할 수 있다). 카메라가 오토포커스 성능들로 구성되는 경우, 카메라는 (예를 들어, 이미지 센서 및/또는 렌즈의 하나 이상의 렌즈 요소들의 이동에 의해) 렌즈의 광학 축을 따라 이미지 센서와 렌즈의 하나 이상의 렌즈 요소들 사이의 상대적 이동을 생성하도록 구성될 수 있는 액추에이터(actuator)를 포함할 수 있다. 추가적으로 또는 대안적으로, 렌즈(106)는 렌즈 요소의 광학적 파워(optical power)를 조정하도록 작동될 수 있는 가변 포커스 렌즈 요소(예를 들어, 액체 렌즈)를 포함할 수 있다. 본 출원의 목적을 위해, 카메라의 "포커스 위치"는, 카메라의 포커스를 변경하기 위해 능동적으로 이동되거나 또는 조정될 수 있는 구성요소들의 상대적인 위치설정(positioning) 및/또는 구성을 지칭할 수 있다. 또한, 카메라는 선택적으로, 카메라의 하나 이상의 광학 구성요소들(예를 들어, 이미지 센서, 렌즈 또는 렌즈의 하나 이상의 렌즈 요소들, 하나 이상의 프리즘들 또는 거울들)이 광학 축에 대해 측방향으로 이동되는 광학 이미지 안정화를 제공하도록 추가로 구성될 수 있다.

도 2는 본 명세서에 설명된 다중-카메라 시스템들과 함께 사용될 수 있는 카메라(200)의 예시적인 예의 측단면도를 도시한다. 카메라(200)는 렌즈(202), 이미지 센서(220), 및 하우징(204)을 포함할 수 있고, 카메라의 광학 축을 따라 렌즈(202)를 이동시켜 카메라의 포커스를 조정하고 광학 축을 가로질러 이미지 센서(220)를 이동시켜 광학 이미지 안정화를 수행하도록 구성된 액추에이터를 포함할 수 있다. 렌즈(202)(위에서 논의된 바와 같이, 하나 이상의 렌즈 요소들 및 렌즈 배럴을 포함할 수 있음)를 이동시키기 위해, 렌즈(202)는 (예를 들어, 렌즈(202) 및 코일(212) 모두를 홀딩하도록 구성된 렌즈 캐리어(210)를 통해) 코일(212)에 부착될 수 있다. 렌즈(202) 및 렌즈 캐리어(210)는, 하나 이상의 플렉셔(flexure)들(예를 들어, 리프 스프링(들), 서스펜션 와이어(들), 플렉셔 아암(arm)(들), 등) 및/또는 하나 이상의 베어링들(예를 들어, 볼 베어링(들), 롤러 베어링(들), 등)과 같은 하나 이상의 서스펜션 요소들(도시되지 않음)을 통해 카메라(200)의 고정 부분에 대해(예를 들어, 자석 홀더(206)에 대해) 매달릴 수 있다. 자석 홀더(206)는 하나 이상의 자석(208)을 홀딩할 수 있고, 코일(212)은, 전류가 코일(212)을 통해 구동될 때, 코일(212)과 자석들(208) 사이의 상대적 이동을 생성하여 결과적으로 렌즈(202)를 카메라의 광학 축을 따라 이동시킬 수 있는 로렌츠 힘이 생성되도록, 자석들(208)의 자기장 내에 위치될 수 있다.

이미지 센서(220)를 광학 축에 수직인 하나 이상의 방향들로 이동시키기 위해, 카메라(200)는 고정 베이스(214)(하우징(204)에 대해 고정될 수 있음) 및, 이미지 센서(220)를 복수의 플렉셔들(226)을 통해 베이스(214)에 이동가능하게 연결하는 프레임(222)을 포함할 수 있다. 일부 경우들에서, 플렉셔들(226)은 이미지 센서(220)로 그리고 이미지 센서(220)로부터 신호들을 전달하는 데 사용될 수 있는 전기 트레이스들(224)을 지지할 수 있다. 또한, 하나 이상의 코일들(216)(렌즈 캐리어(210)에 의해 지탱되는 코일(212)과는 별개임)을 지탱하는 인쇄 회로(218)가 도시되어 있다. 코일들(216)은, 전류가 코일들(216)을 통해 구동될 때, 코일들(216)과 자석들(208) 사이의 상대적 이동을 생성하여 결과적으로 이미지 센서(220)를 카메라의 광학 축에 수직으로 이동시킬 수 있는 로렌츠 힘이 생성되도록, 하나 이상의 자석들(예를 들어, 도 2에 도시된 변형예에서의 자석들(208))의 자기장 내에 위치될 수 있다.

카메라(200)는, 카메라(200) 내의 렌즈들(202)의 상대적 위치를 검출하도록 구성된 위치 센서(228)를 더 포함할 수 있다. 예를 들어, 위치 센서는, 카메라(200)의 자석(예를 들어, 도 2에 도시된 바와 같은 프로브 자석(230))의 자기장을 측정하도록 위치된 자기 센서(예를 들어, 홀 효과 센서, 터널 자기저항(tunnel magnetoresistance; TMR) 센서, 등)를 포함할 수 있다. 위치 센서(228)는 렌즈(202)(예를 들어, 렌즈 캐리어(210)에 의해 지탱됨)에 대해 고정될 수 있는 반면, 프로브 자석(230)은 자석 홀더(206)에 대해 고정될 수 있거나, 또는 그 반대일 수 있다. 렌즈(202)가 카메라(200)의 포커스를 조정하기 위해 이동됨에 따라, 위치 센서(228)는 프로브 자석(230)에 대해 이동할 것이고, 프로브 자석(230)의 자기장을 통해 위치 센서가 이동함에 따라 자기 플럭스의 변화의 변화를 측정할 것이다. 이는, 결과적으로, 카메라(200) 내의 렌즈(202)의 상대 위치를 측정할 수 있다. 위치 센서(228)는 이동하는 렌즈(202)의 위치를 검출하는 것으로 위에서 논의되지만, 본 명세서에 설명된 다중-카메라 시스템들의 카메라들은 해당 카메라의 이동하는 구성요소들(예를 들어, 이미지 센서, 렌즈 및/또는 렌즈의 렌즈 요소) 중 임의의 것 또는 전부의 위치를 측정하는 위치 센서를 포함할 수 있다는 것을 이해해야 한다.

본 명세서에 설명된 다중-카메라 시스템들의 카메라가 오토포커스 성능들로 구성될 때, 카메라는 자동으로 카메라에 대한 포커스 위치를 설정할 수 있고 그에 따라 카메라의 하나 이상의 광학 구성요소들의 위치 및/또는 구성을 조정할 수 있다. 포커스 위치는 임의의 적합한 방식으로 카메라에 의해 결정될 수 있다. 일부 경우들에서, 카메라는, 이미지 센서의 픽셀들 중 적어도 일부가 이러한 픽셀에 의해 수집될 수 있는 제한된 범위의 입사각을 갖도록 구성되는 위상 검출 오토포커스(phase detect autofocus; PDAF)를 수행하도록 구성될 수 있다. 이러한 "비대칭" 픽셀들은, 카메라 픽셀을 다수의 별개의 포토다이오드들로 분할하거나 또는 픽셀의 포토다이오드의 일부를 선택적으로 마스킹함으로써 형성될 수 있다. 각각의 비대칭 픽셀은 주어진 방향으로부터 광을 우선적으로 수신하고, 공통 방향과 연관된 픽셀들은 함께 그룹화될 수 있다. 픽셀들의 하나의 그룹은 이미지가 포커스가 맞지 않을 때 픽셀들의 다른 그룹으로부터 다른 신호를 가질 것이지만, 이미지가 포커스에 맞을 때 잘-매칭된 신호를 가질 것이다. 따라서, 픽셀들의 그룹들은 (예를 들어, 픽셀들의 그룹들 사이의 위상 차이를 사용하여) 이미지의 포커스를 조정하기 위해 카메라에 의해 사용될 수 있는 정보를 제공할 수 있다. 모바일 디바이스 상에서 사용되는 PDAF의 예는 "Image capture device, pixel, and method providing improved phase detection auto-focus performance"라는 명칭의 미국 특허 제10,440,301호에 설명되어 있으며, 이는 그 전체가 본 명세서에 참조로서 포함된다.

추가적으로 또는 대안적으로, 카메라는, 이미지 센서의 인근 픽셀들 사이의 강도 차이가 포커스 위치의 함수로서 비교되는 콘트라스트 기반 오토포커스(contrast based autofocus; CBAF)를 사용하여 포커스 위치를 선택하도록 구성될 수 있다. 물체가 포커스로 이동함에 따라, 인근 픽셀들 사이의 강도 차이가 증가할 것이고, 따라서, 포커스 위치는 이미지 센서의 타겟 영역에 대해 최대(또는 거의-최대) 콘트라스트가 결정될 때까지 조정될 수 있다. 카메라는 다수의 오토포커스 기술들을 수행할 수 있고, 이하에서 더 상세히 논의될 바와 같이 장면 조건들에 따라 상이한 기술들로부터 선택할 수 있다는 것을 이해해야 한다.

카메라의 오토포커스 기술들이 카메라에 대한 포커스 위치를 설정하는 데 사용될 수 있지만, 이는 또한 장면 내의 하나 이상의 물체들에 대한 거리를 추정하는 데 사용될 수 있다. 예를 들어, 카메라가 장면 내의 물체에 포커싱한 경우, 카메라에 대한 포커스 위치(예를 들어, 도 2와 관련하여 전술한 카메라(200)의 변형예에서 렌즈(202)의 위치)는 (예를 들어, 도 2와 관련하여 위에서 설명된 위치 센서(228)와 같은 위치 센서를 통해) 측정될 수 있고, 포커스 위치와 장면 거리 사이의 미리 결정된 관계는 물체 거리를 추정하는 데 사용될 수 있다.

도 1a로 되돌아가면, 다중-카메라 시스템(102)은 하나 이상의 사진촬영(photography) 모드들(예를 들어, 정지 이미지들을 캡처할 수 있는 사진 모드, 비디오들을 캡처할 수 있는 비디오 모드, 파노라마 사진을 캡처할 수 있는 파노라마 모드, 적용되는 인공 보케(bokeh)를 갖는 정지 사진을 캡처할 수 있는 초상화 모드, 등) 동안 이미지들을 캡처하는 데 사용될 수 있다. 일반적으로, 이러한 모드들 동안, 디바이스(100)는 "라이브 프리뷰(live preview)"를 디스플레이하는 카메라 사용자 인터페이스를 디스플레이할 수 있다. 라이브 프리뷰는 다중-카메라 시스템의 카메라에 의해 캡처된 이미지들의 스트림이고, 카메라가 미디어 캡처 이벤트를 개시할 때 캡처될 시야(카메라들 중 하나의 카메라의 시야의 서브세트일 수 있음)를 나타낸다. 다시 말해서, 라이브 프리뷰는 사용자가 현재 이미징되고 있고 있는 장면의 부분을 보는 것 및 사진 또는 비디오를 캡처할 때를 결정하는 것을 가능하게 한다.

(예를 들어, 일부 미리 결정된 조건 하에서 또는 사용자가 상호작용하여 사용자 인터페이스에서 셔터 제어부와 상호작용하는 것, 디바이스 상의 지정된 버튼을 누르는 것, 음성 명령을 제공하는 것, 등에 의해 명령을 제공하는 경우에) 카메라가 미디어 캡처 이벤트를 개시할 때, 카메라는 현재 카메라 모드에 따라 미디어를 캡처(예를 들어, 사진 모드에 있을 때 사진을 캡처하거나 또는 비디오 모드에 있을 때 비디오를 캡처)할 것이며, 이는 그런 다음 디바이스(100)에 로컬로(locally) 저장되거나 또는 저장을 위해 원격 서버로 전송될 수 있다. 일부 경우들에서, 다중-카메라 시스템(102)에 의해 캡처된 이미지 프레임들의 프레임 버퍼가 있을 수 있고, 미디어 캡처 이벤트의 개시 전에 수집된 일부 프레임이 저장되거나 또는 전송되는 캡처된 미디어를 생성하는 데 사용될 수 있다는 것이 이해되어야 한다.

이러한 사진촬영 모드들 동안, 다중-카메라 시스템(102)의 하나 이상의 카메라들은 주어진 시간의 기간 동안 이미지 프레임을 능동적으로 캡처할 수 있고, 다중-카메라 시스템(102)은 "1차" 카메라를 지정할 수 있다(임의의 다른 활성 카메라들은 "2차" 카메라로 지칭될 것이다). 한 번에 단일 카메라만이 활성화되는 경우, 해당 카메라가 1차 카메라일 것이다. 그러나, 2개 이상의 카메라들이 동시에 활성화되는 것이 바람직할 수 있고, 전형적으로 1차 카메라는 하나 이상의 방식들로 우선순위화된다. 그러나, 본 출원의 목적을 위해, 1차 카메라는 라이브 프리뷰가 생성되는 카메라인 것으로 간주된다(즉, 카메라에 의해 캡처된 프레임들이 라이브 프리뷰에 대한 이미지들로서 사용될 것이지만, 이러한 프레임들은 라이브 프리뷰를 생성할 때 크로핑(crop)되거나 또는 달리 수정될 수 있다).

일부 변형예들에서, 1차 카메라는 2차 카메라들의 프레임 레이트보다 더 높은 프레임 레이트로 이미지 프레임들을 캡처하도록 구성될 수 있다. 추가적으로 또는 대안적으로, 미디어 캡처 이벤트가 개시될 때, 1차 카메라에 의해 캡처된 이미지 프레임들이 캡처된 미디어를 생성하는 데 사용된다. 일부 경우들에서, 2차 카메라들로부터의 정보(하나 이상의 2차 카메라들에 의해 캡처된 프레임들을 포함함)는 1차 카메라의 동작을 돕기 위해 및/또는 1차 카메라에 의해 캡처된 이미지 프레임들을 수정하기 위해 사용될 수 있다. 비제한적인 예로서, 2차 카메라로부터의 이미지 프레임은 단일 합성 이미지를 제공하기 위해 1차 카메라로부터의 이미지 프레임(기준 프레임으로서 작용함)과의 이미지 융합 동작의 일부로서 결합될 수 있다.

카메라 스위칭오버(Switchover) 기술들

일반적으로, 다중-카메라 시스템(102)은 원하는 캡처 모드 및/또는 장면 조건들에 따라 상이한 1차 카메라들 사이에서 스위칭할 수 있다. 예를 들어, 그 전체가 본 명세서에 참조로서 포함된, "Switchover control techniques for dual-sensor camera system"이라는 명칭의 미국 특허 제10,701,256호는 원하는 줌 값, 추정된 장면 밝기 및/또는 추정된 포커스 거리에 기초하여 다중-카메라 시스템에서 카메라들 사이에서 스위칭하기 위한 기술들을 논의한다. 이러한 기술들은 많은 경우들에서 유용할 수 있지만(그리고 본 명세서에 설명된 스위칭오버 기술들과 함께 사용될 수 있지만), 1차 카메라에 의해 이미징되는 타겟 물체가 1차 카메라의 최소 물체 거리보다 더 가깝게 이동할 때 1차 카메라로부터 멀어지도록 스위칭하는 것이 또한 바람직할 수 있으며, 그렇지 않은 경우, 타겟 물체는 1차 카메라에 의해 캡처된 임의의 이미지들에서 포커스를 벗어날 것이다.

따라서, 타겟 물체가 카메라의 최소 물체 거리보다 더 가까워질 때, 다중-카메라 시스템은 1차 카메라를 더 짧은 최소 물체 거리를 갖는 다른 카메라로 변경하도록 구성될 수 있으며, 이는 다중-카메라 시스템이 (예를 들어, 새로운 1차 카메라를 통해) 이러한 더 가까운 거리들에서 타겟 물체에 계속해서 포커싱할 수 있는 것을 가능하게 할 수 있다. 예를 들어, 도 1a 내지 도 1d와 관련하여 전술한 다중-카메라 시스템(102)에서, 제2 카메라(106)는 특정 상황 하에서 타겟 물체를 이미징하는 동안 1차 카메라로서 선택될 수 있다. 타겟 물체가 제2 카메라(106)의 최소 물체 거리(122)보다 더 가까운 거리로 이동하는 경우, 1 차 카메라로서 제1 카메라(104)를 선택하는 것은 제1 카메라(104)가 포커스가 맞는 타겟 물체를 갖는 이미지를 캡처하는 것을 가능하게 할 수 있다(반면 제2 카메라(106)는 더 이상 타겟 물체에 포커싱할 수 없을 수 있다).

매끄러운 사용자 경험을 제공하기 위해, 새로운 1차 카메라를 선택할 때 일관된 줌의 수준을 유지하는 것이 바람직할 수 있다. 제1 카메라(104)가 제2 카메라(106)의 시야(114)보다 더 넓은 시야(112)를 갖기 때문에, 제2 카메라(106)에 의해 캡처된 이미지들의 시야와 일치하도록 제1 카메라로부터 이미지들을 크로핑하는 것(이는 제2 카메라(106)의 전체 시야(114) 또는 이의 크로핑된 버전에 대응할 수 있음)이 필요할 수 있다. 그러나, 제1 카메라(104)로부터의 크로핑된 이미지의 이미지 품질은 동일한 시야를 갖는 제2 카메라(106)에 의해 캡처된 이미지보다 나쁠 수 있다. 따라서, 타겟 물체가 제2 카메라(106)의 최소 물체 거리(122)에 도달할 때까지 제2 카메라(106)를 1차 카메라로서 유지하는 것이 바람직할 수 있다.

그러나, 실제로, (특히, 깊이 센서(110)와 같은 깊이 센서로부터의 깊이 정보가 덜 신뢰할 수 있거나 또는 완전히 이용가능하지 않은 장면 깊이들에서) 다중-카메라 시스템(102)은 타겟 물체까지의 거리를 완벽하게 계산할 수 없을 수 있고, 이는, 타겟 물체가 제2 카메라(106)의 최소 물체 거리(122)보다 더 가깝지만, 다중-카메라 시스템(102)은, 타겟 물체가 최소 물체 거리(122)보다 더 멀리에 있다고 잘못 계산하는 상황들을 야기할 수 있다. 이러한 상황에서, (제1 카메라(104)가 해당 거리에서 타겟 물체를 이미징하기에 더 적합하더라도) 제2 카메라(106)가 1차 카메라로서 유지될 수 있으며, 이는 타겟 물체가 제2 카메라(106)에 의해 캡처된 임의의 미디어 및 라이브 프리뷰에서 포커스를 벗어나게 되는 것을 야기할 수 있다. 따라서, 본 발명의 일 측면에서, 다중-카메라 시스템(102)은 타겟 물체까지의 거리를 계산하는 데 있어서 잠재적인 오차들을 고려하면서 카메라의 최소 물체 거리 근처에서 타겟 물체를 이미징할 때 1차 카메라를 스위칭하도록 구성될 수 있다.

따라서, 본 명세서에서 설명된 디바이스들은 다중-카메라 시스템의 복수의 카메라들로부터 1차 카메라를 선택하도록 프로그램된 카메라 선택 로직을 포함할 수 있다. 다중-카메라 시스템이 3개 이상의 카메라들을 포함하는 경우에, 모든 카메라들로부터 1차 카메라를 선택하는 단일 카메라 선택 로직이 있을 수 있거나, 또는 다중-카메라 시스템의 카메라들의 상이한 쌍 사이의 스위칭오버를 각각 제어하는 다수의 카메라 선택 로직들이 있을 수 있다. 예를 들어, 제1 카메라 선택 로직은 1차 카메라로서 제1 카메라와 제2 카메라 사이에서 선택할 수 있고, 제2 카메라 선택 로직은 1차 카메라로서 제2 카메라와 제3 카메라 사이에서 선택할 수 있다. 일부 예들에서, 제1 카메라 선택 로직 및 제2 카메라 선택 로직은 상이한 시간들에서 활성일 수 있다. 추가적으로 또는 대안적으로, 제1 카메라 선택 로직 및 제2 카메라 선택 로직은 각각, 제2 카메라로부터 제1 카메라 또는 제3 카메라로 1차 카메라를 스위칭할지 여부를 결정하기 위해, 제2 카메라가 1차 카메라일 때와 같은 특정 상황들에서 둘 모두가 활성일 수 있다.

일반적으로, 카메라 선택 로직은, 다중-카메라 시스템 내의 적어도 하나의 카메라로부터의 물체 거리 추정치들, 각각의 물체 거리 추정치와 연관된 각각의 거리 오차 정보, 및 다중-카메라 시스템 내의 적어도 하나의 카메라에 대한 최소 물체 거리를 포함하는 복수의 입력들을 수신한다. 다중-카메라 시스템이 깊이 센서를 포함하는 경우, 복수의 카메라 입력들은 깊이 센서로부터의 물체 거리 추정치를 선택적으로 더 포함할 수 있다(그리고 이러한 변형예들 중 일부에서, 깊이 센서로부터의 거리 추정치와 연관된 깊이 오차 정보를 더 포함할 수 있다). 카메라 선택 로직은 이러한 입력들에 적어도 부분적으로 기초하여 1차 카메라로서 다중-카메라 시스템의 카메라를 선택한다.

예를 들어, 도 3은 다중-카메라 시스템의 복수의 카메라로부터 1차 카메라를 선택하는 데 사용될 수 있는 카메라 선택 로직(300)의 변형예를 도시한다. 예시로서, 카메라 선택 로직(300)은 본 명세서에서 (도 1a 내지 도 1d와 관련하여 위에서 설명된) 다중-카메라 시스템(102)의 제1 카메라(104) 또는 제2 카메라(106) 중 하나를 선택하는 데 사용되는 것으로 설명되지만, 카메라 선택 로직(300)은 1차 카메라로서 3개 이상의 카메라들(예를 들어, 다중-카메라 시스템(102)의 제1 카메라(104), 제2 카메라(106), 및 제3 카메라(108)) 사이로부터 선택하도록 구성될 수 있다는 것을 이해해야 한다. 또한, 카메라 선택 로직(300)은, 타겟 물체가 제2 카메라의 최소 물체 거리 근처에 있을 때 1차 카메라로서 제1 카메라와 제2 카메라 사이에서 스위칭하도록 구성될 수 있다. 최소 물체 거리 "근처"로 간주되는 것은, 아래에서 더 상세히 논의되는 바와 같이, 1차 카메라를 선택하는 데 사용되는 물체 거리 추정치들의 정확도에 의존하는 것으로 이해되어야 한다.

도시된 바와 같이, 카메라 선택 로직(300)은 제1 카메라(104)를 사용하여 계산된 타겟 물체까지의 제1 물체 거리 추정치(302) 및 제2 카메라(106)를 사용하여 계산된 타겟 물체까지의 제2 물체 거리 추정치(304)를 수신할 수 있다. 카메라 선택 로직(300)은 제1 물체 거리 추정치(302)와 연관된 제1 거리 오차 정보(306) 및 제2 물체 거리 추정치(304)와 연관된 제2 거리 오차 정보(308)를 추가적으로 수신할 수 있다. 카메라 선택 로직(300)은 제2 카메라(106)의 최소 물체 거리(122)를 더 수신할 수 있다. 선택적으로, 카메라 선택 로직(300)은 제3 카메라(108)부터 타겟 물체까지의 제3 물체 거리 추정치(310)뿐만 아니라 제3 물체 거리 추정치(312)와 연관된 제3 거리 오차 정보(312)를 수신할 수 있다. 카메라 선택 로직(300)은 또한, (카메라 선택 로직(300)이 제3 카메라(108)로부터 물체 거리 추정치(310)를 수신하는 변형예에서) 입력들로서 제1 카메라(104)의 최소 물체 거리(120) 및/또는 제3 카메라(108)의 최소 물체 거리(124)를 수신할 수 있다. 추가적으로 또는 대안적으로, 깊이 센서(110)는 또한 타겟 물체에 대한 물체 거리 추정치(예를 들어, 도 3에 도시된 제4 물체 거리 추정치(314)) 및 물체 거리 추정치와 연관된 거리 추정 오차(예를 들어, 제4 거리 오차 정보(316))를 제공할 수 있다.

이러한 입력들을 사용하여, 카메라 선택 로직(300)은 (도 3의 제1 출력(318)에 의해 표시된 바와 같이) 1차 카메라로서 제1 카메라(104) 및 제2 카메라(106) 중 하나를 선택하도록 구성될 수 있다. 추가적으로, 카메라 선택 로직(300)은 선택적으로, (출력(320)에 의해 표시된 바와 같이) 다중-카메라 시스템(102)의 카메라들 중 하나 이상에 대한 포커스 위치를 선택하기 위해, 물체 거리 추정치 입력들(예를 들어, 제1 물체 거리 추정치(302), 제2 물체 거리 추정치(304), 제3 물체 거리 추정치(310), 및 제4 물체 거리 추정치(314) 중 일부 또는 전부)뿐만 아니라 이러한 거리 추정치 입력들과 연관된 거리 오차 정보 입력들을 사용하도록 구성될 수 있다. 추가적으로 또는 대안적으로, 카메라 선택 로직은 선택적으로, (출력(322) 의해 표시된 바와 같이) 선택된 1차 카메라에 대한 줌 레벨을 선택하도록 추가로 구성될 수 있다. 예를 들어, 제2 카메라(106)로부터 제1 카메라(104)로 1차 카메라를 스위칭할 때, 제2 카메라(106)가 1차 카메라였을 때 설정된 동일한 줌 레벨을 유지하도록 구성될 수 있다(그리고 그 반대도 마찬가지임). 이러한 예들에서, 카메라 선택 로직은 제2 카메라가 1차 카메라였을 때 제2 카메라에 대해 선택되었던 줌 레벨과 매칭되는 제1 카메라에 대한 줌 레벨을 선택하도록 구성될 수 있다. 제1 카메라(104)가 제2 카메라(106)보다 더 큰 시야를 갖기 때문에, 이는 선택된 줌 레벨을 달성하기 위해 제1 카메라(104)에 의해 캡처된 이미지들을 크로핑하는 것을 수반할 수 있고, 디바이스(100)는, 제1 카메라(104)가 1차 카메라가 됨에 따라 라이브 프리뷰 동안 제1 카메라(104)에 의해 캡처된 이미지들의 크로핑된 버전을 디스플레이할 수 있다. 줌 레벨은 또한 다른 카메라 동작들(예를 들어, 줌 레벨을 변경하기 위한 사용자 입력을 수신한 후에 또는 사진촬영 모드를 변경한 후에)에 응답하여 조정될 수 있고, 카메라 선택 로직(300)의 출력(322)은 그에 따라 조정될 수 있는 것으로 이해되어야 한다.

카메라 선택 로직(300)에 대한 다양한 입력들뿐만 아니라 카메라 선택 로직(300)이 이러한 입력들을 사용할 수 있는 방법이 아래에서 더 상세히 논의된다:

타겟 물체

전술한 바와 같이, 카메라 선택 로직(300)은 타겟 물체까지의 하나 이상의 물체 거리 추정치들을 수신할 수 있다. 구체적으로, 타겟 물체는 관심 영역(region of interest; ROI)으로서 디바이스에 의해 선택되는 장면의 일부에 대응할 수 있다. 다중-카메라 시스템의 하나 이상의 카메라에 의해 캡처된 하나 이상의 이미지들(및 선택적으로 깊이 정보)은 타겟 물체로서 작용할 ROI를 식별하기 위해 분석될 수 있다. 일부 경우들에서, ROI는 다중-카메라 시스템의 하나의 카메라에 의해 캡처된 이미지(또는 이미지들)로부터 선택되고, 다중-카메라 시스템의 나머지 카메라들(및 임의의 깊이 센서들)에 대해 대응하는 ROI들이 선택된다. 이러한 경우들에서, 대응하는 ROI들은 디바이스 내의 카메라들 및 깊이 센서들의 상대적인 위치 설정 및/또는 필드 곡률의 차이들을 고려하기 위해 조정될 수 있다. 본 출원의 목적을 위해, 타겟 물체와 연관된 카메라들 및 깊이 센서들 각각에 대해 선택된 개별 ROI들은 총괄적으로 타겟 물체에 대한 ROI로 지칭된다.

일부 경우들에서, 물체 검출 알고리즘은 장면에서 하나 이상의 물체 및/또는 면(face)들을 식별하는 데 사용될 수 있고, 다중-카메라 시스템은 검출된 물체들 및/또는 면들 중 하나 이상과 연관된 ROI를 타겟 물체로서 선택할 수 있다. 다수의 물체들이 검출되는 경우, 다중-카메라 시스템은 2개 이상의 물체들을 포함하는 ROI를 선택할 수 있거나(ROI는 인접할 필요가 없는 2개의 섹션들을 포함할 수 있음이 이해되어야 함) 또는 단일 물체(하나 이상의 미리 결정된 기준에 기초하여 다수의 물체들로부터 선택될 수 있음)에 대응하는 ROI를 선택할 수 있다. 일부 경우들에서, 타겟 물체에 대한 ROI는 사용자 입력에 적어도 부분적으로 기초하여 선택될 수 있다(예를 들어, 사용자는 장면의 물체 및/또는 부분을 타겟 물체로서 지정하기 위해 스크린의 일부를 탭(tap)할 수 있다). 검출된 물체들/면들 및/또는 사용자 입력이 없는 경우, 다중-카메라 시스템은 타겟 물체로서 디폴트 ROI를 설정할 수 있다. 장면이 변경되거나 및/또는 새로운 사용자 입력이 수신됨에 따라 타겟 물체가 시간에 따라 변할 수 있음을 이해해야 한다.

물체 거리 추정치들

타겟 물체가 선택될 때, 다중-카메라 시스템의 카메라들 중 일부 또는 전부가 다중-카메라 시스템으로부터 타겟 물체까지의 거리를 추정하는 데 사용될 수 있다. 예를 들어, 각각의 카메라로부터의 오토포커스 정보는 타겟 물체에 대한 각각의 물체 거리 추정치를 계산하는 데 사용될 수 있다. 구체적으로, 카메라는 (예컨대, 위에서 보다 상세히 논의된 바와 같이) 타겟 물체에 포커싱하기 위해 하나 이상의 오토포커스 기술을 사용할 수 있으며, (예를 들어, 위에서 논의된 바와 같은 위치 센서를 통해) 카메라가 타겟 물체에 포커싱하는 포커스 위치를 측정할 수 있다. (각각의 카메라에 대해 고유할 수 있는) 포커스 위치와 물체 거리 사이의 미리 결정된 관계는, 측정된 포커스 위치가 타겟 물체에 대한 물체 거리 추정치를 계산하는 데 사용될 수 있도록 활용될 수 있다. 카메라 선택 로직이 카메라로부터 물체 거리 추정치를 수신하는 것으로 설명될 때, 카메라 선택 로직은 물체 거리 추정치로서 거리 값 또는 포커스 위치 값(이는, 그렇게 희망되는 경우, 이후에, 해당 카메라에 대한 물체 거리와 포커스 위치 사이의 미리 결정된 관계를 사용하여 거리 값으로 변환될 수 있음)을 수신할 수 있다.

타겟 물체가 카메라에 대한 최소 물체 거리보다 더 가까울 때, 해당 카메라는 더 이상 타겟 물체에 포커싱할 수 없다. 일부 예들에서, 카메라 선택 로직은 해당 카메라로부터 물체 거리 추정치를 능동적으로 수신하지 않을 수 있거나, 또는 타겟 물체가 카메라의 최소 물체 거리 미만이라는 것을 수신하고 표시할 수 있다. 다른 예들에서, 카메라 선택 로직은 카메라로부터 외삽된 물체 거리 추정치를 수신할 수 있다. 이러한 물체 거리 추정치는, 타겟 물체가 포커스가 맞지 않을 수 있는 미리 결정된 포커스 위치에서 카메라에 의해 측정된 디포커스 정보를 사용하여 계산될 수 있다. 카메라가 타겟 물체 상에 카메라를 포커싱할 수 있는 포커스 위치를 달성할 수 없을 수 있기 때문에, 물체 거리 추정치는, 카메라가 타겟 물체에 포커싱할 수 있을 가상적(hypothetical) 포커스 위치를 나타내는 외삽된 포커스 위치와 연관될 수 있다. (위의 논의와 유사하게) 외삽된 포커스 위치와 물체 거리 추정치 사이에 미리 결정된 관계가 있을 수 있고, 따라서 카메라 선택 로직은 거리 물체 추정치로서 거리 값 또는 포커스 위치 값을 수신할 수 있다. 외삽된 포커스 위치들 및 그들의 대응하는 물체 거리 추정치들은 도 5 및 도 6과 관련하여 아래에서 더 상세히 설명될 것이다.

다중-카메라 시스템이 깊이 센서를 포함하는 경우, 다중-카메라 시스템의 깊이 센서는 다중-카메라 시스템으로부터 타겟 물체까지의 거리를 추정하는 데 사용될 수 있다. 이러한 경우들에서, 깊이 센서는 타겟 물체에 대한 ROI에 대응하는 커버리지의 필드의 일부에 대한 깊이 정보를 계산할 수 있다. 깊이 정보가 ROI 내의 다수의 지점들에 대해 이용가능할 때, i) 이러한 다수의 지점들에 대한 깊이 정보가 카메라 선택 로직에 제공될 수 있거나, 또는 ii) 이러한 깊이 정보가 감소된 수의 거리 값들(예를 들어, 깊이 센서로부터의 물체 거리 추정치를 나타내는 단일 거리 값)을 생성하기 위해 다운선택되거나, 평균화되거나, 또는 달리 프로세싱될 수 있다는 것을 이해해야 한다.

거리 오차 정보

전술한 바와 같이, 다중-카메라 시스템의 카메라들 및 깊이 센서들로부터의 물체 거리 추정치들은 완벽하게 정확하지 않을 수 있고, 이러한 물체 거리 추정치들의 정확도는, 장면에 의존하여, 유닛별로, 그리고 시간에 걸쳐 주어진 유닛 내에서 변화할 수 있다. 예를 들어, 위치 센서 측정이 위에서 논의된 바와 같이 카메라에 대한 포커스 위치를 계산하는 데 사용될 때, 위치 센서 측정과 연관된 부정확성이 있을 수 있어서 측정된 포커스 위치가 카메라의 실제 포커스 위치를 반영하지 않을 수 있다(이는 결국 대응하는 물체 거리 추정치가 타겟 물체까지의 실제 거리를 반영하지 않게 할 수 있다). 따라서, 디바이스는 1차 카메라를 선택할 때 카메라 선택 로직에 의해 사용될 수 있는 각각의 카메라에 대한 거리 오차 정보를 유지하도록 구성될 수 있다.

거리 오차 정보는 해당 카메라에 대한 물체 거리 추정치의 정확도의 표시를 제공하는 임의의 적합한 메트릭(metric) 또는 메트릭들일 수 있다. 이러한 거리 오차 정보는 전형적으로 주어진 카메라에 대한 물체 거리 추정치의 값에 따라 변한다. 예를 들어, 주어진 카메라에 대한 포커스 위치와 물체 거리 추정치 사이의 미리 결정된 관계는 비선형일 수 있어서, 2개의 상이한 포커스 위치에서의 동일한 부정확성들은 그에 따라 대응하는 물체 거리 추정치에 상이한 영향을 가질 것이다. 이러한 미리 결정된 관계는 일반적으로, 포커스 위치가 카메라의 최소 물체 거리와 연관되어 위치된 매크로 포커스에 접근함에 따라 카메라로부터의 물체 거리 추정치가 더 정확해지는 결과를 낳는다.

일부 경우들에서, 카메라에 대한 거리 오차 정보는, 주어진 포커스 위치 측정에 대해 발생하는 상이한 측정 오차들의 확률들을 나타내는 포커스 위치 오차 분포를 포함할 수 있다. 이러한 오차 분포는 공장 교정 동안 (예를 들어, 공지된 거리에서 타겟 물체에 오토포커싱할 때 다수의 포커스 위치 측정을 취함으로써) 초기에 생성될 수 있다. 일부 변형예들에서, 포커스 위치 오차 분포(및 따라서 거리 오차 정보)는, (새로운 포커스 위치 오차 분포가 후속 교정 이벤트 동안 생성될 수 있지만) 위치 오차 분포가 디바이스의 동작 동안 업데이트되지 않는다는 점에서 정적이라고 간주될 수 있다. 다른 변형예들에서, 포커스 위치 오차 분포(및 따라서 거리 오차 정보)는 디바이스의 동작 동안 동적으로 업데이트될 수 있다. 예를 들어, 다중-카메라 시스템이 깊이 센서를 포함할 때, 미리 결정된 정확도/신뢰도 임계치를 충족시키는 깊이 센서로부터의 측정들은, 카메라에 의해 측정되거나 또는 외삽된 포커스 위치를 사용하여 타겟 물체에 대해 계산된 물체 거리 추정치와 비교될 수 있는 타겟 물체에 대한 실측 자료(ground truth) 거리로서 처리될 수 있으며, 상기 비교의 결과는 포커스 위치 오차 분포를 업데이트하는 데 사용될 수 있다.

전술한 거리 오차 정보의 예는 주어진 포커스 위치 측정에 대한 포커스 위치 오차 분포를 포함하지만, 포커스 위치 오차 분포는 (예를 들어, 주어진 카메라에 대한 포커스 위치와 물체 거리 추정치들 사이의 미리 결정된 관계를 사용하여) 주어진 물체 거리 추정치에 대한 물체 거리 오차 분포로 변환될 수 있다는 것을 이해해야 한다. 카메라 선택 로직은 입력으로서 포커스 위치 오차 분포(그렇게 희망되는 경우, 해당 카메라에 대한 포커스 위치와 물체 거리 추정치들 사이의 미리 결정된 관계를 사용하여, 이후에 물체 거리 오차 분포로 변환될 수 있음) 또는 물체 거리 오차 분포를 수신할 수 있다는 것을 이해해야 한다. 추가적으로 또는 대안적으로, 디바이스는 오차 분포(예를 들어, 포커스 위치 오차 분포 또는 물체 거리 오차 분포)를 유지할 수 있지만, 카메라 선택 로직은 입력으로서 해당 오차 분포로부터 도출된 하나 이상의 메트릭들(예를 들어, 분포의 평균 및 표준 편차)을 수신할 수 있다.

유사하게, 깊이 센서가 타겟 물체에 대한 물체 거리 추정치를 제공하는 데 사용될 때, 물체 거리 추정치는, 깊이 센서에 의해 제공되는 물체 거리 추정치의 정확도를 나타낼 수 있는 대응하는 거리 오차 정보와 연관될 수 있다. 거리 오차 정보는 위에서 더 상세히 설명된 것과 같은 하나 이상의 신뢰도 값들과 같은 신뢰도 정보를 포함할 수 있다.

최소 물체 거리

카메라의 최소 물체 거리는 유닛별로 변할 수 있으며, 일부 경우들에서 카메라의 동작 동안 변할 수 있다. 주어진 카메라에 대한 최소 물체 거리는 공장 교정 동안 초기에 측정될 수 있고, 입력으로서 카메라 선택 로직에 의해 사용될 수 있다. 카메라 선택 로직에 의해 수신되는 카메라에 대한 최소 물체 거리의 값은 카메라에 대한 최소 물체 거리인 것으로 가정되지만, 실제로 이러한 값은 실제 최소 물체 거리로부터 변할 수 있다(예를 들어, 드롭(drop) 이벤트 또는 다른 신뢰도가 최소 물체 거리가 측정된 후에 카메라의 이미지 센서와 렌즈 사이의 상대 위치에서 영구적인 변화를 일으키는 경우)는 것을 이해해야 한다.

일부 변형예들에서, (새로운 최소 물체 거리가 후속 교정 이벤트 동안 측정될 수 있지만) 최소 물체 거리가 디바이스의 동작 동안 업데이트되지 않는다는 점에서, 카메라의 최소 물체 거리는 정적이라고 간주될 수 있다. 다른 변형예들에서, 최소 물체 거리는 디바이스의 동작 동안 동적으로 변할 수 있다. 예를 들어, 카메라가 카메라의 광학 축을 가로질러 이미지 센서를 이동시키도록 구성된 일부 변형예들에서, 디바이스 동작 동안 광학 축을 따른 이미지 센서의 의도하지 않은 이동은 카메라의 최소 물체 거리를 변경할 수 있다. 예를 들어, 도 2와 관련하여 전술한 카메라(200)의 변형예에서, 중력은, 이미지 센서(220)가, 카메라 배향에 따라 (예를 들어, 프레임(222)의 플렉셔(226)의 처짐을 통해) 광학 축을 따라 이동하게 할 수 있고 이는 카메라(200)의 최소 물체 거리를 변경할 수 있다. 이러한 경우들에서, 다중-카메라 시스템(102)은 (예를 들어, 디바이스의 자이로스코프 등에 의해 측정된 바와 같은) 카메라(200) 배향의 변화를 모니터링할 수 있고, 카메라 배향의 이러한 변화에 기초하여 디바이스 동작 동안 최소 물체 거리를 업데이트할 수 있다. 다른 경우들에서, 카메라는 오토포커스 동작들 동안 포커스 위치들의 감소된 범위를 사용하는 상이한 동작 모드로 변경될 수 있다. 이러한 예들에서, 이용 가능한 포커스 위치들의 범위의 변화는 또한 해당 카메라에 대한 최소 물체 거리를 변경할 수 있으며, 이는 카메라 선택 로직에 대한 입력에서 반영될 수 있다. 선택적으로, 디바이스는, 디바이스에 의해 유지되는 최소 물체 거리의 값이 카메라의 실제 최소 물체 거리를 반영할 가능성을 나타내는, 카메라에 대한 최소 물체 거리와 연관된 정확도 정보를 결정하도록 구성될 수 있다. 이러한 정확도 정보는 1차 카메라를 선택하는 것을 돕기 위해 카메라 선택 로직(300)에 대한 입력(미도시)으로서 사용될 수 있다.

카메라 선택 로직에 대한 이상의 입력들 중 일부 또는 전부는 시간에 따라 변할 수 있고, 카메라 선택 로직에 대한 입력들이 변화함에 따라 카메라 선택 로직을 사용하여 1차 카메라를 선택하는 방법은 반복될 수 있다는 것을 이해해야 한다. 예를 들어, 하나 이상의 물체 거리 추정치 입력들(디바이스와 장면 사이에 상대적 이동이 있음에 따라 업데이트될 수 있음)이 변화함에 따라, 주어진 물체 거리 추정치에 대한 거리 오차 정보 입력이 변화함에 따라, 및/또는 주어진 카메라에 대한 최소 물체 거리 입력이 변화함에 따라, 카메라 선택 로직은 다수의 반복들에서 반복될 수 있다.

일반적으로, 카메라 선택 로직은, 타겟 물체가 카메라의 최소 물체 거리보다 더 가까울 때 카메라가 1차 카메라로서 선택될 임계 확률 미만으로 유지하면서 카메라의 최소 물체 거리 근처에서 1차 카메라를 변경하도록 구성될 수 있다. 비제한적인 예로서, 이상에서 논의된 카메라 선택 로직(300)이 제1 카메라(104)과 제2 카메라(106) 사이로부터 1차 카메라를 선택하는 데 사용될 때, 카메라 선택 로직(300)은, 타겟 물체가 제2 카메라(106)의 최소 물체 거리(122)보다 더 가까울 때 제2 카메라(106)를 1차 카메라로서 선택할 0.05% 미만의 가능성(또는 임의의 다른 적합한 미리 결정된 확률)이 존재하도록 구성될 수 있다. 이러한 방식으로, 다중-카메라 시스템의 카메라들로부터의 물체 거리 추정치들에 대한 거리 오차 정보는, 카메라 선택 로직이 스위칭 이전에 타겟 물체가 최소 물체 거리에 얼마나 가깝게 도달할 수 있는지를 고려할 수 있다. 다시 말해서, 물체 거리 추정치들이 매우 정확할 때, (물체 거리 추정치에서의 부정확성이, 타겟 물체가 최소 물체 거리보다 더 멀리에 위치된다는 부정확한 결정을 야기할 가능성이 낮기 때문에) 카메라 선택 로직은 최소 물체 거리에 더 가까운 1차 카메라의 스위칭을 허용할 것이다. 이는 상이한 유닛들 사이의 또는 시간 경과에 따른 유닛 내에서의 상이한 스위칭 임계치들을 허용할 수 있고, 다중-카메라 시스템의 깊이 센서가 타겟 물체가 위치되는 거리들에 대한 신뢰할 수 있는 깊이 정보를 제공할 수 없는 경우에 특히 유리할 수 있다.

카메라 선택 로직(300)은 위에서 논의된 입력들로부터 1차 카메라를 선택하기 위한 임의의 적합한 기술을 사용할 수 있다. 예를 들어, 일부 변형예들에서, 카메라 선택 로직(300)은 최소 물체 거리(들), 물체 거리 추정치(들), 및 연관된 거리 오차 정보를 취하도록 훈련된 신경망을 포함할 수 있고, 1차 카메라 선택을 출력할 수 있다.

다른 예로서, 도 4는, 도 3의 카메라 선택 로직(300)이 다중-카메라 시스템의 복수의 카메라들로부터 1차 카메라를 선택하는 데 사용할 수 있는 예시적인 방법(400)을 나타내는 흐름도를 도시한다. 제1 카메라 및 제2 카메라 중 하나를 1차 카메라로서 선택하는 것으로 도시되지만(여기서 제2 카메라가 제1 카메라보다 더 긴 최소 물체 거리를 가짐), 방법(400)의 설명은 3개 이상의 카메라들 사이로부터 1차 카메라를 선택하도록 확장될 수 있다는 것을 이해해야 한다.

도 4에 도시된 바와 같이, 카메라 선택 로직(300)은 단계(402)에서 초기 1차 카메라 결정을 수행하도록 구성될 수 있다. 이는, 다중-카메라 시스템이 먼저 이미지 캡처 동작들을 시작하기 위해 초기화될 때, 또는 다중-카메라 시스템이 (위에서 보다 상세히 설명된 것들과 같은) 상이한 사진촬영 모드들 사이에서 스위칭될 때 발생할 수 있다. 일부 경우들에서, 항상 선택되는 디폴트 카메라(예를 들어, 제2 카메라)(또는 각각의 사진촬영 모드에 대한 각각의 디폴트 카메라)가 있을 수 있다. 다른 경우들에서, 초기 선택은 장면 콘텐츠에 의존할 수 있다. 예를 들어, 다중-카메라 시스템은, 하나 이상의 카메라들이 라이브 프리뷰를 개시하기 전에 (예를 들어, 장면 내의 타겟 물체를 식별하거나, 초기 오토포커스, 컬러 밸런싱, 및/또는 노출 세팅들 등을 설정하기 위해) 하나 이상의 예비 이미지들을 캡처하는 시동 동작을 수행할 수 있고, 초기 1차 카메라 선택은 (예를 들어, 타겟 물체까지의 하나 이상의 물체 거리 추정치들을 살펴봄으로써) 이러한 시동 동안 발생할 수 있다.

단계(404)에서, 카메라 선택 로직(300)은, 1차 카메라를 선택하는 데 사용될 수 있는 카메라 선택 로직(300)에 대한 입력들 중 하나 이상에 기초하여 하나 이상의 스위칭오버 임계치들을 결정할 수 있다. 카메라 선택 로직(300)은 적어도 i) 적어도 하나의 카메라의 최소 물체 거리(예를 들어, 제2 카메라(106)의 최소 물체 거리) 및 ii) 물체 거리 추정치들 중 적어도 하나와 연관된 거리 오차 정보를 사용하여 (예를 들어, 룩업 테이블, 입력들과 스위칭오버 임계치(들) 사이의 미리 결정된 관계 등을 사용하여) 스위칭오버 임계치들을 결정한다. 카메라 선택 로직(300)이 주어진 스위칭오버 임계치를 결정하기 위해 단일 물체 거리 추정치와 연관된 거리 오차 정보를 사용할 수 있지만, 일부 경우들에서, 주어진 스위칭오버 임계치를 계산할 때 2개 이상의 물체 거리 추정치들과 연관된 거리 정확도 정보를 사용하는 것이 바람직할 수 있다. 일부 경우들에서, 제2 임계치는 제1 임계치에 대한 미리 정의된 수정을 사용하여 설정될 수 있지만, 본 출원의 목적을 위해, 제2 임계치는 제1 임계치를 결정하는 데 사용된 동일한 입력들을 사용하여 결정된 것으로 간주될 것이다. 카메라의 최소 물체 거리 및 거리 정확도 정보를 이용함으로써, 위에서 논의된 바와 같이, 타겟 물체가 카메라의 최소 물체 거리보다 더 가까울 때 카메라가 1차 카메라로서 선택될 임계 확률 미만으로 유지하면서, 스위칭오버 임계치(들)의 선택은 최소 물체 거리 근처에서 스위칭오버를 달성하도록 조정될 수 있다.

일부 예들에서, 카메라 선택 로직(300)은 스위칭오버 임계치들의 복수의 세트들을 계산하도록 구성될 수 있으며, 여기서 각각의 스위칭오버 임계치의 세트는 1차 카메라로서 다중-카메라 시스템(102)의 2개의 카메라들 사이의 상이한 스위칭오버를 제어하는 데 사용된다. 예를 들어, 단계(404)서 계산된 스위칭오버 임계치들은, 제2 카메라로부터 제1 카메라로 1차 카메라를 변경할지 여부를 결정하는 데 사용될 수 있는 스위칭오버 임계치들의 제1 세트 및 제1 카메라로부터 제2 카메라로 1차 카메라를 변경할지 여부를 결정하는데 사용될 수 있는 스위칭오버 임계치들의 제2 세트를 포함할 수 있다. 단계(406)에서, 카메라 선택 로직(300)은 다중-카메라 시스템의 어떤 카메라가 현재 1차 카메라인지를 결정할 수 있다. 제2 카메라가 1차 카메라인 경우, 방법은, 제2 카메라를 1차 카메라로서 유지할지 또는 1차 카메라로서 제1 카메라로 스위칭할지 여부를 결정할 수 있다. 제1 카메라가 1차 카메라인 경우, 방법은, 제1 카메라를 1차 카메라로서 유지할지 또는 1차 카메라로서 제2 카메라로 스위칭할지 여부를 결정할 수 있다.

구체적으로, 제2 카메라가 1차 카메라인 경우, 카메라 선택 로직(300)은, 단계(408)에서 하나 이상의 대상체 거리 추정치들을 스위칭오버 임계치들의 제1 세트와 비교할 수 있다. 이러한 비교가 (단계(410)에 표시된 바와 같이) 제1 스위칭오버 기준을 충족시키는 경우, 카메라 선택 로직(300)은 1차 카메라를 상이한 카메라로 스위칭할 수 있다(예를 들어, 단계(412)에서 표시된 바와 같이 1차 카메라로서 제1 카메라를 선택할 수 있다). 비교가 제1 스위칭오버 기준을 충족시키지 못하는 경우, 카메라 선택 로직(300)은 (단계(414)에 표시된 바와 같이) 제2 카메라를 1차 카메라로서 유지할 수 있다. 카메라 선택 로직(300)이 제1 카메라를 1차 카메라로서 선택하거나 또는 제2 카메라를 선택된 1차 카메라로서 유지한 후에, 카메라 선택 로직(300)은, 카메라 선택 로직(300)에 대한 입력들 중 하나 이상이 (단계(416)에서) 업데이트될 때까지(이러한 시점에 방법(400)의 새로운 반복이 단계(404)에서 다시 시작될 수 있음) 해당 카메라를 선택된 1차 카메라로서 유지할 수 있다.

하나의 바람직한 실시예에서, 스위칭오버 임계치들의 제1 세트는 제2 카메라(106)의 최소 물체 거리(122)를 사용하여 결정되는 단일 스위칭오버 임계치, 제1 카메라(104)를 사용하여 계산된 타겟 물체에 대한 제1 물체 거리 추정치(302)와 연관된 제1 거리 정확도 정보(306), 및 제2 카메라(106)를 사용하여 계산된 타겟 물체에 대한 제2 물체 거리 추정치(304)와 연관된 제2 거리 정확도 정보(308)를 포함한다. 이러한 변형예들에서, 제1 물체 거리 추정치(302) 및 제2 물체 거리 추정치(304) 각각은 (예를 들어, 단계(408)에서) 이러한 스위칭오버 임계치와 비교될 수 있고, 카메라 선택 로직(300)은, 제1 물체 거리 추정치(302) 및 제2 물체 거리 추정치(304) 중 적어도 하나가 스위칭오버 임계치 미만인 경우 제1 스위칭오버 기준이 충족되는 것으로 결정할 수 있다(그럼으로써 제1 카메라(104)로 1차 카메라를 스위칭할 수 있다).

다른 실시예들에서, 스위칭오버 임계치들의 제1 세트는 복수의 임계치들을 포함할 수 있다. 이러한 실시예들에서, 상이한 물체 거리 추정치들은 스위칭오버 임계치들의 제1 세트의 상이한 스위칭오버 임계치들과 비교될 수 있다. 예를 들어, 제1 물체 거리 추정치(302)는 제1 스위칭오버 임계치와 비교될 수 있고, 제2 물체 거리 추정치(304)는 제2 스위칭오버 임계치와 비교될 수 있다 카메라 선택 로직(300)은, 제1 물체 거리 추정치(302)가 제1 스위칭오버 임계치 미만이거나 또는 제2 물체 거리 추정치(304)가 제2 스위칭오버 임계치 미만인 경우(또는 둘 모두가 그들의 대응하는 스위칭오버 임계치 미만인 경우), 제1 스위칭오버 기준이 충족된다고 결정할 수 있다(그럼으로써 제1 카메라로 1차 카메라를 스위칭할 수 있다). 제3 카메라(108) 및/또는 깊이 센서(110)가 물체 거리 추정치들을 생성하기 위해 사용될 때, 이러한 물체 거리 추정치들은 또한 단계(408)에서 스위칭오버 임계치들의 제1 세트 중 하나 이상과 비교될 수 있으며, 이는 추가로 단계(410)에서 제1 스위칭오버 기준이 충족되는지 여부를 결정하는 데 사용될 수 있다는 것이 이해되어야 한다.

유사하게, 단계(406)에서 제1 카메라(104)가 1차 카메라일 때, 카메라 선택 로직(300)은 단계((420)에서 하나 이상의 대상체 거리 추정치들을 스위칭오버 임계치들의 제2 세트와 비교할 수 있다. 이러한 비교가 (단계(422)에 표시된 바와 같이) 제2 스위칭오버 기준을 충족시키는 경우, 카메라 선택 로직(300)은 1차 카메라를 상이한 카메라로 스위칭할 수 있다(예를 들어, 단계(424)에 표시된 바와 같이 1차 카메라로서 제2 카메라(106)를 선택할 수 있다). 비교가 제1 스위칭오버 기준을 충족시키지 못하는 경우, 카메라 선택 로직(300)은 (단계(414)에 표시된 바와 같이) 제1 카메라(104)를 1차 카메라로서 유지할 수 있다. 카메라 선택 로직(300)이 제2 카메라(106)를 1차 카메라로서 선택하거나 또는 제1 카메라(104)를 선택된 1차 카메라로서 유지한 후에, 카메라 선택 로직(300)은, 카메라 선택 로직(300)에 대한 입력들 중 하나 이상이 (단계(416)에서) 업데이트될 때까지(이러한 시점에 방법(400)의 새로운 반복이 단계(404)에서 다시 시작될 수 있음) 해당 카메라를 선택된 1차 카메라로서 유지할 수 있다.

스위칭오버 임계치들의 제2 세트는, 위에서 더 상세히 논의된 바와 같이, 단일 스위칭오버 임계치 또는 복수의 스위칭오버 임계치들을 포함할 수 있다. 예를 들어, 단계(420)는, 제1 물체 거리 추정치(302) 및 제2 물체 거리 추정치(304)를 스위칭오버 임계치들의 제2 세트로부터의 제1 스위칭오버 임계치와 비교하는 것을 포함할 수 있다. 이러한 변형예들 중 일부에서, 제2 스위칭오버 기준은, 제1 물체 거리 추정치(302) 및 제2 물체 거리 추정치(304) 둘 모두가 제1 스위칭오버 임계치보다 높은 경우 충족된다(또는 대안적으로, 제2 스위칭오버 기준은, 제1 물체 거리 추정치(302) 및 제2 물체 거리 추정치(304) 중 적어도 하나가 제1 스위칭오버 임계치보다 높은 경우 충족된다). 다른 변형예들에서, 스위칭오버 임계치들의 제2 세트는 복수의 임계치들을 포함할 수 있고, 여기서 제1 물체 거리 추정치(302)는 제2 세트의 제1 스위칭오버 임계치와 비교되고 제2 물체 거리 추정치(304)는 제2 세트의 제2 스위칭오버 임계치와 비교된다.

제1 세트의 하나 이상의 스위칭 임계치들이 제2 세트의 하나 이상의 스위칭 임계치들과 동일할 수 있지만, 스위칭 거동에 히스테리시스(hysteresis)를 추가하기 위해 제1 세트와 제2 세트 사이에 상이한 스위칭 임계치들을 선택하는 것이 바람직할 수 있다. 예를 들어, 제1 세트에 속하는 제1 스위칭 임계치(제1 세트의 유일한 스위칭 임계치일 수 있음) 및 제2 세트에 속하는 제2 스위칭 임계치(제2 세트의 유일한 스위칭 임계치일 수 있음)는, 이들이 미리 결정된 분리량(separation amount)만큼 분리되도록 선택될 수 있다. 이러한 예들 중 일부에서, 제1 스위칭 임계치는 위에서 논의된 바와 같이 (예를 들어, 적어도 하나의 최소 물체 거리 및 적어도 하나의 물체 거리 추정치로부터의 거리 오차 정보를 사용하여) 결정될 수 있고, 제2 스위칭 임계치는 미리 결정된 분리량을 제1 스위칭 임계치에 추가함으로써 결정될 수 있다. 미리 결정된 분리량은 정적일 수 있거나, 또는 시간에 따라 변할 수 있음을 이해해야 한다. 예를 들어, 미리 결정된 분리량은 디바이스 모션(예를 들어, 스위칭 임계치들을 계산하기 전에 미리 결정된 시간의 기간 동안 측정될 수 있는 디바이스의 양)에 기초하여 조정될 수 있다. 이러한 방식으로, 스위칭 거동은 (예를 들어, 디바이스가 삼각대 상에 위치될 때) 더 적은 디바이스 모션을 갖는 경우들과 비교하여 (예를 들어, 손 떨림을 통해) 더 많은 디바이스 모션이 있는 경우들에서 더 많은 히스테리시스를 갖도록 구성될 수 있다.

카메라 선택 로직은, 다른 상황들 하에서, 다중-카메라 시스템의 카메라들로부터 1차 카메라를 선택하는 상이한 방법들을 선택하고 수행하도록 구성될 수 있다는 것을 이해해야 한다. 예를 들어, 카메라 선택 로직은, (도 4와 관련하여 위에서 논의된 바와 같이) 입력들로서 다중-카메라 시스템의 다수의 카메라들로부터의 물체 거리 추정치들을 사용하는 일부 상황들 하에서 제1 방법을 선택하도록 구성될 수 있다. 카메라들 중 하나가, 해당 카메라의 위치 센서가 의도된 바와 같이 동작하지 않을 수 있을 때(예를 들어, 특정 양의 외부 자기 간섭을 겪을 때)와 같이 대응하는 물체 거리 추정치를 제공할 수 없는 경우, 카메라 선택 로직은 해당 카메라로부터의 물체 거리 추정치를 요구하지 않는 제2 방법을 선택하도록 구성될 수 있다.

도 4로 되돌아가면, 제2 카메라(106) 외의 카메라가 1차 카메라일 때, 제2 카메라(106)는 선택적으로 미리 결정된 포커스 위치에 잠길 수 있다. 이는 타겟 물체가 제2 카메라(106)의 최소 물체 거리(122) 이하인 경우들에 바람직할 수 있어서, 제2 카메라(106)는 매크로 포커스 위치 근처의 포커스 위치에서 유지될 수 있고, 이는, 타겟 물체가 제2 카메라(106)의 최소 물체 거리(122)를 넘어 이동할 때 제2 카메라(106)가 바람직한 위치에 있게 하고 카메라 선택 로직(300)은 제2 카메라(106)를 1차 카메라로서 다시 선택한다. 이러한 예들에서, 예를 들어, 타겟 물체가 제2 카메라(106)에 대한 최소 물체 거리(122) 미만에 남아 있더라도, 제2 카메라(106)의 오토포커스 성능들이 제2 카메라(106)의 포커스 위치가 매크로 포커스 위치로부터 멀어지도록 이동된다고 잘못 계산하는 경우들에서 제2 카메라(106)가 미리 결정된 포커스 위치로부터 멀어지도록 이동하는 것이 방지된다.

단계(406) 후에 발생하는 것으로서 도 4에서 단계(418)로 도시되지만, 이러한 잠금은, (예를 들어, 단계(412) 직후에) 상이한 카메라(예를 들어, 제1 카메라(102))가 1차 카메라로서 선택된 이후의 임의의 시간에 발생할 수 있다는 것을 이해해야 한다. 제2 카메라(106)가 미리 결정된 포커스 위치에 잠길 때, 이러한 미리 결정된 포커스 위치는 바람직하게는 제2 카메라(106)에 대한 매크로 포커스 위치 (즉, 제2 카메라에 대한 최소 물체 거리와 연관된 포커스 위치)이지만, 다른 미리 결정된 포커스 위치들이 사용될 수 있다. 제2 카메라는, 제2 카메라(106)가 1차 카메라인 것이 중단될 때(예를 들어, 제1 카메라(104)가 1차 카메라로서 선택될 때) 미리 결정된 포커스 위치에 자동으로 잠길 수 있거나, 또는 제2 카메라(106)가 1차 카메라인 것이 중단되는 것에 더하여 하나 이상의 잠금 기준이 충족되는 경우에만 잠길 수 있다. 예를 들어, 일부 변형예들에서, 하나 이상의 잠금 기준은, 깊이 센서(110)로부터의 물체 거리 추정치(314)가 임계 잠금 거리 미만일 때 만족될 수 있다(그리고 제2 카메라(106)는 미리 결정된 포커스 위치에 잠길 수 있다). 이러한 변형예들 중 일부에서, 제2 카메라(106)가 1차 카메라로서 다시 선택될 때까지(그리고 따라서 포커스 위치가 타겟 물체에 포커싱하도록 조정될 수 있을 때까지) 및/또는 하나 이상의 해제(release) 조건이 충족될 때까지 미리 결정된 포커스 위치로부터 해제되지 않을 수 있다. 예를 들어, 제2 카메라(106)는, 깊이 센서(110)로부터의 깊이 물체 추정치(314)가 임계 잠금해제 거리를 초과하는 경우, (심지어 1차 카메라가 아닌 동안에도) 미리 결정된 포커스 위치로부터 해제될 수 있다. 일부 경우들에서, 임계 잠금 거리와 임계 잠금해제 거리 사이에 미리 결정된 간격이 있을 수 있으며, 이는 제2 카메라에 대한 잠금 거동에 일부 히스테리시스를 추가할 수 있다.

카메라 선택 로직(300)이 1차 카메라로서 새로운 카메라를 선택할 때, 일부 예들에서, 1차 카메라들 사이에 즉각적인 스위칭오버가 존재하지 않을 수 있다는 것이 이해되어야 한다. 구체적으로, 위에서 논의된 방법(400)의 단계(412 또는 424)(또는 단계(412) 및 단계(424) 둘 모두)는 현재의 1차 카메라로부터 새롭게 선택된 1차 카메라로 전환하는 전환 하위-단계를 포함할 수 있다. 이는, 새롭게 선택된 1차 카메라가 하나 이상의 전환 기준들을 충족할 때(이러한 시점에서 1차 카메라가 새롭게 선택된 1차 카메라로 스위칭됨)까지 현재의 1차 카메라를 1차 카메라로서 유지하는 것을 포함할 수 있다. 일부 변형예들에서, 1차 카메라는 전환 단계 동안 타겟 물체에 포커싱하도록 지향될 것이고, 전환 기준은, 새롭게 선택된 1차 카메라가 타겟 물체에 포커싱했는지(또는 현재의 1차 카메라보다 타겟 물체에 더 밀접하게 포커싱되었는지) 여부를 결정하는 것을 포함할 수 있다.

예로서 단계(412)를 사용하면, 카메라 선택 로직(300)이 제1 카메라(104)가 1차 카메라가 되어야 함을 결정하는 순간에, 제1 카메라(104)는 아직 타겟 물체(또는 심지어 근처에)에 포커싱되지 않았을 수 있다. 카메라 선택 로직(300)이 1차 카메라로서 제1 카메라(104)로 즉시 스위칭한 경우, 라이브 프리뷰의 타겟 물체는, 라이브 프리뷰가 제2 카메라(106)로부터의 이미지 프레임들을 계속해서 보여주는 경우보다 더 흐릿하게 될 수 있으며, 이는 바람직하지 않은 사용자 경험일 수 있다. 이를 해결하기 위해, 선택 로직(300)은, 제1 카메라(104)가 전환 기준을 충족시킬 때(이러한 시점에 1차 카메라가 제1 카메라(104)로 스위칭됨)까지 제2 카메라(106)가 1차 카메라로서 유지되는 전환 단계를 개시할 수 있다. 일부 변형예들에서, 이러한 전환 기준은, (타겟 물체가, 타겟 물체가 제2 카메라(106)에 의해 캡처된 이미지에 있을 것과 같이 적어도 제1 카메라(104)로부터의 이미지들에서 포커스가 맞춰질 것이라는 의도로) 제1 카메라(104)가 제2 카메라(106)의 현재 포커스 위치에 대응하는 포커스 위치를 달성했는지 여부일 수 있다. 다른 변형예들에서, 전환 기준은, 제1 카메라(104)가 타겟 물체에 대응하는 포커스 위치를 달성했는지 여부(즉, 제1 카메라(104)가 타겟 물체에 포커싱되었는지 여부)일 수 있다.

이러한 전환 단계 동안, 새롭게 선택된 1차 카메라는 임의의 적합한 방식으로 타겟 물체 상의 타겟에 포커싱할 수 있음을 이해해야 한다. 일부 경우들에서, 새롭게 선택된 1차 카메라는 해당 카메라의 오토포커스 성능들을 사용하여(예를 들어, 위에서 단계(412)에서 논의된 제1 카메라(104)의 오토포커스 성능들을 사용하여) 타겟 물체에 포커싱할 수 있다. 다른 경우들에서, 새롭게 선택된 1차 카메라는 새롭게 선택된 1차 카메라를 포커싱하기 위해 도 5 및 도 6과 관련하여 아래에서 논의되는 오토포커스 보조 기술들 중 하나 이상을 사용할 수 있다. 구체적으로, 아래에서 더 상세히 논의되는 바와 같이, (포커스 관계 모듈과 함께 사용될 수 있는) 외삽된 포커스 위치를 계산하기 위해 뎁스-프롬-디포커스(depth-from-defocus)를 사용하는 것은, 다른 오토포커스 기술이 이용가능하지 않을 수 있는 짧은 대상체 거리들에서 특히 유용성을 가질 수 있다. 예를 들어, 일부 경우들에서, 이러한 오토포커스 보조 기술들은 새롭게 선택된 카메라의 포커스 위치를 설정하는 데 사용될 수 있거나, 또는, (아래에서 더 상세하게 논의되는 바와 같이) 카메라가 부분 스캔을 수행하도록 프롬프트하기 위해 사용될 수 있으며, 여기서 부분 스캔의 파라미터들은 오토포커스 보조 기술들로부터 적어도 부분적으로 기초한다.

전환 단계 동안, 현재의 1차 카메라가 미리 결정된 포커스 위치에 잠길 수 있음을 또한 이해해야 한다. 예를 들어, 1차 카메라로서 제2 카메라(106)로부터 제1 카메라(104)로 전환할 때, 제2 카메라(106)는, 제1 카메라(104)가 위에서 논의된 전환 기준을 충족시킬 때까지 (바람직하게는 제2 카메라(106)에 대한 매크로 포커스 위치일 수 있는) 미리 결정된 포커스 위치에 잠길 수 있다. 전환 단계가 완료되었을 때(그리고 제2 카메라(106)가 더 이상 1차 카메라가 아닐 때), 제2 카메라(106)는 해제될 수 있거나 또는 단계(418)에 대해 위에서 논의된 바와 같이 제2 카메라(106)는 미리 결정된 포커스 위치에 잠길 수 있다. 전환 단계 동안 제2 카메라(106)가 잠기는 미리 결정된 포커스 위치는, 제1 카메라(104)가 1차 카메라가 된 후에 제2 카메라(106)가 잠기는 미리 결정된 포커스 위치와 동일하거나 또는 상이할 수 있다.

포커스 관계 오토포커스

또한, 타겟 물체가 카메라에 대한 최소 물체 거리보다 더 가깝게 위치되는 경우들에서 다중-카메라 시스템의 카메라를 사용하여 타겟 물체까지의 물체 거리 추정치를 계산하기 위한 기술들이 본 명세서에 설명된다. 거리 물체 추정치는 카메라가 미리 결정된 포커스 위치에 홀딩되는 동안 타겟 물체와 연관된 디포커스 정보를 측정함으로써 계산될 수 있다. 일부 경우들에서, 이러한 거리 물체 추정치는, 위에서 더 상세히 설명된 바와 같이, 다중-카메라 시스템의 1차 카메라를 선택하기 위한 카메라 선택 로직에 대한 입력으로서 사용될 수 있다. 추가적으로 또는 대안적으로, 거리 물체 추정치는 (위에서 언급된 바와 같은) 외삽된 포커스 위치를 결정하는 데 사용될 수 있으며, 이는 결과적으로 다중-카메라 시스템의 상이한 카메라의 포커스 위치를 설정하는 것을 돕는 데 사용될 수 있다.

예를 들어, (예를 들어, 전술한 바와 같이 라이브 프리뷰 및/또는 캡처 미디어를 생성하기 위해) 1차 카메라로 이미지들을 캡처할 때, 1차 카메라의 오토포커스 성능들은 특정 상황들에서 제한된 적용성을 가질 수 있다. 예를 들어, 콘트라스트 기반 오토포커스 기술들은 통상적으로, 사용자 경험에 지장을 줄 수 있고 PDAF와 같은 다른 오토포커스 기술들과 비교할 때 상대적으로 느릴 수 있는 포커스 위치들의 범위를 통해 카메라를 스캔하는 것을 요구한다. 반면에, PDAF는 낮은 광 조건들에서 또는 타겟 물체가 편평한 텍스처를 가질 때(이는 상이한 비대칭 픽셀들 사이의 위상 차이를 측정하는 것을 더 어렵게 만들 수 있음) 어려움들에 직면할 수 있다. 따라서, 이러한 경우들에서 1차 카메라에 대한 포커스 위치를 설정하는 것을 도울 수 있는 추가 정보를 획득하는 것이 바람직할 수 있다.

예를 들어, 일부 경우들에서, 깊이 센서(예를 들어, 도 1a 내지 도 1d와 관련하여 전술한 다중-카메라 시스템(102)의 깊이 센서(110))로부터의 깊이 정보는 (위에서 더 상세하게 논의된 바와 같이) 타겟 물체에 대한 물체 깊이 추정치를 제공하는 데 사용될 수 있으며, 이는 결과적으로 1차 카메라에 대한 포커스 위치를 설정하는 데 사용될 수 있다. 1차 카메라가 깊이 센서의 동작 범위의 최소 거리 미만에 또는 그 근처에 있는 타겟 물체를 이미징하는 경우, 깊이 정보는 1차 카메라에 대한 포커스 위치를 설정하는 데 사용될 수 없거나 또는 충분히 신뢰할 수 없을 수 있다.

다른 경우들에서, 제2 카메라에 대한 포커스 위치를 설정하는 것을 돕기 위해 제1 카메라로부터의 포커스 위치 정보를 사용하는 것이 바람직할 수 있다. 예를 들어, 이로써 그 전체가 본 명세서에 참조로서 포함된 "Primary-subordinate camera focus based on lens position sensing"이라는 명칭의 미국 특허 US10,429,608호는, 제1 포커스 위치에서 대상체에 포커싱하기 위해 제1 카메라를 사용하고, 그런 다음 (예컨대, 제1 카메라와 제2 카메라 사이의 "포커스 관계"를 사용하여) 제1 포커스 위치에 적어도 부분적으로 기초하여 제2 카메라에 대한 제2 포커스 위치를 선택하는 것을 논의한다. 이러한 기술은 많은 경우들에 유익할 수 있지만, 대상체가 제1 카메라에 대한 최소 물체 거리보다 작은 경우에 이용가능하지 않을 수 있다(그리고 따라서 제1 카메라는 대상체에 포커싱할 수 없다). 따라서, 본 명세서에 설명된 기술들은, 이러한 다른 오토포커스 보조 기술이 이용가능하지 않을 수 있는 경우들에서 특히 유용성을 가질 수 있다.

도 5는, 제2 카메라에 의해 측정된 디포커스 정보를 사용하는 것에 적어도 부분적으로 기초하여 제1 카메라가 타겟 물체에 포커싱하게 할 수 있는 포커스 제어 로직(500)의 일 실시예를 도시한다. 예시의 목적을 위해, 이러한 포커스 제어 로직(500)은 본 명세서에서 다중-카메라 시스템(102)의 제1 카메라(104) 및 제2 카메라(106)와 함께 사용되는 것으로 논의된다. 도시된 바와 같이, 제2 카메라(106)는 PDAF를 수행하도록 구성될 수 있고, 제2 카메라(106)의 시야(122)의 복수의 지점들과 연관된 포커스 정보를 생성하도록 구성될 수 있는 PDAF 프로세싱 모듈(502)을 포함할 수 있다. 이러한 포커스 정보는, 들어오는 광이 장면 내의 주어진 지점에서 어떻게 포커싱/디포커싱되는지를 나타내는 포커스 값을 포함할 수 있다.

일부 경우들에서, PDAF 프로세싱 모듈(502)로부터의 포커스 정보는 포커스 위치 제어기(504)를 사용하여 제2 카메라(106)의 포커스 위치를 설정하는 데 사용될 수 있다. 구체적으로, 포커스 위치 제어기(504)는 (예를 들어, 제2 카메라(106)의 이미지 센서 및/또는 렌즈를 이동시키기 위해 액추에이터를 제어함으로써) 제2 카메라(106)의 포커스 위치를 제어할 수 있고, 또한 제2 카메라(106)의 현재 포커스 위치를 측정할 수 있다. 포커스 위치 제어기(504)는, 제2 카메라(106)를 타겟 물체에 포커싱하기 위해 PDAF 프로세싱 모듈(502)로부터의 포커스 정보를 사용하여 제2 카메라(106)의 포커스 위치를 조정하기 위해 PDAF를 수행하도록 구성될 수 있다.

포커스 위치 제어기(504)는, 예를 들어, 도 3과 관련하여 전술한(그리고 도 5에 부분적으로 재현된) 카메라 선택 로직(300)에 의해 수신되며 그리고 (출력(318)에서) 1차 카메라를 선택하는 데 사용되는 제2 물체 거리 측정치(304)일 수 있는, 측정된 포커스 위치(또는 이로부터 도출된 물체 거리)를 카메라 선택 로직에 대한 입력으로서 제공할 수 있다는 것을 이해해야 한다. 카메라 선택 로직(300)은, 결과적으로, 제2 카메라를 타겟 포커스 위치로 설정할 수 있는 포커스 위치 제어기(504)에 타겟 포커스 위치를 (출력(320)에서) 제공할 수 있다. 이는, 예를 들어, 카메라 선택 로직이 도 4와 관련하여 위에서 논의된 바와 같이 제2 카메라를 미리 결정된 포커스 위치에 잠그도록 구성될 때 수행될 수 있다.

제2 카메라(106)는, PDAF 프로세싱 모듈(502)로부터 포커스 정보를 수신하고 포커스 위치 제어기(504)로부터 현재 포커스 위치를 수신하는 뎁스-프롬-디포커스 모듈(506)을 더 포함할 수 있고, PDAF 프로세싱 모듈로부터 수신된 포커스 정보 내의 디포커스의 양에 기초하여, 깊이 맵과 같은 거리 정보를 생성할 수 있다. 구체적으로, 제2 카메라(106)의 각각의 포커스 위치에 대해, 디포커스와 장면 거리 사이에 미리 결정된 관계가 있을 수 있다. 디바이스 교정 동안 실험적으로 결정될 수 있는 이러한 미리 결정된 관계는, 장면 내의 지점에 대한 디포커스 정보를 장면 내의 해당 지점에 대한 거리로 변환하는 데 사용될 수 있다.

일부 경우들에서, 뎁스-프롬-디포커스 모듈(506)은, 1차 카메라를 선택하는 데 있어서 카메라 선택 로직에 의해 사용될 수 있는 제2 카메라(106)로부터의 물체 거리 추정치(304)로서 카메라 선택 로직(300)에 제공될 수 있는 타겟 물체와 연관된 거리 정보를 생성하는 데 사용될 수 있다. 유사하게, 뎁스-프롬-디포커스 모듈(506)은, 뎁스-프롬-디포커스 모듈(506)에 의해 생성되는 (도 3과 관련하여 이상에서 상세하게 논의된 바와 같은) 깊이 정보와 연관된 거리 오차 정보를 출력하도록 구성될 수 있다. 이러한 거리 오차 정보는, 입력(도 5a에 도시되지 않음)으로서 카메라 선택 로직(300)에 의해 수신되는 제2 카메라(106)로부터의 물체 거리 추정치(304)와 연관된 깊이 오차 정보(308)일 수 있다.

다른 경우들에서, 뎁스-프롬-디포커스 모듈(506)은 포커스 제어 로직(500)으로 거리 정보를 출력할 수 있다. 도시된 바와 같이, 포커스 제어 로직(500)은 다중-카메라 시스템의 하나 이상의 카메라들을 포커싱하는 것을 도울 수 있는 복수의 모듈들을 포함할 수 있다. 예를 들어, 도 5에 도시된 바와 같은 포커스 제어 로직(500)의 변형예에서, 포커스 제어 로직(500)은 제1 카메라(104)의 포커스 위치 제어기(512)로 타겟 포커스 위치 및/또는 하나 이상의 포커싱 명령어들을 제공할 수 있다. 2개의 모듈들(깊이 센서 보조 모듈(508) 및 포커스 관계 모듈(510))이 도 5에 도시되어 있지만, 포커스 제어 로직(500)은 더 많거나 또는 더 적은 모듈들을 포함할 수 있다는 것을 이해해야 한다. 포커스 제어 로직(500)은 상이한 상황들 하에서 상이한 모듈들을 활용할 수 있고, 타겟 포커스 위치 및/또는 하나 이상의 포커싱 명령어들을 제1 카메라(104)의 포커스 위치 제어기(512)에 제공하는 데 있어서 다양한 모듈들의 출력들을 우선순위화하거나 또는 조합할 수 있다. 또한, 포커스 제어 로직(500)이 제1 카메라(104)를 포커싱하는 것을 돕는 것으로만 도 5에 도시되어 있지만, 포커스 제어 로직(500)(또는 상이한 포커스 제어 로직들)은 다중-카메라 시스템(102)의 다른 카메라들을 포커싱하는 것을 돕기 위해 사용될 수 있다는 것을 이해해야 한다.

포커스 제어 로직(500)이 깊이 센서 보조 모듈(508)을 포함하는 변형예들에서, 깊이 센서 보조 모듈(508)은 깊이 센서(110)로부터 거리 정보(예를 들어, 타겟 물체까지의 물체 거리 추정치)를 수신할 수 있고, 깊이 센서 보조 모듈(508)은 깊이 센서(110)부터 수신된 거리 정보에 대응하는 제1 카메라(104)에 대한 타겟 포커스 위치를 선택할 수 있다.

포커스 제어 로직(500)이 포커스 관계 모듈(508)을 포함하는 변형예들에서, 제2 카메라(106)는 (예를 들어, 위에서 더 상세하게 설명된 바와 같은 오토포커스 기술을 이용하여) 타겟 물체에 포커싱할 수 있으며, 타겟 물체가 포커스가 맞춰질 때 포커스 위치 제어기(504)를 사용하여 포커스 위치를 측정할 수 있다. 제2 카메라(106)의 이러한 측정된 포커스 위치는, 제1 카메라(104)를 타겟 물체에 포커싱하기 위해 제1 카메라(104)에 대한 타겟 포커스 위치를 선택할 수 있는 포커스 관계 모듈(508)로 제공될 수 있다. 포커스 관계 모듈은, 제2 카메라의 포커스 위치들을 제1 카메라 상의 각각의 타겟 포커스 위치들에 매핑하는 (그 전체가 이전에 참조로서 포함된 미국 특허 US10,429,608호에서 논의된 포커스 관계와 같은) 미리 결정된 관계를 사용할 수 있다.

전술한 바와 같이, 타겟 물체가 제2 카메라(106)의 최소 물체 거리(122)보다 작을 때, 제2 카메라(106)는 타겟 물체에 포커싱할 수 없을 것이며, 따라서 포커스 위치 제어기(504)에 의해 측정된 임의의 포커스 위치는 포커스 관계 모듈(510)을 사용하여 제1 카메라(104)에 대한 타겟 포커스 위치를 생성하는 데 정확하지 않을 것이다. 이를 해결하기 위해, (위에서 논의된 바와 같이, PDAF 프로세싱 모듈(502)로부터의 포커스 정보 및 포커스 위치 제어기(504)로부터의 측정된 포커스 위치로부터 생성되는) 뎁스-프롬-디포커스 모듈(506)에 의해 생성되는 타겟 물체에 대한 거리 정보가 (위에서 논의된 바와 같이, 카메라가 타겟 물체에 포커싱할 수 있는 가상적 포커스 위치를 나타내는) 외삽된 포커스 위치를 생성하는 데 사용될 수 있다. (매크로 포커스 위치를 넘어 있을 수 있고, 따라서 제2 카메라(106)에 의해 달성가능한 포커스 위치가 아닐 수 있는) 이러한 외삽된 포커스 위치는, 그런 다음 제1 카메라(104)에 대한 타겟 포커스 위치를 생성하기 위해 포커스 위치 제어기(504)로부터의 측정된 포커스 위치 대신에 포커스 관계 모듈(510)에 의해 사용될 수 있다. 포커스 관계 모듈(510)은 또한, 도 6과 관련하여 아래에서 설명될 바와 같이, 포커스 관계 모듈(510)이 제1 카메라를 포커싱하는 것을 보조하는 방법에 영향을 줄 수 있는, 거리 정확도 정보를 뎁스-프롬-디포커스 모듈(506)로부터 수신할 수 있다.

도 6은, 다중-카메라 시스템의 카메라로부터의 디포커스 정보를 사용하여 타겟 물체에 대한 물체 거리 추정치를 계산하는 방법(600)의 일 실시예를 나타내는 흐름도를 도시한다. 방법(600)은, 다중-카메라 시스템의 다른 카메라를 포커싱하는 것을 보조하기 위해 카메라로부터의 물체 거리 추정치를 더 사용할 수 있다. 예시의 목적을 위해, 방법(600)은 도 1a 내지 도 1d와 관련하여 위에서 논의된 다중-카메라 시스템(102)의 제1 카메라(104) 및 제2 카메라(106)의 관점에서 설명될 것이다.

방법(600)은 처음에 단계(602)에서, 제2 카메라(106)의 포커스 위치가 미리 결정된 포커스 위치에서 유지되고 있는지 여부를 결정할 수 있다. 일부 경우들에서, 이는, (위에서 보다 상세히 논의된 바와 같이) 제2 카메라(106)가 1차 카메라가 아닐 때 카메라 선택 로직(300)이 제2 카메라(106)의 포커스 위치를 잠글 때와 같이, (즉, 포커스 위치가 장면 내의 변화들의 함수로서 변화하지 않도록) 제2 카메라(106)가 포커스 위치에 잠겼다고 결정하는 것을 포함할 수 있다. 다른 경우들에서, 미리 결정된 포커스 위치는 제2 카메라에 대한 매크로 포커스 거리이고, 제2 카메라(106)가 미리 결정된 포커스 위치에서 유지되고 있는지 여부를 결정하는 단계는 타겟 물체가 제2 카메라(106)의 최소 물체 거리(122)보다 더 가까운지 여부를 결정하는 단계를 포함한다. 예를 들어, 제2 카메라(106)의 오토포커스 동작은 제2 카메라(106)의 최소 물체 거리(122)보다 더 가까운 타겟 물체에 포커싱하려고 할 때 제2 카메라(106)를 매크로 포커스 위치에 설정할 수 있고, 제2 카메라(106)는, 타겟 물체가 제2 카메라(106)의 최소 물체 거리(122)보다 더 가까이 있는 동안 매크로 포커스 위치에 남아 있을 수 있다.

제2 카메라(106)가 미리 결정된 포커스 위치에서 유지되지 않는 경우, 제2 카메라(106)는 단계(604)서 오토포커스 기술을 사용하여 타겟 물체에 포커싱할 수 있다. 제2 카메라(106)가 타겟 물체에 포커싱할 때, 제2 카메라(106)의 포커스 위치는 단계(606)에서 결정될 수 있다. 이러한 포커스 위치는 단계(608)에서와 같이 제1 카메라(104)를 포커싱하는 것을 돕기 위해 사용될 수 있으며, 여기서 제1 카메라는 단계(606)에서 결정된 포커스 위치에 적어도 부분적으로 기초하여 (예를 들어, 도 5와 관련하여 전술한 카메라 포커스 로직(500)의 포커스 관계 모듈(508)을 사용하여) 포커싱된다.

반대로, 제2 카메라(106)가 미리 결정된 포커스 위치에서 유지되는 경우, 제2 카메라(106)는 단계(610)에서 타겟 물체(일부 경우들에서, 제2 카메라(106)의 최소 물체 거리(122)보다 더 가깝게 위치될 수 있음)에 대한 디포커스 정보를 측정할 수 있다. 이는, 예를 들어, 위에서 논의된 PDAF 프로세싱 모듈(502)을 사용하여 수행될 수 있다. 단계(612)에서, 타겟 물체까지의 물체 거리 추정치는 디포커스 정보 및 미리 결정된 포커스 위치를 사용하여 계산될 수 있다(예를 들어, 도 5와 관련하여 전술한 뎁스-프롬-디포커스 모듈(508)이 이러한 계산을 수행할 수 있다).

또한, 위에서 더 상세히 논의된 바와 같이, 단계(614)에서 제2 카메라에 대한 외삽된 포커스 위치를 계산하기 위해 물체 거리 추정치가 사용될 수 있다. 이러한 외삽된 포커스 위치는 단계(616)에서와 같이 제1 카메라(104)를 포커싱하는 것을 돕기 위해 사용될 수 있으며, 여기서 제1 카메라는 단계(614)에서 계산된 외삽된 포커스 위치에 적어도 부분적으로 기초하여 (예를 들어, 도 5와 관련하여 전술한 카메라 포커스 로직(500)의 포커스 관계 모듈(508)을 사용하여) 포커싱된다.

일부 변형예들에서, 단계(616)는, 단계(618)에서 하나 이상의 포커스 선택 기준과 비교될 수 있는 물체 거리 추정치와 연관된 거리 오차 정보를 비교하는 단계를 더 포함할 수 있다. 거리 오차 정보가 포커스 선택 기준을 만족시키는 경우, 제1 카메라(102)는 단계(620)에서 타겟 포커스 위치(이는 차례로 위에서 논의된 바와 같은 외삽된 포커스 위치에 기초하여 계산될 수 있음)로 설정될 수 있다. 거리 오차 정보가 포커스 선택 기준을 만족시키지 않는 경우, 제1 카메라(102)는 부분 스캔(예를 들어, 부분 CBAF 스캔)을 수행하도록 구성될 수 있으며, 여기서 부분 스캔의 경계들은 외삽된 포커스 위치에 기초하여 결정될 수 있다. 이러한 방식으로, 일부 경우들에서(예컨대, 물체 거리 추정치의 정확도에 더 높은 신뢰도가 존재할 때) 제2 카메라의 외삽된 포커스 위치는 제1 카메라의 포커스 위치를 직접 설정하기 위해 사용될 수 있으며, 다른 경우들에서(예컨대, 물체 거리 추정치의 정확도에 더 낮은 신뢰도가 존재할 때) 외삽된 포커스 위치는 제1 카메라의 포커스 위치의 선택을 가이드할 수 있다.

전술한 설명은, 설명의 목적을 위해, 설명된 실시예들의 충분한 이해를 제공하기 위해 특정 명명법을 사용한다. 그러나, 특정 상세사항들은 설명되는 실시예들을 실시하는 데 필수적인 것은 아니라는 것이, 본 설명을 읽은 후에, 통상의 기술자에게 명백할 것이다. 따라서, 본 명세서에 설명된 특정 실시예들의 전술한 설명들은 예시 및 설명의 목적들을 위해 제시된다. 이들은 총망라하고자 하거나 실시예들을 개시된 정확한 형태들로 제한하려고 하는 것은 아니다. 많은 수정예들 및 변형들이 상기 교시 내용들에 비추어 가능하다는 것이, 본 설명을 읽은 후에, 통상의 기술자에게 명백할 것이다.

[청구항 1]

타겟 물체의 이미지 캡처 동안 1차 카메라로서 다중-카메라 시스템의 제1 카메라와 제2 카메라 사이에서 선택하기 위한 방법으로서, 상기 제1 카메라는 제1 최소 물체 거리를 가지며 상기 제2 카메라는 제2 최소 물체 거리를 가지고, 상기 방법은,

상기 제1 카메라를 사용하여 상기 타겟 물체에 대한 제1 물체 거리 추정치를 결정하는 단계로서, 상기 제1 물체 거리 추정치는 제1 거리 오차 정보와 연관되는, 상기 제1 물체 거리 추정치를 결정하는 단계;

상기 제2 카메라를 사용하여 상기 타겟 물체에 대한 제2 물체 거리 추정치를 결정하는 단계로서, 상기 제2 물체 거리는 제2 거리 오차 정보와 연관되는, 상기 제2 물체 거리 추정치를 결정하는 단계; 및

카메라 선택 로직을 사용하여, 상기 제1 물체 거리 추정치, 상기 제2 물체 거리 추정치, 상기 제1 거리 오차 정보, 상기 제2 거리 오차 정보, 및 상기 제2 최소 물체 거리를 사용하여 상기 1차 카메라로서 상기 제1 카메라 및 상기 제2 카메라 중 하나를 선택하는 단계를 포함하는, 방법.

[청구항 2]

제1항에 있어서, 상기 다중-카메라 시스템은 깊이 센서를 포함하며, 상기 방법은 상기 깊이 센서를 사용하여 상기 타겟 물체에 대한 제3 물체 거리 추정치를 결정하는 단계를 더 포함하는, 방법.

[청구항 3]

제2항에 있어서, 상기 제3 물체 거리 추정치가 제1 임계 거리 미만일 때 상기 제2 카메라의 포커스 위치를 미리 결정된 위치에 홀딩하는 단계를 더 포함하는, 방법.

[청구항 4]

제1항에 있어서, 상기 1차 카메라로서 상기 제1 카메라 및 상기 제2 카메라 중 하나를 선택하는 단계는, 상기 제1 거리 오차 정보, 상기 제2 거리 오차 정보, 및 상기 제2 최소 물체 거리를 사용하여 제1 스위칭 임계 거리를 설정하는 단계를 포함하는, 방법.

[청구항 5]

제4항에 있어서, 상기 1차 카메라로서 상기 제1 카메라 및 상기 제2 카메라 중 하나를 선택하는 단계는, 상기 제1 물체 거리 추정치 또는 상기 제2 물체 거리 추정치가 상기 제1 스위칭 임계 거리 미만일 때 상기 제1 카메라를 상기 1차 카메라로서 선택하는 단계를 포함하는, 방법.

[청구항 6]

제4항에 있어서, 상기 1차 카메라로서 상기 제1 카메라 및 상기 제2 카메라 중 하나를 선택하는 단계는 상기 제1 스위칭 임계 거리보다 긴 제2 스위칭 임계 거리를 설정하는 단계를 포함하고, 상기 방법은 상기 제1 물체 거리 추정치 및 상기 제2 물체 거리 추정치 둘 모두가 상기 제2 스위칭 임계 거리보다 클 때 상기 제2 카메라를 상기 1차 카메라로서 선택하는 단계를 더 포함하는, 방법.

[청구항 7]

제1항에 있어서, 상기 제2 최소 물체 거리는 상기 제2 카메라의 계산된 배향에 기초하여 동적으로 변경되는, 방법.

[청구항 8]

디바이스로서,

제1 최소 물체 거리 및 제1 시야를 갖는 제1 카메라 및 제2 최소 물체 거리 및 제2 시야를 갖는 제2 카메라를 포함하는, 다중-카메라 시스템; 및

1차 카메라로서 상기 제1 카메라 또는 상기 제2 카메라를 선택하도록 구성된 카메라 선택 로직을 포함하며, 상기 카메라 선택 로직은,

상기 제1 카메라로부터 제1 물체 거리 인스턴스(instance) 및 제1 물체 거리 추정치와 연관된 제1 거리 오차 정보를 수신하고;

상기 제2 카메라로부터 제2 물체 거리 인스턴스 및 제2 물체 거리 추정치와 연관된 제2 거리 오차 정보를 수신하며;

상기 제2 최소 물체 거리를 수신하고; 그리고

상기 제1 물체 거리 추정치, 상기 제2 물체 거리 추정치, 상기 제1 거리 오차 정보, 상기 제2 거리 오차 정보, 및 상기 제2 최소 물체 거리를 사용하여 상기 1차 카메라를 선택하도록 추가로 구성되는, 디바이스.

[청구항 9]

제8항에 있어서, 상기 제1 최소 물체 거리는 상기 제2 최소 물체 거리보다 짧고, 상기 제1 시야는 상기 제2 시야를 완전히 포함하는, 디바이스.

[청구항 10]

제8항에 있어서, 상기 다중-카메라 시스템은 제3 물체 거리 추정치를 생성하도록 구성된 깊이 센서를 더 포함하는, 디바이스.

[청구항 11]

제10항에 있어서, 상기 다중-카메라 시스템은 상기 제3 물체 거리 추정치가 제1 임계 거리 미만일 때 상기 제2 카메라의 포커스 위치를 미리 결정된 위치에 홀딩하도록 구성되는, 디바이스.

[청구항 12]

제8항에 있어서, 상기 1차 카메라를 선택하는 것은 상기 제1 거리 오차 정보, 상기 제2 거리 오차 정보, 및 상기 제2 최소 물체 거리를 사용하여 제1 스위칭 임계 거리를 설정하는 것을 포함하는, 디바이스.

[청구항 13]

제12항에 있어서, 상기 1차 카메라를 선택하는 것은 상기 제1 물체 거리 추정치 또는 상기 제2 물체 거리 추정치가 상기 제1 스위칭 임계 거리 미만일 때 상기 제1 카메라를 상기 1차 카메라로서 선택하는 것을 포함하는, 디바이스.

[청구항 14]

제12항에 있어서, 상기 1차 카메라를 선택하는 것은 상기 제1 스위칭 임계 거리보다 긴 제2 스위칭 임계 거리를 설정하는 것을 포함하고, 상기 디바이스는 상기 제1 물체 거리 추정치 및 상기 제2 물체 거리 추정치 둘 모두가 상기 제2 스위칭 임계 거리보다 클 때 상기 제2 카메라를 상기 1차 카메라로서 선택하는 것을 더 포함하는, 디바이스.

[청구항 15]

타겟 물체의 이미지 캡처 동안 1차 카메라로서 다중-카메라 시스템의 복수의 카메라들 사이에서 선택하기 위한 방법으로서, 상기 복수의 카메라들의 각각은 각각의 최소 물체 거리를 가지며, 상기 방법은,

상기 복수의 카메라들 중 적어도 하나를 사용하여 상기 타겟 물체에 대한 적어도 하나의 물체 거리 추정치를 결정하는 단계로서, 상기 적어도 하나의 물체 거리 추정치들의 각각은 각각의 거리 오차 정보와 연관되는, 상기 적어도 하나의 물체 거리 추정치를 결정하는 단계; 및

카메라 선택 로직을 사용하여,

상기 적어도 하나의 물체 거리 추정치,

상기 적어도 하나의 물체 거리 추정치들의 각각과 연관된 상기 각각의 거리 오차 정보, 및

상기 복수의 카메라들의 상기 각각의 최소 물체 거리들 중 적어도 하나의 최소 물체 거리를 사용하여 상기 복수의 카메라들로부터 상기 1차 카메라를 선택하는 단계를 포함하는, 방법.

[청구항 16]

제15항에 있어서, 상기 각각의 최소 물체 거리들 중 상기 적어도 하나의 최소 물체 거리의 제1 최소 물체 거리를 업데이트하는 단계, 및 상기 업데이트된 제1 최소 물체 거리를 사용하여 상기 1차 카메라를 선택하는 단계를 더 포함하는, 방법.

[청구항 17]

제15항에 있어서, 상기 적어도 하나의 물체 거리 추정치들의 각각과 연관된 상기 각각의 거리 노력(effort) 정보의 제1 거리 오차 정보를 업데이트하는 단계, 및 상기 업데이트된 제1 거리 오차 정보를 사용하여 상기 1차 카메라를 선택하는 단계를 더 포함하는, 방법.

[청구항 18]

제15항에 있어서, 상기 다중-카메라 시스템은 깊이 센서를 더 포함하고, 상기 카메라 선택 로직을 사용하여 상기 1차 카메라를 선택하는 단계는 상기 깊이 센서로부터의 제1 물체 거리 추정치를 사용하여 상기 1차 카메라를 선택하는 단계를 더 포함하는, 방법.

[청구항 19]

제18항에 있어서, 상기 제1 물체 거리 추정치가 제1 임계 거리 미만일 때 상기 복수의 카메라들 중 제1 카메라의 포커스 위치를 미리 결정된 위치에 홀딩하는 단계를 더 포함하는, 방법.

[청구항 20]

제15항에 있어서, 상기 카메라 선택 로직을 사용하여, 상기 복수의 카메라들의 각각에 대해 포커스 위치들을 설정하는 단계를 더 포함하는, 방법.

[청구항 1]

디바이스로서,

다중-카메라 시스템으로서,

오토포커스 성능들로 구성되며, 제1 최소 물체 거리를 갖는 제1 카메라; 및

오토포커스 성능들로 구성되며, 제2 최소 물체 거리를 갖는 제2 카메라를 포함하는, 상기 다중 카메라 시스템; 및

포커스 제어 로직을 포함하며, 상기 포커스 제어 로직은,

상기 제2 카메라가 미리 결정된 포커스 위치에서 타겟 물체에 대한 디포커스(defocus) 정보를 측정하게 하고,

상기 디포커스 정보를 사용하여 외삽된 포커스 위치를 결정하며, 그리고

상기 외삽된 포커스 위치에 적어도 부분적으로 기초하여 상기 제1 카메라가 상기 타겟 물체에 포커싱하게 하도록 구성되는, 디바이스.

[청구항 2]

제1항에 있어서, 상기 미리 결정된 포커스 위치는 상기 제2 카메라의 상기 최소 물체 거리에 대응하는, 디바이스.

[청구항 3]

제1항에 있어서, 상기 포커스 제어 로직은 하나 이상의 미리 결정된 잠금 기준이 충족될 때 상기 제1 카메라가 상기 미리 결정된 포커스 위치에 잠기게 하는, 디바이스.

[청구항 4]

제3항에 있어서, 상기 다중-카메라 시스템은 깊이 센서를 더 포함하고, 상기 하나 이상의 미리 결정된 기준은 임계 잠금 거리 미만인 상기 타겟 물체에 대한 물체 거리 추정치를 포함하는, 디바이스.

[청구항 5]

제1항에 있어서, 상기 제1 최소 물체 거리는 상기 제2 최소 물체 거리 미만인, 디바이스.

[청구항 6]

제1항에 있어서, 상기 제1 카메라 또는 상기 제2 카메라를 1차 카메라로서 선택하도록 구성된 카메라 선택 로직을 더 포함하며, 상기 포커스 제어 로직은 상기 제1 카메라가 상기 1차 카메라로서 선택될 때 상기 제2 카메라가 상기 미리 결정된 포커스 위치에서 상기 타겟 물체에 대한 상기 디포커스 정보를 측정하게 하도록 추가로 구성되는, 디바이스.

[청구항 7]

제1항에 있어서, 상기 외삽된 포커스 위치에 적어도 부분적으로 기초하여 상기 제1 카메라가 상기 타겟 물체에 포커싱하게 하는 것은, 상기 외삽된 포커스 위치와 연관된 신뢰도 정보가 제1 미리 결정된 기준을 충족시킬 때 상기 외삽된 포커스 위치 사이의 미리 결정된 관계에 기초하여 상기 제1 카메라에 대한 타겟 포커스 위치를 설정하는 것을 포함하는, 디바이스.

[청구항 8]

다중-카메라 시스템의 제2 카메라를 사용하여 상기 다중-카메라 시스템의 제1 카메라를 포커싱하기 위한 방법으로서,

미리 결정된 포커스 위치에서 상기 제1 카메라를 사용하여 타겟 물체에 대한 디포커스 정보를 측정하는 단계,

상기 디포커스 정보를 사용하여 외삽된 포커스 위치를 결정하는 단계, 및

상기 외삽된 포커스 위치에 적어도 부분적으로 기초하여 상기 제1 카메라가 상기 타겟 물체에 포커싱하게 하는 단계를 포함하는, 방법.

[청구항 9]

제8항에 있어서, 상기 미리 결정된 포커스 위치는 상기 제2 카메라의 최소 물체 거리에 대응하는, 방법.

[청구항 10]

제8항에 있어서, 하나 이상의 미리 결정된 잠금 기준이 충족될 때 상기 제1 카메라를 상기 미리 결정된 포커스 위치에 잠그는 단계를 더 포함하는, 방법.

[청구항 11]

제10항에 있어서, 상기 다중-카메라 시스템의 깊이 센서를 사용하여 상기 타겟 물체에 대한 물체 거리 추정치를 계산하는 단계, 및 상기 물체 거리 추정치를 임계 잠금 거리와 비교하는 단계를 더 포함하며, 상기 미리 결정된 잠금 기준은 상기 물체 거리 추정치가 상기 임계 잠금 거리 미만일 때 충족되는, 방법.

[청구항 12]

제8항에 있어서, 상기 미리 결정된 포커스 위치에서 상기 제1 카메라를 사용하여 상기 타겟 물체에 대한 디포커스 정보를 측정하는 단계는, 상기 제1 카메라가 1차 카메라로서 선택되는 동안 디포커스 정보를 측정하는 단계를 포함하는, 방법.

[청구항 13]

제8항에 있어서, 상기 외삽된 포커스 위치에 적어도 부분적으로 기초하여 상기 제1 카메라가 상기 타겟 물체에 포커싱하게 하는 단계는, 상기 외삽된 포커스 위치와 연관된 신뢰도 정보가 제1 미리 결정된 기준을 충족시킬 때 상기 외삽된 포커스 위치 사이의 미리 결정된 관계에 기초하여 상기 제1 카메라에 대한 타겟 포커스 위치를 설정하는 단계를 포함하는, 방법.

[청구항 14]

제13항에 있어서, 상기 외삽된 포커스 위치에 적어도 부분적으로 기초하여 상기 제1 카메라가 상기 타겟 물체에 포커싱하게 하는 단계는, 상기 외삽된 포커스 위치와 연관된 신뢰도 정보가 제1 미리 결정된 기준을 충족시키지 않을 때 상기 외삽된 포커스 위치에 기초하여 부분 스캔을 수행하는 단계를 포함하는, 방법.

[청구항 15]

제1 카메라 및 제2 카메라를 포함하는 다중-카메라 시스템을 사용하여 타겟 물체까지의 물체 거리 추정치를 계산하는 방법으로서,

상기 제2 카메라가 미리 결정된 포커스 위치에서 유지되고 있는지 여부를 결정하는 단계;

상기 제2 카메라가 상기 미리 결정된 포커스 위치에서 유지되고 있다는 결정에 응답하여, 상기 제2 카메라가 상기 미리 결정된 포커스 위치에서 유지되고 있는 동안 상기 타겟 물체에 대한 디포커스 정보를 측정하는 단계; 및

상기 디포커스 정보 및 상기 미리 결정된 포커스 위치를 사용하여 상기 물체 거리 추정치를 계산하는 단계를 포함하는, 방법.

[청구항 16]

제15항에 있어서, 상기 제2 카메라가 미리 결정된 포커스 위치에서 유지되고 있는지 여부를 결정하는 단계는, 상기 제2 카메라가 상기 미리 결정된 포커스 위치에 잠긴 것으로 결정하는 단계를 포함하는, 방법.

[청구항 17]

제15항에 있어서, 상기 미리 결정된 포커스 위치는 상기 제2 카메라에 대한 매크로 포커스 위치이고, 상기 제2 카메라가 미리 결정된 포커스 위치에서 유지되고 있는지 여부를 결정하는 단계는 상기 타겟 물체가 상기 제2 카메라의 최소 물체 거리보다 더 가깝다고 결정하는 단계를 포함하는, 방법.

[청구항 18]

제15항에 있어서, 상기 물체 거리 추정치를 사용하여 상기 제2 카메라에 대한 외삽된 포커스 위치를 계산하는 단계를 더 포함하는, 방법.

[청구항 19]

제18항에 있어서, 상기 제2 카메라에 대한 상기 외삽된 포커스 위치에 적어도 부분적으로 기초하여 상기 제1 카메라를 포커싱하는 단계를 더 포함하는, 방법.

[청구항 20]

제19항에 있어서, 상기 외삽된 포커스 위치에 적어도 부분적으로 기초하여 상기 제1 카메라를 포커싱하는 단계는 상기 제2 카메라의 포커스 위치들과 상기 제1 카메라의 포커스 위치들 사이의 미리 정의된 관계에 기초하여 상기 제1 카메라에 대한 타겟 포커스 위치를 선택하는 단계를 포함하는, 방법.

Claims (20)

1. 타겟 물체의 이미지 캡처 동안 1차 카메라로서 다중-카메라 시스템의 제1 카메라와 제2 카메라 사이에서 선택하기 위한 방법으로서, 상기 제1 카메라는 제1 최소 물체 거리를 가지며 상기 제2 카메라는 제2 최소 물체 거리를 가지고, 상기 방법은,
   상기 제1 카메라를 사용하여 상기 타겟 물체에 대한 제1 물체 거리 추정치를 결정하는 단계로서, 상기 제1 물체 거리 추정치는 제1 거리 오차 정보와 연관되는, 상기 제1 물체 거리 추정치를 결정하는 단계;
   상기 제2 카메라를 사용하여 상기 타겟 물체에 대한 제2 물체 거리 추정치를 결정하는 단계로서, 상기 제2 물체 거리는 제2 거리 오차 정보와 연관되는, 상기 제2 물체 거리 추정치를 결정하는 단계; 및
   카메라 선택 로직을 사용하여, 상기 제1 물체 거리 추정치, 상기 제2 물체 거리 추정치, 상기 제1 거리 오차 정보, 상기 제2 거리 오차 정보, 및 상기 제2 최소 물체 거리를 사용하여 상기 1차 카메라로서 상기 제1 카메라 및 상기 제2 카메라 중 하나를 선택하는 단계를 포함하는, 방법.
2. 제1항에 있어서, 상기 다중-카메라 시스템은 깊이 센서를 포함하며, 상기 방법은 상기 깊이 센서를 사용하여 상기 타겟 물체에 대한 제3 물체 거리 추정치를 결정하는 단계를 더 포함하는, 방법.
3. 제2항에 있어서, 상기 제3 물체 거리 추정치가 제1 임계 거리 미만일 때 상기 제2 카메라의 포커스 위치를 미리 결정된 위치에 홀딩하는 단계를 더 포함하는, 방법.
4. 제1항에 있어서, 상기 1차 카메라로서 상기 제1 카메라 및 상기 제2 카메라 중 하나를 선택하는 단계는, 상기 제1 거리 오차 정보, 상기 제2 거리 오차 정보, 및 상기 제2 최소 물체 거리를 사용하여 제1 스위칭 임계 거리를 설정하는 단계를 포함하는, 방법.
5. 제4항에 있어서, 상기 1차 카메라로서 상기 제1 카메라 및 상기 제2 카메라 중 하나를 선택하는 단계는, 상기 제1 물체 거리 추정치 또는 상기 제2 물체 거리 추정치가 상기 제1 스위칭 임계 거리 미만일 때 상기 제1 카메라를 상기 1차 카메라로서 선택하는 단계를 포함하는, 방법.
6. 제4항에 있어서, 상기 1차 카메라로서 상기 제1 카메라 및 상기 제2 카메라 중 하나를 선택하는 단계는 상기 제1 스위칭 임계 거리보다 긴 제2 스위칭 임계 거리를 설정하는 단계를 포함하고, 상기 방법은 상기 제1 물체 거리 추정치 및 상기 제2 물체 거리 추정치 둘 모두가 상기 제2 스위칭 임계 거리보다 클 때 상기 제2 카메라를 상기 1차 카메라로서 선택하는 단계를 더 포함하는, 방법.
7. 제1항에 있어서, 상기 제2 최소 물체 거리는 상기 제2 카메라의 계산된 배향에 기초하여 동적으로 변경되는, 방법.
8. 디바이스로서,
   제1 최소 물체 거리 및 제1 시야를 갖는 제1 카메라 및 제2 최소 물체 거리 및 제2 시야를 갖는 제2 카메라를 포함하는, 다중-카메라 시스템; 및
   1차 카메라로서 상기 제1 카메라 또는 상기 제2 카메라를 선택하도록 구성된 카메라 선택 로직을 포함하며, 상기 카메라 선택 로직은,
   상기 제1 카메라로부터 제1 물체 거리 인스턴스(instance) 및 제1 물체 거리 추정치와 연관된 제1 거리 오차 정보를 수신하고;
   상기 제2 카메라로부터 제2 물체 거리 인스턴스 및 제2 물체 거리 추정치와 연관된 제2 거리 오차 정보를 수신하며;
   상기 제2 최소 물체 거리를 수신하고; 그리고
   상기 제1 물체 거리 추정치, 상기 제2 물체 거리 추정치, 상기 제1 거리 오차 정보, 상기 제2 거리 오차 정보, 및 상기 제2 최소 물체 거리를 사용하여 상기 1차 카메라를 선택하도록 추가로 구성되는, 디바이스.
9. 제8항에 있어서, 상기 제1 최소 물체 거리는 상기 제2 최소 물체 거리보다 짧고, 상기 제1 시야는 상기 제2 시야를 완전히 포함하는, 디바이스.
10. 제8항에 있어서, 상기 다중-카메라 시스템은 제3 물체 거리 추정치를 생성하도록 구성된 깊이 센서를 더 포함하는, 디바이스.
11. 제10항에 있어서, 상기 다중-카메라 시스템은 상기 제3 물체 거리 추정치가 제1 임계 거리 미만일 때 상기 제2 카메라의 포커스 위치를 미리 결정된 위치에 홀딩하도록 구성되는, 디바이스.
12. 제8항에 있어서, 상기 1차 카메라를 선택하는 것은 상기 제1 거리 오차 정보, 상기 제2 거리 오차 정보, 및 상기 제2 최소 물체 거리를 사용하여 제1 스위칭 임계 거리를 설정하는 것을 포함하는, 디바이스.
13. 제12항에 있어서, 상기 1차 카메라를 선택하는 것은 상기 제1 물체 거리 추정치 또는 상기 제2 물체 거리 추정치가 상기 제1 스위칭 임계 거리 미만일 때 상기 제1 카메라를 상기 1차 카메라로서 선택하는 것을 포함하는, 디바이스.
14. 제12항에 있어서, 상기 1차 카메라를 선택하는 것은 상기 제1 스위칭 임계 거리보다 긴 제2 스위칭 임계 거리를 설정하는 것을 포함하고, 상기 디바이스는 상기 제1 물체 거리 추정치 및 상기 제2 물체 거리 추정치 둘 모두가 상기 제2 스위칭 임계 거리보다 클 때 상기 제2 카메라를 상기 1차 카메라로서 선택하는 것을 더 포함하는, 디바이스.
15. 타겟 물체의 이미지 캡처 동안 1차 카메라로서 다중-카메라 시스템의 복수의 카메라들 사이에서 선택하기 위한 방법으로서, 상기 복수의 카메라들의 각각은 각각의 최소 물체 거리를 가지며, 상기 방법은,
    상기 복수의 카메라들 중 적어도 하나를 사용하여 상기 타겟 물체에 대한 적어도 하나의 물체 거리 추정치를 결정하는 단계로서, 상기 적어도 하나의 물체 거리 추정치들의 각각은 각각의 거리 오차 정보와 연관되는, 상기 적어도 하나의 물체 거리 추정치를 결정하는 단계; 및
    카메라 선택 로직을 사용하여,
    상기 적어도 하나의 물체 거리 추정치,
    상기 적어도 하나의 물체 거리 추정치들의 각각과 연관된 상기 각각의 거리 오차 정보, 및
    상기 복수의 카메라들의 상기 각각의 최소 물체 거리들 중 적어도 하나의 최소 물체 거리를 사용하여 상기 복수의 카메라들로부터 상기 1차 카메라를 선택하는 단계를 포함하는, 방법.
16. 제15항에 있어서, 상기 각각의 최소 물체 거리들 중 상기 적어도 하나의 최소 물체 거리의 제1 최소 물체 거리를 업데이트하는 단계, 및 상기 업데이트된 제1 최소 물체 거리를 사용하여 상기 1차 카메라를 선택하는 단계를 더 포함하는, 방법.
17. 제15항에 있어서, 상기 적어도 하나의 물체 거리 추정치들의 각각과 연관된 상기 각각의 거리 노력(effort) 정보의 제1 거리 오차 정보를 업데이트하는 단계, 및 상기 업데이트된 제1 거리 오차 정보를 사용하여 상기 1차 카메라를 선택하는 단계를 더 포함하는, 방법.
18. 제15항에 있어서, 상기 다중-카메라 시스템은 깊이 센서를 더 포함하고, 상기 카메라 선택 로직을 사용하여 상기 1차 카메라를 선택하는 단계는 상기 깊이 센서로부터의 제1 물체 거리 추정치를 사용하여 상기 1차 카메라를 선택하는 단계를 더 포함하는, 방법.
19. 제18항에 있어서, 상기 제1 물체 거리 추정치가 제1 임계 거리 미만일 때 상기 복수의 카메라들 중 제1 카메라의 포커스 위치를 미리 결정된 위치에 홀딩하는 단계를 더 포함하는, 방법.
20. 제15항에 있어서, 상기 카메라 선택 로직을 사용하여, 상기 복수의 카메라들의 각각에 대해 포커스 위치들을 설정하는 단계를 더 포함하는, 방법.