KR102385278B1

KR102385278B1 - 이미지 캡처에서의 줌 제어

Info

Publication number: KR102385278B1
Application number: KR1020227007147A
Authority: KR
Inventors: 시종 리우; 하이롱 왕; 완 슌 빈센트 마; 완 빈센트 마
Original assignee: 퀄컴 인코포레이티드
Priority date: 2019-09-09
Filing date: 2020-08-10
Publication date: 2022-04-08
Also published as: CN116980750A; CN114342351A; CN114342351B; WO2021051123A1; US11218641B2; KR20220031767A; EP4029236A1; US20210075969A1

Abstract

일반적으로, 개선된 이미지 캡처 능력들을 제공하기 위해 이미지 캡처 모드들의 적응에 관한 기술들이 설명된다. 본 기술들을 수행하도록 구성된 이미지 센서들을 포함하는 카메라들이 또한 개시된다. 이미지 센서는 다양한 동작 조건들에 적어도 부분적으로 기초하여 이미지 데이터의 프레임들을 캡처하기 위해 상이한 이미지 캡처 모드들을 사용할 수도 있다. 예를 들어, 프로세서는 디지털 줌 레벨이 미리 정의된 임계치를 만족하는 경우에 이미지 센서로 하여금 상이한 비닝 레벨들을 특정하는 이미지 캡처 모드들 사이에서 전이하게 할 수 있다.

Description

이미지 캡처에서의 줌 제어

본 출원은 2019년 9월 9일자로 출원된 미국 가 특허 출원 제 62/897,697 호의 이익을 주장하는, 2019년 10월 29일자로 출원된 미국 출원 제 16/667,662 호에 대해 우선권을 주장하며, 이들 각각의 전체 내용은 참조에 의해 본원에 통합된다.

기술 분야

본 개시는 이미지 캡처 및 프로세싱에 관한 것이다.

배경

이미지 캡처 디바이스들은 일반적으로 매우 다양한 디바이스들에 통합된다. 본 개시에서, 이미지 캡처 디바이스는 스틸 이미지들을 캡처할 수 있는 디바이스들 및 비디오를 기록하기 위해 이미지들의 시퀀스들을 캡처할 수 있는 디바이스들을 포함하여, 하나 이상의 디지털 이미지들을 캡처할 수 있는 임의의 디바이스를 지칭한다. 예로서, 이미지 캡처 디바이스들은 독립형 디지털 카메라들 또는 디지털 비디오 캠코더들, 카메라 장착 무선 통신 디바이스 핸드셋들, 예컨대, 하나 이상의 카메라들을 갖는 모바일 텔레폰들, 셀룰러 또는 위성 라디오 텔레폰들, 카메라 장착 퍼스널 디지털 어시스턴트 (PDA) 들, 패널들 또는 태블릿들, 게이밍 디바이스들, 소위 “웹-캠들” 과 같은 카메라들을 포함하는 컴퓨터 디바이스들, 또는 디지털 이미징 또는 비디오 능력들을 갖는 임의의 디바이스들을 포함할 수도 있다.

특정 디지털 카메라들은 줌 인, 줌 아웃, 파노라마, 망원경, 망원 또는 잠망경 특징들과 같은 카메라들에 대한 잠재적인 FOV(field-of-view)의 지정된 부분들을 캡처하기 위한 능력을 특징으로 한다. 이러한 특징들은 이미지 센서 및 카메라 프로세서를 사용하는 디지털 카메라가 사용자 설정들 및/또는 조작들(예를 들어, 핀치-투-줌, 플래시 설정들, 종횡비 설정들 등)에 따라 장면(또는 비디오의 경우, 이미지들의 시퀀스)의 캡처를 향상시키거나 또는 그렇지 않으면 변경하도록 허용한다. 일부 예들에서, 잠재적 FOV는 특정 이미지 센서가 장면 또는 이미지 시퀀스를 감지하기 위해 사용할 수 있는 픽셀들 전체를 지칭한다.

또한, 특정 이미지 캡처 디바이스들은 서로 함께 사용될 수도 있는 다수의 이미지 센서들 및/또는 다수의 렌즈들을 포함할 수도 있거나, 그렇지 않으면, 하나의 카메라로부터 다른 카메라로 토글될 수도 있다. 예시적인 렌즈 유형은 광각 렌즈, 초광각 렌즈, 망원 렌즈, 망원경 렌즈, 잠망경 스타일 줌 렌즈, 어안 렌즈, 매크로 렌즈, 프라임 렌즈, 또는 이들의 다양한 조합을 포함한다. 예를 들어, 듀얼 카메라 구성은 광각 렌즈 및 망원 렌즈 양자 모두를 포함할 수도 있다. 우사하게, 트리플 카메라 구성은 광각 렌즈 및 망원 렌즈 외에 초광각 렌즈를 포함할 수도 있다. 다수의 렌즈들 및/또는 이미지 센서들을 사용함으로써, 이미지 캡처 디바이스들은 상이한 FOV들 및/또는 광학 줌 레벨들을 갖는 이미지들을 캡처할 수 있다. 이미지 센서들은 그 후 추가적 프로세싱을 위해 카메라 프로세서에 다수의 픽셀들 및 픽셀 값들을 출력할 수 있다.

요약

일반적으로, 본 개시는 이미지 센서들을 갖는 디지털 카메라들, 각각의 광학 줌들을 갖는 렌즈들, 및 카메라 프로세서들을 수반하는 이미지 캡처 기술들을 설명한다. 카메라 프로세서들은 이미지 센서들로 하여금 다양한 이미지 캡처 모드들을 사용하여 비디오 데이터의 프레임들 및/또는 스틸 이미지 샷들과 같은 이미지 데이터를 캡처하게 하도록 구성될 수도 있다. 예를 들어, 카메라 프로세서는 이미지 센서로 하여금 픽셀 비닝(pixel binning)을 사용하여 이미지 데이터의 하나 이상의 프레임들을 캡처하게 할 수도 있다. 이미지 센서는 카메라 프로세서로 출력하기 위해 이미지 센서의 복수의 픽셀들을 더 적은 픽셀들로 결합하여 픽셀 비닝(예를 들어, 4x4 비닝, 3x3 비닝, 2x2 비닝, 수평 비닝, 수직 비닝 등)을 수행한다.

이미지 센서는 추가적 프로세싱을 위해 카메라 프로세서에 결합된 픽셀들을 출력할 수도 있다. 요망되는 줌 레벨 또는 줌 비율에 기초하여, 카메라 프로세서는 디지털 크로핑, 업샘플링, 다운샘플링, 스케일링, 또는 이들의 조합들과 같은 디지털 줌 기술들을 수행할 수도 있다. 그러나, 줌 레벨이 증가함에 따라, 카메라 프로세서에 의해 수행되는 업샘플링 또는 스케일링의 양도 증가한다. 이와 같이, 증가하는 줌 레벨들로부터의 결과적인 이미지 데이터는 요망되는 (desired) 디지털 줌 레벨을 달성하기 위해 수행되는 업샘플링 또는 스케일링의 양 때문에 왜곡된 이미지 또는 비디오를 제공하는 경향이 있다.

일부 예들에서, 사용자 요청된 디지털 줌 레벨이 카메라 전이 임계치를 초과함에 따라, 카메라 프로세서는 상이한 광학 줌 레벨들 및/또는 상이한 유효 초점 거리들을 갖는 카메라들 사이에서 전이(transition)하도록 구성될 수도 있다. 그러나, 카메라들 사이의 전이 전에, 카메라 프로세서는 요망되는 디지털 줌 레벨을 달성하기 위해 사용되는 업샘플링 또는 스케일링의 양을 계속 증가시킬 수도 있다. 일부 경우들에서, 카메라들 사이의 전이는 많은 양의 줌 증가가 일어날 때까지(예를 들어, 1.0x 줌에서 5.0x 줌으로, 또는 그 이상) 발생하지 않을 수도 있다.

이러한 넓은 갭들 사이를 브릿지하려는 시도에서, 카메라 프로세서가 디지털 줌 동작들을 수행하기 위해 가능한 많은 출력 픽셀들을 제공하기 위해, 특정 카메라들은 더 높고 더 높은 픽셀 카운트들(예를 들어, 48MP, 64MP, 108MP)을 갖는 이미지 센서들을 사용할 수도 있다. 픽셀 비닝이 그러한 큰 이미지 센서들과 함께 사용되기 때문에, 카메라 프로세서는 요망되는 디지털 해상도에서 요망되는 디지털 줌 레벨을 달성하기 위해 여전히 더 적은 픽셀들을 사용할 것이다. 이와 같이, 카메라 프로세서는 그럼에도 불구하고, 카메라 전이들 사이의 갭을 브릿지하기 위해 업샘플링 또는 스케일링을 사용할 것이고, 업샘플링 또는 스케일링에 의해 야기되는 이미지 왜곡의 양은 카메라 전이가 발생할 때까지 계속 악화될 것이다. 따라서, 카메라 전이들 사이의 넓은 갭들로, 샘플링 또는 스케일링에 의해 야기되는 이미지 왜곡의 양은 이미지 또는 비디오 품질을 심각하게 저하시킬 수 있고, 따라서, 사용자가 각각의 카메라의 외측 한계들에 도달하는 줌 동작들을 수행하려고 시도함에 따라 사용자 경험(user experience)이 손상될 것이다.

또한, 카메라 전이가 발생하는 순간, 제 2 카메라의 상이한 광학 줌 레벨을 고려하여 카메라 프로세서에 의해 수행되는 업샘플링 또는 스케일링의 양의 갑작스런 감소로 인해 이미지 또는 비디오 품질이 급격히 변할 것이다. 이러한 급격한 변화는 디지털 줌 레벨이 증가하고 카메라들 사이의 전이가 발생함에 따라 일관되지 않은 이미지 또는 비디오 품질을 제공하기 때문에 바람직하지 않다.

본 개시의 다양한 기법들에 따르면, 카메라 프로세서는, 카메라 프로세서가 요망되는 줌 레벨에서의 변화들을 검출함에 따라, 이들 줌 레벨들이 미리 정의된 비닝 전이 임계치들 또는 카메라 전이 임계치들을 만족시킴에 따라, 이미지 센서로 하여금 비닝 레벨들을 변경하게 할 수도 있다. 이와 같이, 이미지 센서는 요망되는 디지털 줌 레벨이 증가 또는 감소하는 것에 응답하여, 비디오 데이터, 스틸 사진들, 또는 이들의 조합들이든 간에, 이미지 데이터의 프레임들을 캡처하기 위해 상이한 비닝 레벨들을 이용할 수도 있다. 일부 예들에서, 요망되는 줌 레벨은 사용자에 의해 특정될 수도 있거나 또는 자동 줌 동작의 결과일 수도 있다. 그 후, 카메라 프로세서는 다양한 비닝 레벨 전이들에 따라 비닝되거나 비닝되지 않은 픽셀 정보의 형태로 이미지 센서로부터 이미지 데이터를 수신할 수도 있다.

일부 경우들에서, 전이하는 비닝 레벨들 사이의 차이에 따라, 이미지 센서는 이들 픽셀들을 카메라 프로세서에 출력하기 전에 전이된 비닝 레벨에서 비닝된 출력 픽셀들의 감소된 양을 결정할 수도 있다. 예를 들어, 이미지 센서는 제 2 레벨에서 비닝된 픽셀들의 전체 양이 아닌, 제 2 의 하위 레벨의 픽셀 비닝을 이용하여 비닝된 픽셀들의 중심 부분을 결정하고, 픽셀들의 중심 부분을 카메라 프로세서에 출력할 수도 있다. 일부 예들에서, 이것은 비닝 전이들 사이에서 카메라 프로세서에 대해 일정한 또는 거의 일정한 스루풋 또는 비트 레이트를 유지하기 위해 행해질 수도 있다. 그 후, 카메라 프로세서는 수신된 출력 픽셀들을 사용하여 요망되는 줌 레벨을 달성하기 위해 추가적인 디지털 줌 동작들을 수행할 수도 있다.

본 개시의 기법들에 따르면, 카메라 프로세서는 사용자가 요망되는 줌 레벨을 증가시킬 때 일관된 이미지 품질을 수신할 수도 있다. 또한, 카메라 프로세서는 요망되는 출력 해상도에서 요망되는 줌 레벨을 달성하기 위해 더 적은 업샘플링 및 스케일링을 사용할 수도 있다. 본 개시의 기법들은 비닝 레벨들 사이에서 전이하기 위해 이미지 센서에 대한 적절한 비닝 전이들, 전이들 사이에서 요망되는 줌 레벨을 달성하기 위해 수행하는 업샘플링 카메라 프로세서의 양의 감소 등으로 인해 카메라 프로세서에 대한 확장된 줌 범위들을 추가로 제공한다.

일 예에서, 본 개시의 기법들은 이미지 데이터를 캡처하도록 구성된 장치에 관한 것이고, 그 장치는: 이미지 데이터를 저장하도록 구성된 메모리, 및 상기 메모리와 통신하는 하나 이상의 프로세서들을 포함하고, 상기 하나 이상의 프로세서들은: 디지털 줌 레벨이 제 1 미리 정의된 임계치 미만인 경우에 제 1 이미지 센서로 하여금 제 1 이미지 캡처 모드를 사용하여 이미지 데이터의 하나 이상의 프레임들을 캡처하게 하고 - 상기 제 1 이미지 캡처 모드는 상기 이미지 데이터의 각각의 출력 픽셀에 대해 상기 제 1 이미지 센서의 2 이상의 픽셀들을 사용하는 제 1 비닝 레벨을 포함함-, 요청된 디지털 줌 레벨이 상기 제 1 미리 정의된 임계치보다 큰 것을 결정하고, 그리고 상기 제 1 이미지 센서로 하여금 제 2 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 하나 이상의 프레임들을 캡처하게 하도록 - 상기 제 2 이미지 캡처 모드는 상기 이미지 데이터의 각각의 출력 픽셀에 대해 상기 제 1 비닝 레벨에 비해 상기 제 1 이미지 센서의 더 적은 픽셀들을 사용하는 제 2 비닝 레벨을 포함함 - 구성된다.

다른 예에서, 본 개시의 기법들은 이미지 데이터를 캡처하는 방법에 관한 것이고, 그 방법은, 디지털 줌 레벨이 제 1 미리 정의된 임계치 미만인 경우에 제 1 이미지 센서로 하여금 제 1 이미지 캡처 모드를 사용하여 이미지 데이터의 하나 이상의 프레임들을 캡처하게 하는 단계 - 상기 제 1 이미지 캡처 모드는 상기 이미지 데이터의 각각의 출력 픽셀에 대해 상기 제 1 이미지 센서의 2 이상의 픽셀들을 사용하는 제 1 비닝 레벨을 포함함-, 요청된 디지털 줌 레벨이 상기 제 1 미리 정의된 임계치를 만족하는 것을 결정하는 단계, 및 상기 제 1 이미지 센서로 하여금 제 2 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 하나 이상의 프레임들을 캡처하게 하는 단계 - 상기 제 2 이미지 캡처 모드는 상기 이미지 데이터의 각각의 출력 픽셀에 대해 상기 제 1 비닝 레벨에 비해 상기 제 1 이미지 센서의 더 적은 픽셀들을 사용하는 제 2 비닝 레벨을 포함함 - 를 포함한다.

또 다른 예에서, 본 개시의 기법들은 이미지 데이터를 캡처하도록 구성된 장치에 관한 것이며, 그 장치는: 디지털 줌 레벨이 제 1 미리 정의된 임계치 미만인 경우에 이미지 센서로 하여금 제 1 이미지 캡처 모드를 사용하여 이미지 데이터의 제 1 하나 이상의 프레임들을 캡처하게 하기 위한 수단 - 상기 제 1 이미지 캡처 모드는 이미지 데이터의 각각의 출력 픽셀에 대해 이미지 센서의 2 이상의 픽셀들을 사용하는 제 1 비닝 레벨을 포함함 -, 요청된 디지털 줌 레벨이 제 1 미리 정의된 임계치를 만족하는 것을 결정하기 위한 수단, 및 이미지 센서로 하여금 제 2 이미지 캡처 모드를 사용하여 이미지 데이터의 제 2 하나 이상의 프레임들을 캡처하게 하기 위한 수단 - 상기 제 2 이미지 캡처 모드는 이미지 데이터의 각각의 출력 픽셀에 대해 제 1 비닝 레벨에 비해 이미지 센서의 더 적은 픽셀들을 사용하는 제 2 비닝 레벨을 포함함 - 을 포함한다.

다른 예에서, 본 개시의 기법들은 명령들을 저장하고 있는 비일시적 컴퓨터 판독가능 저장 매체에 관한 것이며, 그 명령들은, 실행될 때, 하나 이상의 프로세서들로 하여금: 제 1 이미지 센서로 하여금, 디지털 줌 레벨이 제 1 미리정의된 임계치 미만인 경우에 제 1 이미지 캡처 모드를 사용하여 이미지 데이터의 하나 이상의 프레임들을 캡처하게 하고 - 제 1 이미지 캡처 모드는 이미지 데이터의 각각의 출력 픽셀에 대해 제 1 이미지 센서의 2 이상의 픽셀들을 사용하는 제 1 비닝 레벨을 포함함 -, 요청된 디지털 줌 레벨이 제 1 미리정의된 임계치를 만족하는 것을 결정하게 하고, 그리고 제 1 이미지 센서로 하여금 제 2 이미지 캡처 모드를 사용하여 이미지 데이터의 하나 이상의 프레임들을 캡처하게 하며, 여기서, 제 2 이미지 캡처 모드는 이미지 데이터의 각각의 출력 픽셀에 대해 제 1 비닝 레벨에 비해 제 1 이미지 센서의 더 적은 픽셀들을 사용하는 제 2 비닝 레벨을 포함한다.

하나 이상의 예들의 상세들이 첨부 도면들 및 이하의 설명에서 전개된다. 다른 특징들, 목적들, 및 이점들은 설명, 도면들, 및 청구항들로부터 명백할 것이다.

도면들의 간단한 설명
도 1 은 본 개시에서 설명된 예시적인 기법들 중 하나 이상을 수행하도록 구성된 디바이스의 블록도다.
도 2a 는 도 1의 이미지 센서가 본 개시에서 설명된 기술들의 다양한 양태들에 따라 픽셀들을 결합하는 제 1 비닝 레벨을 사용하여 이미지를 캡처할 수도 있는 방법을 도시하는 예시적인 도면이다.
도 2b 는 도 1의 이미지 센서가 본 개시에서 설명된 기술들의 다양한 양태들에 따라 제 2 비닝 레벨로 어떻게 전이할 수도 있는지를 도시하는 예시적인 도면이다.
도 3a 및 도 3b는 도 1 의 이미지 센서가 본 개시에서 설명된 기술들의 다양한 양태들에 따라 다양한 비닝 동작들을 어떻게 수행할 수도 있는지를 예시하는 도면들이다.
도 4a 는 본 개시에서 설명된 기술들의 다양한 양태들에 따라 줌 동작들을 수행함에 있어서 도 1 에 도시된 카메라 프로세서 및 이미지 센서의 예시적인 동작들을 나타내는 예시적인 흐름도이다.
도 4b 는 본 개시에서 설명된 기술들의 다양한 양태들에 따라 줌 동작들을 수행함에 있어서 도 1 에 도시된 카메라 프로세서 및 이미지 센서의 예시적인 동작들을 나타내는 예시적인 흐름도이다.
도 5a 내지 도 5c 는 본 개시에tj 설명된 기술들의 다양한 양태들에 따른 다수의 카메라들을 수반하는 다양한 복잡한 줌 동작들을 예시하는 추가적인 예시적인 이미지들을 나타낸다.
도 6 은 본 개시에서 설명된 기술들의 다양한 양태들에 따라 줌 동작들 동안 다수의 비닝 전이들을 수행하는 도 1 에 도시된 카메라 프로세서 및 이미지 센서의 예시적인 동작들을 나타내는 예시적인 흐름도이다.
도 7 은 본 개시에서 설명된 기술들의 다양한 양태들에 따른, 비닝 레벨들 사이의 전이의 다른 예를 나타낸다.

상세한 설명

이미지 센서는 다양한 상황들 하에서 다양한 비닝 레벨들을 사용하여 비디오 데이터 또는 스냅샷들과 같은 이미지 데이터의 프레임들을 캡처하기 위해 다양한 캡처 모드들을 사용할 수도 있다. 예를 들어, 특정 카메라 프로세서들은 이미지 센서들로 하여금 이미지 센서의 다수의 픽셀들을 더 적은 수의 픽셀들로 결합함으로써 이미지 데이터를 캡처하기 위해 다양한 비닝 기법들을 사용하게 할 수 있다. 이미지 센서는 조합된 픽셀들을 카메라 프로세서로 출력할 수도 있다. 비닝 기법들은 카메라 프로세서가 고해상도 또는 초고해상도 이미지 센서들(예를 들어, 12 메가픽셀(MP), 48MP, 64MP, 108MP, 120MP, 144MP 등)과 인터페이스하는 경우에 특히 유리할 수 있다. 예를 들어, 이러한 이미지 센서들 상의 픽셀들은 작은 물리적 사이즈들을 가질 수 있다. 이러한 예들에서, 각각의 픽셀 상의 입사 광은 특히 낮은 광 조건들에서 그렇게 제한될 수 있고, 이와같이, 각각의 개별 픽셀은 노이즈에 점점 더 민감해질 수 있다.

이와 같이, 비닝 기법들은 각 출력 픽셀에 대해 다수의 픽셀들을 함께 평균화하거나 합산하는 것을 포함하는 다양한 결합 방식들을 통해 픽셀들을 함께 결합함으로써 신호 대 잡음비(SNR)를 향상시킨다. 또한, 비닝 기법들은, 예를 들어, 비디오를 레코딩하거나 또는 디스플레이 디바이스를 통해 사용자에게 이미지 프리뷰들을 제공하는 경우에, 디지털 카메라들에 대해 더 높은 프레임 레이트들을 제공할 수 있다. 또한, 비닝 기법들은 카메라 프로세서에 가해지는 프로세싱 부담 및 수요들을 줄일 수 있어, 이미지 센서로부터 수신되는 이미지 데이터에 대한 프로세싱의 양을 줄일 수도 있고, 또한 시스템 전반의 효율을 증가시킬 수 있다. 더욱이, 이미지 센서가 특정 줌 레벨들에서 비닝 기법들을 사용할 때, 인간 눈은 이미지 센서가 픽셀 비닝을 사용하고 있다는 것을, 하물며, 이미지 센서가 4x4 비닝을 사용하고 있는지, 2x2 비닝을 사용하고 있는지, 비-비닝을 사용하고 있는지 등을 인지 가능하지 않을 수도 있다. 즉, 인간 눈은 줌 레벨이 특정 높은 줌 레벨들로 증가할 때까지 비닝으로 인한 열화를 인지 못할 수도 있다. 비닝 기법들이 공간 해상도의 비용으로 올 수도 있지만, 출력 해상도는 특정 이미지 센서들의 픽셀 밀도로 인해 여전히 높을 수 있다.

이미지 센서는 그 후, 조합된 픽셀들을 카메라 프로세서로 출력할 수도 있다. 이미지 센서로부터의 출력 픽셀들을 사용하여, 카메라 프로세서는 요망되는 출력 해상도(예를 들어, 1080p, 4K, 8K 등)에서 요망되는 디지털 줌 레벨을 달성하기 위해 디지털 줌 기법들을 수행할 수도 있다. 그렇게 하기 위해, 카메라 프로세서는 다운샘플링, 크로핑, 업샘플링, 스케일링, 또는 이들의 조합을 포함하는 임의의 수의 디지털 줌 기법들을 수행할 수도 있다. 일부 예들에서, 카메라 프로세서는 나머지 픽셀들을 업샘플링 또는 다운샘플링하기 전에 줌의 필드의 외부에 속하는 픽셀들을 제거하기 위해 이미지 센서로부터 수신된 픽셀들을 먼저 크로핑할 수도 있다. 그러나 업샘플링 또는 스케일링은 줌 레벨이 증가함에 따라 결과적인 이미지 품질을 저하시키는 경향이 있다. 이는 업샘플링 또는 스케일링은 요망되는 출력 해상도가 달성될 때까지 새로운 픽셀 값들을 인위적으로 생성하기 위해 이미지 센서로부터 수신된 알려진 픽셀 값들을 사용하고 이들 픽셀 값들 사이를 보간하는 프로세스를 수반하기 때문이다. 따라서 많은 양의 업샘플링을 수행하는 것은 결과적인 이미지나 비디오를 왜곡할 수 있다. 업샘플링의 양이 증가함에 따라 이미지 품질은 계속 저하되고 왜곡될 수도 있다.

또한, 카메라 프로세서는 상이한 유효 초점 거리를 갖는 다수의 카메라들 사이를 전환할 수도 있다. 예를 들어, 카메라 프로세서는 카메라 전이 임계치를 만족하는 특정 줌 레벨과 같은 카메라 전이 트리거를 검출하는 것에 응답하여 카메라들 사이를 전환할 수도 있다. 그러나, 일부 예들에서, 줌 레벨들을 증가시키는 양은 특정 카메라 전이 임계치가 충족되기 전에 상당히 높을 수도 있다. 예를 들어, 제 1 카메라는 1.0x와 5.0x 줌 사이의 디지털 줌 레벨들에 사용될 수도 있고, 제 2 카메라는 5.0x 줌 초과의 줌 레벨들에 사용된다. 따라서, 다양한 카메라들 사이의 갭을 브릿지하기 위해, 다음 카메라 전이가 발생할 때까지 가능한 많은 픽셀들을 카메라 프로세서에 제공하기 위한 노력으로 더 크고 더 큰 이미지 센서들이 사용될 수도 있다.

이러한 경우들에서, 이미지 품질은, 카메라 프로세서가 다음 카메라로 전환할 때까지 디지털 업샘플링 또는 디지털 스케일링 기법들을 사용하는 카메라 프로세서로 인해 계속 저하될 것이고, 이는 충분히 높은 줌 레벨에 도달될 때까지 발생하지 않을 수도 있다. 이때, 카메라 프로세서는 전이된 카메라의 유효 초점 거리의 차이로 인해 업샘플링을 덜 수행할 수도 있다. 따라서, 카메라들 사이의 전환은 또한 사용자에게 일관되지 않은 이미지 품질을 제공한다. 예를 들어, 카메라 프로세서가 업샘플링 또는 스케일링을 사용함에 따라, 요망되는 줌 레벨이 카메라 전환 임계치에 도달할 때까지 이미지 품질은 계속 저하될 것이고, 이 시점에서 이미지 품질은 갑자기 향상되고, 그 후, 일단 카메라 프로세서가 새로운 카메라로 업샘플링을 다시 시작하면 다시 저하되기 시작할 것이다. 이러한 이미지 품질의 왜곡 및 불일치는 사용자가 비디오를 기록하는 동안 장면을 줌인 및 줌아웃하려고 시도함에 따라 다수의 카메라들 사이에서 전환할 수도 있는 높은 프레임 레이트들로 고해상도 비디오를 기록하는 동안 디지털 줌을 사용할 때 특히 눈에 띄게 될 수 있다.

다른 것들 중에서, 전술한 문제점들은 다양한 줌 레벨들에서 다양한 픽셀 비닝 레벨들을 레버리징(leveraging)할 수 있는 카메라들을 제공함으로써 개시된 캡처 모드 적응 기법들에 의해 해결될 수도 있다. 구체적으로, 사용되는 비닝 기법에 따라, 카메라 프로세서는 이미지 센서로 하여금 이미지 센서에서의 픽셀 비닝 레벨을 변경하게 하는 비닝 전이 임계치(binning transition threshold)를 결정할 수도 있다. 일 예에서, 카메라 프로세서는 이미지 센서로 하여금 하나의 비닝 레벨(예를 들어, 2x2, 3x3, 4x4, 8x8 등)로부터 제 1 비닝 레벨보다 더 적은 비닝을 제공하는 제 2 비닝 레벨(예를 들어, 비-비닝)로 전환하게 할 수도 있다. "비-비닝(non-binning)" 또는 "비닝 없음(no binning)"은 일반적으로 카메라 프로세서로 출력될 이미지 데이터의 각각의 출력 픽셀에 대해, 다수의 픽셀들을 이용하기보다는, 이미지 센서의 하나의 픽셀을 이용하는 이미지 센서를 수반한다는 것에 유의해야 한다. 즉, 비-비닝은 입력 픽셀들과 출력 픽셀들 사이의 1 대 1 대응이 존재함을 의미할 수도 있다.

일부 예들에서, 이미지 센서는 미리 정의된 비닝 전이 임계치(예를 들어, 특정 줌 레벨)가 일단 충족되면 하나의 비닝 레벨로부터 더 낮은 비닝 레벨로 전이할 수도 있다. 유리하게는, 인간 눈은 비닝 기법들을 사용하여 캡처된 이미지들 사이의 차이를 인지하지 못하거나, 비닝 전이 임계량 미만의 줌 레벨과 같은 낮은 줌 레벨들에서는 인지하지 못할 수도 있다. 이는 이미지 캡처 디바이스가 사용자 경험에 영향을 주지 않고 특정 더 낮은 줌 레벨들에서 비닝을 활용할 수 있게 한다. 즉, 이미지 센서는 비닝 레벨로 시작한 후, 줌 레벨이 증가함에 따라 더 낮은 비닝 레벨로 전이하여, 업샘플링의 사용량을 줄이고, 사용자의 경험을 최대한 보존할 수도 있다. 또한, 이러한 비닝 전이들과 결합된 카메라 전이들은, 사용자가 카메라 전이가 발생하는 때를 쉽게 인지하지 않고 전체 줌 스펙트럼에 부드럽게 스팬(span)하도록 허용할 수도 있다. 특정 카메라 전이 이전에 발생하는 비닝 레벨들 사이의 변화로 인해, 카메라 프로세서는 균일한 비닝 레벨이 동일한 줌 스팬에 대해 사용되었던 경우에 비해 카메라 전이 임계치 근처에서 사용되는 업샘플링 또는 스케일링의 양을 감소시킬 수도 있다.

아래에서 상세히 설명되는 바와 같이, 카메라 프로세서는 특정 줌 레벨이 미리 정의된 비닝 전이 임계치를 충족시키는 것에 응답하여 또는 일부 경우들에서, 줌 레벨이 미리 정의된 비닝 전이 임계치에 접근함에 따라 이러한 전이를 야기할 수도 있다. 그 후, 이미지 센서는 결합된 픽셀들, 비-비닝된 픽셀들, 비닝된 또는 비-비닝된 픽셀들의 부분들을 카메라 프로세서에 출력할 수도 있고, 여기서, 카메라 프로세서는 이미지 센서로부터 수신된 픽셀들을 사용하여 디지털 줌을 수행할 수도 있다.

도 1 은 본 개시에서 설명된 예시적인 기법들 중 하나 이상을 수행하도록 구성된 디바이스의 블록도다. 디바이스 (10) 의 다른 예들은 컴퓨터 (예를 들어, 퍼스널 컴퓨터, 데스크탑 컴퓨터 또는 랩탑 컴퓨터), 태블릿 컴퓨터와 같은 모바일 디바이스, 무선 통신 디바이스 (예를 들어, 이동 전화, 셀룰러 전화, 위성 전화 및/또는 이동 전화 핸드셋), 인터넷 전화, 디지털 카메라, 디지털 비디오 레코더, 핸드헬드 디바이스, 예컨대, 포터블 비디오 게임 디바이스 또는 퍼스널 디지털 어시스턴트 (PDA), 드론 디바이스, 또는 하나 이상의 카메라들을 포함할 수도 있는 임의의 디바이스를 포함한다.

도 1 의 예에서 나타낸 바와 같이, 컴퓨팅 디바이스(10)는 하나 이상의 이미지 센서(들)(12)를 포함한다. 이미지 센서(들)(12)는 본 명세서의 일부 경우들에서 간단히 "센서(12)"로 지칭될 수도 있는 한편, 다른 경우들에서 적절한 경우 복수의 "센서들(12)"로 지칭될 수도 있다. 컴퓨팅 디바이스(10)는 하나 이상의 렌즈(들)(13) 및 카메라 프로세서(14)를 더 포함한다. 도 1에 도시된 바와 같이, 카메라(15)는 하나 이상의 이미지 센서(들)(12), 하나 이상의 렌즈(들)(13), 및 적어도 하나의 카메라 프로세서(14)를 포함하는 집합적 디바이스를 지칭할 수도 있다. 임의의 경우에, 다수의 카메라들(15)은 단일 컴퓨팅 디바이스(10)(예를 들어, 하나 이상의 전면 카메라들 및 하나 이상의 후면 카메라들을 갖는 모바일 폰)에 포함될 수도 있다. 비제한적인 예에서, 하나의 컴퓨팅 디바이스(10)는 16MP 이미지 센서(12)를 포함하는 제 1 카메라(15), 108MP 이미지 센서(12)를 포함하는 제 2 카메라(15), 12MP 이미지 센서(12)를 갖는 제 3 카메라(15) 등, 및 듀얼 "전면" 카메라들 등을 포함할 수도 있다. 본원의 일부 예시적인 기법들은 소위 "후방" 카메라들 또는 다수의 후면 카메라들을 참조하여 논의될 수도 있지만, 본 개시의 기술들은 거기에 제한되지 않음에 유의하여야 하고, 당업자는 본 개시의 기술들이 임의의 타입의 카메라들(15)에 대해 그리고 컴퓨팅 디바이스(10)에 포함되는 카메라들(15)사이의 임의의 전이들에 대해 구현될 수도 있음을 이해할 것이다.

일부 경우들에서, 카메라(15)는 다수의 카메라 프로세서들(14)을 포함할 수도 있다. 일부 경우들에서, 다수의 카메라 프로세서들(14)은 다양한 환경들 하에서 다양한 프로세싱 알고리즘들을 사용하는 이미지 신호 프로세서(ISP)를 지칭할 수도 있다. 일부 예들에서, 카메라 프로세서(14)는 프로세싱 파이프라인의 일부로서 이미지 프론트 엔드(IFE) 및/또는 이미지 프로세싱 엔진(IPE)을 포함할 수도 있다. 또한, 카메라(15)는 센서(들)(12) 중 단일 센서 또는 렌즈(들)(13) 중 단일 렌즈를 포함할 수도 있다.

예시된 바와 같이, 컴퓨팅 디바이스 (10) 는 중앙 프로세싱 유닛 (CPU) (16), 인코더/디코더 (17), 그래픽 프로세싱 유닛 (GPU) (18), GPU (18) 의 로컬 메모리 (20), 사용자 인터페이스 (22), 시스템 메모리 (30) 에의 액세스를 제공하는 메모리 제어기 (24), 및 그래픽 데이터가 디스플레이 (28) 상에 디스플레이되게 하는 신호들을 출력하는 디스플레이 인터페이스 (26) 를 더 포함할 수도 있다.

일부 예시적인 기술들이 단일 센서(12)에 대해 본 명세서에서 설명되지만, 그 예시적인 기술들은 그렇게 제한되지 않고, 다수의 이미지 센서들, 다수의 렌즈 타입들, 및/또는 다수의 카메라 프로세서들을 포함하는 디바이스들을 포함하여, 이미지들/비디오들을 캡처하기 위해 사용되는 다양한 카메라 타입들에 적용가능할 수도 있다. 예를 들어, 컴퓨팅 디바이스(10)는 듀얼 렌즈 디바이스들, 트리플 렌즈 디바이스들 등을 포함할 수도 있다. 이와 같이, 각각의 렌즈(13) 및 이미지 센서(12) 조합은 다양한 광학 줌 레벨들, AOV(angles of view), 초점 길이들, FOV들 등을 제공할 수도 있다. 일부 예들에서, 하나의 이미지 센서(12)가 각 렌즈(13)에 대해 할당될 수도 있다. 즉, 다수의 이미지 센서(12)가 상이한 렌즈 타입들(예를 들어, 광각 렌즈, 초광각 렌즈, 망원 렌즈, 및/또는 잠망경 렌즈 등)에 할당될 수도 있다. 예를 들어, 광각 렌즈는 제 1 사이즈(예를 들어, 108MP)의 제 1 이미지 센서(12)에 대응할 수도 있는 반면, 초광각 렌즈는 상이한 사이즈(예를 들어, 16MP)의 제 2 이미지 센서(12)에 대응할 수도 있다. 다른 예로, 망원 렌즈는 제 3 사이즈(예컨대, 12MP)의 이미지 센서(12)에 대응할 수도 있다. 예시적인 예에서, 단일 컴퓨팅 디바이스(10)는 2개 이상의 카메라들(15)을 포함할 수도 있고, 여기서 그 카메라들(15) 중 적어도 2개는 동일한 사이즈를 갖는 이미지 센서(12)(예를 들어, 2개의 12MP 센서, 3개의 108MP 센서, 3개의 12MP 센서, 2개의 12MP 센서 및 108MP 센서 등)에 대응한다. 임의의 경우에, 이미지 센서들(12)은 컴퓨팅 디바이스(10)에 대해 다수의 카메라들(15)을 제공하기 위해 상이한 렌즈들(13)에 대응할 수도 있다.

일부 예들에서, 단일 이미지 센서(12)는 다수의 렌즈들(13)에 대응할 수도 있다. 이러한 예들에서, 광 가이드들은 렌즈들(13) 상의 입사 광을 각각의 이미지 센서(들)(12)로 지향시키는데 사용될 수도 있다. 예시적인 광 가이드는 프리즘, 이동식 프리즘, 미러들 등을 포함할 수도 있다. 이러한 방식으로, 단일 렌즈로부터 수신된 광은 특정 센서(12)로, 예컨대 하나의 센서(12)로부터 멀리 다른 센서(12)를 향해 재지향될 수도 있다. 예를 들어, 카메라 프로세서(14)는 수신된 광에 대한 초점 거리를 효과적으로 변경하기 위해 프리즘이 렌즈들(13) 중 하나에 입사하는 광을 이동시키고 재지향하게 할 수도 있다. 임의의 경우에, 컴퓨팅 디바이스(10)는 단일 이미지 센서(12)에 대응하는 다수의 렌즈(13)를 포함할 수도 있다. 또한, 컴퓨팅 디바이스(10)는 별개의 이미지 센서들(12)에 대응하는 다수의 렌즈들(13)을 포함할 수도 있다. 이러한 경우들에서, 별개의 이미지 센서들(12)은 상이한 사이즈들(예를 들어, 12MP 센서 및 108MP 센서)일 수도 있거나, 일부 예들에서, 별개의 이미지 센서들(12) 중 적어도 2개는 동일한 사이즈(예를 들어, 2개의 12MP 센서들, 3개의 108MP 센서들, 3개의 12MP 센서들, 2개의 12MP 센서들 및 108MP 센서 등)의 것일 수도 있다.

일부 예들에 있어서, 단일 카메라 프로세서(14)는 하나 이상의 센서들(12)에 할당될 수도 있다. 그러나, 일부 경우들에서, 다수의 카메라 프로세서들(14)은 하나 이상의 센서들(12)에 할당될 수도 있다. 예를 들어, 카메라 프로세서(14)는 디지털 줌 동작들 또는 다른 프로세싱 동작들을 수행하기 위해 다양한 환경들 하에서 다수의 프로세싱 알고리즘들을 사용할 수도 있다. 다수의 카메라 프로세서들(14)을 포함하는 예들에서, 카메라 프로세서들(14)은 센서들(12)을 공유할 수도 있고, 여기서 각각의 카메라 프로세서(14)는 임의의 프로세서-대-이미지 센서 할당 규칙들에 관계없이 각각의 센서(12)와 인터페이싱할 수도 있다. 예를 들어, 각각의 카메라 프로세서(14)는 센서(들)(12)에 프로세싱 리소스들을 효율적으로 할당하기 위해 서로 조정할 수도 있다.

또한, 카메라(15)는 하나의 센서(12) 및 하나의 카메라 프로세서(14)를 포함하는 것으로 설명될 수도 있지만, 카메라(15)는 다수의 센서들 및/또는 다수의 카메라 프로세서들을 포함할 수도 있다. 임의의 경우에, 컴퓨팅 디바이스(10)는 하나 이상의 센서(들)(12), 하나 이상의 렌즈(들)(13) 및/또는 하나 이상의 카메라 프로세서(들)(14)를 포함할 수도 있는 다수의 카메라들(15)을 포함할 수도 있다. 일부 예들에서, 카메라(15)는 카메라 디바이스로서 센서(들)(12)를 지칭할 수도 있어서, 카메라(15)는 예를 들어 (예를 들어, 통신 링크를 통해) 카메라 프로세서(14) 및/또는 렌즈(들)(13)에 결합된 센서(12)이다.

또한, 다양한 컴포넌트들이 별도의 컴포넌트들로서 예시되지만, 일부 예들에서 그 컴포넌트들은 시스템 온 칩 (SoC) 을 형성하기 위해 결합될 수도 있다. 일 예로서, 카메라 프로세서 (14), CPU (16), GPU (18), 및 디스플레이 인터페이스 (26) 는 공통 집적 회로 (IC) 칩 상에 형성될 수도 있다. 일부 예들에 있어서, 카메라 프로세서 (14), CPU (16), GPU (18) 및 디스플레이 인터페이스 (26) 중 하나 이상은 별도의 칩들에 있을 수도 있다. 다양한 다른 치환들 및 조합들이 가능하며, 본 개시의 기술들은 도 1 에 예시된 예에 한정되는 것으로 간주되어서는 안 된다.

센서 (12) 및 카메라 프로세서 (14) 를 포함하는 (하나의 디바이스 상에 형성되든 상이한 디바이스들 상에 형성되든) 도 1 에 예시된 다양한 컴포넌트들은 하나 이상의 마이크로프로세서들, 주문형 집적 회로들 (ASIC들), 필드 프로그래밍가능 게이트 어레이들 (FPGA들), 디지털 신호 프로세서들 (DSP들), 또는 다른 등가의 통합된 또는 별개의 로직 회로부에서와 같이, 고정-기능 또는 프로그래밍가능 회로부 중 적어도 일방, 또는 양방의 조합으로서 형성될 수도 있다. 로컬 메모리 (20) 의 예들은, 예를 들어, 랜덤 액세스 메모리 (RAM), 정적 RAM (SRAM), 동적 RAM (DRAM), 소거가능한 프로그래밍가능 ROM (EPROM), 전기적으로 소거가능한 프로그래밍가능 ROM (EEPROM), 플래시 메모리, 자기 데이터 매체들 또는 광학 저장 매체들과 같은 하나 이상의 휘발성 또는 비휘발성 메모리들 또는 저장 디바이스들을 포함한다.

도 1에 나타낸 다양한 구조들은 버스 (32) 를 사용하여 서로 통신하도록 구성될 수도 있다. 버스 (32) 는 제 3 세대 버스 (예를 들어, HyperTransport 버스 또는 InfiniBand 버스), 제 2 세대 버스 (예를 들어, Advanced Graphics Port 버스, PCI (Peripheral Component Interconnect) Express 버스, 또는 AXI (Advanced eXtensible Interface) 버스) 또는 다른 타입의 버스 또는 디바이스 인터커넥트와 같은 다양한 버스 구조들 중 임의의 것일 수도 있다. 도 1에 도시된 상이한 컴포넌트들간의 버스 및 통신 인터페이스의 특정 구성은 단지 예시적인 것이며, 동일하거나 상이한 컴포넌트들을 갖는 다른 구성들의 컴퓨팅 디바이스들 및/또는 다른 이미지 프로세싱 시스템들이 본 개시의 기술들을 구현하는데 사용될 수도 있다.

카메라 프로세서(14)는 센서(12)로부터 이미지 프레임들(예를 들어, 픽셀 데이터)을 수신하고, 이미지 및/또는 비디오 콘텐츠를 생성하기 위해 그 이미지 프레임들을 프로세싱하도록 구성된다. 예를 들어, 이미지 센서(12)는 스틸 사진의 캡처 전 및/또는 후로부터 비디오, 이미지 미리보기, 또는 모션 사진들을 기록하는 동안 캡처된 개별 프레임들, 프레임 버스트들, 비디오 콘텐츠를 생성하기 위한 프레임 시퀀스들, 사진 스틸들을 캡처하도록 구성될 수도 있다. CPU (16), GPU (18), 카메라 프로세서들 (14), 또는 일부 다른 회로부는 센서 (12)에 의해 캡처된 이미지 및/또는 비디오 콘텐츠를 디스플레이 (28) 상의 디스플레이를 위해 이미지들 또는 비디오로 프로세싱하도록 구성될 수도 있다. 예시적인 예에서, CPU(16)는 이미지 센서(12)로 하여금 픽셀 비닝을 사용하여 이미지 프레임들을 캡처하게 할 수도 있고/있거나 이미지 센서(12)로부터 픽셀 데이터를 수신할 수도 있다. 본 개시의 맥락에서, 이미지 프레임들은 일반적으로, 스틸 이미지에 대한 데이터의 프레임들 또는 비디오 데이터의 프레임들 또는 이들의 조합들, 예컨대, 모션 사진들을 지칭할 수도 있다. 카메라 프로세서(14)는 임의의 포맷으로 이미지 프레임들의 픽셀 데이터를 수신할 수도 있다. 예를 들어, 픽셀 데이터는 RGB, YCbCr, YUV 등과 같은 서로 다른 컬러 포맷을 포함할 수도 있다.

일부 예들에서, 카메라 프로세서(14)는 이미지 신호 프로세서(ISP)를 포함할 수도 있다. 실례로, 카메라 프로세서(14)는 센서(12)와 카메라 프로세서(14) 사이에서 인터페이스하는 카메라 인터페이스를 포함할 수도 있다. 카메라 프로세서(14)는 이미지 콘텐츠를 프로세싱하기 위한 추가적인 회로를 포함할 수도 있다. 카메라 프로세서(14)는 자동 화이트 밸런스, 컬러 보정, 또는 다른 포스트-프로세싱 동작들을 포함하는, 센서(12)에 의해 캡처된 이미지 데이터에 대한 다양한 동작들을 수행하도록 구성될 수도 있다.

또한, 카메라 프로세서 (14) 는 픽셀 데이터를 분석하고 및/또는 결과적인 이미지들 (예를 들어, 이미지 픽셀들의 각각에 대한 픽셀 값들) 을 메모리 제어기 (24) 를 통해 시스템 메모리 (30) 에 출력하도록 구성될 수도 있다. 이미지들의 각각은 디스플레이를 위한 최종 이미지를 생성하기 위해 추가로 프로세싱될 수도 있다. 예를 들어, GPU (18) 또는 카메라 프로세서 (14) 자체를 포함하는 일부 다른 프로세싱 유닛은 디스플레이를 위한 최종 이미지 콘텐츠를 생성하기 위해 컬러 보정, 화이트 밸런스, 블렌딩, 합성, 회전, 또는 다른 동작들을 수행할 수도 있다.

또한, 컴퓨팅 디바이스 (10) 는 비디오 인코더 및/또는 비디오 디코더 (17) 를 포함할 수도 있고, 이들 중 어느 하나는 결합된 비디오 인코더/디코더 (CODEC) 의 일부로서 통합될 수도 있다. 인코더/디코더 (17) 는 하나 이상의 카메라(들) (15)에 의해 캡처된 비디오를 인코딩하는 비디오 코더 또는 압축된 또는 인코딩된 비디오 데이터를 디코딩할 수도 있는 디코더를 포함할 수 있다. 일부 경우들에서, CPU (16) 는 비디오 데이터를 인코딩 및/또는 디코딩하도록 구성될 수도 있고, 이 경우, CPU (16) 는 인코더/디코더 (17) 를 포함할 수도 있다.

CPU (16) 는 컴퓨팅 디바이스 (10) 의 동작을 제어하는 범용 또는 특수 목적 프로세서를 포함할 수도 있다. 사용자는 CPU (16) 로 하여금 하나 이상의 소프트웨어 애플리케이션들을 실행하게 하기 위해 컴퓨팅 디바이스 (10) 에 입력을 제공할 수도 있다. CPU (16) 상에서 실행되는 소프트웨어 애플리케이션들은 예를 들어, 카메라 애플리케이션, 그래픽 편집 애플리케이션, 미디어 플레이어 애플리케이션, 비디오 게임 애플리케이션, 그래픽 사용자 인터페이스 애플리케이션 또는 다른 프로그램을 포함할 수도 있다. 예를 들어, 카메라 애플리케이션은 사용자가 카메라(15)의 다양한 설정들을 제어하도록 허용할 수도 있다. 사용자는 키보드, 마우스, 마이크로폰, 터치 패드 또는 사용자 인터페이스 (22) 를 통해 컴퓨팅 디바이스 (10) 에 커플링된 다른 입력 디바이스와 같은 하나 이상의 입력 디바이스들 (도시되지 않음) 을 통해 컴퓨팅 디바이스 (10) 에 입력을 제공할 수도 있다. 예를 들어, 사용자 인터페이스(22)는 요망되는 디지털 줌 레벨들을 조정하고, 이미지 데이터의 종횡비들을 변경하고, 비디오를 기록하고, 비디오를 기록하는 동안 스냅샷을 취하고, 이미지 캡처에 필터들을 적용하고, 자동 초점 동작들을 위한 관심 영역을 선택하고, 저속 모션 비디오 또는 초저속 모션 비디오를 기록하고, 나이트 샷 설정들을 적용하고, 파노라마 이미지 데이터를 캡처하는 등을 위해 사용자로부터 입력을 수신할 수도 있다.

소프트웨어 애플리케이션의 하나의 예는 카메라 애플리케이션이다. CPU(16)는 카메라 애플리케이션을 실행하고, 이에 응답하여, 카메라 애플리케이션은 CPU(16)로 하여금 디스플레이(28)가 출력하는 콘텐츠를 생성하게 한다. 예를 들어, 디스플레이(28)는 광 강도, 플래시가 인에이블되는지 여부, 및 다른 이러한 정보와 같은 정보를 출력할 수도 있다. 컴퓨팅 디바이스(10)의 사용자는 (예를 들어, 플래시, 초점 설정들, 노출 설정들 및 다른 파라미터들을 갖거나 갖지 않고) 이미지들이 생성되는 방식을 구성하기 위해 (예를 들어, 사용자 인터페이스(22)를 통해) 디스플레이(28)와 인터페이싱할 수도 있다. 카메라 애플리케이션은 또한 CPU(16)가 센서(12)에 의해 캡처된 이미지를 사용자-정의된 방식으로 프로세싱하도록 카메라 프로세서(14)에 명령하게 한다. 예를 들어, CPU(16)는 센서(12)에 의해 캡처된 이미지들에 대해 줌 동작을 수행하도록 카메라 프로세서(14)에 지시할 수도 있다. 일부 예들에서, CPU(16)는 사용자로부터 줌에 대한 요청 (예를 들어, 핀치-투-줌 커맨드, 이산 입력, 예컨대 0.5x 줌 버튼, 2x 줌 버튼, 3x 줌 버튼, 10x 줌 버튼 등의 동작, 슬라이더 입력, 또는 이들의 일부 조합) 을 수신할 수도 있다. 일부 예들에서, 줌 동작은 줌 필드를 포함하는 디지털 줌을 포함할 수도 있다. 예를 들어, 디지털 줌 필드는 센서(12)의 전체 FOV 보다 적은 부분을 포함할 수도 있다. 그 후, CPU (16) 는 카메라 프로세서 (14)에게 그에 따라 디지털 줌 동작을 수행하도록 지시할 수도 있다. 일부 예들에서, 카메라 프로세서(14)는 (예를 들어, 카메라 애플리케이션이 컴퓨팅 디바이스(10)의 전경(foreground)에서 활성 및/또는 실행되는 시간 동안과 같이, 사용자로부터의 특정 입력을 검출함으로써) 사용자로부터 직접 줌하기 위한 요청을 수신할 수도 있다.

임의의 경우에, 카메라 프로세서 (14) 는, 비닝의 경우에서와 같이, 이미지 센서의 다수의 픽셀들을 더 적은 출력 픽셀들로 결합하거나, 비-비닝의 경우에서와 같이, 각각의 출력 픽셀에 대해 하나의 픽셀을 사용하는 다양한 비닝 레벨들을 사용하여, 이미지 센서 (12) 로 하여금, 비디오 데이터와 같은 이미지 데이터의 프레임들을 캡처하게 할 수도 있다. 카메라 프로세서 (14) 가 줌 요청을 수신할 때, 카메라 프로세서 (14) 는 줌 요청이 미리 정의된 비닝 전이 임계치를 만족하는지 여부를 결정할 수도 있고, 이 포인트에서 카메라 프로세서 (14) 는 이미지 센서 (12) 로 하여금 변경된 비닝 레벨을 사용하여 후속 프레임들을 캡처하게 할 수도 있다. 비-제한적인 예에서, 이미지 센서(12)는 초기에 2x2 비닝 레벨을 사용하여 이미지 데이터를 캡처할 수도 있고, 여기서 4개의 픽셀들은 하나의 출력 픽셀로 결합된다. 이와 같이, 광각 렌즈에 대응하는 108MP 이미지 센서(12)와 같은 108MP 이미지 센서(12)는 각각의 출력 픽셀에 대해 4개의 픽셀들을 사용할 수도 있고, 이에 의해 27MP 비닝된 픽셀들을 카메라 프로세서(14)에 전송할 수도 있다. 다른 예에서, 이미지 센서(12)는 3x3 비닝 레벨을 사용하여 이미지 데이터를 초기에 캡처할 수도 있고, 여기서 9개의 픽셀들이 하나의 출력 픽셀로 결합된다. 이와 같이, 108MP 이미지 센서(12)는 각각의 출력 픽셀에 대해 9개의 픽셀들을 사용할 수도 있고, 이에 의해 12MP 비닝된 픽셀을 카메라 프로세서(14)에 전송할 수도 있다.

카메라 프로세서(14)는 제 1 미리 정의된 임계치를 초과하는 요망되는 디지털 줌 레벨을 수신할 수도 있다. 이와 같이, 카메라 프로세서(14)는 이미지 센서(12)로 하여금 2x2 비닝으로부터 비-비닝으로 전이하게 할 수도 있으며, 여기서 이제 이미지 센서(12)는 이미지 데이터의 각각의 출력 픽셀에 대해 이미지 센서(12)의 하나의 픽셀을 사용한다. 이와 같이, 이미지 센서(12)는 잠재적으로 카메라 프로세서(14)에 108MP 를 출력할 수도 있다. 그러나, 일부 경우들에서, 카메라 프로세서 (14) 는 추가로 이미지 센서 (12) 로 하여금 일정한 또는 거의 일정한 스루풋 레벨을 유지하게 할 수도 있다. 이와 같이, 카메라 프로세서(14)는 이미지 센서(12)가 잠재적 108MP 의 25%를 출력하여, 이 특정 예에서, 27MP의 일정한 또는 거의 일정한 스루풋에 도달하게 할 수도 있다.

일부 예들에서, 카메라 프로세서 (14) 는 스루풋 또는 비트 레이트의 스파이크들을 회피하는 특정 범위 내에서 데이터 스루풋 또는 비트 레이트를 유지하기 위해 다양한 전이 파라미터들 (예를 들어, 비닝 전이 임계치, 감소된 출력 부분, 카메라 전이 임계치 등) 을 설정할 수도 있다. 예를 들어, 상기 시나리오에서의 범위는 스루풋이 이미지 센서(12)로부터 카메라 프로세서(14)로의 스루풋 데이터의 큰 변동들을 제한하면서 변할 수 있도록 27MP ± 1MP일 수 있다. 이 기술은 고해상도 및 높은 FPS(frames-per-second)로 캡처되는 것이 바람직할 수도 있는 비디오의 맥락에서 특히 유리할 수도 있다. 들어오는 픽셀 데이터의 큰 변동들과 같이, 프로세서가 과부하되면, 카메라 프로세서(14)는 높은 FPS를 달성할 수 없을 가능성이 있을 것이다. 이러한 경우들에서, 비디오에서의 임의의 캡처된 움직임은 고르지 않게 나타나거나 움직임이 덜 매끄럽게 나타날 것이다. 이와 같이, 개시된 기술은 왜곡 및 잠재적인 고르지 못함을 감소시키면서, 주밍을 하고, 또한 스루풋을 높게 유지한다.

또한, 카메라 프로세서 (14) 는 디스플레이를 위해 요망되는 픽셀들의 수 (예를 들어, 요망되는 해상도 파라미터)에서 요망되는 디지털 줌 레벨을 달성하기 위해 디지털 크로핑 , 다운샘플링, 업샘플링 또는 스케일링을 추가로 사용할 수도 있다. 하나의 예시적인 예에서, 하나의 렌즈(13)를 갖는 48MP 이미지 센서(12)를 갖는 카메라(15)는 대략 8000x6000 픽셀들의 최대 픽셀 어레이를 캡처할 수도 있다. 48MP 이미지 센서(12)를 사용하는 카메라(15)는 소위 4K 픽처 또는 비디오를 캡처하도록 구성될 수도 있으며, 여기서 그러한 픽처 또는 비디오에 대한 해상도는 대략 4000x2000 픽셀 또는 ~8MP이다. 따라서, 디지털 줌 동작의 경우에, 48MP 이미지 센서(12)는 잠재적으로 48MP 비-비닝된 픽셀들을 카메라 프로세서(14)에 출력할 수 있고, 여기서 카메라 프로세서(14)는 예를 들어 디지털 크롭(digital crop) 후에 남아있는 픽셀들의 수가 요망되는 해상도보다 큰 경우에 대해 다운샘플링, 또는 디지털 크롭 후에 남아있는 픽셀들의 수가 요망되는 해상도보다 작은 경우에 대해 업샘플링과 같은 다른 기법들을 사용하기 전에 요망되는 디지털 줌 레벨을 달성하기 위해 8000x6000 픽셀들의 디지털 크롭을 수행할 수 있다.

이미지 센서(12)가 2x2 비닝을 사용하는 예에서, 48MP 이미지 센서(12)는 잠재적으로 12MP 비닝된 픽셀들을 카메라 프로세서(14)에 출력할 수 있고, 여기서 카메라 프로세서(14)는 요망되는 해상도에서 요망되는 디지털 줌 레벨을 달성하기 위해 다운샘플링, 업샘플링, 또는 스케일링 기법들을 사용하기 전에 요망되는 디지털 줌 레벨을 달성하기 위해 12MP의 디지털 크로핑(digital cropping)을 수행할 수 있다.

일부 예들에서, 48MP 이미지 센서(12)는, 출력될 이용가능한 픽셀들의 미리 결정된 백분율과 같이, (비닝된 또는 비-비닝된) 이용가능한 픽셀들의 전부보다 적은 수의 픽셀들을 카메라 프로세서(14)에 출력할 수 있다. 즉, 카메라 프로세서 (14) 는 이미지 센서 (12) 의 잠재적인 FOV 의 감소된 부분 (예를 들어, 이미지 센서 (12) 의 모든 비닝된 또는 비-비닝된 픽셀들)에 기초하여 임의의 수의 디지털 줌 기법들을 수행할 수도 있다. 일 예에서, 48MP 이미지 센서(12)는 2x2 비닝된 픽셀들의 감소된 부분, 또는 비-비닝된 픽셀들의 감소된 부분을 카메라 프로세서(14)로 출력할 수 있다. 예를 들어, 48MP 이미지 센서(12)는 12MP 비-비닝된 픽셀들과 동일하게 비닝되지 않은 픽셀들의 25%를 출력할 수도 있다. 카메라 프로세서(14)는 요망되는 해상도에서 요망되는 디지털 줌 레벨을 달성하기 위해 다운샘플링, 업샘플링, 또는 스케일링 기법들을 사용하기 전에 요망되는 디지털 줌 레벨을 달성하기 위해 12MP 비-비닝된 픽셀들의 디지털 크로핑을 수행할 수 있다.

다른 예에서, 48MP 이미지 센서(12)는, 이를테면 카메라 프로세서(14)가 이미지 센서(12)로 하여금 다수의 비닝 전이들을 수행하게 하는 경우에, 비닝된 픽셀들의 감소된 부분을 카메라 프로세서(14)에 출력할 수도 있다. 예를 들어, 48MP 이미지 센서(12)는 이미지 데이터의 각각의 출력 픽셀에 대해 이미지 센서(12)의 다수의 픽셀들을 사용하는 제 1 비닝 레벨로부터 이미지 데이터의 각각의 출력 픽셀에 대한 제 1 비닝 레벨에 비해 이미지 센서(12)의 더 적은 픽셀들을 사용하는 제 2 비닝 레벨로의 비닝 전이에 따라 비닝된 픽셀들의 미리 결정된 백분율을 카메라 프로세서(14)에 출력할 수도 있지만, 제 2 비닝 레벨은 이미지 데이터의 각각의 출력 픽셀에 대해 이미지 센서(12)의 적어도 2개의 픽셀들을 사용한다. 이와 같이, 카메라 프로세서(14)는 다른 디지털 줌 기법들을 사용하기 전에 요망되는 디지털 줌 레벨을 달성하기 위해 감소된 수의 비닝된 픽셀들을 사용하여 디지털 크로핑을 수행할 수 있다. 당업자는 48MP 이미지 센서(12)가 단지 예시적인 예로서 본 명세서에서 사용되고, 본 개시의 기술들이 본 개시의 기술들을 수행하기 위해 임의의 수의 이미지 센서들(12)을 사용할 수도 있다는 것을 이해할 것이다.

일부 경우들에서, 카메라 프로세서 (14) 또는 CPU (16) 는 예를 들어 줌 레벨에 기초하여 다양한 렌즈들을 활성화할 수도 있다. 일부 예들에서, 카메라 프로세서 (14) 는 요망되는 디지털 줌 레벨이 카메라 전이 임계치를 초과하는 것을 결정할 수도 있다. 카메라 프로세서(14)는 그 후 요망되는 디지털 줌 레벨을 수용하기 위해 하나의 카메라(15)로부터 다른 카메라(15)로 전환할 수도 있다. 그러한 일 예에서, 카메라 프로세서(14)는 하나의 렌즈로부터 다른 렌즈로 전환함으로써 특정 시간들에서 렌즈들(13)을 전이시킬 수도 있거나, 또는 다른 예에서, 카메라 프로세서(14)는 하나의 센서(12)로부터 다른 센서(12)로 전환함으로써 센서들(12)을 전이시킬 수도 있다. 다양한 렌즈들(13) 사이의 전이를 수반하는 일 예에서, 하나의 카메라(15)는 망원 렌즈(13)를 포함할 수도 있고, 다른 카메라(15)는 광각 렌즈(13)를 포함할 수도 있다. 이와 같이, 광각 렌즈(13)로부터 망원 렌즈(13)로의 전이 동안, 카메라 프로세서(14)는 요청된 디지털 줌 레벨(예컨대, 5배 줌 (5x), 10x 줌, 15x 줌 등) 에서 망원 렌즈(13)를 활성화시키고 광각 렌즈(13)를 비활성화시킬 수도 있다. 다양한 렌즈들(13)은 각각의 렌즈(13)에 대한 전용 이미지 센서들(12)을 가질 수도 있거나, 일부 경우들에서, 각각의 이미지 센서(12)에 대한 다수의 렌즈들(13)을 가질 수도 있다. 예를 들어, 단일 센서(12)는 단일 광선이 단일 센서(12)에 도달하기 전에 다수의 렌즈(13)를 통과할 수도 있도록 다수의 렌즈(13)와 함께 사용될 수도 있다.

일부 예들에서, 제 1 카메라에 대응하는 제 1 이미지 센서(12)는 제 2 카메라에 대응하는 동일한 이미지 센서(12)일 수도 있다. 즉, 제 2 카메라에 대응하는 이미지 센서(12)는 또한 제 1 카메라에 대응하는 제 1 이미지 센서일 수도 있다. 이러한 예들에서, 제 1 카메라 및 제 2 카메라는 그럼에도 불구하고, 예를 들어, 사용되는 상이한 렌즈들, 이동 프리즘들의 활성화 등으로 인해 상이한 유효 초점 거리들을 제공할 수도 있다.

메모리 제어기 (24) 는 시스템 메모리 (30) 로 들어가고 나오는 데이터의 전송을 용이하게 한다. 예를 들어, 메모리 제어기 (24) 는 메모리 읽기 및 쓰기 커맨드를 수신하고, 메모리 (30) 에 대해 그러한 커맨드들을 서비스하여 컴퓨팅 디바이스 (10) 에서의 컴포넌트들에 메모리 서비스를 제공할 수도 있다. 메모리 제어기 (24) 는 시스템 메모리 (30) 에 통신 가능하게 커플링된다. 메모리 제어기 (24) 가 CPU (16) 및 시스템 메모리 (30) 양자 모두로부터 분리된 프로세싱 회로인 것으로 도 1 의 컴퓨팅 디바이스 (10) 의 예에 나타나 있지만, 다른 예들에서, 메모리 제어기 (24) 의 일부 또는 모든 기능은 CPU (16) 및 시스템 메모리 (30) 중 하나 또는 양자 모두 상에서 구현될 수도 있다.

시스템 메모리 (30) 는 카메라 프로세서 (14), CPU (16), 및 GPU (18) 에 의해 액세스가능한 프로그램 모듈들 및/또는 명령들 및/또는 데이터를 저장할 수도 있다. 예를 들어, 시스템 메모리 (30) 는 사용자 애플리케이션들 (예를 들어, 카메라 애플리케이션에 대한 명령들) 을 저장하여, 카메라 프로세서 (14) 등으로부터 이미지들을 발생시킬 수도 있다. 시스템 메모리 (30) 는 컴퓨팅 디바이스 (10) 의 다른 컴포넌트들에 의한 사용을 위한 및/또는 컴퓨팅 디바이스 (18) 의 다른 컴포넌트들에 의해 생성된 정보를 추가적으로 저장할 수도 있다. 예를 들어, 시스템 메모리 (30) 는 카메라 프로세서 (14) 를 위한 디바이스 메모리로서 작동할 수도 있다. 시스템 메모리 (30) 는, 예를 들어, 랜덤 액세스 메모리 (RAM), 정적 RAM (SRAM), 동적 RAM (DRAM), 판독 전용 메모리 (ROM), 소거가능한 프로그래밍가능 ROM (EPROM), 전기적으로 소거가능한 프로그래밍가능 ROM (EEPROM), 플래시 메모리, 자기 데이터 매체들 또는 광학 저장 매체들과 같은 하나 이상의 휘발성 또는 비휘발성 메모리들 또는 저장 디바이스들을 포함할 수도 있다.

일부 양태들에서, 시스템 메모리 (30) 는 카메라 프로세서 (14), CPU (16), GPU (18) 및 디스플레이 인터페이스 (26) 로 하여금 본 개시에서 이들 컴포넌트들에 속하는 것을 간주되는 기능들을 수행하게 하는 명령들을 포함할 수도 있다. 따라서, 시스템 메모리 (30) 는, 실행될 때, 하나 이상의 프로세서들 (예를 들어, 카메라 프로세서 (14), CPU (16), GPU (18), 및 디스플레이 인터페이스 (26)) 로 하여금 다양한 기능들을 수행하게 하는 명령들을 저장한 컴퓨터 판독가능 저장 매체일 수도 있다.

일부 예들에서, 시스템 메모리 (30) 는 비일시적 저장 매체이다. 용어 "비일시적(non-transitory)" 은 저장 매체가 캐리어 파 또는 전파되는 신호에서 구현되지 않는다는 것을 나타낸다. 하지만, 용어 "비일시적" 은, 시스템 메모리 (30) 가 이동가능하지 않다는 것 또는 그 콘텐츠가 정적이라는 것을 의미하도록 해석되지 않아야 한다. 일 예로서, 시스템 메모리 (30) 는 컴퓨팅 디바이스 (10) 로부터 제거될 수도 있고, 다른 디바이스로 이동될 수도 있다. 다른 예로서, 시스템 메모리 (30) 와 실질적으로 유사한 메모리가 컴퓨팅 디바이스 (10) 에 삽입될 수도 있다. 소정의 예들에서, 비일시적 저장 매체는 (예를 들어, RAM 에서) 시간의 경과에 따라 변화할 수도 있는 데이터를 저장할 수도 있다.

카메라 프로세서 (14), CPU (16) 및 GPU (18) 는 시스템 메모리 (30) 내에 할당된 개별 버퍼들에 이미지 데이터 등을 저장할 수도 있다. 디스플레이 인터페이스 (26) 는 시스템 메모리 (30) 로부터 데이터를 취출하며, 생성된 이미지 데이터에 의해 표현된 이미지를 디스플레이하도록 디스플레이 (28) 를 구성할 수도 있다. 일부 예들에서, 디스플레이 인터페이스 (26) 는, 시스템 메모리 (30) 로부터 취출된 디지털 값들을 디스플레이 (28) 에 의해 소비 가능한 아날로그 신호로 변환하도록 구성된 디지털-아날로그 변환기 (DAC) 를 포함할 수도 있다. 다른 예들에 있어서, 디스플레이 인터페이스 (26) 는 디지털 값들을, 프로세싱을 위해 디스플레이 (28) 로 직접 전달할 수도 있다.

디스플레이 (28) 는 모니터, 텔레비전, 프로젝션 디바이스, 액정 디스플레이 (LCD), 플라즈마 디스플레이 패널, 발광 다이오드 (LED) 어레이, 유기 LED (OLED), 음극선관 (CRT) 디스플레이, 전자 페이퍼, 표면 전도 전자 방출형 디스플레이 (SED), 레이저 텔레비전 디스플레이, 나노크리스탈 디스플레이 또는 다른 타입의 디스플레이 유닛을 포함할 수도 있다. 디스플레이 (28) 는 컴퓨팅 디바이스 (10) 내에 통합될 수도 있다. 예를 들어, 디스플레이 (28) 는 이동 전화 핸드셋, 태블릿 컴퓨터, 또는 랩탑의 스크린일 수도 있다. 대안으로, 디스플레이 (28) 는 유선 또는 무선 통신 링크를 통해 컴퓨팅 디바이스 (10) 에 커플링된 독립형 (stand-alone) 디바이스일 수도 있다. 예를 들어, 디스플레이 (28) 는 케이블 또는 무선 링크를 통해 퍼스널 컴퓨터에 연결된 컴퓨터 모니터 또는 평판 디스플레이일 수도 있다.

센서(12)는 프로세싱 회로, 광의 표현들을 캡처하기 위한 픽셀 센서들(예를 들어, 픽셀들)의 어레이, 메모리, 조정가능한 렌즈, 및 렌즈를 조정하기 위한 액추에이터를 포함할 수도 있는 이미지 센서이다. 일부 경우들에서, 컴퓨팅 디바이스(10)는 다수의 센서들을 포함할 수도 있고, 이와 같이, 센서(12)는 하나 이상의 센서들(및 수반하는 렌즈(들)(13), 개구들, 플래시들 등)을 나타낼 수도 있으며, 여기서 하나의 센서는 하나의 렌즈(13)에 대한 이미지들을 캡처할 수도 있고, 다른 별개의 센서(12)는 다른 렌즈(13)에 대한 이미지들을 캡처할 수도 있다. 유사하게, 카메라(15)는 다수의 카메라 프로세서들(14)을 포함할 수도 있다.

일부 예들에서, 다수의 센서들(12)이 단일 카메라(15)에 대해 사용될 수도 있다. 예를 들어, 하나의 카메라(15)는 모노크롬 센서(예를 들어, "클리어" 픽셀 센서) 및 컬러 센서(예를 들어, 베이어 센서)를 포함할 수도 있다. 이러한 예들에서, 모노크롬 픽셀 센서에 대한 언급은 픽셀 센서 위에 배치된 모노크롬 필터를 갖는 픽셀 센서를 지칭할 수도 있는 반면, 일부 경우들에서, 컬러 픽셀 센서에 대한 언급은 센서(12) 위에 배치된 베이어 필터와 같은 컬러 필터를 갖는 센서(12)를 지칭할 수도 있다. 일 예로서, 적색 필터, 녹색 필터, 또는 청색 필터가 센서(12) 위에 배치될 수도 있다. 적색, 녹색, 청색, 백색("RGBW") 필터 어레이들; 시안, 마젠타, 옐로우, 화이트(CMYW) 필터 어레이들; 및/또는 독점적 또는 비독점적 필터 패턴들을 포함하는 이들의 변형들과 같은 다양한 다른 필터 패턴들이 존재한다. 본 개시가 특정 필터 패턴들의 관점에서 특정 예들을 논의하지만, 다른 필터 패턴들이 본 개시의 기법들에 따라 사용될 수도 있다.

일부 예들에서, 센서들(12)은 서로 함께 동작하는 2 이상의 상이한 센서들의 세트를 포함할 수도 있다. 예를 들어, 센서들(12)은 서로 함께 동작하는 2개의 상이한 '컬러' 센서들을 포함할 수도 있다. 이러한 예들에서, 상이한 센서들(12) 각각은 상이한 비닝 타입들 및/또는 비닝 레벨들을 지원할 수도 있다. 일부 예들에서, 상이한 센서들(12)은 서로 독립적으로 동작할 수도 있다. 예를 들어, 서로 함께 동작하더라도, 상이한 센서들(12) 각각은 줌 레벨들의 특정 범위에 대해 동작할 수도 있다. 임의의 경우에, 각각의 줌 레벨 범위 내에서, 센서들(12)은 다양한 비닝 레벨들 사이에서 전이할 수도 있다(예를 들어, 비닝으로부터 비-비닝으로 전이함). 예를 들어, 카메라 프로세서 (14) 는 서로 함께 동작하는 2 개 이상의 상이한 센서들 (12) 로 하여금, 미리 정의된 비닝 전이 임계치들이 만족되는 것에 응답하여 독립적으로 다양한 비닝 레벨들 사이에서 각각 전이하게 할 수도 있다.

일부 예들에서, 제 1 하나 이상의 센서들(12)은 제 1 렌즈(13)(예를 들어, 광각 렌즈 카메라, 초광각 렌즈 카메라, 망원 렌즈 카메라, 잠망경 렌즈 카메라 등)에 할당될 수도 있는 반면, 제 2 하나 이상의 센서들(12)은 제 1 렌즈(13)와 구별되는 제 2 렌즈(13)에 할당될 수도 있다. 예를 들어, 단일 컴퓨팅 디바이스(10)는 각각이 하나 이상의 각각의 센서들(12)을 포함하는 다수의 렌즈들(13)을 포함할 수도 있다. 다수의 렌즈(13)는 각각 카메라의 다양한 속성(예를 들어, 렌즈 속성, 개구 속성, 시야각 속성, 열 이미징 속성 등)에 의해 제공되는 바와 같은 각각의 기능들을 제공할 수도 있다. 이와 같이, 사용자는 비디오 레코딩에서와 같이 이미지들의 하나 이상의 이미지들 또는 시퀀스들을 캡처하기 위해 각각의 렌즈(13)의 다양한 속성들을 레버리지할 수도 있다.

다수의 렌즈들(13)을 포함하는 예들에서, CPU(16) 및/또는 카메라 프로세서(14)는 (예를 들어, 사용자 인터페이스(22)를 통해) 사용자 입력을 수신하는 것에 응답하여 특정 렌즈들(13) 또는 렌즈들(13)의 조합들을 활성화할 수도 있다. 예를 들어, CPU(16) 및/또는 카메라 프로세서(14)는 특정 렌즈(13)(예를 들어, 어안 렌즈 카메라)의 사용자 선택을 포함하는 사용자 입력을 사용자 인터페이스(22)를 통해 수신할 수도 있다. 일부 예들에서, CPU(16)는 어떤 렌즈(13)를 활성화할지를 자동으로 결정하고, 하나의 렌즈(13)로부터 다른 렌즈(13)로 활성화 또는 전이하기 위해 초기 렌즈(13)를 선택할 수도 있다. 예를 들어, CPU(16) 및/또는 카메라 프로세서(14)는 특정 렌즈 선택 기준(예를 들어, 미리 정의된 카메라 전이 임계치를 만족하는 디지털 줌 레벨, 조명 조건들의 변화, 특정 렌즈(13)를 호출하는 사용자로부터의 입력 등)을 만족하는 동작 조건을 검출할 때 어느 렌즈(13)를 활성화할지를 결정할 수도 있다. 일부 예들에서, 카메라 프로세서 (14) 또는 CPU (16) 가 센서 (12) 로부터 캡처된 이미지에 기초하여 합성 이미지들의 스트림 또는 하나의 합성 이미지를 프로세싱할 수도 있도록, 합성 이미지들의 스트림 또는 하나의 합성 이미지를 캡처하기 위해 다수의 카메라들이 서로 함께 사용될 수도 있다.

동작에서, 카메라 프로세서(14)는 센서(12)의 복수의 픽셀 센서들을 사용하여 장면의 비디오 또는 이미지의 캡처를 개시할 수도 있다. 일부 예들에서, 비디오는 개별 프레임들의 시퀀스를 포함할 수도 있다. 이와 같이, 비디오의 단일 프레임은 도 2a에 도시된 예시적인 장면(아래에서 설명됨)의 이미지와 유사할 수도 있다. 일부 예들에서, 도 2a에 도시된 예시적인 장면은 또한 비디오 레코딩 동안 취해진 스틸 샷 및/또는 이미지 캡처일 수도 있다. 이와 같이, 카메라 프로세서(14)는 센서(12)가 복수의 픽셀 센서를 사용하여 이미지를 캡처하게 한다. 센서 (12) 는 그 후 픽셀 정보 (예를 들어, 픽셀 값들, 루마 값들, 컬러 값들, 전하 값들, 아날로그-대-디지털 유닛들 (ADU) 값들 등) 를 카메라 프로세서 (14) 에 출력할 수도 있고, 그 픽셀 정보는 각각의 센서 (12)에 대한 캡처된 이미지 또는 캡처된 이미지들의 시퀀스를 나타낸다. 일부 예들에서, 카메라 프로세서 (14) 는 장면의 향상된 컬러 이미지를 획득하기 위해 모노크롬 이미지들 및/또는 컬러 이미지들을 프로세싱할 수도 있다.

도 2a 및 도 2b 는 다양한 이미지 캡처 모드들(예를 들어, 비닝, 부분적 비닝, 비-비닝 등)을 사용하여 이미지 센서(12)가 이미지 데이터의 프레임들을 어떻게 캡처하는지를 도시하는 예시적인 예시들을 제공한다. 후술하는 바와 같이, 다양한 유형의 비닝 모드가 존재하지만, 일반적으로, 이미지 센서(12)는 비닝의 경우와 같이 다수의 픽셀들을 더 적은 출력 픽셀들로 결합하거나, 비-비닝의 경우와 같이 각각의 출력 픽셀에 대해 하나의 픽셀을 사용할 수 있다. 일 예로서, 이미지 센서(12)는 다수의 픽셀들을 더 적은 출력 픽셀들로 결합하기 위해 도 2a의 예에서 제 1 비닝 레벨을 사용할 수도 있다(206).

비제한적인 예에서, 제 1 비닝 레벨은 2x2 비닝 레벨을 포함할 수도 있고, 이 경우, 이미지 센서(12)는 이미지 데이터의 각각의 출력 픽셀에 대해 이미지 센서(12)의 4개의 픽셀들(202)을 결합할 수 있다(206). 그러나, 도 2b의 예에서, 이미지 센서(12)는 제 1 비닝 레벨의 것에 비해 더 적은 픽셀들을 결합하는 제 2 비닝 레벨을 사용할 수도 있다(212). 비제한적인 예에서, 제 2 비닝 레벨은 비닝을 포함하지 않을 수도 있고, 이 경우, 이미지 센서(12)는 비닝되지 않은 이미지 데이터의 각각의 출력 픽셀에 대해 하나의 픽셀을 사용한다(212). 이미지 센서(12)는 추가 프로세싱를 위해 (결합되거나 결합되지 않은) 픽셀들을 카메라 프로세서(14)로 출력할 수도 있다.

도 2a의 예에서, 이미지 센서(12)는 장면(202)을 캡처할 수도 있다. 장면(202)의 캡처는 초기에 이미지 센서(12)의 픽셀들의 총 수를 포함할 수도 있다. 예를 들어, 이미지 센서(12)가 복수의 픽셀 센서들을 포함하는 경우, 장면(202)의 캡처는 초기에 이미지 센서(12)의 각각의 픽셀 센서에 대한 값들을 포함할 것이다. 즉, 임의의 장면의 캡처, 비디오 또는 스틸 캡처는 이미지 데이터(예를 들어, 광)가 이미지 센서(12)에 진입할 때 이미지 센서(12)의 전체 FOV 또는 픽셀 센서들의 100%를 포함할 것이다.

카메라 프로세서 (14) 는 이미지 센서 (12) 로 하여금 제 1 이미지 캡처 모드 (204A/204B) 를 사용하여 이미지 데이터 (예를 들어, 장면 (202) 의 비디오 데이터) 의 하나 이상의 프레임들을 캡처하게 할 수도 있다. 제 1 이미지 캡처 모드는 비닝 동작을 포함할 수도 있다. 일부 예들에서, 제 1 이미지 캡처 모드는 각각의 출력 픽셀에 대해 이미지 센서(12)의 2개 이상의 픽셀들을 사용하는 제 1 비닝 레벨을 포함한다.

일 예에서, 카메라 프로세서 (14) 는 이미지 센서 (12) 로 하여금 각각의 출력 픽셀에 대해 이미지 센서 (12) 의 4 개의 픽셀들을 결합하는 제 1 비닝 레벨을 사용하여 장면 (202) 의 제 1 하나 이상의 프레임들을 캡처하게 할 수도 있다. 예를 들어, 이미지 센서(12)는 각각의 이웃하는 2x2 픽셀을 출력 픽셀로 결합하는 2x2 비닝 레벨을 사용하여 프레임들을 캡처할 수도 있다. 이러한 예들에서, 제 1 비닝된 프레임(206)이 장면 캡처(202)의 사이즈의 1/4인 것으로 도시된 바와 같이, 이미지 센서(12)는 카메라 프로세서(14)에 가능한 최대치보다 25% 더 적은 픽셀들을 출력할 수도 있다. 비닝 프로세싱의 결과로서, 출력 픽셀들은 공간 해상도의 비용으로 더 높은 SNR을 가질 수도 있다. 카메라 프로세서(14)는 또한 비닝으로 센서(12)로부터 더 적은 양의 데이터를 수신할 수도 있으며, 이는 높은 픽셀 센서 카운트를 갖는 센서들에 대해 유리할 수 있다. 이러한 방식으로, 이미지 센서(12)로부터의 픽셀 데이터의 양은 카메라 프로세서(14)의 데이터 스루풋과 더 잘 매칭할 수 있다. 당업자는 도 2a 및 도 2b 에 도시된 픽셀 비닝의 타입이 단지 예시적인 목적들을 위한 것이며 임의의 수의 픽셀 비닝 타입들이 작동할 것이라는 것을 이해할 것이다.

예시적인 예에서, 108MP를 갖는 이미지 센서는 2x2 비닝을 수행할 수도 있고, 이 경우, 4개의 이웃 픽셀들 각각은 단일 출력 픽셀로 결합되고 결합된 픽셀 값들로서 카메라 프로세서에 전송된다. 따라서, 카메라 프로세서는 각 프레임에 대해 이미지 센서로부터 108MP를 수신하는 대신에, 응축된 데이터 스트림으로서 각 프레임에 대해 27MP를 수신하고 따라서 프로세싱할 수도 있다. 이러한 방식으로, 108MP 센서는 비닝할 때 27MP 이미지를 제공할 수도 있어서, 카메라 프로세서에 대한 감소된 프로세싱 부담 및/또는 개선된 SNR을 제공한다. 이미지 센서는 독점 또는 비독점 픽셀 비닝 기법들들과 같은 임의의 수의 알려진 비닝 기법들들을 사용할 수도 있으며, 일부 구현들은 다른 것들에 비해 상이한 품질 결과들을 달성할 수 있다. 본 명세서에서는 특정 예시적인 비닝 기법들이 설명되지만, 비닝 기법들은 이에 한정되지 않으며, 이와 같이, 이미지 센서는 특정 픽셀 센서 패턴들 및/또는 비닝 기술의 다른 진보들에 따라 다양한 비닝 기법들을 채용할 수도 있다.

일부 예들에서, 카메라 프로세서 (14) 는 비닝된 픽셀 데이터 (206) 를 사용하여 디지털 줌 기법들을 수행할 수도 있다. 이미지 데이터의 요망되는 해상도에 따라, 카메라 프로세서(14)는 크로핑, 업샘플링, 다운샘플링, 스케일링, 또는 이들의 조합을 사용할 수도 있다. 예를 들어, 카메라 프로세서 (14) 는 요망되는 디지털 줌 레벨을 달성하기 위해 비닝된 픽셀 데이터 (206) 를 크롭할 수도 있고, 그 후, 요망되는 해상도와 비교되어 크로핑된 픽셀들의 수에 의존하여 업샘플링 또는 다운샘플링할 수도 있다. 예를 들어, 크로핑된 픽셀들의 수가 요망되는 해상도보다 작은 경우, 카메라 프로세서 (14) 는 크로핑된 픽셀들 (206) 사이의 보간을 업샘플링하여, 요망되는 해상도가 달성될 때까지 픽셀들 사이에 픽셀들을 수학적으로 삽입하고 픽셀들의 수를 팽창시킬 수도 있다.

언급된 바와 같이, 업샘플링은 고해상도 비디오를 레코딩할 때 또는 예를 들어, 장면을 가로질러 카메라를 빠르게 패닝(panning)할 때와 같은 대부분의 경우들에서 바람직하지 않다. 이는, 고해상도 디스플레이를 위해 픽셀들의 수를 팽창시키기 위한 노력으로 업샘플링이 경험적인 추측들을 행하기 위해 시도하므로, 업샘플링이 비디오 또는 이미지의 각각의 프레임에 대한 디테일을 정확하게 캡처하지 못할 수도 있기 때문이다.

도 2b는 줌 동작을 수행하는 이미지 센서(12)를 도시하며, 여기서 줌 레벨은 미리 정의된 비닝 전이 임계치를 만족한다. 이와 같이, 카메라 프로세서 (14) 는 줌 동작에 응답하여 이미지 센서 (12) 로 하여금 제 1 비닝 레벨로부터 제 2 비닝 레벨로 전이하게 할 수도 있다. 이 예에서, 카메라 프로세서(14)는 줌 필드(208)에 의해 표현되는 장면(206)의 부분을 포함하는 요망되는 디지털 줌 레벨을 수신하였다.

줌 필드(208)는 줌 레벨에 따라 더 크거나 더 작을 수 있는 점선 박스로서 시각적으로 예시된다. 일부 예들에서, 줌 필드(208)는 이미지 센서(12)와 동일한 기하학적 구조(예를 들어, 직사각형)를 갖는다. 그러나, 줌 필드(208)는 이미지 센서(12)의 것과 비교하여 상이한 기하학적 구조를 가질 수도 있다. 예를 들어, 줌 필드(208)는 정사각형, 원, 또는 픽셀 센서들의 서브세트를 둘러쌀 수 있는 일부 다른 형상일 수도 있다. 일부 예들에서, 줌 필드(208)는 사용자 인터페이스(22)를 통해 사용자에 의해 지정될 수도 있거나, 자동 줌 동작의 결과일 수도 있다.

또한, 줌 필드(208)는 이미지 센서(12)의 임의의 부분을 포함할 수도 있다. 예를 들어, 카메라 프로세서 (14) 는 이미지의 상부 부분에서 줌인하기 위한 명령들을 수신할 수도 있다. 일 예에서, 사용자는, 예를 들어, 사진을 찍기 전의 이미지 프리뷰 동안, 비디오 캡처 동안 등, 디스플레이(28)의 상부 영역에서 핀치-투-줌(pinch-to-zoom)을 사용할 수도 있다. 이러한 예들에서, 줌 필드(208)는 디스플레이(28)의 상부 영역에서 핀치-투-줌에 대응하는 이미지 센서(12)의 픽셀들의 상부 부분을 포함할 수도 있다. 이와 같이, 이미지 센서(12)는 비닝된 또는 비-비닝된 픽셀들의 감소된 부분을 카메라 프로세서(14)에 출력할 수도 있고, 여기서 감소된 부분은 상부 영역에 대응한다. 일부 예들에서, 이미지 센서(12)는 비닝된 또는 비-비닝된 픽셀들의 감소된 부분을 카메라 프로세서(14)에 출력할 수도 있고, 여기서 카메라 프로세서(14)는 요망되는 해상도(예를 들어, 1080p 등)에서 요망되는 디지털 줌 레벨을 달성하기 위해 디지털 줌 동작들을 수행할 수도 있다. 여기서 디스플레이(28)의 상부 영역이 일 예로서 사용되지만, 본 개시의 기술들은 그렇게 제한되지 않으며, 당업자는 다른 관심 영역들이 이러한 줌 동작들을 위해 사용될 수도 있음을 이해할 것이다.

또한, 카메라 프로세서 (14) 는 프레임 (206) 의 비닝된 픽셀들에 대해 디지털 줌 동작을 수행할 수도 있다. 도 2b의 예에서, 카메라 프로세서(14)는 사용자로부터 2x 줌의 요망되는 디지털 줌 레벨을 수신한다. 이 예에서, 카메라 프로세서 (14) 는 제 1 비닝 레벨로부터 제 2 비닝 레벨로의 전이를 야기하는 비닝 전이 임계치로서 2x 줌 레벨을 미리 정의하였다 (210A/210B). 화살표(210A/210B)는 제 2비닝 레벨을 이용하여 캡처된 이미지 데이터에 비해 제 1 비닝 레벨을 이용하여 캡처된 이미지 데이터의 사이즈에서의 차이를 나타낸다. 일부 예들에서, 이미지 데이터는 비디오 데이터의 프레임들일 수도 있다.

일부 예들에서, 줌 레벨은, 예를 들어, 슬라이딩 줌 바, 또는 시각적 또는 청각적 제스처(예를 들어, 음성 명령 또는 시각적 큐), 원격 신호, 또는 카메라의 조작(예를 들어, 렌즈 피스를 트위스팅)과 같은 줌 동작을 야기하도록 구성된 일부 다른 입력을 사용하여, 핀치-투-줌 동작을 수행함으로써 사용자에 의해 설정될 수도 있다. 일부 예들에서, 줌 레벨은 타이머 설정 또는 프로그래밍된 루틴에 기초하는 것과 같이, 사용자 설정에 응답하여 자동으로 변경되도록 설정될 수도 있다.

도 2b 의 예에서, 카메라 프로세서 (14) 는 현재 카메라 (15) 가 미리 정의된 비닝 전이 임계치를 만족하는 줌 동작을 수행할 것이라는 표시를 수신할 수도 있다. 예를 들어, 카메라 프로세서 (14) 는 디지털 줌 레벨이 미리 정의된 비닝 전이 임계치 이상일 때 요망되는 디지털 줌 레벨이 미리 정의된 비닝 전이 임계치를 만족한다고 결정할 수도 있다. 일 예에서, 줌 필드(208)는 현재 사용 중인 렌즈의 광학 줌에 대한 줌 레벨을 포함하는 줌 요청에 대응할 수도 있다. 일부 예들에서, 사용자가 줌을 증가시킴에 따라, 줌 필드(208)는 미리 정의된 비닝 전이 임계치를 만족시킬 때까지 더 작아진다. 도 2b의 예는 비닝 전이 임계치를 만족하는 줌 레벨에 도달하는 줌 필드(208)를 도시한다.

본 개시의 기법들에 따르면, 카메라 프로세서 (14) 는 이미지 센서 (12) 로 하여금 제 1 이미지 캡처 모드 (예를 들어, 2x2 픽셀 비닝 또는 다른 비닝 모드) 로부터 제 2 이미지 캡처 모드 (210A/210B) 로 전이하게 할 수도 있다. 예를 들어, 카메라 프로세서 (14) 는 이미지 센서 (12) 로 하여금 제 2 이미지 캡처 모드를 사용하여 이미지 데이터의 제 2 하나 이상의 프레임들을 캡처하게 할 수도 있고, 여기서, 제 2 이미지 캡처 모드는 이미지 데이터의 각각의 출력 픽셀에 대해 제 1 비닝 레벨에 비해 이미지 센서의 더 적은 픽셀들을 사용하는 제 2 비닝 레벨을 포함한다.

일 예에서, 제 2 비닝 레벨은 비-비닝 레벨일 수도 있다. 이미지 센서 (12) 가 제 1 비닝 레벨로부터 다른 비닝 레벨로 전이하는 이러한 예들에서, 카메라 프로세서 (14) 는 제 1 비닝 레벨로부터 다음 비닝 레벨로의 전이로부터 초래될 출력 픽셀들의 수에서의 차이를 결정할 수도 있다.

그 후, 카메라 프로세서 (14) 는 2 개의 비닝 레벨들 사이의 차이에 기초하여 픽셀 감소량을 결정할 수도 있다. 예를 들어, 제 1 비닝 레벨로부터의 출력 픽셀들의 수가 제 2 비닝 레벨로부터의 출력 픽셀들의 수에 근접하도록 감소량이 설정될 수도 있다. 비제한적 예에서, 이미지 센서(12)는 2x2 비닝으로부터 비-비닝으로 전환하는 48MP 이미지 센서일 수도 있고, 카메라 프로세서는 비닝되지 않은 출력 픽셀들의 25% 이도록 감소량을 결정할 수도 있고, 이는 비닝 레벨 전 및 후에 12MP 의 데이터 스루풋을 달성할 것이다. 카메라 프로세서 (14) 는 그 후 이미지 센서 (12) 로 하여금 비닝 전이에 이어 감소된 픽셀 양을 출력하게 할 수도 있다.

일부 예들에서, 카메라 프로세서 (14) 는 다양한 디지털 줌 기법들을 사용하여 비닝 레벨 전이에 후속하여 요망되는 디지털 줌 레벨을 달성하기 위해 출력 픽셀들의 감소된 부분을 사용할 수도 있다. 예를 들어, 카메라 프로세서 (14) 는 제 1 요망되는 디지털 줌 레벨을 달성하기 위해 크로핑 및 다운샘플링을, 제 1 보다 큰 제 2 요망되는 디지털 줌 레벨을 달성하기 위해 크로핑을, 그리고 제 2 보다 큰 제 3 요망되는 디지털 줌 레벨을 달성하기 위해 크로핑 및 업샘플링을 사용할 수도 있다. 즉, 카메라 프로세서 (14) 는, 요망되는 디지털 줌 레벨이, 카메라 프로세서 (14) 가 요망되는 해상도에서 요망되는 디지털 줌 레벨을 달성하기 위해 업샘플링 기법들을 수행할 업샘플링 임계치와 같은 다양한 디지털 줌 임계치들을 만족하는 것을 결정할 수도 있다. 일부 예들에서, 업샘플링 임계치는, 일부 예들에서, 픽셀들의 임계 수에 근사하는 임계 디지털 줌 레벨의 관점에서 정의될 수도 있는, 요망되는 디지털 해상도에서 요망되는 디지털 줌 레벨을 달성하기 위해 카메라 프로세서 (14) 가 크롭할 수 있는 픽셀들의 임계 수에 대응한다. 일부 예들에서, 업샘플링 임계치는 미리 정의된 비닝 전이 임계치 또는 카메라 전이 임계치 미만인 디지털 줌 레벨에 대응할 수도 있다.

카메라 프로세서 (14) 는 사용자가 요망되는 디지털 줌 레벨을 증가 또는 감소시킴으로써 비닝 전이 임계치 또는 카메라 전이 임계치가 만족될 때까지 업샘플링 임계치가 만족되는 것에 응답하여 업샘플링을 수행할 수도 있다. 임의의 경우에, 업샘플링 임계치는 카메라(15) 또는 컴퓨팅 디바이스(10)의 요망되는 해상도 파라미터에 대응하도록 설정될 수도 있어서, 카메라 프로세서(14)는 이미지 센서(12)로부터 수신된 출력 픽셀들을 업샘플링함으로써 요망되는 해상도에서 요망되는 디지털 줌 레벨을 달성할 수도 있다. 당업자는 업샘플링(또는 다운샘플링)이 요망되는 해상도에서 요망되는 디지털 줌 레벨을 달성하기 위해 디지털 크로핑 기법들과 함께 사용될 수도 있다는 것을 이해할 것이다.

일부 예들에서, 카메라 프로세서 (14) 가 디지털 줌의 일부로서 수행할 크로핑, 다운샘플링, 및 업샘플링의 양은 이미지 센서 (12) 의 사이즈 및 요망되는 출력 해상도에 의존한다. 예를 들어, 이미지 센서(12)가 요망되는 출력 해상도에 비해 더 많은 출력 픽셀들을 제공할 수 있는 경우, 카메라 프로세서(14)는 요망되는 출력 해상도에서 요망되는 줌 레벨을 달성하기 위해 크로핑 및 다운샘플링을 수행할 수도 있다. 줌 레벨이 증가함에 따라, 카메라 프로세서 (14) 는 크롭할 수도 있고, 그 후, 줌 레벨이 더 증가함에 따라, 카메라 프로세서 (14) 는 요망되는 출력 해상도에서 요망되는 줌 레벨을 달성하기 위해 크로핑 및 업샘플링을 수행할 수도 있다.

비제한적인 예에서, 미리 정의된 비닝 전이 임계치는 2x 줌 전이 임계치이므로, 요망되는 디지털 줌 레벨이 사용되고 있는 현재 렌즈(13)에 의해 제공되는 광학 줌 레벨에 대해 2x 줌 이상일 때, 카메라 프로세서(14)는 줌 레벨이 미리 정의된 비닝 전이 임계치를 만족한다고 결정할 수 있다. 다른 예들에서, 미리 정의된 임계치는 1.5x 줌 레벨, 3x 줌 레벨, 5x 줌 레벨 등이다. 일부 예들에서, 카메라 프로세서(14)는, 카메라 프로세서(14)가 바람직한 양을 초과하는 정도로 업샘플링, 다운스케일링, 크로핑 및/또는 스케일링과 같은 디지털 줌 기법들을 사용하는 줌 레벨들에 기초하여 미리 정의된 비닝 전이 임계치를 설정할 수도 있다. 예를 들어, 카메라 프로세서 (14) 는 최대 허용가능한 업샘플링량에 기초하여 미리 정의된 비닝 전이 임계치를 설정할 수도 있다.

도 2b 의 예에서, 카메라 프로세서 (14) 는 이미지 센서 (12) 로 하여금 비-비닝 레벨을 사용하여 제 2 프레임들 (212) 을 캡처하게 할 수도 있다. 예를 들어, 이미지 센서(12)는 비-비닝 모드(210A/210B)를 사용하여 제 2 프레임들(212)을 캡처할 수도 있다. 이러한 예들에서, 이미지 센서(12)는 비-비닝을 사용하여 프레임들(212)을 캡처하여, 출력 프레임이 비닝된 프레임(206)보다 4배 더 크도록 할 수도 있다. 이는 제 1 하나 이상의 프레임들(206)로부터 제 2 하나 이상의 프레임들(212)로의 전이에 의해 예시되며, 여기서 프레임(212)은, 4-픽셀 비닝 모드로부터 비-비닝 모드로 전이하는 이미지 센서(12)에 기인하여 프레임(206)보다 4배 더 크다.

일부 예들에서, 이미지 센서(12)는 그 후, 카메라 프로세서(14)에 출력하기 위해 캡처된 픽셀들의 감소된 부분(214)을 결정할 수도 있다. 이미지 센서(12)는 감소된 부분(214)을 비닝된 또는 일부 경우들에서 비-비닝된 픽셀 값들로서 출력할 수도 있다. 도 2b의 예에서, 이미지 센서(12)는 비-비닝 레벨에 따라 비닝되지 않은 픽셀들로서 감소된 부분(214)을 출력할 수도 있다. 이러한 예들에서, 이미지 센서(12)는 단순히 특정 외부 픽셀들을 무시하고, 그 후, 픽셀들(214)의 감소된 부분을 카메라 프로세서(14)로 전송할 수도 있다. 일부 예들에서, 카메라 프로세서는 이미지 센서(12)로부터 픽셀들의 감소된 부분을 수신한 후에 디지털 줌 동작들(예를 들어, 크로핑, 업샘플링, 스케일링 등)을 수행할 수도 있다.

감소된 부분(214)의 사이즈는 제 1 비닝 레벨과 제 2 비닝 레벨 사이의 차이에 의존할 수도 있다. 일부 예들에서, 이미지 센서(12)는 출력 픽셀들의 차이를 결정하고, 픽셀 수들의 차이 사이의 비율에 기초하여 감소된 부분을 결정할 수도 있다. 예시적인 예로서, 감소된 부분(214)은 프레임(206)의 비닝된 장면과 사이즈가 동일하다. 도 2b의 예에 도시된 바와 같이, 이미지 센서(12)는 4-픽셀 비닝으로부터 비-비닝으로 전이할 수도 있고, 이 경우, 이미지 센서(12)는 전체 프레임(212)의 25%로서 감소된 부분을 결정할 수도 있다. 또한, 감소된 부분(214)은 제 2 프레임(212)의 중심(예를 들어, 프레임(212)의 중심 25%)을 포함할 수도 있다. 일부 예들에서, 감소된 출력 부분(214)은 도 2b에 도시된 바와 같이 이미지 센서(12)와 동일한 종횡비를 갖는다.

예시적인 예에서, 카메라 프로세서(14)는 2배(2x) 줌에 대한 줌 요청을 수신할 수도 있고, 2x 줌 요청은 동작 중인 현재 렌즈(13)에 대응하는 광학 줌 레벨의 2x 줌이다. 예를 들어, 2x 줌 요청은 모바일 디바이스의 제 1 렌즈의 2x 광학 줌 레벨을 지칭할 수도 있다. 이에 응답하여, 카메라 프로세서 (14) 는 이미지 센서 (12) 로 하여금 비닝 레벨들을 전이하게 하고, 전이된 비닝 레벨을 사용하여 이미지 데이터를 캡처하게 하고, 캡처된 픽셀들의 감소된 부분을 결정하게 하고, 그리고 픽셀들의 감소된 부분을 카메라 프로세서 (14) 로 전송하게 할 수도 있다.

일부 예들에서, 이미지 센서 (12) 는 하나의 비닝 레벨로부터 다른 비닝 레벨로의 전이에 후속하여 비닝된 픽셀들의 감소된 부분을 카메라 프로세서 (14) 로 출력할 수도 있다. 예를 들어, 2x2 비닝을 수행하는 16MP 이미지 센서(12)는 4MP 비닝된 픽셀들을 카메라 프로세서(14)로 정상적으로 출력할 수 있다. 그러나, 이미지 센서(12)는 하나의 비닝 레벨로부터 다른 비닝 레벨로 이미지 센서(12)로부터 카메라 프로세서(14)로의 일정한 또는 거의 일정한 데이터 스루풋 레이트를 유지하기 위해 비닝된 픽셀들의 내부 부분만을 카메라 프로세서(14)로 출력할 수도 있다.

다른 비제한적인 예로서, 이미지 센서(12)는 4-픽셀 비닝으로부터 2-픽셀 비닝(예를 들어, 수평 비닝)으로 전이할 수도 있고, 이 경우, 이미지 센서(12)는 감소된 출력 부분(214)을 전체 프레임(212)의 50%(4개의 픽셀들로 분할된 2개의 픽셀들)로서 결정할 수도 있다. 임의의 경우에, 미리 정의된 비닝 전이 임계치는 카메라 프로세서 (14) 의 최대 대역폭이 비닝 레벨들 사이에서 유사하도록 설정될 수도 있다. 이는, 이미지 센서(12)가 비닝 전이에 이어서 전체 양의 픽셀들을 출력하지 않고, 따라서, 더 적은 픽셀들이 카메라 프로세서(14)로 전송되기 때문이다.

위에서 논의된 바와 같이, 비닝 레벨들 사이의 차이는, 일부 상황들에서, 요망되는 해상도 및/또는 카메라 프로세서 (14) 의 대역폭에 의존할 수도 있다. 카메라 프로세서(14)는, 카메라 프로세서(14)에 과도한 부담을 주지 않고 요망되는 해상도에 비해 이미지 센서(12)의 사이즈에 따라 사용되는 업샘플링 및/또는 스케일링의 양을 제한하기 위해 비닝 레벨들 사이의 차이를 설정할 수도 있다. 전술한 바와 같이, 업샘플링은 픽셀 값들 사이의 보간이 항상 정확하지는 않기 때문에 비디오 및 다른 이미지 데이터에 왜곡들을 야기하고, 따라서 이미지 데이터에 부정확한 픽셀 값들이 도입될 수도 있다. 이러한 왜곡들은 높은 프레임 레이트에서 고해상도 비디오 샷을 저하시킬 수 있고, 따라서 카메라 프로세서(14)가 가능한 한 적은 업샘플링을 수행하는 것이 유리하다. 개시된 기술은 주밍 동안 왜곡을 개선하고, 또한, 스루풋 레벨에서의 스파이크들을 회피하기 위해 범위 내에서 스루풋을 높게 유지한다.

도 3a 및 도 3b 는 도 1 의 이미지 센서가 픽셀 센서 레벨에서 다양한 비닝 동작들을 수행하는 방법을 설명하기 위한 도면들이다. 도 3a 는 이미지 센서(12)의 픽셀 센서들의 부분을 예시한다(302A). 컬러 픽셀 센서들은 적색 - "R" - 블록들, 녹색 - "G" - 블록들 및 청색 - "B" - 블록들에 의해 표시된다. 특정 어레이 패턴이 도시되어 있지만, 도시된 패턴은 단지 하나의 예일 뿐이며, 어레이 패턴들은 임의의 다른 패턴, 배향들에 따라 그리고 다른 컬러들을 포함하도록 배열될 수도 있다. 즉, 본 개시의 기법들은 도 6 의 다른 시각적 묘사에 예시된 바와 같이, 다양한 다른 어레이 구성들 및 비닝 기법들에 대해 사용될 수도 있다.

도 3a 는 이미지 센서(12)의 제 1 비닝 레벨을 나타낸다. 일부 예들에서, 잠재적 비닝 레벨들은 수직 비닝 모드, 수평 비닝 모드, 2x2 비닝 모드, 3x3 비닝 모드, 4x4 비닝 모드, 8x8 비닝 모드 등 또는 이들의 조합들 중 적어도 하나를 포함할 수도 있다. 이러한 예들에서, 비닝 레벨들에서의 차이들은 각각의 비닝 레벨에 대해 각각의 출력 픽셀에 대해 사용되는 픽셀들의 수 사이의 차이에 기초하여 분류될 수도 있다. 예를 들어, 2x2 비닝 모드는 4개의 픽셀들을 결합하는 것을 수반하는 반면, 3x3 비닝 모드는 9개의 픽셀들을 결합하는 것을 수반하며, 따라서, 매 9개의 픽셀들마다 5개의 픽셀들이 차이가 난다. 일부 예들에서, 이미지 센서(12)는 각각의 픽셀 센서에 대한 픽셀 값들을 평균함으로써 픽셀들을 결합할 수도 있다. 예를 들어, 이미지 센서(12)는 픽셀들에 대한 가중 평균을 사용할 수도 있다. 이미지 센서(12)는 또한 결합된 픽셀 값을 결정할 때 픽셀 값들의 합을 결정할 수도 있다. 당업자는 임의의 수의 공지된 비닝 기법들이 픽셀들을 결합하기 위해 사용될 수도 있다는 것을 이해할 것이다. 어느 경우든, 제 1 비닝 레벨을 포함하는 제 1 캡처 모드는 제 2 비닝 레벨을 포함하는 제 2 이미지 캡처 모드에 비해 더 낮은 픽셀 밀도를 제공한다.

도 3a 의 예에서, 비닝 레벨은 2x2 픽셀 비닝 중 하나일 수도 있고, 이 경우, 이미지 센서(12)는 4개의 이웃 픽셀들(예를 들어, R, G, 및 G, B 픽셀들의 2x2 스퀘어)을 하나의 출력 픽셀(302B)로 결합한다. 도 3a 의 예는 단일 픽셀로 결합되는 프로세스에서 4개의 픽셀을 나타낸다. 일부 예들에서, 도 3a는 다수의 픽셀들을 더 적은 출력 픽셀들로 결합하는 중간 스테이지들을 도시한다(302B). 예를 들어, 이미지 센서(12)의 상부 좌측의 4개의 이웃하는 R, G, B, G 픽셀들은 단일 R 출력 픽셀에 도달하도록 평균화될 수도 있다. 최종 감소된 사이즈는 도 3a에 도시되지 않지만, 출력 픽셀들(302B)을 결합할 때, 출력 픽셀들(302B)은 2x2 비닝(또는 4 대 1 비닝)의 결과로서 이미지(12)(302A)의 픽셀에 비해 25% 더 적은 픽셀들을 포함할 것이다.

도 3b는 이미지 데이터의 각각의 출력 픽셀에 대한 제 1 비닝 레벨에 비해 이미지 센서(12)의 더 적은 픽셀들을 사용하는 예시적인 비닝 레벨을 도시한다. 논의된 바와 같이, 카메라 프로세서 (14) 는 줌 레벨이 미리 정의된 비닝 전이 임계치를 충족시킬 때 이미지 센서 (12) 로 하여금 제 1 비닝 레벨로부터 제 2 비닝 레벨로 전이하게 할 수도 있다. 도 3b의 예에서, 제 2 비닝 레벨은 비-비닝 레벨일 수도 있고, 이 경우, 이미지 센서(12)는 이미지 데이터의 각각의 출력 픽셀(304C)에 대해 이미지 센서(12)의 하나의 픽셀(304B)을 사용할 수도 있다. 이미지 센서(12)는 출력 픽셀들(304C)을 카메라 프로세서(14)에 전송할 수도 있다.

본 개시의 특정 예들이 특정 픽셀 비닝 타입들 및 픽셀 비닝 레벨들을 언급하지만, 본 개시의 기술들은 그렇게 제한되지 않고, 임의의 수의 독점적 또는 비-독점적 픽셀 비닝 타입들이 본 개시의 기술들에 따라, 뿐만 아니라 이들 픽셀 비닝 타입들 내의 레벨들 또는 각도들에 따라 이용될 수도 있다는 것에 유의해야 한다.

도 4a는 다양한 비닝 레벨들을 사용하여 줌 동작들을 수행하는 도 1 에 도시된 카메라 프로세서(14) 및 이미지 센서(12)의 예시적인 동작들을 도시하는 예시적인 흐름도이다. 카메라 프로세서(14)는 비닝 전이 임계치 미만인 제 1 줌 레벨을 수신할 수도 있다(38). 일부 예들에서, 줌 레벨은 사용자 정의될 수도 있다. 일부 예들에서, 줌 레벨은 예컨대 카메라 애플리케이션에 의해 및/또는 인공 지능(AI)의 지원으로 자동으로 정의될 수도 있다. 제 1 줌 레벨은 어떤 렌즈(13)가 현재 사용되고 있는 지에 의해 제공되는 광학 줌에 비해 1.0x보다 큰 줌 레벨일 수도 있다. 일부 예들에서 줌 레벨은 디폴트 렌즈(13)에 대한 것일 수도 있다. 일부 예들에서, 줌 레벨은 1.0x일 수도 있으며, 이는 현재 디지털 줌 요청이 존재하지 않음을 카메라 프로세서(14)에 표시한다. 다른 예에서, 줌 레벨은, 특정 비닝 전이 임계치 이상인 디폴트 줌 레벨의 경우에서와 같이, 비닝 전이 임계치를 자동으로 만족시키는 요청된 줌 레벨을 포함할 수도 있다.

임의의 경우에, 카메라 프로세서 (14) 는 그 후 제 1 디지털 줌 레벨이 비닝 전이 임계치 미만인지, 이상인지 여부를 결정할 수도 있다 (40). 예를 들어, 비닝 전이 임계치는 디지털 줌 레벨이 특정 렌즈(13)에 의해 제공되는 광학 줌에 비해 2x 줌 레벨 이상일 때 만족되도록 미리 정의될 수도 있다. 이와 같이, 카메라 프로세서 (14) 는 디지털 줌 레벨과 비닝 전이 임계치의 비교를 수행하여 비닝 전이 임계치가 만족되는지 여부를 결정할 수도 있다. 제 1 디지털 줌 레벨이 비닝 전이 임계치보다 작으면, 카메라 프로세서(14)는 이미지 센서(12)로 하여금 제 1 이미지 캡처 모드를 사용하여 비디오 데이터와 같은 이미지 데이터의 제 1 하나 이상의 프레임들을 캡처하게 할 수도 있다(42).

일부 예들에서, 제 1 이미지 캡처 모드는 복수의 이미지 센서들(12)에 대한 비닝 레벨들을 포함할 수도 있고, 비닝 레벨들은 각각의 이미지 센서(12)에 대해 상이할 수도 있거나, 비닝 레벨들은 2개 이상의 이미지 센서들(12)에 대해 동일할 수도 있다. 예를 들어, 제 1 이미지 캡처 모드의 제 1 비닝 레벨은 제 1 이미지 센서(12)에 대한 4x4 비닝을 포함할 수도 있는 반면, 제 1 이미지 캡처 모드는 제 2 이미지 센서(12)에 대한 2x2 비닝 레벨을 더 포함할 수도 있다. 일 실시예에서, 제 1 이미지 캡처 모드의 제 1 비닝 레벨은 제 1 이미지 센서(12)에 대한 4x4 비닝 및 제 2 이미지 센서(12)에 대한 4x4 비닝 레벨을 포함할 수도 있다. 당업자는 이러한 비닝 레벨들이 예를 들어 제공된다는 것을 이해할 것이다. 비닝 레벨들은 다양한 다른 예들에서 상이할 수도 있다. 임의의 경우에, 제 1 이미지 캡처 모드는 이미지 데이터의 각각의 출력 픽셀에 대해 각각의 이미지 센서(12)의 2개 이상의 픽셀을 사용하는 것을 포함할 수도 있다.

일 예에서, 제 1 이미지 캡처 모드는 이미지 데이터의 각각의 출력 픽셀에 대해 이미지 센서(12)의 2개 이상의 픽셀을 사용하는 제 1 비닝 레벨을 포함할 수도 있다. 예를 들어, 제 1 비닝 레벨은 이미지 센서(12)가 이미지 데이터의 각각의 출력 픽셀에 대해 64개의 픽셀들을 사용하는 8x8 픽셀 비닝, 이미지 센서(12)가 이미지 데이터의 각각의 출력 픽셀에 대해 16개의 픽셀들을 사용하는 4x4 픽셀 비닝, 이미지 센서(12)가 이미지 데이터의 각각의 출력 픽셀에 대해 8개의 픽셀들을 사용하는 2x4 픽셀 비닝, 이미지 센서(12)가 이미지 데이터의 각각의 출력 픽셀에 대해 2개의 픽셀들을 사용하는 2x1 픽셀 비닝 등을 포함할 수도 있다. 이미지 센서(12)는 요망되는 디지털 줌 레벨을 달성하기 위해 추가 프로세싱을 위해 비닝된 픽셀들을 카메라 프로세서(14)에 출력할 수도 있다.

일부 예들에서, 카메라 프로세서 (14) 는 제 2 디지털 줌 레벨을 수신할 수도 있다 (44). 예를 들어, 사용자는 디지털 줌 레벨을 제 1 레벨에서 제 2 레벨로 증가시키고 있을 수도 있다. 다른 예들에서, 카메라 프로세서 (14) 는 카메라 애플리케이션의 초기화 시에 디폴트 줌 레벨로서 제 2 디지털 줌 레벨을 수신할 수도 있다. 사용자가 줌 레벨들을 증가시키는 관점에서 설명되었지만, 당업자는 기술들이 그렇게 제한되지 않으며, 사용자가 요망되는 디지털 줌 레벨을 감소시키고 있는 반대 시나리오에 대해 유사한 프로세스들이 사용될 수도 있다는 것을 이해할 것이다. 예를 들어, 카메라 프로세서(14)는 제 2 디지털 줌 레벨을 수신할 수도 있고, 디지털 줌 레벨을 제 2 디지털 줌 레벨보다 작은 후속하여 요청된 디지털 줌 레벨로 감소시킬 수도 있다. 이러한 예들에서, 후속하여 요청된 디지털 줌 레벨은 카메라 프로세서(14)가 이미지 센서(12)로 하여금 제 1 이미지 캡처 모드를 사용하여 이미지 데이터의 프레임들을 캡처하게 하는 제 1 레벨을 포함할 수도 있다.

일부 예들에서, 제 2 디지털 줌 레벨은 요청된 디지털 줌 레벨을 포함할 수도 있다. 요청된 디지털 줌 레벨은 사용자 입력으로서 카메라 프로세서(14)에 의해 수신된 결정된 요청된 줌 레벨을 포함할 수도 있다. 일부 예들에서, 요청된 디지털 줌 레벨은 카메라 프로세서(14) 또는 카메라 애플리케이션 등에 의해 자동으로 요청되는 요청된 디지털 줌 레벨을 포함할 수도 있다. 예를 들어, 요청된 디지털 줌 레벨은 카메라 애플리케이션의 초기 론칭 시에 카메라 애플리케이션이 사용하는 디폴트 줌 레벨일 수도 있다. 비제한적인 예에서, 요청된 디지털 줌 레벨은 특정 카메라 애플리케이션에 대한 디폴트 줌 레벨로서 기능하는 2x 디지털 줌 레벨을 포함할 수도 있다.

카메라 프로세서 (14) 는 제 2 디지털 줌 레벨이 비닝 전이 임계치 미만인지, 이상인지 여부를 결정할 수도 있다 (46). 제 2 디지털 줌 레벨이 비닝 전이 임계치보다 크거나 같으면, 카메라 프로세서(14)는 이미지 센서(12)로 하여금 제 2 이미지 캡처 모드를 사용하여 비디오 데이터와 같은 이미지 데이터의 제 2 하나 이상의 프레임들을 캡처하게 할 수도 있다(48).

예시적이고 비제한적인 예에서, 비닝 전이 임계치는 2x 줌 레벨에서 줌 임계치를 정의할 수도 있다. 제 2 디지털 줌 레벨(예를 들어, 요청된 디지털 줌 레벨)은 2x 줌 레벨에 대한 디폴트 요청을 포함할 수도 있다. 이러한 예들에서, 카메라 프로세서 (14) 는 비닝 전이 임계치가 비닝 전이 임계치 이상인 제 2 디지털 줌 레벨에 의해 만족된다고 결정할 수도 있다. 즉, 카메라 애플리케이션은 기본적으로 2x 줌 레벨과 같은 특정 줌인 레벨로 열릴 수도 있을 것이다. 이러한 예들에서, 카메라는 제 2 이미지 캡처 모드(예를 들어, 비-비닝 레벨)를 사용하여 시작할 수도 있다. 이러한 예들에서, 카메라 프로세서 (14) 는 (예를 들어, < 2x 줌 레벨로의) 요망되는 줌-아웃 레벨을 포함하는 제 2 요청된 줌 레벨을 결정할 수도 있다. 이와 같이, 카메라 프로세서 (14) 는 이미지 센서 (12) 로 하여금 제 1 이미지 캡처 모드를 사용하여 후속 프레임들을 캡처하게 할 수도 있다. 이러한 예들에서, 이미지 데이터의 프레임들은 먼저 제 2 이미지 캡처 모드를 사용하여 캡처될 수도 있다. 비닝 전이 임계치를 만족시키는 이 예시적인 예의 줌 아웃 요청에 후속하여, 카메라 프로세서 (14) 는 이미지 센서 (12) 로 하여금 제 2 이미지 캡처 모드를 사용하여 이미지 데이터의 후속 프레임들을 캡처하게 할 수도 있다. 일부 예들에서, 이미지 데이터는 비디오 데이터 또는 스틸 이미지 데이터를 포함할 수도 있다. 예를 들어, 카메라 프로세서 (14) 는 비디오 데이터를 레코딩하기 위해, 적어도 부분적으로, 캡처된 프레임들을 사용할 수도 있다. 이러한 예에서, 카메라 프로세서 (14) 는 비디오 데이터를 인코딩하고 및/또는 시스템 메모리 (30) 등에 비디오 데이터를 저장할 수도 있다. 다른 예에서, 카메라 프로세서(14)는 디스플레이(28) 상의 사용자 인터페이스(22)를 통해 이미지 미리보기를 제공하기 위해, 적어도 부분적으로, 캡처된 프레임들을 사용할 수도 있다.

일부 예들에서, 제 2 이미지 캡처 모드는 복수의 이미지 센서들(12)에 대한 제 2 비닝 레벨 또는 비-비닝 레벨을 포함할 수도 있다. 예를 들어, 제 2 이미지 캡처 모드의 제 2 비닝 레벨은 제 1 이미지 센서(12)에 대한 비-비닝 및 또한 제 2 이미지 센서(12)에 대한 비-비닝을 포함할 수도 있다. 당업자는 비-비닝 레벨들이 예를 들어 제공된다는 것을 이해할 것이다. 제 2 비닝 레벨들은, 일부 예들에서, 각각의 이미지 센서들(12)의 2개 이상의 픽셀들을 사용하는 비닝 레벨들을 포함할 수도 있다. 임의의 경우에, 제 2 이미지 캡처 모드는 이미지 데이터의 각각의 출력 픽셀에 대해, 제 1 이미지 캡처 모드에 비해, 각각의 이미지 센서(12)의 더 적은 픽셀들을 사용하는 것을 포함한다.

제 2 이미지 캡처 모드는 이미지 데이터의 각각의 출력 픽셀에 대한 제 1 비닝 레벨에 비해 이미지 센서(12)의 더 적은 픽셀들을 사용하는 제 2 비닝 레벨을 포함할 수도 있다. 예를 들어, 제 1 비닝 레벨은 8x8 픽셀 비닝을 포함할 수도 있다. 이에 따라, 제 2 비닝 레벨은 예를 들어 4x4 픽셀 비닝, 3x3 픽셀 비닝, 2x4 픽셀 비닝, 2x1 픽셀 비닝, 1x1 픽셀 비닝, 또는 비-비닝 레벨을 포함할 수도 있다. 비제한적인 예에서, 이미지 센서(12)는 제 2 비닝 레벨로서 비-비닝을 사용하여 이미지 데이터의 제 2 하나 이상의 프레임들을 캡처할 수도 있다.

일부 예들에서, 이미지 센서(12)는 요망되는 디지털 줌 레벨을 달성하기 위한 추가적인 프로세싱을 위해 비닝된 또는 비-비닝된 픽셀들의 전부 또는 일부를 카메라 프로세서(14)에 출력할 수도 있다. 예를 들어, 이미지 센서(12)는 제 1픽셀 비닝 레벨과 제 2픽셀 비닝 레벨의 차이에 따라 비닝되거나 비닝되지 않은 픽셀들 중 일부를 출력할 수도 있다. 이미지 센서(12)가 4x4 픽셀 비닝으로부터 2x1 픽셀 비닝으로 전이하는 일 예에서, 이미지 센서(12)는 2x1 비닝된 픽셀들의 ~12.5%와 동일한 비닝된 픽셀들의 부분을 카메라 프로세서(14)에 출력할 수도 있다. 이와 같이, 출력 백분율은 제 2 비닝 레벨의 각각의 결합된 픽셀에 대한 픽셀들의 수(예를 들어, 2x1 비닝에 대해 2)를 취하고, 그것을 제 1 비닝 레벨의 각각의 결합된 픽셀에 대한 픽셀들의 수(예를 들어, 4x4 비닝에 대해 16)로 나눔으로써 결정될 수도 있다. 이러한 예들에서, 이미지 센서(12)는 2x1 비닝된 픽셀들의 중심 ~12.5%를 출력할 수도 있다. 일부 예들에서, 출력 부분은 이미지 센서(12)의 치수에 대해 임의의 치수(예를 들어, 직사각형, 정사각형 등)일 수도 있다.

이미지 센서(12)가 2x2 픽셀 비닝으로부터 비-비닝으로 전이하는 다른 예에서, 이미지 센서(12)는 25%(예를 들어, 중심 25%)와 동일한 비-비닝된 픽셀들의 부분을 카메라 프로세서(14)에 출력할 수도 있다. 이미지 센서(12)가 3x3 픽셀 비닝으로부터 비닝으로 전이하는 다른 예로서, 이미지 센서(12)는 비-비닝된 픽셀들의 ~11.1%(예를 들어, 중심 ~11.1%)와 동일한 비닝된 픽셀들의 부분을 카메라 프로세서(14)에 출력할 수도 있다.

도 4b는 다수의 렌즈들(13)로 다양한 비닝 레벨들을 사용하여 줌 동작들을 수행하는 카메라 프로세서(14) 및 이미지 센서(12)의 예시적인 동작들을 나타내는 예시적인 흐름도이다. 다수의 카메라들(15)을 포함하는 예들에서, 카메라 프로세서(14)는 요망되는 줌 레벨이 현재 카메라(15)의 광학 줌 레벨을 초과하는지 여부를 결정할 수 있다 (50). 일부 예들에서, 현재 카메라(15)는, 예를 들어, 카메라 애플리케이션의 론칭 시에 카메라(15)가 개시하는 렌즈(13)를 포함할 수도 있다. 예를 들어, 렌즈는 1.0x 광학 줌 레벨을 갖는 렌즈일 수도 있다. 일부 예들에서, 카메라는 카메라 전이 임계치를 초과하는 요망되는 디지털 줌 레벨에 기초하여 다른 카메라로부터 이미 전이된 카메라일 수도 있다. 비제한적인 예에서, 현재 카메라는 1.0x 광학 줌을 갖는 카메라로부터 전이된 3.0x 광학 줌 카메라, 5.0x 광학 줌 카메라 또는 10.0x 광학 줌 카메라일 수도 있다.

일부 예들에서, 카메라 프로세서 (14) 는 요망되는 줌 레벨이 현재 렌즈의 광학 줌과 동일하거나 거의 동일한 것을 결정할 수도 있다. 예를 들어, 요망되는 줌 레벨은 현재 렌즈가 1.0x 광학 줌 레벨을 갖는 경우 1.0x일 수도 있다. 이러한 경우들에서, 카메라 프로세서 (14) 는 이미지 센서 (12) 로 하여금 제 1 비닝 레벨을 사용하여 비디오 데이터와 같은 이미지 데이터를 단순히 캡처하게 할 수도 있다 (60). 예를 들어, 제 1 비닝 레벨은 다수의 픽셀들을 더 적은 픽셀들로 결합하는 것을 포함할 수도 있다. 이미지 센서(12)는 비닝된 픽셀들을 카메라 프로세서(14)로 출력할 수도 있다 (66). 이 예에서, 요망되는 줌 레벨이 현재 렌즈(13)의 광학 줌과 동일하거나 거의 동일하기 때문에, 카메라 프로세서(14)는 임의의 디지털 줌 동작들을 수행하는 것을 중단할 수도 있다.

그러나, 요망되는 줌 레벨이 현재 카메라(15)의 광학 줌과 동일하지 않으면, 카메라 프로세서(14)는 요망되는 줌 레벨이 요청되었다고 결정할 수도 있다. 예를 들어, 사용자는 현재 카메라(15)의 광학 줌 레벨에 대해 1.0x 초과의 줌 레벨을 요청할 수도 있다.

카메라 프로세서 (14) 는 요망되는 줌 레벨이 카메라 전이 임계치를 만족하는지 여부를 결정할 수도 있다 (54). 카메라 전이 임계치는 렌즈들(13)의 특정 구성과 관련될 수도 있어서, 각각의 렌즈(13)는 다양한 줌 레벨들에서 사용될 수도 있다. 예를 들어, 카메라 전이 임계치가 다른 카메라로 전이하기 위한 3x 줌 레벨이면, 카메라 프로세서 (14) 는 카메라들이 전환되어야 하는지 여부를 결정하기 위해 요망되는 줌 레벨을 카메라 전이 임계치와 비교할 수도 있다. 줌 레벨이 카메라 전이 임계치를 초과하지 않으면, 카메라 프로세서(14)는 현재 카메라를 계속 사용할 수도 있다.

요망되는 줌 레벨이 카메라 전환 임계치를 만족하면, 카메라 프로세서(14)는 카메라들 사이에서 전이할 수도 있다(56). 일부 예에서, 제 1 카메라(15)의 카메라 프로세서(14)는 제 1 카메라(15)로부터 제 2 카메라(15)로의 전이를 야기할 수도 있다. 일부 예들에서, 제 2 카메라(15)는 상이한 카메라 프로세서(14)를 포함할 수도 있거나 동일한 카메라 프로세서(14)를 포함할 수도 있다. 비제한적인 예에서, 제 1 카메라(15)는 제 1 렌즈(13) 및 제 1 센서(12)를 가질 수도 있는 반면, 제 2 카메라(15)는 제 2 렌즈(13) 및 제 2 이미지 센서(12)를 가질 수도 있다. 다른 예로, 제 2 카메라(15)는 제 1 렌즈(13)를 포함할 수도 있다. 예를 들어, 제 2 카메라(15)는 적어도 제 1 렌즈(13)로부터의 광을 제 2 이미지 센서(12)로 재지향시키는 광 가이드들(예를 들어, 이동 프리즘들, 미러들 등)을 포함할 수도 있다. 다른 예로, 제 2 카메라(15)는 다른 렌즈(13)와 페어링된 제 1 이미지 센서(12)를 포함할 수도 있다. 다른 예에서, 제 1 카메라(15)는 제 1 렌즈(13) 및 제 2 렌즈(13)의 조합과 페어링될 수도 있는 반면, 제 2 카메라(15)는 제 2 렌즈(13) 또는 제 2 렌즈(13) 및 제 3 렌즈(13)의 조합과 페어링될 수도 있는 등이다. 여러 예가 제공되지만, 당업자는 카메라(15)를 구성하기 위한 다양한 유효 초점 거리를 달성하기 위해 하나 이상의 렌즈(13) 및 하나 이상의 이미지 센서(12)를 조합하는 다양한 조합들이 이용 가능하다는 것을 인식할 것이다.

카메라 프로세서 (14) 는 요망되는 줌 레벨이 비닝 전이 임계치를 만족하는지 여부를 결정할 수도 있다 (58). 요망되는 줌 레벨이 비닝 전이 임계치를 충족시키지 않으면, 카메라 프로세서 (14) 는 이미지 센서 (12) 로 하여금 이미지 데이터의 복수의 출력 픽셀들의 각각에 대해 이미지 센서 (12) 의 2 개 이상의 픽셀들을 사용하는 제 1 비닝 레벨을 사용하게 할 수도 있다 (60). 그러나, 요망되는 줌 레벨이 비닝 전이 임계치를 만족하면, 카메라 프로세서 (14) 는 이미지 데이터의 각각의 출력 픽셀에 대한 제 1 비닝 레벨에 비해 이미지 센서 (12) 의 더 적은 픽셀들을 사용하는 제 2 비닝 레벨로 이미지 센서 (12) 가 전이하게 할 수도 있다 (62). 예를 들어, 카메라 프로세서 (14) 는 요망되는 디지털 줌 레벨이 미리 정의된 임계 줌 레벨 이상일 때 미리 정의된 비닝 전이 임계치의 충족을 결정할 수도 있다.

일부 예들에서, 카메라 프로세서 (14) 는 요청된 줌 레벨에 응답하여 카메라 전이 임계치가 만족된 것을 결정할 수도 있다. 카메라 전이 임계치가 만족되었다고 결정할 때, 카메라 프로세서 (14) 는 제 1 카메라 (15) 로부터 제 2 카메라 (15) 로 전이할 수도 있다. 일부 예에서, 제 1 카메라(15) 및 제 2 카메라(15)는 사용되는 이미지 센서(12), 사용되는 렌즈(13), 또는 이들의 일부 조합에 기초하여 상이할 수도 있다. 제 2 카메라(15)로 전이할 때, 카메라 프로세서(14)는 제 2 카메라에 대응하는 이미지 센서(12)로 하여금, 카메라 프로세서(14)로 전송된 출력 픽셀들의 수가 이전 이미지 센서(12)로부터 카메라 프로세서(14)로 전송된 출력 픽셀들의 수와 매칭하게 하는 비닝 레벨을 사용하게 할 수도 있다. 일부 예들에서, 제 2 카메라(15)의 이미지 센서(12)는 비-비닝 레벨을 사용할 수도 있다.

하나의 예시적인 예에서, 제 1 카메라(15)는 108MP를 포함하는 제 1 이미지 센서(12)를 가질 수도 있다. 제 1 이미지 센서(12)는 제 1 미리 정의된 비닝 임계치(예컨대, 2x 줌)이 충족되는 것에 응답하여 2x2비닝으로부터 비-비닝으로 전이할 수도 있다. 108MP 센서(12)는 비-비닝된 픽셀들의 중앙 쿼터와 같은, 비-비닝된 픽셀들의 감소된 부분을 카메라 프로세서(14)로 전송할 수도 있다. 이와 같이, 제 1 이미지 센서(12)는 제 1 미리 정의된 비닝 임계치에서 27MP를 카메라 프로세서(14)에 출력할 수도 있다. 줌 레벨이 더 증가함에 따라, 요망되는 픽셀 해상도가 업샘플링의 양이 임계 업샘플링 양을 초과하게 하지 않는다고 가정하면, 제 1 이미지 센서(12)는 증가하는 줌 레벨에 비례하여 더 적은 수의 비닝된 픽셀들을 카메라 프로세서(14)에 출력할 수도 있다.

예를 들어, 제 1 카메라(15)의 광학 줌 레벨에 대한 3x 줌에서, 제 1 이미지 센서(12)는 비-비닝된 픽셀들의 중심 1/9 을 카메라 프로세서로 출력할 수도 있다. 즉, 제 1 이미지 센서는 비닝되지 않은 12MP의 픽셀들을 카메라 프로세서로 출력할 수도 있다. 카메라 전이 임계치가 제 1 카메라(15)로부터 12MP를 포함하는 제 2 이미지 센서(12)를 갖는 제 2 카메라(15)로의 3x 줌에서의 전이를 야기하는 것이라면, 제 2 카메라(15)로의 전이에 후속하여, 제 2 이미지 센서(12)는 이전 수의 출력 픽셀들과 매칭되는 비닝 레벨을 사용할 수도 있다. 예를 들어, 제 2 이미지 센서(12)는 2x2 비닝 레벨 또는 비-비닝 레벨과 같은, 각각의 출력 픽셀에 대해 이미지 센서의 하나 이상의 픽셀들을 사용할 수도 있다. 이 특정 예에서, 제 2 이미지 센서(12)는 카메라 전이(예를 들어, 12MP)까지 이어지는 제 1 이미지 센서(12)로부터 전송되고 있었던 것과 동일한 수의 픽셀들을 포함하기 때문에, 제 2 이미지 센서(12)는 카메라 전이에 후속하여 비닝 레벨을 사용할 수도 있다. 이와 같이, 각 출력 픽셀에 대해 사용되는 제 2 카메라(15)에 대응하는 이미지 센서(12)의 픽셀들의 수는 각 이미지 센서(12)에 대해 이용가능한 픽셀들의 총 수 사이의 차이에 기초할 수도 있고, 따라서 스루풋은 일정하게 또는 거의 일정하게 유지될 수도 있다.

일부 예들에서, 이미지 센서(12)는 상이한 카메라(예를 들어, 5x 줌 카메라, 10x 줌 카메라 등)로의 전이를 검출할 때 비닝으로 다시 역으로 전이할 수도 있고, 비닝 레벨들을 변경하는 프로세스는 전이된 렌즈에 대해 다음 비닝 전이 임계치가 만족됨에 따라 반복될 수도 있다. 예시적인 카메라 전이는 18MP 이미지 센서(12)를 포함하는 제 1 카메라(15)로부터 108MP 이미지 센서(12)를 포함하는 제 2 카메라(15)로 전이하는 것을 포함할 수도 있다. 이러한 예들에서, 제 1 카메라(15)로부터 제 2 카메라(15)로의 카메라 전이에 후속하여, 카메라 프로세서(14)는 제 2 카메라(15)에 대응하는 108MP 이미지 센서로 하여금 18MP의 카메라 전이들 사이에 일정한 비트 레이트를 유지하기 위해 6-대-1 픽셀 비닝 레벨(예를 들어, 3x2 비닝)을 사용하게 할 수도 있다. 본 개시내용의 기술들에 따라, 108MP 이미지 센서(12)는 그 후, 디지털 줌 레벨이 증가함에 따라 상이한 비닝 레벨로 전이하고, 픽셀들의 감소된 부분을 카메라 프로세서(14)에 출력할 수도 있다.

예시적인 예에서, 카메라 프로세서(14)는 제 1 카메라 전이 임계치에 따라 12MP 이미지 센서(예를 들어, 광각 렌즈)를 포함하는 제 1 카메라(15)로부터 12MP 이미지 센서(예를 들어, 초광각 렌즈)를 포함하는 제 2 카메라(15)로의 전이를 야기할 수도 있다. 비제한적인 예에서, 제 1 카메라 전이 임계치는 0.5x 줌 레벨 이하의 요청된 디지털 줌 레벨에 의해 충족될 수도 있다. 또한, 카메라 프로세서(14)는 제 2 카메라 전이 임계치에 따라 제 2 카메라(15)로부터 12MP 이미지 센서(예를 들어, 망원 렌즈)를 포함하는 제 3 카메라(15)로의 전이를 야기할 수도 있다. 비제한적인 예에서, 제 2 카메라 전이 임계치는 1.0x 줌보다 큰 줌 레벨, 예컨대 1.2x 줌, 2.0x 줌, 5.0x 줌, 10.0x 줌 레벨일 수도 있다.

이 예에서, 카메라 프로세서 (14) 는 제 1 카메라 (15) 로 하여금 제 1 비닝 레벨 (예를 들어, 2x2 비닝) 을 사용하여 이미지 데이터를 캡처하게 하고 비닝된 픽셀들을 카메라 프로세서 (14)에 출력하게 할 수도 있다. 카메라 프로세서 (14) 는 제 1 카메라 전이 임계치의 만족을 결정하고 제 2 카메라 (15) 로 전이할 수도 있으며, 여기서 카메라 프로세서 (14) 는 제 2 카메라 (15) 로 하여금 제 1 비닝 레벨을 사용하여 이미지 데이터를 캡처하게 하고 비닝된 픽셀들을 카메라 프로세서 (14)에 출력하게 할 수도 있다. 카메라 프로세서(14)는 제 2 카메라 전환 임계치의 만족을 결정하는 것에 응답하여 제 2 카메라(15)로부터 제 3 카메라(15)로 전이할 수도 있거나, 일부 예들에서, 제 1 카메라 전이 임계치의 만족을 결정하는 것에 응답하여 제 2 카메라(15)로부터 제 1 카메라(15)로 전이할 수도 있다. 제 1 카메라(15)로부터 제 3 카메라(15)로의 전이인지 또는 제 2 카메라(15)로부터 제 3 카메라(15)로의 전이인지에 관계없이, 컴퓨팅 디바이스(10)는, 그럼에도 불구하고, 카메라 프로세서(14)가 다양한 요망되는 디지털 줌 레벨들에서 다양한 카메라들의 구현을 위해 다양한 비닝 레벨들, 비닝 전이 임계치들, 감소된 출력 부분들, 및 카메라 전이 임계치들을 결정할 수도 있도록, 본 개시의 기술들을 이용할 수도 있다는 것이 이해되어야 한다.

예를 들어, 상기의 예시적인 예에서, 제 1 카메라(15)는 4-픽셀 비닝 레벨을 이용하여 이미지 데이터를 캡처할 수도 있다. 디지털 줌 레벨이 비닝 전이 임계치를 초과함에 따라, 제 1 카메라(15)는 제 2 비닝 레벨(예를 들어, 비-비닝 레벨)로 전이하고 비닝된 픽셀들의 25%를 카메라 프로세서(14)에 출력할 수도 있다. 디지털 줌 레벨이 카메라 전이 임계치를 초과함에 따라, 제 1 카메라(15)는, 이 예에서, 제 3 카메라(15)로 전이할 수도 있다. 카메라 프로세서(14)는 제 3 카메라(15)에 대응하는 12MP 이미지 센서로 하여금 4-픽셀 비닝 레벨을 사용하여 이미지 데이터를 캡처하게 할 수도 있다.

이러한 예들에서, 이미지 센서들(12)은 카메라 전이들 사이에서 카메라 프로세서(14)에 대해 거의 일정한 스루풋을 유지할 수도 있다. 즉, 제 2 비닝 레벨로서 비-비닝을 사용하는 제 1 카메라(15)의 12MP 이미지 센서(12)는 비-비닝된 픽셀들의 감소된 부분을 카메라 프로세서(14)로 출력할 수도 있다. 감소된 부분이 25%인 예들에서, 제 1 카메라(15)의 이미지 센서(12)는 이미지 데이터의 각각의 프레임에 대한 3MP를 카메라 프로세서(14)에 출력할 수도 있다. 마찬가지로, 제 3 카메라(15)로의 카메라 전이에 이어서, 카메라 프로세서(14)는 제 3 카메라(15)의 12MP 이미지 센서(12)로 하여금 2x2 비닝을 사용하여 이미지 데이터를 캡처하게 하고 비닝된 픽셀들의 100%를 출력하게 할 수도 있다. 이 예시적인 예에서, 카메라 프로세서(14)는 카메라 전이 전후에 12MP 이미지 센서들(12) 모두로부터 각각의 프레임에 대해 3MP를 수신할 수도 있다.

당업자는 상기 예가 카메라 프로세서 (14) 로 하여금 각각의 출력 픽셀에 대해 하나 초과의 픽셀을 사용하는 비닝 레벨을 사용하여 이미지 데이터를 캡처하는 결과를 초래할 수도 있는 이미지 센서들 (12) 사이의 전이를 예시하는 일 예이고, 특정 카메라 전이에 후속하는 비닝 레벨이 비-비닝 레벨이거나 본 개시의 다른 예들에서와 같이 각각의 출력 픽셀에 대해 하나 초과의 픽셀을 사용하는 비닝 레벨인 예들에서 본 개시의 기술들이 사용될 수도 있다는 것을 인식할 것이다. 일부 예들에서, 카메라 프로세서 (14) 는 전이된 카메라의 목적에 기초하여 카메라 전이에 후속하여 사용할 픽셀 비닝의 양을 결정할 수도 있다. 예를 들어, 전이된 카메라는 극한 줌 동작들을 수행하기 위해 사용될 수도 있고, 극한 줌 레벨들에서의 비닝은 높은 줌 레벨들에서의 비닝을 지각하는 인간 눈의 능력으로 인해 바람직하지 않을 수도 있다. 따라서, 카메라 프로세서 (14) 는 극한 줌 동작들 (예를 들어, 5.0x 광학 줌, 10.0x 광학 줌 등) 을 수행하도록 구성된 카메라로 전이할 때 비닝을 수행하지 않을 수도 있다.

제 2 비닝 레벨을 사용하여 이미지 데이터를 캡처할 때, 이미지 센서(12)는 픽셀들을 카메라 프로세서(14)에 전송하기 전에 캡처된 픽셀들의 양을 감소시킬 수도 있다 (64). 예를 들어, 이미지 센서(12)는 픽셀들의 외측 75%를 무시하고 픽셀들의 내측 25%를 카메라 프로세서(14)로 출력할 수도 있다. 이미지 센서(12)는 이미지 센서(12)와 카메라 프로세서(14) 사이의 일정한 또는 거의 일정한 스루풋 레이트를 유지하기 위해 제 2 비닝 레벨을 사용하여 캡처되는 픽셀들의 양을 감소시킬 수도 있다. 일부 예들에서, 비닝 전이에 후속하여 비닝되지 않은 픽셀들의 감소된 부분을 전송하는 상기 동작은, 수신된 픽셀들이 요망되는 줌 레벨과 정렬되기 때문에, 카메라 프로세서 (14) 가 디지털 크로핑을 수행하는 것을 중지하게 할 수도 있다. 그러나, 카메라 프로세서(14)는 요망되는 해상도와 비교하여 이미지 센서(12)의 사이즈에 따라 업샘플링, 다운샘플링, 또는 스케일링을 여전히 수행할 필요가 있을 수도 있다.

그 후, 이미지 센서(12)는 비닝된 픽셀들 또는 비-비닝된 픽셀들을 카메라 프로세서(14)에 출력할 수도 있다 (66). 제 2 비닝 레벨이 사용되는 경우, 이미지 센서(12)는 픽셀들의 감소된 부분을 카메라 프로세서(14)로 출력할 수도 있다. 일부 예들에서, 카메라 프로세서 (14) 는 요망되는 디지털 줌 레벨을 달성하기 위해 크로핑, 업샘플링, 스케일링, 및/또는 이들의 조합들을 포함하는 디지털 줌 동작을 수행할 수도 있다 (68). 카메라 프로세서(14)는 이미지 센서(12)로부터 수신된 감소된 픽셀 양에 대해 디지털 줌 동작을 수행할 수도 있다. 선택적으로, 카메라 프로세서(14)는 요망되는 디지털 줌 레벨을 달성하기 위해 이미지 센서(12)로부터 수신된 감소된 픽셀 양에 대해 디지털 줌 동작들을 수행할 수도 있다 (68). 예를 들어, 카메라 프로세서 (14) 는 크로핑 , 업샘플링, 스케일링 등, 및/또는 이들의 조합들을 수행할 수도 있다.

당업자는 이미지 캡처들이 스냅샷 캡처 또는 비디오 스트림 캡처를 포함할 수도 있다는 것을 이해할 것이다. 예를 들어, 컴퓨팅 디바이스(10)의 하나 이상의 카메라들(15)은 비디오를 레코딩하고, (예를 들어, 사용자가 사진을 찍기 전의) 이미지 미리보기, 스틸 사진들, 픽처-인-비디오, 모션 사진들 등을 제공하는 동안 도 4a 및 도 4b 에 도시된 동작들을 구현할 수도 있다.

도 5a 내지 도 5c 는 도 1에 도시된 카메라 프로세서가 특정 줌 기술 및 비닝 레벨들 간의 전이를 수행하는 경우의 추가의 예시적인 동작을 나타내는 도면들이다. 먼저 도 5a 의 예를 참조하면, 카메라 프로세서 (14) 는 이미지 센서 (12) 로 하여금 이미지 데이터를 제 1 프레임 (502) 으로서 캡처하기 위해 제 1 비닝 레벨을 사용하게 할 수도 있다. 예시적인 예에서, 이미지 센서(12)는 502에 대해 27MP 프레임을 달성하기 위해 2x2 비닝을 수행하는 108MP 이미지 센서일 수도 있다. 화살표(504)는 현재 렌즈(13)의 광학 줌에 대한 요망되는 2x 줌 레벨을 나타낸다. 예를 들어, 사용자는 줌 레벨을 2x 줌(506)으로 증가시킬 수도 있으며, 이는 도 5a의 예에서 미리 정의된 비닝 전이 임계치를 나타낸다. 그 결과, 카메라 프로세서 (14) 는 이미지 센서로 하여금 제 2 비닝 레벨을 사용하여 다음 프레임을 캡처하게 할 수도 있다 (508A/508B).

도 5b는 도 5a로부터의 프레임(502)을 도시하며, 여기서 이미지 센서(12)는 줌 레벨이 프레임(510)을 캡처하기 위해 미리 정의된 비닝 전이 임계치를 충족시키는 것에 응답하여 제 2 비닝 레벨(508A/508B)을 사용하고 있다. 108MP 이미지 센서의 예에 따라, 이미지 센서(12)가 2x2 비닝으로부터 비-비닝으로 전이하면, 프레임(510)은 비-비닝된 픽셀들로서 108MP를 포함할 것이다. 이 시점에서, 이미지 센서(12)는 감소된 부분이 이미지 센서(12)의 부분적 FOV를 나타내도록, 감소된 부분을 이미지 센서(12)의 전체 FOV의 25%의 미리 정의된 백분율인 것으로 결정할 수도 있다. 일부 예들에서, 이미지 센서(12)의 전체 FOV는 이미지 센서(12)의 모든 픽셀들을 포함하고, 여기서 픽셀들은 비닝 모드에 있을 때 비닝되거나 비-비닝 모드에 있을 때 비닝되지 않는다. 이미지 센서(12)는 비닝 레벨 차이에 기초하여 감소된 부분을 결정할 수도 있다. 일부 예들에서, 이미지 센서(12)는 감소된 부분(512)을 카메라 프로세서(14)에 출력할 수도 있다. 크로핑된 부분은 비닝 레벨들에서의 차이에 비례할 수도 있다. 전체 FOV의 25%인 크로핑된 부분(512)은 이미지 센서(12)로 하여금 27MP 이미지 데이터 사이즈를 갖는 것으로서 프레임(512)을 출력하게 할 것이다.

일부 예들에서, 컴퓨팅 디바이스(10)는 다양한 줌 레벨들 또는 카메라 전이 임계치들에서 활성화될 수도 있는 다수의 렌즈(들)(13) 및/또는 다수의 이미지 센서들(12)을 포함할 수도 있다. 예를 들어, 컴퓨팅 디바이스(10)는 트리플 렌즈 카메라일 수도 있다. 일부 예들에서, 트리플 렌즈 카메라는 광각 렌즈 및 센서 조합(예를 들어, 108MP), 초광각 렌즈 및 센서 조합(예를 들어, 16MP), 및 망원 렌즈 및 센서 조합(예를 들어, 12MP)을 포함할 수도 있다. 비제한적인 예에서, 카메라 프로세서 (14) 는 이전 렌즈 (13) 의 광학 줌 레벨에 비해 3x 줌의 줌 레벨에서 망원 렌즈 (13) 를 활성화시킬 수도 있다. 도 5c의 예는 3x 줌 카메라 전이 임계치까지 이르게 하는 줌 레벨들을 예시하지만, 도 5c는 3x 줌을 제공하는 다른 카메라(15)로의 카메라 전이 이전의 현재 카메라(15)의 이미지 센서(12)를 예시한다. 도 5c는 카메라 전이 임계치까지 이르게 하는 것을 예시하기 위한 것으로, 108MP 렌즈의 이미지 센서(12)는 3x 줌(516)에서 여전히 12MP를 출력할 수도 있어서, 카메라들(15) 사이의 전이 동안, 스루풋(예를 들어, 비트 레이트)이 이미지 센서들(12)과 카메라 프로세서(14) 사이에서 일정하거나 거의 일정하게 유지된다.

도 5c의 예에서, 화살표(514)는 3x 줌의 줌 증가를 나타내며, 여기서 망원 렌즈로의 전이가 발생하도록 설정될 것이다. 이러한 경우들에서, 현재 렌즈의 이미지 센서(12)는 108MP 이미지 센서(12)를 포함할 수도 있고, 이 경우 3x 줌에서, 이미지 센서(12)는 픽셀들의 감소된 부분(516)을 12MP로서 또는 이미지 센서(12)의 비닝되지 않은 픽셀들의 전체 수의 1/9로서 결정할 수도 있다. 따라서, 108MP 와이드 카메라는 카메라 프로세서(14)가 3x 줌을 위한 망원 렌즈로 전이하기 직전에 3x 줌에서 여전히 12MP를 출력할 수도 있어서, 전이 동안 스루풋은 일정하게 또는 거의 일정하게 유지된다.

이미징 디바이스들(예를 들어, 렌즈, 이미지 센서들 등) 사이의 전이가 발생할 때, 카메라 프로세서(14)는 이미지 센서(12)로 하여금 이미지 데이터의 프레임들을 캡처하기 위해 다른 비닝 레벨을 사용하게 할 수도 있다. 예를 들어, 카메라 프로세서 (14) 는 이미지 센서 (12) 로 하여금 이전 렌즈에 대해 사용된 비닝 레벨에 대응하는 비닝 레벨을 사용하게 할 수도 있다. 비제한적인 예에서, 렌즈들(13) 중 제 1 렌즈에 대한 이미지 센서(12)는 2x2 비닝으로부터 비-비닝으로 전이할 수도 있고, 여기서, 이미지 센서(12)는 카메라 전이에 이어서 2x2 비닝으로 다시 역으로 전이할 수도 있다. 프로세스는, 카메라 프로세서 (14) 가 줌 레벨이 카메라 전이 임계치보다 큰 다른 미리 정의된 비닝 전이 임계치를 만족하는 것을 결정할 수도 있다는 점에서 계속될 수도 있다. 이에 응답하여, 카메라 프로세서 (14) 는 이미지 센서 (12) 로 하여금 이미지 데이터의 추가적인 프레임들을 캡처하기 위해 제 2 이미지 캡처 모드 (예를 들어, 다양한 비닝 레벨들, 비-비닝 등) 를 사용하게 할 수도 있다.

도 6 은 다수의 비닝 전이들을 사용하여 줌 동작들을 수행하는 도 1 에 도시된 카메라 프로세서(14) 및 이미지 센서(12)의 예시적인 동작들을 나타내는 예시적인 흐름도이다. 카메라 프로세서 (14) 는 제 1 비닝 전이 임계치 미만인 제 1 줌 레벨을 수신할 수도 있다 (600). 일부 예들에서, 줌 레벨은 사용자 정의될 수도 있다. 제 1 줌 레벨은 어떤 렌즈(13)가 현재 사용되고 있는 지에 의해 제공되는 광학 줌에 비해 1.0x보다 큰 줌 레벨일 수도 있다. 일부 예들에서 줌 레벨은 디폴트 렌즈(13)에 대한 것일 수도 있다. 일부 예들에서, 줌 레벨은 1.0x일 수도 있으며, 이는 현재 디지털 줌 요청이 존재하지 않음을 카메라 프로세서(14)에 표시한다.

제 1 디지털 줌 레벨이 제 1 비닝 전이 임계치보다 작으면, 카메라 프로세서(14)는 이미지 센서(12)로 하여금 제 1 이미지 캡처 모드를 사용하여 비디오 데이터와 같은 이미지 데이터의 제 1 하나 이상의 프레임들을 캡처하게 할 수도 있다 (602). 제 1 이미지 캡처 모드는 이미지 데이터의 각각의 출력 픽셀에 대해 이미지 센서(12)의 2개 이상의 픽셀을 사용하는 제 1 비닝 레벨을 포함할 수도 있다. 예를 들어, 제 1 비닝 레벨은 이미지 센서(12)가 이미지 데이터의 각각의 출력 픽셀에 대해 64개의 픽셀들을 사용하는 8x8 픽셀 비닝, 이미지 센서(12)가 이미지 데이터의 각각의 출력 픽셀에 대해 16개의 픽셀들을 사용하는 4x4 픽셀 비닝, 이미지 센서(12)가 이미지 데이터의 각각의 출력 픽셀에 대해 8개의 픽셀들을 사용하는 2x4 픽셀 비닝 등을 포함할 수도 있다. 이미지 센서(12)는 요망되는 디지털 줌 레벨을 달성하기 위해 추가 프로세싱을 위해 비닝된 픽셀들을 카메라 프로세서(14)에 출력할 수도 있다.

일부 예들에서, 카메라 프로세서 (14) 는 제 2 디지털 줌 레벨을 수신할 수도 있다 (604). 예를 들어, 사용자는 디지털 줌 레벨을 제 1 레벨에서 제 2 레벨로 증가시키고 있을 수도 있다. 사용자가 줌 레벨들을 증가시키는 관점에서 설명되었지만, 당업자는 기술들이 그렇게 제한되지 않으며, 사용자가 요망되는 디지털 줌 레벨을 감소시키고 있는 반대 시나리오에 대해 유사한 프로세스들이 사용될 수도 있다는 것을 이해할 것이다.

카메라 프로세서 (14) 는 제 2 디지털 줌 레벨이 제 1 비닝 전이 임계치 미만인지, 이상인지 여부를 결정할 수도 있다 (606). 제 2 디지털 줌 레벨이 제 1 비닝 전이 임계치보다 크거나 같으면, 카메라 프로세서(14)는 이미지 센서(12)로 하여금 제 2 이미지 캡처 모드를 사용하여 비디오 데이터와 같은 이미지 데이터의 제 2 하나 이상의 프레임들을 캡처하게 할 수도 있다 (608). 제 2 이미지 캡처 모드는 이미지 데이터의 각각의 출력 픽셀에 대한 제 1 비닝 레벨에 비해 이미지 센서(12)의 더 적은 픽셀들을 사용하는 제 2 비닝 레벨을 포함할 수도 있다. 예를 들어, 제 1 비닝 레벨은 3x3 픽셀 비닝을 포함할 수도 있다. 이와 같이, 제 2 비닝 레벨은, 예를 들어, 2x2 픽셀 비닝, 2x1 픽셀 비닝 등을 포함할 수도 있다. 비제한적 예에서, 이미지 센서(12)는 제 1 비닝 레벨로서 2x2 픽셀 비닝을 사용하여 이미지 데이터의 제 2 하나 이상의 프레임들을 캡처할 수도 있다.

일부 예들에서, 카메라 프로세서 (14) 는 제 3 디지털 줌 레벨을 수신할 수도 있다 (610). 예를 들어, 사용자는 디지털 줌 레벨을 제 2 레벨에서 제 3 레벨로 증가시킬 수도 있다. 사용자가 줌 레벨들을 증가시키는 관점에서 설명되었지만, 당업자는 기술들이 그렇게 제한되지 않으며, 사용자가 요망되는 디지털 줌 레벨을 감소시키고 있는 반대 시나리오에 대해 유사한 프로세스들이 사용될 수도 있다는 것을 이해할 것이다.

카메라 프로세서 (14) 는 제 3 디지털 줌 레벨이 비닝 전이 임계치 미만인지, 이상인지 여부를 다시 결정할 수도 있다 (612). 제 2 디지털 줌 레벨이 제 2 비닝 전이 임계치보다 크거나 같으면, 카메라 프로세서(14)는 이미지 센서(12)로 하여금 제 3 이미지 캡처 모드를 사용하여 비디오 데이터와 같은 이미지 데이터의 제 3 하나 이상의 프레임들을 캡처하게 할 수도 있다 (614). 제 3 이미지 캡처 모드는 이미지 데이터의 각각의 출력 픽셀에 대해 제 2 비닝 레벨에 비해 이미지 센서(12)의 더 적은 픽셀들을 사용하는 제 3 비닝 레벨을 포함할 수도 있다. 예를 들어, 제 2 비닝 레벨은 2x2 픽셀 비닝을 포함할 수도 있다. 이에 따라, 제 3 비닝 레벨은 2x1 픽셀 비닝, 1x1 픽셀 비닝, 또는 비-비닝 레벨을 포함할 수도 있다. 비제한적인 예에서, 이미지 센서(12)는 제 3 비닝 레벨로서 비닝 없음(예를 들어, 비-비닝)을 사용하여 이미지 데이터의 제 3 하나 이상의 프레임들을 캡처할 수도 있다.

일부 예들에서, 이미지 센서(12)는 요망되는 디지털 줌 레벨(예를 들어, 제 1, 제 2, 또는 제 3 디지털 줌 레벨)을 달성하기 위한 추가 프로세싱을 위해 비닝된 또는 비닝되지 않은 픽셀들의 전부 또는 부분을 카메라 프로세서(14)에 출력할 수도 있다. 예를 들어, 이미지 센서(12)는 제 1픽셀 비닝 레벨과 제 2픽셀 비닝 레벨의 차이에 따라 비닝되거나 비닝되지 않은 픽셀들의 부분을 출력할 수도 있다.

도 7 은 다수의 비닝 레벨들 간에 전이하는 예를 도시한다. 일부 예들에서, 이미지 센서(12)는 이미지 데이터를 캡처하기 위해 제 1 비닝 레벨을 사용할 수도 있다. 일부 예들에서, 제 1 비닝 레벨은 이미지 데이터의 각각의 출력 픽셀에 대해, 이미지 센서(12)의 5개의 픽셀들과 같은, 적어도 미리 결정된 수의 픽셀들을 사용하는 이미지 센서(12)를 포함할 수도 있어서, 제 1 비닝 레벨은 제 2 비닝 레벨에 비해 각각의 출력 픽셀에 대해 더 많은 픽셀들을 사용할 수도 있다. 이 예시적인 예에서, 이미지 센서(12)는 제 1 비닝 레벨로서 4x4 비닝 기법을 사용할 수도 있다 (702A). 이 예에서, 이미지 센서(12)는 R, G, 및 B 픽셀 센서들의 교번 패턴을 갖는 R, G, 및 B 픽셀 센서들의 픽셀 어레이를 포함할 수도 있다. 4x4 비닝의 이 예시적인 예에서, 16개의 이웃하는 픽셀들의 각각은 단일 출력 픽셀을 형성하기 위해 결합된다.

카메라 프로세서 (14) 는 이미지 센서 (12) 로 하여금, 이미지 데이터의 각각의 출력 픽셀에 대해 제 1 비닝 레벨에 비해 이미지 센서의 더 적은 픽셀들을 사용하는 다른 비닝 모드를 사용하여 이미지 데이터를 캡처하게 할 수도 있다 (702B). 카메라 프로세서 (14) 는 요망되는 디지털 줌 레벨이 제 1 비닝 전이 임계치를 만족하는 것에 응답하여 비닝 레벨들 사이의 전이를 야기할 수도 있다. 일 예시적인 예에서, 이미지 센서(12)는 2x2 비닝 레벨을 제 2 비닝 레벨로서 이용하여 이미지 데이터를 캡처할 수도 있다. 제 1 비닝 전이 임계치는 사용되는 현재 렌즈(13)에 의해 제공되는 광학 줌 레벨에 대한 2x 줌 레벨일 수도 있다. 즉, 이 예에서, 카메라 프로세서 (14) 는 이미지 센서 (12) 로 하여금 2x 줌의 줌 레벨 요청에 응답하여 4x4 비닝으로부터 2x2 비닝으로 전이하게 할 수도 있다.

다음으로, 카메라 프로세서 (14) 는 이미지 센서 (12) 로 하여금 줌 레벨이 다른 미리 정의된 비닝 전이 임계치를 만족하는 것에 응답하여 다른 비닝 레벨을 사용하여 이미지 데이터를 캡처하게 할 수도 있다 (702C). 도 7의 예에서, 이미지 센서(12)는 수평 비닝(2x1)을 사용하여 이미지 데이터를 캡처한다. 유사하게, 카메라 프로세서 (14) 는 줌 레벨이 상이한 비닝 전이 임계치를 만족하는 것에 응답하여 다른 비닝 레벨을 사용하여 이미지 센서로 하여금 이미지 데이터를 캡처하게 할 수도 있다 (702D). 일부 경우들에서, 카메라 프로세서 (14) 는 비닝 레벨들을 특정 횟수보다 더 많이 적응(adapt)시키지 않을 수도 있다. 예를 들어, 카메라 프로세서 (14) 는 최대 비닝 레벨과 다른 비닝 레벨 사이의 더 적은 중간 비닝 레벨들을 단순히 사용하여, 비닝 레벨들을 702A 로부터 702B 내지 702D로 단지 적응시킬 수도 있다. 비-제한적인 예에서, 이미지 센서(12)는 2x2 비닝과 비-비닝 사이의 중간 비닝 레벨을 사용하지 않을 수도 있다. 픽셀 다이어그램들(702A-702D)은 반드시 비닝된 픽셀들로서 스케일링하는 것으로 도시되지는 않는다는 것에 유의해야 한다. 예를 들어, 일단 픽셀들을 결합하면, 702A는 4x4 픽셀 비닝을 나타내는 반면, 702D는 비-비닝을 나타내기 때문에, 702A의 사이즈는 702D의 사이즈보다 16배 더 클 것이다.

하나 이상의 예들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 그 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되는 경우, 그 기능들은 컴퓨터 판독가능 매체 상에 하나 이상의 명령들 또는 코드로서 저장되거나 또는 이를 통해 송신되고 하드웨어 기반 프로세싱 유닛에 의해 실행될 수도 있다. 컴퓨터 판독가능 매체들은 데이터 저장 매체들과 같은 유형의 매체에 대응하는 컴퓨터 판독가능 저장 매체들을 포함할 수도 있다. 이러한 방식으로, 컴퓨터 판독가능 매체들은 일반적으로 비일시적인 유형의 컴퓨터 판독가능 저장 매체들에 대응할 수도 있다. 데이터 저장 매체들은 본 개시에서 설명된 기법들의 구현을 위한 명령들, 코드 및/또는 데이터 구조들을 취출하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 이용가능한 매체들일 수도 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체를 포함할 수도 있다.

일 예로서, 이에 한정하지 않고, 이런 컴퓨터-판독가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광디스크 스토리지, 자기디스크 스토리지, 또는 다른 자기 저장 디바이스들, 플래시 메모리, 캐시 메모리, 또는 요망되는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 저장하는데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 컴퓨터 판독가능 저장 매체들 및 데이터 저장 매체들은, 캐리어 파들, 신호들, 또는 다른 일시적 매체들을 포함하지 않고, 그 대신 비일시적 유형의 저장 매체들과 관련되는 것으로 이해되어야 한다. 디스크 (disk) 및 디스크 (disc) 는, 본 명세서에서 사용된 바와 같이, 콤팩트 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다용도 디스크 (DVD), 플로피 디스크 및 블루-레이 디스크를 포함하고, 여기서 디스크 (disk) 들은 보통 데이터를 자기적으로 재생하는 한편, 디스크 (disc) 들은 레이저들로 데이터를 광학적으로 재생한다. 상기의 조합들이 또한, 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.

명령들은 하나 이상의 프로세서, 이를테면 하나 이상의 DSP (digital signal processor), 범용 마이크로프로세서, ASIC (application specific integrated circuit), FPGA (field programmable logic array), 또는 다른 등가 집적 또는 이산 로직 회로에 의해 실행될 수도 있다. 이에 따라, 본 명세서에서 사용된 바와 같은 용어 "프로세서" 는 본 명세서에서 설명된 기법들의 구현에 적합한 전술한 구조 또는 임의의 다른 구조 중 임의의 구조를 지칭할 수도 있다. 부가적으로, 일부 양태들에 있어서, 본 명세서에서 설명된 기능은 인코딩 및 디코딩을 위해 구성되거나 또는 결합된 코덱에서 통합된 전용 하드웨어 및/또는 소프트웨어 모듈들 내에 제공될 수도 있다. 또한, 그 기법들은 하나 이상의 회로들 또는 로직 엘리먼트들에서 완전히 구현될 수도 있다.

본 개시의 기법들은 무선 핸드셋, 집적 회로 (IC) 또는 IC들의 세트 (예를 들어, 칩 세트) 를 포함하여, 광범위한 디바이스들 또는 장치들에서 구현될 수도 있다. 다양한 컴포넌트들, 모듈들, 또는 유닛들은 개시된 기법들을 수행하도록 구성된 디바이스들의 기능적 양태들을 강조하기 위해 본 개시에 설명되지만, 상이한 하드웨어 유닛들에 의한 실현을 반드시 필요로 하는 것은 아니다. 오히려, 상기 설명된 바와 같이, 다양한 유닛들은 코덱 하드웨어 유닛에서 결합되거나 또는 적합한 소프트웨어 및/또는 펌웨어와 함께, 상기 설명된 바와 같은 하나 이상의 프로세서들을 포함하는, 상호동작가능한 하드웨어 유닛들의 콜렉션에 의해 제공될 수도 있다.

다양한 예들이 설명되었다. 이들 및 다른 예들은 다음의 청구항들의 범위 내에 있다.

Claims

이미지 데이터를 캡처하도록 구성된 장치로서,
상기 장치는,
이미지 데이터를 저장하도록 구성된 메모리; 및
상기 메모리와 통신하는 하나 이상의 프로세서들을 포함하고,
상기 하나 이상의 프로세서들은,
디지털 줌 레벨이 제 1 미리 정의된 임계치 미만인 경우에 제 1 이미지 센서로 하여금 제 1 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 제 1 하나 이상의 프레임들을 캡처하게 하는 것으로서, 상기 제 1 이미지 캡처 모드는 상기 이미지 데이터의 각각의 출력 픽셀에 대해 상기 제 1 이미지 센서의 2 개 이상의 픽셀들을 사용하는 제 1 비닝 레벨을 포함하고, 상기 이미지 데이터의 상기 제 1 하나 이상의 프레임들은 제 1 해상도 및 제 1 컬러 어레이 패턴을 갖는, 상기 제 1 이미지 센서로 하여금 제 1 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 제 1 하나 이상의 프레임들을 캡처하게 하는 것을 행하고;
요청된 디지털 줌 레벨이 상기 제 1 미리 정의된 임계치를 만족하는 것을 결정하며; 그리고
상기 제 1 이미지 센서로 하여금 제 2 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 제 2 하나 이상의 프레임들을 캡처하게 하는 것으로서, 상기 제 2 이미지 캡처 모드는 상기 이미지 데이터의 각각의 출력 픽셀에 대해 상기 제 1 비닝 레벨에 비해 상기 제 1 이미지 센서의 더 적은 픽셀들을 사용하는 제 2 비닝 레벨을 포함하고, 상기 이미지 데이터의 상기 제 2 하나 이상의 프레임들은 상기 이미지 데이터의 상기 제 1 하나 이상의 프레임들의 상기 제 1 해상도 및 상기 제 1 컬러 어레이 패턴을 가지고, 상기 제 1 이미지 캡처 모드와 상기 제 2 이미지 캡처 모드 사이에는 중간 캡처 모드들이 존재하지 않는, 상기 제 2 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 제 2 하나 이상의 프레임들을 캡처하게 하는 것을 행하도록
구성되는, 이미지 데이터를 캡처하도록 구성된 장치.
제 1 항에 있어서,
상기 하나 이상의 프로세서들은 또한,
상기 요청된 디지털 줌 레벨이 카메라 전이 임계치를 만족하는 것을 결정하고;
상기 제 1 이미지 센서를 포함하는 제 1 카메라로부터 제 2 카메라로의 전이를 야기하며; 그리고
상기 제 2 카메라로 하여금 상기 제 2 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 제 3 하나 이상의 프레임들을 캡처하게 하는 것으로서, 상기 제 2 이미지 캡처 모드는 상기 이미지 데이터의 각각의 출력 픽셀에 대해 상기 제 2 카메라에 대응하는 이미지 센서의 하나 이상의 픽셀들을 사용하는 것을 더 포함하는, 상기 제 2 카메라로 하여금 상기 제 2 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 제 3 하나 이상의 프레임들을 캡처하게 하는 것을 행하도록
구성되는, 이미지 데이터를 캡처하도록 구성된 장치.
제 2 항에 있어서,
상기 제 2 카메라에 대응하는 상기 이미지 센서는 상기 제 1 이미지 센서를 포함하는, 이미지 데이터를 캡처하도록 구성된 장치.
제 1 항에 있어서,
상기 하나 이상의 프로세서들은 또한,
상기 요청된 디지털 줌 레벨이 카메라 전이 임계치를 만족하는 것을 결정하고;
상기 제 1 이미지 센서를 포함하는 제 1 카메라로부터 제 2 카메라로의 전이를 야기하며;
상기 요청된 디지털 줌 레벨이 제 2 미리 정의된 임계치 미만인 경우에 상기 제 2 카메라로 하여금 상기 제 1 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 제 3 하나 이상의 프레임들을 캡처하게 하는 것으로서, 상기 제 1 이미지 캡처 모드는 상기 이미지 데이터의 각각의 출력 픽셀에 대해 상기 제 2 카메라에 대응하는 이미지 센서의 2 개 이상의 픽셀들을 사용하는 것을 더 포함하는, 상기 제 2 카메라로 하여금 상기 제 1 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 제 3 하나 이상의 프레임들을 캡처하게 하는 것을 행하고;
제 2 요청된 디지털 줌 레벨이 상기 제 2 미리 정의된 임계치를 만족하는 것을 결정하고; 그리고
상기 제 2 카메라로 하여금 상기 제 2 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 제 4 하나 이상의 프레임들을 캡처하게 하는 것으로서, 상기 제 2 이미지 캡처 모드는 상기 이미지 데이터의 각각의 출력 픽셀에 대해 상기 제 1 이미지 캡처 모드에 비해 상기 제 2 카메라에 대응하는 상기 이미지 센서의 더 적은 픽셀들을 사용하는 것을 더 포함하는, 상기 제 2 카메라로 하여금 상기 제 2 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 제 4 하나 이상의 프레임들을 캡처하게 하는 것을 행하도록
구성되는, 이미지 데이터를 캡처하도록 구성된 장치.
제 1 항에 있어서,
상기 제 1 이미지 센서로 하여금 상기 제 1 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 상기 제 1 하나 이상의 프레임들을 캡처하게 하기 위해, 상기 하나 이상의 프로세서들은 상기 제 1 이미지 센서로 하여금 상기 이미지 데이터의 각각의 출력 픽셀에 대해 상기 제 1 이미지 센서의 4 개의 픽셀들을 결합하게 하도록 구성되고,
상기 제 1 이미지 센서로 하여금 상기 제 2 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 상기 제 2 하나 이상의 프레임들을 캡처하게 하기 위해, 상기 하나 이상의 프로세서들은 상기 제 1 이미지 센서로 하여금 상기 이미지 데이터의 각각의 출력 픽셀에 대해 상기 제 1 이미지 센서의 하나의 픽셀을 사용하게 하도록 구성되는, 이미지 데이터를 캡처하도록 구성된 장치.
제 5 항에 있어서,
상기 하나 이상의 프로세서들은 또한,
상기 제 1 이미지 센서로 하여금 상기 제 2 이미지 캡처 모드를 사용하여 캡처된 상기 제 2 하나 이상의 프레임들의 각각에 대한 출력 픽셀들의 감소된 부분을 출력하게 하도록 구성되며, 상기 감소된 부분은 상기 제 2 이미지 캡처 모드를 사용하여 캡처된 상기 제 2 하나 이상의 프레임들의 각각에 대한 상기 출력 픽셀들의 중심 25 퍼센트에 대응하는, 이미지 데이터를 캡처하도록 구성된 장치.
제 1 항에 있어서,
상기 하나 이상의 프로세서들은 또한,
상기 제 1 이미지 센서로 하여금 상기 제 2 이미지 캡처 모드를 사용하여 캡처된 상기 제 2 하나 이상의 프레임들의 각각에 대한 출력 픽셀들의 감소된 부분을 출력하게 하고; 그리고
상기 제 1 이미지 센서로부터, 상기 제 2 이미지 캡처 모드를 사용하여 캡처된 상기 제 2 하나 이상의 프레임들에 대한 출력 픽셀들의 상기 감소된 부분을 수신하도록
구성되는, 이미지 데이터를 캡처하도록 구성된 장치.
제 7 항에 있어서,
상기 감소된 부분은 상기 제 1 이미지 센서의 전체 시야의 미리 정의된 백분율을 포함하고, 상기 전체 시야는 상기 제 1 이미지 센서의 모든 픽셀들을 포함하는, 이미지 데이터를 캡처하도록 구성된 장치.
제 1 항에 있어서,
상기 제 1 이미지 캡처 모드는 상기 제 2 이미지 캡처 모드에 비해 더 낮은 픽셀 밀도를 제공하는, 이미지 데이터를 캡처하도록 구성된 장치.
제 1 항에 있어서,
상기 하나 이상의 프로세서들은 또한,
상기 요청된 디지털 줌 레벨이 제 3 미리 정의된 임계치를 만족하는 것을 결정하고; 그리고
상기 제 1 이미지 센서로 하여금 제 3 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 제 3 하나 이상의 프레임들을 캡처하게 하는 것으로서, 상기 제 3 이미지 캡처 모드는 상기 이미지 데이터의 각각의 출력 픽셀에 대해 상기 제 2 비닝 레벨에 비해 상기 제 1 이미지 센서의 더 적은 픽셀들을 사용하는 제 3 비닝 레벨을 포함하는, 상기 제 1 이미지 센서로 하여금 제 3 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 제 3 하나 이상의 프레임들을 캡처하게 하는 것을 행하도록
구성되는, 이미지 데이터를 캡처하도록 구성된 장치.
제 10 항에 있어서,
상기 제 1 이미지 센서로 하여금 상기 제 1 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 상기 제 1 하나 이상의 프레임들을 캡처하게 하기 위해, 상기 하나 이상의 프로세서들은 상기 제 1 이미지 센서로 하여금 상기 이미지 데이터의 각각의 출력 픽셀에 대해 상기 제 1 이미지 센서의 적어도 5 개의 픽셀들을 결합하게 하도록 구성되고,
상기 제 1 이미지 센서로 하여금 상기 제 2 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 상기 제 2 하나 이상의 프레임들을 캡처하게 하기 위해, 상기 하나 이상의 프로세서들은 상기 제 1 이미지 센서로 하여금 상기 이미지 데이터의 각각의 출력 픽셀에 대해 상기 제 1 이미지 센서의 4 개의 픽셀들을 사용하게 하도록 구성되며, 그리고
상기 제 1 이미지 센서로 하여금 상기 제 3 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 상기 제 3 하나 이상의 프레임들을 캡처하게 하기 위해, 상기 하나 이상의 프로세서들은 상기 제 1 이미지 센서로 하여금 상기 이미지 데이터의 각각의 출력 픽셀에 대해 상기 제 1 이미지 센서의 하나의 픽셀을 사용하게 하도록 구성되는, 이미지 데이터를 캡처하도록 구성된 장치.
제 1 항에 있어서,
상기 하나 이상의 프로세서들은 또한,
상기 제 1 이미지 센서로부터 상기 출력 픽셀들을 수신하고; 그리고
상기 출력 픽셀들을 사용하여 상기 요청된 디지털 줌 레벨을 달성하기 위해 디지털 크로핑을 수행하도록
구성되는, 이미지 데이터를 캡처하도록 구성된 장치.
제 1 항에 있어서,
상기 하나 이상의 프로세서들은 또한,
상기 요청된 디지털 줌 레벨이 업샘플링 임계치를 만족하는 것을 결정하는 것으로서, 상기 업샘플링 임계치는 상기 제 1 미리 정의된 임계치 미만인 디지털 줌 레벨에 대응하고, 상기 업샘플링 임계치는 요망되는 해상도 파라미터에 적어도 부분적으로 기초하는, 상기 요청된 디지털 줌 레벨이 업샘플링 임계치를 만족하는 것을 결정하는 것을 행하고; 그리고
상기 출력 픽셀들을 사용하여 상기 요청된 디지털 줌 레벨을 달성하기 위해 업샘플링을 수행하도록
구성되는, 이미지 데이터를 캡처하도록 구성된 장치.
제 1 항에 있어서,
상기 제 1 이미지 센서; 및
디스플레이를 더 포함하는, 이미지 데이터를 캡처하도록 구성된 장치.
이미지 데이터를 캡처하는 방법으로서,
디지털 줌 레벨이 제 1 미리 정의된 임계치 미만인 경우에 제 1 이미지 센서로 하여금 제 1 이미지 캡처 모드를 사용하여 이미지 데이터의 제 1 하나 이상의 프레임들을 캡처하게 하는 단계로서, 상기 제 1 이미지 캡처 모드는 상기 이미지 데이터의 각각의 출력 픽셀에 대해 상기 제 1 이미지 센서의 2 개 이상의 픽셀들을 사용하는 제 1 비닝 레벨을 포함하고, 상기 이미지 데이터의 상기 제 1 하나 이상의 프레임들은 제 1 해상도 및 제 1 컬러 어레이 패턴을 갖는, 상기 제 1 이미지 센서로 하여금 제 1 이미지 캡처 모드를 사용하여 이미지 데이터의 제 1 하나 이상의 프레임들을 캡처하게 하는 단계;
요청된 디지털 줌 레벨이 상기 제 1 미리 정의된 임계치를 만족하는 것을 결정하는 단계; 및
상기 제 1 이미지 센서로 하여금 제 2 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 제 2 하나 이상의 프레임들을 캡처하게 하는 단계로서, 상기 제 2 이미지 캡처 모드는 상기 이미지 데이터의 각각의 출력 픽셀에 대해 상기 제 1 비닝 레벨에 비해 상기 제 1 이미지 센서의 더 적은 픽셀들을 사용하는 제 2 비닝 레벨을 포함하고, 상기 이미지 데이터의 상기 제 2 하나 이상의 프레임들은 상기 이미지 데이터의 상기 제 1 하나 이상의 프레임들의 상기 제 1 해상도 및 상기 제 1 컬러 어레이 패턴을 가지고, 상기 제 1 이미지 캡처 모드와 상기 제 2 이미지 캡처 모드 사이에는 중간 캡처 모드들이 존재하지 않는, 상기 제 2 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 제 2 하나 이상의 프레임들을 캡처하게 하는 단계를 포함하는, 이미지 데이터를 캡처하는 방법.
제 15 항에 있어서,
상기 요청된 디지털 줌 레벨이 카메라 전이 임계치를 만족하는 것을 결정하는 단계;
제 1 카메라로부터 제 2 카메라로의 전이를 야기하는 단계;
상기 제 2 카메라로 하여금 상기 제 2 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 제 3 하나 이상의 프레임들을 캡처하게 하는 단계로서, 상기 제 2 이미지 캡처 모드는 상기 이미지 데이터의 각각의 출력 픽셀에 대해 상기 제 2 카메라에 대응하는 이미지 센서의 하나 이상의 픽셀들을 사용하는 것을 더 포함하는, 상기 제 2 카메라로 하여금 상기 제 2 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 제 3 하나 이상의 프레임들을 캡처하게 하는 단계를 더 포함하는, 이미지 데이터를 캡처하는 방법.
제 16 항에 있어서,
각각의 출력 픽셀에 대해 사용되는 상기 제 2 카메라에 대응하는 상기 이미지 센서의 픽셀들의 수는 상기 제 1 이미지 센서의 픽셀들의 총 수와 상기 제 2 카메라에 대응하는 상기 이미지 센서의 픽셀들의 총 수 사이의 차이에 적어도 부분적으로 기초하는, 이미지 데이터를 캡처하는 방법.
제 15 항에 있어서,
상기 제 1 이미지 센서로 하여금 상기 제 2 이미지 캡처 모드를 사용하여 캡처된 상기 제 2 하나 이상의 프레임들의 각각에 대한 출력 픽셀들의 감소된 부분을 출력하게 하는 단계; 및
상기 제 1 이미지 센서로부터, 상기 제 2 이미지 캡처 모드를 사용하여 캡처된 상기 제 2 하나 이상의 프레임들에 대한 출력 픽셀들의 상기 감소된 부분을 수신하는 단계를 더 포함하는, 이미지 데이터를 캡처하는 방법.
제 15 항에 있어서,
상기 요청된 디지털 줌 레벨이 제 3 미리 정의된 임계치를 만족하는 것을 결정하는 단계; 및
상기 제 1 이미지 센서로 하여금 제 3 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 제 3 하나 이상의 프레임들을 캡처하게 하는 단계로서, 상기 제 3 이미지 캡처 모드는 상기 이미지 데이터의 각각의 출력 픽셀에 대해 상기 제 2 비닝 레벨에 비해 상기 제 1 이미지 센서의 더 적은 픽셀들을 사용하는 제 3 비닝 레벨을 포함하는, 상기 제 1 이미지 센서로 하여금 제 3 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 제 3 하나 이상의 프레임들을 캡처하게 하는 단계를 더 포함하는, 이미지 데이터를 캡처하는 방법.
제 19 항에 있어서,
상기 제 1 이미지 센서로 하여금 상기 제 1 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 상기 제 1 하나 이상의 프레임들을 캡처하게 하는 단계는, 상기 제 1 이미지 센서로 하여금 상기 이미지 데이터의 각각의 출력 픽셀에 대해 상기 제 1 이미지 센서의 적어도 5 개의 픽셀들을 결합하게 하는 단계를 포함하고,
상기 제 1 이미지 센서로 하여금 상기 제 2 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 상기 제 2 하나 이상의 프레임들을 캡처하게 하는 단계는, 상기 제 1 이미지 센서로 하여금 상기 이미지 데이터의 각각의 출력 픽셀에 대해 상기 제 1 이미지 센서의 4 개의 픽셀들을 사용하게 하는 단계를 포함하며, 그리고
상기 제 1 이미지 센서로 하여금 상기 제 3 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 상기 제 3 하나 이상의 프레임들을 캡처하게 하는 단계는, 상기 제 1 이미지 센서로 하여금 상기 이미지 데이터의 각각의 출력 픽셀에 대해 상기 제 1 이미지 센서의 하나의 픽셀을 사용하게 하는 단계를 포함하는, 이미지 데이터를 캡처하는 방법.
제 15 항에 있어서,
상기 출력 픽셀들을 수신하는 단계; 및
상기 출력 픽셀들을 사용하여 상기 요청된 디지털 줌 레벨을 달성하기 위해 디지털 크로핑을 수행하는 단계를 더 포함하는, 이미지 데이터를 캡처하는 방법.
제 15 항에 있어서,
상기 요청된 디지털 줌 레벨이 업샘플링 임계치를 만족하는 것을 결정하는 단계로서, 상기 업샘플링 임계치는 상기 제 1 미리 정의된 임계치 미만인 요청된 디지털 줌 레벨에 대응하고, 상기 업샘플링 임계치는 요망되는 해상도 파라미터에 적어도 부분적으로 기초하는, 상기 요청된 디지털 줌 레벨이 업샘플링 임계치를 만족하는 것을 결정하는 단계; 및
상기 출력 픽셀들을 사용하여 상기 요청된 디지털 줌 레벨을 달성하기 위해 업샘플링을 수행하는 단계를 더 포함하는, 이미지 데이터를 캡처하는 방법.
이미지 데이터를 캡처하도록 구성된 장치로서,
상기 장치는,
디지털 줌 레벨이 제 1 미리 정의된 임계치 미만인 경우에 이미지 센서로 하여금 제 1 이미지 캡처 모드를 사용하여 이미지 데이터의 제 1 하나 이상의 프레임들을 캡처하게 하는 수단으로서, 상기 제 1 이미지 캡처 모드는 상기 이미지 데이터의 각각의 출력 픽셀에 대해 이미지 센서의 2 개 이상의 픽셀들을 사용하는 제 1 비닝 레벨을 포함하고, 상기 이미지 데이터의 상기 제 1 하나 이상의 프레임들은 제 1 해상도 및 제 1 컬러 어레이 패턴을 갖는, 상기 이미지 센서로 하여금 제 1 이미지 캡처 모드를 사용하여 이미지 데이터의 제 1 하나 이상의 프레임들을 캡처하게 하는 수단;
요청된 디지털 줌 레벨이 상기 제 1 미리 정의된 임계치를 만족하는 것을 결정하는 수단; 및
상기 이미지 센서로 하여금 제 2 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 제 2 하나 이상의 프레임들을 캡처하게 하는 수단으로서, 상기 제 2 이미지 캡처 모드는 상기 이미지 데이터의 각각의 출력 픽셀에 대해 상기 제 1 비닝 레벨에 비해 상기 이미지 센서의 더 적은 픽셀들을 사용하는 제 2 비닝 레벨을 포함하고, 상기 이미지 데이터의 상기 제 2 하나 이상의 프레임들은 상기 이미지 데이터의 상기 제 1 하나 이상의 프레임들의 상기 제 1 해상도 및 상기 제 1 컬러 어레이 패턴을 가지고, 상기 제 1 이미지 캡처 모드와 상기 제 2 이미지 캡처 모드 사이에는 중간 캡처 모드들이 존재하지 않는, 상기 제 2 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 제 2 하나 이상의 프레임들을 캡처하게 하는 수단을 포함하는, 이미지 데이터를 캡처하도록 구성된 장치.
제 23 항에 있어서,
상기 장치는,
상기 이미지 센서로부터 상기 출력 픽셀들을 수신하는 수단; 및
상기 출력 픽셀들을 사용하여 상기 요청된 디지털 줌 레벨을 달성하기 위해 디지털 크로핑을 수행하는 수단을 더 포함하는, 이미지 데이터를 캡처하도록 구성된 장치.
제 23 항에 있어서,
상기 이미지 센서로 하여금 상기 제 1 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 상기 제 1 하나 이상의 프레임들을 캡처하게 하는 수단은, 상기 이미지 센서로 하여금 상기 이미지 데이터의 각각의 출력 픽셀에 대해 상기 이미지 센서의 4 개의 픽셀들을 결합하게 하는 수단을 포함하고,
상기 이미지 센서로 하여금 상기 제 2 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 상기 제 2 하나 이상의 프레임들을 캡처하게 하는 수단은, 상기 이미지 센서로 하여금 상기 이미지 데이터의 각각의 출력 픽셀에 대해 상기 이미지 센서의 하나의 픽셀을 사용하게 하는 수단을 포함하는, 이미지 데이터를 캡처하도록 구성된 장치.
제 23 항에 있어서,
상기 이미지 센서로 하여금 상기 이미지 데이터의 상기 제 2 하나 이상의 프레임들에 대한 출력 픽셀들의 감소된 부분을 출력하게 하는 수단; 및
상기 이미지 센서로부터, 상기 이미지 데이터의 상기 제 2 하나 이상의 프레임들에 대한 출력 픽셀들의 상기 감소된 부분을 수신하는 수단을 더 포함하는, 이미지 데이터를 캡처하도록 구성된 장치.
명령들을 저장한 비일시적 컴퓨터 판독가능 저장 매체로서,
상기 명령들은, 실행될 때, 하나 이상의 프로세서들로 하여금,
디지털 줌 레벨이 제 1 미리 정의된 임계치 미만인 경우에 제 1 이미지 센서로 하여금 제 1 이미지 캡처 모드를 사용하여 이미지 데이터의 제 1 하나 이상의 프레임들을 캡처하게 하는 것으로서, 상기 제 1 이미지 캡처 모드는 상기 이미지 데이터의 각각의 출력 픽셀에 대해 상기 제 1 이미지 센서의 2 개 이상의 픽셀들을 사용하는 제 1 비닝 레벨을 포함하고, 상기 이미지 데이터의 상기 제 1 하나 이상의 프레임들은 제 1 해상도 및 제 1 컬러 어레이 패턴을 갖는, 상기 제 1 이미지 센서로 하여금 제 1 이미지 캡처 모드를 사용하여 이미지 데이터의 제 1 하나 이상의 프레임들을 캡처하게 하는 것을 행하게 하고;
요청된 디지털 줌 레벨이 상기 제 1 미리 정의된 임계치를 만족하는 것을 결정하게 하며; 그리고
상기 제 1 이미지 센서로 하여금 제 2 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 제 2 하나 이상의 프레임들을 캡처하게 하는 것으로서, 상기 제 2 이미지 캡처 모드는 상기 이미지 데이터의 각각의 출력 픽셀에 대해 상기 제 1 비닝 레벨에 비해 상기 제 1 이미지 센서의 더 적은 픽셀들을 사용하는 제 2 비닝 레벨을 포함하고, 상기 이미지 데이터의 상기 제 2 하나 이상의 프레임들은 상기 이미지 데이터의 상기 제 1 하나 이상의 프레임들의 상기 제 1 해상도 및 상기 제 1 컬러 어레이 패턴을 가지고, 상기 제 1 이미지 캡처 모드와 상기 제 2 이미지 캡처 모드 사이에는 중간 캡처 모드들이 존재하지 않는, 상기 제 2 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 제 2 하나 이상의 프레임들을 캡처하게 하는 것을 행하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
제 27 항에 있어서,
상기 하나 이상의 프로세서들은 또한,
상기 요청된 디지털 줌 레벨이 카메라 전이 임계치를 만족하는 것을 결정하고;
제 1 카메라로부터 제 2 카메라로의 전이를 야기하며; 그리고
상기 제 2 카메라로 하여금 상기 제 2 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 상기 제 2 하나 이상의 프레임들을 캡처하게 하는 것으로서, 상기 제 2 이미지 캡처 모드는 상기 이미지 데이터의 각각의 출력 픽셀에 대해 상기 제 2 카메라에 대응하는 이미지 센서의 하나 이상의 픽셀들을 사용하는 것을 더 포함하는, 상기 제 2 카메라로 하여금 상기 제 2 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 상기 제 2 하나 이상의 프레임들을 캡처하게 하는 것을 행하도록
구성되는, 비일시적 컴퓨터 판독가능 저장 매체.
제 27 항에 있어서,
상기 명령들은, 실행될 때, 추가로 상기 하나 이상의 프로세서들로 하여금, 적어도:
상기 출력 픽셀들을 수신하게 하고; 그리고
상기 출력 픽셀들을 사용하여 상기 요청된 디지털 줌 레벨을 달성하기 위해 디지털 크로핑을 수행하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
제 27 항에 있어서,
상기 명령들은, 실행될 때, 추가로 상기 하나 이상의 프로세서들로 하여금, 적어도:
상기 제 1 이미지 센서로 하여금 상기 이미지 데이터의 각각의 출력 픽셀에 대해 상기 제 1 이미지 센서의 4 개의 픽셀들을 결합하게 함으로써, 상기 제 1 이미지 센서로 하여금 상기 제 1 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 상기 제 1 하나 이상의 프레임들을 캡처하게 하고, 그리고
상기 제 1 이미지 센서로 하여금 상기 이미지 데이터의 각각의 출력 픽셀에 대해 상기 제 1 이미지 센서의 하나의 픽셀을 사용하게 함으로써, 상기 제 1 이미지 센서로 하여금 상기 제 2 이미지 캡처 모드를 사용하여 상기 이미지 데이터의 상기 제 2 하나 이상의 프레임들을 캡처하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
제 27 항에 있어서,
상기 명령들은, 실행될 때, 추가로 상기 하나 이상의 프로세서들로 하여금, 적어도:
상기 제 1 이미지 센서로 하여금 상기 제 2 이미지 캡처 모드를 사용하여 캡처된 상기 제 2 하나 이상의 프레임들의 각각에 대한 출력 픽셀들의 감소된 부분을 출력하게 하고; 그리고
상기 제 1 이미지 센서로부터, 상기 제 2 이미지 캡처 모드를 사용하여 캡처된 상기 제 2 하나 이상의 프레임들에 대한 출력 픽셀들의 상기 감소된 부분을 수신하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.