KR20240029001A - 오토포커스(af) 및 자동 노출 제어(aec) 조정 - Google Patents

Abstract

본 개시내용은, 특히 저조도 또는 높은 동적 범위(high dynamic range, HDR) 장면들에서, 개선된 이미지 신호 프로세싱을 지원하는 시스템들, 장치, 방법들, 및 컴퓨터 판독가능 매체들을 제공한다. 이미지 프로세싱 기법들은 2개의 자동 노출 제어(AEC) 동작들을 수행하는 단계를 포함할 수 있는데, 여기서 제1 AEC 동작은 오토포커스(AF) 동작을 위한 양호한 조건들을 획득하는 것을 타깃으로 하고, 제2 AEC 동작이 AF 동작에 이어져서 이미지 캡처를 위한 양호한 조건들을 획득하는 것을 타깃으로 한다. 이미지 프로세싱 기법들은 또한 AEC 동작들과 AF 동작들 사이의 통신을 포함하여서 이미지 신호 프로세싱의 일부로서 노출 레벨들 및 포커스 포지션들을 잠금 및 해제함으로써 동작들을 조정할 수 있다. 일 양태에서, 프로세싱 기법은, 타깃으로부터 통계치들을 측정하고, AEC와 조정하고, 잠금 및 재개 상태 머신의 인터리빙을 수행하여, 전체 이미지 품질을 유지하면서 까다로운 저조도 또는 HDR 장면들에서 더 양호한 AF 결과를 달성하는 AF를 포함할 수 있다.

Description

오토포커스(AF) 및 자동 노출 제어(AEC) 조정

관련 출원에 대한 상호 참조

본 출원은 2022년 1월 5일자로 출원되고 발명의 명칭이 "AUTOFOCUS (AF) AND AUTO EXPOSURE CONTROL (AEC) COORDINATION"인 미국 특허 출원 제17/647,150호, 및 2021년 7월 6일자로 출원되고 발명의 명칭이 "AUTOFOCUS (AF) AND AUTO EXPOSURE CONTROL (AEC) COORDINATION"인 미국 가특허 출원 제63/218,828호의 이익을 주장하고, 그 출원들 둘 모두는 그 전체가 인용에 의해 본 명세서에 명백히 통합된다.

기술분야

본 개시내용의 양태들은 대체적으로 이미지 신호 프로세싱에 관한 것이다. 일부 특징부들은 개선된 오토포커스(AF)를 포함하는 개선된 이미지 신호 프로세싱을 가능하게 하고 제공할 수 있다.

이미지 캡처 디바이스들은 사진들에 대한 스틸 이미지 또는 비디오들에 대한 이미지들의 시퀀스들이든 간에, 하나 이상의 디지털 이미지들을 캡처할 수 있는 디바이스들이다. 캡처 디바이스들은 매우 다양한 디바이스들에 통합될 수 있다. 예로서, 이미지 캡처 디바이스들은 독립형 디지털 카메라들 또는 디지털 비디오 캠코더들, 모바일 전화기들, 셀룰러 또는 위성 라디오 전화기들과 같은 카메라 장착 무선 통신 디바이스 핸드셋들, 개인 휴대 정보 단말기들(PDA들), 패널들 또는 태블릿들, 게이밍 디바이스들, 웹캠들과 같은 컴퓨터 디바이스들, 비디오 감시 카메라들, 또는 디지털 이미징 또는 비디오 능력들을 갖는 다른 디바이스들을 포함할 수 있다.

이미지 캡처 디바이스들은 고유한 제한들을 갖는다. 이미지 품질은 이미지를 캡처하는 이미지 센서의 감도 및 이미지에서 캡처되는 장면의 밝기와 관련된다. 이미지 센서 능력 및 장면 조명에 대한 제한들이 고품질 이미지들의 캡처를 억제할 수 있다.

아래에서는 논의된 기법의 기본적인 이해를 제공하기 위해 본 개시내용의 일부 양태들이 요약된다. 이러한 요약은 본 개시내용의 모든 고려된 특징들의 포괄적인 개요가 아니며, 본 개시내용의 모든 양태들의 핵심 또는 중요한 엘리먼트들을 식별하거나 본 개시내용의 임의의 또는 모든 양태들의 범위를 서술하도록 의도되지 않는다. 이러한 요약의 유일한 목적은, 이후에 제시되는 더 상세한 설명에 대한 서론으로서 요약 형태로 본 개시내용의 하나 이상의 양태들의 일부 개념들을 제시하려는 것이다.

본 개시내용은, 특히 저조도 또는 높은 동적 범위(high dynamic range, HDR) 장면들에서, 개선된 이미지 신호 프로세싱을 지원하는 시스템들, 장치, 방법들, 및 컴퓨터 판독가능 매체들을 제공한다. 이미지 프로세싱 기법들은 2개의 자동 노출 제어(AEC) 동작들을 수행하는 단계를 포함할 수 있는데, 여기서 제1 AEC 동작은 오토포커스(AF) 동작을 위한 양호한 조건들을 획득하는 것을 타깃으로 하고, 제2 AEC 동작이 AF 동작에 이어져서 이미지 캡처를 위한 양호한 조건들을 획득하는 것을 타깃으로 한다. 이미지 프로세싱 기법들은 또한 AEC 동작들과 AF 동작들 사이의 통신을 포함하여서 이미지 신호 프로세싱의 일부로서 노출 레벨들 및 포커스 포지션들을 잠금 및 해제함으로써 동작들을 조정할 수 있다. 일 양태에서, 프로세싱 기법은 타깃으로부터 통계치들을 측정하고, AEC와 조정하고, 잠금 및 재개 상태 머신의 인터리빙을 수행하여, 전체 이미지 품질을 유지하면서 까다로운 저조도 또는 HDR 장면들에서 더 양호한 AF 결과를 달성하는 AF를 포함할 수 있다.

본 개시내용의 일 양태에서, 이미지 프로세싱 및/또는 이미지 캡처를 위한 방법은 제1 노출 레벨을 결정하기 위해 제1 세트의 타깃 파라미터들로 제1 자동 노출 제어 동작을 수행하는 단계; 제1 포커스 포지션을 결정하기 위해 제1 노출 레벨에서 제1 오토 포커스 동작을 수행하는 단계; 제1 오토 포커스 동작을 수행한 후에 제2 노출 레벨을 결정하기 위해 제2 세트의 타깃 파라미터들로 제2 자동 노출 제어 동작을 수행하는 단계; 및/또는 제2 노출 레벨에서 제1 이미지 프레임을 캡처하는 단계를 포함한다.

본 개시내용의 추가의 양태에서, 장치는 적어도 하나의 프로세서, 및 적어도 하나의 프로세서에 커플링된 메모리를 포함한다. 적어도 하나의 프로세서는 동작들을 수행하도록 구성되고, 동작들은 제1 노출 레벨을 결정하기 위해 제1 세트의 타깃 파라미터들로 제1 자동 노출 제어 동작을 수행하는 것; 제1 포커스 포지션을 결정하기 위해 제1 노출 레벨에서 제1 오토 포커스 동작을 수행하는 것; 제1 오토 포커스 동작을 수행한 후에 제2 노출 레벨을 결정하기 위해 제2 세트의 타깃 파라미터들로 제2 자동 노출 제어 동작을 수행하는 것; 및/또는 제2 노출 레벨에서 제1 이미지 프레임을 캡처하는 것을 포함한다.

본 개시내용의 추가 양태에서, 장치는 제1 노출 레벨을 결정하기 위해 제1 세트의 타깃 파라미터들로 제1 자동 노출 제어 동작을 수행하기 위한 수단; 제1 포커스 포지션을 결정하기 위해 제1 노출 레벨에서 제1 오토 포커스 동작을 수행하기 위한 수단; 제1 오토 포커스 동작을 수행한 후에 제2 노출 레벨을 결정하기 위해 제2 세트의 타깃 파라미터들로 제2 자동 노출 제어 동작을 수행하기 위한 수단; 및/또는 제2 노출 레벨에서 제1 이미지 프레임을 캡처하기 위한 수단을 포함한다.

본 개시내용의 추가적인 양태에서, 비일시적 컴퓨터 판독가능 저장 매체는, 프로세서에 의해 실행될 때 프로세서로 하여금 동작들을 수행하게 하는 명령들을 저장한다. 동작들은 제1 노출 레벨을 결정하기 위해 제1 세트의 타깃 파라미터들로 제1 자동 노출 제어 동작을 수행하는 것; 제1 포커스 포지션을 결정하기 위해 제1 노출 레벨에서 제1 오토 포커스 동작을 수행하는 것; 제1 오토 포커스 동작을 수행한 후에 제2 노출 레벨을 결정하기 위해 제2 세트의 타깃 파라미터들로 제2 자동 노출 제어 동작을 수행하는 것; 및/또는 제2 노출 레벨에서 제1 이미지 프레임을 캡처하는 것을 포함한다.

이미지 캡처 디바이스들, 즉 스틸 이미지 사진들이든 또는 비디오들에 대한 이미지들의 시퀀스들이든 간에, 하나 이상의 디지털 이미지들을 캡처할 수 있는 디바이스들이 매우 다양한 디바이스들 내로 통합될 수 있다. 예로서, 이미지 캡처 디바이스들은 독립형 디지털 카메라들 또는 디지털 비디오 캠코더들, 모바일 전화기들, 셀룰러 또는 위성 라디오 전화기들과 같은 카메라 장착 무선 통신 디바이스 핸드셋들, 개인 휴대 정보 단말기들(PDA들), 패널들 또는 태블릿들, 게이밍 디바이스들, 웹캠들과 같은 컴퓨터 디바이스들, 비디오 감시 카메라들, 또는 디지털 이미징 또는 비디오 능력들을 갖는 다른 디바이스들을 포함할 수 있다.

대체적으로, 본 개시내용은 이미지 센서들 및 이미지 신호 프로세서(image signal processor, ISP)들을 갖는 이미지 캡처 디바이스들을 수반하는 이미지 프로세싱 기법들을 설명한다. 이미지 신호 프로세서는 하나 이상의 이미지 센서들로부터 이미지 프레임들의 캡처를 제어하고 하나 이상의 이미지 센서들로부터의 하나 이상의 이미지 프레임들을 프로세싱하여 보정된 이미지 프레임에 장면의 뷰를 생성하도록 구성될 수 있다. 보정된 이미지 프레임은 비디오 시퀀스를 형성하는 이미지 프레임들의 시퀀스의 일부일 수 있다. 비디오 시퀀스는 이미지 센서 또는 다른 이미지 센서들로부터 수신된 다른 이미지 프레임들 및/또는 이미지 센서 또는 다른 이미지 센서로부터의 입력에 기초한 다른 보정된 이미지 프레임들을 포함할 수 있다.

일 예에서, 이미지 신호 프로세서는 이미지 캡처 디바이스로부터 프리뷰 디스플레이를 생성하기 위해 카메라 애플리케이션과 같은 소프트웨어의 로딩에 응답하여 이미지 프레임들의 시퀀스를 캡처하라는 명령을 수신할 수 있다. 이미지 신호 프로세서는 하나 이상의 이미지 센서들로부터 수신된 이미지 프레임들에 기초하여 출력 프레임들의 단일 흐름을 생성하도록 구성될 수 있다. 출력 프레임들의 단일 흐름은 이미지 센서로부터의 미가공 이미지 데이터, 또는 이미지 신호 프로세서 내의 하나 이상의 알고리즘들에 의해 프로세싱된 보정된 이미지 프레임들을 포함할 수 있다. 예를 들어, 이미지 센서로부터 획득된 이미지 프레임은 톤 맵핑, 인물 조명, 콘트라스트 향상, 감마 보정 등 중 하나 이상을 수행하기 위한 이미지 포스트-프로세싱 엔진(image post-processing engine, IPE) 및/또는 다른 이미지 프로세싱 회로부를 통해 이미지 프레임을 프로세싱함으로써 이미지 신호 프로세서에서 프로세싱될 수 있다.

장면을 표현하는 출력 프레임이 본 명세서의 다양한 실시 형태들에서 설명되는 이미지 보정을 사용하여 이미지 신호 프로세서에 의해 결정된 후, 출력 프레임은 단일 스틸 이미지로서 그리고/또는 비디오 시퀀스의 일부로서 디바이스 디스플레이 상에 디스플레이되고, 픽처 또는 비디오 시퀀스로서 저장 디바이스에 저장되고, 네트워크를 통해 송신되고, 그리고/또는 출력 매체로 인쇄될 수 있다. 예를 들어, 이미지 신호 프로세서는 상이한 이미지 센서들로부터 이미지 데이터의 입력 프레임들(예컨대, 픽셀 값들)을 획득하고, 이어서, 이미지 데이터의 대응하는 출력 프레임들(예컨대, 프리뷰 디스플레이 프레임들, 스틸 이미지 캡처들, 비디오에 대한 프레임들 등)을 생성하도록 구성될 수 있다. 다른 예들에서, 이미지 신호 프로세서는 이미지 데이터의 프레임들을, 추가 프로세싱을 위해, 예컨대, 3A 파라미터 동기화(예컨대, 오토 포커스(AF), 자동 화이트 밸런스(AWB), 및 자동 노출 제어(AEC)), 출력 프레임들을 통해 비디오 파일을 생성하기, 디스플레이를 위한 프레임들을 구성하기, 저장을 위한 프레임들을 구성하기, 네트워크 연결을 통해 프레임들을 송신하기 등을 위해, 다양한 출력 디바이스들 및/또는 카메라 모듈들에 출력할 수 있다. 즉, 이미지 신호 프로세서는 하나 이상의 카메라 렌즈들에 각각이 커플링된 하나 이상의 이미지 센서들로부터의 유입하는 프레임들을 획득할 수 있고, 이어서, 출력 프레임들의 흐름을 생성하여 이를 다양한 출력 도착지들로 출력할 수 있다. 그러한 예들에서, 이미지 신호 프로세서는 저조도 조건들에서 개선된 외관을 가질 수 있는 출력 프레임들의 흐름을 생성하도록 구성될 수 있다.

일부 양태들에서, 보정된 이미지 프레임은 본 개시내용의 이미지 보정의 양태들을 높은 동적 범위(HDR) 사진촬영 또는 다중 프레임 노이즈 감소(multi-frame noise reduction, MFNR)와 같은 다른 컴퓨터 사진촬영 기법들과 조합함으로써 생성될 수 있다. HDR 사진촬영으로, 제1 이미지 프레임 및 제2 이미지 프레임은 상이한 노출 시간들, 상이한 조리개들, 상이한 렌즈들, 및/또는 2개의 이미지 프레임들이 조합될 때 융합된 이미지의 개선된 동적 범위를 가져올 수 있는 다른 특성들을 사용하여 캡처된다. 일부 양태들에서, 본 방법은, 제1 이미지 프레임과 제2 이미지 프레임이 동일한 또는 상이한 노출 시간들을 사용하여 캡처되고, 캡처된 제1 이미지 프레임과 비교하여 감소된 노이즈를 갖는 보정된 제1 이미지 프레임을 생성하도록 융합되는 MFNR 사진촬영을 위해 수행될 수 있다.

일부 양태들에서, 디바이스는, 이미지 보정을 인에이블 또는 디스에이블하는, 또는 그렇지 않다면, 예컨대, AEC 수렴을 위해 오토포커스(AF) 관심 영역 및/또는 타깃 파라미터들을 특정함으로써, 이미지 보정의 양태들을 제어하는 카메라 제어들 및/또는 프로세싱을 위한 특정적인 기능을 포함하는 프로세서(예컨대, 애플리케이션 프로세서) 또는 이미지 신호 프로세서를 포함할 수 있다. 본 명세서에 설명된 방법들 및 기법들은 이미지 신호 프로세서 또는 프로세서에 의해 전체적으로 수행될 수 있거나, 또는 다양한 동작들은 이미지 신호 프로세서와 프로세서 사이에서 분할될 수 있고, 일부 양태들에서는 추가 프로세서들에 나뉘어 있을 수 있다.

장치는 제1 이미지 센서를 포함하는 것과 같은 하나, 둘, 또는 그 이상의 이미지 센서들을 포함할 수 있다. 다수의 이미지 센서들이 존재할 때, 제1 이미지 센서가 제2 이미지 센서보다 큰 시야(field of view, FOV)를 가질 수 있거나, 제1 이미지 센서가 제2 이미지 센서와는 상이한 감도 또는 상이한 동적 범위를 가질 수 있다. 일 예에서, 제1 이미지 센서는 광각 이미지 센서일 수 있고, 제2 이미지 센서는 망원 이미지 센서일 수 있다. 다른 예에서, 제1 센서는 제1 광학 축을 갖는 제1 렌즈를 통해 이미지를 획득하도록 구성되고, 제2 센서는 제1 광학 축과는 상이한 제2 광학 축을 갖는 제2 렌즈를 통해 이미지를 획득하도록 구성된다. 추가적으로 또는 대안적으로, 제1 렌즈는 제1 배율을 가질 수 있고, 제2 렌즈는 제1 배율과는 상이한 제2 배율을 가질 수 있다. 이러한 구성은, 예컨대, 다수의 이미지 센서들 및 연관된 렌즈들이 모바일 디바이스의 전면 또는 후면 상의 오프셋 위치들에 위치되는 경우, 모바일 디바이스 상의 렌즈 클러스터로 나타날 수 있다. 더 크거나, 더 작거나, 동일한 시야들을 갖는 추가적인 이미지 센서들이 포함될 수 있다. 본 명세서에 설명된 이미지 보정 기법들은 다중-센서 디바이스 내의 이미지 센서들 중 임의의 센서로부터 캡처된 이미지 프레임들에 적용될 수 있다.

본 개시내용의 추가적인 양태에서, 이미지 프로세싱 및/또는 이미지 캡처를 위해 구성된 디바이스가 개시된다. 장치는 이미지 프레임들을 캡처하기 위한 수단을 포함한다. 장치는 이미지 센서들(전하 결합 소자들(CCD들), Bayer-필터 센서들, 적외선(IR) 검출기들, 자외선(UV) 검출기들, 상보형 금속 산화물 반도체(CMOS) 센서들을 포함함), 비행 시간 검출기들과 같은, 장면을 나타내는 데이터를 캡처하기 위한 하나 이상의 수단을 더 포함한다. 장치는 광선을 하나 이상의 이미지 센서에 축적 및/또는 포커싱하기 위한 하나 이상의 수단(단순 렌즈, 복합 렌즈, 구면 렌즈 및 비구면 렌즈를 포함함)을 더 포함할 수 있다. 이러한 컴포넌트들은 본 명세서에 설명된 이미지 프로세싱 기법들에 입력된 제1 및/또는 제2 이미지 프레임들을 캡처하도록 제어될 수 있다.

다른 양태들, 특징들, 및 구현예들이 첨부한 도면들과 함께 특정의 예시적인 양태들에 대한 아래의 설명을 검토할 시에 당업자들에게 자명해질 것이다. 특징들이 아래에서 특정 양태들 및 도면들에 대해 논의될 수 있지만, 다양한 양태들은 본 명세서에서 논의된 유리한 특징들 중 하나 이상을 포함할 수 있다. 다시 말해서, 하나 이상의 양태들이 특정의 유리한 특징들을 갖는 것으로 논의될 수 있지만, 그러한 특징들 중 하나 이상은 또한 다양한 양태들에 따라 사용될 수 있다. 유사한 방식으로, 예시적인 양태들이 디바이스, 시스템, 또는 방법 양태들로서 아래에서 논의될 수 있지만, 예시적인 양태들은 다양한 디바이스들, 시스템들, 및 방법들로 구현될 수 있다.

본 방법은 프로세서로 하여금 방법의 단계들을 수행하게 하는 명령들을 포함하는 컴퓨터 프로그램 코드로서 컴퓨터 판독가능 매체에 구현될 수 있다. 일부 실시 형태들에서, 프로세서는, 복수의 네트워크 연결부들 중 제1 네트워크 연결부를 통해 기록 또는 스트리밍 데이터로서 이미지들 또는 비디오들과 같은 데이터를 송신하도록 구성된 제1 네트워크 어댑터; 및 제1 네트워크 어댑터 및 메모리에 커플링된 프로세서를 포함하는 모바일 디바이스의 일부일 수 있다. 프로세서는 5G NR 통신 네트워크와 같은 무선 통신 네트워크를 통해 본 명세서에 설명된 보정된 이미지 프레임들의 송신을 야기할 수 있다.

전술한 것은, 후속하는 상세한 설명이 더 잘 이해될 수 있게 하기 위해 본 개시내용에 따른 예들의 특징들 및 기술적 장점들을 다소 광범위하게 약술하였다. 추가적인 특징들 및 장점들이 이후에 설명될 것이다. 개시된 개념 및 특정 예들은 본 개시내용의 동일한 목적들을 실행하기 위해 다른 구조들을 수정 또는 설계하기 위한 기초로서 용이하게 활용될 수 있다. 그러한 동등한 구조들은 첨부된 청구항들의 범위로부터 벗어나지 않는다. 본 명세서에서 개시된 개념들의 특성들, 즉, 개념들의 구성 및 동작 방법 모두는, 연관된 장점들과 함께, 첨부한 도면들과 관련하여 고려될 경우 후속하는 설명으로부터 더 잘 이해될 것이다. 도면들 각각은 예시 및 설명의 목적들을 위해 제공되며, 청구항의 제한들의 정의로서 제공되지 않는다.

양태들 및 구현예들이 일부 예들에 대한 예시로서 본 출원에서 설명되지만, 추가적인 구현예들 및 사용 사례들이 많은 상이한 장치들 및 시나리오들에서 이루어질 수 있다는 것을 당업자들은 이해할 것이다. 본 명세서에서 설명된 혁신들은 많은 상이한 플랫폼 타입들, 디바이스들, 시스템들, 형상들, 크기들, 패키징 장치들에 걸쳐 구현될 수 있다. 예를 들어, 양태들 및/또는 사용들은 집적화된 칩 구현예들 및 다른 비-모듈-컴포넌트 기반 디바이스들(예컨대, 최종 사용자 디바이스들, 차량들, 통신 디바이스들, 컴퓨팅 디바이스들, 산업용 장비, 소매/구매 디바이스들, 의료용 디바이스들, 인공 지능(AI) 가능식 디바이스들 등)을 통해 발생할 수 있다. 일부 예들이 사용 사례들 또는 애플리케이션들에 구체적으로 관련될 수 있거나 관련되지 않을 수 있지만, 설명된 혁신들의 광범위한 적용가능성이 발생할 수 있다. 구현예들은 칩-레벨 또는 모듈식 컴포넌트들로부터 비-모듈식, 비-칩-레벨 구현예들까지 그리고 추가로 설명된 혁신들의 하나 이상의 양태들을 포함하는 종합, 분산형, 또는 OEM(original equipment manufacturer) 디바이스들 또는 시스템들까지의 범위에 이를 수 있다. 일부 실제 설정들에서, 설명된 양태들 및 특징들을 포함하는 디바이스들은 또한, 청구되고 설명된 양태들의 구현 및 실시를 위한 추가적인 컴포넌트들 및 특징들을 반드시 포함할 수 있다. 예를 들어, 무선 신호들의 송신 및 수신은 아날로그 및 디지털 목적들을 위한 다수의 컴포넌트들(예를 들어, 안테나, 무선 주파수(RF)-체인들, 전력 증폭기들, 변조기들, 버퍼, 프로세서(들), 인터리버, 가산기들/ 합산기들 등)을 반드시 포함한다. 본 명세서에서 설명된 혁신들이 다양한 크기들, 형상들, 및 구성의 광범위한 디바이스들, 칩-레벨 컴포넌트들, 시스템들, 분산형 장치들, 최종-사용자 디바이스들 등에서 실시될 수 있도록 의도된다.

본 개시내용의 속성 및 장점들의 추가적인 이해는 아래의 도면들을 참조하여 실현될 수 있다. 첨부된 도면들에서, 유사한 컴포넌트들 또는 특징들은 동일한 참조 라벨을 가질 수 있다. 또한, 동일한 타입의 다양한 컴포넌트들은 참조 라벨 다음에 대시기호 및 유사한 컴포넌트들을 구별하는 제2 라벨에 의해 구별될 수 있다. 만약 제1 참조 라벨만이 명세서에서 사용된다면, 설명은, 제2 참조 라벨과는 관계없이 동일한 제1 참조 라벨을 갖는 유사한 컴포넌트들 중 임의의 하나에 적용가능하다.
도 1은 하나 이상의 이미지 센서들로부터의 이미지 캡처를 수행하기 위한 예시적인 디바이스(100)의 블록도를 도시한다.
도 2는 하나 이상의 양태들에 따른 AF 및 AEC의 동작을 예시하는 블록도이다.
도 3은 하나 이상의 양태들에 따른 자동 노출 제어(AEC)와 오토 포커스(AF) 사이의 조정의 일 예를 예시하는 블록도이다.
도 4a는 하나 이상의 양태들에 따른 2개의 AEC 동작들을 사용하는 이미지 신호 프로세싱의 방법을 예시하는 흐름도이다.
도 4b는 하나 이상의 양태들에 따른 2개의 AEC 동작들을 사용하는 이미지 신호 프로세싱의 방법을 예시하는 흐름도이다.
도 5는 하나 이상의 양태들에 따른 자동 노출 제어(AEC)와 오토 포커스(AF) 사이의 조정의 일 예를 예시하는 블록도이다.
다양한 도면들에서 동일한 참조 번호들 및 지정들은 동일한 엘리먼트들을 표시한다.

첨부된 도면들과 관련하여 아래에 기재된 상세한 설명은 다양한 구성들의 설명으로서 의도되며, 본 개시내용의 범위를 제한하도록 의도되지 않는다. 오히려, 상세한 설명은 발명의 청구대상의 완전한 이해를 제공할 목적으로 특정 세부사항들을 포함한다. 이런 특정 세부사항들이 모든 각각의 경우에서 요구되지는 않는다는 것, 및 일부 경우들에서는, 제시의 명확함을 위해, 잘 알려진 구조들 및 컴포넌트들은 블록도 형태로 도시된다는 것이 당업자들에게 자명할 것이다.

이미지 캡처 디바이스들 내의 이미지 센서들에 대한 고유 제한들은 저품질 이미지들을 야기할 수 있다. 이미지 센서에 의해 생성되는 저품질 이미지들은 또한 이미지 신호 프로세싱의 다른 양태들에 대한 문제들을 생성할 수 있다. 예를 들어, 저조도 조건들에서 생성된 저품질 이미지들은 카메라 제어 알고리즘들에 문제를 일으키고, 이는 이미지 품질을 추가로 감소시킬 수 있다. 예를 들어, 이미지 프레임 내에서 콘트라스트를 검출하는 것에 기초한 오토 포커스(AF) 동작들은 이용가능한 콘트라스트가 거의 없는 저조도 조건들에서 완료하기 어려울 수 있다. 다른 예로서, 높은 동적 범위 이미지의 저조도 부분에서 콘트라스트를 검출하는 것에 기초한 AF 동작들은 이용가능한 콘트라스트가 거의 없는 경우에 완료하기 어려울 수 있다. 여기서 언급된 단점들은 단지 대표적이며, 본 발명자들이 기존 디바이스들에 관하여 식별하였고 개선하고자 했던 문제들을 강조하기 위해 포함된다. 아래에서 설명되는 디바이스들의 양태들은 단점들의 일부 또는 전부뿐만 아니라 당업계에 알려진 다른 것들을 다룰 수 있다. 아래에서 설명되는 개선된 디바이스들의 양태들은 전술한 것들 이외의 다른 이점들을 제시할 수 있고, 다른 애플리케이션들에서 사용될 수 있다.

본 개시내용은, 특히 저조도 또는 높은 동적 범위(HDR) 장면들에서, 개선된 이미지 신호 프로세싱을 지원하는 시스템들, 장치, 방법들, 및 컴퓨터 판독가능 매체들을 제공한다. 이미지 프로세싱 기법들은 2개의 자동 노출 제어(AEC) 동작들을 수행하는 단계를 포함할 수 있는데, 제1 AEC 동작은 오토포커스(AF) 동작을 위한 신뢰도 및 수렴을 개선하는 조건들을 획득하는 것을 타깃으로 하고 제2 AEC 동작은 AF 동작에 이어져서 이미지 캡처를 위한 양호한 조건들을 획득하는 것을 타깃으로 한다. 이미지 프로세싱 기법들은 또한 AEC 동작들과 AF 동작들 사이의 통신을 포함하여서 이미지 신호 프로세싱의 일부로서 노출 레벨들 및 포커스 포지션들을 잠금 및 해제함으로써 동작들을 조정할 수 있다.

일 양태에서, 프로세싱 기법은 (안면과 같은 검출된 관심 객체일 수 있는) 타깃 관심 영역으로부터 통계치들을 측정하고, AEC 알고리즘과 조정하고, 잠금 및 재개 상태 머신의 인터리빙을 수행하여, AEC 동작에 의해 선호되는 바와 같이 전체 이미지 품질을 유지하면서 까다로운 저조도 또는 HDR 장면들에서 더 양호한 AF 결과를 달성하는 AF 알고리즘을 포함할 수 있다. 조정은 제1 AEC 동작이 완료되기를 기다리는 제1 포커스 포지션 상에서의 AF 잠금을 포함할 수 있다. AEC 동작은 관심 영역 내의 디테일을 내보이는 제1 노출 레벨에 수렴할 수 있고, 그 후에 노출 레벨은 잠금되고 노출 레벨이 잠금되어 있는 동안 AF 알고리즘이 잠금해제되고 관심 영역에 대한 포커스 포지션을 결정한다. AF 동작이 완료된 후, AF 알고리즘은 포커스 포인트를 잠금하고, AEC 알고리즘은 노출 레벨을 잠금해제하고 노출 레벨을 조정하도록 제2 AEC 동작을 수행하여 원하는 이미지 결과를 획득한다. 일부 실시 형태들에서, AF는 제2 AEC 동작 동안 노출 레벨의 조정 동안 포커스 포지션을 잠금해제할 수 있다.

본 개시내용에서 설명된 청구대상의 특정 구현예들은 다음의 잠재적인 장점들 또는 이점들 중 하나 이상을 실현하도록 구현될 수 있다. 일부 양태들에서, 본 개시내용은, AF가 원래의 AEC 선호도를 변경하지 않고서 저조도 또는 HDR 장면들에서 더 양호한 AF 결과를 위해 AEC와 능동적으로 협력할 수 있는 이미지 신호 프로세싱 방법들을 위한 기법들을 제공한다. 이는 더 빠르고 그리고/또는 더 정확한 포커스 동작을 야기할 수 있으며, 이는, 특히 높은 동적 범위(HDR) 사진에서, (장면의 디테일을 보존함으로써 측정되는 바와 같이) 더 많은 인-포커스 영역들 및 그에 따른 개선된 이미지 품질을 갖는 사진들을 생성하는 한편, 사진 전체에 걸쳐 바람직한 조명 품질들을 여전히 갖는다.

스마트폰과 같은, 하나 이상의 이미지 센서들을 사용하여 이미지 프레임들을 캡처하기 위한 예시적인 디바이스는 디바이스의 후면(예컨대, 사용자 디스플레이의 반대 면) 또는 전면(예컨대, 사용자 디스플레이와 동일한 면) 상에 하나, 둘, 셋, 넷 이상의 카메라들의 구성을 포함할 수 있다. 다수의 이미지 센서들을 갖는 디바이스들은 하나 이상의 이미지 신호 프로세서(ISP)들, 컴퓨터 비전 프로세서(Computer Vision Processor, CVP)들(예컨대, AI 엔진들), 또는 이미지 센서들에 의해 캡처된 이미지들을 프로세싱하기 위한 다른 적합한 회로부를 포함한다. 하나 이상의 이미지 신호 프로세서는, 인코딩, 저장, 송신, 또는 다른 조작과 같은, 추가 프로세싱을 위해, 프로세싱된 이미지 프레임들을 메모리 및/또는 프로세서(예컨대, 애플리케이션 프로세서, 이미지 프론트 엔드(image front end, IFE), 이미지 포스트-프로세싱 엔진(IPE), 또는 다른 적절한 프로세싱 회로부)에 제공할 수 있다.

본 명세서에 사용되는 바와 같이, 이미지 센서는 이미지 센서 자체, 및 단기 버퍼이든 장기 비휘발성 메모리이든 간에, 메모리 내 저장소 또는 이미지 신호 프로세서 또는 다른 로직 회로부에 의한 프로세싱을 위해 이미지 프레임을 생성하는 데 사용되는 이미지 센서에 커플링된 임의의 소정 다른 컴포넌트들을 지칭할 수 있다. 예를 들어, 이미지 센서는 셔터, 버퍼, 또는 이미지 센서의 개별 픽셀들에 액세스하기 위한 다른 판독 회로부를 포함하는 카메라의 다른 컴포넌트들을 포함할 수 있다. 이미지 센서는 또한, 아날로그 프론트 엔드, 또는 이미지 센서에 커플링된 디지털 회로부에 제공되는 이미지 프레임에 대한 디지털 표현들로 아날로그 신호들을 변환하기 위한 다른 회로부를 지칭할 수 있다.

다음의 설명에 있어서, 본 개시내용의 철저한 이해를 제공하기 위해 특정 컴포넌트들, 회로들, 및 프로세서들의 예들과 같이 다수의 특정 상세들이 기술된다. 본 명세서에서 사용된 바와 같은 "커플링된(coupled)" 이라는 용어는 하나 이상의 개재하는 컴포넌트들 또는 회로들을 통해 연결되거나 직접 연결되는 것을 의미한다. 또한, 이하의 설명에서 그리고 설명의 목적들을 위해, 본 개시내용의 완전한 이해를 제공하기 위해 특정 전문용어가 전개된다. 하지만, 본 명세서에 개시된 교시들을 실시하기 위해 이들 특정 상세들은 요구되지 않을 수 있음은 당업자에게 명백할 것이다. 다른 경우들에서, 잘 알려진 회로들 및 디바이스들은 본 개시내용의 교시들을 모호하게 하는 것을 회피하기 위해 블록도 형태로 도시된다.

다음에 이어지는 상세한 설명들의 일부 부분들은 컴퓨터 메모리 내에서의 데이터 비트들에 대한 연산의 절차, 로직 블록, 프로세싱, 및 기타 상징적 표현들의 관점에서 제시된다. 본 개시내용에서, 절차, 로직 블록, 프로세스 등은 원하는 결과로 이끄는 단계들 또는 명령들의 자기-일관성있는 시퀀스인 것으로 인식된다. 단계들은 물리적 수량들의 물리적 조작들을 요구하는 것들이다. 필수적인 것은 아니지만 통상적으로, 이들 양들은 컴퓨터 시스템에서 저장되고, 전송되고, 조합되고, 비교되고 그 외에 조작되는 것이 가능한 전기적 또는 자기적 신호들의 형태를 취한다.

도면들에서, 단일 블록은 기능 또는 기능들을 수행하는 것으로 설명될 수 있다 그러한 블록에 의해 수행되는 기능 또는 기능들은 단일 컴포넌트에서 또는 다수의 컴포넌트들에 걸쳐 수행될 수 있고/있거나 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합을 사용하여 수행될 수 있다. 하드웨어와 소프트웨어의 이러한 상호교환 가능성을 분명히 예시하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 단계들이 일반적으로 그들의 기능의 면에서 이하에서 설명된다. 이러한 기능이 하드웨어로 구현되는지, 또는 소프트웨어로 구현되는지 여부는 특정 애플리케이션 및 전체 시스템에 대해 부과된 설계 제한들에 의존한다. 당업자들은 설명된 기능을 각각의 특정 애플리케이션에 대해 다양한 방식들로 구현할 수 있지만, 그러한 구현 결정들이 본 개시내용의 범위로부터 벗어나게 하는 것으로 해석되지는 않아야 한다. 또한, 예시의 디바이스들은 프로세서, 메모리 등과 같은 주지된 컴포넌트들을 포함하여, 나타낸 것들 외의 컴포넌트들을 포함할 수 있다.

본 개시내용의 양태들은 이미지 프레임들(또는 "프레임들")을 캡처할 수 있는 2 이상의 이미지 센서들을 포함하거나 이에 커플링되는 임의의 적절한 전자 디바이스에 적용가능하다. 또한, 본 개시내용의 양태들은 동일하거나 상이한 능력들 및 특성들(예컨대, 해상도, 셔터 속도, 센서 타입 등)의 이미지 센서들을 갖거나 이에 커플링된 디바이스들에서 구현될 수 있다. 추가로, 본 개시내용의 양태들은, 클라우드 컴퓨팅 시스템에 존재하는 프로세싱 디바이스들을 포함한, 프로세싱을 위해 저장된 이미지들을 취출할 수 있는 프로세싱 디바이스들과 같은, 디바이스가 이미지 센서들을 포함하든 또는 그에 커플링되든 간에, 이미지 프레임들을 프로세싱하기 위한 디바이스들에서 구현될 수 있다.

다음의 논의로부터 명백한 바와 같이 달리 구체적으로 언급되지 않는 한, 본 출원 전체에 걸쳐, "액세스하는 것", "수신하는 것", "전송하는 것", "사용하는 것", "선택하는 것", "결정하는 것", "정규화하는 것", "승산하는 것", "평균화하는 것", "모니터링하는 것", "비교하는 것", "적용하는 것", "업데이트하는 것", "측정하는 것", "도출하는 것", "정산하는 것(settling)", "생성하는 것" 등과 같은 용어들을 활용한 논의들은, 컴퓨터 시스템의 레지스터들 및 메모리들 내의 물리적 (전자적) 양으로서 표현된 데이터를 컴퓨터 시스템의 레지스터들 또는 메모리들 또는 다른 그러한 정보 저장, 송신 또는 디스플레이 디바이스 내의 물리적 양으로서 유사하게 표현된 다른 데이터로 조작 및 변환하는, 컴퓨터 시스템, 또는 유사한 전자 컴퓨팅 디바이스의 액션들 및 프로세스들을 지칭한다.

용어들 "디바이스" 및 "장치"는 하나 또는 특정 수의 물리적 객체들(예컨대, 하나의 스마트폰, 하나의 카메라 제어기, 하나의 프로세싱 시스템 등)로 제한되지 않는다. 본 명세서에서 사용된 바와 같이, 디바이스는 본 개시내용의 적어도 일부 부분들을 구현할 수 있는 하나 이상의 부분들을 갖는 임의의 전자 디바이스일 수 있다. 하기의 설명 및 예들이 본 개시내용의 다양한 양태들을 설명하기 위해 용어 "디바이스"를 사용하지만, 용어 "디바이스"는 특정 구성, 타입, 또는 수의 객체들로 제한되지 않는다. 본 명세서에서 사용된 바와 같이, 장치는 설명된 동작들을 수행하기 위한 디바이스 또는 디바이스의 일부를 포함할 수 있다.

도 1은 하나 이상의 이미지 센서들로부터의 이미지 캡처를 수행하기 위한 예시적인 디바이스(100)의 블록도를 도시한다. 디바이스(100)는 제1 이미지 센서(101), 제2 이미지 센서(102), 및 심도 센서(140)와 같은 하나 이상의 이미지 센서들로부터의 이미지 프레임들을 프로세싱하기 위한 이미지 신호 프로세서(112)를 포함하거나, 그렇지 않으면 그에 커플링될 수 있다. 일부 구현예들에서, 디바이스(100)는 또한 프로세서(104) 및 명령들(108)을 저장하는 메모리(106)를 포함하거나 또는 이에 커플링된다. 디바이스(100)는 또한 디스플레이(114) 및 입력/출력(I/O) 컴포넌트들(116)을 포함하거나 이들에 커플링될 수 있다. 터치 스크린 인터페이스 및/또는 물리적 버튼 인터페이스와 같은 I/O 컴포넌트들(116)이 사용자와 상호작용하기 위해 사용될 수 있다. I/O 컴포넌트들(116)은 또한, 광역 네트워크(wide area network, WAN) 어댑터(152), 근거리 네트워크(local area network, LAN) 어댑터(153), 및/또는 개인 영역 네트워크(personal area network, PAN) 어댑터(154)를 포함하는, 다른 디바이스들과 통신하기 위한 네트워크 인터페이스들을 포함할 수 있다. WAN 어댑터(152)의 예는 4G LTE 또는 5G NR 무선 네트워크 어댑터를 포함한다. 예시적인 LAN 어댑터(153)는 IEEE 802.11 WiFi 무선 네트워크 어댑터이다. 예시적인 PAN 어댑터(154)는 블루투스 무선 네트워크 어댑터이다. 어댑터들(152, 153, 및/또는 154) 각각은 안테나에 커플링될 수 있고, 일차 및 다이버시티 수신을 위해 구성된 그리고/또는 특정 주파수 대역들을 수신하기 위해 구성된 다수의 안테나들에 커플링될 수 있다. 디바이스(100)는 또한 디바이스(100)를 에너지원에 커플링하기 위한 컴포넌트 또는 배터리와 같은 디바이스(100)를 위한 전력 공급부(118)를 포함하거나 이에 커플링될 수 있다. 디바이스(100)는 또한, 도 1에 도시되지 않은 추가 특징부들 또는 컴포넌트들을 포함할 수 있거나 이들에 커플링될 수 있다. 일 예에서, 하나 이상의 트랜시버들 및 기저대역 프로세서는 무선 통신 디바이스에 대해 WAN 어댑터(152)에 커플링될 수 있거나 그에 포함될 수 있다. 추가 예에서, 아날로그 이미지 프레임 데이터를 디지털 이미지 프레임 데이터로 변환하기 위한 아날로그 프론트 엔드(analog front end, AFE)가 이미지 센서들(101, 102)과 이미지 신호 프로세서(112) 사이에 커플링될 수 있다.

디바이스는 디바이스(100)의 이동에 관한 데이터, 디바이스(100) 주위의 환경에 관한 데이터, 및/또는 다른 카메라 이외의 센서의 데이터를 수신하기 위해 센서들과 인터페이스하기 위한 센서 허브(150)를 포함할 수 있거나 그에 커플링될 수 있다. 하나의 예시적인 카메라 이외의 센서는 자이로스코프, 즉 회전, 배향, 및/또는 각속도를 측정하여 모션 데이터를 생성하도록 구성된 디바이스이다. 다른 예시적인 카메라 이외의 센서는 가속도계, 즉 가속도를 측정하기 위해 구성된 디바이스이고, 이는 또한, 측정된 가속도를 적절히 적분함으로써 이동된 거리 및 속도를 결정하는 데 사용될 수 있고, 가속도, 속도, 및 거리 중 하나 이상이 생성된 모션 데이터에 포함될 수 있다. 일부 양태들에서, 전자식 흔들림 방지 시스템(electronic image stabilization system, EIS)에서 자이로스코프는 센서 허브에 커플링될 수 있거나 이미지 신호 프로세서(112)에 직접 커플링될 수 있다. 다른 예에서, 카메라 이외의 센서는 글로벌 포지셔닝 시스템(global positioning system, GPS) 수신기일 수 있다. 센서 허브(150)로부터의 데이터는, 예컨대 EIS 및/또는 디지털 흔들림 방지(digital image stabilization, DIS)를 적용함으로써, 보정된 이미지 프레임들을 생성하기 위해 이미지 신호 프로세서(112)에 의해 사용될 수 있다.

이미지 신호 프로세서(112)는 이미지 프레임들의 형태로 하나 이상의 카메라들로부터 이미지 데이터를 수신할 수 있다. 일 실시 형태에서, 로컬 버스 연결부는 이미지 신호 프로세서(112)를 제1 및 제2 카메라의 각각의 이미지 센서들(101, 102)에 커플링시킨다. 다른 실시 형태에서, 유선 인터페이스가 이미지 신호 프로세서(112)를 외부 이미지 센서에 커플링시킨다. 추가 실시 형태에서, 무선 인터페이스는 이미지 신호 프로세서(112)를 이미지 센서(101, 102)에 커플링시킨다.

제1 카메라는 제1 이미지 센서(101) 및 대응하는 제1 렌즈(131)를 포함할 수 있다. 제2 카메라는 제2 이미지 센서(102) 및 대응하는 제2 렌즈(132)를 포함할 수 있다. 렌즈들(131, 132) 각각은 ISP(112)에서 실행되는 연관된 오토포커스(AF) 알고리즘(133)에 의해 제어될 수 있고, 이는 렌즈들(131, 132)을 조정하여 소정 포커스 포지션에 대응하는 특정 포커스 평면에 포커스를 맞춘다. AF 알고리즘(133)은 포커스 포지션에 근접하게 심도 데이터를 사용함으로써 심도 센서(140)에 의해 보조될 수 있다.

제1 이미지 센서(101) 및 제2 이미지 센서(102)는 하나 이상의 이미지 프레임을 캡처하도록 구성된다. 렌즈들(131, 132)은 광을 수신하기 위한 하나 이상의 조리개들, 노출 윈도우 외부에 있을 때 광을 차단하기 위한 하나 이상의 셔터, 특정 주파수 범위들 외부의 광을 필터링하기 위한 하나 이상의 컬러 필터 어레이(color filter array, CFA), 아날로그 측정치들을 디지털 정보로 변환하기 위한 하나 이상의 아날로그 프론트 엔드, 및/또는 이미징을 위한 다른 적절한 컴포넌트들을 통해 이미지 센서들(101, 102)에서 각각 광을 포커싱한다. 제1 렌즈(131) 및 제2 렌즈(132)는 장면의 상이한 표현들을 캡처하기 위해 상이한 시야들을 가질 수 있다. 예를 들어, 제1 렌즈(131)는 초광각(UW) 렌즈일 수 있고, 제2 렌즈(132)는 광각(W) 렌즈일 수 있다. 복수의 이미지 센서들은 초광각(넓은 시야(FOV)), 광각, 망원, 및 초망원(좁은 FOV) 센서들의 조합을 포함할 수 있다. 즉, 각각의 이미지 센서는 상이한, 그러나 중첩된, 시야들을 획득하기 위해 하드웨어 구성 및/또는 소프트웨어 설정들을 통해 구성될 수 있다. 하나의 구성에서, 이미지 센서들은 상이한 시야들을 야기하는 상이한 배율들을 갖는 상이한 렌즈들로 구성된다. 센서들은 UW 센서가 W 센서보다 큰 FOV를 갖고, W 센서가 T 센서보다 큰 FOV를 갖고, T 센서가 UT 센서보다 큰 FOV를 갖도록 구성될 수 있다. 예를 들어, 넓은 FOV를 위해 구성된 센서는 64 내지 84도 범위의 시야들을 캡처할 수 있고, 초광각 FOV를 위해 구성된 센서는 100 내지 140도 범위의 시야들을 캡처할 수 있고, 망원 FOV를 위해 구성된 센서는 10 내지 30도 범위의 시야들을 캡처할 수 있고, 초망원 FOV를 위해 구성된 센서는 1 내지 8도 범위의 시야들을 캡처할 수 있다.

이미지 신호 프로세서(112)는 이미지 센서들(101, 102)에 의해 캡처된 이미지 프레임들을 프로세싱한다. 도 1이 이미지 신호 프로세서(112)에 커플링된 2개의 이미지 센서들(101 및 102)을 포함하는 것으로 디바이스(100)를 예시하지만, 임의의 수의 (예컨대, 1개, 2개, 3개, 4개, 5개, 6개 등의) 이미지 센서들이 이미지 신호 프로세서(112)에 커플링될 수 있다. 일부 양태들에서, 심도 센서(140)와 같은 심도 센서들은 이미지 신호 프로세서(112)에 커플링될 수 있고, 심도 센서들로부터의 출력은 이미지 센서들(101, 102)의 출력과 유사한 방식으로 프로세싱되어 보정된 이미지 프레임들을 심도 센서(140)에 의해 캡처된 이미지 프레임에 기초하여 생성할 수 있다. 심도 센서(140)는 또한 이미지 센서들(101, 102) 중 하나로부터 캡처된 제1 이미지 프레임에, 예컨대 보정된 제1 이미지 프레임을 결정할 때 센서들(101 또는 102)로부터의 이미지 프레임을 전경 및 배경 영역으로 세그먼트화하도록 심도 데이터를 사용하고 전경 및 배경 영역들을 별개로 프로세싱함으로써, 보정을 적용하는 데 사용될 수 있다. 도 1에 도시된 장치가 개시된 이미지 신호 프로세싱 기법들 및 방법들의 일부 실시 형태들에 대한 구성을 반영할 수 있지만, 개시된 이미지 신호 프로세싱 기법들 및 방법들의 양태들을 여전히 구현하면서 임의의 수의 추가 이미지 센서들 또는 이미지 신호 프로세서들이 디바이스(100)의 다른 실시 형태들에 포함될 수 있다.

일부 실시 형태들에서, 이미지 신호 프로세서(112)는 메모리로부터의 명령들, 예컨대 메모리(106)로부터의 명령들(108), 이미지 신호 프로세서(112)에 커플링되거나 포함된 별도의 메모리에 저장된 명령들, 또는 프로세서(104)에 의해 제공된 명령들을 실행할 수 있다. 추가적으로, 또는 대안적으로, 이미지 신호 프로세서(112)는 본 개시내용에서 설명된 하나 이상의 동작들을 수행하기 위해 특정 하드웨어(예컨대, 하나 이상의 집적 회로(IC))를 포함할 수 있다. 예를 들어, 이미지 신호 프로세서(112)는 하나 이상의 이미지 프론트 엔드들(IFE)(135), 하나 이상의 이미지 포스트-프로세싱 엔진들(136)(IPE), 하나 이상의 자동 노출 제어(AEC)(134) 엔진들, 및/또는 하나 이상의 오토포커스(AF)(133) 엔진들을 포함할 수 있다. AF(133), AEC(134), IFE(135), IPE(136) 각각은 애플리케이션 특정 회로부를 포함할 수 있고, ISP(112)에 의해 실행되는 소프트웨어 코드, 및/또는 ISP(112) 내의 하드웨어와 그에서 실행되는 소프트웨어 코드의 조합으로서 구현될 수 있다.

일부 구현예들에서, 메모리(106)는 본 개시내용에서 설명된 하나 이상의 동작들의 전부 또는 일부분을 수행하기 위한 컴퓨터 실행가능 명령들(108)을 저장하는 비순간적 또는 비일시적 컴퓨터 판독가능 매체를 포함할 수 있다. 일부 구현예들에서, 명령들(108)은 이미지들 또는 비디오들을 생성하기 위해 디바이스(100)에 의해 실행될 카메라 애플리케이션(또는 다른 적절한 애플리케이션)을 포함한다. 명령들(108)은 또한 이미지 또는 비디오 생성을 위한 것 이외의 운영 체제 및 특정 애플리케이션들과 같은, 디바이스(100)에 의해 실행되는 다른 애플리케이션들 또는 프로그램들을 포함할 수 있다. 프로세서(104)에 의한 것과 같은 카메라 애플리케이션의 실행은 디바이스(100)로 하여금 이미지 센서들(101 및 102) 및 이미지 신호 프로세서(112)를 사용하여 이미지들을 생성하게 할 수 있다. 메모리(106)는 또한 프로세싱된 프레임들을 저장하기 위해 이미지 신호 프로세서(112)에 의해 액세스될 수 있거나, 프로세싱된 프레임들을 획득하기 위해 프로세서(104)에 의해 액세스될 수 있다. 일부 실시 형태들에서, 디바이스(100)는 메모리(106)를 포함하지 않는다. 예를 들어, 디바이스(100)는 이미지 신호 프로세서(112)를 포함하는 회로일 수 있고, 메모리는 디바이스(100)의 외부에 있을 수 있다. 디바이스(100)는 외부 메모리에 커플링될 수 있고, 디스플레이 또는 장기 저장을 위해 출력 프레임들을 기록하기 위해 메모리에 액세스하도록 구성될 수 있다. 일부 실시 형태들에서, 디바이스(100)는 이미지 신호 프로세서(112), 프로세서(104), 센서 허브(150), 메모리(106), 및 입력/출력 컴포넌트들(116)을 단일 패키지 내로 통합시키는 시스템 온 칩(system on chip, SoC)이다.

일부 실시 형태들에서, 이미지 신호 프로세서(112) 또는 프로세서(104) 중 적어도 하나는 AEC 및 AF 동작들 및 AEC 및 AF 동작들의 조정을 포함한 본 명세서에 설명된 다양한 동작들을 수행하기 위한 명령들을 실행한다. 예를 들어, 명령들의 실행은 이미지 프레임 또는 이미지 프레임들의 시퀀스를 캡처하는 것을 시작하거나 종료할 것을 이미지 신호 프로세서(112)에게 지시할 수 있으며, 여기서 캡처는 본 명세서의 실시 형태들에서 설명된 바와 같이 AF 및 AEC 동작들을 포함한다. 일부 실시 형태들에서, 프로세서(104)는 메모리(106) 내에 저장된 명령들(108)과 같은, 하나 이상의 소프트웨어 프로그램들의 스크립트들 또는 명령들을 실행할 수 있는 하나 이상의 범용 프로세서 코어들(104A)을 포함할 수 있다. 예를 들어, 프로세서(104)는 메모리(106)에 저장된 카메라 애플리케이션(또는 이미지 또는 비디오를 생성하기 위한 다른 적절한 애플리케이션)을 실행하도록 구성된 하나 이상의 애플리케이션 프로세서를 포함할 수 있다.

카메라 애플리케이션을 실행할 때, 프로세서(104)는 이미지 센서들(101 또는 102)을 참조하여 하나 이상의 동작들을 수행하도록 이미지 신호 프로세서(112)에 지시하도록 구성될 수 있다. 예를 들어, 카메라 애플리케이션은 이미지 프레임들의 시퀀스를 포함하는 비디오가 하나 이상의 이미지 센서들(101 또는 102)로부터 캡처되고 프로세싱되는 비디오 프리뷰 디스플레이를 시작하기 위한 커맨드를 수신할 수 있다. 이미지 보정이 시퀀스 내의 하나 이상의 이미지 프레임들에 적용될 수 있다. 프로세서(104)에 의한 카메라 애플리케이션 외부의 명령들(108)의 실행은 또한 디바이스(100)로 하여금 임의의 수의 기능들 또는 동작들을 수행하게 할 수 있다. 일부 구현예들에서, 프로세서(104)는 디바이스(100)로 하여금 다수의 기능들 또는 동작들, 예컨대 본 명세서에 설명된 동작들을 수행하게 하도록 소프트웨어를 실행하는 능력에 부가하여 IC들 또는 다른 하드웨어(예컨대, 인공 지능(AI) 엔진(124))를 포함할 수 있다. 일부 다른 실시 형태들에서, 디바이스(100)는, 예컨대 설명된 기능 모두가 이미지 신호 프로세서(112)에서 구성될 때, 프로세서(104)를 포함하지 않는다.

일부 실시 형태들에서, 디스플레이(114)는 사용자 상호작용을 허용하고 및/또는 이미지 센서들(101 및 102)에 의해 캡처되는 이미지 프레임들의 프리뷰와 같은 아이템들을 사용자에게 제시하기 위한 하나 이상의 적절한 디스플레이들 또는 스크린들을 포함할 수 있다. 일부 양태들에서, 디스플레이(114)는 접촉 감지 디스플레이이다. I/O 컴포넌트들(116)은 사용자로부터 (커맨드들과 같은) 입력을 수신하고 디스플레이(114)를 통해 사용자에 출력을 제공하기 위한 임의의 적합한 메커니즘, 인터페이스, 또는 디바이스이거나 그것들을 포함할 수 있다. 예를 들어, I/O 컴포넌트들(116)은 그래픽 사용자 인터페이스(GUI), 키보드, 마우스, 마이크로폰, 스피커들, 압착가능한 베젤, 하나 이상의 버튼(예컨대, 전력 버튼), 슬라이더, 스위치 등을 포함할 수 있다(그러나 이에 제한되지 않음).

프로세서(104)를 통해 서로 커플링되는 것으로 도시되지만, 컴포넌트들(예컨대, 프로세서(104), 메모리(106), 이미지 신호 프로세서(112), 디스플레이(114), 및 I/O 컴포넌트들(116))은, 단순화를 위해 도시되지 않은 하나 이상의 로컬 버스들을 통하는 것과 같이, 다른 다양한 배열들로 서로 커플링될 수 있다. 이미지 신호 프로세서(112)가 프로세서(104)와 별개인 것으로 도시되어 있지만, 이미지 신호 프로세서(112)는 APU(application processor unit)이거나, SoC(system on chip)에 포함되거나, 또는 그렇지 않으면 프로세서(104)와 함께 포함되는 프로세서(104)의 코어일 수 있다. 본 개시내용의 양태들을 수행하기 위해 본 명세서의 예들에서 디바이스(100)가 참조되지만, 본 개시내용의 양태들을 모호하게 하는 것을 방지하기 위해 일부 디바이스 컴포넌트들이 도 1에 도시되지 않을 수 있다. 추가적으로, 다른 컴포넌트들, 컴포넌트들의 수들, 또는 컴포넌트들의 조합들은 본 개시내용의 양태들을 수행하기 위한 적절한 디바이스에 포함될 수 있다. 이와 같이, 본 개시내용은 디바이스(100)를 포함하는 특정 디바이스 또는 컴포넌트들의 구성에 제한되지 않는다.

오토 포커스(AF)(133)는 이미지 프레임을 분석하고, 대응하는 이미지 센서의 렌즈를 이동시키기 위해 포커스 포지션을 결정한다. AF(133)에 의해 결정되는 포커스 포지션은 이미지 품질에 영향을 미치는데, 이는 잘못된 포커스 포지션이 렌즈에 대해 설정되면, 생성된 이미지는 흐릿하기 때문이다. AF(133)에 대한 하나의 예시적인 기법은 콘트라스트 오토포커스(CAF)이며, 여기서 포커스 포지션(FV)이 몇몇 렌즈 스톱 포지션들에 대해 생성될 수 있고. 렌즈가 장면의 인-포커스 이미지를 캡처하기 위해 포커스 포지션 대 렌즈 스톱 포지션 커브의 피크에서의 포커스 포지션에 포지셔징될 수 있다. AF(133)에 대한 다른 예시적인 기법은 위상 검출 오토 포커스(phase detection auto focus, PDAF)이며, 여기서 AF(133)는 이미지 센서에 의해 캡처된 이미지 프레임으로부터 결정된 위상 차이를 사용하여 포커스 포지션을 추정하고 렌즈를 이동시켜 그러한 포커스 포지션에서 장면의 인-포커스 이미지를 캡처할 수 있다.

AF(133) 및 AEC(134)는 이미지 캡처 디바이스(100)의 사용자에 의한 "포인트-앤-슛(point-and-shoot)" 동작을 허용하도록 동작한다. AF(133) 및 AEC(134)를 사용하여, 사용자는 렌즈 포지션을 수동으로 조정하거나 노출 레벨들을 수동으로 결정할 필요가 없다. AF(133) 및 AEC(134)는 사용자에 대한 사진촬영의 복잡성을 감소시킴으로써 이미지 프레임들의 캡처가 이러한 카메라 파라미터들의 수동 조정에 의한 것보다 훨씬 더 빠르게 하고 사용자 경험을 개선하게 한다. 이미지 캡처를 자동화하기 위한 하나의 예시적인 프로세스가 도 2에 도시되어 있다.

도 2는 하나 이상의 양태들에 따른 AF 및 AEC의 동작을 예시하는 블록도이다. AF(210) 동작은 시간(202)에 트리거로 시작된다. 트리거는, 예를 들어, 이미지 센서를 고려하여 장면의 이미지 프레임들의 프리뷰 스트림을 요청하는 카메라 애플리케이션의 로딩일 수 있다. 시간(202)에 트리거 후, 자동 노출 제어(AEC)(220)는 한 세트의 타깃 파라미터들을 충족하는 노출 레벨로 수렴하도록 시간(204)에서 동작한다. 시간(204) 동안, 오토 포커스(AF)(210)는 AEC가 수렴하여 노출 레벨에서 정착되도록 대기한다. AEC(220)의 수렴 후, AF(210)는 시간(206)에서 동작하여 카메라의 렌즈를 조정하기 위해 포커스 포지션을 결정한다. 그러나, 시간(204) 후의 수렴된 노출 레벨은 AF(210)에 대한 불량한 조건들을 생성하여 포커스 포지션을 식별할 수 있다. 그러한 불량한 조건들은 저조도, 저콘트라스트, 낮은 PDAF 신뢰도, 높은 센서 이득(높은 노이즈로 이어질 수 있음) 등을 포함할 수 있다. AEC(220)는 현재 관심 영역(ROI)에 대한 적절한 루마 타깃을 결정한다. 그러나, AEC(220) 및 AF(210)는, 특히 높은 동적 범위(HDR) 장면에서, 상이한 원하는 카메라 파라미터들을 가질 수 있다. 예를 들어, 윈도우의 전방에 사람이 서 있는 장면에서, AEC(220)가 하이라이트 배경 부분의 과노출을 피하기 위해 타깃 밝기를 감소시키기 위해 선호하는 강한 백라이트 조건이 있을 수 있다. 이는, 포커스 포인트에 대한 관심 영역, 즉 윈도우 전방에 있는 사람의 안면이 불량하게 조명되기 - 이는 장면의 그림자 영역에서의 불량한 콘트라스트 때문에 관심 영역 상에 포커싱하기 위한 포커스 포지션의 식별을 방해함 - 때문에 AF(210)에 대한 불량한 조건들을 생성할 수 있다.

본 개시내용의 실시 형태들은 AEC가 카메라의 동작 동안 상이한 타깃 파라미터들로 구성가능할 수 있는 메커니즘을 제공한다. 상이한 타깃 파라미터들은 AEC가 노출을 일시적으로 제어하게 하여 오토 포커스 동작을 개선할 수 있고 이어서 노출의 제어를 재개하게 하여 전체 이미지 품질을 개선할 수 있다. 일부 실시 형태들에서, AEC는 동작 상태 머신의 일부로서 구성된다. 예를 들어, 카메라 동작 동안, AF는 타깃으로부터 통계치들을 측정할 수 있고, AF는 AEC로 조정하고, 포커스 포인트 및/또는 노출 레벨에 대해 인터리빙 잠금/재개를 수행하여 까다로운 저조도 또는 HDR 장면들에서 더 양호한 AF 결과를 달성할 수 있다. 도 3은 하나 이상의 양태들에 따른 자동 노출 제어(AEC)와 오토 포커스(AF) 사이의 조정의 일 예를 예시하는 블록도이다.

오토 포커스(AF)(320)와 자동 노출 제어(AEC)(330) 사이의 통신은 AEC(330)가 AF에 대한 관심 영역에서 이미지 조건들을 개선시키도록, AF가 포커스 포지션을 결정하게 하도록, 그리고 이어서 AEC(330)가 높은 전체 이미지 품질을 제공하는 노출 레벨로 수렴하게 하도록 동작하게 함으로써 이미지 품질을 개선할 수 있다. AEC(330)는 노출 레벨을 결정하기 위해 둘 이상의 세트들의 타깃 파라미터들을 사용하여 구성될 수 있는데, 제1 세트의 타깃 파라미터들은 시간(304) 동안의 사용을 위해 장면의 관심 영역에서 (예컨대, 관심 영역에서 밝기 및/또는 콘트라스트를 개선함으로써) 포커스를 개선하기 위한 제1 노출 레벨을 결정하고, 제2 세트의 타깃 파라미터들은 시간(308) 동안의 사용을 위해 전체 이미지 외관을 개선하기 위한 제2 노출 레벨을 결정한다.

AF(320) 동작은 트리거(322)로 시작된다. 트리거(322)는, 예를 들어, 이미지 센서를 고려하여 장면의 이미지 프레임들의 프리뷰 스트림을 요청하는 카메라 애플리케이션의 로딩일 수 있다. 트리거(322) 후, 하나 이상의 값들(예컨대, 통계치들)이 이미지 프레임 내의 관심 영역에 대해 계산될 수 있다. 값들은 루마 레벨, 콘트라스트 값, PDAF 포커스 결정의 신뢰도 레벨, 및/또는 센서 레벨을 포함할 수 있다. 관심 영역(ROI)은 이미지 프레임 상의 사용자 터치 포인트, 결정된 돌출(saliency) 값, 눈 추적을 통해 결정된 바와 같은 디스플레이를 관찰하는 사용자의 시선, 이미지 프레임의 중심, 및/또는 검출된 객체(예컨대, 안면) 중 하나 이상에 기초하여 결정될 수 있다. ROI 내의 이미지 조건들은 값들에 기초하여 결정될 수 있다. 예를 들어, ROI 내에서의 AF 동작에 대해 불량한 조건들이 존재하는지 여부를 결정하기 위한 값들에 기초하여 하나 이상의 조건들(예컨대, 규칙들)이 평가될 수 있다. 일 예에서, 루마 통계치들은, 평균 루마 값이 AF(320)에 대해 불량한 조건들이 존재하는 것을 나타내는 임계치보다 낮은지 여부를 결정하기 위해, ROI에 대해 결정될 수 있다. 기간(302) 동안 불량한 AF 조건들이 식별될 때, AF(320)는, 예컨대, 이미지 신호 프로세서를 통해, AEC(330)로 통신하여, AEC 수렴을 수행하여 ROI 내의 평균 루마 값(예컨대, 밝기)을 증가시킬 수 있다.

시간(304)에, AEC(330)는 ROI에 대한 포커스 포지션의 AF(320)의 결정을 개선하는 방식으로 ROI를 개선하기 위해 제1 세트의 타깃 파라미터들을 사용하여 동작한다. 기간(304) 동안, AF(320)는 AEC(330)가 정착되도록 대기한다. 일부 실시 형태들에서, AF(320)는 소정 기간 후에 기간(306)의 오토포커스 동작을 시작한다. 일부 실시 형태들에서, AF(320)는 AEC(330)가 수렴 조건에 도달한 후에 기간(306)의 오토포커스 동작을 시작한다. 일부 실시 형태들에서, AF(320)는, AEC(330)가 오토포커스 동작을 시작하기 위해 AF(320)로 통신할 때 기간(306)의 오토포커스 동작을 시작한다.

기간(306) 동안, AF(320)는 AEC가 기간(304) 동안 결정된 제1 노출 레벨에서 잠금되는 동안 오토포커싱에 의해 포커스 포지션을 결정한다. 일부 실시 형태들에서, AEC(330)는 소정 기간 후에 제2 세트의 타깃 파라미터들을 사용하여 새로운 AEC 동작을 시작한다. 일부 실시 형태들에서, AEC(330)는 AF(320)가 수렴 조건에 도달한 후에 제2 세트의 타깃 파라미터들을 사용하여 새로운 AEC 동작을 시작한다. 일부 실시 형태들에서, AEC(330)는 AF(320)가 새로운 AEC 동작을 시작하도록 AEC(330)로 통신한 후에 제2 세트의 타깃 파라미터들을 사용하여 새로운 AEC 동작을 시작한다.

기간(308) 동안, AEC(330)는 이미지 외관을 개선하기 위해 제2 세트의 타깃 파라미터들을 충족하는 노출 레벨을 결정하기 위해 제2 세트의 타깃 파라미터들을 사용하여 동작한다. 이러한 AEC 동작 동안, AF(320)는 포커스 포지션을 잠금하고, AEC(330)는 제2 세트의 타깃 파라미터들을 사용하여 계속 수렴한다. 장면은 기간(308) 동안 계속 변경될 수 있고, AEC(330)는 제2 세트의 타깃 파라미터들을 사용하여 수렴하는 것에 응답하여 계속 조정된다. 예를 들어, 장면 내의 조명이 턴온되어, AEC(330)가 새로운 광을 보상하기 위해 노출 레벨을 조정하게 할 수 있다. 기간(308) 동안, 알고리즘이 재시작될 수 있고 시간(302)으로 복귀할 수 있는 시간(310)에 장면 변화가 검출될 수 있다. 포커스 포지션은 AF(320) 동작이 디스에이블된 기간(308) 동안 잠금된 상태로 유지될 수 있다. 이미지 프레임들은 시간(308) 동안 ISP로부터 계속 생성될 수 있고, 이미지 캡처 디바이스 상에서 실행되는 카메라 애플리케이션의 프리뷰 디스플레이에 출력될 수 있다. 스냅숏 이미지 프레임은, 예컨대, 이미지 캡처를 요청하기 위해 셔터를 누르는 사용자 입력에 응답하여, 기간(308) 동안 캡처될 수 있다. 셔터가 다른 기간들(302, 304, 306, 또는 310) 동안 눌려지는 경우, 셔터에 응답한 스냅숏 이미지 프레임의 캡처는 시간(308)까지 지연될 수 있다.

도 3을 참조하여 설명된 동작들은 이미지 신호 프로세서에서 잠금-및-재개 상태 머신을 사용하여 구성될 수 있으며, 여기서 포커스 포지션을 기간(304) 및 기간(308)에서 잠금하고 포커스 포지션 결정을 기간(306)에서 재개하기 위한 그리고 노출 레벨을 기간(306)에서 잠금하고 노출 레벨 결정을 기간들(304, 308)에서 재개하기 위한 AF(320)에서의 상태들이 있다.

AF 동작들을 개선하기 위해 2개의 AEC 동작에 의한 이미지 신호 프로세싱을 위한 방법이 도 4a에 도시되어 있다. 도 4a는 하나 이상의 양태들에 따른 2개의 AEC 동작들을 사용하는 이미지 신호 프로세싱의 방법을 예시하는 흐름도이다. 도 4a는 오토 포커스(AF) 성능을 개선하기 위해 제1 노출 레벨을 결정하도록 제1 세트의 타깃 파라미터들로 제1 자동 노출 제어(AEC) 동작을 수행하는 것으로 블록(402)에서 시작한다. 예를 들어, 타깃 파라미터들은 장면에서 식별된 관심 영역에 대한 증가된 평균 루마 값을 포함할 수 있다.

블록(404)에서, 제1 노출 레벨에서, 예컨대, AF 동작의 완료까지 잠금된 제1 노출 레벨에 의해, 제1 오토 포커스(AF) 동작이 수행된다. 블록(402)에서 결정된 잠금된 노출 레벨은 장면 내의 관심 영역 내에 추가 디테일을 제공할 수 있다. 예를 들어, 관심 영역이 그림자 영역 내에 있는 경우, 블록(402)에서 결정된 더 높은 노출 레벨은 그림자 영역 내에서 디테일을 증가시킬 수 있다. 다른 예로서, 관심 영역이 하이라이트 영역 내에 있는 경우, 블록(402)에서 결정된 더 낮은 노출 레벨은 하이라이트 영역 내에서 디테일을 증가시킬 수 있다.

블록(406)에서, 이미지 외관을 개선하기 위해 제2 노출 레벨을 결정하도록 제2 세트의 타깃 파라미터들로 제2 AEC 동작이 수행된다. 제2 세트의 타깃 파라미터들은, 장면 내의 관심 영역에서 디테일이 손실되더라도, 전체 장면에 걸쳐 특정 평균 루마 값을 향해 수렴하는 것을 타깃으로 할 수 있다. 블록(404)에서 이미 결정된 포커스 거리에 의해, 전체 이미지 품질을 개선하기 위해 관심 영역 내의 디테일이 희생될 수 있다. 일부 실시 형태들에서, 블록(406)의 제2 AEC 동작 동안 AF 동작이 계속될 수 있다. 예를 들어, 포커스 거리에 대한 작은 변동들은 이미지 프레임의 외관을 유지하기 위해 PDAF 및/또는 CAF 알고리즘에 의해 이루어질 수 있다. AF가 포커스 포인트의 추적을 느슨하게 하는 경우, 장면 변화가 결정될 수 있고 방법(400)은 블록(402)으로 복귀하여 AF 및 AEC 동작들을 재시작한다. 일부 실시 형태들에서, 블록(406)의 제2 AEC 동작 동안 수행되는 AF 동작은, 레이저 보조 AF 시스템과 같은, 제2 AF 시스템을 통한 것일 수 있다.

블록(408)에서, 블록(402)으로부터 제1 노출 레벨에서 결정되었던 블록(404)의 AF 동작에 의해 결정된 포커스 포지션에 기초하여 블록(406)에서 결정된 제2 노출 레벨에서 이미지 프레임이 캡처될 수 있다. 이미지 프레임은, 스틸 이미지 프레임을 사진으로서 저장하고/하거나 송신하는, 그리고/또는 스틸 이미지 프레임들의 비디오 시퀀스를 저장하고/하거나 송신하는 카메라 애플리케이션에서 프리뷰 디스플레이의 일부로서 사용될 수 있다.

일부 장면들에서, 조건들은 도 3에 도시된 바와 같이 추가적인 AEC 동작 없이 ROI 내의 포커스 포지션을 결정하기에 충분할 수 있다. 그러한 조건들에서, 기간(302) 후의 이미지 신호 프로세서는 도 2의 시간들(202, 204, 206, 208)에 대응하는 알고리즘을 실행할 수 있다. 이미지 조건들에 따라 하나의 AEC와 둘의 AEC 동작들 사이에서 스위칭하기 위한 이미지 신호 프로세싱을 위한 방법이 도 4b에 도시되어 있다.

도 4b는 하나 이상의 양태들에 따른 2개의 AEC 동작들을 사용하는 이미지 신호 프로세싱의 방법을 예시하는 흐름도이다. 방법(420)의 블록(410)에서, 하나 이상의 통계치들이 이미지 센서로부터 획득된 이미지 프레임 내의 관심 영역(ROI)에 대해 결정된다. 블록(412)에서, 통계치들은 불량한 AF 동작을 나타내는 하나 이상의 조건들이 만족되는지 여부를 결정하는 데 사용된다. 예를 들어, AF 동작에 대한 불량한 조건들은 관심 영역에서의 낮은 콘트라스트, 포커스 포지션에서의 낮은 신뢰도, 오토포커스(AF) 동작에서의 느린 수렴(예컨대, 속도 임계치 미만의 수렴 속도), 또는 관심 영역에서의 낮은 광 레벨들(예컨대, 광 임계치 미만의 광 레벨들) 중 하나 이상을 포함할 수 있다. 만일 그렇다면, 방법(420)은 도 4a에서와 같이 블록들(402, 404, 406, 408)의 동작들을 계속 수행한다. 블록(412)에서 조건들이 만족되지 않는 경우, 방법(420)은 단일 AEC 동작을 사용하여 이미지 프레임 캡처를 수행하기 위해 블록들(414, 416, 418)로 계속된다. 블록(414)에서, 제1 노출 레벨을 결정하기 위해 제1 AEC 동작이 수행된다. 블록(416)에서, 제1 AF 동작이 제1 노출 레벨에서 수행된다. 블록(416)에서, 이미지 프레임이 제1 노출 레벨에서 캡처되고, 포커스 포지션은 제1 노출 레벨에서 잠금된 동안 블록(416)의 AF 동작에 의해 결정된다.

다수의 오토 포커스(AF) 기법들이 이미지 캡처 디바이스 상에서 이용가능할 수 있다. 예를 들어, 비행 시간(Time-of-Flight, TOF) 센서와 같은 레이저 오토 포커스(AF)가 이미지 캡처 디바이스에서 이용가능할 수 있고 포커스 포지션을 개선하는 데 사용될 수 있다. 레이저 보조 AF의 하나의 이점은 그것이 타깃으로부터의 광에 의존하지 않고, 그 대신, 객체까지의 거리가 이어서 결정될 수 있는 광의 빔을 방출한다는 것이다. 레이저 보조 AF는 저조도 조건들에서 특히 유리할 수 있다. 2개의 AEC 동작들에 의한 이미지 프레임 캡처에서 레이저 보조 AF와 같은 제2 AF 시스템의 하나의 예시적인 사용이 도 5에 도시되어 있다.

도 5는 하나 이상의 양태들에 따른 자동 노출 제어(AEC)와 오토 포커스(AF) 사이의 조정의 일 예를 예시하는 블록도이다. 기간(502)은 기간(302)과 유사하게 동작할 수 있다. 기간(504)은 기간(304)과 유사하게 동작할 수 있다. 기간(506)은 기간(306)과 유사하게 동작할 수 있다. 기간(508)은 기간(308)과 유사하게 동작할 수 있다. 기간(510)은 기간(310)과 유사하게 동작할 수 있다. AF(520)는 AF(320)와 유사하게 구성될 수 있다. AEC(530)는 AF(320)와 유사하게 구성될 수 있다. 레이저 보조 AF와 같은 추가적인 AF 기법은 기간(508) 동안 적용되어 기간(508) 동안 일부 포커스 보정을 제공할 수 있고, 이는 기간(502)으로 동작을 복귀시키는 기간(510) 동안의 장면 변화 결정을 지연시키는 것을 허용할 수 있다. 기간(508)이 더 길게 연장되게 하는 것은, 스냅숏들이 시간(508)까지 지연될 때 사용자 셔터 누름에 대한 응답성을 개선할 수 있다. 일부 실시 형태들에서, 기간(508)은 제2 AF 동작이 임계 값을 초과하는 포커스 거리의 변화를 검출할 때 종료될 수 있다. 추가로, 기간(508) 내의 포커스 보정은, 캡처된 이미지 프레임이 ROI의 거리에 대해 정확한 포커스 포지션에서 캡처될 가능성을 증가시킴으로써 개선된 이미지 품질을 제공할 수 있다. 일부 실시 형태들에서, 제2 AEC 동작 동안 포커스 거리에 대한 조정들을 이루기 위해 기간(508)에서 사용되는 AF 기법은 활성 상태로 유지될 수 있다.

도 1 내지 도 5를 참조하여 설명된 하나 이상의 블록들(또는 동작들)은 도면들 중 다른 하나를 참조하여 설명된 하나 이상의 블록들(또는 동작들)과 조합될 수 있다는 것에 유의한다. 예를 들어, 도 2의 하나 이상의 블록들(또는 동작들)은 도 3 또는 도 5의 하나 이상의 블록들(또는 동작들)과 조합될 수 있다. 다른 예로서, 도 4a 또는 도 4b와 연관된 하나 이상의 블록들은 도 5와 연관된 하나 이상의 블록들과 조합될 수 있다. 추가적으로 또는 대안적으로, 도 1을 참조하여 위에서 설명된 하나 이상의 동작들은 도 2 내지 도 5를 참조하여 설명된 하나 이상의 동작들과 조합될 수 있다.

하나 이상의 양태들에 있어서, 이미지 신호 프로세싱을 지원하기 위한 기법들은 본 명세서의 다른 곳에서 설명된 하나 이상의 다른 프로세스들 또는 디바이스들과 관련하여 또는 하기에서 설명된 임의의 단일 양태 또는 양태들의 임의의 조합과 같은 추가적인 양태들을 포함할 수 있다. 일부 양태들에서, 이미지 신호 프로세싱을 지원하는 것은 이미지 센서 및 이미지 신호 프로세서를 포함하는 장치를 포함할 수 있다. 장치는 제1 노출 레벨을 결정하기 위해 제1 세트의 타깃 파라미터들로 제1 자동 노출 제어(AEC)를 수행하는 단계; 제1 노출 레벨에서 오토 포커스(AF)를 수행하는 단계; 및/또는 제2 노출 레벨을 결정하기 위해 제2 세트의 타깃 파라미터들로 제2 자동 노출 제어(AEC)를 수행하는 단계를 포함하는 단계들을 수행하도록 추가로 구성된다. 부가적으로, 그 장치는 본 명세서에서 설명되는 바와 같은 하나 이상의 양태들에 따라 수행 또는 동작할 수 있다. 일부 구현예들에서, 장치는 UE와 같은 무선 디바이스를 포함한다. 일부 구현예들에서, 장치는 적어도 하나의 프로세서, 및 프로세서에 커플링된 메모리를 포함할 수 있다. 프로세서는 장치에 대해 본 명세서에서 설명된 동작들을 수행하도록 구성될 수 있다. 일부 다른 구현예들에서, 장치는 프로그램 코드가 기록된 비일시적 컴퓨터 판독가능 매체를 포함할 수 있고, 프로그램 코드는 컴퓨터로 하여금 장치를 참조하여 본 명세서에서 설명된 동작들을 수행하게 하기 위해 컴퓨터에 의해 실행가능할 수 있다. 일부 구현예들에서, 장치는 본 명세서에서 설명된 동작들을 수행하도록 구성된 하나 이상의 수단들을 포함할 수 있다. 일부 구현예들에서, 무선 통신의 방법은 장치를 참조하여 본 명세서에서 설명된 하나 이상의 동작들을 포함할 수 있다.

하나 이상의 양태들에서, 이미지 캡처 및/또는 이미지 프로세싱을 지원하기 위한 기법들은, 본 명세서의 다른 곳에서 설명된 하나 이상의 다른 프로세스들 또는 디바이스들과 관련하여 또는 하기에서 설명된 임의의 단일 양태 또는 양태들의 임의의 조합과 같은 추가 양태들을 포함할 수 있다. 제1 양태에서, 이미지 캡처 및/또는 이미지 프로세싱을 지원하는 것은 동작들을 수행하도록 구성된 장치를 포함하고, 동작들은 제1 노출 레벨을 결정하기 위해 제1 세트의 타깃 파라미터들로 제1 자동 노출 제어 동작을 수행하는 것; 제1 포커스 포지션을 결정하기 위해 제1 노출 레벨에서 제1 오토 포커스 동작을 수행하는 것; 제1 오토 포커스 동작을 수행한 후에 제2 노출 레벨을 결정하기 위해 제2 세트의 타깃 파라미터들로 제2 자동 노출 제어 동작을 수행하는 것; 및 제2 노출 레벨에서 제1 이미지 프레임을 캡처하는 것을 포함한다. 부가적으로, 장치는 하기에서 설명되는 바와 같은 하나 이상의 양태들에 따라 수행 또는 동작할 수 있다. 일부 구현예들에서, 장치는 UE와 같은 무선 디바이스를 포함한다. 일부 구현예들에서, 장치는 적어도 하나의 프로세서, 및 프로세서에 커플링된 메모리를 포함할 수 있다. 프로세서는 장치에 대해 본 명세서에서 설명된 동작들을 수행하도록 구성될 수 있다. 일부 다른 구현예들에서, 장치는 프로그램 코드가 기록된 비일시적 컴퓨터 판독가능 매체를 포함할 수 있고, 프로그램 코드는 컴퓨터로 하여금 장치를 참조하여 본 명세서에서 설명된 동작들을 수행하게 하기 위해 컴퓨터에 의해 실행가능할 수 있다. 일부 구현예들에서, 장치는 본 명세서에서 설명된 동작들을 수행하도록 구성된 하나 이상의 수단들을 포함할 수 있다. 일부 구현예들에서, 이미지 프로세싱 및/또는 이미지 캡처의 방법은 장치를 참조하여 본 명세서에서 설명된 하나 이상의 동작들을 포함할 수 있다.

제2 양태에서, 제1 양태와 조합하여, 제1 세트의 타깃 파라미터들로 제1 자동 노출 제어 동작을 수행하는 것은 장면의 관심 영역에서 포커스를 개선하기 위해 제1 노출 레벨을 결정한다.

제3 양태에서, 제1 양태 또는 제2 양태 중 하나 이상과 조합하여, 제1 자동 노출 제어(AEC) 동작을 수행하는 것은 타깃 노출을 상승시키는 것, 타깃 노출을 감소시키는 것, 센서 이득을 상승시키는 것, 센서 이득을 감소시키는 것, 노출 지속기간을 증가시키는 것 및/또는 노출 지속기간을 감소시키는 것 중 적어도 하나를 포함한다.

제4 양태에서, 제1 양태 내지 제3 양태 중 하나 이상과 조합하여, 장치는 동작들을 수행하도록 추가로 구성되고, 동작들은 제1 세트의 타깃 파라미터들로 제1 자동 노출 제어 동작을 수행하기 전에 관심 영역의 특성을 나타내는 값을 결정하는 것; 및 값이 조건을 만족하는지 여부를 결정하는 것을 포함하고, 제1 세트의 타깃 파라미터들로 제1 자동 노출 제어 동작을 수행하는 것은 값이 조건을 만족하는지 여부를 결정하는 것에 응답한다.

제5 양태에서, 제1 양태 내지 제4 양태 중 하나 이상과 조합하여, 값이 조건을 만족하는지 여부를 결정하는 것은 값이 콘트라스트 임계치 미만의 관심 영역 내의 콘트라스트, 포커스 포지션에서의 낮은 신뢰도, 속도 임계치 미만인 오토포커스 동작의 수렴 속도, 또는 광 임계치 미만인 관심 영역 내의 광 레벨들 중 하나 이상을 나타내는지 여부를 결정하는 것을 포함한다.

제6 양태에서, 제1 양태 내지 제5 양태 중 하나 이상과 조합하여, 관심 영역의 특성을 나타내는 값을 결정하는 것은 루마, 콘트라스트, PDAF 신뢰도 레벨, 또는 센서 레벨 중 적어도 하나를 결정하는 것을 포함한다.

제7 양태에서, 제1 양태 내지 제6 양태 중 하나 이상과 조합하여, 장치는 동작들을 수행하도록 추가로 구성되고, 동작들은 제2 자동 노출 제어 동작을 수행하는 동안 제2 오토 포커스 동작을 수행하는 것을 포함한다.

제8 양태에서, 제1 양태 내지 제7 양태 중 하나 이상과 조합하여, 제2 오토 포커스 동작을 수행하는 것은 레이저 보조 오토 포커스 동작을 수행하는 것을 포함한다.

제9 양태에서, 제1 양태 내지 제8 양태 중 하나 이상과 조합하여, 장치는 동작들을 수행하도록 추가로 구성되고, 동작들은 제2 자동 노출 제어 동작을 수행한 후에 장면 변화를 검출하는 것; 및 장면 변화를 검출하는 것에 응답하여, 제1 자동 노출 제어 동작을 수행하는 것 및 제1 오토 포커스 동작을 수행하는 것을 반복하는 것을 포함한다.

제10 양태에서, 제1 양태 내지 제9 양태 중 하나 이상과 조합하여, 장치는 동작들을 수행하도록 추가로 구성되고, 동작들은 적어도 하나의 프로세서에 의해, 제1 자동 노출 제어 동작에 관한 제1 정보를 수신하는 것; 적어도 하나의 프로세서에 의해, 제1 정보에 기초하여 제1 오토 포커스 동작의 수행을 제어하는 것; 적어도 하나의 프로세서에 의해, 제1 오토 포커스 동작에 관한 제2 정보를 수신하는 것; 및 적어도 하나의 프로세서에 의해, 제2 정보에 기초하여 제2 자동 노출 제어 동작의 수행을 제어하는 것을 포함한다.

제11 양태에서, 제1 양태 내지 제10 양태 중 하나 이상과 조합하여, 장치는 카메라를 추가로 포함한다.

하나 이상의 양태들에서, 이미지 캡처 및/또는 이미지 프로세싱을 지원하기 위한 기법들은, 본 명세서의 다른 곳에서 설명된 하나 이상의 다른 프로세스들 또는 디바이스들과 관련하여 또는 상기에서 또는 하기에서 설명된 임의의 단일 양태 또는 양태들의 임의의 조합과 같은 추가 양태들을 포함할 수 있다. 제12 양태에서, 이미지 캡처 및/또는 이미지 프로세싱을 지원하는 것은 동작들을 수행하도록 구성된 장치를 포함하고, 동작들은 카메라로부터 제1 이미지 프레임을 수신하는 것; 제1 이미지 프레임의 관심 영역에 관한 통계치를 결정하는 것; 통계치가 조건을 만족하는지 여부를 결정하는 것; 통계치가 조건을 만족하는 경우: 제1 노출 레벨을 결정하기 위해 제1 세트의 타깃 파라미터들로 제1 자동 노출 제어 동작을 수행하는 것; 제1 포커스 포지션을 결정하기 위해 제1 노출 레벨에서 제1 오토 포커스 동작을 수행하는 것; 제1 오토 포커스 동작을 수행한 후에 제2 노출 레벨을 결정하기 위해 제2 세트의 타깃 파라미터들로 제2 자동 노출 제어 동작을 수행하는 것; 제2 자동 노출 제어 동작을 수행하는 동안 한 세트의 이미지 프레임들을 수신하는 것; 한 세트의 이미지 프레임들 중 2개의 이미지 프레임들 사이의 장면 변화를 검출하는 것; 및 장면 변화를 검출한 후, 제1 이미지 프레임을 수신하는 동작, 통계치를 결정하는 동작, 및 통계치가 조건을 만족하는지 여부를 결정하는 동작을 반복하는 것을 포함한다. 부가적으로, 장치는 상기에서 또는 하기에서 설명되는 바와 같은 하나 이상의 양태들에 따라 수행 또는 동작할 수 있다. 일부 구현예들에서, 장치는 UE와 같은 무선 디바이스를 포함한다. 일부 구현예들에서, 장치는 적어도 하나의 프로세서, 및 프로세서에 커플링된 메모리를 포함할 수 있다. 프로세서는 장치에 대해 본 명세서에서 설명된 동작들을 수행하도록 구성될 수 있다. 일부 다른 구현예들에서, 장치는 프로그램 코드가 기록된 비일시적 컴퓨터 판독가능 매체를 포함할 수 있고, 프로그램 코드는 컴퓨터로 하여금 장치를 참조하여 본 명세서에서 설명된 동작들을 수행하게 하기 위해 컴퓨터에 의해 실행가능할 수 있다. 일부 구현예들에서, 장치는 본 명세서에서 설명된 동작들을 수행하도록 구성된 하나 이상의 수단들을 포함할 수 있다. 일부 구현예들에서, 이미지 프로세싱 및/또는 이미지 캡처의 방법은 장치를 참조하여 본 명세서에서 설명된 하나 이상의 동작들을 포함할 수 있다.

제13 양태에서, 제1 양태 내지 제12 양태 중 하나 이상과 조합하여, 장치는 제2 자동 노출 제어 동작을 수행하는 동안 제2 오토 포커스 동작을 수행하도록 추가로 구성된다.

제14 양태에서, 제1 양태 내지 제13 양태 중 하나 이상과 조합하여, 제2 오토 포커스 동작을 수행하는 것은 레이저 보조 오토 포커스 동작을 수행하는 것을 포함한다.

제15 양태에서, 제1 양태 내지 제14 양태 중 하나 이상과 조합하여, 장치는 제2 오토 포커스 동작을 수행하는 동안 제2 노출 레벨에서 제2 이미지 프레임을 캡처하도록 추가로 구성된다.

제16 양태에서, 제1 양태 내지 제15 양태 중 하나 이상과 조합하여, 한 세트의 이미지 프레임들 중 2개의 이미지 프레임들 사이의 장면 변화를 검출하는 것은 레이저 보조 오토 포커스 동작의 포커스 거리의 변화가 거리 임계치를 초과한다고 결정하는 것을 포함한다.

당업자들은, 정보 및 신호들이 다양한 상이한 기법들 및 기술들 중 임의의 기법 및 기술을 사용하여 표현될 수 있다는 것을 이해할 것이다. 예컨대, 위의 설명 전반에 걸쳐 참조될 수 있는 데이터, 명령들, 커맨드들, 정보, 신호들, 비트들, 심볼들, 및 칩들은 전압들, 전류들, 전자기파들, 자기장들 또는 자기 입자들, 광학 필드들 또는 광학 입자들, 또는 이것들의 임의의 조합에 의해 표현될 수 있다.

도 1 내지 도 5에 대해 본 명세서에서 설명된 컴포넌트들, 기능 블록들, 및 모듈들은 다른 예들 중에서도 프로세서들, 전자 디바이스들, 하드웨어 디바이스들, 전자 컴포넌트들, 논리 회로들, 메모리들, 소프트웨어 코드들, 펌웨어 코드들, 또는 이것들의 임의의 조합을 포함한다. 소프트웨어는, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 디스크립션 언어, 또는 다른 용어로서 지칭되는지에 관계없이, 다른 예들 중에서도 명령들, 명령 세트들, 코드, 코드 세그먼트들, 프로그램 코드, 프로그램들, 서브프로그램들, 소프트웨어 모듈들, 애플리케이션, 소프트웨어 애플리케이션들, 소프트웨어 패키지들, 루틴들, 서브루틴들, 객체들, 실행파일들, 실행 스레드들, 절차들, 및/또는 기능들을 의미하도록 광범위하게 해석되어야 한다. 또한, 본 명세서에서 논의된 특징들은 특수 프로세서 회로를 통해, 실행가능 명령들을 통해, 또는 이것들의 조합들을 통해 구현될 수 있다.

당업자들은, 본 명세서에서 개시내용에 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 회로들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 그 둘의 조합들로서 구현될 수 있다는 것을 또한 인지할 것이다. 하드웨어와 소프트웨어의 이러한 상호교환가능성을 명확히 예시하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들, 및 단계들은 그것들의 기능 관점들에서 일반적으로 위에서 설명되었다. 이러한 기능이 하드웨어로 구현되는지, 또는 소프트웨어로 구현되는지 여부는 특정 애플리케이션 및 전체 시스템에 대해 부과된 설계 제한들에 의존한다. 당업자들은 설명된 기능을 각각의 특정 애플리케이션에 대해 다양한 방식들로 구현할 수 있지만, 그러한 구현 결정들이 본 개시내용의 범위로부터 벗어나게 하는 것으로 해석되지는 않아야 한다. 당업자들은 또한, 본 명세서에서 설명되는 컴포넌트들, 방법들 또는 상호작용들의 순서 또는 조합이 단지 예시들이고, 본 개시내용의 다양한 양태들의 컴포넌트들, 방법들 또는 상호작용들이 본 명세서에서 예시되고 설명되는 것들 이외의 다른 방식들로 조합 또는 수행될 수 있다는 것을 쉽게 인지할 것이다.

본 명세서에서 개시된 구현예들과 관련하여 설명된 다양한 예시적인 로직들, 논리 블록들, 모듈들, 회로들 및 알고리즘 프로세스들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 그 둘의 조합들로서 구현될 수 있다. 하드웨어 및 소프트웨어의 상호교환가능성은 기능의 관점에서 일반적으로 설명되었고, 위에서 설명된 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 프로세스들로 예시된다. 그러한 기능이 하드웨어 또는 소프트웨어로 구현되는지 여부는 특정 애플리케이션 및 전체 시스템에 부과된 설계 제약들에 의존한다.

본 명세서에서 개시된 양태들과 관련하여 설명된 다양한 예시적인 로직들, 논리 블록들, 모듈들 및 회로들을 구현하는 데 사용된 하드웨어 및 데이터 프로세싱 장치는 범용 단일- 또는 다중-칩 프로세서, DSP(digital signal processor), ASIC(application specific integrated circuit), FPGA(field-programmable gate array) 또는 다른 프로그래밍가능 논리 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 본 명세서에서 설명된 기능들을 수행하도록 설계된 이것들의 임의의 조합으로 구현 또는 수행될 수 있다. 범용 프로세서는 마이크로프로세서, 또는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수 있다. 일부 구현예들에서, 프로세서는 컴퓨팅 디바이스들의 조합, 이를테면 DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성으로서 구현될 수 있다. 일부 구현예들에서, 특정 프로세스들 및 방법들은 주어진 기능에 특정한 회로에 의해 수행될 수 있다.

하나 이상의 양태들에서, 설명된 기능들은, 본 명세서에 개시된 구조들 및 그것들의 구조적 등가물들을 포함하는, 하드웨어, 디지털 전자 회로, 컴퓨터 소프트웨어, 펌웨어로, 또는 이것들의 임의의 조합으로 구현될 수 있다. 본 명세서에서 설명된 청구대상의 구현예들은 또한, 데이터 프로세싱 장치에 의한 실행을 위해, 또는 데이터 프로세싱 장치의 동작을 제어하기 위해 컴퓨터 저장 매체들에 인코딩된 하나 이상의 컴퓨터 프로그램들, 즉, 컴퓨터 프로그램 명령들의 하나 이상의 모듈들로서 구현될 수 있다.

소프트웨어로 구현되는 경우, 기능들은 컴퓨터 판독가능 매체 상에 하나 이상의 명령들 또는 코드로서 저장되거나 이를 통해 송신될 수 있다. 본 명세서에서 개시된 방법 또는 알고리즘의 프로세스들은, 컴퓨터 판독가능 매체에 상주할 수 있는 프로세서-실행가능 소프트웨어 모듈로 구현될 수 있다. 컴퓨터 판독가능 매체들은, 일 장소에서 다른 장소로의 컴퓨터 프로그램의 전달을 가능하게 할 수 있는 임의의 매체를 포함한 통신 매체들 및 컴퓨터 저장 매체들 둘 모두를 포함한다. 저장 매체들은 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 매체들일 수 있다. 제한이 아닌 예로서, 그러한 컴퓨터 판독가능 매체들은 RAM(random-access memory), ROM(read-only memory), EEPROM(electrically erasable programmable read-only memory), CD-ROM 또는 다른 광학 디스크 저장부, 자기 디스크 저장부 또는 다른 자기 저장 디바이스들, 또는 명령들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 저장하는 데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 연결수단(connection)이 컴퓨터 판독가능 매체로 적절히 지칭될 수 있다. 본 명세서에서 사용된 디스크(disk) 및 디스크(disc)는 CD(compact disc), 레이저 디스크(disc), 광학 디스크(disc), DVD(digital versatile disc), 플로피 디스크(disk) 및 블루-레이 디스크(disc)를 포함하며, 여기서 디스크(disk)들은 일반적으로 데이터를 자기적으로 재생하지만, 디스크(disc)들은 레이저를 이용하여 광학적으로 데이터를 재생한다. 상기의 것들의 조합들이 또한 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다. 추가적으로, 방법 또는 알고리즘의 동작들은, 컴퓨터 프로그램 제품에 통합될 수 있는 머신 판독가능 매체 및 컴퓨터 판독가능 매체에 코드들 및 명령들 중 하나 또는 이것들의 임의의 조합 또는 이것들의 세트로서 상주할 수 있다.

본 개시내용에서 설명된 구현예들에 대한 다양한 수정들은 당업자들에게 자명할 수 있으며, 본 명세서에서 정의된 일반적인 원리들은 본 개시내용의 사상 또는 범위를 벗어나지 않으면서 일부 다른 구현예들에 적용될 수 있다. 따라서, 청구항들은 본 명세서에 나타낸 구현예들로 한정되도록 의도되지 않으며, 본 명세서에 개시된 본 개시, 원리들 및 신규한 특징들과 부합하는 최광의 범위를 부여받아야 한다.

추가적으로, 당업자는, "상부" 및 "하부"라는 용어들이 때때로 도면들의 설명의 용이성을 위해 사용되며, 적절히 배향된 페이지 상에서 도면의 배향에 대응하는 상대적 위치들을 표시하며, 구현되는 바와 같은 임의의 디바이스의 적절한 배향을 반영하지 않을 수 있음을 용이하게 인식할 것이다.

별개의 구현예들의 맥락으로 본 명세서에서 설명되는 특정 특징들은 또한 단일 구현예에서 조합하여 구현될 수 있다. 반대로, 단일 구현의 맥락으로 설명된 다양한 특징들은 또한 다수의 구현예들에서 별개로 또는 임의의 적합한 하위조합으로 구현될 수 있다. 게다가, 특징들이 특정한 조합들로 작용하는 것으로 앞서 설명되고 심지어 초기에 이와 같이 청구될지라도, 일부 경우들에서, 청구된 조합으로부터의 하나 이상의 특징들은 그 조합으로부터 제거될 수 있고, 청구된 조합은 하위조합 또는 하위조합의 변화에 관련될 수 있다.

유사하게, 동작들이 특정한 순서로 도면들에 묘사되지만, 이것은, 바람직한 결과들을 달성하기 위해, 그러한 동작들이 도시된 특정 순서 또는 순차적인 순서로 수행되어야 하거나 모든 예시된 동작들이 수행되어야 하는 것을 요구하는 것으로서 이해되지는 않아야 한다. 또한, 도면들은 하나 이상의 예시적인 프로세스들을 흐름도의 형태로 개략적으로 묘사할 수 있다. 그러나, 묘사되지 않은 다른 동작들이 개략적으로 예시된 예시적인 프로세스들에 통합될 수 있다. 예컨대, 하나 이상의 추가적인 동작들은, 예시된 동작들 중 임의의 동작 이전에, 그 이후에, 그와 동시에, 또는 그들 사이에서 수행될 수 있다. 특정 환경들에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 게다가, 위에서 설명된 구현예들에서 다양한 시스템 컴포넌트들의 분리는 모든 구현예들에서 그러한 분리를 요구하는 것으로서 이해되지 않아야 하고, 설명된 프로그램 컴포넌트들 및 시스템들이 일반적으로 단일 소프트웨어 제품에 함께 통합되거나 다수의 소프트웨어 제품들에 패키징될 수 있다는 것이 이해되어야 한다. 추가적으로, 일부 다른 구현예들은 다음의 청구항들의 범위 내에 있다. 일부 경우들에서, 청구항들에 인용된 액션들은 상이한 순서로 수행되며 여전히 바람직한 결과들을 달성할 수 있다.

청구항들을 포함하여 본 명세서에서 사용된 바와 같이, 용어 "또는"은, 2 이상의 아이템들의 리스트에서 사용될 경우, 리스팅된 아이템들 중 임의의 아이템이 홀로 채용될 수 있거나 또는 리스팅된 아이템들 중 2 이상의 임의의 조합이 채용될 수 있음을 의미한다. 예를 들어, 구성요소가 컴포넌트 A, 컴포넌트 B, 또는 컴포넌트 C를 포함하는 것으로 설명되면, 구성요소는 A를 단독으로; B를 단독으로; C를 단독으로; A와 B를 조합하여; A와 C를 조합하여; B와 C를 조합하여; 또는 A와 B와 C를 조합하여 포함할 수 있다. 또한, 청구항들을 포함하여 본 명세서에서 사용된 바와 같이, "중 적어도 하나"에 의해 시작된 아이템들의 리스트에서 사용되는 바와 같은 "또는"은, 예를 들어, "A, B, 또는 C 중 적어도 하나"의 리스트가 A 또는 B 또는 C 또는 AB 또는 AC 또는 BC 또는 ABC(즉, A와 B와 C) 또는 이들의 임의의 조합에서의 이들 중 임의의 것을 의미하도록 하는 이접적 리스트를 표시한다. 용어 "실질적으로"는, 당업자에 의해 이해되는 바와 같이, 대체로 명시된 것이지만 반드시 전적으로 명시된 것은 아닌 것으로 정의된다(그리고 명시된 것을 포함함; 예컨대, 실질적으로 90도는 90도를 포함하고, 실질적으로 평행은 평행을 포함함). 임의의 개시된 구현예들에서, 용어 "실질적으로"는 특정된 것의 "[백분율] 이내"로 대체될 수 있으며, 여기서 백분율은 .1, 1, 5 또는 10%를 포함한다.

본 개시내용의 앞선 설명은 임의의 당업자가 본 개시내용을 사용하거나 또는 실시할 수 있도록 제공된다. 본 개시내용에 대한 다양한 수정들이 당업자들에게 용이하게 자명할 것이며, 본 명세서에서 정의된 일반적인 원리들은 본 개시내용의 사상 또는 범위를 벗어나지 않으면서 다른 변형들에 적용될 수 있다. 따라서, 본 개시내용은 본 명세서에서 설명된 예들 및 설계들로 제한되도록 의도되는 것이 아니라, 본 명세서에서 개시된 원리들 및 신규한 특징들과 일치하는 가장 넓은 범위에 부합할 것이다.

Claims (30)

1. 방법으로서,
   제1 노출 레벨을 결정하기 위해 제1 세트의 타깃 파라미터들로 제1 자동 노출 제어 동작을 수행하는 단계;
   제1 포커스 포지션을 결정하기 위해 상기 제1 노출 레벨에서 제1 오토 포커스 동작을 수행하는 단계;
   상기 제1 오토 포커스 동작을 수행한 후에 제2 노출 레벨을 결정하기 위해 제2 세트의 타깃 파라미터들로 제2 자동 노출 제어 동작을 수행하는 단계; 및
   상기 제2 노출 레벨에서 제1 이미지 프레임을 캡처하는 단계를 포함하는, 방법.
2. 제1항에 있어서, 상기 제1 세트의 타깃 파라미터들로 상기 제1 자동 노출 제어 동작을 수행하는 단계는 장면의 관심 영역에서 포커스를 개선하기 위해 상기 제1 노출 레벨을 결정하는, 방법.
3. 제2항에 있어서, 상기 제1 자동 노출 제어 동작을 수행하는 단계는 타깃 노출을 상승시키는 단계 또는 타깃 노출을 감소시키는 단계 중 적어도 하나를 포함하는, 방법.
4. 제1항에 있어서,
   상기 제1 세트의 타깃 파라미터들로 상기 제1 자동 노출 제어 동작을 수행하기 전에 관심 영역의 특성을 나타내는 값을 결정하는 단계; 및
   상기 값이 조건을 만족하는지 여부를 결정하는 단계를 추가로 포함하고,
   상기 제1 세트의 타깃 파라미터들로 상기 제1 자동 노출 제어 동작을 수행하는 단계는 상기 값이 상기 조건을 만족하는지 여부를 결정하는 것에 응답하는, 방법.
5. 제4항에 있어서, 상기 값이 상기 조건을 만족하는지 여부를 결정하는 단계는 상기 값이 콘트라스트 임계치 미만의 상기 관심 영역 내의 콘트라스트, 포커스 포지션에서의 낮은 신뢰도, 속도 임계치 미만인 오토포커스 동작의 수렴 속도, 또는 광 임계치 미만인 상기 관심 영역 내의 광 레벨들 중 하나 이상을 나타내는지 여부를 결정하는 단계를 포함하는, 방법.
6. 제4항에 있어서, 상기 관심 영역의 특성을 나타내는 상기 값을 결정하는 단계는 루마, 콘트라스트, PDAF 신뢰도 레벨, 또는 센서 레벨 중 적어도 하나를 결정하는 단계를 포함하는, 방법.
7. 제1항에 있어서,
   상기 제2 자동 노출 제어 동작을 수행하는 동안 제2 오토 포커스 동작을 수행하는 단계를 추가로 포함하는, 방법.
8. 제7항에 있어서, 상기 제2 오토 포커스 동작을 수행하는 단계는 레이저 보조 오토 포커스 동작을 수행하는 단계를 포함하는, 방법.
9. 제1항에 있어서,
   상기 제2 자동 노출 제어 동작을 수행한 후에 장면 변화를 검출하는 단계; 및
   상기 장면 변화를 검출하는 것에 응답하여, 상기 제1 자동 노출 제어 동작을 수행하는 것 및 상기 제1 오토 포커스 동작을 수행하는 것을 반복하는 단계를 추가로 포함하는, 방법.
10. 제1항에 있어서,
    적어도 하나의 프로세서에 의해, 상기 제1 자동 노출 제어 동작에 관한 제1 정보를 수신하는 단계;
    적어도 하나의 프로세서에 의해, 상기 제1 정보에 기초하여 상기 제1 오토 포커스 동작의 수행을 제어하는 단계;
    적어도 하나의 프로세서에 의해, 상기 제1 오토 포커스 동작에 관한 제2 정보를 수신하는 단계; 및
    적어도 하나의 프로세서에 의해, 상기 제2 정보에 기초하여 상기 제2 자동 노출 제어 동작의 수행을 제어하는 단계를 추가로 포함하는, 방법.
11. 장치로서,
    프로세서 판독가능 코드를 저장하는 메모리, 및
    상기 메모리에 커플링된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,
    제1 노출 레벨을 결정하기 위해 제1 세트의 타깃 파라미터들로 제1 자동 노출 제어 동작을 수행하고;
    제1 포커스 포지션을 결정하기 위해 상기 제1 노출 레벨에서 제1 오토 포커스 동작을 수행하고;
    상기 제1 오토 포커스 동작을 수행한 후에 제2 노출 레벨을 결정하기 위해 제2 세트의 타깃 파라미터들로 제2 자동 노출 제어 동작을 수행하고; 그리고
    상기 제2 노출 레벨에서 제1 이미지 프레임을 캡처하도록 구성되는, 장치.
12. 제11항에 있어서, 상기 제1 세트의 타깃 파라미터들로 상기 제1 자동 노출 제어 동작을 수행하는 것은 장면의 관심 영역에서 밝기를 증가시킴으로써 상기 장면의 관심 영역에서 포커스를 개선하기 위해 상기 제1 노출 레벨을 결정하는, 장치.
13. 제12항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 제1 세트의 타깃 파라미터들로 상기 제1 자동 노출 제어 동작을 수행하기 전에 상기 관심 영역의 특성을 나타내는 값을 결정하고; 그리고
    상기 값이 조건을 만족하는지 여부를 결정하도록 추가로 구성되고,
    상기 적어도 하나의 프로세서는 상기 값이 상기 조건을 만족하는지 여부를 결정하는 것에 응답하여 상기 제1 세트의 타깃 파라미터들로 상기 제1 자동 노출 제어 동작을 수행하는, 장치.
14. 제13항에 있어서, 상기 값이 상기 조건을 만족하는지 여부를 결정하는 것은 상기 값이 상기 관심 영역 내의 낮은 콘트라스트, 포커스 포지션에서의 낮은 신뢰도, 속도 임계치 미만인 오토포커스 동작의 수렴 속도, 또는 광 임계치 미만인 상기 관심 영역 내의 광 레벨 중 하나 이상을 나타내는지 여부를 결정하는 것을 포함하는, 장치.
15. 제11항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 제2 자동 노출 제어 동작을 수행하는 동안 제2 오토 포커스 동작을 수행하도록 추가로 구성되는, 장치.
16. 제15항에 있어서, 상기 제2 오토 포커스 동작을 수행하는 것은 레이저 보조 오토 포커스 동작을 수행하는 것을 포함하는, 장치.
17. 제11항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 제2 자동 노출 제어 동작을 수행한 후에 장면 변화를 검출하고; 그리고
    상기 장면 변화를 검출하는 것에 응답하여, 상기 제1 자동 노출 제어 동작을 수행하는 것 및 상기 제1 오토 포커스 동작을 수행하는 것을 반복하도록 추가로 구성되는, 장치.
18. 제11항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 제1 자동 노출 제어 동작에 관한 제1 정보를 수신하고;
    상기 제1 정보에 기초하여 상기 제1 오토 포커스 동작의 수행을 제어하고;
    상기 제1 오토 포커스 동작에 관한 제2 정보를 수신하고; 그리고
    상기 제2 정보에 기초하여 상기 제2 자동 노출 제어 동작의 수행을 제어하도록 추가로 구성되는, 장치.
19. 명령들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 명령들은, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 동작들을 수행하게 하고, 상기 동작들은,
    제1 노출 레벨을 결정하기 위해 제1 세트의 타깃 파라미터들로 제1 자동 노출 제어 동작을 수행하는 것;
    제1 포커스 포지션을 결정하기 위해 상기 제1 노출 레벨에서 제1 오토 포커스 동작을 수행하는 것;
    상기 제1 오토 포커스 동작을 수행한 후에 제2 노출 레벨을 결정하기 위해 제2 세트의 타깃 파라미터들로 제2 자동 노출 제어 동작을 수행하는 것; 및
    상기 제2 노출 레벨에서 제1 이미지 프레임을 캡처하는 것을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
20. 제19항에 있어서, 제1 세트의 타깃 파라미터들로 제1 자동 노출 제어 동작을 수행하는 것은 장면의 관심 영역에서 밝기를 증가시킴으로써 상기 장면의 관심 영역에서 포커스를 개선하기 위해 제1 노출 레벨을 결정하는, 비일시적 컴퓨터 판독가능 저장 매체.
21. 제19항에 있어서, 상기 명령들은, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 추가 동작들을 수행하게 하고, 상기 추가 동작들은,
    상기 제1 세트의 타깃 파라미터들로 상기 제1 자동 노출 제어 동작을 수행하기 전에 관심 영역의 특성을 나타내는 값을 결정하는 것; 및
    상기 값이 조건을 만족하는지 여부를 결정하는 것을 포함하고,
    상기 제1 세트의 타깃 파라미터들로 상기 제1 자동 노출 제어 동작을 수행하는 것은 상기 값이 상기 조건을 만족하는지 여부를 결정하는 것에 응답하는, 비일시적 컴퓨터 판독가능 저장 매체.
22. 제19항에 있어서, 상기 명령들은, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 추가 동작들을 수행하게 하고, 상기 추가 동작들은,
    상기 제2 자동 노출 제어 동작을 수행하는 동안 제2 오토 포커스 동작을 수행하는 것을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
23. 제22항에 있어서, 상기 명령들은, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 추가 동작들을 수행하게 하고, 상기 추가 동작들은,
    상기 제2 오토 포커스 동작을 수행하는 동안 임계 값을 초과하는 포커스 거리의 변화를 검출함으로써 상기 제2 자동 노출 제어 동작을 수행한 후에 장면 변화를 검출하는 것; 및
    상기 장면 변화를 검출하는 것에 응답하여, 상기 제1 자동 노출 제어 동작을 수행하는 것 및 상기 제1 오토 포커스 동작을 수행하는 것을 반복하는 것을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
24. 제19항에 있어서, 상기 명령들은, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 추가 동작들을 수행하게 하고, 상기 추가 동작들은,
    상기 제2 자동 노출 제어 동작을 수행한 후에 장면 변화를 검출하는 것; 및
    상기 장면 변화를 검출하는 것에 응답하여, 상기 제1 자동 노출 제어 동작을 수행하는 것 및 상기 제1 오토 포커스 동작을 수행하는 것을 반복하는 것을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
25. 제19항에 있어서, 상기 명령들은, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 추가 동작들을 수행하게 하고, 상기 추가 동작들은,
    상기 제1 자동 노출 제어 동작에 관한 제1 정보를 수신하는 것;
    상기 제1 정보에 기초하여 상기 제1 오토 포커스 동작의 수행을 제어하는 것;
    상기 제1 오토 포커스 동작에 관한 제2 정보를 수신하는 것; 및
    상기 제2 정보에 기초하여 상기 제2 자동 노출 제어 동작의 수행을 제어하는 것을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
26. 장치로서,
    카메라;
    메모리; 및
    상기 메모리에 커플링된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,
    상기 카메라로부터 제1 이미지 프레임을 수신하고;
    상기 제1 이미지 프레임의 관심 영역에 관한 통계치를 결정하고;
    상기 통계치가 조건을 만족하는지 여부를 결정하고;
    상기 통계치가 상기 조건을 만족하는 경우:
    제1 노출 레벨을 결정하기 위해 제1 세트의 타깃 파라미터들로 제1 자동 노출 제어 동작을 수행하고;
    제1 포커스 포지션을 결정하기 위해 상기 제1 노출 레벨에서 제1 오토 포커스 동작을 수행하고;
    상기 제1 오토 포커스 동작을 수행한 후에 제2 노출 레벨을 결정하기 위해 제2 세트의 타깃 파라미터들로 제2 자동 노출 제어 동작을 수행하고;
    상기 제2 자동 노출 제어 동작을 수행하는 동안 한 세트의 이미지 프레임들을 수신하고;
    상기 한 세트의 이미지 프레임들 중 2개의 이미지 프레임들 사이의 장면 변화를 검출하고; 그리고
    장면 변화를 검출한 후, 제1 이미지 프레임을 수신하는 동작, 통계치를 결정하는 동작, 및 상기 통계치가 상기 조건을 만족하는지 여부를 결정하는 동작을 반복하도록 구성되는, 장치.
27. 제26항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 제2 자동 노출 제어 동작을 수행하는 동안 제2 오토 포커스 동작을 수행하도록 추가로 구성되는, 장치.
28. 제27항에 있어서, 상기 제2 오토 포커스 동작을 수행하는 것은 레이저 보조 오토 포커스 동작을 수행하는 것을 포함하는, 장치.
29. 제27항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 제2 오토 포커스 동작을 수행하는 동안 상기 제2 노출 레벨에서 제2 이미지 프레임을 캡처하도록 추가로 구성되는, 장치.
30. 제27항에 있어서, 상기 한 세트의 이미지 프레임들 중 2개의 이미지 프레임들 사이의 상기 장면 변화를 검출하는 것은 레이저 보조 오토 포커스 동작의 포커스 거리의 변화가 거리 임계치를 초과한다고 결정하는 것을 포함하는, 장치.