KR20230131831A

KR20230131831A - 이미지 프로세싱을 위한 높은 다이나믹 범위 기법 선택

Info

Publication number: KR20230131831A
Application number: KR1020237021493A
Authority: KR
Inventors: 타이-신 리우; 원-춘 펑; 웨이-치 리우; 쥔-줘 리우
Original assignee: 퀄컴 인코포레이티드
Priority date: 2021-01-14
Filing date: 2021-12-16
Publication date: 2023-09-14
Also published as: US11671715B2; US20220224820A1; JP2024502938A; BR112023013409A2; EP4278599A1; WO2022154931A1; CN116711317A

Abstract

카메라 프로세싱을 위한 디바이스는 프리뷰 이미지를 수신하고, 프리뷰 이미지의 픽셀들의 밝기 값들에 기반하여 프리뷰 이미지가 HDR (high dynamic range) 장면인지를 결정하도록 구성된다. 디바이스는, 추가로, 프리뷰 이미지가 HDR 장면이 아니라는 결정에 기반하여 단일 프레임 이미지 캡처 기법을 사용하기로 결정할 수 있고, 프리뷰 이미지가 HDR 장면이라는 결정에 기반하여, 그리고 프리뷰 이미지에서 검출된 모션에 추가로 기반하여 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하기로 결정할 수 있다. 디바이스는, 그 후, 단일 프레임 이미지 캡처 기법 또는 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하여 캡처된 하나 이상의 이미지들을 사용하여 출력 이미지를 생성할 수 있다.

Description

이미지 프로세싱을 위한 높은 다이나믹 범위 기법 선택

본 출원은 2021년 1월 14일에 출원된 미국 특허 출원 번호 17/149,371 의 우선권을 주장하며, 그 전체 내용은 여기에 참조로 포함된다.

본 개시는 이미지 캡처 및 프로세싱에 관한 것이다.

이미지 캡처 디바이스들은 매우 다양한 디바이스들에 통합된다. 본 개시에서, 이미지 캡처 디바이스는 스틸 이미지를 캡처할 수 있는 디바이스 및 비디오를 레코딩하기 위해 이미지의 시퀀스를 캡처할 수 있는 디바이스를 포함하여, 하나 이상의 디지털 이미지를 캡처할 수 있는 임의의 디바이스를 지칭한다. 예로서, 이미지 캡처 디바이스는 독립형 디지털 카메라 또는 디지털 비디오 캠코더, 카메라-장착형 무선 통신 디바이스 핸드셋, 예컨대 하나 이상의 카메라를 갖는 모바일 폰, 셀룰러 또는 위성 라디오 전화, 카메라-장착형 개인용 디지털 보조기 (personal digital assistant; PDA), 패널 또는 태블릿, 게이밍 디바이스, 소위 "웹-캡” 과 같은 카메라를 포함하는 컴퓨터 디바이스 또는 디지털 이미징 또는 비디오 능력들을 갖는 임의의 디바이스를 포함할 수도 있다.

디지털 카메라로 캡처한 이미지는 가장 일반적으로 LDR (Low Dynamic Range) 이미지 (표준 다이나믹 범위 또는 SDR 이라고도 함) 이다. LDR/SDR 로 캡처한 이미지는, 일부 조명 상황에서, 카메라의 노출 설정에 따라 픽처의 밝거나 어두운 영역의 디테일 손실을 포함할 수 있다. HDR (High Dynamic Range) 이미지는 어두운 영역 (예를 들어, 그림자) 과 조명이 밝은 영역 (예를 들어 태양광) 을 더 정확하게 표현할 수 있는데, HDR 이미지는 일반적으로 더 많은 가능한 밝기 값 (예를 들어 휘도) 을 포함하기 때문이다. 일부 예들에서, 상이한 노출 설정에서 다수의 LDR 이미지를 조합함으로써 HDR 이미지가 생성될 수 있다.

이미지 캡처 디바이스들은 HDR (high dynamic range) 이미징, 멀티-프레임 HDR (MFHDR) 이미징 등과 같은 다양한 이미징 기법들을 지지하는데 사용될 수 있는 다수의 이미 센서들 및/또는 다수의 렌즈들을 포함할 수 있다. 이미지 센서는 또한 이미지 데이터를 카메라 프로세서로 전송할 수 있다. 예시적인 렌즈 유형들은 광각 렌즈, 초광각 렌즈, 망원 렌즈, 망원경 렌즈, 잠망경-스타일 줌 렌즈, 어안 렌즈, 매크로 렌즈, 프라임 렌즈, 또는 이들의 다양한 조합들을 포함한다. 예를 들어, 이중 카메라 구성을 가진 이미지 캡처 디바이스는 광각 렌즈와 망원 렌즈를 포함할 수 있다. 유사하게, 삼중 카메라 구성은 광각 렌즈 및 망원 렌즈 외에 초광각 렌즈를 포함할 수도 있다. 다수의 렌즈들 및/또는 이미지 센서들을 사용하여, 이미지 캡처 디바이스의 카메라 프로세서는 다양한 FOV (fields-of-view) 들을 갖는 이미지를 캡처하고, 줌 레벨을 조정하며, 초점 효과를 적용하고 그리고/또는 이미지 데이터의 하나 이상의 합성 프레임을 생성할 수 있다 (예를 들어, 다수의 이미지들 조합에서 생성된 이미지들).

일반적으로, 본 개시는 HDR (high dynamic range) 이미징을 포함하는 카메라 프로세싱 기법들을 개시한다. 이미지 캡처 디바이스는 HDR 이미지 캡처 기법을 포함하는 복수의 이미지 캡처 기법들 중 하나를 사용하여 하나 이상의 이미지들을 캡처하도록 구성될 수 있다. 이미지 캡처 디바이스에서 이용할 수 있는 다양한 이미지 캡처 기법들은 고스팅 효과에 다소 민감할 수 있다. 고스팅 효과는 일반적으로 다수의 이미지들을 캡처하고 함께 융합하는 다수의 프레임 이미지 캡처 기법에서 발생한다. 다수의 이미지들이 시간 기간에 걸쳐 캡처되기 때문에, 다수의 이미지들을 캡처할 때 시간 지연에 비해 빠르게 이동하고 있는 오브젝트가 장면 내에 존재하면, 장면 내의 일부 오브젝트들은 캡처되는 상이한 이미지들에서 동일한 장소에 있지 않을 수 있다. 이러한 상황은 캡처된 다수의 이미지들을 융합함으로써 형성된 이미지에서 모션 블러 또는 "고스팅 (ghosting)" 을 초래할 수 있다.

추가적으로, 이미지 캡처 디바이스에 이용가능한 HDR 이미지 캡처 기법들을 포함하는 다양한 이미지 캡처 기법들은, 캡처되는 장면의 특성들에 기반하여 더 높거나 더 낮은 신호 대 잡음비 (SNR) 들을 나타낼 수도 있다. 예를 들어, QCFA (Quad-Bayer Color Filter Array) 센서들과 같은 비닝 센서들은 최종 출력 픽셀을 생성하기 위해 4 개의 인접한 컬러 센서들의 값을 평균화하도록 구성될 수 있다. 비닝 모드에서, QCFA 센서는, 특히 낮은 광 환경에서의 비-비닝 센서들과 비교할 때, 일반적으로 높은 SNR 을 갖는다. 그러나, 일부 HDR 이미지 캡처 모드들에서, QCFA 센서는 이용가능한 전체 양의 비닝을 사용하지 않으며, 따라서 일부 장면들에 대해 더 낮은 SNR 을 갖는 이미지들을 생성할 수 있다.

이들 문제점들을 고려하여, 본 개시는 복수의 이미지 캡처 기법들 중에서 이미지 캡처 기법을 결정하기 위한 기법들을 개시한다. 일 예에서, 이미지 캡처 디바이스는 캡처될 장면이 HDR 장면인지 또는 HDR 장면이 아닌지 여부를 결정하기 위해 프리뷰 이미지의 픽셀들의 밝기 값들의 히스토그램을 분석할 수 있다. 일반적으로, HDR 장면은 히스토그램의 저포화 (예를 들어, 매우 어두운) 영역 및 과포화 (예를 들어, 매우 밝은) 영역 둘 모두에서 비교적 높은 백분율의 밝기 값들을 가질 것이다. 이미지 캡처 디바이스가 프리뷰 이미지가 HDR 장면이 아니라고 결정하면, 이미지 캡처 디바이스는 단일 프레임 이미지 캡처 기법 (예를 들어, 단일 비닝 프레임) 을 사용하여 후속 이미지들을 캡처하도록 구성될 수도 있다. 단일 프레임 이미지 캡처 기법의 사용은 한 번에 단일 이미지만이 캡처되기 때문에 (예를 들어, 이미지 융합이 수행되지 않기 때문에) 이미지에서 고스팅의 가능성을 크게 감소 및/또는 제거한다. 추가로, 단일 프레임 이미지 캡처 기법 (예를 들어, 비닝 프레임) 의 사용은 일반적으로 결과 이미지에서 높은 SNR 을 초래한다.

이미지 캡처 디바이스가 프리뷰 이미지가 HDR 장면이라고 결정하면, 이미지 캡처 디바이스는 그 후에 프리뷰 이미지에서 검출된 모션, 및 모션이 있다면, 이미지에서의 모션의 위치에 기반하여 복수의 HDR 캡처 기법들 중 하나를 사용하도록 결정할 수도 있다. 예를 들어, 이미지 캡처 디바이스가 (예를 들어, 전술한 바와 같은 히스토그램에 기반하여) 장면이 HDR 장면이라고 결정하고, 또한 장면에 모션이 없다고 결정하면, 이미지 캡처 디바이스는 다수의 프레임들 (예를 들어, MFHDR) 을 캡처하고 함께 융합하는 HDR 이미지 캡처 기법을 사용하도록 결정할 수 있다. MFHDR 은 고스팅에 민감하지만, MFHDR 은 일반적으로 높은 SNR 을 갖는 이미지를 생성한다. 그러나, 이미지 캡처 디바이스는 프리뷰 이미지에 검출되는 모션이 없다고 결정하였기 때문에, 고스팅의 확률이 낮으므로 MFHDR 을 이용할 수 있다.

이미지 캡처 디바이스가 장면이 HDR 장면이라고 결정하고 (예를 들어, 전술한 바와 같은 히스토그램에 기반하여), 또한 장면에 모션이 있다고 결정하면, 이미지 캡처 디바이스는 모션이 이미지의 어두운 영역에 있는지 여부를 추가로 결정할 수 있다. 모션이 어두운 영역에 있지 않은 경우 (예를 들어, 모션이 이미지의 밝은 영역에 있는 경우), 이미지 캡처 디바이스는 단일 프레임 HDR 기법을 사용하도록 선택할 수 있다. 단일 프레임 HDR 기법은 고스팅에 민감하지 않지만, 일반적으로 더 낮은 SNR 을 제공할 수도 있다. 모션이 어두운 영역에 있는 경우, 이미지 캡처 디바이스는 단일 프레임 HDR 기법으로부터의 이미지를 비닝 모드를 사용하여 캡처된 다른 이미지와 융합하도록 선택할 수 있다. 단일 프레임 HDR 이미지를 비닝 프레임과 융합하는 것은 높은 SNR 을 제공하면서, 또한 밝은 영역들에서 고스팅에 덜 민감하다. 모션이 이미지의 어두운 영역에 있었기 때문에, 이미지에 고스팅 효과가 있을 가능성이 낮아진다. 일반적으로, 본 개시의 기법들은 HDR 장면들이 높은 SNR 로 그리고 최소로 고스팅이 없이 캡처되도록 이미지 캡처 기법들의 보다 최적의 선택을 초래할 수도 있다.

일 예에서, 본 개시의 기법들은 프리뷰 이미지를 수신하는 단계, 프리뷰 이미지의 픽셀들의 밝기 값들에 기반하여 프리뷰 이미지가 HDR (high dynamic range) 장면 인지를 결정하는 단계, 프리뷰 이미지가 HDR 장면이 아니라는 결정에 기반하여 단일 프레임 이미지 캡처 기법을 사용하기로 결정하는 단계, 프리뷰 이미지가 HDR 장면이라는 결정에 기반하여, 그리고 추가로 프리뷰 이미지에서 검출된 모션에 기반하여, 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하기로 결정하는 단계, 및 단일 프레임 이미지 캡처 기법 또는 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하여 캡처된 하나 이상의 이미지들을 사용하여 출력 이미지를 생성하는 단계를 포함하는 방법에 관한 것이다.

다른 예에서, 본 개시의 기법들은 카메라 프로세싱하도록 구성된 디바이스에 관한 것으로서, 상기 디바이스는, 프리뷰 이미지를 수신하고, 프리뷰 이미지의 픽셀들의 밝기 값들에 기반하여 프리뷰 이미지가 HDR (high dynamic range) 장면 인지를 결정하며, 프리뷰 이미지가 HDR 장면이 아니라는 결정에 기반하여 단일 프레임 이미지 캡처 기법을 사용하기로 결정하고, 프리뷰 이미지가 HDR 장면이라는 결정에 기반하여, 그리고 추가로 프리뷰 이미지에서 검출된 모션에 기반하여, 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하기로 결정하며, 그리고 단일 프레임 이미지 캡처 기법 또는 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하여 캡처된 하나 이상의 이미지들을 사용하여 출력 이미지를 생성하도록 구성된 메모리를 포함한다.

본 개시는 또한 본 명세서에 설명된 기법들 중 임의의 것을 수행하기 위한 수단을 개시한다. 일 예에서, 본 개시의 기법들은 카메라 프로세싱하도록 구성된 장치에 관한 것으로서, 상기 장치는, 프리뷰 이미지를 수신하기 위한 수단, 프리뷰 이미지의 픽셀들의 밝기 값들에 기반하여 프리뷰 이미지가 HDR (high dynamic range) 장면 인지를 결정하기 위한 수단, 프리뷰 이미지가 HDR 장면이 아니라는 결정에 기반하여 단일 프레임 이미지 캡처 기법을 사용하기로 결정하기 위한 수단, 프리뷰 이미지가 HDR 장면이라는 결정에 기반하여, 그리고 추가로 프리뷰 이미지에서 검출된 모션에 기반하여, 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하기로 결정하기 위한 수단, 및 단일 프레임 이미지 캡처 기법 또는 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하여 캡처된 하나 이상의 이미지들을 사용하여 출력 이미지를 생성하기 위한 수단을 포함한다.

다른 예에서, 본 개시는 명령들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체를 개시하고, 상기 명령들은, 실행될 때, 하나 이상의 프로세서들로 하여금, 프리뷰 이미지를 수신하고, 프리뷰 이미지의 픽셀들의 밝기 값들에 기반하여 프리뷰 이미지가 HDR (high dynamic range) 장면 인지를 결정하며, 프리뷰 이미지가 HDR 장면이 아니라는 결정에 기반하여 단일 프레임 이미지 캡처 기법을 사용하기로 결정하고, 프리뷰 이미지가 HDR 장면이라는 결정에 기반하여, 그리고 추가로 프리뷰 이미지에서 검출된 모션에 기반하여, 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하기로 결정하며, 그리고 단일 프레임 이미지 캡처 기법 또는 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하여 캡처된 하나 이상의 이미지들을 사용하여 출력 이미지를 생성하도록 한다.

이 요약은 본 개시에 설명된 주제의 개요를 제공하도록 의도된다. 본 명세서의 첨부된 도면들 및 설명 내에 상세히 설명된 시스템들, 디바이스, 및 방법들의 배타적이거나 포괄적인 설명을 제공하도록 의도되지 않는다. 하나 이상의 예들의 추가 상세들이 첨부 도면들 및 하기의 설명에서 제시된다. 개시된 기술의 다른 특징들, 목적들, 및 이점들은 그 설명, 도면들, 및 청구항들로부터 명백할 것이다.

도 1 은 본 개시에서 설명된 예시의 기법들 중 하나 이상을 수행하도록 구성된 디바이스의 블록도이다.
도 2 는 예시적인 이미지 센서 및 이미지 캡처 모드들을 도시하는 개념도이다.
도 3 은 도 1 의 컴퓨팅 디바이스의 예시적인 컴포넌트들을 보다 상세하게 나타낸 블록도이다.
도 4 는 도 3 의 컴퓨팅 디바이스의 예시적인 컴포넌트들을 보다 상세하게 나타낸 블록도이다.
도 5 는 본 개시의 예시적인 방법을 도시한 플로우차트이다.
도 6 은 예시적인 모션 맵을 도시하는 개념도이다.
도 7 은 예시적인 밝기 히스토그램을 도시하는 개념도이다.
도 8 은 HDR 및 비닝 프레임 이미지 캡처 기법에 대해 보다 자세히 도 1 의 컴퓨팅 디바이스의 예시적인 컴포넌트들을 나타내는 블록도이다.
도 9 는 도 8 의 기법들과 함께 사용되는 예시적인 융합 가중치를 도시하는 개념도이다.
도 10 은 본 개시의 예시적인 기법들에 따른 카메라 프로세싱의 예시적인 작동을 예시하는 플로우차트이다.
유사한 참조 부호들은 설명 및 도면들 전반에 걸쳐 유사한 엘리먼트들을 나타낸다.

HDR (high dynamic range) 이미징은 이미지에서 밝기 값들의 더 넓은 다이나믹 범위 이미지를 재현하기 위해 사용되는 이미지 캡처 기법들을 포함한다. HDR 이미징은 매우 어두운 영역 및 매우 밝은 영역 둘 모두를 포함하는 장면들에 특히 유용할 수 있다. 전통적인 단일 프레임 이미지 캡처 모드들은 매우 밝은 영역과 매우 어두운 영역 모두에서 디테일을 보존할 수 없을 수 있다.

대부분의 이미징 디바이스들에서, 이미지 센서에 인가된 광의 노출 정도는 2 가지 방식들 중 하나로: 애퍼처의 크기를 증가/감소시킴으로써 또는 각각의 노출의 시간을 증가/감소시킴으로써 (예를 들어, 셔터 속도를 조정함으로써) 변경될 수 있다. 카메라 센서들의 물리학으로 인해, 매우 넓은 범위의 밝기 값들을 갖는 장면 (예를 들어, 높은 다이나믹 범위를 나타내는 장면) 에 존재하는 모든 밝기 값들을 캡처하는 것은 가능하지 않을 수 있다. 즉, 카메라 센서는 사람의 눈이 인식할 수 있는 장면의 모든 밝기 값을 기록할 수 없다.

예를 들어, 장면의 더 어두운 영역들에서 디테일을 유지하기 위해, 카메라는 셔터 속도를 감소시키고 그리고/또는 애퍼처 크기를 증가시킬 수 있다. 그러나, 이는 더 밝은 영역들이 과도하게 노출되게 할 것이고 (예를 들어, 이미지 센서 출력은 많은 상이한 실제 밝기 값들에 대한 최대 밝기 값을 출력할 것임), 더 밝은 영역들에서 디테일이 손실될 것이다. 더 밝은 영역들에서 디테일을 유지하기 위해, 카메라는 셔터 속도를 증가시키고 그리고/또는 애퍼처 크기를 감소시킬 수 있다. 그러나, 이는 더 어두운 영역들이 저조하게 노출되게 할 것이고 (예를 들어, 이미지 센서 출력은 많은 상이한 실제 밝기 값들에 대한 최소 밝기 값을 출력할 것임), 더 어두운 영역들에서 디테일이 손실될 것이다.

일부 예들에서, 카메라 디바이스는 다양한 노출 설정들에서 다수의 이미지들을 캡처한 다음, 시선에 존재하는 모든 밝기 값들을 보다 정확하게 나타내는 최종 이미지를 형성하기 위해 다수의 이미지들을 조합함으로써 HDR 이미지를 생성하도록 구성될 수 있다. 이러한 캡처 기법은 때때로 다중 프레임 HDR (MFHDR) 이라고 불린다. 일부 예들에서, HDR 생성을 위한 노출 변동은 애퍼처 크기가 아니라 노출 시간만을 변경함으로써 수행된다. 이는 애퍼처 크기를 변경하는 것이 또한 출력 이미지들 각각의 필드의 심도에 영향을 미칠 수 있기 때문이며, 이는 일부 적용들에서는 바람직하지 않을 수 있다. 다른 적용들에서, 카메라는 HDR 이미지를 형성하는데 사용되는 다수의 이미지들을 출력하기 위해 애퍼쳐 및 셔터 속도 둘 다를 조정할 수 있다. 카메라는 또한 더 넓은 다이나믹 범위 이미지들을 생성하고 장면의 밝은 영역들 및 어두운 영역들에서 하이라이트들의 디테일들을 보존하기 위해 단일 프레임, 인-센서 HDR 기법을 사용하여 HDR 이미지들을 캡처하도록 구성될 수 있다. 일반적으로, MFHDR 은 더 높은 신호 대 잡음비 (SNR) 를 갖는 이미지들을 생성할 수도 있지만, 일정 기간에 걸쳐 다수의 연속적인 이미지들을 캡처하기 때문에 고스팅 (예를 들어, 모션 블러) 에 더 민감할 수도 있다. 인-센서, 단일 프레임 HDR 기법들은 고스팅에 덜 민감하지만, MFHDR 기법들에 비해 더 낮은 SNR 을 갖는 이미지들을 생성할 수도 있다.

위의 예들로부터 알 수 있는 바와 같이, 단일 HDR 이미지 캡처 기법을 사용하는 것은 모든 HDR 장면들에 적절하지 않을 수 있다. 일부 HDR 이미지 캡처 기법들은 고스팅에 민감할 수 있는 반면, 다른 HDR 이미지 캡처 기법들은 고스팅이 없을 수 있지만, 원하는 SNR 보다 작은 이미지들을 생성할 수 있다. 이러한 결점들을 고려하여, 본 개시는 프리뷰 이미지로부터 장면을 분석하는 것 및 분석에 기반하여 HDR 이미지를 캡처하고 생성하는데 사용하기 위한 복수의 HDR 이미지 캡처 기법들 중 하나를 결정하는 것을 수반하는 기법들을 설명한다.

카메라 디바이스는 (예를 들어, HDR 장면을 식별하기 위해) 프리뷰 이미지 내의 밝기 값들의 히스토그램, 프리뷰 이미지에서 검출된 모션, 및/또는 이미지 모션이 검출된 프리뷰 이미지 내의 특정 영역 (예를 들어, 어두운 또는 밝은 영역) 중 하나 이상에 기반하여 사용할 HDR 이미지 캡처 기법을 결정하도록 구성될 수 있다. 이러한 방식으로, 본 개시의 기법들은 카메라 디바이스가 고스트 아티팩트들의 낮은 확률로 높은 SNR 을 갖는 이미지들을 생성할 HDR 이미지 캡처 기법을 선택하게 할 수 있다.

도 1 은 HDR 이미지 캡쳐 기법을 결정하기 위해 본 개시에 설명된 예적인 기법들 중 하나 이상을 수행하도록 구성된 컴퓨팅 디바이스 (10) 의 블록도이다. 컴퓨팅 디바이스 (10) 의 다른 예들은 컴퓨터 (예를 들어, 퍼스널 컴퓨터, 데스크탑 컴퓨터 또는 랩탑 컴퓨터), 태블릿 컴퓨터와 같은 모바일 디바이스, 무선 통신 디바이스 (예를 들어, 모바일 전화, 셀룰러 전화, 위성 전화 및/또는 모바일 전화 핸드셋), 인터넷 전화, 디지털 카메라, 디지털 비디오 레코더, 핸드헬드 디바이스, 예컨대, 휴대용 비디오 게임 디바이스 또는 개인용 디지털 보조기 (PDA), 드론 디바이스, 또는 하나 이상의 카메라를 포함할 수도 있는 임의의 디바이스를 포함한다. 일부 예들에서, 컴퓨팅 디바이스 (10) 는 하나 이상의 카메라 프로세서(들) (14), 중앙 프로세싱 유닛 (CPU)(16), 비디오 인코더/디코더 (17), 그래픽스 프로세싱 유닛 (GPU)(18), GPU (18) 의 로컬 메모리 (20), 사용자 인터페이스 (22), 시스템 메모리 (30) 에 대한 액세스를 제공하는 메모리 제어기 (24), 및 그래픽 데이터가 디스플레이 (28) 상에 디스플레이되게 하는 신호들을 출력하는 디스플레이 인터페이스 (26) 를 포함할 수 있다.

도 1 의 예에 도시된 바와 같이, 컴퓨팅 디바이스 (10) 는 하나 이상의 이미지 센서(들) (12A-N) 를 포함한다. 이미지 센서(들) (12A-N) 는 본 명세서의 일부 경우들에서 간단히 "센서 (12)" 로 지칭될 수도 있는 한편, 다른 경우들에서는 적절한 경우 복수의 "센서들 (12)" 로 지칭될 수도 있다. 센서들 (12) 은 베이어 필터를 포함하는 센서들, 또는 쿼드 베이어 센서 또는 쿼드 베이어 컬러 필터 어레이 (QCFA) 센서와 같은 HDR 인터레이싱된 센서들을 포함하는 임의의 타입의 이미지 센서일 수 있다.

컴퓨팅 디바이스 (10) 는 하나 이상의 렌즈(들) (13A-N) 를 더 포함한다. 유사하게, 렌즈(들) (13A-N) 는 본 명세서의 일부 경우들에서 간단히 "렌즈 (13)" 로 지칭될 수도 있는 한편, 다른 경우들에서는 적절한 경우 복수의 "렌즈들 (13)" 로 지칭될 수도 있다. 일부 예들에서, 센서(들) (12) 는 프로세싱 회로부, 광의 표현들을 캡처하기 위한 픽셀 센서들 (예를 들어, 픽셀들) 의 어레이, 버퍼 메모리 또는 온-칩 센서 메모리와 같은 메모리 등을 각각 포함할 수 있는 하나 이상의 이미지 센서들 (12) 을 나타낸다. 일부 예들에서, 이미지 센서들 (12) 각각은 상이한 타입의 렌즈 (13) 와 커플링될 수 있고, 각각의 렌즈 및 이미지 센서 조합은 상이한 애퍼처들 및/또는 시야들 (fields-of-view) 을 갖는다. 예시적인 렌즈들은 망원 렌즈, 광각 렌즈, 초광각 렌즈, 또는 다른 렌즈 타입들을 포함할 수 있다.

도 1 에 도시된 바와 같이, 컴퓨팅 디바이스 (10) 는 다수의 카메라들 (15) 을 포함한다. 본 명세서에 사용되는 바와 같이, 용어 "카메라" 는 컴퓨팅 디바이스 (10) 의 특정 이미지 센서 (12), 또는 컴퓨팅 디바이스 (10) 의 복수의 이미지 센서들 (12) 을 지칭하며, 여기서 이미지 센서(들) (12) 는 컴퓨팅 디바이스 (10) 의 하나 이상의 렌즈(들)(13) 와 조합하여 배열된다. 즉, 컴퓨팅 디바이스 (10) 의 제 1 카메라 (15) 는 하나 이상의 이미지 센서(들) (12) 및 하나 이상의 렌즈(들) (13) 를 포함하는 제 1 집합 디바이스를 지칭하고, 제 1 카메라 (15) 와는 별개인 제 2 카메라 (15) 는 하나 이상의 이미지 센서(들) (12) 및 하나 이상의 렌즈(들) (13) 를 포함하는 제 2 집합 디바이스를 지칭한다. 추가로, 이미지 데이터는 카메라 프로세서(들) (14) 또는 CPU (16) 에 의해 특정 카메라 (15) 의 이미지 센서(들) (12) 로부터 수신될 수 있다. 즉, 카메라 프로세서(들) (14) 또는 CPU (16) 는, 일부 예들에서, 제 1 카메라 (15) 의 제 1 이미지 센서 (12) 로부터 이미지 데이터의 제 1 세트의 프레임들을 수신하고, 제 2 카메라 (15) 의 제 2 이미지 센서 (12) 로부터 이미지 데이터의 제 2 세트의 프레임들을 수신할 수 있다.

일 예에서, 본 명세서에서 사용되는 바와 같은 용어 "카메라" 는, 함께 커플링되어 이미지 데이터의 적어도 하나의 프레임을 캡처하고 이미지 데이터의 적어도 하나의 프레임을 카메라 프로세서(들) (14) 및/또는 CPU (16) 에 전송하도록 구성되는 조합된 이미지 센서 (12) 및 렌즈 (13) 를 지칭한다. 예시적인 예에서, 제 1 카메라 (15) 는 이미지 데이터의 제 1 프레임을 카메라 프로세서(들) (14) 에 전달하도록 구성되고, 제 2 카메라 (15) 는 이미지 데이터의 제 2 프레임을 카메라 프로세서(들) (14) 에 전달하도록 구성되며, 여기서 2 개의 프레임들은, 예를 들어 제 1 프레임 및 제 2 프레임의 FOV 및/또는 줌 레벨의 차이에 의해 입증될 수 있는 바와 같이 상이한 카메라들에 의해 캡처된다. FOV 및/또는 줌 레벨의 차이는 제 1 카메라 (15) 와 제 2 카메라 (15) 사이의 초점 거리의 차이에 대응할 수 있다.

컴퓨팅 디바이스 (10) 는 듀얼 렌즈 디바이스들, 트리플 렌즈 디바이스들, 360-도 카메라 렌즈 디바이스들 등을 포함할 수도 있다. 이와 같이, 각각의 렌즈 (13) 및 이미지 센서 (12) 조합은 다양한 줌 레벨들, 뷰 각도들 (angles of view; AOV), 초점 거리들, FOV (fields of view) 등을 제공할 수도 있다. 일부 예들에서, 특정 이미지 센서들 (12) 이 각각의 렌즈 (13) 에 대해 할당될 수도 있으며, 그 역 또한 마찬가지이다. 예를 들어, 다중 이미지 센서들 (12) 은 각각 상이한 렌즈 타입들 (예를 들어, 광각 렌즈, 초광각 렌즈, 망원 렌즈, 및/또는 잠망경 렌즈 등) 에 할당될 수도 있다.

카메라 프로세서(들) (14) 는 카메라들 (15) 의 동작을 제어하고 카메라들 (15) 로부터 수신된 이미지들에 대한 프로세싱을 수행하도록 구성될 수 있다. 일부 예들에서, 카메라 프로세서(들) (14) 는 이미지 신호 프로세서 (ISP) (23) 를 포함할 수도 있다. 예를 들어, 카메라 프로세서(들) (14) 는 이미지 데이터를 프로세스하기 위한 회로부를 포함할 수 있다. ISP (23) 를 포함하는 카메라 프로세서(들) (14) 는 자동 화이트 밸런스, 컬러 보정, 또는 다른 포스트-프로세싱 동작들을 포함하는, 이미지 센서들 (12) 에 의해 캡처된 이미지 데이터에 대한 다양한 동작들을 수행하도록 구성될 수도 있다. 도 1 은 카메라들 (15) 의 출력에 대해 동작하도록 구성된 단일 ISP (23) 를 도시한다. 다른 예들에서, 카메라 프로세서(들) (14) 는 카메라들 (15) 중 다수의 카메라들로부터의 동시 이미지 캡처를 위한 동기화를 개선하고 그리고/또는 프로세싱 속도를 증가시키기 위해 카메라들 (15) 각각에 대한 ISP (23) 를 포함할 수 있다.

일부 예들에서, 카메라 프로세서(들)(14) 는 "3A" 알고리즘들을 실행할 수도 있다. 이러한 알고리즘들은 자동 초점 (AF), 자동 노출 제어 (AEC), 및 자동 화이트 밸런스 (AWB) 기법들을 포함할 수도 있다. 이러한 예들에서, 3A 는 통계 알고리즘 프로세싱 엔진의 기능성을 나타낼 수도 있으며, 여기서 카메라 프로세서(들) (14) 중 하나는 이러한 프로세싱 엔진을 구현 및 동작시킬 수도 있다.

일부 예들에서, 카메라 프로세서(들)(14) 는 이미지 센서(들)(12) 로부터 이미지 프레임들 (예를 들어, 픽셀 데이터) 을 수신하고, 그 이미지 프레임들을 프로세싱하여 이미지 및/또는 비디오 콘텐츠를 생성하도록 구성된다. 예를 들어, 이미지 센서(들) (12) 는 스틸 사진의 캡처 전 및/또는 후로부터 비디오, 프리뷰 프레임들, 또는 모션 사진들을 레코딩하는 동안 캡처된 사진 스틸들, 비디오 콘텐츠를 생성하기 위한 개별 프레임들, HDR 프레임들, 프레임 버스트들, 개별 시퀀스들을 캡처하도록 구성될 수도 있다. CPU (16), GPU (18), 카메라 프로세서(들)(14), 또는 일부 다른 회로부는 센서(들) (12) 에 의해 캡처된 이미지 및/또는 비디오 콘텐츠를 디스플레이 (28) 상의 디스플레이를 위해 이미지들 또는 비디오로 프로세싱하도록 구성될 수도 있다. 이미지 프레임들은 일반적으로 스틸 이미지에 대한 데이터의 프레임들 또는 비디오 데이터의 프레임들 또는 이들의 조합들, 예컨대 모션 사진들을 지칭할 수도 있다. 카메라 프로세서(들) (14) 는 센서(들) (12) 로부터 임의의 포맷으로 이미지 프레임들의 픽셀 데이터를 수신할 수도 있다. 예를 들어, 픽셀 데이터는 RGB, YCbCr, YUV 등과 같은, 상이한 컬러 포맷들을 포함할 수도 있다. 어느 경우든, 카메라 프로세서(들)(14) 는 이미지 센서(들) (12) 로부터 이미지 데이터의 복수의 프레임을 수신할 수 있다.

다수의 카메라 프로세서(들) (14) 를 포함하는 예들에서, 카메라 프로세서(들) (14) 는 센서(들) (12) 를 공유할 수 있으며, 여기서 카메라 프로세서(들) (14) 각각은 센서(들) (12) 각각과 인터페이싱할 수 있다. 어떠한 이벤트에서, 카메라 프로세서(들) (14) 는 센서(들) (12) 의 복수의 픽셀 센서들을 사용하여 장면의 비디오 또는 이미지의 캡처를 개시할 수도 있다. 일부 예들에서, 비디오는 개별 프레임들의 시퀀스를 포함할 수도 있다. 이와 같이, 카메라 프로세서 (들) (14) 는 센서 (들) (12) 가 복수의 픽셀 센서들을 사용하여 이미지를 캡처하게 한다.

센서 (들) (12) 는 그 후 픽셀 정보 (예를 들어, 픽셀 값들, 루마 값들, 컬러 값들, 전하 값들, 아날로그-대-디지털 유닛들 (ADU) 값들 등) 를 카메라 프로세서 (들) (14) 에 출력할 수도 있고, 그 픽셀 정보는 캡처된 이미지 또는 캡처된 이미지들의 시퀀스를 나타낸다. 일부 예들에서, 카메라 프로세서(들) (14) 는 장면의 향상된 컬러 이미지를 획득하기 위해 모노크롬 및/또는 컬러 이미지들을 프로세싱할 수도 있다. 일부 예들에서, 카메라 프로세서(들) (14) 는 상이한 타입들의 픽셀 블렌딩에 대한 범용 블렌딩 가중 계수(들) 를 결정할 수도 있거나, 픽셀들의 프레임을 구성하는 상이한 타입들의 픽셀들을 블렌딩하기 위한 상이한 블렌딩 가중 계수(들) (예를 들어, 제 1 카메라 (15) 의 모노크롬 센서를 통해 획득된 픽셀들과 제 2 카메라 (15) 의 모노크롬 센서를 통해 획득된 픽셀들을 블렌딩하기 위한 제 1 블렌딩 가중 계수, 제 1 카메라 (15) 의 베이어 센서를 통해 획득된 픽셀들과 제 2 카메라 (15) 의 베이어 센서를 통해 획득된 픽셀들을 블렌딩하기 위한 제 2 블렌딩 가중 계수 등) 를 결정할 수도 있다.

본 개시의 일 예에서, 카메라 프로세서(들) (14) 는 이미지 센서들 (12) 중 특정 이미지 센서가 HDR 모드에서 하나 이상의 이미지들을 캡처하게 할 수 있다. 일부 예들에서, 카메라 프로세서(들) (14) 및/또는 카메라들 (15) 은 복수의 HDR 캡처 기법들 중 하나에 따라 HDR 이미지를 캡처 및 생성하도록 구성될 수 있다.

일 예에서, 카메라 프로세서(들)(14) 는 이미지 센서 (12) 로 하여금 상이한 노출 설정들 (예를 들어, 긴 노출, 중간 노출 및 짧은 노출) 에서 복수의 이미지들 (예를 들어, 3개) 을 캡처하게 할 수 있게 한다. 이러한 기법은 때때로 다중 프레임 HDR (MFHDR) 로 지칭된다. 일 예에서, 카메라 프로세서(들) (14) 는 이미지 센서 (12) 로 하여금 상이한 셔터 속도들, 그러나 동일한 애퍼처 크기로 다수의 이미지들을 생성하게 하도록 구성될 수 있다. 이미지 센서 (12) 는, 예를 들어 줌 설정 및 선택된 렌즈의 타입 (예를 들어, 망원, 광각, 초광각 등) 에 기반하여, 특정 FOV (field-of-view) 에서, 그리고 특정 해상도로 복수의 이미지들을 출력할 수 있다. ISP (23) 는 복수의 이미지들을 수신할 수도 있고, 임의의 3A 또는 다른 프로세싱에 추가하여, 다수의 이미지들을 HDR 이미지로 조합하기 위해 MFHDR 프로세싱 기법을 수행할 수도 있다.

다른 예에서, 카메라 프로세서(들) (14) 는 카메라들 (15) 중 하나로부터 출력된 단일 프레임을 사용하여 HDR 이미지를 생성할 수 있다. 단일-프레임 HDR 은 때때로 로컬 톤 맵핑 (local tone mapping; LTM) 이라고 지칭되는 기법인, 단일 이미지의 히스토그램 균등화 후처리의 사용을 포함할 수도 있다. 다른 예들에서, 아래에서 설명되는 바와 같이, 카메라 프로세서(들)(14) 는 인-센서 쿼드-베이어 코딩 (QBC) HDR 기법을 사용하여 단일-프레임 HDR 이미지를 캡처하도록 카메라들 (15) 중 하나에 지시할 수 있다. 인-센서 QBC HDR 기법은 단일 이미지를 캡처하는 것을 포함할 수 있으며, 여기서 이미지 센서 (12) 의 픽셀 센서들의 제 1 부분은 긴 노출로 광을 캡처하고, 이미지 센서 (12) 의 픽셀 센서들의 제 2 부분은 중간 길이 노출로 광을 캡처하고, 이미지 센서 (12) 의 픽셀 센서들의 제 3 부분은 짧은 노출로 광을 캡처한다.

다른 예들에서, 카메라 프로세서(들) (14) 는 ADRC (adaptive dynamic range coding) 을 갖는 비닝 프레임을 사용하여 카메라들 (15) 중 하나의 출력으로부터 HDR 이미지를 생성할 수도 있다. ADRC 를 수행할 때, 카메라 프로세서(들) (14) 는 더 낮은 센서 노출로 이미지를 캡처함으로써 이미지의 높은 밝기 영역들을 보존할 수 있다. 카메라 프로세서(들) (14) 는 그 후 전체 밝기를 보상하기 위해 디지털 이득을 출력 이미지에 적용할 수 있다.

HDR 이미지들을 생성하기 위한 다른 예시적인 기법은 스태거형 다중-프레임 HDR 이미지 캡처 기법이다. 스태거형 다중-프레임 HDR 이미지 캡처 기법에서, 카메라 프로세서(들) (14) 는 카메라 (15) 로 하여금 다수의 롤링 셔터들을 사용하여 다수의 이미지들을 캡처하게 하도록 구성될 수도 있다. 롤링 셔터는 하나의 시간 인스턴스에서 전체 장면으로부터 이미지를 생성하는 것이 아니라, 오히려 이미지 센서 (12) 의 행들 또는 열들을 스캐닝함으로써 이미지를 생성한다. 예를 들어, 카메라 (15) 는 긴 주기 롤링 셔터 캡처와 짧은 주기 롤링 셔터 캡처를 조합할 수 있다. 카메라 (15) 는 2 개의 롤링 셔터들의 출력을 로우 인터리빙 (row interleave) 할 수 있다.

컴퓨팅 디바이스 (10) 에 이용할 수 있는 다양한 이미지 캡처 기법들은 고스팅 효과에 다소 민감할 수 있다. 고스팅 효과는 통상적으로 다수의 이미지들을 캡처하고 함께 융합하는 HDR 이미지 캡처 기법에서 발생한다 (예를 들어, MFHDR). 다수의 이미지들이 시간 기간에 걸쳐 캡처되기 때문에, 다수의 이미지들을 캡처할 때 시간 지연에 비해 빠르게 이동하고 있는 오브젝트가 장면 내에 존재하면, 장면 내의 일부 오브젝트들은 캡처되는 상이한 이미지들에서 동일한 장소에 있지 않을 수 있다. 이러한 상황은 캡처된 다수의 이미지들을 융합함으로써 형성된 이미지에서 모션 블러 또는 "고스팅" 을 초래할 수 있다.

추가적으로, 컴퓨팅 디바이스 (10) 에 이용가능한 HDR 이미지 캡처 기법들을 포함하는 다양한 이미지 캡처 기법들은, 캡처되는 장면의 특성들에 기반하여 더 높거나 더 낮은 신호 대 잡음비 (SNR) 들을 나타낼 수도 있다. 예를 들어, 이미지 센서들 (12) 중 하나는 QCFA (Quad-Bayer Color Filter Array) 센서와 같은 비닝 센서일 수 있다. QCFA 센서는 최종 출력 픽셀을 생성하기 위해 4 개의 인접한 컬러 센서들의 값을 평균화하도록 구성될 수 있다. 비닝 모드에서, QCFA 센서는, 특히 낮은 광 환경에서의 비-비닝 센서들과 비교할 때, 일반적으로 높은 SNR 을 갖는다. 그러나, 일부 HDR 이미지 캡처 모드들에서, QCFA 센서는 이용가능한 전체 양의 비닝을 사용하지 않으며, 따라서 일부 장면들에 대해 더 낮은 SNR 을 갖는 이미지들을 생성할 수 있다.

이들 문제점들을 고려하여, 본 개시는 복수의 이미지 캡처 기법들 중에서 이미지 캡처 기법을 결정하기 위한 기법들을 개시한다. 일 예에서, HDR 선택기 (19) 는 캡처될 장면이 HDR 장면인지 또는 HDR 장면이 아닌지 여부를 결정하기 위해 이미지 센서들 (12) 중 하나에 의해 캡처된 프리뷰 이미지의 픽셀들의 밝기 값들의 히스토그램을 분석할 수 있다. 일반적으로, HDR 장면은 히스토그램의 저포화 (예를 들어, 매우 어두운) 영역 및 과포화 (예를 들어, 매우 밝은) 영역 둘 모두에서 비교적 높은 백분율의 밝기 값들을 가질 것이다. HDR 선택기 (19) 가 프리뷰 이미지가 HDR 장면이 아니라고 결정하면, 카메라 프로세서(들) (14) 는 단일 프레임 이미지 캡처 기법 (예를 들어, 단일 비닝 프레임) 을 사용하여 후속 이미지들을 캡처하도록 구성될 수도 있다. 단일 프레임 이미지 캡처 기법의 사용은 한 번에 단일 이미지만이 캡처되기 때문에 (예를 들어, 이미지 융합이 수행되지 않기 때문에) 이미지에서 고스팅의 가능성을 크게 감소 및/또는 제거한다. 추가로, 단일 프레임 이미지 캡처 기법 (예를 들어, 비닝 프레임) 의 사용은 일반적으로 결과 이미지에서 높은 SNR 을 초래한다.

HDR 선택기 (19) 가 프리뷰 이미지가 HDR 장면이라고 결정하면, HDR 선택기 (19) 는 프리뷰 이미지에서 검출된 모션에 기반하여 복수의 HDR 캡처 기법들 중 하나를 사용하도록 결정할 수 있고, 모션이 검출되면, HDR 선택기 (19) 는 프리뷰 이미지에서의 모션의 위치에 기반하여 HDR 캡처 기법을 추가로 결정할 수 있다. 예를 들어, HDR 선택기 (19) 가 (예를 들어, 전술한 바와 같은 히스토그램에 기반하여) 장면이 HDR 장면이라고 결정하고, 또한 장면에 모션이 없다고 결정하면, HDR 선택기 (19) 는 다수의 프레임들 (예를 들어, MFHDR) 을 캡처하고 함께 융합하는 HDR 이미지 캡처 기법을 사용하도록 결정할 수 있다. MFHDR 은 고스팅에 민감하지만, MFHDR 은 일반적으로 높은 SNR 을 갖는 이미지를 생성한다. 그러나, HDR 선택기 (19) 는 프리뷰 이미지에 검출되는 모션이 없다고 결정하였기 때문에, 고스팅의 확률이 낮으므로 MFHDR 을 이용할 수 있다.

HDR 선택기 (19) 가 (예를 들어, 전술한 바와 같은 히스토그램에 기반하여) 장면이 HDR 장면이라고 결정하고, 또한 장면에 모션이 있다고 결정하면, HDR 선택기 (19) 는 모션이 이미지의 어두운 영역에 있는지 여부를 추가로 결정할 수 있다. 모션이 어두운 영역에 있지 않은 경우 (예를 들어, 모션이 이미지의 밝은 영역에 있는 경우), HDR 선택기 (19) 는 단일 프레임 HDR 기법을 사용하도록 선택할 수 있다. 단일 프레임 HDR 기법은 고스팅에 민감하지 않지만, 일반적으로 더 낮은 SNR 을 제공할 수도 있다. 모션이 어두운 영역에 있는 경우, HDR 선택기 (19) 는 단일 프레임 HDR 기법으로부터의 이미지를 비닝 모드를 사용하여 캡처된 다른 이미지와 융합하도록 선택할 수 있다. 단일 프레임 HDR 이미지를 비닝 프레임과 융합하는 것은 높은 SNR 을 제공하면서, 또한 밝은 영역들에서 고스팅에 덜 민감하다. 모션이 이미지의 어두운 영역에 있었기 때문에, 이미지에 고스팅 효과가 있을 가능성이 낮아진다. 일반적으로, 본 개시의 기법들은 HDR 장면들이 높은 SNR 로 그리고 최소로 고스팅이 없이 캡처되도록 이미지 캡처 기법들의 보다 최적의 선택을 초래할 수도 있다.

일 예에서, 카메라 프로세서(들) (14) 는 프리뷰 프레임을 복수의 영역들 (예를 들어, 64x48 픽셀 영역들) 로 분할할 수도 있다. HDR 선택기 (19) 는 ISP (23) 에 의해 수행된 AEC 로부터 영역들 각각에 대한 루마 정보 (예를 들어, 평균 루마 정보) 를 획득할 수도 있다. HDR 선택기 (19) 는 임계치와 비교된 영역의 루마 정보에 기반하여 영역이 어두운지 여부를 결정할 수도 있다.

본 개시의 일 예에 따라서, 카메라 프로세서(들) (14) 는, 프리뷰 이미지를 수신하고, 프리뷰 이미지의 픽셀들의 밝기 값들에 기반하여 프리뷰 이미지가 HDR 장면 인지를 결정하며, 프리뷰 이미지가 HDR 장면이 아니라는 결정에 기반하여 단일 프레임 이미지 캡처 기법을 사용하기로 결정하고, 프리뷰 이미지가 HDR 장면이라는 결정에 기반하여, 그리고 추가로 프리뷰 이미지에서 검출된 모션에 기반하여, 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하기로 결정하며, 그리고 단일 프레임 이미지 캡처 기법 또는 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하여 캡처된 하나 이상의 이미지들을 사용하여 출력 이미지를 생성하도록 구성될 수 있다.

HDR 선택기 (19) 의 동작에 관한 추가적인 디테일들은 도 2 ~ 도 10 을 참조하여 아래에서 더 상세히 설명된다. 아래에서 더 상세히 설명되는 바와 같이, 카메라 프로세서(들)(14) 는 HDR 선택기 (19) 를 포함하고 그리고/또는 실행하도록 구성될 수 있다. 즉, HDR 선택기 (19) 는 카메라 프로세서(들) (14) 에 의해 실행되는 소프트웨어일 수 있거나, 카메라 프로세서(들) (14) 에 의해 실행되는 펌웨어일 수 있거나, 카메라 프로세서(들) (14) 내의 전용 하드웨어일 수 있다. 도 1 은 HDR 선택기 (19) 를 ISP (23) 와 별개인 것으로 도시하지만, 일부 예들에서, HDR 선택기 (19) 는 ISP (23) 의 일부일 수 있다.

컴퓨팅 디바이스 (10) 의 다양한 구조들이 도 1 에서는 별도로 도시되어 있지만, 본 개시의 기법들은 그렇게 제한되지 않으며, 일부 예들에서는 구조들이 시스템 온 칩 (SoC) 을 형성하기 위해 조합될 수도 있다. 예로서, 카메라 프로세서(들) (14), CPU (16), GPU (18), 및 디스플레이 인터페이스 (26) 는 공통 집적 회로 (IC) 칩 상에 형성될 수도 있다. 일부 예들에서, 카메라 프로세서(들) (14), CPU (16), GPU (18) 및 디스플레이 인터페이스 (26) 중 하나 이상은 별도의 칩들 상에 형성될 수도 있다. 또한, 일부 예들에서, 카메라 프로세서(들) (14) 의 HDR 선택기 (19) 는 ISP (23) 의 일부일 수 있다. 다른 예들에서, HDR 선택기 (19) 는 소프트웨어로 구현될 수도 있고 CPU (16) 에 의해 실행될 수도 있다. 다양한 다른 치환들 및 조합들이 가능하며, 본 개시의 기법들은 도 1 에 도시된 예에 제한되는 것으로 간주되지 않아야 한다. 일 예에서, CPU (16) 는 카메라 프로세서(들) (14) 중 하나 이상이 CPU (16) 의 일부이도록 카메라 프로세서(들) (14) 를 포함할 수도 있다. 이러한 예들에서, CPU (16) 는 카메라 프로세서(들) (14) 에 본 명세서에서 달리 주어진 다양한 기법들 중 하나 이상을 수행하도록 구성될 수도 있다. 본 개시의 목적들을 위해, 카메라 프로세서(들) (14) 는 CPU (16) 와 별개이고 구별되는 것으로서 본 명세서에서 설명될 것이지만, 이는 항상 그런 것은 아닐 수 있다.

도 1 에 도시된 다양한 구조들은 버스 (32) 를 사용하여 서로 통신하도록 구성될 수도 있다. 버스 (32) 는 제 3 세대 버스 (예를 들어, HyperTransport 버스 또는 InfiniBand 버스), 제 2 세대 버스 (예를 들어, 어드밴스드 그래픽스 포트 버스, 주변 컴포넌트 인터커넥트 (Peripheral Component Interconnect; PCI) 익스프레스 버스, 또는 어드밴스드 확장성 인터페이스 (Advanced eXtensible Interface; AXI) 버스) 또는 다른 타입의 버스 또는 디바이스 인터커넥트와 같은, 다양한 버스 구조들 중 임의의 것일 수도 있다. 도 1 에 나타낸 상이한 구조들 사이의 버스들 및 통신 인터페이스들의 특정 구성은 단지 예시적일 뿐이고, 동일하거나 상이한 구조들을 갖는 다른 이미지 프로세싱 시스템들 및/또는 컴퓨팅 디바이스들의 다른 구성들이 본 개시의 기법들을 구현하는데 사용될 수도 있음을 유의해야 한다.

추가로, 센서(들)(12) 및 카메라 프로세서(들)(14) 을 포함하는 (하나의 디바이스 상에 형성되든 상이한 디바이스들 상에 형성되든) 도 1 에 도시된 다양한 컴포넌트들은, 하나 이상의 마이크로프로세서, 주문형 집적 회로 (ASIC), 필드 프로그램가능 게이트 어레이 (FPGA), 디지털 신호 프로세서 (DSP), 또는 다른 등가의 통합된 또는 이산 로직 회로부에서와 같이, 고정-기능 또는 프로그램가능 회로부 중 적어도 하나, 또는 양자의 조합으로서 형성될 수도 있다. 또한, 로컬 메모리 (20) 의 예들은 랜덤 액세스 메모리 (RAM), 정적 RAM (SRAM), 동적 RAM (DRAM), 소거가능한 프로그램가능 ROM (EPROM), 전기적으로 소거가능한 프로그램가능 ROM (EEPROM), 플래시 메모리, 자기 데이터 매체들 또는 광학 저장 매체들과 같은, 하나 이상의 휘발성 또는 비휘발성 메모리 또는 저장 디바이스를 포함한다.

일부 예들에서, 메모리 제어기 (24) 는 시스템 메모리 (30) 로 들어가고 나오는 데이터의 전송을 용이하게 할 수도 있다. 예를 들어, 메모리 제어기 (24) 는 메모리 판독 및 기입 커맨드들을 수신하고, 메모리 (30) 에 대해 그러한 커맨드들을 서비스하여 컴퓨팅 디바이스 (10) 의 다양한 컴포넌트들에 메모리 서비스들을 제공할 수도 있다. 이러한 예들에서, 메모리 제어기 (24) 는 시스템 메모리 (30) 에 통신가능하게 커플링될 수도 있다. 메모리 제어기 (24) 가 CPU (16) 및 시스템 메모리 (30) 양자 모두로부터 분리되는 프로세싱 회로인 것으로서 도 1 의 컴퓨팅 디바이스 (10) 의 예에 도시되지만, 일부 경우들에서, 메모리 제어기 (24) 의 기능성의 일부 또는 전부는 CPU (16), 시스템 메모리 (30), 카메라 프로세서(들)(14), 비디오 인코더/디코더 (17), 및/또는 GPU (18) 중 하나 이상에서 구현될 수도 있다.

시스템 메모리 (30) 는 카메라 프로세서(들)(14), CPU (16), 및/또는 GPU (18) 에 의해 액세스가능한 프로그램 모듈들 및/또는 명령들 및/또는 데이터를 저장할 수도 있다. 예를 들어, 시스템 메모리 (30) 는 사용자 애플리케이션들 (예를 들어, 카메라 애플리케이션에 대한 명령들) 을 저장하여, 카메라 프로세서(들)(14) 등으로부터 이미지들을 생성할 수도 있다. 시스템 메모리 (30) 는 부가적으로 컴퓨팅 디바이스 (10) 의 다른 컴포넌트들에 의한 사용을 위한 및/또는 이에 의해 생성된 정보를 저장할 수도 있다. 예를 들어, 시스템 메모리 (30) 는 카메라 프로세서(들)(14) 을 위한 디바이스 메모리로서 작용할 수도 있다. 시스템 메모리 (30) 는 예를 들어 RAM, SRAM, DRAM, ROM, EPROM, EEPROM, 플래시 메모리, 자기 데이터 매체들 또는 광학 저장 매체들과 같은, 하나 이상의 휘발성 또는 비휘발성 메모리 또는 저장 디바이스를 포함할 수도 있다. 또한, 시스템 메모리 (30) 는 이미지 데이터 (예를 들어, 비디오 데이터의 프레임들, 인코딩된 비디오 데이터, 센서-모드 설정들, 줌 설정들, 3A 파라미터들 등) 를 저장할 수도 있다. 일부 예들에서, 시스템 메모리 (30) 또는 로컬 메모리 (20) 는 이미지 데이터를 온-칩 메모리에, 예컨대 시스템 메모리 (30) 또는 로컬 메모리 (20) 의 메모리 버퍼에 저장할 수도 있다. 다른 예에서, 시스템 메모리 (30) 또는 로컬 메모리 (20) 는 카메라 디바이스의 보안 디지털 (SD™) 카드와 같은 칩 또는 버퍼의 메모리로부터 외부에 저장되도록 또는 일부 경우들에서 카메라 디바이스의 다른 내부 스토리지에 저장되도록 이미지 데이터를 출력할 수도 있다. 예시적인 예에서, 시스템 메모리 (30) 또는 로컬 메모리 (20) 는 카메라 프로세서 (들) (14) 칩, GPU (18) 칩, 또는 양자 모두 상에서 버퍼 메모리로서 구현될 수도 있으며, 여기서 단일 칩은 양자의 프로세싱 회로들을 포함한다.

일부 예들에서, 시스템 메모리 (30) 는 카메라 프로세서(들)(14), CPU (16), GPU (18) 및/또는 디스플레이 인터페이스 (26) 로 하여금 본 개시에서 이들 컴포넌트들에 귀속된 기능들을 수행하게 하는 명령들을 포함할 수도 있다. 따라서, 시스템 메모리 (30) 는, 실행될 때, 하나 이상의 프로세서 (예를 들어, 카메라 프로세서(들)(14), CPU (16), GPU (18), 및 디스플레이 인터페이스 (26)) 로 하여금, 본 개시의 다양한 기능들을 수행하게 하는 명령들을 저장한 컴퓨터 판독가능 저장 매체일 수도 있다.

일부 예들에서, 시스템 메모리 (30) 는 비일시적 저장 매체이다. 용어 "비일시적" 은 저장 매체가 캐리어 파 또는 전파된 신호에서 구현되지 않는다는 것을 나타낸다. 그러나, 용어 "비일시적" 은 시스템 메모리 (30) 가 이동가능하지 않다는 것 또는 그 콘텐츠가 정적이라는 것을 의미하도록 해석되지 않아야 한다. 일 예로서, 시스템 메모리 (30) 는 컴퓨팅 디바이스 (10) 로부터 제거될 수도 있고, 다른 디바이스로 이동될 수도 있다. 다른 예로서, 시스템 메모리 (30) 와 실질적으로 유사한 메모리가 컴퓨팅 디바이스 (10) 에 삽입될 수도 있다. 소정의 예들에서, 비일시적 저장 매체는 (예를 들어, RAM 에서) 시간에 걸쳐 변화할 수도 있는 데이터를 저장할 수도 있다.

또한, 카메라 프로세서(들)(14), CPU (16) 및 GPU (18) 는 시스템 메모리 (30) 내에 할당되는 개개의 버퍼들에, 이미지 데이터, 사용자 인터페이스 등을 저장할 수도 있다. 디스플레이 인터페이스 (26) 는 시스템 메모리 (30) 로부터 데이터를 취출하고 예컨대, 사용자 인터페이스 (22) 스크린을 통해, 이미지 데이터에 의해 표현된 이미지를 디스플레이하도록 디스플레이 (28) 를 구성할 수도 있다. 일부 예들에서, 디스플레이 인터페이스 (26) 는, 시스템 메모리 (30) 로부터 취출된 디지털 값들을 디스플레이 (28) 에 의해 소비가능한 아날로그 신호로 변환하도록 구성되는 디지털-아날로그 변환기 (DAC) 를 포함할 수도 있다. 다른 예들에서, 디스플레이 인터페이스 (26) 는 디지털 값들을 프로세싱을 위해 디스플레이 (28) 로 직접 전달할 수도 있다.

컴퓨팅 디바이스 (10) 는 비디오 인코더 및/또는 비디오 디코더 (17) 를 포함할 수도 있고, 이들 중 어느 하나는 조합된 비디오 인코더/디코더 (CODEC)(예를 들어, 비디오 코더) 의 일부로서 통합될 수도 있다. 비디오 인코더/디코더 (17) 는 하나 이상의 카메라(들)(15) 에 의해 캡처된 비디오를 인코딩하는 비디오 코더 또는 압축된 또는 인코딩된 비디오 데이터를 디코딩할 수도 있는 디코더를 포함할 수도 있다. 일부 경우들에서, CPU (16) 및/또는 카메라 프로세서(들)(14) 는 비디오 데이터를 인코딩 및/또는 디코딩하도록 구성될 수도 있고, 이 경우, CPU (16) 및/또는 카메라 프로세서(들)(14) 는 인코더/디코더 (17) 를 포함할 수도 있다.

CPU (16) 는 컴퓨팅 디바이스 (10) 의 동작을 제어하는 범용 또는 특수 목적 프로세서를 포함할 수도 있다. 사용자는 CPU (16) 로 하여금 하나 이상의 소프트웨어 애플리케이션들을 실행하게 하기 위해 컴퓨팅 디바이스 (10) 에 입력을 제공할 수도 있다. CPU (16) 상에서 실행되는 소프트웨어 애플리케이션들은 예를 들어, 카메라 애플리케이션, 그래픽 편집 애플리케이션, 미디어 플레이어 애플리케이션, 비디오 게임 애플리케이션, 그래픽 사용자 인터페이스 애플리케이션 또는 다른 프로그램을 포함할 수도 있다. 예를 들어, 카메라 애플리케이션은 사용자가 카메라 (15) 의 다양한 설정들을 제어하도록 허용할 수도 있다. 사용자는 키보드, 마우스, 마이크로폰, 터치 패드 또는 사용자 인터페이스 (22) 를 통해 컴퓨팅 디바이스 (10) 에 커플링된 다른 입력 디바이스와 같은 하나 이상의 입력 디바이스들 (도시되지 않음) 을 통해 컴퓨팅 디바이스 (10) 에 입력을 제공할 수도 있다.

일 예의 소프트웨어 애플리케이션은 카메라 애플리케이션이다. CPU (16) 는 카메라 애플리케이션을 실행하고, 이에 응답하여, 카메라 애플리케이션은 CPU (16) 로 하여금 디스플레이 (28) 가 출력하는 콘텐츠를 생성하게 한다. 예를 들어, 디스플레이 (28) 는 광 강도, 플래시가 인에이블되는지 여부, 및 다른 이러한 정보와 같은 정보를 출력할 수도 있다. 카메라 애플리케이션은 또한 CPU (16) 로 하여금 센서 (12) 에 의해 출력된 이미지들을 사용자-정의된 방식으로 프로세싱하도록 카메라 프로세서(들) (14) 에 명령하게 할 수도 있다. 컴퓨팅 디바이스 (10) 의 사용자는 (예를 들어, 적용된 줌 설정들, 플래시 유무, 초점 설정들, 노출 설정들, 비디오 또는 스틸 이미지들, 및 다른 파라미터들로) 이미지들이 생성되는 방식을 구성하기 위해 (예를 들어, 사용자 인터페이스 (22) 를 통해) 디스플레이 (28) 와 인터페이스할 수도 있다. 예를 들어, CPU (16) 는 HDR 모드에서 이미지들을 캡처 (예를 들어, HDR 이미지를 캡처 및 생성) 하기 위한 명령을 사용자 인터페이스 (22) 를 통해 수신할 수도 있다. 전술된 바와 같이, 사용자가 HDR 모드의 사용을 표시하는 것에 응답하여, HDR 선택기 (19) 는 프리뷰 이미지의 분석에 기반하여 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하기로 결정하도록 구성될 수 있다. 일부 예들에서, HDR 선택기 (19) 는, 사용이 HDR 모드를 선택했는지 여부에 관계없이 복수의 HDR 이미지 캡쳐 기법들 중 하나를 사용하도록 결정하도록 구성될 수 있다. 즉, HDR 선택기 (19) 는 복수의 HDR 모드들 중 하나를 자동으로 결정하도록 구성될 수 있다.

디스플레이 (28) 는 모니터, 텔레비전, 프로젝션 디바이스, HDR 디스플레이, 액정 디스플레이 (LCD), 플라즈마 디스플레이 패널, 발광 다이오드 (LED) 어레이, 유기 LED (OLED), 전자 종이, SED (surface-conduction electron-emitted display), 레이저 텔레비전 디스플레이, 나노결정 디스플레이 또는 다른 타입의 디스플레이 유닛을 포함할 수도 있다. 디스플레이 (28) 는 컴퓨팅 디바이스 (10) 내에 통합될 수도 있다. 예를 들어, 디스플레이 (28) 는 모바일 전화 핸드셋, 태블릿 컴퓨터, 또는 랩탑의 스크린일 수도 있다. 대안으로, 디스플레이 (28) 는 유선 또는 무선 통신 링크를 통해 컴퓨팅 디바이스 (10) 에 커플링된 독립형 디바이스일 수도 있다. 예를 들어, 디스플레이 (28) 는 케이블 또는 무선 링크를 통해 개인용 컴퓨터에 연결된 컴퓨터 모니터 또는 플랫 패널 디스플레이일 수도 있다. 디스플레이 (28) 는 카메라 (15) 가 실제로 사진을 찍거나 비디오를 레코딩하기 시작했다면, 사용자가 무엇이 저장되고 있는지 또는 사진이 어떻게 보일 수 있는지를 알기 위해 볼 수도 있는 프리뷰 프레임들을 제공할 수 있다.

일부 예들에서, 카메라 프로세서(들) (14) 는 출력 프레임들이 비디오 파일로서 저장되도록 프레임들의 유동을 메모리 제어기 (24) 에 출력할 수도 있다. 일부 예들에서, CPU (16), 비디오 인코더/디코더 (17), 및/또는 카메라 프로세서(들) (14) 는 비디오 파일로서 저장될 (예를 들어, 보케 효과를 갖거나 갖지 않는) HDR 이미지를 출력할 수도 있다. 일부 예들에서, 메모리 제어기 (24) 는 임의의 적합한 비디오 파일 포맷으로 출력 프레임들을 생성 및/또는 저장할 수도 있다. 일부 예들에서, 비디오 인코더/디코더 (17) 는 CPU (16), 비디오 인코더/디코더 (17), 및/또는 카메라 프로세서(들) (14) 이전에 출력 프레임들을 인코딩하여 출력 프레임들이 인코딩된 비디오로서 저장되게 할 수도 있다. 인코더/디코더 (17) 는 MPEG-2, MPEG-4, ITU-T H.263, ITU-T H.264/MPEG-4, Part 10, 어드밴스드 비디오 코딩 (Advanced Video Coding; AVC), ITU-T H.265/고효율 비디오 코딩 (High Efficiency Video Coding; HEVC), 다기능 비디오 코딩 (Versatile Video Coding; VCC) 등에 의해 정의된 표준들, 및 이들의 확장들에서 기술된 것들을 포함하는 다양한 인코딩 기법들을 사용하여 이미지 데이터의 프레임들을 인코딩할 수도 있다. 비제한적인 예에서, CPU (16), 비디오 인코더/디코더 (17), 및/또는 카메라 프로세서(들) (14) 는 출력 프레임들이 MPEG (Moving Picture Experts Group) 비디오 파일 포맷을 사용하여 저장되게 할 수도 있다.

도 2 는 예시적인 이미지 센서 및 이미지 캡처 모드들을 도시하는 개념도이다. 도 2 는 비닝 모드 (200) 및 인-센서 QBC HDR 모드 (210) 모두에서 동작할 수 있는 이미지 센서 (12) 의 일부를 도시한다. 이 예에서, 이미지 센서 (12) 는 다른 모드들 중에서 비닝 모드 (200) 또는 인-센서 QBC HDR 모드 (210) 에서 표준 베이어 원시 이미지를 출력하도록 구성될 수 있는 QCFA 센서이다. 이미지 센서 (12) 의 예는 Sony Corporation 에 의해 제조된 IMX686 센서이다. 일 예에서, 이미지 센서 (12) 의 픽셀 센서들의 크기는 0.8 um 이다.

일부 예들에서, 센서 (12) 는 리모자이킹 (remosaicing) 모드에서 제 1 더 높은 해상도 (예를 들어, 48 메가픽셀 (MP) 또는 다른 것) 로 이미지들을 출력하고, 비닝 모드 (200) 에서 제 2 더 낮은 해상도 (예를 들어, 12 MP 또는 최대 해상도로부터의 다른 감소) 로 이미지들을 출력할 수 있다. 도 2 는 2x2 비닝의 예를 도시하며, 여기서 센서 부분 (202) 에 도시된 바와 같이, 4 개의 인접한 픽셀 센서들이 평균화되어 단일 값을 형성한다. 다른 예들에서, 비닝의 다른 레벨들이 사용될 수 있다. 일반적으로, 비닝 모드에서, 이미지 센서 (12) 는 낮은 광 이미지 캡처에 대해 더 높은 SNR 을 제공하기 위해 동일한 컬러 필터를 갖는 인접한 픽셀들 (예를 들어, 2 또는 4 개의 인접한 픽셀들) 을 평균화하도록 구성될 수도 있다. 리모자이킹 모드에 비해 해상도가 더 낮은 반면 (예를 들어, 비닝 없음), 비닝 모드 (200) 는 리모자이킹 모드에 비해 출력 픽셀당 더 많은 광을 캡처하고, 따라서 비닝 모드로부터 출력되는 이미지들의 SNR 을 증가시킨다. 이는 비닝 모드가 출력 픽셀당 4 개의 픽셀 센서들을 평균화하여 픽셀 센서의 유효 크기를 증가시키기 때문이다 (예를 들어, 이 예에서 0.8x 로부터 3.2 um 로).

도 2 에서, 이미지 센서 (12) 는 쿼드-베이어 모자이크 패턴 (Quad-Bayer mosaic pattern) 을 갖는다. 일 예에서, QCFA 센서의 각각의 16x16 부분은 4 개의 인접한 적색 컬러 필터들, 4 개의 인접한 청색 컬러 필터들, 및 4 개의 인접한 녹색 컬러 필터들의 2 개의 세트들을 포함할 수 있다. 함께 조합되면, 이러한 패턴은 광범위한 컬러들을 나타낼 수 있다. 인간의 눈이 녹색에 더 민감하기 때문에, 더 많은 녹색 컬러 필터가 사용된다.

일부 예들에서, 카메라 프로세서(들) (14) 는 이미지 센서 (12) 가 MFHDR 이미지 캡처를 위해 비닝 모드 (200) 를 사용하게 할 수 있다. MFHDR 이미지 캡처에서, 이미지 센서 (12) 는 상이한 노출 시간들 (예를 들어, 짧은 노출, 중간 노출 및 긴 노출) 을 갖는 3 개 이상의 연속적인 이미지들을 캡처하도록 구성될 수 있다. 예를 들어, 카메라 프로세서(들) (14) 는 이미지 센서 (12) 에 대한 3 개 이상의 상이한 노출 설정들을 결정하는 자동 노출 알고리즘을 실행할 수 있다. 3 개의 이미지 예에 대해, 카메라 프로세서(들) (14) 는 장면의 높은 밝기 영역들에서의 디테일들을 보존하는 짧은 노출 시간을 결정할 수 있고, 장면의 어두운 영역들에서의 디테일들을 부스팅하는 긴 노출 시간을 결정할 수 있고, 장면에서 중간 톤들의 더 정확한 밝기 값을 유지하는 중간-길이 노출 시간을 결정할 수 있다. 카메라 프로세서(들) (14) 는 그 후 HDR 이미지를 생성하기 위해 3 개 이상의 이미지들을 함께 융합할 수 있다.

MFHDR 이미지 캡처는 상이한 시간들에서 캡처된 다수의 이미지들을 융합하는 것을 포함하기 때문에, 결과적인 HDR 이미지는 고스팅 아티팩트들 및/또는 다른 모션 블러 왜곡들을 나타낼 수도 있다. 이와 같이, MFHDR 에 대한 비닝 모드 (200) 의 사용은 일반적으로 SNR 을 갖는 이미지를 초래하지만, MFHDR 모드로부터 생성된 이미지들은 캡처된 장면에 모션이 있는 경우 고스팅에 민감할 수도 있다. 일반적으로, 비닝 모드 (200) 를 사용하는 MFHDR 은 (예를 들어, 단일 비닝 프레임과 비교하여) 더 넓은 다이나믹 범위를 갖는 이미지들, (예를 들어, 비-바인딩 모드들 또는 더 적은 비닝을 갖는 모드들과 비교하여) 어두운 영역들에서 개선된 SNR 을 갖는 이미지들, 및 캡처된 장면에서 빠르게 이동하는 오브젝트들 주위에 고스팅 아티팩트들을 나타낼 수도 있는 이미지들을 초래한다.

다른 예들에서, 이미지 센서 (12) 는 QBC HDR 모드 (210) (예를 들어, 인-센서 QBC HDR 모드) 에 따라 동작하도록 구성될 수도 있다. QBC HDR 모드 (210) 에 따라 동작할 때, 이미지 센서 (12) 는 단일 이미지를 캡처하도록 구성될 수도 있다. 그러나, 이미지 캡처 프로세스 및 픽셀 융합 프로세스는 비닝 모드 (210) 와 상이하다. 도 2 에 도시된 바와 같이, QBC HDR 모드 (210) 에 대해, 컬러 필터들의 각각의 2x2 그리드는 긴 노출을 캡처하도록 구성된 하나의 픽셀 센서, 중간 길이 노출들을 캡처하도록 구성된 2 개의 픽셀 센서들, 및 짧은 노출을 캡처하도록 구성된 하나의 픽셀 센서를 포함한다. 물론, 노출 시간들의 다른 조합이 사용될 수 있다.

QBC HDR 모드 (210) 는 더 넓은 다이나믹 범위를 갖는 이미지를 생성하기 위해 동일한 시간 인스턴스에서 상이한 노출 시간들에서 광의 캡처를 허용한다. 각각의 2x2 컬러 필터 그리드 내의 4 개의 픽셀들은, 센서 부분 (212) 에 도시된 바와 같이, 각각의 컬러 채널에 대해 하나의 픽셀로 융합된다. 비닝 모드 (200) 에 비해, QBC HDR 모드 (210) 로부터 생성된 이미지들은 더 낮은 SNR 을 갖는데, 그 이유는 함께 융합되는 3 개의 노출 시간들로부터의 픽셀들이 4 개가 아니라 하나 또는 2 개의 픽셀 센서들로부터의 것이기 때문이다. 그러나, 3 개의 노출 시간들이 시간 지연 없이 거의 동시에 캡처되고 있기 때문에, QBC HDR 모드 (210) 를 사용하여 캡처된 이미지들은 고스팅을 거의 또는 전혀 나타내지 않는다. 일반적으로, QBC HDR 모드 (210) 는 단일 프레임 비닝 모드들에 비해 더 넓은 다이나믹 범위를 갖는 이미지들을 생성하고, MFHDR 모드에 비해 고스팅이 거의 없거나 전혀 없는 이미지들을 생성하며, MFHDR 모드에 비해 장면의 어두운 영역들에서 더 낮은 SNR 을 갖는 이미지들을 생성한다.

도 3 는 도 1 의 컴퓨팅 디바이스의 예시적인 컴포넌트들을 보다 상세하게 나타낸 블록도이다. 도 3 의 기법들은 HDR 선택기 (19) 에 대해 설명될 것이다. 위에서 설명된 바와 같이, HDR 선택기 (19) 는 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 임의의 조합으로 구현될 수 있고, 카메라 프로세서(들) (14), ISP (23), CPU (16), 및/또는 컴퓨팅 디바이스 (10) 의 임의의 다른 프로세싱 유닛의 일부일 수 있다는 것이 이해되어야 한다.

HDR 선택기 (19) 는 이미지 센서 (12) 로부터 프리뷰 이미지 (300) 를 수신하도록 구성될 수 있다. 이와 관련하여, 프리뷰 이미지 (300) 는 컴퓨팅 디바이스 (10) 의 카메라 애플리케이션을 사용하는 동안 사용자에게 디스플레이되고 그리고/또는 카메라 설정들을 결정하기 위해 카메라 프로세서(들) (14) 에 의해 사용되는 이미지 센서 (12) 에 의해 캡처된 임의의 이미지일 수 있다. 프리뷰 이미지 (300) 는 전형적으로 컴퓨팅 디바이스 (10) 상에 저장될 "스냅샷" 이 아니라, 오히려 캡처될 장면을 배열하기 위해 사용자에 의해 사용되고, 카메라 기능들 (예컨대, 3A 설정들) 을 설정하기 위해 ISP (23) 에 의해 사용된다. 본 개시의 기법들에 따르면, HDR 선택기 (19) 는 프리뷰 이미지 (300) 를 분석하여 HDR 이미지 (예를 들어, 출력 이미지 (314)) 를 캡처하고 생성하는데 사용할 복수의 이미지 캡처 기법들 (예를 들어, HDR 이미지 캡처 기법들) 중 하나를 결정하도록 구성될 수 있다. 일부 예들에서, HDR 선택기 (19) 는, 조명 조건들 및 장면이 시간에 따라 변할 수 있기 때문에, 프리뷰 이미지들을 (예를 들어, 설정 시간 간격으로) 연속적으로 분석하여 복수의 이미지 캡처 기법들 중 하나의 결정을 연속적으로 업데이트하도록 구성될 수 있다. 컴퓨팅 디바이스 (10) 는 임의의 이미지 캡처 모드를 사용하여 프리뷰 이미지 (300) 를 캡처하도록 구성될 수 있다. 일부 예들에서, 컴퓨팅 디바이스 (10) 는 프리뷰 이미지 (300) 를 캡처하기 위해 인-센서 QBC HDR 모드를 사용할 수도 있다.

HDR 선택기 (19) 는 먼저 프리뷰 이미지 (300) 와 연관된 히스토그램 정보 (304) 를 분석하도록 구성될 수 있다. 히스토그램 정보 (304) 는 프리뷰 이미지 (300) 의 픽셀들 각각에 대한 밝기 값들 (예를 들어, 휘도 값들) 의 히스토그램을 포함할 수 있다. 일부 예들에서, HDR 선택기 (19) 또는 카메라 프로세서(들) (14) 및/또는 CPU (16) 의 다른 기능 유닛은 프리뷰 이미지 (300) 의 픽셀들의 밝기 값들의 히스토그램을 결정하도록 구성될 수 있다. 히스토그램 정보에 관한 더 많은 정보가 도 7 을 참조하여 아래에서 설명된다.

본 개시의 일 예에서, HDR 선택기 (19) 는 프리뷰 이미지의 픽셀들의 밝기 값들에 기반하여 프리뷰 이미지 (300) 가 HDR 장면인지를 결정하도록 구성될 수 있다. 일반적으로, HDR 장면은 히스토그램의 저포화 (예를 들어, 매우 어두운) 영역 및 과포화 (예를 들어, 매우 밝은) 영역 둘 모두에서 비교적 높은 백분율의 밝기 값들을 가질 것이다. HDR 선택기 (19) 가 프리뷰 이미지가 HDR 장면이 아니라고 결정하면, HDR 선택기 (19) 는 단일 프레임 이미지 캡처 기법을 사용하여 후속 이미지들을 캡처하도록 구성될 수도 있다. 즉, 캡처되는 실제 장면이 HDR 특성들을 갖지 않으면 (예를 들어, 장면에 넓은 범위의 밝기 값들이 존재하지 않으면), HDR 이미지 캡처 기법을 사용하는 것은 어떠한 이점도 제공하지 않을 수도 있고, 실제로 출력 이미지 (314) 의 SNR 을 감소시킬 수도 있다.

대신에, HDR 선택기 (19) 는 높은 SNR 이미지 캡처 기법을 사용하기로 결정할 수도 있다. 높은 SNR 이미지 캡처 기법들의 예들은 ADRC (adaptive dynamic range coding) 을 위한 단일 비닝 프레임 캡처 기법, 단일 비닝 프레임 (예를 들어, 도 2 의 2x2 비닝 모드 (200)), 및/또는 단일 프레임 제거 모드를 포함할 수도 있다. 높은 SNR 의 사용은, 단일 프레임 이미지 캡처 기법이 한 번에 단일 이미지만이 캡처되기 때문에 (예를 들어, 이미지 융합이 수행되지 않기 때문에) 이미지에서 고스팅의 가능성을 크게 감소 및/또는 제거한다. 추가로, 단일 프레임 이미지 캡처 기법 (예를 들어, 비닝 프레임) 의 사용은 일반적으로 결과 이미지에서 높은 SNR 을 초래한다.

HDR 선택기 (19) 가, 히스토그램 정보 (304) 에 기반하여, 프리뷰 이미지 (300) 가 HDR 장면이라고 결정하면, HDR 선택기는 프리뷰 이미지 (300) 에서 검출된 모션에 추가로 기반하여 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하도록 결정할 수 있다. 전술된 바와 같이, 복수의 HDR 이미지 캡처 기법들은 MFHDR, 스태거드 HDR, 인-센서 QBC HDR 뿐만 아니라 다른 HDR 기법들을 포함할 수 있다. 또한, 본 개시의 기법들에 따르면, HDR 선택기 (19) 는, 모션이 검출되지만, 모션이 프리뷰 이미지 (300) 의 어두운 영역에 있지 않을 때, 단일의 긴 노출 비닝과 융합된 QBC HDR 프레임의 사용을 포함하는 HDR 캡처 기법을 선택하도록 추가로 구성될 수도 있다.

모션 검출 정보 (302) 는 프리뷰 이미지 (300) 에서 검출된 모션이 있는지 여부 및 프리뷰 이미지 (300) 에서 모션이 검출된 곳의 표시 둘 다를 포함할 수 있다. 프리뷰 이미지 (300) 에서 모션의 위치는 프리뷰 이미지 (300) 의 비교적 어두운 영역인지 또는 비교적 밝은 영역인지에 대한 정보를 더 포함할 수 있다. 모션 검출 정보에 대한 상세한 설명은 도 6 을 참조하여 이하 설명된다.

본 개시의 일 예에서, 프리뷰 이미지가 HDR 장면이라는 결정에 기반하여, HDR 선택기 (19) 는 모션이 프리뷰 이미지에 존재하는지를 검출하도록 추가로 구성될 수도 있다. 모션 검출은 HDR 선택기 (19) 에 의해 수행될 수 있거나, 카메라 프로세서(들) (14) 및/또는 CPU (16) 의 다른 기능 유닛은 프리뷰 이미지 (300) 와 이전에 캡처된 프리뷰 이미지의 비교에 기반하여 모션 검출 정보 (302) 를 생성할 수 있다. HDR 선택기 (19) 는, 모션이 프리뷰 이미지 (300) 에 존재하지 않는다는 것을 검출하는 것에 기반하여 제 1 HDR 이미지 캡처 기법을 사용하도록 결정할 수 있고, 제 1 HDR 이미지 캡처 기법은 복수의 이미지들을 캡처하는 것을 포함한다. 일 예에서, 제 1 HDR 이미지 캡처 기법은 다중 프레임 HDR (MFHDR) 이미지 캡처 기법 또는 스태거링된 다중 프레임 HDR 이미지 캡처 기법 중 하나이다. MFHDR 및 다른 다중 프레임 HDR 캡처 기법들은 고스팅에 민감하지만, MFHDR 은 일반적으로 높은 SNR 을 갖는 이미지를 생성한다. 그러나, HDR 선택기 (19) 가 프리뷰 이미지 (300) 에서 검출된 모션이 없다고 결정했기 때문에, 고스팅의 확률이 낮기 때문에 MFHDR 또는 다른 다중 프레임 HDR 캡처가 사용될 수 있다.

다른 예들에서, 프리뷰 이미지 (300) 가 HDR 장면이라는 결정에 기반하여, HDR 선택기 (19) 는, 모션이 프리뷰 이미지 (300) 에 존재하는지를 검출하고, 모션이 프리뷰 이미지 (300) 에 존재한다는 검출에 기반하여, 모션이 프리뷰 이미지 (300) 의 어두운 영역에 있는지를 결정하도록 추가로 구성될 수 있다. HDR 선택기 (19) 는, 모션이 프리뷰 이미지의 어두운 영역에 있다는 결정에 기반하여 단일-프레임 HDR 이미지 캡처 기법 (예를 들어, 인-센서 QBC HDR) 을 사용하기로 결정할 수 있다. QBC HDR 과 같이, 단일 프레임 HDR 기법은 고스팅에 민감하지 않지만, 일반적으로 더 낮은 SNR 을 제공할 수도 있다. 그러나, 어두운 영역에 대한 SNR 을 증가시키는 것은, 모션이 어두운 영역에서 검출되면, 고스팅 효과들을 초래할 수 있다. 장면의 어두운 영역에서 모션을 갖는 HDR 장면들에 대해 QBC HDR 을 사용하는 것은, 고스팅 아티팩트들을 제한하는 것과 높은 SNR 을 유지하는 것 사이의 최상의 절충안을 제공할 수 있다.

HDR 선택기 (19) 는 모션이 프리뷰 이미지 (300) 의 어두운 영역에 있지 않다는 결정에 기반하여 단일 프레임 이미지 캡처 기법과 함께 단일 프레임 HDR 이미지 캡처 기법 (예를 들어, QBC HDR) 을 사용하기로 결정하도록 구성될 수 있다. 단일 프레임 HDR 이미지를 단일 프레임 이미지 캡처 (예를 들어, 긴 노출 비닝 프레임) 로부터의 이미지와 융합하는 것은, 특히 장면의 더 어두운 영역들에 대해, 높은 SNR 을 제공하는 한편, 밝은 영역들에서의 고스팅에 덜 민감하다.

HDR 선택기 (19) 는 융합 가중치를 결정하도록 추가로 구성될 수도 있고, 여기서 더 많은 긴 노출 비닝 프레임이 장면이 어둡지만 모션이 없는 영역들에서 QBC HDR 이미지와 함께 융합 (예를 들어, 블렌딩) 된다. 예를 들어, HDR 선택기 (19) 는 픽셀 밝기 값의 함수로서 블렌딩 가중치를 결정하도록 구성될 수도 있다. 더 밝은 장면의 영역들에 대해, 더 낮은 양의 긴 노출 비닝 프레임 (예를 들어, 최대 없음) 이 QBC HDR 이미지와 함께 융합된다. 이는 HDR 선택기 (19) 가 밝은 영역에서의 모션을 검출했기 때문이다. 장면의 밝은 영역에서의 긴 노출 비닝 프레임을 모션과 융합하면 고스팅이 발생할 수 있다. 그러나, 장면의 밝은 영역들은 일반적으로 장면의 더 어두운 영역들보다 더 높은 SNR 을 갖기 때문에, QBC HDR 이미지로부터의 픽셀들이 출력 이미지 (314) 의 대부분을 구성하더라도 높은 전체 SNR 이 여전히 획득될 수 있다.

HDR 선택기 (19) 에 의해 선택된 이미지 캡처 기법에 기반하여, HDR 선택기 (19) 또는 컴퓨팅 디바이스 (10) 의 다른 프로세싱 유닛은 이미지 센서 (12) 가 하나 이상의 이미지(들) (308) 을 캡처하게 할 수 있다. 전술한 바와 같이, 일부 상황들에서, HDR 선택기 (19) 는 단일 이미지만이 이미지 센서 (12) 에 의해 캡처되는 HDR 이미지 캡처 기법들을 선택할 수 있거나, 다수의 이미지(들) (308) 가 이미지 센서 (12) 에 의해 캡처되는 HDR 이미지 캡처 기법들을 선택할 수 있다. 이미지(들) (308) 가 다수의 이미지들을 포함하면, 다수의 이미지들은 융합 제어 유닛 (310) 에 의해 프로세싱될 수 있다. 일반적으로, 융합 제어 유닛 (310) 은 다수의 이미지들을 단일 이미지로 융합 및/또는 블렌딩하는 프로세싱 기법들을 적용할 수 있다. 그 후, 융합된 이미지는 톤 맵핑 유닛 (312) 으로 전달된다. 이미지(들) (308) 가 단일 이미지만을 포함하면, 이미지 (308) 는 톤 맵핑 유닛 (312) 으로 직접 전달될 수 있다. 톤 맵핑 (312) 은 수신된 이미지에 톤 맵핑 프로세스를 적용할 수 있다. 일반적으로, 톤 맵핑 프로세스는 보다 제한된 다이나믹 범위들 (예를 들어, 디스플레이들) 을 가질 수 있는 매체들에 대한 HDR 이미지들의 외관을 근사화 및/또는 개선하기 위해 (예를 들어, 입력 이미지로부터의) 한 세트의 컬러들을 다른 세트의 컬러들에 맵핑한다. 톤 맵핑 유닛 (312) 은 그 후 저장 및/또는 디스플레이를 위해 출력 이미지 (314) (예를 들어, HDR 이미지) 를 전송할 수도 있다.

도 4 는 도 3 의 컴퓨팅 디바이스의 예시적인 컴포넌트들을 보다 상세하게 나타낸 블록도이다. 도 4 는 HDR 선택기 (19) 가 히스토그램 정보 (304) 및 모션 검출 정보 (302) 에 기반하여 4개의 이미지 캡처 기법들 중 하나를 선택하도록 구성되는 예를 도시한다. 전술한 바와 같이, HDR 선택기 (19) 는 다양한 조건들에 대해 높은 SNR, 넓은 다이나믹 범위, 및 최소 내지 무 고스팅을 달성하는 4 개의 이미지 캡처 기법들 중 하나를 선택하도록 구성될 수도 있다.

HDR 선택기 (19) 는, 히스토그램 정보 (304) 가 프리뷰 이미지 (300) 의 장면이 HDR 장면임을 나타내고 그리고 모션 검출 정보 (302) 가 모션이 존재하지만, 프리뷰 이미지 (300) 의 어두운 영역에 존재하지 않는다고 나타내는, 상황들에 대해 긴 노출 비닝 프레임 (이미지들 (308A)) 에 더하여 인-센서 QBC HDR 이미지 캡처 기법을 선택하도록 구성될 수 있다. 이미지 (308A) 는 그 후 이미지 캡처 기법에 대한 다수의 이미지들이 존재하기 때문에 블렌딩을 위해 융합 제어 (310) 로 전달될 수 있다.

도 8 ~ 도 9 를 참조하여 아래에서 설명될 바와 같이, HDR 선택기 (19) 는 인-센서 QBC HDR 프레임에서의 밝기 (예를 들어, 휘도 값) 에 기반하여 블렌딩 가중치를 추가로 결정할 수 있다. 인-센서 QBC HDR 프레임 플러스 긴 노출 비닝 프레임의 조합은 (예를 들어, QBC HDR 프레임으로부터의) 넓은 다이나믹 범위, (예를 들어, QBC HDR 프레임의 어두운 영역들에서 긴 노출 비닝 프레임을 융합하는 것으로부터) 높은 SNR 을 갖고, 고스팅을 거의 갖지 않거나 전혀 갖지 않는 출력 이미지 (314) 를 초래한다. 이미지들 (308) 의 융합은 긴 노출 비닝 프레임이 모션이 검출되지 않은 프레임의 어두운 영역에서 더 많이 블렌딩되기 때문에 고스팅을 거의 초래하지 않는다.

HDR 선택기 (19) 는, 히스토그램 정보 (304) 가 프리뷰 이미지 (300) 의 장면이 HDR 장면임을 나타내고 그리고 모션 검출 정보 (302) 가 모션이 프리뷰 이미지 (300) 에 존재하지 않음을 나타내는, 상황들에 대해 MFHDR 이미지 캡처 기법 (예를 들어, 이미지들 (308B)) 을 선택하도록 구성될 수 있다. 이미지들 (308B) 은 상이한 길이 노출들로 상이한 시간들에서 캡처된 3 개의 비닝 프레임들을 포함할 수 있다. 이미지들 (308B) 은 그 후 이미지 캡처 기법에 대한 다수의 이미지들이 존재하기 때문에 블렌딩을 위해 융합 제어 (310) 로 전달될 수 있다. 일반적으로, MFHDR 은 넓은 다이나믹 범위 및 높은 SNR 을 갖는 출력 이미지 (314) 를 생성할 수도 있다. MFHDR 이 고스팅을 겪지만, 프리뷰 이미지 (300) 에서 모션이 검출되지 않았기 때문에 출력 이미지 (314) 에서 고스팅이 예상되지 않을 것이다.

HDR 선택기 (19) 는, 히스토그램 정보 (304) 가 프리뷰 이미지 (300) 의 장면이 HDR 장면임을 나타내고 그리고 모션 검출 정보 (302) 가 모션이 존재하지만, 프리뷰 이미지 (300) 의 어두운 영역에 모션이 존재한다고 나타내는, 상황들에 대해 인-센서 QBC HDR 이미지 캡처 기법 (이미지 (308C)) 을 선택하도록 구성될 수 있다. 이미지 (308C) 는 그 후 이 이미지 캡처 기법에 대한 다수의 이미지들이 없기 때문에 톤 맵핑 유닛 (312) 으로 직접 전달될 수 있다. 인-센서 QBC HDR 캡처 기법은 일반적으로 MFHDR 또는 QBC HDR 보다 더 낮은 SNR 플러스 긴 노출 비닝 프레임을 갖지만, 단일-프레임 인-센서 QBC HDR 프레임은 모든 조건들에 대해 최소의 고스팅을 갖거나 고스팅이 없으며 넓은 다이나믹 범위를 갖는 출력 이미지 (314) 를 생성한다. 인-센서 QBC HDR 캡처 기법의 선택을 위한 선택을 위해 모션이 어두운 영역에 있기 때문에, san QBC HDR 프레임의 어두운 영역들을 개선하기 위한 임의의 시도는 원치 않는 고스팅을 유발할 수 있다.

HDR 선택기 (19) 는 히스토그램 정보 (304) 가 프리뷰 이미지 (300) 의 장면이 HDR 장면이 아님을 표시하는 상황들에 대해 단일 비닝 프레임 (예를 들어, ADRC 에 대한 비닝 프레임) 이미지 캡처 기법 (이미지 (308D)) 을 선택하도록 구성될 수 있다. 이미지 (308D) 는 그 후 이 이미지 캡처 기법에 대한 다수의 이미지들이 없기 때문에 톤 맵핑 유닛 (312) 으로 직접 전달될 수 있다. ADRC 에 대한 단일 비닝 프레임은 일반적으로 높은 SNR 을 가지며, 모든 조건들에 대해 고스팅이 자유롭지만, 다른 3 개의 기법들에 비해 출력 이미지 (314) 에서 더 좁은 다이나믹 범위를 나타낸다. 그러나, 히스토그램 정보 (304) 가 장면이 HDR 장면이 아님을 나타내었기 때문에, 더 좁은 다이나믹 범위로 이미지를 캡처하는 것은 사용자에게 눈에 띄지 않을 것이다.

도 5 는 본 개시의 예시적인 방법을 도시한 플로우차트이다. HDR 선택기 (19) 는 먼저 히스토그램 정보 (304) 에 액세스하고 프리뷰 이미지의 장면이 HDR 장면인지를 결정할 수 있다 (400). 장면이 HDR 장면이 아니면 (400 에서 아니오), HDR 선택기 (19) 는 이미지 (308D) 를 생성하는 HDR 선택 4 (예를 들어, ADRC 에 대한 단일 비닝 프레임) 를 선택한다. 일반적으로, HDR 선택 4 는 높은 SNR, 좁은 다이나믹 범위, 이미지 캡처 기법이다.

장면이 HDR 장면이면 (400 에서 예), HDR 선택기는 그 후에 모션 검출 정보를 체크하도록 진행할 수도 있다 (302). 먼저, HDR 선택기 (19) 는 프리뷰 이미지에서 검출된 어떠한 모션이 있는지를 결정할 수 있다 (402). 프리뷰 이미지에서 검출된 모션이 없다면 (402 에서 아니오), HDR 선택기 (19) 는 이미지들 (308B) 을 생성하기 위해 HDR 선택 2 (예를 들어, MFHDR) 를 선택한다. 일반적으로, HDR 선택 2 는 다중-프레임 HDR 이미지 캡처 기법이다.

프리뷰 이미지에서 검출된 모션이 있다면 (402 에서 예), HDR 선택기 (19) 는 그 후에 프리뷰 이미지의 어두운 영역에서 모션이 있는지를 결정한다 (404). 어두운 영역에서 모션이 없다면 (404 에서 아니오), HDR 선택기 (19) 는 이미지들 (308) 을 생성하기 위해 HDR 선택 1 (예를 들어, 인-센서 QBC HDR + 긴 노출 비닝 프레임) 을 선택한다. 어두운 영역에서 모션이 있다면 (404 에서 예), HDR 선택기 (19) 는 이미지들 (308C) 을 생성하기 위해 HDR 선택 3 (예를 들어, 인-센서 QBC HDR 프레임) 을 선택한다.

도 6 은 예시적인 모션 맵을 도시하는 개념도이다. 도 6 은 모션 맵 (600) 및 모션 맵 (610) 을 도시한다. 모션 맵들 (600 및 610) 은 모션 검출 정보 (302) 의 예들이다. 모션 맵 (600) 에 도시된 바와 같이, 흑색 마킹된 영역들 (602) 은 모션의 영역들을 나타낸다. 마찬가지로, 모션 맵 (610) 에서, 흑색 마킹된 영역들 (604) 은 모션의 영역들을 나타낸다. HDR 선택기 (19) 는 모션 맵들을 사용하여 프리뷰 이미지 내의 장면들이 이동하는 오브젝트들을 갖는지 여부를 결정할 수 있다.

HDR 선택기 (19) 또는 컴퓨팅 디바이스 (10) 의 다른 프로세싱 유닛은 임의의 기법을 사용하여 프리뷰 이미지에서의 모션을 계산할 수도 있다. 일 예로서, HDR 선택기 (19) 는 이전에 캡처된 프리뷰 이미지의 픽셀들과 비교하여 현재 프리뷰 이미지의 픽셀들 사이의 SAD (sum of absolute differences) 를 결정할 수도 있다. 현재 프레임 및 이전 프레임의 픽셀 위치의 SAD 가 일부 임계값보다 크면, 모션이 그 픽셀에 대해 검출된다. 그렇지 않으면, 모션이 검출되지 않는다.

일 예에서, 임계치는 9 내지 15 이다.

HDR 선택기 (19) 는 그리드 통계들에 따라 임의의 모션이 어두운 영역 또는 밝은 영역에 있는지를 결정하도록 추가로 구성될 수도 있다. 도 6 에 도시된 바와 같이, 모션 맵들 (600 및 610) 은 그리드로 분할될 수 있으며, 여기서 각각의 그리드는 픽셀들의 MxN 영역을 나타낸다. 모션이 검출된 그리드의 밝기 (예를 들어, 그리드 내의 픽셀들의 평균 밝기) 가 미리 결정된 임계값보다 크면, HDR 선택기 (19) 는 프리뷰 이미지의 밝은 영역에 모션이 있는 것으로 결정할 수 있다. 그렇지 않으면, HDR 선택기 (19) 는 모션이 프리뷰 이미지의 어두운 영역에 있다고 결정한다.

일 예에서, 임계치는 (예를 들어, 감마 보정 전에) 선형 도메인에서 대략 100 이다.

도 7 은 예시적인 밝기 히스토그램을 도시하는 개념도이다. 도 7 은 HDR 선택기 (19) 및/또는 컴퓨팅 디바이스 (10) 의 다른 프로세싱 회로부에 의해 생성되고 히스토그램 정보 (304) 에 포함될 수 있는 예시적인 히스토그램들 (700, 710, 및 714) 을 도시한다. 히스토그램 (700) 에 도시된 바와 같이, 히스토그램은 이미지 센서 (12) 에 의해 검출될 수 있는 가능한 밝기 값들 각각을 갖는 프리뷰 이미지 내의 픽셀들의 수를 나타내는 정보를 포함한다. 이 예에서, 밝기 값들 (예를 들어, 휘도 값들) 의 디지털 값들은 0 내지 255 의 범위일 수 있다. 컴퓨팅 디바이스 (10) 는 각각의 히스토그램에 대해 어두운 영역 (702) 및 포화 영역 (704) (예를 들어, 밝은 영역) 을 추가로 규정할 수 있다. 히스토그램 (700) 의 예에서, 어두운 영역은 값 0 내지 15 (예를 들어, 빈 0 내지 15) 인 반면, 포화된 영역은 값 250 내지 255 (예를 들어, 빈 250 내지 255) 이다. 물론, 다른 크기의 어두운 영역 및 포화 영역이 사용될 수 있다.

HDR 선택기 (19) 는 프리뷰 이미지가 HDR 장면인지 여부를 결정하기 위해 히스토그램 분포 정보를 사용할 수 있다. HDR 선택기 (19) 또는 컴퓨팅 디바이스 (10) 의 다른 프로세싱 유닛은 포화 픽셀들 (즉, 밝은 픽셀들) 의 수를 픽셀들의 총 수 (예를 들어, 모든 포화 픽셀들/모든 픽셀들) 로 나눔으로써 포화 영역 백분율을 계산할 수 있다. HDR 선택기 (19) 는 어두운 픽셀들의 수를 픽셀들의 총 수로 나눔으로써 어두운 영역 백분율을 더 계산할 수 있다 (예를 들어, 모든 어두운 픽셀들/모든 픽셀들). 어두운 영역 백분율에 더해진 포화 영역 백분율이 미리 결정된 임계값보다 크면, HDR 선택기 (19) 는 프리뷰 이미지의 장면이 HDR 장면이라고 결정할 수 있다. 그렇지 않다면, HDR 선택기 (19) 는 프리뷰 이미지의 장면이 HDR 장면이 아니라고 결정할 수도 있다. 일 예에서, 포화 영역 (예를 들어, 밝은 픽셀들) 은 히스토그램에서 이용가능한 밝기 값들의 가장 높은 95% ~ 100% 로서 규정된다. 어두운 영역은 히스토그램에서 이용가능한 밝기 값들의 가장 낮은 0 ~ 25% 로서 규정된다. 물론, 포화 및 어두운 영역들의 규정들은 다른 애플리케이션들을 위해 조정될 수 있다.

히스토그램 (710) 은 HDR 장면의 히스토그램의 예를 도시하며, 여기서 어두운 영역 백분율은 5% 이고, 포화 영역 백분율은 15% 이다. 히스토그램 (714) 은 비-HDR 장면의 히스토그램의 예를 도시하며, 여기서 어두운 영역 백분율은 3% 이고, 포화 영역 백분율은 0.7% 이다.

도 8 은 HDR 및 비닝 프레임 이미지 캡처 기법에 대해 보다 자세히 도 3 의 컴퓨팅 디바이스의 예시적인 컴포넌트들을 나타내는 블록도이다. 특히, 도 8 은 HDR 선택기 (19) 가 생성된 출력 이미지 (314) 에 대한 HDR 선택 1 (예를 들어, 인-센서 QBC HDR 프레임 + 긴 노출 비닝 프레임) 을 선택하는 예를 도시한다. 이 예에서, 융합 제어 유닛 (310) 은 QBC-HDR 가중치 (316) 에 따라 QBC HDR 프레임을 긴 노출 비닝 프레임과 융합하도록 구성될 수도 있다.

HDR 선택기 (19) 또는 컴퓨팅 디바이스 (10) 의 다른 프로세싱 유닛은 출력 이미지 (314) 내의 각각의 픽셀에 대한 QBC-HDR 가중치 (316) 를 결정하도록 구성될 수 있다. 예를 들어, HDR 선택기 (19) 는 QBC-HDR 가중치 (316) 를 프리뷰 이미지 내의 픽셀 강도 (예를 들어, 밝기 또는 휘도) 의 함수로서 결정하도록 구성될 수 있다.

일 예에서, HDR 선택기 (19) 는 다음과 같이 QBC-HDR 가중치 (316) 를 계산할 수도 있다:

여기서, MIN 은 최소 함수이고, MAX 는 최대 함수이며, T_luma 는 픽셀 세기이고, th1 은 제 1 임계치이고, th2 는 제2 임계치이다. 도 9 는 도 8 의 기법들과 함께 사용되는 QBC-HDR 융합 가중치의 예시적인 플롯 (900) 을 도시하는 개념도이다. 도 9 에서 알 수 있는 바와 같이, QBC-HDR 가중치 (316) 는 0 의 픽셀 강도 값들로부터 제 1 임계치 (th1) 까지의 0 의 값을 갖는다. 픽셀 강도 값들의 제 1 임계치 (th1) 로부터 제 2 임계치 (th2) 까지, QBC-HDR 가중치 (316) 는 0 으로부터 1 까지 선형적으로 증가한다. 제 2 임계치 (th2) 보다 큰 픽셀 강도 값들에 대해, QBC-HDR 가중치는 1 이다. th1 및 th2 의 값은 조절가능할 수 있다.

일반적으로, 융합 제어 (310) 는 더 밝은 픽셀들에 대해 QBC HDR 프레임에 더 높은 가중치를 그리고 긴 노출 비닝 프레임에 더 낮은 가중치를 적용하도록 구성될 수도 있다. 융합 제어 유닛 (310) 은 다음의 식을 이용하여 융합 이미지를 생성할 수 있다:

QBC-HDR 가중치 (픽셀 강도) * QBC HDR 프레임 + (1- QBC-HDR 가중치 (픽셀 강도)) * 비닝 프레임

위의 식에서, 용어 QBC-HDR (픽셀 강도) 은 임의의 특정 픽셀에서의 QBC-HDR 가중치가 그 픽셀의 강도 (예를 들어, 밝기) 의 함수임을 나타낸다. 플롯 (900) 으로부터 알 수 있는 바와 같이, 픽셀 강도가 높을수록 (예를 들어, 밝기가 높을수록), QBC-HDR 가중치에 대한 값이 더 높다. 이와 같이, HDR 선택 1 에 대해, 융합 제어 유닛 (310) 은 매우 어두운 픽셀 강도들 (예를 들어, th1 아래) 에 대해 긴 노출 비닝 프레임으로부터의 픽셀들을 더 사용할 것이고, 매우 밝은 픽셀 강도들 (예를 들어, th2 위) 에 대해 인-센서 QBC HDR 프레임으로부터의 픽셀들을 사용할 것이고, th1 과 th2 사이의 픽셀 강도들에 대해 긴 노출 비닝 프레임과 QBC HDR 프레임으로부터의 픽셀들을 블렌딩할 것이다. 이러한 방식으로, 출력 이미지 (314) 의 어두운 영역들에서 SNR 이 개선되는 한편, 밝은 영역들에서 고스팅을 자유롭게 유지한다.

도 10 은 본 개시의 예시적인 기법들에 따른 카메라 프로세싱의 예시적인 작동을 예시하는 플로우차트이다. 도 10 의 기법들은 카메라 프로세서(들) (14) 및/또는 CPU (16) 를 포함하는, 컴퓨팅 디바이스 (10) 의 하나 이상의 구조 유닛들에 의해 수행될 수 있다.

본 개시의 하나의 예에서, 카메라 프로세서(들) (14) 및/또는 CPU (16) 는 프리뷰 이미지를 수신하도록 구성될 수도 있다 (1000). 예를 들어, 카메라 프로세서(들) (14) 및/또는 CPU (16) 는 카메라들 (15) 중 카메라로 하여금 이미지를 캡처하게 하도록 구성될 수 있다. 카메라 프로세서(들) (14) 및/또는 CPU (16) 는 프리뷰 이미지의 픽셀들의 밝기 값들에 기반하여 프리뷰 이미지가 높은 다이나믹 범위 (HDR) 장면인지를 결정하도록 추가로 구성될 수도 있다 (1010). 카메라 프로세서(들) (14) 및/또는 CPU (16) 는 프리뷰 이미지가 HDR 장면이 아니라는 결정에 기반하여 단일 프레임 이미지 캡처 기법을 사용하기로 결정하도록 구성될 수도 있다 (1020).

예를 들어, 카메라 프로세서(들) (14) 및/또는 CPU (16) 는 프리뷰 이미지의 픽셀들의 밝기 값들의 히스토그램을 결정하도록 구성될 수 있다. 프리뷰 이미지의 픽셀들의 밝기 값들에 기반하여 프리뷰 이미지가 HDR 장면인지를 결정하기 위해, 카메라 프로세서(들) (14) 및/또는 CPU (16) 는 히스토그램의 과포화 영역 및 히스토그램의 저포화 영역에서의 밝기 값들의 백분율이 (예를 들어, 위에서 설명된 바와 같이) 임계치보다 큰지에 기반하여 프리뷰 이미지가 HDR 장면인지를 결정하도록 구성될 수 있다. 일 예에서, 단일 프레임 이미지 캡처 기법은 ADRC (adaptive dynamic range coding) 을 위한 단일 비닝 프레임 캡처 기법이다.

카메라 프로세서(들) (14) 및/또는 CPU (16) 는 프리뷰 이미지가 HDR 장면이라는 결정에 기반하여, 그리고 프리뷰 이미지에서 검출된 모션에 추가로 기반하여, 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하기로 결정하도록 추가로 구성될 수도 있다 (1030). 일 예에서, 프리뷰 이미지가 HDR 장면이라는 결정에 기반하여, 그리고 프리뷰 이미지에서 검출된 모션에 추가로 기반하여, 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하기로 결정하기 위해, 카메라 프로세서(들) (14) 및/또는 CPU (16) 는, 프리뷰 이미지에 모션이 존재하는지 여부를 검출하고, 프리뷰 이미지에 모션이 존재하지 않는다는 것을 검출하는 것에 기반하여 제 1 HDR 이미지 캡처 기법을 사용하기로 결정하도록 구성될 수도 있으며, 여기서 제 1 HDR 이미지 캡처 기법은 복수의 이미지들을 캡처하는 것을 포함한다. 일 예에서, 제 1 HDR 이미지 캡처 기법은 다중 프레임 HDR (MFHDR) 이미지 캡처 기법 또는 스태거링된 다중 프레임 HDR 이미지 캡처 기법 중 하나이다.

다른 예에서, 프리뷰 이미지가 HDR 장면이라는 결정에 기반하여, 그리고 프리뷰 이미지에서 검출된 모션에 추가로 기반하여, 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하기로 결정하기 위해, 카메라 프로세서(들) (14) 및/또는 CPU (16) 는, 프리뷰 이미지에 모션이 존재하는지 여부를 검출하고, 모션이 프리뷰 이미지에 존재한다는 검출에 기반하여, 모션이 프리뷰 이미지의 어두운 영역에 있는지 여부를 결정하고, 모션이 프리뷰 이미지의 어두운 영역에 있다는 결정에 기반하여 단일-프레임 HDR 이미지 캡처 기법을 사용하기로 결정하고, 모션이 프리뷰 이미지의 어두운 영역에 있지 않다는 결정에 기반하여 단일 프레임 이미지 캡처 기법과 함께 단일-프레임 HDR 이미지 캡처 기법을 사용하기로 결정하도록 구성될 수 있다. 일 예에서, 단일-프레임 HDR 이미지 캡처 기법은 인-센서 쿼드-베이어 코딩 (QBC) HDR 이미지 캡처 기법이고, 단일 프레임 이미지 캡처 기법은 긴 노출 비닝 프레임 이미지 캡처 기법이다.

단일 프레임 이미지 캡처 기법과 함께 단일-프레임 HDR 이미지 캡처 기법을 사용할 때, 카메라 프로세서(들) (14) 및/또는 CPU (16) 는 인-센서 QBC HDR 이미지 캡처 기법을 사용하여 제 1 이미지를 캡처하고, 긴 노출 비닝 프레임 이미지 캡처 기법을 사용하여 제 2 이미지를 캡처하고, 블렌딩 가중치에 기반하여 제 1 이미지 및 제 2 이미지를 출력 이미지에 융합하도록 구성될 수도 있다. 이 예에서, 카메라 프로세서(들) (14) 및/또는 CPU (16) 는 픽셀 밝기 값들의 함수로서 블렌딩 가중치를 결정하도록 추가로 구성될 수도 있다.

상기 예들에서, 카메라 프로세서(들) (14) 및/또는 CPU (16) 는 프리뷰 이미지와 이전에 캡처된 이미지 사이의 픽셀 값들의 절대 차이들의 합의 함수에 기반하여 프리뷰 이미지에 모션이 존재하는지 여부를 검출하도록 구성될 수도 있다. 카메라 프로세서(들) (14) 및/또는 CPU (16) 는 단일 프레임 이미지 캡처 기법 또는 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하여 캡처된 하나 이상의 이미지들을 사용하여 출력 이미지를 생성하도록 구성될 수 있다 (1140). 예를 들어, 카메라 프로세서(들) (14) 및/또는 CPU (16) 는 카메라들 (15) 중 하나 이상이 단일 프레임 이미지 캡처 기법 또는 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하여 하나 이상의 이미지들을 캡처하게 하도록 구성될 수 있다.

본 개시의 다른 예시적인 예들은 이하의 조항들에서 아래에서 설명된다.

조항 1 - 카메라 프로세싱을 위해 구성된 디바이스로서, 상기 디바이스는: 이미지들을 수신하도록 구성된 메모리; 및 상기 메모리와 통신하는 하나 이상의 프로세서들을 포함하고, 상기 하나 이상의 프로세서들은, 프리뷰 이미지를 수신하고, 프리뷰 이미지의 픽셀들의 밝기 값들에 기반하여 프리뷰 이미지가 HDR (high dynamic range) 장면 인지를 결정하며, 프리뷰 이미지가 HDR 장면이 아니라는 결정에 기반하여 단일 프레임 이미지 캡처 기법을 사용하기로 결정하고, 프리뷰 이미지가 HDR 장면이라는 결정에 기반하여, 그리고 추가로 프리뷰 이미지에서 검출된 모션에 기반하여, 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하기로 결정하며, 그리고 단일 프레임 이미지 캡처 기법 또는 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하여 캡처된 하나 이상의 이미지들을 사용하여 출력 이미지를 생성하도록 구성된다.

조항 2 - 조항 1 의 디바이스에서, 프리뷰 이미지가 HDR 장면이라는 결정에 기반하여, 그리고 프리뷰 이미지에서 검출된 모션에 추가로 기반하여, 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하기로 결정하기 위해, 상기 하나 이상의 프로세서들은: 프리뷰 이미지에 모션이 존재하는지 여부를 검출하고, 프리뷰 이미지에 모션이 존재하지 않는다는 것을 검출하는 것에 기반하여 제 1 HDR 이미지 캡처 기법을 사용하기로 결정하도록 추가로 구성되며, 여기서 제 1 HDR 이미지 캡처 기법은 복수의 이미지들을 캡처하는 것을 포함한다.

조항 3 - 조항 2 의 디바이스에서, 제 1 HDR 이미지 캡처 기법은 다중 프레임 HDR (MFHDR) 이미지 캡처 기법 또는 스태거링된 다중 프레임 HDR 이미지 캡처 기법 중 하나이다.

조항 4 - 조항 1 ~ 조항 3 의 임의의 조합의 디바이스에서, 프리뷰 이미지가 HDR 장면이라는 결정에 기반하여, 그리고 프리뷰 이미지에서 검출된 모션에 추가로 기반하여, 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하기로 결정하기 위해, 상기 하나 이상의 프로세서들은: 프리뷰 이미지에 모션이 존재하는지 여부를 검출하고, 모션이 프리뷰 이미지에 존재한다는 검출에 기반하여, 모션이 프리뷰 이미지의 어두운 영역에 있는지 여부를 결정하고, 모션이 프리뷰 이미지의 어두운 영역에 있다는 결정에 기반하여 단일-프레임 HDR 이미지 캡처 기법을 사용하기로 결정하고, 모션이 프리뷰 이미지의 어두운 영역에 있지 않다는 결정에 기반하여 단일 프레임 이미지 캡처 기법과 함께 단일-프레임 HDR 이미지 캡처 기법을 사용하기로 결정하도록 추가로 구성된다.

조항 5 - 조항 4 의 디바이스에서, 단일-프레임 HDR 이미지 캡처 기법은 인-센서 쿼드-베이어 코딩 (QBC) HDR 이미지 캡처 기법이고, 단일 프레임 이미지 캡처 기법은 긴 노출 비닝 프레임 이미지 캡처 기법이다.

조항 6 - 조항 5 의 디바이스에서, 상기 하나 이상의 프로세서들은 단일 프레임 이미지 캡처 기법과 함께 단일-프레임 HDR 이미지 캡처 기법을 사용하도록 결정하고, 상기 하나 이상의 프로세서들은: 인-센서 QBC HDR 이미지 캡처 기법을 사용하여 제 1 이미지를 캡처하고, 긴 노출 비닝 프레임 이미지 캡처 기법을 사용하여 제 2 이미지를 캡처하고, 블렌딩 가중치에 기반하여 제 1 이미지 및 제 2 이미지를 출력 이미지에 융합하도록 추가로 구성된다.

조항 7 - 조항 6 의 디바이스에서, 상기 하나 이상의 프로세서들은: 픽셀 밝기 값의 함수로서 블렌딩 가중치를 결정하도록 추가로 구성된다.

조항 8 - 조항 1 ~ 조항 7 의 임의의 조합의 디바이스에서, 상기 하나 이상의 프로세서들은: 상기 프리뷰 이미지와 이전에 캡처된 이미지 사이의 픽셀 값들의 절대 차이들의 합의 함수에 기반하여 상기 프리뷰 이미지에 모션이 존재하는지 여부를 검출하도록 추가로 구성된다.

조항 9 - 조항 1 ~ 조항 8 의 임의의 조합의 디바이스에서, 하나 이상의 프로세서들은: 프리뷰 이미지의 픽셀들의 밝기 값들의 히스토그램을 결정하도록 추가로 구성된다.

조항 10 - 조항 9 의 디바이스에서, 프리뷰 이미지의 픽셀들의 밝기 값들에 기반하여 프리뷰 이미지가 HDR 장면인지를 결정하기 위해, 상기 하나 이상의 프로세서들은: 히스토그램의 과포화 영역 및 히스토그램의 저포화 영역에서의 밝기 값들의 백분율이 임계치보다 큰지에 기반하여, 프리뷰 이미지가 HDR 장면인지를 결정하도록 구성된다.

조항 11 - 조항 10 의 디바이스에서, 상기 단일 프레임 이미지 캡처 기법은 ADRC (adaptive dynamic range coding) 을 위한 단일 비닝 프레임 캡처 기법이다.

조항 12 - 조항 1 ~ 조항 11 의 임의의 조합의 디바이스에서, 단일 프레임 이미지 캡처 기법 또는 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하여 하나 이상의 이미지들을 캡처하도록 구성된 하나 이상의 카메라들을 더 포함한다.

조항 13 - 카메라 프로세싱 방법으로서, 상기 방법은: 프리뷰 이미지를 수신하는 단계, 프리뷰 이미지의 픽셀들의 밝기 값들에 기반하여 프리뷰 이미지가 HDR (high dynamic range) 장면 인지를 결정하는 단계, 프리뷰 이미지가 HDR 장면이 아니라는 결정에 기반하여 단일 프레임 이미지 캡처 기법을 사용하기로 결정하는 단계, 프리뷰 이미지가 HDR 장면이라는 결정에 기반하여, 그리고 추가로 프리뷰 이미지에서 검출된 모션에 기반하여, 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하기로 결정하는 단계, 및 단일 프레임 이미지 캡처 기법 또는 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하여 캡처된 하나 이상의 이미지들을 사용하여 출력 이미지를 생성하는 단계를 포함한다.

조항 14 - 조항 13 의 방법에서, 프리뷰 이미지가 HDR 장면이라는 결정에 기반하여, 그리고 프리뷰 이미지에서 검출된 모션에 추가로 기반하여, 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하는 단계는: 프리뷰 이미지에 모션이 존재하는지 여부를 검출하는 단계, 프리뷰 이미지에 모션이 존재하지 않는다는 것을 검출하는 것에 기반하여 제 1 HDR 이미지 캡처 기법을 사용하기로 결정하는 단계를 포함하고, 여기서 제 1 HDR 이미지 캡처 기법은 복수의 이미지들을 캡처하는 단계를 포함한다.

조항 15 - 조항 14 의 방법에서, 제 1 HDR 이미지 캡처 기법은 다중 프레임 HDR (MFHDR) 이미지 캡처 기법 또는 스태거링된 다중 프레임 HDR 이미지 캡처 기법 중 하나이다.

조항 16 - 조항 13 ~ 조항 15 의 임의의 조합의 방법에서, 프리뷰 이미지가 HDR 장면이라는 결정에 기반하여, 그리고 프리뷰 이미지에서 검출된 모션에 추가로 기반하여, 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하기로 결정하는 단계는: 프리뷰 이미지에 모션이 존재하는지 여부를 검출하는 단계, 모션이 프리뷰 이미지에 존재한다는 검출에 기반하여, 모션이 프리뷰 이미지의 어두운 영역에 있는지 여부를 결정하는 단계, 모션이 프리뷰 이미지의 어두운 영역에 있다는 결정에 기반하여 단일-프레임 HDR 이미지 캡처 기법을 사용하기로 결정하는 단계, 및 모션이 프리뷰 이미지의 어두운 영역에 있지 않다는 결정에 기반하여 단일 프레임 이미지 캡처 기법과 함께 단일-프레임 HDR 이미지 캡처 기법을 사용하기로 결정하는 단계를 포함한다.

조항 17 - 조항 16 의 방법에서, 단일-프레임 HDR 이미지 캡처 기법은 인-센서 쿼드-베이어 코딩 (QBC) HDR 이미지 캡처 기법이고, 단일 프레임 이미지 캡처 기법은 긴 노출 비닝 프레임 이미지 캡처 기법이다.

조항 18 - 조항 17 의 방법에서, 단일 프레임 이미지 캡처 기법과 함께 단일-프레임 HDR 이미지 캡처 기법을 사용하도록 결정하는 단계, 인-센서 QBC HDR 이미지 캡처 기법을 사용하여 제 1 이미지를 캡처하는 단계, 긴 노출 비닝 프레임 이미지 캡처 기법을 사용하여 제 2 이미지를 캡처하는 단계, 및 블렌딩 가중치에 기반하여 제 1 이미지 및 제 2 이미지를 출력 이미지에 융합하는 단계를 더 포함한다.

조항 19 - 조항 18 의 방법에서, 픽셀 밝기 값의 함수로서 블렌딩 가중치를 결정하는 단계를 더 포함한다.

조항 20 - 조항 13 ~ 조항 19 의 임의의 조합의 방법에서, 상기 프리뷰 이미지와 이전에 캡처된 이미지 사이의 픽셀 값들의 절대 차이들의 합의 함수에 기반하여 상기 프리뷰 이미지에 모션이 존재하는지 여부를 검출하는 단계를 더 포함한다.

조항 21 - 조항 13 ~ 조항 20 의 임의의 조합의 방법에서, 상기 프리뷰 이미지의 픽셀들의 밝기 값들의 히스토그램을 결정하는 단계를 더 포함한다.

조항 22 - 조항 21 의 방법에서, 프리뷰 이미지의 픽셀들의 밝기 값들에 기반하여 프리뷰 이미지가 HDR 장면인지를 결정하는 단계는, 히스토그램의 과포화 영역 및 히스토그램의 저포화 영역에서의 밝기 값들의 백분율이 임계치보다 큰지에 기반하여, 프리뷰 이미지가 HDR 장면인지를 결정하는 단계를 포함한다.

조항 23 - 조항 22 의 방법에서, 상기 단일 프레임 이미지 캡처 기법은 ADRC (adaptive dynamic range coding) 을 위한 단일 비닝 프레임 캡처 기법이다.

조항 24 - 조항 13 ~ 조항 23 의 임의의 조합의 방법에서, 단일 프레임 이미지 캡처 기법 또는 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하여 하나 이상의 이미지들을 캡처하는 단계를 더 포함한다.

조항 25 - 명령들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 명령들은, 실행될 때, 디바이스의 하나 이상의 프로세서들로 하여금 조항 13 ~ 조항 24 의 기법들의 임의의 조합을 수행하게 한다.

조항 26 - 카메라 프로세싱을 위한 디바이스로서, 상기 디바이스는 조항 13 ~ 조항 24 의 기법들의 임의의 조합을 수행하기 위한 수단을 포함한다.

하나 이상의 예들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합에서 구현될 수도 있다. 소프트웨어로 구현되면, 그 기능들은 컴퓨터 판독가능 매체 상의 하나 이상의 명령 또는 코드로서 저장되거나 송신될 수도 있고 하드웨어 기반 프로세싱 유닛에 의해 실행될 수도 있다. 컴퓨터 판독가능 매체들은 데이터 저장 매체들과 같은 유형의 매체에 대응하는 컴퓨터 판독가능 저장 매체들을 포함할 수도 있다. 이러한 방식으로, 컴퓨터 판독가능 매체들은 일반적으로 비일시적인 유형의 컴퓨터 판독가능 저장 매체들에 대응할 수도 있다. 데이터 저장 매체들은 본 개시에서 설명된 기법들의 구현을 위한 명령들, 코드 및/또는 데이터 구조들을 취출하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 이용가능한 매체들일 수도 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체를 포함할 수도 있다.

일 예로서, 이에 한정하지 않고, 이런 컴퓨터-판독가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광디스크 스토리지, 자기디스크 스토리지, 또는 다른 자기 저장 디바이스들, 플래시 메모리, 캐시 메모리, 또는 요망되는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 저장하는데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 컴퓨터 판독가능 저장 매체들 및 데이터 저장 매체들은, 캐리어 파들, 신호들, 또는 다른 일시적 매체들을 포함하지 않고, 그 대신 비일시적 유형의 저장 매체들과 관련되는 것으로 이해되어야 한다. 디스크 (disk) 및 디스크 (disc) 는, 본 명세서에서 사용된 바와 같이, 콤팩트 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다용도 디스크 (DVD), 플로피 디스크 및 블루-레이 디스크를 포함하고, 여기서 디스크 (disk) 들은 보통 데이터를 자기적으로 재생하는 한편, 디스크 (disc) 들은 레이저들로 데이터를 광학적으로 재생한다. 상기의 조합들이 또한, 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.

명령들은 하나 이상의 프로세서, 예컨대 하나 이상의 디지털 신호 프로세서 (DSP), 범용 마이크로프로세서, 주문형 집적 회로 (ASIC), 필드 프로그램가능 로직 어레이 (FPGA), 또는 다른 등가의 집적 또는 이산 로직 회로에 의해 실행될 수도 있다. 따라서, 본 명세서에 사용된 용어 "프로세서" 는 전술한 구조 중 임의의 것 또는 본 명세서에 설명된 기법들의 구현에 적합한 임의의 다른 구조를 지칭할 수도 있다. 또한, 기법들은 하나 이상의 회로 또는 로직 엘리먼트에서 완전히 구현될 수도 있다.

본 개시의 기법들은 무선 핸드셋, 집적 회로 (IC) 또는 IC들의 세트 (예를 들어, 칩 세트) 를 포함하여, 광범위한 디바이스들 또는 장치들에서 구현될 수도 있다. 다양한 컴포넌트들, 모듈들, 또는 유닛들은 개시된 기법들을 수행하도록 구성된 디바이스들의 기능적 양태들을 강조하기 위해 본 개시에 설명되지만, 상이한 하드웨어 유닛들에 의한 실현을 반드시 필요로 하는 것은 아니다.

다양한 예들이 설명되었다. 이들 및 다른 예들은 다음의 청구항들의 범위 내에 있다.

Claims

카메라 프로세싱을 위해 구성된 디바이스로서,
상기 디바이스는,
이미지를 수신하도록 구성된 메모리, 및
상기 메모리와 통신하는 하나 이상의 프로세서들을 포함하고,
상기 하나 이상의 프로세서들은,
프리뷰 이미지를 수신하고,
상기 프리뷰 이미지의 픽셀들의 밝기 값들에 기반하여 상기 프리뷰 이미지가 HDR (high dynamic range) 장면인지를 결정하며,
상기 프리뷰 이미지가 HDR 장면이 아니라는 결정에 기반하여 단일 프레임 이미지 캡처 기법을 사용하기로 결정하고,
상기 프리뷰 이미지가 HDR 장면이라는 결정에 기반하여, 그리고 상기 프리뷰 이미지에서 검출된 모션에 추가로 기반하여, 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하기로 결정하며,
상기 단일 프레임 이미지 캡처 기법 또는 상기 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하여 캡처된 하나 이상의 이미지들을 사용하여 출력 이미지를 생성하도록
구성되는, 카메라 프로세싱을 위해 구성된 디바이스.
제 1 항에 있어서,
상기 프리뷰 이미지가 HDR 장면이라는 결정에 기반하여, 그리고 상기 프리뷰 이미지에서 검출된 모션에 추가로 기반하여, 상기 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하기로 결정하기 위해, 상기 하나 이상의 프로세서들은,
상기 프리뷰 이미지에 모션이 존재하는지를 검출하고,
상기 프리뷰 이미지에 모션이 존재하지 않는다는 것을 검출하는 것에 기반하여 제 1 HDR 이미지 캡처 기법을 사용하기로 결정하도록 추가로 구성되고,
상기 제 1 HDR 이미지 캡처 기법은 복수의 이미지들을 캡처하는 것을 포함하는, 카메라 프로세싱을 위해 구성된 디바이스.
제 2 항에 있어서,
상기 제 1 HDR 이미지 캡처 기법은 다중-프레임 HDR (MFHDR) 이미지 캡처 기법 또는 스태거링된 다중-프레임 HDR 이미지 캡처 기법 중 하나인, 카메라 프로세싱을 위해 구성된 디바이스.
제 1 항에 있어서,
상기 프리뷰 이미지가 HDR 장면이라는 결정에 기반하여, 그리고 상기 프리뷰 이미지에서 검출된 모션에 추가로 기반하여, 상기 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하기로 결정하기 위해, 상기 하나 이상의 프로세서들은,
상기 프리뷰 이미지에 모션이 존재하는지를 검출하고,
상기 프리뷰 이미지에 모션이 존재한다는 것을 검출하는 것에 기반하여, 상기 모션이 상기 프리뷰 이미지의 어두운 영역에 있는지를 결정하며,
상기 프리뷰 이미지의 상기 어두운 영역에 상기 모션이 있다는 결정에 기반하여 단일-프레임 HDR 이미지 캡처 기법을 사용하기로 결정하고,
상기 프리뷰 이미지의 상기 어두운 영역에 상기 모션이 있지 않다는 결정에 기반하여 단일 프레임 이미지 캡처 기법과 함께 상기 단일-프레임 HDR 이미지 캡처 기법을 사용하기로 결정하도록
추가로 구성되는, 카메라 프로세싱을 위해 구성된 디바이스.
제 4 항에 있어서,
상기 단일-프레임 HDR 이미지 캡처 기법은 인-센서 쿼드-베이어 코딩 (QBC) HDR 이미지 캡처 기법이고, 상기 단일 프레임 이미지 캡처 기법은 긴 노출 비닝 프레임 이미지 캡처 기법인, 카메라 프로세싱을 위해 구성된 디바이스.
제 5 항에 있어서,
상기 하나 이상의 프로세서들은, 단일 프레임 이미지 캡처 기법과 함께 상기 단일-프레임 HDR 이미지 캡처 기법을 사용하기로 결정하고,
상기 하나 이상의 프로세서들은,
상기 인-센서 QBC HDR 이미지 캡처 기법을 사용하여 제 1 이미지를 캡처하고,
상기 긴 노출 비닝 프레임 이미지 캡처 기법을 사용하여 제 2 이미지를 캡처하며,
블렌딩 가중치에 기반하여 상기 제 1 이미지 및 상기 제 2 이미지를 상기 출력 이미지로 융합도록
추가로 구성되는, 카메라 프로세싱을 위해 구성된 디바이스.
제 6 항에 있어서,
상기 하나 이상의 프로세서들은,
픽셀 밝기 값의 함수로서 상기 블렌딩 가중치를 결정하도록 추가로 구성되는, 카메라 프로세싱을 위해 구성된 디바이스.
제 1 항에 있어서,
상기 하나 이상의 프로세서들은,
상기 프리뷰 이미지와 이전에 캡쳐된 이미지 사이의 픽셀 값들의 절대 차이들의 합의 함수에 기반하여 상기 프리뷰 이미지에 모션이 존재하는지를 검출하도록 추가로 구성되는, 카메라 프로세싱을 위해 구성된 디바이스.
제 1 항에 있어서,
상기 하나 이상의 프로세서들은,
상기 프리뷰 이미지의 상기 픽셀들의 밝기 값들의 히스토그램을 결정하도록 추가로 구성되는, 카메라 프로세싱을 위해 구성된 디바이스.
제 9 항에 있어서,
상기 프리뷰 이미지의 상기 픽셀들의 밝기 값들에 기반하여 상기 프리뷰 이미지가 상기 HDR 장면인지를 결정하기 위해, 상기 하나 이상의 프로세서들은,
상기 히스토그램의 과포화 영역 및 상기 히스토그램의 저포화 영역에서의 밝기 값들의 백분율이 임계값보다 큰지 여부에 기반하여 상기 프리뷰 이미지가 상기 HDR 장면인지를 결정하도록 구성되는, 카메라 프로세싱을 위해 구성된 디바이스.
제 10 항에 있어서,
상기 단일 프레임 이미지 캡처 기법은 ADRC (adaptive dynamic range coding) 을 위한 단일 비닝 프레임 캡처 기법인, 카메라 프로세싱을 위해 구성된 디바이스.
제 1 항에 있어서,
상기 단일 프레임 이미지 캡처 기법 또는 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하여 하나 이상의 이미지들을 캡처하도록 구성된 하나 이상의 카메라들을 더 포함하는, 카메라 프로세싱을 위해 구성된 디바이스.
카메라 프로세싱 방법으로서,
상기 방법은,
프리뷰 이미지를 수신하는 단계,
상기 프리뷰 이미지의 픽셀들의 밝기 값들에 기반하여 상기 프리뷰 이미지가 HDR (high dynamic range) 장면인지를 결정하는 단계,
상기 프리뷰 이미지가 HDR 장면이 아니라는 결정에 기반하여 단일 프레임 이미지 캡처 기법을 사용하기로 결정하는 단계,
상기 프리뷰 이미지가 HDR 장면이라는 결정에 기반하여, 그리고 상기 프리뷰 이미지에서 검출된 모션에 추가로 기반하여, 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하기로 결정하는 단계, 및
상기 단일 프레임 이미지 캡처 기법 또는 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하여 캡처된 하나 이상의 이미지들을 사용하여 출력 이미지를 생성하는 단계
를 포함하는, 카메라 프로세싱 방법.
제 13 항에 있어서,
상기 프리뷰 이미지가 HDR 장면이라는 결정에 기반하여, 그리고 상기 프리뷰 이미지에서 검출된 모션에 추가로 기반하여, 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하기로 결정하는 단계는,
상기 프리뷰 이미지에 모션이 존재하는지를 검출하는 단계, 및
상기 프리뷰 이미지에 모션이 존재하지 않는다는 것을 검출하는 것에 기반하여 제 1 HDR 이미지 캡처 기법을 사용하기로 결정하는 단계를 포함하고,
상기 제 1 HDR 이미지 캡처 기법은 복수의 이미지들을 캡처하는 것을 포함하는, 카메라 프로세싱 방법.
제 14 항에 있어서,
상기 제 1 HDR 이미지 캡처 기법은 다중-프레임 HDR (MFHDR) 이미지 캡처 기법 또는 스태거링된 다중-프레임 HDR 이미지 캡처 기법 중 하나인, 카메라 프로세싱 방법.
제 13 항에 있어서,
상기 프리뷰 이미지가 HDR 장면이라는 결정에 기반하여, 그리고 상기 프리뷰 이미지에서 검출된 모션에 추가로 기반하여, 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하기로 결정하는 단계는,
상기 프리뷰 이미지에 모션이 존재하는지를 검출하는 단계,
상기 프리뷰 이미지에 모션이 존재한다는 것을 검출하는 것에 기반하여, 상기 모션이 상기 프리뷰 이미지의 어두운 영역에 있는지를 결정하는 단계,
상기 프리뷰 이미지의 상기 어두운 영역에 상기 모션이 있다는 결정에 기반하여 단일-프레임 HDR 이미지 캡처 기법을 사용하기로 결정하는 단계, 및
상기 프리뷰 이미지의 상기 어두운 영역에 상기 모션이 있지 않다는 결정에 기반하여 단일 프레임 이미지 캡처 기법과 함께 상기 단일-프레임 HDR 이미지 캡처 기법을 사용하기로 결정하는 단계
를 포함하는, 카메라 프로세싱 방법.
제 16 항에 있어서,
상기 단일-프레임 HDR 이미지 캡처 기법은 인-센서 쿼드-베이어 코딩 (QBC) HDR 이미지 캡처 기법이고, 상기 단일 프레임 이미지 캡처 기법은 긴 노출 비닝 프레임 이미지 캡처 기법인, 카메라 프로세싱 방법.
제 17 항에 있어서,
단일 프레임 이미지 캡처 기법과 함께 상기 단일-프레임 HDR 이미지 캡처 기법을 사용하기로 결정하는 단계,
상기 인-센서 QBC HDR 이미지 캡처 기법을 사용하여 제 1 이미지를 캡처하는 단계,
상기 긴 노출 비닝 프레임 이미지 캡처 기법을 사용하여 제 2 이미지를 캡처하는 단계, 및
블렌딩 가중치에 기반하여 상기 제 1 이미지 및 상기 제 2 이미지를 상기 출력 이미지로 융합하는 단계
를 더 포함하는, 카메라 프로세싱 방법.
제 18 항에 있어서,
픽셀 밝기 값의 함수로서 상기 블렌딩 가중치를 결정하는 단계를 더 포함하는, 카메라 프로세싱 방법.
제 13 항에 있어서,
상기 프리뷰 이미지와 이전에 캡쳐된 이미지 사이의 픽셀 값들의 절대 차이들의 합의 함수에 기반하여 상기 프리뷰 이미지에 모션이 존재하는지를 검출하는 단계를 더 포함하는, 카메라 프로세싱 방법.
제 13 항에 있어서,
상기 프리뷰 이미지의 상기 픽셀들의 밝기 값들의 히스토그램을 결정하는 단계를 더 포함하는, 카메라 프로세싱 방법.
제 21 항에 있어서,
상기 프리뷰 이미지의 상기 픽셀들의 밝기 값들에 기반하여 상기 프리뷰 이미지가 상기 HDR 장면인지를 결정하는 단계는,
상기 히스토그램의 과포화 영역 및 상기 히스토그램의 저포화 영역에서의 밝기 값들의 백분율이 임계값보다 큰지 여부에 기반하여 상기 프리뷰 이미지가 상기 HDR 장면인지를 결정하는 단계를 포함하는, 카메라 프로세싱 방법.
제 22 항에 있어서,
상기 단일 프레임 이미지 캡처 기법은 ADRC (adaptive dynamic range coding) 을 위한 단일 비닝 프레임 캡처 기법인, 카메라 프로세싱 방법.
제 13 항에 있어서,
상기 단일 프레임 이미지 캡처 기법 또는 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하여 하나 이상의 이미지들을 캡처하는 단계를 더 포함하는, 카메라 프로세싱 방법.
명령들을 저장하는 비-일시적인 컴퓨터 판독가능 저장 매체로서,
상기 명령들은, 실행될 때, 디바이스의 하나 이상의 프로세서들로 하여금,
프리뷰 이미지를 수신하고,
상기 프리뷰 이미지의 픽셀들의 밝기 값들에 기반하여 상기 프리뷰 이미지가 HDR (high dynamic range) 장면인지를 결정하며,
상기 프리뷰 이미지가 HDR 장면이 아니라는 결정에 기반하여 단일 프레임 이미지 캡처 기법을 사용하기로 결정하고,
상기 프리뷰 이미지가 HDR 장면이라는 결정에 기반하여, 그리고 상기 프리뷰 이미지에서 검출된 모션에 추가로 기반하여, 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하기로 결정하며,
상기 단일 프레임 이미지 캡처 기법 또는 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하여 캡처된 하나 이상의 이미지들을 사용하여 출력 이미지를 생성하게
하는, 비-일시적인 컴퓨터 판독가능 저장 매체.
카메라 프로세싱을 위한 디바이스로서,
상기 디바이스는,
프리뷰 이미지를 수신하기 위한 수단,
상기 프리뷰 이미지의 픽셀들의 밝기 값들에 기반하여 상기 프리뷰 이미지가 HDR (high dynamic range) 장면인지를 결정하는 것,
상기 프리뷰 이미지가 HDR 장면이 아니라는 결정에 기반하여 단일 프레임 이미지 캡처 기법을 사용하기로 결정하기 위한 수단,
상기 프리뷰 이미지가 HDR 장면이라는 결정에 기반하여, 그리고 상기 프리뷰 이미지에서 검출된 모션에 추가로 기반하여, 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하기로 결정하기 위한 수단, 및
상기 단일 프레임 이미지 캡처 기법 또는 복수의 HDR 이미지 캡처 기법들 중 하나를 사용하여 캡처된 하나 이상의 이미지들을 사용하여 출력 이미지를 생성하기 위한 수단
을 포함하는, 카메라 프로세싱을 위한 디바이스.