KR20240011707A - 이미지의 적외선 기반 화이트 밸런싱 - Google Patents

Abstract

이미지 프레임에 포착된 장면의 다중 포인트 측정은 이미지 프레임에 화이트 밸런스 보정을 적용하는 것과 같이 이미지 프레임을 처리하는 데 사용될 수 있다. 일부 예에서, 이미지 프레임은 서로 다른 조명원에 의해 조명되는 부분들로 분할될 수 있다. 이미지 프레임의 서로 다른 부분들은 대응하는 부분에 대한 조명원의 색온도에 기초하여 상이하게 화이트 밸런싱될 수 있다. 장면의 다수의 포인트들에 대한 적외선 측정들은 장면의 상이한 부분들에 대한 조명원의 특성을 결정하는데 사용될 수 있다. 예를 들어, 실내 및 실외 부분을 포함하는 사진은 상이한 적외선 측정 값들을 생성하는 적어도 두 개의 조명원에 의해 조명될 수 있다. 화이트 밸런싱은 서로 다른 소스의 색온도를 보정하기 위해 이 두 부분에 다르게 적용될 수 있다.

Description

이미지의 적외선 기반 화이트 밸런싱

본 출원은 "INFRARED-BASED PROCESSING OF AN IMAGE" 을 발명의 명칭으로 하여 2021년 5월 28일자로 출원된 미국 특허출원 제17/334,182호의 이익을 주장하고, 이는 그 전체가 본 명세서에 참조에 의해 분명히 통합된다.

본 개시의 양태들은 일반적으로 이미지 처리에 관한 것이다. 본 개시 내용의 일부 특징은 이미지의 처리의 개선을 가능하게 하고 제공할 수 있다.

이미지 캡처 디바이스들, 즉 스틸 이미지 사진들 또는 비디오들에 대한 이미지들의 시퀀스들이든 간에 하나 이상의 디지털 이미지들을 캡처할 수 있는 디바이스들은 다양한 디바이스들에 포함될 수 있다. 예로서, 이미지 캡처 디바이스들은 독립형 디지털 카메라들 또는 디지털 비디오 캠코더들, 모바일 전화기들, 셀룰러 또는 위성 라디오 전화기들과 같은 카메라 장착 무선 통신 디바이스 핸드셋들, 개인 휴대 정보 단말기들 (PDA들), 패널들 또는 태블릿들, 게이밍 디바이스들, 웹캠들과 같은 컴퓨터 디바이스들, 비디오 감시 카메라들, 또는 디지털 이미징 또는 비디오 능력들을 갖는 다른 디바이스들을 포함할 수도 있다.

이미지 캡처 디바이스는 빛이 있는 상태에서 장면을 캡처하며, 장면을 비추는 빛을 조명원이라고 한다. 조명원은 일반적으로 순수한 흰색이 아니며 대신 특정 색상을 향한 편향을 가진다. 색 편향은 일반적으로 색 온도로 측정된다. 사람의 눈은 순백색이 아닌 조명을 보정할 수 있으며, 따라서 다양한 조명 조건에서 색상이 상대적으로 일관되게 나타난다. 예를 들어, 인간의 눈은 회색 물체가 회색으로 보이도록 상이한 조명 조건들에 적응한다.

이미지 캡처 디바이스에 사용되는 전자 센서는 조명원이 변경되면 동일한 장면을 다르게 인식할 수 있다. 전자 센서는 이미지를 캡처하지만 색온도가 다른 다양한 조명 조건을 보상하지 못할 수 있다. 이미지 캡처 디바이스에 사용되는 이미지 센서는 비순백색 소스로부터의 조명으로 인해 색상 시프트를 나타내는 이미지를 캡처할 수 있다. 캡처된 이미지에 나타나는 색상 시프트는 사람의 눈에 부자연스러워 보일 수 있으며 센서나 캡처 디바이스가 품질이 낮고 실제 이미지를 정확하게 캡처할 수 없다는 인식을 유발할 수 있다.

이미지 센서로부터 캡쳐된 이미지 프레임은 조명원의 조명 조건 및 색온도를 보상하기 위해 처리될 수 있다. 이미지의 화이트 밸런싱은 조명원의 색온도에 의존한다. 제1 색온도의 조명원에 대해 구성된 화이트 밸런싱은 제2 조명원의 제2 색온도를 보정하지 못할 수 있으며, 이미지에 추가 색상 시프트를 도입함으로써 사람이 볼 때 인지되는 이미지 품질을 더욱 저하시킬 수 있다.

이미지 센서로 캡처한 이미지 프레임에 적용된 화이트 밸런싱은 캡처되는 장면에 대해 조명원이 여러 개 있는 경우 이미지 품질이 더욱 저하될 수 있다. 캡처된 이미지 프레임에 대응하는 장면의 적외선 측정은 예를 들어 서로 다른 조명원을 고려하여 이미지의 화이트 밸런스를 보정하기 위해 이미지 프레임을 처리하는 데 사용될 수 있다. 적외선 측정을 사용한 처리는 장면 내의 서로 다른 광원에 기초하여 화이트 밸런스를 보정하기 위해 적외선 측정을 사용하여 이미지 프레임을 처리함으로써 이미지 프레임을 향상시킬 수 있다. 대안적으로 또는 추가적으로, 컴퓨터 비전 처리 및/또는 다른 메타데이터에 의해 생성된 특징 맵과 같은 이미지 프레임에 대응하는 다른 데이터는 예를 들어 화이트 밸런스를 보정하기 위해 이미지 프레임을 처리하는 데 사용될 수 있다.

이미지 프레임을 처리하는 데 사용되는 적외선 또는 기타 데이터가 없으면. 장면의 각 조명원이 서로 다른 색 온도를 가질 수 있으며 이미지 프레임 통계에 대해 작동하는 화이트 밸런싱 보정은 서로 다른 조명원 색상을 고려하지 않는다. 혼합된 조명원들을 갖는 장면의 화이트 밸런싱은 인간의 눈에 훨씬 더 부자연스러운 모습을 초래할 수도 있는 조명원의 색온도를 왜곡시키는 방식으로 전체 이미지를 조정하는 것을 야기할 수 있으며, 이러한 단점은 본 개시의 실시형태에 따라 기술된 데이터를 이용하여 이미지를 처리함으로써 해결될 수 있다.

캡처된 이미지 프레임에 대응하는 장면의 다중 포인트 측정은 서로 다른 조명원에 의해 조명되는 이미지 프레임의 부분을 결정하는 데 사용될 수 있다. 일부 실시형태에서, 이미지 프레임의 서로 다른 부분은 대응하는 부분에 대한 조명원의 색온도에 기초하여 상이하게 화이트 밸런싱될 수 있다. 장면의 다수의 포인트들에 대한 적외선 측정들은 장면의 상이한 부분들에 대한 조명원의 특성을 결정하는데 사용될 수 있다. 예를 들어, 실내 및 실외 부분을 포함하는 사진은 적어도 두 개의 조명원에 의해 조명될 수 있다. 장면의 실외 부분은 일광 동안 자연 조명원(예: 태양)에 의해 조명되고, 장면의 실내 부분은 인공 조명원(예: 백열전구, 형광등, LED 전구 등)에 의해 조명된다. 태양에 의해 조명된 장면의 부분들은 인공 조명원에 의해 조명된 장면의 다른 부분보다 더 높은 적외선 측정들을 가질 수 있다. 따라서 다중 포인트 적외선 측정들은 태양에 의해 조명되는 장면의 제1 부분과 실내 조명에 의해 조명되는 장면의 제2 부분을 구별하는 데 사용될 수 있다. 서로 다른 소스의 색온도를 보정하기 위해 이 두 부분에 화이트 밸런싱을 다르게 적용할 수 있으며, 이를 통해 색상 정확도가 향상되고 인간의 눈에 더욱 자연스러운 모양의 이미지가 생성된다. 화이트 밸런싱 중에 서로 다른 부분을 다르게 처리하지 않으면. 이미지 프레임은 예를 들어 청색을 너무 노란색으로 보이게 함으로써 색상을 흐릿하게 만드는 부자연스러운 색상 캐스트 (color cast) 를 포함할 수 있다.

장면의 다중 포인트 적외선 측정은 이미지 프레임보다 해상도가 낮을 수 있다. 예를 들어, 이미지 프레임은 1920 값 x 1080 값 (값은 픽셀에 대응할 수 있음) 의 해상도를 가질 수 있는 반면, 다중 포인트 적외선 측정은 8 값 x 8 값의 해상도를 가질 수 있다. 다중 포인트 적외선 측정의 낮은 해상도는 화이트 밸런싱 보정을 결정하는 능력을 크게 줄이지 않고도 적외선 측정을 캡처하는 장치의 비용과 복잡성을 줄일 수 있다. 장면은 일반적으로 하나, 두 개 또는 몇 개의 서로 다른 조명원만 포함하여, 장면에 존재하는 상이한 조명원들을 결정하는 데 고해상도 적외선 측정이 필요하지 않다.

컴퓨터 비전은 서로 다른 조명원에 의해 조명되는 이미지 프레임의 서로 다른 부분을 결정하는 데 사용될 수 있다. 컴퓨터 비전 분석은 장면의 특징을 식별할 수 있다. 컴퓨터 비전 분석은 이미지 프레임의 일부에서 야외에서 발견되는 창틀, 문틀, 나무 또는 동물과 같은 특징을 식별하고 이러한 특징을 기반으로 이미지 프레임의 제1 부분을 결정할 수 있다. 다중 포인트 적외선 측정은 컴퓨터 비전 분석과 함께 사용되어 이미지 프레임의 상이한 부분들에 대한 결정을 정제할 수 있다. 예를 들어, 몇 가지 다중 포인트 적외선 측정들은 이미지 프레임의 실외 부분을 대략적으로 정의하기 위해 사용되고, 컴퓨터 비전 분석은 실외 부분 주위의 경계를 정의하는 특징을 결정하기 위해 사용될 수 있다. 외부로 향하는 창문이 있는 실내 공간을 포함하는 장면에서, 다중 포인트 적외선 측정은 창틀 내부 이미지의 일부가 태양에 의해 조명되는지 대략적으로 식별할 수 있으며 컴퓨터 비전 분석은 장면의 실외 부분과 경계를 이루는 창틀을 식별하는 데 사용된다. 태양의 색온도를 보정하기 위해 창틀 내부 장면의 실외 부분에 제1 화이트 밸런싱을 적용하고, 창틀 주변 장면의 실내 부분에 제2 화이트 밸런싱을 적용하여 인공 조명의 색온도를 보정할 수 있다.

상이한 부분들의 결정은 또한 또는 대안적으로 이미지 프레임에 관한 메타데이터에 기초할 수도 있다. 예를 들어, 하루 중 시간 및/또는 이미지 프레임을 캡처한 날짜는 장면의 실외 영역이 머리 위 직사광선, 저녁 햇빛 또는 달빛에 의해 조명되는지 여부를 나타낼 수 있다. 다른 예로서, 이미지 프레임의 캡처 위치는 그 위치가 건물이 없는 위치에 대응하는 경우와 같이 이미지 장면이 실외 장면인지 여부를 나타낼 수도 있거나, 그 위치가 건물 위치에 대응하는 경우와 같이 혼합 조명원 장면을 나타낼 수도 있다. 메타데이터의 추가 예는 스마트 홈 어시스턴트 및/또는 다른 디바이스에 대한 무선 연결로부터 수신된 데이터를 포함한다. 이미지 프레임이 생성될 때 이미지 캡처 디바이스 근처에 있는 전구 또는 텔레비전과 같은 스마트 디바이스는 근처의 인공 조명원이 켜져 있는지 여부를 나타낼 수 있으며, 해당 이미지 프레임에 대한 메타데이터를 사용하여 이미지 프레임에 결정된 하나 이상의 부분에 대한 화이트 밸런싱을 결정하고 및/또는 이미지 프레임에 존재하는 다수의 상이한 부분들을 결정할 수 있다. 일부 실시형태에서, 켜져 있는 각 전구는 인공 광원에 의해 조명되는 이미지의 다른 부분의 존재를 나타내는 데 사용될 수 있다.

다음은, 논의된 기술의 기본적인 이해를 제공하기 위해 본 개시의 일부 양태들을 요약한다. 이 요약은 본 개시의 모든 고려되는 특징들의 광범위한 개관이 아니며, 본 개시의 모든 양태들의 핵심적인 또는 결정적인 엘리먼트들을 식별하는 것으로도 또는 본 개시의 임의의 또는 모든 양태들의 범위를 기술하는 것으로도 의도되지 않는다. 그 유일한 목적은, 하기에 제시되는 보다 상세한 설명에 대한 서두로서 본 개시의 하나 이상의 양태들의 일부 개념들을 요약 형태로 제시하는 것이다.

일반적으로, 본 개시 내용은 이미지 센서들 및 이미지 신호 프로세서(ISP), 범용 단일 코어 또는 멀티 코어 프로세서, 디지털 신호 프로세서( DSP), 주문형 집적 회로 (ASIC), 필드 프로그래밍 가능 게이트 어레이 (FPGA) 또는 기타 프로그래밍 가능 또는 고정 논리 디바이스와 같은, 이미지 센서로부터 수신된 데이터를 처리하는 회로를 갖는 디지털 카메라들을 수반하는 이미지 처리 기술들을 설명한다. 이미지 신호 프로세서는 하나 이상의 이미지 센서로부터의 이미지 프레임의 캡처를 제어하고 하나 이상의 이미지 센서로부터의 이미지 프레임을 처리하여 보정된 이미지 프레임에서 장면의 뷰를 생성하도록 구성될 수 있으며, 여기서 화이트 밸런싱은 보정된 이미지 프레임을 생성하는 프로세스의 일부로 하나 이상의 이미지 센서에서 캡처한 이미지 프레임의 색상을 조정하기 위해 적용된다. 일 예에서, 이미지 신호 프로세서는 카메라 애플리케이션과 같은 소프트웨어가 CPU 에 로딩되는 것에 응답하여 이미지 프레임의 시퀀스를 캡처하라는 명령을 수신할 수 있다. 이미지 신호 프로세서는 이미지 센서로부터 각각의 보정된 이미지에 기초하여 출력 프레임들의 단일 흐름을 생성하도록 구성될 수 있다. 출력 프레임들의 단일 흐름은 예를 들어 화이트 밸런싱에 의해 보정된 이미지 센서로부터의 이미지 데이터를 포함하는 보정된 이미지 프레임을 포함할 수 있다.

보정된 이미지 프레임은 본 개시 내용의 화이트 밸런싱의 양태들을 높은 동적 범위 (High Dynamic Range: HDR) 사진 또는 다중 프레임 잡음 감소 (Multi-Frame Noise Reduction: MFNR) 와 같은 다른 컴퓨터 사진 기술과 결합하여 생성될 수 있다. 예를 들어, 이미지 프레임의 서로 다른 부분에 적용되는 서로 다른 화이트 밸런싱은 HDR 포토그래피 또는 MFNR 포토그래피를 생성하기 위해 프레임들을 결합하기 전에 개별 프레임에 적용될 수 있다. 다른 예로서, 이미지 프레임의 서로 다른 부분에 적용되는 화이트 밸런싱은 결합된 HDR 포토그래피 이미지 프레임 또는 결합된 MFNR 포토그래피 이미지 프레임에 적용될 수 있다.

다른 이미지 처리 기술도 마찬가지로 적외선 기반 세그멘테이션을 통해 수정 및 향상될 수 있다. 예를 들어, 자동 노출 및 자동 초점 동작은 적외선 측정값을 수신하고 적외선 데이터를 각각 노출 수준을 결정하고 초점 평면을 결정하는데 사용할 수 있다. 예를 들어, 자동 초점 동작은 적외선 값이 높은 이미지의 부분을 무시할 수 있으며, 이는 이들 값이 창 밖 장면의 먼 부분에 대응하기 때문이다. 다른 예로, 자동 노출 동작은 낮은 적외선을 갖는 이미지의 부분들에 기초하여 노출 수준 또는 셔터 길이를 결정할 수 있으며, 이는 이들 부분들이 포토그래피의 의도된 객체들인 피사체를 포함할 가능성이 높기 때문이다. 또 다른 동작들은 컴퓨터 비전 작업과 같은 적외선 측정 값의 이점을 누릴 수 있다. 예를 들어, 장면 분류, 픽셀 분류, 객체 검출, 특징 추출 및/또는 평면 검출은 이미지 프레임의 양태를 결정하는 데 적외선 측정 값을 수신하고 사용할 수 있다.

장면을 나타내는 출력 프레임이 이미지 신호 프로세서에 의해 결정된 후, 장면의 뷰가 디바이스 디스플레이 상에 디스플레이되고, 픽처로서 또는 비디오로서 픽처들의 시퀀스로서 저장 디바이스에 저장되고, 네트워크를 통해 송신되고, 그리고/또는 출력 매체에 인쇄될 수도 있다. 예를 들어, 이미지 신호 프로세서는 상이한 이미지 센서들로부터의 이미지 데이터 (예를 들어, 픽셀 값들) 의 입력 프레임들을 획득하고, 차례로, 이미지 데이터의 대응하는 출력 프레임들 (예를 들어, 미리보기 디스플레이 프레임들, 정지 이미지 캡처들, 비디오에 대한 프레임들 등) 을 생성하도록 구성될 수도 있다. 다른 예에서, 이미지 신호 프로세서는 3A 매개변수 동기화(예를 들어, 자동 초점(AF), 자동 화이트 밸런스(AWB), 및 자동 노출 제어(AEC)), 출력 프레임을 통해 비디오 파일 생성, 표시용 프레임 구성, 저장용 프레임 구성 등과 같은 추가의 처리를 위한 여러 출력 디바이스들 및/또는 카메라 모듈들로 이미지 데이터의 프레임들을 출력할 수 있다. 즉, 이미지 신호 프로세서는 각각 하나 이상의 카메라 렌즈에 결합된 하나 이상의 이미지 센서로부터의 들어오는 프레임을 얻을 수 있고, 차례로 출력 프레임들의 흐름을 생성하여 여러 출력 목적지들로 출력할 수 있다. 이러한 예에서, 이미지 신호 프로세서는 시간 필터링으로 인한 감소된 고스팅 또는 다른 아티팩트를 가질 수 있는 출력 프레임들의 흐름을 생성하도록 구성될 수 있다.

본 개시의 일 양태에서, 이미지 처리를 위한 방법은 제1 이미지 프레임 및 대응하는 세트의 적외선 측정 값들을 수신하는 단계를 포함한다. 방법은 적외선 측정 값들의 세트에 기초하여 제1 이미지 프레임의 제1 부분 및 제2 부분을 결정하는 것으로 계속될 수 있다. 방법은 제1 부분의 이미지 콘텐츠에 기초하여 제1 이미지 프레임의 제1 부분에 제1 화이트 밸런싱을 적용하는 것; 및 제2 부분의 이미지 콘텐츠에 기초하여 제1 이미지 프레임의 제2 부분에 제2 화이트 밸런싱을 적용하는 것을 포함하는 동작들을 수행함으로써 제1 이미지 프레임에 기초하여 제2 이미지 프레임을 결정하는 것으로 계속될 수 있다.

하나의 예시적인 적용에서, 방법은 별도의 실내 및 실외 영역을 제1 이미지 프레임의 제1 및 제2 부분으로 결정하기 위해 적용될 수 있다. 실내 영역은 임계값 이하의 적외선 측정값을 갖고, 실외 영역은 임계값 이상의 적외선 측정값을 갖도록 적외선 측정값을 스레시홀딩하여 실내 및 실외 영역을 구분할 수 있다. 실내 부분의 픽셀들 각각의 색 강도에 대한 제1 세트의 가중치들을 더 낮은 상관 색 온도 (correlated color temperature: CCT) 에 적용하여 실내 부분이 화이트 밸런싱될 수 있다. 실외 부분은 더 높은 상관 색온도(CCT)에 대해 실외 부분의 각 픽셀의 색 강도에 대한 제2 세트의 가중치를 적용함으로써 화이트 밸런싱될 수 있다.

실내 조명과 실외 조명이 혼합된 장면의 예가 일부 예시 애플리케이션에서 설명되어 있지만, 적외선 측정 값에 의해 구별될 수 있는 서로 다른 조명원에 의해 조명된 이미지 프레임의 서로 다른 부분에 서로 다른 화이트 밸런싱의 적용이 적용될 수 있다. 다른 예로서, 백열등 및 LED 조명과 같은 상이한 실내 광원은 적외선 측정으로 구별될 수 있는데, 그 이유는 백열등의 텅스텐 필라멘트가 LED 조명의 반도체 디바이스보다 더 많은 적외선 조명을 생성하기 때문이다. 또한, 비록 장면 내의 서로 다른 광원을 구별하기 위해 적외선 측정이 설명되어 있지만, 장면의 서로 다른 부분을 구별하기 위해 다른 측정이 사용될 수도 있다. 예를 들어, 자외선(UV) 측정을 사용하여 자연 조명원과 인공 조명원을 구별할 수도 있다. 다른 예로서, 깊이 측정은 인공 조명원에 의해 조명된 가까운 실내 영역과 자연 조명원에 의해 조명된 멀리 있는 실외 영역을 구별하는 데 사용될 수 있다.

일부 양태에서, 화이트 밸런싱 동작을 위한 입력 이미지 프레임 자체가 서로 다른 노출 시간, 서로 다른 조리개, 서로 다른 렌즈, 또는 두 개의 이미지 프레임이 결합될 때 융합된 이미지의 동적 범위를 향상시킬 수 있는 다른 상이한 특성들을 사용하여 캡처된 제1 이미지 프레임과 제2 이미지 프레임의 조합인 HDR 포토그래피를 위해 방법이 수행될 수 있다. 일부 양태에서, 방법은 제1 이미지 프레임과 제2 이미지 프레임이 동일하거나 상이한 노출 시간을 사용하여 캡처되는 MFNR 포토그래피에 대해 수행될 수 있다. 본 개시의 양태에 따른 화이트 밸런싱은 예를 들어 HDR 또는 MFNR 포토그래피를 수행하기 위해 사용되는 컴퓨터 포토그래피 이후에 적용될 수 있다. 일부 실시형태에서, 본 개시의 양태에 따른 화이트 밸런싱은 HDR 또는 MFNR 포토그래피를 생성하는 컴퓨터 포토그래피 이전에 제1 및 제2 이미지 프레임에 적용될 수 있다.

일부 양태에서, 방법은 서로 다른 렌즈 구성(예를 들어, W, UW, T)을 갖는 다수의 이미지 센서에 대해 수행될 수 있다. 예를 들어, 적외선 측정 값(또는 이미지 프레임에 캡처된 장면에 관한 다른 데이터)은 서로 다른 렌즈 구성을 갖는 두 개 이상의 카메라에서 캡처된 두 개 이상의 이미지 프레임과 상관될 수 있다. 서로 상관되는 이미지 프레임 각각의 제1, 제2, 또는 추가 부분들을 결정하기 위해 서로 다른 이미지 프레임들이 처리될 수 있다. 화이트 밸런싱 또는 다른 처리는 각각의 카메라로부터 캡처된 이미지 프레임 각각 및 출력을 위한 융합된 이미지 프레임을 생성하기 위해 결합된 다수의 처리된 이미지 프레임, 또는 출력되도록, 하나 이상의 기준에 기초하여, 선택된 다수의 처리된 이미지 프레임 중 하나에 적용될 수 있다. 일부 실시형태에서, 서로 다른 카메라로부터의 개별 이미지 프레임의 처리는 각각 다수의 이미지 신호 프로세서에 의해 병렬로 처리될 수 있다. 적외선 측정 값(및/또는 이미지 프레임에 관한 기타 데이터)을 사용하여 동기화된 방식으로 다수의 카메라로부터의 처리는 다중 카메라 HDR 및/또는 (카메라가 서로 다른 위치의 서로 다른 디바이스에 포함되어 있는 경우에도) 다수의 카메라에서 이미지 프레임을 캡처하여 시야(FOV)를 재구성하는 포토 갤러리 애플리케이션에서의 파일의 후속 후처리를 수반하는 융합 기술의 이미지 품질을 개선할 수 있다. 동기화된 방식으로 다수의 카메라로부터의 처리는 또한, 예를 들어 미리보기 또는 비디오 캡처 동안 줌 변경 동안 카메라들 간을 전환할 때 측광 효과를 마스킹하는 것에 의해, 이미지 캡처 디바이스와 상호 작용하는 사용자 경험을 향상시키는 데 유용할 수 있다. 동기화된 처리는 이미지 캡처 디바이스가 센서를 변경하게 하는 방식으로 비디오를 확대하거나 축소할 때 색상의 불연속적인 변화의 영향을 줄일 수 있다.

본 개시의 추가의 양태에서, 적어도 하나의 프로세서, 및 적어도 하나의 프로세서에 커플링된 메모리를 포함하는 장치가 개시된다. 적어도 하나의 프로세서는 본 명세서에 설명된 방법들 또는 기법들 중 임의의 것을 수행하도록 구성된다. 예를 들어, 적어도 하나의 프로세서는 제1 이미지 프레임 및 대응하는 세트의 적외선 측정 값들을 수신하는 것을 포함하는 단계를 수행하도록 구성될 수 있다. 프로세서는 또한 적외선 측정 값들의 세트에 기초하여 제1 이미지 프레임의 제1 부분 및 제2 부분을 결정하도록 구성될 수 있다. 프로세서는 또한 제1 부분의 이미지 콘텐츠에 기초하여 제1 이미지 프레임의 제1 부분에 제1 화이트 밸런싱을 적용하는 것; 및 제2 부분의 이미지 콘텐츠에 기초하여 제1 이미지 프레임의 제2 부분에 제2 화이트 밸런싱을 적용하는 것을 포함하는 동작들을 수행함으로써 제1 이미지 프레임에 기초하여 제2 이미지 프레임을 결정하도록 구성될 수 있다.

적어도 하나의 프로세서는 이미지 신호 프로세서 또는 시간 필터링 및/또는 모션 보상을 인에이블 또는 디스에이블하는 것과 같은, 카메라 제어 및/또는 프로세싱을 위한 특정 기능을 포함하는 프로세서를 포함할 수도 있다. 적어도 하나의 프로세서는 또한 또는 대안적으로 애플리케이션 프로세서를 포함할 수도 있다. 본 명세서에 설명된 방법들 및 기법들은 이미지 신호 프로세서 또는 애플리케이션 프로세서에 의해 전체적으로 수행될 수도 있거나, 또는 다양한 동작들은 이미지 신호 프로세서와 애플리케이션 프로세서, 그리고 일부 양태들에서 추가적인 프로세서들에 걸쳐 분할될 수도 있다.

장치는 제1 이미지 센서를 포함하는 것과 같이 하나, 둘 또는 그 이상의 이미지 센서를 포함할 수 있다. 다수의 이미지 센서가 존재하는 경우, 제1 이미지 센서는 제2 이미지 센서보다 더 큰 시야(FOV)를 가질 수 있거나, 제1 이미지 센서는 제2 이미지 센서와 상이한 감도 또는 상이한 동적 범위를 가질 수 있다. 일 예에서, 제 1 이미지 센서는 광각 이미지 센서일 수도 있고, 제 2 이미지 센서는 망원 이미지 센서일 수도 있다. 다른 예에서, 제1 센서는 제1 광축을 갖는 제1 렌즈를 통해 이미지를 획득하도록 구성되고, 제2 센서는 제1 광축과 다른 제2 광축을 갖는 제2 렌즈를 통해 이미지를 획득하도록 구성된다. 추가적으로 또는 대안적으로, 제1 렌즈는 제1 배율을 가질 수 있고, 제2 렌즈는 제1 배율과 다른 제2 배율을 가질 수 있다. 이러한 구성은 다수의 이미지 센서 및 관련 렌즈가 모바일 디바이스의 전면 또는 후면의 오프셋 위치에 위치하는 경우와 같은 모바일 디바이스의 렌즈 클러스터에서 발생할 수 있다. 더 크거나 더 작거나 동일한 시야를 가진 추가 이미지 센서가 포함될 수 있다. 여기에 설명된 이미지 보정 기술은 다중 센서 디바이스의 이미지 센서 중 임의의 것에서 캡처된 이미지 프레임에 적용될 수 있다.

본 개시의 추가적인 양태에서, 이미지 처리 및/또는 이미지 캡처를 위해 구성된 디바이스가 개시된다. 장치는 이미지 프레임을 캡처하는 수단을 포함한다. 장치는 이미지 센서들 (전하 결합 소자들 (CCD들), Bayer-필터 센서들, 적외선 (IR) 검출기들, 자외선 (UV) 검출기들, 상보형 금속 산화물 반도체 (CMOS) 센서들을 포함함), 비행 시간 검출기들과 같은, 장면을 나타내는 데이터를 캡처하기 위한 하나 이상의 수단을 더 포함한다. 장치는 광선을 하나 이상의 이미지 센서에 축적 및/또는 포커싱하기 위한 하나 이상의 수단 (단순 렌즈, 복합 렌즈, 구면 렌즈 및 비구면 렌즈를 포함함) 을 더 포함할 수도 있다. 이러한 컴포넌트는 여기에 설명된 이미지 처리 기술에 입력되는 제1 및/또는 제2 이미지 프레임을 캡처하도록 제어될 수 있다.

본 개시의 추가적인 양태에서, 비일시적 컴퓨터 판독가능 매체는, 프로세서에 의해 실행될 때, 프로세서로 하여금, 본 명세서에 설명된 방법 및 기법들에서 설명된 것들을 포함하는 동작들을 수행하게 하는 명령들을 저장한다. 예를 들어, 동작들은 제1 이미지 프레임 및 대응하는 세트의 적외선 측정 값들을 수신하는 것을 포함할 수 있다. 동작들은 또한 적외선 측정 값들의 세트에 기초하여 제1 이미지 프레임의 제1 부분 및 제2 부분을 결정하는 것을 포함할 수 있다. 동작들은 또한 제1 부분의 이미지 콘텐츠에 기초하여 제1 이미지 프레임의 제1 부분에 제1 화이트 밸런싱을 적용하는 것; 및 제2 부분의 이미지 콘텐츠에 기초하여 제1 이미지 프레임의 제2 부분에 제2 화이트 밸런싱을 적용하는 것을 포함하는 동작들을 수행함으로써 제1 이미지 프레임에 기초하여 제2 이미지 프레임을 결정하는 것을 포함할 수 있다.

다른 양태들, 특징들, 및 구현들은, 첨부 도면들과 함께 특정한, 예시적인 양태들의 하기 설명을 검토 시 당업자에게 자명하게 될 것이다. 특징들이 하기 특정 양태들 및 도면들에 대하여 논의될 수도 있지만, 다양한 양태들이 본 명세서에서 논의된 유리한 특징들 중 하나 이상을 포함할 수도 있다. 다시 말해서, 하나 이상의 양태들이 특정한 유리한 특징들을 갖는 것으로서 논의될 수도 있지만, 그러한 특징들 중 하나 이상은 또한, 다양한 양태들에 따라 사용될 수도 있다. 유사한 방식으로, 예시적인 양태들이 디바이스, 시스템, 또는 방법 양태들로서 하기에 논의될 수도 있지만, 예시적인 양태들은 다양한 디바이스들, 시스템들, 및 방법들에서 구현될 수도 있다.

방법은 프로세서가 방법의 단계를 수행하게 하는 명령을 포함하는 컴퓨터 프로그램 코드로서 컴퓨터 판독 가능 매체에 내장될 수 있다. 일부 실시형태에서, 프로세서는 복수의 네트워크 연결 중 제1 네트워크 연결을 통해, 녹화 또는 스트리밍 데이터로서 이미지 또는 비디오와 같은 데이터를 전송하도록 구성된 제1 네트워크 어댑터; 및 제1 네트워크 어댑터 및 메모리에 결합된 프로세서를 포함하는 모바일 디바이스의 일부일 수 있다.

전술한 것은 후속하는 상세한 설명이 더 잘 이해될 수도 있도록 본 발명의 실시형태들의 특정 특징들 및 기술적 이점들을 다소 폭넓게 개괄하였다. 본 발명의 청구항들의 주제를 형성하는 부가적인 특징들 및 이점들이 이하에서 설명될 것이다. 개시된 개념 및 특정 실시형태가 동일한 또는 유사한 목적들을 수행하기 위한 다른 구조들을 수정 또는 설계하기 위한 기반으로서 용이하게 활용될 수도 있음을 당업자는 인식하여야 한다. 또한 당업자는 그러한 균등 구성들이 첨부된 청구항들에 기재된 바와 같은 본 발명의 정신 및 범위로부터 벗어나지 않음을 이해하여야 한다. 추가적인 특징들은 첨부 도면과 관련하여 고려될 때 이하의 설명으로부터 더 잘 이해될 것이다. 그러나, 도면들 각각은 단지 예시 및 설명의 목적을 위해 제공되고, 본 발명을 제한하려는 것이 아님을 분명히 이해하여야 한다.

본 개시의 특성 및 이점에 대한 추가의 이해는 다음의 도면을 참조함으로써 실현될 수 있다. 첨부된 도면에서, 유사한 컴포넌트 또는 특징은 동일한 참조 라벨을 가질 수 있다. 게다가, 동일한 타입의 다양한 컴포넌트들은 참조 라벨 다음에 대시 및 유사한 컴포넌트들 간을 구별하는 제 2 라벨이 오는 것에 의해 구별될 수도 있다. 단지 제 1 참조 라벨만이 명세서에서 사용된다면, 그 설명은, 제 2 참조 라벨과 무관하게 동일한 제 1 참조 라벨을 갖는 유사한 컴포넌트들 중 임의의 컴포넌트에 적용가능하다.
도 1 은 본 개시에서 설명된 예시적인 기법들 중 하나 이상을 수행하도록 구성된 컴퓨팅 디바이스의 블록도이다.
도 2는 본 개시의 일부 실시형태에 따라 이미지 프레임의 서로 다른 부분들에 서로 다른 화이트 밸런싱을 적용하는 방법을 나타내는 흐름도이다.
도 3은 본 개시의 일부 실시형태에 따라 결정될 수 있는 이미지 프레임의 예시적인 부분을 도시하는 블록도이다.
도 4는 본 발명의 일부 실시형태에 따라 이미지 프레임의 부분을 결정하는 데 사용될 수 있는 예시적인 적외선 측정 값을 도시하는 블록도이다.
도 5는 본 개시의 일부 실시형태에 따라 적외선 측정 값에 기초하여 제1 부분 및 제2 부분을 갖는 것으로 결정될 수 있는 실내 및 실외 영역이 있는 장면을 도시하는 선 도면이다.
도 6은 본 개시의 일부 실시형태에 따라 적외선 측정 값들을 스레시홀딩하는 것에 기초하여 이미지 프레임의 제1 및 제 2 부분을 구별하는 방법을 나타내는 흐름도이다.
도 7a 는 본 개시의 일부 실시형태에 따라 이미지 프레임의 서로 다른 부분들에 대한 서로 다른 화이트 밸런싱 동작들을 나타내는 블록도이다.
도 7b 는 본 개시의 일부 실시형태에 따라 이미지 프레임의 서로 다른 부분들에 대한 서로 다른 화이트 밸런싱 동작들을 나타내는 블록도이다.
도 8은 본 개시의 일부 실시형태에 따라 적외선 측정 값들 및 컴퓨터 비전을 사용하여 이미지 프레임의 상이한 부분들에서 화이트 밸런싱을 보정하는 방법을 나타내는 흐름도이다.
다양한 도면들에서 같은 참조 번호들 및 지정들은 같은 엘리먼트들을 나타낸다.

첨부된 도면들과 관련하여, 아래에 제시된 상세한 설명은, 다양한 구성들의 설명으로서 의도된 것이고, 본 개시의 범위를 한정하도록 의도된 것이 아니다. 오히려, 상세한 설명은 발명의 주제의 철저한 이해를 제공할 목적으로 특정 상세들을 포함한다. 이들 특정 상세들이 모든 경우에 요구되지는 않으며 일부 인스턴스들에서, 잘 알려진 구조들 및 컴포넌트들은 제시의 명료화를 위해 블록도 형태로 도시됨이 당업자들에게 명백할 것이다.

본 개시 내용은 포토그래피 및 비디오를 위해 캡처된 이미지 프레임의 이미지 처리를 지원하는 시스템, 장치, 방법 및 컴퓨터 판독 가능 매체를 제공한다. 본 개시물에 설명된 주제의 특정 구현은 사진 또는 이미지 프레임들의 비디오 시퀀스에서 색상 정확도를 향상시킴으로써 향상된 이미지 품질과 같은 잠재적인 장점 또는 이점을 실현하도록 구현될 수 있다. 시스템, 장치, 방법 및 컴퓨터 판독 가능 매체는 휴대폰, 태블릿 컴퓨팅 장치, 랩톱 컴퓨팅 장치, 기타 컴퓨팅 장치 또는 디지털 카메라와 같은 이미지 캡처 디바이스에 내장될 수 있다.

스마트폰과 같은, 하나 이상의 이미지 센서들을 사용하여 이미지 프레임들을 캡처하기 위한 예시적인 디바이스는 디바이스의 후면 (예를 들어, 사용자 디스플레이의 반대측) 또는 전면 (예를 들어, 사용자 디스플레이와 동일한 양태) 상에 둘, 셋, 넷 이상의 카메라들의 구성을 포함할 수도 있다. 다수의 이미지 센서들을 갖는 디바이스들은 하나 이상의 이미지 신호 프로세서들 (ISP 들), 컴퓨터 비전 프로세서들 (CVP 들), 또는 이미지 센서들에 의해 캡처된 이미지들을 프로세싱하기 위한 다른 적합한 회로부를 포함할 수도 있다. 하나 이상의 이미지 신호 프로세서는, 인코딩, 저장, 전송, 또는 다른 조작과 같은, 추가 프로세싱을 위해, 프로세싱된 이미지 프레임들을 메모리 및/또는 프로세서 (예컨대, 애플리케이션 프로세서, 이미지 프론트 엔드 (IFE), 이미지 프로세싱 엔진 (IPE), 또는 다른 적절한 프로세싱 회로부) 에 제공할 수도 있다.

본 명세서에 사용된 바와 같이, 이미지 센서는 이미지 센서 자체, 및 단기 버퍼 또는 장기 비휘발성 메모리에 관계없이, 이미지 신호 프로세서 또는 기타 논리 회로에 의한 처리 또는 메모리에의 저장을 위한 이미지 프레임을 생성하는 데 사용되는 이미지 센서에 연결된 임의의 다른 특정 컴포넌트를 의미할 수 있다. 예를 들어, 이미지 센서는 셔터, 버퍼, 또는 이미지 센서의 개개의 픽셀에 액세스하기 위한 다른 판독 회로부를 포함하는 카메라의 다른 컴포넌트들을 포함할 수도 있다. 이미지 센서는 아날로그 프런트 엔드 또는 아날로그 신호를 이미지 센서에 연결된 디지털 회로에 제공되는 이미지 프레임에 대한 디지털 표현으로 변환하기 위한 다른 회로를 더 포함할 수 있다.

다음의 설명에서, 본 개시의 철저한 이해를 제공하기 위해 특정 컴포넌트들, 회로들, 및 프로세스들의 예들과 같은 많은 특정 상세들이 기술된다. 본 명세서에 사용된 바와 같은 용어 "커플링된" 은 하나 이상의 개재 컴포넌트들 또는 회로들에 직접 접속되거나 또는 이를 통해 접속된 것을 의미한다. 또한, 다음의 기재에서 그리고 설명의 목적으로, 본 개시의 철저한 이해를 제공하기 위해 특정 명명법이 제시된다. 그러나, 이 특정 상세들은 본 명세서에 개시된 기법들을 실시하는데 필요하지 않을 수도 있음이 당업자에게 명백할 것이다. 다른 경우들에서, 잘 알려진 회로들 및 디바이스들은 본 개시의 교시들을 모호하게 하는 것을 회피하기 위해 블록 다이어그램 형태로 나타낸다.

다음에 이어지는 상세한 설명들의 일부 부분들은 절차들, 로직 블록들, 프로세싱, 및 컴퓨터 메모리 내에서의 데이터 비트들에 대한 동작들의 다른 심볼 표현들의 관점에서 제시된다. 본 개시에 있어서, 절차, 로직 블록, 프로세스 등은 원하는 결과로 이끄는 단계들 또는 명령들의 자기-일관성있는 시퀀스인 것으로 인식된다. 단계들은 물리량들의 물리적 조작들을 요구하는 것들이다. 필수적인 것은 아니지만 통상적으로, 이들 양들은 컴퓨터 시스템에서 저장되고, 전송되고, 결합되고, 비교되고, 그렇지 아니면 조작되는 것이 가능한 전기적 또는 자기적 신호들의 형태를 취한다.

도면에서는 단일의 블록이 기능 또는 기능들을 수행하는 것으로 설명될 수 있다. 해당 블록에 의해 수행된 기능 또는 기능들은 단일 컴포넌트에서 또는 다중 컴포넌트들에 걸쳐 수행될 수도 있고, 및/또는 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합을 사용하여 수행될 수도 있다. 하드웨어와 소프트웨어의 이러한 상호교환 가능성을 분명히 예시하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들, 및 단계들이 일반적으로 그들의 기능성의 관점에서 하기에서 설명된다. 그러한 기능성이 하드웨어로서 구현될지 또는 소프트웨어로서 구현될지는 전체 시스템에 부과된 설계 제약들 및 특정 어플리케이션에 의존한다. 당업자는 설명된 기능성을 각각의 특정 어플리케이션에 대하여 다양한 방식들로 구현할 수도 있지만, 그러한 구현의 결정들이 본 개시의 범위로부터의 일탈을 야기하는 것으로서 해석되지는 않아야 한다. 또한, 예시적인 디바이스들은, 프로세서, 메모리 등과 같은 널리 공지된 컴포넌트들을 포함하여, 도시된 것들 이외의 컴포넌트들을 포함할 수도 있다.

본 개시의 양태들은 이미지 프레임들(또는 "프레임들")을 캡처할 수 있는 2 이상의 이미지 센서들을 포함하거나 이에 커플링되는 임의의 적절한 전자 디바이스에 적용가능하다. 또한, 본 개시의 양태들은 동일하거나 상이한 능력들 및 특성들 (예컨대, 해상도, 셔터 속도, 센서 타입 등) 의 이미지 센서들을 갖거나 이에 커플링된 디바이스들에서 구현될 수도 있다. 또한, 본 개시의 양태들은 클라우드 컴퓨팅 시스템에 존재하는 처리 장치들을 포함하여, 처리를 위해 저장된 이미지를 취출할 수 있는 처리 장치와 같은, 이미지 프레임을 처리하기 위한 디바이스들에서 구현될 수 있으며, 디바이스가 이미지 센서를 포함하거나 이에 결합되는지 여부에 관계없다.

다음의 논의로부터 명백한 바와 같이 달리 구체적으로 언급되지 않는 한, 본 출원 전체에 걸쳐, "액세스하는것", "수신하는 것", "전송하는 것", "사용하는 것", "선택하는 것", "결정하는 것", "정규화하는 것", "승산하는 것", "평균화하는 것", "모니터링하는 것", "비교하는 것", "적용하는 것", "업데이트하는 것", "측정하는 것", "도출하는 것", "정산하는 것(settling)", "생성하는 것" 등과 같은 용어들을 활용한 논의는, 컴퓨터 시스템의 레지스터 및 메모리 내의 물리적 (전자적) 양으로서 표현된 데이터를 컴퓨터 시스템의 레지스트, 메모리, 또는 다른 그러한 정보 저장, 송신 또는 디스플레이 디바이스 내의 물리적 양으로서 유사하게 표현된 다른 데이터로 조작 또는 변환하는, 컴퓨터 시스템, 또는 유사한 전자 컴퓨팅 디바이스의 액션들 및 프로세스들을 지칭한다.

용어들 "디바이스" 및 "장치"는 하나 또는 특정 수의 물리적 오브젝트 (예컨대, 하나의 스마트폰, 하나의 카메라 제어기, 하나의 프로세싱 시스템 등) 로 제한되지 않는다. 본 명세서에서 사용된 바와 같이, 디바이스는 본 개시의 적어도 일부 부분들을 구현할 수도 있는 하나 이상의 부분을 갖는 임의의 전자 디바이스일 수도 있다. 하기 설명 및 예들은 본 개시의 다양한 양태들을 설명하기 위해 용어 "디바이스"를 사용하지만, 용어 "디바이스"는 특정 구성, 타입 또는 오브젝트들의 수로 제한되지 않는다. 본 명세서에서 사용된 바와 같이, 장치는 설명된 동작들을 수행하기 위한 디바이스 또는 디바이스의 일부를 포함할 수도 있다.

도 1은 하나 이상의 이미지 센서들로부터의 이미지 캡처를 수행하기 위한 예시적인 디바이스 (100) 의 블록도를 도시한다. 디바이스 (100) 는 제 1 이미지 센서 (101), 제 2 이미지 센서 (102), 및 깊이 센서 (140) 와 같은 하나 이상의 이미지 센서들로부터의 이미지 프레임들을 프로세싱하기 위한 이미지 신호 프로세서 (112) 를 포함하거나, 그렇지 않으면 그에 커플링될 수도 있다. 이미지 센서(101 및/또는 102)는 예를 들어 전하 결합 소자 (CCD) 또는 CMOS 센서일 수 있다. 깊이 센서(140)는 예를 들어, 비행 시간 (ToF) 검출기 (예: 투광 조명 ToF 또는 직접 ToF 검출기), 광 거리 및 레인징 (LiDAR) 장치, 적외선 센서 및/또는 자외선 센서 중 하나 이상을 포함하는 단일 포인트 또는 다중 포인트 검출기일 수 있다. 일부 구현들에서, 디바이스 (100) 는 또한 프로세서 (104) 및 명령들 (108) 을 저장하는 메모리 (106) 를 포함하거나 또는 이에 커플링된다. 디바이스 (100) 는 또한 디스플레이 (114) 및 터치 스크린 인터페이스 및/또는 물리적 버튼들과 같은 다수의 입력/출력 (I/O) 컴포넌트들 (116) 을 포함하거나 이에 커플링될 수도 있다. 디바이스 (100) 는 또한 디바이스 (100) 를 에너지원에 커플링하기 위한 컴포넌트 또는 배터리와 같은 디바이스 (100) 를 위한 전력 공급부 (118) 를 포함하거나 이에 커플링될 수도 있다. 디바이스 (100) 는 또한 도 1 에 도시되지 않은 부가 특징부들 또는 컴포넌트들을 포함하거나 이에 커플링될 수도 있다. 일 예에서, 하나 이상의 송수신기들 및 기저대역 프로세서를 포함할 수도 있는 무선 인터페이스가, 무선 통신 디바이스를 위해 포함될 수도 있다. 추가 예에서, 아날로그 이미지 프레임 데이터를 디지털 이미지 프레임 데이터로 변환하기 위한 아날로그 프론트 엔드 (AFE) 가 이미지 센서들 (101 및 102) 과 이미지 신호 프로세서 (112) 사이에 커플링될 수도 있다.

디바이스는 디바이스(100)의 운동에 관한 데이터, 디바이스(100) 주변 환경에 관한 데이터, 및/또는 기타 비-카메라 센서 데이터를 수신하기 위해 센서와 인터페이스하기 위한 센서 허브(150)를 포함하거나 이에 결합될 수 있다. 그러한 비-카메라 센서는 일부 실시형태에서 디바이스(100)에 통합될 수 있다. 비-카메라 센서의 한 가지 예는 회전, 배향 및/또는 각속도를 측정하여 모션 데이터를 생성하도록 구성된 디바이스인 자이로스코프이다. 비-카메라 센서의 또 다른 예는 가속도를 측정하도록 구성된 장치인 가속도계이며, 이는 측정된 가속도를 적절하게 적분함으로써 이동한 속도와 거리를 결정하는 데에도 사용될 수 있으며 가속도, 속도 및 또는 거리 중 하나 이상이 생성된 모션 데이터에 포함될 수 있다. 일부 양태에서, 전자 이미지 안정화 시스템(EIS)의 자이로스코프는 센서 허브에 연결되거나 이미지 신호 프로세서(112)에 직접 연결될 수 있다. 다른 예에서, 비-카메라 센서는 글로벌 포지셔닝 시스템 (GPS) 수신기일 수 있다.

이미지 신호 프로세서(112)는 예를 들어 이미지 프레임을 형성하는데 사용되는 이미지 데이터를 수신할 수 있다. 일 실시형태에서, 로컬 버스 연결은 이미지 신호 프로세서(112)를 각각 제1 및 제2 카메라의 이미지 센서들(101 및 102)에 연결한다. 다른 실시형태에서, 와이어 인터페이스는 이미지 신호 프로세서(112)를 외부 이미지 센서에 연결한다. 추가 실시형태에서, 무선 인터페이스는 이미지 신호 프로세서(112)를 이미지 센서(101, 102)에 연결한다.

제1 카메라는 제1 이미지 센서(101) 및 대응하는 제1 렌즈(131)를 포함할 수 있다. 제2 카메라는 제2 이미지 센서(102) 및 대응하는 제2 렌즈(132)를 포함할 수 있다. 렌즈들 (131, 132) 각각은 이미지 센서(101, 102)로부터 특정 장면 깊이의 특정 초점 평면에 초점을 맞추도록 렌즈(131, 132)를 조정하는, 각각 연관된 자동 초점 (AF) 시스템(133, 134)을 가질 수 있다. AF 시스템(133, 134)은 깊이 센서(140)의 도움을 받을 수 있다. AF 시스템(133, 134)의 초점 깊이는 이미지 센서(101, 102)에 의해 캡쳐된 이미지 프레임과 관련된 메타데이터를 통해, 이미지 장면에 관한 깊이 정보를 ISP(112) 와 같은 디바이스(100)의 다른 컴포넌트에 제공할 수 있다. 디바이스 (100) 는 디바이스 (100) 내에 위치된 또는 디바이스 (100) 로부터 분리된 이미지 센서들의 조합으로부터 이미지 데이터에 대한 이미지 프로세싱을 수행할 수도 있다.

제 1 이미지 센서 (101) 및 제 2 이미지 센서 (102) 는 하나 이상의 이미지 프레임을 캡처하도록 구성된다. 렌즈들 (131 및 132) 은 광을 수신하기 위한 하나 이상의 애퍼처, 노출 윈도우 외부에 있을 때 광을 차단하기 위한 하나 이상의 셔터, 특정 주파수 범위들 외부의 광을 필터링하기 위한 하나 이상의 컬러 필터 어레이 (CFA), 아날로그 측정들을 디지털 정보로 변환하기 위한 하나 이상의 아날로그 프론트 엔드, 및/또는 이미징을 위한 다른 적절한 컴포넌트들을 통해 각각 이미지 센서들 (101 및 102) 에 광을 포커싱한다. 제1 렌즈(131)와 제2 렌즈(132)는 서로 다른 시야를 가져 장면의 서로 다른 표현들을 캡처할 수 있다. 예를 들어, 제1 렌즈(131)는 울트라-와이드 (UW) 렌즈일 수 있고, 제2 렌즈(132)는 와이드 (W) 렌즈일 수 있다. 복수의 이미지 센서들은 울트라-와이드 (high field-of-view (FOV)), 와이드, 텔레, 및 울트라-텔레 (low FOV) 센서들의 조합을 포함할 수도 있다. 즉, 각각의 이미지 센서는 상이하지만, 중첩하는 시야들을 획득하기 위해 하드웨어 구성 및/또는 소프트웨어 설정들을 통해 구성될 수도 있다. 한 구성에서, 이미지 센서는 서로 다른 시야를 초래하는 서로 다른 배율을 갖는 서로 다른 렌즈로 구성된다. 센서들은 UW 센서가 UT 센서보다 큰 FOV를 갖는 T 센서보다 큰 FOV를 갖는 W 센서보다 큰 FOV를 갖도록 구성될 수 있다. 예를 들어, 넓은 FOV를 위해 구성된 센서는 64-84도 범위의 시야들을 캡처할 수 있고, 울트라-사이드 FOV를 위해 구성된 센서는 100-140도 범위의 시야들을 캡처할 수 있고, 텔레 FOV를 위해 구성된 센서는 10-30도 범위의 시야들을 캡처할 수 있고, 울트라-텔레 FOV를 위해 구성된 센서는 1-8도 범위의 시야들을 캡처할 수 있다.

이미지 신호 프로세서 (112) 는 이미지 센서들 (101, 102) 에 의해 캡처된 이미지 프레임들을 프로세싱한다. 도 1이 이미지 신호 프로세서 (112) 에 커플링된 2개의 이미지 센서들 (101 및 102) 을 포함하는 것으로 디바이스 (100) 를 예시하지만, 임의의 수 (예: 1 개, 2 개, 3 개, 4 개, 5 개, 6 개 등) 의 이미지 센서들이 이미지 신호 프로세서 (112) 에 커플링될 수도 있다. 일부 양태에서, 깊이 센서(140)와 같은 깊이 센서는 이미지 신호 프로세서(112)에 연결될 수 있고 이미지 센서(101 및 102)와 유사한 방식으로 처리된 깊이 센서로부터 출력할 수 있다. 또한, 디바이스 (100) 에 대해 임의의 수의 추가적인 이미지 센서들 또는 이미지 신호 프로세서들이 존재할 수도 있다. 일부 실시형태들에서, 이미지 신호 프로세서 (112) 는 메모리로부터의 명령들, 예컨대 메모리 (106) 로부터의 명령들 (108), 이미지 신호 프로세서 (112) 에 커플링되거나 포함된 별도의 메모리에 저장된 명령들, 또는 프로세서 (104) 에 의해 제공된 명령들을 실행할 수도 있다. 추가적으로, 또는 대안적으로, 이미지 신호 프로세서 (112) 는 본 개시에서 설명된 하나 이상의 동작을 수행하도록 구성된 특정 하드웨어 (예컨대, 하나 이상의 집적 회로 (IC)) 를 포함할 수도 있다. 예를 들어, 이미지 신호 프로세서(112)는 두 개 이상의 이미지 프레임을 시간적으로 필터링하도록 특정적으로 구성된 회로, 무한 임펄스 응답 (IIR) 필터를 구현하도록 특정적으로 구성된 회로, 및/또는 이미지 프레임에 모션 보상을 적용하도록 특정적으로 구성된 회로를 포함할 수 있다.

일부 구현들에서, 메모리 (106) 는 본 개시에서 설명된 하나 이상의 동작들의 전부 또는 일부분을 수행하기 위한 컴퓨터 실행가능 명령들 (108) 을 저장하는 비순간적 또는 비일시적인 컴퓨터 판독가능 매체를 포함할 수도 있다. 일부 구현들에서, 명령들 (108) 은 이미지들 또는 비디오들을 생성하기 위해 디바이스 (100) 에 의해 실행될 카메라 애플리케이션 (또는 다른 적절한 애플리케이션) 을 포함한다. 명령들 (108) 은 또한 이미지 또는 비디오 생성을 위한 것 이외의 운영 체제 및 특정 애플리케이션들과 같은, 디바이스 (100) 에 의해 실행되는 다른 애플리케이션들 또는 프로그램들을 포함할 수도 있다. 프로세서 (104) 에 의한 것과 같은 카메라 애플리케이션의 실행은 디바이스 (100) 로 하여금 이미지 센서들 (101 및 102) 및 이미지 신호 프로세서 (112) 를 사용하여 이미지들을 생성하게 할 수도 있다. 메모리 (106) 는 또한 프로세싱된 프레임들을 저장하기 위해 이미지 신호 프로세서 (112) 에 의해 액세스될 수도 있거나, 프로세싱된 프레임들을 획득하기 위해 프로세서 (104) 에 의해 액세스될 수도 있다. 일부 실시형태들에서, 디바이스 (100) 는 메모리 (106) 를 포함하지 않는다. 예를 들어, 디바이스 (100) 는 이미지 신호 프로세서 (112) 를 포함하는 회로일 수도 있고, 메모리는 디바이스 (100) 의 외부에 있을 수도 있다. 디바이스 (100) 는 외부 메모리에 커플링될 수도 있고, 디스플레이 또는 장기 저장을 위해 출력 프레임들을 기록하기 위해 메모리에 액세스하도록 구성될 수도 있다. 일부 실시형태에서, 디바이스(100)는 이미지 신호 프로세서(112), 프로세서(104), 센서 허브(150), 메모리(106) 및 입력/출력 컴포넌트(116)를 단일 패키지에 통합하는 시스템 온 칩 (SoC) 이다.

일부 실시형태들에서, 이미지 신호 프로세서 (112) 또는 프로세서 (104) 중 적어도 하나는 시간 필터링의 동작들을 결합하는 것을 포함하여, 본 명세서에 설명된 다양한 동작들을 수행하기 위한 명령들을 실행한다. 예를 들어, 명령들의 실행은 이미지 신호 프로세서(112)에게 이미지 프레임 또는 이미지 프레임들의 시퀀스의 캡처를 시작하거나 종료하도록 지시할 수 있으며, 여기서 캡처는 여기의 실시형태들에 설명된 바와 같은 시간 필터링을 포함한다. 일부 실시형태들에서, 프로세서 (104) 는 메모리 (106) 내에 저장된 명령들 (108) 과 같은, 하나 이상의 소프트웨어 프로그램들의 스크립트들 또는 명령들을 실행할 수 있는 하나 이상의 범용 프로세서를 포함할 수도 있다. 예를 들어, 프로세서 (104) 는 메모리 (106) 에 저장된 카메라 애플리케이션 (또는 이미지 또는 비디오를 생성하기 위한 다른 적절한 애플리케이션) 을 실행하도록 구성된 하나 이상의 애플리케이션 프로세서를 포함할 수도 있다. 카메라 애플리케이션을 실행할 때, 프로세서 (104) 는 이미지 센서들 (101 또는 102) 을 참조하여 하나 이상의 동작을 수행하도록 이미지 신호 프로세서 (112) 에 지시하도록 구성될 수도 있다. 예를 들어, 카메라 애플리케이션은 이미지 프레임들의 시퀀스를 포함하는 비디오가 그에 따라 캡처되고 처리되는 캡처 커맨드를 수신할 수 있다. 시간 필터링은 시퀀스의 하나 이상의 이미지 프레임에 적용될 수 있다. 카메라 애플리케이션은 시간 필터링을 인에이블 및 디스에이블하는 것 및/또는 시간 필터링에서 결합하기 위한 이미지 프레임의 수, 시간 필터링의 적용을 결정하기 위한 매개변수 및/또는 이미지 프레임당 수행할 무작위 리셋들의 절대적 또는 상대적인 수와 같은 시간 필터링의 매개변수를 구성하는 것을 허용할 수 있다. 프로세서 (104) 에 의한 카메라 애플리케이션 외부의 명령들 (108) 의 실행은 또한 디바이스 (100) 로 하여금 임의의 수의 기능 또는 동작을 수행하게 할 수도 있다. 일부 구현들에서, 프로세서 (104) 는 디바이스 (100) 로 하여금 다수의 기능들 또는 동작들, 예컨대 본 명세서에 설명된 동작들을 수행하게 하도록 소프트웨어를 실행하는 능력에 부가하여 IC들 또는 다른 하드웨어를 포함할 수도 있다. 일부 다른 실시형태들에서, 디바이스 (100) 는, 예컨대 설명된 기능 모두가 이미지 신호 프로세서 (112) 에서 구성될 때, 프로세서 (104) 를 포함하지 않는다.

일부 실시형태들에서, 디스플레이 (114) 는 사용자 상호작용을 허용하고 및/또는 이미지 센서들 (101 및 102) 에 의해 캡처되는 이미지 프레임들의 미리보기와 같은 아이템들을 사용자에게 제시하기 위한 하나 이상의 적절한 디스플레이들 또는 스크린들을 포함할 수도 있다. 일부 양태들에서, 디스플레이 (114) 는 접촉 감지 디스플레이이다. I/O 컴포넌트들 (116) 은 사용자로부터 (커맨드들과 같은) 입력을 수신하고 디스플레이 (114) 를 통해 사용자에게 출력을 제공하기 위한 임의의 적절한 메커니즘, 인터페이스 또는 디바이스이거나 이를 포함할 수도 있다. 예를 들어, I/O 컴포넌트들 (116) 은 그래픽 사용자 인터페이스 (GUI), 키보드, 마우스, 마이크로폰, 스피커들, 압착가능한 베젤, 하나 이상의 버튼 (예컨대, 전력 버튼), 슬라이더, 스위치 등을 포함할 수도 있다 (그러나 이에 제한되지 않음).

프로세서 (104) 를 통해 서로 커플링되는 것으로 도시되지만, (프로세서 (104), 메모리 (106), 이미지 신호 프로세서 (112), 디스플레이 (114), 및 I/O 컴포넌트들 (116) 과 같은) 컴포넌트들은, 단순화를 위해 도시되지 않은 하나 이상의 로컬 버스들을 통하는 것과 같이, 다른 다양한 배열로 서로 커플링될 수도 있다. 이미지 신호 프로세서 (112) 가 프로세서 (104) 와 별개인 것으로 도시되어 있지만, 이미지 신호 프로세서 (112) 는 APU (application processor unit) 이거나, SoC (system on chip) 에 포함되거나, 또는 그렇지 않으면 프로세서 (104) 와 함께 포함되는 프로세서 (104) 의 코어일 수도 있다. 본 개시의 양태들을 수행하기 위해 본 명세서의 예들에서 디바이스 (100) 가 참조되지만, 본 개시의 양태들을 모호하게 하는 것을 방지하기 위해 일부 디바이스 컴포넌트들이 도 1 에 도시되지 않을 수도 있다. 추가적으로, 다른 컴포넌트들, 컴포넌트들의 수들, 또는 컴포넌트들의 조합들은 본 개시의 양태들을 수행하기 위한 적절한 디바이스에 포함될 수도 있다. 이와 같이, 본 개시는 디바이스 (100) 를 포함하는 특정 디바이스 또는 컴포넌트들의 구성에 제한되지 않는다.

서로 다른 빛 스펙트럼을 갖는 서로 다른 광원을 포함하는 이미지 프레임을 캡처할 때, 이미지 프레임에 화이트 밸런싱(예: 자동 화이트 밸런싱(AWB))을 적용하면 원치 않는 결과가 발생할 수 있다. 예를 들어, 전체 프레임 통계가 서로 다른 광원을 평균화하기 때문에 캡처된 이미지 프레임이 서로 다른 조명 온도를 갖는 광원들을 포함하는 경우 AWB 가 캡처된 이미지 프레임 전체에 걸쳐 통계를 계산할 때 화이트 밸런싱이 정확하지 않을 수 있다. 상이한 광원들에 걸쳐 평균화된 통계는 바람직하지 않은 색상들을 갖는 화이트 밸런싱된 이미지에서의 이러한 통계 결과들을 기반으로 하는 임의의 화이트 밸런싱을 초래한다. 여기서 언급된 단점들은 단지 대표적이며, 본 발명자들이 기존 디바이스들에 관하여 식별하였고 개선하고자 했던 문제들을 강조하기 위해 포함된다. 아래에서 설명되는 디바이스들의 양태들은 단점들의 일부 또는 전부뿐만 아니라 당업계에 알려진 다른 것들을 다룰 수도 있다. 여기서 설명되는 개선된 디바이스들의 양태들은 전술한 것들 이외의 다른 이점들을 제시할 수도 있고, 다른 애플리케이션들에서 사용될 수도 있다.

디바이스(100)의 일 양태에서, 이미지 센서(101, 102) 중 하나 이상으로부터 캡처된 이미지 프레임은 예를 들어 서로 다른 광원에 의해 조명된 이미지 프레임의 서로 다른 부분에 관한 정보에 기초한 자동 화이트 밸런싱을 사용하여 수정될 수 있다. 예를 들어, 적외선 측정은 실외에 있어서 태양에 의해 조명된 이미지 프레임의 부분과 실내에 있어서 인공 조명에 의해 조명된 이미지 프레임의 부분을 구별하는 데 사용될 수 있다. 자동 화이트 밸런싱은 예를 들어 적외선 측정을 사용하여 이러한 두 개의 서로 다른 부분들의 존재를 결정하고, 그 두 부분들에 서로 다른 화이트 밸런싱을 적용할 수 있다. 한 부분은 제1 상관 색온도(CCT)에 기초하여 조정되고, 다른 부분은 제2 상관 색온도(CCT)에 기초하여 조정될 수 있다. 예를 들어, (더 낮은 적외선 측정을 가질 수 있는) 실내 부분은 더 낮은 CCT로 화이트 밸런싱될 수 있고, (더 높은 적외선 측정을 가질 수 있는) 실외 부분은 더 높은 CCT로 화이트 밸런싱될 수 있다. 화이트 밸런싱 동작의 이들 및 다른 실시형태는 도 2, 도 3, 도 4, 도 5, 도 6, 도 7a, 도 7b 및 도 8의 양태를 참조하여 설명된다.

도 2는 본 개시의 일부 실시형태에 따라 이미지 프레임의 서로 다른 부분들에 서로 다른 화이트 밸런싱을 적용하는 방법을 나타내는 흐름도이다. 방법 (200) 은 블록 (202) 에서, 제1 이미지 프레임 및 대응하는 세트의 적외선 측정 값들을 수신하는 것을 포함한다. 제1 이미지 프레임은 이미지 센서로 이미지 프레임을 캡처한 후와 같이 이미지 프레임이 이전에 저장된 메모리로부터 수신될 수도 있다. 대안적으로, 제1 이미지 프레임은 미리보기 이미지 디스플레이를 생성하기 위한 프로세스의 일부로서 실시간으로 화이트 밸런싱을 위해 이미지 센서로부터 수신될 수 있다. 적외선 측정값은 메모리에 저장된 파일, 제1 이미지 프레임의 메타데이터로부터 수신될 수 있고, 및/또는 제1 이미지 프레임과 함께 적외선 검출기로부터 실시간으로 수신될 수 있다. 적외선 측정값은 다중 포인트 검출기와 병렬로 측정되거나, 다중 포인트 검출기와 직렬로 측정되거나, 단일 포인트 검출기와 직렬로 측정될 수도 있다.

방법(200)은 예를 들어 블록(204 및 206)에서 설명된 처리를 포함할 수 있는 대응하는 적외선 측정 값에 기초하여 제1 이미지 프레임의 처리를 계속한다. 블록(204)에서, 처리는 적외선 측정 값들의 세트에 기초하여 제 1 이미지 프레임의 하나 이상의 부분들을 결정하는 것을 포함할 수 있다. 예를 들어, 적외선 측정값을 통해 이미지 프레임의 제1 부분과 제2 부분을 식별할 수 있다. 예를 들어, 제1 이미지 프레임의 다수의 부분을 결정하는 것은 실내 영역을 제1 부분으로 결정하고, 실외 영역을 제2 부분으로 결정하는 것을 포함할 수 있다. 다른 예에서, 제1 이미지 프레임의 다수의 부분을 결정하는 것은 제1 광원에 의해 조명된 제1 영역을 제1 부분으로 결정하고, 제2 광원에 의해 조명된 제2 영역을 제2 부분으로 결정하는 것을 포함할 수 있다.

서로 다른 부분들의 결정은 적외선 측정값에 임계값을 적용하여 측정값을 둘 이상의 그룹으로 분할함으로써 적외선 측정값에 기초할 수 있다. 임계값은 미리 결정된 값일 수도 있고 특정 이미지 프레임의 적외선 측정값에 기초하여 결정될 수도 있다. 예를 들어, 적외선 측정 값들에 대한 통계적 분석은 값들의 이봉 분포를 식별할 수 있고, 각각의 피크와 연관된 값들은 이미지 프레임의 제1 부분 및 제2 부분과 상관된 값들로 결정될 수 있다. 유사하게, 통계 분석은 다수의 피크들 또는 값들의 다수의 클러스터링을 식별할 수 있으며, 각 피크 또는 클러스터와 연관된 값은 서로 다른 부분으로 간주될 수 있다.

상이한 부분들의 결정은 또한 또는 대안적으로 장면의 부분들에 대한 예상된 형상들에 기초할 수도 있다. 예를 들어, 동일한 조명원에 의해 조명된 장면의 픽셀은 동일한 조명원에 의해 조명된 다른 픽셀과 인접할 것으로 예상될 수 있다. 이미지 프레임의 부분들의 결정은 스레시홀딩과 같은 다른 기준들에 기초할 수 있지만, 그런 다음 그 기준들을 충족하는 두 영역 사이의 픽셀을 두 영역과 함께 연관시켜 이미지 프레임의 제1 부분을 형성할 수 있다. 일부 실시형태에서, 이것은 스레시홀딩된 적외선 측정 값과 연관된 픽셀을 인접한 부분으로 집성하는 플러드 필 (flood fill) 기능으로 수행될 수 있다. 플러드 필 기능은 어떤 픽셀들을 하나의 부분에 포함할지 결정함에 있어서 픽셀들의 색상을 사용할 수도 있다. 예를 들어, 플러드 필은 부분을 정의할 때 이웃 픽셀들의 색상 간의 차이나, 이웃 픽셀들 간의 색상의 변화율을 사용할 수 있다. 하나의 애플리케이션에서, 스레시홀딩된 적외선 측정 값 부근의 픽셀은 이웃 픽셀들의 색상들이 서로로부터 임계 차이 내에 있거나 이웃 픽셀들 간의 변화율이 임계량보다 작은 경우에만 집성될 수 있다. 컴퓨터 비전 분석은 또한 이미지 프레임의 제1, 제2, 제3 또는 그 이상의 부분들을 결정할 때 임계값 주변의 인접 영역을 정의하는 데 도움이 될 수 있는 특징을 식별하는 데 사용될 수 있으며, 이는 아래에서 도 7a, 도 7b 및 도 8 을 참조하여 더 자세히 설명된다.

상이한 부분들의 결정은 또한 또는 대안적으로 이미지 프레임에 관한 메타데이터에 기초할 수도 있다. 예를 들어, 하루 중 시간 및/또는 이미지 프레임을 캡처한 날짜는 장면의 실외 영역들이 화이트 밸런싱을 위해 상이한 색 온도를 각각 가질 수도 있는 머리 위 직사광선, 저녁 햇빛 또는 달빛에 의해 조명되는지 여부를 나타낼 수 있다. 다른 예로서, 이미지 프레임의 캡처 위치는 그 위치가 건물이 없는 위치에 대응하는 경우와 같이 이미지 장면이 실외 장면인지 여부를 나타낼 수도 있거나, 그 위치가 건물 위치에 대응하는 경우와 같이 혼합된 장면일 수도 있다.

방법(200)에서의 제1 이미지 프레임의 처리는 블록(206)에서, 블록(204)에서 식별된 제1 이미지 프레임의 서로 다른 부분들에 서로 다른 화이트 밸런싱을 적용함으로써 제2 이미지 프레임(예를 들어, 보정된 이미지 프레임)을 결정하는 것을 포함할 수 있다. 부분들 각각의 미가공 통계에 기초하여 서로 다른 화이트 밸런싱이 서로 다른 부분들에 적용될 수 있다. 일부 실시형태에서, 블록(206)의 화이트 밸런싱은 부분들의 콘텐츠에 기초한 자동 화이트 밸런싱(AWB)을 사용할 수 있다. 미가공 통계는 이미지 프레임의 제1 부분의 픽셀에 대해 계산될 수 있으며, 미가공 통계에 기초하여 이미지의 제1 부분에 적용된 자동 화이트 밸런싱(AWB)은 이미지의 제1 부분에 대해 계산될 수 있다. 일부 실시형태에서, 블록(206)의 화이트 밸런싱은 사용자 입력에 기초할 수 있다. 예를 들어, 사용자는 상이한 조명원에 대해 선호하는 색온도를 지정하고 이들 선호들에 기초하여 화이트 밸런싱이 적용될 수 있다. 다른 예로서, 사용자는 예를 들어 따뜻한 온도에서 차가운 온도까지 온도들을 지정하는 슬라이딩 바를 사용자에게 제시함으로써, 부분들 각각에 대한 화이트 밸런싱 동작을 지정하도록 블록(204)에서 부분들을 결정한 후 프롬프팅될 수 있다.

결정된 영역들과 연관된 픽셀들과 연관된 통계에 기초하여 블록(204)에서 결정된 이미지 프레임의 각각의 추가적인 부분에 대해 화이트 밸런싱 동작이 반복될 수 있다. 이미지 프레임의 서로 다른 부분을 개별적으로 화이트 밸런싱하는 것은 특히 서로 다른 색온도의 여러 조명원이 있는 장면에서, 이미지 프레임 내에서 더 자연스러운 색상을 생성하여 이미지의 외양 (appearance) 을 개선할 수 있다. 이는 전체 이미지 프레임에 대해 평균된 통계를 기반으로 전체 이미지 프레임의 화이트 밸런싱을 통해 이미지 품질을 향상시키며, 이는 이미지 프레임의 한 부분에서 다른 부분으로의 색상 캐스트를 야기할 수 있다.

일부 예에서, 블록(206)의 화이트 밸런싱은 실내 부분에 더 낮은 상관 색온도(CCT)를 적용함으로써 제1 부분에 제1 화이트 밸런싱을 적용하고, 실외 부분에 더 높은 상관 색온도(CCT)를 적용함으로써 제2 화이트 밸런싱을 제2 부분에 적용하는 것을 포함할 수 있다. 제1 및 제2 화이트 밸런싱 동작은 서로 다른 부분의 픽셀의 색 강도에 서로 다른 가중치를 적용할 수 있다. 예를 들어, 블록(206)의 화이트 밸런싱은 더 낮은 CCT를 실내 부분에 적용하는 것이 실내 부분의 픽셀에 대응하는 색상 강도에 대해 제1 세트의 가중치들을 적용하는 것을 포함하고, 더 높은 CCT를 실외 부분에 적용하는 것은 실외 부분의 픽셀에 대응하는 색상 강도에 대해 제2 세트의 가중치들을 적용하는 것을 포함하는 것을 포함할 수 있다.

도 2의 방법(200)의 일 실시형태의 적용은 도 3, 도 4 및 도 5를 참조하여 설명된다. 도 3은 본 개시의 일부 실시형태에 따라 결정될 수 있는 이미지 프레임의 예시적인 부분을 도시하는 블록도이다. 이미지 프레임(300)은 대응하는 세트의 적외선 측정 값들과 함께 방법(200)의 블록(202)에서 수신될 수 있다. 제1 부분(302) 및 제2 부분(304)은 방법(200)의 블록(204)에서 적외선 측정 값, 컴퓨터 비전(CV) 분석, 픽셀 색상 및/또는 이미지 프레임과 관련된 다른 메타데이터 중 하나 이상에 기초하여 이미지 프레임(300) 내로부터 결정될 수 있다. 이미지 프레임(300)에 대응하는 예시적인 적외선 측정 값이 도 4에 표시되어 있다. 도 4는 본 발명의 일부 실시형태에 따라 이미지 프레임의 부분을 결정하는 데 사용될 수 있는 예시적인 적외선 측정 값을 도시하는 블록도이다. 도 4의 적외선 측정값에 적용되는 50 의 임계값은 적외선 측정값이 50보다 큰 제1 부분(302)과 적외선 측정값이 50보다 작은 제2 부분(304)에 대응하는 음영 영역을 결정하는 데 사용될 수 있다.

도 4 의 적외선 측정 값들은 도 5 에 도시된 사진에 대응할 수도 있다. 도 5는 본 개시의 일부 실시형태에 따라 적외선 측정 값에 기초하여 제1 부분 및 제2 부분을 갖는 것으로 결정될 수 있는 실내 및 실외 영역이 있는 장면을 도시하는 선 도면이다. 제1 부분(302)을 결정하는 데 사용되는 임계값보다 높은 적외선 측정 값은 혼합된 조명원들을 갖는 장면(500)의 창(502)에 대응할 수 있다. 제1 부분(302)에 대응하는 창(502) 내의 물체는 태양에 의해 조명될 수 있는 반면, 창(502) 주변 건물 내부의 물체는 인공 조명원에 의해 조명될 수 있다. 혼합 조명원 장면(500)의 보다 자연스러운 사진을 생성하기 위해 제2 부분(304)과는 상이한 화이트 밸런싱이 제1 부분(302)에 적용될 수 있다.

도 6은 본 개시의 일부 실시형태에 따라 적외선 측정 값들을 스레시홀딩하는 것에 기초하여 이미지 프레임의 제1 및 제 2 부분을 구별하는 방법을 나타내는 흐름도이다. 방법(600)은 블록(602)에서 제1 이미지 프레임에 대응하는 적외선 측정 값들의 세트를 수신하는 단계를 포함한다. 각 적외선 측정 값에 대해, 값은 블록 (604) 에서 임계값과 비교된다. 값이 임계값 미만이면 방법(600)은 적외선 측정 값에 대응하는 제1 이미지 프레임의 픽셀을 이미지 프레임의 제1 부분과 연관시키는 단계를 포함한다.

적외선 측정이 이미지 프레임의 해상도보다 더 낮은 해상도에서 수행되는 경우, 블록(606)의 연관은 제1 부분과 연관되는 두 개 이상의 픽셀을 초래할 수 있다. 예를 들어, 적외선 측정들이 4032x2268의 이미지 프레임에 대해 8x8 배열로 샘플링된 경우 각 적외선 측정 값은 이미지 프레임의 504x283 픽셀 블록과 연관될 수 있다. 블록(604)의 적외선 측정 스레시홀딩에 기초하여 블록(606)에서 제1 부분과 연관된 픽셀의 수는 또한 상술된 바와 같이 컴퓨터 비전 (CV) 분석, 메타데이터, 및 픽셀 색상에 의해 식별된 특징과 같은 다른 특성에 기초한 제1 부분의 정의에 대한 정제에 기초하여 값마다 달라질 수도 있다. 값이 임계값 이상이면 방법(600)은 블록 (608) 에서 적외선 측정 값에 대응하는 제1 이미지 프레임의 픽셀을 이미지 프레임의 제2 부분과 연관시키는 단계를 포함한다. 화이트 밸런싱은 블록(604)에서의 스레시홀딩에 기초하여 블록(606 및 608)에서 이미지 프레임이 두 개 이상의 부분으로 분할된 후에 적용된다. 블록(610)에서 제1 화이트 밸런싱이 제1 부분에 적용되고; 블록(612)에서 제2 화이트 밸런싱이 제2 부분에 적용된다. 화이트 밸런싱된 부분들로부터 보정된 이미지 프레임이 생성되고, 보정된 이미지 프레임은 제1 이미지 프레임과 동일하거나 유사한 해상도일 수 있다.

컴퓨터 비전(CV) 분석 및/또는 다중 포인트 적외선 측정을 사용하여 이미지 신호 프로세서로 이미지 프레임을 처리하기 위한 블록 다이어그램이 도 7a 에 나와 있다. 도 7a 는 본 개시의 일부 실시형태에 따라 이미지 프레임의 서로 다른 부분들에 대한 서로 다른 화이트 밸런싱 동작들을 나타내는 블록도이다. 시스템(700)은 이미지 센서(101), 다중 포인트 IR 센서(702) 및 컴퓨터 비전 프로세서(704)에 연결된 이미지 신호 프로세서(112)를 포함할 수 있다. 다중 포인트 IR 센서(702)는 적외선 측정 값을 이미지 신호 프로세서(112)에 제공할 수 있다. 이미지 센서(101)는 컴퓨터 비전 프로세서(704) 및 이미지 신호 프로세서(112)에 제1 이미지 프레임을 제공할 수 있다.

컴퓨터 비전 프로세서(704)는 이미지 프레임을 분석할 수 있고 이미지 신호 프로세서에 제공되는 특징 맵을 생성할 수 있다. 특징 맵은 검출된 특징들의 목록과 특징들의 위치들을 포함할 수 있다. 예를 들어, 검출된 특징은 실외에 위치할 것으로 예상되는 객체들(예: 나무, 우산, 관목 등)의 그룹핑 및 실내에 위치할 것으로 예상되는 객체들(예: 책상, 램프, 텔레비전)의 그룹핑을 포함할 수 있다. 실내 및 실외 객체의 위치는 실내 영역과 실외 영역에 해당하는 이미지 프레임의 부분을 결정하는 데 사용될 수 있다. 예를 들어, 특징 맵은 적외선 측정 값으로부터 식별된 이미지 프레임의 부분을 확증 및/또는 정제하는 데 사용될 수 있다. 일부 실시형태에서, 컴퓨터 비전 프로세서(704)는 이미지 프레임 내의 조명원(예를 들어, 태양, 달, 형광등, 책상 램프 등)의 존재 및 위치를 결정할 수 있다. 조명원의 위치와 조명원의 방향의 결정은 해당 조명원에 의해 조명된 장면의 부분을 결정하는데 사용되고 제1 부분과 제2 부분을 정의하는 데 사용될 수 있다.

이미지 신호 프로세서(112)는 다중 포인트 IR 센서(702), 이미지 센서(101), 컴퓨터 비전 프로세서(704)로부터 수신된 데이터 및/또는 다른 센서로부터 수신된 메타데이터를 처리하여 제1 이미지 프레임으로부터 보정된 이미지 프레임을 생성할 수 있다. 보정된 이미지 프레임은 조명원이 혼합된 장면에서 인간의 눈에 더 자연스럽게 보이는 향상된 색상을 가질 수 있다. 이미지 신호 프로세서(112)는 특징 맵, 적외선 측정 값 및/또는 메타데이터에 기초하여 제1 부분, 제2 부분 및/또는 추가 부분을 결정하기 위해 제1 이미지 프레임에 대해 영역 식별(722)을 수행할 수 있다. 이미지 프레임의 제1 부분 및 제2 부분은 영역 식별(722)로부터 각각 제1 및 제2 AWB 처리(712 및 714)로 출력될 수 있다. 영역 식별(722)은 두 부분으로 제한되지 않고, N 개의 부분들을 식별하는 것을 포함하도록 확장될 수 있으며, 여기서 N은 구성된 값 및/또는 제1 이미지 프레임의 콘텐츠, 특징 맵, 적외선 측정 값, 및/또는 메타데이터에 기초하여 결정된 값이다. 추가적인 N 개의 부분들은 각각 추가적인 AWB 처리(716)를 통해 처리되고 보정된 이미지 프레임을 형성하기 위해 결합될 수 있다.

AWB 처리(712, 714)는 각 픽셀에 대한 색상의 가중화를 조정하여 화이트 밸런싱을 적용할 수 있다. 하나의 픽셀 형식은 RGB이며, 여기서 각 픽셀은 적색 값, 녹색 값 및 청색 값을 갖는다. 화이트 밸런싱 동안에, 적색, 녹색, 청색 값들 각각의 가중화가 조정되어 색온도를 수정할 수 있다. 화이트 밸런싱 프로세스의 일 실시형태에서, AWB 처리(712 및 714)에 입력된 이미지 프레임의 부분은 회색 영역일 가능성이 있는 영역을 결정하기 위해 회색 필터링될 수 있다. 그런 다음 이들 영역은 복수의 클러스터로 파티셔닝될 수 있으며, 선택된 영역은 미리 결정된 좌표계에 매핑될 수 있다. 각 클러스터의 중심은 좌표계 내에서 계산될 수 있다. 하나 이상의 참조 발광점은 좌표계 내에 위치될 수 있다. 클러스터의 중심들 각각과 참조 발광점들 사이의 거리가 결정될 수 있다. 각각의 클러스터에 대응하는 광원이 추정될 수 있고, 그 추정으로부터 최종 광원이 결정될 수 있다. 화이트 밸런스 이득들은 광원에 기초하여 결정될 수 있으며, 화이트 밸런스 이득들은 부분들에 적용될 수 있다. 화이트 밸런싱 기술의 다른 실시형태는 결정된 부분들에 대해 서로 다른 AWB 처리(712 및 714)를 채용할 수 있다.

상이하게 처리된 제1 부분과 제2 부분의 결과는 보정된 이미지 프레임을 생성하기 위해 결합된다. 그 결합은 보정된 이미지 프레임의 픽셀이 AWB 처리(712)로부터 출력된 보정된 제1 부분으로부터의 픽셀 또는 AWB 처리(714)로부터 출력된 보정된 제2 부분으로부터의 픽셀이 되는 결과를 가져올 수 있다. 그 결합은 또한 제1 부분과 제2 부분의 서로 다른 화이트 밸런싱으로 인해 발생하는 딱딱한 경계의 외양을 줄이기 위해 제1 부분과 제2 부분 사이의 경계에서 픽셀을 블렌딩하는 것을 포함할 수 있다. 블렌딩은 제1 부분과 제2 부분 사이의 경계의 특정 거리 내에 있는 픽셀을 이웃 픽셀 또는 경계의 특정 거리 내에 있는 다른 픽셀과 가중 평균하는 것을 포함할 수 있다. 블렌딩은 또한 또는 대안적으로 화이트 밸런싱, 알파 블렌딩 및/또는 장면 콘텐츠(예: 부분들의 가장자리들, 검출된 물체의 가장자리들, 국소 대비, 및/또는 특징)에 기초한 이방성 블렌딩 이전에 제1 이미지 프레임의 원래 픽셀과 경계의 특정 거리 내에 있는 픽셀의 가중 평균을 포함할 수 있다.

도 7a 의 시스템을 사용하여 이미지를 보정하는 한 가지 방법이 도 8에 도시되어 있다. 도 8은 본 개시의 일부 실시형태에 따라 적외선 측정 값들 및 컴퓨터 비전을 사용하여 이미지 프레임의 상이한 부분들에서 화이트 밸런싱을 보정하는 방법을 나타내는 흐름도이다. 방법 (800) 은 제1 이미지 프레임 및 대응하는 세트의 적외선 측정 값들을 수신하는 단계를 포함한다. 블록(804)에서 컴퓨터 비전(CV) 분석을 사용하여 제1 이미지 프레임에 대한 특징 맵이 결정될 수 있다. 블록(806)에서, 제1 부분과 제2 부분은 적외선 측정 값의 임계값에 기초하여 분할될 수 있다.

블록(808)에서, 제1 이미지 프레임 내의 제1 부분과 제2 부분의 경계는 특징 맵에 기초하여 개정될 수 있다. 예를 들어, 임계값 아래의 적외선 측정 값과 연관된 제1 부분의 경계는 임계값 위의 적외선 측정 값과 연관된 제1 및 제2 부분의 경계 근처의 픽셀과 같은 일부 픽셀을 포함하도록 확장될 수 있다. 경계는 예를 들어 동일한 조명원에 의해 조명될 가능성이 있는 제1 부분과 제2 부분에 걸쳐 있는 특징을 식별함으로써 확장될 수 있다. 특징 맵에 기초한 방식으로 제1 부분 또는 제2 부분의 경계를 확장하는 것은 장면 내 객체의 조명의 자연스러운 외양을 향상시킬 수 있다. 블록(810)에서, 제1 및 제2 부분의 경계는 블록(808)과 유사하지만 픽셀 색상에 기초하여 개정될 수 있다. 블록(812)에서, 미가공 통계에 기초하여 제1 및 제2 화이트 밸런싱 이득을 결정하기 위해 제1 부분 및 제2 부분의 미가공 통계가 분석될 수 있다. 이러한 화이트 밸런싱 이득은 블록 (814) 에서 제1 부분과 제2 부분의 화이트 밸런싱을 조정하기 위해 적용될 수 있다.

도 7a 및 도 8 의 실시형태는 이미지 프레임의 서로 다른 부분에 별도의 화이트 밸런싱을 적용하는 것을 설명한다. 그러나, 글로벌 화이트 밸런싱 동작은 개별 부분의 로컬 화이트 밸런싱에 추가로 또는 대안적으로 수행될 수도 있다. 글로벌 화이트 밸런싱은 도 7b 를 참조하여 설명된다. 도 7b 는 본 개시의 일부 실시형태에 따라 이미지 프레임의 서로 다른 부분들에 대한 서로 다른 화이트 밸런싱 동작들을 나타내는 블록도이다. 블록(750)의 글로벌 화이트 밸런스 처리는 이미지 콘텐츠 가중화(752)에서 제1 이미지 프레임과 적외선 측정 값을 입력으로 수신한다. 가중화(752)는 자동 화이트 밸런싱(AWB)의 적용과 같은 화이트 밸런싱 동작을 위한 가중화 조정을 결정한다. 가중치는 제1 이미지 프레임 내에서 서로 다른 실내 영역과 실외 영역이 존재할 수 있는 경우와 같이, 제1 이미지 프레임 내의 서로 다른 특성을 나타내는 적외선 측정 값에 기초할 수 있다. 가중치는 또한 또는 대안적으로 다른 특성에 기초할 수도 있다. 가중치는 가중화에 기초한 화이트 밸런싱을 수행하기 위해 제공될 수 있으며, 이것은 가중화에 기초하여 전체 제1 이미지 프레임에 단일 화이트 밸런싱 동작을 적용하여 보정된 이미지 프레임을 생성한다. 일반적인 글로벌 화이트 밸런싱은 이미지 프레임 콘텐츠에 대한 가중 평균을 기반으로 수행될 수 있으며, 여기서 이미지 프레임은 그리드의 셀들로 분리되고, 각 그리드 셀은 최종 화이트 밸런싱에 기여하는 가중치를 갖는다.

하나 이상의 양태들에 있어서, 이미지 프레임을 처리하기 위한 기법들은 본 명세서의 다른 곳에서 설명된 하나 이상의 다른 프로세스들 또는 디바이스들과 관련하여 또는 하기에서 설명된 임의의 단일 양태 또는 양태들의 임의의 조합과 같은, 컴퓨터 포토그래피를 수행하거나 이미지를 향상시키기 위해 적외선 측정들을 사용하는 것을 포함할 수도 있다. 하나 이상의 양태에서, 방법을 수행하는 것은 제1 이미지 프레임 및 대응하는 세트의 적외선 측정 값 세트들 (및/또는 이미지 프레임에 관한 다른 데이터) 을 수신하는 것을 포함할 수 있다. 방법은 또한 대응하는 세트의 적외선 측정 값들에 기초하여 제1 이미지 프레임에 화이트 밸런싱을 적용함으로써 제1 이미지 프레임을 처리하는 것을 포함할 수 있다. 추가적으로, 방법은 사용자 장비 (UE) 와 같은 무선 디바이스를 포함하는 장치에 의해 수행될 수도 있다. 일부 구현들에서, 장치는 적어도 하나의 프로세서, 및 그 프로세서에 커플링된 메모리를 포함할 수도 있다. 프로세서는 장치에 대해 본 명세서에서 설명된 동작들을 수행하도록 구성될 수도 있다. 일부 다른 구현들에서, 방법은 프로그램 코드가 기록된 비일시적 컴퓨터 판독가능 매체에서 구현될 수도 있고, 프로그램 코드는 컴퓨터로 하여금 그 장치를 참조하여 본 명세서에서 설명된 동작들을 수행하게 하기 위해 컴퓨터에 의해 실행가능할 수도 있다. 일부 구현들에서, 방법은 본 명세서에서 설명된 동작들을 수행하도록 구성된 하나 이상의 수단들에 의해 수행될 수도 있다. 일부 구현들에서, 무선 통신의 방법은 그 장치를 참조하여 본 명세서에서 설명된 하나 이상의 동작들을 포함할 수도 있다.

제2 양태에서, 제1 양태과 결합하여, 방법은 적외선 측정 값들의 세트에 기초하여 제1 이미지 프레임의 제1 부분 및 제2 부분을 결정하는 단계; 제1 부분에 있는 제1 이미지 프레임의 제1 부분에 제1 화이트 밸런싱을 적용하는 단계; 및/또는 제2 부분에 있는 제1 이미지 프레임의 제2 부분에 제2 화이트 밸런싱을 적용하는 단계 중 하나 이상을 포함할 수 있다.

제3 양태에서, 제1 양태 또는 제2 양태 중 하나 이상과 조합하여, 방법은 제1 광원에 의해 조명되는 제1 영역을 제1 이미지 프레임의 제1 부분으로 결정하는 단계; 및/또는 제2 광원에 의해 조명되는 제2 영역을 제1 이미지 프레임의 제2 부분으로 결정하는 단계를 포함할 수 있다.

제4 양태에서, 제1 내지 제3 양태 중 하나 이상과 조합하여, 방법은 실내 영역을 제1 이미지 프레임의 제1 부분으로 결정하는 단계; 실외 영역을 제1 이미지 프레임의 제2 부분으로 결정하는 단계; 실내 영역에 낮은 상관 색온도(CCT)를 적용하는 단계; 및/또는 더 높은 상관 색온도(CCT)를 실외 영역에 적용하는 단계를 포함할 수 있다.

제5 양태에서, 제1 내지 제4 양태 중 하나 이상과 조합하여, 방법은 제1 임계값보다 낮은 대응하는 적외선 측정 값을 갖는 제1 이미지 프레임의 부분을 결정하는 단계; 및/또는 제1 임계값보다 높은 대응하는 적외선 측정 값을 갖는 제1 이미지 프레임의 부분을 결정하는 단계를 포함할 수 있다.

제6 양태에서, 제1 내지 제5 양태 중 하나 이상과 조합하여, 방법은 임계 거리 내의 색상 값을 갖는 제1 영역의 픽셀에 기초하여 픽셀의 제1 영역을 결정하는 단계; 및/또는 임계 거리 내의 색상 값을 갖는 제2 영역의 픽셀에 기초하여 픽셀의 제2 영역을 결정하는 단계를 포함할 수 있다.

제7 양태에서, 제1 내지 제6 양태 중 하나 이상과 조합하여, 방법은 제1 화이트 밸런싱을 적용하는 단계는 제1 부분의 이미지 콘텐츠에 기초하여 제1 화이트 밸런싱을 적용하는 단계를 포함하고; 및/또는 제2 화이트 밸런싱을 적용하는 단계는 제1 부분의 이미지 콘텐츠에 기초하여 제2 화이트 밸런싱을 적용하는 단계를 포함하는 것을 포함할 수 있다.

제8 양태에서, 제1 내지 제7 양태 중 하나 이상과 조합하여, 방법은 제1 이미지 프레임의 복수의 특징을 식별하기 위해 제1 이미지 프레임의 컴퓨터 비전 분석을 수행하는 단계; 제1 임계값 미만인 적외선 측정 값의 대응하는 세트의 제1 인접 세트 및 제1 인접 세트에 대응하는 복수의 특징의 제1 세트를 식별하는 것에 기초하여 제1 이미지 프레임의 픽셀의 제1 세트를 제1 부분으로 식별하는 단계; 및/또는 제1 임계값보다 높은 적외선 측정 값의 대응하는 세트의 제2 인접 세트 및 제2 인접 세트에 대응하는 복수의 특징의 제2 세트를 식별하는 것에 기초하여 제1 이미지 프레임의 픽셀의 제2 세트를 제2 부분으로 식별하는 단계를 포함할 수 있다.

제9 양태에서, 제1 내지 제8 양태 중 하나 이상과 조합하여, 방법은 비행 시간 센서로부터 비행 시간(ToF) 측정들의 세트를 적외선 측정 값들로서 수신하는 단계를 포함할 수 있다.

제10 양태에서, 제1 내지 제9 양태 중 하나 이상과 조합하여, 방법은 LiDAR 센서로부터 광 검출 및 레인징 (LiDAR) 측정들의 세트를 적외선 측정값으로 수신하는 단계를 포함할 수 있다.

하나의 이상의 양태들에서, 기법들은 프로세서; 및 프로세서에 연결되고, 명령들을 저장하는 메모리를 포함하는 디바이스를 지원하며, 그 명령들은 프로세서에 의해 실행될 때 디바이스로 하여금, 아래에 설명된 임의의 단일 양태 또는 양태들의 임의 조합과 같은 또는 본 문서의 다른 곳에서 설명된 하나 이상의 다른 프로세스 또는 디바이스와 관련한 추가의 양태들을 포함할 수 있는 동작들을 수행하게 한다. 제11 양태에서, 적외선 측정 값들을 사용하는 이미지 처리를 지원하는 것은 제1 이미지 프레임 및 대응하는 세트의 적외선 측정 값들 (및/또는 이미지 프레임에 관한 다른 데이터) 을 수신하도록 구성된 장치를 포함할 수 있다. 장치는 또한 대응하는 세트의 적외선 측정 값들에 기초하여 제1 이미지 프레임에 화이트 밸런싱을 적용함으로써 제1 이미지 프레임을 처리하도록 구성될 수 있다. 부가적으로, 장치는 하기에서 설명되는 바와 같은 하나 이상의 양태들에 따라 수행 또는 동작할 수도 있다. 일부 구현들에서, 장치는 사용자 장비(UE) 또는 기지국(BS)과 같은 무선 디바이스, 또는 클라우드 기반 서버와 같은 인프라 컴포넌트를 포함한다. 일부 구현들에서, 장치는 적어도 하나의 프로세서, 및 그 프로세서에 커플링된 메모리를 포함할 수도 있다. 프로세서는 장치에 대해 본 명세서에서 설명된 동작들을 수행하도록 구성될 수도 있다. 일부 다른 구현들에서, 장치는 프로그램 코드가 기록된 비일시적 컴퓨터 판독가능 매체를 포함할 수도 있고, 프로그램 코드는 컴퓨터로 하여금 그 장치를 참조하여 본 명세서에서 설명된 동작들을 수행하게 하기 위해 컴퓨터에 의해 실행가능할 수도 있다. 일부 구현들에서, 장치는 본 명세서에서 설명된 동작들을 수행하도록 구성된 하나 이상의 수단들을 포함할 수도 있다.

제12 양태에서, 제11 양태과 결합하여, 장치는 적외선 측정 값들의 세트에 기초하여 제1 이미지 프레임의 제1 부분 및 제2 부분을 결정하는 것; 제1 부분에 있는 제1 이미지 프레임의 제1 부분에 제1 화이트 밸런싱을 적용하는 것; 및/또는 제2 부분에 있는 제1 이미지 프레임의 제2 부분에 제2 화이트 밸런싱을 적용하는 것을 위해 구성될 수 있다.

제13 양태에서, 제11 양태 또는 제12 양태과 조합하여, 장치는 제1 광원에 의해 조명되는 제1 영역을 제1 이미지 프레임의 제1 부분으로 결정하는 것; 및/또는 제2 광원에 의해 조명되는 제2 영역을 제1 이미지 프레임의 제2 부분으로 결정하는 것을 위해 구성될 수 있다.

제14 양태에서, 제11 내지 제13 양태과 조합하여, 장치는 실내 영역을 제1 이미지 프레임의 제1 부분으로 결정하는 것; 실외 영역을 제1 이미지 프레임의 제2 부분으로 결정하는 것; 실내 영역에 낮은 상관 색온도(CCT)를 적용하는 것; 및/또는 더 높은 상관 색온도(CCT)를 실외 영역에 적용하는 것을 위해 구성될 수 있다.

제15 양태에서, 제11 내지 제14 양태과 조합하여, 장치는 제1 임계값보다 낮은 대응하는 적외선 측정 값을 갖는 제1 이미지 프레임의 부분을 결정하는 것; 및/또는 제1 임계값보다 높은 대응하는 적외선 측정 값을 갖는 제1 이미지 프레임의 부분을 결정하는 것을 위해 구성될 수 있다.

제16 양태에서, 제11 내지 제15 양태과 조합하여, 장치는 임계 거리 내의 색상 값을 갖는 제1 영역의 픽셀에 기초하여 픽셀의 제1 영역을 결정하는 것; 및/또는 임계 거리 내의 색상 값을 갖는 제2 영역의 픽셀에 기초하여 픽셀의 제2 영역을 결정하는 것을 위해 구성될 수 있다.

제17 양태에서, 제11 내지 제16 양태과 조합하여, 장치는 제1 화이트 밸런싱을 적용하는 것은 제1 부분의 이미지 콘텐츠에 기초하여 제1 화이트 밸런싱을 적용하는 것을 포함하고; 및/또는 제2 화이트 밸런싱을 적용하는 것은 제1 부분의 이미지 콘텐츠에 기초하여 제2 화이트 밸런싱을 적용하는 것을 위해 구성될 수 있다.

제18 양태에서, 제11 내지 제17 양태과 조합하여, 장치는 제1 이미지 프레임의 복수의 특징을 식별하기 위해 제1 이미지 프레임의 컴퓨터 비전 분석을 수행하는 것; 제1 임계값 미만인 적외선 측정 값의 대응하는 세트의 제1 인접 세트 및 제1 인접 세트에 대응하는 복수의 특징의 제1 세트를 식별하는 것에 기초하여 제1 이미지 프레임의 픽셀의 제1 세트를 제1 부분으로 식별하는 것; 및/또는 제1 임계값보다 높은 적외선 측정 값의 대응하는 세트의 제2 인접 세트 및 제2 인접 세트에 대응하는 복수의 특징의 제2 세트를 식별하는 것에 기초하여 제1 이미지 프레임의 픽셀의 제2 세트를 제2 부분으로 식별하는 것을 위해 구성될 수 있다.

제19 양태에서, 제11 내지 제18 양태과 조합하여, 장치는 비행 시간 센서로부터 비행 시간(ToF) 측정들의 세트를 적외선 측정 값들로서 수신하는 것을 위해 구성될 수 있다.

제20 양태에서, 제11 내지 제19 양태과 조합하여, 장치는 LiDAR 센서로부터 광 검출 및 레인징 (LiDAR) 측정들의 세트를 적외선 측정값으로 수신하는 것을 위해 구성될 수 있다.

하나의 이상의 양태들에서, 기법들은 명령들을 저장하는 비일시적 컴퓨터 판독가능 매체를 지원하며, 그 명령들은 디바이스의 프로세서에 의해 실행될 때 디바이스로 하여금, 아래에 설명된 임의의 단일 양태 또는 양태들의 임의 조합과 같은 또는 본 문서의 다른 곳에서 설명된 하나 이상의 다른 프로세스 또는 디바이스와 관련한 추가의 양태들을 포함할 수 있는 동작들을 수행하게 한다. 제21 양태에서, 적외선 측정값들을 사용하는 이미지 처리를 지원하는 것은 명령들을 저장하는 비일시적 컴퓨터 판독 가능 매체를 포함할 수 있고, 그 명령들은 디바이스의 프로세서에 의해 실행될 때 디바이스로 하여금, 제1 이미지 프레임 및 대응하는 세트의 적외선 측정 값들 (및/또는 이미지 프레임에 관한 다른 데이터) 을 수신하는 것; 및/또는 대응하는 세트의 적외선 측정 값들에 기초하여 제1 이미지 프레임에 화이트 밸런싱을 적용함으로써 제1 이미지 프레임을 처리하는 것을 포함하는 동작들을 수행하게 한다. 부가적으로, 명령들은 장치로 하여금 하기에서 설명되는 바와 같은 하나 이상의 양태들에 따라 수행하거나 동작하게 한다. 일부 구현들에서, 장치는 사용자 장비(UE) 또는 기지국(BS)과 같은 무선 디바이스를 포함하거나, 또는 클라우드 기반 서버와 같은 인프라 컴포넌트를 포함한다. 일부 구현들에서, 장치는 적어도 하나의 프로세서, 및 그 프로세서에 커플링된 메모리를 포함할 수도 있다. 일부 양태에서, 프로세서는 본 명세서에 설명된 다른 이미지 기능을 수행하도록 구성된 회로를 더 포함하는 이미지 신호 프로세서이다. 프로세서는 장치에 대해 본 명세서에서 설명된 동작들을 수행하도록 구성될 수도 있다. 일부 다른 구현들에서, 비일시적 컴퓨터 판독가능 매체는 그것에 기록된 프로그램 코드를 갖고, 그 프로그램 코드는 컴퓨터로 하여금 그 장치를 참조하여 본 명세서에서 설명된 동작들을 수행하게 하기 위해 컴퓨터에 의해 실행가능할 수도 있다.

제22 양태에서, 제21 양태과 결합하여, 명령들은 디바이스로 하여금, 적외선 측정 값들의 세트에 기초하여 제1 이미지 프레임의 제1 부분 및 제2 부분을 결정하는 것; 제1 부분에 있는 제1 이미지 프레임의 제1 부분에 제1 화이트 밸런싱을 적용하는 것; 및/또는 제2 부분에 있는 제1 이미지 프레임의 제2 부분에 제2 화이트 밸런싱을 적용하는 것을 포함하는 동작들을 수행하게 할 수 있다.

제23 양태에서, 제21 양태 또는 제22 양태과 조합하여, 명령들은 디바이스로 하여금, 제1 광원에 의해 조명되는 제1 영역을 제1 이미지 프레임의 제1 부분으로 결정하는 것; 및/또는 제2 광원에 의해 조명되는 제2 영역을 제1 이미지 프레임의 제2 부분으로 결정하는 것을 포한하는 동작들을 수행하게 할 수 있다.

제24 양태에서, 제21 내지 제23 양태과 조합하여, 명령들은 디바이스로 하여금, 실내 영역을 제1 이미지 프레임의 제1 부분으로 결정하는 것; 실외 영역을 제1 이미지 프레임의 제2 부분으로 결정하는 것; 실내 영역에 낮은 상관 색온도(CCT)를 적용하는 것; 및/또는 더 높은 상관 색온도(CCT)를 실외 영역에 적용하는 것을 포함하는 동작들을 수행하게 할 수 있다.

제25 양태에서, 제21 내지 제24 양태과 조합하여, 명령들은 디바이스로 하여금, 제1 임계값보다 낮은 대응하는 적외선 측정 값을 갖는 제1 이미지 프레임의 부분을 결정하는 것; 및/또는 제1 임계값보다 높은 대응하는 적외선 측정 값을 갖는 제1 이미지 프레임의 부분을 결정하는 것을 포함하는 동작들을 수행하게 할 수 있다.

제26 양태에서, 제21 내지 제25 양태과 조합하여, 명령들은 디바이스로 하여금, 임계 거리 내의 색상 값을 갖는 제1 영역의 픽셀에 기초하여 픽셀의 제1 영역을 결정하는 것; 및/또는 임계 거리 내의 색상 값을 갖는 제2 영역의 픽셀에 기초하여 픽셀의 제2 영역을 결정하는 것을 포함하는 동작들을 수행하게 할 수 있다.

제27 양태에서, 제21 내지 제26 양태과 조합하여, 명령들은 디바이스로 하여금, 제1 화이트 밸런싱을 적용하는 것은 제1 부분의 이미지 콘텐츠에 기초하여 제1 화이트 밸런싱을 적용하는 것을 포함하고; 및/또는 제2 화이트 밸런싱을 적용하는 것은 제1 부분의 이미지 콘텐츠에 기초하여 제2 화이트 밸런싱을 적용하는 것을 포함하는 동작들을 수행하게 할 수 있다.

제28 양태에서, 제21 내지 제27 양태과 조합하여, 명령들은 디바이스로 하여금, 제1 이미지 프레임의 복수의 특징을 식별하기 위해 제1 이미지 프레임의 컴퓨터 비전 분석을 수행하는 것; 제1 임계값 미만인 적외선 측정 값의 대응하는 세트의 제1 인접 세트 및 제1 인접 세트에 대응하는 복수의 특징의 제1 세트를 식별하는 것에 기초하여 제1 이미지 프레임의 픽셀의 제1 세트를 제1 부분으로 식별하는 것; 및/또는 제1 임계값보다 높은 적외선 측정 값의 대응하는 세트의 제2 인접 세트 및 제2 인접 세트에 대응하는 복수의 특징의 제2 세트를 식별하는 것에 기초하여 제1 이미지 프레임의 픽셀의 제2 세트를 제2 부분으로 식별하는 것을 포함하는 동작들을 수행하게 할 수 있다.

제29 양태에서, 제21 내지 제28 양태과 조합하여, 명령들은 디바이스로 하여금 비행 시간 센서로부터 비행 시간(ToF) 측정들의 세트를 적외선 측정 값들로서 수신하는 것을 포함하는 동작들을 수행하게 할 수 있다.

제30 양태에서, 제21 내지 제29 양태과 조합하여, 명령들은 디바이스로 하여금, LiDAR 센서로부터 광 검출 및 레인징 (LiDAR) 측정들의 세트를 적외선 측정값으로 수신하는 것을 포함하는 동작들을 수행하게 할 수 있다.

하나의 이상의 양태에서, 이미지 프레임에서 캡처된 장면의 적외선 측정 값에 기초하여 이미지 프레임의 처리를 지원하는 기법들은 제1 시야로 구성된 제1 이미지 센서, 제1 이미지 센서에 연결된 프로세서, 및 프로세서에 연결된 메모리를 포함하는 디바이스에서 또는 디바이스에 의해 구현될 수 있다. 프로세스는 본 명세서의 다른 곳에서 설명된 하나 이상의 다른 프로세스들과 관련하여 또는 하기에서 설명된 임의의 단일 양태 또는 양태들의 임의의 조합과 같은 추가적인 양태들을 포함하는 단계들을 수행하도록 구성된다.

제31 양태에서, 이미지 처리를 지원하는 것은 처음에 캡처된 제1 이미지 프레임을 수신하도록 구성된 디바이스를 포함할 수 있다. 디바이스는 다중 포인트 IR 검출기를 더 포함할 수 있으며, 또한 다중 포인트 IR 검출기로부터 적외선 측정 값들의 대응하는 세트를 수신하는 것, 및 적외선 측정 값들의 대응하는 세트에 기초하여 제1 이미지 프레임에 화이트 밸런싱을 적용함으로써 프로세서(예를 들어, 이미지 신호 프로세서)를 사용하여 제1 이미지 프레임을 처리하는 것을 위해 구성된다. 부가적으로, 디바이스는 하기에서 설명되는 바와 같은 하나 이상의 양태들에 따라 수행 또는 동작할 수도 있다. 일부 구현들에서, 디바이스는 사용자 장비(UE) 또는 기지국(BS)과 같은 무선 디바이스, 또는 클라우드 기반 서버와 같은 인프라 컴포넌트를 포함한다. 일부 구현에서, 디바이스는 적어도 하나의 프로세서, 및 프로세서에 결합된 메모리를 포함할 수 있으며, 여기서 프로세서는 디바이스에 대해 여기에 기술된 동작들을 수행하도록 구성될 수 있다. 일부 다른 구현들에서, 디바이스는 프로그램 코드가 기록된 비일시적 컴퓨터 판독가능 매체를 포함할 수도 있고, 프로그램 코드는 디바이스로 하여금 그 디바이스를 참조하여 본 명세서에서 설명된 동작들을 수행하게 하기 위해 디바이스에 의해 실행가능할 수도 있다. 일부 구현들에서, 디바이스는 본 명세서에서 설명된 동작들을 수행하도록 구성된 하나 이상의 수단들을 포함할 수도 있다.

제32 양태에서, 제31 양태과 결합하여, 프로세서는 또한 외선 측정 값들의 세트에 기초하여 제1 이미지 프레임의 제1 부분 및 제2 부분을 결정하는 것; 제1 부분에 있는 제1 이미지 프레임의 제1 부분에 제1 화이트 밸런싱을 적용하는 것; 및/또는 제2 부분에 있는 제1 이미지 프레임의 제2 부분에 제2 화이트 밸런싱을 적용하는 것을 위해 구성된다.

제33 양태에서, 제31 양태 또는 제32 양태 중 하나 이상과 조합하여, 프로세서는 또한 제1 광원에 의해 조명되는 제1 영역을 제1 이미지 프레임의 제1 부분으로 결정하는 것; 및/또는 제2 광원에 의해 조명되는 제2 영역을 제1 이미지 프레임의 제2 부분으로 결정하는 것을 위해 구성된다.

제34 양태에서, 제31 내지 제33 양태 중 하나 이상과 조합하여, 프로세서는 또한 실내 영역을 제1 이미지 프레임의 제1 부분으로 결정하는 것; 실외 영역을 제1 이미지 프레임의 제2 부분으로 결정하는 것; 실내 영역에 낮은 상관 색온도(CCT)를 적용하는 것; 및/또는 더 높은 상관 색온도(CCT)를 실외 영역에 적용하는 것을 위해 구성된다.

제35 양태에서, 제31 내지 제34 양태 중 하나 이상과 조합하여, 프로세서는 또한 제1 임계값보다 낮은 대응하는 적외선 측정 값을 갖는 제1 이미지 프레임의 부분을 결정하는 것; 및/또는 제1 임계값보다 높은 대응하는 적외선 측정 값을 갖는 제1 이미지 프레임의 부분을 결정하는 것을 위해 구성된다.

제36 양태에서, 제31 내지 제35 양태 중 하나 이상과 조합하여, 프로세서는 또한 임계 거리 내의 색상 값을 갖는 제1 영역의 픽셀에 기초하여 픽셀의 제1 영역을 결정하는 것; 및/또는 임계 거리 내의 색상 값을 갖는 제2 영역의 픽셀에 기초하여 픽셀의 제2 영역을 결정하는 것을 위해 구성된다.

제37 양태에서, 제31 내지 제36 양태 중 하나 이상과 조합하여, 프로세서는 또한 제1 화이트 밸런싱을 적용하는 것은 제1 부분의 이미지 콘텐츠에 기초하여 제1 화이트 밸런싱을 적용하는 것을 포함하고; 및/또는 제2 화이트 밸런싱을 적용하는 것은 제1 부분의 이미지 콘텐츠에 기초하여 제2 화이트 밸런싱을 적용하는 것을 포함하는 것을 위해 구성된다.

제38 양태에서, 제31 내지 제37 양태 중 하나 이상과 조합하여, 프로세서는 또한 제1 이미지 프레임의 복수의 특징을 식별하기 위해 제1 이미지 프레임의 컴퓨터 비전 분석을 수행하는 것; 제1 임계값 미만인 적외선 측정 값의 대응하는 세트의 제1 인접 세트 및 제1 인접 세트에 대응하는 복수의 특징의 제1 세트를 식별하는 것에 기초하여 제1 이미지 프레임의 픽셀의 제1 세트를 제1 부분으로 식별하는 것; 및/또는 제1 임계값보다 높은 적외선 측정 값의 대응하는 세트의 제2 인접 세트 및 제2 인접 세트에 대응하는 복수의 특징의 제2 세트를 식별하는 것에 기초하여 제1 이미지 프레임의 픽셀의 제2 세트를 제2 부분으로 식별하는 것을 위해 구성된다.

제39 양태에서, 제31 양태 내지 제38 양태 중 하나 이상과 결합하여, 디바이스는 다중 포인트 IR 검출기로서의 비행 시간 (ToF) 측정 디바이스를 더 포함하고, 프로세서는 또한 비행 시간 센서로부터의 비행 시간(ToF) 측정들의 세트를 적외선 측정 값들로서 수신하는 것을 위해 구성된다.

제40 양태에서, 제31 양태 내지 제39 양태 중 하나 이상과 조합하여, 디바이스는 다중 포인트 IR 검출기로서의 광 검출 및 레인징 (LiDAR) 디바이스를 더 포함하고, 프로세서는 또한 LiDAR 센서로부터의 광 검출 및 레인징 (LiDAR) 측정들의 세트를 적외선 측정값들로서 수신하는 것을 위해 구성된다.

당업자들은 정보 및 신호들이 다양한 상이한 기술들 및 기법들 중 임의의 것을 사용하여 표현될 수도 있다는 것을 이해할 것이다. 예를 들어, 상기 설명 전반에 걸쳐 참조될 수도 있는 데이터, 명령들, 커맨드(command)들, 정보, 신호들, 비트들, 심볼들, 및 칩들은 전압, 전류, 전자기파, 자기장 또는 자성 입자, 광학장 또는 광학 입자, 또는 이들의 임의의 조합에 의해 표현될 수도 있다.

도 1 및 도 7a 와 관련하여 본 명세서에 설명된 컴포넌트들, 기능 블록들, 및 모듈들은 다른 예들 중에서도 프로세서들, 전자 디바이스들, 하드웨어 디바이스들, 전자 컴포넌트들, 논리 회로들, 메모리들, 소프트웨어 코드들, 펌웨어 코드들, 또는 이들의 임의의 조합을 포함한다. 또한, 본 명세서에서 논의된 특징들은 특수화된 프로세서 회로부를 통해, 실행가능 명령들을 통해, 또는 이들의 조합들을 통해 구현될 수도 있다.

당업자는, 본 명세서의 개시와 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 회로들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자 모두의 조합으로서 구현될 수도 있음을 추가로 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호 교환 가능성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트, 블록, 모듈, 회로 및 단계가 일반적으로 기능의 관점에서 상술되었다. 그러한 기능이 하드웨어 또는 소프트웨어로 구현될지 여부는, 특정의 애플리케이션 및 전체 시스템에 부과된 설계 제약에 달려 있다. 당업자는 설명된 기능성을 각각의 특정 어플리케이션에 대하여 다양한 방식들로 구현할 수도 있지만, 그러한 구현의 결정들이 본 개시의 범위로부터의 일탈을 야기하는 것으로서 해석되지는 않아야 한다. 당업자는 또한 여기에 설명된 컴포넌트, 방법 또는 상호 작용의 순서 또는 조합이 단지 예일 뿐이며, 본 개시의 다양한 양태의 컴포넌트, 방법 또는 상호 작용이 여기에 기술되고 예시된 것들 이외의 방식들로 결합되거나 수행될 수도 있다는 것을 쉽게 인식할 것이다.

본 명세서에 개시된 구현들과 관련하여 설명된 다양한 예시적인 로직들, 논리 블록들, 모듈들, 회로들 및 알고리즘 프로세스들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자의 조합들로서 구현될 수도 있다. 하드웨어와 소프트웨어의 상호교환가능성은 일반적으로 기능성의 관점에서 설명되었으며, 상기 설명된 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 프로세스들에 예시되었다. 그러한 기능성이 하드웨어에서 구현되는지 또는 소프트웨어에서 구현되는지는 전체 시스템에 부과된 설계 제약들 및 특정 애플리케이션에 의존한다.

본 명세서에 개시된 양태들과 관련하여 설명된 다양한 예시적인 로직들, 논리 블록들, 모듈들 및 회로들을 구현하는데 사용되는 하드웨어 및 데이터 프로세싱 장치는 범용 단일 또는 다중 코어 프로세서, 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 필드 프로그래밍가능 게이트 어레이(FPGA) 또는 다른 프로그래밍가능 또는 고정 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 본 명세서에서 설명된 기능들을 수행하도록 설계된 이들의 임의의 조합으로 구현 또는 수행될 수도 있다. 범용 프로세서는 마이크로프로세서, 또는 임의의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 일부 구현들에서, 프로세서는 컴퓨팅 디바이스들의 조합, 예컨대 DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서, 또는 임의의 다른 그러한 구성으로서 구현될 수도 있다. 일부 구현들에서, 특정 프로세스들 및 방법들은 주어진 기능에 특정되는 회로부에 의해 수행될 수도 있다.

하나 이상의 양태들에서, 설명된 기능들은 본 명세서에 개시된 구조들 및 이들의 구조적 균등물들을 포함하여, 하드웨어, 디지털 전자 회로부, 컴퓨터 소프트웨어, 펌웨어에서, 또는 이들의 임의의 조합에서 구현될 수도 있다. 본 명세서에서 설명된 주제의 구현들은 또한, 하나 이상의 컴퓨터 프로그램들, 즉, 데이터 프로세싱 장치에 의한 실행을 위해 또는 데이터 프로세싱 장치의 동작을 제어하기 위해 컴퓨터 저장 매체들 상에서 인코딩된 컴퓨터 프로그램 명령들의 하나 이상의 모듈들로서 구현될 수도 있다.

소프트웨어에서 구현되면, 기능들은 컴퓨터 판독가능 매체 상에 하나 이상의 명령들 또는 코드로서 저장 또는 이를 통해 송신될 수도 있다. 본 명세서에 개시된 방법 또는 알고리즘의 프로세스는 컴퓨터 판독가능 매체 상에 상주할 수도 있는 프로세서 실행가능 소프트웨어 모듈에서 구현될 수도 있다. 컴퓨터 판독가능 매체들은 일 장소로부터 다른 장소로 컴퓨터 프로그램을 전송하도록 인에이블될 수도 있는 임의의 매체를 포함하는 통신 매체들 및 컴퓨터 저장 매체들 양자 모두를 포함한다. 저장 매체들은, 컴퓨터에 의해 액세스될 수도 있는 임의의 이용가능한 매체들일 수도 있다. 한정이 아닌 예로서, 그러한 컴퓨터 판독가능 매체들은 RAM(random-access memory), ROM(read-only memory), EEPROM(electrically erasable programmable read-only memory), CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 저장하는데 사용될 수도 있고 컴퓨터에 의해 액세스될 수도 있는 임의의 다른 매체를 포함할 수도 있다. 또한, 임의의 연결이 컴퓨터 판독가능 매체로 적절히 명명될 수 있다. 디스크(disk) 및 디스크(disc)는, 본 명세서에서 사용된 바와 같이, 컴팩트 디스크(CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크(DVD), 플로피 디스크, 및 블루레이 디스크를 포함하며, 여기서 디스크(disk) 들은 보통 데이터를 자기적으로 재생(reproduce) 하는 한편, 디스크(disc) 들은 레이저들로 데이터를 광학적으로 재생한다. 상기의 조합들은 또한, 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다. 추가적으로, 방법 또는 알고리즘의 동작들은 코드들 및 명령들 중 하나 또는 임의의 조합 또는 세트로서 머신 판독가능 매체 및 컴퓨터 판독가능 매체 상에 상주할 수도 있으며, 이들은 컴퓨터 프로그램 제품에 통합될 수도 있다.

본 개시에서 설명된 구현들에 대한 다양한 수정들은 당업자에게 용이하게 자명할 수도 있으며, 본 명세서에서 정의된 일반적인 원리들은 본 개시의 사상 또는 범위로부터 일탈함없이 일부 다른 구현들에 적용될 수도 있다. 따라서, 청구항들은 본 명세서에 나타낸 구현들로 한정되도록 의도되지 않으며, 본 명세서에 개시된 본 개시, 원리들 및 신규한 특징들과 부합하는 최광의 범위를 부여받아야 한다.

추가적으로, 당업자는, 용어들 "상부" 및 "하부"가 도면들을 쉽게 설명하기 위해 때때로 사용되고 적절히 배향된 페이지 상에서 도면의 배향에 대응하는 상대적 포지션들을 표시하며, 구현된 바와 같이 임의의 디바이스의 적절한 배향을 반영하지 않을 수도 있음을 용이하게 이해할 것이다.

별도의 구현들의 컨텍스트에서 본 명세서에서 설명된 소정의 특징들은 또한 단일 구현의 조합으로 구현될 수도 있다. 반면, 단일 구현의 컨텍스트에서 설명된 다양한 특징들은 또한, 다수의 구현들에서 별개로 또는 임의의 적합한 하위조합으로 구현될 수도 있다. 더욱이, 비록 특징들이 소정의 조합들로 작용하는 것으로서 위에 설명되고 심지어 그와 같이 초기에 청구될 수도 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우들에서 그 조합으로부터 삭제될 수 있으며, 청구된 조합은 하위조합 또는 하위조합의 변형으로 지향될 수도 있다.

유사하게, 동작들이 특정 순서로 도면들에 도시되지만, 이는 바람직한 결과들을 달성하기 위해, 도시된 특정 순서로 또는 순차적인 순서로 그러한 동작들이 수행되어야 하거나, 예시된 모든 동작들이 수행되어야 할 것을 요구하는 것으로서 이해되지 않아야 한다. 또한, 도면들은 하나 이상의 예시적인 프로세스들을 플로우 다이어그램의 형태로 개략적으로 도시할 수도 있다. 그러나, 도시되지 않은 다른 동작들은 개략적으로 예시되는 예시적인 프로세스들에 통합될 수도 있다. 예를 들어, 하나 이상의 추가적인 동작들이 예시된 동작들 중 임의의 동작들 이전에, 그 이후에, 그와 동시에, 또는 그들 사이에서 수행될 수도 있다. 특정 상황들에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수도 있다. 더욱이, 위에서 설명된 구현들에서 다양한 시스템 컴포넌트들의 구분이 모든 구현들에서 그러한 구분을 요구하는 것으로 이해되지 않아야 하며, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품들로 패키징될 수도 있음이 이해되어야 한다. 추가적으로, 일부 다른 구현들은 다음의 청구항들의 범위 내에 있다. 일부 경우들에서, 청구항들에 언급된 액션들은 상이한 순서로 수행되며 여전히 바람직한 결과들을 달성할 수도 있다.

청구항들을 포함하여 본 명세서에서 사용된 바와 같이, 용어 "또는"은, 둘 이상의 아이템들의 리스트에서 사용되는 경우, 리스팅된 아이템들 중 임의의 아이템이 홀로 채용될 수도 있거나 또는 리스팅된 아이템들 중 둘 이상의 임의의 조합이 채용될 수도 있음을 의미한다. 예를 들어, 구성이 컴포넌트들 A, B, 또는 C를 포함하는 것으로서 설명되면, 그 구성은 A 만을; B 만을; C 만을; A 및 B를 조합하여; A 및 C를 조합하여; B 및 C를 조합하여; 또는 A, B, 및 C를 조합하여 포함할 수도 있다. 또한, 청구항들을 포함하여 본 명세서에서 사용된 바와 같이, "중 적어도 하나"에 의해 시작된 아이템들의 리스트에서 사용되는 바와 같은 "또는"은, 예를 들어 "A, B, 또는 C 중 적어도 하나"의 리스트가 A 또는 B 또는 C 또는 AB 또는 AC 또는 BC 또는 ABC(즉, A 및 B 및 C) 또는 이들의 임의의 조합에서의 이들 중 임의의 것을 의미하도록 하는 이접적 리스트를 나타낸다. 용어 "실질적으로"는, 당업자에 의해 이해되는 바와 같이, 특정되는 것을 대체적으로 그러나 반드시 전적으로는 아닌 것으로서 정의된다 (그리고 특정되는 것을 포함한다; 예를 들어, 실질적으로 90 도는 90 도를 포함하고 실질적으로 평행은 평행을 포함함). 임의의 개시된 구현들에서, 용어 "실질적으로"는 특정된 것의 "[백분율] 이내"로 대체될 수도 있으며, 여기서 백분율은 .1, 1, 5 또는 10%를 포함한다.

본 개시의 전술된 설명은 임의의 당업자로 하여금 본 개시를 제조 또는 사용하게 할 수 있도록 제공된다. 본 개시에 대한 다양한 수정들은 당업자들에게 용이하게 명백할 것이며, 본 명세서에서 정의된 일반적인 원리들은 본 개시의 사상 또는 범위로부터 일탈함없이 다른 변경들에 적용될 수도 있다. 따라서, 본 개시는 본 명세서에 설명된 예시들 및 설계들로 제한되지 않고, 본원에 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위에 부합되고자 한다.

Claims (40)

1. 방법으로서,
   제 1 이미지 프레임 및 대응하는 세트의 적외선 측정 값들을 수신하는 단계; 및
   상기 대응하는 세트의 적외선 측정 값들에 기초하여 상기 제 1 이미지 프레임에 화이트 밸런싱을 적용함으로써 상기 제 1 이미지 프레임을 처리하는 단계를 포함하는, 방법.
2. 제 1 항에 있어서,
   상기 처리하는 단계는,
   상기 세트의 적외선 측정 값들에 기초하여 상기 제 1 이미지 프레임의 제 1 부분 및 제 2 부분을 결정하는 단계;
   상기 제 1 부분에 있는 상기 제 1 이미지 프레임의 상기 제 1 부분에 제 1 화이트 밸런싱을 적용하는 단계; 및
   상기 제 2 부분에 있는 상기 제 1 이미지 프레임의 상기 제 2 부분에 제 2 화이트 밸런싱을 적용하는 단계를 포함하는, 방법.
3. 제 2 항에 있어서,
   상기 제 1 부분 및 제 2 부분을 결정하는 단계는,
   제 1 광원에 의해 조명되는 제 1 영역을 상기 제 1 이미지 프레임의 상기 제 1 부분으로 결정하는 단계; 및
   제 2 광원에 의해 조명되는 제 2 영역을 상기 제 1 이미지 프레임의 상기 제 2 부분으로 결정하는 단계를 포함하는, 방법.
4. 제 2 항에 있어서,
   상기 제 1 부분 및 제 2 부분을 결정하는 단계는,
   실내 영역을 상기 제 1 이미지 프레임의 상기 제 1 부분으로 결정하는 단계; 및
   실외 영역을 상기 제 1 이미지 프레임의 상기 제 2 부분으로 결정하는 단계를 포함하고,
   상기 제 1 부분에 상기 제 1 화이트 밸런싱을 적용하는 단계는 상기 실내 영역에 더 낮은 상관 색 온도 (CCT) 를 적용하는 단계를 포함하고,
   상기 제 2 부분에 상기 제 2 화이트 밸런싱을 적용하는 단계는 상기 실외 영역에 더 높은 상관 색 온도 (CCT) 를 적용하는 단계를 포함하는, 방법.
5. 제 2 항에 있어서,
   상기 제 1 부분을 결정하는 단계는 제 1 임계값 아래의 대응하는 적외선 측정 값들을 갖는 상기 제 1 이미지 프레임의 부분을 결정하는 단계를 포함하고; 그리고
   상기 제 2 부분을 결정하는 단계는 상기 제 1 임계값 위의 대응하는 적외선 측정 값들을 갖는 상기 제 1 이미지 프레임의 부분을 결정하는 단계를 포함하는, 방법.
6. 제 5 항에 있어서,
   상기 제 1 부분을 결정하는 단계는 상기 제 1 부분의 픽셀들이 제 1 임계 거리 내의 색상 값들을 갖는다고 결정하는 단계를 포함하고; 그리고
   상기 제 2 부분을 결정하는 단계는 상기 제 2 부분의 픽셀들이 제 2 임계 거리 내의 색상 값들을 갖는다고 결정하는 단계를 포함하는, 방법.
7. 제 2 항에 있어서,
   상기 제 1 화이트 밸런싱을 적용하는 단계는 상기 제 1 부분의 이미지 콘텐츠에 기초하여 상기 제 1 화이트 밸런싱을 적용하는 단계를 포함하고;
   상기 제 2 화이트 밸런싱을 적용하는 단계는 상기 제 1 부분의 이미지 콘텐츠에 기초하여 상기 제 2 화이트 밸런싱을 적용하는 단계를 포함하는, 방법.
8. 제 2 항에 있어서,
   상기 제 1 부분 및 제 2 부분을 결정하는 단계는,
   상기 제 1 이미지 프레임의 복수의 특징들을 식별하기 위해 상기 제 1 이미지 프레임의 컴퓨터 비전 분석을 수행하는 단계;
   제 1 임계값 아래인 상기 대응하는 세트의 적외선 측정 값들의 제 1 인접 세트 및 상기 제 1 인접 세트에 대응하는 상기 복수의 특징들의 제 1 세트를 식별하는 것에 기초하여 상기 제 1 이미지 프레임의 픽셀들의 제 1 세트를 상기 제 1 부분으로 식별하는 단계; 및
   제 1 임계값 위인 상기 대응하는 세트의 적외선 측정 값들의 제 2 인접 세트 및 상기 제 2 인접 세트에 대응하는 상기 복수의 특징들의 제 2 세트를 식별하는 것에 기초하여 상기 제 1 이미지 프레임의 픽셀들의 제 2 세트를 상기 제 2 부분으로 식별하는 단계를 포함하는, 방법.
9. 제 1 항에 있어서,
   상기 처리하는 단계는,
   상기 세트의 적외선 측정 값들에 기초하여 상기 제 1 이미지 프레임에 대한 화이트 밸런싱 가중치들을 결정하는 단계; 그리고
   상기 화이트 밸런싱 가중치들에 기초하여 화이트 밸런싱을 적용하는 단계를 포함하는, 방법.
10. 제 1 항에 있어서,
    상기 대응하는 세트의 적외선 측정 값들을 수신하는 단계는 광 검출 및 레인징 (LiDAR) 센서로부터 LiDAR 측정들의 세트를 수신하는 단계; 또는 비행 시간 센서로부터 비행 시간 (ToF) 측정들의 세트를 수신하는 단계 중 적어도 하나를 포함하는, 방법.
11. 디바이스로서,
    프로세서; 및
    상기 프로세서에 커플링되고 명령들을 저장하는 메모리를 포함하고,
    상기 명령들은 상기 프로세서에 의해 실행될 때, 상기 디바이스로 하여금, 동작들을 수행하게 하며,
    상기 동작들은,
    제 1 이미지 프레임 및 대응하는 세트의 적외선 측정 값들을 수신하는 것; 및
    상기 대응하는 세트의 적외선 측정 값들에 기초하여 상기 제 1 이미지 프레임에 화이트 밸런싱을 적용함으로써 상기 제 1 이미지 프레임을 처리하는 것을 포함하는, 디바이스.
12. 제 11 항에 있어서,
    상기 제 1 이미지 프레임을 처리하는 것은,
    상기 세트의 적외선 측정 값들에 기초하여 상기 제 1 이미지 프레임의 제 1 부분 및 제 2 부분을 결정하는 것;
    상기 제 1 부분의 이미지 콘텐츠에 기초하여 상기 제 1 이미지 프레임의 상기 제 1 부분에 제 1 화이트 밸런싱을 적용하는 것; 및
    상기 제 2 부분의 이미지 콘텐츠에 기초하여 상기 제 1 이미지 프레임의 상기 제 2 부분에 제 2 화이트 밸런싱을 적용하는 것을 포함하는, 디바이스.
13. 제 12 항에 있어서,
    상기 제 1 부분 및 제 2 부분을 결정하는 것은,
    제 1 광원에 의해 조명되는 제 1 영역을 상기 제 1 이미지 프레임의 상기 제 1 부분으로 결정하는 것; 및
    제 2 광원에 의해 조명되는 제 2 영역을 상기 제 1 이미지 프레임의 상기 제 2 부분으로 결정하는 것을 포함하는, 디바이스.
14. 제 12 항에 있어서,
    상기 제 1 부분 및 제 2 부분을 결정하는 것은,
    실내 영역을 상기 제 1 이미지 프레임의 상기 제 1 부분으로 결정하는 것; 및
    실외 영역을 상기 제 1 이미지 프레임의 상기 제 2 부분으로 결정하는 것을 포함하고,
    상기 제 1 부분에 상기 제 1 화이트 밸런싱을 적용하는 것은 상기 실내 영역에 더 낮은 상관 색 온도 (CCT) 를 적용하는 것을 포함하고,
    상기 제 2 부분에 상기 제 2 화이트 밸런싱을 적용하는 것은 상기 실외 영역에 더 높은 상관 색 온도 (CCT) 를 적용하는 것을 포함하는, 디바이스.
15. 제 12 항에 있어서,
    상기 제 1 부분을 결정하는 것은 제 1 임계값 아래의 대응하는 적외선 측정 값들을 갖는 상기 제 1 이미지 프레임의 부분을 결정하는 것을 포함하고; 그리고
    상기 제 2 부분을 결정하는 것은 상기 제 1 임계값 위의 대응하는 적외선 측정 값들을 갖는 상기 제 1 이미지 프레임의 부분을 결정하는 것을 포함하는, 디바이스.
16. 제 15 항에 있어서,
    상기 제 1 부분을 결정하는 것은 상기 제 1 부분의 픽셀들이 제 1 임계 거리 내의 색상 값들을 갖는다고 결정하는 것을 포함하고; 그리고
    상기 제 2 부분을 결정하는 것은 상기 제 2 부분의 픽셀들이 제 2 임계 거리 내의 색상 값들을 갖는다고 결정하는 것을 포함하는, 디바이스.
17. 제 12 항에 있어서,
    상기 제 1 화이트 밸런싱을 적용하는 것은 상기 제 1 부분의 이미지 콘텐츠에 기초하여 상기 제 1 화이트 밸런싱을 적용하는 것을 포함하고;
    상기 제 2 화이트 밸런싱을 적용하는 것은 상기 제 1 부분의 이미지 콘텐츠에 기초하여 상기 제 2 화이트 밸런싱을 적용하는 것을 포함하는, 디바이스.
18. 제 12 항에 있어서,
    상기 제 1 부분 및 제 2 부분을 결정하는 것은,
    상기 제 1 이미지 프레임의 복수의 특징들을 식별하기 위해 상기 제 1 이미지 프레임의 컴퓨터 비전 분석을 수행하는 것;
    제 1 임계값 아래인 상기 대응하는 세트의 적외선 측정 값들의 제 1 인접 세트 및 상기 제 1 인접 세트에 대응하는 상기 복수의 특징들의 제 1 세트를 식별하는 것에 기초하여 상기 제 1 이미지 프레임의 픽셀들의 제 1 세트를 상기 제 1 부분으로 식별하는 것; 및
    제 1 임계값 위인 상기 대응하는 세트의 적외선 측정 값들의 제 2 인접 세트 및 상기 제 2 인접 세트에 대응하는 상기 복수의 특징들의 제 2 세트를 식별하는 것에 기초하여 상기 제 1 이미지 프레임의 픽셀들의 제 2 세트를 상기 제 2 부분으로 식별하는 것을 포함하는, 디바이스.
19. 제 11 항에 있어서,
    상기 제 1 이미지 프레임을 처리하는 것은,
    상기 세트의 적외선 측정 값들에 기초하여 상기 제 1 이미지 프레임에 대한 화이트 밸런싱 가중치들을 결정하는 것; 그리고
    상기 화이트 밸런싱 가중치들에 기초하여 화이트 밸런싱을 적용하는 것을 포함하는, 디바이스.
20. 제 11 항에 있어서,
    상기 대응하는 세트의 적외선 측정 값들을 수신하는 것은 광 검출 및 레인징 (LiDAR) 센서로부터 LiDAR 측정들의 세트를 수신하는 것; 또는 비행 시간 센서로부터 비행 시간 (ToF) 측정들의 세트를 수신하는 것 중 적어도 하나를 포함하는, 디바이스.
21. 명령들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은, 디바이스의 프로세서에 의해 실행될 때, 상기 디바이스로 하여금, 동작들을 수행하게 하며,
    상기 동작들은,
    제 1 이미지 프레임 및 대응하는 세트의 적외선 측정 값들을 수신하는 것; 및
    상기 대응하는 세트의 적외선 측정 값들에 기초하여 상기 제 1 이미지 프레임에 화이트 밸런싱을 적용함으로써 상기 제 1 이미지 프레임을 처리하는 것을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
22. 제 21 항에 있어서,
    상기 처리하는 것은,
    상기 세트의 적외선 측정 값들에 기초하여 상기 제 1 이미지 프레임의 제 1 부분 및 제 2 부분을 결정하는 것;
    상기 제 1 부분에 있는 상기 제 1 이미지 프레임의 상기 제 1 부분에 제 1 화이트 밸런싱을 적용하는 것; 및
    상기 제 2 부분에 있는 상기 제 1 이미지 프레임의 상기 제 2 부분에 제 2 화이트 밸런싱을 적용하는 것을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
23. 제 22 항에 있어서,
    상기 제 1 부분 및 제 2 부분을 결정하는 것은,
    제 1 광원에 의해 조명되는 제 1 영역을 상기 제 1 이미지 프레임의 상기 제 1 부분으로 결정하는 것; 및
    제 2 광원에 의해 조명되는 제 2 영역을 상기 제 1 이미지 프레임의 상기 제 2 부분으로 결정하는 것을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
24. 제 22 항에 있어서,
    상기 제 1 부분 및 제 2 부분을 결정하는 것은,
    실내 영역을 상기 제 1 이미지 프레임의 상기 제 1 부분으로 결정하는 것; 및
    실외 영역을 상기 제 1 이미지 프레임의 상기 제 2 부분으로 결정하는 것을 포함하고,
    상기 제 1 부분에 상기 제 1 화이트 밸런싱을 적용하는 것은 상기 실내 영역에 더 낮은 상관 색 온도 (CCT) 를 적용하는 것을 포함하고,
    상기 제 2 부분에 상기 제 2 화이트 밸런싱을 적용하는 것은 상기 실외 영역에 더 높은 상관 색 온도 (CCT) 를 적용하는 것을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
25. 제 22 항에 있어서,
    상기 제 1 부분을 결정하는 것은 제 1 임계값 아래의 대응하는 적외선 측정 값들을 갖는 상기 제 1 이미지 프레임의 부분을 결정하는 것을 포함하고; 그리고
    상기 제 2 부분을 결정하는 것은 상기 제 1 임계값 위의 대응하는 적외선 측정 값들을 갖는 상기 제 1 이미지 프레임의 부분을 결정하는 것을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
26. 제 25 항에 있어서,
    상기 제 1 부분을 결정하는 것은 상기 제 1 부분의 픽셀들이 제 1 임계 거리 내의 색상 값들을 갖는다고 결정하는 것을 포함하고; 그리고
    상기 제 2 부분을 결정하는 것은 상기 제 2 부분의 픽셀들이 제 2 임계 거리 내의 색상 값들을 갖는다고 결정하는 것을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
27. 제 22 항에 있어서,
    상기 제 1 화이트 밸런싱을 적용하는 것은 상기 제 1 부분의 이미지 콘텐츠에 기초하여 상기 제 1 화이트 밸런싱을 적용하는 것을 포함하고;
    상기 제 2 화이트 밸런싱을 적용하는 것은 상기 제 1 부분의 이미지 콘텐츠에 기초하여 상기 제 2 화이트 밸런싱을 적용하는 것을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
28. 제 22 항에 있어서,
    상기 제 1 부분 및 제 2 부분을 결정하는 것은,상기 제 1 이미지 프레임의 복수의 특징들을 식별하기 위해 상기 제 1 이미지 프레임의 컴퓨터 비전 분석을 수행하는 것;
    제 1 임계값 아래인 상기 대응하는 세트의 적외선 측정 값들의 제 1 인접 세트 및 상기 제 1 인접 세트에 대응하는 상기 복수의 특징들의 제 1 세트를 식별하는 것에 기초하여 상기 제 1 이미지 프레임의 픽셀들의 제 1 세트를 상기 제 1 부분으로 식별하는 것; 및
    제 1 임계값 위인 상기 대응하는 세트의 적외선 측정 값들의 제 2 인접 세트 및 상기 제 2 인접 세트에 대응하는 상기 복수의 특징들의 제 2 세트를 식별하는 것에 기초하여 상기 제 1 이미지 프레임의 픽셀들의 제 2 세트를 상기 제 2 부분으로 식별하는 것을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
29. 제 21 항에 있어서,
    상기 제 1 이미지 프레임을 처리하는 것은,
    상기 세트의 적외선 측정 값들에 기초하여 상기 제 1 이미지 프레임에 대한 화이트 밸런싱 가중치들을 결정하는 것; 그리고
    상기 화이트 밸런싱 가중치들에 기초하여 화이트 밸런싱을 적용하는 것을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
30. 제 21 항에 있어서,
    상기 대응하는 세트의 적외선 측정 값들을 수신하는 것은 광 검출 및 레인징 (LiDAR) 센서로부터 LiDAR 측정들의 세트를 수신하는 것; 또는 비행 시간 센서로부터 비행 시간 (ToF) 측정들의 세트를 수신하는 것 중 적어도 하나를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
31. 디바이스로서,
    제 1 이미지 센서;
    제 1 다중 포인트 적외선 (IR) 검출기;
    상기 제 1 이미지 센서 및 상기 제 1 다중 포인트 IR 검출기에 결합된 프로세서; 그리고
    상기 프로세서에 결합된 메모리를 포함하고,
    상기 프로세서는 단계들을 수행하도록 구성되고,
    상기 단계들은,
    상기 제 1 이미지 센서로부터 제 1 이미지 프레임을, 그리고 상기 제 1 다중 포인트 IR 검출기로부터 대응하는 세트의 적외선 측정 값들을 수신하는 것; 그리고
    상기 대응하는 세트의 적외선 측정 값들에 기초하여 상기 제 1 이미지 프레임에 화이트 밸런싱을 적용함으로써 상기 제 1 이미지 프레임을 처리하는 것을 포함하는, 디바이스.
32. 제 31 항에 있어서,
    상기 처리하는 것은,
    상기 세트의 적외선 측정 값들에 기초하여 상기 제 1 이미지 프레임의 제 1 부분 및 제 2 부분을 결정하는 것;
    상기 제 1 부분의 이미지 콘텐츠에 기초하여 상기 제 1 이미지 프레임의 상기 제 1 부분에 제 1 화이트 밸런싱을 적용하는 것; 및
    상기 제 2 부분의 이미지 콘텐츠에 기초하여 상기 제 1 이미지 프레임의 상기 제 2 부분에 제 2 화이트 밸런싱을 적용하는 것을 포함하는, 디바이스.
33. 제 32 항에 있어서,
    상기 제 1 부분 및 제 2 부분을 결정하는 것은,
    제 1 광원에 의해 조명되는 제 1 영역을 상기 제 1 이미지 프레임의 상기 제 1 부분으로 결정하는 것; 및
    제 2 광원에 의해 조명되는 제 2 영역을 상기 제 1 이미지 프레임의 상기 제 2 부분으로 결정하는 것을 포함하는, 디바이스.
34. 제 32 항에 있어서,
    상기 제 1 부분 및 제 2 부분을 결정하는 것은,
    실내 영역을 상기 제 1 이미지 프레임의 상기 제 1 부분으로 결정하는 것; 및
    실외 영역을 상기 제 1 이미지 프레임의 상기 제 2 부분으로 결정하는 것을 포함하고,
    상기 제 1 부분에 상기 제 1 화이트 밸런싱을 적용하는 것은 상기 실내 영역에 더 낮은 상관 색 온도 (CCT) 를 적용하는 것을 포함하고,
    상기 제 2 부분에 상기 제 2 화이트 밸런싱을 적용하는 것은 상기 실외 영역에 더 높은 상관 색 온도 (CCT) 를 적용하는 것을 포함하는, 디바이스.
35. 제 32 항에 있어서,
    상기 제 1 부분을 결정하는 것은 제 1 임계값 아래의 대응하는 적외선 측정 값들을 갖는 상기 제 1 이미지 프레임의 부분을 결정하는 것을 포함하고; 그리고
    상기 제 2 부분을 결정하는 것은 상기 제 1 임계값 위의 대응하는 적외선 측정 값들을 갖는 상기 제 1 이미지 프레임의 부분을 결정하는 것을 포함하는, 디바이스.
36. 제 35 항에 있어서,
    상기 제 1 부분을 결정하는 것은 상기 제 1 부분의 픽셀들이 제 1 임계 거리 내의 색상 값들을 갖는다고 결정하는 것을 포함하고; 그리고
    상기 제 2 부분을 결정하는 것은 상기 제 2 부분의 픽셀들이 제 2 거리 내의 색상 값들을 갖는다고 결정하는 것을 포함하는, 디바이스.
37. 제 32 항에 있어서,
    상기 제 1 화이트 밸런싱을 적용하는 것은 상기 제 1 부분의 이미지 콘텐츠에 기초하여 상기 제 1 화이트 밸런싱을 적용하는 것을 포함하고;
    상기 제 2 화이트 밸런싱을 적용하는 것은 상기 제 1 부분의 이미지 콘텐츠에 기초하여 상기 제 2 화이트 밸런싱을 적용하는 것을 포함하는, 디바이스.
38. 제 32 항에 있어서,
    상기 제 1 부분 및 제 2 부분을 결정하는 것은,
    상기 제 1 이미지 프레임의 복수의 특징들을 식별하기 위해 상기 제 1 이미지 프레임의 컴퓨터 비전 분석을 수행하는 것;
    제 1 임계값 아래인 상기 대응하는 세트의 적외선 측정 값들의 제 1 인접 세트 및 상기 제 1 인접 세트에 대응하는 상기 복수의 특징들의 제 1 세트를 식별하는 것에 기초하여 상기 제 1 이미지 프레임의 픽셀들의 제 1 세트를 상기 제 1 부분으로 식별하는 것; 및
    제 1 임계값 위인 상기 대응하는 세트의 적외선 측정 값들의 제 2 인접 세트 및 상기 제 2 인접 세트에 대응하는 상기 복수의 특징들의 제 2 세트를 식별하는 것에 기초하여 상기 제 1 이미지 프레임의 픽셀들의 제 2 세트를 상기 제 2 부분으로 식별하는 것을 포함하는, 디바이스.
39. 제 31 항에 있어서,
    상기 다중 포인트 IR 검출기는 비행 시간 (ToF) 측정 디바이스를 포함하고, 상기 대응하는 세트의 적외선 측정 값들을 수신하는 것은 상기 비행 시간 측정 디바이스로부터 ToF 측정들의 세트를 수신하는 것을 포함하는, 디바이스.
40. 제 31 항에 있어서,
    상기 다중 포인트 IR 검출기는 광 검출 및 레인징 (LiDAR) 디바이스를 포함하고, 상기 대응하는 세트의 적외선 측정 값들을 수신하는 것은 상기 LiDAR 디바이스로부터 광 검출 및 레인징 (LiDAR) 측정들의 세트를 수신하는 것을 포함하는, 디바이스.