KR20220166206A - 시간 경과에 따른 이미지 캡처 디바이스 컴포넌트들의 광학 변화에 대한 보상 - Google Patents

Abstract

소정 시간의 실세계 사용 이후에 카메라 모듈이 경험하는 예측된 색상 변화들을 보상하기 위한 디바이스들, 방법들, 및 비일시적 프로그램 저장 디바이스(NPSD)들이 개시되어 있다. 그러한 색상 변화들은, 각각이 시간 경과에 따라 카메라 모듈의 광학 컴포넌트들의 색상 응답에 편차를 유도할 수 있는, 태양 복사, 높은 온도 조건들, 또는 높은 습도 조건들 중 하나 이상에 카메라 모듈의 광학 컴포넌트들을 장기간 노출시킴으로써 야기될 수 있다. 본 명세서에 개시된 기법들은 우선 특정 환경 조건들에 기초하여 시간 경과에 따른 컴포넌트들에 대한 그러한 예측된 광학 변화를 특징짓고, 이어서 특징화된 광학 변화로 인한 카메라 모듈의 색상 보정 값들에 대한 예측된 변화들을 보상하기 위한 하나 이상의 시변 색상 모델들을 구현할 수 있다. 일부 실시예들에서, 장기간 환경 스트레스들에 의해 야기되는 다른 유형들의 컴포넌트들, 예를 들어, 디스플레이 디바이스들의 광학 변화들이 또한 모델링되고 보상될 수 있다.

Description

시간 경과에 따른 이미지 캡처 디바이스 컴포넌트들의 광학 변화에 대한 보상{COMPENSATING FOR OPTICAL CHANGE IN IMAGE CAPTURE DEVICE COMPONENTS OVER TIME}

본 발명은 대체적으로 이미지 프로세싱의 분야에 관한 것이다. 보다 구체적으로, 그러나 제한이 아니라, 본 발명은 시간 경과에 따른 카메라 모듈들의 광학 컴포넌트들 및/또는 전자 디바이스들의 다른 컴포넌트들의 광학 변화들로 인한 색상 보상을 위한 기법들에 관한 것이다.

카메라 모듈, 예를 들어, 모바일 폰 또는 다른 개인용 전자 디바이스 내의 카메라 모듈 내부의 광학 컴포넌트들은 다양한 렌즈들, IR(infrared) 차단 필터들, 반사 방지 코팅들, 및 CFA(color filter array)들 등을 포함할 수 있다. 그러한 컴포넌트들은 시간 경과에 따라 태양 복사, 높은 습도, 및/또는 높은 온도에의 노출로부터 광학 변화들을 경험할 수 있다. 그 결과, 이들 컴포넌트들은 그들의 초기 스펙트럼 투과율, (또는 다른 광학 특성들 중에서) 스펙트럼 방사율의 편차들을 경험할 수 있으며, 이는 카메라 모듈의 총 색상 응답에 영향을 미칠 수 있는 가능성이 있다.

일부 경우들에서, 공장 보정 시간에 하나 이상의 카메라 색상 보정 값들(즉, 모듈이 제조될 때 측정되었던 보정 값들)이 카메라 모듈의 메모리에 저장될 수 있다. 그러나, 일부 시점에서, 예를 들어, 일단 카메라 모듈이 다년간 실세계 환경 조건들에서 고객에 의해 그들의 모바일 디바이스들 내부에서 사용되었으면, 예를 들어, 카메라의 다양한 광학 컴포넌트들에서 시간 경과에 따라 경험될 수 있는 전술한 광학 변화들로 인해, 이들 색상 보정 값들은 선호될 수 있는 것보다 덜 사실적인 이미지들을 생성할 수 있는 가능성이 있으며, 이들 변화들에 대해 조정하는 것이 바람직할 수 있다.

따라서, 전자 디바이스들의 카메라 모듈들 또는 다른 컴포넌트들의 광학 소자들에서 시간 경과에 따라 경험되는 예측된 광학 변화들에 대한 개선된 시변(time-varying) 보상을 제공하는 방법들 및 시스템들이 필요하다.

카메라 모듈 색상 보정 값들의 개선된 시변 소프트웨어-기반 색상 교정을 제공하기 위한 디바이스들, 방법들 및 비일시적 프로그램 저장 디바이스(non-transitory program storage device, NPSD)들이 본 명세서에 개시된다. 일부 실시예들에 따르면, 디바이스가 제공되고, 디바이스는, 메모리; 하나 이상의 이미지 캡처 디바이스들; 및 메모리에 동작가능하게 결합된 하나 이상의 프로세서들을 포함하며, 하나 이상의 프로세서들은, 하나 이상의 프로세서들로 하여금, 하나 이상의 이미지 캡처 디바이스들 중 제1 이미지 캡처 디바이스의 제1 컴포넌트에 대한 시변 색상 모델을 획득하게 하기 위한 - 시변 색상 모델은 제1 컴포넌트의 광학 변화를 보상하기 위해 시간 경과에 따라 제1 이미지 캡처 디바이스에 적용될 색상 보정량을 모델링하도록 구성됨 -; 제1 시간에 제1 이미지 캡처 디바이스에 의해 캡처된 제1 이미지를 획득하게 하기 위한; 그리고 시변 색상 모델 및 제1 시간에 따라 제1 이미지를 색상 교정하게 하기 위한 명령어들을 실행하도록 구성된다.

예를 들어, 색상 교정은 카메라 모듈의 적색(R), 녹색(G), 또는 청색(B) 응답과 같은 하나 이상의 색상 컴포넌트 측정들, 및/또는 제1 이미지 캡처 디바이스를 보정하는 데 사용되는 하나 이상의 미리정의된 백색 포인트들에 대한 색상 컴포넌트 측정들의 조합 또는 비율(예를 들어, R/G 및 B/G 비율들)을 조정함으로써 시변 색상 모델에 따라 적용될 수 있다. 다른 경우들에서, 카메라 모듈은 광의 하나 이상의 특정 파장들에 걸친 주어진 컴포넌트의 스펙트럼 투과율(및/또는 아래에 논의될 바와 같이, 예를 들어, (카메라 컴포넌트보다는) 디스플레이 컴포넌트가 보상되는 경우에, 스펙트럼 방사율)에 기초하여 공장 보정 시간에 보정될 수 있다. 다시 말해, 특정 디바이스 제조업자가 공장 보정 시간에 그의 카메라 (또는 디스플레이) 모듈 색상 보정을 수행하기 위해 사용하는 파라미터들이 무엇이든 특정 환경 조건들에의 노출로 인한 시간 경과에 따른 그들의 광학 변화들에 대해 모델링되고, 이어서 시간 경과에 따라 보상될 수 있다.

일부 실시예들에 따르면, 제1 컴포넌트는 제1 이미지 캡처 디바이스의 광학 컴포넌트, 예컨대 렌즈; IR 차단 필터; 반사 방지 코팅; 또는 CFA를 포함한다.

다른 실시예들에 따르면, 시변 색상 모델에 의해 모델링되는 광학 변화는, 태양 복사에의 제1 컴포넌트의 노출; 습도에의 제1 컴포넌트의 노출; 또는 열에의 제1 컴포넌트의 노출 중 하나 이상에 의해 야기된다. 일부 예들에서, 시변 색상 모델에 의해 모델링되는 광학 변화는, 스펙트럼 투과율; 또는 색상 응답 중 하나 이상의 공장-보정된 값들에서의 편차들을 포함한다. 일부 실시예들에서, 시변 색상 모델에 의해 적용되는 색상 보정 보상량은 미리결정된 최대값(예를 들어, 2%, 3%, 등)으로 제한될 수 있고; 그러한 미리결정된 최대값은 카메라 모듈의 수명에 대한 최대 보상 값일 수 있거나, 또는 대신에, 제1 이미지 캡처 디바이스의 초기 공장 보정을 뒤따르는 미리정의된 기간 각각당 미리결정된 최대 보상값(예를 들어, 2년마다 적용되는 최대 2%까지의 추가적인 보상, 3년마다 적용되는 최대 3%까지의 추가적인 보상 등)일 수 있다.

다른 실시예들에서, 시변 색상 모델은 카메라 모듈을 하우징하는 디바이스의 하나 이상의 센서들(예를 들어, 온도계, GPS, 고도계, 주변 광 센서) 및/또는 디바이스 상에서 실행되는 하나 이상의 애플리케이션들로부터의 입력 데이터에 의해 개선될 수 있으며, 입력 데이터는, 디바이스의 위치; 디바이스의 주변 환경의 온도; 디바이스의 주변 환경의 습도 레벨; 또는 디바이스의 주변 환경의 광 레벨 중 하나 이상을 포함할 수 있다. 일부 경우들에서, 사용되는 시변 색상 모델은, 디바이스 상에서 실행되는 하나 이상의 애플리케이션들 또는 센서들로부터 수신된 입력 데이터에 적어도 부분적으로 기초하여, 복수의 후보 시변 색상 모델들 중에서 선택될 수 있다.

또 다른 실시예들에 따르면, 시변 색상 모델은 시간 경과에 따라 디바이스가 경험하는 하나 이상의 환경 인자들과 제1 이미지 캡처 디바이스의 제1 컴포넌트에 야기되는 (예를 들어, 광의 소정 파장들의 투과율, 방사율, 등의 면에서) 대응하는 광학 변화량 사이의 상관관계를 학습하도록 훈련된 기계 학습(machine learning, ML) 모델을 포함할 수 있다. 다른 경우들에서, 시변 색상 모델은 시간 경과에 따라 디바이스가 경험하는 하나 이상의 환경 인자들과 제1 이미지 캡처 디바이스의 제1 컴포넌트에 야기되는 대응하는 광학 변화량 사이를 상관시키도록 구성된 함수(예를 들어, 선형, 다항식, 지수, 개별식(piece-wise defined) 등)를 단순히 포함할 수 있다.

또 다른 실시예들에 따르면, 하나 이상의 프로세서들은, 전자 디바이스의 디스플레이의 제2 컴포넌트에 대한 제2 시변 색상 모델을 획득하도록(예를 들어, 이때 제2 모델은 제1 이미지 캡처 디바이스의 제1 컴포넌트에 대한 것인 전술된 제1 시변 색상 모델에 부가하여, 또는 그것 대신에, 사용되는 디스플레이 컴포넌트와 관련됨) - 제2 시변 색상 모델은 제2 컴포넌트의 색상을 보상하기 위해 시간 경과에 따라 디스플레이 상에 디스플레이된 이미지들에 적용될 색상 보정량을 모델링하도록 구성됨 -; 제2 시간에 디바이스의 디스플레이 상에 디스플레이하기 위한 제2 이미지를 획득하도록; 제2 시변 색상 모델 및 제2 시간에 따라 제2 이미지를 색상 교정하도록; 그리고 디스플레이 상에 색상-교정된 제2 이미지를 디스플레이하도록 추가로 구성된다.

다양한 비일시적 프로그램 저장 디바이스(NPSD) 실시예들이 본 명세서에 또한 개시된다. 그러한 NPSD들은 하나 이상의 프로세서들에 의해 판독가능하다. 하나 이상의 프로세서들로 하여금 본 명세서에 개시된 실시예들 중 임의의 것을 수행하게 하기 위해, 명령어들이 NPSD들 상에 저장될 수 있다. 본 명세서에 개시된 디바이스 및 NPSD 실시예들에 따라, 다양한 이미지 프로세싱 방법들이 또한 본 명세서에 개시된다.

도 1은 하나 이상의 실시예들에 따른, 광의 파장들에 대해 플롯팅(plotting)된 이미지 캡처 디바이스의 광학 소자의 스펙트럼 투과율의 그래프를 예시한다.
도 2는 하나 이상의 실시예들에 따른, 시간에 대해 플롯팅된 이미지 캡처 디바이스의 광학 소자에 대한 색상 보정 델타들의 그래프를 예시한다.
도 3은 하나 이상의 실시예들에 따른, 시간에 대해 플롯팅된 이미지 캡처 디바이스의 광학 소자의 광학 변화들에 대한 보상이 있는 그리고 보상이 없는 색상 보정 델타들의 다른 그래프를 예시한다.
도 4a는 다양한 실시예들에 따라, 카메라 색상 보정을 수행하는 방법을 예시하는 흐름도이다.
도 4b는 다양한 실시예들에 따라, 디스플레이 색상 보정을 수행하는 방법을 예시하는 흐름도이다.
도 5는 본 명세서에 개시된 기법들 중 하나 이상이 구현될 수 있는 프로그램가능 전자 컴퓨팅 디바이스를 예시하는 블록도이다.

다음의 설명에서, 설명의 목적을 위해, 다수의 특정 상세 사항들이 본 명세서에 개시된 발명들의 철저한 이해를 제공하기 위해 기재된다. 그러나, 본 발명들이 이들 특정 상세사항들 없이도 실행될 수 있음이 당업자에게 자명할 것이다. 다른 사례들에서, 구조 및 디바이스들은 본 발명들을 이해하기 어렵게 하는 것을 피하기 위해 블록도 형태로 도시된다. 아래첨자들 또는 접미사들이 없는 숫자들에 대한 참조들은 참조된 수에 대응하는 아래첨자들 및 접미사들의 모든 사례를 참조하는 것으로 이해된다. 게다가, 본 개시내용에 사용된 표현은 원칙적으로 가독성 및 교육 목적들을 위해 선택되었으며, 본 발명의 요지를 기술하거나 제한하도록 선택되지는 않아서, 그러한 본 발명의 요지를 결정하기 위해 청구범위에 대한 의존이 필요할 수 있다. 본 명세서에서 "하나의 실시예" 또는 "일 실시예"(또는 유사한 것)에 관한 언급은 실시예들에 관련되어 기술되어진 특정한 특징부, 구조 또는 특성이 본 발명들 중 하나의 발명의 적어도 하나의 실시예에 포함된다는 것을 의미하고, "하나의 실시예" 또는 "일 실시예"에 관한 중복 언급은 동일 실시예를 반드시 모두 참조하는 것으로 이해되어서는 안된다.

전술한 바와 같이, 본 명세서에 개시된 기법들은, 예를 들어, 소정 시간의(예를 들어, 전형적으로 수년의 기간에 걸친) 정상적인 사용 및 환경 조건들에의 노출 이후에 고객의 모바일 카메라 디바이스들이 경험할 수 있는 색상 변화들을 보상하기 위한 카메라 모듈 색상 보정 값들의 개선된 시변 소프트웨어-기반 색상 교정을 제공한다. 그러한 색상 변화들은, 태양 복사, 높은 온도 조건들 및/또는 높은 습도 조건들 중 하나 이상의 조합에의 노출에 의해 야기될 수 있으며, 이들 각각은 카메라 모듈의 하나 이상의 광학 컴포넌트들, 예를 들어, 렌즈들, IR 차단 필터들, 반사 방지 코팅들, CFA들 등의 특성들의 어느 정도의 변화를 유도할 수 있다. 예를 들어, UV(ultraviolet) 방사는 시간 경과에 따라 카메라 렌즈들의 플라스틱 컴포넌트들을 손상시켜, 그들이 더욱 상당한 청색 콘텐츠를 갖게 하여, 이에 의해 카메라 모듈에 의해 촬영된 이미지들의 색상에 영향을 줄 수 있다.

다양한 환경 스트레스들에 노출된 결과, 소정 카메라 모듈 컴포넌트들(및/또는 광학 소자들을 갖는 다른 디바이스 컴포넌트들)은 그들의 스펙트럼 투과율의 변화를 경험할 수 있으며, 이는 도 1에 관련하여 아래에서 더 상세히 설명될 바와 같이, 카메라 모듈의 총 색상 응답에 영향을 미칠 수 있다. 그러한 컴포넌트들의 광학 속성들의 변화로 인해, 예를 들어, 공장 보정 시간에 측정된 바와 같은, 카메라 모듈의 메모리에 저장된 카메라 색상 보정 값들의 계속적인 사용은, 실세계 환경들에서 고객들에 의해 소정 기간 사용된 이후에 선호될 수 있는 것보다 덜 사실적인 캡처된 이미지들을 생성할 수 있다. 따라서, 3% 초과의 색상 보정 값들의 오류들은 그들의 캡처된(또는 디스플레이된) 이미지들에서 덜 사실적인 색상들을 야기하기 때문에 고객들에 의해 인지가능할 수 있으므로, 시간 경과에 따라 이들 예측된 영향들을 정확하게 모델링하고 보상할 수 있는 것이 바람직할 것이다.

시간 경과에 따른 환경 스트레스들로 인한 이미지 캡처 디바이스의 컴포넌트들의 예시적인 광학 변화들

이제 도 1을 참조하면, 하나 이상의 실시예들에 따른, 광의 파장들에 대해 플롯팅된 이미지 캡처 디바이스의 광학 소자의 스펙트럼 투과율의 그래프(100)가 도시되어 있다. 그래프(100)의 y-축(105)은 그래프(100)에 플롯팅된 예시적인 광학 소자에 대한 스펙트럼 투과 백분율이다. 그래프(100)의 x-축(110)은 그래프(100)에 플롯팅된 예시적인 광학 소자의 스펙트럼 투과 백분율에 대한 광의 파장(나노미터 단위로 측정됨)이다. 예시된 바와 같이, 좌측으로부터 우측으로 x-축을 가로질러, 광의 파장들은 청색 가시광, 녹색 가시광, 적색 가시광에 대응한다.

파선(115)은 태양 노출 이전의 예시적인 광학 소자의 스펙트럼 응답을 표현한다. 실선(120)은 예시적인 양의 시뮬레이션된 태양 노출(예를 들어, 2년의 정상적인 카메라 사용) 이후의 예시적인 광학 소자의 스펙트럼 응답을 표현한다. 그래프(100)에 예시된 바와 같이, 라인(115)(즉, 태양 노출 전)을 라인(120)(즉, 태양 노출 후)과 비교할 때, 가시광 파장들의 스펙트럼에 걸쳐 광학 소자들의 스펙트럼 투과도에 현저한 차이가 있다. 사실, 두 곡선들 사이의 차이(125)는 녹색 가시광(130) 또는 적색 가시광(135)에 연관된 파장들에 대해서보다, 청색 광과 같은 더 짧은 파장들에 대해서 더 두드러진다.

광의 스펙트럼에 걸친 시간 경과에 따른 스펙트럼 투과도의 이들 변화들의 영향들을 성공적으로 모델링함으로써, 예를 들어, 그러한 환경 스트레스들에의 노출로 인한, 시간 경과에 따른 카메라 모듈의 공장 보정 설정들의 예측된 편차들을 보상하기 위한 시변 소프트웨어-기반 색상 모델이 개발될 수 있다. 이해될 바로서, 모델이 생성되었던 환경 조건들이 실세계 사용 동안 디바이스가 직면하는 환경 조건과 더 밀접하게 일치하거나 그것을 반영할수록, 카메라 모듈의 광학 특성들에 대한 실제 변화들이 더 정확하게 보상될 수 있다. 그러나, 사용자의 카메라 모듈이 수년 간의 사용에 노출될 정확한 환경 조건들을 (그리고, 실제로, 고객에 의해 사용되는 수년 간 카메라 모듈의 광학 컴포넌트들에서 어쨌든 임의의 측정가능한 광학 변화들이 발생할 것인지 여부를) 정확하게 예측하는 데 있어서의 어려움으로 인해, (예를 들어, 주파수 및/또는 적용된 보상의 정도 둘 모두의 측면에서) 카메라 모듈의 색상 보정 값들에 대해 더 보수적인 보상 접근법을 수행하는 것은, 카메라 모듈이 가능한 한 여러 해의 카메라 모듈 사용 동안 색상 정확도에 대한 허용가능한 임계치 내에(예를 들어, 3% 오류 내에) 있는 것을 보장하는 데 도움이 될 수 있다 보수적인 접근법은 또한, 예를 들어, 카메라 모듈이 모델에 의해 예측된 것만큼 많은 (또는 매우 많은) 환경 조건들에 노출되지 않고/않거나 모델링된 광학 변화량 미만이 시간 경과에 따라 카메라 모듈 컴포넌트들에서 실제로 발생하는 경우, 모델이 카메라의 색상 보정을 "과잉 보상"하지 않는 것을 보장하는 데 도움이 될 수 있다.

이제 도 2를 참조하면, 하나 이상의 실시예들에 따른, 시간에 대해 플롯팅된 이미지 캡처 디바이스의 광학 소자에 대한 색상 보정 델타들(즉, 필요한 색상 보정 값들의 차이들)의 그래프(200)가 도시되어 있다. 그래프(200)의 y-축(205)은 그래프(200)에 플롯팅된 예시적인 광학 소자들에 대한 색상 보정 델타 백분율, 즉, "공장" 색상 보정 값들이, 예를 들어, 다양한 광학 컴포넌트들의 광학 특성들의 변화들에 기초하여, 그들의 초기 값에서부터 시간 경과에 따라 벗어날 양이다. y-축을 따르는 색상 보정 델타에 대한 측정 단위로서 "백분율"을 사용하는 것은 단지 예시적인 것이며, 임의의 원하는 유형의 측정 단위가 사용될 수 있음이 이해될 것이다. 그래프(200)의 x-축(210)은 2개의 예시적인 컴포넌트들, 즉, 유닛 1(215) 및 유닛 2(220)의 10개의 샘플들에 대한 ("시뮬레이션된" 컴포넌트 사용 년 수로 측정된 바와 같은) 시간이며, 색상 재생성 능력의 변화가 그래프(200)에 플롯팅되어 있다. 예시된 바와 같이, 좌측으로부터 우측으로 x-축을 가로질러, 초기에(T = 0년), 유닛 1(215)의 10개의 샘플들 또는 유닛 2(220)의 10개의 샘플들 중 어느 것도 임의의 추가적인 색상 보정을 요구하지 않는다(즉, 그들의 색상 보정 델타 백분율은 0%임). 그러나, 1년의 시뮬레이션된 환경 스트레스들이 지난 후(T=1년), 유닛 1(215)의 10개의 샘플들은 초기 공장 보정 값들로부터 0 내지 0.5%의 추가적인 색상 보정에 대한 필요성을 나타내기 시작한 반면, 유닛 2(220)의 10개 샘플들은 초기 공장 보정 값들로부터 0.5 내지 0.8%의 추가적인 색상 보정에 대한 필요성을 나타내기 시작하였다. 2년의 시뮬레이션된 환경 스트레스들이 지난 후(T=2년), 유닛 1(215)의 10개의 샘플들은 변동이 없었던 것으로 보이고 초기 공장 보정 값들로부터 0 내지 0.5%의 추가적인 색상 보정을 계속 필요로 하는 반면, 유닛 2(220)의 10개 샘플들은 명백히 계속 벗어났고, 이제 초기 공장 보정 값들로부터 0.8 내지 1.2%의 추가적인 색상 보정에 대한 필요성을 나타낸다.

회귀 라인들(225, 230)은, 각각의 각자의 유닛의 색상 재생성 능력의 예측된 변화로 인해 시간 경과에 따라 필요한 추가적인 색상 보정량을 모델링하기 위해, 각각의 유닛에 대해 최적(best fit) 함수가 결정될 수 있음을 예시한다. 도 2에 예시된 바와 같이, (유닛 1(215)에 대한) 회귀 라인(225) 및 (유닛 2(220)에 대한) 회귀 라인(230)은, 예를 들어, LSRL(least squares regression line) 또는 다른 최적 형태를 표현하는, 기울기들 및 오프셋들을 갖는 간단한 선형 함수들로서 모델링될 수 있다. 일례에서, 예시적인 유닛 2(220)에 대한 최적 모델 라인은 하기의 방정식을 사용하여 구현될 수 있으며:

CAL_DELTA(T) = CAL_DELTA(T0) + 0.5*T (방정식 1),

여기서, CAL_DELTA(T)는 시간 T년에 카메라 모듈에 적용될 색상 보정 델타 백분율이고; CAL_DELTA(T0)은 시간 T=0년에 필요한 초기 색상 보정 델타 백분율이며(이는, 인자 보정 직후에 그리고 실세계 사용 직전에 추가적인 색상 보정 델타가 필요하지 않다고 가정하면, 0일 것임), T는 카메라 컴포넌트의 현재 연령이다. 다시 말해, 예시적인 방정식 1에서, 카메라 컴포넌트가 사용되었던 각각의 지난 해에 대해 추가적인 0.5%의 색상 보정 델타가 적용된다.

상기 언급된 바와 같이, 이러한 방정식 1은 또한 일부 미리결정된 최대값의 조건 하에 있을 수 있는데, 예를 들어, 방정식 1의 평가가 소정 년 이후에 미리결정된 최대값을 초과하는 값을 계산하더라도, 절대 2%(파선(235)에 의해 도시된 바와 같음), 또는 3%, 또는 1% 등을 초과하는 색상 보정 델타를 적용하지 않는다. 마찬가지로, 색상 보정 델타가 백분율이 아닌 다른 측정 단위로 측정되는 경우, 미리결정된 최대값은 또한 적절한 측정 단위들로 설정될 수 있다. 미리결정된 최대 색상 보정량을 이용함으로써, 예를 들어, 고객들의 카메라 모듈들이 카메라 모듈의 수명에 걸쳐 환경 조건들로 인한 예측된 양의 광학 변화를 실제로 겪지 않는 경우, 모델-적용된 보상으로 인해 고객들이 색상 오류들을 인식하지 않을 것이 보장될 수 있다. 그러나, 예측된 양의(또는 그 이상의) 광학 변화가 카메라 모듈에 발생하는 경우, 교정량을 미리결정된 최대량으로 제한하는 것이 색상 오류들을 방지하는 데 여전히 유용할 것이다.

시간 경과에 따라 주어진 유형의 유닛에 의해 필요로 되는 추가적인 색상 보정 델타의 양을 모델링하는 데 다른 유형들의 함수들, 예를 들어, 다항식 함수, 지수 함수, 또는 개별식 함수가 또한 사용될 수 있다는 것이 이해될 것이다. 이어서, 카메라가 고객에 의해 실세계에서 사용될 때, 결정된 시변 색상 모델이 각각의 각자의 유닛에서 예측된 광학 변화량을 교정하기 위해 시간 경과에 따라 적용될 수 있도록, 결정된 시변 색상 모델은 카메라 모듈 또는 이러한 카메라 모듈이 내장된 전자 디바이스의 메모리에 (예를 들어, 소프트웨어 또는 펌웨어로) 저장될 수 있다.

다른 실시예들에서, 시변 색상 모델은 시간 경과에 따라 디바이스가 경험하는 하나 이상의 환경 인자들과 이미지 캡처 디바이스의 컴포넌트에서 경험되는 대응하는 광학 변화량 사이의 상관관계를 학습하도록 훈련된 ML 모델을 포함할 수 있다 예를 들어, 훈련된 ML 모델은 (예를 들어, 주변 광 센서들 및/또는 카메라가 내장된 디바이스 상에서 실행되는 날씨 애플리케이션들로부터 획득되는 정보에 기초하여) 태양 복사에 대한 실시간으로 예측되는 노출을, 카메라 모듈이 요구할 수 있는 추가적인 색상 보정 보상량에 상관시키는 데 사용될 수 있다. 다른 예를 들어, 디바이스에 의해 필요로 되는 색상 보정 델타에 대한 각각의 환경 인자(예를 들어, 온도, 습도 등)의 상대적인 중요도를 결정하는 데 PCA(Principal Component Analysis)가 사용될 수 있다. 추가적으로, 신경망들이 카메라 제품의 개발 단계 동안 실세계 상황들에서 테스트된 실제 디바이스들로부터의 데이터로 훈련될 수 있으며, 이에 대해, 색상 보정 특성들이 주변 온도, 방사선에의 노출, 습도 레벨들 등과 관련하여 센서들에 의해 수집된 모든 데이터와 함께, 시간 경과에 따라 정기적으로 측정될 수 있다. ML 모델은 시간 경과에 따른 이미지 캡처 디바이스들의 광학 컴포넌트들의 변화들에 대한 더 정확하고/하거나 더 세분화된 예측들을 제공하는 데 도움이 될 수 있다. 예를 들어, 모델의 훈련 동안, 평균 주변 온도 조건들에서의, 예를 들어, 섭씨 45도에서 50도 사이의 5도의 이동은 평균 주변 온도 조건들에서의, 예를 들어, 섭씨 25도에서 30도 사이의 5도의 동등한 이동보다 시간 경과에 따라 색상 재생성 능력에 훨씬 더 큰 영향을 미친다고 결정될 수 있다. 그러한 미묘한 차이는 더 간단한 모델, 예를 들어, 5도의 평균 주변 온도의 임의의 증가는 디바이스 컴포넌트 성능에 동등한 영향을 미칠 것이라고 가정할 모델에서는 포착가능하지 않을 수 있다. 일부 경우들에서, 2개 이상의 ML 모델들, 예를 들어, 특정 컴포넌트들 내의 그리고/또는 특정 환경 조건들로 인한 광학 변화량을 예측하도록 훈련된 각각의 모델의 출력물은, 카메라 모듈의 색상 성능의 전체 변화량 및, 더 나아가, 캡처된 이미지들에서 시간 경과에 따라 경험될 수 있는 색상 재생성에서의 임의의 원하지 않는 편차들을 줄이기 위해 카메라 모듈에 적용될 추가적인 색상 보상량을 예측하기 위해 중첩(superimpose)될 수 있다.

또 다른 실시예들에서, 주어진 카메라 모듈에 사용될 마지막 시변 색상 모델이 상이한 환경 스트레스 테스트들로부터 획득된 상이한 교정들을 중첩시킬 수 있다. 예를 들어, 태양 노출에 특징화된 교정이 높은 온도 및/또는 높은 습도 환경 조건들에 대한 다른 특징화된 교정에 추가될 수 있다. 추가적으로, 카메라 모듈을 하우징하는 모바일 디바이스에 내장된 센서들(예를 들어, 위치 센서들, GPS, 온도 센서들, 고도계들, 습도 센서들, 주변 광 센서들 등)로부터의 정보가, 적용되는 교정량을 미세 조정하고 개선하는 데 사용될 수 있다. 일부 경우들에서, 하나 이상의 유형들의 센서들, 예를 들어, 위치 센서 및 시계 애플리케이션을 사용하여 주변 온도 및/또는 습도 레벨들의 추정치를 제공할 수 있는데, 즉, 모바일 디바이스의 지구 상의 현재 위치 및 하루(및 일년) 중 시간을 사용하여 카메라 모듈의 주변 환경에서의 그러한 환경 조건들의 현재 추정치들을 도출한다.

이제 도 3을 참조하면, 하나 이상의 실시예들에 따른, 시간에 대해 플롯팅된 이미지 캡처 디바이스의 예시적인 광학 컴포넌트의 광학 변화들에 대한 보상이 있는 그리고 보상이 없는 색상 보정 델타들의 다른 그래프(300)가 도시되어 있다. 그래프(300)의 y-축(305)은 그래프(300)에 플롯팅된 예시적인 카메라 모듈들에 대한 색상 보정 델타 백분율, 즉, "공장" 색상 보정 값들이 이미지 캡처 디바이스의 다양한 광학 컴포넌트들의 광학 변화들에 기초하여, 그들의 초기 값들에서부터 시간 경과에 따라 벗어날 양이다. 다시, 컴포넌트에 의해 필요로 되는 색상 보정 델타를 모델링하기 위해 임의의 원하는 측정 유닛들이 사용될 수 있다. 그래프(300)의 x-축(310)은 2개의 예시적인 카메라 모듈들, 즉, 시간 경과에 따라 추가적인 색상 보정 보상이 적용되지 않는 카메라 모듈(315) 및, 예를 들어, 시변 색상 모델에 따라, 시간 경과에 따라 추가적인 색상 보정 보상이 적용되는 카메라 모듈(320)에 대한 (시뮬레이션된 컴포넌트 사용 년 수로 측정된 바와 같은) 시간이며, 색상 재생성 편차가 그래프(300)에 플롯팅되어 있다. 도 3에 도시된 바와 같이, 추가적인 보상을 적용하는 데 시변 색상 모델을 사용하는 것은 예시적인 비교정된 카메라 모듈(315)(이는 5년 정도의 사용 표식에서 예시적인 3% 현저성 임계치를 초과함)보다 더 긴 시간 동안(즉, 적어도 그래프(300) 상에 도시된 6년 초과 동안) 예시적인 3% 현저성 임계치(파선(330) 참조) 아래로 카메라 모듈(320)의 색상 보정 델타를 유지하는 것을 돕는다. 라인(325)은 카메라 모듈(320)에 연도별로, 즉, 이러한 예시적인 시나리오에서 사용되는 시변 색상 모델에 따라, 적용되는 색상 교정 델타 백분율의 양을 표현한다.

카메라 색상 보정을 수행하는 예시적인 방법들

도 4a는 다양한 실시예들에 따라, 카메라 색상 보정을 수행하는 방법(400)을 예시하는 흐름도이다. 먼저, 단계(402)에서, 방법(400)은 하나 이상의 이미지 캡처 디바이스들 중 제1 이미지 캡처 디바이스의 제1 컴포넌트에 대한 시변 색상 모델을 획득할 수 있으며, 여기서 시변 색상 모델은 제1 컴포넌트의 광학 변화를 보상하기 위해 시간 경과에 따라 제1 이미지 캡처 디바이스에 적용될 색상 보정량을 모델링하도록 구성된다. 전술한 바와 같이, 일부 경우들에서, 시변 색상 모델에 의해 모델링되는 광학 변화는, 태양 복사에의 제1 컴포넌트의 노출; 습도에의 제1 컴포넌트의 노출; 또는 열에의 제1 컴포넌트의 노출 중 하나 이상에 의해 야기된다(단계(404)). 일부 경우들에서, 마지막 시변 색상 모델은 서로 중첩되는(또는 이와 달리 조합되는) 2개 이상의 상이한 모델링된 컴포넌트들을 포함할 수 있다. 다른 경우들에서, 마지막 시변 색상 모델은, 디바이스 상에서 실행되는 하나 이상의 애플리케이션들 또는 센서들로부터 수신된 입력 데이터에 적어도 부분적으로 기초하여, 복수의 후보 시변 색상 모델들 중에서 선택될 수 있다 예를 들어, 이미지 캡처 디바이스가 그것의 수명에 걸쳐 주로 고온 환경에서 사용되는 경우, "높은 온도" 모델이 선택될 수 있다. 또 다른 경우들에서, 시변 색상 모델에 의해 적용되는 색상 보정량은 미리결정된 최대값으로 제한될 수 있다(단계(406)). 예를 들어, 미리결정된 최대값은 카메라 모듈의 수명에 대한 최대 교정 값일 수 있거나, 또는 대신에, 제1 이미지 캡처 디바이스의 초기 공장 보정을 뒤따르는 미리정의된 기간 각각당 미리결정된 최대값(예를 들어, 2년마다 적용되는 최대 2%까지의 추가적인 보상, 3년마다 적용되는 최대 3%까지의 추가적인 보상 등)일 수 있다. 또 다른 경우들에서, 시변 색상 모델은 카메라 모듈을 하우징하는 전자 디바이스의 하나 이상의 센서들 또는 애플리케이션들로부터의 입력 데이터에 의해 개선될 수 있다(단계(408)). 예를 들어, 시변 색상 모델은 온도계, GPS, 고도계, 주변 광 센서 등과 같은 카메라 모듈을 하우징하는 디바이스의 하나 이상의 센서들로부터의 입력 데이터에 의해 개선될 수 있다. 마찬가지로, 시변 색상 모델은 날씨 애플리케이션, 지도 애플리케이션, 시계 애플리케이션 등과 같은, 디바이스 상에서 실행되는 하나 이상의 애플리케이션들로부터의 입력 데이터에 의해 개선될 수 있다. 시변 색상 모델을 개선시키는 데 사용되는 입력 데이터는, 디바이스의 위치; 디바이스의 주변 환경의 온도; 디바이스의 주변 환경의 습도 레벨; 또는 디바이스의 주변 환경의 광 레벨 중 하나 이상을 포함할 수 있다. 예를 들어, 높은 온도 또는 높은 습도 환경에서 보내는 디바이스의 수명이 더 길수록, 모델은 그것의 색상 보상 교정들을, 높은 온도 또는 높은 습도 환경들에서 그것의 수명을 더 짧게 보낸 디바이스에 대한 것보다 더 적극적으로(또는 디바이스의 수명에서 더 초기에) 적용하도록 더욱 개선될 수 있다.

다음으로, 단계(410)에서, 방법(400)은 제1 시간에 제1 이미지 캡처 디바이스에 의해 캡처된 제1 이미지를 획득할 수 있다. 마지막으로, 단계(412)에서, 방법(400)은 시변 색상 모델 및 제1 시간에 따라 제1 이미지를 색상 교정할 수 있다. 이러한 교정은 원시(raw) 이미지 데이터, 프로세싱된 이미지 데이터에 적용되거나, 이미지의 메타데이터로(예를 들어, 표준 ICC(International Color Consortium) 프로파일로서) 어딘가에 저장될 수 있어서, 그렇게 원해지는 경우, 이미지가 다른 사용자에게 보여지거나 또는 송신되는 임의의 시간에, 추가적인 보상들이 적용될 수 있게 된다.

도 4b는 다양한 실시예들에 따라, 디스플레이 색상 보정을 수행하는 방법(450)을 예시하는 흐름도이다. 방법(450)은, 컴포넌트들의 광학 변화들이 또한 시변 색상 모델을 사용하여 시간 경과에 따라 보상될 수 있는 다른 유형의 컴포넌트(즉, 전자 디바이스의 디스플레이 스크린의 컴포넌트 또는 계층)에 대한 단지 예시이다. 방법(450)은 방법(400)과 함께(또는 그와 별도로) 수행될 수 있다. 먼저, 단계(452)에서, 방법(450)은 디스플레이의 제2 컴포넌트에 대한 제2 시변 색상 모델을 획득할 수 있으며, 여기서 제2 시변 색상 모델은 제2 컴포넌트의 광학 변화를 보상하기 위해 시간 경과에 따라 디스플레이 상에 디스플레이된 이미지들에 적용될 색상 보정량을 모델링하도록 구성된다.

전술한 바와 같이, 일부 경우들에서, 제2 시변 색상 모델에 의해 모델링되는 광학 변화는, 태양 복사에의 제2 컴포넌트의 노출; 습도에의 제2 컴포넌트의 노출; 또는 열에의 제2 컴포넌트의 노출 중 하나 이상에 의해 야기된다(단계(454)). 일부 그러한 경우들에서, 마지막 제2 시변 색상 모델은 서로 중첩된(또는 이와 달리 조합된) 2개 이상의 상이한 모델링된 컴포넌트들, 예를 들어, 디스플레이 디바이스의 2개의 상이한 계층 컴포넌트들에 대한 시간 경과에 따른 모델링된 광학 변화들을 포함할 수 있다. 다른 경우들에서, 시변 색상 모델에 의해 적용되는 색상 보정량은 미리결정된 최대값으로 제한될 수 있다(단계(456)). 예를 들어, 미리결정된 최대값은 카메라 모듈의 수명에 대한 최대 교정 값일 수 있거나, 또는 대신에, 제1 이미지 캡처 디바이스의 초기 공장 보정을 뒤따르는 미리정의된 기간 각각당 미리결정된 최대값(예를 들어, 2년마다 적용되는 최대 2%까지의 추가적인 보상, 3년마다 적용되는 최대 3%까지의 추가적인 보상 등)일 수 있다. 또 다른 경우들에서, 제2 시변 색상 모델은 디스플레이를 갖는 전자 디바이스의 하나 이상의 센서들 또는 애플리케이션들로부터의 입력 데이터에 의해 개선될 수 있으며(단계(458)), 이는 단계(408)에 관련하여 전술된 바와 같다.

다음으로, 단계(460)에서, 방법(450)은 제2 시간에 디바이스의 디스플레이 상에 디스플레이하기 위한 제2 이미지를 (예를 들어, 캡처된 이미지, 디스플레이 상에 디스플레이되어 있는 미디어 파일로부터의 이미지, 또는 단순히 디바이스 상에서 실행되는 운영 체제에 의해 디스플레이되기 위해 전송된 프레임 버퍼로부터) 획득할 수 있다. 단계(462)에서, 방법(450)은 제2 시변 색상 모델 및 제2 시간에 따라 제2 이미지를 색상 교정할 수 있다. 예를 들어, 디스플레이는, 제2 시변 색상 모델에 따라, 디스플레이되고 있는 이미지들과 관련된 하나 이상의 색상 컴포넌트들을 조정함으로써 색상 교정될 수 있다. 마지막으로, 단계(464)에서, 방법(450)은 디스플레이 상에 색상-교정된 제2 이미지를 디스플레이할 수 있다.

예시적인 전자 컴퓨팅 디바이스들

이제 도 5를 참조하면, 예시적인 프로그램가능 전자 컴퓨팅 디바이스(500)의 단순화된 기능 블록도가 하나의 실시예에 따라 도시되어 있다. 전자 디바이스(500)는, 예를 들어, 모바일 전화, 개인 미디어 디바이스, 휴대용 카메라, 또는 태블릿, 노트북 또는 데스크톱 컴퓨터 시스템일 수 있다. 도시된 바와 같이, 전자 디바이스(500)는 프로세서(505), 디스플레이(510), 사용자 인터페이스(515), 그래픽 하드웨어(520), 디바이스 센서들(525)(예를 들어, 근접 센서/주변 광 센서, 가속도계, 관성 측정 유닛 및/또는 자이로스코프), 마이크로폰(530), 오디오 코덱(들)(535), 스피커(들)(540), 통신 회로부(545), 이미지 캡처 디바이스(550) - 이는, 예를 들어, 상이한 특성들 또는 능력들을 가진 다수의 카메라 유닛들/광학 이미지 센서들(예를 들어, SIS(Still Image Stabilization), HDR, OIS 시스템들, 광학 줌, 디지털 줌 등)을 포함할 수 있음 -, 비디오 코덱(들)(555), 메모리(560), 저장소(565), 및 통신 버스(570)를 포함할 수 있다.

프로세서(505)는 전자 디바이스(500)에 의해 수행되는 (예컨대, 본 명세서에 기술된 다양한 실시예들에 따른 이미지들의 생성 및/또는 프로세싱과 같은) 많은 기능들의 동작을 이행하거나 제어하기 위해 필요한 명령어들을 실행시킬 수 있다. 예를 들어, 프로세서(505)는 디스플레이(510)를 구동하고 사용자 인터페이스(515)로부터 사용자 입력을 수신할 수 있다. 사용자 인터페이스(515)는 다양한 형태들, 예컨대 버튼, 키패드, 다이얼, 클릭 휠, 키보드, 디스플레이 스크린 및/또는 터치 스크린을 가질 수 있다. 예를 들어, 사용자 인터페이스(515)는 전달부(conduit)일 수 있고, 이를 통해 사용자는 캡처된 비디오 스트림을 볼 수 있고/있거나, (예컨대, 원하는 이미지 프레임이 디바이스의 디스플레이 스크린에 디스플레이되는 순간에 물리적 또는 가상 버튼을 클릭함으로써) 사용자가 캡처하고자 하는 특정 이미지 프레임(들)을 표시할 수 있다. 하나의 실시예에서, 디스플레이 (510)는, 프로세서(505) 및/또는 그래픽 하드웨어(520) 및/또는 이미지 캡처 회로부가 메모리(560) 및/또는 저장소(565)에 비디오 스트림을 동시에 생성하고 저장하는 동안 캡처되는 비디오 스트림을 디스플레이할 수 있다. 프로세서(505)는 모바일 디바이스들에서 발견되는 것들과 같은 SOC(system-on-chip)이고, 하나 이상의 전용 GPU(graphics processing unit)들을 포함할 수 있다.

프로세서(505)는 RISC(reduced instruction-set computer) 또는 CISC(complex instruction-set computer) 아키텍처들 또는 임의의 다른 적합한 아키텍처에 기초할 수 있으며, 하나 이상의 프로세싱 코어들을 포함할 수 있다. 그래픽 하드웨어(520)는 그래픽을 프로세싱하기 위한 특수 목적 연산 하드웨어일 수 있고/있거나 보조 프로세서(505)는 연산 작업들을 수행한다. 하나의 실시예에서, 그래픽 하드웨어(520)는 하나 이상의 프로그램가능 GPU들 및/또는 하나 이상의 특수 SOC들, 예컨대 애플(Apple)의 뉴럴 엔진 프로세싱 코어(Neural Engine processing cores)와 같은, 메인 디바이스 CPU(central processing unit) 또는 전형적인 GPU보다 더 에너지 효율적인 방식으로 신경망 및 기계 학습 동작들(예컨대, 콘볼루션들)을 구현하도록 특별히 설계된 SOC를 포함할 수 있다.

이미지 캡처 디바이스(550)는 이미지들을 캡처하도록 구성된 하나 이상의 카메라 모듈 유닛들을 포함할 수 있고, 예컨대, 이미지들은, 예컨대, 본 개시내용에 따라, 상기 캡처된 이미지들의 색상-교정된 버전들을 생성하도록 프로세싱될 수 있는 이미지들이다. 이미지 캡처 디바이스(550)로부터의 출력은 비디오 코덱(들)(555) 및/또는 프로세서(505) 및/또는 그래픽 하드웨어(520), 및/또는 이미지 캡처 디바이스(550) 내에 통합된 전용 이미지 프로세싱 유닛 또는 이미지 신호 프로세서에 의해, 적어도 부분적으로 프로세싱될 수 있다. 그렇게 캡처된 이미지들은 메모리(560) 및/또는 저장소(565)에 저장될 수 있다. 메모리(560)는 디바이스 기능들을 수행하기 위해 프로세서(505), 그래픽 하드웨어(520), 및 이미지 캡처 디바이스(550)에 의해 사용되는 하나 이상의 상이한 유형들의 미디어를 포함할 수 있다. 예를 들어, 메모리(560)는 메모리 캐시, ROM(read-only memory) 및/또는 RAM(random access memory)을 포함할 수 있다. 저장소(565)는 미디어(예컨대, 오디오, 이미지 및 비디오 파일들), 컴퓨터 프로그램 명령어들 또는 소프트웨어, 선호도 정보, 디바이스 프로파일 정보, 및 임의의 다른 적합한 데이터를 저장할 수 있다. 저장소(565)는, 예를 들어, 자기 디스크들(고정형, 플로피, 및 이동형) 및 테이프, CD-ROM들 및 DVD(digital video disk)들과 같은 광학 미디어, 및 EPROM(Electrically Programmable Read-Only Memory) 및 EEPROM(Electrically Erasable Programmable Read-Only Memory)과 같은 반도체 메모리 디바이스들을 포함하는, 하나 이상의 비일시적 저장 매체들을 포함할 수 있다. 메모리(560) 및 저장소(565)는 하나 이상의 모듈들로 조직화되고 임의의 원하는 컴퓨터 프로그래밍 언어로 기록되는 컴퓨터 프로그램 명령어들 또는 코드를 유지하기 위해 사용될 수 있다. 예를 들어, 프로세서(505)에 의해 실행될 때, 그러한 컴퓨터 프로그램 코드는 본 명세서에 기술된 방법들 또는 프로세스들 중 하나 이상을 구현할 수 있다. 전원(575)은 재충전가능 배터리(예를 들어, 리튬-이온 배터리 등) 또는 전력 공급부에 대한, 예를 들어, 메인 전원에 대한 다른 전기 연결부를 포함할 수 있으며, 그것은 전자 디바이스(500)의 전자 컴포넌트들 및 연관된 회로부에 대한 전력을 관리하고/하거나 그것에 전력을 제공하는 데 사용된다.

이상의 설명이 제한적인 것이 아니라 예시적인 것으로 의도되어 있음이 이해되어야 한다. 예를 들면, 위에 기술된 실시예들은 서로 조합하여 이용될 수 있다. 많은 다른 실시예들이 상기 설명을 검토할 때 통상의 기술자들에게 명백할 것이다. 그러므로, 본 발명의 범주는 첨부된 특허청구범위를 참조하여, 이러한 청구범위의 권리를 갖는 등가물들의 전체 범주에 따라 결정되어야 한다.

Claims (20)

1. 디바이스로서,
   메모리;
   하나 이상의 이미지 캡처 디바이스들; 및
   상기 메모리에 동작가능하게 결합된 하나 이상의 프로세서들을 포함하며, 상기 하나 이상의 프로세서들은 상기 하나 이상의 프로세서들로 하여금,
   상기 하나 이상의 이미지 캡처 디바이스들 중 제1 이미지 캡처 디바이스의 제1 컴포넌트에 대한 시변(time-varying) 색상 모델을 획득하게 하기 위한 - 상기 시변 색상 모델은 상기 제1 컴포넌트의 광학 변화를 보상하기 위해 시간 경과에 따라 상기 제1 이미지 캡처 디바이스에 적용될 색상 보정량을 모델링하도록 구성됨 -;
   제1 시간에 상기 제1 이미지 캡처 디바이스에 의해 캡처된 제1 이미지를 획득하게 하기 위한; 그리고
   상기 시변 색상 모델 및 상기 제1 시간에 따라 상기 제1 이미지를 색상 교정하게 하기 위한 명령어들을 실행하도록 구성되는, 디바이스.
2. 제1항에 있어서, 상기 제1 컴포넌트는 상기 제1 이미지 캡처 디바이스의 광학 컴포넌트를 포함하는, 디바이스.
3. 제2항에 있어서, 상기 광학 컴포넌트는, 렌즈; IR(infrared) 차단 필터; 반사 방지 코팅; 또는 CFA(color filter array) 중 적어도 하나를 포함하는, 디바이스.
4. 제1항에 있어서, 상기 시변 색상 모델에 의해 모델링되는 상기 광학 변화는, 태양 복사에의 상기 제1 컴포넌트의 노출; 습도에의 상기 제1 컴포넌트의 노출; 또는 열에의 상기 제1 컴포넌트의 노출 중 하나 이상에 의해 야기되는, 디바이스.
5. 제1항에 있어서, 상기 시변 색상 모델에 의해 모델링되는 상기 광학 변화는, 스펙트럼 투과율; 또는 총 색상 응답 중 하나 이상의 공장-보정된 값들에서의 편차들을 포함하는, 디바이스.
6. 제1항에 있어서, 상기 시변 색상 모델에 의해 적용되는 상기 색상 보정량은 미리결정된 최대값으로 제한되는, 디바이스.
7. 제6항에 있어서, 상기 미리결정된 최대값은 초기 공장-보정된 값으로부터 2% 편차를 포함하는, 디바이스.
8. 제1항에 있어서, 상기 시변 색상 모델에 의해 적용되는 상기 색상 보정량은 상기 제1 이미지 캡처 디바이스의 초기 공장 보정을 뒤따르는 미리정의된 기간 각각당 미리결정된 최대값으로 제한되는, 디바이스.
9. 제1항에 있어서, 상기 시변 색상 모델은 상기 디바이스의 하나 이상의 센서들로부터의 입력 데이터에 의해 개선되는, 디바이스.
10. 제9항에 있어서, 상기 입력 데이터는 상기 디바이스의 위치; 상기 디바이스의 주변 환경의 온도; 상기 디바이스의 주변 환경의 습도 레벨; 또는 상기 디바이스의 주변 환경의 광 레벨 중 하나 이상을 포함하는, 디바이스.
11. 제1항에 있어서, 상기 시변 색상 모델은, 상기 디바이스의 하나 이상의 센서들로부터의 입력 데이터에 적어도 부분적으로 기초하여, 복수의 후보 시변 색상 모델들 중에서 획득되도록 선택되는, 디바이스.
12. 제1항에 있어서, 상기 시변 색상 모델은 상기 디바이스 상에서 실행되는 하나 이상의 애플리케이션들로부터의 입력 데이터에 의해 개선되는, 디바이스.
13. 제12항에 있어서, 상기 시변 색상 모델은, 상기 디바이스 상에서 실행되는 상기 하나 이상의 애플리케이션들로부터의 입력 데이터에 적어도 부분적으로 기초하여, 복수의 후보 시변 색상 모델들 중에서 획득되도록 선택되는, 디바이스.
14. 제1항에 있어서, 상기 시변 색상 모델은 시간 경과에 따라 상기 디바이스가 경험하는 하나 이상의 환경 인자들과 상기 제1 이미지 캡처 디바이스의 제1 컴포넌트의 대응하는 광학 변화량 사이의 상관관계를 학습하도록 훈련된 기계 학습(machine learning, ML) 모델을 추가로 포함하는, 디바이스.
15. 제1항에 있어서, 상기 시변 색상 모델은 시간 경과에 따라 상기 디바이스가 경험하는 하나 이상의 환경 인자들과 상기 제1 이미지 캡처 디바이스의 제1 컴포넌트의 대응하는 광학 변화량 사이를 상관시키도록 구성된 함수를 추가로 포함하는, 디바이스.
16. 제15항에 있어서, 상기 함수는, 선형 함수; 다항식 함수; 지수 함수; 또는 개별식 함수(piecewise-defined function) 중 적어도 하나를 포함하는, 디바이스.
17. 제1항에 있어서, 상기 하나 이상의 프로세서들로 하여금 상기 시변 색상 모델 및 상기 제1 시간에 따라 상기 제1 이미지를 색상 교정하게 하기 위한 상기 명령어들은, 상기 하나 이상의 프로세서들로 하여금,
    상기 제1 이미지 캡처 디바이스를 보정하는 데 사용되는 색상 컴포넌트 측정을 조정하게 하기 위한; 또는
    상기 제1 이미지 캡처 디바이스를 보정하는 데 사용되는 색상 컴포넌트 측정들의 비율을 조정하게 하기 위한 명령어들을 추가로 포함하는, 디바이스.
18. 제1항에 있어서, 디스플레이를 추가로 포함하고, 상기 명령어들은, 상기 하나 이상의 프로세서들로 하여금,
    상기 디스플레이의 제2 컴포넌트에 대한 제2 시변 색상 모델을 획득하게 하기 위한 - 상기 제2 시변 색상 모델은 상기 제2 컴포넌트의 광학 변화를 보상하기 위해 시간 경과에 따라 상기 디스플레이 상에 디스플레이된 이미지들에 적용될 색상 보정량을 모델링하도록 구성됨 -;
    제2 시간에 상기 디바이스의 디스플레이 상에 디스플레이하기 위한 제2 이미지를 획득하게 하기 위한;
    상기 제2 시변 색상 모델 및 상기 제2 시간에 따라 상기 제2 이미지를 색상 교정하게 하기 위한; 그리고
    상기 디스플레이 상에 상기 색상-교정된 제2 이미지를 디스플레이하게 하기 위한 명령어들을 추가로 포함하는, 디바이스.
19. 하나 이상의 프로세서들에 의해 실행가능한 컴퓨터 판독가능 명령어들을 포함하는 비일시적 컴퓨터 판독가능 매체로서, 상기 명령어들은,
    전자 디바이스의 하나 이상의 이미지 캡처 디바이스들 중 제1 이미지 캡처 디바이스의 제1 컴포넌트에 대한 시변 색상 모델을 획득하고 - 상기 시변 색상 모델은 상기 제1 컴포넌트의 광학 변화를 보상하기 위해 시간 경과에 따라 상기 제1 이미지 캡처 디바이스에 적용될 색상 보정량을 모델링하도록 구성됨 -;
    제1 시간에 상기 제1 이미지 캡처 디바이스에 의해 캡처된 제1 이미지를 획득하고; 그리고
    상기 시변 색상 모델 및 상기 제1 시간에 따라 상기 제1 이미지를 색상 교정하기 위한 것인, 비일시적 컴퓨터 판독가능 매체.
20. 이미지 프로세싱 방법으로서,
    전자 디바이스의 하나 이상의 이미지 캡처 디바이스들 중 제1 이미지 캡처 디바이스의 제1 컴포넌트에 대한 시변 색상 모델을 획득하는 단계 - 상기 시변 색상 모델은 상기 제1 컴포넌트의 광학 변화를 보상하기 위해 시간 경과에 따라 상기 제1 이미지 캡처 디바이스에 적용될 색상 보정량을 모델링하도록 구성됨 -;
    제1 시간에 상기 제1 이미지 캡처 디바이스에 의해 캡처된 제1 이미지를 획득하는 단계; 및
    상기 시변 색상 모델 및 상기 제1 시간에 따라 상기 제1 이미지를 색상 교정하는 단계를 포함하는, 방법.

Images