KR101429352B1 - 장면 화이트 포인트들을 산출하기 위한 노이즈-최적화된 선택 기준의 사용 - Google Patents

장면 화이트 포인트들을 산출하기 위한 노이즈-최적화된 선택 기준의 사용 Download PDF

Info

Publication number
KR101429352B1
KR101429352B1 KR1020120108374A KR20120108374A KR101429352B1 KR 101429352 B1 KR101429352 B1 KR 101429352B1 KR 1020120108374 A KR1020120108374 A KR 1020120108374A KR 20120108374 A KR20120108374 A KR 20120108374A KR 101429352 B1 KR101429352 B1 KR 101429352B1
Authority
KR
South Korea
Prior art keywords
image
programmable controller
noise
instructions
pixel data
Prior art date
Application number
KR1020120108374A
Other languages
English (en)
Other versions
KR20130039670A (ko
Inventor
잉준 바이
수에메이 장
데이비드 구오
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20130039670A publication Critical patent/KR20130039670A/ko
Application granted granted Critical
Publication of KR101429352B1 publication Critical patent/KR101429352B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6083—Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086—Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Abstract

컬러 밸런싱을 위한 "선택적 그레이 월드" 접근법을 구현하기 위한 방법, 장치 및 컴퓨터 판독가능 매체가 설명된다. 개시된 기술들은 노이즈-최적화된 선택 기준의 사용을 수반하고, 보다 구체적으로, 일부 실시예들에서, 화이트 밸런스 이득들을 산출할 때 노이즈-최적화된 가중 테이블들 내의 대응하는 값들 사이의 보간을 수반한다. 추정된 장면 럭스 레벨들은 예상된 장면 노이즈 레벨들의 귀중한 지표를 제공할 수 있다. 여기에 설명된 이미지 처리 기술들은 이미지 캡처 장치 또는 사용자-레벨 소프트웨어 애플리케이션을 실행하는 범용 프로세서(예컨대, 개인용 컴퓨터)에 의해 실행될 수 있다. 설명된 컬러 밸런싱 기술들은 전용 또는 범용 하드웨어, 일반 애플리케이션 소프트웨어, 또는 컴퓨터 시스템 내의 소프트웨어 및 하드웨어의 조합에 의해 구현될 수 있다.

Description

장면 화이트 포인트들을 산출하기 위한 노이즈-최적화된 선택 기준의 사용{USE OF NOISE-OPTIMIZED SELECTION CRITERIA TO CALCULATE SCENE WHITE POINTS}
본 출원은, 그 전체가 여기에 참고로 포함된, 2011년 10월 12일 출원된, 미국 가출원 일련 번호 61/546,146을 우선권으로 주장한다.
이 개시물은 전체적으로 컬러 밸런싱(color balancing) 분야에 관한 것이다. 특히, 이에 한정되는 것은 아니지만, 노이즈-최적화된 선택 기준(noise-optimized selection criteria)을 사용함으로써 자동 화이트 밸런스(auto white balance; AWB) 알고리즘들의 성능을 개선하기 위한 기술들에 관한 것이다.
컬러 밸런싱은 이미지 내의 컬러들의 강도에 대한 글로벌 조정(global adjustment)으로 생각될 수 있다. 컬러 밸런싱의 하나의 목표는, 이미지가 캡처된 실제 물리적 장면에 나타난 컬러를 가능한 한 정확한 방식으로, 특정 컬러들(specific colors), 예컨대, 뉴트럴 화이트(neutral white)로 렌더링하기 위한 것이다. 정확하게 뉴트럴 화이트 컬러들로 렌더링하는 경우에, 이 프로세스는 종종 "화이트 밸런싱"으로 지칭된다. 대부분의 디지털 카메라들은, 그들의 컬러 밸런싱 및 컬러 보정 결정에 있어, 장면 발광체(scene illuminant)의 유형에 적어도 부분적으로 기초한다. 예를 들어, 흰색 종이(a white sheet of paper)의 컬러는 그것이 태양 직사광에 있을 때와 형광등 조명 아래 있을 때 상이하게 나타날 것이다. 수행될 컬러 보정의 유형은, 캡처된 이미지에 대한 장면 발광체를 아는 디지털 카메라의 사용자에 의해 수동으로 지정될 수 있고, 또는 다양한 AWB 알고리즘들 중 하나 이상을 사용하여 계획적으로(programmatically) 설정될 수 있다.
장면의 "화이트 포인트"는 공지된 광원 집합에 대해 공지된 응답을 갖는 카메라 이미지 센서에 의해 캡처된 이미지 또는 이미지들을 평가함으로써 추정될 수 있다. 발광체들에 대한 카메라 응답은 다음 수학식으로 특징지워질 수 있다:
[수학식 1]
Cwhite = S*P
여기서, P는 광원들의 분광 분포들(spectral power distributions)의 집합을 의미하고, S는 카메라의 분광 감도(spectral sensitivity)이고, Cwhite는 카메라의 응답 벡터(response vector)이다. 다시 말해, 카메라의 응답은 광원의 특정한 유형뿐만 아니라 카메라의 특정한 스펙트럼 응답(spectral response) 둘 다의 함수일 것이다.
현실 세계 이미징(real world imaging)에서, 카메라의 응답은 또한 장면에서 대상 표면들(object surfaces)로부터 반사된 광의 함수이다. 이 관계는 다음과 같이 설명될 수 있다:
[수학식 2]
Cobjects = S*R*P
여기서, R은 대상 표면들의 분광 반사율(spectral reflectance)을 의미한다.
AWB 알고리즘들이 다루는 기본 문제는, 공지된 응답과 카메라 감도(S), 및 장면에 공지되지 않은 대상 표면들(R)을 갖는 공지되지 않은 광원(P)으로 인한, 캡처된 이미지로부터의 장면 광원 화이트 포인트(scene light source white point)를 해결하려고 시도하고 있다.
단지 이미지 데이터로부터의 장면 화이트 포인트를 추정하는데 있어서 불확실성을 해결하기 위해 학계(academia) 및 업계(industry) 양측에서 다양한 상이한 방법들이 조사되어 왔다. 가장 기본적인 "그레이 월드" AWB 알고리즘은, 솔루션을 제약하기 위해, 현실 세계에서 대상 표면 반사율 분포(object surface reflectance distribution)에 관해 강력한 가정(strong assumption), 즉, 전체 장면의 컬러의 평균이 그레이일 것이라는 가정을 한다. 다른 공개된 방법들은: 더 나은 추정들에 도달하기 위해 표면 반사율 및 발광체 분포에 대해 덜 강력하고 보다 원칙에 입각한 모델링을 실시하는 베이지안 추정의 버전(version of Bayesian estimation); 그것의 발광체 추정을 위해 상이한 발광체들에 대해 고유의 이미지 색도 분포를 사용하는 "컬러 상관관계(color by correlation)" 알고리즘; 및, 심지어, 장면에서의 정반사율(specular reflectance) 또는 마이크로-정반사율(micro-specular reflectance) 정보로부터 화이트 포인트 값들을 도출하는 알고리즘들의 클래스를 포함한다.
그러나, 산업적 실행에 있어서, 가장 많이 보급된 화이트 밸런스 방법들은, 구현의 용이성 및 괜찮은(decent) 안정성으로 인해, 여전히 수정된 그레이 월드 방법에 대략(loosely) 기반을 두고 있다. 그러한 접근법의 많은 변형들이 존재할 수 있지만, 대부분은, 먼저, 타당한 광원들(plausible light sources)에 의해 조명된 뉴트럴 표면들(neutral surfaces)로부터인 것일 가능성이 있는 픽셀 응답들의 하위 집합을 선택하고, 그 다음에, 그러한 픽셀들의 평균 색도가 장면에서 실제(true) 화이트/그레이 컬러를 나타낼 가능성이 있다는 가정을 수반한다. 이러한 방법들의 클래스는 여기에서 "선택적 그레이 월드(selective gray world)" 알고리즘들로 지칭될 것이다.
그러한 선택적 그레이 월드 방법이 갖는 가장 큰 한계는 그것이 원래의(original) 그레이 월드 방법을 비실용적인 것으로 만든다는 것, 즉, "그레이일 가능성이 있는(likely gray)" 픽셀 응답들의 평균이 실제로 회색이라는 가정을 한다는 것이다. 보통의(common) 발광체들에서 예시적인 대상 표면 반사율들에 대한 카메라 응답들을 모델링하는 것으로부터, 이 가정은 종종 위반되는 것으로 결정된다. 예를 들어, 각각의 사용 시나리오의 발광체 및 표면 분포에 따라, 일부 "그레이일 가능성이 있는" 픽셀 응답들은 다른 것들보다 그레이일 가능성이 더 높은데, 즉, 일부 픽셀 응답들이 다른 것들보다 실제 화이트 포인트에 관한 더 많은 정보를 휴대한다. 화이트 포인트 추정 정확도를 개선하기 위해, 가중 체계(weighting scheme)는 이러한 픽셀 응답들을 다르게 처리하도록 사용될 수 있다. 캡처된 이미지의 "그레이일 가능성이 있는" 픽셀들의 하위 집합이 선택되면, 장면의 화이트 포인트는 이러한 픽셀 값들의 가중 합(weighted sum)으로 산출될 수 있다:
[수학식 3]
r = sum(R*W)/sum(W);
g = sum(G*W)/sum(W);
b = sum(B*W)/sum(W)
여기서, W는 가중 벡터(weight vector)를 지칭하고, R, G, B는 픽셀 컬러 벡터들이다.
이미지 화이트 밸런스를 얻기 위해 단지 2개의 채널, 보통 r 및 b 채널이 조정될 필요가 있다:
[수학식 4]
R' = (g/r)R;
B' = (g/b)B
여기서, R 및 R'는 화이트 밸런스 조정 전후의 레드 채널 응답이고, B 및 B'는 화이트 밸런스 조정 전후의 블루 채널 응답이다.
따라서, 개선된 "선택적 그레이 월드" 접근법을 사용하는 이미지들에 보다 정확한 화이트 밸런싱을 제공하기 위한 기술들이 필요하다. 화이트 밸런스 이득들을 산출할 때 타당한 뉴트럴 픽셀 값들(plausible neutral pixel)을 지능적으로 가중함으로써, 화이트 포인트들이 더 정확하게 산출될 수 있다.
이 개시물은, 컬러 밸런싱을 위한 보다 효율적인 "선택적 그레이 월드" 접근법을 구현하기 위한 장치 및 컴퓨터 판독가능 매체에 관한 것이다. 여기에 설명된 기술들은, 노이즈-최적화된 선택 기준의 사용, 보다 구체적으로, 일부 실시예들에서, 화이트 밸런스 이득들을 산출할 때 노이즈-최적화된 가중 룩업 테이블들(즉, "가중 테이블들") 사이의 보간(interpolation)의 사용을 수반한다. 추정된 장면 럭스 레벨들(estimated scene lux levels)은 예상된 장면 노이즈 레벨들의 귀중한(valuable) 지표를 제공할 수 있다. 여기에 설명된 카메라 이미지 처리 기술들은 이미지 캡처 장치에 의해 또는 일반 PC 소프트웨어 애플리케이션 포맷으로 실행될 수 있다. 여기에 설명된 컬러 밸런싱 기술들은 전용 또는 범용 하드웨어, 일반 애플리케이션 소프트웨어, 또는 컴퓨터 시스템 내의 소프트웨어와 하드웨어의 조합에 의해 구현될 수 있다.
발명의 배경이 되는 기술 부분에서 설명된 바와 같이, AWB 알고리즘들의 핵심 목표는, 장면 화이트 포인트를 산출하기 위해 캡처된 이미지에서 타당한 "화이트" 픽셀들을 식별한 다음, 장면 화이트 포인트의 보다 정확한 추정을 제공하는, 선택된 픽셀 값들에 대한 합리적인 통계(sensible statistic)를 생성하는 것이다.
장면의 조성에 있어서의 변화들에 더해, "픽셀이 그레이일 확률"은 또한 센서 특성들, 특히, 센서의 분광 감도 및 노이즈 속성들에 의해 영향을 받는다. 예를 들어, 낮은 조명 조건(low light conditions) 하에 센서 노이즈 레벨이 높을 때, 밝은 조명 하에 그레이 표면으로부터의 것일 가능성이 없는 픽셀 응답은, 낮은 조명 조건 하에 화이트 포인트 통계에 대해 매우 좋은 기여자가 될 수 있다. 여기에 설명된 기술들의 하나의 목표는, "그레이일 가능성이 있는" 픽셀들의 평균이 정말로 실제 회색에 대응한다는 가정을 맹신하기보다 오히려, 화이트 포인트의 사실상 추정자(actual estimator)를 제공하는 원칙에 입각한 방식(principled way)으로 픽셀 통계의 집합을 생성하기 위해, 추정된 센서 노이즈 레벨에 기초하여 이러한 변화들을 모델링하는 것이다.
이 개시물의 하나의 측면은, 광범위한 이미지 캡처 조건에 걸친 이미지의 노이즈 특성들에 기초하여 일련의 화이트 픽셀 선택 기준을 제안한다. 이러한 소위 "노이즈 최적화된(noise optimized)" 선택 기준은, 예컨대, 공식(formulae)을 통한, 바이너리 선택 기준(즉, 픽셀이 "고려되거나" 또는 "고려되지 않는")을 통해, 또는 룩업 테이블을 통해, 다수의 형태로 구현(예컨대, 일부 실시예들에서 가중 마스크로서 보여질 수 있는 가중 테이블의 형태로 구현)될 수 있고, 또는 또 다른 적용가능한 형태들(applicable forms)로 구현될 수 있다. 이러한 기준은 상이한 발광체들에 대한 카메라 응답들 및 특정한 이미징 센서의 노이즈 특성들의 모델링에 기초하여 표현될 수 있다. 화이트 포인트 선택 기준의 집합은 각각의 카메라 이미지 센서에 대해 미리 산출될 수 있고, 이미지 캡처 장치 자체에 또는 애플리케이션 소프트웨어 포맷으로 저장될 수 있다. 필드 사용에서, 각각의 캡처된 이미지의 특정 노이즈 레벨은 노출 기간 및 센서 이득들과 같은 이미지 캡처 파라미터들로부터 추정될 수 있고, 이는 그 다음에 장치 또는 애플리케이션 소프트웨어에 저장된 다수의 집합들 중에서 사용할 화이트 포인트 선택 기준의 집합(들)을 결정하는데 사용된다.
따라서, 여기에 설명된 하나의 실시예에서, 프로그램가능 제어 장치에 의해 판독가능하고 명령어들이 저장되어 있는, 비-일시적(non-transitory) 프로그램 저장 장치가 개시되고, 이 명령어들은 프로그램가능 제어 장치로 하여금: 메모리에 이미지 픽셀 데이터를 저장하게 하고 - 여기서 이미지 픽셀 데이터는 이미지 센서에 의해 캡처된 이미지로부터 얻음 - ; 이미지 픽셀 데이터를 컬러 공간에서 이미지 픽셀 값들의 집합으로 변환하게 하고; 이미지의 노이즈 레벨을 추정하게 하고; 추정된 노이즈 레벨에 적어도 부분적으로 기초하여 노이즈-최적화된 가중 테이블의 값들을 식별하게 하고 - 여기서 노이즈-최적화된 가중 테이블 내의 각각의 값은 대응하는 이미지 픽셀 값을 가짐 - ; 노이즈-가중 이미지 픽셀 데이터를 생성하기 위해 각각의 이미지 픽셀 값을 그것의 대응하는 노이즈-최적화된 가중 테이블 값과 곱하게 하고; 노이즈-가중 이미지 픽셀 데이터를 메모리에 저장하게 한다.
여기에 설명된 또 다른 실시예에서, 프로그램가능 제어 장치에 의해 판독가능하고 명령어들이 저장되어 있는, 비-일시적 프로그램 저장 장치가 개시되고, 이 명령어들은 프로그램가능 제어 장치로 하여금: 메모리에 이미지 픽셀 데이터를 저장하게 하고 - 여기서 이미지 픽셀 데이터는 이미지 센서에 의해 캡처된 이미지로부터 얻음 - ; 이미지의 노이즈 속성을 추정하게 하고; 추정된 노이즈 속성에 적어도 부분적으로 기초하여, 노이즈-최적화된 픽셀 선택 기준을 식별하게 하고; 가중 이미지 픽셀 데이터를 생성하기 위해 이미지 픽셀 데이터에 노이즈-최적화된 픽셀 선택 기준을 적용하게 하고; 가중 이미지 픽셀 데이터를 메모리에 저장하게 한다.
여기에 설명된 또 다른 실시예에서, 프로그램가능 제어 장치에 의해 판독가능하고 명령어들이 저장되어 있는, 비-일시적(non-transitory) 프로그램 저장 장치가 개시되고, 이 명령어들은 프로그램가능 제어 장치로 하여금: 메모리에 이미지 픽셀 데이터를 저장하게 하고 - 여기서 이미지 픽셀 데이터는 이미지 센서에 의해 캡처된 이미지로부터 얻음 - ; 이미지의 럭스 레벨을 추정하게 하고; 추정된 럭스 레벨에 적어도 부분적으로 기초하여, 복수의 미리 저장된 노이즈-최적화된 가중 테이블들 내의 대응하는 값들 사이를 보간함으로써 노이즈-최적화된 가중 테이블을 식별하게 하고; 노이즈-가중 이미지 픽셀 데이터를 생성하기 위해 이미지 픽셀 데이터에 노이즈-최적화된 가중 테이블을 적용하게 하고; 이미지 픽셀 데이터에 대한 화이트 포인트를 산출하기 위해 노이즈-가중 이미지 픽셀 데이터를 사용하게 한다.
여기에 설명된 다양한 실시예들에 따른 AWB에 대한 신규하고 개선된 기술들은, 적절한 이미지 센서들을 갖는 임의의 수의 전자적 이미지 캡처 장치들, 이를테면, 이동 전화들, PDA들(personal data assistants), 휴대용 뮤직 플레이어들, 디지털 카메라들은 물론 랩톱 및 태블릿 컴퓨터 시스템들에 쉽게 적용가능하다.
특허 또는 출원 파일은 컬러로 실행된 적어도 하나의 도면을 포함한다. 컬러 도면(들)을 갖는 특허 또는 특허 출원 공개의 사본들은 요청 및 필요한 수수료를 지불하면 사무소에 의해 제공될 것이다.
도 1a는 카메라 응답을 사람 눈의 감도로 보정하기 위한 지각 모델(perceptual model)을 도시한다.
도 1b는 컬러 보정을 수행하기 위한 추상적 및 개념적 이미지 처리 파이프라인을 도시한다.
도 2는, 하나의 실시예에 따른, 노이즈-최적화된 가중 테이블들을 이용하여 컬러 밸런싱 및 보정을 수행하기 위한 개선된 이미지 처리 파이프라인을 도시한다.
도 3은, 하나의 실시예에 따른, 노이즈-최적화된 가중 테이블들을 만들기 위한 프로세스를 보다 상세히 도시한다.
도 4는, 하나의 실시예에 따른, 컬러 비율 색도 공간(color ratio chromaticity space)에서, 보통의 발광체 화이트 포인트들과 함께, 마스크 형태로 예시적인 낮은 럭스 레벨 노이즈-최적화된 가중 테이블을 도시한다.
도 5는, 하나의 실시예에 따른, 컬러 비율 색도 공간에서, 보통의 발광체 화이트 포인트들와 함께, 마스크 형태로 예시적인 실내(indoor) 럭스 레벨 노이즈-최적화된 가중 테이블을 도시한다.
도 6은, 하나의 실시예에 따른, 보간된 노이즈-최적화된 가중 테이블을 만들기 위한 프로세스를 도시한다.
도 7은 디스플레이 및 이미지 센서를 소유하는 대표적인 전자 장치의 간략화된 기능적 블록도를 도시한다.
컬러 밸런싱을 위한 "선택적 그레이 월드(selective gray world)" 접근법을 구현하기 위한 방법, 장치 및 컴퓨터 판독가능 매체가 설명된다. 개시된 기술들은 노이즈-최적화된 선택 기준의 사용, 보다 구체적으로, 일부 실시예들에서는, 화이트 밸런스 이득들을 산출할 때 노이즈-최적화된 가중 테이블들 내의 대응하는 값들 사이의 보간의 사용을 수반한다. 추정된 장면 럭스 레벨들은 예상된 장면 노이즈 레벨들의 귀중한 지표를 제공할 수 있다. 여기에 설명된 이미지 처리 기술들은 이미지 캡처 장치 또는 사용자-레벨 소프트웨어 애플리케이션을 실행하는 범용 프로세서(예컨대, 개인용 컴퓨터)에 의해 실행될 수 있다. 설명된 컬러 밸런싱 기술들은 전용 또는 범용 하드웨어, 일반 애플리케이션 소프트웨어, 또는 컴퓨터 시스템 내의 소프트웨어와 하드웨어의 조합에 의해 구현될 수 있다.
명확성을 위해, 사실상의 구현의 모든 특징들(features)이 명세서에 설명되어 있지는 않다. 물론, (임의의 개발 프로젝트에서와 마찬가지로) 임의의 그러한 사실상의 구현의 개발에 있어서, 개발자의 특정 목표들(예컨대, 시스템 및 비즈니스 관련 제약을 준수)을 달성하기 위해 많은 결정들이 실시되어야 하고, 이러한 목표들은 구현에 따라 다를 것이라는 것이 인식될 것이다. 추가로, 그러한 개발 노력은 복잡하고 시간이 많이 소요될 수 있다는 것이 이해될 것이지만, 그럼에도 불구하고, 이 개시물의 이익을 갖는 당업자를 위한 정례적인 사업(routine undertaking)일 것이다.
다음 설명에서, 설명을 목적으로, 독창적인 개념의 철저한 이해를 제공하기 위해 수많은 특정 상세들이 명시된다. 설명의 일부로서, 일부 구조들 및 장치들은 본 발명을 왜곡시키지 않도록 하기 위해 블록도의 형태로 도시될 수 있다. 더욱이, 이 개시물에 사용된 언어는 주로 읽기 쉽고 교육적인 목적으로 선택되었고, 발명의 주제를 자세히 묘사(delineate)하거나 제한(circumscribe)하기 위해 선택되는 것이 아니라, 그러한 발명의 주제를 결정하기 위해 필요한 청구항들에 의존한다. 명세서에서 "하나의 실시예" 또는 "일 실시예"라는 표현은, 실시예들과 관련하여 설명된 특정한 특징, 구조, 또는 특성이 본 발명의 적어도 하나의 실시예에 포함된다는 것을 의미하고, "하나의 실시예" 또는 "일 실시예"라는 다수의 표현이 반드시 모두 동일한 실시예를 지칭하는 것으로 이해되어서는 안 된다.
먼저, 도 1a를 참조하면, 카메라 응답을 사람 눈의 감도로 보정하기 위한 지각 모델이 설명을 위한 목적으로 도시된다. 기본 레벨에서, 카메라의 이미지 센서는, 이미지 센서가 민감한 파장들의 전체 스펙트럼에 걸친 입사 광에 대한 특성 응답들(100)을 가질 것이다. 캡처되는 장면은 또한 상이한 유형들의 발광체에 의해 조사된 것일 수 있는데, 이는 장면 내의 컬러들이 재생되고 사람 눈에 의해 인식될 방식(way)에 영향을 미칠 수 있다. 따라서, 상이한 최적화들(102), 이를테면, 컬러 밸런싱이 상이한 발광체 유형들에 기초하여 채용될 수 있다.
이미지 센서의 감도가 사람 눈의 가시 범위에 걸쳐 사람 눈의 감도와 동일한 경우, 컬러 밸런싱 이후에 추가 컬러 보정이 필요하지 않을 수 있고; 하지만, 이미지 센서의 감도 및 사람 눈의 감도가 특정한 범위의 사람 시야에 걸쳐 상이한 경우, 사람 눈에 의한 컬러의 인식(104)이 가능한 한 정확하게 현실 세계 장면 컬러이도록 보장하기 위해, 이미지 센서 캡처 데이터에 추가 컬러 보정, 이를테면, CCM(color correction matrix)의 애플리케이션이 또한 채용될 수 있다.
이제, 도 1b를 참조하면, 컬러 보정을 수행하기 위한 추상적 및 개념적 이미지 처리 파이프라인(145)이 설명을 위한 목적으로 도시된다. 먼저, 장면은 이미지 센서(106)에 의해 캡처된다. 데이터는 RGB 원시 데이터 포맷(RGB raw data format; 108)으로 이미지 센서로부터 출력된다. 다음으로, 화이트 픽셀이 화이트로 렌더링되도록 R, G 또는 B 채널들 중 임의의 것의 이득들이 조정될 필요가 있는지 여부를 결정하기 위해, 장면 화이트 포인트가 산출되고 캡처된 이미지 센서 데이터에 걸쳐 화이트 밸런스 알고리즘이 실행된다(110). 다수의 가능한 화이트 밸런스 알고리즘 중 임의의 것, 이를테면, 그레이 월드 알고리즘, 선택적 그레이 월드 알고리즘, 또는 가중 누산기 알고리즘(weighted accumulator algorithm)이 사용될 수 있다. 다음으로, 발광체의 유형에 따라, 추가 컬러 보정(112), 예를 들어, CCM이 이미지 데이터에 적용될 수 있다. CCM 내의 값들은 장면 화이트 포인트와 장면 럭스 레벨 둘 다의 함수일 수 있다. 따라서, 동일한 화이트 포인트를 갖는 2개의 이미지는 매우 상이한 CCM들을 가질 수 있다. 이미지 데이터가 원하는 대로 컬러 밸런싱되거나 컬러 보정되면, 출력 데이터는, 예컨대, sRGB의 형태(즉, 표준 RGB)로, 원하는 디스플레이 장치(114)에 전송될 수 있다.
이러한 프레임워크를 고려하여, 상세한 설명의 나머지 부분은, 화이트 포인트 산출 및 컬러 밸런스 프로세스(110)가 보다 효과적이 되도록, 요소(108)에서 나오는 원시 픽셀 데이터에 사용 및 적용될 수 있는 기술들을 논의할 것이다. 구체적으로, 여기에 논의된 기법들은, 예컨대, 가중 테이블들의 사용을 통해, 노이즈-최적화된 선택 기준을 생성 및 보간하기 위한 이미지 처리 기술들에 관한 것이다.
이제, 도 2를 참조하면, 하나의 실시예에 따른, 노이즈-최적화된 가중 테이블들을 활용하여 컬러 보정을 수행하기 위한 개선된 이미지 처리 파이프라인(150)이 도시된다. 도 1b에 도시된 이미지 처리 파이프라인(145)과 비교해 볼 때, 개선된 이미지 처리 파이프라인(150)은 요소(108)의 원시 데이터의 수신과 요소(110)의 화이트 포인트 산출 및 컬러 밸런싱의 성능 사이에 요소(109)로 표시된 "RGB 값들로부터 히스토그램을 만들고 노이즈-최적화된 가중 테이블(들)과 곱함"을 갖는다. 노이즈-최적화된 가중 테이블(들)의 사용을 통한 원시 픽셀 데이터의 변환들(109)은 이제 아래에서 더 상세히 설명될 것이다.
일부 실시예들에 따르면, 이미지 픽셀 데이터 히스토그램이 축적되는, 컬러 공간 또는 "색도 공간"은, 공간에 특정 형상을 제공하거나 결과적으로 다른 원하는 속성들이 적용되도록(enforced) 하기 위해 일련의 수학적 변환들에 의해 정의될 수 있다. 추가로, 변환 파라미터들은 특정 센서의 분광 감도에 적응하도록 최적화될 수 있다. 아래에 설명된 예에서, 색도 공간은 컬러 비율 공간일 것이다. 스트레이트 컬러 비율 공간(예컨대, B/G에 의한 R/G)과 같은, 임의의 원하는 컬러 공간이 사용될 수 있다.
"노이즈-최적화된 가중 테이블"을 구성(Constructing the "Noise-Optimized Weighting Table")
위에서 언급된 바와 같이, 이미지 센서 정보는, RGB 원시 데이터, 즉, 표시할 준비가 되어 있지 않은, COL 처리되지 않은 선형 RGB 신호의 형태로 이미지 센서로부터 이미지 처리 파이프라인(150)으로 진입할 수 있다. 이제, 도 3을 참조하면, 이미지 픽셀 데이터에 적용될 "노이즈-최적화된 가중 테이블(들)"을 만들기 위한 프로세스 흐름(109)이 보다 상세히 도시된다.
3개의 컬러 차원들(즉, 레드, 그린 및 블루)에서 2개의 컬러 차원들로 입력 신호를 줄이기 위해, RGB 신호는 색차 값들으로 전환될 수 있다. 여기에 사용된, 색차(chrominance)는 그것의 휘도(즉, 밝기)에 독립적인 컬러의 품질의 객관적인 규격(objective specification)을 지칭할 것이다. 휘도가 고려사항에서 제거될 때, 컬러의 나머지 구성요소들은, 때때로 x와 y로 지칭된, 2개의 변수에 의해 정의될 수 있다. 이는, 현존하는 모든 컬러들이 색도 공간에서 x-y 좌표 위치로 고유하게 식별될 수 있는 2D 플롯에 색도 공간이 매핑되도록 허용하기 때문에 유용하다. 그 다음, 이러한 색차 값들은 컬러 공간에서 만들어진 2D 히스토그램에 축적될 수 있다(요소 116). 컬러 값들의 히스토그램은 프로세스 흐름(109)에서 수신(즉, 일부 외부 프로세스에 의해 구성)되거나 또는 프로세스 흐름(109) 내에서 구성될 수 있다.
다음에, 프로세스 흐름(109)은 장면 노이즈 레벨을 추정하려고 시도할 수 있다(요소 118). 위에서 언급된 바와 같이, 추정된 장면 노이즈 레벨은 적절한 가중 테이블을 구성하는데 귀중한 것으로 입증할 수 있다. 센서 최대 저장 용량(sensor full well capacity), 센서 판독 노이즈, 센서 아날로그 이득, 장면 럭스 레벨, 및 센서 양자화 등을 포함하는, 다양한 캡처 조건들은 이미지의 노이즈 레벨에 영향을 미칠 수 있다. 다음에, 프로세스 흐름(109)은 추정된 장면 노이즈 레벨에 대응하는 가중 테이블 또는 테이블들을 식별할 수 있다(요소 120). 일부 실시예들에서, 대표적인 가중 테이블이 저장될 수 있는데, 여기서, 각각의 대표적인 가중 테이블은 복수의 선정된 럭스 레벨 중 특정한 하나에 대응한다. 그 다음에, 장면 럭스 레벨이 주어진 이미지에 대해 추정되었을 때, 프로세스(109)는, 주어진 이미지의 추정된 장면 럭스(및, 따라서, 노이즈) 레벨로 맞춰지는(customized) 보간된 가중 테이블을 생성하기 위해, 추정된 장면 럭스 레벨에 가장 가깝게 대응하는 저장된 대표적인 가중 테이블들 내의 대응 값들 사이를 보간할 수 있다(요소 122). 일부 그러한 실시예들에서, 테이블 내의 각각의 값의 사용이 엄격하게 필수적인 것은 아니지만, 노이즈-가중 테이블들 내의 각각의 값이 보간 산출에 사용될 수 있다. 또 다른 실시예들에서, 충분한 저장 공간과 처리 전력이 이용가능한 경우, 요소들 120 및 122는, 미리 저장된 가중 테이블들 사이를 보간하기 보다 오히려, 추정된 장면 노이즈 레벨에 기초하여 "진행 중에(on the fly)" 가중 테이블을 분석적으로 산출하는 단일 단계로 대체될 수 있다. 마지막으로, 그 다음, 주어진 센서 및 추정된 노이즈 레벨에 대해 장면을 위한 보다 정확한 화이트 포인트 산출을 생성할 가능성이 있는 노이즈-가중 이미지 픽셀 데이터의 집합, 즉, 가중 값들의 집합을 생성하기 위해, 이미지 데이터는, 예컨대, 2D 이미지 히스토그램의 형태로, 노이즈-가중 테이블 내의 대응 값들과 곱해질 수 있다(요소 124). 노이즈-가중 이미지 픽셀 데이터는, 그 다음, 임의의 원하는 방법에 의한 장면 화이트 포인트의 산출을 위해 원하는 AWB 알고리즘(110')으로 바이패스될 수 있다. 일부 실시예들에서, AWB 알고리즘(110')은 단순히, 나머지 노이즈-가중 이미지 픽셀 데이터의 평균을 회색으로 가정하는 알고리즘, 즉 "선택적 그레이 월드" 접근법을 포함할 수 있다. 위에서 논의된 바와 같이, 다른 실시예들에서, 더 복잡한 AWB 알고리즘들이 채용될 수 있다.
일부 실시예들에서, 대표적인 가중 테이블들을 생성하기 위해 이미지 노이즈 센서 모델이 사용될 수 있고, 여기서, 각각의 대표적인 가중 테이블은 특정한 노이즈 레벨에 대응한다. 하나의 실시예에 따르면, 예시적인 이미지 센서 노이즈 모델은 다음과 같이 표현될 수 있다:
[수학식 5]
Vn = (C/K*Ga+V1*Ga2+V2)*K2
여기서, Vn은 특정한 픽셀 응답 C와 관련된 노이즈 분산(noise variance)이고, K는 센서의 전환 이득이고, Ga는 캡처에서 아날로그 이득이고, V1 및 V2는 이득에 독립적인 노이즈 소스들(kT/C, 소스 폴로어, 증폭기 입력 노이즈) 및 이득에 의존적인 노이즈 소스들(전자적 및 양자화 노이즈) 각각에 대한 분산들이다.
수학식 5에서 노이즈 모델을 고려하고, 추가적인 노이즈 본성(additive noise nature)을 가정하면, 발광체들에 대한 카메라 응답은 다음과 같이 표현될 수 있다:
[수학식 6]
C=S*P+n
여기서, n은 노이즈 벡터이고, S 및 P는 발명의 배경이 되는 기술 부분에서 위에 설명된 바와 같다.
노이즈 텀(noise term) n에 대해, 그 다음, 상기 수학식 1로부터, (훨씬 간략화된) 정규 분포를 N[0, Vn]으로 가정하면, 특정한 픽셀 응답의 분포 C는 다음과 같이 표현될 수 있다: N[S*P, Vn]. 특정한 발광체를 고려할 때, 특정한 카메라 응답을 얻을 가능성 P는 이러한 방식으로 쉽게 산출될 수 있다. 특정한 발광체를 고려한 주어진 픽셀의 응답의 확률을 결정하기 위한 상기 수학식들을 사용하면, 특정한 노이즈 레벨에 대응하는 다양한 대표적인 가중 테이블의 값들이 생성될 수 있다.
카메라 응답 데이터로부터 보다 정확한 화이트 포인트 추정을 얻기 위해, 카메라 응답들을 고려한 화이트 포인트들의 확률 분포 및 추정된 노이즈 레벨이 사용될 수 있는데, 즉, D(P | C, n)이다. 이 확률 분포 D는, 위에서 설명한 카메라 및 노이즈 모델을 사용하여, 상이한 광 레벨들에서 그리고 상이한 장면 표면 조성들을 갖는, 각각의 발광체에 대한, 카메라 응답들의 가능성, 즉, L(C | P, R, n)을 컴파일함으로써 산출될 수 있고, 그 결과, 확률 분포 D는 다음과 같이 표현될 수 있다:
[수학식 7]
D(P|C, n) = L(C|P, R, n) * D(P, R)/D(C)
각각의 화이트 포인트의 상대적인 확률이 이러한 방식으로 모델링될 때, 픽셀 선택 및 가중 기준은 다양한 가능한 통계를 사용하여 형성될 수 있다. 하나의 예로서, 모든 카메라 응답의 선형 가중 합(linear weighted sum) C가 화이트 포인트를 추정하기 위해 사용될 수 있는데, 여기서 가중들은 어떤 임계값 아래의 D(P|C, n)에 의해 카메라 응답들에 대해 제로로 강요되고, 현실 세계에서 대상 표면 반사율 분포를 고려하여, 픽셀이 화이트 표면일 그들의 상대적인 가능성을 반영하기 위해 다른 비-제로(non-zero) 가중들이 산출된다.
상기 수학식들로부터, 상이한 노이즈 레벨 하의 화이트 포인트들의 확률 분포는, 예컨대, 노이즈 분포, N[0, Vn]에 있어서의 차이로 인해 서로 매우 다를 수 있다는 것이 보여질 수 있다. 도 4 및 5는 2개의 상이한 장면 럭스 레벨들, 즉, 매우 낮은 럭스 레벨 및 실내 조명 럭스 레벨 각각 하에서 위에서 설명된 방법들에 따라 산출된 화이트 포인트들의 확률 분포를 도시한다. 히스토그램 내의 밝은 컬러들은, 색도 공간에서 그 위치에 있는 주어진 픽셀이 화이트 표면에 대응할 더 큰 가능성에 해당하지만, 히스토그램 내의 어두운 컬러들은, 색도 공간에서 그 위치에 있는 주어진 픽셀이 화이트 표면에 대응할 더 작은 가능성에 해당한다. 도 4 및 5에 도시된 2개의 분포 간의 차이에 기초하여, 상이한 노이즈 레벨들에서 AWB 산출에 포함할 픽셀들을 선택하기 위해 상이한 선택 기준이 사용되어야 하고, 이러한 픽셀 값들을 화이트 포인트 추정에 결합하기 위해 상이한 통계가 사용되어야한다는 것이 추론될 수 있다.
이제, 도 4를 참조하면, 예시적인 매우 낮은 럭스 노이즈-최적화된 가중 테이블(130)이, 컬러 비율 색도 공간(color ratio chromaticity space)에서, 보통의 발광체 화이트 포인트들(160)과 함께, 마스크로서 도시된다. 참고로, 평균 실내 조명은 100 내지 1,000 럭스의 범위이고, 평균 야외 일광은 약 50,000 럭스이다. 위에서 설명한 바와 같이, 장면 럭스를 추정함으로써, 광원 유형일 가능성이 있는 집합이 추론될 수 있고, 그 다음, 그러한 광원에 대한 공지된 가능한 화이트 값들의 범위, 즉, 도 4에서 비-블랙(non-black) 영역들(areas)이 추론될 수 있다. 예를 들어, 낮은 럭스 레벨들에서, 마스크 내의 비-블랙 영역들은, 광원일 가능성이 있는 집합이 클수록, 상대적으로 클 필요가 있을 것이고, 매우 높은 럭스 레벨들에서, 공지된 가능한 화이트 값들의 범위는, 예컨대, 일광 화이트 포인트 영역에 가깝게 국한되어, 상대적으로 작을 수 있다. 도 4에 도시된 바와 같이, 매우 낮은 럭스 레벨들에서, 예시적인 색도 공간의 거의 전체에 걸친 확률 분포는 비-블랙일 수 있다(즉, 임의의 비-블랙 위치에서 픽셀은 그러한 위치에서 발생하는 픽셀이 화이트 표면으로부터의 것일 수 있는 적어도 약간의 확률을 갖고, 가중 테이블 내의 대응 위치들에는 더 높은 가중 값들에 대응하는 더 밝은 컬러들이 저장됨). 이는 낮은 럭스 레벨들에서 많은 양의 노이즈가 예상된다는 사실을 반영하고, 따라서, 그러한 낮은 조명 레벨들에서 장면 화이트 포인트의 산출로부터 임의의 픽셀들을 폐기(또는 임의의 픽셀들을 적어도 전체적으로 폐기)하기 어렵다.
도 5는 도 4에 도시된 색도 공간에서, 보통의 발광체 화이트 포인트들(160)과 함께, 마스크 형태로 예시적인 정규 실내 조명 럭스 노이즈-최적화된 가중 테이블(140)을 도시한다. 도 4에 비해, 도 5에 도시된 럭스 레벨에서 확률 분포는 색도 공간의 훨씬 더 큰 부분에 걸쳐 블랙이다. 도 5에서, 확률 분포의 비-블랙 영역들은 보통의 발광체 화이트 포인트들(160)이 발견되는 존으로 보다 타이트하게 국한된다. 이는, 정규 실내 조명 레벨들에서조차, 예상된 노이즈가 적다는 사실을 반영하고, 따라서 보통의 발광체 범위 내 또는 그 근처에 위치하지 않은 픽셀들은 장면 화이트 포인트의 산출에서 보다 안전하게 폐기될 수 있거나 적어도 대부분 무시(discounted)될 수 있다(즉, 더 낮은 가중이 주어짐).
추정된 노이즈 레벨에 조건부인 다수의 선택 기준을 사용하기 위한 필요성을 보다 직관적으로 설명하기 위한 또 다른 예로서, AWB 알고리즘은 [R/G, B/G] 장치 컬러 비율 공간에서 작동한다고 가정하고, 화이트 픽셀 선택 기준은, 일광(daylight)과 같은, 낮은 노이즈 캡처 조건 하에 다음 2개의 수학식에 의해 설명된다.
[수학식 8]
Th1 < R/G < Th2
Th3 < B/G < Th4
높은 노이즈 캡처, 즉, 저녁에 야외와 같은, 낮은 빛 하에 캡처된 이미지들에 대한 노이즈-도입 불확실성으로 인해, 화이트 픽셀을 고르기 위한 기준은 단순히, 이미지 센서의 노이즈 모델을 통해 산출되는 넓은 허용오차 Δ와 함께 수학식 8에 표현된 상기 기준일 수 있다. 예를 들어:
[수학식 9]
Th1 - Δ1 < R/G < Th2 + Δ2
Th3 - Δ3 < B/G < Th4 + Δ4
추가 허용오차 Δ1 내지 Δ4는, 픽셀 값들의 노이즈는, 픽셀이 화이트 픽셀일 가능성에 추가의 불확실성이 도입되었다는 사실을 반영하므로, 노이즈가 더 높을 때 더 많은 픽셀들이 장면의 화이트 포인트를 산출하는 쪽으로 모일 것이다.
위의 실례가 되는 예에서, 선형 가중 합 모델이 최종 화이트 포인트를 산출하는데 사용되는 경우, 및 통합 가중(unity weight)이 상기 기준을 통해 선택된 모든 픽셀에 주어지는 경우, 더 높은 노이즈(즉, 낮은 조명) 장면의 화이트 포인트는 다음과 같다:
[수학식 10]
r = sum(R + ΔR)/(n + Δn);
g = sum(G + ΔG)/(n + Δn);
b = sum(B + ΔB)/(n + Δn).
여기서, ΔR, ΔG, ΔB는 산출로 갈 추가 픽셀들을 나타내는 벡터들이고, n과 Δn는 산출로 갈 픽셀들의 원래 픽셀 수 및 높은 노이즈 시나리오에서의 산출로 갈 추가 픽셀 수를 각각 나타낸다.
따라서, 캡처된 이미지에서의 노이즈 변화를 고려하면, 그 결과 이미지 노이즈 레벨이 변경될 때 화이트 픽셀 선택 기준을 적응적으로 조정하지 않는 AWB 솔루션보다 더 통계적으로 정확하고 안정적인 솔루션을 제시할 것으로 보여질 수 있다.
위에서 언급한 바와 같이, 일부 구현들에 내재하는 제한들로 인해, 모든 가능한 추정된 노이즈 레벨에 대해 뉴트럴 픽셀 선택 기준을 분석적으로 산출하는 것이 가능하지 않을 수 있다. 그러한 상황에서는, 단지 저장된 뉴트럴 픽셀 선택 기준의 한정된 선택만 존재할 수 있다. 이러한 기준은, 예컨대, 이미지 캡처 장치가 현실 세계에서 사용되는 환경에 존재할 가능성이 있는, 성기게(sparsely) 샘플링된 노이즈 레벨들 또는 럭스 레벨들에 대응할 수 있다. 그러한 경우에, 노이즈 상관 픽셀 선택 기준은 - 비록, 실제로는, 노이즈 동작이 연속적인 프로세스이더라도, 분석적 공식에 기초할 수 없다. 이러한 경우에, 드문드문 샘플링된 노이즈 레벨들 사이에 있는 임의의 노이즈 레벨에 대해, 노이즈 레벨에 대한 대응하는 화이트 픽셀 선택 기준을 산출하기 위해, 저장된 선택 기준 사이의 보간이 사용될 수 있다.
예를 들어, 선택 기준은 숫자 형태(numerical form), 이를테면, 각각의 LUT 요소가 노이즈 레벨 벡터 N에 대응하는, 룩업 테이블(look up table; LUT)로 존재할 수 있다. 노이즈 레벨 n의 입력 이미지에 대해, n이 2개의 노이즈 레벨들 사이에 있는 경우, 2개의 인접한 샘플링된 노이즈 레벨들, 예컨대, Ni -1 및 Ni에 대응하는 2개의 LUT 요소들 사이에 화이트 픽셀 선택 기준이 선형적으로 보간될 수 있다. 이미지 노이즈 n이 가장 작은 샘플링된 노이즈 레벨보다 더 작은 경우, 가장 작은 노이즈 레벨의 픽셀 선택 기준이 사용될 수 있다. 동일한 것을 가장 큰 샘플링된 노이즈 레벨보다 더 큰 추정된 노이즈 레벨에 적용할 수 있는데, 즉, 가장 큰 노이즈 레벨의 픽셀 선택 기준이 사용될 수 있다.
이제, 도 6을 참조하면, 보간된 노이즈-최적화된 가중 테이블(153)을 만들기 위한 프로세스가 하나의 실시예에 따라 보다 상세히 도시된다. 플롯 155는, 플롯의 수평축에 걸친 추정된 장면 럭스와 플롯의 수직축에 걸친 추정된 노이즈 사이의 예시적인 관계를 나타낸다. 플롯 155에 도시된 바와 같이, 추정된 장면 럭스가 증가함에 따라, 추정된 노이즈 레벨은 본질적으로 점근 방식(asymptotic manner)으로 줄어든다. 예를 들어, 낮은 조명 조건(156)은 미리 저장된 낮은-조명 가중 테이블(130)에 대응하고(도 4 참조), 중간-범위 조명 조건(157)은 미리 저장된 중간-범위 가중 테이블(140)에 대응한다(도 5 참조). 수평축에서 더 오른쪽으로 가면, 일광(day-light) 조건(158)은 미리 저장된 일광 가중 테이블(150)에 대응한다. 일광 가중 테이블(150)에서의 비-블랙 영역들은 일광에 대응하는 보통의 발광체 범위로 훨씬 더 타이트하게 국한된다는 것에 주목한다. 도 6의 예시적인 실시예에서, 3개의 미리 저장된 가중 테이블이 도시되지만, 다른 실시예들에서, 물론, 장면 럭스 값일 가능성이 있는 범위를 적절히 샘플링하기 위해, 더 많은 수의 미리 저장된 가중 테이블이 존재할 수 있다.
도 6에 도시된 바와 같이, 추정된 장면 럭스 레벨(159)(플롯에서 큰 별표로 도시된)은 저-조명(156) 및 중간-범위(157) 조명 조건들에 대응하는 미리 저장된 가중 테이블들에 대한 레벨들 사이에 있다. 따라서, 추정된 장면 럭스 레벨(159)을 갖는 현재 장면에 대해 더 적절한 보간된 가중 테이블(153)을 만들기 위해, 적절한 보간 동작(152)(예컨대, 선형 또는 로그 보간(logarithmic interpolation))을 통해 보간된 가중 테이블(153)이 생성될 수 있다. 이 실시예에서, 이미지 픽셀 데이터 히스토그램(116)은, 그 다음, 노이즈-가중 이미지 픽셀 데이터의 집합, 예컨대, 노이즈-최적화된 이미지 픽셀 데이터 히스토그램(154)을 만들기 위해, 새롭게 생성된 보간된 가중 테이블(153) 내의 값들에 적용, 예컨대, 그와 곱해질 수 있다. 이 노이즈-최적화된 이미지 픽셀 데이터를 히스토그램(154)은, 그 다음, 더 정확한 장면 화이트 포인트를 산출하기 위해 원하는 AWB 알고리즘에 의해 활용될 수 있다.
AWB 성능들을 개선하기 위한 다수의 최적화된 화이트 픽셀 선택 및 가중 기준의 사용 및 색인 작성(indexing)은 추정된 이미지 노이즈 레벨들에 기초하는 것으로 한정되지 않는다는 것에 주의해야 한다. 이것은, 이미지의 노이즈 속성, 예컨대, 장면 럭스, 센서 아날로그 이득 등을 관련시키는 임의의 물리적 또는 수적(numerical) 품질에 기초하는 것일 수 있다.
또한, 저장되지 않은 노이즈 레벨에 대한 가중 기준을 산출하는데 사용된 보간 방법은 선형 보간 또는 또 다른 적절한 비-선형 보간 방법을 통해 수행될 수 있다는 것을 주목해야 한다.
또한, 여기에 설명된 노이즈 모델은 실례가 되는 것이고 예시적인 것이라는 것을 주목해야 한다. 사운드 엔지니어링 기준을 가진 임의의 적절한 노이즈 모델이 모델링을 목적으로 사용될 수 있다.
이제, 도 7을 참조하면, 실례가 되는 실시예에 따른 디스플레이(200)를 소유하는 대표적인 전자 장치, 예컨대, 전자적 이미지 캡처 장치(200)의 간략화된 기능적 블록도가 도시된다. 전자 장치(200)는 프로세서(216), 디스플레이(220), 근접 센서/주변 광 센서(226), 마이크(206), 오디오/비디오 코덱(202), 스피커(204), 통신 회로(210), 위치 센서(224)(예컨대, 가속도계 또는 자이로미터(gyrometers)), 관련된 카메라 하드웨어를 갖는 이미지 센서(208), 사용자 인터페이스(218), 메모리(212), 저장 장치(214), 및 통신 버스(222)를 포함할 수 있다. 프로세서(216)는 임의의 적절한 프로그램가능 제어 장치일 수 있고, 많은 기능들, 이를테면, 이미지 데이터의 생성 및/또는 처리는 물론 전자 장치(200)에 의해 수행된 다른 기능들의 동작을 제어할 수 있다. 프로세서(216)는 디스플레이(220)를 구동할 수 있고, 사용자 인터페이스(218)로부터 사용자 입력을 수신할 수 있다. 내장된 프로세서는 개시된 기술들을 수행하기 위해 활용될 수 있는 다목적이고 강력한 프로그램가능 제어 장치를 제공한다.
저장 장치(214)는 매체(예컨대, 이미지 및 비디오 파일들), 소프트웨어(예컨대, 장치(200)에서 다양한 기능들을 구현하기 위한), 선호도 정보, 장치 프로필 정보, 및 또 다른 적절한 데이터를 저장할 수 있다. 저장 장치(214)는, 예를 들어, 하드-드라이브, ROM과 같은 영구적 메모리, RAM과 같은 반-영구적 메모리, 또는 캐시를 포함하는, 이미지 데이터 및 프로그램 명령어들을 실재적으로(tangibly) 기록하기 위한 하나 이상의 저장 매체를 포함할 수 있다. 프로그램 명령어들은 임의의 원하는 언어(예컨대, C 또는 C++)로 인코딩되고 하나 이상의 프로그램 모듈로 조직화된 소프트웨어 구현을 포함할 수 있다.
메모리(212)는 장치 기능들을 수행하기 위해 사용될 수 있는 하나 이상의 상이한 유형의 메모리를 포함할 수 있다. 예를 들어, 메모리(212)는 캐시, ROM, 및/또는 RAM을 포함할 수 있다. 통신 버스(222)는, 적어도 저장 장치(214), 메모리(212), 및 프로세서(216)로, 또는, 이들로부터, 또는, 이들 사이에 데이터를 전송하기 위한 데이터 전송 경로를 제공할 수 있다. 사용자 인터페이스(218)는 사용자가 전자 장치(200)와 상호 작용하도록 허용할 수 있다. 예를 들어, 사용자 입력 장치(218)는 다양한 형태, 이를테면, 버튼, 키패드, 다이얼, 클릭 휠 또는 터치 스크린을 취할 수 있다.
하나의 실시예에서, 개인용 전자 장치(200)는 매체, 이를테면, 이미지 및 비디오 파일들을 처리 및 표시할 수 있는 전자 장치일 수 있다. 예를 들어, 개인용 전자 장치(200)는 이동 전화, PDA(personal data assistant), 휴대용 뮤직 플레이어, 모니터, 텔레비전, 랩탑, 데스크탑, 및 태블릿 컴퓨터와 같은 장치, 또는 다른 적절한 개인용 장치일 수 있다.
바람직한 및 다른 실시예들에 대한 전술한 설명은 출원인에 의해 계획된 창의적인 개념들의 적용가능성 또는 범위를 한정하거나 제한하기 위한 것이 아니다. 하나의 예로서, 본 개시물은 휴대용 개인용 전자 이미지 캡처 장치에 초점을 맞춘 것이지만, 본 개시물의 교시는 다른 구현들, 이를테면, 종래의 디지털 카메라에도 적용될 수 있다는 것이 이해될 것이다. 여기에 포함된 창의적인 개념들을 개시하는 대신, 출원인은 첨부된 청구항들에 의해 제공된 모든 특허권을 원한다. 따라서, 첨부된 청구항들은 다음의 청구항들 또는 그의 등가물의 범위 내에 있는 모든 수정 및 변경을 전체적으로 포함하도록 의도된다.

Claims (25)

  1. 프로그램가능 제어 장치에 의해 판독가능하고 명령어들이 저장되어 있는, 비-일시적(non-transitory) 프로그램 저장 장치로서,
    상기 명령어들은, 상기 프로그램가능 제어 장치로 하여금,
    메모리에 이미지 픽셀 데이터를 저장하게 하고 - 상기 이미지 픽셀 데이터는 이미지 센서에 의해 캡처된 이미지로부터 얻어짐 - ;
    상기 이미지 픽셀 데이터를 컬러 공간에서 이미지 픽셀 값들의 집합으로 변환하게 하고;
    상기 이미지에 대한 노이즈 레벨을 추정하게 하고;
    상기 추정된 노이즈 레벨에 적어도 부분적으로 기초하여, 가중 테이블 값들을 식별하게 하고 - 상기 가중 테이블 내의 각각의 값은 대응하는 이미지 픽셀 값을 가짐 - ;
    노이즈-가중 이미지 픽셀 데이터를 생성하기 위해, 각각의 이미지 픽셀 값을 자신의 대응하는 가중 테이블 값과 곱하게 하고;
    상기 노이즈-가중 이미지 픽셀 데이터를 상기 메모리에 저장하게 하며;
    상기 노이즈-가중 이미지 픽셀 데이터에 적어도 부분적으로 기초하여, 상기 컬러 공간에서 상기 이미지 픽셀 데이터에 대한 장면 화이트 포인트를 산출하게 하는
    비-일시적 프로그램 저장 장치.
  2. 삭제
  3. 제1항에 있어서, 상기 프로그램가능 제어 장치로 하여금 상기 이미지 픽셀 데이터를 컬러 밸런싱하기 위해 상기 산출된 장면 화이트 포인트를 사용하게 하는 명령어들을 더 포함하는 비-일시적 프로그램 저장 장치.
  4. 제1항에 있어서, 상기 프로그램가능 제어 장치로 하여금 상기 이미지에 대한 노이즈 레벨을 추정하게 하는 상기 명령어들은, 상기 프로그램가능 제어 장치로 하여금 상기 이미지에 대한 럭스(lux) 레벨을 추정하게 하는 명령어들을 포함하는 비-일시적 프로그램 저장 장치.
  5. 제1항에 있어서, 상기 프로그램가능 제어 장치로 하여금 상기 이미지에 대한 노이즈 레벨을 추정하게 하는 상기 명령어들은, 상기 프로그램가능 제어 장치로 하여금 상기 이미지 센서의 아날로그 이득을 결정하게 하는 명령어들을 포함하는 비-일시적 프로그램 저장 장치.
  6. 제1항에 있어서, 상기 프로그램가능 제어 장치로 하여금 상기 가중 테이블 값들을 식별하게 하는 상기 명령어들은, 상기 프로그램가능 제어 장치로 하여금 복수의 미리 저장된 가중 테이블 내의 대응하는 값들 사이를 보간하게 하는 명령어들을 포함하는 비-일시적 프로그램 저장 장치.
  7. 제6항에 있어서, 상기 프로그램가능 제어 장치로 하여금 복수의 미리 저장된 가중 테이블 내의 대응하는 값들 사이를 보간하게 하는 상기 명령어들은, 상기 프로그램가능 제어 장치로 하여금 상기 복수의 미리 저장된 가중 테이블 중 2개 내의 대응하는 값들 사이의 선형 또는 비-선형 보간을 수행하게 하는 명령어들을 포함하는 비-일시적 프로그램 저장 장치.
  8. 제6항에 있어서, 상기 복수의 미리 저장된 가중 테이블 각각은 노이즈 레벨에 대응하는 비-일시적 프로그램 저장 장치.
  9. 제6항에 있어서, 상기 복수의 미리 저장된 가중 테이블 각각은 럭스 레벨에 대응하는 비-일시적 프로그램 저장 장치.
  10. 이미지 캡처 장치로서,
    이미지 센서;
    프로그램가능 제어 장치;
    상기 프로그램가능 제어 장치 및 상기 이미지 센서에 연결된 메모리
    를 포함하고,
    상기 메모리에는 명령어들이 저장되고, 상기 명령어들은, 상기 프로그램가능 제어 장치로 하여금,
    상기 이미지 센서에 의해 캡처된 이미지로부터 이미지 픽셀 데이터를 얻게 하고;
    상기 이미지의 노이즈 레벨을 추정하게 하고;
    상기 추정된 노이즈 레벨에 적어도 부분적으로 기초하여, 가중 테이블을 식별하게 하고;
    노이즈-가중 이미지 픽셀 데이터를 생성하기 위해, 상기 이미지 픽셀 데이터에 상기 가중 테이블을 적용하게 하며;
    상기 노이즈-가중 이미지 픽셀 데이터를 AWB(auto white balance) 프로그램 모듈로 전송하게 하는 이미지 캡처 장치.
  11. 삭제
  12. 제10항에 있어서, 상기 프로그램가능 제어 장치로 하여금, 상기 이미지 픽셀 데이터에 대한 화이트 포인트를 산출하게 하는 명령어들을 더 포함하는 이미지 캡처 장치.
  13. 제12항에 있어서, 상기 프로그램가능 제어 장치로 하여금, 화이트 포인트를 산출하게 하는 상기 명령어들은, 상기 프로그램가능 제어 장치로 하여금, 상기 노이즈-가중 이미지 픽셀 데이터를 사용하게 하는 명령어들을 더 포함하는 이미지 캡처 장치.
  14. 제13항에 있어서, 상기 프로그램가능 제어 장치로 하여금, 상기 산출된 화이트 포인트에 따라 상기 이미지 픽셀 데이터를 컬러 밸런싱하게 하는 명령어들을 더 포함하는 이미지 캡처 장치.
  15. 제10항에 있어서, 상기 프로그램가능 제어 장치로 하여금, 상기 가중 테이블을 식별하게 하는 상기 명령어들은, 상기 프로그램가능 제어 장치로 하여금, 상기 메모리에 미리 저장된 복수의 가중 테이블 내의 대응하는 값들 사이를 보간하게 하는 명령어들을 포함하는 이미지 캡처 장치.
  16. 제15항에 있어서, 상기 복수의 미리 저장된 가중 테이블 각각은 노이즈 레벨에 대응하는 이미지 캡처 장치.
  17. 프로그램가능 제어 장치에 의해 판독가능하고 명령어들이 저장되어 있는, 비-일시적 프로그램 저장 장치로서,
    상기 명령어들은, 상기 프로그램가능 제어 장치로 하여금,
    메모리에 이미지 픽셀 데이터를 저장하게 하고 - 상기 이미지 픽셀 데이터는 이미지 센서에 의해 캡처된 이미지로부터 얻어짐 - ;
    상기 이미지의 노이즈 레벨을 추정하게 하고;
    상기 추정된 노이즈 레벨에 적어도 부분적으로 기초하여, 픽셀 선택 기준을 식별하게 하고;
    가중 이미지 픽셀 데이터를 생성하기 위해, 상기 이미지 픽셀 데이터에 상기 픽셀 선택 기준을 적용하게 하고;
    상기 가중 이미지 픽셀 데이터를 상기 메모리에 저장하게 하며;
    장면 화이트 포인트를 산출하게 하는 비-일시적 프로그램 저장 장치.
  18. 삭제
  19. 제17항에 있어서, 상기 프로그램가능 제어 장치로 하여금, 상기 장면 화이트 포인트를 산출하게 하는 상기 명령어들은, 상기 프로그램가능 제어 장치로 하여금, 상기 가중 이미지 픽셀 데이터를 사용하게 하는 명령어들을 더 포함하는 비-일시적 프로그램 저장 장치.
  20. 제17항에 있어서, 상기 프로그램가능 제어 장치로 하여금, 상기 픽셀 선택 기준을 식별하게 하는 상기 명령어들은, 상기 프로그램가능 제어 장치로 하여금, 복수의 미리 저장된 가중 테이블 내의 대응하는 값들 사이를 보간하게 하는 명령어들을 포함하는 비-일시적 프로그램 저장 장치.
  21. 제17항에 있어서, 상기 프로그램가능 제어 장치로 하여금, 상기 픽셀 선택 기준을 식별하게 하는 상기 명령어들은, 상기 프로그램가능 제어 장치로 하여금, 바이너리 선택 기준을 식별하게 하는 명령어들을 포함하는 비-일시적 프로그램 저장 장치.
  22. 제20항에 있어서, 상기 복수의 미리 저장된 가중 테이블 각각은 노이즈 레벨에 대응하는 비-일시적 프로그램 저장 장치.
  23. 프로그램가능 제어 장치에 의해 판독가능하고 명령어들이 저장되어 있는, 비-일시적 프로그램 저장 장치로서,
    상기 명령어들은, 상기 프로그램가능 제어 장치로 하여금,
    메모리에 이미지 픽셀 데이터를 저장하게 하고 - 상기 이미지 픽셀 데이터는 이미지 센서에 의해 캡처된 이미지로부터 얻어짐 - ;
    상기 이미지의 럭스 레벨을 추정하게 하고;
    상기 추정된 럭스 레벨에 적어도 부분적으로 기초하여, 복수의 미리 저장된 가중 테이블 내의 대응하는 값들 사이를 보간함으로써 가중 테이블을 식별하게 하고;
    노이즈-가중 이미지 픽셀 데이터를 생성하기 위해, 상기 이미지 픽셀 데이터에 상기 가중 테이블을 적용하게 하고;
    상기 이미지 픽셀 데이터에 대한 화이트 포인트를 산출하기 위해 상기 노이즈-가중 이미지 픽셀 데이터를 사용하게 하는 비-일시적 프로그램 저장 장치.
  24. 제23항에 있어서, 상기 프로그램가능 제어 장치로 하여금, 보간하게 하는 상기 명령어들은, 상기 프로그램가능 제어 장치로 하여금, 상기 복수의 미리 저장된 가중 테이블 중 2개 내의 대응하는 값들 사이의 선형적 또는 비선형적 보간 산출을 수행하게 하는 명령어들을 더 포함하는 비-일시적 프로그램 저장 장치.
  25. 제23항에 있어서, 상기 복수의 미리 저장된 가중 테이블 각각은 럭스 레벨에 대응하는 비-일시적 프로그램 저장 장치.
KR1020120108374A 2011-10-12 2012-09-27 장면 화이트 포인트들을 산출하기 위한 노이즈-최적화된 선택 기준의 사용 KR101429352B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161546146P 2011-10-12 2011-10-12
US61/546,146 2011-10-12
US13/348,192 US8780225B2 (en) 2011-10-12 2012-01-11 Use of noise-optimized selection criteria to calculate scene white points
US13/348,192 2012-01-11

Publications (2)

Publication Number Publication Date
KR20130039670A KR20130039670A (ko) 2013-04-22
KR101429352B1 true KR101429352B1 (ko) 2014-08-11

Family

ID=47146635

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120108374A KR101429352B1 (ko) 2011-10-12 2012-09-27 장면 화이트 포인트들을 산출하기 위한 노이즈-최적화된 선택 기준의 사용

Country Status (9)

Country Link
US (1) US8780225B2 (ko)
EP (1) EP2582125B1 (ko)
JP (1) JP5632890B2 (ko)
KR (1) KR101429352B1 (ko)
CN (1) CN103051905B (ko)
AU (1) AU2012227169B2 (ko)
CA (1) CA2790539C (ko)
TW (1) TWI538522B (ko)
WO (1) WO2013055492A1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI473429B (zh) * 2011-04-29 2015-02-11 Ememory Technology Inc 晶片上的電源輸入輸出介面
US9413981B2 (en) * 2012-10-19 2016-08-09 Cognex Corporation System and method for determination and adjustment of camera parameters using multi-gain images
EP2739049A1 (en) 2012-11-29 2014-06-04 Axis AB Method and system for generating real-time motion video
US9530342B2 (en) * 2013-09-10 2016-12-27 Microsoft Technology Licensing, Llc Ambient light context-aware display
EP2950058B1 (en) 2014-05-28 2018-03-28 Axis AB Calibration data in a sensor system
US9424628B2 (en) 2014-06-19 2016-08-23 Microsoft Technology Licensing, Llc Identifying gray regions for auto white balancing
EP3206130B1 (en) 2014-07-01 2018-01-31 Axis AB Methods and devices for finding settings to be used in relation to a sensor unit connected to a processing unit
US9336582B1 (en) * 2015-04-17 2016-05-10 Google Inc. Convolutional color correction
US9794540B2 (en) 2015-04-17 2017-10-17 Google Inc. Hardware-based convolutional color correction in digital images
CN108804992B (zh) * 2017-05-08 2022-08-26 电子科技大学 一种基于深度学习的人群统计方法
US11593971B2 (en) * 2017-05-31 2023-02-28 Pcms Holdings, Inc. Apparatus and methods for dynamic white point compensation to improve perceived color of synthetic content
JP6749510B2 (ja) * 2018-01-29 2020-09-02 Eizo株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN110246110B (zh) * 2018-03-01 2023-08-18 腾讯科技（深圳）有限公司 图像评估方法、装置及存储介质
JP2019220766A (ja) 2018-06-15 2019-12-26 キヤノン株式会社 画像処理装置
JP2019220768A (ja) * 2018-06-15 2019-12-26 キヤノン株式会社 画像処理装置
CN111353332B (zh) * 2018-12-21 2023-06-02 中国电信股份有限公司 指纹图像处理方法、装置和计算机可读存储介质
WO2020150237A1 (en) 2019-01-14 2020-07-23 Nvidia Corporation Weighted normalized automatic white balancing
US20220207777A1 (en) * 2019-04-30 2022-06-30 Signify Holding B.V. Luminance distribution determination
CN110706147B (zh) * 2019-09-29 2023-08-11 阿波罗智联(北京)科技有限公司 图像处理的环境确定方法、装置、电子设备和存储介质
WO2022046147A1 (en) * 2020-08-24 2022-03-03 Google Llc Lookup table processing and programming for camera image signal processing
US11935322B1 (en) * 2020-09-14 2024-03-19 Apple Inc. Obstruction-sensitive white point determination using face information
CN114710654B (zh) * 2022-04-24 2024-01-23 安谋科技（中国）有限公司 图像处理方法、装置、可读存储介质以及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030184659A1 (en) 2002-04-02 2003-10-02 Michael Skow Digital color image pre-processing
US20050286097A1 (en) 2004-06-25 2005-12-29 Szepo Hung Automatic white balance method and apparatus
JP2009164838A (ja) 2007-12-28 2009-07-23 Canon Inc 画像処理装置及び方法、及び撮像装置
US20100220223A1 (en) * 2007-11-16 2010-09-02 Takao Tsuruoka Noise reduction system, image pickup system and computer readable storage medium

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6236763B1 (en) * 1997-09-19 2001-05-22 Texas Instruments Incorporated Method and apparatus for removing noise artifacts in decompressed video signals
US6965702B2 (en) * 2002-02-27 2005-11-15 Eastman Kodak Company Method for sharpening a digital image with signal to noise estimation
US7116838B2 (en) * 2002-10-25 2006-10-03 Eastman Kodak Company Enhancing the tonal and spatial characteristics of digital images using selective spatial filters
JP3861808B2 (ja) * 2002-12-25 2006-12-27 ソニー株式会社 撮像装置
KR100965880B1 (ko) * 2003-09-29 2010-06-24 삼성전자주식회사 영상의 잡음 제거 방법
JP2008508751A (ja) * 2004-07-30 2008-03-21 アルゴリス インコーポレイテッド 符号化された画像信号に関する適応型３ｄ虚構映像削減のための装置および方法
KR101092539B1 (ko) 2005-02-18 2011-12-14 삼성전자주식회사 화이트 밸런스를 자동 조정하는 영상장치 및 그의 화이트밸런스 조정 방법
KR101303660B1 (ko) * 2007-10-01 2013-09-04 삼성전자주식회사 잡음제거를 고려한 선명도 향상 방법 및 장치 그리고 잡음가중치 계산 방법 및 장치
US8175378B2 (en) 2007-11-15 2012-05-08 Marvell World Trade Ltd. Method and system for noise management for spatial processing in digital image/video capture systems
US8274583B2 (en) 2009-06-05 2012-09-25 Apple Inc. Radially-based chroma noise reduction for cameras

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030184659A1 (en) 2002-04-02 2003-10-02 Michael Skow Digital color image pre-processing
US20050286097A1 (en) 2004-06-25 2005-12-29 Szepo Hung Automatic white balance method and apparatus
US20100220223A1 (en) * 2007-11-16 2010-09-02 Takao Tsuruoka Noise reduction system, image pickup system and computer readable storage medium
JP2009164838A (ja) 2007-12-28 2009-07-23 Canon Inc 画像処理装置及び方法、及び撮像装置

Also Published As

Publication number Publication date
TW201320774A (zh) 2013-05-16
US20130093916A1 (en) 2013-04-18
CA2790539A1 (en) 2013-04-12
CN103051905B (zh) 2015-04-08
EP2582125A1 (en) 2013-04-17
CA2790539C (en) 2016-10-11
AU2012227169A1 (en) 2013-05-02
US8780225B2 (en) 2014-07-15
JP5632890B2 (ja) 2014-11-26
TWI538522B (zh) 2016-06-11
KR20130039670A (ko) 2013-04-22
WO2013055492A1 (en) 2013-04-18
CN103051905A (zh) 2013-04-17
AU2012227169B2 (en) 2015-02-19
JP2013085254A (ja) 2013-05-09
EP2582125B1 (en) 2018-12-26

Similar Documents

Publication Publication Date Title
KR101429352B1 (ko) 장면 화이트 포인트들을 산출하기 위한 노이즈-최적화된 선택 기준의 사용
US11849224B2 (en) Global tone mapping
CN110447051B (zh) 在感知上保持参考场景的对比度和色度
CN109688351B (zh) 一种图像信号处理方法、装置及设备
US20160364841A1 (en) Color filter array scaler
US20150097985A1 (en) Compensating for sensor saturation and microlens modulation during light-field image processing
US20200051225A1 (en) Fast Fourier Color Constancy
JP6891882B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US9307213B2 (en) Robust selection and weighting for gray patch automatic white balancing
WO2023098251A1 (zh) 图像处理方法、设备及可读存储介质
WO2022067762A1 (zh) 图像处理方法、装置、拍摄设备、可移动平台及计算机可读存储介质
WO2023005818A1 (zh) 噪声图像生成方法、装置、电子设备及存储介质
WO2019104047A1 (en) Global tone mapping
CN110310231B (zh) 一种将第一动态范围视频转换为第二动态范围视频的设备及其方法
US7885458B1 (en) Illuminant estimation using gamut mapping and scene classification
US20130093915A1 (en) Multi-Illuminant Color Matrix Representation and Interpolation Based on Estimated White Points
JP6611543B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN111724447A (zh) 一种图像处理方法、系统及电子设备和存储介质
JP2013500610A (ja) 輝度情報に基づいて修正された値を使用したレンズロールオフ補正操作
CN105631812B (zh) 一种对显示图像进行色彩增强的控制方法及控制装置
US20240137658A1 (en) Global tone mapping
WO2017110192A1 (ja) 情報処理装置、情報処理方法、プログラムおよび情報処理システム
Shaffa A Region-based Histogram and Fusion Technique for Enhancing Backlit Images for Cell Phone Applications
JP2009089319A (ja) 映像信号処理装置、その方法及びそのプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170704

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180718

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190718

Year of fee payment: 6