KR20190080732A - 자동 화이트 밸런싱에서 조명 색도의 추정 - Google Patents

자동 화이트 밸런싱에서 조명 색도의 추정 Download PDF

Info

Publication number
KR20190080732A
KR20190080732A KR1020180148618A KR20180148618A KR20190080732A KR 20190080732 A KR20190080732 A KR 20190080732A KR 1020180148618 A KR1020180148618 A KR 1020180148618A KR 20180148618 A KR20180148618 A KR 20180148618A KR 20190080732 A KR20190080732 A KR 20190080732A
Authority
KR
South Korea
Prior art keywords
frame
scene
illumination
chromaticity
awb
Prior art date
Application number
KR1020180148618A
Other languages
English (en)
Inventor
에브게니 크레스티야니코브
자르노 니카넨
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20190080732A publication Critical patent/KR20190080732A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H04N9/735—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H04N5/2256—
    • H04N5/2351—
    • H04N5/2354—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

방법, 시스템 및 장치가 개시된다. 이 방법은 화이트 밸런서를 통해서 현재 프레임에 대한 후보 조명 색도 추정치를 계산하는 단계와, 장면 프라이어 모니터를 통해서, 이전 프레임으로부터의 장면 프라이어 색도와 후보 조명 색도 추정치의 가중 합으로서, 현재 프레임에 대한 장면 프라이어 색도를 계산하는 단계를 포함한다. 이 방법은, 장면 불변 조명 색도 제어기를 통해서, 현재 프레임에 대한 장면 조명 색도와 후보 조명 색도 추정치의 가중 합으로서, 현재 프레임에 대한 최종 조명 색도를 계산하는 단계를 더 포함한다.

Description

자동 화이트 밸런싱에서 조명 색도의 추정{ESTIMATION OF ILLUMINATION CHROMATICITY IN AUTOMATIC WHITE BALANCING}
자동 화이트 밸런싱(AWB)은 색 항상성(color constancy)이라고도 알려져 있으며, 조명의 하나 이상의 색도를 카메라 응답 측면에서 추정하는 알고리즘의 세트를 설명하는 데 사용될 수 있다. 이 조명의 색도는 백색 점(white point)이라고도 알려져 있으며, 캡쳐된 이미지에서 색을 정확하게 재현하는 데 필요하다. 조명의 색도는 카메라 센서 색 성분의 응답의 측면에서 추정될 수 있다. 일반적으로 AWB에는, 사용자가 예상하는 색 재현을 가능하게 하기 위해서 상이한 색 성분의 강도를 조정하는 것이 수반되는 데, 필요한 조정은 캡쳐 시점의 주변 조명 조건 및 이미지 센서 특성에 따라 크게 달라진다.
도 1은 신뢰 스코어를 결정하는 방법의 처리 흐름도이다.
도 2a 및 도 2b는 히스토그램(200A) 및 히스토그램(200B)을 도시한다.
도 3은 조명 색도에 대한 장면 프라이어 항(a scene prior term)을 결정하는 방법의 처리 흐름도이다.
도 4a는 제 1 장면에서의 각도 에러를 나타내는 그래프이다.
도 4b는 제 2 장면에서의 각도 에러를 나타내는 그래프이다.
도 4c는 제 3 장면에서의 각도 에러를 나타내는 그래프이다.
도 5는 자동 화이트 밸런싱에서 조명 색도의 추정을 가능하게 하는 예시적인 시스템의 블록도이다.
도 6은 자동 화이트 밸런싱에서의 조명 색도 추정을 위한 로직을 포함하는 매체를 나타내는 블록도이다.
명세서 및 도면 전체에서 동일한 참조 번호는 동일한 구성 요소 및 특징부를 가리키는 데 사용된다. 참조 번호의 백의 자리 숫자가 1이라는 것은 해당 구성 요소가 도 1에 처음 도시되었다는 것을 가리키고, 참조 번호의 백의 자리 숫자가 2라는 것은 해당 구성 요소가 도 2에 처음 도시되었다는 것을 가리키며, 나머지도 마찬가지이다.
카메라 센서의 색 성분 값은, 이미지를 조명하는 다양한 광원의 색도에 따라 달라질 수 있다. 종종 다양한 광원이 다양한 색과 강도로 이미지를 조명한다. 따라서, 인간 시각계가 이미지를 보는 방식으로 이미지를 정확하게 재생하기 위해서, 이미지의 다양한 색을 자동 화이트 밸런싱(AWB)을 통해서 조정한다. 경우에 따라서, 각 색 성분의 이득을 조정하여 정확한 화이트 밸런스를 유지한다. 인간의 시각은 고유한 색 항상성의 능력을 갖고 있다. 이는, 주변 조명의 색에 관계없이 색이 인식된다는 것을 의미한다. 모바일 촬상 응용 분야에서, 정확하게 원하는 색을 재현하게 하기 위해서는 위와 유사한 색 항상성이 요구된다.
조명의 대각 모델(diagonal model)이라고도 알려진 단순화된 이미지 형성 모델은, 관찰되는 이미지 픽셀 값 y의 세트를 조명의 불변량(illumination invariant) 또는 표준 이미지(canonical image) x의 측면에서 아래와 같은 형태의 선형 변환을 통해 나타낸다.
Figure pat00001
(1)
여기서 A는 대각 행렬(즉, i≠j일 때 Aij=0)로, 조명마다 이미지 색상을 변환하는 데 사용된다. A나 x는 사전에 알고 있는 것이 아니므로, 색 항상성 문제는 불량 조건성(ill-posed)을 갖게 된다. 관찰되는 이미지 y에 대한 유효한 솔루션의 역할을 할 수 있는 A와 x 쌍은 다수 존재할 수 있다.
지난 수십 년 동안, 행렬 A의 대각 엔트리의 추정에 초점을 맞추고 있는 수많은 색 항상성 알고리즘이 제안되었다. 이러한 방법은, 장면에서의 색상 분포에 대해 통계적 가정을 행하는 통계 기반 방식(예를 들어, 그레이 월드(grey world) 또는 맥스-RGB 알고리즘)과, 일반적으로 카메라 모듈 특성(CMC)과 모델링 혹은 학습을 일정 레벨 사용하는 모델 기반 방식(예를 들어, 개머트 매핑(gamut mapping) 혹은 상관 관계에 의한 색(color by correlation))로 크게 분류될 수 있다.
예를 들어, 통계적 가정은 장면의 색상 분포에 대해 프레임 기반 방식으로 행해질 수 있다. 특히, 그레이-에지 알고리즘(gray-edge algorithm)은, 원시 이미지(raw image) 데이터의 에지로부터 비롯되는 반사가 무채색일(achromatic) 가능성이 가장 높다는 것을 전제로 한다. 따라서 무채색 영역은 장면 내의 에지 주변으로부터 얻어질 수 있다. 다른 통계 기반 방식에서, 알고리즘은 이미지 내에서 색 성분의 평균 강도가 동일하다고 가정할 수 있다. 이미지가, 그 이미지 내의 색과 관련된 이러한 알고리즘적 가정을 위반하는 경우, 그 결과 AWB는 그 이미지에 대해서 잘못된 화이트 밸런스 이득을 적용할 수 있다. 유사하게, 개머트 매핑 혹은 상관 관계에 의한 색과 같은 모델 기반 방식은 일반적으로 카메라 모듈 특성과 모델링 혹은 학습을 프레임 기반으로 일정 레벨 사용한다. 카메라 모듈 특성(CMC) 정보에 의존하면, AWB가 카메라 모듈의 대량 생산과 관련된 CMC 정보 에러의 영향을 받기 쉽게 된다. CMC-집약적인 방법은 계산에 비용이 많이 들기도 한다.
본 명세서에서 설명되는 실시예는, 카메라 촬상 장치에 의해 캡쳐된 비디오 프레임과 같은 프레임의 시퀀스로부터 미지의 광원의 정확한 조명을 추론하는 것을 가능하게 한다. 실시예에서, 본 기술은, 단일-프레임 기반의 AWB 방법이 성공할 가능성이 있을 때, 행렬 A를 포함하는 이미지 형성 모델의 정확한 파라미터를 학습하는 데 사용되며, 또한 이들 추정치를, 유사한 확률의 솔루션이 다수 존재할 수 있는 난해한 장면에 대해 재사용한다. 본 명세서에서 사용되는 정확한 백색 점 추정치란, 조명의 분광 분포(spectral power distribution)에 대한 카메라 센서 응답과 매칭되는 추정치이다.
종래 기술 기술은, 입력 이미지 데이터에서 있을 수 있는 모호성으로 인해서 실패할 수 있다. 나아가, 종래의 단일-프레임 기반의 방식을 사용하면, 연속하는 프레임들에서 큰 화이트 밸런싱 에러가 발생할 수 있으며, 특히 조명의 대각 모델의 환경에서 연속 프레임을 구별할 수 없는 경우에 그렇다. 예를 들어, 프레임-기반 색 항상성 알고리즘의 경우에, 백색의 벽과 갈색의 테이블이 있는 장면은 식별할 수 없는데, 그 이유는, 테이블은 낮은 색 온도 조명 하에서 백색으로 취급될 수 있고, 반대로 벽은 높은 온도 조명 하에서는 갈색으로 또한 낮은 온도 조명 하에서는 청색으로 취급될 수 있기 때문이다.
일부 실시예들은 하드웨어, 펌웨어 및 소프트웨어 중 하나 또는 이들의 조합으로 구현될 수 있다. 일부 실시예들은, 컴퓨팅 플랫폼에 의해 판독되고 실행되어서 본 명세서에서 설명되는 동작들을 수행하는 머신-판독 가능 매체에 저장된 명령어로서 구현될 수도 있다. 머신-판독 가능 매체는 머신, 예를 들어 컴퓨터에 의해 판독 가능한 형태로 정보를 저장 또는 전달하기 위한 임의의 메커니즘을 포함할 수 있다. 예를 들어, 머신-판독 가능 매체는 ROM(read only memory); RAM(random access memory); 자기 디스크 저장 매체; 광학 저장 매체; 플래시 메모리 장치; 또는 전기적 신호, 광학적 신호, 음향 신호, 또는 예를 들어 반송파와 같은 다른 형태의 전파 신호, 적외선 신호, 디지털 신호, 또는 신호를 송신 및/또는 수신하는 인터페이스를 포함할 수 있다.
실시예는 구현예이거나 또는 예시이다. 명세서에서 "실시예", "일 실시예", "일부 실시예", "다양한 실시예" 또는 "다른 실시예"를 참조한다는 것은, 이 실시예들과 관련하여 설명된 특정한 특징, 구조 또는 특성이 본 발명의 적어도 일부 실시예에 포함된다는 것을 의미하는 것으로, 반드시 모든 실시예에 포함되어야 하는 것은 아니다. "실시예", "일 실시예" 또는 "일부 실시예"와 같은 다양한 표현이 꼭 모두 동일한 실시예를 지칭하는 것은 아니다.
본 명세서에서 설명되고 도시되는 모든 구성 요소, 특징부, 구조, 특성 등이 특정한 실시예나 또는 실시예들에 포함되어야 하는 것은 아니다. 예를 들어, 명세서에서 구성 요소, 특징부, 구조 또는 특성이 '포함될 수 있다(may, might, can, could)'고 기재하고 있는 경우에, 이러한 특정한 구성 요소, 특징부, 구조 또는 특성이 꼭 포함되어야 하는 것은 아니다. 명세서 또는 청구항에서 '한(a, an)' 요소를 지칭하는 경우에, 이 요소가 하나만 존재한다는 것을 의미하는 것은 아니다. 명세서 또는 청구항에서 '추가적인' 요소를 지칭하는 경우에, 그 추가적인 요소가 2개 이상 존재하는 것을 배제하는 것은 아니다.
비록 일부 실시예들이 특정한 구현예를 참조하여 설명되더라도, 어떤 실시예에 따라서는 다른 구현예도 가능하다는 것을 알아야 한다. 나아가, 도면에 도시된 및/또는 본 명세서에 설명된 회로 소자나 또는 다른 특징부의 배치 및/또는 순서는, 도시되고 설명되는 특정 방식으로만 배치되어야 하는 것은 아니다. 어떤 실시예에 따라서는 많은 다른 장치도 가능하다.
도면에 도시된 각각의 시스템에서, 경우에 따라서, 나타나는 요소들이 다른 것일 수도 있고 및/또는 같은 것일 수도 있다는 것을 제시하기 위해서, 요소들이 동일한 참조 번호를 가질 수도 있고 다른 참조 번호를 가질 수도 있다. 그러나, 요소는, 여러 구현예를 가질 정도로 충분한 융통성을 갖고 있어서, 본 명세서에 도시되거나 설명되는 시스템 중 일부 혹은 전부와 함께 동작할 수 있다. 도면에 도시된 다양한 요소들은 같은 것일 수도 있고 다른 것일 수도 있다. 어느 것을 제 1 요소라고 지칭하고 어느 것을 제 2 요소라고 지칭할지는 임의로 결정된다.
본 명세서에서 설명되는 실시예에서는, 각 프레임의 AWB 분석(다양한 프레임 기반 AWB 방법들의 조합인 AWB 분석)의 신뢰도를 추정해서, 후속하는 연속 프레임들의 컨텐츠가 낮은 신뢰도 AWB 결과를 유발할 것이라면, 더 신뢰할 수 있는 백색 점을 재사용한다. 본 명세서에서 설명되는 시간적인 분석은, 안정적인 색 수렴(color convergence)을 보장하기 위해서 디지털 카메라에서 사용되는 공지된 시간적인 안정화 방식(예를 들어, 각 프레임의 독립적인 AWB 분석 결과의 시간적인 필터링)을 지칭하는 것이 아니라는 점에 주의한다. 이로써, 본 기술은, 카메라가 양호한 백색 점 추정을 달성하기 어려운 프레이밍 및 이미지 컨텐츠를 향하고 있는 경우에도, 양호한 백색 점 추정을 획득할 수 있다.
색 항상성 알고리즘이라고도 알려져 있는 AWB의 주요 목표는, 카메라 응답과 관련해서 조명의 정확한 색도, 즉 간단히 백색 점을 산출하는 것으로, 이는 캡쳐된 이미지의 색을 정확하게 재현하는 데 필요하다. 개개의 프레임마다 독립해서 색 항상성 문제를 해결한다면 이웃하는 프레임 사이의 추정 에러가 클 수 있으며, 특히 장면이 큰 단채색(monochromatic) 물체(예컨대, 밝은 갈색 혹은 밝은 청색)를 포함하고 있어서 종래의 방법으로는 식별할 수 없는 경우에 그렇다.
본 기술은, 임의의 장면 및 조명 조건의 변화가 존재하는 경우, 레코드된 비디오와 같은 프레임의 시퀀스로부터 시간 영역에서의 조명 색도 추정을 가능하게 한다. 한 프레임을 다른 프레임과는 독립해서 처리하는 단일-프레임 기반 방법과 달리, 본 기술은 인접 프레임으로부터 이용 가능한 시공간 정보를 활용한다. 특히, 장면 조명 프라이어(a scene illumination prior)는, 현재 장면 조명에 대한 시간적으로 불변하는 표현(temporally invariant representation)의 역할을 한다. 또한, 프라이어는 백색 점 추정 공정에 포함된다. 장면 조명 프라이어 값을 사용하는 것은, 색 항상성 문제의 불량 조건성을 해결하고, 시간적인 맥락에서 추출한 장면 조명에 대한 지식을 활용한다.
그 결과는, 본 기술이 미지의 광원 색도를 추정할 때 우수한 성능을 나타내며, 시간적 AWB 분석시에 어려웠던 단채색 장면에 대한 백색 점 추정 에러를 안정화시키고 감소시키는 데 효과적으로 사용될 수 있으며, 특히 종래의 통계 기반 접근법과 조합될 때 그렇다는 것을 보여준다. 본 명세서에서 사용되는 AWB 분석은, 현재 알려진 또는 향후에 개발될 다양한 프레임-기반 AWB 기술들의 조합이 될 수도 있다. 각각의 프레임에 대한 AWB 분석의 신뢰도가 추정될 수 있고, 후속하는 연속 프레임들의 컨텐츠가 낮은 신뢰도 AWB 결과를 유발하는 경우에, 더 신뢰할 수 있는 백색 점을 재사용한다. 본 기술의 결과는, 이미지 프레이밍에 관계없이 정확한 백색 점이다.
도 1은 신뢰 스코어를 결정하는 방법(100)의 처리 흐름도이다. 이미지 형성 모델은, 이미지 색을 조명마다 변환하는 대각 변환을 포함한다. 카메라 또는 이미징 장치에서, 관찰되는 이미지 y는 전형적으로 대각선 상에 화이트 밸런싱 이득을 갖고 있는 대각 행렬 A의 역 행렬에 의해 변환되어서, 표준 이미지 픽셀 값 x를 획득한다. 관찰되는 이미지에 대한 유효한 해결책의 역할을 하는 다수의 이득-이미지 쌍이 존재할 수 있다. 따라서, 대각 행렬 A의 역 행렬을 추정하는 단일-프레임 기반 알고리즘 결과에 신뢰도 스코어가 할당될 수 있다.
예를 들어, 단일-프레임 기반 솔루션은, 초기 백색 점 추정치의 세트를 구하는, 통계-기반(예를 들어, 그레이 월드 및 그레이-에지 알고리즘)이면서 모델-기반(예를 들어, 개머트 매핑 알고리즘)인 특성 독립형(characterization independent) 서브-알고리즘의 세트를 포함할 수 있다. 이들 서브-알고리즘의 결과들은 또한, 성능 스코어에 기초해서 각 서브-알고리즘의 결과에 적응적으로 가중치를 부여함으로써, 서로 결합된다. 초기 서브-알고리즘에 적응적으로 가중치를 부여한 후에 계산되는 초기 가중치 곡선은, 화이트 맵에서 CCT(correlated color temperature) 범위를 좁히는 데 사용되며, 이로부터 최종 무채색 포인트가 더 발견된다. 본 명세서에서 사용되는 무채색이란 컬러가 없는 특징을 가리킬 수 있다.
단일-프레임 기반 색 항상성 알고리즘의 단점은, 이 알고리즘이 장면에 따라 달라진다(scene variant)는 것이다. 이는, 동일한 장면이지만 프레임 컨텐츠가 다른 경우에(시간적인 AWB 분석에서 종종 나타남), 조명의 색도에 대한 추정치가 달라질 수 있다는 것을 의미한다. 그 결과, 동일한 물체의 색이라도 카메라 프레이밍 및 일반적으로 카메라 패닝이나 물체 이동 중에 사람의 눈에 의해 매우 잘 인지될 수 있다는 것에 따라서 다르게 보일 수 있다.
이미지 형성 모델과 같은 불량 조건성 역문제(ill-posed inverse problems)를 해결하는 종래의 기술은 정규화(regularization)이다. 정규화 동안에, 미지의 변수에 페널티 항(베이지안 프레임워크(Bayesian framework) 내에서 프라이어로서 보여질 수 있음)이 부여되어서, 물리적으로 실현 가능하며 데이터와 일치되는 모든 솔루션의 세트 중에서 더 가능성이 높은 솔루션 혹은 솔루션의 세트를 식별한다. 문제를, 시간적인 색 항상성 문제에 맞춰서 재구성해 보면, 본 명세서에 설명되는 실시예는, 현재 조명 추정 작업을 위해 제공되는 데이터와 관련하여 색 항상성을 해결하는 것이 얼마나 용이한지 혹은 어려운지에 관한 전반적인 개별 척도를 제시함으로써, 현재 색 항상성 문제와 가장 관련되면서 일치되는 솔루션의 서브세트를 식별하는 데 도움을 준다.
블록 102에서, 이미지 통계의 세트가 획득된다. 이미지 통계는 RGB 이미지의 적색, 녹색 및 청색 채널로부터 수집된 원시 히스토그램을 포함할 수 있다. 이미지 통계는, 정확한 이미지 색도의 제공을 성공시키기 위해서 단일-프레임 기반 AWB 알고리즘의 가능성을 나타내는 데 사용될 수 있다.
실시예에서, 이미지 통계는, 이미지 내에 있는 표면들의 평균 반사율이 무채색이라는 것을 나타내는 그레이 월드(GW) 가설을 테스트하는 데 사용될 수 있다. 환언하면, GW 가설은 이미지 내의 모든 색이 회색으로 평균화된다고 하고 있다. 이 가설은, 적색, 녹색 및 청색 성분이 이미지 내에서 거의 동일하게 존재하는 매우 다양한 자연 장면에 대해 대개 유효하다. 백색, 청색, 갈색과 같은 단색 물체가 지배적인 장면의 경우에는, 샘플 평균이 물체의 색에 의해 바이어싱되므로, 이 가설은 실패한다.
블록 104에서, 이미지 통계에 기초해서 색 채널 사이의 가변성이 결정된다. 이미지의 적색, 녹색 및 청색 채널로부터 수집된 원시 히스토그램을
Figure pat00002
Figure pat00003
Figure pat00004
라고 하면, 이미지의 채널들 사이의 가변성 v는 다음과 같이 결정될 수 있다
Figure pat00005
(2)
여기서,
Figure pat00006
는 히스토그램 빈(histogram bin) i의 평균 카운트이다. 그 양의 경계는 0인 하한 및 다음과 같이 정의되는 상한에 의해서 주어진다.
Figure pat00007
(3)
가변성 v가 크고 상한 B에 가깝게 접근할수록 장면에 지배적인 색이 존재하는 것이므로, 그레이 월드 가설은 실패할 확률이 높아질 것이다. 그 반대도 마찬가지이다. 히스토그램 채널 사이의 가변성이 거의 제로라는 것은, 선택된 가설이 유효하다는 강력한 신뢰도를 의미하므로, 일반적으로는 단일-프레임 기반 AWB 알고리즘, 및 특히 GW 알고리즘은 행렬 A의 대각 성분(diagonal elements)에 대한 합리적인 추정값을 생성할 것이다.
블록 106에서, 계산된 가변성 v에 기초해서 그레이 월드 신뢰도 스코어 αGW가 결정된다. 실시예에서, 범위 [0:B]로부터 소정의 상위 변동성 레벨 및 하위 변동성 레벨 thigh 및 tlow를 선택함으로써 정규화된 GW 신뢰도 스코어 αGW는 다음과 같은 과정에 따라 정의된다.
Figure pat00008
이면,
Figure pat00009
,
Figure pat00010
이면,
Figure pat00011
,
아니면,
Figure pat00012
이다.
도 2a 및 도 2b는 히스토그램(200A) 및 히스토그램(200B)을 도시한다. 도 2a 및 2b에서, x축(202)은 8 비트 밝기 값을 [0,255] 범위로 나타내고 있고, y축(204)은 이미지 영역 내의 각 밝기 값의 발생 횟수를 나타낸다. 도 2a에서, 히스토그램(200A)의 적색 채널(206), 녹색 채널(208) 및 청색 채널(210)은, 서로 다른 채널들 사이에서의 낮은 가변성을 나타낸다. 환언하면, 각 색 채널은 자연스러운 색의 장면에 해당할 수 있는 이미지에서 거의 동일하게 존재한다. 가변성이 낮기 때문에, GW 가설은 참(true)이다. 대조적으로, 도 2b에서, 히스토그램(200B)의 적색 채널(206), 녹색 채널(208) 및 청색 채널(210)은 서로 다른 채널들 사이에서의 높은 가변성을 나타낸다. 환언하면, 각 채널은 매우 좁은 범위의 강도로 잘 표현되며, 따라서 채널 사이의 가변성 v을 매우 높이고 결과적인 신뢰도 스코어 αGW를 매우 낮춘다. 도 2b에서, 히스토그램(200B)에 대응하는 이미지는 균일한 단일 색의 물체가 지배적일 수 있으며, GW 가설은 참이 될 수 없다.
도 3은 장면 불변 자동 화이트 밸런싱 알고리즘의 방법(300)의 처리 흐름도이다. 실시예에서, 본 기술에 필수적인 장면 프라이어 색도 항
Figure pat00013
은 신뢰도 스코어
Figure pat00014
에 기초하여 통계 데이터로부터 학습된다. 프라이어 항은, 식 (1)로부터의 이미지 형성 모델을 제한하고, 프라이어와 일치하는 백색 점 추정치에게 유리하도록 바람직하지 않은 솔루션에는 패널티를 부여(penalize)하는 데 사용될 수 있다. 이 이미지 형성 모델을 가장 바람직할 것 같은 솔루션(most likely favorable solution)으로 제한함으로써, 그 결과 조명 색도는 현실 세계 시나리오에서 인간의 눈이 보는 것과 같이 이미지를 정확하게 재현할 수 있다. 따라서, 신뢰도 스코어가 낮으면, 프라이어 항은 모든 바람직하지 않은 솔루션을 프라이어 또는 이전에 결정된 색도
Figure pat00015
로 대체할 것이다. 신뢰도 스코어가 높으면, 색도에 대한 원래의 프레임 기반 결과가 사용될 수 있다.
블록 302에서, 프레임 N에 대한 후보 조명 색도 추정치
Figure pat00016
가 단일-프레임 기반 AWB 알고리즘을 사용하여 계산된다. 블록 304에서, 방법(100)(도 1)과 관련하여 설명된 바와 같은, 그레이 월드 신뢰 스코어
Figure pat00017
가 결정된다. 특히, 그레이 월드 신뢰도 스코어
Figure pat00018
값이 1에 가까워서 GW 가설이 참이 되면, 블록 302에서 계산되는 AWB 결과는 정확하며 해당 장면에 대한 조명의 정확한 색도를 나타낼 가능성도 높게 된다. 그레이 월드 가설이 실패하면, 블록 302에서 찾아낸 후보 조명 색도 추정치
Figure pat00019
는 식 (1)의 모델을 만족하는 다수의 동일한 가능한 결과 중 하나만을 나타낼 것이며, 이는 추가 분석으로부터 제외되어야 한다.
블록 306에서, 조명 변화 스코어
Figure pat00020
가 결정된다. 조명 변화 스코어 는 장면이 변경되는 것과 동시에 조명 변화가 일어날 확률을 나타낸다. 일 실시예에서, 이 확률은 컬러 셰이딩 보정 알고리즘을 사용해서 도출될 수 있다. 컬러 쉐이딩은 조명 스펙트럼의 함수로서 변경되기 때문에, 하나의 광원으로부터 다른 광원으로 조명이 변경되면, 이미지 영역에 걸친 색 응답의 변동량(variance)의 변화를 통해 즉시 관찰될 것이다. 조명 변화 스코어
Figure pat00022
는,
Figure pat00023
로서 표시되는 이전 광원(예컨대, 6500K)과
Figure pat00024
로서 표시되는 현재 광원(예컨대, 4500K)의 색 온도들의 정규화된 차이에 대해서 설정될 수 있다.
Figure pat00025
(4)
여기서
Figure pat00026
는 2개의 광원 사이의 최대 허용 CCT 차이(예를 들어, 3000K)이다.
블록 308에서, 후보 조명 색도 추정치
Figure pat00027
에 대한 프레임 신뢰도 스코어 α가 결정된다. 실시예에서, 프레임 신뢰도 스코어 α는 그레이 월드 신뢰도 스코어와 조명 변화 스코어의 합으로, 즉
Figure pat00028
이다. 프레임 신뢰도 스코어 α는 현재의 조명 색도가 장면 조명과 얼마나 정확하게 일치하는지를 나타내며, 범위 [0,1] 내에 있을 수 있다. 값이 1에 가깝다는 것은, 현재 추정치
Figure pat00029
가 현재 장면 조명과 일치한다는 것을 암시하고, 반대(프레임 신뢰도 스코어 α가 거의 제로 부근이라는 것은, 후보 추정치와 장면 프라이어가 일치하지 않는다는 것을 암시함)도 성립된다. 조명 변화 스코어
Figure pat00030
는
Figure pat00031
항이 없어질 때 조명 상태가 변화되는 경우 장면 색도를 이전에 추정된 조명으로 고정하는 것을 방지하기 위해 도입된다.
블록(310)에서, 프레임 N에 대한 장면 프라이어 색도
Figure pat00032
는 이전 프레임 N-1로부터의 장면 프라이어 색도와 후보 조명 색도 추정값
Figure pat00033
사이의 가중 평균으로서 계산된다. 특히, 프레임 N에 대한 장면 프라이어 색도
Figure pat00034
는 다음과 같이 계산된다.
Figure pat00035
(5)
여기서
Figure pat00036
은 이전 프레임 N-1로부터의 장면 프라이어 색도이고,
Figure pat00037
은 블록 302에서 단일-프레임 기반 AWB 알고리즘을 통해 계산된 백색 점 추정치이다.
블록 312에서, 프레임 N에 대한 최종 조명 색도는 다음과 같이 프레임 N에 대한 장면 프라이어 색도에 기초하여 계산될 수 있다.
Figure pat00038
실시예에서, 장면 프라이어 항
Figure pat00039
은 프레임 신뢰도 스코어 α에 대해서 현재 프레임 백색 점 추정치
Figure pat00040
에 페널티를 부여하는 데 사용된다. 스코어가 낮고
Figure pat00041
가 현재 장면 조명과 잘 일치되지 않으면, 최종 백색 점은 그 조명 색도가 참(true)이라는 믿음을 반영하는 시간적으로 불변인 프라이어 항
Figure pat00042
에 맞도록 취해진다.
도 4a는 프레임 번호(402)에 대해 나타낸 테스트 실내 시퀀스에서의 조명 색도 추정치의 각도 에러(404)를, 단일-프레임 기반 AWB 알고리즘(408)의 경우와 시간적으로 안정된 장면 불변 색 항상성 방식(410)의 경우에 대해서 나타내고 있는 그래프(400A)이다. 그래프(400A) 상에는 신뢰도 스코어(406)에 대한 프레임 번호(402)를 나타내고 있는 프레임 신뢰도 스코어 α(412)도 함께 표시되어 있다. 프레임 신뢰도 스코어 α는 전적으로
Figure pat00043
의 영향을 받으며, 여기서
Figure pat00044
는 0으로 설정된다. 그래프(400A)에서, 처음 40개 프레임은 거의 동일한 색 분포 및 높은 신뢰도 스코어를 가진 장면을 포함하고, 나머지 프레임은 매우 낮은 신뢰도 스코어를 가진 단일 색의 물체를 가리킨다.
그래프(400A)는, 410에서의 장면 불변 색 항상성 방식이, GW 가설이 유효하고 단일-프레임 기반의 AWB 결과를 믿을 수 있을 때에는 정확한 장면 색도를 학습하는 반면, 이전 프레임으로부터 학습된 더 신뢰가능하고 강력한 프라이어에게 유리하므로, 불분명한 추정치에 대해서는 패널티를 부여함으로써, 해당 비디오 시퀀스에 대해 상당히 낮은 각도 에러를 얻는 것을 보어주고 있다.
도 4b는 실외 장면을 나타내는 제 2 비디오 시퀀스에서의 각도 에러를 나타내는 그래프(400B)이다. 비디오 시퀀스는, 프레임 컨텐츠가 거리 광경과 푸른 잔디 사이에서 번갈아 나타나는 곳을 사람이 걸어가면서 비디오를 녹화하는 것처럼 보이게 만든 것이다. 예를 들어, 프레임 1~100 및 240~380은 주로 거리 광경일 수 있다. 프레임 101~239 및 381~410은 주로 푸른 잔디의 광경인 장면의 부분들일 수 있다. 비디오 시퀀스가 하나의 색, 즉 녹색 잔디가 많은 장면의 프레임을 포함하면, 이미지 개머트의 크기가 매우 작다는 점, 단채색인 녹색/갈색 잔디 컨텐츠가 존재한다는 점 및 장면에 무채색 물체가 없다는 점으로 인해, 단일-프레임 기반 AWB 알고리즘일 수 있다. 그래프(400B)에서 관찰되는 바와 같이, 본 기술은 거리 광경 프레임(프레임 1~100 및 240~380)으로부터 정확한 장면 색도를 결정했고, 각도 에러(410)에 의해 도시된 바와 같이 이전에 발견된 장면-기반 프라이어 조명과 관련해서 프레임 101~239 및 381~410에서 추정된 화이트 밸런싱 이득의 행렬이 더욱 안정화되었다. 카메라가 푸른 잔디를 향할 때에는 프레임 신뢰도 스코어(412)는 낮고, 단계 408에서의 단일-프레임 기반 AWB 방식에서의 에러는 높다는 점에 주의한다.
도 4c는 제 3 비디오 시퀀스의 각도 에러를 나타내는 그래프(400C)이다. 그래프(400C)는 장면 및 광원 모두에 변화가 있을 때의 장면-불변 AWB 알고리즘의 성능을 나타낸다. 이 장면은 약 6000K의 CCT(correlated color temperature)인 실외 장면으로부터 약 3600K의 CCT인 실내 장면으로의 카메라 이동을 시뮬레이션하는 비디오 시퀀스이다. 두 장면 모두 비교적 높은 GW 신뢰도 스코어를 갖는 것을 사용하지 않고, 실내 장면은 상이한 색 채널 사이의 히스토그램의 변동성이 커서 모호하다고 가정한다. 비교적 높은 GW 신뢰도 스코어를 가진 장면은, 장면 불변 AWB 방식의 경우 사용이 용이한 케이스이며, 그 동작은 단일-프레임 기반의 AWB 알고리즘과 다르지 않아야 한다.
그래프(400C)에서, 방식 408 및 410은 모두 프레임 0에서부터 프레임 60까지 실외 및 실내 조명 색도를 정확하게 식별했다. 프레임 60 주위에서의 각도 에러의 급증은 프레임 40과 80 사이에서 발생한, 실외 장면(기준으로 설정됨)으로부터 실내로의 광원 변화를 반영하고 있다. 장면 불변 AWB 접근법(410)의 수렴이 더 매끄럽다는 것은, 백색 점 추정치를 시간적으로 안정화시키는 장면 프라이어 계산의 반복 특성으로 설명된다. 또한, 조명 변화가 정확하게 식별되고, 그래프(400C)의 조명 변화 스코어
Figure pat00045
(412)는 천이 기간 동안에 장면 조명이 단일-프레임 기반의 후보 추정치를 향하도록 설정되었다는 점에 주목한다.
도 5는 자동 화이트 밸런싱에서 조명 색도의 추정을 가능하게 하는 예시적인 시스템의 블록도이다. 전자 장치(500)는 예를 들어, 랩톱 컴퓨터, 태블릿 컴퓨터, 모바일 전화, 스마트 폰, 또는 웨어러블 장치 등이 될 수 있다. 전자 장치(500)는 이미지 및 비디오와 같은 미디어를 수신하고 렌더링하는 데 사용될 수 있다. 전자 장치(500)는 저장된 명령들을 실행하도록 구성된 중앙 처리 장치(CPU) 및 이 CPU(502)에 의해 실행 가능한 명령가 저장된 메모리 장치(504)를 포함할 수 있다. CPU는 버스(506)에 의해서 메모리 장치(504)에 연결될 수 있다. 나아가, CPU(502)는 단일 코어 프로세서, 멀티 코어 프로세서, 컴퓨팅 클러스터, 또는 임의의 수의 다른 구성일 수 있다. 또한, 전자 장치(500)는 둘 이상의 CPU(502)를 포함할 수 있다. 메모리 장치(504)는 RAM, ROM, 플래시 메모리 또는 임의의 다른 적절한 메모리 시스템을 포함할 수 있다. 예를 들어, 메모리 장치(504)는 동적 랜덤 액세스 메모리(DRAM)를 포함할 수 있다.
전자 장치(500)는 또한 GPU(graphics processing unit)(508)를 포함한다. 도시된 바와 같이, CPU(502)는 버스(506)를 통해 GPU(508)에 연결될 수 있다. GPU(508)는 전자 장치(500) 내에서 임의의 수의 그래픽 동작을 수행하도록 구성될 수 있다. 예를 들어, GPU(508)는, 전자 장치(500)의 사용자에게 렌더링되거나 디스플레이되도록, 그래픽 이미지, 그래픽 프레임, 비디오, 스트리밍 데이터 등을 렌더링 또는 조작하도록 구성될 수 있다. 일부 실시예에서, GPU(508)는 다수의 그래픽 엔진을 포함하며, 각각의 그래픽 엔진은 특정 그래픽 태스크를 수행하거나 혹은 특정 유형의 작업량을 실행하도록 구성된다.
CPU(502)는 전자 장치(500)를 하나 이상의 디스플레이 장치(512)에 접속하도록 구성된 디스플레이 인터페이스(510)에 버스(506)를 통해 링크될 수 있다. 디스플레이 장치(512)는 전자 장치의 내장형 컴포넌트인 디스플레이 스크린을 포함할 수 있다. 실시예에서, 디스플레이 인터페이스(510)는, 네트워크(536)에 걸친 셀룰러 하드웨어(530), Wi-Fi 하드웨어(532) 또는 블루투스 인터페이스(534) 등과 같은 임의의 네트워킹 기술을 통해 디스플레이 장치(512)와 연결된다. 디스플레이 장치(512)는 특히 전자 장치(500)에 외부 접속되어 있는 컴퓨터 모니터, 텔레비전, 또는 프로젝터 등을 포함할 수도 있다.
CPU(502)는 또한, 전자 장치(500)를 하나 이상의 I/O 장치(516)에 접속하도록 구성된 입력/출력(I/O) 장치 인터페이스(514)에 버스(506)를 통해 접속될 수 있다. I/O 장치(516)는 예를 들어, 키보드 및 포인팅 장치를 포함할 수 있으며, 여기서 포인팅 장치는 특히 터치패드 또는 터치스크린 등을 포함할 수 있다. I/O 장치(516)는 전자 장치(500)의 내장형 컴포넌트가 될 수도 있고, 전자 장치(500)에 외부 접속되는 장치가 될 수도 있다. 따라서, 일 실시예에서, I/O 장치 인터페이스(514)는, 네트워크(536)에 걸친 셀룰러 하드웨어(530), Wi-Fi 하드웨어(532) 또는 블루투스 인터페이스(534) 등과 같은 임의의 네트워킹 기술을 통해서 I/O 장치(516)와 연결된다. I/O 장치(516)는 전자 장치(500)에 외부 접속되는 임의의 I/O 장치를 포함할 수도 있다.
자동 화이트 밸런싱 모듈(518)은, 카메라 이미징 장치에 의해 캡쳐된 비디오 프레임과 같은, 프레임의 시퀀스로부터 미지의 광원의 정확한 조명을 추정할 수 있게 하는 데 사용될 수 있다. 예를 들어, 컨텐츠는 유선 또는 무선 연결을 통해 원격 디스플레이 상에서 렌더링될 수 있다. 컨텐츠는 로컬 디스플레이 상에 렌더링될 수도 있다. AWB 모듈은 화이트 밸런서(520)를 포함할 수 있다. 화이트 밸런서(520)는, 카메라 응답 면에서 정확한 조명의 색도 또는 백색 점을 추정할 수 있다. 백색 점은, 초기 백색 점 추정치의 세트를 구하는, 통계 기반(그레이 월드 및 그레이-에지 알고리즘과 같은)이면서 모델 기반(개머트 매핑 알고리즘과 같은)인 특성 독립 서브 알고리즘의 세트를 통해 추정되는 단일-프레임 백색 점일 수 있다.
AWB 모듈은 또한 색 변화 변동량 트래커(522)를 포함할 수 있다. 색 변화 변동량 트래커(522)는 이미지 통계에 기초하여 상이한 컬러 채널 사이의 가변성 v를 결정하기 위한 것이다. 또한, 변동량 트래커는 가변성 v에 기초하여 신뢰도 스코어를 결정할 수 있다. 나아가, AWB 모듈은 장면 프라이어 모니터(524)를 포함할 수 있다. 장면 프라이어 모니터는 그레이 월드 신뢰도 스코어
Figure pat00046
에 기초하여 조명 색도에 대한 장면 프라이어 항을 결정하는 데 사용된다. 마지막으로, AWB 모듈은 장면 불변 조명 색도 제어기(526)를 포함할 수 있다. 장면 불변 조명 색도 제어기(526)는 블록 524로부터 얻어진 프레임으로부터의 장면 조명 색도와 블록 520에서 계산된 후보 조명 색도 추정치 사이의 가중된 평균에 기초하여, 현재 프레임 N에 대한 최종 조명 색도의 계산을 포함할 수 있다.
전자 장치(500)는 또한 저장 장치(528)를 포함할 수 있다. 저장 장치(528)는 하드 드라이브, 광학 드라이브, 플래시 드라이브, 드라이브의 어레이 또는 이들의 임의의 조합과 같은 물리적 메모리이다. 저장 장치(528)는 오디오 파일, 비디오 파일, 오디오/비디오 파일 및 사진 파일 등과 같은 사용자 데이터를 저장할 수 있다. 저장 장치(528)는 또한 장치 드라이버, 소프트웨어 애플리케이션, 운영 체제 등과 같은 프로그래밍 코드를 저장할 수 있다. 저장 장치(528)에 저장된 프로그래밍 코드는 CPU(502), GPU(508), 또는 전자 장치(500)에 포함될 수 있는 임의의 다른 프로세서에 의해 실행될 수 있다.
CPU(502)는 버스(506)를 통해 셀룰러 하드웨어(530)에 링크될 수 있다. 셀룰러 하드웨어(530)는, 예를 들어, 4G 표준(ITU-R(International Telecommunications Union-Radio communication Sector)이 공표한 IMT-Advanced(International Mobile Telecommunications-Advanced) 표준)과 같은, 임의의 셀룰러 기술이 될 수 있다. 이러한 방식에서, 전자 장치(500)는 다른 장치에 테더링되거나 페어링되지 않고 임의의 네트워크(536)에 액세스할 수 있으며, 여기서 셀룰러 하드웨어(530)는 네트워크(536)로의 액세스를 가능하게 하는 것이다.
CPU(502)는 또한 버스(506)를 통해서 Wi-Fi 하드웨어(532)에 연결될 수 있다. Wi-Fi 하드웨어(532)는 Wi-Fi 표준(IEEE(Institute of Electrical and Electronics Engineers) 802.11 표준으로 공표된 표준)에 따른 하드웨어이다. Wi-Fi 하드웨어(532)를 통해서 전자 장치(500)는 전송 제어 프로토콜 및 인터넷 프로토콜(TCP/IP)을 사용하여 인터넷에 접속할 수 있다. 따라서, 전자 장치(500)는 다른 장치를 사용하지 않고 TCP/IP 프로토콜에 따라 데이터를 어드레싱, 라우팅, 송신 및 수신함으로써 인터넷과의 엔드-투-엔드 접속을 가능하게 할 수 있다. 나아가, 블루투스 인터페이스(534)는 버스(506)를 통해 CPU(502)에 연결될 수 있다. 블루투스 인터페이스(534)는 블루투스 네트워크(블루투스 SIG(Bluetooth Special Interest Group)에 의해 공표된 블루투스 표준에 기초함)에 따른 인터페이스이다. 블루투스 인터페이스(534)를 통해서 전자 장치(500)는 개인 영역 네트워크(PAN)를 통해 다른 블루투스 가능 장치와 페어링될 수 있다. 따라서, 네트워크(536)는 PAN일 수 있다. 블루투스 가능 장치의 예로는 랩탑 컴퓨터, 데스크탑 컴퓨터, 울트라 북, 태블릿 컴퓨터, 모바일 장치 또는 서버 등을 들 수 있다.
도 5의 블록도는 전자 장치(500)가 도 5에 도시된 모든 구성 요소를 포함한다는 것을 나타내도록 의도된 것이 아니다. 전자 장치(500)는 더 적은 구성 요소를 포함할 수도 있고 혹은 도 5에 도시되지 않은 더 많은 구성 요소(예를 들어, 센서, 전력 관리 집적 회로, 추가 네트워크 인터페이스 등)를 포함할 수도 있다. 전자 장치(500)는 특정 구현예의 세부 사항에 따라서 도 5에 도시되지 않은 임의의 수의 추가 구성 요소를 포함할 수도 있다. 나아가, CPU(502)의 임의의 기능은 부분적으로 또는 전체적으로 하드웨어 및/또는 프로세서로 구현될 수 있다. 예를 들어, 기능은 ASIC(application specific integrated circuit), 프로세서에 구현된 로직, 특수 그래픽 처리 장치로 구현된 로직 또는 임의의 다른 장치로 구현될 수도 있다.
도 6은 자동 화이트 밸런싱에서 조명 색도를 추정하기 위한 로직을 포함하는 매체(600)를 나타내는 블록도이다. 매체(600)는 컴퓨터 판독 가능 매체일 수 있으며, 이는 프로세서(602)가 컴퓨터 버스(604)를 통해 액세스할 수 있는 코드가 저장된 비일시적인 매체를 포함한다. 예를 들어, 컴퓨터 판독 가능 매체(600)는 휘발성 데이터 저장 장치가 될 수도 있고 또는 비휘발성 데이터 저장 장치가 될 수도 있다. 매체(600)는 또한 예를 들어, ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 또는 하나 이상의 집적 회로에 구현되는 논리 게이트의 배열과 같은 논리 유닛이 될 수 있다.
매체(600)는 본 명세서에 개시된 기술을 수행하도록 구성된 모듈(606~612)을 포함할 수 있다. 예를 들어, 단일-프레임 AWB 모듈(606)은, 단일-프레임으로부터 카메라 응답의 관점에서 정확한 조명의 색도 또는 백색 점을 추정하도록 구성될 수 있다. 백색 점은, 초기 백색 점 추정치의 세트를 구하는, 통계 기반(그레이 월드 및 그레이-에지 알고리즘과 같은)이면서 모델 기반(개머트 매핑 알고리즘과 같은)인 특성 독립 서브 알고리즘의 세트를 통해 추정될 수 있다. 변동성/가중 모듈(608)은 이미지 통계에 기초하여 가변성 v를 결정하도록 구성될 수 있다. 변동성 트래커는 또한 가변성 v에 기초하여 프레임 신뢰도 스코어 및 그레이 월드 신뢰도 스코어
Figure pat00047
를 결정할 수 있다. 장면 프라이어 색도 모듈(610)은 신뢰도 스코어
Figure pat00048
에 기초하여 조명 색도에 대한 장면 프라이어 항을 결정하도록 구성될 수 있다. 조명 색도 모듈(612)은, 그 프레임으로부터의 장면 조명 색도와 모듈(606)에 의해 계산된 후보 조명 색도 추정값 사이의 가중 평균에 기초하여, 현재 프레임(N)에 대한 최종 조명 색도를 계산하도록 구성될 수 있다.
도 6의 블록도는, 매체(600)가 도 6에 도시된 모든 구성 요소를 포함한다는 것을 나타내도록 의도된 것은 아니다. 또한, 매체(600)는 특정 구현예의 세부 사항에 따라서, 도 6에 도시되지 않은 임의의 수의 추가 구성 요소를 포함할 수 있다.
예 1은 방법이다. 이 방법은, 화이트 밸런서를 통해서, 현재 프레임에 대한 후보 조명 색도 추정치를 계산하는 단계와, 장면 프라이어 모니터를 통해서, 이전 프레임으로부터의 장면 프라이어 색도와 후보 조명 색도 추정치의 가중 합으로서, 현재 프레임에 대한 장면 프라이어 색도를 계산하는 단계와, 장면 불변 조명 색도 제어기를 통해서, 현재 프레임에 대한 장면 조명 색도와 후보 조명 색도 추정치의 가중 합으로서, 현재 프레임에 대한 최종 조명 색도를 계산하는 단계를 포함한다.
예 2는 예 1의 방법을 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 이전 프레임으로부터의 장면 프라이어 색도는, 단일-프레임 AWB 신뢰도 스코어와 조명 변화 스코어의 합으로서 결정되는 프레임 신뢰도 스코어를 포함한다.
예 3은 예 1 또는 예 2의 방법을 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 이전 프레임으로부터의 장면 프라이어 색도는, 단일-프레임 AWB 신뢰도 스코어와 조명 변화 스코어의 합으로서 결정되는 프레임 신뢰도 스코어를 포함하며, 여기서 단일-프레임 AWB 신뢰도 스코어는 단일-프레임 기반 AWB 알고리즘 추정치가 정확할 가능성을 나타낸다. 옵션으로, 단일-프레임 AWB 신뢰도 스코어는 RGB 히스토그램 가변성 측정치에 기초한다. 옵션으로, 조명 변화 스코어는, 장면 변화와 동시에 조명 변화가 일어날 가능성이다.
예 4는 예 1 내지 예 3 중 어느 하나의 방법을 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 현재 프레임에 대한 장면 프라이어 색도는, 이미지 형성 모델을 가장 바람직할 것 같은 솔루션으로 제한하는 것이다.
예 5는 예 1 내지 예 4 중 어느 하나의 방법을 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 현재 프레임에 대한 후보 조명 색도 추정은, 단일-프레임 기반 AWB 알고리즘을 통해 결정된다.
예 6은 예 1 내지 예 5 중 어느 하나의 방법을 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 최종 조명 색도는, 화이트 밸런싱 이득의 행렬 A의 대각 성분에 대응한다.
예 7은 예 1 내지 예 6 중 어느 하나의 방법을 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 최종 조명 색도는, 프레임의 시퀀스로부터의 시간 영역에서의 화이트 밸런싱 이득의 추정치이다.
예 8은 예 1 내지 예 7 중 어느 하나의 방법을 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 현재 프레임에 대한 장면 프라이어 색도는, 현재 장면 조명에 대한 시간적으로 불변인 표현이다.
예 9는 장치이다. 이 장치는, 현재 프레임에 대한 후보 조명 색도 추정치를 계산하는 화이트 밸런서와, 이전 프레임으로부터의 장면 프라이어 색도와 후보 조명 색도 추정치의 가중 합으로서 현재 프레임에 대한 장면 프라이어 색도를 계산하는 장면 프라이어 모니터와, 현재 프레임에 대한 장면 조명 색도와 후보 조명 색도 추정치의 가중 합으로서, 현재 프레임에 대한 최종 조명 색도를 계산하는 장면 불변 조명 색도 제어기를 포함한다.
예 10은 예 9의 장치를 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 이전 프레임으로부터의 장면 프라이어 색도는, 단일-프레임 AWB 신뢰도 스코어와 조명 변화 스코어의 가중 합으로서 결정되는 프레임 신뢰도 스코어를 포함한다.
예 11은 예 9 또는 예 10의 장치를 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 이전 프레임으로부터의 가중된 장면 프라이어 색도는, 단일-프레임 AWB 신뢰도 스코어와 조명 변화 스코어의 합으로서 결정되는 프레임 신뢰도 스코어를 포함하며, 단일-프레임 AWB 신뢰도 스코어는 단일-프레임 기반 AWB 알고리즘 추정치가 정확할 가능성을 나타낸다. 옵션으로, 단일-프레임 AWB 신뢰도 스코어는 RGB 히스토그램 가변성 측정치에 기초한다. 옵션으로, 조명 변화 스코어는, 장면 변경과 동시에 조명 변화가 일어날 가능성이다.
예 12는 예 9 내지 예 11 중 어느 하나의 장치를 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 현재 프레임에 대한 장면 프라이어 색도는, 이미지 형성 모델을 가장 바람직할 것 같은 솔루션으로 제한하는 것이다.
예 13은 예 9 내지 예 12 중 어느 하나의 장치를 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 현재 프레임에 대한 후보 조명 색도 추정치는, 단일-프레임 기반 AWB 알고리즘을 통해 결정된다.
예 14는 예 9 내지 예 13 중 어느 하나의 장치를 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 최종 조명 색도는, 화이트 밸런싱 이득의 행렬 A의 대각 성분에 대응한다.
예 15는 예 9 내지 예 14 중 어느 하나의 장치를 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 최종 조명 색도는, 프레임의 시퀀스로부터의 시간 영역에서의 화이트 밸런싱 이득의 추정치이다.
예 16은 예 9 내지 예 15 중 어느 하나의 장치를 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 현재 프레임에 대한 장면 프라이어 색도는, 현재 장면 조명에 대한 시간적으로 불변인 표현이다.
예 17은 시스템이다. 이 시스템은, 이미지 캡쳐 장치와, 명령어를 저장하고, 이미지 캡쳐 장치에 통신 가능하게 연결되는 메모리와, 이미지 캡쳐 장치 및 메모리에 통신 가능하게 연결된 프로세서를 포함하되, 프로세서가 명령어를 실행할 때, 프로세서는, 현재 프레임에 대한 후보 조명 색도 추정치를 계산하고, 이전 프레임으로부터의 장면 프라이어 색도와 후보 조명 색도 추정치의 가중 합으로서 현재 프레임에 대한 장면 프라이어 색도를 계산하며, 현재 프레임에 대한 장면 조명 색도와 후보 조명 색도 추정치의 가중 합으로서, 현재 프레임에 대한 최종 조명 색도를 계산한다.
예 18은 예 17의 시스템을 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 이전 프레임으로부터의 장면 프라이어 색도는, 단일-프레임 AWB 신뢰도 스코어와 조명 변화 스코어의 합으로서 결정되는 프레임 신뢰도 스코어를 포함한다.
예 19는 예 17 또는 예 18의 시스템을 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 이전 프레임으로부터의 장면 프라이어 색도는, 단일-프레임 AWB 신뢰도 스코어 및 조명 변화 스코어의 합으로서 결정되는 프레임 신뢰도 스코어를 포함하며, 여기서 단일-프레임 AWB 신뢰도 스코어는 단일-프레임 기반 AWB 알고리즘 추정치가 정확할 가능성을 나타낸다. 옵션으로서, 단일-프레임 AWB 신뢰도 스코어는 RGB 히스토그램 가변성 측정치에 기초한다. 옵션으로서, 조명 변화 스코어는, 장면 변경과 동시에 조명 변화가 일어날 가능성이다.
예 20은 예 17 내지 예 19 중 어느 하나의 장치를 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 현재 프레임에 대한 장면 프라이어 색도는, 이미지 형성 모델을 가장 바람직할 것 같은 솔루션으로 제한하는 것이다.
예 21은 예 17 내지 예 20 중 어느 하나의 장치를 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 현재 프레임에 대한 후보 조명 색도 추정은, 단일-프레임 기반 AWB 알고리즘을 통해 결정된다.
예 22는 예 17 내지 예 21 중 어느 하나의 장치를 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 최종 조명 색도는, 화이트 밸런싱 이득의 행렬 A의 대각 성분에 대응한다.
예 23은 예 17 내지 예 22 중 어느 하나의 장치를 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 최종 조명 색도는 프레임의 시퀀스로부터의 시간 영역에서의 화이트 밸런싱 이득의 추정치이다.
예 24는 예 17 내지 예 23 중 어느 하나의 장치를 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 현재 프레임에 대한 장면 프라이어 색도는, 현재 장면 조명에 대한 시간적으로 불변인 표현이다.
예 25는 명령어가 저장된 컴퓨터 판독 가능 매체이다. 이 컴퓨터 판독 가능 매체는 명령어를 포함하고, 이 명령어는 프로세서에 지시해서, 화이트 밸런서를 통해서, 현재 프레임에 대한 후보 조명 색도 추정치를 계산하고, 장면 프라이어 모니터를 통해서, 이전 프레임으로부터의 장면 프라이어 색도와 후보 조명 색도 추정치의 가중 합으로서, 현재 프레임에 대한 장면 프라이어 색도를 계산하며, 장면 불변 조명 색도 제어기를 통해서, 현재 프레임에 대한 장면 조명 색도와 후보 조명 색도 추정치의 가중 합으로서, 현재 프레임에 대한 최종 조명 색도를 계산하게 한다.
예 26은 예 25의 컴퓨터 판독 가능 매체를 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 이전 프레임으로부터의 장면 프라이어 색도는, 단일-프레임 AWB 신뢰도 스코어와 조명 변화 스코어의 합으로서 결정되는 프레임 신뢰도 스코어를 포함한다.
예 27은 예 25 또는 예 26의 컴퓨터 판독 가능 매체를 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 이전 프레임으로부터의 장면 프라이어 색도는, 단일-프레임 AWB 신뢰도 스코어와 조명 변화 스코어의 합으로서 결정되는 프레임 신뢰도 스코어를 포함하며, 여기서 단일-프레임 AWB 신뢰도 스코어는 단일-프레임 기반 AWB 알고리즘 추정치가 정확할 가능성을 나타낸다. 옵션으로, 단일-프레임 AWB 신뢰도 스코어는 RGB 히스토그램 가변성 측정치에 기초한다. 옵션으로, 조명 변화 스코어는, 장면 변화와 동시에 조명 변화가 일어날 가능성이다.
예 28은 예 25 내지 예 27 중 어느 하나의 컴퓨터 판독 가능 매체를 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 현재 프레임에 대한 장면 프라이어 색도는, 이미지 형성 모델을 가장 바람직할 것 같은 솔루션으로 제한하는 것이다.
예 29는 예 25 내지 예 28 중 어느 하나의 컴퓨터 판독 가능 매체를 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 현재 프레임에 대한 후보 조명 색도 추정은, 단일-프레임 기반 AWB 알고리즘을 통해 결정된다.
예 30은 예 25 내지 예 29 중 어느 하나의 컴퓨터 판독 가능 매체를 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 최종 조명 색도는, 화이트 밸런싱 이득의 행렬 A의 대각 성분에 대응한다.
예 31은 예 25 내지 예 30 중 어느 하나의 컴퓨터 판독 가능 매체를 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 최종 조명 색도는, 프레임의 시퀀스로부터의 시간 영역에서의 화이트 밸런싱 이득의 추정치이다.
예 32는 예 25 내지 예 31 중 어느 하나의 컴퓨터 판독 가능 매체를 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 현재 프레임에 대한 장면 프라이어 색도는, 현재 장면 조명에 대한 시간적으로 불변인 표현이다.
예 33은 장치이다. 이 장치는 명령어를 포함하고, 이 명령어는 프로세서에 지시해서, 화이트 밸런서로 하여금, 현재 프레임에 대한 후보 조명 색도 추정치를 계산하게 하고, 수단으로 하여금, 이전 프레임으로부터의 장면 프라이어 색도와 후보 조명 색도 추정치의 가중 합으로서 현재 프레임에 대한 장면 프라이어 색도를 계산하게 하며, 장면 불변 조명 색도 제어기로 하여금, 현재 프레임에 대한 장면 조명 색도와 후보 조명 색도 추정치의 가중 합으로서, 현재 프레임에 대한 최종 조명 색도를 계산하게 한다.
예 34는 예 33의 장치를 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 이전 프레임으로부터의 장면 프라이어 색도는, 단일-프레임 AWB 신뢰도 스코어와 조명 변화 스코어의 가중 합으로서 결정되는 프레임 신뢰도 스코어를 포함한다.
예 35는 예 33 또는 예 34의 장치를 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 이전 프레임으로부터의 가중된 장면 프라이어 색도는, 단일-프레임 AWB 신뢰도 스코어와 조명 변화 스코어의 합으로서 결정되는 프레임 신뢰도 스코어를 포함하며, 단일-프레임 AWB 신뢰도 스코어는 단일-프레임 기반 AWB 알고리즘 추정치가 정확할 가능성을 나타낸다. 옵션으로, 단일-프레임 AWB 신뢰도 스코어는 RGB 히스토그램 가변성 측정치에 기초한다. 옵션으로, 조명 변화 스코어는, 장면 변경과 동시에 조명 변화가 일어날 가능성이다.
예 36은 예 33 내지 예 35 중 어느 하나의 장치를 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 현재 프레임에 대한 장면 프라이어 색도를 계산하는 수단은, 이미지 형성 모델을 가장 바람직할 것 같은 솔루션으로 제한하는 것이다.
예 37은 예 33 내지 예 36 중 어느 하나의 장치를 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 현재 프레임에 대한 후보 조명 색도 추정치는, 단일-프레임 기반 AWB 알고리즘을 통해 결정된다.
예 38은 예 33 내지 예 37 중 어느 하나의 장치를 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 최종 조명 색도는, 화이트 밸런싱 이득의 행렬 A의 대각 성분에 대응한다.
예 39는 예 33 내지 예 38 중 어느 하나의 장치를 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 최종 조명 색도는, 프레임의 시퀀스로부터의 시간 영역에서의 화이트 밸런싱 이득의 추정치이다.
예 40은 예 33 내지 예 39 중 어느 하나의 장치를 포함하되, 옵션인 특징을 포함할 수도 있고 배제할 수도 있다. 이 예에서, 현재 프레임에 대한 장면 프라이어 색도를 계산하는 수단은, 현재 장면 조명에 대한 시간적으로 불변인 표현이다.
전술한 예의 특성들은 하나 이상의 실시예 어디에서나 사용될 수 있다는 것을 이해해야 한다. 예를 들어, 전술한 컴퓨팅 장치의 모든 선택적인 특징은 또한 본 명세서에 설명된 방법 또는 컴퓨터 판독 가능 매체 중 어느 하나와 관련하여 구현될 수 있다. 또한, 본 명세서에서 실시예를 설명하는 데 흐름도 및/또는 상태도가 사용될 수 있지만, 본 발명은 이들 도면 또는 본 명세서의 대응하는 설명으로 한정되는 것은 아니다. 예를 들어, 흐름은 각각의 도시된 박스 또는 상태를 통해 또는 본 명세서에 도시되고 설명된 것과 정확히 동일한 순서로 이동할 필요는 없다.
본 발명은 본 명세서에 나열된 특정 세부 사항으로 한정되지 않는다. 실제로, 본 개시를 사용하는 당업자는, 전술한 설명 및 도면으로부터의 많은 다른 변형예가 본 발명의 범위 내에서 이루어질 수 있다는 것을 이해할 것이다. 따라서, 본 발명의 범위를 한정하는 것은, 이하의 청구 범위 및 그에 대한 보정이다.

Claims (50)

  1. 방법으로서,
    화이트 밸런서(white balancer)를 통해서, 현재 프레임에 대한 후보 조명 색도 추정치(candidate illumination chromaticity estimate)를 계산하는 단계와,
    장면 프라이어 모니터(scene prior monitor)를 통해서, 이전 프레임으로부터의 장면 프라이어 색도와 후보 조명 색도 추정치의 가중 합(weighted sum)으로서, 상기 현재 프레임에 대한 장면 프라이어 색도를 계산하는 단계와,
    장면 불변 조명 색도 제어기(scene invariant illumination chromaticity controller)를 통해서, 상기 현재 프레임에 대한 장면 조명 색도와 상기 후보 조명 색도 추정치의 가중 합으로서, 상기 현재 프레임에 대한 최종 조명 색도를 계산하는 단계
    를 포함하는
    방법.
  2. 제 1 항에 있어서,
    상기 이전 프레임으로부터의 상기 장면 프라이어 색도는, 단일-프레임 AWB 신뢰도 스코어와 조명 변화 스코어(illuminant change score)의 합으로서 결정되는 프레임 신뢰도 스코어를 포함하는
    방법.
  3. 제 1 항에 있어서,
    상기 이전 프레임으로부터의 상기 장면 프라이어 색도는, 단일-프레임 AWB 신뢰도 스코어와 조명 변화 스코어의 합으로서 결정되는 프레임 신뢰도 스코어를 포함하며,
    상기 단일-프레임 AWB 신뢰도 스코어는 단일-프레임 기반 AWB 알고리즘 추정치가 정확할 가능성을 나타내는
    방법.
  4. 제 3 항에 있어서,
    상기 단일-프레임 AWB 신뢰도 스코어는 RGB 히스토그램 가변성 측정치에 기초하는
    방법.
  5. 제 3 항에 있어서,
    상기 조명 변화 스코어는, 장면 변화와 동시에 조명 변화가 일어날 가능성인
    방법.
  6. 제 1 항에 있어서,
    상기 현재 프레임에 대한 상기 장면 프라이어 색도는, 이미지 형성 모델을 가장 바람직할 것 같은 솔루션(most likely favorable solution)으로 제한하는 것인
    방법.
  7. 제 1 항에 있어서,
    상기 현재 프레임에 대한 상기 후보 조명 색도 추정치는, 단일-프레임 기반 AWB 알고리즘을 통해 결정되는
    방법.
  8. 제 1 항에 있어서,
    상기 최종 조명 색도는, 화이트 밸런싱 이득의 행렬 A의 대각 성분(diagonal elements)에 대응하는
    방법.
  9. 제 1 항에 있어서,
    상기 최종 조명 색도는, 프레임의 시퀀스로부터의 시간 영역에서의 화이트 밸런싱 이득의 추정치인
    방법.
  10. 제 1 항에 있어서,
    상기 현재 프레임에 대한 상기 장면 프라이어 색도는, 상기 현재 장면 조명에 대한 시간적으로 불변인 표현(temporally invariant representation)인
    방법.
  11. 장치로서,
    현재 프레임에 대한 후보 조명 색도 추정치를 계산하는 화이트 밸런서와,
    이전 프레임으로부터의 장면 프라이어 색도와 후보 조명 색도 추정치의 가중 합으로서 상기 현재 프레임에 대한 장면 프라이어 색도를 계산하는 장면 프라이어 모니터와,
    상기 현재 프레임에 대한 장면 조명 색도와 상기 후보 조명 색도 추정치의 가중 합으로서, 상기 현재 프레임에 대한 최종 조명 색도를 계산하는 장면 불변 조명 색도 제어기
    를 포함하는
    장치.
  12. 제 11 항에 있어서,
    상기 이전 프레임으로부터의 상기 장면 프라이어 색도는, 단일-프레임 AWB 신뢰도 스코어와 조명 변화 스코어의 가중 합으로서 결정되는 프레임 신뢰도 스코어를 포함하는
    장치.
  13. 제 11 항에 있어서,
    상기 이전 프레임으로부터의 상기 가중된 장면 프라이어 색도는, 단일-프레임 AWB 신뢰도 스코어와 조명 변화 스코어의 합으로서 결정되는 프레임 신뢰도 스코어를 포함하며,
    상기 단일-프레임 AWB 신뢰도 스코어는 단일-프레임 기반 AWB 알고리즘 추정치가 정확할 가능성을 나타내는
    장치.
  14. 제 13 항에 있어서,
    상기 단일-프레임 AWB 신뢰도 스코어는 RGB 히스토그램 가변성 측정치에 기초하는
    장치.
  15. 제 13 항에 있어서,
    상기 조명 변화 스코어는, 장면 변경과 동시에 조명 변화가 일어날 가능성인
    장치.
  16. 제 11 항에 있어서,
    상기 현재 프레임에 대한 상기 장면 프라이어 색도는, 이미지 형성 모델을 가장 바람직할 것 같은 솔루션으로 제한하는 것인
    장치.
  17. 제 11 항에 있어서,
    상기 현재 프레임에 대한 상기 후보 조명 색도 추정치는, 단일-프레임 기반 AWB 알고리즘을 통해 결정되는
    시스템.
  18. 제 11 항에 있어서,
    상기 최종 조명 색도는, 화이트 밸런싱 이득의 행렬 A의 대각 성분에 대응하는
    시스템.
  19. 제 11 항에 있어서,
    상기 최종 조명 색도는 프레임의 시퀀스로부터의 시간 영역에서의 화이트 밸런싱 이득의 추정치인
    시스템.
  20. 제 11 항에 있어서,
    상기 현재 프레임에 대한 상기 장면 프라이어 색도는, 상기 현재 장면 조명에 대한 시간적으로 불변인 표현인
    방법.
  21. 시스템으로서,
    이미지 캡쳐 장치와,
    명령어를 저장하고, 상기 이미지 캡쳐 장치에 통신 가능하게 연결되는 메모리와,
    상기 이미지 캡쳐 장치 및 상기 메모리에 통신 가능하게 연결된 프로세서
    를 포함하되,
    상기 프로세서가 상기 명령어를 실행할 때, 상기 프로세서는,
    현재 프레임에 대한 후보 조명 색도 추정치를 계산하고,
    이전 프레임으로부터의 장면 프라이어 색도와 후보 조명 색도 추정치의 가중 합으로서 상기 현재 프레임에 대한 장면 프라이어 색도를 계산하며,
    상기 현재 프레임에 대한 장면 조명 색도와 상기 후보 조명 색도 추정치의 가중 합으로서, 상기 현재 프레임에 대한 최종 조명 색도를 계산하는
    시스템.
  22. 제 21 항에 있어서,
    상기 이전 프레임으로부터의 상기 장면 프라이어 색도는, 단일-프레임 AWB 신뢰도 스코어와 조명 변화 스코어의 합으로서 결정되는 프레임 신뢰도 스코어를 포함하는
    시스템.
  23. 제 21 항에 있어서,
    상기 이전 프레임으로부터의 장면 프라이어 색도는, 단일-프레임 AWB 신뢰도 스코어와 조명 변화 스코어의 합으로서 결정되는 프레임 신뢰도 스코어를 포함하며,
    상기 단일-프레임 AWB 신뢰도 스코어는 단일-프레임 기반 AWB 알고리즘 추정치가 정확할 가능성을 나타내는
    시스템.
  24. 제 23 항에 있어서,
    상기 단일-프레임 AWB 신뢰도 스코어는 RGB 히스토그램 가변성 측정치에 기초하는
    시스템.
  25. 제 23 항에 있어서,
    상기 조명 변화 스코어는, 장면 변경과 동시에 조명 변화가 일어날 가능성인
    시스템.
  26. 제 21 항에 있어서,
    상기 현재 프레임에 대한 상기 장면 프라이어 색도는, 이미지 형성 모델을 가장 바람직할 것 같은 솔루션으로 제한하는 것인
    시스템.
  27. 제 21 항에 있어서,
    상기 현재 프레임에 대한 상기 후보 조명 색도 추정치는, 단일-프레임 기반 AWB 알고리즘을 통해 결정되는
    시스템.
  28. 제 21 항에 있어서,
    상기 최종 조명 색도는, 화이트 밸런싱 이득의 행렬 A의 대각 성분에 대응하는
    시스템.
  29. 제 21 항에 있어서,
    상기 최종 조명 색도는 프레임의 시퀀스로부터의 시간 영역에서의 화이트 밸런싱 이득의 추정치인
    시스템.
  30. 제 21 항에 있어서,
    상기 현재 프레임에 대한 상기 장면 프라이어 색도는, 상기 현재 장면 조명에 대한 시간적으로 불변인 표현인
    방법.
  31. 명령어가 저장된 컴퓨터 판독 가능 매체로서,
    상기 명령어는 컴퓨팅 장치에서 실행될 때 상기 컴퓨팅 장치로 하여금,
    화이트 밸런서를 통해서, 현재 프레임에 대한 후보 조명 색도 추정치를 계산하게 하고,
    장면 프라이어 모니터를 통해서, 이전 프레임으로부터의 장면 프라이어 색도와 후보 조명 색도 추정치의 가중 합으로서, 상기 현재 프레임에 대한 장면 프라이어 색도를 계산하게 하며,
    장면 불변 조명 색도 제어기를 통해서, 상기 현재 프레임에 대한 장면 조명 색도와 상기 후보 조명 색도 추정치의 가중 합으로서, 상기 현재 프레임에 대한 최종 조명 색도를 계산하게 하는
    컴퓨터 판독 가능 매체.
  32. 제 31 항에 있어서,
    상기 이전 프레임으로부터의 상기 장면 프라이어 색도는, 단일-프레임 AWB 신뢰도 스코어와 조명 변화 스코어의 합으로서 결정되는 프레임 신뢰도 스코어를 포함하는
    컴퓨터 판독 가능 매체.
  33. 제 31 항에 있어서,
    상기 이전 프레임으로부터의 상기 장면 프라이어 색도는, 단일-프레임 AWB 신뢰도 스코어와 조명 변화 스코어의 합으로서 결정되는 프레임 신뢰도 스코어를 포함하며,
    상기 단일-프레임 AWB 신뢰도 스코어는 단일-프레임 기반 AWB 알고리즘 추정치가 정확할 가능성을 나타내는
    컴퓨터 판독 가능 매체.
  34. 제 33 항에 있어서,
    상기 단일-프레임 AWB 신뢰도 스코어는 RGB 히스토그램 가변성 측정치에 기초하는
    방법.
  35. 제 33 항에 있어서,
    상기 조명 변화 스코어는, 장면 변화와 동시에 조명 변화가 일어날 가능성인
    방법.
  36. 제 31 항에 있어서,
    상기 현재 프레임에 대한 상기 장면 프라이어 색도는, 이미지 형성 모델을 가장 바람직할 것 같은 솔루션으로 제한하는 것인
    방법.
  37. 제 31 항에 있어서,
    상기 현재 프레임에 대한 상기 후보 조명 색도 추정치는, 단일-프레임 기반 AWB 알고리즘을 통해 결정되는
    방법.
  38. 제 31 항에 있어서,
    상기 최종 조명 색도는, 화이트 밸런싱 이득의 행렬 A의 대각 성분에 대응하는
    방법.
  39. 제 31 항에 있어서,
    상기 최종 조명 색도는, 프레임의 시퀀스로부터의 시간 영역에서의 화이트 밸런싱 이득의 추정치인
    방법.
  40. 제 31 항에 있어서,
    상기 현재 프레임에 대한 상기 장면 프라이어 색도는, 상기 현재 장면 조명에 대한 시간적으로 불변인 표현인
    방법.
  41. 장치로서,
    현재 프레임에 대한 후보 조명 색도 추정치를 계산하는 화이트 밸런서와,
    이전 프레임으로부터의 장면 프라이어 색도와 후보 조명 색도 추정치의 가중 합으로서 상기 현재 프레임에 대한 장면 프라이어 색도를 계산하는 수단과,
    상기 현재 프레임에 대한 장면 조명 색도와 상기 후보 조명 색도 추정치의 가중 합으로서, 상기 현재 프레임에 대한 최종 조명 색도를 계산하는 장면 불변 조명 색도 제어기
    를 포함하는
    장치.
  42. 제 41 항에 있어서,
    상기 이전 프레임으로부터의 상기 장면 프라이어 색도는, 단일-프레임 AWB 신뢰도 스코어와 조명 변화 스코어의 가중 합으로서 결정되는 프레임 신뢰도 스코어를 포함하는
    장치.
  43. 제 41 항에 있어서,
    상기 이전 프레임으로부터의 상기 가중된 장면 프라이어 색도는, 단일-프레임 AWB 신뢰도 스코어와 조명 변화 스코어의 합으로서 결정되는 프레임 신뢰도 스코어를 포함하며,
    상기 단일-프레임 AWB 신뢰도 스코어는 단일-프레임 기반 AWB 알고리즘 추정치가 정확할 가능성을 나타내는
    장치.
  44. 제 43 항에 있어서,
    상기 단일-프레임 AWB 신뢰도 스코어는 RGB 히스토그램 가변성 측정치에 기초하는
    장치.
  45. 제 43 항에 있어서,
    상기 조명 변화 스코어는, 장면 변경과 동시에 조명 변화가 일어날 가능성인
    장치.
  46. 제 41 항에 있어서,
    상기 현재 프레임에 대한 상기 장면 프라이어 색도를 계산하는 수단은, 이미지 형성 모델을 가장 바람직할 것 같은 솔루션으로 제한하는 것인
    장치.
  47. 제 41 항에 있어서,
    상기 현재 프레임에 대한 상기 후보 조명 색도 추정치는, 단일-프레임 기반 AWB 알고리즘을 통해 결정되는
    시스템.
  48. 제 41 항에 있어서,
    상기 최종 조명 색도는, 화이트 밸런싱 이득의 행렬 A의 대각 성분에 대응하는
    시스템.
  49. 제 41 항에 있어서,
    상기 최종 조명 색도는, 프레임의 시퀀스로부터의 시간 영역에서의 화이트 밸런싱 이득의 추정치인
    방법.
  50. 제 31 항에 있어서,
    상기 현재 프레임에 대한 상기 장면 프라이어 색도를 계산하는 수단은, 상기 현재 장면 조명에 대한 시간적으로 불변인 표현인
    방법.
KR1020180148618A 2017-12-28 2018-11-27 자동 화이트 밸런싱에서 조명 색도의 추정 KR20190080732A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/857,455 2017-12-28
US15/857,455 US10630954B2 (en) 2017-12-28 2017-12-28 Estimation of illumination chromaticity in automatic white balancing

Publications (1)

Publication Number Publication Date
KR20190080732A true KR20190080732A (ko) 2019-07-08

Family

ID=65231237

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180148618A KR20190080732A (ko) 2017-12-28 2018-11-27 자동 화이트 밸런싱에서 조명 색도의 추정

Country Status (4)

Country Link
US (1) US10630954B2 (ko)
KR (1) KR20190080732A (ko)
CN (1) CN109982059A (ko)
DE (1) DE102018130083A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3972243B1 (en) * 2020-09-18 2024-05-08 Beijing Xiaomi Mobile Software Co., Ltd. A computer implemented method for temporally stabilizing white point information in an auto white balance process, a data processing apparatus, a computer program product, and a computer-readable storage medium
CN115633260B (zh) * 2021-08-12 2024-06-07 荣耀终端有限公司 一种色度信息的确定方法及相关电子设备
CN114554170B (zh) * 2022-03-08 2024-06-11 三星半导体(中国)研究开发有限公司 多传感器白平衡同步的方法和使用该方法的电子装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7200264B2 (en) * 2002-04-10 2007-04-03 Hewlett-Packard Development Company, L.P. White point estimation using color by convolution
TW200632771A (en) * 2005-03-10 2006-09-16 Avisonic Technology Corp Automatic white balance method applicable for color digital image
JP5959194B2 (ja) * 2011-12-27 2016-08-02 オリンパス株式会社 撮像装置
US10757384B2 (en) * 2017-09-28 2020-08-25 Gopro, Inc. Desaturation control

Also Published As

Publication number Publication date
CN109982059A (zh) 2019-07-05
US10630954B2 (en) 2020-04-21
US20190045161A1 (en) 2019-02-07
DE102018130083A1 (de) 2019-07-04

Similar Documents

Publication Publication Date Title
US10791310B2 (en) Method and system of deep learning-based automatic white balancing
US9826210B2 (en) Identifying gray regions for auto white balancing
KR102346522B1 (ko) 영상 처리 장치 및 그것의 자동 화이트 밸런싱 방법
US8587606B2 (en) Apparatus and method for processing image, and apparatus for displaying image
KR20190080732A (ko) 자동 화이트 밸런싱에서 조명 색도의 추정
WO2020172888A1 (zh) 一种图像处理方法和装置
US8400523B2 (en) White balance method and white balance device
US9036086B2 (en) Display device illumination
WO2013189925A2 (en) Digital image analysis
US20140292616A1 (en) Computer monitor equalization using handheld device
Morimoto et al. Human color constancy based on the geometry of color distributions
Fredembach et al. The bright-chromagenic algorithm for illuminant estimation
CN110930932B (zh) 显示屏校正方法及系统
CN108737851B (zh) 用于针对视频内容项的调色板提取的方法、系统和介质
JP2012134625A (ja) 光源推定装置及び光源推定方法
CN116668656B (zh) 图像处理方法及电子设备
WO2023151210A1 (zh) 图像处理方法、电子设备及计算机可读存储介质
JP2014007449A (ja) 照明光色推定装置、照明光色推定方法及び照明光色推定プログラム
Garud et al. A fast color constancy scheme for automobile video cameras
CN107767350A (zh) 视频图像还原方法及装置
CN113191376A (zh) 图像处理方法、装置、电子设备和可读存储介质
CN111034185B (zh) 影像处理装置、影像处理方法、程序和远程通信系统
WO2021069282A1 (en) Perceptually improved color display in image sequences on physical displays
US7728884B2 (en) Method for white balance adjustment and digital image capturing device using the same
WO2013114802A1 (ja) 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal