KR101756548B1 - Awb(자동 화이트 밸런스) 보상을 위한 방법 및 그 사용 장치 - Google Patents

Awb(자동 화이트 밸런스) 보상을 위한 방법 및 그 사용 장치 Download PDF

Info

Publication number
KR101756548B1
KR101756548B1 KR1020150164640A KR20150164640A KR101756548B1 KR 101756548 B1 KR101756548 B1 KR 101756548B1 KR 1020150164640 A KR1020150164640 A KR 1020150164640A KR 20150164640 A KR20150164640 A KR 20150164640A KR 101756548 B1 KR101756548 B1 KR 101756548B1
Authority
KR
South Korea
Prior art keywords
block
frame
type
luminance
pixel
Prior art date
Application number
KR1020150164640A
Other languages
English (en)
Other versions
KR20160111837A (ko
Inventor
수 왕
난 키
Original Assignee
비아 얼라이언스 세미컨덕터 씨오., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 비아 얼라이언스 세미컨덕터 씨오., 엘티디. filed Critical 비아 얼라이언스 세미컨덕터 씨오., 엘티디.
Publication of KR20160111837A publication Critical patent/KR20160111837A/ko
Application granted granted Critical
Publication of KR101756548B1 publication Critical patent/KR101756548B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • H04N9/735—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

프로세싱 유닛에 의해 수행되는, AWB(자동 화이트 밸런스) 보상을 위한 방법으로서, 그 방법은 적어도: 프레임 0을 획득하는 단계; 프레임 0을 블록으로 분할하는 단계; 프레임 0의 각각의 블록의 블록 통계 정보를 획득하는 단계; 프레임 0의 각각의 블록을, 각각의 블록의 블록 통계 정보에 따라 하나의 타입으로서 라벨링하는 단계; 프레임 0의 제1 타입의 블록 - 프레임 0의 제1 타입의 블록은 제1 타입으로서 라벨링되는 블록임 - 의 입력을 갖는 프레임 0에 대해 제1 AWB 보상을 활용하는 단계; 프레임 0의 제2 타입의 블록 - 프레임 0의 제2 타입의 블록은 제2 타입으로서 라벨링되는 블록임 - 의 위치와 동일한 위치에서 프레임 1의 블록의 입력을 갖는 프레임 1에 대해 제2 AWB 보상을 활용하는 단계; 및 보상된 프레임 0을 보상된 프레임 1과 융합하는 단계를 포함한다.

Description

AWB(자동 화이트 밸런스) 보상을 위한 방법 및 그 사용 장치{METHODS FOR AWB(AUTOMATIC WHITE BALANCE) COMPENSATION AND APPARATUSES USING THE SAME}
관련 출원에 대한 교차 참조
본 출원은 2015년 3월 17일자로 출원된 중국 특허 출원 제201510117455.6호의 이익을 주장하는데, 상기 특허 출원의 전체는 참조에 의해 본원에 통합된다.
기술 분야
본 발명의 이미지 프로세싱에 관한 것으로, 특히, 본 발명은 AWB(Automatic White Balance; 자동 화이트 밸런스)를 위한 방법 및 그 방법을 사용하는 장치에 관한 것이다.
HDR(하이 다이나믹 레인지) 이미지는, 태양 직사광으로부터 희미한 성운에 이르기까지, 실세계 장면에서 캡쳐되는 큰 범위의 휘도 레벨을 나타낼 수 있다. 그것은, 동일한 피사물(subject matter)의 상이한 노출을 캡쳐하고 그 다음 결합하는 것에 의해 종종 달성된다. 비HDR 카메라는 제한된 노출 범위를 가지고 사진을 촬영하며, 결과적으로 포화(saturate) 또는 어두운(dark) 영역에서의 디테일의 손실로 나타나게 된다. HDRM(High Dynamic Range Merging; 하이 다이나믹 레인지 머징)은, 상이한 노출 레벨에서 다수의 사진을 캡쳐하고 그들을 결합하여 더 넓은 색조의(tonal) 범위를 나타내는 사진을 생성하는 것에 의해 디테일의 이 손실을 보상한다. LDR(Low Dynamic Range; 로우 다이나믹 레인지) 이미지 각각은 상이한 색 온도를 갖는 부분을 포함할 수도 있으며, LDR 이미지를 바로 융합하는 경우 상이한 색 온도를 갖는 부분은 색 편향된(color-biased) HDR 이미지를 생성할 것이다. AWB(자동 화이트 밸런스)는 주변 조명 조건에서의 차이로부터 유래하는 색 편향을 수정하도록 색 채널의 이득을 조정하여, 실제 색상을 반영하는 이미지가 획득되는 것을 가능하게 한다. 종래에는, 이미지 프레임 전체에 대해 단일화된(unified) AWB가 적용된다. 그러나, 이미지 프레임은 상이한 색 온도를 갖는 부분을 보통 포함하며, 따라서 상이한 색 온도를 갖는 부분에 대한 단일화된 AWB 적용은, 재현시 명확하지 않게 보이게 될 색 편향을 보상할 수 없다. 따라서, 생성된 HDR 이미지의 AWB 정확도를 향상시키기 위한, AWB 보상을 위한 방법 및 그 방법을 사용하는 장치가 소개된다.
프로세싱 유닛에 의해 수행되는, AWB(자동 화이트 밸런스) 보상을 위한 방법의 실시형태가 소개된다. 그 방법은 적어도: 프레임 0을 획득하는 것; 프레임 0을 복수의 블록으로 분할하는 것; 프레임 0의 각각의 블록의 블록 통계 정보를 획득하는 것; 프레임 0의 각각의 블록을, 각각의 블록의 블록 통계 정보에 따라 하나의 타입으로 라벨링하는 것; 프레임 0의 제1 타입의 블록 - 프레임 0의 제1 타입의 블록은 제1 타입으로 라벨링되는 블록임 - 의 입력을 갖는 프레임 0에 대해 제1 AWB 보상을 활용하는(employing) 것; 프레임 0의 제2 타입의 블록 - 프레임 0의 제2 타입의 블록은 제2 타입으로 라벨링되는 블록임 - 의 위치와 동일한 위치에서 프레임 1의 블록의 입력을 갖는 프레임 1에 대해 제2 AWB 보상을 활용하는 것; 및 보상된 프레임 0을 보상된 프레임 1과 융합하는 것을 포함한다.
AWB 보상을 위한 장치의 한 실시형태가 소개된다. 그 장치는 적어도: 카메라 모듈에 커플링되는 카메라 모듈 컨트롤러; 및 프로세싱 유닛을 포함한다. 프로세싱 유닛은, 카메라 모듈 컨트롤러를 통해 프레임 0을 획득하고; 프레임 0을 복수의 블록으로 분할하고; 프레임 0의 각각의 블록의 블록 통계 정보를 획득하고; 프레임 0의 각각의 블록을, 각각의 블록의 블록 통계 정보에 따라 하나의 타입으로 라벨링하고; 프레임 0의 제1 타입의 블록 - 프레임 0의 제1 타입의 블록은 제1 타입으로 라벨링되는 블록임 - 의 입력을 갖는 프레임 0에 대해 제1 AWB 보상을 활용하고; 프레임 0의 제2 타입의 블록 - 프레임 0의 제2 타입의 블록은 제2 타입으로 라벨링되는 블록임 - 의 위치와 동일한 위치에서 프레임 1의 블록의 입력을 갖는 프레임 1에 대해 제2 AWB 보상을 활용하고; 그리고 보상된 프레임 0을 보상된 프레임 1과 융합한다.
하기의 실시형태에서 첨부의 도면을 참조로 상세한 설명이 주어진다.
첨부의 도면에 대해 이루어진 참조를 통한 후속하는 상세한 설명 및 예를 정독하는 것에 의해 본 발명은 완전히 이해될 수 있는데, 도면에서:
도 1은, 본 발명의 한 실시형태에 따른, 컴퓨터 장치의 시스템 아키텍쳐를 예시하는 개략도이다;
도 2는, 본 발명의 한 실시형태에 따른, 프로세싱 유닛에 의해 수행되는, AWB를 위한 방법을 예시하는 흐름도이다;
도 3은, 본 발명의 한 실시형태에 따른, 프로세싱 유닛에 의해 수행되는, HDR 이미지의 융합에서의 AWB 보상을 위한 방법을 예시하는 흐름도이다;
도 4는 본 발명의 한 실시형태에 따른 베이어(Bayer) 패턴의 개략도이다;
도 5는, 본 발명의 한 실시형태에 따른, 블록에 대한 휘도 히스토그램의 개략도이다;
도 6은, 본 발명의 한 실시형태에 따른, 프레임 0에 대한 휘도 히스토그램의 개략도이다;
도 7은, 본 발명의 한 실시형태에 따른, 4개의 주위 블록(surrounding block)을 예시하는 개략도이다.
하기의 설명은 본 발명을 수행하는 최상으로 고려되는 모드로 이루어진다. 이 설명은 본 발명의 일반적인 원칙을 설명하는 목적을 위해 이루어진 것으로 제한적인 의미로 간주되어선 안된다. 본 발명의 범위는 첨부의 특허청구범위를 참조하는 것에 의해 가장 잘 결정된다.
본 발명은 특정한 실시형태와 관련하여 그리고 소정의 도면을 참조하여 설명될 것이지만, 본 발명은 이들에 한정되는 것은 아니며 오로지 특허청구범위에 의해서만 한정된다. 용어 "포함한다(comprise)", "포함하는(comprising)", "포함한다(include)" 및/또는 "포함하는(including)"은, 본원에서 사용될 때, 언급된 특징, 정수, 단계, 동작, 엘리먼트, 및/또는 컴포넌트의 존재를 명시하지만, 하나 이상의 다른 특징, 정수, 단계, 동작, 엘리먼트, 컴포넌트, 및/또는 이들의 그룹의 존재 또는 추가를 배제하는 것은 아니라는 것이 추가로 이해될 것이다.
도 1은, 본 발명의 한 실시형태에 따른, 컴퓨터 장치의 시스템 아키텍쳐를 예시하는 개략도이다. 시스템 아키텍쳐는, 데스크탑 컴퓨터, 노트북 컴퓨터, 태블릿 PC(personal computer; 퍼스널 컴퓨터), 모바일 폰, 디지털 카메라, 디지털 레코더, 또는 적어도 프로세싱 유닛(110)을 포함하는 다른 디바이스에서 구현될 수도 있다. 프로세싱 유닛(110)은 다양한 방식으로, 예컨대 전용 하드웨어와 함께, 또는 본원에서 언급되는 기능을 수행하기 위한 마이크로코드 또는 소프트웨어 명령을 사용하여 프로그래밍되는 범용 하드웨어(예를 들면, 싱글 프로세서, 병렬 컴퓨테이션이 가능한 다수의 프로세서 또는 그래픽 프로세싱 유닛, 또는 기타)와 함께 구현될 수 있다. 프로세싱 유닛(110)은, 카메라 모듈 컨트롤러(170)를 통해, 다수의 LDR(Low Dynamic Range; 로우 다이나믹 레인지) 프레임을 캡쳐하여 LDR 프레임을 프레임 버퍼(130)에 저장하도록 카메라 모듈(190)을 제어할 수도 있다. 카메라 모듈(190)은, 레드, 그린 및 블루 컬러의 형태로 이미지를 검출하기 위해, CMOS(complementary metal-oxide-semiconductor; 상보형 금속 산화물 반도체) 또는 CCD(charge-coupled device; 전하 결합 소자)와 같은 이미지 센서, 및 이미지 센서로부터 감지된 데이터를 수집하기 위한 판독 전자 회로(readout electronic circuit)를 포함할 수도 있다. 프로세싱 유닛(110)은 프레임 버퍼(130)로부터 적어도 3개의 LDR 프레임을 획득할 수도 있다. 한 실시형태에서, 3개의 LDR 프레임은 12비트 프레임이다. 하나의 LDR 프레임은, 최적화된 노출 설정 하에서 AE(Automatic Exposure; 자동 노출) 알고리즘에 의해 캡쳐되는데, 이하 프레임 0으로 칭해진다. 프레임 0을 캡쳐하기 위한 노출 설정은 셔터 속도, 아날로그 이득 및 디지털 이득을 포함하며 프레임 버퍼(130) 또는 휘발성 메모리(140)에 저장된다는 것을 유의해야 한다. DRAM(Dynamic Random Access Memory; 동적 랜덤 액세스 메모리)과 같은 휘발성 메모리(140)는 실행에 필요한 데이터, 예컨대 런타임 변수, 데이터 테이블 등등을 저장하기 위한 것이다. 다른 LDR 프레임은, 이하 프레임 1로 칭해지는 저노출 프레임이다. 또 다른 LDR 프레임은, 이하 프레임 2로 칭해지는 고노출 프레임이다. 프로세싱 유닛(110)은 HDRM(하이 다이나믹 레인지 머징) 알고리즘을 사용하는 것에 의해 프레임 0 내지 프레임 2를 융합하여 HDR(하이 다이나믹 레인지) 프레임을 생성하고 생성된 HDR 프레임을 프레임 버퍼(150)에 저장한다. 한 실시형태에서, 출력 HDR 프레임은 18비트 프레임이다.
도 2는, 본 발명의 한 실시형태에 따른, 프로세싱 유닛에 의해 수행되는, AWB를 위한 방법을 예시하는 흐름도이다. 프로세스는 프레임 0의 획득으로 시작한다(단계 S210). 그 후, 프레임 0은 다수의 블록으로 분할되고(단계 S220), 프레임 0의 각각의 블록의 블록 통계 정보가 획득되고(단계 S230), 프레임 0의 각각의 블록은, 각각의 블록의 블록 통계 정보에 따라 하나의 타입으로 라벨링된다(단계 S240). 프로세싱 유닛(110)은 프레임 0의 제1 타입의 블록의 입력을 갖는 프레임 0에 대해 제1 AWB 보상을 활용하는데, 프레임 0의 제1 타입의 블록은 제1 타입으로 라벨링되는 블록이다(단계 S250). 한 실시형태에서, 블록 타입은 정상 노출, 저노출 및 고노출을 포함한다. 프레임 0이 LDR의 정상 노출 프레임이기 때문에, 제1 AWB 보상은 정상 노출 타입으로 라벨링되는 블록의 입력을 갖는 프레임 0에 대해 활용된다. AWB 보상은 통상적으로 G 채널을 유지하며 R 채널 및 B 채널 픽셀의 이득을 계산 결과에 따라 조정한다. 한 실시형태에서, 프로세싱 유닛(110)은, 제1 타입(예컨대 정상 노출)으로 라벨링되는, 프레임 0의 모든 블록의 통계치를 계산하고, 프레임 0의 모든 픽셀의 R 채널 및 B 채널 이득을 계산 결과에 따라 조정한다. AWB 보상의 상세한 계산은, 어떤 알고리즘이 활용되는지에 의존한다. 통상의 AWB 알고리즘은 회색 세상 가정(gray world assumption), 완전 반사체 가정(perfect reflector assumption), 색 온도 추정 등등을 포함한다. 회색 세상 가정을 예로서 취하면, 프로세싱 유닛(110)은, 제1 타입(예를 들면, 정상 노출)으로 라벨링되는 블록의 R 채널, G 채널 및 B 채널의 픽셀 값을 누산하여(accumulate) 프레임 0의 R 채널 및 B 채널을 조정하기 위한 이득을 획득하고, 결과적으로, 조정 이후에, R 채널, G 채널 및 B 채널의 픽셀 값 누산이 동일하게 되는 것을 가능하게 한다.
또한, 프레임 1이 획득된다(단계 S260). 한 실시형태에서, 프레임 1은 LDR 저노출 프레임이다. 프레임 0의 제2 타입의 위치와 동일한 위치에서 프레임 1의 블록의 입력을 갖는 프레임 1에 대해 제2 AWB 보상이 활용되는데, 프레임 0의 제2 타입의 블록은 제2 타입으로 라벨링되는 블록이다(단계 S270). 한 실시형태에서, 블록은, 예를 들면, 저노출 타입으로 라벨링된다. 보상된 프레임 0은 보상된 프레임 1과 융합된다(단계 S280). 본 발명에 의해 도입되는 AWB 보상이 HDR 이미지 생성에서 적용되면, 융합된 HDR 프레임의 상이한 부분은 상이한 AWB 보상, 예컨대 상기 언급된 제1 및 제2 AWB 보상을 받게 된다, 즉 각각의 부분은 그 휘도 값에 따라 소정 정도의 AWB에 의해 보상된다. 상이한 휘도 값을 갖는 부분이 상이한 색 온도를 일반적으로 갖기 때문에, 상이한 색 온도 부분에 대해 상이한 AWB 보상을 적용하는 것에 의해, 재현시 명확하지 않게 보이게 될 색 편향을 더 정확하게 보상할 수도 있다.
도 3은, 본 발명의 한 실시형태에 따른, 프로세싱 유닛에 의해 수행되는, HDR 이미지의 융합에서의 AWB 보상을 위한 방법을 예시하는 흐름도이다. 프로세스는 프레임 버퍼(130)로부터 프레임 0의 획득을 시작한다(단계 S311). 다음에, 프로세싱 유닛(110)은 프레임 0의 각각의 블록에 대한 통계 정보를 획득한다(단계 S313). 구체적으로는, 프레임 0은 m×n 블록으로 분할될 수도 있고 각각의 블록은, 예를 들면, 32×32 픽셀을 포함하고, 각각의 픽셀의 휘도 값이 계산된다. 각각의 픽셀의 휘도 값은 다음의 식을 사용하여 계산될 수도 있다:
V = 0.3×R + 0.6×G + 0.1×B (1)
여기서 R은 레드 값을, G는 그린 값을, B는 블루 값을 나타내며, V는 휘도 값을 나타낸다. 프로세싱 유닛(110)는 각각의 블록의 평균 휘도(AveLum) 및 휘도 히스토그램을 계산한다. 도 5는, 본 발명의 한 실시형태에 따른, 블록에 대한 휘도 히스토그램의 개략도이다. 실시형태가 한 예로서 0에서 4095까지의 범위에 이르는 12비트의 휘도 값을 제공하지만, 본 발명은 이것에 한정되어선 안된다. 히스토그램은, 예를 들면, 16개의 빈으로 분할되고, 빈8(Bin8)의 최소 휘도 값(V8)은 2047.5(=4095/2)로 설정된다. 빈7의 최소 휘도 값(V7) 및 빈9의 최소 휘도 값(V9)은 다음의 식을 사용하여 계산될 수도 있다:
V7 = 4095×r (2)
V9 = 4095×(1-r) (3)
여기서 r은 0과 0.5 사이의 임의의 값일 수도 있다. r이 0.25로 설정된다고 가정하면; V7은 10.23.75이고 V9는 3071.25이다. 0과 V7 사이의 휘도 값은 7개의 빈(빈0~빈6)으로 균등하게 분할되고 V9와 4095 사이의 휘도 값은 7개의 빈(빈9~빈15)으로 균등하게 분할된다. 여덟 번째 빈(빈7)의 휘도 값은 V7에서 V8까지의 범위에 이르고 아홉 번째(빈9)의 휘도 값은 V8에서 V9까지의 범위에 이른다. 각각의 블록에서, 프로세싱 유닛(110)은 자신의 휘도 값에 따라 각각의 픽셀을 대응하는 빈으로 분류하고 얼마나 많은 픽셀이 각각의 빈에 제공되는지를 카운트한다. 히스토그램을 생성하기 위한 예시적인 의사 코드는 다음과 같다:
Figure 112015114538709-pat00001
여기서 bestExpBlockInfor은 구조체 어레이이고 각각의 구조는 하나의 블록에 대한 통계 정보를 저장하는데, 통계 정보는 휘도 평균(block_averVal) 및 빈0 내지 빈15의 픽셀 카운트(block_hist[Bin])를 포함한다.
후속하여, 프로세싱 유닛(110)은, 블록의 히스토그램 및 휘도 평균을 분석하는 것에 의해 획득되는 통계 정보에 따라 각각의 블록이 저노출 타입인지, 정상 노출 타입인지 또는 고노출 타입인지를 인지한다. 구체적으로는, 하나의 블록의 히스토그램 내에서 낮은 빈 임계치 및 높은 빈 임계치가 계산된다. 낮은 빈 임계치 및 높은 빈 임계치는 다음 식을 사용하여 계산될 수도 있다:
threBinLow ≒ (BinNum/2-1)/r×0.18 (4)
threBinHigh ≒BinNum - (BinNum/2-1)/r×0.18 (5)
여기서 threBinLow는 낮은 빈 임계치를 나타내고, threBinHigh는 높은 빈 임계치를 나타내고, BinNum은 블록의 히스토그램 내의 빈의 총 수를 나타내고, 예를 들면, BinNum=16이고, r은 0과 0.5 사이의 임의의 값일 수도 있다. r이 0.25로 설정된다고 가정하면: 낮은 빈 임계치는 5이고 높은 빈 임계치는 11이다. 각각의 블록에 대해, 빈0 내지 빈5 내에 있는 픽셀은 어두운 영역에 속하고 한편, 빈11 내지 빈15 내에 있는 픽셀은 포화 영역에 속한다. 각각의 블록에 대해, 어두운 영역의 픽셀 카운트를 나타내는 pixNumLow는 B0에서부터 빈5까지 누산되고 포화 영역의 픽셀 카운트를 나타내는 pixNumLow는 빈11에서부터 빈15까지 누산된다. 프로세싱 유닛(110)은, 하기의 판정에 의해 블록 타입이 저노출인지, 정상 노출인지 또는 고노출인지의 여부를 인지한다. 어두운 영역의 픽셀 카운트(pixNumLow)가 블록 휘도 임계치(blocklumthres)보다 더 크지 않고 포화 영역의 픽셀 카운트(pixNumHigh)가 블록 휘도 임계치(blocklumthres)보다 크지 않은 경우, 임의의 블록은 제1 타입(정상 노출)으로 라벨링된다. 어두운 영역의 픽셀 카운트(pixNumLow)가 블록 휘도 임계치(blocklumthres)보다 더 큰 경우, 임의의 블록은 제2 타입(저노출)으로 라벨링된다. 포화 영역의 픽셀 카운트(pixNumHigh)가 블록 휘도 임계치(blocklumthres)보다 더 큰 경우, 임의의 블록은 제3 타입(고노출)으로 라벨링된다. 한 실시형태에서, 블록 휘도 임계치는 블록 내의 픽셀의 총 수와 관련되는데, 예를 들면, blocklumthres=blocksize*ratio이다. 다른 실시형태에서, 프로세싱 유닛(110)은 저휘도 평균 임계치(AveLumLow)(예를 들면, 256) 및 고휘도 평균 임계치(AveLumHigh)(예를 들면, 3840)를 더 제공한다. 블록의 휘도 평균(AveLum)이 저휘도 평균 임계치(AveLumLow) 이하이면, 임의의 블록은 제2 타입(저노출)으로 라벨링된다. 블록의 휘도 평균(AveLum)이 고휘도 평균 임계치(AveLumHigh) 이상이면, 임의의 블록은 제3 타입(고노출)으로 라벨링된다. 블록이 제2 타입 또는 제3 타입으로 라벨링되지 않으면, 임의의 블록은 제1 타입(정상 타입)으로 라벨링된다. 각각의 블록 타입을 인지하기 위한 예시적인 의사 코드는 다음과 같다:
Figure 112015114538709-pat00002
여기서 blockLabel은, 각각의 셀이 블록의 한 타입, 예컨대 저노출 타입 "LOW", 정상 노출 타입 "NORMAL" 및 고노출 타입 "HIGH"를 저장하는 어레이이다. 몇몇 실시형태에서, 기술분야의 숙련된 자는, 어두운 영역 또는 포화 영역의 픽셀 카운트 및 블록의 휘도 평균(AveLum) 둘 다를 고려하기 위한 디자인을 고안할 수도 있다. 예를 들면, 어두운 영역의 픽셀 카운트(pixNumLow)가 블록 휘도 임계치(blocklumthres)보다 더 크고 블록의 휘도 평균(AveLum)이 저휘도 평균 임계치(AveLumLow) 이하이면, 임의의 블록은 제2 타입(저노출)으로 라벨링된다. 포화 영역의 픽셀 카운트(pixNumHigh)가 블록 휘도 임계치(blocklumthres)보다 더 크고 블록의 휘도 평균(AveLum)이 고휘도 평균 임계치(AveLumHigh) 이상이면, 임의의 블록은 제3 타입(고노출)으로 라벨링된다. 블록이 저노출 타입 또는 고노출 타입으로 라벨링되지 않으면, 임의의 블록은 제1 타입(정상 노출)으로 라벨링된다.
후속하여, 프로세싱 유닛(110)은 자신의 블록 타입에 따라 각각의 블록의 가중치(블록 가중치로 또한 칭해짐)를 설정하고(단계 S317) 프레임 0의 각각의 픽셀의 가중치(픽셀 가중치로 또한 칭해짐)를 계산한다(단계 S319). 단계 S317에서, 구체적으로는, 블록이 저노출 타입으로 라벨링되는 경우 블록 가중치는 0으로 설정되고; 블록이 정상 노출 타입으로 라벨링되는 경우 블록 가중치는 1로 설정되고; 그리고 블록이 고노출 타입으로 라벨링되는 경우 블록 가중치는 2로 설정된다. 구체적으로는, 단계 S319에서, 블록의 경계 및 코너에 위치되는 픽셀을 제외하고, 프로세싱 유닛(110)은 주위 블록의 4개의 가중치 및 픽셀로부터 주위 블록의 4개의 중심까지의 거리에 따라 프레임 0의 각각의 픽셀 가중치를 계산한다. 도 7은, 본 발명의 한 실시형태에 따른, 4개의 주위 블록(surrounding block)을 예시하는 개략도이다. 주위 블록의 4개의 중심점(WUL, WUR, WLL 및 WLR)에 의해 사각형이 형성되고 네 변(E1 내지 E4)을 포함한다. 각각의 픽셀 가중치(Wp)는 다음의 식을 사용하여 계산될 수도 있다:
Wp = D1×D2×WUL + D1×D4×WUR + D3×D2×WLL + D3×D4×WLR (6)
여기서 WUL은 좌측상단(upper-left) 블록의 블록 가중치를 나타내고, WUR은 우측상단(upper-right) 블록의 블록 가중치를 나타내고, WLL은 좌측하단(lower-left) 블록의 블록 가중치를 나타내고, WLR은 우측하단(lower-right) 블록의 블록 가중치를 나타내고, D1은 픽셀(p)로부터 하부 에지(E1)까지의 거리를 나타내고, D2는 픽셀(p)로부터 우측 에지(E2)까지의 거리를 나타내고, D3은 픽셀(p)로부터 상부 에지(E3)까지의 거리를 나타내고 D4는 픽셀(p)로부터 좌측 에지(E4)까지의 거리를 나타낸다. 단계 S319에서 계산되는 프레임 0의 각각의 픽셀 가중치는 프레임 0의 프레임 1과의 융합 프로세스(fusion process)에서 사용될 것이다. 상세는 하기에서 설명될 것이다.
이제 도 3을 다시 참조한다. 프레임 0의 각각의 블록 타입이 라벨링된(단계 S315) 이후, 프레임 0의 각각의 블록에 대해 제1 AWB 보상이 활용된다(단계 S331). 도 4는 본 발명의 한 실시형태에 따른 베이어 패턴의 개략도이다. 홀수 행에 대해 교대하는 R(레드) 및 Gr(그린) 픽셀을, 짝수 행에 대해 교대하는 Gb(그린) 및 B(블루) 픽셀을 갖는 베이어 패턴(410)이 형성된다. 각각의 블록의 R 픽셀은 총칭하여 R 채널로 칭해지고, 각각의 블록의 Gr 픽셀 및 Gb 픽셀은 총칭하여 G 채널로 칭해지고, 각각의 블록의 B 픽셀은 총칭하여 B 채널로 칭해진다. 단계 S331에서, 구체적으로는, 제1 AWB 보상은 제1 타입(예컨대 정상 노출)으로 라벨링되는 프레임 0의 블록을, 프레임 0의 모든 블록을 조정하기 위한 입력으로서 간주한다. 제1 AWB 보상은 G 채널 유지하며 R 채널 및 B 채널 픽셀의 이득을 계산 결과에 따라 조정한다. 한 실시형태에서, 프로세싱 유닛(110)은, 제1 타입(예컨대 정상 노출)으로 라벨링되는, 프레임 0의 모든 블록의 픽셀을 계산하고, 프레임 0의 모든 픽셀의 R 채널 및 B 채널 이득을 계산 결과에 따라 조정한다.
프레임 0에 대한 AWB 보상을 완료한 이후, 프로세싱 유닛(110)은 프레임 0의 통계 정보를 획득한다(단계 S351 및 S333). 한 실시형태에서, 단계 S311에서, 프로세싱 유닛(110)은 RGB의 색공간을 HSV로 변환할 수도 있다. 구체적으로는, 단계 S351 및 S333에서, 프로세싱 유닛(110)은 프레임 0의 휘도 히스토그램을 계산한다. 도 6은, 본 발명의 한 실시형태에 따른, 프레임 0에 대한 휘도 히스토그램의 개략도이다. 어두운 영역의 휘도 값(빈0)은 0에서부터 C1까지의 범위에 이르고 한편 포화 영역의 휘도 값(빈3)은 C3에서부터 C4에까지 이른다. 실시형태가 한 예로서 C1=511, C3=3583 및 C4=4095인 0에서 4095까지의 범위에 이르는 12비트의 휘도 값을 제공하지만, 본 발명은 이것에 한정되어선 안된다. 모든 프레임 0에 대해, 프로세싱 유닛(110)은 각각의 영역에 얼마나 많은 픽셀이 제공되는지를 카운트하고, 어두운 영역에 포함되는 제1 픽셀 카운트(어두운 픽셀 카운트로 또한 칭해짐) 대 포화 영역에 포함되는 제2 픽셀 카운트(포화 픽셀 카운트로 또한 칭해짐)의 비율(shiftRatio로 표기됨)을 계산한다. 그 비율은 다음 식을 사용하여 계산될 수도 있다:
shiftRatio = pixelNumBin0/pixelNumBin3 (7)
여기서 pixelNumBin0은 어두운 영역의 제1 픽셀 카운트를 나타내고 pixelNumBin3은 포화 영역의 제2 픽셀 카운트를 나타낸다. 다음에, 프로세싱 유닛(110)은 제1 픽셀 카운트 대 제2 픽셀 카운트의 비율에 따라 확장 승수(expansion multiplier)(exp_times)를 계산한다. 어두운 픽셀 카운트 대 포화 픽셀 카운트의 비율이 8 미만이면, 확장 승수(exp_times)를 계산하기 위해 식 (8)이 사용될 수도 있다. 어두운 픽셀 카운트 대 포화 픽셀 카운트의 비율이 8 이상인 경우, 확장 승수(exp_times)를 계산하기 위해 식 (9)가 사용될 수도 있다.
exp_times = a×shiftRatio×shiftRatio + b×shiftRatio + c (8)
exp_times = d×shiftRatio×shiftRatio + e×shiftRatio + f (9)
여기서 a, b, c, d, e 및 f는 부동 소수점 수(floating number)이다. 후속하여, 프로세싱 유닛(110)은, 프레임 0의 노출 설정 및 프레임 0의 통계 정보로부터 유도되는 비율(shiftRatio)에 따라, 프레임 1을 프로세싱하는 데 필요한 제1 노출 파라미터를 계산하고(단계 S353) 프레임 2를 프로세싱하는 데 필요한 제2 노출 파라미터를 계산한다(단계 S335). 노출 설정은 셔터 속도(sht로 표기됨), 아날로그 이득(ag로 표기됨) 및 디지털 이득(dg로 표기됨)을 포함한다. 노출 설정은 sht, ag 및 dg의 승수일 수도 있다. 제1 노출 파라미터(Para1) 및 제2 노출 파라미터(Para2)는 다음 식을 사용하여 계산될 수도 있다:
Para1 = sht×ag×dg×exp_times/expValue (10)
Para2 = sht×ag×dg×exp_times (11)
여기서 expValue는 제2 노출 파라미터 대 제1 노출 파라미터의 비율인 고정된 확장 값을 나타낸다. 18비트의 HDR 프레임을 생성하도록 12비트의 LDR 프레임을 확장하여 융합하는 한 실시형태에서, expValue=64이다.
제2 노출 파라미터(Para2)를 계산한(단계 S335) 이후, 프로세싱 유닛(110)은 프레임 0을 HDR 공간으로 확장시킨다(단계 S337). 단계 S337에서, 프레임 0의 제1 확장 인자를 계산하기 위해 사용되는 예시적인 의사 코드는 다음과 같다:
curveMapValNormal = curveTable_AVR[0]×sht×ag×dg + curveTable_AVR[1];
curveMapValHigh = curveTable_AVR[0] × Para2 + curveTable_AVR[1];
slope_Normal = curveMapValHigh/curveMapValNormal;
여기서 slope_Normal은 프레임 0의 제1 확장 인자를 나타내고, curveTable_AVR[0]은 카메라 모듈(190)의 이미지 센서와 관련되는 캘리브레이팅된 슬로프(calibrated slope)이고, curveTable_AVR[1]은 카메라 모듈(190)의 이미지 센서와 관련되는 캘리브레이팅된 y-절편(calibrated y-intercept)이고, sht×ag×dg는 프레임 0의 노출 설정을 나타내고(여기서 sht는 프레임 0의 셔터 속도를 나타내고, ag는 프레임 0의 아날로그 이득을 나타내고 dg는 프레임 0의 디지털 이득을 나타낸다) Para2는 식 (11)을 사용하여 계산되는 제2 노출 파라미터를 나타낸다. 프로세싱 유닛(110)은 프레임 0의 각각의 픽셀의 HSV 값을 제1 확장 인자(slope_Normal)로 승산하여 프레임 0을 HDR 공간으로 확장시킨다.
제1 노출 파라미터(Para1)를 계산한(단계 S353) 이후, 프로세싱 유닛(110)은 카메라 모듈 컨트롤러(170)에게, 계산된 제1 노출 파라미터(Para1)에 의해 나타내어지는 노출 설정에 따라 저노출 프레임(프레임 1로 칭해짐)을 촬영할 것을 지시하고, 그것을 프레임 버퍼(130)에 저장하고, 프레임 1의 각각의 블록을 조정하기 위한 입력으로서 프레임 0의 제2 타입의 블록의 위치와 동일한 위치에 있는 프레임 1의 블록에 관해 제2 AWB 보상을 활용하는데, 이 경우 프레임 0의 제2 타입의 블록은 제2 타입(예를 들면, 저노출)으로 라벨링되는 블록이다(단계 S356). 한 실시형태에서, 프레임 0의 제2 타입(예컨대 저노출)의 블록의 위치와 동일한 위치에 있는 프레임 1의 블록의 픽셀은 통계 계산의 입력으로서 간주되고, 프레임 1의 모든 픽셀의 R 채널 및 B 채널 이득은 계산 결과에 따라 조정된다. 제2 AWB 보상의 상세한 계산은, 어떤 알고리즘이 활용되는지에 의존한다. 또한, 제2 노출 파라미터(Para2)를 계산한(단계 S335) 이후, 프로세싱 유닛(110)은 카메라 모듈 컨트롤러(170)에게, 계산된 제2 노출 파라미터(Para2)에 의해 나타내어지는 노출 설정에 따라 고노출 프레임(프레임 2로 칭해짐)을 촬영할 것을 지시하고, 그것을 프레임 버퍼(130)에 저장하고, 프레임 2의 각각의 블록을 조정하기 위한 입력으로서 프레임 0의 제3 타입의 블록의 위치와 동일한 위치에 있는 프레임 2의 블록에 관해 제3 AWB 보상을 활용하는데, 이 경우 프레임 0의 제3 타입의 블록은 제3 타입(예를 들면, 고노출)으로 라벨링되는 블록이다(단계 S336). 한 실시형태에서, 프레임 0의 제3 타입의 블록의 위치와 동일한 위치에 있는 프레임 2의 블록의 픽셀은 통계 계산의 입력으로서 간주되고, 프레임 2의 모든 픽셀의 R 채널 및 B 채널 이득은 계산 결과에 따라 조정된다. 제3 AWB 보상의 상세한 계산은, 어떤 알고리즘이 활용되는지에 의존한다. 제공된 실시형태에서, 제1, 제2 및 제3 AWD 보상은, 각각, 프레임 0, 프레임 1 및 프레임 2의 모든 블록에 적용된다는 것을 유의해야 한다. 몇몇 실시형태에서, AWB의 통계 계산에 참여하는 블록(즉, 제1, 제2, 및 제3 타입으로 라벨링되는 블록)만이, 프레임 4 출력을 위해 하기의 융합에 참여하는 경우, AWB 보상은 이들 언급된 블록에 대해서만 적용될 것이다. 그러나, 본 실시형태에서, 대응하는 AWB 보상이 모든 블록에 활용되는 경우, 경계는 평활해질 수도 있다.
한 실시형태에서, 제1 노출 파라미터(Para1)를 계산하고(단계 S353) 그리고 제2 노출 파라미터(Para2)를 계산한(단계 S335) 이후, 프로세싱 유닛(110)은 프레임 1을 HDR 공간으로 확장시킨다(단계 S357). 단계 S357에서, 프레임 1의 제2 확장 인자를 계산하기 위해 사용되는 예시적인 의사 코드는 다음과 같다:
curveMapValLow = curveTable_AVR[0] × Para1 + curveTable_AVR[1];
curveMapValHigh = curveTable_AVR[0] × Para2 + curveTable_AVR[1];
slope_Low = curveMapValHigh/curveMapValLow;
여기서 slope_Low는 프레임 1의 제2 확장 인자를 나타내고, curveTable_AVR[0]은 카메라 모듈(190)의 이미지 센서와 관련되는 캘리브레이팅된 슬로프이고, curveTable_AVR[1]은 카메라 모듈(190)의 이미지 센서와 관련되는 캘리브레이팅된 y-절편이고, Para1은 식 (10)에 따라 단계 S353에서 계산되는 제1 노출 파라미터를 나타내고 Para2는 식 (11)에 따라 단계 S335에서 계산되는 제2 노출 파라미터를 나타낸다. 프로세싱 유닛(110)은 프레임 1의 각각의 픽셀의 HSV 값을 제2 확장 인자(slope_Low)로 승산하여 프레임 1을 HDR 공간으로 확장시킨다.
단계 S359에서, 확장된 프레임 0, 확장된 프레임 1 및 단계 S311에서 획득되는 획득된 프레임 2가 보상된다. 구체적으로는, 프로세싱 유닛(110)은 제1 노출 보상 방법을 사용하여 확장된 프레임 0의 포화된 픽셀(saturated pixel) 및 어두운 픽셀을 보상한다. 구체적으로는, 제1 노출 보상 방법은 확장된 프레임 0의 어두운 픽셀(예를 들면, 그 휘도 값이 0 내지 128×slope_Normal 내에 있는 픽셀)을 검출하고 확장된 프레임 0의 검출된 어두운 픽셀의 휘도 값을 동일한 위치에 있는 프레임 2의 휘도 픽셀 값으로 대체한다. 제1 노출 보상 방법은 또한, 확장된 프레임 0의 포화된 픽셀(예를 들면, 그 휘도 값이 3967×slope_Normal 내지 4095 내에 있는 픽셀)을 검출하고 확장된 프레임 0의 검출된 포화된 픽셀의 휘도 값을 동일한 위치에 있는 프레임 1의 휘도 픽셀 값으로 대체한다. 또한, 프로세싱 유닛(110)은 제2 노출 보상 방법을 사용하여 확장된 프레임 1의 어두운 픽셀을 보상한다. 구체적으로는, 제2 노출 보상 방법은 확장된 프레임 1의 어두운 픽셀(예를 들면, 그 휘도 값이 0 내지 128×slope_Low 내에 있는 픽셀)을 검출하고 확장된 프레임 1의 검출된 어두운 픽셀의 휘도 값을 동일한 위치에 있는 프레임 0의 휘도 픽셀 값으로 대체한다. 또한, 프로세싱 유닛(110)은 제3 노출 보상 방법을 사용하여 프레임 2의 포화된 픽셀을 보상한다. 구체적으로는, 제3 노출 보상 방법은, 프레임 2의 포화된 픽셀(예를 들면, 그 휘도 값이 3967 내지 4095 내에 있는 픽셀)을 검출하고 프레임 2의 검출된 포화된 픽셀의 휘도 값을 동일한 위치에 있는 프레임 0의 휘도 픽셀 값으로 대체한다.
프레임 0 및 프레임 1을 HDR 공간으로 확장시키기 위한 상기 언급된 단계 S337 및 S357 및 프레임 0, 프레임 1 및 프레임 2의 픽셀을 보상하기 위한 단계 S359는 AWB 보상에 대해 불필요할 수도 있다는 것을 유의해야 한다. 프로세싱 유닛(110)은, 단계 S319에서 계산되는 프레임 0의 각각의 픽셀의 픽셀 가중치에 따라, 보상된 프레임 0을 보상된 프레임 1과 융합하는 것에 의해 프레임 3을 생성하고 프레임 3을 프레임 버퍼(150)에 저장한다(단계 S371). 구체적으로는, 단계 S371에서, 프레임 0의 임의의 픽셀의 픽셀 가중치가 임계치(예를 들면, 64) 이하인 경우, 프로세싱 유닛(110)은 프레임 0의 이 픽셀의 HSV 값을 동일한 위치에 있는 보상된 프레임 1의 HSV 값과 융합하여 동일한 위치에서 프레임 3의 HSV 값을 생성한다. 프레임 0의 임의의 픽셀의 픽셀 가중치가 임계치보다 더 큰 경우, 프로세싱 유닛(110)은 프레임 0의 이 픽셀의 HSV 값을 동일한 위치에 있는 프레임 3의 HSV 값으로 바로 간주한다. 보상된 프레임 0의 보상된 프레임 1과의 이미지 융합을 위한 예시적인 의사 코드는 다음과 같다:
Figure 112015114538709-pat00003
여기서 pixelweight[index1]은 (인덱스1)번째 픽셀의 가중치를 나타내고, inputImg는 보상된 프레임 1을 나타내고, refImg는 보상된 프레임 0을 나타내고 그리고 dst는 프레임 3을 나타낸다.
프로세싱 유닛(110)은, 단계 S319에서 계산되는 프레임 0의 각각의 픽셀의 픽셀 가중치에 따라, 프레임 3을 보상된 프레임 2와 융합하는 것에 의해 프레임 4를 생성하고 프레임 4를 프레임 버퍼(150)에 저장한다(단계 S373). 프레임 4는 최종 HDR 프레임이다. 단계 373에서, 구체적으로는, 프레임 0의 임의의 픽셀의 픽셀 가중치가 임계치보다 더 큰 경우, 프로세싱 유닛(110)은 프레임 3의 이 픽셀의 HSV 값을 동일한 위치에 있는 보상된 프레임 2의 HSV 값과 융합하여 동일한 위치에서 프레임 4의 HSV 값을 생성한다. 프레임 0의 임의의 픽셀의 픽셀 가중치가 임계치보다 더 크지 않은 경우, 프로세싱 유닛(110)은 프레임 3의 이 픽셀의 HSV 값을 동일한 위치에 있는 프레임 4의 HSV 값으로 바로 간주한다. 프레임 3의 보상된 프레임 2와의 이미지 융합을 위한 예시적인 의사 코드는 다음과 같다:
Figure 112015114538709-pat00004
여기서 pixelweight[index1]은 (인덱스1)번째 픽셀의 가중치를 나타내고, inputImg는 보상된 프레임 2를 나타내고, refImg는 프레임 3을 나타내고 그리고 dst는 프레임 4를 나타낸다.
실시형태가 도 1에서 특정 엘리먼트를 갖는 것으로 설명되었지만, 본 발명의 취지를 벗어나지 않으면서 더 나은 성능을 달성하기 위해 추가적인 엘리먼트가 포함될 수도 있다는 것을 유의해야 한다. 도 2 및 도 3에서 설명되는 프로세스 플로우가, 특정 순서로 발생하는 것처럼 보이는 다수의 동작을 포함하지만, 이들 프로세스는, 예를 들면, 병렬 프로세서 또는 멀티 스레딩 환경을 사용하여, 직렬로 또는 병렬로 실행될 수 있는 더 많은 또는 더 적은 동작을 포함할 수 있다는 것이 명백해야 한다.
본 발명이 예시를 통해 그리고 바람직한 실시형태의 관점에서 설명되었지만, 본 발명은 개시된 실시형태에 한정되지 않는다는 것이 이해될 것이다. 대조적으로, (기술분야의 숙련된 자에게 명백할 것 같은) 다양한 수정예 및 유사한 배치예를 포괄하는 것이 의도된다. 따라서, 첨부된 특허청구범위의 범위는, 이러한 수정예 및 유사한 배치예 모두를 망라하도록 최광의의 해석이 부여되어야 한다.

Claims (22)

  1. 프로세싱 유닛에 의해 수행되는, AWB(Automatic White Balance; 자동 화이트 밸런스) 보상을 위한 방법에 있어서,
    프레임 0을 획득하는 단계;
    상기 프레임 0을 복수의 블록으로 분할하는 단계;
    상기 프레임 0의 각각의 블록의 블록 통계 정보를 획득하는 단계;
    상기 프레임 0의 상기 각각의 블록을, 그 블록의 블록 통계 정보에 따라 복수의 타입 중 하나로서 라벨링하는 단계;
    상기 프레임 0의 제1 타입의 블록 - 상기 프레임 0의 상기 제1 타입의 블록은 제1 타입으로서 라벨링되는 블록임 - 의 입력을 갖는 상기 프레임 0에 대해 제1 AWB 보상을 활용하는(employing) 단계로서, 상기 제1 타입은,
    1) 상기 각각의 블록의 휘도 히스토그램의 어두운 영역의 픽셀 카운트,
    2) 상기 각각의 블록의 휘도 히스토그램의 포화 영역의 픽셀 카운트, 및
    3) 상기 각각의 블록의 휘도 평균
    중 적어도 둘에 기초하거나,
    상기 각각의 블록의 휘도 평균에 기초하여 라벨링되는 것인, 상기 제1 AWB 보상을 활용하는 단계;
    상기 프레임 0의 제2 타입의 블록 - 상기 프레임 0의 상기 제2 타입의 블록은 제2 타입으로서 라벨링되는 블록임 - 의 위치와 동일한 위치에서 프레임 1의 블록의 입력을 갖는 상기 프레임 1에 대해 제2 AWB 보상을 활용하는 단계; 및
    상기 보상된 프레임 0을 상기 보상된 프레임 1과 융합하는 단계
    를 포함하는, AWB 보상을 위한 방법.
  2. 제1항에 있어서,
    상기 제1 타입의 블록의 입력을 갖는 상기 프레임 0에 대해 제1 AWB 보상을 활용하는 단계는,
    상기 프레임 0의 상기 제1 타입의 블록의 픽셀을, 통계 계산에 참여하기 위한 입력으로서 간주하는 단계; 및
    상기 프레임 0의 R 채널 및 B 채널 픽셀의 이득을 계산 결과에 따라 조정하는 단계를 더 포함하는 것인, AWB 보상을 위한 방법.
  3. 제1항에 있어서,
    임의의 블록의 상기 휘도 히스토그램의 상기 어두운 영역 - 상기 어두운 영역은 기 설정된 휘도 값 이하의 휘도 값을 갖는 영역임 - 의 상기 픽셀 카운트가 블록 휘도 임계치보다 크지 않고 상기 임의의 블록의 상기 휘도 히스토그램의 포화(saturate) 영역의 픽셀 카운트가 상기 블록 휘도 임계치보다 크지 않을 때, 상기 임의의 블록이 상기 제1 타입으로서 라벨링되는 것인, AWB 보상을 위한 방법.
  4. 제3항에 있어서,
    상기 임의의 블록의 상기 휘도 히스토그램은 복수의 빈으로 분할되고, 상기 임의의 블록의 각각의 픽셀은 그 픽셀의 휘도 값에 따라 하나의 빈으로 분류(distribute)되고, 상기 어두운 영역은 제1 빈으로부터 제1 빈 임계치를 갖는 하나의 빈까지의 빈을 포함하고, 상기 포화 영역은 상기 제1 빈 임계치보다 높은 제2 빈 임계치를 갖는 하나의 빈으로부터 최종 빈까지의 빈을 포함하는 것인, AWB 보상을 위한 방법.
  5. 제1항에 있어서,
    임의의 블록의 상기 휘도 히스토그램의 상기 어두운 영역 - 상기 어두운 영역은 기 설정된 휘도 값 이하의 휘도 값을 갖는 영역임 - 의 상기 픽셀 카운트가 블록 휘도 임계치보다 클 때, 상기 임의의 블록이 제2 타입으로서 라벨링되는 것인, AWB 보상을 위한 방법.
  6. 제1항에 있어서,
    임의의 블록의 상기 휘도 평균이 제1 휘도 평균 임계치와 상기 제1 휘도 평균 임계치보다 높은 제2 휘도 평균 임계치 사이에 있을 때, 상기 임의의 블록이 상기 제1 타입으로서 라벨링되는 것인, AWB 보상을 위한 방법.
  7. 제1항에 있어서,
    프레임 2를 획득하는 단계;
    상기 프레임 0의 제3 타입의 블록 - 상기 프레임 0의 상기 제3 타입의 블록은 제3 타입으로서 라벨링되는 블록임 - 의 위치와 동일한 위치에서 상기 프레임 2의 블록의 입력을 갖는 상기 프레임 2에 대해 제3 AWB 보상을 활용하는 단계; 및
    상기 보상된 프레임 2를, 상기 보상된 프레임 0을 상기 보상된 프레임 1과 융합한 결과와 융합하는 단계
    를 더 포함하는, AWB 보상을 위한 방법.
  8. 제7항에 있어서,
    상기 프레임 2는 고노출(high-exposure) 프레임이고, 임의의 블록의 상기 휘도 히스토그램의 상기 포화 영역의 상기 픽셀 카운트가 블록 휘도 임계치보다 클 때, 상기 임의의 블록이 상기 제3 타입으로서 라벨링되는 것인, AWB 보상을 위한 방법.
  9. 제1항에 있어서,
    상기 프레임 0은 정상 노출 프레임이고 상기 프레임 1은 저노출(low-exposure) 프레임인 것인, AWB 보상을 위한 방법.
  10. 제1항에 있어서,
    각각의 블록의 타입에 따라 블록 가중치를 설정하는 단계;
    상기 블록 가중치에 따라 상기 프레임 0의 복수의 픽셀 가중치를 계산하는 단계; 및
    상기 픽셀 가중치에 따라, 상기 보상된 프레임 0을 상기 보상된 프레임 1과 융합하는 단계
    를 더 포함하는, AWB 보상을 위한 방법.
  11. 제10항에 있어서,
    상기 픽셀 가중치는 다음의 식:
    Wp = D1×D2×WUL + D1×D4×WUR + D3×D2×WLL + D3×D4×WLR
    에 의해 계산되고, 여기서 Wp는 프레임 0의 한 픽셀의 픽셀 가중치를 나타내고, WUL은 좌측상단(upper-left) 블록의 블록 가중치를 나타내고, WUR은 우측상단(upper-right) 블록의 블록 가중치를 나타내고, WLL은 좌측하단(lower-left) 블록의 블록 가중치를 나타내고, WLR은 우측하단(lower-right) 블록의 블록 가중치를 나타내고, D1은 상기 픽셀로부터 하부 에지까지의 거리를 나타내고, D2는 상기 픽셀로부터 우측 에지까지의 거리를 나타내고, D3은 상기 픽셀로부터 상부 에지까지의 거리를 나타내고, D4는 상기 픽셀로부터 좌측 에지까지의 거리를 나타내는 것인, AWB 보상을 위한 방법.
  12. AWB(자동 화이트 밸런스) 보상을 위한 장치에 있어서,
    카메라 모듈에 커플링되는 카메라 모듈 컨트롤러; 및
    상기 카메라 모듈 컨트롤러를 통해 프레임 0을 획득하고, 상기 프레임 0을 복수의 블록으로 분할하고, 상기 프레임 0의 각각의 블록의 블록 통계 정보를 획득하고, 상기 프레임 0의 상기 각각의 블록을, 그 블록의 블록 통계 정보에 따라 복수의 타입 중 하나로서 라벨링하고, 상기 프레임 0의 제1 타입의 블록 - 상기 프레임 0의 상기 제1 타입의 블록은 제1 타입으로서 라벨링되는 블록임 - 의 입력을 갖는 상기 프레임 0에 대해 제1 AWB 보상을 활용하고, 상기 프레임 0의 제2 타입의 블록 - 상기 프레임 0의 상기 제2 타입의 블록은 제2 타입으로서 라벨링되는 블록임 - 의 위치와 동일한 위치에서 프레임 1의 블록의 입력을 갖는 상기 프레임 1에 대해 제2 AWB 보상을 활용하고, 상기 보상된 프레임 0을 상기 보상된 프레임 1과 융합하는, 프로세싱 유닛
    을 포함하고,
    상기 제1 타입은,
    1) 상기 각각의 블록의 휘도 히스토그램의 어두운 영역의 픽셀 카운트,
    2) 상기 각각의 블록의 휘도 히스토그램의 포화 영역의 픽셀 카운트, 및
    3) 상기 각각의 블록의 휘도 평균
    중 적어도 둘에 기초하거나,
    상기 각각의 블록의 휘도 평균에 기초하여 라벨링되는 것인, AWB 보상을 위한 장치.
  13. 제12항에 있어서,
    상기 프로세싱 유닛은, 상기 프레임 0의 상기 제1 타입의 블록의 픽셀을, 통계 계산에 참여하기 위한 입력으로서 간주하고, 상기 프레임 0의 R 채널 및 B 채널 픽셀의 이득을 계산 결과에 따라 조정하는 것인, AWB 보상을 위한 장치.
  14. 제12항에 있어서,
    임의의 블록의 상기 휘도 히스토그램의 상기 어두운 영역 - 상기 어두운 영역은 기 설정된 휘도 값 이하의 휘도 값을 갖는 영역임 - 의 상기 픽셀 카운트가 블록 휘도 임계치보다 크지 않고, 상기 임의의 블록의 상기 휘도 히스토그램의 상기 포화 영역의 상기 픽셀 카운트가 상기 블록 휘도 임계치보다 크지 않을 때, 상기 임의의 블록이 상기 제1 타입으로서 라벨링되는 것인, AWB 보상을 위한 장치.
  15. 제14항에 있어서,
    상기 임의의 블록의 상기 휘도 히스토그램은 복수의 빈으로 분할되고, 상기 임의의 블록의 각각의 픽셀은 그 픽셀의 휘도 값에 따라 하나의 빈으로 분류되고, 상기 어두운 영역은 제1 빈으로부터 제1 빈 임계치를 갖는 하나의 빈까지의 빈을 포함하고, 상기 포화 영역은 상기 제1 빈 임계치보다 높은 제2 빈 임계치를 갖는 하나의 빈으로부터 최종 빈까지의 빈을 포함하는 것인, AWB 보상을 위한 장치.
  16. 제12항에 있어서,
    임의의 블록의 상기 휘도 히스토그램의 상기 어두운 영역 - 상기 어두운 영역은 기 설정된 휘도 값 이하의 휘도 값을 갖는 영역임 - 의 상기 픽셀 카운트가 블록 휘도 임계치보다 클 때, 상기 임의의 블록이 제2 타입으로서 라벨링되는 것인, AWB 보상을 위한 장치.
  17. 제12항에 있어서,
    임의의 블록의 상기 휘도 평균이 제1 휘도 평균 임계치와 상기 제1 휘도 평균 임계치보다 높은 제2 휘도 평균 임계치 사이에 있을 때, 상기 임의의 블록이 상기 제1 타입으로서 라벨링되는 것인, AWB 보상을 위한 장치.
  18. 제12항에 있어서,
    상기 프로세싱 유닛은, 프레임 2를 획득하고, 상기 프레임 0의 제3 타입의 블록 - 상기 프레임 0의 상기 제3 타입의 블록은 제3 타입으로서 라벨링되는 블록임 - 의 위치와 동일한 위치에서 상기 프레임 2의 블록의 입력을 갖는 상기 프레임 2에 대해 제3 AWB 보상을 활용하고, 상기 보상된 프레임 2를, 상기 보상된 프레임 0을 상기 보상된 프레임 1과 융합한 결과와 융합하는 것인, AWB 보상을 위한 장치.
  19. 제18항에 있어서,
    상기 프레임 2는 고노출 프레임이고, 임의의 블록의 상기 휘도 히스토그램의 상기 포화 영역의 상기 픽셀 카운트가 블록 휘도 임계치보다 클 때, 상기 임의의 블록이 상기 제3 타입으로서 라벨링되는 것인, AWB 보상을 위한 장치.
  20. 제12항에 있어서,
    상기 프레임 0은 정상 노출 프레임이고, 상기 프레임 1은 저노출 프레임인 것인, AWB 보상을 위한 장치.
  21. 제12항에 있어서,
    상기 프로세싱 유닛은, 각각의 블록의 타입에 따라 블록 가중치를 설정하고, 상기 블록 가중치에 따라 상기 프레임 0의 복수의 픽셀 가중치를 계산하고, 상기 픽셀 가중치에 따라 상기 보상된 프레임 0을 상기 보상된 프레임 1과 융합하는 것인, AWB 보상을 위한 장치.
  22. 제21항에 있어서,
    상기 픽셀 가중치는 다음의 식:
    Wp = D1×D2×WUL + D1×D4×WUR + D3×D2×WLL + D3×D4×WLR
    에 의해 계산되고, 여기서 Wp는 프레임 0의 한 픽셀의 픽셀 가중치를 나타내고, WUL은 좌측상단 블록의 블록 가중치를 나타내고, WUR은 우측상단 블록의 블록 가중치를 나타내고, WLL은 좌측하단 블록의 블록 가중치를 나타내고, WLR은 우측하단 블록의 블록 가중치를 나타내고, D1은 상기 픽셀로부터 하부 에지까지의 거리를 나타내고, D2는 상기 픽셀로부터 우측 에지까지의 거리를 나타내고, D3은 상기 픽셀로부터 상부 에지까지의 거리를 나타내고, D4는 상기 픽셀로부터 좌측 에지까지의 거리를 나타내는 것인, AWB 보상을 위한 장치.
KR1020150164640A 2015-03-17 2015-11-24 Awb(자동 화이트 밸런스) 보상을 위한 방법 및 그 사용 장치 KR101756548B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510117455.6 2015-03-17
CN201510117455.6A CN104683779B (zh) 2015-03-17 2015-03-17 自动白平衡补偿方法以及使用该方法的装置

Publications (2)

Publication Number Publication Date
KR20160111837A KR20160111837A (ko) 2016-09-27
KR101756548B1 true KR101756548B1 (ko) 2017-07-10

Family

ID=53318269

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150164640A KR101756548B1 (ko) 2015-03-17 2015-11-24 Awb(자동 화이트 밸런스) 보상을 위한 방법 및 그 사용 장치

Country Status (5)

Country Link
US (1) US9443284B1 (ko)
EP (1) EP3070931B1 (ko)
JP (1) JP6352236B2 (ko)
KR (1) KR101756548B1 (ko)
CN (1) CN104683779B (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10452874B2 (en) 2016-03-04 2019-10-22 Disney Enterprises, Inc. System and method for identifying and tagging assets within an AV file
CN107959839B (zh) * 2017-11-27 2019-07-30 努比亚技术有限公司 一种白平衡调整的方法、终端及计算机可读存储介质
JP7205380B2 (ja) * 2019-05-27 2023-01-17 三菱電機株式会社 撮像装置及び撮像方法
CN111444825A (zh) * 2020-03-25 2020-07-24 四川长虹电器股份有限公司 一种利用直方图判断图像场景的方法
US11445127B2 (en) 2020-06-15 2022-09-13 Samsung Electronics Co., Ltd. Leveraging HDR sensors for handling mixed illumination auto white balance
US11653105B2 (en) * 2020-12-02 2023-05-16 Texas Instmments Incorporated Intensity separated local white balance correction

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010088113A (ja) 2008-09-03 2010-04-15 Ricoh Co Ltd 撮像装置及び撮像方法
JP2012109900A (ja) 2010-11-19 2012-06-07 Aof Imaging Technology Ltd 撮影装置、撮影方法、およびプログラム
JP2013162246A (ja) 2012-02-02 2013-08-19 Canon Inc 画像処理装置およびその制御方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS625793A (ja) * 1985-07-01 1987-01-12 Hitachi Denshi Ltd 自動白バランス補正装置
EP0982950A3 (en) * 1998-08-24 2004-09-29 Sony Corporation Electronic video camera comprising an MPEG encoder
KR100363826B1 (ko) 1999-06-07 2002-12-06 히다치덴시 가부시키가이샤 넓은 다이내믹레인지의 영상신호를 생성하는텔레비젼신호처리장치와 그 신호처리장치를 가지는텔레비젼카메라 및 텔레비젼신호처리방법
US7480421B2 (en) * 2005-05-23 2009-01-20 Canon Kabushiki Kaisha Rendering of high dynamic range images
JP4218723B2 (ja) * 2006-10-19 2009-02-04 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US8599282B2 (en) * 2007-04-26 2013-12-03 Samsung Electronics Co., Ltd. Method and apparatus for generating image
JP5146015B2 (ja) * 2008-03-04 2013-02-20 株式会社リコー 撮像装置及び撮像方法
TWI403177B (zh) * 2008-05-21 2013-07-21 Univ Nat Taiwan Normal 高動態範圍合成影像色溫調控系統及其調控方法
US8699821B2 (en) * 2010-07-05 2014-04-15 Apple Inc. Aligning images
US8947555B2 (en) * 2011-04-18 2015-02-03 Qualcomm Incorporated White balance optimization with high dynamic range images
JP2012257193A (ja) * 2011-05-13 2012-12-27 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010088113A (ja) 2008-09-03 2010-04-15 Ricoh Co Ltd 撮像装置及び撮像方法
JP2012109900A (ja) 2010-11-19 2012-06-07 Aof Imaging Technology Ltd 撮影装置、撮影方法、およびプログラム
JP2013162246A (ja) 2012-02-02 2013-08-19 Canon Inc 画像処理装置およびその制御方法

Also Published As

Publication number Publication date
US20160275651A1 (en) 2016-09-22
CN104683779A (zh) 2015-06-03
EP3070931A1 (en) 2016-09-21
EP3070931B1 (en) 2020-12-16
CN104683779B (zh) 2017-08-29
JP6352236B2 (ja) 2018-07-04
US9443284B1 (en) 2016-09-13
JP2016174349A (ja) 2016-09-29
KR20160111837A (ko) 2016-09-27

Similar Documents

Publication Publication Date Title
KR101756548B1 (ko) Awb(자동 화이트 밸런스) 보상을 위한 방법 및 그 사용 장치
CN111028189B (zh) 图像处理方法、装置、存储介质及电子设备
KR101731729B1 (ko) Hdr(하이 다이나믹 레인지) 이미지를 생성하기 위한 방법 및 그 사용 장치
US10021313B1 (en) Image adjustment techniques for multiple-frame images
US20120127336A1 (en) Imaging apparatus, imaging method and computer program
JP2012217102A (ja) 画像処理装置、及びその制御方法及びプログラム
JP2013106149A (ja) 撮像装置、その制御方法、及びプログラム
JP6720881B2 (ja) 画像処理装置及び画像処理方法
JP7152065B2 (ja) 画像処理装置
JP4999871B2 (ja) 撮像装置およびその制御方法
US9930266B2 (en) Methods for generating HDR (high dynamic range) images and apparatuses using the same
JP2018182376A (ja) 画像処理装置
US9762805B2 (en) Image processing apparatus performing tone correction process and method, and image capturing apparatus performing tone correction process
JP2009004966A (ja) 撮像装置
JP5335964B2 (ja) 撮像装置およびその制御方法
JP6786273B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6316006B2 (ja) 被写体探索装置、その制御方法、および制御プログラム、並びに撮像装置
JP6157274B2 (ja) 撮像装置、情報処理方法及びプログラム
JP2017068513A (ja) 画像処理装置及びその方法、プログラム、記憶媒体
JP2016040870A (ja) 画像処理装置、像形成方法およびプログラム
JP6554009B2 (ja) 画像処理装置、その制御方法、プログラム及び記録媒体
JP2014155000A (ja) 画像処理装置、その制御方法、および制御プログラム
KR101065223B1 (ko) 이미지 센서 및 렌즈 쉐이딩 보정 방법
JP5351663B2 (ja) 撮像装置およびその制御方法
CN114125408A (zh) 图像处理方法及装置、终端和可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant