KR20100095253A - 디지털 영상의 화이트 밸런스 조정 장치 및 방법 - Google Patents

디지털 영상의 화이트 밸런스 조정 장치 및 방법 Download PDF

Info

Publication number
KR20100095253A
KR20100095253A KR1020090014438A KR20090014438A KR20100095253A KR 20100095253 A KR20100095253 A KR 20100095253A KR 1020090014438 A KR1020090014438 A KR 1020090014438A KR 20090014438 A KR20090014438 A KR 20090014438A KR 20100095253 A KR20100095253 A KR 20100095253A
Authority
KR
South Korea
Prior art keywords
gain
white
pixel
input image
white balance
Prior art date
Application number
KR1020090014438A
Other languages
English (en)
Other versions
KR101030393B1 (ko
Inventor
김지혜
조성대
박민규
박희찬
김진호
오윤제
김경태
김춘우
장슬기
Original Assignee
삼성전자주식회사
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 인하대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020090014438A priority Critical patent/KR101030393B1/ko
Priority to US12/638,477 priority patent/US20100214434A1/en
Priority to EP09180559A priority patent/EP2227025B1/en
Publication of KR20100095253A publication Critical patent/KR20100095253A/ko
Application granted granted Critical
Publication of KR101030393B1 publication Critical patent/KR101030393B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

본 발명은 디지털 영상의 화이트 밸런스 조정 방법에 있어서, 입력 영상을 YCbCr 색공간 형태로 변환하는 과정과, 변환된 입력 영상의 각 화소가 YCbCr 색공간(color space)에서 미리 설정된 영역 내에 포함되는지 판단하여 화이트 화소를 검출하는 과정과, 검출된 화이트 화소들의 R, G, B값의 평균으로 각 채널별 이득(gain)을 계산하는 과정과, 계산한 각 채널별 이득을 입력 영상의 각 화소에 적용하여 화이트 밸런스 조정을 수행하는 과정과, 상기 채널별 이득 중에서 특정 채널의 이득을 이용하여 상기 입력 영상의 광원을 구분하는 과정과, 상기 구분된 광원에 해당하는 컬러 매칭 행렬을 적용하여 컬러 매칭을 수행하는 과정을 포함한다.
화이트 밸런스, 컬러 매칭 행렬, 광원, 휘도

Description

디지털 영상의 화이트 밸런스 조정 장치 및 방법{APPARATUS AND METHOD FOR ADJUSTING WHITE BALANCE OF DIGITAL IMAGE}
본 발명은 디지털 영상을 처리하는 장치 및 방법에 관한 것으로서, 특히 디지털 영상의 화이트 밸런스를 조정하는 장치 및 방법에 관한 것이다.
컬러의 영상을 제공하거나 촬영하기 위한 영상 장치는 재생되는 영상 또는 촬영된 영상을 사용자가 인식한 피사체와 동일하거나 거의 유사한 정도로 색을 유지하기 위해서 화이트 밸런스(White balance) 조정을 하게된다.
피사체가 촬영되는 조건 중에서 특히 피사체를 조명하는 광원(ex 태양광, 형광등, 백열등) 또는 피사체가 촬영되는 외부 배경으로 인해서, 피사체의 색이 최초에 사용자가 인지한 색과 다른 색감을 갖는 영상이 촬영 또는 재생될 수 있다. 인간은 조명과 장소가 달라지더라도 색에 대한 순응성을 가지고 있기 때문에 색의 변화를 느끼지 못하나, 디지털 카메라 또는 영상을 재생하기 위한 수단과 같은 기기들은 색에 대한 순응성이 없기 때문에 사용자가 느낀 피사체의 색감이 실제 촬영 또는 재생되는 영상의 색과 다를 수 있다.
화이트 밸런스는 상술한 바와 같이 사용자가 인식한 피사체의 색과 다른 색 감을 갖는 영상을 최초 사용자가 인식한 색과 동일하거나 거의 유사한 정도로 조정하는 과정을 의미한다. 화이트 밸런스는 영상에 포함된 영역들 중에서 흰색의 영역을 기준으로 하며, 촬영되는 피사체를 조명하는 광원 또는 주변 배경에 따라서 변화된 흰색을 사용자가 인지한 최초의 흰색으로 되돌리는 보정 방법이다.
화이트 밸런스 조정 방법으로는 촬영 시 이용된 배경 조명의 종류(광원)를 추정하고, 추정된 배경 조명에 따라서 화이트 밸런스를 조정하는 방법이 있다. 이 방법은 영상의 흰색 영역을 찾아서 그에 해당하는 영상 정보 RGB 값의 평균 또는 색차 신호((R-Y)(B-Y))의 평균을 이용해서 각 채널의 이득을 조절하는 방법이다. 그 외, 광원을 추정하지 않는 방법에는 영상 전체의 채널별 평균값을 이용하여 각 채널의 이득을 조절하는 방법이 있다. 이 방법은 입력 영상이 충분한 색상 변화를 가질 경우 각 채널의 평균으로 이루어진 색상을 회색이라고 가정한다. 즉, 각 채널의 평균값이 동일해지도록 영상의 RGB 값의 이득을 조절하면 영상의 화이트 밸런스를 재현할 수 있다.
상기 배경 조명을 추정하여 화이트 밸런스를 조정하는 방법은 영상의 흰색 영역을 찾는 과정이 선행되어야 한다. 따라서 입력 영상이 흰색 영역을 포함하는 경우에만 화이트 밸런스를 조정할 수 있으며, 영상의 흰색 영역을 정확하게 검출하지 못하면 화이트 밸런스 조정의 성능이 저하될 수 있다.
또한 배경 조명을 추정하여 화이트 밸런스를 조정하는 방법은 촬영 시 센서의 특성을 고려하지 않은 단순한 화이트 검출 방법이기 때문에 화이트 밸런스 후의 성능이 좋지 않다. 또한 화이트 밸런스 조정 후 컬러 매칭 시에 광원에 상관없이 하나의 변환 행렬(또는 룩업 테이블(lookup table))을 사용하기 때문에 광원에 따라서 색이 달라 보일 수 있다.
본 발명은 흰색을 포함하는 영상에 대해서 광원에 의한 색의 왜곡을 최소화하기 위한 화이트 밸런스 조정 장치 및 방법을 제공하고자 한다.
이를 달성하기 위한 본 발명의 일 형태에 따르면, 디지털 영상의 화이트 밸런스 조정 방법에 있어서, 입력 영상을 YCbCr 색공간 형태로 변환하는 과정과, 상기 변환된 입력 영상의 각 화소가 YCbCr 색공간(color space)에서 미리 설정된 영역 내에 포함되는지 판단하여 화이트 화소를 검출하는 과정과, 상기 검출된 화이트 화소들의 R, G, B값의 평균으로 각 채널별 이득(gain)을 계산하는 과정과, 상기 계산한 각 채널별 이득을 상기 입력 영상의 각 화소에 적용하여 화이트 밸런스 조정을 수행하는 과정을 포함함을 특징으로 하며,
상기 채널별 이득 중에서 특정 채널의 이득을 이용하여 상기 입력 영상의 광원을 구분하는 과정과, 상기 구분된 광원에 해당하는 컬러 매칭 행렬을 적용하여 컬러 매칭을 수행하는 과정을 더 포함함을 특징으로 하며,
상기 변환된 영상의 각 화소가 YCbCr 색공간에서 미리 설정된 영역 내에 포함되는지 판단하여 화이트 화소를 검출하는 과정은, 각 광원에서 'Macbeth color checker'의 그레이 패치를 촬영한 영상을 YCbCr 색공간 형태로 변환하는 과정과, 상기 각 광원에서 촬영하여 YCbCr 색공간 형태로 변환된 각 영상을 |Cb|+|Cr|과 휘도(Y)의 관계를 나타낸 1차함수 그래프로 모델링하는 과정과, 상기 각 광원마다, 상기 모델링된 1차함수 그래프의 기울기에서 미리 설정된 기울기 값만큼 차이가 나는 두 개의 1차함수 그래프를 계산하는 과정과, 입력 영상의 화소가 상기 각 광원마다 계산된 두 개의 1차함수 그래프 사이의 영역에 포함되는지 판단하는 과정과, 상기 입력 영상의 화소가 상기 각 광원마다 계산된 두 개의 1차함수 그래프 사이의 영역에 포함되는 경우 상기 입력 영상의 화소를 화이트 화소로 판단하는 과정을 포함함을 특징으로 한다.
본 발명의 다른 형태에 따르면, 디지털 영상의 화이트 밸런스 조정 장치에 있어서, 입력 영상을 YCbCr 색공간 형태로 변환하는 영상 변환부와, 상기 변환된 입력 영상의 각 화소가 YCbCr 색공간(color space)에서 미리 설정된 영역 내에 포함되는지 판단하여 화이트 화소를 검출하는 화이트 검출부와, 상기 검출된 화이트 화소들의 R, G, B값의 평균으로 각 채널별 이득(gain)을 계산하는 이득 계산부와, 상기 계산한 각 채널별 이득을 상기 입력 영상의 각 화소에 적용하여 화이트 밸런스 조정을 수행하는 화이트 밸런스 수행부를 포함함을 특징으로 하며,
상기 채널별 이득 중에서 특정 채널의 이득을 이용하여 상기 입력 영상의 광원을 구분하고, 상기 구분된 광원에 해당하는 컬러 매칭 행렬을 적용하여 컬러 매칭을 수행하는 컬러 매칭 수행부를 더 포함함을 특징으로 하며,
상기 화이트 검출부는, 각 광원에서 'Macbeth color checker'의 그레이 패치를 촬영한 영상을 YCbCr 색공간 형태로 변환하며, 상기 각 광원에서 촬영하여 YCbCr 색공간 형태로 변환된 각 영상을 |Cb|+|Cr|과 휘도(Y)의 관계를 나타낸 1차함수 그래프로 모델링하며, 상기 각 광원마다 상기 모델링된 1차함수 그래프의 기 울기에서 미리 설정된 기울기 값만큼 차이가 나는 두 개의 1차함수 그래프를 계산하며, 입력 영상의 화소가 상기 각 광원마다 계산된 두 개의 1차함수 그래프 사이의 영역에 포함되는지 판단하며, 상기 입력 영상의 화소가 상기 각 광원마다 계산된 두 개의 1차함수 그래프 사이의 영역에 포함되는 경우 상기 입력 영상의 화소를 화이트 화소로 판단하는 것을 특징으로 한다.
본 발명은 흰색을 포함하는 영상의 화이트 영역을 정확히 검출하여 화이트 밸런스 조정의 성능을 향상시킬 수 있으며, 이에 따라 광원에 따른 색의 왜곡을 최소화하고 영상의 품질을 향상시키는 효과가 있다.
이하 첨부된 도면을 참조하여 본 발명을 구성하는 장치 및 동작 방법을 본 발명의 실시 예를 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
본 발명은 디지털 영상의 화이트 밸런스를 조정하여 흰색을 포함하는 영상에 대해 광원에 따른 색의 왜곡을 최소화하고 영상의 품질을 향상시킨다. 이를 위 해 본 발명은 입력된 영상을 YCbCr 색공간(color space) 형태로 변환하고, 'Macbeth color checker'의 24개의 패치중에서 제일 아래에 위치한 6개의 패치를 각 광원에 대하여 촬영한 영상의 |Cb|+|Cr|과 휘도(Y)와의 관계를 나타낸 그래프를 1차함수 그래프로 모델링하여 모델링된 1차함수 그래프를 이용하여 입력된 영상의 화이트 화소를 검출한다. 그리고 검출된 화이트 화소들의 R, G, B 평균으로부터 R, G, B 이득(gain)을 계산하고, 계산된 R, G, B 이득을 이용하여 화이트 밸런스를 조정하며, 특정 채널의 이득으로 광원을 구분하고 구분된 광원에 해당하는 컬러 매칭 행렬을 적용하는 것을 특징으로 한다. 이하 도면을 참조하여 본 발명의 일 실시 예에 따른 화이트 밸런스 조정 장치 및 방법에 대해 더욱 상세히 살펴보기로 한다.
도 1은 본 발명의 일 실시 예에 따른 화이트 밸런스 조정 장치의 블록 구성도이다.
본 발명의 일 실시 예에 따른 화이트 밸런스 조정 장치는 영상 변환부(110)와, 화이트 검출부(120)와, 이득 계산부(130)와, 화이트 밸런스 수행부(140)와, 컬러 매칭 수행부(150)를 포함한다.
영상 변환부(110)는 입력된 영상의 각 픽셀의 RGB(Red, Green, Blue)값을 이용하여 입력된 영상을 YCbCr 색공간 형태로 변환한다. YCbCr 변환은 하기의 수학식 1을 이용한다.
Figure 112009010746360-PAT00001
상기 수학식 1의 R, G, B는 해당 픽셀의 R, G, B 픽셀값이며, Y는 휘도성분이며 Cb와 Cr은 색차성분을 나타낸다.
화이트 검출부(120)는 영상 변환부(110)로부터 YCbCr 색공간 형태로 변환된 정보를 전달받아 화이트 화소를 검출한다.
먼저 화이트 검출부(120)는 'Macbeth color checker'의 24개의 패치중에서 제일 아래에 위치한 6개의 그레이 패치에 대해 각각 |Cb|+|Cr|과 Y에 대한 1차함수 그래프를 모델링한다. 상기 'Macbeth color checker'는 도 8의 800에 도시되며 일반적으로 영상의 채도 레벨 측정에 사용하는 시험 차트이다.
도 2는 각 광원별로 'Macbeth color checker'의 24개의 패치중에서 제일 아래에 위치한 6개의 그레이 패치를 각 광원에서 CMOS(complementary metal-oxide semiconductor) 센서로 촬영 후 YCbCr 색공간 형태로 변환하여 CbCr 평면에 도시한 그래프이다. 본 발명의 일 실시 예에서는 Horizon, A, U30, Cool white, D65의 다섯가지 광원을 이용한다. 도 2를 참조하면 다섯 가지 광원에서 상기 6개의 그레이 패치에 대한 CbCr을 나타내는 그래프는 Horizon, A, U30, Cool white, D65의 각 광원의 순서대로 왼쪽 위에서 오른쪽 아래에 표시된다.
또한 각 그래프들은 휘도가 커질수록 그레이 축(Cb=Cr=0)으로부터 멀어지는 특징이 있다. 이러한 특징으로 인해 |Cb|+|Cr|이 커질수록 휘도가 커진다. 도 3은 각 광원별로 'Macbeth color checker'의 그레이 패치를 촬영한 영상의 |Cb|+|Cr|과 휘도(Y)를 나타낸 그래프이다.
도 3의 그래프는 |Cb|+|Cr|과 휘도가 비례하기 때문에 1차함수 그래프로 모델링할 수 있다. 도 4는 각 광원별로 'Macbeth color checker'의 그레이 패치를 촬영한 영상의 |Cb|+|Cr|과 휘도(Y)를 나타낸 그래프를 1차함수 그래프로 모델링하여 표시한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 화이트 밸런스 조정 시 영상의 화이트 검출을 위해 모델링된 1차함수 그래프에서 화이트로 검출되는 기울기 범위를 도시한 도면이다. 본 발명은 각 광원 별로 모델링된 1차함수 그래프의 기울기에서 미리 설정된 만큼 더하거나 뺀 기울기를 가지는 두 개의 새로운 1차함수 그래프를 계산하고, 그 두 개의 새로운 1차함수 그래프 영역 내에 입력된 영상의 화소가 포함되는지 판단하여 화이트 화소인지 여부를 판단한다. 즉, 특정 광원의 휘도와 |Cb|+|Cr| 관계를 1차함수 그래프인 Y=aX+b 의 형태로 모델링하고, 모델링된 1차함수 그래프의 기울기에서 미리 설정된 기울기 값인 tol만큼 차이 나는 두 개의 1차함수 그래프를 도 5에 도시한 바와 같이 계산한다. 그리고 입력된 영상의 화소가 상기 계산된 두 개의 1차함수 그래프의 사이 영역에 포함되면 화이트 화소로 판단한다.
또한 휘도가 입력 영상의 평균 휘도의 미리 설정된 배수인 c배보다 큰 경우 에도 화이트 화소로 판단한다. 이러한 화이트 검출은 하기의 수학식 2 및 수학식 3에 의해 수행된다.
(a-tol)(|Cb|+|Cr|)+b < Y < (a+tol)(|Cb|+|Cr|)+b
상기 수학식 2의 a는 특정 광원의 휘도와 |Cb|+|Cr|의 관계를 나타내는 모델링된 1차함수 그래프의 기울기이고, b는 y절편, tol는 미리 설정된 기울기 범위이며, Y는 입력 영상의 휘도를 나타낸다.
Figure 112009010746360-PAT00002
상기 수학식 3의
Figure 112009010746360-PAT00003
는 입력 영상의 평균 휘도이고, c는 평균 휘도에 곱해지는 미리 설정된 상수를 나타낸다.
상기 수학식 2의 경우 5개 광원에 대해 계산된 두 개의 1차함수 그래프에 대해서 모두 적용한다. 즉 5개의 광원으로 도출된 식을 모두 만족하는 화소를 화이트 화소로 판단하여 검출한다.
또한 입력 영상의 RGB가 그레이와 가깝다면, 즉 입력 영상의 Cb와 Cr이 동시에 0에 근접하면 화이트 검출 시 제외한다. 이에 입력 영상의 Cb와 Cr의 절대값이 미리 설정된 문턱값보다 작은 경우 그레이와 가깝다고 판단하여 화이트 검출 시 제외한다.
이는 검출된 화이트로 자동 화이트 밸런스에서 사용될 RGB 이득을 계산하는 데, 계산 시 그레이가 포함된다면 이득 계산이 잘못되어 자동 화이트 밸런스 결과 영상이 색을 띌 수 있기 때문이다. 따라서 수학식 2 또는 수학식 3을 만족하면서 더불어 하기의 수학식 4도 만족하는 경우에 화이트 화소로 판단한다.
Cb <　TH　or Cb >　TH
Cr <　TH　or Cr >　TH
상기 수학식 4에서 Th는 미리 설정된 문턱값이며 그레이를 검출하기 위한 기준이 된다.
도 6은 본 발명의 일 실시 예에 따른 화이트 밸런스 조정 시 각 광원에 따른 화이트 검출 결과를 도시한 도면이다. 도 6은 각 광원 별 'Macbeth color checker'에 대해서 화이트 검출 전 영상과 화이트 검출 결과 영상을 나타낸다. 도 6에 도시된 각 오른쪽 영상에서 흰색으로 표시된 영역은 화이트 화소가 검출된 영역을 나타낸다.
이득 계산부(130)는 화이트 밸런스 조정을 수행하기 위해 검출된 화이트 화소들의 R, G, B 평균으로부터 R, G, B 이득을 계산한다. 이득 계산은 하기의 수학식 5를 이용한다.
Figure 112009010746360-PAT00004
상기 수학식 5에서
Figure 112009010746360-PAT00005
는 상기 화이트 검출부(120)에서 검출한 화이트 화소들의 R값의 평균이며,
Figure 112009010746360-PAT00006
는 상기 화이트 검출부(120)에서 검출한 화이트 화소들의 G값의 평균이며,
Figure 112009010746360-PAT00007
는 상기 화이트 검출부(120)에서 검출한 화이트 화소들의 B값의 평균이다. 상기 수학식 5에서 Rgain은 R 이득이며, Ggain은 G 이득이며, Bgain은 B 이득이다.
화이트 밸런스 수행부(140)는 상기 수학식 4에 의해 계산된 R, G, B 이득을 이용하여 화이트 밸런스 조정을 수행한다. 화이트 밸런스 조정은 입력 영상의 모든 화소에 하기의 수학식 6을 적용하여 수행된다.
Figure 112009010746360-PAT00008
상기 수학식 6에서 R', G', B'는 화이트 밸런스가 수행된 화소값이 된다.
컬러 매칭 수행부(150)는 화이트 밸런스가 수행된 영상에 컬러 매칭 행렬을 적용한다.
도 7은 R, G, B 별 각 광원의 이득 값을 나타낸 도면이다. 도 7을 참조하면, R 이득과 B 이득은 광원에 따라 다른 값을 가지며 G 이득은 광원에 상관없이 비슷한 값을 나타낸다. 이에 광원 구분을 위해 R 이득 또는 B 이득이 사용될 수 있다.
상기 화이트 밸런스 수행부(140)에서 화이트 밸런스를 수행 후에 컬러 매칭 수행부(150)는 컬러 매칭을 위한 행렬을 적용한다.
도 8은 본 발명의 일 실시 예에 따른 화이트 밸런스 조정 시 수행되는 컬러 매칭 행렬을 만드는 과정을 도시한 도면이다.
컬러 매칭 행렬을 계산하기 위해서는 먼저 'Macbeth color checker'(800)를 Horizon, A, U30, Cool white, D65의 다섯 개의 광원에서 촬영 후 화이트 밸런스를 수행(810)하여 각 패치의 R, G, B값을 획득(820)한다. 또한 24개 패치의 Lab를 측정(840)하고, 측정한 Lab를 RGB 형태로 표현(830)하여 R', G', B'로 변환한다(850). 이 경우 화이트 밸런스 수행 후 획득된 각 패치의 R, G, B와 Lab로부터 변환된 R', G', B' 사이를 선형 변환(linear transformation)하는 행렬(860)이 컬러 매칭 행렬이 된다. 이때 컬러가 광원별로 다르기 때문에 광원별로 컬러 매칭 행렬을 계산하며, 컬러 매칭 행렬을 계산하기 위해 회귀(Regression)분석을 수행할 수 있다.
상기 Lab은 Lab 색공간의 값을 나타내며, Lab 색공간은 세계적으로 표준화된 색공간으로서 색 좌표 L*, a*, b*로 표시되며, L*는 명도, a*는 Red와 Green의 정도, b*는 Yellow와 Blue의 정도를 나타내는 입체 좌표이다.
도 9는 본 발명의 일 실시 예에 따른 화이트 밸런스 조정 방법의 동작 흐름도이다. 도 9를 참조하면 먼저 910단계에서 영상이 입력되면, 920단계에서 입력된 영상의 RGB 값을 이용하여 영상을 YCbCr 색공간으로 변경한다. 다음 930단계에서는 영상의 화이트 화소를 검출한다. 화이트 화소 검출은 'Macbeth color checker'의 24개의 패치중에서 제일 아래에 위치한 6개의 그레이 패치에 대해 각 광원마다 |Cb|+|Cr|과 휘도(Y)와의 관계를 나타낸 그래프를 1차함수 그래프로 모델링하고, 각 광원마다 모델링된 1차함수 그래프의 기울기와 미리 설정된 만큼 기울기가 차이나는 두 개의 1차함수 그래프를 계산하며, 계산된 두 개의 그래프 사이의 영역에 입력 영상의 화소가 포함되면 해당 입력 영상의 화소를 화이트 화소로 판단하여 검출한다. 이때 입력 영상의 화소는 모든 광원의 새로 계산된 두 개의 그래프 사이에 포함되어야 한다. 또한 입력 영상의 화소의 휘도가 입력 영상 전체의 평균 휘도보다 특정 배 이상 크면 화이트 화소로 판단하여 검출한다. 이때 입력 화소의 Cb와 Cr이 0에 가까운 그레이 화소는 제외한다.
다음 940단계에서는 상기 930단계에서 검출된 화이트 화소들의 R, G, B평균으로부터 R, G, B 이득을 계산한다. 다음 950단계에서는 상기 940단계에서 계산된 R, G, B 이득을 이용하여 화이트 밸런스 조정을 수행한다. 다음 960단계에서는 영 상의 R 이득 및/또는 B 이득을 이용하여 광원을 구분하고 광원에 해당되는 컬러 매칭 행렬을 적용하여 컬러 매칭을 수행한다. 이때 각 광원의 컬러 매칭 행렬은 상기 도 8에서 설명한 과정에 따라 계산한다.
본 발명은 상기 과정에 따라 화이트 밸런스 조정을 수행하여 광원에 따른 색의 왜곡을 최소화 하고 영상의 품질을 향상시킬 수 있다.
한편 상기한 본 발명의 설명에서는 일 실시 예에 따른 디지털 영상의 화이트 밸런스 조정 장치에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 화이트 밸런스 조정 장치의 블록 구성도
도 2는 각 광원별로 'Macbeth color checker'의 그레이 패치를 촬영한 영상의 CbCr을 나타낸 그래프
도 3은 각 광원별로 'Macbeth color checker'의 그레이 패치를 촬영한 영상의 |Cb|+|Cr|과 휘도(Y)를 나타낸 그래프
도 4는 각 광원별로 'Macbeth color checker'의 그레이 패치를 촬영한 영상의 |Cb|+|Cr|과 휘도(Y)를 나타낸 그래프가 1차함수 그래프로 모델링하여 표시한 도면
도 5는 본 발명의 일 실시 예에 따른 화이트 밸런스 조정 시 영상의 화이트 검출을 위해 모델링된 1차함수 그래프에서 화이트로 검출되는 기울기 범위를 도시한 도면
도 6은 본 발명의 일 실시 예에 따른 화이트 밸런스 조정 시 각 광원에 따른 화이트 검출 결과를 도시한 도면
도 7은 각 RGB 별 각 광원의 이득(Gain) 값을 나타낸 도면
도 8은 본 발명의 일 실시 예에 따른 화이트 밸런스 조정 시 수행되는 컬러 매칭 행렬을 만드는 과정을 도시한 도면
도 9는 본 발명의 일 실시 예에 따른 화이트 밸런스 조정 방법의 동작 흐름도

Claims (22)

  1. 디지털 영상의 화이트 밸런스 조정 방법에 있어서,
    입력 영상을 YCbCr 색공간 형태로 변환하는 과정과,
    상기 변환된 입력 영상의 각 화소가 YCbCr 색공간(color space)에서 미리 설정된 영역 내에 포함되는지 판단하여 화이트 화소를 검출하는 과정과,
    상기 검출된 화이트 화소들의 R, G, B값의 평균으로 각 채널별 이득(gain)을 계산하는 과정과,
    상기 계산한 각 채널별 이득을 상기 입력 영상의 각 화소에 적용하여 화이트 밸런스 조정을 수행하는 과정을 포함함을 특징으로 하는 화이트 밸런스 조정 방법.
  2. 제1항에 있어서,
    상기 채널별 이득 중에서 특정 채널의 이득을 이용하여 상기 입력 영상의 광원을 구분하는 과정과,
    상기 구분된 광원에 해당하는 컬러 매칭 행렬을 적용하여 컬러 매칭을 수행하는 과정을 더 포함함을 특징으로 하는 화이트 밸런스 조정 방법.
  3. 제1항에 있어서, 상기 입력 영상을 YCbCr 색공간 형태로 변환하는 과정은,
    하기의 수학식 1을 이용하는 것을 특징으로 하는 화이트 밸런스 조정 방법.
    [수학식 1]
    Figure 112009010746360-PAT00009
    상기 수학식 1의 R, G, B는 해당 픽셀의 R, G, B 픽셀값이며, Y는 휘도성분이며 Cb와 Cr은 색차성분을 나타냄.
  4. 제1항에 있어서, 상기 변환된 영상의 각 화소가 YCbCr 색공간에서 미리 설정된 영역 내에 포함되는지 판단하여 화이트 화소를 검출하는 과정은,
    각 광원에서 'Macbeth color checker'의 그레이 패치를 촬영한 영상을 YCbCr 색공간 형태로 변환하는 과정과,
    상기 각 광원에서 촬영하여 YCbCr 색공간 형태로 변환된 각 영상을 |Cb|+|Cr|과 휘도(Y)의 관계를 나타낸 1차함수 그래프로 모델링하는 과정과,
    상기 각 광원마다, 상기 모델링된 1차함수 그래프의 기울기에서 미리 설정된 기울기 값만큼 차이가 나는 두 개의 1차함수 그래프를 계산하는 과정과,
    입력 영상의 화소가 상기 각 광원마다 계산된 두 개의 1차함수 그래프 사이의 영역에 포함되는지 판단하는 과정과,
    상기 입력 영상의 화소가 상기 각 광원마다 계산된 두 개의 1차함수 그래프 사이의 영역에 포함되는 경우 상기 입력 영상의 화소를 화이트 화소로 판단하는 과정을 포함함을 특징으로 하는 화이트 밸런스 조정 방법.
  5. 제4항에 있어서, 상기 입력 영상의 화소의 휘도가 상기 입력 영상의 전체 화소의 평균 휘도보다 미리 설정된 배수 이상 큰 경우에도, 상기 입력 영상의 화소를 화이트 화소로 판단하는 과정을 더 포함함을 특징으로 하는 화이트 밸런스 조정 방법.
  6. 제5항에 있어서, 상기 화이트 화소로 판단된 화소 중에서, Cb값과 Cr값의 절대값이 미리 설정된 문턱값보다 작은 화소는 화이트 화소가 아닌 것으로 판단하는 과정을 더 포함함을 특징으로 하는 화이트 밸런스 조정 방법.
  7. 제1항에 있어서, 상기 검출된 화이트 화소들의 R, G, B값의 평균으로 각 채널별 이득(gain)을 계산하는 과정은,
    하기의 수학식 5를 이용하는 것을 특징으로 하는 화이트 밸런스 조정 방법.
    [수학식 5]
    Figure 112009010746360-PAT00010
    Figure 112009010746360-PAT00011
    은 상기 검출된 화이트 화소들의 R값의 평균이며,
    Figure 112009010746360-PAT00012
    는 상기 검출된 화 이트 화소들의 G값의 평균이며,
    Figure 112009010746360-PAT00013
    는 상기 검출된 화이트 화소들의 B값의 평균이며, Rgain은 R 이득, Ggain은 G 이득, Bgain은 B 이득임.
  8. 제1항에 있어서, 상기 계산한 각 채널별 이득을 영상의 각 화소에 적용하여 화이트 밸런스 조정을 수행하는 과정은,
    상기 입력 영상의 모든 화소에 하기의 수학식 6을 적용하여 수행하는 것을 특징으로 하는 화이트 밸런스 조정 방법.
    [수학식 6]
    Figure 112009010746360-PAT00014
    상기 수학식 6에서 R', G', B'는 화이트 밸런스가 수행된 화소값이며, Rgain은 R 이득, Ggain은 G 이득, Bgain은 B 이득임.
  9. 제2항에 있어서, 상기 특정 채널의 이득은,
    R 이득 또는 B 이득임을 특징으로 하는 화이트 밸런스 조정 방법.
  10. 제2항에 있어서, 상기 컬러 매칭 행렬은,
    'Macbeth color checker'를 각 광원에서 촬영 후 화이트 밸런스를 수행하고, 상기 'Macbeth color checker'의 각 패치의 제1 R, G, B값을 획득하고, 상기 각 패치의 Lab를 측정하여 제2 R, G, B값으로 변환하며, 상기 제1 R, G, B값과 상기 제2 R, G, B값 사이를 선형 변환하여 계산된 행렬임을 특징으로 하는 화이트 밸런스 조정 방법.
  11. 제4항 또는 제10항중 한 항에 있어서, 상기 각 광원은 Horizon, A, U30, Cool white, D65임을 특징으로 하는 화이트 밸런스 조정 방법.
  12. 디지털 영상의 화이트 밸런스 조정 장치에 있어서,
    입력 영상을 YCbCr 색공간 형태로 변환하는 영상 변환부와,
    상기 변환된 입력 영상의 각 화소가 YCbCr 색공간(color space)에서 미리 설정된 영역 내에 포함되는지 판단하여 화이트 화소를 검출하는 화이트 검출부와,
    상기 검출된 화이트 화소들의 R, G, B값의 평균으로 각 채널별 이득(gain)을 계산하는 이득 계산부와,
    상기 계산한 각 채널별 이득을 상기 입력 영상의 각 화소에 적용하여 화이트 밸런스 조정을 수행하는 화이트 밸런스 수행부를 포함함을 특징으로 하는 화이트 밸런스 조정 장치.
  13. 제 12항에 있어서,
    상기 채널별 이득 중에서 특정 채널의 이득을 이용하여 상기 입력 영상의 광원을 구분하고, 상기 구분된 광원에 해당하는 컬러 매칭 행렬을 적용하여 컬러 매칭을 수행하는 컬러 매칭 수행부를 더 포함함을 특징으로 하는 화이트 밸런스 조정 장치.
  14. 제12항에 있어서, 영상 변환부는,
    하기의 수학식 1을 이용하여 상기 입력 영상을 YCbCr 색공간 형태로 변환하는 것을 특징으로 하는 화이트 밸런스 조정 장치.
    [수학식 1]
    Figure 112009010746360-PAT00015
    상기 수학식 1의 R, G, B는 해당 픽셀의 R, G, B 픽셀값이며, Y는 휘도성분이며 Cb와 Cr은 색차성분을 나타냄.
  15. 제12항에 있어서, 상기 화이트 검출부는,
    각 광원에서 'Macbeth color checker'의 그레이 패치를 촬영한 영상을 YCbCr 색공간 형태로 변환하며, 상기 각 광원에서 촬영하여 YCbCr 색공간 형태로 변환된 각 영상을 |Cb|+|Cr|과 휘도(Y)의 관계를 나타낸 1차함수 그래프로 모델링하며, 상기 각 광원마다 상기 모델링된 1차함수 그래프의 기울기에서 미리 설정된 기울기 값만큼 차이가 나는 두 개의 1차함수 그래프를 계산하며, 입력 영상의 화소가 상기 각 광원마다 계산된 두 개의 1차함수 그래프 사이의 영역에 포함되는지 판단하며, 상기 입력 영상의 화소가 상기 각 광원마다 계산된 두 개의 1차함수 그래프 사이의 영역에 포함되는 경우 상기 입력 영상의 화소를 화이트 화소로 판단하는 것을 특징으로 하는 화이트 밸런스 조정 장치.
  16. 제15항에 있어서, 상기 화이트 검출부는,
    상기 입력 영상의 화소의 휘도가 상기 입력 영상의 전체 화소의 평균 휘도보다 미리 설정된 배수 이상 큰 경우에 상기 입력 영상의 화소를 화이트 화소로 판단하는 것을 특징으로 하는 화이트 밸런스 조정 장치.
  17. 제16항에 있어서, 상기 화이트 검출부는,
    상기 화이트 화소로 판단된 화소 중에서, Cb값과 Cr값의 절대값이 미리 설정된 문턱값보다 작은 화소는 화이트 화소가 아닌 것으로 판단하는 것을 특징으로 하는 화이트 밸런스 조정 장치.
  18. 제12항에 있어서, 상기 이득 계산부는,
    하기의 수학식 5를 이용하여 이득을 계산하는 것을 특징으로 하는 화이트 밸런스 조정 장치.
    [수학식 5]
    Figure 112009010746360-PAT00016
    상기
    Figure 112009010746360-PAT00017
    은 상기 검출된 화이트 화소들의 R값의 평균이며,
    Figure 112009010746360-PAT00018
    는 상기 검출된 화이트 화소들의 G값의 평균이며,
    Figure 112009010746360-PAT00019
    는 상기 검출된 화이트 화소들의 B값의 평균이며, Rgain은 R 이득, Ggain은 G 이득, Bgain은 B 이득임.
  19. 제12항에 있어서, 상기 화이트 밸런스 수행부는,
    상기 입력 영상의 모든 화소에 하기의 수학식 6을 적용하여 화이트 밸런스를 수행하는 것을 특징으로 하는 화이트 밸런스 조정 장치.
    [수학식 6]
    Figure 112009010746360-PAT00020
    상기 수학식 6에서 R', G', B'는 화이트 밸런스가 수행된 화소값이며, Rgain은 R 이득, Ggain은 G 이득, Bgain은 B 이득임.
  20. 제13항에 있어서, 상기 특정 채널의 이득은,
    R 이득 또는 B 이득임을 특징으로 하는 화이트 밸런스 조정 장치.
  21. 제13항에 있어서, 상기 컬러 매칭 행렬은,
    'Macbeth color checker'를 각 광원에서 촬영 후 화이트 밸런스를 수행하고, 상기 'Macbeth color checker'의 각 패치의 제1 R, G, B값을 획득하고, 상기 각 패치의 Lab를 측정하여 제2 R, G, B값으로 변환하며, 상기 제1 R, G, B값과 상기 제2 R, G, B값 사이를 선형 변환하여 계산된 행렬임을 특징으로 하는 화이트 밸런스 조정 장치.
  22. 제15항 또는 제21항중 한 항에 있어서, 상기 각 광원은 Horizon, A, U30, Cool white, D65임을 특징으로 하는 화이트 밸런스 조정 장치.
KR1020090014438A 2009-02-20 2009-02-20 디지털 영상의 화이트 밸런스 조정 장치 및 방법 KR101030393B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020090014438A KR101030393B1 (ko) 2009-02-20 2009-02-20 디지털 영상의 화이트 밸런스 조정 장치 및 방법
US12/638,477 US20100214434A1 (en) 2009-02-20 2009-12-15 Apparatus and method for adjusting white balance of digital image
EP09180559A EP2227025B1 (en) 2009-02-20 2009-12-23 Apparatus and method for adjusting white balance of digital image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090014438A KR101030393B1 (ko) 2009-02-20 2009-02-20 디지털 영상의 화이트 밸런스 조정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100095253A true KR20100095253A (ko) 2010-08-30
KR101030393B1 KR101030393B1 (ko) 2011-04-20

Family

ID=42315810

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090014438A KR101030393B1 (ko) 2009-02-20 2009-02-20 디지털 영상의 화이트 밸런스 조정 장치 및 방법

Country Status (3)

Country Link
US (1) US20100214434A1 (ko)
EP (1) EP2227025B1 (ko)
KR (1) KR101030393B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101385755B1 (ko) * 2012-11-12 2014-04-17 삼성전기주식회사 이미지 센서 교정 장치 및 방법
KR20200078212A (ko) * 2018-12-21 2020-07-01 한화테크윈 주식회사 화이트 밸런싱을 수행하는 방법

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5627622B2 (ja) * 2012-03-15 2014-11-19 株式会社東芝 固体撮像装置および携帯情報端末
CN103761948B (zh) * 2013-12-30 2017-11-21 华显光电技术（惠州）有限公司 白平衡调试方法和装置以及显示器的显示方法和装置
CN104316192B (zh) * 2014-10-27 2016-08-24 京东方科技集团股份有限公司 图像显示质量的测试方法、测试平台和系统
KR102285756B1 (ko) 2015-02-13 2021-08-05 삼성전자주식회사 전자 시스템 및 영상 처리 방법
KR102356456B1 (ko) 2015-05-19 2022-01-27 삼성전자주식회사 초박막 무기물 반도체 제조방법 및 이를 이용한 3차원 반도체 소자 제조방법
CN106060507A (zh) * 2016-04-26 2016-10-26 乐视控股（北京）有限公司 一种24色色卡色块区域快速自动定位的系统及方法
CN105825798A (zh) * 2016-04-29 2016-08-03 深圳市计量质量检测研究院 一种基于视觉感知的显示屏色彩还原测试方法
US11457189B2 (en) * 2019-06-20 2022-09-27 Samsung Electronics Co., Ltd. Device for and method of correcting white balance of image
TWI782481B (zh) * 2021-04-13 2022-11-01 偉詮電子股份有限公司 自動白平衡調整方法及自動白平衡調整系統
CN112995634B (zh) * 2021-04-21 2021-07-20 贝壳找房(北京)科技有限公司 图像的白平衡处理方法、装置、电子设备和存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3943167B2 (ja) * 1996-09-10 2007-07-11 富士フイルム株式会社 色変換方法
US5850473A (en) * 1997-01-07 1998-12-15 Lucent Technologies Inc. Method and apparatus for compensating for color variation in a video system
JP3925065B2 (ja) 2000-04-13 2007-06-06 カシオ計算機株式会社 電子カメラ及びオートホワイトバランス制御方法
JP2002135802A (ja) 2000-10-19 2002-05-10 Canon Inc 信号処理装置、撮像装置、信号処理方法および記憶媒体
US7586642B2 (en) * 2003-07-25 2009-09-08 Hoya Corporation Color-space transformation-matrix calculating system and calculating method
US7423779B2 (en) 2004-03-30 2008-09-09 Omnivision Technologies, Inc. Method and apparatus for automatic white balance
JP4434976B2 (ja) * 2005-02-01 2010-03-17 キヤノン株式会社 画像処理装置、プログラム及び画像処理方法
KR101092539B1 (ko) * 2005-02-18 2011-12-14 삼성전자주식회사 화이트 밸런스를 자동 조정하는 영상장치 및 그의 화이트밸런스 조정 방법
TW200632771A (en) * 2005-03-10 2006-09-16 Avisonic Technology Corp Automatic white balance method applicable for color digital image
US8064110B2 (en) * 2005-12-08 2011-11-22 Qualcomm Incorporated Adaptive auto white balance
JP4967440B2 (ja) * 2006-04-03 2012-07-04 ソニー株式会社 撮像装置およびその光源推定装置
JP2008219838A (ja) 2007-03-08 2008-09-18 Matsushita Electric Ind Co Ltd 撮像装置、ホワイトバランス調整装置およびホワイトバランス調整方法
KR100978659B1 (ko) 2008-07-17 2010-08-30 삼성전기주식회사 색신호 이득 제어 장치 및 방법
KR100983037B1 (ko) 2008-07-25 2010-09-17 삼성전기주식회사 자동 화이트 밸런스 조정 방법
US20100158363A1 (en) * 2008-12-19 2010-06-24 Qualcomm Incorporated System and method to detect skin color in an image

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101385755B1 (ko) * 2012-11-12 2014-04-17 삼성전기주식회사 이미지 센서 교정 장치 및 방법
KR20200078212A (ko) * 2018-12-21 2020-07-01 한화테크윈 주식회사 화이트 밸런싱을 수행하는 방법

Also Published As

Publication number Publication date
KR101030393B1 (ko) 2011-04-20
US20100214434A1 (en) 2010-08-26
EP2227025B1 (en) 2012-11-14
EP2227025A1 (en) 2010-09-08

Similar Documents

Publication Publication Date Title
KR101030393B1 (ko) 디지털 영상의 화이트 밸런스 조정 장치 및 방법
US8941755B2 (en) Image processing device with automatic white balance
US8379106B2 (en) Image processing device, image processing method and program product
KR101451982B1 (ko) 디지털 영상 장치에서 화이트 밸런스 조정 장치 및 방법
EP2426928B1 (en) Image processing apparatus, image processing method and program
US6249601B1 (en) Method for determining color of illuminant and apparatus therefor
US6594384B1 (en) Apparatus and method for estimating and converting illuminant chromaticity using perceived illumination and highlight
EP1592227A2 (en) Apparatus and method for determining an image processing parameter from image data at a user-selected image position
JP6234191B2 (ja) マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置
WO2012001948A1 (ja) カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム
TWI549511B (zh) 影像感測裝置及色彩校正矩陣修正方法與查找表建立方法
US20140176759A1 (en) Imaging device, imaging method and imaging program
JP2021182672A (ja) 画像処理装置、画像処理方法、及びプログラム
KR101694621B1 (ko) 이미지 센서의 자동 노출 조절정보를 이용한 밝기 추정장치 및 방법
KR101680446B1 (ko) 컬러 테이블 생성 장치, 카메라 영상 보정/제어 장치 및 그 방법
KR101854432B1 (ko) 역광 프레임을 검출하고, 보정하는 방법 및 장치
KR20160061251A (ko) 영상 처리 장치 및 방법
KR100839093B1 (ko) 입력 영상의 휘도 및 색상 측정 방법 및 장치
KR101867568B1 (ko) 이미지센서 자동 화이트밸런스 기반 공간 색온도 추정 시스템
KR101075773B1 (ko) 화이트 밸런스 조정 방법
KR20110131612A (ko) 센서 특성을 고려한 화이트 검출에 의한 자동 화이트밸런스 설정방법
JP7309415B2 (ja) 画像処理装置、画像処理方法及びプログラム
Zhang et al. High dynamic range content calibration for accurate acquisition and display
KR101964256B1 (ko) 화이트 밸런스 보정 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160330

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170330

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190328

Year of fee payment: 9