KR100915598B1 - 화이트밸런스 자동조정장치 및 방법 - Google Patents

화이트밸런스 자동조정장치 및 방법 Download PDF

Info

Publication number
KR100915598B1
KR100915598B1 KR1020070094868A KR20070094868A KR100915598B1 KR 100915598 B1 KR100915598 B1 KR 100915598B1 KR 1020070094868 A KR1020070094868 A KR 1020070094868A KR 20070094868 A KR20070094868 A KR 20070094868A KR 100915598 B1 KR100915598 B1 KR 100915598B1
Authority
KR
South Korea
Prior art keywords
signal
white balance
value
gain
color
Prior art date
Application number
KR1020070094868A
Other languages
English (en)
Other versions
KR20090029545A (ko
Inventor
이황수
강무성
김성실
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020070094868A priority Critical patent/KR100915598B1/ko
Publication of KR20090029545A publication Critical patent/KR20090029545A/ko
Application granted granted Critical
Publication of KR100915598B1 publication Critical patent/KR100915598B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

본 발명은 화이트밸런스(White Balance) 자동조정장치 및 방법에 관한 것이다.
본 발명에 따른 화이트밸런스 자동조정장치는 RGB 신호의 히스토그램을 칼라별로 평활화하는 히스토그램 평활화부, 평활화된 RGB 신호로부터 변환된 YCbCr 신호 및 기설정된 YCbCr 임계값을 이용하여 RGB 신호의 기준영역을 검출하는 기준영역 검출부, 기준영역에 포함된 G 신호의 평균값을 이용하여 기준영역에 포함된 RGB 신호의 각 게인(Gain) 값을 연산하는 게인 연산부 및 RGB 신호의 게인(Gain) 값을 이용하여 화이트밸런스를 조정하는 화이트밸런스 조정부를 포함한다.
본 발명에 따른 화이트밸런스 자동조정장치는 기설정된 임계값을 이용하여 기준 영역을 검출함으로서, 화이트밸런스 조정을 위한 처리시간을 최소화시킬 수 있다.
화이트밸런스(White Balance), 히스토그램 평활화(histogram Equalization), RGB 신호, 베이어(Bayer) 영상 신호

Description

화이트밸런스 자동조정장치 및 방법{AUTOMATIC WHITE BALANCE APPARATUS AND METHOD THEREOF}
본 발명은 화이트밸런스 자동조정장치 및 방법에 관한 것이다.
일반적으로 화이트밸런스 조정 장치는 이미지 디지털 영상 장치의 영상 신호 처리부(Image Signal Processor : ISP)에서 입력영상의 화질을 높여주는 기능을 수행한다. 이미지 디지털 영상 장치에는 디지털 카메라 및 휴대폰 카메라 등이 있다. 디지털 영상 장치의 이미지 센서에서 출력된 색상은 원색과 비교하여 외부 조명의 밝기에 따라 차이가 날 수 있다. 광원의 색온도가 낮으면 영상이 전체적으로 붉은색을 띄고, 반대로 색온도가 높으면 푸른색을 띄게 된다. 색온도에 따른 영상의 색상은 모두 무채색으로 보이기 때문에 광원과 색온도에 따라 왜곡되는 색상을 보정해야 한다. 이러한 왜곡된 색상을 자동적으로 보정하는 과정을 자동 화이트밸런스(Auto White Balance :AWB)라고 한다. 자동 화이트밸런스를 수행하기 위해서는 먼저 외부 조명의 색온도를 판별하고, 판별된 색온도를 기준으로 R, G, 및 B 신호의 각 성분을 보정해야 한다. 여기서 RGB 신호는 비디오 신호 중 하나로서, 컬러 영상의 삼원색(Red, Green, Blue)을 의미한다.
도1 및 도2는 종래의 화이트밸런스 방법을 나타낸 도면이다.
도1 및 도2를 참조하면, 종래의 화이트밸런스 조정방법에서는 입력 영상의 전체 픽셀에 대하여 R-Y 및 B-Y 휘도성분(100)의 평균과 Cb 및 Cr 색상차 성분(200)의 평균을 연산한다. 여기서, R-Y, B-Y, Cr 및 Cb는 영상신호(RGB 신호)의 휘도 및 색상차의 정보를 갖는 형식을 의미한다. R-Y 및 B-Y 휘도성분(100)과 Cb 및 Cr 색상차 성분(200)의 평균값은 RGB 신호의 각 게인(Gain) 값을 계산하기 위해 사용된다. 이에 따라, 기준 정보가 있는 R-Y 및 B-Y 휘도성분(100)과 Cb 및 Cr 색상차 성분(200)의 각 평균값이 흰색에 해당하는 휘도 및 색상차 성분에 가까워지면 RGB 신호의 각 게인(Gain)값을 이용하여 색상을 보정하게 된다. 그러나 균일한 색상의 배경이나 물체가 입력 영상의 대부분을 차지하는 경우에는 색상의 왜곡이 발생한다. 따라서 종래의 화이트밸런스 장치는 왜곡된 입력 영상의 가장 밝은 영역 또는 색상차 성분들의 동적인 임계값을 기준으로 기준 영역을 검출하고, 검출된 기준 영역을 이용하여 색상을 보정하는 방법을 사용한다. 그러나 가장 밝은 영역을 기준으로 기준 영역을 검출하게 되면, 입력 영상에 따라 원본 색상과의 큰 차이가 발생 될 수 있다. 또한, 색상차 성분들의 동적인 임계값으로 기준 영역을 검출하게 되면, 화이트밸런스 조정을 위한 계산량이 많아지기 때문에 이에 따른 처리시간이 증가되어, 화이트밸런스 성능이 저하되는 문제가 발생한다.
이러한 문제점을 해결하기 위한 본 발명의 목적은 효율적으로 영상신호의 기 준 영역을 검출함으로서, 화이트밸런스 자동조정의 처리시간을 최소화시키는 화이트밸런스 자동조정장치 및 방법을 제공하는 것이다.
본 발명에 일 실시 예에 따른 화이트밸런스 자동조정장치는 RGB 신호의 히스토그램을 칼라별로 평활화하는 히스토그램 평활화부, 평활화된 RGB 신호로부터 변환된 YCbCr 신호 및 기설정된 YCbCr 임계값을 이용하여 RGB 신호의 기준영역을 검출하는 기준영역 검출부, 기준영역에 포함된 G 신호의 평균값을 이용하여 기준영역에 포함된 RGB 신호의 각 게인(Gain) 값을 연산하는 게인 연산부 및 RGB 신호의 게인(Gain) 값을 이용하여 화이트밸런스를 조정하는 화이트밸런스 조정부를 포함한다.
히스토그램 평활화부는 다음 수식을 이용하여 평활화하는 것이 바람직하다.
Figure 112007067617873-pat00001
여기서,
Figure 112007067617873-pat00002
는 (x,y)좌표의 평활화된 R 신호 값이고,
Figure 112007067617873-pat00003
는 (x,y)좌표의 평활화된 G 신호 값이고,
Figure 112007067617873-pat00004
는 (x,y)좌표의 평활화된 B 신호 값이고,
Figure 112007067617873-pat00005
는 (x,y)좌표에 있는 R 신호의 축적된 히스토그램 값이고,
Figure 112007067617873-pat00006
는 (x,y)좌표에 있는 G 신호의 축적된 히스토그램 값이고,
Figure 112007067617873-pat00007
는 (x,y)좌표에 있는 G 신호의 축적된 히스토그램 값이고, 255는 RGB 신호가 갖는 색상의 최대값이고, W는 입력영상의 가로 값이고, H는 입력영상의 세로 값.
RGB 신호의 기준영역은 다음 수식을 이용하여 검출되는 바람직하다.
Figure 112007067617873-pat00008
여기서, Y는 Y 휘도신호이고, Cb는 Cb 색차신호이고, Cr은 Cr 색차신호이고, Ymin은 Y 휘도신호의 임계값 하한이고, Ymax는 Y 휘도신호의 임계값 상한이고, Cbmin은 Cb 색차신호의 임계값 하한이고, Cbmax는 Cb 색차신호의 임계값 상한이고, Crmin은 Cr 색차신호의 임계값 하한이고, Crmax는 Cr 색차신호 임계값의 상한.
게인 연산부는 다음 수식을 이용하여 게인(Gain) 값을 연산하는 것이 바람직하다.
Figure 112007067617873-pat00009
여기서, Rgain, Ggain 및 Bgain는 R, G 및 B 신호 각각의 게인(Gain) 값이고, Ravg, Gavg 및 Bavg 는 검출된 기준영역에서의 R, G 및 B 신호 각각의 평균값.
화이트밸런스 조정부는 다음 수식을 이용하여 화이트밸런스를 조정하는 하는 것이 바람직하다.
Figure 112007067617873-pat00010
여기서, R', G' 및 B' 는 화이트밸런스가 조정된 각각의 R, G 및 B 신호.
본 발명의 일 실시 예에 따른 화이트밸런스 자동조정방법은 (a) RGB 신호의 히스토그램을 칼라별로 평활화하는 단계, (b) 평활화된 RGB 신호로부터 변환된 YCbCr 신호 및 기설정된 YCbCr 임계값을 이용하여 RGB 신호의 기준영역을 검출하는 단계, (c) 기준영역에 포함된 G 신호의 평균값을 이용하여 기준영역에 포함된 RGB 신호의 각 게인(Gain) 값을 연산하는 단계 및 (d) RGB 신호의 게인(Gain) 값을 이용하여 화이트밸런스를 조정하는 단계를 포함한다.
(a) 단계는 다음 수식을 이용하여 평활화하는 것이 바람직하다.
Figure 112007067617873-pat00011
여기서,
Figure 112007067617873-pat00012
는 (x,y)좌표의 평활화된 R 신호 값이고,
Figure 112007067617873-pat00013
는 (x,y)좌표의 평활화된 G 신호 값이고,
Figure 112007067617873-pat00014
는 (x,y)좌표의 평활화된 B 신호 값이고,
Figure 112007067617873-pat00015
는 (x,y)좌표에 있는 R 신호의 축적된 히스토그램 값이고,
Figure 112007067617873-pat00016
는 (x,y)좌표에 있는 G 신호의 축적된 히스토그램 값 이고,
Figure 112007067617873-pat00017
는 (x,y)좌표에 있는 G 신호의 축적된 히스토그램 값이고, 255는 RGB 신호가 갖는 색상의 최대값이고, W는 입력영상의 가로 값이고, H는 입력영상의 세로 값.
(b) 단계는 다음 수식을 이용하여 검출되는 것이 바람직하다.
Figure 112007067617873-pat00018
여기서, Y는 Y 휘도신호이고, Cb는 Cb 색차신호이고, Cr은 Cr 색차신호이고, Ymin은 Y 휘도신호의 임계값 하한이고,Ymax는 Y 휘도신호 임계값의 상한이고, Cbmin은 Cb 색차신호 임계값의 하한이고, Cbmax는 Cb 색차신호 임계값 상한이고, Crmin은 Cr 색차신호의 임계값의 하한이고, Crmax는 Cr 색차신호 임계값의 상한.
(c) 단계는 다음 수식을 이용하여 게인(Gain) 값을 연산하는 것이 바람직하다.
Figure 112007067617873-pat00019
여기서, Rgain, Ggain 및 Bgain는 R, G 및 B 신호 각각의 게인(Gain) 값이고, Ravg, Gavg 및 Bavg 는 검출된 기준영역에서의 R, G 및 B 신호 각각의 평균값.
(d) 단계는 다음 수식을 이용하여 화이트밸런스를 조정하는 것이 바람직하다.
Figure 112007067617873-pat00020
여기서, R', G' 및 B' 는 화이트밸런스가 조정된 각각의 R, G 및 B 신호.
본 발명에 따른 화이트밸런스 자동조정장치는 기설정된 임계값을 이용하여 기준 영역을 검출함으로서, 화이트밸런스 조정을 위한 처리시간을 최소화시킬 수 있다.
도3은 본 발명의 일 실시예에 따른 화이트밸런스 자동조정장치를 나타낸 블록도이다.
도3을 참조하면, 화이트밸런스 자동조정장치(320)는 RGB 신호의 히스토그램을 칼라별로 평활화하는 히스토그램 평활화부(321), 평활화된 RGB 신호로부터 변환된 YCbCr 신호 및 기설정된 YCbCr 임계값을 이용하여 RGB 신호의 기준영역을 검출하는 기준영역 검출부(323), 기준영역에 포함된 G 신호의 평균값을 이용하여 기준영역에 포함된 RGB 신호의 각 게인(Gain) 값을 연산하는 게인 연산부(325) 및 RGB 신호의 게인(Gain) 값을 이용하여 화이트밸런스를 조정하는 화이트밸런스 조정부(327)를 포함한다.
화이트밸런스 자동조정장치(320)는 먼저, 광학적인 신호를 전기적인 실호로 변환하는 이미지 센서부(300)로부터 베이어(Bayer) 영상 신호(301)를 입력받는다. 입력 영상에서 화소(Pixel) 단위로 색상을 표현하기 위해서는 R, G 및 B(Red, Green, Blue) 3개의 색상이 모두 필요하지만, 이미지 디지털 영상장치의 비용을 줄이기 위해서 화소 당 1개의 컬러만 갖게 된다. 이러한 형식의 영상 신호를 베이어 영상 신호(301)라 한다. 이러한 베이어 영상 신호(301)를 사용하는 이유는 히스토그램 평활화부(321)에서 RGB 신호의 각 색상별 히스토그램을 더욱 용이하게 얻을 수 있기 때문이다.
이하에는 베이어 영상 신호(301)를 이용한 화이트밸런스 자동조정장치(320)에 대해 상세히 설명한다.
히스토그램 평활화부(321)는 이미지 센서(300)로부터 입력받은 베이어 영상 신호(301)를 이용하여 RGB 신호의 각 색상별 히스토그램을 구한다. RGB 신호의 각 색상별 히스토그램은 도4에서 도시된 바와 같다. 도4의 히스토그램을 참조하면, R, G 및 B 신호의 각 색온도 차에 따라 색상의 레벨 값은 입력영상 상에서 고루 분포되어 있지 않음을 알 수 있다. 여기서, 히스토그램의 가로축은 8비트(0~255)의 RGB 신호가 가질 수 있는 색상의 레벨 값을 나타낸 것으로서, RGB 신호는 0에서부터 255까지의 색상 값을 가질 수 있다. 이러한 RGB 신호의 히스토그램을 이용하여 각 색상 별로 히스토그램 값이 고루 분포될 수 있도록 히스토그램 평활화를 수행한다. 히스토그램 평활화는 다음 수식을 이용하여 R, G, 및 B 신호의 히스토그램 값을 각 색상 별로 평활화 할 수 있다.
Figure 112007067617873-pat00021
여기서,
Figure 112007067617873-pat00022
는 (x,y)좌표의 평활화된 R 신호 값이고,
Figure 112007067617873-pat00023
는 (x,y)좌표의 평활화된 G 신호 값이고,
Figure 112007067617873-pat00024
는 (x,y)좌표의 평활화된 B 신호 값이고,
Figure 112007067617873-pat00025
는 (x,y)좌표에 있는 R 신호의 축적된 히스토그램 값이고,
Figure 112007067617873-pat00026
는 (x,y)좌표에 있는 G 신호의 축적된 히스토그램 값이고,
Figure 112007067617873-pat00027
는 (x,y)좌표에 있는 G 신호의 축적된 히스토그램 값이고, 255는 RGB 신호가 갖는 색상의 최대값이고, W는 입력영상의 가로 값이고, H는 입력영상의 세로 값을 나타낸다. 이러한 방법을 통하여 R, G,및 B 신호의 각 히스토그램 값이 개별적으로 평활화되면 전체적으로 고른 히스토그램 분포를 갖기 때문에 색상 값이 없는 무채색 계열의 경우에는 원색을 찾을 수 있게 된다.
기준영역 검출부(323)는 먼저, 평활화된 RGB 신호를 YCbCr 신호로 변환한다. 이러한 변환은 다음 수식을 이용하여 수행될 수 있다.
Figure 112007067617873-pat00028
여기서, Y는 Y 휘도신호이고, Cb는 Cb 색차신호이고, Cr은 Cr 색차신호이다. 또한, R, G, 및 B 는 평활화된 각 신호의 히스토그램 값을 나타낸 다. 변환된 Y 휘도 신호, Cb 및 Cr 색차신호는 RGB 신호의 기준영역을 검출하는데 사용된다. RGB 신호의 기준영역은 다음 수식을 이용하여 검출된다.
Figure 112007067617873-pat00029
여기서, Ymin은 Y 휘도신호의 임계값의 하한이고, Ymax는 Y 휘도신호 임계값의 상한이고, Cbmin은 Cb 색차신호 임계값의 하한이고, Cbmax는 Cb 색차신호 임계값의 상한이고, Crmin은 Cr 색차신호 임계값의 하한이고, Crmax는 Cr 색차신호 임계값의 상한이다. 본 발명의 기준영역 검출방법에서 사용된 Y 휘도신호, Cb 색차신호 및 Cr 색차신호의 각 임계값은 기설정된 것으로서, 이에 따르면, 기존에 동적인 휘도색차신호의 임계값 또는 입력 영상의 가장 밝은 영역을 이용하여 기준영역을 검출하는 것보다 처리시간을 크게 단축시킬 수 있다. 또한, 균일한 배경이나 물체가 영상의 대부분을 차지하는 경우에 발생되는 색상의 왜곡을 정확하게 보정할 수 있다.
기준영역이 검출되면 기준영역에서의 R, G 및 B 신호에 대하여 각 평균값을 연산한다.
게인(Gain) 연산부(325)는 연산된 R, G 및 B 신호의 각 평균값을 이용하여 R, G 및 B 신호의 각 게인(Gain)을 연산한다. 여기서 G 신호의 경우, R 및 B 신호에 비해 외부 조명의 색온도에 따른 변화량이 상대적으로 적기 때문에 검출된 기준 영역의 G 신호 평균값을 기준으로 RGB 신호의 각 게인을 연산한다. 일반적으로, 디지털 영상장치 등을 통하여 어떠한 물체를 촬영할 경우, 디지털 영상장치는 물체 자체의 색과 외부 광원의 색이 혼합된 색으로 받아드리고, 그대로 표시하게 된다. 이와 같이, 일반적인 디지털 영상장치를 통해 표시되는 영상은 물체 자체의 색상뿐만 아니라, 조명으로 이용하는 광원의 색에 대한 물리적 수치 즉, 광원의 색온도에 따라서 붉거나 푸르게 보일 수 있다는 것이다. 즉, 광원의 색온도가 낮을수록 붉게 보이고, 색온도가 높을수록 푸르게 보이게 되는데, 이때, 영상이 붉게 보이는 이유는, 광원의 색온도가 낮아서 R 신호의 값이 G 및 B 신호의 값보다 상대적으로 커졌기 때문이고, 이와 반대로 푸르게 보이는 이유는, 광원의 색온도가 높아서 B 신호의 값이 R 및 G 신호의 값보다 상대적으로 커졌기 때문이다. 이에 따라 R, G, B 신호 중 광원의 색온도에 따른 변화량이 상대적으로 가장 적은 G 신호를 기준으로 R, B 신호의 게인을 연산하는 것이다. 게인 연산은 다음 수식을 이용하여 수행된다.
Figure 112007067617873-pat00030
여기서, Rgain, Ggain 및 Bgain는 R, G 및 B 신호 각각의 게인(Gain) 값이고, Ravg, Gavg 및 Bavg 는 검출된 기준영역에서의 R, G 및 B 신호 각각의 평균값을 나타낸 것이다.
화이트밸런스 조정부(327)는 Rgain, Ggain 및 Bgain을 이용하여 R, G 및 B 신호를 조정함으로서, 화이트밸런스가 수행된 RGB 영상 신호를 출력한다. 화이트밸런스 조정은 다음 수식을 이용하여 수행될 수 있다.
Figure 112007067617873-pat00031
여기서, R', G' 및 B' 는 화이트밸런스가 조정된 각각의 R, G 및 B 영상 신 호를 나타낸 것이다. R, G 및 B 신호(311)는 도3에서 도시된 이미지 센서부(300)에서 출력된 베이어 영상 신호(301)가 컬러 필터 보간부(310)를 통해 변환된 영상 신호이다. 한 화소(Pixel)가 한 색상만을 나타내는 RGB 영상 신호를 시각으로 관측하게 되면 상당히 왜곡되어 보인다. 따라서 한 화소에서 표현되지 않는 색상은 인접화소의 색상(Red, Green, Blue)값을 이용하여 획득함으로서, 한 화소에서 RGB 성분이 조화된 색상을 가질 수 있게 된다. 이러한 기능을 컬러 필터 보간(Color Filter Interpolation)이라 하며, 컬러 필터 보간부(310)에서 수행한다. 따라서 컬러 필터 보간부(310)를 통해 출력된 RGB 영상 신호(311)는 화이트밸런스 조정부(327)를 통해 화이트밸런스가 조정된 영상 신호로 출력된다.
따라서 화이트밸런스 자동조정장치(320)는 RGB 영상 신호를 기설정된 임계값을 이용하여 기준 영역을 검출함으로서, 화이트밸런스 조정을 위한 처리시간을 크게 단축시킬 수 있으며, 기준영역을 보다 정확하게 검출 할 수 있게 된다. 또한, 균일한 배경이나 물체가 영상의 대부분을 차지하는 경우에 발생되는 색상의 왜곡을 정확하게 보정할 수 있다.
도5는 본 발명의 일 실시예에 따른 화이트밸런스 자동조정방법을 나타낸 흐름도이다.
도5를 참조하면, 본 발명의 일 실시예에 따른 화이트밸런스 자동조정방법은 RGB 신호의 히스토그램을 칼라별로 평활화하는 단계(500), 평활화된 RGB 신호를 YCbCr 신호로 변환하는 단계(510), 기설정된 YCbCr 임계값을 이용하여 RGB 신호의 기준영역을 검출하는 단계(520), 기준영역에 포함된 G 신호의 평균값을 이용하여 기준영역에 포함된 RGB 신호의 각 게인(Gain) 값을 연산하는 단계(540) 및 RGB 신호의 게인(Gain) 값을 이용하여 화이트밸런스를 조정하는 단계(550)를 포함한다.
RGB 신호의 히스토그램을 칼라별로 평활화하는 단계(500)에서는 먼저, 베이어 영상 신호(301)를 이용하여 RGB 신호의 각 색상별 히스토그램을 구한다. RGB 신호의 각 색상별 히스토그램은 도4에서 도시된 바와 같다. 도4의 히스토그램을 참조하면, R, G 및 B신호의 각 색온도 차에 따라 색상의 레벨 값은 입력 영상 상에서 고루 분포되어 있지 않음을 알 수 있다. 여기서, 히스토그램의 가로축은 8비트(0~255)의 RGB 신호가 가질 수 있는 색상의 레벨 값을 나타낸 것으로서, RGB 신호는 0에서부터 255까지의 색상 레벨 값을 가질 수 있다. 이러한 RGB 신호의 히스토그램을 이용하여 각 색상 별로 히스토그램 값이 고루 분포될 수 있도록 히스토그램 평활화를 수행한다. 이러한 히스토그램 평활화는 다음 수식을 이용하여 R, G, 및 B 신호의 히스토그램 값을 각 색상 별로 평활화 할 수 있다.
Figure 112007067617873-pat00032
여기서,
Figure 112007067617873-pat00033
는 (x,y)좌표의 평활화된 R 신호 값이고,
Figure 112007067617873-pat00034
는 (x,y)좌표의 평활화된 G 신호 값이고,
Figure 112007067617873-pat00035
는 (x,y)좌표의 평활화된 B 신호 값이고,
Figure 112007067617873-pat00036
는 (x,y)좌표에 있는 R 신호의 축적된 히스토그램 값이고,
Figure 112007067617873-pat00037
는 (x,y)좌표에 있는 G 신호의 축적된 히스토그램 값이고,
Figure 112007067617873-pat00038
는 (x,y)좌표에 있는 G 신호의 축적된 히스토그램 값이고, 255는 RGB 신호가 갖는 색상의 최대값이고, W는 입력영상의 가로 값이고, H는 입력영상의 세로 값을 나타낸다. 이러한 방법을 통하여 R, G,및 B 신호의 각 히스토그램 값이 개별적으로 평활화되면 전체적으로 고른 히스토그램 분포를 갖기 때문에 색상값이 없는 무채색 계열의 경우에는 원색을 찾을 수 있게 된다.
평활화된 RGB 신호를 YCbCr 신호로 변환하는 단계(510)는 다음 수식을 이용하여 수행될 수 있다.
Figure 112007067617873-pat00039
여기서, Y는 Y 휘도신호이고, Cb는 Cb 색차신호이고, Cr은 Cr 색차신호이다. 또한, R, G, 및 B 는 평활화된 각 신호의 히스토그램 값을 나타낸 다. 변환된 Y 휘도 신호, Cb 및 Cr 색차신호는 RGB 신호의 기준영역을 검출하는데 사용된다.
기설정된 YCbCr 임계값을 이용하여 RGB 신호의 기준영역을 검출하는 단계(520,530)는 다음 수식을 이용하여 검출한다.
Figure 112007067617873-pat00040
여기서, Ymin은 Y 휘도신호의 임계값의 하한이고, Ymax는 Y 휘도신호의 임계값의 상한이고, Cbmin은 Cb 색차신호 임계값의 하한이고, Cbmax는 Cb 색차신호 임계값의 상한이고, Crmin은 Cr 색차신호 임계값의 하한이고, Crmax는 Cr 색차신호 임계값의 상한이다. 본 발명의 기준영역 검출방법에서 사용된 Y 휘도신호, Cb 색차신호 및 Cr 색차신호의 각 임계값은 기설정된 것으로서, 이에 따르면, 기존에 동적인 휘도색차신호의 임계값 또는 입력 영상의 가장 밝은 영역을 이용하여 기준영역을 검출하는 것 보다 검출처리시간을 크게 최소화시킬 수 있다. 또한, 균일한 배경이나 물체가 영상의 대부분을 차지하는 경우에 발생되는 색상의 왜곡을 정확하게 보정할 수 있다.
기준영역이 검출되면 기준영역에서의 R, G 및 B 신호에 대하여 각 평균값을 연산한다.
RGB 신호의 각 게인(Gain) 값을 연산하는 단계(540)에서는 R, G 및 B 신호의 각 평균값을 이용하여 R, G 및 B 신호의 각 게인(Gain)을 연산한다. 여기서 G 신호의 경우, R 및 B 신호에 비해 외부 조명의 색온도에 따른 변화량이 상대적으로 적기 때문에 검출된 기준 영역의 G 신호 평균값을 기준으로 RGB 신호의 각 게인을 연산한다. 게인 연산은 다음 수식을 이용하여 수행된다.
Figure 112007067617873-pat00041
여기서, Rgain, Ggain 및 Bgain는 R, G 및 B 신호 각각의 게인(Gain) 값이고, Ravg, Gavg 및 Bavg 는 검출된 기준영역에서의 R, G 및 B 신호 각각의 평균값을 나타낸 것이다.
화이트밸런스를 조정하는 단계(550)에서는 Rgain, Ggain 및 Bgain을 이용하여 R, G 및 B 신호를 조정함으로서, RGB 영상 신호의 화이트밸런스를 수행한다. 이러한 화이트밸런스 조정은 다음 수식을 이용하여 수행될 수 있다.
Figure 112007067617873-pat00042
여기서, R', G' 및 B' 는 화이트밸런스가 조정된 각각의 R, G 및 B 영상 신호를 나타낸 것이다. R, G 및 B 신호(311)는 도3에서 도시된 이미지 센서부(300)에서 출력된 베이어 영상 신호(301)가 컬러 필터 보간부(310)를 통해 변환된 영상 신호이다. 한 화소가 한 색상만을 나타내는 영상을 시각으로 관측하게 되면 상당히 왜곡되어 보인다. 따라서 한 화소에서 표현되지 않는 색상은 인접화소의 색상(Red, Green, Blue)값을 이용하여 획득함으로서, 한 화소에서 RGB 성분이 조화된 색상을 가질 수 있게 된다. 이러한 기능을 컬러 필터 보간(Color Filter Interpolation)이라 한다. 따라서 컬러 필터 보간된 RGB 영상 신호(311)는 화이트밸런스 조정을 통해 화이트밸런스가 조정된 영상 신호로 출력된다.
화이트밸런스 자동조정방법에 따르면, 기설정된 임계값을 이용하여 기준 영역을 검출함으로서, 화이트밸런스 조정을 위한 처리시간을 크게 단축시킬 수 있으며, 기준영역을 보다 정확하게 검출 할 수 있게 된다. 또한, 균일한 배경이나 물체가 영상의 대부분을 차지하는 경우에 발생되는 색상의 왜곡을 정확하게 보정할 수 있다.
이상에서 보는 바와 같이, 본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 하고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
도1 및 도2는 종래의 화이트밸런스 조정방법을 나타낸 도면.
도3은 본 발명의 일 실시예에 따른 화이트밸런스 자동조정장치를 나타낸 블록도.
도4는 본 발명의 일 실시예에 따른 왜곡된 RGB 신호의 컬러 별 히스토그램을 나타낸 도면.
도5는 본 발명의 일 실시예에 따른 화이트밸런스 자동조정방법을 나타낸 흐름도.
******** 도면의 주요부분에 대한 부호의 설명 ********
320: 화이트밸런스 자동조정장치
321: 히스토그램 평활화부
323: 기준영역 검출부
325: 게인(Gain) 연산부
327: 화이트밸런스 조정부

Claims (10)

  1. RGB 신호의 히스토그램을 칼라별로 평활화하는 히스토그램 평활화부;
    상기 평활화된 RGB 신호로부터 변환된 YCbCr 신호 및 기설정된 YCbCr 임계값을 이용하여 상기 RGB 신호의 기준영역을 검출하는 기준영역 검출부;
    상기 기준영역에 포함된 G 신호의 평균값을 이용하여 상기 기준영역에 포함된 RGB 신호의 각 게인(Gain) 값을 연산하는 게인 연산부; 및
    상기 RGB 신호의 게인(Gain) 값을 이용하여 화이트밸런스를 조정하는 화이트밸런스 조정부;
    를 포함하는 화이트밸런스 자동조정장치.
  2. 제1항에 있어서,
    상기 히스토그램 평활화부는 다음 수식을 이용하여 평활화하는, 화이트밸런스 자동조정장치.
    Figure 112007067617873-pat00043
    여기서,
    Figure 112007067617873-pat00044
    는 (x,y)좌표의 평활화된 R신호 값이고,
    Figure 112007067617873-pat00045
    는 (x,y)좌표의 평활화된 G신호 값이고,
    Figure 112007067617873-pat00046
    는 (x,y)좌표의 평활화된 B신호 값이고,
    Figure 112007067617873-pat00047
    는 (x,y)좌표에 있는 R 신호의 축적된 히스토그램 값이고,
    Figure 112007067617873-pat00048
    는 (x,y)좌표에 있는 G 신호의 축적된 히스토그램 값이고,
    Figure 112007067617873-pat00049
    는 (x,y)좌표에 있는 G 신호의 축적된 히스토그램 값이고,
    255는 RGB 신호가 갖는 색상의 최대값이고,
    W는 입력영상의 가로 값이고,
    H는 입력영상의 세로 값.
  3. 제1항에 있어서,
    상기 RGB 신호의 기준영역은 다음 수식을 이용하여 검출되는, 화이트밸런스 자동조정장치.
    Figure 112007067617873-pat00050
    여기서, Y는 Y 휘도신호이고,
    Cb는 Cb 색차신호이고,
    Cr은 Cr 색차신호이고,
    Ymin은 상기 Y 휘도신호 임계값의 하한이고,
    Ymax는 상기 Y 휘도신호 임계값의 상한이고,
    Cbmin은 상기 Cb 색차신호 임계값의 하한이고,
    Cbmax는 상기 Cb 색차신호 임계값의 상한이고,
    Crmin은 상기 Cr 색차신호 임계값의 하한이고,
    Crmax는 상기 Cr 색차신호 임계값의 상한.
  4. 제1항에 있어서,
    상기 게인 연산부는 다음 수식을 이용하여 상기 게인(Gain) 값을 연산하는, 화이트밸런스 자동조정장치.
    Figure 112007067617873-pat00051
    여기서, Rgain, Ggain 및 Bgain는 R, G 및 B 신호 각각의 게인(Gain) 값이고,
    Ravg, Gavg 및 Bavg 는 상기 검출된 기준영역에서의 R, G 및 B 신호 각각의 평균값.
  5. 제1항에 있어서,
    상기 화이트밸런스 조정부는 다음 수식을 이용하여 상기 화이트밸런스를 조정하는, 화이트밸런스 자동조정장치.
    Figure 112007067617873-pat00052
    여기서, R', G' 및 B' 는 화이트밸런스가 조정된 각각의 R, G 및 B 신호.
  6. (a) RGB 신호의 히스토그램을 칼라별로 평활화하는 단계;
    (b) 상기 평활화된 RGB 신호로부터 변환된 YCbCr 신호 및 기설정된 YCbCr 임계값을 이용하여 상기 RGB 신호의 기준영역을 검출하는 단계;
    (c) 상기 기준영역에 포함된 G 신호의 평균값을 이용하여 상기 기준영역에 포함된 RGB 신호의 각 게인(Gain) 값을 연산하는 단계; 및
    (d) 상기 RGB 신호의 게인(Gain) 값을 이용하여 화이트밸런스를 조정하는 단계;
    를 포함하는 화이트밸런스 자동조정방법.
  7. 제6항에 있어서,
    상기 (a) 단계는 다음 수식을 이용하여 평활화하는, 화이트밸런스 자동조정방법.
    Figure 112007067617873-pat00053
    여기서,
    Figure 112007067617873-pat00054
    는 (x,y)좌표의 평활화된 R 신호 값이고,
    Figure 112007067617873-pat00055
    는 (x,y)좌표의 평활화된 G 신호 값이고,
    Figure 112007067617873-pat00056
    는 (x,y)좌표의 평활화된 B신호 값이고,
    Figure 112007067617873-pat00057
    는 (x,y)좌표에 있는 R 신호의 축적된 히스토그램 값이고,
    Figure 112007067617873-pat00058
    는 (x,y)좌표에 있는 G 신호의 축적된 히스토그램 값이고,
    Figure 112007067617873-pat00059
    는 (x,y)좌표에 있는 G 신호의 축적된 히스토그램 값이고,
    255는 RGB 신호가 갖는 색상의 최대값이고,
    W는 입력영상의 가로 값이고,
    H는 입력영상의 세로 값.
  8. 제6항에 있어서,
    상기 (b) 단계는 다음 수식을 이용하여 검출되는, 화이트밸런스 자동조정방법.
    Figure 112007067617873-pat00060
    여기서, Y는 Y 휘도신호이고,
    Cb는 Cb 색차신호이고,
    Cr은 Cr 색차신호이고,
    Ymin은 상기 Y 휘도신호 임계값의 하한이고,
    Ymax는 상기 Y 휘도신호 임계값의 상한이고,
    Cbmin은 상기 Cb 색차신호 임계값의 하한이고,
    Cbmax는 상기 Cb 색차신호 임계값의 상한이고,
    Crmin은 상기 Cr 색차신호 임계값의 하한이고,
    Crmax는 상기 Cr 색차신호 임계값의 상한.
  9. 제6항에 있어서,
    상기 (c) 단계는 다음 수식을 이용하여 상기 게인(Gain) 값을 연산하는, 화이트 밸런스 자동조정방법.
    Figure 112007067617873-pat00061
    여기서, Rgain, Ggain 및 Bgain는 R, G 및 B 신호 각각의 게인(Gain) 값이고,
    Ravg, Gavg 및 Bavg 는 상기 검출된 기준영역에서의 R, G 및 B 신호 각각의 평균값.
  10. 제6항에 있어서,
    상기 (d) 단계는 다음 수식을 이용하여 상기 화이트밸런스를 조정하는, 화이트밸런스 자동조정방법.
    Figure 112007067617873-pat00062
    여기서, R', G' 및 B' 는 화이트밸런스가 조정된 각각의 R, G 및 B 신호.
KR1020070094868A 2007-09-18 2007-09-18 화이트밸런스 자동조정장치 및 방법 KR100915598B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070094868A KR100915598B1 (ko) 2007-09-18 2007-09-18 화이트밸런스 자동조정장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070094868A KR100915598B1 (ko) 2007-09-18 2007-09-18 화이트밸런스 자동조정장치 및 방법

Publications (2)

Publication Number Publication Date
KR20090029545A KR20090029545A (ko) 2009-03-23
KR100915598B1 true KR100915598B1 (ko) 2009-09-07

Family

ID=40696242

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070094868A KR100915598B1 (ko) 2007-09-18 2007-09-18 화이트밸런스 자동조정장치 및 방법

Country Status (1)

Country Link
KR (1) KR100915598B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101131109B1 (ko) * 2010-05-31 2012-04-03 인하대학교 산학협력단 센서 특성을 고려한 화이트 검출에 의한 자동 화이트밸런스 설정방법
KR102170692B1 (ko) 2014-03-12 2020-10-27 한화테크윈 주식회사 화이트 밸런스 보정 장치 및 방법
KR102170686B1 (ko) 2014-03-18 2020-10-27 한화테크윈 주식회사 화이트 밸런스 보정 장치 및 방법
KR101855334B1 (ko) 2015-12-11 2018-06-08 에스티팜 주식회사 옥사졸리디논 유도체의 중간체 제조방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000078605A (ja) 1998-08-28 2000-03-14 Matsushita Electric Ind Co Ltd ホワイトバランス制御装置
KR20010046326A (ko) * 1999-11-11 2001-06-15 이중구 광원변화에 따라 백색 보정을 하는 디지털 카메라
KR20050053864A (ko) * 2003-12-03 2005-06-10 삼성전기주식회사 디지털 자동 화이트 밸런스 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000078605A (ja) 1998-08-28 2000-03-14 Matsushita Electric Ind Co Ltd ホワイトバランス制御装置
KR20010046326A (ko) * 1999-11-11 2001-06-15 이중구 광원변화에 따라 백색 보정을 하는 디지털 카메라
KR20050053864A (ko) * 2003-12-03 2005-06-10 삼성전기주식회사 디지털 자동 화이트 밸런스 장치

Also Published As

Publication number Publication date
KR20090029545A (ko) 2009-03-23

Similar Documents

Publication Publication Date Title
US7697044B2 (en) Image processing apparatus and image processing method
US7969480B2 (en) Method of controlling auto white balance
JP4904440B2 (ja) 画像処理方法および装置，ならびに画像処理プログラムおよびこのプログラムを記録した媒体
US7812868B2 (en) Signal processing method and apparatus, and image sensing apparatus
JP2007094742A (ja) 画像信号処理装置及び画像信号処理プログラム
US8280163B2 (en) Image processing to suppress color blur
US20060215908A1 (en) Image pickup apparatus and image processing method
KR100978659B1 (ko) 색신호 이득 제어 장치 및 방법
US8648937B2 (en) Image processing apparatus, image processing method, and camera module
WO2015119271A1 (ja) 画像処理装置、撮像装置、画像処理方法、コンピュータにより処理可能な一時的でない記憶媒体
KR100915598B1 (ko) 화이트밸런스 자동조정장치 및 방법
KR20120122574A (ko) 디지털 카메라 장치에서 영상 처리 장치 및 방법
KR20230038191A (ko) 저조도 조건들에서 캡처된 컬러 색조된 픽셀들의 보정
KR101131109B1 (ko) 센서 특성을 고려한 화이트 검출에 의한 자동 화이트밸런스 설정방법
KR20110017274A (ko) 이미지 보정 방법
JP2012044559A (ja) 撮像装置及びその制御方法
JP2006060744A (ja) ノイズリダクション装置
KR101143834B1 (ko) 화이트 밸런스 보정 장치 및 방법
US8755622B2 (en) Image processing apparatus, image processing method, and program
JP2015008391A (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR100839093B1 (ko) 입력 영상의 휘도 및 색상 측정 방법 및 장치
JP2012044560A (ja) 画像処理装置、画像処理方法及び撮像装置
WO2018061615A1 (ja) 撮像装置
JP2005354585A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
KR100949188B1 (ko) Ｃｃｄ의 영상신호 처리 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120730

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130730

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee