KR20100032618A - 화이트밸런스 보정 방법 및 장치 - Google Patents

화이트밸런스 보정 방법 및 장치 Download PDF

Info

Publication number
KR20100032618A
KR20100032618A KR1020080091584A KR20080091584A KR20100032618A KR 20100032618 A KR20100032618 A KR 20100032618A KR 1020080091584 A KR1020080091584 A KR 1020080091584A KR 20080091584 A KR20080091584 A KR 20080091584A KR 20100032618 A KR20100032618 A KR 20100032618A
Authority
KR
South Korea
Prior art keywords
value
channel
white balance
color
image
Prior art date
Application number
KR1020080091584A
Other languages
English (en)
Other versions
KR100987030B1 (ko
Inventor
강문기
오현묵
김창원
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020080091584A priority Critical patent/KR100987030B1/ko
Publication of KR20100032618A publication Critical patent/KR20100032618A/ko
Application granted granted Critical
Publication of KR100987030B1 publication Critical patent/KR100987030B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/60—Radiation pyrometry, e.g. infrared or optical thermometry using determination of colour temperature

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

화이트밸런스 보정 방법 및 장치가 개시된다. 본 발명에 따른 화이트밸런스 보정 방법은, (a) 영상의 색온도를 측정하는 단계; (b) 상기 영상으로부터, 색도 다이어그램 상의 상기 측정된 색온도에 해당하는 무채색 영역에 속하는 픽셀들과 상기 색도 다이어그램 상의 상기 영상의 특성을 반영하는 영역에 속하는 픽셀들을 추출하는 단계; (c) 각 컬러 채널에 대하여 상기 (b) 단계에서 추출된 픽셀들의 평균값을 구하는 단계; (d) 상기 영상을 복수 개의 영역으로 나누어 각 영역에 대하여 각 컬러 채널의 평균값을 구하는 단계; 및 (e) 상기 (c) 단계에서 구해진 각 컬러 채널의 평균값과 상기 (d) 단계에서 구해진 각 영역에서의 각 컬러 채널의 평균값을 이용하여 상기 각 영역 별로 화이트밸런스 보정을 수행하는 단계를 포함하는 것을 특징으로 한다. 이러한 본 발명에 의하면 광원이 두 개 이상인 경우에도 지역적 특성을 반영하여 화이트밸런스 보정을 수행할 수 있으며 저조도 환경에서 플래시를 이용하는 경우에도 화이트밸런스를 잘 맞출 수 있다.

Description

화이트밸런스 보정 방법 및 장치{Method and apparatus for correcting white balance}
본 발명은 영상 처리에 관한 것으로, 보다 상세하게는 영상의 화이트밸런스를 보정하는 방법 및 장치에 관한 것이다.
색온도는 보통 캘빈 온도(K)라는 단위로 표시하는데, 태양광선, 형광등, 백열등, 촛불 등의 광선은 모두 다른 색온도 값을 가지고 있다. 이러한 빛의 성질에 의해 동일한 색의 물체라 하더라도 조명에 따라서 그 색상이 차이를 갖게 된다. 디지털 장치를 통해 영상을 획득하는 경우 색온도가 낮은 백열등이나 촛불 등에서 획득한 영상은 전체적으로 붉은색을 띠고, 색 온도가 높은 형광등이나 구름 낀 날 획득한 영상은 전체적으로 푸른색을 띤다. 하지만 이러한 색온도의 차를 사람은 잘 느끼지 못하고 어느 환경에서나 동일한 색상으로 인식하게 되는데, 이는 사람의 눈이 매우 우수한 화이트밸런스 기능을 갖고 있기 때문이다.
화이트밸런스를 맞춘다는 것은 흰색(화이트)을 조명에 상관없이 흰색으로 맞춰준다는 것이다. 흰색의 경우 R,G,B의 값이 모두 균일하게 최대에 가깝게 갖는 값으로 정의된다. 이 정의에 따라 보통 화이트 밸런스를 맞출 때에는 무채색, 즉, 세 채널의 값이 동일한 비율로 존재하는 색 을 무채색으로 만들어주는 것을 의미하게 된다.
화이트밸런스는 회색계 가정(gray world assumption)을 이용한 방법이 널리 사용되고 있다. 이것은 영상 내에서 컬러 변화(color variation)가 충분할 경우 각 채널의 평균값은 무채색에 가깝다는 가정을 전제로 하는 것이다. 이 경우 영상의 전체적인 평균이 그레이(gray)가 되도록 하는 것이 화이트밸런스의 목적이 된다. 이 방법은 먼저 다음 수학식과 같이 영상 전체의 평균을 구한다.
Figure 112008065703070-PAT00001
영상의 평균이 무채색에 가깝다는 것은 각 컬러 채널의 평균의 비율이 일정하다는 것을 뜻하기 때문에 다음 수학식과 같이 각 픽셀의 값을 변형시킴으로써 가정을 만족시켜주게 된다.
Figure 112008065703070-PAT00002
그런데 일반적으로 카메라에 의해 획득된 영상은 카메라의 내장 플래시 또는 주위의 여러 광원에 의한 영향을 받는다. 이는 화이트밸런스에도 영향을 미치게 되는데, 플래시 또는 다른 광원에 영향을 받는 피사체와 그렇지 않은 피사체가 한 화면 내에 있을 경우에는 그 평균값이 화이트밸런스에 사용되기 때문에 정확하지 않 은 화이트밸런스가 수행되게 된다. 기존의 방법들에서는 영상 전체적인 특성을 파악하여 화이트밸런스를 맞추기 때문에 컬러 채널 평균의 입장에서는 밸런스가 맞게 되지만, 지역적으로 보았을 때에는 밸런스가 적절하게 맞지 않게 되는 경우가 발생할 수밖에 없다. 즉, 광원이 두 개 이상인 경우에는 영상 전체의 특성이 지역적인 특성을 반영하지 못하게 되는 문제가 발생하며, 적절하게 화이트밸런스를 맞춰주지 못한다. 특히 저조도 환경에서 영상을 획득하는 경우 일반 광원 뿐만 아니라 카메라의 플래시가 강하게 영향을 미치게 되면 영상의 밝기가 지역적으로 크게 달라지는데, 이러한 경우 기존의 화이트밸런스는 정확도가 떨어지게 된다.
본 발명이 이루고자 하는 기술적 과제는 색온도를 이용하고 광원이 두 개 이상인 경우에도 화이트밸런스를 잘 맞출 수 있는 화이트밸런스 보정 방법 및 장치를 제공하는 데 있다.
상기 기술적 과제를 해결하기 위하여 본 발명에 따른 화이트밸런스 보정 방법은, (a) 영상의 색온도를 측정하는 단계; (b) 상기 영상으로부터, 색도 다이어그램 상의 상기 측정된 색온도에 해당하는 무채색 영역에 속하는 픽셀들과 상기 색도 다이어그램 상의 상기 영상의 특성을 반영하는 영역에 속하는 픽셀들을 추출하는 단계; (c) 각 컬러 채널에 대하여 상기 (b) 단계에서 추출된 픽셀들의 평균값을 구하는 단계; (d) 상기 영상을 복수 개의 영역으로 나누어 각 영역에 대하여 각 컬러 채널의 평균값을 구하는 단계; 및 (e) 상기 (c) 단계에서 구해진 각 컬러 채널의 평균값과 상기 (d) 단계에서 구해진 각 영역에서의 각 컬러 채널의 평균값을 이용하여 상기 각 영역 별로 화이트밸런스 보정을 수행하는 단계를 포함하는 것을 특징으로 한다.
여기서, 상기 측정된 색온도에 해당하는 무채색 영역은 흑체 괘적(Planckian locus) 상의 상기 측정된 색온도에 대응하는 점이 포함된 소정 영역일 수 있다.
또한, 상기 영상의 특성을 반영하는 영역은 상기 영상의 각 컬러 채널의 평균값에 대응하는 상기 색도 다이어그램 상의 좌표가 포함된 소정 영역일 수 있다.
또한, 상기 (c) 단계에서의 각 컬러 채널에 대한 상기 평균값은 다음 수학식에 따라 구해질 수 있다.
Figure 112008065703070-PAT00003
여기서, N1, R1, G1, B1은 각각 상기 무채색 영역에 속하는 픽셀들의 개수와 해당 픽셀들의 R, G, B 컬러 채널 각각의 누적값을, N2, R2, G2, B2은 각각 상기 영상의 특성을 반영하는 영역에 속하는 픽셀들의 개수와 해당 픽셀들의 R, G, B 컬러 채널 각각의 누적값을 나타낸다.
또한, 상기 복수 개의 영역은, 상기 영상의 중심을 포함하는 중심 영역과 상기 중심 영역을 둘러싸는 복수의 영역들을 포함할 수 있다.
또한, 상기 (e) 단계에서 상기 각 영역 중 임의의 영역에서 각 컬러 채널을 다음 수학식에 따라 보정할 수 있다.
Figure 112008065703070-PAT00004
여기서,
Figure 112008065703070-PAT00005
,
Figure 112008065703070-PAT00006
,
Figure 112008065703070-PAT00007
는 원래 화소의 각 컬러 채널 값을,
Figure 112008065703070-PAT00008
,
Figure 112008065703070-PAT00009
,
Figure 112008065703070-PAT00010
는 상기 (c) 단계에서 구해진 각 컬러 채널의 평균값을,
Figure 112008065703070-PAT00011
,
Figure 112008065703070-PAT00012
,
Figure 112008065703070-PAT00013
는 상기 임의의 영역에 대하여 상기 (d) 단계에서 구해진 각 컬러 채널의 평균값을 나타내며,
Figure 112008065703070-PAT00014
는 소정 값이다.
또한, 상기 화이트밸런스 보정 방법은, R 채널값이 G 채널값보다 큰 화소에서 상기 (e) 단계를 수행한 후에 R 채널값이 G 채널값보다 작아지는 경우 상기 (e) 단계를 수행한 후의 R 채널값을 보정하는 단계를 더 포함할 수 있다. 이때 상기 R 채널값의 보정은 상기 (e) 단계를 수행한 후의 R 채널값 및 G 채널값을 이용하여 이루어질 수 있다.
상기 기술적 과제를 해결하기 위하여 본 발명에 따른 화이트밸런스 보정 장치는, 영상의 색온도를 측정하는 색온도 측정부; 상기 영상으로부터, 색도 다이어그램 상의 상기 측정된 색온도에 해당하는 무채색 영역에 속하는 픽셀들과 상기 색도 다이어그램 상의 상기 영상의 특성을 반영하는 영역에 속하는 픽셀들을 추출하 는 픽셀 추출부; 각 컬러 채널에 대하여 상기 추출된 픽셀들의 평균값을 구하는 전역적 평균값 계산부; 상기 영상을 복수 개의 영역으로 나누어 각 영역에 대하여 각 컬러 채널의 평균값을 구하는 지역적 평균값 계산부; 및 상기 전역적 평균값 계산부에서 구해진 각 컬러 채널의 평균값과 상기 지역적 평균값 계산부에서 구해진 각 영역에서의 각 컬러 채널의 평균값을 이용하여 상기 각 영역 별로 화이트밸런스 보정을 수행하는 화이트밸런스 보정부를 포함하는 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위하여 상기된 본 발명에 따른 화이트밸런스 보정 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
본 발명에 의하면 광원이 두 개 이상인 경우에도 지역적 특성을 반영하여 화이트밸런스 보정을 수행할 수 있으며 저조도 환경에서 플래시를 이용하는 경우에도 화이트밸런스를 잘 맞출 수 있다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른 화이트밸런스 보정 방법의 흐름도이다. 본 실시예에 따른 화이트밸런스 보정 방법에 의하면, 영상의 전체적인 특성을 파악하고, 영상을 복수 개의 영역으로 나누어 지역적인 특성을 파악한 후, 전체적인 특성과 지역적인 특성을 함께 반영하여 화이트밸런스 보정을 수행한다. 도 1을 참조하면, 영상의 전체적인 특성의 파악은 도시된 110단계 내지 140단계를 통하여 이루어지고, 영상의 지역적인 특성의 파악은 도시된 150단계를 통하여 이루어지며, 그 결과를 이용하여 160단계에서 화이트밸런스 보정을 수행하게 된다.
영상의 전체적인 특성을 파악하기 위하여 먼저 110단계에서 영상의 색온도를 측정한다. 도 2는 본 실시예에서 색온도를 측정하기 위해 사용하는 색도 다이어그램(chromaticity diagram)의 예로서, xy 도메인으로 나타내어진다. 도 2를 참조하면, 색도 다이어그램 상에 흑체 복사에 따른 색온도 분포를 나타내는 흑체 괘적(Planckian locus)가 나타내어져 있다. 흑체 괘적은 무채색이 색온도가 변함에 따라 어떻게 색이 변하는지를 나타내는 괘적이다. 또한 이 흑체 괘적에 수직인 선분들이 존재하게 되는데, 이것은 해당 색온도를 가지는 (x, y) 포인트들의 집합을 나타낸다. 로버슨(Robertson)은 uv 혹은 xy 도메인에서의 31가지의 색온도에 따른 무채색의 포인트 값들과, 동일한 색온도를 가지는 라인의 기울기를 조사하고 그것을 바탕으로 임의의 컬러의 색온도를 측정할 수 있도록 하였다. 본 실시예에서 색온도 측정은 Robertson 알고리즘을 사용하여 측정할 수 있다. 물론 Robertson 알고리즘 외의 다른 색온도 측정 방법이 사용될 수 있다.
본 실시예에서 색온도는 xy 도메인에서 측정되므로 영상의 R, G, B 값을 x, y 값으로 변환하는 과정이 필요하다. 이때 두 단계를 거치게 되는데 먼저 R, G, B 값을 X, Y, Z 값으로 변환한 후 X, Y, Z 값을 정규화함으로써 x, y 값을 얻을 수 있다. 이러한 변환은 다음 수학식과 같이 표현될 수 있다.
Figure 112008065703070-PAT00015
,
Figure 112008065703070-PAT00016
상기 수학식 1에서,
Figure 112008065703070-PAT00017
은 각 채널에 관하여 영상의 특성을 반영하는 값으로 다음 수학식과 같이 영상의 각 채널의 평균값이 될 수 있다.
Figure 112008065703070-PAT00018
여기서, N, M은 영상의 크기(가로, 세로 픽셀수)를 나타낸다.
Figure 112008065703070-PAT00019
값으로부터 (x, y) 값이 얻어지면 그에 해당하는 색온도를 Robertson 알고리즘을 이용하여 구할 수 있다. 이렇게 구해진 색온도는 영상 전체의 특성을 반영하게 된다.
다음으로 120단계에서 색도 다이어그램 상의 상기 110단계에서 측정된 색온도에 해당하는 무채색 영역에 속한 픽셀들을 추출하고, 130단계에서 색도 다이어그램 상의 영상의 특성을 반영하는 영역에 속하는 픽셀들을 추출한다. 그리고 140단계에서는 상기 120단계 및 130단계에서 추출된 픽셀들을 가지고 각 컬러 채널에 대하여 영상의 전역적 평균을 구한다. 본 실시예에서 무채색 영역과 영상의 특성을 반영하는 영역을 정의함에 있어 무채색에 해당하는 점 혹은 영상의 특성을 반영하는 점의 주변의 점들을 포함시킴으로써 일정한 상관(correlation)을 가지는 점들을 추출하도록 한다.
상기 120단계는 색온도를 이용하여 영상에서 무채색을 추출하는 과정이고 상기 130단계는 영상의 특성을 반영하기 위한 과정이다. 같은 색온도 내에서도 영상의 색 치우침이 발생하기 마련인데, 색도 다이어그램 상의 흑체 괘적 부분을 확대하여 나타낸 도 3을 참조하면 측정된 색온도가 4000K라고 가정했을 때 흑체 괘적 위에 표시된 점(A)은 색온도 4000K에 해당하는 무채색을 나타내며, 그 주변의 영역, 예컨대 사각형으로 표시된 바와 같은 영역이 색온도 4000K에 해당하는 무채색 영역이 된다. 영상의 특성을 반영하는 영역은 보통 흑체 괘적을 벗어나 존재하게 되며, 예컨대 영상의 특성을 반영하는 점(B)를 포함하는 사각형으로 표시된 바와 같은 영역이 될 수 있다. 이는 주어진 영상이 4000K의 색온도를 가지지만 그 안에 서 아래쪽 방향으로 색 치우침이 존재함을 의미한다. 이러한 특성을 픽셀 추출에 반영하기 위한 단계가 130단계이며, 무채색 뿐만 아니라 영상 고유의 특성을 반영하여 화이트밸런스 보정을 수행하게 되면 보다 나은 성능을 얻을 수 있다.
상기 120단계를 보다 상세히 설명하면 다음과 같다. 120단계에서는 상기 110단계에서 측정된 색온도를 바탕으로 영상에서 화이트밸런스에 이용할 무채색에 해당하는 픽셀을 추출하게 된다. 색온도가 변함에 따라 무채색에도 색온도에 따른 색이 반영되기 마련인데, 예를 들어 낮은 색온도의 경우 전체적으로 붉은 색을 나타내기 때문에 무채색(흰색)의 경우에도 붉은 색에 더 치우쳐 나타나게 된다. 따라서 이러한 영역을 찾아내어 온전한 무채색으로 만들면 원하는 화이트밸런스를 맞출 수 있게 된다. 무채색 영역을 도 3에 도시된 바와 같이 흑체 괘적 상의 측정된 색온도에 대응하는 점(A)을 포함하는 사각형의 영역으로 정할 경우, 예컨대 다음 수학식과 같이 미리 정하여진 값 에 의해 일정 범위를 가지는 영역을 설정하여 그에 속하는 픽셀들의 집합
Figure 112008065703070-PAT00021
을 추출할 수 있다.
Figure 112008065703070-PAT00022
여기서,
Figure 112008065703070-PAT00023
은 측정된 색온도에서의 흑체 괘적 상의 점(A)으로 무채색에 해당하는 점이다.
이 영역에서 때 각 컬러 채널 별 픽셀의 누적값은 다음 수학식과 같이 구해질 수 있다.
Figure 112008065703070-PAT00024
또한 무채색 영역에 속하는 픽셀의 개수는 다음 수학식과 같이 구해질 수 있다.
Figure 112008065703070-PAT00025
상기 130단계를 보다 상세히 설명하면 다음과 같다. 130단계에서 영상의 특성을 반영하는 점(B)을 포함하는 사각형의 영역으로 정할 경우 예컨대 다음 수학식과 같이 미리 정하여진 값
Figure 112008065703070-PAT00026
에 의해 일정 범위를 가지는 영역을 설정하여 그에 속하는 픽셀들의 집합
Figure 112008065703070-PAT00027
를 추출할 수 있다.
Figure 112008065703070-PAT00028
여기서,
Figure 112008065703070-PAT00029
은 영상의 특성을 반영하는 점으로서 상기 110단계에서 색온도를 측정하는 과정에서 구해진
Figure 112008065703070-PAT00030
값을 xy domain으로 변환한 값
Figure 112008065703070-PAT00031
가 될 수 있다.
이 영역에서 때 각 컬러 채널 별 픽셀의 누적값은 다음 수학식과 같이 구해 질 수 있다.
Figure 112008065703070-PAT00032
또한, 이 영역에 속하는 픽셀의 개수는 다음과 같이 구해질 수 있다.
Figure 112008065703070-PAT00033
이제 140단계에서는 상기 120단계와 130단계에서 추출된 픽셀들을 가지고 영상의 전역적 평균을 구하게 된다. 영상의 전역적 평균으로서 각 컬러 채널에 대한 평균값은 다음 수학식과 같이 구해질 수 있다.
Figure 112008065703070-PAT00034
여기서, N1, R1, G1, B1은 각각 상기 무채색 영역에 속하는 픽셀들의 개수와 해당 픽셀들의 R, G, B 컬러 채널 각각의 누적값을, N2, R2, G2, B2은 각각 상기 영상의 특성을 반영하는 영역에 속하는 픽셀들의 개수와 해당 픽셀들의 R, G, B 컬러 채널 각각의 누적값을 나타낸다.
도 4는 저조도 환경에서 디지털 카메라에 의해 획득된 영상으로서, 화면의 중앙이 카메라 플래시에 의한 영향을 받는 것을 볼 수 있다. 도 5는 도 4의 영상의 흰색 부분을 영역에 따라 히스토그램으로 비교한 결과를 나타내는 도면으로서, 동일한 흰색이지만 플래시의 영향을 받는 부분과 그렇지 않은 부분의 색이 동일하지 않음을 확인할 수 있다. 일반적으로 어두운 환경에서 획득된 영상은 전체적으로 붉은색이 강하지만 플래시의 영향을 받지 않는 부분은 상대적으로 붉은색이 약하게 나타나게 된다.
따라서 지역적으로 화이트밸런스 보정을 달리 하여 줄 필요가 있는 바, 150단계에서는 영상을 복수 개의 영역으로 나누어 각 영역 별로 각 컬러 채널의 지역적 평균을 구한다. 본 실시예에서는 영상을 중심을 포함하는 중심 영역과 그를 둘러싸는 몇 개의 영역들로 나누는데, 예를 들면 도 6에 도시된 바와 같이 중심 영역과 그 주변의 4개의 영역으로 총 5개의 영역으로 나눈다. 중심 영역과 그 주변의 영역들로 나누는 이유는 일반적으로 플래시는 영상의 중앙에 영향을 주게 되며 다른 광원은 그 이외의 부분에 영향을 주는 경우가 많기 때문이다.
150단계에서는 영역별 특성을 반영하기 위하여 각 영역 별로 각 컬러 채널의 평균값을 구하게 된다. 이 평균값들은 다음 수학식에 따라 구해질 수 있다.
Figure 112008065703070-PAT00035
여기서,
Figure 112008065703070-PAT00036
는 k번째 영역의 각 채널에 대한 평균값으로서 각 영역을
Figure 112008065703070-PAT00037
라는 집합으로 표현하여 그 영역에 속하는 픽셀들만이 평균값의 계산에 사용되도록 한다. 그리고
Figure 112008065703070-PAT00038
는 k번째 영역에 속하는 픽셀의 개수를 나타낸다.
다음으로 160단계에서 상기 140단계에서 구해진 전역적 평균과 상기 150단계에서 구해진 지역적 평균을 이용하여 화이트밸런스 보정을 수행한다. 나누어진 영역들 중 임의의 영역에서 화이트밸런스 보정은 다음 수학식에 따라 수행될 수 있다.
Figure 112008065703070-PAT00039
여기서
Figure 112008065703070-PAT00040
,
Figure 112008065703070-PAT00041
,
Figure 112008065703070-PAT00042
는 원래 화소의 각 컬러 채널 값이고,
Figure 112008065703070-PAT00043
,
Figure 112008065703070-PAT00044
,
Figure 112008065703070-PAT00045
는 상기 140단계에서 구한 각 컬러 채널의 전역적 평균이며,
Figure 112008065703070-PAT00046
,
Figure 112008065703070-PAT00047
,
Figure 112008065703070-PAT00048
는 상기 150단계에서 구한 각 컬러 채널의 지역적 평균으로서 영역을 나타내는 인덱스는 편의상 표시하지 않았다. 상기 수학식을 참조하면, 화이트밸런스 보정은 전체적으로는 전역적 평균에 의해 결정이 되고 더불어 지역적 평균과 화소값에 의해 각 화소마다 화이트밸런스 보정을 위한 지역적 파라미터가 결정된다. 지역적 파라미터에 의해 각 영역의 특성이 반영된다. 그리고
Figure 112008065703070-PAT00049
는 지역적 파라미터의 비율(ratio)의 안정화를 위한 값으로서 지역적 파라미터가 원하지 않게 커지거나 작아지는 것을 방지하기 위한 값이다.
Figure 112008065703070-PAT00050
를 적절하게 조정함으로써 지역적 파라미터에 의해 화소값이 지나치게 변하는 것을 막을 수 있고 서로 다른 영역 간의 화이트밸런스 보정의 차이를 줄일 수 있다.
한편, 원래 화소의 R 채널값이 G 채널값보다 큰 경우 화이트밸런스 보정에 의해서 R 채널값이 G 채널값보다 작아지는 경우가 발생할 수 있는데 이런 경우를 컬러 채널 값에 역전이 생긴다는 의미에서 역전 오류라 정의하기로 한다. 역전 오류가 발생하는 경우 이를 최소화할 필요가 있는데 따라서 본 실시예에서는 상기 160단계 이후에 역전 오류를 방지하기 위한 단계를 더 마련할 수 있다. 본 단계는 다음 수학식과 같이 표현될 수 있다.
Figure 112008065703070-PAT00051
여기서,
Figure 112008065703070-PAT00052
,
Figure 112008065703070-PAT00053
는 화이트밸런스 보정 후의 화소의 채널값이며,
Figure 112008065703070-PAT00054
는
Figure 112008065703070-PAT00055
와 마찬가지로 비율의 안정화를 위한 값이다. 즉, 만일 원래 R 채널값이 G 채널값보다 크고 화이트밸런스 보정의 결과 R 채널값이 G 채널값보다 작아졌다면 화이트밸런스 보정 후의 R 채널값을 보정하여 주는
Figure 112008065703070-PAT00056
과
Figure 112008065703070-PAT00057
을 이용하여 보정하여 주는 것이다.
도 7은 기존의 gray world assumption 에 의한 화이트밸런스 보정과 본 실시예에 의한 화이트밸런스 보정의 결과를 나타내는 도면으로서 (a) 는 기존 알고리즘에 의한 영상을, (b)는 본 실시예에 의한 영상을 나타낸다. 실험 영상은 저조도 환경에서 플래시를 사용한 것으로서 두 개의 광원이 존재하는 상황이다. 도 7을 참조하면, 기존 알고리즘에 비해 본 실시예에서 전체적으로 흰 색이 더 흰색으로 나타남을 확인할 수 있다. 뿐만 아니라 두 개의 광원이 존재하므로 기존 알고리즘에서는 화이트밸런스가 잘 맞지 않는 것을 알 수 있다. 그러나 본 실시예에 의한 방법에서는 지역적인 특성을 고려함으로써 화이트밸런스가 잘 맞게 됨을 확인할 수 있다.
도 8은 본 발명의 일 실시예에 따른 화이트밸런스 보정 장치의 구성을 나타내는 도면이다. 본 실시예에 따른 화이트밸런스 보정 장치는, 색온도 측정부(810), 픽셀 추출부(820), 전역적 평균값 계산부(830), 지역적 평균값 계산부(840), 화이트밸런스 보정부(850)를 포함하여 이루어진다.
색온도 측정부(810)는 입력 영상의 색온도를 측정한다. 색온도 측정부(810)의 동작은 도 1의 110단계에 관련된 설명과 동일하므로 구체적인 설명은 생략한다.
픽셀 추출부(820)는 입력 영상으로부터 색도 다이어그램 상의 측정된 색온도에 해당하는 무채색 영역에 속하는 픽셀들과 색도 다이어그램 상의 입력 영상의 특성을 반영하는 영역에 속하는 픽셀들을 추출한다. 픽셀 추출부(820)의 동작은 도 1의 120단계 및 130단계에 관련된 설명과 동일하므로 구체적인 설명은 생략한다.
전역적 평균값 계산부(830)는 각 컬러 채널에 대하여 픽셀 추출부(820)에서 추출된 픽셀들의 평균값을 구한다. 전역적 평균값 계산부(830)의 동작은 도 1의 140단계에 관련된 설명과 동일하므로 구체적인 설명은 생략한다.
지역적 평균값 계산부(840)는 입력 영상을 복수 개의 영역으로 나누어 각 영역에 대하여 각 컬러 채널의 평균값을 구한다. 지역적 평균값 계산부(840)의 동작은 도 1의 150단계에 관련된 설명과 동일하므로 구체적인 설명은 생략한다.
화이트밸런스 보정부(850)는 전역적 평균값 계산부(830)에서 구해진 각 컬러 채널의 평균값과 지역적 평균값 계산부(840)에서 구해진 각 영역에서의 각 컬러 채널의 평균값을 이용하여 각 영역 별로 화이트밸런스 보정을 수행한다. 또한, 화이트밸런스 보정부(850)는 역전 오류를 최소화하기 위하여 R 채널값이 G 채널값보다 큰 화소에서 화이트밸런스 보정을 수행한 후에 R 채널값이 G 채널값보다 작아지는 경우 화이트밸런스 보정을 수행한 후의 R 채널값을 보정하는 기능을 할 수 있다. 화이트밸런스 보정부(850)의 동작은 상기 160단계 및 상기된 역전 오류를 방지하기 위한 단계에 관련된 설명과 동일하므로 구체적인 설명은 생략한다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 화이트밸런스 보정 방법의 흐름도이다.
도 2는 색도 다이어그램(chromaticity diagram)의 예이다.
도 3은 색도 다이어그램 상의 흑체 괘적 부분을 확대하여 나타낸 도면이다.
도 4는 저조도 환경에서 디지털 카메라에 의해 획득된 영상이다.
도 5는 도 4의 영상의 흰색 부분을 영역에 따라 히스토그램으로 비교한 결과를 나타낸다.
도 6은 본 발명의 일 실시예에 따라 영상을 복수 개의 영역으로 나눈 예이다.
도 7은 기존의 gray world assumption 에 의한 화이트밸런스 보정과 본 발명의 일 실시예에 의한 화이트밸런스 보정의 결과를 나타낸다.
도 8은 본 발명의 일 실시예에 따른 화이트밸런스 보정 장치의 구성을 나타낸다.

Claims (17)

  1. (a) 영상의 색온도를 측정하는 단계;
    (b) 상기 영상으로부터, 색도 다이어그램 상의 상기 측정된 색온도에 해당하는 무채색 영역에 속하는 픽셀들과 상기 색도 다이어그램 상의 상기 영상의 특성을 반영하는 영역에 속하는 픽셀들을 추출하는 단계;
    (c) 각 컬러 채널에 대하여 상기 (b) 단계에서 추출된 픽셀들의 평균값을 구하는 단계;
    (d) 상기 영상을 복수 개의 영역으로 나누어 각 영역에 대하여 각 컬러 채널의 평균값을 구하는 단계; 및
    (e) 상기 (c) 단계에서 구해진 각 컬러 채널의 평균값과 상기 (d) 단계에서 구해진 각 영역에서의 각 컬러 채널의 평균값을 이용하여 상기 각 영역 별로 화이트밸런스 보정을 수행하는 단계를 포함하는 것을 특징으로 하는 화이트밸런스 보정 방법.
  2. 제1항에 있어서,
    상기 측정된 색온도에 해당하는 무채색 영역은 흑체 괘적(Planckian locus) 상의 상기 측정된 색온도에 대응하는 점이 포함된 소정 영역인 것을 특징으로 하는 화이트밸런스 보정 방법.
  3. 제1항에 있어서,
    상기 영상의 특성을 반영하는 영역은 상기 영상의 각 컬러 채널의 평균값에 대응하는 상기 색도 다이어그램 상의 좌표가 포함된 소정 영역인 것을 특징으로 하는 화이트밸런스 보정 방법.
  4. 제1항에 있어서,
    상기 (c) 단계에서의 각 컬러 채널에 대한 상기 평균값은 다음 수학식에 따라 구해지는 것을 특징으로 하는 화이트밸런스 보정 방법.
    Figure 112008065703070-PAT00058
    여기서, N1, R1, G1, B1은 각각 상기 무채색 영역에 속하는 픽셀들의 개수와 해당 픽셀들의 R, G, B 컬러 채널 각각의 누적값을, N2, R2, G2, B2은 각각 상기 영상의 특성을 반영하는 영역에 속하는 픽셀들의 개수와 해당 픽셀들의 R, G, B 컬러 채널 각각의 누적값을 나타낸다.
  5. 제1항에 있어서,
    상기 복수 개의 영역은, 상기 영상의 중심을 포함하는 중심 영역과 상기 중심 영역을 둘러싸는 복수의 영역들을 포함하는 것을 특징으로 하는 화이트밸런스 보정 방법.
  6. 제1항에 있어서,
    상기 (e) 단계에서 상기 각 영역 중 임의의 영역에서 각 컬러 채널을 다음 수학식에 따라 보정하는 것을 특징으로 하는 화이트밸런스 보정 방법.
    Figure 112008065703070-PAT00059
    여기서,
    Figure 112008065703070-PAT00060
    ,
    Figure 112008065703070-PAT00061
    ,
    Figure 112008065703070-PAT00062
    는 원래 화소의 각 컬러 채널 값을,
    Figure 112008065703070-PAT00063
    ,
    Figure 112008065703070-PAT00064
    ,
    Figure 112008065703070-PAT00065
    는 상기 (c) 단계에서 구해진 각 컬러 채널의 평균값을,
    Figure 112008065703070-PAT00066
    ,
    Figure 112008065703070-PAT00067
    ,
    Figure 112008065703070-PAT00068
    는 상기 임의의 영역에 대하여 상기 (d) 단계에서 구해진 각 컬러 채널의 평균값을 나타내며,
    Figure 112008065703070-PAT00069
    는 소정 값이다.
  7. 제1항에 있어서,
    R 채널값이 G 채널값보다 큰 화소에서 상기 (e) 단계를 수행한 후에 R 채널값이 G 채널값보다 작아지는 경우 상기 (e) 단계를 수행한 후의 R 채널값을 보정하는 단계를 더 포함하는 것을 특징으로 하는 화이트밸런스 보정 방법.
  8. 제7항에 있어서,
    상기 R 채널값의 보정은 상기 (e) 단계를 수행한 후의 R 채널값 및 G 채널값을 이용하여 이루어지는 것을 특징으로 하는 화이트밸런스 보정 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 기재된 화이트밸런스 보정 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  10. 영상의 색온도를 측정하는 색온도 측정부;
    상기 영상으로부터, 색도 다이어그램 상의 상기 측정된 색온도에 해당하는 무채색 영역에 속하는 픽셀들과 상기 색도 다이어그램 상의 상기 영상의 특성을 반영하는 영역에 속하는 픽셀들을 추출하는 픽셀 추출부;
    각 컬러 채널에 대하여 상기 추출된 픽셀들의 평균값을 구하는 전역적 평균값 계산부;
    상기 영상을 복수 개의 영역으로 나누어 각 영역에 대하여 각 컬러 채널의 평균값을 구하는 지역적 평균값 계산부; 및
    상기 전역적 평균값 계산부에서 구해진 각 컬러 채널의 평균값과 상기 지역적 평균값 계산부에서 구해진 각 영역에서의 각 컬러 채널의 평균값을 이용하여 상기 각 영역 별로 화이트밸런스 보정을 수행하는 화이트밸런스 보정부를 포함하는 것을 특징으로 하는 화이트밸런스 보정 장치.
  11. 제10항에 있어서,
    상기 측정된 색온도에 해당하는 무채색 영역은 흑체 괘적(Planckian locus) 상의 상기 측정된 색온도에 대응하는 점이 포함된 소정 영역인 것을 특징으로 하는 화이트밸런스 보정 장치.
  12. 제10항에 있어서,
    상기 영상의 특성을 반영하는 영역은 상기 영상의 각 컬러 채널의 평균값에 대응하는 상기 색도 다이아그램 상의 좌표가 포함된 소정 영역인 것을 특징으로 하는 화이트밸런스 보정 장치.
  13. 제10항에 있어서,
    상기 전역적 평균값 계산부는 각 컬러 채널에 대한 상기 평균값을 다음 수학식에 따라 구하는 것을 특징으로 하는 화이트밸런스 보정 장치.
    Figure 112008065703070-PAT00070
    여기서, N1, R1, G1, B1은 각각 상기 무채색 영역에 속하는 픽셀들의 개수와 해당 픽셀들의 R, G, B 컬러 채널 각각의 누적값을, N2, R2, G2, B2은 각각 상기 영상의 특성을 반영하는 영역에 속하는 픽셀들의 개수와 해당 픽셀들의 R, G, B 컬러 채널 각각의 누적값을 나타낸다.
  14. 제10항에 있어서,
    상기 복수 개의 영역은, 상기 영상의 중심을 포함하는 중심 영역과 상기 중심 영역을 둘러싸는 복수의 영역들을 포함하는 것을 특징으로 하는 화이트밸런스 보정 장치.
  15. 제10항에 있어서,
    상기 화이트밸런스 보정부는 상기 각 영역 중 임의의 영역에서 각 컬러 채널을 다음 수학식에 따라 보정하는 것을 특징으로 하는 화이트밸런스 보정 장치.
    Figure 112008065703070-PAT00071
    여기서,
    Figure 112008065703070-PAT00072
    ,
    Figure 112008065703070-PAT00073
    ,
    Figure 112008065703070-PAT00074
    는 원래 화소의 각 컬러 채널 값을,
    Figure 112008065703070-PAT00075
    ,
    Figure 112008065703070-PAT00076
    ,
    Figure 112008065703070-PAT00077
    는 상기 (c) 단계에서 구해진 각 컬러 채널의 평균값을,
    Figure 112008065703070-PAT00078
    ,
    Figure 112008065703070-PAT00079
    ,
    Figure 112008065703070-PAT00080
    는 상기 임의의 영역에 대하여 상기 (d) 단계에서 구해진 각 컬러 채널의 평균값을 나타내며,
    Figure 112008065703070-PAT00081
    는 소정 값이다.
  16. 제10항에 있어서,
    상기 화이트밸런스 보정부는, R 채널값이 G 채널값보다 큰 화소에서 상기 화이트밸런스 보정을 수행한 후에 R 채널값이 G 채널값보다 작아지는 경우 상기 화이트밸런스 보정을 수행한 후의 R 채널값을 보정하는 것을 특징으로 하는 화이트밸런스 보정 장치.
  17. 제16항에 있어서,
    상기 R 채널값의 보정은 상기 화이트밸런스 보정을 수행한 후의 R 채널값 및 G 채널값을 이용하여 이루어지는 것을 특징으로 하는 화이트밸런스 보정 장치.
KR1020080091584A 2008-09-18 2008-09-18 화이트밸런스 보정 방법 및 장치 KR100987030B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080091584A KR100987030B1 (ko) 2008-09-18 2008-09-18 화이트밸런스 보정 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080091584A KR100987030B1 (ko) 2008-09-18 2008-09-18 화이트밸런스 보정 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20100032618A true KR20100032618A (ko) 2010-03-26
KR100987030B1 KR100987030B1 (ko) 2010-10-11

Family

ID=42181775

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080091584A KR100987030B1 (ko) 2008-09-18 2008-09-18 화이트밸런스 보정 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100987030B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150000359A (ko) 2013-06-24 2015-01-02 삼성테크윈 주식회사 화이트 밸런스 보정 방법
CN107784991A (zh) * 2017-11-11 2018-03-09 安徽质在智能科技有限公司 一种自动成像修正的方法
WO2017195993A3 (en) * 2016-05-12 2018-07-19 Samsung Electronics Co., Ltd. Method and electronic device for verifying light source of images
CN116074484A (zh) * 2023-01-15 2023-05-05 山东产研卫星信息技术产业研究院有限公司 一种CMOS卫星影像的Bayer色彩重建方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101545323B1 (ko) 2014-01-22 2015-08-19 (주) 픽셀플러스 자동 화이트 밸런스 조정 시스템 및 자동 화이트 밸런스 조정 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002271638A (ja) * 2001-03-09 2002-09-20 Fuji Photo Film Co Ltd ホワイトバランス補正方法及び装置並びに該方法を実行するためのプログラムを記録した記録媒体
JP2005033609A (ja) 2003-07-08 2005-02-03 Fuji Film Microdevices Co Ltd 固体撮像装置及びデジタルカメラ
JP4433883B2 (ja) 2004-05-31 2010-03-17 カシオ計算機株式会社 ホワイトバランス補正装置及びホワイトバランス補正方法、プログラム、電子カメラ装置
JP2006203557A (ja) 2005-01-20 2006-08-03 Canon Inc 撮像装置及びその制御方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150000359A (ko) 2013-06-24 2015-01-02 삼성테크윈 주식회사 화이트 밸런스 보정 방법
WO2017195993A3 (en) * 2016-05-12 2018-07-19 Samsung Electronics Co., Ltd. Method and electronic device for verifying light source of images
US10339672B2 (en) 2016-05-12 2019-07-02 Samsung Electronics Co., Ltd. Method and electronic device for verifying light source of images
CN107784991A (zh) * 2017-11-11 2018-03-09 安徽质在智能科技有限公司 一种自动成像修正的方法
CN107784991B (zh) * 2017-11-11 2020-06-09 广东海豹信息技术有限公司 一种自动成像修正的方法
CN116074484A (zh) * 2023-01-15 2023-05-05 山东产研卫星信息技术产业研究院有限公司 一种CMOS卫星影像的Bayer色彩重建方法

Also Published As

Publication number Publication date
KR100987030B1 (ko) 2010-10-11

Similar Documents

Publication Publication Date Title
KR100311075B1 (ko) 인지광원과 하이라이트를 이용한 조명 색도 추정 및변환장치 및 그를 위한 방법
US8941755B2 (en) Image processing device with automatic white balance
JP4754227B2 (ja) オートホワイトバランス装置及びホワイトバランス調整方法
US8416316B2 (en) Apparatus and method for adjusting white balance in a digital imaging device
US9996913B2 (en) Contrast based image fusion
US7949185B2 (en) Method of performing robust auto white balance
KR102170686B1 (ko) 화이트 밸런스 보정 장치 및 방법
KR100866490B1 (ko) 영상의 색 수차를 보정하기 위한 장치 및 방법
US9875724B2 (en) Method and electronic device for adjusting display
US9483849B2 (en) Method and apparatus for controlling camera for color calibration of multi-displays
JP6234191B2 (ja) マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置
KR101030393B1 (ko) 디지털 영상의 화이트 밸런스 조정 장치 및 방법
KR100987030B1 (ko) 화이트밸런스 보정 방법 및 장치
JP2008275374A (ja) 情報処理装置および方法
CN113194303B (zh) 图像白平衡方法、装置、电子设备和计算机可读存储介质
JP2000171304A (ja) カラ―照明色温度の検出方法及び該装置
JP5899894B2 (ja) 撮像装置、画像処理装置、画像処理プログラムおよび画像処理方法
KR20160098540A (ko) 컬러 테이블 생성 장치, 카메라 영상 보정/제어 장치 및 그 방법
JP2014192859A (ja) 色補正方法、プログラム及び装置
US9293113B2 (en) Image processing apparatus and control method thereof
CN114170960B (zh) 一种硅基OLED微显示屏的定制Gamma校正方法
JP2014090410A (ja) ホワイトバランス調整方法
JP2008109604A (ja) デジタル影像キャプチャ装置及びホワイトバランス調整方法
JP6275695B2 (ja) 推定装置、推定方法、集積回路およびプログラム
CN113596427B (zh) 图像白平衡提升方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130924

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140804

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160105

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171011

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20181005

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20191205

Year of fee payment: 10