KR101451982B1 - 디지털 영상 장치에서 화이트 밸런스 조정 장치 및 방법 - Google Patents

디지털 영상 장치에서 화이트 밸런스 조정 장치 및 방법 Download PDF

Info

Publication number
KR101451982B1
KR101451982B1 KR1020080012777A KR20080012777A KR101451982B1 KR 101451982 B1 KR101451982 B1 KR 101451982B1 KR 1020080012777 A KR1020080012777 A KR 1020080012777A KR 20080012777 A KR20080012777 A KR 20080012777A KR 101451982 B1 KR101451982 B1 KR 101451982B1
Authority
KR
South Korea
Prior art keywords
image
color
color temperature
white balance
value
Prior art date
Application number
KR1020080012777A
Other languages
English (en)
Other versions
KR20090087379A (ko
Inventor
박민규
박현희
조성대
강문기
김창원
오현묵
Original Assignee
삼성전자주식회사
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 연세대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020080012777A priority Critical patent/KR101451982B1/ko
Priority to US12/378,124 priority patent/US8416316B2/en
Publication of KR20090087379A publication Critical patent/KR20090087379A/ko
Application granted granted Critical
Publication of KR101451982B1 publication Critical patent/KR101451982B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6077—Colour balance, e.g. colour cast correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

디지털 영상 장치에서 화이트 밸런스(White Balance) 조정 방법에 있어서, 화이트 밸런스 알고리즘을 적용하고자 하는 영상의 히스토그램을 분석하는 과정과, 화이트 밸런스 알고리즘을 적용하고자 하는 영상을 색 분포 기준에 따라 나누는 과정과, 나누어진 색 분포에 따라서 화이트 밸런스 알고리즘을 다르게 적용하는 과정을 포함하는 것을 특징으로 한다.
Figure R1020080012777
화이트 밸런스, 색 분포, 색 온도값, 무채색

Description

디지털 영상 장치에서 화이트 밸런스 조정 장치 및 방법{APPARATUS AND METHOD FOR ADJUSTING WHITE BALANCE IN DIGITAL IMAGE DEVICE}
본 발명은 영상 장치에 관한 것으로, 특히 영상 장치의 화이트 밸런스를 조절하는 장치 및 방법에 관한 것이다.
모든 빛은 고유의 색 온도 값을 가지고 있다. 색 온도는 광원의 빛의 색깔을 온도로 표시한 것으로서, 보통 캘빈 온도라는 단위로 표시하는데, 태양광선, 형광등, 촛불 등의 광선은 모두 다른 색 온도 값을 가지고 있다. 이러한 색 온도의 차를 사람이 잘 느끼지 못하는 것은 사람의 눈이 매우 우수한 오토 화이트 밸런스(White Balance) 기능을 가지고 있기 때문이다. 화이트 밸런스란 광원에서 빨간색, 초록색, 푸른색의 상대적인 강도를 뜻한다.
카메라에서는 색 온도가 낮으면 붉은색을 띠고, 높으면 푸른색을 띤다. 태양광 아래에서는 정상적인 컬러 밸런스를 얻을 수 있다. 하지만 이보다 색 온도가 낮은 백열등이나 촛불 아래에서는 붉은색으로, 색 온도가 높은 흐린 날이나 형광등 아래에서는 푸른색으로 표현된다. 카메라로 촬영할 때 백열등 아래에서는 노랗게 사진이 나오고 형광등 아래에서는 푸르스름하게 사진이 나오는 것은 이러한 이유 때문이다.
화이트 밸런스를 맞춘다는 것은 카메라가 현장에서 빛을 통해 느끼고 받아들이는 색을 기억시켜 피사체로부터 반사되는 색을 정확하게 표현하기 위해 하는 작업이라고 할 수 있다. 캠코더나 카메라 등의 촬상 장치에서 실내 및 야외의 조명 상태에 따라 색온도가 다르기 때문에 발생하는 색상의 불일치를 맞추기 위하여, 일반적으로 백색의 차트나 종이를 피사체의 위치에서 정상적으로 촬영하여 화면의 밝은 부분의 색상의 균형을 잡아 시각적으로 자연스러운 영상을 얻도록 화이트 밸런스를 제어한다. 화이트, 즉 흰색의 물체는 현장의 조명에 따라 조금씩 다른 색으로 보인다. 따라서 화이트 밸런스를 조절하는 것은 흰색의 물체가 현재 반사하고 있는 이 색깔이 원래는 흰색이라는 것을 카메라에 약속시키는 과정이다.
통상적으로 화이트 밸런스에 가장 많이 사용되는 방법은 GWA(Gray World Assumption) 가정을 기반으로 하는 Von Kries 방법이다. GWA란 세상의 모든 컬러의 조합은 무채색이 된다는 이론으로 영상 내에서 다양한 컬러가 존재할 때 한 영상내의 전체적인 평균은 무채색이 된다는 이론이다. 이때, 무채색이란 밝기만 존재하고 색 성분이 없는 것으로, RGB(Red, Green, Blue) 각 채널의 평균이 같다는 것을 의미한다. 이러한 GWA 가정을 기반으로 각 채널에서 구한 평균이 같도록 만들어 주는 것이 Von Kries 방법이다.
도 1은 통상적으로 쓰이는 디지털 영상에서의 오토 화이트 밸런스 알고리즘의 전체적인 동작을 나타낸 흐름도이다.
도 1을 살펴보면, 101단계에서 디지털 영상장치에서 촬영한 원본 이미지의 전체 영역의 화소값을 검출한다. 103단계에서 검출된 화소값의 평균값을 계산한 후, 105단계에서 계산된 평균값의 각 색상 성분이 동일한지 판단한다. 만약 평균값이 동일하지 않다면, 107단계로 진행하여 화소별 샐상 성분값이 동일하도록 조절하여 109단계로 진행하고, 만약 평균값이 동일하다면, 109단계로 진행하여 동일한 평균값이 적용된 결과 이미지를 저장하고 종료한다.
이보다 향상된 방법으로 현재 ISP(Image Signal Processor)에 가장 많이 사용되는 방법은 한 영상을 크게 몇 개의 구간으로 나누어서 각 구간의 평균들 간의 비교를 통해 화이트 밸런스의 가중치를 결정하는 FRM(Fuzzy Rule Method)과, 무채색을 검출하여 검출된 영상을 기반으로 화이트 밸런스 가중치를 찾아내는 방법, 밝기의 값이 일정 문턱값 이상이고, R값에서 G값을 뺀 절대값과 B값에서 G값을 뺀 절대값이 일정 문턱값 이하인 화소들을 무채색으로 선택하는 무채색을 검출하는 방법 등이 있다.
하지만, 상기의 기술들은 여러 가지 문제점들을 포함하고 있다. FRM의 경우, 영역의 분할과 가중치 연산에 따라서 결과가 좌우되는 문제점이 있고, 무채색 검출을 기반으로 하는 방법은 무채색 검출 방법에 따라 결과가 좌우된다. 영상 내의 컬러 분포가 다양하지 못한 경우나, 영상이 단색이나 몇 가지 색으로 이루어져 있는 경우에도 정확한 화이트 포인트 추정이 어려워지는 문제점이 발생한다.
본 발명은 영상을 특성에 따라 분리하고, 색 온도 추정을 통하여 화이트 포인트를 정확하게 추정하여 영상의 화이트 밸런스를 정확하게 맞추어주는 장치 및 방법을 제공하고자 한다.
본 발명의 일 견지에 따르면, 디지털 영상 장치에서 화이트 밸런스(White Balance) 조정 방법에 있어서, 화이트 밸런스 알고리즘을 적용하고자 하는 영상의 히스토그램을 분석하는 과정과, 화이트 밸런스 알고리즘을 적용하고자 하는 영상을 색 분포 기준에 따라 나누는 과정과, 나누어진 색 분포에 따라서 화이트 밸런스 알고리즘을 다르게 적용하는 과정을 포함하는 것을 특징으로 한다.
본 발명의 다른 견지에 따르면, 디지털 영상 장치에서 화이트 밸런스(White Balance) 조정 장치에 있어서, 피사체를 촬영하고 원본 이미지를 생성하는 이미지 센서부와, 원본 이미지의 색 온도 추정을 통하여 무채색 영역을 찾고, 무채색 영역의 화이트 포인트를 추출하여 상기 원본 이미지의 화이 밸런스를 맞추어주는 영상 처리부를 포함하는 것을 특징으로 한다.
본 발명에 의하면, 카메라 센서로부터 입력된 영상 신호의 정확한 화이트 밸런스를 맞추어 주어 영상의 품질을 높여주는 효과가 있다.
이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
종래의 기술에서 언급한 바와 같이, FRM의 경우, 영역의 분할과 가중치 연산에 따라서 결과가 좌우되는 문제점이 있고, 무채색 검출을 기반으로 하는 방법은 무채색 검출 방법에 따라 결과가 좌우된다. 영상 내의 컬러 분포가 다양하지 못한 경우나, 영상이 단색이나 몇 가지 색으로 이루어져 있는 경우에도 정확한 화이트 포인트 추정이 어려워지는 문제점이 있었다. 따라서 종래 기술에서 언급한 문제를 해결하고자 본 발명에서는 해당 영상을 특성에 따라 분리하고 색 온도 추정을 통하여, 무채색 영역을 추출한 뒤 화이트 포인트를 정확하게 추정하여 해당 영상에 대한 화이트 밸런스를 정확하게 맞추어 주는 새로운 방법을 제안한다. 이하 본 발명의 내부 구성을 도시한 구성도와 흐름도를 참조하여 자세히 설명한다.
본 발명에서 화이트 밸런스 알고리즘의 전체적인 동작은 크게 세 부분으로 구성된다. 우선 입력된 영상의 색 분포가 설정된 임계값보다 큰 영상과, 설정된 임계값보다 작은 영상으로 분리되고, 설정된 임계값보다 작은 영상에서 단색인 영상과 단색이 아닌 영상으로 한번 더 분리된다. 세 부분으로 분리된 영상 중 설정된 임계값보다 큰 영상과, 단색이 아닌 영상에 대해서는 무채색 영역을 검출하고 이를 이용하여 화이트 밸런스 알고리즘을 영상에 적용한다. 단색인 영상에 대해서는 화 이트 밸런스 알고리즘을 적용하지 않는다.
도 2는 본 발명의 일 실시 예에 따른 화이트 밸런스 보정 기능이 있는 영상장치의 내부 구성도이다. 도 2에서 도시한 바와 같이 영상 장치는 이미지 센서부(21), 영상처리부(23), 메모리부(25), 디스플레이부(27)로 구성되고, 영상처리부(23)는 다시 색상 검출부(201), 평균값 계산부(203), 색 온도 추정부(205), 화이트 밸런스 적용부(207)로 구성된다.
도 2를 살펴보면, 이미지 센서부(21)에서 피사체를 촬영하여 원본 이미지를 생성하면, 영상처리부(23)의 색상 검출부(201)에서 영상의 히스토그램 분포 특성을 파악하여 색 분포 값을 결정한다. 평균값 계산부(203)에서 결정된 색 분포 값을 전송 받아 결정된 색 분포 값의 평균값을 구하고, 색 온도 추정부(205)에서 평균값 계산부(203)에서 구한 평균값을 이용하여 색 온도를 추정하고, 이에 따른 무채색 영역을 검출한다. 화이트 밸런스 적용부(207)에서 추정된 색 온도와 무채색 영역을 이용하여 원본 이미지에 화이트 밸런스를 적용한다. 화이트 밸런스가 적용된 이미지를 사용자의 조작에 의해 메모리부(25)에 저장되거나 디스플레이부(27)에 나타내어진다. 상기의 구성도를 참조하여 화이트 밸런스 알고리즘을 적용하는 과정을 설명하면 하기와 같다.
도 3은 본 발명의 일 실시 예에 따른 화이트 밸런스 알고리즘의 전체적인 동작을 나타낸 흐름도이다. 도 3에서 화이트 밸런스 알고리즘의 전체적인 동작은 크게 색 분포가 큰 영상, 색 분포가 소수의 색으로 구성된 영상, 단색으로 구성된 영상, 이렇게 세 부분으로 구성된다.
도 3을 살펴보면, 301단계에서 화이트 밸런스를 맞춰주고자 하는 영상의 히스토그램 분포 특성을 파악한다. 히스토그램의 분포 특성을 파악하기 위하여 상위 a%와 하위 b%의 밝기 값을 가지는 픽셀수를 제외한 나머지 최대값과 최소값의 차이를 RGB 각 채널에 대하여 dR, dG, dB로 각각 정의한다. 여기서 a와 b는 0에서 50사이의 임의의 수로 정의 할 수 있다.
303단계에서 색 분포가 다양한 영상인지를 판별하게 되는데, 이는 G 채널에서의 거리값을 중심으로 R 채널과 B 채널의 거리값 차이를 계산한 값의 절대값이 설정된 임계값 이상이 되는 경우, 색 분포가 다양하지 못한 영상이라고 판단한다. 이를 하기의 수학식으로 표현하면 다음과 같다.
l dR - dG l < th1R
l dB - dG l < th1B
G 채널에서의 거리값을 중심으로 R 채널과 B 채널의 거리값 차이를 계산한 값의 절대값이 임계값 이하가 되는 색 분포가 다양한 경우에는 각 채널의 히스토그램의 평균이 유사하다고 판단한다. RGB 각 채널의 평균을 uR, uG, uB라 하는 경우, 하기의 수학식을 이용하여 유사도를 측정할 수 있다.
l uR - uG l < th2R
l uB - uG l < th2B
수학식 1과 2에서 표현된 임계값들(th1R, th1B, th2R, th2B)은 해당 영상에 따라 실험적으로 결정된다. 즉, 수학식 1과 수학식 2의 조건에 모두 해당되는 경우 각 채널별 히스토그램의 분포가 유사하다고 판단되어 색 분포가 다양한 영상으로 결정된다.
303단계에서 상기에서 설명된 수학식 1과 수학식 2를 적용하여 색 분포가 다양한 영상으로 판단되면, 305단계로 진행하고, 색 분포가 다양한 영상으로 판단이 되지 않고 소수의 컬러로 구성된 영상으로 판단되면, 307단계로 진행한다. 먼저 색 분포가 다양한 영상에 대하여 화이트 밸런스를 맞추는 과정을 살펴보면 다음과 같다.
305단계에서 색 분포가 다양한 영상은 로버트슨(Robertson) 방법을 이용하여 색 온도를 추정한다. 하기의 색 온도 분포를 나타낸 도면을 참조하여 설명하면 다음과 같다.
도 4는 본 발명의 일 실시 예에 따른 색 분포가 다양한 영상의 색도 다이어그램(Chromaticity Diagram)을 나타낸 도면으로써, 영상 전체의 평균값을 x와 y의 좌표로 나타내었고, 도 4의 중앙에 흑체 복사에 따른 색 온도 분포를 나타내는 플랑크 곡선(Planckian Locus) 이 존재하는 것을 볼 수 있다.
또한 플랑크 곡선에 수직인 선분들이 존재하는 것을 볼 수 있는데, 이는 해당 색 온도를 가지는 포인트값들의 집합니다. 로버트슨 방법은 x, y 도메인에서의 31가지 색 온도에 따른 무채색 포인트값들과 동일한 색 온도를 가지는 라인(Line)의 기울기를 조사하고, 이를 바탕으로 임의의 색 온도를 측정할 수 있는 방법이다.
먼저 x, y 도메인 변환 과정을 살펴보면, 먼저 영상의 특성을 나타낼 수 있 는 값을 추출하게 되는데, 이 값은 RGB 각 채널의 영상 전체에 대한 평균값으로 정해지며, x, y 도메인으로 변환된다. 화이트 밸런스를 적용하고자 하는 영상의 RGB 각 채널의 평균을 하기의 수학식을 통하여 구할 수 있다.
Figure 112008010506857-pat00001
수학식 3은 화이트 밸런스를 적용하고자 하는 영상이 NㅧM 라 가정하고, RGB 각 채널의 평균을 구하는 방법을 나타내고 있다.
수학식 3에서 구하여진 각 채널의 평균값을 이용하여 x, y 도메인으로의 변환하는 과정을 하기의 수학식을 통하여 설명하면 다음과 같다.
Figure 112008010506857-pat00002
수학식 4는 수학식 3에서 구하여진 각 채널의 평균값을 이용하여 XYZ 도메인으로 변환한 후, XYZ를 정규화한 x, y 도메인으로 변환하는 방법을 설명하고 있다.
도 5는 본 발명의 일 실시 예에 따른 화이트 밸런스가 적용되는 영상의 x, y 도메인에서 색 온도 측정을 나타낸 도면이다. 도 5는
Figure 112008010506857-pat00003
와
Figure 112008010506857-pat00004
의 색 온도의 중간에 위치한 임의의 색 온도를 로버트슨 방법을 이용하여 추정하는 구체적인 방법을 설명하고 있다.
도 5를 살펴보면, 획득한 RGB 각 채널의 영상 전체에 대한 평균값을 (xs, ys)로 가정할 경우, 찾고자 하는 색 온도를
Figure 112008010506857-pat00005
로 정의하고, 이를 하기의 수학식을 이용하여 호에서의 각의 비율로 하여 색 온도를 측정할 수 있다.
Figure 112008010506857-pat00006
수학식 5에서
Figure 112008010506857-pat00007
와
Figure 112008010506857-pat00008
는 도 4에 표시된 바와 같이 미리 설정된 테이블(Table)에 의해 주어진 값인 반면,
Figure 112008010506857-pat00009
과
Figure 112008010506857-pat00010
는 값이 주어지지 않으므로, 매우 작은 각도
Figure 112008010506857-pat00011
에 대하여
Figure 112008010506857-pat00012
로 치환할 수 있음을 이용하여 하기의 수학식으로
Figure 112008010506857-pat00013
과
Figure 112008010506857-pat00014
를 하기와 같이 표현할 수 있다.
Figure 112008010506857-pat00015
수학식 6에서
Figure 112008010506857-pat00016
는 영상의 특성을 반영한 점(xj, yj)과 j 번째 색 온도를 나타내는 선분까지의 거리를 나타내고,
Figure 112008010506857-pat00017
은 영상의 특성을 반영한 점(xj+1, yj+1)과 j+1 번째 색 온도를 나타내는 선분까지의 거리를 나타낸다. 점과 직선 사이의 거리는 하기의 수학식을 통하여 구할 수 있다.
Figure 112008010506857-pat00018
따라서, 점과 직선 사이의 거리를 이용하여 색 온도를 구하기 위한 수학식은 최종적으로 하기의 수학식으로 근사화 할 수 있다.
Figure 112008010506857-pat00019
수학식 8에서 수학식 4로부터 구하여진 x, y로부터 색 온도를 추정할 수 있다. 이 후, 315단계에서 추정된 색 온도를 나타내는 영역을 S2라 하고, 플랑크 곡선에 있는 영역을 S1이라 가정하면, 이때, 추정된 색 온도를 나타내는 영역과 플랑크 곡선에 있는 영역과 만나는 점의 특정 영역을 무채색 영역으로 결정하게 된다. 이를 수학식으로 나타내면 하기와 같다.
Figure 112008010506857-pat00020
상기에 설명된 수학식 9의 S1과 S2는 하기와 같이 정의된다.
Figure 112008010506857-pat00021
Figure 112008010506857-pat00022
수학식 10에서
Figure 112008010506857-pat00023
는 색 온도에 따른 선과 플랑크 곡선이 만나는 점이다. α는 0에서 0.5 사이의 값을 가지는 상수로 정의된다.
다음으로, 303단계에서 307단계로 진행하여 색 분포가 다양하지 않은 영상에 대하여 다시 영상이 단색인지 아닌지를 판별하고, 이에 따라 화이트 밸런스를 맞추어 주는 방법을 살펴보면 다음과 같다.
먼저 307단계에서 영상이 단색이 아니고, 색 분포가 적은 영상이라고 판단되는 경우, 상기에 설명된 색 분포가 많은 영상에서 화이트 밸런스를 맞추어 주는 방법을 통해서는 정확한 색 온도를 찾을 수 없다. 이는 영상 전체에 대해 각 채널의 평균값을 내는 경우, 색 분포가 적기 때문에 특정 색에 치우친 값을 얻을 수밖에 없기 때문이다. 따라서 색 분포가 적은 영상이라고 판단되는 경우에 대해서는 하기와 같이 새로운 방법으로 접근한다.
307단계에서 단색이 아닌, 색 분포가 적은 영상에 대하여서는 색 온도에 따른 무채색 영역에 속하는 값들만을 화이트 밸런스에 이용함으로써, 색 치우침이 없이 색 온도를 측정할 수 있다. 이를 위해 309단계로 진행하여 영상 전체를 x, y 도메인으로 변환해 준 이후에 로버트슨 방법에 의한 색 오도 테이블에 나타난 각 색 온도에 대한 무채색 영역들에 포함되는 픽셀 값들만을 추출한다.
이 후, 색 분포가 다양한 경우에서는 영상 전체에 대한 RGB의 평균값을 대푯값으로 사용했으나, 색 분포가 적은 경우에는 각 색 온도에 대한 무채색에 포함되는 픽셀들의 RGB의 평균값을 대푯값으로 사용하게 된다. 즉, 311단계에서 R을 로버트슨 방법의 색 온도 테이블에서 미리 지정된 31개의 색 온도 값에 대한 플랑크 곡선 상의 (x, y) 좌표에 해당하는 값들이라 가정 한다면, 313단계에서 하기의 수학식을 이용하여 S1에 속하는 점들만 추출하여 색 온도를 구할 경우 사용하게 된다.
Figure 112008010506857-pat00024
여기서, S1은 하기의 수학식과 같이 정의된다.
Figure 112008010506857-pat00025
수학식 12에서
Figure 112008010506857-pat00026
은 215단계의 로버트슨 방법에 의해 구해진 색 온도에 따른 31개의 무채색 포인트를 나타낸다. S1은 x, y 도메인에서 α에 의해 일정한 범위를 갖게 되는 무채색 영역이다. α값은 색 분포가 다양한 영상에서와 같이 0에서 0.5 사이의 값을 가지는 상수로 정의된다. 추정된 색 온도에 따른 무채색 추정은 하기의 도 5를 이용하여 추정한다.
도 6은 본 발명의 일 실시 예에 따른 색 분포가 적은 영상에 대해서 무채색 영역의 검출을 나타낸 도면으로서, 색 온도에 따른 무채색을 추정한다. 도 6에서 추정된 무채색을 이용하여 317단계에서 화이트 밸런스 알고리즘을 조정하게 된다.
다음으로, 307단계에서 영상이 단색으로 이루어진 영상이라고 판단되는 경우, 무채색을 찾는 것은 불가능하다. 이러한 경우, 무리하게 화이트 밸런스 알고리즘을 적용하게 되면 충분하지 못한 정보로 인해 색 온도 추정이 잘못되게 되며, 화이트 밸런스 알고리즘을 적용한 영상의 결과가 원하지 않는 색으로 변하게 된다. 이러한 색 분포가 다양하지 못한 영상 중에서 무채색 영역에 포함되는 픽셀이 정해진 임계값 이하인, 단색의 영상은 319단계로 진행하여 별도의 화이트 밸런스 알고리즘을 적용하지 않고 입력 영상을 그대로 출력한다.
317단계의 화이트 밸런스 알고리즘의 적용은 색 분포가 큰 영상과 색 분포가 소수의 색으로 구성된 영상에 따라 다르게 적용된다. 우선, 공통적으로 무채색 영역의 RGB 평균값을 하기의 수학식을 이용하여 구한다.
Figure 112008010506857-pat00027
수학식 13에서
Figure 112008010506857-pat00028
은 색 분포가 큰 영상의 경우에는 수학식 9를 통하여 구해지고, 색 분포가 소수의 색으로 구성된 영상의 경우에는 수학식 11을 통하여 구해진다.
Figure 112008010506857-pat00029
는 색 분포가 큰 영상의 경우에는 수학식 10의 S1과 S2에 모두 속하는 화소의 수를 의미하고, 색 분포가 소수의 색으로 구성된 영상의 경우에는 미리 정 해진 31개의 무채색 영역에 속하는 픽셀의 총 개수를 의미한다.
수학식 13을 바탕으로 화이트 밸런스 알고리즘이 적용된 RGB 채널값을 하기의 수학식을 이용하여 구할 수 있다.
Figure 112008010506857-pat00030
수학식 14를 통하여 색 온도 추정을 통해 무채색 영역을 찾고, 화이트 포인트를 도출한다. 화이트 포인트를 정확하게 추정하여 해당 영상의 화이트 밸런스를 정확하게 맞추어 주게 된다.
상기와 같이 본 발명의 일 실시 예에 따른 디지털 영상 장치에서 화이트 밸런스 조정 장치 및 방법의 구성 및 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.
도 1은 통상적으로 쓰이는 디지털 영상에서의 오토 화이트 밸런스 알고리즘의 전체적인 동작을 나타낸 흐름도
도 2는 본 발명의 일 실시 예에 따른 화이트 밸런스 보정 기능이 있는 영상장치의 내부 구성도
도 3은 본 발명의 일 실시 예에 따른 화이트 밸런스 알고리즘의 전체적인 동작을 나타낸 흐름도
도 4는 본 발명의 일 실시 예에 따른 색 분포가 다양한 영상의 색도 다이어그램(Chromaticity Diagram)을 나타낸 도면
도 5는 본 발명의 일 실시 예에 따른 화이트 밸런스가 적용되는 영상의 x, y 도메인에서 색 온도 측정을 나타낸 도면
도 6은 본 발명의 일 실시 예에 따른 색 분포가 적은 영상의 무채색 영역 검출을 나타낸 도면

Claims (15)

  1. 디지털 영상 장치에서의 화이트 밸런스(White Balance) 조정 방법에 있어서,
    화이트 밸런스 알고리즘을 적용하고자 하는 영상의 히스토그램을 분석하는 과정과,
    상기 분석한 영상의 히스토그램에 따른 상기 영상의 색 분포를 미리 설정된 임계값과 비교하여, 상기 영상의 색 분포가 상기 임계값 미만이면 상기 영상을 제1 영상으로 결정하고, 상기 영상의 색 분포가 상기 임계값 이상이면 상기 영상을 제2 영상으로 결정하는 과정과,
    상기 제1 영상의 전체 또는 상기 제2 영상의 일부에 대한 각 채널의 평균값을 이용하여, 상기 화이트 밸런스 알고리즘을 다르게 적용하는 과정을 포함하는 것을 특징으로 하는 화이트 밸런스 조정 방법.
  2. 제 1항에 있어서,
    하기 수학식 15를 이용하여 상기 영상의 색 분포를 미리 설정된 임계값과 비교하는 것을 특징으로 하는 화이트 밸런스 조정 방법.
    l dR - dG l < th1R
    l dB - dG l < th1B
    상기 수학식 15에서 dR, dG, dB는 미리 정해져 있는 영상의 상위 a%와 하위 b%의 밝기 값을 가지는 픽셀 수를 제외한 각 채널 별로 상기 화이트 밸런스 알고리즘을 적용하고자 하는 영상의 발기 값을 가지는 픽셀 수의 최대값과 최소값의 차이값을 나타내고, th1R, th1B는 각각 R 채널의 임계값 및 B채널의 임계값을 나타낸다.
  3. 제 2항에 있어서, 상기 제1 영상인 경우
    상기 제1 영상 전체의 평균값을 x, y도메인으로 변환하여 색 온도값을 추정하는 단계와,
    상기 추정된 색 온도값을 활용하여 무채색(Achromatic Color) 영역을 검출하는 단계를 포함하는 것을 특징으로 하는 화이트 밸런스 조정 방법.
  4. 제 3항에 있어서, 상기 색 온도값을 추정하는 단계는
    하기 수학식 16을 이용하여 상기 색 온도값을 추정하는 것을 특징으로 하는 화이트 밸런스 조정 방법.
    Figure 112014015813692-pat00031
    상기 수학식 16에서
    Figure 112014015813692-pat00032
    는 영상의 특성을 반영한 점과 j 번째 색 온도값을 나타내는 선분까지의 거리를 나타내고,
    Figure 112014015813692-pat00033
    은 영상의 특성을 반영한 점과 j+1 번째 색 온도값을 나타내는 선분까지의 거리를 나타낸다.
    Figure 112014015813692-pat00034
    와
    Figure 112014015813692-pat00035
    는 찾고자 하는 색 온도값
    Figure 112014015813692-pat00036
    를 중심으로 테이블(Table)에 의해 주어진 색 온도값을 나타낸다.
  5. 제 3항에 있어서, 상기 무채색 영역을 검출하는 단계는
    상기 추정된 색 온도값과 플랑크 곡선이 만나는 점의 영역을 상기 무채색 영역으로 결정하는 것을 특징으로 하는 화이트 밸런스 조정 방법.
  6. 제 2항에 있어서, 상기 제2 영상인 경우
    상기 제2 영상은 단색으로 구성된 제3 영상과 상기 제3 영상이 아닌 제4 영상으로 구분되어지는 것을 특징으로 하는 화이트 밸런스 조정 방법.
  7. 제 6항에 있어서, 상기 제3 영상은
    상기 화이트 밸런스 알고리즘을 적용하지 않고 입력 영상을 그대로 출력하는 것을 특징으로 하는 화이트 밸런스 조정 방법.
  8. 제 6항에 있어서, 상기 제4 영상은
    색 온도값 테이블(Table)에서 미리 지정된 색 온도값 중에서 무채색 영역에 포함되는 색 온도값을 가지는 영상들의 평균값을 x, y도메인으로 변환하여 색 온도값을 추정하는 것을 특징으로 하는 화이트 밸런스 조정 방법.
  9. 제 8항에 있어서, 상기 무채색 영역은
    상기 색 온도값 테이블에서 미리 지정된 색 온도값과 플랑크 곡선이 만나는 점의 영역을 무채색 영역으로 결정하는 것을 특징으로 하는 화이트 밸런스 조정 방법.
  10. 제 1항에 있어서, 상기 화이트 밸런스 알고리즘을 다르게 적용하는 과정은
    상기 영상의 각 채널의 평균값을 구하여, 상기 영상에 적용하는 단계를 포함하는 것을 특징으로 하는 화이트 밸런스 조정 방법.
  11. 제 10항에 있어서, 상기 각 채널의 평균값을 구하는 것은
    영상 전체에 대한 평균값을 상기 제1 영상에 적용하고, 각 채널의 색온도에 대한 무채색에 포함되는 픽셀들의 평균값을 상기 제2 영상에 적용하고,
    하기 수학식 17을 이용하여 상기 평균값을 구하는 것을 특징으로 하는 화이트 밸런스 조정 방법.
    Figure 112014015813692-pat00037
    상기 수학식 17에서
    Figure 112014015813692-pat00038
    은 제1 영상의 경우에는 영상 전체에 대한 평균값을 의미하고, 제2 영상의 경우에는 각 채널의 색온도에 대한 무채색에 포함되는 픽셀들의 평균값을 의미한다.
    Figure 112014015813692-pat00039
    는 상기 제1 영상의 경우에는 플랑크 곡선 영역과 계산된 색 온도값 영역에 모두 속하는 화소의 수를 의미하고, 상기 제2 영상의 경우에는 미리 정해진 무채색 영역에 속하는 픽셀의 총 개수를 의미한다.
  12. 디지털 영상 장치에서 화이트 밸런스(White Balance) 조정 장치에 있어서,
    피사체를 촬영하고 원본 영상을 생성하는 이미지 센서부와,
    상기 원본 영상의 히스토그램을 분석하며, 상기 분석한 영상의 히스토그램에 따른 상기 영상의 색 분포를 미리 설정된 임계값과 비교하여, 상기 영상의 색 분포가 상기 임계값 미만이면 상기 영상을 제1 영상으로 결정하고, 상기 영상의 색 분포가 상기 임계값 이상이면 상기 영상을 제2 영상으로 결정하며, 상기 제1 영상의 전체 또는 상기 제2 영상의 일부에 대한 각 채널의 평균값을 이용하여, 상기 화이트 밸런스 알고리즘을 다르게 적용하는 영상 처리부를 포함하는 것을 특징으로 하는 화이트 밸런스 조정 장치.
  13. 제 12항에 있어서, 상기 영상 처리부는
    상기 영상의 히스토그램에 따른 상기 영상의 색 분포를 파악하여 색 분포를 검출하는 색상 검출부와,
    상기 검출된 색 분포를 전송 받아 상기 원본 영상의 각 채널별 평균값을 구하는 평균값 계산부와,
    상기 평균값을 이용하여 색 온도값을 추정하고, 상기 추정된 색 온도값에 따른 무채색 영역을 검출하는 색 온도 추정부와,
    상기 추정된 색 온도값과 상기 무채색 영역을 이용하여 원본 영상에 화이트 밸런스 알고리즘을 적용하는 화이트 밸런스 적용부를 포함하는 것을 특징으로 하는 화이트 밸런스 조정 장치.
  14. 제 12항에 있어서,
    원본 영상 또는 상기 영상 처리부에서 화이트 밸런스 알고리즘이 적용된 영상을 저장하는 메모리부와,
    상기 원본 영상 또는 상기 화이트 밸런스 알고리즘이 적용된 영상을 화면에 나타내는 디스플레이부를 더 포함하는 것을 특징으로 하는 화이트 밸런스 조정 장치.
  15. 제 12항에 있어서, 상기 영상 처리부는,
    하기 수학식 18을 이용하여 상기 영상의 색 분포를 미리 설정된 임계값과 비교하는 것을 특징으로 하는 화이트 밸런스 조정 장치.
    l dR - dG l < th1R
    l dB - dG l < th1B
    상기 수학식 18에서 dR, dG, dB는 미리 정해져 있는 영상의 상위 a%와 하위 b%의 밝기 값을 가지는 픽셀 수를 제외한 각 채널 별로 상기 화이트 밸런스 알고리즘을 적용하고자 하는 영상의 밝기 값을 가지는 픽셀 수의 최대값과 최소값의 차이값을 나타내고, th1R, th1B는 각각 R 채널의 임계값 및 B채널의 임계값을 나타낸다.
KR1020080012777A 2008-02-12 2008-02-12 디지털 영상 장치에서 화이트 밸런스 조정 장치 및 방법 KR101451982B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080012777A KR101451982B1 (ko) 2008-02-12 2008-02-12 디지털 영상 장치에서 화이트 밸런스 조정 장치 및 방법
US12/378,124 US8416316B2 (en) 2008-02-12 2009-02-11 Apparatus and method for adjusting white balance in a digital imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080012777A KR101451982B1 (ko) 2008-02-12 2008-02-12 디지털 영상 장치에서 화이트 밸런스 조정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20090087379A KR20090087379A (ko) 2009-08-17
KR101451982B1 true KR101451982B1 (ko) 2014-10-24

Family

ID=40954761

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080012777A KR101451982B1 (ko) 2008-02-12 2008-02-12 디지털 영상 장치에서 화이트 밸런스 조정 장치 및 방법

Country Status (2)

Country Link
US (1) US8416316B2 (ko)
KR (1) KR101451982B1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5178170B2 (ja) * 2007-12-11 2013-04-10 オリンパス株式会社 ホワイトバランス調整装置及びホワイトバランス調整方法
KR20090120991A (ko) * 2008-05-21 2009-11-25 엘지이노텍 주식회사 자동 화이트 밸런스 영역 설정 방법
US8547450B2 (en) * 2010-02-22 2013-10-01 Texas Instruments Incorporated Methods and systems for automatic white balance
JP5927565B2 (ja) * 2010-10-27 2016-06-01 パナソニックＩｐマネジメント株式会社 撮像装置
JP5664261B2 (ja) * 2011-01-18 2015-02-04 株式会社ニコン 画像処理装置、および画像処理プログラム
JP5821214B2 (ja) * 2011-02-28 2015-11-24 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
DE112012004641T5 (de) 2011-11-07 2014-08-28 Magna Electronics, Inc. Fahrzeugsichtsystem mit Farbkorrektur
US9875724B2 (en) 2012-08-21 2018-01-23 Beijing Lenovo Software Ltd. Method and electronic device for adjusting display
CN103634581A (zh) * 2012-08-21 2014-03-12 联想(北京)有限公司 一种白平衡控制方法、装置及电子设备
CN103780890B (zh) * 2012-10-17 2017-07-14 鸿富锦精密工业（深圳）有限公司 白平衡调整方法
US10326969B2 (en) 2013-08-12 2019-06-18 Magna Electronics Inc. Vehicle vision system with reduction of temporal noise in images
EP3069502B1 (en) * 2013-11-14 2022-08-24 Microsoft Technology Licensing, LLC Image processing for productivity applications
WO2016041162A1 (en) * 2014-09-17 2016-03-24 SZ DJI Technology Co., Ltd. Automatic white balancing system and method
US10553179B2 (en) * 2017-09-08 2020-02-04 Apple Inc. Electronic devices with ambient light sensors
CN107644396B (zh) * 2017-10-18 2021-02-02 维沃移动通信有限公司 一种唇色调整方法和装置
EP3493539B1 (en) 2017-12-01 2021-03-24 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
CN108965846A (zh) * 2018-09-07 2018-12-07 晶晨半导体(上海)股份有限公司 调节白平衡的方法、系统及显示器
CN111670575B (zh) * 2019-01-07 2021-09-21 华为技术有限公司 图像的白平衡处理方法和装置
KR20210104462A (ko) * 2020-02-17 2021-08-25 삼성전자주식회사 이미지 센서, 이미지 센서의 교정 방법, 그리고 이미지 센서를 교정하는 전자 장치
CN112102192A (zh) * 2020-09-15 2020-12-18 遵义师范学院 一种图像白平衡方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002314834A (ja) 2001-02-09 2002-10-25 Seiko Epson Corp 画像データの出力画像調整
US20060164521A1 (en) * 2005-01-27 2006-07-27 Arima Computer Corporation White balance method
US20060290957A1 (en) 2005-02-18 2006-12-28 Samsung Electronics Co., Ltd. Apparatus, medium, and method with automatic white balance control
US7200264B2 (en) 2002-04-10 2007-04-03 Hewlett-Packard Development Company, L.P. White point estimation using color by convolution

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07162890A (ja) * 1993-12-08 1995-06-23 Matsushita Electric Ind Co Ltd ホワイトバランス調整装置
JP2735003B2 (ja) * 1994-09-28 1998-04-02 松下電器産業株式会社 ホワイトバランス調整量演算装置
ATE527816T1 (de) * 2001-02-09 2011-10-15 Seiko Epson Corp Gerät und verfahren zum anpassen eines ausgangsbildes auf der basis von bilddaten
JP3888456B2 (ja) * 2002-09-10 2007-03-07 ソニー株式会社 デジタルスチルカメラ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002314834A (ja) 2001-02-09 2002-10-25 Seiko Epson Corp 画像データの出力画像調整
US7200264B2 (en) 2002-04-10 2007-04-03 Hewlett-Packard Development Company, L.P. White point estimation using color by convolution
US20060164521A1 (en) * 2005-01-27 2006-07-27 Arima Computer Corporation White balance method
US20060290957A1 (en) 2005-02-18 2006-12-28 Samsung Electronics Co., Ltd. Apparatus, medium, and method with automatic white balance control

Also Published As

Publication number Publication date
KR20090087379A (ko) 2009-08-17
US8416316B2 (en) 2013-04-09
US20090207274A1 (en) 2009-08-20

Similar Documents

Publication Publication Date Title
KR101451982B1 (ko) 디지털 영상 장치에서 화이트 밸런스 조정 장치 및 방법
US6249601B1 (en) Method for determining color of illuminant and apparatus therefor
KR101092539B1 (ko) 화이트 밸런스를 자동 조정하는 영상장치 및 그의 화이트밸런스 조정 방법
JP5141557B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置、カメラ
EP1592227B1 (en) Apparatus and method for determining an image processing parameter from image data at a user-selected image position
US8941755B2 (en) Image processing device with automatic white balance
JP2907120B2 (ja) 赤目検出補正装置
KR100311075B1 (ko) 인지광원과 하이라이트를 이용한 조명 색도 추정 및변환장치 및 그를 위한 방법
KR101030393B1 (ko) 디지털 영상의 화이트 밸런스 조정 장치 및 방법
US9460521B2 (en) Digital image analysis
JP6004481B2 (ja) カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム
US7356180B2 (en) Systems and methods for correcting image color balance
US9307213B2 (en) Robust selection and weighting for gray patch automatic white balancing
JPH0862741A (ja) 階調補正装置
CN102088539A (zh) 一种预拍照画质评价方法和系统
Jiang et al. Auto white balance using the coincidence of chromaticity histograms
Lin An automatic white balance method based on edge detection
Hussain et al. Max-RGB based colour constancy using the sub-blocks of the image
JP2005346474A (ja) 画像処理方法及び装置及びプログラム及び記憶媒体
JP2002131133A (ja) 画像の色特定方法、画像の色抽出方法、画像処理装置
JPH06124329A (ja) 彩度変更回路
Hussain et al. Colour constancy using sub-blocks of the image
Wang et al. Face detection with automatic white balance for digital still camera
Kwon et al. Illumination estimation based on valid pixel selection in highlight region
CN117221741A (zh) 图像白平衡调整方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170927

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180921

Year of fee payment: 5