KR100708912B1 - 표준 이미지 출력을 위한 이미지 센서의 백색균형 겸용색보정 방법 및 장치 - Google Patents

표준 이미지 출력을 위한 이미지 센서의 백색균형 겸용색보정 방법 및 장치 Download PDF

Info

Publication number
KR100708912B1
KR100708912B1 KR1020040093830A KR20040093830A KR100708912B1 KR 100708912 B1 KR100708912 B1 KR 100708912B1 KR 1020040093830 A KR1020040093830 A KR 1020040093830A KR 20040093830 A KR20040093830 A KR 20040093830A KR 100708912 B1 KR100708912 B1 KR 100708912B1
Authority
KR
South Korea
Prior art keywords
signal
color
converter
standard
luminance
Prior art date
Application number
KR1020040093830A
Other languages
English (en)
Other versions
KR20060054954A (ko
Inventor
박승옥
김홍석
Original Assignee
주식회사 디지털색채연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 디지털색채연구소 filed Critical 주식회사 디지털색채연구소
Priority to KR1020040093830A priority Critical patent/KR100708912B1/ko
Publication of KR20060054954A publication Critical patent/KR20060054954A/ko
Application granted granted Critical
Publication of KR100708912B1 publication Critical patent/KR100708912B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Abstract

본 발명은 이미지 센서의 표준 이미지 출력을 위한 백색균형 겸용 색보정 방법 및 장치에 관한 것으로서 빛의 세기에 대하여 선형적인 디지털신호
Figure 112004056542572-pat00001
신호를 출력하는 이미지 센서부; 와 기준광원 하에서 표준색차트가 촬영되어 센서의 고유특성상수들이 산출, 저장되어 상기의
Figure 112004056542572-pat00002
에
Figure 112004056542572-pat00003
를 가한 값인
Figure 112004056542572-pat00004
를 읽어 들여 각 색의 평균
Figure 112004056542572-pat00005
신호를 출력하는 감마 변환부;와 무채색에 대해
Figure 112004056542572-pat00006
신호와 휘도를 나타내는 Y값과의 관계를 나타내는 휘도 함수
Figure 112004056542572-pat00007
가 산출, 저장되어
Figure 112004056542572-pat00008
신호를 출력하는 휘도 변환부;와 상기 휘도 변환부에서 출력된
Figure 112004056542572-pat00009
신호와 CIE 색신호 X,Y,Z 간의 관계로부터 구해지는 색보정 매트릭스가 산출, 저장되어 X,Y,Z 신호를 출력하는 CIE 색신호 변환부;와 상기 CIE 색신호 X,Y,Z와 표준 색신호
Figure 112004056542572-pat00010
간의 관계 매트릭스와 휘도 함수가 산출, 저장되어
Figure 112004056542572-pat00011
신호를 출력하는 하는 표준 색신호 변환부로 구성이 되는 것을 특징으로 하는 표준 이미지 출력을 위한 이미지 센서의 백색균형 겸용 색보정 장치 및 방법에 대한 것이다.
또한 본 발명에서는 이미지 센서의 선형성이 유지되는 빛의 세기 범위(dynamic range)가 좁아 어두운 부분에서의 밝기 해상도가 낮은 문제점을 해결하기 위하여, 감마 변환부에서
Figure 112004056542572-pat00012
신호를
Figure 112004056542572-pat00013
로 한 것을 특징으로 하며, 색보정 매트릭스의 산출방법으로 다중회귀분석법 또는 3D LUT를 사용한 보간법 또는 신경회로망 응용법을 사용할 수가 있다.
감마 변환, 휘도 변환, 백색 균형 CIE 색신호, sRGB 이미지, Adobe 이미지

Description

표준 이미지 출력을 위한 이미지 센서의 백색균형 겸용 색보정 방법 및 장치{Image Sensor}
도 1은 종래의 색보정 방법을 나타내는 블록도
도 2는
Figure 112004053277765-pat00014
신호의 비선형성이 백색균형에 초래하는 결과를 보여주는 일예
도 3은 본 발명에 따른 백색균형 겸용 색보정 장치의 블록도
도 4는 이미지 센서부의 신호
Figure 112004053277765-pat00015
와 감마 변환부의 신호
Figure 112004053277765-pat00016
의 관계 그래프의 일예
도 5는 도 3의 장치를 사용한 특성묘사과정의 흐름도
도 6은 휘도 함수의 일례
도 7은 도 3의 장치를 사용한 일반촬영과정의 흐름도
PC의 대량 보급과 인터넷 케이블 망의 전지역적 구축을 통해 디지털 정보의 교류가 활발히 이루어지고 있다. 이에 따라 아날로그 이미지를 디지털 화하는 디지털 카메라나 스캐너와 같은 영상 입력 장치와, 디지털 이미지를 눈으로 볼 수 있게 해주는 디스플레이나 프린터와 같은 영상 출력 장치 등의 사용이 일상화되고 있다.
최근에는 카메라 폰의 출현으로 디지털 이미지의 교류가 더욱 활발해지고 있으나, 촬영된 디지털 이미지를 디스플레이나 프린터 혹은 사진 인화기 등으로 출력해보면 원본의 색과 다를 뿐 아니라 장치간의 색도 일치하지 않는다.
날이 갈수록 디지털 장치의 종류가 다양하게 개발되고 있어, 장치간의 색 불일치는 부정확한 정보를 전달하게 되어 사회ㆍ경제적 혼란을 야기 시킬 수 있어 매우 심각한 문제로 대두되고 있다.
이러한 디지털 장치 간 색 불일치의 근본적인 원인은 입력 장치에 있다고 해도 지나치지 않다. 입력 장치의 핵심부품인 이미지 센서의 특성이 사람 눈의 특성과 차이가 있으므로 카메라에서 출력되는R,G,B 신호는 실제색의 X,Y,Z 색신호와 일치하지 않을 뿐 아니라 센서의 종류나 제조 회사에 따라서도 달라진다.
따라서 이를 보정하기 위해 필수적으로 사용되는 색보정 매트릭스의 산출 방법에 따라서도 촬영된 이미지는 크게 달라진다.
최근에는 이러한 문제점을 해결하기 위하여 도 1과 같은 이미지 변환 방법이 시도되고 있다. 이미지 센서에 의해 캡쳐된 디지털 신호
Figure 112004053277765-pat00017
는 백색균형부에서 백색에 대한 신호가 되도록 가중치를 달리 곱한 선형
Figure 112004053277765-pat00018
신호 로 바뀐다.
CIE 색신호 변환부에서는
Figure 112004053277765-pat00019
신호를 장치 독립적인 CIE X,Y,Z 색신호로 변환한다. 이때 몇 가지 광원에 대한 색보정 매트릭스는 카메라 제조 시 구하여 저장되어 있다. 표준 색신호 변환부에서는 sRGB 표준 디스플레이로 X,Y,Z 와 일치되는 색을 나타낼 수 있는 카메라 출력신호
Figure 112004053277765-pat00020
신호로 변환한다.
이러한 방법은 종래의 단순한 3x3 매트릭스 연산 방법과는 달리 실제 색을 나타낼 수 있는 최신 기술이다.
그러나 이러한 방법은 이미지 센서의 신호
Figure 112004053277765-pat00021
가 빛의 세기에 비례한다는 가정을 전제로 하고 있다. 일반적으로 이미지 센서는 선형으로 반응하는 빛의 세기 범위(dynamic range)가 제한되어 있어서 그보다 약하거나 강한 빛에 대해서는 비선형적인 반응을 나타내는데, 센서마다 그 정도가 다르다. 따라서 검정색부터 백색까지 다양한 밝기 분포를 지닌 피사체에 대해서는 이미지 센서부의 신호
Figure 112004053277765-pat00022
는 비선형성을 나타내게 된다. 이로 인해 백색균형부에서 일정한 가중치가 곱해진 신호
Figure 112004053277765-pat00023
도 비선형성을 나타내므로 백색균형(White balance)이 깨지게 된다.
이것은 도 2에 일예를 나타내었다.
Figure 112004053277765-pat00024
신호가 도 2(a)와 같이 각기 다름 비선형성을 나타낼 경우에 위의 방법으로 백색 균형을 맞추면 도 2(b)와 같이 세 신호가 백색에 대해서는 일치하나 그 외의 무채색에 대해서는 일치하지 않는다.
일부에서는 이러한 문제를 해결하기 위해서
Figure 112004053277765-pat00025
신호를 백색균형부로 보내기 전에 LUT(Look-Up Table)를 사용하여 선형으로 보정하는 하는 방법을 사용하고 있으나, 동일한 세기에 대해
Figure 112004053277765-pat00026
신호가 일치되는 LUT를 작성하기 위해서는 특별한 설비와 정밀한 시험 등이 요구된다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 고안된 것으로서, 본 발명의 목적은 광원의 종류와 세기에 무관하게 백색균형이 정확하게 유지되고 실제 색이 연출될 수 있는 표준 이미지를 생성할 수 있는 색보정 방법 및 장치를 제공함에 있다.
본 발명은 이미지 센서에 있어서, 빛의 세기에 대하여 선형적인 디지털신호
Figure 112004056542572-pat00027
신호를 출력하는 이미지 센서부; 와 기준광원 하에서 표준색차트가 촬영되어 센서의 고유특성상수들이 산출, 저장되어 상기의
Figure 112004056542572-pat00028
에
Figure 112004056542572-pat00029
를 가한 값인
Figure 112004056542572-pat00030
를 읽어 들여 각 색의 평균
Figure 112004056542572-pat00031
신호를 출력하는 감마 변환부;와 무채색에 대해
Figure 112004056542572-pat00032
신호와 휘도를 나타내는 Y값과의 관계를 나타내는 휘도 함수
Figure 112004056542572-pat00033
가 산출, 저장되어
Figure 112004056542572-pat00034
신호를 출력하는 휘도 변환부;와 상기 휘도 변환부에서 출력된
Figure 112004056542572-pat00035
신호와 CIE 색신호 X,Y,Z 간의 관계로부터 구해지는 색보정 매트릭스가 산출, 저장되어 X,Y,Z 신호를 출력하는 CIE 색신호 변환부;와 상기 CIE 색신호 X,Y,Z와 표준 색신호
Figure 112004056542572-pat00036
간의 관계 매트릭스와 휘도 함수가 산출, 저장되어
Figure 112004056542572-pat00037
신호를 출력하는 하는 표준 색신호 변환부로 구성이 되는 것을 특징으로 하는 표준 이미지 출력을 위한 이미지 센서의 백색균형 겸용 색보정 장치 및 방법에 대한 것이다.
또한 본 발명에서는 이미지 센서의 선형성이 유지되는 빛의 세기 범위(dynamic range)가 좁아 어두운 부분에서의 밝기 해상도가 낮은 문제점을 해결하기 위하여, 감마 변환부에서
Figure 112004053277765-pat00038
신호를
Figure 112004053277765-pat00039
로 한 것을 특징으로 하며, 색보정 매트릭스의 산출방법으로 다중회귀분석법 또는 3D LUT를 사용한 보간법 또는 신경회로망 응용법을 사용할 수가 있다.
본 발명에서는 기준광원과 동일한 종류와 세기에서 촬영할 때에는 이미지 센서부의 선형적인 출력신호
Figure 112004053277765-pat00040
가 감마 변환부를 거쳐서
Figure 112004053277765-pat00041
신호로 변환이 되며, 상기
Figure 112004053277765-pat00042
신호는 상기 휘도 변환부에서
Figure 112004053277765-pat00043
에 의해
Figure 112004053277765-pat00044
으로 변환되며, 상기
Figure 112004053277765-pat00045
는 CIE 색신호 변환부에서
Figure 112004053277765-pat00046
의 수식에 의해 X,Y,Z 로 변환되며, 상기 X,Y,Z 는 표준 색신호 변환부에서 표준 신호
Figure 112004053277765-pat00047
로 변환이 된다. 그러나 기준광원과 세기나 종류가 다른 광원에서 촬영될 경우에, 현 광원에서 백색 색표를 촬영하여 알아내는 수동 백색균형(Manual White Balance) 조절 시에는,
Figure 112004053277765-pat00048
: 현 광원에서의 백색의
Figure 112004053277765-pat00049
신호에 대해 휘도 변환부에서 출력되는 Y자극치,
Figure 112004053277765-pat00050
: 기준 광원에서의 백색의
Figure 112004053277765-pat00051
신호에 대해 휘도 변환부에서 출력되는 Y자극치,
Figure 112004053277765-pat00052
라 할 때,
상기의 휘도 변환부의 출력신호
Figure 112004053277765-pat00053
에 가중치
Figure 112004053277765-pat00054
를 곱해준다. 또한 현 광원에서 백색을 촬영하지 않고 자동으로 가중치를 알아내는 자동 백색균형(Auto White Balance) 조절 시에는
Figure 112004053277765-pat00055
: 현 광원에서 촬영된 피사체 이미지 전체 혹은 일부의 평균
Figure 112004053277765-pat00056
신호에 대해 휘도 변환부에서 출력되는 Y자극치,
Figure 112004053277765-pat00057
: 기준 광원에서 촬영된 피사체 이미지 전체 혹은 일부의 평균
Figure 112004053277765-pat00058
신호에 대해 휘도 변환부에서 출력되는 Y자극치,
Figure 112004053277765-pat00059
라 할 때,
상기의 휘도 변환부의 출력신호
Figure 112004053277765-pat00060
에 가중치
Figure 112004053277765-pat00061
를 곱해준다.
이하에서는 본 발명의 실시 예를 하기에서 첨부된 도면을 참조하여 살펴본다.
도 1은 종래의 색보정 방법을 나타내는 블록도이다. 이미지 센서에 의해 캡쳐된 디지털 신호
Figure 112004053277765-pat00062
는 백색균형부에서 백색에 대한 신호가 되도록 가중치를 달리 곱한 선형
Figure 112004053277765-pat00063
신호로 바뀌며, CIE 색신호 변환부에서는 상기
Figure 112004053277765-pat00064
신호가 CIE X,Y,Z 색신호로 변환된다. 이때 몇 가지 광원에 대한 색보정 매트릭스는 카메라 제조시 구하여 저장되어 있다.
표준 색신호 변환부에서는 sRGB 표준 디스플레이로 X,Y,Z와 일치되는 색을 나타낼 수 있는 카메라 출력신호
Figure 112004053277765-pat00065
신호로 변환한다. 이러한 방법은 종래의 단순한 3x3 매트릭스 연산 방법과는 달리 실제 색을 나타낼 수 있는 최신 기술이다. 그러나 이러한 방법은 이미지 센서의 신호
Figure 112004053277765-pat00066
이 빛의 세기에 비례한다는 가정을 전제로 하고 있다. 일반적으로 이미지 센서는 선형으로 반응하는 빛의 세기 범위(dynamic range)가 제한되어 있어서 그보다 약하거나 강한 빛에 대해서는 비선형적인 반응을 나타내는데, 센서마다 그 정도가 다르다. 따라서 검정색부터 백색까지 다양한 밝기 분포를 지닌 피사체에 대해서는 이미지 센서부의 신호
Figure 112004053277765-pat00067
는 비선형성을 나타내게 된다. 이로 인해 백색균형부에서 일정한 가중치가 곱해진 신호
Figure 112004053277765-pat00068
도 비선형성을 나타내므로 백색균형(White balance)이 깨지게 된다.
도 2는 R,G,B 신호의 비선형성이 백색균형에 초래하는 결과를 보여주는 일예를 나타낸다.
Figure 112004053277765-pat00069
신호가 도 2(a)와 같이 각기 다른 비선형성을 나타낼 경우에 위의 방법으로 백색 균형을 맞추면 도 2(b)와 같이 세 신호가 백색에 대해서는 일치하나 그 외의 무채색에 대해서는 일치하지 않는다.
일부에서는 이러한 문제를 해결하기 위해서
Figure 112004053277765-pat00070
신호를 백색균형부로 보내기 전에 LUT(Look-Up Table)를 사용하여 선형으로 보정하는 방법을 사용하 고 있으나, 동일한 세기에 대해
Figure 112004053277765-pat00071
신호가 일치되는 LUT를 작성하기 위해서는 특별한 설비와 정밀한 시험 등이 요구된다.
도 3은 본 발명에 따른 이미지 센서의 색 보정 장치의 블록도이다. 본 색 보정 장치는 이미지 센서부, 감마 변환부, 휘도 변환부, CIE 색신호 변환부, 및 표준 신호 변환부로 구성된다. 본 발명은 종래의 색보정 방법의 블록도인 도 1과 비교하여 볼 때, 기존 장치인 백색 균형부를 본 발명에서는 감마 변환부와 휘도 변환부로 개선한 것임을 알 수가 있다.
본 발명에서는 선형인 구간에서만 센서가 동작하도록 한다. 즉 빛의 세기를 조절하여 감마 변환부로 입력되는 신호의 선형성을 보장한다. 이 경우에 어두운 부분에서의 밝기 해상도가 낮은 문제는 감마 변환부에서
Figure 112004053277765-pat00072
신호를 수식 1로 변환시킴으로써 해결하였다.
Figure 112004056542572-pat00073
수식 1 여기서 N은 비트수를 나타낸다.
도 4는 이미지 센서의 빛의 세기에 대한 출력 신호 그래프의 일예이다. 이는 감마 변환부의 변환을 일례로
Figure 112004053277765-pat00074
일 때 그래프로 나타낸 것이다.
Figure 112004053277765-pat00075
신호의 범위에 비해
Figure 112004053277765-pat00076
신호의 범위가 넓을 뿐 아니라 낮은 신호일수록 증폭률이 높아 이미지의 어두운 부분이 세밀하게 기록될 수 있다.
이때
Figure 112004056542572-pat00182
는 임의로 변경될 수 있다.
Figure 112004056542572-pat00078
와
Figure 112004056542572-pat00079
신호도 같은 방식으로 변환된다.
도 5는 도 3의 장치를 사용한 특성묘사과정의 흐름도이다. 본 발명은 특정 색표들을 촬영하여 센서의 고유 특성 상수들을 산출하여 저장하는 과정(이하 특성묘사과정(characterization) 이라 표시한다.)과 임의 피사체의 표준 이미지 생성 과정(이하 일반촬영과정이라 표시한다)으로 구분된다.
특성묘사과정은 주로 카메라 제조시 수행되는데, 산출된 데이터들은 신호처리 회로의 각 해당부에 저장된다. 본 발명에서의 특성묘사과정에서는 기준 광원과 표준색 차트가 선택된다. 기준 광원은 반드시 표준 광원이 아니라도 대략적인 색온도를 알고 있고, 빛의 세기가 공간적으로 균일한 광원이면 된다. 표준색 차트로는 ColorChecker, ColorChecker DC, IT8 등이 사용되고 있다.
본 발명에서는 ColorChecker 표준색 차트를 기준으로 설명한다.
ColorChecker는 백색과 4 단계의 회색, 그리고 검정색으로 구성된 6가지 무채색 색표와 전 색 영역에 고루 분포된 18가지 유채색 색표로 구성되어 있고, 기준 광원에 대한 각 색표의 X,Y,Z 좌표는 매뉴얼이나 수학적 공식에 의해 알 수 있다. 만일 기준 광원의 빛이 공간적으로 균일하지 않다면 촬영 상태에서 각 색에서 반사되는 빛의 X,Y,Z 를 분광복사계(spectroradiometer)로 직접 측정하면 된다. 본 발명에서는 D50 광원을 기준 광원으로 하여 표준색 차트를 촬영한다.
이때 빛의 세기가 센서의 선형 구간 이내가 되도록 카메라의 조리개나 노출시간을 조절한다. 감마 변환부에서 출력되는 각 픽셀의
Figure 112006061930762-pat00080
를 읽어 들여 각 색의 평균
Figure 112006061930762-pat00081
를 구한다. 24색의
Figure 112006061930762-pat00082
신호를 다음의 두 과정으로 처리하여 휘도 변환부와 CIE 색신호 변환부에 저장될 특성 데이터를 산출한다. 휘도 변환부에는 6가지 무채색에 대해
Figure 112006061930762-pat00083
신호와 휘도값(Y, 도 6 참조) 사이의 관계를 나타내는 휘도 함수
Figure 112006061930762-pat00084
를 구하여 저장하고, 이러한 휘도함수는
Figure 112006061930762-pat00189
신호와 휘도값의 적용 요건 등에 의해 다양한 형태의 휘도함수가 적용가능할 것이다.
또한 휘도 변환부에서 출력되는 24색의
Figure 112004053277765-pat00085
신호와 X,Y,Z 간의 관계로부터 구해지는 색보정 매트릭스가 산출되며, 이것이 CIE 색신호 변환부에 저장된다. 상기의 색보정 매트릭스 산출방법으로는 다중회귀분석법, 3D LUT를 사용한 보간법, 그리고 신경회로망법 등이 사용될 수 있다.
휘도 함수에 의해 변환된
Figure 112004053277765-pat00086
신호는 X,Y,Z 와 선형관계를 나타내므로 다중회귀분석법을 사용하여도 신뢰도 높은 결과를 얻을 수 있다. 일례로 다중회귀분석법의 경우 매트릭스 M은 수식 2에 의해 산출된다.
Figure 112004056542572-pat00087
수식 2
여기서 A는 24색의 X,Y,Z 매트릭스이고, D는 24색의
Figure 112006061930762-pat00088
매트릭스로써 수식 3에 나타내었다. 이때 D의 열수는 원하는 정확도에 따라 적절히 결정된다.
Figure 112004056542572-pat00183
Figure 112004056542572-pat00184
수식3
그리고 표준 색신호 변환부에는 CIE 색신호 X.Y.Z 와 표준 색신호
Figure 112004053277765-pat00091
간의 관계 매트릭스와 휘도 함수가 저장된다. 이는 이미지 센서의 특성과 무관하게 정의되어 있으므로 별도로 기재하지 않는다. 현재 sRGB 색신호와 Adobe 색신호가 통용되고 있으므로 본 발명에서는 두 가지 모드로 구성된다.
도 6은 휘도 함수의 일례이다.
Figure 112006061930762-pat00092
신호를 각각 수평축에 표시하고 이에 대한 Y값을 수직 축에 표시하였다.
Figure 112006061930762-pat00093
는 이미지 센서부에서 빛의 세기에 선형적인 출력신호
Figure 112006061930762-pat00094
에
Figure 112006061930762-pat00095
를 가한 값이므로,
Figure 112006061930762-pat00096
와 휘도값(Y)에 의한 휘도함수는 역함수로 묘사될 수도 있다.
따라서 어두운 색에 대해
Figure 112004053277765-pat00097
에 요동이 있어도 전체 함수에는 거의 영향을 미치지 않는다. 또한 백색을 비롯한 전 무채색에 대해
Figure 112004053277765-pat00098
는 서로 달라도
Figure 112004053277765-pat00099
는 서로 일치하므로 백색 균형이 정확하게 유지될 수 있다.
도 7은 도 3의 장치를 사용한 일반촬영과정의 흐름도이다. 일반촬영과정은 두 가지의 경우로 나누어 고찰한다. 즉 촬영광원이 기준 광원과 동일한 경우와 세기나 종류가 다른 광원일 때로 나뉜다.
첫째, 기준 광원과 동일한 광원에서 촬영된 때는, 이미지 센서부에서 감마 변환부를 거쳐 나온 각 픽셀의
Figure 112004053277765-pat00100
신호는 휘도 변환부에서 수식 4에 의해
Figure 112004053277765-pat00101
으로 변환되며, 상기
Figure 112004053277765-pat00102
는 CIE 색신호 변환부에서 수식 5에 의해 X.Y.Z 로 변환되며, 상기 X.Y.Z는 표준 색신호 변환부에서 표준 신호
Figure 112004053277765-pat00103
로 변환된다 (이때, 변환식은 이미지 센서의 특성과 무관하게 정의되어 있으므로 별도로 기재하지 않는다).
Figure 112004056542572-pat00104
수식 4
Figure 112004056542572-pat00185
수식 5
둘째, 기준 광원과 다른 세기나 종류의 광원에서 촬영될 때, 종래의 방법은 현 광원의 색온도를 측정하여 저장되어 있는 광원 중 가장 가까운 광원을 판별해 내어 해당 광원의 데이터를 사용한다. 그러나 본 발명에서는 기준 광원에서 산출되어 저장된 휘도 변환부의 휘도 함수와 CIE 색신호 변환부의 매트릭스를 그대로 사용할 수 있다. 단, 현 광원에서 백색 색표를 촬영하여 알아내는 수동 백색균형(Manual White Balance) 조절 시에는
Figure 112004053277765-pat00106
: 현 광원에서의 백색의
Figure 112004053277765-pat00107
신호에 대해 휘도 변환부에서 출력되는 Y자극치,
Figure 112004053277765-pat00108
: 기준 광원에서의 백색의
Figure 112004053277765-pat00109
신호에 대해 휘도 변환부에서 출력되는 Y자극치,
Figure 112004053277765-pat00110
라 할 때,
상기의 휘도 변환부의 출력신호
Figure 112004053277765-pat00111
에 가중치
Figure 112004053277765-pat00112
를 곱해준다. 또한 현 광원에서 백색을 촬영하지 않고 자동으로 가중치를 알아내는 자동 백색균형(Auto White Balance) 조절 시에는
Figure 112004053277765-pat00113
: 현 광원에서 촬영된 피사체 이미지 전체 혹은 일부의 평균 신호에 대해 휘도 변환부에서 출력되는 Y자극치,
Figure 112004053277765-pat00114
: 기준 광원에서 촬영된 피사체 이미지 전체 혹은 일부의 평균
Figure 112004053277765-pat00115
신호에 대해 휘도 변환부에서 출력되는 Y자극치,
Figure 112004053277765-pat00116
라 할 때,
상기의 휘도 변환부의 출력신호
Figure 112004053277765-pat00117
에
Figure 112004053277765-pat00118
가중치 를 곱해준다.
본 발명은 촬영 광원이 기준 광원과 다를 경우에도 촬영 광원의 종류를 추정 해 내지 않아도 백색 균형이 간단하고 정확하게 이루어질 수 있다는 점이 특징이다.
상기한 바와 같이 구성된 본 발명에 따르면, 촬영된 디지털 신호로부터 실제 색의 XYZ를 추정하여 이를 표준 디스플레이로 나타낼 수 있는 디지털 신호가 산출될 수 있다. 본 발명의 장치가 디지털 카메라 내부에 장착되면 직접 표준 이미지가 출력될 수 있어 어떤 출력 장치를 사용하여도 실제 색에 가까운 이미지를 나타낼 수 있게 된다.
특히 기준 광원에서의 백색 균형이 정확하게 이루어질 수 있을 뿐 아니라 촬영 광원이 기준 광원과 다를 경우에도 촬영 광원의 종류를 추정해 내지 않고 수동 및 자동 백색 균형이 간단하고 정확하게 이루어질 수 있어 정밀한 촬영을 요하는 산업용 카메라나 다양한 광원에서 작동하는 모바일 폰 등의 색 재현성이 크게 향상될 수 있다고 기대된다.

Claims (7)

  1. 표준 이미지 출력을 위한 이미지 센서의 백색균형 겸용 색보정 방법에 있어서, 빛의 세기에 대하여 선형적인 디지털신호
    Figure 112006061930762-pat00119
    신호를 출력하는 이미지 센서부; 와 기준광원 하에서 표준색차트가 촬영되어 센서의 고유특성상수들이 산출, 저장되어 상기의
    Figure 112006061930762-pat00120
    에
    Figure 112006061930762-pat00121
    를 가한 값인
    Figure 112006061930762-pat00122
    를 읽어 들여 각 색의 평균
    Figure 112006061930762-pat00123
    신호를 출력하는 감마 변환부;와
    무채색에 대해
    Figure 112006061930762-pat00124
    신호와 휘도값 사이의 관계를 나타내는 휘도 함수
    Figure 112006061930762-pat00125
    가 산출, 저장되어
    Figure 112006061930762-pat00126
    신호를 출력하는 휘도 변환부;와
    상기 휘도 변환부에서 출력된
    Figure 112006061930762-pat00127
    신호와 CIE 색신호 X,Y,Z 간의 관계로부터 구해지는 색보정 매트릭스가 산출, 저장되어 X,Y,Z 신호를 출력하는 CIE 색신호 변환부;와
    상기 CIE 색신호 X,Y,Z 와 표준 색신호
    Figure 112006061930762-pat00128
    간의 관계 매트릭스와 휘도 함수가 산출, 저장되어
    Figure 112006061930762-pat00129
    신호를 출력하는 하는 표준 색신호 변환부로 구성이 되는 것을 특징으로 하는 표준 이미지 출력을 위한 이미지 센서의 백색균형 겸용 색보정 장치.
  2. 제 1 항에 있어서, 이미지 센서의 선형성이 유지되는 빛의 세기 범위(dynamic range)가 좁아 어두운 부분에서의 밝기 해상도가 낮은 문제점을 해결하기 위하여, 감마 변환부에서
    Figure 112006061930762-pat00130
    신호를
    Figure 112006061930762-pat00131
    로 한 것을 특징으로 하는 표준 이미지 출력을 위한 이미지 센서의 백색균형 겸용 색보정 장치.
  3. 제 1항 또는 제 2항에 있어서, 색보정 매트릭스의 산출에는 최소자승법을 이용한 다항회귀법 또는 3D LUT를 사용한 보간법 또는 신경회로망 응용법이 이용되는 것을 특징으로 하는 표준 이미지 출력을 위한 이미지 센서의 백색균형 겸용 색보정 장치.
  4. 제 3항에 있어서, 색보정 매트릭스의 산출에는 최소자승법을 이용한 다항회귀법의 경우 색보정 매트릭스 M 은
    Figure 112006061930762-pat00132
    인 것을 특징으로 하는 표준 이미지 출력을 위한 이미지 센서의 백색균형 겸용 색보정 장치. (이때, A는 24색의 X,Y,Z 매트릭스이고 D는 24색의
    Figure 112006061930762-pat00133
    매트릭스로써 D의 열수는 원하는 정확도에 따라 적절히 결정됨.)
    Figure 112006061930762-pat00186
    Figure 112006061930762-pat00187
  5. 이미지 센서부의 선형적인 출력신호
    Figure 112006061930762-pat00136
    가 감마 변환부를 거쳐서
    Figure 112006061930762-pat00137
    신호로 변환이 되며,
    Figure 112006061930762-pat00138
    신호는 휘도 변환부에서
    Figure 112006061930762-pat00139
    에 의해
    Figure 112006061930762-pat00140
    으로 변환되며, 상기
    Figure 112006061930762-pat00141
    는 CIE 색신호 변환부에서
    Figure 112006061930762-pat00188
    의 수식에 의해 X,Y,Z 로 변환되며, 상기 X,Y,Z 는 표준 색신호 변환부에서 표준 신호
    Figure 112006061930762-pat00143
    로 변환되는 것을 특징으로 하는 표준 이미지 출력을 위한 이미지 센서의 백색균형 겸용 색보정 방법.
  6. 이미지 센서부의 선형적인 출력신호
    Figure 112006061930762-pat00144
    가 감마 변환부를 거쳐서
    Figure 112006061930762-pat00145
    신호로 변환이 되며, 상기
    Figure 112006061930762-pat00146
    신호는 상기 휘도 변환부에서
    Figure 112006061930762-pat00147
    으로 변환되며, 상기
    Figure 112006061930762-pat00148
    는 CIE 색신호 변환부에서 X,Y,Z 로 변환되며, 상기 X,Y,Z 는 표준 색신호 변환부에서 표준 신호
    Figure 112006061930762-pat00149
    로 변환되며, 현 광원에서 백색 색표를 촬영하여 알아내는 수동 백색균형(Manual White Balance) 조절 시에는 상기의 휘도 변환부의 출력신호
    Figure 112006061930762-pat00150
    에 가중치
    Figure 112006061930762-pat00151
    를 곱해주며, ( 이때,
    Figure 112006061930762-pat00152
    : 현 광원에서의 백색의
    Figure 112006061930762-pat00153
    신호에 대해 휘도 변환부에서 출력되는 Y자극치이며
    Figure 112006061930762-pat00154
    : 기준 광원에서의 백색의
    Figure 112006061930762-pat00155
    신호에 대해 휘도 변환부에서 출력되는 Y자극치이며
    Figure 112006061930762-pat00156
    이다. )
    현 광원에서 백색 색표를 촬영하지 않고 자동으로 가중치를 알아내는 자동 백색균형(Auto White Balance) 조절 시에는 상기의 휘도 변환부의 출력신호
    Figure 112006061930762-pat00157
    에
    Figure 112006061930762-pat00158
    가중치 를 곱해주는 ( 이때,
    Figure 112006061930762-pat00159
    : 현 광원에서 촬영된 피사체 이미지 전체 혹은 일부의 평균
    Figure 112006061930762-pat00160
    신호에 대해 휘도 변환부에서 출력되는 Y자극치이며,
    Figure 112006061930762-pat00161
    : 기준 광원에서 촬영된 피사체 이미지 전체 혹은 일부의 평균
    Figure 112006061930762-pat00162
    신호에 대해 휘도 변환부에서 출력되는 Y자극치이며,
    Figure 112006061930762-pat00163
    이다.) 것을 특징으로 하는 표준 이미지 출력을 위한 이미지 센서의 백색균형 겸용 색보정 방법.
  7. 삭제
KR1020040093830A 2004-11-17 2004-11-17 표준 이미지 출력을 위한 이미지 센서의 백색균형 겸용색보정 방법 및 장치 KR100708912B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040093830A KR100708912B1 (ko) 2004-11-17 2004-11-17 표준 이미지 출력을 위한 이미지 센서의 백색균형 겸용색보정 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040093830A KR100708912B1 (ko) 2004-11-17 2004-11-17 표준 이미지 출력을 위한 이미지 센서의 백색균형 겸용색보정 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20060054954A KR20060054954A (ko) 2006-05-23
KR100708912B1 true KR100708912B1 (ko) 2007-04-17

Family

ID=37151202

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040093830A KR100708912B1 (ko) 2004-11-17 2004-11-17 표준 이미지 출력을 위한 이미지 센서의 백색균형 겸용색보정 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100708912B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101219509B1 (ko) 2011-04-01 2013-01-17 엠텍비젼 주식회사 가중 최소 자승법에 따라 동정된 색보정 행렬을 이용한 색보정 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
null

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101219509B1 (ko) 2011-04-01 2013-01-17 엠텍비젼 주식회사 가중 최소 자승법에 따라 동정된 색보정 행렬을 이용한 색보정 방법 및 장치

Also Published As

Publication number Publication date
KR20060054954A (ko) 2006-05-23

Similar Documents

Publication Publication Date Title
Wüller et al. The usage of digital cameras as luminance meters
US7671898B2 (en) Color-space transformation-matrix calculating method and image processing device
EP1558019A2 (en) Image-processing apparatus, image-capturing apparatus, image-processing method and image-processing program
EP2200268B1 (en) Method of calibration of a target color reproduction device
JPH11112819A (ja) 色変換ルックアップテーブル並びにその作成方法および装置並びにそれを用いた画像の色変換方法および装置
CN101047773B (zh) 成像设备、视频信号处理电路和方法
JP2001189875A (ja) 画像捕捉の非線形性を補償するためのプロファイルの構成
KR20050098949A (ko) 화상 처리 장치 및 방법과 프로그램
JP2005210495A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP7327957B2 (ja) 画像表示システム、方法、及び、プログラム
JPH09231353A (ja) カラー画像処理システム
US9288456B2 (en) Image processing apparatus and method
JP2011004091A (ja) 画像処理装置および画像処理方法
JP2010268294A (ja) カラーマネジメントシステム及びプログラム
JP5526598B2 (ja) マトリックス係数設定方法および画像表示装置
KR100708912B1 (ko) 표준 이미지 출력을 위한 이미지 센서의 백색균형 겸용색보정 방법 및 장치
JP2005117524A (ja) 画像処理システム
JPH1141622A (ja) 画像処理装置
JP5322326B2 (ja) 色補正テーブル算出回路、色補正装置、表示装置、色補正方法、及びプログラム
JP2019165398A (ja) 画像処理装置、画像処理方法及びプログラム
Joffre et al. High dynamic range images from digital cameras raw data
JP5748236B2 (ja) 色補正情報の生成方法、及び色補正装置
Poynton Gamma FAQ–frequently asked questions about gamma
JP3292519B2 (ja) 画像処理装置
KR100335621B1 (ko) 칼라화상출력장치에있어서오차확산장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee