KR101460610B1 - 색수차 제거 방법 및 장치 - Google Patents

색수차 제거 방법 및 장치 Download PDF

Info

Publication number
KR101460610B1
KR101460610B1 KR1020080074722A KR20080074722A KR101460610B1 KR 101460610 B1 KR101460610 B1 KR 101460610B1 KR 1020080074722 A KR1020080074722 A KR 1020080074722A KR 20080074722 A KR20080074722 A KR 20080074722A KR 101460610 B1 KR101460610 B1 KR 101460610B1
Authority
KR
South Korea
Prior art keywords
signal
luminance
rgb
chromatic aberration
chrominance
Prior art date
Application number
KR1020080074722A
Other languages
English (en)
Other versions
KR20100013173A (ko
Inventor
강문기
장준영
박종현
강희
Original Assignee
삼성전자주식회사
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 연세대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020080074722A priority Critical patent/KR101460610B1/ko
Priority to US12/512,140 priority patent/US8385641B2/en
Publication of KR20100013173A publication Critical patent/KR20100013173A/ko
Application granted granted Critical
Publication of KR101460610B1 publication Critical patent/KR101460610B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing

Abstract

본 발명은 색수차 제거 방법 및 장치에 관한 것으로, 본 발명의 일 실시 예에 따른 색수차 제거 방법은 휘도/색도 좌표계에서 색도 신호만을 필터링하여 색수차를 제거함으로써 렌즈 특성에 상관없이 색수차를 제거할 수 있고, 색수차의 제거뿐만 아니라 원본 영상의 해상도도 손상시키지 않는 효과가 있다.
Figure R1020080074722
색수차, 제거, 색도, 휘도

Description

색수차 제거 방법 및 장치{Method and apparatus for canceling an chromatic aberration}
본 발명은 영상 처리에 관한 것으로, 더 상세하게는 색수차 제거 방법 및 장치에 관한 것이다.
색수차(Chromatic Aberration, CA)라는 것은 파장에 따른 굴절률의 차이에 의해 생기는 수차를 의미한다. 이상적인 렌즈의 경우, 렌즈로 입사된 백색광은 렌즈를 통과한 후에 이미지 평면의 한 점에서 초점이 맞아야 한다. 하지만, 실제 렌즈에서는 짧은 파장을 가지는 빛이 긴 파장을 가지는 빛보다 상대적으로 많이 굴절이 되기 때문에 이러한 파장 별 굴절률의 차이로 인해 빛의 파장 별로 초점이 달라진다. 즉, 빛의 색 별로 초점이 달라진다. 컬러 영상을 구성하는 세 가지 색은 R(red), G(green), B(blue)인데 앞서 설명한 바와 같이 일반적으로 R, G, B에 해당하는 빛은 렌즈에 의한 효과로 초점이 전부 다른 곳에 형성되며 영상에서 잘못된 색(false color)을 발생시키게 되며 이를 색수차라고 부른다.
이러한 색수차는 크게 광축 상에서 초점의 차이에 의한 축상색수차(Longitudinal Chromatic Aberration)와 초점 면에서 색깔별 배율의 차이에 의한 배율색수차 (Lateral Chromatic Aberration)로 나누어 생각할 수 있다. 축상색수차와 배율색수차는 각각 독립적으로 발생하는 현상은 아니고, 동시에 발생한다.
색수차 현상은 렌즈를 사용하는 광학기기에서 대부분 관찰이 되며, 광학기기에 사용하는 렌즈를 만들 때에는 이를 보정하기 위해 여러 개의 렌즈를 결합하게 된다. 하지만, 여러 개의 렌즈를 결합하게 되더라도 이 색수차를 완벽히 제거할 수는 없으며, 일반인이 사용하는 대부분의 휴대폰 카메라와 일반 콤팩트 카메라의 경우 저가의 렌즈를 사용하기 때문에 색수차 현상이 더욱 눈에 띌 수 있다. 게다가 현재 휴대폰 카메라와 디지털 카메라의 해상도는 빠른 속도로 증가하고 있지만 렌즈의 품질은 가격과 크기의 제한으로 인해 해상도의 증가를 뒷받침하는데 한계가 있다. 즉, 색수차 현상은 대부분의 카메라에서 발생하고 있으며, 각 제조사에서는 색수차를 줄이기 위한 노력을 계속하고 있다.
종래의 색수차 제거 기술은 배율색수차로 인한 색수차를 보상하기 위해서 R, G, B 세 채널의 크기를 맞춰주는 방법을 사용한다. 세 채널의 크기를 맞춰주기 위해서는 R, G, B 채널의 채널별 어긋남을 추정하여야 하며 이 추정된 정보를 통해 영상의 크기의 비율을 구하고 나머지 두 채널을 한 채널의 크기로 바꿔주는 인터폴레이션 과정이 필요하다. 여기서, R, G, B 채널의 시프트 및 스케일링 파라미터는 등록(registration) 알고리즘을 통해서 수행되며, 특정 패턴을 가지는 흑백 영상을 이용하여 수행한다. 즉, 특정 패턴을 가지는 점(corner point)들을 추출하여 각 채널별로 매칭시킨 후 얻은 시프트 정보를 통해 스케일링 정보를 알아내는 방법이다.
이러한 종래기술은 채널의 어긋남 정보를 추정하여 영상의 크기를 맞춰주기 때문에 배율색수차를 효과적으로 제거할 수는 있지만, 이러한 방법들은 특정 패턴을 통해서 미리 각 렌즈별로 정합(registration) 정보를 추정해 놓은 뒤에 이 파라미터들을 이용해서 색수차를 제거해야 한다는 단점(즉, 모든 렌즈에 대해서 사전에 등록 정보를 알아야만 함)과, 정합 알고리즘은 특정 패턴 영상을 이용해서 독립적으로 수행하여야 하기 때문에 파라미터 추출 과정과 색수차 제거 과정이 분리된다는 단점이 있다. 또한, 이러한 방식은 렌즈를 교환하면서 사용하는 DSLR 카메라에는 부적합하며, 축상색수차를 고려하지 않았기 때문에, 축상색수차와 배율색수차가 동시에 발생하는 색수차를 보정하는 데는 한계가 있다.
본 발명은 상기한 종래기술의 문제점을 해결하기 위한 것으로, 렌즈별 사전 정보 없이 입력 영상만을 가지고 색수차를 제거할 수 있으며, 휘도/색도 좌표계에서 색도 신호만을 필터링함으로써 색수차를 제거할 수 있는 색수차 제거 방법 및 장치는 제공하는 데 목적이 있다.
상기 기술적 과제를 달성하기 위한, 본 발명의 일 실시 예에 따른 색수차 제거 방법은 (a) RGB 신호 및 상기 RGB신호를 변환한 휘도/색도 신호를 입력받아, 상기 RGB 신호를 이용하여 RGB 그래디언트를 계산하고, 상기 휘도/색도 신호를 이용하여 휘도/색도 차이를 계산하는 단계; 및 (b) 상기 계산한 RGB 그래디언트 및 상기 휘도/색도 차이를 반영하여 상기 색도 신호를 필터링함으로써 색수차 보정용 색도 신호를 생성하는 단계를 포함한다.
바람직하게, 상기 휘도/색도 신호는, YUV, YCbCr, Lab 및 YCC 중 하나를 포함하는 색 공간 좌표계의 휘도/색도 신호인 것을 특징으로 한다.
바람직하게, 상기 방법은 (c) 상기 휘도 신호를 이용하여 색수차 발생 정도를 결정하는 단계; 및 (d) 상기 색수차 발생 정도에 따라, 상기 색수차 보정용 색도 신호와 상기 입력 색도 신호를 결합하는 단계를 더 포함하는 것을 특징으로 한다.
바람직하게, 상기 RGB 그래디언트와 상기 휘도 차이는 수평 및 수직 방향으로 각각 계산하고, 상기 수평 및 수직 방향으로 각각 계산한 RGB 그래디언트와 상기 휘도/색도 차이를 이용하여 상기 색도 신호를 수평 및 수직 방향으로 각각 필터링하는 것을 특징으로 한다.
바람직하게, 상기 방법은 상기 수평 및 수직 방향으로 각각 필터링하여 생성한 수평 및 수직 방향으로 필터링한 색수차 보정용 색도 신호들 중 하나를 선택하는 단계를 더 포함하는 것을 특징으로 한다.
바람직하게, 상기 수평 및 수직 방향으로 필터링한 색수차 보정용 색도 신호들 중 크기가 작은 것을 선택하는 것을 특징으로 한다.
바람직하게, 상기 (c) 단계는, 상기 입력 휘도 신호의 수평 및 수직 방향으로 각각 최소값 및 최대값을 검색하는 단계; 및 상기 RGB 신호를 이용하여 상기 각각의 최소값 및 최대값 중 더 큰 최소 및 최대값에서의 RGB값을 선택하여 출력하는 단계를 더 포함하는 것을 특징으로 한다.
바람직하게, 상기 (d) 단계는, 상기 출력한 최소값 및 최대값에서의 RGB값을 이용하여 가중치를 생성하는 단계; 및 상기 생성한 가중치에 따라 상기 입력 색도 신호와 상기 색수차 보정용 색도 신호를 결합하는 단계를 포함하는 것을 특징으로 한다.
바람직하게, 상기 방법은 (e) 상기 입력된 색도 신호에 따라 상기 입력된 휘도 신호를 조정하는 단계; 및 (f) 상기 (e) 단계에서 출력된 휘도 신호와 상기 (d) 단계에서 출력된 색도 신호를 RGB 신호로 변환하는 단계를 더 포함하는 것을 특징 으로 한다.
바람직하게, 상기 (a) 단계는, 상기 RGB 신호를 이용하여, R 신호와 G 신호, B 신호와 G 신호의 컬러 차이를 계산하는 단계를 더 포함하고, 상기 (b) 단계는, 상기 R 신호의 그래디언트 및 상기 계산한 R 신호와 G 신호의 컬러 차이 중 큰 값, 및 상기 B 신호의 그래디언트 및 상기 계산한 B 신호와 G 신호의 컬러 차이 중 큰 값을 각각 반영하여 상기 색도 신호를 필터링하는 것을 특징으로 한다.
상기 다른 기술적 과제를 달성하기 위한, 본 발명의 다른 실시 예에 따른 색수차 보정용 색도 신호를 생성하는 방법은 현재 픽셀의 색수차 보정용 색도 신호는, RGB 신호를 변환한 휘도/색도 신호로부터, 상기 픽셀과 인접한 픽셀들의 색도 신호들을 소정의 가중치로 가중평균하여 계산하는 것을 특징으로 하고,
상기 가중치는, 상기 인접한 픽셀들의 RGB 그래디언트 및 컬러 차이와, 상기 현재 픽셀과 인접한 픽셀들의 휘도/색도 차이로부터 계산되는 것을 특징으로 한다.
상기 또 다른 기술적 과제를 달성하기 위한, 본 발명의 또 다른 실시 예에 따른 색수차 보정 장치는 RGB 신호를 이용하여 RGB 그래디언트를 계산하는 RGB 그래디언트 계산부; 상기 RGB신호를 변환한 휘도/색도 신호를 입력받아, 상기 휘도/색도 신호를 이용하여 휘도/색도 차이를 계산하는 휘도 차이 계산부; 및 상기 계산한 RGB 그래디언트 및 상기 휘도/색도 차이를 반영하여 상기 색도 신호를 필터링함으로써 색수차 보정용 색도 신호를 생성하는 색도 신호 필터링부를 포함한다.
바람직하게, 상기 휘도/색도 신호는, YUV, YCbCr, Lab 및 YCC 중 하나를 포함하는 색 공간 좌표계의 휘도/색도 신호인 것을 특징으로 한다.
바람직하게, 상기 장치는 상기 휘도 신호를 이용하여 색수차 발생 정도를 결정하는 색수차 발생 정도 결정부; 및 상기 색수차 발생 정도에 따라, 상기 색수차 보정용 색도 신호와 상기 입력 색도 신호를 결합하는 색도 신호 결합부를 더 포함하는 것을 특징으로 한다.
바람직하게, 상기 RGB 그래디언트 계산부는, 상기 RGB 그래디언트를 수평 및 수직 방향으로 각각 계산하는 수평/수직 방향 RGB 그래디언트 계산부를 포함하고, 상기 휘도 차이 계산부는, 상기 휘도 차이를 수평 및 수직 방향으로 각각 계산하는 수평/수직 방향 휘도 차이 계산부를 포함하고, 상기 색도 신호 필터링부는, 상기 수평/수직 방향의 RGB 그래디언트 및 상기 수평/수직 방향의 휘도 차이를 이용하여 상기 색도 신호를 수평/수직 방향으로 각각 필터링하는 수평/수직 방향 색도 신호 필터링부를 포함하고, 상기 수평/수직 방향으로 각각 필터링하여 생성한 색수차 보정용 색도 신호들 중 하나를 선택하는 색도 신호 선택부를 더 포함하는 것을 특징으로 한다.
바람직하게, 상기 색도 신호 선택부는, 상기 수평 및 수직 방향으로 필터링한 색수차 보정용 색도 신호들 중 크기가 작은 것을 선택하는 것을 특징으로 한다.
바람직하게, 상기 색수차 발생 정도 결정부는, 상기 입력 휘도 신호의 수평 및 수직 방향으로 각각 최소값 및 최대값을 검색하는 수평/수직 방향 최소최대 검색부; 및 상기 RGB 신호를 이용하여 상기 각각의 최소값 및 최대값 중 더 큰 최소 및 최대값에서의 RGB값을 선택하여 출력하는 RGB 선택 출력부를 포함하는 것을 특징으로 한다.
바람직하게, 상기 색도 신호 결합부는, 상기 출력한 최소값 및 최대값에서의 RGB값을 이용하여 가중치를 생성하는 가중치 생성부; 및 상기 생성한 가중치에 따라 상기 입력 색도 신호와 상기 색수차 보정용 색도 신호를 결합하는 결합부를 포함하는 것을 특징으로 한다.
바람직하게, 상기 장치는 상기 입력된 색도 신호에 따라 상기 입력된 휘도 신호를 조정하는 휘도 신호 조정부; 및 상기 휘도 신호 조정부로부터 출력된 휘도 신호와 상기 색도 신호 결합부로부터 출력된 색도 신호를 RGB 신호로 변환하는 RGB 변환부를 더 포함하는 것을 특징으로 한다.
상기 또 다른 기술적 과제를 달성하기 위한, 상기 방법들을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다.
본 발명의 일 실시 예에 따라 휘도/색도 좌표계에서, 색도 신호만을 필터링하여 색수차를 제거함으로써 렌즈 특성에 상관없이 색수차를 제거할 수 있다. 또한, 각각의 화소별로 색수차를 제거할 수 있으므로 하드웨어 구현에 적합하고, 색수차의 제거뿐만 아니라 원본 영상의 해상도를 손상시키지 않는 효과가 있다.
이하, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 수 있다.
또한, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
도 1은 본 발명의 일 실시 예에 따른 색수차 제거 장치(100)의 개략적인 블록도이다.
도 1을 참조하면, 색수차 제거 장치(100)는 YUV변환부(110), 색도 신호 생성부(120), 색수차 발생 정도 결정부(130), 색도 신호 결합부(140) 및 RGB 변환부(150)를 포함한다.
YUV 변환부(110)는 RGB신호를 입력받아 YUV신호로 변환한다. 본 발명의 바람직한 실시 예에서는 RGB 신호를 YUV 신호로 변환하는 것을 설명하고 있지만, YUV 변환 좌표뿐만 아니라, 다른 색 공간 좌표, 예를 들면 YCrCb, Lab, YCC 등의 다른 휘도/색도 좌표계에도 적용할 수 있음은 물론이다.
YUV 변환부(110)는 다음 수학식 1은 이용하여 RGB 신호를 YUV 신호로 변환한다.
Figure 112008055158017-pat00001
여기서 [Ri Gi Bi]T는 입력 영상의 R, G, B 값을 의미하며 여기서 Ri은 빨간색 채널의 신호이고 Gi는 녹색 채널의 신호이며 Bi는 파란색 채널의 신호를 의미한다. [Yi Ui Vi]는 입력 R, G, B 값을 Y, U, V 값으로 변환시킨 값을 의미하며 Yi는 휘도 신호이며 Ui, Vi는 색도 신호를 의미한다.
색도 신호 생성부(120)는 RGB 신호와, YUV 변환부(110)로부터 RGB 신호를 변환한 휘도/색도 신호(YUV 신호)를 입력받는다. 색도 신호 생성부(120)는 RGB 신호를 이용하여 RGB 그래디언트를 계산한다. 또한, 휘도/색도 신호를 이용하여 휘도/색도 차이를 계산하고, 계산한 RGB 그래디언트와 휘도/색도 차이를 반영하여 색도 신호(UV)를 필터링하여 색수차 보정용 색도 신호를 생성한다. 요약하면, 본 발명의 바람직한 실시 예에 따른 색수차를 제거는 입력 RGB 값과 RGB 값을 YUV 변환 한 YUV 신호를 모두 사용하여 색수차를 제거한다. 실제 필터링이 수행되는 도메인은 YUV의 U, V 도메인으로써 RGB값과 YUV값을 모두 사용하여 설계된 공간 적응적 가중치를 이용하여 U, V 도메인에서 색수차를 제거한다.
본 발명의 바람직한 실시 예에 따른 색수차 제거 방법의 다음 수학식 2와 같 다.
Figure 112008055158017-pat00002
여기서 (i,j)는 영상의 수직, 수평 좌표를 나타낸다.
Figure 112008055158017-pat00003
(i,j),
Figure 112008055158017-pat00004
(i,j) 신호는 각각 U, V 신호에 해당하는 색수차 보정용 색도 신호를 의미하고, aU(i,j), aV(i,j)는 입력 색도 신호와 색수차 보정용 색도 신호의 결합을 위한 공간 적응적 가중치로써 색수차 발생 정도에 의해 결정된다. 이하, 설명에서는 수식 정리의 편의를 위해서 U와 V를 색도 신호(chrominance)를 의미하는 변수인 C를 사용한다. 변수 C를 이용하여 위의 수학식 2를 다시 쓰면 다음 수학식 3과 같다.
Figure 112008055158017-pat00005
여기서 C는 U, V를 의미한다.
본 발명의 바람직한 실시 예에 따른 색수차 제거의 원리를 도 3a 및 3b를 참조하여 설명한다.
도 3a 및 3b를 참조하면, 도면번호 330으로 표시된 부분이 색수차가 발생한 영역이다. 본 발명의 색수차 제거 원리는 색수차 보정용 색도 신호를 생성하기 위해서 색수차가 발생하는 부분의 양쪽 부분(310 및 320)의 색도 신호를 이용해서 색 수차가 발생한 영역의 잘못된 색을 제거하는 것이다.
도 3b에 도시된 것처럼, 색수차가 발생한 영역에서는 각 채널별 그래디언트(gradient) 값이 커지는 현상이 있다. 따라서 이러한 색수차 발생 영역의 특성을 이용해서 잘못된 색(false color)을 제거한다. 즉, 색수차 발생 영역은 각 채널의 그래디언트 값이 크므로, 각각의 채널의 그래디언트 값이 큰 영역의 색을 사용하여 색수차를 제거한다.
색도 신호 생성부(120)는 색수차 보정용 색도 신호를 생성하기 위해, 색도 신호를 필터링하는데, 현재 픽셀의 색수차 보정용 색도 신호는 RGB 신호를 변환한 휘도/색도 신호로부터, 현재 픽셀과 인접한 픽셀들의 색도 신호들을 소정의 가중치로 가중 평균하여 계산한다. 여기서, 가중치는 인접한 픽셀들의 RGB 그래디언트와 컬러 차이 및 현재 픽셀과 인접한 픽셀들의 휘도/색도 차이로부터 계산할 수 있다.
구체적으로, 색수차 보정용 색도 신호를 생성하기 위하여 색도 신호를 필터링을 하는데, 바람직하게, 계산량을 줄이기 위해서 색도 신호의 필터링을 수직 방향과 수평 방향으로 1차원적으로 수행하며 두 가지 방향에서 구한 색수차 보정용 색도 신호 중에서 더욱 무채색에 가까운 방향의 필터링 결과를 최종 색수차 보정용 신호로 사용한다. 이하에서는 수식 전개의 편의성을 위해서 수평방향으로 필터링하는 수식 부분만을 설명한다. 수직방향으로 필터링하는 것은 수평방향으로 필터링하는 것과 마스크 크기가 작은 것만 다르고 정확하게 일치한다.
다음 수학식 4는 색도 신호 C를 수평방향으로 필터링하는 것을 의미한다.
Figure 112008055158017-pat00006
여기서 (i,j)는 현재 처리하는 픽셀의 위치를 나타내기 위한 변수이며 l은 필터링에 사용될 수평 방향으로 위치한 이웃 픽셀들의 주소를 가리키기 위한 변수이다. l은 -L2≤l≤L1의 범위를 가지게 되며(L1,L2는 양수)
Figure 112008055158017-pat00007
h(i,j)는 색도 신호를 수평방향으로 필터링하여 얻은 색수차 보정용 색도 신호를 나타낸다. 위의 결과 식을 보면 결국
Figure 112008055158017-pat00008
h(i,j)은 인접 픽셀과의 가중 합(weighted sum)으로 구해지는 것을 알 수 있다. 즉, SC(i,j+l)*wC(i,j+l)의 가중치로 인접 픽셀의 값인 Ci(i,j+l)에 곱하여 평균하는 것이다. 여기서 SC(i,j+l)은 인접 픽셀과 평균을 하는 과정에서 색이 다른 부분을 평균하지 않도록 해주는 스위치 함수이다. SC(i,j+l)는 다음 수학식 5와 같이 구할 수 있다.
Figure 112008055158017-pat00009
여기서 sign{x}는 x값의 부호를 뽑아내는 함수로써 Ci(i,j+l)값이 센터 픽셀 값인 Ci(i,j)와 부호가 같을 경우에 “1”을 리턴하여 필터링에 사용하도록 해 준다. 그 이외에도 Ci(i,j+l) 값이 어느 정도 무채색에 가까운 색, 예를 들면 │Ci(i,j)│< T 일 때도 마찬가지로 “1”을 반환하여 필터링에 사용하도록 한다. 본 발명의 바람직한 실시 예에서는 무채색에 가까운 정도를 판별하는 문턱값으로 T를 사용하며, 이값은 임의로 설정할 수 있으며, 예를 들면 10으로 설정할 수 있다. 이상 두 가지 경우를 제외하고는 색이 센터 픽셀 값과 많이 다른 부분이라고 생각되기 때문에 SC(i,j+l)이 “0”을 반환하여 필터링에 사용하지 않도록 한다. 즉, SC(i,j+l)는 색이 전혀 다른 부분을 필터링에서 제외시킴으로써 입력 영상의 색상이 바뀌게 되는 것을 막아준다.
wC(i,j+l)는 색수차가 발생한 곳의 특성을 고려하여 색수차가 발생한 픽셀 값에서는 wC(i,j+l)값을 작게 하여 가중 합에서 제외시키는 방향으로 동작하지만, 반면에 입력 영상의 색상이 손상되는 것도 방지하기 위한 부분도 wC(i,j+l)에 고려되어 있다. wC(i,j+l)는 다음 수학식 6과 같이 결정된다.
Figure 112008055158017-pat00010
wC(i,j+l)에서 아래 첨자 C는 U 채널인가 V 채널인가를 구분하는 변수이다. C가 U와 V일 때, wC(i,j+l)는 상기 수학식 6과 같이 결정된다. 여기서, DG(i,j+l), DB(i,j+l), DR(i,j+l)은 색수차를 제거하도록 동작하는 부분이다. 그리고 DY(i,j+l)는 입력 영상의 색상을 유지하도록 해주는 부분이다. 앞에서 설명한 바와 같이 색수차 현상은 색수차가 발생된 영역에서는 채널별 그래디언트(gradient) 값이 커지게 된다. 따라서 채널별 그래디언트 값이 커진 부분의 색도 신호는 잘못된 색을 유발하게 되는 값이기 때문에, 가중 합에서 제외시키는 방향으로 진행한다. U 채널의 경우 G 채널과 B 채널의 영향을 크게 받는 채널이기 때문에 G 채널과 B 채널의 그래디언트 값을 사용하고 V 채널의 경우 G 채널과 R 채널의 영향을 크게 받는 채널이기 때문에 G 채널과 R 채널의 그래디언트 값을 사용한다.
또한, 색수차 발생 영역에서는 잘못된 색이 발생하기 때문에 컬러 차이(color difference)가 커지게 되는 현상이 발생한다. 따라서 컬러 차이가 큰 부분도 색수차일 가능성이 있다. 따라서, 이러한 부분에서도 가중 합에서 제외시키는 방향으로 동작한다.
색도 신호 생성부(120)의 구체적인 구성과 전술한 DG(i,j+l), DB(i,j+l), DR(i,j+l), DY(i,j+l)에 관하여는 도 4 및 5를 참조하여 후술한다.
도 1에 도시된 색수차 제거 장치(100)는 YUV변환부(110), 색도 신호 생성부(120), 색수차 발생 정도 결정부(130), 색도 신호 결합부(140) 및 RGB 변환 부(150)를 모두 포함하는 것으로 도시되어 있지만, 전술한 색도 신호 생성부(120) 단독으로도 색수차 제거 기능을 수행할 수 있다. 즉, 색도 신호 생성부(120)의 출력 신호, 즉
Figure 112008055158017-pat00011
(i,j)가 색수차 발생을 보정하는 신호이며, 색도 신호를 필터링하여 색수차로 인해 발생한 잘못된 색을 제거하였기 때문에
Figure 112008055158017-pat00012
(i,j)에서는 색수차 현상이 줄어든다.
도 1에 도시된 색수차 발생 정도 결정부(130)와 색도 신호 결합부(140)는 색도 신호 생성부(120)가 잘못된 색을 제거하는 과정에서 원본 영상의 색도 함께 손상시킬 수 있는 점을 보상하기 위한 구성이다.
색수차 반영 정도 결정부(130)는 YUV변환부(110)로부터 입력된 휘도 신호(Y)를 이용하여 색수차 발생 정도를 결정한다. 즉, 색수차 정도를 측정하기 위하여 휘도 신호를 사용한다. 앞에서 설명했듯이 휘도 성분은 영상의 밝기 정보를 나타내며 색수차는 밝기 차이가 큰 영역에서 더욱 눈에 잘 보인다. 즉, 색수차의 정도는 휘도 신호의 콘트라스트 정보를 이용하여 측정될 수 있다. 따라서 영상의 콘트라스트를 구해 색수차의 발생 정도를 측정하기 위해 수직 수평 방향으로 각각 휘도 신호의 국부 최소값과 최대값의 위치를 찾는다. 색수차 반영 정도 결정부(130)의 구체적인 구성과 기능은 도 6을 참조하여 후술한다.
색도 신호 결합부(140)는 색수차 발생 정도 결정부(130)로부터 출력된 색수차 발생 정도에 관한 정보와, 색도 신호 생성부(120)로부터 출력된 색수차 보정용 색도 신호(
Figure 112008055158017-pat00013
(i,j))와 입력 색도 신호(C(i,j))를 결합한다. 여기서, 색수차 발생 정도에 관한 정보는 소정의 가중치로 계산되며, 이 가중치에 따라 색수차 보정용 색도 신호와 입력 색도 신호의 결합 비율이 결정된다. 색도 신호 결합부(140)의 구체적인 구성과 기능은 도 7을 참조하여 후술한다.
RGB변환부(150)는 색도 신호 결합부(140)로부터 출력된 최종 색도 신호(Co)와 YUV 변환부(110)로부터 출력된 휘도 신호(Y)를 이용하여 RGB 신호로 변환한다. 따라서, 최종 RGB 신호는 색수차 현상이 제거된 영상이 출력된다.
본 발명의 바람직한 실시 예에서는 색수차 제거 장치(100)가 RGB 변환부(150)를 포함하는 것으로 구성하였지만, 다양한 응용이 가능하다. 예를 들면 영상 압축이나 세부 강조(Detail Enhancement)의 경우 보통 RGB 신호를 휘도/색도 좌표계로 변환시킨 후 처리하게 되는데, 휘도/색도 좌표계를 이용한 후, 보정된 휘도/색도 신호를 출력으로 내보내기 때문에 출력된 휘도/색도 신호를 압축이나 DE 모듈에 입력으로 바로 넣어서 처리할 수 있다.
본 발명의 변형 실시 예에서는, 색수차 제거 장치(100)의 끝단에, 압축 모듈이나 DE 모듈이 연결될 수 있다. 또한, 다른 변형 실시 예에서는 디지털 촬영 장치에서 컬러를 제어하게 되는 화이트 밸런스(WB), 컬러 보정(Color Calibration) 뒷 단에 적용할 수 있다. 또한, 잡음 제거 뒷 단에 적용하여 잡음에 의한 효과를 제거하고 색수차를 제거할 수 있다.
도 2는 본 발명의 다른 실시 예에 따른 색수차 제거 장치(200)의 개략적인 블록도이다.
도 2를 참조하면, 색수차 제거 장치(200)는 YUV변환부(110), 색도 신호 생성부(120), 색수차 발생 정도 결정부(130), 색도 신호 결합부(140), RGB 변환부(150) 및 휘도 신호 조정부(160)를 포함한다. 도 1과의 차이점은 휘도 신호 조정부(160)를 더 포함한다는 것이며, 도 1과 동일한 부분에 대한 설명은 생략하고, 휘도 신호 조정부를 중심으로 설명한다.
휘도 신호 조정부(160)는 입력된 색도 신호에 따라 상기 입력된 휘도 신호를 조정한다. 휘도 신호 조정부(160)는 입력 색도 신호(Ui,Vi)에 따라서, 색도 신호 결합부(140)로부터 출력된 최종 색도 신호와 YUV 변환부(110)로부터 출력된 입력 색도 신호를 이용하여 입력 휘도 신호를 조정하여 휘도 조정된 신호(Yo)를 RGB 변환부(150)에 출력한다.
휘도 신호의 조정을 하는 이유는 휘도 신호 역시 잘못된 RGB 값으로부터 영향을 받기 때문이다. 다음 수학식 7은 휘도 신호 재조정 설명을 위한 RGB 변환식이다.
Figure 112008055158017-pat00014
일반적으로 카메라로 촬영 시에는 녹색에 가까운 황색 빛에 초점이 맞게 되어 있다. 따라서 R, G, B 채널 중에서 G 채널이 가장 초점이 잘 맞은 상태라고 할 수 있다. 본 발명의 바람직한 실시 예에서는 G 채널이 가장 초점이 잘 맞은 상태라고 가정하며 휘도 신호를 조정한다.
만약에 색수차가 보라색을 띤다면 R과 B에 의해 색수차가 발생되었다고 생각할 수 있다. 이 경우 G채널은 초점이 잘 맞은 상태이므로 R, B 값이 실제 값보다 커져서 색수차가 발생된 것이라고 생각할 수 있다. 따라서 휘도 성분도 이렇게 커진 R과 B 값에 의해서 실제 휘도 신호보다 밝아졌다고 생각할 수 있다. 이 경우 G 값은 올바른 값을 가진다고 생각할 수 있으므로 Gi 값은 Go 값과 같아야 한다고 생각할 수 있다. 하지만, 보라색 색수차를 U, V 채널에서 제거하게 될 경우 Uo 값과 Vo 값은 Ui와 Vi에 비해 작아지게 되므로 상기 수학식 7을 보면 Go 값이 Gi 값보다 커지게 됨을 알 수 있다. 따라서 Go 값이 Gi 값보다 커지지 않고 Gi 값과 같은 값을 가지기 위해서는 Yo 값은 Yi 값보다 작아져야 한다. 여기서 Yo 값은 Go 값이 Gi와 같아지게 하기 위해서 Uo 값과 Vo 값이 Ui 값과 Vi 값과의 차이만큼을 Yi에서 빼 주어야 한다. Uo 값과 Vo 값이 Go 값에 영향을 주는 정도는 상기 수학식 7을 보면 각각 0.345와 0.714임을 알 수 있다. 따라서 보정된 Yo는 다음 수학식 8과 같이 표현할 수 있다.
Figure 112008055158017-pat00015
이와는 반대로 이번에는 녹색의 색수차가 발생하였다고 할 경우, G 채널은 올바른 값이라고 할 때, R과 B의 값이 어두워져서 발생한 것이라고 할 수 있으므로 Y 값은 실제 휘도 값보다 어두운 값을 가지게 된다. 따라서 이러한 경우에도 앞서 언급한 바와 마찬가지로 Go 값이 Gi 값보다 작아지지 않고 Gi 값과 같은 값을 가지기 위해서는 Yo 값은 Yi 값보다 커져야 한다. 여기서 Yo 값은 Go 값이 Gi와 같아지게 하기 위해서 Uo 값과 Vo 값이 Ui 값과 Vi 값과의 차이만큼을 Yi에서 더해 주어야 한다. 따라서 다음 수학식 9와 같다.
Figure 112008055158017-pat00016
이러한 과정을 수식으로 표현하면 다음 수학식 10과 같다.
Figure 112008055158017-pat00017
전술한 방법으로 휘도 신호를 재조정할 경우, 색수차에 의해 영향을 받은 휘도 성분을 보정함으로써 영상의 콘트라스트를 향상시켜 화질을 좋아지게 할 수 있다.
도 4는 본 발명의 또 다른 실시 예에 따른 색도 신호 생성부(120)의 블록도이다.
도 4를 참조하면, 색도 신호 생성부(120)는 휘도/색도 차이 계산부(121), RGB 그래디언트 계산부(122) 및 색도 신호 필터링부(123)를 포함한다.
휘도/색도 차이 계산부(121)는 YUV 변환부(110)로부터 출력된 휘도/색도 신호를 이용하여 휘도/색도 차이를 계산한다. 여기서, 휘도/색도 차이의 계산은 현재 픽셀과 필터링하고 하는 마스크 영역 안에 존재하는 픽셀들과의 휘도 신호의 차이 값과 색도 신호의 차이 값이다. 또한, 휘도/색도 차이 계산은 수평 또는 수직 방향으로 수행할 수 있으며, 바람직하게, 수평 방향과 수직 방향 모두 수행할 수 있다.
상기 수학식 6에서, 휘도/색도 차이를 나타내는 DY(i,j+l)는 중심 픽셀과 마스크 영역 안에 존재하는 픽셀들과의 휘도 차이 값 및 색도 신호의 차이 값이며 다음 수학식 11과 같이 구할 수 있다. 여기서는 수평 방향으로 계산하는 것만을 설명한다.
Figure 112008055158017-pat00018
즉, 이 부분은 마스크에 있는 픽셀 값들이 현재 픽셀과 밝기가 얼마나 차이가 나고 색이 얼마나 차이가 나는지에 대한 정보를 담고 있다. 현재 픽셀과 밝기 차이가 크다면 이는 유사한 특성을 갖는 픽셀로 볼 수 없기 때문에 가중 합에서 제외시키는 방향으로 동작하고, 중심 픽셀과의 색도 신호의 차이가 클 경우에도 제외시키는 방향으로 동작한다. 즉, 현재 픽셀과 유사도가 떨어지는 픽셀 값을 필터링에서 적게 고려하는 것이기 때문에 원본 영상을 유지하는 효과가 있다. 여기서, cy값은 경험적으로 구한 값이며, RGB 신호의 그래디언트 값을 나타내는 DG(i,j+l), DB(i,j+l), DR(i,j+l)에 비해 DY(i,j+l)값에 얼마나 비중을 둘 것인가를 결정하는 상수 값이다. cy의 값이 커질수록 색 유지효과가 증가되지만, 색이 유지된다는 것은 색수차 제거가 잘 되지 않는다는 것을 의미한다. 본 발명의 바람직한 실시 예에서는 cY를 1로 설정할 수 있다.
RGB 그래디언트 계산부(122)는 입력된 RGB 신호로부터 각각의 R 채널, G 채널 및 B 채널의 그래디언트 값을 계산한다. 여기서, 그래디언트 값은 수평 또는 수직 방향으로 계산할 수 있으며, 바람직하게, 수평 방향과 수직 방향으로 모두 계산한다. 또한, 전술한 바와 같이, RGB 채널 사이의 컬러 차이도 고려할 수 있다.
R, G, B 채널의 그래디언트와 컬러 차이는 다음 수학식 12 내지 14를 이용하여 계산할 수 있다.
Figure 112008055158017-pat00019
여기서, DG(i,j+l)은 G 채널의 그래디언트를 의미한다. 여기서, 주어진 영역 안에서 그래디언트 값을 모두 구할 수 있도록 l>0, l<0, l=0부분으로 나눠서 처리한다.
Figure 112008055158017-pat00020
여기서 DB(i,j+l)는 B 채널의 그래디언트 값과 G와의 컬러 차이 중 큰 값을 저장한다. cb는 컬러 차이에 곱해지게 되는 상수로 실험적으로 구해진 값이다. 일반적으로 그래디언트 값보다는 컬러 차이 값이 커지게 되므로 cb는 둘의 비중을 적절히 조절해 주기 위해 사용된 상수이다.
Figure 112008055158017-pat00021
여기서 DR(i,j+l)는 R 채널의 그래디언트 값과 G와의 컬러 차이 중 큰 값을 저장한다. cr는 컬러 차이에 곱해지게 되는 상수로 실험적으로 구해진 값이다. 일반적으로 그래디언트 값보다는 컬러 차이 값이 커지게 되므로 cr는 둘의 비중을 적절히 조절해 주기 위해 사용된 상수이다.
본 발명의 바람직한 실시 예에서는 cb와 cr값을 0.25로 설정한다.
DY(i,j+l)는 위에서 설명한 DG(i,j+l), DB(i,j+l), DR(i,j+l)와 수행하는 기 능이 반대이다. DG(i,j+l), DB(i,j+l), DR(i,j+l)는 색을 줄여주는 방향으로 동작하도록 하는 부분이지만, DY(i,j+l)은 색을 유지시켜주는 기능을 한다. DG(i,j+l), DB(i,j+l), DR(i,j+l)는 이웃 픽셀들끼리의 그래디언트 값과 컬러 차이를 계산한다.
색도 신호 필터링부(123) 계산한 RGB 그래디언트와 휘도/색도 차이를 반영하여 색도 신호를 필터링함으로써 색수차 보정용 색도 신호를 생성한다. 여기서, 필터링은 수평 또는 수직 방향으로 수행할 수 있으며, 바람직하게, 수평방향과 수직 방향을 모두 수행한다. 색도 신호 필터링과 관련하여서는 수학식 4 내지 6을 참조하여 설명한 바와 같다.
도 5는 본 발명의 또 다른 실시 예에 따른 색도 신호 생성부(120)의 블록도이다.
도 5를 참조하면, 휘도/색도 차이 계산부(121)는 수평 방향 휘도/색도 차이 계산부(500)와 수직 방향 휘도/색도 차이 계산부(510)를 포함한다. 또한, RGB 그래디언트 계산부(122)는 수평 방향 RGB 그래디언트 계산부(520)와 수직 방향 그래디언트 계산부(530)를 포함한다. 색도 신호 필터링부(123)는 수평 방향 색도 필터링부(540)와 수직 방향 색도 신호 필터링부(550)를 포함한다. 또한, 수평 방향 필터링 결과와 수직 방향 필터링 결과를 비교하여 출력하는 색도 신호 선택부(560)를 포함한다.
수평 방향 휘도/색도 차이와 수평 방향 RGB 그래디언트를 계산하는 것은 수학식 11 내지 14를 참조하여 설명한 바와 같다. 또한, 수직 방향 휘도/색도 차이 와 수직 방향 RGB 그래디언트를 계산하는 것도 동일하다.
수직 방향 필터링은 수학식 4를 참조하여 설명한 것과 동일하며, 수평방향으로 필터링하는 것과 마스크 크기가 작은 것만 다르고 일치한다.
색도 신호 선택부(560)는 수평 방향 색도 신호 필터링부(540)로부터 출력된 수평 방향 필터링 결과와 수직 방향 색도 신호 필터링부(550)로부터 출력된 수직 방향 필터링 결과를 비교하여 출력한다. 바람직하게, 최종 색수차 보정용 색도 신호는 수직방향으로 필터링한 결과와 수평방향으로 필터링 한 결과 중에서 색 성분이 더 적은 쪽을 선택하여 사용한다. 이는 다음 수학식 15와 같다.
Figure 112008055158017-pat00022
여기서,
Figure 112008055158017-pat00023
h(i,j)와
Figure 112008055158017-pat00024
v(i,j)는 각각 수평방향 필터링 결과와 수직방향 필터링 결과를 의미한다. 색도 신호가 0에 가까울수록 무채색으로 생각할 수 있으므로 두 신호의 절대값 중에서 더 작은 쪽이 무채색에 더 가까운 신호라고 생각할 수 있기 때문에 상기와 같은 수학식 15를 이용하여 최종 색수차 보정용 색도 신호,
Figure 112008055158017-pat00025
(i,j)를 선택한다.
도 6은 본 발명의 또 다른 실시 예에 따른 색수차 발생 정도 결정부(130)의 블록도이다.
도 6을 참조하면, 색수차 발생 정도 결정부(130)는 휘도 신호 전처리 부(131), 수평 방향 최소최대 검색부(132), 수직 방향 최소최대 검색부(133) 및 RGB 선택 출력부(134)를 포함한다.
휘도 신호 전처리부(131)는 YUV변환부(110)로부터 입력된 휘도 신호의 전처리를 수행하며, 예를 들면 휘도 신호를 블러링(blurring)을 수행한다. 휘도 신호 전처리는 필요에 따라 선택적으로 수행할 수 있다.
수평 방향 최소최대 검색부(132)는 수평 방향으로 입력 휘도 신호의 최소값과 최대값을 검색한다. 마찬가지로 수직 방향 최소최대 검색부(133)는 수직 방향으로 입력 휘도 신호의 최소값과 최대값을 검색한다.
RGB 선택 출력부(134)는 입력된 RGB 신호를 이용하여 수평 및 수직 방향의 최소값과 최대값 중 더 큰 최소값 및 최대값에 상응하는 RGB값을 선택하여 출력한다.
선택적으로, 수평 또는 수직 방향 중 하나만 선택하여 최소값 및 최대값을 검색할 수도 있다. 이 경우 RGB 선택 출력부(134)는 검색한 최소값 및 최대값에 상응하는 RGB 신호를 출력한다.
본 발명의 바람직한 실시 예에서는 색수차 정도를 측정하기 위하여 휘도 신호를 사용한다. 전술한 바와 같이, 휘도 성분은 영상의 밝기 정보를 나타내며 색수차는 밝기 차이가 큰 영역에서 더욱 눈에 잘 보인다. 즉, 색수차의 정도는 휘도 신호의 콘트라스트 정보를 이용하여 측정될 수 있다. 따라서 영상의 콘트라스트를 구해 색수차의 발생 정도를 측정하기 위해 수평 및 수직 방향으로 각각 휘도 신호의 국부 최소값 및 최대값의 위치를 찾는다. 여기서 수직 방향과 수평 방향을 처 리하는 방법은 정확히 일치하기 때문에 수평 방향으로 검색하는 것을 설명한다.
하기 수학식 16는 좌측에서 우측으로의 증가 추세에 있을 경우의 최소값및 최대값과, 좌측에서 우측으로의 감소 추세에 있을 경우의 최소값 및 최대값을 찾는 것이다.
Figure 112008055158017-pat00026
즉, 수평 방향으로 최소값 및 최대값을 2개씩 찾게 되는 것이다. 증가 추세에 있을 경우는 현재 픽셀을 중심으로 왼쪽(수식 표기에서 W로 표시된 것) 최소값과 우측(수식 표기에서 E로 표시된 것) 최대값을 찾게 되고, 감소 추세에 있을 경우는 현재 픽셀을 기준으로 왼쪽 (수식 표기에서 W로 표시된 것) 최대값 과 우측(수식 표기에서 E로 표시된 것)최소값을 찾게 된다.
여기서, lEmax, lEmin, lWmax, lWmin은 각각 우측에서의 최대값의 위치, 우측에서의 최소값의 위치, 좌측에서의 최대값의 위치, 좌측에서의 최소값의 위치를 의미한다.
이렇게 좌우에서 최소값 및 최대값 위치를 찾는 이유는 현재 픽셀을 중심으로 마스크의 한쪽에 최소값 및 최대값이 함께 몰려 있는 것을 방지하기 위해서이다. 이 경우 최소값과 최대값의 차이가 현재 픽셀의 콘트라스트 정보로 볼 수 없 기 때문이다. 최소값과 최대값을 양방향으로 찾는 과정에서 또 한 가지 고려해야 하는 것은 만약에 증가 추세에 있다고 가정할 시에 감소 추세가 보이면 검색을 중지한다. 마찬가지로 감소 추세에 있다고 가정할 경우 증가 추세가 보이면 검색을 중지한다. 전술한 과정을 통해 검색한 최소값 및 최대값 두 개 씩 중에서 그 위치에서의 최대값-최소값의 차이가 큰 최소값과 최대값의 좌표를 최종 수평 방향 국부 최소값과 최대값의 좌표로 다음 수학식 17에 따라 정의한다.
Figure 112008055158017-pat00027
수평 방향과 마찬가지로 수직 방향으로도 동일한 과정을 진행하여 수직 방향으로의 최소값과 최대값의 좌표값, kmax, kmin을 구한다. 마지막으로 수평 방향과 수직 방향의 최소값 및 최대값의 위치의 값을 이용하여 최대값-최소값을 구한 후, 더 큰 값을 가지는 최소값 및 최대값의 위치를 현재 픽셀에서의 최종 국부 최소값 및 최대값최의 위치로 정의한 후에, 그 위치에서의 R, G, B 값을 사용하여 영상의 콘트라스트 정보를 구한다. 최소값 및 최대값 위치의 R, G, B 값을 각각 R1, R2, G1, G2, B1, B2로 나타낸다면 다음 수학식 18과 같다.
Figure 112008055158017-pat00028
도 7은 본 발명의 또 다른 실시 예에 따른 색도 신호 결합부(140)의 블록도이다.
도 7을 참조하면, 색도 신호 결합부(140)는 가중치 생성부(141) 및 결합부(142)를 포함한다.
가중치 생성부(141)는 색수차 발생 정도 결정부(130)로부터 출력된 최소최대 위치에서의 RGB 신호를 입력받아 가중치(au,av)를 생성한다.
결합부(142)는 가중치 생성부(141)로부터 출력된 가중치를 이용하여 입력 색도 신호(U,V)와 색수차 보정용 색도 신호(
Figure 112008055158017-pat00029
,
Figure 112008055158017-pat00030
)를 결합하여 최종 색도 신호(U0,V0)를 출력한다.
상기 수학식 18을 이용하여 계산한 R1, R2, G1, G2, B1, B2 값을 이용하여 U 채널과 V 채널에서의 콘트라스트 정보는 다음 수학식 19와 같이 구할 수 있다.
Figure 112008055158017-pat00031
여기서, contU, contV를 사용하여 aU(i,j) 및 aV(i,j)는 다음 수학식 20과 같이 구한다.
Figure 112008055158017-pat00032
여기서 f()는 단조 증가함수를 의미하며 0~1 사이의 값을 반환한다. 즉, aU(i,j) 및 aV(i,j)는 영상의 콘트라스트가 클수록 0에 가까워져서 색수차 보정용 색도 신호를 최종 출력으로 사용하게 되며, 콘트라스트가 작을수록 1에 가까워져서 최종 출력 신호가 원본 색도 신호에 가까워져 원본 색을 유지하게 된다. 다만, 여기서 R이나 G 채널의 경우 색이 손상되면 손상된 색상이 사람의 눈에 잘 보이기 때문에 R, G 채널의 색이 밝은 경우에는 색수차 제거를 줄여 색을 보존시킨다.
도 8은 본 발명의 또 다른 실시 예에 따른 색수차 제거 방법을 설명하기 위한 흐름도이다.
도 8을 참조하면, 단계 800에서, 휘도/색도 차이와 RGB 그래디언트를 이용하여 필터링을 수행한다. 단계 802에서, 필터링 결과에 따른 색수차 보정용 색도 신호를 생성한다. 단계 804에서, 색수차 발생 정도를 측정하는데, 이는 입력 휘도 신호의 콘트라스트 정보를 이용한다. 단계 806에서, 색수차 발생 정도에 따라 단계 802에서 생성된 색수차 보정용 색도 신호와 입력 색도 신호를 결합한다.
한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
도 1은 본 발명의 일 실시 예에 따른 색수차 제거 장치(100)의 개략적인 블록도이다.
도 2는 본 발명의 다른 실시 예에 따른 색수차 제거 장치(200)의 개략적인 블록도이다.
도 3a 및 3b는 색수차 발생 부분과 색수차 발생 영역의 특성을 설명하기 위한 도면이다.
도 4는 본 발명의 또 다른 실시 예에 따른 색도 신호 생성부(120)의 블록도이다.
도 5는 본 발명의 또 다른 실시 예에 따른 색도 신호 생성부(120)의 블록도이다.
도 6은 본 발명의 또 다른 실시 예에 따른 색수차 발생 정도 결정부(130)의 블록도이다,
도 7은 본 발명의 또 다른 실시 예에 따른 색도 신호 결합부(140)의 블록도이다.
도 8은 본 발명의 또 다른 실시 예에 따른 색수차 제거 방법을 설명하기 위한 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
100,200: 색수차 제거 장치 110: YUV변환부
120: 색도 신호 생성부 130: 색수차 발생 정도 결정부
140: 색도 신호 결합부 150: RGB변환부
160: 휘도 신호 조정부 121: 휘도/색도 차이 계산부
122: RGB 그래디언트 계산부 123: 색도 신호 필터링부

Claims (20)

  1. (a) RGB 신호 및 상기 RGB신호를 변환한 휘도/색도 신호를 입력받아, 상기 RGB 신호를 이용하여 RGB 그래디언트를 계산하고, 상기 휘도/색도 신호를 이용하여 휘도/색도 차이를 계산하는 단계; 및
    (b) 상기 계산한 RGB 그래디언트 및 상기 휘도/색도 차이를 반영하여 상기 색도 신호를 필터링함으로써 색수차 보정용 색도 신호를 생성하는 단계를 포함하는 색수차 제거 방법.
  2. 제 1 항에 있어서,
    상기 휘도/색도 신호는,
    YUV, YCbCr, Lab 및 YCC 중 하나를 포함하는 색 공간 좌표계의 휘도/색도 신호인 것을 특징으로 하는 색수차 제거 방법.
  3. 제 1 항에 있어서,
    (c) 상기 휘도 신호를 이용하여 색수차 발생 정도를 결정하는 단계; 및
    (d) 상기 색수차 발생 정도에 따라, 상기 색수차 보정용 색도 신호와 상기 입력 색도 신호를 결합하는 단계를 더 포함하는 것을 특징으로 하는 색수차 제거 방법.
  4. 제 3 항에 있어서,
    상기 RGB 그래디언트와 상기 휘도 차이는 수평 및 수직 방향으로 각각 계산하고, 상기 수평 및 수직 방향으로 각각 계산한 RGB 그래디언트와 상기 휘도/색도 차이를 이용하여 상기 색도 신호를 수평 및 수직 방향으로 각각 필터링하는 것을 특징으로 하는 색수차 제거 방법.
  5. 제 4 항에 있어서,
    상기 수평 및 수직 방향으로 각각 필터링하여 생성한 수평 및 수직 방향으로 필터링한 색수차 보정용 색도 신호들 중 하나를 선택하는 단계를 더 포함하는 것을 특징으로 하는 색수차 제거 방법.
  6. 제 5 항에 있어서,
    상기 수평 및 수직 방향으로 필터링한 색수차 보정용 색도 신호들 중 크기가 작은 것을 선택하는 것을 특징으로 하는 색수차 제거 방법.
  7. 제 3 항에 있어서,
    상기 (c) 단계는,
    수평 및 수직 방향으로 상기 입력 휘도 신호의 최소값 및 최대값을 각각 검색하는 단계; 및
    상기 RGB 신호를 이용하여 상기 각각의 최소값 및 최대값 중 더 큰 최소 및 최대값에서의 RGB값을 선택하여 출력하는 단계를 더 포함하는 것을 특징으로 하는 색수차 제거 방법.
  8. 제 7 항에 있어서,
    상기 (d) 단계는,
    상기 출력한 최소값 및 최대값에서의 RGB값을 이용하여 가중치를 생성하는 단계; 및
    상기 생성한 가중치에 따라 상기 입력 색도 신호와 상기 색수차 보정용 색도 신호를 결합하는 단계를 포함하는 것을 특징으로 하는 색수차 제거 방법.
  9. 제 3 항에 있어서,
    (e) 상기 입력된 색도 신호에 따라 상기 입력된 휘도 신호를 조정하는 단계; 및
    (f) 상기 (e) 단계에서 출력된 휘도 신호와 상기 (d) 단계에서 출력된 색도 신호를 RGB 신호로 변환하는 단계를 더 포함하는 것을 특징으로 하는 색수차 제거 방법.
  10. 제 3 항에 있어서,
    상기 (a) 단계는,
    상기 RGB 신호를 이용하여, R 신호와 G 신호, B 신호와 G 신호의 컬러 차이 를 계산하는 단계를 더 포함하고,
    상기 (b) 단계는,
    상기 R 신호의 그래디언트 및 상기 계산한 R 신호와 G 신호의 컬러 차이 중 큰 값, 및
    상기 B 신호의 그래디언트 및 상기 계산한 B 신호와 G 신호의 컬러 차이 중 큰 값을 각각 반영하여 상기 색도 신호를 필터링하는 것을 특징으로 하는 색수차 제거 방법.
  11. 색수차 보정용 색도 신호를 생성하는 방법으로서,
    현재 픽셀의 색수차 보정용 색도 신호는,
    RGB 신호를 변환한 휘도/색도 신호로부터, 상기 픽셀과 인접한 픽셀들의 색도 신호들을 소정의 가중치로 가중 평균하여 계산하는 것을 특징으로 하고,
    상기 가중치는,
    상기 인접한 픽셀들의 RGB 그래디언트 및 컬러 차이와, 상기 현재 픽셀과 인접한 픽셀들의 휘도/색도 차이로부터 계산되는 것을 특징으로 하는 색수차 보정용 색도 신호 생성 방법.
  12. 제 1 항 내지 제 11 항 중 어느 한 항에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체.
  13. RGB 신호를 이용하여 RGB 그래디언트를 계산하는 RGB 그래디언트 계산부;
    상기 RGB 신호를 변환한 휘도/색도 신호를 입력받아, 상기 휘도/색도 신호를 이용하여 휘도/색도 차이를 계산하는 휘도/색도 차이 계산부; 및
    상기 계산한 RGB 그래디언트 및 상기 휘도/색도 차이를 반영하여 상기 색도 신호를 필터링함으로써 색수차 보정용 색도 신호를 생성하는 색도 신호 필터링부를 포함하는 색수차 제거 장치.
  14. 제 13 항에 있어서,
    상기 휘도/색도 신호는,
    YUV, YCbCr, Lab 및 YCC 중 적어도 하나를 포함하는 색 공간 좌표계의 휘도/색도 신호인 것을 특징으로 하는 색수차 제거 장치.
  15. 제 13 항에 있어서,
    상기 휘도 신호를 이용하여 색수차 발생 정도를 결정하는 색수차 발생 정도 결정부; 및
    상기 색수차 발생 정도에 따라, 상기 색수차 보정용 색도 신호와 상기 입력 색도 신호를 결합하는 색도 신호 결합부를 더 포함하는 것을 특징으로 하는 색수차 제거 장치.
  16. 제 15 항에 있어서,
    상기 RGB 그래디언트 계산부는,
    상기 RGB 그래디언트를 수평 및 수직 방향으로 각각 계산하는 수평/수직 방향 RGB 그래디언트 계산부를 포함하고,
    상기 휘도/색도 차이 계산부는,
    상기 휘도/색도 차이를 수평 및 수직 방향으로 각각 계산하는 수평/수직 방향 휘도 차이 계산부를 포함하고,
    상기 색도 신호 필터링부는,
    상기 수평/수직 방향의 RGB 그래디언트 및 상기 수평/수직 방향의 휘도 차이를 이용하여 상기 색도 신호를 수평/수직 방향으로 각각 필터링하는 수평/수직 방향 색도 신호 필터링부를 포함하고,
    상기 수평/수직 방향으로 각각 필터링하여 생성한 색수차 보정용 색도 신호들 중 하나를 선택하는 색도 신호 선택부를 더 포함하는 것을 특징으로 하는 색수차 제거 장치.
  17. 제 16 항에 있어서,
    상기 색도 신호 선택부는,
    상기 수평 및 수직 방향으로 필터링한 색수차 보정용 색도 신호들 중 크기가 작은 것을 선택하는 것을 특징으로 하는 색수차 제거 장치.
  18. 제 15 항에 있어서,
    상기 색수차 발생 정도 결정부는,
    수평 및 수직 방향으로 상기 입력 휘도 신호의 최소값 및 최대값을 각각 검색하는 수평/수직 방향 최소최대 검색부; 및
    상기 RGB 신호를 이용하여 상기 각각의 최소값 및 최대값 중 더 큰 최소 및 최대값에서의 RGB값을 선택하여 출력하는 RGB 선택 출력부를 포함하는 것을 특징으로 하는 색수차 제거 장치.
  19. 제 18 항에 있어서,
    상기 색도 신호 결합부는,
    상기 출력한 최소값 및 최대값에서의 RGB값을 이용하여 가중치를 생성하는 가중치 생성부; 및
    상기 생성한 가중치에 따라 상기 입력 색도 신호와 상기 색수차 보정용 색도 신호를 결합하는 결합부를 포함하는 것을 특징으로 하는 색수차 제거 장치.
  20. 제 15 항에 있어서,
    상기 입력 색도 신호에 따라 상기 입력 휘도 신호를 조정하는 휘도 신호 조정부; 및
    상기 휘도 신호 조정부로부터 출력된 휘도 신호와 상기 색도 신호 결합부로부터 출력된 색도 신호를 RGB 신호로 변환하는 RGB 변환부를 더 포함하는 것을 특징으로 하는 색수차 제거 장치.
KR1020080074722A 2008-07-30 2008-07-30 색수차 제거 방법 및 장치 KR101460610B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080074722A KR101460610B1 (ko) 2008-07-30 2008-07-30 색수차 제거 방법 및 장치
US12/512,140 US8385641B2 (en) 2008-07-30 2009-07-30 Method and apparatus for eliminating chromatic aberration

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080074722A KR101460610B1 (ko) 2008-07-30 2008-07-30 색수차 제거 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20100013173A KR20100013173A (ko) 2010-02-09
KR101460610B1 true KR101460610B1 (ko) 2014-11-13

Family

ID=41608427

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080074722A KR101460610B1 (ko) 2008-07-30 2008-07-30 색수차 제거 방법 및 장치

Country Status (2)

Country Link
US (1) US8385641B2 (ko)
KR (1) KR101460610B1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4487320B2 (ja) * 2008-03-04 2010-06-23 村田機械株式会社 画像処理装置、原稿読取装置、及びカラーモノクロ判定方法
KR101460610B1 (ko) * 2008-07-30 2014-11-13 삼성전자주식회사 색수차 제거 방법 및 장치
TW201110057A (en) * 2009-09-01 2011-03-16 Novatek Microelectronics Corp Image color processing device and method
EP2429194B1 (en) * 2010-03-25 2016-04-20 FUJIFILM Corporation Image processing method and device, image processing program, and medium having said program recorded thereon
JP5665451B2 (ja) 2010-09-21 2015-02-04 キヤノン株式会社 画像処理装置及びその倍率色収差補正方法、撮像装置、倍率色収差補正プログラム、並びに記録媒体
US8411147B2 (en) * 2010-10-11 2013-04-02 Chiung-Hung Chiang Method for eliminating chromatic aberration caused by an imaging environment and for testing stability of the imaging environment, and chromatic aberration calibration device for use with the same
ITVI20110052A1 (it) 2011-03-15 2012-09-16 St Microelectronics Srl Riduzione del rumore cromatico di immagini nel dominio bayer
KR101257946B1 (ko) 2011-08-08 2013-04-23 연세대학교 산학협력단 영상의 색수차를 제거하는 장치 및 그 방법
ITVI20110243A1 (it) 2011-09-09 2013-03-10 Stmicroelectronics Grenoble 2 Riduzione di rumore croma di una immagine
TW201336319A (zh) * 2012-02-23 2013-09-01 Novatek Microelectronics Corp 消除影像色彩偏差的方法與裝置
CN103312937B (zh) * 2012-03-08 2015-12-02 联咏科技股份有限公司 消除图像色彩偏差的方法与装置
JP2013219705A (ja) * 2012-04-12 2013-10-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
CN104918107B (zh) * 2015-05-29 2018-11-02 小米科技有限责任公司 视频文件的标识处理方法及装置
US10110781B2 (en) * 2016-06-23 2018-10-23 Adobe Systems Incorporated Restoring the appearance of scans of damaged physical documents
TWI638339B (zh) * 2017-11-14 2018-10-11 瑞昱半導體股份有限公司 錯色移除方法
CN109819228B (zh) * 2017-11-21 2021-03-19 瑞昱半导体股份有限公司 错色移除方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050094899A (ko) * 2003-02-06 2005-09-28 소니 가부시끼 가이샤 화상 기록 재생 장치, 화상 촬영 장치 및 색 수차 보정방법
KR20070078682A (ko) * 2006-01-27 2007-08-01 타이완 티에프티 엘씨디 오쏘시에이션 디스플레이의 다이나믹 영상 컬러 편이의 평가 시스템 및평가 방법
KR20080067888A (ko) * 2007-01-17 2008-07-22 삼성전자주식회사 영상의 색 수차를 보정하기 위한 장치 및 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5307175A (en) * 1992-03-27 1994-04-26 Xerox Corporation Optical image defocus correction
JP3573575B2 (ja) * 1996-09-04 2004-10-06 オリンパス株式会社 光学系
JP3589225B2 (ja) * 2002-02-08 2004-11-17 セイコーエプソン株式会社 プロジェクタ
EP1746846B1 (en) * 2004-04-12 2019-03-20 Nikon Corporation Image processing device having color shift-correcting function, image processing program, and electronic camera
JP4479457B2 (ja) * 2004-05-27 2010-06-09 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
AU2007253839B2 (en) * 2006-05-16 2013-11-28 Essilor International (Compagnie Generale D'optique) High-order aberration correction for optimization of human visual function
US8089555B2 (en) * 2007-05-25 2012-01-03 Zoran Corporation Optical chromatic aberration correction and calibration in digital cameras
US7792357B2 (en) * 2007-05-30 2010-09-07 Microsoft Corporation Chromatic aberration correction
KR101340518B1 (ko) * 2007-08-23 2013-12-11 삼성전기주식회사 영상의 색수차 보정 방법 및 장치
KR101460610B1 (ko) * 2008-07-30 2014-11-13 삼성전자주식회사 색수차 제거 방법 및 장치
US8237823B2 (en) * 2008-11-06 2012-08-07 Samsung Electronics Co., Ltd. Method and apparatus for canceling chromatic aberration

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050094899A (ko) * 2003-02-06 2005-09-28 소니 가부시끼 가이샤 화상 기록 재생 장치, 화상 촬영 장치 및 색 수차 보정방법
KR20070078682A (ko) * 2006-01-27 2007-08-01 타이완 티에프티 엘씨디 오쏘시에이션 디스플레이의 다이나믹 영상 컬러 편이의 평가 시스템 및평가 방법
KR20080067888A (ko) * 2007-01-17 2008-07-22 삼성전자주식회사 영상의 색 수차를 보정하기 위한 장치 및 방법

Also Published As

Publication number Publication date
KR20100013173A (ko) 2010-02-09
US20100027886A1 (en) 2010-02-04
US8385641B2 (en) 2013-02-26

Similar Documents

Publication Publication Date Title
KR101460610B1 (ko) 색수차 제거 방법 및 장치
US8805070B2 (en) Image processing apparatus and image processing method
US7583301B2 (en) Imaging device having chromatic aberration suppression
US8155441B2 (en) Image processing apparatus, image processing method, and program for color fringing estimation and compensation
CN105049680B (zh) 进行图像恢复处理的图像处理设备和图像处理方法
JP4986965B2 (ja) 画像処理方法、画像処理装置、画像処理プログラム及び撮像装置
JP5171361B2 (ja) 撮像装置
US8237823B2 (en) Method and apparatus for canceling chromatic aberration
US8233710B2 (en) Image processing device and image processing method
US7697044B2 (en) Image processing apparatus and image processing method
JP2012165204A (ja) 信号処理装置、信号処理方法、撮像装置及び撮像処理方法
US20130100310A1 (en) Image processing device, imaging device, and image processing program
JP5917048B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5907590B2 (ja) 画像処理装置、画像処理方法およびプログラム
US9071803B2 (en) Image processing apparatus, image pickup apparatus, image processing method and non-transitory computer-readable storage medium storing image processing program
KR101532605B1 (ko) 색수차 제거 방법 및 장치
JP6631161B2 (ja) 画像処理装置、撮像装置、制御プログラム
KR101517407B1 (ko) 색수차 제거 방법 및 장치
JP6627422B2 (ja) 画像処理装置、撮像装置、制御プログラム

Legal Events

Date Code Title Description
N231 Notification of change of applicant
N231 Notification of change of applicant
A201 Request for examination
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee