KR100596639B1

KR100596639B1 - 영상 센서의 결함 보정 장치

Info

Publication number: KR100596639B1
Application number: KR1020030054131A
Authority: KR
Inventors: 황정현; 허광호
Original assignee: (주)시스포
Priority date: 2003-08-05
Filing date: 2003-08-05
Publication date: 2006-07-04
Also published as: KR20050015348A

Abstract

일반적인 CCD 카메라 신호처리에 있어서, S1 혹은 S2중 한 쪽 성분이 특정라인에서 최대값의 제한을 받게 될 때 휘도 성분의 밝기가 인접한 다른 라인 휘도와 차이를 갖게 되어 라인별 단차를 발생시키는 문제가 발생한다. 본 발명은 이러한 라인별 휘도 불일치 및 라인 단차를 제거하기 위하여, 인접한 라인에서의 최대 경계치 제한의 정도를 분석하고 이를 토대로 적응적으로 그 단차를 줄여 주는 것을 목적으로 하고 있다. 그 결과 영상의 전체적인 분포에서의 왜곡이 사라지게 되어 자연스럽고 부드러운 영상을 출력해 주게 된다. 또한, 칼라성분의 특성도 원래의 색 성분을 보다 선명하게 출력해 주는 이점이 있으며, 전자식 영상확대에 있어서도 2차 왜곡을 없애주는 효과를 수반한다. 본 발명을 실현하기 위하여, 하드웨어는 입력신호를 임시 저장하는 레지스터, 소정의 밝기분포를 비교하는 비교기, 누적 덧셈기, 출력을 변화시키는 선택기 등의 조합으로 구성된다.

CCD, 카메라 신호처리, 단차 보정, 칼라신호처리

Description

영상 센서의 결함 보정 장치 {Defect Correction Device for CCD Image}

현재 민생용 뿐만 아니라 산업용 전자장치에서 컬러 TV 와 VCR 의 보급율이 거의 포화점에 다다르고 있으며, 이에 따른 캠코더 및 감시용 카메라의 시장이 급격하게 팽창하고 있다. 이러한 카메라는 앞으로 가격과 크기를 줄이기 위해 디지털적으로 구현되며, 고화질의 영상과 다양한 특수효과를 제공하는 모델이 개발되어야 한다.

일반적으로 카메라에서 완전한 컬러를 재현하기 위해서는 3개의 CCD가 필요하다. 그러나 대부분의 카메라는 비용을 절감하기 위하여 하나의 CFA (color filter array)를 갖는 단일 CCD (단판식 CCD) 만을 사용한다. 단일 CCD 컬러 카메라의 입력단 신호처리는, 먼저 렌즈로부터 광학적 신호를 받아들여서 광학적 저역 통과 필터 (low pass filter; LPF), 원하는 컬러 성분을 적절한 위치에 배열시키는 color filter array (CFA), 광학적 영상의 밝기를 전기적 신호로 바꿔주는 고체 촬상소자(charge-coupled device; CCD)로 구성된다. 여기서 얻어진 전기적 신호는 연속신호의 형태이며, 열잡음을 제거하기 위한 correlated double-sampling (CDS)과 자동 이득 보정장치인 automatic gain control(AGC)을 차례로 통과한다. agc의 출력신호는 감마 보정(gamma-correction)된 후에 analog-to-digital converter(ADC)를 통과하여 이산신호의 형태로 변환되고, 디지털 카메라 신호처리 (Digital Camera Processor; DCP)에 입력되어 휘도 성분과 색차 성분으로 만들어진다. 이 두 이산 신호는 각각 digital-to-analog converter (DCA)를 거쳐 연속신호의 형태로 변환된 후 TV신호로 합성되어 출력한다.

상기한 카메라 내부의 영상처리는 DCP에 의해 완벽하게 그 특성을 나타낼 수 있다. DCP내부의 주요 신호처리는 세 부분으로 나뉘어진다. 검출 모듈(detection module; DM)은 자동 노출(auto-exposure; AE), 자동 초점(auto-focus; AF), 자동 백색 균형 (auto-white balance; AWB), 잡음 제거, 이득 보정 등을 수행한다. 잡음 제거와 이득 보정은 카메라의 특성에 따라서 디지털 혹은 아날로그 형태로 수행된다. DM을 통과한 신호는 CPM에서 RGB와 Y 성분으로 변환된다. 부호화 모듈(encoding module; EM)에서는 NTSC나 PAL방식에서 사용되는 표준 Y 신호가 만들어 지고, 또한 디지털적으로 변조된 C신호가 만들어진다.

상기한 DCP의 신호처리 역할 중에서, 카메라 영상의 부분적 결점 및 밝기 왜곡 등을 제거하기 기능은 공간적인 필터처리를 사용하게 된다. 가장 일반적으로 사용하는 방법인 이동평균 필터방법은 현재의 화소에 대하여 인접한 화소의 밝기 등의 정보를 취한 후 평균 등의 적절한 값으로 치환하는 방법이다. 그러나 이동 평균 필터 방법 등은 기본적인 영상신호의 고유한 신호성분을 희생시켜, 카메라의 윤곽선 등에 포함되어 있는 고주파 신호성분을 제거하게 되며, 이에 따라 영상이 무뎌지는 현상을 가지고 온다.

또한 결점 보상방법은 영상의 결점위치 및 그 보상치를 메모리에 기억시켜 놓았다가, 그 위치에 입력되는 신호에 그 보상치를 부가하여 보정하는 것으로서, 방대한 양의 메모리와 위치검출의 자동화에 많은 하드웨어적인 부담을 필요로 하며, 높은 원가상승을 수반하고 있다.

좋은 조건하의 입력 상태의 영상에 있어서는 입력 RGB의 성분을 각 라인별로 조합함으로 영상을 재현하는데 문제가 없다. 그러나 입력되는 CCD의 아나로그 전기적 신호를 디지털로 변환하게 됨에 있어서 표현할 수 있는 밝기 레인지를 넘게 되면 일정한 값으로 출력이 결정되는 Clipping현상이 나타난다. 즉 표현하고자 하는 값이 실제 300 이라 하더라도 출력레인지가 255까지 밖에 표현할 수 없는 ADC라면, 출력치는 255이상을 넘지 못하게 된다.

결국 특정라인에서 최대값의 제한을 받게 될 때 문제가 생기게 되며, 이것은 입력영상의 분포가 전체적 혹은 국부적으로 밝은 영상이 들어오게 되면 짝수라인 혹은 홀수 라인에서의 휘도 성분의 밝기가 인접한 다른 홀수 혹은 짝수의 라인 휘도와 차이를 갖게 되어 라인별 단차를 발생시킨다.

본 발명은 이러한 단차를 없애기 위하여 먼저 어느 S1, 혹은 S2중 어느 성분이 최대값 경계 값에 제한되어 있는 가를 분석해야 하며, 이 분석을 토대로 제한 받지 않은 쪽의 데이터를 가공하여 단차를 없애도록 해야 한다.

단일 CCD (단판식 CCD) 컬러 카메라의 입력단 신호처리는, 먼저 렌즈로부터 광학적 신호를 받아들여서 광학적 저역 통과 필터 (low pass filter; LPF), 원하는 컬러 성분을 적절한 위치에 배열시키는 color filter array (CFA), 광학적 영상의 밝기를 전기적 신호로 바꿔주는 고체 촬상소자(charge-coupled device; CCD)로 구성된다. 여기서 얻어진 전기적 신호는 연속신호의 형태이며, 열잡음을 제거하기 위한 correlated double-sampling (CDS)과 자동 이득 보정장치인 automatic gain control(AGC)을 차례로 통과한다. agc의 출력신호는 감마 보정(gamma-correction)된 후에 analog-to-digital converter(ADC)를 통과하여 이산신호의 형태로 변환되고, 디지털 카메라 신호처리 (Digital Camera Processor; DCP)에 입력되어 휘도 성분과 색차 성분으로 만들어진다. 이 두 이산 신호는 각각 digital-to-analog converter (DCA)를 거쳐 연속신호의 형태로 변환된 후 TV신호로 합성되어 출력한다.

단판식 CCD 칼라 카메라의 화질은 DM을 통과한 디지털 CCD신호로부터 디지털 Y와 C신호를 만드는 CPM의 특성에 의해 주로 결정된다. 여기서 DM의 출력신호는 2개의 라인 메모리에 의하여 지연된다. 수평적으로 한 라인 지연된 신호(1H)와 0H, 2H 지연된 신호의 평균 신호는 각각 해당하는 저역통과 필터에 의하여 Y1과 Y02신호로 변환된다. 저역통과 필터에 의하여 상실된 고주파 성분은 수평, 수직 고역통과필터인 aperture에 의해서 부분적으로 복구된다. 이러한 결과로 생성된 휘도를 Yh라 정의한다.

CPM의 입력신호는 다음과 같은 과정을 거쳐서 생성된다. CCD는 광학적 신호를 전기적 신호로 변환시티는 장치이다. 이러한 이유로 카메라에서 완전한 컬러를 재현하기 위해서는 3개의 CCD가 필요하다. 그러나 대부분의 카메라는 비용을 절감하기 위하여 하나의 CFA (color filter array)를 갖는 단일 CCD만을 사용한다. 일반적인 CFA/CCD의 구조에서는 3개의 보색 (complementary color)인 시안(Cy=G+B), 마젠타(Mg=R+B), 그리고 옐로우(Ye=R+G)와 그린(G)성분들이 각 화소 위치에서 주기적으로 샘플링된다.

이러한 CFA/CCD구조는 프레임 구조를 나타낸다. 프레임 구조를 2개의 필드 구조로 나누는 방법은 다음과 같다. 첫번째 라인과 두번째 라인을 더해서 기수 필드(odd field)의 첫번째 라인을 만들고, 두번째 라인과 세번째 라인을 더해서 우수 필드(even field)의 첫번째 라인을 만든다. 두 필드의 나머지 라인을 구성하기 위해서 같은 절차를 반복한다. 일반적인 필드 구성방법으로 기수 필드와 우수 필드의 매 라인상에서 두 가지의 서로 다른 색 성분의 혼합이 화소 단위로 교대로 출력되고 있는 것을 볼 수 있는데, 편의상 그 두 성분을 S1과 S2성분이라 부르기로 한다. 카메라에서의 주요 컬러 신호처리는 S1 과 S2성분으로부터 RGB신호를 재구성하는 것이다.

모든 라인에서는 S1+S2의 값이 같기 때문에, Y의 값은

S1 + S2 = G + Cy + Mg + Ye(1.1)

= 2R + 3G + 2B(1.2)

= Y(1.3)

와 같다. S1 + S2신호는 NTSC 시스템에서 사용된 휘도 성분이 저역통과필터를 거친 형태이기 때문에 편의상 Y이라 표기한다.

반면에 S1과 S2의 차분 신호는 라인마다 그 성분이 달라지는데 기수 필드의 홀수 라인에서는

(S2 - S1)’ = (Mg + Ye) - (G + Cy)(2.1)

= 2R - G(2.2)

= Cr(2.3)

와 같이 주어진다. 또한 기수 필드의 짝수라인에서는

(S2 - S1)” = (G + Ye) - (Mg + Cy)(3.1)

= - (2B - G) (3.2)

= Cb(3.3)

와 같다.

최종적으로 RGB 신호는

RED= Cr + 0.2* GREEN = 2R(4.1)

GREEN = Y - Cr + Cb = 5G(4.2)

BLUE= -Cb + 0.2 GREEN = 2B(4.3)

와 같이 Y, Cr, 그리고 Cb신호로부터 만들어진다.

일반적인 입력 상태의 영상에 있어서는 입력 RGB의 성분이 각 라인별로 조합함으로 출력의 영상상태가 입력되는 영상을 출력하는데 문제가 없다. 이것을 구체적으로 나타내 보면 다음과 같다.

기수 필드의 홀수 라인에서의 Y의 값은

(S2 + S1)’ = ( Mg + Ye ) + ( G + Cy )(5)

= ( 2R + B + G ) + ( B + 2G )

와 같이 주어지고, 또한 기수 필드의 짝수라인에서는

(S2 + S1)” = ( G + Ye ) + ( Mg + Cy )(6)

= ( R + 2G ) + ( R + 2B + G)

이 된다. 결국 식 (1.2)와 같이

(S2 + S1)’= (S2 + S1)” = 2R + 3G + 2B (7)

의 식이 성립이 되어야 한다.

여기서 입력영상에서 강한 R 성분이 있을 경우 예시를 들어 설명하면 다음과 같다.

R= 100

G= 50

B= 50

기수 필드의 홀수 라인에서의 S1, S2의 값은

(S2)’= ( 2R + B + G )

= 200 + 50 + 50

= 300

(S1)’= ( B + 2G )

= 50 + 100

= 150

이며 기수 필드의 짝수 라인에서의 S1, S2의 값은

(S2)”= ( R + 2G )

= 100 + 100

= 200

(S1)”= ( R + 2B + G)

= 100 + 100 + 50

= 250

이 되며, 결국 휘도를 나타내는 값은

(S2 + S1)’= 300 + 150 = 450

(S2 + S1)”= 200 + 250 = 450

이 되어 같은 값을 가지게 되어 (7)의 식을 만족하게 된다.

그러나 입력되는 CCD의 아나로그 전기적 신호를 디지털로 변환하게 됨에 있어서 표현할 수 있는 밝기 레인지를 넘게 되면 일정한 값으로 출력이 결정되는 Clipping현상이 나타난다. 즉 표현하고자 하는 값이 실제 300 이라 하더라도 출력레인지가 255까지 밖에 표현할 수 없는 8비트 ADC라면, 출력치는 255이상을 넘지 못하게 된다.

이러한 가정을 고려하여 S1 과 S2의 밝기 표현 레인지를 8비트 (0~255)로 가정했을 때,

(S2)’ 300= 255

의 값을 가지게 되며 결국

(S2 + S1)’= 255 + 150 = 405

(S2 + S1)”

과 같이 짝수와 홀수의 휘도가 라인별로 다른 값을 표현하게 된다.

결국 S1 혹은 S2중 한 쪽 성분이 특정라인에서 최대값의 제한을 받게 될 때 문제가 생기게 되며, 이것은 입력영상의 분포가 전체적 혹은 국부적으로 밝은 영상이 들어오게 되면 짝수라인 혹은 홀수 라인에서의 휘도 성분의 밝기가 인접한 다른 홀수 혹은 짝수의 라인 휘도와 차이를 갖게 되어 라인별 단차를 발생시킨다.

먼저 S1, S2의 값이 경계 값에 제한되는 것을 파악하기 위하여 영상전체의 값으로부터 최대값을 결정한다. 일반적인 카메라 시스템에서는 ADC의 최대 값까지 영상의 최대 밝기가 가지 않으면서 최대밝기 제한을 받는 경우도 발생한다. 따라서 입력영상에 따라 적응적으로 최대 밝기를 결정하는 방법이 필요하게 되며, 이 최대값에 해당하는 개수가 영상의 단차를 유발하는 화소 수에 비례하게 된다.

최대값을 자동으로 결정하는 방법은 다음과 같다. 일반적인 조건에서 영상의 밝기 분포를 보면 중간 레벨이 많고 어두운 부분과 밝은 부분은 상대적으로 적은 가우시안 분포를 가지게 된다. 따라서 최대값을 가지는 수가 밝기의 레벨이 높아 감에 따라 연속적으로 줄어들게 되나, 최대값 밝기 제한이 되는 경우는 값자기 그 밝기 값의 빈도수가 증가하게 된다. 이렇게 값자기 빈도수가 증가하다가 그 다음 밝기가 전혀 없어지는 밝기 레벨의 위치가 최대 밝기 제한 레벨이며, 이 불연속 지점을 매 필드 검출한다.

실제 값의 라인 단차 보정은 다음과 같은 방법으로 이루어 진다. 현재 라인에서의 출력에는 최대 밝기의 제한은 받지 않았지만, 인접한 라인에서 최대 밝기의 제한을 받는 S1 혹은 S2가 생겼다면, 그 밝기 레벨에 맞추어 현재의 레벨을 무시하고 인접한 이전라인의 값 혹은 인접한 상하간의 보간 값으로 한다.

(S2 + S1)’ (S2 + S1)” = 405

상기한 발명을 구상하는 방법은, 기본적으로 영상신호를 입력 받아 그 위치 및 신호량을 계측하여 주위의 신호와 비교 평가할 수 있는 신호처리 시스템을 구성해야 한다. 이를 위하여 입력신호와 동기되는 수직 및 수평 동기 신호를 기준으로 영상의 위치를 확정하고, 신호의 량을 적분하여 기록하는 메모리와 덧셈연산기가 필요하다.

이것은 영상의 밝기에 따른 왜곡 특성이 달라지기 때문에 입력되는 밝기 분포의 특성을 먼저 자동적으로 분석하는 기능을 수행한다. 즉 영상이 너무 밝은 부분에서 이루어 지는 포화를 먼저 검출하는 부분에 있어서 매 필드 입력되는 영상의 포화 개수를 적립한다.

본 발명을 실현하기 위하여, 하드웨어는 입력신호를 임시 저장하는 레지스터, 소정의 밝기분포를 비교하는 비교기, 누적 덧셈기, 출력을 변화시키는 선택기 등의 조합으로 구성된다.

일반적인 CCD 카메라 신호처리에 있어서, S1 혹은 S2중 한 쪽 성분이 특정라인에서 최대값의 제한을 받게 될 때 휘도 성분의 밝기가 인접한 다른 라인 휘도와 차이를 갖게 되어 라인별 단차를 발생시키는 문제가 발생한다. 본 발명은 이러한 라인별 휘도 불일치 및 라인 단차를 인접한 라인에서의 최대 경계치 제한의 정도에 따라 적응적으로 줄여 준다. 그 결과 영상의 전체적인 분포에서의 왜곡이 사라지게 되어 자연스럽고 부드러운 영상을 출력해 주게 된다.

또한, 칼라성분의 특성도 원래의 색 성분을 보다 선명하게 출력해 주는 이점이 있으며, 전자식 영상확대에 있어서도 2차 왜곡을 없애주는 효과가 있다.

Claims

삭제
삭제
단판식 CCD 카메라 신호처리를 위한 영상센서 결함 보정 장치에 있어서, ADC 출력 신호의 1 라인 분을 임시 저장하는 라인 메모리와, 휘도분포에서 고휘도로 갈수록 그 빈도수가 증가하다가 그 다음 단계 휘도의 빈도수가 0이 되는 불연속 지점이 있는 경우에는 이를 최대값으로 정하는 설정부와, 영상에서 각 화소의 입력값에 대한 최대값의 개수를 누적 계산하여 저장하는 레지스터와, 상기 최대값의 개수를 평가하는 평가부와, 최대밝기 제한이 발생한 경우에 화소의 상기 최대값의 위치에서의 휘도값을 이전 라인의 휘도값으로 대체하는 선택기로 구성되는 것을 특징으로 하는 영상센서 결함 보정 장치.
단판식 CCD 카메라 신호처리를 위한 영상센서 결함 보정 장치에 있어서, ADC 출력 신호의 1 라인 분을 임시 저장하는 라인 메모리와, 휘도분포에서 고휘도로 갈수록 그 빈도수가 증가하다가 그 다음 단계 휘도의 빈도수가 0이 되는 불연속 지점이 있는 경우에는 이를 최대값으로 정하는 설정부와, 영상에서 각 화소의 입력값에 대한 최대값의 개수를 누적 계산하여 저장하는 레지스터와, 상기 최대값의 개수를 평가하는 평가부와, 최대밝기 제한이 발생한 경우에 화소의 최대값의 위치에서의 휘도값을 이전 이후 라인의 보간에 의한 휘도값으로 대체하는 선택기로 구성되는 것을 특징으로 하는 영상센서 결함 보정 장치.