KR20000059712A

KR20000059712A - 고체촬상소자의 영상신호 처리 장치

Info

Publication number: KR20000059712A
Application number: KR1019990007523A
Authority: KR
Inventors: 권순억
Original assignee: 김영환; 현대반도체 주식회사
Priority date: 1999-03-08
Filing date: 1999-03-08
Publication date: 2000-10-05

Abstract

본 발명은 휘도 신호와 색신호를 분리한후 윤곽 보정을 하여 색신호의 일그러짐을 막고 하드웨어를 단순화하는데 적당하도록한 고체촬상소자의 영상신호 처리 장치에 관한 것으로, CCD 영상 신호에서 블랙 레벨의 신호를 검출하여 이 신호에서 CCD의 최초 출력 신호를 빼주는 디지탈 클램핑 과정을 수행하는 디지탈 클램핑부와,디지탈 클램핑된 신호를 받아 화이트 밸런스를 조정하는 화이트 밸런스 조정부와,화이트 조정이 이루어진 신호를 감마 보정하여 디스플레이시의 왜곡 현상을 줄이는 감마 보정부와,감마 보정된 R,G,B 각각의 화소 정보를 주변화소를 이용하여 보간하는 보간 블록과,데이터 보간된 R,G,B 신호를 변환/이득 제어하여 휘도 신호(Y)와 색 신호(Cr,Cb)의 변환 신호를 출력하는 영상 신호 변환/이득 제어부와, 상기 휘도 신호(Y)의 윤곽을 보정하여 출력하는 윤곽 보정부를 포함하여 구성된다.

Description

고체촬상소자의 영상신호 처리 장치{Device for processing image signal of solid state image sensor}

본 발명은 고체촬상소자에 관한 것으로, 특히 휘도 신호와 색신호를 분리한후 윤곽 보정을 하여 색신호의 일그러짐을 막고 하드웨어를 단순화하는데 적당하도록한 고체촬상소자의 영상신호 처리 장치에 관한 것이다.

이하, 첨부된 도면을 참고하여 본 발명에 따른 고체촬상소자의 영상신호 처리 장치에 관하여 설명하면 다음과 같다.

도 1은 일반적인 디지탈 스틸 카메라의 영상 신호 처리 블록 구성도이고, 도 2는 입력 영상의 포맷 구성도이다.

렌즈를 통과한 빛은 OLPF(Optical Low Pass Filter)와 적외선 필터를 통과한후 CCD(1)에 입사되는데, CCD(1)의 광전 변환 영역에서 TG(Timing Generator)에서 출력되는 컨트롤 신호에 의해 전기 신호로 변환되어 출력된다.

이와 같이 변환 출력되는 영상 신호는 여러 단계의 신호 처리 단계를 거쳐 전송되는데, 이와 같은 신호 처리 시스템의 구성은 다음과 같다.

CCD(1)에서 출력된 영상 신호를 CDS(Correlated Double Sampling)과정으로 노이즈 성분을 제거하고 A/D 변환전에 샘플/홀드(Sample and Hold)기능을 수행한후 자동 이득 조절(Auto Gain Control)을 하여 디지탈 데이터를 출력하는 CDC(Correlated Double sampling and Converter)(2)블록과, 상기 CDC(2) 블록에서 출력되는 디지탈 데이터를 디지탈 클램핑 및 화이트 자동 조절 그리고 감마 보정,윤곽 보정,데이터 보간 그리고 휘도/색 신호 변환을 수행하는 CCD 데이터 경로 컨트롤러(3)와, CCD 데이터 경로 컨트롤러(3)에서 출력되는 휘도 신호 및 색 신호의 포맷을 변환하는 포맷 변환부(4)와, 포맷 변환된 영상 신호를 NTSC(National Television System Committee)방식에 맞도록 엔코딩하는 NTSC 엔코더(5)와, NTSC 엔코딩된 신호를 아날로그 변환하여 출력하는 DAC(Digital to Analog Converter)(6)를 포함하여 구성된다.

상기에서 설명한 블록들 이외에도 영상 신호 처리 장치의 타이밍/동기 신호들을 발생하는 타이밍/동기 신호 발생부(8)와, 상기 타이밍/동기 신호 발생부(8)에서 출력되는 타이밍 신호와 동기 신호에 의해 CCD(1)를 구동하기 위한 수직 구동 신호를 출력하는 수직 구동신호 발생부(9)와, 상기 CCD 데이터 경로 컨트롤러(3)에서 출력되는 R,G,B의 영상 신호 및 타이밍/동기 신호에 의해 윤곽 보정(AE),자동 화이트 밸런스 조정(AWB)등의 기능을 수행하기 위한 신호들을 발생시켜 MCU 인터페이스 블록(10)으로 출력하는 ACSG(AE/AWB/AF Control Signal Generator)블록(7)과, 각각의 DRAM, 플래쉬 메모리, SRAM등의 메모리들을 제어하여 영상 신호 처리에 필요한 데이터들을 저장출력하는 메모리 컨트롤 ASIC(11)등을 포함하여 구성된다.

도 2는 CCD(1)에서 출력되는 영상 신호의 배열을 나타낸 것이다.

이와 같이 구성된 디지탈 스틸 카메라의 영상 신호 처리 블록에서 실제 윤곽 보정이 이루어지는 CCD 데이터 경로 컨트롤러의 상세 구성은 다음과 같다.

도 3은 종래 기술의 CCD 데이터 경로 컨트롤러의 구성 블록도이다.

종래 기술의 영상 신호 처리 장치에서는 CCD 데이터 경로 컨트롤러가 다음과 같이 구성된다.

먼저, 종래 기술의 CCD 데이터 경로 컨트롤러는 샘플/홀드 과정을 거쳐 노이즈 성분이 제거된 영상 신호에서 블랙 레벨의 신호를 검출하여 이 신호에서 CCD(1)의 출력 신호를 빼주는 디지탈 클램핑 과정을 수행하여 영상 신호의 리솔루션(resolution)이 좋게 하는 디지탈 클램핑부(31)와, 디지탈 클램핑된 신호를 받아 영상 신호에서 흰색에 대한 적응성을 높이기 위하여 화이트 밸런스를 조정하는 화이트 밸런스 조정부(32)와, 화이트 조정이 이루어진 신호를 감마 보정하여 디스플레이시의 왜곡 현상을 줄이는 감마 보정부(33)와, 감마 보정된 R,G,B 각각의 화소 정보를 주변화소를 이용하여 보간하는 보간 블록(34)과, 데이터 보간된 R,G,B 각각의 신호의 윤곽을 보정하여 출력하는 제 1,2,3 윤곽 보정부(35a)(35b)(35c)와, 각각의 제 1,2,3 윤곽 보정부(35a)(35b)(35c)에서 출력되는 윤곽 보정 신호를 변환 /이득 제어하여 휘도 신호(Y)와 색 신호(Cr,Cb) 신호를 출력하는 영상 신호 변환/이득 제어부(36)를 포함하여 구성된다.

여기서, 디지탈 클램핑부(31)는 클램핑을 위한 신호를 검출된 블랙 레벨의 신호를 평균하여 구하거나 강제적으로 임의의값으로 가변할 수 있다.

이와 같이 구성된 종래 기술의 CCD 영상 신호 처리 장치의 영상 신호 처리 동작은 다음과 같다.

도 2에서와 같은 배열을 갖는 영상 신호가 디지탈 클램핑부(31)로 입력되면 블랙 레벨의 신호를 검출하여 이 신호를 이용하여 CCD(1) 출력 신호를 클램핑한다.

그리고 화이트 밸런스 조정부(32)에서 클램핑된 R,G,B 신호에 각각의 이득값을 곱하여 화이트 밸런스를 조정한다.

화이트 밸런스 조정은 다음과 같은 이유에 의해 행해진다.

인간의 시각은 조명이 순간적으로 바뀌어도 화이트 칼라를 정확히 인식할 수 있다. 그러나 실제의 경우에는 화이트 칼라는 조명에 따라 여러 가지로 바뀌어 나타나게되는데, 화이트 밸런스 조정은 이와같은 화이트에 대한 적응성을 고려하여 개발된 것이다.

이와 같은 이유로 화이트 밸런스 조정이 이루어진 신호는 입력 신호의 크기에 정비례한 크기로 화면에 디스플레이되는 동작에서 2차 함수 형태로 나타나는 왜곡을 없애기 위하여 감마 보정을 한다.

그리고 이와 같이 감마 보정이 끝나면 보간 블록(34)에서 각각의 R,G,B 화소의 주변 화소의 데이터값을 이용하여 데이터 보간(data interpolation)을 하고 제 1,2,3 윤곽 보정부(35a)(35b)(35c)에서 각각의 화소의 윤곽을 보정한다.

윤과 보정이 끝나면 영상 신호 변환/이득 제어부(36)에서 4:4:4의 R,G,B 신호를 4:2:2의 Y,Cr,Cb의 휘도/색신호로 변환하여 데이터량을 반으로 줄인다.

이와 같은 종래 기술의 CCD 영상 신호 처리 장치는 다음과 같은 문제가 있다.

첫째, 보간이 끝난후 윤곽 보정 동작을 하여 윤곽 주파수 낮아 화질을 높이는데 한계가 있다.

둘째, 윤곽 보정을 하고 이득에 따라 포맷을 변환하는 경우 색의 R,G,B 비율이 윤곽 보상된 만큼 달라져 영상 신호 처리의 효율성이 떨어진다.

즉, 보간된 신호 R,G,B 각각의 윤곽 보정이 수행되어 R:G:B ≠ R+△R:G+△G:B+△B가 된다.

셋재, R,G,B 각각의 윤곽 보정을 수행하므로 3개의 윤곽 보정 회로가 필요하여 하드웨어 측면에서 복잡하다.

본 발명은 이와 같은 종래 기술의 영상 신호 처리 장치의 문제를 해결하기 위하여 안출한 것으로, 휘도 신호와 색신호를 분리한후 윤곽 보정을 하여 색신호의 일그러짐을 막고 하드웨어를 단순화하는데 적당하도록한 고체촬상소자의 영상신호 처리 장치를 제공하는데 그 목적이 있다.

도 1은 일반적인 디지탈 스틸 카메라의 영상 신호 처리 블록 구성도

도 2는 입력 영상의 포맷 구성도

도 3은 종래 기술의 CCD 데이터 경로 컨트롤러의 구성 블록도

도 4는 본 발명에 따른 CCD 데이터 경로 컨트롤러의 구성 블록도

도면의 주요 부분에 대한 부호의 설명

41. 디지탈 클램핑부 42. 화이트 밸런스 조정부

43. 감마 보정부 44. 보간 블록

45. 영상 신호 변환/이득 제어부 46. 윤곽 보정부

휘도 신호와 색신호를 분리한후 윤곽 보정을 하여 색신호의 일그러짐을 막고 하드웨어를 단순화하는데 적당하도록한 본 발명의 고체촬상소자의 영상신호 처리 장치는 CCD 영상 신호에서 블랙 레벨의 신호를 검출하여 이 신호에서 CCD의 최초 출력 신호를 빼주는 디지탈 클램핑 과정을 수행하는 디지탈 클램핑부와,디지탈 클램핑된 신호를 받아 화이트 밸런스를 조정하는 화이트 밸런스 조정부와,화이트 조정이 이루어진 신호를 감마 보정하여 디스플레이시의 왜곡 현상을 줄이는 감마 보정부와,감마 보정된 R,G,B 각각의 화소 정보를 주변화소를 이용하여 보간하는 보간 블록과,데이터 보간된 R,G,B 신호를 변환/이득 제어하여 휘도 신호(Y)와 색 신호(Cr,Cb)의 변환 신호를 출력하는 영상 신호 변환/이득 제어부와,상기 휘도 신호(Y)의 윤곽을 보정하여 출력하는 윤곽 보정부를 포함하고 구성되어 영상 신호의 윤곽 보정을 영상 신호 변환/이득 제어가 이루어진 상태에서 휘도 신호를 이용하여 진행하는 것을 특징으로 한다.

이하, 첨부된 도면을 참고하여 본 발명에 따른 고체촬상소자의 영상신호 처리 장치에 관하여 상세히 설명하면 다음과 같다.

도 4는 본 발명에 따른 CCD 데이터 경로 컨트롤러의 구성 블록도이다.

본 발명에 따른 영상 신호 처리 장치의 CCD 데이터 경로 컨트롤러는 샘플/홀드 과정을 거쳐 노이즈 성분이 제거된 영상 신호에서 블랙 레벨의 신호를 검출하여 이 신호에서 CCD의 최초 출력 신호를 빼주는 디지탈 클램핑 과정을 수행하여 영상 신호의 리솔루션(resolution)이 좋게 하는 디지탈 클램핑부(41)와, 디지탈 클램핑된 신호를 받아 영상 신호에서 흰색에 대한 적응성을 높이기 위하여 화이트 밸런스를 조정하는 화이트 밸런스 조정부(42)와, 화이트 조정이 이루어진 신호를 감마 보정하여 디스플레이시의 왜곡 현상을 줄이는 감마 보정부(43)와, 감마 보정된 R,G,B 각각의 화소 정보를 주변화소를 이용하여 보간하는 보간 블록(44)과, 데이터 보간된 R,G,B 신호를 변환/이득 제어하여 휘도 신호(Y)와 색 신호(Cr,Cb)의 변환 신호를 출력하는 영상 신호 변환/이득 제어부(46)와, 이득이 제어되어 변환된 휘도 신호(Y)의 윤곽을 보정하여 출력하는 윤곽 보정부(46)를 포함하여 구성된다.

여기서, 디지탈 클램핑부(41)는 클램핑을 위한 신호를 검출된 블랙 레벨의 신호를 평균하여 구하거나 강제적으로 임의의값으로 가변할 수 있다.

본 발명의 영상 신호 처리 장치는 감마 보정을 한후 R,G,B 각각의 보간 및 신호 변환 과정을 거친후 윤곽 보정을 하는 것이다.

CCD 영상 신호가 디지탈 클램핑부(41)로 입력되면 블랙 레벨의 신호를 검출하여 이 신호를 이용하여 CCD 출력 신호를 클램핑한다.

그리고 화이트 밸런스 조정부(42)에서 클램핑된 R,G,B 신호에 각각의 이득값을 곱하여 화이트 밸런스를 조정을 하고 화이트 밸런스 조정이 이루어진 신호는 입력 신호의 크기에 정비례한 크기로 화면에 디스플레이되는 동작에서 2차 함수 형태로 나타나는 왜곡을 없애기 위하여 감마 보정을 한다.

그리고 이와 같이 감마 보정이 끝나면 보간 블록(44)에서 각각의 R,G,B 화소의 주변 화소의 데이터값을 이용하여 데이터 보간(data interpolation)을 하고 영상 신호 변환/이득 제어부(45)에서 4:4:4의 R,G,B 신호를 4:2:2의 Y,Cr,Cb의 휘도/색신호로 변환하여 데이터량을 반으로 줄인다.

그리고 영상 신호 변환/이득 제어부(45)에서 출력되는 휘도 신호(Y)의 윤곽을 보정한다.

윤곽 보정은 다음과 같이 이루어진다.

CCD 출력 신호의 배열이,

R G R G R G R G R G .....

G B G B G B G B G B .....

R G R G R G R G R G .....

G B G B G B G B G B .....인 경우에 색/휘도 신호 변환은 다음과 같이 이루어진다.

(-2) (-1) (0) (1) (2) → R, G, B

(-4)(-3)(-2)(-1)(0)(1)(2)(3)(4) → Y

그리고 윤곽 보상(Aperture Compensation)방법을 사용하여 수평,수직 엣지를 추출하여 더한 다음 이를 원래의 신호에 더하여 다음과 같은 윤곽 보정식을 구한다.

H1(Z) = (1-Z^-1)/2 + (1-Z⁺¹)/2

H2(Z) = (1-Z^-2)/2 + (1-Z⁺²)/2

윤곽 보정에서 저휘도 보상은 엣지 신호의 저휘도 부분을 크게하고, 고휘도 부분은 작게하는 엣지 리미팅(Edge Limiting)화하여 어두운곳과 밝은곳의 복합 촬영시 윤곽 보상 레벨이 효율적으로 유지되도록 한다.

이와 같은 본 발명에 따른 고체촬상소자의 영상신호 처리 장치는 다음과 같은 효과가 있다.

색 변환을 하여 휘도 신호(Y)만을 이용하여 윤곽 보정을 하므로 윤곽 보정 주파수가 상대적으로 2배 이상 높아 화질 향상 효과가 크다.

또한, 색 변환한후에 윤곽 보정을하여 색의 R,G,B 비율이 윤곽 보정에 따라 달라지지 않고, 휘도 신호를 이용하여 윤곽 보정을 수행하므로 윤곽 보정 회로가 단순화된다.

Claims

CCD 영상 신호에서 블랙 레벨의 신호를 검출하여 이 신호에서 CCD의 최초 출력 신호를 빼주는 디지탈 클램핑 과정을 수행하는 디지탈 클램핑부와,

디지탈 클램핑된 신호를 받아 화이트 밸런스를 조정하는 화이트 밸런스 조정부와,

화이트 조정이 이루어진 신호를 감마 보정하여 디스플레이시의 왜곡 현상을 줄이는 감마 보정부와,

감마 보정된 R,G,B 각각의 화소 정보를 주변화소를 이용하여 보간하는 보간 블록과,

데이터 보간된 R,G,B 신호를 변환/이득 제어하여 휘도 신호(Y)와 색 신호(Cr,Cb)의 변환 신호를 출력하는 영상 신호 변환/이득 제어부와,

상기 휘도 신호(Y)의 윤곽을 보정하여 출력하는 윤곽 보정부를 포함하고 구성되어 영상 신호의 윤곽 보정을 영상 신호 변환/이득 제어가 이루어진 상태에서 휘도 신호를 이용하여 진행하는 것을 특징으로 하는 고체촬상소자의 영상신호 처리 장치.
제 1 항에 있어서, 디지탈 클램핑부는 클램핑을 위한 신호를 검출된 블랙 레벨의 신호를 평균하여 구하거나 강제적으로 임의의값으로 가변하는 것을 특징으로 하는 고체촬상소자의 영상신호 처리 장치.
제 1 항에 있어서, 데이터 보간(data interpolation)을 한후 영상 신호 변환/이득 제어부에서 4:4:4의 R,G,B 신호를 4:2:2의 Y,Cr,Cb의 휘도/색신호로 변환하여 데이터량을 반으로 줄이는 것을 특징으로 하는 고체촬상소자의 영상신호 처리 장치.
제 1 항에 있어서, 윤곽 보정부는 윤곽 보상(Aperture Compensation)방법을 사용하여 수평,수직 엣지를 추출하여 더한 다음 이를 원래의 신호에 더하여,

H1(Z) = (1-Z^-1)/2 + (1-Z⁺¹)/2

H2(Z) = (1-Z^-2)/2 + (1-Z⁺²)/2의 윤곽 보정식을 구하여 휘도 신호를 이용하여 윤곽 보정을 하는 것을 특징으로 하는 고체촬상소자의 영상신호 처리 장치.