KR100417876B1 - 이미지 센서의 화질개선장치 - Google Patents

Abstract

본 발명은 CMOS 이미지 센서의 영상을 처리하는 DSP인 ISP(Image Sensor Processor)의 컬러 보간부 앞단에 사람이 인지할 수 있는 색상 주파수 영역의 디지털 필터를 설계하여 화질을 개선할 수 있도록 하는 이미지 센서의 화질개선장치를 제공한다.

이러한 본 발명은 CMOS 이미지 센서에서 출력되는 베이어 데이터를 처리하여 R,G,B 픽셀 데이터를 만들어내는 컬러 보간부와; 색 신호 보정을 위한 컬러 보정부와; 빛의 명암도에 비례하는 입력신호를 만들어내는 감마 보정부 및 AEC부를 구비하는 이미지 센서의 신호처리장치에 있어서, 상기 CMOS 이미지 센서와 컬러 보간부 의 사이에, 상기 CMOS 이미지 센서의 출력 중 사람의 색상인지 주파수 영역을 필터링하여 사람의 색상인지 영역을 벗어나는 주파수 노이즈를 제거하는 3차원 FIR 필터로 구성된 디지털 필터가 더 구비되되, 상기 디지털 필터는 리플을 제거하기 위해 차단영역에서의 텀을 두어 근사화하는 근사화 이론을 적용하여 설계되는 것을 특징으로 한다.

Description

이미지 센서의 화질개선장치{IMAGE IMPROVING APPARATUS OF IMAGE SENSOR}

본 발명은 이미지 센서에 관한 것으로, 특히 CMOS 이미지 센서의 영상을 처리하는 DSP인 ISP(Image Sensor Processor)의 컬러 보간부 앞단에 사람이 인지할 수 있는 색상 주파수 영역의 디지털 필터를 설계하여 화질을 개선할 수 있도록 하는 이미지 센서의 화질개선장치에 관한 것이다.

영상기기의 급속적인 발전으로 현시대는 DSC(Digital Still Camera), PC 카메라 등등의 여러 가지의 영상 미디어 시스템들이 개발되어지고 있다.

이러한 영상기기 중 핵심 부품인 CMOS 이미지 센서의 개발은 국내뿐만 아니라 세계의 선진기업에서 활발이 개발되어지고 있다.

CMOS 이미지 센서는 CCD에 비하여 가격의 절감과 저전력소비 등 여러 면에서 CCD에 비해 장점을 가지며, 이러한 이유로 많은 영상기기의 제품에 렌즈로 CMOS 이미지 센서가 채택되고 있다.

그러나 CMOS 이미지 센서는 CCD에 비하여 영상 품질이 떨어지는 단점이 있다. 이러한 이유로 디지털 이미지 향상을 위하여, CMOS 이미지 센서의 영상을 처리하는 DSP인 ISP는 CMOS 이미지 센서의 이미지 품질을 개선하기 위해 여러 방식의 형태로 설계되어진다.

도 1은 종래의 ISP의 블록 구성도를 도시한 것으로, ISP는 크게 CMOS 이미지 센서(10)에서 출력되는 베이어 데이터(Bayer Data)를 처리하는 컬러 보간(Color Interpolation)부(20), 색 신호 보정을 위한 컬러 보정(Color Correction)부(30), 감마 보정(Gamma Correction)부(40), AEC(Automatic Exposure Control)부(50)로 구성된다.

상기 컬러 보간부(20)는 CMOS 이미지 센서(10)에서 출력되는 베이어 데이터로부터 R,G,B 픽셀 데이터를 만들어 내고, 컬러 보정부(30)는 컬러 품질을 향상, 조정하며, 감마 보정부(40)는 빛의 명암도(Intensity)에 비례하는 입력 신호를 만들어 내며, 마지막으로 이러한 신호를 AEC부(50)에서 컨트롤하여 조리개를 자동으로 조정하도록 되어 있다.

그러나 이러한 종래의 ISP는 사람 색인지 대역뿐만 아니라, CMOS 이미지 센서에서 출력되는 모든 신호가 처리되므로, 사람 색인지 대역 외의 신호는 노이즈로 나타나게 되어 화질을 저하시키게 되는 단점이 있었다.

따라서 본 발명은 이러한 점을 감안한 것으로, 본 발명은 컬러 보간부 앞단에 사람 색인지 대역 디지털 필터를 제시함으로써 영상 데이터 추출시 정확한 데이터 보정값을 가지도록 함과 더불어 필터의 설계방식으로는 근사화 이론과 이러한 방식의 속도를 높이기 위하여 룩-업 테이블로 계수 처리하여 색상 필터의 필터링 기술을 안정화시켜 화질을 개선할 수 있도록 한 이미지 센서의 화질개선장치를 제공함에 그 목적이 있다.

도 1은 종래의 이미지 센서의 ISP의 블록 구성도.

도 2는 본 발명에 따른 이미지 센서의 화질개선장치의 개념 구성도.

도 3은 삼원색의 색 분포도.

도 4는 본 발명의 디지털 필터의 상세 구성도.

도 5는 본 발명에 따른 디지털 필터의 대역 응답 특성도.

도 6은 본 발명에 따른 디지털 필터의 주파수 응답 특성도.

<도면의 주요부분에 대한 부호의 설명>

10 : CMOS 이미지 센서 20 : 컬러 보간부

30 : 컬러 보정부 40 : 감마 보정부

50 : AEC부 60 : 디지털 필터

이러한 목적을 달성하기 위한 본 발명에 따른 이미지 센서의 화질개선장치는, CMOS 이미지 센서에서 출력되는 베이어 데이터를 처리하여 R,G,B 픽셀 데이터를 만들어내는 컬러 보간부와; 색 신호 보정을 위한 컬러 보정부와; 빛의 명암도에 비례하는 입력신호를 만들어내는 감마 보정부 및 AEC부를 구비하는 이미지 센서의신호처리장치에 있어서, 상기 CMOS 이미지 센서와 컬러 보간부의 사이에, 상기 CMOS 이미지 센서의 출력 중 사람의 색상인지 주파수 영역을 필터링하여 사람의 색상인지 영역을 벗어나는 주파수 노이즈를 제거하는 3차원 FIR 필터로 구성된 디지털 필터가 더 구비됨을 특징으로 한다.

상기 디지털 필터는 리플을 제거하기 위해 차단영역에서의 텀을 두어 근사화하는 근사화 이론을 적용하여 설계되는 것을 특징으로 한다.

이하, 본 발명을 첨부된 도면을 참조로 하여 보다 상세히 설명한다.

도 2는 본 발명에 따른 이미지 센서의 화질개선장치의 개념 구성도를 도시한 것으로, 도 1의 일반적인 ISP의 컬러 보간부(20) 앞단에, 사람이 인지할 수 있는 색상 주파수 영역을 필터링하는 디지털 필터(60)가 추가 구성되며, 이에 따라 후술되는 바와 같이, 다른 신호의 간섭 및 잡음을 제거할 수 있게 된다.

도 3은 색 삼원색의 색 분포도를 나타낸 것이다.

도 3을 기준으로 사람 인지영역의 주파수 대역을 환산하면 다음과 같다.

λ= C/f, C(광속)=3 ×10⁸m/sec......(1)식

공식에 의하여, 추출된 주파수대역은 434THz ∼ 666THz이다. 추출된 주파수 대역을 시간 영역에서 주파수의 영역으로 환산하여 π로 변환하면

(F_CX×π)/F_{MAX ......}(2)식

F_CX: 차단주파수, F_MAX: 최대주파수

추출된 주파수를 (2)식에 대입하면,

(666×10¹²×π)/1332×10¹²= 1.570(0.5π)......(3)식

(434×10¹²×π)/1332×10¹²= 1.0236(0.33π)......(4)식의 값이 추출된다.

그러나 필터의 특성으로 차단영역이 급격하게 설계되어지면 리플이 많이 발생하는 양면성의 관계로 약간의 차단영역의 텀을 두어 근사화하는 방식으로 설계되어지며, 도 4는 본 발명에 따른 디지털 필터(60)의 상세 구성 블록도를 도시한 것으로, 본 발명의 디지털 필터(60)는 3차 FIR(Finite Impulse Response) 필터로 구성되어진다.

이에 도시한 바와 같이, 퓨리에 변환된 썸 값(SUM IN)을 쉬프트하는 역Z변환(Z^-1)부(61)와, 도시하지 않은 룩-업 테이블로부터 입력되는 계수(H1)와 CMOS 이미지 센서(10)로부터 입력되는 데이터 입력값(DATA IN)를 비교하는 비교기(COMP1)와, 상기 역Z변환부(61)의 출력과 비교기(COMP1)의 출력을 가산하는 가산기(ADD1)와, 상기 가산기(ADD1)의 출력을 쉬프트하는 역Z변환부(62)와, 상기 룩-업 테이블로부터 입력되는 계수(H2)와 CMOS 이미지 센서(10)로부터 입력되는 데이터 입력값(DATA IN)를 비교하는 비교기(COMP2)와, 상기 역Z변환부(62)의 출력과 비교기(COMP2)의 출력을 가산하는 가산기(ADD2)와, 상기 가산기(ADD2)의 출력을 쉬프트하여 썸 값을 출력하는 역Z변환부(63)로 구성된다.

상기와 같이 구성된 디지털 필터(60)는 역Z변환부(61)에서 퓨리에 변환된 썸 값(SUM IN)이 쉬프트되며, 리플을 제거하기 위해 근사화 이론에 의해 얻어진 계수값이 메모리에 테이블화 되어 있는 룩-업 테이블로부터 입력되는 계수(H1)와 CMOS 이미지 센서(10)로부터 입력되는 데이터 입력값(DATA IN)이 비교기(COMP1)에서 비교된 후,가산기(ADD1)에서 가산되며, 가산된 데이터는 역Z변환부(62)에서 다시 쉬프트된다.

그리고 상기 룩-업 테이블로부터 입력되는 계수(H2)와 CMOS 이미지 센서(10)로부터 입력되는 데이터 입력값(DATA IN)이 비교기(COMP2)에서 비교된 후, 가산기(ADD2)에서 상기 역Z변환부(62)의 출력과 가산되며, 가산기(ADD2)의 출력은 다시 역Z변환부(63)를 통해 쉬프트되어 최종적인 썸 값(SUM OUT)으로 출력된다.

한편, 상기 필터 계수(H1),(H2)는 H(W) = H(X)e^jnx의 리메즈알고리즘에 의해 구해진다.

이와 같은 디지털 필터(60)는 사람 색인지 영역인 0.5π∼0.33π 대역만이 필터링될 수 있도록 상기 계수값 및 썸 값이 입력되도록 설계되는 것으로, 리플을 제거하기 위해 근사화 이론에 의해 얻어진 계수값들을 룩-업 테이블 형태로 메모리에 저장시켜 놓고, 이 룩-업 테이블의 필터 계수를 이용하므로 데이터 처리 속도를 높일 수 있게 되며, 도 5와 같은 대역 응답 및 도 6과 같은 주파수 응답 특성을 갖도록 설계된다.

즉, 사람의 색인지 영역의 대역이 상기 (3)식 및 (4)식과 같음에 따라 도 5와 같은 대역 응답 특성을 갖도록 설계되므로 사람의 색인지 범위를 넘어서는 주파수 영역을 차단되고, 사람의 색상인지 주파수 영역만이 필터링되게 된다. 특히, 근사화 이론에 의해 필터 계수를 얻어 룩-업 테이블 형태로 메모리에 저장시켜 사용하므로 리플 제거 및 처리 속도를 향상시킬 수 있게 된다.

본 발명은 상기에 기술된 실시 예에 의해 한정되지 않고, 당업자들에 의해 다양한 변형 및 변경을 가져올 수 있으며, 이는 첨부된 청구항에서 정의되는 본 발명의 취지와 범위에 포함된다.

이상에서 살펴본 바와 같이, 본 발명은 사람의 색상인지 주파수영역을 필터링하여 범위를 넘어서는 주파수영역을 차단하고, 고주파 노이즈를 없앰으로써 색상저하 및 침해를 없앴으며, 또한 근사화 이론을 추가하여 필터 특성으로 인한 리플을 줄일 수 있었으며, 사람인지 영역에서 넘어서는 주파수 노이즈를 제거하여 컬러 보정 및 감마 보정시 추출되는 데이터의 오차를 줄일 수 있어 화질을 개선할 수 있게 된다.

Claims (4)

1. CMOS 이미지 센서에서 출력되는 베이어 데이터를 처리하여 R,G,B 픽셀 데이터를 만들어내는 컬러 보간부와; 색 신호 보정을 위한 컬러 보정부와; 빛의 명암도에 비례하는 입력신호를 만들어내는 감마 보정부 및 AEC부를 구비하는 이미지 센서의 신호처리장치에 있어서,

   상기 CMOS 이미지 센서와 컬러 보간부의 사이에, 상기 CMOS 이미지 센서의 출력 중 사람의 색상인지 주파수 영역을 필터링하여 사람의 색상인지 영역을 벗어나는 주파수 노이즈를 제거하는 디지털 필터가 더 구비됨을 특징으로 하는 이미지 센서의 화질개선장치.
2. 제 1 항에 있어서, 상기 디지털 필터는

   3차 FIR 필터로 구성되는 것을 특징으로 하는 이미지 센서의 화질개선장치.
3. 제 2 항에 있어서, 상기 디지털 필터는

   리플을 제거하기 위해 차단영역에서의 텀을 두어 근사화하는 근사화 이론을 적용하여 설계되는 것을 특징으로 하는 이미지 센서의 화질개선장치.
4. 제 3 항에 있어서, 상기 디지털 필터는

   퓨리에 변환되어 입력되는 썸 값을 쉬프트하는 제1 역Z변환부와;

   상기 근사화 이론을 적용하여 얻어진 계수값이 테이블화 되어 있는 룩-업 테이블로부터 입력되는 제1 계수값과 CMOS 이미지 센서로부터 입력되는 데이터 입력값을 비교하는 제1 비교기와;

   상기 제1 역Z변환부의 출력과 제1 비교기의 출력을 가산하는 제1 가산기와;

   상기 제1 가산기의 출력을 쉬프트하는 제2 역Z변환부와;

   상기 룩-업 테이블로부터 입력되는 제2 계수값과 CMOS 이미지 센서로부터 입력되는 데이터 입력값을 비교하는 제2 비교기와;

   상기 제2 역Z변환부의 출력과 제2 비교기의 출력을 가산하는 제2 가산기와;

   상기 제2 가산기의 출력을 쉬프트하여 썸 값을 출력하는 제3 역Z변환부로 구성됨을 특징으로 하는 이미지 센서의 화질개선장치.