KR100934730B1 - 적응적 노이즈 제거 장치 및 상기 장치를 이용한 이미지센서 - Google Patents

적응적 노이즈 제거 장치 및 상기 장치를 이용한 이미지센서 Download PDF

Info

Publication number
KR100934730B1
KR100934730B1 KR1020080007255A KR20080007255A KR100934730B1 KR 100934730 B1 KR100934730 B1 KR 100934730B1 KR 1020080007255 A KR1020080007255 A KR 1020080007255A KR 20080007255 A KR20080007255 A KR 20080007255A KR 100934730 B1 KR100934730 B1 KR 100934730B1
Authority
KR
South Korea
Prior art keywords
filter
image
unit
image data
noise
Prior art date
Application number
KR1020080007255A
Other languages
English (en)
Other versions
KR20090081273A (ko
Inventor
한찬호
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020080007255A priority Critical patent/KR100934730B1/ko
Publication of KR20090081273A publication Critical patent/KR20090081273A/ko
Application granted granted Critical
Publication of KR100934730B1 publication Critical patent/KR100934730B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 적응적 노이즈 제거 장치에 관한 것이다. 상기 적응적 노이즈 제거 장치는, n개의 필터들을 구비하여 상기 입력된 영상 데이터의 노이즈를 제거하여 출력하는 다단계 노이즈 제거 필터, 다수 개의 조도 레벨들에 대하여 사전에 설정된 필터 계수들을 저장한 필터 계수 데이터베이스, 상기 필터 계수 데이터베이스로부터 필터 계수들을 판독하여 상기 다단계 노이즈 제거 필터로 제공하는 필터 계수 선택부를 구비하고, 상기 다단계 노이즈 제거 필터는 상기 필터 계수 선택부로부터 제공되는 필터 계수들을 내부의 필터들에게 적용하여 동작한다.
상기 필터 계수 선택부는 이미지 센서로부터 노광 시간 및 신호 이득에 대한 정보를 제공받고, 상기 노광 시간 및 신호 이득을 이용하여 사전에 설정된 필터 계수 선택 알고리즘에 따라 조도 레벨을 선택하고, 선택된 조도 레벨에 따라 상기 필터 계수 데이터베이스로부터 필터 계수들을 판독하고, 상기 다단계 노이즈 제거 필터로 상기 필터 계수들을 제공한다.
본 발명에 의하여, 피사체 및 주변 밝기에 따라 노이즈 제거 필터의 특성을 결정하여 노이즈를 제거하여 선명한 영상을 제공할 수 있도록 한다.
노이즈, 자동 노광 시간, 신호 이득, CCD

Description

적응적 노이즈 제거 장치 및 상기 장치를 이용한 이미지 센서{APPARATUS FOR ADAPTIVE NOISE REDUCTION AND IMAGE SENSOR USING THE APPARATUS}
본 발명은 이미지 센서의 적응적 노이즈 제거 장치에 관한 것으로서, 더욱 구체적으로는 이미지 센서에 의해 촬상된 이미지에 포함된 노이즈를 효율적으로 제거하여 선명한 영상을 획득할 수 있도록 하는 적응적 노이즈 제거 장치 및 상기 장치를 장착하여 선명한 영상을 획득하는 이미지 센서에 관한 것이다.
최근 들어 영상기기의 급속한 발전으로 인해 이미지 센서에 대한 개발이 가속화되고 있다. 상기 이미지 센서는 빛에 반응하는 반도체의 성질을 이용하여 이미지를 찍어내는 장치를 통칭한다. 통상적으로 자연계에 존재하는 피사체의 각 부분은 빛의 밝기 및 파장 등이 서로 다르다. 따라서 상기 이미지 센서는 렌즈를 통해 빛의 밝기 및 파장 등에 의해 얻어진 빛 에너지(광자)를 전기적인 신호(전하)로 변환하는 기능을 수행한다. 이러한 이미지 센서의 대표적인 것으로, 전하결합소자(Charge Coupled Device : 이하 "CCD"라 칭함) 이미지 센서와 상보성 금속 산화막 반도체(Complimentary Metal Oxide Semiconductor : 이하 "CMOS"라 칭함) 이미지 센서가 있다. 상기 두 종류의 이미지 센서들은 주사된 빛에서 그 강약에 따른 전하를 생성하는 광 검출기(Photo Detector)와, 그 전하를 외부로 전달하는 회로로 구성된다. 이러한 구성을 가지는 상기 두 종류의 센서들은 광 검출기를 통해 전하를 생성하는데 까지는 같은 과정을 거치지만, 그 이후에 이루어지는 전하 처리 방식에 큰 차이가 있다.
도 1은 일반적인 CMOS 이미지 센서의 화상 신호를 처리하는 과정을 개략적으로 도시한 블록도이다. 도 1을 참조하면, 이미지 센서(100)는 광학부(110), 픽셀 배열부(112) 및 이미지 처리부(114)를 구비한다. 상기 광학부(110)는 렌즈를 통해 피사체를 촬상하고, 상기 촬상에 의해 얻어진 빛 에너지(광자)를 출력한다. 상기 픽셀 배열부(Pixel Array)(112)는 수십만에서 수백만개의 화소(pixel)들로 구성되며, 상기 광학부(110)의 렌즈를 통해 입사되는 광 신호를 아날로그의 전기적인 신호로 변환하여 출력한다. 이때 상기 픽셀 배열부(112)는 이미지 처리부(114)로부터 제공되는 타이밍 신호(timing signal)와 센서 제어 신호(sensor control signal)에 의해 동작한다.
상기 이미지 처리부(114)로부터 출력되는 영상신호는 표시부를 통해 표시되거나 저장부에 기록된다. 상기 표시부는 다양한 표시창(CRT, LCD 등)과, 상기 표시 창을 통해 이미지를 표시하기 위해 상기 영상신호를 처리하기 위한 구성을 포함한다. 상기 저장부에 저장된 영상신호는 추후에 다양하게 응용될 수 있다. 한편 상기 도면에는 도시되고 있지 않으나 상기 이미지 처리부(114)로부터 출력되는 영상신호 또는 상기 저장부에 저장된 영상신호는 프린터를 통한 인쇄가 가능하다.
도 2는 도 1의 이미지 센서의 이미지 처리부(114)에 대한 일반적인 구조를 도시한 블록도이다. 도 2를 참조하면, 이미지 처리부(114)는 신호가 입력되는 영상신호 조정부(210), 보간/픽셀 조정부(212), 컬러 보정부(214), 감마 보정부(216), 공간 변환부(218), 자동 화이트밸런스 조정부(220), 자동 노광 조정부(222) 및 타이밍생성/센서제어부(224)를 구비한다.
상기 영상신호 조정부(210)는 픽셀 배열부로부터의 영상신호와 함께 상기 영상신호를 조정하기 위한 백색 제어신호 및 이득 제어 신호를 입력으로 한다. 또한 이 부분은 디지털로 구성되면 스케일 해상도 (gray-scale resolution) 감쇄시키기 때문에 아날로그로 구성됨을 원칙으로 한다. 상기 백색 제어 신호는 R 신호와 B 신호의 이득 값을 포함한다. 상기 R 신호와 상기 B 신호의 이득 값은 수동으로 조정할 수 있으나 본 발명에서는 자동으로 조정됨을 가정한다. 상기 R 신호와 B 신호의 이득 값은 백색 보정을 위해 사용된다.
상기 영상신호 조정부(210)는 상기 이득 및 백색 제어 신호에 의해 상기 영상신호에 대한 이득 보정뿐만 아니라 백색 보정 및 블랙 레벨 조정된 아날로그 신호를 A/D 변환을 통하여 디지털 영상 데이터로 변환된다. 그 자세한 보정 및 조정 내용은 도 3의 설명에 기술하기로 한다.
상기 영상신호 조정부(210)로부터 출력되는 디지털 영상 데이터는 보간/픽셀 조정부(212)로 제공된다. 상기 보간/픽셀 조정부(212)는 상기 영상신호의 불량 화소(dead pixel)에 대한 보간(Interpolation)을 수행한다.
상기 보간/픽셀 조정부(212)로부터의 영상 데이터는 컬러 보정부(214)로 제공된다. 상기 컬러 보정부(214)는 상기 영상 데이터를 표준 영상데이터로 보정한 다. 즉 입력되는 R, G 및 B 데이터를 표준 R(sR), 표준 G(sG) 및 표준 B(sB) 데이터로 보정한다.
상기 표준 영상신호는 감마 보정부(216)로 제공된다. 통상적으로 감마(gamma)는 콘트라스트 상태를 나타내는 척도로 감마 보정부(216)는 CRT 표시장치의 비선형적인 특성을 고려하여 최종 영상 신호가 선형성을 가질 수 있도록 상기 표준 영상 데이터에 대한 감마 보정을 수행한다.
상기 감마 보정된 영상신호(sR', sG', sB')는 공간 변환부(218)로 제공된다. 공간 변환부(216)는 감마 보정된 영상 데이터로부터 휘도 성분(Y)과 색도 성분(Cb, Cr)의 데이터로 변환하여 출력된다. 또한 상기 공간 변환부(218)는 초당 요구되는 프레임 수를 출력하기 위해 출력 영상 데이터 프레임 형식에 따라 영상 데이터를 재배열하고 이를 출력한다. 상기 Y 데이터는 출력 영상 데이터의 휘도 성분에 해당하며, 상기 Cb, Cr 신호는 출력 영상 데이터의 색 성분에 해당한다. 따라서 상기 Cb, Cr 신호는 자동 화이트밸런스(Auto-white balance) 조정부(220)로 제공되며, 상기 Y 신호는 자동 노광 (Auto-Exposure) 조정부 (222)로 제공된다.
상기 자동 노광 조정부(222)는 렌즈를 통해 들어오는 빛의 양을 상기 Y 신호의 평균값을 사용하여 감지한다. 상기 빛의 양 즉 Y 데이터의 평균값에 따라 노광 시간(Exposure Time)을 조정한다. 예컨대 빛의 양이 작아 출력 이미지가 전반적으로 어두운 경우에는 노광 시간을 증가시키고, 반대로 빛의 양이 많아 포화(saturation)되는 이미지가 출력되는 경우에는 노광 시간을 줄이는 조정을 행한다.
상기 노광 시간은 타이밍 생성 및 센서 제어부(224)로 입력된다. 상기 타이밍생성/센서 제어부(224)는 상기 노광 시간뿐만 아니라 마스터 클럭을 입력으로 한다. 상기 타이밍 생성 및 센서 제어부(224)는 상기 노광 시간과 마스터 클럭에 의해 타이밍 신호 및 센서 제어 신호를 생성한다.
상기 자동 화이트 밸런스 조정부(220)는 상기 Cb, Cr 신호에 의해 영상신호의 화이트 밸런스를 위한 이득 값을 조정한다. 이때 상기 이득 값은 G 신호를 기준으로 R 신호를 보정하는 R 이득 값과 B 신호를 보정하는 B 이득 값으로 구성된다. 한편 상기 이득 값의 조정은 주변광의 색 온도를 고려하여 이루어진다.
도 3은 전술한 영상신호 조정부(210)의 일 실시형태에 대한 내부 구조를 개략적으로 도시한 블록도이다. 도 3을 참조하면, 상기 영상신호 조정부(210)는 이득부(310), 백색 조정부(312), 오프셋 조정부(314) 및 A/D 변환부(316)를 포함한다. 상기 이득부(310)는 자동 노광 조정부에 의해 노광시간 조정을 통하여 원하는 밝기의 영상을 획득할 수 없을 때, 입력되는 신호를 증폭도 Kg를 조정함으로써 원하는 밝기의 영상을 획득할 수 있도록 한다. 이 때, 영상 신호뿐만 아니라 전자회로에서 발생하는 노이즈 성분도 같이 증폭되기 때문에 노이즈 제거도 필수적이다.
또한, 상기 백색 조정부(312)는 KR, KB를 조정하여 원하는 색온도의 백색 영상을 얻을 수 있도록 한다. 이 때, G 신호는 휘도 Y 신호에 기여도가 가장 크며 색온도에 영향이 적기 때문에, G에 대한 이득 KG = 1 로 고정한다.
상기 오프셋 조정부(314)는 영상 신호의 최저 밝기에 대한 전압이 증폭에 의 해 올라감을 제거하는 부분으로, 입력 영상 신호의 최저 밝기를 흑색(black)으로 표현하고 이를 밝기 = 0 로 설정한다.
한편 전술한 바와 같은 구성을 갖는 CCD 및 CMOS 이미지센서를 사용하여 영상을 획득하는 과정에서, 피사체 및 주변 밝기에 따라 포토다이오드에 촬상되는 시간(Exposure Time, 이하 "노광 시간"이라 칭함)을 변화시킴으로써, 포토다이오드의 광/전변환에 의한 평균 전하량을 일정하게 한다. 예를 들어 피사체 및 주변 밝기가 밝을 경우에는 노광 시간을 줄이고, 반대로 피사체 및 주변 밝기가 어두울 경우에는 노광 시간을 늘림으로써, 포토다이오드에 충전되는 전하량을 일정하게 하도록 한다. 이를 자동 노출(auto-exposure) 기능이라 한다. 따라서 피사체 및 주변 밝기가 어두울수록 노광 시간이 증가한다.
그러나, 종래의 이미지 센서는 자동 노출 기능의 한계값보다 더 많은 노광시간이 필요할 경우, 전자회로적 증폭기능을 사용하여 획득 영상의 평균값을 일정하게 한다. 이 경우, 전자회로에서 발생하는 노이즈 성분도 같이 증폭되어 영상에 포함되므로, 획득 영상의 선명도(sharpness)가 저하되는 문제점이 발생한다. 이 경우, 영상에 포함된 노이즈 성분은 노광 시간 및 증폭도에 따라 각기 다르기 때문에, 획득 영상의 선명도가 항상 일정하지 않게 되는 문제점이 있다.
전술한 문제점을 해결하기 위한 본 발명의 목적은 카메라의 이미지 센서에 의해 획득된 영상에 포함된 노이즈를 효율적으로 제거하기 위하여, 피사체 및 주변 밝기에 따라 노이즈 제거 단계를 달리함으로써, 획득 영상의 선명도를 일정하게 유지하는 적응적 노이즈 제거 장치를 제공하는 것이다.
본 발명의 다른 목적은 상기 적응적 노이즈 제거 장치를 이용하여 선명한 영상을 출력하는 이미지 센서를 제공하는 것이다.
전술한 기술적 과제를 달성하기 위한 본 발명의 특징은 적응적 노이즈 제거 장치에 관한 것으로서, 상기 적응적 노이즈 제거 장치는,
영상을 구성하는 각 화소에 대한 영상 데이터가 입력되는 입력 단자;
사전에 설정된 갯수(n)의 필터들을 구비하여 상기 입력된 영상 데이터의 노이즈를 제거하여 출력하는 다단계 노이즈 제거 필터;
다수 개의 조도 레벨들에 대하여 사전에 설정된 필터 계수들을 저장한 필터 계수 데이터베이스;
이미지 센서로부터 노광 시간 및 신호 이득에 대한 정보를 제공받고, 상기 노광 시간 및 신호 이득을 이용하여 사전에 설정된 필터 계수 선택 알고리즘에 따라 조도 레벨을 선택하고, 선택된 조도 레벨에 따라 상기 필터 계수 데이터베이스로부터 필터 계수들을 판독하고, 상기 다단계 노이즈 제거 필터로 상기 필터 계수 들을 제공하는 필터 계수 선택부;
를 구비하고, 상기 다단계 노이즈 제거 필터는 상기 필터 계수 선택부로부터 제공되는 필터 계수들을 내부의 필터들에게 적용하여 동작한다.
전술한 특징을 갖는 적응적 노이즈 제거 장치의 상기 다단계 노이즈 제거 필터는
순차적으로 연결되는 n개의 시간지연기로 구성되는 모서리 처리부;
각각 필터와 시간지연기들로 구성되는 n 개의 단계 필터부들; 및
사전에 설정된 필터 선택 알고리즘에 따라 상기 모서리 처리부 및 상기 n개의 필터부들로부터 입력되는 영상 데이터 중 하나를 선택하여 출력하는 필터 선택부를 구비하고, 각 단계 필터부의 필터의 출력은 다음 단계 필터부의 필터로 입력되는 것을 특징으로 하며,
상기 필터 선택 알고리즘은,
(a) 상기 다단계 노이즈 제거 필터로 입력된 영상 데이터가 모서리 영역의 화소인지 여부를 확인하는 단계;
(b) 만약 입력된 영상 데이터가 모서리 영역의 화소인 경우 상기 모서리 처리부로부터 입력된 영상 데이터를 선택하여 출력하는 단계;
(c) 만약 입력된 영상 데이터가 모서리 영역의 화소가 아닌 경우 해당 화소에 대한 영역 평균 밝기를 구하고, (n-1) 개의 밝기 기준값을 사전에 설정하는 단계;
(d) 상기 영역 평균 밝기와 상기 n-1 개의 밝기 기준값들과 순차적으로 비교 하는 단계;
(e) 상기 비교 결과에 따라 n 개의 단계 필터부 중 하나로부터 입력된 영상 데이터를 선택하여 출력하는 단계를 구비한다.
전술한 특징을 갖는 적응적 노이즈 제거 장치의 상기 필터 계수 선택부의 필터 계수 선택 알고리즘은
(a) 만약 상기 자동 노광 시간이 사전에 설정된 기준 노광 시간값보다 작은 경우 해당 영상을 고조도 영상으로 판단하고, 상기 필터 계수 데이터베이스로부터 고조도 신호 처리용 필터 계수를 판독하는 단계;
(b) 만약 신호 이득이 사전에 설정된 기준 신호 이득값보다 작은 경우 해당 영상을 중조도 영상으로 판단하고, 상기 필터 계수 데이터베이스로부터 중조도 신호 처리용 필터 계수를 판독하는 단계;
(c) 만약 신호 이득이 상기 기준 신호 이득값보다 작지 않은 경우 해당 영상을 저조도 영상으로 판단하고, 상기 필터 계수 데이터베이스로부터 저조도 신호 처리용 필터 계수를 판독하는 단계;
(d) 상기 판독된 필터 계수들을 다단계 노이즈 제거 필터로 출력하는 단계;를 구비하는 것이 바람직하다.
전술한 특징을 갖는 적응적 노이즈 제거 장치의 상기 신호 이득은 아날로그 신호 이득 및 디지털 신호 이득으로 이루어지며, 상기 필터 계수 선택부의 필터 계수 선택 알고리즘은
(a) 만약 상기 자동 노광 시간이 사전에 설정된 기준 노광 시간값보다 작은 경우 해당 영상을 고조도 영상으로 판단하고, 상기 필터 계수 데이터베이스로부터 고조도 신호 처리용 필터 계수를 판독하는 단계;
(b) 만약 디지털 신호 이득이 사전에 설정된 기준 디지털 신호 이득값보다 작은 경우 해당 영상을 중조도 영상으로 판단하고, 상기 필터 계수 데이터베이스로부터 중조도 신호 처리용 필터 계수를 판독하는 단계;
(c) 만약 아날로그 신호 이득이 사전에 설정된 기준 아날로그 신호 이득값보다 작은 경우 해당 영상을 저조도 영상으로 판단하고, 상기 필터 계수 데이터베이스로부터 저조도 신호 처리용 필터계수를 판독하는 단계;
(d) 만약 상기 아날로그 신호 이득이 상기 기준 아날로그 신호 이득값보다 작지 않은 경우 해당 영상을 최저조도 영상으로 판단하고, 상기 필터 계수 데이터베이스로부터 최저조도 신호 처리용 필터 계수를 판독하는 단계;
(e) 상기 판독된 필터 계수들을 다단계 노이즈 제거 필터로 출력하는 단계;를 구비한다.
전술한 특징을 갖는 상기 다단계 노이즈 제거 필터는 3단계인 것을 특징으로 하며, 상기 다단계 노이즈 제거 필터는
순차적으로 연결되는 3개의 시간지연기로 구성되는 모서리 처리부;
각각 필터와 시간지연기들로 구성되는 제1, 제2 및 제3 단계 필터부들; 및
사전에 설정된 필터 선택 알고리즘에 따라 상기 모서리 처리부 및 상기 제1, 제2 및 제3 단계 필터부들로부터 입력되는 영상 데이터 중 하나를 선택하여 출력하는 필터 선택부를 구비하고,
제1 단계 필터부의 필터의 출력은 제2 단계 필터부의 필터로 입력되고, 제2단계 필터부의 필터의 출력은 제3 단계 필터부의 필터로 입력되며,
상기 모서리 처리부, 제1, 제2 및 제3 단계 필터부의 출력은 상기 필터 선택부로 동시에 입력되는 것이 바람직하다.
본 발명에 따른 적응적 노이즈 제거 장치에서는 영상의 선명도 향상을 위해 영상 데이터에 포함되어 있는 노이즈를 제거하고, 기존의 이미지 처리 순서를 변경한다. 즉 본 발명에서는 노광 시간, 신호 이득(Gain), 및 이의 상관관계를 이용하여 영상 데이터가 가지는 노이즈 성분 및 특성을 분석하고, 그 결과에 따라 이를 효율적으로 제거한다.
디지털 기술이 발달함에 따라, A/D 변환 후에 블랙 레벨(black level) 조정 및 백색 조정이 이루어지고 있으나, 이는 회색 스케일 해상도 (gray scale resolution)를 감쇄시키는 원인이 된다. 따라서 본 발명에서는 A/D 변환 이전에 해당 영상에 대하여 블랙 레벨(black level) 조정 및 백색 조정함으로써 그레이 스케일 해상력 향상을 기한다.
본 발명에서는 피사체 및 주변 밝기에 따라 해당 영상을 다수 개의 구간으로 구분하고, 각 구간별로 노광시간, 신호 이득 값, 상관관계, SNR 및 노이즈 특성을 조사한다. 이러한 특성들에 따라 각 구간별로 효율적인 노이즈 제거 필터를 적용하는 적응적 노이즈 제거 방법을 사용함으로써, 획득된 영상의 해상도 및 선명도를 향상시킨다. 그 결과 해당 영상에 대한 최적의 화질을 획득할 수 있을 뿐만 아니 라, 각 구간별로 일정한 화질을 유지할 수 있도록 한다. 또한, 본 발명은 피사체 및 주변 밝기에 따라 해당 영상을 일정 갯수의 구간으로 구분하고, 각 구간 별로 다중 노이즈 제거 필터를 사용한 적응적 노이즈 제거 방법을 적용함으로써, 각 구간별로 일정한 화질을 유지할 수 있는 효과가 있다.
본 발명은 이미지 센서를 사용하여 영상을 획득하는 과정에서 발생하는 노이즈를 제거하기 위하여 노광 시간, 신호 이득(Gain), 및 이의 상관관계를 이용하여 이미지 데이터가 가지는 노이즈 성분 및 특성을 분석하고 이를 효율적으로 제거하는 방법을 제안하였으며, 영상의 해상도 및 선명도를 향상시키는 효과가 있다.
또한 본 발명의 장치 및 방법은 기존 이미지 센서를 이용한 영상 처리 장치의 이미지 처리부의 보간/픽셀 조정부, 컬러 보정부, 감마 보정부, 및 공간 변화부의 앞뒤 어느 곳에서도 적용될 수 있기 때문에, 실제의 구현에 있어 설계의 호환성 및 유연성을 가질 수 있는 효과가 있다.
본 발명 중 이득 제어부, 자동 백색 조정부 및 오프셋 제어부의 위치를 A/D 변환부의 이전으로 이동하여 아날로그 영역에서 처리함으로써, 디지털 영역에서의 동일 처리로 발생하는 그레이 스케일 해상력 (gray-scale resolution) 감쇄를 방지하여 획득된 영상의 해상도를 높이는 효과가 있다.
본 발명의 중간 산물인 이미지 센서 제어 및 분석 시스템은 본 발명이 포함된 이미지 센서뿐만 아니라 기존의 이미지 센서의 해상도, 선명도, 및 색 재현성 등을 측정할 수 있는 기능이 있기 때문에 이미지 센서 성능 평가 및 이미지 센서를 이용한 제품의 화질 평가에 활용할 수 있다.
본 발명을 통하여 이미지 센서에서 발생하는 노이즈를 효율적으로 제거함으로써 선명한 화질을 획득할 수 있기 때문에, 특히 노이즈가 심한 소형 이미지 센서의 이미지 처리부에 적합하며, 이를 이용한 다양한 형태의 휴대용 단말기의 화질 향상 및 양산에 효과가 있다.
< 제1 실시예 >
이하, 첨부한 도면을 참조하여 본 발명의 제1 실시예에 따른 적응적 노이즈 제거 장치의 구성 및 동작을 상세히 설명한다. 본 명세서에서는 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분만이 설명되며 그 외의 부분에 대한 설명은 본 발명의 요지를 흐트리지 않기 위하여 생략한다.
이하, 첨부된 도면을 참조하여, 본 발명의 제1 실시예에 따른 적응적 노이즈 제거 장치에 대하여 상세히 설명한다. 본 발명에 따른 적응적 노이즈 제거 장치는 도 2에 도시된 이미지 처리부의 입력단 또는 출력단에 연결되거나, 이미지 처리부의 각 구성의 출력단(도 2의 ① ~ ⑤) 중 하나에 선택적으로 삽입될 수 있다.
도 10은 본 발명의 제1 실시예에 따른 적응적 노이즈 제거 장치(50)를 도시한 블록도이다. 도 10을 참조하면, 본 발명에 따른 적응적 노이즈 제거 장치(50)는 다단계 노이즈 제거 필터(52), 필터 계수 데이터베이스(54), 필터 계수 선택부(56)를 구비한다.
상기 다단계 노이즈 제거 필터(52)는 이미지 센서로부터 영상 데이터가 입력되며, 입력된 영상 데이터로부터 노이즈를 제거한 후 출력하게 된다. 도 11은 본 발명에 따른 다단계 노이즈 제거 필터의 내부 구성을 개략적으로 도시한 블록도이다. 본 실시예에 따른 다단계 노이즈 제거 필터는 노이즈 제거 성능 및 설계의 복잡성을 모두 고려하여 최적화시킨 3단계로 구성되는 필터를 예시적으로 설명하고 있으나, 본 발명의 권리 범위를 여기에 한정하는 것은 아니다. 즉, 시스템에 따라 요구되는 노이즈 제거 성능이나 설계의 복잡성이나 제조 원가를 고려하여 필터의 단계들을 더 증가시키거나 감소시킬 수 있게 된다.
도 11을 참조하면, 본 발명에 따른 다단계 노이즈 제거 필터(52)는 모서리 처리부(500), 제1 단계 필터부(510), 제2 단계 필터부(520), 제3 단계 필터부(530) 및 필터 선택부(540)를 구비한다.
다단계 노이즈 제거 필터(52)는 외부로부터 영상 데이터가 입력되며, 상기 영상 데이터는 모서리 처리부(500), 제1 단계 필터부(510), 제2 단계 필터부(520) 및 제3 단계 필터부(530)의 입력단자로 동시에 입력된다.
상기 모서리 처리부(500)는 3개의 시간 지연기(501, 502, 503)가 순차적으로 연결되어 있으며, 가장 마지막의 시간 지연기의 출력 단자는 상기 필터 선택부(540)의 입력 단자와 연결된다.
상기 제1 단계 필터부(510)는 제1 필터(511), 제1 시간 지연기(512), 제2 시간 지연기(513)가 순차적으로 연결되어 있으며, 외부의 영상 데이터는 상기 제1 필터의 입력 단자로 입력되며, 제1 필터의 출력 신호는 상기 제1 시간 지연기 및 제2 시간 지연기를 통해 상기 필터 선택부(540)의 입력 단자로 입력된다.
상기 제2 단계 필터부(520)는 제3 시간 지연기(521), 제2 필터(522), 제4 시 간 지연기(523)가 순차적으로 연결되어 있으며, 상기 제1 필터의 출력 신호는 상기 제2 필터의 입력 단자로 입력되며, 상기 제2 필터의 출력 신호는 제4 시간 지연기(523)를 통해 상기 필터 선택부(540)의 입력 단자로 입력된다.
상기 제3 단계 필터부(530)는 제5 시간 지연기(531), 제6 시간 지연기(532) 및 제3 필터(533)가 순차적으로 연결되어 있으며, 상기 제2 필터의 출력 신호는 제3 필터의 입력 단자로 입력되며, 상기 제3 필터의 출력 신호는 상기 필터 선택부(540)의 입력 단자로 입력된다.
상기 다단계 노이즈 제거 필터(52)는 상기 필터 계수 선택부(56)로부터 제1 단계 필터 계수(1st Step Filter Coefficient), 제2 단계 필터 계수(2nd Step Filter Coefficient) 및 제3 단계 필터 계수(3rd Step Filter Coefficient)가 입력된다. 제1 단계 필터 계수(1st Step Filter Coefficient), 제2 단계 필터 계수(2nd Step Filter Coefficient) 및 제3 단계 필터 계수(3rd Step Filter Coefficient)는 상기 제1 필터(511), 제2 필터(522) 및 제3 필터(533)로 각각 입력된다. 상기 제1 필터(511), 제2 필터(522) 및 제3 필터(533)는 상기 입력된 필터 계수들이 적용되어 동작된다.
상기 필터 선택부(540)는 모서리 처리부(500), 제1 단계 필터부(510), 제2 단계 필터부(520), 제3 단계 필터부(530)로부터 각각 출력된 영상 데이터들이 동시에 입력된다. 적응적 노이즈 제거 장치의 입력 단자로 입력된 영상 데이터는 상기 모서리 처리부, 제1 단계 필터부, 제2 단계 필터부, 제3 단계 필터부로 동시에 입력되어 신호 처리된 후 동시에 출력되어 상기 필터 선택부로 입력된다. 상기 필터 선택부(540)는 사전에 설정된 필터 선택 알고리즘에 따라 상기 입력된 영상 데이터들 중 하나를 선택하여 출력하게 된다.
이하, 도 12를 참조하여 본 발명에 따른 필터 선택부의 필터 선택 알고리즘을 구체적으로 설명한다. 도 12는 본 발명에 따른 필터 선택 알고리즘을 순차적으로 설명하는 흐름도이다. ㄴ
도 12를 참조하면, 먼저 입력된 영상 데이터가 모서리 영역의 화소인지 여부를 확인한다(단계 600). 만약 입력된 영상 데이터가 모서리 영역의 화소인 경우, 모서리 검출부(500)로부터 입력된 영상 데이터를 선택하여 출력한다(단계 604). 이와 같이, 모서리 영역의 화소에 대하여는 노이즈 제거 과정을 거치지 않은 영상 데이터를 출력시킴으로써, 노이즈 제거 과정에 의해 모서리(edge)가 불분명해져 영상의 해상도가 감쇄되는 것을 방지한다. 한편, 모서리 영역인지 여부를 확인하는 모서리 영역 검출 방법은 영상 처리 기술 분야에서 널리 알려진 기술로써 다양한 방법들이 존재하므로, 본 발명에서는 이에 대한 구체적인 설명을 생략한다.
만약, 입력된 영상 데이터가 모서리 영역의 화소가 아닌 경우, 영역 평균 밝기를 구하고, 사전에 설정된 제1 밝기 기준값과 상기 영역 평균 밝기를 비교한다 (단계 608). 여기서, 영역 평균 밝기는 상기 입력된 영상 데이터의 화소 및 상기 화소와 접하는 주변 화소들의 영상 데이터들에 대한 평균값이다.
만약 상기 영역 평균 밝기가 제1 밝기 기준값(Th1)보다 큰 경우(단계 610), 제1 단계 필터부(510)로부터 입력된 영상 데이터를 선택하여 출력한다(단계 612).
만약 상기 영역 평균 밝기가 제1 밝기 기준값보다 크지 않은 경우, 사전에 설정된 제2 밝기 기준값과 상기 영역 평균 밝기를 비교한다.
만약 상기 영역 평균 밝기가 제2 밝기 기준값(Th2)보다 큰 경우(단계 620) 제2 단계 필터부(520)로부터 입력된 영상 데이터를 선택하여 출력하며(단계 622), 그렇지 아니한 경우 제3 단계 필터부(530)로부터 입력된 영상 데이터를 선택하여 출력한다(단계 632).
상기 제1 밝기 기준값(Th1)과 제2 기준 밝기 기준값(Th2)은 Th1>Th2의 관계를 갖는 양의 값을 갖는 정수들이다. 본 발명에 따른 제1 실시예에서는 영상 데이터의 전체 밝기 범위를 3개의 레벨로 나눈 후, 제1 레벨과 제2 레벨의 경계값은 상기 제1 밝기 기준값으로 설정하고, 제2 레벨과 제3 레벨의 경계값은 제2 밝기 기준값으로 설정한다. 하지만, 전술한 방법외에도 다양하게 제1 밝기 기준값 및 제2 밝기 기준값을 설정할 수도 있으며, 전술한 방법에 의해 설정된 제1 밝기 기준값 및 제2 밝기 기준값들을 각 영상에 따라 적절하게 보정하여 사용할 수도 있을 것이다.
따라서, 본 발명에 따른 적응적 노이즈 제거 장치는, 영역 평균 밝기가 제1 밝기 기준값보다 큰 경우는 해당 화소가 고조도의 영상 데이터이며, 영역 평균 밝기가 제2 밝기 기준값보다 큰 경우는 해당 화소가 중조도의 영상 데이터이며, 영역 평균 밝기가 제2 밝기 기준값보다 작은 경우는 해당 화소가 저조도의 영상 데이터임을 나타낸다. 일반적으로 고조도의 영상 데이터를 갖는 화소는 노이즈가 작고, 화소가 저조도일수록 노이즈가 증가하게 된다. 따라서, 본 발명에 따른 적응적 노이즈 제거 장치는, 고조도의 영상 데이터인 경우 제1 단계 필터부를 이용하여 1번 노이즈 제거하고, 중조도의 영상 데이터인 경우 제2 단계 필터부를 이용하여 2번 노이즈 제거하고, 저조도의 영상 데이터인 경우 제3 단계 필터부를 이용하여 3번 노이즈 제거한다. 그 결과, 본 발명에 따른 적응적 노이즈 제거 장치는 영상 데이터의 밝기에 따라 노이즈를 적절하게 제거함으로써 보다 선명한 영상을 제공할 수 있게 된다.
상기 필터 계수 데이터베이스(54)는 상기 다단계 노이즈 제거 필터의 제1 필터, 제2 필터 및 제3 필터에 사용되는 필터 계수(Filter Coefficient)들이 사전에 설정하여 저장된다.
상기 필터 계수 데이터베이스에는 고조도 신호 처리용 필터 계수들, 중조도 신호 처리용 필터 계수들, 저조도 신호 처리용 필터 계수들 및 최저조도 신호 처리용 필터 계수들이 저장되며, 고조도 신호 처리용 필터 계수들, 중조도 신호 처리용 필터 계수들, 저조도 신호 처리용 필터 계수들 및 최저조도 신호 처리용 필터 계수들은 제1 필터, 제2 필터 및 제3 필터에 사용되는 필터 계수들을 모두 포함하게 된다.
상기 필터 계수 선택부는 이미지 센서의 자동 노출 제어부로부터 아날로그 신호 이득(Again), 디지털 신호 이득(Dgain), 자동 노광 시간(Exposure Time)에 대한 정보들을 입력받고, 입력된 정보들을 이용하여 사전에 설정된 필터 계수 선택 알고리즘에 따라 상기 필터 계수 데이터베이스로부터 필터 계수들을 판독하여 상기 다단계 노이즈 제거 필터로 제공한다. 본 발명에 따른 적응적 노이즈 제거 장치는 하나의 프레임의 영상에 대해 동일한 필터를 적용하므로, 상기 필터 계수 선택부는 하나의 프레임의 영상에 대해 1번 동작하게 된다.
이하, 도 13을 참조하여 본 발명에 따른 적응적 노이즈 제거 장치의 상기 필터 계수 선택부의 필터 계수 선택 알고리즘을 구체적으로 설명한다. 도 13은 본 발명에 따른 필터 계수 선택 알고리즘을 순차적으로 설명하는 흐름도이다.
도 13을 참조하면, 기준 노광 시간값(Ref_ET), 기준 아날로그 이득값(Ref_Again), 기준 디지털 이득값(Ref_Dgain)을 사전에 설정한다(단계 700).
먼저 이미지 센서로부터 입력된 자동 노광 시간과 상기 기준 노광 시간값(Ref_ET)을 비교한다(단계 702). 만약 자동 노광 시간이 상기 기준 노광 시간값(Ref_ET)보다 작은 경우, 해당 영상을 고조도 영상으로 판단하고 상기 필터 계수 데이터베이스로부터 고조도 신호 처리용 필터 계수들을 판독한다(단계 704).
만약 자동 노광 시간이 상기 기준 노광 시간값(Ref_ET)보다 작지 않은 경우, 상기 이미지 센서로부터 입력된 디지털 신호 이득(Dgain)과 상기 기준 디지털 이득값(Ref_Dgain)을 비교한다(단계 710). 만약 디지털 신호 이득이 상기 기준 디지털 이득값(Ref_Dgain)보다 작은 경우, 해당 영상을 중조도 영상으로 판단하고 상기 필터 계수 데이터베이스로부터 중조도 신호 처리용 필터 계수들을 판독한다(단계 712).
만약 디지털 신호 이득이 상기 디지털 이득값(Ref_Dgain)보다 작지 않은 경우, 상기 이미지 센서로부터 입력된 아날로그 신호 이득(Again)과 상기 기준 아날로그 이득값(Ref_Again)을 비교한다(단계 720). 만약 아날로그 신호 이득이 상기 기준 아날로그 이득값(Ref_Again)보다 작은 경우, 해당 영상을 저조도 영상으로 판단하고 상기 필터 계수 데이터베이스로부터 저조도 신호 처리용 필터 계수들을 판 독한다(단계 722).
만약 아날로그 신호 이득이 상기 기준 아날로그 이득값(Ref_Again)보다 작지 않은 경우, 해당 영상을 최저조도 영상으로 판단하고 상기 필터 계수 데이터베이스로부터 최저조도 신호 처리용 필터 계수들을 판독한다(단계 732).
다음, 판독된 필터 계수들을 상기 다단계 노이즈 제거 필터로 출력한다(단계 740).
본 발명에 따른 적응적 노이즈 제거 장치를 이용하여 각기 다른 주변 밝기에서 획득된 영상을 도 14, 도 15 및 도 16에 나타내었다. 도 14은 500 Lux, 도 15은 100 Lux, 및 도 16은 30 Lux의 주변 밝기에서 획득된 영상들이다. 도 14, 도 15 및 도 16에 나타난 영상들을 통해, 본 발명에 따른 적응적 노이즈 제거 장치가 기존의 이미지 센서에서 발생하는 노이즈를 효과적으로 제거함을 확인할 수 있다.
이하, 본 발명에 따른 적응적 노이즈 제거 장치의 필터 계수 데이터베이스에 저장되는 필터 계수들을 사전에 설정하기 위하여 주변 밝기에 따른 노이즈 성분과 특성을 검출하는 과정을 설명한다. 도 4는 노광 시간, 신호 이득(Gain), 이의 상관관계, 및 영상 데이터에 포함된 노이즈 성분 및 특성 분석을 하는 분석 시스템의 일예를 보이고 있다.
도 4를 참조하면, 상기 분석 시스템은 표준 샘플/표준 광원 장치(412), 이미지센서/제어장치(410), 프래임 그래버(grabber) 장치(414), 제어/분석 소프트웨어(416)를 포함한다. 상기 표준 샘플/표준 광원 장치(412)는 피사체 및 주변 밝기를 조절하는 장치이다. 이미지센서/제어장치(410)는 영상 노이즈 제거를 통해 화질 을 개선하고자 하는 이미지 센서와 이를 제어할 수 있도록 만든 제어 장치이다. 또한 프래임 그래버(grabber) 장치(414)는 이미지 센서에서 출력되는 영상 데이터를 컴퓨터로 저장할 수 있도록 한다. 제어/분석 소프트웨어(416)는 컴퓨터에 저장된 영상 데이터와 표준 샘플 데이터와 비교하여 노이즈 성분 및 노이즈 특성을 분석한다. 또한 제어/분석 소프트웨어(416)는 이미지 센서의 모든 부분을 정교하게 제어할 수 있으며, 이미지 처리부에서 자동으로 설정되는 자동 노광시간 및 자동 백색 설정 등의 정보를 이미지 처리부로부터 전달받아 보여줄 수 있다.
도 5는 전술한 제어/분석 소프트웨어(416)의 일예에 따른 화면을 캡쳐한 것이며, 도 6 내지 도 9는 상기 제어/분석 소프트웨어를 통한 결과를 도시한 것들이다.
도 6의 (a) 및 (b)는 각각 50 Lux 및 30 Lux의 주변 밝기에 따라 획득된 영상들을 예시적으로 보이고 있다. 도 6의 (a)의 50 Lux 환경에서의 영상에 포함된 노이즈는 눈으로 정확히 판단할 수 없지만, 도 6의 (b)의 30 Lux의 환경에서 촬영된 영상에서는 노이즈를 눈으로 판단할 수 있을 정도로 심각함을 알 수 있다. 따라서, 도 6을 통해, 똑같은 표준 영상을 촬영함에 있어서도 주변 밝기에 따라 같은 이미지 센서를 사용할지라도 화질이 다른 영상이 획득됨을 알 수 있다.
도 7은 서로 다른 주변 밝기를 갖는 환경들하에서 촬영된 영상 데이터들에 포함된 노이즈들을 서로 비교하여 도시한 그래프로서, x축은 화소번호, y축은 화소값을 나타내며, 500g는 주변 밝기가 500 Lux임을 의미한다. 도 6의 (a)에서는 50 Lux 환경에서 획득된 영상은 노이즈를 눈으로 분간할 수 없었으나, 이를 그래프로 나타낸 도 7에서는 노이즈 성분이 상당함을 알 수 있다. 또한 주변 밝기가 어두울수록 노이즈의 영향이 심각해 짐을 알 수 있다.
도 8 및 도 9는 도 7의 서로 다른 주변 밝기를 갖는 환경들하에서 촬영된 영상 데이터들에 대해 센서 제어/분석 소프트웨어를 적용한 경우, 주변 밝기에 따른 평균 Noise Level 및 밝기에 따른 SNR 분석 결과들을 도시한 그래프들로서, x축은 주변 밝기, 도8의 y축은 노이즈 레벨, 도9의 y축은 SNR이며, 500g는 주변 밝기가 500 Lux임을 의미한다. 도 8 및 도 9로부터, 주변 밝기가 밝은 경우 노이즈의 양이 적으나, 주변 밝기가 어두워 질수록 노이즈의 양이 많아져, SNR이 급격하게 변화함을 알 수 있다.
전술한 분석 시스템을 통해, 피사체 및 주변 밝기가 밝은 경우에는 영상의 노이즈가 작고, 주변 밝기가 어두워질수록 영상의 노이즈가 증가됨을 알 수 있다. 따라서, 본 발명에 따른 적응적 노이즈 제거 장치에 있어서, 주변 밝기가 밝은 고조도 영상에 대하여는 제거되는 노이즈 레벨을 감소시키고, 주변 밝기가 어두운 저조도 영상에 대하여는 제거되는 노이즈 레벨을 상당히 증가시키도록 다단계 노이즈 제거 필터의 필터 계수들을 설정하게 된다.
제2 실시예
이하, 본 발명의 제2 실시예에 따른 이미지 센서에 대하여 설명한다. 본 실시예에 따른 이미지 센서는 전술한 제1 실시예에 따른 적응적 노이즈 제거 장치를 설치하여 노이즈를 제거하는 것을 특징으로 한다.
이미지 센서는 광학부, 픽셀 배열부 및 이미지 처리부를 구비하며, 상기 이미지 처리부로부터 출력되는 영상신호는 표시부를 통해 표시되거나 저장부에 기록된다. 상기 이미지 처리부는 신호가 입력되는 영상신호 조정부, 보간/픽셀 조정부, 컬러 보정부, 감마 보정부, 공간 변환부, 자동 화이트밸런스 조정부, 자동 노광 조정부 및 타이밍생성/센서제어부를 구비한다. 상기 영상신호 조정부는 이득부, 백색 조정부, 오프셋 조정부 및 A/D 변환부를 포함한다.
본 실시예에 따른 이미지 센서는 적응적 노이즈 제거 장치를 도 2에 도시된 이미지 처리부의 입력단 또는 출력단에 연결되거나, 이미지 처리부의 각 구성의 출력단(도 2의 ① ~ ⑤) 중 하나에 선택적으로 삽입될 수 있다.
또한, 본 실시예에 따른 이미지 센서의 영상신호 조정부의 이득부, 백색 조정부, 오프셋 조정부는 아날로그 회로로 구성하고, A/D 변환부를 연결하여 최종적으로 아날로그 신호를 디지털 신호로 변환시켜 출력하는 것이 바람직하다.
본 발명에 따른 적응적 노이즈 제거 장치 및 그 방법은 이미지 센서에 널리 사용될 수 있다.
도 1은 일반적인 CMOS 이미지 센서의 화상 신호를 처리하는 과정을 개략적으로 도시한 블록도이다.
도 2는 도 1의 이미지 센서의 이미지 처리부(114)에 대한 일반적인 구조를 도시한 블록도이다.
도 3은 전술한 영상신호 조정부(210)의 일 실시형태에 대한 내부 구조를 개략적으로 도시한 블록도이다.
도 4는 노광 시간, 신호 이득(Gain), 이의 상관관계, 및 영상 데이터에 포함된 노이즈 성분 및 특성 분석을 하는 분석 시스템의 일예를 보이고 있다.
도 5는 도 4에 따른 제어/분석 소프트웨어(416)의 일예에 따른 화면을 캡쳐한 것이며, 도 6 내지 도 9는 상기 제어/분석 소프트웨어를 통한 결과를 도시한 것들이다.
도 10은 본 발명의 제1 실시예에 따른 적응적 노이즈 제거 장치를 도시한 블록도이다.
도 11은 본 발명의 제1 실시예에 따른 적응적 노이즈 제거 장치의 다단계 노이즈 제거 필터의 내부 구성을 개략적으로 도시한 블록도이다.
도 12는 본 발명의 제1 실시예에 따른 적응적 노이즈 제거 장치의 필터 선택부의 필터 선택 알고리즘을 순차적으로 설명하는 흐름도이다.
도 13은 본 발명의 제1 실시예에 따른 적응적 노이즈 제거 장치의 필터 계수 선택부의 필터 계수 선택 알고리즘을 순차적으로 설명하는 흐름도이다.
도 14, 도 15 및 도 16은 본 발명에 따른 적응적 노이즈 제거 장치를 이용하여 각기 다른 주변 밝기에서 획득된 영상들을 각각 나타낸 것으로서, 도 14은 500 Lux, 도 15은 100 Lux, 및 도 16은 30 Lux의 주변 밝기에서 획득된 영상들이다.
< 도면의 주요 부분에 대한 부호의 설명>
100 : 이미지 센서
110 : 광학부
112 : 픽셀 배열부
114 : 이미지 처리부
210 : 영상신호 조정부
212 : 보간/픽셀 조정부
214 : 컬러 보정부
216 : 감마 보정부
218 : 공간 변환부
220 : 자동 화이트밸런스 조정부
222 : 자동 노광 조정부
224 : 타이밍생성/센서제어부
310 : 이득부
312 : 백색 조정부
314 : 오프셋 조정부
316 : A/D 변환부
50 : 적응적 노이즈 제거 장치
52 : 다단계 노이즈 제거 필터
54 : 필터 계수 데이터베이스
56 : 필터 계수 선택부
500 : 모서리 처리부
510 ; 제1 단계 필터부
520 : 제2 단계 필터부
530 : 제3 단계 필터부
540 : 필터 선택부

Claims (9)

  1. 영상을 구성하는 각 화소에 대한 영상 데이터가 입력되는 입력 단자;
    사전에 설정된 갯수(n)의 필터들을 구비하여 상기 입력된 영상 데이터의 노이즈를 제거하여 출력하는 다단계 노이즈 제거 필터;
    다수 개의 조도 레벨들의 각각에 대응되는 필터 계수들을 사전에 설정하여 저장한 필터 계수 데이터베이스;
    이미지 센서로부터 상기 입력된 영상의 노광 시간 및 신호 이득에 대한 정보를 제공받고, 상기 노광 시간 및 신호 이득에 따라 조도 레벨을 선택하고, 선택된 조도 레벨에 대응되는 필터 계수를 상기 필터 계수 데이터베이스로부터 판독하고, 상기 다단계 노이즈 제거 필터로 상기 필터 계수들을 제공하는 필터 계수 선택부;
    를 구비하고, 상기 다단계 노이즈 제거 필터는 상기 필터 계수 선택부로부터 제공되는 필터 계수들을 내부의 필터들에게 적용하여 동작하는 것을 특징으로 하는 적응적 노이즈 제거 장치.
  2. 제1항에 있어서, 상기 다단계 노이즈 제거 필터는
    순차적으로 연결되는 n개의 시간지연기로 구성되는 모서리 처리부;
    각각 필터와 시간지연기들로 구성되는 n 개의 단계 필터부들; 및
    상기 모서리 처리부 및 상기 n개의 단계 필터부들로부터 입력되는 영상 데이터 중 하나를 선택하여 출력하는 필터 선택부를 구비하고,
    각 단계 필터부의 필터의 출력은 연속되는 다음 단계 필터부의 필터로 입력되는 것을 특징으로 하는 것을 특징으로 하는 적응적 노이즈 제거 장치.
  3. 제2항에 있어서, 상기 필터 선택부는,
    (a) 상기 다단계 노이즈 제거 필터로 입력된 영상 데이터가 모서리 영역의 화소인지 여부를 확인하고,
    (b) 만약 입력된 영상 데이터가 모서리 영역의 화소인 경우 상기 모서리 처리부로부터 입력된 영상 데이터를 선택하여 출력하며,
    (c) 만약 입력된 영상 데이터가 모서리 영역의 화소가 아닌 경우 해당 화소에 대한 영역 평균 밝기를 구하고, (n-1) 개의 밝기 기준값을 사전에 설정하며,
    (d) 상기 영역 평균 밝기와 상기 n-1 개의 밝기 기준값들을 순차적으로 비교하고,
    (e) 상기 비교 결과에 따라 n 개의 단계 필터부 중 하나로부터 입력된 영상 데이터를 선택하여 출력하는 것을 특징으로 하는 적응적 노이즈 제거 장치.
  4. 제1항에 있어서, 상기 필터 계수 선택부는
    (a) 만약 상기 노광 시간이 사전에 설정된 기준 노광 시간값보다 작은 경우 해당 영상을 고조도 영상으로 판단하고, 상기 필터 계수 데이터베이스로부터 고조도 신호 처리용 필터 계수를 판독하며,
    (b) 만약 신호 이득이 사전에 설정된 기준 신호 이득값보다 작은 경우 해당 영상을 중조도 영상으로 판단하고, 상기 필터 계수 데이터베이스로부터 중조도 신호 처리용 필터 계수를 판독하며,
    (c) 만약 신호 이득이 상기 기준 신호 이득값보다 작지 않은 경우 해당 영상을 저조도 영상으로 판단하고, 상기 필터 계수 데이터베이스로부터 저조도 신호 처리용 필터 계수를 판독하며,
    (d) 상기 판독된 필터 계수들을 다단계 노이즈 제거 필터로 출력하는 것을 특징으로 하는 적응적 노이즈 제거 장치.
  5. 제1항에 있어서, 상기 신호 이득은 아날로그 신호 이득 및 디지털 신호 이득으로 이루어지며, 상기 필터 계수 선택부는
    (a) 만약 상기 노광 시간이 사전에 설정된 기준 노광 시간값보다 작은 경우 해당 영상을 고조도 영상으로 판단하고, 상기 필터 계수 데이터베이스로부터 고조도 신호 처리용 필터 계수를 판독하며,
    (b) 만약 디지털 신호 이득이 사전에 설정된 기준 디지털 신호 이득값보다 작은 경우 해당 영상을 중조도 영상으로 판단하고, 상기 필터 계수 데이터베이스로부터 중조도 신호 처리용 필터 계수를 판독하며,
    (c) 만약 아날로그 신호 이득이 사전에 설정된 기준 아날로그 신호 이득값보다 작은 경우 해당 영상을 저조도 영상으로 판단하고, 상기 필터 계수 데이터베이스로부터 저조도 신호 처리용 필터계수를 판독하며,
    (d) 만약 상기 아날로그 신호 이득이 상기 기준 아날로그 신호 이득값보다 작지 않은 경우 해당 영상을 최저조도 영상으로 판단하고, 상기 필터 계수 데이터베이스로부터 최저조도 신호 처리용 필터 계수를 판독하며,
    (e) 상기 판독된 필터 계수들을 다단계 노이즈 제거 필터로 출력하는 것을 특징으로 하는 적응적 노이즈 제거 장치.
  6. 제1항에 있어서, 상기 다단계 노이즈 제거 필터는 3단계인 것을 특징으로 하며, 상기 다단계 노이즈 제거 필터는
    순차적으로 연결되는 3개의 시간지연기로 구성되는 모서리 처리부;
    각각 필터와 시간지연기들로 구성되는 제1, 제2 및 제3 단계 필터부들; 및
    상기 모서리 처리부 및 상기 제1, 제2 및 제3 단계 필터부들로부터 입력되는 영상 데이터 중 하나를 선택하여 출력하는 필터 선택부를 구비하고,
    제1 단계 필터부의 필터의 출력은 제2 단계 필터부의 필터로 입력되고, 제2단계 필터부의 필터의 출력은 제3 단계 필터부의 필터로 입력되며,
    상기 모서리 처리부, 제1, 제2 및 제3 단계 필터부의 출력은 상기 필터 선택부로 동시에 입력되는 것을 특징으로 하는 적응적 노이즈 제거 장치.
  7. 제6항에 있어서, 상기 필터 선택부는,
    (a) 상기 다단계 노이즈 제거 필터로 입력된 영상 데이터가 모서리 영역의 화소인지 여부를 확인하고,
    (b) 만약 입력된 영상 데이터가 모서리 영역의 화소인 경우 상기 모서리 처리부로부터 입력된 영상 데이터를 선택하여 출력하며,
    (c) 만약 입력된 영상 데이터가 모서리 영역의 화소가 아닌 경우 해당 화소에 대한 영역 평균 밝기를 구하고, 제1 및 제2 밝기 기준값을 사전에 설정하며,
    (d) 상기 영역 평균 밝기와 상기 제1 및 제2 밝기 기준값들과 순차적으로 비교하며,
    (e) 만약 상기 영역 평균 밝기가 상기 제1 밝기 기준값보다 큰 경우, 제1 단계 필터부로부터 입력된 영상 데이터를 선택하여 출력하며,
    (f) 만약 상기 영역 평균 밝기가 상기 제2 밝기 기준값보다 큰 경우, 제2 단계 필터부로부터 입력된 영상 데이터를 선택하여 출력하며,
    (g) 만약 상기 영역 평균 밝기가 상기 제2 밝기 기준값보다 크지 않은 경우, 제3 단계 필터부로부터 입력된 영상 데이터를 선택하여 출력하며,
    상기 제1 밝기 기준값은 상기 제2 밝기 기준값보다 큰 것을 특징으로 하는 적응적 노이즈 제거 장치.
  8. 제1항 내지 제7항 중 어느 한 항에 따른 적응적 노이즈 제거 장치가 장착된 것을 특징으로 하는 이미지 센서.
  9. 제8항에 있어서, 상기 이미지 센서의 영상신호 조정부의 이득부, 백색 조정부, 오프셋 조정부는 아날로그 회로로 구성하고, 오프셋 조정부에 A/D 변환부를 연결하여 최종적으로 아날로그 신호를 디지털 신호로 변환시켜 출력하는 것을 특징으로 하는 이미지 센서.
KR1020080007255A 2008-01-23 2008-01-23 적응적 노이즈 제거 장치 및 상기 장치를 이용한 이미지센서 KR100934730B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080007255A KR100934730B1 (ko) 2008-01-23 2008-01-23 적응적 노이즈 제거 장치 및 상기 장치를 이용한 이미지센서

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080007255A KR100934730B1 (ko) 2008-01-23 2008-01-23 적응적 노이즈 제거 장치 및 상기 장치를 이용한 이미지센서

Publications (2)

Publication Number Publication Date
KR20090081273A KR20090081273A (ko) 2009-07-28
KR100934730B1 true KR100934730B1 (ko) 2009-12-30

Family

ID=41292271

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080007255A KR100934730B1 (ko) 2008-01-23 2008-01-23 적응적 노이즈 제거 장치 및 상기 장치를 이용한 이미지센서

Country Status (1)

Country Link
KR (1) KR100934730B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101538353B1 (ko) 2014-05-29 2015-07-22 숭실대학교산학협력단 영상 처리 방법, 이를 이용한 시스템 및 이를 수행하기 위한 기록매체
KR102195311B1 (ko) * 2014-09-15 2020-12-24 삼성전자주식회사 이미지의 잡음 특성 개선 방법 및 그 전자 장치
CN109698891B (zh) * 2018-12-28 2020-04-07 东北大学秦皇岛分校 基于多相位迭代算法的秘密图像共享方法
CN112565719B (zh) * 2020-12-25 2024-05-24 北京电子科技职业学院 基于多级滤波增强图像照度方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141520A (ja) 2001-10-31 2003-05-16 Fuji Xerox Co Ltd 画像読取装置、画像検査装置、およびプログラム
JP2006238454A (ja) 2006-03-06 2006-09-07 Ricoh Co Ltd 画像形成装置及びその管理システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141520A (ja) 2001-10-31 2003-05-16 Fuji Xerox Co Ltd 画像読取装置、画像検査装置、およびプログラム
JP2006238454A (ja) 2006-03-06 2006-09-07 Ricoh Co Ltd 画像形成装置及びその管理システム

Also Published As

Publication number Publication date
KR20090081273A (ko) 2009-07-28

Similar Documents

Publication Publication Date Title
KR100617781B1 (ko) 이미지 센서의 화질 개선장치 및 방법
US8125543B2 (en) Solid-state imaging device and imaging apparatus with color correction based on light sensitivity detection
US9055228B2 (en) Imaging device and signal processing method for flicker reduction
JP2011010108A (ja) 撮像制御装置、撮像装置及び撮像制御方法
KR101536060B1 (ko) 고체 촬상 장치 및 카메라 모듈
JP5308375B2 (ja) 信号処理装置、固体撮像装置、電子情報機器、信号処理方法、制御プログラムおよび記録媒体
JP5112238B2 (ja) 撮像装置、設定値変更方法およびプログラム
US8792017B2 (en) Image processing device, image processing method, and image pickup apparatus
US20060017824A1 (en) Image processing device, image processing method, electronic camera, and scanner
KR100934730B1 (ko) 적응적 노이즈 제거 장치 및 상기 장치를 이용한 이미지센서
US8237829B2 (en) Image processing device, image processing method, and imaging apparatus
US9373158B2 (en) Method for reducing image artifacts produced by a CMOS camera
JP2011100204A (ja) 画像処理装置、画像処理方法、画像処理プログラム、撮像装置及び電子機器
US7986354B2 (en) Method for correcting pixel defect of image pickup device
US20070269133A1 (en) Image-data noise reduction apparatus and method of controlling same
US11431924B2 (en) Image capturing apparatus and control method thereof
JP2017130799A (ja) 画像処理装置
JP4725052B2 (ja) 撮像装置
US20240236501A1 (en) Image processing apparatus, image processing method, and storage medium
KR101327035B1 (ko) 카메라 모듈 및 이의 이미지 처리 방법
JP2010199845A (ja) 画像撮影装置、画像撮影方法、画像処理装置、および画像処理方法
JP2006100913A (ja) 画像処理装置および画像処理方法
KR100594020B1 (ko) 블랙 레벨 보정 장치 및 방법
JP4954658B2 (ja) 画像処理装置
JP4356604B2 (ja) 映像信号処理装置、映像信号の処理方法、映像信号の処理プログラム及び映像信号の処理プログラムを記録した記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121128

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131120

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20141125

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee