KR100752302B1 - 이미지 센서의 고정패턴잡음 처리 방법 및 장치 - Google Patents

이미지 센서의 고정패턴잡음 처리 방법 및 장치 Download PDF

Info

Publication number
KR100752302B1
KR100752302B1 KR1020050066984A KR20050066984A KR100752302B1 KR 100752302 B1 KR100752302 B1 KR 100752302B1 KR 1020050066984 A KR1020050066984 A KR 1020050066984A KR 20050066984 A KR20050066984 A KR 20050066984A KR 100752302 B1 KR100752302 B1 KR 100752302B1
Authority
KR
South Korea
Prior art keywords
pixel data
image sensor
fixed pattern
pattern noise
average value
Prior art date
Application number
KR1020050066984A
Other languages
English (en)
Other versions
KR20070012124A (ko
Inventor
양승일
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020050066984A priority Critical patent/KR100752302B1/ko
Publication of KR20070012124A publication Critical patent/KR20070012124A/ko
Application granted granted Critical
Publication of KR100752302B1 publication Critical patent/KR100752302B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/677—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

본 발명은 이미지 센서의 고정패턴잡음을 처리하는 방법 및 장치에 관한 것으로서, 본 발명의 일실시예에 의하면, 이미지 센서로부터 특정 프레임에 대한 광블랙 영역의 픽셀 데이터를 입력받고, 입력받은 광블랙 영역의 픽셀 데이터로부터 고정패턴잡음 특성 데이터를 추출한 후, 특정 프레임의 또는 또 다른 프레임의 액티브 영역의 픽셀 데이터로부터 추출한 고정패턴잡음 특성 데이터를 감산하는 이미지 센서의 고정패턴잡음 처리방법 및 장치를 제공한다.
이미지 센서, 고정패턴잡음 제거, 노이즈 보정

Description

이미지 센서의 고정패턴잡음 처리 방법 및 장치{Method and apparatus for processing fixed pattern noise in image sensor}
도 1은 종래의 이미지 센서로부터 얻은 영상에 나타나는 고정패턴잡음을 보여주는 도면이다.
도 2는 본 발명의 제1 실시예에 따른 고정패턴잡음 처리장치를 나타내는 블록도이다.
도 3은 본 발명의 제1 실시예에 따른 고정패턴잡음 처리방법을 나타낸 흐름도이다.
도 4는 본 발명의 제1 실시예에 따른 고정패턴잡음 처리방법을 도식적으로 나타낸 도면이다.
도 5는 본 발명의 제2 실시예에 따른 고정패턴잡음 처리방법을 나타내는 흐름도이다.
도 6은 본 실시예의 고정패턴잡음 처리방법을 도식적으로 보여주는 도면이다.
도 7은 본 발명에 따른 고정패턴잡음 처리방법에 의해 고정패턴잡음이 제거된 영상을 보여주는 도면이다.
* 도면의 주요 부분에 대한 부호의 설명 *
100: 이미지 센서 110: 광블랙 영역
120: 액티브 영역 130: 고정패턴잡음
210: 레지스터부 220: 연산처리부
230: 메모리
본 발명은 이미지 센서의 고정패턴잡음을 처리하는 방법 및 장치에 관한 것이다.
이미지 센서(image sensor)는 여러 개의 픽셀이 2차원 구조로 배열되어 있는 광변환 장치로서, 이미지 센서의 각 픽셀은 광학계를 통해 들어오는 빛을 그 세기에 따라 소정 레벨의 전기 신호로 변환시킨다. 이렇게 변환된 전기 신호를 이용하면, 픽셀 단위의 이미지를 구성할 수 있다.
이미지 센서는 크게 CCD(charge coupled device)형과 CMOS(complementary metal oxide semiconductor)형으로 구분할 수 있다. CCD 센서는 한 반도체의 출력이 인접한 다른 반도체의 입력이 되도록 정렬되어 있는 메모리이며, 빛이나 전기에 의해 충전된다. 예를 들면, CCD 센서는 외부로부터 공급되는 빛에서 특정 파장만을 통과시키는 적색(R), 녹색(G) 및 청색(B)의 원색필터와, 원색필터에서 통과된 빛을 차지(Charged)하기 위한 적색(R), 녹색(G) 및 청색(B) 센서를 구비한다. CCD 센서는 적색(R), 녹색(G) 및 청색(B) 센서에서 차지된 빛의 양을 전기적신호로 변환함으로써 영상 데이터를 생성한다. CMOS 센서는 CMOS 로직 프로세스를 통해 제작되고 필터를 사용하지 않으므로 반도체 소자에 직접 빛을 받아들이고, 받아들인 빛을 전기적 신호로 변환함으로써 영상 데이터를 생성한다. 예를 들면, CMOS 센서는 내부의 트랜지스터 앰프에서 증폭된 X 및 Y 방향 레지스터에서 읽혀진다.
상보성 금속산화막 반도체 타입의 이미지 센서로는, 전하변조소자(charge modulation device, CMD), 기본저장 이미지 센서(base stored image sensor, BASIS), 벌크 전하 변조 소자(bulk charge modulation device, BCMD) 등이 알려져 있다. 이같은 이미지 센서는 화소 자체가 증폭 기능을 갖도록 하기 위해 MOS 구조 등의 능동 소자를 이용하여 제작된다. 따라서, 종래의 이미지 센서는 능동 소자의 특성, 예컨대, 임계값(Vth) 등의 편차가 영상 신호상에 중첩되어 나타나게 된다. 이러한 특성 편차는 각 픽셀에 대해 고정된 값을 가지므로 화면상의 영상에 고정패턴잡음(fixed pattern noise, FPN)을 유발시키는 원인이 된다.
도 1은 종래의 이미지 센서로부터 얻은 영상에 나타나는 수직 방향의 고정패턴잡음을 설명하기 위한 도면이다. 도 1에 도시된 바와 같이, 종래의 이미지 센서로부터 얻은 영상(12)에는 수직 방향으로 줄무늬 형태의 고정패턴잡음(14)이 나타난다. 이러한 고정패턴잡음(14)은 주로 공정상 발생할 수 있는 결함이나 설계 잘못으로 인해 발생된다. 예를 들면, 픽셀회로 내의 스위치에서 임계 전압(Vth)의 편차가 존재하면, 동일한 신호량이 모든 픽셀회로로부터 출력될 때, 출력되는 출력 신 호의 신호량이 일정하지 않고, 각 스위치의 임계 전압이 출력 신호에 중첩되어 나타난다. 따라서, 화면상에 표시되는 영상(12)에는 고정패턴잡음(14)으로 나타나고, 화질을 저하시키는 요인이 된다.
본 발명은 상기한 바를 해결하기 위한 것으로서, 별도의 보정 장치나 회로를 이용하지 않고 이미지 센서의 고정패턴잡음을 간편하고 효율적으로 제거함으로써, 비용 절감과 수율 및 영상 품질을 높일 수 있는 이미지 센서의 고정패턴잡음 처리 방법 및 장치를 제공하는 데 있다.
상기한 바와 같은 목적을 달성하기 위해 본 발명은, 이미지 센서와 결합된 고정패턴잡음처리 장치에서 이미지 센서의 고정패턴잡음을 처리하는 방법에 있어서, 이미지 센서로부터 특정 프레임에 대한 광블랙 영역의 픽셀 데이터를 입력받는 단계; 상기 입력받은 광블랙 영역의 픽셀 데이터로부터 상기 광블랙 영역을 구성하는 복수개의 행에 대한 평균값을 열 별로 산출하거나, 상기 광블랙 영역을 구성하는 복수개의 열에 대한 평균값을 행 별로 산출하는 단계-여기서, 상기 산출된 평균값 중 n(n은 자연수, 이하 동일)번째 열 또는 행의 평균값이 소정 기준값 이하인 경우, 상기 n번째 열 또는 행의 평균값을 초기화함-; 및 상기 광블랙 영역을 구성하는 복수개의 행에 대하여 열 별로 산출된 평균값 을 상기 특정 프레임의 액티브 영역의 픽셀 데이터로부터 열 별로 대응하여 감산하거나, 상기 광블랙 영역을 구성하는 복수개의 열에 대하여 행 별로 산출된 평균값을 상기 특정 프레임의 액티브 영역의 픽셀 데이터로부터 행 별로 대응하여 감산하는 단계를 포함하는 이미지센서의 고정패턴잡음 처리방법을 제공한다.
본 발명의 다른 측면에 의하면, 이미지 센서와 결합된 고정패턴잡음처리 장치에서 이미지 센서의 고정패턴잡음을 처리하는 방법에 있어서, 이미지 센서로부터 특정 프레임에 대한 광블랙 영역의 픽셀 데이터를 입력받는 단계; 상기 입력받은 광블랙 영역의 픽셀 데이터 중, 2n-1번째 행 또는 열의 픽셀 데이터 및 2n번째 행 또는 열 픽셀 데이터 중 적어도 어느 하나에 소정의 가중치를 부여하는 단계; 상기 가중치가 부여된 광블랙 영역의 픽셀 데이터로부터 고정패턴잡음 특성 데이터를 추출하는 단계; 및 상기 특정 프레임의 액티브 영역의 픽셀 데이터로부터 상기 추출한 고정패턴잡음 특성 데이터를 감산하는 단계를 포함하는 이미지센서의 고정패턴잡음 처리방법을 제공한다.
본 발명의 또 다른 측면에 의하면, 이미지 센서와 결합된 고정패턴잡음처리 장치에서 고정패턴잡음을 처리하는 방법에 있어서, 이미지 센서로부터 고정패턴잡음 특성에 대한 데이터를 갖는 제1 프레임의 픽셀 데이터를 입력받는 단계; 상기 입력받은 제1 프레임의 픽셀 데이터로부터 상기 제1 프레임을 구성하는 복수개의 행에 대한 평균값을 열 별로 산출하거나, 상기 제1 프레임을 구성하는 복수개의 열에 대한 평균값을 행 별로 산출하는 단계-여기서, 상기 산출된 평균값 중 n(n은 자연수, 이하 동일)번째 열 또는 행의 평균값이 소정 기준값 이하인 경우, 상기 n번째 열 또는 행의 평균값을 초기화함-; 및 이미지 센서로부터 제2 프레임의 픽셀 데이터를 입력받아, 상기 제1 프레임을 구성하는 복수개의 행에 대하여 열 별로 산출한 평균값을 상기 제2 프레임의 픽셀 데이터로부터 열 별로 대응하여 감산하거나, 상기 제1 프레임을 구성하는 복수개의 열에 대하여 행 별로 산출한 평균값을 상기 제2 프레임의 픽셀 데이터로부터 행 별로 대응하여 감산하는 단계를 포함하는 이미지센서의 고정패턴잡음 처리방법을 제공한다.
본 발명의 또 다른 측면에 의하면, 이미지 센서와 결합된 고정패턴잡음처리 장치에서 고정패턴잡음을 처리하는 방법에 있어서, 이미지 센서로부터 고정패턴잡음 특성에 대한 데이터를 갖는 제1 프레임의 픽셀 데이터를 입력받는 단계; 상기 입력받은 제1 프레임의 픽셀 데이터 중 2n-1번째 행 또는 열의 픽셀 데이터 및 2n번째 행 또는 열 픽셀 데이터 중 적어도 어느 하나에 소정의 가중치를 부여하는 단계; 상기 가중치를 부여한 제1 프레임의 픽셀 데이터로부터 고정패턴잡음 특성 데이터를 추출하는 단계; 및 이미지 센서로부터 제2 프레임의 픽셀 데이터를 입력받아, 이로부터 상기 추출된 고정패턴잡음 특성 데이터를 감산하는 단계를 포함하는 이미지센서의 고정패턴잡음 처리방법을 제공한다.
본 발명의 또 다른 측면에 의하면, 이미지 센서로부터 특정 프레임에 대한 픽셀 데이터를 입력받아 저장하는 픽셀 레지스터부; 및 상기 픽셀 레지스터부로부터 특정 프레임에 대한 픽셀 데이터를 입력받아 상기 특정 프레임의 픽셀 데이터 중 광블랙 영역을 구성하는 복수개의 행에 대한 평균값을 열 별로 산출하거나 또는 상기 특정 프레임의 픽셀 데이터 중 광블랙 영역을 구성하는 복수개의 열에 대한 평균값을 행 별로 산출하고, 상기 열 별로 산출한 평균값을 상기 특정 프레임의 액티브 영역의 픽셀 데이터로부터 열 별로 대응하여 감산하거나 또는 상기 행 별로 산출한 평균값을 상기 특정 프레임의 액티브 영역의 픽셀 데이터로부터 행 별로 대응하여 감산하여 출력하는 연산처리부를 포함하되, 상기 연산처리부는 상기 열 또는 행 별로 산출된 평균값 중 n(n은 자연수, 이하 동일)번째 열 또는 행의 평균값이 소정 기준값 이하인 경우, 상기 n번째 열 또는 행의 평균값을 초기화하는 것을 특징으로 하는 이미지 센서의 고정패턴잡음 처리장치를 제공한다.
여기에서, 상기 평균값을 저장하는 메모리를 더 포함하도록 구성할 수 있다.
또한, 상기 메모리를 장치 외부와 연결하여 장치 외부로부터의 신호에 의해 상기 메모리에 저장된 데이터를 변경하는 통신 인터페이스를 더 포함하도록 구성할 수도 있다.
본 발명의 또 다른 측면에 의하면, 이미지 센서로부터 고정패턴잡음 특성을 나타내는 제1 프레임의 픽셀 데이터와 제2 프레임의 데이터를 입력받아 저장하는 픽셀 레지스터부; 및 상기 픽셀 레지스터부로부터 제1 프레임의 픽셀 데이터를 입력받아 상기 제1 프레임을 구성하는 복수개의 행에 대한 평균값을 열 별로 산출하거나 또는 상기 제1 프레임을 구성하는 복수개의 열에 대한 평균값을 행 별로 산출하고, 상기 열 별로 산출한 평균값을 상기 제2 프레임의 픽셀 데이터로부터 열 별로 대응하여 감산하거나 또는 상기 행 별로 산출한 평균값을 상기 제2 프레임의 픽셀 데이터로부터 행 별로 대응하여 감산하여 출력하는 연산처리부를 포함하되, 상기 연산처리부는 상기 열 또는 행 별로 산출한 평균값 중 n(n은 자연수, 이하 동일)번째 열 또는 행의 평균값이 소정 기준값 이하인 경우, 상기 n번째 열 또는 행의 평균값을 초기화하는 것을 특징으로 하는 이미지 센서의 고정패턴잡음 처리장치를 제공한다.
여기에서, 상기 평균값을 저장하는 메모리를 더 포함하도록 구성할 수 있다.
또한, 상기 메모리를 장치 외부와 연결하여 장치 외부로부터의 신호에 의해 상기 메모리에 저장된 데이터를 변경하는 통신 인터페이스를 더 포함하도록 구성할 수도 있다.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
이하, 본 발명에 의한 실시예들을 도면을 참조하여 상세히 설명한다.
도 2는 본 발명에 의한 제1실시예의 고정패턴잡음 처리장치를 나타낸 블록도 이며, 도 3은 본 실시예에 따른 고정패턴잡음 처리방법을 나타내는 흐름도이며, 도 4는 본 실시예에 따른 고정패턴잡음 처리방법을 도식적으로 나타낸 도면이다.
도 2를 참조하면, 본 실시예의 고정패턴잡음 처리장치는 이미지 센서(100)에 결합되며, 픽셀 레지스터부(210), 연산처리부(220) 및 메모리(230)를 구비한다. 여기서, 픽셀 레지스터부(210)와 연산처리부(220)는 단일 칩의 디지털 신호처리 장치로 구현할 수도 있다.
이미지 센서(100)는 빛을 전기로 변환하여 출력하는 장치이다. 예를 들면, 이미지 센서(100)는 빛을 전기로 변환하는 광 다이오드가 구비된 다수의 픽셀 회로와, 이 픽셀 회로의 출력을 증폭하는 다수의 증폭기, 및 상기 증폭기의 출력 신호를 전달하는 다수의 버스를 포함할 수 있다. 또한, 이미지 센서(100)는 각 픽셀 회로나 증폭기를 선택하기 위한 제어 신호를 생성하고, 이를 공급하는 주사 회로를 포함할 수 있다.
또 예를 들면, 이미지 센서(100)는 복수의 픽셀이 행렬로 배열되어 있는 픽셀 어레이와, 픽셀 어레이의 각 행을 차례로 선택하기 위한 수직 주사 회로와, 픽셀 어레이의 각 열을 차례로 선택하기 위한 수평 주사 회로와, 신호를 출력하기 위한 출력 회로를 구비할 수 있다. 수직 주사 회로와 수평 주사 회로는 예컨대 시프트 레지스터에 의해 각각 구현되고, 픽셀 어레이의 각 행과 열에 수직 주사 펄스 신호 및 수평 주사 펄스 신호를 1개씩 연속적으로 공급할 수 있다.
전술한 구성의 이미지 센서(100)는 수평 주사 회로가 픽셀의 신호 전하를 캐패시터에 유지하고, 이 캐패시터의 픽셀 신호를 MOS 트랜지스터로 구성된 수평 스 위치를 통해 수평 주사 신호에 따라 출력 회로에 출력한다. 이 때, 각 수평 스위치의 임계 전압(Vth)의 편차가 픽셀 신호에 중첩되고, 이것이 화면상의 영상에 수직 방향의 줄무늬 고정패턴잡음으로 나타날 수 있다.
픽셀 레지스터부(210)는 이미지 센서(100)로부터 특정 프레임의 픽셀 데이터를 입력받아 연산처리부(220)로 픽셀 데이터를 출력한다. 상기 픽셀 레지스터부(210)는 일정 개수의 픽셀 레지스터들, 예컨대, 이미지 센서(100)의 열 방향 또는 행 방향의 픽셀 수에 대응하는 픽셀 레지스터들을 구비할 수 있다. 도 2에서는 간단하게 제1 내지 제5 픽셀 레지스터들(211, 212, 213, 214, 215)만을 도시하였다. 각 픽셀 레지스터에 저장되는 값은 0~255 사이의 값으로 표현될 수 있으며, 각 픽셀 레지스터는 플립플롭으로 구현될 수 있다.
연산처리부(220)는 상기 픽셀 레지스터부(210)를 통해 입력되는 픽셀 데이터를 광블랙 영역과 액티브 영역을 구분하여, 광블랙 영역의 픽셀 데이터의 평균값을 열별로 또는 행별로 산출하고, 액티브 영역의 픽셀 데이터로부터 상기 산출한 평균값을 열별로 또는 행별로 각각 대응하여 감산한다.
메모리(230)는 연산처리부(220)에서 산출된 평균값이나 기타 필요한 데이터들을 저장한다. 메모리(230)는 라인 메모리 또는 프레임 메모리로 구현될 수 있다.
이러한 구성에 의하여 고정패턴잡음을 처리하는 방법을 도 3의 흐름도를 참조하여 설명한다.
우선, 이미지 센서(100)로부터 픽셀 레지스터부(210)로 특정한 프레임의 픽 셀 데이터가 입력된다(S10).
픽셀 레지스터부(210)는 입력된 픽셀 데이터를 행 단위로 연산처리부(220)로 순차적으로 전달하고, 연산처리부(220)는 입력된 행 단위의 픽셀 데이터가 광블랙 영역(110)의 데이터인가를 판단한다(S12).
광블랙 영역(OPB, OPtical Black Area)이라 함은, 도 4에 나타낸 바와 같이, 이미지 센서(100)의 픽셀 어레이 또는 액티브 영역(도 4의 120 참조) 주위에 금속 등으로 덮인 영역으로서 빛이 입사되지 않는 영역을 말한다. 이러한 광블랙 영역(110)에서는 빛을 제외한 신호들이 출력된다. 즉, 광블랙 영역(110)에서 출력되는 신호는 대부분이 노이즈 성분이다.
상기 판단 결과, 입력된 행 단위의 픽셀 데이터가 광블랙 영역(110)의 픽셀 데이터(도 4의 A 영역의 데이터)이면, 연산처리부(220)는 입력된 광블랙 영역(110)의 픽셀 데이터를 행 단위로 메모리(230)에 저장하고, 상기 단계(S12)로 돌아가서 픽셀 레지스터부(210)로부터 광블랙 영역(110)의 마지막 행의 픽셀 데이터가 입력될 때까지 상기 과정을 반복하여 광블랙 영역(110)의 픽셀 데이터들을 각 열별로 누적 합산한다(S14).
광블랙 영역(110)의 픽셀 데이터값들이 누적 합산되면, 연산처리부(220)는 누적 합산된 값을 광블랙 영역(110)의 행의 개수로 나누어 각 열별로 평균값을 산출하고(S16), 이를 메모리에 저장한다(S18).
한편, 상기 단계(S12)의 판단 결과, 입력되는 픽셀 데이터가 광블랙 영역(110)의 픽셀 데이터가 아니면, 연산처리부(220)는 액티브 영역(120)의 픽셀 데이 터인가를 판단한다(S20). 여기서, 픽셀 데이터가 광블랙 영역(110)의 데이터 및 액티브 영역(120)의 픽셀 데이터 중 어느 하나에 반드시 포함되는 경우, 본 단계(S20)는 생략될 수 있다.
상기 판단 결과, 픽셀 데이터가 액티브 영역(120)의 데이터이면, 연산처리부(220)는 입력되는 액티브 영역(120)의 각 행의 픽셀 데이터에서 상기 단계(S18)에서 메모리에 저장한 광블랙 영역의 픽셀 데이터의 평균값을 각 열별로 대응하여 감산하고(S22), 감산된 결과 데이터를 순차적으로 출력한다(S24). 이러한 과정을 액티브 영역(120)의 마지막 행의 픽셀 데이터가 입력될 때까지 반복함으로써, 고정패턴잡음이 제거된 프레임을 얻을 수 있게 된다.
도 2 및 도 3의 실시예에서, 연산처리부(220)는 픽셀의 색상 특성에 따른 노이즈 성분을 제거하기 위해, 각 행의 픽셀 데이터으로부터 대응하는 평균을 감산연산하기 전에, 각 평균이나 또는 누적 합산되는 각 열의 픽셀 데이터 중 홀수번째 또는 짝수번째 데이터 중 적어도 어느 하나에 가중치를 부여할 수 있다. 물론 홀수번째 데이터와 짝수번째 데이터에 서로 다른 가중치를 부여하는 것도 가능하다. 이것은 이미지 센서(100)의 픽셀 패턴이 RGRGRG/GRGRGR와 GBGBGB/BGBGBG 패턴과 같이 통상 두 개의 패턴이 반복되는 구조를 갖기 때문이다. 여기서, R은 적색, G는 녹색 그리고 B는 청색을 나타낸다. 예를 들면, 연산처리부(220)는 홀수번째 R 픽셀값에 0.1~0.5의 가중치를 곱하고, 짝수번째 G 픽셀값에 1.5~1.9의 가중치를 곱하거나, 홀수번째 G픽셀값에 1.5~1.9의 가중치를 곱하고, 짝수번째 B 픽셀값에 1.0~1.5의 가중치를 곱할 수 있다.
또한, 상기 메모리(230)는 장치 외부와 연결되는 통신 인터페이스를 더 포함하여 구성할 수 있는데, 이에 의하여 필요한 경우 장치 외부에서 메모리(230)의 데이터를 초기화하거나 변경할 수 있다.
한편, 상기 실시예에서는 행 단위로 픽셀 데이터가 입력되는 경우에 대하여 설명하였으나, 열 단위로 픽셀 데이터를 입력하는 경우에도 본 실시예를 그대로 적용할 수 있음은 물론이다.
또한, 상기 실시예에서는 이미지 센서(100)가 픽셀 레지스터부(210)로 프레임 전체의 픽셀 데이터를 전송하는 것으로 설명하였으나, 이미지 센서(100)로부터 픽셀 데이터가 행 또는 열 단위로 순차적으로 입력되도록 구성할 수도 있다. 이러한 경우에는, 픽셀 레지스터부(210)의 구성을 생략하고 이미지 센서(100)로부터 연산처리부(220)로 직접 데이터가 입력되도록 구성하거나 픽셀 레지스터부(210)와 연산처리부(220)를 통합적으로 구성할 수도 있음은 물론이다.
또한, 상기 실시예에서, 광블랙 영역의 픽셀 데이터의 평균들 중 n번째 열의 평균이 소정 기준값 이하이면, 해당 열의 평균값을 초기화할 수 있다. 여기서, 초기화라 함은 대응하는 픽셀에 대해 해당 평균을 감산연산하지 않는다는 것으로서, 해당 열의 평균값을 0으로 설정하는 방법 등을 사용할 수 있다.
본 실시예에 의하면, 광블랙 영역의 데이터를 이용함으로써 동일한 프레임에서 노이즈 성분을 추출하여 제거할 수 있으므로, 노이즈 성분 제거 시간을 단축할 수 있으며, 노이즈 성분이 변하는 경우에도 그 변화가 동일한 프레임에 실시간으로 반영되므로 즉각적으로 대응할 수 있게 된다.
도 5는 본 발명의 제2실시예에 따른 고정패턴잡음 처리방법을 나타내는 흐름도이며, 도 6은 본 실시예의 고정패턴잡음 처리방법을 도식적으로 보여주는 도면이다.
우선, 이미지 센서(100)로부터 고정패턴잡음(130, 도 6 참조) 특성 데이터를 가지고 있는 영상(140, 도 6 참조)(이하, 제1 프레임이라 한다)의 픽셀 데이터(이하, 제1 픽셀 데이터라 한다)가 픽셀 레지스터부(210)에 입력되면(S30), 픽셀 레지스터부(210)는 입력된 제1 픽셀 데이터를 연산처리부(220)로 전송하고, 연산처리부(220)는 제1 픽셀 데이터에 대하여 각 열별로 픽셀 데이터의 평균을 산출한다(S32). 산출된 평균값은 메모리(230)에 저장할 수 있다.
여기에서, 고정패턴잡음의 특성 데이터를 가지고 있는 영상(140)은 이미지 센서(100) 자체가 갖는 고유의 특정한 고정패턴잡음(130)의 분포를 미리 인식하기 위한 것으로서, 본 단계(S32)에서는, 이미지 센서(100)에서 고정패턴잡음(130)의 특성 데이터를 가지고 있는 영상(140)의 픽셀 데이터를 수신하고, 수신된 픽셀 데이터로부터 고정패턴잡음의 평균값을 각 열별로 산출한다. 예컨대, 이미지 센서(100)로부터 고정패턴잡음(130)의 특성 데이터를 갖는 영상(140)을 얻는 방법 중의 하나는 광블랙 영역의 소정 개수의 행의 픽셀 데이터를 이미지 센서의 모든 픽셀에 대해 반복 출력하여 고정패턴잡음에 대한 데이터를 획득하는 방법을 사용할 수 있다.
이렇게 고정패턴잡음에 대한 데이터의 평균값을 산출한 후, 이미지 센서 (100)로부터 다른 제2 프레임 즉, 고정패턴잡음을 제거하기 위한 프레임의 데이터(제2 픽셀 데이터)가 픽셀 레지스터부에 입력되면(S34), 연산처리부(220)는 이를 전송받아 이 제2 픽셀 데이터로부터 상기 단계(S32)에서 산출한 평균값을 각 열별로 대응하여 감산한다(S36).
한편, 상기 제2 픽셀 데이터는 픽셀 레지스터부(S34)로부터 연산처리부(220)로 행 단위로 순차적으로 입력되어, 행 단위로 순차적으로 감산한 후 행 단위로 결과를 출력할 수도 있으며, 프레임 단위로 입력받아 프레임 전체에 대하여 한꺼번에 감산을 수행할 수도 있다.
이렇게 함으로써, 도 7과 같이 고정패턴잡음이 제거된 깨끗한 영상을 획득할 수 있게 된다.
도 5의 실시예에서도 제1 실시예에서 설명한 바와 같이, 연산처리부(220)는 픽셀의 색상 특성에 따른 노이즈 성분을 제거하기 위해, 각 행의 픽셀 데이터로부터 대응하는 평균을 감산연산하기 전에, 각 평균이나 또는 누적 합산되는 각 열의 픽셀 데이터 중 홀수번째 또는 짝수번째 데이터 중 적어도 어느 하나에 가중치를 부여할 수 있으며, 마찬가지로 홀수번째 데이터와 짝수번째 데이터에 서로 다른 가중치를 부여할 수도 있다.
또한, 도 5의 실시예는 고정패턴잡음에 대한 데이터의 평균값을 행 단위로 각 열별로 산출하는 경우에 대해서 설명하였으나, 열 단위로 각 행별로 산출할 수도 있음은 물론이다. 이러한 경우, 제2 프레임의 픽셀 데이터로부터 감산을 수행할 때 각 행별로 대응하여 감산을 수행한다.
또한, 도 5의 실시예에서도, 이미지 센서(100)로부터 픽셀 레지스터부(210)로의 데이터 전송은 프레임 단위로 이루어지는 것으로 설명하였으나, 행 또는 열 단위로 순차적으로 입력되도록 구성할 수도 있다. 이러한 경우에도 앞서 설명한 바와 마찬가지로 픽셀 레지스터부(210)의 구성을 생략하고 이미지 센서(100)로부터 연산처리부(220)로 직접 데이터가 입력되도록 구성하거나 픽셀 레지스터부(210)와 연산처리부(220)를 통합적으로 구성할 수도 있음은 물론이다.
또한, 상기 실시예에서, 제1 프레임의 픽셀 데이터의 평균들 중 n번째 열의 평균이 소정 기준값 이하인 경우에도, 제1 실시예에서와 마찬가지로 해당 열의 평균값을 초기화할 수 있다.
이상, 본 발명의 구성 및 작용을 본 발명에 의한 바람직한 실시예들을 참조하여 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것은 아니며, 본 발명의 기술적 사상의 범위내에서 당 분야에서 통상의 지식을 가진 자에 의하여 여러 가지 변형 실시가 가능함은 물론이다.
본 발명에 의하면, 별도의 보정 장치나 회로를 이용하지 않고 이미지 센서의 고정패턴잡음을 간편하고 효율적으로 제거함으로써, 비용 절감과 수율 및 영상 품질을 높일 수 있는 이미지 센서의 고정패턴잡음 처리 방법 및 장치를 제공할 수 있다.

Claims (22)

  1. 이미지 센서와 결합된 고정패턴잡음처리 장치에서 이미지 센서의 고정패턴잡음을 처리하는 방법에 있어서,
    이미지 센서로부터 특정 프레임에 대한 광블랙 영역의 픽셀 데이터를 입력받는 단계;
    상기 입력받은 광블랙 영역의 픽셀 데이터로부터 상기 광블랙 영역을 구성하는 복수개의 행에 대한 평균값을 열 별로 산출하거나, 상기 광블랙 영역을 구성하는 복수개의 열에 대한 평균값을 행 별로 산출하는 단계-여기서, 상기 산출된 평균값 중 n(n은 자연수, 이하 동일)번째 열 또는 행의 평균값이 소정 기준값 이하인 경우, 상기 n번째 열 또는 행의 평균값을 초기화함-; 및
    상기 광블랙 영역을 구성하는 복수개의 행에 대하여 열 별로 산출된 평균값 을 상기 특정 프레임의 액티브 영역의 픽셀 데이터로부터 열 별로 대응하여 감산하거나, 상기 광블랙 영역을 구성하는 복수개의 열에 대하여 행 별로 산출된 평균값을 상기 특정 프레임의 액티브 영역의 픽셀 데이터로부터 행 별로 대응하여 감산하는 단계
    를 포함하는 이미지센서의 고정패턴잡음 처리방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 이미지 센서와 결합된 고정패턴잡음처리 장치에서 이미지 센서의 고정패턴잡음을 처리하는 방법에 있어서,
    이미지 센서로부터 특정 프레임에 대한 광블랙 영역의 픽셀 데이터를 입력받는 단계;
    상기 입력받은 광블랙 영역의 픽셀 데이터 중, 2n-1번째 행 또는 열의 픽셀 데이터 및 2n번째 행 또는 열 픽셀 데이터 중 적어도 어느 하나에 소정의 가중치를 부여하는 단계;
    상기 가중치가 부여된 광블랙 영역의 픽셀 데이터로부터 고정패턴잡음 특성 데이터를 추출하는 단계; 및
    상기 특정 프레임의 액티브 영역의 픽셀 데이터로부터 상기 추출한 고정패턴잡음 특성 데이터를 감산하는 단계
    를 포함하는 이미지센서의 고정패턴잡음 처리방법.
  7. 이미지 센서와 결합된 고정패턴잡음처리 장치에서 고정패턴잡음을 처리하는 방법에 있어서,
    이미지 센서로부터 고정패턴잡음 특성에 대한 데이터를 갖는 제1 프레임의 픽셀 데이터를 입력받는 단계;
    상기 입력받은 제1 프레임의 픽셀 데이터로부터 상기 제1 프레임을 구성하는 복수개의 행에 대한 평균값을 열 별로 산출하거나, 상기 제1 프레임을 구성하는 복수개의 열에 대한 평균값을 행 별로 산출하는 단계-여기서, 상기 산출된 평균값 중 n(n은 자연수, 이하 동일)번째 열 또는 행의 평균값이 소정 기준값 이하인 경우, 상기 n번째 열 또는 행의 평균값을 초기화함-; 및
    이미지 센서로부터 제2 프레임의 픽셀 데이터를 입력받아, 상기 제1 프레임을 구성하는 복수개의 행에 대하여 열 별로 산출한 평균값을 상기 제2 프레임의 픽셀 데이터로부터 열 별로 대응하여 감산하거나, 상기 제1 프레임을 구성하는 복수개의 열에 대하여 행 별로 산출한 평균값을 상기 제2 프레임의 픽셀 데이터로부터 행 별로 대응하여 감산하는 단계
    를 포함하는 이미지센서의 고정패턴잡음 처리방법.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 이미지 센서와 결합된 고정패턴잡음처리 장치에서 고정패턴잡음을 처리하는 방법에 있어서,
    이미지 센서로부터 고정패턴잡음 특성에 대한 데이터를 갖는 제1 프레임의 픽셀 데이터를 입력받는 단계;
    상기 입력받은 제1 프레임의 픽셀 데이터 중 2n-1번째 행 또는 열의 픽셀 데이터 및 2n번째 행 또는 열 픽셀 데이터 중 적어도 어느 하나에 소정의 가중치를 부여하는 단계;
    상기 가중치를 부여한 제1 프레임의 픽셀 데이터로부터 고정패턴잡음 특성 데이터를 추출하는 단계; 및
    이미지 센서로부터 제2 프레임의 픽셀 데이터를 입력받아, 이로부터 상기 추출된 고정패턴잡음 특성 데이터를 감산하는 단계
    를 포함하는 이미지센서의 고정패턴잡음 처리방법.
  13. 이미지 센서로부터 특정 프레임에 대한 픽셀 데이터를 입력받아 저장하는 픽셀 레지스터부; 및
    상기 픽셀 레지스터부로부터 특정 프레임에 대한 픽셀 데이터를 입력받아 상기 특정 프레임의 픽셀 데이터 중 광블랙 영역을 구성하는 복수개의 행에 대한 평균값을 열 별로 산출하거나 또는 상기 특정 프레임의 픽셀 데이터 중 광블랙 영역을 구성하는 복수개의 열에 대한 평균값을 행 별로 산출하고, 상기 열 별로 산출한 평균값을 상기 특정 프레임의 액티브 영역의 픽셀 데이터로부터 열 별로 대응하여 감산하거나 또는 상기 행 별로 산출한 평균값을 상기 특정 프레임의 액티브 영역의 픽셀 데이터로부터 행 별로 대응하여 감산하여 출력하는 연산처리부
    를 포함하되,
    상기 연산처리부는 상기 열 또는 행 별로 산출된 평균값 중 n(n은 자연수, 이하 동일)번째 열 또는 행의 평균값이 소정 기준값 이하인 경우, 상기 n번째 열 또는 행의 평균값을 초기화하는 것
    을 특징으로 하는 이미지 센서의 고정패턴잡음 처리장치.
  14. 삭제
  15. 삭제
  16. 제13항에 있어서,
    상기 평균값을 저장하는 메모리를 더 포함하는 것
    을 특징으로 하는 이미지센서의 고정패턴잡음 처리장치.
  17. 제16항에 있어서,
    상기 메모리를 장치 외부와 연결하여 장치 외부로부터의 신호에 의해 상기 메모리에 저장된 데이터를 변경하는 통신 인터페이스
    를 더 포함하는 것을 특징으로 하는 이미지센서의 고정패턴잡음 처리장치.
  18. 이미지 센서로부터 고정패턴잡음 특성을 나타내는 제1 프레임의 픽셀 데이터와 제2 프레임의 데이터를 입력받아 저장하는 픽셀 레지스터부; 및
    상기 픽셀 레지스터부로부터 제1 프레임의 픽셀 데이터를 입력받아 상기 제1 프레임을 구성하는 복수개의 행에 대한 평균값을 열 별로 산출하거나 또는 상기 제1 프레임을 구성하는 복수개의 열에 대한 평균값을 행 별로 산출하고, 상기 열 별로 산출한 평균값을 상기 제2 프레임의 픽셀 데이터로부터 열 별로 대응하여 감산하거나 또는 상기 행 별로 산출한 평균값을 상기 제2 프레임의 픽셀 데이터로부터 행 별로 대응하여 감산하여 출력하는 연산처리부
    를 포함하되,
    상기 연산처리부는 상기 열 또는 행 별로 산출한 평균값 중 n(n은 자연수, 이하 동일)번째 열 또는 행의 평균값이 소정 기준값 이하인 경우, 상기 n번째 열 또는 행의 평균값을 초기화하는 것
    을 특징으로 하는 이미지 센서의 고정패턴잡음 처리장치.
  19. 삭제
  20. 삭제
  21. 제18항에 있어서,
    상기 평균값을 저장하는 메모리를 더 포함하는 것
    을 특징으로 하는 이미지센서의 고정패턴잡음 처리장치.
  22. 제21항에 있어서,
    상기 메모리를 장치 외부와 연결하여 장치 외부로부터의 신호에 의해 상기 메모리에 저장된 데이터를 변경하는 통신 인터페이스
    를 더 포함하는 것을 특징으로 하는 이미지센서의 고정패턴잡음 처리장치.
KR1020050066984A 2005-07-22 2005-07-22 이미지 센서의 고정패턴잡음 처리 방법 및 장치 KR100752302B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050066984A KR100752302B1 (ko) 2005-07-22 2005-07-22 이미지 센서의 고정패턴잡음 처리 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050066984A KR100752302B1 (ko) 2005-07-22 2005-07-22 이미지 센서의 고정패턴잡음 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20070012124A KR20070012124A (ko) 2007-01-25
KR100752302B1 true KR100752302B1 (ko) 2007-08-29

Family

ID=38012647

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050066984A KR100752302B1 (ko) 2005-07-22 2005-07-22 이미지 센서의 고정패턴잡음 처리 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100752302B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101429512B1 (ko) * 2009-12-07 2014-08-14 삼성테크윈 주식회사 밴딩 노이즈 제거 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0767038A (ja) * 1993-08-24 1995-03-10 Sony Corp 固体撮像装置
JP2004015712A (ja) 2002-06-11 2004-01-15 Sony Corp 固体撮像装置及びその固定パターン雑音除去方法
JP2004208240A (ja) 2002-12-26 2004-07-22 Matsushita Electric Ind Co Ltd 撮像装置
JP2005109772A (ja) 2003-09-30 2005-04-21 Sanyo Electric Co Ltd 固体撮像素子を用いたビデオカメラ装置の黒レベル補正回路および黒レベル補正方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0767038A (ja) * 1993-08-24 1995-03-10 Sony Corp 固体撮像装置
JP2004015712A (ja) 2002-06-11 2004-01-15 Sony Corp 固体撮像装置及びその固定パターン雑音除去方法
JP2004208240A (ja) 2002-12-26 2004-07-22 Matsushita Electric Ind Co Ltd 撮像装置
JP2005109772A (ja) 2003-09-30 2005-04-21 Sanyo Electric Co Ltd 固体撮像素子を用いたビデオカメラ装置の黒レベル補正回路および黒レベル補正方法

Also Published As

Publication number Publication date
KR20070012124A (ko) 2007-01-25

Similar Documents

Publication Publication Date Title
US11457168B2 (en) Image sensor and image capturing apparatus
JP6239975B2 (ja) 固体撮像装置及びそれを用いた撮像システム
US7786921B2 (en) Data processing method, data processing apparatus, semiconductor device, and electronic apparatus
KR101464750B1 (ko) 고체 촬상 장치, 고체 촬상 장치의 신호 처리 장치 및 신호처리 방법과 촬상 장치
US11539907B2 (en) Image sensor and image capturing apparatus
JP5187550B2 (ja) 撮像装置
EP1271930B1 (en) Image sensing apparatus capable of outputting image with converted resolution, its control method, and image sensing system
JP4230967B2 (ja) 撮像装置、撮像装置の制御方法、ｃｍｏｓイメージセンサ
JP5871496B2 (ja) 撮像装置及びその駆動方法
KR100996663B1 (ko) 고체촬상장치 및 그 신호독출방법
JP6872956B2 (ja) 撮像システム及び撮像システムの制御方法
US10063762B2 (en) Image sensor and driving method thereof, and image capturing apparatus with output signal control according to color
JP2007531351A (ja) 電荷ビニング型イメージセンサ
JP6336286B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法および撮像装置を有する撮影装置
US10033951B2 (en) Image sensor that performs different readout operations and image capturing apparatus including image sensor
JP4702571B2 (ja) 列並列イメージセンサーの列オフセットの作成及び格納
JP5607265B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
KR100752302B1 (ko) 이미지 센서의 고정패턴잡음 처리 방법 및 장치
KR100733010B1 (ko) 이미지 센서의 결함픽셀 보간 방법 및 장치
US9380229B2 (en) Digital imaging systems including image sensors having logarithmic response ranges and methods of determining motion
JP6433276B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2019075718A (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120710

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130731

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140728

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150729

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160801

Year of fee payment: 10