KR20140028938A - 이미지 센서 및 노이즈 처리 방법 - Google Patents
이미지 센서 및 노이즈 처리 방법 Download PDFInfo
- Publication number
- KR20140028938A KR20140028938A KR1020120096360A KR20120096360A KR20140028938A KR 20140028938 A KR20140028938 A KR 20140028938A KR 1020120096360 A KR1020120096360 A KR 1020120096360A KR 20120096360 A KR20120096360 A KR 20120096360A KR 20140028938 A KR20140028938 A KR 20140028938A
- Authority
- KR
- South Korea
- Prior art keywords
- pixel
- region
- pixel data
- average value
- area
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 49
- 238000012545 processing Methods 0.000 title claims description 13
- 230000003287 optical effect Effects 0.000 claims abstract description 47
- 238000003672 processing method Methods 0.000 claims abstract description 14
- 238000013500 data storage Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 3
- 230000006866 deterioration Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000003379 elimination reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 102100032932 COBW domain-containing protein 1 Human genes 0.000 description 1
- 101000797557 Homo sapiens COBW domain-containing protein 1 Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Power Engineering (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
본 발명은 이미지 센서의 블랙 레벨 보상과 고정 패턴 잡음 제거를 동시에 수행할 수 있는 이미지 센서 및 노이즈 처리 방법에 관한 것으로, 액티브 픽셀 어레이 영역과, 상기 액티브 픽셀 어레이 영역의 컬럼 방향의 적어도 일측에 형성된 제 1 광블랙 픽셀 영역과, 상기 액티브 픽셀 어레이 영역의 로우 방향의 적어도 일측에 형성된 제 2 광블랙 픽셀 영역을 포함하는 이미지 센서의 노이즈 처리 방법에 있어서, 상기 제 1 광블랙 영역의 픽셀 데이터를 로우 방향으로 추출하는 단계; 상기 추출된 제 1 광블랙 영역의 픽셀 데이터로부터 복수개의 로우에 대한 전체 평균값과 컬럼별 평균값을 산출하는 단계; 상기 제 2 광블랙 영역 및 액티브 픽셀 영역의 픽셀 데이터를 로우 방향으로 추출하는 단계; 상기 추출된 제 2 광블랙 영역의 픽셀 데이터로부터 복수개의 컬럼에 대한 로우별 평균값을 산출하는 단계; 및 상기 산출된 평균값들을 이용하여, 블랙 레벨 보상 및 고정 패턴 잡음 제거가 수행된 실제 픽셀 데이터를 산출하는 단계를 포함하는 것을 특징으로 한다.
Description
본 발명은 이미지 센서에 관한 것으로, 보다 자세하게는, 이미지 센서의 블랙 레벨 보상과 고정 패턴 잡음 제거를 동시에 수행할 수 있는 이미지 센서 및 노이즈 처리 방법에 관한 것이다.
이미지 센서는 광학적 영상을 전기적 신호로 변환시키는 반도체 소자로서, 최근 디지털 카메라, 이동 통신 단말기 등에 많이 사용되고 있다. 이러한 이미지 센서는 각 피사체에서 발생하는 빛을 감지하여 전기적인 값으로 변환하는 픽셀 어레이 등으로 구성된다.
요즘 이미지 센서의 고픽셀, 소형화로 인해 픽셀 사이즈가 줄어 들고 제조 공정이 미세해짐에 따라 암전류(dark i), 암전류에 의해 발생하는 암전류 노이즈, 포톤 샷 노이즈(photon shot noise), MOS 디바이스 노이즈 등의 영향이 커지고 있다.
특히, 암전류의 증가는 소자의 성능 저하와 전하저장 능력 저하와 같은 문제점을 야기하며, 특히 저조도 환경에서 이미지 센서의 성능 저하와 전하저장 능력 저하와 같은 심각한 문제를 야기한다. 이러한 암전류의 문제를 해결하기 위해 현재에는 블랙 레벨 보상 회로를 사용하여 암전류에 의해 발생하는 블랙 레벨값을 보상하고 있다.
블랙 레벨 보상 회로는 광학적 영상과는 전혀 상관없이 열에 의해 발생되는 암전류만을 추출하기 위해, 빛이 완전히 차단되어 있는 옵티컬 블랙 영역의 픽셀 데이터값(즉, 블랙 픽셀값)을 사용해 블랙 레벨값을 추출하여 블랙 레벨 보상을 수행한다.
또한, 전하변조소자(charge modulation device, CMD), 기본저장 이미지 센서(base stored image sensor, BASIS), 벌크 전하 변조 소자(bulk charge modulation device, BCMD) 등의 CMOS 타입의 이미지 센서는 능동 소자의 특성, 예컨대, 임계값(Vth) 등의 편차가 영상 신호상에 중첩되어 나타나게 된다.
이러한 특성 편차는 각 픽셀에 대해 고정된 값을 가지므로 화면상의 영상에 고정 패턴 잡음(fixed pattern noise, FPN)을 유발시키는 원인이 된다. 특히, 인접 픽셀간 거리가 가까워짐으로 인해, 컬럼별로 배치된 회로에서 가지는 옵셋에 의해 이미지를 구현할 때에 생기는 노이즈인 CFPN(column fixed pattern noise)에 의해서 비정상적인 출력 이미지가 발생한다.
도 1 은 종래의 이미지 센서로부터 얻은 영상에 나타나는 수직 방향의 고정 패턴 잡음을 설명하기 위한 도면이다.
도 1 에 도시된 바와 같이, 종래의 이미지 센서로부터 얻은 영상(12)에는 수직 방향으로 줄무늬 형태의 고정 패턴 잡음(14)이 나타난다. 이러한 고정 패턴 잡음(14)은 주로 공정상 발생할 수 있는 결함이나 설계 잘못으로 인해 발생된다. 예를 들면, 픽셀회로 내의 스위치에서 임계 전압(Vth)의 편차가 존재하면, 동일한 신호량이 모든 픽셀회로로부터 출력될 때, 출력되는 출력 신호의 신호량이 일정하지 않고, 각 스위치의 임계 전압이 출력 신호에 중첩되어 나타난다. 따라서, 화면상에 표시되는 영상(12)에는 고정 패턴 잡음(14)으로 나타나고, 화질을 저하시키는 요인이 된다.
하지만, 종래의 이미지 센서에서는 블랙 레벨 보상 과정과 고정 패턴 잡음 제거 과정이 별개의 프로세서를 통해 이루어지고 있다. 따라서, 블랙 레벨 보상 과정이나 고정 패턴 잡음 제거 과정을 각각 처리하기 위해 소프트웨어적인 이미지 처리에 많은 시간이 소요될 뿐만 아니라 하드웨어적인 리소스(RESOURCE)도 많이 차지하여 전반적인 이미지 처리가 비효율적이었다.
본 발명의 실시예는 별도의 보정 장치나 회로를 이용하지 않고 이미지 센서의 블랙 레벨 보상 과정 및 고정 패턴 잡음 제거 과정을 한번에 수행할 수 있는 이미지 센서 및 노이즈 처리 방법을 제공함을 목적으로 한다.
본 발명의 실시예에 따른 이미지 센서의 노이즈 처리 방법은, 액티브 픽셀 어레이 영역과, 상기 액티브 픽셀 어레이 영역의 컬럼 방향의 적어도 일측에 형성된 제 1 광블랙 픽셀 영역과, 상기 액티브 픽셀 어레이 영역의 로우 방향의 적어도 일측에 형성된 제 2 광블랙 픽셀 영역을 포함하는 이미지 센서의 노이즈 처리 방법에 있어서, 상기 제 1 광블랙 영역의 픽셀 데이터를 로우 방향으로 추출하는 단계; 상기 추출된 제 1 광블랙 영역의 픽셀 데이터로부터 복수개의 로우에 대한 전체 평균값과 컬럼별 평균값을 산출하는 단계; 상기 제 2 광블랙 영역 및 액티브 픽셀 영역의 픽셀 데이터를 로우 방향으로 추출하는 단계; 상기 추출된 제 2 광블랙 영역의 픽셀 데이터로부터 복수개의 컬럼에 대한 로우별 평균값을 산출하는 단계; 상기 산출된 평균값들을 이용하여, 블랙 레벨 보상 및 고정 패턴 잡음 제거가 수행된 실제 픽셀 데이터를 산출하는 단계를 포함한다.
또한, 본 발명의 실시예에 따른 이미지 센서는, 액티브 픽셀 어레이 영역과, 상기 액티브 픽셀 어레이 영역의 컬럼 방향의 적어도 일측에 형성된 제 1 광블랙 픽셀 영역과, 상기 액티브 픽셀 어레이 영역의 로우 방향의 적어도 일측에 형성된 제 2 광블랙 픽셀 영역을 포함하는 픽셀 어레이부; 상기 픽셀 어레이부의 각 영역별 픽셀 데이터를 입력받아 저장하는 픽셀 데이터 저장부; 및 상기 픽셀 데이터 저장부에 저장된 픽셀 데이터를 입력받아 상기 제 1 광블랙 영역의 복수개의 로우에 대한 전체 평균값과 컬럼별 평균값을 산출하고, 상기 제 2 광블랙 영역의 복수개의 컬럼에 대한 로우별 평균값을 산출하여, 블랙 레벨 보상 및 고정 패턴 잡음 제거가 수행된 실제 픽셀 데이터를 산출하는 연산 처리부를 포함한다.
본 발명에 따른 이미지 센서는 별도의 보정 장치나 회로를 이용하지 않고 블랙 레벨 보상 과정을 수행하는 동시에 고정 패턴 잡음 제거 과정을 수행함으로써 하드웨어적인 리소스 사용을 줄일 수 있어 면적 감소 및 그에 따른 전류 소모를 줄일 수 있다는 효과를 가진다.
또한, 본 발명에 따른 이미지 센서는, 블랙 레벨 보상 처리 과정 및 고정 패턴 잡음 제거 과정을 하나의 알고리즘으로 수행함으로써 소프트웨어적인 이미지 처리에 소요되는 시간을 줄일 수 있다는 효과를 가진다.
또한, 본 발명에 따른 이미지 센서는 블랙 레벨 보상 처리 과정 및 고정 패턴 잡음 상쇄를 간편하고 효율적으로 제거함으로써, 비용 절감과 수율 및 영상 품질을 높일 수 있다는 효과를 가진다.
도 1 은 종래의 이미지 센서로부터 얻은 영상에 나타나는 수직 방향의 고정 패턴 잡음을 설명하기 위한 도면이다.
도 2 는 본 발명의 일실시예에 따른 이미지 센서의 블록도이다.
도 3 은 도 2 의 픽셀 어레이부의 구조를 설명하기 위한 도면이다.
도 4 는 도 2 의 픽셀 데이터 저장부의 상세 구성을 설명하기 위한 도면이다.
도 5a 내지 도 5c 는 본 발명의 또 다른 일실시예에 따라 블랙 레벨 보상 처리 과정 및 고정 패턴 잡음 제거 과정을 보여주기 위한 그래프이다.
도 6 는 본 발명의 일실시예에 따라 블랙 레벨 보상 처리 과정 및 고정 패턴 잡음 제거 과정을 하나의 알고리즘으로 수행하는 것을 설명하기 위한 따른 플로우 차트이다.
도 2 는 본 발명의 일실시예에 따른 이미지 센서의 블록도이다.
도 3 은 도 2 의 픽셀 어레이부의 구조를 설명하기 위한 도면이다.
도 4 는 도 2 의 픽셀 데이터 저장부의 상세 구성을 설명하기 위한 도면이다.
도 5a 내지 도 5c 는 본 발명의 또 다른 일실시예에 따라 블랙 레벨 보상 처리 과정 및 고정 패턴 잡음 제거 과정을 보여주기 위한 그래프이다.
도 6 는 본 발명의 일실시예에 따라 블랙 레벨 보상 처리 과정 및 고정 패턴 잡음 제거 과정을 하나의 알고리즘으로 수행하는 것을 설명하기 위한 따른 플로우 차트이다.
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다.
도 2 는 본 발명의 일실시예에 따른 이미지 센서(100)의 블록도이고, 도 3 은 도 2 의 픽셀 어레이부(200)의 구조를 설명하기 위한 도면이고 도 4 는 도 2 의 픽셀 데이터 저장부(300)의 상세 구성을 설명하기 위한 도면이다. 도 5a 내지 도 5c 는 본 발명의 또 다른 일실시예에 따라 블랙 레벨 보상 처리 과정 및 고정 패턴 잡음 제거 과정을 보여주기 위한 그래프이다.
도 2 를 참조하면, 본 발명의 일실시예에 따른 이미지 센서(100)는 픽셀 어레이부(200), 상기 픽셀 어레이부(200)의 각 영역별 픽셀 데이터를 입력받아 저장하는 픽셀 데이터 저장부(300) 및 상기 픽셀 데이터 저장부(300)에 저장된 픽셀 데이터를 입력받아 블랙 레벨 보상 및 고정 패턴 잡음 제거가 수행된 실제 픽셀 데이터를 산출하는 연산 처리부(400)를 포함한다.
도 3 에 도시된 바와 같이, 상기 픽셀 어레이부(200)는, 액티브 픽셀 어레이 영역(220)과, 상기 액티브 픽셀 어레이 영역(220)의 컬럼 방향의 적어도 일측에 형성된 제 1 광블랙 픽셀 영역(260)과, 상기 액티브 픽셀 어레이 영역(220)의 로우 방향의 적어도 일측에 형성된 제 2 광블랙 픽셀 영역(280)을 포함한다. 또한, 상기 픽셀 어레이부(200)는, 제 1 광블랙 픽셀 영역(260) 및 제 2 광블랙 픽셀 영역(280) 사이의 영역 및 그들 외곽 영역을 둘러싸도록 형성된 더미 픽셀 영역(240)을 더 포함한다.
상기 제 1 광블랙 픽셀 영역(260)은 상기 액티브 픽셀 어레이 영역(220)의 상부로부터 소정 간격 이격되어 수평(로우) 방향으로 확장 형성된 상부 광블랙 픽셀 영역 TOBP으로 구성된다. 다른 실시예에서, 상기 제 1 광블랙 픽셀 영역(260)은, 상기 액티브 픽셀 어레이 영역(220)의 하부로부터 소정 간격 이격되어 수평(로우) 방향으로 확장 형성된 하부 광블랙 픽셀 영역을 더 구비할 수 있다.
상기 제 2 광블랙 픽셀 영역(280)은 상기 액티브 픽셀 어레이 영역(220)의 적어도 일측으로부터 소정 간격 이격되어 수직(컬럼) 방향으로 확장 형성된 적어도 하나의 컬럼 광블랙 픽셀 영역 COBP으로 구성된다. 다른 실시예에서, 상기 제 2 광블랙 픽셀 영역(280)은 상기 액티브 픽셀 어레이 영역(220)의 양단으로부터 이격되어 형성된 두 개의 컬럼 광블랙 픽셀 영역을 구비할 수 있다.
상기 액티브 픽셀 어레이 영역(220)은 포토 리셉터의 광전변환 특성을 이용하여 입사광을 전기적 신호로 변환한다. 상기 더미 픽셀 영역(240)은 메탈로 쉴드 되어 빛이 입사되지 않는 영역이며, 상기 액티브 픽셀 어레이 영역(220) 이외의 영역으로의 광 입사를 방지하기 위해 구비된다. 상기 제 1 광블랙 픽셀 영역(260) 및 제 2 광블랙 픽셀 영역(280)은 블랙 레벨 보상을 위해 구비되는 영역으로, 상기 더미 픽셀 영역(240)에 의해 둘러싸이도록 구성될 수 있다. 바람직하게는, 상기 제 2 광블랙 픽셀 영역(280)의 상단 및 하단은 상기 액티브 픽셀 어레이 영역(220)의 상단 및 하단과 정렬되도록 배치되고, 상기 제 1 광블랙 픽셀 영역(260)의 우측과 좌측은 상기 제 2 광블랙 픽셀 영역(280)의 좌측과 상기 액티브 픽셀 어레이 영역(220)의 우측과 각각 정렬되도록 배치될 수 있다.
참고로, 상기 제 1 광블랙 픽셀 영역(260) 및 제 2 광블랙 픽셀 영역(280)의 출력을 이용하여 옵셋 조절을 수행하는 방식으로 블랙 레벨 보상 과정을 수행한다. 즉, 광학적 영상과는 전혀 상관없이 열에 의해 발생되는 암전류만을 추출하기 위해, 빛이 완전히 차단되어 있는 광블랙 영역의 픽셀 데이터값, 즉, 블랙 픽셀값을 사용해 블랙 레벨값을 추출하여 블랙 레벨 보상을 수행할 수 있다.
도 4 에 도시된 바와 같이, 상기 픽셀 데이터 저장부(300)는 상기 제 1 광블랙 픽셀 영역(260)의 픽셀 데이터를 로우 방향으로 추출한 데이터를 저장하는 제 1 저장부(320) 및 상기 제 2 광블랙 픽셀 영역(280) 및 액티브 픽셀 영역(220)의 픽셀 데이터를 로우 방향으로 추출한 데이터를 저장하는 제 2 저장부(340)를 포함할 수 있다.
상기 연산 처리부(400)는 상기 픽셀 데이터 저장부(300)의 제 1 저장부(320)에 저장된 픽셀 데이터를 입력받아 상기 제 1 광블랙 픽셀 영역(260)의 복수개의 로우에 대한 전체 평균값 TOBP_AVG과, 복수개의 로우에 대한 컬럼별 평균값 TOBP_COL_AVG을 산출한다.
하기 수학식 1을 참조하면, 상기 제 1 광블랙 픽셀 영역(260)의 복수개의 로우에 대한 전체 평균값 TOBP_AVG은 복수개의 로우의 픽셀 데이터를 모두 더한 값 ∑TOBP을 전체 픽셀의 개수 i*j(i: 로우 개수, j: 컬럼 갯수)로 나눈 값으로, 양의 옵셋 POSITIVE_OFFSET과 글로벌 옵셋 GLOBAL_OFFSET의 합으로 표현될 수 있다. 이 때, 상기 글로벌 옵셋은 빛이 완전히 차단되어 있는 광블랙 영역의 픽셀 데이터값, 즉, 블랙 레벨값이고, 상기 양의 옵셋은 블랙 레벨값이 음의 정수를 가질 경우 후속단의 아날로그-디지털 컨버터 ADC에서 에러가 발생하는 문제를 방지하고자, 임의의 양의 옵셋을 보상값으로 부여한 값이다.
또한, 하기 수학식 2를 참조하면, 상기 제 1 광블랙 픽셀 영역(260)의 복수개의 로우에 대한 컬럼별 평균값 TOBP_COL_AVG은 복수개의 로우의 픽셀 데이터를 컬럼별로 더한 값을 로우의 개수 i(양의 정수)로 나눈 값으로, 양의 옵셋 POSITIVE_OFFSET과 글로벌 옵셋 GLOBAL_OFFSET과, 컬럼 고정 패턴 잡음 CFPN의 합으로 표현될 수 있다. 참고로, 수학식 2에 의해 산출된 상기 제 1 광블랙 픽셀 영역(260)의 복수개의 로우에 대한 컬럼별 평균값 TOBP_COL_AVG을 컬럼 별로 나열해 보면 도 5a 와 같은 그래프가 도출될 수 있다.
또한, 상기 연산 처리부(400)는 상기 픽셀 데이터 저장부(300)의 제 2 저장부(340)에 저장된 픽셀 데이터를 입력받아 상기 제 2 광블랙 픽셀 영역(280)의 복수개의 컬럼에 대한 로우별 평균값 COBP_ROW_AVG을 산출한다.
하기 수학식 3을 참조하면, 상기 제 2 광블랙 픽셀 영역(280)의 복수개의 컬럼에 대한 로우별 평균값 COBP_ROW_AVG은 복수개의 컬럼의 픽셀 데이터를 로우별로 더한 값을 컬럼의 개수 j(양의 정수)로 나눈 값으로, 양의 옵셋 POSITIVE_OFFSET과 글로벌 옵셋 GLOBAL_OFFSET과, 로우 고정 패턴 잡음 RFPN의 합으로 표현될 수 있다.
또한, 상기 연산 처리부(400)는 상기 픽셀 데이터 저장부(300)의 제 2 저장부(340)에 저장된 픽셀 데이터를 입력받아 상기 액티브 픽셀 어레이 영역(220)의 각 픽셀 데이터의 값 ACTIVE_PIXEL을 추출할 수 있다. 참고로, 하기 수학식 4를 참조하면, 상기 액티브 픽셀 어레이 영역(220)의 각 픽셀 데이터의 값 ACTIVE_PIXEL은 실제 얻고자 하는 데이터 REAL_DATA 이외에도, 양의 옵셋 POSITIVE_OFFSET과 글로벌 옵셋 GLOBAL_OFFSET과, 컬럼 고정 패턴 잡음 CFPN과, 로우 고정 패턴 잡음 RFPN의 합을 추가로 더한 값으로 표현될 수 있다. 참고로, 수학식 4에 의해 산출된 상기 액티브 픽셀 어레이 영역(220)의 각 픽셀 데이터의 값 ACTIVE_PIXEL을 컬럼 별로 나열해 보면 도 5b 와 같은 그래프가 도출될 수 있다.
상기 수학식 1 로부터 수학식 4까지를 참조하여, 상기 연산 처리부(400)는, 상기 액티브 픽셀 어레이 영역(220)의 각 픽셀 데이터 값 ACTIVE_PIXEL에서 상기 컬럼별 평균값 TOBP_COL_AVG 및 로우별 평균값 COBP_ROW_AVG을 감산하고, 상기 감산된 결과에서 상기 전체 평균값 TOBP_AVG을 가산하여 하기 수학식 5와 같이 실제 얻고자 하는 데이터 REAL_DATA를 산출할 수 있다. 참고로, 상기 실제 얻고자 하는 데이터 REAL_DATA을 컬럼 별로 나열해 보면 도 5c 와 같은 그래프가 도출될 수 있다. 따라서, 본 발명의 일실시예에 따른 노이즈 처리 방법은 블랙 레벨 보상 및 고정 패턴 잡음 제거가 수행된 실제 픽셀 데이터 REAL_DATA를 산출할 수 있다.
도 6 은 본 발명의 일실시예에 따라 블랙 레벨 보상 처리 과정 및 고정 패턴 잡음 제거 과정을 하나의 알고리즘으로 수행하는 것을 설명하기 위한 따른 플로우 차트이다.
도 6 을 참조하면, 우선, 한 프레임의 이미지를 얻기 위해 픽셀 어레이부(200)의 제 1 광블랙 픽셀 영역(260)의 픽셀 데이터를 로우 방향으로 추출하여(S500), 이를 픽셀 데이터 저장부(300)의 제 1 저장부(320)에 저장한다. 연산 처리부(400)는 상기 픽셀 데이터 저장부(300)의 제 1 저장부(320)에 저장된 픽셀 데이터를 입력받아, 이로부터 상기 제 1 광블랙 픽셀 영역(260)의 복수개의 로우에 대한 전체 평균값 TOBP_AVG과 컬럼별 평균값 TOBP_COL_AVG을 산출한다.(S520)
다음으로, 상기 픽셀 어레이부(200)의 제 2 광블랙 픽셀 영역(280) 및 액티브 픽셀 영역(220)의 픽셀 데이터를 로우 방향으로 추출하여 (S540), 이를 픽셀 데이터 저장부(300)의 제 2 저장부(340)에 저장한다. 상기 연산 처리부(400)는 상기 픽셀 데이터 저장부(300)의 제 2 저장부(340)에 저장된 픽셀 데이터를 입력받아, 이로부터 상기 제 2 광블랙 픽셀 영역(280)의 복수개의 컬럼에 대한 로우별 평균값 COBP_ROW_AVG을 산출한다.(S560)
마지막으로, 상기 연산 처리부(400)는 상기 액티브 픽셀 어레이 영역(220)의 각 픽셀 데이터 값 ACTIVE_PIXEL에서 상기 산출된 컬럼별 평균값 TOBP_COL_AVG 및 로우별 평균값 COBP_ROW_AVG을 감산하고, 상기 감산된 결과에서 상기 전체 평균값 TOBP_AVG을 가산하여 블랙 레벨 보상 및 고정 패턴 잡음 제거가 수행된 실제 얻고자 하는 데이터 REAL_DATA를 획득할 수 있다.(S580)
한편, 상기의 실시예에서는, 블랙 레벨 보상과 동시에 컬럼 고정 패턴 잡음 CFPN과 로우 고정 패턴 잡음 RFPN을 동시에 제거하는 방법에 대해 논의하였으나, 상기의 수학식 1 내지 수학식 5를 이용하여 상기 컬럼 고정 패턴 잡음 CFPN 혹은 상기 로우 고정 패턴 잡음 RFPN을 선택적으로 제거할 수도 있다. 예를 들어, 이하, 블랙 레벨 보상과 동시에 컬럼 고정 패턴 잡음 CFPN을 수행하는 방법에 대해 논의해 보고자 한다.
우선, 상기 수학식 2를 참조하여 제 1 광블랙 픽셀 영역(260)의 복수개의 로우에 대한 컬럼별 평균값 TOBP_COL_AVG을 산출한다. 이 때, 수학식 2에 의해 산출된 상기 복수개의 로우에 대한 컬럼별 평균값 TOBP_COL_AVG을 컬럼 별로 나열해 보면 도 5a 와 같은 그래프가 도출될 수 있다.
다음으로, 상기 수학식 4를 참조하여 액티브 픽셀 어레이 영역(220)의 각 픽셀 데이터의 값 ACTIVE_PIXEL을 산출할 수 있다. 이 때, 수학식 4에 의해 산출된 상기 액티브 픽셀 어레이 영역(220)의 각 픽셀 데이터의 값 ACTIVE_PIXEL을 컬럼 별로 나열해 보면 도 5b 와 같은 그래프가 도출될 수 있다.
마지막으로, 블랙 레벨 보상 처리 과정 및 컬럼 고정 패턴 잡음 (CFPN) 제거 과정이 수행된 데이터의 값을 얻기 위해서는, 상기 수학식 4(즉, 도 5b)에서 산출된 각 픽셀 데이터의 값 ACTIVE_PIXEL으로부터 상기 수학식 2(즉, 도 5a)에서 산출된 복수개의 로우에 대한 컬럼별 평균값 TOBP_COL_AVG을 감산한다. 결과적으로, 블랙 레벨 보상 처리 과정 및 컬럼 고정 패턴 잡음 (CFPN) 제거 과정이 수행된 데이터의 값, 즉, 실제 얻고자 하는 데이터 REAL_DATA에 로우 고정 패턴 잡음 (RFPN)이 합쳐진 값을 얻을 수 있다.
상기의 실시예에서는, 블랙 레벨 보상 처리 과정 및 컬럼 고정 패턴 잡음 (CFPN) 제거 과정이 수행된 이미지 처리 방법에 대해 논의하였지만, 비슷한 방법으로 블랙 레벨 보상 처리 과정 및 로우 고정 패턴 잡음 (RFPN) 제거 과정이 수행된 이미지 처리 방법도 가능하다.
전술한 바와 같이, 본 발명의 실시예에 따르면, 별도의 보정 장치나 회로를 이용하지 않고 이미지 센서의 블랙 레벨 보상 과정 및 고정 패턴 잡음 제거 과정을 한번에 수행할 수 있다.
또한, 상기의 실시예에서는, 상부 광블랙 픽셀 영역만이 구비된 것으로 설명되었으나, 액티브 픽셀 어레이 영역의 하부로부터 소정 간격 이격되어 수평(로우) 방향으로 확장 형성된 하부 광블랙 픽셀 영역이 더 구비될 수 있다. 이 경우에는, 상기 S500, S520 단계에서, 상부 광블랙 픽셀 영역과 하부 광블랙 픽셀 영역의 픽셀 데이터를 로우 방향으로 추출하여, 추출된 픽셀 데이터를 픽셀 데이터 저장부(300)의 제 1 저장부(320)에 저장한 뒤, 이로부터 상기 상부 광블랙 영역 및 하부 광블랙 영역의 복수개의 로우에 대한 전체 평균값 TOBP_AVG과 컬럼별 평균값 TOBP_COL_AVG을 산출할 수 있다.
또한, 상기의 실시예에서는, 하나의 컬럼 광블랙 픽셀 영역만이 구비된 것으로 설명되었으나, 액티브 픽셀 어레이 영역의 양단으로부터 이격되어 형성된 두 개의 컬럼 광블랙 픽셀 영역이 구비될 수 있다. 이 경우에는, 상기 S540, S560 단계에서, 두 개의 컬럼 광블랙 영역 및 액티브 픽셀 영역의 픽셀 데이터를 로우 방향으로 추출하여, 추출된 픽셀 데이터를 픽셀 데이터 저장부(300)의 제 2 저장부(340)에 저장한 뒤, 이로부터 상기 두 개의 컬럼 광블랙 영역의 복수개의 컬럼에 대한 로우별 평균값 COBP_ROW_AVG을 산출할 수 있다.
상기와 같이, 본 발명에 따른 이미지 센서는, 블랙 레벨 보상 처리 과정 및 고정 패턴 잡음 제거 과정을 하나의 알고리즘으로 수행함으로써 하드웨어적인 리소스 사용을 줄이고, 소프트웨어적인 이미지 처리에 소요되는 시간을 줄일 수 있어, 비용 절감과 수율 및 영상 품질을 높일 수 있다.
전술한 본 발명은 전술한 실시예들 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
200: 픽셀 어레이부 220: 액티브 픽셀 어레이 영역
240: 더미 픽셀 영역 260: 제 1 광블랙 픽셀 영역
280: 제 2 광블랙 픽셀 영역 300: 픽셀 데이터 저장부
400: 연산 처리부
240: 더미 픽셀 영역 260: 제 1 광블랙 픽셀 영역
280: 제 2 광블랙 픽셀 영역 300: 픽셀 데이터 저장부
400: 연산 처리부
Claims (15)
- 액티브 픽셀 어레이 영역과, 상기 액티브 픽셀 어레이 영역의 컬럼 방향의 적어도 일측에 형성된 제 1 광블랙 픽셀 영역과, 상기 액티브 픽셀 어레이 영역의 로우 방향의 적어도 일측에 형성된 제 2 광블랙 픽셀 영역을 포함하는 이미지 센서의 노이즈 처리 방법에 있어서,
상기 제 1 광블랙 영역의 픽셀 데이터를 로우 방향으로 추출하는 단계;
상기 추출된 제 1 광블랙 영역의 픽셀 데이터로부터 복수개의 로우에 대한 전체 평균값과 컬럼별 평균값을 산출하는 단계;
상기 제 2 광블랙 영역 및 액티브 픽셀 영역의 픽셀 데이터를 로우 방향으로 추출하는 단계;
상기 추출된 제 2 광블랙 영역의 픽셀 데이터로부터 복수개의 컬럼에 대한 로우별 평균값을 산출하는 단계; 및
상기 산출된 평균값들을 이용하여, 블랙 레벨 보상 및 고정 패턴 잡음 제거가 수행된 실제 픽셀 데이터를 산출하는 단계
를 포함하는 이미지 센서의 노이즈 처리 방법.
- 제 1 항에 있어서,
상기 전체 평균값은,
글로벌 옵셋을 포함하는 것을 특징으로 하는 이미지 센서의 노이즈 처리 방법.
- 제 1 항에 있어서,
상기 컬럼별 평균값은,
컬럼 고정 패턴 잡음 및 글로벌 옵셋을 포함하는 것을 특징으로 하는 이미지 센서의 노이즈 처리 방법.
- 제 1 항에 있어서,
상기 로우별 평균값은,
로우 고정 패턴 잡음 및 글로벌 옵셋을 포함하는 것을 특징으로 하는 이미지 센서의 노이즈 처리 방법.
- 제 1 항에 있어서,
상기 액티브 픽셀 영역의 픽셀 데이터는,
컬럼 고정 패턴 잡음, 로우 고정 패턴 잡음 및 글로벌 옵셋을 포함하는 것을 특징으로 하는 이미지 센서의 노이즈 처리 방법. - 제 1 항에 있어서,
상기 블랙 레벨 보상 및 고정 패턴 잡음 제거가 수행된 실제 픽셀 데이터를 산출하는 단계는,
상기 액티브 픽셀 영역의 픽셀 데이터에서 상기 컬럼별 평균값 및 로우별 평균값을 감산하는 단계; 및
상기 감산된 결과에서 상기 전체 평균값을 가산하는 단계
를 포함하는 것을 특징으로 하는 이미지 센서의 노이즈 처리 방법.
- 제 1 항에 있어서,
상기 전체 평균값, 상기 로우별 평균값, 상기 컬럼별 평균값 및 상기 액티브 픽셀 영역의 픽셀 데이터는,
상기 블랙 레벨의 값이 음의 정수를 가질 경우를 보상하기 위한 임의의 양의 옵셋을 더 포함하는 것을 특징으로 하는 이미지 센서의 노이즈 처리 방법.
- 액티브 픽셀 어레이 영역과, 상기 액티브 픽셀 어레이 영역의 컬럼 방향의 적어도 일측에 형성된 제 1 광블랙 픽셀 영역과, 상기 액티브 픽셀 어레이 영역의 로우 방향의 적어도 일측에 형성된 제 2 광블랙 픽셀 영역을 포함하는 픽셀 어레이부;
상기 픽셀 어레이부의 각 영역별 픽셀 데이터를 입력받아 저장하는 픽셀 데이터 저장부; 및
상기 픽셀 데이터 저장부에 저장된 픽셀 데이터를 입력받아 상기 제 1 광블랙 영역의 복수개의 로우에 대한 전체 평균값과 컬럼별 평균값을 산출하고, 상기 제 2 광블랙 영역의 복수개의 컬럼에 대한 로우별 평균값을 산출하여, 블랙 레벨 보상 및 고정 패턴 잡음 제거가 수행된 실제 픽셀 데이터를 산출하는 연산 처리부
를 포함하는 이미지 센서.
- 제 8 항에 있어서,
상기 픽셀 어레이부는,
상기 제 1 광블랙 픽셀 영역 및 상기 제 2 광블랙 픽셀 영역 사이의 영역 및 그들 외곽 영역을 둘러싸도록 형성된 더미 픽셀 영역을 더 포함하는 것을 특징으로 하는 이미지 센서.
- 제 8 항에 있어서,
상기 제 1 광블랙 픽셀 영역은,
상기 액티브 픽셀 어레이 영역의 상부 및/또는 하부로부터 소정 간격 이격되어 수평(로우) 방향으로 확장 형성된 것을 특징으로 하는 이미지 센서.
- 제 10 항에 있어서,
상기 제 1 광블랙 픽셀 영역의 우측과 좌측은,
상기 제 2 광블랙 픽셀 영역의 좌측과 상기 액티브 픽셀 어레이 영역의 좌측과 각각 정렬되도록 배치되는 것을 특징으로 하는 이미지 센서.
- 제 8 항에 있어서,
상기 제 2 광블랙 픽셀 영역은,
상기 액티브 픽셀 어레이 영역의 적어도 일측으로부터 소정 간격 이격되어 수직(컬럼) 방향으로 확장 형성된 것을 특징으로 하는 이미지 센서.
- 제 12 항에 있어서,
상기 제 2 광블랙 픽셀 영역의 상단 및 하단은,
상기 액티브 픽셀 어레이 영역의 상단 및 하단과 정렬되도록 배치되는 것을 특징으로 하는 이미지 센서.
- 제 8 항에 있어서,
상기 픽셀 데이터 저장부는,
상기 제 1 광블랙 영역의 픽셀 데이터를 로우 방향으로 추출한 데이터를 저장하는 제 1 저장부; 및
상기 제 2 광블랙 영역 및 액티브 픽셀 영역의 픽셀 데이터를 로우 방향으로 추출한 데이터를 저장하는 제 2 저장부
를 포함하는 이미지 센서.
- 제 8 항에 있어서,
상기 연산 처리부는,
상기 액티브 픽셀 데이터에서 상기 컬럼별 평균값 및 로우별 평균값을 감산하고, 상기 감산된 결과에서 상기 전체 평균값을 가산하는 것을 특징으로 하는 이미지 센서.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120096360A KR20140028938A (ko) | 2012-08-31 | 2012-08-31 | 이미지 센서 및 노이즈 처리 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120096360A KR20140028938A (ko) | 2012-08-31 | 2012-08-31 | 이미지 센서 및 노이즈 처리 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20140028938A true KR20140028938A (ko) | 2014-03-10 |
Family
ID=50642236
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120096360A KR20140028938A (ko) | 2012-08-31 | 2012-08-31 | 이미지 센서 및 노이즈 처리 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20140028938A (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170115789A (ko) * | 2016-04-08 | 2017-10-18 | 주식회사 동부하이텍 | 이미지 센서 및 이미지 센싱 방법 |
| KR20180070224A (ko) * | 2016-12-16 | 2018-06-26 | 주식회사 디비하이텍 | 이미지 센서 및 이미지 센서의 센싱 방법 |
-
2012
- 2012-08-31 KR KR1020120096360A patent/KR20140028938A/ko not_active Application Discontinuation
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170115789A (ko) * | 2016-04-08 | 2017-10-18 | 주식회사 동부하이텍 | 이미지 센서 및 이미지 센싱 방법 |
| KR20180070224A (ko) * | 2016-12-16 | 2018-06-26 | 주식회사 디비하이텍 | 이미지 센서 및 이미지 센서의 센싱 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4798400B2 (ja) | 光学的黒画素と電圧固定画素とを用いて撮像装置の黒レベルを設定する方法および装置 | |
| JP4385060B2 (ja) | 固体撮像装置および電子情報機器 | |
| JP7187478B2 (ja) | フォトンカウンティング装置およびフォトンカウンティング方法 | |
| US20160173794A1 (en) | Systems and methods for pixel-level dark current compensation in image sensors | |
| JP6037170B2 (ja) | 固体撮像装置およびその信号処理方法、並びに電子機器 | |
| KR20080103454A (ko) | 고체 촬상 장치, 고체 촬상 장치의 신호 처리 장치 및 신호처리 방법과 촬상 장치 | |
| JP2012015587A (ja) | 固体撮像装置 | |
| JP6619565B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP6622481B2 (ja) | 撮像装置、撮像システム、撮像装置の信号処理方法、信号処理方法 | |
| KR20130031220A (ko) | 화상 처리를 실행하는 화상 처리 장치 | |
| US8970721B2 (en) | Imaging device, solid-state imaging element, image generation method, and program | |
| CN111432112A (zh) | 处理图像信号的方法、图像信号处理器和图像传感器芯片 | |
| US20110037882A1 (en) | Solid-state imaging device, method of driving solid-state imaging device, and electronic apparatus | |
| KR102512941B1 (ko) | 이미지 센서 및 이미지 센싱 방법 | |
| US9628730B2 (en) | Dark current gradient estimation using optically black pixels | |
| KR20140028938A (ko) | 이미지 센서 및 노이즈 처리 방법 | |
| US20140253765A1 (en) | Signal processing unit, solid-state image pickup unit, electronic apparatus, signal processing method, and program | |
| KR102169308B1 (ko) | 이미지 센서 및 이미지 센서의 센싱 방법 | |
| JP4605247B2 (ja) | 固体撮像装置及びその固定パターン雑音除去方法 | |
| JP2015050671A (ja) | 固体撮像装置 | |
| JP2011250249A (ja) | 映像信号処理装置および映像信号処理方法 | |
| Becker | Low-Cost Spatio-Temporal Algorithm for Defective Pixel Identification and Correction | |
| JP2013243486A (ja) | 画像データ検査装置及び画像データ検査方法 | |
| CN111524057B (zh) | 一种红外图像生成方法、装置、设备及红外热成像系统 | |
| JP2018133685A (ja) | 撮像素子、その制御方法、および制御プログラム、並びに撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |