KR20010079946A

KR20010079946A - 라인들 및 칼럼들로 어드레스될 수 있는 이미지센서들에서의 노출-의존성 잡음 교정 방법 및 장치

Info

Publication number: KR20010079946A
Application number: KR1020017003972A
Authority: KR
Inventors: 코렌일보; 게이브헤리버트; 라마체르울리크
Original assignee: 마이클 골위저, 호레스트 쉐퍼; 인피네온 테크놀로지스 아게
Priority date: 1998-09-30
Filing date: 1999-09-17
Publication date: 2001-08-22
Also published as: EP1119965A1; JP2005341612A; JP4116254B2; EP1119965B1; JP2002526992A; JP4384092B2; US6831686B1; KR100420282B1; WO2000019711A1; DE59901970D1

Abstract

본 발명은 라인들 및 칼럼들로 어드레스될 수 있는 이미지 센서의 이미지 신호들이 디지털 값으로 변환되고, 오프셋 전압 교정이 가산기에 의해 수행되며, 이득 교정이 곱셈기에 의해 수행되고, 그리고 노출-의존성 암전류 교정이 다른 가산기에 의해 수행되는 방법 및 장치에 관한 것이다. 이러한 경우에 있어서, 라인 번호, 칼럼 번호 및 적분 시간에 의존하는 상수들은 특히 선형 근사에 의해 결정된다. 결과적으로, 특히 CMOS 이미지 센서들에서, 소위 고정된 패턴 잡음은 비교적 낮은 비용으로 효율적으로 억제될 수 있게 된다.

Description

라인들 및 칼럼들로 어드레스될 수 있는 이미지 센서들에서의 노출-의존성 잡음 교정 방법 및 장치{METHOD AND DEVICE FOR THE EXPOSURE-DEPENDENT NOISE CORRECTION IN IMAGE SENSORS WHICH CAN BE ADDRESSED IN LINES AND COLUMNS}

CMOS 센서에서, 개별적인 픽셀들의 1/f 잡음에 부가하여, 기술적인 파라미터들의 변동은 본질적으로 고정된 이미지 패턴에 해당하는 잡음(고정된 잡음 패턴, FPN)을 일으킨다. 이러한 잡음은 트랜지스터들의 임계 전압의 제조-지시 변동(오프셋 FPN), 판독 경로 간의 이득(이득 FPN) 및 센서 셀들 내의 누설 전류(다크 FPN)에 의해 야기된다.

개별적인 픽셀의 오프셋 잡음은, 예를 들어 판독되는 값들의 다중 샘플링 및 상관(상관된 이중 샘플링, CDS)에 의해 억제될 수 있다. 오프셋 FPN을 교정하기 위해서는, 예를 들어 닫혀진 격막에 의해 기록된 기준 이미지에 의한 감산을 수행할 수 있는데, 여기서 상기 기준 이미지는 각 이미지 뒤에 다시 한번 기록되거나, 또는 변형적으로 단지 한번만 기록된다. 만일 이러한 기준 이미지가 매번 기록된다면, 최대 가능 이미지 비율이 크게 감소되며, 그리고 기준 이미지가 단지 한번 기록된다면, 암전류 교정이 어렵게 가능해진다. 다른 가능성은 희미해진 라인을 항상 판독하고 이를 라인 메모리의 내용으로부터 빼는 것인데, 이에 의해 메모리가 절약되기는 하지만 암전류가 단지 부분적으로 교정된다. 하이 엔드 시스템들에서는, 예를 들어 이득 FPN 교정이 디지털 신호 처리에 의해 연속적으로 수행되는데, 이러한 교정은 저장된 교정 상수에 의한 픽셀 대 픽셀 곱셈에 의해 수행되며 하드웨어 및 메모리 비용이 매우 많이 든다.

본 발명은, CCD 센서와는 달리, 통상적인 임의 접근 메모리와 같이 바로 어드레스될 수 있는 CMOS 이미지 센서에 관한 것이다.

도 1은 본 발명에 따른 방법을 설명하기 위한 다어그램이다.

도 2는 본 발명에 따른 장치를 설명하기 위한 다이어그램이다.

도 3은 노출되고 노출되지 않은 픽셀들을 갖는 픽셀 센서 어레이를 나타낸 도면이다.

본 발명의 목적은 낮은 비용을 들이면서 FNP 잡음의 교정질을 최대로 할 수 있는, 라인들 및 칼럼들로 어드레스될 수 있는 이미지 센서들에서의 노출-의존성 잡음 교정 방법 및 장치를 제공하는 것이다.

본 발명의 목적은 상기 방법에 관련된 청구항 1의 특징 및 상기 장치에 관련된 청구항 6의 특징에 의해 달성된다. 또한, 청구항들은 본 발명에 따른 방법 및 본 발명에 따른 장치의 유익한 개선에 관련된다.

본 발명의 특정한 장점들은 교정 파라미터들의 프로그램가능성, 및 FNP 교정이 조명 조건들에 의해 조정될 수 있으며 교정 구성요소들이 개별적으로 스위치 온/오프될 수 있다는 사실에 있다.

이제 본 발명은 도면을 참조로 하여 설명되는 하기의 상세한 설명으로부터 좀 더 명확해질 것이다.

본 발명의 본질은, 제 1 단계에서, 높은 해상도를 갖는 A/D 변환이 이루어지거나, 또는 더 빠르기 때문에 더 우수한 낮은 해상도를 갖는 A/D 변환 및 이후의 특징적인 선형화가 수행된다는 것과, 제 2 단계에서, 칼럼 대 칼럼으로 존재하는 판독 유닛들 때문에 칼럼 대 칼럼으로 일어나는 전압 오프셋이 교정된다는 것과, 제 3 단계에서, 픽셀 감도 및 전하 반전 과정의 결과로서의 손실의 이질성 교정이 수행된다는 것과, 그리고 제 4 단계 및 마지막 단계에서, 주로 픽셀 내의 누설 전류로 인한 픽셀의 암전류가 교정된다는 것이다.

도 1은 픽셀 센서 어레이(APS), APS의 하부에 연결된 상관 유닛(CDS), 상기 CDS의 하부에 연결된 아날로그/디지털 변환기(W), 및 마지막으로 교정 유닛(FPNC)을 포함하는 블록 다이어그램을 도시한다. 변환기(W)는, 예를 들어 높은 해상도, 예를 들어 10 내지 12 비트들을 갖는 A/D 변환기, 또는 이 경우에 있어서는, 더 낮은 해상도, 예를 들어 8비트를 갖는 A/D 변환기, 및 이 변환기의 하부에 연결된 선형화 유닛(LUT)을 포함한다. 메모리 어레이(APS)는 단지 칼럼들(Col i) 및 라인들(Line j)에 의해서, 그리고 예로서 나타낸 픽셀 센서 셀에 의해 표시된다. 각 경우, 칼럼들(Col i)에 대한 라인들은 상관 유닛(CDS)을 통하여 ADC의 관련된 아날로그/디지털 변환기에 연결된다. 픽셀 센서 어레이로부터, 암전류 잡음dark(i,j,T_int), 오프셋 잡음 및 이득 잡음의 영향을 받는 픽셀 값들 P'(i,j)는 상관 유닛으로 판독되며, 상관 유닛은 개별적인 픽셀들의 오프셋 잡음은 없지만 부가적인 이득 잡음의 영향을 받는 픽셀 값들 P''(i,j)을 아날로그/디지탈 변환기들에 공급한다. 각각의 아날로그/디지털 변환기에 의해 발생된 출력 신호 adc(i,j)는 하기의 관계에 의해 설명될 수 있다:

픽셀 값들 P''(i,j)이 상관 유닛과 아날로그/디지털 변환기에 의한 오프셋에 영향을 받기 때문에, 입력 및 출력 변수들 간의 관계는 변환기에 영향을 받는다. 모듈(ADC)로부터의 아날로그/디지털 변환기는, 예를 들어 8비트의 해상도를 가지며, 그의 출력 신호 adc(i,j)에 의해, 예를 들어 출력 워드의 폭이 12비트인 저장된 테이블 값들(룩업 테이블)의 형태로 선형화 유닛(LUT)을 어드레스한다. 선형화는 다음과 같이 수행된다: 아날로그/디지털 변환기의 스텝화된 할당 함수로부터, 신호 adc(i,j)에 관련된 하위 스텝 값 및 상위 스텝 값이 기본으로서 선택되며, 이들 두 개의 값들로부터, 증가된 해상도, 즉 이 경우에 있어서는 예를 들어 12 비트를 갖는 중간 값이 출력된다. 이러한 방법은 11 내지 12 비트의 정확성을 갖는 통상적인 선형 아날로그/디지털 변환기와 비교할만한 매우 낮은 적분 비선형성을 보장한다. 이용되는 8비트 디지털/아날로그 변환기는 작은 신호 레벨들에 대하여 더 정교한 양자화를 허용하는 비선형성 특성을 갖는다. 더 낮은 정확성이 더 큰 그레이-스케일 값들을 만족시키기 때문에, 이미지의 품질은 10 비트 변환기와 견줄만하지만, 변환은 더 빠르다.

선형화 유닛(LUT)은 다음과 같이 설명될 수 있는 신호 lut(i,j)를 공급한다:

실제적인 교정 유닛(FPNC)에서, 고정된 픽셀 값 P(i,j)은 하기의 관계에 의해 결정된다:

여기서, 파라미터 α(i), 1/β(i,j) 및 dark(i,j,T_int)는 사전에 결정되어 교정 유닛(FPNC)에 공급된다.

해당하는 장치가 도 2에 도시되는데, 여기서 개별적인 픽셀 센서는 그의 등가 회로로 표현되며, 증폭기 트랜지스터(T) 및 전자 선택 스위치(S)를 통하여 픽셀 값들 P(i,j) + dark(i,j,T_int)을 상관 유닛(CDS)의 입력으로 스위치시킨다. 이러한 경우, 아날로그/디지털 변환기는 비교기(COMP), 레지스터(REG), 카운터(CNT) 및 디지털/아날로그 변환기(DAC), 디지털/아날로그 변환기의 아날로그 출력 값을 아날로그 입력 신호와 비교하는 연산 증폭기를 포함하는 회로의 형태이며, 상기 디지털/아날로그 변환기는 입력측에서 카운터(CNT)에 의해 신호를 공급받으며, 아날로그 입력 신호가 디지털/아날로그 변환기의 출력 신호에 해당하는 경우에는 카운터의 리딩이 레지스터(REG)로 받아들여진다. 선형화 유닛(LUT)이 또한 표시되는데, 이의 입력측은 아날로그/디지털 변환기, 즉 레지스터(REG)의 출력에 연결된다. 선형화 유닛(LUT)의 출력 값들은 제 1 가산기(S1)로 공급되며, 이 제 1 가산기(S1)의 출력은 곱셈기(M)의 입력에 연결된다. 곱셈기(M)의 출력은 제 2 가산기(S2)의 입력에 연결되며, 제 2 가산기(S2)는 교정된 픽셀 값들 P(i,j)을 공급한다. 가산기들 및 곱셈기들의 제 2 입력들은 임의 접근 메모리(RAM)에 연결되는데, 이 RAM은 α(i), 역 이득 값들 1/β(i,j), 및 암전류 값들 dark(i,j,T_int)을 공급한다. α(i)에 대하여, 각 칼럼에 대한 오프셋 값들 Offs(i)이 각 칼럼에 대하여 저장된다. 역 이득 값들 1/β(i,j)이 제 1 계산 유닛(B1) 내에서 노출 가능한 픽셀 센서들(V)로부터 형성된다. 임의 접근 메모리에 저장되어 음의 신호에 의해 가산기(S2)로 공급되는 암전류 값들 dark(i,j,T_int)은 제 2 계산 유닛(B2)에 의해 노출 불가능한 픽셀 센서들로부터 계산된다.

도 3은 노출 가능한 픽셀 센서들(V) 및 노출 불가능한 픽셀 센서들(NP)을 가지며, 라인들 및 칼럼들 내에서 어드레스될 수 있는 이미지 센서를 도시한다. 이러한 경우, 이미지 센서는, 예를 들어 라인들 Line 0 ... Line 603 및 칼럼들 Col 0 ... Col 737을 갖는다. 왼쪽의 선택된 칼럼은 칼럼 i=23이며 오른쪽의 선택된 칼럼은 칼럼 i=713이다. 또한, 선택된 상위 라인은 j=23에 의해 지정되며, 선택된 하위 라인은 노출가능한 이미지 영역 내에서 j=579로 지정된다. 마지막으로, 이미지 센서 어레이의 노출 불가능한 영역 내의 라인 j=2 및 라인 j=23이 또한 도시된다. 마찬가지로, i=23 및 j=2의 좌표를 갖는 노출 불가능한 상위 왼쪽 픽셀 센서(ULD), i=713 및 j=2의 좌표를 갖는 노출 불가능한 상위 오른쪽 픽셀 센서(URD), i=23 및 j=601의 좌표를 갖는 노출 불가능한 왼쪽 하위 픽셀 센서(LLD), 및 i=713 및 j=601의 좌표를 갖는 노출 불가능한 오른쪽 하위 픽셀 센서(LRD)가 도시된다. i=23 및 j=23의 좌표를 갖는 상위 왼쪽 픽셀 센서(ULV), i=713 및 j=23의 좌표를 갖는 상위 오른쪽 픽셀 센서(URV), i=23 및 j=579의 좌표를 갖는 하위 왼쪽 픽셀 센서(LLV), 및 i=713 및 j=579의 좌표를 갖는 하위 오른쪽 픽셀 센서(LRV)가 이미지 센서 어레이의 노출 가능한 영역 내에 도시된다. 마지막으로, 중간 라인 번호 im 및 중간 칼럼 번호 jm이 또한 도시된다.

오프셋 Offset(i) 또는 α(i)를 결정하기 위하여, 노출되지 않은 라인, 예를 들어 적분 시간(T_int)을 최소로 세트시키면서 라인 i=2가 완전하게 읽혀진 다음, 아날로그/디지털 변환기들에 의해 변환된 후, 이어서 선형화 유닛(LUT)에 의해 교정되고 임의 접근 메모리(RAM)에 α(i)으로서 쓰여진다. 오프셋-교정된 신호는 또한 이득 요소를 바꿈으로서 제어되는 라인 및 칼럼 내에서의 진폭 응답을 갖기 때문에, 오프셋-교정된 신호는 각각의 역 이득 요소 1/β(i,j)가 곱해져야 한다. 도 2에서 트랜지스터(T) 및 픽셀 캐패시턴스(C_Pix)를 갖는 소스 팔로워의 이득에 있어서의 편차는 라인 i 및 칼럼 j에 대한 요소 의존성을 제어한다. 픽셀 센서 내의 소스 팔로워는 각 칼럼 내에 전류원과 협력하며, 이에 따라 이득 요소의 불안정은 또한 라인 방향 보다 칼럼 방향에서 더 표명되고; 칼럼 캐패시턴스의 불안정 또한 이로 인한 것이다. 이러한 이유로, 라인 방향에서는 단지 이득의 기울기만이 교정되고, 칼럼 방향에서는 각 칼럼에 대하여 개별적으로 교정이 이루어진다. 이 때문에, 오프셋의 경우처럼, 교정 값들은 임의 접근 메모리(RAM)에 저장된다. 역 이득1/β(i,j)이 다음과 같은 관계에 의해 주어진다:

gain(i) 및 gain1에 대한 값을 결정하기 위해서는, 균일한 밝은 조명, 예를 들어 아날로그/디지털 변환기들이 실질적으로 최대 드라이브 레벨, 예를 들어 최대 드라이블 레벨의 약 80%를 경험할 수 있도록 선택되는 적분 시간(T_int) 동안, 흰색 종이의 기록이 이용된다. 전체 센서 영역에 걸친 평균 드라이브 레벨은 다음과 같이 계산될 수 있다:

파라미터들 Gain(i) 및 Gain1은 센서 어레이로부터의 픽셀 값들을 읽음으로써 그리고 이후의 계산에 의해 결정된다. 파라미터들은 전송 요소가 센서 어레이를 걸쳐 가능한한 동질이 되게 하는 방식으로 결정된다. 하나의 가능한 방법은 FPN에 대한 평균 제곱값을 최소화하는 것이다. 이러한 방법을 이용하게 되면, 단지 몇 번의 단순화 후에 하기와 같은 관계가 얻어지게 된다:

여기서, i_max는 노출된 칼럼의 최대 칼럼 번호이며, j_max는 노출된 라인의 최대 라인 번호이고, j₁및 j₂는 두 개의 다른 라인들이다.

Gain에 대한 방정식에서 "1"이 아닌 일정한 Gain0을 이용함으로써, Gain에 대한 워드 폭에서 1비트가 저장될 수 있는데, 이는 Gain이 0.5와 <1.0 사이의 범위에 있기 때문이다. 즉, 결코 1.0의 값을 가정하지 않기 때문이다. 암전류는 적분 시간(T_int)에 의존하는 방식으로 교정된다. 저장 용량을 절약하기 위하여, 단지 기울기 만이 교정된다. 암전류 dark(i,j,T_int)에 대한 값은 다음과 같은 공식에 따라 계산된다:

상수들은 비노출된 픽셀들을 이용하여 결정되며, 적분 시간(T_int)은 센서의 최대 드라이브 레벨의 약 50%에 이르기에 충분히 길게 선택된다. 상수들을 계산하는 데에는 도 3의 픽셀들(ULD, URD, LLD, LRD)에 대한 값들이 이용된다.

상수들(Dark0 ... Dark 2)은 다음과 같이 계산된다:

여기서, i_m은 ULD와 URD 사이의 중간 칼럼이고, j_m은 ULD와 ULV 사이의 중간 라인이며, 이러한 경우에 있어서 j_m은 예를 들어 208이 되도록 선택되고, 그리고 i_m은 예를 들어 360이 되도록 선택된다.

Claims

라인들 및 칼럼들로 어드레스될 수 있는 이미지 센서들에서의 노출-의존성 잡음 교정 방법으로서,

오프셋 잡음이 없는 개별적인 픽셀 센서들로부터의 신호들이 디지털 픽셀 값들 (adc(i,j))로 변환되고,

교정된 픽셀 값들 (P(i,j))은 디지털 픽셀 값들로부터, 첫 번째로 디지털 픽셀 값들이 칼럼에 대하여 각 경우에서 결정된 오프셋 값 (α(i)) 만큼 감소되고, 두 번째로 이에 따라 감소된 픽셀 값에 근사에 의해 결정된 역 이득 (1/β(i,j))이 곱해지고, 그리고 세 번째로 다른 근사에 의해 결정된 암전류 값 (dark(i,j)T_int)을 상기 곱에서 뺌으로써, 얻어지는 것을 특징으로 하는 방법.
제 1 항에 있어서, 칼럼(i), 오프셋 값(α(i))은, 주어진 최소 적분 시간 동안, 노출 불가능한 픽셀들(NP)을 갖는 라인이 읽혀지고, 디지털 값들로 변환된 다음, 오프셋 값들로서 저장됨으로써 결정되는 것을 특징으로 하는 방법.
제 1 항 또는 제 2 항에서, 균일하고 실제로 최대한의 드라이브 레벨하에서, 노출된 픽셀들(V)이 읽혀지며 역 이득 (1/β(i,j))이 하기의 계산:

에 의해 계산되며, 여기서 gain0=1 이고,

여기서, i는 칼럼 번호이며, j는 라인 번호이고, i_max는 노출된 칼럼의 최대 칼럼 번호이며, j_max는 노출된 라인의 최대 라인 번호이고, j와 j는 두 개의 다른 칼럼들인 것을 특징으로 하는 방법.
제 3 항에 있어서, Gain0=1 대신, 0.1와 1 사이의 값이 선택되는 것을 특징으로 하는 방법.
제 1 항 내지 제 4 항 중의 어느 한 항에 있어서, 약 50%의 드라이브 레벨에 대한 적분 시간(T_int) 동안, 노출 불가능한 픽셀들(ULD, URD, LLD 및 LRD)이 읽혀지고, 상기 암전류가 하기의 계산들에 의해 결정되며:

여기서, Δj는 상위(ULD, URD) 및 하위(LLD, LRD)의 노출되지 않은 라인 사이의 라인들의 수이며, j_m은 중간 칼럼 번호이고, i_m은 중간 라인 번호인 것을 특징으로 하는 방법.
라인들 및 칼럼들로 어드레스될 수 있는 이미지 센서들에서의 노출-의존성 잡음 교정 장치로서,

잡음이 있는 픽셀들 (P(i,j)+dark(i,j,T_int))을 상관 유닛(CDS)에 공급하는 픽셀 센서 어레이(APS)가 존재하고, 상기 상관 유닛(CDS)은 개별적인 픽셀들의 오프셋 잡음이 없는 픽셀들 (P''(i,j))을 아날로그/디지털 변환기(ADC)에 공급하며,

비교적 더 높은 해상도를 갖는 상기 아날로그/디지털 변환기(ADC)의 디지털 출력 값들 (adc(i,j))을 관련된 아날로그 값으로 매치시키는 선형화 유닛(LUT)이 존재하며;

상기 선형화 유닛(LUT)의 하부에는, 각 경우에 있어서 칼럼에 대하여 결정된 오프셋 값 (α(i))을 빼기 위한 제 1 가산기(S1)와, 역 이득 (1/β(i,j))를 곱하기위한 곱셈기(M)와, 그리고 암전류 값 (dark(i,j,T_int)를 빼기 위한 제 2 가산기(S2)가 순서대로 연결되는 것을 특징으로 하는 장치.
제 6 항에 있어서, 상기 오프셋 값들, 역 이득 값들 및 암전류 값들을 저장하는 임의 접근 메모리(RAM)가 존재하는 것을 특징으로 하는 장치.
제 6 항 및 제 7 항에 있어서, 노출된 픽셀들(V)로부터 역 이득 (1/β(i,j))의 선형 근사를 결정하는 제 1 계산 유닛(B1)이 존재하는 것을 특징으로 하는 장치.
제 6 항 내지 제 8 항 중의 어느 한 항에 있어서, 상기 노출되지 않는 픽셀들(NP)로부터 노출-의존성 암전류 (Dark(i,j,T_int)의 선형 근사를 결정하는 제 2 계산 유닛(B2)이 존재하는 것을 특징으로 하는 장치.