KR20080088451A

KR20080088451A - 고정 패턴 노이즈 제거 회로, 고정 패턴 노이즈 제거 방법,프로그램 및 촬상 장치

Info

Publication number: KR20080088451A
Application number: KR1020080028238A
Authority: KR
Inventors: 마나부 하라
Original assignee: 소니 가부시끼 가이샤
Priority date: 2007-03-28
Filing date: 2008-03-27
Publication date: 2008-10-02
Also published as: CN101277386A; JP2008244947A; JP4285555B2; CN101277386B; US20080239110A1; US8089533B2

Abstract

세로 줄무늬 형상의 고정 패턴 노이즈(세로 줄무늬 노이즈)를 효과적으로 제거한다. 메모리(115)는 컨트롤부(116)의 제어에 의해, 입력(CMOS 이미지 센서(101)의 어드레스(m, n)의 출력 신호)이 출력된 이미지 센서의 출력 계통에 대응한 보정 신호 A(m), B(m)을 출력한다. 감산기(111)는 입력으로부터 흑 레벨을 감산한다. 가산기(112)는 감산기(111)의 출력 신호 X(m, n)에 보정 신호 B(m)을 가산한다. 승산기(113)는 가산기(112)의 출력 신호 {X(m, n)+B(m)}에 보정 신호 A(m)을 승산한다. 승산기(113)의 출력 신호 Y(m, n)=A(m)*{X(m, n)+B(m)}은 신호 X(m, n)에 세로 줄무늬 노이즈가 포함되어 있었다고 하여도, 그 세로 줄무늬 노이즈가 제거된 것으로 된다. 가산기(114)는 승산기(113)의 출력 신호 Y(m, n)에 흑 레벨을 다시 더하여, 출력으로 한다. 오프셋 성분뿐만 아니라 광량 의존 성분에도 대응한 보정 신호를 이용하기 때문에, 세로 줄무늬 노이즈를 효과적으로 제거할 수 있다.

가산기, 감산기, 승산기, 보정 회로, 출력 신호 생성 회로, 이미지 센서

Description

고정 패턴 노이즈 제거 회로, 고정 패턴 노이즈 제거 방법, 프로그램 및 촬상 장치{FIXED PATTERN NOISE REMOVAL CIRCUIT, FIXED PATTERN NOISE REMOVAL METHOD, PROGRAM, AND IMAGE PICKUP APPARATUS}

본 발명은, 예를 들면 CMOS(ComplementaryMetal Oxide Semiconductor) 이미지 센서 등을 이용하여 구성되는 촬상 장치에 적용하기에 바람직한 고정 패턴 노이즈 제거 회로, 고정 패턴 노이즈 제거 방법, 프로그램 및 촬상 장치에 관한 것이다.

상세하게는, 본 발명은 소정수의 컬럼마다 출력 계통을 갖는 이미지 센서의 출력 신호로부터 세로 줄무늬 형상의 고정 패턴 노이즈를 제거하는 것에 있어서, 출력 계통에 의해 발생하는 고정 패턴 노이즈의 오프셋 성분뿐만 아니라, 광량 의존 성분에도 대응한 보정 신호에 기초하여, 이미지 센서의 출력 신호로부터 고정 패턴 노이즈를 제거함으로써, 세로 줄무늬 형상의 고정 패턴 노이즈를 효과적으로 제거할 수 있도록 한 고정 패턴 노이즈 제거 회로 등에 관한 것이다.

종래, CMOS 이미지 센서를 이용하여 구성되는 고체 촬상 장치가 알려져 있다. 이 CMOS 이미지 센서는, 각 화소에 광전 변환 소자와 판독 회로가 설치된 고 체 촬상 소자로서, 각 화소에 랜덤하게 액세스할 수 있고, 또한 고속으로 판독할 수 있다. 또한, 이 CMOS 이미지 센서는 CMOS 프로세스를 응용하고 있기 때문에, 앰프나 A/D 변환기 등의 신호 처리 회로를 집적하기 쉽다고 하는 특징이 있다.

이 CMOS 이미지 센서 중에, 컬럼마다 앰프나 A/D 변환기 등의 출력 계통(컬럼 신호 처리 회로)을 갖는 컬럼형 CMOS 이미지 센서가 있다. 이 컬럼형 CMOS 이미지 센서에서는 컬럼마다의 출력 계통의 처리 특성의 변동에 의해, 각 화소가 균일하게 노광되었다고 하여도 컬럼마다 출력이 변동되게 된다. 그 결과, 컬럼형 CMOS 이미지 센서는 세로 줄무늬 형상의 고정 패턴 노이즈를 갖고, 화질 열화를 초래하고 있었다.

예를 들면, 특허 문헌 1 등에는, 이 세로 줄무늬 형상의 고정 패턴 노이즈를 제거 혹은 저감하는 기술이 기재되어 있다.

[특허 문헌 1] 일본 특허 공개 제2006-135423호 공보

상술한 특허 문헌 1 등에 기재되어 있는 기술에서는, 이미지 센서의 출력 신호로부터 오프셋 성분에 대응한 보정 신호를 뺌으로써, 세로 줄무늬 형상의 고정 패턴 노이즈를 제거하는 것이 행해지고 있다. 그러나, 세로 줄무늬 형상의 고정 패턴 노이즈는 오프셋 성분뿐만 아니라, 입사광량에 따라서 변화하는, 광량 의존 성분도 포함되어 있다. 그 때문에, 상술한 특허 문헌 1 등에 기재되어 있는 기술에서는, 차광 시에 세로 줄무늬 형상의 고정 패턴 노이즈를 정밀도 좋게 제거할 수 있었다고 하여도, 광량 의존 성분의 존재에 의해, 노광하면 다시 세로 줄무늬 형상의 고정 패턴 노이즈가 나타나게 된다.

본 발명의 목적은, 세로 줄무늬 형상의 고정 패턴 노이즈를 효과적으로 제거하는 데에 있다.

본 발명의 개념은,

소정수의 컬럼마다 출력 계통을 갖는 이미지 센서의 출력 신호로부터 세로 줄무늬 형상의 고정 패턴 노이즈를 제거하는 고정 패턴 노이즈 제거 회로로서,

상기 이미지 센서의 출력 신호에 관련되는 상기 출력 계통에 대응하고, 그 출력 계통에 의해 발생하는 상기 고정 패턴 노이즈의 오프셋 성분 및 광량 의존 성분에 따른 보정 신호를 출력하는 보정 신호 출력부와,

상기 보정 신호 출력부로부터 출력되는 상기 보정 신호에 기초하여, 상기 이미지 센서의 출력 신호로부터 상기 고정 패턴 노이즈를 제거하는 신호 보정부

를 구비하는 것을 특징으로 하는 고정 패턴 노이즈 제거 회로에 있다.

본 발명에서, 이미지 센서는 소정수의 컬럼마다 출력 계통(예를 들면, 앰프, A/D 변환기 등으로 이루어지는 신호 처리 회로)을 갖고 있다. 이 경우, 컬럼의 하나 하나에 대해 출력 계통이 존재하거나, 혹은 복수의 컬럼마다 공통의 출력 계통이 존재한다. 보정 신호 출력부에서는 이미지 센서의 출력 신호에 관련되는 것으로, 즉 그 출력 신호가 출력된 출력 계통에 대응한 보정 신호가 출력된다.

이 보정 신호는, 그 출력 계통에 의해 발생하는 고정 패턴 노이즈의 오프셋 성분뿐만 아니라, 광량 의존 성분에도 대응한 것으로 된다. 신호 보정부에서는, 보정 신호 출력부로부터 출력되는 보정 신호에 기초하여, 이미지 센서의 출력 신호로부터 고정 패턴 노이즈가 제거된다. 여기서, 소정의 출력 계통에 의해 발생하는 고정 패턴 노이즈의 오프셋 성분 및 광량 의존 성분에 대응한 보정 신호는, 그 소정의 출력 계통에서의 차광 시와 노광 시의 출력 신호를 측정하고, 그 측정값과 이상값을 이용함으로써 산출할 수 있다.

본 발명에서, 예를 들면 보정 신호 출력부는 오프셋 성분에 대응한 제1 보정 신호와, 광량 의존 성분에 대응한 제2 보정 신호를 출력하고, 신호 보정부는 이미지 센서의 출력 신호로부터 흑 레벨을 감산하는 감산기와, 이 감산기의 출력 신호에 제1 보정 신호를 가산하는 제1 가산기와, 이 제1 가산기의 출력 신호에 제2 보정 신호를 승산하는 승산기와, 이 승산기의 출력 신호에 흑 레벨을 가산하는 제2 가산기를 갖도록 되어도 된다. 이와 같이 이미지 센서의 출력 신호로부터 흑 레벨을 뺀 상태에서, 제1, 제2 보정 신호를 이용한 연산을 행하여 고정 패턴 노이즈를 제거하고, 그 후에 흑 레벨을 다시 더함으로써, 흑 레벨의 영향을 받지 않고, 고정 패턴 노이즈를 제거하는 것이 가능하게 된다.

또한, 본 발명에서, 예를 들면 보정 신호 출력부는 광량 의존 성분에 대응한 제1 보정 신호와, 오프셋 성분 및 광량 의존 성분에 대응한 제2 보정 신호를 출력하고, 신호 보정부는 이미지 센서의 출력 신호로부터 흑 레벨을 감산하는 감산기와, 이 감산기의 출력 신호에 제1 보정 신호를 승산하는 승산기와, 이 승산기의 출력 신호에 제2 보정 신호를 가산하는 제1 가산기와, 이 제1 가산기의 출력 신호에 흑 레벨을 가산하는 제2 가산기를 갖도록 되어도 된다. 이와 같이 이미지 센서의 출력 신호로부터 흑 레벨을 뺀 상태에서, 제1, 제2 보정 신호를 이용한 연산을 행하여 고정 패턴 노이즈를 제거하고, 그 후에 흑 레벨을 다시 더함으로써, 흑 레벨의 영향을 받지 않고, 고정 패턴 노이즈를 제거하는 것이 가능하게 된다.

또한, 본 발명에서, 예를 들면 보정 신호 출력부는, 각 출력 계통에 대응한 보정 신호를 기억한 메모리와, 이미지 센서의 출력 신호에 동기한 동기 신호에 기초하여, 메모리로부터 이미지 센서의 출력 신호가 출력된 출력 계통에 대응한 보정 신호를 판독하는 메모리 컨트롤부를 갖도록 되어도 된다. 이와 같이 보정 신호를 메모리로부터 판독하여 출력하는 구성으로 함으로써, 보정 신호 출력부의 구성이 간단하게 된다.

또한, 본 발명에서, 예를 들면 보정 신호 출력부는, 각 출력 계통에 대응한 보정 신호를 출력하는 복수의 레지스터와, 각 레지스터로부터 출력되는 보정 신호로부터 소정의 보정 신호를 선택적으로 취출하는 셀렉터와, 각 출력 계통에 대응한 출력 선택 신호가 기억되어 있는 메모리와, 이미지 센서의 출력 신호에 동기한 동기 신호에 기초하여, 메모리로부터 이미지 센서의 출력 신호가 출력된 출력 계통에 대응한 출력 선택 신호를 판독하는 메모리 컨트롤부를 갖고, 셀렉터는 메모리로부터 판독되는 출력 선택 신호에 기초하여, 각 레지스터로부터 출력되는 보정 신호로부터 소정의 보정 신호를 선택적으로 취출하도록 되어도 된다. 이 경우, 메모리에, 보정 신호에 비해 비트 폭이 작은 출력 선택 신호를 기억해 두는 것으로, 메모리 용량을 삭감하는 것이 가능하게 된다. 이와 같이 각 출력 계통에 대응한 보정 신호를 출력하는 복수의 레지스터를 구비하는 것에 있어서는, 출력 계통의 병렬수가 적은 경우에 유효하게 된다.

또한, 본 발명에서, 예를 들면 보정 신호 출력부는, 각 출력 계통에 대응한 보정 신호를 출력하는 복수의 레지스터와, 각 레지스터로부터 출력되는 보정 신호로부터 소정의 보정 신호를 선택적으로 취출하는 셀렉터와, 이미지 센서의 출력 신호에 동기한 동기 신호에 기초하여 카운트 동작을 행하는 카운터를 갖고, 셀렉터는 카운터의 카운트값에 기초하여, 각 레지스터로부터 출력되는 보정 신호로부터 소정의 보정 신호를 선택적으로 취출하도록 되어도 된다. 이 경우, 메모리가 불필요하게 된다. 이와 같이 각 출력 계통에 대응한 보정 신호를 출력하는 복수의 레지스터를 구비하는 것에 있어서는, 출력 계통의 병렬수가 적은 경우에 유효하게 된다.

이와 같이 본 발명에서는, 출력 계통에 의해 발생하는 고정 패턴 노이즈의 오프셋 성분뿐만 아니라, 광량 의존 성분에도 대응한 보정 신호에 기초하여, 이미지 센서의 출력 신호로부터 고정 패턴 노이즈를 제거하기 때문에, 세로 줄무늬 형상의 고정 패턴 노이즈를 효과적으로 제거할 수 있다.

또한, 본 발명에서, 예를 들면 보정 신호의 게인을 보정하는 보정 계수를 출력하는 보정 계수 출력부와, 보정 계수 출력부로부터 출력되는 상기 보정 계수를, 보정 신호 출력부로부터 출력되는 보정 신호에 승산하는 게인 보정부를 더 구비하도록 되어도 된다. 이와 같이 보정 신호에 보정 계수를 승산하여 게인 보정을 행하는 것에 있어서는, 온도 변화에 의한 출력 계통의 특성의 변화, 출력 계통에 포함되는 앰프 게인의 변화, 이미지 센서의 인터레이스와 프로그레시브의 구동의 변 화 등에 의한 고정 패턴 노이즈의 변화에 대처하는 것이 가능하게 된다.

또한, 본 발명에서, 예를 들면 보정 계수 출력부는, 이미지 센서의 출력 신호가 출력된 출력 계통에 대응한 보정 계수를 출력하도록 되어도 된다. 이 경우, 출력계마다 최적의 보정 계수에 의해 보정 신호의 게인을 보정하는 것이 가능하게 된다.

또한, 본 발명에서, 예를 들면 보정 계수 출력부는, 각 출력 계통에 대응한 보정 계수가 기억되어 있는 메모리와, 이미지 센서의 출력 신호에 동기한 동기 신호에 기초하여, 메모리로부터, 이미지 센서의 출력 신호가 출력된 출력 계통에 대응한 보정 계수를 판독하는 메모리 컨트롤부를 갖도록 되어도 된다. 이와 같이 보정 계수를 메모리로부터 판독하여 출력하는 구성으로 함으로써, 보정 계수 출력부의 구성이 간단하게 된다.

또한, 본 발명에서, 예를 들면 보정 계수 출력부는, 각 출력 계통에 대응한 보정 계수를 출력하는 복수의 레지스터와, 각 레지스터로부터 출력되는 보정 계수로부터 소정의 보정 계수를 선택적으로 취출하는 셀렉터와, 각 출력 계통에 대응한 출력 선택 신호가 기억되어 있는 메모리와, 이미지 센서의 출력 신호에 동기한 동기 신호에 기초하여, 메모리로부터, 이미지 센서의 출력 신호가 출력된 상기 출력 계통에 대응한 출력 선택 신호를 판독하는 메모리 컨트롤부를 갖고, 셀렉터는 메모리로부터 판독되는 선택 신호에 기초하여, 각 레지스터로부터 출력되는 보정 계수로부터 소정의 보정 계수를 선택적으로 취출하도록 되어도 된다. 이 경우, 메모리에, 보정 계수에 비해 비트 폭이 작은 출력 선택 신호를 기억해 두는 것으로, 메모 리 용량을 삭감하는 것이 가능하게 된다. 이와 같이 각 출력 계통에 대응한 보정 계수를 출력하는 복수의 레지스터를 구비하는 것에 있어서는, 출력 계통의 병렬수가 적은 경우에 유효하게 된다.

본 발명에 따르면, 소정수의 컬럼마다 출력 계통을 갖는 이미지 센서의 출력 신호로부터 세로 줄무늬 형상의 고정 패턴 노이즈를 제거하는 것에 있어서, 출력 계통에 의해 발생하는 고정 패턴 노이즈의 오프셋 성분뿐만 아니라, 광량 의존 성분에도 대응한 보정 신호에 기초하여, 이미지 센서의 출력 신호로부터 고정 패턴 노이즈를 제거하는 것으로, 세로 줄무늬 형상의 고정 패턴 노이즈를 효과적으로 제거할 수 있다.

이하, 도면을 참조하면서, 본 발명의 실시 형태에 대해서 설명한다. 도 1은, 실시 형태로서의 촬상 장치(100)의 구성예를 도시하고 있다. 이 촬상 장치(100)는 3판식의 컬러 촬상 장치이다. 이 촬상 장치(100)는 CMOS 이미지 센서(101R, 101G, 101B)와, 보정 회로(102)와, 게인 조정 회로(103)와, 색 조정 회로(104)와, 휘도 조정 회로(105)와, 감마 보정 회로(106)와, 출력 신호 생성 회로(107)를 갖고 있다. 여기서, 보정 회로(102), 게인 조정 회로(103), 색 조정 회로(104), 휘도 조정 회로(105), 감마 보정 회로(106) 및 출력 신호 생성 회로(107)는 비디오 처리부(108)를 구성하고 있다.

CMOS 이미지 센서(101R, 101G, 101B)는, 각각 적, 녹, 청의 각 화상용의 이 미지 센서이다. 이 CMOS 이미지 센서(101R, 101G, 101B)는 컬럼마다 앰프나 A/D 변환기 등의 출력 계통(컬럼 신호 처리 회로)을 갖는 컬럼형 CMOS 이미지 센서이다.

도 2는, 이미지 센서(101)(101R, 101G, 101B)의 구성예를 도시하고 있다. 이미지 센서(101)는 매트릭스 형상으로 배치된 화소(수광부)(21)와, 출력하는 화소(21)를 선택하는 수직 라인 셀렉터(22) 및 수평 라인 셀렉터(23)와, 수직 라인 셀렉터(22)를 구동하는 수직 어드레스 구동 회로(24)와, 수평 라인 셀렉터(23)를 구동하는 수평 어드레스 구동 회로(25)와, 컬럼 앰프(26)와, A/D 변환기(ADC)(27)와, 시프트 레지스터(28)에 의해 구성되어 있다. 여기서, 각 컬럼에 대응한 컬럼 앰프(26) 및 A/D 변환기(27)는, 각 컬럼의 출력 계통(컬럼 신호 처리 회로)을 구성하고 있다.

이미지 센서(101)에 입사된 피사체로부터의 광은, 각 수광부(21)에 의해 광전 변환된다. 각 수광부(21)에 의해 광전 변환된 결과(전압 신호)는, 수직 라인 셀렉터(22) 및 수평 라인 셀렉터(23)에 의해 순차적으로 선택되고, 컬럼 앰프(26) 및 A/D 변환기(27)를 통하여 시프트 레지스터(28)에 공급되어, 클럭에 동기하여 출력된다. 여기서, 컬럼 앰프(26)는 광전 변환된 결과를 적절한 레벨로 증폭하고, A/D 변환기(27)는 컬럼 앰프(26)의 출력 신호를 아날로그 신호로부터 디지털 신호로 변환한다.

또한, 도 2의 이미지 센서(101)의 구성예에서는, 도면의 간단화를 위해, 수평 방향으로 4화소, 수직 방향으로 4화소가 배치되어 있다. 그러나, 실제로는, 예 를 들면 하이비전용의 CMOS 이미지 센서에서는 유효 화소로서, 수평 방향으로 1920화소, 수직 방향으로 1080화소가 배치되어 있다.

도 1로 되돌아가서, 보정 회로(102)는 이미지 센서(101R, 101G, 101B)로부터 출력되는 적, 녹, 청의 색 데이터 R, G, B에 대해, 화소 결함의 보정, 셰이딩의 보정 등을 행하는 것 외에, 세로 줄무늬 형상의 고정 패턴 노이즈의 제거를 행한다. 이 세로 줄무늬 형상의 고정 패턴 노이즈의 제거에 관한 상세에 대해서는 후술한다.

게인 조정 회로(103)는 보정 회로(102)에서 얻어지는 각 색 데이터의 게인을 조정하여, 화이트 밸런스 조정 등을 행한다. 색 조정 회로(104)는 게인 조정 회로(103)에서 얻어지는 각 색 데이터의 게인을 리니어 매트릭스에 의해 조정하여, 특정한 색을 강하게 하거나, 혹은 약하게 한다. 휘도 조정 회로(105)는 영상 신호를 규정의 범위 내에 들어가게 하기 위해, 색 조정 회로(104)에서 얻어지는 각 색 데이터에 대해 휘도 압축을 행한다.

감마 보정 회로(106)는 CRT(CathodeRay Tube) 등의 모니터 감마에 대응시키기 위해, 휘도 조정 회로(105)에서 얻어지는 각 색 데이터의 감마 보정을 행한다. 출력 신호 생성 회로(107)는 감마 보정 회로(106)에서 얻어지는 적, 녹, 청의 색 데이터를, 최종적인 영상 출력 형식으로 변환하여 출력한다. 예를 들면, 출력 신호 생성 회로(107)는 매트릭스 회로를 구비하고, 적, 녹, 청의 색 데이터를, 휘도 신호 Y, 적 색차 신호 Cr, 청 색차 신호 Cb의 형식으로 변환하여 출력한다.

도 1에 도시한 촬상 장치(100)의 동작을 간단히 설명한다. 도시하지 않은 광학계에 의해 얻어지는 피사체로부터의 적, 녹, 청의 광은 각각 이미지 센서(101R, 101G, 101B)의 촬상면에 입사되고, 그 촬상면에 적, 녹, 청의 각 색 화상이 결상된다. 이미지 센서(101R, 101G, 101B)에서는, 상술한 바와 같이 촬상면에 색 화상이 결상된 상태에서 촬상 처리가 행해져, 피사체에 대응한 적, 녹, 청의 색 데이터가 얻어진다.

이미지 센서(101R, 101G, 101B)에서 얻어지는 적, 녹, 청의 색 데이터 R, G, B에 대해, 비디오 처리부(108)의 보정 회로(102), 게인 조정 회로(103) 및 색 조정 회로(104)에 의해, 세로 줄무늬 형상의 고정 패턴 노이즈의 제거, 결함 보정, 셰이딩 보정 등의 보정 처리, 화이트 밸런스 조정, 색 조정 등의 조정 처리가 행해진다. 또한, 비디오 처리부(108)에서는 색 조정 회로(104)로부터 출력되는 각 색 데이터에 대해, 휘도 조정 회로(105) 및 감마 보정 회로(106)에 의해, 휘도 압축, 감마 보정 등의 처리가 행해진다. 그리고, 감마 보정 회로(106)에서 얻어지는 각 색 데이터는 출력 신호 생성 회로(107)에 공급되어 최종적인 영상 신호 출력 형식(Y, Cr, Cb)으로 변환되어 출력된다.

상술한 바와 같이, 보정 회로(102)는 세로 줄무늬 형상의 고정 패턴 노이즈를 제거하는 고정 패턴 노이즈 제거 회로를 포함하고 있다. 또한, 고정 패턴 노이즈 제거 회로를 게인 조정 회로(103) 이후의 회로에 포함시키는 것도 생각되지만, 그 고정 패턴 노이즈 제거 회로는 보정 회로(102)에 실장되는 형태가 최적이라고 생각된다. 왜냐하면, 세로 줄무늬 형상의 고정 패턴 노이즈는 이미지 센서(101)(101R, 101G, 101B) 내에서 발생하는 것이며, 게인 조정 회로(103) 등에 의 해 색 데이터 레벨이 변화하기 전에 제거할 필요가 있기 때문이다. 또한, 고정 패턴 노이즈 제거 회로는 적, 녹, 청의 각 신호계에 각각 설치된다.

다음으로, 고정 패턴 노이즈 제거 회로에 대해 설명한다. 우선, 세로 줄무늬 형상의 고정 패턴 노이즈에 대해 설명한다.

세로 줄무늬 형상의 고정 패턴 노이즈는 이미지 센서(101)(도 2 참조)의 각 컬럼의 앰프(26)나 A/D 변환기(27) 등의 출력 계통(컬럼 신호 처리 회로)의 처리 특성의 변동에 의해, 각 화소가 균일하게 노광되었다고 하여도 컬럼마다 출력이 변동되게 됨으로써 발생한다.

도 3은, 컬럼형의 CMOS 이미지 센서(101)의 구조와, 발생하는 세로 줄무늬(세로 줄무늬 형상의 고정 패턴 노이즈)를 모식적으로 도시하고 있다. 이미지 센서(101)는 수평 방향으로 H 화소, 수직 방향으로 V 화소의 유효 화소부(203) 외에, 수평 차광부(HOPB)(201) 및 수직 차광부(VOPB)(202)를 구비한 구성으로 되어 있다. 이와 같은 이미지 센서(101)에서, 상술한 바와 같이 각 컬럼의 출력 계통(컬럼 신호 처리 회로)의 처리 특성의 변동이 있으면, 각 화소가 균일하게 노광되었다고 하여도, 컬럼마다 출력이 변동되어, 세로 줄무늬(204)가 발생한다.

여기서, 세로 줄무늬 형상의 고정 패턴 노이즈(이하, 적절하게, 「세로 줄무늬 노이즈」라고 함)는 오프셋 성분과, 광량 의존 성분으로 대별할 수 있다.

각 컬럼의 오프셋 성분은, 도 4에 도시한 바와 같이, 차광 시에서, 각 컬럼의 출력의, 이상적인 출력에 대한 차분이다. 이 경우, 각 컬럼의 출력은 출력 계통의 처리 특성에 의해, 이상적인 출력에 대해, 레벨이 높아지는 경우도 있고, 또 한 레벨이 낮아지는 경우도 있다. 각 컬럼의 오프셋 성분은 입사광량에 상관없이, 일정한 값이다.

또한, 차광 시에는, 도 5의 (a)에 도시한 바와 같이, 각 컬럼의 출력이 이상적인 출력에 있었다고 하여도, 노광 시에는, 도 5의 (b)에 도시한 바와 같이, 각 컬럼의 출력이 이상적인 출력으로부터 어긋난 것으로 되는 경우가 있다. 각 컬럼의 오프셋 성분은, 노광 시에서, 각 컬럼의 출력의, 이상적인 출력에 대한 차분이다. 각 컬럼의 광량 의존 성분은 입사광량에 따라서 변화해 간다.

본 실시 형태에서, 고정 패턴 노이즈 제거 회로에서는, 기본적으로는, 이하의, 수학식 1 또는 수학식 2에 기초하여, 입력 신호 X로부터 출력 신호 Y를 얻는 것으로 된다. 각 수학식에서, m은 컬럼 번호를 나타내고, n은 로우 번호를 나타내고 있다.

수학식 1에서, A(m)은 광량 의존 성분에 대응한 보정 신호(제2 보정 신호)이며, B(m)은 오프셋 성분에 대응한 보정 신호(제1 보정 신호)이다. 또한, 수학식 2에서, C(m)은 광량 의존 성분에 대응한 보정 신호(제1 보정 신호)이며, D(m)은 오프셋 성분 및 광량 의존 성분에 대응한 보정 신호(제2 보정 신호)이다.

수학식 1 및 수학식 2의 보정 신호 A, B, C, D는, 예를 들면 이하에 설명하는 바와 같이, 차광 시와 노광 시에서의 출력 신호의 레벨에 기초하여 산출된다. 즉, 도 6에 도시한 바와 같이, 차광 시(상태 1)와 임의의 광량에 의한 노광 시(상태 2)의 이미지 센서(101)의 수광부(21)로부터의 입력을 각각 S1, S2로 하고, 이 입력S1, S2가 출력 계통(앰프(26), A/D 변환기(27) 등으로 이루어지는 신호 처리 회로)을 통과하여 얻어지는, 그 이미지 센서(101)의 세로 줄무늬 노이즈가 실린 출력을 각각 T1, T2로 한다. 또한, 입력 S1, S2에 대한 이상적인 출력을 각각 U1, U2로 한다. 또한, S1, S2, T1, T2는, 임의의 컬럼의 평균값으로 한다.

세로 줄무늬 노이즈가 실리지 않은 이상적인 출력을 x, 세로 줄무늬 노이즈가 실린 출력을 y로 하고, x와 y의 관계를, 수학식 3으로 표현하는 것으로 한다.

이 직선은, (U1, T1) 및 (U2, T2)의 점을 통과하므로, 수학식 4 및 수학식 5가 얻어진다.

이들 수학식 4 및 수학식 5로부터, a, b는, 이하의 수학식 6 및 수학식 7과 같이 구해진다.

상술한 수학식 1 및 수학식 2는, 각각 상술한 수학식 3에서의 세로 줄무늬 노이즈가 실린 출력 y를 세로 줄무늬 노이즈가 실리지 않은 이상적인 출력 x로 되돌리기 위한 것이며, 이하의 수학식 8 및 수학식 9의 관계가 성립한다.

따라서, 상술한 수학식 1 및 수학식 2에서의 보정 신호 A, B, C, D는, 이하의 수학식 10, 수학식 11, 수학식 12, 수학식 13과 같이 구해진다.

도 7은, 세로 줄무늬 노이즈 제거 회로(110A)를 도시하고 있다. 이 세로 줄무늬 노이즈 제거 회로(110A)는, 상술한 수학식 1에 기초하여, 세로 줄무늬 노이즈를 제거한다. 세로 줄무늬 노이즈 제거 회로(110A)는 감산기(111), 가산기(112), 승산기(113), 가산기(114), 메모리(115), 메모리 컨트롤부(116) 및 메모리 인터페이스(I/F)부(117)에 의해 구성되어 있다. 메모리(115), 메모리 컨트롤부(116) 및 메모리 I/F부(117)는 보정 신호 출력부를 구성하고 있다. 또한, 감산기(111), 가산기(112), 승산기(113) 및 가산기(114)는 신호 보정부를 구성하고 있다.

메모리(115)에는, 상술한 바와 같이 산출된, 각 출력 계통의 보정 신호 A(m), B(m)이, 미리 기억되어 있다. 여기서, 도 2에 도시한 바와 같이, CMOS 이미지 센서(101)가 컬럼의 하나하나에 대해 출력 계통(예를 들면, 앰프(26), A/D 변환기(27) 등으로 이루어지는 신호 처리 회로)을 갖는 경우에는, 출력 계통의 수는 컬럼의 수와 동일하게 된다. 이에 대해, 예를 들면, 도 8에 도시한 바와 같이, CMOS 이미지 센서(101)가 복수의 컬럼마다 1개의 출력 계통을 갖는 경우에는, 출력 계통의 수는 컬럼의 수보다 적어진다.

또한, 도 8의 이미지 센서(101)의 구성예에서는, 상술한 도 2의 이미지 센 서(101)의 구성예와 마찬가지로, 수평 방향으로 4화소, 수직 방향으로 4화소가 배치되어 있다. 이 도 8의 구성예에서는, 2개의 컬럼마다 1개의 출력 계통을 갖는 경우를 도시하고 있다. 이 도 8에서, 도 2와 대응하는 부분에는 동일 부호를 붙이고, 그 상세 설명은 생략한다.

메모리 컨트롤부(116)에는, 입력으로 되는 이미지 센서(101)의 출력 신호에 동기한 수평 동기 신호, 화소 클럭 신호 등의 동기 신호가 공급된다. 메모리 컨트롤부(116)는, 이 동기 신호에 기초하여, 메모리(115)로부터, 이미지 센서(101)의 출력 신호가 출력된 출력 계통에 대응한 보정 신호 A(m), B(m)을 판독한다. 이 경우, 메모리(115)로부터 판독되는 보정 신호 A(m), B(m)은, 통합된 1개의 신호, 예를 들면 상위 10비트가 보정 신호 A(m)이며, 하위 10비트가 보정 신호 B(m)인 20비트 신호로서 출력된다.

메모리 I/F부(117)는 메모리(115)의 출력 신호로부터 보정 신호 A(m), B(m)을 분리하고, 보정 신호 B(m)을 가산기(112)에 공급하고, 보정 신호 A(m)을 승산기(113)에 공급한다.

감산기(111)는 입력(이미지 센서(101)의 출력 신호)으로부터 흑 레벨을 감산한다. 흑 레벨은, 예를 들면 도시하지 않은 레지스터로부터 공급된다. 가산기(112)는 감산기(111)의 출력 신호 X(m, n)에 보정 신호 B(m)을 가산한다. 승산기(113)는 가산기(112)의 출력 신호에 보정 신호 A(m)을 승산한다. 가산기(114)는 승산기(113)의 출력 신호에 흑 레벨을 가산하여 출력을 얻는다.

도 7에 도시한 세로 줄무늬 노이즈 제거 회로(110A)의 동작을 설명한다. 여 기서는, CMOS 이미지 센서(101)의 어드레스(m, n)의 출력 신호가, 그 세로 줄무늬 노이즈 제거 회로(110A)에 입력되는 경우에 대해 설명한다.

이 경우, 메모리(115)로부터는 메모리 컨트롤부(116)의 제어에 의해, CMOS 이미지 센서(101)의 어드레스(m, n)의 출력 신호가 출력된 출력 계통에 대응한 보정 신호 A(m), B(m)이 판독된다. 그리고, 메모리 I/F부(117)로부터, 가산기(112)에 보정 신호 B(m)이 공급되고, 승산기(113)에 보정 신호 A(m)이 공급된다.

또한, CMOS 이미지 센서(101)의 어드레스(m, n)의 출력 신호는 감산기(111)의 입력으로서 공급된다. 이 감산기(111)에는 흑 레벨이 공급된다. 감산기(111)에서는 입력으로부터 흑 레벨이 감산된다. 이 감산기(111)의 출력 신호 X(m, n)은 가산기(112)에 공급된다. 가산기(112)에서는 신호 X(m, n)에 보정 신호 B(m)이 가산된다.

이 가산기(112)의 출력 신호 {X(m, n)+B(m)}은 승산기(113)에 공급된다. 이 승산기(113)에서는 신호 {X(m, n)+B(m)}에 보정 신호 A(m)이 승산된다. 이 승산기(113)의 출력 신호 Y(m, n)=A(m)*{X(m, n)+B(m)}은 가산기(114)에 공급된다. 이 경우, 신호 X(m, n)에 세로 줄무늬 노이즈가 포함되어 있었다고 하여도, 신호 Y(m, n)은 그 세로 줄무늬 노이즈가 제거된 것으로 된다. 가산기(114)에서는 신호 Y(m, n)에 흑 레벨이 다시 더해져, 세로 줄무늬 노이즈 제거 회로(110A)의 출력이 얻어진다.

도 7에 도시한 세로 줄무늬 노이즈 제거 회로(110A)에 따르면, CMOS 이미지 센서(101)의 출력 계통에 의해 발생하는 세로 줄무늬 노이즈의 오프셋 성분뿐만 아 니라, 광량 의존 성분에도 대응한 보정 신호 A(m), B(m)에 기초하여, CMOS 이미지 센서(101)의 출력 신호로부터 세로 줄무늬 노이즈를 제거하기 때문에, 세로 줄무늬 노이즈(세로 줄무늬 형상의 고정 패턴 노이즈)를 효과적으로 제거할 수 있다.

또한, 도 7에 도시한 세로 줄무늬 노이즈 제거 회로(110A)에 따르면, 이미지 센서(101)의 출력 신호로부터 흑 레벨을 뺀 상태에서, 보정 신호 A(m), B(m)을 이용한 연산을 행하여 세로 줄무늬 노이즈를 제거하고, 그 후에 흑 레벨을 다시 더하는 것으로, 흑 레벨의 영향을 받지 않고, 세로 줄무늬 노이즈를 양호하게 제거할 수 있다.

도 7에 도시한 노이즈 제거 회로(110A)에서는 CMOS 이미지 센서(101)의 각 출력 계통의 보정 신호 A(m), B(m)을 메모리(115)에 기억하여 이용하는 것을 설명하였다. 그러나, CMOS 이미지 센서(101)의 각 출력 계통의 보정 신호 A(m), B(m)을 레지스터에 설정하여 이용하는 것도 생각된다.

도 9는, CMOS 이미지 센서(101)의 각 출력 계통의 보정 신호 A(m), B(m)을 레지스터에 설정하여 이용하는 세로 줄무늬 노이즈 제거 회로(110B)를 도시하고 있다. 이 도 9에서, 도 7과 대응하는 부분에는, 동일 부호를 붙여 나타낸다.

이 세로 줄무늬 노이즈 제거 회로(110B)는 감산기(111), 가산기(112), 승산기(113), 가산기(114), 레지스터(121-1, 121-2, 123-1, 123-2), 셀렉터(122, 124), 메모리(125), 메모리 컨트롤부(126) 및 메모리 인터페이스(I/F)부(127)에 의해 구성되어 있다. 레지스터(121-1, 121-2, 123-1, 123-2), 셀렉터(122, 124), 메모리(125), 메모리 컨트롤부(126) 및 메모리 I/F부(127)는 보정 신호 출력부를 구성 하고 있다. 또한, 감산기(111), 가산기(112), 승산기(113) 및 가산기(114)는 신호 보정부를 구성하고 있다.

레지스터(121-1, 121-2)에는 CMOS 이미지 센서(101)의 각 출력 계통의 보정 신호 B(m)(B1, B2)이 설정되어 있다. 마찬가지로, 레지스터(123-1, 123-2)에는 CMOS 이미지 센서(101)의 각 출력 계통의 보정 신호 A(m)(A1, A2)이 설정되어 있다. 도 9에 도시한 세로 줄무늬 노이즈 제거 회로(110B)는, 도 8에 도시한 바와 같이 출력 계통(앰프(26) 및 A/D 변환기(27) 등의 신호 처리 회로)을 2개 갖는 CMOS 이미지 센서(101)에 대응한 것이다.

메모리(125)에는, 각 출력 계통에 대응한 출력 선택 신호가 미리 기억되어 있다. 메모리 컨트롤부(126)에는, 입력으로 되는 이미지 센서(101)의 출력 신호에 동기한 수평 동기 신호, 화소 클럭 신호 등의 동기 신호가 공급된다. 메모리 컨트롤부(126)는, 이 동기 신호에 기초하여, 메모리(125)로부터, 이미지 센서(101)의 출력 신호가 출력된 출력 계통에 대응한 출력 선택 신호를 판독한다. 메모리 I/F부(127)는 메모리(125)로부터 판독되는 출력 선택 신호를 셀렉터(122, 124)에 공급한다.

셀렉터(122)는 메모리 I/F부(127)로부터의 출력 선택 신호에 기초하여, 레지스터(121-1, 121-2)로부터 출력되는 보정 신호 B1, B2로부터, 이미지 센서(101)의 출력 신호가 출력된 출력 계통의 보정 신호 B(m)을 선택적으로 취출하여, 가산기(112)에 공급한다. 또한, 셀렉터(124)는 메모리 I/F부(127)로부터의 출력 선택 신호에 기초하여, 레지스터(123-1, 123-2)로부터 출력되는 보정 신호 A1, A2로부 터, 이미지 센서(101)의 출력 신호가 출력된 출력 계통의 보정 신호 A(m)을 선택적으로 취출하여, 승산기(113)에 공급한다.

도 9에 도시한 세로 줄무늬 노이즈 제거 회로(110B)에서, 그 밖에는 도 7에 도시한 세로 줄무늬 노이즈 제거 회로(110A)와 마찬가지로 구성되어 있다.

도 9에 도시한 세로 줄무늬 노이즈 제거 회로(110B)의 동작을 설명한다. 여기서는, CMOS 이미지 센서(101)의 어드레스(m, n)의 출력 신호가, 그 세로 줄무늬 노이즈 제거 회로(110B)에 입력되는 경우에 대해 설명한다.

이 경우, 메모리(125)로부터는 메모리 컨트롤부(126)의 제어에 의해, CMOS 이미지 센서(101)의 어드레스(m, n)의 출력 신호가 출력된 출력 계통에 대응한 출력 선택 신호가 판독된다. 그리고, 이 출력 선택 신호는 메모리 I/F부(127)를 통하여 셀렉터(122, 124)에 공급된다.

그리고, 셀렉터(122)에서는 출력 선택 신호에 기초하여, 레지스터(121-1, 121-2)로부터 출력되는 보정 신호 B1, B2로부터, 이미지 센서(101)의 출력 신호가 출력된 출력 계통에 대응한 보정 신호 B(m)이 취출되어, 가산기(112)에 공급된다. 또한, 셀렉터(124)에서는 출력 선택 신호에 기초하여, 레지스터(123-1, 123-2)로부터 출력되는 보정 신호 A1, A2로부터, 이미지 센서(101)의 출력 신호가 출력된 출력 계통에 대응한 보정 신호 A(m)이 취출되어, 승산기(113)에 공급된다.

또한, CMOS 이미지 센서(101)의 어드레스(m, n)의 출력 신호는 감산기(111)의 입력으로서 공급된다. 이 감산기(111)에는 흑 레벨이 공급된다. 감산기(111)에서는 입력으로부터 흑 레벨이 감산된다. 이 감산기(111)의 출력 신호 X(m, n)는 가산기(112)에 공급된다. 가산기(112)에서는 신호 X(m, n)에 보정 신호 B(m)이 가산된다.

이 가산기(112)의 출력 신호 {X(m, n)+B(m)}은 승산기(113)에 공급된다. 이 승산기(113)에서는 신호 {X(m, n)+B(m)}에 보정 신호 A(m)이 승산된다. 이 승산기(113)의 출력 신호 Y(m, n)=A(m)*{X(m, n)+B(m)}은 가산기(114)에 공급된다. 이 경우, 신호 X(m, n)에 세로 줄무늬 노이즈가 포함되어 있었다고 하여도, 신호 Y(m, n)은 그 세로 줄무늬 노이즈가 제거된 것으로 된다.가산기(114)에서는 신호 Y(m, n)에 흑 레벨이 다시 더해져, 세로 줄무늬 노이즈 제거 회로(110B)의 출력이 얻어진다.

도 9에 도시한 세로 줄무늬 노이즈 제거 회로(110B)에 따르면, 도 7에 도시한 세로 줄무늬 노이즈 제거 회로(110A)와 마찬가지의 효과를 얻을 수 있다. 또한, 이 도 9에 도시한 세로 줄무늬 노이즈 제거 회로(110B)에 따르면, 메모리(125)에, 보정 신호 A(m), B(m)에 비해 비트 폭이 작은 출력 선택 신호를 기억해 두는 것으로, 메모리 용량을 삭감할 수 있다. 이와 같이 각 출력 계통에 대응한 보정 신호 A(m), B(m)을 출력하는 복수의 레지스터를 구비하는 것에 있어서는, 출력 계통의 병렬수가 적은 경우에 유효하게 된다.

또한, 도 9에 도시한 세로 줄무늬 노이즈 제거 회로(110B)에서는 셀렉터(122, 124)에서 사용되는 출력 선택 신호를 메모리(125)로부터 판독하여 사용하는 것을 설명하였지만, 이 출력 선택 신호로서, 카운터의 카운트값을 이용하는 것 도 생각된다.

도 10은, 출력 선택 신호로서 카운터의 카운트값을 이용하는 세로 줄무늬 노이즈 제거 회로(110C)를 도시하고 있다. 이 도 10에서, 도 9와 대응하는 부분에는, 동일 부호를 붙여 나타낸다.

이 세로 줄무늬 노이즈 제거 회로(110C)는 감산기(111), 가산기(112), 승산기(113), 가산기(114), 레지스터(121-1, 121-2, 123-1, 123-2), 셀렉터(122, 124) 및 카운터(131)에 의해 구성되어 있다. 레지스터(121-1, 121-2, 123-1, 123-2), 셀렉터(122, 124) 및 카운터(131)는 보정 신호 출력부를 구성하고 있다. 또한, 감산기(111), 가산기(112), 승산기(113) 및 가산기(114)는 신호 보정부를 구성하고 있다.

카운터(131)에는, 입력으로 되는 이미지 센서(101)의 출력 신호에 동기한 수평 동기 신호, 화소 클럭 신호 등의 동기 신호가 공급된다. 카운터(131)는, 예를 들면 수평 동기 신호에 의해 리세트됨과 함께, 화소 클럭 신호에 의해 순차적으로 카운트 업된다. 그 때문에, 카운터(131)의 카운트값은 입력으로 되는 이미지 센서(101)의 출력 신호의 컬럼 어드레스 m을 나타내는 것으로 된다. 카운터(131)의 카운트값은 셀렉터(122, 124)에, 출력 선택 신호로서 공급된다.

셀렉터(122)는 카운터(131)로부터의 카운트값에 기초하여, 레지스터(121-1, 121-2)로부터 출력되는 보정 신호 B1, B2로부터, 이미지 센서(101)의 출력 신호가 출력된 출력 계통의 보정 신호 B(m)을 선택적으로 취출하여, 가산기(112)에 공급한다. 또한, 셀렉터(124)는 카운터(131)로부터의 카운트값에 기초하여, 레지스 터(123-1, 123-2)로부터 출력되는 보정 신호 A1, A2로부터, 이미지 센서(101)의 출력 신호가 출력된 출력 계통의 보정 신호 A(m)을 선택적으로 취출하여, 승산기(113)에 공급한다.

도 10에 도시한 세로 줄무늬 노이즈 제거 회로(110C)에서, 그 밖에는 도 9에 도시한 세로 줄무늬 노이즈 제거 회로(110B)와 마찬가지로 구성되어 있다. 또한, 이 도 10에 도시한 세로 줄무늬 노이즈 제거 회로(110C)에서는, 셀렉터(122, 124)에서 카운터(131)로부터의 카운트값을 이용하여 취출 동작을 행하는 것 외에는, 도 9에 도시한 세로 줄무늬 노이즈 제거 회로(110B)와 마찬가지로 동작한다.

도 10에 도시한 세로 줄무늬 노이즈 제거 회로(110C)에 따르면, 도 9에 도시한 세로 줄무늬 노이즈 제거 회로(110B)와 마찬가지의 효과를 얻을 수 있다. 또한, 이 도 10에 도시한 세로 줄무늬 노이즈 제거 회로(110C)에 따르면, 보정 신호 A(m), B(m)을 레지스터에 설정해 둠과 함께, 카운터(131)의 카운트값을 출력 선택 신호로서 이용하는 것으로, 메모리가 불필요하게 된다.

그런데, 온도 변화에 의한 출력 계통의 특성의 변화, 출력 계통에 포함되는 앰프 게인의 변화, 이미지 센서의 인터레이스와 프로그레시브의 구동의 변화 등에 의해, 출력 계통에서 발생하는 세로 줄무늬 노이즈가 변화하는 경우가 있다. 그 세로 줄무늬 노이즈의 변화에 대처할 수 있도록, 보정 신호 A(m), B(m)의 게인을 조정 가능하게 하는 것이 생각된다.

도 11은, 보정 신호 A(m), B(m)의 게인을 조정 가능하게 한 세로 줄무늬 노이즈 제거 회로(110D)를 도시하고 있다. 이 도 11에서, 도 7과 대응하는 부분에 는, 동일 부호를 붙여서 나타낸다.

이 세로 줄무늬 노이즈 제거 회로(110D)는 감산기(111), 가산기(112), 승산기(113), 가산기(114), 메모리(115), 메모리 컨트롤부(116), 메모리 인터페이스(I/F)부(117), 레지스터(141, 143) 및 승산기(142, 144)에 의해 구성되어 있다. 메모리(115), 메모리 컨트롤부(116) 및 메모리 I/F부(117)는 보정 신호 출력부를 구성하고 있다. 또한, 감산기(111), 가산기(112), 승산기(113) 및 가산기(114)는 신호 보정부를 구성하고 있다. 또한, 레지스터(141, 143)는 보정 계수 출력부를 구성하고 있다. 또한, 승산기(142, 144)는 게인 보정부를 구성하고 있다.

레지스터(141)에는 보정 신호 B(m)의 게인을 보정하는 보정 계수 Q가 설정된다. 또한, 레지스터(143)에는 보정 신호 A(m)의 게인을 보정하는 보정 계수 P가 설정된다. 이들 레지스터(141, 143)에 설정되는 보정 계수 Q, P는 온도 변화에 의한 출력 계통의 특성의 변화, 출력 계통에 포함되는 앰프 게인의 변화, 이미지 센서의 인터레이스와 프로그레시브의 구동의 변화 등에 따라서, 적절하게 변경된다.

승산기(142)는 메모리 I/F부(117)로부터 출력되는 보정 신호 B(m)에, 레지스터(141)로부터 출력되는 보정 계수 Q를 승산하여 게인을 보정하고, 게인 보정된 보정 신호 Q*B(m)을 가산기(112)에 공급한다. 또한, 승산기(144)는 메모리 I/F부(117)로부터 출력되는 보정 신호 A(m)에, 레지스터(143)로부터 출력되는 보정 계수 P를 승산하여 게인을 보정하고, 게인 보정된 보정 신호 P*A(m)을 승산기(113)에 공급한다.

도 11에 도시한 세로 줄무늬 노이즈 제거 회로(110D)에서, 그 밖에는 도 7에 도시한 세로 줄무늬 노이즈 제거 회로(110A)와 마찬가지로 구성되어 있다.

도 11에 도시한 세로 줄무늬 노이즈 제거 회로(110D)의 동작을 설명한다. 여기서는, CMOS 이미지 센서(101)의 어드레스(m, n)의 출력 신호가, 그 세로 줄무늬 노이즈 제거 회로(110D)에 입력되는 경우에 대해 설명한다.

이 경우, 메모리(115)로부터는 메모리 컨트롤부(116)의 제어에 의해, CMOS 이미지 센서(101)의 어드레스(m, n)의 출력 신호가 출력된 출력 계통에 대응한 보정 신호 A(m), B(m)이 판독된다. 그리고, 메모리 I/F부(117)로부터 출력되는 보정 신호 B(m), A(m)은, 각각 승산기(142, 144)에 공급된다.

승산기(142)에서는 보정 신호 B(m)에 레지스터(141)로부터 출력되는 보정 계수 Q가 승산되어, 보정 신호 B(m)의 게인 보정이 행해진다. 그리고, 게인 보정된 보정 신호 Q*B(m)은 가산기(112)에 공급된다. 또한, 승산기(144)에서는 보정 신호 A(m)에 레지스터(143)로부터 출력되는 보정 계수 P가 승산되어, 보정 신호 A(m)의 게인 보정이 행해진다. 그리고, 게인 보정된 보정 신호 P*A(m)은 승산기(113)에 공급된다.

또한, CMOS 이미지 센서(101)의 어드레스(m, n)의 출력 신호는 감산기(111)의 입력으로서 공급된다. 이 감산기(111)에는 흑 레벨이 공급된다. 감산기(111)에서는 입력으로부터 흑 레벨이 감산된다. 이 감산기(111)의 출력 신호 X(m, n)은 가산기(112)에 공급된다. 가산기(112)에서는 신호 X(m, n)에 게인 보정된 보정 신호 Q*B(m)이 가산된다.

이 가산기(112)의 출력 신호 {X(m, n)+Q*B(m)}은 승산기(113)에 공급된다. 이 승산기(113)에서는 신호 {X(m, n)+Q*B(m)}에, 게인 보정된 보정 신호 P*A(m)이 승산된다. 이 승산기(113)의 출력 신호 Y(m, n)=P*A(m)*{X(m, n)+Q*B(m)}은 가산기(114)에 공급된다. 이 경우, 신호 X(m, n)에 세로 줄무늬 노이즈가 포함되어 있었다고 하여도, 신호 Y(m, n)은 그 세로 줄무늬 노이즈가 제거된 것으로 된다. 가산기(114)에서는 신호 Y(m, n)에 흑 레벨이 다시 더해져, 세로 줄무늬 노이즈 제거 회로(110D)의 출력이 얻어진다.

도 11에 도시한 세로 줄무늬 노이즈 제거 회로(110D)에 따르면, 도 7에 도시한 세로 줄무늬 노이즈 제거 회로(110A)와 마찬가지의 효과를 얻을 수 있다. 또한, 이 도 11에 도시한 세로 줄무늬 노이즈 제거 회로(110D)에 따르면, 보정 신호 B(m), A(m)에 각각 보정 계수 Q, P가 승산되어 게인 보정된 보정 신호 Q*B(m), P*A(m)이 이용되는 것으로, 온도 변화에 의한 출력 계통의 특성의 변화, 출력 계통에 포함되는 앰프 게인의 변화, 이미지 센서의 인터레이스와 프로그레시브의 구동의 변화 등에 의한 세로 줄무늬 노이즈의 변화에 대처할 수 있다.

또한, 도 11에 도시한 세로 줄무늬 노이즈 제거 회로(110D)에서는, 모든 출력 계열에 대해 동일한 보정 계수 P, Q를 이용하는 것을 설명하였지만, 온도 변화에 의한 출력 계통의 특성의 변화, 출력 계통에 포함되는 앰프 게인의 변화, 이미지 센서의 인터레이스와 프로그레시브의 구동의 변화 등에 의한 세로 줄무늬 노이즈의 변화가, 출력 계열마다 서로 다른 것이 예측된다. 따라서, 출력 계열마다 최적의 보정 계수 P, Q를 이용하는 것도 생각된다.

도 12는, 출력 계열마다 최적의 보정 계수 P, Q를 이용하도록 한 세로 줄무 늬 노이즈 제거 회로(110E)를 도시하고 있다. 이 도 12에서, 도 11과 대응하는 부분에는, 동일 부호를 붙여서 나타낸다.

이 세로 줄무늬 노이즈 제거 회로(110E)는 감산기(111), 가산기(112), 승산기(113), 가산기(114), 메모리(115), 메모리 컨트롤부(116), 메모리 인터페이스(I/F)부(117), 승산기(142, 144), 메모리(151), 메모리 컨트롤부(152) 및 메모리 인터페이스(I/F)부(153)에 의해 구성되어 있다. 메모리(115), 메모리 컨트롤부(116) 및 메모리 I/F부(117)는 보정 신호 출력부를 구성하고 있다. 또한, 감산기(111), 가산기(112), 승산기(113) 및 가산기(114)는 신호 보정부를 구성하고 있다. 또한, 메모리(151), 메모리 컨트롤부(152) 및 메모리 I/F부(153)는 보정 계수 출력부를 구성하고 있다. 또한, 승산기(142, 144)는 게인 보정부를 구성하고 있다.

메모리(151)에는, 각 출력 계통의 보정 계수 P, Q가 미리 기억되어 있다. 메모리 컨트롤부(152)에는 입력으로 되는 이미지 센서(101)의 출력 신호에 동기한 수평 동기 신호, 화소 클럭 신호 등의 동기 신호가 공급된다. 메모리 컨트롤부(152)는 이 동기 신호에 기초하여, 메모리(151)로부터, 이미지 센서(101)의 출력 신호가 출력된 출력 계통에 대응한 보정 계수 P, Q를 판독한다. 이 경우, 메모리(151)로부터 판독되는 보정 계수 P, Q는, 예를 들면 통합된 1개의 신호, 예를 들면 상위 비트측이 보정 계수 P이며, 하위 비트측이 보정 계수 Q로 된 신호이다. 메모리 I/F부(153)는 메모리(151)의 출력 신호로부터 보정 계수 P, Q를 분리하고, 보정 계수 Q를 승산기(142)에 공급하고, 보정 계수 P를 승산기(144)에 공급한다.

승산기(142)는 메모리 I/F부(117)로부터 출력되는 보정 신호 B(m)에, 메모리 I/F부(153)로부터 출력되는 보정 계수 Q를 승산하여 게인을 보정하고, 게인 보정된 보정 신호 Q*B(m)을 가산기(112)에 공급한다. 또한, 승산기(144)는 메모리 I/F부(117)로부터 출력되는 보정 신호 A(m)에, 메모리 I/F부(153)로부터 출력되는 보정 계수 P를 승산하여 게인을 보정하고, 게인 보정된 보정 신호 P*A(m)을 승산기(113)에 공급한다.

도 12에 도시한 세로 줄무늬 노이즈 제거 회로(110E)에서, 그 밖에는 도 11에 도시한 세로 줄무늬 노이즈 제거 회로(110D)와 마찬가지로 구성되어 있다.

도 12에 도시한 세로 줄무늬 노이즈 제거 회로(110E)의 동작을 설명한다. 여기서는, CMOS 이미지 센서(101)의 어드레스(m, n)의 출력 신호가, 그 세로 줄무늬 노이즈 제거 회로(110E)에 입력되는 경우에 대해 설명한다.

또한, 메모리(151)로부터는 메모리 컨트롤부(152)의 제어에 의해, CMOS 이미지 센서(101)의 어드레스(m, n)의 출력 신호가 출력된 출력 계통에 대응한 보정 계수 P, Q가 판독된다. 그리고, 메모리 I/F부(153)로부터 출력되는 보정 계수 Q, P는, 각각 승산기(142, 144)에 공급된다.

승산기(142)에서는 보정 신호 B(m)에 보정 계수 Q가 승산되어, 보정 신호 B(m)의 게인 보정이 행해진다. 그리고, 게인 보정된 보정 신호 Q*B(m)은 가산기(112)에 공급된다. 또한, 승산기(144)에서는 보정 신호 A(m)에 보정 계수 P가 승산되어, 보정 신호 A(m)의 게인 보정이 행해진다. 그리고, 게인 보정된 보정 신호 P*A(m)은 승산기(113)에 공급된다.

이 가산기(112)의 출력 신호 {X(m, n)+Q*B(m)}은 승산기(113)에 공급된다. 이 승산기(113)에서는 신호 {X(m, n)+Q*B(m)}에, 게인 보정된 보정 신호 P*A(m)이 승산된다. 이 승산기(113)의 출력 신호 Y(m, n)=P*A(m)*{X(m, n)+Q*B(m)}은 가산기(114)에 공급된다. 이 경우, 신호 X(m, n)에 세로 줄무늬 노이즈가 포함되어 있었다고 하여도, 신호 Y(m, n)은 그 세로 줄무늬 노이즈가 제거된 것으로 된다. 가산기(114)에서는 신호 Y(m, n)에 흑 레벨이 다시 더해져, 세로 줄무늬 노이즈 제거 회로(110E)의 출력이 얻어진다.

도 12에 도시한 세로 줄무늬 노이즈 제거 회로(110E)에 따르면, 도 11에 도시한 세로 줄무늬 노이즈 제거 회로(110D)와 마찬가지의 효과를 얻을 수 있다. 또한, 이 도 12에 도시한 세로 줄무늬 노이즈 제거 회로(110E)에 따르면, 출력 계통마다 최적의 보정 계수 Q, P에 의해 보정 신호 B(m), A(m)의 게인을 보정할 수 있 다.

또한, 도 12에 도시한 세로 줄무늬 노이즈 제거 회로(110E)에서는 CMOS 이미지 센서(101)의 각 출력 계통의 보정 계수 P, Q를 메모리(151)에 기억하여 이용하는 것을 설명하였다. 그러나, CMOS 이미지 센서(101)의 각 출력 계통의 보정 계수 P, Q를 레지스터에 설정하여 이용하는 것도 생각된다.

도 13은, CMOS 이미지 센서(101)의 각 출력 계통의 보정 계수 P, Q를 레지스터에 설정하여 이용하는 세로 줄무늬 노이즈 제거 회로(110F)를 도시하고 있다. 이 도 13에서, 도 12와 대응하는 부분에는 동일 부호를 붙여서 나타낸다.

이 세로 줄무늬 노이즈 제거 회로(110F)는 감산기(111), 가산기(112), 승산기(113), 가산기(114), 메모리(115), 메모리 컨트롤부(116), 메모리 인터페이스(I/F)부(117), 승산기(142, 144), 레지스터(161-1, 161-2, 163-1, 163-2), 셀렉터(162, 164), 메모리(165), 메모리 컨트롤부(166) 및 메모리 인터페이스(I/F)부(167)에 의해 구성되어 있다. 메모리(115), 메모리 컨트롤부(116) 및 메모리 I/F부(117)는 보정 신호 출력부를 구성하고 있다. 또한, 감산기(111), 가산기(112), 승산기(113) 및 가산기(114)는 신호 보정부를 구성하고 있다. 또한, 레지스터(161-1, 161-2, 163-1, 163-2), 셀렉터(162, 164), 메모리(165), 메모리 컨트롤부(166) 및 메모리 I/F부(167)는 보정 계수 출력부를 구성하고 있다. 승산기(142, 144)는 게인 보정부를 구성하고 있다.

레지스터(161-1, 161-2)에는 CMOS 이미지 센서(101)의 각 출력 계통의 보정 계수 Q1, Q2가 설정되어 있다. 마찬가지로, 레지스터(163-1, 163-2)에는 CMOS 이 미지 센서(101)의 각 출력 계통의 보정 계수 P1, P2가 설정되어 있다. 도 13에 도시한 세로 줄무늬 노이즈 제거 회로(110F)는, 도 8에 도시한 바와 같이 출력 계통(앰프(26) 및 A/D 변환기(27) 등의 신호 처리 회로)을 2개 갖는 CMOS 이미지 센서(101)에 대응한 것이다.

메모리(165)에는, 각 출력 계통에 대응한 출력 선택 신호가 미리 기억되어 있다. 메모리 컨트롤부(166)에는 입력으로 되는 이미지 센서(101)의 출력 신호에 동기한 수평 동기 신호, 화소 클럭 신호 등의 동기 신호가 공급된다. 메모리 컨트롤부(166)는 이 동기 신호에 기초하여, 메모리(165)로부터, 이미지 센서(101)의 출력 신호가 출력된 출력 계통에 대응한 출력 선택 신호를 판독한다. 메모리 I/F부(167)는 메모리(165)로부터 판독되는 출력 선택 신호를 셀렉터(162, 164)에 공급한다.

셀렉터(162)는 메모리 I/F부(167)로부터의 출력 선택 신호에 기초하여, 레지스터(161-1, 161-2)로부터 출력되는 보정 계수 Q1, Q2로부터, 이미지 센서(101)의 출력 신호가 출력된 출력 계통의 보정 계수 Q를 선택적으로 취출하여, 승산기(142)에 공급한다. 또한, 셀렉터(164)는 메모리 I/F부(167)로부터의 출력 선택 신호에 기초하여, 레지스터(163-1, 163-2)로부터 출력되는 보정 계수 P1, P2로부터, 이미지 센서(101)의 출력 신호가 출력된 출력 계통의 보정 계수 P를 선택적으로 취출하여, 승산기(144)에 공급한다.

승산기(142)는 메모리 I/F부(117)로부터 출력되는 보정 신호 B(m)에, 셀렉터(162)로부터 취출되는 보정 계수 Q를 승산하여 게인을 보정하고, 게인 보정된 보 정 신호 Q*B(m)을 가산기(112)에 공급한다. 또한, 승산기(144)는 메모리 I/F부(117)로부터 출력되는 보정 신호 A(m)에, 셀렉터(164)로부터 취출되는 보정 계수 P를 승산하여 게인을 보정하고, 게인 보정된 보정 신호 P*A(m)을 승산기(113)에 공급한다.

도 13에 도시한 세로 줄무늬 노이즈 제거 회로(110F)에서, 그 밖에는 도 12에 도시한 세로 줄무늬 노이즈 제거 회로(110E)와 마찬가지로 구성되어 있다.

도 13에 도시한 세로 줄무늬 노이즈 제거 회로(110F)의 동작을 설명한다. 여기서는, CMOS 이미지 센서(101)의 어드레스(m, n)의 출력 신호가, 그 세로 줄무늬 노이즈 제거 회로(110F)에 입력되는 경우에 대해 설명한다.

또한, 메모리(165)로부터는 메모리 컨트롤부(166)의 제어에 의해, CMOS 이미지 센서(101)의 어드레스(m, n)의 출력 신호가 출력된 출력 계통에 대응한 출력 선택 신호가 판독된다. 그리고, 이 출력 선택 신호는 메모리 I/F부(167)를 통하여 셀렉터(162, 164)에 공급된다.

그리고, 셀렉터(162)에서는 출력 선택 신호에 기초하여, 레지스터(161-1, 161-2)로부터 출력되는 보정 계수 Q1, Q2로부터, 이미지 센서(101)의 출력 신호가 출력된 출력 계통에 대응한 보정 계수 Q가 취출되어, 승산기(142)에 공급된다. 또 한, 셀렉터(164)에서는 출력 선택 신호에 기초하여, 레지스터(163-1, 163-2)로부터 출력되는 보정 계수 P1, P2로부터, 이미지 센서(101)의 출력 신호가 출력된 출력 계통에 대응한 보정 계수 P가 취출되어, 승산기(144)에 공급된다.

이 가산기(112)의 출력 신호 {X(m, n)+Q*B(m)}은 승산기(113)에 공급된다. 이 승산기(113)에서는 신호 {X(m, n)+Q*B(m)}에, 게인 보정된 보정 신호 P*A(m)이 승산된다. 이 승산기(113)의 출력 신호 Y(m, n)=P*A(m)*{X(m, n)+Q*B(m)}은 가산기(114)에 공급된다. 이 경우, 신호 X(m, n)에 세로 줄무늬 노이즈가 포함되어 있었다고 하여도, 신호 Y(m, n)은 그 세로 줄무늬 노이즈가 제거된 것으로 된다. 가산기(114)에서는 신호 Y(m, n)에 흑 레벨이 다시 더해져, 세로 줄무늬 노이즈 제거 회로(110F)의 출력이 얻어진다.

도 13에 도시한 세로 줄무늬 노이즈 제거 회로(110F)에 따르면, 도 12에 도시한 세로 줄무늬 노이즈 제거 회로(110E)와 마찬가지의 효과를 얻을 수 있다. 또한, 이 도 13에 도시한 세로 줄무늬 노이즈 제거 회로(110F)에 따르면, 메모리(165)에, 보정 계수 P, Q에 비해 비트 폭이 작은 출력 선택 신호를 기억해 두는 것으로, 메모리 용량을 삭감할 수 있다. 이와 같이 각 출력 계통에 대응한 보정 계수 P, Q를 출력하는 복수의 레지스터를 구비하는 것에 있어서는, 출력 계통의 병렬수가 적은 경우에 유효하게 된다.

또한, 도 7의 세로 줄무늬 노이즈 제거 회로(110A)는, 상술한 수학식 1에 기초하여, 세로 줄무늬 노이즈를 제거하는 것이다. 다음으로, 상술한 수학식 2에 기초하여, 세로 줄무늬 노이즈를 제거하는 세로 줄무늬 노이즈 제거 회로에 대해서 설명한다.

도 14는, 상술한 수학식 2에 기초하여, 세로 줄무늬 노이즈를 제거하는 세로 줄무늬 노이즈 제거 회로(110G)를 도시하고 있다. 세로 줄무늬 노이즈 제거 회로(110G)는 감산기(171), 승산기(172), 가산기(173), 가산기(174), 메모리(175), 메모리 컨트롤부(176) 및 메모리 인터페이스(I/F)부(177)에 의해 구성되어 있다. 메모리(175), 메모리 컨트롤부(176) 및 메모리 I/F부(177)는 보정 신호 출력부를 구성하고 있다. 또한, 감산기(171), 승산기(172), 가산기(173) 및 가산기(174)는 신호 보정부를 구성하고 있다.

메모리(175)에는, 상술한 바와 같이 산출된, 각 출력 계통의 보정 신호 C(m), D(m)이 미리 기억되어 있다. 여기서, 도 2에 도시한 바와 같이 CMOS 이미지 센서(101)가 컬럼의 하나하나에 대해 출력 계통(예를 들면, 앰프, A/D 변환기 등으로 이루어지는 신호 처리 회로)을 갖는 경우에는, 출력 계통의 수는 컬럼의 수와 동일하게 된다. 이에 대해, 예를 들면 도 8에 도시한 바와 같이, CMOS 이미지 센서(101)가 복수의 컬럼마다 1개의 출력 계통을 갖는 경우에는, 출력 계통의 수는 컬럼의 수보다 적어진다.

메모리 컨트롤부(176)에는 입력으로 되는 이미지 센서(101)의 출력 신호에 동기한 수평 동기 신호, 화소 클럭 신호 등의 동기 신호가 공급된다. 메모리 컨트롤부(176)는 이 동기 신호에 기초하여, 메모리(175)로부터, 이미지 센서(101)의 출력 신호가 출력된 출력 계통에 대응한 보정 신호 C(m), D(m)을 판독한다. 이 경우, 메모리(175)로부터 판독되는 보정 신호 C(m), D(m)은 통합된 1개의 신호, 예를 들면 상위 10비트가 보정 신호 C(m)이며, 하위 10비트가 보정 신호 D(m)인 20비트 신호로서 출력된다.

메모리 I/F부(177)는 메모리(175)의 출력 신호로부터 보정 신호 C(m), D(m)을 분리하고, 보정 신호 C(m)을 승산기(172)에 공급하고, 보정 신호 D(m)을 가산기(173)에 공급한다.

감산기(171)는 입력(이미지 센서(101)의 출력 신호)으로부터 흑 레벨을 감산한다. 흑 레벨은, 예를 들면 도시하지 않은 레지스터로부터 공급된다. 승산기(172)는 감산기(171)의 출력 신호 X(m, n)에 보정 신호 C(m)을 승산한다. 가산기(173)는 승산기(172)의 출력 신호에 보정 신호 D(m)을 가산한다. 가산기(174)는 가산기(173)의 출력 신호에 흑 레벨을 가산하여 출력을 얻는다.

도 14에 도시한 세로 줄무늬 노이즈 제거 회로(110G)의 동작을 설명한다. 여기서는, CMOS 이미지 센서(101)의 어드레스(m, n)의 출력 신호가, 그 세로 줄무늬 노이즈 제거 회로(110G)에 입력되는 경우에 대해 설명한다.

이 경우, 메모리(175)로부터는 메모리 컨트롤부(176)의 제어에 의해, CMOS 이미지 센서(101)의 어드레스(m, n)의 출력 신호가 출력된 출력 계통에 대응한 보정 신호 C(m), D(m)이 판독된다. 그리고, 메모리 I/F부(177)로부터, 승산기(172)에 보정 신호 C(m)이 공급되고, 가산기(173)에 보정 신호 D(m)이 공급된다.

또한, CMOS 이미지 센서(101)의 어드레스(m, n)의 출력 신호는 감산기(171)의 입력으로서 공급된다. 이 감산기(171)에는 흑 레벨이 공급된다. 감산기(171)에서는 입력으로부터 흑 레벨이 감산된다. 이 감산기(171)의 출력 신호 X(m, n)은 승산기(172)에 공급된다. 승산기(172)에서는 신호 X(m, n)에 보정 신호 C(m)이 승산된다.

이 승산기(172)의 출력 신호 C(m)*X(m, n)은 가산기(173)에 공급된다. 이 가산기(173)에서는 신호 C(m)*X(m, n)에 보정 신호 D(m)이 가산된다. 이 가산기(173)의 출력 신호 Y(m, n)=C(m)*X(m, n)+D(m)은 가산기(174)에 공급된다. 이 경우, 신호 X(m, n)에 세로 줄무늬 노이즈가 포함되어 있었다고 하여도, 신호 Y(m, n)은 그 세로 줄무늬 노이즈가 제거된 것으로 된다. 가산기(174)에서는 신호 Y(m, n)에 흑 레벨이 다시 더해져, 세로 줄무늬 노이즈 제거 회로(110G)의 출력이 얻어진다.

도 14에 도시한 세로 줄무늬 노이즈 제거 회로(110G)에 따르면, CMOS 이미지 센서(101)의 출력 계통에 의해 발생하는 세로 줄무늬 노이즈의 오프셋 성분뿐만 아니라, 광량 의존 성분에도 대응한 보정 신호 C(m), D(m)에 기초하여, CMOS 이미지 센서(101)의 출력 신호로부터 세로 줄무늬 노이즈를 제거하기 때문에, 세로 줄무늬 노이즈(세로 줄무늬 형상의 고정 패턴 노이즈)를 효과적으로 제거할 수 있다.

또한, 도 14에 도시한 세로 줄무늬 노이즈 제거 회로(110G)에 따르면, 이미지 센서(101)의 출력 신호로부터 흑 레벨을 뺀 상태에서, 보정 신호 C(m), D(m)을 이용한 연산을 행하여 세로 줄무늬 노이즈를 제거하고, 그 후에 흑 레벨을 다시 더하는 것으로, 흑 레벨의 영향을 받지 않고, 세로 줄무늬 노이즈를 양호하게 제거할 수 있다.

또한, 상세 설명은 생략하지만, 도 14에 도시한 세로 줄무늬 노이즈 제거 회로(110G)와 같이, 상술한 수학식 2에 기초하여 세로 줄무늬 노이즈를 제거하는 것에 있어서도, 상술한 도 9∼도 13에 도시한 세로 줄무늬 노이즈 제거 회로(110B∼110F)와 마찬가지의 구성을 생각할 수 있다.

또한, 상술한 세로 줄무늬 노이즈 제거 회로(110A∼110G)는 하드웨어로 세로 줄무늬 노이즈 제거의 처리를 행하는 것을 설명하였지만, 마찬가지의 처리를 소프트웨어로 행할 수도 있다. 도 15는 소프트웨어로 처리를 행하는 컴퓨터 장치(110H)의 구성예를 도시하고 있다. 이 컴퓨터 장치(110H)는 CPU(Central Processing Unit)(181), ROM(Read Only Memory)(182), RAM(Random Access Memory)(183), 데이터 입출력부(데이터 I/O)(184) 및 화상 메모리(185)에 의해 구성되어 있다.

ROM(182)에는 CPU(181)의 처리 프로그램, 보정 신호 A(m), B(m)(혹은 보정 계수 C(m), D(m)), 또한 온도 변화에 의한 출력 계통의 특성의 변화, 출력 계통에 포함되는 앰프 게인의 변화, 이미지 센서의 인터레이스와 프로그레시브의 구동의 변화 등에 따른 복수 종류의 보정 계수 P, Q가 저장되어 있다. RAM(183)은 CPU(181)의 워크 에리어로서 기능한다. CPU(181)는 ROM(182)에 저장되어 있는 처리 프로그램을 필요에 따라서 판독하고, 판독한 처리 프로그램을 RAM(183)에 전송하여 전개하고, 그 전개된 처리 프로그램을 판독하여, 세로 줄무늬 노이즈 제거의 처리를 실행한다.

이 컴퓨터 장치(110H)에서는, CMOS 이미지 센서(101)의 출력 신호는 데이터I/O(184)를 통하여 입력되고, 화상 메모리(185)에 축적된다. 이 화상 메모리(185)에 축적된 CMOS 이미지 센서(101)의 출력 신호에 대해, CPU(181)에 의해, 세로 줄무늬 노이즈 제거의 처리가 행해진다. 그리고, 처리 후의 신호는 화상 메모리(185)로부터 데이터 I/O(184)를 통하여 외부에 출력된다.

도 16의 플로우차트는, CPU(181)에 의한 세로 줄무늬 노이즈 제거의 처리 수순을 설명하고 있다. 또한, 이 플로우차트는 1개의 화소 데이터의 처리에 대응하고 있고, 그 처리가 각 화소 데이터에 대해 순차적으로 행해지게 된다.

CPU(181)는, 우선 스텝 ST1에서, 처리를 개시하고, 그 후에 스텝 ST2로 이행한다. 이 스텝 ST2에서, CPU(181)는 ROM(182)으로부터, 처리 대상의 화소 데이터에 대응한, 즉 그 화소 데이터가 출력된 CMOS 이미지 센서(101)의 출력 계통에서의 보정 신호 A(m), B(m)(혹은 보정 계수 C(m), D(m))을 취득한다.

다음으로, CPU(181)는, 스텝 ST3에서, 보정 대상의 화소 데이터에 대응한 보정 계수 P, Q를, ROM(182)으로부터 취득한다. 이 경우, CPU(181)는 온도 변화에 의한 출력 계통의 특성의 변화, 출력 계통에 포함되는 앰프 게인의 변화, 이미지 센서의 인터레이스와 프로그레시브의 구동의 변화 등을 고려하여, 적절한 보정 계수 P, Q를 취득한다.

그리고, CPU(181)는, 스텝 ST4에서, 스텝 ST2에서 취득한 보정 신호 A(m), B(m)(혹은 보정 계수 C(m), D(m))의 게인을, 스텝 ST3에서 취득한 보정 계수로 보정한다. CPU(181)는, 스텝 ST5에서, 스텝 ST4에서 게인 보정된 보정 신호에 의해, 보정 대상의 화소 데이터를 보정하고, 그 후 스텝 ST6에서 처리를 종료한다.

또한, 상술한 실시 형태에서는 CMOS 이미지 센서를 이용한 촬상 장치에 본 발명을 적용한 것을 설명하였지만, 본 발명은 소정수의 컬럼마다 출력 계통을 갖는 이미지 센서를 이용하여 구성되고, 그 출력 계통의 변동에 의해 세로 줄무늬 형상의 고정 패턴 노이즈가 발생하는 촬상 장치에 마찬가지로 적용할 수 있는 것은 물론이다.

본 발명은, 세로 줄무늬 형상의 고정 패턴 노이즈를 효과적으로 제거할 수 있는 것으로, CMOS 이미지 센서 등을 이용하여 구성되는 촬상 장치에 적용할 수 있다.

도 1은 실시 형태로서의 촬상 장치의 구성예를 도시하는 블록도.

도 2는 컬럼형의 CMOS 이미지 센서의 구성예(모든 컬럼에 대응해서 출력 계통을 갖는 예)를 도시하는 도면.

도 3은 컬럼형의 CMOS 이미지 센서의 구조와, 발생하는 세로 줄무늬(세로 줄무늬 형상의 고정 패턴 노이즈)를 모식적으로 도시하는 도면.

도 4는 세로 줄무늬 형상의 고정 패턴 노이즈에서의 오프셋 성분을 설명하기 위한 도면.

도 5는 세로 줄무늬 형상의 고정 패턴 노이즈에서의 광량 의존 성분을 설명하기 위한 도면.

도 6은 세로 줄무늬 형상의 고정 패턴 노이즈 제거 회로에서 이용하는 오프셋 성분 및 광량 의존 성분에 대응한 보정 신호의 산출예를 설명하기 위한 도면.

도 7은 세로 줄무늬 형상 노이즈 제거 회로의 구성예(오프셋 성분에 대응한 보정 신호와, 광량 의존 성분에 대응한 보정 신호를 이용하는 예)를 도시하는 블록도.

도 8은 컬럼형의 CMOS 이미지 센서의 다른 구성예(2개의 컬럼마다 출력 계통을 갖는 예)를 도시하는 도면.

도 9는 세로 줄무늬 형상 노이즈 제거 회로의 다른 구성예(보정 신호를 레지스터에 설정, 각 출력 계통의 출력 선택 신호를 메모리로부터 공급)를 도시하는 블록도.

도 10은 세로 줄무늬 형상 노이즈 제거 회로의 다른 구성예(보정 신호를 레지스터에 설정, 각 출력 계통의 출력 선택 신호를 카운트값으로 공급)를 도시하는 블록도.

도 11은 세로 줄무늬 형상 노이즈 제거 회로의 다른 구성예(보정 신호의 게인을 레지스터에 설정된 보정 계수로 보정)를 도시하는 블록도.

도 12는 세로 줄무늬 형상 노이즈 제거 회로의 다른 구성예(보정 신호의 게인을, 출력 계통마다 메모리로부터 판독한 보정 계수로 보정)를 도시하는 블록도.

도 13은 세로 줄무늬 형상 노이즈 제거 회로의 다른 구성예(보정 신호의 게인을, 출력 계통마다 레지스터에 설정된 보정 계수로 보정)를 도시하는 블록도.

도 14는 세로 줄무늬 형상 노이즈 제거 회로의 구성예(오프셋 성분에 대응한 보정 신호와, 오프셋 성분 및 광량 의존 성분에 대응한 보정 신호를 이용하는 예)를 도시하는 블록도.

도 15는 세로 줄무늬 형상의 고정 패턴 노이즈(세로 줄무늬 노이즈)의 제거 처리를 소프트웨어로 행하는 컴퓨터 장치의 구성예를 도시하는 블록도.

도 16은 CPU에 의한 세로 줄무늬 노이즈 제거의 처리 수순을 설명하는 플로우차트.

<도면의 주요 부분에 대한 부호의 설명>

21 : 화소(수광부)

22 : 수직 라인 셀렉터

23 : 수평 라인 셀렉터

24 : 수직 어드레스 구동 회로

25 : 수평 어드레스 구동 회로

26 : 컬럼 앰프

27 : A/D 변환기

28 : 시프트 레지스터

100 : 촬상 장치

101, 101R, 101G, 101B : CMOS 이미지 센서

102 : 보정 회로

103 : 게인 조정 회로

104 : 색 조정 회로

105 : 휘도 조정 회로

106 : 감마 보정 회로

107 : 출력 신호 생성 회로

108 : 비디오 처리부

110A∼110G : 세로 줄무늬 노이즈 제거 회로

110H : 컴퓨터 장치

111, 171 : 감산기

112, 114, 173, 174 : 가산기

113, 142, 144, 172 : 승산기

114 : 가산기

121-1, 121-2, 123-1, 123-2, 141, 143 : 레지스터

122, 124, 162, 164 : 셀렉터

125, 151, 165, 175 : 메모리

126, 152, 166, 176 : 메모리 컨트롤부

127, 153, 167, 177 : 메모리 인터페이스(I/F)부

131 : 카운터

181 : CPU

182 : ROM

183 : RAM

184 : 데이터 입출력부

185 : 화상 메모리

Claims

소정수의 컬럼마다 출력 계통을 갖는 이미지 센서의 출력 신호로부터 세로 줄무늬 형상의 고정 패턴 노이즈를 제거하는 고정 패턴 노이즈 제거 회로로서,

상기 이미지 센서의 출력 신호에 관련되는 상기 출력 계통에 대응하고, 그 출력 계통에 의해 발생하는 상기 고정 패턴 노이즈의 오프셋 성분 및 광량 의존 성분에 따른 보정 신호를 출력하는 보정 신호 출력부와,

상기 보정 신호 출력부로부터 출력되는 상기 보정 신호에 기초하여, 상기 이미지 센서의 출력 신호로부터 상기 고정 패턴 노이즈를 제거하는 신호 보정부

를 구비하는 것을 특징으로 하는 고정 패턴 노이즈 제거 회로.
제1항에 있어서,

상기 보정 신호 출력부는,

상기 오프셋 성분에 대응한 제1 보정 신호와, 상기 광량 의존 성분에 대응한 제2 보정 신호를 출력하고,

상기 신호 보정부는,

상기 이미지 센서의 출력 신호로부터 흑 레벨을 감산하는 감산기와,

상기 감산기의 출력 신호에 상기 제1 보정 신호를 가산하는 제1 가산기와,

상기 제1 가산기의 출력 신호에 상기 제2 보정 신호를 승산하는 승산기와,

상기 승산기의 출력 신호에 상기 흑 레벨을 가산하는 제2 가산기를 갖는 것 을 특징으로 하는 고정 패턴 노이즈 제거 회로.
제1항에 있어서,

상기 보정 신호 출력부는,

상기 광량 의존 성분에 대응한 제1 보정 신호와, 상기 오프셋 성분 및 상기 광량 의존 성분에 대응한 제2 보정 신호를 출력하고,

상기 신호 보정부는,

상기 이미지 센서의 출력 신호로부터 흑 레벨을 감산하는 감산기와,

상기 감산기의 출력 신호에 상기 제1 보정 신호를 승산하는 승산기와,

상기 승산기의 출력 신호에 상기 제2 보정 신호를 가산하는 제1 가산기와,

상기 제1 가산기의 출력 신호에 상기 흑 레벨을 가산하는 제2 가산기를 갖는 것을 특징으로 하는 고정 패턴 노이즈 제거 회로.
제1항에 있어서,

상기 보정 신호 출력부는,

상기 각 출력 계통에 대응한 상기 보정 신호를 기억한 메모리와,

상기 이미지 센서의 출력 신호에 동기한 동기 신호에 기초하여, 상기 메모리로부터 상기 이미지 센서의 출력 신호가 출력된 상기 출력 계통에 대응한 상기 보정 신호를 판독하는 메모리 컨트롤부를 갖는 것을 특징으로 하는 고정 패턴 노이즈 제거 회로.
제1항에 있어서,

상기 보정 신호 출력부는,

상기 각 출력 계통에 대응한 상기 보정 신호를 출력하는 복수의 레지스터와,

상기 각 레지스터로부터 출력되는 상기 보정 신호로부터 소정의 보정 신호를 선택적으로 취출하는 셀렉터와,

상기 각 출력 계통에 대응한 출력 선택 신호가 기억되어 있는 메모리와,

상기 이미지 센서의 출력 신호에 동기한 동기 신호에 기초하여, 상기 메모리로부터 상기 이미지 센서의 출력 신호가 출력된 상기 출력 계통에 대응한 상기 출력 선택 신호를 판독하는 메모리 컨트롤부를 갖고,

상기 셀렉터는, 상기 메모리로부터 판독되는 출력 선택 신호에 기초하여, 상기 각 레지스터로부터 출력되는 상기 보정 신호로부터 상기 소정의 보정 신호를 선택적으로 취출하는 것을 특징으로 하는 패턴 노이즈 제거 회로.
제1항에 있어서,

상기 보정 신호 출력부는,

상기 각 출력 계통에 대응한 상기 보정 신호를 출력하는 복수의 레지스터와,

상기 각 레지스터로부터 출력되는 상기 보정 신호로부터 소정의 보정 신호를 선택적으로 취출하는 셀렉터와,

상기 이미지 센서의 출력 신호에 동기한 동기 신호에 기초하여 카운트 동작 을 행하는 카운터를 갖고,

상기 셀렉터는, 상기 카운터의 카운트값에 기초하여, 상기 각 레지스터로부터 출력되는 상기 보정 신호로부터 상기 소정의 보정 신호를 선택적으로 취출하는 것을 특징으로 하는 고정 패턴 노이즈 제거 회로.
제1항에 있어서,

상기 보정 신호의 게인을 보정하는 보정 계수를 출력하는 보정 계수 출력부와,

상기 보정 계수 출력부로부터 출력되는 상기 보정 계수를, 상기 보정 신호 출력부로부터 출력되는 보정 신호에 승산하는 게인 보정부를 더 구비하는 것을 특징으로 하는 고정 패턴 노이즈 제거 회로.
제7항에 있어서,

상기 보정 계수 출력부는,

상기 이미지 센서의 출력 신호가 출력된 상기 출력 계통에 대응한 상기 보정 계수를 출력하는 것을 특징으로 하는 고정 패턴 노이즈 제거 회로.
제8항에 있어서,

상기 보정 계수 출력부는,

상기 각 출력 계통에 대응한 상기 보정 계수가 기억되어 있는 메모리와,

상기 이미지 센서의 출력 신호에 동기한 동기 신호에 기초하여, 상기 메모리로부터, 상기 이미지 센서의 출력 신호가 출력된 상기 출력 계통에 대응한 상기 보정 계수를 판독하는 메모리 컨트롤부를 갖는 것을 특징으로 하는 고정 패턴 노이즈 제거 회로.
제8항에 있어서,

상기 보정 계수 출력부는,

상기 각 출력 계통에 대응한 상기 보정 계수를 출력하는 복수의 레지스터와,

상기 각 레지스터로부터 출력되는 상기 보정 계수로부터 소정의 보정 계수를 선택적으로 취출하는 셀렉터와,

상기 각 출력 계통에 대응한 출력 선택 신호가 기억되어 있는 메모리와,

상기 이미지 센서의 출력 신호에 동기한 동기 신호에 기초하여, 상기 메모리로부터, 상기 이미지 센서의 출력 신호가 출력된 상기 출력 계통에 대응한 상기 출력 선택 신호를 판독하는 메모리 컨트롤부를 갖고,

상기 셀렉터는, 상기 메모리로부터 판독되는 선택 신호에 기초하여, 상기 각 레지스터로부터 출력되는 상기 보정 계수로부터 상기 소정의 보정 계수를 선택적으로 취출하는 것을 특징으로 하는 고정 패턴 노이즈 제거 회로.
소정수의 컬럼마다 출력 계통을 갖는 이미지 센서의 출력 신호로부터 세로 줄무늬 형상의 고정 패턴 노이즈를 제거하는 고정 패턴 노이즈 제거 방법으로서,

상기 이미지 센서의 출력 신호에 관련되는 상기 출력 계통에 대응하고, 그 출력 계통에 의해 발생하는 상기 고정 패턴 노이즈의 오프셋 성분 및 광량 의존 성분에 따른 보정 신호를 취득하는 보정 신호 취득 스텝과,

상기 보정 신호 취득 스텝에서 취득되는 상기 보정 신호에 기초하여, 상기 이미지 센서의 출력 신호로부터 상기 고정 패턴 노이즈를 제거하는 신호 보정 스텝을 구비하는 것을 특징으로 하는 고정 패턴 노이즈 제거 방법.
소정수의 컬럼마다 출력 계통을 갖는 이미지 센서의 출력 신호로부터 세로 줄무늬 형상의 고정 패턴 노이즈를 제거하기 위해서,

컴퓨터를,

상기 이미지 센서의 출력 신호에 관련되는 상기 출력 계통에 대응하고, 그 출력 계통에 의해 발생하는 상기 고정 패턴 노이즈의 오프셋 성분 및 광량 의존 성분에 따른 보정 신호를 출력하는 보정 신호 출력 수단과,

상기 보정 신호 출력 수단으로부터 출력되는 상기 보정 신호에 기초하여, 상기 이미지 센서의 출력 신호로부터 상기 고정 패턴 노이즈를 제거하는 신호 보정 수단으로서 기능시키기 위한 프로그램.
소정수의 컬럼마다 출력 계통을 갖는 이미지 센서와,

상기 이미지 센서의 출력 신호로부터 세로 줄무늬 형상의 고정 패턴 노이즈를 제거하는 고정 패턴 노이즈 제거 회로를 구비하고,

상기 고정 패턴 노이즈 제거 회로는,

상기 이미지 센서의 출력 신호에 관련되는 상기 출력 계통에 대응하고, 그 출력 계통에 의해 발생하는 상기 고정 패턴 노이즈의 오프셋 성분 및 광량 의존 성분에 따른 보정 신호를 출력하는 보정 신호 출력부와,

상기 보정 신호 출력부로부터 출력되는 상기 보정 신호에 기초하여, 상기 이미지 센서의 출력 신호로부터 상기 고정 패턴 노이즈를 제거하는 신호 보정부를 갖는 것을 특징으로 하는 촬상 장치.