KR100880085B1 - 촬상 장치 및 노이즈 제거 방법 - Google Patents

Abstract

고체 촬상 소자로부터의 암 신호에 의한 노이즈를 제거하는 것이 가능한 촬상 장치이다. 통상 촬상에 의한 화상 신호 (A2)가 화상 메모리에 기억된 후, 그 직후에 셔터를 폐쇄한 촬상에 의한 화상 신호 (B2)가 화상 메모리에 기억된다. 다음에, 메모리 컨트롤러(6c)를 통하여 각 화상 신호 (A2) 및 (B2)가 전 처리 회로(6a)에 공급된다. 연산 회로(61)는 화상 신호 (A2)로부터 화상 신호 (B2)를 감산하여, 고정 패턴 노이즈나 오프셋 성분을 제거한다. 휘점 검출 회로(62)는 화상 신호 (B2)로부터 휘점 노이즈의 발생 위치를 검출하고, 이 검출에 따라 타이밍 펄스 (T1)을 출력한다. 흑점 보정 회로(63)는 타이밍 펄스 (T1)에 기초하여 연산 회로(61)로부터 출력되는 화상 신호 (C1)에서의 흑점 노이즈의 발생의 가능성이 있는 화소를 검출하고, 이 화소를 근방의 화소의 데이터를 사용하여 보정한다.

휘점 노이즈, 고체 촬상 소자, 타이밍 펄스, 화상 메모리

Description

촬상 장치 및 노이즈 제거 방법{IMAGING DEVICE AND METHOD FOR REMOVING NOISE}

본 발명은 고체 촬상 소자를 이용하여 피사체를 촬상하는 촬상 장치, 및 이 촬상 시에 발생하는 노이즈를 제거하기 위한 노이즈 제거 방법에 관한 것이다.

최근, 촬영한 화상을 디지털 데이터로서 기억하는 디지털 카메라가 보급되어 있다. 이 디지털 카메라에서는 광학 렌즈에 의해 촬영된 화상을 CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 등의 고체 촬상 소자를 사용하여 광전 변환한 후에, 디지털 데이터화하여 기록한다.

이러한 촬상 소자에 의해 생성되는 화상 신호에는 제조 과정에서의 여러 요인에 의해 촬상 소자로부터 발생되는 암 신호에 의한 노이즈나 회로 기판 등으로부터 발생하는 노이즈가 혼재하는 경우가 많다. 예를 들면, 암 신호에 의한 고정 패턴 노이즈 중, 구조적 결함 등의 원인에 의해 특정한 촬상 소자에서 대량의 전하가 발생하기 때문에 생기는 노이즈가 있다. 이 노이즈는 화면 상에 흰 휘점이 되어 나타난다. 이하, 이 노이즈를 휘점 노이즈라고 호칭한다. 휘점 노이즈는 통상의 사용에서는 극단적으로 크게 발생하는 것은 적지만 발생량이 노광 시간이나 온도에 의존하기 때문에 장시간 노광이나 고온 환경 하에서 사용된 경우에는 현저하게 된다.

이 때문에, 디지털 카메라의 내부에서는, 통상 촬상 소자로부터의 화상 신호를 보정하여 이들의 고정 패턴 노이즈를 저감하는 처리가 행해진다. 그 일례로서, 셔터를 개방하여 통상대로 촬영한 화상 신호로부터, 동일한 노광 조건으로 셔터를 폐쇄하고 완전히 빛을 차단한 상태에서 촬영한 화상 신호를 감하는 방법이 알려져 있다.

그러나, 상기한 노이즈 저감 방법으로는 암 신호에 의한 노이즈의 영향을 완전히 제거할 수 없어, 휘점 부분이 반대로 검은 점으로서 화면 상에 남아 버리는 경우가 있다. 이하, 이 문제점에 대하여 설명한다. 도 18은 상기한 노이즈의 저감 방법에서 촬상되는 화상 신호의 파형예를 도시하는 도면이다. 또, 도 19는 상기한 노이즈 저감 방법에서 출력되는 화상 신호의 파형예를 도시하는 도면이다.

도 18의 (A)에서는 촬상 소자로부터 출력된 아날로그 신호의 파형예를 나타내고 있다. 이 신호에는 촬상된 화상 신호 상에 미세한 노이즈 성분이나 노이즈에 의한 직류적인 오프셋 외에, 촬상 소자에 의해 발생되는 암 신호에 의한 휘점 노이즈 N1∼N7이 포함되어 있다. 촬상 장치 중에서는 통상 이러한 신호가 A/D 변환부에 의해 디지털 신호로 변환된 후에, 노이즈 제거 처리 등의 각종 신호 처리가 실시되어 기억 매체 등에 기억된다.

또한, 도 18의 (B)는 셔터를 폐쇄한 상태에서 촬상되어, 촬상 소자로부터 출력된 신호의 파형예를 나타내고 있다. 또, 도 18의 (B)에서는 도 18의 (A)에 대응하는 휘점 노이즈에 동일한 부호를 붙여서 나타낸다. 상기한 노이즈의 저감 처리에서는, 이 도 18의 (B)의 신호에 대한 촬상이 도 18의 (A)의 신호에 대한 촬상 직후 또는 직전에 노광 시간 등의 조건을 동일하게 하여 행해진다. 예를 들면, 도 18의 (A)의 신호가 먼저 촬상된 경우에는 이 신호가 디지털화된 후, 소정의 버퍼에 축적된 상태에서 직후에 도 18의 (B)의 신호가 촬상된다.

여기서, 도 18의 (B)의 신호는 셔터를 폐쇄하여 촬상되기 때문에, 화상 신호를 포함하지 않고 노이즈 성분만으로 구성된다. 따라서, 도 18의 (A)의 신호로부터 도 18의 (B)의 신호를 감산함으로써, 도 19에 도시한 바와 같은 미세한 고정 패턴 노이즈 및 직류 오프셋이 제거된 신호 파형이 얻어진다.

그런데, 도 18 및 도 19에서는 이들 신호가 A/D 변환될 때에 변환 가능한 범위의 최대값을 R로서 점선으로 나타내고 있다. 도 18의 (A)에서는 촬상 소자로부터의 암 신호에 의한 휘점 노이즈 N1∼N7 중, 특히 휘점 노이즈 N1, N2 및 N3의 레벨이 크고, A/D 변환의 범위를 일탈하고 있다. 따라서, 이들 휘점 노이즈 N1, N2 및 N3의 신호 레벨은 A/D 변환되면 전부 풀 스케일의 동일한 값이 되고, 본래의 신호 레벨이 반영되지 않는다.

한편, 도 18의 (B)의 신호 파형에서는 암 신호에 의한 도 18의 (A)와 동일한 휘점 노이즈 N1∼N7이 존재하지만, 이들 신호 레벨은 A/D 변환의 범위에 들어가 있기 때문에, 실제의 입력에 의거한 신호 레벨에 디지털 변환된다. 이 도 18의 (B)에서는 휘점 노이즈 N1, N2 및 N3의 레벨은 각각 실제와는 다른 것을 알 수 있다.

따라서, 이들 신호를 감산하여 생성된 파형에는 도 19에 도시한 바와 같이 연산 오차가 나타나, 휘점으로 되어 있는 부분의 신호 레벨이 반대로 극단적으로 하강한 상태가 된다. 이 부분은 생성된 화상 중에는 색이 짙은 화소(이하, 흑점이라고 호칭함)가 되어 검게 구멍이 나 있는 상태로 남게 된다.

이상과 같이, 종래의 노이즈 저감 방법에서는, 암 신호에 의한 휘점 노이즈를 완전히 제거할 수 없고, 이 휘점 노이즈의 영향이 생성된 화상 중에 흑점으로서 나타나게 되어, 화질이 열화하는 것이 문제가 되었다.

본 발명은 이러한 과제에 감안하여 이루어진 것으로, 고체 촬상 소자로부터의 암 신호에 의한 노이즈를 제거하는 것이 가능한 촬상 장치를 제공하는 것을 목적으로 한다.

또한, 본 발명의 다른 목적은 고체 촬상 소자로부터의 암 신호에 의한 노이즈를 제거하는 것이 가능한 노이즈 제거 방법을 제공하는 것이다.

<발명의 개시>

본 발명에서는 상기 과제를 해결하기 위해, 고체 촬상 소자를 이용하여 피사체를 촬상하는 촬상 장치에서 셔터를 개방한 통상 촬상에 의해 촬상되어 디지털 데이터화된 제1 화상 데이터로부터 상기 통상 촬상 직전 또는 직후에 상기 통상 촬상과 동일한 노광 조건으로 셔터를 폐쇄하여 촬상되고, 디지털 데이터화된 제2 화상 데이터를 감산하는 감산 수단과, 촬상 화상 상에 휘점을 생성하는 고레벨의 노이즈인 휘점 노이즈의 상기 제2 화상 데이터에서의 발생 위치를 검출하는 휘점 위치 검출 수단과, 상기 감산 수단으로부터의 출력 데이터에 대하여 상기 휘점 위치 검출 수단에 의해 검출된 상기 휘점 노이즈의 발생 위치에 대응하는 화소의 데이터를 보 정하는 노이즈 보정 수단을 갖는 것을 특징으로 하는 촬상 장치가 제공된다.

이러한 촬상 장치에서는, 감산 수단은 셔터를 개방한 통상 촬상에 의한 제1 화상 데이터로부터, 통상 촬상 직전 또는 직후에 통상 촬상과 동일한 노광 조건으로 셔터를 폐쇄하여 촬상되어 생성된 제2 화상 데이터를 감산한다. 휘점 위치 검출 수단은 휘점 노이즈의 제2 화상 데이터에서의 발생 위치를 검출한다. 노이즈 보정 수단은 감산 수단으로부터의 출력 데이터에 대하여 휘점 위치 검출 수단에 의해 검출된 휘점 노이즈의 발생 위치에 대응하는 화소의 데이터를 보정한다. 따라서, 감산 수단으로부터의 출력 데이터에서의 휘점 노이즈의 발생 위치를 용이하고 또한 정확하게 검출하여 보정할 수 있다.

또한, 본 발명에서는 고체 촬상 소자를 이용하여 피사체를 촬상할 때에 발생하는 노이즈를 제거하기 위한 노이즈 제거 방법에 있어서, 셔터를 개방한 통상 촬상에 의해 촬상하여 디지털 데이터화한 제1 화상 데이터로부터, 상기 통상 촬상 직전 또는 직후에 상기 통상 촬상과 동일한 노광 조건으로 셔터를 폐쇄하여 촬상하고, 디지털 데이터화한 제2 화상 데이터를 감산하고, 촬상 화상 상에 휘점을 생성하는 고레벨의 노이즈인 휘점 노이즈의 상기 제2 화상 데이터에서의 발생 위치를 검출하고, 상기 감산에 의한 결과의 데이터에 대하여 검출된 상기 휘점 노이즈의 발생 위치에 대응하는 화소의 데이터를 보정하는 것을 특징으로 하는 노이즈 제거 방법이 제공된다.

이러한 노이즈 제거 방법에서는 셔터를 개방한 통상 촬상의 직전 또는 직후에 통상 촬상과 동일한 노광 조건으로 셔터를 폐쇄하여 촬상되어 생성된 제2 화상 데이터로부터 휘점 노이즈의 발생 위치를 검출한다. 그리고, 통상 촬상에 의한 제1 화상 데이터로부터 제2 화상 데이터를 감산하여 얻은 화상 데이터에 대하여 검출된 휘점 노이즈의 발생 위치에 대응하는 화소의 데이터를 보정한다. 따라서, 감산에 의해 얻어진 화상 데이터에서의 휘점 노이즈의 발생 위치를 용이하고 또한 정확하게 검출하고 보정할 수 있다.

도 1은 본 발명의 촬상 장치의 구성예를 도시하는 블록도.

도 2는 전 처리 회로의 내부 구성예를 도시하는 도면.

도 3은 연산기에 입력되는 각 화상 신호의 신호 파형의 예를 도시하는 도면.

도 4는 셔터를 폐쇄하여 촬상된 화상 신호와 타이밍 펄스와의 관계를 설명하기 위한 도면.

도 5A 내지 도 5B는 흑점 노이즈의 보정에 대하여 설명하기 위한 파형예를 도시하는 도면.

도 6은 연산기의 제1 내부 구성예를 도시하는 도면.

도 7은 연산기의 제2 내부 구성예를 도시하는 도면.

도 8은 연산기의 제2 내부 구성예에서의 각 부의 신호 레벨에 대하여 10 비트의 디지털 데이터를 예로서 설명하기 위한 도면.

도 9는 휘점 검출 회로의 제1 내부 구성예를 도시하는 도면.

도 10은 휘점 검출 회로에 대한 오프셋 레벨의 서로 다른 2개의 화상 신호에 대한 휘점 노이즈 발생 위치의 검출의 모습을 도시하는 도면.

도 11은 휘점 검출 회로의 제2 내부 구성예를 도시하는 도면.

도 12는 제2 내부 구성예에서의 비교 회로에서의 휘점 노이즈 검출과, 타이밍 펄스의 출력과의 관계를 도시하는 도면.

도 13A 내지 도 13B는 휘점 검출 회로의 제3 및 제4 내부 구성예를 도시하는 도면.

도 14는 흑점 보정 회로의 제1 내부 구성예를 도시하는 도면.

도 15는 셀렉터에서의 입출력 신호의 모습을 도시하는 도면.

도 16A 내지 도 16B는 흑점 보정 회로의 제2 및 제3 내부 구성예를 도시하는 도면.

도 17A 내지 도 17B는 촬상 소자의 구조의 차이에 의한 화상 신호 중 화소 배열의 차이의 예에 대하여 도시하는 도면.

도 18은 종래의 노이즈의 저감 방법에서 촬상되는 화상 신호의 파형예를 도시하는 도면.

도 19는 종래의 노이즈 저감 방법에 있어서 출력되는 화상 신호의 파형예를 도시하는 도면.

<발명을 실시하기 위한 최량의 형태>

이하, 본 발명의 실시 형태를 도면을 참조하여 설명한다.

도 1은 본 발명의 촬상 장치의 구성예를 도시하는 블록도이다.

도 1에 도시하는 촬상 장치(1)는 피사체를 촬상하여 디지털의 화상 데이터를 생성하기 위한 장치로, 피사체로부터의 빛에 대한 렌즈(2a), 아이리스(2b) 및 셔터(2c)와, 이 빛을 광전 변환하는 촬상 소자(3)와, 촬상 소자(3)로부터의 아날로그 화상 신호를 드라이브하는 증폭기(4)와, 아날로그 화상 신호의 디지털 데이터화 등의 처리를 행하는 프론트엔드(5)와, 디지털 데이터화된 화상 신호에 대한 노이즈 저감 처리나 색 신호 처리 등을 행하는 카메라 시스템 LSI(6)와, 카메라 시스템 LSI(6)로부터의 출력 화상 신호를 기억하는 화상 메모리(7)와, 촬상 소자(3)를 구동하는 TG(Timing Generator)(8)와, 장치 전체를 제어하는 마이크로 컴퓨터(9)에 의해 구성된다.

렌즈(2a)는 광축을 따라 가동되고 있고, 피사체로부터의 빛을 촬상 소자(3)에 정확하게 집광한다. 아이리스(2b)는 집광된 광이 투과하는 면적을 변화시켜, 촬상 소자(3)에 공급되는 광량을 제어한다. 셔터(2c)는 빛의 투과를 차단함으로써 촬상 소자(3)에서의 노광을 제어한다. 또, 셔터(2c)의 기능을 아이리스(2b)가 겸하고 있는 경우도 있다. 이들 렌즈(2a), 아이리스(2b) 및 셔터(2c)의 동작은 마이크로 컴퓨터(9)에 의해 제어된다.

촬상 소자(3)는, 예를 들면 CCD나 CMOS 이미지 센서 등의 고체 촬상 소자가 다수 집적되어 구성되고, 피사체로부터의 빛을 전기 신호로 변환하여, 전류값 또는 전압값으로서 출력한다. 증폭기(4)는 촬상 소자(3)의 출력 신호를 드라이브하여 아날로그 화상 신호로서 프론트엔드(5)에 공급한다.

프론트엔드(5)는 S/H(Sample/Hold)·GC(Gain Control) 회로(5a)와, A/D 변환 회로(5b)에 의해 구성된다. S/H·GC 회로(5a)는 증폭기(4)를 통하여 공급된 아날로그 화상 신호에 대하여 상관 2중 샘플링 처리에 의해 소위 1/F 흔들림 노이즈 등 의 노이즈 제거 처리를 행하고, 또한 필요에 따라 게인 조정을 행한다. A/D 변환 회로(5b)는 S/H·GC 회로(5a)로부터의 신호를 디지털 화상 신호로 변환하여 카메라 시스템 LSI(6)에 대하여 공급한다.

카메라 시스템 LSI(6)는 프론트엔드(5)로부터의 화상 신호에 대한 노이즈 제거 처리 등의 전 처리를 행하는 전 처리 회로(6a)와, 색 신호 처리 등의 본 처리를 행하는 본 처리 회로(6b)와, 화상 메모리(7)에 대한 화상 신호의 기입, 판독을 제어하는 메모리 컨트롤러(6c)와, 각부에 대한 타이밍 신호를 발생시키는 타이밍 발생 회로(6d)를 구비한다.

전 처리 회로(6a)는 화상 메모리(7)로부터 판독된 화상 신호를 연산하여, 촬상 소자(3) 등에 의해 발생되는 노이즈 등을 제거하는 처리를 행한다. 여기서는, 후술하는 바와 같이, 셔터를 개방한 통상 촬상에 의한 화상 신호와, 셔터를 폐쇄하여 촬상한 화상 신호와의 감산 처리를 행한 후에, 또한 암 신호에 의한 고레벨의 노이즈(휘점 노이즈)의 발생을 위해 촬상 화상 상에 나타나는 색이 짙은 화소(흑점)를 보정하는 처리를 행한다.

본 처리 회로(6b)는 화상 메모리(7)로부터 판독된 R/G/B(Red/Green/Blue) 원색 신호를, 휘도 신호(Y)와 2개의 색차 신호(Cb/Cr)에 의한 Y 색차 신호로 변환하는 것 외에, 화소의 보간이나 주파수 특성의 보정, Y 신호의 매트릭스나 색차 매트릭스의 연산 등의 처리를 행한다.

메모리 컨트롤러(6c)는 공급된 화상 신호의 버퍼나 화상 메모리(7)에 대한 어드레싱을 행하고, 마이크로 컴퓨터(9)에 의한 제어에 따라 지정된 화상 메모리(7) 상의 영역에 화상 신호를 저장함과 함께, 전 처리 회로(6a)나 본 처리 회로(6b)에 대하여 지정된 영역의 화상 신호를 판독하여 출력한다.

타이밍 발생 회로(6d)는 프론트엔드(5)나 카메라 시스템 LSI(6), TG(8) 등의 동작 기준이 되는 타이밍 신호를 발생시킨다.

화상 메모리(7)는, 예를 들면 DRAM(Dynamic Random Access Memory) 혹은 SDRAM(Synchronous-DRAM) 등의 반도체 메모리 등으로, 프론트엔드(5)나 전 처리 회로(6a), 본 처리 회로(6b)로부터의 디지털의 화상 신호를 일시적으로 기억한다.

TG(8)는 촬상 소자(3)에서의 수평 방향, 수직 방향의 구동 타이밍을 제어한다. 또한, 촬상 소자(3)가 고속/저속 전자 셔터 기능을 구비하는 경우, 이 기능에 대한 노광 시간 제어를 행한다.

마이크로 컴퓨터(9)는 촬상 장치(1) 전체의 제어를 관리한다. 예를 들면, 아이리스(2b)에 의한 노광량 제어, 셔터(2c)에 대한 개폐 제어에 의한 노광 시간 제어, 프론트엔드(5)의 S/H·GC 회로(5a)에서의 게인 제어, 카메라 시스템 LSI(6)에 대한 동작 제어, TG(8)에 의한 촬상 소자(3)의 전자 셔터 기능의 제어 등을 행한다. 또한, 이들 제어에 의해 셔터(2c)를 개방한 통상 촬상 동작과, 이 직후에 행하는 셔터(2c)를 폐쇄한 촬상 동작의 제어, 및 이들 동작에 따른 카메라 시스템 LSI(6)에서의 연산, 화상 보정 처리의 제어나 화상 메모리(7)의 판독, 기입 제어 등을 행한다.

그런데, 이 촬상 장치(1)에서 사용되고 있는 촬상 소자(3)에서는 출력되는 화상 신호에 촬상 소자(3)로부터 발생되는 암 신호에 의한 노이즈나 주위의 회로 기판 등으로부터 발생되는 노이즈가 혼재하고 있는 경우가 많다. 또한, 암 신호의 발생량은 노광 시간이나 온도에 의존하고, 장시간 노광이나 고온 환경 하에서 사용된 경우에는 고레벨의 노이즈에 의해 촬상 화면 상에 휘점이 눈에 띄게 나타나게 된다.

이러한 여러가지 노이즈를 제거하기 위해, 촬상 장치(1)에서는 셔터(2c)를 개방하여 촬상하는 통상 촬상 동작 시에, 그 직후에 노광량 등의 촬상 조건을 바꾸지 않고 셔터(2c)만 폐쇄한 상태에서 촬상을 행한다. 그리고, 생성된 2개의 화상 신호를 이용하여 카메라 시스템 LSI(6)에 의해 상기한 노이즈를 저감하고, 화질을 보정하는 처리를 행한다.

이하, 촬상 장치(1)에서의 촬상 시의 동작을 설명한다.

사용자의 조작 입력 등에 의한 촬상 개시의 요구를 받으면, 마이크로 컴퓨터(9)의 제어에 의해 아이리스(2b)에 의한 포커싱량이나 셔터(2c)의 개폐 스피드가 조절되어 피사체로부터의 빛이 촬상 소자(3)에 입사한다. 촬상 소자(3)는 TG(8)에 의한 구동 타이밍 제어를 기초로 입사광을 광전 변환하여 화상 신호 A1을 출력한다.

화상 신호 A1은 증폭기(4)를 통하여 프론트엔드(5)에 공급된다. 프론트엔드(5)는 S/H·GC 회로(5a)에서 입력된 화상 신호 A1에 상관 2중 샘플링 처리를 행하고, A/D 변환 회로(5b)에서 화상 신호 A1을 디지털 신호로 변환한다. 디지털 신호로 변환된 화상 신호 A2는 카메라 시스템 LSI(6)에 공급되고, 카메라 시스템 LSI(6)는 메모리 컨트롤러(6c)를 통하여 입력된 화상 신호 A2를 화상 메모리(7)에 일단 저장한다.

계속해서, 마이크로 컴퓨터(9)로부터의 명령에 의해 아이리스(2b)나 TG(8), 프론트엔드(5)에서의 게인 제어 등의 촬상 조건이 바뀌어지지 않은 채로, 셔터(2c)가 폐쇄된다. 촬상 소자(3)는 입사광이 완전하게 차단된 상태의 화상 신호 B1을 출력한다. 촬상 소자(3)로부터의 화상 신호 B1은 증폭기(4)를 통하여 프론트엔드(5)로 보내진다. 프론트엔드(5)는 마이크로 컴퓨터(9)로부터의 명령에 의해 이 화상 신호 B1을 샘플링하여 디지털 신호의 화상 신호 B2로 변환하고, 카메라 시스템 LSI(6)에 공급한다. 카메라 시스템 LSI(6)는 입력된 화상 신호 B2를, 메모리 컨트롤러(6c)를 통하여, 화상 메모리(7) 내의 화상 신호 A2와는 다른 영역에 저장한다.

다음에, 카메라 시스템 LSI(6)는 화상 신호 A2 및 B2를 화상 메모리(7)로부터 판독하여 전 처리 회로(6a)에 공급한다. 전 처리 회로(6a)는 화상 신호 A2로부터 화상 신호 B2를 감산하고, 이에 따라 출력된 화상 신호 C1에 대하여 암 신호에 의한 휘점 노이즈에 의해 생긴 화상 상의 흑점을 보정하는 처리를 행한다. 화질이 보정된 화상 신호 C2는 메모리 컨트롤러(6c)를 통하여 다시 화상 메모리(7)에 저장된다.

다음에, 마이크로 컴퓨터(9)의 제어에 기초하여 화상 신호 C2가 화상 메모리(7)로부터 판독되고 본 처리 회로(6b)에 공급된다. 본 처리 회로(6b)는, 예를 들면 R/G/B의 각 화소의 레벨치 등에 의해 구성되는 화상 신호 C2에 대하여 화질을 향상시키기 위한 보간 처리나 주파수 특성 보정, 색 보정, γ 보정 등의 처리 를 행하고, 휘도 신호(Y)와 색차 신호(Cb/Cr)로 이루어지는 일반적인 화상의 데이터 포맷으로 변환한다. 변환된 화상 신호 D는 메모리 컨트롤러(6c)를 통하여 화상 메모리(7)에 저장된다.

다음에, 카메라 시스템 LSI(6) 내의 전 처리 회로(6a)에서의 처리에 대하여 상술한다. 도 2는 전 처리 회로(6a)의 내부 구성예를 도시하는 도면이다.

도 2에 도시한 바와 같이, 전 처리 회로(6a)는 화상 신호 A2에서의 각 화소의 신호로부터 화상 신호 B2가 대응하는 화소의 신호를 감산하는 연산 회로(61)와, 화상 신호 B2로부터 휘점의 위치를 검출하는 휘점 검출 회로(62)와, 휘점 검출 회로(62)에서의 검출 결과에 기초하여 연산 회로(61)로부터 출력되는 화상 신호 C1에서의 흑점의 화소의 신호를 보정하는 흑점 보정 회로(63)에 의해 구성된다.

메모리 컨트롤러(6c)에 의해 화상 메모리(7)로부터 판독된 화상 신호 A2는 연산 회로(61)에 공급되고, 또한 화상 신호 B2는 연산 회로(61)와 함께 휘점 검출 회로(62)에도 공급된다. 연산 회로(61)는 화상 신호 A2로부터 대응하는 각 화소에 대하여 화상 신호 B2를 순차 감산함으로써 고정 패턴 노이즈의 성분만 제거한 화상 신호 C1을 출력한다. 이 때, 화상 신호 C1에는 휘점 노이즈에 의한 영향을 완전히 제거할 수 없는 경우가 있고 이 경우에는 흑점 노이즈가 잔류한다.

휘점 검출 회로(62)는 공급된 화상 신호 B2로부터 후술하는 바와 같이 미리 설정된 신호 레벨 L을 기초로 하여, 휘점 노이즈가 발생하고 있는 화소의 위치를 검출하여 타이밍 펄스 T1을 출력한다. 흑점 보정 회로(63)는 연산 회로(61)로부터 출력된 화상 신호 C1에 대하여 휘점 검출 회로(62)로부터의 타이밍 펄스 T1에 기초 하여 흑점 노이즈가 있는 화소의 위치를 판단하고, 이 화소를 근방의 동일 색 화소의 신호를 이용하여 보정한다.

여기서, 각부에서의 신호 파형예를 나타내고 흑점의 보정 처리에 대하여 상술한다. 도 3은 연산 회로(61)에 입력되는 화상 신호 A2 및 B2의 각 신호 파형의 예를 도시하는 도면이다.

도 3의 (A)는 통상 촬상 동작에 의해 촬상되고, 디지털 데이터화된 화상 신호 A2의 파형예를 나타내고 있다. 이 신호는 피사체에 의한 영상 정보 외에 촬상 소자(3)로부터 발생되는 암 신호에 의한 노이즈나 주위의 회로 기판 상 등으로부터 발생되는 노이즈 등에 의한 고정 패턴 노이즈의 성분을 포함한다. 고정 패턴 노이즈의 레벨에 의해서는 신호에 직류적인 오프셋이 생기는 경우가 있지만, 화상 신호 A2에도 오프셋이 생긴다. 또한, 암 신호에 의한 노이즈로서 촬상 소자(3)의 구조 결함이나 제조 변동 등을 위해 대량의 전하가 발생하고, 이에 따라 촬상 화상 상에 휘점을 생성하는 휘점 노이즈 N1∼N7이 포함되어 있다.

또한, 도 3에서는 프론트엔드(5)의 A/D 변환 회로(5b)에서 변환 가능한 범위의 최대값을 R로 하여 점선으로 나타내고 있다. A/D 변환 회로(5b)는 이 범위 R보다 높은 신호 레벨을 갖는 화소에 대해서는 전부 풀 스케일의 동일한 값으로서 디지털 데이터화한다.

도 3의 (A)의 신호 파형에서는 촬상 소자(3)로부터 출력된 화상 신호 A1에 대해서는, 휘점 노이즈 N1, N2 및 N3의 실제 신호 레벨이 범위 R을 넘고 있고, 디지털 변환된 화상 신호 A2에 대해서는 이 휘점 노이즈 N1, N2 및 N3의 레벨이 범위 R 내에서 풀 스케일에 접착한 상태인 것이 나타나 있다. 즉, 디지털 변환된 화상 신호 A2에서는 휘점 노이즈 N1, N2 및 N3에 대해서는 실제로 발생한 신호 레벨이 반영되어 있지 않다.

한편, 도 3의 (B)는 통상 촬상 직후에 셔터를 폐쇄하여 촬상되고, 디지털 데이터화된 화상 신호 B2의 신호 파형예를 나타내고 있다. 이 화상 신호 B2는 피사체에 의한 영상 신호를 포함하지 않고, 촬상 소자(3)에 의한 암 신호의 노이즈나 회로 기판 상 등으로부터 발생되는 노이즈, 직류적인 오프셋 등의 고정 패턴 노이즈, 및 휘점 노이즈 N1∼N7에 의한 노이즈 성분만을 포함하고 있다. 또, 도 3의 (B)에서는 도 3의 (A)의 신호 파형예에 대응하는 휘점 노이즈에는 동일한 기호를 붙인다.

여기서, 촬상 소자(3)에 있어서 발생되는 암 신호의 발생량은 노광 시간 등의 촬상 조건이나 온도 등의 환경 조건이 동일하면 일정해지는 것이 알려져 있다. 따라서, 화상 신호 A2의 촬상 직후에 셔터(2c)를 폐쇄하여 촬상한 화상 신호 B2에서는 화상 신호 A2에서는 범위 R 내에서 풀 스케일에 접착하게 된 휘점 노이즈 N1, N2 및 N3의 신호 레벨에 대하여 본래 발생된 신호 레벨이 재현되어 있다.

연산 회로(61)는 화상 신호 A2로부터 대응하는 각 화소에 대하여 화상 신호 B2를 순차 감산함으로써, 고정 패턴 노이즈의 성분만 제거한 화상 신호 C1을 출력한다. 또한, 이 연산 회로(61)에서는 원래의 신호 레벨이 범위 R보다 낮은 휘점 노이즈 N4, N5, N6 및 N7도 제거된다. 그러나, 화상 신호 A2에 있어서 본래의 신호 레벨이 반영되어 있지 않은 휘점 노이즈 N1, N2 및 N3에 대해서는 화상 신호 A2 및 B2 사이에서 신호 레벨에 차가 생기기 때문에, 화상 신호 C1에서는 반대로, 그 화소만 신호 레벨이 극단적으로 낮은 흑점 노이즈 N11, N12 및 N13이 되어 나타나게 된다.

이 흑점 노이즈 N11, N12 및 N13의 제거를 위해, 우선 휘점 검출 회로(62)는 화상 신호 B2로부터 휘점 노이즈 N1, N2 및 N3의 발생 위치를 검출하고, 이 위치에서 타이밍 펄스 T1을 출력한다. 여기서, 도 4는 화상 신호 B2와 타이밍 펄스 T1과의 관계를 설명하기 위한 도면이다.

상술한 바와 같이, 화상 신호 B2에는 노이즈 성분의 신호 레벨이 정확하게 반영되어 있다. 또한, 도 4의 (A)에 도시한 바와 같이 화상 신호 B2는 셔터(2c)를 폐쇄하여 입사광을 차단한 상태에서 촬상되고, 피사체의 영상 성분을 포함하지 않기 때문에, 휘점 노이즈 N1∼N7만을 분리하기 쉬운 신호 형태로 되어 있다.

그래서, 휘점 검출 회로(62)는 화상 신호 B2를 사용하여 휘점 노이즈 N1∼N7이 나타나는 화소의 위치를 검출한다. 휘점 노이즈 N1∼N7은 다른 노이즈와 비교하여 극단적으로 신호 레벨이 높아지게 되기 때문에, 휘점 검출 회로(62)에서는 휘점 노이즈 N1∼N7의 검출을 위한 임계값이 되는 신호 레벨 L을 임의로 설정한다. 그리고, 도 4의 (B)에 도시한 바와 같이 화상 신호 B2의 각 화소의 신호 레벨과 이 신호 레벨 L을 비교하고, 신호 레벨 L에 도달한 경우에 타이밍 펄스 T1을 출력함으로써, 휘점 노이즈 N1∼N7의 위치를 검출한다.

다음에, 도 5A 내지 도 5B에 흑점 노이즈의 보정에 대하여 설명하기 위한 파형예를 나타낸다.

도 5A는 연산 회로(61)로부터 출력된 화상 신호 C1의 파형예를 나타내고 있 다. 이 화상 신호 C1에서는, 상술한 바와 같이 화상 신호 A2에 있어서 신호 레벨이 범위 R 내에 풀 스케일에 접착한 휘점 노이즈 N1, N2 및 N3에 대응하는 화소에 있어서, 흑점 노이즈 N11, N12 및 N13이 나타나 있다.

흑점 보정 회로(63)는 연산 회로(61)로부터의 화상 신호 C1의 입력을 순차 받아, 휘점 검출 회로(62)로부터의 타이밍 펄스 T1을 수신하면, 이 때에 입력된 화상 신호 C1에서의 화소의 신호를, 근방의 화소의 신호를 사용하여 보정한다. 구체적으로는, 예를 들면 해당하는 화소의 신호를, 인접하는 전후 어느 하나의 동일 색 화소의 신호로 치환한다. 혹은 인접하는 전후 2개의 동일 색 화소의 신호를 평균하고, 해당하는 화소의 신호를 이 평균값으로 치환한다. 이러한 화소의 보정 처리에 의해 촬상 화상 상에서는 검게 구멍이 난 흑점의 화소가 근방의 색으로 매립되어 눈에 띄지 않게 되어 화질의 열화가 방지된다.

다음에, 전 처리 회로(6a)에서의 각 부의 내부 구성예에 대하여 설명한다. 우선, 도 6은 연산 회로(61)에 대한 제1 내부 구성예를 도시하는 도면이다.

도 6에 도시한 바와 같이, 연산 회로(61)는 감산 회로(611)에 따라서만 구성된다. 감산 회로(611)는 입력된 화상 신호 A2로부터 화상 신호 B2를 감산한 화상 신호 C1을 출력한다.

이 제1 내부 구성예의 경우, 예를 들면 입력된 신호가 모두 부호가 없는 10 비트의 데이터라면, 연산 결과는 부호가 있는 10 비트의 데이터가 되어, 비트 폭이 1 비트분 증가한다. 구체적으로는, 예를 들면 감산의 결과에는 불규칙한 노이즈 등에 의해 마이너스의 신호가 발생하는 경우가 있지만, 비트 폭을 변화시키지 않기 때문에 마이너스의 신호를 제거하게 되면, 흑색 부근의 노이즈가 반파 정류되게 되어 흑색 부근의 평균 직류 레벨 또는 평균 전압 레벨이 변화한다.

이에 대하여, 다음에 이러한 화상 신호의 비트 폭을 변화시키는 것을 방지한 내부 구성예에 대하여 설명한다. 도 7은 연산 회로(61)의 제2 내부 구성예를 도시하는 도면이다. 또, 도 7에서는 도 6에 도시한 제1 내부 구성예와 동일한 구성을 갖는 기능 블록에는 동일한 부호를 붙이고 있다.

도 7에 도시하는 연산 회로(61a)는 상기한 감산 회로(611) 외에 오프셋 가산용 가산 회로(612)와, 신호 레벨을 제한하는 리미터(613)에 의해 구성된다. 가산 회로(612)는 감산 회로(611)로부터의 출력 신호 X에 포함되는 마이너스의 노이즈 성분을 충분히 전송 가능한 정도의 직류 신호 레벨을 갖는 오프셋 신호 O를 가산한다. 또한, 리미터(613)는 가산 회로(612)에 의해 오프셋된 출력 신호 Y가 원래의 비트 폭을 유지하도록 이 신호 레벨을 제한한다.

여기서, 도 8은 연산 회로(61a)에서의 각부의 신호 레벨을 10 비트의 디지털 데이터를 예로서 설명하기 위한 도면이다. 또, 도 8에서는 휘점 노이즈 등의 미세한 노이즈 성분의 파형에 대해서는 설명을 간략화하기 위해 생략한다.

도 8에서, 감산 회로(611)에 입력되는 화상 신호 A2 및 B2에 대하여, 고정 패턴 노이즈가 제거된 감산 회로(611)로부터의 출력 신호 X는 마이너스의 노이즈 성분을 포함하는 경우가 있다. 또한, 가산 회로(612)로부터의 출력 신호 Y에는 상기한 출력 신호 X에 예로서 「32」 데이터의 오프셋이 더해지고 있다. 그 결과, 출력 신호 Y는 부호가 있는 11 비트의 데이터가 되고, 리미터(613)에서 마이너스의 신호 레벨은 「0」, 또는 10 비트 데이터의 최대 범위폭의 값인 「1023」을 넘은 신호 레벨은 「1023」으로 함으로써, 출력되는 화상 신호 C1은 부호가 없는 10 비트의 데이터가 된다.

이상 제2 내부 구성예에서는 고정 패턴 노이즈가 제거되어 출력된 출력 신호 X를, 한정된 비트수로, 화질에 악영향을 끼치지 않고 전송하는 것이 가능해진다.

다음에, 휘점 검출 회로(62)의 내부 구성예에 대하여 설명한다. 도 9는 휘점 검출 회로(62)의 제1 내부 구성예를 도시하는 도면이다.

도 9에 도시한 바와 같이, 휘점 검출 회로(62)는 입력된 화상 신호 B2의 신호 레벨을 설정치와 비교하여, 비교 결과를 타이밍 펄스 T1로서 출력하는 비교 회로(621)에 의해 구성된다. 비교 기준이 되는 신호 레벨 L은 마이크로 컴퓨터(9)에 의해 설정된다. 또한, 이 신호 레벨 L과 비교하여 화상 신호 B2의 신호 레벨 쪽이 높은 경우에 출력하는 타이밍 펄스 T1을 H 레벨로 한다.

이 제1 내부 구성예에서는 화상 신호 B2의 신호 레벨이 설정된 신호 레벨 L을 넘은 경우에 휘점 노이즈의 존재를 검출하고, 타이밍 펄스 T1을 H 레벨로 함으로써 흑점 보정 회로(63)에 이것을 통지한다. 그러나, 이러한 내부 구성에서는 입력되는 화상 신호 B2에 포함되는 직류적인 오프셋의 양이 큰 경우, 휘점 노이즈의 레벨 판정에 오차가 생기는 경우가 있다.

여기서, 도 10은 오프셋 레벨이 서로 다른 2개의 화상 신호 B2에 대한 휘점 노이즈 발생 위치의 검출의 모습을 도시하는 도면이다.

도 10의 (A) 및 도 10의 (B)에서는 일례로서 모두, 화상 신호 B2가 부호가 없는 10 비트, 마이크로 컴퓨터(9)로부터 주어지는 신호 레벨 L의 신호가 부호가 없는 10 비트로, 신호 레벨 L의 설정치가 256으로 되어 있다. 또한, 이들 2개의 화상 신호 B2와, 그에 대한 타이밍 펄스 T1의 출력의 모습을 병기하고 있다.

도 10의 (A)의 예에서는, 휘점 노이즈 검출의 신호 레벨 L의 값에 대하여, 6개소의 휘점 노이즈가 검출되고, 각각에 대하여 타이밍 펄스 T1이 H 레벨로 되어 있다. 이에 대하여, 도 10의 (B)의 예에서는 도 10의 (A)와 비교하여 화상 신호 B2의 오프셋 레벨이 높아지고 있다. 이 때문에, 타이밍 T101에서 발생하는 비교적 레벨이 낮은 노이즈가 신호 레벨 L을 초과하고 있고, 이 노이즈를 포함하는 7개소가 휘점 노이즈라고 판단되고 있다.

이와 같이, 제1 내부 구성예에서는 휘점 검출 회로(62)에 입력되는 화상 신호 B2에 포함되는 오프셋의 레벨에 의해 휘점 노이즈 검출에 대한 판정에 오차가 생기는 경우가 있다. 예를 들면, 노광 시간이 길어지거나 혹은 주위의 온도가 높아진 경우에는 이러한 오프셋의 레벨은 더 증가하기 때문에, 검출의 신호 레벨 L의 설정 상황에 의해서는 모든 화소에 대하여 휘점 노이즈가 있다고 판정하게 될 우려가 있다.

이러한 판정 오차를 방지하는 것이 가능한 내부 구성의 예를 이하에 도시한다. 우선, 도 11은 휘점 검출 회로(62)의 제2 내부 구성예를 도시하는 도면이다. 또, 도 11에서는 도 9에 도시한 제1 내부 구성예와 동일한 구성을 갖는 기능 블록에 대해서는 동일한 부호를 붙인다.

도 11에 도시하는 휘점 검출 회로(62a)는 입력된 화상 신호 B2를 지연시키는 지연 회로(622)와, 지연 회로(622)로부터의 출력 신호를 더 지연시키는 지연 회로(623)와, 지연 회로(623)와 화상 신호 B2의 평균 레벨치를 연산하는 평균 연산 회로(624)와, 지연 회로(622)의 출력 신호로부터 평균 연산 회로(624)의 출력 신호를 감산하는 감산 회로(625)와, 감산 회로(625)로부터의 출력 신호에 포함되는 마이너스 성분을 억제하는 리미터(626)와, 리미터(626)의 출력 신호로부터 휘점 노이즈를 검출하여 타이밍 펄스 T1을 출력하는 제1 내부 구성예와 마찬가지의 비교 회로(621)에 의해 구성된다.

지연 회로(622, 623)는, 예를 들면 D 플립플롭 등에 의한 지연 소자로 구성되고, 지연 소자의 단수는 1단 또는 2단으로 되어 있다. 따라서, 메모리 컨트롤러(6c)로부터 공급되는 화상 신호 B2에 대하여 지연 회로(622)의 출력 신호는 화소 1개분만큼 지연되고, 지연 회로(623)의 출력 신호는 화소 1개분만큼 더 지연된다. 이에 의해, 휘점 검출 회로(62a)에서는 지연 회로(622)로부터의 출력 신호를 휘점 노이즈의 검출 대상의 신호로 하고, 지연 회로(623)로부터의 출력 신호보다 검출 대상의 화소의 1개 앞인 화소의 신호를 추출하고, 지연 회로(622)에 입력되는 화상 신호 B2보다 1개 뒤인 화소의 신호를 추출하고 있다.

또, 지연 회로(622, 623)에서의 지연 소자의 단수는 후술하는 바와 같이, 촬상 소자(3)에서의 소자 구성에 따라 결정된다.

평균 연산 회로(624)는 지연 회로(623)로부터의 출력 신호와, 입력된 화상 신호 B2와의 평균 레벨값을 산출한다. 이에 의해, 검출 대상의 화소에 인접하는 전후의 화소에 대한 신호 레벨의 평균값이 요구된다. 감산 회로(625)는 지연 회로(622)로부터의 검출 대상의 신호로부터, 평균 연산 회로(624)로부터의 신호를 감산한다. 이에 의해, 검출 대상의 화소와, 이에 인접하는 양측의 화소의 평균 신호 레벨과의 차가 출력된다.

리미터(626)는 감산 회로(625)에서의 연산에 의해 발생된 마이너스의 신호를 캔슬하여, 이 신호 레벨을 「0」으로 하여 출력한다. 이에 의해, 마이너스의 신호의 발생에 의한 데이터의 비트폭이 증대하는 것을 방지한다. 그리고, 이 출력 신호가 비교 회로(621)에 입력되고, 검출 기준의 신호 레벨 L과의 비교에 의해 타이밍 펄스 T1이 출력된다.

여기서, 도 12는 제2 내부 구성예에서의 비교 회로(621)에서의 휘점 노이즈 검출과, 타이밍 펄스 T1의 출력과의 관계를 도시하는 도면이다.

도 12에서는 일례로서 비교 회로(621)에 대한 입력 신호 S가 부호가 없는 10 비트, 마이크로 컴퓨터(9)로부터 주어지는 신호 레벨 L의 신호가 부호가 없는 10 비트로, 신호 레벨 L의 설정치가 128로 되어 있다. 입력 신호 S는 검출 대상의 화소와, 이에 인접하는 양측의 화소의 평균 신호 레벨과의 차 신호로부터, 마이너스의 신호가 제거된 것으로 되어 있다. 이 때문에, 예를 들면 도 10의 (A) 및 도 10의 (B)와 같이, 휘점 검출 회로(62)에 입력되는 화상 신호 B가 어떠한 오프셋 레벨을 갖고 있어도 비교 회로(621)로의 입력 신호 S는 이 오프셋 성분이 제거된 상태가 된다.

따라서, 이 입력 신호 S를 사용하여 검출 기준의 신호 레벨 L과의 비교를 행함으로써, 오프셋에 의한 휘점 노이즈의 오류 검출을 방지하기 위해 검출 기준의 신호 레벨 L을 높게 설정할 필요가 없어지고, 오프셋 레벨에 상관없이 휘점 노이즈의 검출을 정확하게 행할 수 있다.

또, 이상의 제2 내부 구성예에서는 검출 대상의 화소에 인접하는 양측의 화소를 사용하여, 그 평균 레벨을 대상 화소로부터 감산하였지만, 인접하는 편측 한쪽의 화소의 레벨을 사용해도, 상기와 마찬가지의 효과를 얻을 수 있다. 이하, 이러한 휘점 검출 회로(62)의 내부 구성의 예에 대하여 설명한다.

도 13A 내지 도 13B는 휘점 검출 회로(62)의 제3 및 제4 내부 구성예를 도시하는 도면이다.

또, 도 13A 내지 도 13B에서는 도 9 및 도 11에 도시한 제1 및 제2 내부 구성예와 동일한 구성을 갖는 기능 블록에 대해서는 동일한 부호를 붙인다.

도 13A에서는 제3 내부 구성예로서, 대상 화소와, 이에 인접하는 앞의 화소와의 차분을 사용하여 휘점 노이즈를 검출하는 휘점 검출 회로(62b)를 나타낸다. 이 휘점 검출 회로(62b)는 입력된 화상 신호 B2를 지연시키는 지연 회로(627)와, 화상 신호 B2로부터 지연 회로(627)의 출력 신호를 감산하는 감산 회로(625)와, 이 출력 신호로부터 마이너스의 성분을 제거하는 리미터(626)와, 휘점 노이즈의 검출을 행하는 비교 회로(621)에 의해 구성된다.

지연 회로(627)는 D 플립플롭 등의 지연 소자를 1단 또는 2단 구비하고, 입력된 화상 신호 B2를 1 화소분만큼 지연시킨다. 따라서, 감산 회로(625)에서는 검출 대상의 신호로부터 지연 회로(627)로부터의 1개분만큼 앞(통상은 좌측)의 화소의 신호가 감산되고, 이 출력 신호가 리미터(626)를 통하여 비교 회로(621)에 공급 된다.

또한, 도 13B에서는 제4 내부 구성예로서, 대상 화소와, 이에 인접한 뒤의 화소와의 차분을 사용하여 휘점 노이즈를 검출하는 휘점 검출 회로(62c)를 나타낸다. 이 휘점 검출 회로(62c)는 입력된 화상 신호 B2를 지연시키는 지연 회로(628)와, 지연 회로(627)로부터의 출력 신호로부터 입력되어 있는 화상 신호 B2를 감산하는 감산 회로(625)와, 이 출력 신호로부터 마이너스 성분을 제거하는 리미터(626)와, 휘점 노이즈의 검출을 행하는 비교 회로(621)에 의해 구성된다.

이 휘점 검출 회로(62c)에서는 지연 회로(628)에 의해 1 화소분 지연된 신호가 휘점 노이즈의 검출 대상이 된다. 따라서, 감산 회로(625)에서는 검출 대상의 신호로부터 이보다 1개분만큼 뒤(통상은 우측)의 화소의 신호가 감산되고, 이 출력 신호가 리미터(626)를 통하여 비교 회로(621)에 공급된다.

이상의 제3 및 제4 내부 구성예에서는 검출 대상의 화소의 신호로부터 인접하는 화소의 신호의 차분을 사용하여, 신호 레벨의 비교를 행하기 때문에, 입력되는 화상 신호 B2가 갖는 오프셋 레벨에 상관없이, 휘점 노이즈의 검출을 정확하게 행할 수 있다.

또, 제2 및 제4 내부 구성예에서는 검출 대상으로 하는 신호에 대하여, 이것보다 1 화소분만큼 뒤의 신호를 사용하기 때문에, 출력되는 타이밍 펄스 T1은 화상 신호 B2에 대하여 1 화소분만큼 지연되게 된다. 이 때문에, 제2 및 제4 내부 구성예를 취하는 경우에는 연산 회로(61)에 대한 화상 신호 A2 및 B2의 입력단, 혹은 연산 회로(61)와 흑점 보정 회로(63) 사이에 1 화소분의 지연 회로가 형성된다.

다음에, 흑점 보정 회로(63)의 내부 구성예에 대하여 설명한다. 도 14는 흑점 보정 회로(63)의 제1 내부 구성예를 도시하는 도면이다.

도 14에 도시하는 흑점 보정 회로(63)는 연산 회로(61)로부터 출력된 화상 신호 C1을 지연시키는 지연 회로(631)와, 지연 회로(631)로부터의 출력 신호를 더 지연시키는 지연 회로(632)와, 지연 회로(632)로부터의 출력 신호와, 입력된 화상 신호 C1과의 평균값을 산출하는 평균 연산 회로(633)와, 휘점 검출 회로(62)로부터의 타이밍 펄스 T1을 지연시킨 타이밍 펄스 T2를 출력하는 지연 회로(634)와, 지연 회로(634)로부터의 타이밍 펄스 T2에 따라, 지연 회로(631)로부터의 출력 신호와 평균 연산 회로(633)로부터의 출력 신호를 전환하여, 화상 신호 C2로서 메모리 컨트롤러(6c)에 출력하는 셀렉터(635)에 의해 구성된다.

흑점 보정 회로(63)에 입력되는 화상 신호 C1은 고정 패턴 노이즈가 제거된 것의 흑점 노이즈를 포함하고 있을 가능성이 있는 것이다. 지연 회로(631)는, 그 화상 신호 C1을 동일 색의 1 화소분만큼 지연시킨다. 이 신호는 흑점 보정 대상의 화소를 나타내는 화상 신호 C3으로서, 셀렉터(635) 한쪽의 입력에 유도된다. 또한, 지연 회로(632)는 지연 회로(631)로부터의 출력 신호에 대하여, 동일 색의 1 화소분만큼 더 지연시켜 평균 연산 회로(633)에 공급한다. 따라서, 평균 연산 회로(633)는 지연 회로(631)로부터의 출력 신호에서의 각 화소에 대하여 이 화소에 인접하는 전후의 화소의 데이터의 평균값을 산출하여, 이것을 흑점 보정을 위한 화상 신호 C4로서 셀렉터(635)의 다른 쪽의 입력에 공급한다.

지연 회로(634)는 지연 회로(631)에 의해 흑점 보정 대상의 화상 신호 C3이 지연된 것에 감안하여, 이 화상 신호 C3에 타이밍 펄스 T1의 위상을 정합하기 위해, 이 타이밍 펄스 T1을 지연시킨 타이밍 펄스 T2를 셀렉터(635)에 대하여 공급한다. 셀렉터(635)는 입력된 타이밍 펄스 T2가 L 레벨일 때, 지연 회로(631)로부터의 화상 신호 C3을 출력하고, H 레벨일 때에 평균 연산 회로(633)로부터의 화상 신호 C4를 출력한다.

여기서, 도 15에 셀렉터(635)에서의 입출력 신호의 모습을 나타낸다.

도 15의 (A)에 도시하는 타이밍 펄스 T2는 휘점 노이즈가 발생하고 있는 화소를 나타내고 있다. 또한, 지연 회로(631)로부터의 화상 신호 C3은 고정 패턴 노이즈가 제거되고, 흑점 노이즈를 포함할 가능성이 있는 화상 신호 C1이 단순히 지연된 것이다. 예로서 도 15의 (B)에 도시한 화상 신호 C3에서는 흑점 노이즈 N11, N12 및 N13이 포함되어 있다. 또한, 흑점 노이즈는 휘점 노이즈가 발생하고 있는 화소에만 나타난다.

따라서, 셀렉터(635)에서는 지연 회로(631)로부터의 화상 신호 C3 중, 흑점 노이즈가 존재할 가능성이 있는 화소가 공급된 타이밍에서만, 평균 연산 회로(633)로부터의 화상 신호 C4를 출력한다. 이와 같이 하여 출력된 화상 신호 C2를 도 15의 (C)에 도시한다.

그런데, 흑점 노이즈가 존재하는 화소에서는 그 색 성분의 레벨이 근방의 화소보다 극단적으로 낮아지고 있다. 이 때문에, 평균 연산 회로(633)에서는 흑점 보정의 대상 화소에 인접하는 전후의 화소의 신호에 대하여 그 평균값이 출력되고, 셀렉터(635)에서는 이 화상 신호 C4가 흑점 노이즈의 발생 위치의 화소로 치환된 다. 이에 의해서, 촬상 화상 상에서는 흑점 노이즈가 발생하는 화소가 근방의 화소의 색과 완만히 연결되어 흑점이 눈에 띄지 않게 되어 화질이 개선된다.

이상의 흑점 보정 회로(63)에서는 흑점 보정 대상의 화소에 인접하는 전후의 동일 색 화소의 신호의 평균값을 사용하여, 흑점 노이즈가 존재하는 화소의 신호를 치환하여 보정하였지만, 예를 들면 흑점 노이즈가 존재하는 화소를, 이 화소에 인접하는 어느 한쪽만의 화소의 신호로 치환하도록 해도, 화질을 향상시킬 수 있다. 이하, 이러한 흑점 보정을 행하는 흑점 보정 회로(63)의 내부 구성예에 대하여 설명한다.

도 16A 내지 도 16B는 흑점 보정 회로(63)의 제2 및 제3 내부 구성예를 도시하는 도면이다. 또, 도 16A 및 도 16B에서는 도 14에 도시한 제1 내부 구성예와 동일한 구성을 갖는 기능 블록에 대해서는 동일한 부호를 붙인다.

도 16A에서는 제2 내부 구성예로서, 흑점 노이즈가 존재하는 화소를, 이에 인접하는 앞의 동일 색 화소의 신호로 치환하여 보정을 행하는 흑점 보정 회로(63a)를 나타낸다. 이 흑점 보정 회로(63a)는 입력된 화상 신호 C1을 지연시키는 지연 회로(636)와, 입력된 타이밍 펄스 T1이 L 레벨일 때, 화상 신호 C1을 출력하고, H 레벨일 때, 지연 회로(636)로부터의 출력 신호를 출력하는 셀렉터(635)에 의해 구성된다.

지연 회로(636)는 D 플립플롭 등의 지연 소자를 1단 또는 2단 구비하고, 입력된 화상 신호 C1을 동일 색의 1 화소분만큼 지연시킨다. 따라서, 셀렉터(635)에는 흑점 보정 대상의 화상 신호 C1과, 지연 회로(636)로부터의 1개분만큼 앞(통상 은 좌측)의 동일 색 화소의 신호가 공급된다. 그리고, 타이밍 펄스 T1에 따라서, 흑점 노이즈를 포함할 가능성이 있는 화소의 신호가 1개분만큼 앞의 화소의 신호에 의해 치환된다.

또한, 도 16B에서는 제3 내부 구성예로서 흑점 노이즈가 존재하는 화소를, 이에 인접하는 뒤의 동일 색 화소의 신호로 치환하여 보정을 행하는 흑점 보정 회로(63b)를 나타낸다. 이 흑점 보정 회로(63b)는 입력된 화상 신호 C1을 지연시키는 지연 회로(637)와, 입력된 타이밍 펄스 T1을 지연시키는 지연 회로(634)와, 입력된 타이밍 펄스 T2가 L 레벨일 때, 지연 회로(637)로부터의 출력 신호를 출력하고, H 레벨일 때, 화상 신호 C1을 출력하는 셀렉터(635)에 의해 구성된다.

이 흑점 보정 회로(63b)에서는 지연 회로(637)에 의해 동일 색의 1 화소분 지연된 신호가 흑점 보정의 대상이 된다. 또한, 지연 회로(634)는 입력된 타이밍 펄스 T1을 지연시켜, 지연 회로(637)에 의해 지연된 화상 신호 C3의 위상에 정합한 타이밍 펄스 T2를 생성하고 셀렉터(635)로 공급한다. 따라서, 셀렉터(635)에는 흑점 보정 대상의 화상 신호 C1과, 지연 회로(637)로부터의 1개분만큼 뒤(통상은 우측)의 동일 색 화소의 신호가 공급된다. 그리고, 타이밍 펄스 T2에 따라 흑점 노이즈를 포함할 가능성이 있는 화소의 신호가 1개분만큼 뒤의 화소의 신호에 의해 치환된다.

이상의 제2 및 제3 내부 구성예에서는 흑점 노이즈가 존재하는 화소를 이 화소에 인접하는 어느 한쪽만의 화소의 신호로 치환하기 때문에, 촬상 화상의 화질이 향상된다. 단, 인접하는 어느 하나의 화소와 동일한 색으로 표시되기 때문에, 상 술한 제1 내부 구성예에 의해 보정된 화상쪽이, 화질의 보정에 의한 효과가 크다. 그러나, 제2 및 제3 내부 구성예에서는 제1 내부 구성예보다 회로 구성이 단순하여 제조 비용을 억제할 수 있다.

그런데, 이상의 휘점 검출 회로(62) 및 흑점 보정 회로(63)의 내부 구성예에 있어서, 입력된 화상 신호 B2 및 C1이나 타이밍 펄스 T1을 지연시키는 지연 회로에 대해서는, 이들이 구비하는 지연 소자의 단수는 촬상 소자(3)의 구조에 따라 서로 다르다. 이것은 촬상 소자(3)의 구조에 의해 동일 색 화소의 배치 간격이 다르기 때문이다.

여기서, 도 17A 내지 도 17B에 촬상 소자(3)의 구조의 차이에 의한 화상 신호 중 화소 배열의 차이의 예에 대하여 도시한다.

흑백 센서 또는 3매 CCD에서는 각 소자로부터 동일 색의 신호만이 출력되기 때문에, 인접하는 화소의 신호가 모두 동일 색의 것이 된다. 따라서, 도 17A에 도시한 바와 같이, 지연 회로 내의 지연 소자를 1단(1 클럭 분)으로 함으로써, 인접하는 동일 색 화소 1개분의 지연을 얻는 것이 가능해진다.

또한, 2×2 또는 2×4의 컬러 필터 어레이를 구비하는 단판(單板) CCD와 같은 경우에는 인접하는 화소의 색정보가 각각 서로 다르다. 따라서, 도 17B에 도시한 바와 같이, 지연 회로 내의 지연 소자를 2단(2클럭분)으로 함으로써, 인접하는 동일 색 화소 1개분의 지연을 얻는 것이 가능해진다.

이상의 촬상 장치(1)에서는 통상 촬상 직후에 촬상한 화상 신호 B2를 사용하여, 휘점 노이즈가 발생하고 있는 화소를 검출하기 때문에, 흑점 노이즈가 발생하 고 있을 가능성이 있는 화소의 위치를, 용이하고 또한 정확하게 검출할 수 있다. 또, 이 검출에 기초하여 흑점 노이즈의 발생 가능성이 있는 화소에 대하여, 근방의 화소의 데이터를 사용하여 이것을 보정하기 때문에, 흑점으로 되어 있는 화소가 눈에 띄지 않게 되어 촬상 화상의 화질을 용이하게 개선하는 것이 가능해진다.

또, 이상의 실시 형태 예에서는, 셔터를 폐쇄한 상태의 촬상은 통상 촬상 직후에 행하였지만, 반대로 통상 촬상 직전에 셔터를 폐쇄한 상태에서 촬상을 행하도록 해도 된다. 이 경우, 마이크로 컴퓨터(9)는 사용자의 조작 입력 등에 의한 촬상 개시의 요구를 받으면, 아이리스(2b)나 프론트엔드(5), TG(8)에서의 통상 촬상을 위한 설정을 행하고, 우선 셔터(2c)를 폐쇄하여 프론트엔드(5)에 화상 신호를 샘플링시키고, 계속해서 셔터(2c)를 통상 설정으로 하여 촬상시키고, 화상 신호를 생성시킨다. 화상 메모리(7)에는 우선 셔터를 폐쇄한 촬상에 의한 화상 신호 B2가 기억된 후, 통상 촬상에 의한 화상 신호 A2가 기억되고, 이들이 동시에 전 처리 회로(6a)에 출력된다.

또한, 상기한 실시 형태예에서는 통상 촬상에 의한 화상 신호 A2와, 셔터를 폐쇄한 촬상에 의한 화상 신호 B2의 쌍방을 일단 화상 메모리(7)에 기억시키고나서, 전 처리 회로(6a)에 출력했었지만, 이에 한하지 않고, 예를 들면 한쪽 화상 신호를 화상 메모리(7)에 기억시킨 후, 그 후의 다른 쪽의 촬상을 행한 시점에서 한쪽의 화상 신호를 화상 메모리(7)로부터 판독하고, 쌍방을 동시에 전 처리 회로(6a)로 공급하는 구성으로 해도 된다. 또한, 전 처리 회로(6a)로부터 출력된 화상 신호 C2를 일단 화상 메모리(7)에 기억하지 않고 직접 본 처리 회로(6b)에 공 급하는 구성으로 해도 된다.

이러한 구성으로 함으로써, 화상 메모리(7)로의 액세스 횟수나 전송 데이터량이 억제되기 때문에, 촬상 개시로부터 최종적인 화상 신호의 기억까지의 시간이 단축됨과 함께, 소비 전력을 저감할 수 있다.

이상 설명한 바와 같이, 본 발명의 촬상 장치에서는 휘점 위치 검출 수단에 의해, 셔터를 개방한 통상 촬상 직전 또는 직후에 통상 촬상과 동일한 노광 조건으로 셔터를 폐쇄하여 촬상되어 생성된 제2 화상 데이터로부터, 휘점 노이즈의 발생 위치가 검출된다. 그리고, 노이즈 보정 수단에 의해 통상 촬상에 의한 제1 화상 데이터로부터 제2 화상 데이터를 감산하여 얻은 데이터에 대하여 검출된 휘점 노이즈의 발생 위치에 대응하는 화소의 데이터가 보정된다. 따라서, 감산 수단으로부터의 출력 데이터에서의 휘점 노이즈의 발생 위치를 용이하고 또한 정확하게 검출하고, 보정할 수 있으므로, 휘점 노이즈를 제거하여 촬상 화상의 품질을 높이는 것이 가능해진다.

또한, 본 발명의 노이즈 제거 방법에서는 셔터를 개방한 통상 촬상 직전 또는 직후에 통상 촬상과 동일한 노광 조건으로 셔터를 폐쇄하여 촬상되어 생성된 제2 화상 데이터로부터 휘점 노이즈의 발생 위치가 검출된다. 그리고, 통상 촬상에 의한 제1 화상 데이터로부터 제2 화상 데이터를 감산하여 얻은 데이터에 대하여, 검출된 휘점 노이즈의 발생 위치에 대응하는 화소의 데이터가 보정된다. 따라서, 감산에 의해 얻어진 화상 데이터에서의 휘점 노이즈의 발생 위치를 용이하고 또한 정확하게 검출하고, 보정할 수 있으므로 휘점 노이즈를 제거하여 촬상 화상의 품질을 높이는 것이 가능해진다.

Claims (6)

1. 고체 촬상 소자를 이용하여 피사체를 촬상하는 촬상 장치에 있어서,

   셔터를 개방한 통상 촬상에 의해 촬상되어 디지털 데이터화된 제1 화상 데이터로부터, 상기 통상 촬상 직전 또는 직후에 상기 통상 촬상과 동일한 노광 조건으로 셔터를 폐쇄하여 촬상되고, 디지털 데이터화된 제2 화상 데이터를 감산하는 감산 수단과,

   촬상 화상 상에 휘점을 생성하는 고레벨의 노이즈인 휘점 노이즈의 상기 제2의 화상 데이터에서의 발생 위치를 검출하는 휘점 위치 검출 수단과,

   상기 감산 수단으로부터의 출력 데이터에 대하여, 상기 휘점 위치 검출 수단에 의해 검출된 상기 휘점 노이즈의 발생 위치에 대응하는 화소의 데이터를 보정하는 노이즈 보정 수단

   을 포함하며,

   상기 휘점 위치 검출 수단은 상기 제2 화상 데이터에서의 각 화소의 신호 레벨로부터, 상기 화소에 인접하는 화소의 신호 레벨을 감산한 값이 미리 임의로 설정된 설정치에 도달한 것에 의해, 상기 휘점 노이즈의 발생 위치를 검출하는 것을 특징으로 하는 촬상 장치.
2. 제1항에 있어서,

   상기 휘점 위치 검출 수단은 상기 제2 화상 데이터에서의 각 화소의 신호 레벨로부터, 상기 화소의 양측으로 각각 인접하는 2개의 화소의 평균 신호 레벨을 감산한 값이 미리 임의로 설정된 설정치에 도달한 것에 의해, 상기 휘점 노이즈의 발생 위치를 검출하는 것을 특징으로 하는 촬상 장치.
3. 제1항에 있어서,

   상기 휘점 위치 검출 수단은 상기 제2 화상 데이터에서의 각 화소의 신호 레벨로부터 상기 화소의 양측으로 각각 인접하는 2개의 화소 중 어느 한쪽의 화소의 신호 레벨을 감산한 값이 미리 임의로 설정된 설정치에 도달한 것에 의해, 상기 휘점 노이즈의 발생 위치를 검출하는 것을 특징으로 하는 촬상 장치.
4. 제1항에 있어서,

   상기 보정 수단은 상기 휘점 노이즈의 발생 위치에 대응하는 각 화소의 데이터를 인접하는 2개의 동일 색 화소의 평균 데이터로 치환하는 것을 특징으로 하는 촬상 장치.
5. 제1항에 있어서,

   상기 보정 수단은 상기 휘점 노이즈의 발생 위치에 대응하는 각 화소의 데이터를, 인접하는 어느 한쪽의 동일 색 화소의 데이터로 치환하는 것을 특징으로 하는 촬상 장치.
6. 고체 촬상 소자를 이용하여 피사체를 촬상할 때에 발생하는 노이즈를 제거하기 위한 노이즈 제거 방법에 있어서,

   셔터를 개방한 통상 촬상에 의해 촬상하여 디지털 데이터화한 제1 화상 데이터로부터, 상기 통상 촬상 직전 또는 직후에 상기 통상 촬상과 동일한 노광 조건으로 셔터를 폐쇄하여 촬상하며, 디지털 데이터화한 제2 화상 데이터를 감산하고,

   촬상 화상 상에 휘점을 생성하는 고레벨의 노이즈인 휘점 노이즈의 상기 제2의 화상 데이터에서의 발생 위치를, 상기 제2 화상 데이터에서의 각 화소의 신호 레벨로부터, 상기 화소에 인접하는 화소의 신호 레벨을 감산한 값이 미리 임의로 설정된 설정치에 도달했는지를 검출하며,

   상기 감산에 의한 결과의 데이터에 대하여 검출된 상기 휘점 노이즈의 발생 위치에 대응하는 화소의 데이터를 보정하는

   것을 특징으로 하는 노이즈 제거 방법.

Images