KR100835792B1

KR100835792B1 - 노이즈 제거 장치

Info

Publication number: KR100835792B1
Application number: KR1020077011505A
Authority: KR
Inventors: 가즈히로 스즈끼; 게이시 가또
Original assignee: 산요덴키가부시키가이샤
Priority date: 2004-10-22
Filing date: 2005-10-18
Publication date: 2008-06-05
Also published as: WO2006043563A1; US20090244331A1; JP4601623B2; US7924329B2; JPWO2006043563A1; KR20070063604A

Abstract

고주파 성분이 많은 특성을 유지하면서, 암전류 노이즈 성분을 고압축해서 기억시킬 수 있는 노이즈 제거 장치를 제공한다. 노이즈 분포 분석부(10)는, 적어도 일부의 화소의 암전류 노이즈 성분으로부터, 그 크기의 분포를 구하고, 이 분포에 기초하여 양자화의 임계값과 대표값을 산출한다. 양자화부(12)는, 산출한 임계값에 기초하여, 암전류 노이즈 성분을 양자화하고, 메모리(14)는 이 양자화된 암전류 노이즈 성분을 기억한다. 역 양자화부(16)는, 메모리(14)에 기억되고 양자화된 암전류 노이즈 성분에 대하여, 노이즈 분포 분석부(10)에서 산출된 대표값을 참조하면서, 암전류 노이즈 성분을 역 양자화한다. 이 역 양자화된 암전류 노이즈 성분은 감산부(18)에 입력되고, 감산부(18)에 의해 화상 신호로부터 역 양자화된 암전류 노이즈 성분을 제한다.

암전류 노이즈 제거 장치, 촬상 소자, A/D 변환부, 기록 매체, 노이즈 분포 분석부, 양자화부, 메모리, 역 양자화부

Description

노이즈 제거 장치{ NOISE REMOVING DEVICE}

본 발명은, 디지털 카메라나 휴대 전화기 등에 이용되는 촬상 소자의 노이즈를 제거하는 장치에 관한 것이다.

디지털 카메라나 휴대 전화기에 이용되는 CCD나 CMOS 센서 등의 촬상 소자는, 광이 입사되지 않는 상황하에서도, 화소를 구성하는 촬상 소자에 흐르는 암전류의 영향에 의해, 어느 정도 결정된 패턴의 노이즈(암전류 노이즈)가 발생한다.

특허 문헌 1에는, 이 암전류 노이즈를 제거하기 위한 장치가 개시되어 있다. 이 장치는, 셔터를 닫은 상태에서 촬상 소자에서 촬상된 화상인 암전류 노이즈 성분을, 미리 직교 변환 및 양자화에 의해 압축하고 나서 메모리에 기억해 두고, 실제로 화상이 촬상되면, 이 화상 신호로부터 직교 역변환에 의해 복호된 암전류 노이즈 성분을 뺌으로써, 암전류 노이즈를 제거한다.

이 특허 문헌 1에서 개시된 암전류 노이즈를 압축하는 방법인 직교 변환 및 양자화는, 화상 압축으로 잘 알려진 방법을 사용하고 있다. 이 방법은, 화상 신호를 직교 변환한 경우, 저주파 성분으로 정보가 치우친다고 하는 화상의 일반적인 성질을 이용한 것이며, 양자화에 의해 고주파 성분의 정보를 커트하여도, 화질에 그만큼 영향을 주지 않는다.

특허 문헌 1: 특개평11-298762호 공보

<발명의 개시>

<발명이 해결하고자 하는 과제>

(제1 과제)

암전류 노이즈 성분은 고주파 성분을 많이 포함하기 때문에, 이 고주파 성분의 정보를 커트하게 되면, 암전류 노이즈 성분을 정확하게 복호할 수 없다. 따라서, 직교 변환 및 양자화에 의해 암전류 노이즈 성분을 압축하는 경우, 이 고주파 성분의 정보를 커트할 수 없어, 압축율을 높게 할 수 없다고 하는 문제가 있었다.

본 발명은, 상기한 바와 같은 과제를 해결하기 위해서 이루어진 것이며, 암전류 노이즈를 삭감하는 장치에서, 고주파 성분이 많은 특성을 유지하면서, 암전류 노이즈 성분을 고압축해서 기억시킬 수 있는 노이즈 제거 장치를 제공하는 것을 목적으로 한다.

(제2 과제)

암전류 노이즈 성분은, 촬상한 시점에서의 촬상 소자의 온도나 노광 시간, 및 촬상 소자의 출력으로부터 화상 신호를 아날로그 신호로서 취출할 때에 곱하는 게인 등에 의해, 크게 변화되기 때문에, 미리 촬상한 암전류 노이즈 성분의 크기와, 실제의 촬상 상태에서 촬상한 화상 성분에 포함되는 암전류 노이즈 성분의 크기는, 서로 다른 것으로 된다. 그러나, 특허 문헌 1에서 개시된 암전류 노이즈 제거 장치는, 압축·신장의 처리가 들어가지만, 미리 기억해 둔 암전류 노이즈 성분을 그대로 화상 신호로부터 빼기 때문에, 화상 신호로부터 정확하게 암전류 노이즈 성분을 제거할 수 없다고 하는 문제가 있었다.

본 발명은, 상기한 바와 같은 과제를 해결하기 위해서 이루어진 것이며, 화상 신호에 포함되는 암전류 노이즈 성분을 정밀도 좋게 제거할 수 있는 노이즈 제거 장치를 제공하는 것을 목적으로 한다.

(제3 과제)

디지털 카메라나 휴대 전화기에 이용되고 있는 CCD나 CMOS 센서 등의 촬상 소자로부터 출력되는 신호는, 화상 신호 외에, 암전류 성분에 의한 고정 패턴 노이즈, 강렬한 입사광에 의해 발생하는 스미어 노이즈, CCD의 제조시의 결함에 의한 고정 결함 노이즈, 디바이스의 열적인 변동에 기인하는 랜덤 노이즈를 포함하고 있다. 따라서, 촬상 소자가 출력된 신호로부터 이들의 노이즈 성분을 제거하는 것이 필요하다. 특개2004-172925호 공보에는, 촬상 소자에서 촬상된 신호로부터, 먼저 스미어 노이즈를 제거한 후, 정전류에 의한 고정 패턴 노이즈를 제거하는 장치가 개시되어 있다.

그런데, 이 스미어 노이즈를 회로에 의해 제거하는 경우, 스미어 노이즈의 크기를 추정하기 위해서, 촬상 소자에 입사된 광량을 추정할 필요가 있지만, 이 입사광량의 추정은, 촬상 소자로부터 출력된 신호를 기초로 행하게 된다. 따라서, 스미어 노이즈의 추정 정밀도를 생각한 경우, 추정에 사용되는 신호에는, 노이즈를 포함하고 있지 않은 쪽이 좋다.

그러나, 전술한 바와 같이 촬상 소자로부터 출력된 신호에는, 스미어 노이즈 이외에도 다양한 노이즈를 포함하고 있다. 그 중에서도, 고정 패턴 노이즈는, 그 원인으로 되는 암전류가 높은 온도 의존성을 가지고 있어, 촬상 소자의 온도가 7도 상승하면, 고정 패턴 노이즈의 크기가 2배로 된다. 또한, 고정 패턴 노이즈는 노광 시간에 비례해서 증대한다. 따라서, 촬상 소자로부터 출력되는 신호는, 촬상 소자의 온도나 노광 시간에 따라서 고정 패턴 노이즈가 크게 변화되기 때문에, 특개2004-172925호 공보에 기재된 장치에서는, 스미어 노이즈를 추정할 때에, 이 고정 패턴 노이즈의 영향을 크게 받아, 스미어 노이즈의 제거 정밀도가 나빠진다고 하는 문제가 있었다.

본 발명은, 상기한 바와 같은 과제를 해결하기 위해서 이루어진 것이며, 촬상 소자로부터 출력된 신호에 포함되는 복수의 노이즈 성분을, 각각 정밀도 좋게 제거하는 것이 가능한 노이즈 제거 장치를 제공하는 것을 목적으로 한다.

<과제를 해결하기 위한 수단>

(제1 수단)

제1 수단에서의 본 발명의 한 양태는, 노이즈 제거 장치에 관한 것이다. 이 장치는, 광을 차단한 상태에서 촬상 소자에 의해 촬상된 제1 화상 신호에 대하여, 상기 촬상 소자를 구성하는 일부 혹은 전부의 화소의 상기 제1 화상 신호의 크기의 분포를 구하고, 이 분포로부터 상기 제1 화상 신호가 취하는 크기의 피크를 포함하는 범위를 특정하고, 이 범위 안에서 임계값을 설정하는 노이즈 분포 분석부와, 광을 차단한 상태에서 상기 촬상 소자에 의해 촬상된 제2 화상 신호에 대하여, 상기 임계값에 기초하여 양자화를 행하는 양자화부와, 상기 양자화된 제2 화상 신호를 역 양자화하는 역 양자화부와, 광을 입사한 상태에서 촬상 소자에서 촬상된 제3 화 상 신호로부터 상기 역 양자화된 제2 화상 신호를 감산하는 감산부를 구비한다. 여기에서, 「광을 차단한 상태」는, 촬상 소자의 전면에 설치된 셔터를 닫는 등 하여, 촬상 소자에 광이 닿지 않도록 한 상태를 가리키고, 완전하게 차단되지 않아 누설된 광이 촬상 소자에 입사되는 등의 「실질적으로 광을 차단한 상태」도 포함한다.

광을 차단한 상태에서 촬상된 제1 및 제2 화상 신호는, 그 대부분이 촬상 소자의 암전류에 의한 노이즈 성분이다. 따라서, 이 양태에 의하면, 이 노이즈 성분을 양자화함으로써 노이즈 성분의 정보량을 삭감할 수 있어, 노이즈 성분을 기억시키는 데에 필요한 메모리의 용량을 작게 할 수 있음과 함께, 양자화를 행할 때, 노이즈 성분의 크기의 분포를 구하고, 그 분포로부터 노이즈 성분의 크기가 집중되어 있는 범위를 특정하고, 그 범위 내에서 양자화 압축을 행하기 때문에, 고주파 성분이 많은 노이즈의 특성을 유지하면서 노이즈 성분을 고압축으로 기억시켜 두는 것이 가능하다.

이 양태에서, 상기 제1 화상 신호와 상기 제2 화상 신호는, 서로 다른 시각에 촬상된 것이어도 된다. 이에 의하면, 서로 다른 시각에서 촬상된 2개의 화상 신호를 사용하여, 양자화 임계값의 설정과 양자화를 행하기 때문에, 촬상한 화상 신호를 일시적으로 기억해 둘 필요가 없어, 그만큼 메모리 용량을 삭감할 수 있다.

이 양태에서, 상기 제1 화상 신호와 상기 제2 화상 신호는, 동일한 화상 신호이며, 상기 노이즈 분포 분석부는, 상기 제1 화상 신호를 복수의 영역으로 분할 하고, 이 분할한 영역마다 상기 제1 화상 신호의 크기의 분포를 구하고, 이 분포로부터 상기 제1 화상 신호가 취하는 크기의 피크를 포함하는 범위를 특정하고, 이 범위 안에서 임계값을 설정하여도 된다. 이에 의하면, 촬상된 화상 신호인 노이즈 성분을 기억하기 위해서, 광을 차단한 상태에서 화상 신호를 촬상하는 횟수가 1회로 완료하기 때문에, 암전류 노이즈 성분의 양자화가 간단하게 또한 단시간에 행하는 것이 가능하다.

이 양태에서, 상기 제1 화상 신호 및 상기 제2 화상 신호를 저주파 성분과 고주파 성분으로 분할하는 대역 분리부를 더 구비하고, 상기 고주파 성분에 대하여 상기 노이즈 분포 분석부, 상기 양자화부 및 상기 역 양자화부를 구비함과 함께, 상기 저주파 성분과 상기 역 양자화부에서 역 양자화된 상기 고주파 성분을 가산한 후에, 이를 상기 감산부에 입력하여도 된다. 노이즈 성분은 화소마다 서로 다르기 때문에 고주파 성분이 지배적이지만, 디바이스의 특성이나 전원에 따라서는 취득한 노이즈 정보에 저주파 성분이 혼입하는 경우가 있다. 이와 같은 경우에, 암전류 노이즈를 저주파수 성분과 고주파수 성분으로 나누고, 이 고주파 성분에 대하여 본 발명의 압축 처리를 행함으로써, 보다 정밀도 좋게 노이즈 성분을 복원하는 것이 가능하다.

또한, 상기 저주파 성분을 상기 고주파 성분과는 독립된 방법으로 압축하는 압축부와, 상기 압축된 저주파 성분을 신장하는 신장부를 더 구비하고, 상기 신장된 저주파 성분과 상기 역 양자화부에서 역 양자화된 상기 고주파 성분을 가산한 후에, 이를 상기 감산부에 입력하여도 된다. 이에 의하면, 저주파 성분과 고주파 성분으로 독립된 방법으로 압축함으로써, 각각의 성분의 특성에 맞는 방법으로 압축할 수 있기 때문에, 보다 정밀도 좋게 노이즈 성분을 복원하는 것이 가능하다.

제2 수단에서의 본 발명의 다른 양태는, 노이즈 제거 방법에 관한 것이다. 이 방법은, 광을 차단한 상태에서 촬상 소자에 의해 촬상된 화상 신호에 관해서 암전류 노이즈 성분의 크기의 분포를 구하는 스텝과, 암전류 노이즈 성분의 크기의 피크를 포함하는 범위를 특정하는 스텝과, 범위 안에서 양자화를 위한 임계값을 설정하는 스텝과, 암전류 노이즈 성분을 임계값에 기초하여 양자화하는 스텝과, 양자화된 암전류 노이즈 성분을 역 양자화하는 스텝과, 실제로 피사체를 촬상했을 때의 화상 신호로부터, 역 양자화된 암전류 노이즈 성분을 감산하는 스텝을 구비한다.

이 방법에 의하면, 암전류 노이즈 성분을 양자화함으로써 암전류 노이즈 성분의 정보량을 삭감할 수 있어, 암전류 노이즈 성분을 기억시키는 데에 필요한 메모리의 용량을 작게 할 수 있다. 또한, 양자화를 행할 때, 암전류 노이즈 성분의 크기의 분포를 구하고, 그 분포로부터 암전류 노이즈 성분의 크기가 집중되어 있는 범위를 특정하고, 그 범위 내에서 양자화 압축을 행하기 때문에, 고주파 성분이 많은 암전류 노이즈의 특성을 유지하면서 암전류 노이즈 성분을 고압축으로 기억시켜 두는 것이 가능하다.

(제2 수단)

제2 수단에서의 본 발명이 갖는 양태는, 노이즈 제거 장치에 관한 것이다. 이 장치는, 광을 차단한 상태에서 촬상 소자에 의해 얻어진 제1 화상 신호를 압축하는 압축부와, 상기 압축된 제1 화상 신호를 신장하는 신장부와, 상기 압축부에 의해 압축되기 전의 제1 화상 신호의 상태와, 광을 입사한 상태에서 촬상 소자에 의해 얻어진 제2 화상 신호의 상태와의 비교에 기초하여, 상기 신장된 제1 화상 신호로부터 상기 제2 화상 신호에 포함되는 노이즈 성분을 예측하는 노이즈 성분 예측부와, 상기 제2 화상 신호로부터, 상기 예측된 노이즈 성분을 감산하는 감산부를 구비한다.

여기에서, 「광을 차단한 상태」는, 촬상 소자의 전면에 설치된 셔터를 닫는 등 하여, 촬상 소자에 광이 닿지 않도록 한 상태를 가리키고, 완전하게 차단되지 않아 누설된 광이 촬상 소자에 입사되는 등의 「실질적으로 광을 차단한 상태」도 포함한다. 또한, 이 제1 화상 신호가, 이것을 촬상했을 때의 암전류에 기인하는 노이즈 성분과 거의 동일하다.

이 양태에 의하면, 미리 촬상한 제1 화상 신호의 상태와, 제2 화상 신호의 상태를 비교함으로써, 제1 화상 신호를 촬상한 조건에 의해 얻어지는 화상 신호의 크기와, 제2 화상 신호를 촬상한 조건에 의해 얻어지는 화상 신호의 크기와의 관계를 판단할 수 있기 때문에, 이 관계에 기초하여 제1 화상 신호로부터, 제2 화상 신호에 포함되는 노이즈 성분을 예측할 수 있다. 따라서, 제2 화상으로부터 이 예측된 노이즈 성분을 감산함으로써, 노이즈 성분을 정밀도 좋게 제거하는 것이 가능하게 된다.

이 양태에서, 상기 제1 화상 신호의 상태는, 상기 압축되기 전의 제1 화상 신호에 포함되는 차광 영역으로부터 출력된 신호의 크기이며, 상기 제2 화상 신호의 상태는, 이 제2 화상 신호에 포함되는 차광 영역으로부터 출력된 신호의 크기이 어도 된다. 또한, 상기 노이즈 성분 예측부는, 상기 제2 화상 신호에 포함되는 차광 영역으로부터 출력된 신호의 크기와, 상기 압축되기 전의 제1 화상 신호에 포함되는 차광 영역으로부터 출력된 신호의 크기와의 비율을 구하고, 상기 신장된 제1 화상 신호에 대하여 상기 비율을 곱함으로써, 상기 제2 화상 신호에 포함되는 노이즈 성분을 예측하여도 된다.

제2 화상 신호에 포함되는 광이 입사되지 않는 영역으로부터 출력된 신호는, 제2 화상 신호를 촬상한 조건에서 발생한 암전류에 기인하는 노이즈 성분과 거의 동일하다. 또한, 제1 화상 신호에 포함되는 광이 입사되지 않는 영역으로부터 출력된 신호는, 제1 화상 신호를 촬상한 조건에서 발생한 암전류에 기인하는 노이즈 성분과 거의 동일하다. 따라서, 이들의 신호의 크기와의 비율을 구하고, 이 비율을 제1 화상 신호에 대하여 곱함으로써, 제2 화상 신호에 포함되는 노이즈 성분을 예측할 수 있기 때문에, 제2 화상으로부터 이 예측된 노이즈 성분을 감산함으로써, 노이즈 성분을 정밀도 좋게 제거하는 것이 가능하게 된다.

이 양태에서, 상기 제2 화상 신호에 포함되는 노이즈 성분을 예측하기 위한 전처리를, 상기 압축된 제1 화상 신호에 대하여 행하는 전처리부를 더 구비하고, 상기 신장부는, 이 전처리된 제1 화상 신호를 신장하여도 된다. 이에 의하면, 제2 화상 신호에 포함되는 노이즈 성분을 예측하기 위한 전처리를, 한번 압축된 제1 화상 신호를 신장한 상태에서 행하는 것이 아니라, 압축된 상태인 채로 행한다. 압축된 화상 신호는, 신장된 화상 신호와 비교하여 데이터량이 작기 때문에, 연산량을 삭감하는 것이 가능하게 된다.

이 양태에서, 상기 전처리부는, 상기 압축된 제1 화상 신호를 저주파 성분과 고주파 성분으로 분리하는 것이며, 상기 신장부는, 상기 저주파 성분과 고주파 성분으로 개별로 신장하고, 상기 노이즈 성분 예측부는, 상기 신장된 고주파 성분으로부터 상기 제2 화상 신호에 포함되는 노이즈 성분의 고주파 성분을 예측한 후에, 상기 신장된 저주파 성분과 더해서 합침으로써, 상기 제2 화상 신호에 포함되는 노이즈 성분을 예측하여도 된다. 일반적으로 화상 신호에 포함되는 암전류 노이즈는 고주파 성분을 많이 포함하고, 온도나 노광 시간이라고 하는 촬상 조건에 크게 영향받는다. 한편, 저주파 성분은 전원이나 디바이스의 특성에 의한 노이즈가 지배적이고, 이는 온도나 노광 시간이라고 하는 촬상 조건의 영향이 비교적 적다. 이에 의하면, 촬상 조건의 영향이 적은 저주파 성분을 제외하고, 촬상 조건의 영향이 큰 고주파 성분에 대하여 예측 처리를 행하기 때문에, 보다 정확한 성분의 예측이 가능하게 된다. 따라서, 화상에 포함되는 노이즈 성분을 정밀도 좋게 제거할 수 있다.

이 양태에서, 상기 제1 화상 신호의 상태는, 상기 압축되기 전의 제1 화상 신호에 포함되는 차광 영역으로부터 출력된 신호의 고주파 성분의 크기이며, 상기 제2 화상 신호의 상태는, 이 제2 화상 신호에 포함되는 차광 영역으로부터 출력된 신호의 고주파 성분의 크기로서, 상기 노이즈 성분 예측부는, 상기 제2 화상 신호에 포함되는 차광 영역으로부터 출력된 신호의 고주파 성분의 크기와, 상기 압축되기 전의 제1 화상 신호에 포함되는 차광 영역으로부터 출력된 신호의 고주파 성분의 크기와의 비율을 구하고, 상기 신장된 제1 화상 신호의 고주파 성분에 대하여 상기 비율을 곱함으로써, 상기 제2 화상 신호에 포함되는 노이즈 성분의 고주파 성분을 예측하여도 된다. 이와 같이, 제1 화상 신호 및 제2 화상 신호 각각에 대하여, 광이 입사되지 않는 영역에 속하는 일부 혹은 전부의 화소를 이용하여 고주파 성분끼리를 비교하여 그 비율을 산출하고, 또한 제1 화상 신호의 고주파 성분에 대하여 산출한 비율을 승산함으로써, 제2 화상 신호에 포함되는 노이즈 성분을 정밀도 좋게 예측하는 것이 가능하게 되어, 정밀도가 좋은 노이즈 제거를 행하는 것이 가능하게 된다.

이 양태에서, 상기 압축부는, 상기 제1 화상 신호에 대하여, 일부 혹은 전부의 화소가 갖는 상기 제1 화상 신호의 크기의 분포를 구하고, 이 분포로부터 상기 제1 화상 신호가 취하는 크기의 피크를 포함하는 범위를 특정하고, 이 범위 안에서 양자화의 임계값을 설정하는 노이즈 분포 분석부와, 상기 제1 화상 신호에 대하여, 상기 임계값에 기초하여 양자화를 행하는 양자화부를 구비하여도 된다. 이에 의하면, 제1 화상 신호를 기억할 때, 제1 화상 신호가 취하는 크기의 피크를 포함하는 범위 내에서 양자화 압축을 행하기 때문에, 고주파 성분이 많다고 하는 노이즈의 특성을 유지하면서 제1 화상 신호를 압축해서 기억시키는 것이 가능하다.

(제3 수단)

제3 수단에서의 본 발명이 갖는 양태는, 노이즈 제거 장치에 관한 것이다. 이 장치는, 촬상 소자로부터 출력된 화상 신호로부터, 촬상 소자의 암전류에 기인하는 고정 패턴 노이즈를 제거하는 고정 패턴 노이즈 제거부와, 상기 고정 패턴 노이즈가 제거된 화상 신호로부터, 입사광에 기인하는 스미어 노이즈를 제거하는 스 미어 노이즈 제거부를 구비한다.

이 양태에 의하면, 온도 의존성을 가지고, 노광 시간에 비례해서 증대하는 고정 패턴 노이즈가, 스미어 노이즈를 제거하기 전에 화상 신호로부터 제거된다. 따라서, 이 고정 패턴 노이즈가 제거된 화상 신호를 이용하여 스미어 노이즈를 추정할 수 있어, 정밀도 좋게 스미어 노이즈를 제거하는 것이 가능하다.

이 양태에서, 고정 패턴 노이즈 제거부로서, 전술한 제1 수단 또는 제2 수단에 기재한 노이즈 제거 장치를 이용하여도 된다. 이 양태에 의하면, 효과적으로 고정 패턴 노이즈를 제거할 수 있다.

이 양태에서, 스미어 노이즈 제거부는, 고정 패턴 노이즈가 제거된 화상 신호로부터, 촬상 소자의 각 수광 비트에 축적되는 정보 전하가 1행씩 수직 방향으로 전송될 때마다 각 수광 비트로부터 혼입되는 스미어 전하의 양이 순차적으로 누가 산된 값을 감산함으로써 스미어 노이즈를 제거하여도 된다. 이 양태에 의하면, 효과적으로 스미어 노이즈를 제거할 수 있다.

이 양태에서, 스미어 노이즈가 제거된 화상 신호로부터, 촬상 소자의 제조시의 결함에 기인하는 고정 결함 노이즈를 제거하는 고정 결함 노이즈 제거부를 더 구비하여도 된다. 이 양태에 의하면, 고정 결함 노이즈를 제거하기 전에 스미어 노이즈가 제거되기 때문에, 스미어 노이즈에 의해 포화된 신호 레벨에 영향받지 않고, 결함 화소의 판정을 행하는 것이 가능하다. 또한, 고정 결함 노이즈를 제거할 때, 보간 화상 신호를, 노이즈 레벨이 큰 고정 패턴 노이즈나 스미어 노이즈가 제거된 화상 신호로부터 생성할 수 있기 때문에, 보다 자연스럽게 고정 결함 노이즈 를 제거하는 것이 가능하게 된다.

이 양태에서, 고정 결함 노이즈 제거부는, 촬상 소자의 화소마다 고정 결함 인지의 여부를 판정하고, 고정 결함이라고 판정한 경우에는, 주변의 화소로부터 보간값을 산출해서 그 값으로 치환하여도 된다. 이 양태에 의하면, 효과적으로 고정 결함 노이즈를 제거할 수 있다.

이 양태에서, 상기 고정 결함 노이즈가 제거된 화상 신호로부터, 촬상 소자의 열적인 변동에 기인하는 랜덤 노이즈를 제거하는 랜덤 노이즈 제거부를 더 구비하여도 된다.

이 양태에 의하면, 다른 노이즈 성분이 제거되고, 각 화소가 갖는 화상 신호가 참값에 가까운 상태로 된 단계에서, 주변 화소의 특징으로부터 추정 보간하는 방법을 이용하여 랜덤 노이즈를 제거하기 때문에, 정밀도 좋게 랜덤 노이즈를 제거하는 것이 가능하다.

이 양태에서, 화상 신호에 포함되는 오프셋 성분을 제거하는 오프셋 제거부를 더 구비하고, 오프셋 제거부에 입력되는 화상 신호는, 고정 패턴 노이즈 제거부에 의해 고정 패턴 노이즈가 제거된 것이어도 된다.

이 양태에 의하면, 고정 패턴 노이즈를 제거한 후에 오프셋 성분을 산출하기 때문에, 오프셋 성분의 산출에 고정 패턴 노이즈의 영향을 받지 않아, 정밀도 좋게 오프셋 성분을 제거하는 것이 가능하게 된다.

오프셋 제거부는, 해당 오프셋 제거부에 입력된 화상 신호 중, 촬상 소자의 차광 영역에 속하는 화소의 화상 신호를 추출하고, 이 추출한 화상 신호의 크기의 평균값을 오프셋 성분으로서 산출하는 오프셋 산출부와, 해당 오프셋 제거부에 입력되는 화상 신호로부터 오프셋 성분을 감산하는 감산부를 구비하여도 된다. 이 양태에 의하면, 효과적으로 오프셋 성분을 제거할 수 있다.

또한, 이상의 구성 요소의 임의의 조합, 본 발명의 표현을 방법, 장치, 시스템, 컴퓨터 프로그램, 데이터 구조, 기록 매체 등의 사이에서 변환한 것도 또한, 본 발명의 양태로서 유효하다.

<발명의 효과>

노이즈 제거 장치에서, 노이즈 제거 성능을 높일 수 있다.

도 1은 실시예 1에 따른 디지털 카메라(100)의 구성도.

도 2는 암전류 노이즈 성분의 크기의 분포를 나타낸 도면.

도 3은 암전류 노이즈 성분이 취하는 크기의 피크를 포함하는 범위를 특정하고, 그 범위 내에서 양자화의 임계값 및 대표값을 산출하는 것을 설명하기 위한 도면.

도 4는 실시예 2에 따른 디지털 카메라(110)의 구성도.

도 5는 암전류 노이즈 성분을 복수 라인으로 분할하는 것을 설명하기 위한 도면.

도 6은 실시예 3에 따른 디지털 카메라(120)의 구성도.

도 7은 실시예 4에 따른 디지털 카메라(1100)의 구성도.

도 8은 암전류 노이즈 성분의 크기의 분포를 나타낸 도면.

도 9는 암전류 노이즈 성분이 취하는 크기의 피크를 포함하는 범위를 특정하고, 그 범위 내에서 양자화의 임계값 및 대표값을 산출하는 것을 설명하기 위한 도면.

도 10은 실시예 5에 따른 디지털 카메라(2100)의 구성도.

도 11은 실시예 5에 따른 고정 패턴 노이즈 제거부(2010)의 구성도.

도 12는 실시예 5에 따른 스미어 노이즈 제거부(2011)의 구성도.

도 13은 실시예 5에 따른 고정 결함 노이즈 제거부(2012)의 구성도.

도 14는 고정 결함의 판정 방법을 설명하기 위한 도면.

도 15는 실시예 6에 따른 디지털 카메라(2110)의 구성도.

도 16은 실시예 6에 따른 오프셋 제거부(2014)의 구성도.

<부호의 설명>

1, 7, 8, 1001: 암전류 노이즈 제거 장치

2, 1002: 렌즈

3, 1003: 셔터

4, 1004, 2002: 촬상 소자

5, 1005: A/D 변환부

6, 1006, 2005: 기록 매체

10, 20, 1010: 노이즈 분포 분석부

12, 1012: 양자화부

14, 30, 1014, 2020, 2051: 메모리

16: 역 양자화부

18, 1030, 2021, 2030, 2052: 감산부

22, 2032, 2040: 라인 메모리

24: 대역 분리부

28: 압축부

32: 신장부

34, 1028, 2031: 가산부

100, 110, 120, 1100, 2100, 211O: 디지털 카메라

1016: 저주파·고주파 분리부

1018: 제1 역 양자화부

1020: 제2 역 양자화부

1022: 고주파 추출부

1024: 승산 계수 설정부

1026, 2034: 승산부

2001, 2006: 노이즈 제거 장치

2003: 아날로그 프론트 엔드(AFE)

2004: 화상 압축 장치

2010: 고정 패턴 노이즈 제거부

2011: 스미어 노이즈 제거부

2012: 고정 결함 노이즈 제거부

2013: 랜덤 노이즈 제거부

2014: 오프셋 제거부

2033: 계수 발생부

2041: 고정 결함 판정부

2042: 보간값 산출부

2043: 보간값 치환부

2050: 오프셋 산출부

<발명을 실시하기 위한 최량의 형태>

(제1 그룹)

(실시예 1)

도 1은, 본 발명의 바람직한 실시예 1에 따른 암전류 노이즈 제거 장치(1)를 구비한 디지털 카메라(100)의 구성을 도시한 도면이다. 이 구성은, 하드웨어적으로는, 임의의 컴퓨터의 CPU, 메모리, 그 밖의 LSI로 실현할 수 있고, 소프트웨어적으로는 메모리에 로드된 부호화 기능이 있는 프로그램 등에 의해 실현되지만, 여기에서는 그들의 제휴에 의해 실현되는 기능 블록을 묘사하고 있다. 따라서, 이들의 기능 블록이 하드웨어만, 소프트웨어만, 또는 그들의 조합에 의해 다양한 형태로 실현할 수 있는 것은, 당업자에게는 이해되는 바이다.

디지털 카메라(100)는, 암전류 노이즈 제거 장치(1) 외에, 렌즈(2), 셔터(3), 촬상 소자(4), A/D 변환부(5)와 기록 매체(6)를 구비하고 있다. 피사체에 반사된 광은 렌즈(2), 셔터(3)를 통해 촬상 소자(4)에 입사된다. 촬상 소자(4)는, 입사된 광을 전기 신호로 변환하고, 그것을 화상 신호로서 출력한다. 이 촬상 소자(4)의 일례로서, CCD나 CMOS 센서 등이 있다. 촬상 소자(4)로부터 출력된 화상 신호는, A/D 변환부(5)에서 예를 들면 10비트의 디지털 신호로 변환된 후, 암전류 노이즈 제거 장치(1)에 의해 암전류 노이즈가 제거되어, 기록 매체(6)에 기록된다.

암전류 노이즈 제거 장치(1)는, 미리 셔터(3)를 닫은 상태에서 촬상 소자(4)에 의해 촬상되고, A/D 변환부(5)에 의해 디지털 신호로 변환된 화상 신호를, 암전류 노이즈 성분으로서 기억해 두고, 실제의 촬상시에 촬상된 화상 신호로부터 이 암전류 노이즈 성분을 제하여, 암전류 노이즈를 제거한다. 이 암전류 노이즈 성분을 기억할 때, 화상을 구성하는 전체 화소의 암전류 노이즈 성분의 크기의 분포를 구하고, 이 분포로부터 암전류 노이즈 성분의 피크를 포함하는 범위를 조사하고, 그 범위 내에서 양자화 압축을 행한다. 또한, 여기에서 말하는 암전류 노이즈 성분의 크기는, A/D 변환부(5)에 의해 얻어진 디지털 신호로 나타내는 값을 의미한다.

암전류 노이즈 제거 장치(1)의 구성을 이하에 설명한다. 암전류 노이즈 제거 장치(1)는, 노이즈 분포 분석부(10), 양자화부(12), 메모리(14), 역 양자화부(16), 감산부(18)를 구비하고 있다. 노이즈 분포 분석부(10)는, 셔터(3)를 닫고 촬상했을 때에 얻어지는 암전류 노이즈 성분에서, 전체 화소에서, 그 취할 수 있는 값마다 각각 몇 화소 출현했는지를 전체 화소에 대하여 카운트하고, 그 분포를 구한다.

예를 들면, 10화소로 구성되는 화상의 암전류 노이즈 성분이, 각 화소마다 이하의 값을 가지고 있던 것으로 한다.

{1, 3, 2, 5, 3, 3, 4, 5, 3, 2}

암전류 노이즈 성분이 0~7의 값을 가질 수 있는 경우, 노이즈 분포 분석부(10)는, 각각의 값의 출현 화소수를 다음과 같이 구한다.

값 0: 0화소, 값 1: 1화소, 값 2: 2화소, 값 3: 4화소, 값 4: 1화소,

값 5: 2화소, 값 6: 0화소, 값 7: 0화소.

실제로 촬상 소자(4)로부터 얻어지는 화상의 화소수는 수십만부터 수백만 화소이다. 또한, 암전류 노이즈 성분이 취할 수 있는 값은, A/D 변환부(5)의 분해능에 의해 결정된다. 예를 들면, A/D 변환부(5)가 10비트의 분해능을 가지고 있던 경우, 암전류 노이즈 성분이 취할 수 있는 값은 0~1023이다. 이 경우, 노이즈 분포 분석부(10)는, 촬상 소자(4)에 의해 얻어진 전체 화소의 암전류 노이즈 성분에 대하여, 그 취할 수 있는 값 0~1023 각각의 출현 화소수를 구하게 된다. 그 결과, 도 2와 같은 분포를 얻을 수 있다.

노이즈 분포 분석부(10)는, 암전류 노이즈 성분의 분포를 구한 후, 도 3에 도시하는 바와 같이 암전류 노이즈 성분이 집중되어 있는 범위 A~B를 특정한다. 예를 들면, 이 범위의 하한 A는, 분포를 구할 때에 사용한 화소의 수를 x로 했을 때, 화소값이 작은 쪽부터 세어 x/512화소째의 화소가 갖는 암전류 노이즈 성분의 값으로 한다. 또한, 상한 B는, 화소값이 큰 쪽부터 세어 x/512화소째의 화소가 갖는 암전류 노이즈 성분의 값으로 한다. 또한, 이 제수는 512에 한하지 않고 임의의 값이어도 된다. 또한, 하한 A와 상한 B에서 서로 다른 제수를 이용하여도 된 다. 또한, 제수를 가변으로 하여 외부로부터 설정할 수 있도록 하여도 된다.

또한, 이 범위의 하한 A와 상한 B를 구하는 다른 방법으로서, 암전류 노이즈 성분의 분포가 피크의 위치를 특정하고, 하한 A부터 이 피크까지 존재하는 화소의 수와, 상한 B부터 이 피크까지 존재하는 화소의 수가, 어느 일정한 화소수로 되도록 하한 A와 상한 B를 정하여도 된다.

노이즈 분포 분석부(10)는, 범위 A~B를 특정한 후에, 이 범위 내에 임계값을 설정해서 양자화 압축하도록, 양자화의 임계값과 대표값을 산출한다. 예를 들면, 도 3과 같이 암전류 노이즈 성분을 N단계로 양자화하는 경우를 생각한다. 그리고, 암전류 노이즈 성분의 값의 제로 쪽부터, 양자화 레벨 0, 양자화 레벨 1, 양자화 레벨 2로 하고, 암전류 노이즈 성분의 값이 가장 큰 개소를 양자화 레벨 (N-1)로 한다. 또한, 이들을 통합해서 양자화 레벨 n(n=0, 1, 2, …, N-1)로 표기한다. 노이즈 분포 분석부(10)는, 양자화 레벨 n과 양자화 레벨 (n+1) 사이의 임계값 THn 및 양자화 레벨 n의 대표값 Vn을 이하의 수학식에 의해 구한다. 이들의 값을 양자화부(12)에 보낸다.

여기서, DA, DB는 하한 A 및 상한 B에서의 암전류 노이즈 성분의 값을 나타낸다. 이들의 값 중, 임계값 THn은 양자화부(12)에 보내어지는 한편, 대표값 Vn은 역 양자화부(16)에 보내어진다.

양자화부(12)는, 셔터(3)를 닫고 촬상했을 때에 얻어지는 암전류 노이즈 성분에 대하여, 노이즈 분포 분석부(10)에서 구해진 양자화의 임계값을 참조하면서 양자화를 행한다. 예를 들면, 암전류 노이즈 성분의 크기를 a로 했을 때, 수학식 1에 의해 구해진 임계값 THn을 참조하면서 이하에 설명하는 방법에 의해 양자화를 행하고, 양자화 후 데이터 α를 얻는다.

만약, 암전류 노이즈 성분 a가 임계값 TH0 미만인 경우, 양자화 데이터 α는 0으로 한다. 또한, 암전류 노이즈 성분 a가 임계값 TH(N-2) 이상인 경우, 양자화 데이터 α는 (N-1)로 한다. 그리고, 암전류 노이즈 성분 a가 임계값 TH(n-1)이상 THn 미만인 경우, 양자화 데이터 α는 n으로 한다. 또한, 노이즈 분포 분석부(10)와 양자화부(12)가, 본 발명의 「노이즈 성분의 양자화를 행하는 수단」의 일례이다.

이 방법에 의해, 양자화부(12)에서 양자화된 데이터 α는, 메모리(14)에 기억된다. 이때, 메모리(14)에 필요한 용량은, 암전류 노이즈 성분을 양자화하지 않은 경우와 비교해서 적어도 된다. 예를 들면, N을 16으로 한 경우, 양자화 데이터 α는 0~15의 값을 취한다. 즉, 1화소가 원래 10비트로 나타내고 있던 암전류 노이즈 성분은, 양자화 후에 4비트로 표현하는 것이 가능하다. 따라서, 만약 메모리에 100만 화소의 암전류 노이즈 성분을 메모리(14)에 기억하는 경우, 양자화하지 않은 경우에는, 1000만 비트의 용량이 필요한 것에 대해서, 양자화한 경우에는 400만 비 트이면 된다.

역 양자화부(16)는, 실제의 촬상시에 셔터(3)가 열린 상태에서 촬상된 화상 신호가 A/D 변환부(5)로부터 출력되는 타이밍에 맞추어, 메모리(14)로부터 양자화된 암전류 노이즈 성분을 판독하고, 노이즈 분포 분석부(10)로부터 입력된 대표값을 참조하면서 역 양자화해서 복호한다. 역 양자화 방법은, 메모리(14)로부터 판독한 양자화 데이터 α를 그대로 양자화 레벨 n으로 바꿔 읽어(즉 n=α), 이 양자화 레벨　n에 대응하는 대표값 Vn을 감산부(18)에 출력한다. 감산부(18)는, 실제의 촬상시에 촬상된 화상 신호로부터 역 양자화부(16)에서 역 양자화된 암전류 노이즈 성분을 제한다.

이러한 구성에 기초하여, 도 1에 도시한 디지털 카메라의 동작을 설명한다. 우선, 셔터(3)를 닫은 상태에서 촬상 소자(4)는 화상을 촬상한다. 이때, 촬상 소자(4)에는 광이 입사되어 있지 않기 때문에, 촬상 소자(4)로부터 출력되는 신호는 암전류 노이즈 성분이다.

이 암전류 노이즈 성분은 A/D 변환부(5)에서 디지털 신호로 변환된 후, 노이즈 분포 분석부(10)에 입력된다. 노이즈 분포 분석부(10)에서는, 전체 화소의 암전류 노이즈 성분으로부터 그 크기의 분포를 구하고, 이 분포로부터 암전류 노이즈 성분의 피크를 포함하는 범위를 조사하고, 그 범위 내에서 양자화의 임계값 THn과 대표값 Vn을 산출해 둔다.

다음으로, 다시 셔터(3)를 닫은 상태에서, 촬상 소자(4)에서 암전류 노이즈 성분을 촬상한다. 이 암전류 노이즈 성분은 A/D 변환부(5)에서 디지털 신호로 변 환된 후, 이번에는 양자화부(12)에 입력된다. 양자화부(12)는, 노이즈 분포 분석부(10)에 의해 구해진 임계값에 기초하여, 암전류 노이즈 성분을 양자화하고, 메모리(14)는 이 양자화된 암전류 노이즈 성분을 기억한다.

이상까지의 동작이, 실제로 피사체를 촬상하기 전의 단계까지의 동작이다. 여기까지의 동작, 즉, 메모리(14)에 양자화된 암전류 노이즈 성분을 기억시키는 것은, 매회의 촬상시에 행하여도 되고, 디지털 카메라의 전원 투입시에 행하여도 된다. 매회의 촬상시에 행하는 경우에는, 도시하지 않은 촬상시 검출부를 설치하고, 촬상시를 검출하면 암전류 노이즈 제거 장치(1)에 암전류 노이즈 성분을 양자화해서 기억하도록 지시하는 구성으로 하면 된다. 암전류 노이즈는, 촬상 소자 주변의 온도 환경에 영향받기 쉽기 때문에, 촬상 직전에 기억하는 경우에 가장 정밀도 좋게 암전류 노이즈 성분의 값을 취득할 수 있다. 전원 투입시에 행하는 경우에는, 도시하지 않은 전원 투입시 검출부를 설치하고, 전원 투입을 검지하면 암전류 노이즈 제거 장치(1)에 암전류 노이즈 성분을 양자화해서 기억하도록 지시하는 구성으로 하면 된다.

또한, 메모리(14)에 양자화된 암전류 노이즈 성분을 기억시키는 것은, 디지털 카메라의 제조시에 행하여 두어도 된다. 또한, 디지털 카메라에 도시하지 않은 타이머를 설치하고, 일정 기간마다 암전류 노이즈 제거 장치(1)에 암전류 노이즈 성분을 양자화해서 기억하도록 지시하는 구성으로 하여도 된다.

다음으로, 실제로 피사체를 촬상하는 경우의 동작에 대해서 설명한다. 이번에는 셔터(3)를 연 상태에서 촬상 소자(4)에서 화상을 촬상한다. 촬상 소자(4)로 부터 출력된 화상 신호는, A/D 변환부(5)에서 디지털 신호로 변환된 후, 감산부(18)에 보내어진다. 한편, 역 양자화부(16)는, A/D 변환부(5)로부터 화상 신호가 출력되는 타이밍에 맞추어, 메모리(14)에 기억되고 양자화된 암전류 노이즈 성분을 판독함과 함께, 노이즈 분포 분석부(10)에서 산출된 대표값을 참조하면서, 암전류 노이즈 성분을 역 양자화한다. 이 역 양자화된 암전류 노이즈 성분은 감산부(18)에 입력되고, 감산부(18)에 의해 화상 신호로부터 역 양자화된 암전류 노이즈 성분을 제한다. 이에 의해, 화상 신호로부터 암전류 노이즈 성분을 제거할 수 있다. 그리고, 암전류 노이즈 성분이 제거된 화상 신호가 기록 매체(6)에 기록된다.

이상, 본 발명에 바람직한 실시예 1에 의하면, 이하의 작용 효과를 갖는다.

(1) 암전류 노이즈 성분을 양자화함으로써 암전류 노이즈 성분의 정보량을 대폭 삭감할 수 있어, 암전류 노이즈 성분을 기억시키는 데에 필요한 메모리의 용량을 작게 할 수 있다.

(2) 양자화를 행할 때, 암전류 노이즈 성분의 크기의 분포를 구하고, 그 분포로부터 암전류 노이즈 성분이 취하는 크기의 피크를 포함하는 범위를 특정하고, 그 범위 내에서 양자화 압축을 행하기 때문에, 고주파 성분이 많은 노이즈의 특성을 유지하면서 암전류 노이즈 성분을 압축하는 것이 가능하다.

(3) 종래예와 같이 암전류 노이즈 성분을 블록으로 분할하여 직교 변환한 후에 양자화한 경우, 블록마다 양자화의 파라미터가 서로 다르기 때문에, 이것을 역 양자화했을 때에, 블록 경계상에 노이즈가 발생한다. 이에 대하여, 본 실시예에서는, 암전류 노이즈 성분 전체에 걸쳐 동일한 임계값을 이용하여 양자화를 행하기 때문에, 양자화한 암전류 노이즈 성분을 역 양자화한 경우에, 상기한 바와 같은 노이즈는 발생하지 않는다.

(4) 서로 다른 시각에서 촬상된 2개의 암전류 노이즈 성분을 사용하여, 양자화 임계값의 설정과 양자화를 행하기 때문에, 촬상한 암전류 노이즈 성분을 일시적으로 기억해 둘 필요가 없어, 메모리 용량을 삭감할 수 있다. 즉, 최초로 취득한 암전류 노이즈 성분을 이용하여 양자화 임계값의 설정을 행하지만, 그 양자화 임계값 설정의 순간만 암전류 노이즈 성분을 유지하고 있으면 되고, 그 후에는 암전류 노이즈 성분의 데이터를 소거하여도 된다. 또한, 다음에 취득한 암전류 노이즈 성분을 이용하여 양자화를 행하지만, 그 양자화의 순간만 암전류 노이즈 성분을 유지하고 있으면 되고, 그 후에는 암전류 노이즈 성분의 데이터를 소거하여도 된다. 양자화 임계값 설정 처리와 양자화 처리 사이에 암전류 노이즈 성분을 유지해 둘 필요가 없어지기 때문에, 메모리 용량을 삭감할 수 있다.

(실시예 2)

도 4는, 본 발명의 바람직한 실시예 2에 따른 암전류 노이즈 제거 장치(7)를 구비한 디지털 카메라(110)의 구성을 도시한 도면이다. 이 디지털 카메라(110)는, 실시예 1에 따른 디지털 카메라(100)의 노이즈 분포 분석부(10)와는 기능이 서로 다른 노이즈 분포 분석부(20)를 배치하고, 또한 라인 메모리(22)를 부가한 구성이다. 실시예 1과 동일한 구성에 대해서는 동일 부호를 붙이고, 설명을 생략한다.

실시예 2에서의 노이즈 분포 분석부(20)가, 실시예 1에서의 노이즈 분포 분석부(10)와 서로 다른 점은, 암전류 노이즈 성분의 크기의 분포를 전체 화소에 걸쳐 행하는 것이 아니라, 암전류 노이즈 성분을 도 5와 같이 복수 라인마다 영역으로 분할하고, 그 분할된 범위 내에서 암전류 노이즈 성분의 크기의 분포를 구하여, 양자화의 임계값과 대표값을 산출하는 점에 있다. 또한, 노이즈 분포 분석부(20)는, 양자화의 임계값 및 대표값을 산출한 복수 라인의 암전류 노이즈 성분을, 라인 메모리(22)에 기억시켜 둔다.

이러한 구성에 기초하여, 도 4에 도시한 디지털 카메라의 동작을 설명한다. 우선, 셔터(3)를 닫은 상태에서 촬상 소자(4)는 암전류 노이즈 성분을 촬상한다. 이 암전류 노이즈 성분은 A/D 변환부(5)에서 디지털 신호로 변환된 후, 노이즈 분포 분석부(20)에 입력된다. 노이즈 분포 분석부(20)는, 최초의 복수 라인에 있는 화소의 암전류 노이즈 성분으로부터, 그 크기의 분포를 구하고, 이 분포에 기초하여 양자화의 임계값과 대표값을 산출해 둔다. 또한, 노이즈 분포 분석부(20)는, 분포를 구하고, 양자화의 임계값과 대표값을 산출한 복수 라인의 암전류 노이즈 성분을 라인 메모리(22)에 기억시킨다.

다음으로, 양자화부(12)는, 라인 메모리(22)에 기억된 암전류 노이즈 성분을 판독하고, 노이즈 분포 분석부(20)에 의해 산출된 임계값을 참조하면서 양자화를 행하고, 이 양자화된 암전류 노이즈 성분을 메모리(14)에 기억한다. 이때, 노이즈 분포 분석부(20)는, 다음 복수 라인에 존재하는 화소에 대하여 암전류 노이즈 성분의 크기의 분포를 구하고, 이 분포로부터 양자화의 임계값과 대표값을 산출해 둠과 함께, 이 복수 라인의 암전류 노이즈 성분을 라인 메모리(22)에 덮어쓴다. 이후, 노이즈 분포 분석부(20)와 양자화부(12), 및 라인 메모리(22)가 복수 라인마다 상기 동작을 반복함으로써, 암전류 노이즈 성분의 전체 화소에 대하여, 양자화 압축을 행한 후에, 메모리(14)에 양자화된 암전류 노이즈 성분을 기억시켜 두는 것이 가능하다.

이상까지의 동작이, 실제로 피사체를 촬상하기 전의 단계까지의 동작이다. 실제로 피사체를 촬상하는 경우의 동작에 대해서는, 실시예 1에 기재한 동작과 동일하기 때문에 생략한다.

이상, 본 실시예 2에 의하면, 고주파 성분이 많은 특성을 유지하면서, 암전류 노이즈 성분을 고압축해서 기억시킨다고 하는 작용 효과에 부가하여, 이하의 작용 효과를 향수할 수 있다. 즉, 본 실시예 2에서는, 암전류 노이즈 성분을 복수의 영역으로 나누고, 영역마다 암전류 노이즈 성분의 크기의 분포를 구하고, 양자화의 임계값과 대표값을 산출함과 함께, 이 임계값과 대표값을 산출한 영역의 암전류 노이즈 성분을 라인 메모에 일단 저장하고, 이 라인 메모리에 저장된 암전류 노이즈 성분에 대하여 양자화를 행하기 때문에, 암전류 노이즈 성분을 촬상하는 횟수가 1회로 완료하여, 암전류 노이즈 성분의 양자화가 간단하게 또한 단시간에 행하는 것이 가능하다.

(실시예 3)

도 6은, 본 발명의 바람직한 실시예 3에 따른 암전류 노이즈 제거 장치(8)를 구비한 디지털 카메라(120)의 구성을 도시한 도면이다. 이 디지털 카메라(120)는, 실시예 1에 따른 디지털 카메라(100)에 대역 분리부(24), 압축부(28), 메모리(30), 신장부(32) 및 가산부(34)를 부가한 구성이다. 실시예 1과 동일한 구성에 대해서는 동일 부호를 붙이고, 설명을 생략한다.

대역 분리부(24)는, 암전류 노이즈 성분을 저주파 성분과 고주파 성분으로 분리한다. 압축부(28)는, 대역 분리부(24)에서 분리된 저주파 성분에 대하여 압축 처리를 행한다. 압축 방법으로서는, 압축 대상의 화소와 인접하는 화소에서 저주파 성분끼리의 차분을 취하는 방법이나, 소정의 양자화 계수로 저주파 성분을 제산해서 양자화하는 방법 등이 있다. 혹은, 소정의 화소 간격으로 저주파 성분을 추출하고, 그 이외의 화소의 저주파 성분을 파기하여도 되고, 이들 방법의 조합이어도 된다. 메모리(30)는, 압축부(28)에서 압축된 저주파 성분을 기억한다.

신장부(32)는, 메모리(30)에 기억된 압축된 저주파 성분을 판독하고, 신장 처리를 행한다. 예를 들면, 저주파 성분이 압축부(28)에서 압축 대상이 인접하는 화소와 저주파 성분끼리의 차분을 취하는 방법에 의해 압축된 경우, 메모리(30)에 기억된 값과 인접하는 화소의 저주파 성분을 가산함으로써 신장 처리를 행한다. 또한, 소정의 양자화 계수로 제산해서 양자화하는 방법에 의해 압축된 경우에는, 메모리(30)에 기억된 값에 양자화 계수를 승산함으로써 신장 처리를 행한다. 또한, 소정의 화소 간격으로 저주파 성분을 추출하고, 그 이외의 화소의 저주파 성분을 파기하는 방법에 의해 압축된 경우에는, 메모리(30)에 기억된 화소의 저주파 성분을 필터 처리함으로써, 모든 화소의 저주파 성분을 구하고, 신장 처리를 행한다.

또한, 노이즈 분포 분석부(10), 양자화부(12), 메모리(14) 및 역 양자화 부(16)는, 실시예 1에 따른 디지털 카메라에 구비된 것과 동일한 기능을 갖지만, 이들은 대역 분리부(24)에서 분리된 암전류 노이즈의 고주파 성분에 대하여 기능한다.

가산부(34)는, 신장부(32)에서 신장된 암전류 노이즈의 저주파 성분과, 역 양자화부(16)에서 역 양자화된 암전류 노이즈의 고주파 성분을 가산하여, 암전류 노이즈를 복호한다.

이러한 구성에 기초하여, 도 6에 도시한 디지털 카메라의 동작을 설명한다. 우선, 셔터(3)를 닫은 상태에서 촬상된 암전류 노이즈 성분은, A/D 변환부(5)에서 디지털 신호로 변환된 후, 대역 분리부(24)에서 저주파 성분과 고주파 성분으로 분리된다. 그리고, 노이즈 분포 분석부(10)는, 전체 화소에 걸쳐 고주파 성분의 크기의 분포를 구하고, 이 분포에 기초하여 고주파 성분에 대한 양자화의 임계값과 대표값을 산출한다.

다음으로, 다시 셔터(3)를 닫은 상태에서 촬상 소자(4)에서 암전류 노이즈 성분이 촬상되어, A/D 변환부(5)에서 디지털 신호로 변환된 후, 대역 분리부(24)에서 저주파 성분과 고주파 성분으로 분리된다. 그리고, 저주파 성분은 압축부(28)에서 압축되고, 메모리(30)에 이 압축된 저주파 성분이 기억된다. 또한, 고주파 성분은 양자화부(12)에 입력되고, 노이즈 분포 분석부(10)에 의해 구해진 임계값에 기초하여 양자화되어, 메모리(14)에 이 양자화된 고주파 성분이 기억된다.

이상까지의 동작이, 실제로 피사체를 촬상하기 전의 단계까지의 동작이다. 다음으로, 실제로 피사체를 촬상하는 경우의 동작에 대해서 설명한다. 이번에는 셔터(3)를 연 상태에서 촬상 소자(4)에서 화상을 촬상한다. 촬상 소자(4)로부터 출력된 화상 신호는, A/D 변환부(5)에서 디지털 신호로 변환된 후, 감산부(18)에 보내어진다. 한편, 신장부(32)는, A/D 변환부(5)로부터 화상 신호가 출력되는 타이밍에 맞추어, 메모리(30)에 기억되고 양자화된 암전류 노이즈의 저주파 성분을 판독함과 함께, 암전류 노이즈의 저주파 성분을 신장한다.

마찬가지로, 역 양자화부(16)는, A/D 변환부(5)로부터 화상 신호가 출력되는 타이밍에 맞추어, 메모리(14)에 기억되고 양자화된 암전류 노이즈의 고주파 성분을 판독함과 함께, 노이즈 분포 분석부(10)에서 산출된 대표값을 참조하면서, 암전류 노이즈의 고주파 성분을 역 양자화한다. 그리고, 이들 역 양자화된 저주파 성분 및 고주파 성분을 가산부(34)에서 가산함으로써 암전류 노이즈 성분을 복호한다. 그리고, 이 암전류 노이즈 성분이 감산부(18)에 입력되고, 감산부(18)에 의해 화상 신호로부터 역 양자화된 암전류 노이즈 성분을 제함으로써, 화상 신호로부터 암전류 노이즈 성분을 제거한다.

암전류 노이즈 자신은 화소마다 서로 다르기 때문에 고주파 성분이 지배적이고, 디바이스의 특성이나 전원에 따라서는 취득한 노이즈 정보에 저주파 성분이 혼입하는 경우가 있다. 본 실시예 3에 의하면, 이하의 작용 효과를 향수할 수 있다.

(1) 암전류 노이즈를 저주파 성분과 고주파 성분으로 분리하고, 암전류 노이즈에서 지배적인 고주파 성분에 대하여, 그 크기의 분포를 구하고, 그 분포로부터 암전류 노이즈의 고주파 성분이 취하는 크기의 피크를 포함하는 범위를 특정하고, 그 범위 내에서 양자화 압축을 행함으로써, 보다 정밀도 좋게 암전류 노이즈를 복원하는 것이 가능하다.

(2) 저주파 성분 및 고주파 성분 각각에 대하여 독립된 압축 방법을 적용하기 때문에, 각각의 성분의 특성에 맞춰 압축할 수 있어, 보다 정밀도 좋게 암전류 노이즈를 복원하는 것이 가능하다.

이상, 본 발명을 실시예 1~3에 기초하여 설명했다. 실시예는 예시이며, 그들의 각 구성 요소나 각 처리 프로세스의 조합에 다양한 변형이 가능한 것, 또한 그러한 변형도 본 발명의 범위에 있는 것은 당업자에게 이해되는 바이다. 그와 같은 변형예를 이하에 기재한다.

상기한 실시예에서는, 디지털 카메라의 예를 설명했지만, 그것에 한하지 않고, 촬상 소자를 구비한 것이면, 본 발명의 실시예에 따른 암전류 노이즈 제거 장치를 구비할 수 있다.

상기한 실시예 2에서는, 라인 메모리를 설치해서 암전류 노이즈 성분을 복수의 영역으로 분할하고, 이 분할한 범위에서 양자화의 임계값을 결정하고, 양자화를 행하는 예를 설명했지만, 이에 상기 실시예 1에 기재한 바와 같이, 서로 다른 시간에 촬상한 2개의 암전류 노이즈 성분 중, 한쪽의 암전류 노이즈 성분으로부터 양자화의 임계값을 결정하고, 다른 한쪽의 암전류 노이즈 성분에 대하여 양자화를 실시하는 처리를 가하여도 되고, 어느 쪽의 양자화 방법을 사용할지를 선택 가능하게 하여도 된다.

이들 양자화 방법을 선택 가능하게 함으로써, 암전류 노이즈 제거 장치를 탑 재하는 시스템의 성능이나, 촬영하는 화상의 화소수, 혹은 사용자가 설정한 촬영 모드 등에 따라서, 최적의 양자화 방법을 선택하는 것이 가능하게 된다.

상기 실시예 3에서, 라인 메모리를 상기 실시예 2와 같이 노이즈 분포 분석부(10)와 양자화부(12) 사이에 부가하고, 이들의 라인 메모리에 노이즈 분포 분석부(10 및 26)에서 사용된 복수 라인의 저주파 성분 및 고주파 성분을 기억시켜도 된다. 이에 의해, 상기 실시예 3에서도, 암전류 노이즈 성분을 복수 라인으로 분할하고, 이 분할된 범위에서 암전류 노이즈 성분의 양자화 임계값의 설정 및 양자화를 행할 수 있고, 따라서 상기 실시예 2와 마찬가지의 작용 효과를 향수할 수 있다.

(제2 그룹)

(실시예 4)

도 7은, 본 발명의 바람직한 실시예 4에 따른 암전류 노이즈 제거 장치(1001)를 구비한 디지털 카메라(1100)의 구성을 도시한 도면이다. 이 구성은, 하드웨어적으로는, 임의의 컴퓨터의 CPU, 메모리, 그 밖의 LSI로 실현할 수 있고, 소프트웨어적으로는 메모리에 로드된 부호화 기능이 있는 프로그램 등에 의해 실현되지만, 여기에서는 그들의 제휴에 의해 실현되는 기능 블록을 묘사하고 있다. 따라서, 이들의 기능 블록이 하드웨어만, 소프트웨어만, 또는 그들의 조합에 의해 다양한 형태로 실현할 수 있는 것은, 당업자에게는 이해되는 바이다.

디지털 카메라(1100)는, 암전류 노이즈 제거 장치(1001) 외에, 렌즈(1002), 셔터(1003), 촬상 소자(1004), A/D 변환부(1005)와 기록 매체(1006)를 구비하고 있 다. 피사체에 반사된 광은 렌즈(1002), 셔터(1003)를 통해 촬상 소자(1004)에 입사된다. 촬상 소자(1004)는, 입사된 광을 전기 신호로 변환하고, 그것을 화상 신호로서 출력한다. 이 촬상 소자(1004)의 일례로서, CCD나 CMOS 센서 등이 있다. 촬상 소자(1004)로부터 출력된 화상 신호는, A/D 변환부(1005)에서 예를 들면 10비트의 디지털 신호로 변환된다. 이 디지털 신호로 나타내는 값이, 본 발명의 「화상 신호의 크기」에 상당한다. 또한, 디지털 신호로 변환된 화상 신호를 저주파 성분과 고주파 성분으로 분리된 경우, 디지털 신호로 나타내는 각각의 성분의 값도 「화상 신호의 크기」에 포함된다.

A/D 변환부에서 디지털 신호로 변환된 화상 신호는, 암전류 노이즈 제거 장치(1001)에 의해 암전류 노이즈가 제거되어, 기록 매체(1006)에 기록된다.

암전류 노이즈 제거 장치(1001)는, 미리 셔터(1003)를 닫은 상태에서 촬상 소자(1004)에 의해 촬상되어, A/D 변환부(1005)에 의해 디지털 신호로 변환된 화상 신호를, 암전류 노이즈 성분으로서 기억해 두고, 실제의 촬상시에 촬상된 화상 신호로부터 이 암전류 노이즈 성분을 제하여, 암전류 노이즈를 제거한다. 이 암전류 노이즈 성분을 기억할 때, 화상을 구성하는 전체 화소의 암전류 노이즈 성분의 크기의 분포를 구하고, 이 분포로부터 암전류 노이즈 성분의 피크를 포함하는 범위를 조사하고, 그 범위 내에서 양자화 압축을 행한다. 또한, 여기에서 말하는 암전류 노이즈 성분의 크기는, A/D 변환부(1005)에 의해 얻어진 디지털 신호로 나타내는 값을 의미한다.

또한, 암전류 노이즈 제거 장치(1001)는, 암전류 노이즈 성분을 화상 신호로 부터 제할 때에, 미리 암전류 노이즈 성분을 촬상했을 때의 상태와, 화상 신호를 촬상했을 때의 상태를 비교하고, 이 비교에 기초하여 미리 촬상한 암전류 노이즈 성분으로부터, 화상 신호에 포함되는 암전류 노이즈 성분을 예측한다. 예를 들면, 촬상 소자(1004)에는 항상 광이 입사되지 않는 영역이 존재하기 때문에, 그 영역으로부터 출력되는 화상 신호는, 그 화소에서의 암전류 노이즈 성분으로 간주할 수 있다. 따라서, 광을 입사한 상태에서 촬상한 화상 신호 중, 항상 광이 입사되지 않는 영역(차광 영역)에 속하는 화소로부터 출력된 화상 신호와, 미리 촬상한 암전류 노이즈 성분 중, 동일한 화소로부터 출력된 암전류 노이즈 성분과의 비율을 구하고, 이 비율을 미리 촬상한 암전류 노이즈 성분 전체에 곱함으로써, 화상 신호에 포함되는 암전류 노이즈 성분을 정밀도 좋게 예측하고 있다.

또한 암전류 노이즈 제거 장치(1001)는, 미리 촬상한 암전류 노이즈 및 차광 영역으로부터 출력된 화상 신호를 저주파 성분과 고주파 성분으로 분리하고, 이들의 고주파 성분끼리를 비교하여, 미리 촬상한 암전류 고주파 성분을 이용하여, 전술한 예측을 행하도록 하고 있다. 이는, 암전류 노이즈가 각 화소마다 변동되어 발생하기 때문에 고주파 성분을 많이 포함하고, 또한 장소에 의한 영향을 받지 않는 것인 한편, 저주파 성분에는 전원이나 디바이스의 특성 등 장소에 의한 영향을 받는 노이즈가 지배적으로 되기 때문에, 저주파 성분을 포함해서 예측 처리를 행하면, 정확하게 암전류 노이즈를 예측할 수 없기 때문이다.

암전류 노이즈 제거 장치(1001)의 구성을 이하에 설명한다. 암전류 노이즈 제거 장치(1001)는, 노이즈 분포 분석부(1010), 양자화부(1012), 메모리(1014), 제 1 역 양자화부(1018), 제2 역 양자화부(1020), 고주파 추출부(1022), 승산 계수 설정부(1024), 승산부(1026), 가산부(1028) 및 감산부(1030)를 구비하고 있다. 노이즈 분포 분석부(1010)는, 셔터(1003)를 닫고 촬상했을 때에 얻어지는 암전류 노이즈 성분에 대해서, 그 취할 수 있는 값마다 각각 몇 화소 출현했는지를 전체 화소에 대하여 카운트하고, 그 분포를 구한다.

{1, 3, 2, 5, 3, 3, 4, 5, 3, 2}

암전류 노이즈 성분이 0~7의 값을 가질 수 있는 경우, 노이즈 분포 분석부(1010)는, 각각의 값의 출현 화소수를 다음과 같이 구한다.

값 0: 0화소, 값 1: 1화소, 값 2: 2화소, 값 3: 4화소, 값 4: 1화소,

값 5: 2화소, 값 6: 0화소, 값 7: 0화소.

실제로 촬상 소자(1004)로부터 얻어지는 화상의 화소수는 수십만부터 수백만 화소이다. 또한, 암전류 노이즈 성분이 취할 수 있는 값은, A/D 변환부(1005)의 분해능에 의해 결정된다. 예를 들면, A/D 변환부(1005)가 10비트의 분해능을 가지고 있던 경우, 암전류 노이즈 성분이 취할 수 있는 값은 0~1023이다. 이 경우, 노이즈 분포 분석부(1010)는, 촬상 소자(1004)에 의해 얻어진 전체 화소의 암전류 노이즈 성분에 대하여, 그 취할 수 있는 값 0~1023 각각의 출현 화소수를 구하게 된다. 그 결과, 도 8과 같은 분포를 얻을 수 있다.

노이즈 분포 분석부(1010)는, 암전류 노이즈 성분의 분포를 구한 후, 도 9에 도시하는 바와 같이 암전류 노이즈 성분의 피크를 포함하는 범위 A~B를 특정한다. 예를 들면, 이 범위의 하한 A는, 분포를 구할 때에 사용한 화소의 수를 x로 했을 때, 화소값이 작은 쪽부터 세어 x/512화소째의 화소가 갖는 암전류 노이즈 성분의 값으로 한다. 또한, 상한 B는, 화소값이 큰 쪽부터 세어 x/512화소째의 화소가 갖는 암전류 노이즈 성분의 값으로 한다. 또한, 이 제수는 512에 한하지 않고 임의의 값이어도 된다. 또한, 하한 A와 상한 B에서 서로 다른 제수를 이용하여도 된다. 또한, 제수를 가변으로 하여 외부로부터 설정할 수 있도록 하여도 된다.

노이즈 분포 분석부(1010)는, 범위 A~B를 특정한 후에, 이 범위 내에 임계값을 설정해서 양자화 압축하도록, 양자화의 임계값과 대표값을 산출한다. 예를 들면, 도 9와 같이 암전류 노이즈 성분을 N단계로 양자화하는 경우를 생각한다. 그리고, 암전류 노이즈 성분의 값의 제로 쪽부터, 양자화 레벨 0, 양자화 레벨 1, 양자화 레벨 2로 하고, 암전류 노이즈 성분의 값이 가장 큰 개소를 양자화 레벨 (N-1)로 한다. 또한, 이들을 통합해서 양자화 레벨 n(n=0, 1, 2, …, N-1)로 표기한다. 노이즈 분포 분석부(1010)는, 양자화 레벨 n과 양자화 레벨 (n+1) 사이의 임계값 THn 및 양자화 레벨 n의 대표값 Vn을 이하의 수학식에 의해 구한다.

여기에서, DA, DB는 하한 A 및 상한 B에서의 암전류 노이즈 성분의 값을 나타낸다. 임계값 THn은 양자화부(1012)에 보내어진다. 또한, 임계값 THn, 대표값 Vn 및 하한 A에서의 암전류 노이즈 성분 DA는 제1 역 양자화부(1018) 및 제2 역 양자화부(1020)에 보내어진다.

양자화부(1012)는, 셔터(1003)를 닫고 촬상했을 때에 얻어지는 암전류 노이즈 성분에 대하여, 노이즈 분포 분석부(1010)에서 구해진 양자화의 임계값을 참조하면서 양자화를 행한다. 예를 들면, 암전류 노이즈 성분의 크기를 a로 했을 때, 수학식 3에 의해 구해진 임계값 THn을 참조하면서 이하에 설명하는 방법에 의해 양자화를 행하고, 양자화 후 데이터 α를 얻는다.

만약, 암전류 노이즈 성분 a가 임계값 TH0 미만인 경우, 양자화 데이터 α는 0으로 한다. 또한, 암전류 노이즈 성분 a가 임계값 TH(N-2) 이상인 경우, 양자화 데이터 α는 (N-1)로 한다. 그리고, 암전류 노이즈 성분 a가 임계값 TH(n-1) 이상 THn 미만인 경우, 양자화 데이터 α는 n으로 한다.

이 방법에 의해, 양자화부(1012)에서 양자화된 데이터 α는, 메모리(1014)에 기억된다. 이때, 메모리(1014)에 필요한 용량은, 암전류 노이즈 성분을 양자화하지 않은 경우와 비교해서 적어도 된다. 예를 들면, N을 16으로 한 경우, 양자화 데이터 α는 0~15의 값을 취한다. 즉, 1화소가 원래 10비트로 나타내고 있던 암전류 노이즈 성분은, 양자화 후에 4비트로 표현하는 것이 가능하다. 따라서, 만약 메모리에 100만 화소의 암전류 노이즈 성분을 메모리(1014)에 기억하는 경우, 양자화하지 않은 경우에는, 1000만 비트의 용량이 필요한 것에 대해서, 양자화한 경우에는 400만 비트이면 된다.

저주파·고주파 분리부(1016)는, 실제의 촬상시에 셔터(1003)가 열린 상태에서, 촬상된 화상 신호가 A/D 변환부(1005)로부터 출력되는 타이밍에 맞추어, 메모리(1014)로부터 양자화된 암전류 노이즈 성분을 판독하고, 이를 저주파 성분과 고주파 성분으로 분리한다. 예를 들면, 저주파·고주파 분리부(1016)는, 임의의 화소 X의 양자화된 암전류 노이즈 성분 Q_x를 다음 수학식에 따라서 저주파 성분 L_x와 고주파 성분 H_x로 분리한다.

여기에서 Q_x ₊₁~Q_x ₊₁₅는, 화소 X의 왼쪽 가로에 인접해서 존재하는 15화소 각각의 양자화된 암전류 노이즈 성분의 크기를 나타낸다. 또한, 함수 min2는 괄호 내에 열거된 값 중, 2번째로 작은 값을 출력하는 함수이다. 즉, 수학식 5, 수학식 6에 의한 저주파·고주파 분리 방법은, 분리 대상의 화소와 그 화소의 왼쪽 가로에 인접해서 존재하는 15화소의 계 16화소가 갖는 암전류 노이즈 성분 중에서, 2 번째로 작은 값을 저주파 성분으로 하고, 분리 대상의 화소의 암전류 노이즈 성분으로부터 저주파 성분을 제한 것을 고주파 성분으로 한다. 여기에서, 저주파 성분을 16화소의 암전류 노이즈 성분 중의 최소값으로 하지 않는 것은, 결함 화소에 의해 출력된 저레벨 신호를 저주파 성분으로 하지 않도록 하기 위해서이다.

제1 역 양자화부(1018)는, 저주파·고주파 분리부(1016)에서 분리된 고주파 성분 H_x에 대하여, 노이즈 분포 분석부(1010)로부터 입력된 임계값 THn과 대표값 Vn을 참조하면서, 예를 들면 이하의 수학식에 의해 역 양자화한다.

여기에서, IH_x는 역 양자화된 암전류 노이즈의 고주파 성분이며, 이 IH_x가 승산부(1026)에 보내어진다.

또한, 제2 역 양자화부(1020)는, 저주파·고주파 분리부(1016)에서 분리된 저주파 성분 L_x에 대하여, 노이즈 분포 분석부(1010)로부터 입력된 임계값 THn과 대표값 Vn을 참조하면서 역 양자화해서 신장한다.

여기에서, IL_x는 역 양자화된 암전류 노이즈의 저주파 성분이다. 제2 역 양자화 부(1020)는, 이 IL_x에 노이즈 분포 분석부(1010)로부터 입력된 하한 A에서의 암전류 노이즈 성분의 값 DA를 가산한 값을, 가산부(1028)에 보낸다.

고주파 추출부(1022)는, 셔터(1003)를 닫은 상태 및 셔터(1003)를 연 상태에서 촬상된 화상 신호에 대하여, 촬상 소자(1004)의 단부에 설치된 차광 영역으로부터 출력된 화상 신호로부터 고주파 성분을 추출하고, 이 고주파 성분의 평균값을 구하여, 승산 계수 설정부(1024)에 출력한다. 고주파 성분은, 저주파·고주파 분리부(1016)와 마찬가지로 수학식 5·수학식 6을 이용하여 산출한다.

승산 계수 설정부(1024)는, 미리 셔터(1003)를 닫은 상태에서 촬상된 암전류 노이즈 성분으로부터 고주파 추출부(1022)에서 산출한 차광 영역의 고주파 성분의 평균값을 취득하고, 기억해 둔다. 또한, 셔터(1003)가 열린 상태에서 촬상된 화상 신호에서의 차광 영역의 고주파 성분의 평균값을 고주파 추출부(1022)로부터 얻는다. 이 상태에서 촬상된 화상 신호 중 차광 영역의 화소로부터 출력되는 화상 신호는, 화상을 촬상한 시점에서의 그 화소에서의 암전류 노이즈 성분이다. 따라서, 미리 기억해 둔 암전류 노이즈 성분에서의 차광 영역의 고주파 성분의 평균값과의 비율을 구하고, 이 비율을 승산 계수로서 역 양자화된 암전류 노이즈의 고주파 성분에 곱함으로써, 촬상된 화상 신호에 포함되는 암전류 노이즈의 고주파 성분을 예측할 수 있다.

승산부(1026)는, 제1 역 양자화부에서 신장된 암전류 노이즈 성분의 고주파 성분에 대하여, 승산 계수 설정부(1024)로부터 출력된 승산 계수를 승산함으로써, 화상 신호에 포함된 암전류 노이즈 성분의 고주파 성분을 예측한다. 가산부(1028)는, 이 예측된 고주파 성분에, 제2 역 양자화부로부터 출력된 값을 가산함으로써, 암전류 노이즈 성분을 생성한다. 그리고, 감산부(1030)에서 실제의 촬상 상태에서 촬상된 화상 신호로부터, 가산부(1028)에서 생성된 암전류 노이즈 성분을 제함으로써, 화상 신호로부터 암전류 노이즈를 제거한다.

이러한 구성에 기초하여, 도 7에 도시한 디지털 카메라의 동작을 설명한다. 우선, 셔터(1003)를 닫은 상태에서 촬상 소자(1004)는 화상을 촬상한다. 이때, 촬상 소자(1004)에는 광이 입사되어 있지 않기 때문에, 촬상 소자(1004)로부터 출력되는 화상 신호는 암전류 노이즈 성분(A)이다.

이 암전부 노이즈 성분(A)은 A/D 변환부(1005)에서 디지털 신호로 변환된 후, 노이즈 분포 분석부(1010)에 입력된다. 노이즈 분포 분석부(1010)에서는, 전체 화소의 암전류 노이즈 성분으로부터, 그 크기의 분포를 구하고, 이 분포에 기초하여 양자화의 임계값 THn과 대표값 Vn을 산출해 둔다.

다음으로, 다시 셔터(1003)를 닫은 상태에서 촬상 소자(1004)에서 암전류 노이즈 성분(B)을 촬상한다. 이 암전류 노이즈 성분(B)은 A/D 변환부(1005)에서, 디지털 신호로 변환된 후, 이번에는 양자화부(1012)에 입력된다. 양자화부(1012)는, 노이즈 분포 분석부(1010)에 의해 구해진 임계값 Vn에 기초하여, 암전류 노이즈 성분(B)을 양자화한다. 메모리(1014)는 이 양자화된 암전류 노이즈 성분(B)을 기억한다.

또한, 이때 촬상된 암전류 노이즈 성분(B)은 고주파 추출부(1022)에도 입력 된다. 고주파 추출부(1022)는, 촬상 소자(1004)의 차광 영역에 포함되는 암전류 노이즈 성분(B)으로부터 고주파 성분을 추출하고, 그 평균값을 구한다. 이 평균값은, 승산 계수 설정부(1024)에 보내어져, 기억된다.

이상까지의 동작이, 실제로 피사체를 촬상하기 전의 단계까지의 동작이다. 여기까지의 동작은 매회의 촬상시에 행하여도 되고, 디지털 카메라의 전원 투입시에 행하여도 된다. 매회의 촬상시에 행하는 경우에는, 도시하지 않은 촬상시 검출부를 설치하고, 촬상시를 검출하면 암전류 노이즈 제거 장치(1001)에 이 단계까지의 동작을 하도록 지시하는 구성으로 하면 된다. 암전류 노이즈는, 촬상 소자 주변의 온도 환경에 영향받기 쉽기 때문에, 촬상 직전에 기억하는 경우에 가장 정밀도 좋게 암전류 노이즈 성분의 값을 취득할 수 있다. 전원 투입시에 행하는 경우에는, 도시하지 않은 전원 투입시 검출부를 설치하고, 전원 투입을 검지하면 암전류 노이즈 제거 장치(1001)에 이 단계까지의 동작을 하도록 지시하는 구성으로 하면 된다.

또한, 실제로 이 피사체를 촬상하기 전의 단계까지의 동작은, 디지털 카메라의 제조시에 행하여 두어도 된다. 또한, 디지털 카메라에 도시하지 않은 타이머를 설치하고, 일정 기간마다 암전류 노이즈 제거 장치(1001)에 이 단계까지의 동작을 하도록 지시하는 구성으로 하여도 된다.

다음으로, 실제로 피사체를 촬상하는 경우의 동작에 대해서 설명한다. 이번에는 셔터(1003)를 닫은 상태에서 촬상 소자(1004)에서 화상(C)을 촬상한다. 촬상 소자(1004)로부터 출력된 화상 신호(C)는, A/D 변환부(1005)에서, 디지털 신호로 변환된 후, 감산부(1030)에 보내어짐과 함께, 고주파 추출부(1022)에도 보내어진다. 고주파 추출부(1022)는, 촬상 소자(1004)의 차광 영역에 포함되는 화상 신호(C)로부터 고주파 성분을 추출하고, 그 평균값을 구하고, 이를 승산 계수 설정부(1024)에 보낸다. 승산 계수 설정부(1024)는, 고주파 추출부로부터 보내어져 온 차광 영역에 포함되는 화상 신호(C)의 고주파 성분의 평균값과, 기억되어 있는 암전류 노이즈 성분(B)의 고주파 성분의 평균값과의 비율을 산출하고, 이를 승산 계수로서 승산부(1026)에 보낸다.

한편, 저주파·고주파 분리부(1016)는, A/D 변환부(1005)로부터 화상 신호(C)가 출력되는 타이밍에 맞추어, 메모리(1014)에 기억되고 양자화된 암전류 노이즈 성분(B)을 판독하고, 이를 저주파 성분(BL)과 고주파 성분(BH)으로 분리한다. 분리된 고주파 성분(BH)은, 제1 역 양자화부(1018)에서 역 양자화된 후, 승산부(1026)에서 승산 계수 설정부(1024)에서 구해진 승산 계수가 승산됨으로써 화상 신호에 포함되는 암전류 노이즈 성분의 고주파 성분이 예측되어, 가산부(1028)에 보내어진다. 또한, 분리된 저주파 성분(BL)은 제2 역 양자화부(1020)에서 역 양자화된 후, 가산부(1028)에 보내어진다.

가산부(1028)는, 역 양자화된 암전류 노이즈의 저주파 성분(BL)과, 예측된 암전류 노이즈의 고주파 성분(BH)을 더해서 합침으로써, 암전류 노이즈(BD)를 복원한다. 그리고, 이 복원된 암전류 노이즈 성분(BD)은 감산부(1030)에 입력되고, 감산부(1030)에 의해 화상 신호(C)로부터 복원된 암전류 노이즈 성분(BD)을 제한다. 이에 의해, 화상 신호(C)로부터 암전류 노이즈 성분(BD)을 제거할 수 있다. 그리 고, 암전류 노이즈 성분(BD)이 제거된 화상 신호(CD)가 기록 매체(1006)에 기록된다.

이상, 본 실시예 4에 의하면, 이하의 작용 효과를 갖는다.

(1) 차광 영역에 속하는 화소로부터 출력된 화상 신호와, 미리 기억된 동일한 화소의 암전류 노이즈 성분을 비교하고, 그것으로부터 승산 계수를 산출하여, 미리 기억된 암전류 노이즈 성분에 곱함으로써, 화상 신호에 포함되는 암전류 노이즈 성분을 정밀도 좋게 예측할 수 있다. 따라서, 화상 신호에 포함되는 암전류 노이즈 성분을 정밀도 좋게 제거할 수 있다.

(2) 암전류 노이즈는 고주파 성분이 지배적이기 때문에, 본 실시예 4와 같이, 승산 계수를 산출할 때, 화상 신호 및 미리 기억된 암전류 노이즈 성분 모두, 각각 복수 화소의 고주파 성분을 추출하고, 고주파 성분끼리를 비교함으로써 승산 계수를 산출함과 동시에, 암전류 노이즈의 고주파 성분에 대해서만 예측을 행함으로써, 보다 정밀도 좋게 암전류 노이즈 성분을 예측할 수 있다.

(3) 암전류 노이즈 성분을 예측할 때, 일부의 처리(본 실시예 4에서는 암전류 노이즈 성분을 저주파 성분과 고주파 성분으로 분리하는 처리)를 역 양자화해서 신장하기 전에 행함으로써, 데이터량이 작은 압축된 상태로 처리를 실행할 수 있어, 예측에 필요한 연산량을 적게 할 수 있다.

이상, 본 발명을 실시예 4에 기초하여 설명했다. 실시예는 예시이며, 그들의 각 구성 요소나 각 처리 프로세스의 조합에 다양한 변형이 가능한 것, 또한 그러한 변형도 본 발명의 범위에 있는 것은 당업자에게 이해되는 바이다.

또한, 상기한 실시예 4에서는, 디지털 카메라의 예를 설명했지만, 그것에 한하지 않고, 촬상 소자를 구비한 것이면, 본 발명의 실시예에 따른 암전류 노이즈 제거 장치를 구비할 수 있다.

또한, 상기 실시예 4에서, 고주파 추출부(1022)에서는, 차광 영역으로부터 출력된 화상 신호로부터 복수의 화소의 고주파 성분을 추출하고, 이 고주파 성분의 평균값을 구하는 예를 설명했지만, 이것에 한하는 것은 아니며, 복수의 화소의 고주파 성분의 중간값이나 제곱 평균을 구하도록 하여도 된다.

또한, 상기 실시예 4에서는, 고주파 추출부(1022)에서, 암전류 노이즈 성분 및 화상 신호로부터 추출한 복수 화소의 고주파 성분의 평균값을 구하고, 승산 계수 설정부(1024)에서 이들의 평균값의 비율을 구해서 승산 계수를 산출했지만, 고주파 추출부(1022)에서 추출된 암전류 노이즈 성분 및 화상 신호의 고주파 성분에 대하여, 화소마다 각각의 비율을 구하고, 이들의 비율의 평균값이나 중간값, 혹은 제곱 평균값을 승산 계수로 하여도 된다.

(제3 그룹)

(실시예 5)

도 10은, 본 발명의 바람직한 실시예 5에 따른 노이즈 제거 장치(2001)를 구비한 디지털 카메라(2100)의 구성을 도시한 도면이다. 이 구성은, 하드웨어적으로는, 임의의 컴퓨터의 CPU, 메모리, 그 밖의 LSI로 실현할 수 있고, 소프트웨어적으로는 메모리에 로드된 부호화 기능이 있는 프로그램 등에 의해 실현되지만, 여기에서는 그들의 제휴에 의해 실현되는 기능 블록을 묘사하고 있다. 따라서, 이들의 기능 블록이 하드웨어만, 소프트웨어만, 또는 그들의 조합에 의해 다양한 형태로 실현할 수 있는 것은, 당업자에게는 이해되는 바이다.

디지털 카메라(2100)는, 노이즈 제거 장치(2001) 외에, 촬상 소자(2002), 아날로그 프론트 엔드(AFE:　Analog　Front　End)(2003), 화상 압축 장치(2004), 기록 매체(2005)를 구비하고 있다. 이 디지털 카메라(2100)는, 촬상 소자(2002)에서 입사된 광을 전기 신호로 변환하고, AFE(2003)에서, 촬상 소자(2002)의 출력 신호로부터 화상 신호를 취출하여 증폭한 후, 디지털 신호로 변환한다. 단, AFE(2003)에서 취출한 화상 신호에는, 다양한 노이즈 성분이 포함되어 있고, 후술하는 노이즈 제거 장치(2001)에 의해 이들의 노이즈 성분을 제거한다. 그리고, 화상 압축 장치(2004)에 의해 노이즈 제거된 화상 신호를 압축하고, 기록 매체(2005)에 기록한다.

노이즈 제거 장치(2001)는, 고정 패턴 노이즈 제거부(2010), 스미어 노이즈 제거부(2011), 고정 결함 노이즈 제거부(2012), 랜덤 노이즈 제거부(2013)를 구비하고 있다. 도 11은 고정 패턴 노이즈 제거부(2010)의 구성을 도시한 도면이다. 고정 패턴 노이즈 제거부(2010)는, 메모리(2020)와 감산부(2021)를 구비하고 있다. 메모리(2020)에는, 미리 촬상 소자(2002)에서 광을 입사하지 않는 상태에서 촬상한 화상 신호를 기억한다. 혹은, 이 화상 신호를 압축해서 메모리(2020)에 기억하여도 되고, 이 화상 신호와 관련지어진 정보를 기억하여도 된다. 광을 입사하지 않는 상태에서 촬상한 화상 신호가, 암전류에 기인하는 고정 패턴 노이즈에 상당한다.

실제의 촬상 상태, 즉, 광이 입사된 상태에서 촬상 소자(2002)에 의해 촬상된 화상 신호가, AFE(2003)를 통해서 고정 패턴 노이즈 제거부(2010)에 입력되면, 이 타이밍에 맞추어, 화상 신호를 구성하는 각 화소의 고정 패턴 노이즈를 메모리(2020)로부터 판독하고, 이를 감산부(2021)에 보낸다. 메모리(2020)에 기억되어 있는 것이, 압축된 화상 신호, 혹은 화상 신호와 관련지어진 정보인 경우에는, 상기 타이밍에 맞추어, 화소마다 압축된 화상 신호, 혹은 화상 신호와 관련지어진 정보를 메모리(2020)로부터 판독하고, 이들의 신호 혹은 정보로부터 고정 패턴 노이즈를 복원한 후에, 복원된 고정 패턴 노이즈를 감산부(2021)에 보내도록 하여도 된다. 그리고, 감산부(2021)에 의해, 광이 입사된 상태에서 촬상된 화상 신호로부터 고정 패턴 노이즈를 제함으로써, 고정 패턴 노이즈를 제거한다.

이 고정 패턴 노이즈 제거부(2010)는, 전술한 실시예 1~4에서 설명한 암전류 노이즈 제거 장치(1, 7, 8, 1001)와 같은 구성을 취하여도 된다. 본 실시예에서 말하는 고정 패턴 노이즈는, 실시예 1~4의 암전류 노이즈에 상당한다.

도 12는 스미어 노이즈 제거부(2011)의 구성을 도시한 도면이다. 스미어 노이즈 제거부(2011)는, 감산부(2030), 가산부(2031), 라인 메모리(2032), 계수 발생부(2033), 승산부(2034)를 구비하고 있다. 감산부(2030)는, 1행 단위로 연속해서 입력되는 화상 신호 S1(n)로부터 제1 스미어 노이즈 성분 D1(n)을 감산하고, 스미어 노이즈 성분을 포함하지 않는 화상 신호 S2(n)로서 출력한다. 가산부(2031)는, 감산부(2030)로부터 출력되는 화상 신호 S2(n)와 라인 메모리(2032)로부터 판독되는 누가산 데이터 T(n)을 가산하고, 그 가산 데이터를 라인 메모리(2032)에 공급한 다. 라인 메모리(2032)는, 1화면분의 화상 신호 S1(n)의 입력이 완료할 때마다 리세트되고, 가산부(2031)로부터 입력되는 가산 데이터를 1행마다 기억한다. 이에 의해, 가산부(2031)에서는 1화면의 화상 신호 S2(n)가 각 열에서 누가산되고, 라인 메모리(2032)에는 누가산 데이터 T(n)이 기억되게 된다.

계수 발생부(2033)는, 촬상 소자(2002)의 노광 상태를 나타내는 노광 데이터L(m)에 응답하고, 촬상 소자(2002)의 각 수광 비트에서의 노광 기간에 대응한 계수k를 발생하고, 승산부(2034)에 공급한다. 승산부(2034)는, 라인 메모리(2032)로부터 판독되는 누가산 데이터 T(n)에 대하여, 계수 k를 승산해서 스미어 노이즈 성분D1(n)을 생성한다.

이와 같은 스미어 노이즈 제거부(2011)에 의하면, 촬상 소자(2002)의 각 수광 비트에 축적되는 정보 전하가 1행씩 수직 방향으로 전송될 때마다 각 수광 비트로부터 혼입되는 스미어 전하의 양이 순차적으로 누가산된다. 그리고, 그 누가산값에 의해 정보 전하가 전송되는 과정에서 혼입하는 스미어 노이즈 성분이 나타나기 때문에, 이 값을 화상 신호 S1(n)로부터 감산함으로써 스미어 노이즈를 제거할 수 있다.

고정 결함 노이즈 제거부(2012)는, 화소마다 고정 결함인지의 여부를 판정하고, 고정 결함이라고 판정한 경우에는, 주변의 화소로부터 보간값을 산출해서 그 값으로 치환한다. 도 13은 고정 결함 노이즈 제거부(2012)의 구성을 도시한 도면이다. 고정 결함 노이즈 제거부(2012)는, 라인 메모리(2040), 고정 결함 판정부(2041), 보간값 산출부(2042), 보간값 치환부(2043)를 구비하고 있다.

라인 메모리(2040)는, 1행 단위로 연속해서 입력되는 화상 신호를 1행마다 기억한다. 라인 메모리(2040)는, 7라인분의 화상 신호를 기억할 수 있다. 7라인 분의 화상 신호가 기억되어 있는 중에, 새롭게 화상 신호가 입력되었을 때는, 가장 오래된 시간에 기억된 행의 화상 신호를, 새롭게 입력된 화상 신호로 덮어쓰기해 감으로써, 라인 메모리(2040)의 내용을 갱신한다.

고정 결함 판정부(2041)는, 화소마다 고정 결함인지의 여부를 판정한다. 예를 들면 도 14에 도시한 화소 F7에 대해서 고정 결함인지의 여부를 판정하는 경우, 라인 메모리(2040)로부터, 주변 화소 D5, D7, D9, F5, F9, H5, H7, H9의 화상 신호를 판독한다. 그리고, 이들 주변 화소의 화상 신호의 최대값과 최소값을 구하고, 화소 F7의 화상 신호의 크기와 비교한다. 그 결과, 화소 F7의 화상 신호의 크기가, 주변 화소의 화상 신호의 최대값보다도 이상하게 크거나, 혹은 최소값보다도 이상하게 작은 경우에는, 화소 F7이 고정 결함으로서 판정한다. 그 이외의 경우에는, 고정 결함 없음으로서 판정한다. 고정 결함 판정부(2041)는, 이 판정을 화상을 구성하는 모든 화소에 대해서 행한다.

보간값 산출부(2042)는, 고정 결함 판정부(2041)에서 고정 결함인지의 여부를 판정하고 있는 화소에 대하여, 주변 화소의 값으로부터 보간값을 산출한다. 보간값 치환부(2043)는, 고정 결함 판정부(2041)의 판정 결과가 고정 결함인 경우, 그 화소의 화상 신호를 보간값 산출부(2042)에서 산출한 보간값으로 치환해서 외부에 출력하고, 그 이외의 경우에는, 그 화소의 화상 신호를 그대로 출력함으로써, 고정 결함 노이즈를 제거한다.

랜덤 노이즈 제거부(2013)는, 도 13에 도시한 고정 결함 노이즈 제거부(2012)의 구성과 거의 동일하지만, 랜덤 노이즈의 유무를 판정할 때, 주변 화소의 화상 신호의 최대값을 상한 임계값, 주변 화소의 화상 신호의 최소값을 하한 임계값으로 하고, 판정 대상의 화소의 화상 신호의 크기가, 이 상한 임계값과 하한 임계값으로 나타내는 범위로부터 벗어나 있는 경우, 랜덤 노이즈 있음으로 판정한다. 그리고, 랜덤 노이즈 있음으로 판정한 경우에는, 주변 화소의 화소값으로부터 산출한 보간값으로 치환하고, 랜덤 노이즈 없음으로 판정한 경우에는, 그 화소의 화상 신호를 그대로 출력한다.

이러한 구성에 기초하여, 도 10의 디지털 카메라(2100)의 동작에 대해서 설명한다. 우선, 디지털 카메라(2100)는 광이 입사되지 않는 상태에서 촬상 소자(2002)에서 화상을 촬상한다. 이때 촬상된 화상은 암전류에 기인하는 고정 패턴 노이즈 성분을 나타낸다. 이 화상은, AFE(2003)를 통해서 노이즈 제거 장치(2001)의 고정 패턴 노이즈 제거부(2010)에 보내어져, 기억된다.

여기까지의 동작이, 실제로 피사체를 촬상하기 전의 단계까지의 동작이다. 여기까지의 동작은 매회의 촬상시에 행하여도 되고, 디지털 카메라의 전원 투입시에 행하여도 된다. 매회의 촬상시에 행하는 경우에는, 도시하지 않은 촬상시 검출부를 설치하고, 촬상시를 검출하면 고정 패턴 노이즈 제거부(2010)에 이 단계까지의 동작을 하도록 지시하는 구성으로 하면 된다. 암전류 노이즈는, 촬상 소자 주변의 온도 환경에 영향받기 쉽기 때문에, 촬상 직전에 기억하는 경우에 가장 정밀도 좋게 암전류 노이즈 성분의 값을 취득할 수 있다. 전원 투입시에 행하는 경우 에는, 도시하지 않은 전원 투입시 검출부를 설치하고, 전원 투입을 검지하면 고정 패턴 노이즈 제거부(2010)에 이 단계까지의 동작을 하도록 지시하는 구성으로 하면 된다.

또한, 실제로 이 피사체를 촬상하기 전의 단계까지의 동작은, 디지털 카메라의 제조시에 행하여 두어도 된다. 또한, 디지털 카메라에 도시하지 않은 타이머를 설치하고, 일정 기간마다 고정 패턴 노이즈 제거부(2010)에 이 단계까지의 동작을 하도록 지시하는 구성으로 하여도 된다.

다음으로, 실제로 피사체를 촬상하는 경우의 동작에 대해서 설명한다. 이번에는, 디지털 카메라(2100)는, 광이 입사된 상태에서 촬상 소자(2002)에서 화상을 촬상하고, 이 화상 신호는 AFE(2003)를 통해서 노이즈 제거 장치(2001)에 보내어진다. 노이즈 제거 장치(2001)에서는, 이 화상 신호에 대하여, 우선 고정 패턴 노이즈 제거부(2010)에서 고정 패턴 노이즈를 제거하고, 다음에 스미어 노이즈 제거부(2011)에서 스미어 노이즈를 제거한다. 다음으로, 고정 결함 노이즈 제거부(2012)에서 고정 결함 노이즈를 제거하고, 또한 랜덤 노이즈 제거부(2013)에 의해 랜덤 노이즈를 제거한다. 이 순번에 의해 복수의 노이즈가 제거된 화상 신호는, 화상 압축 장치(2004)에서 화상 압축되어, 기록 매체(2005)에 기록된다.

본 실시예 5에서는, 노이즈 제거 장치(2001)에 의해, 고정 패턴 노이즈, 스미어 노이즈, 고정 결함 노이즈, 랜덤 노이즈의 순번으로 복수의 노이즈를 제거하는 것을 특징으로 하고, 이 순번에 의해, 이하의 이유에 의해 각각의 노이즈가 정밀도 좋게 제거하는 것이 가능하게 되어 있다. 예를 들면, 스미어 노이즈는, 전술 한 바와 같이 입사광량의 추정이 필요하고, 이 추정을 촬상한 화상 신호에 기초하여 행하기 때문에, 이 화상 신호에 노이즈가 많으면 입사광량의 추정 정밀도가 열화되어, 결과적으로 제거할 스미어 노이즈의 산출 정밀도가 열화한다. 특히, 온 도 의존성을 가지고, 노광 시간에 비례해서 증대하는 고정 패턴 노이즈가, 추정에 이용하는 화상 신호에 포함되어 있으면, 정밀도 좋게 스미어 노이즈를 추정하는 것이 곤란하다. 따라서, 고정 패턴 노이즈는 스미어 노이즈를 제거하기 전에 화상 신호로부터 제거되는 것이 바람직하다.

다음으로, 고정 결함 노이즈는, 결함 화소의 판정으로 치환하기 위한 보간 화소를 주변 화소에 기초하여 행하기 때문에, 어느 정도 노이즈가 제거된 화상에 대하여 행하는 것이 바람직하다. 또한, 스미어 노이즈는 입사광량에 따라서는, 신호 레벨을 포화시키는 것에 이르는 레벨에 도달하고 있는 경우가 있어, 고정 결함 노이즈가 반대로 묻히게 된다. 이 때문에, 스미어 노이즈 제거는 고정 결함 노이즈 제거의 이전에 행하는 것이 바람직하다.

또한, 랜덤 노이즈는 다른 노이즈와 비교하여, 신호 레벨로서는 매우 작아, 스미어 노이즈 제거나 고정 결함 노이즈 제거에의 영향은 적다. 단, 화상이 고르지 못한 것이 눈에 띄는 경우도 있다. 이 랜덤 노이즈 제거는, 주변 화소의 특징으로부터 추정 보간하는 방법을 이용하기 때문에, 다른 노이즈 성분이 제거되어, 참 화소값에 가까운 화소로 되어 있는 노이즈 제거의 최종단에 배치하는 것이 바람직하다. 또한, 전술한 바와 같이, 랜덤 노이즈는 다른 노이즈와 비교하여 매우 작은 것이기 때문에, 노이즈 제거 장치(2001)로부터 랜덤 노이즈 제거부를 생략하여 도 된다.

이상의 점으로부터, 본 실시예 5에 의하면, 노이즈를 제거하는 순번으로서, 최초로 고정 패턴 노이즈를 제거하고, 다음에 스미어 노이즈, 다음에 고정 결함 노이즈를 제거함으로써, 각각의 노이즈를 가장 정밀도 좋게 제거할 수 있다. 또한, 랜덤 노이즈를 제거하는 경우에는, 다른 노이즈 성분을 제거한 후에 제거함으로써, 랜덤 노이즈를 포함해서 각각의 노이즈를 가장 정밀도 좋게 제거할 수 있다.

(실시예 6)

도 15는, 본 발명의 바람직한 실시예 6에 따른 노이즈 제거 장치(2006)를 구비한 디지털 카메라(2110)의 구성을 도시한 도면이다. 이 노이즈 제거 장치(2006)는, 도 10의 노이즈 제거 장치(2001)에 대하여, 랜덤 노이즈 제거부(2013)의 후단에 오프셋 제거부(2014)가 부가된 구성으로 되어 있다. 실시예 5와 동일한 구성에 대해서는 동일 부호를 붙이고, 설명을 생략한다.

촬상 소자(2002)로부터 출력된 화상 신호는, 흑 레벨의 화상 신호에서도 완전하게 제로로는 되지 않고, 일정한 오프셋 성분을 포함하고 있다. 오프셋 제거부(2014)는, 이 화상 신호로부터 이 오프셋 성분을 제거한다.

도 16은, 오프셋 제거부(2014)의 구성을 도시한 도면이다. 오프셋 제거부(2014)는, 오프셋 산출부(2050), 메모리(2051), 및 감산부(2052)를 구비하고 있다. 오프셋 산출부(2050)는, 촬상 소자(2002)로부터 출력된 화상 신호 중, 촬상 소자(2002)의 단부에 설치된 광이 입사되지 않은 영역(차광 영역)에 속하는 일부의 화소의 화상 신호를 추출한다. 이 차광 영역으로부터 출력된 화상 신호의 크기가, 촬상 소자(2002)에서의 흑 레벨의 크기로 되기 때문에, 오프셋 산출부(2050)는, 이 화상 신호의 크기의 평균값을 오프셋 성분으로 하고, 이 값을 메모리(2051)에 기억한다. 그리고, 감산부(2052)에 의해 화상 신호로부터 메모리(2051)에 기억된 오프셋 성분을 감산함으로써, 오프셋 성분을 제거한다.

이러한 구성에 기초하여, 도 15에 도시한 디지털 카메라(2110)의 동작에 대해서 설명한다. 우선, 도 10에 도시한 디지털 카메라(2100)와 마찬가지로, 디지털 카메라(2110)는 광이 입사되지 않는 상태에서 촬상 소자(2002)에서 화상을 촬상하고, 이 화상이 AFE(2003)를 통해서 노이즈 제거 장치(2006)의 고정 패턴 노이즈 제거부(2010)에 보내어져, 고정 패턴 노이즈로서 기억된다.

여기까지의 동작이, 실제로 피사체를 촬상하기 전의 단계까지의 동작이다. 다음으로, 실제로 피사체를 촬상하는 경우의 동작에 대해서 설명한다. 이번에는, 디지털 카메라(2110)는, 광이 입사된 상태에서 촬상 소자(2002)에서 화상을 촬상하고, 이 화상 신호는 AFE(2003)를 통해서 노이즈 제거 장치(2006)에 보내어진다. 노이즈 제거 장치(2006)에서는, 이 화상 신호에 대하여, 우선 고정 패턴 노이즈 제거부(2010)에서 고정 패턴 노이즈를 제거하고, 다음에 스미어 노이즈 제거부(2011)에서 스미어 노이즈를 제거한다. 다음으로, 고정 결함 노이즈 제거부(2012)에서 고정 결함 노이즈를 제거하고, 또한 랜덤 노이즈 제거부(2013)에 의해 랜덤 노이즈를 제거한다. 덧붙여, 오프셋 제거부(2014)에 의해 오프셋 성분이 제거된다. 이 순번에 의해 복수의 노이즈가 제거된 화상 신호는, 화상 압축 장치(2004)에서 화상 압축되어, 기록 매체(2005)에 기록된다.

본 실시예 6에서는, 노이즈 제거 장치(2006)에 의해, 고정 패턴 노이즈를 제거한 후에 오프셋 성분을 제거하는 것을 특징으로 하고, 이하의 이유에 의해 오프셋 성분이 정밀도 좋게 제거되는 것을 가능하게 하고 있다. 즉, 오프셋 성분을 산출할 때, 촬상 소자(2002)의 차광 영역에 속하는 화소의 화상 신호를 사용하지만, 이 화상 신호에는 암전류에 기인하는 고정 패턴 노이즈도 많이 포함한 것으로 되어 있다. 전술한 바와 같이, 고정 패턴 노이즈는 온도 의존성을 가지고, 노광 시간에 비례해서 증대하기 때문에, 이 고정 패턴 노이즈를 포함한 채 오프셋 성분을 산출하면, 그 산출 정밀도가 나빠지게 된다. 따라서, 고정 패턴 노이즈의 제거는, 오프셋 성분의 제거보다도 전에 행하는 것이 바람직하다. 이에 의해, 오프셋 성분의 제거의 정밀도가 좋아져, 화질의 개선이 가능하게 된다.

또한, 본 실시예 6에서는, 오프셋 제거부(2014)를 랜덤 노이즈 제거부(2013)의 후단에 배치하는 예를 설명했지만, 이에 한하는 것은 아니고, 오프셋 제거부(2014)가 고정 패턴 노이즈 제거부(2010)보다도 후단에 배치되어 있으면, 본 발명의 범주에 포함된다.

이상, 본 발명을 실시예 5 및 6에 기초하여 설명했다. 실시예는 예시이며, 그들의 각 구성 요소나 각 처리 프로세스의 조합에 다양한 변형이 가능한 것, 또한 그러한 변형도 본 발명의 범위에 있는 것은 당업자에게 이해되는 바이다.

또한, 상기한 실시예에서는, 디지털 카메라의 예를 설명했지만, 그것에 한하지 않고, 촬상 소자를 구비한 것이면, 본 발명의 실시예에 따른 노이즈 제거 장치를 구비할 수 있다.

본 발명은, 촬상 소자의 노이즈를 제거하는 장치에 이용 가능하다.

Claims

광을 차단한 상태에서 촬상 소자에 의해 촬상된 제1 화상 신호에 대하여, 상기 촬상 소자를 구성하는 일부 혹은 전부의 화소의 상기 제1 화상 신호의 크기의 분포를 구하고, 이 분포로부터 상기 제1 화상 신호가 취하는 크기의 피크를 포함하는 범위를 특정하고, 이 범위 안에서 임계값을 설정하는 노이즈 분포 분석부와,

광을 차단한 상태에서 상기 촬상 소자에 의해 촬상된 제2 화상 신호에 대하여, 상기 임계값에 기초하여 양자화를 행하는 양자화부와,

상기 양자화된 제2 화상 신호를 역 양자화하는 역 양자화부와,

광을 입사한 상태에서 촬상 소자에서 촬상된 제3 화상 신호로부터 상기 역 양자화된 제2 화상 신호를 감산하는 감산부

를 구비하는 것을 특징으로 하는 노이즈 제거 장치.
제1항에 있어서,

상기 제1 화상 신호와 상기 제2 화상 신호는, 서로 다른 시각에 촬상된 것을 특징으로 하는 노이즈 제거 장치.
제1항에 있어서,

상기 제1 화상 신호와 상기 제2 화상 신호는, 동일한 화상 신호이며, 상기 노이즈 분포 분석부는, 상기 제1 화상 신호를 복수의 영역으로 분할하고, 이 분할 한 영역마다 상기 제1 화상 신호의 크기의 분포를 구하고, 이 분포로부터 상기 제1 화상 신호가 취하는 크기의 피크를 포함하는 범위를 특정하고, 이 범위 안에서 임계값을 설정하는 것을 특징으로 하는 노이즈 제거 장치.
제1항 내지 제3항 중 어느 한 항에 있어서,

상기 제1 화상 신호 및 상기 제2 화상 신호를 저주파 성분과 고주파 성분으로 분할하는 대역 분리부를 더 구비하고,

상기 고주파 성분에 대하여 상기 노이즈 분포 분석부, 상기 양자화부 및 상기 역 양자화부를 구비함과 함께,

상기 저주파 성분과 상기 역 양자화부에서 역 양자화된 상기 고주파 성분을 가산한 후에, 이를 상기 감산부에 입력하는 것을 특징으로 하는 노이즈 제거 장치.
제4항에 있어서,

상기 저주파 성분을 상기 고주파 성분과는 독립된 방법으로 압축하는 압축부와,

상기 압축된 저주파 성분을 신장하는 신장부

를 더 구비하고,

상기 신장된 저주파 성분과 상기 역 양자화부에서 역 양자화된 상기 고주파 성분을 가산한 후에, 이를 상기 감산부에 입력하는 것을 특징으로 하는 노이즈 제 거 장치.
광을 차단한 상태에서 촬상 소자에 의해 얻어진 제1 화상 신호를 압축하는 압축부와,

상기 압축된 제1 화상 신호를 신장하는 신장부와,

상기 압축부에 의해 압축되기 전의 제1 화상 신호의 상태와, 광을 입사한 상태에서 촬상 소자에 의해 얻어진 제2 화상 신호의 상태와의 비교에 기초하여, 상기 신장된 제1 화상 신호로부터 상기 제2 화상 신호에 포함되는 노이즈 성분을 예측하는 노이즈 성분 예측부와,

상기 제2 화상 신호로부터, 예측된 노이즈 성분을 감산하는 감산부

를 구비하는 것을 특징으로 하는 노이즈 제거 장치.
제6항에 있어서,

상기 제1 화상 신호의 상태는, 상기 압축되기 전의 제1 화상 신호에 포함되는 차광 영역으로부터 출력된 신호의 크기이며,

상기 제2 화상 신호의 상태는, 이 제2 화상 신호에 포함되는 차광 영역으로부터 출력된 신호의 크기인 것을 특징으로 하는 노이즈 제거 장치.
제7항에 있어서,

상기 노이즈 성분 예측부는, 상기 제2 화상 신호에 포함되는 차광 영역으로부터 출력된 신호의 크기와, 상기 압축되기 전의 제1 화상 신호에 포함되는 차광 영역으로부터 출력된 신호의 크기와의 비율을 구하고, 상기 신장된 제1 화상 신호에 대하여 상기 비율을 곱함으로써, 상기 제2 화상 신호에 포함되는 노이즈 성분을 예측하는 것을 특징으로 하는 노이즈 제거 장치.
제6항 내지 제8항 중 어느 한 항에 있어서,

상기 제2 화상 신호에 포함되는 노이즈 성분을 예측하기 위한 전처리를, 상기 압축된 제1 화상 신호에 대하여 행하는 전처리부를 더 구비하고, 상기 신장부는, 이 전처리된 제1 화상 신호를 신장하는 것을 특징으로 하는 노이즈 제거 장치.
제9항에 있어서,

상기 전처리부는, 상기 압축된 제1 화상 신호를 저주파 성분과 고주파 성분으로 분리하는 것이며, 상기 신장부는, 상기 저주파 성분과 고주파 성분을 개별로 신장하고, 상기 노이즈 성분 예측부는, 상기 신장된 고주파 성분으로부터 상기 제2 화상 신호에 포함되는 노이즈 성분의 고주파 성분을 예측한 후에, 상기 신장된 저주파 성분과 더해서 합침으로써, 상기 제2 화상 신호에 포함되는 노이즈 성분을 예측하는 것을 특징으로 하는 노이즈 제거 장치.
제10항에 있어서,

상기 제1 화상 신호의 상태는, 상기 압축되기 전의 제1 화상 신호에 포함되는 차광 영역으로부터 출력된 신호의 고주파 성분의 크기이며,

상기 제2 화상 신호의 상태는, 이 제2 화상 신호에 포함되는 차광 영역으로부터 출력된 신호의 고주파 성분의 크기로서,

상기 노이즈 성분 예측부는, 상기 제2 화상 신호에 포함되는 차광 영역으로부터 출력된 신호의 고주파 성분의 크기와, 상기 압축되기 전의 제1 화상 신호에 포함되는 차광 영역으로부터 출력된 신호의 고주파 성분의 크기와의 비율을 구하고, 상기 신장된 제1 화상 신호의 고주파 성분에 대하여 상기 비율을 곱함으로써, 상기 제2 화상 신호에 포함되는 노이즈 성분의 고주파 성분을 예측하는 것을 특징으로 하는 노이즈 제거 장치.
제6항에 있어서,

상기 압축부는, 상기 제1 화상 신호에 대하여, 일부 혹은 전부의 화소가 갖는 상기 제1 화상 신호의 크기의 분포를 구하고, 이 분포로부터 상기 제1 화상 신호가 취하는 크기의 피크를 포함하는 범위를 특정하고, 이 범위 안에서 양자화의 임계값을 설정하는 노이즈 분포 분석부와,

상기 제1 화상 신호에 대하여, 상기 임계값에 기초하여 양자화를 행하는 양자화부

를 구비하는 것을 특징으로 하는 노이즈 제거 장치.
촬상 소자로부터 출력된 화상 신호로부터, 촬상 소자의 암전류에 기인하는 고정 패턴 노이즈를 제거하는 고정 패턴 노이즈 제거부와,

상기 고정 패턴 노이즈가 제거된 화상 신호로부터, 입사광에 기인하는 스미어 노이즈를 제거하는 스미어 노이즈 제거부

를 구비하는 것을 특징으로 하는 노이즈 제거 장치.
제13항에 있어서,

상기 고정 패턴 노이즈 제거부로서, 제1항 또는 제6항의 노이즈 제거 장치를 이용하는 것을 특징으로 하는 노이즈 제거 장치.
제13항에 있어서,

상기 스미어 노이즈 제거부는, 상기 고정 패턴 노이즈가 제거된 화상 신호로부터, 상기 촬상 소자의 각 수광 비트에 축적되는 정보 전하가 1행씩 수직 방향으로 전송될 때마다 각 수광 비트로부터 혼입되는 스미어 전하의 양이 순차적으로 누가산된 값을 감산함으로써 스미어 노이즈를 제거하는 것을 특징으로 하는 노이즈 제거 장치.
제13항에 있어서,

상기 스미어 노이즈가 제거된 화상 신호로부터, 촬상 소자의 제조시의 결함에 기인하는 고정 결함 노이즈를 제거하는 고정 결함 노이즈 제거부를 더 구비하는 것을 특징으로 하는 노이즈 제거 장치.
제16항에 있어서,

상기 고정 결함 노이즈 제거부는, 상기 촬상 소자의 화소마다 고정 결함인지의 여부를 판정하고, 고정 결함이라고 판정한 경우에는, 주변의 화소로부터 보간값을 산출해서 그 값으로 치환하는 것을 특징으로 하는 노이즈 제거 장치.
제16항 또는 제17항에 있어서,

상기 고정 결함 노이즈가 제거된 화상 신호로부터, 촬상 소자의 열적인 변동에 기인하는 랜덤 노이즈를 제거하는 랜덤 노이즈 제거부를 더 구비하는 것을 특징으로 하는 노이즈 제거 장치.
제13항에 있어서,

상기 화상 신호에 포함되는 오프셋 성분을 제거하는 오프셋 제거부를 더 구비하고, 상기 오프셋 제거부에 입력되는 화상 신호는, 상기 고정 패턴 노이즈 제거부에 의해 고정 패턴 노이즈가 제거된 것을 특징으로 하는 노이즈 제거 장치.
제19항에 있어서,

상기 오프셋 제거부는,

상기 오프셋 제거부에 입력된 화상 신호 중, 상기 촬상 소자의 차광 영역에 속하는 화소의 화상 신호를 추출하고, 이 추출한 화상 신호의 크기의 평균값을 오프셋 성분으로서 산출하는 오프셋 산출부와,

상기 오프셋 제거부에 입력되는 화상 신호로부터 상기 오프셋 성분을 감산하는 감산부

를 구비하는 것을 특징으로 하는 노이즈 제거 장치.
삭제