WO2006043563A1

WO2006043563A1 - ノイズ除去装置

Info

Publication number: WO2006043563A1
Application number: PCT/JP2005/019138
Authority: WO
Inventors: Kazuhiro Suzuki; Keishi Kato
Original assignee: Sanyo Electric Co., Ltd
Priority date: 2004-10-22
Filing date: 2005-10-18
Publication date: 2006-04-27
Also published as: JP4601623B2; US20090244331A1; US7924329B2; KR100835792B1; KR20070063604A; JPWO2006043563A1

Abstract

　高周波成分の多い特性を保ちつつ、暗電流ノイズ成分を高圧縮して記憶させることができるノイズ除去装置を提供する。ノイズ分布分析部１０は、少なくとも一部の画素の暗電流ノイズ成分から、その大きさの分布を求め、この分布に基づき量子化の閾値と代表値を算出する。量子化部１２は、算出した閾値を基に、暗電流ノイズ成分を量子化し、メモリ１４はこの量子化された暗電流ノイズ成分を記憶する。逆量子化部１６は、メモリ１４に記憶された量子化された暗電流ノイズ成分に対し、ノイズ分布分析部１０で算出された代表値を参照しながら、暗電流ノイズ成分を逆量子化する。この逆量子化された暗電流ノイズ成分は減算部１８に入力され、減算部１８によって画像信号から逆量子化された暗電流ノイズ成分を差し引く。

Description

明細書

ノイズ除去装置

技術分野

[0001] 本発明は、デジタルカメラや携帯電話機等に用いられる撮像素子のノイズを除去する装置に関する。

背景技術

[0002] デジタルカメラや携帯電話機に用いられる CCDや CMOSセンサなどの撮像素子は、光が入射されない状況下においても、画素を構成する撮像素子に流れる暗電流の影響により、ある程度決まったパターンのノイズ（暗電流ノイズ）が発生する。

[0003] 特許文献 1には、この暗電流ノイズを除去するための装置が開示されている。この装置は、シャッターを閉じた状態で撮像素子にて撮像された画像である暗電流ノイズ成分を、予め直交変換及び量子化によって圧縮してからメモリに記憶しておき、実際に画像が撮像されると、この画像信号から直交逆変換によって復号された暗電流ノィズ成分を差し引くことで、暗電流ノイズを除去する。

[0004] この特許文献 1で開示された暗電流ノイズを圧縮する方法である直交変換及び量子化は、画像圧縮でよく知られた方法を使用している。この方法は、画像信号を直交変換した場合、低周波成分に情報が偏る、という画像の一般的な性質を利用したものであり、量子化によって高周波成分の情報をカットしても、画質にそれほど大きな影響を与えない。

特許文献 1：特開平 11― 298762号公報

発明の開示

発明が解決しょうとする課題

[0005] (第 1の課題）

暗電流ノイズ成分は高周波成分を多く含むので、この高周波成分の情報をカットしてしまうと、暗電流ノイズ成分を正しく復号することができない。したがって、直交変換及び量子化によって暗電流ノイズ成分を圧縮する場合、この高周波成分の情報を力ットすることができず、圧縮率を高くすることができない、という問題があった。 [0006] この発明は、上記のような課題を解決するためになされたものであり、暗電流ノイズを削減する装置において、高周波成分の多い特性を保ちつつ、暗電流ノイズ成分を高圧縮して記憶させることができるノイズ除去装置を提供することを目的とする。

[0007] (第 2の課題）

暗電流ノイズ成分は、撮像した時点での撮像素子の温度や露光時間、および撮像素子の出力から画像信号をアナログ信号として取り出す際に乗ずるゲインなどによつて、大きく変化するため、予め撮像した暗電流ノイズ成分の大きさと、実際の撮像状態で撮像した画像成分に含まれる暗電流ノイズ成分の大きさは、異なったものになる。しかしながら、特許文献 1で開示された暗電流ノイズ除去装置は、圧縮，伸張の処理が入るものの、予め記憶してぉ、た暗電流ノイズ成分をそのまま画像信号力差し引くので、画像信号力も正しく暗電流ノイズ成分を除去できない、といった問題があつた。

[0008] この発明は、上記のような課題を解決するためになされたものであり、画像信号に含まれる暗電流ノイズ成分を精度良く除去することができるノイズ除去装置を提供することを目的とする。

[0009] (第 3の課題）

デジタルカメラや携帯電話機に用いられてヽる CCDや CMOSセンサなどの撮像素子から出力される信号は、画像信号の他に、暗電流成分による固定パターンノィズ、強烈な入射光によって発生するスミアノイズ、 CCDの製造時の欠陥による固定欠陥ノイズ、デバイスの熱的な揺らぎに起因するランダムノイズを含んでいる。したがつて、撮像素子の出力された信号力もこれらのノイズ成分を除去することが必要である。特開 2004— 172925号公報には、撮像素子にて撮像された信号から、先にスミアノイズを除去した後、暗電流による固定パターンノイズを除去する装置が開示されている。

[0010] ところで、このスミアノイズを回路によって除去する場合、スミアノイズの大きさを推定するために、撮像素子に入射された光量を推定する必要がある力この入射光量の推定は、撮像素子力も出力された信号をもとに行うことになる。したがって、スミアノィズの推定精度を考えた場合、推定に使用する信号には、ノイズを含んでいないほうがよい。

[0011] し力しながら、前述したとおり撮像素子から出力された信号には、スミアノイズ以外にも様々なノイズを含んでいる。なかでも、固定パターンノイズは、その原因となる暗電流が高い温度依存性を持っており、撮像素子の温度が 7度上昇すると、固体バターンノイズの大きさが 2倍になる。また、固定パターンノイズは露光時間に比例して増大する。したがって、撮像素子力も出力される信号は、撮像素子の温度や露光時間に応じて固定パターンノイズが大きく変化するため、特開 2004— 172925号公報に記載された装置では、スミアノイズを推定するときに、この固定パターンノイズの影響を大きく受け、スミアノイズの除去精度が悪くなる、といった問題があった。

[0012] この発明は、上記のような課題を解決するためになされたものであり、撮像素子から出力された信号に含まれる複数のノイズ成分を、それぞれ精度よく除去することが可能なノイズ除去装置を提供することを目的とする。

課題を解決するための手段

[0013] (第 1の手段）

第 1の手段における本発明のある態様は、ノイズ除去装置に関する。この装置は、光を遮断した状態で撮像素子によって撮像された第 1の画像信号に対し、前記撮像素子を構成する一部もしくは全部の画素の前記第 1の画像信号の大きさの分布を求め、この分布力も前記第 1の画像信号の取る大きさのピークを含む範囲を特定し、この範囲の中で閾値を設定するノイズ分布分析部と、光を遮断した状態で前記撮像素子によって撮像された第 2の画像信号に対し、前記閾値を基に量子化を行う量子化部と、前記量子化された第 2の画像信号を逆量子化する逆量子化部と、光を入射した状態で撮像素子にて撮像された第 3の画像信号から前記逆量子化された第 2の画像信号を減算する減算部と、を具備する。ここで、「光を遮断した状態」は、撮像素子の前面に設けられたシャッターを閉じる等して、撮像素子に光が届かないようにした状態を指し、完全に遮断されずに漏れた光が撮像素子に入射されるような「実質的に光を遮断した状態」をも含む。

[0014] 光を遮断した状態で撮像された第 1及び第 2の画像信号は、そのほとんどが撮像素子の暗電流によるノイズ成分である。したがって、この態様によれば、このノイズ成分を量子化することによりノイズ成分の情報量を削減することができ、ノイズ成分を記憶させるのに必要なメモリの容量を小さくすることができるとともに、量子化を行う際、ノィズ成分の大きさの分布を求め、その分布力ノイズ成分の大きさが集中している範囲を特定し、その範囲内において量子化圧縮を行うため、高周波成分が多いノイズの特性を保ちつつノイズ成分を高圧縮で記憶させておくことが可能である。

[0015] この態様において、前記第 1の画像信号と前記第 2の画像信号は、異なる時刻に撮像されたものであってもよい。これによれば、異なる時刻において撮像された 2つの画像信号を使用して、量子化閾値の設定と量子化を行うので、撮像した画像信号を一時的に記憶しておく必要がなぐその分だけメモリ容量を削減することができる。

[0016] この態様において、前記第 1の画像信号と前記第 2の画像信号は、同じ画像信号であり、前記ノイズ分布分析部は、前記第 1の画像信号を複数の領域に分割し、この分割した領域毎に前記第 1の画像信号の大きさの分布を求め、この分布から前記第 1の画像信号の取る大きさのピークを含む範囲を特定し、この範囲の中で閾値を設定してもよい。これによれば、撮像された画像信号であるノイズ成分を記憶するために、光を遮断した状態で画像信号を撮像する回数が 1回で済むため、暗電流ノイズ成分の量子化が簡単かつ短時間に行うことが可能である。

[0017] この態様において、前記第 1の画像信号及び前記第 2の画像信号を低周波成分と高周波成分とに分割する帯域分離部を更に備え、前記高周波成分に対して前記ノィズ分布分析部、前記量子化部及び前記逆量子化部を備えるとともに、前記低周波成分と前記逆量子化部で逆量子化された前記高周波成分とを加算した上で、これを前記減算部に入力してもよい。ノイズ成分は画素ごとに異なるため高周波成分が支配的であるが、デバイスの特性や電源によっては取得したノイズ情報に低周波成分が混入する場合がある。このような場合に、暗電流ノイズを低周波数成分と高周波数成分を分け、この高周波成分に対して本発明の圧縮処理を行うことで、より精度よくノィズ成分を復元することが可能である。

[0018] また、前記低周波成分を前記高周波成分とは独立した方法で圧縮する圧縮部と、前記圧縮された低周波成分を伸張する伸張部と、を更に備え、前記伸張された低周波成分と前記逆量子化部で逆量子化された前記高周波成分を加算した上で、これを前記減算部に入力してもよい。これによれば、低周波成分と高周波成分とで独立した方法で圧縮することにより、それぞれの成分の特性にあった方法で圧縮できるので、より精度よくノイズ成分を復元することが可能である。

[0019] 第 2の手段における本発明の別の態様は、ノイズ除去方法に関する。この方法は、光を遮断した状態で撮像素子によって撮像された画像信号に関して暗電流ノイズ成分の大きさの分布を求めるステップと、暗電流ノイズ成分の大きさのピークを含む範囲を特定するステップと、範囲の中で量子化のための閾値を設定するステップと、暗電流ノイズ成分を閾値に基づヽて量子化するステップと、量子化された暗電流ノイズ成分を逆量子化するステップと、実際に被写体を撮像したときの画像信号から、逆量子化された暗電流ノイズ成分を減算するステップと、を備える。

[0020] この方法によれば、暗電流ノイズ成分を量子化することにより暗電流ノイズ成分の情報量を削減することができ、暗電流ノイズ成分を記憶させるのに必要なメモリの容量を小さくすることができる。また、量子化を行う際、暗電流ノイズ成分の大きさの分布を求め、その分布から暗電流ノイズ成分の大きさが集中している範囲を特定し、その範囲内において量子化圧縮を行うため、高周波成分が多い暗電流ノイズの特性を保ちつつ暗電流ノイズ成分を高圧縮で記憶させておくことが可能である。

[0021] (第 2の手段）

第 2の手段における本発明のある態様は、ノイズ除去装置に関する。この装置は、光を遮断した状態で撮像素子によって得られた第 1の画像信号を圧縮する圧縮部と、前記圧縮された第 1の画像信号を伸張する伸張部と、前記圧縮部によって圧縮される前の第 1の画像信号の状態と、光を入射した状態で撮像素子によって得られた第 2の画像信号の状態との比較に基づいて、前記伸張された第 1の画像信号から前記第 2の画像信号に含まれるノイズ成分を予測するノイズ成分予測部と、前記第 2の画像信号から、前記予測されたノイズ成分を減算する減算部と、を備える。

[0022] ここで、「光を遮断した状態」は、撮像素子の前面に設けられたシャッターを閉じる等して、撮像素子に光が届力ないようにした状態を指し、完全に遮断されずに漏れた光が撮像素子に入射されるような「実質的に光を遮断した状態」をも含む。また、この第 1の画像信号が、これを撮像したときの暗電流に起因するノイズ成分とほぼ等しい [0023] この態様によれば、予め撮像した第 1の画像信号の状態と、第 2の画像信号の状態とを比較することにより、第 1の画像信号を撮像した条件によって得られる画像信号の大きさと、第 2の画像信号を撮像した条件によって得られる画像信号の大きさとの関係を判断することができるので、この関係に基づいて第 1の画像信号から、第 2の画像信号に含まれるノイズ成分を予測することができる。したがって、第 2の画像力もこの予測されたノイズ成分を減算することにより、ノイズ成分を精度良く除去することが可能となる。

[0024] この態様において、前記第 1の画像信号の状態は、前記圧縮される前の第 1の画像信号に含まれる遮光領域力出力された信号の大きさであり、前記第 2の画像信号の状態は、この第 2の画像信号に含まれる遮光領域力出力された信号の大きさであってもよい。また、前記ノイズ成分予測部は、前記第 2の画像信号に含まれる遮光領域力出力された信号の大きさと、前記圧縮される前の第 1の画像信号に含まれる遮光領域から出力された信号の大きさとの比率を求め、前記伸張された第 1の画像信号に対して前記比率を乗ずることによって、前記第 2の画像信号に含まれるノィズ成分を予測してもよい。

[0025] 第 2の画像信号に含まれる光が入射されない領域から出力された信号は、第 2の画像信号を撮像した条件にぉ、て発生した暗電流に起因するノイズ成分とほぼ等し、。また、第 1の画像信号に含まれる光が入射されない領域から出力された信号は、第 1の画像信号を撮像した条件で発生した暗電流に起因するノイズ成分とほぼ等しい。したがって、これらの信号の大きさとの比率を求め、この比率を第 1の画像信号に対して乗ずることにより、第 2の画像信号に含まれるノイズ成分を予測することができるので、第 2の画像カゝらこの予測されたノイズ成分を減算することにより、ノイズ成分を精度良く除去することが可能となる。

[0026] この態様において、前記第 2の画像信号に含まれるノイズ成分を予測するための前処理を、前記圧縮された第 1の画像信号に対して行う前処理部を更に備え、前記伸張部は、この前処理された第 1の画像信号を伸張してもよい。これによれば、第 2の画像信号に含まれるノイズ成分を予測するための前処理を、一度圧縮された第 1の画像信号を伸張した状態で行うのではなぐ圧縮された状態のまま行う。圧縮された画像信号は、伸張された画像信号と比べてデータ量が小さいため、演算量を削減することが可能となる。

[0027] この態様におヽて、前記前処理部は、前記圧縮された第 1の画像信号を低周波成分と高周波成分とに分離するものであり、前記伸張部は、前記低周波成分と高周波成分とで個別に伸張し、前記ノイズ成分予測部は、前記伸張された高周波成分から前記第 2の画像信号に含まれるノイズ成分の高周波成分を予測した上で、前記伸張された低周波成分と足し合わせることによって、前記第 2の画像信号に含まれるノィズ成分を予測してもよ、。一般に画像信号に含まれる暗電流ノイズは高周波成分を多く含み、温度や露光時間といった撮像条件に大きく影響される。一方、低周波成分は電源やデバイスの特性によるノイズが支配的で、これは温度や露光時間とヽった撮像条件の影響が比較的少ない。これによれば、撮像条件の影響の少ない低周波成分を除き、撮像条件の影響の大きい高周波成分に対して予測処理を行うため、より正確なノイズ成分の予測が可能となる。したがって、画像に含まれるノイズ成分を精度よく除去することができる。

[0028] この態様において、前記第 1の画像信号の状態は、前記圧縮される前の第 1の画像信号に含まれる遮光領域力出力された信号の高周波成分の大きさであり、前記第 2の画像信号の状態は、この第 2の画像信号に含まれる遮光領域から出力された信号の高周波成分の大きさであって、前記ノイズ成分予測部は、前記第 2の画像信号に含まれる遮光領域力出力された信号の高周波成分の大きさと、前記圧縮される前の第 1の画像信号に含まれる遮光領域力出力された信号の高周波成分の大きさとの比率を求め、前記伸張された第 1の画像信号の高周波成分に対して前記比率を乗ずることにより、前記第 2の画像信号に含まれるノイズ成分の高周波成分を予測してもよい。このように、第 1の画像信号及び第 2の画像信号それぞれに対し、光が入射されな!/、領域に属する一部若しくは全部の画素を用いて高周波成分同士を比較してその比率を算出し、更に第 1の画像信号の高周波成分に対して算出した比率を乗算することにより、第 2の画像信号に含まれるノイズ成分を精度よく予測することが可能となり、精度のよいノイズ除去を行うことが可能となる。 [0029] この態様において、前記圧縮部は、前記第 1の画像信号に対し、一部若しくは全部の画素が持つ前記第 1の画像信号の大きさの分布を求め、この分布力前記第 1の画像信号の取る大きさのピークを含む範囲を特定し、この範囲の中で量子化の閾値を設定するノイズ分布分析部と、前記第 1の画像信号に対して、前記閾値を基に量子化を行う量子化部と、を備えてもよい。これによれば、第 1の画像信号を記憶する際、第 1の画像信号が取る大きさのピークを含む範囲内で量子化圧縮を行うため、高周波成分が多いというノイズの特性を保ちつつ第 1の画像信号を圧縮して記憶させることが可能である。

[0030] (第 3の手段）

第 3の手段における本発明のある態様は、ノイズ除去装置に関する。この装置は、撮像素子から出力された画像信号から、撮像素子の暗電流に起因する固定パターンノイズを除去する固定パターンノイズ除去部と、前記固定パターンノイズが除去された画像信号から、入射光に起因するスミアノイズを除去するスミアノイズ除去部と、を備える。

[0031] この態様によれば、温度依存性を持ち、露光時間に比例して増大する固定パターンノイズ力スミアノイズを除去する前に画像信号から取り除かれる。したがって、この固定パターンノイズが除去された画像信号を用いてスミアノイズを推定でき、精度よくスミアノイズを除去することが可能である。

[0032] この態様において、固定パターンノイズ除去部として、上述の第 1の手段または第 2 の手段に記載したノイズ除去装置を利用してもよい。この態様によれば、効果的に固定パターンノイズを除去することができる。

[0033] この態様において、スミアノイズ除去部は、固定パターンノイズが除去された画像信号から、撮像素子の各受光ビットに蓄積される情報電荷が 1行ずつ垂直方向に転送される毎に各受光ビットから混入されるスミア電荷の量が順次累加算された値を減算することによりスミアノイズを除去してもよい。この態様によれば、効果的にスミアノイズを除去することができる。

[0034] この態様にぉ、て、スミアノイズが除去された画像信号から、撮像素子の製造時の欠陥に起因する固定欠陥ノイズを除去する固定欠陥ノイズ除去部を更に備えてもよい。この態様〖こよれば、固定欠陥ノイズを除去する前にスミアノイズが除去されるので、スミアノイズによって飽和した信号レベルに影響されることなぐ欠陥画素の判定を行うことが可能である。さらに、固定欠陥ノイズを除去する際、補間画像信号を、ノィズレベルの大きな固定パターンノイズゃスミアノイズが除去された画像信号から生成することができるので、より自然に固定欠陥ノイズを除去することが可能となる。

[0035] この態様において、固定欠陥ノイズ除去部は、撮像素子の画素毎に固定欠陥であるかどうかを判定し、固定欠陥と判定した場合は、周辺の画素力補間値を算出してその値に置換してもよい。この態様によれば、効果的に固定欠陥ノイズを除去することがでさる。

[0036] この態様において、前記固定欠陥ノイズが除去された画像信号から、撮像素子の熱的な揺らぎに起因するランダムノイズを除去するランダムノイズ除去部を更に備えてもよい。

[0037] この態様によれば、他のノイズ成分が除去され、各画素が持つ画像信号が真の値に近い状態になった段階で、周辺画素の特徴力推定補間する方法を用いてランダムノイズを除去するので、精度よくランダムノイズを除去することが可能である。

[0038] この態様において、画像信号に含まれるオフセット成分を除去するオフセット除去部を更に備え、オフセット除去部に入力される画像信号は、固定パターンノイズ除去部によって固定パターンノイズが除去されたものであってもよい。

[0039] この態様によれば、固定パターンノイズを除去した後にオフセット成分を算出するので、オフセット成分の算出に固定パターンノイズの影響を受けることがなぐ精度よくオフセット成分を除去することが可能となる。

[0040] オフセット除去部は、当該オフセット除去部に入力された画像信号のうち、撮像素子の遮光領域に属するの画素の画像信号を抽出し、この抽出した画像信号の大きさの平均値をオフセット成分として算出するオフセット算出部と、当該オフセット除去部に入力される画像信号からオフセット成分を減算する減算部と、を備えてもよい。この態様によれば、効果的にオフセット成分を除去することができる。

[0041] なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

発明の効果

[0042] ノイズ除去装置において、ノイズ除去性能を高めることができる。

図面の簡単な説明

[0043] [図 1]実施の形態 1に係るデジタルカメラ 100の構成図である。

[図 2]暗電流ノイズ成分の大きさの分布を表した図である。

[図 3]暗電流ノイズ成分が取る大きさのピークを含む範囲を特定し、その範囲内で量子化の閾値及び代表値を算出することを説明するための図である。

[図 4]実施の形態 2に係るデジタルカメラ 110の構成図である。

[図 5]暗電流ノイズ成分を複数ラインに分割することを説明するための図である。

[図 6]実施の形態 3に係るデジタルカメラ 120の構成図である。

[図 7]実施の形態 4に係るデジタルカメラ 1100の構成図である。

[図 8]暗電流ノイズ成分の大きさの分布を表した図である。

[図 9]暗電流ノイズ成分が取る大きさのピークを含む範囲を特定し、その範囲内で量子化の閾値及び代表値を算出することを説明するための図である。

[図 10]実施の形態 5に係るデジタルカメラ 2100の構成図である。

[図 11]実施の形態 5に係る固定パターンノイズ除去部 2010の構成図である。

[図 12]実施の形態 5に係るスミアノイズ除去部 2011の構成図である。

[図 13]実施の形態 5に係る固定欠陥ノイズ除去部 2012の構成図である。

[図 14]固定欠陥の判定方法を説明するための図である。

[図 15]実施の形態 6に係るデジタルカメラ 2110の構成図である。

[図 16]実施の形態 6に係るオフセット除去部 2014の構成図である。

符号の説明

[0044] 1、 7、 8、 1001 喑電流ノイズ除去装置、 2、 1002 レンズ、 3、 1003 シャツタ一、 4、 1004、 2002 撮像素子、 5、 1005 AZD変換部、 6、 1006、 2005 記録媒体、 10、 20、 1010 ノイズ分布分析部、 12、 1012 量子化部、 14、 30 、 1014、 2020、 2051 メモリ、 16 逆量子ィ匕部、 18、 1030、 2021、 2030、 20 52 減算部、 22、 2032、 2040 ラインメモリ、 24 帯域分離部、 28 圧縮部、 32 伸張部、 34、 1028、 2031 カロ算部、 100、 110、 120、 1100、 2100、 211 0 デジタルカメラ、 1016 低周波 ·高周波分離部、 1018 第 1逆量子化部、 10 20 第 2逆量子化部、 1022 高周波抽出部、 1024 乗算係数設定部、 1026、 2034 乗算部、 2001、 2006 ノイズ除去装置、 2003 アナログフロントエンド（ AFE)、 2004 画像圧縮装置、 2010 固定パターンノイズ除去部、 2011 スミァノイズ除去部、 2012 固定欠陥ノイズ除去部、 2013 ランダムノイズ除去部、 2014 オフセット除去部、 2033 係数発生部、 2041 固定欠陥判定部、 2042 補間値算出部、 2043 補間値置換部、 2050 オフセット算出部。

発明を実施するための最良の形態

[0045] (第 1のグループ）

(実施の形態 1)

図 1は、本発明の好適な実施の形態 1に係る暗電流ノイズ除去装置 1を具備したデジタルカメラ 100の構成を示した図である。この構成は、ハードウェア的には、任意のコンピュータの CPU、メモリ、その他の LSIで実現でき、ソフトウェア的にはメモリに口ードされた符号化機能のあるプログラムなどによって実現される力ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの糸且合せによっていろいろな形で実現できることは、当業者には理解されるところである。

[0046] デジタルカメラ 100は、暗電流ノイズ除去装置 1のほか、レンズ 2、シャッター 3、撮像素子 4、 AZD変換部 5と記録媒体 6を備えている。被写体に反射された光はレンズ 2、シャッター 3を通して撮像素子 4に入射される。撮像素子 4は、入射された光を電気信号に変換し、それを画像信号として出力する。この撮像素子 4の一例として、 CCDや CMOSセンサなどがある。撮像素子 4から出力された画像信号は、 AZD変換部 5にて例えば 10ビットのデジタル信号に変換された後、暗電流ノイズ除去装置 1 によって暗電流ノイズが除去されて、記録媒体 6に記録される。

[0047] 暗電流ノイズ除去装置 1は、あら力じめシャッター 3を閉じた状態で撮像素子 4によつて撮像され、 AZD変換部 5によってデジタル信号に変換された画像信号を、喑電流ノイズ成分として記憶しておき、実際の撮像時に撮像された画像信号からこの喑電流ノイズ成分を差し引いて、暗電流ノイズを除去する。この暗電流ノイズ成分を記憶する際、画像を構成する全画素の暗電流ノイズ成分の大きさの分布を求め、この分布から暗電流ノイズ成分のピークを含む範囲を調べ、その範囲内で量子化圧縮を行う。なお、ここで言う暗電流ノイズ成分の大きさは、 AZD変換部 5によって得られたデジタル信号で表される値のことである。

[0048] 暗電流ノイズ除去装置 1の構成を以下に説明する。暗電流ノイズ除去装置 1は、ノィズ分布分析部 10、量子化部 12、メモリ 14、逆量子化部 16、減算部 18を備えている。ノイズ分布分析部 10は、シャッター 3を閉じて撮像したときに得られる暗電流ノィズ成分において、全画素において、その取り得る値毎にそれぞれ何画素出現したかを全画素に対してカウントし、その分布を求める。

[0049] 例えば、 10画素で構成される画像の暗電流ノイズ成分が、各画素毎に以下の値を持っていたとする。

[0050] { 1, 3, 2, 5, 3, 3, 4, 5, 3, 2}

暗電流ノイズ成分が 0〜7の値を持つことができる場合、ノイズ分布分析部 10は、それぞれの値の出現画素数を次のように求める。

[0051] 値 0:0画素、値 1 : 1画素、値 2 : 2画素、値 3 :4画素、値 4: 1画素、

値 5： 2画素、値 6： 0画素、値 7： 0画素。

[0052] 実際に撮像素子 4から得られる画像の画素数は数十万力も数百万画素である。また、暗電流ノイズ成分が取り得る値は、 AZD変換部 5の分解能によって決まる。例えば、 AZD変換部 5が 10ビットの分解能を持っていた場合、暗電流ノイズ成分が取り得る値は。〜 1023である。この場合、ノイズ分布分析部 10は、撮像素子 4によって得られた全画素の暗電流ノイズ成分に対して、その取り得る値 0〜1023それぞれの出現画素数を求めることになる。その結果、図 2のような分布を得ることができる。

[0053] ノイズ分布分析部 10は、暗電流ノイズ成分の分布を求めた後、図 3に示すように暗電流ノイズ成分が集中している範囲 A〜Bを特定する。例えば、この範囲の下限 Aは、分布を求めるときに使用した画素の数を Xとしたとき、画素値の小さいほうから数えて xZ512画素目の画素力もつ暗電流ノイズ成分の値とする。また、上限 Bは、画素値の大きいほうから数えて xZ512画素目の画素がもつ暗電流ノイズ成分の値とする。なお、この除数は 512に限らず任意の値であってよい。また、下限 Aと上限 Bで異なる除数を用いてもよい。さらに、除数を可変として外部より設定できるようにしてもよい

[0054] また、この範囲の下限 Aと上限 Bを求める別の方法として、暗電流ノイズ成分の分布がピークの位置を特定し、下限 Aからこのピークまでに存在する画素の数と、上限 B 力このピークまでに存在する画素の数力ある一定の画素数となるように下限 Aと上限 Bを定めてもよい。

[0055] ノイズ分布分析部 10は、範囲 A〜Bを特定した上で、この範囲内に閾値を設けて量子化圧縮するように、量子化の閾値と代表値を算出する。例えば、図 3のように喑電流ノイズ成分を N段階に量子化する場合を考える。そして、暗電流ノイズ成分の値のゼロの方から、量子化レべノレ 0、量子化レべノレ 1、量子化レべノレ 2とし、喑電流ノイズ成分の値が一番大きい箇所を量子化レベル (N—1)とする。また、これらをまとめて量子化レベル n (n=0、 1、 2、 · · ·、 N— 1)と表記する。ノイズ分布分析部 10は、量子化レベル nと量子化レベル（n+ 1)との間の閾値 THn及び量子化レベル nの代表値 Vnを以下の式によって求める。これらの値を量子化部 12へ送る。

[0056] THn=DA+ (2n+ l) · (DB-DA) / (2- (N—l) ) · · · (1)

Vn=DA+ 2n- (DB-DA) / (2- (N—l) ) · · · (2)

ここで、 DA、 DBは下限 A及び上限 Bにおける暗電流ノイズ成分の値を表す。これらの値のうち、閾値 THnは量子化部 12に送られる一方、代表値 Vnは逆量子化部 16 に送られる。

[0057] 量子化部 12は、シャッター 3を閉じて撮像したときに得られる暗電流ノイズ成分に対して、ノイズ分布分析部 10で求められた量子化の閾値を参照しながら量子化を行う。例えば、暗電流ノイズ成分の大きさを aとした時、式（1)によって求められた閾値 THn を参照しながら以下に説明する方法によって量子化を行い、量子化後データ OCを得る。

[0058] もし、暗電流ノイズ成分 aが閾値 THO未満であった場合、量子化データ αは 0とする。また、暗電流ノイズ成分 aが閾値 ΤΗ (Ν— 2)以上であった場合、量子化データ α は (N—l)とする。そして、暗電流ノイズ成分 aが閾値 TH (n—l)以上 THn未満であつた場合、量子化データひは nとする。なお、ノイズ分布分析部 10と量子化部 12が、本発明の「ノイズ成分の量子化を行う手段」の一例である。

[0059] この方法により、量子化部 12で量子化されたデータ αは、メモリ 14に記憶される。

この際、メモリ 14に必要な容量は、暗電流ノイズ成分を量子化しな力つた場合と比較して少なくてよい。例えば、 Νを 16とした場合、量子化データ aは 0〜15の値を取る。すなわち、 1画素がもともと 10ビットで表されていた暗電流ノイズ成分は、量子化後に 4ビットで表現することが可能である。したがって、仮にメモリに 100万画素の暗電流ノィズ成分をメモリ 14に記憶する場合、量子化しなカゝつた場合は、 1000万ビットの容量が必要であるのに対し、量子化した場合は 400万ビットあればよい。

[0060] 逆量子化部 16は、実際の撮像時にシャッター 3が開いた状態で撮像された画像信号が AZD変換部 5から出力されるタイミングに合わせて、メモリ 14から量子化された暗電流ノイズ成分を読み出し、ノイズ分布分析部 10から入力された代表値を参照しながら逆量子化して復号する。逆量子化方法は、メモリ 14から読み出した量子化データ aをそのまま量子化レベル nに読み替えて（すなわち n= a )、この量子化レベル nに対応する代表値 Vnを減算部 18に出力する。減算部 18は、実際の撮像時に撮像された画像信号力ゝら逆量子化部 16にて逆量子化された暗電流ノイズ成分を差し引く。

[0061] 斯カる構成に基づき、図 1に示したデジタルカメラの動作を説明する。まず、シャツター 3を閉じた状態で撮像素子 4は画像を撮像する。この時、撮像素子 4には光が入射され

て!、な、ため、撮像素子 4から出力される信号は暗電流ノイズ成分である。

[0062] この暗電流ノイズ成分は AZD変換部 5にてデジタル信号に変換された後、ノイズ分布分析部 10に入力される。ノイズ分布分析部 10では、全画素の暗電流ノイズ成分力その大きさの分布を求め、この分布から暗電流ノイズ成分のピークを含む範囲を調べて、その範囲内で量子化の閾値 THnと代表値 Vnを算出しておく。

[0063] 次に、再度シャッター 3を閉じた状態で撮像素子 4にて暗電流ノイズ成分を撮像する。この暗電流ノイズ成分は AZD変換部 5でデジタル信号に変換された後、今度は量子化部 12に入力される。量子化部 12は、ノイズ分布分析部 10によって求められた閾値を基に、暗電流ノイズ成分を量子化し、メモリ 14はこの量子化された暗電流ノィズ成分を記憶する。

[0064] 以上までの動作が、実際に被写体を撮像する前の段階までの動作である。ここまでの動作、すなわち、メモリ 14に量子化された暗電流ノイズ成分を記憶させるのは、毎回の撮像時に行ってもよいし、デジタルカメラの電源投入時に行ってもよい。毎回の撮像時に行う場合には、図示しない撮像時検出部を設け、撮像時を検出したら喑電流ノイズ除去装置 1に暗電流ノイズ成分を量子化して記憶するよう指示する構成とすればよい。暗電流ノイズは、撮像素子周辺の温度環境に影響されやすいため、撮像直前に記憶する場合に最も精度よく暗電流ノイズ成分の値を取得することができる。電源投入時に行う場合には、図示しない電源投入時検出部を設け、電源投入を検知したら暗電流ノイズ除去装置 1に暗電流ノイズ成分を量子化して記憶するように指示する構成とすればよい。

[0065] また、メモリ 14に量子化された暗電流ノイズ成分を記憶させるのは、デジタルカメラの製造時に行っておいてもよい。また、デジタルカメラに図示しないタイマーを設け、一定期間ごとに暗電流ノイズ除去装置 1に暗電流ノイズ成分を量子化して記憶するように指示する構成にしてもょ、。

[0066] 次に、実際に被写体を撮像する場合の動作について説明する。今度はシャッター 3 を開ヽた状態で撮像素子 4にて画像を撮像する。撮像素子 4から出力された画像信号は、 AZD変換部 5でデジタル信号に変換されたあと、減算部 18に送られる。一方、逆量子化部 16は、 AZD変換部 5から画像信号が出力されるタイミングに合わせて、メモリ 14に記憶された量子化された暗電流ノイズ成分を読み出すとともに、ノイズ分布分析部 10で算出された代表値を参照しながら、暗電流ノイズ成分を逆量子化する。この逆量子化された暗電流ノイズ成分は減算部 18に入力され、減算部 18によって画像信号力ゝら逆量子化された暗電流ノイズ成分を差し引く。これにより、画像信号から喑電流ノイズ成分を除去することができる。そして、暗電流ノイズ成分が除去された画像信号が記録媒体 6に記録される。

[0067] 以上、本発明に好適な実施の形態 1によれば、以下の作用効果を有する。

[0068] (1)暗電流ノイズ成分を量子化することにより暗電流ノイズ成分の情報量を大幅に削減することができ、暗電流ノイズ成分を記憶させるのに必要なメモリの容量を小さくすることができる。

[0069] (2)量子化を行う際、暗電流ノイズ成分の大きさの分布を求め、その分布力喑電流ノイズ成分の取る大きさのピークを含む範囲を特定し、その範囲内において量子化圧縮を行うため、高周波成分が多いノイズの特性を保ちながら暗電流ノイズ成分を圧縮することが可能である。

[0070] (3)従来例のように暗電流ノイズ成分をブロックに分割し直交変換した上で量子化した場合、ブロック毎に量子化のパラメータが異なるため、これを逆量子化したときに、ブロック境界上にノイズが発生する。これに対し、本実施の形態では、暗電流ノイズ成分全体にわたって同じ閾値を用いて量子化を行うため、量子化した暗電流ノイズ成分を逆量子化した場合に、上記のようなノイズは発生しな、。

[0071] (4)異なる時刻において撮像された 2つの暗電流ノイズ成分を使用して、量子化閾値の設定と量子化を行うので、撮像した暗電流ノイズ成分を一時的に記憶しておく必要がなぐメモリ容量を削減することができる。つまり、最初に取得した暗電流ノイズ成分を用いて量子化閾値の設定を行うが、その量子化閾値設定の瞬間だけ暗電流ノィズ成分を保持していればよぐその後は暗電流ノイズ成分のデータを消去してもよい。また、次に取得した暗電流ノイズ成分を用いて量子化を行うが、その量子化の瞬間だけ暗電流ノイズ成分を保持してヽればよく、その後は暗電流ノイズ成分のデータを消去してもよい。量子化閾値設定処理と量子化処理との間に暗電流ノイズ成分を保持しておく必要がなくなるので、メモリ容量を削減することができる。

[0072] (実施の形態 2)

図 4は、本発明の好適な実施の形態 2に係る暗電流ノイズ除去装置 7を具備したデジタルカメラ 110の構成を示した図である。このデジタルカメラ 110は、実施の形態 1 に係るデジタルカメラ 100のノイズ分布分析部 10とは機能の異なるノイズ分布分析部 20を配置し、さらにラインメモリ 22を付加した構成である。実施の形態 1と同じ構成については同符号を付し、説明を省略する。

[0073] 実施の形態 2におけるノイズ分布分析部 20が、実施の形態 1におけるノイズ分布分析部 10と異なる点は、暗電流ノイズ成分の大きさの分布を全画素にわたって行うのではなぐ暗電流ノイズ成分を図 5のように複数ライン毎の領域に分割し、その分割された範囲内で暗電流ノイズ成分の大きさの分布を求め、量子化の閾値と代表値を算出する点にある。また、ノイズ分布分析部 20は、量子化の閾値及び代表値を算出した複数ラインの暗電流ノイズ成分を、ラインメモリ 22に記憶させておく。

[0074] 斯カる構成に基づき、図 4に示したデジタルカメラの動作を説明する。まず、シャツター 3を閉じた状態で撮像素子 4は暗電流ノイズ成分を撮像する。この暗電流ノイズ成分は AZD変換部 5にてデジタル信号に変換された後、ノイズ分布分析部 20に入力される。ノイズ分布分析部 20は、最初の複数ラインに在る画素の暗電流ノイズ成分から、その大きさの分布を求め、この分布に基づき量子化の閾値と代表値を算出しておく。また、ノイズ分布分析部 20は、分布を求め、量子化の閾値と代表値を算出した複数ラインの暗電流ノイズ成分をラインメモリ 22に記憶させる。

[0075] 次に、量子化部 12は、ラインメモリ 22に記憶された暗電流ノイズ成分を読み出し、ノイズ分布分析部 20によって算出された閾値を参照しながら量子化を行って、この量子化された暗電流ノイズ成分をメモリ 14に記憶する。この時、ノイズ分布分析部 20 は、次の複数ラインに存在する画素に対して暗電流ノイズ成分の大きさの分布を求め、この分布から量子化の閾値と代表値を算出しておくとともに、この複数ラインの暗電流ノイズ成分をラインメモリ 22に上書きする。以後、ノイズ分布分析部 20と量子化部 12、及びラインメモリ 22が複数ライン毎に上記動作を繰り返すことにより、暗電流ノィズ成分の全画素に対して、量子化圧縮を行ったうえで、メモリ 14に量子化された暗電流ノイズ成分を記憶させておくことが可能である。

[0076] 以上までの動作が、実際に被写体を撮像する前の段階までの動作である。実際に被写体を撮像する場合の動作にっ、ては、実施の形態 1に記載した動作と同一であるので省略する。

[0077] 以上、本実施の形態 2によれば、高周波成分の多い特性を保ちつつ、暗電流ノィズ成分を高圧縮して記憶させるという作用効果に加えて、以下の作用効果を享受することができる。すなわち、本実施の形態 2では、暗電流ノイズ成分を複数の領域に分け、領域毎に暗電流ノイズ成分の大きさの分布を求め、量子化の閾値と代表値を算出するとともに、この閾値と代表値を算出した領域の暗電流ノイズ成分をラインメモリにー且格納し、このラインメモリに格納された暗電流ノイズ成分に対して量子化を行うので、暗電流ノイズ成分を撮像する回数が 1回で済み、暗電流ノイズ成分の量子化が簡単かつ短時間に行うことが可能である。

[0078] (実施の形態 3)

図 6は、本発明の好適な実施の形態 3に係る暗電流ノイズ除去装置 8を具備したデジタルカメラ 120の構成を示した図である。このデジタルカメラ 120は、実施の形態 1 に係るデジタルカメラ 100に帯域分離部 24、圧縮部 28、メモリ 30、伸張部 32及び加算部 34を付加した構成である。実施の形態 1と同じ構成については同符号を付し、説明を省略する。

[0079] 帯域分離部 24は、暗電流ノイズ成分を低周波成分と高周波成分とに分離する。圧縮部 28は、帯域分離部 24で分離された低周波成分に対して圧縮処理を行う。圧縮方法としては、圧縮対象の画素と隣接する画素とで低周波成分同士の差分を取る方法や、所定の量子化係数で低周波成分を除算して量子化する方法などがある。もしくは、所定の画素間隔で低周波成分を抽出し、それ以外の画素の低周波成分を破棄してもよぐこれらの方法の組み合わせであってもよい。メモリ 30は、圧縮部 28で圧縮された低周波成分を記憶する。

[0080] 伸張部 32は、メモリ 30に記憶された圧縮された低周波成分を読み出し、伸張処理を行う。例えば、低周波成分が圧縮部 28にて圧縮対象の隣接する画素と低周波成分同士の差分を取る方法によって圧縮された場合、メモリ 30に記憶された値と隣接する画素の低周波成分を加算することにより伸張処理を行う。また、所定の量子化係数で除算して量子化する方法によって圧縮された場合は、メモリ 30に記憶された値に量子化係数を乗算することにより伸張処理を行う。また、所定の画素間隔で低周波成分を抽出し、それ以外の画素の低周波成分を破棄する方法によって圧縮された場合は、メモリ 30に記憶された画素の低周波成分をフィルタ処理することにより、すべての画素の低周波成分を求めて、伸張処理を行う。

[0081] なお、ノイズ分布分析部 10、量子化部 12、メモリ 14及び逆量子化部 16は、実施の形態 1に係るデジタルカメラに具備されたものと同じ機能を有するが、これらは帯域分離部 24にて分離された暗電流ノイズの高周波成分に対して働く。 [0082] 加算部 34は、伸張部 32にて伸張された暗電流ノイズの低周波成分と、逆量子化部 16で逆量子化された暗電流ノイズの高周波成分を加算して、暗電流ノイズを復号する。

[0083] 斯カる構成に基づき、図 6に示したデジタルカメラの動作を説明する。まず、シャツター 3を閉じた状態で撮像された暗電流ノイズ成分は、 AZD変換部 5でデジタル信号に変換された後、帯域分離部 24にて低周波成分と高周波成分とに分離される。そして、ノイズ分布分析部 10は、全画素にわたって高周波成分の大きさの分布を求め、この分布に基づき高周波成分に対する量子化の閾値と代表値を算出する。

[0084] 次に、再びシャッター 3を閉じた状態で撮像素子 4にて暗電流ノイズ成分が撮像され、 AZD変換部 5でデジタル信号に変換された後、帯域分離部 24にて低周波成分と高周波成分とに分離される。そして、低周波成分は圧縮部 28で圧縮され、メモリ 30 にこの圧縮された低周波成分が記憶される。また、高周波成分は量子化部 12に入力され、ノイズ分布分析部 10によって求められた閾値を基に量子化されて、メモリ 14 にこの量子化された高周波成分が記憶される。

[0085] 以上までの動作が、実際に被写体を撮像する前の段階までの動作である。次に、実際に被写体を撮像する場合の動作について説明する。今度はシャッター 3を開いた状態で撮像素子 4にて画像を撮像する。撮像素子 4から出力された画像信号は、 AZD変換部 5でデジタル信号に変換されたあと、減算部 18に送られる。一方、伸張部 32は、 AZD変換部 5から画像信号が出力されるタイミングに合わせて、メモリ 30 に記憶された量子化された暗電流ノイズの低周波成分を読み出すとともに、暗電流ノィズの低周波成分を伸張する。

[0086] 同様に、逆量子化部 16は、 AZD変換部 5から画像信号が出力されるタイミング〖こ合わせて、メモリ 14に記憶された量子化された暗電流ノイズの高周波成分を読み出すとともに、ノイズ分布分析部 10で算出された代表値を参照しながら、暗電流ノイズの高周波成分を逆量子化する。そして、これら逆量子化された低周波成分及び高周波成分を加算部 34で加算することにより暗電流ノイズ成分を復号する。そして、この暗電流ノイズ成分が減算部 18に入力され、減算部 18によって画像信号力逆量子ィ匕された暗電流ノイズ成分を差し引くことにより、画像信号から暗電流ノイズ成分を除去する。

[0087] 暗電流ノイズ自身は画素ごとに異なるため高周波成分が支配的であり、デバイスの特性や電源によっては取得したノイズ情報に低周波成分が混入する場合がある。本実施の形態 3によれば、以下の作用効果を享受することができる。

[0088] (1)暗電流ノイズを低周波成分と高周波成分とに分離し、暗電流ノイズにおいて支配的な高周波成分に対して、その大きさの分布を求め、その分布から暗電流ノイズの高周波成分の取る大きさのピークを含む範囲を特定し、その範囲内において量子化圧縮を行うことにより、より精度よく暗電流ノイズを復元することが可能である。

[0089] (2)低周波成分及び高周波成分それぞれに対して独立した圧縮方法を適用するので、それぞれの成分の特性に合わせて圧縮することができ、より精度よく暗電流ノィズを復元することが可能である。

[0090] 以上、本発明を実施の形態 1〜3をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せに、ろ、ろな変形が可能なこと、またそうした変形も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を以下に示す。

[0091] 上記の実施の形態では、デジタルカメラの例を示した力それに限らず、撮像素子を備えたものであれば、本発明の実施の形態に係る暗電流ノイズ除去装置を備えることができる。

[0092] 上記の実施の形態 2では、ラインメモリを設けて暗電流ノイズ成分を複数の領域に分割し、この分割した範囲で量子化の閾値を決定し、量子化を行う例を示したが、これに上記実施の形態 1に記載したように、異なる時間に撮像した 2つの暗電流ノイズ成分のうち、一方の暗電流ノイズ成分から量子化の閾値を決定し、もう一方の暗電流ノイズ成分に対して量子化を施す処理を加えてもよぐどちらの量子化方法を使用するかを選択可能にしてもよい。

[0093] これらの量子化方法を選択可能とすることにより、暗電流ノイズ除去装置を搭載するシステムの性能や、撮影する画像の画素数、もしくは使用者が設定した撮影モードなどに応じて、最適な量子化方法を選ぶことが可能となる。

[0094] 上記実施の形態 3において、ラインメモリを上記実施の形態 2のようにノイズ分布分析部 10と量子化部 12との間に付加し、これらのラインメモリにノイズ分布分析部 10及び 26にて使用された複数ラインの低周波成分及び高周波成分を記憶させてもよい。これにより、上記実施の形態 3においても、暗電流ノイズ成分を複数ラインに分割し、この分割された範囲で暗電流ノイズ成分の量子化閾値の設定及び量子化を行うことができ、したがって上記実施の形態 2と同様の作用効果を享受することができる。

[0095] (第 2のグループ）

(実施の形態 4)

図 7は、本発明の好適な実施の形態 4に係る暗電流ノイズ除去装置 1001を具備したデジタルカメラ 1100の構成を示した図である。この構成は、ハードウェア的には、任意のコンピュータの CPU、メモリ、その他の LSIで実現でき、ソフトウェア的にはメモリにロードされた符号化機能のあるプログラムなどによって実現される力ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

[0096] デジタルカメラ 1100は、喑電流ノイズ除去装置 1001のほ力、レンズ 1002、シャツター 1003、撮像素子 1004、 AZD変換部 1005と記録媒体 1006を備えている。被写体に反射された光はレンズ 1002、シャッター 1003を通して撮像素子 1004に入射される。撮像素子 1004は、入射された光を電気信号に変換し、それを画像信号として出力する。この撮像素子 1004の一例として、 CCDや CMOSセンサなどがある。撮像素子 1004から出力された画像信号は、 AZD変換部 1005にて例えば 10ビットのデジタル信号に変換される。このデジタル信号で表される値が、本発明の「画像信号の大きさ」に相当する。また、デジタル信号に変換された画像信号を低周波成分と高周波成分とに分離された場合、デジタル信号で表されるそれぞれの成分の値も「画像信号の大きさ」に含まれる。

[0097] AZD変換部にてデジタル信号に変換された画像信号は、暗電流ノイズ除去装置 1001によって暗電流ノイズが除去されて、記録媒体 1006に記録される。

[0098] 暗電流ノイズ除去装置 1001は、あら力じめシャッター 1003を閉じた状態で撮像素子 1004によって撮像され、 A/D変換部 1005によってデジタル信号に変換された画像信号を、暗電流ノイズ成分として記憶しておき、実際の撮像時に撮像された画像信号力この暗電流ノイズ成分を差し引いて、暗電流ノイズを除去する。この暗電流ノイズ成分を記憶する際、画像を構成する全画素の暗電流ノイズ成分の大きさの分布を求め、この分布から暗電流ノイズ成分のピークを含む範囲を調べ、その範囲内で量子化圧縮を行う。なお、ここで言う暗電流ノイズ成分の大きさは、 AZD変換部 1 005によって得られたデジタル信号で表される値のことである。

[0099] また、暗電流ノイズ除去装置 1001は、暗電流ノイズ成分を画像信号から差し引く際に、予め暗電流ノイズ成分を撮像した時の状態と、画像信号を撮像したときの状態とを比較し、この比較に基づいて予め撮像した暗電流ノイズ成分から、画像信号に含まれる暗電流ノイズ成分を予測する。例えば、撮像素子 1004には常に光の入射されない領域が存在するため、その領域から出力される画像信号は、その画素における暗電流ノイズ成分と見なすことが出来る。そこで、光を入射した状態で撮像した画像信号のうち、常に光の入射されない領域 (遮光領域）に属する画素から出力された画像信号と、予め撮像した暗電流ノイズ成分のうち、同じ画素から出力された暗電流ノィズ成分との比率を求め、この比率を予め撮像した暗電流ノイズ成分全体に乗ずることにより、画像信号に含まれる暗電流ノイズ成分を精度良く予測している。

[0100] 更に暗電流ノイズ除去装置 1001は、予め撮像した暗電流ノイズ及び遮光領域から出力された画像信号を低周波成分と高周波成分とに分離し、これらの高周波成分同士を比較して、予め撮像した暗電流高周波成分を用いて、前述の予測を行うようにしている。これは、暗電流ノイズが各画素毎にばらついて発生するため高周波成分を多く含み、かつ場所による影響を受けないものである一方、低周波成分には電源やデバイスの特性など場所による影響を受けるノイズが支配的となるため、低周波成分を含めて予測処理を行うと、正しく暗電流ノイズを予測することができな、ためである

[0101] 暗電流ノイズ除去装置 1001の構成を以下に説明する。暗電流ノイズ除去装置 10 01は、ノイズ分布分析部 1010、量子化部 1012、メモリ 1014、第 1逆量子化部 101 8、第 2逆量子化部 1020、高周波抽出部 1022、乗算係数設定部 1024、乗算部 10 26、加算部 1028及び減算部 1030を備えている。ノイズ分布分析部 1010は、シャツター 1003を閉じて撮像したときに得られる暗電流ノイズ成分について、その取り得る値毎にそれぞれ何画素出現したかを全画素に対してカウントし、その分布を求める。

[0102] 例えば、 10画素で構成される画像の暗電流ノイズ成分が、各画素毎に以下の値を持っていたとする。

[0103] { 1, 3, 2, 5, 3, 3, 4, 5, 3, 2}

暗電流ノイズ成分が 0〜7の値を持つことができる場合、ノイズ分布分析部 1010は、それぞれの値の出現画素数を次のように求める。

[0104] 値 0 : 0画素、値 1 : 1画素、値 2 : 2画素、値 3 :4画素、値 4 : 1画素、

値 5： 2画素、値 6： 0画素、値 7： 0画素。

[0105] 実際に撮像素子 1004から得られる画像の画素数は数十万力も数百万画素である。また、暗電流ノイズ成分が取り得る値は、 AZD変換部 1005の分解能によって決まる。例えば、 AZD変換部 1005が 10ビットの分解能を持っていた場合、暗電流ノイズ成分が取り得る値は 0〜1023である。この場合、ノイズ分布分析部 1010は、撮像素子 1004によって得られた全画素の暗電流ノイズ成分に対して、その取り得る値 0〜1 023それぞれの出現画素数を求めることになる。その結果、図 8のような分布を得ることがでさる。

[0106] ノイズ分布分析部 1010は、暗電流ノイズ成分の分布を求めた後、図 9に示すよう〖こ暗電流ノイズ成分のピークを含む範囲 A〜Bを特定する。例えば、この範囲の下限 A は、分布を求めるときに使用した画素の数を Xとしたとき、画素値の小さいほうから数えて xZ512画素目の画素力もつ暗電流ノイズ成分の値とする。また、上限 Bは、画素値の大きいほうから数えて xZ512画素目の画素がもつ暗電流ノイズ成分の値とする。なお、この除数は 512に限らず任意の値であってよい。また、下限 Aと上限 Bで異なる除数を用いてもよい。さらに、除数を可変として外部より設定できるようにしてもよい。

[0107] また、この範囲の下限 Aと上限 Bを求める別の方法として、暗電流ノイズ成分の分布がピークの位置を特定し、下限 Aからこのピークまでに存在する画素の数と、上限 B 力このピークまでに存在する画素の数力ある一定の画素数となるように下限 Aと上限 Bを定めてもよい。 [0108] ノイズ分布分析部 1010は、範囲 A〜Bを特定した上で、この範囲内に閾値を設けて量子化圧縮するように、量子化の閾値と代表値を算出する。例えば、図 9のように暗電流ノイズ成分を N段階に量子化する場合を考える。そして、暗電流ノイズ成分の値のゼロの方から、量子化レべノレ 0、量子化レべノレ 1、量子化レべノレ 2とし、喑電流ノィズ成分の値が一番大きい箇所を量子化レベル (N—1)とする。また、これらをまとめて量子化レベル n (n= 0、 1、 2、 · · ·、 N— 1)と表記する。ノイズ分布分析部 1010は、量子化レべノレ nと量子化レべノレ（n+ 1)との間の閾値 THn及び量子化レべノレ nの代表値 Vnを以下の式によって求める。

[0109] THn= DA+ (2n+ l) · (DB - DA) / (2 - (N— 1) ) · · · (3)

Vn= DA+ 2n- (DB - DA) / (2 - (N—l) ) · · · (4)

ここで、 DA、 DBは下限 A及び上限 Bにおける暗電流ノイズ成分の値を表す。閾値 T Hnは量子化部 1012に送られる。また、閾値 THn、代表値 Vn及び下限 Aにおける暗電流ノイズ成分 DAは第 1逆量子化部 1018及び第 2逆量子化部 1020に送られる

[0110] 量子化部 1012は、シャッター 1003を閉じて撮像したときに得られる暗電流ノイズ成分に対して、ノイズ分布分析部 1010で求められた量子化の閾値を参照しながら量子化を行う。例えば、暗電流ノイズ成分の大きさを aとした時、式（3)によって求められた閾値 THnを参照しながら以下に説明する方法によって量子化を行い、量子化後データ aを得る。

[0111] もし、暗電流ノイズ成分 aが閾値 TH0未満であった場合、量子化データ aは 0とする。また、暗電流ノイズ成分 aが閾値 TH (N— 2)以上であった場合、量子化データ α は (N—l)とする。そして、暗電流ノイズ成分 aが閾値 TH (n—l)以上 THn未満であつた場合、量子化データ exは nとする。

[0112] この方法により、量子化部 1012で量子化されたデータ αは、メモリ 1014に記憶される。この際、メモリ 1014に必要な容量は、暗電流ノイズ成分を量子化しな力つた場合と比較して少なくてよい。例えば、 Νを 16とした場合、量子化データ αは 0〜 15の値を取る。すなわち、 1画素がもともと 10ビットで表されていた暗電流ノイズ成分は、量子化後に 4ビットで表現することが可能である。したがって、仮にメモリに 100万画素の暗電流ノイズ成分をメモリ 1014に記憶する場合、量子化しなかった場合は、 10 00万ビットの容量が必要であるのに対し、量子化した場合は 400万ビットあればよい

[0113] 低周波'高周波分離部 1016は、実際の撮像時にシャッター 1003が開いた状態で撮像された画像信号が AZD変換部 1005から出力されるタイミングに合わせて、メモリ 1014から量子化された暗電流ノイズ成分を読み出し、これを低周波成分と高周波成分とに分離する。例えば、低周波 ·高周波分離部 1016は、ある画素 Xの量子化された喑電流ノイズ成分 Qを次式に従って低周波成分 Lと高周波成分 Hとに分離する。

[0114] L =min2 (Q , Q , Q , · · · , Q ) · · · (5)

X X x+ 1 x+2 x+ 15

H =Q L · · · (6)

ここで Q 〜Q は、画素 Xの左横に隣接して存在する 15画素それぞれの量子 x+ 1 x+ 15

化された暗電流ノイズ成分の大きさを表す。また、関数 min2は括弧内に列挙された値のうち、 2番目に小さな値を出力する関数である。すなわち、（5)式、（6)式による低周波 ·高周波分離方法は、分離対象の画素とその画素の左横に隣接して存在する 15画素の計 16画素が持つ暗電流ノイズ成分の中で、 2番目に小さい値を低周波成分とし、分離対象の画素の暗電流ノイズ成分カゝら低周波成分を差し引いたものを高周波成分とする。ここで、低周波成分を 16画素の暗電流ノイズ成分の中の最小値としないのは、欠陥画素によって出力された低レベル信号を低周波成分としないようにするためである。

[0115] 第 1逆量子化部 1018は、低周波 ·高周波分離部 1016にて分離された高周波成分

Hに対して、ノイズ分布分析部 1010から入力された閾値 THnと代表値 Vnを参照しながら、例えば以下の式によって逆量子化する。

[0116] IH =H X (Vn-THn) · · · (7)

ここで、 IHは逆量子化された暗電流ノイズの高周波成分であり、この IHが乗算部 1

026〖こ送られる。

[0117] また、第 2逆量子化部 1020は、低周波 ·高周波分離部 1016にて分離された低周波成分 Lに対して、ノイズ分布分析部 1010から入力された閾値 THnと代表値 Vnを参照しながら逆量子化して伸張する。 [0118] IL =L X (Vn-THn) · · · (8)

ここで、 IL_xは逆量子化された暗電流ノイズの低周波成分である。第 2逆量子化部 10 20は、この ILにノイズ分布分析部 1010から入力された下限 Aにおける暗電流ノイズ成分の値 D Aを加算した値を、加算部 1028に送る。

[0119] 高周波抽出部 1022は、シャッター 1003を閉じた状態及びシャッター 1003を開いた状態で撮像された画像信号に対して、撮像素子 1004の端部に設けられた遮光領域力出力された画像信号力高周波成分を抽出し、この高周波成分の平均値を求めて、乗算係数設定部 1024へ出力する。高周波成分は、低周波'高周波分離部 10 16と同様に (5)式 ·（6)式を用いて算出する。

[0120] 乗算係数設定部 1024は、予めシャッター 1003を閉じた状態で撮像された暗電流ノイズ成分から高周波抽出部 1022で算出した遮光領域の高周波成分の平均値を取得し、記憶しておく。また、シャッター 1003が開いた状態で撮像された画像信号における遮光領域の高周波成分の平均値を高周波抽出部 1022より得る。この状態で撮像された画像信号のうち遮光領域の画素から出力される画像信号は、画像を撮像した時点でのその画素における暗電流ノイズ成分である。したがって、予め記憶しておいた暗電流ノイズ成分における遮光領域の高周波成分の平均値との比率を求め、この比率を乗算係数として逆量子化された暗電流ノイズの高周波成分に乗ずることにより、撮像された画像信号に含まれる暗電流ノイズの高周波成分を予測することができる。

[0121] 乗算部 1026は、第 1逆量子化部で伸張された暗電流ノイズ成分の高周波成分に対し、乗算係数設定部 1024から出力された乗算係数を乗算することにより、画像信号に含まれた暗電流ノイズ成分の高周波成分を予測する。加算部 1028は、この予測された高周波成分に、第 2逆量子化部から出力された値を加算することにより、暗電流ノイズ成分を生成する。そして、減算部 1030にて実際の撮像状態で撮像された画像信号から、加算部 1028で生成された暗電流ノイズ成分を差し引くことにより、画像信号から暗電流ノイズを除去する。

[0122] 斯カる構成に基づき、図 7に示したデジタルカメラの動作を説明する。まず、シャツター 1003を閉じた状態で撮像素子 1004は画像を撮像する。この時、撮像素子 100 4には光が入射されていないため、撮像素子 1004から出力される画像信号は喑電流ノイズ成分 (A)である。

[0123] この暗電流ノイズ成分 (A)は AZD変換部 1005にてデジタル信号に変換された後、ノイズ分布分析部 1010に入力される。ノイズ分布分析部 1010では、全画素の暗電流ノイズ成分から、その大きさの分布を求め、この分布に基づき量子化の閾値 TH nと代表値 Vnを算出しておく。

[0124] 次に、再度シャッター 1003を閉じた状態で撮像素子 1004にて暗電流ノイズ成分（ B)を撮像する。この暗電流ノイズ成分 (B)は AZD変換部 1005でデジタル信号に変換された後、今度は量子化部 1012に入力される。量子化部 1012は、ノイズ分布分析部 1010によって求められた閾値 Vnを基に、暗電流ノイズ成分 (B)を量子化する。メモリ 1014はこの量子化された暗電流ノイズ成分 (B)を記憶する。

[0125] また、この時撮像された暗電流ノイズ成分 (B)は高周波抽出部 1022にも入力される。高周波抽出部 1022は、撮像素子 1004の遮光領域に含まれる暗電流ノイズ成分 (B)力高周波成分を抽出し、その平均値を求める。この平均値は、乗算係数設定部 1024に送られ、記憶される。

[0126] 以上までの動作が、実際に被写体を撮像する前の段階までの動作である。ここまでの動作は毎回の撮像時に行ってもょヽし、デジタルカメラの電源投入時に行ってもよい。毎回の撮像時に行う場合には、図示しない撮像時検出部を設け、撮像時を検出したら暗電流ノイズ除去装置 1001にこの段階までの動作をするよう指示する構成とすればよい。暗電流ノイズは、撮像素子周辺の温度環境に影響されやすいため、撮像直前に記憶する場合に最も精度よく暗電流ノイズ成分の値を取得することができる。電源投入時に行う場合には、図示しない電源投入時検出部を設け、電源投入を検知したら暗電流ノイズ除去装置 1001にこの段階までの動作をするように指示する構成とすればよい。

[0127] また、この実際に被写体を撮像する前の段階までの動作は、デジタルカメラの製造時に行っておいてもよい。また、デジタルカメラに図示しないタイマーを設け、一定期間ごとに暗電流ノイズ除去装置 1001にこの段階までの動作をするように指示する構成にしてもよい。 [0128] 次に、実際に被写体を撮像する場合の動作について説明する。今度はシャッター 1 003を開いた状態で撮像素子 1004にて画像 (C)を撮像する。撮像素子 1004から出力された画像信号 (C)は、 AZD変換部 1005でデジタル信号に変換されたあと、減算部 1030に送られるとともに、高周波抽出部 1022にも送られる。高周波抽出部 1 022は、撮像素子 1004の遮光領域に含まれる画像信号 (C)から高周波成分を抽出し、その平均値を求め、これを乗算係数設定部 1024に送る。乗算係数設定部 1024 は、高周波抽出部力送られてきた遮光領域に含まれる画像信号 (C)の高周波成分の平均値と、記憶されて!、る暗電流ノイズ成分 (B)の高周波成分の平均値との比率を算出し、これを乗算係数として乗算部 1026に送る。

[0129] 一方、低周波'高周波分離部 1016は、 AZD変換部 1005から画像信号 (C)が出力されるタイミングに合わせて、メモリ 1014に記憶された量子化された暗電流ノイズ成分 (B)を読み出し、これを低周波成分 (BL)と高周波成分 (BH)とに分離する。分離された高周波成分 (BH)は、第 1逆量子化部 1018で逆量子化された後、乗算部 1 026にて乗算係数設定部 1024で求められた乗算係数が乗算されることにより画像信号に含まれる暗電流ノイズ成分の高周波成分が予測されて、加算部 1028に送られる。また、分離された低周波成分 (BL)は第 2逆量子化部 1020で逆量子化された後、加算部 1028に送られる。

[0130] 加算部 1028は、逆量子化された暗電流ノイズの低周波成分 (BL)と、予測された暗電流ノイズの高周波成分 (BH)とを足し合わせることにより、暗電流ノイズ (BD)を復元する。そして、この復元された暗電流ノイズ成分 (BD)は減算部 1030に入力され、減算部 1030によって画像信号 (C)から復元された暗電流ノイズ成分 (BD)を差し引く。これにより、画像信号 (C)から暗電流ノイズ成分 (BD)を除去することができる。そして、暗電流ノイズ成分 (BD)が除去された画像信号 (CD)が記録媒体 1006に記録される。

[0131] 以上、本実施の形態 4によれば、以下の作用効果を有する。

[0132] (1)遮光領域に属する画素力出力された画像信号と、予め記憶された同じ画素の暗電流ノイズ成分とを比較し、そこ力乗算係数を算出して、予め記憶された喑電流ノイズ成分に乗ずることにより、画像信号に含まれる暗電流ノイズ成分を精度よく予測することができる。したがって、画像信号に含まれる暗電流ノイズ成分を精度良く除去することができる。

[0133] (2)暗電流ノイズは高周波成分が支配的であるため、本実施の形態 4のように、乗算係数を算出する際、画像信号及び予め記憶された暗電流ノイズ成分ともに、それぞれ複数画素の高周波成分を抽出し、高周波成分同士を比較することによって乗算係数を算出すると同時に、暗電流ノイズの高周波成分に対してのみ予測を行うことにより、より精度よく暗電流ノイズ成分を予測することができる。

[0134] (3)暗電流ノイズ成分を予測する際、一部の処理 (本実施の形態 4では暗電流ノィズ成分を低周波成分と高周波成分とに分離する処理)を逆量子化して伸張する前に行うことで、データ量の小さい圧縮された状態で処理を実行することができ、予測に必要な演算量を少なくすることができる。

[0135] 以上、本発明を実施の形態 4をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの糸且合せに、ろ、ろな変形が可能なこと、またそうした変形も本発明の範囲にあることは当業者に理解されるところである。

[0136] また、上記の実施の形態 4では、デジタルカメラの例を示した力それに限らず、撮像素子を備えたものであれば、本発明の実施の形態に係る暗電流ノイズ除去装置を備えることができる。

[0137] なお、上記実施の形態 4において、高周波抽出部 1022では、遮光領域から出力された画像信号力複数の画素の高周波成分を抽出し、この高周波成分の平均値を求める例を示したが、これに限るものではなぐ複数の画素の高周波成分の中央値や二乗平均を求めるようにしてもょ、。

[0138] また、上記実施の形態 4では、高周波抽出部 1022にて、暗電流ノイズ成分及び画像信号力も抽出した複数画素の高周波成分の平均値を求め、乗算係数設定部 102 4でこれらの平均値の比率を求めて乗算係数を算出した力高周波抽出部 1022で抽出された暗電流ノイズ成分及び画像信号の高周波成分に対して、画素毎にそれぞれの比率を求め、これらの比率の平均値や中央値、あるいは二乗平均値を乗算係数としてもよい。

[0139] (第 3のグループ） (実施の形態 5)

図 10は、本発明の好適な実施の形態 5に係るノイズ除去装置 2001を具備したデジタルカメラ 2100の構成を示した図である。この構成は、ハードウェア的には、任意のコンピュータの CPU、メモリ、その他の LSIで実現でき、ソフトウェア的にはメモリにロードされた符号化機能のあるプログラムなどによって実現される力ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能プロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

[0140] デジタルカメラ 2100は、ノイズ除去装置 2001のほ力、撮像素子 2002、アナログフロントエンド (AFE: Analog Front End) 2003、画像圧縮装置 2004、記録媒体 2 005を備えている。このデジタルカメラ 2100は、撮像素子 2002にて入射された光を電気信号に変換し、 AFE2003にて、撮像素子 2002の出力信号力も画像信号を取り出して増幅した後、デジタル信号に変換する。ただし、 AFE2003で取り出した画像信号には、種々のノイズ成分が含まれており、後述のノイズ除去装置 2001によつてこれらのノイズ成分を除去する。そして、画像圧縮装置 2004によってノイズ除去された画像信号を圧縮し、記録媒体 2005に記録する。

[0141] ノイズ除去装置 2001は、固定パターンノイズ除去部 2010、スミアノイズ除去部 201 1、固定欠陥ノイズ除去部 2012、ランダムノイズ除去部 2013を備えている。図 11は固定パターンノイズ除去部 2010の構成を示した図である。固定パターンノイズ除去部 2010は、メモリ 2020と減算部 2021を備えている。メモリ 2020には、予め撮像素子 2002にて光を入射しない状態で撮像した画像信号を記憶する。若しくは、この画像信号を圧縮してメモリ 2020に記憶してもよ、し、この画像信号と関連付けられた情報を記憶してもよい。光を入射しない状態で撮像した画像信号が、暗電流に起因する固定パターンノイズに相当する。

[0142] 実際の撮像状態、つまり、光が入射された状態で撮像素子 2002によって撮像された画像信号力 AFE2003を介して固定パターンノイズ除去部 2010に入力されると、このタイミングに合わせて、画像信号を構成する各画素の固定パターンノイズをメモリ 2020から読み出し、これを減算部 2021に送る。メモリ 2020に記憶されているのが、圧縮された画像信号、若しくは画像信号と関連付けられた情報である場合は、上記タイミングに合わせて、画素毎に圧縮された画像信号、若しくは画像信号と関連付けられた情報をメモリ 2020から読み出し、これらの信号若しくは情報から固定パターンノイズを復元した上で、復元された固定パターンノイズを減算部 2021に送るようにしてもよい。そして、減算部 2021によって、光が入射された状態で撮像された画像信号から固定パターンノイズを差し引くことによって、固定パターンノイズを除去する。

[0143] この固定パターンノイズ除去部 2010は、上述の実施の形態 1〜4において説明した暗電流ノイズ除去装置 1、 7、 8、 1001のような構成を取ってもよい。本実施の形態でいう固定パターンノイズは、実施の形態 1〜4の暗電流ノイズに相当する。

[0144] 図 12はスミアノイズ除去部 2011の構成を示した図である。スミアノイズ除去部 201 1は、減算部 2030、加算部 2031、ラインメモリ 2032、係数発生部 2033、乗算部 20 34を備えている。減算部 2030は、 1行単位で連続して入力される画像信号 Sl (n) 力も第 1のスミアノイズ成分 Dl (n)を減算し、スミアノイズ成分を含まない画像信号 S 2 (n)として出力する。加算部 2031は、減算部 2030から出力される画像信号 S2 (n)とラインメモリ 2032から読み出される累加算データ T(n)とを加算し、その加算データをラインメモリ 2032に供給する。ラインメモリ 2032は、 1画面分の画像信号 SI (η)の入力が完了する毎にリセットされ、加算部 2031から入力される加算データを 1行毎に記憶する。これにより、加算部 2031では 1画面の画像信号 S2 (n)が各列で累加算され、ラインメモリ 2032には累加算データ T(n)力記憶されること〖こなる。

[0145] 係数発生部 2033は、撮像素子 2002の露光状態を表す露光データ L (m)に応答し、撮像素子 2002の各受光ビットでの露光期間に対応した係数 kを発生し、乗算部 2034に供給する。乗算部 2034は、ラインメモリ 2032から読み出される累加算データ T(n)に対し、係数 kを乗算してスミアノイズ成分 Dl (n)を生成する。

[0146] このようなスミアノイズ除去部 2011によれば、撮像素子 2002の各受光ビットに蓄積される情報電荷が 1行ずつ垂直方向に転送される毎に各受光ビットから混入されるスミア電荷の量が順次累加算される。そして、その累加算値によって情報電荷が転送される過程で混入するスミアノイズ成分が表されるため、この値を画像信号 SI (n)から減算することによりスミアノイズを除去できる。 [0147] 固定欠陥ノイズ除去部 2012は、画素毎に固定欠陥であるかどうかを判定し、固定欠陥と判定した場合は、周辺の画素力補間値を算出してその値に置換する。図 13 は固定欠陥ノイズ除去部 2012の構成を示した図である。固定欠陥ノイズ除去部 201 2は、ラインメモリ 2040、固定欠陥判定部 2041、補間値算出部 2042、補間値置換部 2043を備えている。

[0148] ラインメモリ 2040は、 1行単位で連続して入力される画像信号を 1行毎に記憶する。ラインメモリ 2040は、 7ライン分の画像信号を記憶することができる。 7ライン分の画像信号が記憶されているところに、新しく画像信号が入力されたときは、最も古い時間に記憶された行の画像信号を、新しく入力された画像信号で上書きしていくこと〖こより、ラインメモリ 2040の内容を更新する。

[0149] 固定欠陥判定部 2041は、画素毎に固定欠陥であるかどうかを判定する。例えば図 14に示した画素 F7について固定欠陥であるかどうかを判定する場合、ラインメモリ 2 040力も、周辺画素 D5、 D7、 D9、 F5、 F9、 H5、 H7、 H9の画像信号を読み出す。そして、これら周辺画素の画像信号の最大値と最小値を求め、画素 F7の画像信号の大きさと比較する。その結果、画素 F7の画像信号の大きさ力周辺画素の画像信号の最大値よりも異常に大きい、もしくは最小値よりも異常に小さい場合は、画素 F7 が固定欠陥であるとして判定する。それ以外の場合は、固定欠陥なしとして判定する。固定欠陥判定部 2041は、この判定を画像を構成するすべての画素について行う。

[0150] 補間値算出部 2042は、固定欠陥判定部 2041で固定欠陥であるかどうかを判定している画素に対して、周辺画素の値から補間値を算出する。補間値置換部 2043は、固定欠陥判定部 2041の判定結果が固定欠陥であった場合、その画素の画像信号を補間値算出部 2042で算出した補間値に置換して外部に出力し、それ以外の場合は、その画素の画像信号をそのまま出力することにより、固定欠陥ノイズを除去する。

[0151] ランダムノイズ除去部 2013は、図 13に示した固定欠陥ノイズ除去部 2012の構成とほぼ同じであるが、ランダムノイズの有無を判定する際、周辺画素の画像信号の最大値を上限閾値、周辺画素の画像信号の最小値を下限閾値とし、判定対象の画素の画像信号の大きさが、この上限閾値と下限閾値で示される範囲力外れている場合、ランダムノイズ有りとして判定する。そして、ランダムノイズ有りと判定した場合は、周辺画素の画素値力算出した補間値に置換し、ランダムノイズ無しと判定した場合は、その画素の画像信号をそのまま出力する。

[0152] 斯カる構成に基づき、図 10のデジタルカメラ 2100の動作について説明する。まず、デジタルカメラ 2100は光が入射されな、状態で撮像素子 2002にて画像を撮像する。この時撮像された画像は暗電流に起因する固定パターンノイズ成分を表す。この画像は、 AFE2003を介してノイズ除去装置 2001の固定パターンノイズ除去部 201 0に送られ、記憶される。

[0153] ここまでの動作が、実際に被写体を撮像する前の段階までの動作である。ここまでの動作は毎回の撮像時に行ってもょヽし、デジタルカメラの電源投入時に行ってもよい。毎回の撮像時に行う場合には、図示しない撮像時検出部を設け、撮像時を検出したら固定パターンノイズ除去部 2010にこの段階までの動作をするよう指示する構成とすればよい。暗電流ノイズは、撮像素子周辺の温度環境に影響されやすいため、撮像直前に記憶する場合に最も精度よく暗電流ノイズ成分の値を取得することができる。電源投入時に行う場合には、図示しない電源投入時検出部を設け、電源投入を検知したら固定パターンノイズ除去部 2010にこの段階までの動作をするように指示する構成とすればよい。

[0154] また、この実際に被写体を撮像する前の段階までの動作は、デジタルカメラの製造時に行っておいてもよい。また、デジタルカメラに図示しないタイマーを設け、一定期間ごとに固定パターンノイズ除去部 2010にこの段階までの動作をするように指示する構成にしてちよい。

[0155] 次に、実際に被写体を撮像する場合の動作について説明する。今度は、デジタルカメラ 2100は、光が入射された状態で撮像素子 2002にて画像を撮像し、この画像信号は AFE2003を介してノイズ除去装置 2001に送られる。ノイズ除去装置 2001 では、この画像信号に対し、まず固定パターンノイズ除去部 2010にて固定パターンノイズを除去し、次にスミアノイズ除去部 2011にてスミアノイズを除去する。次に、固定欠陥ノイズ除去部 2012にて固定欠陥ノイズを除去し、更にランダムノイズ除去部 2 013によってランダムノイズを除去する。この順番によって複数のノイズが除去された画像信号は、画像圧縮装置 2004で画像圧縮され、記録媒体 2005に記録される。

[0156] 本実施の形態 5では、ノイズ除去装置 2001によって、固定パターンノイズ、スミアノィズ、固定欠陥ノイズ、ランダムノイズの順番で複数のノイズを除去することを特徴とし、この順番によって、以下の理由によりそれぞれのノイズが精度よく除去することが可能としている。例えば、スミアノイズは、前述の通り入射光量の推定が必要であり、この推定を撮像した画像信号をもとに行うため、この画像信号にノイズが多ヽと入射光量の推定精度が劣化し、結果として除去すべきスミアノイズの算出精度が劣化する。特に、温度依存性を持ち、露光時間に比例して増大する固定パターンノイズが、推定に用いる画像信号に含まれていると、精度よくスミアノイズを推定することが困難である。そこで、固定パターンノイズはスミアノイズを除去する前に画像信号から取り除かれることが望ましい。

[0157] 次に、固定欠陥ノイズは、欠陥画素の判定と置換するための補間画素を周辺画素を元に行うため、ある程度ノイズが除去された画像に対して行うことが望ましい。また、スミアノイズは入射光量によっては、信号レベルを飽和させるに至るレベルに達している場合があり、固定欠陥ノイズが逆に埋もれてしまう。このため、スミアノイズ除去は固定欠陥ノイズ除去の以前に行うことが望ましい。

[0158] さらに、ランダムノイズは他のノイズと比較し、信号レベルとしては非常に小さぐスミァノイズ除去や固定欠陥ノイズ除去への影響は少ない。ただし、画像のざらつきとしては目立つ場合もある。このランダムノイズ除去は、周辺画素の特徴から推定補間する方法を用いるので、他のノイズ成分が除去され、真の画素値に近い画素となっているノイズ除去の最終段に配置すること望ましい。なお、前述の通り、ランダムノイズは他のノイズと比較して非常に小さいものであるため、ノイズ除去装置 2001からランダムノイズ除去部を省略してもよ、。

[0159] 以上のことから、本実施の形態 5によれば、ノイズを除去する順番として、最初に固定パターンノイズを除去し、次にスミアノイズ、次に固定欠陥ノイズを除去することにより、それぞれのノイズを最も精度よく取り除くことができる。また、ランダムノイズを除去する場合は、他のノイズ成分を除去した後に取り除くことにより、ランダムノイズを含めてそれぞれのノイズを最も精度よく取り除くことができる。 [0160] (実施の形態 6)

図 15は、本発明の好適な実施の形態 6に係るノイズ除去装置 2006を具備したデジタルカメラ 2110の構成を示した図である。このノイズ除去装置 2006は、図 10のノィズ除去装置 2001に対し、ランダムノイズ除去部 2013の後段にオフセット除去部 2 014が付加された構成となっている。実施の形態 5と同じ構成については同符号を付し、説明を省略する。

[0161] 撮像素子 2002から出力された画像信号は、黒レベルの画像信号であっても完全にゼロにはならず、一定のオフセット成分を含んでいる。オフセット除去部 2014は、この画像信号力もこのオフセット成分を除去する。

[0162] 図 16は、オフセット除去部 2014の構成を示した図である。オフセット除去部 2014 は、オフセット算出部 2050、メモリ 2051、及び減算部 2052を備えている。オフセット算出部 2050は、撮像素子 2002から出力された画像信号のうち、撮像素子 2002の端部に設けられた光が入射されない領域 (遮光領域）に属する一部の画素の画像信号を抽出する。この遮光領域カゝら出力された画像信号の大きさが、撮像素子 2002における黒レベルの大きさとなるため、オフセット算出部 2050は、この画像信号の大きさの平均値をオフセット成分とし、この値をメモリ 2051に記憶する。そして、減算部 20 52によって画像信号力もメモリ 2051に記憶されたオフセット成分を減算することにより、オフセット成分を除去する。

[0163] 斯カる構成に基づき、図 15に示したデジタルカメラ 2110の動作について説明する。まず、図 10に示したデジタルカメラ 2100と同様に、デジタルカメラ 2110は光が入射されなヽ状態で撮像素子 2002にて画像を撮像し、この画像が AFE2003を介してノイズ除去装置 2006の固定パターンノイズ除去部 2010に送られ、固定パターンノィズとして記憶される。

[0164] ここまでの動作が、実際に被写体を撮像する前の段階までの動作である。次に、実際に被写体を撮像する場合の動作について説明する。今度は、デジタルカメラ 2110 は、光が入射された状態で撮像素子 2002にて画像を撮像し、この画像信号は AFE 2003を介してノイズ除去装置 2006に送られる。ノイズ除去装置 2006では、この画像信号に対し、まず固定パターンノイズ除去部 2010にて固定パターンノイズを除去し、次にスミアノイズ除去部 2011にてスミアノイズを除去する。次に、固定欠陥ノイズ除去部 2012にて固定欠陥ノイズを除去し、更にランダムノイズ除去部 2013によってランダムノイズを除去する。力 []えて、オフセット除去部 2014によってオフセット成分が除去される。この順番によって複数のノイズが除去された画像信号は、画像圧縮装置 2004で画像圧縮され、記録媒体 2005に記録される。

[0165] 本実施の形態 6では、ノイズ除去装置 2006によって、固定パターンノイズを除去した後にオフセット成分を除去することを特徴とし、以下の理由によりオフセット成分が精度よく除去されることを可能としている。すなわち、オフセット成分を算出する際、撮像素子 2002の遮光領域に属する画素の画像信号を使用する力この画像信号には暗電流に起因する固定パターンノイズも多く含んだものとなっている。前述のとおり、固定パターンノイズは温度依存性を持ち、露光時間に比例して増大するため、この固定パターンノイズを含んだままオフセット成分を算出すると、その算出精度が悪くなつてしまう。そこで、固定パターンノイズの除去は、オフセット成分の除去よりも前に行うのが望ましい。これにより、オフセット成分の除去の精度がよくなり、画質の改善が可能となる。

[0166] なお、本実施の形態 6では、オフセット除去部 2014をランダムノイズ除去部 2013の後段に配置する例を示した力これに限るものではなぐオフセット除去部 2014が固定パターンノイズ除去部 2010よりも後段に配置されていれば、本発明の範疇に含まれる。

[0167] 以上、本発明を実施の形態 5及び 6をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せに、ろ、ろな変形が可能なこと、またそうした変形も本発明の範囲にあることは当業者に理解されるところである。

[0168] また、上記の実施の形態では、デジタルカメラの例を示した力それに限らず、撮像素子を備えたものであれば、本発明の実施の形態に係るノイズ除去装置を備えることができる。

産業上の利用可能性

[0169] 本発明は、撮像素子のノイズを除去する装置に利用可能である。

Claims

請求の範囲

[1] 光を遮断した状態で撮像素子によって撮像された第 1の画像信号に対し、前記撮像素子を構成する一部もしくは全部の画素の前記第 1の画像信号の大きさの分布を求め、この分布力も前記第 1の画像信号の取る大きさのピークを含む範囲を特定し、この範囲の中で閾値を設定するノイズ分布分析部と、

光を遮断した状態で前記撮像素子によって撮像された第 2の画像信号に対し、前記閾値を基に量子化を行う量子化部と、

前記量子化された第 2の画像信号を逆量子化する逆量子化部と、

光を入射した状態で撮像素子にて撮像された第 3の画像信号から前記逆量子化された第 2の画像信号を減算する減算部と、

を備えることを特徴とするノイズ除去装置。

[2] 前記第 1の画像信号と前記第 2の画像信号は、異なる時刻に撮像されたものであることを特徴とする請求項 1に記載のノイズ除去装置。

[3] 前記第 1の画像信号と前記第 2の画像信号は、同じ画像信号であり、前記ノイズ分布分析部は、前記第 1の画像信号を複数の領域に分割し、この分割した領域毎に前記第 1の画像信号の大きさの分布を求め、この分布力前記第 1の画像信号の取る大きさのピークを含む範囲を特定し、この範囲の中で閾値を設定することを特徴とする請求項 1に記載のノイズ除去装置。

[4] 前記第 1の画像信号及び前記第 2の画像信号を低周波成分と高周波成分とに分割する帯域分離部を更に備え、

前記高周波成分に対して前記ノイズ分布分析部、前記量子化部及び前記逆量子ィ匕咅を備えるとともに、

前記低周波成分と前記逆量子化部で逆量子化された前記高周波成分とを加算した上で、これを前記減算部に入力することを特徴とする請求項 1から 3のいずれかに記載のノイズ除去装置。

[5] 前記低周波成分を前記高周波成分とは独立した方法で圧縮する圧縮部と、

前記圧縮された低周波成分を伸張する伸張部と、

を更に備え、前記伸張された低周波成分と前記逆量子化部で逆量子化された前記高周波成分を加算した上で、これを前記減算部に入力することを特徴とする請求項 4に記載のノィズ除去装置。

[6] 光を遮断した状態で撮像素子によって撮像された画像信号に関して暗電流ノイズ成分の大きさの分布を求めるステップと、

前記暗電流ノイズ成分の大きさのピークを含む範囲を特定するステップと、前記範囲の中で量子化のための閾値を設定するステップと、

前記暗電流ノイズ成分を前記閾値に基づいて量子化するステップと、前記量子化された暗電流ノイズ成分を逆量子化するステップと、

実際に被写体を撮像したときの画像信号から、前記逆量子化された暗電流ノイズ成分を減算するステップと、

を備えることを特徴とするノイズ除去方法。

[7] 光を遮断した状態で撮像素子によって得られた第 1の画像信号を圧縮する圧縮部と、

前記圧縮された第 1の画像信号を伸張する伸張部と、

前記圧縮部によって圧縮される前の第 1の画像信号の状態と、光を入射した状態で撮像素子によって得られた第 2の画像信号の状態との比較に基づいて、前記伸張された第 1の画像信号から前記第 2の画像信号に含まれるノイズ成分を予測するノィズ成分予測部と、

前記第 2の画像信号から、予測されたノイズ成分を減算する減算部と、を備えることを特徴とするノイズ除去装置。

[8] 前記第 1の画像信号の状態は、前記圧縮される前の第 1の画像信号に含まれる遮光領域力出力された信号の大きさであり、

前記第 2の画像信号の状態は、この第 2の画像信号に含まれる遮光領域から出力された信号の大きさであることを特徴とする請求項 7に記載のノイズ除去装置。

[9] 前記ノイズ成分予測部は、前記第 2の画像信号に含まれる遮光領域から出力された信号の大きさと、前記圧縮される前の第 1の画像信号に含まれる遮光領域から出力された信号の大きさとの比率を求め、前記伸張された第 1の画像信号に対して前記比率を乗ずることによって、前記第 2の画像信号に含まれるノイズ成分を予測することを特徴とする請求項 8に記載のノイズ除去装置。

[10] 前記第 2の画像信号に含まれるノイズ成分を予測するための前処理を、前記圧縮された第 1の画像信号に対して行う前処理部を更に備え、前記伸張部は、この前処理された第 1の画像信号を伸張することを特徴とする請求項 7から 9のいずれかに記載のノイズ除去装置。

[11] 前記前処理部は、前記圧縮された第 1の画像信号を低周波成分と高周波成分とに分離するものであり、前記伸張部は、前記低周波成分と高周波成分とを個別に伸張し、前記ノイズ成分予測部は、前記伸張された高周波成分から前記第 2の画像信号に含まれるノイズ成分の高周波成分を予測した上で、前記伸張された低周波成分と足し合わせることによって、前記第 2の画像信号に含まれるノイズ成分を予測することを特徴とする請求項 10に記載のノイズ除去装置。

[12] 前記第 1の画像信号の状態は、前記圧縮される前の第 1の画像信号に含まれる遮光領域から出力された信号の高周波成分の大きさであり、

前記第 2の画像信号の状態は、この第 2の画像信号に含まれる遮光領域から出力された信号の高周波成分の大きさであって、

前記ノイズ成分予測部は、前記第 2の画像信号に含まれる遮光領域から出力された信号の高周波成分の大きさと、前記圧縮される前の第 1の画像信号に含まれる遮光領域から出力された信号の高周波成分の大きさとの比率を求め、前記伸張された第 1の画像信号の高周波成分に対して前記比率を乗ずることにより、前記第 2の画像信号に含まれるノイズ成分の高周波成分を予測することを特徴とする請求項 11に記載のノイズ除去装置。

[13] 前記圧縮部は、前記第 1の画像信号に対し、一部若しくは全部の画素が持つ前記第 1の画像信号の大きさの分布を求め、この分布力前記第 1の画像信号の取る大きさのピークを含む範囲を特定し、この範囲の中で量子化の閾値を設定するノイズ分布分析部と、

前記第 1の画像信号に対して、前記閾値を基に量子化を行う量子化部と、を備えることを特徴とする請求項 7から 12のいずれかに記載のノイズ除去装置。

[14] 撮像素子力出力された画像信号から、撮像素子の暗電流に起因する固定パターンノイズを除去する固定パターンノイズ除去部と、

前記固定パターンノイズが除去された画像信号から、入射光に起因するスミアノィズを除去するスミアノイズ除去部と、

を備えることを特徴とするノイズ除去装置。

[15] 前記固定パターンノイズ除去部として、請求項 1から 5および請求項 7から 13のいずれかに記載のノイズ除去装置を利用することを特徴とする請求項 14に記載のノイズ除去装置。

[16] 前記スミアノイズ除去部は、前記固定パターンノイズが除去された画像信号から、前記撮像素子の各受光ビットに蓄積される情報電荷が 1行ずつ垂直方向に転送される毎に各受光ビットから混入されるスミア電荷の量が順次累加算された値を減算することによりスミアノイズを除去することを特徴とする請求項 14または 15に記載のノイズ除去装置。

[17] 前記スミアノイズが除去された画像信号から、撮像素子の製造時の欠陥に起因する固定欠陥ノイズを除去する固定欠陥ノイズ除去部を更に備えることを特徴とする請求項 14から 16のいずれかに記載のノイズ除去装置。

[18] 前記固定欠陥ノイズ除去部は、前記撮像素子の画素毎に固定欠陥であるかどうかを判定し、固定欠陥と判定した場合は、周辺の画素から補間値を算出してその値に置換することを特徴とする請求項 17に記載のノイズ除去装置。

[19] 前記固定欠陥ノイズが除去された画像信号から、撮像素子の熱的な揺らぎに起因するランダムノイズを除去するランダムノイズ除去部を更に備えることを特徴とする請求項 17または 18に記載のノイズ除去装置。

[20] 前記画像信号に含まれるオフセット成分を除去するオフセット除去部を更に備え、前記オフセット除去部に入力される画像信号は、前記固定パターンノイズ除去部によつて固定パターンノイズが除去されたものであることを特徴とする請求項 14から 19の V、ずれかに記載のノイズ除去装置。

[21] 前記オフセット除去部は、

当該オフセット除去部に入力された画像信号のうち、前記撮像素子の遮光領域に属するの画素の画像信号を抽出し、この抽出した画像信号の大きさの平均値をオフセット成分として算出するオフセット算出部と、

当該オフセット除去部に入力される画像信号力前記オフセット成分を減算する減算部と、

を備えることを特徴とする請求項 20に記載のノイズ除去装置。