JP4601623B2

JP4601623B2 - ノイズ除去装置

Info

Publication number: JP4601623B2
Application number: JP2006543014A
Authority: JP
Inventors: 和博鈴木; 桂史加藤
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2004-10-22
Filing date: 2005-10-18
Publication date: 2010-12-22
Anticipated expiration: 2025-10-18
Also published as: WO2006043563A1; US20090244331A1; KR20070063604A; KR100835792B1; US7924329B2; JPWO2006043563A1

Description

本発明は、デジタルカメラや携帯電話機等に用いられる撮像素子のノイズを除去する装置に関する。

デジタルカメラや携帯電話機に用いられるＣＣＤやＣＭＯＳセンサなどの撮像素子は、光が入射されない状況下においても、画素を構成する撮像素子に流れる暗電流の影響により、ある程度決まったパターンのノイズ（暗電流ノイズ）が発生する。

特許文献１には、この暗電流ノイズを除去するための装置が開示されている。この装置は、シャッターを閉じた状態で撮像素子にて撮像された画像である暗電流ノイズ成分を、予め直交変換及び量子化によって圧縮してからメモリに記憶しておき、実際に画像が撮像されると、この画像信号から直交逆変換によって復号された暗電流ノイズ成分を差し引くことで、暗電流ノイズを除去する。

この特許文献１で開示された暗電流ノイズを圧縮する方法である直交変換及び量子化は、画像圧縮でよく知られた方法を使用している。この方法は、画像信号を直交変換した場合、低周波成分に情報が偏る、という画像の一般的な性質を利用したものであり、量子化によって高周波成分の情報をカットしても、画質にそれほど大きな影響を与えない。
特開平１１−２９８７６２号公報

（第１の課題）
暗電流ノイズ成分は高周波成分を多く含むので、この高周波成分の情報をカットしてしまうと、暗電流ノイズ成分を正しく復号することができない。したがって、直交変換及び量子化によって暗電流ノイズ成分を圧縮する場合、この高周波成分の情報をカットすることができず、圧縮率を高くすることができない、という問題があった。

この発明は、上記のような課題を解決するためになされたものであり、暗電流ノイズを削減する装置において、高周波成分の多い特性を保ちつつ、暗電流ノイズ成分を高圧縮して記憶させることができるノイズ除去装置を提供することを目的とする。

（第２の課題）
暗電流ノイズ成分は、撮像した時点での撮像素子の温度や露光時間、および撮像素子の出力から画像信号をアナログ信号として取り出す際に乗ずるゲインなどによって、大きく変化するため、予め撮像した暗電流ノイズ成分の大きさと、実際の撮像状態で撮像した画像成分に含まれる暗電流ノイズ成分の大きさは、異なったものになる。しかしながら、特許文献１で開示された暗電流ノイズ除去装置は、圧縮・伸張の処理が入るものの、予め記憶しておいた暗電流ノイズ成分をそのまま画像信号から差し引くので、画像信号から正しく暗電流ノイズ成分を除去できない、といった問題があった。

この発明は、上記のような課題を解決するためになされたものであり、画像信号に含まれる暗電流ノイズ成分を精度良く除去することができるノイズ除去装置を提供することを目的とする。

（第３の課題）
デジタルカメラや携帯電話機に用いられているＣＣＤやＣＭＯＳセンサなどの撮像素子から出力される信号は、画像信号の他に、暗電流成分による固定パターンノイズ、強烈な入射光によって発生するスミアノイズ、ＣＣＤの製造時の欠陥による固定欠陥ノイズ、デバイスの熱的な揺らぎに起因するランダムノイズを含んでいる。したがって、撮像素子の出力された信号からこれらのノイズ成分を除去することが必要である。特開２００４−１７２９２５号公報には、撮像素子にて撮像された信号から、先にスミアノイズを除去した後、暗電流による固定パターンノイズを除去する装置が開示されている。

ところで、このスミアノイズを回路によって除去する場合、スミアノイズの大きさを推定するために、撮像素子に入射された光量を推定する必要があるが、この入射光量の推定は、撮像素子から出力された信号をもとに行うことになる。したがって、スミアノイズの推定精度を考えた場合、推定に使用する信号には、ノイズを含んでいないほうがよい。

しかしながら、前述したとおり撮像素子から出力された信号には、スミアノイズ以外にも様々なノイズを含んでいる。なかでも、固定パターンノイズは、その原因となる暗電流が高い温度依存性を持っており、撮像素子の温度が７度上昇すると、固体パターンノイズの大きさが２倍になる。また、固定パターンノイズは露光時間に比例して増大する。したがって、撮像素子から出力される信号は、撮像素子の温度や露光時間に応じて固定パターンノイズが大きく変化するため、特開２００４−１７２９２５号公報に記載された装置では、スミアノイズを推定するときに、この固定パターンノイズの影響を大きく受け、スミアノイズの除去精度が悪くなる、といった問題があった。

この発明は、上記のような課題を解決するためになされたものであり、撮像素子から出力された信号に含まれる複数のノイズ成分を、それぞれ精度よく除去することが可能なノイズ除去装置を提供することを目的とする。

（第１の手段）
第１の手段における本発明のある態様は、ノイズ除去装置に関する。この装置は、光を遮断した状態で撮像素子によって撮像された第１の画像信号に対し、前記撮像素子を構成する一部もしくは全部の画素の前記第１の画像信号の大きさの分布を求め、この分布から前記第１の画像信号の取る大きさのピークを含む範囲を特定し、この範囲の中で閾値を設定するノイズ分布分析部と、光を遮断した状態で前記撮像素子によって撮像された第２の画像信号に対し、前記閾値を基に量子化を行う量子化部と、前記量子化された第２の画像信号を逆量子化する逆量子化部と、光を入射した状態で撮像素子にて撮像された第３の画像信号から前記逆量子化された第２の画像信号を減算する減算部と、を具備する。ここで、「光を遮断した状態」は、撮像素子の前面に設けられたシャッターを閉じる等して、撮像素子に光が届かないようにした状態を指し、完全に遮断されずに漏れた光が撮像素子に入射されるような「実質的に光を遮断した状態」をも含む。

光を遮断した状態で撮像された第１及び第２の画像信号は、そのほとんどが撮像素子の暗電流によるノイズ成分である。したがって、この態様によれば、このノイズ成分を量子化することによりノイズ成分の情報量を削減することができ、ノイズ成分を記憶させるのに必要なメモリの容量を小さくすることができるとともに、量子化を行う際、ノイズ成分の大きさの分布を求め、その分布からノイズ成分の大きさが集中している範囲を特定し、その範囲内において量子化圧縮を行うため、高周波成分が多いノイズの特性を保ちつつノイズ成分を高圧縮で記憶させておくことが可能である。

この態様において、前記第１の画像信号と前記第２の画像信号は、異なる時刻に撮像されたものであってもよい。これによれば、異なる時刻において撮像された２つの画像信号を使用して、量子化閾値の設定と量子化を行うので、撮像した画像信号を一時的に記憶しておく必要がなく、その分だけメモリ容量を削減することができる。

この態様において、前記第１の画像信号と前記第２の画像信号は、同じ画像信号であり、前記ノイズ分布分析部は、前記第１の画像信号を複数の領域に分割し、この分割した領域毎に前記第１の画像信号の大きさの分布を求め、この分布から前記第１の画像信号の取る大きさのピークを含む範囲を特定し、この範囲の中で閾値を設定してもよい。これによれば、撮像された画像信号であるノイズ成分を記憶するために、光を遮断した状態で画像信号を撮像する回数が１回で済むため、暗電流ノイズ成分の量子化が簡単かつ短時間に行うことが可能である。

この態様において、前記第１の画像信号及び前記第２の画像信号を低周波成分と高周波成分とに分割する帯域分離部を更に備え、前記高周波成分に対して前記ノイズ分布分析部、前記量子化部及び前記逆量子化部を備えるとともに、前記低周波成分と前記逆量子化部で逆量子化された前記高周波成分とを加算した上で、これを前記減算部に入力してもよい。ノイズ成分は画素ごとに異なるため高周波成分が支配的であるが、デバイスの特性や電源によっては取得したノイズ情報に低周波成分が混入する場合がある。このような場合に、暗電流ノイズを低周波数成分と高周波数成分を分け、この高周波成分に対して本発明の圧縮処理を行うことで、より精度よくノイズ成分を復元することが可能である。

また、前記低周波成分を前記高周波成分とは独立した方法で圧縮する圧縮部と、前記圧縮された低周波成分を伸張する伸張部と、を更に備え、前記伸張された低周波成分と前記逆量子化部で逆量子化された前記高周波成分を加算した上で、これを前記減算部に入力してもよい。これによれば、低周波成分と高周波成分とで独立した方法で圧縮することにより、それぞれの成分の特性にあった方法で圧縮できるので、より精度よくノイズ成分を復元することが可能である。

第２の手段における本発明の別の態様は、ノイズ除去方法に関する。この方法は、光を遮断した状態で撮像素子によって撮像された画像信号に関して暗電流ノイズ成分の大きさの分布を求めるステップと、暗電流ノイズ成分の大きさのピークを含む範囲を特定するステップと、範囲の中で量子化のための閾値を設定するステップと、暗電流ノイズ成分を閾値に基づいて量子化するステップと、量子化された暗電流ノイズ成分を逆量子化するステップと、実際に被写体を撮像したときの画像信号から、逆量子化された暗電流ノイズ成分を減算するステップと、を備える。

この方法によれば、暗電流ノイズ成分を量子化することにより暗電流ノイズ成分の情報量を削減することができ、暗電流ノイズ成分を記憶させるのに必要なメモリの容量を小さくすることができる。また、量子化を行う際、暗電流ノイズ成分の大きさの分布を求め、その分布から暗電流ノイズ成分の大きさが集中している範囲を特定し、その範囲内において量子化圧縮を行うため、高周波成分が多い暗電流ノイズの特性を保ちつつ暗電流ノイズ成分を高圧縮で記憶させておくことが可能である。

（第２の手段）
第２の手段における本発明のある態様は、ノイズ除去装置に関する。この装置は、光を遮断した状態で撮像素子によって得られた第１の画像信号を圧縮する圧縮部と、前記圧縮された第１の画像信号を伸張する伸張部と、前記圧縮部によって圧縮される前の第１の画像信号の状態と、光を入射した状態で撮像素子によって得られた第２の画像信号の状態との比較に基づいて、前記伸張された第１の画像信号から前記第２の画像信号に含まれるノイズ成分を予測するノイズ成分予測部と、前記第２の画像信号から、前記予測されたノイズ成分を減算する減算部と、を備える。

ここで、「光を遮断した状態」は、撮像素子の前面に設けられたシャッターを閉じる等して、撮像素子に光が届かないようにした状態を指し、完全に遮断されずに漏れた光が撮像素子に入射されるような「実質的に光を遮断した状態」をも含む。また、この第１の画像信号が、これを撮像したときの暗電流に起因するノイズ成分とほぼ等しい。

この態様によれば、予め撮像した第１の画像信号の状態と、第２の画像信号の状態とを比較することにより、第１の画像信号を撮像した条件によって得られる画像信号の大きさと、第２の画像信号を撮像した条件によって得られる画像信号の大きさとの関係を判断することができるので、この関係に基づいて第１の画像信号から、第２の画像信号に含まれるノイズ成分を予測することができる。したがって、第２の画像からこの予測されたノイズ成分を減算することにより、ノイズ成分を精度良く除去することが可能となる。

この態様において、前記第１の画像信号の状態は、前記圧縮される前の第１の画像信号に含まれる遮光領域から出力された信号の大きさであり、前記第２の画像信号の状態は、この第２の画像信号に含まれる遮光領域から出力された信号の大きさであってもよい。また、前記ノイズ成分予測部は、前記第２の画像信号に含まれる遮光領域から出力された信号の大きさと、前記圧縮される前の第１の画像信号に含まれる遮光領域から出力された信号の大きさとの比率を求め、前記伸張された第１の画像信号に対して前記比率を乗ずることによって、前記第２の画像信号に含まれるノイズ成分を予測してもよい。

第２の画像信号に含まれる光が入射されない領域から出力された信号は、第２の画像信号を撮像した条件において発生した暗電流に起因するノイズ成分とほぼ等しい。また、第１の画像信号に含まれる光が入射されない領域から出力された信号は、第１の画像信号を撮像した条件で発生した暗電流に起因するノイズ成分とほぼ等しい。したがって、これらの信号の大きさとの比率を求め、この比率を第１の画像信号に対して乗ずることにより、第２の画像信号に含まれるノイズ成分を予測することができるので、第２の画像からこの予測されたノイズ成分を減算することにより、ノイズ成分を精度良く除去することが可能となる。

この態様において、前記第２の画像信号に含まれるノイズ成分を予測するための前処理を、前記圧縮された第１の画像信号に対して行う前処理部を更に備え、前記伸張部は、この前処理された第１の画像信号を伸張してもよい。これによれば、第２の画像信号に含まれるノイズ成分を予測するための前処理を、一度圧縮された第１の画像信号を伸張した状態で行うのではなく、圧縮された状態のまま行う。圧縮された画像信号は、伸張された画像信号と比べてデータ量が小さいため、演算量を削減することが可能となる。

この態様において、前記前処理部は、前記圧縮された第１の画像信号を低周波成分と高周波成分とに分離するものであり、前記伸張部は、前記低周波成分と高周波成分とで個別に伸張し、前記ノイズ成分予測部は、前記伸張された高周波成分から前記第２の画像信号に含まれるノイズ成分の高周波成分を予測した上で、前記伸張された低周波成分と足し合わせることによって、前記第２の画像信号に含まれるノイズ成分を予測してもよい。一般に画像信号に含まれる暗電流ノイズは高周波成分を多く含み、温度や露光時間といった撮像条件に大きく影響される。一方、低周波成分は電源やデバイスの特性によるノイズが支配的で、これは温度や露光時間といった撮像条件の影響が比較的少ない。これによれば、撮像条件の影響の少ない低周波成分を除き、撮像条件の影響の大きい高周波成分に対して予測処理を行うため、より正確なノイズ成分の予測が可能となる。したがって、画像に含まれるノイズ成分を精度よく除去することができる。

この態様において、前記第１の画像信号の状態は、前記圧縮される前の第１の画像信号に含まれる遮光領域から出力された信号の高周波成分の大きさであり、前記第２の画像信号の状態は、この第２の画像信号に含まれる遮光領域から出力された信号の高周波成分の大きさであって、前記ノイズ成分予測部は、前記第２の画像信号に含まれる遮光領域から出力された信号の高周波成分の大きさと、前記圧縮される前の第１の画像信号に含まれる遮光領域から出力された信号の高周波成分の大きさとの比率を求め、前記伸張された第１の画像信号の高周波成分に対して前記比率を乗ずることにより、前記第２の画像信号に含まれるノイズ成分の高周波成分を予測してもよい。このように、第１の画像信号及び第２の画像信号それぞれに対し、光が入射されない領域に属する一部若しくは全部の画素を用いて高周波成分同士を比較してその比率を算出し、更に第１の画像信号の高周波成分に対して算出した比率を乗算することにより、第２の画像信号に含まれるノイズ成分を精度よく予測することが可能となり、精度のよいノイズ除去を行うことが可能となる。

この態様において、前記圧縮部は、前記第１の画像信号に対し、一部若しくは全部の画素が持つ前記第１の画像信号の大きさの分布を求め、この分布から前記第１の画像信号の取る大きさのピークを含む範囲を特定し、この範囲の中で量子化の閾値を設定するノイズ分布分析部と、前記第１の画像信号に対して、前記閾値を基に量子化を行う量子化部と、を備えてもよい。これによれば、第１の画像信号を記憶する際、第１の画像信号が取る大きさのピークを含む範囲内で量子化圧縮を行うため、高周波成分が多いというノイズの特性を保ちつつ第１の画像信号を圧縮して記憶させることが可能である。

（第３の手段）
第３の手段における本発明のある態様は、ノイズ除去装置に関する。この装置は、撮像素子から出力された画像信号から、撮像素子の暗電流に起因する固定パターンノイズを除去する固定パターンノイズ除去部と、前記固定パターンノイズが除去された画像信号から、入射光に起因するスミアノイズを除去するスミアノイズ除去部と、を備える。

この態様によれば、温度依存性を持ち、露光時間に比例して増大する固定パターンノイズが、スミアノイズを除去する前に画像信号から取り除かれる。したがって、この固定パターンノイズが除去された画像信号を用いてスミアノイズを推定でき、精度よくスミアノイズを除去することが可能である。

この態様において、固定パターンノイズ除去部として、上述の第１の手段または第２の手段に記載したノイズ除去装置を利用してもよい。この態様によれば、効果的に固定パターンノイズを除去することができる。

この態様において、スミアノイズ除去部は、固定パターンノイズが除去された画像信号から、撮像素子の各受光ビットに蓄積される情報電荷が１行ずつ垂直方向に転送される毎に各受光ビットから混入されるスミア電荷の量が順次累加算された値を減算することによりスミアノイズを除去してもよい。この態様によれば、効果的にスミアノイズを除去することができる。

この態様において、スミアノイズが除去された画像信号から、撮像素子の製造時の欠陥に起因する固定欠陥ノイズを除去する固定欠陥ノイズ除去部を更に備えてもよい。この態様によれば、固定欠陥ノイズを除去する前にスミアノイズが除去されるので、スミアノイズによって飽和した信号レベルに影響されることなく、欠陥画素の判定を行うことが可能である。さらに、固定欠陥ノイズを除去する際、補間画像信号を、ノイズレベルの大きな固定パターンノイズやスミアノイズが除去された画像信号から生成することができるので、より自然に固定欠陥ノイズを除去することが可能となる。

この態様において、固定欠陥ノイズ除去部は、撮像素子の画素毎に固定欠陥であるかどうかを判定し、固定欠陥と判定した場合は、周辺の画素から補間値を算出してその値に置換してもよい。この態様によれば、効果的に固定欠陥ノイズを除去することができる。

この態様において、前記固定欠陥ノイズが除去された画像信号から、撮像素子の熱的な揺らぎに起因するランダムノイズを除去するランダムノイズ除去部を更に備えてもよい。

この態様によれば、他のノイズ成分が除去され、各画素が持つ画像信号が真の値に近い状態になった段階で、周辺画素の特徴から推定補間する方法を用いてランダムノイズを除去するので、精度よくランダムノイズを除去することが可能である。

この態様において、画像信号に含まれるオフセット成分を除去するオフセット除去部を更に備え、オフセット除去部に入力される画像信号は、固定パターンノイズ除去部によって固定パターンノイズが除去されたものであってもよい。

この態様によれば、固定パターンノイズを除去した後にオフセット成分を算出するので、オフセット成分の算出に固定パターンノイズの影響を受けることがなく、精度よくオフセット成分を除去することが可能となる。

オフセット除去部は、当該オフセット除去部に入力された画像信号のうち、撮像素子の遮光領域に属するの画素の画像信号を抽出し、この抽出した画像信号の大きさの平均値をオフセット成分として算出するオフセット算出部と、当該オフセット除去部に入力される画像信号からオフセット成分を減算する減算部と、を備えてもよい。この態様によれば、効果的にオフセット成分を除去することができる。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

ノイズ除去装置において、ノイズ除去性能を高めることができる。

実施の形態１に係るデジタルカメラ１００の構成図である。暗電流ノイズ成分の大きさの分布を表した図である。暗電流ノイズ成分が取る大きさのピークを含む範囲を特定し、その範囲内で量子化の閾値及び代表値を算出することを説明するための図である。実施の形態２に係るデジタルカメラ１１０の構成図である。暗電流ノイズ成分を複数ラインに分割することを説明するための図である。実施の形態３に係るデジタルカメラ１２０の構成図である。実施の形態４に係るデジタルカメラ１１００の構成図である。暗電流ノイズ成分の大きさの分布を表した図である。暗電流ノイズ成分が取る大きさのピークを含む範囲を特定し、その範囲内で量子化の閾値及び代表値を算出することを説明するための図である。実施の形態５に係るデジタルカメラ２１００の構成図である。実施の形態５に係る固定パターンノイズ除去部２０１０の構成図である。実施の形態５に係るスミアノイズ除去部２０１１の構成図である。実施の形態５に係る固定欠陥ノイズ除去部２０１２の構成図である。固定欠陥の判定方法を説明するための図である。実施の形態６に係るデジタルカメラ２１１０の構成図である。実施の形態６に係るオフセット除去部２０１４の構成図である。

符号の説明

１、７、８、１００１暗電流ノイズ除去装置、２、１００２レンズ、３、１００３シャッター、４、１００４、２００２撮像素子、５、１００５Ａ／Ｄ変換部、６、１００６、２００５記録媒体、１０、２０、１０１０ノイズ分布分析部、１２、１０１２量子化部、１４、３０、１０１４、２０２０、２０５１メモリ、１６逆量子化部、１８、１０３０、２０２１、２０３０、２０５２減算部、２２、２０３２、２０４０ラインメモリ、２４帯域分離部、２８圧縮部、３２伸張部、３４、１０２８、２０３１加算部、１００、１１０、１２０、１１００、２１００、２１１０デジタルカメラ、１０１６低周波・高周波分離部、１０１８第１逆量子化部、１０２０第２逆量子化部、１０２２高周波抽出部、１０２４乗算係数設定部、１０２６、２０３４乗算部、２００１、２００６ノイズ除去装置、２００３アナログフロントエンド（ＡＦＥ）、２００４画像圧縮装置、２０１０固定パターンノイズ除去部、２０１１スミアノイズ除去部、２０１２固定欠陥ノイズ除去部、２０１３ランダムノイズ除去部、２０１４オフセット除去部、２０３３係数発生部、２０４１固定欠陥判定部、２０４２補間値算出部、２０４３補間値置換部、２０５０オフセット算出部。

（第１のグループ）
（実施の形態１）
図１は、本発明の好適な実施の形態１に係る暗電流ノイズ除去装置１を具備したデジタルカメラ１００の構成を示した図である。この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされた符号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

デジタルカメラ１００は、暗電流ノイズ除去装置１のほか、レンズ２、シャッター３、撮像素子４、Ａ／Ｄ変換部５と記録媒体６を備えている。被写体に反射された光はレンズ２、シャッター３を通して撮像素子４に入射される。撮像素子４は、入射された光を電気信号に変換し、それを画像信号として出力する。この撮像素子４の一例として、ＣＣＤやＣＭＯＳセンサなどがある。撮像素子４から出力された画像信号は、Ａ／Ｄ変換部５にて例えば１０ビットのデジタル信号に変換された後、暗電流ノイズ除去装置１によって暗電流ノイズが除去されて、記録媒体６に記録される。

暗電流ノイズ除去装置１は、あらかじめシャッター３を閉じた状態で撮像素子４によって撮像され、Ａ／Ｄ変換部５によってデジタル信号に変換された画像信号を、暗電流ノイズ成分として記憶しておき、実際の撮像時に撮像された画像信号からこの暗電流ノイズ成分を差し引いて、暗電流ノイズを除去する。この暗電流ノイズ成分を記憶する際、画像を構成する全画素の暗電流ノイズ成分の大きさの分布を求め、この分布から暗電流ノイズ成分のピークを含む範囲を調べ、その範囲内で量子化圧縮を行う。なお、ここで言う暗電流ノイズ成分の大きさは、Ａ／Ｄ変換部５によって得られたデジタル信号で表される値のことである。

暗電流ノイズ除去装置１の構成を以下に説明する。暗電流ノイズ除去装置１は、ノイズ分布分析部１０、量子化部１２、メモリ１４、逆量子化部１６、減算部１８を備えている。ノイズ分布分析部１０は、シャッター３を閉じて撮像したときに得られる暗電流ノイズ成分において、全画素において、その取り得る値毎にそれぞれ何画素出現したかを全画素に対してカウントし、その分布を求める。

例えば、１０画素で構成される画像の暗電流ノイズ成分が、各画素毎に以下の値を持っていたとする。

｛１，３，２，５，３，３，４，５，３，２｝
暗電流ノイズ成分が０〜７の値を持つことができる場合、ノイズ分布分析部１０は、それぞれの値の出現画素数を次のように求める。

値０：０画素、値１：１画素、値２：２画素、値３：４画素、値４：１画素、
値５：２画素、値６：０画素、値７：０画素。

実際に撮像素子４から得られる画像の画素数は数十万から数百万画素である。また、暗電流ノイズ成分が取り得る値は、Ａ／Ｄ変換部５の分解能によって決まる。例えば、Ａ／Ｄ変換部５が１０ビットの分解能を持っていた場合、暗電流ノイズ成分が取り得る値は０〜１０２３である。この場合、ノイズ分布分析部１０は、撮像素子４によって得られた全画素の暗電流ノイズ成分に対して、その取り得る値０〜１０２３それぞれの出現画素数を求めることになる。その結果、図２のような分布を得ることができる。

ノイズ分布分析部１０は、暗電流ノイズ成分の分布を求めた後、図３に示すように暗電流ノイズ成分が集中している範囲Ａ〜Ｂを特定する。例えば、この範囲の下限Ａは、分布を求めるときに使用した画素の数をｘとしたとき、画素値の小さいほうから数えてｘ／５１２画素目の画素がもつ暗電流ノイズ成分の値とする。また、上限Ｂは、画素値の大きいほうから数えてｘ／５１２画素目の画素がもつ暗電流ノイズ成分の値とする。なお、この除数は５１２に限らず任意の値であってよい。また、下限Ａと上限Ｂで異なる除数を用いてもよい。さらに、除数を可変として外部より設定できるようにしてもよい。

また、この範囲の下限Ａと上限Ｂを求める別の方法として、暗電流ノイズ成分の分布がピークの位置を特定し、下限Ａからこのピークまでに存在する画素の数と、上限Ｂからこのピークまでに存在する画素の数が、ある一定の画素数となるように下限Ａと上限Ｂを定めてもよい。

ノイズ分布分析部１０は、範囲Ａ〜Ｂを特定した上で、この範囲内に閾値を設けて量子化圧縮するように、量子化の閾値と代表値を算出する。例えば、図３のように暗電流ノイズ成分をＮ段階に量子化する場合を考える。そして、暗電流ノイズ成分の値のゼロの方から、量子化レベル０、量子化レベル１、量子化レベル２とし、暗電流ノイズ成分の値が一番大きい箇所を量子化レベル（Ｎ−１）とする。また、これらをまとめて量子化レベルｎ（ｎ＝０、１、２、・・・、Ｎ−１）と表記する。ノイズ分布分析部１０は、量子化レベルｎと量子化レベル（ｎ＋１）との間の閾値ＴＨｎ及び量子化レベルｎの代表値Ｖｎを以下の式によって求める。これらの値を量子化部１２へ送る。

ＴＨｎ＝ＤＡ＋（２ｎ＋１）・（ＤＢ−ＤＡ）／（２・（Ｎ−１））・・・（１）
Ｖｎ＝ＤＡ＋２ｎ・（ＤＢ−ＤＡ）／（２・（Ｎ−１））・・・（２）
ここで、ＤＡ、ＤＢは下限Ａ及び上限Ｂにおける暗電流ノイズ成分の値を表す。これらの値のうち、閾値ＴＨｎは量子化部１２に送られる一方、代表値Ｖｎは逆量子化部１６に送られる。

量子化部１２は、シャッター３を閉じて撮像したときに得られる暗電流ノイズ成分に対して、ノイズ分布分析部１０で求められた量子化の閾値を参照しながら量子化を行う。例えば、暗電流ノイズ成分の大きさをａとした時、式（１）によって求められた閾値ＴＨｎを参照しながら以下に説明する方法によって量子化を行い、量子化後データαを得る。

もし、暗電流ノイズ成分ａが閾値ＴＨ０未満であった場合、量子化データαは０とする。また、暗電流ノイズ成分ａが閾値ＴＨ（Ｎ−２）以上であった場合、量子化データαは（Ｎ−１）とする。そして、暗電流ノイズ成分ａが閾値ＴＨ（ｎ−１）以上ＴＨｎ未満であった場合、量子化データαはｎとする。なお、ノイズ分布分析部１０と量子化部１２が、本発明の「ノイズ成分の量子化を行う手段」の一例である。

この方法により、量子化部１２で量子化されたデータαは、メモリ１４に記憶される。この際、メモリ１４に必要な容量は、暗電流ノイズ成分を量子化しなかった場合と比較して少なくてよい。例えば、Ｎを１６とした場合、量子化データαは０〜１５の値を取る。すなわち、１画素がもともと１０ビットで表されていた暗電流ノイズ成分は、量子化後に４ビットで表現することが可能である。したがって、仮にメモリに１００万画素の暗電流ノイズ成分をメモリ１４に記憶する場合、量子化しなかった場合は、１０００万ビットの容量が必要であるのに対し、量子化した場合は４００万ビットあればよい。

逆量子化部１６は、実際の撮像時にシャッター３が開いた状態で撮像された画像信号がＡ／Ｄ変換部５から出力されるタイミングに合わせて、メモリ１４から量子化された暗電流ノイズ成分を読み出し、ノイズ分布分析部１０から入力された代表値を参照しながら逆量子化して復号する。逆量子化方法は、メモリ１４から読み出した量子化データαをそのまま量子化レベルｎに読み替えて（すなわちｎ＝α）、この量子化レベルｎに対応する代表値Ｖｎを減算部１８に出力する。減算部１８は、実際の撮像時に撮像された画像信号から逆量子化部１６にて逆量子化された暗電流ノイズ成分を差し引く。

斯かる構成に基づき、図１に示したデジタルカメラの動作を説明する。まず、シャッター３を閉じた状態で撮像素子４は画像を撮像する。この時、撮像素子４には光が入射され
ていないため、撮像素子４から出力される信号は暗電流ノイズ成分である。

この暗電流ノイズ成分はＡ／Ｄ変換部５にてデジタル信号に変換された後、ノイズ分布分析部１０に入力される。ノイズ分布分析部１０では、全画素の暗電流ノイズ成分からその大きさの分布を求め、この分布から暗電流ノイズ成分のピークを含む範囲を調べて、その範囲内で量子化の閾値ＴＨｎと代表値Ｖｎを算出しておく。

次に、再度シャッター３を閉じた状態で撮像素子４にて暗電流ノイズ成分を撮像する。この暗電流ノイズ成分はＡ／Ｄ変換部５でデジタル信号に変換された後、今度は量子化部１２に入力される。量子化部１２は、ノイズ分布分析部１０によって求められた閾値を基に、暗電流ノイズ成分を量子化し、メモリ１４はこの量子化された暗電流ノイズ成分を記憶する。

以上までの動作が、実際に被写体を撮像する前の段階までの動作である。ここまでの動作、すなわち、メモリ１４に量子化された暗電流ノイズ成分を記憶させるのは、毎回の撮像時に行ってもよいし、デジタルカメラの電源投入時に行ってもよい。毎回の撮像時に行う場合には、図示しない撮像時検出部を設け、撮像時を検出したら暗電流ノイズ除去装置１に暗電流ノイズ成分を量子化して記憶するよう指示する構成とすればよい。暗電流ノイズは、撮像素子周辺の温度環境に影響されやすいため、撮像直前に記憶する場合に最も精度よく暗電流ノイズ成分の値を取得することができる。電源投入時に行う場合には、図示しない電源投入時検出部を設け、電源投入を検知したら暗電流ノイズ除去装置１に暗電流ノイズ成分を量子化して記憶するように指示する構成とすればよい。

また、メモリ１４に量子化された暗電流ノイズ成分を記憶させるのは、デジタルカメラの製造時に行っておいてもよい。また、デジタルカメラに図示しないタイマーを設け、一定期間ごとに暗電流ノイズ除去装置１に暗電流ノイズ成分を量子化して記憶するように指示する構成にしてもよい。

次に、実際に被写体を撮像する場合の動作について説明する。今度はシャッター３を開いた状態で撮像素子４にて画像を撮像する。撮像素子４から出力された画像信号は、Ａ／Ｄ変換部５でデジタル信号に変換されたあと、減算部１８に送られる。一方、逆量子化部１６は、Ａ／Ｄ変換部５から画像信号が出力されるタイミングに合わせて、メモリ１４に記憶された量子化された暗電流ノイズ成分を読み出すとともに、ノイズ分布分析部１０で算出された代表値を参照しながら、暗電流ノイズ成分を逆量子化する。この逆量子化された暗電流ノイズ成分は減算部１８に入力され、減算部１８によって画像信号から逆量子化された暗電流ノイズ成分を差し引く。これにより、画像信号から暗電流ノイズ成分を除去することができる。そして、暗電流ノイズ成分が除去された画像信号が記録媒体６に記録される。

以上、本発明に好適な実施の形態１によれば、以下の作用効果を有する。

（１）暗電流ノイズ成分を量子化することにより暗電流ノイズ成分の情報量を大幅に削減することができ、暗電流ノイズ成分を記憶させるのに必要なメモリの容量を小さくすることができる。

（２）量子化を行う際、暗電流ノイズ成分の大きさの分布を求め、その分布から暗電流ノイズ成分の取る大きさのピークを含む範囲を特定し、その範囲内において量子化圧縮を行うため、高周波成分が多いノイズの特性を保ちながら暗電流ノイズ成分を圧縮することが可能である。

（３）従来例のように暗電流ノイズ成分をブロックに分割し直交変換した上で量子化した場合、ブロック毎に量子化のパラメータが異なるため、これを逆量子化したときに、ブロック境界上にノイズが発生する。これに対し、本実施の形態では、暗電流ノイズ成分全体にわたって同じ閾値を用いて量子化を行うため、量子化した暗電流ノイズ成分を逆量子化した場合に、上記のようなノイズは発生しない。

（４）異なる時刻において撮像された２つの暗電流ノイズ成分を使用して、量子化閾値の設定と量子化を行うので、撮像した暗電流ノイズ成分を一時的に記憶しておく必要がなく、メモリ容量を削減することができる。つまり、最初に取得した暗電流ノイズ成分を用いて量子化閾値の設定を行うが、その量子化閾値設定の瞬間だけ暗電流ノイズ成分を保持していればよく、その後は暗電流ノイズ成分のデータを消去してもよい。また、次に取得した暗電流ノイズ成分を用いて量子化を行うが、その量子化の瞬間だけ暗電流ノイズ成分を保持していればよく、その後は暗電流ノイズ成分のデータを消去してもよい。量子化閾値設定処理と量子化処理との間に暗電流ノイズ成分を保持しておく必要がなくなるので、メモリ容量を削減することができる。

（実施の形態２）
図４は、本発明の好適な実施の形態２に係る暗電流ノイズ除去装置７を具備したデジタルカメラ１１０の構成を示した図である。このデジタルカメラ１１０は、実施の形態１に係るデジタルカメラ１００のノイズ分布分析部１０とは機能の異なるノイズ分布分析部２０を配置し、さらにラインメモリ２２を付加した構成である。実施の形態１と同じ構成については同符号を付し、説明を省略する。

実施の形態２におけるノイズ分布分析部２０が、実施の形態１におけるノイズ分布分析部１０と異なる点は、暗電流ノイズ成分の大きさの分布を全画素にわたって行うのではなく、暗電流ノイズ成分を図５のように複数ライン毎の領域に分割し、その分割された範囲内で暗電流ノイズ成分の大きさの分布を求め、量子化の閾値と代表値を算出する点にある。また、ノイズ分布分析部２０は、量子化の閾値及び代表値を算出した複数ラインの暗電流ノイズ成分を、ラインメモリ２２に記憶させておく。

斯かる構成に基づき、図４に示したデジタルカメラの動作を説明する。まず、シャッター３を閉じた状態で撮像素子４は暗電流ノイズ成分を撮像する。この暗電流ノイズ成分はＡ／Ｄ変換部５にてデジタル信号に変換された後、ノイズ分布分析部２０に入力される。ノイズ分布分析部２０は、最初の複数ラインに在る画素の暗電流ノイズ成分から、その大きさの分布を求め、この分布に基づき量子化の閾値と代表値を算出しておく。また、ノイズ分布分析部２０は、分布を求め、量子化の閾値と代表値を算出した複数ラインの暗電流ノイズ成分をラインメモリ２２に記憶させる。

次に、量子化部１２は、ラインメモリ２２に記憶された暗電流ノイズ成分を読み出し、ノイズ分布分析部２０によって算出された閾値を参照しながら量子化を行って、この量子化された暗電流ノイズ成分をメモリ１４に記憶する。この時、ノイズ分布分析部２０は、次の複数ラインに存在する画素に対して暗電流ノイズ成分の大きさの分布を求め、この分布から量子化の閾値と代表値を算出しておくとともに、この複数ラインの暗電流ノイズ成分をラインメモリ２２に上書きする。以後、ノイズ分布分析部２０と量子化部１２、及びラインメモリ２２が複数ライン毎に上記動作を繰り返すことにより、暗電流ノイズ成分の全画素に対して、量子化圧縮を行ったうえで、メモリ１４に量子化された暗電流ノイズ成分を記憶させておくことが可能である。

以上までの動作が、実際に被写体を撮像する前の段階までの動作である。実際に被写体を撮像する場合の動作については、実施の形態１に記載した動作と同一であるので省略する。

以上、本実施の形態２によれば、高周波成分の多い特性を保ちつつ、暗電流ノイズ成分を高圧縮して記憶させるという作用効果に加えて、以下の作用効果を享受することができる。すなわち、本実施の形態２では、暗電流ノイズ成分を複数の領域に分け、領域毎に暗電流ノイズ成分の大きさの分布を求め、量子化の閾値と代表値を算出するとともに、この閾値と代表値を算出した領域の暗電流ノイズ成分をラインメモリに一旦格納し、このラインメモリに格納された暗電流ノイズ成分に対して量子化を行うので、暗電流ノイズ成分を撮像する回数が１回で済み、暗電流ノイズ成分の量子化が簡単かつ短時間に行うことが可能である。

（実施の形態３）
図６は、本発明の好適な実施の形態３に係る暗電流ノイズ除去装置８を具備したデジタルカメラ１２０の構成を示した図である。このデジタルカメラ１２０は、実施の形態１に係るデジタルカメラ１００に帯域分離部２４、圧縮部２８、メモリ３０、伸張部３２及び加算部３４を付加した構成である。実施の形態１と同じ構成については同符号を付し、説明を省略する。

帯域分離部２４は、暗電流ノイズ成分を低周波成分と高周波成分とに分離する。圧縮部２８は、帯域分離部２４で分離された低周波成分に対して圧縮処理を行う。圧縮方法としては、圧縮対象の画素と隣接する画素とで低周波成分同士の差分を取る方法や、所定の量子化係数で低周波成分を除算して量子化する方法などがある。もしくは、所定の画素間隔で低周波成分を抽出し、それ以外の画素の低周波成分を破棄してもよく、これらの方法の組み合わせであってもよい。メモリ３０は、圧縮部２８で圧縮された低周波成分を記憶する。

伸張部３２は、メモリ３０に記憶された圧縮された低周波成分を読み出し、伸張処理を行う。例えば、低周波成分が圧縮部２８にて圧縮対象の隣接する画素と低周波成分同士の差分を取る方法によって圧縮された場合、メモリ３０に記憶された値と隣接する画素の低周波成分を加算することにより伸張処理を行う。また、所定の量子化係数で除算して量子化する方法によって圧縮された場合は、メモリ３０に記憶された値に量子化係数を乗算することにより伸張処理を行う。また、所定の画素間隔で低周波成分を抽出し、それ以外の画素の低周波成分を破棄する方法によって圧縮された場合は、メモリ３０に記憶された画素の低周波成分をフィルタ処理することにより、すべての画素の低周波成分を求めて、伸張処理を行う。

なお、ノイズ分布分析部１０、量子化部１２、メモリ１４及び逆量子化部１６は、実施の形態１に係るデジタルカメラに具備されたものと同じ機能を有するが、これらは帯域分離部２４にて分離された暗電流ノイズの高周波成分に対して働く。

加算部３４は、伸張部３２にて伸張された暗電流ノイズの低周波成分と、逆量子化部１６で逆量子化された暗電流ノイズの高周波成分を加算して、暗電流ノイズを復号する。

斯かる構成に基づき、図６に示したデジタルカメラの動作を説明する。まず、シャッター３を閉じた状態で撮像された暗電流ノイズ成分は、Ａ／Ｄ変換部５でデジタル信号に変換された後、帯域分離部２４にて低周波成分と高周波成分とに分離される。そして、ノイズ分布分析部１０は、全画素にわたって高周波成分の大きさの分布を求め、この分布に基づき高周波成分に対する量子化の閾値と代表値を算出する。

次に、再びシャッター３を閉じた状態で撮像素子４にて暗電流ノイズ成分が撮像され、Ａ／Ｄ変換部５でデジタル信号に変換された後、帯域分離部２４にて低周波成分と高周波成分とに分離される。そして、低周波成分は圧縮部２８で圧縮され、メモリ３０にこの圧縮された低周波成分が記憶される。また、高周波成分は量子化部１２に入力され、ノイズ分布分析部１０によって求められた閾値を基に量子化されて、メモリ１４にこの量子化された高周波成分が記憶される。

以上までの動作が、実際に被写体を撮像する前の段階までの動作である。次に、実際に被写体を撮像する場合の動作について説明する。今度はシャッター３を開いた状態で撮像素子４にて画像を撮像する。撮像素子４から出力された画像信号は、Ａ／Ｄ変換部５でデジタル信号に変換されたあと、減算部１８に送られる。一方、伸張部３２は、Ａ／Ｄ変換部５から画像信号が出力されるタイミングに合わせて、メモリ３０に記憶された量子化された暗電流ノイズの低周波成分を読み出すとともに、暗電流ノイズの低周波成分を伸張する。

同様に、逆量子化部１６は、Ａ／Ｄ変換部５から画像信号が出力されるタイミングに合わせて、メモリ１４に記憶された量子化された暗電流ノイズの高周波成分を読み出すとともに、ノイズ分布分析部１０で算出された代表値を参照しながら、暗電流ノイズの高周波成分を逆量子化する。そして、これら逆量子化された低周波成分及び高周波成分を加算部３４で加算することにより暗電流ノイズ成分を復号する。そして、この暗電流ノイズ成分が減算部１８に入力され、減算部１８によって画像信号から逆量子化された暗電流ノイズ成分を差し引くことにより、画像信号から暗電流ノイズ成分を除去する。

暗電流ノイズ自身は画素ごとに異なるため高周波成分が支配的であり、デバイスの特性や電源によっては取得したノイズ情報に低周波成分が混入する場合がある。本実施の形態３によれば、以下の作用効果を享受することができる。

（１）暗電流ノイズを低周波成分と高周波成分とに分離し、暗電流ノイズにおいて支配的な高周波成分に対して、その大きさの分布を求め、その分布から暗電流ノイズの高周波成分の取る大きさのピークを含む範囲を特定し、その範囲内において量子化圧縮を行うことにより、より精度よく暗電流ノイズを復元することが可能である。

（２）低周波成分及び高周波成分それぞれに対して独立した圧縮方法を適用するので、それぞれの成分の特性に合わせて圧縮することができ、より精度よく暗電流ノイズを復元することが可能である。

以上、本発明を実施の形態１〜３をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を以下に示す。

上記の実施の形態では、デジタルカメラの例を示したが、それに限らず、撮像素子を備えたものであれば、本発明の実施の形態に係る暗電流ノイズ除去装置を備えることができる。

上記の実施の形態２では、ラインメモリを設けて暗電流ノイズ成分を複数の領域に分割し、この分割した範囲で量子化の閾値を決定し、量子化を行う例を示したが、これに上記実施の形態１に記載したように、異なる時間に撮像した２つの暗電流ノイズ成分のうち、一方の暗電流ノイズ成分から量子化の閾値を決定し、もう一方の暗電流ノイズ成分に対して量子化を施す処理を加えてもよく、どちらの量子化方法を使用するかを選択可能にしてもよい。

これらの量子化方法を選択可能とすることにより、暗電流ノイズ除去装置を搭載するシステムの性能や、撮影する画像の画素数、もしくは使用者が設定した撮影モードなどに応じて、最適な量子化方法を選ぶことが可能となる。

上記実施の形態３において、ラインメモリを上記実施の形態２のようにノイズ分布分析部１０と量子化部１２との間に付加し、これらのラインメモリにノイズ分布分析部１０及び２６にて使用された複数ラインの低周波成分及び高周波成分を記憶させてもよい。これにより、上記実施の形態３においても、暗電流ノイズ成分を複数ラインに分割し、この分割された範囲で暗電流ノイズ成分の量子化閾値の設定及び量子化を行うことができ、したがって上記実施の形態２と同様の作用効果を享受することができる。

（第２のグループ）
（実施の形態４）
図７は、本発明の好適な実施の形態４に係る暗電流ノイズ除去装置１００１を具備したデジタルカメラ１１００の構成を示した図である。この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされた符号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

デジタルカメラ１１００は、暗電流ノイズ除去装置１００１のほか、レンズ１００２、シャッター１００３、撮像素子１００４、Ａ／Ｄ変換部１００５と記録媒体１００６を備えている。被写体に反射された光はレンズ１００２、シャッター１００３を通して撮像素子１００４に入射される。撮像素子１００４は、入射された光を電気信号に変換し、それを画像信号として出力する。この撮像素子１００４の一例として、ＣＣＤやＣＭＯＳセンサなどがある。撮像素子１００４から出力された画像信号は、Ａ／Ｄ変換部１００５にて例えば１０ビットのデジタル信号に変換される。このデジタル信号で表される値が、本発明の「画像信号の大きさ」に相当する。また、デジタル信号に変換された画像信号を低周波成分と高周波成分とに分離された場合、デジタル信号で表されるそれぞれの成分の値も「画像信号の大きさ」に含まれる。

Ａ／Ｄ変換部にてデジタル信号に変換された画像信号は、暗電流ノイズ除去装置１００１によって暗電流ノイズが除去されて、記録媒体１００６に記録される。

暗電流ノイズ除去装置１００１は、あらかじめシャッター１００３を閉じた状態で撮像素子１００４によって撮像され、Ａ／Ｄ変換部１００５によってデジタル信号に変換された画像信号を、暗電流ノイズ成分として記憶しておき、実際の撮像時に撮像された画像信号からこの暗電流ノイズ成分を差し引いて、暗電流ノイズを除去する。この暗電流ノイズ成分を記憶する際、画像を構成する全画素の暗電流ノイズ成分の大きさの分布を求め、この分布から暗電流ノイズ成分のピークを含む範囲を調べ、その範囲内で量子化圧縮を行う。なお、ここで言う暗電流ノイズ成分の大きさは、Ａ／Ｄ変換部１００５によって得られたデジタル信号で表される値のことである。

また、暗電流ノイズ除去装置１００１は、暗電流ノイズ成分を画像信号から差し引く際に、予め暗電流ノイズ成分を撮像した時の状態と、画像信号を撮像したときの状態とを比較し、この比較に基づいて予め撮像した暗電流ノイズ成分から、画像信号に含まれる暗電流ノイズ成分を予測する。例えば、撮像素子１００４には常に光の入射されない領域が存在するため、その領域から出力される画像信号は、その画素における暗電流ノイズ成分と見なすことが出来る。そこで、光を入射した状態で撮像した画像信号のうち、常に光の入射されない領域（遮光領域）に属する画素から出力された画像信号と、予め撮像した暗電流ノイズ成分のうち、同じ画素から出力された暗電流ノイズ成分との比率を求め、この比率を予め撮像した暗電流ノイズ成分全体に乗ずることにより、画像信号に含まれる暗電流ノイズ成分を精度良く予測している。

更に暗電流ノイズ除去装置１００１は、予め撮像した暗電流ノイズ及び遮光領域から出力された画像信号を低周波成分と高周波成分とに分離し、これらの高周波成分同士を比較して、予め撮像した暗電流高周波成分を用いて、前述の予測を行うようにしている。これは、暗電流ノイズが各画素毎にばらついて発生するため高周波成分を多く含み、かつ場所による影響を受けないものである一方、低周波成分には電源やデバイスの特性など場所による影響を受けるノイズが支配的となるため、低周波成分を含めて予測処理を行うと、正しく暗電流ノイズを予測することができないためである。

暗電流ノイズ除去装置１００１の構成を以下に説明する。暗電流ノイズ除去装置１００１は、ノイズ分布分析部１０１０、量子化部１０１２、メモリ１０１４、第１逆量子化部１０１８、第２逆量子化部１０２０、高周波抽出部１０２２、乗算係数設定部１０２４、乗算部１０２６、加算部１０２８及び減算部１０３０を備えている。ノイズ分布分析部１０１０は、シャッター１００３を閉じて撮像したときに得られる暗電流ノイズ成分について、その取り得る値毎にそれぞれ何画素出現したかを全画素に対してカウントし、その分布を求める。

｛１，３，２，５，３，３，４，５，３，２｝
暗電流ノイズ成分が０〜７の値を持つことができる場合、ノイズ分布分析部１０１０は、それぞれの値の出現画素数を次のように求める。

実際に撮像素子１００４から得られる画像の画素数は数十万から数百万画素である。また、暗電流ノイズ成分が取り得る値は、Ａ／Ｄ変換部１００５の分解能によって決まる。例えば、Ａ／Ｄ変換部１００５が１０ビットの分解能を持っていた場合、暗電流ノイズ成分が取り得る値は０〜１０２３である。この場合、ノイズ分布分析部１０１０は、撮像素子１００４によって得られた全画素の暗電流ノイズ成分に対して、その取り得る値０〜１０２３それぞれの出現画素数を求めることになる。その結果、図８のような分布を得ることができる。

ノイズ分布分析部１０１０は、暗電流ノイズ成分の分布を求めた後、図９に示すように暗電流ノイズ成分のピークを含む範囲Ａ〜Ｂを特定する。例えば、この範囲の下限Ａは、分布を求めるときに使用した画素の数をｘとしたとき、画素値の小さいほうから数えてｘ／５１２画素目の画素がもつ暗電流ノイズ成分の値とする。また、上限Ｂは、画素値の大きいほうから数えてｘ／５１２画素目の画素がもつ暗電流ノイズ成分の値とする。なお、この除数は５１２に限らず任意の値であってよい。また、下限Ａと上限Ｂで異なる除数を用いてもよい。さらに、除数を可変として外部より設定できるようにしてもよい。

ノイズ分布分析部１０１０は、範囲Ａ〜Ｂを特定した上で、この範囲内に閾値を設けて量子化圧縮するように、量子化の閾値と代表値を算出する。例えば、図９のように暗電流ノイズ成分をＮ段階に量子化する場合を考える。そして、暗電流ノイズ成分の値のゼロの方から、量子化レベル０、量子化レベル１、量子化レベル２とし、暗電流ノイズ成分の値が一番大きい箇所を量子化レベル（Ｎ−１）とする。また、これらをまとめて量子化レベルｎ（ｎ＝０、１、２、・・・、Ｎ−１）と表記する。ノイズ分布分析部１０１０は、量子化レベルｎと量子化レベル（ｎ＋１）との間の閾値ＴＨｎ及び量子化レベルｎの代表値Ｖｎを以下の式によって求める。

ＴＨｎ＝ＤＡ＋（２ｎ＋１）・（ＤＢ−ＤＡ）／（２・（Ｎ−１））・・・（３）
Ｖｎ＝ＤＡ＋２ｎ・（ＤＢ−ＤＡ）／（２・（Ｎ−１））・・・（４）
ここで、ＤＡ、ＤＢは下限Ａ及び上限Ｂにおける暗電流ノイズ成分の値を表す。閾値ＴＨｎは量子化部１０１２に送られる。また、閾値ＴＨｎ、代表値Ｖｎ及び下限Ａにおける暗電流ノイズ成分ＤＡは第１逆量子化部１０１８及び第２逆量子化部１０２０に送られる

量子化部１０１２は、シャッター１００３を閉じて撮像したときに得られる暗電流ノイズ成分に対して、ノイズ分布分析部１０１０で求められた量子化の閾値を参照しながら量子化を行う。例えば、暗電流ノイズ成分の大きさをａとした時、式（３）によって求められた閾値ＴＨｎを参照しながら以下に説明する方法によって量子化を行い、量子化後データαを得る。

もし、暗電流ノイズ成分ａが閾値ＴＨ０未満であった場合、量子化データαは０とする。また、暗電流ノイズ成分ａが閾値ＴＨ（Ｎ−２）以上であった場合、量子化データαは（Ｎ−１）とする。そして、暗電流ノイズ成分ａが閾値ＴＨ（ｎ−１）以上ＴＨｎ未満であった場合、量子化データαはｎとする。

この方法により、量子化部１０１２で量子化されたデータαは、メモリ１０１４に記憶される。この際、メモリ１０１４に必要な容量は、暗電流ノイズ成分を量子化しなかった場合と比較して少なくてよい。例えば、Ｎを１６とした場合、量子化データαは０〜１５の値を取る。すなわち、１画素がもともと１０ビットで表されていた暗電流ノイズ成分は、量子化後に４ビットで表現することが可能である。したがって、仮にメモリに１００万画素の暗電流ノイズ成分をメモリ１０１４に記憶する場合、量子化しなかった場合は、１０００万ビットの容量が必要であるのに対し、量子化した場合は４００万ビットあればよい。

低周波・高周波分離部１０１６は、実際の撮像時にシャッター１００３が開いた状態で撮像された画像信号がＡ／Ｄ変換部１００５から出力されるタイミングに合わせて、メモリ１０１４から量子化された暗電流ノイズ成分を読み出し、これを低周波成分と高周波成分とに分離する。例えば、低周波・高周波分離部１０１６は、ある画素Ｘの量子化された暗電流ノイズ成分Ｑ_ｘを次式に従って低周波成分Ｌ_ｘと高周波成分Ｈ_ｘとに分離する。

Ｌ_ｘ＝ｍｉｎ２（Ｑ_ｘ，Ｑ_ｘ＋１，Ｑ_ｘ＋２，・・・、Ｑ_ｘ＋１５）・・・（５）
Ｈ_ｘ＝Ｑ_ｘ−Ｌ_ｘ・・・（６）
ここでＱ_ｘ＋１〜Ｑ_ｘ＋１５は、画素Ｘの左横に隣接して存在する１５画素それぞれの量子化された暗電流ノイズ成分の大きさを表す。また、関数ｍｉｎ２は括弧内に列挙された値のうち、２番目に小さな値を出力する関数である。すなわち、（５）式、（６）式による低周波・高周波分離方法は、分離対象の画素とその画素の左横に隣接して存在する１５画素の計１６画素が持つ暗電流ノイズ成分の中で、２番目に小さい値を低周波成分とし、分離対象の画素の暗電流ノイズ成分から低周波成分を差し引いたものを高周波成分とする。ここで、低周波成分を１６画素の暗電流ノイズ成分の中の最小値としないのは、欠陥画素によって出力された低レベル信号を低周波成分としないようにするためである。

第１逆量子化部１０１８は、低周波・高周波分離部１０１６にて分離された高周波成分Ｈ_ｘに対して、ノイズ分布分析部１０１０から入力された閾値ＴＨｎと代表値Ｖｎを参照しながら、例えば以下の式によって逆量子化する。

ＩＨ_ｘ＝Ｈ_ｘ×（Ｖｎ−ＴＨｎ）・・・（７）
ここで、ＩＨ_ｘは逆量子化された暗電流ノイズの高周波成分であり、このＩＨ_ｘが乗算部１０２６に送られる。

また、第２逆量子化部１０２０は、低周波・高周波分離部１０１６にて分離された低周波成分Ｌ_ｘに対して、ノイズ分布分析部１０１０から入力された閾値ＴＨｎと代表値Ｖｎを参照しながら逆量子化して伸張する。

ＩＬ_ｘ＝Ｌ_ｘ×（Ｖｎ−ＴＨｎ）・・・（８）
ここで、ＩＬ_ｘは逆量子化された暗電流ノイズの低周波成分である。第２逆量子化部１０２０は、このＩＬ_ｘにノイズ分布分析部１０１０から入力された下限Ａにおける暗電流ノイズ成分の値ＤＡを加算した値を、加算部１０２８に送る。

高周波抽出部１０２２は、シャッター１００３を閉じた状態及びシャッター１００３を開いた状態で撮像された画像信号に対して、撮像素子１００４の端部に設けられた遮光領域から出力された画像信号から高周波成分を抽出し、この高周波成分の平均値を求めて、乗算係数設定部１０２４へ出力する。高周波成分は、低周波・高周波分離部１０１６と同様に（５）式・（６）式を用いて算出する。

乗算係数設定部１０２４は、予めシャッター１００３を閉じた状態で撮像された暗電流ノイズ成分から高周波抽出部１０２２で算出した遮光領域の高周波成分の平均値を取得し、記憶しておく。また、シャッター１００３が開いた状態で撮像された画像信号における遮光領域の高周波成分の平均値を高周波抽出部１０２２より得る。この状態で撮像された画像信号のうち遮光領域の画素から出力される画像信号は、画像を撮像した時点でのその画素における暗電流ノイズ成分である。したがって、予め記憶しておいた暗電流ノイズ成分における遮光領域の高周波成分の平均値との比率を求め、この比率を乗算係数として逆量子化された暗電流ノイズの高周波成分に乗ずることにより、撮像された画像信号に含まれる暗電流ノイズの高周波成分を予測することができる。

乗算部１０２６は、第１逆量子化部で伸張された暗電流ノイズ成分の高周波成分に対し、乗算係数設定部１０２４から出力された乗算係数を乗算することにより、画像信号に含まれた暗電流ノイズ成分の高周波成分を予測する。加算部１０２８は、この予測された高周波成分に、第２逆量子化部から出力された値を加算することにより、暗電流ノイズ成分を生成する。そして、減算部１０３０にて実際の撮像状態で撮像された画像信号から、加算部１０２８で生成された暗電流ノイズ成分を差し引くことにより、画像信号から暗電流ノイズを除去する。

斯かる構成に基づき、図７に示したデジタルカメラの動作を説明する。まず、シャッター１００３を閉じた状態で撮像素子１００４は画像を撮像する。この時、撮像素子１００４には光が入射されていないため、撮像素子１００４から出力される画像信号は暗電流ノイズ成分（Ａ）である。

この暗電流ノイズ成分（Ａ）はＡ／Ｄ変換部１００５にてデジタル信号に変換された後、ノイズ分布分析部１０１０に入力される。ノイズ分布分析部１０１０では、全画素の暗電流ノイズ成分から、その大きさの分布を求め、この分布に基づき量子化の閾値ＴＨｎと代表値Ｖｎを算出しておく。

次に、再度シャッター１００３を閉じた状態で撮像素子１００４にて暗電流ノイズ成分（Ｂ）を撮像する。この暗電流ノイズ成分（Ｂ）はＡ／Ｄ変換部１００５でデジタル信号に変換された後、今度は量子化部１０１２に入力される。量子化部１０１２は、ノイズ分布分析部１０１０によって求められた閾値Ｖｎを基に、暗電流ノイズ成分（Ｂ）を量子化する。メモリ１０１４はこの量子化された暗電流ノイズ成分（Ｂ）を記憶する。

また、この時撮像された暗電流ノイズ成分（Ｂ）は高周波抽出部１０２２にも入力される。高周波抽出部１０２２は、撮像素子１００４の遮光領域に含まれる暗電流ノイズ成分（Ｂ）から高周波成分を抽出し、その平均値を求める。この平均値は、乗算係数設定部１０２４に送られ、記憶される。

以上までの動作が、実際に被写体を撮像する前の段階までの動作である。ここまでの動作は毎回の撮像時に行ってもよいし、デジタルカメラの電源投入時に行ってもよい。毎回の撮像時に行う場合には、図示しない撮像時検出部を設け、撮像時を検出したら暗電流ノイズ除去装置１００１にこの段階までの動作をするよう指示する構成とすればよい。暗電流ノイズは、撮像素子周辺の温度環境に影響されやすいため、撮像直前に記憶する場合に最も精度よく暗電流ノイズ成分の値を取得することができる。電源投入時に行う場合には、図示しない電源投入時検出部を設け、電源投入を検知したら暗電流ノイズ除去装置１００１にこの段階までの動作をするように指示する構成とすればよい。

また、この実際に被写体を撮像する前の段階までの動作は、デジタルカメラの製造時に行っておいてもよい。また、デジタルカメラに図示しないタイマーを設け、一定期間ごとに暗電流ノイズ除去装置１００１にこの段階までの動作をするように指示する構成にしてもよい。

次に、実際に被写体を撮像する場合の動作について説明する。今度はシャッター１００３を開いた状態で撮像素子１００４にて画像（Ｃ）を撮像する。撮像素子１００４から出力された画像信号（Ｃ）は、Ａ／Ｄ変換部１００５でデジタル信号に変換されたあと、減算部１０３０に送られるとともに、高周波抽出部１０２２にも送られる。高周波抽出部１０２２は、撮像素子１００４の遮光領域に含まれる画像信号（Ｃ）から高周波成分を抽出し、その平均値を求め、これを乗算係数設定部１０２４に送る。乗算係数設定部１０２４は、高周波抽出部から送られてきた遮光領域に含まれる画像信号（Ｃ）の高周波成分の平均値と、記憶されている暗電流ノイズ成分（Ｂ）の高周波成分の平均値との比率を算出し、これを乗算係数として乗算部１０２６に送る。

一方、低周波・高周波分離部１０１６は、Ａ／Ｄ変換部１００５から画像信号（Ｃ）が出力されるタイミングに合わせて、メモリ１０１４に記憶された量子化された暗電流ノイズ成分（Ｂ）を読み出し、これを低周波成分（ＢＬ）と高周波成分（ＢＨ）とに分離する。分離された高周波成分（ＢＨ）は、第１逆量子化部１０１８で逆量子化された後、乗算部１０２６にて乗算係数設定部１０２４で求められた乗算係数が乗算されることにより画像信号に含まれる暗電流ノイズ成分の高周波成分が予測されて、加算部１０２８に送られる。また、分離された低周波成分（ＢＬ）は第２逆量子化部１０２０で逆量子化された後、加算部１０２８に送られる。

加算部１０２８は、逆量子化された暗電流ノイズの低周波成分（ＢＬ）と、予測された暗電流ノイズの高周波成分（ＢＨ）とを足し合わせることにより、暗電流ノイズ（ＢＤ）を復元する。そして、この復元された暗電流ノイズ成分（ＢＤ）は減算部１０３０に入力され、減算部１０３０によって画像信号（Ｃ）から復元された暗電流ノイズ成分（ＢＤ）を差し引く。これにより、画像信号（Ｃ）から暗電流ノイズ成分（ＢＤ）を除去することができる。そして、暗電流ノイズ成分（ＢＤ）が除去された画像信号（ＣＤ）が記録媒体１００６に記録される。

以上、本実施の形態４によれば、以下の作用効果を有する。

（１）遮光領域に属する画素から出力された画像信号と、予め記憶された同じ画素の暗電流ノイズ成分とを比較し、そこから乗算係数を算出して、予め記憶された暗電流ノイズ成分に乗ずることにより、画像信号に含まれる暗電流ノイズ成分を精度よく予測することができる。したがって、画像信号に含まれる暗電流ノイズ成分を精度良く除去することができる。

（２）暗電流ノイズは高周波成分が支配的であるため、本実施の形態４のように、乗算係数を算出する際、画像信号及び予め記憶された暗電流ノイズ成分ともに、それぞれ複数画素の高周波成分を抽出し、高周波成分同士を比較することによって乗算係数を算出すると同時に、暗電流ノイズの高周波成分に対してのみ予測を行うことにより、より精度よく暗電流ノイズ成分を予測することができる。

（３）暗電流ノイズ成分を予測する際、一部の処理（本実施の形態４では暗電流ノイズ成分を低周波成分と高周波成分とに分離する処理）を逆量子化して伸張する前に行うことで、データ量の小さい圧縮された状態で処理を実行することができ、予測に必要な演算量を少なくすることができる。

以上、本発明を実施の形態４をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形も本発明の範囲にあることは当業者に理解されるところである。

また、上記の実施の形態４では、デジタルカメラの例を示したが、それに限らず、撮像素子を備えたものであれば、本発明の実施の形態に係る暗電流ノイズ除去装置を備えることができる。

なお、上記実施の形態４において、高周波抽出部１０２２では、遮光領域から出力された画像信号から複数の画素の高周波成分を抽出し、この高周波成分の平均値を求める例を示したが、これに限るものではなく、複数の画素の高周波成分の中央値や二乗平均を求めるようにしてもよい。

また、上記実施の形態４では、高周波抽出部１０２２にて、暗電流ノイズ成分及び画像信号から抽出した複数画素の高周波成分の平均値を求め、乗算係数設定部１０２４でこれらの平均値の比率を求めて乗算係数を算出したが、高周波抽出部１０２２で抽出された暗電流ノイズ成分及び画像信号の高周波成分に対して、画素毎にそれぞれの比率を求め、これらの比率の平均値や中央値、あるいは二乗平均値を乗算係数としてもよい。

（第３のグループ）
（実施の形態５）
図１０は、本発明の好適な実施の形態５に係るノイズ除去装置２００１を具備したデジタルカメラ２１００の構成を示した図である。この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされた符号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

デジタルカメラ２１００は、ノイズ除去装置２００１のほか、撮像素子２００２、アナログフロントエンド（ＡＦＥ：ＡｎａｌｏｇＦｒｏｎｔＥｎｄ）２００３、画像圧縮装置２００４、記録媒体２００５を備えている。このデジタルカメラ２１００は、撮像素子２００２にて入射された光を電気信号に変換し、ＡＦＥ２００３にて、撮像素子２００２の出力信号から画像信号を取り出して増幅した後、デジタル信号に変換する。ただし、ＡＦＥ２００３で取り出した画像信号には、種々のノイズ成分が含まれており、後述のノイズ除去装置２００１によってこれらのノイズ成分を除去する。そして、画像圧縮装置２００４によってノイズ除去された画像信号を圧縮し、記録媒体２００５に記録する。

ノイズ除去装置２００１は、固定パターンノイズ除去部２０１０、スミアノイズ除去部２０１１、固定欠陥ノイズ除去部２０１２、ランダムノイズ除去部２０１３を備えている。図１１は固定パターンノイズ除去部２０１０の構成を示した図である。固定パターンノイズ除去部２０１０は、メモリ２０２０と減算部２０２１を備えている。メモリ２０２０には、予め撮像素子２００２にて光を入射しない状態で撮像した画像信号を記憶する。若しくは、この画像信号を圧縮してメモリ２０２０に記憶してもよいし、この画像信号と関連付けられた情報を記憶してもよい。光を入射しない状態で撮像した画像信号が、暗電流に起因する固定パターンノイズに相当する。

実際の撮像状態、つまり、光が入射された状態で撮像素子２００２によって撮像された画像信号が、ＡＦＥ２００３を介して固定パターンノイズ除去部２０１０に入力されると、このタイミングに合わせて、画像信号を構成する各画素の固定パターンノイズをメモリ２０２０から読み出し、これを減算部２０２１に送る。メモリ２０２０に記憶されているのが、圧縮された画像信号、若しくは画像信号と関連付けられた情報である場合は、上記タイミングに合わせて、画素毎に圧縮された画像信号、若しくは画像信号と関連付けられた情報をメモリ２０２０から読み出し、これらの信号若しくは情報から固定パターンノイズを復元した上で、復元された固定パターンノイズを減算部２０２１に送るようにしてもよい。そして、減算部２０２１によって、光が入射された状態で撮像された画像信号から固定パターンノイズを差し引くことによって、固定パターンノイズを除去する。

この固定パターンノイズ除去部２０１０は、上述の実施の形態１〜４において説明した暗電流ノイズ除去装置１、７、８、１００１のような構成を取ってもよい。本実施の形態でいう固定パターンノイズは、実施の形態１〜４の暗電流ノイズに相当する。

図１２はスミアノイズ除去部２０１１の構成を示した図である。スミアノイズ除去部２０１１は、減算部２０３０、加算部２０３１、ラインメモリ２０３２、係数発生部２０３３、乗算部２０３４を備えている。減算部２０３０は、１行単位で連続して入力される画像信号Ｓ１（ｎ）から第１のスミアノイズ成分Ｄ１（ｎ）を減算し、スミアノイズ成分を含まない画像信号Ｓ２（ｎ）として出力する。加算部２０３１は、減算部２０３０から出力される画像信号Ｓ２（ｎ）とラインメモリ２０３２から読み出される累加算データＴ（ｎ）とを加算し、その加算データをラインメモリ２０３２に供給する。ラインメモリ２０３２は、１画面分の画像信号Ｓ１（ｎ）の入力が完了する毎にリセットされ、加算部２０３１から入力される加算データを１行毎に記憶する。これにより、加算部２０３１では１画面の画像信号Ｓ２（ｎ）が各列で累加算され、ラインメモリ２０３２には累加算データＴ（ｎ）が記憶されることになる。

係数発生部２０３３は、撮像素子２００２の露光状態を表す露光データＬ（ｍ）に応答し、撮像素子２００２の各受光ビットでの露光期間に対応した係数ｋを発生し、乗算部２０３４に供給する。乗算部２０３４は、ラインメモリ２０３２から読み出される累加算データＴ（ｎ）に対し、係数ｋを乗算してスミアノイズ成分Ｄ１（ｎ）を生成する。

このようなスミアノイズ除去部２０１１によれば、撮像素子２００２の各受光ビットに蓄積される情報電荷が１行ずつ垂直方向に転送される毎に各受光ビットから混入されるスミア電荷の量が順次累加算される。そして、その累加算値によって情報電荷が転送される過程で混入するスミアノイズ成分が表されるため、この値を画像信号Ｓ１（ｎ）から減算することによりスミアノイズを除去できる。

固定欠陥ノイズ除去部２０１２は、画素毎に固定欠陥であるかどうかを判定し、固定欠陥と判定した場合は、周辺の画素から補間値を算出してその値に置換する。図１３は固定欠陥ノイズ除去部２０１２の構成を示した図である。固定欠陥ノイズ除去部２０１２は、ラインメモリ２０４０、固定欠陥判定部２０４１、補間値算出部２０４２、補間値置換部２０４３を備えている。

ラインメモリ２０４０は、１行単位で連続して入力される画像信号を１行毎に記憶する。ラインメモリ２０４０は、７ライン分の画像信号を記憶することができる。７ライン分の画像信号が記憶されているところに、新しく画像信号が入力されたときは、最も古い時間に記憶された行の画像信号を、新しく入力された画像信号で上書きしていくことにより、ラインメモリ２０４０の内容を更新する。

固定欠陥判定部２０４１は、画素毎に固定欠陥であるかどうかを判定する。例えば図１４に示した画素Ｆ７について固定欠陥であるかどうかを判定する場合、ラインメモリ２０４０から、周辺画素Ｄ５、Ｄ７、Ｄ９、Ｆ５、Ｆ９、Ｈ５、Ｈ７、Ｈ９の画像信号を読み出す。そして、これら周辺画素の画像信号の最大値と最小値を求め、画素Ｆ７の画像信号の大きさと比較する。その結果、画素Ｆ７の画像信号の大きさが、周辺画素の画像信号の最大値よりも異常に大きい、もしくは最小値よりも異常に小さい場合は、画素Ｆ７が固定欠陥であるとして判定する。それ以外の場合は、固定欠陥なしとして判定する。固定欠陥判定部２０４１は、この判定を画像を構成するすべての画素について行う。

補間値算出部２０４２は、固定欠陥判定部２０４１で固定欠陥であるかどうかを判定している画素に対して、周辺画素の値から補間値を算出する。補間値置換部２０４３は、固定欠陥判定部２０４１の判定結果が固定欠陥であった場合、その画素の画像信号を補間値算出部２０４２で算出した補間値に置換して外部に出力し、それ以外の場合は、その画素の画像信号をそのまま出力することにより、固定欠陥ノイズを除去する。

ランダムノイズ除去部２０１３は、図１３に示した固定欠陥ノイズ除去部２０１２の構成とほぼ同じであるが、ランダムノイズの有無を判定する際、周辺画素の画像信号の最大値を上限閾値、周辺画素の画像信号の最小値を下限閾値とし、判定対象の画素の画像信号の大きさが、この上限閾値と下限閾値で示される範囲から外れている場合、ランダムノイズ有りとして判定する。そして、ランダムノイズ有りと判定した場合は、周辺画素の画素値から算出した補間値に置換し、ランダムノイズ無しと判定した場合は、その画素の画像信号をそのまま出力する。

斯かる構成に基づき、図１０のデジタルカメラ２１００の動作について説明する。まず、デジタルカメラ２１００は光が入射されない状態で撮像素子２００２にて画像を撮像する。この時撮像された画像は暗電流に起因する固定パターンノイズ成分を表す。この画像は、ＡＦＥ２００３を介してノイズ除去装置２００１の固定パターンノイズ除去部２０１０に送られ、記憶される。

ここまでの動作が、実際に被写体を撮像する前の段階までの動作である。ここまでの動作は毎回の撮像時に行ってもよいし、デジタルカメラの電源投入時に行ってもよい。毎回の撮像時に行う場合には、図示しない撮像時検出部を設け、撮像時を検出したら固定パターンノイズ除去部２０１０にこの段階までの動作をするよう指示する構成とすればよい。暗電流ノイズは、撮像素子周辺の温度環境に影響されやすいため、撮像直前に記憶する場合に最も精度よく暗電流ノイズ成分の値を取得することができる。電源投入時に行う場合には、図示しない電源投入時検出部を設け、電源投入を検知したら固定パターンノイズ除去部２０１０にこの段階までの動作をするように指示する構成とすればよい。

また、この実際に被写体を撮像する前の段階までの動作は、デジタルカメラの製造時に行っておいてもよい。また、デジタルカメラに図示しないタイマーを設け、一定期間ごとに固定パターンノイズ除去部２０１０にこの段階までの動作をするように指示する構成にしてもよい。

次に、実際に被写体を撮像する場合の動作について説明する。今度は、デジタルカメラ２１００は、光が入射された状態で撮像素子２００２にて画像を撮像し、この画像信号はＡＦＥ２００３を介してノイズ除去装置２００１に送られる。ノイズ除去装置２００１では、この画像信号に対し、まず固定パターンノイズ除去部２０１０にて固定パターンノイズを除去し、次にスミアノイズ除去部２０１１にてスミアノイズを除去する。次に、固定欠陥ノイズ除去部２０１２にて固定欠陥ノイズを除去し、更にランダムノイズ除去部２０１３によってランダムノイズを除去する。この順番によって複数のノイズが除去された画像信号は、画像圧縮装置２００４で画像圧縮され、記録媒体２００５に記録される。

本実施の形態５では、ノイズ除去装置２００１によって、固定パターンノイズ、スミアノイズ、固定欠陥ノイズ、ランダムノイズの順番で複数のノイズを除去することを特徴とし、この順番によって、以下の理由によりそれぞれのノイズが精度よく除去することが可能としている。例えば、スミアノイズは、前述の通り入射光量の推定が必要であり、この推定を撮像した画像信号をもとに行うため、この画像信号にノイズが多いと入射光量の推定精度が劣化し、結果として除去すべきスミアノイズの算出精度が劣化する。特に、温度依存性を持ち、露光時間に比例して増大する固定パターンノイズが、推定に用いる画像信号に含まれていると、精度よくスミアノイズを推定することが困難である。そこで、固定パターンノイズはスミアノイズを除去する前に画像信号から取り除かれることが望ましい。

次に、固定欠陥ノイズは、欠陥画素の判定と置換するための補間画素を周辺画素を元に行うため、ある程度ノイズが除去された画像に対して行うことが望ましい。また、スミアノイズは入射光量によっては、信号レベルを飽和させるに至るレベルに達している場合があり、固定欠陥ノイズが逆に埋もれてしまう。このため、スミアノイズ除去は固定欠陥ノイズ除去の以前に行うことが望ましい。

さらに、ランダムノイズは他のノイズと比較し、信号レベルとしては非常に小さく、スミアノイズ除去や固定欠陥ノイズ除去への影響は少ない。ただし、画像のざらつきとしては目立つ場合もある。このランダムノイズ除去は、周辺画素の特徴から推定補間する方法を用いるので、他のノイズ成分が除去され、真の画素値に近い画素となっているノイズ除去の最終段に配置すること望ましい。なお、前述の通り、ランダムノイズは他のノイズと比較して非常に小さいものであるため、ノイズ除去装置２００１からランダムノイズ除去部を省略してもよい。

以上のことから、本実施の形態５によれば、ノイズを除去する順番として、最初に固定パターンノイズを除去し、次にスミアノイズ、次に固定欠陥ノイズを除去することにより、それぞれのノイズを最も精度よく取り除くことができる。また、ランダムノイズを除去する場合は、他のノイズ成分を除去した後に取り除くことにより、ランダムノイズを含めてそれぞれのノイズを最も精度よく取り除くことができる。

（実施の形態６）
図１５は、本発明の好適な実施の形態６に係るノイズ除去装置２００６を具備したデジタルカメラ２１１０の構成を示した図である。このノイズ除去装置２００６は、図１０のノイズ除去装置２００１に対し、ランダムノイズ除去部２０１３の後段にオフセット除去部２０１４が付加された構成となっている。実施の形態５と同じ構成については同符号を付し、説明を省略する。

撮像素子２００２から出力された画像信号は、黒レベルの画像信号であっても完全にゼロにはならず、一定のオフセット成分を含んでいる。オフセット除去部２０１４は、この画像信号からこのオフセット成分を除去する。

図１６は、オフセット除去部２０１４の構成を示した図である。オフセット除去部２０１４は、オフセット算出部２０５０、メモリ２０５１、及び減算部２０５２を備えている。オフセット算出部２０５０は、撮像素子２００２から出力された画像信号のうち、撮像素子２００２の端部に設けられた光が入射されない領域（遮光領域）に属する一部の画素の画像信号を抽出する。この遮光領域から出力された画像信号の大きさが、撮像素子２００２における黒レベルの大きさとなるため、オフセット算出部２０５０は、この画像信号の大きさの平均値をオフセット成分とし、この値をメモリ２０５１に記憶する。そして、減算部２０５２によって画像信号からメモリ２０５１に記憶されたオフセット成分を減算することにより、オフセット成分を除去する。

斯かる構成に基づき、図１５に示したデジタルカメラ２１１０の動作について説明する。まず、図１０に示したデジタルカメラ２１００と同様に、デジタルカメラ２１１０は光が入射されない状態で撮像素子２００２にて画像を撮像し、この画像がＡＦＥ２００３を介してノイズ除去装置２００６の固定パターンノイズ除去部２０１０に送られ、固定パターンノイズとして記憶される。

ここまでの動作が、実際に被写体を撮像する前の段階までの動作である。次に、実際に被写体を撮像する場合の動作について説明する。今度は、デジタルカメラ２１１０は、光が入射された状態で撮像素子２００２にて画像を撮像し、この画像信号はＡＦＥ２００３を介してノイズ除去装置２００６に送られる。ノイズ除去装置２００６では、この画像信号に対し、まず固定パターンノイズ除去部２０１０にて固定パターンノイズを除去し、次にスミアノイズ除去部２０１１にてスミアノイズを除去する。次に、固定欠陥ノイズ除去部２０１２にて固定欠陥ノイズを除去し、更にランダムノイズ除去部２０１３によってランダムノイズを除去する。加えて、オフセット除去部２０１４によってオフセット成分が除去される。この順番によって複数のノイズが除去された画像信号は、画像圧縮装置２００４で画像圧縮され、記録媒体２００５に記録される。

本実施の形態６では、ノイズ除去装置２００６によって、固定パターンノイズを除去した後にオフセット成分を除去することを特徴とし、以下の理由によりオフセット成分が精度よく除去されることを可能としている。すなわち、オフセット成分を算出する際、撮像素子２００２の遮光領域に属する画素の画像信号を使用するが、この画像信号には暗電流に起因する固定パターンノイズも多く含んだものとなっている。前述のとおり、固定パターンノイズは温度依存性を持ち、露光時間に比例して増大するため、この固定パターンノイズを含んだままオフセット成分を算出すると、その算出精度が悪くなってしまう。そこで、固定パターンノイズの除去は、オフセット成分の除去よりも前に行うのが望ましい。これにより、オフセット成分の除去の精度がよくなり、画質の改善が可能となる。

なお、本実施の形態６では、オフセット除去部２０１４をランダムノイズ除去部２０１３の後段に配置する例を示したが、これに限るものではなく、オフセット除去部２０１４が固定パターンノイズ除去部２０１０よりも後段に配置されていれば、本発明の範疇に含まれる。

以上、本発明を実施の形態５及び６をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形も本発明の範囲にあることは当業者に理解されるところである。

また、上記の実施の形態では、デジタルカメラの例を示したが、それに限らず、撮像素子を備えたものであれば、本発明の実施の形態に係るノイズ除去装置を備えることができる。

本発明は、撮像素子のノイズを除去する装置に利用可能である。

Claims

光を遮断した状態で撮像素子によって撮像された第１の画像信号に対し、前記撮像素子を構成する一部もしくは全部の画素の前記第１の画像信号の大きさの分布を求め、この分布から前記第１の画像信号の取る大きさの分布のピークの位置を含む範囲を特定し、この範囲の中で閾値を設定するノイズ分布分析部と、
光を遮断した状態で前記撮像素子によって撮像された第２の画像信号に対し、前記閾値を基に量子化を行う量子化部と、
前記量子化された第２の画像信号を逆量子化する逆量子化部と、
光を入射した状態で撮像素子にて撮像された第３の画像信号から前記逆量子化された第２の画像信号を減算する減算部と、
を備えることを特徴とするノイズ除去装置。
前記第１の画像信号と前記第２の画像信号は、異なる時刻に撮像されたものであることを特徴とする請求項１に記載のノイズ除去装置。
前記第１の画像信号と前記第２の画像信号は、同じ画像信号であり、前記ノイズ分布分析部は、前記第１の画像信号を複数の領域に分割し、この分割した領域毎に前記第１の画像信号の大きさの分布を求め、この分布から前記第１の画像成分の取る大きさのピークを含む範囲を特定し、この範囲の中で閾値を設定することを特徴とする請求項１に記載のノイズ除去装置。
前記第１の画像信号及び前記第２の画像信号を低周波成分と高周波成分とに分割する帯域分離部を更に備え、
前記高周波成分に対して前記ノイズ分布分析部、前記量子化部及び前記逆量子化部を備えるとともに、
前記低周波成分と前記逆量子化部で逆量子化された前記高周波成分を加算した上で、これを前記減算部に入力することを特徴とする請求項１から３のいずれかに記載のノイズ除去装置。
前記低周波成分を前記高周波成分とは独立した方法で圧縮する圧縮部と、
前記圧縮された低周波成分を伸張する伸張部と、
を更に備え、
前記伸張された低周波成分と前記逆量子化部で逆量子化された前記高周波成分を加算した上で、これを前記減算部に入力することを特徴とする請求項４に記載のノイズ除去装置。
光を遮断した状態で撮像素子によって撮像された画像信号に関して暗電流ノイズ成分の大きさの分布を求めるステップと、
前記暗電流ノイズ成分の大きさの分布のピークの位置を含む範囲を特定するステップと、
前記範囲の中で量子化のための閾値を設定するステップと、
前記暗電流成分を前記閾値に基づいて量子化するステップと、
前記量子化された暗電流ノイズ成分を逆量子化するステップと、
実際に被写体を撮像したときの画像信号から、前記逆量子化された暗電流ノイズ成分を減算するステップと、
を備えることを特徴とするノイズ除去方法。