JP3819063B2 - 画像補正装置及び画像補正方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明はテレビジョンカメラ、電子スチルカメラ等に用いられる固体撮像素子上の欠陥画素から出力される不良信号等を補正する画像補正装置及び画像補正方法に関する。
【０００２】
【従来の技術】
近年のビデオカメラあるいは電子スチルカメラのような固体撮像装置では、その撮像素子としてＣＣＤ等の固体撮像素子が採用されている。この固体撮像素子の製造上の歩留まりを低下させる原因の一つに画像欠陥がある。
【０００３】
この固体撮像素子における画像欠陥には、製造工程で発生する結晶欠陥や素子表面への塵の付着等を原因とするものがあり、これらが製造上の歩留まりを低下させる一番大きな要因であった。
【０００４】
この画像欠陥による画質の劣化を改善するのに、固体撮像素子を実装する固体撮像装置側で、欠陥画像から発生する信号を補正する方法があり、テレビジョン学会技術報告、ＥＤ７８、ｐｐ．１９−２４（１９８３年）等にはＮＴＳＣ用のビデオカメラにおいて、１画素の大きさの欠陥を補正する方法が記載されている。
【０００５】
しかしながら、テレビジョン等の高精細化の進展とともに固体撮像素子の一層の微細化が進み、歩留まり向上のためには複数画素にまたがる画像欠陥についても補正を行なうことが必要となってきた。そこで我々発明者らは特願平０４−２４３７３８号明細書（特開平０６−９８２５２号公報）記載のように、複数画素にまたがる欠陥を補正する画像補正装置を開発した。
【０００６】
そこで、従来の画像補正装置は図１２に示すように構成されていた。すなわち、固体撮像素子１は、駆動回路２からの駆動信号の供給を受けて撮像した画像信号を出力し、出力された画像信号は雑音抑圧処理・ガンマ変換回路３を介して、Ａ／Ｄ変換器４に供給される。なお、駆動回路２はタイミング発生回路５からのタイミング信号の供給を得て駆動信号を発生するものである。
【０００７】
Ａ／Ｄ変換器４によりディジタル信号に変換された画像信号はフレームメモリ６に一旦記憶される。
【０００８】
一方、ＲＯＭ７には固体撮像素子１の各欠陥画素の位置情報とその２次元上の形状情報が予め記憶されており、制御部８はその情報を読み出し、その欠陥画素位置と形状によって定まる演算式で欠陥画素に対する補正信号を算出するように演算部９を制御した。制御部８による制御により演算部９で算出された補正信号は補正信号置換部１０に供給され、ここでフレームメモリ６から供給される画像信号のうち、欠陥画像からの出力信号を置換して出力信号を導出していた。
【０００９】
演算部９における補正演算式は、線形補正、平面予測あるいは２次曲線による濃度変化の近似などによるが、いずれの演算式を採用するにせよ、欠陥画素位置とその形状の情報により、画像欠陥内の各画素の補正値を２次元的な広がりを持つものとして求めたので、補正演算式はいずれか一つに固定されていた。
【００１０】
【発明が解決しようとする課題】
上記のように、従来の画像補正装置では、欠陥を有する固体撮像素子から出力される信号の補正では、複数画素にまたがる２次元的な広がりを持つ欠陥の補正を行う場合でも、単に欠陥画素の位置とその形状からのみ定めた補正演算式を当てはめ、欠陥内の各画素に順次適用して補正を行うものであった。
【００１１】
従って、補正のための演算式は固定されたため、欠陥画像周囲の画像パターンがどのような画像パターンになっているかには無関係であったから、例えば複数欠陥画素内でエッジが交差するような画像パターンであっても、その交差点の存在を予測するものではなかったから、エッジの存在により正確な補正値が得られない場合があり、本来あるべき画像濃度とは誤差が生じる恐れがあった。
【００１２】
【課題を解決するための手段】
本発明は、上記従来の問題点を解決するためになされたもので、第１の発明は、固体撮像素子から出力されたアナログ画像信号をＡ／Ｄ変換後画像欠陥を補正する画像補正装置において、前記固体撮像素子における画像欠陥の位置情報と形状情報を予め記憶する画像欠陥情報記憶手段と、前記Ａ／Ｄ変換された画像信号を記憶する画像信号記憶手段と、この画像信号記憶手段に記憶された画像信号から前記画像欠陥の周囲の複数の正常画素の濃度の差分値、濃度の最大傾斜方向及び濃度の二階差分値の濃度パターン情報を導入記憶する画像パターン情報取得手段と、この画像パターン情報取得手段に記憶された前記画像欠陥の周囲の複数の正常画素の濃度パターン情報と前記画像欠陥情報記憶手段に記憶された前記画像欠陥の位置及び形状情報とから正常画素に近い欠陥画素に対する画素補正演算を行い補正信号を導出する補正演算手段と、この補正演算手段の補正演算によって補正された欠陥画素を正常画素とみなして更新し、残された欠陥画素に対し補正演算処理を行うよう補正演算手段を制御する制御手段と、前記補正演算手段により得られた補正信号と、この補正信号が補正対象とする画像欠陥から出力された欠陥信号とを置換する補正信号置換手段とを具備することを特徴とする。
【００１３】
このように、本発明装置は、欠陥画素の位置情報及びその形状の情報の他に、欠陥画素の周囲の正常な画素の濃度の差分値、濃度の最大傾斜方向及び濃度の二階差分値の濃度パターン情報に応じて補正演算を行う、仮に複数のエッジが欠陥画素内で交差するような場合には、そのエッジが通る正常画素の濃度を基準にして補正するので、より正確で実際の濃度に近い欠陥補正信号を得ることができる。
【００１４】
また、第２の発明は、画像補正方法に係り、補正対象の欠陥画素情報とこの欠陥画像情報の周囲の正常画素を読み取り、読み取られた前記正常画素におけるエッジを検出し、検出された前記エッジが複数個存在するか否かを判定し、前記複数個存在するものと判定されたエッジが前記欠陥画素内で交差するか否かを判定し、欠陥画素内で交差するものと判定されたエッジ上に位置する前記正常画素を基に欠陥画素を補正し、補正された前記欠陥画素以外の欠陥画素に対して、補正された前記欠陥画素をもとに補正することを特徴とする。
【００１５】
このように、この発明方法によれば、正常画素におけるエッジの存在を検知し、その存在するエッジの欠陥画素に対する影響を考慮し、エッジ上の欠陥画素を優先的に補正するので、より正確な補正が可能となった。
【００１６】
【発明の実施の形態】
以下、本発明による画像補正装置及び画像補正方法の一実施の形態を図１ないし図１１を参照し詳細に説明する。なお、図１２に示した従来の構成と同一構成には同一符号を付して詳細な説明は省略する。
【００１７】
（第１の実施の形態）
図１は本発明による画像補正装置の第１の実施の形態を示す回路構成図である。
【００１８】
すなわち、駆動回路２からの駆動信号の供給を受け固体撮像素子１から出力される画像信号は、雑音抑圧処理・ガンマ変換回路３を介して、Ａ／Ｄ変換器４に供給される。Ａ／Ｄ変換器４によりディジタル信号に変換され画像信号は画像信号記憶手段であるフレームメモリ６に一旦記憶される。
【００１９】
タイミング発生回路５からのタイミング信号を得た制御部８は、補正演算のためのデータを蓄えたフレームメモリ６、補正演算手段である演算部９、及び補正信号置換部１０の他に、演算式を定めるための情報を抽出し記憶する画像パターン情報取得部１１を制御している。
【００２０】
そこで、制御部８からの制御により、フレームメモリ６の画像信号は順次読み出され、一方は補正信号置換部１０に供給され通常は何等変更を加えられることなく順次出力信号として導出されるとともに、他方は前記演算部９及びこの演算部９を介して画像パターン情報取得部１１にも供給される。
【００２１】
欠陥画素からの出力信号を補正出力する場合には、制御部８は演算部９を制御し、欠陥画素からの不良信号を置き換える補正信号を算出させ、補正信号置換部１０で不良信号の代わりに出力するという補正動作を行う。
【００２２】
演算部９による補正演算は、最終的には、フレームメモリ６からの画像パターン情報と画像欠陥情報記憶手段であるＲＯＭ７内の画像欠陥の位置及び形状の情報とを用いて行われる。
【００２３】
ＲＯＭ７には、図２に示すように各画像欠陥素子の位置情報と形状情報が記憶されており、その撮像画面上では図３のように表すことができる。
【００２４】
図４には、図３に示した欠陥画素の内、特に４×４画素からなる欠陥４とその周囲の正常画素を含んだ６×６画素の部分を抽出して拡大し、各画素をそれぞれ順次Ａ、Ｂ、Ｃ、…Ｚ、ａ、ｂ、…ｊと表記して示している。
【００２５】
そこで、欠陥４を例に、画像補正手順を説明するに、制御部７の制御により、演算部９は、その画像欠陥（欠陥４）の周囲の画素における濃度の差分値と、濃度変化の向きから各画素における濃度の最大傾斜方向を演算し、順次欠陥内画素に対するディジタル補正値を得て画像パターン情報取得部１１に供給記憶する。次に制御部８は演算部９、画像パターン情報取得部１１を制御し、当該欠陥画素の信号値の出力タイミングでディジタル補正値信号を読み出し、演算部９を介して、あるいは画像パターン情報取得部１１から直接、補正信号置換部１０に出力するものである。
【００２６】
次に演算部９及び画像パターン情報取得部１１における具体的な補正処理について以下詳細に説明する。まず制御部８はＲＯＭ７から得られる画像欠陥の位置情報と形状情報を得て、画像パターン情報取得部１１を制御する。また、演算部９は制御部８を介して得られる画像欠陥の位置情報と形状情報をもとに、フレームメモリ６に記憶されている当該画像欠陥の周囲の正常画素の濃度、例えば２５６階層の濃度値を読み出し、画像欠陥周囲の等濃度線を求める。その画像欠陥周囲の等濃度線は正常画素間の濃度の差分値から求める。
【００２７】
いま、各画素について水平方向及び垂直方向の濃度の差分値をそれぞれＤＨ、ＤＶとすると、２次元画素の水平面上において最大傾斜方向Ｇｒは
Ｇｒ＝arctan（ＤＨ／ＤＶ）
となり、等濃度線はこの最大傾斜方向Ｇｒに対して垂直な方向となる。
【００２８】
よって、等濃度方向を表わす角度をＥｑとすれば、角度の単位をラジアンとして角度Ｅｑは、
Ｅｑ＝Ｇｒ＋π／２
となる。
【００２９】
このとき、角度Ｅｑにより等濃度方向を分類する。ここでは図５に示すように、等濃度方向をπ／８の幅で１８０度の範囲を８分割で分類した。つまり、０、π／８、π／４、３π／８、π／２、５π／８、３π／４、７π／８の８方向に分類し、その中間角度に位置するものはその±π／１６の範囲でいずれかの傾斜方向に入れることで区分化を行った。
【００３０】
本実施の形態では、上記の等濃度方向を、演算上の簡便化のためπ／８で除し、図５の通り０、１、２、３、４、５、６及び７と表している。また、図５において括弧書きで８〜１５の値を書き記したが、これは同じ等濃度線であっても欠陥画素への入射方向は正負の２方向考えられるからであり、補正処理においては、この２方向が補正濃度値の演算にかかわるものである。
【００３１】
そして、画像欠陥内の画素に対しては次のような手順で、順次補正値を求めることができる。
【００３２】
まず補正値の求め方の考え方を、図６を参照して説明する。図６には５×５の２５画素を描き、中央の画素Ｚ（０、０）を画像欠陥内の一画素と考え、Ｚ（０、０）を原点とし右方向と下方向を正方向とした。各画素における濃度値は、各々の座標位置で左上から順次Ｚ（−２、−２）〜Ｚ（２、２）として表した。
【００３３】
ここでの補正処理の基本は、Ｚ（０、０）を中心とし、隣接する周囲８個の画素のいづれかにおいて等濃度線が求められ、かつその等濃度線がＺ（０、０）に入射する場合のみ、等濃度線上の一番近い正常画素（または補正後の画素）から演算して補正値を取得しようとするものである。
【００３４】
いま、このＺ（０、０）の位置の画素が、図４で斜線で示した欠陥画素の範囲の中のＨの位置にあるとすれば、等濃度線が得られるのは算出に必要な正常画素が揃っている左上方に位置するＡ、Ｂ、Ｇの各画素である。従って、画素Ａにおける等濃度方向を表わす角度Ｅｑの向きが、図５の１〜３であればよい。これは、入射の向きも考えることになるので、実際には図５の９〜１１も範囲内となり、それぞれの補正値は図６の濃度を表す式Ｚ（ｘ，ｙ）を用いると、
１（９） ：Ｚ（０、０）＝Ｚ（−２、−１）
２（１０） ：Ｚ（０、０）＝Ｚ（−１、−１）
３（１１） ：Ｚ（０、０）＝Ｚ（−１、−２）
となる。
【００３５】
また、複数の方向からの入射が同時にある場合は、その平均値を補正濃度値とし、画像欠陥内の全画素についてこれを行う。１回の演算で全画素の補正濃度値が得られなければ補正値が得られた画素を正常画素と同じ扱いにして、同様の作業を繰り返して行い、これを画像欠陥内の全画素について補正濃度値が得られるまで繰り返す。
【００３６】
ただし、濃度に傾斜のない平坦な画像や、等濃度線の向きが水平または垂直方向である場合は補正値が得られない場合がある。このような場合は、補正濃度値が得られる画素が増えなくなり、しかも全画素の補正が終っていない場合には、従来と同様、平面予測による補正濃度値の算出を行なう。
【００３７】
これは上記図４のＨの場合で考えればその算出式は
【数１】
Ｚ（０、０）＝Ｚ（０、−１）＋Ｚ（−１、０）−Ｚ（−１、−１）
となる。
以上のようにして、欠陥画像の補正が完了する。
【００３８】
従って、この実施の形態では、新たに画像パターン情報取得部１１を設け、周囲の正常画素間の差分値とその差分値から求めた濃度の最大傾斜角（方向）から等濃度線の方向を得て、その等濃度線の方向の情報から各欠陥画素に対して最適と判断される補正演算式を選択して補正値を得るものである。
【００３９】
このように、本発明の画像補正装置は、画像欠陥周囲の画像パターンに整合させ、等濃度線を直線に近似して補正処理を行うもので、従来の画像補正装置のように、単に画像欠陥の位置と形状のみによって、しかも固定された補正演算式で補正値を算出するものではないから、より精度の高い補正が行われる。
【００４０】
（第２の実施の形態）
上記第１の実施の形態では、等濃度線を直線に近似して補正処理を行なった。その補正処理は画像欠陥の形状が比較的小さい場合には十分な補正が得られると考えられる。
【００４１】
しかし、補正対象の画像欠陥が３×３画素、４×４画素のように大きくなり、しかもエッジが入射した場合には十分対応仕切れなくなる可能性がある。具体的には、図７に示すように、斜線で示した中央部の４×４画素からなる画像欠陥の中で、２方向から矢印方向に入射する２つのエッジ（エッジＡ、エッジＢ）が、直角等への偏曲を含み交わるような場合で、各エッジ（エッジＡ、エッジＢ）が画像欠陥に入射する位置からエッジ同士の交点に当たる画素までの距離に差がある場合である。
【００４２】
この場合には、入射位置から交点までの距離が短い側のエッジによって定まる補正演算式が、交点を越えた画素にまで適用されて補正誤差の原因となる。
【００４３】
そこで、このように大きな欠陥の場合には、上記第１の実施の形態で説明した直線に近似した補正処理を行なう前に、画像欠陥内の全ての画素について、図５に示した１６方向に全てに対して、正常画素の領域まで辿ってエッジがあるか調べる。そしてエッジが存在する場合には入射する可能性のあるエッジとしてカウントし、その個数に応じた補正を優先的に行うものである。
【００４４】
その補正処理のフローチャートを図８に示し、その具体的な処理方法を以下説明する。
【００４５】
図１に示した画像パターン情報取得部１１において、エッジが存在するかどうかを検知するために、まず補正対象の欠陥とその周囲の正常画素のデータを読み込む（ステップＳ１）。
【００４６】
次に、変曲点の明確化のために、当該画素の隣接画素との二階差分値から得られるラプラシアンＬを求め、Ｌの値がエッジとしての閾値以上であればエッジと判断して検出し、その画素におけるエッジの向きを得る（ステップＳ２）。
【００４７】
そのエッジの向きが検索の向きと等しいかどうかを順次調べる。すなわち図５において、例えば２の方向または１０の方向を検索したときにその画素を通るエッジの向きが２つあるどうか、つまり周囲にエッジが２つ以上存在するかどうかを調べる（ステップＳ３）。
【００４８】
ステップＳ３において、１６方向全て調べ終えたところでエッジが２本（複数本）あり（ＹＥＳ）、その傾斜方向も等しいという条件を満たしたとき、その２本のエッジが、交わると判断する（ステップＳ４）。具体的には、図７においてエッジＡで隔てられる２領域ＡＵ、ＡＤ、及びエッジＢで隔てられる２領域ＢＵ、ＢＤの各信号レベル、すなわち各濃度を考えたとき、ＡＵ領域対するＡＤ領域の濃度増加（減少）量の符号とＢＵ領域に対するＢＤ領域の濃度増加（減少）量の符号とが同符号である場合、欠陥画素内に交点があると判断する。
【００４９】
そしてその２本のエッジが画像欠陥に入射する画素から交点のある画素に至るまでの経路に当たる全画素について、正常画素との境界に位置する画素から順次、エッジ上に位置する最近接の正常画素の値を補正値として得る（ステップＳ５）。
【００５０】
この処理の後に補正値が得られていない画素、及びステップＳ３において、周囲にエッジが存在しないか、存在しても１つだけの場合には、第１の実施の形態の平面予測等、直線に近似した補正方法で補正値を求める（ステップＳ６）。
【００５１】
最後に、未補正の画素が残っているかどうかを調べ、未だ残っている場合（ＹＥＳ）は、ステップＳ６の工程を繰り返す（ステップＳ７）。
【００５２】
以上のような補正方法により、第１の実施の形態で説明した場合より形状の大きな欠陥に対して、より精度良く補正することができる。このようにして、例えば２×２画素以下の欠陥の場合については第１の実施の形態での処理を行い、それより大きな欠陥である場合には、この第２の実施の形態の処理を行うというように欠陥画像の大きさや形状で補正処理方法を切り替えることにより、効率良い補正を行うことができる。
【００５３】
上記実施の形態では、固体撮像装置単体での画像欠陥の補償について述べたが、近年は、ディジタルカメラ等の固体撮像装置で得られたディジタル映像信号を電子計算機に供給することによって、撮像画像をパソコン等上の他のデータと同一処理を行うことが要求されるようになった。
【００５４】
すなわち、最近ではパソコンやワークステーション等の電子計算機の低価格化とともに、フラッシュメモリーカードやハードディスクなどの補助記憶装置の一層の高密度化が図られ、これに接続して使用されるディジタルカメラが市場に多く出回るようになった。このようなディジタルカメラに使用される固体撮像装置でも、画像欠陥に対す補償回路を必要とするが、上述のように補償演算処理はもともとパソコン等の電子計算機の得意とするところであるから、画像欠陥を補償しつつ、より一層の小形化と使い勝手の良いディジタルカメラを実現するために、電子計算機との間でどのように組み合わせ接続するかが課題とされる。
【００５５】
そこで、全体をより機能的に構成し、また固体撮像装置側のより小形化を可能とした画像補正装置の第３の実施の形態を以下説明する。
【００５６】
（第３の実施の形態）
すなわち、ディジタルカメラではＡ／Ｄ変換されて得られたディジタル映像を計算機側に送るために、シリアルインターフェースあるいはパラレルインターフェースが使用される。これらインターフェースは計算機側に予め標準装備されている場合もあれば、拡張スロットまたはＰＣカードスロットに拡張カードを装着して追加される場合もある。またその他にも、拡張カードにアナログ画像信号を受けてディジタル信号に変換するような、いわゆるビデオキャプチャーカードを経てディジタル映像が計算機側に送られる場合もある。
【００５７】
いずれにしても、画像欠陥の補正は計算機回路での演算処理によるものであるから、上記第１及び第２の実施の形態で説明したように、カメラ本体側において画像欠陥を補正しようとすると、接続される計算機側と同様な計算機回路を必要とする。そこで、この実施の形態では、画像欠陥の補正演算を計算機側の回路で実行させることによって、カメラ側の負荷を軽減し、撮像操作機能が優れ小形軽量化を可能とした画像補正装置を提供するものである。
【００５８】
具体的には、図１に示した構成において、フレームメモリ６、補正信号置換部１０、制御部８、画像パターン情報取得部１１及び演算部９は、記憶機能と四則演算機能と条件分岐制御機能によるものであるから、デジタル映像信号を導入した電子計算機側でソフトウェア処理でこれを実現した。
【００５９】
特に第１及び第２の実施の形態において説明したように、欠陥画像の補正を行うためには、画像欠陥周囲の画像パターン情報を取得するものであるから、フレームメモリ６は必須の構成であり、また画像パターン情報取得部１１及び演算部９においても、図８のフローチャートに示したように、信号分岐と繰り返し処理があり、これらの処理を電子計算機側でソフトウェア的に行うことによりカメラ本体側の回路構成やメモリの搭載量を軽減し、小形軽量化を図ることで、使い勝手の良いディジタルカメラを実現することができる。
【００６０】
図９は、この実施の形態による画像補正装置の具体的回路構成を示すブロック図である。すなわち、固体撮像素子１、駆動回路２、タイミング発生回路５、Ａ／Ｄ変換器４及びＲＯＭ７等はディジタルカメラ側に搭載した。カメラ側からはＡ／Ｄ変換器４を経たディジタル画像データ、ＲＯＭ７に記憶されている画像欠陥情報（位置及び形状等）及びタイミング発生回路５からのタイミング信号が、ディジタルインターフェース１２を介して図示右側の電子計算機側に伝送される。
【００６１】
電子計算機側に伝送されたディジタル画像データは、図１のフレームメモリ６に相当するハードディスク１３に一旦蓄積される。また画像欠陥情報及びタイミング信号は制御部８に供給される。この他の補正信号置換部１０、画像パターン情報取得部１１及び演算部９の構成及び接続関係は図示のとおり、図１に示した構成と同一である。
【００６２】
しかしながら、その補正演算処理は電子計算機上で動作するソフトウェアによって実行されるから、例えば画像欠陥情報も実態としてはソフトウエア上のプログラムが用意する記憶領域に保管される。
【００６３】
図８に示した手順により、欠陥画像の補正を終了した後のディジタル画像データは、同じく電子計算機に内蔵あるいは接続されている記憶装置１４に記憶されて処理を終了する。
【００６４】
なお、図９では補正処理前の画像データはハードディスク１３に保存されているが、ハードディスク１３以外の記憶装置でも良く、例えば電子計算機の主メモリでも良い。また、補正処理後の画像データは記憶装置１４に蓄積することなく、直接カラーブラウン管あるいは液晶表示器等の画像表示部にデータを伝送し表示させることもできる。また、図９に示した構成では、ダイナミックレンジを稼ぐためには、雑音抑圧処理・ガンマ変換回路３で一旦逆ガンマ変換を行ってからガンマ補正やホワイトバランスの補正など線形処理を行い、その後Ａ／Ｄ変換（４）を行うようにすることができるが、ディジタルカメラによっては、ディジタルインターフェース１１を介してガンマ変換の有無の情報をカメラ側から計算機側に伝送し、計算機側でディジタル処理により線形処理を実施しても良い。
【００６５】
以上のように画像補正装置を構成することによって、ディジタルカメラ側の構成の簡略化を果たしつつ、前記第１の実施の形態または第２の実施の形態による画像補正が実施される。
【００６６】
次に、固体撮像素子に採用されるＣＣＤ等は、その材料でありシリコン半導体材料自体は熱的性質からくる温度特性を有し、温度特性による主な雑音成分に暗電流Ｉｄが生じ、映像出力信号はその暗電流Ｉｄの影響を受け、暗時ムラまたは素地ムラとして現れ、それが大きい場合にはやはり画像欠陥となることがある。
【００６７】
（第４の実施の形態）
すなわち、この発明による画像補正装置は、固体撮像素子での暗電流Ｉｄによる影響を軽減し、画像欠陥を補正し良好な画像を得るものである。
【００６８】
半導体材料における暗電流Ｉｄの温度依存性は、撮像素子の活性化エネルギーＥａ（＞０）によって次式で表わすことができる。
【数２】

ここで、ｋはボルツマン定数、Ｔは絶対温度である。
【００６９】
両辺の自然対数をとると
【数３】

となる。つまりこの式によれば、暗電流Ｉｄの自然対数は活性化エネルギーＥａ、及び−１／Ｔに比例する。従って、温度が高くなる（絶対温度Ｔが増加する）と暗電流Ｉｄも増加するが、活性化エネルギーＥａは撮像素子上で一様であることが理想的である。何故ならば、温度依存性の係数が等しければ、温度特性の補償も全画像信号に対して同じ処理で済むからである。
【００７０】
この活性化エネルギーＥａは撮像素子の微細構造によって定まり、微細構造が各画素で均一であれば、活性化エネルギーＥａは一様になる。しかしながら、構造欠陥や半導体の組成ムラ等により一様でない場合があるため、完全に一様にすることは難しい。この活性化エネルギーＥａのばらつきが生じたとき、そのばらつきの差が比較的小さければ映像信号上は暗時ムラまたは素地ムラとして現れ、差が非常に大きい場合には画像欠陥として現れることがあるので問題となる。
【００７１】
さらに暗電流Ｉｄは温度が上昇すると増加するので、低温時には目立たなくとも撮像素子の駆動に伴う発熱による温度上昇した場合、欠陥が目立ってくる場合もある。
【００７２】
勿論、画像欠陥には原映像信号と全く関係なく信号が出力される場合もあるが、上記のような暗電流Ｉｄが他の画素よりも多く発生する場合もある。このとき、撮像素子の正常な画素の活性化エネルギーＥａ（Ｅａｎとする）と画像欠陥の活性化エネルギーＥａ（Ｅａｄとする）とを予め測定して、ＲＯＭ７に予め記憶しておくことによって復元することが可能である。
【００７３】
すなわち、図１０に示したブロック図のように画像補正装置を構成し、さらにＲＯＭ７内に保存する温度依存性情報保存のデータ形式を例えば図１１に示すように構成することによって、この温度特性に基づく補正を行ことができる。このような温度特性を考慮した補正方式は、「テレビジョン学会技術報告 ＴＡＢＳ−４，１９８３年」に記載されているが、例えば暗電流が多く、正常画素より欠陥画素の信号量が多い場合は、明らかに欠陥画素の信号の方が少ない光量で飽和信号量に到達する。つまり正常画素より少ない光量で、原信号の再現が不可能になってしまうので、飽和以後は補正信号は前記第１、及び第２の実施の形態で示した画像補正装置で求め、より優れた補正を行うことができる。
【００７４】
この方式の具体的動作を図１０を参照し説明する。すなわち、固体撮像素子１に温度検出器１５を接続し、温度検出器１５は、検出した固体撮像素子１の温度をアナログ電気信号に変換する温度センサと、その温度センサからのアナログ電気信号をディジタル信号に変換するＡ／Ｄ変換器と、そのディジタル信号を変換テーブルによってさらに温度データに変換するディジタル処理回路とで構成した。
【００７５】
温度検出器１５による固体撮像素子のデジタル温度データは制御部８に伝送される。制御部８は予めＲＯＭ７から固体撮像素子１の正常画素の活性化エネルギーＥａｎの値（Ｅｎとする）を得るので、これに従って正常画素の信号についてはその活性化エネルギーＥｎに従った温度特性の補正をフレームメモリ６上で行うよう制御する。さに温度特性に従うものは、ＲＯＭ７に格納されている情報Ｅｎに基づいて温度特性の補正を行うとともとに、出力値が飽和値以上になったとき温度特性による補正を停止し、周囲の正常画素の情報による補正処理に切り替えるよう制御する。
【００７６】
もちろん、温度特性にかかわらない欠陥画素からの信号出力については、常に周囲の正常画素の情報からの補正処理を行うようにして、温度特性に従う欠陥についてのみ効果的な補正が可能になる。
【００７７】
また、一塊の画像欠陥内においても、この温度特性に従う画素と常時一定値を出力する画素が混在する場合も考えられる。そのときは温度特性に従う画素の補正値を求め、その後前記第１、及び第２の実施の形態の画像補正装置と同様の補正を行えばよい。
【００７８】
もちろん、素地ムラなどを補正することは、素地ムラを生じる画素群の補正係数を画像欠陥と同様にＲＯＭ７に予め記憶して、画像欠陥と同様に演算処理を行うことにより同時補正が可能である。
【００７９】
（変形例）
第１，第２，第３，第４の実施の形態で用いたＲＯＭ７の代わりに、フラッシュ型のＲＯＭやＲＡＭを用いることもできる。
【００８０】
例えば、固体撮像素子においては経年変化によって欠陥が増加したり、温度特性が変化した書換を可能にする場合には、フラッシュ型のＲＯＭを用いる。
【００８１】
また、電源投入時に欠陥の位置と形状の検出部が備わっている場合には、電源投入ごとに検出を行うので位置と形状の情報をＲＡＭまたはフラッシュ型のＲＯＭに記憶して上記と同様の補正処理を行う。ここで、欠陥の位置と形状の検出部の例としては、例えば電源投入時にシャッターを閉じた状態で固体撮像素子の信号出力を調べ、このとき白欠陥であれば信号が黒レベルではないので、一定の閾値を設定することによって検出し、欠陥の位置と形状の情報を得るといった方法等がある。
【００８２】
【発明の効果】
以上のように、本発明によれば、画像欠陥内の各画素の補正値を算出する補正演算式の決定過程に、画像欠陥の周囲の正常画素から得られる濃度の差分値、濃度の最大傾斜方向及び濃度の二階差分値の画像パターン情報にもとづいて補正演算式を切替え、画像欠陥内の各画素に対して周囲の画像パターンに応じた補正演算式を選択するので、従来より画像精度の良い補正が可能であり、実用に際し得られる効果大である。
【図面の簡単な説明】
【図１】本発明による画像補正装置の第１の実施の形態を示す回路構成図である。
【図２】図１に示す装置のＲＯＭに画像欠陥の位置と形状の情報を示す構成図である。
【図３】図２に示した画像欠陥の撮像画面上の形状図である。
【図４】図３に示した撮像画面の中の一部パターンを示す拡大図である。
【図５】図１に示す装置の撮像素子上の等濃度線方向の分類説明図である。
【図６】図１に示す装置の撮像素子上の画像欠陥の補正演算説明図である。
【図７】本発明による画像補正装置の第２の実施の形態を説明するもので、撮像素子上の画像欠陥内に形成されるエッジの説明図である。
【図８】図７に説明する装置の処理フローチャートである。
【図９】本発明による画像補正装置の第３の実施の形態を示す回路構成図である。
【図１０】本発明による画像補正装置の第４の実施の形態を示す回路構成図である。
【図１１】図１０に示す装置のＲＯＭに格納される温度依存性情報保存形式図である。
【図１２】従来の画像補正装置を示す回路構成図である。
【符号の説明】
１ 固体撮像素子
２ 駆動回路
４ Ａ／Ｄ変換器
５ タイミング発生回路
６ フレームメモリ
７ ＲＯＭ
８ 制御部
９ 演算部
１０ 補正信号置換部
１１ 画像パターン情報取得部
１２ ディジタルインターフェース
１３ ハードディスク
１４ 記憶装置
１５ 温度検出部

Claims (3)

1. 固体撮像素子から出力されたアナログ画像信号をＡ／Ｄ変換後画像欠陥を補正する画像補正装置において、
   前記固体撮像素子における画像欠陥の位置情報と形状情報を予め記憶する画像欠陥情報記憶手段と、
   前記Ａ／Ｄ変換された画像信号を記憶する画像信号記憶手段と、
   この画像信号記憶手段に記憶された画像信号から前記画像欠陥の周囲の複数の正常画素の濃度の差分値、濃度の最大傾斜方向及び濃度の二階差分値の濃度パターン情報を導入記憶する画像パターン情報取得手段と、
   この画像パターン情報取得手段に記憶された前記画像欠陥の周囲の複数の正常画素の濃度パターン情報と前記画像欠陥情報記憶手段に記憶された前記画像欠陥の位置及び形状情報とから正常画素に近い欠陥画素に対する画素補正演算を行い補正信号を導出する補正演算手段と、
   この補正演算手段の補正演算によって補正された欠陥画素を正常画素とみなして更新し、残された欠陥画素に対し補正演算処理を行うよう補正演算手段を制御する制御手段と、
   前記補正演算手段により得られた補正信号と、この補正信号が補正対象とする画像欠陥から出力された欠陥信号とを置換する補正信号置換手段とを具備することを特徴とする画像補正装置。
2. 前記画像欠陥情報記憶手段は前記固体撮像素子における欠陥画素の温度依存性の情報を記憶するとともに、前記補正演算手段はこの温度依存性の情報を用いて補正演算処理を行うことを特徴とする請求項１記載の画像補正装置。
3. 補正対象の欠陥画素情報とこの欠陥画像情報の周囲の正常画素を読み取り、
   読み取られた前記正常画素におけるエッジを検出し、
   検出された前記エッジが複数個存在するか否かを判定し、
   前記複数個存在するものと判定されたエッジが前記欠陥画素内で交差するか否かを判定し、
   欠陥画素内で交差するものと判定されたエッジ上に位置する前記正常画素を基に欠陥画素を補正し、
   補正された前記欠陥画素以外の欠陥画素に対して、補正された前記欠陥画素をもとに補正することを特徴とする画像補正方法。

Images