JPH09247542A - 画像補正装置及び画像補正方法 - Google Patents

Abstract

(57)【要約】 【課題】 固体撮像素子の製造上の歩留まり低下原因の
一つに画像欠陥があるが、素子の微細化に伴い、複数画
素にまたがる広い領域の画像欠陥も増えてきた。この複
数画素にまたがる画像欠陥をより正確に補正することを
目的とする。 【解決手段】 撮像素子上の欠陥画像の位置とその二次
元形状の情報を予めＲＯＭ７に記憶すると同時に、その
欠陥画像の周囲の正常画像パターンを画像パターン情報
取得部１１で取得し、ＲＯＭ７に記憶した情報と画像パ
ターン情報取得部１１で得た情報とによって、画像欠陥
の周囲の正常画素の濃度パターンをもとに演算部９で欠
陥画像の補正演算を行うように構成した。この結果、欠
陥画像内に複数方向から入射するエッジが交差しても、
周囲の正常画素の濃度パターンをもとにその入射方向か
ら順次交差点へ向かう補正を行うので、より正確な補正
を行うことができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はテレビジョンカメ
ラ、電子スチルカメラ等に用いられる固体撮像素子上の
欠陥画素から出力される不良信号等を補正する画像補正
装置及び画像補正方法に関する。

【０００２】

【従来の技術】近年のビデオカメラあるいは電子スチル
カメラのような固体撮像装置では、その撮像素子として
ＣＣＤ等の固体撮像素子が採用されている。この固体撮
像素子の製造上の歩留まりを低下させる原因の一つに画
像欠陥がある。

【０００３】この固体撮像素子における画像欠陥には、
製造工程で発生する結晶欠陥や素子表面への塵の付着等
を原因とするものがあり、これらが製造上の歩留まりを
低下させる一番大きな要因であった。

【０００４】この画像欠陥による画質の劣化を改善する
のに、固体撮像素子を実装する固体撮像装置側で、欠陥
画像から発生する信号を補正する方法があり、テレビジ
ョン学会技術報告、ＥＤ７８、ｐｐ．１９−２４（１９
８３年）等にはＮＴＳＣ用のビデオカメラにおいて、１
画素の大きさの欠陥を補正する方法が記載されている。

【０００５】しかしながら、テレビジョン等の高精細化
の進展とともに固体撮像素子の一層の微細化が進み、歩
留まり向上のためには複数画素にまたがる画像欠陥につ
いても補正を行なうことが必要となってきた。そこで我
々発明者らは特願平０４−２４３７３８号明細書（特開
平０６−９８２５２号公報）記載のように、複数画素に
またがる欠陥を補正する画像補正装置を開発した。

【０００６】そこで、従来の画像補正装置は図１２に示
すように構成されていた。すなわち、固体撮像素子１
は、駆動回路２からの駆動信号の供給を受けて撮像した
画像信号を出力し、出力された画像信号は雑音抑圧処理
・ガンマ変換回路３を介して、Ａ／Ｄ変換器４に供給さ
れる。なお、駆動回路２はタイミング発生回路５からの
タイミング信号の供給を得て駆動信号を発生するもので
ある。

【０００７】Ａ／Ｄ変換器４によりディジタル信号に変
換された画像信号はフレームメモリ６に一旦記憶され
る。

【０００８】一方、ＲＯＭ７には固体撮像素子１の各欠
陥画素の位置情報とその２次元上の形状情報が予め記憶
されており、制御部８はその情報を読み出し、その欠陥
画素位置と形状によって定まる演算式で欠陥画素に対す
る補正信号を算出するように演算部９を制御した。制御
部８による制御により演算部９で算出された補正信号は
補正信号置換部１０に供給され、ここでフレームメモリ
６から供給される画像信号のうち、欠陥画像からの出力
信号を置換して出力信号を導出していた。

【０００９】演算部９における補正演算式は、線形補
正、平面予測あるいは２次曲線による濃度変化の近似な
どによるが、いずれの演算式を採用するにせよ、欠陥画
素位置とその形状の情報により、画像欠陥内の各画素の
補正値を２次元的な広がりを持つものとして求めたの
で、補正演算式はいずれか一つに固定されていた。

【００１０】

【発明が解決しようとする課題】上記のように、従来の
画像補正装置では、欠陥を有する固体撮像素子から出力
される信号の補正では、複数画素にまたがる２次元的な
広がりを持つ欠陥の補正を行う場合でも、単に欠陥画素
の位置とその形状からのみ定めた補正演算式を当ては
め、欠陥内の各画素に順次適用して補正を行うものであ
った。

【００１１】従って、補正のための演算式は固定された
ため、欠陥画像周囲の画像パターンがどのような画像パ
ターンになっているかには無関係であったから、例えば
複数欠陥画素内でエッジが交差するような画像パターン
であっても、その交差点の存在を予測するものではなか
ったから、エッジの存在により正確な補正値が得られな
い場合があり、本来あるべき画像濃度とは誤差が生じる
恐れがあった。

【００１２】

【課題を解決するための手段】本発明は、上記従来の問
題点を解決するためになされたもので、第１の発明は、
固体撮像素子から出力されたアナログ画像信号をＡ／Ｄ
変換後画像欠陥を補正する画像補正装置において、前記
固体撮像素子における画像欠陥の位置情報と形状情報を
予め記憶する画像欠陥情報記憶手段と、前記Ａ／Ｄ変換
された画像信号を記憶する画像信号記憶手段と、この画
像信号記憶手段に記憶された画像信号から前記画像欠陥
の周囲の複数の正常画素の濃度パターン情報を導入記憶
する画像パターン情報取得手段と、この画像パターン情
報取得手段に記憶された前記画像欠陥の周囲の複数の正
常画素の濃度パターン情報と前記画像欠陥情報記憶手段
に記憶された前記画像欠陥の位置及び形状情報とから正
常画素に近い欠陥画素に対する画素補正演算を行い補正
信号を導出する補正演算手段と、この補正演算手段の補
正演算によって補正された欠陥画素を正常画素とみなし
て更新し、残された欠陥画素に対し補正演算処理を行う
よう補正演算手段を制御する制御手段と、前記補正演算
手段により得られた補正信号と、この補正信号が補正対
象とする画像欠陥から出力された欠陥信号とを置換する
補正信号置換手段とを具備することを特徴とする。

【００１３】このように、本発明装置は、欠陥画素の位
置情報及びその形状の情報の他に、欠陥画素の周囲の正
常な画素の濃度値及びその濃度値同士の相関情報等、い
わゆる濃度パターン情報に応じて補正演算を行う、仮に
複数のエッジが欠陥画素内で交差するような場合には、
そのエッジが通る正常画素の濃度を基準にして補正する
ので、より正確で実際の濃度に近い欠陥補正信号を得る
ことができる。

【００１４】また、第２の発明は、画像補正方法に係
り、補正対象の欠陥画素情報とこの欠陥画像情報の周囲
の正常画素を読み取り、読み取られた前記正常画素にお
けるエッジを検出し、検出された前記エッジが複数個存
在するか否かを判定し、前記複数個存在するものと判定
されたエッジが前記欠陥画素内で交差するか否かを判定
し、欠陥画素内で交差するものと判定されたエッジ上に
位置する前記正常画素を基に欠陥画素を補正し、補正さ
れた前記欠陥画素以外の欠陥画素に対して、補正された
前記欠陥画素をもとに補正することを特徴とする。

【００１５】このように、この発明方法によれば、正常
画素におけるエッジの存在を検知し、その存在するエッ
ジの欠陥画素に対する影響を考慮し、エッジ上の欠陥画
素を優先的に補正するので、より正確な補正が可能とな
った。

【００１６】

【発明の実施の形態】以下、本発明による画像補正装置
及び画像補正方法の一実施の形態を図１ないし図１１を
参照し詳細に説明する。なお、図１２に示した従来の構
成と同一構成には同一符号を付して詳細な説明は省略す
る。

【００１７】（第１の実施の形態）図１は本発明による
画像補正装置の第１の実施の形態を示す回路構成図であ
る。

【００１８】すなわち、駆動回路２からの駆動信号の供
給を受け固体撮像素子１から出力される画像信号は、雑
音抑圧処理・ガンマ変換回路３を介して、Ａ／Ｄ変換器
４に供給される。Ａ／Ｄ変換器４によりディジタル信号
に変換され画像信号は画像信号記憶手段であるフレーム
メモリ６に一旦記憶される。

【００１９】タイミング発生回路５からのタイミング信
号を得た制御部８は、補正演算のためのデータを蓄えた
フレームメモリ６、補正演算手段である演算部９、及び
補正信号置換部１０の他に、演算式を定めるための情報
を抽出し記憶する画像パターン情報取得部１１を制御し
ている。

【００２０】そこで、制御部８からの制御により、フレ
ームメモリ６の画像信号は順次読み出され、一方は補正
信号置換部１０に供給され通常は何等変更を加えられる
ことなく順次出力信号として導出されるとともに、他方
は前記演算部９及びこの演算部９を介して画像パターン
情報取得部１１にも供給される。

【００２１】欠陥画素からの出力信号を補正出力する場
合には、制御部８は演算部９を制御し、欠陥画素からの
不良信号を置き換える補正信号を算出させ、補正信号置
換部１０で不良信号の代わりに出力するという補正動作
を行う。

【００２２】演算部９による補正演算は、最終的には、
フレームメモリ６からの画像パターン情報と画像欠陥情
報記憶手段であるＲＯＭ７内の画像欠陥の位置及び形状
の情報とを用いて行われる。

【００２３】ＲＯＭ７には、図２に示すように各画像欠
陥素子の位置情報と形状情報が記憶されており、その撮
像画面上では図３のように表すことができる。

【００２４】図４には、図３に示した欠陥画素の内、特
に４×４画素からなる欠陥４とその周囲の正常画素を含
んだ６×６画素の部分を抽出して拡大し、各画素をそれ
ぞれ順次Ａ、Ｂ、Ｃ、…Ｚ、ａ、ｂ、…ｊと表記して示
している。

【００２５】そこで、欠陥４を例に、画像補正手順を説
明するに、制御部７の制御により、演算部９は、その画
像欠陥（欠陥４）の周囲の画素における濃度の差分値
と、濃度変化の向きから各画素における濃度の最大傾斜
方向を演算し、順次欠陥内画素に対するディジタル補正
値を得て画像パターン情報取得部１１に供給記憶する。
次に制御部８は演算部９、画像パターン情報取得部１１
を制御し、当該欠陥画素の信号値の出力タイミングでデ
ィジタル補正値信号を読み出し、演算部９を介して、あ
るいは画像パターン情報取得部１１から直接、補正信号
置換部１０に出力するものである。

【００２６】次に演算部９及び画像パターン情報取得部
１１における具体的な補正処理について以下詳細に説明
する。まず制御部８はＲＯＭ７から得られる画像欠陥の
位置情報と形状情報を得て、画像パターン情報取得部１
１を制御する。また、演算部９は制御部８を介して得ら
れる画像欠陥の位置情報と形状情報をもとに、フレーム
メモリ６に記憶されている当該画像欠陥の周囲の正常画
素の濃度、例えば２５６階層の濃度値を読み出し、画像
欠陥周囲の等濃度線を求める。その画像欠陥周囲の等濃
度線は正常画素間の濃度の差分値から求める。

【００２７】いま、各画素について水平方向及び垂直方
向の濃度の差分値をそれぞれＤＨ、ＤＶとすると、２次
元画素の水平面上において最大傾斜方向Ｇｒは Ｇｒ＝arctan（ＤＨ／ＤＶ） となり、等濃度線はこの最大傾斜方向Ｇｒに対して垂直
な方向となる。

【００２８】よって、等濃度方向を表わす角度をＥｑと
すれば、角度の単位をラジアンとして角度Ｅｑは、 Ｅｑ＝Ｇｒ＋π／２ となる。

【００２９】このとき、角度Ｅｑにより等濃度方向を分
類する。ここでは図５に示すように、等濃度方向をπ／
８の幅で１８０度の範囲を８分割で分類した。つまり、
０、π／８、π／４、３π／８、π／２、５π／８、３
π／４、７π／８の８方向に分類し、その中間角度に位
置するものはその±π／１６の範囲でいずれかの傾斜方
向に入れることで区分化を行った。

【００３０】本実施の形態では、上記の等濃度方向を、
演算上の簡便化のためπ／８で除し、図５の通り０、
１、２、３、４、５、６及び７と表している。また、図
５において括弧書きで８〜１５の値を書き記したが、こ
れは同じ等濃度線であっても欠陥画素への入射方向は正
負の２方向考えられるからであり、補正処理において
は、この２方向が補正濃度値の演算にかかわるものであ
る。

【００３１】そして、画像欠陥内の画素に対しては次の
ような手順で、順次補正値を求めることができる。

【００３２】まず補正値の求め方の考え方を、図６を参
照して説明する。図６には５×５の２５画素を描き、中
央の画素Ｚ（０、０）を画像欠陥内の一画素と考え、Ｚ
（０、０）を原点とし右方向と下方向を正方向とした。
各画素における濃度値は、各々の座標位置で左上から順
次Ｚ（−２、−２）〜Ｚ（２、２）として表した。

【００３３】ここでの補正処理の基本は、Ｚ（０、０）
を中心とし、隣接する周囲８個の画素のいづれかにおい
て等濃度線が求められ、かつその等濃度線がＺ（０、
０）に入射する場合のみ、等濃度線上の一番近い正常画
素（または補正後の画素）から演算して補正値を取得し
ようとするものである。

【００３４】いま、このＺ（０、０）の位置の画素が、
図４で斜線で示した欠陥画素の範囲の中のＨの位置にあ
るとすれば、等濃度線が得られるのは算出に必要な正常
画素が揃っている左上方に位置するＡ、Ｂ、Ｇの各画素
である。従って、画素Ａにおける等濃度方向を表わす角
度Ｅｑの向きが、図５の１〜３であればよい。これは、
入射の向きも考えることになるので、実際には図５の９
〜１１も範囲内となり、それぞれの補正値は図６の濃度
を表す式Ｚ（ｘ，ｙ）を用いると、 １（９） ：Ｚ（０、０）＝Ｚ（−２、−１） ２（１０） ：Ｚ（０、０）＝Ｚ（−１、−１） ３（１１） ：Ｚ（０、０）＝Ｚ（−１、−２） となる。

【００３５】また、複数の方向からの入射が同時にある
場合は、その平均値を補正濃度値とし、画像欠陥内の全
画素についてこれを行う。１回の演算で全画素の補正濃
度値が得られなければ補正値が得られた画素を正常画素
と同じ扱いにして、同様の作業を繰り返して行い、これ
を画像欠陥内の全画素について補正濃度値が得られるま
で繰り返す。

【００３６】ただし、濃度に傾斜のない平坦な画像や、
等濃度線の向きが水平または垂直方向である場合は補正
値が得られない場合がある。このような場合は、補正濃
度値が得られる画素が増えなくなり、しかも全画素の補
正が終っていない場合には、従来と同様、平面予測によ
る補正濃度値の算出を行なう。

【００３７】これは上記図４のＨの場合で考えればその
算出式は

【数１】Ｚ（０、０）＝Ｚ（０、−１）＋Ｚ（−１、
０）−Ｚ（−１、−１） となる。以上のようにして、欠陥画像の補正が完了す
る。

【００３８】従って、この実施の形態では、新たに画像
パターン情報取得部１１を設け、周囲の正常画素間の差
分値とその差分値から求めた濃度の最大傾斜角（方向）
から等濃度線の方向を得て、その等濃度線の方向の情報
から各欠陥画素に対して最適と判断される補正演算式を
選択して補正値を得るものである。

【００３９】このように、本発明の画像補正装置は、画
像欠陥周囲の画像パターンに整合させ、等濃度線を直線
に近似して補正処理を行うもので、従来の画像補正装置
のように、単に画像欠陥の位置と形状のみによって、し
かも固定された補正演算式で補正値を算出するものでは
ないから、より精度の高い補正が行われる。

【００４０】（第２の実施の形態）上記第１の実施の形
態では、等濃度線を直線に近似して補正処理を行なっ
た。その補正処理は画像欠陥の形状が比較的小さい場合
には十分な補正が得られると考えられる。

【００４１】しかし、補正対象の画像欠陥が３×３画
素、４×４画素のように大きくなり、しかもエッジが入
射した場合には十分対応仕切れなくなる可能性がある。
具体的には、図７に示すように、斜線で示した中央部の
４×４画素からなる画像欠陥の中で、２方向から矢印方
向に入射する２つのエッジ（エッジＡ、エッジＢ）が、
直角等への偏曲を含み交わるような場合で、各エッジ
（エッジＡ、エッジＢ）が画像欠陥に入射する位置から
エッジ同士の交点に当たる画素までの距離に差がある場
合である。

【００４２】この場合には、入射位置から交点までの距
離が短い側のエッジによって定まる補正演算式が、交点
を越えた画素にまで適用されて補正誤差の原因となる。

【００４３】そこで、このように大きな欠陥の場合に
は、上記第１の実施の形態で説明した直線に近似した補
正処理を行なう前に、画像欠陥内の全ての画素につい
て、図５に示した１６方向に全てに対して、正常画素の
領域まで辿ってエッジがあるか調べる。そしてエッジが
存在する場合には入射する可能性のあるエッジとしてカ
ウントし、その個数に応じた補正を優先的に行うもので
ある。

【００４４】その補正処理のフローチャートを図８に示
し、その具体的な処理方法を以下説明する。

【００４５】図１に示した画像パターン情報取得部１１
において、エッジが存在するかどうかを検知するため
に、まず補正対象の欠陥とその周囲の正常画素のデータ
を読み込む（ステップＳ１）。

【００４６】次に、変曲点の明確化のために、当該画素
の隣接画素との二階差分値から得られるラプラシアンＬ
を求め、Ｌの値がエッジとしての閾値以上であればエッ
ジと判断して検出し、その画素におけるエッジの向きを
得る（ステップＳ２）。

【００４７】そのエッジの向きが検索の向きと等しいか
どうかを順次調べる。すなわち図５において、例えば２
の方向または１０の方向を検索したときにその画素を通
るエッジの向きが２つあるどうか、つまり周囲にエッジ
が２つ以上存在するかどうかを調べる（ステップＳ
３）。

【００４８】ステップＳ３において、１６方向全て調べ
終えたところでエッジが２本（複数本）あり（ＹＥ
Ｓ）、その傾斜方向も等しいという条件を満たしたと
き、その２本のエッジが、交わると判断する（ステップ
Ｓ４）。具体的には、図７においてエッジＡで隔てられ
る２領域ＡＵ、ＡＤ、及びエッジＢで隔てられる２領域
ＢＵ、ＢＤの各信号レベル、すなわち各濃度を考えたと
き、ＡＵ領域対するＡＤ領域の濃度増加（減少）量の符
号とＢＵ領域に対するＢＤ領域の濃度増加（減少）量の
符号とが同符号である場合、欠陥画素内に交点があると
判断する。

【００４９】そしてその２本のエッジが画像欠陥に入射
する画素から交点のある画素に至るまでの経路に当たる
全画素について、正常画素との境界に位置する画素から
順次、エッジ上に位置する最近接の正常画素の値を補正
値として得る（ステップＳ５）。

【００５０】この処理の後に補正値が得られていない画
素、及びステップＳ３において、周囲にエッジが存在し
ないか、存在しても１つだけの場合には、第１の実施の
形態の平面予測等、直線に近似した補正方法で補正値を
求める（ステップＳ６）。

【００５１】最後に、未補正の画素が残っているかどう
かを調べ、未だ残っている場合（ＹＥＳ）は、ステップ
Ｓ６の工程を繰り返す（ステップＳ７）。

【００５２】以上のような補正方法により、第１の実施
の形態で説明した場合より形状の大きな欠陥に対して、
より精度良く補正することができる。このようにして、
例えば２×２画素以下の欠陥の場合については第１の実
施の形態での処理を行い、それより大きな欠陥である場
合には、この第２の実施の形態の処理を行うというよう
に欠陥画像の大きさや形状で補正処理方法を切り替える
ことにより、効率良い補正を行うことができる。

【００５３】上記実施の形態では、固体撮像装置単体で
の画像欠陥の補償について述べたが、近年は、ディジタ
ルカメラ等の固体撮像装置で得られたディジタル映像信
号を電子計算機に供給することによって、撮像画像をパ
ソコン等上の他のデータと同一処理を行うことが要求さ
れるようになった。

【００５４】すなわち、最近ではパソコンやワークステ
ーション等の電子計算機の低価格化とともに、フラッシ
ュメモリーカードやハードディスクなどの補助記憶装置
の一層の高密度化が図られ、これに接続して使用される
ディジタルカメラが市場に多く出回るようになった。こ
のようなディジタルカメラに使用される固体撮像装置で
も、画像欠陥に対す補償回路を必要とするが、上述のよ
うに補償演算処理はもともとパソコン等の電子計算機の
得意とするところであるから、画像欠陥を補償しつつ、
より一層の小形化と使い勝手の良いディジタルカメラを
実現するために、電子計算機との間でどのように組み合
わせ接続するかが課題とされる。

【００５５】そこで、全体をより機能的に構成し、また
固体撮像装置側のより小形化を可能とした画像補正装置
の第３の実施の形態を以下説明する。

【００５６】（第３の実施の形態）すなわち、ディジタ
ルカメラではＡ／Ｄ変換されて得られたディジタル映像
を計算機側に送るために、シリアルインターフェースあ
るいはパラレルインターフェースが使用される。これら
インターフェースは計算機側に予め標準装備されている
場合もあれば、拡張スロットまたはＰＣカードスロット
に拡張カードを装着して追加される場合もある。またそ
の他にも、拡張カードにアナログ画像信号を受けてディ
ジタル信号に変換するような、いわゆるビデオキャプチ
ャーカードを経てディジタル映像が計算機側に送られる
場合もある。

【００５７】いずれにしても、画像欠陥の補正は計算機
回路での演算処理によるものであるから、上記第１及び
第２の実施の形態で説明したように、カメラ本体側にお
いて画像欠陥を補正しようとすると、接続される計算機
側と同様な計算機回路を必要とする。そこで、この実施
の形態では、画像欠陥の補正演算を計算機側の回路で実
行させることによって、カメラ側の負荷を軽減し、撮像
操作機能が優れ小形軽量化を可能とした画像補正装置を
提供するものである。

【００５８】具体的には、図１に示した構成において、
フレームメモリ６、補正信号置換部１０、制御部８、画
像パターン情報取得部１１及び演算部９は、記憶機能と
四則演算機能と条件分岐制御機能によるものであるか
ら、デジタル映像信号を導入した電子計算機側でソフト
ウェア処理でこれを実現した。

【００５９】特に第１及び第２の実施の形態において説
明したように、欠陥画像の補正を行うためには、画像欠
陥周囲の画像パターン情報を取得するものであるから、
フレームメモリ６は必須の構成であり、また画像パター
ン情報取得部１１及び演算部９においても、図８のフロ
ーチャートに示したように、信号分岐と繰り返し処理が
あり、これらの処理を電子計算機側でソフトウェア的に
行うことによりカメラ本体側の回路構成やメモリの搭載
量を軽減し、小形軽量化を図ることで、使い勝手の良い
ディジタルカメラを実現することができる。

【００６０】図９は、この実施の形態による画像補正装
置の具体的回路構成を示すブロック図である。すなわ
ち、固体撮像素子１、駆動回路２、タイミング発生回路
５、Ａ／Ｄ変換器４及びＲＯＭ７等はディジタルカメラ
側に搭載した。カメラ側からはＡ／Ｄ変換器４を経たデ
ィジタル画像データ、ＲＯＭ７に記憶されている画像欠
陥情報（位置及び形状等）及びタイミング発生回路５か
らのタイミング信号が、ディジタルインターフェース１
２を介して図示右側の電子計算機側に伝送される。

【００６１】電子計算機側に伝送されたディジタル画像
データは、図１のフレームメモリ６に相当するハードデ
ィスク１３に一旦蓄積される。また画像欠陥情報及びタ
イミング信号は制御部８に供給される。この他の補正信
号置換部１０、画像パターン情報取得部１１及び演算部
９の構成及び接続関係は図示のとおり、図１に示した構
成と同一である。

【００６２】しかしながら、その補正演算処理は電子計
算機上で動作するソフトウェアによって実行されるか
ら、例えば画像欠陥情報も実態としてはソフトウエア上
のプログラムが用意する記憶領域に保管される。

【００６３】図８に示した手順により、欠陥画像の補正
を終了した後のディジタル画像データは、同じく電子計
算機に内蔵あるいは接続されている記憶装置１４に記憶
されて処理を終了する。

【００６４】なお、図９では補正処理前の画像データは
ハードディスク１３に保存されているが、ハードディス
ク１３以外の記憶装置でも良く、例えば電子計算機の主
メモリでも良い。また、補正処理後の画像データは記憶
装置１４に蓄積することなく、直接カラーブラウン管あ
るいは液晶表示器等の画像表示部にデータを伝送し表示
させることもできる。また、図９に示した構成では、ダ
イナミックレンジを稼ぐためには、雑音抑圧処理・ガン
マ変換回路３で一旦逆ガンマ変換を行ってからガンマ補
正やホワイトバランスの補正など線形処理を行い、その
後Ａ／Ｄ変換（４）を行うようにすることができるが、
ディジタルカメラによっては、ディジタルインターフェ
ース１１を介してガンマ変換の有無の情報をカメラ側か
ら計算機側に伝送し、計算機側でディジタル処理により
線形処理を実施しても良い。

【００６５】以上のように画像補正装置を構成すること
によって、ディジタルカメラ側の構成の簡略化を果たし
つつ、前記第１の実施の形態または第２の実施の形態に
よる画像補正が実施される。

【００６６】次に、固体撮像素子に採用されるＣＣＤ等
は、その材料でありシリコン半導体材料自体は熱的性質
からくる温度特性を有し、温度特性による主な雑音成分
に暗電流Ｉｄが生じ、映像出力信号はその暗電流Ｉｄの
影響を受け、暗時ムラまたは素地ムラとして現れ、それ
が大きい場合にはやはり画像欠陥となることがある。

【００６７】（第４の実施の形態）すなわち、この発明
による画像補正装置は、固体撮像素子での暗電流Ｉｄに
よる影響を軽減し、画像欠陥を補正し良好な画像を得る
ものである。

【００６８】半導体材料における暗電流Ｉｄの温度依存
性は、撮像素子の活性化エネルギーＥａ（＞０）によっ
て次式で表わすことができる。

【数２】 ここで、ｋはボルツマン定数、Ｔは絶対温度である。

【００６９】両辺の自然対数をとると

【数３】 となる。つまりこの式によれば、暗電流Ｉｄの自然対数
は活性化エネルギーＥａ、及び−１／Ｔに比例する。従
って、温度が高くなる（絶対温度Ｔが増加する）と暗電
流Ｉｄも増加するが、活性化エネルギーＥａは撮像素子
上で一様であることが理想的である。何故ならば、温度
依存性の係数が等しければ、温度特性の補償も全画像信
号に対して同じ処理で済むからである。

【００７０】この活性化エネルギーＥａは撮像素子の微
細構造によって定まり、微細構造が各画素で均一であれ
ば、活性化エネルギーＥａは一様になる。しかしなが
ら、構造欠陥や半導体の組成ムラ等により一様でない場
合があるため、完全に一様にすることは難しい。この活
性化エネルギーＥａのばらつきが生じたとき、そのばら
つきの差が比較的小さければ映像信号上は暗時ムラまた
は素地ムラとして現れ、差が非常に大きい場合には画像
欠陥として現れることがあるので問題となる。

【００７１】さらに暗電流Ｉｄは温度が上昇すると増加
するので、低温時には目立たなくとも撮像素子の駆動に
伴う発熱による温度上昇した場合、欠陥が目立ってくる
場合もある。

【００７２】勿論、画像欠陥には原映像信号と全く関係
なく信号が出力される場合もあるが、上記のような暗電
流Ｉｄが他の画素よりも多く発生する場合もある。この
とき、撮像素子の正常な画素の活性化エネルギーＥａ
（Ｅａｎとする）と画像欠陥の活性化エネルギーＥａ
（Ｅａｄとする）とを予め測定して、ＲＯＭ７に予め記
憶しておくことによって復元することが可能である。

【００７３】すなわち、図１０に示したブロック図のよ
うに画像補正装置を構成し、さらにＲＯＭ７内に保存す
る温度依存性情報保存のデータ形式を例えば図１１に示
すように構成することによって、この温度特性に基づく
補正を行ことができる。このような温度特性を考慮した
補正方式は、「テレビジョン学会技術報告 ＴＡＢＳ−
４，１９８３年」に記載されているが、例えば暗電流が
多く、正常画素より欠陥画素の信号量が多い場合は、明
らかに欠陥画素の信号の方が少ない光量で飽和信号量に
到達する。つまり正常画素より少ない光量で、原信号の
再現が不可能になってしまうので、飽和以後は補正信号
は前記第１、及び第２の実施の形態で示した画像補正装
置で求め、より優れた補正を行うことができる。

【００７４】この方式の具体的動作を図１０を参照し説
明する。すなわち、固体撮像素子１に温度検出器１５を
接続し、温度検出器１５は、検出した固体撮像素子１の
温度をアナログ電気信号に変換する温度センサと、その
温度センサからのアナログ電気信号をディジタル信号に
変換するＡ／Ｄ変換器と、そのディジタル信号を変換テ
ーブルによってさらに温度データに変換するディジタル
処理回路とで構成した。

【００７５】温度検出器１５による固体撮像素子のデジ
タル温度データは制御部８に伝送される。制御部８は予
めＲＯＭ７から固体撮像素子１の正常画素の活性化エネ
ルギーＥａｎの値（Ｅｎとする）を得るので、これに従
って正常画素の信号についてはその活性化エネルギーＥ
ｎに従った温度特性の補正をフレームメモリ６上で行う
よう制御する。さに温度特性に従うものは、ＲＯＭ７に
格納されている情報Ｅｎに基づいて温度特性の補正を行
うとともとに、出力値が飽和値以上になったとき温度特
性による補正を停止し、周囲の正常画素の情報による補
正処理に切り替えるよう制御する。

【００７６】もちろん、温度特性にかかわらない欠陥画
素からの信号出力については、常に周囲の正常画素の情
報からの補正処理を行うようにして、温度特性に従う欠
陥についてのみ効果的な補正が可能になる。

【００７７】また、一塊の画像欠陥内においても、この
温度特性に従う画素と常時一定値を出力する画素が混在
する場合も考えられる。そのときは温度特性に従う画素
の補正値を求め、その後前記第１、及び第２の実施の形
態の画像補正装置と同様の補正を行えばよい。

【００７８】もちろん、素地ムラなどを補正すること
は、素地ムラを生じる画素群の補正係数を画像欠陥と同
様にＲＯＭ７に予め記憶して、画像欠陥と同様に演算処
理を行うことにより同時補正が可能である。

【００７９】（変形例）第１，第２，第３，第４の実施
の形態で用いたＲＯＭ７の代わりに、フラッシュ型のＲ
ＯＭやＲＡＭを用いることもできる。

【００８０】例えば、固体撮像素子においては経年変化
によって欠陥が増加したり、温度特性が変化した書換を
可能にする場合には、フラッシュ型のＲＯＭを用いる。

【００８１】また、電源投入時に欠陥の位置と形状の検
出部が備わっている場合には、電源投入ごとに検出を行
うので位置と形状の情報をＲＡＭまたはフラッシュ型の
ＲＯＭに記憶して上記と同様の補正処理を行う。ここ
で、欠陥の位置と形状の検出部の例としては、例えば電
源投入時にシャッターを閉じた状態で固体撮像素子の信
号出力を調べ、このとき白欠陥であれば信号が黒レベル
ではないので、一定の閾値を設定することによって検出
し、欠陥の位置と形状の情報を得るといった方法等があ
る。

【００８２】

【発明の効果】以上のように、本発明によれば、画像欠
陥内の各画素の補正値を算出する補正演算式の決定過程
に、画像欠陥の周囲の正常画素が得られる画像パターン
情報にもとづいて補正演算式を切替え、画像欠陥内の各
画素に対して周囲の画像パターンに応じた補正演算式を
選択するので、従来より画像精度の良い補正が可能であ
り、実用に際し得られる効果大である。

【図面の簡単な説明】

【図１】本発明による画像補正装置の第１の実施の形態
を示す回路構成図である。

【図２】図１に示す装置のＲＯＭに画像欠陥の位置と形
状の情報を示す構成図である。

【図３】図２に示した画像欠陥の撮像画面上の形状図で
ある。

【図４】図３に示した撮像画面の中の一部パターンを示
す拡大図である。

【図５】図１に示す装置の撮像素子上の等濃度線方向の
分類説明図である。

【図６】図１に示す装置の撮像素子上の画像欠陥の補正
演算説明図である。

【図７】本発明による画像補正装置の第２の実施の形態
を説明するもので、撮像素子上の画像欠陥内に形成され
るエッジの説明図である。

【図８】図７に説明する装置の処理フローチャートであ
る。

【図９】本発明による画像補正装置の第３の実施の形態
を示す回路構成図である。

【図１０】本発明による画像補正装置の第４の実施の形
態を示す回路構成図である。

【図１１】図１０に示す装置のＲＯＭに格納される温度
依存性情報保存形式図である。

【図１２】従来の画像補正装置を示す回路構成図であ
る。

【符号の説明】

１ 固体撮像素子 ２ 駆動回路 ４ Ａ／Ｄ変換器 ５ タイミング発生回路 ６ フレームメモリ ７ ＲＯＭ ８ 制御部 ９ 演算部 １０ 補正信号置換部 １１ 画像パターン情報取得部 １２ ディジタルインターフェース １３ ハードディスク １４ 記憶装置 １５ 温度検出部

Claims (5)

【特許請求の範囲】
1. 【請求項１】 固体撮像素子から出力されたアナログ画
   像信号をＡ／Ｄ変換後画像欠陥を補正する画像補正装置
   において、 前記固体撮像素子における画像欠陥の位置情報と形状情
   報を予め記憶する画像欠陥情報記憶手段と、 前記Ａ／Ｄ変換された画像信号を記憶する画像信号記憶
   手段と、 この画像信号記憶手段に記憶された画像信号から前記画
   像欠陥の周囲の複数の正常画素の濃度パターン情報を導
   入記憶する画像パターン情報取得手段と、 この画像パターン情報取得手段に記憶された前記画像欠
   陥の周囲の複数の正常画素の濃度パターン情報と前記画
   像欠陥情報記憶手段に記憶された前記画像欠陥の位置及
   び形状情報とから正常画素に近い欠陥画素に対する画素
   補正演算を行い補正信号を導出する補正演算手段と、 この補正演算手段の補正演算によって補正された欠陥画
   素を正常画素とみなして更新し、残された欠陥画素に対
   し補正演算処理を行うよう補正演算手段を制御する制御
   手段と、 前記補正演算手段により得られた補正信号と、この補正
   信号が補正対象とする画像欠陥から出力された欠陥信号
   とを置換する補正信号置換手段とを具備することを特徴
   とする画像補正装置。
2. 【請求項２】 前記画像欠陥の周囲の複数の正常画素の
   濃度パターン情報が、正常画素間の濃度の差分値と濃度
   の最大傾斜方向であることを特徴とする請求項１記載の
   画像補正装置。
3. 【請求項３】 前記画像欠陥の周囲の複数の正常画素の
   濃度パターン情報が、正常画素間の濃度の差分値と、濃
   度の最大傾斜方向と、濃度の二階差分値とであることを
   特徴とする請求項１記載の画像補正装置。
4. 【請求項４】 前記画像欠陥情報記憶手段は前記固体撮
   像素子における欠陥画素の温度依存性の情報を記憶する
   とともに、前記補正演算手段はこの温度依存性の情報を
   用いて補正演算処理を行うことを特徴とする請求項１記
   載の画像補正装置。
5. 【請求項５】 補正対象の欠陥画素情報とこの欠陥画像
   情報の周囲の正常画素を読み取り、 読み取られた前記正常画素におけるエッジを検出し、 検出された前記エッジが複数個存在するか否かを判定
   し、 前記複数個存在するものと判定されたエッジが前記欠陥
   画素内で交差するか否かを判定し、 欠陥画素内で交差するものと判定されたエッジ上に位置
   する前記正常画素を基に欠陥画素を補正し、 補正された前記欠陥画素以外の欠陥画素に対して、補正
   された前記欠陥画素をもとに補正することを特徴とする
   画像補正方法。