JP2699423B2 - 固体撮像素子の欠陥補正装置 - Google Patents

Description

【発明の詳細な説明】 以下の順序に従って本発明を説明する。

A.産業上の利用分野 B.発明の概要 C.従来技術［第３図］ D.発明が解決しようとする問題点［第４図］ E.問題点を解決するための手段 F.作用［第２図］ G.実施例［第１図］ H.発明の効果 （A.産業上の利用分野） 本発明は固体撮像素子の欠陥補正装置、特に固体撮像
素子の欠陥画素により生じた信号を補正する固体撮像素
子の欠陥補正装置に関する。

（B.発明の概要） 本発明は、固体撮像素子の欠陥補正装置において、 より完全な補正をするため、 固体撮像素子の欠陥画素の画素に撮像信号の変化があ
ったときにその変化をもたらしたところの画面に対して
相対的に移動する移動物体を互いに異なった撮像時点の
画像を記憶する複数の画像メモリの画像情報を処理する
ことにより認識し、現時点における上記移動物体に占め
る欠陥画素の位置を検出し、現時点から適宜遡った時点
に撮像した画像を記憶する画像メモリからその遡った時
点における上記移動物体の欠陥画素に相当する部分の画
像情報を抽出し、この抽出した画像情報をもって欠陥画
素の信号に置き換えるようにしたものである。

（C.従来技術）［第３図］ 固体撮像素子は高度なLSI製造技術を駆使した半導体
からなる撮像素子で、撮像管に代る撮像素子としてホー
ムビデオカメラ等に非常に多く用いられるようになって
いる。固体撮像素子は光を受けるとこれを電荷に光電変
換する感光素子が画素として数万個、数十万個あるいは
数百万個マトリックス状に並べており、各画素により光
電変換された光電荷からなる信号を所定の順次に従って
読み出すようになっている。

ところで、固体撮像素子は高度な技術により製造され
るとはいえ非常に多数の画素が非常に狭いエリアに配置
されており、各画素が非常に微細である。従って、品質
管理を非常に厳しくても例えば非常に微細なゴミ等の異
物によって一部の画素に欠陥が生じることは避け得な
い。そして、欠陥が生じた画素はそこに入った光の量に
無関係に白あるいは黒の偽信号をつくる。この偽信号は
当然に画像の品位を著しく低下せしめるので、偽信号を
補正する必要がある。この補正を固体撮像素子を欠陥補
正という。

ところで、従来において欠陥補正は第３図に示すよう
に欠陥画素ａの近くの画素例えば時系列的に１つ前の画
素にあたる左隣りの画素ｂの信号をもって欠陥画素ａの
信号とするこにより行われていた。尤も、このように一
つの隣りの画素ｂの信号をもって欠陥画素ａの信号とす
る場合もあるが、ライン相関性を利用して一つ上の画素
ｃの信号をもって欠陥画素ａの信号とすることも考えら
れ得る。

（D.発明が解決しようとする問題点）［第４図］ ところで、上述した従来の欠陥補正には第４図に示す
ように偽信号ｄが発生する場合があるという問題があっ
た。

即ち、欠陥画素ａの図面（第３図、第４図）における
左側の画素ｂが例えば黒の信号であれば欠陥画素ａに入
射した光が白であっても黒の信号に誤って補正され、ｅ
に示すように右側の側面が真直ぐな黒の物体に、補正に
よって生じた偽信号による突起（二点鎖線で示す）ｄが
生じてしまう。これは画像の品位の向上を妨げる一つの
要因となっていた。

そこで、本発明はより完全な欠陥補正を行なうように
することを目的とする。

（E.問題点を解決するための手段） 本発明固体撮像素子の欠陥補正装置は上記問題点を解
決するため、固体撮像素子の欠陥画素の画素に撮像信号
の変化があったときにその変化をもたらした画面に対し
て相対的に移動する移動物体を互いに異なった撮像時点
の画像を記憶する複数の画像メモリの画像情報を処理す
ることにより認識し、現時点における上記移動物体に占
める欠陥画素の位置を検出し、現時点から適宜遡った時
点に撮像した画像を記憶する画像メモリから上記移動物
体の欠陥画素に相当する部分の画像情報を抽出し、この
抽出した画像情報をもって欠陥画素の信号に置き換える
ようにしてなることを特徴とする。

（F.作用）［第２図］ 本発明固体撮像素子の欠陥補正装置によれば、画面に
対して相対的に移動する移動物体の現時点よりも前の時
点における欠陥相当部分の情報をもって欠陥画素の情報
とするのでより完全な欠陥補正ができる。

この点について第２図（Ａ）乃至（Ｃ）に従って具体
的に説明する。第２図（Ａ）乃至（Ｃ）は固体撮像素子
の画面上において移動物体ｆが欠陥画素ａをよぎった場
合の画像を示しており、同図（Ａ）が現時点より少し前
の時点の画像を、同図（Ｂ）が現時点の画像を、そして
同図（Ｃ）が現時点よりも後の時点（謂わば将来）の画
像を示している。

第２図（Ｂ）に示す現時点においての移動物体ｆの欠
陥画素ａの画像は、同図（Ａ）に示すところの現時点か
ら遡った時点においては正常な撮像部分（即ち、欠陥画
素でない部分）に相当しており、ｇがその欠陥相当部分
である。そこで、本発明においては現時点［第２図
（Ｂ）参照］において欠陥画素ａについて、現時点の前
［第２図（Ａ）参照］の欠陥相当部分ｇの情報をもって
補正するのでより完全な欠陥補正が可能になるのであ
る。

（G.実施例）［第１図］ 以下、本発明固体撮像素子の欠陥補正装置を図示実施
例に従って詳細に説明する。

第１図は本発明固体撮像素子の欠陥補正装置の一つの
実施例を示す回路ブロック図である。同図において、１
は固体撮像素子、２は固体撮像素子１を駆動するタイミ
ング信号発生回路、３は欠陥画素の位置情報を記憶する
ROM、４は固体撮像素子１から出力されたアナログの画
像信号をディジタル信号に変換するA/Dコンバータ、５
は該A/Dコンバータ４から出力された画像信号を記憶す
るメモリ、６は多数の画像メモリ７、７、…からなる画
像メモリ群であり、各画像メモリ７、７、…はそれぞれ
１つの画像（例えば１フレームの画像）の画像信号を記
憶する。そして、各画像メモリ７、７、…は互いに異な
った撮像時点の１つの画像の画像信号を記憶するように
なっている。８は上記画像メモリ群６に記憶された映像
情報を処理して欠陥補正信号をつくる演算回路、９はス
イッチング回路で、通常時はメモリ５から出力されてい
る画像信号（これを現時点の画像信号という。この点に
ついては後で詳しく述べる）を出力し、欠陥画素の信号
の送出時に演算回路８から出力された欠陥補正信号を出
力するものであり、タイミング信号の発生回路２からス
イッチング信号を受ける。

この固体撮像素子の欠陥補正装置は、固体撮像素子１
がタイミング信号発生回路２により駆動されて撮像を開
始すると固体撮像素子１から画像信号が出力され、該画
像信号がA/Dコンバータ４によってディジタル信号に変
換されたうえで先ず一旦メモリ５に記憶され、該メモリ
５から出力され、スイッチング回路９を経由して装置外
部へ送出される。

但し、メモリ５から欠陥画素の信号が出力されるタイ
ミングにおいてはタイミング信号発生回路２からROMN3
の欠陥画素の位置情報に基づいてスイッチング回路９を
切換える信号が送出され、スイッチング回路９は演算回
路８から出力された欠陥補正信号を出力する状態にな
る。そして、欠陥画素の信号が出力された状態が過ぎる
とスイッチング回路９は元の状態、即ちメモリ５からの
画像信号を出力する状態に戻る。

ところで、メモリ５から出力された画像信号は画像メ
モリ群６へも送出され、各画像メモリ７、７、…に１画
像（１画面分の画像）ずつ記憶される。例えば画像メモ
リ群６の画像メモリ７の数が60あり、33.3ミリ秒ずつ撮
像時点が異なった現時点からそれより２秒前までの２秒
間分の60の画像が画像メモリ群６に記憶されるようにな
っている。現時点から２秒間以上前の画像情報は消失す
るようになっている。そして、演算回路８は画像メモリ
７、７、…（即ち、画像メモリ群６）に記憶された２秒
分の画像情報を処理して欠陥画素の信号を補正する補正
信号をつくるための各種演算を行なう。次に、演算回路
８が行なう演算について述べる。

演算回路８は、先ず、欠陥画素ａ（第２図参照）の周
辺の画素に画像信号の変化があったかどうかを検出す
る。これは要するに移動物体の存在の検出であるが、本
明細書において移動物体とは画面に対して相対的に移動
する画像であり、絶対的に移動する例えば飛球、走行す
る電車、自動車等がそれに該当する場合もあるが、カメ
ラをパンニングすることによってあるいはカメラが振動
することによって画面に対して相対的に移動する画像全
体（一画面を占有する画像の全部）がそれに該当する場
合もある。

演算回路８は欠陥画素ａの周辺の画素に画像信号の変
化があったことを検出したときは、その画像信号の変化
をもたらした移動物体ｆを画像メモリ群６に蓄積された
映像情報の分析により認識する。そして、この認識が終
了すると現時点における上記移動物体ｆに占める欠陥画
素ａの位置を検出する。尚、本明細書において、現時点
の画像とは本欠陥補正装置から現在出力されている画像
であり、固体撮像素子において現在撮像されている画像
とは限らない。少くとも本実施例においては約１画像分
（16ミリ秒あるいは33ミリ秒）以上前の画像である。と
いうのは、本実施例においてはA/Dコンバータ４とメモ
リ５によって約１画像分以上遅れて画像が装置から送出
されるからである。

演算回路８は、欠陥画素ａの現時点における移動物体
ｆに占める位置、即ち移動物体ｆに対する欠陥画素ａの
相対的位置を検出すると、現時点よりも適宜前（例えば
２秒前）の画像を記憶する画像メモリ６からその画像
（即ち、現時点よりも適宜前の画像）の移動物体ｆの欠
陥相当部分ｇの画像信号を読み出し、これを補正信号と
して出力する。そして、メモリ５から欠陥画素ａの信号
が出力されるタイミングのときにスイッチング回路９が
演算回路８の出力側に切換えられた切換状態になり、そ
の補正信号が出力され、欠陥補正が為される。尚、現時
点よりもどの程度前の画像に基づいて欠陥補正をするか
は、予め一定の値に（例えば２秒に）定めておくように
しても良いし、各画像メモリ６、６、…の映像情報の分
析により移動物体の移動速度を演算し、移動速度が遅い
ときは比較的長い時間前の画像に基づいて、移動速度が
速いときは比較的短い時間前の画像に基づいて欠陥補正
するというようにしても良い。

尚、例えば２秒間以上というように長い時間画像が静
止（少くとも欠陥の近傍が静止）するような場合、ある
いは画面が完全に切り換って現時点の画面とそれより前
の画面との間に脈絡がない場合には本明細書でいう移動
物体なるものが存在しないことになり、現時点よりも前
の画像の移動物体の欠陥相当部分の信号により欠陥補正
をすることが不可能になる。そこで、このような場合の
みは他の方法、例えば既に述べた従来の方法（例えば、
欠陥画素の隣りの画素の信号をもって欠陥画素の信号に
置き換えるという方法）をもって補正するようにすると
良い。このような場合の補正信号の作成は演算回路８に
よって行うようにしても良いし、あるいはそれとは別の
補正手段によって行うようにしても良い。

本欠陥補正装置においては、演算回路８が、欠陥画素
の周辺の画素に撮像信号の変化があったか否かを検出す
る変化検出手段としての役割と、移動物体を認識する移
動物体認識手段としての役割と、現時点における移動物
体に占める欠陥画素の位置を検出する相対的欠陥位置検
出手段としての役割と、現時点から遡ったある時点の画
像を記憶する１つの画像メモリからその遡った時点にお
ける上記移動物体の欠陥画素に相当する部分の情報を検
知する補正信号抽出手段としての役割を果しているので
ある。

（H.発明の効果） 以上に述べたように、本発明固体撮像素子の欠陥補正
装置は、固体撮像素子で撮像された撮像時点が互いに異
なる画像を記憶する複数の画像メモリと、固体撮像素子
の欠陥画素の近傍の画素に撮像信号の変化があったか否
かを検出する変化検出手段と、該変化検出手段から映像
信号の変化があった旨の検出信号が発生したとき上記複
数の画像メモリの記憶情報から上記欠陥画素周辺に映像
信号の変化をもたらしたところの画面に相対的に移動す
る移動物体を認識する移動物体認識手段と、現時点にお
ける上記移動物体に占める欠陥画素の位置を検出する相
対的欠陥位置検出手段と、現時点から遡ったある時点の
画像を記憶する１つの画像メモリから斯る遡った時点に
おける上記移動物体の欠陥画素に相当する部分の情報を
検知する補正信号抽出手段と、欠陥画素の信号の送出時
に上記補正信号抽出手段で検出された補正信号を欠陥画
素の信号に置き換えて出力する信号置換手段とを備えた
ことを特徴とする。

従って、本発明固体撮像素子の欠陥補正装置によれ
ば、画面に対して相対的に移動する移動物体の現時点よ
りも前の時点における欠陥相当部分の情報をもって欠陥
画素の情報とするのでより完全な欠陥補正ができる。

【図面の簡単な説明】

第１図は本発明固体撮像素子の欠陥補正装置の一つの実
施例の構成を示す回路ブロック図、第２図（Ａ）乃至
（Ｃ）は本発明の基本原理を説明するための画像の変化
を示す画面図、第３図は従来技術を説明するための固体
撮像素子の平面図、第４図は発明が解決しようとする問
題点を示す固体撮像素子の平面図である。 符号の説明 １……固体撮像素子、 ６……画像メモリ群、 ７……画像メモリ、 ８……変化検出手段、移動物体認識手段、相対的欠陥位
置検出手段、補正信号抽出手段、 ９……信号置換手段。

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】固体撮像素子で撮像された撮像時点が互い
   に異なる画像を記憶する複数の画像メモリと、 固体撮像素子の欠陥画素の近傍の画素に撮像信号の変化
   があったか否かを検出する変化検出手段と、 上記変化検出手段から映像信号の変化があった旨の検出
   信号が発生したときに上記複数の画像メモリの記憶情報
   から上記欠陥画素の近傍の画素に映像信号の変化をもた
   らしたところの画面に相対的に移動する移動物体を認識
   する移動物体認識手段と、 現時点における上記移動物体に占める欠陥画素の位置を
   検出する相対的欠陥位置検出手段と、 現時点から遡ったある時点の画像を記憶する１つの画像
   メモリから斯る遡った時点における上記移動物体の欠陥
   画素に相当する部分の情報を検知する補正信号抽出手段
   と、 欠陥画素の信号を送出する時に上記補正信号抽出手段で
   検出された補正信号を欠陥画素の信号に置き換えて出力
   する信号置換手段と、 を備えたことを特徴とする固体撮像素子の欠陥補正装置