JP3784675B2 - 撮像装置、撮像方法、およびプログラム - Google Patents
撮像装置、撮像方法、およびプログラム Download PDFInfo
- Publication number
- JP3784675B2 JP3784675B2 JP2001234066A JP2001234066A JP3784675B2 JP 3784675 B2 JP3784675 B2 JP 3784675B2 JP 2001234066 A JP2001234066 A JP 2001234066A JP 2001234066 A JP2001234066 A JP 2001234066A JP 3784675 B2 JP3784675 B2 JP 3784675B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- video
- defective pixel
- defective
- horizontal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000003384 imaging method Methods 0.000 title claims description 55
- 230000002950 deficient Effects 0.000 claims description 170
- 238000001514 detection method Methods 0.000 claims description 44
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 239000000872 buffer Substances 0.000 description 25
- 238000000034 method Methods 0.000 description 12
- 230000007547 defect Effects 0.000 description 9
- 125000004122 cyclic group Chemical group 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
Images
Landscapes
- Facsimile Heads (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Input (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、固体撮像素子の欠陥画素を検出して補正を行う撮像装置、撮像方法、および撮像処理プログラムに関するものである。
【０００２】
【従来の技術】
従来、固体撮像素子の欠陥画素を補正する撮像装置は、特開昭６３−３１０２８０号公報に記載されたものが知られている。
【０００３】
図７に、従来の撮像装置の欠陥画素検出と補正を行う構成を示すブロック図と、図８に、動作説明図を示す。
【０００４】
この撮像装置においては、欠陥画素を検出する回路のクロック周期と、欠陥画素の補正を行う回路のクロック周期が同一で構成され、欠陥画素の検出信号が発生されると当該検出信号と同一の期間に補正を行う、即ち検出信号と同一のクロック数だけ補正を行うように構成されている。このような撮像装置の具体例の動作について、以下に説明する。
【０００５】
撮像素子６０１は、クロック周期τで映像信号を出力する。振幅検出器６０２，６０３でそれぞれ欠陥によって発生した白レベルあるいは黒レベルを検出し、白レベルは設定閾値１よりも大きければ欠陥画素、黒レベルは設定閾値２よりも小さければ欠陥画素と検出する。信号成形回路６０４，６０５及び極性反転回路６０６は、欠陥の信号と検出されたときに、欠陥長×τ時間、即ちτあるいは２τの正極性パルスを生成し、合成器６０７で両者を加算する。白の欠陥画素と黒の欠陥画素の両者が重なることはない。
【０００６】
撮像素子６０１の出力は、τ単位の遅延素子６０９〜６１３に導かれる。遅延素子６０９は、特に判断回路６０８の判別に伴う制御信号の遅延に対して個体撮像素子６０１の出力を補償するものである。
【０００７】
欠陥なしでは、遅延素子６１１の出力を選択器６２２のａ点につなぐ。期間τ即ち１画素の欠陥では、遅延素子６１０と遅延素子６１２を加算器６１４にて加算して、減衰器６１５で１／２にしてｂ点につなぐ。期間２τ即ち２画素の欠陥では、遅延素子６０９の出力を１／３係数乗算器６１７で１／３し、遅延素子６１２の出力を２／３係数乗算器６１６にて２／３し、この両者を加算器６１８にて加算したものを選択器６２２のｃ点につなぐ。また、遅延素子６１３の出力を１／３係数乗算器６１９で１／３し、遅延素子６１０の出力を２／３係数乗算器６２０にて２／３し、この両者を加算器６２１にて加算したものを選択器６２２のｄ点につなぐ。選択器６２２は、判断回路６０８の出力で制御され、欠陥画素補正出力６２３を出力する。
【０００８】
判断回路６０８の出力制御を図８に示す。撮像素子出力は、時間τ毎にＡＢＣＤＥの順で信号が出力されるものとする。１画素を補正する場合には、判断回路６０８は、Ｂ以外の非欠陥画素にてａ点入力のＡＣＤＥ信号を出力し、Ｂの欠陥画素を補正して出力するときには、ｂ点入力の（Ａ＋Ｃ）／２を選択する。また、欠陥画素が２連続画素である場合でＢＣ以外が非欠陥画素のときには、ａ点入力のＡＤＥ信号を出力し、Ｂを補正して出力するときには、ｃ点入力の（２Ａ＋Ｄ）／３を選択し、Ｃを補正して出力するときには、ｄ点入力の（Ａ＋２Ｄ）／３を選択する。このように、従来の撮像装置では、欠陥画素の検出と補正を同一のクロックにて行うように構成されていた。
【０００９】
【発明が解決しようとする課題】
しかしながら、このような従来の撮像装置においては、欠陥画素の検出と補正が同一クロックにて行われるため、固体撮像素子を駆動することによって得られる第一の映像と、第一の映像と露光時間が異なるように固体撮像素子を駆動することによって得られる第二の映像とを得て、第一の映像と第二の映像とを加算して広いダイナミックレンジの映像を出力する撮像装置においては、加算前と後とでクロック周波数が異なる場合があり、第一の映像と第二の映像についてそれぞれ欠陥画素の補正を行うときには、欠陥画素の検出もそれぞれ第一の映像と第二の映像について行わなければならないという問題があった。
【００１０】
また、回路規模を削減するために従来の技術を適用しようとすると、第一の映像と第二の映像の加算後に、図７に示したような回路が挿入される構成になってしまうため、固体撮像素子の出力が得られた直後に補正を行うよりも補正精度が低下する問題があった。
【００１１】
本発明は、このような問題を解決するためになされたもので、固体撮像素子を駆動することによって得られる第一の映像と、第一の映像と露光時間の異なるように固体撮像素子を駆動することによって得られる第二の映像の両者を加算して映像を出力する広いダイナミックレンジの撮像用途において、欠陥画素の検出回路を１つに削減しつつ検出精度を向上させ、欠陥画素の補正精度をも向上させることのできる撮像装置、撮像方法、および撮像処理プログラムを提供するものである。
【００１２】
【課題を解決するための手段】
本発明の撮像装置は、固体撮像素子を駆動して露光時間の異なる第一の映像と第二の映像とを得る映像獲得手段と、前記第一の映像と前記第二の映像との欠陥画素の補正を行う欠陥画素補正手段と、前記第一の映像と前記第二の映像とを加算して映像を出力する映像出力手段と、前記加算後の映像において欠陥画素を検出する欠陥画素検出手段と、前記加算後の映像における欠陥画素の水平位置と垂直位置とを求める位置検出手段と、前記求められた水平位置と垂直位置とを加算前の前記第一の映像と前記第二の映像との画素位置に変換する位置変換手段とを備え、前記欠陥画素補正手段が、前記位置変換手段に求められた前記第一の映像と前記第二の映像とのそれぞれの欠陥画素位置に基づいて前記欠陥画素の補正を行うことを特徴とした構成を有している。
【００１３】
この構成により、第一の画像と第二の画像とを加算して、加算後の映像に対して欠陥画素を検出し、検出した画素位置を加算前の第一の映像と第二の映像の画素位置に変換するので、一系統の検出手段で二系統の映像に対して欠陥画素を補正することができることとなる。
【００１８】
さらに、本発明の撮像装置は、固体撮像素子を駆動して露光時間の異なる第一の映像と第二の映像とを得る映像獲得手段と、前記第一の映像と前記第二の映像との欠陥画素の補正を行う欠陥画素補正手段と、前記第一の映像と前記第二の映像とを加算して映像を出力する映像出力手段と、前記加算後の映像において欠陥画素を検出する欠陥画素検出手段と、前記加算後の映像における欠陥画素の水平位置と垂直位置とを求める位置検出手段と、前記検出された欠陥画素の水平位置と垂直位置とを加算前の前記第一の映像と前記第二の映像とのそれぞれの欠陥画素の水平位置と垂直位置とに変換するマイコンとを備え、前記欠陥画素補正手段が、前記マイコンに求められた前記第一の映像と前記第二の映像のそれぞれの欠陥画素位置に基づいて前記欠陥画素の補正を行うことを特徴とした構成を有している。
【００１９】
この構成により、第一の画像と第二の画像とを加算して、加算後の映像に対して欠陥画素を検出し、検出した画素位置から加算前の第一の映像と第二の映像の画素位置を求めるので、一系統の検出手段で二系統の映像に対して欠陥画素を補正することができることとなる。
【００２４】
さらに、本発明の撮像方法は、固体撮像素子を駆動して露光時間の異なる第一の映像と第二の映像とを得る映像獲得ステップと、前記第一の映像と前記第二の映像との欠陥画素の補正を行う欠陥画素補正ステップと、前記第一の映像と前記第二の映像とを加算して映像を出力する映像出力ステップと、前記加算後の映像において欠陥画素を検出する欠陥画素検出ステップと、前記加算後の映像における欠陥画素の水平位置と垂直位置とを求める位置検出ステップと、前記求められた水平位置と垂直位置とを加算前の前記第一の映像と前記第二の映像との画素位置に変換する位置変換ステップとを備え、前記欠陥画素補正ステップが、前記位置変換ステップで求められた前記第一の映像と前記第二の映像のそれぞれの欠陥画素位置に基づいて前記欠陥画素の補正を行うことを特徴としたものである。
【００２５】
この方法により、第一の画像と第二の画像とを加算して、加算後の映像に対して欠陥画素を検出し、検出した画素位置を加算前の第一の映像と第二の映像の画素位置に変換するので、一系統の検出ステップで二系統の映像に対して欠陥画素を補正することができることとなる。
【００３０】
さらに、本発明の撮像処理プログラムは、固体撮像素子を駆動して露光時間の異なる第一の映像と第二の映像とを得る映像獲得ステップと、前記第一の映像と前記第二の映像との欠陥画素の補正を行う欠陥画素補正ステップと、前記第一の映像と前記第二の映像とを加算して映像を出力する映像出力ステップと、前記加算後の映像において欠陥画素を検出する欠陥画素検出ステップと、前記加算後の映像における欠陥画素の水平位置と垂直位置を求める位置検出ステップと、前記求められた水平位置と垂直位置とを加算前の前記第一の映像と前記第二の映像との画素位置に変換する位置変換ステップとを備え、前記欠陥画素補正ステップが、前記位置変換ステップで求められた前記第一の映像と前記第二の映像のそれぞれの欠陥画素位置に基づいて前記欠陥画素の補正を行うことを特徴としたものである。
【００３１】
このプログラムにより、第一の画像と第二の画像とを加算して、加算後の映像に対して欠陥画素を検出し、検出した画素位置を加算前の第一の映像と第二の映像の画素位置に変換するので、一系統の検出ステップで二系統の映像に対して欠陥画素を補正することができることとなる。
【００３６】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【００３７】
図１に、本発明の第１の実施の形態の撮像装置を示す。図１に示すように、本発明の第１の実施の形態の撮像装置は、固体撮像素子１０１、欠陥画素補正回路１０２、時間軸伸長回路１０３、ダイナミックレンジ拡大回路１０４、フレーム巡回型ノイズ低減回路１０５、欠陥画素検出回路１０６、欠陥画素位置保存メモリ１０７および位置変換回路１０８を備えている。
【００３８】
固体撮像素子１０１は、露光時間を長くして低輝度の階調性を向上させる撮像と、露光時間を短くして高輝度の階調性を向上させる撮像とを、交互に行うことができるもので、例えば、ＣＣＤから構成されている。
【００３９】
欠陥画素補正回路１０２は、固体撮像素子１０１の欠陥画素の特異レベルを周辺画素と見分けがつかないように置き換えて補正を行うもので、例えば、周辺画素から置き換え値を求めるフィルタから構成されている。
【００４０】
時間軸伸長回路１０３は、露光時間の長い撮像がなされた映像信号と、露光時間の短い撮像がなされた映像信号のそれぞれを、映像信号規格の１ラインに走査するのに必要な時間に、それぞれ伸長を行うもので、例えば、書き込み時間よりも読み出し時間を長くすることによって時間軸伸長を実現できるラインメモリから構成されている。
【００４１】
ダイナミックレンジ拡大回路１０４は、時間軸伸長された上記２種類の映像信号を加算して、低輝度でも高輝度でも階調性を向上できるようにするためのもので、映像信号を加算する加算器から構成されている。
【００４２】
フレーム巡回型ノイズ低減回路１０５は、ダイナミックレンジが拡大された映像信号規格に規定されている時間パラメータを満たす映像信号についてノイズ低減を行うもので、フレームメモリと加算器とから構成され、前フレームの映像をフレームメモリに保存し、現フレームの映像との間で加算を行い、加算された割合で除算を行うことにより、フレーム間相関のないノイズ成分については、フレーム間相関のある信号成分に比べてレベルが小さくなることにより、ノイズ低減ができるものであり、ノイズを欠陥画素と誤検出される頻度を低減でき、空間的なフィルタでないことから小さなレベルや幅が狭い欠陥画素がなまることがないので、検出精度が向上できるものである。
【００４３】
欠陥画素検出回路１０６は、ノイズ低減された映像信号について閾値を設定し、例えば閾値よりも大きい画素については白傷なる欠陥画素と判断し、その映像信号の水平・垂直位置を検出するもので、欠陥画素を判断する手段としては、映像信号と閾値が入力される比較回路、欠陥画素の水平・垂直位置を求める手段として、画面の左上角を原点として水平方向の画素数と、垂直方向のライン数とを数える計数回路とから構成されている。
【００４４】
欠陥画素位置保存メモリ１０７は、検出された水平・垂直位置を保存するためのもので、読み出し可能なメモリから構成される。
【００４５】
位置変換回路１０８は、欠陥画素位置保存メモリ１０７から読み出された垂直位置から、時間軸伸長する前の欠陥画素につき、露光時間の長い映像信号のラインと短い映像信号ラインそれぞれを補正できるように、検出された欠陥画素につき、欠陥画素が現れるタイミングで検出された欠陥画素に対して、露光時間が長い映像信号の補正用と短い映像信号の補正用とのパルスを発生させるものである。
【００４６】
また、欠陥画素補正回路１０２は、この位置変換回路１０８から発生された発生パルスによって、露光時間が長い映像信号と短い映像信号のそれぞれについて、欠陥画素の補正を行う。
【００４７】
以上のように構成された撮像装置について、図２を用いてその動作を説明する。固体撮像素子１０１から出力される露光時間の長く低レベルの階調のある映像信号（以下Ｌ）と、露光時間の短く高輝度で階調のある映像信号（以下Ｓ）は、垂直映像信号の開始即ち、画面上端を起点として、Ａ）のように順番にそのライン出力の順番が０．５Ｈ毎に割り当てられるものとする。ライン出力順番５，６については、ＬとＳそれぞれに欠陥画素の特異点としてパルス状の映像信号が、Ｂ）のように得られている。
【００４８】
時間軸伸長回路１０３によって、Ｌと、Ｌから０．５Ｈ遅れのＳは、それぞれＣ）とＤ）のように１Ｈに時間軸伸長されると共に、Ｃ）とＤ）とが時間的に同時になるようにタイミング調整される。
【００４９】
ダイナミックレンジ拡大回路１０４は、Ｃ）とＤ）とを加算して、低輝度から高輝度の階調のある映像信号を生成し、フレーム巡回型ノイズ低減回路１０５にてノイズ低減と、欠陥画素検出回路１０６にて閾値比較のノイズ検出処理が行われる。このとき、Ｅ）に示す映像１ラインにつき順にラインの位置がＦ）のように計数回路により割り当てられ、欠陥画素が「ライン３」である情報が欠陥画素位置保存メモリ１０７に保存される。
【００５０】
位置変換回路１０８では、欠陥画素補正回路１０２にて補正ができるように、欠陥画素位置保存メモリ１０７に保存されているライン位置Ｆ）を、ライン出力順番Ａ）に変換する。例えば、本実施例では、Ｆ）の「ライン３」は、Ａ）の「ライン出力順番５と６」に変換される。
【００５１】
このように、本発明の第１の実施の形態によれば、ノイズ低減された映像信号に対して誤検出を低減して欠陥画素の検出が行うようにし、検出されたラインから補正するときのＬ，Ｓを指定するようにライン位置の変換の演算を回路で行うことができるので、欠陥画素を補正することができる。
【００５２】
図３に、本発明の第２の実施の形態の撮像装置を示す。図３に示すように、本発明の第２の実施の形態の撮像装置は、固体撮像素子３０１、欠陥画素補正回路３０２、時間軸伸長回路３０３、ダイナミックレンジ拡大回路３０４、フレーム巡回型ノイズ低減回路３０５、欠陥画素検出回路３０６、欠陥画素位置保存メモリ３０７およびマイコン３０８を備えている。
【００５３】
固体撮像素子３０１、時間軸伸長回路３０３〜フレーム巡回型ノイズ低減回路３０５については、上記第１の実施の形態の撮像装置、すなわち、図１に示した固体撮像素子１０１、時間軸伸長回路１０３〜フレーム巡回型ノイズ低減回路１０５と構成・動作原理は同様である。
【００５４】
欠陥画素補正回路３０２は、固体撮像素子３０１の欠陥画素の特異レベルを周辺画素と見分けがつかないように置き換えて補正を行うもので、例えば、周辺画素から置き換え値を求めるフィルタなどから構成されており、欠陥画素補正回路１０２と補正動作は同じであるが、マイコン３０８の指示により補正動作が開始される。
【００５５】
欠陥画素検出回路３０６は、ノイズ低減された映像信号について閾値を設定し、例えば、閾値よりも大きい画素については白傷なる欠陥画素と判断し、その映像信号の水平・垂直位置を検出するもので、欠陥画素を判断する手段としては、映像信号と閾値が入力される比較回路、欠陥画素の水平・垂直位置を求める手段として、画面の左上角を原点として水平方向の画素数と、垂直方向のライン数とを数える計数回路とから構成されている点で、欠陥画素検出回路１０６と同じであるが、マイコン３０８の指示により、検出動作が開始され、検出の状態を読み込むことができるように構成されている。
【００５６】
欠陥画素位置保存メモリ３０７は、欠陥画素の水平・垂直位置を保存するためのもので、マイコン３０８からの読み出しと書き込みが可能なように構成されている。
【００５７】
以上のように構成された撮像装置のうち、欠陥画素補正回路３０２と欠陥画素検出回路３０６と欠陥画素位置保存メモリ３０７のマイコン３０８による動作を図４のフローチャートを用いて説明する。
【００５８】
マイコン３０８は、欠陥画素検出開始指示を欠陥画素検出回路３０６に対して行い（Ｓ４０１）、検出動作が終了したかどうかの判定を行い（Ｓ４０２）、検出動作が終了すると、欠陥画素位置保存メモリ３０７から欠陥画素を検出したライン位置を読み込み（Ｓ４０３）、（読み込まれた検出ライン位置×２）と（読み込まれた検出ライン位置×２−１）を求める処理を行い（Ｓ４０４）、欠陥画素位置保存メモリ３０７にＳ４０４で求まった欠陥画素補正用のライン位置を保存し（Ｓ４０５）、Ｓ４０３〜Ｓ４０５が全ての検出された欠陥画素について終了したかどうかを判断し（Ｓ４０６）、終了しなければＳ４０３からの処理を引き続き行い、全ての欠陥画素について終了したと判断したら、欠陥画素保存メモリ３０７から補正位置を読み出して欠陥画素の補正を開始するように、欠陥画素補正回路３０２に指示を行う（Ｓ４０７）。
【００５９】
このように、本発明の第２の実施の形態によれば、ノイズ低減された映像信号に対して誤検出を低減して欠陥画素の検出が行われるようにし、検出されたラインをマイコンで読み取り、補正するときのＬ，Ｓを指定するようにライン位置の変換の演算をマイコンにより制御して、欠陥画素を補正することができる。
【００６０】
図５、図６に、本発明の第３の実施の形態の撮像方法のフローチャートを示す。
【００６１】
本発明の第３の実施の形態の撮像方法は、まず、露光時間Ｍのフレーム映像をバッファ１に保存し（Ｓ５０１）、露光時間Ｎのフレーム映像をバッファ２に保存する（Ｓ５０２）。次に、上記Ｓ５０１でバッファ１に保存した映像と、上記Ｓ５０２でバッファ２に保存した映像を加算し、バッファ３に保存する（Ｓ５０３）。
【００６２】
次に、再び露光時間Ｍのフレーム映像をバッファ１に保存し（Ｓ５０４）、再び露光時間Ｎのフレーム映像をバッファ２に保存する（Ｓ５０５）。次に、Ｓ５０４でバッファ１に保存した映像と、Ｓ５０５でバッファ２に保存した映像を加算し、バッファ４に保存する（Ｓ５０６）。さらに、（バッファ３の映像＋バッファ４の映像）／２をバッファ３に保存する（Ｓ５０７）。次に、Ｓ５０４からＳ５０７を繰り返すかどうかを判断し（Ｓ５０８）、繰り返すと判断されるとＳ５０４に戻る（Ｓ５０８）。
【００６３】
前記Ｓ５０８にて繰り返さないと判断されると、水平・垂直座標をそれぞれ原点（例えば画面左上角）に設定し（Ｓ５０９）、欠陥画素のレベルが閾値と比較して大きいかどうかを判断する（Ｓ５１０）。画素のレベルが閾値より大きい場合にのみ、欠陥画素として水平・垂直座標を座標バッファに設定する（Ｓ５１１）。
【００６４】
続いて、次の画素を閾値と比較するために、水平座標を＋１し（Ｓ５１２）、水平座標＝水平画素数＋１であるかどうかを判断し（Ｓ５１３）、そうでなければＳ５１０に戻り、水平座標＝水平画素数＋１であれば、垂直座標を＋１で、水平座標を原点（例えば次の垂直ラインで画面左端）に設定する（Ｓ５１４）。さらに、垂直座標＝垂直画素数＋１であるかどうかを判断し（Ｓ５１５）、そうでなければＳ５１０に戻り、垂直座標＝垂直画素数＋１であれば、欠陥画素の検出ライン位置をバッファからマイコンに読み込む（Ｓ５１６）。
【００６５】
次に、補正ライン位置を、（検出ライン位置×２）と（検出ライン位置×２−１）にし（Ｓ５１７）、算出された補正ライン位置をバッファに保存する（Ｓ５１８）。次に、全検出欠陥画素について終了したかどうかを判断し（Ｓ５１９）、終了していなければ、Ｓ５１６に戻る。
【００６６】
全検出欠陥画素について終了したら、露光時間Ｍのフレーム映像をバッファ１に保存し（Ｓ５２０）、露光時間Ｎのフレーム映像をバッファ２に保存する（Ｓ５２１）。次に、座標バッファ設定の水平・垂直座標位置でバッファ１とバッファ２のフレーム映像を補正し（Ｓ５２２）、バッファ１の映像と、バッファ２の映像とを加算して生成する（Ｓ５２３）。最後に、電源ＯＦＦするかどうかの状態をみて（Ｓ５２４）、ＯＦＦしないのであればＳ５２０に戻り、ＯＦＦするのであれば処理を終了する。
【００６７】
以上のように、本発明の第３の実施の形態によれば、Ｓ５０１〜Ｓ５０８では巡回型ノイズ低減過程により映像信号のノイズを低減し、Ｓ５０９〜Ｓ５１５ではノイズ低減された映像信号に対して欠陥画素の検出を行う過程で画面上にて水平方向、垂直方向に順次欠陥画素の検出を行い、Ｓ５１６〜Ｓ５１９では検出されたラインから実際に補正を行うライン位置に換算を行うようにし、Ｓ５２０〜Ｓ５２４では換算されたライン位置に基づいて欠陥画素の補正を行うように構成されているので、補正するときのＬ，Ｓを指定して欠陥画素を補正することができる。
【００６８】
上記本発明の第１、第２の実施の形態においては、時間軸伸長の後、ダイナミックレンジ拡大を行うが、時間軸伸長の処理が行われる位置、有無などはこれに限らない。また、第３の実施の形態では、バッファ１〜バッファ４を用いて露光時間の異なる映像信号の保存とノイズ低減を行っているが、バッファの数や保存の方法は一例に過ぎず、プログラムを用いてノイズ低減ができればよい。また上記実施の形態では、欠陥画素検出で白傷の場合を示しているが、黒傷についても適用可能である。
【００６９】
【発明の効果】
以上説明したように、本発明は、第一の画像と第二の画像とを加算して、加算後の映像に対して欠陥画素を検出し、検出した画素位置を加算前の第一の映像と第二の映像の画素位置に変換することにより、一系統の検出手段で二系統の映像に対して欠陥画素を補正することができるというすぐれた効果を有する撮像装置、撮像方法、および撮像処理プログラムを提供することができるものである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の撮像装置を示すブロック図
【図２】本発明の第１の実施の形態における撮像装置の動作説明図
【図３】本発明の第２の実施の形態の撮像装置を示すブロック図
【図４】本発明の第２の実施の形態における撮像装置の動作説明フローチャート
【図５】本発明の第３の実施の形態の撮像方法を示す動作説明フローチャート
【図６】本発明の第３の実施の形態の撮像方法を示す動作説明フローチャート
【図７】従来の撮像装置の一例を示すブロック図
【図８】従来の撮像装置の一例を示す動作説明図
【符号の説明】
１０１ 固体撮像素子
１０２ 欠陥画素補正回路
１０３ 時間軸伸長回路
１０４ ダイナミックレンジ拡大回路
１０５ フレーム巡回型ノイズ低減回路
１０６ 欠陥画素検出回路
１０７ 欠陥画素位置保存メモリ
１０８ 位置変換回路
３０１ 固体撮像素子
３０２ 欠陥画素補正回路
３０３ 時間軸伸長回路
３０４ ダイナミックレンジ拡大回路
３０５ フレーム巡回型ノイズ低減回路
３０６ 欠陥画素検出回路
３０７ 欠陥画素位置保存メモリ
３０８ マイコン
６０１ 固体撮像素子
６０２ 振幅検出器
６０３ 振幅検出器
６０４ 信号形成回路
６０５ 信号形成回路
６０６ 極性反転回路
６０７ 合成器
６０８ 判断回路
６０９ 遅延素子
６１０ 遅延素子
６１１ 遅延素子
６１２ 遅延素子
６１３ 遅延素子
６１４ 加算器
６１５ 減衰器
６１６ ２／３係数乗算器
６１７ １／３係数乗算器
６１８ 加算器
６１９ １／３係数乗算器
６２０ ２／３係数乗算器
６２１ 加算器
６２２ 選択器
６２３ 欠陥画素補正出力
【発明の属する技術分野】
本発明は、固体撮像素子の欠陥画素を検出して補正を行う撮像装置、撮像方法、および撮像処理プログラムに関するものである。
【０００２】
【従来の技術】
従来、固体撮像素子の欠陥画素を補正する撮像装置は、特開昭６３−３１０２８０号公報に記載されたものが知られている。
【０００３】
図７に、従来の撮像装置の欠陥画素検出と補正を行う構成を示すブロック図と、図８に、動作説明図を示す。
【０００４】
この撮像装置においては、欠陥画素を検出する回路のクロック周期と、欠陥画素の補正を行う回路のクロック周期が同一で構成され、欠陥画素の検出信号が発生されると当該検出信号と同一の期間に補正を行う、即ち検出信号と同一のクロック数だけ補正を行うように構成されている。このような撮像装置の具体例の動作について、以下に説明する。
【０００５】
撮像素子６０１は、クロック周期τで映像信号を出力する。振幅検出器６０２，６０３でそれぞれ欠陥によって発生した白レベルあるいは黒レベルを検出し、白レベルは設定閾値１よりも大きければ欠陥画素、黒レベルは設定閾値２よりも小さければ欠陥画素と検出する。信号成形回路６０４，６０５及び極性反転回路６０６は、欠陥の信号と検出されたときに、欠陥長×τ時間、即ちτあるいは２τの正極性パルスを生成し、合成器６０７で両者を加算する。白の欠陥画素と黒の欠陥画素の両者が重なることはない。
【０００６】
撮像素子６０１の出力は、τ単位の遅延素子６０９〜６１３に導かれる。遅延素子６０９は、特に判断回路６０８の判別に伴う制御信号の遅延に対して個体撮像素子６０１の出力を補償するものである。
【０００７】
欠陥なしでは、遅延素子６１１の出力を選択器６２２のａ点につなぐ。期間τ即ち１画素の欠陥では、遅延素子６１０と遅延素子６１２を加算器６１４にて加算して、減衰器６１５で１／２にしてｂ点につなぐ。期間２τ即ち２画素の欠陥では、遅延素子６０９の出力を１／３係数乗算器６１７で１／３し、遅延素子６１２の出力を２／３係数乗算器６１６にて２／３し、この両者を加算器６１８にて加算したものを選択器６２２のｃ点につなぐ。また、遅延素子６１３の出力を１／３係数乗算器６１９で１／３し、遅延素子６１０の出力を２／３係数乗算器６２０にて２／３し、この両者を加算器６２１にて加算したものを選択器６２２のｄ点につなぐ。選択器６２２は、判断回路６０８の出力で制御され、欠陥画素補正出力６２３を出力する。
【０００８】
判断回路６０８の出力制御を図８に示す。撮像素子出力は、時間τ毎にＡＢＣＤＥの順で信号が出力されるものとする。１画素を補正する場合には、判断回路６０８は、Ｂ以外の非欠陥画素にてａ点入力のＡＣＤＥ信号を出力し、Ｂの欠陥画素を補正して出力するときには、ｂ点入力の（Ａ＋Ｃ）／２を選択する。また、欠陥画素が２連続画素である場合でＢＣ以外が非欠陥画素のときには、ａ点入力のＡＤＥ信号を出力し、Ｂを補正して出力するときには、ｃ点入力の（２Ａ＋Ｄ）／３を選択し、Ｃを補正して出力するときには、ｄ点入力の（Ａ＋２Ｄ）／３を選択する。このように、従来の撮像装置では、欠陥画素の検出と補正を同一のクロックにて行うように構成されていた。
【０００９】
【発明が解決しようとする課題】
しかしながら、このような従来の撮像装置においては、欠陥画素の検出と補正が同一クロックにて行われるため、固体撮像素子を駆動することによって得られる第一の映像と、第一の映像と露光時間が異なるように固体撮像素子を駆動することによって得られる第二の映像とを得て、第一の映像と第二の映像とを加算して広いダイナミックレンジの映像を出力する撮像装置においては、加算前と後とでクロック周波数が異なる場合があり、第一の映像と第二の映像についてそれぞれ欠陥画素の補正を行うときには、欠陥画素の検出もそれぞれ第一の映像と第二の映像について行わなければならないという問題があった。
【００１０】
また、回路規模を削減するために従来の技術を適用しようとすると、第一の映像と第二の映像の加算後に、図７に示したような回路が挿入される構成になってしまうため、固体撮像素子の出力が得られた直後に補正を行うよりも補正精度が低下する問題があった。
【００１１】
本発明は、このような問題を解決するためになされたもので、固体撮像素子を駆動することによって得られる第一の映像と、第一の映像と露光時間の異なるように固体撮像素子を駆動することによって得られる第二の映像の両者を加算して映像を出力する広いダイナミックレンジの撮像用途において、欠陥画素の検出回路を１つに削減しつつ検出精度を向上させ、欠陥画素の補正精度をも向上させることのできる撮像装置、撮像方法、および撮像処理プログラムを提供するものである。
【００１２】
【課題を解決するための手段】
本発明の撮像装置は、固体撮像素子を駆動して露光時間の異なる第一の映像と第二の映像とを得る映像獲得手段と、前記第一の映像と前記第二の映像との欠陥画素の補正を行う欠陥画素補正手段と、前記第一の映像と前記第二の映像とを加算して映像を出力する映像出力手段と、前記加算後の映像において欠陥画素を検出する欠陥画素検出手段と、前記加算後の映像における欠陥画素の水平位置と垂直位置とを求める位置検出手段と、前記求められた水平位置と垂直位置とを加算前の前記第一の映像と前記第二の映像との画素位置に変換する位置変換手段とを備え、前記欠陥画素補正手段が、前記位置変換手段に求められた前記第一の映像と前記第二の映像とのそれぞれの欠陥画素位置に基づいて前記欠陥画素の補正を行うことを特徴とした構成を有している。
【００１３】
この構成により、第一の画像と第二の画像とを加算して、加算後の映像に対して欠陥画素を検出し、検出した画素位置を加算前の第一の映像と第二の映像の画素位置に変換するので、一系統の検出手段で二系統の映像に対して欠陥画素を補正することができることとなる。
【００１８】
さらに、本発明の撮像装置は、固体撮像素子を駆動して露光時間の異なる第一の映像と第二の映像とを得る映像獲得手段と、前記第一の映像と前記第二の映像との欠陥画素の補正を行う欠陥画素補正手段と、前記第一の映像と前記第二の映像とを加算して映像を出力する映像出力手段と、前記加算後の映像において欠陥画素を検出する欠陥画素検出手段と、前記加算後の映像における欠陥画素の水平位置と垂直位置とを求める位置検出手段と、前記検出された欠陥画素の水平位置と垂直位置とを加算前の前記第一の映像と前記第二の映像とのそれぞれの欠陥画素の水平位置と垂直位置とに変換するマイコンとを備え、前記欠陥画素補正手段が、前記マイコンに求められた前記第一の映像と前記第二の映像のそれぞれの欠陥画素位置に基づいて前記欠陥画素の補正を行うことを特徴とした構成を有している。
【００１９】
この構成により、第一の画像と第二の画像とを加算して、加算後の映像に対して欠陥画素を検出し、検出した画素位置から加算前の第一の映像と第二の映像の画素位置を求めるので、一系統の検出手段で二系統の映像に対して欠陥画素を補正することができることとなる。
【００２４】
さらに、本発明の撮像方法は、固体撮像素子を駆動して露光時間の異なる第一の映像と第二の映像とを得る映像獲得ステップと、前記第一の映像と前記第二の映像との欠陥画素の補正を行う欠陥画素補正ステップと、前記第一の映像と前記第二の映像とを加算して映像を出力する映像出力ステップと、前記加算後の映像において欠陥画素を検出する欠陥画素検出ステップと、前記加算後の映像における欠陥画素の水平位置と垂直位置とを求める位置検出ステップと、前記求められた水平位置と垂直位置とを加算前の前記第一の映像と前記第二の映像との画素位置に変換する位置変換ステップとを備え、前記欠陥画素補正ステップが、前記位置変換ステップで求められた前記第一の映像と前記第二の映像のそれぞれの欠陥画素位置に基づいて前記欠陥画素の補正を行うことを特徴としたものである。
【００２５】
この方法により、第一の画像と第二の画像とを加算して、加算後の映像に対して欠陥画素を検出し、検出した画素位置を加算前の第一の映像と第二の映像の画素位置に変換するので、一系統の検出ステップで二系統の映像に対して欠陥画素を補正することができることとなる。
【００３０】
さらに、本発明の撮像処理プログラムは、固体撮像素子を駆動して露光時間の異なる第一の映像と第二の映像とを得る映像獲得ステップと、前記第一の映像と前記第二の映像との欠陥画素の補正を行う欠陥画素補正ステップと、前記第一の映像と前記第二の映像とを加算して映像を出力する映像出力ステップと、前記加算後の映像において欠陥画素を検出する欠陥画素検出ステップと、前記加算後の映像における欠陥画素の水平位置と垂直位置を求める位置検出ステップと、前記求められた水平位置と垂直位置とを加算前の前記第一の映像と前記第二の映像との画素位置に変換する位置変換ステップとを備え、前記欠陥画素補正ステップが、前記位置変換ステップで求められた前記第一の映像と前記第二の映像のそれぞれの欠陥画素位置に基づいて前記欠陥画素の補正を行うことを特徴としたものである。
【００３１】
このプログラムにより、第一の画像と第二の画像とを加算して、加算後の映像に対して欠陥画素を検出し、検出した画素位置を加算前の第一の映像と第二の映像の画素位置に変換するので、一系統の検出ステップで二系統の映像に対して欠陥画素を補正することができることとなる。
【００３６】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【００３７】
図１に、本発明の第１の実施の形態の撮像装置を示す。図１に示すように、本発明の第１の実施の形態の撮像装置は、固体撮像素子１０１、欠陥画素補正回路１０２、時間軸伸長回路１０３、ダイナミックレンジ拡大回路１０４、フレーム巡回型ノイズ低減回路１０５、欠陥画素検出回路１０６、欠陥画素位置保存メモリ１０７および位置変換回路１０８を備えている。
【００３８】
固体撮像素子１０１は、露光時間を長くして低輝度の階調性を向上させる撮像と、露光時間を短くして高輝度の階調性を向上させる撮像とを、交互に行うことができるもので、例えば、ＣＣＤから構成されている。
【００３９】
欠陥画素補正回路１０２は、固体撮像素子１０１の欠陥画素の特異レベルを周辺画素と見分けがつかないように置き換えて補正を行うもので、例えば、周辺画素から置き換え値を求めるフィルタから構成されている。
【００４０】
時間軸伸長回路１０３は、露光時間の長い撮像がなされた映像信号と、露光時間の短い撮像がなされた映像信号のそれぞれを、映像信号規格の１ラインに走査するのに必要な時間に、それぞれ伸長を行うもので、例えば、書き込み時間よりも読み出し時間を長くすることによって時間軸伸長を実現できるラインメモリから構成されている。
【００４１】
ダイナミックレンジ拡大回路１０４は、時間軸伸長された上記２種類の映像信号を加算して、低輝度でも高輝度でも階調性を向上できるようにするためのもので、映像信号を加算する加算器から構成されている。
【００４２】
フレーム巡回型ノイズ低減回路１０５は、ダイナミックレンジが拡大された映像信号規格に規定されている時間パラメータを満たす映像信号についてノイズ低減を行うもので、フレームメモリと加算器とから構成され、前フレームの映像をフレームメモリに保存し、現フレームの映像との間で加算を行い、加算された割合で除算を行うことにより、フレーム間相関のないノイズ成分については、フレーム間相関のある信号成分に比べてレベルが小さくなることにより、ノイズ低減ができるものであり、ノイズを欠陥画素と誤検出される頻度を低減でき、空間的なフィルタでないことから小さなレベルや幅が狭い欠陥画素がなまることがないので、検出精度が向上できるものである。
【００４３】
欠陥画素検出回路１０６は、ノイズ低減された映像信号について閾値を設定し、例えば閾値よりも大きい画素については白傷なる欠陥画素と判断し、その映像信号の水平・垂直位置を検出するもので、欠陥画素を判断する手段としては、映像信号と閾値が入力される比較回路、欠陥画素の水平・垂直位置を求める手段として、画面の左上角を原点として水平方向の画素数と、垂直方向のライン数とを数える計数回路とから構成されている。
【００４４】
欠陥画素位置保存メモリ１０７は、検出された水平・垂直位置を保存するためのもので、読み出し可能なメモリから構成される。
【００４５】
位置変換回路１０８は、欠陥画素位置保存メモリ１０７から読み出された垂直位置から、時間軸伸長する前の欠陥画素につき、露光時間の長い映像信号のラインと短い映像信号ラインそれぞれを補正できるように、検出された欠陥画素につき、欠陥画素が現れるタイミングで検出された欠陥画素に対して、露光時間が長い映像信号の補正用と短い映像信号の補正用とのパルスを発生させるものである。
【００４６】
また、欠陥画素補正回路１０２は、この位置変換回路１０８から発生された発生パルスによって、露光時間が長い映像信号と短い映像信号のそれぞれについて、欠陥画素の補正を行う。
【００４７】
以上のように構成された撮像装置について、図２を用いてその動作を説明する。固体撮像素子１０１から出力される露光時間の長く低レベルの階調のある映像信号（以下Ｌ）と、露光時間の短く高輝度で階調のある映像信号（以下Ｓ）は、垂直映像信号の開始即ち、画面上端を起点として、Ａ）のように順番にそのライン出力の順番が０．５Ｈ毎に割り当てられるものとする。ライン出力順番５，６については、ＬとＳそれぞれに欠陥画素の特異点としてパルス状の映像信号が、Ｂ）のように得られている。
【００４８】
時間軸伸長回路１０３によって、Ｌと、Ｌから０．５Ｈ遅れのＳは、それぞれＣ）とＤ）のように１Ｈに時間軸伸長されると共に、Ｃ）とＤ）とが時間的に同時になるようにタイミング調整される。
【００４９】
ダイナミックレンジ拡大回路１０４は、Ｃ）とＤ）とを加算して、低輝度から高輝度の階調のある映像信号を生成し、フレーム巡回型ノイズ低減回路１０５にてノイズ低減と、欠陥画素検出回路１０６にて閾値比較のノイズ検出処理が行われる。このとき、Ｅ）に示す映像１ラインにつき順にラインの位置がＦ）のように計数回路により割り当てられ、欠陥画素が「ライン３」である情報が欠陥画素位置保存メモリ１０７に保存される。
【００５０】
位置変換回路１０８では、欠陥画素補正回路１０２にて補正ができるように、欠陥画素位置保存メモリ１０７に保存されているライン位置Ｆ）を、ライン出力順番Ａ）に変換する。例えば、本実施例では、Ｆ）の「ライン３」は、Ａ）の「ライン出力順番５と６」に変換される。
【００５１】
このように、本発明の第１の実施の形態によれば、ノイズ低減された映像信号に対して誤検出を低減して欠陥画素の検出が行うようにし、検出されたラインから補正するときのＬ，Ｓを指定するようにライン位置の変換の演算を回路で行うことができるので、欠陥画素を補正することができる。
【００５２】
図３に、本発明の第２の実施の形態の撮像装置を示す。図３に示すように、本発明の第２の実施の形態の撮像装置は、固体撮像素子３０１、欠陥画素補正回路３０２、時間軸伸長回路３０３、ダイナミックレンジ拡大回路３０４、フレーム巡回型ノイズ低減回路３０５、欠陥画素検出回路３０６、欠陥画素位置保存メモリ３０７およびマイコン３０８を備えている。
【００５３】
固体撮像素子３０１、時間軸伸長回路３０３〜フレーム巡回型ノイズ低減回路３０５については、上記第１の実施の形態の撮像装置、すなわち、図１に示した固体撮像素子１０１、時間軸伸長回路１０３〜フレーム巡回型ノイズ低減回路１０５と構成・動作原理は同様である。
【００５４】
欠陥画素補正回路３０２は、固体撮像素子３０１の欠陥画素の特異レベルを周辺画素と見分けがつかないように置き換えて補正を行うもので、例えば、周辺画素から置き換え値を求めるフィルタなどから構成されており、欠陥画素補正回路１０２と補正動作は同じであるが、マイコン３０８の指示により補正動作が開始される。
【００５５】
欠陥画素検出回路３０６は、ノイズ低減された映像信号について閾値を設定し、例えば、閾値よりも大きい画素については白傷なる欠陥画素と判断し、その映像信号の水平・垂直位置を検出するもので、欠陥画素を判断する手段としては、映像信号と閾値が入力される比較回路、欠陥画素の水平・垂直位置を求める手段として、画面の左上角を原点として水平方向の画素数と、垂直方向のライン数とを数える計数回路とから構成されている点で、欠陥画素検出回路１０６と同じであるが、マイコン３０８の指示により、検出動作が開始され、検出の状態を読み込むことができるように構成されている。
【００５６】
欠陥画素位置保存メモリ３０７は、欠陥画素の水平・垂直位置を保存するためのもので、マイコン３０８からの読み出しと書き込みが可能なように構成されている。
【００５７】
以上のように構成された撮像装置のうち、欠陥画素補正回路３０２と欠陥画素検出回路３０６と欠陥画素位置保存メモリ３０７のマイコン３０８による動作を図４のフローチャートを用いて説明する。
【００５８】
マイコン３０８は、欠陥画素検出開始指示を欠陥画素検出回路３０６に対して行い（Ｓ４０１）、検出動作が終了したかどうかの判定を行い（Ｓ４０２）、検出動作が終了すると、欠陥画素位置保存メモリ３０７から欠陥画素を検出したライン位置を読み込み（Ｓ４０３）、（読み込まれた検出ライン位置×２）と（読み込まれた検出ライン位置×２−１）を求める処理を行い（Ｓ４０４）、欠陥画素位置保存メモリ３０７にＳ４０４で求まった欠陥画素補正用のライン位置を保存し（Ｓ４０５）、Ｓ４０３〜Ｓ４０５が全ての検出された欠陥画素について終了したかどうかを判断し（Ｓ４０６）、終了しなければＳ４０３からの処理を引き続き行い、全ての欠陥画素について終了したと判断したら、欠陥画素保存メモリ３０７から補正位置を読み出して欠陥画素の補正を開始するように、欠陥画素補正回路３０２に指示を行う（Ｓ４０７）。
【００５９】
このように、本発明の第２の実施の形態によれば、ノイズ低減された映像信号に対して誤検出を低減して欠陥画素の検出が行われるようにし、検出されたラインをマイコンで読み取り、補正するときのＬ，Ｓを指定するようにライン位置の変換の演算をマイコンにより制御して、欠陥画素を補正することができる。
【００６０】
図５、図６に、本発明の第３の実施の形態の撮像方法のフローチャートを示す。
【００６１】
本発明の第３の実施の形態の撮像方法は、まず、露光時間Ｍのフレーム映像をバッファ１に保存し（Ｓ５０１）、露光時間Ｎのフレーム映像をバッファ２に保存する（Ｓ５０２）。次に、上記Ｓ５０１でバッファ１に保存した映像と、上記Ｓ５０２でバッファ２に保存した映像を加算し、バッファ３に保存する（Ｓ５０３）。
【００６２】
次に、再び露光時間Ｍのフレーム映像をバッファ１に保存し（Ｓ５０４）、再び露光時間Ｎのフレーム映像をバッファ２に保存する（Ｓ５０５）。次に、Ｓ５０４でバッファ１に保存した映像と、Ｓ５０５でバッファ２に保存した映像を加算し、バッファ４に保存する（Ｓ５０６）。さらに、（バッファ３の映像＋バッファ４の映像）／２をバッファ３に保存する（Ｓ５０７）。次に、Ｓ５０４からＳ５０７を繰り返すかどうかを判断し（Ｓ５０８）、繰り返すと判断されるとＳ５０４に戻る（Ｓ５０８）。
【００６３】
前記Ｓ５０８にて繰り返さないと判断されると、水平・垂直座標をそれぞれ原点（例えば画面左上角）に設定し（Ｓ５０９）、欠陥画素のレベルが閾値と比較して大きいかどうかを判断する（Ｓ５１０）。画素のレベルが閾値より大きい場合にのみ、欠陥画素として水平・垂直座標を座標バッファに設定する（Ｓ５１１）。
【００６４】
続いて、次の画素を閾値と比較するために、水平座標を＋１し（Ｓ５１２）、水平座標＝水平画素数＋１であるかどうかを判断し（Ｓ５１３）、そうでなければＳ５１０に戻り、水平座標＝水平画素数＋１であれば、垂直座標を＋１で、水平座標を原点（例えば次の垂直ラインで画面左端）に設定する（Ｓ５１４）。さらに、垂直座標＝垂直画素数＋１であるかどうかを判断し（Ｓ５１５）、そうでなければＳ５１０に戻り、垂直座標＝垂直画素数＋１であれば、欠陥画素の検出ライン位置をバッファからマイコンに読み込む（Ｓ５１６）。
【００６５】
次に、補正ライン位置を、（検出ライン位置×２）と（検出ライン位置×２−１）にし（Ｓ５１７）、算出された補正ライン位置をバッファに保存する（Ｓ５１８）。次に、全検出欠陥画素について終了したかどうかを判断し（Ｓ５１９）、終了していなければ、Ｓ５１６に戻る。
【００６６】
全検出欠陥画素について終了したら、露光時間Ｍのフレーム映像をバッファ１に保存し（Ｓ５２０）、露光時間Ｎのフレーム映像をバッファ２に保存する（Ｓ５２１）。次に、座標バッファ設定の水平・垂直座標位置でバッファ１とバッファ２のフレーム映像を補正し（Ｓ５２２）、バッファ１の映像と、バッファ２の映像とを加算して生成する（Ｓ５２３）。最後に、電源ＯＦＦするかどうかの状態をみて（Ｓ５２４）、ＯＦＦしないのであればＳ５２０に戻り、ＯＦＦするのであれば処理を終了する。
【００６７】
以上のように、本発明の第３の実施の形態によれば、Ｓ５０１〜Ｓ５０８では巡回型ノイズ低減過程により映像信号のノイズを低減し、Ｓ５０９〜Ｓ５１５ではノイズ低減された映像信号に対して欠陥画素の検出を行う過程で画面上にて水平方向、垂直方向に順次欠陥画素の検出を行い、Ｓ５１６〜Ｓ５１９では検出されたラインから実際に補正を行うライン位置に換算を行うようにし、Ｓ５２０〜Ｓ５２４では換算されたライン位置に基づいて欠陥画素の補正を行うように構成されているので、補正するときのＬ，Ｓを指定して欠陥画素を補正することができる。
【００６８】
上記本発明の第１、第２の実施の形態においては、時間軸伸長の後、ダイナミックレンジ拡大を行うが、時間軸伸長の処理が行われる位置、有無などはこれに限らない。また、第３の実施の形態では、バッファ１〜バッファ４を用いて露光時間の異なる映像信号の保存とノイズ低減を行っているが、バッファの数や保存の方法は一例に過ぎず、プログラムを用いてノイズ低減ができればよい。また上記実施の形態では、欠陥画素検出で白傷の場合を示しているが、黒傷についても適用可能である。
【００６９】
【発明の効果】
以上説明したように、本発明は、第一の画像と第二の画像とを加算して、加算後の映像に対して欠陥画素を検出し、検出した画素位置を加算前の第一の映像と第二の映像の画素位置に変換することにより、一系統の検出手段で二系統の映像に対して欠陥画素を補正することができるというすぐれた効果を有する撮像装置、撮像方法、および撮像処理プログラムを提供することができるものである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の撮像装置を示すブロック図
【図２】本発明の第１の実施の形態における撮像装置の動作説明図
【図３】本発明の第２の実施の形態の撮像装置を示すブロック図
【図４】本発明の第２の実施の形態における撮像装置の動作説明フローチャート
【図５】本発明の第３の実施の形態の撮像方法を示す動作説明フローチャート
【図６】本発明の第３の実施の形態の撮像方法を示す動作説明フローチャート
【図７】従来の撮像装置の一例を示すブロック図
【図８】従来の撮像装置の一例を示す動作説明図
【符号の説明】
１０１ 固体撮像素子
１０２ 欠陥画素補正回路
１０３ 時間軸伸長回路
１０４ ダイナミックレンジ拡大回路
１０５ フレーム巡回型ノイズ低減回路
１０６ 欠陥画素検出回路
１０７ 欠陥画素位置保存メモリ
１０８ 位置変換回路
３０１ 固体撮像素子
３０２ 欠陥画素補正回路
３０３ 時間軸伸長回路
３０４ ダイナミックレンジ拡大回路
３０５ フレーム巡回型ノイズ低減回路
３０６ 欠陥画素検出回路
３０７ 欠陥画素位置保存メモリ
３０８ マイコン
６０１ 固体撮像素子
６０２ 振幅検出器
６０３ 振幅検出器
６０４ 信号形成回路
６０５ 信号形成回路
６０６ 極性反転回路
６０７ 合成器
６０８ 判断回路
６０９ 遅延素子
６１０ 遅延素子
６１１ 遅延素子
６１２ 遅延素子
６１３ 遅延素子
６１４ 加算器
６１５ 減衰器
６１６ ２／３係数乗算器
６１７ １／３係数乗算器
６１８ 加算器
６１９ １／３係数乗算器
６２０ ２／３係数乗算器
６２１ 加算器
６２２ 選択器
６２３ 欠陥画素補正出力
Claims (4)
- 固体撮像素子を駆動して露光時間の異なる第一の映像と第二の映像とを得る映像獲得手段と、
前記第一の映像と前記第二の映像との欠陥画素の補正を行う欠陥画素補正手段と、
前記第一の映像と前記第二の映像とを加算して映像を出力する映像出力手段と、
前記加算後の映像において欠陥画素を検出する欠陥画素検出手段と、
前記加算後の映像における欠陥画素の水平位置と垂直位置とを求める位置検出手段と、
前記求められた水平位置と垂直位置とを加算前の前記第一の映像と前記第二の映像との画素位置に変換する位置変換手段とを備え、
前記欠陥画素補正手段が、前記位置変換手段に求められた前記第一の映像と前記第二の映像とのそれぞれの欠陥画素位置に基づいて前記欠陥画素の補正を行うことを特徴とする撮像装置。 - 固体撮像素子を駆動して露光時間の異なる第一の映像と第二の映像とを得る映像獲得手段と、
前記第一の映像と前記第二の映像との欠陥画素の補正を行う欠陥画素補正手段と、
前記第一の映像と前記第二の映像とを加算して映像を出力する映像出力手段と、
前記加算後の映像において欠陥画素を検出する欠陥画素検出手段と、
前記加算後の映像における欠陥画素の水平位置と垂直位置とを求める位置検出手段と、
前記検出された欠陥画素の水平位置と垂直位置とを加算前の前記第一の映像と前記第二の映像とのそれぞれの欠陥画素の水平位置と垂直位置とに変換するマイコンとを備え、
前記欠陥画素補正手段が、前記マイコンに求められた前記第一の映像と前記第二の映像のそれぞれの欠陥画素位置に基づいて前記欠陥画素の補正を行うことを特徴とする撮像装置。 - 固体撮像素子を駆動して露光時間の異なる第一の映像と第二の映像とを得る映像獲得ステップと、
前記第一の映像と前記第二の映像との欠陥画素の補正を行う欠陥画素補正ステップと、
前記第一の映像と前記第二の映像とを加算して映像を出力する映像出力ステップと、
前記加算後の映像において欠陥画素を検出する欠陥画素検出ステップと、
前記加算後の映像における欠陥画素の水平位置と垂直位置とを求める位置検出ステップと、
前記求められた水平位置と垂直位置とを加算前の前記第一の映像と前記第二の映像との画素位置に変換する位置変換ステップとを備え、
前記欠陥画素補正ステップが、前記位置変換ステップで求められた前記第一の映像と前記第二の映像のそれぞれの欠陥画素位置に基づいて前記欠陥画素の補正を行うことを特徴とする撮像方法。 - 固体撮像素子を駆動して露光時間の異なる第一の映像と第二の映像とを得る映像獲得ステップと、
前記第一の映像と前記第二の映像との欠陥画素の補正を行う欠陥画素補正ステップと、
前記第一の映像と前記第二の映像とを加算して映像を出力する映像出力ステップと、
前記加算後の映像において欠陥画素を検出する欠陥画素検出ステップと、
前記加算後の映像における欠陥画素の水平位置と垂直位置を求める位置検出ステップと、
前記求められた水平位置と垂直位置とを加算前の前記第一の映像と前記第二の映像との画素位置に変換する位置変換ステップとを備え、
前記欠陥画素補正ステップが、前記位置変換ステップで求められた前記第一の映像と前記第二の映像のそれぞれの欠陥画素位置に基づいて前記欠陥画素の補正を行うことを特徴とする撮像処理プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001234066A JP3784675B2 (ja) | 2001-08-01 | 2001-08-01 | 撮像装置、撮像方法、およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001234066A JP3784675B2 (ja) | 2001-08-01 | 2001-08-01 | 撮像装置、撮像方法、およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003046872A JP2003046872A (ja) | 2003-02-14 |
| JP3784675B2 true JP3784675B2 (ja) | 2006-06-14 |
Family
ID=19065749
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001234066A Expired - Lifetime JP3784675B2 (ja) | 2001-08-01 | 2001-08-01 | 撮像装置、撮像方法、およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3784675B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008205530A (ja) * | 2007-02-16 | 2008-09-04 | Seiko Epson Corp | 撮像装置、撮像システム及び撮像方法 |
| JP5188312B2 (ja) * | 2008-08-01 | 2013-04-24 | パナソニック株式会社 | 映像信号処理装置および映像信号処理方法 |
| JP5780885B2 (ja) * | 2011-08-26 | 2015-09-16 | キヤノン株式会社 | 撮像装置、その制御方法、および制御プログラム |
| US9854188B2 (en) * | 2015-12-16 | 2017-12-26 | Google Llc | Calibration of defective image sensor elements |
| WO2020042083A1 (zh) * | 2018-08-30 | 2020-03-05 | 深圳市大疆创新科技有限公司 | 图像坏点校正方法及设备、存储介质 |
-
2001
- 2001-08-01 JP JP2001234066A patent/JP3784675B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003046872A (ja) | 2003-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3931606B2 (ja) | 撮像装置およびノイズ除去方法 | |
| JPS63222589A (ja) | ノイズ低減回路 | |
| JP2006331136A (ja) | 動きベクトル検出装置 | |
| JP4591046B2 (ja) | 欠陥検出補正回路及び欠陥検出補正方法 | |
| JP3784675B2 (ja) | 撮像装置、撮像方法、およびプログラム | |
| JP4599279B2 (ja) | ノイズリダクション装置及びノイズリダクション方法 | |
| JP2013135410A (ja) | 撮像装置および評価値生成装置 | |
| JP2005223796A (ja) | 画素欠陥補正装置 | |
| JP5027047B2 (ja) | 映像信号処理装置 | |
| JP2004297267A (ja) | 画素欠陥処理装置 | |
| JP2000101924A (ja) | 画像入力装置における欠陥検出補正装置 | |
| JP2007228269A (ja) | 画像信号処理装置及び方法 | |
| JP5402223B2 (ja) | 撮像装置 | |
| JPH1042201A (ja) | 画像欠陥補正回路 | |
| JP4686406B2 (ja) | 撮像装置およびその制御方法 | |
| JP2001028711A (ja) | 固体撮像素子の欠陥画素データ補正装置 | |
| US7139030B2 (en) | Video signal processing apparatus | |
| JP2007037199A (ja) | 撮像装置およびノイズ除去方法 | |
| JP2562715B2 (ja) | 手ブレ検出回路 | |
| JP5207952B2 (ja) | 撮像装置 | |
| JP2547687B2 (ja) | 動きベクトル検出回路 | |
| JP2006140572A (ja) | 画像信号処理装置、および画像信号処理方法 | |
| JP2547688B2 (ja) | 動きベクトル検出回路 | |
| JPH05137048A (ja) | ビデオカメラの手ブレ補正回路 | |
| JP2010226411A (ja) | 映像信号処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050111 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050329 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050527 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060314 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060315 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100324 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110324 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110324 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120324 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130324 Year of fee payment: 7 |