JP5970960B2 - 欠陥検出方法、画像補正方法及び赤外線撮像装置 - Google Patents

Description

この発明は、固体撮像素子において発生した応答欠陥画素を検出するための応答欠陥検出方法及び撮像用のデバイスとして熱型検出素子を用いた赤外線カメラ等の撮像装置に関するものである。

従来の赤外線カメラ等の撮像装置では、オフセット補正、感度補正、固定欠陥補正、点滅欠陥補正等の処理を撮像素子出力に対して実施している。これは、撮像素子の画素間出力には出力値のずれ（出力オフセット）、過疎間の感度差（感度ばらつき）や、異常輝度出力を呈する画素である欠陥画素（固定欠陥画素および点滅欠陥画素）が存在するため、これらを補正して画質を改善するためである（例えば、特許文献１参照）。

特許第３９９５５１１号公報

しかしながら、前述の従来の手法では、入射光に対する出力応答が遅い応答欠陥画素を特定・検出できない。応答欠陥画素について、以下に説明する。通常の画素であれば入射光が変化した場合、その変化量に応じて出力も変化するが、この変化はある時定数を持つ。通常の画素の時定数は１フレーム以内である場合が多く、そのため入射光量が変化してもすぐに素子出力も変化することが出来る。しかし製造過程でのばらつきや異物付着などにより、この時定数がとても大きな値を持ってしまう画素が存在する場合がある。撮像物体の温度が急激に変化した場合は、正常画素はその温度変化に応じた出力変動を示すが、時定数がとても大きい画素では出力変動が遅くなるため、その画素のみ、他の画素に比べて異なる出力となってしまう。例えば高温撮像から急に低温撮像をした場合では、時定数が大きい画素では、高温を撮像している状態が続くため、他の画素に比べて輝点として表示され、あたかも温度の高い物体が存在しているかのように見える。

このような応答欠陥画素は前述の欠陥画素補正のように感度のみを扱っていては検知することが難しい。なぜなら、応答画素は感度としては正常である場合が多いため、温度変化後の画像における判定では、正常画素と区別が出来ないためである。

この発明は、かかる問題を解決するためになされたものであり、固体撮像素子において発生する応答欠陥画素を検出できるようにすること、また当該欠陥画素を補正することができる撮像装置を提供することを目的とする。

この発明に係る欠陥検出方法は、固体撮像素子の各画素で入射光に対する出力応答が遅い応答欠陥画素を検出する欠陥検出方法であって、出力オフセット補正、感度補正および欠陥補正処理が施された各画素の出力において、前記固体撮像素子に前置される開閉可能なシャッタを閉じた後の予め指定された１フレームにおける前記固体撮像素子の各画素の出力と前記固体撮像素子の全画素の出力平均値との差分を算出し、前記差分が所定の値より大きい画素を応答欠陥画素と判定する。

この発明によれば、固体撮像素子において発生する応答欠陥画素を検出および補正することができる赤外線撮像装置を提供することが出来る。

この発明の実施の形態１に係る赤外線撮像装置の構成図である。 この発明の実施の形態２に係る赤外線撮像装置の構成図である。 この発明の実施の形態３に係る赤外線撮像装置の構成図である。

以下、この発明の実施の形態について図を参照して説明する。

実施の形態１
図１に、この発明の実施の形態１に係る赤外線撮像装置の構成を示す。図１において、赤外線領域で対象物体を撮像するための撮像素子として赤外線固体撮像素子１０を備えている。赤外線固体撮像素子１０に前置されているシャッタ１２が開いている状態では、被写体１３からの赤外線がレンズ１１を通り赤外線固体撮像素子１０に結像される。赤外線固体撮像素子１０は一次元または二次元に配置された多数の画素から構成されており、各画素はそれぞれ入射された赤外線の強度に応じた出力を呈する。赤外線固体撮像素子１０の出力は、補正回路１に入力され、ここでオフセット補正、感度補正、欠陥補正の補正処理がなされる。この補正回路１は、例えば従来の補正回路でよく、ここでは一例を示している。

赤外線固体撮像素子１０の画素間出力には出力値のずれ（出力オフセット）、画素間の感度差（感度ばらつき）や、異常輝度出力を呈する画素である欠陥画素（固定欠陥画素および点滅欠陥画素）が存在する。オフセット補正手段２では、まず出力オフセットを補正する。ほぼ温度が均一であるシャッタ１２を閉じた状態で撮像を行い、その各画素出力を画像メモリ６に保存してオフセット補正パターンとする。オフセット補正手段２にて、前述のオフセット補正パターンに従い、シャッタ１２を開けた通常撮像状態にて撮像を行っているときの赤外線固体撮像素子１０の出力から、画素間の出力オフセットを除去または抑制する処理を行う。ここでオフセット補正パターンはあらかじめ取得して画像メモリ６に格納しておいてもよい。

オフセット補正手段２の出力に対して、画素間の感度補正を実施する。感度補正は、各画素間の感度を一定とするための感度補正係数を感度補正手段３にて乗ずることで実現する。感度補正係数は、例えばΔＶａｖｅ／ΔＶ（ｘ，ｙ）にて設定できる。ここで（ｘ，ｙ）は画素の位置、ΔＶ（ｘ，ｙ）は温度による出力変化分、ΔＶａｖｅはΔＶ（ｘ，ｙ）の全画面平均値である。感度補正係数は、感度係数欠陥情報記憶手段８に記憶させておく。

感度補正手段３の出力に対して、欠陥補正手段４による欠陥補正処理を実施する。欠陥補正処理は異常輝度を出力する固定欠陥画素および非定常的に異常輝度を出力する点滅欠陥画素の位置情報を感度係数欠陥情報記憶手段８に記憶させておき、その画素の出力に代えて、例えば欠陥画素の周囲の画素の平均値などを代替値として置換えて、後段に出力する、という処理を行う。点滅欠陥は従来の点滅欠陥検出手段５を用いている。

上記記載の補正回路１の出力に対して、応答欠陥の有無を応答欠陥検出手段Ａ３０にて検出し、該当する画素の位置を感度係数欠陥情報記憶手段８に記憶させる処理を実施する。ここで記憶させた応答欠陥画素位置情報を元に、前述の欠陥補正手段４にて他の欠陥画素と同様な補正処理を実施することで、応答欠陥補正を実施することができる。

応答欠陥検出手段Ａ３０を用いた欠陥検出方法について、以下に説明する。通常動作時からシャッタ１２を閉じる。このときシャッタ１２は、赤外線固体撮像素子１０のフレーム読み出し完了後から閉じ始め、高速で全閉させる。具体的には１フレーム以内でシャッタ閉動作が完了することが望ましい。このとき赤外線固体撮像素子１０においては、シャッタ１２が閉じられることで被写体がレンズ外の物体から赤外線固体撮像素子１０の直前に配置してあるシャッタに変化するため、入射赤外線量が大きく変化する。そのため、各画素の時定数に応じた出力変化が発生する。十分時間が経過した後は、シャッタ１２がほぼ均一の温度の被写体であるため、このときの補正回路１における各画素出力は、ほぼ均一の値を示す。

ここで時定数τを１フレームとした場合を考える。シャッタ１２を閉じる直前のフレーム番号をｎ＝０、シャッタ１２を閉じているときのフレーム番号をｎ＝１、その後のフレーム番号をｎ＝２、３、‥、とする。シャッタ１２が全閉動作後、例えばｎ＝５フレーム目（つまり３τ期間経過後）の補正回路１出力における各画素出力Ｖ（ｎ，（ｘ，ｙ））は、時定数による変動が発生し、その変化はe^-ｔ/τにおけるｔ＝３とした場合の期間に相当するため、その出力はシャッタ１２撮像時出力の５％以内の出力を示す。ここで（ｘ，ｙ）は画素の位置である。

応答欠陥画素は、時定数が通常画素よりも大きいため、この５％以内には入らない。例えば時定数が２フレームである場合、ｔ＝３のときの出力は、２２％少ない値となる。そこで応答欠陥検出手段Ａ３０にて補正後の各画素出力Ｖ（ｎ，（ｘ，ｙ））より全画面平均値Ｖａｖｅおよび差分ΔＶ（ｎ，（ｘ，ｙ））＝｜Ｖａｖｅ―Ｖ（ｎ，（ｘ，ｙ））｜を求め、ΔＶ（ｎ，（ｘ，ｙ））がしきい値を超えた場合に、その画素を応答欠陥画素と判定できる。前述例を用いた場合、しきい値は５％より大きく、２２％よりも小さい、例えば７％から２０％程度の値となる。しきい値や判定フレーム数（ｎの値）はあらかじめ設定しておくことも可能であるし、外部よりしきい値と判定フレーム数を設定することも可能である。以上の補正処理がなされた後の出力が補正回路から映像出力回路２０に出力されることにより、撮像装置として画質を改善することが可能となる。

この実施の形態によれば、従来検出困難であった応答欠陥画素を容易に検出することができる。また検出するだけでなく欠陥画素補正処理を実施することができる。またこの処理は装置動作中に実施できるため、例えば運用中における画素の破壊や異物付着等によるあたらな欠陥発生があっても、容易に検出して補正を行うことが出来る。ここでは熱時定数が１フレームの場合を記載したが、これが他の値の場合も時定数に見合う判定フレームとしきい値を与えることで、同様に応答欠陥画素を判定できるのはいうまでもない。

実施の形態２
図２に、この発明の実施の形態２に係る赤外線撮像装置の構成を示す。この実施の形態は、実施の形態１に対して画像メモリ３２を追加し、応答欠陥検出手段Ａ３０を応答欠陥検出手段Ｂ３１に変更し、補正手段１と応答欠陥検出手段Ｂ３１との間に画像メモリ３２を追加したものである。

応答欠陥検出手段Ｂ３１を用いた欠陥検出方法について、以下に説明する。通常動作時からシャッタ１２を閉じる。フレーム番号をｎとして、シャッタ１２を閉じる直前のフレーム番号をｎ＝０、シャッタ１２を閉じているときのフレーム番号をｎ＝１、その後のフレーム番号をｎ＝２、３、‥、とする。各フレームでの各画素出力Ｖ（ｎ，（ｘ，ｙ））を画像メモリ３２に記憶させておき、各画素の変動量ΔＶ（ｎ，ｎ−１（ｘ，ｙ））＝｜[Ｖ（（ｎ−１，（ｘ，ｙ））−Ｖ（（０，（ｘ，ｙ）））／[Ｖ（（ｎ，（ｘ，ｙ））−Ｖ（（０，（ｘ，ｙ）））｜を応答欠陥検出手段Ｂ３１にて求める。ΔＶ（ｎ，ｎ−１（ｘ，ｙ））の値が大きければ（１に近ければ）画素の温度変化が速いことを示しているため、この値がしきい値を超えない場合はその画素が応答欠陥であると判定することができる。しきい値やフレーム数ｎはあらかじめ設定することも可能であるし、外部より設定することも可能である。

実施の形態３
図３に、この発明の実施の形態３に係る赤外線撮像装置の構成を示す。この実施の形態は、実施の形態２における画像メモリ３２と応答欠陥検出手段Ｂ３１とを補正回路１の前に配置したものである。

画像メモリ３２および応答欠陥検出手段Ｂ３１を用いた応答欠陥判定手法は、画素自身の応答速度を用いていることになるため、補正回路１を用いた画像補正を必要としない。そこで図３のように赤外線撮像素子の出力のみを用いた判定も可能となる。

１ 補正回路、 ２ オフセット補正手段、 ３ 感度補正手段、 ４ 欠陥補正手段、 ５ 点滅欠陥検出手段、 ６ 画像メモリ、 ８ 感度係数欠陥情報記憶手段、 １０ 赤外線固体撮像素子、 １１ レンズ、 １２ シャッタ、 １３ 被写体、 ２０ 映像出力回路、 ３０ 応答欠陥検出手段Ａ、 ３１ 応答欠陥検出手段Ｂ、 ３２ 画像メモリ。

Claims (7)

1. 固体撮像素子の各画素で入射光に対する出力応答が遅い応答欠陥画素を検出する欠陥検出方法であって、
   出力オフセット補正、感度補正および欠陥補正処理が施された各画素の出力において、前記固体撮像素子に前置される開閉可能なシャッタを閉じた後の予め指定された１フレームにおける前記固体撮像素子の各画素の出力と前記固体撮像素子の全画素の出力平均値との差分を算出し、前記差分が所定の値より大きい画素を応答欠陥画素と判定することを特徴とする欠陥検出方法。
2. 固体撮像素子の各画素で入射光に対する出力応答が遅い応答欠陥画素を検出する欠陥検出方法であって、
   出力オフセット補正、感度補正および欠陥補正処理が施された各画素の出力において、前記固体撮像素子に前置されるシャッタを閉じた後の時間毎の各フレームで連続する各フレームにおける各画素の出力変動量であるフレーム間変動量が所定の値より大きい画素を応答欠陥画素と判定することを特徴とする欠陥検出方法。
3. 前記請求項１、２いずれかの欠陥検出方法により応答欠陥画素と判定された画素の出力について補正処理を行うことを特徴とする画像補正方法。
4. 赤外線固体撮像素子と、前記赤外線固体撮像素子に前置される開閉可能なシャッタと、前記赤外線固体撮像素子の各画素の出力に対してオフセット補正と感度補正および欠陥補正を行う補正回路と、前記補正回路の出力に対して入射光に対する出力応答が遅い応答欠陥画素を検出する応答欠陥検出手段とを備え、
   前記応答欠陥検出手段は、前記シャッタを閉じた後の予め指定された１フレームにおける前記固体撮像素子の各画素の出力と前記固体撮像素子の全画素の出力平均値との差分を算出し、前記差分が所定の値より大きい画素を応答欠陥画素であると判定することを特徴とする赤外線撮像装置。
5. 赤外線固体撮像素子と、前記赤外線固体撮像素子に前置される開閉可能なシャッタと、前記赤外線固体撮像素子の各画素の出力に対してオフセット補正と感度補正および欠陥補正を行う補正回路と、前記補正回路の出力に対して入射光に対する出力応答が遅い応答欠陥画素を検出する応答欠陥検出手段とを備え、
   前記応答欠陥検出手段は、前記シャッタを閉じた後の時間毎の各フレームで連続する各フレームにおける各画素の出力変動量であるフレーム間変動量が所定の値より大きい画素を応答欠陥画素であると判定することを特徴とする赤外線撮像装置。
6. 赤外線固体撮像素子と、前記赤外線固体撮像素子に前置される開閉可能なシャッタと、前記赤外線固体撮像素子の各画素の出力に対して入射光に対する出力応答が遅い応答欠陥画素を検出する応答欠陥検出手段と、前記赤外線固体撮像素子の各画素の出力に対してオフセット補正と感度補正および欠陥補正を行う補正回路とを備え、
   前記応答欠陥検出手段は前記シャッタを閉じた後の予め指定された１フレームにおける前記赤外線固体撮像素子の各画素の出力と前記赤外線固体撮像素子の全画素の出力平均値との差分を算出し、前記差分が所定の値より大きい画素を応答欠陥画素であると判定することを特徴とする赤外線撮像装置。
7. 前記補正回路は前記応答欠陥画素の出力に対して補正処理を行うことを特徴とする請求項４乃至６のいずれか記載の赤外線撮像装置。

Images