JP4305225B2

JP4305225B2 - 赤外線画像補正装置

Info

Publication number: JP4305225B2
Application number: JP2004067291A
Authority: JP
Inventors: 力古川
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2004-03-10
Filing date: 2004-03-10
Publication date: 2009-07-29
Anticipated expiration: 2024-03-10
Also published as: JP2005260453A

Description

この発明は、固体撮像素子において発生した点滅欠陥画素を精度よく検出するための点滅欠陥検出方法、この点滅欠陥検出方法により特定・検出された点滅画素についての欠陥補正を含む映像補正方法用いた赤外線画像補正装置に関する。

特開２００３−２９８９４９号公報（図６）に記載の様に、従来固体撮像素子を用いる赤外線撮像装置では、オフセット補正、感度補正、欠陥補正等の処理を固体撮像素子出力に施していた。赤外線領域で被写体を撮像するための撮像素子として、赤外線固体撮像素子１０を備え、赤外線画像補正装置１４により画像補正を行う赤外線撮像装置１２である。赤外線固体撮像素子１０に前置されているシャッタ２２が開いている状態では、被写体から到来する光線のうち、主として赤外線領域に属する光線が、レンズ１６を通り赤外線固体撮像素子１０により捕らえられる。図示しないが、赤外線固体撮像素子１０は二次元的に配置された多数の画素から構成されており、各画素はそれぞれ赤外線の受光強度に応じた出力を呈する。この各画素出力については、赤外線画像補正装置１４は、オフセット補正、感度補正、欠陥補正の順で、補正処理を施していた（例えば、特許文献１参照）。
特開２００３−２９８９４９号公報

以下に、従来の赤外線画像補正装置１４の動作を説明する。まず、画素間には出力値のずれ（出力オフセット）が生じうる。出力オフセットを示すデータを赤外線固体撮像素子１０画素配列に従って配列すると、画素間の出力オフセットが画素配列上でどのようなパターンを有しているかがわかる。出力オフセットが画素配列上で有しているパターンをオフセットパターンと呼ぶ。オフセットパターンは、例えば、赤外線撮像装置１２の画角のほぼ全体に亘って均一な温度を有する物体を被写体として撮像を行ったときの赤外線固体撮像素子１０の出力から、得ることができる。

オフセット補正処理とは、画像メモリ２０に予め記憶させておいたオフセットパターンに従い、通常使用時における赤外線固体撮像素子１０の撮像出力から、画素間の出力オフセットを除去又は抑圧する処理であり、オフセット補正手段１８により実行される。なお、オフセット補正処理に使用されるオフセットパターンを、オフセット補正パターンと呼ぶ。また、上掲の均一温度被写体を撮像しその結果得られるオフセット補正パターンを画像メモリ２０に記憶させる処理を、キャリブレーションと呼ぶ。キャリブレーション用の均一温度被写体としてはシャッタ２２を用いることができる。即ち、シャッタ２２を閉じた状態で撮像を行いオフセット補正パターンを得るようにすればよい。シャッタ２２を設ければ、任意時点でキャリブレーションを実施できるため、好都合である。

オフセット補正処理を経た各画素撮像出力には、画素間の感度差が残っている。全画面（全画素）に亘り均一な出力特性を実現するため、オフセット補正手段１８を経た各画素撮像出力に感度補正係数ΔＶａｖｅ／ΔＶ（ｘ，ｙ）を乗ずる感度補正処理が、感度補正手段２４により実行される。（ｘ，ｙ）は画素の位置、ΔＶ（ｘ，ｙ）は温度による出力変化分即ちオフセット差分値、ΔＶａｖｅはΔＶ（ｘ，ｙ）の全画面平均値である。なお、ΔＶ（ｘ，ｙ）は、例えば、任意温度Ｔを有する物体を被写体としたときのオフセットパターンと、他の任意温度Ｔ＋ΔＴを有する物体を被写体としたときのオフセットパターンから、求めることができる。ΔＶａｖｅは、そのようにして求めたΔＶ（ｘ，ｙ）を全画面（全画素）に亘り平均することにより、得ることができる。ΔＶ（ｘ，ｙ）、ΔＶａｖｅ更には感度補正係数を導出する処理は、感度補正手段２４による処理に先立って感度係数算出固定欠陥検出手段２６により実行される。その結果得られた感度補正係数は、感度係数欠陥情報記憶手段２８に書き込まれる。

オフセット補正処理及び感度補正処理を経た各画素撮像出力には、更に、欠陥補正手段３０による欠陥補正処理が施される。欠陥画素には、定常的に同じ異常輝度を出力する固定欠陥画素と、非定常的に異常輝度を出力する点滅欠陥画素とがある。固定欠陥画素に対しては、その画素の出力（異常出力）に代えて代替値を後段に供給する処理であり、代替値としては、その欠陥画素を取り巻く画素の（平均）出力等を利用できる。

この処理を行うためには、欠陥画素を特定・検出する必要がある。感度係数算出固定欠陥検出手段２６は、画素の位置（ｘ，ｙ）毎に求めた感度補正係数ΔＶａｖｅ／ΔＶ（ｘ，ｙ）が所定の閾値を上回っている画素を、異常な感度を有する欠陥画素として、特定する。点滅欠陥画素に対しては、固体撮像素子の画角ほぼ全体に亘りほぼ均一な温度を有する被写体を上記固体撮像素子により撮像し更にその結果得られた撮像出力について固体撮像素子における画素間の出力オフセット及び感度差を補正する処理を、複数フレームに亘り繰り返し実行し、輝度比較器３６にて当該複数フレーム中における出力値変動の規模又は頻度が判定基準を上回った画素を以て、点滅欠陥画素として特定する。感度係数欠陥情報記憶手段２８は、このようにして特定された欠陥画素の位置（ｘ，ｙ）を記憶する。欠陥補正手段３０は、感度係数欠陥情報記憶手段２８に欠陥画素位置として記憶されている位置（ｘ，ｙ）の画素について、上掲の欠陥補正処理を実行する。

しかしながら、上掲の手法では、欠陥画素のうち点滅欠陥画素を特定する際には、シャッタ２２等の固体撮像素子の画角ほぼ全体に亘りほぼ均一な温度を有する被写体を撮像する必要があるが、実際には内部発熱等によりシャッタ２２等の被写体が必ずしもほぼ均一な温度になっているとは限らない。また、赤外線撮像装置１２の外部にある被写体について、ほぼ均一な温度に設定できたとしても、レンズ１６を通して、赤外線固体撮像素子１０に撮像する過程で、レンズ１６のけられによるシェーディングの影響を受けるため、欠陥補正手段３０の出力において、画面全体においてレベル不均一が発生する場合がある。

更に欠陥補正手段３０の出力は、オフセット補正手段１８、感度補正手段２４を経ているため、画像メモリ(オフセット補正パターン)２０及び感度係数欠陥情報記憶手段２８の取得時の誤差の影響等により、オフセット補正手段１８、感度補正手段２４に対して補正ずれが発生し、画面全体において出力レベルが不均一になる場合がある。このため、欠陥補正手段３０の出力において画面全体におけるレベル均一性を前提として点滅欠陥を分離検出する上掲の手法では、精度よく点滅欠陥を特定できない場合がある問題がある。

本願に記載の発明は、この問題点を解決することを課題としてなされたものであり、即ち赤外線撮像装置において使用される固体撮像素子における欠陥画素のうち点滅欠陥画素を特定する際に固体撮像素子の画角ほぼ全体に亘りほぼ均一な温度を有する被写体とする必要がなく、かつ固体撮像素子の画面全体における出力レベルが不均一であっても好適に特定・検出できる赤外線画像補正装置を構成することを目的とする。

この発明による赤外線画像補正装置は、少なくとも赤外線領域を撮像する固体撮像素子の撮像素子出力について、この固体撮像素子から構成される各画素間の出力オフセットを除去するオフセット補正手段と、このオフセット補正後の出力に対し上記各画素間の感度ばらつきを補正する感度補正手段と、この感度補正後の出力に対し欠陥画素を補正する欠陥補正手段と、この欠陥補正後の出力に対しモニタにビデオ信号として出力するビデオ信号生成手段と、を備えた赤外線画像補正装置において、上記固体撮像素子より出力される撮像素子出力を、複数の撮像フレームに亘り所定の画像メモリを有して記憶し、上記固体撮像素子から構成される各画素について、これら複数の撮像フレームに亘る各撮像素子の出力値の平均値、および標準偏差値を算出し、各撮像フレーム毎の夫々の各撮像素子の出力値から平均値を引いた絶対値を算出し、この絶対値が上記標準偏差値の所定の定数倍を超える画素については、点滅欠陥画素として検出する様にしたものである。

非定常的に出力する点滅画素の点滅間隔及びこの点滅画素について、非点滅状態として定常的に出力するノイズ等によるばらつき及び非定常的に点滅状態として出力される際のばらつきについては赤外線固体撮像素子に依存して決まるものが多いため、赤外線固体撮像素子の構成する各画素について、非点滅状態として定常的に出力するノイズ等におけるばらつきと点滅状態として非定常的に出力する際のばらつき、及び赤外線固体撮像素子の点滅画素の点滅間隔が予め分かっていれば、外部設定する点滅欠陥検出条件としての点滅間隔を補うフレーム数Ｎ及び閾値αに対して、赤外線固体撮像素子の点滅出力特性に見合い適正に設定することができる。これより、点滅欠陥検出手段において精度よく点滅欠陥画素の特定・検出が可能となる。

以下、この発明の好適な実施の形態に関し図面に基づき説明する。なお、図６に示した従来技術と同様の構成には同一の符号を付し、重複説明を省略する。更に、実施の形態同士で同様の構成には互いに同一の符号を付し、重複説明を省略する。

実施の形態１．
図１は、この発明の実施の形態１による赤外線画像補正装置１４ａを有する赤外線撮像装置を説明するためのブロック図である。以下に、赤外線画像補正装置１４ａを詳述するし、実施の形態１の赤外線撮像装置１２を説明する。

この実施の形態においては、点滅欠陥画素の位置を特定・検出するために使用するシャッター２２は、固体撮像素子１０の画角のほぼ全体に亘りほぼ均一な温度になっている必要はなく、被写体を用いることも可能である。その際、レンズ１６のシェーディングによる影響及びオフセット補正手段１８、感度補正手段２４における画像メモリ（オフセットパターン）２０及び感度係数欠陥情報記憶手段２８の誤差の影響等によるオフセット補正ずれ、感度補正ずれの影響を受けずに、点滅欠陥画素の位置を特定・検出が可能である。

なぜなら、撮像を行ったときの赤外線固体撮像素子１０の出力を複数フレームに亘り画像メモリ２０に記憶させ、記憶した複数フレームに亘る赤外線固体撮像素子１０の出力から点滅欠陥検出手段３８において赤外線固体撮像素子１０の構成する各画素に対して、各フレーム毎に撮像素子の出力変動を観測することにより点滅欠陥を検出しているため、赤外線固体撮像素子１０のフレーム出力の均一化を図る必要がなく、一方、均一温度被写体の撮像及びその結果についてオフセット補正等を十分長いフレーム数に亘って繰り返し行う等で画面全体における定常的な出力を均一化して、非定常的に異常輝度を呈する欠陥たる点滅欠陥を、瞬間的な出力変動等の形で分離検出できる従来方式とは全く異なるからである。

点滅欠陥検出手段３６による点滅欠陥画素の特定・検出にあたっては、撮像した時間に対して温度がほぼ一定となるシャッター２２を閉じた状態、またはシャッター２２を開き、撮像した時間に対して温度がほぼ一定となる被写体を撮像した状態で、外部からの点滅欠陥検出設定により赤外線固体撮像素子１０に対して撮像を行い、赤外線固体撮像素子１０からの出力を複数フレームＦ１，Ｆ２，．．．,ＦＮに亘り、フレームＦｋ（ｋ＝１，．．．, Ｎ）毎に画像メモリ２０に記憶させる。被写体の温度は、赤外線撮像装置１２のダイナミックレンジ内にある限り、任意の温度で良く任意の静止画となる被写体を用いることが可能である。

点滅欠陥検出手段３８において、画像メモリ２０に記憶した赤外線固体撮像素子１０からの出力をフレームＦｋ（ｋ＝１，．．．, Ｎ）毎に繰り返し取込み、複数フレームＦ１，Ｆ２，．．．,ＦＮに亘る赤外線固体撮像素子１０の出力を用いて、赤外線固体撮像素子１０の構成する各画素（ｋ１、ｋ２）（ｋ１＝１，．．．,ｎ１）、（ｋ２＝１，．．．,ｎ２）について、複数フレームＦ１，Ｆ２，．．．,ＦＮに亘る赤外線固体撮像素子１０の出力の平均値Ｖａｖｅ（ｋ１、ｋ２）、標準偏差Ｖσ（ｋ１、ｋ２）を求める。赤外線固体撮像素子１０の構成する各画素（ｋ１、ｋ２）について、各フレームＦｋ（ｋ＝１，．．．，Ｎ）毎の撮像素子の出力Ｖｋ（ｋ１、ｋ２）から上記平均値Ｖａｖｅ（ｋ１、ｋ２）を引いた絶対値｜Ｖｋ（ｋ１、ｋ２）−Ｖａｖｅ（ｋ１、ｋ２）｜を算出し、その値が複数フレームのうち、あるフレームＦｌ：エフエル（１＜ｌ：エル＜Ｎ）において上記標準偏差Ｖσ（ｋ１、ｋ２）＊αに対して大きくなる場合、その際の当該赤外線固体撮像素子１０の出力Ｖｌ（ｋ１、ｋ２）が他の複数フレームにおける赤外線固体撮像素子１０出力と比較して、平均値Ｖａｖｅ（ｋ１、ｋ２）からの出力ばらつきが著しく大きく瞬間的に出力変動したと判断でき、このとき当該画素（ｋ１、ｋ２）については点滅画素としてみなすことが出来る。

αは、点滅出力時のフレームＦｌを特定するために、赤外線固体撮像素子１０の点滅画素について非点滅状態として定常的に出力するノイズ等によるばらつきと、非定常的に点滅状態として出力される際のばらつきを考慮し調整決定される閾値である。当該閾値α及び赤外線固体撮像素子１０の撮像に要するフレーム数Ｎについては、外部による点滅画素欠陥検出用データ取得の際に、点滅欠陥検出条件設定として同時に行う。

非定常的に出力する点滅画素の点滅間隔及び当該点滅画素について、非点滅状態として定常的に出力するノイズ等によるばらつき及び非定常的に点滅状態として出力される際のばらつきについては赤外線固体撮像素子１０に依存して決まるものが多いため、赤外線固体撮像素子１０の構成する各画素（ｋ１、ｋ２）について、非点滅状態として定常的に出力するノイズ等におけるばらつきと点滅状態として非定常的に出力する際のばらつき及び、赤外線固体撮像素子１０の点滅画素の点滅間隔が予め分かっていれば、外部より設定する点滅欠陥検出条件としての点滅間隔を補うフレーム数Ｎ及び閾値αに対して、赤外線固体撮像素子１０の点滅出力特性に見合い適正に設定することができる。これより、点滅欠陥検出手段３６において精度よく点滅欠陥画素の特定・検出が可能となる。

実施の形態２．
図２は、この発明の実施の形態２による赤外線画像補正装置１４ｂを有する赤外線撮像装置を説明するためのブロック図である。以下に、赤外線画像補正装置１４ｂを詳述するし、実施の形態１の赤外線撮像装置１２を説明する。
この実施の形態は、実施の形態１に、点滅欠陥特性検出手段４０及び点滅欠陥特性表示手段４２を追加したものである。

点滅欠陥特性検出手段４０は、実施の形態１において、赤外線固体撮像素子１０の点滅出力特性が不明のため、外部より赤外線固体撮像素子１０の点滅出力特性に見合った点滅欠陥検出条件が設定できない場合に、赤外線固体撮像素子１０の点滅画素の出力特性を検出するために実施するもので、撮像時間に対して温度がほぼ一定となるシャッター２２を閉じた状態、または、シャッター２２を開いて、撮像時間に対して温度がほぼ一定となる被写体を撮像した状態で、外部からの点滅欠陥特性検出設定時に点滅欠陥特性検出条件として撮像フレーム数Ｎ‘、点滅欠陥候補検出のための閾値α’の設定を行い実施される。Ｎ‘は、赤外線固体撮像素子１０において点滅画素が出現し、点滅画素が点滅すると想定される点滅期間に対して十分大きな値に、α’は赤外線固体撮像素子１０の点滅画素について、非点滅状態として定常的に出力するノイズ等におけるばらつきと非定常的に点滅状態として出力する際のばらつきを想定してそれぞれ設定する。

まず、赤外線固体撮像素子１０に対して撮像を行い、赤外線固体撮像素子１０からの出力を複数フレームＦ１，Ｆ２，．．．,ＦＮ‘に亘り画像メモリ２０に記憶させる。点滅欠陥特性検出４０において、画像メモリ２０に記憶した赤外線固体撮像素子１０からの出力をフレームＦｋ（ｋ＝１，．．．，Ｎ’）毎に取込み、各フレームＦｋ（ｋ＝１，．．．，Ｎ’）について、赤外線固体撮像素子１０の構成する各画素（ｋ１、ｋ２）（ｋ１＝１，．．．,ｎ１）、（ｋ２＝１，．．．,ｎ２）毎の出力値Ｖ（ｋ，ｋ１，ｋ２）を記憶し、これらを全てのフレームについて繰り返す。また赤外線固体撮像素子１０の構成する各画素（ｋ１、ｋ２）について、複数フレームＦ１，Ｆ２，．．．,ＦＮ‘に亘る赤外線固体撮像素子１０の出力より複数フレームＦ１，Ｆ２，．．．,ＦＮ‘に亘る撮像素子の出力の平均値Ｖａｖｅ（ｋ１，ｋ２）、標準偏差Ｖσ（ｋ１，ｋ２）を算出し記憶する。

赤外線固体撮像素子１０の構成する各画素（ｋ１、ｋ２）について、各フレームＦｋ（ｋ＝１，．．．，Ｎ’）毎の撮像素子の出力Ｖｋ（ｋ１、ｋ２）から上記平均値Ｖａｖｅ（ｋ１、ｋ２）を引いた絶対値｜Ｖｋ（ｋ１、ｋ２）−Ｖａｖｅ（ｋ１、ｋ２）｜を算出し、その値が複数フレームのうち、あるフレームＦｌ：エフエル（１＜ｌ：エル＜Ｎ‘）において上記標準偏差Ｖσ（ｋ１、ｋ２）＊α‘に対して大きくなる場合、赤外線固体撮像素子１０の当該フレームでの出力Ｖｌ（ｋ１、ｋ２）が他の複数フレームにおける赤外線固体撮像素子１０出力と比較して、平均値Ｖａｖｅ（ｋ１、ｋ２）からの出力ばらつきが著しく大きく瞬間的に出力変動したと判断できるため、当該画素（ｋ１、ｋ２）については、点滅欠陥画素候補とみなして、当該画素（ｋ１、ｋ２）について、各フレームＦｋ（ｋ＝１，．．．，Ｎ’）に対する出力値（ｋ，ｋ１，ｋ２）、複数フレームＦ１，Ｆ２，．．．,ＦＮ‘に亘る撮像素子の出力の平均値Ｖａｖｅ（ｋ１，ｋ２）、及び標準偏差Ｖσ（ｋ１，ｋ２）を点滅欠陥特性検出情報として、点滅欠陥特性表示手段４２に転送する。

点滅欠陥特性表示手段４２では、使用者が赤外線固体撮像素子１０の点滅欠陥候補の特性を容易に目視確認できるように、点滅欠陥検出手段４０より得られた上記点滅欠陥特性検出情報を用いて表示処理し、表示された点滅欠陥特性検出情報をビデオ信号生成手段３２に対して重畳し、テレビモニタ３４に表示させる。

点滅欠陥特性表示手段４２では、点滅欠陥特性検出手段４０において検出した赤外線固体撮像素子１０の点滅欠陥候補（ｋ１、ｋ２）（ｋ１＝１，．．．，ｎ３），（ｋ１＝１，．．．，ｎ４）について、点滅欠陥特性をグラフ化して表示するものである。
さて、図３は、この発明の実施の形態２による赤外線画像補正装置を有する赤外線撮像装置を説明するためのブロック図である。具体的には、図３に示すように点滅欠陥候補（ｋ１、ｋ２）毎に、横軸に対して外部からの点滅欠陥特性検出の設定時の撮像フレーム数Ｎ‘を設定、縦軸に対して各フレームＦｋ（ｋ＝１，．．．，Ｎ’）毎の出力値（ｋ，ｋ１，ｋ２）を示すと共に、複数フレームＦ１，Ｆ２，．．．,ＦＮ‘に亘る撮像素子の出力の平均値Ｖａｖｅ（ｋ１，ｋ２）、標準偏差Ｖσ（ｋ１，ｋ２）、及び平均値Ｖａｖｅ（ｋ１，ｋ２）からの出力ばらつきが著しく大きいと判断したフレームＦｌの値及び外部により設定した閾値α‘を表示する。

また、外部からの点滅欠陥表示切換設定により、点滅欠陥候補（ｋ１、ｋ２）が順次検出した残りの点滅欠陥候補（ｋ１、ｋ２）に切換り、切換った点滅欠陥候補（ｋ１、ｋ２）に対応した点滅欠陥特性について同様にグラフ表示する。尚、残りの点滅欠陥候補（ｋ１、ｋ２）がすべて切換った場合は最初に表示した点滅欠陥候補（ｋ１、ｋ２）に戻り、上記を繰り返すこととする。また、点滅欠陥候補がない場合には点滅欠陥候補がない旨の表示を行う。

これより、検出した上記点滅欠陥候補（ｋ１、ｋ２）について、点滅出力時のばらつき、及び点滅出力時の出力間隔の観測結果を使用者が容易に確認することができ、かつ当該観測結果から、使用者が外部より点滅間隔を補うフレーム数Ｎ及び閾値αを赤外線固体撮像素子１０の点滅出力特性に見合い適正に設定することができるため、点滅欠陥検出手段３６において精度よく点滅欠陥画素の特定・検出が可能となる。
尚、点滅欠陥候補がない場合、もしくは点滅欠陥候補は特定したが、点滅出力時の出力間隔が得られない場合、即ち点滅出力が１回のみしか行われない場合は、点滅出力時の出力間隔が得るための撮像フレーム数Ｎ‘が満足していない可能性があるため、外部より撮像フレーム数Ｎ‘を更に大きくして、再度点滅欠陥特性検出を行う必要がある。

実施の形態３．
図４は、この発明の実施の形態３による赤外線画像補正装置１４ｃを有する赤外線撮像装置を説明するためのブロック図である。以下に、赤外線画像補正装置１４ｃを詳述するし、実施の形態３の赤外線撮像装置１２を説明する。
この実施の形態は、実施の形態２に、点滅欠陥特性検出可否手段４４及び点滅欠陥検出可否手段４６を追加したものである。

点滅欠陥特性検出可否手段４４では、実施の形態２において点滅欠陥特性検出にあたって赤外線固体撮像素子１０からの出力を観測し、精度よく点滅欠陥特性検出可能かどうかを判断するもので、シャッター２２を閉じた状態、またはシャッター２２を開き、被写体を撮像した状態で外部からの点滅欠陥特性検出の設定時に実施される。まず赤外線固体撮像素子１０に対して撮像を行い、赤外線固体撮像素子１０からの出力を複数フレームＦ１，Ｆ２，．．．,ＦＮ‘に亘り画像メモリ２０に記憶させる。

点滅欠陥特性検出可否手段において、画像メモリ２０に記憶した赤外線固体撮像素子１０からの出力をフレーム毎に取り込み、各フレームＦｋ（ｋ＝１，．．．，Ｎ’）について、赤外線固体撮像素子１０の構成する各画素（ｋ１、ｋ２）（ｋ１＝１，．．．,ｎ１）、（ｋ２＝１，．．．,ｎ２）毎の出力値Ｖ（ｋ，ｋ１，ｋ２）を記憶し、これらを全てのフレームについて繰り返す。赤外線固体撮像素子１０の構成する各画素（ｋ１、ｋ２）について、複数フレームＦ１，Ｆ２，．．．,ＦＮ‘に亘る赤外線固体撮像素子１０の出力より複数フレームＦ１，Ｆ２，．．．,ＦＮ‘に亘る撮像素子の出力の平均値Ｖａｖｅ（ｋ１，ｋ２）、標準偏差Ｖσ（ｋ１，ｋ２）を算出し記憶する。

ここで、赤外線固体撮像素子１０許容出力の上限、下限値をそれぞれＳｈ(high、以下ｈと略す)，Ｓｌ(low、以下ｌと略す)としたとき、当該Ｖａｖｅ（ｋ１，ｋ２）についてＶａｖｅ（ｋ１，ｋ２）＞Ｓｈ、またはＶａｖｅ（ｋ１，ｋ２）＜Ｓｌ時には、シャッター２２または被写体の設定温度が赤外線固体撮像装置１２のダイナミックレンジから外れており、赤外線固体撮像素子１０出力が定常的に許容出力範囲を超えており点滅欠陥特性検出の際の誤差要因と考えられるため、当該条件に合致した場合は、点滅欠陥特性検出手段４０は実施せず、点滅欠陥特性表示手段４２に対して、“赤外線固体撮像素子出力異常”を表示する。

また、上記標準偏差Ｖσ（ｋ１，ｋ２）が非点滅状態として定常的に出力するノイズを考慮して予め内部設定された閾値Ｓに対して大きい場合、赤外線固体撮像素子１０撮像中にシャッター２２または被写体に温度変化があった等で赤外線固体撮像素子１０出力が定常的に出力するノイズに対して当該温度変化による出力変動が支配的でばらついており上記同様誤差要因と考えられるため、当該条件に合致した場合も、点滅欠陥特性検出手段４０は実施せず、点滅欠陥特性表示手段４２に対して、“赤外線固体撮像素子出力異常”を表示する。

但し、固定欠陥画素については、定常的に輝度異常の出力となるため、上記２条件による判定の対象から除いておく。これより、シャッタ−２２または被写体の設定温度が赤外線固体撮像装置１２のダイナミックレンジから外れている場合、及び赤外線固体撮像素子１０撮像中にシャッター２２または被写体に温度変化があった場合の影響による点滅欠陥特性誤検出を未然に防ぎ、かつ使用者に対して赤外線固体撮像素子１０出力が異常であり、点滅欠陥特性検出ができないことを促すことができる。

点滅欠陥検出可否手段４６では、実施の形態２において点滅欠陥検出にあたって赤外線固体撮像素子１０からの出力を観測し、精度よく点滅欠陥検出可能かどうかを判断するもので、シャッター２２を閉じた状態、またはシャッター２２を開き、被写体を撮像した状態で、外部からの点滅欠陥検出の設定時に実施される。まず赤外線固体撮像素子１０に対して撮像を行い、赤外線固体撮像素子１０からの出力を複数フレームＦ１，Ｆ２，．．．,ＦＮに亘り画像メモリ２０に記憶させる。

点滅欠陥特性検出可否手段において、画像メモリ２０に記憶した赤外線固体撮像素子１０からの出力をフレーム毎に取り込み、各フレームＦｋ（ｋ＝１，．．．，Ｎ）について、赤外線固体撮像素子１０の構成する各画素（ｋ１、ｋ２）（ｋ１＝１，．．．,ｎ１）、（ｋ２＝１，．．．,ｎ２）毎の出力値Ｖ（ｋ，ｋ１，ｋ２）を記憶し、これらを全てのフレームについて繰り返す。赤外線固体撮像素子１０の構成する各画素（ｋ１、ｋ２）について、複数フレームＦ１，Ｆ２，．．．,ＦＮに亘る赤外線固体撮像素子１０の出力より複数フレームＦ１，Ｆ２，．．．,ＦＮに亘る撮像素子の出力の平均値Ｖａｖｅ（ｋ１，ｋ２）、標準偏差Ｖσ（ｋ１，ｋ２）を算出し記憶する。

ここで、赤外線固体撮像素子１０許容出力の上限、下限値をそれぞれＳｈ，Ｓｌとしたとき、当該Ｖａｖｅ（ｋ１，ｋ２）についてＶａｖｅ（ｋ１，ｋ２）＞Ｓｈ、またはＶａｖｅ（ｋ１，ｋ２）＜Ｓｌ時には、シャッター２２または被写体の設定温度が赤外線固体撮像装置１２のダイナミックレンジから外れており、赤外線固体撮像素子１０出力が定常的に許容出力範囲を超えており点滅欠陥検出の際の誤差要因と考えられるため、当該条件に合致した場合は、点滅欠陥検出手段３８は実施せず、点滅欠陥特性表示手段４２に対して、“赤外線固体撮像素子出力異常”を表示する。

また、上記標準偏差Ｖσ（ｋ１，ｋ２）が非点滅状態として定常的に出力するノイズを考慮して予め内部設定された閾値Ｓに対して大きい場合、赤外線固体撮像素子１０撮像中にシャッター２２または被写体に温度変化があった等で赤外線固体撮像素子１０出力が定常的に出力するノイズに対して当該温度変化による出力変動が支配的で上記同様誤差要因と考えられるため、当該条件に合致した場合についても、点滅欠陥検出手段３８は実施せず、点滅欠陥特性表示手段４２に対して、“赤外線固体撮像素子出力異常”を表示する。

但し、固定欠陥画素については、定常的に輝度異常の出力となるため、上記２条件による判定の対象から除いておく。これより、シャッタ−２２または被写体の設定温度が赤外線固体撮像装置１２のダイナミックレンジから外れている場合、及び赤外線固体撮像素子１０撮像中にシャッター２２または被写体に温度変化があった場合の影響による点滅欠陥誤検出を未然に防ぎ、かつ使用者に対して赤外線固体撮像素子１０出力が異常であり、点滅欠陥検出ができないことを促すことができる。

実施の形態４．
図５は、この発明の実施の形態１による赤外線画像補正装置１４ｄを有する赤外線撮像装置を説明するためのブロック図である。以下に、赤外線画像補正装置１４ｄを詳述するし、実施の形態１の赤外線撮像装置１２を説明する。
この実施の形態は、実施の形態３に、点滅欠陥検出条件記憶手段４８、点滅欠陥検出条件内部／外部切換手段５０を追加したものである。

点滅欠陥検出条件記憶手段４８は、外部による点滅欠陥検出設定時に点滅欠陥検出条件として、外部により設定された撮像フレーム数Ｎ、点滅欠陥検出のための閾値αを記憶するものである。当該記憶される値は外部による当該設定がある都度、更新記憶される。点滅欠陥検出条件外部／内部切換手段５０は、外部による点滅欠陥検出設定時に使用する点滅欠陥検出条件として、外部による点滅欠陥検出外部／内部条件の設定に基づき、外部設定された点滅欠陥検出条件、または当該記憶した点滅欠陥検出条件を選択し使用するものである。

これにより、使用者が赤外線撮像装置１２を初めて使用するため点滅欠陥特性の検出結果のテレビモニタ３４による目視確認が初めてで、点滅欠陥検出設定時に設定する赤外線固体撮像素子１０出力に見合った点滅欠陥検出条件設定が初めての場合は、外部による点滅欠陥検出外部の設定に基づき、外部設定を使用する必要があるが、赤外線撮像装置１２の点滅欠陥検出条件は電源投入毎にほぼ再現され、当該赤外線固体撮像素子１０出力に見合った点滅欠陥検出条件が点滅欠陥検出条件記憶手段４８に記憶されているため、次回以降赤外線撮像装置１２を使用する場合には、外部による点滅欠陥検出条件の設定が不要となり、使用者の操作の負担を軽減することができる。

この発明の実施の形態１による赤外線画像補正装置を有する赤外線撮像装置を説明するためのブロック図である。この発明の実施の形態２による赤外線画像補正装置を有する赤外線撮像装置を説明するためのブロック図である。この発明の実施の形態２による点滅欠陥表示手段を説明するための図である。この発明の実施の形態３による赤外線画像補正装置を有する赤外線撮像装置を説明するためのブロック図である。この発明の実施の形態４による赤外線画像補正装置を有する赤外線撮像装置を説明するためのブロック図である。従来技術に係る固体撮像装置を用いる赤外線撮像装置の一例を示すブロック図である。

符号の説明

１０赤外線固体撮像素子、１２赤外線撮像装置、１４赤外線画像補正装置、１６レンズ、１８オフセット補正手段、２０画像メモリ、２２シャッタ、２４感度補正手段、２６感度係数算出、固定欠陥検出手段、２８感度係数欠陥情報記憶手段、３０欠陥補正手段、３２ビデオ信号生成手段、３４テレビモニタ、３６輝度比較器、３８点滅欠陥検出手段、４０点滅欠陥特性検出手段、４２点滅欠陥特性表示手段、４４点滅欠陥特性検出可否手段、４６点滅欠陥検出可否判定手段、４８点滅欠陥検出条件記憶手段、５０点滅欠陥検出条件外部／内部切換手段。

Claims

少なくとも赤外線領域を撮像する固体撮像素子の撮像素子出力について、この固体撮像素子から構成される各画素間の出力オフセットを予め記憶する画像メモリと、通常使用時における上記固体撮像素子の撮像素子出力から上記画像メモリに記憶した上記各画素間の出力オフセットを除去するオフセット補正手段と、上記各画素間の感度ばらつきを補正するための感度係数及び固定欠陥である欠陥画素位置情報を検出する感度係数算出固定欠陥検出手段と、点滅欠陥である欠陥画素位置情報を検出する輝度比較器と、上記検出した感度係数及び上記固定欠陥及び点滅欠陥の欠陥画素位置情報を記憶する感度係数欠陥情報記憶手段と、上記オフセット補正後の出力に対し上記感度係数を用いて上記各画素間の感度ばらつきを補正する感度補正手段と、この感度補正後の出力に対し、上記固定欠陥及び点滅欠陥の欠陥画素位置情報により欠陥画素を補正する欠陥補正手段と、この欠陥画素の補正後の出力をビデオ信号として出力するビデオ信号生成手段とを備えた赤外線画像補正装置において、
上記固体撮像素子より出力される撮像素子出力を、複数の撮像フレームに亘り上記画像メモリに記憶し、上記固体撮像素子から構成される各画素について、これら複数の撮像フレームに亘る各撮像素子の出力値の平均値、および標準偏差値を算出し、各撮像フレーム毎の夫々の各撮像素子の出力値から平均値を引いた絶対値を算出し、この絶対値が上記標準偏差値の所定の定数倍を超える画素については、点滅欠陥画素として検出する様にした点滅欠陥検出手段を備えることを特徴とする赤外線画像補正装置。
更に、上記固体撮像素子より出力される点滅欠陥出力特性を検出する点滅欠陥特性検出手段と、この点滅欠陥特性検出情報を表示する点滅欠陥特性表示手段とを備え、
使用者がモニタ装置にて目視観測し、観測される出力特性に基づいて点滅欠陥画素の特定検出のために設定する撮像するフレーム数の値及び定数倍する定数値を、適正に設定することにより、点滅欠陥画素を精度よく検出する様にしたことを特徴とする請求項１記載の赤外線画像補正装置。
更に、上記固体撮像素子より出力される撮像素子出力値を観測し、点滅欠陥特性検出可否を判断する点滅欠陥特性検出可否手段を備え、
異常と判断される場合には、上記モニタ装置にて赤外線撮像出力異常を表示することにより、使用者に対して赤外線撮像出力異常を促すと共に、点滅欠陥検出及び点滅欠陥出力特性の検出を行わないことにより、未然に上記撮像素子出力の異常の影響による点滅欠陥検出または点滅欠陥出力特性の誤検出を防止する様にしたことを特徴とする請求項１または請求項２記載の赤外線画像補正装置。
更に、外部による点滅欠陥検出設定時に、この点滅欠陥検出条件を記憶する点滅欠陥検出条件記憶手段と、点滅欠陥検出設定時に使用する点滅欠陥検出条件として、外部により設定された点滅欠陥検出条件、または上記点滅欠陥検出条件記憶手段にて記憶した点滅欠陥検出条件のいづれかを選択する点滅欠陥検出条件外部／内部切換手段を備え、
上記点滅欠陥検出時の点滅欠陥検出条件について、使用者がその出力に基づいて適正に設定した後、上記赤外線画像補正装置が内部記憶することにより、次回以降、赤外線画像補正装置使用時に使用者が点滅欠陥検出条件の設定を不要とすることにより、上記使用者の操作の負担を軽減する様にしたことを特徴とする請求項３記載の赤外線画像補正装置。