JP3675066B2 - Infrared imaging device and image correction method - Google Patents
Infrared imaging device and image correction method Download PDFInfo
- Publication number
- JP3675066B2 JP3675066B2 JP29378796A JP29378796A JP3675066B2 JP 3675066 B2 JP3675066 B2 JP 3675066B2 JP 29378796 A JP29378796 A JP 29378796A JP 29378796 A JP29378796 A JP 29378796A JP 3675066 B2 JP3675066 B2 JP 3675066B2
- Authority
- JP
- Japan
- Prior art keywords
- infrared
- calibration
- average value
- measuring
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003702 image correction Methods 0.000 title claims description 77
- 238000003331 infrared imaging Methods 0.000 title claims description 53
- 238000000034 method Methods 0.000 title claims description 14
- 230000035945 sensitivity Effects 0.000 claims description 146
- 238000012937 correction Methods 0.000 claims description 104
- 230000008859 change Effects 0.000 claims description 91
- 238000003384 imaging method Methods 0.000 claims description 50
- 230000000903 blocking effect Effects 0.000 claims description 46
- 238000003705 background correction Methods 0.000 claims description 40
- 238000005259 measurement Methods 0.000 claims description 28
- 238000001514 detection method Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 31
- 230000006870 function Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 230000036632 reaction speed Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000009529 body temperature measurement Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Landscapes
- Radiation Pyrometers (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
【0001】
【発明の属する技術分野】
この発明は、対象物から放射される赤外光を集光し、光電変換した後、映像信号として出力する赤外線撮像装置に関するものである。
【0002】
【従来の技術】
一般に、従来の赤外線撮像装置は、航空機、車両、艦船などに搭載されて、夜間監視を用途に使われている。
【0003】
図8は従来のこの種の赤外線撮像装置の一例の構成図であり、1は赤外レンズ、2は画像補正用シャッタ、3は二次元赤外線検知素子を持つ赤外線検知器、4はアンプ、5はサンプルホールド回路、6はA/D変換器、7は画像補正器、8はD/A変換器、9は撮像制御器、10は出力映像信号、11は画像補正指令信号である。
【0004】
次に動作について説明する。目標物体の撮像動作として、赤外レンズ1は目標物体及びその背景から放射される赤外光を集光し、赤外線検知器3上に赤外像を結像する。赤外線検知器3には検知画素が二次元的に配列されており、各検知画素は結像された赤外像の一部を光電変換する。アンプ4は各検知画素の発生する断続信号を増幅し、サンプルホールド回路5はアンプ4から出力される断続信号を連続した走査信号に変換する。その信号はさらに画像補正処理しやすいようにA/D変換器6によりデジタル信号(以下画像データという)に変換された後、画像補正器7により画素ごとに出力される輝度の補正(以下画像補正という)をかけられ、さらに、D/A変換器8により出力映像信号10に変換され外部へ出力される。撮像制御部9は、赤外レンズ1へピントの調整指令や、画像補正器7へペデスタルレベルやゲインの調整指令等を、外部からの指令に基づき出力することで撮像装置全系の制御を行う。画像補正用シャッタ2は、外部から画像補正指令信号11が入力された際に、赤外レンズ1と赤外線検知器3の間の赤外線光路に機械的に挿入されることで、赤外レンズ1が集光する赤外光を遮ると同時に、画像補正器7が画像補正のための補正データ(以下画像補データという)を設定(以下キャリブレーションという)できるような均一な赤外光を、赤外線検知器3上に放射するために使用される。
【0005】
次に、画像補正に関する以下の二つの基本的な考えを説明する。第一に通常、赤外線検知器3に使用されているような二次元赤外検知素子の検知画素の出力の大きさは、各々の検知画素の微妙な特性の違いにより、同じ温度の物体を撮像した場合でも、ほんの少しばらつく。このばらつきは、感度ばらつきと呼ばれ、表示画像のノイズの原因となる他、遠距離のため画面内の像が小さい目標を追跡する場合、ばらつきによって目標の認識が難しくなり見失うことがあるため、取り除く必要がある。感度ばらつきの画像補正データを設定する動作(以下感度キャリブレーションという。)と感度キャリブレーション後の感度ばらつきの画像補正(以下感度補正という。)について示したのが図9である。図中、27はある画素aの出力特性のラインa、28はそれとは別の画素bの出力特性のラインb、29は温度アで補正をかけた画素aの出力特性ラインaa、30は温度アで補正をかけた画素bの出力特性ラインbb、31は補正によりそろえられる各画素の出力ラインcである。通常、ラインc31には全検知画素出力特性の平均等が使用される。画像補正器7は各々の画素の出力をラインc31の傾きにあわせるための画素対応の温度の関数として、ラインa27及びラインb28など各検知画素出力特性データの傾きを、あらかじめ内部のメモリに保持している。画像補正器7は、例えば温度アで補正をかける場合、まず補正がかけられた温度アで各画素の出力をラインc31に一致させるように、ラインa27の出力イ及びラインb28の出力ウに等に相当する全検知画素出力の平均値をラインc31のエに一致させるようにラインa27とラインb28から所要の温度に依然しない一定値を加算もしくは減算してラインaa29及びラインbb30を算出する。次にこのラインaa29とラインbb30をメモリに保持されている各画素ごとの関数にかけて各画素の出力を補正出力ラインc31にのせるよう操作し、上記一定値を上記メモリに画像補正データとして記憶する。この際、各々の画素への入力が一定の温度でないと、補正ラインc31にのせるための加算や減算がうまく行かず、補正むらができてしまう。画像補正用シャッタ2は感度キャリブレーション時に、赤外線の光路を遮り画像補正用シャッタ2自身の温度を赤外線検知器3に放射することで、各画素の検知する温度を一定にするために使用される。画像補正器7は画像補正用シャッタ2により赤外線検知器3に均一な温度の赤外線が放射される状態において、むらのない画像補正が可能になる。また、感度キャリブレーション終了後、画像補正器7は、上記メモリに記憶された上記画像補正データと上記各画素ごとの関数により各画素ごとに出力される輝度の補正をかけることによって感度補正を行っていく。
【0006】
上記が、二次元赤外検知素子の感度補正による画像補正の基本的な考え方である。第二に、実際の赤外線撮像装置では、赤外レンズ1の結像能力によって、像の中心部と端の部分で集められるエネルギーの差が表示画像上に現れることがある。図10は目標の発する光をレンズを通し集光する様子を簡単に示した図である。32はレンズの正面に置かれた目標A、33は斜め前に置かれた目標B、34はレンズ、35は結像面、36は目標Aから発する光束AA、37は目標Bから発する光束BBである。今、目標A32と目標B33は同じ大きさ、同じ温度でありレンズ34との位置関係のみが図10に示すとおり異なっているとする。この場合、光束AA36に比べ光束BB37はレンズ34に入射する幅が狭く、一定の温度面を撮像しているのにもかかわらず結像面35でのエネルギー量は均一にならない。図11にはこのようなエネルギーの不均一が実際にどのような画像に見えるかのディスプレイ上の中間値画像の一例を示してある。今、目標A32は目標B33と温度が同じなので、上記のようなエネルギーの不均一がなければ、同じ明るさに写るはずである。しかしながら画面上では、エネルギーの不均一の影響で目標A32のほうが明るく、目標B33のほうが暗く写る。実際の赤外線撮像装置におけるこのようなエネルギーの不均一の原因としては、このほかにもレンズや他の光学系要素自体から発する赤外光などもあげられ、通常それらを全て含めてレンズシェーディングと呼ぶ(以下シェーディングという。)。従来の赤外線撮像装置では、このようなシェーディングを補正しようとした場合、比較的温度が均一と思われるもの(例えば「空」など)に視軸を向け、レンズのピントをぼかした状態で、かつ補正用のシャッタを閉じずにキャリブレーションを行う方法がある。これは、上記感度キャリブレーション時にピントをぼかした状態のシェーディングによる検知画素の出力の不均一も含めて出力ラインc31からの差分を測定することで、出力ラインc31にのせるために加算もしくは減算される感度補正用の画像補正データに上記差分を含めるためである。また、ピントをずらすのは、ピントがあった状態では赤外線検知器3上に結像された赤外像が画像補正むらの原因になるためである。この画像補正データを設定する動作をデフォーカスキャリブレーションというが、この他にシェーディングを補正するキャリブレーション方法としてレンズの前にシャッタを配置して行う方法があるが、シャッタと赤外線検知器3との間で温度差があると、これも補正むらの原因となるため、この外界を写しながら行うデフォーカスキャリブレーションが、最も出力画像を綺麗に整えるキャリブレーション手段とされている。また、キャリブレーション終了後は、上記感度補正と同様に上記メモリに記憶されるデフォーカスキャリブレーションによる画像補正データと上記各画素ごとの関数により各画素ごとに出力される輝度の補正をかけることによって画像補正を行っていく。
【0007】
このように、従来の赤外線撮像装置では、キャリブレーションを行い出力画像を整えるのだが、撮像を続けていると、徐々に画像が見にくくなるという現象が起こる。これはキャリブレーションの際に使用した画像補正器7の画素対応の関数が、実際の画素の特性と部分的に違っているため、撮像している外界や装置の温度変化により、画像補正がずれてしまったり、または環境の温度変化によりシェーディングの量が変わってしまったりするためである。このような場合、従来の装置では、運用中の温度状態にあわせたキャリブレーションを何度もやり直すことで、画像の補正状態を修正していた。
【0008】
【発明が解決しようとする課題】
上記のように、キャリブレーションは二次元赤外線検知素子を使用した赤外線撮像装置にとって、無くてはならない機能であるのだが、通常、画像の状態の把握は定量的に行えずに、表示される画面を見ている使用者の主観によってしまい、そのためキャリブレーションは使用者からの指令によって行われている。このため、使用者の練度によって、赤外線撮像装置の出力する画像の品質が著しく異なるという問題があった。
【0009】
また、温度に代表される装置使用環境の変化が激しい、例えば航空機に搭載する赤外線撮像装置については、安定した温度環境下で使われるものより、頻繁にキャリブレーションを行う必要がある。しかし、状況に応じて、デフォーカスキャリブレーションやシャッタを利用したキャリブレーションを行うのは操作が複雑で、特に戦闘機のパイロットが使用者の場合などには、他の装置の操作を行いながら、画像の状態を判断しキャリブレーションの指令を行う必要があるため、キャリブレーション操作が使用者の負担になるという問題があった。
【0010】
この発明は、かかる課題を解消するためになされたものであり、どのような練度の使用者が使用しても出力する画像品質が安定し、またキャリブレーション操作が使用者の負担にならないよう、キャリブレーションを行うタイミングを自動生成し、自動でキャリブレーションを行う赤外線撮像装置を得ることを目的としている。
【0011】
【課題を解決するための手段】
この第一の発明にかかる赤外線撮像装置は、赤外レンズにより集光された赤外光を遮断する遮断手段と、上記遮断手段により赤外光が遮断されている間の画像信号から赤外線検知器の出力のばらつきを各画素ごとに求めた輝度の偏差の平均値を求めることによって測定する感度ばらつき測定手段と、上記感度ばらつき測定手段による出力のばらつきの測定をあらかじめ設定された時間毎に行う手段、上記感度ばらつき測定手段により測定された出力のばらつきからキャリブレーションを行うための指令信号を生成する手段から成る制御手段とを備えたことにより、素子感度の補正ずれの状態を撮像中に定量的に把握してキャリブレーションを行うタイミングを生成し、自動でキャリブレーションを行えるようにしたものである。
【0012】
また、この第二の発明にかかる赤外線撮像装置は、赤外レンズにより集光される前の赤外光を遮断する第一の遮断手段と、赤外レンズにより集光された赤外光を遮断する第二の遮断手段と、第一の遮断手段により赤外光が遮断されている間のデジタル画像信号から赤外レンズの放射する赤外光により生ずる上記赤外線検知器の出力の分布を画面内の部分から成る領域ごとの輝度の平均値の分布を求めて測定するシェーディング測定手段と、第二の遮断手段により赤外光が遮断されている間の上記画像信号から上記赤外線検知器の出力のばらつきを各画素ごとに求めた輝度の偏差の平均値を求めることによって測定する感度ばらつき測定手段と、上記シェーディング測定手段による出力信号の分布測定と上記感度ばらつき測定手段による出力のばらつきの測定を交互に行う手段、上記シェーディング測定手段により測定された出力の分布と上記感度ばらつき測定手段により測定された出力のばらつきからキャリブレーションを行うための指令信号を生成する手段から成る制御手段とを備えたことで、素子感度の補正ずれの状態及びシェーディングの補正ずれの状態を撮像中に定量的に把握してキャリブレーションを行うタイミングを生成し、自動でキャリブレーションを行えるようにしたものである。
【0013】
また、この第三の発明にかかる赤外線撮像装置は、赤外レンズにより集光される前の赤外光を一画面出力単位時間遮断する第一の遮断手段と、赤外レンズにより集光された赤外光を一画面出力単位時間遮断する第二の遮断手段と、第一の遮断手段により赤外光が遮断されている間のデジタル画像信号から上記赤外レンズの放射する赤外光により生ずる出力信号の分布を測定するシェーディング測定手段と、第二の遮断手段により赤外光が遮断されている間の画像信号から赤外線検知器の出力のばらつきを測定する感度ばらつき測定手段と、上記シェーディング測定手段による出力信号の分布測定と上記感度ばらつき測定手段による出力のばらつきの測定を交互に行うよう制御する手段と、上記シェーディング測定手段により測定された出力信号の分布と上記感度ばらつき測定手段により測定された出力のばらつきからキャリブレーションをしなおすための指令信号を生成する手段とから成る制御手段と、上記制御手段が指令信号を生成する際に上記シェーディング測定手段と上記感度ばらつき測定手段の測定結果を利用し段階的に幾つかのキャリブレーションの実施を制御する制御手段を備えたことで、素子感度の補正ずれの状態及びシェーディングの補正ずれの状態を撮像中に定量的に把握してキャリブレーションを行うタイミングを生成するとともに、キャリブレーションの成否を判断し段階的なキャリブレーションを自動で行えるようにしたものである。
【0014】
また、この第四の発明にかかる赤外線撮像装置は、赤外レンズにより集光された赤外光をキャリブレーションの間遮断する遮断手段と、補正回路の補正した画面の画像信号から画面内の輝度の偏差の平均値を測定する感度ばらつき測定手段と、上記感度ばらつき測定手段により測定された輝度の偏差の平均値から時間に対する上記輝度の偏差の平均値の傾きを測定する手段、上記変化の傾きに一つ前のキャリブレーションを実施した時から経過した時間をかけて輝度の偏差の平均値の増加量を推測することによってキャリブレーションを行うための指令信号を生成する手段とから成る感度ばらつき変化測定手段を具備したことで、画面の輝度ばらつきの状態とその変化を定量的に測定し、その値からキャリブレーションを行うタイミングを生成して、自動でキャリブレーションを行えるようにしたものである。
【0015】
また、この第五の発明にかかる赤外線撮像装置は、赤外レンズにより集光される前の赤外光をキャリブレーションの間遮断する第一の遮断手段と、上記赤外レンズにより集光された赤外光をキャリブレーションの間遮断する第二の遮断手段と、上記補正回路の補正した画面の画像信号から画面内の輝度の偏差の平均値を測定する感度ばらつき測定手段と、上記感度ばらつき測定手段により測定された輝度の偏差の平均値から時間に対する上記輝度の偏差の平均値の傾きを測定する感度ばらつき変化測定手段と、上記補正回路の補正した画面の画像信号から画面内の位置ごとの輝度の平均を測定する上記シェーディング測定手段と、上記シェーディング測定手段により測定された画面内の位置ごとの輝度の平均からその時間に対する傾きを測定するシェーディング変化測定手段と、上記シェーディング測定手段と上記シェーディング変化測定手段の測定した上記偏差の平均値の傾きと画面内の位置ごとの輝度の平均の傾き及び一つ前のキャリブレーション実施時から経過した時間とからキャリブレーションをしなおすための指令信号を生成する制御手段とを備えたことで、画面の輝度ばらつきの状態とその変化及び画面のシェーディングの状態とその変化を定量的に測定し、それらの値からキャリブレーションを行うタイミングを生成して、自動でキャリブレーションを行えるようにしたものである。
【0016】
また、この第六の発明にかかる赤外線撮像装置は、赤外レンズにより集光された赤外光をキャリブレーションの間遮断する遮断手段と、補正回路の補正した画面の画像信号から画面内の輝度の偏差の平均値を測定する感度ばらつき測定手段と、上記感度ばらつき測定手段により測定された輝度の偏差の平均値からその時間変化を測定する感度ばらつき変化測定手段と、上記補正回路の補正した画面の画像信号から常に画面内の部分ごとの輝度の平均を測定するシェーディング測定手段と、上記シェーディング測定手段により測定された画面内の位置ごとの輝度からその時間に対する傾きを測定するシェーディング変化測定手段と、第二の測定手段の測定したばらつきの時間変化と一つ前のキャリブレーション時から経過した時間とからキャリブレーションを行うための指令信号を生成する制御手段と、上記シェーディング変化測定手段の測定した画面内の部分ごとの輝度の平均の傾きと前回画像補正用のデータを取得した時から経過した時間とから画面内の部分ごとの輝度の補正量を定める補正量設定手段とを備えたことにより、画面の輝度ばらつきの状態とその変化を定量的に測定し、それらの値からキャリブレーションを行うタイミングを生成して、自動でキャリブレーションを行えるようにするとともに、画面のシェーディングの状態とその変化を定量的に測定することで補正する量を定め、シェーディングをキャリブレーションを行わずに補正できるようにしたものである。
【0017】
また、この第七の発明にかかる赤外線撮像装置は、赤外レンズにより集光された赤外光をキャリブレーションの間遮断する遮断手段と、補正回路の補正した画面の画像信号から常に画面内の輝度のばらつきを測定する感度ばらつき測定手段と、上記感度ばらつき測定手段により測定された輝度のばらつきからその時間変化を測定する感度ばらつき変化測定手段と、上記感度ばらつき変化測定手段の測定したばらつきの時間変化と前回キャリブレーション時から経過した時間とからキャリブレーションをしなおすための指令信号を生成する制御手段と、上記赤外レンズの温度を測定する温度測定手段と、温度測定手段により測定された温度と一つ前にキャリブレーションを実施したときから経過した時間とから温度差を測定する温度差測定手段と、上記温度差測定手段の測定した温度変化量から画面内の部分ごとの輝度の補正量を定める補正量設定手段とを備えたことにより、画面の輝度ばらつきの状態とその変化を定量的に測定し、それらの値からキャリブレーションを行うタイミングを生成するとともに、光学系の温度とその変化を定量的に測定しかつそれによってシェーディングの補正量を定め、シェーディングをキャリブレーションを行わずに補正できるようにしたものである。
【0018】
また、この第八の発明にかかる赤外線撮像装置は、上記第一、四、六、七の発明における赤外線撮像装置において、上記補正回路の出力する画像信号を記憶する手段、上記第一の遮断手段により赤外光が遮断されている間は上記記憶する手段から1フレーム前の画像信号を出力する記憶出力手段とを備えたものである。
【0019】
さらにまた、この第九の発明にかかる赤外線撮像装置は、上記第二、三、五の発明における赤外線撮像装置において、上記補正回路の出力する画像信号を記憶する手段、上記第一、第二の遮断手段により赤外光が遮断されている間は上記記憶手段から1フレーム前の画像信号を出力する手段から成る記憶出力手段とを備えたものである。
【0020】
【発明の実施の形態】
実施の形態1.
図1は実施の形態1による赤外線撮像装置の構成を示すブロック図である。図1において、12は画像補正用シャッタA、13は画像補正器A、14は感度ばらつき測定器である。それ以外は従来の装置と同一である。
【0021】
次に動作について説明する。通常、赤外レンズ1より入射した目標物体及びその背景からの赤外光は、従来と同じ動作で画像補正器A13内に設置される画像補正器7で画像補正された後、D/A変換され出力映像信号10として外部機器に出力される。出力映像信号10は1秒間に30画面(フレーム)分の直列の信号であり、60分の1秒ごとに、奇数番目の水平ラインの集まった画面(オッドフィールド)と偶数番目の水平ラインの集まった画面(イーブンフィールド)を交互に出力することで、1つの画面を出力する。画像補正用シャッタA12には通常写真のカメラに使用されるような反応の早いものを使用し(従来の画像補正用シャッタは反応速度が秒単位程度に遅いものであった。)、例えば一画面出力単位時間である1フレームに対応する30分の1秒間、外界から赤外レンズ1をとおして赤外線検知器3に集光される赤外光を遮断できるようにした。撮像制御器9は例えば30秒に一度程度、画像補正用シャッタA12に1フレームの赤外光遮断の指令を出すとともに画像補正器A13に赤外光遮断の指令を伝える。画像補正器A13は内部に画像補正器7と出力切換スイッチ13aとフレームメモリ13bをもち、赤外光の遮断の指令を受けることで出力切換スイッチ13aをキの側に切り換える。出力切換スイッチ13aがキの側に切り換えられると、フレームメモリ13bのデータは更新されず結果として後段のD/A変換器8に一つ前と同じフレームの画像データが送られる。赤外光が遮断されている間、画像補正器7の出力する画像データは出力切換スイッチ13aのキをとおし感度ばらつき測定器14に送られる。感度ばらつき測定器14は内部に各画素に対応するフレームメモリ14a、標準偏差測定器14b及び標準偏差記憶器14cを持っており、感度ばらつきを測定する。また、撮像制御器9からあらかじめ設定された時間後に自動的に、あるいは赤外光の遮断解除の指令が出力されて、上記出力切換スイッチ13aがオの側に切り換って画像補正器7から出力される画像データはD/A変換器8に出力される。
【0022】
図12は感度ばらつき測定動作の概要を示す図である。図中、38は画像補正器A13から入力されフレームメモリ14aに記憶される画像データを、39は標準偏差測定器14bにより設定されるばらつきを測定するゲートを、40は感度ばらつき測定部14内で計測され標準偏差記憶器14cに記憶される感度ばらつきを示している。感度ばらつき測定器14では画像データ38が入力されると、ばらつき測定ゲート39をX方向及びY方向に順に動かすことで、フレームメモリ14aのアドレスを指定する。フレームメモリ14aは指定されたアドレスのデータを標準偏差測定器14bに出力、標準偏差測定器14bは”数1”に従いゲート内の輝度の標準偏差をデジタル計算処理によって求めて感度ばらつきを測定する。
なお、上記輝度の標準偏差のかわりにゲート内の輝度の差分の絶対値の平均を使って感度ばらつきを測定してもよい。
【0023】
【数1】
【0024】
測定された輝度の標準偏差は標準偏差記憶器14c内の対応箇所に記憶される。感度ばらつき測定器14に入力される画像データは、画像補正用シャッタA12が閉じ、外界からの赤外光が遮断されている状態の画像なので、画像補正が全くずれていない場合、測定された各ゲート内の輝度のばらつきのデータは0になり、輝度の偏差は観測されない。つまり、仮にゲート内で偏差が観測されれば、それが画像補正ずれであるといえる。1画面分の各ゲート内の輝度の標準偏差の測定が完了した時点で、感度ばらつき測定器14は標準偏差記憶器14c内の輝度の標準偏差の平均値を求める。この値が例えばあらかじめ記憶された前回のキャリブレーション直後の平均値の3倍(直後の平均値をσとすると3σになる)をこえたところで(あるいは、直後の平均値とあらかじめ設定した値との和をこえたところで)、感度ばらつき判定器14dは補正ずれが発生していると判断し、画像補正用シャッタA12を閉じた状態でキャリブレーションを行うよう画像補正指令信号11を撮像制御器9に出力する。また、撮像制御器9は画像補正指令信号11を受けて画像補正器7にキャリブレーション指令を送り、キャリブレーション終了直後、感度ばらつき判定器14dは新たに輝度の標準偏差の平均値σを記憶保持し、画像補正用シャッタA12が開く。
【0025】
従来の装置では、撮像中に素子感度の補正ずれを測定する手段をもたなかったため、キャリブレーションは表示される画面を見ているオペレータの主観によって行われていた。この発明では素子感度の補正ずれの状態を撮像中に定量的に把握する手段を従来の装置に付加し、従来使用者が主観に基づき行っていたキャリブレーション指令を自動生成することで、自動でキャリブレーションを行えるようにし、結果として安定した映像品質の赤外線画像を出力できるようにしている。また、統計的手法を用いたデジタル計算処理を行う簡単な回路構成により、複雑な回路による構成要素を使わずに感度ばらつきを測定することができる。
【0026】
実施の形態2.
図2はこの発明の実施の形態2を示すブロック図である。図において、13cは画像補正器AA、15は画像補正用シャッタB、16はシェーディング量測定器である。それ以外で、12から14は実施の形態1と、他は従来の装置と同一である。
【0027】
次に動作の説明をする。本実施の形態2においても通常の撮像動作は、従来の装置と同じである。本実施の形態における画像補正用シャッタB15は、赤外レンズ1に入射される赤外光を遮断するために赤外レンズ1の手前におく。なお、反応速度は画像補正用シャッタAと同じ程度のものを使用している。撮像制御器9は例えば15秒に一度程度ずつ交互に画像補正用シャッタA12と画像補正用シャッタB15に1フレームの赤外光遮断の指令を出すとともに画像補正器AA13cに赤外画像が遮断されることを伝える。画像補正器AA13cは、画像補正器A13について、出力切換を3系統にかえた出力切換スイッチA13dに変更したもので、画像補正用シャッタAが閉じた場合は感度ばらつき測定器14に、画像補正用シャッタBが閉じたときはシェーディング量測定器16に画像データを出力する。シェーディング量測定器16は感度ばらつき測定器14と同じような構成で、フレームメモリとシェーディング判定器を持っており、画面の部分ごとのシェーディング量を測定する。図13はシェーディング量測定動作の概要を示す図である。シェーディング量測定器16は入力された1画面分のデータを図13のように例えば48の領域に分割し、各々の領域の画像データの平均値を求める。シェーディング量測定器16に入力される画像データは、画像補正用シャッタB15が閉じ、外界からの赤外光が遮断されている状態の画面なので、シェーディングが無い場合、各々の領域の輝度の平均値の差はない。すなわちこの各々の領域の平均値に差があれば、それはシェーディングによるものといえる。図14にシェーディング補正できている場合とできていない場合の各々の領域の輝度の平均値の分布を示している。図中、42は補正できている場合の分布、43は補正できていない場合の分布である。図14に示すとおり、補正できている場合は、分布の幅は狭く、できていない場合は分布の幅は広くなる。シェーディング量測定器16は各々の領域の輝度の平均値から最大値と最小値を求めることで、分布の幅を測定し、それが例えば前回のキャリブレーション直後の平均値βから3倍(3β)をこえたところで(あるいは直後の平均値とあらかじめ設定した値との和をこえたところで)シェーディング測定器16のシェーディング判定器が画像補正用シャッタB15を閉じた状態でキャリブレーション(例えばデフォーカスキャリブレーション)を行う画像補正指令信号11を撮像制御部9に出力する。また感度ばらつき測定器14は実施の形態1と同様の動作で感度ばらつきを検出した場合、画像補正用シャッタA12を閉じた状態でキャリブレーションを行う画像補正指令信号11を撮像制御部9に出力する。撮像制御部9は画像補正指令信号11を受けて画像補正器7にキャリブレーション指令を送り、キャリブレーション終了直後、感度ばらつき測定器14は新たに輝度の標準偏差の平均値αを記憶保持し、画像補正用シャッタA12が開き、またはシェーディング量測定器16は新たに輝度の平均値の分布の幅βを記憶保持し、画像補正用シャッタB15が開く。
【0028】
従来の装置では、撮像中にシェーディングの補正ずれを測定する手段をもたなかったため、キャリブレーションは表示される画面を見ているオペレータの主観によって行われていた。この発明では素子感度の補正ずれの状態を撮像中に定量的に把握する手段及びシェーディングの補正ずれの状態を撮像中に定量的に把握する手段を従来の装置に付加し、従来使用者が主観に基づき行っていたキャリブレーション指令を自動生成することで、レンズシェーディング補正を含めた自動でのキャリブレーションを行えるようにし、結果として安定した映像品質の赤外線画像を出力できるようにしている。
【0029】
実施の形態3.
図3はこの発明の実施の形態3を示すブロック図である。図において、17は補正状態判定器である。それ以外は、実施の形態2と同一である。
【0030】
次に動作について説明する。本実施の形態3において、撮像動作及び感度ばらつき、シェーディングの量の測定動作は実施の形態2と全く同じである。本形態においては、補正状態判定器17がキャリブレーション状態を判定し、内部にもつプログラムに基づき3種類のキャリブレーションをシーケンシャルに行えるようにしている。図15にキャリブレーション制御の流れ図を示す。補正状態判定器17は感度ばらつき測定器14もしくはシェーディング量測定器16からキャリブレーション要求を受けると、キャリブレーション実行状態となり、撮像制御器9に赤外レンズ1のピントをずらす指令(デフォーカス指令)を出させる。ピントが充分にずれて、かつ二つの画像補正シャッタが開いた状態で画像補正器AA13cは第一のキャリブレーションを実施する(デフォーカスキャリブレーション)。デフォーカスキャリブレーションが終了した時点で、補正状態判定器17よりデフォーカスキャリブレーション終了指令を受けて撮像制御器9は赤外レンズ1のピントを元に戻して画像補正用シャッタB15を2フレーム分の時間閉じる。シャッタが閉じられたところで、画像補正器A13は感度ばらつき測定器14及びシェーディング量測定器16に出力を切り換え各々に1フレームずつの画像データを送る。感度ばらつき測定器14及びシェーディング量測定器16は感度ばらつき及びシェーディング量を測定し補正状態判定器17に結果を送る。補正状態判定器17は各々の結果が前回のキャリブレーション直後の測定値に対して許容範囲内であるか、あらかじめ設定されて内部のメモリに記憶されている値と比較し判定する。補正状態が許容範囲内であればデフォーカスキャリブレーションが正常に終了したとみなしキャリブレーション操作は終了する。補正状態が許容範囲外と判定された場合、補正状態判定器17は撮像制御器9に画像補正用シャッタB15のみを閉じた状態の第二のキャリブレーション(レンズシェーディングキャリブレーション)を要求する。レンズシェーディングキャリブレーションが終了した時点で、撮像制御器9は画像補正用シャッタA12を1フレーム分の時間閉じる。シャッタが閉じられたところで、画像補正器AA13cは感度ばらつき測定器14のみに画像データを送る。感度ばらつき測定器14は感度ばらつきを測定し、補正状態判定器17に結果を送る。補正状態判定器17は結果が前回のキャリブレーション直後のばらつきの測定値として許容範囲内であるか、あらかじめ設定されて内部のメモリに記憶されている値と比較し判定する。ここで補正状態が許容範囲内と判定された場合はキャリブレーションは終了し、感度ばらつきとシェーディングの測定値を記憶する。仮に許容範囲外と判定された場合は、画像補正用シャッタA12を閉じた状態の第三の感度キャリブレーションを行いキャリブレーションを終了し、感度ばらつきとシェーディングの測定値を記憶する。また、キャリブレーション終了時点で補正状態判定器17のキャリブレーション実行状態が解除される。
【0031】
従来の装置では、どの運用状態でどのキャリブレーションを行うか使用者の主観で決定しており、またキャリブレーションの後にシェーディングの補正ずれや、感度のばらつきを測定する手段をもたなかったため、画面に補正むらを残したままで装置が運用されることがあった。例えば、航空機に搭載された本発明の赤外線撮像装置が空や海等の均一な温度背景を撮像している場合、デフォーカスキャリブレーションを行うのが最もよいキャリブレーションであるが、背景の中に雲や太陽が入ってくることにより、赤外レンズ1のピントをずらしても背景が均一にならず、レンズシェーディングキャリブレーションを行う方がよい場合がある。また、レンズシェーディングキャリブレーションを行う場合は、赤外レンズ1と画像補正用シャッタB15との間に温度差があってレンズシェーディングキャリブレーションがうまく行かないことがあるので、この時は感度キャリブレーションを行う。このように使用者は状況に応じてキャリブレーション方法を選定する必要がある。本発明ではキャリブレーションの成否を判断する手段を付け加えることで、3種類のキャリブレーション指令をシーケンシャルに発生させることが可能となり、これにより運用状態における最も有効なキャリブレーションが自動的に選択されるようになるため、結果として安定した映像品質の赤外線画像を出力できる。
【0032】
実施の形態4.
図4はこの発明の実施の形態4を示すブロック図である。図中、18は感度ばらつき変化測定器である。それ以外で、14と13は実施の形態1と、他は従来の装置と同一である。
【0033】
次に動作について説明する。通常の撮像動作に関しては従来の装置と同等であるが、本実施の形態では、環境の温度変化が小さく画面内の輝度に大きな影響を与えないような場合を想定している。また、本実施の形態においては、感度ばらつき測定器14は常に画像補正器13からデータを受け、実施の形態1と同様の操作で画面全体の各ゲート内の標準偏差を測定し、その平均値を感度ばらつき変化測定器18に出力する。従来の装置では、正常にキャリブレーションが終了した後、温度環境等の変化状態にもよるが、30分程度ごとにはキャリブレーションをやりなおしており、経験的にキャリブレーション直後10分程度は出力される画像の状態は良好であるといえる。感度ばらつき変化測定器18は、感度キャリブレーション実施後のあらかじめ設定された時間、例えば10分間程度、感度ばらつき測定器14から受けた標準偏差の平均値のデータを内部のメモリに蓄える。データが蓄積された時点で、感度ばらつき変化測定器18は”数2”によりばらつきの時間的な変化量を求める。
【0034】
【数2】
【0035】
図16は感度ばらつきの平均値と時間の関係を示したグラフである。図中、44は測定された感度ばらつき平均値のライン、45は求められるばらつきの時間的な変化のラインである。赤外線撮像装置がほぼ同じような画面を写し続けているとすると、感度キャリブレーション直後に見られる輝度のばらつきの大きさは、画面の持つ輝度のばらつきの固有値Cであると考えられる。当然、赤外線撮像装置の撮像対象が変化するにつれ画面の輝度のばらつきも変わるが、もし補正の劣化が起こらないのであれば、測定値は固有値Cを中心にDの幅をもって観測される。ところが実際は時間の経過に伴い補正ずれが発生し徐々に大きくなるので、図16に示すように輝度のばらつきの各ゲート内の標準偏差の平均値は増大する。感度ばらつき変化測定器18は”数2”によって感度ばらつきの単位時間あたりの変化量を求め、その値に感度キャリブレーションしてからの経過時間をかけることで、例えば、感度キャリブレーション後10分経過後の或時点での感度ばらつきの増加量を推測し、その値が感度キャリブレーションの直後の輝度ばらつきの各ゲート内の標準偏差の平均値の3倍(3σ)をこえた時点で、撮像制御器9に画像補正指令信号11を出力する。
なお、本実施の形態における画像補正器は、従来の装置の画像補正器7と同様にフレームメモリを持たず、画像補正用シャッタ2が閉じている間に画像補正用シャッタ2の像を外部機器に出力するものであってもよい。
【0036】
従来の装置では、感度キャリブレーションの後に継続して、画面の輝度のばらつきとその変化量を測定する手段をもたなかったため、感度キャリブレーションは表示される画面を見ているオペレータの主観によって行われていた。また、実施の形態1では外界から入射される赤外光を遮断するため、非常に短い時間ではあるが一定間隔で画像がとぎれてしまい、目標の検出や追尾を行う場合に複雑な信号処理が必要となる。本発明では画面の輝度ばらつきの状態とその変化を定量的に測定する手段を従来の装置に付加し、従来使用者が主観に基づき行っていたキャリブレーション指令を自動生成することで、自動で感度キャリブレーションを行えるようにするとともに、キャリブレーション後あらかじめ定められた時間経過後は、画像のとぎれをなくし、結果として安定した映像品質の赤外線画像を出力するとともに、後段で目標検出や追尾などをするために都合のよい画像を出力している。
【0037】
実施の形態5.
図5はこの発明の実施の形態5を示すブロック図である。図において19は画像補正用シャッタC、20はシェーディング量変化測定器、13cは実施の形態2と同一である。それ以外は実施の形態4と同一である。
【0038】
次に動作について説明する。実施の形態5について、通常の撮像動作及び感度ばらつき変化測定器によるキャリブレーション要求までは実施の形態4と同じであり、環境の温度変化が小さい場合を想定している。画像補正用シャッタC19は従来の装置に使用されている画像補正用シャッタ2と同程度の反応速度のもので、レンズシェーディングキャリブレーションの際に、外界の赤外光を遮断することのみを目標としている。この画像補正用シャッタC19は、赤外線撮像装置に視軸駆動機構がついていて、撮像装置を格納する機能がある場合などは、それを持って代用することもある。シェーディング量測定器16は常に画像補正器7からデータを受け、実施の形態2と同様に例えば48に分割された各々の領域の輝度の平均値を測定する。シェーディング量変化測定器20は感度ばらつき変化測定器18と同様にキャリブレーション後あらかじめ設定された時間、例えば10分間はシェーディング量測定器16の測定した輝度の平均値を、画面の中心からの距離に応じて図17のようにまとめ直し、この領域ごとの平均値として内部のメモリに蓄積する。また例えば10分経過後は各々の領域について”数3”に基づき輝度平均値の時間変化量を求める。
【0039】
【数3】
【0040】
図18は図17で示した領域Aと領域Eの輝度の平均値と時間の関係を示したグラフである。図中、46は領域Aで測定された輝度の平均値のライン、47は領域Eで測定された輝度の平均値のライン、48は領域Aで求められる輝度平均値の時間的な変化のライン、49は領域Eで求められる輝度平均値の時間的な変化のラインである。赤外線撮像装置がほぼ同じような画面を写し続けているとすると、キャリブレーション直後に見られる輝度の平均値の大きさは、画面の輝度の固有値Cであると考えられる。当然、赤外線撮像装置の撮像対象が変化するにつれ画面の輝度ばらつきも変わるが、もし補正の劣化が起こらないのであれば、測定値は固有値Cを中心にDの幅をもって観測される。ところが実際は時間の経過に伴いシェーディング量が変化するため、図18に示すように輝度の平均値は変化する。シェーディング量変化測定器20は”数3”によって領域ごとの輝度の単位時間あたりの変化量を求め、その値にキャリブレーションしてからの経過時間をかけることで、現時点の領域ごとの輝度の変化量を推測し、その値の最大値と最小値の差が、例えば前回のキャリブレーション直後の各々の領域の輝度の平均値の3倍(3σ)を越えた時点で(あるいは、直後の平均値とあらかじめ設定した値との和を越えたところで)、撮像補正用シャッタCを閉じた状態でレンズシェーディングキャリブレーションを行う画像補正指令信号11を撮像制御器9に出力する。また、感度ばらつき変化測定器18は実施の形態4と同様要領で画像補正用シャッタ2を閉じた状態で感度キャリブレーションを行う画像補正指令信号11を撮像制御器9に出力する。
なお、本実施の形態における画像補正器は、従来の装置の画像補正器7と同様にフレームメモリを持たず、画像補正用シャッタ2が閉じている間に画像補正用シャッタ2の像を外部機器に出力するものであってもよい。
【0041】
従来の装置では、キャリブレーションの後に継続して、画面のシェーディングとその変化量を測定する手段をもたなかったため、キャリブレーションは表示される画面を見ているオペレータの主観によって行われる。また、実施の形態2では外界から入射される赤外光を遮断するため、非常に短い時間ではあるが一定間隔で画像がとぎれてしまい、目標の検出や追尾を行う場合に複雑な信号処理が必要となる。本発明では画面の輝度ばらつきの状態とその変化を定量的に測定する手段及び画面のシェーディングの状態とその変化を定量的に測定する手段を従来の装置に付加し、従来使用者が主観に基づき行っていたキャリブレーション指令を自動生成することで、レンズシェーディング補正を含めた自動でのキャリブレーションを行えるようにするとともに、キャリブレーション後あらかじめ設定された時間経過後は、画像のとぎれをなくし、結果として安定した映像品質の赤外線画像を出力するとともに、後段で目標検出や追尾などをするために都合のよい画像を出力している。
【0042】
実施の形態6.
図6はこの発明の実施の形態6を示すブロック図である。図において21は画像補正器B、22はシェーディング補正量設定器Aである。それ以外は実施の形態5と同一である。
【0043】
次に動作について説明する。実施の形態6について、赤外レンズ1からA/D変換器6までの動作と感度ばらつき変化測定器18によるキャリブレーション要求は実施の形態4と同じである。画像補正器B21は感度キャリブレーションにより事前に感度ばらつきが補正された画像データを感度ばらつき測定器14に出力すると同時にシェーディング量測定器16に出力する。感度ばらつき測定器18は実施の形態5と同じ要領で画像補正用シャッタ2を閉じた状態で感度キャリブレーションを行う画像補正指令信号11を撮像制御器9に出力する。しかしながら、画像補正用シャッタ2は赤外レンズ1の内側にあるため、レンズシェーディングまで含めた、キャリブレーションは行えない。そのため、本実施の形態6では、シェーディングの補正をするための回路として、シェーディング補正量設定器A22を付加している。今、画像補正器B21によるキャリブレーション終了後、画像補正用シャッタ2を開いた状態で、例えば航空機に搭載された本発明の赤外線撮像装置において1フレーム間の画像の変化が小さい(ある一定領域の輝度の時間平均がほとんど変化しない)背景や目標を撮像している場合を考える。シェーディング補正量設定器A22はシェーディング量変化測定器20から、図17に示した5つの領域のキャリブレーション後からの輝度の変化量を受け、画面の中央からの距離に対応したシェーディングの補正量を定める。図19はシェーディング補正量設定器A22の補正量設定の概念図である。図中50から54はシェーディング量変化測定器20から得られる領域AからEの輝度の平均値の傾きに一つ前のキャリブレーション終了時からの経過時間をかけて求めた輝度の平均値の増加量を示すプロットであり、55は定められたシェーディングの補正量を示すシェーディングラインである。シェーディング補正量設定器A22は5つのプロットから適当な2次の曲線を求め、かつそれを輝度変化量0のラインについて反転させたラインをシェーディング補正量として画像補正器B21に出力する。画像補正器B21は感度ばらつきのみを補正した画面からシェーディング補正量を差し引いたデータをD/A変換器8にリアルタイムで送る。実施の形態2や実施の形態5ではレンズシェーディングをキャリブレーションで補正するために、レンズの前面シャッタを置くという、機構的な構成となっている。それに対し、本実施の形態6では、従来の赤外線撮像装置の機構的な構成をできるだけかえず、かつ前述のシェーディングキャリブレーションのように補正用の均一温度面でデータを取り込むという操作をせずに、電気的な信号処理でリアルタイムにレンズシェーディング補正を達成する。
また、シェーディング量変化測定器20から得られる輝度の変化量は画像補正用シャッタ2を開いた状態で得られるので、一定時間ごとに変化量を更新していけば補正の精度が高くなる。
【0044】
従来の装置では、キャリブレーションの後に継続して、画面のシェーディングとその変化量を測定し、その値から補正するシェーディング量を決める手段とを持たなかったため、レンズシェーディングをキャリブレーションで補正するしかなく、そのためにレンズの前面にシャッタを置くという機構的な構成が必要だった。本実施の形態6では、従来の赤外線撮像装置の機構的な構成をできるだけかえずに、電気的な信号処理回路を付加することでリアルタイムのレンズシェーディング補正を達成しているとともに、画面の輝度ばらつきの状態とその変化を定量的に測定する手段を従来の装置に付加し、従来使用者が主観に基づき行っていたキャリブレーション指令を自動生成することで、自動でキャリブレーションを行い、安定した映像品質の赤外線画像を出力する。
【0045】
実施の形態7.
図7はこの発明の実施の形態7を示すブロック図である。図において23は赤外レンズA、24は温度信号、25は温度変化測定器、26はシェーディング補正量設定器Bである。それ以外は実施の形態6と同一である。
【0046】
次に動作について説明する。実施の形態7について、通常の撮像動作と感度ばらつき変化測定器18によるキャリブレーション要求は実施の形態6と同じである。赤外レンズA23はレンズの鏡筒部分の温度を測定する温度モニタ58を持ち温度信号24を温度変化測定器25に送る。温度変化測定器25は前回のキャリブレーションしてからの順次入力される温度信号24から赤外レンズA23の温度差を測定しシェーディング補正量設定器B26に出力する。シェーディング補正量設定器B26は内部のメモリに赤外レンズA23の固有のレンズシェーディングの特性(例えば、温度差の4乗に比例して赤外線のエネルギー量が変化する。)を示すデータを保持している。図20はシェーディング補正量設定器B26の保持している上記データの1例を示す図である。図中、56は赤外レンズA23が温度差Aのときに持っているシェーディングライン、57は温度差Bのときに持っているシェーディングラインをそれぞれ示している。上記シェーディングラインは、輝度の増加量を使用する温度範囲内におけるレンズ鏡筒部分の温度差と画面中心からの距離の関数として表現したものである。上記内部のメモリ内には、例えばあらかじめシュミレーションや実験計測結果に基づいて離散化された上記シェーディングラインの節点が記憶されており、温度差に対応した所要のシェーディングラインを節点間を適度に補間することによって得ることができる。あるいは、上記内部のメモリ内に、上記シェーディングラインを多項式のような近似手段で表現した近似式の定数が記憶されており、温度差と画面中心からの距離から所要の輝度の増加量を出力することによってシェーディングラインを表現してもよい。シェーディング補正量設定器B26は図20に示すようなシェーディングラインから、画面中心からの位置ごとに温度変化に対応して、例えば温度差がBのときは、温度Bのシェーディングライン57を打ち消すように輝度の増加量を求め、シェーディングの補正量を決めて画像補正器B21に出力する。画像補正器B21は実施の形態6と同じ動作でD/A変換器8にシェーディング補正されたデータをリアルタイムで送り、出力映像信号10を出力する。実施の形態6では、画像データから各々の画素の補正量を定めていたため、画像を測定するための回路と、補正量を定める回路が必要であったが、本実施の形態7ではシェーディングが温度差に依存する性質を利用して温度を測定することにより、画像を測定する回路を無くすことができるため、少ない回路規模で同等の機能を達成できる。温度測定回路は熱電対と抵抗とトランジスタで構成できるのに対し、画像を測定する回路にはシェーディング量測定器16内のフレームメモリのような画像を記憶するための膨大なメモリと高速の演算装置が必要である。また、上記固有のレンズシェーディングの特性データに要するメモリは、温度特性を離散的に表現する代表的な幾つかの点を記憶する程度でよく、上記画像を記憶するための膨大なメモリよりは充分小さくなり、小型、軽量化がはかれる。
【0047】
従来の装置では、キャリブレーションの後に継続して光学系の温度とその変化量を測定し、その値から補正するシェーディング量を決める手段とを持たなかったため、レンズシェーディングをキャリブレーションで補正するしかなく、そのためにレンズの前面にシャッタを置く機構的な構成が必要であった。本実施の形態7では光学系の温度とその変化を定量的に測定する手段とレンズの特性データを保持している手段を付加することで、前述の実施の形態6よりも簡単な信号処理回路でリアルタイムのレンズシェーディング補正を達成している。また、画面の輝度ばらつきの状態とその変化を定量的に測定する手段を付加し、従来使用者が主観に基づき行っていたキャリブレーション指令を自動生成することで、自動でキャリブレーションを行い、安定した映像品質の赤外線画像を出力する。
【0048】
実施の形態8.
この発明の実施の形態は、実施の形態1,2,4,5の感度ばらつき測定器において画像の補正ずれを定量的に検知した後、アラーム音や点滅光などの警告信号(または、目盛による警告表示)を発生するものである。これによって、使用者が画像の補正ずれを定量的に把握でき、画像補正器のキャリブレーションを手動で行うタイミングを得ることができる。
【0049】
実施の形態9.
この発明の実施の形態は、実施の形態2,4,8のシェーディング量測定器において画像の補正ずれを定量的に検知した後、アラーム音や点滅光などの警告信号(または、目盛による警告表示)を発生するものである。これによって、使用者が画像の補正ずれを定量的に把握でき、画像補正器のキャリブレーションを手動で行うタイミングを得ることができる。
【0050】
【発明の効果】
この第一の発明にかかる赤外線撮像装置は、素子感度の補正ずれの状態を撮像中に各画素ごとに求めた輝度の偏差の平均値を用いて定量的に把握する手段を従来の装置に付加したことで、従来使用者が主観に基づきおこなっていたキャリブレーション指令を生成して、キャリブレーションを行うことができる。これによって操作が簡単でありながら、素子感度の補正ずれやシェーディングの補正ずれによる性能劣化が少なく、使用者がキャリブレーション操作に煩わされることのない赤外線撮像装置を得ることができる。
【0051】
また、第二の発明によれば、素子感度の補正ずれの状態を撮像中に定量的に把握する手段及びシェーディングの補正ずれの状態を撮像中に画面内に分割された幾つかの領域内の輝度の平均値から全領域の輝度分布を求めて定量的に把握する手段を従来の装置に付加したことで、従来使用者が主観に基づきおこなっていたキャリブレーション指令を生成し、レンズシェーディング補正を含めた自動でのキャリブレーションが行える。
【0052】
また、第三の発明によれば、キャリブレーションの成否を判断する手段を付け加えることで、3種類のキャリブレーション指令をシェーディングに発生させることが可能となり、これにより運用状態における有効なキャリブレーションが自動的に選択され、実施される。これによって、最適なキャリブレーションをされた状態の画像を出力できる赤外線撮像装置を得ることができる。
【0053】
また、第四の発明によれば、画面の輝度ばらつきの状態とその変化を定量的に測定する手段を従来の装置に付加したことで、従来使用者が主観に基づき行っていたキャリブレーション指令を生成し、自動でキャリブレーションが行える。また、第一の発明では短時間の画像のとぎれが発生するが、後段で目標検出や追尾などの信号処理する場合に都合のよい画像を出力できる。これによって信号処理にも適した画像を出力する赤外線撮像装置を得ることができる。
【0054】
また、第五の発明によれば、画面の輝度ばらつきの状態とその変化を定量的に測定する手段及び画面のシェーディングの状態とその変化を定量的に測定する手段を従来の装置に付加したことで、従来使用者が主観に基づき行っていたキャリブレーション指令を生成し、レンズシェーディング補正を含めた自動でのキャリブレーションが行える。また、第二の発明で起きていた短時間の画像のとぎれをなくすことで、後段で目標検出や追尾などをする場合に都合のよい画像を出力できる。
【0055】
また、第六の発明によれば、画面のシェーディングの状態とその変化を定量的に測定し、かつそれによって補正する量を定める手段を付加したことでリアルタイムのレンズシェーディング補正を達成している。また、画面の輝度ばらつきの状態とその変化を定量的に測定する手段を従来の装置に付加したことで、従来使用者が主観に基づき行っていたキャリブレーション指令を生成し、自動でキャリブレーションを行える。これによってレンズシェーディングがリアルタイムに補正されることによりシェーディングの補正ずれによる性能劣化が少なく、従来の装置ほど頻繁にキャリブレーションが行われない赤外線撮像装置を得ることができる。
【0056】
さらにまた、第七の発明によれば、光学系の温度とその変化を定量的に測定する手段とレンズの特性データを保持している手段を付加したことで、第六の発明より簡単な回路でリアルタイムのレンズシェーディング補正を達成している。また、従来の装置ほど頻繁にキャリブレーションが行われない赤外線撮像装置をより小型軽量で得ることができる。
【図面の簡単な説明】
【図1】 この発明の実施の形態1の構成を示すブロック図である。
【図2】 この発明の実施の形態2の構成を示すブロック図である。
【図3】 この発明の実施の形態3の構成を示すブロック図である。
【図4】 この発明の実施の形態4の構成を示すブロック図である。
【図5】 この発明の実施の形態5の構成を示すブロック図である。
【図6】 この発明の実施の形態6の構成を示すブロック図である。
【図7】 この発明の実施の形態7の構成を示すブロック図である。
【図8】 従来の装置の構成を示すブロック図である。
【図9】 従来の装置のキャリブレーションの概要を示す図である。
【図10】 目標の発生する光をレンズを通し集光する様子を示す図である。
【図11】 シェーディング画像の一例を示すディスプレイ上の中間値画像である。
【図12】 感度ばらつき測定動作の概要を示す図である。
【図13】 シェーディング量測定動作の概要を示す図である。
【図14】 シェーディング補正状態による領域の輝度平均値の分布を示す図である。
【図15】 キャリブレーション制御の流れ図である。
【図16】 感度ばらつきの平均値と時間の関係を示した図である。
【図17】 輝度測定領域をまとめ直した様子を示す図である。
【図18】 輝度の平均値と時間の関係を示す図である。
【図19】 シェーディング補正量設定器A22のシェーディング補正量設定の概念図である。
【図20】 シェーディング補正量設定器B26のシェーディング補正量設定の概念図である。
【符号の説明】
1 赤外レンズ、2 画像補正用シャッタ、3 赤外線検知器、4 アンプ、5 サンプルホールド回路、6 A/D変換器、7 画像補正器、8 D/A変換器、9 撮像制御器、10 出力映像信号、11 画像補正指令信号、12 画像補正用シャッタA、13 画像補正器A、13a 出力切換スイッチ、13b フレームメモリ、13c 画像補正器AA、13d 出力切換スイッチA、14 感度ばらつき測定器、14a フレームメモリ、14b 標準偏差測定器、14c 標準偏差記憶器、14d 感度ばらつき判定器、15 画像補正用シャッタB、16 シェーディング量測定器、17 補正状態判定器、18 感度ばらつき変化測定器、19 画像補正用シャッタC、20 シェーディング量変化測定器、21 画像補正器B、22 シェーディング補正量設定A、23 赤外レンズA、24 温度信号、25 温度変換測定器、26 シェーディング補正量設定B、27 出力特性ラインa、28 出力特性ラインb、29 出力特性ラインaa、30 出力特性ラインbb、31 出力ラインc、32 目標A、33 目標B、34 レンズ、35 結像面、36 光束AA、37 光束BB、38 画像データ、39 ばらつき測定ゲート、40 計測された感度ばらつき、41 シェーディング測定領域、42 補正できている場合の輝度平均値の分布、43 補正できていない場合の輝度平均値の分布、44 測定された感度ばらつき平均値のライン、45 ばらつきの時間的変化のライン、46 領域Aの輝度平均値ライン、47 領域Eの輝度平均値ライン、48 領域Aの輝度平均値の時間変化ライン、49 領域Eの輝度平均値の時間変化ライン、50 領域Aのシェーディング変化量のプロット、51 領域Bのシェーディング変化量のプロット、52 領域Cのシェーディング変化量のプロット、53 領域Dのシェーディング変化量のプロット、54 領域Eのシェーディング変化量のプロット、55 シェーディング補正量を示すライン、56 温度Aの時の赤外レンズA23のシェーディングライン、57 温度Bの時の赤外レンズA23のシェーディングライン、58 温度モニタ。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an infrared imaging device that collects infrared light emitted from an object, photoelectrically converts it, and then outputs it as a video signal.
[0002]
[Prior art]
In general, a conventional infrared imaging device is mounted on an aircraft, a vehicle, a ship, or the like and used for nighttime monitoring.
[0003]
FIG. 8 is a block diagram of an example of a conventional infrared imaging apparatus of this type, where 1 is an infrared lens, 2 is an image correction shutter, 3 is an infrared detector having a two-dimensional infrared detection element, 4 is an amplifier, Is a sample and hold circuit, 6 is an A / D converter, 7 is an image corrector, 8 is a D / A converter, 9 is an imaging controller, 10 is an output video signal, and 11 is an image correction command signal.
[0004]
Next, the operation will be described. As an imaging operation of the target object, the
[0005]
Next, the following two basic ideas regarding image correction will be described. First, the size of the output of a detection pixel of a two-dimensional infrared detection element normally used in the
[0006]
The above is the basic concept of image correction by sensitivity correction of the two-dimensional infrared detection element. Secondly, in an actual infrared imaging device, a difference in energy collected between the center portion and the edge portion of the image may appear on the display image due to the imaging ability of the
[0007]
As described above, in the conventional infrared imaging device, the output image is adjusted by performing calibration. However, if the imaging is continued, a phenomenon that the image becomes gradually difficult to see occurs. This is because the pixel-corresponding function of the
[0008]
[Problems to be solved by the invention]
As mentioned above, calibration is an indispensable function for an infrared imaging device that uses a two-dimensional infrared detector, but usually the screen that is displayed without being able to grasp the state of the image quantitatively. The calibration is performed according to a command from the user. For this reason, there has been a problem that the quality of the image output from the infrared imaging device is remarkably different depending on the skill level of the user.
[0009]
In addition, for example, an infrared imaging device mounted on an aircraft in which the environment of use of the device represented by temperature is drastically changed needs to be calibrated more frequently than that used in a stable temperature environment. However, depending on the situation, it is complicated to perform defocus calibration and calibration using the shutter, especially when the fighter pilot is a user, while operating other devices, Since it is necessary to judge the state of the image and issue a calibration command, there is a problem in that the calibration operation becomes a burden on the user.
[0010]
The present invention has been made to solve such a problem. The image quality to be output is stable regardless of the degree of use by the user, and the calibration operation is not burdened by the user. An object of the present invention is to obtain an infrared imaging apparatus that automatically generates calibration timing and performs calibration automatically.
[0011]
[Means for Solving the Problems]
An infrared imaging device according to the first invention includes a blocking unit that blocks infrared light collected by an infrared lens, and an infrared detector from an image signal while the infrared light is blocked by the blocking unit. Sensitivity variation measuring means for measuring the output variation of each pixel by calculating an average value of luminance deviations, and means for measuring the output variation by the sensitivity variation measuring means at predetermined time intervals And a control means comprising means for generating a command signal for performing calibration from the output variation measured by the sensitivity variation measuring means, so that the state of correction of the element sensitivity can be quantitatively measured during imaging. The timing for performing the calibration based on the above is generated, and the calibration can be automatically performed.
[0012]
The infrared imaging device according to the second aspect of the invention is a first blocking means for blocking infrared light before being collected by the infrared lens, and blocks infrared light collected by the infrared lens. Distribution of the output of the infrared detector generated by the infrared light emitted by the infrared lens from the digital image signal while the infrared light is blocked by the first blocking means. Part in the screen Variation of the output of the infrared detector from the image signal while the infrared light is blocked by the second blocking means, and a shading measuring means for determining and measuring the distribution of the average value of the luminance for each region consisting of Sensitivity variation measuring means for measuring by obtaining an average value of luminance deviations determined for each pixel, output signal distribution measurement by the shading measuring means, and output variation measurement by the sensitivity variation measuring means are alternately performed. Means, and a control means comprising means for generating a command signal for performing calibration from the output distribution measured by the shading measuring means and the output dispersion measured by the sensitivity variation measuring means, The device sensitivity correction deviation state and the shading correction deviation state are quantitatively grasped and captured during imaging. Generates a timing of performing calibration, is obtained so as to perform the calibration automatically.
[0013]
Further, the infrared imaging device according to the third invention is focused by the infrared lens and the first blocking means for blocking the infrared light before being focused by the infrared lens for one screen output unit time. A second blocking unit that blocks infrared light for one screen output unit time and an infrared light emitted from the infrared lens from a digital image signal while the infrared light is blocked by the first blocking unit. A shading measuring means for measuring the distribution of the output signal, a sensitivity variation measuring means for measuring a variation in the output of the infrared detector from the image signal while the infrared light is blocked by the second blocking means, and the shading measurement. Means for controlling the output signal distribution measurement by the means and the output variation measurement by the sensitivity variation measurement means alternately, and the output signal measured by the shading measurement means. And a control means for generating a command signal for recalibration from the output variation measured by the sensitivity variation measuring means, and the shading measurement when the control means generates the command signal. And a control means for controlling the execution of several calibrations step by step using the measurement results of the sensitivity variation measuring means and the sensitivity variation measuring means, thereby imaging the state of correction deviation of element sensitivity and the state of correction deviation of shading. The timing for performing calibration by quantitatively grasping the inside is generated, and the success or failure of the calibration is judged, so that stepwise calibration can be automatically performed.
[0014]
Further, the infrared imaging device according to the fourth aspect of the invention includes a blocking means for blocking infrared light collected by the infrared lens during calibration, and luminance within the screen from the image signal of the screen corrected by the correction circuit. A sensitivity variation measuring means for measuring an average value of the deviations, a means for measuring a slope of the average value of the brightness deviations with respect to time from an average value of the brightness deviations measured by the sensitivity variation measuring means, and a slope of the change Sensitivity variation change comprising means for generating a command signal for performing calibration by estimating the amount of increase in the average value of luminance deviation over the time elapsed since the previous calibration was performed By providing measurement means, the brightness variation state of the screen and its change are quantitatively measured, and the timing for calibration is generated from that value. To, in which so as to perform the calibration automatically.
[0015]
The infrared imaging device according to the fifth aspect of the invention is focused by the infrared lens and the first blocking means for blocking infrared light before being focused by the infrared lens during calibration. A second blocking unit that blocks infrared light during calibration, a sensitivity variation measuring unit that measures an average value of luminance deviation in the screen from the image signal of the screen corrected by the correction circuit, and the sensitivity variation measurement Sensitivity variation change measuring means for measuring the slope of the average value of the luminance deviation with respect to time from the average value of the luminance deviation measured by the means, and for each position in the screen from the image signal of the screen corrected by the correction circuit The above-mentioned shading measuring means for measuring the average luminance, and the inclination with respect to the time is measured from the average of the luminance at each position in the screen measured by the shading measuring means. Shading change measuring means, the slope of the average value of the deviation measured by the shading measuring means and the shading change measuring means, the average slope of the brightness for each position in the screen, and the time since the previous calibration was performed. And a control means for generating a command signal for recalibration from the measured time, quantitatively measure the state of brightness variation of the screen and its change and the state of shading of the screen and its change, A timing for performing calibration is generated from these values so that calibration can be automatically performed.
[0016]
Further, the infrared imaging device according to the sixth aspect of the invention includes a blocking means for blocking infrared light collected by the infrared lens during calibration, and luminance within the screen from the image signal of the screen corrected by the correction circuit. Sensitivity variation measuring means for measuring an average value of deviations of the sensitivity, sensitivity variation change measuring means for measuring temporal changes from the average value of deviations in luminance measured by the sensitivity variation measuring means, and a screen corrected by the correction circuit A shading measuring means for always measuring the average of the luminance for each part in the screen from the image signal of the image, and a shading change measuring means for measuring the inclination with respect to the time from the luminance for each position in the screen measured by the shading measuring means, , The time difference of the variation measured by the second measuring means and the time elapsed since the previous calibration. The control means for generating a command signal for performing the adjustment, the average slope of the brightness of each part in the screen measured by the shading change measurement means, and the time elapsed since the last image correction data was acquired By providing a correction amount setting means that determines the amount of brightness correction for each part of the screen, quantitatively measure the state of brightness variation on the screen and its change, and generate calibration timing from these values In addition to enabling automatic calibration, the amount of correction is determined by quantitatively measuring the state of shading on the screen and its change, and shading can be corrected without calibration It is.
[0017]
Further, the infrared imaging device according to the seventh aspect of the present invention always includes a blocking means for blocking infrared light collected by the infrared lens during calibration and an image signal of the screen corrected by the correction circuit. Sensitivity variation measuring means for measuring variations in brightness, sensitivity variation change measuring means for measuring changes in time from the luminance variations measured by the sensitivity variation measuring means, and variations time measured by the sensitivity variation measuring means. Control means for generating a command signal for recalibration from the change and the time elapsed since the previous calibration, temperature measuring means for measuring the temperature of the infrared lens, and temperature measured by the temperature measuring means Temperature difference measuring means to measure the temperature difference from the time elapsed since the last calibration was performed And a correction amount setting means for determining a luminance correction amount for each part in the screen from the temperature change amount measured by the temperature difference measuring means, thereby quantitatively measuring the state of brightness variation and its change. In addition to generating calibration timing from these values, it is possible to measure the temperature of the optical system and its changes quantitatively, and thereby determine the amount of shading correction, so that shading can be corrected without calibration. It is a thing.
[0018]
The infrared imaging device according to the eighth invention is the infrared imaging device according to the first, fourth, sixth, or seventh invention, the means for storing the image signal output from the correction circuit, and the first blocking means. And the storage output means for outputting the image signal of the previous frame from the storage means while the infrared light is cut off.
[0019]
Furthermore, the infrared imaging device according to the ninth invention is the infrared imaging device according to the second, third, or fifth invention, the means for storing the image signal output from the correction circuit, the first, second, While the infrared light is blocked by the blocking means, a storage output means comprising a means for outputting the image signal of the previous frame from the storage means is provided.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a block diagram showing a configuration of an infrared imaging apparatus according to the first embodiment. In FIG. 1, 12 is an image correction shutter A, 13 is an image corrector A, and 14 is a sensitivity variation measuring device. Other than that, it is the same as the conventional apparatus.
[0021]
Next, the operation will be described. Usually, the target object incident from the
[0022]
FIG. 12 is a diagram showing an outline of the sensitivity variation measuring operation. In the figure, 38 is image data input from the image corrector A13 and stored in the
Note that the sensitivity variation may be measured by using an average of absolute values of luminance differences in the gate instead of the standard deviation of luminance.
[0023]
[Expression 1]
[0024]
The measured standard deviation of the brightness is stored in the corresponding location in the standard deviation storage 14c. The image data input to the sensitivity
[0025]
In the conventional apparatus, since there is no means for measuring the correction deviation of the element sensitivity during imaging, the calibration is performed by the subjectivity of the operator who is viewing the displayed screen. In this invention, a means for quantitatively grasping the state of correction of the element sensitivity during imaging is added to a conventional apparatus, and a calibration command that is conventionally performed by a user based on subjectivity is automatically generated. Calibration can be performed, and as a result, an infrared image with stable video quality can be output. In addition, with a simple circuit configuration that performs digital calculation processing using a statistical method, it is possible to measure sensitivity variations without using components of a complicated circuit.
[0026]
FIG. 2 is a block
[0027]
Next, the operation will be described. Also in the second embodiment, the normal imaging operation is the same as that of the conventional apparatus. The image correction shutter B15 in the present embodiment is placed in front of the
[0028]
In the conventional apparatus, since there is no means for measuring the shading correction deviation during imaging, the calibration is performed by the subjectivity of the operator looking at the displayed screen. In the present invention, means for quantitatively grasping the state of correction deviation of the element sensitivity during imaging and means for quantitatively grasping the state of correction deviation of shading during imaging are added to the conventional apparatus, and the conventional user is subjectively By automatically generating a calibration command based on the above, automatic calibration including lens shading correction can be performed, and as a result, an infrared image with stable video quality can be output.
[0029]
FIG. 3 is a block
[0030]
Next, the operation will be described. In the third embodiment, the imaging operation, sensitivity variation, and shading amount measuring operation are exactly the same as in the second embodiment. In this embodiment, the correction
[0031]
In the conventional device, which calibration is performed in which operational state is determined by the user's subjectivity, and since there was no means for measuring shading correction deviation or sensitivity variation after calibration, the screen In some cases, the apparatus was operated with correction unevenness remaining. For example, when the infrared imaging device of the present invention mounted on an aircraft captures a uniform temperature background such as the sky or the sea, defocus calibration is the best calibration, but in the background Due to the entry of clouds and the sun, the background may not be uniform even if the focus of the
[0032]
FIG. 4 is a block
[0033]
Next, the operation will be described. A normal imaging operation is the same as that of a conventional apparatus, but in this embodiment, it is assumed that the temperature change in the environment is small and the luminance in the screen is not greatly affected. In this embodiment, the sensitivity
[0034]
[Expression 2]
[0035]
FIG. 16 is a graph showing the relationship between the average value of sensitivity variations and time. In the figure, 44 is a line of measured sensitivity variation average value, and 45 is a line of temporal variation of obtained variation. Assuming that the infrared imaging device continues to capture almost the same screen, it is considered that the magnitude of the luminance variation seen immediately after the sensitivity calibration is the eigenvalue C of the luminance variation of the screen. Naturally, as the imaging target of the infrared imaging device changes, the variation in luminance of the screen also changes. However, if the correction does not deteriorate, the measured value is observed with the width of D centering on the eigenvalue C. However, in actuality, correction deviation occurs with time and gradually increases, so that the average value of the standard deviations in each gate of luminance variation increases as shown in FIG. The sensitivity variation
Note that the image corrector in the present embodiment does not have a frame memory like the
[0036]
In the conventional apparatus, since there was no means for measuring the variation in screen brightness and the amount of change following the sensitivity calibration, sensitivity calibration is performed according to the subjectivity of the operator watching the displayed screen. It was broken. Further, in the first embodiment, since infrared light incident from the outside is blocked, the image is interrupted at a constant interval although it is a very short time, and complicated signal processing is performed when performing target detection and tracking. Necessary. In the present invention, a means for quantitatively measuring the state of brightness variation on the screen and a change thereof are added to a conventional apparatus, and a calibration command that is conventionally performed by a user based on subjectivity is automatically generated, thereby automatically generating sensitivity. Enables calibration, eliminates image breaks after a predetermined time after calibration, outputs a stable image quality infrared image, and performs target detection and tracking at a later stage. Therefore, a convenient image is output.
[0037]
FIG. 5 is a block
[0038]
Next, the operation will be described. The fifth embodiment is the same as the fourth embodiment until the normal imaging operation and the calibration request by the sensitivity variation measuring instrument, and it is assumed that the temperature change in the environment is small. The image correction shutter C19 has a reaction speed comparable to that of the
[0039]
[Equation 3]
[0040]
FIG. 18 is a graph showing the relationship between the average value of the brightness of region A and region E shown in FIG. 17 and time. In the figure, 46 is a line of average brightness values measured in the area A, 47 is a line of average brightness values measured in the area E, and 48 is a line of temporal change in brightness average value obtained in the area A. , 49 are lines of temporal change in luminance average value obtained in the region E. Assuming that the infrared imaging device continues to capture almost the same screen, it is considered that the average value of luminance seen immediately after calibration is the eigenvalue C of the luminance of the screen. Naturally, as the imaging target of the infrared imaging apparatus changes, the luminance variation of the screen also changes. However, if the correction does not deteriorate, the measured value is observed with the width of D centered on the eigenvalue C. However, since the shading amount actually changes with time, the average luminance value changes as shown in FIG. The shading amount
Note that the image corrector in the present embodiment does not have a frame memory like the
[0041]
In the conventional apparatus, since there is no means for measuring the shading of the screen and its change amount after the calibration, the calibration is performed by the subjectivity of the operator who is viewing the displayed screen. Further, in the second embodiment, since infrared light incident from the outside is blocked, the image is interrupted at a constant interval although it is a very short time, and complicated signal processing is performed when performing target detection and tracking. Necessary. In the present invention, means for quantitatively measuring the state of brightness variation of the screen and its change and means for quantitatively measuring the state of shading of the screen and its change are added to the conventional apparatus, and the conventional user is based on the subjectivity. By automatically generating the calibration commands that have been performed, it is possible to perform automatic calibration including lens shading correction, and after the preset time has elapsed after calibration, there is no interruption in the image and the result In addition, an infrared image with stable video quality is output, and an image convenient for target detection and tracking is output later.
[0042]
FIG. 6 is a block
[0043]
Next, the operation will be described. In the sixth embodiment, the operation from the
Further, since the luminance change amount obtained from the shading amount
[0044]
In the conventional apparatus, since there was no means for measuring the shading of the screen and its amount of change continuously after the calibration and determining the shading amount to be corrected based on the measured value, there is no choice but to correct the lens shading by calibration. For this purpose, a mechanical structure is required in which a shutter is placed in front of the lens. In the sixth embodiment, the mechanical configuration of the conventional infrared imaging device is changed as much as possible, and real-time lens shading correction is achieved by adding an electric signal processing circuit, and the luminance variation of the screen By adding a means for quantitatively measuring the state of the image and its change to a conventional device, and automatically generating a calibration command that was previously performed by the user based on the subjectivity, automatic calibration is performed and a stable image is obtained. Output quality infrared image.
[0045]
FIG. 7 is a block
[0046]
Next, the operation will be described. Regarding the seventh embodiment, the normal imaging operation and the calibration request by the sensitivity
[0047]
The conventional apparatus has no means for measuring the temperature of the optical system and its variation continuously after calibration and determining a shading amount to be corrected based on the measured temperature, so the lens shading must be corrected by calibration. For this purpose, a mechanical configuration is required in which a shutter is placed in front of the lens. In the seventh embodiment, a signal processing circuit simpler than that of the sixth embodiment is added by adding a means for quantitatively measuring the temperature of the optical system and its change and a means for holding the lens characteristic data. Real-time lens shading correction is achieved. In addition, by adding a means of quantitatively measuring the state of brightness variation and changes in the screen, and automatically generating a calibration command that was previously performed by the user based on subjectivity, the calibration is automatically performed and stable. An infrared image with the specified video quality is output.
[0048]
In the embodiment of the present invention, a warning signal such as an alarm sound or flashing light (or a scale) is used after quantitatively detecting a correction deviation of an image in the sensitivity variation measuring instrument of the first, second, fourth, and fifth embodiments. Warning display). Accordingly, the user can quantitatively grasp the correction deviation of the image, and the timing for manually calibrating the image corrector can be obtained.
[0049]
In the embodiment of the present invention, after the correction correction of the image is quantitatively detected in the shading amount measuring device of the second, fourth, and eighth embodiments, a warning signal such as an alarm sound or flashing light (or a warning display by a scale) ). Accordingly, the user can quantitatively grasp the correction deviation of the image, and the timing for manually calibrating the image corrector can be obtained.
[0050]
【The invention's effect】
The infrared imaging apparatus according to the first aspect of the present invention adds a means for quantitatively grasping the state of correction of the element sensitivity by using the average value of the luminance deviation obtained for each pixel during imaging. As a result, calibration can be performed by generating a calibration command that is conventionally performed by the user based on the subjectivity. Accordingly, it is possible to obtain an infrared imaging device that is simple in operation but has little performance deterioration due to a deviation in correction of element sensitivity and a correction in shading, and that does not require the user to perform a calibration operation.
[0051]
Further, according to the second invention, the means for quantitatively grasping the state of the correction deviation of the element sensitivity during imaging and the state of the correction deviation of the shading in some areas divided in the screen during the imaging. By adding a means for obtaining the luminance distribution of the entire area quantitatively from the average value of luminance and adding it to the conventional device, a calibration command that was conventionally performed by the user based on the subjectivity was generated, and lens shading correction was performed. Automatic calibration can be performed.
[0052]
In addition, according to the third aspect of the invention, by adding a means for determining the success or failure of calibration, it is possible to generate three types of calibration commands for shading, thereby automatically performing effective calibration in the operating state. Selected and implemented. Thereby, an infrared imaging device capable of outputting an image in an optimally calibrated state can be obtained.
[0053]
In addition, according to the fourth aspect of the present invention, the calibration instruction that the user has conventionally performed based on the subjectivity is provided by adding to the conventional apparatus a means for quantitatively measuring the state of the brightness variation of the screen and the change thereof. Generate and automatically calibrate. In the first invention, short-time image breaks occur, but an image convenient for signal processing such as target detection and tracking can be output at a later stage. Thus, an infrared imaging device that outputs an image suitable for signal processing can be obtained.
[0054]
In addition, according to the fifth invention, a means for quantitatively measuring the state of luminance variation of the screen and its change and a means for quantitatively measuring the state of shading of the screen and its change are added to the conventional apparatus. Thus, it is possible to generate a calibration command that is conventionally performed by the user based on the subjectivity and perform automatic calibration including lens shading correction. Also, by eliminating the short-time image breaks that occurred in the second invention, it is possible to output an image that is convenient when performing target detection or tracking at a later stage.
[0055]
According to the sixth aspect of the invention, real-time lens shading correction is achieved by adding means for quantitatively measuring the state of the shading of the screen and its change and determining the amount to be corrected thereby. In addition, by adding a method for quantitatively measuring the state of brightness variation and changes in the screen to a conventional device, a calibration command that has been performed based on the subjectivity of conventional users is generated, and calibration is automatically performed. Yes. As a result, the lens shading is corrected in real time, so that there is little performance deterioration due to a shading correction shift, and an infrared imaging apparatus that is not frequently calibrated as in the conventional apparatus can be obtained.
[0056]
Furthermore, according to the seventh invention, by adding a means for quantitatively measuring the temperature of the optical system and its change and a means for holding the lens characteristic data, a circuit simpler than the sixth invention is provided. Real-time lens shading correction is achieved. In addition, an infrared imaging apparatus that is not frequently calibrated as in the conventional apparatus can be obtained in a smaller size and lighter.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a first embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration of a second embodiment of the present invention.
FIG. 3 is a block diagram showing a configuration of a third embodiment of the present invention.
FIG. 4 is a block diagram showing a configuration of a fourth embodiment of the present invention.
FIG. 5 is a block diagram showing a configuration of a fifth embodiment of the present invention.
FIG. 6 is a block diagram showing a configuration of a sixth embodiment of the present invention.
FIG. 7 is a block diagram showing a configuration of a seventh embodiment of the present invention.
FIG. 8 is a block diagram showing a configuration of a conventional apparatus.
FIG. 9 is a diagram showing an outline of calibration of a conventional apparatus.
FIG. 10 is a diagram illustrating a state in which light generated by a target is collected through a lens.
FIG. 11 is an intermediate value image on a display showing an example of a shading image.
FIG. 12 is a diagram showing an outline of a sensitivity variation measuring operation.
FIG. 13 is a diagram showing an outline of a shading amount measurement operation.
FIG. 14 is a diagram illustrating a distribution of luminance average values in a region according to a shading correction state.
FIG. 15 is a flowchart of calibration control.
FIG. 16 is a diagram showing the relationship between the average value of sensitivity variations and time.
FIG. 17 is a diagram illustrating a state in which luminance measurement areas are regrouped.
FIG. 18 is a diagram illustrating a relationship between an average luminance value and time.
FIG. 19 is a conceptual diagram of shading correction amount setting performed by a shading correction amount setting unit A22.
FIG. 20 is a conceptual diagram of shading correction amount setting by a shading correction amount setting unit B26.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Infrared lens, 2 Image correction shutter, 3 Infrared detector, 4 amplifier, 5 Sample hold circuit, 6 A / D converter, 7 Image corrector, 8 D / A converter, 9 Imaging controller, 10 output Image signal, 11 Image correction command signal, 12 Image correction shutter A, 13 Image corrector A, 13a Output selector switch, 13b Frame memory, 13c Image corrector AA, 13d Output selector switch A, 14 Sensitivity variation measuring instrument, 14a Frame memory, 14b Standard deviation measurement device, 14c Standard deviation storage device, 14d Sensitivity variation determination device, 15 Image correction shutter B, 16 Shading amount measurement device, 17 Correction state determination device, 18 Sensitivity variation change measurement device, 19 Image correction Shutter C, 20 Shading amount change measuring device, 21 Image corrector B, 22 Shading correction amount setting , 23 Infrared lens A, 24 Temperature signal, 25 Temperature conversion measuring device, 26 Shading correction amount setting B, 27 Output characteristic line a, 28 Output characteristic line b, 29 Output characteristic line aa, 30 Output characteristic line bb, 31 output Line c, 32 Target A, 33 Target B, 34 Lens, 35 Imaging surface, 36 Light flux AA, 37 Light flux BB, 38 Image data, 39 Variation measurement gate, 40 Measured sensitivity variation, 41 Shading measurement area, 42 Correction Distribution of luminance average value when it is made, 43 Distribution of luminance average value when it is not corrected, 44 Line of measured sensitivity variation average value, 45 Line of variation variation with time, 46 Luminance average of region A Value line, 47 area E luminance average value line, 48 area A luminance average value time change line, 49 area E luminance Average time change line, 50 Region A shading change plot, 51 Region B shading change plot, 52 Region C shading change plot, 53 Region D shading change plot, 54 Region E A shading change amount plot of 55, a line indicating the shading correction amount, 56 a shading line of the infrared lens A23 when the temperature is A, a shading line of the infrared lens A23 when the temperature is 57, and a temperature monitor.
Claims (9)
(1)上記第一の遮断手段と上記第二の遮断手段を開放し、上記赤外レンズをデフォーカスにした状態で上記補正回路の第一のキャリブレーションを実施させる手順
(2)上記第一のキャリブレーション終了後、上記第一の遮断手段が遮断された状態で補正された画像信号から上記輝度の平均値の分布の幅と、上記輝度の偏差の平均値を測定させる手順
(3)上記手順(2)で測定された上記輝度の平均値の分布の幅があらかじめ設定された幅より大きいとき、又は上記輝度の偏差の平均値があらかじめ設定された値より大きいときに上記補正回路において第二のキャリブレーションを実施させる手順
(4)上記第二のキャリブレーション終了後、補正された画像信号から上記輝度の偏差の平均値を測定させる手順
(5)上記手順(4)で測定された上記輝度の偏差の平均値があらかじめ設定された値より大きいとき、上記補正回路において第三のキャリブレーションを実施させる手順。An infrared lens that has the function of focusing and focusing infrared light emitted from the target object, and the infrared light image formed by the infrared lens is photoelectrically converted by the infrared detector. Infrared imaging comprising: an infrared detector that performs conversion; a conversion circuit that converts the output signal of the infrared detector into an image signal; and a correction circuit that performs signal processing on the image signal and corrects variations in the output of the infrared detection element In the image correction method of the apparatus, first blocking means for blocking infrared light before being collected by the infrared lens, and second blocking for blocking infrared light collected by the infrared lens And a shading measuring means for measuring a shading amount by obtaining a distribution of an average value of luminance for each portion in the screen from the image signal corrected by the correction circuit while infrared light is blocked, and Chez The product of the width of the distribution of the average value of brightness and the preset width measured by the calibration performed previously by the width of the distribution of the average value of brightness measured by the measuring means, or Shading determination means for generating a first calibration request signal when greater than the sum, and luminance deviation obtained for each pixel from the image signal corrected by the correction circuit while infrared light is blocked Sensitivity variation measuring means that obtains an average value and measures sensitivity variation, and the luminance deviation measured by the calibration performed previously by the average value of the luminance deviation measured by the sensitivity variation measuring means. Sensitivity variation determination means for generating a second calibration request signal when the product of the average value and a preset value is greater than the sum, or the first cutoff And a control means for outputting a first cutoff command, a second cutoff command, a calibration command and a defocus command to the second cutoff means, the correction circuit and the infrared lens. The image correction method (1) of the infrared imaging device for correcting an image according to the following procedure when the first and second calibration request signals are generated from the shading determination unit or the sensitivity variation determination unit Procedure for performing the first calibration of the correction circuit in a state where the first blocking means and the second blocking means are opened and the infrared lens is defocused (2) The first calibration After completion, the average width distribution of the luminance and the average deviation of the luminance are measured from the corrected image signal in a state where the first blocking means is blocked. Step (3) When the distribution width of the average luminance value measured in the step (2) is larger than a preset width, or when the average deviation value of the luminance is larger than a preset value. Procedure for performing second calibration in correction circuit (4) Procedure for measuring average value of luminance deviation from corrected image signal after completion of second calibration (5) Procedure (4) A procedure for performing a third calibration in the correction circuit when the average value of the deviations in luminance measured in step (b) is larger than a preset value.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29378796A JP3675066B2 (en) | 1996-11-06 | 1996-11-06 | Infrared imaging device and image correction method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29378796A JP3675066B2 (en) | 1996-11-06 | 1996-11-06 | Infrared imaging device and image correction method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10142065A JPH10142065A (en) | 1998-05-29 |
JP3675066B2 true JP3675066B2 (en) | 2005-07-27 |
Family
ID=17799172
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP29378796A Expired - Fee Related JP3675066B2 (en) | 1996-11-06 | 1996-11-06 | Infrared imaging device and image correction method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3675066B2 (en) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3635937B2 (en) | 1998-09-10 | 2005-04-06 | 三菱電機株式会社 | Infrared camera |
EP2009414A1 (en) | 1999-01-14 | 2008-12-31 | Panasonic Corporation | Infrared imaging device, vehicle with the same, and infrared image adjusting device |
JP4268774B2 (en) | 2001-08-31 | 2009-05-27 | 富士通株式会社 | Infrared imaging device |
US7391450B2 (en) | 2002-08-16 | 2008-06-24 | Zoran Corporation | Techniques for modifying image field data |
US7388610B2 (en) | 2002-08-16 | 2008-06-17 | Zoran Corporation | Techniques of modifying image field data by extrapolation |
US7408576B2 (en) | 2002-08-16 | 2008-08-05 | Zoran Corporation | Techniques for modifying image field data as a function of radius across the image field |
JP4749397B2 (en) * | 2007-08-23 | 2011-08-17 | 三菱電機株式会社 | Infrared imaging device |
JP5084473B2 (en) * | 2007-12-05 | 2012-11-28 | 三菱電機株式会社 | Infrared imaging device |
JP5970965B2 (en) * | 2012-06-07 | 2016-08-17 | 日本電気株式会社 | Imaging device |
JP6275334B2 (en) | 2015-05-21 | 2018-02-07 | 富士フイルム株式会社 | Infrared imaging apparatus and fixed pattern noise data updating method |
JP6291629B2 (en) | 2015-05-21 | 2018-03-14 | 富士フイルム株式会社 | Infrared imaging apparatus and fixed pattern noise data updating method |
EP3832538B1 (en) * | 2019-12-05 | 2022-05-11 | Axis AB | Automatic malfunction detection in a thermal camera |
WO2023199465A1 (en) * | 2022-04-14 | 2023-10-19 | 日立Astemo株式会社 | Vehicle-mounted image processing device and calibration method therefor |
-
1996
- 1996-11-06 JP JP29378796A patent/JP3675066B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH10142065A (en) | 1998-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8760509B2 (en) | Thermal imager with non-uniformity correction | |
JP3675066B2 (en) | Infrared imaging device and image correction method | |
US7772557B2 (en) | Offset compensation scheduling algorithm for infrared imagers | |
JP2954704B2 (en) | Dynamic correction method and apparatus for minute image signal | |
EP0837600A2 (en) | Infrared sensor device with temperature correction function | |
JP4016022B2 (en) | Infrared imaging device and vehicle equipped with the same | |
JP2002027491A (en) | Image input unit, white balance adjusting method, and computer readable recording medium storing program for executing the method | |
WO2007125691A1 (en) | X-ray image diagnostic device | |
US10432881B2 (en) | Infrared imaging device and method of updating fixed pattern noise data | |
US6982412B2 (en) | Infra red camera calibration | |
US8481918B2 (en) | System and method for improving the quality of thermal images | |
US10536626B2 (en) | Infrared imaging device, fixed pattern noise calculation method, and fixed pattern noise calculation program | |
US10523883B2 (en) | Infrared imaging device and method of updating fixed pattern noise data | |
EP1483556B1 (en) | Improvements in or relating to the calibration of infra red cameras | |
JP3517811B2 (en) | Infrared imaging device | |
KR101429512B1 (en) | Apparatus and method for reducing banding noise | |
JP7143558B2 (en) | Infrared imaging device and program used therefor | |
JP3376991B2 (en) | Infrared imaging method and infrared imaging apparatus | |
JP2003000576A (en) | Device and method for processing image | |
JP3067285B2 (en) | Fire detection device using image processing | |
JP2002311327A (en) | Multipoint auto-focusing device | |
CN111366253B (en) | Method for obtaining non-uniformity correction coefficient of infrared photoelectric system and correction method | |
JP4604112B2 (en) | Subject information measuring method, subject information measuring device, exposure control method, and exposure control device | |
EP3110136B1 (en) | Digital iris for camera lens assembly | |
JP3771246B2 (en) | Infrared imaging device and vehicle equipped with the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040716 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050412 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050425 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080513 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090513 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |