JP7051010B2 - 赤外線撮像装置 - Google Patents
赤外線撮像装置 Download PDFInfo
- Publication number
- JP7051010B2 JP7051010B2 JP2021525463A JP2021525463A JP7051010B2 JP 7051010 B2 JP7051010 B2 JP 7051010B2 JP 2021525463 A JP2021525463 A JP 2021525463A JP 2021525463 A JP2021525463 A JP 2021525463A JP 7051010 B2 JP7051010 B2 JP 7051010B2
- Authority
- JP
- Japan
- Prior art keywords
- output
- image pickup
- function
- infrared image
- temperature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 claims description 88
- 239000000758 substrate Substances 0.000 claims description 74
- 238000006073 displacement reaction Methods 0.000 claims description 42
- 230000008859 change Effects 0.000 claims description 39
- 238000003331 infrared imaging Methods 0.000 claims description 8
- 239000006185 dispersion Substances 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 230000006872 improvement Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 148
- 238000006243 chemical reaction Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 19
- 230000007547 defect Effects 0.000 description 14
- 238000000034 method Methods 0.000 description 14
- 238000003860 storage Methods 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 10
- 230000002950 deficient Effects 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000036962 time dependent Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000001994 activation Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000010438 heat treatment Methods 0.000 description 4
- 238000003702 image correction Methods 0.000 description 4
- 230000007257 malfunction Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 239000000853 adhesive Substances 0.000 description 2
- 230000001070 adhesive effect Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 238000012888 cubic function Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 229910000679 solder Inorganic materials 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/70—Passive compensation of pyrometer measurements, e.g. using ambient temperature sensing or sensing of temperature within housing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/02—Constructional details
- G01J5/08—Optical arrangements
- G01J5/0803—Arrangements for time-dependent attenuation of radiation signals
- G01J5/0804—Shutters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/80—Calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
- G01K1/00—Details of thermometers not specially adapted for particular types of thermometer
- G01K1/14—Supports; Fastening devices; Arrangements for mounting thermometers in particular locations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
- H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Radiation Pyrometers (AREA)
Description
本願は、赤外線撮像装置に関するものである。
熱型の赤外線撮像装置では、画素を構成する温度センサを2次元に配列して断熱構造の撮像素子を構成し、入射した赤外線によって画素の温度が変化することを利用して赤外線像を撮像する。ただ、赤外線撮像装置においては、赤外線感度としての温度変化だけではなく、電流もしくは電圧を印加することによる温度センサ自身の自己発熱温度変化と、撮像素子以外の部品類で発生する赤外線撮像装置全体での自己発熱温度変化が同時に生じる。
その際、撮像素子、あるいは周辺部材の製造ばらつきにより、画素ごとの断熱性能、消費電力量、印加電圧もしくは電流量のばらつきに起因して自己発熱程度が異なり、画素ごとの出力レベル差が生じる。また、画素ごとの断熱性能、消費電力量は、環境温度に起因して変化するため、環境温度変化による出力レベル変動が顕著となる。
こうした問題のうち、環境温度に起因する性能変化に対しては、環境温度と測定対象物温度に応じた補正係数のテーブルを用いて、補正処理を行う赤外線センサ信号の補正方法(例えば、特許文献1参照。)が提案されている。また、画素ごとの出力レベル差については、画素の感度を均一化するためのキャリブレーションを行うシャッタ機構(例えば、特許文献2参照。)を用いる方法が提案されている。
しかしながら、補正係数を用いての補正処理では、赤外線撮像装置の取付状況に影響される放熱性能の変化、あるいは電源電圧の変動に対応できず、必ずしも正確な補正ができるとは限らない。また、シャッタ機構でのキャリブレーションに頼ると、キャリブレーションの頻度が増加して、撮像できない時間が長くなり、好ましくない。
本願は、上記のような課題を解決するための技術を開示するものであり、取付状況、電圧変動の影響を低減し、かつ撮像できない時間を短縮可能な赤外線撮像装置を得ることを目的とする。
本願に開示される赤外線撮像装置は、入射した赤外線を熱として感知する複数の画素が配列された赤外線撮像素子、前記赤外線撮像素子が実装された基板の温度を測定する基板温度センサ、前記複数の画素のそれぞれから出力される画素出力に対する、前記基板の温度変化に応じた温度ドリフト補正量を算出する温度ドリフト補正量算出部、前記基板の温度を独立変数とする、前記温度ドリフト補正量を算出するための関数を生成する関数生成部、および、前記関数を生成するための生成用データとして、前記基板への通電開始に伴い前記基板の温度が変化する期間に、前記赤外線撮像素子と前記基板温度センサから、前記関数生成部に対して、データを同期出力させるタイミング制御部、を備え、前記関数生成部は、前記関数を生成した以降に出力された前記生成用データを、当該関数を高精度化させる追加データとして用いることを特徴とする。
本願に開示される赤外線撮像装置によれば、追加データを用いて補正に用いる関数を高精度化するので、取付状況、電圧変動の影響を低減し、かつ撮像できない時間を短縮可能な赤外線撮像装置を得ることができる。
実施の形態1.
図1~図7は、実施の形態1にかかる赤外線撮像装置について説明するためのものであり、図1は赤外線撮像装置の全体構成を示す機能ブロック図、図2は赤外線撮像素子の構成を示す模式図である。そして、図3は赤外線撮像装置を起動した際の3つの画素それぞれの画素出力と温度センサ出力の経時変化を示す図、図4は起動時に経時的に変化する温度センサ出力と3つの画素それぞれの画素出力の関係を示す図である。
図1~図7は、実施の形態1にかかる赤外線撮像装置について説明するためのものであり、図1は赤外線撮像装置の全体構成を示す機能ブロック図、図2は赤外線撮像素子の構成を示す模式図である。そして、図3は赤外線撮像装置を起動した際の3つの画素それぞれの画素出力と温度センサ出力の経時変化を示す図、図4は起動時に経時的に変化する温度センサ出力と3つの画素それぞれの画素出力の関係を示す図である。
また、図5は赤外線撮像装置を起動した際の温度センサ出力と代表画素出力の経時変化と、経時変化に応じた制御タイミングを示す図、図6は経時的に変化する温度センサ出力に対する代表画素出力の関係と、基板温度センサ、あるいは代表画素出力に応じた制御タイミングの関係を示す図、図7は赤外線撮像装置を構成する補正量算出用関数生成部で近似式(関数)を高精度化するための自己学習動作を示すフローチャートである。
以下、実施の形態1にかかる赤外線撮像装置、あるいは各実施の形態に共通する赤外線撮像装置の構成、および動作について図を用いて説明する。赤外線撮像装置10には、図1に示すように、入射赤外線光を受光してアナログの電気信号に変換する赤外線撮像素子1と、その信号を受け、デジタル変換して出力するアナログデジタル変換部(以降、A/D変換部2と称する)を主構成部材として備えている。
赤外線撮像素子1は、図2に示すように、入射赤外線光を受光した際の温度上昇に伴う電気特性の変化により、赤外線を熱として感知し、電気信号として出力する画素部1gとして、複数の画素1pが好ましくは二次元配列されている。そして、各画素1pへの通電タイミングを制御する駆動線選択回路1sと画素部1gの各画素1pから出力される信号成分を増幅、読出しを行う読み出し回路1rが配置されている。各画素1pの信号は読み出し回路1rから順次出力される。
ここで、各画素1pの信号成分は、被写体から射出される赤外線光の成分を検知するとともに、基板温度、通電による自己発熱成分、およびレンズ等の光学系部材、さらには光学系部材を保持する鏡筒などから発せられる赤外線光の成分を含んでいる。つまり、取り付け状況、印加される電源電圧変動等により、赤外線撮像素子1の信号成分は様々に変化することになる。
そこで、図示しない実装基板の温度を計測する基板温度センサ4と、基板温度センサ4の出力に応じ、A/D変換部2から出力されたデジタル値を差分処理で補正するための温度ドリフト補正量を算出する温度ドリフト補正量算出部7を備えている。このとき、実装基板と赤外線撮像素子1は、導電性、もしくは非導電性接着剤により接着し、かつ基板温度センサ4は実装基板に接着剤もしくは半田材により密着させ、赤外線撮像素子1と基板温度センサ4の温度変化傾向が同一になるようにすることが好ましい。これにより、基板温度センサ4の出力(温度)変化は、赤外線撮像素子1の出力変化と同等とみなすことができる。
さらに、赤外線撮像素子1へ入射する赤外線を遮光するシャッタ3と、シャッタ3の動作タイミングを制御するとともに、シャッタキャリブレーション処理を行う際に、関連する部位を同期して動作させるタイミング制御部6とを備えている。シャッタ3は赤外線撮像素子1の被写体検知方向に配置され、部材熱伝導率が低く、熱容量が小さい材質で構成されることが好ましい。また、表面放射率は0.95以上の材質で構成されることが好ましい。これにより、取り付け状況、あるいは印加される電源電圧変動等によらず、シャッタ3を環境温度と同一温度とみなすことが可能となり、後に示す補正用のデータ取得時の赤外線撮像素子1、鏡筒、レンズ等の温度変化傾向を精度よく抽出することができる。
上述した構成は、シャッタキャリブレーションを行う一般的な赤外線撮像装置で必要とされる構成と同様である。一方、本願の赤外線撮像装置10では、シャッタキャリブレーション処理を行う部位として、補正量算出用関数生成部5を備えるようにしている。補正量算出用関数生成部5は、シャッタ動作に同期して、A/D変換部2からの出力と基板温度センサ4の出力から、基板温度に応じた画素ごとの温度ドリフト補正量を算出するための近似式(関数Af)を生成し、かつ、データの適否を自己学習して式を高精度化処理する。さらには、少ない頻度で効果的にシャッタキャリブレーションを行うためのシャッタタイミングも自己学習して算出する。
ここで、赤外線撮像装置10内での信号、データの動きについて再確認する。赤外線撮像素子1から出力されたアナログの信号成分はA/D変換部2によりデジタル信号に変換され、画素出力Spとして補正量算出用関数生成部5に入力される。また、補正量算出用関数生成部5には、基板温度センサ4から出力される基板温度を示す温度センサ出力Stも同時に入力される。タイミング制御部6は、シャッタ3の動作タイミングと、後述の補正量算出用関数生成部5の信号取得タイミングを同期して実施するよう制御もしくは動作指令信号を発生させる。
補正量算出用関数生成部5では、タイミング制御部6からの動作指令信号を受けたタイミングに応じて、A/D変換部2、基板温度センサ4からの信号を取得し、図示しないメモリに一時格納する。そして、A/D変換部2、基板温度センサ4からの複数回の信号を用い、基板温度センサ4の出力とA/D変換部2の出力の関係性からN次近似の関数Afを生成する。
そのため、補正量算出用関数生成部5には、A/D変換部2、基板温度センサ4からの信号を複数回分一時格納できるようにメモリ容量を保持することが好ましい。また、補正量算出用関数生成部5において生成されるN次近似の関数Afは、各画素1pに対応して生成することが好ましいが、精密な補正が不要な場合は二次元配列された画素1pから出力される信号の内、複数画素からの出力の平均値を用いて生成してもよい。
タイミング制御部6により制御される、補正量算出用関数生成部5の信号取得タイミングは、赤外線撮像装置10に電源が投入されたのち、通電による発熱で温度変動が発生している期間内に二回以上行うこととし、四回以上行うことがより好ましい。また、補正量算出用関数生成部5の信号取得タイミングで得られる信号は、シャッタ3が完全に動作している期間のものであればよく、動作開始とタイミング差が生じてもよい。さらに、シャッタ3が1回動作し続けている間に、A/D変換部2、基板温度センサ4から、複数回の信号を取得してもよく、このようなケースも含めて「同期」と称する。
また、タイミング制御部6により制御されるシャッタ3の動作タイミングと、補正量算出用関数生成部5の信号取得タイミングは、電気的に装置動作が不安定な通電開始直後の不安定期間(例えば、図5の期間Pa)を除いて設定されることが好ましい。これにより、通電開始直後は装置内部の各種バイアス状況が安定せず、補正量算出用関数生成部5において生成されるN次近似の関数Afが不正確になることを防ぐことができる。
温度ドリフト補正量算出部7では、補正量算出用関数生成部5で得られたN次近似の関数Afから、基板温度センサ4からの信号に対応する画素1pごとの補正データである温度ドリフト補正量Dcを演算する。これにより、基板温度センサ4に対応して赤外線撮像素子1から発生し、A/D変換部2を経由して出力される信号を予測することができる。最後に、A/D変換部2の出力(画素出力Sp)と温度ドリフト補正量算出部7からの出力(温度ドリフト補正量Dc)を差分演算することで、画素1pごとの出力の平坦化を行うことができる。
次に、補正内容のさらに詳しい説明を行う。
A/D変換部2から出力された画素1pごとの画素出力Sp(代表して、3つの画素1pそれぞれの画素出力Sp1、Sp2、Sp3を記載)と、基板温度センサ4から出力された温度センサ出力Stは、図3に示すように、時間経過に伴って変化する。赤外線撮像装置10(の基板)に電源が投入(時間=0)されると、通電による発熱で、温度が変動し、基板温度センサ4の出力値は時間経過とともに上昇する。
A/D変換部2から出力された画素1pごとの画素出力Sp(代表して、3つの画素1pそれぞれの画素出力Sp1、Sp2、Sp3を記載)と、基板温度センサ4から出力された温度センサ出力Stは、図3に示すように、時間経過に伴って変化する。赤外線撮像装置10(の基板)に電源が投入(時間=0)されると、通電による発熱で、温度が変動し、基板温度センサ4の出力値は時間経過とともに上昇する。
ここで、上述したように、基板温度センサ4と赤外線撮像素子1は同一の出力変化傾向を有するように構成したので、赤外線撮像素子1は温度上昇するが、環境温度と同一温度になるように構成したシャッタ3の温度は変化しない。そのため、シャッタ3が動作中の信号、つまり、シャッタ3を撮像した際に出力される画素出力Sp(シャッタ撮像信号と称する)は、温度センサ出力Stの上昇に伴い、降下していくことになる。
なお、シャッタ撮像信号には、鏡筒および光学系部材の温度変化による影響が含まれるとともに、画素1pごとの出力レベル差、あるいは温度ドリフト成分差も含まれることになる。加えて赤外線撮像装置10の取り付け状況、あるいは印加される電源電圧が確定した状態での取得データを基にしたものであるため、上述した変動要因が加味されたものとなる。
シャッタキャリブレーションでは、図3で説明した、装置の起動時に経時的に変化する温度センサ出力Stとシャッタ撮像信号から、図4に示すように、温度センサ出力Stに対する画素1pごとのシャッタ撮像信号(画素出力Sp)との関係を導く。具体的には、補正量算出用関数生成部5が、A/D変換部2から出力された画素1pごとの画素出力Spと、基板温度センサ4から出力された温度センサ出力Stから、画素1pごとの温度センサ出力StのN次近似の関数Afを生成し、温度ドリフト補正量算出部7に出力される。
温度ドリフト補正量算出部7は、補正量算出用関数生成部5から出力された画素1pごとのN次近似の関数Afに、その時点で基板温度センサ4から出力された温度センサ出力Stを代入して、画素1pごとの温度ドリフト補正量Dcを生成する。生成された、画素1pごとの温度ドリフト補正量Dcは、赤外線撮像装置10の取り付け状況、印加される電源電圧変動、鏡筒および光学系部材の温度変化による影響、画素1pごとの出力レベル差、および画素1pごとの温度ドリフト成分差をすべて考慮したものとなる。
その結果、あらかじめ設定された補正データを用いる場合と比べて高精度な画像補正が可能となる。また、赤外線撮像装置10の温度変化に対応して、温度ドリフト補正量Dcを無段階で計算できるので、温度域ごとに補正データを取るためのキャリブレーションを実行する場合と比べて、シャッタキャリブレーションの頻度を低減することができる。同時に、補正データをあらかじめ用意する必要がなくなるため、製造コストの大幅な低減につなげることができる。
ここで、タイミング制御部6における制御タイミングの設定例を、代表画素の出力(代表画素出力Spr)と温度センサ出力Stの時間経過に伴う変化を示す図5と、図5における温度センサ出力Stと代表画素出力Sprの関係性を示す図6を用いて説明する。赤外線撮像装置10に対して電源が投入された直後、期間Paにおいて、各種の電源立ち上げシーケンスが開始されるが、動作の安定まで一定時間が必要となることが一般的である。この期間Paにおいて、シャッタキャリブレーションを実行すると、補正量算出用関数生成部5において生成されるN次近似の関数Afが不正確になるため、演算データとして使用しないことが好ましい。
次に、赤外線撮像装置10の動作が安定したのち、期間Pbにおいてシャッタ3を動作させ、そのシャッタ撮像信号を補正量算出用関数生成部5で取得すると同時に、基板温度センサ4からの温度センサ出力Stを取得する。次に、期間Pcにおいてシャッタ3を解放する。このとき、補正量算出用関数生成部5において、まだN次近似の関数Afが未確定の場合、期間Pbにおいて取得したシャッタ撮像信号を用いて補正を行ってもよい。この場合、装置温度変化(基板温度変化)に対して逐次演算ができないため、精度は低いが、画像取得は可能な状態となる。
次に、期間Pdにおいてシャッタ3を動作させ、そのシャッタ撮像信号を補正量算出用関数生成部5で取得すると同時に、基板温度センサ4からの温度センサ出力Stを取得する。期間Pbで取得したシャッタ撮像信号と、期間Pdで取得したシャッタ撮像信号から、補正量算出用関数生成部5において画素1pごとの画素出力Spに対する1次近似の関数Afを生成する。
次に、期間Peにおいてシャッタ3を解放する。期間Pdにおいて生成を行った画素1pごとの画素出力Spに対しての1次近似の関数Afと、基板温度センサ4からの温度センサ出力Stを基に、温度ドリフト補正量算出部7で逐次温度ドリフト補正量Dcを生成する。そして、A/D変換部2の画素出力Spと温度ドリフト補正量算出部7から出力された温度ドリフト補正量Dcを差分演算することで、画素1pごとの出力の平坦化を行う。これにより、基板温度変化に対して逐次演算でき、精度が高い画像信号の平滑化が可能な状態となる。
また、必要に応じて、期間Peの後に、もう数回シャッタ3を動作させ、そのシャッタ撮像信号を補正量算出用関数生成部5で信号取得すると同時に、基板温度センサ4からの温度センサ出力Stを取得する。これらのデータから、補正量算出用関数生成部5において画素1pごとの画素出力Spに対しての補正式を2次関数、3次関数と高次化していくことが可能となる。
なお、期間Pcは、基板温度センサ4の出力が信号成分誤差以上の変動を示すように設定されていればよく、あらかじめ時間設定してもよく、また、基板温度センサ4の出力変位量をモニタすることで実施してもよい。期間Pcでは、基板温度変化に対して逐次演算ができないため、画像取得の精度は低いが、問題とならない場合は基板温度センサ4の出力変位量が大きくなるよう設定されることが好ましい。
期間Pb、期間Pdのタイミングに関しては、装置安定動作までの時間を考慮して決定する必要がある。つまり装置への電源投入に起因する信号を基にあらかじめ設定されることが好ましい。これらのタイミング制御部6の動作により、立ち上げ直後の動作不安定状態と数回のシャッタ3の動作タイミングを除く期間で画像取得が可能となる。さらに、シャッタ3の動作回数を経るごとに補正量算出用関数生成部5で演算される補正式が高次化され、補正精度が徐々に向上させていくことができる。
この補正式は、赤外線撮像装置10の取り付け状況、あるいは印加される電源電圧変動等が考慮されたものであるため、あらかじめ設定された補正データと比べて高精度な画像補正が可能となり、また、赤外線撮像装置10の温度変化ごとに補正データを逐次変化させることで、シャッタキャリブレーションの頻度を低減することができる。同時に、補正データをあらかじめ用意する必要がなくなるため、製造コストの大幅な低減につなげることができる。
さらに、補正量算出用関数生成部5では、自己学習によってN次近似の関数生成を行うことで、関数Afを高精度化する。自己学習動作について図7のフローチャートを参考にして説明する。例えば、データ蓄積がない初期状態の場合、N次近似の関数Afを生成するため、少なくともN+1回以上のシャッタキャリブレーションを実施する(ステップS100、S110)。そして、各シャッタキャリブレーションで得られるシャッタ撮像信号(画素出力Sp)と温度センサ出力Stの組合せから、最小二乗法等の計算により、初期の画素1pごとのN次の近似式である関数Afを設定する(ステップS120)。
このように、初期の関数Afが設定されると、以降は、例えば、起動時の期間Pb~Peの間の所定のタイミングでシャッタキャリブレーションを行い、画素1pごとのシャッタ撮像信号と温度センサ出力Stのデータ読み込み(ステップS200)を行う。データが読み込まれると、設定された画素1pごとの関数Afからの逸脱値を算出する。ここで、最小二乗近似で算出されたσをしきい値Thに設定したとすると、しきい値Th内に逸脱値が収まる、適格なデータであるか否か、つまり良か不良かを判断する(ステップS220)。
良と判定されると(ステップS220で「Yes」)、そのデータをこれまでに記憶したデータに追加してN次近似の関数Afを再計算する(ステップS230)する。そして、再計算した関数Afに対して、すべてのデータの逸脱値がしきい値Th内に収まっているか否かを判定し(ステップS240)、収まっている場合(逸脱無し:「No」)は、記憶対象のデータを追加更新(ステップS250)する。
一方、再計算したN次近似式に対して、逸脱値がしきい値Th内に収まっていないデータがある場合(逸脱有:ステップS240で「Yes」)は、しきい値Thを逸脱したデータを除外して、N次近似の関数Afを再計算するステップS230に移行する。これをステップS240で「No」となるまで繰り返し、ステップS250に移行する。
データ更新後、N次近似の関数Afにおける相関係数を考慮し、高精度化の必要性、つまり、追加データの必要性を確認し、キャリブレーションの頻度を再設定する。また、N次近似の関数Afの元となるデータにおいて、不足する温度センサ出力Stのデータ領域等があれば、次回のキャリブレーションにおいて、そのデータ領域が補充できるよう、期間Pb~Peの中から最適なキャリブレーションのタイミングを設定する(ステップS260)。つまり、キャリブレーションの必要性を学習して最適なシャッタ条件を設定する(ステップS260)。これにより、より少ない頻度でキャリブレーションを行っても高精度なN次近似が可能になる。
一方、ステップ220で不良と判定(「No」)されると、欠陥数として、不良と判定された累積回数、不良と判定された画素1pの数、あるいは直近の連続回数が、許容値Av以内であるか否かを判定する(ステップS300)。欠陥数が許容値Av以内であれば(「No」)、単純に次のキャリブレーションを実行するステップS200に移行する。しかし、欠陥数が許容値Avを超えていれば(「Yes」)、機器に不良が発生している、あるいは状態が変化していると判断して、不良動作通知を行い(ステップS310)、終了する。
これにより、タイミング制御部6の制御不良、およびシャッタ3の動作不良による取得データ不良を自動で検知し、基板温度に応じた最適な温度ドリフト補正量を算出することが可能となる。また、不良と判定された場合、取り付け状態の確認をすることで、元の状態に戻すことが可能となる。あるいは、取り付け状態を変えた場合、過去のデータをリセットして、新しい取り付け状態に適したキャリブレーションを実行させることができる。
なお、不良判定においては、画素1pの数に限らず、塊状、あるいはライン状に発生するなど、画素配列における不良出現範囲が、ある条件を満たした場合に動作不良通知を出力してもよい。あるいは、補正量算出用関数生成部5に不揮発メモリを搭載し、過去に算出されたN次近似の関数Afと、新たに取得されたN次近似の関数Afを比較し、時系列で発生する欠陥のある画素1pの判定、またはセンサチップ動作不良を検知するようにしてもよい。
例えば、画素1pごとの関数AfがN次多項式の場合、出荷検査時に関数Afを生成し、その各項、もしくは一部の係数を不揮発メモリに記憶させておく。そして、新たに生成されたN次多項式で近似された関数Afの各項の係数があらかじめ設定された閾値以上の変化を示した際に欠陥画素化したと判定するようにしてもよい。その際、欠陥画素とみなした画素1p周辺に配列された正常動作とみなされる画素1pの出力値を用いて補完することで欠陥補正を行ってもよい。これらの方法により、経時変化により発生する不良等の早期検知、使用者利便性の向上が可能となるとともに、欠陥補正精度の向上等、赤外線撮像装置の性能向上が可能となる。
これに対して自己学習がない場合、上述したように、起動するたびに、複数回のシャッタキャリブレーションを行う必要がある。しかし、自己学習であれば、初期関数Afが設定された後は、例えば、起動時に1回シャッタキャリブレーションを行っただけでも、精度の高い近似式を用いることができ、シャッタキャリブレーションの頻度を確実に低減することができる。さらには、起動ごとのデータが安定している場合、起動ごとではなく、複数回の起動のうちのいずれかでシャッタキャリブレーションを行うようにしてもよい。なお、このように、データの取得について自己学習する方法は、後述する初期値からの変位量を用いて補正量算出用の関数を生成する場合においても、同様の効果を得ることが可能である。
実施の形態2.
上記実施の形態1においては、タイミング制御部が、実際のシャッタを動作させる際のタイミングの取り方については、特に言及しなかった。本実施の形態2においては、タイミング制御部が、基板温度に基づいてシャッタ動作をさせる構成について説明する。図8は、実施の形態2にかかる赤外線撮像装置について説明するためのものであり、赤外線撮像装置の全体構成を示す機能ブロック図である。なお、本実施の形態2にかかる赤外線撮像装置においては、タイミング制御部のシャッタ動作制御に関連する部分以外の構成は、実施の形態1で説明した構成と同様であり、実施の形態1で説明した図2~図7を援用するとともに、同様部分の説明は繰り返さない。
上記実施の形態1においては、タイミング制御部が、実際のシャッタを動作させる際のタイミングの取り方については、特に言及しなかった。本実施の形態2においては、タイミング制御部が、基板温度に基づいてシャッタ動作をさせる構成について説明する。図8は、実施の形態2にかかる赤外線撮像装置について説明するためのものであり、赤外線撮像装置の全体構成を示す機能ブロック図である。なお、本実施の形態2にかかる赤外線撮像装置においては、タイミング制御部のシャッタ動作制御に関連する部分以外の構成は、実施の形態1で説明した構成と同様であり、実施の形態1で説明した図2~図7を援用するとともに、同様部分の説明は繰り返さない。
実施の形態2にかかる赤外線撮像装置10は、図8に示すように、実施の形態1の図1と比較して、基板温度センサ4からの温度センサ出力Stをタイミング制御部6に入力するようにしたことが異なる。入力された温度センサ出力Stが、設定された値を示すと、シャッタキャリブレーション動作をする。あるいは、基板温度を示す温度センサ出力Stの値が大きく変動した際、シャッタキャリブレーション動作を行い、関数Afの高精度化、または、温度域に応じた関数Afの設定を行うようにする。
この構成により、高精度な画像補正が可能となり、シャッタキャリブレーション頻度の低減、製造コストの大幅な低減という実施の形態1の機能が確実に実現できる。加えて、赤外線撮像装置10の温度状況、例えば環境温度変動、気候の変動、赤外線撮像装置10の取り付け状況の変化、動作電圧の変化が発生したとしても、その都度最適な関数Afを再作成することができる。
実施の形態3.
本実施の形態3においては、上記実施の形態1、2で示した補正量算出用関数生成部を、初期値取得部との組合せで構成し、初期値からの変位量を用いて関数を生成するようにした。図9~図11は実施の形態3にかかる赤外線撮像装置の構成について説明するためのものであり、図9は赤外線撮像装置の構成を示す機能ブロック図、図10は赤外線撮像装置における画素出力の出力変位量と温度センサ出力の出力変位量の経時変化を示す図、図11は赤外線撮像装置における温度センサ出力の出力変位量と画素出力の出力変位量との関係を示す図である。
本実施の形態3においては、上記実施の形態1、2で示した補正量算出用関数生成部を、初期値取得部との組合せで構成し、初期値からの変位量を用いて関数を生成するようにした。図9~図11は実施の形態3にかかる赤外線撮像装置の構成について説明するためのものであり、図9は赤外線撮像装置の構成を示す機能ブロック図、図10は赤外線撮像装置における画素出力の出力変位量と温度センサ出力の出力変位量の経時変化を示す図、図11は赤外線撮像装置における温度センサ出力の出力変位量と画素出力の出力変位量との関係を示す図である。
なお、本実施の形態3にかかる赤外線撮像装置においても、初期値取得部と補正量算出用関数生成部に直接関連する部分以外の構成は、実施の形態1で説明した構成と同様であり、実施の形態1で説明した図2~図7を援用するとともに、同様部分の説明は繰り返さない。
実施の形態3にかかる赤外線撮像装置10では、図9に示すように、実施の形態1の図1で説明した構成要素の内、補正量算出用関数生成部5単独構成に代えて、補正量算出用関数生成部5と初期値取得部8を設けるようにした。そして、初期値取得部8は、A/D変換部2からの画素出力Spを受信するように構成し、補正量算出用関数生成部5は、画素出力Spと温度センサ出力Stを受信するように構成した。さらに、タイミング制御部6はシャッタ3と初期値取得部8と補正量算出用関数生成部5の動作を同期して実施するよう制御もしくは動作指令信号を発生させるように構成した。
初期値取得部8では、起動後、タイミング制御部6からの1回目の制御信号に対するシャッタ動作の際、A/D変換部2から出力されたシャッタ撮像信号(画素出力Sp)と基板温度センサ4から出力された温度センサ出力Stを初期値として保持する。補正量算出用関数生成部5では、以降の制御信号に対して、A/D変換部2から出力された画素出力Sp、基板温度センサ4から出力された温度センサ出力Stに対して、初期値からの出力変位量Vp、Vtを算出する。
つまり、タイミング制御部6の制御信号の内、1回目の制御信号を受けたときは、受信したデータを初期値として格納し、2回目以降の制御信号に対しては、受信したデータの初期値からの出力変位量Vp、Vtを算出して、メモリに一時格納する。その後、温度センサ出力Stの出力変位量Vtと画素出力Spの出力変位量Vpの関係性から第二のN次近似の関数Afを生成する。
温度ドリフト補正量算出部7では、補正量算出用関数生成部5で得られた第二のN次近似の関数Afから、温度センサ出力Stの出力変位量Vtに対応する温度ドリフト補正量Dcを演算する。これにより、温度センサ出力Stに対応して、赤外線撮像素子1から発生し、A/D変換部2を経由して出力される画素出力Spの出力変位量Vpを予測することができる。最後に、A/D変換部2から出力された画素出力Spから、初期値取得部8から出力された初期値と、温度ドリフト補正量算出部7から出力された温度ドリフト補正量Dcを差分演算することで、画素1pごとの出力の平坦化を行うことができる。
次に、補正内容のさらに詳しい説明を行う。
補正量算出用関数生成部で算出される、A/D変換部2から出力された画素1pごとの画素出力Spの初期値からの出力変位量Vp(代表して、画素出力Sp1、Sp2、Sp3に対応するVp1、Vp2、Vp3を記載)は、図10に示すように、時間経過に伴って変化する。同様に、基板温度センサ4から出力された温度センサ出力Stの初期値からの出力変位量Vtも時間経過に伴って変化する。
補正量算出用関数生成部で算出される、A/D変換部2から出力された画素1pごとの画素出力Spの初期値からの出力変位量Vp(代表して、画素出力Sp1、Sp2、Sp3に対応するVp1、Vp2、Vp3を記載)は、図10に示すように、時間経過に伴って変化する。同様に、基板温度センサ4から出力された温度センサ出力Stの初期値からの出力変位量Vtも時間経過に伴って変化する。
赤外線撮像装置10に電源が投入(時間=0)されると、通電による発熱で、基板温度が変動する。タイミング制御部6から1回目の制御信号が発せられたタイミングで得られた初期値に対する、温度センサ出力Stの出力変位量Vtは時間経過とともに上昇する。そして、赤外線撮像素子1が基板温度センサ4と同様の温度変化傾向を示す一方、環境温度と同じシャッタ3の温度は変化しないため、初期値に対する画素出力Spの出力変位量Vpは、時間経過とともに低下する。
図10で説明した、装置の起動時に経時的に変化する温度センサ出力Stの出力変位量Vtとシャッタ撮像信号の出力変位量Vpから、図11に示すような出力変位量Vtに対する画素1pごとの出力変位量Vpとの関係としてプロットすることができる。そこで、補正量算出用関数生成部5は、画素1pごとの画素出力Spから算出した初期値からの出力変位量Vpと、温度センサ出力Stの初期値からの出力変位量Vtから、画素1pごとの出力変位量Vpの第二の関数Afを生成し、温度ドリフト補正量算出部7に出力される。
温度ドリフト補正量算出部7は、補正量算出用関数生成部5から出力された画素1pごとの第二のN次近似の関数Afに、その時点で補正量算出用関数生成部5から出力された出力変位量Vtを代入して、画素1pごとの温度ドリフト補正量Dcを生成する。生成された、画素1pごとの温度ドリフト補正量Dcは、赤外線撮像装置10の取り付け状況、印加される電源電圧変動、鏡筒および光学系部材の温度変化による影響、および画素1pごとの温度ドリフト成分差をすべて考慮したものとなる。
ここで、補正量算出用関数生成部5においては、画素1pごとの出力レベル差に関して考慮されない。しかし、初期値取得部8において、タイミング制御部6から1回目の制御信号が発せられたタイミングでのA/D変換部2の信号を保持することで、機能を代替することができる。つまり、初期値取得部8から出力される画素1pごとの初期値と、補正量算出用関数生成部5において得られた温度ドリフト補正量DcをA/D変換部2からの画素出力Spから差分演算していくことで、画素1pごと出力の平坦化を行うことができる。
そして、本実施の形態3かかる補正量算出用関数生成部5は、実施の形態1での説明と同様に、自己学習によって、第二のN次近似の関数を高精度化させるとともに、シャッタキャリブレーションのタイミングを最適化させる。その結果、実施の形態1における補正量算出用関数生成部5と温度ドリフト補正量算出部7との組合せで実現される機能が保たれる。
加えて、補正量算出用関数生成部5と、その出力を用いて逐次温度ドリフト補正量Dcを生成する温度ドリフト補正量算出部7で取り扱うデータサイズが小さくなり、回路の演算負荷を抑制することができ、構成部材のコスト低減が可能となる。さらに、演算スピードを向上させることができるため、大規模な画素数にも対応した補正処理が可能となる。
実施の形態4.
上記実施の形態3においては、制御信号の回数に応じて保持した初期値を用いて、補正量算出用関数生成部自身が画素出力の変位量を演算する例について説明したが、これに限ることはない。本実施の形態4においては、画素出力に関しては、初期値との差分で演算済の変位量が補正量算出用関数生成部に出力されるように構成した例について説明する。図12は、実施の形態4にかかる赤外線撮像装置について説明するためのものであり、赤外線撮像装置の全体構成を示す機能ブロック図である。なお、本実施の形態4にかかる赤外線撮像装置においては、画素出力の変位量の演算に関連する部分以外の構成は、実施の形態3で説明した構成と同様であり、実施の形態3で説明した図10~図11を援用するとともに、同様部分の説明は繰り返さない。
上記実施の形態3においては、制御信号の回数に応じて保持した初期値を用いて、補正量算出用関数生成部自身が画素出力の変位量を演算する例について説明したが、これに限ることはない。本実施の形態4においては、画素出力に関しては、初期値との差分で演算済の変位量が補正量算出用関数生成部に出力されるように構成した例について説明する。図12は、実施の形態4にかかる赤外線撮像装置について説明するためのものであり、赤外線撮像装置の全体構成を示す機能ブロック図である。なお、本実施の形態4にかかる赤外線撮像装置においては、画素出力の変位量の演算に関連する部分以外の構成は、実施の形態3で説明した構成と同様であり、実施の形態3で説明した図10~図11を援用するとともに、同様部分の説明は繰り返さない。
実施の形態4にかかる赤外線撮像装置10は、図12に示すように、実施の形態3で説明した、A/D変換部2の画素出力Spの代わりに、初期値取得部8の初期値を用いて減算した出力変位量Vpを補正量算出用関数生成部5に出力するようにした。つまり、実施の形態3で示したタイミング制御部6の制御信号の内、2回目以降の信号に対して出力変位量のみを抽出するのと同様の処理が可能となり、実施の形態3と同様の効果を奏することができる。本構成により、差分処理がさらに簡素化され、回路負荷を抑制することができ、構成部材のコスト低減が可能となる。
実施の形態5.
上記各実施の形態1~4においては、シャッタを撮像した画素出力を用いて近似式を生成する例について説明したがこれに限ることはない。本実施の形態5においては、被写体を撮像したデータを用いて近似式を生成する例について説明する。図13と図14は実施の形態5にかかる赤外線撮像装置の構成について説明するためのものであり、図13は赤外線撮像装置の構成を示す機能ブロック図、図14は赤外線撮像装置におけるセンサ出力と画素出力の関係として、N次の近似式で計算されるデータと撮像で得られるデータとを示す図である。
上記各実施の形態1~4においては、シャッタを撮像した画素出力を用いて近似式を生成する例について説明したがこれに限ることはない。本実施の形態5においては、被写体を撮像したデータを用いて近似式を生成する例について説明する。図13と図14は実施の形態5にかかる赤外線撮像装置の構成について説明するためのものであり、図13は赤外線撮像装置の構成を示す機能ブロック図、図14は赤外線撮像装置におけるセンサ出力と画素出力の関係として、N次の近似式で計算されるデータと撮像で得られるデータとを示す図である。
なお、本実施の形態5にかかる赤外線撮像装置においては、シャッタを省略したことと、ドリフト成分を解析するために設けたドリフト成分解析部に関連する部分以外の構成は、上記各実施の形態1~4で説明した構成と同様のものが適用でき、実施の形態1で説明した図2~図7を援用するとともに、同様部分の説明は繰り返さない。
実施の形態5にかかる赤外線撮像装置10においても、図13に示すように、入射赤外線光を受光し電気信号に変換する赤外線撮像素子1と、その信号を受けデジタル変換を行うA/D変換部2を有している。また、実装基板の温度を計測する基板温度センサ4と、基板温度センサ4の出力に応じ、A/D変換部2から出力されたデジタル値を差分処理で補正するための温度ドリフト補正量を算出する温度ドリフト補正量算出部7を備えている。
そして、温度ドリフト補正量を算出するためのN次近似の関数Afを自己学習により生成する補正量算出用関数生成部5と、キャリブレーションのためのタイミングを制御するタイミング制御部6を備えるところまでは、実施の形態1と同様である。それに対し、A/D変換部2からの出力を直接ではなく、ドリフト成分解析部9を経由させ、キャリブレーションに用いるか否かを選別してから補正量算出用関数生成部5に出力するようにし、シャッタ3を省略するようにした。
ドリフト成分解析部9は、A/D変換部2から出力された画素出力Spに対し、補正量算出用関数生成部5から出力された関数Afを基に、温度センサ出力Stから計算される出力値からの逸脱量(ドリフト成分)を計算する。ドリフト成分を、例えば、実施の形態1で説明した、関数Afで算出される値に対する逸脱値と同様に定義した場合、逸脱値がしきい値Thより大きいか否かを判断するように、ドリフト成分が、あらかじめ設定した範囲内に収まっているか否かを判定する。そして、タイミング制御部6からキャリブレーションのタイミングである旨の指令が出ている場合には、画素出力Spのうち、ドリフト成分が範囲内から外れた画素1pのデータを除外して、補正量算出用関数生成部5に出力する。つまり、実施の形態5のドリフト成分解析部9は、実施の形態1における補正量算出用関数生成部5の自己学習の動作と同様に、関数生成におけるデータ選別部として機能する。
タイミング制御部6から、キャリブレーションの指示があった際に、本実施の形態5では、シャッタ3を用いないため、被写体を撮像した画素出力Spを取得する。このとき、撮像アングルが固定されており、被写体の状態が変化しない場合、撮像により得られる画素出力Spと温度センサ出力Stとの関係Rrは、関数Afにより近似した画素出力Spと温度センサ出力Stの関係Raと同じになるはずである。ここで、例えば、人、動物などの移動物体が視野に入ると、図14に示すように、被写体を撮像して得られる画素出力Spと温度センサ出力Stとの関係Rrのうち、移動体が入った撮像タイミングTiにおいては、関係Raからドリフトすることになる。
つまり、キャリブレーション時に、上述したドリフト成分が大きな画素1pからの画素出力を除外することは、撮像データのうち、移動体が映った画素をキャリブレーション対象から除外することになる。その結果、移動体を映した撮像成分と温度ドリフト成分の分離が可能となる。この方法により、温度ドリフト成分のみを抽出し、補正量算出用関数生成部5に出力することで、実施の形態1~4で示したN次近似による関数Afを生成することが可能となり、温度ドリフト補正量算出部7での温度ドリフト補正量Dcの生成が可能となる。
これにより、通常の被写体撮像の際は、A/D変換部2から出力された全画素の画素出力Spに対し、温度ドリフト補正量算出部7から出力された温度ドリフト補正量Dcとの差分演算することで、画素1pごとの出力の平坦化を行う。その結果、基板温度変化に対して逐次演算でき、精度が高い画像信号の平滑化が可能な状態となる。
ただし、本構成により生成される温度ドリフト補正量Dcには、静止している被写体、つまり背景情報の成分が入っている。そのため、背景情報については、差分演算により相殺され、取得することができなくなるが、移動被写体の撮像信号に関しては取得することができ、かつシャッタ3が不要な赤外線撮像装置10を提供することができる。また、装置の取り付け状況、あるいは印加される電源電圧変動等を加味した補正データ作成が可能となるため、高精度な画像補正が可能、製造コストの大幅な低減という効果が保たれる。
なお、赤外線撮像装置10における、演算処理を行う部分(例えば、補正量算出用関数生成部5~ドリフト成分解析部9)を、図15に示すように、プロセッサ11と記憶装置12を備えたひとつのハードウェア10eによって構成することも考えられる。記憶装置12は、図示していないが、ランダムアクセスメモリ等の揮発性記憶装置と、フラッシュメモリ等の不揮発性の補助記憶装置とを具備する。また、フラッシュメモリの代わりにハードディスクの補助記憶装置を具備してもよい。プロセッサ11は、記憶装置12から入力されたプログラムを実行する。この場合、補助記憶装置から揮発性記憶装置を介してプロセッサ11にプログラムが入力される。また、プロセッサ11は、演算結果等のデータを記憶装置12の揮発性記憶装置に出力してもよいし、揮発性記憶装置を介して補助記憶装置にデータを保存してもよい。
また、本願は、様々な例示的な実施の形態および実施例が記載されているが、1つ、または複数の実施の形態に記載された様々な特徴、態様、および機能は特定の実施の形態の適用に限られるのではなく、単独で、または様々な組合せで実施の形態に適用可能である。従って、例示されていない無数の変形例が、本願明細書に開示される技術の範囲内において想定される。例えば、少なくとも1つの構成要素を変形する場合、追加する場合または省略する場合、さらには、少なくとも1つの構成要素を抽出し、他の実施の形態の構成要素と組み合わせる場合が含まれるものとする。
例えば、実施の形態5は実施の形態1に対する差分として記載したが、これに限ることはなく、実施の形態2~4のいずれか、あるいはその組合せに対する差分として構成しても、同様の効果を奏することができる。また、例えば、基板温度センサ4の出力変位量Vtを独立変数として画素1pからの出力変位量Vpの関数を生成する例を示したが、これに限ることはない。温度センサ出力Stを独立変数とする画素出力Spの出力変位量Vpの関数でもよい。さらには、関数AfについてもN次近似に限ることはなく、基板温度を独立変数として補正量を算出でき、複数のデータの組合せで生成できる関数であればよい。
以上のように、各実施の形態にかかる赤外線撮像装置10によれば、入射した赤外線を熱として感知する複数の画素1pが配列された赤外線撮像素子1、赤外線撮像素子1が実装された基板の温度を測定する基板温度センサ4、複数の画素1pのそれぞれから出力される画素出力Spに対する、基板の温度変化(温度センサ出力Stの変化)に応じた温度ドリフト補正量Dcを算出する温度ドリフト補正量算出部7、基板の温度(温度センサ出力Stの値)を独立変数とする、温度ドリフト補正量Dcを算出するための関数Afを生成する関数生成部(補正量算出用関数生成部5)、および、関数Afを生成するための生成用データとして、基板への通電開始に伴い基板の温度が変化する期間(例えば、期間Pb~期間Pd、期間Pe)に、赤外線撮像素子1と基板温度センサ4から、関数生成部に対して、データを同期出力させるタイミング制御部6、を備え、関数生成部は、関数Afを生成した以降に出力された生成用データを、当該関数Afを高精度化させる追加データとして用いるように構成したので、取付状況、電圧変動の影響を低減し、かつ、キャリブレーション回数を低減して撮像できない時間を短縮可能な赤外線撮像装置10を得ることができる。
また、関数生成部(補正量算出用関数生成部5、またはドリフト成分解析部9)は、追加データを構成する画素出力Spのうち、関数Afから算出される値に対して設定した範囲(例えば、近似値±しきい値Th)を外れた画素出力を、追加データから除外するようにしたので、状況が変化した場合、あるいはノイズ等で不正確になったデータを除外することができる。さらには、実施の形態5では、関数生成部のデータ選別部と言うべき、ドリフト成分解析部9の動作で説明したように、シャッタ3を用いない場合でも、移動体に相当する画素出力Spを除去してキャリブレーションが可能となる。
さらに、関数生成部(補正量算出用関数生成部5、またはドリフト成分解析部9)は、(追加データも含めた)生成用データを構成する画素出力Spのうち、関数Afから算出される値に対して設定した範囲(例えば、近似値±しきい値Th)を外れた画素出力を、生成用データから除外して、関数Afを再生成するようにすれば、状況が変化していき、現状では不要となったデータを除外することができる。さらには、実施の形態5では、関数生成部のデータ選別部と言うべき、ドリフト成分解析部9の動作で説明したように、シャッタ3を用いない場合でも、移動体に相当する画素出力Spを除去してキャリブレーションが可能となる。
一方、関数生成部(補正量算出用関数生成部5)は、生成用データを構成する基板の温度の分布状態を分析し、分布が疎な領域に対応する基板の温度のデータを取得できるタイミングを、キャリブレーションにおける同期出力のタイミングとして設定するように構成すれば、キャリブレーション回数を増大させることなく、関数Afを高精度化できる。
さらに関数生成部(補正量算出用関数生成部5)は、生成用データの関数Afにおける分散状態を分析し、分散が大きな領域に対応する基板の温度のデータを取得できるタイミングを、キャリブレーションにおける同期出力のタイミングとして設定するように構成すれば、キャリブレーション回数を増大させることなく、温度ドリフトが大きくなる領域でのデータを確実に補充して、正確な補正が可能になる。
その際、関数生成部(補正量算出用関数生成部5)は、通電開始からの時間、および基板の温度の少なくともいずれかで、同期出力のタイミングを設定すれば、確実に所望のデータが取れる。
赤外線撮像素子1への入射を遮断するシャッタ3を備え、タイミング制御部6は、生成用データを出力させる際、シャッタ3を同期して遮断状態にさせるので、確実にキャリブレーションが可能になる。
関数Afは基板の温度を独立変数とする、画素出力Sp、または画素出力の出力変位量VpのN次近似であり、高精度化としてN次近似の高次化を行うようにすれば、簡単な演算で確実に補正ができる。
1:赤外線撮像素子、 1g:画素部、 1p:画素、 1r:読み出し回路、 1s:駆動線選択回路、 2:A/D変換部、 3:シャッタ、 4:基板温度センサ、 5:補正量算出用関数生成部(関数生成部)、 6:タイミング制御部、 7:温度ドリフト補正量算出部、 8:初期値取得部、 9:ドリフト成分解析部(関数生成部)、 10:赤外線撮像装置、 Af:関数、 Av:許容値、 Dc:温度ドリフト補正量(補正量)、 Sp:画素出力、 Spr:代表画素出力、 St:温度センサ出力、 Th:しきい値、 Vp:出力変位量、 Vt:出力変位量。
Claims (8)
- 入射した赤外線を熱として感知する複数の画素が配列された赤外線撮像素子、
前記赤外線撮像素子が実装された基板の温度を測定する基板温度センサ、
前記複数の画素のそれぞれから出力される画素出力に対する、前記基板の温度変化に応じた温度ドリフト補正量を算出する温度ドリフト補正量算出部、
前記基板の温度を独立変数とする、前記温度ドリフト補正量を算出するための関数を生成する関数生成部、および、
前記関数を生成するための生成用データとして、前記基板への通電開始に伴い前記基板の温度が変化する期間に、前記赤外線撮像素子と前記基板温度センサから、前記関数生成部に対して、データを同期出力させるタイミング制御部、を備え、
前記関数生成部は、前記関数を生成した以降に出力された前記生成用データを、当該関数を高精度化させる追加データとして用いることを特徴とする赤外線撮像装置。 - 前記関数生成部は、前記追加データを構成する前記画素出力のうち、前記関数を用いて算出される値に対して設定した範囲を外れた画素出力を、前記追加データから除外することを特徴とする請求項1に記載の赤外線撮像装置。
- 前記関数生成部は、前記生成用データを構成する前記画素出力のうち、前記関数を用いて算出される値に対して設定した範囲を外れた画素出力を、前記生成用データから除外して、前記関数を再生成することを特徴とする請求項1または2に記載の赤外線撮像装置。
- 前記関数生成部は、前記生成用データを構成する前記基板の温度の分布状態を分析し、分布が疎な領域に対応する前記基板の温度のデータを取得できるタイミングを、前記同期出力のタイミングとして設定することを特徴とする請求項1から3のいずれか1項に記載の赤外線撮像装置。
- 前記関数生成部は、前記生成用データの前記関数における分散状態を分析し、分散が大きな領域に対応する前記基板の温度のデータを取得できるタイミングを、前記同期出力のタイミングとして設定することを特徴とする請求項1から4のいずれか1項に記載の赤外線撮像装置。
- 前記関数生成部は、前記通電開始からの時間、および前記基板の温度の少なくともいずれかで、前記タイミングを設定することを特徴とする請求項4または5に記載の赤外線撮像装置。
- 前記赤外線撮像素子への入射を遮断するシャッタを備え、
前記タイミング制御部は、前記生成用データを出力させる際、前記シャッタを同期して遮断状態にさせることを特徴とする請求項1から6のいずれか1項に記載の赤外線撮像装置。 - 前記関数は前記基板の温度を独立変数とする、前記画素出力、または前記画素出力の変位量のN次近似であり、前記高精度化として前記N次近似の高次化を行うことを特徴とする請求項1から7のいずれか1項に記載の赤外線撮像装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/023194 WO2020250327A1 (ja) | 2019-06-12 | 2019-06-12 | 赤外線撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020250327A1 JPWO2020250327A1 (ja) | 2021-11-04 |
JP7051010B2 true JP7051010B2 (ja) | 2022-04-08 |
Family
ID=73781394
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021525463A Active JP7051010B2 (ja) | 2019-06-12 | 2019-06-12 | 赤外線撮像装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11838679B2 (ja) |
EP (1) | EP3985367A4 (ja) |
JP (1) | JP7051010B2 (ja) |
CN (1) | CN113906275B (ja) |
WO (1) | WO2020250327A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230048503A1 (en) * | 2021-05-27 | 2023-02-16 | Teledyne Flir Commercial Systems, Inc. | Temperature compensation in infrared imaging systems and methods |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005519266A (ja) | 2002-02-27 | 2005-06-30 | インディゴ・システムズ・コーポレーション | マイクロボロメータ焦点面アレイ方法及び回路 |
JP2005236550A (ja) | 2004-02-18 | 2005-09-02 | Mitsubishi Electric Corp | 赤外線カメラ |
JP2007502403A (ja) | 2003-08-11 | 2007-02-08 | オプガル リミテッド | 非冷却マイクロボロメータ検出器を使用する放射測定 |
JP2008268134A (ja) | 2007-04-24 | 2008-11-06 | Matsushita Electric Works Ltd | 赤外線検出装置 |
JP2008283620A (ja) | 2007-05-14 | 2008-11-20 | Mitsubishi Electric Corp | 固体撮像装置 |
JP2012525573A (ja) | 2009-04-30 | 2012-10-22 | ユリス | 赤外放射を検出するためのシステム及び方法 |
JP2015226284A (ja) | 2014-05-29 | 2015-12-14 | 株式会社ビジョンセンシング | 赤外線カメラ |
US20170089764A1 (en) | 2015-09-24 | 2017-03-30 | Korea Advanced Institute Of Science And Technology | Multi-reference correlated double sampling detection method and microbolometer using the same |
WO2018012050A1 (ja) | 2016-07-14 | 2018-01-18 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6515285B1 (en) * | 1995-10-24 | 2003-02-04 | Lockheed-Martin Ir Imaging Systems, Inc. | Method and apparatus for compensating a radiation sensor for ambient temperature variations |
WO1997018589A1 (en) * | 1995-11-15 | 1997-05-22 | Lockheed-Martin Ir Imaging Systems, Inc. | A dual-band multi-level microbridge detector |
JP3415527B2 (ja) | 1999-12-16 | 2003-06-09 | エヌイーシーネットワーク・センサ株式会社 | 抵抗変化型赤外線センサ素子の温度補正方法と温度補正手段を具備した抵抗変化型赤外線センサ並びに撮像装置 |
JP3565338B2 (ja) | 2001-04-11 | 2004-09-15 | 日本電気株式会社 | 赤外線撮像装置及びドリフト補正方法 |
JP2004117000A (ja) | 2002-09-20 | 2004-04-15 | Toshiba Corp | 赤外線検知器用シャッタ機構 |
JP3648506B2 (ja) * | 2002-09-27 | 2005-05-18 | 株式会社東芝 | 赤外線撮像装置 |
JP2008268155A (ja) | 2007-04-25 | 2008-11-06 | Mitsubishi Electric Corp | 熱型赤外線固体撮像素子 |
JP2009089138A (ja) * | 2007-10-01 | 2009-04-23 | Mitsubishi Electric Corp | 赤外線カメラ |
WO2011156037A2 (en) * | 2010-03-16 | 2011-12-15 | The Penn State Research Foundation | Methods and apparatus for ultra-sensitive temperature detection using resonant devices |
JP5542090B2 (ja) | 2011-04-27 | 2014-07-09 | 旭化成エレクトロニクス株式会社 | 赤外線センサ信号の補正方法及び温度測定方法並びに温度測定装置 |
JP2013007735A (ja) * | 2011-05-20 | 2013-01-10 | Honda Motor Co Ltd | 赤外線カメラ |
-
2019
- 2019-06-12 WO PCT/JP2019/023194 patent/WO2020250327A1/ja unknown
- 2019-06-12 US US17/434,358 patent/US11838679B2/en active Active
- 2019-06-12 EP EP19932744.6A patent/EP3985367A4/en active Pending
- 2019-06-12 CN CN201980096792.8A patent/CN113906275B/zh active Active
- 2019-06-12 JP JP2021525463A patent/JP7051010B2/ja active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005519266A (ja) | 2002-02-27 | 2005-06-30 | インディゴ・システムズ・コーポレーション | マイクロボロメータ焦点面アレイ方法及び回路 |
JP2007502403A (ja) | 2003-08-11 | 2007-02-08 | オプガル リミテッド | 非冷却マイクロボロメータ検出器を使用する放射測定 |
JP2005236550A (ja) | 2004-02-18 | 2005-09-02 | Mitsubishi Electric Corp | 赤外線カメラ |
JP2008268134A (ja) | 2007-04-24 | 2008-11-06 | Matsushita Electric Works Ltd | 赤外線検出装置 |
JP2008283620A (ja) | 2007-05-14 | 2008-11-20 | Mitsubishi Electric Corp | 固体撮像装置 |
JP2012525573A (ja) | 2009-04-30 | 2012-10-22 | ユリス | 赤外放射を検出するためのシステム及び方法 |
JP2015226284A (ja) | 2014-05-29 | 2015-12-14 | 株式会社ビジョンセンシング | 赤外線カメラ |
US20170089764A1 (en) | 2015-09-24 | 2017-03-30 | Korea Advanced Institute Of Science And Technology | Multi-reference correlated double sampling detection method and microbolometer using the same |
WO2018012050A1 (ja) | 2016-07-14 | 2018-01-18 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113906275A (zh) | 2022-01-07 |
CN113906275B (zh) | 2023-12-22 |
EP3985367A4 (en) | 2022-07-06 |
EP3985367A1 (en) | 2022-04-20 |
US20220159199A1 (en) | 2022-05-19 |
JPWO2020250327A1 (ja) | 2021-11-04 |
US11838679B2 (en) | 2023-12-05 |
WO2020250327A1 (ja) | 2020-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111133755B (zh) | 用于红外相机的平场校正系统和方法 | |
TWI507036B (zh) | 用於修正成像像素之黑色位準 | |
EP1530363B1 (en) | Improvements in or relating to image sensors | |
US8158942B2 (en) | Device and method for detecting infrared radiation through a resistive bolometer matrix | |
US20120211648A1 (en) | On-board non-uniformity correction calibration methods for microbolometer focal plane arrays | |
US7812867B2 (en) | Image processing apparatus adapted to correct image signal | |
RU2534432C2 (ru) | Способ коррекции изображений, даваемых детектором, без регулирования температуры, и детектор, реализующий такой способ | |
US8823800B2 (en) | Method and apparatus for the correction of a non-uniform sensitivity of detector elements in thermographic cameras | |
US9894300B2 (en) | Image sensing device for measuring temperature without temperature sensor and method for driving the same | |
JP2010071987A (ja) | 抵抗型イメージングボロメータを具備した赤外線放射検出用デバイス、そのようなボロメータのアレイを具備したシステム、及びそのようなシステムに一体化されたイメージングボロメータの読み取り方法 | |
US10432881B2 (en) | Infrared imaging device and method of updating fixed pattern noise data | |
JP7051010B2 (ja) | 赤外線撮像装置 | |
US10523883B2 (en) | Infrared imaging device and method of updating fixed pattern noise data | |
US8436923B2 (en) | Imaging apparatus having a function for estimating a dark current amount | |
JP2001268440A (ja) | 赤外線撮像装置 | |
JP2007174500A (ja) | 撮像装置 | |
JP4262253B2 (ja) | 画像信号処理装置を有する撮像装置、及び同装置を用いたカメラ | |
JP2019213193A (ja) | 赤外線撮像装置及びそれに用いられるプログラム | |
US20240080592A1 (en) | Photoelectric conversion apparatus, photoelectric conversion system, and photoelectric conversion method | |
US12069351B2 (en) | Image capturing apparatus comprising cooling capability based on temperature detection, control method thereof, and storage medium | |
US11632506B2 (en) | Non-uniformity correction (NUC) self-calibration using images obtained using multiple respective global gain settings | |
FR2921223A1 (fr) | Correction de tension de sortie de photodetecteur. | |
JP2023008397A (ja) | 画像補正装置、画像補正方法および画像補正プログラム | |
KR20220149421A (ko) | 이미지 프레임의 시퀀스를 캡쳐하기 위한 마이크로볼로미터 검출기를 갖는 열 카메라 및 이에 대한 방법 | |
JP2021118546A (ja) | 欠陥を補正するため、特に画像センサによって提供される画像中のノイズを低減するための方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210514 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220329 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7051010 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |