JP6275334B2 - 赤外線撮像装置及び固定パターンノイズデータの更新方法 - Google Patents

赤外線撮像装置及び固定パターンノイズデータの更新方法 Download PDF

Info

Publication number
JP6275334B2
JP6275334B2 JP2017518758A JP2017518758A JP6275334B2 JP 6275334 B2 JP6275334 B2 JP 6275334B2 JP 2017518758 A JP2017518758 A JP 2017518758A JP 2017518758 A JP2017518758 A JP 2017518758A JP 6275334 B2 JP6275334 B2 JP 6275334B2
Authority
JP
Japan
Prior art keywords
infrared
fixed pattern
pattern noise
amount
detector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017518758A
Other languages
English (en)
Other versions
JPWO2016185701A1 (ja
Inventor
善工 古田
善工 古田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Application granted granted Critical
Publication of JP6275334B2 publication Critical patent/JP6275334B2/ja
Publication of JPWO2016185701A1 publication Critical patent/JPWO2016185701A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/02Details
    • G01J1/04Optical or mechanical part supplementary adjustable parts
    • G01J1/0407Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings
    • G01J1/0411Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings using focussing or collimating elements, i.e. lenses or mirrors; Aberration correction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/10Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void
    • G01J1/12Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void using wholly visual means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4228Photometry, e.g. photographic exposure meter using electric radiation detectors arrangements with two or more detectors, e.g. for sensitivity compensation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44Electric circuits
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/06Arrangements for eliminating effects of disturbing radiation; Arrangements for compensating changes in sensitivity
    • G01J5/064Ambient temperature sensor; Housing temperature sensor; Constructional details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/673Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
    • H04N25/674Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources based on the scene itself, e.g. defocusing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44Electric circuits
    • G01J2001/444Compensating; Calibrating, e.g. dark current, temperature drift, noise reduction or baseline correction; Adjusting
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077Imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/80Calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Description

本発明は、赤外線撮像装置に関し、更に詳しくは、入射赤外線を検出して電気信号に変換する赤外線検出器を含む赤外線撮像装置に関する。また、本発明は、そのような赤外線撮像装置における固定パターンノイズデータの更新方法に関する。
入射赤外光(赤外線)を検出して赤外線画像を生成する赤外線撮像装置が知られている。一般に、赤外線撮像装置は、被写体から放射される赤外線を検出して電気信号に変換する赤外線検出器を含む。赤外線撮像装置は、監視カメラ、暗視装置、サーモグラフィ、又は車両や航空機などに搭載する先方監視装置などの広範囲の分野で利用されている。
赤外線撮像装置では、赤外線検出器が持つ感度のばらつきや、回路のゲイン及びオフセットのばらつきなどの装置固有の固定パターンノイズが発生する。特に、赤外線の検出器素子として2次元的に配列されたフォーカルプレーンアレイを用いた赤外線撮像装置では、アレイ内の各検出器素子が特性の変動を有しているため、結果として、比較的長い時間で変化する固定パターンノイズが発生する。
固定パターンノイズが発生すると、赤外線撮像装置により均一な温度の面を撮像しても、画素値に変動が生じて均一な画像が得られない。固定パターンノイズの影響を低減するには、固定パターンノイズのデータ(固定パターンノイズデータ)を取得し、被写体を撮像して得られた画像信号から固定パターンノイズデータを減算すればよい。固定パターンノイズデータは、例えば、均一な光量の光源を赤外線検出器の前面に設置し、かつ外部から赤外線検出器に入射する赤外線を遮断した状態で取得される。
固定パターンノイズは、温度など環境の変化によって変動するため、撮像を行っている途中に、繰り返し固定パターンノイズデータの取得を行うことが要望される。この要望に応えるために、赤外線撮像装置内にシャッタ機構を設け、外部から赤外線検出器に入射する赤外線を遮断して固定パターンノイズデータを取得することが提案されている(例えば特許文献1を参照)。しかしながら、特許文献1では、光学系及び赤外線検出器の周辺に、本来の撮像には不必要なシャッタ機構を配置する必要があり、コストアップや装置の大型化をもたらす。また、故障発生個所が増えるというデメリットもある。
シャッタ機構を不要としつつ固定パターンノイズデータの取得が可能な赤外線撮像装置が特許文献2に記載されている。特許文献2に記載の赤外線撮像装置は、目標物体(被写体)から放射された光を集光して赤外線検出器に入射させる光学系と、赤外線検出器が出力した画像信号(画像データ)から固定パターンノイズデータを減算した画像データを出力する減算器とを含む。光学系は、通常の撮像時は、焦点調整機構により合焦位置に位置決めされる。
特許文献2では、固定パターンノイズデータの取得時に、光学系が非合焦状態に制御される。光学系が非合焦状態となることで、光学系の観測視野内の全方向からの光が赤外線検出器に均等に入射する。つまり、光学系に対して様々な方向から入射した光束は、赤外線検出器の特定の点に結像せず、赤外線検出器の検出面に均等に入射する。この状態において、減算器の出力画像データと固定パターンノイズの期待値データとの誤差を求める。この誤差に基づく帰還データを固定パターンノイズデータとして減算器に与える負帰還を行い、減算器の出力画像データと期待値データとがほぼ同一となった時の帰還データを固定パターンノイズデータとして保持する。
特許文献2では、均一な光量の光源を赤外線検出器の前面に設置し、かつ外部から赤外線検出器に入射する赤外線を遮断した状態で得られた画像データを固定パターンノイズの期待値データとして用いている。光学系を非合焦状態とし、赤外線検出器の検出面に観測視野内の全方向からの光を入射させることで、各検出器素子に均一な量の赤外線を入射させることができ、シャッタ機構を用いずに、固定パターンノイズデータを得ることができる。
特開平10−142065号公報 特開2001−336983号公報
特許文献2に記載の赤外線撮像装置において、固定パターンノイズデータを適切に取得するためには、光学系の観測視野内の全方向からの光が赤外線検出器の検出面に均一に入射する必要がある。しかしながら、実際の使用環境においては、観測視野内の全方向からの光が赤外線検出器の検出面に入射できるとは限らない。光学系を非合焦状態としても、赤外線画像には模様が生じる。別の言い方をすれば、画像内に、入射赤外線が多い部分と、入射赤外線が少ない部分とが分布する。特許文献2に記載の赤外線撮像装置においては、赤外線検出器の検出面のある領域に入射する赤外線の量と、他の領域に入射する赤外線の量とに差があると、適切な固定パターンノイズデータを得ることができない。
本発明は、上記事情に鑑み、シャッタ機構を必要とせず、かつ観測視野内の全方向からの光が赤外線検出器の検出面に均一に入射しない場合であっても、固定パターンノイズデータの取得が可能な赤外線撮像装置を提供する。
また、本発明は、そのような赤外線撮像装置における固定パターンノイズデータの更新方法を提供する。
本発明は、上記目的を達成するために、入射した赤外線を検出する複数の検出器素子を含む赤外線検出器と、複数の検出器素子により検出された赤外線の検出信号から固定パターンノイズデータを減算することにより、赤外線の検出信号から固定パターンノイズを除去するノイズ補正処理部と、赤外線検出器により検出された複数回の赤外線の検出信号に基づいて、赤外線の検出信号に含まれる赤外線検出器に入射した赤外線に依存する信号成分の量を算出する信号成分量計算部、赤外線の検出信号と信号成分量計算部により算出された信号成分の量とに基づいて固定パターンノイズ成分の量を算出する固定パターンノイズ算出部、及び固定パターンノイズ算出部により算出された固定パターンノイズ成分の量で固定パターンノイズデータを更新するデータ更新部とを含むノイズデータ更新処理部とを備え、信号成分量計算部は、処理の対象の各検出器素子について、各検出器素子により検出された複数回の赤外線の検出信号の分散又は標準偏差を算出し、算出した分散又は標準偏差に基づいて、入射した赤外線に依存する信号成分の量を算出することを特徴とする赤外線撮像装置を提供する。
本発明の赤外線撮像装置において、固定パターンノイズ算出部は、赤外線の検出信号と信号成分量計算部により算出された信号成分の量との差を、固定パターンノイズ成分の量として算出してもよい。
本発明の赤外線撮像装置において、ノイズデータ更新処理部は、各検出器素子について、固定パターンノイズ算出部により算出された固定パターンノイズ成分の量と更新前の固定パターンノイズデータとの差を計算し、その差が第1のしきい値以下であるか否かを判定する判定部を更に含んでいてもよい。その場合、データ更新部は、上記の差が第1のしきい値以下であると判定された検出器素子について、固定パターンノイズ算出部により算出された固定パターンノイズ成分の量で固定パターンノイズデータを更新してもよい。
上記において、データ更新部は、上記の差が第1のしきい値よりも大きいと判定された検出器素子については、固定パターンノイズデータの更新を行わないこととしてもよい。
データ更新部は、ある領域について、その領域における、上記の差が第1のしきい値を超える検出器素子の数の割合が第2のしきい値よりも高い場合は、その領域に含まれる検出器素子について、固定パターンノイズデータの更新を行わないこととしてもよい。
本発明の赤外線撮像装置は温度を計測する温度計測部を更に備えていてもよい。その場合、データ更新部は、温度計測部が計測する温度と前回の固定パターンノイズデータの更新時の温度との差が温度しきい値以上の場合に、固定パターンノイズデータの更新を行うこととしてもよい。
データ更新部は、周期的に繰り返し固定パターンノイズデータの更新を行ってもよい。
本発明の赤外線撮像装置は、結像位置の制御が可能な光学系と、光学系の結像位置を制御する焦点位置制御部とを更に備えていてもよく、赤外線検出器の複数の検出器素子には光学系を介して赤外線が入射される構成であってもよい。その場合、信号成分量計算部は、焦点位置制御部が光学系の結像位置を制御して光学系が非合焦状態に制御された状態で検出器素子により検出された複数回の赤外線の検出信号の分散又は標準偏差を算出してもよい。
本発明は、また、複数の検出器素子を含む赤外線検出器における固定パターンノイズを示す固定パターンノイズデータの更新方法であって、赤外線検出器により赤外線を検出するステップと、赤外線を検出するステップを複数回実施することで得られた複数回の赤外線の検出信号の分散又は標準偏差を算出するステップと、算出された分散又は標準偏差に基づいて、赤外線の検出信号に含まれる検出器素子に入射した赤外線に依存する信号成分の量を算出するステップと、赤外線の検出信号と、信号成分の量を算出するステップにおいて算出された信号成分の量とに基づいて固定パターンノイズ成分の量を算出するステップと、固定パターンノイズ成分の量を算出するステップにおいて算出された固定パターンノイズ成分の量で固定パターンノイズデータを更新するステップとを有することを特徴とする固定パターンノイズデータの更新方法を提供する。
本発明の固定パターンノイズデータの更新方法は、固定パターンノイズデータを更新するステップに先だって、算出された固定パターンノイズ成分の量と更新前の固定パターンノイズデータとの差を計算するステップを更に有していてもよい。その場合、固定パターンノイズデータを更新するステップでは、算出された固定パターンノイズ成分の量と更新前の固定パターンノイズデータとの差がしきい値以下である検出器素子について、算出された固定パターンノイズ成分の量で固定パターンノイズデータを更新してもよい。
本発明の赤外線撮像装置及び固定パターンノイズデータの更新方法では、赤外線検出器による赤外線の検出を複数回実施し、複数回の赤外線の検出信号の分散又は標準偏差を算出する。赤外線を複数回検出した場合におけるその検出信号の変動はショットノイズが支配的であり、ショットノイズによる検出信号の変動の大きさは、検出器素子に入射した赤外線に依存する信号成分の量に依存する。この関係を用いれば、赤外線の検出信号の分散又は標準偏差に基づいて、赤外線の検出信号に含まれる検出器素子に入射した赤外線に依存する信号成分の量を算出することができる。赤外線の検出信号と算出された信号成分の量とに基づいて固定パターンノイズ成分の量を算出し、算出された固定パターンノイズ成分の量で固定パターンノイズデータを更新する。このようにすることで、シャッタ機構を必要とせず、かつ観測視野内の全方向からの光が赤外線検出器の検出面に均一に入射しない場合であっても、固定パターンノイズのデータを取得することができる。
本発明の第1実施形態に係る赤外線撮像装置を示すブロック図。 デジタル信号処理部の構成を示すブロック図。 ノイズデータ更新処理部の構成を示すブロック図。 入射赤外線に依存する信号成分と、固定パターンノイズ成分と、赤外線検出信号とを示す 複数回の赤外線検出信号を示す図。 本発明の第1実施形態に係る固定パターンノイズデータの更新方法の手順を示すフローチャート。 本発明の第2実施形態に係る赤外線撮像装置におけるノイズデータ更新処理部の構成を示すブロック図。 本発明の第2実施形態に係る固定パターンノイズデータの更新方法の手順を示すフローチャート。 画像の領域の分割例を示す図。 本発明の第3実施形態に係る赤外線撮像装置を示すブロック図。
以下、図面を参照し、本発明の実施の形態を詳細に説明する。図1は、本発明の第1実施形態に係る赤外線撮像装置を示す。赤外線撮像装置100は、光学系10、赤外線検出器11、アナログ信号処理部12、AD変換器(Analog to Digital Convertor)13、デジタル信号処理部14、出力部15、温度センサ18、及び制御部19を有する。赤外線撮像装置100は、一つの完成した製品であってもよいし、他の製品に組み込んで使用されるモジュールであってもよい。
光学系10は1以上のレンズを含む結像光学系である。赤外線検出器11は、赤外線撮像素子(赤外線センサ)であり、光学系10により形成された光学像を撮像して電気信号に変換する。赤外線検出器11は、入射赤外光(赤外線)を検出する複数の検出器素子を含む。赤外線検出器11において、複数の検出器素子は例えば2次元状に配列されている。赤外線検出器11の赤外線検出面(以下、単に検出面とも呼ぶ)には、光学系10を介して赤外線が入射される。赤外線検出器11の検出面の位置は、好ましくは光学系10の結像面の位置と一致している。赤外線検出器11の各検出器素子の検出信号に基づいて、赤外線画像が構成される。
赤外線検出器11は、例えば波長0.83μmから1000μmの範囲の赤外線を検出する。赤外線検出器11は、特に、波長6μmから1000μmの範囲の遠赤外線を検出するものであることが好ましい。赤外線検出器11には、ボロメータ又はSOI(Silicon on Insulator)ダイオード型などの熱型の赤外線センサを用いることができる。
アナログ信号処理部12は、赤外線検出器11が出力する赤外線検出信号に対してアナログ電気処理を実施する。アナログ信号処理部12は、典型的には、赤外線検出信号を増幅する増幅器を含む。AD変換器13は、赤外線検出信号をサンプリングし、サンプリングした赤外線検出信号をデジタルデータ(デジタル信号値)に変換する。デジタル信号処理部14は、AD変換器13によりデジタルデータに変換された赤外線検出信号に対して信号処理を行う。デジタル信号処理部14における信号処理は、赤外線検出信号の固定パターンノイズ(以下、FPN(Fixed Pattern Noise)とも呼ぶ)補正処理と、その補正処理で用いられるFPNデータの更新処理とが含まれる。
制御部19は、装置全体の制御を行う。制御部19には、例えばFPGA(Field-Programmable Gate Array)などのPLD(Programmable Logic Device)を用いることができる。制御部19は、赤外線撮像装置100の動作モードを、通常撮像モードとFPNデータの更新モードとの間で切り替える。制御部19は、制御信号を通じて、デジタル信号処理部14における信号処理を動作モードに応じて制御する。具体的には、通常撮像モード時はデジタル信号処理部14にFPN補正処理を実施させ、FPNデータの更新モード時はFPNデータ更新処理を実施させる。
温度センサ(温度計測部)18は、赤外線検出器11及びその周辺の温度を計測する。制御部19は、温度センサ18が計測する温度の変化に基づいて、動作モードをFPNデータの更新モードに切り替えてもよい。例えば、温度センサ18が計測する温度と、前回のFPNデータの更新時の温度との差がしきい値(温度しきい値)以上となると、動作モードをFPNの更新モードに切り替えてFPNデータの更新を実施させてもよい。また、制御部19は、通常撮像モードの合間に、周期的に繰り返しFPNデータの更新モードに切り替えてもよい。その場合は、前回のFPNデータの更新時刻からある時間経過した後に、FPNデータの更新モードに切り替えてもよい。FPNデータの更新周期は一定である必要はない。周期的にFPNデータの更新モードに切り替えることで、FPNデータを周期的に更新することができる。
出力部15は、デジタル信号処理部14で信号処理された赤外線検出信号(画像データ)を出力する。出力部15は、例えば赤外線検出信号を、ディスプレイ装置(図1において図示せず)などに出力し、赤外線画像を表示画面に表示させる。あるいは、ハードディスク装置やメモリカードなどの外部記憶装置(図1において図示せず)に赤外線検出信号を出力し、外部記憶装置に記憶させてもよい。さらには、ネットワークや通信ケーブルなどを介して、外部のサーバや処理装置に赤外線検出信号を送信してもよい。出力部15は、例えばデジタル信号をアナログ信号に変換するDA変換器(Digital Analog Convertor)を含み、赤外線検出信号をアナログ信号として出力する。出力部15は、赤外線検出信号をデジタル信号として出力してもよい。
図2は、デジタル信号処理部14の構成を示す。デジタル信号処理部14は、スイッチ41、ノイズ補正処理部42、FPNデータ記憶部43、及びノイズデータ更新処理部44を有する。デジタル信号処理部14は、典型的には、DSP(Digital Signal Processor)などのLSI(Large Scale Integration)として構成される。DSPは、典型的には、プロセッサと、プロセッサに対する命令を格納するROM(Read Only Memory)と、データを格納するRAM(Random Access Memory)とを含み、これらはバスを介して接続されている。プロセッサがROMに格納された命令に従って動作することで、ノイズ補正処理部42及びノイズデータ更新処理部44などの機能が実現される。DSPは、外部の記憶装置などと接続するインタフェースを有していてもよい。
スイッチ41には、AD変換器13(図1を参照)が出力する赤外線検出信号のデジタルデータ(以下では、デジタルデータに変換された赤外線検出信号を、特に区別せずに赤外線検出信号と呼ぶことがある)が入力される。スイッチ41は、赤外線検出信号を、ノイズ補正処理部42とノイズデータ更新処理部44に選択的に出力する。スイッチ41の切り替えは、例えば制御部19が出力する制御信号に基づいて実施される。制御部19は、通常撮像モード時はスイッチ41からノイズ補正処理部42に赤外線検出信号を出力させる。制御部19は、FPNデータの更新モード時は、スイッチ41からノイズデータ更新処理部44に赤外線検出信号を出力させる。また、ノイズデータ更新処理部44にFPNデータの更新を指示する。
FPNデータ記憶部43は、FPNデータを記憶する。ここで、FPNとは、赤外線検出器11(図1を参照)の各検出器素子(各画素)に固有の、各検出器素子の検出信号に含まれるノイズ成分を指す。FPNデータは、各検出器素子のFPNを表すデータであり、各検出器素子のFPNの集合である。FPNデータ記憶部43は、初期状態では、均一な光量の光源を赤外線検出器11の前面に設置し、かつ外部から赤外線検出器11に入射する赤外線を遮断した状態で赤外線検出器11により検出された赤外線検出信号を、FPNデータとして記憶していてもよい。FPNデータ記憶部43は、例えばデジタル信号処理部14が有するRAMの内部に構成されていてもよいし、EEPROM(Electrically Erasable and Programmable Read Only Memory)などの書き換え可能な不揮発性メモリで構成されていてもよい。
ノイズ補正処理部42は、FPNデータ記憶部43を参照して、赤外線検出信号に含まれるFPN成分の補正(除去)を行う。より詳細には、赤外線検出信号からFPNデータを減算することにより、赤外線検出信号からFPNを除去する。ノイズ補正処理部42は、赤外線検出器11に含まれる各検出器素子が出力する赤外線検出信号からその検出器素子のFPNデータを減算することにより、各検出器素子に固有のノイズ成分を除去して、入射赤外線の量に依存した信号成分を出力する。
ノイズデータ更新処理部44には、スイッチ41を介して、赤外線検出器11により検出された赤外線検出信号が入力される。ノイズデータ更新処理部44には、複数回の赤外線検出信号が入力される。ノイズデータ更新処理部44は、複数回の赤外線検出信号に基づいてFPN成分の量(その推定値)を算出する。より詳細には、ノイズデータ更新処理部44は、複数回の赤外線検出信号に基づいて、赤外線検出信号に含まれる赤外線検出器に入射した赤外線に依存する信号成分の量を算出する。ノイズデータ更新処理部44は、赤外線検出信号から算出した信号成分の量を減算することにより、FPN成分の量を算出する。ノイズデータ更新処理部44は、算出したFPN成分の量でFPNデータ記憶部43に記憶されたFPNデータを更新する。
ここで、FPNデータを更新するとは、FPNデータ記憶部43に記憶されたFPNデータを新たなデータで書き換えることを意味する。FPNデータの更新は、赤外線検出器11に含まれる全ての検出器素子を一度に更新するもののみならず、全検出器素子のうちの一部を対象に行う一部更新も含む。例えば赤外線検出器11が検出器素子を100個含むとき、それら100個の検出器素子のFPNデータを一度に更新してもよいし、1回の更新につき、100個のうちの40個から70個の検出器素子のFPNデータを更新してもよい。
図3は、ノイズデータ更新処理部44の構成を示す。ノイズデータ更新処理部44は、フレームメモリ51と、信号成分量計算部52と、固定パターンノイズ算出部(減算器)53と、データ更新部54とを含む。フレームメモリ51は、赤外線検出器11により撮像された赤外線画像を記憶する。フレームメモリ51は、例えばフレーム1からフレームN(Nは2以上の整数)までの複数フレームの赤外線画像を記憶する。フレームメモリ51は、ノイズデータ更新処理部44の一部であってもよいし、ノイズデータ更新処理部44の外部に設けられていてもよい。
ここで、赤外線検出器11の検出器素子により検出された赤外線検出信号と、その赤外線検出信号に含まれる入射赤外線に依存する信号成分及び固定パターンノイズ成分との関係を説明する。図4は、入射赤外線に依存する信号成分と、固定パターンノイズ成分と、赤外線検出信号とを示す図である。図4には、検出器素子1〜5の5つの検出器素子について、入射赤外線に依存する信号成分と、固定パターンノイズ成分と、赤外線検出信号とが示されている。
一般に、各検出器素子には、被写体の像に依存して検出器素子ごとに異なる量の赤外線が入射する。従って、図4に示すように、入射赤外線に依存する信号成分S1〜S5は、相互に等しくはならないことが多い。一方で、各検出器素子の固定パターンノイズ成分FPN1〜FPN5は、検出器素子に固有であり、信号成分の量には依存しない。各検出器素子の赤外線検出信号DS1〜DS5は、それぞれ信号成分S1〜S5に、固定パターンノイズ成分FPN1〜FPN5を加えたものとなる。信号成分S1〜S5は、固定パターンノイズ成分FPN1〜FPN5と一緒に検出されるため、赤外線検出信号DS1〜DS5のうち、どの部分が信号成分S1〜S5で、どの部分が固定パターンノイズ成分FPN1〜FPN5かは判別できない。
図5は、1つの検出器素子で検出される複数回の赤外線信号を示す。例えば、ある検出器素子について、フレーム1からフレームNまで、赤外線検出信号をN回連続的に検出したとする。kを1からNまでの間の整数として、kフレーム目の赤外線検出信号を、DS(k)で表す。各フレームの赤外線検出信号DS(k)に含まれる固定パターンノイズ成分の量は一定である。フレーム1からフレームNまで、検出器素子に入射する赤外線の量に変化がないと仮定した場合、各フレームの赤外線検出信号DS(k)に含まれる入射赤外線に依存する信号成分の量は等しくなるはずである。しかし、実際には、ショットノイズなどの影響により、赤外線検出信号DS(k)にはフレーム間で変動が生じる。
各検出器素子における赤外線検出信号の変動は、ショットノイズが支配的である。ショットノイズによる赤外線検出信号の変動の度合いは、赤外線検出信号の標準偏差で表される。また、ショットノイズによる赤外線検出信号の変動は、信号成分の量(入射赤外線の量)に依存する。より詳細には、ショットノイズによる赤外線検出信号の変動の度合いは、信号成分の量の1/2乗に等しい。この関係を用いれば、各検出器素子における赤外線検出信号の変動から、各検出器素子における入射赤外線に依存する信号成分の量(その推定値)を算出することができる。つまり、各検出器素子における赤外線検出信号の分散又は標準偏差から、各検出器素子における信号成分の量を算出することができる。赤外線検出信号から信号成分の量を減算することで、固定パターンノイズ成分の量を算出できる。
図3に戻り、信号成分量計算部52は、フレームメモリ51を参照して、処理の対象の各検出器素子について、各検出器素子により検出された複数回の赤外線検出信号の分散又は標準偏差を算出する。信号成分量計算部52は、算出した分散又は標準偏差に基づいて、赤外線検出信号に含まれる入射赤外線に依存した信号成分の量を算出する。より詳細には、信号成分量計算部52は、算出した分散の値を信号成分の量とする。あるいは、算出した標準偏差を2乗した値を信号成分の量とする。
信号成分量計算部52において、分散又は標準偏差の算出に用いられる赤外線検出信号の数(フレーム数)は、10フレーム以上であることが好ましく、20フレーム以上であることが更に好ましい。フレーム数が多いほど、信号成分量計算部52において算出される、赤外線検出信号に含まれる入射赤外線に依存した信号成分の量の精度が高くなる。一方で、フレーム数が多いほど被写体のズレが大きくなる可能性が高まる。信号成分量計算部52は、被写体のズレに応じて分散又は標準偏差の算出に用いられる赤外線検出信号の数を変化させてもよい。例えば20フレーム分の赤外線検出信号について、前半の10フレーム分の赤外線検出信号の平均値と後半の10フレーム分の赤外線検出信号の平均値とを計算し、前半の平均値と後半の平均値との差を求める。前半の平均値と後半の平均値と差が小さい場合は、20フレーム分の赤外線検出信号を用いて分散又は標準偏差を算出する。前半の平均値と後半の平均値との差が大きい場合は、前半又は後半の10フレーム分の赤外線検出信号を用いて分散又は標準偏差を算出してもよい。
固定パターンノイズ算出部53には、赤外線検出信号と、信号成分量計算部52が算出した信号成分の量とが入力される。固定パターンノイズ算出部53に入力される赤外線検出信号は、例えばフレームメモリ51に記憶された複数回の赤外線検出信号の平均値である。これに代えて、固定パターンノイズ算出部53に、フレームメモリ51に記憶された複数回の赤外線検出信号のうちの1つを入力してもよい。さらには、固定パターンノイズ算出部53に、フレームメモリ51に記憶された複数回の赤外線検出信号の中央値(メディアン)又は最頻値(モード)を入力してもよい。固定パターンノイズ算出部53は、赤外線検出信号から信号成分量計算部52が算出した信号成分の量を減算して出力する。固定パターンノイズ算出部53の出力はFPN成分の量に相当する。データ更新部54は、FPNデータ記憶部43に記憶された注目する検出器素子のFPNデータを、固定パターンノイズ算出部53が出力する注目する検出器素子のFPN成分の量で更新する。
なお、赤外線検出器11(図1を参照)の出力信号は、アナログ信号処理部12において増幅されている。また、赤外線検出器11の出力信号は、アナログ信号処理部12において電流値や電圧値に変換されている場合もある。その場合、信号成分量計算部52において算出された分散の値又は標準偏差を2乗した値と、赤外線検出器11の各検出器素子の出力信号に含まれる信号成分の量とがそのままでは一致しない場合がある。信号成分の量及びFPN成分の量の算出においては、アナログ信号処理部12における信号の増幅率や、電流値又は電圧値への変換効率などを考慮し、算出された値に対して変換係数を乗じるなどの処理を行うとよい。
以下、動作手順について説明する。図6は、本発明の第1実施形態に係る固定パターンノイズデータの更新方法の手順を示す。はじめ、赤外線撮像装置100は、通常撮像モードで動作している。赤外線検出器11で検出された赤外線検出信号は、アナログ信号処理部12(図1を参照)及びAD変換器13を介してデジタル信号処理部14に入力される。デジタル信号処理部14は、赤外線検出信号からFPNを除去するFPN補正処理を行う。FPNが除去された赤外線検出信号は、出力部15から出力される。
制御部19は、動作モードを、通常撮像モードからFPNデータの更新モードに切り替える(ステップA1)。制御部19は、例えば温度センサ18が計測する温度と、前回のFPNデータの更新時の温度との差が温度しきい値以上となった後に、動作モードをFPNデータの更新モードに切り替える。あるいは、制御部19は、前回のFPNデータの更新時刻から、基準となる時間以上の時間が経過した場合に、動作モードをFPNデータの更新モードに切り替える。動作モードがFPNデータの更新モードに切り替えられることで、デジタル信号処理部14における信号処理が、FPN補正処理からFPNデータの更新処理に切り替えられる。
赤外線検出器11は、赤外線を複数回検出する(ステップA2)。各回の検出において、赤外線検出器11が出力する赤外線検出信号は、アナログ信号処理部12及びAD変換器13を介して、デジタル信号処理部14に入力される。デジタル信号処理部14のノイズデータ更新処理部44(図2を参照)は、スイッチ41を介して各回の赤外線検出信号を入力する。赤外線検出器11の各検出器素子により検出された各回の赤外線検出信号は、フレームメモリ51(図3を参照)に記憶される。
信号成分量計算部52は、赤外線検出器11が有する検出器素子の中から、注目する検出器素子(注目画素)を選択する(ステップA3)。信号成分量計算部52は、フレームメモリ51を参照し、注目する検出器素子の複数回の赤外線検出信号の分散又は標準偏差を算出する(ステップA4)。信号成分量計算部52は、例えばフレームメモリ51に記憶されたフレーム1からフレームNの赤外線検出信号の分散を算出する。前述のように、赤外線検出信号の分散の値は、赤外線検出信号に含まれる入射赤外線に依存する赤外線信号成分の量に対応する。
固定パターンノイズ算出部53は、フレームメモリ51から注目する検出器素子の赤外線検出信号を入力し、その赤外線検出信号から、ステップA4で算出された分散の値、又は標準偏差を2乗した値(信号成分の量)を減算することにより、注目する検出器素子のFPN成分の量を算出する(ステップA5)。データ更新部54は、FPNデータ記憶部43に記憶された注目する検出器素子のFPNデータを、固定パターンノイズ算出部53が出力する注目する検出器素子のFPN成分の量で書き換える(ステップA6)。
ノイズデータ更新処理部44は、注目する検出器素子として選択していない検出器素子が存在するか否かを判断する(ステップA7)。未選択の検出器素子が存在する場合は、ステップA3に戻り、次の検出器素子を選択する。ノイズデータ更新処理部44は、例えば注目する検出器素子の位置をラスタスキャンしながら、未選択の検出器素子がなくなるまで、ステップA3からステップA7の処理を繰り返し実施する。これにより、赤外線検出器11が有する各検出器素子のFPNデータが更新される。
制御部19は、ステップA7において未選択の検出器素子が存在しないと判断されると、動作モードを、FPNデータの更新モードから通常撮像モードに切り替える(ステップA8)。動作モードが通常撮像モードに切り替えられることで、デジタル信号処理部14における信号処理が、FPNデータの更新処理からFPN補正処理に切り替えられる。デジタル信号処理部14は、ステップA6で更新されたFPNデータを用いて、FPN補正処理を実施する。
本実施形態では、複数回の赤外線検出信号の分散又は標準偏差を算出し、その分散又は標準偏差に基づいて、赤外線検出信号に含まれる入射赤外線に依存する信号成分の量(その推定値)を算出する。被写体が動かないと仮定した場合、各検出器に入射する赤外線の量は、フレーム間で一定である。フレーム間で赤外線検出信号が変動するのは、ショットノイズの影響であると考えられる。本実施形態では、ショットノイズによる赤外線検出信号の変動が信号成分の量に依存することを利用し、赤外線検出信号の変動の度合いから信号成分の量を算出する。このように算出した信号成分の量を、赤外線検出信号から減算することで、FPN成分の量を算出することができ、算出したFPN成分の量でFPNデータを更新することができる。本実施形態では、FPNデータの取得のために、別途シャッタ機構を設ける必要はない。
本実施形態では、複数回の赤外線検出信号の変動に基づいてFPNデータの更新を行っている。このため、特許文献2とは異なり、観測視野内の全方向からの光を赤外線検出器の検出面に均一に入射させる必要はなく、従ってFPNデータの更新を行うときに光学系10を非合焦状態に制御する必要はない。本実施形態においては、通常撮像モードとFPNデータの更新モードとが分離している必要はなく、通常撮像を行いつつ、FPNデータの更新を行うこととしてもよい。具体的には、図2において、ノイズ補正処理部42により赤外線検出信号に含まれるFPN成分の補正(除去)を行いつつ、ノイズデータ更新処理部44によりFPNデータの更新を行ってもよい。その場合は、撮像を継続したままで、FPNデータの更新を行うことができる。
続いて、本発明の第2実施形態を説明する。図7は、本発明の第2実施形態に係る赤外線撮像装置におけるノイズデータ更新処理部の構成を示す。赤外線撮像装置の構成は、図1に示す第1実施形態に係る赤外線撮像装置100と同様であり、また、デジタル信号処理部の構成は、図2に示す第1実施形態で用いられたデジタル信号処理部14の構成と同様である。本実施形態では、デジタル信号処理部に含まれるノイズデータ更新処理部44aは、図3に示す第1実施形態で用いられたノイズデータ更新処理部44の構成に加えて、判定部55を有する。その他の点は、第1実施形態と同様でよい。
判定部55は、各検出器素子について、固定パターンノイズ算出部53が出力するFPN成分の量と、FPNデータ記憶部43に記憶されたFPNデータとを比較する。判定部55は、固定パターンノイズ算出部53が出力するFPN成分の量と、FPNデータ記憶部43に記憶されたFPNデータとの差を算出し、差(その絶対値)がしきい値(第1のしきい値)以下か否かを判定する。第1のしきい値は、例えばFPNデータ記憶部43に記憶されたFPNデータの値の20%に設定される。第1のしきい値は固定値でなくてもよく、前回のFPNデータの更新から今回のFPNデータの更新までの温度変化に応じて第1のしきい値を変化させてもよい。例えば、温度変化が大きくなるに連れて、第1のしきい値を大きくしてもよい。判定部55は、差がしきい値以下であると判定した場合は、データ更新部54を通じて、固定パターンノイズ算出部53が出力するFPN成分の量で、FPNデータ記憶部43に記憶されたFPNデータを更新する。差がしきい値よりも大きいと判定した場合は、その検出器素子についてはFPNデータを更新しない。その場合、FPNデータ記憶部43に記憶されたFPNデータが継続して使用される。
以下、第2実施形態における動作手順を説明する。図8は、本発明の第2実施形態に係る固定パターンノイズデータの更新方法の手順を示す。なお、ステップB1〜B5は、図6におけるステップA1〜A5と同様であるため、説明を省略する。
判定部55は、ステップB5で算出された注目する検出器素子のFPN成分の量と、FPNデータ記憶部43に記憶されたその検出器素子のFPNデータとの差を算出する(ステップB6)。判定部55は、ステップB6で算出した差がしきい値以内であるか否かを判定する(ステップB7)。ステップB7で差がしきい値以内であると判定された場合、データ更新部54は、FPNデータ記憶部43に記憶された注目する検出器素子のFPNデータを、固定パターンノイズ算出部53が出力する注目する検出器素子のFPN成分の量で書き換える(ステップB8)。ステップB7で、差がしきい値よりも大きいと判定されたときは、ステップB8はスキップされ、現在注目している検出器素子のFPNデータの更新は行わない。
ノイズデータ更新処理部44は、注目する検出器素子として選択していない検出器素子が存在するか否かを判断する(ステップB9)。このステップは、図6のステップA7と同様である。未選択の検出器素子が存在する場合は、ステップB3に戻り、次の検出器素子を選択する。制御部19は、ステップB9において未選択の検出器素子が存在しないと判断されると、動作モードを、FPNデータの更新モードから通常撮像モードに切り替える(ステップB10)。このステップは、図6のステップA8と同様である。動作モードが通常撮像モードに切り替えられることで、デジタル信号処理部14における信号処理が、FPNデータの更新処理からFPN補正処理に切り替えられる。デジタル信号処理部14は、少なくとも部分的に更新されたFPNデータを用いて、FPN補正処理を実施する。
ここで、赤外線検出器11において入射赤外線を複数回検出している間、赤外線検出器11の検出器素子に入射する赤外線が一定であれば、赤外線検出信号の変動はショットノイズが支配的であり、赤外線検出信号の変動の度合いに基づいて入射赤外線に依存する信号成分の量を算出することができる。しかしながら、複数回の検出を行っている間に被写体が動くと、検出器素子に入射する赤外線が変化するため、それに起因して赤外線検出信号に大きな変動が生じる。この場合、赤外線検出信号の変動の度合いに基づいて算出された入射赤外線に依存する信号成分の量と、実際の入射赤外線に依存する信号成分の量と間の誤差が大きくなる。算出された信号成分の量に大きな誤差が含まれると、ノイズデータ更新処理部44aにおいて算出されたFPN成分の量にも大きな誤差が生じる。
本実施形態では、FPN成分の量は更新の前後で大きく変動することがないという仮定のもと、ノイズデータ更新処理部44aにおいて算出されたFPN成分の量と、FPNデータ記憶部43に記憶された更新前のFPNデータとの間の差が大きい場合には、算出されたFPN成分の量の信頼性が低いものとして、FPNデータを更新しない。このようにすることで、被写体が動いた部分などの部分について、誤差が大きいFPN成分の量を使用せず、FPNデータ記憶部43に記憶されたFPNデータを継続して使用することができる。
上記では、FPNデータの更新の有無を検出器素子ごとに判断することとしたが、この判断を領域ごとに行うこととしてもよい。より詳細には、ノイズデータ更新処理部44aは、上記算出されたFPN成分の量とFPNデータ記憶部43に記憶されたFPNデータとの差がしきい値よりも大きい検出器素子が多く含まれる領域については、その領域においてFPNデータの更新を行わないこととしてもよい。
例えば、ノイズデータ更新処理部44aの判定部55は、ある領域について、その領域における、算出されたFPN成分の量とFPNデータ記憶部43に記憶されたFPNデータとの差がしきい値よりも大きい検出器素子の数をカウントし、その数を領域に含まれる検出器素子の総数で割ることにより、その領域における差がしきい値よりも大きい検出器素子の割合を算出する。判定部55は、算出した割合をしきい値処理し、割合がしきい値(第2のしきい値)よりも高いときは、その領域に含まれる検出器素子についてFPNデータの更新を行わないと決定してもよい。第2のしきい値は、例えば領域全体50%に設定される。
図9は、画像の領域の分割例を示す。この例では、赤外線画像の全体(有効画素領域)は、縦方向及び横方向にそれぞれ4分割され、画像内に領域R1〜R16の計16個の領域が設定されている。判定部55は、領域R1〜R16のそれぞれにおいて、上記差がしきい値よりも大きい検出器素子の割合を算出し、算出した割合がしきい値よりも高いか否かを判定する。例えば、領域R11、R12、R15、及びR16において割合がしきい値よりも大きい場合、データ更新部54は、領域R11、R12、R15、及びR16に含まれる検出器素子についてはFPNデータの更新を行わず、他の領域、すなわち領域R1〜R10、R13、及びR14に含まれる検出器素子については算出されたFPN成分の量でFPNデータを更新する。このようにすることで、算出されたFPN成分の量の誤差が大きい検出器素子が多く含まれる領域において、一括で、FPNデータの更新を抑止できる。
なお、領域はあらかじめ設定しておく必要はなく、例えば差がしきい値よりも大きい検出器素子が存在するときに、その検出器素子を含む領域を動的に設定し、その設定した領域内において、差がしきい値よりも大きい検出器素子の割合が高いか否かを判定してもよい。また、ある領域において、差がしきい値よりも大きい検出器素子の割合が低いときに、その領域に含まれる、差がしきい値よりも大きい検出器素子についてFPNデータの更新を行うか否かは任意である。そのような検出器素子について、FPNデータの更新を行わなくてもよいし、算出したFPN成分の量によってFPNデータを更新してもよい。
引き続き、本発明の第3実施形態を説明する。図10は、本発明の第3実施形態に係る赤外線撮像装置を示す。本実施形態に係る赤外線撮像装置100bは、図1に示す第1実施形態に係る赤外線撮像装置100の構成に加えて、焦点調整機構16と位置センサ17とを有する。その他の点は、第1実施形態又は第2実施形態と同様でよい。
本実施形態において、光学系10は、結像面の位置(結像位置)の制御が可能である。焦点調整機構16は、光学系10と赤外線検出器11との相対的な位置関係を調整する。以下では、光学系10の位置を変化させることで、光学系10と赤外線検出器11との相対的な位置関係を調整するものとして説明する。焦点調整機構16は、例えば光学系10に含まれるレンズの位置を変化させるモータと、モータを駆動する駆動回路とを含む。位置センサ17は、光学系10に含まれるレンズの位置を検出する。光学系10に含まれるレンズの位置が変化することで、光学系10の結像位置が変化する。
制御部19は、光学系10の結像位置を制御する焦点制御部としても働く。制御部19は、焦点調整機構16に光学系10の位置を制御するための位置信号を送信する。焦点調整機構16は、受信した位置信号が示す位置に光学系10を移動させる。制御部19は、通常撮像モード時は、焦点調整機構16を介して、光学系10の位置を、光学系10の結像面が赤外線検出器11の検出面と一致する位置に制御する。通常撮像モード時において、光学系10の位置は、被写体の動きに追従して変化させてもよいし、ある位置に固定してもよい。
制御部19は、FPNデータの更新モード時は、焦点調整機構16を介して、光学系10の位置を、光学系10の結像面が赤外線検出器11の検出面と一致しない位置に制御する。制御部19は、例えば、光学系10の位置を、被写体が最も光学系10に近いときに光学系10が合焦状態となる位置、又は被写体が無限遠に存在するときに光学系10が合焦状態となる位置に制御する。
ここで、光学系10の結像面が赤外線検出器11の検出面と一致しない状態を、非合焦状態と呼ぶ。つまり、赤外線検出器11の検出器素子に光学系10による像が結像しない状態を、非合焦状態と呼ぶ。全ての検出器素子の領域において像が結像しない状態であることまでは要せず、一部の領域において像が結像していたとしても、全体としては非合焦状態であるとする。また、光学系10の結像面が赤外線検出器11の検出面と一致する状態を、合焦状態と呼ぶ。つまり、赤外線検出器11の検出器素子に光学系10による像が結像する状態を、合焦状態と呼ぶ。光学系10の結像面と赤外線検出器11の検出面とは完全に一致している必要はなく、赤外線検出器11の検出面に被写体が認識できる程度に解像している状態を含む。
制御部19は、FPNデータの更新モード時は、焦点調整機構16に送信する位置信号により、光学系10の位置を、光学系10の結像面が赤外線検出器11の検出面と一致しない位置に制御する。制御部19は、例えば、被写体が最も光学系10に近いときに光学系10が合焦状態となる位置を示す位置信号を焦点調整機構16に送信する。または、被写体が無限遠に存在するときに光学系10が合焦状態となる位置を示す位置信号を焦点調整機構16に送信する。
制御部19は、FPNデータの更新モードへの切替え時に位置センサ17が検出する光学系10の位置と、被写体が最も光学系10に近いときに光学系10が合焦状態となる位置及び被写体が無限遠に存在するときに光学系10が合焦状態となる位置との位置関係に応じて、焦点調整機構16に送信する位置信号を決定してもよい。制御部19は、例えば、位置センサ17が検出する光学系10の位置をPxとし、被写体が最も光学系10に近い場合に合焦状態となる光学系10の位置をP1とし、被写体が無限遠に存在する場合に合焦状態となる光学系10の位置をP2として、|Px−P1|と|Px−P2|とをそれぞれ計算する。制御部19は、|Px−P1|>|Px−P2|であれば、光学系10の位置をP1とする旨の位置信号を焦点調整機構16に出力する。制御部19は、|Px−P1|<|Px−P2|であれば、光学系10の位置をP2とする旨の位置信号を焦点調整機構16に出力する。このようにすることで、光学系10の結像位置と赤外線検出器11の検出面の位置とのずれをより大きくすることができ、赤外線画像のぼけを大きくすることができる。
光学系10が非合焦状態にされると、被写体の像が、赤外線検出器11の検出面からずれた位置に結像し、被写体が解像しない。このため、赤外線検出器11の各検出素子に入射する赤外線は少なくとも局所的にほぼ均一となり、赤外線検出器11により撮像される赤外線画像はぼけた画像となる。FPNデータの更新モード時、ノイズデータ更新処理部44(図2を参照)には、光学系が非合焦状態に制御された状態で赤外線検出器11により検出された赤外線検出信号が入力される。ノイズデータ更新処理部44の信号成分量計算部52(図3などを参照)は、光学系10が非合焦状態に制御された状態で赤外線検出器11の検出器素子により検出された複数回の赤外線検出信号に基づいて信号成分の量を算出する。
本実施形態では、FPNデータの更新モードにおいて、光学系10を非合焦状態に制御する。光学系を非合焦状態に制御することで、少なくとも局所的に、赤外線検出器11の各検出素子に入射する赤外線をほぼ均一にできる。従って、被検体が少し動いたときでも、検出器素子に入射する赤外線の量がほとんど変化しないことが期待できる。光学系10を非合焦状態にすることで、被検体が少し動いたときでも、信号成分量計算部52において算出される入射赤外線に依存する信号成分の量の誤差を、光学系10を合焦状態とした場合よりも減少させることができる。算出される信号成分の量の誤差を減少させることができる分だけ、算出されるFPN成分の量の誤差を減少できる。
以上、本発明をその好適な実施形態に基づいて説明したが、本発明の赤外線撮像装置及び固定パターンノイズデータの更新方法は、上記実施形態にのみ限定されるものではなく、上記実施形態の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。
10:光学系
11:赤外線検出器
12:アナログ信号処理部
13:AD変換器
14:デジタル信号処理部
15:出力部
16:焦点調整機構
17:位置センサ
18:温度センサ
19:制御部
41:スイッチ
42:ノイズ補正処理部
43:FPNデータ記憶部
44:ノイズデータ更新処理部
51:フレームメモリ
52:信号成分量計算部
53:固定パターンノイズ算出部
54:データ更新部
55:判定部
100:赤外線撮像装置
S1〜S5:信号成分
FPN1〜FPN5:固定パターンノイズ成分
DS1〜DS5:赤外線検出信号

Claims (10)

  1. 入射した赤外線を検出する複数の検出器素子を含む赤外線検出器と、
    前記複数の検出器素子により検出された赤外線の検出信号から固定パターンノイズデータを減算することにより、前記赤外線の検出信号から固定パターンノイズを除去するノイズ補正処理部と、
    前記赤外線検出器により検出された複数回の赤外線の検出信号に基づいて、前記赤外線の検出信号に含まれる前記赤外線検出器に入射した赤外線に依存する信号成分の量を算出する信号成分量計算部、前記赤外線の検出信号と前記算出された信号成分の量とに基づいて固定パターンノイズ成分の量を算出する固定パターンノイズ算出部、及び前記算出された固定パターンノイズ成分の量で前記固定パターンノイズデータを更新するデータ更新部とを含むノイズデータ更新処理部とを備え、
    前記信号成分量計算部は、処理の対象の各検出器素子について、当該検出器素子により検出された複数回の前記赤外線の検出信号の分散又は標準偏差を算出し、該算出した分散又は標準偏差に基づいて前記信号成分の量を算出することを特徴とする赤外線撮像装置。
  2. 前記固定パターンノイズ算出部は、前記赤外線の検出信号と前記算出された信号成分の量との差を、前記固定パターンノイズ成分の量として算出する請求項1に記載の赤外線撮像装置。
  3. 前記ノイズデータ更新処理部は、各検出器素子について、前記算出された固定パターンノイズ成分の量と更新前の固定パターンノイズデータとの差を計算し、該差が第1のしきい値以下であるか否かを判定する判定部を更に含み、
    前記データ更新部は、前記差が第1のしきい値以下であると判定された検出器素子について、前記算出された固定パターンノイズ成分の量で前記固定パターンノイズデータを更新する請求項1又は2に記載の赤外線撮像装置。
  4. 前記データ更新部は、前記差が第1のしきい値よりも大きいと判定された検出器素子については、前記固定パターンノイズデータの更新を行わない請求項3に記載の赤外線撮像装置。
  5. 前記データ更新部は、ある領域について、当該領域における前記差が第1のしきい値を超える検出器素子の数の割合が第2のしきい値よりも高い場合は、当該領域に含まれる検出器素子について、前記固定パターンノイズデータの更新を行わない請求項3又は4に記載の赤外線撮像装置。
  6. 温度を計測する温度計測部を更に備え、前記データ更新部は、前記温度計測部が計測する温度と前回の固定パターンノイズデータの更新時の温度との差が温度しきい値以上の場合に、前記固定パターンノイズデータの更新を行う請求項1から5何れか1項に記載の赤外線撮像装置。
  7. 前記データ更新部は、周期的に繰り返し前記固定パターンノイズデータの更新を行う請求項1から6何れか1項に記載の赤外線撮像装置。
  8. 結像位置の制御が可能な光学系と、
    前記光学系の結像位置を制御する焦点位置制御部とを更に備え、
    前記赤外線検出器の複数の検出器素子には前記光学系を介して赤外線が入射され、
    前記信号成分量計算部は、前記焦点位置制御部が前記光学系の結像位置を制御して前記光学系が非合焦状態に制御された状態で前記検出器素子により検出された複数回の赤外線の検出信号の分散又は標準偏差を算出する請求項1から7何れか1項に記載の赤外線撮像装置。
  9. 複数の検出器素子を含む赤外線検出器における固定パターンノイズを示す固定パターンノイズデータの更新方法であって、
    前記赤外線検出器により赤外線を検出するステップと、
    前記赤外線を検出するステップを複数回実施することで得られた複数回の赤外線の検出信号の分散又は標準偏差を算出するステップと、
    前記算出された分散又は標準偏差に基づいて、前記赤外線の検出信号に含まれる前記検出器素子に入射した赤外線に依存する信号成分の量を算出するステップと、
    前記赤外線の検出信号と前記算出された信号成分の量とに基づいて固定パターンノイズ成分の量を算出するステップと、
    前記算出された固定パターンノイズ成分の量で前記固定パターンノイズデータを更新するステップとを有することを特徴とする固定パターンノイズデータの更新方法。
  10. 前記固定パターンノイズデータを更新するステップに先だって、前記算出された固定パターンノイズ成分の量と更新前の固定パターンノイズデータとの差を計算するステップを更に有し、
    前記固定パターンノイズデータを更新するステップでは、前記算出された固定パターンノイズ成分の量と更新前の固定パターンノイズデータとの差がしきい値以下である検出器素子について、前記算出された固定パターンノイズ成分の量で前記固定パターンノイズデータを更新する請求項9に記載の固定パターンノイズデータの更新方法。
JP2017518758A 2015-05-21 2016-05-13 赤外線撮像装置及び固定パターンノイズデータの更新方法 Active JP6275334B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015103567 2015-05-21
JP2015103567 2015-05-21
PCT/JP2016/002355 WO2016185701A1 (ja) 2015-05-21 2016-05-13 赤外線撮像装置及び固定パターンノイズデータの更新方法

Publications (2)

Publication Number Publication Date
JP6275334B2 true JP6275334B2 (ja) 2018-02-07
JPWO2016185701A1 JPWO2016185701A1 (ja) 2018-03-29

Family

ID=57319704

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017518758A Active JP6275334B2 (ja) 2015-05-21 2016-05-13 赤外線撮像装置及び固定パターンノイズデータの更新方法

Country Status (4)

Country Link
US (1) US10432881B2 (ja)
JP (1) JP6275334B2 (ja)
CN (1) CN107615021B (ja)
WO (1) WO2016185701A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11082650B1 (en) 2018-06-29 2021-08-03 Mitsubishi Electric Corporation Image capturing device and line variation noise reduction device

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7006153B2 (ja) * 2017-11-10 2022-01-24 富士通株式会社 デバイス評価方法、デバイス評価装置、及びデバイス評価プログラム
WO2020024575A1 (zh) 2018-08-01 2020-02-06 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN113785561B (zh) 2019-08-01 2023-12-19 松下知识产权经营株式会社 摄像装置
CN112212983A (zh) * 2020-09-29 2021-01-12 中国科学院长春光学精密机械与物理研究所 一种小型化且模块化的红外探测器电子学系统
WO2022264390A1 (ja) * 2021-06-18 2022-12-22 三菱電機株式会社 赤外線撮像装置及び固定パターンノイズデータの生成方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002310804A (ja) * 2001-04-11 2002-10-23 Nec Corp 赤外線撮像装置及びドリフト補正方法
JP2004241818A (ja) * 2003-02-03 2004-08-26 Nec Corp 赤外線撮像装置の固定パターンノイズ補正方法および固定パターンノイズ補正装置
US20050157942A1 (en) * 2003-12-04 2005-07-21 Hai-Wen Chen System and method for estimating noise using measurement based parametric fitting non-uniformity correction
US20060038109A1 (en) * 2004-08-05 2006-02-23 Applera Corporation Methods and systems for in situ calibration of imaging in biological analysis
JP2009297078A (ja) * 2008-06-10 2009-12-24 Canon Inc 放射線撮影制御装置および方法
JP2012235442A (ja) * 2011-05-03 2012-11-29 Sharp Corp マシンビジョンシステムのためのノイズ低減技術
JP2013207788A (ja) * 2012-03-29 2013-10-07 Fujitsu Ten Ltd 映像処理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3675066B2 (ja) 1996-11-06 2005-07-27 三菱電機株式会社 赤外線撮像装置および画像補正方法
JP3376991B2 (ja) 2000-05-30 2003-02-17 日本電気株式会社 赤外線撮像方法及び赤外線撮像装置
US9235876B2 (en) * 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
US8355064B2 (en) 2010-09-27 2013-01-15 Sharp Laboratories Of America, Inc. Noise reduction for machine vision systems
US8203116B2 (en) * 2010-10-19 2012-06-19 Raytheon Company Scene based non-uniformity correction for infrared detector arrays

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002310804A (ja) * 2001-04-11 2002-10-23 Nec Corp 赤外線撮像装置及びドリフト補正方法
JP2004241818A (ja) * 2003-02-03 2004-08-26 Nec Corp 赤外線撮像装置の固定パターンノイズ補正方法および固定パターンノイズ補正装置
US20050157942A1 (en) * 2003-12-04 2005-07-21 Hai-Wen Chen System and method for estimating noise using measurement based parametric fitting non-uniformity correction
US20060038109A1 (en) * 2004-08-05 2006-02-23 Applera Corporation Methods and systems for in situ calibration of imaging in biological analysis
JP2009297078A (ja) * 2008-06-10 2009-12-24 Canon Inc 放射線撮影制御装置および方法
JP2012235442A (ja) * 2011-05-03 2012-11-29 Sharp Corp マシンビジョンシステムのためのノイズ低減技術
JP2013207788A (ja) * 2012-03-29 2013-10-07 Fujitsu Ten Ltd 映像処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11082650B1 (en) 2018-06-29 2021-08-03 Mitsubishi Electric Corporation Image capturing device and line variation noise reduction device

Also Published As

Publication number Publication date
CN107615021B (zh) 2019-11-26
WO2016185701A1 (ja) 2016-11-24
US10432881B2 (en) 2019-10-01
JPWO2016185701A1 (ja) 2018-03-29
CN107615021A (zh) 2018-01-19
US20180098009A1 (en) 2018-04-05

Similar Documents

Publication Publication Date Title
JP6275334B2 (ja) 赤外線撮像装置及び固定パターンノイズデータの更新方法
US10469747B2 (en) Infrared imaging device and signal correction method using infrared imaging device
JP6363804B2 (ja) 赤外線撮像装置及びその制御方法、並びに車両
US10523883B2 (en) Infrared imaging device and method of updating fixed pattern noise data
US10447923B2 (en) Image processing apparatus, imaging apparatus, and method of controlling image processing apparatus
JPWO2016080153A1 (ja) 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置
US11089222B2 (en) Shake correction device, shake correction method, shake correction program, lens device, and imaging device
US10362243B2 (en) Infrared imaging device, diaphragm control method, and diaphragm control program
JP6337131B2 (ja) 赤外線撮像装置、固定パターンノイズ算出方法、及び固定パターンノイズ算出プログラム
US10362214B2 (en) Control apparatus, image capturing apparatus, control method, and non-transitory computer-readable storage medium
JP2019095594A (ja) 焦点検出装置及び方法、及び撮像装置
JP2016058877A (ja) 撮像装置及びその制御方法
JP2018010023A (ja) 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置
JPH10111172A (ja) 赤外線撮像装置の感度補正方式
CN107710733B (zh) 图像处理装置、图像处理方法以及存储介质
JP7271353B2 (ja) 撮像装置および波長取得方法
JP2019103030A (ja) 撮像装置、その制御方法、および制御プログラム
JP6028365B2 (ja) 撮像装置及びプログラム
JP6036998B2 (ja) 撮像装置、画像補正方法及び、画像補正プログラム
JP2009081528A (ja) 撮像装置
JP2016072968A (ja) 撮像装置及び撮像方法
JP2021189171A (ja) 赤外線撮像装置
JP2011013324A (ja) 撮像装置及びその制御方法
JP5707983B2 (ja) 焦点調節装置および撮像装置
JP2019213193A (ja) 赤外線撮像装置及びそれに用いられるプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171108

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20171108

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20171201

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180109

R150 Certificate of patent or registration of utility model

Ref document number: 6275334

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250