JPWO2016185709A1 - 赤外線撮像装置及び固定パターンノイズデータの更新方法 - Google Patents

赤外線撮像装置及び固定パターンノイズデータの更新方法 Download PDF

Info

Publication number
JPWO2016185709A1
JPWO2016185709A1 JP2017518761A JP2017518761A JPWO2016185709A1 JP WO2016185709 A1 JPWO2016185709 A1 JP WO2016185709A1 JP 2017518761 A JP2017518761 A JP 2017518761A JP 2017518761 A JP2017518761 A JP 2017518761A JP WO2016185709 A1 JPWO2016185709 A1 JP WO2016185709A1
Authority
JP
Japan
Prior art keywords
infrared
fixed pattern
pattern noise
detector
detector element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017518761A
Other languages
English (en)
Other versions
JP6291629B2 (ja
Inventor
善工 古田
善工 古田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2016185709A1 publication Critical patent/JPWO2016185709A1/ja
Application granted granted Critical
Publication of JP6291629B2 publication Critical patent/JP6291629B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/673Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
    • H04N25/674Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources based on the scene itself, e.g. defocusing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/02Details
    • G01J1/0228Control of working procedures; Failure detection; Spectral bandwidth calculation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/02Details
    • G01J1/0252Constructional arrangements for compensating for fluctuations caused by, e.g. temperature, or using cooling or temperature stabilization of parts of the device; Controlling the atmosphere inside a photometer; Purge systems, cleaning devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/02Details
    • G01J1/0295Constructional arrangements for removing other types of optical noise or for performing calibration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/02Details
    • G01J1/04Optical or mechanical part supplementary adjustable parts
    • G01J1/0407Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings
    • G01J1/0411Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings using focussing or collimating elements, i.e. lenses or mirrors; Aberration correction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/02Details
    • G01J1/04Optical or mechanical part supplementary adjustable parts
    • G01J1/0407Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings
    • G01J1/0448Adjustable, e.g. focussing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44Electric circuits
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/026Control of working procedures of a pyrometer, other than calibration; Bandwidth calculation; Gain control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/06Arrangements for eliminating effects of disturbing radiation; Arrangements for compensating changes in sensitivity
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/06Arrangements for eliminating effects of disturbing radiation; Arrangements for compensating changes in sensitivity
    • G01J5/064Ambient temperature sensor; Housing temperature sensor; Constructional details thereof
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/06Arrangements for eliminating effects of disturbing radiation; Arrangements for compensating changes in sensitivity
    • G01J5/068Arrangements for eliminating effects of disturbing radiation; Arrangements for compensating changes in sensitivity by controlling parameters other than temperature
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/08Optical arrangements
    • G01J5/0806Focusing or collimating elements, e.g. lenses or concave mirrors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/08Optical arrangements
    • G01J5/084Adjustable or slidable
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44Electric circuits
    • G01J2001/444Compensating; Calibrating, e.g. dark current, temperature drift, noise reduction or baseline correction; Adjusting
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077Imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G01J2005/106Arrays
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

赤外線撮像装置及び固定パターンノイズデータの更新方法において、シャッタ機構を必要とせず、固定パターンノイズデータの取得を可能とする。このために、ノイズデータ更新処理部(44)は、光学系が非合焦状態に制御された状態で赤外線検出器により検出された赤外線の検出信号に基づいて固定パターンノイズ(FPN)成分の量を算出し、算出したFPN成分の量でFPNデータ記憶部(43)を更新する。ノイズデータ更新処理部(44)は、各検出器素子について、各検出器素子を含めた周辺の複数の検出器素子の検出信号の平均値を算出し、算出した平均値から更新前の固定パターンノイズデータの平均値を減算することにより、各検出器素子の検出信号に含まれる入射赤外線に依存する信号成分を算出する。そして、各検出器素子の検出信号から算出した信号成分を減算することにより、固定パターンノイズ成分の量を算出する。

Description

本発明は、赤外線撮像装置に関し、更に詳しくは、入射赤外線を検出して電気信号に変換する赤外線検出器を含む赤外線撮像装置に関する。また、本発明は、そのような赤外線撮像装置における固定パターンノイズデータの更新方法に関する。
入射赤外光(赤外線)を検出して赤外線画像を生成する赤外線撮像装置が知られている。一般に、赤外線撮像装置は、被写体から放射される赤外線を検出して電気信号に変換する赤外線検出器を含む。赤外線撮像装置は、監視カメラ、暗視装置、サーモグラフィ、又は車両や航空機などに搭載する先方監視装置などの広範囲の分野で利用されている。
赤外線撮像装置では、赤外線検出器が持つ感度のばらつきや、回路のゲイン及びオフセットのばらつきなどの装置固有の固定パターンノイズが発生する。特に、赤外線の検出器素子として2次元的に配列されたフォーカルプレーンアレイを用いた赤外線撮像装置では、アレイ内の各検出器素子が特性の変動を有しているため、結果として、比較的長い時間で変化する固定パターンノイズが発生する。
固定パターンノイズが発生すると、赤外線撮像装置により均一な温度の面を撮像しても、画素値に変動が生じて均一な画像が得られない。固定パターンノイズの影響を低減するには、固定パターンノイズのデータ(固定パターンノイズデータ)を取得し、被写体を撮像して得られた画像信号から固定パターンノイズデータを減算すればよい。固定パターンノイズデータは、例えば、均一な光量の光源を赤外線検出器の前面に設置し、かつ外部から赤外線検出器に入射する赤外線を遮断した状態で取得される。
固定パターンノイズは、温度など環境の変化によって変動するため、撮像を行っている途中に、繰り返し固定パターンノイズデータの取得を行うことが要望される。この要望に応えるために、赤外線撮像装置内にシャッタ機構を設け、外部から赤外線検出器に入射する赤外線を遮断して固定パターンノイズデータを取得することが提案されている(例えば特許文献1を参照)。しかしながら、特許文献1では、光学系及び赤外線検出器の周辺に、本来の撮像には不必要なシャッタ機構を配置する必要があり、コストアップや装置の大型化をもたらす。また、故障発生個所が増えるというデメリットもある。
シャッタ機構を不要としつつ固定パターンノイズデータの取得が可能な赤外線撮像装置が特許文献2に記載されている。特許文献2に記載の赤外線撮像装置は、目標物体(被写体)から放射された光を集光して赤外線検出器に入射させる光学系と、赤外線検出器が出力した画像信号(画像データ)から固定パターンノイズデータを減算した画像データを出力する減算器とを含む。光学系は、通常の撮像時は、焦点調整機構により合焦位置に位置決めされる。
特許文献2では、固定パターンノイズデータの取得時に、光学系が非合焦状態に制御される。光学系が非合焦状態となることで、光学系の観測視野内の全方向からの光が赤外線検出器に均等に入射する。つまり、光学系に対して様々な方向から入射した光束は、赤外線検出器の特定の点に結像せず、赤外線検出器の検出面に均等に入射する。この状態において、減算器の出力画像データと固定パターンノイズの期待値データとの誤差を求める。この誤差に基づく帰還データを固定パターンノイズデータとして減算器に与える負帰還を行い、減算器の出力画像データと期待値データとがほぼ同一となった時の帰還データを固定パターンノイズデータとして保持する。
特許文献2では、均一な光量の光源を赤外線検出器の前面に設置し、かつ外部から赤外線検出器に入射する赤外線を遮断した状態で得られた画像データを固定パターンノイズの期待値データとして用いている。光学系を非合焦状態とし、赤外線検出器の検出面に観測視野内の全方向からの光を入射させることで、各検出器素子に均一な量の赤外線を入射させることができ、シャッタ機構を用いずに、固定パターンノイズデータを得ることができる。
特開平10−142065号公報 特開2001−336983号公報
特許文献2に記載の赤外線撮像装置において、固定パターンノイズデータを適切に取得するためには、光学系の観測視野内の全方向からの光が赤外線検出器の検出面に均一に入射する必要がある。しかしながら、実際の使用環境においては、観測視野内の全方向からの光が赤外線検出器の検出面に入射できるとは限らない。光学系を非合焦状態としても、赤外線画像には模様が生じる。別の言い方をすれば、画像内に、入射赤外線が多い部分と、入射赤外線が少ない部分とが分布する。特許文献2に記載の赤外線撮像装置においては、赤外線検出器の検出面のある領域に入射する赤外線の量と、他の領域に入射する赤外線の量とに差があると、適切な固定パターンノイズデータを得ることができない。
本発明は、上記事情に鑑み、シャッタ機構を必要とせず、かつ観測視野内の全方向からの光が赤外線検出器の検出面に均一に入射しない場合であっても、固定パターンノイズデータの取得が可能な赤外線撮像装置を提供する。
また、本発明は、そのような赤外線撮像装置における固定パターンノイズデータの更新方法を提供する。
上記目的を達成するために、本発明は、結像位置の制御が可能な光学系と、入射赤外線を検出する複数の検出器素子を含み、光学系を介し赤外線検出面に赤外線が入射される赤外線検出器と、複数の検出器素子により検出された赤外線の検出信号から固定パターンノイズデータを減算することにより、赤外線の検出信号から固定パターンノイズを除去するノイズ補正処理部と、光学系の結像位置を制御する焦点制御部と、焦点制御部が光学系の結像位置を制御して光学系を非合焦状態とした状態で複数の検出器素子により検出された赤外線の検出信号に基づいて固定パターンノイズ成分の量を算出し、算出した固定パターンノイズ成分の量で固定パターンノイズデータを更新するノイズデータ更新処理部とを備え、ノイズデータ更新処理部は、固定パターンノイズ成分の量を算出する処理の対象の各検出器素子について、各検出器素子を含めた周辺の複数の検出器素子の検出信号の平均値を算出し、算出した平均値から更新前の固定パターンノイズデータの平均値を減算することにより各検出器素子の検出信号に含まれる入射赤外線に依存する信号成分を算出し、各検出器素子の検出信号から算出した信号成分を減算することにより、固定パターンノイズ成分の量を算出することを特徴とする赤外線撮像装置を提供する。
本発明の赤外線撮像装置では、ノイズデータ更新処理部は、各検出器素子について、算出した固定パターンノイズ成分の量と更新前の固定パターンノイズデータとの差を計算し、その差が第1のしきい値以下である検出器素子について、算出した固定パターンノイズ成分の量で固定パターンノイズデータを更新することが好ましい。また、ノイズデータ更新処理部は、上記の差が第1のしきい値よりも大きい検出器素子については、固定パターンノイズデータの更新を行わないことが好ましい。
ノイズデータ更新処理部は、ある領域について、その領域における上記した差が第1のしきい値よりも大きい検出器素子の数の割合が第2のしきい値よりも高いときは、その領域に含まれる検出器素子について固定パターンノイズデータの更新を行わないこととしてもよい。
ノイズデータ更新処理部は、注目する検出器素子を含めたその周辺に存在する検出器素子の検出信号を加算して平均値を算出することが好ましい。
検出信号の平均値は、注目する検出器素子を含めたその周辺に存在する検出器素子の検出信号を重み付け加算し、加重平均を算出することで得られる加重平均値であってもよい。その場合、重み付け加算において各検出器素子に乗算される重みは、周辺の各検出器素子と注目する検出器素子との距離に応じて設定されることが好ましい。重みは、好ましくは、注目する検出器素子との距離が短いほど大きく設定される。
本発明の赤外線撮像装置は、周辺温度を計測する温度計測部を更に備えていてもよい。その場合、ノイズデータ更新処理部は、温度計測部が計測する周辺温度と前回の固定パターンノイズデータの更新時の周辺温度との差が温度差しきい値以上の場合に、固定パターンノイズデータの更新を行ってもよい。
ノイズデータ更新処理部は、周期的に繰り返し固定パターンノイズデータの更新を行ってもよい。
本発明は、また、複数の検出器素子を含む赤外線検出器における固定パターンノイズを示す固定パターンノイズデータの更新方法であって、結像位置の制御が可能な光学系を制御し、赤外線検出器に入射する赤外線を非合焦状態にするステップと、非合焦状態に制御された状態で複数の検出器素子により検出された赤外線の検出信号に基づいて固定パターンノイズ成分の量を算出するステップと、算出された固定パターンノイズ成分の量で固定パターンノイズデータを更新するステップとを有し、固定パターンノイズ成分の量を算出するステップでは、処理対象の各検出器素子について、各検出器素子を含めた周辺の複数の検出器素子の検出信号の平均値を算出し、算出した平均値から更新前の固定パターンノイズデータの平均値を減算することにより各検出器素子の検出信号に含まれる入射赤外線に依存した信号成分を算出し、各検出器素子の検出信号から算出した信号成分を減算することにより、固定パターンノイズ成分の量を算出することを特徴とする固定パターンノイズデータの更新方法を提供する。
本発明の赤外線撮像装置及び固定パターンノイズデータの更新方法では、光学系を非合焦状態に制御した状態で赤外線検出器に赤外線を入射させ、処理対象の各検出器素子について、各検出器素子を含めた周辺の複数の検出器素子の検出信号の平均値を算出し、算出した平均値から更新前の固定パターンノイズデータの平均値を減算することにより各検出器素子の検出信号に含まれる入射赤外線に依存した信号成分を算出する。各検出器素子の検出信号から算出した信号成分を減算することにより、固定パターンノイズ成分の量を算出する。このようにすることで、シャッタ機構を必要とせず、かつ観測視野内の全方向からの光が赤外線検出器の検出面に均一に入射しない場合であっても、固定パターンノイズのデータを取得することができる。
本発明の第1実施形態に係る赤外線撮像装置を示すブロック図。 デジタル信号処理部の構成を示すブロック図。 ノイズデータ更新処理部の構成を示すブロック図。 周辺の検出器素子とする範囲の一例を示す図。 加重平均値を算出する場合に用いられる重みの一例を示す図。 入射赤外線に依存する信号成分と、固定パターンノイズ成分と、赤外線検出信号とを示す図である図。 赤外線検出信号と入射赤外線に依存する信号成分とを示す図。 本発明の第1実施形態に係る固定パターンノイズデータの更新方法の手順を示すフローチャート。 本発明の第2実施形態に係る赤外線撮像装置におけるノイズデータ更新処理部の構成を示すブロック図。 本発明の第2実施形態に係る固定パターンノイズデータの更新方法の手順を示すフローチャート。 画像の領域の分割例を示す図。
以下、図面を参照し、本発明の実施の形態を詳細に説明する。図1は、本発明の第1実施形態に係る赤外線撮像装置を示す。赤外線撮像装置100は、光学系10、赤外線検出器11、アナログ信号処理部12、AD変換器(Analog to Digital Convertor)13、デジタル信号処理部14、出力部15、焦点調整機構16、位置センサ17、温度センサ18、及び制御部19を有する。赤外線撮像装置100は、一つの完成した製品であってもよいし、他の製品に組み込んで使用されるモジュールであってもよい。
光学系10は1以上のレンズを含む結像光学系である。光学系10は、結像面の位置(結像位置)の制御が可能である。赤外線検出器11は、赤外線撮像素子(赤外線センサ)であり、光学系10により形成された光学像を撮像して電気信号に変換する。赤外線検出器11は、入射赤外光(赤外線)を検出する複数の検出器素子を含む。赤外線検出器11において、複数の検出器素子は例えば2次元状に配列されている。赤外線検出器11の赤外線検出面(以下、単に検出面とも呼ぶ)には、光学系10を介して赤外線が入射される。赤外線検出器11の各検出器素子の検出信号に基づいて、赤外線画像が構成される。
赤外線検出器11は、例えば波長0.83μmから1000μmの範囲の赤外線を検出する。赤外線検出器11は、特に、波長6μmから1000μmの範囲の遠赤外線を検出するものであることが好ましい。赤外線検出器11には、マイクロボロメータ又はSOI(Silicon on Insulator)ダイオード型などの熱型の赤外線センサを用いることができる。
アナログ信号処理部12は、赤外線検出器11が出力する赤外線検出信号に対してアナログ電気処理を実施する。アナログ信号処理部12は、典型的には、赤外線検出信号を増幅する増幅器を含む。AD変換器13は、赤外線検出信号をサンプリングし、サンプリングした赤外線検出信号をデジタルデータ(デジタル信号値)に変換する。デジタル信号処理部14は、AD変換器13によりデジタルデータに変換された赤外線検出信号に対して信号処理を行う。デジタル信号処理部14における信号処理は、赤外線検出信号の固定パターンノイズ(以下、FPN(Fixed Pattern Noise)とも呼ぶ)補正処理と、その補正処理で用いられるFPNデータの更新処理とが含まれる。
制御部19は、装置全体の制御を行う。制御部19には、例えばFPGA(Field-Programmable Gate Array)などのPLD(Programmable Logic Device)を用いることができる。制御部19は、赤外線撮像装置100の動作モードを、通常撮像モードとFPNデータの更新モードとの間で切り替える。制御部19は、制御信号を通じて、デジタル信号処理部14における信号処理を動作モードに応じて制御する。具体的には、通常撮像モード時はデジタル信号処理部14にFPN補正処理を実施させ、FPNデータの更新モード時はFPNデータ更新処理を実施させる。
温度センサ(温度計測部)18は、例えば赤外線検出器11及びその周辺の温度を計測する。制御部19は、温度センサ18が計測する温度の変化に基づいて、動作モードをFPNデータの更新モードに切り替えてもよい。例えば、温度センサ18が計測する温度と、前回のFPNデータの更新時の温度との差がしきい値(温度しきい値)以上となると、動作モードをFPNの更新モードに切り替えてFPNデータの更新を実施させてもよい。また、制御部19は、通常撮像モードの合間に、周期的に繰り返しFPNデータの更新モードに切り替えてもよい。その場合は、前回のFPNデータの更新時刻からある時間経過した後に、FPNデータの更新モードに切り替えてもよい。FPNデータの更新周期は一定である必要はない。
焦点調整機構16は、光学系10と赤外線検出器11との相対的な位置関係を調整する。以下では、光学系10の位置を変化させることで、光学系10と赤外線検出器11との相対的な位置関係を調整するものとして説明する。焦点調整機構16は、例えば光学系10に含まれるレンズの位置を変化させるモータと、モータを駆動する駆動回路とを含む。位置センサ17は、光学系10に含まれるレンズの位置を検出する。光学系10に含まれるレンズの位置が変化することで、光学系10の結像位置が変化する。
制御部19は、光学系10の結像位置を制御する焦点制御部としても働く。制御部19は、焦点調整機構16に光学系10の位置を制御するための位置信号を送信する。焦点調整機構16は、受信した位置信号が示す位置に光学系10を移動させる。制御部19は、通常撮像モード時は、焦点調整機構16を介して、光学系10の位置を、光学系10の結像面が赤外線検出器11の検出面と一致する位置に制御する。通常撮像モード時において、光学系10の位置は、被写体の動きに追従して変化させてもよいし、ある位置に固定してもよい。
制御部19は、FPNデータの更新モード時は、焦点調整機構16を介して、光学系10の位置を、光学系10の結像面が赤外線検出器11の検出面と一致しない位置に制御する。制御部19は、例えば、光学系10の位置を、被写体が最も光学系10に近いときに光学系10が合焦状態となる位置、又は被写体が無限遠に存在するときに光学系10が合焦状態となる位置に制御する。
ここで、光学系10の結像面が赤外線検出器11の検出面と一致しない状態を、非合焦状態と呼ぶ。つまり、赤外線検出器11の検出器素子に光学系10による像が結像しない状態を、非合焦状態と呼ぶ。全ての検出器素子の領域において像が結像しない状態であることまでは要せず、一部の領域において像が結像していたとしても、全体としては非合焦状態であるとする。また、光学系10の結像面が赤外線検出器11の検出面と一致する状態を、合焦状態と呼ぶ。つまり、赤外線検出器11の検出器素子に光学系10による像が結像する状態を、合焦状態と呼ぶ。光学系10の結像面と赤外線検出器11の検出面とは完全に一致している必要はなく、赤外線検出器11の検出面に被写体が認識できる程度に解像している状態を含む。
出力部15は、デジタル信号処理部14で信号処理された赤外線検出信号(画像データ)を出力する。出力部15は、例えば赤外線検出信号を、ディスプレイ装置(図1において図示せず)などに出力し、赤外線画像を表示画面に表示させる。あるいは、ハードディスク装置やメモリカードなどの外部記憶装置(図1において図示せず)に赤外線検出信号を出力し、外部記憶装置に記憶させてもよい。さらには、ネットワークや通信ケーブルなどを介して、外部のサーバや処理装置に赤外線検出装置を送信してもよい。出力部15は、例えばデジタル信号をアナログ信号に変換するDA変換器(Digital Analog Convertor)を含み、赤外線検出信号をアナログ信号として出力する。出力部15は、赤外線検出信号をデジタル信号として出力してもよい。
図2は、デジタル信号処理部14の構成を示す。デジタル信号処理部14は、スイッチ41、ノイズ補正処理部42、FPNデータ記憶部43、及びノイズデータ更新処理部44を有する。デジタル信号処理部14は、典型的には、DSP(Digital Signal Processor)などのLSI(Large Scale Integration)として構成される。DSPは、典型的には、プロセッサと、プロセッサに対する命令を格納するROM(Read Only Memory)と、データを格納するRAM(Random Access Memory)とを含み、これらはバスを介して接続されている。プロセッサがROMに格納された命令に従って動作することで、ノイズ補正処理部42及びノイズデータ更新処理部44などの機能が実現される。DPSは、外部の記憶装置などと接続するインタフェースを有していてもよい。
スイッチ41には、AD変換器13(図1を参照)が出力する赤外線検出信号のデジタルデータ(以下では、デジタルデータに変換された赤外線検出信号を、特に区別せずに赤外線検出信号と呼ぶことがある)が入力される。スイッチ41は、赤外線検出信号を、ノイズ補正処理部42とノイズデータ更新処理部44に選択的に出力する。スイッチ41の切り替えは、例えば制御部19が出力する制御信号に基づいて実施される。制御部19は、通常撮像モード時はスイッチ41からノイズ補正処理部42に赤外線検出信号を出力させる。制御部19は、FPNデータの更新モード時は、スイッチ41からノイズデータ更新処理部44に赤外線検出信号を出力させる。また、ノイズデータ更新処理部44にFPNデータの更新を指示する。
FPNデータ記憶部43は、FPNデータを記憶する。ここで、FPNとは、赤外線検出器11(図1を参照)の各検出器素子(各画素)に固有の、各検出器素子の検出信号に含まれるノイズ成分を指す。FPNデータは、各検出器素子のFPNを表すデータであり、各検出器素子のFPNの集合である。FPNデータ記憶部43は、初期状態では、均一な光量の光源を赤外線検出器11の前面に設置し、かつ外部から赤外線検出器11に入射する赤外線を遮断した状態で赤外線検出器11により検出された赤外線検出信号を、FPNデータとして記憶していてもよい。FPNデータ記憶部43は、例えばデジタル信号処理部14が有するRAMの内部に構成されていてもよいし、EEPROM(Electrically Erasable and Programmable Read Only Memory)などの書き換え可能な不揮発性メモリで構成されていてもよい。
ノイズ補正処理部42は、FPNデータ記憶部43を参照して、赤外線検出信号に含まれるFPN成分の補正(除去)を行う。より詳細には、赤外線検出信号からFPNデータを減算することにより、赤外線検出信号からFPNを除去する。ノイズ補正処理部42は、赤外線検出器11に含まれる各検出器素子が出力する赤外線検出信号からその検出器素子のFPNデータを減算することにより、各検出器素子に固有のノイズ成分を除去して、入射赤外線の量に依存した信号成分を出力する。
ノイズデータ更新処理部44には、スイッチ41を介して、光学系が非合焦状態に制御された状態で赤外線検出器11により検出された赤外線検出信号が入力される。ノイズデータ更新処理部44は、その赤外線検出信号に基づいてFPN成分の量(その推定値)を算出する。より詳細には、ノイズデータ更新処理部44は、FPN成分の量を算出する処理の対象の各検出器素子について、注目する検出器素子を含めた周辺の複数の検出器素子の赤外線検出信号の平均値を算出し、その平均値から更新前のFPNデータの平均値を減算することにより、注目する検出器素子で検出された赤外線検出信号に含まれる入射赤外線に依存する信号成分を算出する。ノイズデータ更新処理部44は、注目する検出器素子で検出された赤外線検出信号から算出した信号成分を減算することにより、FPN成分の量を算出する。ノイズデータ更新処理部44は、算出したFPN成分の量でFPNデータ記憶部43に記憶されたFPNデータを更新する。
ここで、FPNデータを更新するとは、FPNデータ記憶部43に記憶されたFPNデータを新たなデータで書き換えることを意味する。FPNデータの更新は、赤外線検出器11に含まれる全ての検出器素子を一度に更新するもののみならず、全検出器素子のうちの一部を対象に行う一部更新も含む。例えば赤外線検出器11が検出器素子を100個含むとき、それら100個の検出器素子のFPNデータを一度に更新してもよいし、1回の更新につき、100個のうちの40個から70個の検出器素子のFPNデータを更新してもよい。
図3は、ノイズデータ更新処理部44の構成を示す。ノイズデータ更新処理部44は、信号平均値計算部51と、FPN平均値計算部52と、減算器53と、減算器54と、データ更新部55、フレームメモリ56とを含む。フレームメモリ56には、赤外線検出器11により撮像された赤外線画像が記憶される。フレームメモリ56は、ノイズデータ更新処理部44の一部であってもよいし、ノイズデータ更新処理部44の外部に設けられていてもよい。
信号平均値計算部51は、フレームメモリ56を参照して、注目する検出器素子を含めた周辺の複数の検出器素子の赤外線検出信号の平均値を算出する。より詳細には、信号平均値計算部51は、注目する検出器素子を含めたその周辺に存在する複数の検出器素子の赤外線検出信号を加算し、その加算値を検出器素子の個数で割った値を平均値として算出する。
ここで、周辺の検出器素子とは、注目する検出器素子の周りにある、注目する検出器素子と一定の位置関係にある検出器素子を指す。例えば注目する画素(検出器素子)を中心とした3×3、5×5、又は7×7の画素範囲に存在する検出器素子を指す。周辺の検出器素子の範囲は、最大で例えば30×30の画素範囲と定義される。赤外線検出器11に含まれる検出器素子の総数に対する割合、例えば総数の1%を、周辺の範囲として定義してもよい。
図4に、周辺の検出器素子の範囲の一例を示す。この例では、注目する画素を中心とした5×5の画素範囲が、周辺の検出器素子の範囲である。信号平均値計算部51は、注目する検出器素子の座標を(x,y)としたとき、(x−2,y−2)から(x+2,y+2)の座標範囲に含まれる検出器素子の赤外線検出信号を加算する。信号平均値計算部51は、例えば注目する検出器素子の位置をラスタスキャンしながら、各位置について赤外線検出信号の平均値を算出する。なお、画像の端部においては、上記画素範囲が画像からはみ出すため、周辺の検出器素子の範囲は上記画素範囲よりも狭くてよい。
信号平均値計算部51が算出する平均値は加重平均値であってもよい。すなわち、平均値は、注目する検出器素子を含めたその周辺に存在する検出器素子の検出信号を重み付け加算し、その加算値を重みの合計値で割った値であってもよい。重み付け加算において各検出器素子に乗算される重みは、注目する検出器素子と、その周辺の各検出器素子との距離に応じて設定することが好ましい。例えば、重みは、注目する検出器素子との距離が短いほど大きく、距離が長いほど小さく設定されることが好ましい。
図5は、加重平均値を算出する場合に用いられる重みの一例を示す。平均値を求める範囲は、図4と同様に5×5の画素範囲であるとする。注目する検出器素子の重みは最も大きな値、例えば「3」に設定される。注目する検出器素子から画像の縦方向及び/又は横方向に1つずれた位置にある検出器素子には、例えば重み「2」が設定される。注目する検出器素子から画像の縦方向及び/又は横方向に2つずれた位置にある検出器素子には、最小の重み、例えば重み「1」が設定される。このような重みを用いることで、注目する検出器素子に近い検出器素子で検出された赤外線検出信号が平均値に与える影響を大きくできる。図5に示される重みの設定は一例であり、重みは任意に設定できる。
図3に戻り、FPN平均値計算部52は、FPNデータ記憶部43に記憶されたFPNデータの平均値を算出する。FPN平均値計算部52は、信号平均値計算部51が平均値を算出した画素範囲と同じ範囲に含まれる検出器素子のFPNデータを加算する。例えば図4に示すように、信号平均値計算部51が、注目する検出器素子(x,y)について(x−2,y−2)から(x+2,y+2)の範囲に含まれる検出器素子の赤外線検出信号を加算したときは、FPN平均値計算部52は、同じ範囲においてFPNデータを加算する。FPN平均値計算部52は、FPNデータの加算値を加算した検出器素子の個数で割った値をFPNデータの平均値として算出する。赤外線検出信号の加重平均値を算出した場合は、FPNデータについても、同じ重みを用いて加重平均値を算出すればよい。
ここで、赤外線検出器11の検出器素子により検出された赤外線検出信号と、その赤外線検出信号に含まれる入射赤外線に依存する信号成分及び固定パターンノイズ成分との関係を説明する。図6は、入射赤外線に依存する信号成分と、固定パターンノイズ成分と、赤外線検出信号とを示す図である。図6には、検出器素子1〜5の5つの検出器素子について、入射赤外線に依存する信号成分と、固定パターンノイズ成分と、赤外線検出信号とが示されている。
通常撮像モード時に、光学系10(図1を参照)は合焦状態に制御されており、検出器素子に入射する赤外線の量は、被写体の像に依存して異なる。従って、図6に示すように、各検出器素子に入射した赤外線に依存する信号成分S1〜S5は、相互に等しくはならないことが多い。一方で、各検出器素子の固定パターンノイズ成分FPN1〜FPN5は、検出器素子に固有であり、信号成分の量には依存しない。各検出器素子の赤外線検出信号DS1〜DS5は、それぞれ信号成分S1〜S5に、固定パターンノイズ成分FPN1〜FPN5を加えたものとなる。信号成分S1〜S5は、固定パターンノイズ成分FPN1〜FPN5と一緒に検出されるため、赤外線検出信号DS1〜DS5のうち、どの部分が信号成分S1〜S5で、どの部分が固定パターンノイズ成分FPN1〜FPN5かは判別できない。
図7は、光学系10が非合焦状態に制御された状態で検出される赤外線検出信号と、その赤外線検出信号に含まれる入射赤外線に依存する信号成分とを示す。光学系10が非合焦状態にされると、被写体の像が、赤外線検出器11の検出面からずれた位置に結像し、被写体が解像しない。このため、赤外線検出器11により撮像される赤外線画像はぼけた画像となり、ある位置の検出器素子に入射する赤外線の量と、その周辺の検出器素子に入射する赤外線の量との差が、光学系10が合焦状態にあるときよりも小さくなる。従って、図7に示すように、入射赤外線に依存する信号成分S11〜S15は、ほぼ同じ値になることが期待できる。中央の検出器素子3を注目する検出器素子としたとき、信号成分S11〜S15の平均値は、検出器素子3の信号成分とほぼ等しくなると考えられる。
信号成分S11〜S15の平均値は、各検出器素子のFPNが更新の前後で大きく変化しないと仮定すれば、以下の手順で算出できる。まず、各検出器素子の赤外線検出信号DS11〜DS15の平均値を算出する。図7に示すように、赤外線検出信号DS11〜DS15は、固定パターンノイズ成分FPN1〜FPN5(図6を参照)を含んでいる。次いで、固定パターンノイズ成分FPN1〜FPN5の平均値を算出する。赤外線検出信号DS11〜DS15の平均値から、固定パターンノイズ成分FPN1〜FPN5の平均値を減算することにより、信号成分S11〜S15の平均値を算出できる。この平均値は、注目する検出器素子(例えば中央の検出器素子3)の信号成分に等しいと推定できる。注目する検出器素子の固定パターンノイズ成分の量は、その検出器素子の検出信号から、信号成分の平均値を減算することにより算出できる。このように算出された固定パターンノイズ成分の量を、FPNデータの更新データとすることができる。
再び図3に戻り、減算器53は、信号平均値計算部51が算出した平均値から、FPN平均値計算部52が算出した平均値を減算する。減算器53の出力は、注目する検出器素子の信号成分に相当する。減算器54は、フレームメモリ56から注目する検出器素子の赤外線信号(その値)を取得し、赤外線検出信号から減算器53に出力を減算する。減算器54の出力は、注目する検出器素子のFPN成分の量に相当する。データ更新部55は、FPNデータ記憶部43に記憶された注目する検出器素子のFPNデータを、減算器54が出力する注目する検出器素子のFPN成分の量で更新する。
以下、動作手順について説明する。図8は、本発明の第1実施形態に係る固定パターンノイズデータの更新方法の手順を示す。はじめ、赤外線撮像装置100は、通常撮像モードで動作している。赤外線検出器11で検出された赤外線検出信号は、アナログ信号処理部12(図1を参照)及びAD変換器13を介してデジタル信号処理部14に入力される。デジタル信号処理部14は、赤外線検出信号からFPNを除去するFPN補正処理を行う。FPNが除去された赤外線検出信号は、出力部15から出力される。
制御部19は、動作モードを、通常撮像モードからFPNデータの更新モードに切り替える(ステップA1)。制御部19は、例えば温度センサ18が計測する温度と、前回のFPNデータの更新時の温度との差が温度しきい値以上となった後に、動作モードをFPNデータの更新モードに切り替える。あるいは、制御部19は、前回のFPNデータの更新時刻から、基準となる時間以上の時間が経過した場合に、動作モードをFPNデータの更新モードに切り替える。動作モードがFPNデータの更新モードに切り替えられることで、デジタル信号処理部14における信号処理が、FPN補正処理からFPNデータの更新処理に切り替えられる。
制御部19は、焦点調整機構16を介して、光学系10を非合焦状態に制御する(ステップA2)。制御部19は、ステップA2では、焦点調整機構16に送信する位置信号により、光学系10の位置を、光学系10の結像面が赤外線検出器11の検出面と一致しない位置に制御する。制御部19は、例えば、被写体が最も光学系10に近いときに光学系10が合焦状態となる位置を示す位置信号を焦点調整機構16に送信する。または、被写体が無限遠に存在するときに光学系10が合焦状態となる位置を示す位置信号を焦点調整機構16に送信する。
なお、制御部19は、ステップA1でFPNデータの更新モードに切り替えられたときに位置センサ17が検出する光学系10の位置と、被写体が最も光学系10に近いときに光学系10が合焦状態となる位置及び被写体が無限遠に存在するときに光学系10が合焦状態となる位置との位置関係に応じて、焦点調整機構16に送信する位置信号を決定してもよい。制御部19は、例えば、位置センサ17が検出する光学系10の位置をPxとし、被写体が最も光学系10に近い場合に合焦状態となる光学系10の位置をP1とし、被写体が無限遠に存在する場合に合焦状態となる光学系10の位置をP2として、|Px−P1|と|Px−P2|とをそれぞれ計算する。制御部19は、|Px−P1|>|Px−P2|であれば、光学系10の位置をP1とする旨の位置信号を焦点調整機構16に出力する。制御部19は、|Px−P1|<|Px−P2|であれば、光学系10の位置をP2とする旨の位置信号を焦点調整機構16に出力する。このようにすることで、光学系10の結像位置と赤外線検出器11の検出面の位置とのずれをより大きくすることができ、赤外線画像のぼけを大きくすることができる。
赤外線検出器11は、光学系10が非合焦状態に制御された状態で、赤外線を検出する(ステップA3)。赤外線検出器11が出力する赤外線検出信号は、アナログ信号処理部12及びAD変換器13を介して、デジタル信号処理部14に入力される。デジタル信号処理部14のノイズデータ更新処理部44(図2を参照)は、スイッチ41を介して赤外線検出信号を入力する。赤外線検出器11の各検出器素子により検出された赤外線検出信号は、フレームメモリ56(図3を参照)に記憶される。
信号平均値計算部51は、赤外線検出器11が有する検出器素子の中から、注目する検出器素子(注目画素)を選択する(ステップA4)。信号平均値計算部51は、フレームメモリ56を参照し、注目する検出器素子を含む周辺の検出器素子で検出された赤外線検出信号の平均値を算出する(ステップA5)。FPN平均値計算部52は、FPNデータ記憶部43を参照して、注目する検出器素子を含む周辺の検出器素子のFPNデータの平均値を算出する(ステップA6)。減算器53は、ステップA5で算出された赤外線検出信号の平均値と、ステップA6で算出されたFPNデータの平均値との差を算出する(ステップA7)。この差は、前述したように、注目する検出器素子の信号成分に対応する。
減算器54は、フレームメモリ56から注目する検出器素子の赤外線検出信号を入力し、その赤外線検出信号から、ステップA7で算出された差(注目する検出器素子の信号成分)を減算することにより、注目する検出器素子のFPN成分の量を算出する(ステップA8)。データ更新部55は、FPNデータ記憶部43に記憶された注目する検出器素子のFPNデータを、減算器54が出力する注目する検出器素子のFPN成分の量で書き換える(ステップA9)。
ノイズデータ更新処理部44は、注目する検出器素子として選択していない検出器素子が存在するか否かを判断する(ステップA10)。未選択の検出器素子が存在する場合は、ステップA4に戻り、次の検出器素子を選択する。ノイズデータ更新処理部44は、例えば注目する検出器素子の位置をラスタスキャンしながら、未選択の検出器素子がなくなるまで、ステップA4からステップA9の処理を繰り返し実施する。これにより、赤外線検出器11が有する各検出器素子のFPNデータが更新される。
制御部19は、ステップA10において未選択の検出器素子が存在しないと判断されると、動作モードを、FPNデータの更新モードから通常撮像モードに切り替える(ステップA11)。制御部19は、焦点調整機構16を介して光学系10を合焦状態に制御する。動作モードが通常撮像モードに切り替えられることで、デジタル信号処理部14における信号処理が、FPNデータの更新処理からFPN補正処理に切り替えられる。デジタル信号処理部14は、ステップA9で更新されたFPNデータを用いて、FPN補正処理を実施する。
本実施形態では、FPNデータの更新モードにおいて、光学系10を非合焦状態に制御する。光学系を非合焦状態に制御することで、少なくとも局所的に、赤外線検出器11の各検出素子に入射する赤外線をほぼ均一にできる。本実施形態では、各検出器素子について、非合焦状態で検出された赤外線検出信号の平均値を、各検出器素子を含めた周辺の複数の検出器素子の範囲において算出し、その平均値から更新前のFPNデータの平均値を減算することにより、各検出器素子の検出信号に含まれる入射赤外線に依存した信号成分を算出する。各検出器素子の検出信号から算出した信号成分を減算することにより、FPN成分の量(その推定値)を算出することができる。このようにすることで、各検出器素子に入射する赤外線が画像全体において均一にならない場合でもFPN成分の量を算出することができ、算出したFPN成分の量でFPNデータを更新することができる。また、本実施形態では、FPNデータの取得のために、別途シャッタ機構を設ける必要がない。
続いて、本発明の第2実施形態を説明する。図9は、本発明の第2実施形態に係る赤外線撮像装置におけるノイズデータ更新処理部の構成を示す。赤外線撮像装置の構成は、図1に示す第1実施形態に係る赤外線撮像装置100と同様であり、また、デジタル信号処理部の構成は、図2に示す第1実施形態で用いられたデジタル信号処理部14の構成と同様である。本実施形態では、デジタル信号処理部に含まれるノイズデータ更新処理部44aは、図3に示す第1実施形態で用いられたノイズデータ更新処理部44の構成に加えて、判定部57を有する。その他の点は、第1実施形態と同様でよい。
判定部57は、各検出器素子について、減算器54が出力するFPN成分の量と、FPNデータ記憶部43に記憶されたFPNデータとを比較する。判定部57は、減算器54が出力するFPN成分の量と、FPNデータ記憶部43に記憶されたFPNデータとの差を算出し、差(その絶対値)がしきい値(第1のしきい値)以下か否かを判定する。第1のしきい値は、例えばFPNデータ記憶部43に記憶されたFPNデータの値の20%に設定される。第1のしきい値は固定値でなくてもよく、前回のFPNデータの更新から今回のFPNデータの更新までの温度変化に応じて第1のしきい値を変化させてもよい。例えば、温度変化が大きくなるに連れて、第1のしきい値を大きくしてもよい。判定部57は、差がしきい値以下であると判定した場合は、データ更新部55を通じて、減算器54が出力するFPN成分の量で、FPNデータ記憶部43に記憶されたFPNデータを更新する。差がしきい値よりも大きいと判定した場合は、その検出器素子についてはFPNデータを更新しない。その場合、FPNデータ記憶部43に記憶されたFPNデータが継続して使用される。
以下、第2実施形態における動作手順を説明する。図10は、本発明の第2実施形態に係る固定パターンノイズデータの更新方法の手順を示す。なお、ステップB1〜B8は、図8におけるステップA1〜A8と同様であるため、説明を省略する。
判定部57は、ステップB8で算出された注目する検出器素子のFPN成分の量と、FPNデータ記憶部43に記憶されたその検出器素子のFPNデータとの差を算出する(ステップB9)。判定部57は、ステップB9で算出した差がしきい値以内であるか否かを判定する(ステップB10)。ステップB10で差がしきい値以内であると判定された場合、データ更新部55は、FPNデータ記憶部43に記憶された注目する検出器素子のFPNデータを、減算器54が出力する注目する検出器素子のFPN成分の量で書き換える(ステップB11)。ステップB10で、差がしきい値よりも大きいと判定されたときは、ステップB11はスキップされ、現在注目している検出器素子のFPNデータの更新は行わない。
ノイズデータ更新処理部44は、注目する検出器素子として選択していない検出器素子が存在するか否かを判断する(ステップB12)。このステップは、図8のステップA10と同様である。未選択の検出器素子が存在する場合は、ステップB4に戻り、次の検出器素子を選択する。制御部19は、ステップB12において未選択の検出器素子が存在しないと判断されると、動作モードを、FPNデータの更新モードから通常撮像モードに切り替える(ステップB13)。このステップは、図8のステップA11と同様である。制御部19は、焦点調整機構16を介して光学系10を合焦状態に制御する。動作モードが通常撮像モードに切り替えられることで、デジタル信号処理部14における信号処理が、FPNデータの更新処理からFPN補正処理に切り替えられる。デジタル信号処理部14は、少なくとも部分的に更新されたFPNデータを用いて、FPN補正処理を実施する。
FPNデータの更新処理モードでは、光学系10が非合焦状態に制御されるため、ある検出器素子に入射する赤外線は、その周辺の検出器素子に入射する赤外線とほぼ同じであると考えられる。しかしながら、光学系10を非合焦状態に制御した場合でも、赤外線画像に被写体の模様が現れることがある。また、画像の一部において、被写体が解像する領域が存在する可能性がある。さらには、FPNデータの更新処理を行っている間に、何らかの被写体が画面を横切り、周辺の検出器素子に入射する赤外線が均一にならないことも考えられる。そのような場合、ある検出器素子に入射する赤外線と、その周辺の検出器素子に入射する赤外線とに大きな差が生じ、ノイズデータ更新処理部44aにおいて算出されたFPN成分の量の誤差が大きくなることがある。
本実施形態では、FPN成分の量は更新の前後で大きく変動することがないという仮定のもと、ノイズデータ更新処理部44aにおいて算出されたFPN成分の量と、FPNデータ記憶部43に記憶された更新前のFPNデータとの間の差が大きい場合には、算出されたFPN成分の量の信頼性が低いものとして、FPNデータを更新しない。このようにすることで、被写体の模様が現れている部分、被写体が改造している部分、及び/又は何らかの被写体が横切った部分について、誤差が大きいFPN成分の量を使用せず、FPNデータ記憶部43に記憶されたFPNデータを継続して使用することができる。
上記では、FPNデータの更新の有無を検出器ごとに判断することとしたが、この判断を領域ごとに行うこととしてもよい。より詳細には、ノイズデータ更新処理部44aは、上記算出されたFPN成分の量とFPNデータ記憶部43に記憶されたFPNデータとの差がしきい値よりも大きい検出器素子が多く含まれる領域については、その領域においてFPNデータの更新を行わないこととしてもよい。
例えば、ノイズデータ更新処理部44aの判定部57は、ある領域について、その領域における、算出されたFPN成分の量とFPNデータ記憶部43に記憶されたFPNデータとの差がしきい値よりも大きい検出器素子の数をカウントし、その数を領域に含まれる検出器素子の総数で割ることにより、その領域における差がしきい値よりも大きい検出器素子の割合を算出する。判定部57は、算出した割合をしきい値処理し、割合がしきい値(第2のしきい値)よりも高いときは、その領域に含まれる検出器素子についてFPNデータの更新を行わないと決定してもよい。第2のしきい値は、例えば領域全体50%に設定される。
図11は、画像の領域の分割例を示す。この例では、赤外線画像の全体(有効画素領域)は、縦方向及び横方向にそれぞれ4分割され、画像内に領域R1〜R16の計16個の領域が設定されている。判定部57は、領域R1〜R16のそれぞれにおいて、上記差がしきい値よりも大きい検出器素子の割合を算出し、算出した割合が高いか否かを判定する。例えば、領域R11、R12、R15、及びR16において割合がしきい値よりも大きい場合、データ更新部55は、領域R11、R12、R15、及びR16に含まれる検出器素子についてはFPNデータの更新を行わず、他の領域、すなわち領域R1〜R10、R13、及びR14に含まれる検出器素子については算出されたFPN成分の量でFPNデータを更新する。このようにすることで、算出されたFPN成分の量の誤差が大きい検出器素子が多く含まれる領域において、一括で、FPNデータの更新を抑止できる。
なお、領域はあらかじめ設定しておく必要はなく、例えば差がしきい値よりも大きい検出器素子が存在するときに、その検出器素子を含む領域を動的に設定し、その設定した領域内において、差がしきい値よりも大きい検出器素子の割合が高いか否かを判定してもよい。また、ある領域において、差がしきい値よりも大きい検出器素子の割合が低いときに、その領域に含まれる、差がしきい値よりも大きい検出器素子についてFPNデータの更新を行うか否かは任意である。そのような検出器素子について、FPNデータの更新を行わなくてもよいし、算出したFPN成分の量によってFPNデータを更新してもよい。
上記各実施形態では、1回の赤外線検出器11による赤外線検出信号から1つのFPN成分の量を算出し、そのFPN成分の量を用いてFPNデータを更新することとしたが、これには限定されない。ノイズデータ更新処理部44は、複数回の赤外線検出信号のそれぞれに対してFPN成分の量を算出し、それら算出したFPN成分の量の平均値を算出し、そのFPN成分の量の平均値により、FPNデータを更新してもよい。第2実施形態においては、差がしきい値以上であると判定された場合を除外したうえで、複数回の赤外線検出信号から算出されたFPN成分の量の平均値を算出し、その平均値でFPNデータを更新することとしてもよい。
図4では、注目する検出器素子に対して周辺の検出器素子とする範囲の形状を正方形としたが、周辺の検出器素子とする範囲の形状は特に限定されず、長方形や、円形、その他の形状であってもよい。周辺の検出器素子とする範囲は、注目する検出器素子と一定の位置関係にある検出器素子が存在する範囲であればよく、例えば、注目する検出器素子との距離(ユークリッド距離)が距離しきい値以内の検出器素子が存在する範囲を、周辺の検出器素子とする範囲と定義してもよい。
以上、本発明をその好適な実施形態に基づいて説明したが、本発明の赤外線撮像装置及び固定パターンノイズデータの更新方法は、上記実施形態にのみ限定されるものではなく、上記実施形態の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。
10:光学系
11:赤外線検出器
12:アナログ信号処理部
13:AD変換器
14:デジタル信号処理部
15:出力部
16:焦点調整機構
17:位置センサ
18:温度センサ
19:制御部
41:スイッチ
42:ノイズ補正処理部
43:FPNデータ記憶部
44:ノイズデータ更新処理部
51:信号平均値計算部
52:FPN平均値計算部
53、54:減算器
55:データ更新部
56:フレームメモリ
57:判定部
100:赤外線撮像装置
S1〜S5、S11〜S15:信号成分
FPN1〜FPN5:固定パターンノイズ成分
DS1〜DS5、DS11〜DS15:赤外線検出信号
本発明の第1実施形態に係る赤外線撮像装置を示すブロック図。 デジタル信号処理部の構成を示すブロック図。 ノイズデータ更新処理部の構成を示すブロック図。 周辺の検出器素子とする範囲の一例を示す図。 加重平均値を算出する場合に用いられる重みの一例を示す図。 入射赤外線に依存する信号成分と、固定パターンノイズ成分と、赤外線検出信号とを示す図。 赤外線検出信号と入射赤外線に依存する信号成分とを示す図。 本発明の第1実施形態に係る固定パターンノイズデータの更新方法の手順を示すフローチャート。 本発明の第2実施形態に係る赤外線撮像装置におけるノイズデータ更新処理部の構成を示すブロック図。 本発明の第2実施形態に係る固定パターンノイズデータの更新方法の手順を示すフローチャート。 画像の領域の分割例を示す図。
出力部15は、デジタル信号処理部14で信号処理された赤外線検出信号(画像データ)を出力する。出力部15は、例えば赤外線検出信号を、ディスプレイ装置(図1において図示せず)などに出力し、赤外線画像を表示画面に表示させる。あるいは、ハードディスク装置やメモリカードなどの外部記憶装置(図1において図示せず)に赤外線検出信号を出力し、外部記憶装置に記憶させてもよい。さらには、ネットワークや通信ケーブルなどを介して、外部のサーバや処理装置に赤外線検出信号を送信してもよい。出力部15は、例えばデジタル信号をアナログ信号に変換するDA変換器(Digital Analog Convertor)を含み、赤外線検出信号をアナログ信号として出力する。出力部15は、赤外線検出信号をデジタル信号として出力してもよい。
図2は、デジタル信号処理部14の構成を示す。デジタル信号処理部14は、スイッチ41、ノイズ補正処理部42、FPNデータ記憶部43、及びノイズデータ更新処理部44を有する。デジタル信号処理部14は、典型的には、DSP(Digital Signal Processor)などのLSI(Large Scale Integration)として構成される。DSPは、典型的には、プロセッサと、プロセッサに対する命令を格納するROM(Read Only Memory)と、データを格納するRAM(Random Access Memory)とを含み、これらはバスを介して接続されている。プロセッサがROMに格納された命令に従って動作することで、ノイズ補正処理部42及びノイズデータ更新処理部44などの機能が実現される。DSPは、外部の記憶装置などと接続するインタフェースを有していてもよい。
再び図3に戻り、減算器53は、信号平均値計算部51が算出した平均値から、FPN平均値計算部52が算出した平均値を減算する。減算器53の出力は、注目する検出器素子の信号成分に相当する。減算器54は、フレームメモリ56から注目する検出器素子の赤外線信号(その値)を取得し、赤外線検出信号から減算器53の出力を減算する。減算器54の出力は、注目する検出器素子のFPN成分の量に相当する。データ更新部55は、FPNデータ記憶部43に記憶された注目する検出器素子のFPNデータを、減算器54が出力する注目する検出器素子のFPN成分の量で更新する。

Claims (11)

  1. 結像位置の制御が可能な光学系と、
    入射赤外線を検出する複数の検出器素子を含み、前記光学系を介して赤外線検出面に赤外線が入射される赤外線検出器と、
    前記複数の検出器素子により検出された赤外線の検出信号から固定パターンノイズデータを減算することにより、前記赤外線の検出信号から固定パターンノイズを除去するノイズ補正処理部と、
    前記光学系の結像位置を制御する焦点制御部と、
    前記焦点制御部が前記光学系の結像位置を制御して前記光学系を非合焦状態とした状態で前記複数の検出器素子により検出された赤外線の検出信号に基づいて固定パターンノイズ成分の量を算出し、該算出した固定パターンノイズ成分の量で前記固定パターンノイズデータを更新するノイズデータ更新処理部とを備え、
    前記ノイズデータ更新処理部は、固定パターンノイズ成分の量を算出する処理の対象の各検出器素子について、当該検出器素子を含めた周辺の複数の検出器素子の検出信号の平均値を算出し、該算出した平均値から更新前の固定パターンノイズデータの平均値を減算することにより当該検出器素子の検出信号に含まれる入射赤外線に依存する信号成分を算出し、当該検出器素子の検出信号から前記算出した信号成分を減算することにより、固定パターンノイズ成分の量を算出することを特徴とする赤外線撮像装置。
  2. 前記ノイズデータ更新処理部は、各検出器素子について、前記算出した固定パターンノイズ成分の量と更新前の固定パターンノイズデータとの差を計算し、該差が第1のしきい値以下である検出器素子について、前記算出した固定パターンノイズ成分の量で前記固定パターンノイズデータを更新する請求項1に記載の赤外線撮像装置。
  3. 前記ノイズデータ更新処理部は、前記差が前記第1のしきい値より大きい検出器素子については、前記固定パターンノイズデータの更新を行わない請求項2に記載の赤外線撮像装置。
  4. 前記ノイズデータ更新処理部は、ある領域について、当該領域における前記差が第1のしきい値よりも大きい検出器素子の数の割合が第2のしきい値よりも高いときは、当該領域に含まれる検出器素子について、前記固定パターンノイズデータの更新を行わない請求項2又は3に記載の赤外線撮像装置。
  5. 前記ノイズデータ更新処理部は、注目する検出器素子を含めた該注目する検出器素子の周辺に存在する検出器素子の検出信号を加算し、前記平均値を算出する請求項1から4何れか1項に記載の赤外線撮像装置。
  6. 前記平均値は、注目する検出器素子を含めた該注目する検出器素子の周辺に存在する検出器素子の検出信号を重み付け加算し、加重平均を算出することで得られる加重平均値である請求項5に記載の赤外線撮像装置。
  7. 重み付け加算において各検出器素子に乗算される重みは、各検出器素子と前記注目する検出器素子との距離に応じて設定される請求項6に記載の赤外線撮像装置。
  8. 前記重みは、前記注目する検出器素子との距離が短いほど大きく設定される請求項7に記載の赤外線撮像装置。
  9. 周辺温度を計測する温度計測部を更に備え、前記ノイズデータ更新処理部は、温度計測部が計測する周辺温度と前回の固定パターンノイズデータの更新時の周辺温度との差が温度差しきい値以上となると、前記固定パターンノイズデータの更新を行う請求項1から8何れか1項に記載の赤外線撮像装置。
  10. 前記ノイズデータ更新処理部は、周期的に繰り返し前記固定パターンノイズデータの更新を行う請求項1から9何れか1項に記載の赤外線撮像装置。
  11. 複数の検出器素子を含む赤外線検出器における固定パターンノイズを示す固定パターンノイズデータの更新方法であって、
    結像位置の制御が可能な光学系を制御し、前記赤外線検出器に入射する赤外線を非合焦状態にするステップと、
    前記非合焦状態に制御された状態で前記複数の検出器素子により検出された赤外線の検出信号に基づいて固定パターンノイズ成分の量を算出するステップと、
    前記算出された固定パターンノイズ成分の量で前記固定パターンノイズデータを更新するステップとを有し、
    前記固定パターンノイズ成分の量を算出するステップでは、処理対象の各検出器素子について、当該検出器素子を含めた周辺の複数の検出器素子の検出信号の平均値を算出し、該算出した平均値から更新前の固定パターンノイズデータの平均値を減算することにより当該検出器素子の検出信号に含まれる入射赤外線に依存した信号成分を算出し、当該検出器素子の検出信号から前記算出した信号成分を減算することにより、固定パターンノイズ成分の量を算出することを特徴とする固定パターンノイズデータの更新方法。
JP2017518761A 2015-05-21 2016-05-17 赤外線撮像装置及び固定パターンノイズデータの更新方法 Active JP6291629B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015103566 2015-05-21
JP2015103566 2015-05-21
PCT/JP2016/002400 WO2016185709A1 (ja) 2015-05-21 2016-05-17 赤外線撮像装置及び固定パターンノイズデータの更新方法

Publications (2)

Publication Number Publication Date
JPWO2016185709A1 true JPWO2016185709A1 (ja) 2018-02-22
JP6291629B2 JP6291629B2 (ja) 2018-03-14

Family

ID=57319706

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017518761A Active JP6291629B2 (ja) 2015-05-21 2016-05-17 赤外線撮像装置及び固定パターンノイズデータの更新方法

Country Status (4)

Country Link
US (1) US10523883B2 (ja)
JP (1) JP6291629B2 (ja)
CN (1) CN107615017B (ja)
WO (1) WO2016185709A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6680884B2 (ja) * 2016-08-08 2020-04-15 株式会社日立国際電気 画像補正方法及び撮像装置
DE102018210264A1 (de) * 2018-06-25 2020-01-02 Robert Bosch Gmbh Verfahren zur kontaktfreien Ermittlung einer Temperaturverteilung sowie Infrarot-Messsystem
WO2022264390A1 (ja) * 2021-06-18 2022-12-22 三菱電機株式会社 赤外線撮像装置及び固定パターンノイズデータの生成方法
CN116609033B (zh) * 2023-07-18 2023-10-31 山东莱恩光电科技股份有限公司 一种光电保护器的故障诊断方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5689033A (en) * 1979-12-21 1981-07-20 Fujitsu Ltd Method of processing infrared-ray image pickup signal
JPH07222059A (ja) * 1993-10-04 1995-08-18 Raytheon Co 合焦平面アレー補償技術を含む光学システム
JPH08223484A (ja) * 1995-02-09 1996-08-30 Fujitsu Ltd 赤外線検知素子のバラツキの自動補正方法
US5903659A (en) * 1997-04-17 1999-05-11 Raytheon Company Adaptive non-uniformity compensation algorithm
JP2000125206A (ja) * 1998-10-16 2000-04-28 Nec Corp 固定パターンノイズ補正装置及びその補正方法
JP2001111893A (ja) * 1999-10-07 2001-04-20 Sanyo Electric Co Ltd 画素欠陥検出方法及び画像処理装置
JP2001336983A (ja) * 2000-05-30 2001-12-07 Nec Corp 赤外線撮像方法及び赤外線撮像装置
JP2010200236A (ja) * 2009-02-27 2010-09-09 Hitachi Kokusai Electric Inc 横引きノイズ補正方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1023335A (ja) * 1996-07-05 1998-01-23 Nec Corp 赤外線撮像装置
JP3675066B2 (ja) 1996-11-06 2005-07-27 三菱電機株式会社 赤外線撮像装置および画像補正方法
US9235876B2 (en) * 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
US9208542B2 (en) * 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US8203116B2 (en) * 2010-10-19 2012-06-19 Raytheon Company Scene based non-uniformity correction for infrared detector arrays

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5689033A (en) * 1979-12-21 1981-07-20 Fujitsu Ltd Method of processing infrared-ray image pickup signal
JPH07222059A (ja) * 1993-10-04 1995-08-18 Raytheon Co 合焦平面アレー補償技術を含む光学システム
JPH08223484A (ja) * 1995-02-09 1996-08-30 Fujitsu Ltd 赤外線検知素子のバラツキの自動補正方法
US5903659A (en) * 1997-04-17 1999-05-11 Raytheon Company Adaptive non-uniformity compensation algorithm
JP2001509996A (ja) * 1997-04-17 2001-07-24 レイセオン・カンパニー 適応不均一性補償アルゴリズム
JP2000125206A (ja) * 1998-10-16 2000-04-28 Nec Corp 固定パターンノイズ補正装置及びその補正方法
JP2001111893A (ja) * 1999-10-07 2001-04-20 Sanyo Electric Co Ltd 画素欠陥検出方法及び画像処理装置
JP2001336983A (ja) * 2000-05-30 2001-12-07 Nec Corp 赤外線撮像方法及び赤外線撮像装置
JP2010200236A (ja) * 2009-02-27 2010-09-09 Hitachi Kokusai Electric Inc 横引きノイズ補正方法

Also Published As

Publication number Publication date
CN107615017A (zh) 2018-01-19
US10523883B2 (en) 2019-12-31
US20180098011A1 (en) 2018-04-05
WO2016185709A1 (ja) 2016-11-24
CN107615017B (zh) 2019-11-05
JP6291629B2 (ja) 2018-03-14

Similar Documents

Publication Publication Date Title
JP6275334B2 (ja) 赤外線撮像装置及び固定パターンノイズデータの更新方法
US10469747B2 (en) Infrared imaging device and signal correction method using infrared imaging device
JP6363804B2 (ja) 赤外線撮像装置及びその制御方法、並びに車両
JP6291629B2 (ja) 赤外線撮像装置及び固定パターンノイズデータの更新方法
KR20180122608A (ko) 촬상 소자 및 전자 기기
US10484612B2 (en) Image pickup apparatus, image pickup method, and Storage medium for picking up a plurality of images different in in-focus positions
JP2016143022A (ja) 撮像装置及び撮像方法
US11343434B2 (en) Image processing apparatus and control method for same
JP6337131B2 (ja) 赤外線撮像装置、固定パターンノイズ算出方法、及び固定パターンノイズ算出プログラム
US10362243B2 (en) Infrared imaging device, diaphragm control method, and diaphragm control program
US10735680B2 (en) Infrared imaging device, fixed pattern noise calculation method, and fixed pattern noise calculation program
JP2019095594A (ja) 焦点検出装置及び方法、及び撮像装置
JP2016058877A (ja) 撮像装置及びその制御方法
JP2021063976A (ja) 焦点検出装置及びその制御方法、プログラム、記憶媒体
US9571750B2 (en) Image capturing apparatus, method for controlling the same, and storage medium
JP6700751B2 (ja) 撮像装置、撮像装置の制御方法およびプログラム
CN107710733B (zh) 图像处理装置、图像处理方法以及存储介质
JP2015114544A5 (ja)
JP2019103030A (ja) 撮像装置、その制御方法、および制御プログラム
JP7271353B2 (ja) 撮像装置および波長取得方法
US10136088B2 (en) Image pickup apparatus that reduces amount of information of defective pixels, method of controlling the same, and storage medium
JP6568448B2 (ja) 自動焦点調節装置およびその制御方法、撮像装置
JP6028365B2 (ja) 撮像装置及びプログラム
WO2016157569A1 (ja) 撮像装置及び合焦評価装置
JPWO2018020685A1 (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171108

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20171108

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180209

R150 Certificate of patent or registration of utility model

Ref document number: 6291629

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250