JP6356926B2 - 赤外線撮像装置および赤外線撮像装置による信号補正方法 - Google Patents

赤外線撮像装置および赤外線撮像装置による信号補正方法 Download PDF

Info

Publication number
JP6356926B2
JP6356926B2 JP2017547741A JP2017547741A JP6356926B2 JP 6356926 B2 JP6356926 B2 JP 6356926B2 JP 2017547741 A JP2017547741 A JP 2017547741A JP 2017547741 A JP2017547741 A JP 2017547741A JP 6356926 B2 JP6356926 B2 JP 6356926B2
Authority
JP
Japan
Prior art keywords
value
subject
pixel
infrared
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017547741A
Other languages
English (en)
Other versions
JPWO2017073401A1 (ja
Inventor
小林 誠
誠 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Application granted granted Critical
Publication of JP6356926B2 publication Critical patent/JP6356926B2/ja
Publication of JPWO2017073401A1 publication Critical patent/JPWO2017073401A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/673Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
    • H04N25/674Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources based on the scene itself, e.g. defocusing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44Electric circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/20Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming only infrared radiation into image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/677Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44Electric circuits
    • G01J2001/444Compensating; Calibrating, e.g. dark current, temperature drift, noise reduction or baseline correction; Adjusting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は、赤外線画像を撮像する赤外線撮像装置および赤外線撮像装置による信号補正方法に関し、特に赤外線画像の画素信号を補正する赤外線撮像装置および赤外線撮像装置による信号補正方法に関する。
入射赤外光(赤外線)を検出して赤外線画像を生成する赤外線撮像装置が知られている。一般に、赤外線撮像装置は、被写体から放射される赤外線を検出して電気信号に変換する赤外線検出器を含む。赤外線撮像装置は、監視カメラ、暗視装置、サーモグラフィ、又は車両や航空機などに搭載する先方監視装置などの広範囲の分野で利用されている。
赤外線撮像装置では、赤外線検出器の検出器素子(画素)が持つ画素固有の感度のばらつきなどの画素ごとの非均一性が存在する。画素ごとの非均一性が存在すると、赤外線撮像装置により均一な温度の面を撮像しても、画像信号(画素値)にばらつきが生じて均一な画像が得られない。画素ごとの非均一性の影響を低減するには、各画素の非均一性に対応する補正値を備えてなる補正データを取得し、その画素で検出された画素値から、その画素に対応する補正値をオフセット補正する非均一性補正処理を実施すればよい。非均一性補正処理に用いる補正データは、例えば、均一な光量の光源を赤外線検出器の前面に設置し、かつ外部から赤外線検出器に入射する赤外線を遮断した状態で取得される。
例えば、特許文献1には、赤外線撮像装置内にシャッタ機構を設け、シャッタにより外部から赤外線検出器に入射する赤外線を遮断して、非均一性補正処理に用いる補正データを取得する方法が開示されている。
画素ごとの非均一性は、赤外線撮像装置の本体、回路基板および画素自体などの温度変化によって変動する。このため、非均一性補正処理に用いる補正データを繰り返し取得することが好ましい。もし、温度変化に関わらず、共通の補正データを用いて、複数の時点の赤外線画像に対して非均一性補正処理を実施した場合には、ある時点の赤外線画像に対しては適切な補正結果が得られても、他の時点の赤外線画像に対しては、画像の明るい部分が白一色に表示される白飛び、又は、画像の暗い部分が黒一色に表示される黒沈みなどの不具合を有する不適切な補正結果となる可能性がある。
また、特許文献2には、2つの撮像装置で同一の人物をそれぞれ撮像して得られた2つの赤外線画像に基づいて、2つの赤外線画像の人物の画素値の平均値を求め、係る平均値に2つの赤外線画像の人物の画素値が一致するように、2つの赤外線画像の画素値を補正する方法が提案されている。
特開2005−96752号公報 特許4910529号公報
ここで、特許文献1に記載された技術においては、非均一性補正処理に用いる補正データを取得するためにシャッタを閉じた状態とする必要があるため、外部環境を撮像できない時間が生じてしまう。しかし、例えば、注目すべき被写体を撮像している期間など特定の状況下では、外部環境の撮像が途切れることは好ましくない。
また、特許文献2は、異なる撮像装置でそれぞれ撮像された2つの赤外線画像間で対応する被写体の画素値を一致させる補正値を算出する技術にすぎない。このため、特許文献2の技術において、外部環境の温度変化などが生じた場合には、2つの撮像装置のそれぞれに非均一性補正処理に用いる補正データを更新する必要があり、各撮像装置のそれぞれに撮像できない時間が生じてしまう。
このため、温度変化に起因して画素ごとの非均一性の変動が生じても、外部環境の撮像を途切れさせないで、非均一性補正処理に用いる補正データを取得できる方法が要望されている。
本発明は上記事情に鑑みてなされたものであり、外部環境の撮像を途切れさせないで、温度変化に起因する画素ごとの非均一性の変動を補正することができる赤外線撮像装置、係る赤外線撮像装置による信号補正方法を提案することを目的とする。
本発明に係る赤外線撮像装置は、光学系と、光学系の結像面に位置し、入射した赤外線を検出する複数の画素を備え、複数の画素により赤外線画像を撮像する赤外線検出器と、複数の画素の画素ごとの非均一性をそれぞれ補正するための基礎補正データに基づいて、赤外線画像を補正して補正後画像を出力する補正部と、オフセット値算出部とを備え、オフセット値算出部が、補正後画像から対象被写体に対応する被写体領域を検出する領域検出部と、被写体領域の画素値を表す被写体値を算出する画素値算出部と、赤外線検出器によって撮像された基準となる赤外線画像である基準赤外線画像を基礎補正データに基づいて補正した補正後基準画像における、被写体領域の画素値である基準被写体値と、被写体値とに基づいて、被写体領域の画素値の変化量である被写体値変化量を算出する変化量算出部と、被写体値変化量を、温度変化に起因する複数の画素の画素値の変化量を表す代表オフセット値として算出する代表オフセット値算出部とを有してなり、補正部が、代表オフセット値と基礎補正データとに基づいて、赤外線画像を補正する、ことを特徴とする。
本発明に係る赤外線撮像装置による信号補正方法は、光学系の結像面に位置し、入射した赤外線を検出する複数の画素を備えた赤外線検出器を備えた赤外線撮像装置による信号補正方法であって、複数の画素により赤外線画像を撮像する撮像ステップと、複数の画素の画素ごとの非均一性をそれぞれ補正するための基礎補正データに基づいて、赤外線画像を補正して補正後画像を出力する補正ステップと、オフセット値算出ステップとを有し、オフセット値算出ステップが、補正後画像から対象被写体に対応する被写体領域を検出する領域検出ステップと、被写体領域の画素値を表す被写体値を算出する画素値算出ステップと、赤外線検出器によって撮像された基準となる赤外線画像である基準赤外線画像を基礎補正データに基づいて補正した補正後基準画像における、被写体領域の画素値である基準被写体値と、被写体値とに基づいて、被写体領域の画素値の変化量である被写体値変化量を算出する変化量算出ステップと、被写体値変化量を、温度変化に起因する複数の画素の画素値の変化量を表す代表オフセット値として算出する代表オフセット値算出ステップとを有してなり、補正ステップが、代表オフセット値と基礎補正データとに基づいて、赤外線画像を補正することを特徴とする。
上記において、「温度変化に起因する複数の画素の画素値の変化量」とは、赤外線検出器に含まれる複数の画素の画素値の変化量であって温度変化に起因して生じる変化量を意味する。係る変化量の一例として、外部環境の温度変化に伴う赤外線撮像装置本体と回路基板および画素自体の温度変化、回路基板に通電することにより生じる回路基板および画素自体の温度変化などによって生じる画素値の変化量がある。
本発明に係る赤外線撮像装置において、補正部は、代表オフセット値によって基礎補正データを増減させたデータを用いて、赤外線画像をオフセット補正することが好ましい。
本発明に係る赤外線撮像装置において、オフセット値算出部が、複数の画素の画素ごとに、代表オフセット値と温度変化に起因する画素の画素値の変化量を表す固有オフセット値との関係をそれぞれ表す固有値情報に基づいて、複数の画素の画素ごとに、代表オフセット値に対応する固有オフセット値をそれぞれ算出する固有オフセット値算出部をさらに備え、補正部は、固有オフセット値によって基礎補正データを増減させたデータを用いて、赤外線画像をオフセット補正してもよい。
本発明に係る赤外線撮像装置において、変化量算出部は、基準被写体値と被写体値の少なくとも一方の値に対して、基準被写体値と被写体値の間の光学系に起因するシェーディングの差を低減する補正を行い、シェーディングの差を低減する補正を行った後の被写体値から、シェーディングの差を低減する補正を行った後の基準被写体値を減算した値を被写体値変化量として算出することが好ましい。
本発明に係る赤外線撮像装置において、オフセット値算出部は、変化量算出部による被写体値変化量の算出に先立って、補正後画像の画素値の少なくとも一部に対して、光学系に起因するシェーディングを補正するシェーディング補正処理を行うシェーディング補正部をさらに有することが好ましい。
上記「光学系に起因するシェーディング」とは、光学系に起因して生じる画素値の非均一性(ばらつき)を意味する。例えば、光学系によるシェーディングとして、光学系の光軸における光量よりも光軸から離れた位置において光量が低減する、いわゆる周辺光量落ちなどがあげられる。
オフセット値算出部がシェーディング補正部を有する場合に、シェーディング補正部は、補正後画像における複数の画素に対応する画素値に対してシェーディング補正処理を行い、領域検出部は、シェーディング補正処理を行った後の複数の画素に対応する画素値に基づいて、被写体領域を検出することが好ましい。
オフセット値算出部がシェーディング補正部を有する場合に、シェーディング補正部は、被写体領域に含まれる画素の画素値に対してシェーディング補正処理を行い、画素値算出部は、シェーディング補正処理を行った後の被写体領域に含まれる画素値に基づいて、被写体値を算出することが好ましい。
本発明に係る赤外線撮像装置において、画素値算出部は、被写体領域の画素値の分布を表すヒストグラムに基づいて、最頻値と平均値と中央値とのいずれか1つを被写体値として算出することが好ましい。
本発明に係る赤外線撮像装置において、領域検出部が、人に対応する領域を被写体領域として検出することが好ましい。
本発明に係る赤外線撮像装置において、オフセット値算出部は、周期的に繰り返し代表オフセット値を算出することが好ましい。
本発明に係る赤外線撮像装置において、基礎補正データを補正する基礎補正データ更新処理を実行する基礎補正データ更新部と、赤外線検出器と光学系との間に位置し、開閉自在であるシャッタと、補正後画像に被写体領域が存在しない間に、赤外線検出器にシャッタを閉じた状態におけるシャッタ画像を撮像させ、シャッタ画像に基づいて基礎補正データ更新部に基礎補正データ更新処理を実行させる制御部とをさらに備えることが好ましい。
「補正後画像に被写体領域が存在しない間に」とは、補正後画像に実質的に被写体領域が含まれない間を意味する。また、例えば、補正後画像から被写体領域の有無を検出して被写体領域が存在しないことを確認した場合に限定されず、補正後画像に被写体領域がないことが既知である場合なども含む。
本発明の赤外線撮像装置および本発明の赤外線撮像装置による信号補正方法によれば、赤外線画像自体の情報に基づいて、赤外線検出器の複数の画素における、温度変化に起因する画素値の変化量を表す代表オフセット値を算出し、代表オフセット値に基づいて赤外線画像を補正する。このため、外部環境の撮像を途切れさせないで、温度変化に起因する画素ごとの非均一性の変動を補正することができる。
本発明の一実施形態による赤外線撮像装置の構成を示す概略ブロック図。 第1の実施形態のデジタル信号処理部の構成を示すブロック図。 温度変化による画素値の変化を説明するための図。 温度変化の影響を受けた赤外線画像の一例を示す図。 赤外線検出器の一部の画素を示す図。 図5に示す画素に対応する補正前の基礎補正データの例を示す図。 図5に示す画素に対応する補正後の基礎補正データの例を示す図。 第1の実施形態の信号補正処理を示すフローチャート。 温度変化の影響を受けた赤外線画像の他の一例を示す図 光学系によるシェーディングを説明するための図 第3の実施形態のデジタル信号処理部の構成を示すブロック図。 第3の実施形態の信号補正処理を示すフローチャート。 第3の実施形態の変形例の信号補正処理を示すフローチャート。 第4の実施形態のデジタル信号処理部の構成を示すブロック図。 第4の実施形態の固有値情報の例を示す図。 第4の実施形態の補正前の基礎補正データの例を示す図。 第4の実施形態の補正後の基礎補正データの例を示す図。 第4の実施形態の信号補正処理を示すフローチャート
以下、図面を参照して本発明の実施形態について説明する。図1は本発明の一実施形態による赤外線撮像装置100の構成を示す概略ブロック図である。
まず、本発明の一実施形態の赤外線撮像装置100は、赤外線撮影用の光学系1と、光学系1の結像面に検出面を位置させ、光学系1を通過した赤外線を検出する赤外線検出器3と、赤外線検出器3と光学系1との間に位置し、開閉自在であるシャッタ2と、赤外線検出器3で検出された画素信号に対して増幅処理を含む公知のアナログ信号処理を行うアナログ信号処理回路4と、アナログ信号処理を施された画素信号に対してAD変換(Analog to Digital変換)を行うAD変換回路5と、AD変換処理を施されたデジタル信号から構成される赤外線画像に対して、本発明の実施形態による信号補正処理を含む各種の信号補正処理を行うデジタル信号処理装置(Digital Signal Processor)であるデジタル信号処理部6と、デジタル信号処理部6により補正された赤外線画像を出力する出力部8と、赤外線撮像装置100は赤外線画像の撮像などの制御を行う制御部9と、制御部9によって制御されるシャッタ2を駆動するシャッタ駆動機構10を備える。また、赤外線撮像装置100は、図1には不図示の装置本体を備え、上記各部は、撮像装置本体の中に配置されている。
赤外線検出器3は、複数の赤外線検出素子を行列状に配置した固体撮像素子であるイメージセンサから構成される。赤外線検出器3の画素は、赤外線(波長0.7μm〜1mm)を検出可能な赤外線検出素子(赤外線検出器)であり、特に、遠赤外線(波長8〜15μm)を検出可能な赤外線検出素子である。例えば、上記有効画素又は参照画素として用いられる赤外線検出素子としてボロメータ型又はSOI(Silicon on Insulator)ダイオード型の赤外線検出素子を用いることができる。
出力部8は、無線又は有線通信によって、本発明の実施形態の信号補正処理を含む各種のデジタル信号処理が施された赤外線画像を不図示の外部記憶部と表示部に出力する。ここでは、不図示の外部記憶部は、ハードディスクなど各種の記憶媒体から構成される。例えば、外部記憶部をメモリカード型の補助記憶装置として構成してもよい。なお、不図示の表示部は、液晶型ディスプレイなど公知のディスプレイを備え、出力した赤外線画像を表示する。また、不図示の外部記憶部は出力部8から取得した赤外線画像を記憶する。
制御部9は、装置全体の統括的な制御を行う。制御部9には、例えばFPGA(Field-Programmable Gate Array)などのPLD(Programmable Logic Device)を用いることができる。制御部9は、赤外線撮像装置100の動作モードを、通常撮像モードと基礎補正データの更新モードとの間で切り替える。制御部9は、制御信号を通じて、デジタル信号処理部6における信号処理を動作モードに応じて制御する。具体的には、通常撮像モード時はデジタル信号処理部6に補正処理を実施させ、基礎補正データの更新モード時は基礎補正データ更新処理を実施させる。また、制御部9は、基礎補正データの更新モードの際に、シャッタ駆動機構10を制御して、シャッタ2に設けられたヒータ2Aによってシャッタ2の像側面を均一な基準温度にするように制御し、シャッタ2の像側面が均一な基準温度に制御された状態でシャッタ画像を撮像する制御を行う。
デジタル信号処理部6は、典型的には、プロセッサと、プロセッサに対する命令を格納するROM(Read Only Memory)と、データを格納するRAM(Random Access Memory)とを含み、これらはバスを介して接続されている。
図2は、第1の実施形態のデジタル信号処理部6の詳細な構成を示すブロック図である。図2に示すように、プロセッサがROMに格納されたプログラムに従って動作することで、デジタル信号処理部6は、補正部62と、オフセット値算出部60と、基礎補正データ更新部63と、スイッチSWなどとして機能する。また、デジタル信号処理部6のRAMは、フレームメモリ61と、基準値記憶部66と、補正データ記憶部64として機能する。デジタル信号処理部6は、外部の記憶装置などと接続されるインタフェースを有していてもよい。なお、基準値記憶部66と、補正データ記憶部64は、例えばEEPROM(Electrically Erasable and Programmable Read Only Memory)などの書き換え可能な不揮発性メモリで構成されていてもよい。
フレームメモリ61は、赤外線検出器3で検出されたフレーム画像である赤外線画像を記憶する。また、各画像処理の必要に応じて処理対象の赤外線画像を記憶する。
なお、信号補正処理が行われた補正後の赤外線画像である補正後画像は、赤外線撮像装置100のデジタル信号処理装置によって、信号補正処理の後にその他の必要な補正処理などが適宜施され、出力部8によって不図示の外部記憶部および表示部などに適宜出力される。なお、補正後画像に対して例えば、階調処理、エッジ強調処理、局所的コントラスト強調処理、シャープネス調整処理および/又はシェーディング補正処理など任意の処理を行ってよい。
補正データ記憶部64は、画素ごとの非均一性の補正値を表す基礎補正データを記憶する。ここで、赤外線検出器3の各検出器素子(各画素)に検出される各画素値(各画素信号)は、その画素に固有のばらつき成分(非均一性成分)を有する。基礎補正データは、各画素のばらつき成分の値に相当する補正値を表すデータであり、各画素の補正値の集合である。補正データ記憶部64は、初期状態では、均一な光量の光源を赤外線検出器3の前面に設置し、かつ外部から赤外線検出器3に入射する赤外線を遮断した状態で赤外線検出器3により検出された赤外線画像を、基礎補正データとして記憶していてもよい。
補正部62は、基礎補正データに基づいて、赤外線画像を補正して補正後画像を出力する。ここでは、補正部62は、補正データ記憶部64に記憶された基礎補正データを参照して、赤外線画像の各画素値に含まれるばらつき成分の補正(除去)を行う。より詳細には、補正部62は、赤外線検出器3によって撮像された赤外線画像の各画素値から、その画素値の画素のばらつき成分に相当する補正値をそれぞれオフセット演算することにより、各画素に固有のばらつき成分を除去する非均一性補正処理を行って、入射赤外線の量に依存した画素値を出力する。
また、補正部62は、代表オフセット値が算出された後は、代表オフセット値と基礎補正データに基づいて赤外線画像を補正する。また、補正部62は、代表オフセット値によって基礎補正データを増減させたデータを用いて、赤外線画像をオフセット補正する。なお、ここで補正部62の補正対象となる赤外線画像は、代表オフセット値の算出の際に用いられた赤外線画像であってもよく、代表オフセット値の算出の際に用いられた赤外線画像より後に撮像された赤外線画像であってもよい。
「代表オフセット値によって基礎補正データを増減させたデータを用いて、赤外線画像をオフセット補正する」とは、赤外線画像の各画素値から、代表オフセット値と、基礎補正データに含まれるその画素値に対応する画素の補正値と、をオフセット補正することを意味する。「代表オフセット値によって基礎補正データを増減させたデータを用いて、赤外線画像をオフセット補正する」とは、結果的に、赤外線画像の各画素値から、代表オフセット値と、基礎補正データに含まれるその画素値に対応する画素の補正値とをそれぞれオフセット補正(除去)するいかなる方法も含む。
例えば、補正部62は、赤外線検出器3が1〜n個の画素を有する場合、補正部62によって出力されるi番目(1≦i≦n)の画素の出力画素値が、(i番目の画素に対応する出力画素値)=(i番目の画素の入力画素値)−(i番目の画素の補正値)−(代表オフセット値)となる範囲で、任意の方法でオフセット補正を行ってよい。
一例として、図2に破線で示すように、補正データ記憶部64に代表オフセット値と基礎補正データとが個々に記憶されている場合に、補正部62は、代表オフセット値と、基礎補正データと参照して、式(1)に示すように、赤外線画像の各画素値から、代表オフセット値と、基礎補正データに含まれるその画素値に対応する画素の補正値とを減算することにより、オフセット補正を行ってもよい。また、本実施形態のように、代表オフセット値を加算した基礎補正データによって、補正データ記憶部64の基礎補正データを更新した場合には、補正部62は、赤外線画像の各画素値から、後述の式(1−1)に示すように、更新された基礎補正データに含まれるその画素値に対応する画素の補正値を減算することによりオフセット補正を行ってもよい。
(i番目の画素に対応する出力画素値)=(i番目の画素の入力画素値)−(i番目の画素の補正値)−(代表オフセット値) (1)
また、補正部62は、結果的に、赤外線画像の各画素値から、少なくとも代表オフセット値と、基礎補正データに含まれる、対応する補正値とを補正(除去)するものであれば、代表オフセット値と基礎補正データに含まれる補正値に加えて、さらなる補正値を用いて補正処理を行ってもよい。
スイッチSWには、補正部62によって非均一性補正処理が行われた赤外線画像である補正後画像が入力される。スイッチSWは、補正後画像を、オフセット値算出部60と基礎補正データ更新部63に選択的に出力する。スイッチSWの切り替えは、例えば制御部9が出力する制御信号に基づいて実施される。制御部9は、通常撮像モード時はスイッチSWからオフセット値算出部60に補正後画像を出力させる。また、制御部は、オフセット値算出部60にオフセット値の算出を指示する。一方、制御部9は、基礎補正データの更新モード時は、スイッチSWから基礎補正データ更新部63に補正後画像を出力させる。また、制御部9は、基礎補正データ更新部63に基礎補正データの更新を指示する。
基礎補正データ更新部63は、基礎補正データを更新する。基礎補正データ更新部63には、基礎補正データ更新モードになると、スイッチSWを介して、シャッタ2の像側面が均一な基準温度に制御された状態で撮像されたシャッタ画像が入力される。基礎補正データ更新部63は、シャッタ画像に基づいて、公知の方法により各画素が均一な出力値となる補正値を画素ごとに算出し、画素ごとの補正値の集合である基礎補正データを取得する。そして、取得した基礎補正データにより補正データ記憶部64に記憶された基礎補正データを更新する。なお、均一な温度としたシャッタを撮像したシャッタ画像において、シャッタ画像における画素値は、画素ごとの固有のばらつき成分の値と、被写体から入射する均一な画素値との和となる。このため、例えば、基礎補正データ更新部63は、シャッタ画像の画素値データを基礎補正データとして取得してもよい。なお、基礎補正データは、赤外線撮像装置100の製造時に作成されて補正データ記憶部64に保存されてもよい。また、赤外線撮像装置100は、基礎補正データ更新部63およびスイッチSWを省略してもよい。
なお、ここでは、基礎補正データ更新部63は、直前の補正後画像から人領域が検出されていないという条件を満たす場合に基礎データ更新処理を行う。詳細には、基礎補正データ更新部63は、前回の基礎補正データの更新処理から設定された時間間隔が経過しており、さらに、直前の補正後画像から領域検出部65によって人領域が検出されていないという更新条件を満たす場合に、基礎補正データの更新処理を行う。
基礎補正データを更新する時間間隔は、必要とされる任意の時間間隔とすることができ、装置の仕様や要求事項に応じて、一定の時間間隔としてもよく、それぞれ異なる時間間隔としてもよい。例えば、基板温度(特にセンサ温度)および赤外線撮像装置100の筐体温度などの撮影対象に無関係な外的要因による赤外線量が頻繁に変動する場合には、上記時間間隔を短めに設定し、外的要因による赤外線量があまり変動しない場合には、上記時間間隔を長めに設定することが考えられる。一例として、上記時間間隔を、2〜3分程度とすることができる。
なお、基礎補正データ更新部63は、任意の方法により基礎補正データを更新してよい。例えば、光学系が非合焦状態となることで、光学系の観測視野内の全方向からの光が赤外線検出器3に均等に入射する。つまり、光学系に対して様々な方向から入射した光束は、赤外線検出器3の特定の点に結像せず、赤外線検出器3の検出面に均等に入射する。基礎補正データ更新部63は、このような光学系を非合焦状態として撮像した画像を用いて、基礎補正データを更新してもよい。
なお、一例として、基礎補正データ更新部63は、特開2001−336983号公報に示す方法で得た固定パターンノイズデータを基礎補正データとして取得してよい。特開2001−336983号公報に示す方法によれば、光学系を非合焦とした状態において、赤外線検出器が出力した赤外線画像から固定パターンノイズデータを減算した処理後画像と、固定パターンノイズノイズの期待値データとの誤差を求める。この誤差に基づく帰還データを固定パターンノイズデータとして減算器に与える負帰還を行い、減算器の出力画像データと期待値データとがほぼ同一となった時の帰還データを固定パターンノイズデータとして保持する。
なお、基礎補正データを更新するとは、補正データ記憶部64に記憶された基礎補正データを新たなデータで書き換えることを意味する。基礎補正データの更新は、赤外線検出器3に含まれる全ての画素に対応する補正値を一度に更新するもののみならず、一部の画素に対応する補正値を更新する一部更新も含む。
ここで、本発明における、各画素の画素値に含まれる画素ごとの非均一性を補正する技術の原理を説明する。特に、本発明では、各画素の画素値から温度変化に起因する画素値の変動を抑制することに注目した。図3は、赤外線検出器3で検出した画素値(出力画素値)における、入射赤外線に依存する信号成分と、ばらつき成分とを示す図である。図3に示すように、5つの画素P1〜P5について、5つの画素P1〜P5の各画素値は、被写体からの入射赤外線に依存する各信号成分D1〜D5と、図中斜線を付して示す画素ごとの固有のばらつき成分との和である。また、5つの画素P1〜P5の各ばらつき成分は、温度変化によって変化しない成分A1〜A5と温度変化に伴い変動する温度依存成分B1〜B5を含む。
また、図3の左には、基準温度での画素値を示し、図3の右には、基準温度から温度が変化した他の温度での画素値を示す。基礎補正データが、基準温度における各画素のばらつき成分に相当する補正値の集合である場合、基準温度では、基礎補正データを用いて、ばらつき成分を適切に補正(除去)することができる。しかし、基準温度から温度変化が生じると、温度依存成分B1〜B5中の矢印で示すように、温度依存成分B1〜B5が増減するため、例えば、基準温度に対応する基礎補正データを用いて、図3右の他の温度における画素値を補正すると、温度依存成分B1〜B5中の増加部分(温度依存成分B1〜B5中の矢印の部分)が出力される画素値に残存し、画素値が全体的に増加するようにシフトしてしまう。逆に、温度依存成分B1〜B5が減少した場合には、温度依存成分B1〜B5の減少部分の分だけ補正後の画素値が不適切に小さくなり、画素値が全体的に減少するようにシフトしてしまう。このように、温度変化に起因して、非均一性補正処理後の補正後画像の画素値が変動するという問題が生じる。
図4は、左から順に、基準温度において撮像された赤外線画像を補正した補正後画像と基準温度と異なる他の温度で撮像された赤外線画像を補正した補正後画像とを示す。なお、両補正後画像は、基準温度に対応する基礎補正データを用いて非均一補正処理が行われている。図4の左右の画像では、既知の温度範囲内の体温を有する人が含まれており、両画像で人の体温にはほとんど差がないにも関わらず、上記のような温度依存成分の変動により、図4の右に示す基準温度と異なる温度に対応する補正後画像では、画像中の画素値が全体的に変動し、人領域の画素値が小さくなっている。
このような画素値の変動を抑制するために、周期的に基礎補正データを繰り返し取得して、取得した基礎補正データを用いて赤外線画像の不均一補正処理を行うことが好ましい。しかし、基礎補正データの取得は、従来の方法では、基礎補正データのための画像を取得するために、外部環境の撮像をできない期間が生じてしまう。しかし、例えば、車載用の赤外線撮像装置100などでは、歩行者など注目すべき被写体が赤外線画像に含まれている期間などには、基礎補正データの更新を遅らせて外部環境を途切れず撮像して観察したいという要求がある。また、外部環境を途切れず撮像したい状況が、一定の期間、継続することも生じうる。このような場合には、外部環境の撮像を途切れさせないで、温度変化に起因する画素値の変動を補正することができることが好ましい。
本発明では、温度変化に起因する画素値の変動を補正するために、周囲温度に関わらず概ね一定温度を保つことが既知である対象被写体の画素値を利用することに着目した。例えば、赤外線画像に人体などの既知の特定温度範囲の温度を有する対象被写体が存在する場合、対象被写体から入射する赤外線量は周囲温度に関わらず、概ね一定値を保つと推定される。このため、もし対象被写体の画素値が変化すると、その画素値の変化量は、温度変化に起因する画素値の変化量を表していると考えられる。また、画素値に影響を与える温度変化は、外部環境の温度変化や回路基板の通電により生じる撮像値本体、回路基板および画素自体の温度変化であり、赤外線検出器3の全体に対して類似する温度変化が生じていると推定される。このため、本発明では、対象被写体の画素値の変化量は、赤外線検出器3全体に含まれる複数の画素の画素値の変化量を表しているととらえる。
このことから、オフセット値算出部60は、後述の代表オフセット値算出部69を備え、代表オフセット値算出部69により被写体値の画素値の変化量を、温度変化に起因する変化量であって、赤外線検出器3の複数の画素の画素値の変化量を表す代表オフセット値として算出する。そして、補正部62が代表オフセット値に基づいて、赤外線画像の画素値の温度依存成分の変動を打ち消すように、オフセット補正を行う。
オフセット値算出部60は、領域検出部65と、画素値算出部67と、変化量算出部68と、代表オフセット値算出部69とを有してなる。以下、一例として、図4を用いて、オフセット値算出部60が、図4の左画像の被写体の画素値から図4の右画像の被写体の画素値への変化量(被写体値変化量)を代表オフセット値として算出する処理を以下に説明する。なお、補正部62は、代表オフセット値を用いて、画素値の変動を低減する補正を行うことにより、図4の右画像に示す温度に起因する画素値の変動(低下)を補正して、図4の右画像の被写体の画素値が図4の左画像の被写体の画素値に相当する画素値になるように補正する。
領域検出部65は、補正部62によって非均一性補正処理が行われた後の補正後画像を取得し、補正後画像から対象被写体に対応する被写体領域Rを検出する。ここでは、領域検出部65は、公知の手法により、赤外線画像から人物温度に対応する基準範囲の温度を表す画素集合を検出し、検出された画素集合のエッジを抽出する。そして、抽出されたエッジに対して、既知の人物形状を表すパターンを用いてパターン認識を行うことにより、赤外線画像から人物を検出する。
また、ここでは、領域検出部65は、図4の右に示す補正後画像を取得し、補正後画像から被写体の頭部(顔)を検出し、頭部を含む矩形領域を被写体領域Rとして検出する。領域検出部65は、赤外線画像から対象の被写体を検出できる手法であれば、任意の手法を採用することができる。例えば、領域検出部65は、人物領域を検出する場合に、特許文献1に示される被写体領域Rの検出方法を採用してもよい。
なお、上記のように、領域検出部65が、人に対応する領域を被写体領域Rとして検出する場合には、既知の人体温度範囲内の温度を有する人領域の画素値に基づいて、精度よく代表オフセット値を算出して赤外線画像の温度変化による変動を抑制する補正を行うことができる。なお、撮像装置の設置される目的や観察対象に応じて、既知の特定範囲の温度を有する任意の物体を対象被写体とすればよい。例えば、領域検出部65は、人以外の恒温動物などの領域を対象被写体に対応する領域として検出するように構成してもよい。
画素値算出部67は、領域検出部65によって検出された被写体領域Rの画素値を表す被写体値を算出する。ここでは、画素値算出部67は、被写体領域Rの画素値の分布を表すヒストグラムに基づいて、被写体領域Rの最頻値を被写体値として算出する。また、例えば、画素値算出部67は、被写体領域Rの画素値の分布を表すヒストグラムに基づいて、平均値と中央値のいずれか1つを被写体値として算出してもよい。これらの場合には、被写体領域Rの代表画素値である被写体値として適切な値を用いることにより、被写体領域Rの画素値の変化を精度よく算出することができる。
画素値算出部67は、被写体領域Rの画素値を表す被写体値として、任意の方法で被写体値を算出してよい。例えば、被写体領域Rの画素値の加算平均値又は重み付け加算平均値を被写体値としてもよく、被写体領域Rのうち、特定の位置の画素値又は選択された複数の画素の画素値に基づいて被写体値を算出してもよい。
変化量算出部68は、基準被写体値と、画素値算出部67によって算出された被写体値とに基づいて、被写体領域Rの画素値の変化量である被写体値変化量を算出する。具体的には、変化量算出部68は、基準値記憶部66に記憶された基準被写体値を参照して、画素値算出部67によって対象となる赤外線画像から算出された被写体値から基準被写体値を減算した差分の値を被写体値変化量として算出する。ここでは、図4の左画像から、後述のように基準被写体値として100が算出されて基準値記憶部66に記憶されている。画素値算出部67が、図4の右画像から、被写体値として90を算出すると、変化量算出部68は、被写体値(90)から基準被写体値(100)を減算した値(90−100=−10)を被写体値変化量として算出する。
なお、基準被写体値は、基準となる基準赤外線画像から算出される被写体値である。基準被写体値と対象となる赤外線画像から得られる被写体値は、同じ基礎補正データを用いて非均一性補正処理が施され、同様の方法で被写体領域Rが検出され、同様の方法で被写体領域Rにおける被写体値が算出されたものであることが好ましい。また、基準赤外線画像として、基礎補正データの取得ための画像を撮像した時刻とできるだけ近い時刻に撮像された赤外線画像であって、被写体が含まれる赤外線画像を用いることが好ましい。
図4の左に示す補正後基準画像から基準被写体値を算出する方法について説明する。デジタル信号処理部6は、基礎補正データ更新モードから通常撮像モードに移行すると、撮像した赤外線画像がフレームメモリ61に記憶され、補正部62がフレームメモリ61に記憶された赤外線画像に対して基礎補正データに基づいて非均一性補正処理を施した補正後画像を出力する。そして、領域検出部65が、補正後画像に対して被写体領域Rを検出する。被写体領域Rが検出されると、画素値算出部67が、補正後画像の被写体領域Rから、被写体領域Rの画素値の分布を表すヒストグラムに基づいて、被写体領域Rの最頻値を基準被写体値として算出し、基準被写体値を基準値記憶部66に記憶する。
なお、被写体領域Rが検出されるまで、赤外線画像の撮像ごとに、フレームメモリ61に赤外線画像が記憶され、記憶された赤外線画像に対して、非均一性補正処理を施した補正後画像を出力し、補正後画像中の被写体領域Rを検出するという一連の処理が繰り返される。なお、上記の場合には、基準赤外線画像は、基礎補正データ更新モードから通常撮像モードに移行後、最初に被写体領域Rが検出された補正後画像に対応する赤外線画像である。
上記の場合には、基礎補正データの取得時と基準被写体値の取得時との時間間隔をできるだけ小さくすることができる。このため、基礎補正データの取得時の外部環境および回路基板の温度と、基準被写体値の取得時の外部環境および回路基板の温度との差ができるだけ小さい状態で、基準被写体値を算出することができる。このことにより、基準被写体値を、基礎補正データを取得した時の温度に対応する画素値に近づけて、基礎補正データの取得時からの温度変化による画素値の変化を近似的に表す被写体値変化量が算出される。従って、被写体値変化量を代表オフセット値として用いて、基礎補正データを取得したときからの温度変化による画素値の変動を好適に補正することができる。なお、基準赤外線画像として、対象となる赤外線画像の撮像時よりも前に赤外線検出器3で撮像された任意の赤外線画像を用いてもよい。
代表オフセット値算出部69は、被写体値変化量を、代表オフセット値として算出する。そして、代表オフセット値算出部69は、代表オフセット値を用いて基礎補正データの各補正値をオフセット演算(増減)したデータを用いて、補正データ記憶部64に記憶された基礎補正データを更新する。なお、代表オフセット値算出部69は、代表オフセット値を基礎補正データとは別に補正データ記憶部64に記憶してもよい。
図5、図6Aおよび図6Bを用いて、代表オフセット値算出部69が、代表オフセット値を用いて基礎補正データを更新する処理を説明する。図5は、赤外線検出器3の画素の一部である5×5画素P1〜P25を示す。図6Aと図6Bは、基礎補正データであり、図5の画素P1〜P25にそれぞれ対応する位置に、画素P1〜P25に対応する補正値を示している。また、図6Aは代表オフセット値算出部69による更新処理前の基礎補正データを示し、図6Bは、代表オフセット値算出部69による更新処理後の基礎補正データを示す。また、図6A等に示すように、基礎補正データは、画素ごとに、その画素の非均一性(画素ごとのばらつき成分)を補正(除去)する固有の補正値の集合となっている。
なお、図6Aおよび図6Bに示す各数値は、いずれも説明のために簡略化した数値であって、実際とは異なる値とされている。また、説明のために5×5画素について説明するが、代表オフセット値算出部69は、赤外線検出器3に含まれるn個の画素の全てに対して、代表オフセット値算出部69による更新処理を実行する。
ここでは、代表オフセット値算出部69は、先述の被写体値変化量(−10)を代表オフセット値として算出し、図6Aに示す、基礎補正データの各画素Pi(1≦i≦25)にそれぞれ対応する補正値について、(i番目の画素に対応する補正値)=(i番目の画素に対応する補正値)+(代表オフセット値)とするオフセット演算を行って、図6Bに示す、オフセット演算後の基礎補正データを算出し、オフセット演算後の基礎補正データを用いて、補正データ記憶部64に記憶された基礎補正データを更新する。図6Aに示す各補正値に対して、図6Bに示す各補正値に、代表オフセット値(−10)が加算されていることが分かる。
なお、代表オフセット値が算出されると、補正部62は、補正データ記憶部64に記憶された基礎補正データに基づいて、赤外線画像の各画素値から、その画素値に対応する画素の補正値を減算することにより、非均一性補正処理を実行する。つまり、補正部62は、更新後補正データに基づいて、赤外線画像の各i番目の画素(1≦i≦n)について、式(1−1)に示すオフセット演算を行うことにより、入力された赤外線画像に対して非均一性補正処理を行って、補正後画像を出力する。
(i番目の画素に対応する出力画素値)=(i番目の画素の入力画素値)−(i番目の画素の更新後の補正値)=(i番目の画素の入力画素値)−((i番目の画素の補正値)+(代表オフセット値)) (1−1)
図7は、第1の実施形態の信号補正処理の流れを示すフローチャートである。図7を用いて信号補正処理の流れを詳細に説明する。
まず、通常撮影モードの場合、赤外線撮像装置100が赤外線画像を撮像すると、撮像された赤外線画像はフレームメモリ61に記憶される(ST01)。補正部62は、フレームメモリ61に記憶された赤外線画像に対して、補正データ記憶部64を参照して、非均一性補正処理を実施する(ST02)。具体的には、基礎補正データに基づいて、赤外線画像の各画素値から、その画素値に対応する画素の補正値をそれぞれ減算することにより、補正後画像を出力する。続いて、領域検出部65は、補正後画像から被写体領域Rを検出する(ST03)。被写体領域Rが検出されない場合には(ST04,YES)、ST01〜ST03の処理を繰り返す。一方、被写体領域Rが検出された場合には(ST04,YES)、画素値算出部67が、検出された被写体領域Rの画素値に基づいて、被写体値を算出する(ST05)。次いで、変化量算出部68は、被写体値から基準被写体値を減算した差分を被写体値変化量として算出し(ST06)、代表オフセット値算出部69は、算出された被写体値変化量を代表オフセット値として算出する(ST07)。ここでは、代表オフセット値算出部69は、算出された代表オフセット値を用いて、補正データ記憶部64に記憶された基礎補正データを更新する(ST08)。赤外線撮像装置100は、終了条件を満たさない場合には(ST09、NO)、ST01〜ST08の処理を繰り返す。赤外線撮像装置100は、終了条件が満たされた場合には(ST09、YES)、処理を終了する。
上記実施形態によれば、赤外線画像自体の情報に基づいて、温度変化に起因する、赤外線検出器3の複数の画素の画素値の変化量を表す代表オフセット値を算出し、代表オフセット値と基礎補正データとに基づいて、赤外線画像を補正する。このため、外部環境の撮像を途切れさせないで、温度変化に起因する画素値の変動を補正することができる。
また、上記実施形態では、基礎補正データ更新部63を備え、基礎補正データ更新部63が、直前に撮像された赤外線画像から人が検出されないという更新条件を満たす場合に基礎補正データの更新を行い、オフセット値算出部60が、被写体が検出されている場合に、代表オフセット値を算出する。そして、補正部62は、代表オフセット値によって基礎補正データを増減したデータに基づいて、赤外線画像をオフセット補正することにより非均一性補正処理を行っている。
このことにより、注目される被写体である人が撮像されている場合には、外部の撮像を中断する基礎補正データの更新処理を行わないで、通常撮像モードとして撮像を継続することができる。さらに、通常撮像モードにおいて、被写体領域Rの検出の有無に応じて代表オフセット値を適宜算出しているため、撮像を中断して基礎補正データを更新しなくても、温度変化による複数の画素の画素値の変化量を好適に補正することができる。また、注目される被写体である人が撮像されていない状態において、適宜基礎補正データを更新することができる。このため、補正部62は、注目すべき被写体の有無に応じて、適宜温度変化に応じた補正データを取得することができ、取得された補正データに基づいて、好適に不均一性補正処理を行うことができる。
また、上記各実施形態に示すように、オフセット値算出部60が、周期的に繰り返し代表オフセット値を算出した場合には、温度変化による画素値の変化量を好適に補正することができる。なお、上記のように、毎フレーム画像に対して被写体領域Rを検出し、被写体領域Rが検出される度に代表オフセット値を算出した場合には、温度変化に対して好適に代表オフセット値を適合させることができるため、上記効果が特に著しい。
なお、オフセット値算出部60は、代表オフセットの算出処理、又は、後述の固有オフセット値の算出処理を、時間間隔をあけて行ってもよい。
また、基礎補正データ更新部63による基礎補正データの更新処理を行う更新条件は、任意に設定されてよい。
また、制御部9を、基礎補正データ更新部63による更新条件とは無関係に、オフセット値算出部60によるオフセット値算出処理(代表オフセット値算出処理又は後述の固有オフセット値算出処理)の実行を指示するように構成してもよい。
例えば、オフセット値算出部60は、設定した時間間隔で、代表オフセットの算出又は後述の固有オフセット値の算出を行ってよい。この場合には、基板温度(特にセンサ温度)および赤外線撮像装置100の筐体温度などの撮影対象に無関係な外的要因による赤外線量が頻繁に変動する場合には、上記時間間隔を短めに設定し、外的要因による赤外線量があまり変動しない場合には、上記時間間隔を長めに設定することが考えられる。例えば、オフセット値算出部60が代表オフセット値を算出する時間間隔を、3分以下、あるいは5分以下とすることができる。
また、一例として、温度変化を検出するための不図示の温度センサを赤外線撮像装置100の外部又は内部に設けて、制御部9が温度センサの計測値に基づいて、温度変化を監視してもよい。そして温度変化が観測された場合に、オフセット値算出部60に指示して、代表オフセット値の算出処理(あるいは、代表オフセット値の算出処理と固有オフセット値の算出処理の両方)を実施させてもよい。この場合、例えば、制御部が温度センサの計測値を監視し、計測値を閾値判定して基準値以上の温度の変化を判断すればよい。
また、制御部9は、時間経過や温度変化などに基づく任意の更新条件が満足された状態であっても、画像の撮像を中断したくない状況など基礎補正データ更新部63による基礎補正データの更新処理を行うことが好ましくない状況が検出された場合には、基礎補正データ更新部63による基礎補正データの更新処理を延期し、その代わりに、オフセット値算出部60によるオフセット値算出処理の実行を指示してもよい。この場合、制御部9は、更新処理を行うことが好ましくない状況が解消されるまで、オフセット値算出部60によるオフセット値算出処理の実行を適宜指示することが好ましい。この場合には、基礎補正データ更新部63による基礎補正データの更新処理を行うことが好ましくない状況の有無に応じて、注目すべき被写体を含む補正後画像を継続して出力部8に出力しつつ、オフセット値算出処理によって、温度変化による画素値の変動を抑制することができる。
また、上記のように、被写体値変化量が代表オフセット値として算出され、代表オフセット値によって基礎補正データを増減したデータに基づいて、赤外線画像をオフセット補正した場合には、簡易かつ好適に赤外線画像の各画素値から温度変化に起因する画素値の変化量を補正することができる。
以下、図8Aと図8Bとを用いて、第2の実施形態について説明する。第2の実施形態では、変化量算出部68が、基準被写体値と被写体値の少なくとも一方の値に対して、基準被写体値と被写体値の間の光学系1に起因するシェーディング(レンズシェーディング)の差を低減する補正を行い、シェーディングの差を低減する補正を行った後の被写体値から、シェーディングの差を低減する補正を行った後の基準被写体値を減算した値を被写体値変化量として算出する点が第1の実施形態と異なる。
図8Aは、左から順に、基準温度において撮像された赤外線画像(基準赤外線画像)を補正した補正後画像と基準温度と異なる温度で撮像された赤外線画像を補正した補正後画像とを示す。なお、両補正後画像は、基準温度に対応する基礎補正データを用いて非均一補正処理が行われている。ここで、図8Aの左画像は、人領域が画像中央Zに位置し、図8Bの右画像は、人領域が画像中央Zから離間した位置Cに位置する。図8Bに、均一な温度の被写体を撮像した場合に検出面上の画素に入射する光量分布を概念的に示す。なお、図8Bは、赤外線検出器3の検出面に含まれる直線上の画素の光量分布であり、この直線は、図8Aにおける画像中央Zに対応する検出面上の位置(光軸に対応する位置Z1)と、被写体領域Rの中心Cに対応する検出面上の位置(C1)とを通る直線である。図8Bに示すように、光軸に対応する位置Z1から離れた被写体領域Rの位置C1では、レンズシェーディングにより光量が低減していることが分かる。
図8Aに示すように、基準被写体値の検出に用いられる補正後画像と、被写体値の検出に用いられる補正後画像で被写体領域Rの位置が異なる場合、基準被写体値と被写体値にはそれぞれの被写体領域Rの位置に応じて、レンズシェーディングによる画素値の変化が異なるものとなる。例えば、図8Aの例では、右画像の被写体領域Rは光軸に対応する画像中央Zから離間した位置Cに位置するため、被写体値には、温度変化による画素値の低下と、レンズシェーディングによって画素値の低下が生じている。一方、左画像の基準被写体値は、被写体領域Rが光軸に対応する画像中央Zに位置するため、基準被写体値には、レンズシェーディングによる画素値の低下は生じていない。
上記場合、単に被写体値から基準被写体値を減算した差分値を被写体値変化量とした場合、被写体値変化量が、温度変化に起因する画素値の低下だけでなく、両画像間のレンズシェーディングの差を反映したものとなる。被写体値変化量が精度よく温度変化に起因する画素値の変化を表すためには、基準被写体値と被写体値の間のレンズシェーディングの差の影響を除去した状態で被写体値変化量を算出することが好ましい。
このため、第2の実施形態では、変化量算出部68が、基準被写体値と被写体値の少なくとも一方の値に対して、基準被写体値と被写体値の間の光学系1に起因するシェーディングの差を低減する補正を行い、シェーディングの差を低減する補正を行った後の被写体値から、シェーディングの差を低減する補正を行った後の基準被写体値を減算した値を被写体値変化量として算出する。第2の実施形態は、第1の実施形態と変化量算出部68以外の各部の構成や機能は共通しているため、相違部分についてのみ説明する。
図8Aを例に説明すると、ここでは変化量算出部68は、図8Aに示すように、基準赤外線画像の被写体領域Rの位置である基準位置、赤外線画像から検出された被写体領域Rの位置である位置Cを特定する。なお、被写体領域Rの位置は、被写体領域Rの中央の位置として特定される。そして、図8Bに示すような、製造時などに予め取得した、赤外線検出器3の複数の画素のレンズシェーディングを表す情報に基づいて、変化量算出部68は、以下の式(2)を用いて、被写体領域Rが基準位置に位置する場合の基準被写体値を、被写体領域Rが位置Cに位置する場合の基準被写体値に変換し、被写体領域Rが位置Cに位置する被写体値から、変換した基準被写体値を減算することにより、被写体値変化量を算出する。
(位置Cにおける被写体値変化量)=(位置Cにおける被写体値)−(基準位置の基準被写体値)×(位置Cにおける光量/基準位置における光量) (2)
図8Aの左画像において、画像中央Zである基準位置に被写体が位置する場合の基準被写体値は100である。図8Bに基づいて、光軸に対応する位置Z1の光量に対する、被写体領域Rに対応する位置C1の光量が80%であったとする。変化量算出部68は、レンズシェーディングを表す情報を参照して、基準位置における光量に対する、位置Cにおける光量の割合(80/100)に基づいて、被写体領域Rが基準位置に位置する場合の基準被写体値(100)を、被写体領域Rが位置Cに位置する場合の基準被写体値(80)に変換する。そして、被写体領域Rが位置Cに位置する場合の被写体値(70)から、被写体領域Rが位置Cに位置する場合の基準変換値(80)を減算した値を、被写体値変化量(−10)として取得する。このように、レンズシェーディングを表す情報に基づいて、被写体領域Rが基準位置に位置する場合の基準被写体値を、被写体領域Rが位置Cに位置する場合の基準被写体値に変換することで、基準被写体値と被写体値との間のレンズシェーディングの差を低減する補正を行った場合には、被写体値変化量を正確に算出することができる。
なお、基準位置は基準赤外線画像中の被写体領域Rの位置が適宜選択される。また、第2の実施形態においても、第1の実施形態と同様に、画素値算出部67は、被写体領域Rの代表的な画素値を表す任意の方法で、被写体値を算出してよい。変化量算出部68は、基準被写体値と被写体値との間のレンズシェーディングの差を低減する(打ち消す)ことのできる、任意の補正方法を採用してよい。例えば、変化量算出部68は、基準被写体値と被写体値との間のレンズシェーディングの差を低減する(打ち消す)ために、被写体領域Rが位置Cに位置する場合の被写体値を、被写体領域Rが基準位置に位置する場合の被写体値に変換してもよく、被写体領域Rが基準位置に位置する場合の基準被写体値と、被写体領域Rが位置Cに位置する場合の被写体値との双方を、被写体領域Rが第3の位置に位置する場合の基準被写体値と、被写体領域Rが第3の位置に位置する場合の被写体値とにそれぞれ変換してもよい。
上記のように、被写体位置の違いによる、基準被写体値と被写体値のレンズシェーディングの差が打ち消された状態で、被写体値変化量を算出した場合には、被写体値変化量が、温度変化による画素値の変化をより顕著に表すため、被写体値変化量を代表オフセット値して用いて赤外線画像の画素値を補正することにより、精度よく非均一性補正処理を行うことができる。また、被写体値と基準被写体値とを用いて、シェーディングの差を打ち消した被写体値変化量を算出することにより、簡易かつ精度よく被写体値変化量を算出することができる。
また、上記のような効果は、被写体値と基準被写体値との差を被写体値変化量として算出する処理の前に、被写体値と基準被写体値とのレンズシェーディングの差を補正できるものであれば、レンズシェーディングの差を補正するタイミングを異ならせても同様の効果が得られる。以下、レンズシェーディングを補正した画素値に基づいて被写体値を算出する例である、第3の実施形態について説明する。図9は、第3の実施形態のデジタル信号処理部6の構成を示す図であり、図10は、第3の実施形態の信号補正処理を示すフローチャートである。
第3の実施形態では、オフセット値算出部60が、変化量算出部68による被写体値変化量の算出に先立って、補正後画像の画素値の少なくとも一部に対して、光学系1に起因するシェーディングを補正するシェーディング補正処理を行うシェーディング補正部70を備えている。また、第3の実施形態では、基準赤外線画像に対して非均一補正処理を実施した補正後画像に後述のシェーディング補正部70によってシェーディング補正を行い、シェーディング補正された画像から、被写体領域Rを検出し、検出された被写体領域Rから被写体値を算出して、算出された被写体値が基準被写体値として基準値記憶部66に記憶されることが好ましい。
さらに、ここでは、オフセット値算出部60が、補正後画像における複数の画素に対応する画素値に対してシェーディング補正処理を行うシェーディング補正部70を備え、領域検出部65は、シェーディング補正処理を行った後の複数の画素に対応する画素値に基づいて、被写体領域Rを検出する点が、第1の実施形態と異なる。このため、第1の実施形態と同様の構成については同じ符号を付して説明を省略する。以下、第1の実施形態との相違点を中心に説明し、その他の共通部分については説明を省略する。
図10に従って、第3の実施形態における信号補正処理の流れを説明する。なお、図10におけるST21〜ST22の処理は、図7のST01〜ST02とそれぞれ同様の処理であるため説明を省略する。
シェーディング補正部70は、補正部62から出力された補正後画像に対して、画素ごとのレンズシェーディングに対応するシェーディング補正値の集合であるレンズシェーディング補正情報を参照し、補正後画像の各位置に対応する画素のシェーディング補正値を取得する。そして、シェーディング補正部70は、補正後画像の各画素値から、対応する画素のレンズシェーディングを補正(除去)するように、シェーディング補正値をオフセット演算することによりシェーディング補正を行う(ST23)。なお、シェーディング補正情報は、製造時に測定等によって作成され、補正データ記憶部64に予め記憶しておけばよい。
その後、領域検出部65は、シェーディング補正処理を行った後の複数の画素に対応する画素値に基づいて、被写体領域Rを検出する(ST24)。その後ST26〜ST30の処理は、図7のST05〜ST09の処理とそれぞれ同様の処理であるため説明を省略する。
第3の実施形態の場合にも、レンズシェーディングの差が補正された被写体値を用いて被写体値変化量が算出されるため、第2の実施形態と同様の効果が得られる。さらに、第3の実施形態のように、領域検出部65を、レンズシェーディングが補正された補正後画像から被写体領域Rを検出するように構成した場合には、被写体領域Rの検出精度を向上することができる。
なお、第3の実施形態の変形例として、図9の破線部で示すようにシェーディング補正部70を、検出された被写体領域Rに含まれる画素の画素値に対してシェーディング補正処理を行い、画素値算出部67を、シェーディング補正処理を行った後の被写体領域Rに含まれる画素値に基づいて、被写体値を算出するように構成してもよい。以下、第3の実施形態との相違点を中心に説明し、その他の共通部分については説明を省略する。
なお、第3の実施形態の変形例では、基準赤外線画像に対して非均一補正処理を実施した補正後画像から、被写体領域Rを検出し、検出された被写体領域Rにシェーディング補正部70がシェーディング補正処理を行い、シェーディング補正を行った被写体領域Rから被写体値を算出して、算出された被写体値が基準被写体値として基準値記憶部66に記憶されることが好ましい。
図11は、上記変形例の場合の信号補正処理を示すフローチャートである。なお、図11におけるST31〜ST34の処理は、図7のST01〜ST04とそれぞれ同様の処理であるため説明を省略する。
被写体領域Rが検出されると、シェーディング補正部70は、領域検出部65に検出された被写体領域Rを取得して、被写体領域Rに対して、画素ごとのレンズシェーディングに対応するシェーディング補正値の集合であるレンズシェーディング補正情報を参照し、被写体領域Rの各位置に対応する画素のシェーディング補正値を取得する。そして、シェーディング補正部70は、被写体領域Rの各画素値から、対応する画素のレンズシェーディングを補正(除去)するように、対応する画素のシェーディング補正値をオフセット演算することによりシェーディング補正を行う(ST35)。なお、シェーディング補正情報は、製造時に測定等によって作成され、補正データ記憶部64に予め記憶しておけばよい。
その後、画素値算出部67は、シェーディング補正処理を行った後の被写体領域Rに含まれる画素値に基づいて、被写体値を算出する(ST36)。その後ST37〜ST40の処理は、図7のST06〜ST09の処理とそれぞれ同様の処理であるため説明を省略する。
上記のように、シェーディング補正部70が、検出された被写体領域Rに対してシェーディング補正を行う場合には、被写体値の算出に必要な範囲の画素値にシェーディング補正を行って、計算負荷の過度の増加を抑制することができる。また、上記変形例に示す場合にも、レンズシェーディングが補正された被写体値を用いて被写体値変化量を算出できるため、第2および第3の実施形態と同様の効果が得られる。
以下、第4の実施形態について説明する。第1の実施形態では、図3に示すように、温度変化に起因する各画素P1〜P5の温度依存成分B1〜B5の各変化量(図3右図の矢印部分参照)を、赤外線検出器3全体の共通の値と近似し、被写体領域R値を代表オフセット値として用いて、各画素の画素値を補正した。しかし、詳細には、温度変化に起因する各画素の画素値の変化量(各画素値の温度依存成分の変化量)は、画素ごとに固有の値であると考えられる。
このため、第4の実施形態では、オフセット値算出部60が、赤外線検出器3に含まれる複数の画素の画素値の変化量を表す代表オフセット値を用いて、赤外線検出器3に含まれる各画素に固有の画素値の変化量を表す固有オフセット値を算出する。さらに詳細には、第4の実施形態は、オフセット値算出部60が、固有オフセット値算出部71をさらに備え、補正部62が、固有オフセット値によって基礎補正データを増減させたデータを用いて、赤外線画像をオフセット補正する点が第1の実施形態と異なる。以下、第1の実施形態との相違点を中心に説明し、その他の共通部分については説明を省略する。
固有オフセット値算出部71は、複数の画素の画素ごとに、代表オフセット値と固有オフセット値との関係をそれぞれ表す固有値情報に基づいて、複数の画素の画素ごとに、代表オフセット値に対応する固有オフセット値をそれぞれ算出する。
固有値情報は、製造段階で計測されて取得され、予め補正データ記憶部64に記憶されている。固有値情報は、画素ごとに、代表オフセット値と固有オフセット値との関係を表す任意の方法で構成されてよい。例えば、固有値情報は、画素ごとに、代表オフセット値に対応する固有オフセット値を対応づけたテーブルを、複数の代表オフセット値に対してそれぞれ備えたものであってもよい。また、例えば、固有値情報は、画素ごとに、代表オフセット値と固有オフセット値との差を対応づけたテーブルを、複数の代表オフセット値に対してそれぞれ備えたものであってもよい。
ここでは、固有値情報は、画素ごとに、代表オフセット値に対する、代表オフセット値とその画素の固有オフセット値との差の割合の値(固有値)を対応づけたテーブルである。図13に固有値情報の例を示す。図13の固有値情報は、図5における5×5画素P1〜P25に対応する固有値を示している。i番目の画素の固有値は、以下の式(3)のように表すことができる。
(i番目の画素の固有値)={(i番目の画素の固有オフセット値)−(代表オフセット値)}/(代表オフセット値) (3)
固有オフセット値算出部71は、固有値情報に基づいて、各画素の固有値に代表オフセット値をそれぞれ乗算することにより、画素ごとに、代表オフセット値とその画素の固有オフセット値との差分値(=(i番目の画素の固有オフセット値)−(代表オフセット値))を算出する。そして、固有オフセット値算出部71は、代表オフセット値と差分値の和として、固有オフセット値を算出する。なお、固有オフセット値と、代表オフセット値と固有値との関係は、以下の式(4)のように表すことができる。なお、以下、代表オフセット値とi番目の画素の固有オフセット値との差分値を単に差分値と記載する場合がある。
(i番目の画素の固有オフセット値)=(代表オフセット値)+(差分値)=(代表オフセット値)+(代表オフセット値)×(i番目の画素の固有値) (4)
図14Aと図14Bは、図5に示す画素P1〜P25にそれぞれ対応する基礎補正データである。また、図14Aは固有オフセット値算出部71による更新処理前の基礎補正データを示し、図14Bは、固有オフセット値算出部71による更新処理後の基礎補正データを示す。図13、図14Aおよび図14Bを用いて、固有オフセット値算出部71が、代表オフセット値を用いて固有オフセット値を算出し、固有オフセット値を用いて基礎補正データを更新する処理を説明する。
なお、基礎補正データは、本来は、画素ごとに、その画素の非均一性(画素ごとのばらつき成分)を補正する固有の補正値が設定されているが、図14Aでは説明のために、共通の補正値とされている。なお、図13、図14Aおよび図14Bに示す各数値は、いずれも説明のための数値であって、実際とは異なる値とされている。また、説明のために5×5画素について説明するが、オフセット値算出部60は、赤外線検出器3に含まれる全ての画素に対して、基礎補正データの更新処理を実行する。
ここでは、代表オフセット値算出部69が、被写体値変化量(−10)を代表オフセット値として算出したとする。すると、固有オフセット値算出部71は、図14Aに示す基礎補正データの各画素Pi(1≦i≦25)にそれぞれ対応する補正値について、式(5)に示すオフセット演算を行って、図14Bに示す、基礎補正データを算出する。図14Bに示すように、基礎補正データの各補正値がそれぞれ、固有オフセット値が加算されてオフセット演算されていることが分かる。
(i番目の画素の更新後の補正値)=(i番目の画素の補正値)+(i番目の画素の固有オフセット値) (5)
そして、固有オフセット値算出部71は、オフセット演算後の基礎補正データを用いて、補正データ記憶部64に記憶された基礎補正データを更新する。
なお、代表オフセット値が算出されると、補正部62は、補正データ記憶部64に記憶された基礎補正データに基づいて、赤外線画像の各画素値から、その画素値に対応する画素の補正値を減算することにより、非均一性補正処理を実行する。つまり、補正部62は、更新後補正データに基づいて、赤外線画像のi番目の画素(1≦i≦n)について、式(6)に示すオフセット演算を行うことにより、入力された赤外線画像に対して非均一性補正処理を行って、補正後画像を出力する。
(i番目の画素に対応する出力画素値)=(i番目の画素の入力画素値)−(i番目の画素の更新後の補正値)=(i番目の画素の入力画素値)−((i番目の画素の補正値)+(i番目の画素の固有オフセット値)) (6)
なお、固有オフセット値算出部71は、補正部62が補正する際に、固有オフセット値を特定できる態様であれば、任意の態様で固有オフセット値を記憶してよい。例えば、固有オフセット値算出部71は、図12の破線で示すように、固有オフセット値の集合である固有オフセットデータを、基礎補正データとは別に、補正データ記憶部64に記憶してもよい。また、図示は省略するが、固有オフセット値算出部71は、固有オフセットデータを、代表オフセット値と、画素ごとに代表オフセット値と固有オフセット値との差分値を示す差分データと、に分けて補正データ記憶部64に記憶してもよい。
また、補正部62は、固有オフセット値によって基礎補正データを増減させたデータを用いて、赤外線画像をオフセット補正する。なお、ここで補正部62の補正対象となる赤外線画像は、代表オフセット値の算出の際に用いられた赤外線画像であってもよく、代表オフセット値の算出の際に用いられた赤外線画像より後に撮像された赤外線画像であってもよい。
「固有オフセット値によって基礎補正データを増減させたデータを用いて、赤外線画像をオフセット補正する」とは、赤外線画像の各画素値から、固有オフセット値と、基礎補正データに含まれる、その画素値に対応する画素の補正値とをオフセット補正(除去)することを意味する。「固有オフセット値によって基礎補正データを増減させたデータを用いて、赤外線画像をオフセット補正する」とは、結果的に、赤外線画像の各画素値から、固有オフセット値と、基礎補正データに含まれるその画素値に対応する画素の補正値とをそれぞれオフセット補正(除去)するいかなる方法も含む。
例えば、補正部62は、赤外線検出器3が1〜n個の画素を有する場合、補正部62によって出力されるi番目(1≦i≦n)の画素の出力画素値が、(i番目の画素に対応する出力画素値)=(i番目の画素の入力画素値)−(i番目の画素の補正値)−(固有オフセット値)となる範囲で、任意の方法でオフセット補正を行ってよい。
一例として、図12に破線で示すように、補正データ記憶部64に固有オフセット値と基礎補正データとが個々に記憶されている場合に、補正部62は、固有オフセット値と、基礎補正データと参照して、赤外線画像の各画素値から、式(6−1)に示すように、固有オフセット値と、基礎補正データに含まれるその画素値に対応する画素の補正値とを減算することにより、オフセット補正を行ってもよい。
(i番目の画素に対応する出力画素値)=(i番目の画素の入力画素値)−(i番目の画素の補正値)−(i番目の画素の固有オフセット値) (6−1)
また、補正データ記憶部64に、固有オフセット値算出部71によって、固有オフセット値が代表オフセット値と差分値とに分けて記憶され、さらに基礎補正データが独立して記憶されていてもよい。この場合には、式(6−2)に示すように、補正部62は、赤外線画像の各画素値から、基礎補正データに含まれるその画素値に対応する画素の補正値と、代表オフセット値と、代表オフセット値とその画素の代表オフセット値と固有オフセット値の差分値とを、減算することによりオフセット補正を行ってもよい。同じ結果が得られる範囲で、減算の順番等は適宜異ならせてよい。
(i番目の画素に対応する出力画素値)=(i番目の画素の入力画素値)−(i番目の画素の補正値)−(代表オフセット値)−(i番目の画素の差分値) (6−2)
なお、補正部62は、結果的に、赤外線画像の各画素値から、少なくとも代表オフセット値と、基礎補正データに含まれる、対応する補正値とを補正(除去)するものであれば、代表オフセット値と基礎補正データに含まれる補正値に加えて、さらなる補正値を用いて補正処理を行ってもよい。
図15は、第4の実施形態における信号補正処理の流れを示すフローチャートである。以下図15に従って、第4の実施形態における信号補正処理の流れを説明する。なお、図15におけるST41〜ST47の処理は、図7のST01〜ST07とそれぞれ同様の処理であるため説明を省略する。
代表オフセット値が算出されると、固有オフセット値算出部71は、固有値情報を参照して、画素ごとに、代表オフセット値に対応する固有オフセット値を算出する(ST48)。そして、固有オフセット値算出部71は、基礎補正データにおける各補正値を固有オフセット値によってオフセット演算し、オフセット演算して得られた基礎補正データによって、補正データ記憶部64に記憶された基礎補正データを更新する(ST49)。そして、赤外線撮像装置100は、終了条件を満たさない場合には(ST50、NO)、ST41〜ST49の処理を繰り返す。赤外線撮像装置100は、終了条件が満たされた場合には(ST50、YES)、処理を終了する。
上記第4の実施形態によれば、補正部62が、固有オフセット値によって基礎補正データを増減させたデータに基づいて、オフセット補正を行うことにより非均一性補正処理を行うため、温度変化に起因する画素ごとの非均一性の変動をより好適に補正することができる。
また、固有値情報を、画素ごとに、代表オフセット値に対する、代表オフセット値とその画素の固有オフセット値との差の割合の値(固有値)を対応づけたテーブルとして記憶し、固有値情報に基づいて固有オフセット値を算出するようにしたため、補正データ記憶部64に記憶する固有値情報が過度に増大することを好適に抑制することができる。
なお、第4の実施形態は、第1〜第3の実施形態およびその変形例と組み合わせることができる。
本発明の各実施形態によれば、赤外線(波長0.7μm〜1mm)のうち、特に、遠赤外線(波長8〜15μm)に基づいて発生するノイズに対しても好適に上記に説明した各効果が得られるものである。なお、本発明の各実施形態に係る赤外線撮像装置100は、防犯用の撮像装置、車載用の撮像装置などに好適に適用可能であり、赤外線画像を撮影する単独の撮像装置として構成されてもよく、赤外線画像の撮像機能を有する撮像システムに組み込まれて構成されてもよい。
上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。本発明の態様は、上記した個々の実施例(第1〜第4の実施形態、その他の変形例および応用例)に限定されるものではなく、個々の実施例の各要素のいかなる組合せも本発明に含み、また、当業者が想到しうる種々の変形も含むものである。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
1 光学系
2 シャッタ
3 赤外線検出器(赤外線イメージセンサ)
4 アナログ信号処理回路
5 変換回路
6 デジタル信号処理部
8 出力部
9 制御部
10 シャッタ駆動機構
60 オフセット値算出部
61 フレームメモリ
62 補正部
63 基礎補正データ更新部
64 補正データ記憶部
65 領域検出部
66 標準値記憶部
67 画素値算出部67
68 変化量算出部
69 代表オフセット値算出部
70 シェーディング補正部
71 固有オフセット値算出部
100 赤外線撮像装置

Claims (12)

  1. 光学系と、
    前記光学系の結像面に位置し、入射した赤外線を検出する複数の画素を備え、該複数の画素により赤外線画像を撮像する赤外線検出器と、
    前記複数の画素の画素ごとの非均一性をそれぞれ補正するための基礎補正データに基づいて、前記赤外線画像を補正して補正後画像を出力する補正部と、
    オフセット値算出部とを備え、
    前記オフセット値算出部が、
    前記補正後画像から対象被写体に対応する被写体領域を検出する領域検出部と、
    前記被写体領域の画素値を表す被写体値を算出する画素値算出部と、
    前記赤外線検出器によって撮像された基準となる赤外線画像である基準赤外線画像を前記基礎補正データに基づいて補正した補正後基準画像における、前記被写体領域の画素値である基準被写体値と、前記被写体値とに基づいて、前記被写体領域の画素値の変化量である被写体値変化量を算出する変化量算出部と、
    前記被写体値変化量を、温度変化に起因する前記複数の画素の画素値の変化量を表す代表オフセット値として算出する代表オフセット値算出部とを有してなり、
    前記補正部が、前記代表オフセット値と前記基礎補正データとに基づいて、前記赤外線画像を補正する、
    ことを特徴とする赤外線撮像装置。
  2. 前記補正部は、前記代表オフセット値によって前記基礎補正データを増減させたデータを用いて、前記赤外線画像をオフセット補正する請求項1記載の赤外線撮像装置。
  3. 前記オフセット値算出部が、前記複数の画素の画素ごとに、前記代表オフセット値と温度変化に起因する当該画素の画素値の変化量を表す固有オフセット値との関係をそれぞれ表す固有値情報に基づいて、前記複数の画素の画素ごとに、前記代表オフセット値に対応する前記固有オフセット値をそれぞれ算出する固有オフセット値算出部をさらに備え、
    前記補正部が、前記固有オフセット値によって前記基礎補正データを増減させたデータを用いて、前記赤外線画像をオフセット補正する請求項1記載の赤外線撮像装置。
  4. 前記変化量算出部は、前記基準被写体値と前記被写体値の少なくとも一方の値に対して、前記基準被写体値と前記被写体値の間の前記光学系に起因するシェーディングの差を低減する補正を行い、前記シェーディングの差を低減する補正を行った後の前記被写体値から、前記シェーディングの差を低減する補正を行った後の前記基準被写体値を減算した値を前記被写体値変化量として算出する請求項1から3のいずれか1項記載の赤外線撮像装置。
  5. 前記オフセット値算出部は、前記変化量算出部による前記被写体値変化量の算出に先立って、前記補正後画像の画素値の少なくとも一部に対して、前記光学系に起因するシェーディングを補正するシェーディング補正処理を行うシェーディング補正部をさらに有する請求項1から3のいずれか1項記載の赤外線撮像装置。
  6. 前記シェーディング補正部は、前記補正後画像における前記複数の画素に対応する画素値に対して前記シェーディング補正処理を行い、
    前記領域検出部は、前記シェーディング補正処理を行った後の前記複数の画素に対応する画素値に基づいて、前記被写体領域を検出する請求項5記載の赤外線撮像装置。
  7. 前記シェーディング補正部は、前記被写体領域に含まれる画素の画素値に対して前記シェーディング補正処理を行い、
    前記画素値算出部は、前記シェーディング補正処理を行った後の前記被写体領域に含まれる画素値に基づいて、前記被写体値を算出する請求項5記載の赤外線撮像装置。
  8. 前記画素値算出部は、前記被写体領域の画素値の分布を表すヒストグラムに基づいて、最頻値と平均値と中央値とのいずれか1つを前記被写体値として算出する請求項1から7のいずれか1項記載の赤外線撮像装置。
  9. 前記領域検出部が、人に対応する領域を前記被写体領域として検出する請求項1から8いずれか1項に記載の赤外線撮像装置。
  10. 前記オフセット値算出部は、周期的に繰り返し前記代表オフセット値を算出する請求項1から9いずれか1項に記載の赤外線撮像装置。
  11. 前記基礎補正データを補正する基礎補正データ更新処理を実行する基礎補正データ更新部と、
    前記赤外線検出器と前記光学系との間に位置し、開閉自在であるシャッタと、
    前記補正後画像に前記被写体領域が存在しない間に、前記赤外線検出器に前記シャッタを閉じた状態におけるシャッタ画像を撮像させ、該シャッタ画像に基づいて前記基礎補正データ更新部に前記基礎補正データ更新処理を実行させる制御部とをさらに備える請求項1から10のいずれか1項記載の赤外線撮像装置。
  12. 光学系の結像面に位置し、入射した赤外線を検出する複数の画素を備えた赤外線検出器を備えた赤外線撮像装置による信号補正方法であって、
    前記複数の画素により赤外線画像を撮像する撮像ステップと、
    前記複数の画素の画素ごとの非均一性をそれぞれ補正するための基礎補正データに基づいて、前記赤外線画像を補正して補正後画像を出力する補正ステップと、
    オフセット値算出ステップとを有し、
    前記オフセット値算出ステップが、
    前記補正後画像から対象被写体に対応する被写体領域を検出する領域検出ステップと、
    前記被写体領域の画素値を表す被写体値を算出する画素値算出ステップと、
    前記赤外線検出器によって撮像された基準となる赤外線画像である基準赤外線画像を前記基礎補正データに基づいて補正した補正後基準画像における、前記被写体領域の画素値である基準被写体値と、前記被写体値とに基づいて、前記被写体領域の画素値の変化量である被写体値変化量を算出する変化量算出ステップと、
    前記被写体値変化量を、温度変化に起因する前記複数の画素の画素値の変化量を表す代表オフセット値として算出する代表オフセット値算出ステップとを有してなり、
    前記補正ステップが、前記代表オフセット値と前記基礎補正データとに基づいて、前記赤外線画像を補正することを特徴とする赤外線撮像装置による信号補正方法。
JP2017547741A 2015-10-29 2016-10-18 赤外線撮像装置および赤外線撮像装置による信号補正方法 Active JP6356926B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015213031 2015-10-29
JP2015213031 2015-10-29
PCT/JP2016/080805 WO2017073401A1 (ja) 2015-10-29 2016-10-18 赤外線撮像装置および赤外線撮像装置による信号補正方法

Publications (2)

Publication Number Publication Date
JP6356926B2 true JP6356926B2 (ja) 2018-07-11
JPWO2017073401A1 JPWO2017073401A1 (ja) 2018-07-19

Family

ID=58630113

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017547741A Active JP6356926B2 (ja) 2015-10-29 2016-10-18 赤外線撮像装置および赤外線撮像装置による信号補正方法

Country Status (4)

Country Link
US (1) US10469747B2 (ja)
JP (1) JP6356926B2 (ja)
CN (1) CN108353135B (ja)
WO (1) WO2017073401A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7127656B2 (ja) * 2018-01-10 2022-08-30 ソニーグループ株式会社 キャリブレーション装置とキャリブレーション方法およびキャリブレーションチャート装置
EP3879248A1 (en) * 2018-11-05 2021-09-15 Sony Group Corporation Temperature estimating device, temperature estimating method, and temperature estimating program
JP6944196B2 (ja) * 2018-11-16 2021-10-06 株式会社ジェイエイアイコーポレーション 撮像装置
CN111238646A (zh) * 2018-11-29 2020-06-05 东京毅力科创株式会社 红外线摄像机的校正方法和红外线摄像机的校正系统
CN114705302A (zh) * 2019-06-11 2022-07-05 杭州海康微影传感科技有限公司 热成像摄像机灼伤处理方法及装置
JPWO2021044771A1 (ja) * 2019-09-06 2021-03-11
WO2021106322A1 (ja) * 2019-11-27 2021-06-03 パナソニックIpマネジメント株式会社 赤外線処理システム、赤外線センサシステム、赤外線処理方法、及び、プログラム
CN111556252B (zh) * 2020-05-22 2021-12-21 烟台艾睿光电科技有限公司 一种快门校正的方法、装置及电子设备
JP7271604B2 (ja) * 2020-06-02 2023-05-11 三菱電機株式会社 赤外線撮像装置
EP4160167A4 (en) * 2020-06-02 2023-07-19 Mitsubishi Electric Corporation INFRARED IMAGING DEVICE
JP7494615B2 (ja) * 2020-07-22 2024-06-04 株式会社Jvcケンウッド 画像処理装置、画像処理方法およびプログラム
CN114414071B (zh) * 2020-12-07 2024-01-05 杭州美盛红外光电技术有限公司 校正控制装置和校正控制方法
TWI806006B (zh) * 2021-02-20 2023-06-21 緯創資通股份有限公司 熱影像定位方法及其系統
CN113566981B (zh) * 2021-09-26 2022-01-04 南京智谱科技有限公司 红外探测器的自适应调整方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03270567A (ja) * 1990-03-20 1991-12-02 Fuji Photo Film Co Ltd 画像信号補正方法
WO1999017541A1 (en) * 1997-09-26 1999-04-08 The Secretary Of State For Defence Sensor apparatus
US6230108B1 (en) * 1997-10-23 2001-05-08 Fujitsu Limited Realtime sensitivity correction method and infrared imaging system
JP4016022B2 (ja) 1999-01-14 2007-12-05 松下電器産業株式会社 赤外線画像撮像装置およびこれを搭載した車両
JP3995511B2 (ja) * 2002-04-05 2007-10-24 三菱電機株式会社 点滅欠陥検出方法、映像補正方法及び固体撮像装置
JP4910529B2 (ja) 2006-07-14 2012-04-04 住友電気工業株式会社 障害物検出システム及び障害物検出方法
US9237284B2 (en) * 2009-03-02 2016-01-12 Flir Systems, Inc. Systems and methods for processing infrared images
WO2012117616A1 (ja) * 2011-02-28 2012-09-07 富士フイルム株式会社 撮像装置及び欠陥画素補正方法
JP2013088192A (ja) * 2011-10-14 2013-05-13 Toshiba Corp 赤外線固体撮像装置
FR3020735B1 (fr) * 2014-04-30 2017-09-15 Ulis Procede de traitement d'une image infrarouge pour une correction des non uniformites
JP2016029759A (ja) * 2014-07-25 2016-03-03 キヤノン株式会社 撮像装置の欠陥画素検出方法
CN104580894B (zh) * 2014-12-25 2017-10-31 烟台艾睿光电科技有限公司 一种红外焦平面的多点校正方法及系统

Also Published As

Publication number Publication date
US20180234628A1 (en) 2018-08-16
CN108353135A (zh) 2018-07-31
US10469747B2 (en) 2019-11-05
CN108353135B (zh) 2020-07-21
WO2017073401A1 (ja) 2017-05-04
JPWO2017073401A1 (ja) 2018-07-19

Similar Documents

Publication Publication Date Title
JP6356926B2 (ja) 赤外線撮像装置および赤外線撮像装置による信号補正方法
EP3621850B1 (en) Shutterless far infrared (fir) camera for automotive safety and driving systems
US10432881B2 (en) Infrared imaging device and method of updating fixed pattern noise data
US20080231725A1 (en) Image capturing apparatus and dark current component cancel processing method
US20210243338A1 (en) Techniques for correcting oversaturated pixels in shutterless fir cameras
US10699386B2 (en) Techniques for scene-based nonuniformity correction in shutterless FIR cameras
US10523883B2 (en) Infrared imaging device and method of updating fixed pattern noise data
US7391925B2 (en) System and method for estimating noise using measurement based parametric fitting non-uniformity correction
CN107079114B (zh) 红外线摄像装置及固定图案噪声计算方法
JP6337131B2 (ja) 赤外線撮像装置、固定パターンノイズ算出方法、及び固定パターンノイズ算出プログラム
US10362243B2 (en) Infrared imaging device, diaphragm control method, and diaphragm control program
JP2002310804A (ja) 赤外線撮像装置及びドリフト補正方法
US10841522B2 (en) Image capturing apparatus, control method therefor, and recording medium
US20240107164A1 (en) Signal processing device, signal processing method, signal processing program, imaging apparatus and lens apparatus
JP2011044813A (ja) 撮像装置、補正値算出方法、及び撮像方法
US20230232104A1 (en) Signal processing device, signal processing method, signal processing program, imaging apparatus and lens apparatus
US11202009B2 (en) Shake correction control device, operation method of shake correction control device, operation program of shake correction control device, and imaging apparatus
KR101429512B1 (ko) 밴딩 노이즈 제거 장치 및 방법
JP6251817B2 (ja) 赤外線撮像装置、画像処理方法、及び画像処理プログラム
JP3882640B2 (ja) 赤外線カメラ
JP5003533B2 (ja) 赤外線撮像装置および固定パターンノイズ補正方法
WO2023119751A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6961477B2 (ja) 撮像装置およびその制御方法
CN117480366A (zh) 红外线拍摄装置以及固定模式噪声数据的生成方法
US9641765B2 (en) Image capture device, image correction method, and image correction program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180419

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180419

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180522

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180614

R150 Certificate of patent or registration of utility model

Ref document number: 6356926

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250