JP6337131B2 - 赤外線撮像装置、固定パターンノイズ算出方法、及び固定パターンノイズ算出プログラム - Google Patents

赤外線撮像装置、固定パターンノイズ算出方法、及び固定パターンノイズ算出プログラム Download PDF

Info

Publication number
JP6337131B2
JP6337131B2 JP2016551578A JP2016551578A JP6337131B2 JP 6337131 B2 JP6337131 B2 JP 6337131B2 JP 2016551578 A JP2016551578 A JP 2016551578A JP 2016551578 A JP2016551578 A JP 2016551578A JP 6337131 B2 JP6337131 B2 JP 6337131B2
Authority
JP
Japan
Prior art keywords
value
image data
captured image
fixed pattern
pattern noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016551578A
Other languages
English (en)
Other versions
JPWO2016051850A1 (ja
Inventor
小林 誠
誠 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2016051850A1 publication Critical patent/JPWO2016051850A1/ja
Application granted granted Critical
Publication of JP6337131B2 publication Critical patent/JP6337131B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/06Arrangements for eliminating effects of disturbing radiation; Arrangements for compensating changes in sensitivity
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/10Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void
    • G01J1/12Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void using wholly visual means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/10Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void
    • G01J1/20Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void intensity of the measured or reference value being varied to equalise their effects at the detectors, e.g. by varying incidence angle
    • G01J1/22Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void intensity of the measured or reference value being varied to equalise their effects at the detectors, e.g. by varying incidence angle using a variable element in the light-path, e.g. filter, polarising means
    • G01J1/24Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void intensity of the measured or reference value being varied to equalise their effects at the detectors, e.g. by varying incidence angle using a variable element in the light-path, e.g. filter, polarising means using electric radiation detectors
    • G01J1/26Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void intensity of the measured or reference value being varied to equalise their effects at the detectors, e.g. by varying incidence angle using a variable element in the light-path, e.g. filter, polarising means using electric radiation detectors adapted for automatic variation of the measured or reference value
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44Electric circuits
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/08Optical arrangements
    • G01J5/0803Arrangements for time-dependent attenuation of radiation signals
    • G01J5/0804Shutters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/08Optical arrangements
    • G01J5/0806Focusing or collimating elements, e.g. lenses or concave mirrors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/08Optical arrangements
    • G01J5/084Adjustable or slidable
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G01J5/34Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using capacitors, e.g. pyroelectric capacitors
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077Imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/06Arrangements for eliminating effects of disturbing radiation; Arrangements for compensating changes in sensitivity
    • G01J5/068Arrangements for eliminating effects of disturbing radiation; Arrangements for compensating changes in sensitivity by controlling parameters other than temperature

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Studio Devices (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、赤外線撮像装置、固定パターンノイズ算出方法、及び固定パターンノイズ算出プログラムに関する。
従来、赤外線撮像装置では、赤外線検知画素がもつ感度のばらつきや、回路のゲイン及びオフセットのばらつきなどの装置固有の固定パターンノイズ(Fixed Pattern Noise、以下、FPNと略する。)が発生する。特に、赤外線検出画素が2次元状に配置された撮像素子を有する赤外線撮像装置では、各赤外線検出画素が特性の変動を有しているため、結果として、比較的長い時間で変化するFPNが発生する。
赤外線撮像装置にこのようなFPNが発生すると、均一な温度の面を撮像しても、均一な輝度(濃度)の撮像画像が得られない。そこで、赤外線撮像装置では、装置内にシャッタを設け、外部から赤外線検出画素に入射する光を遮断した状態でFPNを算出し、FPNを補正することが行われている(例えば特許文献1、2参照)。
しかし、シャッタを閉じた状態でFPNを算出する方法では、赤外線撮像装置の動作中に、定期的にシャッタが閉じることになる。このため、動画撮像中であれば、撮像される動画像が定期的に途切れることになる。
そこで、シャッタを用いることなくFPNを算出する方法が提案されている(例えば特許文献3,4参照)。
特許文献3は、焦点を合わせた状態で得た撮像画像と、焦点を合わせない状態で得た撮像画像を用いてFPNを算出する技術を開示している。
特許文献4は、光学系を非合焦状態にして得た撮像画像を用いてFPNを算出する技術を開示している。
日本国特開2009−089138号公報 日本国特開平10−115557号公報 日本国特表2001−509996号公報 日本国特開2001−336983号公報
特許文献3,4に記載された方法では、動画撮像中であれば、FPNを算出するために、ピンぼけした撮像画像が定期的に発生することになり、動画像の品質が低下する。
本発明は、上記事情に鑑みてなされたものであり、高品質の動画像を途切れることなく撮像しながら、FPNを高精度に算出することのできる赤外線撮像装置、固定パターンノイズ算出方法、及び固定パターンノイズ算出プログラムを提供することを目的とする。
本発明の赤外線撮像装置は、二次元状に配置された複数の赤外線検出画素を含む撮像素子と、上記撮像素子よりも被写体側に配置された絞りと、動画撮像中に、上記絞りのF値を第一の値にした状態で上記撮像素子により撮像して得られる第一の撮像画像データと、上記絞りのF値を第二の値にした状態で上記撮像素子により撮像して得られる第二の撮像画像データとを取得し、取得した上記第一の撮像画像データ及び上記第二の撮像画像データと、上記第一の値及び上記第二の値とに基づいて、上記撮像素子により撮像して得られる撮像画像データに含まれる固定パターンノイズを算出する固定パターンノイズ算出部と、を備え、上記固定パターンノイズ算出部は、上記第一の撮像画像データ及び上記第二の撮像画像データの各々において任意の座標位置にある2つの画素信号値の少なくとも一方に、上記第一の値と上記第二の値の差に応じた係数を乗算し、上記乗算後の上記2つの画素信号値の差分を用いて上記任意の座標位置における固定パターンノイズを算出し、上記固定パターンノイズ算出部は、上記係数として上記赤外線検出画素の位置に応じて異なる値を用いるものである。
本発明の固定パターンノイズ算出方法は、二次元状に配置された複数の赤外線検出画素を含む撮像素子と、上記撮像素子よりも被写体側に配置された絞りと、を有する赤外線撮像装置による固定パターンノイズ算出方法であって、動画撮像中に、上記絞りのF値を第一の値にした状態で上記撮像素子により撮像して得られる第一の撮像画像データと、上記絞りのF値を第二の値にした状態で上記撮像素子により撮像して得られる第二の撮像画像データとを取得し、取得した上記第一の撮像画像データ及び上記第二の撮像画像データと、上記第一の値及び上記第二の値とに基づいて、上記撮像素子により撮像して得られる撮像画像データに含まれる固定パターンノイズを算出する固定パターンノイズ算出ステップを備え、上記固定パターンノイズ算出ステップでは、上記第一の撮像画像データ及び上記第二の撮像画像データの各々において任意の座標位置にある2つの画素信号値の少なくとも一方に、上記第一の値と上記第二の値の差に応じた係数を乗算し、上記乗算後の上記2つの画素信号値の差分を用いて上記任意の座標位置における固定パターンノイズを算出し、上記固定パターンノイズ算出ステップでは、上記係数として上記赤外線検出画素の位置に応じて異なる値を用いるものである。
本発明の固定パターンノイズ算出プログラムは、二次元状に配置された複数の赤外線検出画素を含む撮像素子と、上記撮像素子よりも被写体側に配置された絞りと、を有する赤外線撮像装置に、動画撮像中に、上記絞りのF値を第一の値にした状態で上記撮像素子により撮像して得られる第一の撮像画像データと、上記絞りのF値を第二の値にした状態で上記撮像素子により撮像して得られる第二の撮像画像データとを取得し、取得した上記第一の撮像画像データ及び上記第二の撮像画像データと、上記第一の値及び上記第二の値とに基づいて、上記撮像素子により撮像して得られる撮像画像データに含まれる固定パターンノイズを算出する固定パターンノイズ算出ステップを実行させるためのプログラムであって、上記固定パターンノイズ算出ステップでは、上記第一の撮像画像データ及び上記第二の撮像画像データの各々において任意の座標位置にある2つの画素信号値の少なくとも一方に、上記第一の値と上記第二の値の差に応じた係数を乗算し、上記乗算後の上記2つの画素信号値の差分を用いて上記任意の座標位置における固定パターンノイズを算出し、上記固定パターンノイズ算出ステップでは、上記係数として上記赤外線検出画素の位置に応じて異なる値を用いるものである。
本発明によれば、高品質の動画像を途切れることなく撮像しながら、FPNを高精度に算出することのできる赤外線撮像装置、固定パターンノイズ算出方法、及び固定パターンノイズ算出プログラムを提供することができる。
本発明の一実施形態を説明するための赤外線撮像装置の概略構成を示す図である。 F値をF1とF1.4で変えて撮像して得た2つの撮像画像データを用いたFPN算出方法を説明するための図である。 F値と、絞り2を透過する赤外線量を示す赤外線透過率αとの関係を示す図である。 図1に示す赤外線撮像装置におけるFPN算出動作を説明するためのフローチャートである。 (a),(b),(c)は撮像素子3側から見た絞り2を示す図である。 F値と、絞り2から放射される赤外線量との関係を示す図である。 FPN算出方法の変形例を説明するための図である。 温度一様の被写体を撮像素子3で撮像したときの各赤外線検出画素の検出感度を示す図である。 位置“L”又は“R”の赤外線検出画素から出力された画素信号値を説明するための図である。 撮像素子3の各赤外線検出画素から出力される画素信号値の被写体温度に対する変化(赤外線検出画素の出力応答特性)を示す図である。 演算係数aを示す図である。 演算係数bを示す図である。 2つの撮像画像データの合成結果を示す図である。 図1の赤外線撮像装置によって撮像する被写体の一例を示す図である。 (a),(b)は絞り2のF値を2つの値で変えて図14の被写体を撮像して得た撮像画像データを示す図である。 撮像画像データ151と撮像画像データ152を合成して得た合成画像データ155を示す図である。
以下、本発明の実施形態について図面を参照して説明する。
図1は、本発明の一実施形態を説明するための赤外線撮像装置の概略構成を示す図である。
図1に示す赤外線撮像装置は、撮像レンズ1と、絞り2と、撮像レンズ1及び絞り2を通して被写体を撮像する撮像素子3と、絞り2の温度を検出するための温度検出部4と、アナログ信号処理部6と、アナログデジタル変換回路(A/D変換回路)7と、絞り駆動部9と、撮像素子駆動部10と、を備える。
撮像素子3は、撮像レンズ1及び絞り2を介して集光された、被写体から放射された赤外線(一般的には、波長8μm〜12μmの光)を検出する二次元状に配置された複数の赤外線検出画素を有する。撮像素子3は、撮像素子駆動部10により駆動される。
赤外線検出画素に用いる赤外線検出素子としては、例えば焦電素子が挙げられる。或いは、ゼーベック効果を生じさせる熱電対を接続したサーモパイル型、温度上昇による抵抗値の変化を利用したボロメータ型などの赤外線検出素子を用いることもできる。
なお、赤外線検出素子についてはこれらに限定されるべきものでなく、赤外線を検出できるものであればその種類は問わない。本明細書では、撮像素子3の全ての赤外線検出画素から出力される画素信号の集合を撮像画像データという。
絞り2は、撮像素子3よりも被写体側に配置されており、絞り駆動部9により開口面積が制御される。
温度検出部4は、絞り2近傍に配置されたサーミスタ等の温度センサにより構成され、検出した温度をシステム制御部11に通知する。
アナログ信号処理部6は、撮像素子3から出力される撮像画像データの各画素信号値にゲインを乗じて増幅する増幅処理を含むアナログ信号処理を行う。
A/D変換回路7は、アナログ信号処理部6から出力されるアナログの撮像画像データをデジタルデータに変換する。
アナログ信号処理部6、A/D変換回路7、絞り駆動部9、及び撮像素子駆動部10は、システム制御部11によって制御される。
システム制御部11には、操作部14を通してユーザからの指示信号が入力される。
更に、赤外線撮像装置の電気制御系は、メインメモリ16と、メインメモリ16に接続されたメモリ制御部15と、A/D変換回路7から出力される撮像画像データを表示部23で表示可能な形式に変換する処理等を行うデジタル信号処理部17と、撮像素子3により撮像して得られる撮像画像データに含まれるFPNを算出するFPN算出部19と、着脱自在の記録媒体21が接続される外部メモリ制御部20と、表示部23が接続される表示制御部22と、を備える。
メモリ制御部15、デジタル信号処理部17、FPN算出部19、外部メモリ制御部20、及び表示制御部22は、制御バス24及びデータバス25によって相互に接続され、システム制御部11からの指令によって制御される。
FPN算出部19は、絞り2のF値を第一の値にした状態で撮像素子3により被写体を撮像して得られる第一の撮像画像データと、絞り2のF値を第二の値にした状態で撮像素子3により被写体を撮像して得られる第二の撮像画像データと、第一の値及び第二の値と、に基づいて、撮像素子3により撮像して得られる撮像画像データに含まれるFPNを算出する。
図2は、第一の値がF1であり、第二の値がF1.4である場合のFPNの算出方法を説明するための図である。
図2において、符号31は、F値=F1の状態で得られた第一の撮像画像データにおける任意の座標位置の画素信号値を示す。符号32は、F値=F1.4の状態で得られた第二の撮像画像データにおける上記任意の座標位置の画素信号値を示す。
図2に示すように、第一の撮像画像データの各画素信号値31と第二の撮像画像データの各画素信号値32は、それぞれ、FPN成分Cfpnと、FPN成分Cfpn以外の信号成分SGとから構成される。
ここで、第一の撮像画像データと第二の撮像画像データは近い時刻(例えば連続した撮像)で取得されたものを用いる。このため、第一の撮像画像データの各画素信号値31と第二の撮像画像データの各画素信号値32に含まれるFPN成分Cfpnは全て同じ値と見なすことができる。
図3は、F値と、絞り2を透過する赤外線量を示す赤外線透過率αとの関係を示す図である。図3では、F値=F1(絞り2の開口面積が最大の状態)のときの絞り2を透過する赤外線透過率αを“100%”として規格化している。
図3に示したように、F値=F1.4のときは、F値=F1のときに比べて、撮像素子3に入射する赤外線量は半分になる。
つまり、図2に示した第二の撮像画像データの各画素信号値32に含まれる信号成分SG(以下、SG(2)ともいう)は、第一の撮像画像データの各画素信号値31に含まれる信号成分SG(以下、SG(1)ともいう)に、F値=F1.4とF値=F1における赤外線透過率αの比(=0.5)を乗じた値になる。
このように、画素信号値31を得たときのF値と、画素信号値32を得たときのF値との差から、画素信号値31に含まれる信号成分SG(1)と画素信号値32に含まれる信号成分SG(2)との比は一意に決まる。
FPN算出部19は、F値=F1.4とF値=F1における赤外線透過率αの比(=0.5)に基づき、信号成分SG(2)を信号成分SG(1)と同じ値にするための係数を設定し、設定した係数を画素信号値31と画素信号値32の少なくとも一方に乗算する。
例えば、画素信号値31にのみ係数を乗じる場合は、F値=F1.4とF値=F1における赤外線透過率αの比(=0.5)を係数に設定する。
また、画素信号値32にのみ係数を乗じる場合は、F値=F1.4とF値=F1における赤外線透過率αの比(=0.5)の逆数(=2)を係数に設定する。
また、画素信号値31と画素信号値32の各々に係数を乗じる場合は、各々に乗じる係数の比がF値=F1.4とF値=F1における赤外線透過率αの比(=0.5)となるように係数を設定する。
例えば、画素信号値31に乗じる係数を“1.5”に設定し、画素信号値32に乗じる係数を“3”に設定する。
図2には、画素信号値32に係数(=2)を乗じて得た画素信号値33を示している。この係数の乗算により、画素信号値31の信号成分SGと、画素信号値33の信号成分SGは同じ値になる。
したがって、FPN算出部19は、この係数の乗算後、画素信号値33から画素信号値31を減算することで、FPN成分Cfpnを算出することができる。
なお、画素信号値31にのみ係数を乗じる場合は、画素信号値32から、画素信号値31を0.5倍して得た画素信号値を減算し、減算後の画素信号値を2倍することで、FPN成分Cfpnを算出することができる。
また、画素信号値31と画素信号値32の各々に係数を乗じる場合は、画素信号値32を3倍して得た画素信号値から、画素信号値31を1.5倍して得た画素信号値を減算し、減算後の画素信号値を1.5で除算することで、FPN成分Cfpnを算出することができる。
図4は、図1に示す赤外線撮像装置におけるFPN算出動作を説明するためのフローチャートである。
図4に示す処理は、例えば、撮像素子3により被写体を複数回撮像して得られる赤外画像を表示部23に表示する動画撮像モード時に一定間隔(例えば10秒に1回)で行われる。
また、動画撮像モード時には、絞り2のF値が動画撮像開始時に予めマニュアル操作等で第一の値に設定されるものとする。
まず、動画撮像が開始されると、撮像素子3から一定間隔で出力される撮像画像データがデジタル信号処理部17で処理されて記録用データが生成される。この記録用データは記録媒体21に記録されるとともに、この記録用データに基づく赤外画像が表示部23に表示される。
デジタル信号処理部17が撮像画像データに対して行う処理は、撮像画像データからメインメモリ16のFPN記録用領域に記録されているFPN成分Cfpnを減算してFPNを補正する処理が含まれる。
動画撮像開始時には、メインメモリ16のFPN記録用領域にFPN成分Cfpnが記録されていないため、赤外線撮像装置は、動画撮像モードに設定されると、まず、以下に説明する処理を行う。
システム制御部11は、絞り2のF値を撮像条件として設定されている第一の値に維持し、この状態で撮像素子3に撮像を行わせる(ステップS1)。この撮像によって撮像素子3から出力された第一の撮像画像データはメインメモリ16に一時記憶される(ステップS2)。
次に、システム制御部11は、絞り2のF値を第一の値から第二の値に変更し、この状態で撮像素子3に撮像を行わせる(ステップS3)。この撮像によって撮像素子3から出力された第二の撮像画像データはメインメモリ16に一時記憶される(ステップS4)。
次に、FPN算出部19は、メインメモリ16に一時記憶された第一の撮像画像データと第二の撮像画像データを取得し、取得した第一の撮像画像データ及び第二の撮像画像データと、第一の撮像画像データの取得時のF値である第一の値と、第二の撮像画像データの取得時のF値である第二の値と、に基づいて、FPN成分Cfpnを算出する(ステップS5)。
FPN算出部19は、FPN成分Cfpnを算出すると、これをメインメモリ16におけるFPN記録用領域に記録する。
そして、デジタル信号処理部17は、メインメモリ16に一時記憶された第一の撮像画像データと第二の撮像画像データの各々から、ステップS5で生成されたFPN成分Cfpnを減算して、FPNを補正する(ステップS6)。
次に、デジタル信号処理部17は、FPN補正後の第二の撮像画像データの輝度と、FPN補正後の第一の撮像画像データの輝度との差が小さくなるよう、FPN補正後の第二の撮像画像データにゲインを乗じる処理を行う(ステップS7)。
具体的には、デジタル信号処理部17は、第二の値と第一の値の差に応じたゲインを、FPN補正後の第二の撮像画像データに乗じる。デジタル信号処理部17は、ゲイン処理部として機能する。
例えば、デジタル信号処理部17は、第一の値がF1であり、第二の値がF1.4であれば、図2に示したF1とF1.4とでの赤外線透過率αの違いから、ゲイン=2として、第二の撮像画像データの各画素信号値を2倍にする。
デジタル信号処理部17は、第一の値がF2であり、第二の値がF1.4であれば、図2に示したF2とF1.4とでの赤外線透過率αの違いから、ゲイン=0.5として、第二の撮像画像データの各画素信号値を0.5倍する。
ステップS7の後、デジタル信号処理部17は、ステップS6,7で処理後の第一の撮像画像データ及び第二の撮像画像データから記録用データを生成し、これを記録媒体21に記録する(ステップS8)。
ステップS8の後、システム制御部11は、F値を第二の値から第一の値に戻し、動画撮像を継続する。
以上のように、図1の赤外線撮像装置によれば、動画像を途切れさせることなくFPNを高精度に算出することができる。また、従来技術のように、動画撮像中にピンぼけした撮像画像が定期的に発生することはなく、高品質の動画撮像が可能となる。
また、シャッタを閉じたり、非合焦状態を作ったりするのではなく、動画撮像中に絞り2を瞬間的に絞る又は開くという動作だけで、FPNを算出することができる。このため、FPN算出のための電力を低減することができる。
また、図1の赤外線撮像装置によれば、第二の撮像画像データの輝度がゲインによって補正されるため、動画撮像中に記録媒体に記録される記録用データの輝度は均一となる。また、動画撮像中に表示部23に表示される画像の輝度も均一となる。したがって、動画撮像中に絞り2のF値を変更することによる画質変動をなくして動画像の品質を維持することができる。
なお、動画撮像中に絞りのF値を変えてしまうと被写界深度が変化する可能性がある。主に画像の観賞目的で使用される可視光像を撮像する撮像装置では、被写界深度の変化によって画質変動が顕著となり、動画を鑑賞する利用者に違和感を与えてしまう。
しかし、赤外線撮像装置においては、例えば平面の被写体を撮像する場合であれば、被写界深度の変化による画質変動は許容することができる。
このように、赤外線撮像装置では、動画撮像中における被写界深度の変化を許容可能なシーンが存在するため、上述したFPN算出方法は赤外線撮像装置において有効な方法となる。
上述したFNP算出方法は、F値を変えて取得した2つの撮像画像データに基づいてFPNを算出するものであるため、この2つの撮像画像データの内容に大きな違いがあると、FPNを正確に算出することが難しくなる。
そこで、FPN算出部19は、図4のステップS4の後に、第一の撮像画像データと第二の撮像画像データの比較を行い、周知の動体検出処理によって、この2つの撮像画像データに動体部分が存在するか否かを判定する。FPN算出部19は動体判定部として機能する。
FPN算出部19は、動体部分があると判定した場合には、FPN算出精度が低下すると判断して、ステップS5の処理を省略する。
そして、ステップS6において、デジタル信号処理部17は、メインメモリ16に記憶されているFPNを用いて第一の撮像画像データと第二の撮像画像データのFPN補正を行い、その後、ステップS7に処理を移行する。
このようにすることで、メインメモリ16に記憶されるFPNが精度の低いものに更新されてしまうのを防ぐことができ、動画品質を向上させることができる。
なお、FPN算出部19が上述したFPN算出処理を行うタイミングは、温度検出部4により検出される温度の変動量が閾値以上となったときとしてもよい。温度の変動量が大きいということは、FPNの変化も大きいと考えられるため、このタイミングが有効である。
また、システム制御部11は、FPN算出部19により算出されるFPNが閾値以上になった場合には、連続撮像を停止させて、撮像素子3を冷却するのが好ましい。このようにすることで、画質劣化を防ぐことができる。
図1の赤外線撮像装置は絞り2を備えるため、撮像素子3に入射する赤外線には、絞り2の絞り羽根から放射される赤外線も含まれる。
以上の説明では、FPN算出部19が、この絞り羽根から放射される赤外線を考慮せずにFPNの算出を行うものとした。以下では、FPNの算出精度を更に上げるべく、絞り羽根から放射される赤外線を考慮してFPNを算出する方法について説明する。
図5(a),(b),(c)は、撮像素子3側から見た絞り2を示す図である。図5(a)はF値=F1のときの絞り2の状態を示し、図5(b)はF値=F1.4のときの絞り2の状態を示し、図5(c)は絞り2を完全に閉じた状態(F値=F∞とする)の絞り2の状態を示している。図5(a),(b),(c)において、符号2aは撮像素子3による撮像範囲と絞り羽根の外周との重複部分を示し、符号2bは絞り羽根の表面を示し、符号2cは絞り2の開口を示す。
図5(a),(b),(c)に示すように、撮像素子3側から見たときに、絞り2のF値が変わると、絞り羽根の露出面積が変化する。F値=F∞とF値=F1.4の比較では、F値=F∞のときに対し、F値=F1.4のときは絞り羽根の露出面積が約1/2倍になる。絞り羽根の露出面積とは、撮像素子3から見て、絞り羽根が赤外線を遮断する障害物によって遮られていない部分の面積を示す。
この絞り羽根の露出部分から赤外線が放射されて撮像素子3に入射するため、前述してきた、F値=F1で得られる第一の撮像画像データの信号成分SG(1)と、F値=F1.4で得られる第二の撮像画像データの信号成分SG(2)との比は、絞り2から放射される赤外線量を考慮するのが好ましい。
図6は、F値と、絞り2から放射される赤外線量との関係を示す図である。図6では、F値=F1のときの絞り2から放射される赤外線量βを“0”とし、F値=F∞のときの絞り2からの赤外線量を“100”として規格化している。
図6に示したように、F値=F1.4のときは、F値=F∞のときに比べて、絞り2から放射される赤外線量βは約1/2倍となる。なお、図6のデータは、絞り2の温度によって異なるため、メインメモリ16には、図6に示すデータが絞り2の温度毎に記憶されている。
また、絞り2から放射される赤外線量に応じて撮像素子3の各赤外線検出画素から出力される画素信号値は同じではなく、赤外線検出画素の受光面上での位置によって異なる。
例えば、絞り2の開口部分と対向する位置にある赤外線検出画素から出力される画素信号値は小さくなるが、絞り2の絞り羽根と対向する位置にある赤外線検出画素から出力される画素信号値は大きくなる。
図1の赤外線撮像装置のメインメモリ16には、設定可能なF値毎に、絞り2から放射される赤外線に応じて各赤外線検出画素から出力される画素信号値を記録したテーブルデータが予め記憶されている。
また、任意のF値に対応するテーブルデータは、絞り2の温度毎に複数記憶されている。これは、絞り2の温度が異なると、絞り羽根の露出面積が同じであっても、絞り2から放射される赤外線量が異なるためである。
例えば、温度が既知かつ温度分布が一様な被写体を撮像素子3によって撮像して得られる撮像画像データの各画素信号値から、この被写体の温度に相当する信号値を減算することで、赤外線検出画素毎に、絞り2から放射された赤外線に応じた画素信号値を求めることができる。
このような作業をF値を変えて繰り返すことで、上記テーブルデータを求めることができる。また、F値を固定にしたまま、絞り2の温度を変えながら上記作業を繰り返すことで、同一のF値に対し複数のテーブルデータを生成することができる。
なお、絞り2から放射される赤外線に応じて各赤外線検出画素から出力される画素信号値は、絞り2の温度の4乗と絞り2の露出面積との積に比例する。
このため、任意のF値(最小値以外の値)に対し、絞り2から放射される赤外線に応じて各赤外線検出画素から出力される画素信号値を求めておき、この画素信号値を絞り2の温度とF値によって補正することでも、上記テーブルデータを作成することができる。
図7は、FPN算出方法の変形例を説明するための図である。
図7には、F値=F1の状態で得られた第一の撮像画像データにおける任意の座標位置の画素信号値41と、F値=F1.4の状態で得られた第二の撮像画像データにおける上記任意の座標位置の画素信号値42とが示されている。
画素信号値41と画素信号値42の各々に含まれる信号成分SGは、被写体から放射された赤外線に応じた信号成分SG(obj)と、絞り2から放射された信号成分SG(ap)とからなる。なお、F値=F1の場合、絞り2の露出面積は“0”となるため、画素信号値41の信号成分SG(ap)は“0”である。
画素信号値41の信号成分SG(obj)に対する画素信号値42の信号成分SG(obj)の比は、F1とF1.4のときの赤外線透過率αの比によって決まり、約“0.5”となる。また、画素信号値41の信号成分SG(ap)と、画素信号値42の信号成分SG(ap)は上記テーブルデータによって既知の値である。
FPN算出部19は、画素信号値41の信号成分SG(ap)を、温度検出部4によって検出された絞り2の温度及びF値=F1の組み合わせに対応するテーブルデータから検索して取得する。
また、画素信号値42の信号成分SG(ap)を、温度検出部4によって検出された絞り2の温度及びF値=F1.4の組み合わせに対応するテーブルデータから検索して取得する。
次に、FPN算出部19は、画素信号値41から上記取得した信号成分SG(ap)を減算して得た画素信号値41aと、画素信号値42から上記取得した信号成分SG(ap)を減算して得た画素信号値42aとを同じにするための係数を設定する。
そして、FPN算出部19は、設定した係数を、画素信号値41aと画素信号値42aの少なくとも一方に乗算する。乗算後の処理は図2で説明したのと同じである。
以上のように、F値が変わることによる、絞り2から放射される赤外線量の変化も考慮してFPNを算出することで、より高精度にFPNを算出することができ、画質を向上させることができる。
ここまでは、撮像素子3の受光面のどの位置においても、同一量の赤外線に対する赤外線検出画素から出力される画素信号値を示す検出感度は同じであるものとして説明した。しかし、実際には、赤外線検出画素の受光面での位置に応じて、赤外線検出画素の検出感度は変化して、撮像画像データにはシェーディングが生じる。
図8は、温度一様の被写体を撮像素子3で撮像したときの各赤外線検出画素の検出感度γを示す図である。図8の横軸は受光面上の一方向における位置を示しており、撮像光学系の光軸と交わる位置を0で示している。
“R”は、撮像素子3の受光面上に設定される直線であって位置0の赤外線検出画素を通る直線上にある赤外線検出画素のうちの一方の端部にある赤外線検出画素の位置を示す。“L”は、この直線上にある赤外線検出画素のうちの他方の端部にある赤外線検出画素の位置を示す。
また、図8には、F値=F1のときの検出感度γを破線で示し、F値=F1.4のときの検出感度γを実線で示している。図8では、位置0の赤外線検出画素の検出感度γを“100%”として規格化している。
図8に示すように、赤外線検出画素の検出感度γは、受光面の中心で最も高くなり、受光面の端部に近づくにしたがって低下していく。また、検出感度γの低下度合はF値によって異なる。
したがって、受光面の中心にある赤外線検出画素から出力された画素信号値については、図2に示した関係となるが、受光面の周辺にある赤外線検出画素から出力された画素信号値については図2に示した関係にはならない。
図9は、位置“L”又は“R”の赤外線検出画素から出力された画素信号値を説明するための図である。
図9において、符号31aは、F値=F1の状態で撮像して得られた画素信号値を示す。符号32aは、F値=F1.4の状態で撮像して得られた画素信号値を示す。図9では、図2に示した画素信号値31,32を破線で示している。
図2に示した関係から、画素信号値32aの信号成分SGは、画素信号値31aの信号成分SGより減少する。しかし、図8に示した関係により、その減少幅は受光面の中心にある赤外線検出画素と比較して小さくなる。
したがって、この受光面上での位置の違いに起因する、第一の撮像画像データの画素信号値の信号成分SGと第二の撮像画像データの画素信号値の信号成分SGの比の違いを考慮して、FPNを算出することが好ましい。
図2に示す関係と、図6に示す関係と、図8に示す関係は既知である。このため、FPN算出部19は、図2、図6、及び図8に示すデータを参照し、第一の撮像画像データの画素信号値の信号成分SGと第二の撮像画像データの画素信号値の信号成分SGを同じにするための係数を受光面上での赤外線検出画素の位置に応じた値に設定する。
FPN算出部19は、設定した係数を第一の撮像画像データの画素信号値の信号成分SGと第二の撮像画像データの画素信号値の信号成分SGの少なくとも一方に乗算する。
FPN算出部19は、乗算後の第一の撮像画像データの画素信号値の信号成分SGと第二の撮像画像データの画素信号値の信号成分SGの差からFPN成分Cfpnを算出する。
このようにすることで、より正確にFPNを算出することができ、画質向上を図ることができる。
以上説明してきたFPN算出方法を、数式を用いてより具体的に説明する。
撮像画像データの座標(x,y)における画素信号値のうち、被写体から放射される赤外線量に対応する成分のデジタル値をSobj(x,y)とする。
撮像画像データの座標(x,y)における画素信号値のうち、FPN成分のデジタル値をCfpn(x,y)とする。
任意のF値における図2に示した赤外線透過率αをα(F)とする。α(F)はメインメモリ16に記憶されるデータである。
撮像画像データの座標(x,y)における画素信号値のうち、任意のF値及び絞り2の温度がTのときにおける絞り2から放射される赤外線量に対応する画素信号値をβ(x,y,F,T)とする。β(x,y,F,T)は、予め実験的に求めておいてメインメモリ16に記録されるデータである。
任意のF値の状態での赤外線検出画素の受光面における座標(x,y)の検出感度γをγ(x,y,F)とする。γ(x,y,F)は、実験的に求めておき、メインメモリ16に記憶しておくデータである。
撮像画像データの座標(x,y)における画素信号値のデジタル値をOut(x,y)とする。
以上のように設定すると、Out(x,y)は以下の式(1)で表される。
Figure 0006337131

・・・(1)
したがって、F値=F1のときのOut(x,y)F1は以下の式(2)で表され、F値=F1.4のときのOut(x,y)F1.4は以下の式(3)で表される。
Figure 0006337131

・・・(2)

Figure 0006337131

・・・(3)
式(2)は、両辺をα(F1)×γ(x,y,F1)で割ると、以下の式(4)に変形できる。
Figure 0006337131

・・・(4)
式(3)は、両辺をα(F1.4)×γ(x,y,F1.4)で割ると、以下の式(5)に変形できる。
Figure 0006337131

・・・(5)
式(5)から式(4)を引くと、式(6)となる。
Figure 0006337131

・・・(6)
式(6)をCfpn(x,y)について解くと、式(7)となる。
Figure 0006337131

・・・(7)
式(7)における全ての数値は既知であるため、FPN成分Cfpn(x,y)を算出することができる。
式(7)における{1/α(F1.4)×γ(x,y,F1.4)}と、{1/α(F1)×γ(x,y,F1)}が、F値=F1とF値=F1.4との差に応じた係数であり、F値を変えて取得した2つの画素信号値に含まれるSobj(x,y)を同じにするための係数となる。
式(7)において、γ(x,y,F)を“1”とし、β(x,y,F,T)を“0”とした場合の処理が、図2で説明したものである。また、式(7)において、γ(x,y,F)を“1”とした場合の処理が、図7で説明したものである。
ここまでは、動画撮像時におけるFPNの算出方法について説明してきた。以下では、ユーザからの指示等に応じて撮像素子3により被写体を1回撮像し、この撮像によって得られる撮像画像データを処理して得た記録用データを記録媒体21に記録する静止画撮像モードの動作について説明する。
静止画撮像モードでは、デジタル信号処理部17が、絞り2のF値を変えて取得した複数の撮像画像データを合成して1つの撮像画像データを生成し、この撮像画像データから記録用データを生成して記録媒体21に記録する。
図10は、撮像素子3の各赤外線検出画素から出力される画素信号値の被写体温度に対する変化(赤外線検出画素の出力応答特性)を示す図である。
図10において、符号101は、F値=F1の状態での各赤外線検出画素の出力応答特性を示す。符号102は、F値=F1.4の状態での各赤外線検出画素の出力応答特性を示す。
出力応答特性101と出力応答特性102は、いずれも、絞り2から放射された赤外線に応じた信号成分(上記のβ(x,y,F,T))を除いた画素信号値を示している。
F値=F1の状態では、被写体から多くの赤外線が撮像素子3に入射する。したがって、被写体温度に対する画素信号値の変化は急峻となる。
図10の例では、F値=F1の状態において、20℃以上の被写体に対しては画素信号値が飽和する。このため、20℃未満の被写体については、S/N比(信号対雑音比)が高い状態で撮像できるものの、20℃以上の被写体については正確に撮像することができない。
一方、F値=F1.4の状態では、F値=F1のときと比較して撮像素子3に入射する赤外線量が減少する。したがって、被写体温度に対する画素信号値の変化は緩やかとなる。
図10の例では、F値=F1.4の状態において、80℃未満の被写体に対しては画素信号値が飽和しない。つまり、80℃未満の被写体像を正確に撮像することはできるが、20℃未満の被写体については画素信号値が小さくなるため、S/N比が悪化する。
図10において、F値=F1のときの赤外線検出画素が飽和レベルに達する温度(=20℃)を飽和温度と言う。また、F値=F1.4のときの赤外線検出画素が飽和レベルに達する温度(=80℃)を飽和温度と言う。
このように、絞り2のF値を変えると、正確に撮像することのできる被写体の上限温度(飽和温度)が変わる。
F値=F1にした状態で得られた座標位置(x,y)の画素信号値をOut(x,y,F1)とし、F値=F1.4にした状態で得られた座標位置(x,y)の画素信号値をOut(x,y,F2)とする。この設定のもと、デジタル信号処理部17は、以下の式(8)の演算を行って、画素信号値D(x,y)を生成する。
D(x,y)={Out(x,y,F1)−β(x,y,F1,T)}×a+{Out(x,y,F1.4)−β(x,y,F1.4,T)}×b
・・・(8)
図11は、式(8)の演算係数aの一例を示す図である。図11に示すように、演算係数aは、被写体温度が20℃未満の範囲では、出力応答特性101に反比例する値となっている。また、演算係数aは、被写体温度が20℃以上の範囲では、被写体温度に関わらず“0”となっている。被写体温度が0℃のときの演算係数aは、図10における被写体温度=20℃のときの出力応答特性101の画素信号値と出力応答特性102の画素信号値との比である“0.25”となっている。
図12は、式(8)の演算係数bの一例を示す図である。図12に示すように、演算係数bは、被写体温度が20℃未満の範囲では出力応答特性101に比例する値となっている。また、演算係数bは、被写体温度が20℃以上の範囲では、被写体温度に関わらず“1”となっている。また、被写体温度が0℃のときの演算係数bは“0”となっている。
演算係数aは、F値=F1のときの出力応答特性101(被写体温度と前記撮像素子の各赤外線検出画素から出力される画素信号値との関係を示す情報)に応じた係数である。
演算係数aは、F値=F1.4のときの出力応答特性102(被写体温度と前記撮像素子の各赤外線検出画素から出力される画素信号値との関係を示す情報)に応じた係数である。
式(8)の演算を行って得られる撮像画像データは、図13の符号130で示す出力応答特性を持つ赤外線検出画素によって被写体を撮像して得られたものと等価となる。
符号130で示す出力応答特性と、図10の出力応答特性102は同じになる。しかし、式(8)の演算の結果、被写体温度が20℃以下の範囲では、被写体温度が低いほど、合成後の画素信号値D(x,y)において、{Out(x,y,F1)−β(x,y,F1,T)}の占める割合が高くなる。
{Out(x,y,F1)−β(x,y,F1,T)}は、信号成分が相対的に多くなっており、S/N比が、{Out(x,y,F1.4)−β(x,y,F1.4,T)}よりも良い。したがって、図13の符号130で示す出力応答特性を持つ赤外線検出画素によって被写体を撮像することで、20℃未満の低温の被写体については、各画素信号値を飽和させることなく、かつ、F値=F1.4のときよりもS/N比を向上させた状態で撮像を行うことができる。
また、20℃以上80℃未満の温度範囲の被写体についても、各画素信号値を飽和させることなく撮像することができる。このため、低温被写体と高温被写体が混在するシーンであっても、撮像品質を向上させることができる。
以上の説明では、撮像素子3に含まれる赤外線検出画素毎に、F値を変えて取得した複数の画素信号値を演算係数a,bによって重み付け加算する処理を行うことで、1つの撮像画像データを生成するものとした。
この変形例として、デジタル信号処理部17は、F値を変えて取得した複数の撮像画像データの各々から、絞り2から放射される赤外線に応じたデータを減算する。デジタル信号処理部17は、減算して得た複数の撮像画像データから非飽和部分を切り出し、切り出した部分を継ぎ合わせることで1つの撮像画像データを生成する。
図14は、図1の赤外線撮像装置によって撮像する被写体の一例を示す図である。図14には、物体140,141,142を含む被写体が例示されている。図14において、物体140と物体141の温度は同程度であり、物体142の温度は、物体140,141よりも高いものとする。
図15(a),(b)は、絞り2のF値を2つの値で変えて図14の被写体を撮像して得た撮像画像データを示す図である。
図15(a)は、例えばF値=F1で撮像して得た撮像画像データ151を示す。図15(b)は、例えばF値=F1.4で撮像して得た撮像画像データ152を示す。
図15(a),(b)において、符号142aは、図14の被写体142に対応するデータである。符号140aは、図14の被写体140に対応するデータである。符号141aは、図14の被写体141に対応するデータである。
図15(a),(b)の例では、F値=F1において画像データ部分142aの各画素信号値は飽和レベルに達しているが、F値=F1.4において画像データ部分142aの各画素信号値は飽和レベル未満となっている。
また、F値=F1,F値=F1.4において、画像データ部分140a,141aの各画素信号値はいずれも飽和レベル未満である。そして、F値=F1.4における画像データ部分140a,141aの各画素信号値のレベルは、F値=F1における画像データ部分140a,141aの各画素信号値のレベルよりも小さくなっている。
図15(a),(b)の例において、デジタル信号処理部17は、撮像画像データ151から、画素信号値が飽和レベルに達している画像データ部分142aを検出し、撮像画像データ151から画像データ部分142a以外の部分を切り出す。
デジタル信号処理部17は、この切り出した部分の各画素信号値から、撮像画像データ151の取得時のF値及び温度検出部4により検出された絞り2の温度に基づく、絞り2から放射される赤外線量に応じた信号値(上記のβ(x,y,F1,T))を減算して、第一のトリミングデータを生成する。
次に、デジタル信号処理部17は、撮像画像データ152において、上記検出した画像データ部分と対応する画像データ部分の各画素信号値を飽和レベルと比較し、各画素信号値が飽和レベル未満か否かを判定する。デジタル信号処理部17は、各画素信号値が飽和レベル未満であれば、この画像データ部分を撮像画像データ152から切り出す。
デジタル信号処理部17は、この切り出した部分の各画素信号値から、撮像画像データ152の取得時のF値及び温度検出部4により検出された絞り2の温度に基づく、絞り2から放射される赤外線量に応じた信号値(上記のβ(x,y,F1.4,T))を減算して、第二のトリミングデータを生成する。
そして、デジタル信号処理部17は、第一のトリミングデータと第二のトリミングデータを継ぎ合わせることで、2つの撮像画像データ151,152を合成し、図16に示す合成画像データ155を生成する。デジタル信号処理部17は、合成画像データ155を処理して記録用データを得る。
以上のように、F値を変えて取得した複数の撮像画像データにおいて画素信号値が飽和レベルに達している物体部分を含む撮像画像データ(撮像画像データ(1)とする)が存在する場合、デジタル信号処理部17は、この物体部分と対応しかつ画素信号値が飽和レベル未満である物体部分を含み、かつ、取得時のF値が最小となる撮像画像データを複数の撮像画像データの中から特定する。
そして、デジタル信号処理部17は、撮像画像データ(1)の上記物体部分を、上記特定した撮像画像データに含まれる上記物体部分のデータで置き換える。このようにすることで、低温被写体と高温被写体が混在するシーンであっても、両者を正確に撮像した合成画像データを得ることができる。
なお、デジタル信号処理部17は、F値を変えて取得した複数の撮像画像データにおいて、画素信号値が飽和レベルに達している物体部分を含む撮像画像データが存在しない場合には、取得時のF値が最小となる撮像画像データを処理して、記録用データを生成すればよい。
また、図15(a),(b)の例では、F値を変えて2回の撮像を行う場合を説明したが、F値を変えて3回以上の撮像を行ってもよい。
例えば、F値=F1で得た撮像画像データに飽和している物体部分が2箇所あり、この2箇所の一方はF値=F1.4でも飽和しているがF値=F2では飽和していないようなケースが考えられる。
このケースでは、F値=F1で得た撮像画像データの2箇所の物体部分を、F値=F1.4で得た撮像画像データに含まれる物体部分と、F値=F2で得た撮像画像データに含まれる物体部分とで置き換えればよい。
なお、静止画撮像モードにおいては、上述したようにF値を変えて複数回の撮像を行うため、この複数回の撮像で得た複数の撮像画像データを用いた前述したFPN算出処理を行うことが可能である。デジタル信号処理部17は、このFPN算出処理で得られたFPNデータを、上記合成画像データから減算することでFPN補正を行えばよい。
本実施形態のFPN算出部19及びデジタル信号処理部17が行う各ステップをコンピュータに実行させるためのプログラムとして提供することもできる。このようなプログラムは、このプログラムをコンピュータが読取可能な一時的でない(non−transitory)記録媒体に記録される。
このような「コンピュータ読取可能な記録媒体」は、たとえば、CD−ROM(Compact Disc−ROM)等の光学媒体や、メモリカード等の磁気記録媒体等を含む。また、このようなプログラムを、ネットワークを介したダウンロードによって提供することもできる。
以上説明してきたように、本明細書には以下の事項が開示されている。
開示された赤外線撮像装置は、二次元状に配置された複数の赤外線検出画素を含む撮像素子と、上記撮像素子よりも被写体側に配置された絞りと、動画撮像中に、上記絞りのF値を第一の値にした状態で上記撮像素子により撮像して得られる第一の撮像画像データと、上記絞りのF値を第二の値にした状態で上記撮像素子により撮像して得られる第二の撮像画像データとを取得し、取得した上記第一の撮像画像データ及び上記第二の撮像画像データと、上記第一の値及び上記第二の値とに基づいて、上記撮像素子により撮像して得られる撮像画像データに含まれる固定パターンノイズを算出する固定パターンノイズ算出部と、を備えるものである。
開示された赤外線撮像装置は、上記第一の値は、動画撮像中の撮像条件として予め設定されているF値であり、上記第二の撮像画像データにゲインを乗じるゲイン処理部を更に備え、上記ゲイン処理部は、上記ゲインを上記第二の値と上記第一の値との差に応じた値に設定するものである。
開示された赤外線撮像装置は、上記第一の撮像画像データと上記第二の撮像画像データの比較により、撮像された被写体に動体が含まれるか否かを判定する動体判定部を更に備え、上記固定パターンノイズ算出部は、上記動体判定部により、被写体に動体が含まれると判定された場合に、上記固定パターンノイズの算出を停止するものである。
開示された赤外線撮像装置は、上記固定パターンノイズ算出部は、上記第一の撮像画像データ及び上記第二の撮像画像データの各々において任意の座標位置にある2つの画素信号値の少なくとも一方に、上記第一の値と上記第二の値の差に応じた係数を乗算し、上記乗算後の上記2つの画素信号値の差分を用いて上記任意の座標位置における固定パターンノイズを算出するものである。
開示された赤外線撮像装置は、上記絞りの温度を検出する温度検出部を更に備え、上記固定パターンノイズ算出部は、上記第一の撮像画像データと、上記第二の撮像画像データと、上記第一の値及び上記第二の値と、上記温度検出部により検出された上記絞りの温度と、に基づいて上記固定パターンノイズを算出するものである。
開示された赤外線撮像装置は、上記固定パターンノイズ算出部は、上記第一の撮像画像データ及び上記第二の撮像画像データの各々において任意の座標位置にある2つの画素信号値の各々から上記温度の上記絞りから放射される赤外線に応じた信号値を減算した画素信号値の少なくとも一方に対し、上記第一の値と上記第二の値の差に応じた係数を乗算し、上記乗算後の2つの画素信号値の差分を用いて上記任意の座標位置における固定パターンノイズを算出するものである。
開示された赤外線撮像装置は、上記固定パターンノイズ算出部は、上記係数として上記赤外線検出画素の位置に応じて異なる値を用いるものである。
開示された固定パターンノイズ算出方法は、二次元状に配置された複数の赤外線検出画素を含む撮像素子と、上記撮像素子よりも被写体側に配置された絞りと、を有する赤外線撮像装置による固定パターンノイズ算出方法であって、動画撮像中に、上記絞りのF値を第一の値にした状態で上記撮像素子により撮像して得られる第一の撮像画像データと、上記絞りのF値を第二の値にした状態で上記撮像素子により撮像して得られる第二の撮像画像データとを取得し、取得した上記第一の撮像画像データ及び上記第二の撮像画像データと、上記第一の値及び上記第二の値とに基づいて、上記撮像素子により撮像して得られる撮像画像データに含まれる固定パターンノイズを算出する固定パターンノイズ算出ステップを備えるものである。
開示された固定パターンノイズ算出方法は、上記第一の値は、動画撮像中の撮像条件として予め設定されているF値であり、上記第二の撮像画像データにゲインを乗じるゲイン処理ステップを更に備え、上記ゲイン処理ステップでは、上記ゲインを上記第二の値と上記第一の値との差に応じた値に設定するものである。
開示された固定パターンノイズ算出方法は、上記第一の撮像画像データと上記第二の撮像画像データの比較により、撮像された被写体に動体が含まれるか否かを判定する動体判定ステップを更に備え、上記固定パターンノイズ算出ステップでは、上記動体判定ステップにより、被写体に動体が含まれると判定された場合に、上記固定パターンノイズの算出を停止するものである。
開示された固定パターンノイズ算出方法は、上記固定パターンノイズ算出ステップでは、上記第一の撮像画像データ及び上記第二の撮像画像データの各々において任意の座標位置にある2つの画素信号値の少なくとも一方に、上記第一の値と上記第二の値の差に応じた係数を乗算し、上記乗算後の上記2つの画素信号値の差分を用いて上記任意の座標位置における固定パターンノイズを算出するものである。
開示された固定パターンノイズ算出方法は、上記赤外線撮像装置は上記絞りの温度を検出する温度検出部を更に有し、上記固定パターンノイズ算出ステップでは、上記第一の撮像画像データと、上記第二の撮像画像データと、上記第一の値及び上記第二の値と、上記温度検出部により検出された上記絞りの温度と、に基づいて上記固定パターンノイズを算出するものである。
開示された固定パターンノイズ算出方法は、上記固定パターンノイズ算出ステップでは、上記第一の撮像画像データ及び上記第二の撮像画像データの各々において任意の座標位置にある2つの画素信号値の各々から上記温度の上記絞りから放射される赤外線に応じた信号値を減算した画素信号値の少なくとも一方に対し、上記第一の値と上記第二の値の差に応じた係数を乗算し、上記乗算後の2つの画素信号値の差分を用いて上記任意の座標位置における固定パターンノイズを算出するものである。
開示された固定パターンノイズ算出方法は、上記固定パターンノイズ算出ステップでは、上記係数として上記赤外線検出画素の位置に応じて異なる値を用いるものである。
開示された固定パターンノイズ算出プログラムは、二次元状に配置された複数の赤外線検出画素を含む撮像素子と、上記撮像素子よりも被写体側に配置された絞りと、を有する赤外線撮像装置に、動画撮像中に、上記絞りのF値を第一の値にした状態で上記撮像素子により撮像して得られる第一の撮像画像データと、上記絞りのF値を第二の値にした状態で上記撮像素子により撮像して得られる第二の撮像画像データとを取得し、取得した上記第一の撮像画像データ及び上記第二の撮像画像データと、上記第一の値及び上記第二の値とに基づいて、上記撮像素子により撮像して得られる撮像画像データに含まれる固定パターンノイズを算出する固定パターンノイズ算出ステップを実行させるためのプログラムである。
本発明は、特に車載用のカメラ等に適用して利便性が高く、有効である。
本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
本出願は、2014年9月30日出願の日本特許出願(特願2014-200077)に基づくものであり、その内容はここに参照として取り込まれる。
2 絞り
3 撮像素子
4 温度検出部
11 システム制御部
17 デジタル信号処理部(ゲイン処理部)
19 FPN算出部(動体判定部)

Claims (11)

  1. 二次元状に配置された複数の赤外線検出画素を含む撮像素子と、
    前記撮像素子よりも被写体側に配置された絞りと、
    動画撮像中に、前記絞りのF値を第一の値にした状態で前記撮像素子により撮像して得られる第一の撮像画像データと、前記絞りのF値を第二の値にした状態で前記撮像素子により撮像して得られる第二の撮像画像データとを取得し、取得した前記第一の撮像画像データ及び前記第二の撮像画像データと、前記第一の値及び前記第二の値とに基づいて、前記撮像素子により撮像して得られる撮像画像データに含まれる固定パターンノイズを算出する固定パターンノイズ算出部と、を備え
    前記固定パターンノイズ算出部は、前記第一の撮像画像データ及び前記第二の撮像画像データの各々において任意の座標位置にある2つの画素信号値の少なくとも一方に、前記第一の値と前記第二の値の差に応じた係数を乗算し、前記乗算後の前記2つの画素信号値の差分を用いて前記任意の座標位置における固定パターンノイズを算出し、
    前記固定パターンノイズ算出部は、前記係数として前記赤外線検出画素の位置に応じて異なる値を用いる赤外線撮像装置。
  2. 請求項1記載の赤外線撮像装置であって、
    前記第一の値は、動画撮像中の撮像条件として予め設定されているF値であり、
    前記第二の撮像画像データにゲインを乗じるゲイン処理部を更に備え、
    前記ゲイン処理部は、前記ゲインを前記第二の値と前記第一の値との差に応じた値に設定する赤外線撮像装置。
  3. 請求項1又は2記載の赤外線撮像装置であって、
    前記第一の撮像画像データと前記第二の撮像画像データの比較により、撮像された被写体に動体が含まれるか否かを判定する動体判定部を更に備え、
    前記固定パターンノイズ算出部は、前記動体判定部により、被写体に動体が含まれると判定された場合に、前記固定パターンノイズの算出を停止する赤外線撮像装置。
  4. 請求項1〜3のいずれか1項記載の赤外線撮像装置であって、
    前記絞りの温度を検出する温度検出部を更に備え、
    前記固定パターンノイズ算出部は、前記第一の撮像画像データと、前記第二の撮像画像データと、前記第一の値及び前記第二の値と、前記温度検出部により検出された前記絞りの温度と、に基づいて前記固定パターンノイズを算出する赤外線撮像装置。
  5. 請求項記載の赤外線撮像装置であって、
    前記固定パターンノイズ算出部は、前記第一の撮像画像データ及び前記第二の撮像画像データの各々において任意の座標位置にある2つの画素信号値の各々から前記温度の前記絞りから放射される赤外線に応じた信号値を減算した画素信号値の少なくとも一方に対し、前記第一の値と前記第二の値の差に応じた係数を乗算し、前記乗算後の2つの画素信号値の差分を用いて前記任意の座標位置における固定パターンノイズを算出する赤外線撮像装置。
  6. 二次元状に配置された複数の赤外線検出画素を含む撮像素子と、前記撮像素子よりも被写体側に配置された絞りと、を有する赤外線撮像装置による固定パターンノイズ算出方法であって、
    動画撮像中に、前記絞りのF値を第一の値にした状態で前記撮像素子により撮像して得られる第一の撮像画像データと、前記絞りのF値を第二の値にした状態で前記撮像素子により撮像して得られる第二の撮像画像データとを取得し、取得した前記第一の撮像画像データ及び前記第二の撮像画像データと、前記第一の値及び前記第二の値とに基づいて、前記撮像素子により撮像して得られる撮像画像データに含まれる固定パターンノイズを算出する固定パターンノイズ算出ステップを備え
    前記固定パターンノイズ算出ステップでは、前記第一の撮像画像データ及び前記第二の撮像画像データの各々において任意の座標位置にある2つの画素信号値の少なくとも一方に、前記第一の値と前記第二の値の差に応じた係数を乗算し、前記乗算後の前記2つの画素信号値の差分を用いて前記任意の座標位置における固定パターンノイズを算出し、
    前記固定パターンノイズ算出ステップでは、前記係数として前記赤外線検出画素の位置に応じて異なる値を用いる固定パターンノイズ算出方法。
  7. 請求項記載の固定パターンノイズ算出方法であって、
    前記第一の値は、動画撮像中の撮像条件として予め設定されているF値であり、
    前記第二の撮像画像データにゲインを乗じるゲイン処理ステップを更に備え、
    前記ゲイン処理ステップでは、前記ゲインを前記第二の値と前記第一の値との差に応じた値に設定する固定パターンノイズ算出方法。
  8. 請求項又は記載の固定パターンノイズ算出方法であって、
    前記第一の撮像画像データと前記第二の撮像画像データの比較により、撮像された被写体に動体が含まれるか否かを判定する動体判定ステップを更に備え、
    前記固定パターンノイズ算出ステップでは、前記動体判定ステップにより、被写体に動体が含まれると判定された場合に、前記固定パターンノイズの算出を停止する固定パターンノイズ算出方法。
  9. 請求項のいずれか1項記載の固定パターンノイズ算出方法であって、
    前記赤外線撮像装置は前記絞りの温度を検出する温度検出部を更に有し、
    前記固定パターンノイズ算出ステップでは、前記第一の撮像画像データと、前記第二の撮像画像データと、前記第一の値及び前記第二の値と、前記温度検出部により検出された前記絞りの温度と、に基づいて前記固定パターンノイズを算出する固定パターンノイズ算出方法。
  10. 請求項記載の固定パターンノイズ算出方法であって、
    前記固定パターンノイズ算出ステップでは、前記第一の撮像画像データ及び前記第二の撮像画像データの各々において任意の座標位置にある2つの画素信号値の各々から前記温度の前記絞りから放射される赤外線に応じた信号値を減算した画素信号値の少なくとも一方に対し、前記第一の値と前記第二の値の差に応じた係数を乗算し、前記乗算後の2つの画素信号値の差分を用いて前記任意の座標位置における固定パターンノイズを算出する固定パターンノイズ算出方法。
  11. 二次元状に配置された複数の赤外線検出画素を含む撮像素子と、前記撮像素子よりも被写体側に配置された絞りと、を有する赤外線撮像装置に、動画撮像中に、前記絞りのF値を第一の値にした状態で前記撮像素子により撮像して得られる第一の撮像画像データと、前記絞りのF値を第二の値にした状態で前記撮像素子により撮像して得られる第二の撮像画像データとを取得し、取得した前記第一の撮像画像データ及び前記第二の撮像画像データと、前記第一の値及び前記第二の値とに基づいて、前記撮像素子により撮像して得られる撮像画像データに含まれる固定パターンノイズを算出する固定パターンノイズ算出ステップを実行させるための固定パターンノイズ算出プログラムであって、
    前記固定パターンノイズ算出ステップでは、前記第一の撮像画像データ及び前記第二の撮像画像データの各々において任意の座標位置にある2つの画素信号値の少なくとも一方に、前記第一の値と前記第二の値の差に応じた係数を乗算し、前記乗算後の前記2つの画素信号値の差分を用いて前記任意の座標位置における固定パターンノイズを算出し、
    前記固定パターンノイズ算出ステップでは、前記係数として前記赤外線検出画素の位置に応じて異なる値を用いる固定パターンノイズ算出プログラム
JP2016551578A 2014-09-30 2015-05-13 赤外線撮像装置、固定パターンノイズ算出方法、及び固定パターンノイズ算出プログラム Active JP6337131B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014200077 2014-09-30
JP2014200077 2014-09-30
PCT/JP2015/063800 WO2016051850A1 (ja) 2014-09-30 2015-05-13 赤外線撮像装置、固定パターンノイズ算出方法、及び固定パターンノイズ算出プログラム

Publications (2)

Publication Number Publication Date
JPWO2016051850A1 JPWO2016051850A1 (ja) 2017-06-01
JP6337131B2 true JP6337131B2 (ja) 2018-06-06

Family

ID=55629906

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016551578A Active JP6337131B2 (ja) 2014-09-30 2015-05-13 赤外線撮像装置、固定パターンノイズ算出方法、及び固定パターンノイズ算出プログラム

Country Status (4)

Country Link
US (1) US10536626B2 (ja)
JP (1) JP6337131B2 (ja)
CN (1) CN106716990B (ja)
WO (1) WO2016051850A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6702058B2 (ja) * 2016-07-27 2020-05-27 富士通株式会社 撮像装置
US10402688B2 (en) * 2016-12-07 2019-09-03 Kla-Tencor Corporation Data augmentation for convolutional neural network-based defect inspection
JP2022022530A (ja) * 2020-06-25 2022-02-07 シャープ株式会社 カメラ、画像処理方法、プログラムおよびプログラムを記録したコンピュータ読み取り可能な記録媒体
JP7494615B2 (ja) * 2020-07-22 2024-06-04 株式会社Jvcケンウッド 画像処理装置、画像処理方法およびプログラム
DE112021007848T5 (de) * 2021-06-18 2024-04-25 Mitsubishi Electric Corporation Infrarotbilderfassungsvorrichtung und Verfahren zum Erzeugen von Daten eines festen Rauschmusters

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02190083A (ja) * 1989-01-19 1990-07-26 Fujitsu Ltd 赤外線撮像装置のオフセット値測定、及びオフセット補正方法
JPH10115557A (ja) 1996-10-15 1998-05-06 Nippon Avionics Co Ltd 赤外線センサー温度補正方法及び装置並びに2次元赤外線センサーを用いた赤外線サーモグラフィー
US5903659A (en) 1997-04-17 1999-05-11 Raytheon Company Adaptive non-uniformity compensation algorithm
JP3376991B2 (ja) 2000-05-30 2003-02-17 日本電気株式会社 赤外線撮像方法及び赤外線撮像装置
JP3624859B2 (ja) * 2001-06-19 2005-03-02 カシオ計算機株式会社 撮像装置、ソフトフォーカス画像撮影方法
JP2009089138A (ja) 2007-10-01 2009-04-23 Mitsubishi Electric Corp 赤外線カメラ
JP4900283B2 (ja) * 2008-02-29 2012-03-21 日本電気株式会社 赤外線撮像装置および固定パターンノイズ補正方法
CN102663714B (zh) * 2012-03-28 2014-06-25 中国人民解放军国防科学技术大学 基于显著性的红外图像强固定模式噪声抑制方法

Also Published As

Publication number Publication date
US10536626B2 (en) 2020-01-14
CN106716990A (zh) 2017-05-24
US20170163884A1 (en) 2017-06-08
CN106716990B (zh) 2019-12-20
JPWO2016051850A1 (ja) 2017-06-01
WO2016051850A1 (ja) 2016-04-07

Similar Documents

Publication Publication Date Title
JP6337131B2 (ja) 赤外線撮像装置、固定パターンノイズ算出方法、及び固定パターンノイズ算出プログラム
US20120105590A1 (en) Electronic equipment
US9706131B2 (en) Image combining apparatus for generating a combined image from a plurality of images, image combining system, and image combining method
US9071766B2 (en) Image capturing apparatus and control method thereof
US10362243B2 (en) Infrared imaging device, diaphragm control method, and diaphragm control program
EP3021570B1 (en) Imaging device, camera system, and image processing method
JP6471222B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6251817B2 (ja) 赤外線撮像装置、画像処理方法、及び画像処理プログラム
US20180352171A1 (en) Image capture apparatus, image processing system, and control method thereof
JP5560766B2 (ja) 画像処理装置、撮像装置、及びプログラム
JP2016057349A (ja) 撮像装置、画像処理方法及びプログラム
WO2016151823A1 (ja) 画像処理装置、画像処理方法およびプログラム
JP5172283B2 (ja) ステレオ画像処理装置、ステレオ画像処理方法およびプログラム
JP6418827B2 (ja) 撮像装置及びその制御方法
JP5972055B2 (ja) 撮像装置
JP2010187394A (ja) 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体
US20240040215A1 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
US20230196517A1 (en) Information processing apparatus, control method of information processing apparatus, and non-transitory computer readable medium
JP5263764B2 (ja) 電子カメラ
JP2009081528A (ja) 撮像装置
JP2016142777A (ja) 撮像装置
JP2018050231A (ja) 撮像装置、撮像方法および撮像制御プログラム
JP2016142778A (ja) 撮像装置
JP2016096463A (ja) 撮像装置及びその制御方法
JP2015035786A (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170217

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180410

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180507

R150 Certificate of patent or registration of utility model

Ref document number: 6337131

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250