JPWO2016051849A1 - 赤外線撮像装置、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

赤外線撮像装置は、二次元状に配置された複数の赤外線検出画素を含む撮像素子と、絞りと、絞りの温度を検出する温度検出部と、絞りのＦ値を複数の値にした状態で撮像素子により撮像して得られる複数の撮像画像データの各々の少なくとも一部から、各々の取得時におけるＦ値及び温度検出部により検出された温度に基づく絞りから放射される赤外線量に応じた信号値を減算し、減算後の複数の撮像画像データを合成して合成画像データを生成するデジタル信号処理部と、を備える。

Description

本発明は、赤外線撮像装置、画像処理方法、及び画像処理プログラムに関する。

例えばサーモグラフィやナイトビジョン等のように赤外線画像を撮像する赤外線撮像装置が知られている（例えば特許文献１〜３参照）。

特許文献１は、撮像光学系に絞りを有する赤外線撮像装置を開示している。

特許文献２は、高温の被写体を撮像している場合に、撮像光学系に含まれる絞りの開口面積を最小にすることで、撮像素子の損傷を防ぐ赤外線撮像装置を開示している。

特許文献３は、撮像中の被写体の温度のうちの最高温度に応じて絞りを制御することにより、測定温度レンジを変更する赤外線撮像装置を開示している。

日本国特開２０１３−０８０１３０号公報 日本国特開２００８−２７８０３６号公報 日本国特開平９−１０１２０７号公報

特許文献２に記載の赤外線撮像装置は、高温の被写体を撮像する場合には絞りの開口面積が最小に制御されるため、撮像素子に到達する低温の被写体からの赤外線量が減少してしまい、低温の被写体を良好に撮像することができない。

特許文献３に記載の赤外線撮像装置は、被写体の最高温度に応じて測定温度レンズが変更されるため、この最高温度が非常に高い場合、低温の被写体からの赤外線に対する感度が低下してしまい、低温の被写体を良好に撮像することができない。

特許文献１は、絞りの開口面積を制御することは想定しておらず、低温の被写体と高温の被写体が混在するシーンにおける撮像品質を向上させることはできない。

本発明は、上記事情に鑑みてなされたものであり、低温の被写体と高温の被写体が混在するシーンにおける撮像品質を向上させることのできる赤外線撮像装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

本発明の赤外線撮像装置は、二次元状に配置された複数の赤外線検出画素を含む撮像素子と、上記撮像素子よりも被写体側に配置された絞りと、上記絞りの温度を検出する温度検出部と、上記絞りのＦ値を複数の値にした状態で上記撮像素子により撮像して得られる複数の撮像画像データの各々の少なくとも一部から、上記各々の取得時におけるＦ値及び上記温度検出部により検出された温度に基づく上記絞りから放射される赤外線量に応じた信号値を減算し、上記減算後の上記複数の撮像画像データを合成して合成画像データを生成する画像処理部と、を備えるものである。

本発明の画像処理方法は、二次元状に配置された複数の赤外線検出画素を含む撮像素子と、上記撮像素子よりも被写体側に配置された絞りと、上記絞りの温度を検出する温度検出部と、を有する赤外線撮像装置による画像処理方法であって、上記絞りのＦ値を複数の値にした状態で上記撮像素子により撮像して得られる複数の撮像画像データの各々の少なくとも一部から、上記各々の取得時におけるＦ値及び上記温度検出部により検出された温度に基づく上記絞りから放射される赤外線量に応じた信号値を減算し、上記減算後の上記複数の撮像画像データを合成して合成画像データを生成する画像処理ステップを備えるものである。

本発明の画像処理プログラムは、二次元状に配置された複数の赤外線検出画素を含む撮像素子と、上記撮像素子よりも被写体側に配置された絞りと、上記絞りの温度を検出する温度検出部と、を有する赤外線撮像装置に、上記絞りのＦ値を複数の値にした状態で上記撮像素子により撮像して得られる複数の撮像画像データの各々の少なくとも一部から、上記各々の取得時におけるＦ値及び上記温度検出部により検出された温度に基づく上記絞りから放射される赤外線量に応じた信号値を減算し、上記減算後の上記複数の撮像画像データを合成して合成画像データを生成する画像処理ステップを実行させるためのプログラムである。

本発明によれば、低温の被写体と高温の被写体が混在するシーンにおける撮像品質を向上させることのできる赤外線撮像装置、画像処理方法、及び画像処理プログラムを提供することができる。

本発明の一実施形態を説明するための赤外線撮像装置の概略構成を示す図である。 Ｆ値をＦ１とＦ１．４で変えて撮像して得た２つの撮像画像データを用いたＦＰＮ算出方法を説明するための図である。 Ｆ値と、絞り２を透過する赤外線量を示す赤外線透過率αとの関係を示す図である。 図１に示す赤外線撮像装置におけるＦＰＮ算出動作を説明するためのフローチャートである。 （ａ），（ｂ），（ｃ）は撮像素子３側から見た絞り２を示す図である。 Ｆ値と、絞り２から放射される赤外線量との関係を示す図である。 ＦＰＮ算出方法の変形例を説明するための図である。 温度一様の被写体を撮像素子３で撮像したときの各赤外線検出画素の検出感度を示す図である。 位置“Ｌ”又は“Ｒ”の赤外線検出画素から出力された画素信号値を説明するための図である。 撮像素子３の各赤外線検出画素から出力される画素信号値の被写体温度に対する変化（赤外線検出画素の出力応答特性）を示す図である。 演算係数ａを示す図である。 演算係数ｂを示す図である。 ２つの撮像画像データの合成結果を示す図である。 図１の赤外線撮像装置によって撮像する被写体の一例を示す図である。 （ａ），（ｂ）は絞り２のＦ値を２つの値で変えて図１４の被写体を撮像して得た撮像画像データを示す図である。 撮像画像データ１５１と撮像画像データ１５２を合成して得た合成画像データ１５５を示す図である。

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の一実施形態を説明するための赤外線撮像装置の概略構成を示す図である。

図１に示す赤外線撮像装置は、撮像レンズ１と、絞り２と、撮像レンズ１及び絞り２を通して被写体を撮像する撮像素子３と、絞り２の温度を検出するための温度検出部４と、アナログ信号処理部６と、アナログデジタル変換回路（Ａ／Ｄ変換回路）７と、絞り駆動部９と、撮像素子駆動部１０と、を備える。

撮像素子３は、撮像レンズ１及び絞り２を介して集光された、被写体から放射された赤外線（一般的には、波長８μｍ〜１２μｍの光）を検出する二次元状に配置された複数の赤外線検出画素を有する。撮像素子３は、撮像素子駆動部１０により駆動される。

赤外線検出画素に用いる赤外線検出素子としては、例えば焦電素子が挙げられる。或いは、ゼーベック効果を生じさせる熱電対を接続したサーモパイル型、温度上昇による抵抗値の変化を利用したボロメータ型などの赤外線検出素子を用いることもできる。

なお、赤外線検出素子についてはこれらに限定されるべきものでなく、赤外線を検出できるものであればその種類は問わない。本明細書では、撮像素子３の全ての赤外線検出画素から出力される画素信号の集合を撮像画像データという。

絞り２は、撮像素子３よりも被写体側に配置されており、絞り駆動部９により開口面積が制御される。

温度検出部４は、絞り２近傍に配置されたサーミスタ等の温度センサにより構成され、検出した温度をシステム制御部１１に通知する。

アナログ信号処理部６は、撮像素子３から出力される撮像画像データの各画素信号値にゲインを乗じて増幅する増幅処理を含むアナログ信号処理を行う。

Ａ／Ｄ変換回路７は、アナログ信号処理部６から出力されるアナログの撮像画像データをデジタルデータに変換する。

アナログ信号処理部６、Ａ／Ｄ変換回路７、絞り駆動部９、及び撮像素子駆動部１０は、システム制御部１１によって制御される。

システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。

更に、赤外線撮像装置の電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、Ａ／Ｄ変換回路７から出力される撮像画像データを表示部２３で表示可能な形式に変換する処理等を行うデジタル信号処理部１７と、撮像素子３により撮像して得られる撮像画像データに含まれるＦＰＮを算出するＦＰＮ算出部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、表示部２３が接続される表示制御部２２と、を備える。

メモリ制御部１５、デジタル信号処理部１７、ＦＰＮ算出部１９、外部メモリ制御部２０、及び表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

ＦＰＮ算出部１９は、絞り２のＦ値を第一の値にした状態で撮像素子３により被写体を撮像して得られる第一の撮像画像データと、絞り２のＦ値を第二の値にした状態で撮像素子３により被写体を撮像して得られる第二の撮像画像データと、第一の値及び第二の値と、に基づいて、撮像素子３により撮像して得られる撮像画像データに含まれるＦＰＮを算出する。

図２は、第一の値がＦ１であり、第二の値がＦ１．４である場合のＦＰＮの算出方法を説明するための図である。

図２において、符号３１は、Ｆ値＝Ｆ１の状態で得られた第一の撮像画像データにおける任意の座標位置の画素信号値を示す。符号３２は、Ｆ値＝Ｆ１．４の状態で得られた第二の撮像画像データにおける上記任意の座標位置の画素信号値を示す。

図２に示すように、第一の撮像画像データの各画素信号値３１と第二の撮像画像データの各画素信号値３２は、それぞれ、ＦＰＮ成分Ｃ_ｆｐｎと、ＦＰＮ成分Ｃ_ｆｐｎ以外の信号成分ＳＧとから構成される。

ここで、第一の撮像画像データと第二の撮像画像データは近い時刻（例えば連続した撮像）で取得されたものを用いる。このため、第一の撮像画像データの各画素信号値３１と第二の撮像画像データの各画素信号値３２に含まれるＦＰＮ成分Ｃ_ｆｐｎは全て同じ値と見なすことができる。

図３は、Ｆ値と、絞り２を透過する赤外線量を示す赤外線透過率αとの関係を示す図である。図３では、Ｆ値＝Ｆ１（絞り２の開口面積が最大の状態）のときの絞り２を透過する赤外線透過率αを“１００％”として規格化している。

図３に示したように、Ｆ値＝Ｆ１．４のときは、Ｆ値＝Ｆ１のときに比べて、撮像素子３に入射する赤外線量は半分になる。

つまり、図２に示した第二の撮像画像データの各画素信号値３２に含まれる信号成分ＳＧ（以下、ＳＧ（２）ともいう）は、第一の撮像画像データの各画素信号値３１に含まれる信号成分ＳＧ（以下、ＳＧ（１）ともいう）に、Ｆ値＝Ｆ１．４とＦ値＝Ｆ１における赤外線透過率αの比（＝０．５）を乗じた値になる。

このように、画素信号値３１を得たときのＦ値と、画素信号値３２を得たときのＦ値との差から、画素信号値３１に含まれる信号成分ＳＧ（１）と画素信号値３２に含まれる信号成分ＳＧ（２）との比は一意に決まる。

ＦＰＮ算出部１９は、Ｆ値＝Ｆ１．４とＦ値＝Ｆ１における赤外線透過率αの比（＝０．５）に基づき、信号成分ＳＧ（２）を信号成分ＳＧ（１）と同じ値にするための係数を設定し、設定した係数を画素信号値３１と画素信号値３２の少なくとも一方に乗算する。

例えば、画素信号値３１にのみ係数を乗じる場合は、Ｆ値＝Ｆ１．４とＦ値＝Ｆ１における赤外線透過率αの比（＝０．５）を係数に設定する。

また、画素信号値３２にのみ係数を乗じる場合は、Ｆ値＝Ｆ１．４とＦ値＝Ｆ１における赤外線透過率αの比（＝０．５）の逆数（＝２）を係数に設定する。

また、画素信号値３１と画素信号値３２の各々に係数を乗じる場合は、各々に乗じる係数の比がＦ値＝Ｆ１．４とＦ値＝Ｆ１における赤外線透過率αの比（＝０．５）となるように係数を設定する。

例えば、画素信号値３１に乗じる係数を“１．５”に設定し、画素信号値３２に乗じる係数を“３”に設定する。

図２には、画素信号値３２に係数（＝２）を乗じて得た画素信号値３３を示している。この係数の乗算により、画素信号値３１の信号成分ＳＧと、画素信号値３３の信号成分ＳＧは同じ値になる。

したがって、ＦＰＮ算出部１９は、この係数の乗算後、画素信号値３３から画素信号値３１を減算することで、ＦＰＮ成分Ｃ_ｆｐｎを算出することができる。

なお、画素信号値３１にのみ係数を乗じる場合は、画素信号値３２から、画素信号値３１を０．５倍して得た画素信号値を減算し、減算後の画素信号値を２倍することで、ＦＰＮ成分Ｃ_ｆｐｎを算出することができる。

また、画素信号値３１と画素信号値３２の各々に係数を乗じる場合は、画素信号値３２を３倍して得た画素信号値から、画素信号値３１を１．５倍して得た画素信号値を減算し、減算後の画素信号値を１．５で除算することで、ＦＰＮ成分Ｃ_ｆｐｎを算出することができる。

図４は、図１に示す赤外線撮像装置におけるＦＰＮ算出動作を説明するためのフローチャートである。

図４に示す処理は、例えば、撮像素子３により被写体を複数回撮像して得られる赤外画像を表示部２３に表示する動画撮像モード時に一定間隔（例えば１０秒に１回）で行われる。

また、動画撮像モード時には、絞り２のＦ値が動画撮像開始時に予めマニュアル操作等で第一の値に設定されるものとする。

まず、動画撮像が開始されると、撮像素子３から一定間隔で出力される撮像画像データがデジタル信号処理部１７で処理されて記録用データが生成される。この記録用データは記録媒体２１に記録されるとともに、この記録用データに基づく赤外画像が表示部２３に表示される。

デジタル信号処理部１７が撮像画像データに対して行う処理は、撮像画像データからメインメモリ１６のＦＰＮ記録用領域に記録されているＦＰＮ成分Ｃ_ｆｐｎを減算してＦＰＮを補正する処理が含まれる。

動画撮像開始時には、メインメモリ１６のＦＰＮ記録用領域にＦＰＮ成分Ｃ_ｆｐｎが記録されていないため、赤外線撮像装置は、動画撮像モードに設定されると、まず、以下に説明する処理を行う。

システム制御部１１は、絞り２のＦ値を撮像条件として設定されている第一の値に維持し、この状態で撮像素子３に撮像を行わせる（ステップＳ１）。この撮像によって撮像素子３から出力された第一の撮像画像データはメインメモリ１６に一時記憶される（ステップＳ２）。

次に、システム制御部１１は、絞り２のＦ値を第一の値から第二の値に変更し、この状態で撮像素子３に撮像を行わせる（ステップＳ３）。この撮像によって撮像素子３から出力された第二の撮像画像データはメインメモリ１６に一時記憶される（ステップＳ４）。

次に、ＦＰＮ算出部１９は、メインメモリ１６に一時記憶された第一の撮像画像データと第二の撮像画像データを取得し、取得した第一の撮像画像データ及び第二の撮像画像データと、第一の撮像画像データの取得時のＦ値である第一の値と、第二の撮像画像データの取得時のＦ値である第二の値と、に基づいて、ＦＰＮ成分Ｃ_ｆｐｎを算出する（ステップＳ５）。

ＦＰＮ算出部１９は、ＦＰＮ成分Ｃ_ｆｐｎを算出すると、これをメインメモリ１６におけるＦＰＮ記録用領域に記録する。

そして、デジタル信号処理部１７は、メインメモリ１６に一時記憶された第一の撮像画像データと第二の撮像画像データの各々から、ステップＳ５で生成されたＦＰＮ成分Ｃ_ｆｐｎを減算して、ＦＰＮを補正する（ステップＳ６）。

次に、デジタル信号処理部１７は、ＦＰＮ補正後の第二の撮像画像データの輝度と、ＦＰＮ補正後の第一の撮像画像データの輝度との差が小さくなるよう、ＦＰＮ補正後の第二の撮像画像データにゲインを乗じる処理を行う（ステップＳ７）。

具体的には、デジタル信号処理部１７は、第二の値と第一の値の差に応じたゲインを、ＦＰＮ補正後の第二の撮像画像データに乗じる。デジタル信号処理部１７は、ゲイン処理部として機能する。

例えば、デジタル信号処理部１７は、第一の値がＦ１であり、第二の値がＦ１．４であれば、図２に示したＦ１とＦ１．４とでの赤外線透過率αの違いから、ゲイン＝２として、第二の撮像画像データの各画素信号値を２倍にする。

デジタル信号処理部１７は、第一の値がＦ２であり、第二の値がＦ１．４であれば、図２に示したＦ２とＦ１．４とでの赤外線透過率αの違いから、ゲイン＝０．５として、第二の撮像画像データの各画素信号値を０．５倍する。

ステップＳ７の後、デジタル信号処理部１７は、ステップＳ６，７で処理後の第一の撮像画像データ及び第二の撮像画像データから記録用データを生成し、これを記録媒体２１に記録する（ステップＳ８）。

ステップＳ８の後、システム制御部１１は、Ｆ値を第二の値から第一の値に戻し、動画撮像を継続する。

以上のように、図１の赤外線撮像装置によれば、動画像を途切れさせることなくＦＰＮを高精度に算出することができる。また、従来技術のように、動画撮像中にピンぼけした撮像画像が定期的に発生することはなく、高品質の動画撮像が可能となる。

また、シャッタを閉じたり、非合焦状態を作ったりするのではなく、動画撮像中に絞り２を瞬間的に絞る又は開くという動作だけで、ＦＰＮを算出することができる。このため、ＦＰＮ算出のための電力を低減することができる。

また、図１の赤外線撮像装置によれば、第二の撮像画像データの輝度がゲインによって補正されるため、動画撮像中に記録媒体に記録される記録用データの輝度は均一となる。また、動画撮像中に表示部２３に表示される画像の輝度も均一となる。したがって、動画撮像中に絞り２のＦ値を変更することによる画質変動をなくして動画像の品質を維持することができる。

なお、動画撮像中に絞りのＦ値を変えてしまうと被写界深度が変化する可能性がある。主に画像の観賞目的で使用される可視光像を撮像する撮像装置では、被写界深度の変化によって画質変動が顕著となり、動画を鑑賞する利用者に違和感を与えてしまう。

しかし、赤外線撮像装置においては、例えば平面の被写体を撮像する場合であれば、被写界深度の変化による画質変動は許容することができる。

このように、赤外線撮像装置では、動画撮像中における被写界深度の変化を許容可能なシーンが存在するため、上述したＦＰＮ算出方法は赤外線撮像装置において有効な方法となる。

上述したＦＮＰ算出方法は、Ｆ値を変えて取得した２つの撮像画像データに基づいてＦＰＮを算出するものであるため、この２つの撮像画像データの内容に大きな違いがあると、ＦＰＮを正確に算出することが難しくなる。

そこで、ＦＰＮ算出部１９は、図４のステップＳ４の後に、第一の撮像画像データと第二の撮像画像データの比較を行い、周知の動体検出処理によって、この２つの撮像画像データに動体部分が存在するか否かを判定する。ＦＰＮ算出部１９は動体判定部として機能する。

ＦＰＮ算出部１９は、動体部分があると判定した場合には、ＦＰＮ算出精度が低下すると判断して、ステップＳ５の処理を省略する。

そして、ステップＳ６において、デジタル信号処理部１７は、メインメモリ１６に記憶されているＦＰＮを用いて第一の撮像画像データと第二の撮像画像データのＦＰＮ補正を行い、その後、ステップＳ７に処理を移行する。

このようにすることで、メインメモリ１６に記憶されるＦＰＮが精度の低いものに更新されてしまうのを防ぐことができ、動画品質を向上させることができる。

なお、ＦＰＮ算出部１９が上述したＦＰＮ算出処理を行うタイミングは、温度検出部４により検出される温度の変動量が閾値以上となったときとしてもよい。温度の変動量が大きいということは、ＦＰＮの変化も大きいと考えられるため、このタイミングが有効である。

また、システム制御部１１は、ＦＰＮ算出部１９により算出されるＦＰＮが閾値以上になった場合には、連続撮像を停止させて、撮像素子３を冷却するのが好ましい。このようにすることで、画質劣化を防ぐことができる。

図１の赤外線撮像装置は絞り２を備えるため、撮像素子３に入射する赤外線には、絞り２の絞り羽根から放射される赤外線も含まれる。

以上の説明では、ＦＰＮ算出部１９が、この絞り羽根から放射される赤外線を考慮せずにＦＰＮの算出を行うものとした。以下では、ＦＰＮの算出精度を更に上げるべく、絞り羽根から放射される赤外線を考慮してＦＰＮを算出する方法について説明する。

図５（ａ），（ｂ），（ｃ）は、撮像素子３側から見た絞り２を示す図である。図５（ａ）はＦ値＝Ｆ１のときの絞り２の状態を示し、図５（ｂ）はＦ値＝Ｆ１．４のときの絞り２の状態を示し、図５（ｃ）は絞り２を完全に閉じた状態（Ｆ値＝Ｆ∞とする）の絞り２の状態を示している。図５（ａ），（ｂ），（ｃ）において、符号２ａは撮像素子３による撮像範囲と絞り羽根の外周との重複部分を示し、符号２ｂは絞り羽根の表面を示し、符号２ｃは絞り２の開口を示す。

図５（ａ），（ｂ），（ｃ）に示すように、撮像素子３側から見たときに、絞り２のＦ値が変わると、絞り羽根の露出面積が変化する。Ｆ値＝Ｆ∞とＦ値＝Ｆ１．４の比較では、Ｆ値＝Ｆ∞のときに対し、Ｆ値＝Ｆ１．４のときは絞り羽根の露出面積が約１／２倍になる。絞り羽根の露出面積とは、撮像素子３から見て、絞り羽根が赤外線を遮断する障害物によって遮られていない部分の面積を示す。

この絞り羽根の露出部分から赤外線が放射されて撮像素子３に入射するため、前述してきた、Ｆ値＝Ｆ１で得られる第一の撮像画像データの信号成分ＳＧ（１）と、Ｆ値＝Ｆ１．４で得られる第二の撮像画像データの信号成分ＳＧ（２）との比は、絞り２から放射される赤外線量を考慮するのが好ましい。

図６は、Ｆ値と、絞り２から放射される赤外線量との関係を示す図である。図６では、Ｆ値＝Ｆ１のときの絞り２から放射される赤外線量βを“０”とし、Ｆ値＝Ｆ∞のときの絞り２からの赤外線量を“１００”として規格化している。

図６に示したように、Ｆ値＝Ｆ１．４のときは、Ｆ値＝Ｆ∞のときに比べて、絞り２から放射される赤外線量βは約１／２倍となる。なお、図６のデータは、絞り２の温度によって異なるため、メインメモリ１６には、図６に示すデータが絞り２の温度毎に記憶されている。

また、絞り２から放射される赤外線量に応じて撮像素子３の各赤外線検出画素から出力される画素信号値は同じではなく、赤外線検出画素の受光面上での位置によって異なる。

例えば、絞り２の開口部分と対向する位置にある赤外線検出画素から出力される画素信号値は小さくなるが、絞り２の絞り羽根と対向する位置にある赤外線検出画素から出力される画素信号値は大きくなる。

図１の赤外線撮像装置のメインメモリ１６には、設定可能なＦ値毎に、絞り２から放射される赤外線に応じて各赤外線検出画素から出力される画素信号値を記録したテーブルデータが予め記憶されている。

また、任意のＦ値に対応するテーブルデータは、絞り２の温度毎に複数記憶されている。これは、絞り２の温度が異なると、絞り羽根の露出面積が同じであっても、絞り２から放射される赤外線量が異なるためである。

例えば、温度が既知かつ温度分布が一様な被写体を撮像素子３によって撮像して得られる撮像画像データの各画素信号値から、この被写体の温度に相当する信号値を減算することで、赤外線検出画素毎に、絞り２から放射された赤外線に応じた画素信号値を求めることができる。

このような作業をＦ値を変えて繰り返すことで、上記テーブルデータを求めることができる。また、Ｆ値を固定にしたまま、絞り２の温度を変えながら上記作業を繰り返すことで、同一のＦ値に対し複数のテーブルデータを生成することができる。

なお、絞り２から放射される赤外線に応じて各赤外線検出画素から出力される画素信号値は、絞り２の温度の４乗と絞り２の露出面積との積に比例する。

このため、任意のＦ値（最小値以外の値）に対し、絞り２から放射される赤外線に応じて各赤外線検出画素から出力される画素信号値を求めておき、この画素信号値を絞り２の温度とＦ値によって補正することでも、上記テーブルデータを作成することができる。

図７は、ＦＰＮ算出方法の変形例を説明するための図である。

図７には、Ｆ値＝Ｆ１の状態で得られた第一の撮像画像データにおける任意の座標位置の画素信号値４１と、Ｆ値＝Ｆ１．４の状態で得られた第二の撮像画像データにおける上記任意の座標位置の画素信号値４２とが示されている。

画素信号値４１と画素信号値４２の各々に含まれる信号成分ＳＧは、被写体から放射された赤外線に応じた信号成分ＳＧ（ｏｂｊ）と、絞り２から放射された信号成分ＳＧ（ａｐ）とからなる。なお、Ｆ値＝Ｆ１の場合、絞り２の露出面積は“０”となるため、画素信号値４１の信号成分ＳＧ（ａｐ）は“０”である。

画素信号値４１の信号成分ＳＧ（ｏｂｊ）に対する画素信号値４２の信号成分ＳＧ（ｏｂｊ）の比は、Ｆ１とＦ１．４のときの赤外線透過率αの比によって決まり、約“０．５”となる。また、画素信号値４１の信号成分ＳＧ（ａｐ）と、画素信号値４２の信号成分ＳＧ（ａｐ）は上記テーブルデータによって既知の値である。

ＦＰＮ算出部１９は、画素信号値４１の信号成分ＳＧ（ａｐ）を、温度検出部４によって検出された絞り２の温度及びＦ値＝Ｆ１の組み合わせに対応するテーブルデータから検索して取得する。

また、画素信号値４２の信号成分ＳＧ（ａｐ）を、温度検出部４によって検出された絞り２の温度及びＦ値＝Ｆ１．４の組み合わせに対応するテーブルデータから検索して取得する。

次に、ＦＰＮ算出部１９は、画素信号値４１から上記取得した信号成分ＳＧ（ａｐ）を減算して得た画素信号値４１ａと、画素信号値４２から上記取得した信号成分ＳＧ（ａｐ）を減算して得た画素信号値４２ａとを同じにするための係数を設定する。

そして、ＦＰＮ算出部１９は、設定した係数を、画素信号値４１ａと画素信号値４２ａの少なくとも一方に乗算する。乗算後の処理は図２で説明したのと同じである。

以上のように、Ｆ値が変わることによる、絞り２から放射される赤外線量の変化も考慮してＦＰＮを算出することで、より高精度にＦＰＮを算出することができ、画質を向上させることができる。

ここまでは、撮像素子３の受光面のどの位置においても、同一量の赤外線に対する赤外線検出画素から出力される画素信号値を示す検出感度は同じであるものとして説明した。しかし、実際には、赤外線検出画素の受光面での位置に応じて、赤外線検出画素の検出感度は変化して、撮像画像データにはシェーディングが生じる。

図８は、温度一様の被写体を撮像素子３で撮像したときの各赤外線検出画素の検出感度γを示す図である。図８の横軸は受光面上の一方向における位置を示しており、撮像光学系の光軸と交わる位置を０で示している。

“Ｒ”は、撮像素子３の受光面上に設定される直線であって位置０の赤外線検出画素を通る直線上にある赤外線検出画素のうちの一方の端部にある赤外線検出画素の位置を示す。“Ｌ”は、この直線上にある赤外線検出画素のうちの他方の端部にある赤外線検出画素の位置を示す。

また、図８には、Ｆ値＝Ｆ１のときの検出感度γを破線で示し、Ｆ値＝Ｆ１．４のときの検出感度γを実線で示している。図８では、位置０の赤外線検出画素の検出感度γを“１００％”として規格化している。

図８に示すように、赤外線検出画素の検出感度γは、受光面の中心で最も高くなり、受光面の端部に近づくにしたがって低下していく。また、検出感度γの低下度合はＦ値によって異なる。

したがって、受光面の中心にある赤外線検出画素から出力された画素信号値については、図２に示した関係となるが、受光面の周辺にある赤外線検出画素から出力された画素信号値については図２に示した関係にはならない。

図９は、位置“Ｌ”又は“Ｒ”の赤外線検出画素から出力された画素信号値を説明するための図である。

図９において、符号３１ａは、Ｆ値＝Ｆ１の状態で撮像して得られた画素信号値を示す。符号３２ａは、Ｆ値＝Ｆ１．４の状態で撮像して得られた画素信号値を示す。図９では、図２に示した画素信号値３１，３２を破線で示している。

図２に示した関係から、画素信号値３２ａの信号成分ＳＧは、画素信号値３１ａの信号成分ＳＧより減少する。しかし、図８に示した関係により、その減少幅は受光面の中心にある赤外線検出画素と比較して小さくなる。

したがって、この受光面上での位置の違いに起因する、第一の撮像画像データの画素信号値の信号成分ＳＧと第二の撮像画像データの画素信号値の信号成分ＳＧの比の違いを考慮して、ＦＰＮを算出することが好ましい。

図２に示す関係と、図６に示す関係と、図８に示す関係は既知である。このため、ＦＰＮ算出部１９は、図２、図６、及び図８に示すデータを参照し、第一の撮像画像データの画素信号値の信号成分ＳＧと第二の撮像画像データの画素信号値の信号成分ＳＧを同じにするための係数を受光面上での赤外線検出画素の位置に応じた値に設定する。

ＦＰＮ算出部１９は、設定した係数を第一の撮像画像データの画素信号値の信号成分ＳＧと第二の撮像画像データの画素信号値の信号成分ＳＧの少なくとも一方に乗算する。

ＦＰＮ算出部１９は、乗算後の第一の撮像画像データの画素信号値の信号成分ＳＧと第二の撮像画像データの画素信号値の信号成分ＳＧの差からＦＰＮ成分Ｃ_ｆｐｎを算出する。

このようにすることで、より正確にＦＰＮを算出することができ、画質向上を図ることができる。

以上説明してきたＦＰＮ算出方法を、数式を用いてより具体的に説明する。

撮像画像データの座標（ｘ，ｙ）における画素信号値のうち、被写体から放射される赤外線量に対応する成分のデジタル値をＳ_ｏｂｊ（ｘ，ｙ）とする。

撮像画像データの座標（ｘ，ｙ）における画素信号値のうち、ＦＰＮ成分のデジタル値をＣ_ｆｐｎ（ｘ，ｙ）とする。

任意のＦ値における図２に示した赤外線透過率αをα（Ｆ）とする。α（Ｆ）はメインメモリ１６に記憶されるデータである。

撮像画像データの座標（ｘ，ｙ）における画素信号値のうち、任意のＦ値及び絞り２の温度がＴのときにおける絞り２から放射される赤外線量に対応する画素信号値をβ（ｘ，ｙ，Ｆ，Ｔ）とする。β（ｘ，ｙ，Ｆ，Ｔ）は、予め実験的に求めておいてメインメモリ１６に記録されるデータである。

任意のＦ値の状態での赤外線検出画素の受光面における座標（ｘ，ｙ）の検出感度γをγ（ｘ，ｙ，Ｆ）とする。γ（ｘ，ｙ，Ｆ）は、実験的に求めておき、メインメモリ１６に記憶しておくデータである。

撮像画像データの座標（ｘ，ｙ）における画素信号値のデジタル値をＯｕｔ（ｘ，ｙ）とする。

以上のように設定すると、Ｏｕｔ（ｘ，ｙ）は以下の式（１）で表される。

・・・（１）

したがって、Ｆ値＝Ｆ１のときのＯｕｔ（ｘ，ｙ）_Ｆ１は以下の式（２）で表され、Ｆ値＝Ｆ１．４のときのＯｕｔ（ｘ，ｙ）_Ｆ１．４は以下の式（３）で表される。

・・・（２）

・・・（３）

式（２）は、両辺をα（Ｆ１）×γ（ｘ，ｙ，Ｆ１）で割ると、以下の式（４）に変形できる。

・・・（４）

式（３）は、両辺をα（Ｆ１．４）×γ（ｘ，ｙ，Ｆ１．４）で割ると、以下の式（５）に変形できる。

・・・（５）

式（５）から式（４）を引くと、式（６）となる。

・・・（６）

式（６）をＣ_ｆｐｎ（ｘ，ｙ）について解くと、式（７）となる。

・・・（７）

式（７）における全ての数値は既知であるため、ＦＰＮ成分Ｃ_ｆｐｎ（ｘ，ｙ）を算出することができる。

式（７）における｛１／α（Ｆ１．４）×γ（ｘ，ｙ，Ｆ１．４）｝と、｛１／α（Ｆ１）×γ（ｘ，ｙ，Ｆ１）｝が、Ｆ値＝Ｆ１とＦ値＝Ｆ１．４との差に応じた係数であり、Ｆ値を変えて取得した２つの画素信号値に含まれるＳ_ｏｂｊ（ｘ，ｙ）を同じにするための係数となる。

式（７）において、γ（ｘ，ｙ，Ｆ）を“１”とし、β（ｘ，ｙ，Ｆ，Ｔ）を“０”とした場合の処理が、図２で説明したものである。また、式（７）において、γ（ｘ，ｙ，Ｆ）を“１”とした場合の処理が、図７で説明したものである。

ここまでは、動画撮像時におけるＦＰＮの算出方法について説明してきた。以下では、ユーザからの指示等に応じて撮像素子３により被写体を１回撮像し、この撮像によって得られる撮像画像データを処理して得た記録用データを記録媒体２１に記録する静止画撮像モードの動作について説明する。

静止画撮像モードでは、デジタル信号処理部１７が、絞り２のＦ値を変えて取得した複数の撮像画像データを合成して１つの撮像画像データを生成し、この撮像画像データから記録用データを生成して記録媒体２１に記録する。

図１０は、撮像素子３の各赤外線検出画素から出力される画素信号値の被写体温度に対する変化（赤外線検出画素の出力応答特性）を示す図である。

図１０において、符号１０１は、Ｆ値＝Ｆ１の状態での各赤外線検出画素の出力応答特性を示す。符号１０２は、Ｆ値＝Ｆ１．４の状態での各赤外線検出画素の出力応答特性を示す。

出力応答特性１０１と出力応答特性１０２は、いずれも、絞り２から放射された赤外線に応じた信号成分（上記のβ（ｘ，ｙ，Ｆ，Ｔ））を除いた画素信号値を示している。

Ｆ値＝Ｆ１の状態では、被写体から多くの赤外線が撮像素子３に入射する。したがって、被写体温度に対する画素信号値の変化は急峻となる。

図１０の例では、Ｆ値＝Ｆ１の状態において、２０℃以上の被写体に対しては画素信号値が飽和する。このため、２０℃未満の被写体については、Ｓ／Ｎ比（信号対雑音比）が高い状態で撮像できるものの、２０℃以上の被写体については正確に撮像することができない。

一方、Ｆ値＝Ｆ１．４の状態では、Ｆ値＝Ｆ１のときと比較して撮像素子３に入射する赤外線量が減少する。したがって、被写体温度に対する画素信号値の変化は緩やかとなる。

図１０の例では、Ｆ値＝Ｆ１．４の状態において、８０℃未満の被写体に対しては画素信号値が飽和しない。つまり、８０℃未満の被写体像を正確に撮像することはできるが、２０℃未満の被写体については画素信号値が小さくなるため、Ｓ／Ｎ比が悪化する。

図１０において、Ｆ値＝Ｆ１のときの赤外線検出画素が飽和レベルに達する温度（＝２０℃）を飽和温度と言う。また、Ｆ値＝Ｆ１．４のときの赤外線検出画素が飽和レベルに達する温度（＝８０℃）を飽和温度と言う。

このように、絞り２のＦ値を変えると、正確に撮像することのできる被写体の上限温度（飽和温度）が変わる。

Ｆ値＝Ｆ１にした状態で得られた座標位置（ｘ，ｙ）の画素信号値をＯｕｔ（ｘ，ｙ，Ｆ１）とし、Ｆ値＝Ｆ１．４にした状態で得られた座標位置（ｘ，ｙ）の画素信号値をＯｕｔ（ｘ，ｙ，Ｆ２）とする。この設定のもと、デジタル信号処理部１７は、以下の式（８）の演算を行って、画素信号値Ｄ（ｘ，ｙ）を生成する。

Ｄ（ｘ，ｙ）＝｛Ｏｕｔ（ｘ，ｙ，Ｆ１）−β（ｘ，ｙ，Ｆ１，Ｔ）｝×ａ＋｛Ｏｕｔ（ｘ，ｙ，Ｆ１．４）−β（ｘ，ｙ，Ｆ１．４，Ｔ）｝×ｂ
・・・（８）

図１１は、式（８）の演算係数ａの一例を示す図である。図１１に示すように、演算係数ａは、被写体温度が２０℃未満の範囲では、出力応答特性１０１に反比例する値となっている。また、演算係数ａは、被写体温度が２０℃以上の範囲では、被写体温度に関わらず“０”となっている。被写体温度が０℃のときの演算係数ａは、図１０における被写体温度＝２０℃のときの出力応答特性１０１の画素信号値と出力応答特性１０２の画素信号値との比である“０．２５”となっている。

図１２は、式（８）の演算係数ｂの一例を示す図である。図１２に示すように、演算係数ｂは、被写体温度が２０℃未満の範囲では出力応答特性１０１に比例する値となっている。また、演算係数ｂは、被写体温度が２０℃以上の範囲では、被写体温度に関わらず“１”となっている。また、被写体温度が０℃のときの演算係数ｂは“０”となっている。

演算係数ａは、Ｆ値＝Ｆ１のときの出力応答特性１０１（被写体温度と前記撮像素子の各赤外線検出画素から出力される画素信号値との関係を示す情報）に応じた係数である。

演算係数ａは、Ｆ値＝Ｆ１．４のときの出力応答特性１０２（被写体温度と前記撮像素子の各赤外線検出画素から出力される画素信号値との関係を示す情報）に応じた係数である。

式（８）の演算を行って得られる撮像画像データは、図１３の符号１３０で示す出力応答特性を持つ赤外線検出画素によって被写体を撮像して得られたものと等価となる。

符号１３０で示す出力応答特性と、図１０の出力応答特性１０２は同じになる。しかし、式（８）の演算の結果、被写体温度が２０℃以下の範囲では、被写体温度が低いほど、合成後の画素信号値Ｄ（ｘ，ｙ）において、｛Ｏｕｔ（ｘ，ｙ，Ｆ１）−β（ｘ，ｙ，Ｆ１，Ｔ）｝の占める割合が高くなる。

｛Ｏｕｔ（ｘ，ｙ，Ｆ１）−β（ｘ，ｙ，Ｆ１，Ｔ）｝は、信号成分が相対的に多くなっており、Ｓ／Ｎ比が、｛Ｏｕｔ（ｘ，ｙ，Ｆ１．４）−β（ｘ，ｙ，Ｆ１．４，Ｔ）｝よりも良い。したがって、図１３の符号１３０で示す出力応答特性を持つ赤外線検出画素によって被写体を撮像することで、２０℃未満の低温の被写体については、各画素信号値を飽和させることなく、かつ、Ｆ値＝Ｆ１．４のときよりもＳ／Ｎ比を向上させた状態で撮像を行うことができる。

また、２０℃以上８０℃未満の温度範囲の被写体についても、各画素信号値を飽和させることなく撮像することができる。このため、低温被写体と高温被写体が混在するシーンであっても、撮像品質を向上させることができる。

以上の説明では、撮像素子３に含まれる赤外線検出画素毎に、Ｆ値を変えて取得した複数の画素信号値を演算係数ａ，ｂによって重み付け加算する処理を行うことで、１つの撮像画像データを生成するものとした。

この変形例として、デジタル信号処理部１７は、Ｆ値を変えて取得した複数の撮像画像データの各々から、絞り２から放射される赤外線に応じたデータを減算する。デジタル信号処理部１７は、減算して得た複数の撮像画像データから非飽和部分を切り出し、切り出した部分を継ぎ合わせることで１つの撮像画像データを生成する。

図１４は、図１の赤外線撮像装置によって撮像する被写体の一例を示す図である。図１４には、物体１４０，１４１，１４２を含む被写体が例示されている。図１４において、物体１４０と物体１４１の温度は同程度であり、物体１４２の温度は、物体１４０，１４１よりも高いものとする。

図１５（ａ），（ｂ）は、絞り２のＦ値を２つの値で変えて図１４の被写体を撮像して得た撮像画像データを示す図である。

図１５（ａ）は、例えばＦ値＝Ｆ１で撮像して得た撮像画像データ１５１を示す。図１５（ｂ）は、例えばＦ値＝Ｆ１．４で撮像して得た撮像画像データ１５２を示す。

図１５（ａ），（ｂ）において、符号１４２ａは、図１４の被写体１４２に対応するデータである。符号１４０ａは、図１４の被写体１４０に対応するデータである。符号１４１ａは、図１４の被写体１４１に対応するデータである。

図１５（ａ），（ｂ）の例では、Ｆ値＝Ｆ１において画像データ部分１４２ａの各画素信号値は飽和レベルに達しているが、Ｆ値＝Ｆ１．４において画像データ部分１４２ａの各画素信号値は飽和レベル未満となっている。

また、Ｆ値＝Ｆ１，Ｆ値＝Ｆ１．４において、画像データ部分１４０ａ，１４１ａの各画素信号値はいずれも飽和レベル未満である。そして、Ｆ値＝Ｆ１．４における画像データ部分１４０ａ，１４１ａの各画素信号値のレベルは、Ｆ値＝Ｆ１における画像データ部分１４０ａ，１４１ａの各画素信号値のレベルよりも小さくなっている。

図１５（ａ），（ｂ）の例において、デジタル信号処理部１７は、撮像画像データ１５１から、画素信号値が飽和レベルに達している画像データ部分１４２ａを検出し、撮像画像データ１５１から画像データ部分１４２ａ以外の部分を切り出す。

デジタル信号処理部１７は、この切り出した部分の各画素信号値から、撮像画像データ１５１の取得時のＦ値及び温度検出部４により検出された絞り２の温度に基づく、絞り２から放射される赤外線量に応じた信号値（上記のβ（ｘ，ｙ，Ｆ１，Ｔ））を減算して、第一のトリミングデータを生成する。

次に、デジタル信号処理部１７は、撮像画像データ１５２において、上記検出した画像データ部分と対応する画像データ部分の各画素信号値を飽和レベルと比較し、各画素信号値が飽和レベル未満か否かを判定する。デジタル信号処理部１７は、各画素信号値が飽和レベル未満であれば、この画像データ部分を撮像画像データ１５２から切り出す。

デジタル信号処理部１７は、この切り出した部分の各画素信号値から、撮像画像データ１５２の取得時のＦ値及び温度検出部４により検出された絞り２の温度に基づく、絞り２から放射される赤外線量に応じた信号値（上記のβ（ｘ，ｙ，Ｆ１．４，Ｔ））を減算して、第二のトリミングデータを生成する。

そして、デジタル信号処理部１７は、第一のトリミングデータと第二のトリミングデータを継ぎ合わせることで、２つの撮像画像データ１５１，１５２を合成し、図１６に示す合成画像データ１５５を生成する。デジタル信号処理部１７は、合成画像データ１５５を処理して記録用データを得る。

以上のように、Ｆ値を変えて取得した複数の撮像画像データにおいて画素信号値が飽和レベルに達している物体部分を含む撮像画像データ（撮像画像データ（１）とする）が存在する場合、デジタル信号処理部１７は、この物体部分と対応しかつ画素信号値が飽和レベル未満である物体部分を含み、かつ、取得時のＦ値が最小となる撮像画像データを複数の撮像画像データの中から特定する。

そして、デジタル信号処理部１７は、撮像画像データ（１）の上記物体部分を、上記特定した撮像画像データに含まれる上記物体部分のデータで置き換える。このようにすることで、低温被写体と高温被写体が混在するシーンであっても、両者を正確に撮像した合成画像データを得ることができる。

なお、デジタル信号処理部１７は、Ｆ値を変えて取得した複数の撮像画像データにおいて、画素信号値が飽和レベルに達している物体部分を含む撮像画像データが存在しない場合には、取得時のＦ値が最小となる撮像画像データを処理して、記録用データを生成すればよい。

また、図１５（ａ），（ｂ）の例では、Ｆ値を変えて２回の撮像を行う場合を説明したが、Ｆ値を変えて３回以上の撮像を行ってもよい。

例えば、Ｆ値＝Ｆ１で得た撮像画像データに飽和している物体部分が２箇所あり、この２箇所の一方はＦ値＝Ｆ１．４でも飽和しているがＦ値＝Ｆ２では飽和していないようなケースが考えられる。

このケースでは、Ｆ値＝Ｆ１で得た撮像画像データの２箇所の物体部分を、Ｆ値＝Ｆ１．４で得た撮像画像データに含まれる物体部分と、Ｆ値＝Ｆ２で得た撮像画像データに含まれる物体部分とで置き換えればよい。

なお、静止画撮像モードにおいては、上述したようにＦ値を変えて複数回の撮像を行うため、この複数回の撮像で得た複数の撮像画像データを用いた前述したＦＰＮ算出処理を行うことが可能である。デジタル信号処理部１７は、このＦＰＮ算出処理で得られたＦＰＮデータを、上記合成画像データから減算することでＦＰＮ補正を行えばよい。

本実施形態のＦＰＮ算出部１９及びデジタル信号処理部１７が行う各ステップをコンピュータに実行させるためのプログラムとして提供することもできる。このようなプログラムは、このプログラムをコンピュータが読取可能な一時的でない（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）記録媒体に記録される。

このような「コンピュータ読取可能な記録媒体」は、たとえば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−ＲＯＭ）等の光学媒体や、メモリカード等の磁気記録媒体等を含む。また、このようなプログラムを、ネットワークを介したダウンロードによって提供することもできる。

以上説明してきたように、本明細書には以下の事項が開示されている。

開示された赤外線撮像装置は、二次元状に配置された複数の赤外線検出画素を含む撮像素子と、上記撮像素子よりも被写体側に配置された絞りと、上記絞りの温度を検出する温度検出部と、上記絞りのＦ値を複数の値にした状態で上記撮像素子により撮像して得られる複数の撮像画像データの各々の少なくとも一部から、上記各々の取得時におけるＦ値及び上記温度検出部により検出された温度に基づく上記絞りから放射される赤外線量に応じた信号値を減算し、上記減算後の上記複数の撮像画像データを合成して合成画像データを生成する画像処理部と、を備えるものである。

開示された赤外線撮像装置は、上記画像処理部は、上記複数の撮像画像データのうち、画素信号値が飽和レベルに達している物体部分を含む撮像画像データの上記物体部分以外の部分から上記信号値を減算して得た部分と、上記複数の撮像画像データの中から特定される、上記物体部分と対応しかつ画素信号値が飽和レベル未満である物体部分を含み、かつ、取得時のＦ値が最小となる撮像画像データにおける上記物体部分から上記信号値を減算して得た部分とを継ぎ合わせて、上記合成画像データを生成するものである。

開示された赤外線撮像装置は、上記画像処理部は、上記複数の撮像画像データの各々の各画素信号値から上記信号値を減算し、上記減算後の複数の撮像画像データの各々の各画素信号値に、上記各々の取得時におけるＦ値によって決まる被写体温度と上記撮像素子の各赤外線検出画素から出力される画素信号値との関係を示す情報に応じた係数を乗算し、上記乗算後の各画素信号値を上記複数の撮像画像データで加算して上記合成画像データを生成するものである。

開示された赤外線撮像装置は、上記複数の撮像画像データは、上記絞りのＦ値を第一の値にした状態で上記撮像素子により撮像して得られる第一の撮像画像データと、上記絞りのＦ値を第二の値にした状態で上記撮像素子により撮像して得られる第二の撮像画像データとを含み、上記第一の撮像画像データと上記第二の撮像画像データと上記第一の値及び上記第二の値とに基づいて、上記撮像素子により撮像して得られる撮像画像データに含まれる固定パターンノイズを算出する固定パターンノイズ算出部を更に備えるものである。

開示された赤外線撮像装置は、上記固定パターンノイズ算出部は、上記第一の撮像画像データ及び上記第二の撮像画像データの各々において任意の座標位置にある２つの画素信号値の少なくとも一方に上記第一の値と上記第二の値の差に応じた係数を乗算し、上記乗算後の上記２つの画素信号値の差分を用いて上記任意の座標位置における固定パターンノイズを算出するものである。

開示された赤外線撮像装置は、上記固定パターンノイズ算出部は、上記第一の撮像画像データと、上記第二の撮像画像データと、上記第一の値及び上記第二の値と、上記温度検出部により検出された上記絞りの温度と、に基づいて上記固定パターンノイズを算出するものである。

開示された赤外線撮像装置は、上記固定パターンノイズ算出部は、上記第一の撮像画像データ及び上記第二の撮像画像データの各々において任意の座標位置にある２つの画素信号値の少なくとも一方に、上記第一の値と上記第二の値の差及び上記温度検出部により検出された温度に応じた係数を乗算し、上記乗算後の上記２つの画素信号値の差分を用いて上記任意の座標位置における固定パターンノイズを算出するものである。

開示された赤外線撮像装置は、上記固定パターンノイズ算出部は、上記係数として上記赤外線検出画素の位置に応じて異なる値を用いるものである。

開示された赤外線撮像装置の画像処理方法は、二次元状に配置された複数の赤外線検出画素を含む撮像素子と、上記撮像素子よりも被写体側に配置された絞りと、上記絞りの温度を検出する温度検出部と、を有する赤外線撮像装置による画像処理方法であって、上記絞りのＦ値を複数の値にした状態で上記撮像素子により撮像して得られる複数の撮像画像データの各々の少なくとも一部から、上記各々の取得時におけるＦ値及び上記温度検出部により検出された温度に基づく上記絞りから放射される赤外線量に応じた信号値を減算し、上記減算後の上記複数の撮像画像データを合成して合成画像データを生成する画像処理ステップを備えるものである。

開示された赤外線撮像装置の画像処理方法は、上記画像処理ステップでは、上記複数の撮像画像データのうち、画素信号値が飽和レベルに達している物体部分を含む撮像画像データの上記物体部分以外の部分から上記信号値を減算して得た部分と、上記複数の撮像画像データの中から特定される、上記物体部分と対応しかつ画素信号値が飽和レベル未満である物体部分を含み、かつ、取得時のＦ値が最小となる撮像画像データにおける上記物体部分から上記信号値を減算して得た部分とを継ぎ合わせて、上記合成画像データを生成するものである。

開示された赤外線撮像装置の画像処理方法は、上記画像処理ステップでは、上記複数の撮像画像データの各々の各画素信号値から上記信号値を減算し、上記減算後の複数の撮像画像データの各々の各画素信号値に、上記各々の取得時におけるＦ値によって決まる被写体温度と上記撮像素子の各赤外線検出画素から出力される画素信号値との関係を示す情報に応じた係数を乗算し、上記乗算後の各画素信号値を上記複数の撮像画像データで加算して上記合成画像データを生成するものである。

開示された赤外線撮像装置の画像処理方法は、上記複数の撮像画像データは、上記絞りのＦ値を第一の値にした状態で上記撮像素子により撮像して得られる第一の撮像画像データと、上記絞りのＦ値を第二の値にした状態で上記撮像素子により撮像して得られる第二の撮像画像データとを含み、上記第一の撮像画像データと上記第二の撮像画像データと上記第一の値及び上記第二の値とに基づいて、上記撮像素子により撮像して得られる撮像画像データに含まれる固定パターンノイズを算出する固定パターンノイズ算出ステップを更に備えるものである。

開示された赤外線撮像装置の画像処理方法は、上記固定パターンノイズ算出ステップでは、上記第一の撮像画像データ及び上記第二の撮像画像データの各々において任意の座標位置にある２つの画素信号値の少なくとも一方に上記第一の値と上記第二の値の差に応じた係数を乗算し、上記乗算後の上記２つの画素信号値の差分を用いて上記任意の座標位置における固定パターンノイズを算出するものである。

開示された赤外線撮像装置の画像処理方法は、上記固定パターンノイズ算出ステップでは、上記第一の撮像画像データと、上記第二の撮像画像データと、上記第一の値及び上記第二の値と、上記温度検出部により検出された上記絞りの温度と、に基づいて上記固定パターンノイズを算出するものである。

開示された赤外線撮像装置の画像処理方法は、上記固定パターンノイズ算出ステップでは、上記第一の撮像画像データ及び上記第二の撮像画像データの各々において任意の座標位置にある２つの画素信号値の少なくとも一方に、上記第一の値と上記第二の値の差及び上記温度検出部により検出された温度に応じた係数を乗算し、上記乗算後の上記２つの画素信号値の差分を用いて上記任意の座標位置における固定パターンノイズを算出するものである。

開示された赤外線撮像装置の画像処理方法は、上記固定パターンノイズ算出ステップでは、上記係数として上記赤外線検出画素の位置に応じて異なる値を用いるものである。

開示された画像処理プログラムは、二次元状に配置された複数の赤外線検出画素を含む撮像素子と、上記撮像素子よりも被写体側に配置された絞りと、上記絞りの温度を検出する温度検出部と、を有する赤外線撮像装置に、上記絞りのＦ値を複数の値にした状態で上記撮像素子により撮像して得られる複数の撮像画像データの各々の少なくとも一部から、上記各々の取得時におけるＦ値及び上記温度検出部により検出された温度に基づく上記絞りから放射される赤外線量に応じた信号値を減算し、上記減算後の上記複数の撮像画像データを合成して合成画像データを生成する画像処理ステップを実行させるためのプログラムである。

本発明は、特に車載用のカメラ等に適用して利便性が高く、有効である。

本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
本出願は、２０１４年９月３０日出願の日本特許出願（特願２０１４−２０００７６）に基づくものであり、その内容はここに参照として取り込まれる。

２ 絞り
３ 撮像素子
４ 温度検出部
１１ システム制御部
１７ デジタル信号処理部（画像処理部）
１９ ＦＰＮ算出部

Claims (17)

1. 二次元状に配置された複数の赤外線検出画素を含む撮像素子と、
   前記撮像素子よりも被写体側に配置された絞りと、
   前記絞りの温度を検出する温度検出部と、
   前記絞りのＦ値を複数の値にした状態で前記撮像素子により撮像して得られる複数の撮像画像データの各々の少なくとも一部から、前記各々の取得時におけるＦ値及び前記温度検出部により検出された温度に基づく前記絞りから放射される赤外線量に応じた信号値を減算し、前記減算後の前記複数の撮像画像データを合成して合成画像データを生成する画像処理部と、を備える赤外線撮像装置。
2. 請求項１記載の赤外線撮像装置であって、
   前記画像処理部は、前記複数の撮像画像データのうち、画素信号値が飽和レベルに達している物体部分を含む撮像画像データの前記物体部分以外の部分から前記信号値を減算して得た部分と、前記複数の撮像画像データの中から特定される、前記物体部分と対応しかつ画素信号値が飽和レベル未満である物体部分を含み、かつ、取得時のＦ値が最小となる撮像画像データにおける前記物体部分から前記信号値を減算して得た部分とを継ぎ合わせて、前記合成画像データを生成する赤外線撮像装置。
3. 請求項１記載の赤外線撮像装置であって、
   前記画像処理部は、前記複数の撮像画像データの各々の各画素信号値から前記信号値を減算し、前記減算後の複数の撮像画像データの各々の各画素信号値に、前記各々の取得時におけるＦ値によって決まる被写体温度と前記撮像素子の各赤外線検出画素から出力される画素信号値との関係を示す情報に応じた係数を乗算し、前記乗算後の各画素信号値を前記複数の撮像画像データで加算して前記合成画像データを生成する赤外線撮像装置。
4. 請求項１〜３のいずれか１項記載の赤外線撮像装置であって、
   前記複数の撮像画像データは、前記絞りのＦ値を第一の値にした状態で前記撮像素子により撮像して得られる第一の撮像画像データと、前記絞りのＦ値を第二の値にした状態で前記撮像素子により撮像して得られる第二の撮像画像データとを含み、
   前記第一の撮像画像データと前記第二の撮像画像データと前記第一の値及び前記第二の値とに基づいて、前記撮像素子により撮像して得られる撮像画像データに含まれる固定パターンノイズを算出する固定パターンノイズ算出部を更に備える赤外線撮像装置。
5. 請求項４記載の赤外線撮像装置であって、
   前記固定パターンノイズ算出部は、前記第一の撮像画像データ及び前記第二の撮像画像データの各々において任意の座標位置にある２つの画素信号値の少なくとも一方に前記第一の値と前記第二の値の差に応じた係数を乗算し、前記乗算後の前記２つの画素信号値の差分を用いて前記任意の座標位置における固定パターンノイズを算出する赤外線撮像装置。
6. 請求項４記載の赤外線撮像装置であって、
   前記固定パターンノイズ算出部は、前記第一の撮像画像データと、前記第二の撮像画像データと、前記第一の値及び前記第二の値と、前記温度検出部により検出された前記絞りの温度と、に基づいて前記固定パターンノイズを算出する赤外線撮像装置。
7. 請求項６記載の赤外線撮像装置であって、
   前記固定パターンノイズ算出部は、前記第一の撮像画像データ及び前記第二の撮像画像データの各々において任意の座標位置にある２つの画素信号値の少なくとも一方に、前記第一の値と前記第二の値の差及び前記温度検出部により検出された温度に応じた係数を乗算し、前記乗算後の前記２つの画素信号値の差分を用いて前記任意の座標位置における固定パターンノイズを算出する赤外線撮像装置。
8. 請求項５又は７記載の赤外線撮像装置であって、
   前記固定パターンノイズ算出部は、前記係数として前記赤外線検出画素の位置に応じて異なる値を用いる赤外線撮像装置。
9. 二次元状に配置された複数の赤外線検出画素を含む撮像素子と、前記撮像素子よりも被写体側に配置された絞りと、前記絞りの温度を検出する温度検出部と、を有する赤外線撮像装置による画像処理方法であって、
   前記絞りのＦ値を複数の値にした状態で前記撮像素子により撮像して得られる複数の撮像画像データの各々の少なくとも一部から、前記各々の取得時におけるＦ値及び前記温度検出部により検出された温度に基づく前記絞りから放射される赤外線量に応じた信号値を減算し、前記減算後の前記複数の撮像画像データを合成して合成画像データを生成する画像処理ステップを備える画像処理方法。
10. 請求項９記載の画像処理方法であって、
    前記画像処理ステップでは、前記複数の撮像画像データのうち、画素信号値が飽和レベルに達している物体部分を含む撮像画像データの前記物体部分以外の部分から前記信号値を減算して得た部分と、前記複数の撮像画像データの中から特定される、前記物体部分と対応しかつ画素信号値が飽和レベル未満である物体部分を含み、かつ、取得時のＦ値が最小となる撮像画像データにおける前記物体部分から前記信号値を減算して得た部分とを継ぎ合わせて、前記合成画像データを生成する画像処理方法。
11. 請求項９記載の画像処理方法であって、
    前記画像処理ステップでは、前記複数の撮像画像データの各々の各画素信号値から前記信号値を減算し、前記減算後の複数の撮像画像データの各々の各画素信号値に、前記各々の取得時におけるＦ値によって決まる被写体温度と前記撮像素子の各赤外線検出画素から出力される画素信号値との関係を示す情報に応じた係数を乗算し、前記乗算後の各画素信号値を前記複数の撮像画像データで加算して前記合成画像データを生成する画像処理方法。
12. 請求項９〜１１のいずれか１項記載の画像処理方法であって、
    前記複数の撮像画像データは、前記絞りのＦ値を第一の値にした状態で前記撮像素子により撮像して得られる第一の撮像画像データと、前記絞りのＦ値を第二の値にした状態で前記撮像素子により撮像して得られる第二の撮像画像データとを含み、
    前記第一の撮像画像データと前記第二の撮像画像データと前記第一の値及び前記第二の値とに基づいて、前記撮像素子により撮像して得られる撮像画像データに含まれる固定パターンノイズを算出する固定パターンノイズ算出ステップを更に備える画像処理方法。
13. 請求項１２記載の画像処理方法であって、
    前記固定パターンノイズ算出ステップでは、前記第一の撮像画像データ及び前記第二の撮像画像データの各々において任意の座標位置にある２つの画素信号値の少なくとも一方に前記第一の値と前記第二の値の差に応じた係数を乗算し、前記乗算後の前記２つの画素信号値の差分を用いて前記任意の座標位置における固定パターンノイズを算出する画像処理方法。
14. 請求項１２記載の画像処理方法であって、
    前記固定パターンノイズ算出ステップでは、前記第一の撮像画像データと、前記第二の撮像画像データと、前記第一の値及び前記第二の値と、前記温度検出部により検出された前記絞りの温度と、に基づいて前記固定パターンノイズを算出する画像処理方法。
15. 請求項１４記載の画像処理方法であって、
    前記固定パターンノイズ算出ステップでは、前記第一の撮像画像データ及び前記第二の撮像画像データの各々において任意の座標位置にある２つの画素信号値の少なくとも一方に、前記第一の値と前記第二の値の差及び前記温度検出部により検出された温度に応じた係数を乗算し、前記乗算後の前記２つの画素信号値の差分を用いて前記任意の座標位置における固定パターンノイズを算出する画像処理方法。
16. 請求項１３又は１５記載の画像処理方法であって、
    前記固定パターンノイズ算出ステップでは、前記係数として前記赤外線検出画素の位置に応じて異なる値を用いる画像処理方法。
17. 二次元状に配置された複数の赤外線検出画素を含む撮像素子と、前記撮像素子よりも被写体側に配置された絞りと、前記絞りの温度を検出する温度検出部と、を有する赤外線撮像装置に、前記絞りのＦ値を複数の値にした状態で前記撮像素子により撮像して得られる複数の撮像画像データの各々の少なくとも一部から、前記各々の取得時におけるＦ値及び前記温度検出部により検出された温度に基づく前記絞りから放射される赤外線量に応じた信号値を減算し、前記減算後の前記複数の撮像画像データを合成して合成画像データを生成する画像処理ステップを実行させるための画像処理プログラム。

Images