JP4364728B2 - 赤外線検出器の感度補正機能を有する赤外線撮像装置 - Google Patents

Description

本発明は、赤外線検出器の感度補正機能を有する赤外線撮像装置に関する。赤外線撮像装置は、物体が輻射する赤外線エネルギーを赤外線レンズで集光し、赤外線検知器で検出し、その電気出力（電圧又は電流）値をディジタル信号に変換し、信号処理回路を経てビデオモニタ上に映像として映し出す。本発明は赤外線検出器の素子のバラツキによる画像品質の低下を改善する感度補正機能を有する赤外線撮像装置に関する。

通常、赤外線検知器は複数の光電変換素子を有し、光電変換素子は素子毎の感度特性が異なるため、同じ温度の物体を撮像した場合、各光電変換素子の電気出力値はバラツキによって異なるものとなる。この電気出力値を基にそのまま映像化すると、素子毎のバラツキが固定パターンノイズとなって現れる。

このため、各光電変換素子の電気出力に対して素子毎の感度補正係数を乗じる等の感度補正処理を行い、同じ温度の物体を撮像した場合に、同じ電気出力が得られるよう、各光電変換素子の特性を均一化する処理を行うことにより映像品質を向上させている。また、上述の感度補正係数を算出する際には、各光電変換素子の電気出力の時間的に異なる複数の出力値を積分・平均化する処理を行うことにより、雑音成分の影響を除去している。

従来の赤外線撮像装置の機能ブロックを図８に示す。図８において、１はレンズ、２は赤外線検知器、３はアナログ／ディジタル変換部、４は校正データ算出部、４１は生データ蓄積部、４２はフレームメモリ、４３は校正データ演算部、５は校正データメモリ、６は補正演算部、７はビデオエンコーダ、８はビデオモニタである。

レンズ１により赤外線を集光し、赤外線検知器２により赤外線を電気信号に変換し、アナログ／ディジタル変換部３により映像信号をディジタル化する。ディジタル化された映像信号データは、校正データ算出部４の生データ蓄積部４１に入力され、外部から入力される校正データ更新指令によって指定されるフレーム枚数分の映像信号データをフレームメモリ４２に格納する。

校正データ演算部４３は、補正係数を算出する積分フレーム数をｎ、フレーム番号をｆ、１フレームを構成する画素数をｐ、素子番号をｉ、Ｄ（ｆ）ｉをフレーム番号ｆの素子番号ｉにおける画像データとすると、以下の式１を用いて各画素の画像データの加算を求める。

また、以下の式２を用いて、画素毎の加算された画素データを全ての画素について加算し、１フレームを構成する画素数ｐ及び加算したフレーム数ｎで除し、画面平均値ＭＥＡＮを求める。

最後に下式３のとおり、画面平均値ＭＥＡＮから各画素の平均値を減算し、オフセット補正係数を求める。

校正データメモリ５は、上記式３により算出したオフセット補正係数を格納する。補正演算部６は、各画素についてディジタル化された映像信号データに、校正データメモリ５から読み出した画素毎のオフセット補正係数を加算して感度補正処理を行う。該感度補正処理後の映像信号データをビデオモニタ８に送出することにより、ビデオモニタ８には、各画像素子のバラツキが除去された品質の高い映像が表示される。

本発明に関連する先行技術文献として、赤外線検出器の感度補正機能を備えた赤外線撮像装置に関し、下記の文献に記載されている。
特開平８−９２５６号公報 特開平７−２５５０１４号公報

従来の補正係数の算出において、各光電変換素子の時間的に異なる複数の電気出力を積分・平均化処理することにより、雑音成分の影響を排除していた。この従来の補正係数の算出では、一時的な大きい雑音成分の入力に対して、この雑音成分の影響が殆ど除去されるようになるまで十分長い時間積分を行う必要があるため、補正係数の算出に長時間を要していた。

本発明は、従来と同様に雑音成分の影響を排除するとともに、補正係数の算出に要する時間を短縮し、また、補正係数算出における積分処理に必要なメモリ容量を削減し得る感度補正機能を有する赤外線撮像装置を提供することを目的とする。

本発明の赤外線撮像装置は、（１）赤外線を電気に変換する赤外線検知器の光電変換素子の感度補正機能を備えた赤外線撮像装置において、前記光電変換素子の映像信号をディジタル化した映像信号データに対して、画素毎に時間的に異なる第１の所定数のフレームの映像信号データの間で大小比較を行い、その中から中間値の映像信号データを抽出する中間値算出手段と、前記中間値算出手段から出力される中間値を、第２の所定数のフレームに亘って平均化する中間値平均化手段と、前記中間値平均化手段から得られた中間値平均値に基づいて、前記画素毎の映像信号データに対する補正係数を算出する補正係数算出手段と、を備えたものである。

また、（２）前記光電変換素子の映像信号をディジタル化した映像信号データに対して、画素毎に時間的に異なる少なくとも３フレームの映像信号データの間で大小比較を行い、その中から中間値の映像信号データを抽出するメディアンフィルタと、前記メディアンフィルタから出力される時間的に異なる中間値を平均化する中間値平均化手段と、前記中間値平均化手段から得られた中間値平均値に基づいて、前記画素毎の映像信号データに対する補正係数を算出する補正係数算出手段と、を備えたものである。

また、（３）前記光電変換素子の映像信号をディジタル化した映像信号データに対して、画素毎に時間的に異なる所定数のフレームの映像信号データの間で大小比較を行い、その中から最大値及び最小値を除いた映像信号データについて積分処理を行うフレーム積分手段と、前記フレーム積分手段から出力される映像信号データ積分値から画素毎の平均値を算出する平均化手段と、前記平均化手段から得られた平均値に基づいて、前記画素毎の映像信号データに対する補正係数を算出する補正係数算出手段と、を備えたものである。

本発明によれば、画素毎に時間的に異なるフレームの映像信号データの間で大小比較を行い、その中から中間値の映像信号データを抽出し、該中間値の映像信号データを所定数のフレームに亘って平均化することにより、一時的な大きい雑音成分が除去して平均化するため、雑音成分の影響を排除するための積分・平均化処理に必用なフレーム数を従来より少なくすることができ、補正係数の算出を従来より短時間で行うことができる。

また、画素毎の映像信号データに対して、時間的に異なるフレームの映像信号データの中から最大値及び最小値を除いた映像信号データについて積分処理を行い、該積分値から画素毎の平均値を算出することにより、雑音成分の影響を排除するための積分・平均化処理に必用なフレーム数を従来より少なくすることができるため、補正係数の算出時間を短縮するとともに、各画素の映像信号データを全画素に亘ってフレーム毎に記憶するフレームメモリの個数を減らすことができ、メモリ容量を削減することができる。

図１に本発明による赤外線撮像装置の第１の実施形態の機能ブロックを示す。同図において、１はレンズ、２は赤外線検知器、３はアナログ／ディジタル変換部、４は校正データ算出部、４１は生データ蓄積部、４２はフレームメモリ、４４はデータ処理／校正データ演算部、５は校正データメモリ、６は補正演算部、７はビデオエンコーダ、８はビデオモニタである。

レンズ１により赤外線を集光し、赤外線検知器２により赤外線を電気信号に変換し、アナログ／ディジタル変換部３により映像信号をディジタル化する。ディジタル化された映像信号データは、校正データ算出部４の生データ蓄積部４１に入力され、校正データ更新指令によって指定されるフレーム枚数分の映像信号データをフレームメモリ４２に格納する。

データ処理／校正演算部４４は、各画素について時間的に異なる第１の所定数のフレームの映像信号データの値を比較し、その中から中間値を算出する。次に画素毎に算出された中間値を第２の所定数のフレームに亘って加算し、各画素の中間値処理後の平均値を求める。また、該中間値処理後の平均値を全画素について加算し、１フレームを構成する画素数で除算し、画面平均値を求める。最後に画面平均値から各画素の平均値を減算して補正係数を求める。

校正データメモリ５は、上記により算出した補正係数を格納する。補正演算部６は、各画素についてディジタル化された映像信号データに、校正データメモリ５から読み出した補正係数を加算し、感度補正を行う。該感度補正処理後の映像信号データをビデオモニタ８に送出することにより、ビデオモニタ８には、各画像素子のバラツキが除去された品質の高い映像が表示される。なお、データ処理／校正演算部４４は、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）等を用いて上記の演算を行う構成とすることができる。

図１のデータ処理／校正演算部４４における補正器係数の算出を式で表すと以下のとおりである。ここで、補正係数を算出する積分フレーム数をｎ、フレーム番号をｆ、１フレームを構成する画素数をｐ、素子番号をｉ、Ｄ（ｆ）ｉをフレーム番号ｆの素子番号ｉにおける画像データとする。

なお、図１のデータ処理／校正演算部４４において、従来の補正係数の算出に対して追加された演算は上記式４．１の演算である。

図２に本発明による赤外線撮像装置の第２の実施形態の機能ブロックを示す。図２において、アナログ／ディジタル変換部３によりディジタル化された映像信号データは、メディアンフィルタ４５に入力され、メディアンフィルタ４５は、フレームＦＩＦＯメモリ４６により１フレーム遅延処理及び２フレーム遅延処理を行い、リアルタイム映像信号データと１フレーム遅延データと２フレーム遅延データとの中から中間値を選択し、該中間値をフレーム積分部４７に出力する。

フレーム積分部４７は、メディアンフィルタ４５から出力される中間値を加算する処理を行い、該加算値をフレームメモリ４２に書き込む。なお、フレーム積分部４７での加算処理は、メディアンフィルタ４５から中間値が入力されると、フレームメモリ４２から現在までの加算値を読み出し、該加算値に該中間値を加算して該加算値を再度フレームメモリ４２に書き込む。

校正データ演算部４３は、各画素のｎフレーム分の平均値を算出し、また、各画素の平均値を１フレームの全画素について加算し、該加算値を、１フレームの画素数で除算し、画面平均値を求める。最後に画面平均値から各画素の平均値を減算して補正係数を求める。校正データメモリ５は、上記により算出された補正係数を格納する。補正演算部６は、各画素についてディジタル化された映像信号データに、校正データメモリ５から読み出した補正係数を加算して感度補正を行う。

図３に本発明による赤外線撮像装置の第３の実施形態の機能ブロックを示す。図３において、４００は校正データ算出部、４０１はフレーム積分部、４０２は最大値演算部、４０３は最小値演算部、４０４はフレーム積分メモリ、４０５はフレーム最大値メモリ、４０６はフレーム最小値メモリ、４０７は校正データ演算部である。その他、図１又は図２と同一の符号の構成要素は図１又は図２と同一のものである。

アナログ／ディジタル変換部３によりディジタル化された映像信号データは、校正データ算出部４００のフレーム積分部４０１、最大値演算部４０２及び最小値演算部４０３に入力される。フレーム積分部４０１は入力値の加算処理を行い、該加算値をフレーム積分メモリ４０４に書き込む。

なお、フレーム積分部４０１での加算処理は、映像信号データの入力値が入力される度に、各画素毎のフレーム積分メモリ４０４から各画素の加算値を読み出し、該加算値に該入力値を加算した値を再度フレーム積分メモリ４０４に書き込む処理を行う。

最大値演算部４０２は、各画素において時間的に異なる複数のフレームの画素データの中から最大値を検出し、該最大値をフレーム最大値メモリ４０５に書き込む。また、最小値演算部４０３では、各画素において時間的に異なる複数のフレームの画素データの中から最小値を検出し、該最小値をフレーム最小値メモリ４０６に書き込む。

校正データ演算部４０７は、フレーム積分メモリ４０４から読み出した各画素の積分値から、フレーム最大値メモリ４０５から読み出した最大値、及びフレーム最小値メモリ４０６から読み出した最小値を減算して平均値を算出する。即ち、各画素の積分値から最大値及び最小値を除外した後に平均値を求める。

そして、各画素の平均値データ全てを１フレームの全画素について加算し、該加算値を１フレームの画素数で除算して画面平均値を求める。最後に該画面平均値から各画素の平均値を減算して補正係数を求める。校正データメモリ５は、上記により算出した補正係数を格納する。補正演算部６は、各画素についてディジタル化された映像信号データに、校正データメモリ５から読み出した補正係数を加算して感度補正を行う。

図４に本発明のメディアンフィルタの構成例を示す。メディアンフィルタ４５へは、次の（１）〜（３）の３データが入力される。
（１）アナログ／ディジタル変換部３によりディジタル化された映像信号データのリアルタイムデータ（Ａ）
（２）該リアルタイムデータ（Ａ）をフレームＦＩＦＯメモリ４６１により１フレーム遅延させた１フレーム遅延データ（Ｂ）
（３）該１フレーム遅延データ（Ｂ）をフレームＦＩＦＯメモリ４６２により更に１フレーム遅延させた２フレーム遅延データ（Ｃ）

メディアンフィルタ４５内の第１の比較器４５１によりＡ＞Ｂであるか否かを判定し、第２の比較器４５２によりＡ＞Ｃであるか否かを判定し、第３の比較器４５３によりＢ＞Ｃであるか否かの判定を行う。この３つの比較器４５１，４５２，４５３の比較結果を中間順位判定器４５４に出力する。

中間順位判定器４５４では、図５に示す表の中間順位判定の結果により、中間値の入力線を決定し、その入力線を選択する選択信号をセレクタ４５５に送出する。セレクタ４５５は該選択信号に従って入力線を選択し、セレクタ４５５から中間値データが出力される。なお、セレクタ４５５からの出力は、前述の式４．１のＭＥＤＩＡＮｆｉに相当し、式４．２〜式４．４の算出式により補正係数を算出する。

図６に本発明のフレーム積分部及びフレームメモリの構成例を示す。フレーム積分部は、外部から与えられる校正データ更新指令に基づき、タイミング発生器４７４から出力される一定時間の初期化信号により、セレクタ４７２から出力するデータとして“０”を選択して出力する。これにより、フレームＦＩＦＯメモリ４２内の蓄積データがオールゼロとなるよう初期化される。

次に、生データ（赤外線検知器からの出力をディジタル化した映像信号データ）がセレクタ４７２に入力され、タイミング発生器４７４は生データがセレクタ４７２から出力されるように制御する。セレクタ４７２から出力される生データと、フレームＦＩＦＯメモリ４２から出力されるデータとが加算器４７３により加算され、該加算結果がフレームＦＩＦＯメモリ４２に格納される。該加算を所定フレーム数に亘って行うことにより、積分結果が校正データ演算部へ出力される。

図７に本発明の最大（最小）値演算部とフレーム最大（最小）値メモリの構成例を示す。最大（最小）値演算部は、外部から与えられる校正データ更新指令に基づき、タイミング発生器４７４から出力される一定時間の初期化信号により、セレクタ４１２から“０”を出力させる。これにより、フレームＦＩＦＯメモリ４１０内の蓄積データがオールゼロとなるよう初期化される。

比較器４１１は生データ（Ａ）とフレームＦＩＦＯメモリ４１０に格納されているデータ（Ｂ）との大小比較を行う。最大値演算の場合、比較器４１１でＡ＞Ｂと判定されたとき、セレクタ４１２からセレクタ４１３に対して、生データ（Ａ）を出力する選択信号を送出し、セレクタ４１３から生データ（Ａ）が出力されるとともに、フレームＦＩＦＯメモリ４１０に該生データ（Ａ）が格納され、最大値データが更新される。

また、比較器４１１でＡ＜Ｂと判定されたときは、セレクタ４１２からセレクタ４１３に対して、データ（Ｂ）を出力する選択信号を送出し、セレクタ４１３からデータ（Ｂ）が出力されるとともに、該データ（Ｂ）がフレームＦＩＦＯメモリ４１０に最大値として格納される。

比較器４１１は最小値演算の場合、Ａ＜Ｂと判定されたとき、セレクタ４１２からセレクタ４１３に対して、生データ（Ａ）を出力する選択信号を送出し、セレクタ４１３から生データ（Ａ）が出力されると共に、該生データ（Ａ）がフレームＦＩＦＯメモリ４１０に格納され、最小値データが更新される。

また、比較器４１１でＡ＞Ｂと判定されたときは、セレクタ４１２からセレクタ４１３に対して、データ（Ｂ）を出力する選択信号を送出し、セレクタ４１３からデータ（Ｂ）が出力されるとともに、該データ（Ｂ）がフレームＦＩＦＯメモリ４１０に最小値として格納される。

校正データ演算部４０７で行う演算を式で表すと以下のとおりである。ここで、補正係数を算出する積分フレーム数をｎ、フレーム番号をｆ、１フレームを構成する画素数をｐ、素子番号をｉ、最大値ＭＡＸ、最小値をＭＩＮ、フレーム番号ｆの素子番号ｉの画像データ例Ｄ（ｆ）ｉとする。

本発明による赤外線撮像装置の第１の実施形態の機能ブロックを示す図である。 本発明による赤外線撮像装置の第２の実施形態の機能ブロックを示す図である。 本発明による赤外線撮像装置の第３の実施形態の機能ブロックを示す図である。 本発明のメディアンフィルタの構成例を示す図である。 本発明の中間順位判定器の中間順位判定を示す図である。 本発明のフレーム積分部及びフレームメモリの構成例を示す図である。 本発明の最大（最小）値演算部とフレーム最大（最小）値メモリの構成例を示す図である。 従来の赤外線撮像装置の機能ブロックを示す図である。

符号の説明

１ レンズ
２ 赤外線検知器
３ アナログ／ディジタル変換部
４ 校正データ算出部
４１ 生データ蓄積部
４２ フレームメモリ
４４ データ処理／校正データ演算部
５ 校正データメモリ
６ 補正演算部
７ ビデオエンコーダ
８ ビデオモニタ

Claims (3)

1. 赤外線を電気に変換する赤外線検知器の光電変換素子の感度補正機能を備えた赤外線撮像装置において、
   前記光電変換素子の映像信号をディジタル化した映像信号データに対して、画素毎に時間的に異なる第１の所定数のフレームの映像信号データの間で大小比較を行い、その中から中間値の映像信号データを抽出する中間値算出手段と、
   前記中間値算出手段から出力される中間値を、第２の所定数のフレームに亘って平均化した値を全画素について加算し、１フレームを構成する画素数で除算して画面平均値を求める中間値平均化手段と、
   前記中間値平均化手段から得られた画面平均値から各画素の平均値をそれぞれ減算して前記画素毎の映像信号データに対する補正係数を算出する補正係数算出手段と、
   を備えたことを特徴とする赤外線撮像装置。
2. 赤外線を電気に変換する赤外線検知器の光電変換素子の感度補正機能を備えた赤外線撮像装置において、
   前記光電変換素子の映像信号をディジタル化した映像信号データに対して、画素毎に時間的に異なる少なくとも３フレームの映像信号データの間で大小比較を行い、その中から中間値の映像信号データを抽出するメディアンフィルタと、
   前記メディアンフィルタから出力される時間的に異なる中間値を平均化した値を全画素について加算し、１フレームを構成する画素数で除算して画面平均値を求める中間値平均化手段と、
   前記中間値平均化手段から得られた画面平均値から各画素の平均値をそれぞれ減算して前記画素毎の映像信号データに対する補正係数を算出する補正係数算出手段と、
   を備えたことを特徴とする赤外線撮像装置。
3. 赤外線を電気に変換する赤外線検知器の光電変換素子の感度補正機能を備えた赤外線撮像装置において、
   前記光電変換素子の映像信号をディジタル化した映像信号データに対して、画素毎に時間的に異なる所定数のフレームの映像信号データの間で大小比較を行い、その中から最大値及び最小値を除いた映像信号データについて積分処理を行うフレーム積分手段と、
   前記フレーム積分手段から出力される映像信号データ積分値から画素毎の平均値を算出した値を全画素について加算し、１フレームを構成する画素数で除算して画面平均値を求める平均化手段と、
   前記平均化手段から得られた画面平均値から、各画素毎に各画素の最大値及び最小値を除いた各画素の平均値を減算して、前記画素毎の映像信号データに対する補正係数を算出する補正係数算出手段と、
   を備えたことを特徴とする赤外線撮像装置。

Images