JP5304384B2 - 赤外線撮像装置及び赤外線画像の表示方法 - Google Patents

Description

本発明は、赤外線撮像装置及び赤外線画像の表示方法に関し、特に、広視野と狭視野とで撮像可能な赤外線撮像装置及び広視野画像と狭視野画像とを合成する赤外線画像の表示方法に関する。

赤外線を用いて画像を取得する赤外線撮像装置として、図１１に示すような装置がある。この赤外線撮像装置５１は、マウント５５上に固定される集光光学系５３及び検知器５４からなる検知部５２と、マウント５５を駆動する駆動機構５６と、検知器５４からの信号を処理して赤外線画像を生成すると共に、制御信号を生成して駆動機構制御部５７に送信する処理部５８と、処理部５８で生成した赤外線画像を表示する表示部５９と、目標物の選択や撮像方向の指示などを行う操作部６０と、処理部５８からの制御信号に基づいて駆動機構５６を制御する駆動機構制御部５７などで構成される。

上記赤外線撮像装置５１では、目標物から放射された赤外線は集光光学系５３によって検知器５４に集光され、集光された赤外線は検知器５４で電気信号に変換されて処理部５８に送られ、処理部５８では該信号から赤外線画像を生成し、表示部５９でその赤外線画像を表示する。そして、操作者が操作部６０を操作して目標物を選択すると、処理部５８では、制御信号を生成して駆動機構制御部５７に送信し、駆動機構制御部５７で駆動機構５６を制御してマウント５５を駆動し、目標物を捕捉する。目標物を捕捉する赤外線撮像装置としては、例えば、下記特許文献１などに記載されている。

特開２０００−１４７１２３号公報

ここで、可視光を検出する撮像装置を用いて目標物を検知する場合、人間の目で目標物を探す場合のように、その形状や色彩などから目標物を検知することになる。例えば、山間部の画像の中から車両を検知する場合を考えると、予め記憶した車両の代表的な形状をパターン認識したり、予め記憶した車両の色を抽出したりする。

しかしながら、赤外線を検出する撮像装置の場合、被写体が放射する赤外線を検出して画像化（例えば、白黒表示の場合は高温部を白、低温部を黒、疑似カラー表示の場合は高温部を赤、低温部を青として表示）するため、目標物の形状や色彩に特徴があったとしても、背景と目標物に温度差がなければ、目標物を検知することはできない。

また、背景と目標物に温度差があったとしても、温度分解能を上げて（温度測定範囲を狭めて）撮像すると、目標物に限らず、背景との温度差があるもの全てが同じように表示（白黒表示では、大部分が白又は黒で表示）されてしまい、背景と目標物とを識別することが難しくなる。一方、温度分解能を下げて（温度測定範囲を広げて）撮像すると、目標物の中の背景との温度差がある部分が１又は複数の点として表示されてしまい、目標物の形状を認識することが難しくなる。

例えば、上記と同様の山間部を撮像した赤外線画像の中から車両を検出する場合、夏場のように背景の温度が高い状況では背景と車両の温度差が小さくなって目標物の検知が難しくなるし、検知できたとしても、エンジンやタイヤなどの車両の一部の温度が高く（白黒表示では白く）表示されるだけであり、白く表示された部分から車両であると判断するのは困難である。

このように、赤外線画像は、可視画像とは全く異なる形態で目標物が表示されるため、その形状や色彩などから目標物を検知することができない。そこで、赤外線画像の場合は、まず、広い領域（広視野）を、温度分解能を下げて（温度測定範囲を広げて）撮像して、背景との温度差が大きい物体（以下、高温物体と呼ぶ。）を検出し、その後、集光光学系を調整して倍率を上げ、高温物体近傍の狭い領域（狭視野）を、温度分解能を上げて（温度測定範囲を狭めて）撮像して、高温物体の詳細情報から目標物を判別する方法が用いられる。

この方法は、高温物体が１つの場合は効果があるが、広視野で撮像した画像に高温物体が複数点在している場合、どの高温物体が目標物であるかは判断できない。そのため、撮像装置の方向を複数の高温物体の中の１つに合わせた後、倍率を上げてその高温物体近傍を狭視野で撮像して目標物であるかを判断し、目標物でなければ、倍率を下げて広視野で撮像し、撮像装置の方向を次の高温物体に合わせて、再び倍率を上げてその高温物体近傍を狭視野で撮像して目標物であるかを判断する処理を繰り返すことになる。

この場合、複数の高温物体が画面上で大きく離れていると、広視野から狭視野に切り替えた後、再び広視野に戻したときに、他の目標物が広視野の画面から外れてしまい、目標物を見失ってしまう恐れがある。また、各高温物体が移動している場合も、狭視野から広視野に戻したときに他の目標物が画面から外れてしまい、目標物を見失ってしまう恐れがある。

この問題に対して、赤外線撮像装置に広視野用の検知部と狭視野用の検知部を設け、広視野の画面と狭視野の画面を別々に表示する方法が考えられる。しかしながら、この方法では、広視野の画像と狭視野の画像を見比べる際に視点を大きく動かさなければならず、操作性に問題がある。例えば、移動体の操縦者（ヘリコプターのパイロットなど）がヘルメットの前面に表示される画像を見る使用状況（いわゆるＨＭＤ：Head Mounted Display）では、操縦者は移動体を操縦しながら目標物を検知することになるが、視点を大きく動かすと移動体の操縦に支障が生じてしまい、操縦に集中すると目標物の検知が困難になる。

本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、簡便かつ確実に目標物を検知することができる赤外線撮像装置及び赤外線画像の表示方法を提供することにある。

上記目的を達成するため、本発明は、広視野で赤外線画像を撮像する広視野検知部と、前記広視野よりも狭い狭視野で赤外線画像を撮像する狭視野検知部と、を備え、少なくとも前記狭視野検知部の撮像方向が制御可能な赤外線撮像装置において、前記広視野検知部で撮像した広視野赤外線画像を解析して、予め定めた閾値以上の温度の１つの画素又は複数の連続若しくは近隣する画素からなる高温物体を検知し、前記広視野赤外線画像中の高温物体を中心とする矩形状の枠内に、予め定められた所定の優先順位に従って、前記狭視野検知部で当該高温物体近傍を撮像した狭視野赤外線画像を合成して出力する処理部を備え、前記処理部は、検知した高温物体が複数の場合は、前記広視野赤外線画像における高温物体同士の距離に基づいて、１つの高温物体の前記狭視野赤外線画像が前記広視野赤外線画像上の他の前記高温物体に相重ならないように、前記枠のサイズを決定するものである。

本発明の赤外線撮像装置及び赤外線画像の表示方法によれば、簡便かつ確実に目標物を検知することができる。

その理由は、赤外線撮像装置に、広い領域を撮像する広視野検知部と狭い領域を撮像する狭視野検知部とを設けると共に、広視野検知部で撮像した広視野画像の各々の高温物体上に、その高温物体近傍を狭視野検知部で撮像した狭視野画像を合成する処理部を設け、処理部では、広視野画像に狭視野画像を合成する際に、高温物体同士の画面上の距離に基づいて狭視野画像を表示する枠のサイズを決定するため、広視野画像の他の高温物体の視認性を妨げることなく、各々の高温物体を詳細に判別することができるからである。

また、処理部では、高温物体同士の画面上の距離に基づいて決定した枠のサイズと、狭視野画像に基づいて特定した各々の高温物体のサイズとを比較し、枠全体に各々の高温物体が表示されるように狭視野画像の拡大率を決定するため、各々の高温物体を詳細に判別することができるからである。

本発明の一実施例に係る赤外線撮像装置の構成を模式的に示す図である。 本発明の一実施例に係る検知器の構成を示す回路図である。 本発明の一実施例に係る処理部の構成及び機能を示す図である。 本発明の一実施例に係る表示部の画面構成例（高温物体が１つの場合）を示す図である。 本発明の一実施例に係る表示部の画面構成例（高温物体が２つの場合）を示す図である。 本発明の一実施例に係る表示部の画面構成例（高温物体が２つの場合）を示す図である。 本発明の一実施例に係る狭視野画像の表示例を示す図である。 本発明の一実施例に係る赤外線撮像装置を用いた赤外線画像の表示手順を示すフローチャート図である。 本発明の一実施例に係る赤外線撮像装置で撮像した赤外画像（温度測定範囲が狭い場合）の一例を示す図である。 本発明の一実施例に係る赤外線撮像装置で撮像した赤外画像（温度測定範囲が広い場合）の一例を示す図である。 従来の赤外線撮像装置の構成を示す図である。 検知器の周辺回路を示す図である。 検知器の温度測定範囲と温度分解能の関係を示す図である。

背景技術で示したように、赤外線を用いて画像を取得する赤外線撮像装置が知られており、その中の検知器として、ボロメータを用いた検知器が知られている。ボロメータは、赤外線の入射により抵抗体の抵抗値が変化する現象を利用して赤外線を検出する素子であり、赤外線撮像装置では、ボロメータを二次元のマトリックス状に配列、若しくは、一次元に配列し光学的に走査して、各々のボロメータの抵抗変化を電気的に読み取ることにより、赤外線による被写体の二次元画像を取得している。

上記赤外線撮像装置では、個々のボロメータの出力が小さいことから出力を積分する回路が設けられる。図１２は、入射する被写体からの赤外線量に応じてボロメータ抵抗の変化を読み出す回路の構成を示したものである。図１２に示すとおり、ボロメータ７１の抵抗変化は積分回路を用いて電圧変換しており、積分回路の電気の一般的な理論より、
出力電圧＝ボロメータ印加電圧／ボロメータ抵抗値／積分用コンデンサ容量値×積分している時間
の関係があることから、ボロメータ７１に印加するバイアス電圧７２、積分用コンデンサ７４の容量、積分時間をそれぞれ決めることで出力電圧７５を調整し、出力電圧範囲７６内において読み出して画像化している。また、ボロメータ７１の感度はこの出力電圧７５を調整したものであり、出力電圧範囲７６によって被写体の温度測定範囲が制限される。

ここで、図１３に示すように、温度測定範囲と温度分解能とはトレードオフの関係がある。従って、同一の出力電圧範囲において感度を高く設定すると、温度分解能は向上するが温度測定範囲は狭まり（図１３の高感度領域７８参照）、逆に感度を低く設定すると、温度分解能は低下するが温度測定範囲は広がることになる（図１３の低感度領域７９参照）。

このような特徴を持つ赤外線撮像装置を用いて目標物を検知する場合、温度分解能を上げて（温度測定範囲を狭めて）撮像すると、背景と目標物との識別が困難になり、温度分解能を下げて（温度測定範囲を広げて）撮像すると、目標物が１又は複数の点として表示されてしまい、目標物の認識が困難になる。そこで、広視野を広い温度測定範囲（低い温度分解能）で撮像して高温物体を検知した後、特定の高温物体近傍の狭視野を狭い温度測定範囲（広い温度分解能）で撮像して、検知した高温物体が目標物であるかを判別する処理を繰り返すことになる。しかしながら、この方法では、高温物体が複数点在する場合、狭視野と広視野とを切り替える際に目標物を見失ってしまう場合が生じる。

そこで、検知部として広視野用検知部と狭視野用検知部を設け、各々の検知部の出力に基づいて広視野画像と狭視野画像を生成し、２つの画像を別々に表示する方法が考えられる。しかしながら、この方法では、２つの画像を見比べるための視点を大きく動かさなければならず、赤外線撮像装置を搭載する移動体の操縦等を行いながら目標物を検知することが困難になる。

そこで、本発明では、まず、集光光学系と検知器とからなる検知部として、広視野用の検知部と狭視野用の検知部の２つを配置する。また、各検知部から出力される信号を処理して赤外線の画像を生成する処理部で、広視野画像を解析して背景との温度差が所定の値以上の高温物体を検知し、各高温物体が表示されている領域に、その高温物体近傍の狭視野画像を合成して表示部に表示させる制御を行う。

その際、広視野画像中に複数の高温物体が近接している場合は、ある高温物体の狭視野画像を大きく表示するとその狭視野画像によって他の高温物体が表示されなくなってしまう。一方、狭視野画像を小さく表示すると高温物体を詳細に表示することができず、目標物の判別が困難になる。

そこで、上記処理部では、広視野画像から複数の高温物体を検知した場合は、広視野画像における高温物体同士の距離を求め、その距離に基づいて狭視野画像を表示する枠のサイズを決める。更に、決定した枠のサイズとその枠内に表示する高温物体のサイズとに基づいて、狭視野画像の拡大率を決め、枠全体に高温物体が表示されるようにする。

これにより、各高温物体を見失うことなく、また、視点を大きく動かすことなく、各高温物体を詳細に判別することができ、これにより、簡便かつ確実に目標物を検知することが可能となる。

上記した本発明の一実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る赤外線撮像装置及び赤外線画像の表示方法について、図１乃至図１０を参照して説明する。図１は、本発明の一実施例に係る赤外線撮像装置の構成を模式的に示す図であり、図２は、検知器の構成を示す図、図３は、処理部の構成及び機能を示す図である。また、図４乃至図７は、表示部に表示される画面の構成例を示す図であり、図８は、本実施例の赤外線撮像装置を用いて赤外線画像を表示するまでの手順を示すフローチャート図である。また、図９及び図１０は、本実施例の赤外線撮像装置を用いて撮像した赤外線画像の例を示す図である。

本実施例の赤外線撮像装置は、船舶や車両、ヘリコプターなどの移動体や建物などに設置されるものであり、図１に示すように、広視野光学系３ａ及び広視野検知器４ａからなる広視野検知部２ａと、狭視野光学系３ｂ及び狭視野検知器４ｂからなる狭視野検知部２ｂと、広視野検知部２ａを載置する第１マウント５ａと、狭視野検知部２ｂを載置する第２マウント５ｂと、各々のマウントを１軸又は２軸で駆動する駆動機構６ａ、６ｂと、広視野検知部２ａ及び狭視野検知部２ｂからの信号を処理して赤外線画像を生成すると共に、制御信号を生成して駆動機構制御部７ａ、７ｂに送信する処理部８と、処理部８で生成した赤外線画像を表示する表示部９と、目標物の選択や撮像方向の指示などの操作を行う操作部１０と、処理部８からの制御信号に基づいて駆動機構６ａ、６ｂを制御する駆動機構制御部７ａ、７ｂなどで構成される。

なお、本実施例では、広視野検知部２ａ及び狭視野検知部２ｂの各々が駆動可能な構成とするが、広視野検知部２ａを固定し、狭視野検知部２ｂのみを駆動可能な構成としてもよい。

以下、本実施例の特徴部分である画像合成に関連する部分について詳述する。

図２に示すように、検知器４（広視野検知器４ａ及び狭視野検知器４ｂ）は、複数の画素が二次元に配列された赤外線検出素子と、赤外線検出素子からの信号を処理する信号処理部などを備え、信号処理部は、基板内に作り込まれる内部回路と、基板外に設けられる外部回路とで構成される。

赤外線検出素子の各々の画素は、ボロメータ２２などの温度抵抗素子とＭＯＳトランジスタ２３などの選択素子とで構成され、ＭＯＳトランジスタ２３のソースはＧＮＤに接続され、ＭＯＳトランジスタ２３のドレインはボロメータ２２を介して垂直信号線２５に接続され、ＭＯＳトランジスタ２３のゲートは水平信号線２４に接続されている。また、垂直信号線２５と出力端子ＯＵＴの間には、ＰチャネルＭＯＳトランジスタとＮチャネルＭＯＳトランジスタなどからなるトランスファゲート２８が接続されている。

そして、水平信号線２４は垂直シフトレジスタ２６及びアンド回路２９によって順次選択され、垂直信号線２５は水平シフトレジスタ２７及びアンド回路３０によって順次選択され、選択された水平信号線２４及び垂直信号線２５が交差する画素のボロメータ２２の赤外線映像信号が出力端子ＯＵＴから出力される。

なお、広視野検知器４ａと狭視野検知器４ｂとは同じ構成としてもよいし、画素の構造や画素数を変えてもよい。また、本実施例では、複数の画素が二次元に配列された赤外線検出素子を用いて二次元の赤外線画像を取得する構成とするが、画素が一次元に配列された赤外線検出素子や１つの画素からなる赤外線検出素子を用い、ポリゴンミラー等の光学系で走査して二次元の赤外線画像を取得する構成としてもよい。また、赤外線検出素子は温度抵抗素子に限らず、入射赤外線を電気信号に変換可能な素子であればよい。

また、図３に示すように、検知器４からの赤外線映像信号を処理する処理部８は、増幅器４１ａ、４１ｂと、Ａ／Ｄ変換器４２ａ、４２ｂと、フレームメモリ４３ａ、４３ｂと、演算部４４と、Ｄ／Ａ変換器４５などで構成され、増幅器４１ａ、４１ｂは、広視野検出器４ａ及び狭視野検知器４ｂからの赤外線映像信号を増幅し、Ａ／Ｄ変換器４２ａ、４２ｂは赤外線映像信号をディジタル信号に変換して、フレームメモリ４３ａ、４３ｂに記憶する。

演算部４４は、フレームメモリ４３ａからデータを読み出し、予め記憶したテーブルを参照して各画素のディジタル信号を温度情報に変換し、この温度情報と予め設定した閾値とを比較して所定の温度以上の１つの画素又は複数の連続若しくは近隣する画素からなる高温物体を特定し、高温物体間の画面上の距離を算出して狭視野画像を合成する枠のサイズを決定すると共に、狭視野検知部２ｂに各々の高温物体近傍領域を撮像させるための制御信号を生成して駆動機構制御部７ｂに送信する。そして、演算部４４は、フレームメモリ４３ａから読み出した広視野画像のデータ中の枠内に相当する部分のデータをフレームメモリ４３ｂから読み出した狭視野画像のデータに置き替えてＤ／Ａ変換器４５に出力する。

Ｄ／Ａ変換器４５は、演算部４４から送信されたディジタル信号をアナログの表示映像信号に変換し、ＨＭＤやモニタなどの表示部９に出力する。

次に、上記処理部８で生成される赤外線画像の構成について、図４乃至図７を参照して説明する。なお、ここでは広視野検知部２ａで撮像した山間部の赤外線画像の中から車両を検出する場合を例にして説明する。

図４は、広視野画像で高温物体が１つ検出された場合の例である。図４（ａ）に示すように、可視画像では山や空、道路、畑などの背景を明瞭に識別することができ、その中の車両の画像が小さくても、車両の形状や色彩（図では白黒で表示している）、濃淡、背景との色彩や濃淡の違いなどから、車両を容易に識別することができる。

しかしながら、赤外線画像では、高温物体を確実に検出できるように広視野で温度測定範囲を広げて（温度分解能を下げて）撮像するために、図４（ｂ）に示すように、画面の全体が一様に表示されてしまい、山や空、道路、畑などの背景を識別することができない。また、高温物体が小さい場合は１つの白い点又は複数の白い点の集合として表示され、高温物体の全体的な形状や色彩は分からないため、その高温物体が何であるかを判別することができない。

そこで、処理部８は、上述したように、広視野画像（例えば、横６４０×縦４００）の各画素の温度と予め設定した閾値とを比較して高温物体を検知すると共に、狭視野検知部２ｂがその高温物体を撮像するように駆動機構制御部７ｂに制御信号を送り、図４（ｃ）に示すように、広視野画像の高温物体の位置に、温度測定範囲を狭めて（温度分解能を上げて）撮像した狭視野画像（例えば、横６４×縦４０）を合成して表示し、狭視野画像からその高温物体が何であるかを判別できるようにする。なお、狭視野画像の縦横の比率は広視野画像と同一としてもよいし、異なっていてもよい。

その際、高温物体が一つであれば狭視野画像を表示する枠のサイズは特に問題にならないが、高温物体が複数検知された場合は、ある高温物体の狭視野画像を大きく表示すると他の高温物体が表示されなくなってしまう。そこで、複数の高温物体が検知された場合は、処理部８は、各々の高温物体の位置に狭視野画像を合成しても他の高温物体が表示されなくなってしまうことがないように、高温物体同士の画面上での距離（各高温物体が点の場合は２点の距離、各高温物体が領域の場合は領域の中心点若しくは最も温度が高い点間の距離）に基づいて狭視野画像を合成する枠の大きさを算出する。

例えば、図５（ａ）に示すように、２つの高温物体が画面の横方向で大きく離れている場合（画面の横方向の高温物体の距離をＸとする）は、狭視野画像を表示する枠を、縦横の比率を保ったまま横方向のサイズが高温物体の中心からＸ／２となるようにする。また、図６（ａ）に示すように、２つの高温物体が画面の縦方向で大きく離れている場合（画面の縦方向の高温物体の距離をＹとする）は、狭視野画像を表示する枠を、縦横の比率を保ったまま縦方向のサイズが高温物体の中心からＹ／２となるようにする。

そして、予め定めた順番（例えば、高温物体の温度が高い順や高温物体の画素が多い順、広視野画像の中心に近い順、高温物体の移動速度が大きい順など）で高温物体を順位付けし、図５（ｂ）、図６（ｂ）に示すように、優先順位の高い高温物体を撮像した狭視野画像を広視野画像に合成した合成画像を表示させる。

その後、狭視野画像で得られる高温物体の詳細情報（各部の温度や温度分布、背景との境界線など）に基づいて、その高温物体が目標物であるかを自動（予め記憶したデータベースと比較して一致の度合いから判断）若しくは手動で判別し、目標物でない場合は、図５（ｃ）、図６（ｃ）に示すように、次の優先順位の高温物体を撮像した狭視野画像を広視野画像に合成した合成画像を表示させる。

なお、図５及び図６では、各々の高温物体の狭視野画像を同じ大きさで表示したが、各々の狭視野画像を異なるサイズで表示してもよいし、狭視野画像の中心位置と高温物体の中心位置とは必ずしも一致しなくても（中心位置が多少ずれていても）よい。また、図５及び図６では、各々の高温物体の狭視野画像を合成する枠同士が１つの辺で当接する場合を示したが、枠同士が１つの頂点で当接してもよい。また、図５では、各々の高温物体の狭視野画像を合成する枠が当接するように枠のサイズを決定したが、一方の高温物体の狭視野画像が他方の高温物体に重ならない範囲で枠のサイズを大きくしてもよいし、高温物体間の距離から求める枠のサイズが大きすぎるときは予め定めた所定の大きさに設定してもよい。また、図５では、高温物体が２つの場合を示したが、３つ以上の高温物体を検知した場合も、１つの高温物体の狭視野画像が他の高温物体に重ならないように（例えば、最も近い２つの高温物体間の距離に基づいて）枠のサイズを決定すればよい。

また、図４乃至図６では、枠内に狭視野検知部２ｂで撮像した狭視野画像全体を表示したが、図７（ａ）に示すように、狭視野画像中の高温物体のサイズが小さい場合には、広視野画像に狭視野画像を合成しても目標物の判別が困難である。

そこで、処理部８は、狭視野画像を解析して高温物体の特徴（高温部の温度や温度分布、輪郭など）を抽出し、公知のパターン認識技術を利用して高温物体が何であるか（車両であるか建物であるか人物であるかなど）を判別し、判別した物体の代表的な形状から高温物体の全体サイズを特定して、狭視野画像の中から高温物体の領域を切り出し、枠のサイズに合わせてその画像を拡大し、図７（ｂ）に示すように、枠の全体に高温物体の画像が大きく表示されるように制御することもできる。

次に、本実施例の赤外線撮像装置を用いて赤外線画像を表示するまでの一連の手順について、図８のフローチャート図及び図９、図１０の実際の赤外線画像を参照して説明する。

まず、ステップＳ１０１で、広視野検知部２ａを用いて広視野画像を取得し、その赤外線映像信号を処理部８に送信する。

次に、ステップＳ１０２で、処理部８は、広視野検知器４ａから送信された赤外線映像信号を増幅、Ａ／Ｄ変換してフレームメモリに格納した後、広視野検知器４ａの各画素のデータを温度情報に変換し、その温度と予め設定した閾値とを比較することによって高温物体を検知する。その際、図９に示すように、温度測定範囲を狭くする（温度分解能を上げる）と画像全体が黒く又は白くなって目標物を判別するのが困難になることから、図１０に示すように、高温物体のみが１画素又は複数の連続若しくは近隣する画素で白く表示されるように温度測定範囲（温度分解能）を調整する。

検知の結果、広視野画像中に高温物体がない場合（Ｓ１０３のＮｏ）は、温度測定範囲（温度分解能）の調整や撮像方向の調整を行った後、ステップＳ１０１に戻って広視野画像の撮像を行う。広視野画像中に高温物体がある場合（Ｓ１０３のＹｅｓ）は、処理部８は、高温物体が１つであるかを判定し、複数の場合（Ｓ１０４のＮｏ）は、ステップＳ１０５で、予め定めたルールに従って複数の高温物体の優先順位付けを行うと共に、上述した手法を用いて、複数の高温物体の画面上の距離に基づいて、狭視野画像を合成する枠のサイズを決定する。

次に、ステップＳ１０６で、処理部８は、優先順位の高い高温物体の位置を特定し、狭視野検知部２ｂの光軸をその高温物体に向ける制御信号を生成して駆動機構制御部７ｂに送り、駆動機構制御部７ｂは制御信号に基づいて駆動機構６ｂを駆動して狭視野検知部２ｂの方向を制御する。

次に、ステップＳ１０７で、狭視野検知部２ｂを用いて、狭視野画像を取得し、その赤外線映像信号を処理部８に送信する。

次に、ステップＳ１０８で、処理部８は、狭視野検知器４ｂから送信された赤外線映像信号を増幅、Ａ／Ｄ変換してフレームメモリに格納する。そして、広視野画像中の高温物体近傍のデータを、狭視野画像のデータに置き換えて画像を合成し、Ｄ／Ａ変換して表示部９に送り、表示部９は広視野画像に狭視野画像を合成した合成画像を表示する。その際、上述した手法を用いて、狭視野画像を解析して高温物体が何であるかを特定し、高温物体の画像が枠全体に表示されるように狭視野画像を拡大することが好ましい。

次に、ステップＳ１０９で、処理部８は、公知のパターン認識技術を利用して狭視野画像の詳細情報から狭視野画像中の高温物体が目標物であるかを自動的に判定、若しくは、表示部９に表示された狭視野画像を見て高温物体が目標物であるかを操作者が判定する。

判定の結果、狭視野画像中の高温物体が目標物でなければ（Ｓ１０９のＮｏ）、処理部８は、広視野画像中に他の高温物体があるかを判断し、他の高温物体がある場合は（Ｓ１１０のＹｅｓ）、ステップＳ１０６に戻って次の優先順位の高温物体を撮像するように狭視野検知部２ｂの方向制御を行い、他の高温物体がない場合は（Ｓ１１０のＮｏ）、ステップＳ１０１に戻って広視野画像の撮像を行う。

一方、判定の結果、表示している高温物体が目標物であれば（Ｓ１０９のＹｅｓ）、処理部８は、広視野検知部２ａ及び狭視野検知部２ｂの光軸を目標物に向ける制御信号を生成して駆動機構制御部７ａ、７ｂに送り、駆動機構制御部７ａ、７ｂは制御信号に基づいて駆動機構６ａ、６ｂを駆動して広視野検知部２ａ及び狭視野検知部２ｂの方向を制御し、目標物を捕捉する。

このように、本実施例の赤外線撮像装置１によれば、検知部として広視野検知部２ａと狭視野検知部２ｂを配置し、広視野検知部２ａの広視野画像から高温物体を検知すると共に、各々の高温物体の狭視野画像を取得し、狭視野画像に狭視野画像を合成した合成画像を表示するため、視点を大きく動かすことなく、目標物を簡便かつ確実に検知することができる。また、高温物体が複数の場合は、高温物体間の画面上での距離に基づいて、１つの高温物体の狭視野画像が他の高温物体に重ならないように枠のサイズを決定するため、目標物を見失うことなく、目標物を簡便かつ確実に検知することができる。更に、狭視野画像に基づいて高温物体を特定して高温物体の画像を拡大し、枠全体に拡大した高温物体の画像を表示することにより、赤外線画像であっても、目標物を確実に判別することができる。

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、その構成や制御方法は適宜変更可能である。例えば、上記実施例では、少なくとも狭視野検知部２ｂの撮像方向を制御可能な構成としたが、狭視野検知部２ｂの撮像方向を固定とし、狭視野検知器４ｂの画素数を多くして高温物体近傍の詳細画像を取得できるようにすることもできる。また、上記実施例では、狭視野画像を合成する枠を矩形状としたが、円形や楕円形、多角形などとすることもできる。

本発明は、広視野画像を撮像する検知部と狭視野画像を撮像する検知部とを備えた赤外線撮像装置及び当該赤外線撮像装置における赤外線画像の表示方法に利用可能である。

１ 赤外線撮像装置
２ａ 広視野検知部
２ｂ 狭視野検知部
３ａ 広視野光学系
３ｂ 狭視野光学系
４ 検知器
４ａ 広視野検知器
４ｂ 狭視野検知器
５ａ 第１マウント
５ｂ 第２マウント
６ａ、６ｂ 駆動機構
７ａ、７ｂ 駆動機構制御部
８ 処理部
９ 表示部
１０ 操作部
２２ ボロメータ
２３ ＭＯＳトランジスタ
２４ 水平信号線
２５ 垂直信号線
２６ 垂直シフトレジスタ
２７ 水平シフトレジスタ
２８ トランスファゲート
２９、３０ アンド回路
４１ａ、４１ｂ 増幅器
４２ａ、４２ｂ Ａ／Ｄ変換器
４３ａ、４３ｂ フレームメモリ
４４ 演算部
４５ Ｄ／Ａ変換器
５１ 赤外線撮像装置
５２ 検知部
５３ 集光光学系
５４ 検知器
５５ マウント
５６ 駆動機構
５７ 駆動機構制御部
５８ 処理部
５９ 表示部
６０ 操作部
７１ ボロメータ
７２ バイアス電圧
７３ 出力抵抗
７４ 積分用コンデンサ
７５ 出力電圧
７６ 出力電圧範囲
７７ リセットスイッチ
７８ 高感度領域
７９ 低感度領域

Claims (8)

1. 広視野で赤外線画像を撮像する広視野検知部と、前記広視野よりも狭視野で赤外線画像を撮像する狭視野検知部と、を備え、少なくとも前記狭視野検知部の撮像方向が制御可能な赤外線撮像装置において、
   前記広視野検知部で撮像した広視野赤外線画像を解析して、予め定めた閾値以上の温度の１つの画素または複数の連続若しくは近隣する画素からなる高温物体を検知し、前記広視野赤外線画像中の高温物体を中心とする矩形状の枠内に、予め定められた所定の優先順位に従って、前記狭視野検知部で当該高温物体近傍を撮像した狭視野赤外線画像を合成して出力する処理部を備え、
   前記処理部は、検知した高温物体が複数の場合は、前記広視野赤外線画像における高温物体同士の距離に基づいて、１つの高温物体の前記狭視野赤外線画像が前記広視野赤外線画像上の他の前記高温物体に相重ならないように、前記枠のサイズを決定する、ことを特徴とする赤外線撮像装置。
2. 前記処理部は、複数の高温物体の中から選択される２つの高温物体に対応する枠同士が一つの辺又は１つの頂点で当接するように、前記枠のサイズを決定する、ことを特徴とする請求項１に記載の赤外線撮像装置。
3. 前記処理部は、各々の高温物体の前記狭視野赤外線画像が、前記広視野赤外線画像上の他の高温物体に相重ならない範囲で最大となるように、前記枠のサイズを決定する、ことを特徴とする請求項１に記載の赤外線撮像装置。
4. 前記処理部は、各々の高温物体の前記狭視野赤外線画像を解析して当該高温物体を特定し、前記狭視野赤外線画像から当該高温物体の全体像を抽出し、前記枠の全体に前記全体像が表示されるように、当該全体像を拡大して合成する、ことを特徴とする請求項１乃至３のいずれか一に記載の赤外線撮像装置。
5. 広視野で赤外線画像を撮像する広視野検知部と、前記広視野よりも狭い狭視野で赤外線画像を撮像する狭視野検知部と、を備え、少なくとも前記狭視野検知部の撮像方向が制御可能な赤外線撮像装置を用いた赤外線画像の表示方法であって、
   前記広視野検知部で撮像した広視野赤外線画像を解析して、予め定めた閾値以上の温度の１つの画素又は複数の連続若しくは近隣する画素からなる高温物体を検知する第１ステップと、
   検知した高温物体の数量を判断する第２ステップと、
   検知した高温物体が複数の場合は、前記広視野赤外線画像における高温物体同士の距離に基づいて、前記広視野赤外線画像中の高温物体上に前記狭視野検知部で撮像した狭視野赤外線画像を合成するための、矩形状の枠のサイズを決定する第３ステップと、
   前記狭視野検知部で各高温物体近傍を撮像する第４ステップと、
   前記広視野赤外線画像中の各高温物体を中心とする前記枠内に、予め定められた所定の優先順位に従って、前記狭視野赤外線画像を合成した合成画像を表示する第５ステップと、を有し、
   前記第３ステップでは、１つの高温物体の前記狭視野赤外線画像が前記広視野赤外線画像上の他の前記高温物体に相重ならないように、前記枠のサイズを決定する、ことを特徴とする赤外線画像の表示方法。
6. 前記第３ステップでは、複数の高温物体の中から選択される２つの高温物体に対応する枠同士が一つの辺又は１つの頂点で当接するように、前記枠のサイズを決定する、ことを特徴とする請求項５に記載の赤外線画像の表示方法。
7. 前記第３ステップでは、各々の高温物体の前記狭視野赤外線画像が、前記広視野赤外線画像上の他の高温物体に相重ならない範囲で最大となるように、前記枠のサイズを決定する、ことを特徴とする請求項５に記載の赤外線画像の表示方法。
8. 前記第５ステップでは、各々の高温物体の前記狭視野赤外線画像を解析して当該高温物体を特定し、前記狭視野赤外線画像から当該高温物体の全体像を抽出し、前記枠の全体に前記全体像が表示されるように、当該全体像を拡大して合成する、ことを特徴とする請求項５乃至７のいずれか一に記載の赤外線画像の表示方法。

Images