JP5966935B2

JP5966935B2 - 赤外線目標検出装置

Info

Publication number: JP5966935B2
Application number: JP2013002231A
Authority: JP
Inventors: 力古川
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2013-01-10
Filing date: 2013-01-10
Publication date: 2016-08-10
Anticipated expiration: 2033-01-10
Also published as: JP2014134442A

Description

本発明は、艦船または航空機に搭載され、赤外線画像を撮像し、撮像した赤外線画像を基に船舶、航空機、飛翔体等の小目標を検出する赤外線目標検出装置に関するものである。

従来の赤外線目標検出装置は、赤外線撮像器により目標を撮像した赤外線画像に対して、注目画素の輝度値と注目画素周辺近傍領域における輝度のばらつきをノイズもしくはクラッタ源として計測し、注目画素毎に前記ノイズもしくはクラッタ源の計測結果を用いて二値化閾値を求める。そして、求めた二値化閾値により撮像した赤外線画像を二値化処理することで、前記輝度のばらつきが高い領域である海上、雲などのクラッタを抑圧し、かつ、青空のような輝度のばらつきの低いクリアスカイ背景領域にある目標を安定して検出することが知られている（例えば特許文献１参照）。

この赤外線目標検出装置では、艦船または航空機から撮像した赤外線画像の二値化画像を用いて目標のラベリング処理、及び目標の特徴量として重心、面積、領域を演算することで、海上を航行する船舶、上空を飛来してくる航空機や飛翔体等の微小目標を、探知することができる。
特許文献１に記載の方法は、赤外線撮像器により目標を撮像した赤外線画像に対して、ラスタ走査しながら注目画素の輝度値と注目画素周辺領域における輝度ばらつきを計測し、注目画素毎に前記輝度ばらつきの計測値を用いて、注目画素周辺領域における輝度ばらつき計測結果に見合った二値化閾値を求めて二値化することで目標を抽出し検出する方法である。

特開平９−２７９５４号公報（図１）特開２０１０−１４４８２号公報（図１）

しかしながら、特許文献１に記載の方法は、クリアスカイ背景領域にある目標を安定して検出し、複雑な輝度ばらつきを持ち輝度のばらつきが高い領域（以後、クラッタ背景領域と称する）である海上、雲などのクラッタを効果的に抑圧することが期待できる反面、相対的にクラッタ背景領域にある目標検出性能はクリアスカイ背景領域にある目標検出性能に対して悪くなる問題があった。
また、クラッタ背景領域における目標検出性能をクリアスカイ背景領域における目標検出性能と同等にするために、仮に、二値化しきい値をクリアスカイ背景領域における二値化しきい値相当に下げてクラッタ背景領域にある目標検出性能をクリアスカイ背景領域における目標検出性能に見直したとしても、反対に、注目画素周辺領域の輝度ばらつき計測結果に見合わない二値化しきい値を用いることによって、クラッタ背景領域にあるクラッタを誤検出してしまう問題があった。
特許文献２の記載の方法では、クリアスカイ背景領域にある、高度方向に対する輝度のグラデーション分布に起因したクリアスカイ背景領域における目標検出性能の劣化の影響を防ぐための目標検出する方式であるため、クラッタ背景領域における目標検出性能を改善するものではない。
このように、特許文献１、特許文献２記載による目標検出方法では、クラッタ背景領域におけるクラッタ抑圧及び、クリアスカイ背景領域と同等の目標検出性能の両立は、困難であるという問題があった。

このように従来の、赤外線撮像器により目標を撮像した赤外線画像を使用した赤外線目標検出装置は、クラッタ背景領域である海上、雲などのクラッタを抑圧して誤警報を低減可能な反面、相対的にクラッタ背景領域における目標検出性能がクリアスカイ背景領域にある目標検出性能に対して劣ってしまう問題があった。
したがってクラッタ背景領域においては、クラッタによる誤警報低減と、クリアスカイ背景領域と同等の目標検出性能を同時に両立することが課題となっていた。

本発明に係る赤外線目標検出装置は、ジンバル機構に設置され、同一の視野領域の赤外線画像を撮像する受光感度波長帯の異なる２台の赤外線撮像器と、
前記ジンバル機構を駆動制御し、前記赤外線撮像器を目標方向に各々指向させるジンバル駆動制御部と、
各々の赤外線撮像器が撮像した赤外線画像において、各々注目する注目画素の輝度値と前記注目画素の周辺領域における輝度平均値及び輝度ばらつきを求め、前記輝度ばらつきに基づき前記周辺領域が輝度ばらつきの低いクリアスカイ領域であるか、輝度ばらつきの高いクラッタ領域であるかを判定し、前記判定の結果に対応する二値化閾値を用いて二値化した二値画像を出力する目標検出処理部と、
前記二値画像で検出された各々の目標候補に対し空間的な位置の同一性を、各々の前記赤外線撮像器から前記目標候補に対する空間上における視線ベクトル間の差分ベクトルを評価指標とし、前記差分ベクトルが最短となるときの絶対値を算出し、前記絶対値を所定の値と比較することで評価し、前記絶対値が前記所定の値より小さいことにより同一性が高いと判断した目標について、真目標とみなして二値画像を出力するステレオマッチング処理部とを備える。

本発明によれば、赤外線撮像器により目標を撮像した赤外線画像に対する目標検出処理について、クラッタ背景領域においても、クラッタ抑圧と、クリアスカイ背景領域と同等の目標検出性能を同時に両立することが可能となる。
さらに、従来艦船等での目標測距ではレーザやレーダ等のアクティブセンサを用いた、いわゆるアクティブ測距によるものであるが、上記目標検出の効果によって、海上等のクラッタの影響を受けずに安定して目標検出を行い、かつ、パッシブ測距によって対象目標からの対電子妨害手段の影響を受けずに安定して測距継続することが可能となる。

実施の形態１に係る赤外線目標検出装置を説明するブロック図である。実施の形態１に係る目標検出処理部を説明するブロック図である。実施の形態１に係るステレオマッチング処理を説明する機能ブロック図である。実施の形態１に係る目標検出処理、ステレオマッチング処理の原理を説明する概念図である。実施の形態１に係るテンプレートマッチング処理概念を説明する図である。実施の形態１に係る目標視線ベクトル生成の概念を説明する図である。実施の形態２に係る赤外線目標検出装置を説明するブロック図である。実施の形態２に係る画像合成表示例を示す概念図である。実施の形態３に係る赤外線目標検出装置を説明するブロック図である。実施の形態４に係る赤外線目標検出装置を説明するブロック図である。実施の形態４に係る画像表示における目標シンボルの例を示す概念図である。実施の形態５に係る赤外線目標検出装置を説明するブロック図である。

実施の形態１．
図１は実施の形態１による赤外線目標検出装置１の構成を示すブロック図である。
赤外線目標検出装置１は、艦船または航空機等に搭載され、目標からの赤外線を集光し、集光した赤外線を検知して撮像画像信号に電気変換して撮像画像信号を出力する#１赤外線撮像器２、#２赤外線撮像器３と、上記互いに同じ視野領域を撮像するようにジンバル機構４に配置し、#１赤外線撮像器２と#２赤外線撮像器３は互いに同じ視野領域を撮像しながら海上を航行する船舶または上空を飛来する航空機等の微小目標の方向に対して機械的に指向するジンバル駆動制御部５と、前記目標を撮像した#１赤外線画像と#２赤外線画像に対して、注目画素の輝度値と注目画素周辺領域における輝度ばらつきを計測し、注目画素毎に上記の輝度ばらつきの計測値を用いて二値化閾値を求め、二値化処理を行い二値化処理後の二値化画像を出力する目標検出処理部７と、前記目標を撮像した#１赤外線画像、#２赤外線画像に対して、ＮＣＣ（Normalized Cross Correlation、正規化相互相関、以後ＮＣＣと称する）などのパターンマッチング処理を行い＃１、＃２二値化画像を取得し、更に前記二値化画像より得られる＃１、＃２の目標位置同士を組合せてその際の視軸ベクトル間の距離を計測し、同時刻でステレオ視した目標形状の同一性と、及び、目標の空間的な位置の同一性を評価検証することで真目標を抽出し、＃1二値化画像、＃２二値化画像として出力するステレオマッチング処理部９と、前記ステレオマッチング処理部９からの＃１二値画像、＃２二値画像に対して、目標のラベリング、及び二値化画像における目標の特徴量として重心位置、面積等を演算する特徴量演算回路８とから構成される。

図２は目標検出処理部７のブロック図である。図３はステレオマッチング処理部９の機能ブロック図である。図４は本発明における目標検出とステレオマッチング処理の原理を示した図である。

図２において、目標検出処理部７は前記＃１赤外線画像、＃２赤外線画像毎に、注目画素ごとに画素周辺の所定のウィンド内における画素データの切り出しを行うウィンド回路３０と、前記領域内の平均輝度を計測する平均輝度演算回路３１と、前記領域内の標準偏差を計測する標準偏差演算回路３２と、前記標準偏差結果から、注目画素周辺領域がクリアスカイ領域かクラッタ領域かを判定するクリアスカイ／クラッタ領域判定３４と、前記判定の結果、平均輝度結果、標準偏差結果によって、二値化しきい値を算出する二値しきい値演算回路３３と、前記＃１赤外線画像、＃２赤外線画像毎の二値化しきい値と前記＃１赤外線画像、＃２赤外線画像の輝度値を用いて二値化計算を行う二値化回路３５を備える。

ここで本実施の形態に係る目標検出処理部７と、特許文献１、２における目標検出処理部とは、前記標準偏差結果より注目画素周辺領域がクリアスカイ領域であるか、クラッタ領域であるかの判定を行うクリアスカイ領域／クラッタ領域判定３４を新たに設けたこと、及び、二値化しきい値演算回路３３において、前記クリアスカイ領域／クラッタ領域判定結果に基づき、対応する二値化係数を用いて二値化しきい値をそれぞれ算出し、クラッタ領域の場合は目標検出性能がクリアスカイ領域相当と同じになるように二値化係数を低く設定するようにした点で相違する。

次に、赤外線目標検出装置１の動作について説明する。
#１赤外線撮像器２と#２赤外線撮像器３を互いに同一の視野領域を撮像するようにジンバル機構４に配置し、ジンバル駆動制御部５によって目標方向に指向することで、#１赤外線撮像器２と#２赤外線撮像器３より、それぞれ同一時刻における同一目標を撮像した＃１赤外線画像、＃２赤外線画像を得る。
前記＃１赤外線画像と＃２赤外線画像は、目標検出処理部７、ステレオマッチング処理部９へ入力される。

次に、目標検出処理部７の動作を説明する。
目標検出処理部７による目標検出方式は、前記＃１赤外線画像と＃２赤外線画像における目標Ｓ／Ｎ比が背景Ｓ／Ｎ比に対して大きく、二値化しきい値による二値化によって目標と背景を分離するという基本原理を利用したものである。
前述のとおり、クリアスカイ領域／クラッタ領域判定３４と二値化回路３５以外は特許文献１、２記載と動作は同じであるため、ここでは、クリアスカイ領域／クラッタ領域判定３４と二値化回路３５に特化して説明する。

クリアスカイ領域／クラッタ領域判定３４では、ウィンド回路３０で切り出した注目画素の周辺領域における標準偏差演算回路３２による標準偏差演算結果を用いて、標準偏差値が所定の値より小さい場合は輝度ばらつきが少ないためクリアスカイ領域とみなし、標準偏差値が所定の値より大きい場合は輝度ばらつきが大きく複雑であるためクラッタ領域とみなす判定を行う。

二値化回路３３では、前記クリアスカイ領域／クラッタ領域判定３４の結果に基づき、対応する二値化係数を用いて二値化しきい値を（式１）に基づき、二値化しきい値を算出する。この際、注目画素領域がクラッタ領域にみなされた場合、特許文献１，２における二値化係数に対して、目標検出性能がクリアスカイ領域相当と同じになるように二値化係数Ｋｃを低く設定する。
二値化回路３５では（式２）に基づいて、二値化しきい値より大きい輝度の注目画素を“１”に二値化した画素を目標とみなすことで目標検出結果として二値画像を出力する。

次に図３を用いて、ステレオマッチング処理部９の動作を説明する。
目標のテンプレート４０では、予め所定のゲートサイズにおける目標の形状と輝度値が示されたテンプレートを保有する。
テンプレートマッチング回路４１では、＃１、＃２目標検出処理後の目標位置を中心として設定したゲート内座標に対して得られる＃１、＃２ゲート内座標における赤外線画像輝度値と目標テンプレートゲート内座標における画像輝度値を、（式３）に基づく公知であるＮＣＣ法を用いて、設定した目標テンプレートと#１、＃２目標検出処理後の目標の赤外線画像における輝度形状との同一性を評価検証する。

ステレオマッチング処理部９の動作イメージを図５に示す。
まず、#１、＃２目標検出処理後二値画像より抽出した目標位置座標を中心とした#１、＃２赤外線画像のゲート領域内に対して、目標のテンプレートを設定し、ゲート内設定画素における（式３）の演算を行う。
前記の処理について、目標のテンプレートを前記ゲート内領域に対してラスタ走査しながら、ラスタ走査完了するまで繰り返す。#１,＃２目標検出処理後の別の目標についても上記処理を繰り返す。
このようにして、＃１、＃２目標検出処理後二値画像より抽出した全ての目標について目標テンプレートとの輝度形状の同一性をＲＮＣＣ値として評価する。ゲート中心画素におけるＲＮＣＣ値が高いほど（すなわち、１に近い程）目標テンプレートとの輝度形状の同一性が高く、低い程（すなわち、０に近いほど）同一性は低いことを示す。

しきい値４２は前記テンプレートマッチング回路４１で算出したＲＮＣＣ値より、＃１、＃２テンプレートマッチング処理後の二値画像として出力するためのしきい値を設定するもので、二値化回路４３では前記しきい値４２によって、（式４）に従い、＃１、＃２テンプレートマッチング処理後の二値画像として出力するものである。

目標視線ベクトル生成回路４４では、＃１、＃２テンプレートマッチング処理後の二値画像により抽出された＃１、＃２目標同士を組合せて、目標の空間位置の同一性を検証するものであり、以下の動作により実施される。
図６は、目標視線ベクトル生成の概念を説明する図である。
図６に示すように、艦船、航空機等に搭載される赤外線目標検出装置の原点を基準にした３軸直交慣性空間座標系Ｐ=（Ｘ，Ｙ，Ｚ）^T、＃１,＃２の赤外線撮像器の上記慣性空間座標の原点に対する赤外線撮像軸の仮想原点（以降取付位置と称する）をそれぞれＯ１=（Ｘ１，Ｙ１，Ｚ１）^T,Ｏ２=（Ｘ２，Ｙ２，Ｚ２）^T、及び前記赤外線撮像軸を基準にした画像座標系をそれぞれ、ｐ１=(u１，ｖ１，ｗ１) ^T，ｐ２=(u２，ｖ２，ｗ２) ^Tと定義する。
慣性空間座標Ｐ=（Ｘ，Ｙ，Ｚ）^Tに対する＃１、＃２の赤外線撮像器の赤外線撮像軸の姿勢角度（以降赤外線撮像器の取付角度と称する）をそれぞれ、ω1,ω2, φ1,φ2, κ1,κ2とすると、画像座標系ｐ１,ｐ２は、慣性空間座標におけるＰ1、Ｐ２を基準した慣性空間座標、すわなち、Ｐ１Ｏ１＝(Ｘ-Ｘ１,Ｙ-Ｙ１,Ｚ-Ｚ１）^T ,Ｐ２Ｏ２＝(Ｘ-Ｘ２,Ｙ-Ｙ２,Ｚ-Ｚ２）^T をＸ軸に対してそれぞれ、ω1、ω2、Ｙ軸に対してφ1、φ2、Ｚ軸に対してそれぞれ、κ1、κ2回転後の空間座標であり（式５）で示される。Ｆ^TはＦの転置行列を示す。

（式５）をＰ１Ｏ１，Ｐ２Ｏ２について求めると（数６）のようになる。Ｆ^−１はＦの逆行列を示す。

ここで、＃１,＃２テンプレートマッチング処理部９後の二値画像により抽出された座標位置p1’、p2’は＃１赤外線撮像器２、＃２赤外線撮像器３の焦点距離をそれぞれｃ１、ｃ２とすると、前記画像座標の定義から、それぞれp1’= (u1,v1,-c1) ^T、 p2’=(u2,v2,-c2) ^Tで示される。
ここに、u1、v1、 u2、v2は＃１、＃２赤外線撮像器での目標位置の画素から画素寸法より実際の位置に変換して得られる値である。
このとき、＃１赤外線撮像器２、＃２赤外線撮像器３から目標検出処理部７で検出した目標に対する慣性空間上における視線ベクトルＬ１，Ｌ２は（式７）によって算出する。

以上、目標視線ベクトル生成回路４４では、＃１赤外線撮像器２、＃２赤外線撮像器３から目標検出処理部７で検出した＃１、＃２目標より、前記目標に対する慣性空間上における視線ベクトルを得ることができる。

次に、ステレオ視マッチング回路４５の動作について説明する。ステレオ視マッチング回路４５では前記目標視線ベクトル生成回路４４から出力する＃１、＃２目標に対する慣性空間上における視線ベクトルより、目標の空間位置の同一性を評価する。
ステレオ視マッチング回路４５により同一と評価判定された目標についてのみ、＃１目標検出処理及び＃２目標検出処理後の二値画像より、真目標を取り出して、＃１及び＃２の二値画像を更新出力する。
目標位置の同一性評価判定は以下のような前記視線ベクトル間の差分ベクトルＤＩＦＦを評価指標として用いて行う。まず、前記ＤＩＦＦを（数８）で定義する。

このとき、前記p1’、p2’で捉えた目標が慣性空間座標系で同一位置に近いとは、幾何学上、Ｌ１，Ｌ２の距離の最短値が小さいこと（例えばゼロであれば交差）であることは明らかである。
したがって、Ｌ１，Ｌ２の距離はＬ１，ＤＩＦＦかつ、Ｌ２，ＤＩＦＦが直交する条件を満足することから、それぞれのベクトルの内積がゼロとなる（式９）を満足するs,t値を求め、その際のＤＩＦＦの絶対値を求めることでＬ１，Ｌ２間の最短距離を求める。

上記最短距離が視線ベクトル間最短距離４６で設定した値よりも小さい場合は、真目標として判定する。上記最短距離が視線ベクトル間最短距離４６で設定した値よりも小さい場合以外の場合は誤目標と判定する。
＃１、＃２目標検出処理後の二値画像に対して、前記判定した真目標については、＃１、＃２目標検出処理後の二値画像を更新せず出力する。前記誤目標と判定した目標に対しては二値画像を“０”でマスク置換更新し、＃１、＃２ステレオ視マッチング回路４５後の二値画像として出力する。

以上のようにして、実施の形態１では、注目画素周辺領域がクラッタ領域にある場合、従来の目標検出に対して二値化しきい値を低く設定するようにした。
このため、目標検出性能が向上する効果がある反面、目標の誤検出、いわゆる誤警報に関しては、必然的に従来の目標検出処理に対して悪くなるという不都合が発生する。
しかしながら同時刻で受光感度波長帯の異なる赤外線撮像器からの＃１、＃２赤外線画像に対して目標検出処理部７にて検出されるクラッタは主に雲のエッジや海面のエッジ等の誤検出であることが多く、前記＃１、＃２目標検出処理後のクラッタ中心における輝度形状、及び検出されるクラッタ位置は、撮像する時刻によってランダムであるのに対して、＃１、＃２目標検出処理後の目標の形状及び目標の空間的な位置は撮像する時刻に対して、安定しており同一であるという特徴がある。
そこでこの特徴を利用し、実施の形態１に係る赤外線目標検出装置では、目標のＳ／Ｎ比を利用した目標検出処理部７による目標検出に加えて、目標検出処理部７で得られた＃１、＃２二値画像から得られる目標の位置を中心にゲート中心を設定して、ゲート内における＃１赤外線画像、＃２赤外線画像の輝度値に対して、予め持つ目標のテンプレートを用いてパターンマッチングし、目標形状の同一性を評価後、二値化画像出力するようにした。
さらに、前記二値化画像から得られる＃１、＃２の目標位置同士を組合せてその際の視軸ベクトル間の最短距離を計測することで空間的な目標位置の同一性を評価するステレオマッチング処理部９を新たに設けて、前記目標のＳ／Ｎ比を基にして得られた検出目標のうち、２つの赤外線撮像器＃１、＃２よりステレオ視した目標の形状および空間的な位置の同一性を評価検証した目標を真目標として取り出すようにした。

このようにすることで、実施の形態１に係る赤外線目標検出装置は、赤外線撮像器により目標を撮像した赤外線画像に対する目標検出処理について、クラッタ背景領域においても、クラッタ抑圧と、クリアスカイ背景領域と同等の目標検出性能を同時に両立することが可能となる。

実施の形態２．
図７は、実施の形態２に係る赤外線目標検出装置１ｂの構成を示すブロック図である。実施の形態２では、実施の形態１における赤外線目標検出装置１に画像合成部１５を追加し構成される。
画像合成部１５は、#１赤外線撮像器２、#２赤外線撮像器３からの#１赤外線画像、#２赤外線画像を合成し、液晶などのＨＤディスプレイ等のＴＶモニタ表示用に再生成後、表示画像として出力するものである。

画像合成部１５の動作を説明する。
#１赤外線撮像器２、#2赤外線撮像器３からの#１、＃２赤外線画像をフレーム毎に取り込み、それぞれフレーム画像を合成した上で、ＴＶモニタ表示用に表示画像を再生成する。
図８は液晶のフルＨＤディスプレイに#１赤外線撮像器２、#２赤外線撮像器３からの画像を表示出力した例である。#１赤外線撮像器２、#2赤外線撮像器３からの画像サイズはＶＧＡ(６４０×４８０画素)であることが多いため、フルＨＤディスプレイへの表示は#１赤外線撮像器２、#２赤外線撮像器３からの#１、＃２赤外線画像をＶＧＡサイズのまま表示画像の水平方向に併せて表示する。表示画像のおける赤外線画像非表示領域はグレー等の中間輝度で出力する。

このように、#１赤外線撮像器２、#２赤外線撮像器３からの#１赤外線画像、#２赤外線画像を合成し、液晶などのＨＤディスプレイ等のＴＶモニタ表示用に再生成後、表示画像として出力する動作を説明した。

＃１,＃２赤外線画像出力はＶＧＡ(６４０×４８０画素)であることが多いためそれぞれの赤外線画像出力をＶＧＡに対応するＮＴＳＣ等のアナログＴＶモニタに繋いで、表示画像の目視確認を行っていたが、本特許ではそれぞれの画像ＶＧＡ(６４０×４８０画素)を合成して、液晶などのフルＨＤディスプレイ等の単一のＴＶモニタに出力して目視確認するようにしたため、赤外線画像出力のデジタル伝送によって、従来よりも表示画像の画質向上の効果が期待できる。さらに、単一モニタ上で＃１,＃２赤外線画像出力を確認することができるため、従来よりもユーザへの目視確認の負担を軽減する効果が期待できる。

実施の形態３．
図９は実施の形態３による赤外線目標検出装置１ｃの構成を示すブロック図である。実施の形態３では、実施の形態２における赤外線目標検出装置１ｂに目標測距部１４を追加し構成される。
実施の形態３では、実施の形態２のステレオ視マッチング回路４５に関して（式７）で得られる＃１、＃２目標に対する慣性空間上における視線ベクトル値を追加出力するようにする。目標測距部１４では、前記視線ベクトル値から、慣性空間上における真目標を推定し、慣性空間基準で真目標の測距を行う。

目標測距部１４の動作を説明する。目標測距部１４では、前記＃１、＃２目標に対して、（式７）に基づいて得られる慣性空間上における視線ベクトル値を用いて、前記Ｌ１，Ｌ２間の最短距離が小さいことを利用して、（式１０）に基づいた中点ベクトルＴを算出し、真目標の位置として出力するものである。
このベクトルの絶対値を真目標の測距値として特徴量演算回路８に出力する。上記の操作を前記＃１、＃２目標に対して行う。

以上、ステレオ視マッチング回路４５から出力する＃１、＃２目標に対する慣性空間上における視線ベクトル値から、真目標の慣性空間上における位置を測距することを説明した。

従来の目標測距ではレーザやレーダ等のアクティブセンサを用いた、いわゆるアクティブ測距によるものであるが、前記ステレオマッチング処理によって、観測される赤外線画像における各々の目標位置を基にパッシブ測距が可能であり、特に赤外線目標検出装置を搭載する艦船から近距離にて横行する微小目標については、上記目標検出の効果によって、海上等のクラッタの影響を受けずに安定して目標検出を行い、かつ、パッシブ測距によって対象目標からの対電子妨害手段の影響を受けずに安定して測距継続する効果が期待できる。

実施の形態４．
図１０は実施の形態４による赤外線目標検出装置１ｄの構成を示すブロック図である。実施の形態４では、実施の形態３における赤外線目標検出装置１ｃにシンボル重畳部１６を追加し構成される。
シンボル重畳部１６では、ジンバル駆動制御部５から目標への方位角／仰角、及び特徴量演算回路８からの目標特徴量を用いて、ジンバル駆動制御部５からの指向角度、検出目標の矩形シンボル、目標測距値の数値等を画像合成表示部１５からの表示画像に対して重畳する処理である。

シンボル重畳部１６の動作を説明する。
図１１にシンボル重畳処理部１６より出力されるＴＶモニタにおける表示画像の表示例を示す。
#１赤外線撮像器２、#２赤外線撮像器３からの#１赤外線画像、#２赤外線画像について、本装置を操作するユーザに対してわかるように、その下の非表示領域に、例えば“ＩＲ＃１”，“ＩＲ＃２”で文字描画すると共に、ジンバル駆動制御部５から目標への方位角／仰角を“ＡＺ”，“ＥＬ”の文字で描画、モニタする角度を前記文字に付記し、かつ、ステレオマッチング処理部９で検出した真目標をした＃１目標、＃２を検出状況であることを示す矩形で表し表示画像に重畳する。
なお、これらは図１１の例を説明した一例であり、シンボル内容・表示を限定するものではない。

以上、ジンバル駆動制御部５から目標への方位角／仰角、及び特徴量演算回路８からの目標特徴量を用いて、ジンバル駆動制御部５からの指向角度、検出目標の矩形シンボル、目標測距値の数値等を画像合成表示部１５からの表示画像に対して重畳することを説明した。

ＨＤディスプレイ等のＴＶモニタへの表示画像に対して、リアルタイムに目標検出状況、目標測距状況をシンボル重畳するようにしたので、ユーザのＴＶモニタ目視確認によって、赤外線目標検出装置の目標検出状況、目標測距状況をリアルタイムにかつ、視覚的に把握する効果が期待できる。

実施の形態５．
図１２は、実施の形態５による赤外線目標検出装置１eの構成を示すブロック図である。実施の形態５では、実施の形態４における赤外線目標検出装置１ｄに＃１、＃２赤外線撮像器パラメータ校正部１７及び、赤外線目標検出装置１ｄの前に模擬目標発生装置１８を追加し構成される。
＃１，＃２赤外線撮像器パラメータ校正部１７は、実施の形態１における（式５）で示した慣性空間座標系から画像座標系への変換にあたって、＃１、＃２赤外線撮像器の取付位置Ｏ１=（Ｘ１，Ｙ１，Ｚ１）^T、Ｏ２=（Ｘ２，Ｙ２，Ｚ２）^T、及びその姿勢角（ω1,φ1,κ1）、（ω2,φ2,κ2）を、模擬目標発生装置１８から擬似熱源を持つ目標を発生し、慣性空間における位置を設定する。この模擬目標を#１赤外線撮像器２、#２赤外線撮像器３からの#１、＃２赤外線画像における座標を観測取得し、これらの組合せを#１赤外線撮像器２、#２赤外線撮像器３について、それぞれ３組観測取得する。
このようにすることで、上記＃１，＃２赤外線撮像器の取付位置Ｏ１=（Ｘ１，Ｙ１，Ｚ１）^T、Ｏ２=（Ｘ２，Ｙ２，Ｚ２）^T、及びその姿勢角（ω1,φ1,κ1）、（ω2,φ2,κ2）を算出する。

＃１、＃２赤外線撮像器パラメータ校正部１８の動作を説明する。
実施の形態１における目標視線ベクトル生成回路４４の（式５）の３組の行列積を一まとまりにし、模擬目標発生装置１８から発生する模擬目標の慣性空間座標をＴ= （Ｔｘ，Ｔｙ，Ｔｚ）^T、前記Ｔに対応する前記#１赤外線撮像器２、#２赤外線撮像器３からの赤外線画像から＃１,＃２テンプレートマッチング処理部９後の二値画像により抽出された模擬目標の座標位置をそれぞれ、t1= (tu1, tv1,-c1) ^T、 t2=(tu2, tv2,-c2) ^Tとすると、前記T1,t1,T2,t2は（式１１）及び（式１２）を満足する。
ここでc1、c2はそれぞれ＃１赤外線撮像器２、＃２赤外線撮像器３の焦点距離であり既知である。

（式１１）と（式１２）より（式１３）が得られるので、（式１３）において、前記Ｔ1，t1、Ｔ2，t2の既知の組合せをそれぞれ＃１，＃２において複数用いて、＃１，＃２についてそれぞれＡ，Ｔ１、Ｂ，Ｔ２についての連立方程式の解として求めることで、Ａ，Ｔ１、Ｂ，Ｔ２が求められる。

ただし、連立方程式は非線形であるため、非線形最適化手法を用いて、Ａ，Ｔ１、Ｂ，Ｔ２を求める。
例えば（式１３）から得られる（式１４）の関数をテイラー展開して、それぞれの未知変数について１次項までを抽出することで、各未知数について線形３元１次方程式に近似して、線形関数の最小二乗法を用いることで、Fu1、Fv1、Fu2、Fv2が最小になる場合のＡ、Ｔ１、Ｂ、Ｔ２を解として求めればよい。

以上、模擬目標発生装置１８から擬似熱源を持つ目標を発生し、慣性空間における位置を設定し、この目標を#１赤外線撮像器２、#２赤外線撮像器３からの#１、＃２赤外線画像における座標を観測取得し、これらの組合せを#１赤外線撮像器２、#２赤外線撮像器３について、それぞれ３組取得することで、上記＃１，＃２赤外線撮像器の取付位置Ｏ１=（Ｘ１，Ｙ１，Ｚ１）^T,Ｏ２=（Ｘ２，Ｙ２，Ｚ２）^T、及びその姿勢角（ω1,φ1,κ1）, （ω2,φ2,κ2）を算出する方法を説明した。

#１赤外線撮像器２、#２赤外線撮像器３からの赤外線画像から＃１,＃２テンプレートマッチング処理部９後の二値画像により、観測された模擬目標の座標位置を用いて、＃１，＃２赤外線撮像器パラメータを校正後、それらのパラメータを用いて目標測距を行うので、#１赤外線撮像器２、#２赤外線撮像器３の取付け位置、姿勢角の機械的な誤差の影響を受けずに、精度よく目標測距を行う効果が期待できる。

１赤外線目標検出装置、２ #１赤外線撮像器、３ #２赤外線撮像器、４ジンバル機構部、５ジンバル駆動制御部、７目標検出処理部、８特徴量演算回路、９ステレオマッチング処理部、１４目標測距部、１５画像合成表示部、１６シンボル重畳部、１７擬似目標発生装置、１８＃１、＃２赤外線撮像器パラメータ校正部、３０ウィンド回路、３１平均輝度演算回路、３２標準偏差演算回路、３３二値化しきい値演算回路、３４クリアスカイ／クラッタ領域判定回路、３５二値化回路、４０目標のテンプレート、４１テンプレートマッチング回路、４２しきい値、４３二値化回路、４４目標視線ベクトル生成回路、４５ステレオ視マッチング回路、４６視線ベクトル間最短距離。

Claims

ジンバル機構に設置され、同一の視野領域の赤外線画像を撮像する受光感度波長帯の異なる２台の赤外線撮像器と、
前記ジンバル機構を駆動制御し、前記赤外線撮像器を目標方向に各々指向させるジンバル駆動制御部と、
各々の赤外線撮像器が撮像した赤外線画像において、各々注目する注目画素の輝度値と前記注目画素の周辺領域における輝度平均値及び輝度ばらつきを求め、前記輝度ばらつきに基づき前記周辺領域が輝度ばらつきの低いクリアスカイ領域であるか、輝度ばらつきの高いクラッタ領域であるかを判定し、前記判定の結果に対応する二値化閾値を用いて二値化した二値画像を出力する目標検出処理部と、
前記二値画像で検出された各々の目標候補に対し空間的な位置の同一性を、各々の前記赤外線撮像器から前記目標候補に対する空間上における視線ベクトル間の差分ベクトルを評価指標とし、前記差分ベクトルが最短となるときの絶対値を算出し、前記絶対値を所定の値と比較することで評価し、前記絶対値が前記所定の値より小さいことにより同一性が高いと判断した目標について、真目標とみなして二値画像を出力するステレオマッチング処理部と、
を備えることを特徴とする赤外線目標検出装置。
前記判定の結果に基づき前記周辺領域がクラッタ領域とみなされた場合、クラッタ領域における目標検出性能がクリアスカイ領域における目標検出性能と同じになる二値化閾値を設定することを特徴とする請求項１記載の赤外線目標検出装置。
前記ステレオマッチング処理部は予め目標の輝度形状を表したテンプレートを備え、
前記テンプレートと前記二値画像から得られる目標位置を中心とした、前記赤外線画像の輝度形状との比較により前記目標の形状の同一性を評価するテンプレートマッチング回路と、
赤外線目標検出装置を原点とした空間座標における目標の視線ベクトルを求める目標視線ベクトル生成回路と、
前記視線ベクトルにより前記目標の空間的な位置の同一性を評価するステレオ視マッチング回路と、
を備えることを特徴とする請求項１または２記載の赤外線目標検出装置。
前記同一の視野領域を撮像する複数台の赤外線撮像器からの赤外線画像を合成し、ＴＶモニタへ表示画像として出力する画像合成部を備えることを特徴とする請求項３記載の赤外線目標検出装置。
前記ステレオマッチング処理部から前記目標視線ベクトルの目標視線ベクトル値を取得して相互に最近傍の位置関係にある位置をそれぞれ算出し、最近傍の位置関係にある位置間の中点を目標測距値として計測する目標測距部を備えることを特徴とする請求項４記載の赤外線目標検出装置。
前記表示画像に、前記目標測距値を含めた目標の特徴量を図形であるシンボルとして重畳するシンボル重畳部を備えることを特徴とする請求項５記載の赤外線目標検出装置。
赤外線目標を模擬するターゲット模擬装置を予め艦船の甲板などの慣性空間基準における既知の位置に設定し、前記ターゲット模擬装置からの模擬ターゲットを前記赤外線撮像器により撮像し、前記慣性空間基準と撮像画像基準における模擬ターゲットの観測位置の組合せより、前記各々の赤外線撮像器の慣性空間座標系における取付位置、姿勢角度を算出する赤外線撮像器パラメータ校正部を備え、
前記赤外線撮像器パラメータ校正部で求めた、各々の赤外線撮像器の慣性空間座標系における取付位置、姿勢角度を前記目標測距部へ更新後、目標測距することを特徴とする請求項６に記載の赤外線目標検出装置。