JP7028299B2

JP7028299B2 - 目標識別装置

Info

Publication number: JP7028299B2
Application number: JP2020169467A
Authority: JP
Inventors: 崇史森本
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2020-10-07
Filing date: 2020-10-07
Publication date: 2022-03-02
Anticipated expiration: 2036-06-15
Also published as: JP2021012713A

Description

この発明は、複数の赤外線波長帯域で取得した画像データから、特定の目標物のみを識別する目標識別装置に関する。

可視光帯域では差異を識別できない目標、特に高温物体について、従来、複数の赤外線波長帯域で取得した画像データを用いて目標を識別する目標識別装置が知られている（例えば特許文献１参照）。
この目標識別装置は、互いに異なる波長帯域で、同一視野の被写体画像を得る２つの撮像部と、前記２つの撮像部で得られた被写体画像の出力輝度を、波長帯域で別けて縦軸及び横軸とする直交座標系に夫々プロットしたときの座標点と、座標系の原点から上記座標点までの距離を計算する距離演算部と、前記座標点と前記原点を結ぶ直線と横軸との成す角を計算する角度演算部と、前記２つの演算部で得られる値を閾値処理することで有意目標を抽出する目標判定部を備えて、複数の背景のクラッタが含まれていても特定目標のみを識別する。このとき目標判定部における背景のクラッタと特定目標を弁別する検出ルールは、予め人手でルールベースのアルゴリズムを作成していた。

また、従来、赤外線の検出帯域による被撮像物の赤外領域における放射輝度の違いから目標を探知する赤外線目標探知装置が知られている（例えば特許文献２参照）。
この赤外線目標探知装置は、赤外線放射を３．５から４．０μｍ帯及び４．５から４．８μｍ帯の各波長帯域に分離して、それぞれ検出される赤外線画像を用いる。その中で、目標となる飛しょう体ロケットプルームの放射する特徴的スペクトルが４．５から４．８μｍの帯域に現れることを利用し、３．５から４．０μｍのスペクトルと比較することで、目標と背景のクラッタを弁別する。

特開２００５－２０８０２３号公報特開２０１１－１７９８５７号公報

しかしながら複数の赤外線波長帯域で取得した画像データを用いて高温物体を識別する際に、目標の波長帯域とクラッタの波長帯域が接近している場合は、輝度値のみを用いた識別しか行うことができない。このため有意な識別に使える特徴量数の不足により誤識別を生じる場合があった。また、互いに近い近似的波長帯域ではクラッタ輝度分布と目標輝度分布の境界が不明慮なため、目標として識別される高輝度領域が減少し、識別能力が低下してしまうという問題があった。

また、目標とクラッタの各対象領域の特徴が明確である場合は、目標判定部において有効な弁別を行うための検出ルールを予め作成できるが、想定外のクラッタもしくは目標の場合は各対象領域の特徴が不明確で、当該クラッタと目標の弁別を行うことができないという問題がある。

この発明は係る課題を解決するためになされたものであって、複数種の熱源由来のクラッタが存在しても、目標物に近似的な赤外線波長帯域を持つクラッタを弁別し、想定していない目標やクラッタに対しても、弁別精度の良い目標識別装置を得ることを目的とする。

この発明による目標識別装置は、目標に相対的に強い放射強度を有する第一の赤外線波長帯域における特徴的なスペクトルを撮像可能な第一のセンサと、クラッタに強い放射強度を有する第二の赤外線波長帯域における特徴的なスペクトルを撮像可能な第二のセンサとを有した撮像装置と、上記第一、第二のセンサのそれぞれ撮像した画像の輝度データからそれぞれベクトル情報を抽出し、上記第一、第二のセンサにそれぞれ対応して抽出されるそれぞれのベクトル情報を組み合わせて得た複数の特徴量を抽出する検出処理部と、上記検出処理部で抽出した上記複数の特徴量を用いて、目標とクラッタをそれぞれ異なる特徴量を用いて識別する複数の閾値の学習データに基づいて目標を識別する識別処理部と、目標画像と目標のない画像を上記検出処理部と同一構成の検出処理部に入力し、当該検出処理部と同一構成の検出処理部により抽出された上記複数の特徴量に基づき、上記識別処理部において特徴量を識別する上記複数の閾値の学習データを生成する機械学習による学習処理を行う学習データ生成部と、を備えたものである。

この発明によれば、近似的な赤外線波長帯域の目標とクラッタを精度よく識別できる目標識別装置を得ることができる。

実施の形態１による目標識別装置の構成を示す図である。実施の形態１による特徴量抽出領域を例示する図である。実施の形態１による学習データ生成部の構成を示す図である。実施の形態２による目標識別装置の構成を示す図である。実施の形態２による学習データ生成部の構成を示す図である。

実施の形態１．
図１は、この発明に係る実施の形態１による目標識別装置の構成を示す図である。図１において、実施の形態１による目標識別装置は、撮像装置１と、信号処理部２と、表示装置３によって構成される。この目標識別装置は、航空機、車両などの移動物体または固定装置に搭載されて、得られた画像から目標の識別を行う。

この目標識別装置が識別すべき目標(以下、目標)は、例えばロケットモータの燃焼部分である。ロケットモータの燃焼剤は炭化水素化合物と酸化剤により構成され、この燃料が燃焼すると、高温高圧の二酸化炭素が排出される。排出時の赤外線波長は、３．５から４．９μｍの波長帯よりも４．５から４．８μｍの波長帯に強い放射強度を持つ。一方、クラッタとなる太陽光による反射物は主に３．５から４．０μｍの波長帯に相対的に強い放射強度を持つ。このように、高温物体が発する赤外線波長特性を利用し目標を識別する。

撮像装置１は、波長帯域Ａのセンサ４と、波長帯域Ｂのセンサ５を備える。センサ４、５はそれぞれ別の波長帯域の赤外線画像を撮像し、かつ同一視野の画像を撮像する。例えばセンサ４は、波長帯域Ａとして３．５から４．０μｍに感度を有する。センサ５は、波長帯域Ｂとして４．５から４．８μｍに感度を有する。撮像装置１の各センサ４、５の撮像した画像は、それぞれ信号処理部２に転送される。

信号処理部２は、目標の検出処理部６と、検出物の識別処理部７によって構成される。
検出処理部６は、撮像装置１から受け取った波長帯域Ａのセンサ４の画像と波長帯域Ｂのセンサ５の画像に対して、識別処理部７にて識別処理を行うための前処理を行う。検出処理部６は、この前処理として、特徴点検出８、特徴点強調処理９、特徴量抽出処理１０、特徴量マージ処理１１を行う。

特徴点検出８は識別目標の特徴的なスペクトルを高感度に撮像可能なセンサで撮像した画像に対して行う処理である。また、波長帯域Ｂのセンサ５で得られた画像の輝度データと周囲のノイズ量を比較し、一定以上の値であれば目標に近い波長帯域を持つクラスタ(以下、対象)として二値化する。

特徴点検出８に並行して、波長帯域Ａのセンサ４と波長帯域Ｂのセンサ５の画像それぞれに対して特徴点強調処理９を行う。特徴点強調処理９は、高周波成分を抽出し、低周波成分のオフセットの差分をとることで、背景と目標の境界を強調する。

特徴量抽出処理１０は特徴点強調処理９によって得られた画像に対して行い、特徴点検出８で検出した対象の重心座標の画素周囲の輝度データを抽出する。

例として、５×５の範囲にある２５画素分を抽出した際は、一つの対象あたり図２に示すカーネル形状Ａ１８に従い、波長帯域Ａのセンサ４の画像は式（１）のベクトル情報として抽出し、波長帯域Ｂのセンサ５はカーネル形状Ｂ１９に従い式（２）のベクトル情報として抽出する。

なお、抽出範囲は形態によって様々な範囲をとることが可能であり、ｎ×ｍ（ｎ，ｍは任意の自然数）の範囲や円形等の対象画素の周辺を抽出すればよい。また、抽出する特徴量も輝度データに拘らず、装置が計測可能な特徴量を使用することができる。

ここで１つの検出画素あたり周囲５×５の画素を特徴量とした場合は、特徴点検出８で検出した対象から特徴量抽出処理１０によって得られる重心座標の輝度データ単独で識別処理をかける場合と比べて、２５倍の情報量を得られることになる。また、対象が持つ重心座標の輝度データだけでなく、５×５領域における対象の形状情報と特徴点強調処理９で取得した波長帯域Ａのセンサ４の強調画像と波長帯域Ｂのセンサ５の強調画像を比較する。これによって得られる対象の波長帯域ごとの熱放射情報も同時に扱えるようになる。

更に識別処理部７の機械学習においては、人間が想定していない情報も関連付けて特徴量としてとらえることができる。本実施の形態１では、一つの対象につき２つのセンサがあり、２５画素の情報量なので５０次元領域においての情報の関連付けが行われることになる。

特徴量マージ処理１１は特徴量抽出処理１０で得られた特徴量をマージする。例えば、特徴量抽出処理１０で式（１）と式（２）が得られた場合、式（１）と式（２）を組み合わせて次の式（３）を得る。

式（３）の形式にすることで、機械学習は５０次元の各次元を同一重みの情報として扱うことになる。そうすることで、学習時に識別に不要な次元は使用しないという選択肢を得ることができる。この式（３）の特徴量は特徴点検出８で検出した数だけ行う。

検出処理部６で生成された特徴量は識別処理部７に送られる。
識別処理部７は識別器１２と識別器１３で構成される。識別器１２は第一識別器１４と事前に得られた第一学習データ１５を保持している。識別器１３は第二識別器１６と事前に得られた第一学習データ１７を保持している。

第一識別器１４がもつ第一学習データ１５は機械学習によって生成される。第二識別器１６がもつ第二学習データ１７は機械学習によって生成される。この機械学習は代表的なＳＶＭ(Support Vector Machine)を使用する。

このように識別器を第一識別器１４、第二識別器１６と多段構成にすることにより、それぞれの識別器が目標とクラッタがもつ性質ごとに識別処理をかけることができる。

例えば、初段では、第一の識別器１４がロケットモータと太陽光反射の特徴的スペクトルに基づいて目標であるロケットモータとクラッタである太陽光反射を識別する。
しかし、クラッタがロケットモータに近いスペクトルをもつ燃焼物だった場合、誤認識を生じる。そこで次段の第二の識別器１６では、それぞれの特徴的スペクトルだけに頼らず、形状情報や赤外波長帯域ごとの熱放射情報を用いて近似的波長帯域での識別に特化した識別を行う。近似的波長帯域に特化した場合、目標とクラッタがそれぞれ特徴的スペクトルを持っていると誤認識となる場合があるため、複数の識別器で処理することで誤認識を低下させることが可能になる。

ここで、第一学習データ１５及び第二学習データ１７は、学習データ生成部２１によって生成される。図３は、実施の形態１による学習データ生成部２１の構成を示す図である。学習データ生成部２１は、学習画像発生部２０より転送される、目標が写っている正例画像２４及び目標が写っていない負例画像２５を受け取る。

正例画像２４及び負例画像２５は、正例、負例が判断できるようにあらかじめ教師信号が付与されている。また、それぞれの画像は撮像装置１を用いて撮像されたものであり、波長帯域Ａ及び波長帯域Ｂの波長帯域でそれぞれ撮像が行われている。

学習データ生成部２１は検出処理部２６と学習処理３１、学習処理３２によって構成される。検出処理部２６に含まれる特徴点検出２７、特徴点強調処理２８、特徴量抽出処理２９、及び特徴点マージ処理３０は、図１で説明した検出処理部６に含まれる特徴点検出８、特徴点強調処理９、特徴量抽出処理１０、及び特徴点マージ処理１１と、それぞれ同等の動作を行う。検出処理部２６は、図１で説明した検出処理部６と同一構成であって、同様に動作して特徴量を抽出する。

学習処理３１及び学習処理３２は検出処理部２６が抽出した複数の特徴量に基づいて、機械学習のＳＶＭを用いて正例と負例をそれぞれ分ける複数の閾値を決定する。
学習処理３１と学習処理３２は、それぞれ別の特徴量を入力し学習する。例えば、学習処理３１に対象の重心座標における輝度データを用いていた場合、対象の波長帯域Ａと波長帯域Ｂの２次元の輝度データを比較して閾値を決定する。

この実施の形態１では、目標がロケットモータの燃焼ガスであった場合、波長帯域Ｂの方が波長帯域Ａに比べ強い輝度データを示す。クラッタは太陽光反射などであるため、波長帯Ａの方が波長帯域Ｂに比べて強い輝度データを示す。この相関性を用いて閾値を決定する。得られた閾値は第一学習データ２２として保持される。第一学習データ２２は信号処理部２において第一学習データ１５として扱われる。

学習処理３１において波長帯域Ａ及び波長帯域Ｂの特徴的な相関性を学習した場合、学習処理３２では近似的な波長帯域における相関性を学習する。例えば、特徴量として５０次元の情報を用いた場合、図３のカーネル形状Ａ１８及びカーネル形状Ｂ１９から得られる対象の輝度データ、形状情報、波長帯域ごとの熱放射情報なども含まれる。

ここで学習処理３２の学習処理を行うと、５０次元上の超空間において超平面の閾値を決定する。得られた閾値は第二学習データとして保持される。第二学習データ２３は信号処理部２において第二学習データ１７として扱われる。なお、学習処理３１及び学習処理３２で使用する特徴量は、特徴量抽出処理２９で得られる特徴量から任意のものを選択することが可能である。

学習処理３１及び学習処理３２は識別線を線形で引くように設定している。入力した特徴量からガウシアン型のカーネル関数を用いて非線形の識別線を引く方式があるが、計算量が多くなり、リアルタイム性に欠ける。そこで、入力する特徴量自体の次元を増やしておき、線形の識別線（高次元上では超平面）を引くことでリアルタイム性と高い識別性能を獲得している。

識別器１２は式（３）のうち、第一学習データ１５が学習した特徴量と同様の特徴量を使用する。第一学習データ１５が保持する閾値を用いて第一識別器１４は対象の判定を行う。対象が第一識別器１４によって閾値より大きな値、つまり正の値をとった場合目標と判定される。

識別器１３の基本的動作は識別器１２の動作と同じであるが、保持している第二学習データ１７は第一学習データ１５と別の特徴量で学習する。第二学習データ１７が保持する閾値を用いて第二識別器１６は対象の判定を行う。対象が第二識別器１６によって閾値より大きな値、つまり正の値をとった場合目標と判定される。

表示装置３は第一識別器１４と第二識別器１６の識別結果の論理積をとる。第一識別器１４及び第二識別器１６の両方が目標と識別した場合、表示装置３は波長帯域Ａのセンサ４の画像もしくは波長帯域Ｂのセンサ５の画像上に、目標を示すマークを重畳する。

以上説明した通り、実施の形態１による目標識別装置は、複数の異なる赤外線波長帯域のセンサを有した撮像装置１と、上記各センサ（４、５）の画像の特徴量を抽出する検出処理部６と、上記検出処理部６で抽出した画像の特徴量を用いて、目標とクラッタをそれぞれ異なる特徴量を識別する複数の閾値の学習データ（１５、１７）に基づいて目標を識別する複数の識別器（１２、１３）を有し、それぞれの識別器の識別した目標の論理積から目標を決定し、表示装置３に決定した目標を出力する識別処理部７と、目標画像と目標のない画像を上記検出処理部６と同一構成の検出処理部２６に入力し、当該同一構成の検出処理部２６の処理結果に基づき、上記識別器（１２、１３）において特徴量を識別する上記複数の閾値の学習データ（１５、１７）を生成する学習データ生成部２１を備えたことを特徴とする。

これによって、目標とクラッタの波長帯域の違いの特徴を利用し、撮像装置１が捉えた目標を識別でき、線形の多次元の超平面で処理を行うことでリアルタイム性を獲得するという効果を奏する。これによって、複数の赤外線波長帯域を撮像できる撮像装置を用いて取得した画像データから、特定の目標物のみを識別する目標識別装置において、近似的な赤外線波長帯域の目標とクラッタを精度よく識別することができる。

また、複数種の熱源由来のクラッタが存在しても、目標物に近似的な赤外線波長帯域を持つクラッタを弁別するとともに、機械学習によって目標の検出ルールを決定することで、想定していない目標やクラッタに対しても、精度の良い目標識別装置を得ることできる。

また、複数次元での線形識別処理により、リアルタイム性能を獲得できる。更に、複数次元には輝度データだけでなく、装置が計測可能な情報をどれでも使用しても良い。

実施の形態２．
図４はこの発明に係る実施の形態２による目標識別装置の構成を示すブロック図である。図５はこの実施の形態２による学習データ生成部の構成を示す図である。図４に示す実施の形態１による目標識別装置は、図１の識別処理部７が更に多層化しており、識別器の個数は任意の自然数Ｎとなる。図１と同一符号のものは同一の構成をなし、同様に動作する。また、実施の形態２による目標識別装置は、脅威判定４７を有している。

図４の構成において、撮像装置１及び信号処理部２の処理は図１の実施の形態１と同様である。しかし、識別処理部７がもつ学習データはＮ個あり、Ｎ個の各学習データに対応したそれぞれの識別器である、第一識別器１４、第二識別器１６、・・・、第Ｎ識別器３４は、検出処理部６から得られる特徴量を識別する。

第一識別器１４、第二識別器１６、・・・、第Ｎ識別器３４の各識別器それぞれの学習データは、図５に示す学習データ生成部４７によって生成される。学習データ生成部４７は図３の学習データ生成部２１と同様の処理を行う。Ｎ個の学習処理は並行して行われる。学習画像発生部２０は、第一学習セット３６、第二学習セット３９及び第Ｎ学習セット４２のＮ種類の学習セットを出力する。Ｎ個のそれぞれの学習処理は、学習画像発生部２０から転送されるＮ種類の各学習セットと対になっている。

第一学習セット３６を用いて学習処理３１が行われ第一学習データ２２を生成し、第二学習セット３９を用いて学習処理３２が行われ第二学習データ２３を生成し、第Ｎ学習セット４２を用いて学習処理Ｎ４５が行われ第Ｎ学習データ４６が生成される。

学習画像発生部２０がもつ各学習セット（第一学習セット３６、第二学習セット３９、・・・、第Ｎ学習セット４２）は、それぞれ別の目標が正例として教師信号を付与された状態で格納されている。
例えば、第一学習セット３６はロケットモータの燃焼ガスによって放射される高波長側の対象を正例画像３７としその他のクラッタを負例画像３８とする。第二学習セット３９は航空機のエンジン発熱を正例画像４０としその他のクラッタを負例画像４１とする。第Ｎ学習セット４２は第二学習セット３９とは別の航空機のエンジン発熱を正例画像Ｎ４３としその他のクラッタを負例画像Ｎとする。

図１、図３の構成では、ロケットモータの燃焼ガスによって放射される高波長側の対象とその他のクラッタのみを識別の対象としていた。この実施の形態２による図４、図５の構成では、学習データ生成部４８で得られた第Ｎ学習データ４６までを図４の識別処理部７に組み込む。これによって図４の構成では、学習データセット分Ｎの数だけの識別対象の種類を得ることができる。

表示装置３は、識別処理部７からの識別データに基づき、表示装置３上に識別した対象の種類の表示が可能となる。上記例で挙げた構成を用いると、表示装置３は識別器１２が目標と判断した対象は「ロケットモータの燃焼ガス」に相当するマーカを重畳し、識別器１３が目標とした対象は、「航空機１」に相当するマーカを重畳し、識別器Ｎ３３が目標とした対象は、「航空機Ｎ」に相当するマーカを重畳する。

対象が複数の識別器において目標とされた際は、脅威判定４７によって対象に重畳するマーカ種別を決定する。脅威判定４７は本装置が搭載される航空機、車両などの移動物体または固定装置にとって脅威の目標かどうかを判定する。上記例では、早急に対処すべき目標は「ロケットモータの燃焼ガス」を備えた対象と設定しておくことで、識別器１２で目標とされたものは識別器１３から識別器Ｎ３３のどれかが「航空機」と識別したとして、表示装置３上では「ロケットモータの燃焼ガス」相当のマーカしか重畳されない。

以上、説明した通り実施の形態２による目標識別装置は、１つの目標の識別だけでなく、複数種類の目標識別も可能であるという効果を奏する。

１撮像装置、２信号処理部、３表示装置、６検出処理部、７識別処理部、８特徴点検出、９特徴点強調処理、１０特徴量抽出処理、１１特徴量マージ処理、１２識別器、１３識別器、１４第一識別器、１５第一学習データ、１６第二識別器、１７第二学習データ、２２第一学習データ、２３第二学習データ、２６検出処理部、２７特徴点検出、２８特徴点強調処理、２９特徴量抽出処理、３０特徴量マージ処理、３１学習処理、３２学習処理、３３識別器Ｎ、３４第Ｎ識別器、３５第Ｎ学習データ、３６第一学習セット、３９第二学習セット、４２第Ｎ学習セット、４５学習処理Ｎ、４６第Ｎ学習データ、４７脅威判定。

Claims

目標に相対的に強い放射強度を有する第一の赤外線波長帯域における特徴的なスペクトルを撮像可能な第一のセンサと、クラッタに強い放射強度を有する第二の赤外線波長帯域における特徴的なスペクトルを撮像可能な第二のセンサとを有した撮像装置と、
上記第一、第二のセンサのそれぞれ撮像した画像の二値化によって検出した対象における重心及びその周囲画素の輝度データから、それぞれ重心及びその周囲画素に対応したベクトル情報を抽出し、上記第一、第二のセンサにそれぞれ対応して抽出されるそれぞれのベクトル情報を組み合わせて関連付けた当該対象の輝度データ、形状情報、波長帯域ごとの熱放射情報を含む複数の特徴量を抽出する検出処理部と、
上記検出処理部で抽出した上記複数の特徴量を用いて、目標とクラッタをそれぞれ異なる特徴量を用いて識別する複数の閾値の学習データに基づいて目標を識別する複数の識別器を有し、それぞれの識別器の識別した目標の論理積から目標を決定し、表示装置に決定した目標を出力する識別処理部と、
目標画像と目標のない画像を上記検出処理部と同一構成の検出処理部に入力し、当該検出処理部と同一構成の検出処理部により抽出された上記複数の特徴量に基づき、上記識別処理部において特徴量を識別する上記複数の閾値の学習データを生成する機械学習による学習処理を行う学習データ生成部と、
を備え、
上記識別処理部は、上記検出処理部で抽出した上記複数の特徴量を用いて、上記複数の閾値の学習データにおける第一の閾値の学習データに基づいて目標とクラッタを特徴的スペクトルにより識別する第一識別器と、上記複数の閾値の学習データにおける第二の閾値の学習データに基づいて形状情報や赤外波長帯域ごとの熱放射情報により近似的波長帯域での識別に特化して目標とクラッタを識別する第二識別器とを有し、
上記学習データ生成部は、上記検出処理部で抽出した上記複数の特徴量における輝度データの特徴量に基づいて、目標とクラッタの上記第一、第二の赤外線波長帯における輝度データの強度の相関性を用いて決定した閾値を上記第一の閾値の学習データとして保持する第一の学習処理と、
上記検出処理部で抽出した上記複数の特徴量における上記対象の輝度データ、形状情報、波長帯域ごとの熱放射情報を含む上記第一の学習処理とは別の特徴量に基づいて近似的な赤外線波長帯域における相関性を用いて得られた閾値を上記第二の閾値の学習データとして保持する第二の学習処理とを有する、
目標識別装置。
上記識別処理部は、上記検出処理部で抽出した上記複数の特徴量の識別を行う第Ｎ識別器（Ｎは任意の自然数）を更に有し、
上記学習データ生成部は、上記学習画像発生部から第一学習セット、第二学習セット、及び第Ｎ学習セット（Ｎは任意の自然数）のＮ種類の学習セットが入力され、各学習セットはそれぞれ別の目標が正例画像として与えられており、それぞれの学習セットに基づくそれぞれの識別器に対応した学習処理によりそれぞれの学習データを生成し、
上記第一、第二のセンサの撮像した画像に、上記それぞれの識別器が識別した目標の種類を表示するマーカを重畳する表示装置を備えた請求項１に記載の目標識別装置。