JP5743935B2 - 対象物検出装置および対象物検出方法 - Google Patents

Description

本発明は、例えば誘導飛翔体の発射装置もしくは誘導飛翔体自身に搭載され、対象物を検出し追跡するために用いられる対象物検出装置および対象物検出方法に係り、特に自身も移動している中、移動する対象物を検出する技術に関する。

飛来する目標対象物（以下、移動対象物）に向けて地上側から発射される誘導飛翔体を誘導する誘導システムにあっては、赤外線カメラ等の撮像機器を利用する方法が知られている。この方法は、撮像機器で移動対象物の方向を撮影し、撮影によって取得された赤外線等による画像データを画像処理することにより輝度領域分布による画像を生成する。そして、画像中の高輝度領域を移動対象物として抽出し、抽出された各領域の輝度最大値、最小値、平均輝度、大きさなどの画像特徴量を演算し、これらの画像特徴量を基に、予め用意される影像パターンに最も近い領域を移動対象物として検出し追跡誘導する。

ところで、実際には、上空から目標検出を試みる場合、地表や雲のような対象物と紛らわしい物体が画像内に入り込んで、移動対象物の背景にその移動対象物と同様な輝度を示す領域が存在することが多々ある。この場合、画像特微量だけでは移動対象物を背景と区別して的確に検出することが困難である。そこで、従来では、このような状態においても的確に移動対象物を検出するために、連続的に得られる各画像データから関連領域を抽出し、各領域の動きを反映する特微量を抽出し、これを基に移動対象物を背景と区別する技術が存在する。

但し、既存の技術の多くは、赤外線画像のうち輝度の高い領域を抽出し、抽出された領域の重心の座標をその領域の位置として定義し、各領域の位置（重心座標）の移動により、移動する対象物として検出するようにしている。

しかしながら、上記の手法では、コントラストの変化やノイズの影響によって領域の形状が変化するので、重心の座標も容易に変化してしまうことになる。このため、領域が静止している状態でもコントラストの変化やノイズの影響により重心位置が変化し、誤った領域の動きが検出されることがある。このような誤検出は、目標とする移動対象物が近くに存在し、その見かけ上の動きが大きければあまり影響しないが、目標が遠方に存在し見かけ上の動きの大きさが微小であれば深刻な影響を及ぼすことになる。

例えば、特許文献１にある目標検出装置は、ガウス分布形状で作成したテンプレートと赤外線画像データ上の像をマッチングさせることで、遠方にある見かけ上小さい対象物を検出することを可能としているが、対象物の元々の像が小さいために同程度の大きさを持った像が同じ画像内に存在する場合、誤識別を起こしてしまう可能性があった。

特開２００９−６９０１９号公報 特開２００７−１７１０７７号公報 特許第４１５２６９８号公報

以上のように、既存の対象物検出技術では、コントラストの変化やノイズの影響により重心位置が変化し、誤った領域の動きが検出されることがあり、移動対象物が遠方に存在して見かけ上の像の動きが微小な場合には、同じ画像内に存在する同程度の像を誤検出してしまうおそれがある等、深刻な影響を及ぼすことになる。

本実施形態は上記の問題を解決するためになされたもので、取得した画像のコントラストの変化やノイズの影響を受けることなく、その画像からより確実に移動対象物を検出することのできる対象物検出装置及び対象物検出方法を提供することを目的とする。

上記の課題を解決するために、本実施形態によれば、画像データ取得手段によって電磁波画像データを規定のレートで順次取得し、特徴点抽出手段によって電磁波画像データから複数の特徴点を抽出し、特徴点対応付け手段によって複数の画像データにわたり類似した特徴点を対応付け、三次元算出手段によって特徴点の対応付けから特徴点それぞれの三次元位置を算出し、対象物検出手段によって特徴点の三次元位置の集合から相対的に最も逸脱する三次元位置を示す特徴点を対象物として検出する態様とする。

実施形態１に係る対象物検出装置の構成を示すブロック図。 実施形態１に係る対象物検出装置の特徴点抽出部の抽出動作例を説明するための図。 実施形態１に係る対象物検出装置の特徴点抽出部の他の抽出動作例を説明するための図。 実施形態１に係る対象物検出装置の特徴点抽出部の他の抽出動作例を説明するための図。 実施形態１に係る対象物検出装置の対応付け処理部の対応付け動作例を説明するための図。 実施形態１に係る対象物検出装置の対応付け処理部の他の対応付け動作例を説明するための図。 実施形態１に係る対象物検出装置の対応付け処理部の動作を説明するための図。 実施形態１に係る対象物検出装置の対象物検出処理過程を示すフローチャート。 実施形態２に係る対象物検出装置の構成を示すブロック図。

以下、図面を参照して本実施形態に係る対象物位置検出装置を説明する。

（実施形態１）
まず、図１から図７を用いて実施形態１を説明する。

図１は、実施形態１における対象物検出装置の構成及び機能を示すブロック図である。この対象物検出装置は、電磁波画像データを取得する画像データ取得部１００と、電磁波画像データから特徴点を抽出する特徴点抽出部１０１と、複数の画像データにわたる特徴点を対応付ける対応付け処理部１０２と、特徴点の対応付け情報から特徴点の三次元位置を算出する三次元算出部１０３と、三次元算出結果から特徴点の位置を識別し最も逸脱する特徴点を対象物として検出する対象物検出部１０４とから構成される。

以下に、本実施形態１の対象物検出装置の動作について説明する。

本実施形態１の対象物検出装置は、電磁波画像データから対象物を検出するものである。まず、画像データ取得部１００により、電磁波画像データ３００が取得される。例えば、この画像データ取得部１００は赤外線カメラであり、電磁波画像データ３００は赤外線画像である。この画像データ取得部１００は一定のレートで画像データを出力する。

特徴点抽出部１０１は、入力画像データ上において特徴的な箇所を特徴点として抽出する。ここで、特徴点の抽出の方法として、任意に設定された閾値より高い輝度を示す領域を抽出し、その領域の重心、もしくは領域内の最大輝度を示す位置を特徴点として抽出することで実行される。

図２は特徴点抽出の例を示しており、画像３００の特徴点として、高輝度領域３０２の重心３０１が特徴点とされる場合を示している。実際には画像３００上に複数の特徴点が抽出される。検出すべき対象物は画像データの中で相対的に高い輝度で撮像されることが前提にあり、この段階で輝度値の低い画素が除外され、ここで抽出された複数の特徴点中に対象物の候補が含まれることになる。

さらに、他の特徴点を抽出する方法としては、図３または図４に示すように画像３００中に局所領域３０３を設定し、その局所領域３０３内の輝度の分散が大きい箇所を特徴点３０４として抽出することが考えられる。つまり、輝度が急激に変化する箇所が特徴点として抽出される。

対応付け処理部１０２は、特徴点抽出部１０１で抽出された特徴点を複数の画像データ間で対応付ける処理を実行する。基本的な処理としては、図５に示すように、画像３００ａ及び３００ｂ間の特徴点同士の類似度を算出して両者を比較し、最も類似している特徴点同士を対応付ける。つまり、画像３００ａのどの（ｘ，ｙ）座標と画像３００ｂのどの（ｘ，ｙ）座標が対応しているか、特徴点の数分の組み合わせが得られることになる。また、類似度の算出は、特徴点の周りに同サイズの領域３０５を設定し、その領域の相関を計算することで可能となる。

また、対応付ける際、本実施形態１の対象物検出装置の移動方向を考慮することにより、対応付けの精度が向上するとともに、処理量の軽減につながる。例えば、地表に対してほぼ平行して飛行している場合、連続的に取得される画像データを観察すると、図６（ａ）に示すように特徴点の移動３０６がある一定方向へ限定されるように見える。その移動方向の近い位置に沿って特徴点が移動することを考慮し、図６（ｂ）に示すように検索範囲３０７を設定することで、対応付けの候補を絞り込むことができ、精度を向上させることができる。

三次元算出部１０３は、対応付け処理部１０２で得られた対応付け情報から特徴点それぞれの三次元位置を算出する。一般に、異なる角度から撮影された画像から、撮影対象の三次元立体構造を再構成する技術は確立しており、この対応付けの情報を得ることができれば、特徴点の三次元位置情報を得ることができる。特許文献２及び３は、これら技術に対する公知例である。三次元算出部１０３においては、これらの技術を利用することで、特徴点同士の相対的な三次元位置関係が算出されることになる。

また、ここで対応付け処理部１０２おいて、対応付けの実施とともに、その対応付けにおける類似度も計算される。抽出される特徴点が多い場合、誤った対応付けも含まれる確率が高くなるが、類似度の高い対応付けを取捨選択することで、三次元位置の算出の正確さを向上させることができるとともに、特徴点の取捨選択も可能となる。

次に対象物検出部１０４は、三次元算出部１０３により算出された特徴点の三次元位置を基に対象物を検出する。図７に示すように、地表面上に該当する特徴点の集合４００と対象物の特徴点４０１が識別される。ここでは、地表面上の点は、近似してある２次元面上近くに存在する特徴点を地表面上の物体の特徴点とし、その面から大きく逸脱する特徴点が対象物として検出されることとなる。つまり、三次元空間上で最も各特徴点との距離が最も近くなる平面もしくは曲面を推定し、同面から最も逸脱した特徴点４０１を対象物として検出する。

また、対象物は移動しており、地表面の特徴点およびその三次元位置が安定的に得られる場合は、地表面の特徴点に対して、対象物の特徴点は時間的に変動する。この三次元位置の時間的な変化量を比べることでも、対象物の特徴点を識別することが可能となる。

ここで、地表上の特徴点は静止物であるが、対象物は動くことを想定している。このため、対象物に該当する三次元位置情報は検出するための情報であって、実際の三次元位置を示しているものではないことに注意する必要がある。この逸脱する三次元位置情報を持つ特徴点を２次元画像データ上で追跡することとなる。

図８は本実施形態１の対象物検出装置における対象物検出処理を示すフローチャートである。

まず、赤外線画像データを取得し（Ｓ１）、取得画像から特徴点を抽出し（Ｓ２）、複数の画像間の特徴点を対応付ける（Ｓ３）。続いて、特徴点の対応付け結果から特徴点の三次元位置を算出し（Ｓ４）、特徴点の三次元位置を識別して対象物を検出して（Ｓ５）、一連の処理を終了する。

以上説明したように本実施形態１では、画像上の特徴点の対応付けから、特徴点の相対的な三次元位置関係が算出され、地表面上の特徴点の集合から最も逸脱する特徴点を対象物として検出される。したがって、対象物の背景に、２次元的に対象物の像と似通った像が写りこんでいても、三次元位置情報で検出されるため、誤検出を防ぐことができ、これによって検出性能を高めた対象物検出装置を提供することが可能である。

（実施形態２）
図９は、実施形態２における対象物検出装置の構成及び機能を示すブロック図である。但し、図９において、図１と同一部分には同一符号を付して示し、ここでは異なる部分を中心に説明する。

本実施形態２における対象物検出装置では、実施形態１における対象物検出装置の構成において、高度情報取得部１０５と、姿勢情報取得部１０６が加えられる。

次に動作について説明する。

まず、実施形態１と同様に画像データ取得部１００で画像データが取得されるが、それと同時に高度情報取得部１０５により本対象物検出装置が存在する高度が取得され、姿勢情報取得部１０６により画像データ取得部１００が指向している方向・姿勢情報が取得される。例えば、高度情報取得部１０５はＧＰＳから位置情報を取得するものや、圧力計による気圧の変化により高度を測定するものが考えられる。また、姿勢情報取得部１０６に関しては、ジャイロセンサなどが考えられる。

これらの高度及び姿勢情報が対象物検出部１０４に入力されることで、対象物検出装置自体の指向方向が分かるため、地表面の方向を検知することができる。例えば、対象物検出装置は、飛行中に回転し姿勢が変化することがあるが、このような状況下で地表面の方向が分からず、特徴点も少ない場合、地表面上の特徴点の集合を特定することができない可能性がある。しかしながら、本実施形態２によれば、地表方向が分かるので、地表面上の特徴点に該当する、面上に近い特徴点の集合を特定しやすくなり、対象物検出部１０４における誤検出を防ぐことができる。

以上のように、本実施形態２の対象物検出装置によれば、三次元情報を基に対象物を検出する際に、自身の位置および姿勢を把握することができ、さらに地表面の特徴点と対象物との識別性能が向上し、より確実に誤検出を防ぐことができる。

尚、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１００…画像データ取得部、１０１…特徴点抽出部、１０２…対応付け処理部、１０３…三次元算出部、１０４…対象物検出部、１０５…高度情報取得部、１０６…姿勢情報取得部。

Claims (8)

1. 電磁波画像データを規定のレートで順次取得する画像データ取得手段と、
   前記電磁波画像データから複数の特徴点を抽出する特徴点抽出手段と、
   前記複数の画像データにわたり類似した特徴点を対応付ける特徴点対応付け手段と、
   前記特徴点の対応付けから特徴点それぞれの三次元空間の位置を算出する三次元算出手段と、
   前記三次元空間で前記特徴点それぞれの距離が最も近くなる平面もしくは曲面を推定し、前記平面もしくは曲面から最も逸脱する三次元空間での位置を示す特徴点を対象物として検出する対象物検出手段と
   を具備することを特徴とする対象物検出装置。
2. 前記特徴点抽出手段は、前記電磁波画像データの輝度情報に対して任意の輝度閾値を越える高輝度領域を抽出し、その領域の重心を特徴点とする機能を有することを特徴とする請求項１記載の対象物検出装置。
3. 前記特徴点抽出手段は、前記電磁波画像データの輝度情報に対して任意の輝度閾値を越える高輝度領域を抽出し、その領域中のピークを特徴点とする機能を有することを特徴とする請求項１記載の対象物検出装置。
4. 前記特徴点抽出手段は、任意に設定されるサイズの局所領域中において輝度の分散が大きい局所領域の中心位置を特徴点として検出する機能を有することを特徴とする請求項１記載の対象物検出装置。
5. 前記特徴点対応付け手段は、前記電磁波画像データの進行方向に拘束し対応付けることを特徴とする請求項１乃至４のいずれか記載の対象物検出装置。
6. 前記特徴点対応付け手段は、それぞれの対応付けに特徴点同士の類似度を保持させる機能を有し、
   前記三次元算出手段は、前記類似度の高い対応付けのみを利用して前記三次元空間での位置を算出する機能を有することを特徴とする請求項１乃至５いずれか記載の対象物検出装置。
7. さらに、高度情報を取得する高度情報取得手段と、姿勢情報を取得する姿勢情報取得手段とを具備し、
   前記対象物検出手段は前記高度情報と前記姿勢情報から地表面の方向を検知し地表面上の特徴点の集合を特定するとともにその集合から最も逸脱する特徴点を対象物として検出する機能を有すること
   を特徴とする請求項１乃至６のいずれか記載の対象物検出装置。
8. 電磁波画像データを規定のレートで順次取得し、
   前記電磁波画像データから複数の特徴点を抽出し、
   前記複数の画像データにわたり類似した特徴点を対応付け、
   前記特徴点の対応付けから特徴点それぞれの三次元位置を算出し、
   前記三次元空間で前記特徴点それぞれの距離が最も近くなる平面もしくは曲面を推定し、
   前記平面もしくは曲面から最も逸脱する三次元空間での位置を示す特徴点を対象物として検出することを特徴とする対象物検出方法。

Images