JP5361352B2 - 目標検出装置 - Google Patents

Description

本発明は、飛しょう体の誘導装置における目標検出装置に関する。

飛しょう体は赤外線画像によって目標を追跡する。このため、追跡目標は赤外線を放射する熱源物体であるフレアを放出して飛しょう体をこの熱源物体に誘導させることにより追跡を逃れようとする。

この点に関し、従来の目標検出装置には異なる二つの波長によって追跡目標を撮像し、この画像を内部の特徴のある部分画像にラベルづけを行うセグメンテーションを行って、検出した赤外線を放射する物体の中からフレアを排除する技術が提案されている。

例えば、近赤外波長と中赤外線波長の２波長の画像からセグメンテーションを行い、追跡目標の排気部分と先端の高温部分の位置の特徴から追跡目標の方向と慣性主軸を検出するとともにフレアを識別し排除する技術が提案されている（例えば、特許文献１）。

セグメンテーションの高速アルゴリズムが提案されている（例えば、特許文献２）。近赤外線波長と遠赤外線波長の２波長の画像を用い、波長による赤外線強度から温度を算出し、高温部の画像を抑圧して船舶から放出されるフレアを追跡目標から排除する技術が提案されている（例えば、特許文献３）。

異なる２波長の赤外線画像を用い、波長による赤外線強度から絶対温度を求め、所定の温度の目標を検出する技術が提案されている（例えば、特許文献４）。
特許第３４３１２０６号公報 特許第３６６８０９２号公報 特開平６−１７４８２８号公報 特開２００５−３３７８０９号公報

これらの従来の目標検出装置は２波長の画像から追跡目標の絶対温度を算出し、フレアを判別している。絶対温度の算出には検出する２波長ともに低温から高温までの広い範囲の温度差を高精度に検出する必要がある。

しかし、低温部の温度差を識別できるようにセンサを設定すると、高温部の温度差がセンサの飽和により識別できなくなる。このため、フレアの識別精度が落ちてしまうという問題点があった。

本発明は、追跡目標からフレアが放出されても高精度に追跡目標を判定することが可能な追跡目標検出装置を提供することを目的とする。

この目的を達成するために本発明は、第１の波長にて撮像する主画像センサと、主画像センサの出力からセグメント毎の高温部の重心座標、中温部の重心座標、低温部の重心座標、高温部の面積、中温部の面積、低温部の面積、高温部の外接長方形の縦及び横の長さ、中温部の外接長方形の縦及び横の長さ、低温部の外接長方形の縦及び横の長さの中から少なくとも２以上選ばれる変数を含む幾何学的な特徴量を抽出する主画像特徴量抽出部と、第２の波長にて撮像する副画像センサと、副画像センサの出力からセグメント毎の高温部の重心座標、中温部の重心座標、低温部の重心座標、高温部の面積、中温部の面積、低温部の面積、高温部の外接長方形の縦及び横の長さ、中温部の外接長方形の縦及び横の長さ、低温部の外接長方形の縦及び横の長さの中から少なくとも２以上選ばれる変数を含む幾何学的な特徴量を抽出する副画像特徴量抽出部と、特徴量から目標とフレアとでは異なる評価関数値を返す評価関数を用いて算出した評価関数値を閾値と比較して追跡目標候補からフレアを排除する演算処理部と、を備える目標検出装置を提供する。

本発明によれば、高精度に追跡目標の候補からフレアを排除し、追跡目標を検出することが可能となるという効果がある。

以下、本発明による目標検出装置の第１の実施形態を、図面を用いて詳細に説明する。図１は本実施形態の目標検出装置の構成を示す概要図である。

図１に示すように、目標検出装置は観測波長を透過する光学ドーム１０の内部に設置されたレンズ等により構成される光学系１１の観測光進行方向後方に設置される。

目標検出装置は、特定の波長の光を透過し、その他の波長の光を反射するダイクロイックミラー１２と、ダイクロイックミラー１２を透過した光を検出する主画像センサ１３Ａと、主画像センサ１３Ａの出力から撮像画像内の部分画像であるセグメントを抽出してラベリングし、各セグメントの特徴量を算出する主画像特徴抽出部１５Ａと、主画像センサ１３Ａの出力から絞り制御信号を生成する主絞り制御部１４Ａと、演算処理を行う演算処理部１７と、を備える。

主絞り制御部１４Ａは撮像画像全体の輝度の平均レベルが所定の範囲内にあるように絞りを制御する絞り制御信号を生成する。主絞り制御部１４Ａからの絞り制御信号は主画像センサ１３Ａにフィードバックされ、主画像センサ１３Ａは絞り制御信号に従って絞りを調節する。また、主絞り制御部１４Ａからの絞り制御信号は演算処理部１７に出力される。

さらに、目標検出装置は、ダイクロイックミラー１２が反射した光を検出する副画像センサ１３Ｂと、副画像センサ１３Ｂの出力から撮像画像内の部分画像であるセグメントを抽出してラベリングし、各セグメントの特徴量を算出する副画像特徴抽出部１５Ｂと、副画像センサ１３Ｂの出力から絞り制御信号を生成する副絞り制御部１４Ｂと、画像の位置、大きさを変換して主画像センサ１３Ａの撮像した画像に合わせるスケール位置補正部１６と、を備える。

副絞り制御部１４Ｂは撮像画像全体の輝度の平均レベルが所定の範囲内にあるように絞りを制御する絞り制御信号を生成する。副絞り制御部１４Ｂからの絞り制御信号は副画像センサ１３Ｂにフィードバックされ、副画像センサ１３Ｂは絞り制御信号に従って絞りを調節する。また、副絞り制御部１４Ｂからの絞り制御信号は演算処理部１７に出力される。

次に、本実施形態の目標検出装置の動作について説明する。図２は、追跡目標と放出されたフレアの様子を示す図である。図２に示すように、追跡目標２０Ａは高温の熱源物体であるフレア２１Ａを放出して飛しょう体の追跡を逸らそうとする。

図３は、図２に示す状態を中赤外線の狭い温度範囲により撮像した画像である。主画像センサ１３Ａは中赤外線にて撮像する。フレア２１Ｂは高温で燃焼するため中赤外線波長体に大きな放射強度があり、熱が大気により拡散する。このため、中赤外線の狭い温度範囲により撮像されたフレア２１Ｂは他の波長によって撮像されたフレアの像より大きくなる。また、追跡目標２０Ｂの像も撮像される。

主画像センサ１３Ａは撮像した画像を主画像特徴抽出部１５Ａに出力する。主画像特徴抽出部１５Ａは入力した撮像画像からセグメントを抽出してラベリングし、セグメント毎に特徴量を算出して演算処理部１７に出力する。

図４は、図２に示す状態を遠赤外線の狭い温度範囲により撮像した画像である。副画像センサ１３Ｂは遠赤外線にて撮像する。遠赤外線の狭い温度範囲により撮像されたフレア２１Ｃは中赤外線によって撮像されたフレア２１Ｂより小さくなる。

副画像センサ１３Ｂは撮像した画像を副画像特徴抽出部１５Ｂに出力する。副画像特徴抽出部１５Ｂは入力した撮像画像からセグメントを抽出してラベリングし、セグメント毎に特徴量を算出して演算処理部１７に出力する。

図５は、特徴量の例を示す図である。Ｃ１は低温部分の重心座標、Ｃ２は中温部の重心座標、Ｃ３は高温部及び飽和部の重心座標である。Ｓ１は低温部の面積、Ｓ２は中温部の面積、Ｓ３は高温部及び飽和部の面積である。Ｆ１は低温部の外接長方形座標、Ｆ２は中温部の外接長方形座標、Ｆ３は高温部及び飽和部の外接長方形座標である。Ｆ１ｖは低温部外接長方形の縦の長さ、Ｆ１ｈは低温部外接長方形の横の長さ、Ｆ２ｖは中温部外接長方形の縦の長さ、Ｆ２ｈは中温部外接長方形の横の長さ、Ｆ３ｖは高温部及び飽和部の外接長方形の縦の長さ、Ｆ３ｈは高温部及び飽和部の外接長方形の横の長さである。特徴量はこれらに限られるものではなく、また、これらのうちいくつかを省略することもできる。

主画像特徴抽出部１５Ａは撮像画像からセグメントのこれらの特徴量を抽出して演算処理部１７に出力する。副画像特徴抽出部１５Ｂは撮像画像からセグメントのこれらの特徴量を抽出してスケール位置補正部１６に出力する。スケール位置補正部１６はスケールと位置を補正した後、これらの特徴量を演算処理部１７に出力する。

演算処理部１７は、入力した絞り制御信号と特徴量から位置相関により主画像と副画像の特徴量を統合し、統合された特徴量から所定の評価関数を用いて評価関数値を算出する。演算処理部１７はこの評価関数値が閾値を越えた場合にそのセグメントがフレアであると判定し、追跡目標の候補から除外する。また、演算処理部１７は評価関数値と予め格納されている追跡目標の評価関数である基準値との差が閾値を下回ったときにそのセグメントが追跡目標であると判定して誘導信号を生成して出力する。

ここで評価関数について説明する。評価関数はフレアの特徴が特徴量相互間に現れたときに数値が高くなるように設定される。図５を例に説明する。

図５（Ａ）は主画像センサ１３Ａが撮像した追跡目標２０Ａの画像である。図５（Ｂ）は主画像センサ１３Ａが撮像したフレア２１Ａの画像である。図５（Ｃ）は副画像センサ１３Ｂが撮像した追跡目標２０Ｂの画像である。図５（Ｄ）は副画像センサ１３Ｂが撮像したフレア２１Ｂの画像である。

図５（Ｂ）及び図５（Ｄ）に示すように、セグメントがフレアの場合、低温部の重心座標Ｃ１と中温部の重心座標Ｃ２と高温部及び飽和部の重心座標Ｃ３が同一位置乃至互いの近傍に現れる。また、低温部外接長方形の縦の長さＦ１ｖは低温部外接長方形の横の長さＦ１ｈと一致する。中温部外接長方形の縦の長さＦ２ｖは中温部外接長方形の横の長さＦ２ｈと一致する。高温部及び飽和部の外接長方形の縦の長さＦ３ｖは、高温部及び飽和部の外接長方形の横の長さＦ３ｈと一致する。

さらに、フレア２１Ａの低温部の面積Ｓ１はフレア２１Ｂの低温部の面積Ｓ１と比べて大幅に大きい。フレア２１Ａの中温部の面積Ｓ２はフレア２１Ｂの中温部の面積Ｓ２と比べて大幅に大きい。フレア２１Ａの高温部及び飽和部の面積Ｓ３はフレア２１Ｂの部の高温部及び飽和部の面積Ｓ３と比べて大幅に大きい。

このような幾何学的特徴が現れたとき値が大きくなるように評価関数が定められる。具体的な評価関数の数式はこのような幾何学的特徴が現れたとき値が大きくなるように評価関数が定められていればどのようなものでもよい。

演算処理部１７は特徴量と絞り制御信号から評価関数を用いて評価関数値を算出し、この評価関数の値があらかじめ定められた閾値を上回った場合、そのセグメントがフレアであると判定して追跡目標の候補から除外する。

図５（Ａ）及び図５（Ｃ）に示すように、セグメントが追跡目標の場合、低温部の重心座標Ｃ１と中温部の重心座標Ｃ２と高温部及び飽和部の重心座標Ｃ３が互いに離れて現れる。また、低温部外接長方形の縦の長さＦ１ｖは低温部外接長方形の横の長さＦ１ｈより短い。中温部外接長方形の縦の長さＦ２ｖは中温部外接長方形の横の長さＦ２ｈより短い。高温部及び飽和部の外接長方形の縦の長さＦ３ｖは、高温部及び飽和部の外接長方形の横の長さＦ３ｈより短い。

さらに、追跡目標２０Ａの低温部の面積Ｓ１は追跡目標２０Ｂの低温部の面積Ｓ１と比ほぼ同じ大きさである。追跡目標２０Ａの中温部の面積Ｓ２は追跡目標２０Ｂの中温部の面積Ｓ２と比べて大幅に大きいとはいえない。追跡目標２０Ａの高温部及び飽和部の面積Ｓ３は追跡目標２０Ｂの高温部及び飽和部の面積Ｓ３とほぼ同じ大きさである。

このような幾何学的特徴が現れたとき、評価関数値はある所定の値をとる。この値を追跡目標基準量と呼ぶ。演算処理部１７は特徴量と絞り制御信号から評価関数を用いて評価関数値を算出し、この評価関数の値と追跡目標基準量との差があらかじめ定められた閾値を下回った場合、そのセグメントが追跡目標であると判定して誘導信号を生成し、出力する。

図６は、追跡目標の輝度分布を示した図である。また、図７は、フレアの輝度分布を示した図である。図６及び図７に示すように、上記のような撮像画像の幾何学的特徴は温度分布と近似している。従って、本実施形態の目標検出装置は撮像画像の幾何学的特徴を用いて温度分布の特徴を判定し、追跡目標を判定するものである。

図８は、演算処理部１７の動作を示すフローチャートである。図８に示すように、ステップＳ１において、演算処理部１７は処理対象のセグメントを選択する。ステップＳ２において、演算処理部１７は主画像特徴抽出部１５Ａから特徴量を入力する。ステップＳ３において、演算処理部１７は副画像特徴抽出部１５Ｂからスケールと位置が補正された特徴量を入力する。

ステップＳ４において、演算処理部１７は入力した特徴量及び、主絞り制御部１４Ａと副絞り制御部１４Ｂとからそれぞれ入力した絞り制御信号から評価関数を用いて評価関数値を算出する。ステップＳ５において、演算処理部１７は評価関数値が閾値より大きいか判定する。評価関数値が閾値より大きい場合、演算処理部はステップＳ７に進み、そのセグメントをフレアと判定して追跡目標の候補から排除し、ステップＳ１に戻る。評価関数値が閾値より大きくない場合、演算処理部１７はステップＳ６に進む。

ステップＳ６において、演算処理部１７は評価関数値と追跡目標基準量との差を算出する。ステップＳ８において、演算処理部１７は評価関数値と追跡目標基準量との差があらかじめ定められた閾値を下回った場合、ステップＳ９に進み、下回らなかった場合、ステップＳ１に戻る。

ステップＳ９において、演算処理部１７はそのセグメントを追跡目標と判定し、追跡目標の重心位置から誘導信号を算出して出力する。

以上述べたように、本実施形態の目標検出装置は、異なる２波長を用いて追跡目標を撮像し、その幾何学的特徴を評価する評価関数により評価関数値を算出し、この評価関数値と閾値とを比較してフレアを判定し、追跡目標の候補から除外する。

このため、フレアを効率よく追跡目標の候補から除外することが可能となり、高精度に追跡目標を検出することが可能となるという効果がある。

次に、第２の実施形態について説明する。第２の実施形態が第１の実施形態と異なる点は、副画像センサ１３Ｂが遠赤外線の代わりに可視光にて撮像する点と、これに合わせて評価関数を設計する点である。

図９は副画像センサ１３Ｂが夜間において可視光にて撮像した画像である。図９に示すように、追跡目標２０Ｄの幾何学的特徴は図３に示した追跡目標２０Ｂの幾何学的特徴と大幅に異なる。具体的には、追跡目標２０Ｄは外接長方形の縦と横の長さがほぼ等しくなっている。フレアについては第１の実施形態に述べたことがあてはまる。

評価関数については、フレアの場合には大きい値をとり、追跡目標の場合には追跡目標基準量をとるように夜間用の評価関数が設計される。

演算処理部１７は夜間には夜間用の評価関数を用いてフレアを追跡目標の候補から排除し、追跡目標を判定する。

図１０は副画像センサ１３Ｂが昼間において可視光にて撮像した画像である。図１０に示すように、フレア２１Ｅの幾何学的特徴は図３に示したフレア２１Ｂの幾何学的特徴と大幅に異なる。具体的には、フレア２１Ｅは外接長方形の縦と横の長さが異なっている。これに対し、追跡目標２０Ｅは幾何学的特徴が図３に示した追跡目標２０Ｂの幾何学的特徴とが一部等しくなる。

評価関数については、フレアの場合には大きい値をとり、追跡目標の場合には追跡目標基準量をとるように昼間用の評価関数が設計される。

演算処理部１７は昼間には昼間用の評価関数を用いてフレアを追跡目標の候補から排除し、追跡目標を判定する。

以上述べたように、本実施形態の目標検出装置は価格の安い可視光のセンサを副画像センサに用いて追跡目標を撮像する。このため、目標検出装置の製造コストを低く抑えることができるという効果がある。

目標検出装置の構成を示す概要図である。 追跡目標と放出されたフレアの様子を示す図である。 図２に示す状態を中赤外線の狭い温度範囲により撮像した画像である。 図２に示す状態を遠赤外線の狭い温度範囲により撮像した画像である。 特徴量の例を示す図である。 追跡目標の温度分布を示した図である。 フレアの温度分布を示した図である。 演算処理部の動作を示すフローチャートである。 副画像センサが夜間において可視光にて撮像した画像である。 副画像センサが昼間において可視光にて撮像した画像である。

符号の説明

１０：光学ドーム、
１２：ダイクロイックミラー、
１３Ａ：主画像センサ、
１３Ｂ：副画像センサ、
１４Ａ：主絞り制御部、
１４Ｂ：副絞り制御部、
１５Ａ：主画像特徴抽出部、
１５Ｂ：副画像特徴抽出部、
１６：スケール位置補正部、
１７：演算処理部。

Claims (4)

1. 第１の波長にて撮像する主画像センサと、
   前記主画像センサの出力からセグメント毎の高温部の重心座標、中温部の重心座標、低温部の重心座標、高温部の面積、中温部の面積、低温部の面積、高温部の外接長方形の縦及び横の長さ、中温部の外接長方形の縦及び横の長さ、低温部の外接長方形の縦及び横の長さの中から少なくとも２以上選ばれる変数を含む幾何学的な特徴量を抽出する主画像特徴量抽出部と、
   第２の波長にて撮像する副画像センサと、
   前記副画像センサの出力からセグメント毎の高温部の重心座標、中温部の重心座標、低温部の重心座標、高温部の面積、中温部の面積、低温部の面積、高温部の外接長方形の縦及び横の長さ、中温部の外接長方形の縦及び横の長さ、低温部の外接長方形の縦及び横の長さの中から少なくとも２以上選ばれる変数を含む幾何学的な特徴量を抽出する副画像特徴量抽出部と、
   前記特徴量から目標とフレアとでは異なる評価関数値を返す評価関数を用いて算出した前記評価関数値を閾値と比較して追跡目標候補からフレアを排除する演算処理部と、
   を備える目標検出装置。
2. 前記演算処理部が、
   前記評価関数値と追跡目標を示す追跡目標基準量との差と閾値とを比較して追跡目標を判定することを特徴とする請求項１記載の目標検出装置。
3. 前記第１の波長が中赤外線であり、前記第２の波長が遠赤外線であることを特徴とする請求項１記載の目標検出装置。
4. 前記第１の波長が中赤外線であり、前記第２の波長が可視光であることを特徴とする請求項１記載の目標検出装置。

Images