JP6547018B1 - 目標追尾装置及び目標追尾システム - Google Patents

Abstract

【課題】本開示は、移動速度や方向転換が速い鳥類等の目標を追尾する際に、鳥類等の目標が追尾困難（ロスト）にならないことを目的とする。【解決手段】本開示は、広画角で目標を撮像する広画角撮像部１１と、狭画角で目標を撮像する狭画角撮像部１２と、広画角撮像部１１及び狭画角撮像部１２の撮像方向が同一方向となるように、広画角撮像部１１及び狭画角撮像部１２の撮像方向を駆動する撮像方向駆動部１３と、狭画角撮像部１２及び広画角撮像部１１が追尾目標を撮像画角内のほぼ中央に撮像することができるように、撮像方向駆動部１３を制御する追尾処理制御部１４と、を備えることを特徴とする目標追尾装置１である。【選択図】図１

Description

本開示は、移動速度や方向転換が速い鳥類等の目標を追尾する技術に関する。

風力発電装置や空港等でのバードストライクを防止するために、鳥類を威嚇・排除する技術や鳥類の生態を調査する技術が、特許文献１、２等に開示されている。特許文献１に開示された技術では、オプティカルフロー方式で目標の移動速度を検出することにより、目標が鳥類であるかどうかを判別する。特許文献２に開示された技術では、画像処理で目標の運動周期を検出することにより、目標が鳥類であるかどうかを判別する。

特開２０１０−１９３７６８号公報 特開２０１５−０５９７４９号公報

ここで、鳥類等の目標をぶれのない高い精度で判別するために、撮像方向を目標方向に高速度で駆動することが望ましく、撮像画角を狭画角にして目標画像を拡大することが望ましい。しかし、移動速度や方向転換が速い鳥類等の目標を追尾する際に、目標画像が狭画角の撮像画角内から外れて鳥類等の目標が追尾困難（ロスト）になりやすい。

そこで、前記課題を解決するために、本開示は、移動速度や方向転換が速い鳥類等の目標を追尾する際に、鳥類等の目標が追尾困難（ロスト）にならないことを目的とする。

上記目的を達成するために、広画角及び狭画角の撮像方向を同一目標方向に駆動したうえで、広画角の撮像手段で鳥類等の目標が追尾困難（ロスト）にならないようにし、狭画角の撮像手段で鳥類等の目標をぶれのない高い精度で判別することとした。

具体的には、本開示は、広画角で目標を撮像する広画角撮像部と、狭画角で目標を撮像する狭画角撮像部と、前記広画角撮像部及び前記狭画角撮像部の撮像方向が同一方向となるように、前記広画角撮像部及び前記狭画角撮像部の撮像方向を駆動する撮像方向駆動部と、前記狭画角撮像部及び前記広画角撮像部が追尾目標を撮像画角内のほぼ中央に撮像することができるように、前記撮像方向駆動部を制御する追尾処理制御部と、を備えることを特徴とする目標追尾装置である。

この構成によれば、移動速度や方向転換が速い鳥類等の目標を追尾する際に、鳥類等の目標が追尾困難（ロスト）にならないようにすることができる。

また、本開示は、前記狭画角撮像部が前記追尾目標を撮像画角内に撮像することができなくなったときに、前記追尾処理制御部は、前記広画角撮像部が撮像する前記追尾目標の撮像画角内の中央からのずれに基づいて、前記狭画角撮像部が前記追尾目標を撮像画角内のほぼ中央に再度撮像することができるように、前記撮像方向駆動部を制御することを特徴とする目標追尾装置である。

この構成によれば、狭画角の撮像手段で鳥類等の目標が追尾困難（ロスト）になった後でも、狭画角の撮像手段で鳥類等の目標をぶれのない高い精度で判別することができる。

また、本開示は、前記広画角撮像部が撮像する目標までの距離を測定する目標距離測定部をさらに備え、前記広画角撮像部が前記追尾目標の近傍に近傍目標を撮像画角内に撮像しているときに、前記追尾処理制御部は、前記狭画角撮像部が前記追尾目標を撮像画角内に撮像することができなくなる直前に前記目標距離測定部が測定した前記追尾目標までの距離と、前記狭画角撮像部が前記追尾目標を撮像画角内に撮像することができなくなった直後に前記目標距離測定部が測定した前記追尾目標までの距離及び前記近傍目標までの距離と、の間の一致程度に基づいて、前記追尾目標と前記近傍目標とを区別することを特徴とする目標追尾装置である。

この構成によれば、狭画角の撮像手段で鳥類等の目標が追尾困難（ロスト）になった後でも、狭画角の撮像手段で近傍目標と取り違えず追尾目標を再追尾することができる。

また、本開示は、前記広画角撮像部が撮像する複数の目標から前記追尾目標を選択する追尾目標選択部と、前記追尾目標選択部が前記追尾目標に選択しなかった非選択目標について、前記追尾目標選択部が前記追尾目標を選択する前の移動方向及び移動速度に基づいて、前記追尾目標選択部が前記追尾目標を選択した後の位置を予測する目標位置予測部と、をさらに備え、前記追尾処理制御部が前記追尾目標を追尾し終わった後に、前記追尾目標選択部は、前記目標位置予測部が予測した前記非選択目標の位置と、前記広画角撮像部が撮像する目標の位置と、の間の一致程度に基づいて、前記非選択目標から新たな追尾候補を選択することを特徴とする目標追尾装置である。

この構成によれば、鳥類等の追尾対象の目標が複数存在するときに、一の目標の追尾が終了した後に、追尾対象であると再確認された他の目標を直後の追尾対象とすることができ、又は、追尾対象であると再確認された他の目標を将来の追尾候補とすることができる。

また、本開示は、前記追尾処理制御部が追尾した前記追尾目標としての鳥類を威嚇する鳥類威嚇部、をさらに備えることを特徴とする目標追尾装置である。

この構成によれば、風力発電装置や空港等でのバードストライクを防止する目的等のために、追尾目標としての鳥類を威嚇・排除することができる。

また、本開示は、前記追尾処理制御部が前記追尾目標としての鳥類を追尾した結果を出力する追尾出力部、をさらに備えることを特徴とする目標追尾装置である。

この構成によれば、風力発電装置や空港等でのバードストライクを防止する目的等のために、追尾目標としての鳥類の生態を調査することができる。

また、本開示は、前記追尾目標の追尾を指令する追尾指令装置と、前記追尾目標を追尾する以上に記載の複数の目標追尾装置と、を備え、前記追尾指令装置は、複数の前記追尾目標を選択し、複数の前記追尾目標のうちの各一群の前記追尾目標の追尾を各目標追尾装置に割り振り指令することを特徴とする目標追尾システムである。

この構成によれば、鳥類等の追尾対象の目標が複数存在するときに、各一群の目標の追尾を各目標追尾装置に割り振り指令して、複数の目標の追尾を効率化することができる。

このように、本開示は、移動速度や方向転換が速い鳥類等の目標を追尾する際に、鳥類等の目標が追尾困難（ロスト）にならないことができる。

本開示の目標追尾装置の構成を示すブロック図である。 本開示の目標追尾装置の構成を示す正面図及び左側面図である。 本開示の追尾処理制御部の構成を示すブロック図である。 本開示の追尾目標選択部の構成を示すブロック図である。 本開示の目標追尾処理の手順を示すフローチャートである。 本開示の広狭画角での同時追尾処理を示す図である。 本開示の狭画角での再追尾処理を示す図である。 本開示の広画角での目標区別処理を示す図である。 本開示の広画角での目標選択処理を示す図である。 本開示の目標追尾システムの構成を示すブロック図である。 本開示の目標追尾処理の手順を示すフローチャートである。

添付の図面を参照して本開示の実施形態を説明する。以下に説明する実施形態は本開示の実施の例であり、本開示は以下の実施形態に制限されるものではない。

本開示の目標追尾装置の構成のブロック図を図１に示す。本開示の目標追尾装置の構成の正面図及び左側面図を図２に示す。目標追尾装置１は、広画角撮像部１１、狭画角撮像部１２、撮像方向駆動部１３、追尾処理制御部１４、目標距離測定部１５、追尾目標選択部１６、目標位置予測部１７、鳥類威嚇部１８、追尾出力部１９、データベース部２０、画像認証部２１及び装置制御部２２から構成され、制御・モニタ装置２に接続される。

制御・モニタ装置２は、図６から図９までに示す撮像画像をモニタしたうえで、目標追尾装置１を制御する。装置制御部２２は、制御・モニタ装置２からの制御指示を受信したうえで、目標追尾装置１の他の構成部（符号１１〜２１）を制御する。

広画角撮像部１１は、広画角で目標を撮像する。例えば、広画角撮像部１１は、ステレオカメラであり、右カメラ部１１１及び左カメラ部１１２から構成される。狭画角撮像部１２は、狭画角で目標を撮像する。例えば、狭画角撮像部１２は、画角可変カメラであり、右カメラ部１１１と左カメラ部１１２との中央に配置される。

鳥類威嚇部１８は、追尾処理制御部１４が追尾した追尾目標としての鳥類を威嚇する。例えば、鳥類威嚇部１８は、広画角撮像部１１及び狭画角撮像部１２と一体に駆動され、レーザ送出部１８１及び音響発生部１８２から構成される。追尾出力部１９は、追尾処理制御部１４が追尾目標としての鳥類を追尾した結果を出力する。

撮像方向駆動部１３は、広画角撮像部１１の撮像方向、狭画角撮像部１２の撮像方向及び鳥類威嚇部１８の威嚇方向が同一方向となるように、広画角撮像部１１の撮像方向、狭画角撮像部１２の撮像方向及び鳥類威嚇部１８の威嚇方向を駆動する。追尾処理制御部１４は、狭画角撮像部１２及び広画角撮像部１１が追尾目標を撮像画角内のほぼ中央に撮像することができるように、撮像方向駆動部１３を制御する。

本開示の追尾処理制御部の構成のブロック図を図３に示す。撮像方向駆動部１３は、ＥＬモータ部１３１、ＡＺモータ部１３２、ＥＬ検出部１３３、ＡＺ検出部１３４、ＥＬ軸機構部１３５及びＡＺ軸機構部１３６から構成される。追尾処理制御部１４は、フレーム間補間部１４１、追従補正部１４２、ＥＬ加算部１４３、ＡＺ加算部１４４、ＥＬ減算部１４５、ＡＺ減算部１４６、ＥＬサーボ増幅部１４７及びＡＺサーボ増幅部１４８から構成される。ＥＬはＥｌｅｖａｔｉｏｎを示し、ＡＺはＡｚｉｍｕｔｈを示す。

ＥＬモータ部１３１及びＥＬ軸機構部１３５（ＥＬ検出部１３３）は、広画角撮像部１１の撮像仰角方向、狭画角撮像部１２の撮像仰角方向及び鳥類威嚇部１８の威嚇仰角方向を駆動（検出）する。ＡＺモータ部１３２及びＡＺ軸機構部１３６（ＡＺ検出部１３４）は、広画角撮像部１１の撮像方位角方向、狭画角撮像部１２の撮像方位角方向及び鳥類威嚇部１８の威嚇方位角方向を駆動（検出）する。追尾処理制御部１４は、後述する。

目標距離測定部１５は、広画角撮像部１１が撮像する目標までの距離を測定する。例えば、目標距離測定部１５は、ステレオカメラの原理により広画角撮像部１１を用いて、又は、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）の原理によりレーザ送出部１８１及びレーザ受光部１５１を用いて、広画角撮像部１１が撮像する目標までの距離を測定する。追尾目標選択部１６は、広画角撮像部１１が撮像する複数の目標から追尾目標を選択する。

本開示の追尾目標選択部の構成のブロック図を図４に示す。追尾目標選択部１６は、物体検出部１６１、大きさ判定部１６２、捕捉追尾部１６３、鳥目標検出部１６４及び鳥目標選択部１６５から構成される。物体検出部１６１は、広画角撮像部１１が撮像した画像において、目標を検出する。大きさ判定部１６２は、広画角撮像部１１が撮像した目標のピクセル数及び目標距離測定部１５が測定した目標までの距離に基づいて、目標の大きさを判定し、事前に設定された大きさの範囲内の目標を鳥類であると仮判定する。

捕捉追尾部１６３は、大きさ判定部１６２が鳥類であると仮判定した目標について、移動方向及び移動速度を測定する。鳥目標検出部１６４は、大きさ判定部１６２が鳥類であると仮判定した目標について、広画角撮像部１１が撮像した目標画像及び捕捉追尾部１６３が測定した移動速度に基づいて、確かに鳥類であるかどうかを判定する。この際に、鳥目標検出部１６４は、鳥類画像の画像認証部２１に照会し、画像認証部２１は、鳥類データのデータベース部２０を参照する。鳥目標選択部１６５は、鳥目標検出部１６４が確かに鳥類であると判定した目標が複数存在するときに、バードストライクの可能性の高い鳥類を単数選択する、又は、バードストライクの可能性によらず鳥類を単数任意指定する。

本開示の目標追尾処理の手順のフローチャートを図５に示す。捕捉追尾部１６３は、広画角で複数目標を追尾する（ステップＳ１）。鳥目標選択部１６５は、広画角で単数目標を選択する（ステップＳ２）。選択目標に対しては、以下に説明するステップＳ３〜Ｓ１０が実行される。非選択目標に対しては、以下に説明するステップＳ１１が実行される。ステップＳ３〜Ｓ１０とステップＳ１１とは、並行して実行される。

まず、選択目標に対して実行されるステップについて説明する。追尾処理制御部１４は、広画角及び狭画角で選択目標を追尾する（ステップＳ３）。具体的には、撮像方向駆動部１３は、広画角撮像部１１及び狭画角撮像部１２の撮像方向が同一方向となるように、広画角撮像部１１及び狭画角撮像部１２の撮像方向を駆動する。そして、追尾処理制御部１４は、狭画角撮像部１２及び広画角撮像部１１が選択目標を撮像画角内のほぼ中央に撮像することができるように、撮像方向駆動部１３を制御する。例えば、追尾処理制御部１４は、Ｍｅａｎ−ＳｈｉｆｔやＰａｒｔｉｃｌｅ Ｆｉｌｔｅｒ等を用いて、テンプレートマッチングのように、画像全体を探索せず局所領域で高速処理する。

さらに、追尾処理制御部１４は、（１）狭画角撮像部１２が撮像した目標のピクセル数及び目標距離測定部１５が測定した目標までの距離に基づいて、目標の大きさを判定し、（２）撮像方向駆動部１３を駆動した方向及び速度に基づいて、目標の移動方向及び移動速度を測定し、（３）目標の大きさ、目標の移動速度及び狭画角撮像部１２が撮像した目標画像に基づいて、目標の鳥種を判定する。この際に、追尾処理制御部１４は、鳥類画像の画像認証部２１に照会し、画像認証部２１は、鳥類データのデータベース部２０を参照する。

本開示の広狭画角での同時追尾処理を図６に示す。まず、広画角での複数目標の追尾時に、広画角撮像画像１１Ｐでは、航空機Ｐ及び鳥類Ｂ１、Ｂ２、Ｂ３が撮像されており、鳥類Ｂ１が選択されている。次に、広画角及び狭画角での選択目標の同時追尾時に、広画角撮像画像１１Ｐでは、拡大されていない鳥類Ｂ１の画像を囲む追尾処理ゲートＧが撮像画角内のほぼ中央に位置している。そして、狭画角撮像画像１２Ｐでは、拡大されている鳥類Ｂ１の画像を囲む追尾処理ゲートＧが撮像画角内のほぼ中央に位置している。

このように、広画角及び狭画角の撮像方向を同一目標方向に駆動したうえで、広画角撮像部１１で鳥類等の目標が追尾困難（ロスト）にならないようにし、狭画角撮像部１２で鳥類等の目標をぶれのない高い精度で判別することとした。

よって、移動速度や方向転換が速い鳥類等の目標を追尾する際に、鳥類等の目標が追尾困難（ロスト）にならないようにすることができる。

追尾処理制御部１４は、狭画角で選択目標をロストしたときに（ステップＳ４においてＹＥＳ）、狭画角で選択目標を再追尾するようにする（ステップＳ７）。一方で、追尾処理制御部１４は、狭画角で選択目標をロストしなければ（ステップＳ４においてＮＯ）、狭画角で選択目標を継続追尾する。ステップＳ７を実行する必要はない。

具体的には、狭画角撮像部１２が選択目標を撮像画角内に撮像することができなくなることがある。そのときに、追尾処理制御部１４は、広画角撮像部１１が撮像する選択目標の撮像画角内の中央からのずれに基づいて、狭画角撮像部１２が選択目標を撮像画角内のほぼ中央に再度撮像することができるように、撮像方向駆動部１３を制御する。

本開示の狭画角での再追尾処理を図７に示す。まず、狭画角での選択目標のロスト時に、狭画角撮像画像１２Ｐでは、拡大されている鳥類Ｂ１の画像が撮像画角外にはみ出ており、追尾処理ゲートＧが拡大されている鳥類Ｂ１の画像を囲んでいない。そして、広画角撮像画像１１Ｐでは、拡大されていない鳥類Ｂ１の画像を囲む追尾処理ゲートＧが撮像画角内の中央からずれている。ここで、広画角撮像画像１１Ｐの中央からの追尾処理ゲートＧのずれは、方位角方向にΔｘであり仰角方向にΔｙである。

そこで、追尾処理制御部１４は、広画角撮像画像１１Ｐの中央からの追尾処理ゲートＧのずれΔｘ、Δｙに基づいて、狭画角で選択目標を再追尾するようにする。つまり、追尾処理制御部１４は、広画角撮像画像１１Ｐの中央からの追尾処理ゲートＧのずれΔｘ、Δｙに基づいて、広画角撮像部１１及び狭画角撮像部１２の撮像方向を補正する。そして、撮像方向駆動部１３は、広画角撮像部１１及び狭画角撮像部１２の撮像方向の補正幅に基づいて、広画角撮像部１１及び狭画角撮像部１２の撮像方向を駆動する。すると、狭画角での選択目標の再追尾時に、狭画角撮像画像１２Ｐでは、拡大されている鳥類Ｂ１の画像が撮像画角内のほぼ中央に位置しており、追尾処理ゲートＧが拡大されている鳥類Ｂ１の画像を囲んでいる。そして、広画角撮像画像１１Ｐでは、拡大されていない鳥類Ｂ１の画像を囲む追尾処理ゲートＧが撮像画角内のほぼ中央に位置している。

このように、狭画角撮像部１２で鳥類等の目標が追尾困難（ロスト）になった後でも、狭画角撮像部１２で鳥類等の目標をぶれのない高い精度で判別することができる。

追尾処理制御部１４は、狭画角で選択目標をロストするとともに（ステップＳ４においてＹＥＳ）、選択目標の近傍に近傍目標を検出したときに（ステップＳ５においてＹＥＳ）、選択目標と近傍目標を区別したうえで（ステップＳ６）、狭画角で選択目標を再追尾するようにする（ステップＳ７）。一方で、追尾処理制御部１４は、狭画角で選択目標をロストしたとしても（ステップＳ４においてＹＥＳ）、選択目標の近傍に近傍目標を検出しなければ（ステップＳ５においてＮＯ）、選択目標と近傍目標を区別するステップＳ６を実行する必要はなく、狭画角で選択目標を再追尾するようにするステップＳ７を実行すればよい。

具体的には、広画角撮像部１１が選択目標の近傍に近傍目標を撮像画角内に撮像していることがある。そのときに、追尾処理制御部１４は、狭画角撮像部１２が選択目標を撮像画角内に撮像することができなくなる直前に目標距離測定部１５が測定した選択目標までの距離と、狭画角撮像部１２が選択目標を撮像画角内に撮像することができなくなった直後に目標距離測定部１５が測定した選択目標までの距離及び近傍目標までの距離と、の間の一致程度に基づいて、選択目標と近傍目標とを区別する。

本開示の広画角での目標区別処理を図８に示す。まず、図８の左欄において、狭画角での選択目標のロスト時に、狭画角撮像画像１２Ｐでは、拡大されている鳥類Ｂ１の画像が撮像画角外にはみ出ており、追尾処理ゲートＧが拡大されている鳥類Ｂ１の画像を囲んでいない。そして、広画角撮像画像１１Ｐでは、拡大されていない鳥類Ｂ１’の画像を囲む追尾処理ゲートＧが撮像画角内の中央からずれている。ここで、広画角撮像画像１１Ｐでは、鳥類Ｂ１’の近傍に鳥類Ｂ４が撮像されているため、鳥類Ｂ１’及び鳥類Ｂ４のうちのいずれの鳥類が鳥類Ｂ１と同一の鳥類であるか確証が得られない。

そこで、図８の左欄において、追尾処理制御部１４は、狭画角でのロスト直前の鳥類Ｂ１までの距離と、ロスト直後の広画角での鳥類Ｂ１’までの距離と、がほぼ一致していることに基づいて、鳥類Ｂ１’が鳥類Ｂ１と同一の選択目標であることを検出する。一方で、追尾処理制御部１４は、狭画角でのロスト直前の鳥類Ｂ１までの距離と、ロスト直後の広画角での鳥類Ｂ４までの距離と、が一致していないことに基づいて、鳥類Ｂ４が鳥類Ｂ１と異なる近傍目標であることを検出する。そして、図８の中欄において、追尾処理制御部１４及び撮像方向駆動部１３は、図７に示した処理を実行する。すると、図８の右欄において、狭画角での選択目標の再追尾時に、狭画角撮像画像１２Ｐでは、拡大されている鳥類Ｂ１の画像が撮像画角内のほぼ中央に位置しており、追尾処理ゲートＧが拡大されている鳥類Ｂ１の画像を囲んでいる。そして、広画角撮像画像１１Ｐでは、拡大されていない鳥類Ｂ１の画像を囲む追尾処理ゲートＧが撮像画角内のほぼ中央に位置している。

このように、狭画角撮像部１２で鳥類等の目標が追尾困難（ロスト）になった後でも、狭画角撮像部１２で近傍目標と取り違えず選択目標を再追尾することができる。

追尾処理制御部１４は、選択目標の追尾を続行するときに（ステップＳ８においてＮＯ）、ステップＳ４〜Ｓ７を繰り返す。追尾処理制御部１４は、選択目標の追尾を終了するときに（ステップＳ８においてＹＥＳ）、ステップＳ９に移行する。

鳥類威嚇部１８は、追尾処理制御部１４が追尾した選択目標としての鳥類を威嚇する（ステップＳ９）。具体的には、鳥類威嚇部１８は、広画角撮像部１１及び狭画角撮像部１２と一体に方向を駆動されるレーザ送出部１８１及び音響発生部１８２を用いて、追尾処理制御部１４が追尾した選択目標としての鳥類を威嚇する。

このように、風力発電装置や空港等でのバードストライクを防止する目的等のために、選択目標としての鳥類を威嚇・排除することができる。

追尾出力部１９は、追尾処理制御部１４が選択目標としての鳥類を追尾した結果を出力する（ステップＳ９）。具体的には、追尾出力部１９は、選択目標としての鳥類を追尾した結果を、追尾処理制御部１４及び目標距離測定部１５から取得して、データベース部２０に格納して、画像認証部２１によるデータベース部２０の参照に備える。

このように、風力発電装置や空港等でのバードストライクを防止する目的等のために、選択目標としての鳥類の生態を調査することができる。

現時点では、ステップＳ１で追尾された複数の目標のうち、一部の目標の追尾が終了していないため（ステップＳ１０においてＮＯ）、ステップＳ１２に移行する。以下に、ステップＳ１１の以後の処理を説明する。一方で、ステップＳ１で追尾された複数の目標のうち、全ての目標の追尾が終了しているならば（ステップＳ１０においてＹＥＳ）、図５に示した処理を終了する。

次に、非選択目標に対して実行されるステップについて説明する。追尾処理制御部１４が、選択目標を追尾している間に（ステップＳ３〜Ｓ１０）、目標位置予測部１７は、非選択目標を位置予測する（ステップＳ１１）。具体的には、目標位置予測部１７は、追尾目標選択部１６が選択目標に選択しなかった非選択目標について、追尾目標選択部１６が選択目標を選択する前の移動方向及び移動速度に基づいて、追尾目標選択部１６が選択目標を選択した後の位置を予測する。特に、鳥類威嚇部１８による鳥類威嚇を実行するときには、追尾処理制御部１４による選択目標の追尾時間は短時間であるため、目標位置予測部１７による非選択目標の位置予測精度は高精度である。

捕捉追尾部１６３は、広画角で複数目標を追尾する（ステップＳ１２）。鳥目標選択部１６５は、広画角で新たな単数目標を選択する（ステップＳ１３）。具体的には、追尾処理制御部１４が選択目標を追尾し終わった後に、鳥目標選択部１６５は、目標位置予測部１７が予測した非選択目標の位置と、広画角撮像部１１が撮像する目標の位置と、の間の一致程度に基づいて、非選択目標から新たな追尾候補を選択する。新たな選択目標に対しては、ステップＳ３〜Ｓ１０が実行される。新たな非選択目標に対しては、ステップＳ１１が実行される。ステップＳ３〜Ｓ１０とステップＳ１１とは、並行して実行される。

本開示の広画角での目標選択処理を図９に示す。まず、図９の左欄において、広画角での単数目標の選択時に、広画角撮像画像１１Ｐでは、航空機Ｐ及び鳥類Ｂ１、Ｂ２、Ｂ３が撮像されており、鳥類Ｂ１が選択されている。次に、図９の中欄において、非選択目標の位置予測時に、目標位置予測画像１７Ｐでは、単数目標の選択前の鳥類Ｂ２、Ｂ３の移動方向及び移動速度に基づいて、単数目標の選択後の鳥類Ｂ２、Ｂ３の予測位置Ｂ２’、Ｂ３’が計算されている。次に、図９の右欄において、広画角での新たな単数目標の選択時に、広画角撮像画像１１Ｐでは、鳥類Ｂ２”、Ｂ３”が撮像されている。ここで、鳥類Ｂ２”、Ｂ３”が鳥類Ｂ２、Ｂ３と同一の鳥類であるか確証が得られない。そこで、鳥類Ｂ２”、Ｂ３”の撮像位置と予測位置Ｂ２’、Ｂ３’とが比較される。

そして、鳥目標選択部１６５は、単数目標の選択後の鳥類Ｂ２の予測位置Ｂ２’と、新たな単数目標の選択時の鳥類Ｂ２”の撮像位置と、がほぼ一致していることに基づいて、鳥類Ｂ２”を鳥類Ｂ２と同一の鳥類であると判定して、鳥類Ｂ２”を新たな単数追尾候補（ステップＳ３）とする。さらに、追尾目標選択部１６が、鳥類Ｂ２”を鳥類Ｂ２と同一の鳥類であると認証してもよい。一方で、鳥目標選択部１６５は、単数目標の選択後の鳥類Ｂ３の予測位置Ｂ３’と、新たな単数目標の選択時の鳥類Ｂ３”の撮像位置と、が一致していないことに基づいて、鳥類Ｂ３”を鳥類Ｂ３と同一の鳥類であると判定せず、鳥類Ｂ３”を新たな位置予測対象（ステップＳ１１）とする。さらに、追尾目標選択部１６が、鳥類Ｂ３”を例えばバードストライクの可能性の高い鳥類であると判定してもよい。

このように、鳥類等の追尾対象の目標が複数存在するときに、一の目標の追尾が終了した後に、追尾対象であると再確認された他の目標を直後の追尾対象とすることができ、又は、追尾対象であると再確認された他の目標を将来の追尾候補とすることができる。ここで、他の目標について位置予測を実行するのみで鳥類認証を省略することで、他の目標の追尾を直ちに開始することができ、又は、他の目標について位置予測を実行したうえで鳥類認証も実行することで、他の目標の追尾を将来的に確実に準備することができる。

本開示の目標追尾システムの構成のブロック図を図１０に示す。本開示の目標追尾処理の手順のフローチャートを図１１に示す。目標追尾システムは、目標追尾装置１−１〜１−４、制御・モニタ装置２及び追尾指令装置３から構成される。目標追尾装置１−１〜１−４及び制御・モニタ装置２は、追尾指令装置３に接続される。

追尾指令装置３は、広画角で複数目標を追尾して（ステップＳ１４）、広画角で複数目標を選択する（ステップＳ１５）。そして、追尾指令装置３は、各目標追尾装置１−１〜１−４に、各第１〜４群の追尾目標の追尾を指令するにあたり、各第１〜４群の追尾目標の方向を通知する（ステップＳ１６）。ここで、追尾指令装置３は、ステップＳ１４〜Ｓ１６を実行するために、広画角撮像部１１、目標距離測定部１５、追尾目標選択部１６、データベース部２０、画像認証部２１、装置制御部２２及び不図示の指令部を備える。

各目標追尾装置１−１〜１−４は、各第１〜４群の追尾目標の追尾を指令されたときに、ステップＳ１〜Ｓ１３を実行する（ステップＳ１７）。ここで、各目標追尾装置１−１〜１−４は、ステップＳ１７を実行するために、構成部（符号１１〜２２）を備える。

このように、鳥類等の追尾対象の目標が複数存在するときに、各一群の目標の追尾を各目標追尾装置１に割り振り指令して、複数の目標の追尾を効率化することができる。

最後に、（１）追尾処理制御部１４の構成部、（２）目標距離測定部１５の具体例、（３）鳥類威嚇部１８の具体例、（４）追尾目標の具体例、について説明する。

フレーム間補間部１４１は、撮像画像のフレームリフレッシュレートで、ＥＬ指示角θＥＬ及びＡＺ指示角θＡＺを入力し、フレームリフレッシュレートより速いレートで、ＥＬ指示角θＥＬ及びＡＺ指示角θＡＺを線形補間する。よって、広画角撮像部１１、狭画角撮像部１２及び鳥類威嚇部１８を、ステップ状ではなく滑らかな動きで駆動することができる。

追従補正部１４２は、線形補間後のＥＬ指示角θ_ＥＬ及びＡＺ指示角θ_ＡＺを微分し、ＥＬ微分出力θ_ＥＬＢ及びＡＺ微分出力θ_ＡＺＢを出力する。ＥＬ加算部１４３は、線形補間後のＥＬ指示角θ_ＥＬとＥＬ微分出力θ_ＥＬＢとの和を算出し、ＥＬ追従補正出力θ_ＥＬ＋θ_ＥＬＢを出力する。ＡＺ加算部１４４は、線形補間後のＡＺ指示角θ_ＡＺとＡＺ微分出力θ_ＡＺＢとの和を算出し、ＡＺ追従補正出力θ_ＡＺ＋θ_ＡＺＢを出力する。よって、画像処理やサーボ系の演算を経て動く機械サーボによる遅延により生じるサーボ誤差を補正することができる。

ＥＬ減算部１４５は、ＥＬ追従補正出力θ_ＥＬ＋θ_ＥＬＢとＥＬ検出角θ_ＥＬＰとの差を算出し、ＥＬサーボ誤差ε_ＥＬを算出する。ＡＺ減算部１４６は、ＡＺ追従補正出力θ_ＡＺ＋θ_ＡＺＢとＡＺ検出角θ_ＡＺＰとの差を算出し、ＡＺサーボ誤差ε_ＡＺを算出する。ＥＬサーボ増幅部１４７は、ＥＬサーボ誤差ε_ＥＬを電力増幅し、ＥＬモータ部１３１に出力する。ＡＺサーボ増幅部１４８は、ＡＺサーボ誤差ε_ＡＺを電力増幅し、ＡＺモータ部１３２に出力する。

目標距離測定部１５の他の具体例として、レーザによる位相差検出方式、レーザによる三角測距方式、超音波によるＴＯＦ方式、電波によるＴＯＦ、ＦＭＣＷ方式等がある。

鳥類威嚇部１８の具体例として、高速パルス音の不規則発生、周波数掃引音の不規則発生、鉄砲音、ディストレスコール、猛禽類の威嚇の鳴き声等がある。

追尾目標の他の具体例として、移動速度や方向転換が速い動物やドローン等の目標がある。動物を威嚇・調査することができ、ドローン侵入を警告・調査することができる。

本開示の目標追尾装置及び目標追尾システムは、移動速度や方向転換が速い鳥類や動物やドローン等の目標を追尾する際に、これらの目標が追尾困難（ロスト）にならないようにすることができ、これらの目標をぶれのない高い精度で判別することができる。

１、１−１、１−２、１−３、１−４：目標追尾装置
２：制御・モニタ装置
３：追尾指令装置
１１：広画角撮像部
１２：狭画角撮像部
１３：撮像方向駆動部
１４：追尾処理制御部
１５：目標距離測定部
１６：追尾目標選択部
１７：目標位置予測部
１８：鳥類威嚇部
１９：追尾出力部
２０：データベース部
２１：画像認証部
２２：装置制御部
１１１：右カメラ部
１１２：左カメラ部
１３１：ＥＬモータ部
１３２：ＡＺモータ部
１３３：ＥＬ検出部
１３４：ＡＺ検出部
１３５：ＥＬ軸機構部
１３６：ＡＺ軸機構部
１４１：フレーム間補間部
１４２：追従補正部
１４３：ＥＬ加算部
１４４：ＡＺ加算部
１４５：ＥＬ減算部
１４６：ＡＺ減算部
１４７：ＥＬサーボ増幅部
１４８：ＡＺサーボ増幅部
１５１：レーザ受光部
１６１：物体検出部
１６２：大きさ判定部
１６３：捕捉追尾部
１６４：鳥目標検出部
１６５：鳥目標選択部
１８１：レーザ送出部
１８２：音響発生部
１１Ｐ：広画角撮像画像
１２Ｐ：狭画角撮像画像
１７Ｐ：目標位置予測画像
Ｐ：航空機
Ｂ１、Ｂ１’、Ｂ２、Ｂ２”、Ｂ３、Ｂ３”、Ｂ４：鳥類
Ｂ２’、Ｂ３’：予測位置
Ｇ：追尾処理ゲート

Claims (7)

1. 広画角で目標を撮像する広画角撮像部と、
   狭画角で目標を撮像する狭画角撮像部と、
   前記広画角撮像部及び前記狭画角撮像部の撮像方向が同一方向となるように、前記広画角撮像部及び前記狭画角撮像部の撮像方向を駆動する撮像方向駆動部と、
   前記狭画角撮像部及び前記広画角撮像部が追尾目標を撮像画角内のほぼ中央に撮像することができるように、前記撮像方向駆動部を制御する追尾処理制御部と、
   前記広画角撮像部が撮像する目標までの距離を測定する目標距離測定部と、備え、
   前記狭画角撮像部が前記追尾目標を撮像画角内に撮像することができなくなったときに、前記追尾処理制御部は、前記広画角撮像部が撮像する前記追尾目標の撮像画角内の中央からのずれに基づいて、前記狭画角撮像部が前記追尾目標を撮像画角内のほぼ中央に再度撮像することができるように、前記撮像方向駆動部を制御し、
   前記広画角撮像部が前記追尾目標の近傍に近傍目標を撮像画角内に撮像しているときに、前記追尾処理制御部は、前記狭画角撮像部が前記追尾目標を撮像画角内に撮像することができなくなる直前に前記目標距離測定部が測定した前記追尾目標までの距離と、前記狭画角撮像部が前記追尾目標を撮像画角内に撮像することができなくなった直後に前記目標距離測定部が測定した前記追尾目標までの距離及び前記近傍目標までの距離と、の間の一致程度に基づいて、前記追尾目標と前記近傍目標とを区別する
   ことを特徴とする目標追尾装置。
2. 広画角で目標を撮像する広画角撮像部と、
   狭画角で目標を撮像する狭画角撮像部と、
   前記広画角撮像部及び前記狭画角撮像部の撮像方向が同一方向となるように、前記広画角撮像部及び前記狭画角撮像部の撮像方向を駆動する撮像方向駆動部と、
   前記狭画角撮像部及び前記広画角撮像部が追尾目標を撮像画角内のほぼ中央に撮像することができるように、前記撮像方向駆動部を制御する追尾処理制御部と、
   前記広画角撮像部が撮像する複数の目標から前記追尾目標を選択する追尾目標選択部と、
   前記追尾目標選択部が前記追尾目標に選択しなかった非選択目標について、前記追尾目標選択部が前記追尾目標を選択する前の移動方向及び移動速度に基づいて、前記追尾目標選択部が前記追尾目標を選択した後の位置を予測する目標位置予測部と、を備え、
   前記追尾処理制御部が前記追尾目標を追尾し終わった後に、前記追尾目標選択部は、前記目標位置予測部が予測した前記非選択目標の位置と、前記広画角撮像部が撮像する目標の位置と、の間の一致程度に基づいて、前記非選択目標から新たな追尾候補を選択する
   ことを特徴とする目標追尾装置。
3. 前記狭画角撮像部が前記追尾目標を撮像画角内に撮像することができなくなったときに、前記追尾処理制御部は、前記広画角撮像部が撮像する前記追尾目標の撮像画角内の中央からのずれに基づいて、前記狭画角撮像部が前記追尾目標を撮像画角内のほぼ中央に再度撮像することができるように、前記撮像方向駆動部を制御する
   ことを特徴とする、請求項２に記載の目標追尾装置。
4. 前記広画角撮像部が撮像する目標までの距離を測定する目標距離測定部をさらに備え、
   前記広画角撮像部が前記追尾目標の近傍に近傍目標を撮像画角内に撮像しているときに、前記追尾処理制御部は、前記狭画角撮像部が前記追尾目標を撮像画角内に撮像することができなくなる直前に前記目標距離測定部が測定した前記追尾目標までの距離と、前記狭画角撮像部が前記追尾目標を撮像画角内に撮像することができなくなった直後に前記目標距離測定部が測定した前記追尾目標までの距離及び前記近傍目標までの距離と、の間の一致程度に基づいて、前記追尾目標と前記近傍目標とを区別する
   ことを特徴とする、請求項３に記載の目標追尾装置。
5. 前記追尾処理制御部が追尾した前記追尾目標としての鳥類を威嚇する鳥類威嚇部、をさらに備えることを特徴とする、請求項１から４のいずれかに記載の目標追尾装置。
6. 前記追尾処理制御部が前記追尾目標としての鳥類を追尾した結果を出力する追尾出力部、をさらに備えることを特徴とする、請求項１から５のいずれかに記載の目標追尾装置。
7. 前記追尾目標の追尾を指令する追尾指令装置と、前記追尾目標を追尾する請求項１から６のいずれかに記載の複数の目標追尾装置と、を備え、
   前記追尾指令装置は、複数の前記追尾目標を選択し、複数の前記追尾目標のうちの各一群の前記追尾目標の追尾を各目標追尾装置に割り振り指令する
   ことを特徴とする目標追尾システム。

Images