JP6950273B2 - 飛行物体位置検知装置、飛行物体位置検知システム、飛行物体位置検知方法及びプログラム - Google Patents

Description

本発明は、飛行物体位置検知装置、飛行物体位置検知システム、飛行物体位置検知方法及びプログラムに関し、特に複数のカメラを用いて飛行物体の位置を検出する飛行物体位置検知装置、飛行物体位置検知システム、飛行物体位置検知方法及びプログラムに関する。

近年、空港や風力発電設備に鳥などが侵入し航空機や風車へ衝突するバードストライクが社会的に大きな問題になってきている。これらの重要施設においてはバードストライク防止のため、侵入する鳥類などの飛行物体を検出する飛行物体位置検知装置が設置されている。

飛行物体位置検知装置は、例えば、重要施設に侵入する飛行物体をカメラにより撮像し、その飛行物体が鳥類であると判断すると、その飛行物体を撮像した画像を表示する。このような方式のものは、設置が比較的容易であるとともに、直接目視して判断結果の正しさを確認できるというメリットがある。

例えば特許文献１に、この種の鳥類個体識別用撮影装置が開示されている。特許文献１に開示される撮影装置は、望遠レンズよりも相対的に広範囲を撮影可能なレンズ、好ましくは対角線画角６０度以上の広角レンズ又は超広角レンズを備えた第１カメラと、望遠レンズを備えた第２カメラを備えている。撮影装置は、第１カメラの撮影領域中に目的とする被写体（例えば、鳥類）が侵入すると、第１カメラから送信される画像データを読み取って、該被写体が捉えられたと判定し、続いて、被写体の空間位置座標（ｘ座標、ｙ座標）を求める。そして撮影装置は、求めた空間位置座標の情報を用いて、第２カメラの設置点を基準とした仰角及び水平角を求め、第２カメラの望遠レンズを被写体の空間位置座標に向かせる。

特開２０１０−２１９８２２号公報

特許文献１の撮影装置は、第１カメラの撮影のみで被写体の空間位置座標を求め、その空間位置座標の情報を用いて、第２カメラの仰角及び水平角を求める構成となっている。しかしながら特許文献１には、被写体のz座標や第二カメラのズーム値をどのように設定するかは開示されていないことから特許文献１の撮影装置は、第１カメラから被写体までの距離を所定の狭い範囲に限定することで被写体の空間位置座標を求めていると考えられる。撮影対象領域が広範囲であり第１カメラから被写体までの距離が大きく異なる場合でも被写体の３次元位置を測定できる構成は特許文献１には開示されていない。

本発明はこのような問題点に鑑みてなされたものであり、複数のカメラを用いて飛行物体の位置を検出する飛行物体位置検知装置において、対象領域が広範囲であっても飛行物体の３次元位置を高精度に測定することができる飛行物体位置検知装置、飛行物体位置検知システム、飛行物体位置検知方法及びプログラムを提供することを目的の１つとする。

上記課題を解決するため、本発明の１側面による飛行物体位置検知装置は、第１カメラから取得した第１画像中の第１飛行物体を検出する第１飛行物体位置検出部と、前記第１カメラからみた前記第１飛行物体の方向を示すエピポーラ線を求めるエピポーラ線算出部と、前記第２カメラが前記エピポーラ線に沿って撮影を行うよう前記第２カメラを制御する第２カメラ制御部と、前記第２カメラから取得した第２画像中の第２飛行物体を検出する第２飛行物体位置検出部と、前記第２飛行物体と前記第１飛行物体が同一か判断する同一判断部と、前記第２飛行物体と前記第１飛行物体が同一であると判断した場合、前記第２飛行物体の位置を前記第２カメラの向きと前記エピポーラ線とから算出する位置算出部と、を有する。

また本発明の他の１側面による飛行物体位置検知システムは、監視領域の画像を撮影する第１カメラと、前記監視領域を前記第１カメラと異なる向きで撮影する第２カメラと、上記飛行物体位置検知装置と、を有する。

また本発明の他の１側面による飛行物体位置検知方法は、第１カメラから取得した第１画像中の第１飛行物体を検出し、前記第１カメラからみた前記第１飛行物体の方向を示すエピポーラ線を求め、前記第２カメラが前記エピポーラ線に沿って撮影を行うよう前記第２カメラを制御し、前記第２カメラから取得した第２画像中の飛行物体を検出し、前記第２飛行物体と前記第１飛行物体が同一か判断し、前記第２飛行物体と前記第１飛行物体が同一であると判断した場合、前記第２飛行物体の位置を前記第２カメラの向きと前記エピポーラ線とから算出する。

また本発明の他の１側面によるプログラムは、コンピュータに、第１カメラから取得した第１画像中の第１飛行物体を検出する処理と、前記第１カメラからみた前記第１飛行物体の方向を示すエピポーラ線を求める処理と、前記第２カメラが前記エピポーラ線に沿って撮影を行うよう前記第２カメラを制御する処理と、前記第２カメラから取得した第２画像中の第２飛行物体を検出する処理と、前記第２飛行物体と前記第１飛行物体が同一か判断する処理と、前記第２飛行物体と前記第１飛行物体が同一であると判断した場合、前記第２飛行物体の位置を前記第２カメラの向きと前記エピポーラ線とから算出する処理と、を実行させる。

本発明の他の１側面による飛行物体位置検知装置は、複数の第１カメラから取得した複数の第１画像中の第１飛行物体をそれぞれ検出する複数の第１飛行物体位置検出部と、前記第１飛行物体を検出した第１飛行物体位置検出部の１つを選択する選択部と、選択された第１飛行物体位置検出部の１つに対応する第１カメラからみた、選択された前記第１飛行物体位置検出部に検出された第１飛行物体の方向を示すエピポーラ線を求めるエピポーラ線算出部と、前記第２カメラが前記エピポーラ線に沿って撮影を行うよう前記第２カメラを制御する第２カメラ制御部と、前記第２カメラから取得した第２画像中の第２飛行物体を検出する第２飛行物体位置検出部と、前記第２飛行物体と前記第１飛行物体が同一か判断する同一判断部と、前記第２飛行物体と前記第１飛行物体が同一であると判断した場合、前記第２飛行物体の位置を前記第２カメラの向きと前記エピポーラ線とから算出する位置算出部と、を有する。

本発明の他の１側面による飛行物体位置検知システムは、監視領域の画像を撮影する複数の第１カメラと、前記監視領域を前記複数の第１カメラと異なる向きで撮影する第２カメラと、上記飛行物体位置検知装置と、を有する。

本発明の上記側面によれば、複数のカメラを用いて飛行物体の位置を検出する飛行物体位置検知装置において、対象領域が広範囲であっても飛行物体の３次元位置を高精度に測定することができる。

図１は、第１の実施形態の構成を示すブロック図である。 図２は、図１の第２カメラ制御部の動作を示す説明図である。 図３は、図１の第１カメラ及び第２カメラによる飛行物体の画像の一例を示す図である。 図４は、図１の第１カメラ及び第２カメラによる飛行物体の画像の周期的変化の一例を示す図である。 図５は、図１の第１カメラ及び第２カメラで検知された飛行物体の飛翔パターンの一例を示す図である。 図６は、図１の動作を示すフローチャートである。 図７は、第２の実施形態の第１カメラ及び第２カメラの配置を示す図である。 図８は、第２の実施形態の構成を示すブロック図である。 図９は、第３の実施形態の構成を示すブロック図である。 図１０は、各実施形態の各部の機能を実現するコンピュータの構成を示すブロック図である。

図１は、第１の実施形態の構成を示すブロック図である。図１に示すように、飛行物体位置検知システム１は、監視領域の画像を撮影する第１カメラ１１と、第１カメラ１１の撮影領域を第１カメラ１１と異なる向きに設置された第２カメラ１２と、飛行物体位置検知装置２０を備えている。本実施形態は、空港における滑走路離着陸エリアを監視エリアとした飛行物体位置検知システムの実施形態である。

第１カメラ１１は広角高解像度カメラであり、図示しない固定台に設置され、空港における滑走路離着陸エリアの一定の方位を定点監視するか、または任意の方位・仰角に旋回して映像を撮影する。第１カメラ１１は、例えば毎秒６０フレームの周期で画像を継続的に撮影し、撮影した撮像画像を有線または無線により飛行物体位置検知装置２０へ伝送する機能を持つ。

また第２カメラ１２は、ＰＴＺ動作の指令を受信した場合、パン／チルト／ズーム動作（以降、ＰＴＺ動作と呼称する）を行うことが可能な、いわゆるＰＴＺカメラである。第２カメラ１２は、第１カメラ１１と同様、図示しない固定台に設置され、空港における滑走路離着陸エリアの一定の方位を定点監視するか、または任意の方位・仰角に旋回して映像を撮影する。第２カメラ１２は、第１カメラ１１と同様、例えば毎秒６０フレームの周期で画像を継続的に撮影し、撮影した撮像画像を有線または無線により飛行物体位置検知装置２０へ伝送する機能を持つ。

飛行物体位置検知装置２０は、第１カメラ１１から取得した画像中の飛行物体（以下、第１飛行物体ともいう）を検出する第１飛行物体位置検出部２１と、エピポーラ線算出部２２と、エピポーラ線に沿って第２カメラ１２の向きを制御する第２カメラ制御部２３を備えている。第１飛行物体位置検出部２１が第１カメラ１１から取得した画像中に飛行物体が存在することを検出すると、エピポーラ線算出部２２に第１カメラ１１から取得した画像中に存在する飛行物体の情報を送信する。また第１飛行物体位置検出部２１は、第１カメラ１１から取得した画像中に飛行物体が存在することを検出すると、同一判断部２５に第１カメラ１１から取得した画像中に存在する飛行物体の画像を送信する。

第１飛行物体位置検出部２１から第１飛行物体の情報を受信すると、エピポーラ線算出部２２は、第１カメラ１１からみた飛行物体の方向を示すエピポーラ線、すなわち第１カメラ１１と飛行物体の２点を通る直線を求める。エピポーラ線算出部２２は、求めたエピポーラ線を第２カメラ制御部２３に送信する。

第２カメラ制御部２３は、エピポーラ線算出部２２からエピポーラ線を受信すると、第２カメラ１２がエピポーラ線に沿って撮影を行うよう第２カメラ１２を制御する。第２カメラ制御部２３は、第２カメラ１２がエピポーラ線に沿って、例えば第１カメラ１１から離れた端から撮影していく。ただし、時間経過とともに飛行物体が移動していくため、エピポーラ線算出部２２は、飛行物体の移動にともなってエピポーラ線を推移させていく。第２カメラ制御部２３は、飛行物体の移動に伴って推移するエピポーラ線に沿って第２カメラ１２の撮影範囲を走査させていき、後述の第２飛行物体位置検出部２４に飛行物体を探索させる。

図２は、図１の第２カメラ制御部２３の動作を示す説明図である。図２に示すように、例えば時刻ｔ、ｔ＋τ、ｔ＋２τにおいてエピポーラ線算出部２２から受信するエピポーラ線は、第１カメラで検出されている飛行物体が移動するため、異なる直線となる。まず第２カメラ制御部２３は、時刻ｔにおいてその時のエピポーラ線上であって、第１カメラ１１から離れた領域を撮影するよう第２カメラ１２を制御する。次に時刻ｔ＋τでは、第２カメラ制御部２３は、その時のエピポーラ線上であって、エピポーラ線に沿って時間τに対応する距離の分、第１カメラ１１に近づいた領域を撮影するよう第２カメラ１２を制御する。
時刻ｔ＋２τでは、第２カメラ制御部２３は、さらに時間τに対応する距離の分その時のエピポーラ線に沿って第１カメラ１１に近づいた領域を撮影するよう第２カメラ１２を制御する。

図１に戻り、第１の実施形態の構成をさらに説明する。飛行物体位置検知装置２０は、第２カメラ１２から取得した画像中の飛行物体（以下、第２飛行物体ともいう）を検出する第２飛行物体位置検出部２４と、第１飛行物体と第２飛行物体が同一か判断する同一判断部２５と、第１飛行物体と第２飛行物体が同一と判断された場合にその位置を算出する位置算出部２６を備えている。

第２飛行物体位置検出部２４は、第２カメラ１２から取得した画像中に飛行物体が存在することを検出すると、同一判断部２５に第２カメラ１２から取得した画像中に存在する飛行物体の画像を送信する。

同一判断部２５は、まず第１カメラ１１から取得した画像中に存在する第１飛行物体の画像を第１飛行物体位置検出部２１から受信する。その後、第２カメラ１２から取得した画像中に存在する第２飛行物体の画像を第２飛行物体位置検出部２４から受信すると、第１飛行物体と第２飛行物体が同一か判断する。

第１飛行物体と第２飛行物体が同一と判断すると、同一判断部２５は、第１カメラからみた第１飛行物体の方向及び第２カメラからみた第２飛行物体の方向を、位置算出部２６に送信する。なお位置算出部２６は、第１カメラからみた第１飛行物体の方向は、エピポーラ線算出部２２から取得してもよいし、第２カメラからみた第２飛行物体の方向は第２カメラ制御部２３から取得してもよい。

同一判断部２５から第１カメラからみた第１飛行物体の方向及び第２カメラからみた第２飛行物体の方向を受信すると、位置算出部２６は、これらと、予め測定され記憶している第１カメラ１１及び第２カメラ１２の位置とに基づいて、三角測量の原理により飛行物体の位置を算出する。

ここで同一判断部２５の、第１飛行物体と第２飛行物体が同一か判断する動作について説明する。第１カメラ１１と第２カメラ１２のベースライン（第１カメラ１１と第２カメラ１２の間の距離）が離れており、また、カメラの向きが異なる場合、例えば、飛行物体が鳥である場合には、第１カメラ１１が撮影した飛行物体の画像と第２カメラ１２が撮影した飛行物体の画像は大きく異なっており、形状特徴等から同一物体であるかどうかを識別することが難しい。

図３は、図１の第１カメラ１１及び第２カメラ１２による飛行物体の画像の一例を示す図である。図３は、例えば飛行物体が鳥であり、第１カメラ１１が鳥の飛行方向前方から鳥を撮影し、第２カメラ１２が鳥の飛行方向左側から鳥を撮影する場合の第１カメラ１１による飛行物体の画像と第２カメラ１２による飛行物体の画像の例を示している。

飛行物体が鳥である場合、飛行物体の画像は鳥の羽ばたきに応じて、周期的に一定のパターンで変化する。図４は、図１の第１カメラ１１及び第２カメラ１２による飛行物体の画像の周期的変化の一例を示す図である。図４に示すように、飛行物体の進行方向に垂直な方向について、鳥の胴体部分の中心から最も離れた鳥の外形の頂点を算出すると、この頂点位置は鳥の羽ばたきに応じて、上下に（正負に）周期的に変化する。以下、この飛行物体の進行方向に対する垂直方向の外形の頂点位置の周期的な変化パターンは飛翔パターンと呼称される。

図６は、図１の第１カメラ１１及び第２カメラ１２で検知された飛行物体の飛翔パターンの一例を示す図である。飛翔パターンの振幅は、カメラと鳥との距離や撮影する角度に応じて変動するが、飛翔パターンの周期や位相はカメラと鳥との距離や撮影する角度に依存しない。そのため、飛行物体が鳥である場合、第１カメラで検知された飛行物体の飛翔パターンの周期及び位相と第２カメラで検知された飛行物体の飛翔パターンの周期及び位相の類似度により同一の飛行物体か判断することができる。

そこで同一判断部２５は、まず第１飛行物体及び第２飛行物体の画像を受信したとき形状変化があるか判断し、形状変化があると判断した場合は、第１飛行物体及び第２飛行物体の飛翔パターンを生成する。すなわち同一判断部２５は、第１飛行物体及び第２飛行物体の一連の画像から飛行物体の進行方向に垂直な方向について、一連の画像が撮影された各時刻で鳥の胴体部分の中心から最も離れた鳥の外形の頂点を算出し、第１飛行物体及び第２飛行物体の飛翔パターンを生成する。そして第１飛行物体の飛翔パターンと第２飛行物体の飛翔パターンの周期及び位相が一致又は類似しているか判断し、一致又は類似していると判断した場合、第１飛行物体と第２飛行物体が同一と判断する。

なお、上記の飛翔パターンの計算方法は、あくまで一例である。飛翔パターンの計算方法は、上記の方式に限らず、周期的な変動を捕らえるものであれば何でもよい。例えば、飛翔パターンの計算方法は、飛行物体の画像領域の縦横比の周期的な変動をとらえるものであってもよい。

また、同一判断部２５は、飛行物体がドローン等のように、形状やサイズの変化がない飛行物体の場合、上記と異なる動作により第１飛行物体と第２飛行物体が同一か判断する。例えば同一判断部２５は、まず第１飛行物体及び第２飛行物体の画像を受信したとき形状変化があるか判断し、形状変化がないと判断した場合は、仮に第１飛行物体と第２飛行物体が同一であるとして位置算出部２６に仮の３次元位置を算出させる。すなわち、同一判断部２５は、第１カメラからみた第１飛行物体の方向及び第２カメラからみた第２飛行物体の方向を位置算出部２６に送信し、位置算出部２６は、これらに基づいて仮の３次元位置を算出して同一判断部２５に送信する。次に同一判断部２５は、算出された仮の３次元位置に基づいて第１飛行物体の第１物体サイズ及び第２飛行物体の第２物体サイズを算出する。そして同一判断部２５は、算出された仮の第１物体サイズ及び第２物体サイズが一致又は類似であるか判断し、一致又は類似であると判断した場合、第１飛行物体と第２飛行物体が同一と判断する。

なお第１の実施形態及び後述の各実施形態の飛行物体位置検知システムの各構成要素は、機能単位のブロックを示している。本実施形態の飛行物体位置検知システムの各構成要素の一部又は全部は、例えば図１０に示すようなコンピュータ１００とプログラムとの任意の組み合わせにより実現されてもよい。コンピュータ１００は、一例として、以下のような構成を含む。

・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３
・ＲＡＭ１０３にロードされるプログラム１０４
・プログラム１０４を格納する記憶装置１０５
・記録媒体１０６の読み書きを行うドライブ装置１０７
・通信ネットワーク１０９と接続する通信インターフェース１０８
・データの入出力を行う入出力インターフェース１１０
・各構成要素を接続するバス１１１
本実施形態の飛行物体位置検知システムの各構成要素の機能は、これらの機能を実現するプログラム１０４をＣＰＵ１０１が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム１０４は、例えば、予め記憶装置１０５やＲＯＭ１０２やＲＡＭ１０３に格納されており、必要に応じてＣＰＵ１０１が読み出す。

なお、プログラム１０４は、通信ネットワーク１０９を介してＣＰＵ１０１に供給されてもよいし、予め記録媒体１０６に格納されており、ドライブ装置１０７が当該プログラムを読み出してＣＰＵ１０１に供給してもよい。

飛行物体位置検知システムの各構成要素の機能の実現方法には、様々な変形例がある。例えば、飛行物体位置検知システムの各構成要素の機能は、構成要素毎にそれぞれ別個のコンピュータとプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素の機能が、一つのコンピュータとプログラムとの任意の組み合わせにより実現されてもよい。

また、飛行物体位置検知システムの各構成要素の一部又は全部は、その他の汎用または専用の回路（ｃｉｒｃｕｉｔｒｙ）、プロセッサ等やこれらの組み合わせによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。また各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。

飛行物体位置検知システムの各構成要素の一部又は全部が複数のコンピュータや回路等により実現される場合には、複数のコンピュータや回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、コンピュータや回路等は、各々が通信ネットワークを介して接続される形態として実現されてもよい。

次に本実施形態の動作について説明する。図６は、図１の動作を示すフローチャートである。図６に示すように、まず第１カメラ１１により監視領域が撮影されると第１飛行物体位置検出部２１がその画像を第１カメラ１１から取得し、取得した画像中に存在する飛行物体（第１飛行物体）を検出する（ステップＳ１）。

次にエピポーラ線算出部２２が第１カメラ１１からみた飛行物体の方向を示すエピポーラ線を求める（ステップＳ２）。

次に第２カメラ１２がエピポーラ線に沿って撮影を行うよう第２カメラ制御部２３が第２カメラを制御する（ステップＳ３）。例えば、第２カメラ制御部２３は、第１カメラ１１から遠い位置からエピポーラ線に沿って走査するよう第２カメラにＰＴＺ指令を送信する。

そして第２カメラ１２が撮影した画像を第２飛行物体位置検出部２４が取得し、その画像中の飛行物体（第２飛行物体）を検出する（ステップＳ４）。

飛行物体が検出されると同一判断部２５は第１カメラ１１が撮影した画像中の飛行物体（第１飛行物体）と第２カメラ１２が撮影した画像中の飛行物体（第２飛行物体）が同一か判断する（ステップＳ５）。

ステップＳ５において、第１飛行物体と第２飛行物体が同一でないと判断されると、ステップＳ３に戻り、ステップＳ４で飛行物体を検出した領域に続く領域から第２カメラ１２がエピポーラ線に沿って撮影を行うよう第２カメラ制御部２３が第２カメラを制御する。

ステップＳ５において、第１飛行物体と第２飛行物体が同一と判断されると、位置算出部２６は、第１カメラからみた第１飛行物体の方向と、第２カメラからみた第２飛行物体の方向を取得する。そして、位置算出部２６は、予め測定され記憶している第１カメラ１１及び第２カメラ１２の位置と、第１カメラからみた第１飛行物体の方向と、第２カメラからみた第２飛行物体の方向に基づいて、三角測量の原理により飛行物体の位置を算出する。（ステップＳ６）。

以上説明したように、本実施形態によれば、第１カメラ１１の画像中に飛行物体を検出すると、第１カメラ１１からみた飛行物体の方向を示すエピポーラ線が求められ、第２カメラ１２がエピポーラ線に沿って撮影を行うよう制御される。この構成により、第１カメラ１１と第２カメラ１２が離れて設置されても第２カメラ１２が飛行物体を見失うおそれは少なく、対象領域が広範囲であっても飛行物体の３次元位置を高精度に測定することができる。

次に第２の実施形態について説明する。図７は、第２の実施形態の第１カメラ及び第２カメラの設置例を示す図である。図７に示すように、本実施形態の飛行物体位置検知システムでは、第１カメラ１１が複数の重点監視領域についてそれぞれ１台ずつ設置されるのに対し、１台の第２カメラ１２が、各重点監視領域を撮影範囲に含むように設置されている。

図８は、第２の実施形態の構成を示すブロック図である。図８に示すように、本実施形態の飛行物体位置検知システム２は、第１カメラ１１を複数備え、飛行物体位置検知装置２７の第１飛行物体位置検出部２８に複数の第１カメラが接続される。第１飛行物体位置検出部２８は、優先順位にしたがって複数の第１カメラ１１を順次切り替え、選択された１台の第１カメラ１１から取得した画像について飛行物体が存在するか判断する。優先順位は、例えば空港の場合、飛行物体が検出されている第１カメラ１１のうち離着陸予定時刻が近い監視エリアを撮影する第１カメラ１１を優先して選択してもよい。第１飛行物体位置検出部２８は、所定時間、飛行物体が検出されない場合は、次の優先順位の第１カメラ１１を選択する。

第１飛行物体位置検出部２８は、選択した第１カメラ１１から取得した画像中に飛行物体が存在することを検出すると、第１カメラ１１の切り替えを停止する。

その後、第１飛行物体位置検出部２８は、第１の実施形態と同様に、エピポーラ線算出部２２に選択された第１カメラ１１から取得した画像中に存在する飛行物体の情報を送信する。また第１飛行物体位置検出部２１は、選択された第１カメラ１１から取得した画像中に飛行物体が存在することを検出すると、同一判断部２５に選択された第１カメラ１１から取得した画像中に存在する飛行物体の画像を送信する。

エピポーラ線算出部２２と、第２カメラ制御部２３と、第２飛行物体位置検出部２４と、同一判断部２５と、位置算出部２６は、第１の実施形態と同様に動作する。同一判断部２５は、第１飛行物体と第２飛行物体が同一と判断し、その後、位置算出部２６が飛行物体の位置を算出したことを検知して、第１飛行物体位置検出部２８に飛行物体の位置を算出したことを通知する。

第１飛行物体位置検出部２８は、飛行物体位置の算出通知を受信してから所定時間、飛行物体を検知しなければ第１カメラ１１の切り替えを再開する。

なお図８では第１飛行物体位置検出部２８が第１カメラからの入力を順次切り替える構成として説明したが、これに限らず、例えば第１カメラ１１と同数の第１飛行物体位置検出部２８を備え、エピポーラ線算出部２２が、複数の第１飛行物体位置検出部２８からの入力を順次切り替える構成としてもよい。さらにエピポーラ線算出部２２も第１カメラ１１及び第１飛行物体位置検出部２８と同数備え、第２カメラ制御部２３が複数のエピポーラ線算出部２２からの入力を順次切り替える構成としてもよい。

本実施形態では、第１の実施形態と同様の効果を持つと共に、複数の重点監視領域のすべての地点にそれぞれ１台ずつ第１カメラを設置すればよく、それぞれに第１カメラと第２カメラを設置する必要がない。したがって本実施形態によれば、複数の広範囲な重点監視領域を監視する場合でも少ない台数で飛行物体を検出することができ、設置・運用・保守コストを抑えることが可能となる。

次に第３の実施形態について図面を参照して詳細に説明する。図９は、本発明の第３の実施形態の構成を示す図である。

本実施形態の第１飛行物体位置検出部３１は、入力処理部３１１、検出部３１２、方向抽出部３１３、追跡処理部３１４、記憶部３１５を備えている。

入力処理部３１１は、１台以上の第１カメラ１１が接続される。複数の第１カメラ１１が接続される構成では、入力処理部３１１は、第２実施形態と同様に、優先順位にしたがって複数の第１カメラ１１を順次切り替え、選択された１台の第１カメラ１１から取得した画像についてから伝送された撮像画像を受信する。入力処理部３１１は、ファーストイン・ファーストアウト方式により常時３フレーム分の画像データを基にローリング・シャッタ現象に起因する映像の乱れを補正して検出部３１２に出力する。

検出部３１２は、連続した３フレームの画像の差分情報から動いている物体の輪郭線を抽出する。また、検出部３１２は、この動いている物体の撮影時刻、位置、大きさ、画像、及び輝度勾配のヒストグラムであるＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量をひとまとめにして第１カメラ１１の飛行物体候補情報として記憶部３１５内に記録する。より詳細には、検出部３１２は、第１カメラ１１から入力した撮像画像をもとに、連続した、または時系列的に一定間隔に抜き出した３枚の画像（それぞれフレームｎ−１，ｎ，ｎ＋１とする）を輝度で２値化した上で、それぞれ差分画像ｍ＝ｎ−（ｎ−１）、ｍ＋１＝（ｎ＋１）−ｎを生成する。さらに検出部３１２は、ｍとｍ＋１の積画像Ｄ＝ｍ＊（ｍ＋１）を生成することにより、３枚の元画像から飛行物体候補である動体を抽出する。積画像Ｄ上で抽出された動体については、検出部３３２は、それぞれ積画像Ｄ上での重心位置と形状、及び大きさを予め設定した基準値に正規化した上でＨＯＧ特徴量を計算し、飛行物体候補情報として記憶部３１５に記録する。

また検出部３１２は、飛行物体候補情報のＨＯＧ特徴量をもとに、多クラスのＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）やニューラルネットワーク等の原理に基づく多値判別器により物体の種類を判定して第１飛行物体を検出する。検出部３１２は、例えば、動いている物体が鳥かもしくはその他の物体（航空機やドローン等）か、背景（樹木の揺れ、海面の白波、車両等）かを判定する。

多値判別器の判別基準の学習には記憶部３１５内に記録された飛行物体判別ライブラリに収められた過去に得られた鳥やその他の物体（航空機、ドローン等）、背景の画像のＨＯＧ特徴量データベースが利用される。より詳細には、各飛行物体候補情報に対し、飛行物体判別ライブラリから生成された閾値を基準とする多値判別器を適用することで当該飛行物体候補情報が飛行物体か否かの判定を行う。

上記判定で飛行物体以外の物体と判断されたものは飛行物体候補情報を削除する。また飛行物体と判断されたものは、後段の処理へ廻される。

方向抽出部３１３は、第１カメラ１１からみた第１飛行物体の方向、すなわち、仰角および方位角を算出する。より詳細には、方向抽出部３１３は、飛行物体候補情報に含まれる飛行物体の画像中の位置に対し、第１カメラ１１の外部パラメータ（設置位置・向き）および内部パラメータ（撮像素子の主点位置・傾き・およびレンズの焦点距離・レンズの歪み）から、第１カメラ１１に対する飛行物体の方向（仰角および方位角）を算出する。

追跡処理部３１４は、飛行物体候補情報と飛行物体の方向を連続的に得て、飛行物体の追跡処理を行う。一般的にはカルマンフィルタやパーティクルフィルタを用いた追跡処理がある。特に飛行物体を鳥に限定した場合、鳥の飛行が直線的であることが多いため等速直線運動のモデルが当てはめられる。また追跡処理部３１４は、過去の第１飛行物体の方向等及び画像情報を含む第１飛行物体の追跡処理情報を記憶部３１５内に記録する。

さらに追跡処理部３１４は、もし、サイズ推定部３５１から飛行物体のサイズの推定値が伝送されてきた場合、飛行物体のサイズの推定値を記憶部３１５内に追加し、これを利用して飛行物体の位置の計算に利用する機能も備えてもよい。すなわち、追跡処理部３１４は、一度、飛行物体のサイズの推定値を得ることができると、飛行物体の位置の３次元座標の推定値を得る機能を備えてもよい。

追跡処理部３１４は、サイズ推定部３５１から第１飛行物体のサイズの推定値が伝送されていない場合は、第１飛行物体の追跡処理情報をエピポーラ線算出部２２および同一判断部３５に伝送する。

エピポーラ線算出部２２は、第１飛行物体位置検出部３１の追跡処理部３１４で追跡処理された第１飛行物体について第１カメラ１１から見た飛行物体の方向（仰角および方位角）を示すエピポーラ線を、まずは第１カメラ１１のカメラ座標系において求める。そしてエピポーラ線算出部２２は、第２カメラ１２のカメラ座標系に座標変換して第２カメラ制御部２３に伝送する。

第２カメラ制御部２３は、エピポーラ線に沿って第２カメラ１２が撮影を行うようにパン／チルト／ズーム動作（以降、ＰＴＺ動作と呼称する）を指令する。第２カメラ制御部２３は、エピポーラ線のうち現実的な有限の範囲内のみを第２カメラ１２が撮影するようなＰＴＺ動作を指令する。第２カメラ制御部２３は、サイズ推定部３５１から追跡処理部３１４に飛行物体のサイズの推定値が伝送されてくるまでの間、このＰＴＺ動作指令を継続する。

本実施形態の同一判断部３５は、判断部３５１と、飛翔パターン生成部３５２と、記憶部３５３と、サイズ推定部３５４を備える。判断部３５１は、追跡処理部３１４から受信した第１飛行物体の追跡処理情報に含まれる一連の第１飛行物体の画像から形状変化があるか判断し、形状変化があると判断すると、飛翔パターン生成部３５２に受信した第１飛行物体の追跡処理情報を転送する。

飛翔パターン生成部３５２は、第１飛行物体の追跡処理情報に含まれる一連の第１飛行物体の画像について、それぞれ第１飛行物体の進行方向に対し垂直方向の外形の頂点位置の周期的な変化パターンを計算し、図６に示すような第１飛翔パターンを生成し、記憶部３５３に記録する。

第２飛行物体位置検出部３２は、第１飛行物体位置検出部３１と同様の構成を持ち、入力処理部３２１、検出部３２２、方向抽出部３２３、追跡処理部３２４、記憶部３２５を備えている。入力処理部３２１は、第２カメラ１２から伝送された撮像画像を受信し、入力処理部３１１と同様に、常時３フレーム分の画像データを一時保管する。入力処理部３２１は、入力処理部３１１と同様に、一時保管した画像についてローリング・シャッタ現象に起因する映像の乱れを補正した後、検出部３２２及び表示部３３に伝送する。

検出部３２２は、検出部３１２と同様に、連続した３フレームの画像の差分情報から動いている物体の輪郭線を抽出する。また、検出部３２２は、この動いている物体の撮影時刻、位置、大きさ、画像、及び輝度勾配のヒストグラムであるＨＯＧ特徴量をひとまとめにして、飛行物体候補情報として記憶部３２５内に記録する。

検出部３２２は、検出部３１２と同様に、飛行物体候補情報のＨＯＧ特徴量をもとに、多クラスのサポートベクターマシン（ＳＶＭ）やニューラルネットワーク等の原理に基づく多値判別器により当該動体が鳥かもしくはその他の物体（航空機やドローン等）か、背景（樹木の揺れ、海面の白波、車両等）か、の判定を行い、第２飛行物体を検出する。多値判別器の判別基準の学習には記憶部３２５内の飛行物体判別ライブラリに収められた過去に得られた鳥やその他の物体（航空機、ドローン等）、背景の画像のＨＯＧ特徴量データベースが利用される。

方向抽出部３２３は、第２カメラ１２からみた第２飛行物体の方向、すなわち、仰角および方位角を算出する。

追跡処理部３２４は、追跡処理部３１４と同様に第２飛行物体の追跡処理を行う。また追跡処理部３２４は、過去の第２飛行物体の方向等及び画像情報を含む第２飛行物体の追跡処理情報を記憶部３２５内に記録する。また追跡処理部３２４は、第２飛行物体の追跡処理情報を同一判断部３５に送信する。

判断部３５１は、受信した第２飛行物体の追跡処理情報に含まれる一連の第２飛行物体の画像において形状変化があるか判断し、形状変化があると判断すると、飛翔パターン生成部３５２に受信した第２飛行物体の追跡処理情報を転送する。

飛翔パターン生成部３５２は、第２飛行物体の追跡処理情報に含まれている一連の第２飛行物体の画像情報についてそれぞれ第２飛行物体の進行方向に対する垂直方向の外形の頂点位置の周期的な変化パターンを計算して第２飛翔パターンを生成し、記憶部３５３内に記録する。また飛翔パターン生成部３５２は、第１飛行物体の追跡処理情報及び第１飛翔パターンを記憶部３５３から読出し、第２飛行物体の追跡処理情報及び第２飛翔パターンとともに判断部３５１に伝送する。

判断部３５１は、第１飛行物体及び第２飛行物体の追跡処理情報と、第１飛翔パターン及び第２飛翔パターンを受信すると、第１飛翔パターン及び第２飛翔パターンの周期及び位相を算出してこれらのマッチング処理を行う。マッチング処理が成功、すなわち第１飛翔パターンと第２飛翔パターンの周期及び位相が一致又は類似した場合、判断部３５２は、第１飛行物体と第２飛行物体は同一であると判断して、位置算出部２６に第１飛行物体の追跡処理情報および第２飛行物体の追跡処理情報を送信する。マッチング処理が成功しなかった、すなわち第１飛翔パターンと第２飛翔パターンの周期及び位相が一致又は類似しなかった場合、判断部３５２は、新しい第２飛行物体の追跡処理情報を受信するまで待機する。

なお、判断部３５１は、追跡処理部３２４から受信した第２飛行物体の追跡処理情報に含まれる一連の第２飛行物体の画像において形状変化がないと判断すると、仮の第１飛行物体及び第２飛行物体の位置を取得するため位置算出部２６に第１飛行物体及び第２飛行物体の追跡処理情報を送信する。

位置算出部２６は、判断部３５１から第１飛行物体及び第２飛行物体の追跡処理情報を受信すると、第１飛行物体の追跡処理情報に含まれる第１カメラ１１からみた飛行物体の方向、および、第２飛行物体の追跡処理情報に含まれる第２カメラからみた飛行物体の方向に基づいて、三角測量の原理により飛行物体の位置を算出する。位置算出部２６は、算出した第１飛行物体及び第２飛行物体の位置を判断部３５１に送信する。

サイズ推定部３５４は、第１飛行物体の第１カメラ１１の撮影した画像上のサイズを算出する。第１カメラ１１の焦点距離に対する第１カメラと第１飛行物体の距離の比率は、第１飛行物体の第１カメラ１１の撮影した画像上のサイズに対する第１飛行物体のサイズの比率と一致する。このことにより、サイズ推定部３５４は、第１カメラ１１の焦点距離と、第１飛行物体の第１カメラ１１の撮影した画像上のサイズと、第１飛行物体の位置とから、第１飛行物体のサイズを推定する。同様にサイズ推定部３５４は、第２飛行物体の位置と第２飛行物体の追跡処理情報から、第２飛行物体のサイズを推定する。サイズ推定部３５４は、第１飛行物体及び第２飛行物体のサイズの推定値を、判断部３５１に伝送する。

判断部３５１は、第１飛行物体のサイズ及び第２飛行物体のサイズの推定値が一致しているか判断し、一致していれば第１飛行物体と第２飛行物体が同一であると判断して、第１飛行物体のサイズの推定値を第１飛行物体位置検出部３１の追跡処理部３１４に伝送する。なお第２飛行物体の形状変化がないと判断していた場合には、第１飛行物体のサイズ及び第２飛行物体のサイズの推定値が一致しない場合がある。この場合は第１飛行物体と第２飛行物体は同一ではない。したがって、判断部３５１は、新しい第２飛行物体の追跡処理情報を受信するまで待機する。

追跡処理部３１４は、第１飛行物体のサイズの推定値を受信すると、記憶部３１５に格納する。追跡処理部３１４は、第１飛行物体のサイズの推定値を受信した後は、この比率計算を用いて、第１カメラ１１の焦点距離と、飛行物体の第１カメラ１１の撮影した画像上のサイズと、飛行物体のサイズの推定値から第１カメラ１１と飛行物体との距離を推定し、さらに第１カメラの向きの情報を取得して飛行物体の位置の３次元座標を推定する。なお、形状が周期的に変動する飛行物体においては、時系列でみたときの平均サイズが一定的であることを利用し本比率計算を行うことができる。

このことにより、本実施形態によれば、追跡処理部３１４は、飛行物体のサイズの推定値を受信した後は、第２飛行物体位置検出部３２による撮影画像中の飛行物体位置検出、及び同一判断部３５による第１飛行物体と第２飛行物体の同一判断を介さず、飛行物体の３次元位置を推定することができる。

追跡処理部３１４が飛行物体のサイズの推定値を受信した後は、第２カメラ制御部２３は、エピポーラ線算出部２２から第１カメラ１１の映像中の別の飛行物体が検出されるまで待機する。また第２の実施形態のように第１カメラ１１を複数備える構成の場合、第２カメラ制御部２３は、ある第１カメラ１１の画像中に検出された飛行物体について、サイズ推定部３１が飛行物体の位置とサイズを推定した後は、その他の第１カメラ１１の映像中に飛行物体が検出されるまで待機する。

また判断部３５１は、第１飛行物体のサイズ及び第２飛行物体のサイズの推定値が一致していれば、位置算出部２６から送信された飛行物体の位置の３次元座標とともに、サイズ推定部３５４が推定した飛行物体のサイズの推定値を表示部３３に伝送する。

表示部３３は、飛行物体の３次元位置とサイズを取得し、第２カメラ１２で撮影された画像から検知した第２飛行物体の拡大映像を第２飛行物体位置検出部３４から取得し、これらを表示する機能を持つ。

以上、説明したように、本実施形態によっても、第１の実施形態と同様の効果が得られる。また第１飛行物体と第２飛行物体が同一であると判断されると飛行物体のサイズが第１飛行物体位置検出部３１に送信され、記憶される。この構成により、第１飛行物体と第２飛行物体が同一であると判断された後は、第２飛行物体位置検出部３２による撮影画像中の飛行物体位置検出、及び同一判断部３５による第１飛行物体と第２飛行物体の同一判断を介さず、飛行物体の３次元位置を推定することができる。

以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

１、２、３ 飛行物体位置検知システム
１１ 第１カメラ
１２ 第２カメラ
２０、２７、３０ 飛行物体位置検知装置
２１、２８、３３ 第１飛行物体位置検出部
２２ エピポーラ線算出部
２３ 第２カメラ制御部
２４、３４ 第２飛行物体位置検出部
２５、３５ 同一判断部
２６ 位置算出部
３１１、３２１ 入力処理部
３１２、３２２ 検出部
３１３、３２３ 方向抽出部
３１４、３２４ 追跡処理部
３１５、３２５ 記憶部
３５１ 判断部
３５２ 飛翔パターン生成部
３５３ 記憶部
３５４ サイズ推定部
３１ 表示部
１００ コンピュータ
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ プログラム
１０５ 記憶装置
１０６ 記録媒体
１０７ ドライブ装置
１０８ 通信インターフェース
１０９ 通信ネットワーク
１１０ 入出力インターフェース
１１１ バス

Claims (10)

1. 第１カメラから取得した第１画像中の第１飛行物体を検出する第１飛行物体位置検出部と、
   前記第１カメラからみた前記第１飛行物体の方向を示すエピポーラ線を求めるエピポーラ線算出部と、
   第２カメラが前記エピポーラ線に沿って撮影を行うよう前記第２カメラを制御する第２カメラ制御部と、
   前記第２カメラから取得した第２画像中の第２飛行物体を検出する第２飛行物体位置検出部と、
   前記第１飛行物体と前記第２飛行物体が同一か判断する同一判断部と、
   前記第１飛行物体及び前記第２飛行物体の位置を算出する位置算出部と、
   を有する飛行物体位置検知装置。
2. 前記同一判断部は、
   前記第１飛行物体及び前記第２飛行物体の進行方向に垂直な方向の外形の頂点位置の変化である第１飛翔パターン及び第２飛翔パターンを生成する飛翔パターン生成部と、
   前記第１飛翔パターン及び前記第２飛翔パターンに基づいて前記第１飛行物体と前記第２飛行物体が同一か判断する判断部と、
   を有する、請求項１に記載の飛行物体位置検知装置。
3. 前記判断部は、前記第１飛翔パターン及び前記第２飛翔パターンの周期及び位相が一致又は類似する場合、前記第１飛行物体と前記第２飛行物体が同一と判断する、
   請求項２に記載の飛行物体位置検知装置。
4. 前記同一判断部は、前記第１飛行物体及び前記第２飛行物体の位置に基づいて前記第１飛行物体の第１物体サイズ及び前記第２飛行物体の第２物体サイズを算出し、一致又は類似であるかに応じて第１飛行物体と第２飛行物体が同一と判断する、請求項１に記載の飛行物体位置検知装置。
5. 前記同一判断部は、前記第１飛行物体又は前記第２飛行物体の位置と、前記第１カメラの焦点距離と、前記第１飛行物体の前記第１カメラの撮影した画像上のサイズと、に基づいて前記第１飛行物体又は前記第２飛行物体のサイズを推定するサイズ推定部を有する請求項４に記載の飛行物体位置検知装置。
6. 前記エピポーラ線算出部は、前記第１飛行物体の移動にともなって前記エピポーラ線を推移させ、
   前記第２カメラ制御部は、推移する前記エピポーラ線に沿って前記第２カメラの撮影領域を走査するよう前記第２カメラを制御する、
   請求項１から５のいずれかに記載の飛行物体位置検知装置。
7. 監視領域の画像を撮影する複数の第１カメラの１つを選択し、選択された第１カメラから取得した第１画像中の第１飛行物体を検出する第１飛行物体位置検出部と、
   選択された第１カメラからみた第１飛行物体の方向を示すエピポーラ線を求めるエピポーラ線算出部と、
   第２カメラが前記エピポーラ線に沿って撮影を行うよう前記第２カメラを制御する第２カメラ制御部と、
   前記第２カメラから取得した第２画像中の第２飛行物体を検出する第２飛行物体位置検出部と、
   前記第１飛行物体と前記第２飛行物体が同一か判断する同一判断部と、
   前記第１飛行物体と前記第２飛行物体が同一であると判断した場合、飛行物体の位置を算出する位置算出部と、
   を有する飛行物体位置検知装置。
8. 監視領域の画像を撮影する複数の第１カメラと、
   前記複数の第１カメラの撮影領域を前記第１カメラと異なる向きで撮影する前記第２カメラと、
   請求項７に記載の飛行物体位置検知装置と、
   を有する飛行物体位置検知システム。
9. 第１カメラから取得した第１画像中の第１飛行物体を検出し、
   前記第１カメラからみた前記第１飛行物体の方向を示すエピポーラ線を求め、
   第２カメラが前記エピポーラ線に沿って撮影を行うよう前記第２カメラを制御し、
   前記第２カメラから取得した第２画像中の第２飛行物体を検出し、
   前記第１飛行物体と前記第２飛行物体が同一か判断し、
   前記第１飛行物体及び前記第２飛行物体の位置を算出する、
   飛行物体位置検知方法。
10. コンピュータに、
    第１カメラから取得した第１画像中の第１飛行物体を検出する処理と、
    前記第１カメラからみた前記第１飛行物体の方向を示すエピポーラ線を求める処理と、
    第２カメラが前記エピポーラ線に沿って撮影を行うよう前記第２カメラを制御する処理と、
    前記第２カメラから取得した第２画像中の第２飛行物体を検出する処理と、
    前記第１飛行物体と前記第２飛行物体が同一か判断する処理と、
    前記第１飛行物体及び前記第２飛行物体の位置を算出する処理と、
    を実行させるプログラム。

Images