JP6183703B2 - 物体検出装置、物体検出方法および物体検出システム - Google Patents

Description

本発明は物体検出装置、物体検出方法および物体検出システムに関するものである。

近年、鳥等の運動する物体が空港や風力発電設備等が設置された領域に侵入し、空港に離着陸中の航空機や、風力発電設備の風車に衝突する、いわゆるバードストライク（鳥衝突）が問題となっている。

そのため、上記領域への鳥の侵入を検出する検出装置が望まれている。

鳥を検出する装置としては、暗視装置や集音装置を組み合わせた装置が知られているが（特許文献１）、この構成では画像と音を解析する装置がそれぞれ必須となり、構成が複雑になるため、画像解析のみで鳥を検出可能な構造が望ましい。

画像解析のみで鳥を検出する装置としては、飛翔体を微小時間間隔で撮像して、被写体の移動量の変化から鳥の種類や速度を検出する構成が知られている（特許文献２〜５）。

特開２００５−１８９１０３号公報 特表２００９−１０２００１号公報 特開２０１０−１８９１０３号公報 特開２０１０−２２３７５２号公報 特開２０１１−９５１１２号公報

ここで、バードストライクによる航空機や風車の被害低減の観点からは、衝突が予想される鳥のサイズが大きな問題であり、検出装置においては、サイズ計測が非常に重要な事項である。

しかしながら、特許文献２〜５のように、監視カメラによる鳥検出では、単一監視カメラの画像からだけでは検出した鳥までの距離や実際の鳥のサイズを知ることが困難であるという課題があった。

例えば、鳥のサイズ推定はその種類を判別出来ればある程度可能であるが、現状得られる画像情報から鳥の種類を自動的に判別することは非常に困難であった。これは、例えば鳥の色情報が環境により同じ鳥種類でも大きく異なるためである。

そのため、単一監視カメラの画像のみで鳥のサイズを推定するのは困難であるのが現状であり、サイズの推定のためには複数の監視カメラによる３Ｄ撮像を行わなくてはならず、大幅なコスト増加が発生していた。

本発明は、上述したような技術が有する問題点を解決するためになされたものであり、画像から容易に運動する物体のサイズを推定可能な物体検出装置を提供することを目的とする。

上記の課題を解決するため、本発明の第１の態様は、運動する物体を撮像した画像から前記物体の運動の周期を解析し、前記運動の周期から、前記物体のサイズを推定する物体検出判定部を有する、物体検出装置である。

本発明の第２の態様は、コンピュータを第１の態様に記載の物体検出装置として動作させるためのプログラムである。

本発明の第３の態様は、第１の態様に記載の物体検出装置を用いた物体検出方法である。

本発明の第４の態様は、第１の態様に記載の物体検出装置を有するバードストライク防止装置である。

本発明の第５の態様は、運動する物体を撮像して画像を取得する撮像装置と、前記画像から前記物体の運動の周期を解析し、前記運動の周期から、前記物体のサイズを推定する物体検出判定部を有する検出装置と、を有する、物体検出システムである。

本発明によれば、画像から容易に運動する物体のサイズを推定可能な物体検出装置を提供することができる。

本実施形態に係る物体検出システム１の概略を示すブロック図である。 図１の物体検出装置５を示すブロック図である。 物体検出システム１の詳細を示すブロック図である。 物体検出システム１を用いた鳥の検出方法を示すフロー図である。 物体検出システム１を用いた鳥の検出方法を説明する図である。

以下、図面に基づいて本発明に好適な実施形態を詳細に説明する。

まず、図１および図２を参照して本実施形態に係る物体検出装置５を備えた物体検出システム１の構成について説明する。

ここでは物体検出システム１（物体検出装置５）として、画像から鳥を検出するバードストライク防止装置が例示されている。

図１および図２に示すように、物体検出システム１は、運動する物体、ここでは鳥を撮像して画像を取得する撮像装置３と、画像から物体（鳥）の運動の周期を解析し、物体の運動の周期から、物体のサイズを推定する物体検出判定部７を有する物体検出装置５を有している。

撮像装置３は、ここでは一台の監視カメラであり、固定台に設置され、一定の方位を定点監視したり旋回により全周または一定範囲を旋回監視したりして画像を撮像する。また、撮像した画像を有線または無線により物体検出装置５へ伝送する。

本実施形態では、物体検出装置５をバードストライク防止装置に用いるため、撮像装置３は空港の滑走路の端、あるいは風力発電所の施設内に設けられる。

物体検出装置５は撮像装置３が撮像した画像から鳥のサイズを推定する他、後述するように、本実施形態では、撮像装置３から鳥までの距離の推定機能、及び検出した鳥が重点監視区域（詳細は後述）へ侵入する可能性を推定する機能も有する。

物体検出装置５は例えばパーソナルコンピュータ等の電子計算機が用いられるが、後述する処理を行う機能を備えた装置であれば、特に限定されるものではない。

ここで、本実施形態の物体検出システム１においては、物体検出装置５の物体検出判定部７が物体の運動の周期、ここでは画像中の鳥の羽ばたき周波数または垂直変動周波数から鳥のサイズを推測するのが大きな特徴である。

これは、鳥の羽ばたき周波数や垂直変動周波数のような周期動作と鳥のサイズには強い相関があるため、鳥の羽ばたき周波数や垂直変動周波数を計測することで鳥のサイズを推定できるためである。

また、鳥の羽ばたき周波数や垂直変動周波数のような周期動作は画像から比較的容易に計測可能であり、かつ遠方でピクセル数の小さな画像や低画質の画像でも計測可能であるためである。

即ち、従来、取得画像から検出目標画像を形状比較により抽出する画像処理では、取得画像、検出目標画像共に最低でも数百ピクセルの画素で構成されている必要があった。一方で、本実施形態による方式では、羽ばたき周波数、及び羽ばたきが検出されない場合は垂直変動周波数といった低画素数環境下でも情報が比較的保持される特徴量により鳥検出を実施するため、遠距離を飛行する（従って画像中の画素数が少ない）鳥でも検出が可能である。

そのため、同じ距離にある鳥を検出する場合、従来手法による場合と比較して、より少ない画素数のデータ処理で済むため、安価な撮像装置、計算機ハードウェアでのシステム構成が可能となる。

更に、鳥の羽ばたき周波数や垂直変動周波数は各画素の色情報、輝渡分布とは無関係に計測できる特徴量であるため、朝夕の薄暮時や雲天、雨天等の画像品質が比較的悪い条件下でも適用が可能な検出手法である。

また、一般的な鳥の検出方法であるレーダーによる鳥検出では、電波反射エコーの強さによる物体の有無判定とＲＣＳ（Radar Cross Section）を基準とした物体のサイズ推定しか出来ないため、鳥の種類とサイズについて正確な情報を得ることができず、海面や地面付近のクラッタの多い背景、また強風環境では精度の高い検出が難しいことが一般的であった。

一方で、本願では鳥の羽ばたき周波数や垂直変動周波数のような周期動作を利用しているため、鳥のサイズを正確に推測可能である。

また、単一の撮像装置３の画像から３Ｄ飛行軌跡計測が可能となるため、撮像装置３を複数設ける必要がなく、装置の低コスト化、小型化が可能となる。

次に、図３を参照して物体検出システム１の構成について、特に物体検出装置５の構成についてより詳細に説明する。

図３に示すように、物体検出装置５は撮像装置３が撮像した画像のデータが入力される画像データ入力処理部１３、画像中の鳥の存在の有無やサイズを判定する物体検出判定部７、物体検出判定部７の検出結果に基づき、鳥の飛行経路を推定する飛行経路推定部１７、および鳥が重点監視区域へ侵入する可能性がある場合に警告を発するアラーム通知部１９を有している。

物体検出判定部７は、画像中の運動する物体の速度から、画像中に運動する物体（鳥）が含まれるか否かの判定を行う正規化速度比較部１５、鳥の運動の周期を検出する周期検出部９、および運動の周期から鳥のサイズを推定する鳥サイズ推定部１１を有している。本実施形態では、鳥の運動の周期として、鳥の羽ばたき周波数または垂直変動周波数を測定するため、周期検出部９は、鳥の羽ばたき周波数を検出する羽ばたき検出部９ａと、鳥の垂直変動周波数を検出する垂直変動検出部９ｂを有している。

物体検出装置５はまた、鳥サイズ推定部１１が鳥のサイズを推定する際に参照するライブラリ２０を有する記憶部２１を有している。

本実施形態では、鳥の運動の周期として、鳥の羽ばたき周波数または垂直変動周波数を測定するため、ライブラリ２０には鳥の羽ばたき周波数と鳥のサイズの関係を示す羽ばたき周波数情報２１ａと、鳥の垂直変動周波数と鳥のサイズの関係を示す垂直変動周波数情報２１ｂが少なくとも記憶されている。また、記憶部２１には物体検出装置５を動作させるための動作プログラム２２、重点監視区域の地図の情報である地図情報２５も記憶されている。

なお、図３ではライブラリ２０および動作プログラム２２は物体検出装置５内の記憶部２１に記憶されているが、外部記憶装置、またはＷＷＷ（World Wide Web）等によりネットワーク接続された外部情報で置き換えても良い。

次に、物体検出システム１の動作、ここではバードストライクの防止のための動作について、図４および図５を参照して説明する。

最初に、物体検出装置５の動作プログラム２２が起動する。

次に、撮像装置３は一定の方位を定点監視したり旋回により全周または一定範囲を旋回監視したりして、重点監視区域またはその周囲の画像を撮像し、撮像した画像を物体検出装置５の画像データ入力処理部１３に送信する（図４のＳ０）。重点監視区域とは、ここではバードストライクの発生を防止する必要がある区域であり、空港や風力発電設備が存在する区域が挙げられる。重点監視区域が空港である場合は、撮像装置３は滑走路の方向を含む各方向の画像を取得するなどして、空港や空港周辺の画像を撮像する。

画像データ入力処理部１３は、受信した画像から、時間差分等の手法により運動する物体と見做される部分の画像を抽出する。画像データ入力処理部１３はさらに、これらの運動する物体に対してライブラリ２０に記録されている鳥サンプルの情報との形状比較による一時的な鳥判定を行う（図４のＳ１）。

画像データ入力処理部１３は、一次的な鳥判定の結果、画像に鳥が含まれると判定した場合、より詳細な鳥か否かの判定処理を物体検出判定部７で行うために、画像を物体検出判定部７の正規化速度比較部１５に送信する。

正規化速度比較部１５は、画像（鳥候補データ）を受信すると、画像上での移動速度を鳥候補の長さで正規化した値を算出し、ライブラリ２０に記録された鳥の飛行速度の範囲に適合しているかを判定する（図４のＳ２）。即ち、一次判定で鳥と判定された物体について、画像上の正規化された速度が鳥の速度範囲に収まるか否かの判定を実施することにより飛行機、背景画像等の見間違いを除去する。

その結果、鳥の飛行速度の範囲にあると判定した場合は画像を周期検出部９の羽ばたき検出部９ａに送信する。

羽ばたき検出部９ａは、画像を受信すると、画像から羽ばたき周波数を計測し（図４のＳ３）、羽ばたき周波数から、まず羽ばたきがあるか否かを判定する（図４のＳ４）。

羽ばたきがある場合、羽ばたき検出部９ａは、羽ばたき周波数がライブラリ２０に記録された鳥の羽ばたき周波数の範囲に適合しているか、すなわち、計測された羽ばたきが鳥の羽ばたきであるか否かを判定する（図４のＳ５）。

羽ばたき周波数がライブラリ２０に記録された鳥種毎の値の一つに適合する場合は、羽ばたき検出部９ａは、羽ばたき周波数を鳥サイズ推定部１１に送信する。

鳥サイズ推定部１１は、羽ばたき周波数情報２１ａを参照して、羽ばたき周波数からサイズを推定し（図４のＳ６）、その鳥候補を最終的に鳥として判定する（図４のＳ７）。

なお、計測された羽ばたきが鳥の羽ばたきではないと判定される場合は、撮像された運動する物体は鳥ではないと判定される（図４のＳ８）。

一方、Ｓ４において羽ばたきが無いと判定された場合は、鳥種別の詳細な形状比較による鳥判定を行う（図４のＳ９）。

この処理で種別判定を含めて鳥と判定された場合は、垂直変動検出部９ｂが、その種類の鳥の滑空中の画像であるか否かをライブラリ２０中の当該鳥種に関する飛行軌跡の垂直方向変動周波数と画像中の鳥候補の垂直方向変動周波数を比較することにより判定し（図４のＳ１０）、鳥であると判定される場合は、鳥サイズ推定部１１が垂直変動周波数情報２１ｂを参照してサイズの推定を行い、（図４のＳ１１）その鳥候補を最終的に鳥として判定する（図４のＳ７）。

なお、鳥の滑空中の画像ではないと判定された場合は、撮像された運動する物体は鳥ではないと判定される（図４のＳ８）。

次に、Ｓ７で、画像中に鳥が存在すると判定された場合、飛行経路推定部１７が鳥の飛行経路を推定して（図４のＳ１２）、鳥が重点監視区域に侵入する可能性があるか否かを判定し（図４のＳ１３）。鳥が重点監視区域に侵入する可能性があると判定される場合は、アラーム通知部１９から重点監視区域を監視するシステムや監視者に対して警告を発する（図４のＳ１４）。

警告の内容は、対象であるシステムや監視者が警告を認識できるものであれば、特に限定されるものではないが、例えばシステムや監視者への警告情報の送信、あるいは物理的な音声、光等を発するものが挙げられる。

ここで、鳥の飛行経路の推定および重点監視区域への鳥の侵入可能性の判定の方法について、図５を参照してより詳細に説明する。

まず、上記の通り、物体検出判定部７は画像中に鳥が含まれるか否かの判定（図５のＳ２１）および含まれる場合は鳥のサイズの推定（図５のＳ２２）を行う。

次に、飛行経路推定部１７では推定された当該鳥のサイズ（体長）と空力理論、及び別途計測した現地の風速データを考慮することで鳥の対地速度を算出する（図５のＳ２３）。また一方、飛行経路推定部１７は、撮像装置３の光学的緒元（カメラの焦点距離、撮像素子寸法等）の特性値を参照し（図５のＳ２４）、鳥のサイズ、光学的緒元、および画像中の鳥の相対的大きさ（ピクセル数）から撮像装置３から鳥までの距離を推定し（図５のＳ２５）、方位情報と併せて位置情報を得る。

以上の処理により、鳥検出情報（鳥のサイズ、方位、画像上での速度ベクトル、検出時刻）を得る。

また、飛行経路推定部１７はライブラリ２０に記録された地図情報２５を参照し（図５のＳ２６）、地図情報と上記の鳥速度情報、位置情報、時刻情報を組み合わせることで、鳥の３次元飛行経路の記録・トラッキングを行う。また、ここで記録された３次元飛行経路情報を元に、未来時刻での３次元飛行経路推定を行う（図５のＳ２７）。

さらに、各鳥の質量を、推定したサイズに基づいて推定し（図５のＳ２８）、上記の３次元飛行経路推定によって一定以上の質量の鳥が重点監視区域に侵入する可能性があるか否かを判定する（図５のＳ２９）。

一定以上の質量の鳥が重点監視区域に侵入する可能性があると判定される場合は、前記の通り、アラーム通知部１９から重点監視区域を監視するシステムや監視者に対して警告を発する。

以上が物体検出システム１の動作の説明である。

このように、本実施形態によれば、物体検出システム１は、運動する物体を撮像して画像を取得する撮像装置３と、画像から物体の運動の周期を解析し、物体の運動の周期から、物体のサイズを推定する物体検出判定部７を有する物体検出装置５を有している。

そのため、画像から容易に運動する物体のサイズを推定可能である。

また、本実施形態によれば、単一の撮像装置３の画像から３Ｄ飛行軌跡計測が可能となるため、撮像装置を複数設ける必要がなく、装置の低コスト化、小型化が可能となる。

以上、実施形態および実施例に基づき本発明を説明したが、これら実施形態および実施例は単に例を挙げて発明を説明するためのものであって、本発明の範囲がこれらに限定されることを意味するものではない。当業者であれば、上記記載に基づき各種変形例および改良例に想等するのは当然であり、これらも本発明の範囲に含まれるものと了解される。

例えば上記した実施形態では、本発明を空港、風力発電設備（風車）でのバードストライク防止装置に適用した場合について説明したが、本発明は何らこれに限定されることはなく、農場での鳥獣食害防止装置等、鳥の飛来を監視する必要がある全ての装置に適用可能である。

また、上記した実施形態では、鳥の羽ばたき周波数や垂直変動周波数から鳥のサイズを推定しているが、サイズを推定する対象は鳥に限定されるものではなく、周期動作も、画像から識別可能な周期動作であれば羽ばたき周波数や垂直変動周波数に限定されるものではない。例えば人間が歩行する際の脚の運動の周期や物体の一部の運動に関する周期とすることで、検出対象を鳥ではなく人間、獣等の動物、またはユーザが設定する任意の物体の任意の周期動作とすることも可能である。そのため、物体検出装置５の検出対象を人間とし、監視カメラ画像中の人間検出と距離推定に用いることも可能である。

さらに、上記した実施形態では、本発明を単一の撮像装置３のみを用いた場合について説明したが、本発明を複数の撮像装置による３Ｄ計測装置へ適用することにより、撮像装置の一部に故障が発生した場合のフォルトトレラント機能として活用することもできる。

なお、上記物体検出装置５の各部は、ハードウェアとソフトウェアの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭにコンピュータを物体検出装置５として動作させるためのプログラムが展開され、プログラムに基づいて制御部（ＣＰＵ）等のハードウェアを動作させることによって、各部を各種構成として動作させる。また、前記プログラムは、記憶媒体に記録されて頒布されても良い。当該記録媒体に記録されたプログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。なお、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。

１ ：物体検出システム
３ ：撮像装置
５ ：物体検出装置
７ ：物体検出判定部
９ ：周期検出部
９ａ ：羽ばたき検出部
９ｂ ：垂直変動検出部
１１ ：鳥サイズ推定部
１３ ：画像データ入力処理部
１５ ：正規化速度比較部
１７ ：飛行経路推定部
１９ ：アラーム通知部
２０ ：ライブラリ
２１ ：記憶部
２１ａ ：羽ばたき周波数情報
２１ｂ ：垂直変動周波数情報
２２ ：動作プログラム
２５ ：地図情報

Claims (18)

1. 運動する物体を撮像した画像から前記物体の運動の周期を解析し、前記運動の周期から、前記物体のサイズを推定する物体検出判定部を有する、物体検出装置。
2. 前記物体検出判定部は、
   前記画像から、運動する物体である鳥の羽ばたき周波数または垂直変動周波数を解析する周期検出部と、
   前記羽ばたき周波数または垂直変動周波数から前記鳥のサイズを推定する、鳥サイズ推定部と、
   を有する請求項１に記載の物体検出装置。
3. 前記物体検出判定部は、
   前記画像から運動する物体の移動速度を正規化した値を算出し、前記正規化した値から、前記画像に鳥が含まれるか否かを判定する正規化速度比較部と、
   前記正規化速度比較部が前記画像に鳥が含まれると判定した場合に鳥の羽ばたき周波数を解析する羽ばたき検出部と、
   前記羽ばたき検出部が前記羽ばたき周波数を検出できない場合に、鳥の垂直変動周波数を解析する垂直変動検出部と、
   を有する
   請求項２に記載の物体検出装置。
4. 前記画像から前記鳥の移動速度および前記鳥と前記撮像装置の間の距離を推定し、前記距離、前記移動速度、前記鳥のサイズから前記鳥の飛行経路を推定する飛行経路推定部を有する、請求項２または３に記載の物体検出装置。
5. 前記飛行経路から、前記鳥が予め定められた区域に侵入する可能性があるか否かを判定し、可能性がある場合は警告を発するアラーム通知部を有する、請求項４に記載の物体検出装置。
6. 前記羽ばたき周波数と鳥のサイズの関係を示す情報である羽ばたき周波数情報と、前記垂直変動周波数と鳥のサイズの関係を示す情報である垂直変動周波数情報を記憶する記憶部を有し、
   前記物体検出判定部は、前記羽ばたき周波数情報または前記垂直変動周波数情報を参照して鳥のサイズを推定する、請求項２〜５のいずれか一項に記載の物体検出装置。
7. 前記物体検出判定部は、歩行する動物の脚の運動の周期を解析し、前記運動の周期から、前記物体のサイズを推定する、請求項１に記載の物体検出装置。
8. コンピュータを請求項１〜７のいずれか一項に記載の物体検出装置として動作させるためのプログラム。
9. 請求項１〜７のいずれか一項に記載の物体検出装置を用いた物体検出方法。
10. 請求項１〜６のいずれか一項に記載の物体検出装置を有するバードストライク防止装置。
11. 運動する物体を撮像して画像を取得する撮像装置と、
    前記画像から前記物体の運動の周期を解析し、前記運動の周期から、前記物体のサイズを推定する物体検出判定部を有する検出装置と、
    を有する、物体検出システム。
12. 前記物体検出判定部は、
    前記画像から、運動する物体である鳥の羽ばたき周波数または垂直変動周波数を解析する周期検出部と、
    前記羽ばたき周波数または垂直変動周波数から前記鳥のサイズを推定する、鳥サイズ推定部と、
    を有する請求項１１に記載の物体検出システム。
13. 前記物体検出判定部は、
    前記画像から運動する物体の移動速度を正規化した値を推定し、前記正規化した値から、前記画像に鳥が含まれるか否かを判定する正規化速度比較部と、
    前記正規化速度比較部が前記画像に鳥が含まれると判定した場合に鳥の羽ばたき周波数を解析する羽ばたき検出部と、
    前記羽ばたき検出部が前記羽ばたき周波数を検出できない場合に、鳥の垂直変動周波数を解析する垂直変動検出部と、
    を有する
    請求項１２に記載の物体検出システム。
14. 前記画像から前記鳥の移動速度および前記鳥と前記撮像装置の間の距離を推定し、前記距離、前記移動速度、前記鳥のサイズから前記鳥の飛行経路を推定する飛行経路推定部を有する、請求項１３に記載の物体検出システム。
15. 前記飛行経路から、前記鳥が予め定められた区域に侵入する可能性があるか否かを判定し、可能性がある場合は警告を発するアラーム通知部を有する、請求項１４に記載の物体検出システム。
16. 前記羽ばたき周波数と鳥のサイズの関係を示す情報である羽ばたき周波数情報と、前記垂直変動周波数と鳥のサイズの関係を示す情報である垂直変動周波数情報を記憶する記憶部を有し、
    前記物体検出判定部は、前記羽ばたき周波数情報または前記垂直変動周波数情報を参照して鳥のサイズを推定する、請求項１２〜１５のいずれか一項に記載の物体検出システム。
17. 前記撮像装置は、単一の監視カメラである、請求項１１〜１６のいずれか一項に記載の物体検出システム。
18. 前記物体検出判定部は、歩行する動物の脚の運動の周期を解析し、前記運動の周期から、前記物体のサイズを推定する、請求項１１に記載の物体検出システム。

Images