JP6364101B1 - Air monitoring device, air monitoring method and program - Google Patents
Air monitoring device, air monitoring method and program Download PDFInfo
- Publication number
- JP6364101B1 JP6364101B1 JP2017015817A JP2017015817A JP6364101B1 JP 6364101 B1 JP6364101 B1 JP 6364101B1 JP 2017015817 A JP2017015817 A JP 2017015817A JP 2017015817 A JP2017015817 A JP 2017015817A JP 6364101 B1 JP6364101 B1 JP 6364101B1
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- image
- camera
- dimensional trajectory
- trajectory information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【課題】地上から空中の移動物体を検出して、検出した移動物体の動きを監視することが可能な空中監視装置、空中監視方法及びプログラムを提供する。【解決手段】複数のカメラが撮影した空中の画像から移動物体を検出して分類する空中監視装置１００であって、第１カメラＣ１が出力する第１画像Ｍ１及び第２カメラＣ２が出力する第２画像Ｍ２を受信する画像受信部１２１０と、第１画像Ｍ１、第２画像Ｍ２の各々について、画像中の移動物体を検出して、検出した移動物体をトラッキングすることで２次元軌跡情報を取得する２次元軌跡情報取得部１２１１と、第１画像Ｍ１から取得した２次元軌跡情報と、第２画像Ｍ２から取得した２次元軌跡情報と、第１カメラＣ１及び第２カメラＣ２のカメラパラメータとに基づいて、移動物体の３次元的な軌跡を示す３次元軌跡情報を取得する３次元軌跡情報取得部１２１３と、取得した３次元軌跡情報から得られる移動物体の動きの特徴に少なくとも基づいて、移動物体の分類を特定する移動物体分類部１２１４とを備える。【選択図】図２An aerial monitoring device, an aerial monitoring method, and a program capable of detecting a moving object in the air from the ground and monitoring the movement of the detected moving object. An aerial monitoring apparatus 100 detects and classifies a moving object from aerial images captured by a plurality of cameras, and includes a first image M1 output by a first camera C1 and a second image output by a second camera C2. For each of the image receiving unit 1210 that receives the two images M2, and the first image M1 and the second image M2, the two-dimensional trajectory information is acquired by detecting the moving object in the image and tracking the detected moving object. The two-dimensional trajectory information acquisition unit 1211, the two-dimensional trajectory information acquired from the first image M1, the two-dimensional trajectory information acquired from the second image M2, and the camera parameters of the first camera C1 and the second camera C2. Based on the three-dimensional trajectory information acquisition unit 1213 that acquires the three-dimensional trajectory information indicating the three-dimensional trajectory of the moving object, and the characteristics of the movement of the moving object obtained from the acquired three-dimensional trajectory information. Based even without, and a moving object classifying portion 1214 that identifies the classification of moving objects. [Selection] Figure 2
Description
本発明は、空中監視装置、空中監視方法及びプログラムに関する。 The present invention relates to an air monitoring device, an air monitoring method, and a program.
近年、急速に普及しているドローン等の無人航空機（ＵＡＶ：ｕｎｍａｎｎｅｄ ａｅｒｉａｌ ｖｅｈｉｃｌｅ）は、様々な分野での有効活用が期待されている一方で、利用方法によっては、テロや犯罪へ悪用されることが懸念されている。また、他の飛行物体と衝突するおそれや、落下した場合に地上の人等に危害を及ぼすおそれもあり、安全上の観点からも課題を有している。 In recent years, drone and other unmanned aerial vehicles (UAVs), which are rapidly spreading, are expected to be used effectively in various fields, but depending on how they are used, they can be abused for terrorism and crime. There are concerns. Moreover, there is a risk of colliding with other flying objects, and there is a risk of harming people on the ground when falling, which has problems from the viewpoint of safety.
人々が生活する上空には、上述した無人航空機の他、報道ヘリコプターや有人の航空機、鳥、雲、工場や火災による煙等、様々な移動物体が存在する。無人航空機の法整備を進めるため、また、無人航空機による悪用を防ぐためにも、上空に存在し得る移動物体についてモニタリングすることが求められている。 In addition to the above-mentioned unmanned aircraft, there are various moving objects such as news helicopters, manned aircraft, birds, clouds, factory and fire smoke. In order to advance the legal development of unmanned aerial vehicles and to prevent abuse by unmanned aerial vehicles, it is required to monitor moving objects that may exist in the sky.
特許文献１には、人工衛星や航空機等から撮像して得られる光学画像を用いて移動物体を検出する装置が開示されている。しかし、このように上空から移動物体を検出する技術では、広域にわたる常時監視を実現することは現実的ではない。また、上空から移動物体を検出するためには、高分解能な画像を取得するために高性能カメラを搭載する必要がある。また、特許文献１に記載の装置では、移動物体の移動ベクトルを算出することを課題としており、移動物体の特定についてはなされていない。 Patent Document 1 discloses an apparatus that detects a moving object using an optical image obtained by imaging from an artificial satellite or an aircraft. However, in such a technique for detecting a moving object from the sky, it is not realistic to constantly monitor over a wide area. Moreover, in order to detect a moving object from the sky, it is necessary to mount a high-performance camera in order to acquire a high-resolution image. Further, the apparatus described in Patent Document 1 has a problem of calculating a movement vector of a moving object, and does not specify a moving object.
特許文献２には、（特許文献１と同様に上空の）航空機上のカメラから受信されるビデオ画像データを用いて、飛行中に航空機に接近する鳥を特定する装置が開示されている。特許文献２には、鳥以外にも航空機に衝突しうる任意の他の物体を検出すること、特定した物体の推定運動を利用して、物体が航空機に衝突するかどうかを判断することが開示されているが、単に航空機に衝突し得る物体を検出するのみで、さらに詳細な物体の分類を行うこと、及び物体の動きを監視することはできない。 Patent Literature 2 discloses an apparatus for identifying a bird approaching an aircraft during flight using video image data received from a camera on an aircraft (in the sky as in Patent Literature 1). Patent Document 2 discloses detecting any other object that can collide with an aircraft other than a bird, and determining whether an object collides with an aircraft by using an estimated motion of the identified object. However, it is not possible to further classify an object and monitor the movement of an object simply by detecting an object that can collide with an aircraft.
そこで、本発明は、地上から空中の移動物体を検出して、検出した移動物体の動きを監視することが可能な空中監視装置、空中監視方法及びプログラムを提供することを目的とする。 Therefore, an object of the present invention is to provide an aerial monitoring apparatus, an aerial monitoring method, and a program capable of detecting a moving object in the air from the ground and monitoring the movement of the detected moving object.
本発明の一態様に係る複数のカメラが撮影した空中の画像から移動物体を検出して分類する空中監視装置は、第１カメラが出力する第１画像及び第２カメラが出力する第２画像を受信する画像受信部と、第１画像、第２画像の各々について、画像中の移動物体を検出して、検出した移動物体をトラッキングすることで２次元軌跡情報を取得する２次元軌跡情報取得部と、第１画像から取得した２次元軌跡情報と、第２画像から取得した２次元軌跡情報と、第１カメラ及び第２カメラのカメラパラメータとに基づいて、移動物体の３次元的な軌跡を示す３次元軌跡情報を取得する３次元軌跡情報取得部と、取得した３次元軌跡情報から得られる移動物体の動きの特徴に少なくとも基づいて、移動物体の分類を特定する移動物体分類部とを備える。 An aerial monitoring apparatus that detects and classifies a moving object from aerial images captured by a plurality of cameras according to an aspect of the present invention includes a first image output from a first camera and a second image output from a second camera. A two-dimensional trajectory information acquisition unit that acquires a two-dimensional trajectory information by detecting a moving object in the image and tracking the detected moving object for each of the first image and the second image. The three-dimensional trajectory of the moving object based on the two-dimensional trajectory information acquired from the first image, the two-dimensional trajectory information acquired from the second image, and the camera parameters of the first camera and the second camera. A three-dimensional trajectory information acquisition unit that acquires the three-dimensional trajectory information shown, and a moving object classification unit that identifies the classification of the moving object based at least on the characteristics of the movement of the moving object obtained from the acquired three-dimensional trajectory information.
この態様によれば、地上から空中の移動物体を検出して、検出した移動物体の動きを監視することを可能としたことにより、限られたリソースで常時、空中を監視することができる。さらに、この態様による第１カメラ、第２カメラを複数個所に設置することにより、広域にわたって空中を監視することができる。 According to this aspect, by detecting a moving object in the air from the ground and monitoring the movement of the detected moving object, it is possible to always monitor the air with limited resources. Furthermore, the air can be monitored over a wide area by installing the first camera and the second camera according to this aspect at a plurality of locations.
さらにまた、この態様によれば、カメラが撮影した画像を用いて監視することができるので、レーダーを用いた移動物体の検出とは異なり、監視中であることを移動物体に感知されずに監視することができる。 Furthermore, according to this aspect, monitoring can be performed using an image captured by the camera, so that monitoring is not perceived by the moving object, unlike detection of a moving object using a radar. can do.
３次元軌跡情報取得部は、第１画像及び第２画像上で特徴点の対応付けを行い、第１カメラ及び第２カメラが設置されている方向と両者間の距離に基づいて移動物体の３次元座標を求め、３次元軌跡情報取得部は、空中の特徴点よりも地上の特徴点が優先されるように、対応付けを行う特徴点を選択してもよい。 The three-dimensional trajectory information acquisition unit associates feature points on the first image and the second image, and based on the direction in which the first camera and the second camera are installed and the distance between the three, The three-dimensional trajectory information acquisition unit may obtain the dimension coordinates, and may select the feature points to be associated so that the feature points on the ground are given priority over the feature points in the air.
この態様によれば、より精度の高い３次元座標を求めることができる。 According to this aspect, more accurate three-dimensional coordinates can be obtained.
２次元軌跡情報取得部は、移動物体の重心を求めて、求めた重心をトラッキングの中心座標としてもよい。 The two-dimensional trajectory information acquisition unit may obtain the center of gravity of the moving object and use the obtained center of gravity as the center coordinates of tracking.
この態様によれば、トラッキング中に発生するバウンディングボックスと移動物体とのずれが小さくなるように改善することができる。 According to this aspect, it is possible to improve so that the deviation between the bounding box and the moving object generated during tracking is reduced.
空中監視装置は、移動物体を分類するための外観に関する特徴情報を記憶する分類特徴記憶部をさらに備え、移動物体分類部は、分類特徴記憶部に記憶されている外観の特徴に少なくとも基づいて、移動物体の分類を特定してもよい。 The aerial monitoring device further includes a classification feature storage unit that stores feature information about the appearance for classifying the moving object, and the moving object classification unit is based on at least the appearance feature stored in the classification feature storage unit, The classification of the moving object may be specified.
この態様によれば、より精度の高い分類の特定を行うことができる。 According to this aspect, it is possible to specify the classification with higher accuracy.
第１カメラ及び第２カメラは、監視対象となる空中の同一の範囲を撮影することができるよう、空間上の異なる位置に６０メートルから１００メートルの間隔で設置されてもよい。 The first camera and the second camera may be installed at different positions in space at intervals of 60 meters to 100 meters so that the same range in the air to be monitored can be photographed.
この態様によれば、約０．２１ｋｍ2の範囲を監視することができる。 According to this aspect, a range of about 0.21 km 2 can be monitored.
本発明の他の態様に係る１又は複数のコンピュータによって実行される、複数のカメラが撮影した空中の画像から移動物体を検出して分類する空中監視方法は、第１カメラが出力する第１画像及び第２カメラが出力する第２画像を受信する工程と、第１画像、第２画像の各々について、画像中の移動物体を検出して、検出した移動物体をトラッキングすることで２次元軌跡情報を取得する工程と、第１画像から取得した２次元軌跡情報と、第２画像から取得した２次元軌跡情報と、第１カメラ及び第２カメラのカメラパラメータとに基づいて、移動物体の３次元的な軌跡を示す３次元軌跡情報を取得する工程と、取得した３次元軌跡情報から得られる移動物体の動きの特徴に少なくとも基づいて、移動物体の分類を特定する工程とを含む。 An aerial monitoring method for detecting and classifying a moving object from aerial images captured by a plurality of cameras, executed by one or more computers according to another aspect of the present invention, is a first image output by a first camera. And a step of receiving a second image output from the second camera, and detecting a moving object in each of the first image and the second image, and tracking the detected moving object, thereby obtaining two-dimensional trajectory information 3D of the moving object, based on the two-dimensional trajectory information acquired from the first image, the two-dimensional trajectory information acquired from the second image, and the camera parameters of the first camera and the second camera. Acquiring three-dimensional trajectory information indicating a typical trajectory, and identifying a moving object classification based at least on the motion characteristics of the moving object obtained from the acquired three-dimensional trajectory information.
本発明の他の態様に係る複数のカメラが撮影した空中の画像から移動物体を検出して分類するプログラムは、１又は複数のコンピュータに、第１カメラが出力する第１画像及び第２カメラが出力する第２画像を受信する処理と、第１画像、第２画像の各々について、画像中の移動物体を検出して、検出した移動物体をトラッキングすることで２次元軌跡情報を取得する処理と、第１画像から取得した２次元軌跡情報と、第２画像から取得した２次元軌跡情報と、第１カメラ及び第２カメラのカメラパラメータとに基づいて、移動物体の３次元的な軌跡を示す３次元軌跡情報を取得する処理と、取得した３次元軌跡情報から得られる移動物体の動きの特徴に少なくとも基づいて、移動物体の分類を特定する処理とを実行させる。 According to another aspect of the present invention, a program for detecting and classifying moving objects from aerial images captured by a plurality of cameras includes a first image output from the first camera and a second camera to one or a plurality of computers. Processing for receiving a second image to be output, processing for detecting two-dimensional trajectory information by detecting a moving object in each of the first image and the second image, and tracking the detected moving object; The three-dimensional trajectory of the moving object is shown based on the two-dimensional trajectory information acquired from the first image, the two-dimensional trajectory information acquired from the second image, and the camera parameters of the first camera and the second camera. A process of acquiring the three-dimensional trajectory information and a process of specifying the classification of the moving object based on at least the characteristics of the movement of the moving object obtained from the acquired three-dimensional trajectory information are executed.
本発明によれば、地上から空中の移動物体を検出して、検出した移動物体の動きを監視することが可能な空中監視装置、空中監視方法及びプログラムを提供することができる。 According to the present invention, it is possible to provide an aerial monitoring device, an aerial monitoring method, and a program capable of detecting a moving object in the air from the ground and monitoring the movement of the detected moving object.
添付図面を参照して、本発明の好適な実施形態について説明する。なお、以下の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。さらに、当業者であれば、以下に述べる各要素を均等なものに置換した実施形態を採用することが可能であり、係る実施形態も本発明の範囲に含まれる。 A preferred embodiment of the present invention will be described with reference to the accompanying drawings. In addition, the following embodiment is for making an understanding of this invention easy, and is not for limiting and interpreting this invention. The present invention can be variously modified without departing from the gist thereof. Furthermore, those skilled in the art can employ embodiments in which the elements described below are replaced with equivalent ones, and such embodiments are also included in the scope of the present invention.
図１は、本発明の実施形態に係る空中監視装置を有する空中監視システムの概略図である。図１では、空中監視システムを設置したビルの状況を模式的に示している。 FIG. 1 is a schematic diagram of an air monitoring system having an air monitoring device according to an embodiment of the present invention. FIG. 1 schematically shows the situation of a building in which an aerial monitoring system is installed.
空中監視装置１００は、空中の画像を撮影する複数のカメラＣ１、Ｃ２と通信可能に接続される。複数のカメラＣ１、Ｃ２は、監視対象となる空中の同一の範囲を撮影することができるように空間上の異なる位置に設置され、撮影した画像を空中監視装置１００に出力する。本実施形態では、図１に示されるように、カメラＣ１及びカメラＣ２は、カメラ設置面から２５０メートル上空の面において、約０．２１ｋｍ2の範囲となる、上底３７０メートル、下底７４０メートル、高さ３８０メートルとする台形の範囲を撮影することができるよう、ビルの屋内に６０メートルから１００メートルの間隔で設置されている。なお、ここで述べた撮影範囲や寸法は一例にすぎず、カメラの設置位置や向き、性能等に応じて任意に撮影範囲や寸法を設定することができる。 The aerial monitoring apparatus 100 is communicably connected to a plurality of cameras C1 and C2 that capture an aerial image. The plurality of cameras C <b> 1 and C <b> 2 are installed at different positions in space so that the same range in the air to be monitored can be captured, and the captured images are output to the aerial monitoring apparatus 100. In this embodiment, as shown in FIG. 1, the camera C1 and the camera C2 have an upper base of 370 meters and a lower base of 740 meters, which are in the range of about 0.21 km 2 on a surface 250 meters above the camera installation surface. In order to be able to photograph a trapezoidal area with a height of 380 meters, it is installed at an interval of 60 to 100 meters inside the building. The shooting range and dimensions described here are merely examples, and the shooting range and dimensions can be arbitrarily set according to the installation position, orientation, performance, and the like of the camera.
前述したように、空中には無人航空機、ヘリコプター、飛行機、鳥等を含む、様々な移動物体が存在する場合がある。空中監視装置１００は、複数のカメラＣ１、Ｃ２が出力する画像に基づいて移動物体を検出し、検出した移動物体の３次元的な軌跡を示す３次元軌跡情報を取得する。さらに、空中監視装置１００は、取得した３次元軌跡情報により示される移動物体の動きの特徴を用いて、移動物体の分類を行う。 As described above, there may be various moving objects including unmanned aerial vehicles, helicopters, airplanes, birds, and the like in the air. The aerial monitoring apparatus 100 detects a moving object based on images output from the plurality of cameras C1 and C2, and acquires three-dimensional trajectory information indicating a three-dimensional trajectory of the detected moving object. Furthermore, the aerial monitoring apparatus 100 classifies the moving object using the feature of movement of the moving object indicated by the acquired three-dimensional trajectory information.
図２は、本発明の実施形態に係る空中監視システムのブロック図である。なお、図２では、単一の空中監視装置１００を想定し、必要な機能構成だけを示しているが、空中監視装置１００を、複数のコンピュータシステムによる多機能の分散システムの一部として構成することもできる。 FIG. 2 is a block diagram of the air monitoring system according to the embodiment of the present invention. In FIG. 2, only a necessary functional configuration is shown assuming a single aerial monitoring device 100, but the aerial monitoring device 100 is configured as a part of a multi-function distributed system using a plurality of computer systems. You can also.
カメラＣ１、Ｃ２は、画像送信部２１１を備える。 The cameras C1 and C2 include an image transmission unit 211.
空中監視装置１００は、入力部１１０と、制御部１２０と、記憶部１３０と、通信部１４０とを備えている。 The aerial monitoring apparatus 100 includes an input unit 110, a control unit 120, a storage unit 130, and a communication unit 140.
入力部１１０は、空中監視装置１００の管理者からの操作を受け付けるように構成され、キーボードやマウス、タッチパネル等によって実現することができる。 The input unit 110 is configured to receive an operation from an administrator of the aerial monitoring apparatus 100, and can be realized by a keyboard, a mouse, a touch panel, or the like.
制御部１２０は、ＣＰＵやＭＰＵ等の演算処理部１２１及びＲＡＭ等のメモリ１２２を備えている。演算処理部１２１は、各種入力に基づき、記憶部１３０に記録されたプログラムを実行することで、各種機能部を動作させるものである。このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記憶され、若しくはネットワークを介して配布され、コンピュータにインストールされるものであってもよい。メモリ１２２は、サーバ用プログラムにおいて処理の実行中に、演算等に必要な各種データを、一時的に記憶するためのものである。 The control unit 120 includes an arithmetic processing unit 121 such as a CPU or MPU and a memory 122 such as a RAM. The arithmetic processing unit 121 operates various functional units by executing a program recorded in the storage unit 130 based on various inputs. This program may be stored in a recording medium such as a CD-ROM, or distributed via a network and installed in a computer. The memory 122 is for temporarily storing various data necessary for computations and the like during execution of processing in the server program.
記憶部１３０は、ハードディスク等の記憶装置によって構成され、制御部１２０における処理の実行に必要な各種プログラムや、各種プログラムの実行に必要なデータ等を記録しておくものである。具体的には、記憶部１３０は、画像記憶部１３１、カメラパラメータ記憶部１３２及び分類特徴記憶部１３３を有していることが望ましい。 The storage unit 130 is configured by a storage device such as a hard disk, and records various programs necessary for executing processing in the control unit 120, data necessary for executing the various programs, and the like. Specifically, the storage unit 130 preferably includes an image storage unit 131, a camera parameter storage unit 132, and a classification feature storage unit 133.
画像記憶部１３１には、カメラＣ１、Ｃ２の画像送信部２１１から出力される画像Ｍ１、Ｍ２が保存されている。 The image storage unit 131 stores images M1 and M2 output from the image transmission unit 211 of the cameras C1 and C2.
カメラパラメータ記憶部１３２には、各カメラＣのカメラ特性を表すカメラパラメータが保存されている。カメラパラメータには、カメラの位置、方向、レンズの焦点距離、レンズ歪み、画像中心（光軸と画像面の交点）の座標等が含まれる。 The camera parameter storage unit 132 stores camera parameters representing the camera characteristics of each camera C. The camera parameters include the camera position, direction, lens focal length, lens distortion, image center (intersection of optical axis and image plane), and the like.
分類特徴記憶部１３３には、移動物体を分類するための特徴情報が保存されている。移動物体を分類するための特徴情報には、動き、色、模様、形状、大きさ等の情報が含まれる。 The classification feature storage unit 133 stores feature information for classifying moving objects. The feature information for classifying the moving object includes information such as movement, color, pattern, shape, and size.
通信部１４０は、空中監視装置１００をネットワークに接続するように構成される。例えば、通信部１４０は、ＬＡＮカード、アナログモデム、ＩＳＤＮモデム等、及びこれらをシステムバス等の伝送路を介して処理部と接続するためのインタフェースから実現することができる。 The communication unit 140 is configured to connect the aerial monitoring apparatus 100 to a network. For example, the communication unit 140 can be realized by a LAN card, an analog modem, an ISDN modem, and the like and an interface for connecting them to the processing unit via a transmission line such as a system bus.
さらに、図２に示すように、演算処理部１２１は、機能部として、画像受信部１２１０、２次元軌跡情報取得部１２１１、カメラパラメータ取得部１２１２、３次元軌跡情報取得部１２１３、移動物体分類部１２１４、監視結果出力部１２１５とを備えている。 Further, as illustrated in FIG. 2, the arithmetic processing unit 121 includes an image receiving unit 1210, a two-dimensional trajectory information acquisition unit 1211, a camera parameter acquisition unit 1212, a three-dimensional trajectory information acquisition unit 1213, and a moving object classification unit as functional units. 1214 and a monitoring result output unit 1215.
画像受信部１２１０は、カメラＣ１、Ｃ２の画像送信部２１１から出力される画像Ｍ１、Ｍ２を受信して、画像記憶部１３１に格納する。 The image reception unit 1210 receives the images M1 and M2 output from the image transmission unit 211 of the cameras C1 and C2, and stores them in the image storage unit 131.
２次元軌跡情報取得部１２１１は、画像記憶部１３１に保存されている各画像Ｍ１、Ｍ２から、移動物体の２次元的な軌跡を示す２次元軌跡情報を取得する。具体的には、２次元軌跡情報取得部１２１１は、各画像Ｍ１、Ｍ２において、画像中の移動物体を検出して、検出した移動物体をトラッキングすることで２次元軌跡情報を取得する。 The two-dimensional trajectory information acquisition unit 1211 acquires two-dimensional trajectory information indicating a two-dimensional trajectory of the moving object from the images M1 and M2 stored in the image storage unit 131. Specifically, the two-dimensional trajectory information acquisition unit 1211 detects the moving object in the images M1 and M2, and acquires the two-dimensional trajectory information by tracking the detected moving object.
本実施形態では、２次元軌跡情報取得部１２１１は、周知の背景差分方法を用いて移動物体の検出を行い、その後、検出した移動物体を公知の追跡アルゴリズム（ＫＣＦ）でトラッキングすることで移動物体の２元的軌跡情報を取得する。なお、本実施形態では背景差分法を用いて移動物体の検出を行うが、他の任意の方法を用いて移動物体を検出することができる。同様に、本実施形態ではＫＣＦを用いて移動物体のトラッキングを行うが、他の任意の方法を用いて移動物体のトラッキングを行うことができる。 In the present embodiment, the two-dimensional trajectory information acquisition unit 1211 detects a moving object using a known background difference method, and then tracks the detected moving object with a known tracking algorithm (KCF), thereby moving the moving object. The binary trajectory information is acquired. In this embodiment, the moving object is detected using the background difference method, but the moving object can be detected using any other method. Similarly, in this embodiment, tracking of a moving object is performed using KCF, but tracking of a moving object can be performed using any other method.
カメラパラメータ取得部１２１２は、画像記憶部１３１に保存されている複数の画像Ｍ１、Ｍ２から、複数のカメラＣ１、Ｃ２のカメラパラメータを取得して、カメラパラメータ記憶部１３２に格納する。カメラパラメータは、カメラＣで撮影した画像の特徴点と、３次元座標系内の特徴点の位置の対応関係から、計算によって求めることができる。例えば、カメラパラメータ取得部１２１２は、カメラＣ１、Ｃ２のそれぞれが３次元空間全体を撮影した画像Ｍ１、Ｍ２から特徴量を抽出して、抽出した特徴量の位置と３次元座標系の特徴量の位置との対応関係から、カメラパラメータを計算することができる。なお、本実施形態では周知のＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量を用いるが、画像中の他の任意の特徴量を用いることができる。 The camera parameter acquisition unit 1212 acquires camera parameters of the plurality of cameras C1 and C2 from the plurality of images M1 and M2 stored in the image storage unit 131 and stores them in the camera parameter storage unit 132. The camera parameter can be obtained by calculation from the correspondence between the feature point of the image captured by the camera C and the position of the feature point in the three-dimensional coordinate system. For example, the camera parameter acquisition unit 1212 extracts feature amounts from the images M1 and M2 in which the cameras C1 and C2 respectively photograph the entire three-dimensional space, and extracts the positions of the extracted feature amounts and the feature amounts of the three-dimensional coordinate system. Camera parameters can be calculated from the correspondence with the position. In the present embodiment, a well-known SIFT (Scale-Invariant Feature Transform) feature is used, but any other feature in the image can be used.
３次元軌跡情報取得部１２１３は、２次元軌跡情報取得部１２１１が取得した複数の２次元軌跡情報とカメラパラメータ記憶部１３２に格納されている複数のカメラＣ１、Ｃ２のカメラパラメータとに基づいて、移動物体の３次元的な軌跡を示す３次元軌跡情報を取得する。なお、本実施形態では周知の三角測量を用いて３次元軌跡情報を取得するが、他の任意の方法を用いて３次元軌跡情報を取得することができる。 The three-dimensional trajectory information acquisition unit 1213 is based on the plurality of two-dimensional trajectory information acquired by the two-dimensional trajectory information acquisition unit 1211 and the camera parameters of the plurality of cameras C1 and C2 stored in the camera parameter storage unit 132. Three-dimensional trajectory information indicating a three-dimensional trajectory of the moving object is acquired. In the present embodiment, the three-dimensional trajectory information is acquired using known triangulation, but the three-dimensional trajectory information can be acquired using any other method.
移動物体分類部１２１４は、画像記憶部１３１に保存されている複数の画像Ｍ１、Ｍ２と３次元軌跡情報取得部１２１３が取得した３次元軌跡情報と分類特徴記憶部１３３とに基づいて、移動物体の分類を特定する。本実施形態では、移動物体分類部１２１４は、３次元軌跡情報から得られる移動物体の動きの特徴と分類特徴記憶部１３３に格納されている動きの特徴とに基づいて、移動物体の分類を特定する。「分類」としては、例えば、ＵＡＶ、ヘリコプター、飛行機、鳥を含む。また、移動物体分類部１２１４は、画像Ｍ１、Ｍ２から得られる外観の特徴と分類特徴記憶部１３３に格納されている外観の特徴とに基づいて、移動物体の分類を特定することもできる。ここで、「外観」とは、例えば、色、模様、形状、大きさを含む。 The moving object classification unit 1214 is based on the plurality of images M1 and M2 stored in the image storage unit 131, the 3D trajectory information acquired by the 3D trajectory information acquisition unit 1213, and the classification feature storage unit 133. Identify the classification. In the present embodiment, the moving object classification unit 1214 identifies the classification of the moving object based on the movement characteristics of the moving object obtained from the three-dimensional trajectory information and the movement characteristics stored in the classification feature storage unit 133. To do. “Classification” includes, for example, UAV, helicopter, airplane, and bird. The moving object classification unit 1214 can also specify the classification of the moving object based on the appearance features obtained from the images M1 and M2 and the appearance features stored in the classification feature storage unit 133. Here, the “appearance” includes, for example, a color, a pattern, a shape, and a size.
監視結果出力部１２１５は、移動物体分類部１２１４が特定した分類と３次元軌跡情報取得部１２１３が取得した移動物体の３次元軌跡情報とを出力する。 The monitoring result output unit 1215 outputs the classification specified by the moving object classification unit 1214 and the three-dimensional trajectory information of the moving object acquired by the three-dimensional trajectory information acquisition unit 1213.
（空中監視処理）
図３を参照して、本発明の実施形態に係る空中監視処理を詳細に説明する。本実施形態では、図３で説明される空中監視処理を行う前に、空中監視装置１００のカメラパラメータ取得部１２１２がカメラＣ１、Ｃ２のカメラパラメータを取得して、カメラパラメータ記憶部１３２に格納しているものとする。また、分類特徴記憶部１３３についても、空中監視装置１００の入力部１１０を介して、管理者が事前に特徴情報を格納しているものとする。
(Aerial monitoring processing)
With reference to FIG. 3, the air monitoring process according to the embodiment of the present invention will be described in detail. In the present embodiment, before performing the aerial monitoring process described in FIG. 3, the camera parameter acquisition unit 1212 of the aerial monitoring apparatus 100 acquires the camera parameters of the cameras C <b> 1 and C <b> 2 and stores them in the camera parameter storage unit 132. It shall be. In addition, regarding the classification feature storage unit 133, it is assumed that the administrator stores feature information in advance via the input unit 110 of the aerial monitoring apparatus 100.
ステップＳ３０１において、空中監視装置１００の画像受信部１２１０が、カメラＣ１、Ｃ２の画像送信部２１１から出力される画像Ｍ１、Ｍ２を受信して、画像記憶部１３１に格納する。 In step S301, the image reception unit 1210 of the aerial monitoring apparatus 100 receives the images M1 and M2 output from the image transmission unit 211 of the cameras C1 and C2, and stores them in the image storage unit 131.
ステップＳ３０２において、空中監視装置１００の２次元軌跡情報取得部１２１１が、画像記憶部１３１に保存されている各画像Ｍ１、Ｍ２において、画像中の移動物体を検出する。本実施形態では、２次元軌跡情報取得部１２１１は、後述するように、背景差分方法を用いて移動物体の検出を行う。 In step S302, the two-dimensional trajectory information acquisition unit 1211 of the aerial monitoring apparatus 100 detects a moving object in the image in each of the images M1 and M2 stored in the image storage unit 131. In the present embodiment, the two-dimensional trajectory information acquisition unit 1211 detects a moving object using a background difference method, as will be described later.
画像中に移動物体が検出される場合（ステップＳ３０２：ＹＥＳ）、ステップＳ３０３において、２次元軌跡情報取得部１２１１は、検出した移動物体を追跡アルゴリズムでトラッキングすることで移動物体の２次元的な軌跡を示す２次元軌跡情報を取得する。本実施形態では、２次元軌跡情報取得部１２１１は、後述するように、ＫＣＦを用いて移動物体をトラッキングする。一方、画像中に移動物体が検出されない場合（ステップＳ３０２：ＮＯ）、処理を終了する。 When a moving object is detected in the image (step S302: YES), in step S303, the two-dimensional trajectory information acquisition unit 1211 tracks the detected moving object with a tracking algorithm so that the two-dimensional trajectory of the moving object is detected. Is obtained. In the present embodiment, the two-dimensional trajectory information acquisition unit 1211 tracks a moving object using KCF, as will be described later. On the other hand, when a moving object is not detected in the image (step S302: NO), the process ends.
ステップＳ３０４において、空中監視装置１００の３次元軌跡情報取得部１２１３は、２次元軌跡情報取得部１２１１が画像Ｍ１及びＭ２の各々から取得した２つの２次元軌跡情報とカメラパラメータ記憶部１３２に格納されている２つのカメラＣ１、Ｃ２のカメラパラメータとに基づいて、移動物体の３次元的な軌跡を示す３次元軌跡情報を取得する。本実施形態では、運動からの形状復元（ＳｆＭ：Structure from Motion）を使用して、異なる視点から撮影された画像Ｍ１及びＭ２上でＳＩＦＴ特徴量を用いて特徴点の対応付けを行い、カメラＣ１及びカメラＣ２が設置されている方向と両者間の距離に基づいて移動物体の３次元座標を求める。 In step S304, the three-dimensional trajectory information acquisition unit 1213 of the aerial monitoring apparatus 100 is stored in the two two-dimensional trajectory information acquired from each of the images M1 and M2 by the two-dimensional trajectory information acquisition unit 1211 and the camera parameter storage unit 132. Based on the camera parameters of the two cameras C1 and C2, the three-dimensional trajectory information indicating the three-dimensional trajectory of the moving object is acquired. In the present embodiment, using shape reconstruction from motion (SfM: Structure from Motion), feature points are associated using SIFT feature values on images M1 and M2 taken from different viewpoints, and camera C1 is used. The three-dimensional coordinates of the moving object are obtained based on the direction in which the camera C2 is installed and the distance between the two.
ここで、３次元軌跡情報取得部１２１３は、（例えば雲等）空中の特徴点よりも（例えば建造物等）地上の特徴点が優先されるように、対応付けを行う特徴点を選択するように構成することもできる。このような構成とすることで、より精度の高い３次元座標を求めることができる。 Here, the three-dimensional trajectory information acquisition unit 1213 selects feature points to be associated so that feature points on the ground (such as buildings) are given priority over feature points in the air (such as clouds). It can also be configured. With such a configuration, it is possible to obtain more accurate three-dimensional coordinates.
ステップＳ３０５において、空中監視装置１００の移動物体分類部１２１４は、画像記憶部１３１に保存されている複数の画像Ｍ１、Ｍ２と３次元軌跡情報取得部１２１３が取得した３次元軌跡情報と分類特徴記憶部１３３とに基づいて、移動物体の分類を特定する。本実施形態では、移動物体分類部１２１４は、３次元軌跡情報から得られる移動物体の動きの特徴と分類特徴記憶部１３３に格納されている動きの特徴とに基づいて、移動物体の分類（例えば、ＵＡＶ、ヘリコプター、飛行機、鳥）を特定する。 In step S <b> 305, the moving object classification unit 1214 of the aerial monitoring apparatus 100 stores the plurality of images M <b> 1 and M <b> 2 stored in the image storage unit 131 and the 3D trajectory information and the classification feature storage acquired by the 3D trajectory information acquisition unit 1213. Based on the unit 133, the classification of the moving object is specified. In the present embodiment, the moving object classification unit 1214 classifies the moving object (for example, based on the movement feature of the moving object obtained from the three-dimensional trajectory information and the movement feature stored in the classification feature storage unit 133 (for example, , UAV, helicopter, airplane, bird).
さらに本実施形態では、カメラＣ１、Ｃ２から所定の範囲内に位置する移動物体について、移動物体分類部１２１４は、画像Ｍ１、Ｍ２から得られる外観（例えば色、模様、形状、大きさ）の特徴と分類特徴記憶部１３３に格納されている外観の特徴とに基づいて移動物体の分類を特定することで、より精度の高い分類の特定を行うことができる。例えば、移動物体分類部１２１４は、画像内の移動物体の大きさと、３次元軌跡情報から得られるカメラから移動物体までの距離とに基づいて実際の大きさを推定し、画像から得られる外観の特徴として利用することができる。 Furthermore, in the present embodiment, the moving object classification unit 1214 has a feature of appearance (for example, color, pattern, shape, size) obtained from the images M1 and M2 for moving objects located within a predetermined range from the cameras C1 and C2. By specifying the classification of the moving object based on the appearance characteristics stored in the classification feature storage unit 133, it is possible to specify the classification with higher accuracy. For example, the moving object classifying unit 1214 estimates the actual size based on the size of the moving object in the image and the distance from the camera to the moving object obtained from the three-dimensional trajectory information, and the appearance obtained from the image. Can be used as a feature.
ステップＳ３０６において、空中監視装置１００の監視結果出力部１２１５は、移動物体分類部１２１４が特定した分類と３次元軌跡情報取得部１２１３が取得した移動物体の３次元軌跡情報とを出力する。 In step S306, the monitoring result output unit 1215 of the aerial monitoring apparatus 100 outputs the classification specified by the moving object classification unit 1214 and the three-dimensional trajectory information of the moving object acquired by the three-dimensional trajectory information acquisition unit 1213.
以上、本発明によれば、地上から空中の移動物体を検出して、検出した移動物体の動きを監視することを可能としたことにより、限られたリソースで常時、空中を監視することができる。さらに、本発明によるカメラＣ１、Ｃ２を複数個所に設置することにより、広域にわたって空中を監視することができる。 As described above, according to the present invention, by detecting a moving object in the air from the ground and monitoring the movement of the detected moving object, it is possible to always monitor the air with limited resources. . Furthermore, by installing the cameras C1 and C2 according to the present invention at a plurality of locations, the air can be monitored over a wide area.
さらにまた、本発明によれば、カメラが撮影した画像を用いて監視することができるので、レーダーを用いた移動物体の検出とは異なり、監視中であることを移動物体に感知されずに監視することができる。 Furthermore, according to the present invention, monitoring can be performed using an image captured by the camera, so that monitoring is not perceived by a moving object, unlike detection of a moving object using a radar. can do.
（移動物体検出処理）
図４及び図５を参照して、ステップＳ３０２の移動物体検出処理を詳細に説明する。図４は、本発明の一実施形態に係る移動物体検出処理を示すフローチャートである。図５（ａ）は背景画像例、図５（ｂ）は入力画像例、図５（ｃ）は移動物体抽出画像例、図５（ｄ）はノイズ除去後の画像例、図５（ｅ）はラベリング画像例をそれぞれ示す。
(Moving object detection processing)
With reference to FIG.4 and FIG.5, the moving object detection process of step S302 is demonstrated in detail. FIG. 4 is a flowchart showing a moving object detection process according to an embodiment of the present invention. 5A is a background image example, FIG. 5B is an input image example, FIG. 5C is a moving object extraction image example, FIG. 5D is an image example after noise removal, and FIG. Indicates examples of labeled images.
ステップＳ４０１において、２次元軌跡情報取得部１２１１は、図５（ａ）に示されるような背景画像を画像記憶部１３１から取得する。 In step S <b> 401, the two-dimensional trajectory information acquisition unit 1211 acquires a background image as illustrated in FIG. 5A from the image storage unit 131.
ステップＳ４０２において、２次元軌跡情報取得部１２１１は、図５（ｂ）に示されるような入力画像を画像記憶部１３１から取得する。 In step S <b> 402, the two-dimensional trajectory information acquisition unit 1211 acquires an input image as illustrated in FIG. 5B from the image storage unit 131.
ステップＳ４０３において、Ｓ４０１で取得した背景画像とＳ４０２で取得した入力画像とを比較して既知の背景部分を取り除くことで、図５（ｃ）に示されるような移動物体を抽出する。 In step S403, the background image acquired in step S401 and the input image acquired in step S402 are compared to remove a known background portion, thereby extracting a moving object as shown in FIG.
ステップＳ４０４において、２次元軌跡情報取得部１２１１は、膨張収縮処理を用いて、図５（ｃ）に発生しているノイズを除去する。図５（ｄ）は、ノイズを除去した後の画像例を示す。 In step S404, the two-dimensional trajectory information acquisition unit 1211 uses the expansion / contraction process to remove noise generated in FIG. FIG. 5D shows an example of an image after removing noise.
ステップＳ４０５において、２次元軌跡情報取得部１２１１は、図５（ｅ）に示されるように、連結する画素に同じラベルを割り当てるラベリング処理を用いて、移動物体を判別する。この処理によって、移動物体が複数存在する場合に、それぞれの移動物体を判別することができる。 In step S405, the two-dimensional trajectory information acquisition unit 1211 determines a moving object by using a labeling process that assigns the same label to connected pixels as illustrated in FIG. By this processing, when there are a plurality of moving objects, each moving object can be determined.
ステップＳ４０６において、２次元軌跡情報取得部１２１１は、ステップＳ４０５で判別した移動物体を含む、矩形の大きさと位置を求める。求めた矩形の大きさと位置を、以降のトラッキング処理に利用する。 In step S406, the two-dimensional trajectory information acquisition unit 1211 obtains the size and position of the rectangle including the moving object determined in step S405. The obtained rectangle size and position are used for the subsequent tracking processing.
（トラッキング処理）
ステップＳ３０３のトラッキング処理を詳細に説明する。本実施形態で用いるＫＣＦでは、追跡対象を矩形領域（バウンディングボックス）で指定する。ここで、２次元軌跡情報取得部１２１１は、バウンディングボックスの指定の際に、ステップＳ４０６で求めた矩形をそのまま用いる（バウンディングボックスの中心の座標を物体の重心とみなす）のではなく、Ｓ４０５で同じラベルを割り当てた連結画素の重心を求めて、求めた連結画素の重心がバウンディングボックスの中心の座標となるように構成することもできる。このような構成とすることで、トラッキング中に発生するバウンディングボックスと移動物体とのずれが小さくなるように改善することができる。
(Tracking process)
The tracking process in step S303 will be described in detail. In the KCF used in the present embodiment, a tracking target is designated by a rectangular area (bounding box). Here, the two-dimensional trajectory information acquisition unit 1211 does not use the rectangle obtained in step S406 as it is when designating the bounding box (assuming the coordinates of the center of the bounding box as the center of gravity of the object), but the same in S405. It is also possible to obtain the centroid of the connected pixel to which the label is assigned, and to make the obtained centroid of the connected pixel the coordinates of the center of the bounding box. By adopting such a configuration, it is possible to improve so that the deviation between the bounding box and the moving object generated during tracking becomes small.
１００…空中監視装置、Ｃ１…カメラ、Ｃ２…カメラ、１１０…入力部、１２０…制御部、１２１…演算処理部、１２１０…画像受信部、１２１１…２次元軌跡情報取得部、１２１２…カメラパラメータ取得部、１２１３…３次元軌跡情報取得部、１２１４…移動物体分類部、１２１５…監視結果出力部、１２２…メモリ、１３０…記憶部、１３１…画像記憶部、１３２…カメラパラメータ記憶部、１３３…分類特徴記憶部、１４０…通信部、２１１…画像送信部 DESCRIPTION OF SYMBOLS 100 ... Aerial monitoring apparatus, C1 ... Camera, C2 ... Camera, 110 ... Input part, 120 ... Control part, 121 ... Calculation processing part, 1210 ... Image receiving part, 1211 ... Two-dimensional locus information acquisition part, 1212 ... Camera parameter acquisition , 1213 ... 3D trajectory information acquisition unit, 1214 ... moving object classification unit, 1215 ... monitoring result output unit, 122 ... memory, 130 ... storage unit, 131 ... image storage unit, 132 ... camera parameter storage unit, 133 ... classification Feature storage unit, 140 ... communication unit, 211 ... image transmission unit
Claims (6)
第１カメラが出力する第１画像及び第２カメラが出力する第２画像を受信する画像受信部であって、前記第１カメラ及び第２カメラは、監視対象となる空中の同一の範囲を撮影することができるよう、空間上の異なる位置に６０メートルから１００メートルの間隔で設置される、画像受信部と、
前記第１画像、前記第２画像の各々について、画像中の移動物体を検出して、検出した移動物体をトラッキングすることで２次元軌跡情報を取得する２次元軌跡情報取得部と、
前記第１画像から取得した２次元軌跡情報と、前記第２画像から取得した２次元軌跡情報と、前記第１カメラ及び前記第２カメラのカメラパラメータとに基づいて、前記移動物体の３次元的な軌跡を示す３次元軌跡情報を取得する３次元軌跡情報取得部と、
前記取得した３次元軌跡情報から得られる前記移動物体の動きの特徴に少なくとも基づいて、前記移動物体の分類を特定する移動物体分類部と
を備える空中監視装置。 An aerial monitoring device that detects and classifies moving objects from aerial images taken by multiple cameras,
An image receiving unit that receives a first image output from a first camera and a second image output from a second camera , wherein the first camera and the second camera capture the same range in the air to be monitored Image receiving units installed at intervals of 60 meters to 100 meters at different positions in space so that
For each of the first image and the second image, a two-dimensional trajectory information acquisition unit that acquires a two-dimensional trajectory information by detecting a moving object in the image and tracking the detected moving object;
Based on the two-dimensional trajectory information acquired from the first image, the two-dimensional trajectory information acquired from the second image, and the camera parameters of the first camera and the second camera, the three-dimensional trajectory of the moving object is obtained. A three-dimensional trajectory information acquisition unit for acquiring three-dimensional trajectory information indicating a correct trajectory;
An aerial monitoring apparatus comprising: a moving object classifying unit that identifies a classification of the moving object based at least on a feature of movement of the moving object obtained from the acquired three-dimensional trajectory information.
前記３次元軌跡情報取得部は、空中の特徴点よりも地上の特徴点が優先されるように、前記対応付けを行う特徴点を選択する、請求項１に記載の空中監視装置。 The three-dimensional trajectory information acquisition unit associates feature points on the first image and the second image, and is based on a direction in which the first camera and the second camera are installed and a distance between the two. To obtain the three-dimensional coordinates of the moving object,
The aerial monitoring apparatus according to claim 1, wherein the three-dimensional trajectory information acquisition unit selects feature points to be associated with each other so that ground feature points are given priority over air feature points.
移動物体を分類するための、少なくとも大きさを含む外観に関する特徴情報を記憶する分類特徴記憶部をさらに備え、
前記移動物体分類部は、画像内の前記移動物体の大きさと、前記３次元軌跡情報から得られるカメラから前記移動物体までの距離とに基づいて実際の大きさを推定し、推定した大きさ及び前記分類特徴記憶部に記憶されている前記外観の特徴に少なくとも基づいて、前記移動物体の分類を特定する、請求項１から３のいずれか一項に記載の空中監視装置。 The aerial monitoring device includes:
A classification feature storage unit for storing feature information about an appearance including at least a size for classifying a moving object;
The moving object classification unit estimates an actual size based on the size of the moving object in the image and the distance from the camera to the moving object obtained from the three-dimensional trajectory information, and the estimated size and The aerial monitoring apparatus according to any one of claims 1 to 3, wherein a classification of the moving object is specified based at least on the appearance features stored in the classification feature storage unit.
第１カメラが出力する第１画像及び第２カメラが出力する第２画像を受信する工程であって、前記第１カメラ及び第２カメラは、監視対象となる空中の同一の範囲を撮影することができるよう、空間上の異なる位置に６０メートルから１００メートルの間隔で設置される、工程と、
前記第１画像、前記第２画像の各々について、画像中の移動物体を検出して、検出した移動物体をトラッキングすることで２次元軌跡情報を取得する工程と、
前記第１画像から取得した２次元軌跡情報と、前記第２画像から取得した２次元軌跡情報と、前記第１カメラ及び前記第２カメラのカメラパラメータとに基づいて、前記移動物体の３次元的な軌跡を示す３次元軌跡情報を取得する工程と、
前記取得した３次元軌跡情報から得られる前記移動物体の動きの特徴に少なくとも基づいて、前記移動物体の分類を特定する工程と
を含む方法。 An aerial monitoring method for detecting and classifying a moving object from aerial images captured by a plurality of cameras, which is executed by one or a plurality of computers,
A step of receiving a first image output from the first camera and a second image output from the second camera , wherein the first camera and the second camera capture the same range in the air to be monitored. Installed at different positions in the space at intervals of 60 meters to 100 meters ,
For each of the first image and the second image, detecting a moving object in the image and tracking the detected moving object to obtain two-dimensional trajectory information;
Based on the two-dimensional trajectory information acquired from the first image, the two-dimensional trajectory information acquired from the second image, and the camera parameters of the first camera and the second camera, the three-dimensional trajectory of the moving object is obtained. Acquiring three-dimensional trajectory information indicating a correct trajectory;
Identifying the classification of the moving object based at least on the characteristics of the movement of the moving object obtained from the acquired three-dimensional trajectory information.
１又は複数のコンピュータに、
第１カメラが出力する第１画像及び第２カメラが出力する第２画像を受信する処理であって、前記第１カメラ及び第２カメラは、監視対象となる空中の同一の範囲を撮影することができるよう、空間上の異なる位置に６０メートルから１００メートルの間隔で設置される、処理と、
前記第１画像、前記第２画像の各々について、画像中の移動物体を検出して、検出した移動物体をトラッキングすることで２次元軌跡情報を取得する処理と、
前記第１画像から取得した２次元軌跡情報と、前記第２画像から取得した２次元軌跡情報と、前記第１カメラ及び前記第２カメラのカメラパラメータとに基づいて、前記移動物体の３次元的な軌跡を示す３次元軌跡情報を取得する処理と、
前記取得した３次元軌跡情報から得られる前記移動物体の動きの特徴に少なくとも基づいて、前記移動物体の分類を特定する処理と
を実行させるプログラム。 A program for detecting and classifying moving objects from aerial images taken by multiple cameras,
On one or more computers,
A process of receiving a first image output from a first camera and a second image output from a second camera , wherein the first camera and the second camera capture the same range in the air to be monitored. Are installed at intervals of 60 to 100 meters at different positions in the space, so that
For each of the first image and the second image, a process of detecting two-dimensional trajectory information by detecting a moving object in the image and tracking the detected moving object;
Based on the two-dimensional trajectory information acquired from the first image, the two-dimensional trajectory information acquired from the second image, and the camera parameters of the first camera and the second camera, the three-dimensional trajectory of the moving object is obtained. Processing for obtaining three-dimensional trajectory information indicating a correct trajectory;
A program for executing a process of specifying a classification of the moving object based at least on a feature of the movement of the moving object obtained from the acquired three-dimensional trajectory information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017015817A JP6364101B1 (en) | 2017-01-31 | 2017-01-31 | Air monitoring device, air monitoring method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017015817A JP6364101B1 (en) | 2017-01-31 | 2017-01-31 | Air monitoring device, air monitoring method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6364101B1 true JP6364101B1 (en) | 2018-07-25 |
| JP2018125670A JP2018125670A (en) | 2018-08-09 |
Family
ID=62976579
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017015817A Active JP6364101B1 (en) | 2017-01-31 | 2017-01-31 | Air monitoring device, air monitoring method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6364101B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110342134A (en) * | 2019-07-23 | 2019-10-18 | 珠海市一微半导体有限公司 | A kind of garbage classification identifying system and its method based on binocular vision |
| CN113837143A (en) * | 2021-10-21 | 2021-12-24 | 广州微林软件有限公司 | Action recognition method |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112001296B (en) * | 2020-08-20 | 2024-03-29 | 广东电网有限责任公司清远供电局 | Three-dimensional safety monitoring method and device for transformer substation, server and storage medium |
| JP2023512359A (en) * | 2020-12-29 | 2023-03-27 | 商▲湯▼国▲際▼私人有限公司 | Associated object detection method and apparatus |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8625905B2 (en) * | 2011-01-28 | 2014-01-07 | Raytheon Company | Classification of target objects in motion |
| KR101900176B1 (en) * | 2014-05-07 | 2018-09-18 | 닛본 덴끼 가부시끼가이샤 | Object detection device, object detection method, and object detection system |
| JP6526953B2 (en) * | 2014-09-12 | 2019-06-05 | 株式会社日立国際電気 | Object identification method |
-
2017
- 2017-01-31 JP JP2017015817A patent/JP6364101B1/en active Active
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110342134A (en) * | 2019-07-23 | 2019-10-18 | 珠海市一微半导体有限公司 | A kind of garbage classification identifying system and its method based on binocular vision |
| CN113837143A (en) * | 2021-10-21 | 2021-12-24 | 广州微林软件有限公司 | Action recognition method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018125670A (en) | 2018-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109144097B (en) | Obstacle or ground recognition and flight control method, device, equipment and medium | |
| JP6364101B1 (en) | Air monitoring device, air monitoring method and program | |
| EP2960887B1 (en) | Probabilistic safe landing area determination | |
| JP6379343B2 (en) | Object detection apparatus, object detection method, and object detection system | |
| CN108702444B (en) | Image processing method, unmanned aerial vehicle and system | |
| JP6210522B2 (en) | Unmanned aircraft flight control method, flight data processing method, unmanned aircraft, and server | |
| Yahyanejad et al. | Incremental mosaicking of images from autonomous, small-scale uavs | |
| CN108508916B (en) | Control method, device and equipment for unmanned aerial vehicle formation and storage medium | |
| KR101634878B1 (en) | Apparatus and method for matching aviation image using swarm filght of unmanned vehicle | |
| CN109035294B (en) | Image extraction system and method for moving target | |
| JP2015114954A (en) | Photographing image analysis method | |
| CN113228103A (en) | Target tracking method, device, unmanned aerial vehicle, system and readable storage medium | |
| WO2021174539A1 (en) | Object detection method, mobile platform, device and storage medium | |
| US20210174061A1 (en) | Method and assembly for detecting objects on systems | |
| EP3550506B1 (en) | A method for improving the interpretation of the surroundings of a uav, and a uav system | |
| CN113838125A (en) | Target position determining method and device, electronic equipment and storage medium | |
| CN116558364A (en) | Interference interception system and method for unknown aircraft | |
| JP7437930B2 (en) | Mobile objects and imaging systems | |
| Dudek et al. | Cloud Detection System for UAV Sense and Avoid: Cloud Distance Estimation using Triangulation | |
| Zarándy et al. | Visual sense-and-avoid system for UAVs | |
| CN116508071A (en) | System and method for annotating automotive radar data | |
| Carrio et al. | A ground-truth video dataset for the development and evaluation of vision-based Sense-and-Avoid systems | |
| Ogura et al. | Ground object recognition from aerial image-based 3d point cloud | |
| CN112802058A (en) | Method and device for tracking illegal moving target | |
| US20150355309A1 (en) | Target tracking implementing concentric ringlets associated with target features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180605 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180629 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6364101 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |