WO2020070897A1 - 監視システム、管理装置、監視方法、管理装置の制御プログラム - Google Patents

監視システム、管理装置、監視方法、管理装置の制御プログラム

Info

Publication number
WO2020070897A1
WO2020070897A1 PCT/JP2018/037486 JP2018037486W WO2020070897A1 WO 2020070897 A1 WO2020070897 A1 WO 2020070897A1 JP 2018037486 W JP2018037486 W JP 2018037486W WO 2020070897 A1 WO2020070897 A1 WO 2020070897A1
Authority
WO
WIPO (PCT)
Prior art keywords
monitoring target
drone
management device
camera
unit
Prior art date
Application number
PCT/JP2018/037486
Other languages
English (en)
French (fr)
Inventor
智幸 伊豆
Original Assignee
株式会社イームズラボ
智幸 伊豆
イームズロボティクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社イームズラボ, 智幸 伊豆, イームズロボティクス株式会社 filed Critical 株式会社イームズラボ
Priority to JP2020551066A priority Critical patent/JP7101799B2/ja
Priority to PCT/JP2018/037486 priority patent/WO2020070897A1/ja
Publication of WO2020070897A1 publication Critical patent/WO2020070897A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/20—Initiating means actuated automatically, e.g. responsive to gust detectors using radiated signals
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41J—TARGETS; TARGET RANGES; BULLET CATCHERS
    • F41J11/00—Target ranges
    • F41J11/02—Safety means therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • B64U50/10—Propulsion
    • B64U50/19—Propulsion using electrically powered motors

Definitions

  • the present invention relates to a monitoring system, a management device, a monitoring method, and a control program for the management device.
  • the drone intrudes into the area where the intrusion is prohibited and performs photographing or the like.
  • the radio waves for operating the intruded drone are obstructed by other radio waves (called “jamming”), Techniques have been implemented to make it inoperable and to force an intruder drone to land.
  • an intruder drone cannot be found visually.
  • the present invention has been made to solve such a problem, and even if an intruder drone cannot be found visually, a monitoring system, a management apparatus, a monitoring method, and a management that can detect an intrusion drone and continue monitoring the same. It is intended to provide a control program for the device.
  • a plurality of cameras arranged apart from each other and capable of capturing an image of a common area
  • a management device configured to receive an image captured and acquired by the camera
  • an unmanned flying device capable of communicating with the management device.
  • a first recognition unit for recognizing a monitoring target in the image received from the camera by artificial intelligence formed of a neural network, and a position of each of the cameras.
  • a position calculating means for calculating the position of the monitoring target based on the direction of the monitoring target based on the position of each camera, and transmitting position information indicating the position of the monitoring target to the unmanned aerial vehicle.
  • the unmanned aerial device when receiving the position information from the management device, for flying toward the position indicated by the position information.
  • Line means photographing means for photographing the outside to obtain a photographed image
  • second recognition means for recognizing the monitoring target in the photographed image by artificial intelligence constituted by a neural network, and recognizing the monitoring target in the photographed image.
  • a lock-on means for continuously photographing the monitoring target when the monitoring is performed.
  • the management device since the management device has the first recognition means, it is possible to determine whether the object in the image acquired by the camera is a monitoring target without requiring human judgment. Can be. Then, the management device can calculate the position of the monitoring target by the position calculating means based on the principle of triangulation.
  • the unmanned flying device When receiving the position information from the management device, the unmanned flying device flies toward the position of the monitoring target, recognizes the monitoring target in the captured image by the second recognition unit, and continuously monitors the monitoring target by the lock-on unit. You can shoot. As a result, even if the intruder drone cannot be found visually, the intruder drone can be found and monitoring can be continued.
  • the camera is configured to be able to change the direction of an optical axis to capture an image
  • the management device is configured so that the first recognition unit
  • the device has tracking means for controlling the camera so that the direction of the optical axis of at least two cameras is continuously directed to the direction of the monitoring target, and the position calculating means
  • a monitoring system configured to continuously calculate the position of the monitoring target and transmit the position information to the unmanned aerial vehicle at predetermined time intervals by the position transmitting means.
  • the management device since the management device includes the tracking means, the management device can control the camera and continuously direct the optical axis of the camera toward the monitoring target. Then, the management device can continuously calculate the position of the monitoring target and transmit position information indicating the position to the unmanned aerial vehicle. Thereby, even if the position of the monitoring target changes, the unmanned aerial flying device can fly toward the changed position.
  • the management device is configured to execute a predetermined time after the departure time based on the plurality of positions of the monitoring target calculated by the position calculation unit at the deviated time.
  • a first prediction unit that calculates a first predicted position that is the position of the monitoring target, wherein the position transmitting unit is configured to transmit the position information indicating the first predicted position.
  • the management device can calculate the first predicted position, the unmanned aerial device performs the first predicted position which is the position of the monitoring target after a predetermined time. You can fly towards.
  • a fourth invention is the configuration according to any one of the first invention to the third invention, wherein the unmanned flying device is configured to move the monitoring target in the captured image and a position of the unmanned flying device, A second prediction unit that calculates a second predicted position that is the position of the monitoring target after a predetermined time, wherein the flying unit is configured to fly the unmanned flying device toward the second predicted position. Is a monitoring system.
  • the unmanned aerial device can fly toward the second predicted position, which is a position after a predetermined time of the monitoring target, at the site where the monitoring target is flying.
  • the management device has a current position receiving unit that receives a current position from the unmanned flying device, and the position transmitting unit is A monitoring system configured to shorten an interval of the transmission time of the position information as a distance between the position of the monitoring target and the current position becomes shorter.
  • the interval of the transmission time of the position information is configured to be shorter.
  • the position information is received at a relatively long time interval, and when the distance is relatively short, the position information is received at a relatively short time interval. Therefore, it is possible to efficiently go to the monitoring target.
  • the unmanned aerial flying device has an access unit that approaches the monitoring target when the monitoring target recognizes the monitoring target,
  • a monitoring system comprising: an electromagnetic wave irradiating unit configured to irradiate an electromagnetic wave to a monitoring target to prevent normal operation of the monitoring target control device.
  • the unmanned aerial vehicle can approach the monitored object and radiate an electromagnetic wave for preventing normal operation of the control device.
  • the first recognizing means and / or the second recognizing means determine a model to be monitored included in the image and / or the captured image.
  • the unmanned aerial device has fragile frequency information indicating a fragile frequency that is an effective frequency for preventing normal operation of the control device for each model to be monitored, and the electromagnetic wave irradiation
  • the means is a monitoring system configured to irradiate the monitoring target with the electromagnetic wave at the fragile frequency based on the fragile frequency information.
  • the electromagnetic wave irradiation means is configured to irradiate the monitoring target with the electromagnetic wave at the fragile frequency, the monitoring is performed by irradiating the electromagnetic wave having a relatively weak electric field intensity. Normal operation of the target control device can be prevented.
  • the first recognizing means and / or the second recognizing means determine a model of a monitoring target included in the image and / or the captured image.
  • the unmanned aerial device has specific frequency information indicating a specific frequency that is a frequency that changes the output of an altitude sensor included in the control device to be higher than an actual altitude for each of the types of the monitoring target.
  • a monitoring system configured to irradiate the electromagnetic wave at the specific frequency to the monitoring target based on the specific frequency information.
  • the monitoring target receiving the electromagnetic wave irradiation at the specific frequency recognizes an altitude higher than the actual altitude and lowers the altitude.
  • the monitoring target can be guided to landing.
  • the electromagnetic wave irradiating means of the unmanned flight device is configured to irradiate the electromagnetic wave toward a space around the monitoring target, and the unmanned flight
  • the apparatus is a monitoring system including a monitoring target control unit that changes an irradiation direction of the electromagnetic wave according to an actual flight direction of the monitoring target.
  • the direction of the magnetic field generated by the electromagnetic wave is changed, and the monitored object is used as a criterion for determining the traveling direction.
  • the magnetic field can be applied to the electronic compass on which it depends to control the traveling direction of the monitored object.
  • a tenth invention is a management device having a receiving unit that receives images captured by a plurality of cameras that capture images of a common area and are located apart from each other, wherein the camera is configured by artificial intelligence configured by a neural network.
  • the position of the monitoring target A position calculating unit for calculating, a position detecting unit that receives a position information indicating a position of a monitoring target from the management device, a flying unit for flying toward the position indicated by the position information, and obtains a photographed image by photographing the outside Image recognition means for performing recognition, recognition means for recognizing the monitoring target in the captured image by artificial intelligence constituted by a neural network,
  • a management device having a position transmission means for transmitting the position information.
  • An eleventh aspect of the present invention is a management apparatus having receiving means for receiving images captured by a plurality of cameras that capture images of a common area, which are arranged at a distance from each other, by artificial intelligence configured by a neural network, from the cameras.
  • a position of the monitoring target is calculated based on a first recognition step of recognizing a monitoring target, a position of each camera, and a direction of the monitoring target based on the position of each camera.
  • a position calculating step to perform, and when receiving position information indicating a position of a monitoring target from the management device, a flight unit for flying toward the position indicated by the position information, and photographing the outside to obtain a photographed image Image acquisition means, recognition means for recognizing the monitoring target in the captured image by artificial intelligence constituted by a neural network, When recognizing an elephant for unmanned flying device with a lock-on means for continuously photographing the monitoring target, a position transmission step of transmitting the location information, a monitoring method to implement.
  • a computer that controls a management device that has a receiving unit that receives images captured by a plurality of cameras that capture images of a common area and that is disposed apart from each other is controlled by artificial intelligence configured by a neural network.
  • first recognition means for recognizing a monitoring target, the position of each camera, and the direction of the monitoring target based on the position of each camera
  • Position calculating means for calculating a position, when receiving position information indicating the position of the monitoring target from the management device, a flying means for flying toward the position indicated by the position information, and photographing the outside to take a captured image
  • Image acquisition means for acquiring, and recognition means for recognizing the monitoring target in the captured image by artificial intelligence constituted by a neural network
  • a lock-on unit that continuously captures the monitoring target
  • an unmanned aerial vehicle having a position transmitting unit that transmits the position information. is there.
  • an intruder drone can be found and monitoring can be continued.
  • FIG. 3 is a schematic diagram illustrating functional blocks of a management device. It is a conceptual diagram for explaining a neural network. It is a schematic flowchart which shows an example of the process of machine learning.
  • FIG. 5 is a conceptual diagram for explaining a method of calculating a position of a monitoring target based on images from two cameras. It is a figure which shows an example of the time interval of position information transmission.
  • FIG. 1 It is the schematic which shows the structure of an unmanned flight device. It is the schematic which shows the structure of an unmanned flight device. It is the schematic which shows the function block of an unmanned flight device. It is a figure which shows an example of the main structure in which the signal or electric power in the drone to be monitored flows. It is a schematic flowchart which shows the process of a monitoring system. It is a schematic flowchart which shows the process of a monitoring system. It is a figure showing an outline of a second embodiment of the present invention. It is a figure showing an outline of a second embodiment of the present invention. It is a schematic diagram showing fragile frequency information of a third embodiment of the present invention. It is a schematic flowchart which shows the process of a monitoring system. FIG.
  • FIG. 14 is a schematic diagram illustrating unique frequency information according to a fourth embodiment of the present invention. It is a schematic flowchart which shows the process of a monitoring system. It is a figure showing an outline of a fifth embodiment of the present invention. It is a schematic flowchart which shows the process of a monitoring system.
  • the monitoring system 100 includes a plurality of cameras, a management device, and an unmanned aerial vehicle (hereinafter, referred to as “unmanned aerial vehicle”). Specifically, the monitoring system 100 includes the cameras 150A and 150B, the management device 300, and the drone 1.
  • the monitoring system 100 is a monitoring system for monitoring a suspicious object that invades the area A1 where the buildings 120A to 120C exist. Such a suspicious object is a monitoring target.
  • the monitoring target is the unmanned aerial vehicle 201 (hereinafter, referred to as “intrusion drone 201”) that is not allowed to enter the area A1.
  • the number of cameras 150A and the like need only be plural, and is not limited to two. Further, the number of the unmanned aerial vehicles 1 may be one or more, and is not limited to one. Furthermore, the management device 300 is not limited to one device as long as it is one device or more.
  • the cameras 150A and 150B are arranged apart from each other.
  • the cameras 150A and 150B are located at least 5 meters (horizontally) apart in the horizontal direction.
  • Camera 150A is arranged on the roof of building 120A
  • camera 150B is arranged on the roof of building 120C.
  • Each of the cameras 150A and 150B is configured to be able to photograph the entire sky above the area A1.
  • the cameras 150A and 150B are configured to be able to capture a common area by controlling the directions of the optical axes LA1 and LB1.
  • the cameras 150A and 150B are configured such that when the intruding drone 201 enters the area A1, the two cameras 150A and the like simultaneously photograph the intruding drone 201.
  • an image of the intruder drone 201 taken simultaneously by the camera 150A or the like serves as a basis for calculating the position of the intruder drone 201.
  • the management apparatus 300 includes a computer as a component, is communicable with the cameras 150A and 150B, and receives an image captured and acquired by the camera 150A or the like. Further, the management device 300 stores the position of the camera 150A and the like, and receives information indicating the direction of the optical axis of the camera 150A and the like. The management device 300 controls operations such as the direction of the optical axis of the camera 150A and the like.
  • the management device 300 can communicate with the drone 1 and transmits position information indicating the position of the intruder drone 201 to the drone 1. Further, the management device 300 receives the current position information indicating the current position of the drone 1 from the drone 1.
  • the unmanned aerial vehicle 1 is an unmanned aerial vehicle that obtains a thrust by rotating a propeller and autonomously flies along a predetermined route, and is an example of an unmanned aerial vehicle.
  • the unmanned aerial vehicle 1 is waiting at the position of the management device 300 and, when receiving the position information indicating the position of the intruder drone 201 from the management device 300, flies toward the position indicated by the position information and approaches the intruder drone 201.
  • it is configured to irradiate an electromagnetic wave to hinder control.
  • the method of preventing the control is not limited to the irradiation of the electromagnetic wave.
  • a net may be entangled with the intruding drone 201 to make it impossible to fly.
  • the cameras 150A and 150B have optical axes LA1 and LB1, respectively, and the photographing ranges SA1 and SB1 are defined as predetermined photographing ranges.
  • the camera 150A and the like are set to have relatively high magnification and a narrow angle of view (viewing angle).
  • the camera 150A and the like use a telephoto lens, and the angle of view (viewing angle) is 10 to 15 degrees. This is because the purpose of the cameras 150A and 150B to photograph the outside is not only to find the intruder drone 201, but also to obtain an image serving as a basis for calculating the position of the intruder drone 201. Since the angle of view is relatively narrow, the direction of the intruding drone 201 in the image can be accurately determined.
  • the light enters the optical axis LA1 or the like of the camera 150A or the like. It is possible to calculate the divergence in the direction of the drone 201 and calculate the direction of the intruding drone 201 with reference to the camera 150A and the like. Of the intruder drone 201 can be determined.
  • the camera 150A and the like can control the optical axis LA1 and the like in all directions other than the downward direction.
  • the camera 150A and the like continuously change the horizontal azimuth indicated by the arrow x1 and the elevation / depression angle indicated by the arrow y1 while changing the area A1. It is configured to monitor the sky.
  • the management device 300 recognizes the intruder drone in the image
  • the optical axis of the camera 150A or the like is fixed in the direction of the intruder drone 201 (locked on) under the control of the management device 300.
  • the camera 150 ⁇ / b> A or the like transmits an image captured and acquired to the management device 300.
  • the management device 300 that has received the image from the camera 150B recognizes the intruder drone 201 in the image. Then, as shown in FIG. 3, the management device 300 fixes the optical axis LB1 of the camera 150B in the direction of the intrusion drone 201, controls the optical axis LA1 of another camera 150A, and controls the optical axis LB1 of the camera 150A. 201 is to be photographed. As a result, the intruder drone 201 is photographed by both the cameras 150A and 150B.
  • the management device 300 determines the intruder drone based on the line connecting the cameras 150A and 150B, the direction of the intruder drone 201 based on the position of the camera 150A, and the direction of the intruder drone 201 based on the position of the camera 150B.
  • the position Ps of 201 is calculated.
  • the management device 300 wirelessly transmits the position information indicating the calculated position to the drone 1.
  • the drone 1 that has received the position information flies toward the position Ps of the intruding drone 201.
  • the unmanned aerial vehicle 1 is provided with a camera.
  • the intruder drone 201 is recognized in a captured image captured by the camera, the drone approaches the intruder drone 201 and emits an electromagnetic wave E as shown in FIG. It is configured as follows.
  • the electromagnetic waves E prevent normal operation of the control device of the intrusion drone 201.
  • the management device 300 includes a CPU (Central Processing Unit) 302, a storage unit 304, a wireless communication unit 306, and a power supply unit 308.
  • a CPU Central Processing Unit
  • the management device 300 can communicate with the outside by the wireless communication unit 306.
  • the management device 300 communicates with the camera 150A and the like and the drone 1 by the wireless communication unit 306.
  • the storage unit 304 stores various data and programs for operating the computer.
  • the storage unit 304 also stores the positions where the cameras 150A and 150B are arranged.
  • the storage unit 304 further stores the directions of the optical axes LA1 and LB1 of the cameras 150A and 150B. More specifically, the management device 300 continuously receives information indicating the direction of the optical axis LA or the like that changes from the camera 150A or the like, and stores the information in the storage unit 304.
  • the storage unit 304 also stores a learning program, a first recognition program, a tracking program, a position calculation program, a position transmission program, and a current position reception program.
  • the CPU 302 and the learning program are examples of learning means.
  • the CPU 302 and the first recognition program are examples of a first recognition unit.
  • the CPU 302 and the tracking program are examples of a tracking unit.
  • the CPU 302 and the position calculation program are an example of a position calculation unit.
  • the CPU 302 and the position transmission program are an example of a position transmission unit.
  • the CPU 302 and the current position receiving program are an example of a current position receiving unit.
  • the management device 300 learns a large number of images of the drone by the learning program. Then, a neural network for recognizing that the object in the image is a drone is generated and stored in the storage unit 304.
  • step S2 An outline of a learning method (machine learning process) will be described with reference to FIGS.
  • a large number of image data (Image @ data) are input as learning data to a computer neural network model (see FIG. 7) (step S1 in FIG. 8)
  • learning is performed by a neural network algorithm (step S2).
  • the learning data is data in which drones of various types and various aspects are shown, and an image of the same drone viewed from a close distance (for example, a distance of 3 meters (m)), and a far distance (for example, , 200 meters (m) distance), and images viewed from various distances, as well as images of parts and parts of the drone.
  • the neural network model is, for example, a neural network conceptually shown in FIG. It should be noted that neural networks and deep learning are well known, and therefore are only outlined in this specification.
  • the neural network includes an input layer (Input @ Layer), one or more hidden layers (Hidden @ Layer), and an output layer (Output @ Layer).
  • FIG. 7 shows only one hidden layer, the hidden layer is actually a plurality of layers. That is, the learning according to the present embodiment is machine learning (deep learning) using a multilayer neural network (deep neural network, Deep @ Neural @ Network).
  • ⁇ ⁇ In the neural network, input values input to the hidden layer and the output layer are set with weights such as weight w1a. In the hidden layer and the output layer, a bias (threshold) B1 and the like are set. In machine learning, by adjusting the weight w1a of input values input to the hidden layer and the output layer and the bias (threshold) B1 in the hidden layer and the output layer, the output from the output layer approaches the correct answer. Go. As a result of the learning, a neural network in which the weight and the bias are adjusted is generated as learning result data (step S3 in FIG. 8). By this learning, if the object in the image is a drone, a neural network for accurately recognizing that the object is a drone is generated. With this neural network, even if the object in the image is not the entire drone but a part of the drone (for example, a propeller of a drone or a communication antenna), it can be recognized as a drone.
  • the management device 300 recognizes the intruder drone 201 in the image received from the camera 150A or the like by the first recognition program. Recognition of the intruder drone 201 is performed by the above-described neural network.
  • the management device 300 When the management device 300 recognizes the intruder drone 201 in the image received from any of the cameras 150A or the like by the first recognition program, the management device 300 shoots the intruder drone 201 by the plurality of cameras 150A or the like by the tracking program. Have been.
  • the camera 150A or the like that first photographs the intruder drone 201 is referred to as a “first camera”.
  • the management device 300 recognizes the intrusion drone 201 in an image first received from the camera 150B by the first recognition program.
  • the camera 150B is the first camera.
  • the management device 300 continuously matches the direction of the optical axis LB1 of the camera 150B, which is the first camera, with the direction of the intruder drone 201 (hereinafter, this control is referred to as “lock-on”).
  • the management device 300 cancels the deviation and returns the intruder drone 201 to the center position of the captured image. To control the direction of the optical axis LB1 of the camera 150B.
  • the management device 300 executes control to continuously match the direction of the optical axis LA1 of the camera 150A, which is a camera other than the first camera, with the direction of the intruder drone 201 by the tracking program.
  • the management device 300 has received information indicating the direction of the optical axis LB1 of the camera 150B.
  • the intruder drone 201 is located within a shooting range SB1 (see FIG. 1) of the camera 150B.
  • the management device 300 changes the optical axis LA1 of the camera 150A (hereinafter, referred to as “overlapping scanning”) in a state where the photographing range SA1 (see FIG. 1) of the camera 150A overlaps with the photographing range SB1.
  • overlapping scanning optical axis LA1 of the camera 150A
  • the management device 300 may directly control the optical axes LA1 and LB1 of the cameras 150A and 150B, or unlike the present embodiment, the management device 300 starts lock-on.
  • An instruction is transmitted to the camera 150A and the camera 150B, and the camera 150A and the camera 150B are configured to control the optical axis LA1 and the optical axis LB1, respectively, to perform lock-on by a program stored in the storage device. Is also good.
  • the management device 300 may be configured to transmit an instruction for overlapping scanning to a camera other than the first camera, and to perform overlapping scanning by a camera other than the first camera according to a program stored in the storage device. Good.
  • the management device 300 calculates the position of the intruder drone 201 based on the positions of the cameras 150A and 150B and the direction of the intruder drone 201 with reference to the positions of the cameras 150A and 150B by the position calculation program.
  • the cameras 150A and 150B each include a base 150a and a camera body 150b.
  • the camera body 150b is configured to be rotatable with respect to the base 150a in all directions except below.
  • the cameras 150A and 150B are fixed to the roofs of the buildings 120A and 120C, respectively.
  • the management device 300 stores the positions of the cameras 150A and 150B in the storage unit 304. Therefore, the management device 300 also stores or can calculate the distance L1 between the cameras 150A and 150B. Since the distance L1 is a baseline for triangulation, it is also referred to as “baseline L1”.
  • the position of the intruder drone 201 is defined as a position Ps, and the optical axis LA1 of the camera 150A matches the direction of a line connecting the camera 150A and the position Ps, and the optical axis LB1 of the camera 150B connects the camera 150B and the position Ps.
  • a triangle is defined by the positions of both ends of the base line L1, the angle ⁇ 1 of the optical axis LA1 with respect to the base line L1 based on the position of the camera 150A, and the angle ⁇ 2 of the optical axis LB1 with respect to the base line L1 based on the position of the camera 150B.
  • the coordinates of the position Ps can be calculated. Since the principle of triangulation is well known, a detailed description thereof will be omitted.
  • the management device 300 continuously calculates the position Ps.
  • the management device 300 transmits the position information indicating the position Ps of the intruder drone 201 to the drone 1 by the position transmission program.
  • the management device 300 transmits the position information to the drone 1 at predetermined time intervals. Thereby, the drone 1 can receive the position information indicating the changed position even if the position of the intruder drone 201 changes during the flight.
  • the unmanned aerial vehicle 1 that has received the position information flies toward the position indicated by the position information and measures the current position of the unmanned aerial vehicle 1 itself.
  • the management device 300 receives the current position information indicating the current position of the unmanned aerial vehicle 1 from the unmanned aerial vehicle 1 by the current position receiving program.
  • the management device 300 calculates the distance between the position Ps of the intruder drone 201 and the current position of the drone 1 by the position transmission program.
  • the time interval for transmitting the position information indicating the position Ps of the intruder drone 201 is, for example, as shown in FIG. 10, when the distance D is 1000 meters (meter) or more, every 30 seconds (second), and when the distance D is 700.
  • the distance D between the position Ps and the current position of the unmanned aerial vehicle 1 becomes shorter, such as every 20 seconds when the distance is not less than 1000 meters, the interval of the transmission time of the position information indicating the position Ps is shortened. It is configured.
  • the unmanned aerial vehicle 1 can head toward the intruder drone 201 without being disturbed by the fine turning of the intruder drone 201, and When the distance is relatively short, it is possible to reliably head for the intruder drone 201 according to the actual movement of the intruder drone 201.
  • the drone 1 has a housing 2.
  • the housing 2 includes an autonomous flight device including a computer, a wireless communication device, a positioning device that uses positioning radio waves from a navigation satellite system such as a GPS (Global Positioning System), and a battery.
  • the autonomous flight device includes an inertial sensor, an electronic compass, and a barometric pressure sensor.
  • a camera 14 is disposed on the housing 2 via a fixing device 12.
  • the drone 1 acquires an external image by the camera 14.
  • the camera 14 is a visible light camera, but is not limited thereto.
  • the camera 14 may be a multispectral camera or an infrared camera capable of shooting at night.
  • the fixing device 12 is a three-axis fixing device (so-called gimbal) capable of minimizing blurring of an image captured by the camera 14 and controlling the optical axis of the camera 14 in an arbitrary direction.
  • a round bar-shaped arm 4 is connected to the housing 2.
  • a motor 6 is connected to each arm 4, and a propeller 8 is connected to each motor 6.
  • Each motor 6 is a DC motor (brushless DC motor).
  • the rotation speed of each motor 6 is controlled by a motor driver (not shown).
  • the motor drivers are independently controlled by the autonomous flight devices. The motors 6 are controlled independently of each other, so that the drone 1 can be freely moved vertically and horizontally, stopped (hovered) in the air, and controlled in attitude.
  • FIG. 12 is a schematic side view of the housing 2, the fixing device 12, the camera 14, and the electromagnetic wave irradiation device 16 of the drone 1 of FIG.
  • an electromagnetic wave irradiation device 16 is disposed on the upper surface of the housing 2.
  • the electromagnetic wave irradiation device 16 is a transmission antenna that transmits an electromagnetic wave to the outside.
  • the electromagnetic wave irradiation device 16 is an antenna having high directivity, for example, a parabolic antenna.
  • the electromagnetic wave irradiation device 16 includes an antenna body 16a and a parabolic reflector 16b having a parabolic curved inner surface.
  • a protective frame 10 is connected to the arm 4 to prevent the propeller 8 from directly contacting an external object.
  • the arm 4 and the protection frame 10 are formed of, for example, carbon fiber reinforced plastic, and are configured to be lightweight while maintaining strength.
  • FIG. 13 is a diagram showing a functional configuration of the drone 1.
  • the drone 1 includes a CPU (Central Processing Unit) 50, a storage unit 52, a wireless communication unit 54, a satellite positioning unit 56, an inertial sensor unit 58, an image processing unit 60, a drive control unit 62, an electromagnetic wave irradiation unit 64, and a power supply. It has a part 66.
  • CPU Central Processing Unit
  • the unmanned aerial vehicle 1 can communicate with the management device 300 by the wireless communication unit 54.
  • the unmanned aerial vehicle 1 receives the position information indicating the position of the intruder drone 201 from the management device 300 by the wireless communication unit 54. Further, the current position information of the drone 1 is transmitted to the management device 300.
  • the drone 1 can measure the position of the drone 1 itself by the satellite positioning unit 56 and the inertial sensor unit 58.
  • the satellite positioning unit 56 basically measures the position of the unmanned aerial vehicle 1 by receiving positioning radio waves from four or more navigation satellites.
  • the satellite positioning unit 56 is an example of positioning means for positioning the current position.
  • the inertial sensor unit 58 measures the position of the drone 1 by integrating the movement of the drone 1 based on the outputs from the acceleration sensor and the gyro sensor, for example, based on the position of the drone 1 that was most recently measured. .
  • the position information of the drone 1 itself is used for determining a moving route of the drone 1 and for autonomous movement.
  • the drone 1 controls the rotation of the propeller 8 (see FIG. 11) connected to each motor 6 (see FIG. 11), and controls the posture such as vertical and horizontal movement, suspension in the air, and inclination. It has become.
  • the drone 1 activates the camera 14 (see FIG. 11) to acquire an external image, and processes the acquired photographing data by the image processing unit 60.
  • the electromagnetic wave irradiation unit 64 controls the electromagnetic wave irradiation device 16 to irradiate the outside with electromagnetic waves.
  • the power supply unit 66 is, for example, a replaceable rechargeable battery, and supplies power to each unit of the unmanned aerial vehicle 1.
  • the storage unit 52 stores the following data and programs in addition to various data and programs necessary for autonomous movement, such as data indicating a movement plan for autonomous movement from the starting point to the destination position.
  • the storage unit 52 stores a flight program, an imaging program, a second recognition program, a lock-on program, an approach program, and an electromagnetic wave irradiation program.
  • the CPU 50 and the flight program are an example of a flight means.
  • the CPU 50 and the photographing program are an example of photographing means.
  • the CPU 50 and the second recognition program are an example of a second recognition unit.
  • the CPU 50 and the lock-on program are an example of lock-on means.
  • the CPU 50 and the approach program are examples of approach means.
  • the CPU 50 and the electromagnetic wave irradiation program are an example of an electromagnetic wave irradiation unit.
  • the drone 1 When receiving the position information indicating the position Ps of the intruder drone 201 from the management device 300, the drone 1 flies toward the position indicated by the position information by the flight program.
  • the unmanned aerial vehicle 1 also processes the position information received from the management device 300 as a flight start instruction.
  • the drone 1 When the drone 1 starts flying, the drone 1 activates the camera 14 according to a photographing program to photograph the outside and acquire a photographed image.
  • the drone 1 recognizes the intruder drone 201 included in the captured image acquired by the camera 14 by the second recognition program.
  • the configuration of the second recognition program is the same as the first recognition program of the management device 300 described above, and is configured by a neural network.
  • the unmanned aerial vehicle 1 When the unmanned aerial vehicle 1 recognizes the intruder drone 201 included in the captured image, the direction of the optical axis of the camera 14 is continuously matched with the direction of the monitoring target by the lock-on program.
  • the drone 1 is configured to adjust the direction of the optical axis of the camera 14 in accordance with the movement of the intruder drone 201 in the captured image so that the direction of the intruder drone 201 matches the direction of the optical axis. That is, when the intruder drone 201 deviates from the pixel at the center position of the captured image, the unmanned aerial vehicle 1 cancels the deviation and adjusts so that the intruder drone 201 returns to the central position of the captured image.
  • the drone 1 locks on the intruding drone 201, it approaches the drone 201 by the approach program.
  • the drone 1 can determine the distance to the intruder drone 201 according to the mode of the intruder drone 201 projected in the image by the second recognition program.
  • Unmanned aerial vehicle 1 is configured such that even when intruding drone 201 is not a drone of a learned size or when the distance is different, the manner of change in projection mode due to the distance (the shape of the object in the image decreases as the distance decreases) It is configured to be able to judge the distance on the basis of the distance.
  • the drone 1 receives position information indicating the position of the intruder drone 201 at predetermined time intervals from the management device 300 and measures the current position of the drone 1 itself.
  • the distance between the intruder drone 201 and the drone 1 may be calculated from the position information indicating the position Ps and the current position of the drone 1.
  • the management device 300 since the management device 300 continuously calculates the distance between the intruder drone 201 and the drone 1, the management device 300 may receive and use the distance information from the management device 300.
  • the calculation of the distance by the drone 1 itself and the distance information received from the management device 300 may be used together.
  • the drone 201 irradiates the intruder drone 201 with electromagnetic waves according to the electromagnetic wave irradiation program.
  • the predetermined distance is, for example, 3 meters (meter).
  • the unmanned aerial vehicle 1 prevents normal operation of the control device of the intruder drone 201 by the electromagnetic wave.
  • the intruder drone 201 includes a receiver 202 that receives a control radio wave from an external control device, an autonomous flight device 204, a motor driver 206, a motor 208, and a battery 210.
  • the autonomous flight device 204 is also called a flight controller (Flight @ Controller), and the motor driver 206 is also called an ESC (Electronic Speed * Controller).
  • the configuration shown in FIG. 14 is the same in the unmanned aerial vehicle 1.
  • the control devices that are prevented from operating normally by the electromagnetic waves emitted by the drone 1 are the autonomous flight device 204 and / or the motor driver 206.
  • the elements constituting the autonomous flight device 204 and the motor driver 206 are connected by a line, and a malfunction may occur when an electromagnetic wave acts on the line.
  • the electric field strength of an electromagnetic wave that can cause a malfunction can be known in advance by an experiment in which various types of drones are irradiated with electromagnetic waves of various electrolytic strengths.
  • the frequency is, for example, a frequency around 1.5 GHz.
  • the electric field strength is, for example, 400 V / m (volt / meter) at a distance of 3 meters (meter) from the tip of the antenna body 16a.
  • the unmanned aerial vehicle 1 can irradiate an electromagnetic wave having a high electric field strength by approaching the intruder drone 201 and irradiating it with an electromagnetic wave, so that the control device of the intruder drone 201 malfunctions with a high probability. As a result, the intruder drone 201 can be led to a crash.
  • the management device 300 When acquiring images captured by the cameras 150A and 150B (step ST1 in FIG. 15), the management device 300 performs image recognition using a neural network (step ST2). When the management device 300 determines that the object in the image is the intruder drone 201 (step ST3), it shoots the intruder drone 201 with both the cameras 150A and 150B and calculates coordinates indicating the position of the intruder drone 201 (step ST3). ST5), and transmits position information indicating the coordinates to the drone 1 (step ST6).
  • the drone 1 Upon receiving the position information indicating the position Ps of the intruder drone 201 from the management device 300, the drone 1 starts (step ST7 in FIG. 16), measures the current position of the drone 1 (step ST8), and changes the current position. The current position information is transmitted to the management device 300 (step ST9). Then, the unmanned aerial vehicle 1 captures a captured image by photographing the outside with the camera 14 (step ST10), and performs image recognition on an object in the captured image by a neural network (step ST11). When the unmanned aerial vehicle 1 determines that the object in the photographed image is the intruding drone 201 (step ST12), it locks on the intruding drone 201 and approaches the intruding drone 201 (step ST13).
  • the unmanned aerial vehicle 1 When the unmanned aerial vehicle 1 approaches the intruder drone 201 to a predetermined distance, it emits electromagnetic waves toward the intruder drone 201 (step ST14), and determines that the mission has been completed by receiving a return instruction from the management device 300 or the like (step ST14). (Step ST15), returning to the position of the management device 300 (Step ST16).
  • the management device 300 calculates a predicted position Psf1 of the intruder drone 201 after a predetermined time based on the position of the intruder drone 201 calculated at the departure time.
  • the management device 300 continuously calculates the predicted position Psf1.
  • the management device 300 is configured to transmit position information indicating the predicted position Psf1 to the drone 1.
  • the unmanned aerial vehicle 1 is also configured to predict the position of the intruder drone 201 after a predetermined time, and to approach the intruder drone 201 based on the predicted position.
  • the management device 300 stores the first prediction program in the storage unit 304.
  • the CPU 302 and the first prediction program are examples of a first prediction unit.
  • the management device 300 calculates the position Ps1 and the position Ps2 of the intruder drone 201 at the time separated by a predetermined time interval, and As the position, a predicted position Psf1 after a predetermined time is calculated. Then, the management device 300 transmits the predicted position Psf1 to the drone 1 by the position transmission program.
  • the above-mentioned predetermined time interval is one second (s)
  • after the predetermined time is one second (s).
  • the drone 1 stores the second prediction program in the storage unit 52.
  • the CPU 50 and the second prediction program are an example of a second prediction unit.
  • the drone 1 recognizes the intruder drone 201 in the captured image acquired by the camera 14, the drone 201 changes after a predetermined time due to a change in the projection mode of the intruder drone 201 in the pixels of the captured image.
  • it is configured to calculate the predicted position Psf2 of the intruding drone 201 after one second, and to fly toward the predicted position Psf2 by the flight program.
  • the unmanned aerial vehicle 1 continuously calculates the predicted position Psf2.
  • the unmanned aerial vehicle 1 is configured to match the direction of the predicted position Psf2 after a predetermined time with the direction of the optical axis of the camera 14 by a lock-on program.
  • the current position of the intrusion drone 201 is actually a slightly past position even if it is processed at high speed by the management device 300 or the computer of the drone 1.
  • the predicted positions Psf1 and Psf2 are positions after a predetermined time calculated by reasonably predicting the movement of the intruding drone 201, and therefore are close to the true current positions after the predetermined time. For this reason, the drone 1 can fly toward and approach the intruding drone 201 based on the predicted positions Psf1 and Psf2 that are close to the true current position after a predetermined time.
  • the unmanned aerial vehicle 1 flies, for example, toward the average position of the predicted position Psf1 and the predicted position Psf2, or calculates the average calculated by weighing each of the predicted position Psf1 and the predicted position Psf2. Flying toward the location, approaching the intruding drone 201.
  • the drone 1 also uses the predicted position Psf2 when approaching the intruder drone 201 by the approach program.
  • the management device 300 is configured to recognize the model of the intruder drone 201 when recognizing the intruder drone 201 by using a neural network generated by machine learning.
  • the learning data for generating the neural network includes images of drones of many models, and the models are included as correct answers to be output from the output layer. As a result, a neural network capable of recognizing the model of the drone can be generated.
  • the management device 300 recognizes the intruder drone 201 in the image of the camera 150A or the like by using the first recognition program, and also recognizes the model of the intruder drone 201. Then, the management device 300 transmits information indicating the model of the intruder drone 201 to the drone 1.
  • the drone 1 may be configured to recognize the model of the intruder drone 201 in the captured image acquired by the camera 14 using the second recognition program.
  • the drone 1 stores the weak frequency information indicating the weak frequency W1 and the like for each drone model D1 and the like in the storage unit 52.
  • the fragile frequency W1 and the like are effective frequencies for preventing normal operation of the control device for each type of drone.
  • the fragile frequency W1 is a frequency at which normal operation is likely to be disturbed, and is a frequency that is a weak point.
  • Vulnerable frequencies vary by drone model.
  • the fragile frequency of each type of drone can be known in advance.
  • the fragile frequency W1 is 1.4 GHz
  • the fragile frequency W2 is 1.5 GHz
  • the fragile frequency W3 is 1.6 GHz.
  • the drone When the unmanned aerial vehicle 1 approaches the intruder drone 201 to a predetermined distance, the drone irradiates an electromagnetic wave at a weak frequency corresponding to the model of the intruder drone 201 by an electromagnetic wave irradiation program.
  • the electromagnetic wave applied at this time is an electromagnetic wave at a fragile frequency, and is a frequency that is a weak point of the intruder drone 201. Therefore, as compared with the case of irradiating other frequencies, even if the electric field strength is small, the control device of the intruder drone 201 It has the effect of preventing normal operation.
  • the electric field strength of the weak frequency electromagnetic wave is, for example, 200 V / m (volt / meter) at a distance of 3 meters (meter) from the tip of the antenna body 16a.
  • the unmanned aerial vehicle 1 can guide the intruder drone 201 to fall by irradiating the intruder drone 201 with electromagnetic waves having a fragile frequency.
  • the drone 1 Upon receiving the position information indicating the position Ps of the intruder drone 201 from the management device 300, the drone 1 starts (step ST7 in FIG. 20), measures the position of the current position of the drone 1 (step ST8), and determines the current position. The current position information is transmitted to the management device 300 (step ST9). In step ST7, information indicating the model is received together with the position information of the intruder drone 201.
  • the unmanned aerial vehicle 1 acquires an image by photographing the outside with the camera 14 (step ST10), and performs image recognition on an object in the photographed image by a neural network (step ST11).
  • the unmanned aerial vehicle 1 determines that the object in the photographed image is the intruding drone 201 (step ST12), it locks on the intruding drone 201 and approaches the intruding drone 201 (step ST13).
  • the drone 1 approaches the intruder drone 201 to a predetermined distance, the drone 201 irradiates the intruder drone 201 with electromagnetic waves at a fragile frequency (step ST14A), and the mission is terminated by receiving a return instruction from the management device 300 or the like.
  • it determines it is determined (step ST15), it returns to the position of the management device 300 (step ST16).
  • the fourth embodiment will be described focusing on parts different from the third embodiment.
  • the drone 1 is configured to guide the intruder drone 201 to land rather than crash it.
  • the drone 1 stores the specific frequency information indicating the specific frequency WE1 or the like for each drone model D1 or the like in the storage unit 52.
  • the electromagnetic wave at the specific frequency WE1 or the like is an electromagnetic wave for making the output from the altitude sensor (barometric pressure sensor) of the drone indicate an altitude higher than the actual altitude.
  • the drone's autonomous flight device lowers the altitude based on a signal indicating an altitude higher than the actual altitude, and leads to landing.
  • Each drone model emits electromagnetic waves of various frequencies and tests the output from the altitude sensor to find out in advance the specific frequency of each drone model.
  • the drone 1 Upon receiving the position information indicating the position Ps of the intruder drone 201 from the management device 300, the drone 1 starts (step ST7 in FIG. 22), measures the current position of the drone 1 (step ST8), and changes the current position. The current position information is transmitted to the management device 300 (step ST9). In step ST7, information indicating the model is received together with the position information of the intruder drone 201.
  • the unmanned aerial vehicle 1 acquires an image by photographing the outside with the camera 14 (step ST10), and performs image recognition on an object in the photographed image by a neural network (step ST11).
  • the unmanned aerial vehicle 1 determines that the object in the photographed image is the intruding drone 201 (step ST12), it locks on the intruding drone 201 and approaches the intruding drone 201 (step ST13).
  • the drone 1 approaches the intruder drone 201 to a predetermined distance, the drone 201 irradiates the intruder drone 201 with electromagnetic waves at a specific frequency (step ST14B), and the mission is terminated by receiving a return instruction from the management device 300 or the like.
  • it determines it returns to the position of the management device 300 (step ST16).
  • the unmanned aerial vehicle 1 controls the magnetic field around the intruding drone 201, makes the electronic compass detect a direction different from the original direction, controls the traveling direction of the intruding drone 201, It is configured to guide you to land.
  • the drone 1 irradiates the electromagnetic waves E not to the intruding drone 201 but to the space around the intruding drone 201.
  • a magnetic field MG is generated in a direction perpendicular to the traveling direction of the electromagnetic wave E.
  • the unmanned aerial vehicle 1 causes the electronic compass of the intruding drone 201 to detect a direction different from the original direction as the direction of the terrestrial magnetism by the magnetic field MG. Since the intruder drone 201 flies by judging the traveling direction based on the output of the electronic compass, the traveling direction of the intruder drone 201 can be controlled by controlling the output of the electronic compass by the magnetic field MG. You can also lead to landing.
  • the electronic compass of the intrusion drone 201 is caused to detect a direction different from the original magnetic north as the magnetic north.
  • the autonomous flight device 204 of the intruder drone 201 is programmed to fly northward, if the eastern direction is detected as magnetic north, it is possible to fly eastward.
  • the storage unit 52 of the unmanned aerial vehicle 1 stores a monitoring target control program.
  • the CPU 50 and the monitoring target control program are examples of monitoring target control means.
  • the unmanned aerial vehicle 1 irradiates the electromagnetic waves E toward a space close to the intruder drone 201 according to the monitoring target control program, and changes the direction in which the electromagnetic waves E are emitted according to the actual traveling direction of the intruder drone 201.
  • the direction in which the electromagnetic wave E passes around the intruder drone 201 changes, the direction of the magnetic field MG also changes, and the direction in which the electronic compass of the intruder drone 201 outputs also changes, so that the traveling direction of the intruder drone 201 can be controlled.
  • a capturing device such as a net for capturing the intruding drone is placed on the roof of the building 120B, and the intruding drone 201 can be guided to the capturing device.
  • the drone 1 Upon receiving the position information indicating the position Ps of the intruder drone 201 from the management device 300, the drone 1 starts (step ST7 in FIG. 24), measures the current position of the drone 1 (step ST8), and changes the current position. The current position information is transmitted to the management device 300 (step ST9). Then, the unmanned aerial vehicle 1 captures a captured image by photographing the outside with the camera 14 (step ST10), and performs image recognition on an object in the captured image by a neural network (step ST11).
  • the unmanned aerial vehicle 1 determines that the object in the photographed image is the intruding drone 201 (step ST12), it locks on the intruding drone 201 and approaches the intruding drone 201 (step ST13).
  • the unmanned aerial vehicle 1 approaches the intruder drone 201 to a predetermined distance, the drone irradiates an electromagnetic wave toward a space around the intruder drone 201 to control the traveling direction of the intruder drone 201 (step ST14C).
  • it is determined that the mission has been completed by receiving a return instruction or the like it returns to the position of the management device 300 (step ST16).
  • the unmanned aerial vehicle, the intercepting method, and the program of the present invention are not limited to the above embodiment, and various modifications can be made without departing from the gist of the present invention.
  • unmanned flying device unmanned aerial vehicle
  • electromagnetic wave irradiation device 50
  • CPU storage unit
  • wireless communication unit 54
  • satellite positioning unit 56
  • inertial sensor unit 60
  • image processing unit 62
  • drive control unit 64
  • electromagnetic wave irradiation unit 66

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】侵入ドローンを目視によって発見できない場合であっても、侵入ドローンを発見し、監視を継続することができることができる監視システム、管理装置、監視方法、管理装置の制御プログラムを提供すること。 【解決手段】監視システム１００は、乖離して配置され、共通の領域を撮影可能な複数のカメラ１５０Ａ等と、カメラ１５０Ａ等が撮影して取得した画像を受信する管理装置３００と、管理装置３００と通信可能な無人飛行装置１とを有し、管理装置３００は、ニューラルネットワークで構成される人工知能によって、カメラ１５０Ａ等から受信した画像において、監視対象を認識する第一認識手段と、各カメラ１５０Ａ等の位置と、各カメラ１５０Ａ等の各光軸に対する監視対象の方向とに基づいて、監視対象の位置を算出する位置算出手段と、監視対象の位置を示す位置情報を無人飛行装置１に送信する位置送信手段と、を有し、無人飛行装置１は、管理装置３００から位置情報を受信すると、位置情報に示される位置に向かって飛行するための飛行手段と、外部を撮影して撮影画像を取得する撮影手段と、ニューラルネットワークで構成される人工知能によって、撮影画像において、監視対象を認識する第二認識手段と、監視対象を認識した場合に、前記監視対象を継続的に撮影するロックオン手段と、を有する。

Description

監視システム、管理装置、監視方法、管理装置の制御プログラム
　本発明は、監視システム、管理装置、監視方法、管理装置の制御プログラムに関する。
　従来、小型無人飛行装置（「ドローン」とも呼ばれる）の利用が提案されている。このようなドローンを利用して、映像情報を取得する技術が提案されている（例えば、特許文献１）。
特開２００６－２７３３１号公報
　ところで、ドローンが、侵入が禁止されている領域に侵入して撮影等を行う場合がある。これに対して、人間が目視によって侵入したドローン（以下、「侵入ドローン」という。）を発見すると、侵入ドローンを操作するための操縦電波を他の電波によって妨害し（「ジャミング」と呼ばれる）、操縦不能にする技術や、侵入ドローンを強制的に着陸させる技術が実施されている。しかし、侵入ドローンを目視によって発見できない場合がある。
　本発明はかかる問題の解決を試みたものであり、侵入ドローンを目視によって発見できない場合であっても、侵入ドローンを発見し、監視を継続することができる監視システム、管理装置、監視方法、管理装置の制御プログラムの提供を目的とする。
　第一の発明は、乖離して配置され、共通の領域を撮影可能な複数のカメラと、前記カメラが撮影して取得した画像を受信する管理装置と、前記管理装置と通信可能な無人飛行装置と、を有する監視システムであって、前記管理装置は、ニューラルネットワークで構成される人工知能によって、前記カメラから受信した前記画像において、監視対象を認識する第一認識手段と、各前記カメラの位置と、各前記カメラの位置を基準とする前記監視対象の方向とに基づいて、前記監視対象の位置を算出する位置算出手段と、前記監視対象の位置を示す位置情報を前記無人飛行装置に送信する位置送信手段と、を有し、前記無人飛行装置は、前記管理装置から前記位置情報を受信すると、前記位置情報に示される前記位置に向かって飛行するための飛行手段と、外部を撮影して撮影画像を取得する撮影手段と、ニューラルネットワークで構成される人工知能によって、前記撮影画像において、前記監視対象を認識する第二認識手段と、前記監視対象を認識した場合に、前記監視対象を継続的に撮影するロックオン手段と、を有する監視システムである。
　第一の発明の構成によれば、管理装置は、第一認識手段を有するから、カメラが取得した画像中のオブジェクトについて、人間の判断を必要とすることなく監視対象か否かを判断することができる。そして、管理装置は、位置算出手段によって、三角測量の原理によって、監視対象の位置を算出することができる。無人飛行装置は、管理装置から位置情報を受信すると監視対象の位置に向かって飛行し、第二認識手段によって、撮影画像中の監視対象を認識し、ロックオン手段によって、継続的に監視対象を撮影することができる。これにより、侵入ドローンを目視によって発見できない場合であっても、侵入ドローンを発見し、監視を継続することができる。
　第二の発明は、第一の発明の構成において、前記カメラは、光軸の方向を変化させて撮影することができるように構成されており、前記管理装置は、前記第一認識手段によって前記監視対象を認識した場合に、少なくとも２台の前記カメラの前記光軸の方向を継続的に前記監視対象の方向に向けるように前記カメラを制御する追尾手段を有し、前記位置算出手段によって、継続的に前記監視対象の位置を算出し、前記位置送信手段によって、前記無人飛行装置に所定の時間間隔において前記位置情報を送信するように構成されている、監視システムである。
　第二の発明の構成によれば、管理装置は、追尾手段を有するから、カメラを制御して、カメラの光軸を継続的に監視対象の方向に向けることができる。そして、管理装置は、継続的に監視対象の位置を算出し、その位置を示す位置情報を無人飛行装置に送信することができる。これにより、監視対象の位置が変わっても、無人飛行装置は変更後の位置に向かって飛行することができる。
　第三の発明は、第一の発明または第二の発明の構成において、前記管理装置は、乖離した時刻において前記位置算出手段によって算出した前記監視対象の複数の前記位置に基づいて、所定時間後の前記監視対象の位置である第一予測位置を算出する第一予測手段を有し、前記位置送信手段は、前記第一予測位置を示す前記位置情報を送信するように構成されている、監視システムである。
　監視対象が移動している場合には、監視対象の過去の位置、あるいは、現在の位置は、未来の位置とは大きく乖離している可能性がある。これに対して、第三の発明の構成によれば、管理装置は、第一予測位置を算出することができるから、無人飛行装置は、監視対象の所定時間後の位置である第一予測位置に向かって飛行することができる。
　第四の発明は、第一の発明乃至第三の発明のいずれかの構成において、前記無人飛行装置は、前記撮影画像における前記監視対象の移動態様と、前記無人飛行装置の位置に基づいて、所定時間後の前記監視対象の位置である第二予測位置を算出する第二予測手段を有し、前記飛行手段は、前記第二予測位置に向かって前記無人飛行装置を飛行させるように構成されている、監視システムである。
　第四の発明の構成によれば、無人飛行装置は、監視対象が飛行している現場において、監視対象の所定時間後の位置である第二予測位置に向かって飛行することができる。
　第五の発明は、第一の発明乃至第四の発明のいずれかの構成において、前記管理装置は、前記無人飛行装置から現在位置を受信する現在位置受信手段を有し、前記位置送信手段は、前記監視対象の位置と前記現在位置との間の距離が短くなるほど、前記位置情報の送信時間の間隔を短くするように構成されている、監視システムである。
　監視対象と無人飛行装置の距離が相対的に長い場合には、監視対象の位置がわずかに変化しても、無人飛行装置が飛行する方向への影響は小さく、また、監視対象の位置のわずかな変化によって、飛行する方向を調整することは非効率である。この点、第五の発明の構成によれば、監視対象の位置と現在位置との間の距離が短くなるほど、位置情報の送信時間の間隔を短くするように構成されており、無人飛行装置は、監視対象との距離が相対的に長い場合には、相対的に長い時間間隔で位置情報を受信し、その距離が相対的に短い場合には、相対的に短い時間間隔で位置情報を受信することができるから、効率的に監視対象に向かうことができる。
　第六の発明は、第一の発明乃至第五の発明のいずれかの構成において、前記無人飛行装置は、前記監視対象を認識した場合に、前記監視対象に接近する接近手段を有し、前記監視対象に対して、前記監視対象の制御装置の正常な作動を妨げるための電磁波を照射する電磁波照射手段、を有する監視システムである。
　第六の発明の構成によれば、無人飛行装置は、監視対象に接近し、制御装置の正常な作動を妨げるための電磁波を照射することができる。
　第七の発明は、第六の発明の構成において、前記第一認識手段及び／または前記第二認識手段は、前記画像及び／または前記撮影画像に含まれる監視対象の機種を判断するように構成されており、前記無人飛行装置は、前記監視対象の機種ごとに前記制御装置の正常な作動を妨げるのに効果的な周波数である脆弱周波数を示す脆弱周波数情報を有しており、前記電磁波照射手段は、前記脆弱周波数情報に基づいて、前記監視対象に対して前記脆弱周波数における前記電磁波を照射するように構成されている、監視システムである。
　第七の発明の構成によれば、電磁波照射手段は、監視対象に対して脆弱周波数における電磁波を照射するように構成されているから、相対的に電界強度が弱い電磁波を照射することによって、監視対象の制御装置の正常な作動を妨げることができる。
　第八の発明は、第六の発明の構成において、前記第一認識手段及び／または前記第二認識手段は、前記画像及び／または前記撮影画像に含まれる監視対象の機種を判断するように構成されており、前記無人飛行装置は、前記監視対象の機種ごとに前記制御装置に含まれる高度センサーの出力を実際の高度よりも高くなるように変更する周波数である特有周波数を示す特有周波数情報を有しており、前記電磁波照射手段は、前記特有周波数情報に基づいて、前記監視対象に対して前記特有周波数における前記電磁波を照射するように構成されている、監視システムである。
　第八の発明の構成によれば、特有周波数における電磁波の照射を受けた監視対象は、実際の高度よりも高い高度を認識し、高度を下げる。これにより、監視対象を着陸に導くことができる。
　第九の発明は、第六の発明の構成において、前記無人飛行装置の前記電磁波照射手段は、前記監視対象の周囲の空間に向けて前記電磁波を照射するように構成されており、前記無人飛行装置は、前記監視対象の実際の飛行方向に応じて前記電磁波の照射方向を変更する監視対象制御手段を有する、監視システムである。
　第九の発明の構成によれば、監視対象の実際の飛行方向に応じて電磁波の照射方向を変更することにより、電磁波によって発生する磁界の方向を変更し、監視対象が進行方向の判断基準として依拠する電子コンパスにその磁界を作用させ、監視対象の進行方向を制御することができる。
　第十の発明は、乖離して配置され、共通の領域を撮影する複数のカメラが撮影した画像を受信する受信手段を有する管理装置であって、ニューラルネットワークで構成される人工知能によって、前記カメラから受信した前記画像において、監視対象を認識する第一認識手段と、各前記カメラの位置と、各前記カメラの位置を基準とする前記監視対象の方向とに基づいて、前記監視対象の位置を算出する位置算出手段と、前記管理装置から監視対象の位置を示す位置情報を受信すると、前記位置情報に示される位置に向かって飛行するための飛行手段と、外部を撮影して撮影画像を取得する画像取得手段と、ニューラルネットワークで構成される人工知能によって、前記撮影画像において、前記監視対象を認識する認識手段と、前記監視対象を認識した場合に、前記監視対象を継続的に撮影するロックオン手段と、を有する無人飛行装置に対して、前記位置情報を送信する位置送信手段と、を有する管理装置である。
　第十一の発明は、乖離して配置され、共通の領域を撮影する複数のカメラが撮影した画像を受信する受信手段を有する管理装置が、ニューラルネットワークで構成される人工知能によって、前記カメラから受信した前記画像において、監視対象を認識する第一認識ステップと、各前記カメラの位置と、各前記カメラの位置を基準とする前記監視対象の方向とに基づいて、前記監視対象の位置を算出する位置算出ステップと、前記管理装置から監視対象の位置を示す位置情報を受信すると、前記位置情報に示される位置に向かって飛行するための飛行手段と、外部を撮影して撮影画像を取得する画像取得手段と、ニューラルネットワークで構成される人工知能によって、前記撮影画像において、前記監視対象を認識する認識手段と、前記監視対象を認識した場合に、前記監視対象を継続的に撮影するロックオン手段と、を有する無人飛行装置に対して、前記位置情報を送信する位置送信ステップと、を実施する監視方法である。
　第十二の発明は、乖離して配置され、共通の領域を撮影する複数のカメラが撮影した画像を受信する受信手段を有する管理装置を制御するコンピュータを、ニューラルネットワークで構成される人工知能によって、前記カメラから受信した前記画像において、監視対象を認識する第一認識手段、各前記カメラの位置と、各前記カメラの位置を基準とする前記監視対象の方向とに基づいて、前記監視対象の位置を算出する位置算出手段、前記管理装置から監視対象の位置を示す位置情報を受信すると、前記位置情報に示される位置に向かって飛行するための飛行手段と、外部を撮影して撮影画像を取得する画像取得手段と、ニューラルネットワークで構成される人工知能によって、前記撮影画像において、前記監視対象を認識する認識手段と、前記監視対象を認識した場合に、前記監視対象を継続的に撮影するロックオン手段と、を有する無人飛行装置に対して、前記位置情報を送信する位置送信手段、として機能させるためのコンピュータプログラムである。
　以上のように、本発明によれば、侵入ドローンを目視によって発見できない場合であっても、侵入ドローンを発見し、監視を継続することができる。
本発明の第一の実施形態の概要を示す図である。 本発明の第一の実施形態の概要を示す図である。 本発明の第一の実施形態の概要を示す図である。 本発明の第一の実施形態の概要を示す図である。 本発明の第一の実施形態の概要を示す図である。 管理装置の機能ブロックを示す概略図である。 ニューラルネットワークを説明するための概念図である。 機械学習の工程の一例を示す概略フローチャートである。 ２台のカメラからの画像によって監視対象の位置を算出する方法を説明するための概念図である。 位置情報送信の時間間隔の一例を示す図である。 無人飛行装置の構成を示す概略図である。 無人飛行装置の構成を示す概略図である。 無人飛行装置の機能ブロックを示す概略図である。 監視対象のドローンにおける信号または電力が流れる主な構成の一例を示す図である。 監視システムの処理を示す概略フローチャートである。 監視システムの処理を示す概略フローチャートである。 本発明の第二の実施形態の概要を示す図である。 本発明の第二の実施形態の概要を示す図である。 本発明の第三の実施形態の脆弱周波数情報を示す概略図である。 監視システムの処理を示す概略フローチャートである。 本発明の第四の実施形態の特有周波数情報を示す概略図である。 監視システムの処理を示す概略フローチャートである。 本発明の第五の実施形態の概要を示す図である。 監視システムの処理を示す概略フローチャートである。
＜第一の実施形態＞
　以下、本発明を実施するための形態（以下、実施形態）について詳細に説明する。以下の説明においては、同様の構成には同じ符号を付し、その説明を省略又は簡略する。なお、当業者が適宜実施できる構成については説明を省略し、本発明の基本的な構成についてのみ説明する。
　図１乃至図５を参照して、監視システム１００の概要を説明する。監視システム１００は、複数のカメラ、管理装置及び無人飛行体（以下、「無人機」という。）で構成される。具体的には、監視システム１００は、カメラ１５０Ａ及び１５０Ｂ、管理装置３００及び無人機１から構成される。監視システム１００は、建物１２０Ａ～１２０Ｃが存在する領域Ａ１の上空に侵入する不審物を監視するための監視システムである。このような不審物が監視対象である。本実施形態において、監視対象は、領域Ａ１に侵入が許されていない無人飛行体２０１（以下、「侵入ドローン２０１」という。）である。
　カメラ１５０Ａ等は、複数であればよく、２台に限定されない。また、無人機１は、１台以上であればよく、１台に限定されない。さらに、管理装置３００は、１装置以上であればよく、１装置に限定されない。
　カメラ１５０Ａと１５０Ｂは、互いに乖離して配置されている。カメラ１５０Ａと１５０Ｂは、水平方向において少なくとも５メートル（ｍｅｔｅｒ）以上離れた位置に配置されている。カメラ１５０Ａは建物１２０Ａの屋上に配置され、カメラ１５０Ｂは建物１２０Ｃの屋上に配置されている。そして、カメラ１５０Ａと１５０Ｂは、それぞれ、領域Ａ１の上空の全体を撮影可能に構成されている。また、カメラ１５０Ａ及び１５０Ｂは、それぞれの光軸ＬＡ１及びＬＢ１の方向の制御によって、共通の領域を撮影可能に構成されている。カメラ１５０Ａ及び１５０Ｂは、領域Ａ１内に侵入ドローン２０１が侵入すると、双方のカメラ１５０Ａ等によって、同時に侵入ドローン２０１を撮影するように構成されている。後述のように、カメラ１５０Ａ等によって同時に撮影された侵入ドローン２０１の画像が、侵入ドローン２０１の位置の算出の基礎となる。
　管理装置３００は、コンピュータを構成要素とし、カメラ１５０Ａ及び１５０Ｂと通信可能であり、カメラ１５０Ａ等が撮影して取得した画像を受信する。また、管理装置３００は、カメラ１５０Ａ等の位置を記憶しており、カメラ１５０Ａ等の光軸の方向を示す情報を受信する。管理装置３００は、カメラ１５０Ａ等の光軸の方向などの作動を制御する。
　管理装置３００は、無人機１と通信可能であり、無人機１に侵入ドローン２０１の位置を示す位置情報を送信する。また、管理装置３００は、無人機１から無人機１の現在位置を示す現在位置情報を受信する。
　無人機１は、プロペラの回転によって推力を得て、所定の経路を自律飛行する無人飛行体であり、無人飛行装置の一例である。無人機１は、管理装置３００の位置に待機しており、管理装置３００から侵入ドローン２０１の位置を示す位置情報を受信すると、位置情報に示される位置に向かって飛行し、侵入ドローン２０１に接近し、電磁波を照射して制御を妨げるように構成されている。なお、制御の妨げ方は、電磁波の照射に限定されず、例えば、侵入ドローン２０１に網をからめて飛行不能にするなどでもよい。
　図１に示すように、カメラ１５０Ａ及び１５０Ｂは、それぞれ、光軸ＬＡ１及びＬＢ１を有し、所定の撮影範囲として、撮影範囲ＳＡ１及びＳＢ１が規定されている。カメラ１５０Ａ等は、相対的に高倍率で、画角（視野角）は狭く設定されている。例えば、カメラ１５０Ａ等は望遠レンズを使用しており、画角（視野角）は１０度乃至１５度である。これは、カメラ１５０Ａ及び１５０Ｂが外部を撮影する目的が、侵入ドローン２０１の発見のみならず、侵入ドローン２０１の位置を算出するための基礎となる画像を取得することだからである。相対的に画角が狭いことによって、画像中の侵入ドローン２０１の方向を精度よく判断することができる。すなわち、カメラ１５０Ａ等の光軸ＬＡ１等の方向と、撮影した画像中における侵入ドローン２０１の位置、すなわち、侵入ドローン２０１が投影されている画素の位置によって、カメラ１５０Ａ等の光軸ＬＡ１等と侵入ドローン２０１の方向の乖離を算出し、カメラ１５０Ａ等を基準とする侵入ドローン２０１の方向を算出できるのであるが、光軸ＬＡ１等と侵入ドローン２０１の方向の乖離が小さいほど、精度よく、画像中の侵入ドローン２０１の方向を判断することができる。
　カメラ１５０Ａ等は、光軸ＬＡ１等を下方以外の全方向に制御可能であり、例えば、矢印ｘ１方向に示す水平方向の方位角及び矢印ｙ１に示す仰俯角を連続的に変更しつつ、領域Ａ１の上空を監視するように構成されている。ただし、管理装置３００が画像中に侵入ドローンが認識した場合には、管理装置３００からの制御によって、カメラ１５０Ａ等の光軸は侵入ドローン２０１の方向に固定される（ロックオンされる）。カメラ１５０Ａ等は、撮影して取得した画像を管理装置３００に送信する。
　図２に示すように、侵入ドローン２０１が領域Ａ１の上空へ侵入し、例えば、カメラ１５０Ｂによって撮影されると、カメラ１５０Ｂから画像を受信した管理装置３００は画像中の侵入ドローン２０１を認識する。そして、図３に示すように、管理装置３００は、カメラ１５０Ｂの光軸ＬＢ１を侵入ドローン２０１の方向に固定し、また、他のカメラ１５０Ａの光軸ＬＡ１を制御して、カメラ１５０Ａでも侵入ドローン２０１を撮影するようにする。これにより、カメラ１５０Ａ及び１５０Ｂの双方で侵入ドローン２０１を撮影することになる。
　管理装置３００は、カメラ１５０Ａ及び１５０Ｂを結ぶ線分と、カメラ１５０Ａの位置を基準とする侵入ドローン２０１の方向、及び、カメラ１５０Ｂの位置を基準とする侵入ドローン２０１の方向に基づいて、侵入ドローン２０１の位置Ｐｓを算出する。
　管理装置３００は、算出した位置を示す位置情報を無人機１へ無線送信する。図４に示すように、位置情報を受信した無人機１は、侵入ドローン２０１の位置Ｐｓへ向かって飛行する。無人機１には、カメラが配置されており、カメラで撮影して取得した撮影画像中に侵入ドローン２０１を認識すると、図５に示すように、侵入ドローン２０１に接近し、電磁波Ｅを照射するように構成されている。電磁波Ｅによって、侵入ドローン２０１の制御装置の正常な作動を妨げる。
　以下、管理装置３００の構成を説明する。図６に示すように、管理装置３００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３０２、記憶部３０４、無線通信部３０６、及び、電源部３０８を有する。
　管理装置３００は、無線通信部３０６によって、外部と通信可能になっている。管理装置３００は、無線通信部３０６によって、カメラ１５０Ａ等及び無人機１と通信する。
　記憶部３０４には、コンピュータを作動させるための各種データ及びプログラム等が格納されている。記憶部３０４には、また、カメラ１５０Ａ及び１５０Ｂが配置されている位置が記憶されている。記憶部３０４には、さらに、カメラ１５０Ａ及び１５０Ｂの光軸ＬＡ１及びＬＢ１の方向が記憶されている。詳細には、管理装置３００は、カメラ１５０Ａ等から変化する光軸ＬＡ等の方向を示す情報を継続的に受信し、記憶部３０４に格納している。
　記憶部３０４には、また、学習プログラム、第一認識プログラム、追尾プログラム、位置算出プログラム、位置送信プログラム、及び、現在位置受信プログラムが格納されている。ＣＰＵ３０２と学習プログラムは、学習手段の一例である。ＣＰＵ３０２と第一認識プログラムは、第一認識手段の一例である。ＣＰＵ３０２と追尾プログラムは、追尾手段の一例である。ＣＰＵ３０２と位置算出プログラムは、位置算出手段の一例である。ＣＰＵ３０２と位置送信プログラムは、位置送信手段の一例である。ＣＰＵ３０２と現在位置受信プログラムは、現在位置受信手段の一例である。
　管理装置３００は、学習プログラムによって、ドローンを撮影した多数の画像を学習する。そして、画像中のオブジェクトがドローンであることを認識するためのニューラルネットワークを生成し、記憶部３０４に記憶する。
　図７及び図８を参照して、学習方法（機械学習の工程）の概略を説明する。学習用データとして多数の画像データ（Ｉｍａｇｅ　ｄａｔａ）をコンピュータのニューラルネットワークのモデル（図７参照）に入力すると（図８のステップＳ１）、ニューラルネットワークのアルゴリズムによって学習が実施される（ステップＳ２）。学習用データは、様々な種類の様々な態様のドローンが映ったデータであり、同一のドローンを近接した距離（例えば、３メートル（ｍ）の距離）から視た画像、遠く離れた距離（例えば、２００メートル（ｍ）の距離）など、様々な距離から視た画像、及び、ドローンの部品や一部の画像を含む。
　ニューラルネットワークのモデルは、例えば、図７に概念的に示すニューラルネットワークである。なお、ニューラルネットワークやディープラーニングは周知なので、本明細書においては概説に留める。ニューラルネットワークは、入力層（Ｉｎｐｕｔ　Ｌａｙｅｒ）、１階層以上の隠れ層（Ｈｉｄｄｅｎ　ｌａｙｅｒ）、及び、出力層（Ｏｕｔｐｕｔ　ｌａｙｅｒ）で構成される。図７には、隠れ層は１階層のみ示しているが、実際には、隠れ層は複数階層である。すなわち、本実施形態の学習は、多層のニューラルネットワーク（ディープニューラルネットワーク、Ｄｅｅｐ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）による機械学習（ディープラーニング）である。
　ニューラルネットワークにおいて、隠れ層及び出力層に入力する入力値には、例えば、重みｗ１a等の重みが設定されている。また、隠れ層及び出力層において、バイアス（閾値）Ｂ１等が設定されている。機械学習において、隠れ層及び出力層に入力する入力値の重みｗ１ａ等と、隠れ層及び出力層におけるバイアス（閾値）Ｂ１等を調整することによって、出力層からの出力が正解に近づくようにしていく。学習の結果、学習結果データとして、重みとバイアスが調整されたニューラルネットワークが生成される（図８のステップＳ３）。この学習によって、画像中のオブジェクトがドローンである場合には、ドローンであることを精度よく認識するためのニューラルネットワークが生成される。このニューラルネットワークによって、画像中のオブジェクトがドローンの全体ではなく、ドローンの一部（例えば、ドローンのプロペラや通信用のアンテナ）であっても、ドローンであると認識することができる。
　管理装置３００は、第一認識プログラムによって、カメラ１５０Ａ等から受信した画像において、侵入ドローン２０１を認識する。侵入ドローン２０１の認識は、上述のニューラルネットワークによって実施する。
　管理装置３００は、第一認識プログラムによって、いずれかのカメラ１５０Ａ等から受信した画像において、侵入ドローン２０１を認識すると、追尾プログラムによって、複数のカメラ１５０Ａ等によって、侵入ドローン２０１を撮影するように構成されている。
　本明細書において、最初に侵入ドローン２０１を撮影したカメラ１５０Ａ等を「第一カメラ」と呼ぶ。図２に示すように、カメラ１５０Ｂが最初に侵入ドローン２０１を撮影した場合には、管理装置３００は、第一認識プログラムによって、最初にカメラ１５０Ｂから受信した画像において、侵入ドローン２０１を認識する。この場合、カメラ１５０Ｂが第一カメラである。管理装置３００は、第一カメラであるカメラ１５０Ｂの光軸ＬＢ１の方向を侵入ドローン２０１の方向へ継続的に一致させる（以下、この制御を「ロックオン」という。）。
　具体的には、管理装置３００は、カメラ１５０Ｂから受信した画像において、侵入ドローン２０１が画像の中心位置の画素から乖離すると、その乖離を相殺し、侵入ドローン２０１が撮影画像の中心位置に戻るようにカメラ１５０Ｂの光軸ＬＢ１の方向を制御する。
　また、管理装置３００は、追尾プログラムによって、第一カメラ以外のカメラであるカメラ１５０Ａの光軸ＬＡ１の方向を侵入ドローン２０１の方向へ継続的に一致させる制御を実施する。管理装置３００は、カメラ１５０Ｂの光軸ＬＢ１の方向を示す情報を受信している。侵入ドローン２０１は、カメラ１５０Ｂの撮影範囲ＳＢ１（図１参照）内に位置する。管理装置３００は、カメラ１５０Ａの撮影範囲ＳＡ１（図１参照）を撮影範囲ＳＢ１と重複させた状態において、カメラ１５０Ａの光軸ＬＡ１を変化させる（以下、「重複走査」という。）。管理装置３００は、カメラ１５０Ａが撮影した画像中に侵入ドローン２０１を認識すると、カメラ１５０Ａについて、上述のロックオンを実施する。
　なお、本実施形態のように、管理装置３００がカメラ１５０Ａ及び１５０Ｂの光軸ＬＡ１及びＬＢ１を直接的に制御してもよいし、本実施形態とは異なり、管理装置３００はロックオンを開始する指示をカメラ１５０Ａ及びカメラ１５０Ｂに送信し、カメラ１５０Ａ及びカメラ１５０Ｂがその記憶装置に記憶されたプログラムによって、それぞれ、光軸ＬＡ１及び光軸ＬＢ１を制御してロックオンを実施するように構成してもよい。また、管理装置３００は、第一カメラ以外のカメラに重複走査の指示を送信し、第一カメラ以外のカメラがその記憶装置に記憶されたプログラムによって、重複走査を実施するように構成してもよい。
　カメラ１５０Ａとカメラ１５０Ｂによって、ロックオンが実施されると、双方のカメラ１５０Ａ等が撮影した画像に継続的に侵入ドローン２０１が投影される状態が達成される。
　管理装置３００は、位置算出プログラムによって、カメラ１５０Ａ及び１５０Ｂの位置と、各カメラ１５０Ａ及び１５０Ｂの位置を基準とする侵入ドローン２０１の方向に基づいて、侵入ドローン２０１の位置を算出する。
　図９を参照して、侵入ドローン２０１の位置の算出方法を概説する。カメラ１５０Ａ及び１５０Ｂは、それぞれ、基部１５０ａ及びカメラ本体部１５０ｂで構成される。カメラ本体部１５０ｂは、基部１５０ａに対して、下方以外の全方向に回転可能に構成されている。
　上述のように、カメラ１５０Ａ及び１５０Ｂは、それぞれ、建物１２０Ａ及び１２０Ｃの屋上に固定されている。管理装置３００は、カメラ１５０Ａ及び１５０Ｂの位置を記憶部３０４に記憶している。したがって、管理装置３００はカメラ１５０Ａとカメラ１５０Ｂとの間の距離Ｌ１も記憶しているか、あるいは、算出可能である。距離Ｌ１は、三角測量のベースラインとなるから、「ベースラインＬ１」とも呼ぶ。侵入ドローン２０１の位置を位置Ｐｓとし、カメラ１５０Ａの光軸ＬＡ１がカメラ１５０Ａと位置Ｐｓとを結ぶ線分の方向と一致しており、カメラ１５０Ｂの光軸ＬＢ１がカメラ１５０Ｂと位置Ｐｓとを結ぶ線分の方向と一致しているものとする。ベースラインＬ１の両端の位置、カメラ１５０Ａの位置を基準とするベースラインＬ１に対する光軸ＬＡ１の角度θ１、及び、カメラ１５０Ｂの位置を基準とするベースラインＬ１に対する光軸ＬＢ１の角度θ２によって、三角測量の原理によって、位置Ｐｓの座標を算出することができる。三角測量の原理は周知であるから、その詳細な説明は省略する。管理装置３００は、継続的に位置Ｐｓを算出している。
　管理装置３００は、位置送信プログラムによって、侵入ドローン２０１の位置Ｐｓを示す位置情報を無人機１へ送信する。管理装置３００は、所定の時間間隔において、位置情報を無人機１へ送信する。これにより、無人機１は、飛行中において、侵入ドローン２０１の位置が変化しても、変化後の位置を示す位置情報を受信することができる。位置情報を受信した無人機１は、その位置情報に示される位置に向かって飛行し、無人機１自体の現在位置の測位を行う。
　管理装置３００は、現在位置受信プログラムによって、無人機１から無人機１の現在位置を示す現在位置情報を受信する。
　管理装置３００は、無人機１から現在位置情報を受信すると、管理装置３００は、位置送信プログラムによって、侵入ドローン２０１の位置Ｐｓと無人機１の現在位置との間の距離を算出する。侵入ドローン２０１の位置Ｐｓを示す位置情報の送信のための時間間隔は、例えば、図１０に示すように、距離Ｄが１０００メートル（ｍｅｔｅｒ）以上のときには３０秒（ｓｅｃｏｎｄ）ごと、距離Ｄが７００メートル以上１０００メートル未満のときには２０秒ごと、というように、位置Ｐｓと無人機１の現在位置との間の距離Ｄが短くなるほど、位置Ｐｓを示す位置情報の送信時間の間隔を短くするように構成されている。これにより、無人機１は、侵入ドローン２０１との距離が相対的に長い場合には、侵入ドローン２０１の微細な方向転換に惑わされずに、侵入ドローン２０１に向かうことができ、侵入ドローン２０１との距離が相対的に短い場合には、侵入ドローン２０１の実際の動きに応じて確実に侵入ドローン２０１に向かうことができる。
　以下、無人機１の構成を説明する。図１１に示すように、無人機１は、筐体２を有する。筐体２には、コンピュータで構成される自律飛行装置、無線通信装置、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）などの航法衛星システムからの測位用電波を利用する測位装置、及び、バッテリーが配置されている。自律飛行装置は、慣性センサー、電子コンパス、気圧センサーを含む。また、筐体２には、固定装置１２を介して、カメラ１４が配置されている。
　無人機１は、カメラ１４によって、外部の画像を取得する。カメラ１４は、可視光カメラであるが、これに限定されず、マルチスペクトルカメラであってもよいし、夜間の撮影が可能な赤外線カメラであってもよい。固定装置１２は、カメラ１４による撮影画像のぶれを最小化し、かつ、カメラ１４の光軸を任意の方向に制御することができる３軸の固定装置（いわゆる、ジンバル）である。
　筐体２には、丸棒状のアーム４が接続されている。各アーム４にはモーター６が接続されており、各モーター６にはプロペラ８が接続されている。各モーター６は、直流モーター（ブラシレスＤＣモーター）である。各モーター６は、モータードライバー（図示せず）によって回転速度が制御される。モータードライバーは、自律飛行装置によってそれぞれ独立して制御される。各モーター６がそれぞれ独立して制御され、無人機１を上下水平方向の移動や空中での停止（ホバリング）及び姿勢制御を自在に行うことができるようになっている。
　図１２は、図１１の無人機１の筐体２、固定装置１２、カメラ１４及び電磁波照射装置１６を矢印Ｘ１方向から視た概略側面図である。図１１及び図１２に示すように、筐体２の上面部には、電磁波照射装置１６が配置されている。電磁波照射装置１６は、電磁波を外部に送信する送信アンテナである。電磁波照射装置１６は、指向性の高いアンテナであり、例えば、パラボラアンテナである。電磁波照射装置１６は、アンテナ本体１６ａと内面が放物曲面の放物面反射器１６ｂで構成される。
　アーム４には保護枠１０が接続され、プロペラ８が外部の物体に直接接触することを防止している。アーム４及び保護枠１０は、例えば、炭素繊維強化プラスチックで形成されており、強度を保ちつつ、軽量に構成されている。
　図１３は、無人機１の機能構成を示す図である。無人機１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）５０、記憶部５２、無線通信部５４、衛星測位部５６、慣性センサー部５８、画像処理部６０、駆動制御部６２、電磁波照射部６４、及び、電源部６６を有する。
　無人機１は、無線通信部５４によって、管理装置３００と通信可能になっている。無人機１は、無線通信部５４によって、管理装置３００から、侵入ドローン２０１の位置を示す位置情報を受信する。また、管理装置３００に無人機１の現在位置情報を送信する。
　無人機１は、衛星測位部５６と慣性センサー部５８によって、無人機１自体の位置を測定することができる。衛星測位部５６は、基本的に、４つ以上の航法衛星からの測位用電波を受信して無人機１の位置を計測する。衛星測位部５６は、現在位置を測位する測位手段の一例である。慣性センサー部５８は、例えば、直近に測位した無人機１の位置を基準として、加速度センサー及びジャイロセンサーからの出力に基づいて無人機１の移動を積算して、無人機１の位置を計測する。無人機１自体の位置情報は、無人機１の移動経路の決定及び自律移動等のために使用する。
　駆動制御部６２によって、無人機１は各モーター６（図１１参照）に接続されたプロペラ８（図１１参照）の回転を制御し、上下水平移動や空中停止、傾きなどの姿勢を制御するようになっている。
　画像処理部６０によって、無人機１はカメラ１４（図１１参照）を作動させて外部の画像を取得し、取得した撮影データを処理する。
　電磁波照射部６４は、電磁波照射装置１６を制御し、外部に電磁波を照射する。
　電源部６６は、例えば、交換可能な可充電電池であり、無人機１の各部に電力を供給するようになっている。
　記憶部５２には、出発点から目的位置まで自律移動するための移動計画を示すデータ等の自律移動に必要な各種データ及びプログラムのほか、以下のデータ及びプログラムが格納されている。
　記憶部５２には、飛行プログラム、撮影プログラム、第二認識プログラム、ロックオンプログラム、接近プログラム、及び、電磁波照射プログラムが格納されている。ＣＰＵ５０と飛行プログラムは、飛行手段の一例である。ＣＰＵ５０と撮影プログラムは、撮影手段の一例である。ＣＰＵ５０と第二認識プログラムは、第二認識手段の一例である。ＣＰＵ５０とロックオンプログラムは、ロックオン手段の一例である。ＣＰＵ５０と接近プログラムは、接近手段の一例である。ＣＰＵ５０と電磁波照射プログラムは、電磁波照射手段の一例である。
　無人機１は、管理装置３００から侵入ドローン２０１の位置Ｐｓを示す位置情報を受信すると、飛行プログラムによって、位置情報に示される位置に向かって飛行する。無人機１は、管理装置３００から受信する位置情報を飛行開始の指示としても処理する。
　無人機１は、飛行を開始すると、撮影プログラムによって、カメラ１４を作動させ、外部を撮影して撮影画像を取得する。
　無人機１は、第二認識プログラムによって、カメラ１４で取得した撮影画像に含まれる侵入ドローン２０１を認識する。第二認識プログラムの構成は、上述の管理装置３００の第一認識プログラムと同様であり、ニューラルネットワークによって構成されている。
　無人機１は、撮影画像に含まれる侵入ドローン２０１を認識すると、ロックオンプログラムによって、カメラ１４の光軸の方向を監視対象の方向と継続的に一致させる。無人機１は、撮影画像中の侵入ドローン２０１の動きに応じてカメラ１４の光軸の方向を調整し、侵入ドローン２０１の方向と光軸の方向を一致させるように構成されている。すなわち、無人機１は、侵入ドローン２０１が撮影画像の中心位置の画素から乖離すると、その乖離を相殺し、侵入ドローン２０１が撮影画像の中心位置に戻るように調整する。
　無人機１は、侵入ドローン２０１にロックオンすると、接近プログラムによって、ドローン２０１に接近する。
　無人機１は、第二認識プロラムによって、画像中に投影される侵入ドローン２０１の態様によって、侵入ドローン２０１までの距離を判断することができる。無人機１は、侵入ドローン２０１が、学習済みの大きさのドローンでない場合や、距離が異なる場合であっても、距離による投影態様の変化の態様（距離が近くなるほど画像中のオブジェクトの形状は大きくなる）に基づいて、距離を判断することができるように構成されている。
　なお、無人機１と侵入ドローン２０１との距離の判断方法として、本実施形態とは異なる方法を採用してもよい。例えば、無人機１は、管理装置３００から所定の時間間隔で侵入ドローン２０１の位置を示す位置情報を受信しており、また、無人機１自体の現在位置を測位しているから、侵入ドローン２０１の位置Ｐｓを示す位置情報と無人機１の現在位置から侵入ドローン２０１と無人機１との間の距離を算出するようにしてもよい。あるいは、管理装置３００は、侵入ドローン２０１と無人機１との間の距離を継続的に算出しているから、管理装置３００から距離情報を受信して利用してもよい。あるいは、無人機１自体による距離の算出と管理装置３００から受信した距離情報を併用するようにしてもよい。
　無人機１は、侵入ドローン２０１に所定距離まで接近すると、電磁波照射プログラムによって、侵入ドローン２０１に向けて電磁波を照射する。所定距離は、例えば、３メートル（ｍｅｔｅｒ）である。無人機１は、電磁波によって、侵入ドローン２０１の制御装置の正常な作動を妨げる。
　図１４を参照して、侵入ドローン２０１において、信号または電力が流れる主な構成を説明する。侵入ドローン２０１は、外部の操縦装置からの操縦電波を受信する受信機２０２、自律飛行装置２０４、モータードライバー２０６、モーター２０８、及び、バッテリー２１０を有する。自律飛行装置２０４はフライトコントローラー（Ｆｌｉｇｈｔ　Ｃｏｎｔｒｏｌｌｅｒ）とも呼ばれ、モータードライバー２０６はＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ　Ｓｐｅｅｄ　Ｃｏｎｔｒｏｌｌｅｒ）とも呼ばれる。なお、図１４に示す構成は、無人機１においても同様である。
　無人機１が照射する電磁波によって正常な作動を妨げられる対象となる制御装置は、自律飛行装置２０４及び／またはモータードライバー２０６である。自律飛行装置２０４やモータードライバー２０６を構成する素子は線路で接続されており、線路に電磁波が作用すると誤作動を生じる場合がある。誤作動を生じさせることができる電磁波の電界強度は、様々な機種のドローンに対して様々な電解強度の電磁波を照射する実験によって、予め知ることができる。周波数は、例えば、１．５ＧＨｚ付近の周波数である。電界強度は、アンテナ本体１６ａの先端部から３メートル（ｍｅｔｅｒ）の距離において、例えば、４００Ｖ／ｍ（ボルト／メートル）である。無人機１は、侵入ドローン２０１に接近して電磁波を照射することによって、電界強度の高い電磁波を照射することができるから、高い確率で侵入ドローン２０１の制御装置に誤作動を生じさせる。その結果、侵入ドローン２０１を墜落に導くことができる。
　以下、図１５及び図１６を参照して、監視システム１００の動作を説明する。管理装置３００は、カメラ１５０Ａ及び１５０Ｂが撮影した画像を取得すると（図１５のステップＳＴ１）、ニューラルネットワークによって画像認識を実施する（ステップＳＴ２）。管理装置３００は、画像中のオブジェクトが侵入ドローン２０１であると判断すると（ステップＳＴ３）、カメラ１５０Ａ及び１５０Ｂの双方で侵入ドローン２０１を撮影し、侵入ドローン２０１の位置を示す座標を算出し（ステップＳＴ５）、その座標を示す位置情報を無人機１に送信する（ステップＳＴ６）。
　無人機１は、管理装置３００から侵入ドローン２０１の位置Ｐｓを示す位置情報を受信すると発進し（図１６のステップＳＴ７）、無人機１の現在位置の測位を行い（ステップＳＴ８）、現在位置を示す現在位置情報を管理装置３００に送信する（ステップＳＴ９）。そして、無人機１は、カメラ１４によって外部を撮影して撮影画像を取得し（ステップＳＴ１０）、撮影画像中のオブジェクトについてニューラルネットワークによる画像認識を行う（ステップＳＴ１１）。無人機１は、撮影画像中のオブジェクトが侵入ドローン２０１であると判断すると（ステップＳＴ１２）、侵入ドローン２０１にロックオンし、侵入ドローン２０１に接近する（ステップＳＴ１３）。無人機１は、侵入ドローン２０１に所定距離まで接近すると、侵入ドローン２０１に向けて電磁波を照射し（ステップＳＴ１４）、管理装置３００からの帰還指示の受信などによって、任務が終了したと判断すると（ステップＳＴ１５）、管理装置３００の位置に帰還する（ステップＳＴ１６）。
＜第二の実施形態＞
　第二の実施形態について、第一の実施形態と異なる部分を中心に、説明する。第二の実施形態において、図１７に示すように、管理装置３００は、乖離した時刻において算出した侵入ドローン２０１の位置に基づいて、侵入ドローン２０１の所定時間後の予測位置Ｐｓｆ１を算出する。管理装置３００は、継続的に予測位置Ｐｓｆ１を算出する。そして、管理装置３００は、無人機１に対して、予測位置Ｐｓｆ１を示す位置情報を無人機１へ送信するように構成されている。また、無人機１も、侵入ドローン２０１の所定時間後の位置を予測し、予測位置に基づいて、侵入ドローン２０１へ接近するように構成されている。
　管理装置３００は、記憶部３０４に第一予測プログラムを格納している。ＣＰＵ３０２と第一予測プログラムは、第一予測手段の一例である。管理装置３００は、カメラ１５０Ａ及びカメラ１５０Ｂで侵入ドローン２０１を撮影すると、所定の時間間隔だけ乖離した時刻において、侵入ドローン２０１の位置Ｐｓ１及び位置Ｐｓ２を算出し、位置Ｐｓ１及び位置Ｐｓ２の延長線上の位置として、所定時間後の予測位置Ｐｓｆ１を算出する。そして、管理装置３００は、位置送信プログラムによって、予測位置Ｐｓｆ１を無人機１へ送信する。例えば、上述の所定の時間間隔は１秒（ｓ）であり、所定時間後は１秒（ｓ）後である。
　無人機１は、記憶部５２に第二予測プログラムを格納している。ＣＰＵ５０と第二予測プログラムは、第二予測手段の一例である。図１８に示すように、無人機１は、カメラ１４によって取得した撮影画像中に侵入ドローン２０１を認識すると、撮影画像の画素中の侵入ドローン２０１の投影態様の変化によって、所定時間後である、例えば、１秒後の侵入ドローン２０１の予測位置Ｐｓｆ２を算出し、飛行プログラムによって、予測位置Ｐｓｆ２に向かって飛行するように構成されている。無人機１は、継続的に予測位置Ｐｓｆ２を算出する。また、無人機１は、ロックオンプログラムによって、所定時間後の予測位置Ｐｓｆ２の方向とカメラ１４の光軸の方向を一致させるように構成されている。
　侵入ドローン２０１の現在の位置は、管理装置３００や無人機１のコンピュータで高速で処理したとしても、実際には、わずかに過去の位置である。これに対して、予測位置Ｐｓｆ１及びＰｓｆ２は、侵入ドローン２０１の動きを合理的に予測して算出した所定時間後の位置であるから、所定時間後の真の現在位置に近い。このため、無人機１は、所定時間後の真の現在位置に近い予測位置Ｐｓｆ１及びＰｓｆ２に基づいて、侵入ドローン２０１に向かって飛行し、接近することができる。この場合、無人機１は、例えば、予測位置Ｐｓｆ１及び予測位置Ｐｓｆ２の平均位置に向かって飛行する、あるいは、予測位置Ｐｓｆ１及び予測位置Ｐｓｆ２のそれぞれに重みづけをしたうえで平均して算出した予測位置に向かって飛行し、侵入ドローン２０１に接近する。
　また、無人機１は、接近プログラムによって、侵入ドローン２０１に接近するときにも、予測位置Ｐｓｆ２を使用する。
＜第三の実施形態＞
　第三の実施形態について、第一の実施形態と異なる部分を中心に、説明する。第三の実施形態において、管理装置３００は、機械学習によって生成したニューラルネットワークによって、侵入ドローン２０１を認識するときに、その機種も認識することができるように構成されている。ニューラルネットワークを生成するための学習用データに、多数の機種のドローンの画像を含め、出力層から出力する正解として、機種を含める。これにより、ドローンの機種を認識可能なニューラルネットワークを生成することができる。
　管理装置３００は、第一認識プログラムによって、カメラ１５０Ａ等の画像中の侵入ドローン２０１を認識し、また、侵入ドローン２０１の機種を認識する。そして、管理装置３００は、侵入ドローン２０１の機種を示す情報を無人機１に送信する。
　なお、本実施形態とは異なり、無人機１が、第二認識プログラムによって、カメラ１４で取得した撮影画像中の侵入ドローン２０１の機種を認識するように構成してもよい。
　図１９に示すように、無人機１は、ドローンの機種Ｄ１等ごとに脆弱周波数Ｗ１等を示す脆弱周波数情報を記憶部５２に記憶している。脆弱周波数Ｗ１等は、ドローンの機種ごとに制御装置の正常な作動を妨げるのに効果的な周波数である。例えば、機種Ｄ１のドローンにとって、脆弱周波数Ｗ１は、正常な作動が妨害され易い周波数であり、弱点とする周波数である。
　脆弱周波数は、ドローンの機種ごとに異なる。ドローンの機種ごとに、様々な周波数の電磁波を照射し、制御装置の作動状態を調べる実験によって、ドローンの機種ごとの脆弱周波数を予め知ることができる。例えば、脆弱周波数Ｗ１は１．４ＧＨｚであり、脆弱周波数Ｗ２は１．５ＧＨｚであり、脆弱周波数Ｗ３は１．６ＧＨｚである。
　無人機１は、侵入ドローン２０１に所定距離まで接近すると、電磁波照射プログラムによって、侵入ドローン２０１の機種に対応する脆弱周波数における電磁波を照射する。このとき照射する電磁波は、脆弱周波数における電磁波であり、侵入ドローン２０１の弱点とする周波数であるから、他の周波数を照射する場合に比べて、電界強度は小さくても侵入ドローン２０１の制御装置の正常な作動を妨げる効果を奏する。脆弱周波数の電磁波の電界強度は、アンテナ本体１６ａの先端部から３メートル（ｍｅｔｅｒ）の距離において、例えば、２００Ｖ／ｍ（ボルト／メートル）である。無人機１は、侵入ドローン２０１に向けて脆弱周波数の電磁波を照射することによって、侵入ドローン２０１を墜落に導くことができる。
　以下、図２０を参照して、無人機１の動作を説明する。無人機１は、管理装置３００から侵入ドローン２０１の位置Ｐｓを示す位置情報を受信すると発進し（図２０のステップＳＴ７）、無人機１の現在位置の測位を行い（ステップＳＴ８）、現在位置を示す現在位置情報を管理装置３００に送信する（ステップＳＴ９）。ステップＳＴ７においては、侵入ドローン２０１の位置情報と共に、機種を示す情報も受信している。無人機１は、カメラ１４によって外部を撮影して撮影画像を取得し（ステップＳＴ１０）、撮影画像中のオブジェクトについてニューラルネットワークによる画像認識を行う（ステップＳＴ１１）。無人機１は、撮影画像中のオブジェクトが侵入ドローン２０１であると判断すると（ステップＳＴ１２）、侵入ドローン２０１にロックオンし、侵入ドローン２０１に接近する（ステップＳＴ１３）。無人機１は、侵入ドローン２０１に所定距離まで接近すると、侵入ドローン２０１に向けて脆弱周波数における電磁波を照射し（ステップＳＴ１４Ａ）、管理装置３００からの帰還指示の受信などによって、任務が終了したと判断すると（ステップＳＴ１５）、管理装置３００の位置に帰還する（ステップＳＴ１６）。
＜第四の実施形態＞
　第四の実施形態について、第三の実施形態と異なる部分を中心に、説明する。第四の実施形態においては、無人機１は、侵入ドローン２０１を墜落させるのではなく、着陸するように導くように構成されている。
　図２１に示すように、無人機１は、ドローンの機種Ｄ１等ごとに特有周波数ＷＥ１等を示す特有周波数情報を記憶部５２に記憶している。特有周波数ＷＥ１等による電磁波は、ドローンの高度センサー（気圧センサー）からの出力が実際の高度よりも高い高度を示すようにするための電磁波である。ドローンの自律飛行装置は、実際の高度よりも高い高度を示す信号に基づいて、高度を下げ、着陸に至る。
　ドローンの機種ごとに、様々な周波数の電磁波を照射し、高度センサーからの出力を調べる実験によって、ドローンの機種ごとの特有周波数を予め知ることができる。
　以下、図２２を参照して、無人機１の動作を説明する。無人機１は、管理装置３００から侵入ドローン２０１の位置Ｐｓを示す位置情報を受信すると発進し（図２２のステップＳＴ７）、無人機１の現在位置の測位を行い（ステップＳＴ８）、現在位置を示す現在位置情報を管理装置３００に送信する（ステップＳＴ９）。ステップＳＴ７においては、侵入ドローン２０１の位置情報と共に、機種を示す情報も受信している。無人機１は、カメラ１４によって外部を撮影して撮影画像を取得し（ステップＳＴ１０）、撮影画像中のオブジェクトについてニューラルネットワークによる画像認識を行う（ステップＳＴ１１）。無人機１は、撮影画像中のオブジェクトが侵入ドローン２０１であると判断すると（ステップＳＴ１２）、侵入ドローン２０１にロックオンし、侵入ドローン２０１に接近する（ステップＳＴ１３）。無人機１は、侵入ドローン２０１に所定距離まで接近すると、侵入ドローン２０１に向けて特有周波数における電磁波を照射し（ステップＳＴ１４Ｂ）、管理装置３００からの帰還指示の受信などによって、任務が終了したと判断すると（ステップＳＴ１５）、管理装置３００の位置に帰還する（ステップＳＴ１６）。
＜第五の実施形態＞
　第五の実施形態について、第一の実施形態と異なる部分を中心に、説明する。第五の実施形態においては、無人機１は、侵入ドローン２０１の周囲の磁界を制御し、電子コンパスに本来の方向とは異なる方向を検知させ、侵入ドローン２０１の進行方向を制御し、さらには、着陸するように導くように構成されている。
　図２３に示すように、無人機１は、侵入ドローン２０１に向けて電磁波Ｅを照射するのではなくて、侵入ドローン２０１の周囲の空間に向けて電磁波Ｅを照射する。電磁波Ｅの進行方向と直交する方向に磁界ＭＧが発生する。無人機１は、磁界ＭＧによって、侵入ドローン２０１の電子コンパスに地磁気の方向として、本来の方向とは異なる方向を検出させる。侵入ドローン２０１は、電子コンパスの出力によって進行方向を判断して飛行しているから、磁界ＭＧによって電子コンパスの出力を制御することによって、侵入ドローン２０１の進行方向を制御することができ、さらに、着陸に導くこともできる。例えば、侵入ドローン２０１の電子コンパスに、磁北として、本来の磁北とは異なる方向を検出させる。侵入ドローン２０１の自律飛行装置２０４が北方に向かって飛行するようにプログラムされている場合において、磁北として東の方向を検出させれば、東に向かって飛行させることができる。
　無人機１の記憶部５２には、監視対象制御プログラムが格納されている。ＣＰＵ５０と監視対象制御プログラムは、監視対象制御手段の一例である。無人機１は、監視対象制御プログラムによって、侵入ドローン２０１に近接する空間に向けて電磁波Ｅを照射し、実際の侵入ドローン２０１の進行方向に応じて、電磁波Ｅを照射する方向を変更する。侵入ドローン２０１の周囲において、電磁波Ｅが通過する方向が変わると、磁界ＭＧの方向も変わり、侵入ドローン２０１の電子コンパスが出力する方向も変わるから、侵入ドローン２０１の進行方向を制御することができる。これにより、例えば、建物１２０Ｂの屋上に侵入ドローンを捕捉するための網などの捕捉装置を配置しておいて、その捕捉装置に、侵入ドローン２０１を導くことができる。
　以下、図２４を参照して、無人機１の動作を説明する。無人機１は、管理装置３００から侵入ドローン２０１の位置Ｐｓを示す位置情報を受信すると発進し（図２４のステップＳＴ７）、無人機１の現在位置の測位を行い（ステップＳＴ８）、現在位置を示す現在位置情報を管理装置３００に送信する（ステップＳＴ９）。そして、無人機１は、カメラ１４によって外部を撮影して撮影画像を取得し（ステップＳＴ１０）、撮影画像中のオブジェクトについてニューラルネットワークによる画像認識を行う（ステップＳＴ１１）。無人機１は、撮影画像中のオブジェクトが侵入ドローン２０１であると判断すると（ステップＳＴ１２）、侵入ドローン２０１にロックオンし、侵入ドローン２０１に接近する（ステップＳＴ１３）。無人機１は、侵入ドローン２０１に所定距離まで接近すると、侵入ドローン２０１の周囲の空間に向けて、電磁波を照射し、侵入ドローン２０１の進行方向を制御し（ステップＳＴ１４Ｃ）、管理装置３００からの帰還指示の受信などによって、任務が終了したと判断すると（ステップＳＴ１５）、管理装置３００の位置に帰還する（ステップＳＴ１６）。
なお、本発明の無人飛行装置、迎撃方法及びプログラムは、上記実施形態に限らず、本発明の要旨を逸脱しない範囲内において種々変更を加えることができる。
１　無人飛行装置（無人機）
１６　電磁波照射装置
５０　ＣＰＵ
５２　記憶部
５４　無線通信部
５６　衛星測位部
５８　慣性センサー部
６０　画像処理部
６２　駆動制御部
６４　電磁波照射部
６６　電源部
１５０Ａ、１５０Ｂ　カメラ
２０１　侵入ドローン
３００　管理装置

 

Claims (12)

  1. 　乖離して配置され、共通の領域を撮影可能な複数のカメラと、
    　前記カメラが撮影して取得した画像を受信する管理装置と、
    　前記管理装置と通信可能な無人飛行装置と、
    を有する監視システムであって、
    　前記管理装置は、
    　ニューラルネットワークで構成される人工知能によって、前記カメラから受信した前記画像において、監視対象を認識する第一認識手段と、
    　各前記カメラの位置と、各前記カメラの位置を基準とする前記監視対象の方向とに基づいて、前記監視対象の位置を算出する位置算出手段と、
    　前記監視対象の位置を示す位置情報を前記無人飛行装置に送信する位置送信手段と、を有し、
    　前記無人飛行装置は、
    　前記管理装置から前記位置情報を受信すると、前記位置情報に示される前記位置に向かって飛行するための飛行手段と、
    　外部を撮影して撮影画像を取得する撮影手段と、
    　ニューラルネットワークで構成される人工知能によって、前記撮影画像において、前記監視対象を認識する第二認識手段と、
    　前記監視対象を認識した場合に、前記監視対象を継続的に撮影するロックオン手段と、
    を有する監視システム。
  2. 　前記カメラは、光軸の方向を変化させて撮影することができるように構成されており、
    　前記管理装置は、
    　前記第一認識手段によって前記監視対象を認識した場合に、少なくとも２台の前記カメラの前記光軸の方向を継続的に前記監視対象の方向に向けるように前記カメラを制御する追尾手段を有し、
    　前記位置算出手段によって、継続的に前記監視対象の位置を算出し、
    　前記位置送信手段によって、前記無人飛行装置に所定の時間間隔において前記位置情報を送信するように構成されている、
    請求項１に記載の監視システム。
  3. 　前記管理装置は、
    　乖離した時刻において前記位置算出手段によって算出した前記監視対象の複数の前記位置に基づいて、所定時間後の前記監視対象の位置である第一予測位置を算出する第一予測手段を有し、
    　前記位置送信手段は、前記第一予測位置を示す前記位置情報を送信するように構成されている、
    請求項１または請求項２に記載の監視システム。
  4. 　前記無人飛行装置は、
    　前記撮影画像における前記監視対象の移動態様と、前記無人飛行装置の位置に基づいて、所定時間後の前記監視対象の位置である第二予測位置を算出する第二予測手段を有し、
    　前記飛行手段は、前記第二予測位置に向かって前記無人飛行装置を飛行させるように構成されている、
    請求項１乃至請求項３のいずれかに記載の監視システム。
  5. 　前記管理装置は、
    　前記無人飛行装置から現在位置を受信する現在位置受信手段を有し、
    　前記監視対象の位置と前記現在位置との間の距離が短くなるほど、前記位置情報の送信時間の間隔を短くするように構成されている、
    請求項１乃至請求項４のいずれかに記載の監視システム。
  6. 　前記無人飛行装置は、
    　前記監視対象を認識した場合に、前記監視対象に接近する接近手段を有し、
    　前記監視対象に対して、前記監視対象の制御装置の正常な作動を妨げるための電磁波を照射する電磁波照射手段、
    を有する請求項１乃至請求項５のいずれかに記載の監視システム。
  7. 　前記第一認識手段及び／または前記第二認識手段は、前記画像及び／または前記撮影画像に含まれる監視対象の機種を判断するように構成されており
    　前記無人飛行装置は、
    　前記監視対象の機種ごとに前記制御装置の正常な作動を妨げるのに効果的な周波数である脆弱周波数を示す脆弱周波数情報を有しており、
    　前記電磁波照射手段は、前記脆弱周波数情報に基づいて、前記監視対象に対して前記脆弱周波数における前記電磁波を照射するように構成されている、
    請求項６に記載の監視システム。
  8. 　前記第一認識手段及び／または前記第二認識手段は、前記画像及び／または前記撮影画像に含まれる監視対象の機種を判断するように構成されており、
    　前記無人飛行装置は、
    　前記監視対象の機種ごとに前記制御装置に含まれる高度センサーの出力を実際の高度よりも高くなるように変更する周波数である特有周波数を示す特有周波数情報を有しており、
    　前記電磁波照射手段は、前記特有周波数情報に基づいて、前記監視対象に対して前記特有周波数における前記電磁波を照射するように構成されている、
    請求項６に記載の監視システム。
  9. 　前記無人飛行装置の前記電磁波照射手段は、前記監視対象の周囲の空間に向けて前記電磁波を照射するように構成されており、
    　前記無人飛行装置は、
    　前記監視対象の実際の飛行方向に応じて前記電磁波の照射方向を変更する監視対象制御手段を有する、
    請求項６に記載の監視システム。
  10. 　乖離して配置され、共通の領域を撮影する複数のカメラが撮影した画像を受信する受信手段を有する管理装置であって、
    　ニューラルネットワークで構成される人工知能によって、前記カメラから受信した前記画像において、監視対象を認識する第一認識手段と、
    　各前記カメラの位置と、各前記カメラの位置を基準とする前記監視対象の方向とに基づいて、前記監視対象の位置を算出する位置算出手段と、
    　前記管理装置から監視対象の位置を示す位置情報を受信すると、前記位置情報に示される位置に向かって飛行するための飛行手段と、外部を撮影して撮影画像を取得する画像取得手段と、ニューラルネットワークで構成される人工知能によって、前記撮影画像において、前記監視対象を認識する認識手段と、前記監視対象を認識した場合に、前記監視対象を継続的に撮影するロックオン手段と、を有する無人飛行装置に対して、前記位置情報を送信する位置送信手段と、
    を有する管理装置。
  11. 　乖離して配置され、共通の領域を撮影する複数のカメラが撮影した画像を受信する受信手段を有する管理装置が、
    　ニューラルネットワークで構成される人工知能によって、前記カメラから受信した前記画像において、監視対象を認識する第一認識ステップと、
    　各前記カメラの位置と、各前記カメラの位置を基準とする前記監視対象の方向とに基づいて、前記監視対象の位置を算出する位置算出ステップと、
    　前記管理装置から監視対象の位置を示す位置情報を受信すると、前記位置情報に示される位置に向かって飛行するための飛行手段と、外部を撮影して撮影画像を取得する画像取得手段と、ニューラルネットワークで構成される人工知能によって、前記撮影画像において、前記監視対象を認識する認識手段と、前記監視対象を認識した場合に、前記監視対象を継続的に撮影するロックオン手段と、を有する無人飛行装置に対して、前記位置情報を送信する位置送信ステップと、を実施する監視方法。
  12. 　乖離して配置され、共通の領域を撮影する複数のカメラが撮影した画像を受信する受信手段を有する管理装置を制御するコンピュータを、
    　ニューラルネットワークで構成される人工知能によって、前記カメラから受信した前記画像において、監視対象を認識する第一認識手段、
    　各前記カメラの位置と、各前記カメラの位置を基準とする前記監視対象の方向とに基づいて、前記監視対象の位置を算出する位置算出手段、
    　前記管理装置から監視対象の位置を示す位置情報を受信すると、前記位置情報に示される位置に向かって飛行するための飛行手段と、外部を撮影して撮影画像を取得する画像取得手段と、ニューラルネットワークで構成される人工知能によって、前記撮影画像において、前記監視対象を認識する認識手段と、前記監視対象を認識した場合に、前記監視対象を継続的に撮影するロックオン手段と、を有する無人飛行装置に対して、前記位置情報を送信する位置送信手段、
    として機能させるためのコンピュータプログラム。
PCT/JP2018/037486 2018-10-05 2018-10-05 監視システム、管理装置、監視方法、管理装置の制御プログラム WO2020070897A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020551066A JP7101799B2 (ja) 2018-10-05 2018-10-05 監視システム、管理装置、監視方法、管理装置の制御プログラム
PCT/JP2018/037486 WO2020070897A1 (ja) 2018-10-05 2018-10-05 監視システム、管理装置、監視方法、管理装置の制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/037486 WO2020070897A1 (ja) 2018-10-05 2018-10-05 監視システム、管理装置、監視方法、管理装置の制御プログラム

Publications (1)

Publication Number Publication Date
WO2020070897A1 true WO2020070897A1 (ja) 2020-04-09

Family

ID=70055402

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/037486 WO2020070897A1 (ja) 2018-10-05 2018-10-05 監視システム、管理装置、監視方法、管理装置の制御プログラム

Country Status (2)

Country Link
JP (1) JP7101799B2 (ja)
WO (1) WO2020070897A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347680A (zh) * 2020-11-16 2021-02-09 国网湖北省电力有限公司直流运检公司 一种直流换流站换流变压器无人机巡检路径规划方法
GB2601307A (en) * 2020-11-23 2022-06-01 Bioseco Sp Z O O A Stereovision Method and System
CN115515098A (zh) * 2022-08-22 2022-12-23 西北工业大学 一种无人机集群脆弱性节点识别方法
WO2023286186A1 (ja) * 2021-07-14 2023-01-19 日本電気株式会社 不審機対処装置、不審機対処システム、不審機対処方法およびプログラム記憶媒体
US20240007601A1 (en) * 2020-11-23 2024-01-04 Bioseco Sp. z o.o. A stereovision method and system
JP7616758B2 (ja) 2020-06-24 2025-01-17 日本電気航空宇宙システム株式会社 識別装置、方法、及びプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006173872A (ja) * 2004-12-14 2006-06-29 Matsushita Electric Ind Co Ltd カメラ制御装置
JP2017072986A (ja) * 2015-10-07 2017-04-13 パナソニックＩｐマネジメント株式会社 自律飛行装置、自律飛行装置の制御方法及びプログラム
JP2017163511A (ja) * 2016-03-11 2017-09-14 株式会社プロドローン 生体探索システム
US20170300759A1 (en) * 2016-03-03 2017-10-19 Brigham Young University Automated multiple target detection and tracking system
US20180165504A1 (en) * 2016-12-12 2018-06-14 Alarm.Com Incorporated Drone Pre-Surveillance
JP2018110304A (ja) * 2016-12-28 2018-07-12 パナソニックＩｐマネジメント株式会社 監視システム、監視方法、及びプログラム
WO2018135522A1 (ja) * 2017-01-19 2018-07-26 日本電気株式会社 移動体制御システム、移動体制御装置、移動体制御方法および記録媒体
US20180247421A1 (en) * 2017-02-27 2018-08-30 Isolynx, Llc Systems and methods for tracking and controlling a mobile camera to image objects of interest

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006173872A (ja) * 2004-12-14 2006-06-29 Matsushita Electric Ind Co Ltd カメラ制御装置
JP2017072986A (ja) * 2015-10-07 2017-04-13 パナソニックＩｐマネジメント株式会社 自律飛行装置、自律飛行装置の制御方法及びプログラム
US20170300759A1 (en) * 2016-03-03 2017-10-19 Brigham Young University Automated multiple target detection and tracking system
JP2017163511A (ja) * 2016-03-11 2017-09-14 株式会社プロドローン 生体探索システム
US20180165504A1 (en) * 2016-12-12 2018-06-14 Alarm.Com Incorporated Drone Pre-Surveillance
JP2018110304A (ja) * 2016-12-28 2018-07-12 パナソニックＩｐマネジメント株式会社 監視システム、監視方法、及びプログラム
WO2018135522A1 (ja) * 2017-01-19 2018-07-26 日本電気株式会社 移動体制御システム、移動体制御装置、移動体制御方法および記録媒体
US20180247421A1 (en) * 2017-02-27 2018-08-30 Isolynx, Llc Systems and methods for tracking and controlling a mobile camera to image objects of interest

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7616758B2 (ja) 2020-06-24 2025-01-17 日本電気航空宇宙システム株式会社 識別装置、方法、及びプログラム
CN112347680A (zh) * 2020-11-16 2021-02-09 国网湖北省电力有限公司直流运检公司 一种直流换流站换流变压器无人机巡检路径规划方法
GB2601307A (en) * 2020-11-23 2022-06-01 Bioseco Sp Z O O A Stereovision Method and System
US20240007601A1 (en) * 2020-11-23 2024-01-04 Bioseco Sp. z o.o. A stereovision method and system
GB2601307B (en) * 2020-11-23 2024-11-27 Bioseco Sp Z O O A Stereovision Method and System
WO2023286186A1 (ja) * 2021-07-14 2023-01-19 日本電気株式会社 不審機対処装置、不審機対処システム、不審機対処方法およびプログラム記憶媒体
JP7574935B2 (ja) 2021-07-14 2024-10-29 日本電気株式会社 不審機対処装置、不審機対処システム、不審機対処方法およびコンピュータプログラム
CN115515098A (zh) * 2022-08-22 2022-12-23 西北工业大学 一种无人机集群脆弱性节点识别方法

Also Published As

Publication number Publication date
JPWO2020070897A1 (ja) 2021-09-24
JP7101799B2 (ja) 2022-07-15

Similar Documents

Publication Publication Date Title
WO2020070897A1 (ja) 監視システム、管理装置、監視方法、管理装置の制御プログラム
JP7185032B2 (ja) 迅速な展開及び標的航空機を無力化するための固定された空中対抗手段
US20220206515A1 (en) Uav hardware architecture
EP3452881B1 (en) Imaging using multiple unmanned aerial vehicles
US20170371353A1 (en) Automatic Tracking Mode For Controlling An Unmanned Aerial Vehicle
US20190220039A1 (en) Methods and system for vision-based landing
US20180032042A1 (en) System And Method Of Dynamically Controlling Parameters For Processing Sensor Output Data
US20190243376A1 (en) Actively Complementing Exposure Settings for Autonomous Navigation
JP2022501263A (ja) 標的航空機を無力化するための対抗手段を有する航空機
CN106444843B (zh) 无人机相对方位控制方法及装置
US20190346562A1 (en) Systems and methods for radar control on unmanned movable platforms
KR20180051996A (ko) 무인 비행 장치 및 이를 이용한 피사체 촬영 방법
CN110494360A (zh) 用于提供自主摄影及摄像的系统和方法
CN105157708A (zh) 基于图像处理与雷达的无人机自主导航系统及方法
JP6812667B2 (ja) 無人飛行装置制御システム、無人飛行装置制御方法および無人飛行装置
KR20170139326A (ko) 무인 비행체의 자율비행시스템 및 자율비행방법
KR102461405B1 (ko) 공간분석을 이용하여 자율 비행이 가능한 드론 및 드론 제어 방법
JP2020149640A (ja) 飛行システム及び着陸制御方法
KR20120036684A (ko) 지피에스를 이용한 지능형 항공로봇
CN112478968A (zh) 电梯井道巡检控制方法、装置、系统和存储介质
WO2019022910A2 (en) SYSTEM AND METHOD FOR DYNAMICALLY CONTROLLING PARAMETERS FOR PROCESSING SENSOR OUTPUT DATA
KR102057657B1 (ko) 지면 탐지기 및 이를 구비하는 드론과 그 착륙 방법
KR102149494B1 (ko) 드론을 이용한 구조물 검사 시스템 및 검사 방법
KR102348290B1 (ko) 드론을 이용한 크랙 탐지 시스템 및 그 제어방법
KR101907472B1 (ko) 무기체계의 센서 성능 검증용 시험 선박 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18936220

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020551066

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18936220

Country of ref document: EP

Kind code of ref document: A1