WO2019163454A1 - 画像処理装置、飛行体及びプログラム - Google Patents

画像処理装置、飛行体及びプログラム Download PDF

Info

Publication number
WO2019163454A1
WO2019163454A1 PCT/JP2019/003219 JP2019003219W WO2019163454A1 WO 2019163454 A1 WO2019163454 A1 WO 2019163454A1 JP 2019003219 W JP2019003219 W JP 2019003219W WO 2019163454 A1 WO2019163454 A1 WO 2019163454A1
Authority
WO
WIPO (PCT)
Prior art keywords
flying object
image
camera
image processing
altitude
Prior art date
Application number
PCT/JP2019/003219
Other languages
English (en)
French (fr)
Inventor
明彦 田近
Original Assignee
ソフトバンク株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソフトバンク株式会社 filed Critical ソフトバンク株式会社
Priority to KR1020207026536A priority Critical patent/KR102266223B1/ko
Priority to CA3091897A priority patent/CA3091897C/en
Priority to CN201980013537.2A priority patent/CN111742348B/zh
Priority to EP19757834.7A priority patent/EP3757941B1/en
Publication of WO2019163454A1 publication Critical patent/WO2019163454A1/ja
Priority to US16/989,832 priority patent/US11042740B2/en
Priority to IL276818A priority patent/IL276818B/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/14—Relay systems
    • H04B7/15—Active relay systems
    • H04B7/185—Space-based or airborne stations; Stations for satellite systems
    • H04B7/18502—Airborne stations
    • H04B7/18506—Communications with or from aircraft, i.e. aeronautical mobile service
    • H04B7/18508—Communications with or from aircraft, i.e. aeronautical mobile service with satellite system used as relay, i.e. aeronautical mobile satellite service
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41H—ARMOUR; ARMOURED TURRETS; ARMOURED OR ARMED VEHICLES; MEANS OF ATTACK OR DEFENCE, e.g. CAMOUFLAGE, IN GENERAL
    • F41H11/00—Defence installations; Defence devices
    • F41H11/02—Anti-aircraft or anti-guided missile or anti-torpedo defence installations or systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/042—Control of altitude or depth specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004—Transmission of traffic-related information to or from an aircraft
    • G08G5/0008—Transmission of traffic-related information to or from an aircraft with other aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004—Transmission of traffic-related information to or from an aircraft
    • G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0026—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located on the ground
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0078—Surveillance aids for monitoring traffic from the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0082—Surveillance aids for monitoring traffic from a ground station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Definitions

  • the present invention relates to an image processing apparatus, a flying object, and a program.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2017-167870
  • an image processing apparatus includes a first image including a first area captured by a first camera that captures a direction from a first altitude to a lower altitude than the first altitude as a subject, and a second altitude lower than the second altitude. You may provide the image acquisition part which acquires the 2nd image which contains the 1st field imaged with the 2nd camera which picturizes the direction of an altitude as a subject.
  • An image processing apparatus detects a flying object detection unit that detects a flying object at an altitude lower than the first altitude and the second altitude based on a difference between the first area in the first image and the first area in the second image. May be provided.
  • the first camera may be disposed at one end of the wing of the flying object, and the second camera may be disposed at the other end of the wing of the flying object.
  • the first camera may be disposed at the front end of the flying object, and the second camera may be disposed at the rear end of the flying object.
  • the first camera may be mounted on a first flying body, and the second camera may be mounted on a second flying body different from the first flying body.
  • the image processing apparatus includes an estimated altitude acquisition unit that acquires an estimated altitude of the flying object, and an adjustment control unit that adjusts a distance between the first flying object and the second flying object according to the estimated altitude. And may be further provided.
  • the shooting time of the first image and the shooting time of the second image may be the same.
  • the image acquisition unit includes the first image that has been subjected to tilt correction after being captured by the first camera, and the second image that has been subjected to tilt correction after being captured by the second camera. You may get it.
  • the image processing apparatus may further include a map data reference unit that refers to map data including terrain and building information, and the flying object detection unit includes the first region and the second image in the first image. The flying object may be detected on the basis of the difference from the first area in the map and the information on the topography and the building within the range corresponding to the first area in the map data.
  • the image processing apparatus may further include an object identification unit that identifies the flying object based on at least one of an image captured by the first camera and an image captured by the second camera.
  • the object identification unit may identify whether or not the flying object is a bird.
  • the image processing apparatus is configured to predict at least one of a flight speed, a flight direction, and a flight route prediction of the flying object based on at least one of an image captured by the first camera and an image captured by the second camera.
  • a flight information deriving unit for deriving the above may further be provided.
  • the image processing apparatus may further include an altitude deriving unit that derives the altitude of the flying object based on the distance from the first camera to the flying object and the first altitude.
  • the image processing apparatus may further include a warning output unit that outputs a warning in response to the flying object detection unit detecting the flying object.
  • the image processing apparatus may be mounted on a flying object, and the warning output unit outputs the warning to a communication device on the ground via a communication satellite in response to the detection of the flying object by the flying object detection unit. May be sent.
  • the image processing apparatus may be mounted on a flying object, and the image processing apparatus may further include a satellite communication unit that communicates with a communication satellite.
  • a flying object including the first camera, the second camera, and the image processing device.
  • An example of the flying body 200 is shown schematically.
  • An example of the hardware constitutions of the flying body 200 is shown schematically.
  • An example of the flow of processing by the flying object 200 is schematically shown.
  • An example of functional composition of flying object 200 is shown roughly.
  • An example of the flying body 400 and the flying body 500 is shown schematically.
  • An example of the hardware constitutions of the flying body 400, the flying body 500, and the ground station 300 is shown schematically.
  • An example of the flow of processing by the ground station 300 is schematically shown.
  • An example of a functional composition of ground station 300 is shown roughly.
  • FIG. It is explanatory drawing explaining the detection accuracy of the flying object.
  • An example of the communication environment of the flying body 200 is shown schematically.
  • An example of the communication environment of the flying body 400 and the flying body 500 is shown schematically.
  • FIG. 1 is an explanatory diagram for explaining image processing by the image processing apparatus 100.
  • the image processing apparatus 100 acquires from the camera 10 an image 14 captured by the camera 10 that captures a direction from a first altitude to an altitude lower than the first altitude.
  • the image processing apparatus 100 may receive the image 14 from the camera 10 via a wired connection. Further, the image processing apparatus 100 may receive the image 14 from the camera 10 via a wireless connection.
  • the image processing apparatus 100 may receive the image 14 from the camera 10 via an arbitrary network.
  • the first altitude may be the altitude of the camera 10.
  • the camera 10 is a camera that is mounted on a flying object and images the ground, for example.
  • the camera 10 may be a camera that images the ground by being arranged on the upper layer of a high-rise building, for example, the uppermost layer.
  • the camera 10 may be a visible light camera.
  • the camera 10 may be an infrared camera.
  • the camera 10 may be a multispectral camera.
  • the camera 10 may be a so-called radar.
  • the image processing apparatus 100 acquires from the camera 20 an image 24 captured by the camera 20 that captures a direction from the second altitude to an altitude lower than the second altitude.
  • the image processing apparatus 100 may receive the image 24 from the camera 20 via a wired connection. Further, the image processing apparatus 100 may receive the image 24 from the camera 20 via a wireless connection.
  • the image processing apparatus 100 may receive the image 24 from the camera 20 via an arbitrary network.
  • the second altitude may be the altitude of the camera 20.
  • the camera 20 is, for example, a camera that is mounted on a flying object and images the ground.
  • the camera 20 may be a camera that is disposed on the upper layer of a high-rise building, for example, the uppermost layer and images the ground. .
  • the camera 20 may be a visible light camera.
  • the camera 20 may be an infrared camera.
  • the camera 20 may be a multispectral camera.
  • the camera 20 may be a so-called radar.
  • the image processing apparatus 100 detects a flying object at an altitude lower than the first altitude and the second altitude using the image 14 including the first area as a subject and the image 24 including the first area as the subject.
  • the first region may be the entire image 14 and the image 24.
  • the first region may be a region that is included in common with the image 14 and the image 24.
  • the camera 10 and the camera 20 are separated from each other in the horizontal direction.
  • the subject located at a higher altitude has a position in the image 14 and a position in the image 24. Will be different.
  • the altitude of the flying object 40 is higher than that of other subjects, and the position of the flying object 16 in the image 14 and the position of the flying object 26 in the image 24 are shifted.
  • the image processing apparatus 100 detects a flying object based on the difference between the first area in the image 14 and the first area in the image 24. For example, as illustrated in FIG. 1, the image processing apparatus 100 generates a difference image 30 between the image 14 and the image 24 and determines that the flying object 16 and the flying object 26 extracted as the difference are the same. When possible, the flying object 16 and the flying object 26 are detected as one flying object.
  • the imaging time of the image 14 and the image 24 may be the same.
  • the image processing apparatus 100 uses the difference between the first area in the image 14 and the first area in the image 24, and the terrain and building in the range corresponding to the first area in the map data including the terrain and building information.
  • the flying object may be detected based on the information.
  • a relatively high-rise high-rise building, a mountain, and the like are detected as differences.
  • high-rise buildings and mountains included in the map data may be excluded. Thereby, the detection accuracy of the flying object 16 and the flying object 26 can be improved.
  • the image processing apparatus 100 may identify a flying object based on at least one of an image captured by the camera 10 and an image captured by the camera 20.
  • the image processing apparatus 100 may identify the flying object by at least one of the shape of the flying object and the movement of the flying object. For example, the image processing apparatus 100 identifies whether the flying object is an unmanned aircraft such as a drone.
  • the image processing apparatus 100 identifies whether the flying object is a bird. When the flying object is a bird, and the camera 10 and the camera 20 are an infrared camera and a hyperspectral camera, the image processing apparatus 100 identifies the type of bird based on at least one of the image 14 and the image 24. Also good.
  • the image processing apparatus 100 derives at least one of the flight speed, the flight direction, and the flight route prediction of the flying object based on at least one of the image captured by the camera 10 and the image captured by the camera 20. Also good. For example, the image processing apparatus 100 derives the flight speed and flight direction of a flying object from temporally continuous images. For example, the image processing apparatus 100 derives a flight route prediction from the derived flight speed and flight direction.
  • FIG. 2 schematically shows an example of the flying object 200.
  • the flying object 200 may function as the image processing apparatus 100.
  • the flying object 200 includes a camera 210 and a camera 220.
  • the camera 210 is disposed at one end of the wing of the flying object 200, and the camera 220 is disposed at the other end of the wing of the flying object 200.
  • the camera 210 and the camera 220 may be an example of the camera 10 and the camera 20.
  • the air vehicle 200 shown in FIG. 2 is a stratospheric platform having a propeller, a solar panel, a battery, and an antenna. In FIG. 2, a case where the flying object 200 is a stratosphere platform will be described as an example.
  • the flying object 200 may be an airplane, an unmanned aircraft, a balloon, or the like.
  • the camera 210 may be disposed at the front end of the flying object 200
  • the camera 220 may be disposed at the rear end of the flying object 200.
  • the flying object 200 communicates with the network 80 via the ground station 300.
  • the network 80 includes, for example, the Internet and a mobile phone network.
  • the flying object 200 detects a flying object from images captured by the camera 210 and the camera 220.
  • the flying object 200 may transmit a warning to any communication device via the ground station 300 and the network 80.
  • the flying object 200 may further transmit a flying object image, a flying speed of the flying object, a flight direction, a flight route prediction, and the like to the communication device.
  • FIG. 3 schematically shows an example of the hardware configuration of the flying object 200.
  • the flying object 200 includes a flight control CPU (Central Processing Unit) 202, a communication device 204, an antenna 205, a DB (DataBase) 206, a camera 210, a camera 220, and an image processing CPU 230.
  • the flight control CPU 202, communication device 204, DB 206, and image processing CPU 230 are connected via a data bus 208.
  • the flight control CPU 202 controls the flight of the flying object 200.
  • the communication device 204 performs communication via the antenna 205.
  • the communication device 204 communicates with the ground station 300 via the antenna 205, for example.
  • the DB 206 stores various data.
  • the DB 206 stores, for example, map data including terrain and building information.
  • the DB 206 stores, for example, map data received from any communication device by the communication device 204 via the ground station 300 and the network 80.
  • the DB 206 may store an image captured by the camera 210.
  • the DB 206 may store an image captured by the camera 220.
  • the image processing CPU 230 processes the image captured by the camera 210 and the image captured by the camera 220.
  • the image processing CPU 230 detects a flying object at an altitude lower than that of the flying object 200 based on the difference between the first area in the image captured by the camera 210 and the first area in the image captured by the camera 220.
  • FIG. 4 schematically shows an example of the flow of processing by the flying object 200.
  • the flying object 200 periodically executes the process shown in FIG.
  • the aircraft 200 may execute the processing shown in FIG. 4 in response to receiving an instruction from the ground station 300.
  • step 102 step may be abbreviated as S
  • camera 210 and camera 220 capture an image.
  • the image processing CPU 230 corrects images captured by the camera 210 and the camera 220. For example, the image processing CPU 230 performs tilt correction on the image.
  • the image processing CPU 230 matches the images corrected in S104.
  • the image processing CPU 230 may exclude known buildings and mountains from the matched images with reference to map data stored in the DB 206.
  • the image processing CPU 230 determines whether or not there is a suspicious flying object in the image. If it is determined that there is, the process proceeds to S110, and if it is determined that there is not, the process proceeds to S112. In S110, the image processing CPU 230 causes the communication device 204 to issue an alarm to a device set in advance via the ground station 300 and the network 80 and to transmit an image of a suspicious flying object.
  • FIG. 5 schematically shows an example of the functional configuration of the image processing CPU 230.
  • the image processing CPU 230 includes an image acquisition unit 232, a flying object detection unit 234, a map data reference unit 236, an object identification unit 238, a flight information deriving unit 240, an altitude deriving unit 242, and a transmission control unit 244.
  • the image acquisition unit 232 acquires an image captured by the camera 210.
  • the image acquisition unit 232 acquires an image captured by the camera 220.
  • the flying object detection unit 234 detects a flying object based on the image acquired by the image acquisition unit 232.
  • the map data reference unit 236 refers to map data stored in the DB 206.
  • the flying object detection unit 234 may detect a flying object based on the image acquired by the image acquisition unit 232 and the map data referred to by the map data reference unit 236.
  • the object identification unit 238 identifies the flying object detected by the flying object detection unit 234 based on the images captured by the camera 210 and the camera 220 acquired by the image acquisition unit 232. For example, the object identification unit 238 determines whether or not the flying object is an unmanned aerial vehicle. The object identifying unit 238 may identify whether or not the flying object is a bird.
  • the flight information deriving unit 240 calculates the flight speed, the flight direction, and the flight route of the flying object detected by the flying object detection unit 234 based on the images captured by the camera 210 and the camera 220 acquired by the image acquisition unit 232. At least one is derived.
  • the altitude deriving unit 242 derives the altitude of the flying object detected by the flying object detecting unit 234.
  • the altitude deriving unit 242 derives the altitude of the flying object based on the distance from the camera 210 to the flying object and the altitude of the camera 210, for example.
  • the altitude deriving unit 242 sets the altitude measured by the altimeter of the flying object 200 as the altitude of the camera 210.
  • the altitude deriving unit 242 applies a known technique such as a technique using triangulation to the image captured by the camera 210 and the image captured by the camera 220, for example, to fly with the camera 210.
  • the distance to the object is derived.
  • the altitude deriving unit 242 derives the altitude of the flying object by subtracting the distance between the camera 210 and the flying object from the altitude of the camera 210.
  • the transmission control unit 244 causes the communication device 204 to transmit various types of information. For example, when the flying object detection unit 234 detects a flying object, the transmission control unit 244 causes the communication device 204 to transmit warning information to a preset communication device.
  • the transmission control unit 244 may be an example of a warning output unit.
  • the transmission control unit 244 may cause the communication device 204 to transmit the identification result obtained by the object identification unit 238.
  • the transmission control unit 244 may cause the communication device 204 to transmit the information derived by the flight information deriving unit 240.
  • the transmission control unit 244 may cause the communication device 204 to transmit the altitude derived by the altitude deriving unit 242.
  • the ground station 300 may function as the image processing apparatus 100.
  • the ground station 300 receives images captured by the camera 210 and the camera 220 from the flying object 200, and detects a flying object based on the received image.
  • a communication device connected to the network 80 may function as the image processing apparatus 100.
  • the communication device receives images captured by the camera 210 and the camera 220 via the flying object 200, the ground station 300, and the network 80, and detects a flying object based on the received image.
  • FIG. 6 schematically shows an example of the flying object 400 and the flying object 500.
  • the flying object 400 has a camera 410.
  • the camera 410 may be an example of the camera 10.
  • the flying object 500 has a camera 510.
  • the camera 510 may be an example of the camera 20.
  • the flying object 400 and the flying object 500 shown in FIG. 6 are stratospheric platforms. In FIG. 6, the case where the flying object 400 and the flying object 500 are stratospheric platforms will be described as an example. However, the present invention is not limited thereto, and the flying object 400 and the flying object 500 may be an airplane, an unmanned aircraft, a balloon, or the like. May be.
  • the flying object 400 communicates with the network 80 via the ground station 300.
  • Air vehicle 500 communicates with network 80 via ground station 600.
  • the ground station 300 may function as an image processing device.
  • the ground station 300 receives an image captured by the camera 410 from the flying object 400. Further, the ground station 300 receives an image captured by the camera 510 via the flying object 500, the ground station 600, and the network 80. The ground station 300 detects a flying object from the image captured by the camera 410 and the image captured by the camera 510. When the ground station 300 detects a flying object, the ground station 300 may transmit a warning to any communication device via the network 80. The ground station 300 may further transmit a flying object image, a flying speed of the flying object, a flight direction, a flight route prediction, and the like to the communication device.
  • FIG. 7 schematically shows an example of the hardware configuration of the flying object 400, the flying object 500, and the ground station 300.
  • the flying object 400 includes a flight control CPU 402, a communication device 404, an antenna 405, a camera 410, and an image processing CPU 420.
  • the flight control CPU 402, the communication device 404, and the image processing CPU 420 are connected via a data bus 408.
  • the flight control CPU 402 controls the flight of the flying object 400.
  • the communication device 404 performs communication via the antenna 405.
  • the communication device 404 communicates with the ground station 300 via the antenna 405, for example.
  • the image processing CPU 420 processes an image captured by the camera 410.
  • the image processing CPU 420 causes the communication device 404 to transmit an image captured by the camera 410 to the ground station 300.
  • the image processing CPU 420 may perform tilt correction on the image captured by the camera 410.
  • the flying object 500 includes a flight control CPU 502, a communication device 504, an antenna 505, a camera 510, and an image processing CPU 520.
  • the flight control CPU 502, the communication device 504, and the image processing CPU 520 are connected via a data bus 508.
  • Flight control CPU 502 controls the flight of the flying object 500.
  • the communication device 504 executes communication via the antenna 505.
  • the communication device 504 communicates with the ground station 600 via the antenna 505, for example.
  • Image processing CPU 520 processes an image captured by camera 510.
  • the image processing CPU 520 causes the communication device 504 to transmit an image captured by the camera 510 to the ground station 600.
  • the image processing CPU 520 may perform tilt correction on the image captured by the camera 510.
  • the ground station 300 includes an Internet connection unit 302, a communication device 304, an antenna 305, a DB 306, and an image processing CPU 308.
  • the internet connection unit 302, the communication device 304, the DB 306, and the image processing CPU 308 are connected via a data bus 309.
  • the Internet connection unit 302 is connected to the network 80 and communicates with communication devices on the Internet.
  • the communication device 304 performs communication via the antenna 305.
  • the communication device 304 communicates with the flying object 400 via the antenna 305, for example.
  • the DB 306 stores various data.
  • the DB 306 stores, for example, map data including information on topography and buildings.
  • the DB 306 stores, for example, map data received from an arbitrary communication device by the Internet connection unit 302 via the network 80.
  • the DB 306 may store an image captured by the camera 410 received from the flying object 400 by the communication device 304.
  • the DB 306 may store an image captured by the camera 510 received from the flying object 500 by the Internet connection unit 302 via the network 80 and the ground station 600.
  • the image processing CPU 308 processes an image captured by the camera 410 and an image captured by the camera 510.
  • the image processing CPU 308 detects a flying object at an altitude lower than that of the flying object 400 and the flying object 500 based on the difference between the first area in the image taken by the camera 410 and the first area in the image taken by the camera 510. To do.
  • FIG. 8 schematically shows an example of the flow of processing by the ground station 300.
  • the ground station 300 periodically executes the process shown in FIG.
  • an image captured by the flying object 400 and the flying object 500 is received.
  • the image processing CPU 308 corrects the image received in S202. For example, the image processing CPU 308 performs tilt correction on the image.
  • the image processing CPU 308 matches the images corrected in S204.
  • the image processing CPU 308 may refer to the map data stored in the DB 306 and exclude known buildings, mountains, and the like from the matched images.
  • the image processing CPU 308 determines whether or not there is a suspicious flying object in the image. If it is determined that there is, the process proceeds to S210, and if it is determined that there is not, the process proceeds to S212. In S210, the image processing CPU 308 causes the communication device 304 to issue an alarm to a communication device set in advance via the network 80 and to transmit an image of a suspicious flying object.
  • S212 it is determined whether or not to end the process. When it determines with not complete
  • FIG. 9 schematically shows an example of the functional configuration of the image processing CPU 308.
  • the image processing CPU 308 includes an image acquisition unit 332, a flying object detection unit 334, a map data reference unit 336, an object identification unit 338, a flight information derivation unit 340, an altitude derivation unit 342, a transmission control unit 344, an estimated altitude acquisition unit 352, and An adjustment control unit 354 is included.
  • the image acquisition unit 332 acquires an image captured by the camera 410.
  • the image acquisition unit 332 acquires an image captured by the camera 510.
  • the flying object detection unit 334 detects a flying object based on the image acquired by the image acquisition unit 332.
  • the map data reference unit 336 refers to map data stored in the DB 306.
  • the flying object detection unit 334 may detect a flying object based on the image acquired by the image acquisition unit 332 and the map data referred to by the map data reference unit 336.
  • the object identification unit 338 identifies the flying object detected by the flying object detection unit 334 based on the images acquired by the camera 410 and the camera 510 acquired by the image acquisition unit 332.
  • the object identification unit 338 determines whether the flying object is an unmanned aerial vehicle, for example.
  • the object identifying unit 338 may identify whether the flying object is a bird.
  • the flight information deriving unit 340 calculates the flight speed, flight direction, and flight route of the flying object detected by the flying object detection unit 334 based on the images captured by the camera 210 and the camera 220 acquired by the image acquisition unit 332. At least one is derived.
  • the altitude deriving unit 342 derives the altitude of the flying object detected by the flying object detecting unit 334.
  • the altitude deriving unit 342 derives the altitude of the flying object based on the distance from the camera 410 to the flying object and the altitude of the camera 410, for example.
  • the altitude deriving unit 342 sets the altitude measured by the altimeter of the flying object 400 as the altitude of the camera 410.
  • the altitude deriving unit 342 applies a known technique such as a technique using triangulation to the image captured by the camera 410 and the image captured by the camera 510, for example, to fly with the camera 410.
  • the distance to the object is derived.
  • the altitude deriving unit 342 derives the altitude of the flying object by subtracting the distance between the camera 410 and the flying object from the altitude of the camera 410.
  • the transmission control unit 344 transmits various information to the communication device 304. For example, when the flying object detection unit 334 detects a flying object, the transmission control unit 344 causes the communication device 304 to transmit warning information to a preset communication device. The transmission control unit 344 may cause the communication device 304 to transmit the identification result by the object identification unit 338. The transmission control unit 344 may cause the communication device 304 to transmit information derived by the flight information deriving unit 340. The transmission control unit 344 may cause the communication device 304 to transmit the altitude derived by the altitude deriving unit 342.
  • FIGS. 6 to 9 have been described with reference to an example in which the ground station 300 functions as the image processing apparatus 100, the present invention is not limited to this.
  • the ground station 600 may function as the image processing apparatus 100.
  • the ground station 600 receives the image captured by the camera 410 via the ground station 300 and the network 80, receives the image captured by the camera 510 from the aircraft 500, and converts the image received into the received image. Based on this, a flying object is detected.
  • a communication device connected to the network 80 may function as the image processing apparatus 100.
  • the communication device receives an image captured by the camera 410 via the ground station 300 and the network 80, receives an image captured by the camera 510 via the ground station 600 and the network 80, and receives the received image.
  • a flying object is detected based on the image.
  • the estimated altitude acquisition unit 352 acquires the estimated altitude of the flying object.
  • the estimated altitude acquisition unit 352 acquires the estimated altitude of the flying object from a communication device on the network 80, for example.
  • the estimated altitude is, for example, the average altitude of the flying object to be detected.
  • the adjustment control unit 354 adjusts the distance between the flying object 400 and the flying object 500 according to the estimated height acquired by the estimated height acquisition unit 352. For example, in order to adjust the distance between the flying object 400 and the flying object 500, the adjustment control unit 354 transmits the flight control data of the flying object 400 to the communication apparatus 304 toward the flying object 400, and Flight control data is transmitted to the Internet connection unit 302 toward the flying object 500.
  • the estimated altitude acquisition unit 352 may further acquire the estimated position of the flying object.
  • the adjustment control unit 354 determines the distance between the flying object 400 and the flying object 500 according to the estimated altitude and the estimated position, The altitude of the flying object 400 and the altitude of the flying object 500 may be adjusted.
  • FIG. 10 is an explanatory diagram for explaining inclination correction for the image 430 and the image 530 by the flying object 400 and the flying object 500.
  • Tilt correction for the image 430 may be performed by the aircraft 400.
  • the ground station 300 functions as an image processing apparatus
  • the inclination correction for the image 430 may be executed by the ground station 300.
  • a communication device on the network 80 functions as an image processing device
  • the inclination correction for the image 430 may be executed by the communication device.
  • the tilt correction for the image 530 may be performed by the flying object 500. Further, when the ground station 600 functions as an image processing apparatus, the inclination correction for the image 530 may be performed by the ground station 600. Further, when a communication device on the network 80 functions as an image processing apparatus, the inclination correction for the image 530 may be executed by the communication device.
  • the corrected image 432 obtained by correcting the inclination of the image 430 and the corrected image 532 obtained by correcting the inclination of the image 530 may be matched by the image processing apparatus 100.
  • FIG. 11 is an explanatory diagram for explaining the detection accuracy of the flying object 800.
  • the total number of pixels of images captured by the camera 410 and the camera 510 is 100 million pixels
  • the number of vertical pixels is 10,000 pixels
  • the number of horizontal pixels is 10,000 pixels
  • the imaging range by the camera 410 and the camera 510 is 1 km.
  • An example will be described in which the distance 710 between the camera 410 and the camera 510 is 2 km
  • the altitude of the camera 410 and the camera 510 is 20 km
  • the ground height of the unmanned aircraft that is the target flying object 800 is 10 m. .
  • the flying object 200 communicates with the network 80 via the ground station 300
  • the air vehicle 200 may perform satellite communication.
  • FIG. 12 schematically shows an example of the communication environment of the flying object 200. Here, differences from FIG. 2 will be mainly described.
  • the flying object 200 includes a satellite communication unit (not shown), and executes satellite communication with the communication satellite 900.
  • the air vehicle 200 may communicate with the network 80 via the communication satellite 900.
  • the communication satellite 900 relays communication between the air vehicle 200 and the network 80 via the ground station 910, for example.
  • the flying object 200 may transmit a warning to any communication device via the communication satellite 900, the ground station 910, and the network 80.
  • the flying object 200 may further transmit a flying object image, a flying speed of the flying object, a flight direction, a flight route prediction, and the like to the communication device.
  • FIG. 13 schematically shows an example of the communication environment of the flying object 400 and the flying object 500.
  • FIG. 6 differences from FIG. 6 will be mainly described.
  • the flying object 400 includes a satellite communication unit (not shown) and performs satellite communication with the communication satellite 900.
  • the air vehicle 400 may communicate with the network 80 via the communication satellite 900.
  • the communication satellite 900 relays communication between the flying object 400 and the network 80 via the ground station 910, for example.
  • the flying object 500 includes a satellite communication unit (not shown) and performs satellite communication with the communication satellite 900.
  • the air vehicle 500 may communicate with the network 80 via the communication satellite 900.
  • the communication satellite 900 relays communication between the flying object 500 and the network 80 via the ground station 910, for example.
  • the ground station 910 may include a satellite communication unit (not shown) and receive an image captured by the camera 410 via the flying object 400 and the communication satellite 900.
  • the ground station 910 may receive an image captured by the camera 510 via the flying object 500 and the communication satellite 900.
  • the ground station 910 may detect a flying object from the image captured by the camera 410 and the image captured by the camera 510.
  • the ground station 910 may transmit a warning to any communication device via the network 80.
  • the ground station 910 may further transmit a flying object image, a flying speed of the flying object, a flight direction, a flight route prediction, and the like to the communication device.
  • the flying object 400 may communicate with the flying object 500 via the communication satellite 900.
  • the flying object 400 may receive an image captured by the camera 510 via the flying object 500 and the communication satellite 900, for example.
  • the flying object 400 may detect a flying object from the image captured by the camera 410 and the image captured by the camera 510.
  • the flying object 400 may transmit a warning to any communication device via the communication satellite 900, the ground station 910, and the network 80.
  • the flying object 400 may further transmit a flying object image, a flying speed of the flying object, a flight direction, a flight route prediction, and the like to the communication device.
  • each unit of the image processing apparatus 100 may be realized by hardware or may be realized by software. Further, it may be realized by a combination of hardware and software. Further, the computer may function as the image processing apparatus 100 by executing the program.
  • the program may be installed in a computer constituting at least a part of the image processing apparatus 100 from a computer-readable medium or a storage device connected to a network.
  • a program that is installed in a computer and causes the computer to function as the image processing apparatus 100 according to the present embodiment works on a CPU or the like to cause the computer to function as each unit of the image processing apparatus 100.
  • Information processing described in these programs functions as a specific means in which software and hardware resources of the image processing apparatus 100 cooperate with each other by being read by a computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Emergency Management (AREA)
  • Mechanical Engineering (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

第１高度から第１高度よりも低い高度の方向を撮像する第１カメラによって撮像された第１領域を被写体として含む第１画像と、第２高度から第２高度よりも低い高度の方向を撮像する第２カメラによって撮像された第１領域を被写体として含む第２画像とを取得する画像取得部と、第１画像内の第１領域と第２画像内の第１領域との差分に基づいて、第１高度及び第２高度よりも低い高度の飛行物体を検出する飛行物体検出部とを備える画像処理装置を提供する。

Description

画像処理装置、飛行体及びプログラム
　本発明は、画像処理装置、飛行体及びプログラムに関する。
　監視領域内に飛来する飛行物体を検知する飛行物体監視システムが知られていた（例えば、特許文献１参照）。
　［先行技術文献］
　［特許文献］
　［特許文献１］特開２０１７－１６７８７０号公報
解決しようとする課題
　不審飛行物体を適切に検出可能な技術を提供することが望ましい。
一般的開示
　本発明の第１の態様によれば、画像処理装置が提供される。画像処理装置は、第１高度から第１高度よりも低い高度の方向を撮像する第１カメラによって撮像された第１領域を被写体として含む第１画像と、第２高度から第２高度よりも低い高度の方向を撮像する第２カメラによって撮像された第１領域を被写体として含む第２画像とを取得する画像取得部を備えてよい。画像処理装置は、第１画像内の第１領域と第２画像内の第１領域との差分に基づいて、第１高度及び第２高度よりも低い高度の飛行物体を検出する飛行物体検出部を備えてよい。
　上記第１カメラは飛行体の翼の一端に配置されていてよく、上記第２カメラは上記飛行体の翼の他端に配置されていてよい。上記第１カメラは、飛行体の先端に配置されていてよく、上記第２カメラは、上記飛行体の後端に配置されていてよい。
　上記第１カメラは、第１飛行体に搭載されていてよく、上記第２カメラは、上記第１飛行体とは異なる第２飛行体に搭載されていてよい。上記画像処理装置は、上記飛行物体の推定高度を取得する推定高度取得部と、上記推定高度に応じて、上記第１飛行体と上記第２飛行体との間の距離を調整させる調整制御部とをさらに備えてよい。
　上記第１画像の撮影時刻と上記第２画像の撮影時刻は同一であってよい。上記画像取得部は、上記第１カメラによって撮像された後で傾き補正が施された上記第１画像と、上記第２カメラによって撮像された後で傾き補正が施された上記第２画像とを取得してよい。上記画像処理装置は、地形及び建物の情報を含む地図データを参照する地図データ参照部をさらに備えてよく、上記飛行物体検出部は、上記第１画像内の上記第１領域と上記第２画像内の上記第１領域との差分と、上記地図データ中の上記第１領域に対応する範囲内の地形及び建物の情報とに基づいて、上記飛行物体を検出してよい。上記画像処理装置は、上記第１カメラによって撮像された画像及び上記第２カメラによって撮像された画像の少なくともいずれかに基づいて、上記飛行物体を識別する物体識別部をさらに備えてよい。上記物体識別部は、上記飛行物体が鳥類であるか否かを識別してよい。上記画像処理装置は、上記第１カメラによって撮像された画像及び上記第２カメラによって撮像された画像の少なくともいずれかに基づいて、上記飛行物体の飛行速度、飛行方向、及び飛行ルート予測の少なくともいずれかを導出する飛行情報導出部をさらに備えてよい。上記画像処理装置は、上記第１カメラから上記飛行物体までの距離及び上記第１高度に基づいて、上記飛行物体の高度を導出する高度導出部をさらに備えてよい。上記画像処理装置は、上記飛行物体検出部が上記飛行物体を検出したことに応じて警告を出力する警告出力部をさらに備えてよい。上記画像処理装置は、飛行体に搭載されてよく、上記警告出力部は、上記飛行物体検出部が上記飛行物体を検出したことに応じて、通信衛星を介して地上の通信機器に上記警告を送信してよい。上記画像処理装置は、飛行体に搭載されてよく、上記画像処理装置は、通信衛星と通信する衛星通信部をさらに備えてよい。
　本発明の第２の態様によれば、コンピュータを、上記画像処理装置として機能させるためのプログラムが提供される。
　本発明の第３の態様によれば、上記第１カメラと、上記第２カメラと、上記画像処理装置とを備える飛行体が提供される。
　なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
画像処理装置１００による画像処理を説明する説明図である。 飛行体２００の一例を概略的に示す。 飛行体２００のハードウエア構成の一例を概略的に示す。 飛行体２００による処理の流れの一例を概略的に示す。 飛行体２００の機能構成の一例を概略的に示す。 飛行体４００及び飛行体５００の一例を概略的に示す。 飛行体４００、飛行体５００、及び地上局３００のハードウエア構成の一例を概略的に示す。 地上局３００による処理の流れの一例を概略的に示す。 地上局３００の機能構成の一例を概略的に示す。 飛行体４００及び飛行体５００による画像４３０及び画像５３０に対する傾き補正を説明する説明図である。 飛行物体８００の検出精度を説明する説明図である。 飛行体２００の通信環境の一例を概略的に示す。 飛行体４００及び飛行体５００の通信環境の一例を概略的に示す。
　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　図１は、画像処理装置１００による画像処理を説明する説明図である。画像処理装置１００は、第１高度から第１高度よりも低い高度の方向を撮像するカメラ１０によって撮像された画像１４をカメラ１０から取得する。画像処理装置１００は、有線接続を介してカメラ１０から画像１４を受信してよい。また、画像処理装置１００は、無線接続を介してカメラ１０から画像１４を受信してもよい。画像処理装置１００は、任意のネットワークを介してカメラ１０から画像１４を受信してもよい。第１高度は、カメラ１０の高度であってよい。カメラ１０は、例えば、飛行体に搭載されて地上を撮像するカメラである。カメラ１０は、高層建築物の上層、例えば、最上層に配置されて地上を撮像するカメラであってもよい。カメラ１０は、可視光カメラであってよい。カメラ１０は、赤外線カメラであってもよい。カメラ１０は、マルチスペクトルカメラであってもよい。カメラ１０は、いわゆるレーダーであってもよい。
　また、画像処理装置１００は、第２高度から第２高度よりも低い高度の方向を撮像するカメラ２０によって撮像された画像２４をカメラ２０から取得する。画像処理装置１００は、有線接続を介してカメラ２０から画像２４を受信してよい。また、画像処理装置１００は、無線接続を介してカメラ２０から画像２４を受信してもよい。画像処理装置１００は、任意のネットワークを介してカメラ２０から画像２４を受信してもよい。第２高度は、カメラ２０の高度であってよい。カメラ２０は、例えば、飛行体に搭載されて地上を撮像するカメラである、また、カメラ２０は、高層建築物の上層、例えば、最上層に配置されて地上を撮像するカメラであってもよい。カメラ２０は、可視光カメラであってよい。カメラ２０は、赤外線カメラであってもよい。カメラ２０は、マルチスペクトルカメラであってもよい。カメラ２０は、いわゆるレーダーであってもよい。
　画像処理装置１００は、第１領域を被写体として含む画像１４と、第１領域を被写体として含む画像２４とを用いて、第１高度及び第２高度よりも低い高度の飛行物体を検出する。画像１４の撮像範囲１２と、画像２４の撮像範囲２２とが同一である場合、第１領域は画像１４及び画像２４の全体であってよい。画像１４の撮像範囲１２と、画像２４の撮像範囲２２とがずれている場合、第１領域は、画像１４と画像２４に共通して含まれる領域であってよい。
　カメラ１０とカメラ２０とは水平方向に距離が離れており、画像１４及び画像２４に含まれる被写体のうち、より高い高度に位置する被写体ほど、画像１４内における位置と、画像２４内における位置が異なることになる。図１では、他の被写体に比べて飛行物体４０の高度が高く、画像１４内における飛行物体１６の位置と、画像２４内における飛行物体２６の位置とがずれている。
　画像処理装置１００は、画像１４内の第１領域と画像２４内の第１領域との差分に基づいて、飛行物体を検出する。例えば、画像処理装置１００は、図１に例示するように、画像１４と画像２４との差分画像３０を生成し、差分として抽出された飛行物体１６と飛行物体２６とが同一物であると判定できる場合に、飛行物体１６及び飛行物体２６を一つの飛行物体として検出する。画像１４と画像２４の撮像時刻は同一であってよい。
　画像処理装置１００は、画像１４内の第１領域と画像２４内の第１領域との差分と、地形及び建物の情報を含む地図データ中の第１領域に対応する範囲内の地形及び建物の情報とに基づいて、飛行物体を検出してもよい。画像１４及び画像２４の被写体のうち、飛行物体１６及び飛行物体２６の他にも、比較的高度の高い高層建築物及び山等が差分として検出されることになるが、画像処理装置１００は、差分として検出された対象物のうち、地図データに含まれる高層建築物及び山等を除外してよい。これにより、飛行物体１６及び飛行物体２６の検出精度を向上させることができる。
　画像処理装置１００は、カメラ１０によって撮像された画像及びカメラ２０によって撮像された画像の少なくともいずれかに基づいて、飛行物体を識別してもよい。画像処理装置１００は、飛行物体の形状及び飛行物体の動きの少なくともいずれかによって飛行物体を識別してよい。画像処理装置１００は、例えば、飛行物体がドローン等の無人航空機であるか否かを識別する。また、例えば、画像処理装置１００は、飛行物体が鳥類であるか否かを識別する。飛行物体が鳥類であり、カメラ１０及びカメラ２０が、赤外線カメラ及びハイパースペクトルカメラである場合、画像処理装置１００は、画像１４及び画像２４の少なくともいずれかに基づいて、鳥の種類を識別してもよい。
　画像処理装置１００は、カメラ１０によって撮像された画像及びカメラ２０によって撮像された画像の少なくともいずれかに基づいて、飛行物体の飛行速度、飛行方向、及び飛行ルート予測の少なくともいずれかを導出してもよい。例えば画像処理装置１００は、時間的に連続する画像から、飛行物体の飛行速度及び飛行方向を導出する。また、例えば、画像処理装置１００は、導出した飛行速度及び飛行方向から、飛行ルート予測を導出する。
　図２は、飛行体２００の一例を概略的に示す。飛行体２００は、画像処理装置１００として機能してよい。飛行体２００は、カメラ２１０及びカメラ２２０を有する。カメラ２１０は飛行体２００の翼の一端に配置され、カメラ２２０は飛行体２００の翼の他端に配置されている。カメラ２１０及びカメラ２２０は、カメラ１０及びカメラ２０の一例であってよい。図２に示す飛行体２００は、プロペラ、太陽電池パネル、バッテリ及びアンテナを有する成層圏プラットフォームである。図２では、飛行体２００が成層圏プラットフォームである場合を例に挙げて説明するが、これに限らず、飛行体２００は、飛行機、無人航空機、及び気球等であってもよい。飛行体２００が前後に長い形状を有する場合、カメラ２１０は、飛行体２００の先端に配置され、カメラ２２０は、飛行体２００の後端に配置されてもよい。
　飛行体２００は、地上局３００を介してネットワーク８０と通信する。ネットワーク８０は、例えば、インターネット及び携帯電話網を含む。
　飛行体２００は、カメラ２１０及びカメラ２２０によって撮像した画像から、飛行物体を検出する。飛行体２００は、飛行物体を検出した場合、地上局３００及びネットワーク８０を介して、任意の通信機器に警告を送信してよい。飛行体２００は、さらに、飛行物体の画像、飛行物体の飛行速度、飛行方向、及び飛行ルート予測等を当該通信機器に対して送信してもよい。
　図３は、飛行体２００のハードウエア構成の一例を概略的に示す。飛行体２００は、飛行制御ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２０２、通信装置２０４、アンテナ２０５、ＤＢ（ＤａｔａＢａｓｅ）２０６、カメラ２１０、カメラ２２０、及び画像処理ＣＰＵ２３０を備える。飛行制御ＣＰＵ２０２、通信装置２０４、ＤＢ２０６、画像処理ＣＰＵ２３０は、データバス２０８を介して接続されている。
　飛行制御ＣＰＵ２０２は、飛行体２００の飛行を制御する。通信装置２０４は、アンテナ２０５を介した通信を実行する。通信装置２０４は、例えば、アンテナ２０５を介して地上局３００と通信する。
　ＤＢ２０６は、各種データを格納する。ＤＢ２０６は、例えば、地形及び建物の情報を含む地図データを格納する。ＤＢ２０６は、例えば、通信装置２０４が地上局３００及びネットワーク８０を介して、任意の通信機器から受信した地図データを格納する。ＤＢ２０６は、カメラ２１０によって撮像された画像を格納してよい。ＤＢ２０６は、カメラ２２０によって撮像された画像を格納してよい。
　画像処理ＣＰＵ２３０は、カメラ２１０が撮像した画像及びカメラ２２０が撮像した画像を処理する。画像処理ＣＰＵ２３０は、カメラ２１０が撮像した画像内の第１領域と、カメラ２２０が撮像した画像内の第１領域との差分に基づいて、飛行体２００よりも低い高度の飛行物体を検出する。
　図４は、飛行体２００による処理の流れの一例を概略的に示す。飛行体２００は、例えば、図４に示す処理を定期的に実行する。飛行体２００は、地上局３００から指示を受領したことに応じて、図４に示す処理を実行してもよい。
　ステップ（ステップをＳと省略して記載する場合がある。）１０２では、カメラ２１０及びカメラ２２０が画像を撮像する。Ｓ１０４では、画像処理ＣＰＵ２３０が、カメラ２１０及びカメラ２２０によって撮像された画像を補正する。画像処理ＣＰＵ２３０は、例えば、画像に傾き補正を施す。
　Ｓ１０６では、画像処理ＣＰＵ２３０が、Ｓ１０４において補正した画像を突合する。画像処理ＣＰＵ２３０は、ＤＢ２０６に格納されている地図データを参照して、突合した画像から、既知の建築物及び山等を除外してよい。
　Ｓ１０８では、画像処理ＣＰＵ２３０が、画像内に不審飛行物体が有るか否かを判定する。有ると判定した場合、Ｓ１１０に進み、無いと判定した場合、Ｓ１１２に進む。Ｓ１１０では、画像処理ＣＰＵ２３０が、通信装置２０４に、地上局３００及びネットワーク８０を介して予め設定された機器に対して警報を発令させるとともに、不審飛行物体の画像を送信させる。
　Ｓ１１２では、処理を終了するか否かを判定する。終了しないと判定した場合、Ｓ１０２に戻り、終了すると判定した場合、処理を終了する。
　図５は、画像処理ＣＰＵ２３０の機能構成の一例を概略的に示す。画像処理ＣＰＵ２３０は、画像取得部２３２、飛行物体検出部２３４、地図データ参照部２３６、物体識別部２３８、飛行情報導出部２４０、高度導出部２４２、及び送信制御部２４４を有する。
　画像取得部２３２は、カメラ２１０が撮像した画像を取得する。画像取得部２３２は、カメラ２２０が撮像した画像を取得する。
　飛行物体検出部２３４は、画像取得部２３２が取得した画像に基づいて、飛行物体を検出する。地図データ参照部２３６は、ＤＢ２０６に格納されている地図データを参照する。飛行物体検出部２３４は、画像取得部２３２が取得した画像と、地図データ参照部２３６が参照した地図データとに基づいて飛行物体を検出してよい。
　物体識別部２３８は、画像取得部２３２が取得したカメラ２１０及びカメラ２２０によって撮像された画像に基づいて、飛行物体検出部２３４が検出した飛行物体を識別する。物体識別部２３８は、例えば、飛行物体が無人航空機であるか否かを判定する。物体識別部２３８は、飛行物体が鳥類であるか否かを識別してもよい。
　飛行情報導出部２４０は、画像取得部２３２が取得したカメラ２１０及びカメラ２２０によって撮像された画像に基づいて、飛行物体検出部２３４が検出した飛行物体の飛行速度、飛行方向、及び飛行ルート予測の少なくともいずれかを導出する。
　高度導出部２４２は、飛行物体検出部２３４が検出した飛行物体の高度を導出する。高度導出部２４２は、例えば、カメラ２１０から飛行物体までの距離と、カメラ２１０の高度に基づいて、飛行物体の高度を導出する。高度導出部２４２は、例えば、飛行体２００が有する高度計によって測定された高度をカメラ２１０の高度とする。また、高度導出部２４２は、例えば、カメラ２１０によって撮像された画像と、カメラ２２０によって撮像された画像に対して、三角測量を用いた手法等の公知の手法を適用して、カメラ２１０と飛行物体との距離を導出する。そして、高度導出部２４２は、カメラ２１０の高度から、カメラ２１０と飛行物体との距離を減算することによって、飛行物体の高度を導出する。
　送信制御部２４４は、各種情報を通信装置２０４に送信させる。送信制御部２４４は、例えば、飛行物体検出部２３４が飛行物体を検出した場合に、警告情報を通信装置２０４に、予め設定された通信機器に向けて送信させる。送信制御部２４４は、警告出力部の一例であってよい。送信制御部２４４は、物体識別部２３８による識別結果を通信装置２０４に送信させてもよい。送信制御部２４４は、飛行情報導出部２４０によって導出された情報を通信装置２０４に送信させてもよい。送信制御部２４４は、高度導出部２４２によって導出された高度を通信装置２０４に送信させてもよい。
　なお、図２から図５では、飛行体２００が画像処理装置１００として機能する例を挙げて説明したが、これに限らない。例えば、地上局３００が画像処理装置１００として機能してもよい。この場合、地上局３００は、カメラ２１０及びカメラ２２０によって撮像された画像を飛行体２００から受信して、受信した画像に基づいて飛行物体を検出する。また、例えば、ネットワーク８０に接続された通信機器が画像処理装置１００として機能してもよい。この場合、当該通信機器は、カメラ２１０及びカメラ２２０によって撮像された画像を飛行体２００、地上局３００、及びネットワーク８０を介して受信して、受信した画像に基づいて飛行物体を検出する。
　図６は、飛行体４００及び飛行体５００の一例を概略的に示す。飛行体４００は、カメラ４１０を有する。カメラ４１０は、カメラ１０の一例であってよい。飛行体５００は、カメラ５１０を有する。カメラ５１０は、カメラ２０の一例であってよい。図６に示す飛行体４００及び飛行体５００は、成層圏プラットフォームである。図６では、飛行体４００及び飛行体５００が成層圏プラットフォームである場合を例に挙げて説明するが、これに限らず、飛行体４００及び飛行体５００は、飛行機、無人航空機、及び気球等であってもよい。
　飛行体４００は、地上局３００を介してネットワーク８０と通信する。飛行体５００は、地上局６００を介してネットワーク８０と通信する。地上局３００は、画像処理装置として機能してよい。
　地上局３００は、カメラ４１０によって撮像された画像を飛行体４００から受信する。また、地上局３００は、カメラ５１０によって撮像された画像を、飛行体５００、地上局６００、及びネットワーク８０を介して受信する。地上局３００は、カメラ４１０によって撮像された画像と、カメラ５１０によって撮像された画像から飛行物体を検出する。地上局３００は、飛行物体を検出した場合、ネットワーク８０を介して、任意の通信機器に警告を送信してよい。地上局３００は、さらに、飛行物体の画像、飛行物体の飛行速度、飛行方向、及び飛行ルート予測等を当該通信機器に対して送信してもよい。
　図７は、飛行体４００、飛行体５００、及び地上局３００のハードウエア構成の一例を概略的に示す。飛行体４００は、飛行制御ＣＰＵ４０２、通信装置４０４、アンテナ４０５、カメラ４１０、及び画像処理ＣＰＵ４２０を備える。飛行制御ＣＰＵ４０２、通信装置４０４、及び画像処理ＣＰＵ４２０は、データバス４０８を介して接続されている。
　飛行制御ＣＰＵ４０２は、飛行体４００の飛行を制御する。通信装置４０４は、アンテナ４０５を介した通信を実行する。通信装置４０４は、例えば、アンテナ４０５を介して地上局３００と通信する。
　画像処理ＣＰＵ４２０は、カメラ４１０が撮像した画像を処理する。画像処理ＣＰＵ４２０は、例えば、カメラ４１０が撮像した画像を、通信装置４０４に、地上局３００に向けて送信させる。画像処理ＣＰＵ４２０は、カメラ４１０が撮像した画像に対して傾き補正を施してもよい。
　飛行体５００は、飛行制御ＣＰＵ５０２、通信装置５０４、アンテナ５０５、カメラ５１０、及び画像処理ＣＰＵ５２０を備える。飛行制御ＣＰＵ５０２、通信装置５０４、及び画像処理ＣＰＵ５２０は、データバス５０８を介して接続されている。
　飛行制御ＣＰＵ５０２は、飛行体５００の飛行を制御する。通信装置５０４は、アンテナ５０５を介した通信を実行する。通信装置５０４は、例えば、アンテナ５０５を介して地上局６００と通信する。
　画像処理ＣＰＵ５２０は、カメラ５１０が撮像した画像を処理する。画像処理ＣＰＵ５２０は、例えば、カメラ５１０が撮像した画像を、通信装置５０４に、地上局６００に向けて送信させる。画像処理ＣＰＵ５２０は、カメラ５１０が撮像した画像に対して傾き補正を施してもよい。
　地上局３００は、インターネット接続部３０２、通信装置３０４、アンテナ３０５、ＤＢ３０６、及び画像処理ＣＰＵ３０８を備える。インターネット接続部３０２、通信装置３０４、ＤＢ３０６、及び画像処理ＣＰＵ３０８は、データバス３０９を介して接続されている。
　インターネット接続部３０２は、ネットワーク８０に接続して、インターネット上の通信機器と通信する。通信装置３０４は、アンテナ３０５を介した通信を実行する。通信装置３０４は、例えば、アンテナ３０５を介して飛行体４００と通信する。
　ＤＢ３０６は、各種データを格納する。ＤＢ３０６は、例えば、地形及び建物の情報を含む地図データを格納する。ＤＢ３０６は、例えば、インターネット接続部３０２がネットワーク８０を介して任意の通信機器から受信した地図データを格納する。ＤＢ３０６は、通信装置３０４が飛行体４００から受信したカメラ４１０による撮像画像を格納してよい。ＤＢ３０６は、インターネット接続部３０２が、ネットワーク８０及び地上局６００を介して飛行体５００から受信したカメラ５１０による撮像画像を格納してよい。
　画像処理ＣＰＵ３０８は、カメラ４１０による撮像画像及びカメラ５１０による撮像画像を処理する。画像処理ＣＰＵ３０８は、カメラ４１０による撮像画像内の第１領域と、カメラ５１０による撮像画像内の第１領域との差分に基づいて、飛行体４００及び飛行体５００よりも低い高度の飛行物体を検出する。
　図８は、地上局３００による処理の流れの一例を概略的に示す。地上局３００は、例えば、図８に示す処理を定期的に実行する。
　Ｓ２０２では、飛行体４００及び飛行体５００によって撮像された画像を受信する。Ｓ２０４では、画像処理ＣＰＵ３０８が、Ｓ２０２において受信した画像を補正する。画像処理ＣＰＵ３０８は、例えば、画像に傾き補正を施す。
　Ｓ２０６では、画像処理ＣＰＵ３０８が、Ｓ２０４において補正した画像を突合する。画像処理ＣＰＵ３０８は、ＤＢ３０６に格納されている地図データを参照して、突合した画像から、既知の建築物及び山等を除外してよい。
　Ｓ２０８では、画像処理ＣＰＵ３０８が、画像内に不審飛行物体が有るか否かを判定する。有ると判定した場合、Ｓ２１０に進み、無いと判定した場合、Ｓ２１２に進む。Ｓ２１０では、画像処理ＣＰＵ３０８が、通信装置３０４に、ネットワーク８０を介して予め設定された通信機器に対して警報を発令させるとともに、不審飛行物体の画像を送信させる。
　Ｓ２１２では、処理を終了するか否かを判定する。終了しないと判定した場合、Ｓ２０２に戻り、終了すると判定した場合、処理を終了する。
　図９は、画像処理ＣＰＵ３０８の機能構成の一例を概略的に示す。画像処理ＣＰＵ３０８は、画像取得部３３２、飛行物体検出部３３４、地図データ参照部３３６、物体識別部３３８、飛行情報導出部３４０、高度導出部３４２、送信制御部３４４、推定高度取得部３５２、及び調整制御部３５４を有する。
　画像取得部３３２は、カメラ４１０が撮像した画像を取得する。画像取得部３３２は、カメラ５１０が撮像した画像を取得する。
　飛行物体検出部３３４は、画像取得部３３２が取得した画像に基づいて、飛行物体を検出する。地図データ参照部３３６は、ＤＢ３０６に格納されている地図データを参照する。飛行物体検出部３３４は、画像取得部３３２が取得した画像と、地図データ参照部３３６が参照した地図データとに基づいて飛行物体を検出してよい。
　物体識別部３３８は、画像取得部３３２が取得したカメラ４１０及びカメラ５１０によって撮像された画像に基づいて、飛行物体検出部３３４が検出した飛行物体を識別する。物体識別部３３８は、例えば、飛行物体が無人航空機であるか否かを判定する。物体識別部３３８は、飛行物体が鳥類であるか否かを識別してもよい。
　飛行情報導出部３４０は、画像取得部３３２が取得したカメラ２１０及びカメラ２２０によって撮像された画像に基づいて、飛行物体検出部３３４が検出した飛行物体の飛行速度、飛行方向、及び飛行ルート予測の少なくともいずれかを導出する。
　高度導出部３４２は、飛行物体検出部３３４が検出した飛行物体の高度を導出する。高度導出部３４２は、例えば、カメラ４１０から飛行物体までの距離と、カメラ４１０の高度に基づいて、飛行物体の高度を導出する。高度導出部３４２は、例えば、飛行体４００が有する高度計によって測定された高度をカメラ４１０の高度とする。また、高度導出部３４２は、例えば、カメラ４１０によって撮像された画像と、カメラ５１０によって撮像された画像に対して、三角測量を用いた手法等の公知の手法を適用して、カメラ４１０と飛行物体との距離を導出する。そして、高度導出部３４２は、カメラ４１０の高度から、カメラ４１０と飛行物体との距離を減算することによって、飛行物体の高度を導出する。
　送信制御部３４４は、各種情報を通信装置３０４に送信させる。送信制御部３４４は、例えば、飛行物体検出部３３４が飛行物体を検出した場合に、警告情報を通信装置３０４に、予め設定された通信機器に向けて送信させる。送信制御部３４４は、物体識別部３３８による識別結果を通信装置３０４に送信させてもよい。送信制御部３４４は、飛行情報導出部３４０によって導出された情報を通信装置３０４に送信させてもよい。送信制御部３４４は、高度導出部３４２によって導出された高度を通信装置３０４に送信させてもよい。
　なお、図６から図９では、地上局３００が画像処理装置１００として機能する例を挙げて説明したが、これに限らない。例えば、地上局６００が画像処理装置１００として機能してもよい。この場合、地上局６００は、カメラ４１０によって撮像された画像を地上局３００及びネットワーク８０を介して飛行体４００受信し、カメラ５１０によって撮像された画像を飛行体５００から受信し、受信した画像に基づいて飛行物体を検出する。また、例えば、ネットワーク８０に接続された通信機器が画像処理装置１００として機能してもよい。この場合、当該通信機器は、カメラ４１０によって撮像された画像を地上局３００及びネットワーク８０を介して受信し、カメラ５１０によって撮像された画像を地上局６００及びネットワーク８０を介して受信し、受信した画像に基づいて飛行物体を検出する。
　推定高度取得部３５２は、飛行物体の推定高度を取得する。推定高度取得部３５２は、例えば、ネットワーク８０上の通信機器から、飛行物体の推定高度を取得する。推定高度は、例えば、検出対象の飛行物体の平均的な高度である。
　調整制御部３５４は、推定高度取得部３５２が取得した推定高度に応じて、飛行体４００と飛行体５００との間の距離を調整させる。調整制御部３５４は、例えば、飛行体４００と飛行体５００との間の距離を調整すべく、飛行体４００の飛行制御データを飛行体４００に向けて通信装置３０４に送信させ、飛行体５００の飛行制御データを飛行体５００に向けてインターネット接続部３０２に送信させる。
　推定高度取得部３５２は、飛行物体の推定位置をさらに取得してもよく、この場合調整制御部３５４は、推定高度及び推定位置に応じて、飛行体４００と飛行体５００との間の距離、飛行体４００の高度、及び飛行体５００の高度を調整させてよい。
　図１０は、飛行体４００及び飛行体５００による画像４３０及び画像５３０に対する傾き補正を説明する説明図である。画像４３０に対する傾き補正は、飛行体４００によって実行されてよい。また、地上局３００が画像処理装置として機能する場合、画像４３０に対する傾き補正は地上局３００によって実行されてもよい。また、ネットワーク８０上の通信機器が画像処理装置として機能する場合、画像４３０に対する傾き補正は当該通信機器によって実行されてもよい。
　画像５３０に対する傾き補正は、飛行体５００によって実行されてよい。また、地上局６００が画像処理装置として機能する場合、画像５３０に対する傾き補正は地上局６００によって実行されてもよい。また、ネットワーク８０上の通信機器が画像処理装置として機能する場合、画像５３０に対する傾き補正は当該通信機器によって実行されてもよい。
　画像４３０を傾き補正した補正画像４３２と、画像５３０を傾き補正した補正画像５３２とは、画像処理装置１００によって突合されてよい。
　図１１は、飛行物体８００の検出精度を説明する説明図である。ここでは、カメラ４１０及びカメラ５１０による撮像画像の総画素数が１億ピクセルであり、縦ピクセル数が１万ピクセル、横ピクセル数が１万ピクセルであり、カメラ４１０及びカメラ５１０による撮像範囲が１ｋｍ四方であり、カメラ４１０とカメラ５１０との距離７１０が２ｋｍ、カメラ４１０とカメラ５１０の高度が２０ｋｍ、対象の飛行物体８００である無人航空機の地上高が１０ｍである場合を例に挙げて説明する。
　この場合、１ピクセルサイズは０．１ｍとなる。無人航空機の上と下は相似形であるので、高度７３０／高度７２０＝距離７４０／距離７１０となり、距離７４０は１ｍとなり、ずれピクセル数は１０ピクセルとなる。
　図１１に示したように、例えば、高度２０ｋｍを飛行する飛行体４００及び飛行体５００が、２ｋｍ離れた位置から撮像した場合、地上高１０ｍの無人航空機を検出することは理論的に可能である。
　上記実施形態では、飛行体２００が地上局３００を介してネットワーク８０と通信する例を主に挙げて説明したが、これに限らない。飛行体２００は、衛星通信を実行してもよい。
　図１２は、飛行体２００の通信環境の一例を概略的に示す。ここでは、図２と異なる点を主に説明する。
　飛行体２００は、不図示の衛星通信部を備え、通信衛星９００との間で衛星通信を実行する。飛行体２００は、通信衛星９００を介してネットワーク８０と通信してよい。通信衛星９００は、例えば、地上局９１０を介して、飛行体２００とネットワーク８０との間の通信を中継する。
　飛行体２００は、飛行物体を検出した場合、通信衛星９００、地上局９１０及びネットワーク８０を介して、任意の通信機器に警告を送信してよい。飛行体２００は、さらに、飛行物体の画像、飛行物体の飛行速度、飛行方向、及び飛行ルート予測等を当該通信機器に対して送信してもよい。
　図１３は、飛行体４００及び飛行体５００の通信環境の一例を概略的に示す。ここでは、図６と異なる点を主に説明する。
　飛行体４００は、不図示の衛星通信部を備え、通信衛星９００との間で衛星通信を実行する。飛行体４００は、通信衛星９００を介してネットワーク８０と通信してよい。通信衛星９００は、例えば、地上局９１０を介して、飛行体４００とネットワーク８０との間の通信を中継する。
　飛行体５００は、不図示の衛星通信部を備え、通信衛星９００との間で衛星通信を実行する。飛行体５００は、通信衛星９００を介してネットワーク８０と通信してよい。通信衛星９００は、例えば、地上局９１０を介して、飛行体５００とネットワーク８０との間の通信を中継する。
　地上局９１０は、不図示の衛星通信部を備え、カメラ４１０によって撮像された画像を、飛行体４００及び通信衛星９００を介して受信してよい。また、地上局９１０は、カメラ５１０によって撮像された画像を、飛行体５００及び通信衛星９００を介して受信してよい。地上局９１０は、カメラ４１０によって撮像された画像と、カメラ５１０によって撮像された画像から飛行物体を検出してよい。地上局９１０は、飛行物体を検出した場合、ネットワーク８０を介して、任意の通信機器に警告を送信してよい。地上局９１０は、さらに、飛行物体の画像、飛行物体の飛行速度、飛行方向、及び飛行ルート予測等を当該通信機器に対して送信してもよい。
　飛行体４００は、通信衛星９００を介して飛行体５００と通信してもよい。飛行体４００は、例えば、カメラ５１０によって撮像された画像を、飛行体５００及び通信衛星９００を介して受信してよい。飛行体４００は、カメラ４１０によって撮像した画像と、カメラ５１０によって撮像された画像から飛行物体を検出してよい。飛行体４００は、飛行物体を検出した場合、通信衛星９００、地上局９１０、及びネットワーク８０を介して、任意の通信機器に警告を送信してよい。飛行体４００は、さらに、飛行物体の画像、飛行物体の飛行速度、飛行方向、及び飛行ルート予測等を当該通信機器に対して送信してもよい。
　以上の説明において、画像処理装置１００の各部は、ハードウエアにより実現されてもよく、ソフトウエアにより実現されてもよい。また、ハードウエアとソフトウエアとの組み合わせにより実現されてもよい。また、プログラムが実行されることにより、コンピュータが、画像処理装置１００として機能してもよい。プログラムは、コンピュータ読み取り可能な媒体又はネットワークに接続された記憶装置から、画像処理装置１００の少なくとも一部を構成するコンピュータにインストールされてよい。
　コンピュータにインストールされ、コンピュータを本実施形態に係る画像処理装置１００として機能させるプログラムは、ＣＰＵ等に働きかけて、コンピュータを、画像処理装置１００の各部としてそれぞれ機能させる。これらのプログラムに記述された情報処理は、コンピュータに読込まれることにより、ソフトウエアと画像処理装置１００のハードウエア資源とが協働した具体的手段として機能する。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
　請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
１０　カメラ、１２　撮像範囲、１４　画像、１６　飛行物体、２０　カメラ、２２　撮像範囲、２４　画像、２６　飛行物体、３０　差分画像、４０　飛行物体、８０　ネットワーク、１００　画像処理装置、２００　飛行体、２０２　飛行制御ＣＰＵ、２０４　通信装置、２０５　アンテナ、２０６　ＤＢ、２０８　データバス、２１０　カメラ、２２０　カメラ、２３０　画像処理ＣＰＵ、２３２　画像取得部、２３４　飛行物体検出部、２３６　地図データ参照部、２３８　物体識別部、２４０　飛行情報導出部、２４２　高度導出部、２４４　送信制御部、３００　地上局、３０２　インターネット接続部、３０４　通信装置、３０５　アンテナ、３０６　ＤＢ、３０８　画像処理ＣＰＵ、３０９　データバス、３３２　画像取得部、３３４　飛行物体検出部、３３６　地図データ参照部、３３８　物体識別部、３４０　飛行情報導出部、３４２　高度導出部、３４４　送信制御部、３５２　推定高度取得部、３５４　調整制御部、４００　飛行体、４０２　飛行制御ＣＰＵ、４０４　通信装置、４０５　アンテナ、４０８　データバス、４１０　カメラ、４２０　画像処理ＣＰＵ、４３０　画像、４３２　補正画像、５００　飛行体、５０２　飛行制御ＣＰＵ、５０４　通信装置、５０５　アンテナ、５０８　データバス、５１０　カメラ、５２０　画像処理ＣＰＵ、５３０　画像、５３２　補正画像、６００　地上局、７１０　距離、７２０　高度、７３０　高度、７４０　距離、８００　飛行物体、９００　通信衛星、９１０　地上局

Claims (20)

  1. 　第１高度から前記第１高度よりも低い高度の方向を撮像する第１カメラによって撮像された第１領域を被写体として含む第１画像と、第２高度から前記第２高度よりも低い高度の方向を撮像する第２カメラによって撮像された前記第１領域を被写体として含む第２画像とを取得する画像取得部と、
    　前記第１画像内の前記第１領域と前記第２画像内の前記第１領域との差分に基づいて、前記第１高度及び前記第２高度よりも低い高度の飛行物体を検出する飛行物体検出部と
    　を備える画像処理装置。
  2. 　前記第１カメラは飛行体の翼の一端に配置され、
    　前記第２カメラは前記飛行体の翼の他端に配置されている、請求項１に記載の画像処理装置。
  3. 　前記第１カメラは、飛行体の先端に配置され、
    　前記第２カメラは、前記飛行体の後端に配置されている、請求項１に記載の画像処理装置。
  4. 　前記第１カメラは、第１飛行体に搭載され、
    　前記第２カメラは、前記第１飛行体とは異なる第２飛行体に搭載されている、請求項１に記載の画像処理装置。
  5. 　前記飛行物体の推定高度を取得する推定高度取得部と、
    　前記推定高度に応じて、前記第１飛行体と前記第２飛行体との間の距離を調整させる調整制御部と
    　をさらに備える、請求項４に記載の画像処理装置。
  6. 　前記調整制御部は、前記第１飛行体と前記第２飛行体との間の距離を調整すべく、前記第１飛行体の飛行制御データを前記第１飛行体に向けて送信させ、前記第２飛行体の飛行制御データを前記第２飛行体に向けて送信させる、請求項５に記載の画像処理装置。
  7. 　前記推定高度取得部は、前記飛行物体の推定位置をさらに取得し、
    　前記調整制御部は、前記推定高度及び前記推定位置に応じて、前記第１飛行体と前記第２飛行体との間の距離、前記第１飛行体の高度、及び前記第２飛行体の高度を調整させる、請求項５又は６に記載の画像処理装置。
  8. 　前記第１画像の撮影時刻と前記第２画像の撮影時刻は同一である、請求項１から７のいずれか一項に記載の画像処理装置。
  9. 　前記画像取得部は、前記第１カメラによって撮像された後で傾き補正が施された前記第１画像と、前記第２カメラによって撮像された後で傾き補正が施された前記第２画像とを取得する、請求項１から８のいずれか一項に記載の画像処理装置。
  10. 　地形及び建物の情報を含む地図データを参照する地図データ参照部
    　をさらに備え、
    　前記飛行物体検出部は、前記第１画像内の前記第１領域と前記第２画像内の前記第１領域との差分と、前記地図データ中の前記第１領域に対応する範囲内の地形及び建物の情報とに基づいて、前記飛行物体を検出する、請求項１から９のいずれか一項に記載の画像処理装置。
  11. 　前記第１カメラによって撮像された画像及び前記第２カメラによって撮像された画像の少なくともいずれかに基づいて、前記飛行物体を識別する物体識別部
    　をさらに備える、請求項１から１０のいずれか一項に記載の画像処理装置。
  12. 　前記物体識別部は、前記飛行物体が鳥類であるか否かを識別する、請求項１１に記載の画像処理装置。
  13. 　前記物体識別部は、前記飛行物体が無人航空機であるか否かを識別する、請求項１１又は１２に記載の画像処理装置。
  14. 　前記第１カメラによって撮像された画像及び前記第２カメラによって撮像された画像の少なくともいずれかに基づいて、前記飛行物体の飛行速度、飛行方向、及び飛行ルート予測の少なくともいずれかを導出する飛行情報導出部
    　をさらに備える、請求項１から１３のいずれか一項に記載の画像処理装置。
  15. 　前記第１カメラから前記飛行物体までの距離及び前記第１高度に基づいて、前記飛行物体の高度を導出する高度導出部
    　をさらに備える、請求項１から１４のいずれか一項に記載の画像処理装置。
  16. 　前記飛行物体検出部が前記飛行物体を検出したことに応じて警告を出力する警告出力部
    　をさらに備える、請求項１から１５のいずれか一項に記載の画像処理装置。
  17. 　前記画像処理装置は、飛行体に搭載され、
    　前記警告出力部は、前記飛行物体検出部が前記飛行物体を検出したことに応じて、通信衛星を介して地上の通信機器に前記警告を送信する、請求項１６に記載の画像処理装置。
  18. 　前記画像処理装置は、飛行体に搭載され、
    　前記画像処理装置は、通信衛星と通信する衛星通信部をさらに備える、請求項１から１７のいずれか一項に記載の画像処理装置。
  19. 　コンピュータを、請求項１から１８のいずれか一項に記載の画像処理装置として機能させるためのプログラム。
  20. 　前記第１カメラと、
    　前記第２カメラと、
    　請求項１に記載の画像処理装置と
    　を備える飛行体。
PCT/JP2019/003219 2018-02-20 2019-01-30 画像処理装置、飛行体及びプログラム WO2019163454A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020207026536A KR102266223B1 (ko) 2018-02-20 2019-01-30 화상 처리 장치, 비행체 및 프로그램
CA3091897A CA3091897C (en) 2018-02-20 2019-01-30 Image processing device, flight vehicle, and program
CN201980013537.2A CN111742348B (zh) 2018-02-20 2019-01-30 图像处理装置、飞行体及程序
EP19757834.7A EP3757941B1 (en) 2018-02-20 2019-01-30 Image processing device, flying object, and program
US16/989,832 US11042740B2 (en) 2018-02-20 2020-08-10 Image processing device, flight vehicle, and computer-readable storage medium
IL276818A IL276818B (en) 2018-02-20 2020-08-19 Image processing device, flying object and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-027905 2018-02-20
JP2018027905A JP6652979B2 (ja) 2018-02-20 2018-02-20 画像処理装置、飛行体及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/989,832 Continuation US11042740B2 (en) 2018-02-20 2020-08-10 Image processing device, flight vehicle, and computer-readable storage medium

Publications (1)

Publication Number Publication Date
WO2019163454A1 true WO2019163454A1 (ja) 2019-08-29

Family

ID=67687232

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/003219 WO2019163454A1 (ja) 2018-02-20 2019-01-30 画像処理装置、飛行体及びプログラム

Country Status (8)

Country Link
US (1) US11042740B2 (ja)
EP (1) EP3757941B1 (ja)
JP (1) JP6652979B2 (ja)
KR (1) KR102266223B1 (ja)
CN (1) CN111742348B (ja)
CA (1) CA3091897C (ja)
IL (1) IL276818B (ja)
WO (1) WO2019163454A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021078663A1 (en) * 2019-10-23 2021-04-29 Airbus Operations Limited Aerial vehicle detection

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3107374C (en) * 2018-07-24 2022-09-27 Tg-17, Llc Systems and methods for autonomous machine tracking and localization of mobile objects
US11532155B1 (en) * 2019-07-09 2022-12-20 ACME Atronomatic, LLC Methods and devices for earth remote sensing using stereoscopic hyperspectral imaging in the visible (VIS) and infrared (IR) bands
EP4287162A1 (en) * 2021-01-29 2023-12-06 NEC Corporation Control system, flying body identification method, computer-readable medium, and flying body
KR102473353B1 (ko) * 2021-04-01 2022-12-06 주식회사 켐에쎈 드론을 이용한 전신주 새집 생성 방지 시스템 및 그 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0969148A (ja) * 1995-08-31 1997-03-11 Tokyo Gas Co Ltd 地図データ作成方法
JPH11257931A (ja) * 1998-03-13 1999-09-24 Matsushita Electric Ind Co Ltd 物体認識装置
JP2000283753A (ja) * 1999-03-31 2000-10-13 Fuji Heavy Ind Ltd ステレオ画像による測距装置
JP2001333416A (ja) * 2000-05-19 2001-11-30 Fujitsu General Ltd ネットワーク監視カメラシステム
WO2017073310A1 (ja) * 2015-10-27 2017-05-04 三菱電機株式会社 構造物の形状測定用の画像撮影システム、構造物の形状測定に使用する構造物の画像を撮影する方法、機上制御装置、遠隔制御装置、プログラム、および記録媒体
JP2017167870A (ja) 2016-03-17 2017-09-21 セコム株式会社 飛行物体監視システム及び飛行物体監視装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4378571B2 (ja) * 2007-05-31 2009-12-09 Ｎｅｃシステムテクノロジー株式会社 地図変化検出装置、地図変化検出方法およびプログラム
WO2011140178A1 (en) * 2010-05-04 2011-11-10 Bae Systems National Security Solutions Inc. Inverse stereo image matching for change detection
US8923558B2 (en) * 2012-05-15 2014-12-30 Raytheon Company Moving object detection using stereo rectified images acquired from a moving aircraft
CN102779347B (zh) * 2012-06-14 2014-08-06 清华大学 一种用于飞行器的目标跟踪与定位方法和装置
KR101252680B1 (ko) * 2012-11-28 2013-04-08 네이버시스템(주) 디지털 항공이미지를 이용한 영상도화시스템
EP3121675B1 (en) * 2015-07-23 2019-10-02 The Boeing Company Method for positioning aircrafts based on analyzing images of mobile targets
CN205524962U (zh) * 2016-03-30 2016-08-31 深圳市高巨创新科技开发有限公司 一种组合式无人机
IL244838A0 (en) * 2016-03-30 2016-07-31 Itai Orr System and method for autonomous driving of vehicles
CN109196441A (zh) * 2016-05-16 2019-01-11 深圳市大疆创新科技有限公司 用于协调设备动作的系统和方法
CN106598075A (zh) * 2016-07-21 2017-04-26 深圳曼塔智能科技有限公司 一种基于发光目标识别的无人机跟踪控制系统及方法
EP3444688A4 (en) * 2016-08-11 2019-07-10 Autel Robotics Co., Ltd. METHOD AND SYSTEM FOR TRACKING AND IDENTIFICATION AND AIRCRAFT
CN106444837A (zh) * 2016-10-17 2017-02-22 北京理工大学 一种无人机避障方法及系统
CN107016690B (zh) * 2017-03-06 2019-12-17 浙江大学 基于视觉的无人机入侵检测与识别系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0969148A (ja) * 1995-08-31 1997-03-11 Tokyo Gas Co Ltd 地図データ作成方法
JPH11257931A (ja) * 1998-03-13 1999-09-24 Matsushita Electric Ind Co Ltd 物体認識装置
JP2000283753A (ja) * 1999-03-31 2000-10-13 Fuji Heavy Ind Ltd ステレオ画像による測距装置
JP2001333416A (ja) * 2000-05-19 2001-11-30 Fujitsu General Ltd ネットワーク監視カメラシステム
WO2017073310A1 (ja) * 2015-10-27 2017-05-04 三菱電機株式会社 構造物の形状測定用の画像撮影システム、構造物の形状測定に使用する構造物の画像を撮影する方法、機上制御装置、遠隔制御装置、プログラム、および記録媒体
JP2017167870A (ja) 2016-03-17 2017-09-21 セコム株式会社 飛行物体監視システム及び飛行物体監視装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3757941A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021078663A1 (en) * 2019-10-23 2021-04-29 Airbus Operations Limited Aerial vehicle detection
GB2588893A (en) * 2019-10-23 2021-05-19 Airbus Operations Ltd Aerial vehicle detection

Also Published As

Publication number Publication date
JP6652979B2 (ja) 2020-02-26
JP2019144804A (ja) 2019-08-29
US20200372238A1 (en) 2020-11-26
KR20200115648A (ko) 2020-10-07
EP3757941A4 (en) 2022-03-30
CA3091897A1 (en) 2019-08-29
CN111742348B (zh) 2022-02-15
EP3757941C0 (en) 2023-06-07
US11042740B2 (en) 2021-06-22
EP3757941A1 (en) 2020-12-30
EP3757941B1 (en) 2023-06-07
IL276818A (en) 2020-10-29
IL276818B (en) 2021-04-29
CN111742348A (zh) 2020-10-02
KR102266223B1 (ko) 2021-06-18
CA3091897C (en) 2021-03-09

Similar Documents

Publication Publication Date Title
WO2019163454A1 (ja) 画像処理装置、飛行体及びプログラム
US10942529B2 (en) Aircraft information acquisition method, apparatus and device
US8259993B2 (en) Building shape change detecting method, and building shape change detecting system
WO2017080108A1 (zh) 飞行装置、飞行控制系统及方法
KR101634878B1 (ko) 무인 비행체의 군집 비행을 이용한 항공 영상 정합 장치 및 방법
US20200294260A1 (en) Image processing device, ranging device and method
EP3283842B1 (en) Method for processing images of a ground surface
KR20170101516A (ko) 무인 항공기를 이용한 화재 감시 장치 및 방법
KR101684293B1 (ko) 무인 비행체의 비상 착륙 지점 검출 시스템 및 그 방법
KR101771492B1 (ko) 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 방법 및 시스템
JP2019144804A5 (ja)
KR102040289B1 (ko) 드론 위치 정보 보정 장치 및 방법
CN107323677B (zh) 无人机辅助降落方法、装置、设备及存储介质
US10412372B2 (en) Dynamic baseline depth imaging using multiple drones
KR102349818B1 (ko) 개선된 cnn 기반으로 한 도로 균열 감지 자율 비행 드론
CN109163718A (zh) 一种面向建筑群的无人机自主导航方法
CN112797982A (zh) 一种基于机器视觉的无人机自主着陆测量方法
US11209517B2 (en) Mobile body detection device, mobile body detection method, and mobile body detection program
CN114554030B (zh) 设备检测系统以及设备检测方法
CN114167442A (zh) 信息采集方法、装置、计算机设备和存储介质
KR102679721B1 (ko) 포인트클라우드를 이용한 드론의 비행 제어 방법
JP2021081163A (ja) 誘導装置、飛しょう体、誘導システム、および誘導プログラム
JP2023062219A (ja) 情報処理方法、情報処理装置及びコンピュータプログラム
KR20230151255A (ko) 포인트클라우드를 이용한 드론의 비행 제어 방법
KR20220082202A (ko) 무인 항공기용 3차원 객체 탐지를 위한 스테레오 영상 렉티피케이션 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19757834

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 3091897

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20207026536

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2019757834

Country of ref document: EP

Effective date: 20200921