WO2019163118A1 - コンピュータシステム、ドローン制御方法及びプログラム - Google Patents

コンピュータシステム、ドローン制御方法及びプログラム Download PDF

Info

Publication number
WO2019163118A1
WO2019163118A1 PCT/JP2018/006897 JP2018006897W WO2019163118A1 WO 2019163118 A1 WO2019163118 A1 WO 2019163118A1 JP 2018006897 W JP2018006897 W JP 2018006897W WO 2019163118 A1 WO2019163118 A1 WO 2019163118A1
Authority
WO
WIPO (PCT)
Prior art keywords
drone
image
image analysis
position coordinates
point
Prior art date
Application number
PCT/JP2018/006897
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Original Assignee
株式会社オプティム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オプティム filed Critical 株式会社オプティム
Priority to CN201880092742.8A priority Critical patent/CN112106342B/zh
Priority to JP2020501973A priority patent/JP6814431B2/ja
Priority to US17/056,308 priority patent/US11774969B2/en
Priority to PCT/JP2018/006897 priority patent/WO2019163118A1/ja
Publication of WO2019163118A1 publication Critical patent/WO2019163118A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/18—Initiating means actuated automatically, e.g. responsive to gust detectors using automatic pilot
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS

Definitions

  • the present invention relates to a computer system, a drone control method, and a program for controlling a drone taken by a camera.
  • Patent Document 1 since it is necessary to irradiate light with a wavelength other than visible light at all times, when such a configuration is used for a drone or the like, there is a problem such as scratches on the target. Even if it is not, the light of this wavelength will be irradiated, which may cause problems such as excessive power consumption by this device and reduction in flight time due to such consumption. was there.
  • An object of the present invention is to provide a computer system, a drone control method, and a program capable of acquiring target information while reducing power consumption.
  • the present invention provides the following solutions.
  • the present invention provides an image acquisition means for acquiring an image taken with a drone; Image analysis means for image analysis of the acquired image; As a result of the image analysis, an extraction means for extracting a point whose edge change amount is a predetermined threshold value or more; Position coordinate acquisition means for acquiring the position coordinates of the extracted point; Control means for flying the drone to the acquired position coordinates and photographing with a camera other than visible light; A computer system is provided.
  • an image captured by a drone is acquired, the acquired image is subjected to image analysis, a result of the image analysis is that a point whose edge change amount is a predetermined threshold or more is extracted, and the position of the extracted point
  • the coordinates are acquired, and the drone is caused to fly to the acquired position coordinates and photographed with a camera other than visible light.
  • the present invention is a category of a computer system, but also in other categories such as a method or a program, the same actions and effects according to the category are exhibited.
  • the present invention also provides an image acquisition means for acquiring an image taken with a drone, Image analysis means for image analysis of the acquired image; As a result of the image analysis, an extracting means for extracting a point with low resolution and impossible image analysis; Position coordinate acquisition means for acquiring the position coordinates of the extracted point; Control means for flying the drone to the acquired position coordinates and photographing with a camera other than visible light; A computer system is provided.
  • an image captured by a drone is acquired, the acquired image is subjected to image analysis, and as a result of the image analysis, a point having a low resolution and image analysis is impossible, and the position of the extracted point
  • the coordinates are acquired, and the drone is caused to fly to the acquired position coordinates and photographed with a camera other than visible light.
  • the present invention is a category of a computer system, but also in other categories such as a method or a program, the same actions and effects according to the category are exhibited.
  • the present invention it is possible to provide a computer system, a drone control method, and a program capable of acquiring target information while reducing power consumption.
  • FIG. 1 is a diagram showing an outline of the drone control system 1.
  • FIG. 2 is an overall configuration diagram of the drone control system 1.
  • FIG. 3 is a functional block diagram of the drone control system 1.
  • FIG. 4 is a flowchart of the drone control process executed by the drone control system 1.
  • FIG. 5 is a flowchart of the drone control process executed by the drone control system 1.
  • FIG. 6 is a flowchart of a modified example of the drone control process executed by the drone control system 1.
  • FIG. 7 is a flowchart of a modified example of the drone control process executed by the drone control system 1.
  • FIG. 8 is a diagram illustrating an example of a point whose edge change amount is equal to or greater than a predetermined value.
  • FIG. 9 is a diagram illustrating an example of points where resolution is low and image analysis is impossible.
  • FIG. 1 is a diagram for explaining an outline of a drone control system 1 which is a preferred embodiment of the present invention.
  • the drone control system 1 includes a computer 10 and a drone 100.
  • the drone control system 1 is a computer system in which the computer 10 acquires images such as moving images and still images captured by the image capturing apparatus included in the drone 100, and the computer 10 executes various processes based on the acquired images.
  • the drone control system 1 executes various controls for the drone 100 such as setting the flight route of the drone 100 and photographing an image with a changed wavelength based on the processing result of the computer 10.
  • the number of computers 10 and drones 100 can be changed as appropriate.
  • the drone control system 1 may have other terminal devices such as a terminal device that controls the drone 100.
  • the computer 10 is a computer device connected to the drone 100 so as to be able to perform data communication via a network by wireless communication, priority communication, or the like.
  • the computer 10 is a computer device that executes image analysis, control of the drone 100, and the like.
  • the drone 100 is connected to the computer 10 so that data communication is possible, and is an unmanned airplane or a multicopter that flies based on a preset flight route or a flight route designated by a terminal device (not shown).
  • the drone 100 includes an imaging device capable of imaging an image using not only visible light but also other wavelengths (for example, infrared rays and ultraviolet rays) different from visible light.
  • the drone 100 transmits the captured image to the computer 10.
  • each process described below is not limited to either the computer 10 or the drone 100, and both processes may be executed, or each process described as a process executed by the computer 10 is executed by the drone 100. Alternatively, the reverse configuration may be used.
  • the drone 100 flies near the target place or building and takes an image (step S01).
  • the drone 100 flies on a preset flight route and photographs a target place, a building, or the like.
  • the image captured by the drone 100 is a visible light image.
  • the drone 100 transmits the captured image to the computer 10. At this time, the drone 100 transmits to the computer 10 the position coordinates and the altitude of the photographer that captured the image together with the image. By receiving this image, the computer 10 acquires an image photographed by the drone 100 (step S02).
  • the computer 10 performs image analysis on the acquired image (step S03).
  • the computer 10 performs edge detection on the acquired visible light image.
  • Edge detection is to identify a discontinuous change. For example, as the edge detection, the computer 10 detects whether the depth is discontinuous, the surface orientation is discontinuous, the material is changed, or the illumination is changed.
  • the computer 10 extracts points whose edge change amount is equal to or greater than a predetermined threshold (step S04).
  • the computer 10 detects, for example, discoloration, temperature change, or deformation as the hedge change amount, the computer 10 determines whether or not these are equal to or greater than a predetermined threshold value, and points where the determination result is equal to or greater than the predetermined threshold value. Extract.
  • the computer 10 acquires the position coordinates of the extracted point (step S05).
  • the computer 10 acquires actual position coordinates based on the coordinates of the extracted point image. This obtains the position coordinates where the drone 100 has photographed this image as the coordinates of the points.
  • the computer 10 transmits a flight instruction to this position coordinate to the drone 100 and transmits a re-shooting instruction for shooting an image of this point by a shooting device that takes an image with light of a wavelength other than visible light ( Step S06).
  • a flight instruction and a re-shooting instruction may be transmitted to all points.
  • the drone control system 1 sets the flight route so that the drone 100 flies at all points.
  • a flight instruction and a re-shooting instruction are transmitted so that the drone 100 flies in the order of the position coordinates of the points.
  • the drone control system 1 sets the flight route so that the drone 100 flies in the order of the position coordinates.
  • the drone 100 receives the flight instruction and the re-imaging instruction, flies to the position coordinates of this point, and shoots an image of the point with light of a wavelength other than visible light (step S07).
  • the drone control system 1 controls the drone 100 to fly to the acquired position coordinates and to photograph with a camera other than visible light.
  • the drone 100 captures a target image (visible light image) and transmits it to the computer 10 as in the above-described embodiment. At this time, the drone 100 also transmits its own position coordinates and its altitude.
  • a target image visible light image
  • the drone 100 also transmits its own position coordinates and its altitude.
  • the computer 10 performs image analysis on the acquired image as in the above-described embodiment.
  • the computer 10 extracts points where the resolution of the acquired image is low and image analysis is impossible as a result of the image analysis. For example, when there is a point where the edge change amount cannot be detected, the computer 10 determines that the image analysis is impossible because the resolution of the image is low, and extracts this point.
  • the computer 10 acquires the position coordinates of the extracted point, and transmits a flight instruction to the position coordinates and a re-shooting instruction to the drone 100, as in the above-described embodiment.
  • a flight instruction and a re-shooting instruction may be transmitted to all points.
  • the flight instruction and the re-shooting instruction may be transmitted so that the drone 100 flies in order of the position coordinates of the points.
  • the drone 100 receives the flight instruction and the re-imaging instruction as in the above-described embodiment, flies to the position coordinates of this point, and captures an image of the point with light of a wavelength other than visible light.
  • FIG. 2 is a diagram showing a system configuration of the drone control system 1 which is a preferred embodiment of the present invention.
  • the drone control system 1 is composed of a computer 10 and a drone 100, and the computer 10 acquires and acquires images such as moving images and still images captured by the imaging device of the drone 100 via the public network 5 or the like.
  • This is a computer system in which the computer 10 executes various processes based on images.
  • the computer 10 and the drone 100 are not limited to one and may be plural. Further, the computer 10 is not limited to a real device, and may be a virtual device. Further, it may be communicably connected to a terminal device such as another terminal device not shown through the public network 5 or the like.
  • the computer 10 is the above-described computer device or the like having the functions described later.
  • the drone 100 is the above-described unmanned airplane or multicopter having the functions described later.
  • FIG. 3 is a functional block diagram of the computer 10 and the drone 100.
  • the computer 10 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), etc. as the control unit 11, and a device for enabling communication with other devices as the communication unit 12.
  • a WiFi (Wireless Fidelity) compatible device compliant with IEEE 802.11 is provided.
  • the computer 10 also includes a data storage unit such as a hard disk, a semiconductor memory, a recording medium, or a memory card as a storage unit.
  • the computer 10 includes, as the processing unit 14, various devices that perform various processes such as image analysis, flight route setting of the drone 100, shooting instructions, and re-shooting instructions.
  • the control unit 11 when the control unit 11 reads a predetermined program, the photographing data acquisition module 20, the reflight data transmission module 21, and the notification transmission module 22 are realized in cooperation with the communication unit 12.
  • the control unit 11 reads a predetermined program, so that the image analysis module 40, the extraction module 41, the position coordinate acquisition module 42, the altitude acquisition module 43, and the control module 44 cooperate with the processing unit 14.
  • the notification creation module 45 is realized.
  • the drone 100 includes a CPU, RAM, ROM, and the like as the control unit 110, and a device for enabling communication with other devices as the communication unit 120.
  • the drone 100 includes various devices such as a flying device necessary for flight and a photographing device that captures an image as the input / output unit 140.
  • the control unit 110 when the control unit 110 reads a predetermined program, the photographing data transmission module 150 and the reflight data acquisition module 151 are realized in cooperation with the communication unit 120. In the drone, the control unit 110 reads a predetermined program, thereby realizing the flight module 170 and the imaging module 171 in cooperation with the input / output unit 140.
  • the flight module 170 flies near a target place or building based on a preset flight path (step S10).
  • step S10 the flight module 170 flies at a predetermined speed according to a flight instruction from the computer 10 or a terminal device (not shown) and a flight path set by them.
  • the target place or building is, for example, a road, a tunnel, or a building.
  • the imaging module 171 captures images such as moving images and still images (step S11). In step S ⁇ b> 11, the imaging module 171 always performs imaging at a preset point or during flight. The imaging module 171 captures an image with a visible light wavelength. That is, the image photographed by the photographing module 171 in step S11 is a visible light image.
  • the shooting data transmission module 150 corresponds to an image shot by the shooting module 171, own position information acquired from its own position coordinates (GPS (Global Positioning System) at the shooting location, and its current position in the set flight route. And the altitude (obtained from the altimeter provided in the drone 100) at the shooting location is transmitted to the computer 10 as shooting data (step S12).
  • GPS Global Positioning System
  • the imaging data transmission module 150 may transmit only images as imaging data. Further, the imaging data transmission module 150 may transmit the image and position coordinates as imaging data.
  • the imaging data acquisition module 20 acquires the imaging data transmitted by the drone 100 (step S13).
  • the shooting data acquisition module 20 receives the shooting data transmitted by the drone 100, thereby acquiring the image shot by the drone 100, the position coordinates of the drone 100, and the altitude of the drone 100.
  • the image analysis module 40 performs image analysis on the image (step S14).
  • the image analysis module 40 performs edge detection on the acquired image.
  • Edge detection is to identify a discontinuous change. For example, as the edge detection, the image analysis module 40 detects whether the depth is discontinuous, the surface orientation is discontinuous, the material is changed, or the illumination is changed.
  • the image analysis module 40 determines whether an edge has been detected (step S15). In step S15, the image analysis module 40 determines whether or not an edge has been detected based on whether or not there is a discontinuously changing portion in the image. Further, the image analysis module 40 determines whether, for example, a color change, a temperature change, or a deformation has been detected.
  • step S15 If the image analysis module 40 determines in step S15 that no edge has been detected (NO in step S15), the image analysis module 40 has been detected in this image because no edge has been detected in this image. It is determined that there is no problem with the target, and the process is temporarily terminated. At this time, the computer 10 stands by for processing until the next shooting data is acquired from the drone 100.
  • step S15 when the image analysis module 40 determines in step S15 that an edge has been detected (YES in step S15), the image analysis module 40 determines whether the detected edge change amount is equal to or greater than a predetermined threshold value. Determination is made (step S16). In step S ⁇ b> 16, the image analysis module 40 is sufficient to determine that the edge change amount (for example, the degree of discoloration, the degree of temperature change, and the degree of deformation) has a preset threshold (for example, an abnormality has occurred). Value) or more.
  • the edge change amount for example, the degree of discoloration, the degree of temperature change, and the degree of deformation
  • the image analysis module 40 determines that the edge change amount is not equal to or greater than the predetermined threshold (NO in step S16)
  • the image analysis module 40 can detect the edge change amount in the image, but the image change module 40 is reflected in this image. It is determined that there is no problem with the target, and the process is temporarily terminated. At this time, the computer 10 stands by for processing until the next shooting data is acquired from the drone 100.
  • step S16 determines in step S16 that the edge change amount is equal to or larger than the predetermined threshold (YES in step S16)
  • the extraction module 41 extracts a point whose edge change amount is equal to or larger than the predetermined threshold. (Step S17). In step S17, the extraction module 41 extracts this point as a point where an abnormality has occurred.
  • FIG. 8 is a diagram schematically showing points where the edge change amount is equal to or greater than a predetermined threshold.
  • the extraction module 41 extracts points in the image 300 whose edge change amount is equal to or greater than a predetermined threshold.
  • frame lines 320 to 323 are schematically shown for the points 310 to 313 extracted by the extraction module 41.
  • the extraction module 41 means that this location in the image 300 is a location where the edge change amount is equal to or greater than a predetermined threshold.
  • the position coordinate acquisition module 42 acquires the position coordinates of the extracted point (step S18). In step S18, the position coordinate acquisition module 42 acquires actual position coordinates (position information of an actual location corresponding to the point of the image) based on the coordinates of the extracted point in the image. The position coordinate acquisition module 42 acquires the position coordinates of the drone 100 included in the above-described shooting data as the position coordinates of the points.
  • the position coordinate acquisition module 42 regards these points as approximately the same position coordinates, and determines the position coordinates of the drone 100 at the point where this image was taken as the position of the points. Get as coordinates.
  • the same point is extracted from a plurality of images, that is, when one point is extracted from one image and this one point is further extracted from an image different from the one image, You may acquire the average value of the position coordinate of the drone 100 at the time of imaging
  • the position coordinates of one point at this time can be applied to two or more images.
  • the altitude acquisition module 43 acquires the altitude of the extracted point (step S19). In step S19, the altitude acquisition module 43 acquires the altitude at which this image was captured based on the flight altitude of the drone 100 in the extracted point image.
  • the control module 44 creates a flight instruction for flying the drone 100 to the position coordinates and altitude of the acquired point (step S20).
  • step S ⁇ b> 20 when there is one acquired point, the control module 44 creates the position coordinates of this point and a setting for flying at an altitude as a flight instruction.
  • the control module 44 creates a setting for flying to each of these points as a flight instruction.
  • the flight instruction to fly such a plurality of points simply fly all the points regardless of the order, those that fly in the order of the position coordinates of the points, points There are those that fly in descending order of the amount of edge change, those that fly in ascending order of battery consumption, and others.
  • Flying all points means flying over the extracted points, regardless of the order, for example, randomly, in the order in which the images were taken, or in the reverse order of the order in which the images were taken. .
  • the flight in the order in which the position coordinates of the points are closest corresponds to the position coordinates and altitude at the location of the current drone 100 and the position coordinates and altitude of the point, and in the order closer to the position coordinates of the drone 100. It flies over the point or in the vicinity in that order.
  • flying in order of increasing edge change fee means flying in the order of the amount of edge change among the extracted points in the order above or near the corresponding point.
  • flying in order of decreasing battery consumption means that the extracted points are made to fly above or in the order of the corresponding points in the order of decreasing battery consumption necessary for flight.
  • the control module 44 creates a re-shooting instruction for shooting this point with a shooting device other than visible light (step S21).
  • the control module 44 instructs the drone 100 to photograph the extracted point with a photographing device capable of photographing an image with light having a wavelength other than visible light (for example, infrared wavelength or ultraviolet wavelength). Create as a re-shooting instruction.
  • the reflight data transmission module 21 transmits a flight instruction and a re-shooting instruction to the drone 100 as reflight data (step S22).
  • the flight instruction and the re-imaging instruction are transmitted as re-flight data to the drone 100 that has acquired the photographic data.
  • the reflight data transmission module 21 may transmit the reflight data to a drone different from the drone 100 that acquired the shooting data.
  • the drone 100 has only a device that captures an image by visible light, or when there is no remaining battery power determined to be necessary for re-shooting (in this case, the drone 100 is When the flight is completed or when shooting data is transmitted, it is sufficient to transmit the battery level of the own battery.)
  • a drone different from the drone 100 (captures an image other than visible light).
  • the re-flight data may be transmitted to a drone having a device or a drone having a remaining battery level necessary for re-shooting.
  • the reflight data acquisition module 151 acquires reflight data.
  • the flight module 170 flies to the extracted point based on the reflight data (step S23).
  • the process of step S23 is substantially the same as the process of step S10 described above, and the flight is performed based on the flight instruction included in the reflight data.
  • the imaging module 171 captures an image of this point (step S24).
  • the imaging module 171 captures an image at a wavelength other than visible light such as infrared or ultraviolet as an image. That is, the image photographed by the photographing module 171 in step S24 is an image having a wavelength other than visible light.
  • the photographing data transmission module 150 transmits the image photographed by the photographing module 171, its own position coordinates at the photographing location, and its own altitude to the computer 10 as re-photographing data (step S ⁇ b> 25).
  • the process of step S25 is the same as the process of step S12 described above.
  • the position coordinates and altitude do not necessarily have to be included as in the process of step S12 described above, and only the image may be transmitted as recaptured data. Further, the imaging data transmission module 150 may transmit the image and position coordinates as re-imaging data.
  • the imaging data acquisition module 20 acquires the re-imaging data transmitted by the drone 100 (step S26).
  • the image data acquisition module 20 acquires the image, position coordinates, and altitude captured by the drone 100 as in the process of step S ⁇ b> 13 described above.
  • the image analysis module 40 analyzes the image (step S27).
  • the image analysis module 40 performs edge detection, other feature detection, and feature extraction.
  • the image analysis module 40 acquires further information about the subject to be imaged by feature detection or feature extraction. Further information includes, for example, the presence or absence of a flaw or a stain, and the size, location, or number of a flaw or stain, if there is a flaw or stain, and a notification to that effect if there is no flaw or stain.
  • the notification creation module 45 creates further information obtained as a result of the image analysis as a re-photographing result notification (step S28).
  • the re-photographing result notification indicates the presence or absence of the above-described scratches or spots, the size or location or number thereof, the fact that there are no scratches or spots, the edge detected in the visible wavelength image, but the visible light. This is a text or sound that the edge was not detected in an image of a wavelength other than.
  • the notification transmission module 22 transmits the created re-photographing result notification to a terminal device or the like owned by a user (not shown) (step S29).
  • the terminal device or the like receives the re-photographing result notification and notifies the user by displaying or emitting the re-photographing result notification. Based on the re-photographing result notification, the user grasps the actual target situation.
  • each process described above does not necessarily have to be executed by a single piece of hardware.
  • the above-described processes may be executed by either or both of the computer 10 and the drone 100.
  • the drone 100 executes the processes of steps S10 to S12 described above (steps S30 to S32).
  • the drone 100 flies near the target place or building, captures an image, and transmits the captured data to the computer 10.
  • the photographic data acquisition module 20 acquires photographic data and executes image analysis in the same manner as in the above-described steps S13 and S14 (steps S33 and S34).
  • the image analysis module 40 determines whether image analysis has been completed (step S35). In step S ⁇ b> 35, the image analysis module 40 determines whether edge detection has been performed as in step S ⁇ b> 15 described above. Further, the image analysis module 40 determines whether or not detection processing other than edge detection has been executed.
  • step S35 when the image analysis module 40 determines that image analysis has been completed (step S35, YES), the process after step S16 in the drone control process described above is executed.
  • step S16 in the drone control process described above is executed.
  • this modification in order to simplify description, it describes in the figure that this process is complete
  • step S35 when the image analysis module 40 determines in step S35 that the image analysis cannot be performed (NO in step S35), the extraction module 41 sets the point where the image analysis cannot be performed as an impossible point where the image analysis is impossible. Extract (step S36). In step S36, the image analysis module 40 determines that this impossible point cannot be analyzed due to low resolution, and the extraction module 41 extracts this impossible point.
  • the image analysis module 40 may determine that this impossibility point cannot be analyzed for other reasons. For example, it may be determined that the image analysis could not be performed because the distance between the drone 100 and the object is too close, or a clear image could not be obtained because the flight of the drone 100 was unstable. Therefore, it may be determined that the image analysis cannot be performed.
  • FIG. 9 is a diagram schematically showing the impossible points.
  • the extraction module 41 extracts impossible points from the image 400.
  • frame lines 420 to 423 are schematically shown for the impossible points 410 to 413 extracted by the extraction module 41.
  • the extraction module 41 means that this place in the image 400 is a place where the image analysis could not be performed for each of the extracted impossible points 410 to 413.
  • the computer 10 executes processing similar to the processing in steps S18 to S22 described above (steps S37 to S41).
  • the position coordinate acquisition module 42 acquires the position coordinates of the extracted impossible point (step S37). Similarly to step S18 described above, when a plurality of impossible points are extracted, the position coordinates of the drone 100 at the point where this image is taken with these impossible points regarded as approximately the same position coordinates are determined as the impossible points. Get as the position coordinates. In addition, when the same impossible point is extracted from a plurality of images, that is, when one impossible point is extracted from one image and this one impossible point is further extracted from an image different from the one image, You may acquire the average value of the position coordinate of the drone 100 at the time of imaging
  • the altitude acquisition module 43 acquires the altitude of the extracted impossible points (step S38).
  • the control module 44 creates a flight instruction for flying the drone 100 to the position coordinates and altitude of the acquired impossible point (step S39).
  • step S39 when there is one acquired impossible point, the control module 44 creates, as a flight instruction, the position coordinates of the disabled point and a setting for flying to an altitude. Further, when there are a plurality of acquired impossible points, the control module 44 creates a setting for flying to each of these disabled points as a flight instruction.
  • the flight instruction to fly such a plurality of impossible points simply fly all the impossible points regardless of the order, or fly in the order of the position coordinates of the impossible points And others.
  • Flying all impossible points means flying above or near the extracted impossible points in any order, for example, randomly, in the order in which the images were taken, or in the reverse order in which the images were taken It is.
  • the thing where the position coordinates of the impossible point fly in the closest order is to compare the position coordinates and altitude at the location of the current drone 100 with the position coordinates and altitude of the impossible point, It is intended to fly above or near the relevant point in that order.
  • the control module 44 creates a re-shooting instruction for shooting this point with a shooting device other than visible light (step S40).
  • the reflight data transmission module 21 transmits a flight instruction and a re-shooting instruction to the drone 100 as reflight data (step S41).
  • the reflight data transmission module 21 may transmit the reflight data to a drone different from the drone 100 that acquired the shooting data.
  • the drone 100 has only a device that captures an image by visible light, or when there is no remaining battery power determined to be necessary for re-shooting (in this case, the drone 100 is When the flight is completed or when shooting data is transmitted, it is sufficient to transmit the battery level of the own battery.)
  • a drone different from the drone 100 (captures an image other than visible light).
  • the re-flight data may be transmitted to a drone having a device or a drone having a remaining battery level necessary for re-shooting.
  • the drone 100 executes the same processing as the above-described steps S23 to S25 (steps S42 to S44).
  • the reflight data acquisition module 151 acquires reflight data.
  • the flight module 170 flies to the extracted point based on the reflight data (step S42).
  • the imaging module 171 captures an image of this impossible point (step S43).
  • the imaging module 171 captures an image at a wavelength other than visible light such as infrared or ultraviolet as an image.
  • the imaging data transmission module 150 transmits the reimaging data to the computer 10 (step S44).
  • the computer 10 executes processing similar to the processing in steps S26 to S29 described above (steps S45 to S48).
  • the imaging data acquisition module 20 acquires the re-imaging data transmitted by the drone 100 (step S45).
  • the image analysis module 40 analyzes the image (step S46).
  • the image analysis module 40 performs edge detection, other feature detection, and feature extraction.
  • the image analysis module 40 acquires further information about the subject to be imaged by feature detection or feature extraction. Further information includes, for example, the presence or absence of a flaw or a stain, and the size, location, or number of a flaw or stain, if there is a flaw or stain, and a notification to that effect if there is no flaw or stain.
  • the notification creation module 45 creates further information obtained as a result of the image analysis as a re-photographing result notification (step S47).
  • the notification transmission module 22 transmits the created re-photographing result notification to a terminal device or the like owned by a user (not shown) (step S48).
  • the terminal device or the like receives the re-photographing result notification and notifies the user by displaying or emitting the re-photographing result notification. Based on the re-photographing result notification, the user grasps the actual target situation.
  • each process described above does not necessarily have to be executed by a single piece of hardware.
  • the above-described processes may be executed by either or both of the computer 10 and the drone 100.
  • the means and functions described above are realized by a computer (including a CPU, an information processing apparatus, and various terminals) reading and executing a predetermined program.
  • the program is provided, for example, in a form (SaaS: Software as a Service) provided from a computer via a network.
  • the program is provided in a form recorded on a computer-readable recording medium such as a flexible disk, CD (CD-ROM, etc.), DVD (DVD-ROM, DVD-RAM, etc.).
  • the computer reads the program from the recording medium, transfers it to the internal storage device or the external storage device, stores it, and executes it.
  • the program may be recorded in advance in a storage device (recording medium) such as a magnetic disk, an optical disk, or a magneto-optical disk, and provided from the storage device to a computer via a communication line.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】消費電力の低減を図りつつ、対象の情報を取得することが可能なコンピュータシステム、ドローン制御方法及びプログラムを提供することを目的とする。 【解決手段】コンピュータシステムは、ドローンで撮影した画像を取得し、取得した前記画像を画像解析し、前記画像解析の結果、エッジ変化量が所定の閾値以上のポイントを抽出し、抽出した前記ポイントの位置座標を取得し、前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させる。また、コンピュータシステムは、ドローンで撮影した画像を取得し、取得した前記画像を画像解析し、前記画像解析の結果、解像度が低くて画像解析が不能なポイントを抽出し、抽出した前記ポイントの位置座標を取得し、前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させる。

Description

コンピュータシステム、ドローン制御方法及びプログラム
　本発明は、カメラ撮影するドローンを制御するコンピュータシステム、ドローン制御方法及びプログラムに関する。
　近年、ドローンが普及し、空からの撮影などに活用されている。撮影された画像は画像解析されて道路や建築物等の傷やシミ等の診断に活用される。このような撮影に際して、赤外光や紫外光による撮影を行うことにより、可視光による撮影とは異なる画像が取得できることが知られている。
　このような赤外光や紫外光による撮影の例として、近赤外線を建築物に照射し、この建築物の透過画像を解析することにより、包材のシール部における不良の有無を判断する構成が開示されている（特許文献１参照）。
特開２０１５－２３２４６８号公報
　しかしながら、特許文献１の構成では、常時可視光以外の波長の光を対象に照射する必要があることから、このような構成をドローン等に用いた場合、対象に傷等の問題が存在していない場合であっても、この波長の光を照射することになってしまい、この装置による消費電力の過度な消費や、このような消費に伴う飛行時間の減少等の問題が発生してしまうおそれがあった。
　そこで、最初に可視光による撮影で対象に何らかの問題を検知した場合に、可視光とは異なる波長の光により対象を撮影することで、対象の更なる情報を取得することを可能とすることに着目した。さらに、可視光で撮影された画像に画像解析がうまくいかない場合に、可視光とは異なる波長の光により対象を再度撮影することで、画像解析をうまく行えることに着目した。
　本発明の目的は、消費電力の低減を図りつつ、対象の情報を取得することが可能なコンピュータシステム、ドローン制御方法及びプログラムを提供することを目的とする。
　本発明では、以下のような解決手段を提供する。
　本発明は、ドローンで撮影した画像を取得する画像取得手段と、
　取得した前記画像を画像解析する画像解析手段と、
　前記画像解析の結果、エッジ変化量が所定の閾値以上のポイントを抽出する抽出手段と、
　抽出した前記ポイントの位置座標を取得する位置座標取得手段と、
　前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させる制御手段と、
　を備えることを特徴とするコンピュータシステムを提供する。
　本発明によれば、ドローンで撮影した画像を取得し、取得した前記画像を画像解析し、前記画像解析の結果、エッジ変化量が所定の閾値以上のポイントを抽出し、抽出した前記ポイントの位置座標を取得し、前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させる。
　ここで、本発明は、コンピュータシステムのカテゴリであるが、方法又はプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
　また、本発明は、ドローンで撮影した画像を取得する画像取得手段と、
　取得した前記画像を画像解析する画像解析手段と、
　前記画像解析の結果、解像度が低くて画像解析が不能なポイントを抽出する抽出手段と、
　抽出した前記ポイントの位置座標を取得する位置座標取得手段と、
　前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させる制御手段と、
　を備えることを特徴とするコンピュータシステムを提供する。
　本発明によれば、ドローンで撮影した画像を取得し、取得した前記画像を画像解析し、前記画像解析の結果、解像度が低くて画像解析が不能なポイントを抽出し、抽出した前記ポイントの位置座標を取得し、前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させる。
　ここで、本発明は、コンピュータシステムのカテゴリであるが、方法又はプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
　本発明によれば、消費電力の低減を図りつつ、対象の情報を取得することが可能なコンピュータシステム、ドローン制御方法及びプログラムを提供することが可能となる。
図１は、ドローン制御システム１の概要を示す図である。 図２は、ドローン制御システム１の全体構成図である。 図３は、ドローン制御システム１の機能ブロック図である。 図４は、ドローン制御システム１が実行するドローン制御処理のフローチャートである。 図５は、ドローン制御システム１が実行するドローン制御処理のフローチャートである。 図６は、ドローン制御システム１が実行するドローン制御処理の変形例のフローチャートである。 図７は、ドローン制御システム１が実行するドローン制御処理の変形例のフローチャートである。 図８は、エッジ変化量が所定値以上のポイントの一例を示す図である。 図９は、解像度が低くて画像解析が不能なポイントの一例を示す図である。
　以下、本発明を実施するための最良の形態について、図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
　［ドローン制御システム１の概要］
　本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態であるドローン制御システム１の概要を説明するための図である。ドローン制御システム１は、コンピュータ１０、ドローン１００から構成される。ドローン制御システム１は、ドローン１００が有する撮影装置により撮影した動画や静止画等の画像を、コンピュータ１０が取得し、取得した画像に基づいて、コンピュータ１０が各種処理を実行するコンピュータシステムである。ドローン制御システム１は、コンピュータ１０の処理結果に基づいて、ドローン１００の飛行ルートの設定、波長の変更した画像の撮影等のドローン１００に対する各種制御を実行する。
　なお、ドローン制御システム１において、コンピュータ１０やドローン１００の数は、適宜変更可能である。また、ドローン制御システム１は、これらの他にドローン１００を制御する端末装置等の他の端末装置を有していてもよい。
　コンピュータ１０は、無線通信、優先通信等により、ネットワークを介して、ドローン１００とデータ通信可能に接続されたコンピュータ装置である。コンピュータ１０は、画像解析、ドローン１００の制御等を実行するコンピュータ装置である。
　ドローン１００は、コンピュータ１０とデータ通信可能に接続され、予め設定された飛行経路や、図示していない端末装置が指定する飛行経路に基づいて飛行する無人飛行機やマルチコプター等である。ドローン１００は、可視光だけでなく、可視光とは異なる他の波長（例えば、赤外線や紫外線）を用いた画像を撮影することが可能な撮影装置を有する。ドローン１００は、撮影した画像を、コンピュータ１０に送信する。
　ドローン制御システム１が実行するドローン制御処理の概要について説明する。
　なお、後述する各処理は、コンピュータ１０又はドローン１００の何れかに限らず、双方が実行してもよいし、コンピュータ１０が実行する処理として説明する各処理を、ドローン１００が実行する構成であってもよいし、その逆の構成であってもよい。
　はじめに、ドローン１００は対象とする場所や建築物の近傍を飛行し、画像を撮影する（ステップＳ０１）。ここで、ドローン１００は、予め設定された飛行経路を飛行し、対象とする場所や建築物等を撮影する。この時ドローン１００が撮影する画像とは、可視光画像である。
　ドローン１００は、撮影した画像を、コンピュータ１０に送信する。このとき、ドローン１００は、画像とともに、この画像を撮影した自身の位置座標及び自身の高度をコンピュータ１０に送信する。コンピュータ１０は、この画像を受信することにより、ドローン１００で撮影した画像を取得する（ステップＳ０２）。
　コンピュータ１０は、取得した画像を画像解析する（ステップＳ０３）。コンピュータ１０は、取得した可視光画像を、エッジ検出を行う。エッジ検出とは、不連続に変化している箇所を特定することである。例えば、コンピュータ１０は、エッジ検出として、深さが不連続であるか、面の向きが不連続であるか、材質が変化しているか、照明が変化しているかを検出する。
　コンピュータ１０は、画像解析の結果、エッジ変化量が所定の閾値以上のポイントを抽出する（ステップＳ０４）。コンピュータ１０は、ヘッジ変化量として、例えば、変色、温度変化、変形を検出した際、これらが所定の閾値以上であるか否かを判定し、判定の結果が、所定の閾値以上であるポイントを抽出する。
　コンピュータ１０は、抽出したポイントの位置座標を取得する（ステップＳ０５）。コンピュータ１０は、抽出したポイントの画像における座標に基づいて、実際の位置座標を取得する。これは、ドローン１００がこの画像を撮影した位置座標を、ポイントの座標であるものとして取得する。
　コンピュータ１０は、この位置座標への飛行指示をドローン１００に送信するとともに可視光以外の他の波長の光で画像を撮影する撮影装置により、このポイントの画像を撮影させる再撮影指示を送信する（ステップＳ０６）。
　なお、このポイントが複数存在する場合、全てのポイントに対して飛行指示及び再撮影指示を送信してもよい。このようにすることにより、ドローン制御システム１は、ドローン１００に、全てのポイントを飛行するように飛行ルートを設定する。
　また、ポイントが複数存在する場合、ポイントの位置座標が、近い順にドローン１００が飛行するように飛行指示及び再撮影指示を送信する。このようにすることにより、ドローン制御システム１は、ドローン１００に、位置座標の近い順に飛行するように飛行ルートを設定する。
　ドローン１００は、飛行指示及び再撮影指示を受信し、このポイントの位置座標に飛行するとともにこのポイントを可視光以外の他の波長の光で画像を撮影する（ステップＳ０７）。このようにすることにより、ドローン制御システム１は、ドローン１００を取得した位置座標に飛行させ、可視光以外のカメラで撮影させるよう制御する。
　［変形例］
　ドローン制御システム１の変形例についても説明する。この変形例において、上述した実施形態との相違点は、上述したステップＳ０４の処理である。それ以外の処理については、詳細な説明を省略する。
　ドローン１００は、上述した実施形態と同様に、対象の画像（可視光画像）を撮影し、コンピュータ１０に送信する。このとき、ドローン１００は、自身の位置座標及び自身の高度も併せて送信する。
　コンピュータ１０は、上述した実施形態と同様に、取得した画像を画像解析する。
　コンピュータ１０は、画像解析の結果、取得した画像の解像度が低くて、画像解析が不能なポイントを抽出する。コンピュータ１０は、例えば、エッジ変化量の検出ができなかったポイントが存在する場合、この画像の解像度が低いことから画像解析が不能であったと判定し、このポイントを抽出する。
　コンピュータ１０は、上述した実施形態と同様に、この抽出したポイントの位置座標を取得し、この位置座標への飛行指示及び再撮影指示をドローン１００に送信する。
　なお、上述した実施形態と同様に、このポイントが複数存在する場合、全てのポイントに対して飛行指示及び再撮影指示を送信してもよい。
　また、上述した実施形態と同様に、ポイントが複数存在する場合、ポイントの位置座標が、近い順にドローン１００が飛行するように飛行指示及び再撮影指示を送信してもよい。
　ドローン１００は、上述した実施形態と同様に、飛行指示及び再撮影指示を受信し、このポイントの位置座標に飛行するとともにこのポイントを可視光以外の他の波長の光で画像を撮影する。
　以上が、ドローン制御システム１の概要である。
　［ドローン制御システム１のシステム構成］
　図２に基づいて、本発明の好適な実施形態であるドローン制御システム１のシステム構成について説明する。図２は、本発明の好適な実施形態であるドローン制御システム１のシステム構成を示す図である。ドローン制御システム１は、コンピュータ１０、ドローン１００から構成され、ドローン１００が有する撮影装置により撮影した動画や静止画等の画像を、公衆回線網５等を介して、コンピュータ１０が取得し、取得した画像に基づいて、コンピュータ１０が各種処理を実行するコンピュータシステムである。
　なお、コンピュータ１０及びドローン１００は、１つに限らず、複数であってもよい。また、コンピュータ１０は、実在する装置に限らず、仮想的な装置であってもよい。また、公衆回線網５等により図示していない他の端末装置等の端末装置と通信可能に接続されていてもよい。
　コンピュータ１０は、後述の機能を備えた上述したコンピュータ装置等である。
　ドローン１００は、後述の機能を備えた上述した無人飛行機やマルチコプター等である。
　［各機能の説明］
　図３に基づいて、本発明の好適な実施形態であるドローン制御システム１の機能について説明する。図３は、コンピュータ１０、ドローン１００の機能ブロック図を示す図である。
　コンピュータ１０は、制御部１１として、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等を備え、通信部１２として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）対応デバイスを備える。また、コンピュータ１０は、記憶部として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。また、コンピュータ１０は、処理部１４として、画像解析、ドローン１００の飛行ルート設定、撮影指示、再撮影指示等の各種処理を実行する各種デバイス等を備える。
　コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、通信部１２と協働して、撮影データ取得モジュール２０、再飛行データ送信モジュール２１、通知送信モジュール２２を実現する。また、コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、処理部１４と協働して、画像解析モジュール４０、抽出モジュール４１、位置座標取得モジュール４２、高度取得モジュール４３、制御モジュール４４、通知作成モジュール４５を実現する。
　ドローン１００は、コンピュータ１０と同様に、制御部１１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部１２０として、他の機器と通信可能にするためのデバイスを備える。また、ドローン１００は、入出力部１４０として、飛行に必要な飛行装置、画像を撮影する撮影装置等の各種デバイスを備える。
　ドローン１０において、制御部１１０が所定のプログラムを読み込むことにより、通信部１２０と協働して、撮影データ送信モジュール１５０、再飛行データ取得モジュール１５１を実現する。また、ドローンにおいて、制御部１１０が所定のプログラムを読み込むことにより、入出力部１４０と協働して、飛行モジュール１７０、撮影モジュール１７１を実現する。
　［ドローン制御処理］
　図４及び図５に基づいて、ドローン制御システム１が実行するドローン制御処理について説明する。図４及び図５は、コンピュータ１０、ドローン１００が実行するドローン制御処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
　はじめに、飛行モジュール１７０は、予め設定された飛行経路に基づいて、対象とする場所や建築物の近傍を飛行する（ステップＳ１０）。ステップＳ１０において、飛行モジュール１７０は、コンピュータ１０や図示してない端末装置からの飛行指示や、これらが設定した飛行経路に従って所定の速度で飛行する。対象とする場所や建築物とは、例えば、道路、トンネル、建築物である。
　撮影モジュール１７１は、動画や静止画等の画像を撮影する（ステップＳ１１）。ステップＳ１１において、撮影モジュール１７１は、予め設定された地点又は飛行中常時撮影する。撮影モジュール１７１は、可視光の波長で、画像を撮影する。すなわち、ステップＳ１１における撮影モジュール１７１が撮影する画像とは、可視光画像である。
　撮影データ送信モジュール１５０は、撮影モジュール１７１が撮影した画像、撮影した場所における自身の位置座標（ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）から取得した自身の位置情報、設定された飛行経路における自身の現在位置に該当する位置情報）及び撮影した場所における自身の高度（ドローン１００に設けられた高度計から取得）を、撮影データとして、コンピュータ１０に送信する（ステップＳ１２）。
　なお、位置座標及び高度は、必ずしも含まれていなくともよく、撮影データ送信モジュール１５０は、画像のみを撮影データとして送信してもよい。また、撮影データ送信モジュール１５０は、画像及び位置座標を撮影データとして、送信してもよい。
　撮影データ取得モジュール２０は、ドローン１００が送信した撮影データを取得する（ステップＳ１３）。ステップＳ１３において、撮影データ取得モジュール２０が、ドローン１００が送信した撮影データを受信することにより、ドローン１００で撮影された画像、ドローン１００の位置座標及びドローン１００の高度を取得する。
　画像解析モジュール４０は、画像を画像解析する（ステップＳ１４）。ステップＳ１４において、画像解析モジュール４０は、取得した画像に対して、エッジ検出を行う。エッジ検出とは、不連続に変化している箇所を特定することである。画像解析モジュール４０は、例えば、エッジ検出として、深さが不連続であるか、面の向きが不連続であるか、材質が変化しているか、照明が変化しているかを検出する。
　画像解析モジュール４０は、エッジが検出できたか否かを判断する（ステップＳ１５）。ステップＳ１５において、画像解析モジュール４０は、画像中に不連続に変化している箇所が存在するか否かに基づいて、エッジが検出できたか否かを判断する。また、画像解析モジュール４０は、例えば、変色、温度変化、変形を検出できたか否かを判断する。
　ステップＳ１５において、画像解析モジュール４０は、エッジが検出できなかったと判断した場合（ステップＳ１５　ＮＯ）、画像解析モジュール４０は、この画像内にエッジが検出できなかったことから、この画像に写っている対象には問題がないと判断し、一旦処理を終了する。このとき、コンピュータ１０は、ドローン１００から次の撮影データを取得するまで、処理を待機する。
　一方、ステップＳ１５において、画像解析モジュール４０は、エッジが検出できたと判断した場合（ステップＳ１５　ＹＥＳ）、画像解析モジュール４０は、検出したエッジのエッジ変化量が所定の閾値以上であるか否かを判定する（ステップＳ１６）。ステップＳ１６において、画像解析モジュール４０は、エッジ変化量（例えば、変色の度合い、温度変化の度合い、変形の度合い）が、予め設定された閾値（例えば、異常が発生していると判断するに足る値）以上であるか否かを判定する。画像解析モジュール４０は、エッジ変化量が所定の閾値以上ではないと判定した場合（ステップＳ１６　ＮＯ）、画像解析モジュール４０は、画像内に、エッジ変化量を検出できたものの、この画像に写っている対象には問題がないと判断し、一旦処理を終了する。このとき、コンピュータ１０は、ドローン１００から次の撮影データを取得するまで、処理を待機する。
　一方、ステップＳ１６において、画像解析モジュール４０は、エッジ変化量が所定の閾値以上であると判定した場合（ステップＳ１６　ＹＥＳ）、抽出モジュール４１は、エッジ変化量が所定の閾値以上のポイントを抽出する（ステップＳ１７）。ステップＳ１７において、抽出モジュール４１は、このポイントを異常が発生しているポイントとして、抽出する。
　図８に基づいて、抽出モジュール４１が抽出するエッジ変化量が所定の閾値以上のポイントについて説明する。図８は、エッジ変化量が所定の閾値以上のポイントを模式的に示した図である。図８において、抽出モジュール４１は、画像３００内に、エッジ変化量が所定の閾値以上のポイントを抽出している。図８において、抽出モジュール４１が抽出したポイント３１０～３１３に対して、模式的に枠線３２０～３２３を記載している。抽出モジュール４１は、抽出したポイント３１０～３１３の其々に対して、このポイントは、画像３００内におけるこの場所が、エッジ変化量が所定の閾値以上の場所であることを意味する。
　位置座標取得モジュール４２は、抽出したポイントの位置座標を取得する（ステップＳ１８）。ステップＳ１８において、位置座標取得モジュール４２は、抽出したポイントの画像における座標に基づいて、実際の位置座標（画像のポイントに対応する実際の場所の位置情報）を取得する。位置座標取得モジュール４２は、上述した撮影データに含まれるドローン１００の位置座標を、ポイントの位置座標であるものとして取得する。
　なお、位置座標取得モジュール４２は、複数のポイントが抽出されていた場合、これらのポイントを近似的に同一の位置座標とみなしてこの画像を撮影した地点におけるドローン１００の位置座標を、ポイントの位置座標として取得する。また、複数の画像で同一のポイントを抽出した場合、すなわち、一の画像で一のポイントを抽出したうえで、一の画像とは異なる画像でこの一のポイントをさらに抽出した場合、各画像における撮影時のドローン１００の位置座標の平均値を、この一のポイントの位置座標として取得してもよい。この時の一のポイントの位置座標は、２又はそれ以上の数の画像に対しても適応可能である。
　高度取得モジュール４３は、抽出したポイントの高度を取得する（ステップＳ１９）。ステップＳ１９において、高度取得モジュール４３は、抽出したポイントの画像におけるドローン１００の飛行高度に基づいて、この画像を撮影した高度を取得する。
　制御モジュール４４は、取得したポイントの位置座標及び高度へドローン１００を飛行させる飛行指示を作成する（ステップＳ２０）。ステップＳ２０において、制御モジュール４４は、取得したポイントが一つである場合、このポイントの位置座標及び高度に飛行させるための設定を飛行指示として作成する。また、制御モジュール４４は、取得したポイントが複数ある場合、これらのポイントの其々へ飛行させるための設定を飛行指示として作成する。このような複数のポイントを飛行させる飛行指示の具体的な内容として、単純に、その順番を問わずに、全てのポイントを飛行させるものや、ポイントの位置座標が近い順に飛行させるものや、ポイントのエッジ変化量の大きい順に飛行させるものや、バッテリーの消費量が少ない順に飛行させるものや、その他のものが挙げられる。全てのポイントを飛行させるものとは、抽出したポイントの上空又は近傍をその順番は問わずに、例えば、ランダム、画像を撮影した順、画像を撮影した順とは逆順に、飛行させるものである。またポイントの位置座標が近い順に飛行させるものとは、現在のドローン１００の場所における位置座標及び高度と、ポイントの位置座標及び高度とを比較して、ドローン１００の位置座標に近い順に、該当するポイントの上空又は近傍をその順に、飛行させるものである。また、エッジ変更料の大きい順に飛行させるものとは、抽出したポイントのうち、エッジ変化量の大きさ順に、該当するポイントの上空又は近傍をその順に、飛行させるものである。また、バッテリーの消費量が少ない順に飛行させるものとは、抽出したポイントのうち、飛行に必要なバッテリーの消費量が少ない順に、該当するポイントの上空又は近傍をその順に、飛行させるものである。
　制御モジュール４４は、このポイントを可視光以外の撮影装置で撮影させる再撮影指示を作成する（ステップＳ２１）。ステップＳ２１において、制御モジュール４４は、ドローン１００に、可視光以外の波長の光（例えば、赤外線の波長や紫外線の波長）による画像を撮影可能な撮影装置により、抽出したポイントを撮影させる指示を、再撮影指示として作成する。
　再飛行データ送信モジュール２１は、飛行指示及び再撮影指示を、再飛行データとして、ドローン１００に送信する（ステップＳ２２）。ステップＳ２２において、飛行指示及び再撮影指示を、撮影データを取得したドローン１００に対して、再飛行データとして送信する。
　なお、再飛行データ送信モジュール２１は、再飛行データを、撮影データを取得したドローン１００とは異なるドローンに対して送信してもよい。例えば、ドローン１００が、可視光による画像を撮影する装置のみしか有していない場合や、再撮影に必要だと判断されるバッテリー残量が残されていない場合（この場合には、ドローン１００は一度飛行が完了した際又は撮影データを送信する際等に、自身のバッテリー残量も併せて送信しておけばよい。）に、このドローン１００とは異なるドローン（可視光以外による画像を撮影する装置を有するドローンや再撮影に必要なバッテリー残量が残されているドローン）に、再飛行データを送信すればよい。
　再飛行データ取得モジュール１５１は、再飛行データを取得する。飛行モジュール１７０は、再飛行データに基づいて、抽出したポイントに飛行する（ステップＳ２３）。ステップＳ２３の処理は、上述したステップＳ１０の処理と略同様であり、再飛行データに含まれる飛行指示に基づいて飛行する。
　撮影モジュール１７１は、このポイントの画像を撮影する（ステップＳ２４）。ステップＳ２４において、撮影モジュール１７１は、画像として、赤外線や紫外線等の可視光以外の波長で、画像を撮影する。すなわち、ステップＳ２４における撮影モジュール１７１が撮影する画像とは、可視光以外の波長の画像である。
　撮影データ送信モジュール１５０は、撮影モジュール１７１が撮影した画像、撮影した場所における自身の位置座標及び自身の高度を、再撮影データとしてコンピュータ１０に送信する（ステップＳ２５）。ステップＳ２５の処理は、上述したステップＳ１２の処理と同様である。
　なお、上述したステップＳ１２の処理と同様に、位置座標及び高度は、必ずしも含まれていなくともよく、画像のみを再撮影データとして送信してもよい。また、撮影データ送信モジュール１５０は、画像及び位置座標を再撮影データとして、送信してもよい。
　撮影データ取得モジュール２０は、ドローン１００が送信した再撮影データを取得する（ステップＳ２６）。ステップＳ２６において、上述したステップＳ１３の処理と同様に、撮影データ取得モジュール２０が、ドローン１００で撮影された画像、位置座標及び高度を取得する。
　画像解析モジュール４０は、画像を解析する（ステップＳ２７）。ステップＳ２７において、画像解析モジュール４０は、エッジ検出やその他の特徴検出や特徴抽出を実行する。画像解析モジュール４０は、特徴検出や特徴抽出により、撮影対象の更なる情報を取得する。更なる情報とは、例えば、傷やシミの有無、傷やシミが存在する場合にはその大きさや場所や数等、傷やシミが存在しない場合にはその旨の通知を取得する。
　通知作成モジュール４５は、画像解析の結果得られた更なる情報を、再撮影結果通知として作成する（ステップＳ２８）。ステップＳ２８において、この再撮影結果通知は、上述した傷やシミの有無、その大きさや場所やその数、傷やシミが存在しない旨、可視光の波長の画像ではエッジ検出されたが可視光の以外の波長の画像ではエッジ検出されなかった旨等をテキスト化又は音声化したものである。
　通知送信モジュール２２は、作成した再撮影結果通知を、図示してないユーザが所有する端末装置等に送信する（ステップＳ２９）。端末装置等は、この再撮影結果通知を、受信し、これを自身に表示又は放音することにより、ユーザに通知する。ユーザは、この再撮影結果通知に基づいて、実際の対象の状況を把握することになる。
　以上が、ドローン制御処理である。
　なお、上述した各処理は、必ずしも一のハードウェアにより実行される構成でなくてもよい。例えば、上述した各処理を、コンピュータ１０又はドローン１００の何れか又は双方により実行される構成であってもよい。
　［変形例］
　図６及び図７に基づいて、ドローン制御システム1が実行するドローン制御処理の変形例について説明する。図６及び図７は、コンピュータ１０、ドローン１００が実行するドローン制御処理の変形例のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
　なお、上述した実施形態と同様の構成については、その詳細な説明を省略し、相違点を記載していく。
　はじめに、ドローン１００は、上述したステップＳ１０～Ｓ１２の処理を実行する（ステップＳ３０～Ｓ３２）。ドローン１００は、対象とする場所や建築物の近傍を飛行し、画像を撮影し、撮影データをコンピュータ１０に送信する。
　撮影データ取得モジュール２０は、上述したステップＳ１３及びＳ１４の処理と同様に、撮影データを取得し、画像解析を実行する（ステップＳ３３、Ｓ３４）。
　画像解析モジュール４０は、画像解析ができたか否かを判断する（ステップＳ３５）。ステップＳ３５において、画像解析モジュール４０は、上述したステップＳ１５と同様に、エッジ検出ができたか否かを判断する。また、画像解析モジュール４０は、エッジ検出以外の他の検出処理を実行できたか否かを判断する。
　ステップＳ３５において、画像解析モジュール４０は、画像解析ができたかと判断した場合（ステップＳ３５　ＹＥＳ）、上述したドローン制御処理におけるステップＳ１６以降の処理を実行する。なお、本変形例においては、説明の簡略化のため、本処理を終了するものとして図中では記載する。
　一方、ステップＳ３５において、画像解析モジュール４０は、画像解析ができなかったと判断した場合（ステップＳ３５　ＮＯ）、抽出モジュール４１は、この画像解析ができなかったポイントを、画像解析が不能な不能ポイントとして抽出する（ステップＳ３６）。ステップＳ３６において、画像解析モジュール４０は、この不能ポイントを、解像度が低いことにより画像解析ができなかったと判定し、抽出モジュール４１は、この不能ポイントを抽出する。
　なお、画像解析モジュール４０は、この不能ポイントを、それ以外が理由により画像解析ができなかったと判定してもよい。例えば、ドローン１００の距離と対象との間の距離が近すぎることにより画像解析ができなかったと判定してもよいし、ドローン１００の飛行が不安定なため、鮮明な画像が得られなかったことにより画像解析ができなかったと判定してもよい。
　図９に基づいて、抽出モジュール４１が抽出する不能ポイントについて説明する。図９は、不能ポイントを模式的に示した図である。図９において、抽出モジュール４１は、画像４００内に、不能ポイントを抽出している。図９において、抽出モジュール４１が抽出した不能ポイント４１０～４１３に対して、模式的に枠線４２０～４２３を記載している。抽出モジュール４１は、抽出した不能ポイント４１０～４１３の其々に対して、画像４００内におけるこの場所が、画像解析ができなかった場所であることを意味する。
　コンピュータ１０は、上述したステップＳ１８～Ｓ２２の処理と同様の処理を実行する（ステップＳ３７～Ｓ４１）。
　位置座標取得モジュール４２は、抽出した不能ポイントの位置座標を取得する（ステップＳ３７）。上述したステップＳ１８と同様に、複数の不能ポイントが抽出されていた場合、これらの不能ポイントを近似的に同一の位置座標とみなしてこの画像を撮影した地点におけるドローン１００の位置座標を、不能ポイントの位置座標として取得する。また、複数の画像で同一の不能ポイントを抽出した場合、すなわち、一の画像で一の不能ポイントを抽出したうえで、一の画像とは異なる画像でこの一の不能ポイントをさらに抽出した場合、各画像における撮影時のドローン１００の位置座標の平均値を、この一の不能ポイントの位置座標として取得してもよい。この時の一の不能ポイントの位置座標は、２又はそれ以上の数の画像に対しても適応可能である。
　高度取得モジュール４３は、抽出した不能ポイントの高度を取得する（ステップＳ３８）。
　制御モジュール４４は、取得した不能ポイントの位置座標及び高度へドローン１００を飛行させる飛行指示を作成する（ステップＳ３９）。ステップＳ３９において、制御モジュール４４は、取得した不能ポイントが一つである場合、この不能ポイントの位置座標及び高度に飛行させるための設定を飛行指示として作成する。また、制御モジュール４４は、取得した不能ポイントが複数ある場合、これらの不能ポイントの其々へ飛行させるための設定を飛行指示として作成する。このような複数の不能ポイントを飛行させる飛行指示の具体的な内容として、単純に、その順番を問わずに、全ての不能ポイントを飛行させるものや、不能ポイントの位置座標が近い順に飛行させるものや、その他のものが挙げられる。全ての不能ポイントを飛行させるものとは、抽出した不能ポイントの上空又は近傍をその順番は問わずに、例えば、ランダム、画像を撮影した順、画像を撮影した順とは逆順に、飛行させるものである。また不能ポイントの位置座標が近い順に飛行させるものとは、現在のドローン１００の場所における位置座標及び高度と、不能ポイントの位置座標及び高度とを比較して、ドローン１００の位置座標に近い順に、該当するポイントの上空又は近傍をその順に、飛行させるものである。
　制御モジュール４４は、このポイントを可視光以外の撮影装置で撮影させる再撮影指示を作成する（ステップＳ４０）。
　再飛行データ送信モジュール２１は、飛行指示及び再撮影指示を、再飛行データとして、ドローン１００に送信する（ステップＳ４１）。
　なお、再飛行データ送信モジュール２１は、再飛行データを、撮影データを取得したドローン１００とは異なるドローンに対して送信してもよい。例えば、ドローン１００が、可視光による画像を撮影する装置のみしか有していない場合や、再撮影に必要だと判断されるバッテリー残量が残されていない場合（この場合には、ドローン１００は一度飛行が完了した際又は撮影データを送信する際等に、自身のバッテリー残量も併せて送信しておけばよい。）に、このドローン１００とは異なるドローン（可視光以外による画像を撮影する装置を有するドローンや再撮影に必要なバッテリー残量が残されているドローン）に、再飛行データを送信すればよい。
　ドローン１００は、上述したステップＳ２３～Ｓ２５と同様の処理を実行する（ステップＳ４２～Ｓ４４）。
　再飛行データ取得モジュール１５１は、再飛行データを取得する。飛行モジュール１７０は、再飛行データに基づいて、抽出したポイントに飛行する（ステップＳ４２）。
　撮影モジュール１７１は、この不能ポイントの画像を撮影する（ステップＳ４３）。ステップＳ４３において、撮影モジュール１７１は、画像として、赤外線や紫外線等の可視光以外の波長で、画像を撮影する。
　撮影データ送信モジュール１５０は、再撮影データをコンピュータ１０に送信する（ステップＳ４４）。
　コンピュータ１０は、上述したステップＳ２６～Ｓ２９の処理と同様の処理を実行する（ステップＳ４５～４８）。
　撮影データ取得モジュール２０は、ドローン１００が送信した再撮影データを取得する（ステップＳ４５）。
　画像解析モジュール４０は、画像を解析する（ステップＳ４６）。ステップＳ４６において、画像解析モジュール４０は、エッジ検出やその他の特徴検出や特徴抽出を実行する。画像解析モジュール４０は、特徴検出や特徴抽出により、撮影対象の更なる情報を取得する。更なる情報とは、例えば、傷やシミの有無、傷やシミが存在する場合にはその大きさや場所や数等、傷やシミが存在しない場合にはその旨の通知を取得する。
　通知作成モジュール４５は、画像解析の結果得られた更なる情報を、再撮影結果通知として作成する（ステップＳ４７）。
　通知送信モジュール２２は、作成した再撮影結果通知を、図示してないユーザが所有する端末装置等に送信する（ステップＳ４８）。端末装置等は、この再撮影結果通知を、受信し、これを自身に表示又は放音することにより、ユーザに通知する。ユーザは、この再撮影結果通知に基づいて、実際の対象の状況を把握することになる。
　以上が、ドローン制御処理の変形例である。
　なお、上述した各処理は、必ずしも一のハードウェアにより実行される構成でなくてもよい。例えば、上述した各処理を、コンピュータ１０又はドローン１００の何れか又は双方により実行される構成であってもよい。
　上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される（ＳａａＳ：ソフトウェア・アズ・ア・サービス）形態で提供される。また、プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭなど）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
　以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
　１　ドローン制御システム、１０　コンピュータ、１００　ドローン

Claims (11)

  1. 　ドローンで撮影した画像を取得する画像取得手段と、
    　取得した前記画像を画像解析する画像解析手段と、
    　前記画像解析の結果、エッジ変化量が所定の閾値以上のポイントを抽出する抽出手段と、
    　抽出した前記ポイントの位置座標を取得する位置座標取得手段と、
    　前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させる制御手段と、
    　を備えることを特徴とするコンピュータシステム。
  2. 　前記ポイントが複数ある場合に、
    　全てのポイントを飛行するように前記ドローンの飛行ルートを設定する設定手段と、
    　を備えることを特徴とする請求項１に記載のコンピュータシステム。
  3. 　前記ポイントが複数ある場合に、
    　ポイントの位置座標の近い順に飛行するように前記ドローンの飛行ルートを設定する設定手段と、
    　を備えることを特徴とする請求項１に記載のコンピュータシステム。
  4. 　前記ポイントが複数ある場合に、
    　ポイントのエッジ変化量の大きい順に飛行するように前記ドローンの飛行ルートを設定する設定手段と、
    　を備えることを特徴とする請求項１に記載のコンピュータシステム。
  5. 　ドローンで撮影した画像を取得する画像取得手段と、
    　取得した前記画像を画像解析する画像解析手段と、
    　前記画像解析の結果、解像度が低くて画像解析が不能なポイントを抽出する抽出手段と、
    　抽出した前記ポイントの位置座標を取得する位置座標取得手段と、
    　前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させる制御手段と、
    　を備えることを特徴とするコンピュータシステム。
  6. 　前記ポイントが複数ある場合に、
    　全てのポイントを飛行するように前記ドローンの飛行ルートを設定する設定手段と、
    　を備えることを特徴とする請求項５に記載のコンピュータシステム。
  7. 　前記ポイントが複数ある場合に、
    　ポイントの位置座標の近い順に飛行するように前記ドローンの飛行ルートを設定する設定手段と、
    　を備えることを特徴とする請求項５に記載のコンピュータシステム。
  8. 　コンピュータシステムが実行するドローン制御方法であって、
    　ドローンで撮影した画像を取得するステップと、
    　取得した前記画像を画像解析するステップと、
    　前記画像解析の結果、エッジ変化量が所定の閾値以上のポイントを抽出するステップと、
    　抽出した前記ポイントの位置座標を取得するステップと、
    　前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させるステップと、
    　を備えることを特徴とするドローン制御方法。
  9. 　コンピュータシステムが実行するドローン制御方法であって、
    　ドローンで撮影した画像を取得するステップと、
    　取得した前記画像を画像解析するステップと、
    　前記画像解析の結果、解像度が低くて画像解析が不能なポイントを抽出するステップと、
    　抽出した前記ポイントの位置座標を取得するステップと、
    　前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させるステップと、
    　を備えることを特徴とするドローン制御方法。
  10. 　コンピュータシステムに、
    　ドローンで撮影した画像を取得するステップ、
    　取得した前記画像を画像解析するステップ、
    　前記画像解析の結果、エッジ変化量が所定の閾値以上のポイントを抽出するステップ、
    　抽出した前記ポイントの位置座標を取得するステップ、
    　前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させるステップ、
    　を実行させるためのコンピュータ読み取り可能なプログラム。
  11. 　コンピュータシステムに、
    　ドローンで撮影した画像を取得するステップ、
    　取得した前記画像を画像解析するステップ、
    　前記画像解析の結果、解像度が低くて画像解析が不能なポイントを抽出するステップ、
    　抽出した前記ポイントの位置座標を取得するステップ、
    　前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させるステップ、
    　を実行させるためのコンピュータ読み取り可能なプログラム。
     
PCT/JP2018/006897 2018-02-26 2018-02-26 コンピュータシステム、ドローン制御方法及びプログラム WO2019163118A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201880092742.8A CN112106342B (zh) 2018-02-26 2018-02-26 计算机系统、无人机控制方法以及记录介质
JP2020501973A JP6814431B2 (ja) 2018-02-26 2018-02-26 コンピュータシステム、ドローン制御方法及びプログラム
US17/056,308 US11774969B2 (en) 2018-02-26 2018-02-26 System and method using image analysis for controlling a flight path of a surface inspection unmanned aerial vehicle
PCT/JP2018/006897 WO2019163118A1 (ja) 2018-02-26 2018-02-26 コンピュータシステム、ドローン制御方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/006897 WO2019163118A1 (ja) 2018-02-26 2018-02-26 コンピュータシステム、ドローン制御方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2019163118A1 true WO2019163118A1 (ja) 2019-08-29

Family

ID=67688235

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/006897 WO2019163118A1 (ja) 2018-02-26 2018-02-26 コンピュータシステム、ドローン制御方法及びプログラム

Country Status (4)

Country Link
US (1) US11774969B2 (ja)
JP (1) JP6814431B2 (ja)
CN (1) CN112106342B (ja)
WO (1) WO2019163118A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110830719A (zh) * 2019-11-14 2020-02-21 苏州臻迪智能科技有限公司 取景范围确定方法及系统，拍摄控制方法及系统
JPWO2021014699A1 (ja) * 2019-07-19 2021-01-28
WO2023089984A1 (ja) * 2021-11-19 2023-05-25 富士フイルム株式会社 移動体、移動体撮影システム及び移動体撮影方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016082441A (ja) * 2014-10-17 2016-05-16 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
JP2016178769A (ja) * 2015-03-19 2016-10-06 綜合警備保障株式会社 点検対象特定システム及び点検対象特定方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS54114231A (en) * 1978-02-24 1979-09-06 Shinichi Hosoda Respiration converting system full drive nonndirectional dynamic speaker system
JP6619547B2 (ja) 2014-06-09 2019-12-11 株式会社イシダ 検査装置
WO2016069497A1 (en) * 2014-10-26 2016-05-06 Galileo Group, Inc. Methods and systems for remote sensing with airborne drones and mounted sensor devices
JP6626970B2 (ja) * 2016-06-14 2019-12-25 富士フイルム株式会社 サーバ装置、画像処理システム及び画像処理方法
WO2018061176A1 (ja) 2016-09-30 2018-04-05 株式会社オプティム ドローン制御システム、ドローン制御方法及びプログラム
CN106504363A (zh) 2016-10-19 2017-03-15 广东容祺智能科技有限公司 一种智能机载双光巡检系统稳定平台自动跟踪方法
CN106856002B (zh) * 2016-11-22 2020-06-26 上海大学 一种无人机拍摄图像质量评价方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016082441A (ja) * 2014-10-17 2016-05-16 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
JP2016178769A (ja) * 2015-03-19 2016-10-06 綜合警備保障株式会社 点検対象特定システム及び点検対象特定方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021014699A1 (ja) * 2019-07-19 2021-01-28
WO2021014699A1 (ja) * 2019-07-19 2021-01-28 株式会社Ｎｔｔドコモ 情報処理装置
JP7208402B2 (ja) 2019-07-19 2023-01-18 株式会社Ｎｔｔドコモ 情報処理装置
CN110830719A (zh) * 2019-11-14 2020-02-21 苏州臻迪智能科技有限公司 取景范围确定方法及系统，拍摄控制方法及系统
WO2023089984A1 (ja) * 2021-11-19 2023-05-25 富士フイルム株式会社 移動体、移動体撮影システム及び移動体撮影方法

Also Published As

Publication number Publication date
CN112106342A (zh) 2020-12-18
US11774969B2 (en) 2023-10-03
JP6814431B2 (ja) 2021-01-20
JPWO2019163118A1 (ja) 2020-12-03
CN112106342B (zh) 2023-06-23
US20210208604A1 (en) 2021-07-08

Similar Documents

Publication Publication Date Title
WO2018201809A1 (zh) 基于双摄像头的图像处理装置及方法
US11019322B2 (en) Estimation system and automobile
JP4196714B2 (ja) デジタルカメラ
US10597169B2 (en) Method of aerial vehicle-based image projection, device and aerial vehicle
US20140341427A1 (en) Surveillance camera system and surveillance camera control apparatus
WO2019163118A1 (ja) コンピュータシステム、ドローン制御方法及びプログラム
JP6103948B2 (ja) 撮像装置、遠隔操作端末、カメラシステム、撮像装置の制御方法およびプログラム、遠隔操作端末の制御方法およびプログラム
JP2001215403A (ja) 撮像装置および焦点の自動検出方法
US10636174B2 (en) Abnormality detection system, abnormality detection method, and program
JP6360648B2 (ja) 情報処理装置、情報処理方法及びそのプログラム。
US10404912B2 (en) Image capturing apparatus, image processing apparatus, image capturing system, image processing method, and storage medium
JP6259959B1 (ja) ドローン制御システム、ドローン制御方法及びプログラム
JP6775748B2 (ja) コンピュータシステム、位置推測方法及びプログラム
US11769258B2 (en) Feature processing in extended reality systems
WO2019163119A1 (ja) コンピュータシステム、ドローン制御方法及びプログラム
WO2022067836A1 (en) Simultaneous localization and mapping using cameras capturing multiple spectra of light
JP6768997B1 (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
CN111295874B (zh) 长条图像生成系统、方法以及存储介质
JP4156552B2 (ja) 撮像システム、撮像装置、撮像方法、及び撮像プログラム
US11438505B2 (en) Imaging apparatus and control method
JP6798072B2 (ja) 制御装置、移動体、制御方法、及びプログラム
US20240013351A1 (en) Removal of objects from images
US20240096049A1 (en) Exposure control based on scene depth
JP2022040134A (ja) 推定システムおよび自動車
TW202418218A (zh) 圖像中的物件移除

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18907098

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020501973

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18907098

Country of ref document: EP

Kind code of ref document: A1