WO2017208353A1 - ドローン自動飛行制御アプリケーション、スマートデバイス、ドローン、サーバ、ドローン自動飛行制御方法及びプログラム。 - Google Patents

ドローン自動飛行制御アプリケーション、スマートデバイス、ドローン、サーバ、ドローン自動飛行制御方法及びプログラム。 Download PDF

Info

Publication number
WO2017208353A1
WO2017208353A1 PCT/JP2016/066039 JP2016066039W WO2017208353A1 WO 2017208353 A1 WO2017208353 A1 WO 2017208353A1 JP 2016066039 W JP2016066039 W JP 2016066039W WO 2017208353 A1 WO2017208353 A1 WO 2017208353A1
Authority
WO
WIPO (PCT)
Prior art keywords
drone
flight control
smart device
automatic flight
control application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/066039
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optim Corp
Original Assignee
Optim Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optim Corp filed Critical Optim Corp
Priority to JP2016572851A priority Critical patent/JP6212662B1/ja
Priority to US15/534,620 priority patent/US10365644B2/en
Priority to PCT/JP2016/066039 priority patent/WO2017208353A1/ja
Publication of WO2017208353A1 publication Critical patent/WO2017208353A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0033—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by having the operator tracking the vehicle either by direct line of sight or via one or more cameras located remotely from the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • B64U2201/202—Remote controls using tethers for connecting to ground station
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T50/00—Aeronautics or air transport
    • Y02T50/60—Efficient propulsion technologies, e.g. for aircraft

Definitions

  • the present invention relates to a drone automatic flight control application, a smart device, a drone, a server, a drone automatic flight control method, and a program that are activated on a smart device connected to the drone.
  • an object of the present invention is to provide a drone automatic flight control application, a smart device, a drone, a server, a drone automatic flight control method, and a program that improve safety and convenience.
  • the present invention provides the following solutions.
  • the invention according to the first aspect is a drone automatic flight control application that is activated on a smart device connected to the drone, Camera activation means for activating the camera of the smart device; Captured image acquisition means for acquiring a captured image captured by the camera; Image analysis means for image analysis of the acquired captured image; A drone flight control means for controlling the flight of the drone based on the result of the image analysis; A drone automatic flight control application is provided.
  • the drone automatic flight control application that is activated on the smart device connected to the drone activates the camera of the smart device, acquires the captured image captured by the camera, The acquired captured image is subjected to image analysis, and the flight of the drone is controlled based on the result of the image analysis.
  • the invention according to the first feature is a category of the drone automatic flight control application, but exhibits the same operation and effect according to other categories such as a method and a program.
  • the drone automatic flight control application acquires an action history of the drone whose flight is controlled, and uses the acquired action history as the smart Display on the display of the device.
  • the invention according to a third aspect is characterized in that action data acquisition means for acquiring action data of the drone whose flight is controlled, Behavior data transmission means for transmitting the acquired behavior data to a server connected via a network;
  • action data acquisition means for acquiring action data of the drone whose flight is controlled
  • Behavior data transmission means for transmitting the acquired behavior data to a server connected via a network
  • the drone automatic flight control application which is invention which concerns on 1st characteristic characterized by comprising is provided.
  • the drone automatic flight control application acquires the action data of the drone that is controlled for the flight, and transmits the acquired action data to the network. To the server connected via.
  • power supply means for supplying the rechargeable battery of the smart device to the connected drone, Speed control means for controlling the speed of the drone based on the remaining amount of the rechargeable battery when the power is supplied;
  • the drone automatic flight control application which is invention which concerns on 1st characteristic characterized by comprising is provided.
  • the drone automatic flight control application according to the first aspect of the invention is activated on the smart device connected to the drone via USB.
  • the invention according to the sixth feature provides a smart device equipped with the drone automatic flight control application which is the invention according to the first feature.
  • the smart device is equipped with the drone automatic flight control application which is the invention relating to the first feature.
  • the invention according to the seventh feature provides a drone that is automatically controlled by the drone automatic flight control application that is the invention according to the first feature.
  • the drone is automatically controlled by the drone automatic flight control application which is the first aspect of the invention.
  • the invention according to the eighth feature provides a server connected via a network to a smart device equipped with the drone automatic flight control application according to the first feature.
  • the server is connected via a network to a smart device equipped with the drone automatic flight control application according to the first aspect of the invention.
  • the invention according to a ninth aspect is a drone automatic flight control method that is activated on a smart device connected to the drone, Activating a camera of the smart device; Obtaining a captured image captured by the camera; Image analysis of the acquired captured image; Controlling the flight of the drone based on the result of the image analysis; A drone automatic flight control method is provided.
  • the invention according to the tenth feature provides a drone automatic flight control application that is activated on a smart device connected to the drone. Activating a camera of the smart device; Obtaining a captured image captured by the camera; Image analysis of the acquired captured image; Controlling the flight of the drone based on the result of the image analysis; A program characterized in that is executed is provided.
  • FIG. 1 is a conceptual diagram of a drone automatic flight control system 1.
  • FIG. 2 is an overall configuration diagram of the drone automatic flight control system 1.
  • FIG. 3 is a functional block diagram of the server 10, the smart device 100, and the drone 200.
  • FIG. 4 is a flowchart showing the procedure of the drone automatic flight control process executed by the server 10, the smart device 100, and the drone 200.
  • FIG. 5 is a flowchart showing a procedure of drone automatic flight control processing executed by the server 10, the smart device 100, and the drone 200.
  • FIG. 6 is a flowchart illustrating a procedure of power supply processing executed by the smart device 100 and the drone 200.
  • FIG. 7 is a flowchart illustrating a procedure of power supply processing executed by the smart device 100 and the drone 200.
  • FIG. 8 is a diagram illustrating an example of an action history screen.
  • FIG. 9 is a speed control database.
  • FIG. 1 is a diagram for explaining the outline of a drone automatic flight control system 1 which is a preferred embodiment of the present invention.
  • the drone automatic flight control system 1 includes a server 10, a smart device 100, and a drone 200.
  • the number of smart devices 100 and drones 200 is not limited to one and may be plural. Moreover, each process mentioned later may be implement
  • the server 10 is a server device connected to the smart device 100 so that data communication is possible.
  • the smart device 100 is an information terminal connected to the drone 200 by wire or wirelessly and connected to the server 10 so that data communication is possible.
  • the smart device 100 is equipped with a drone automatic flight control application that executes various control functions such as automatic drone flight control, captured image capture control, captured captured image analysis control, behavior history display control, behavior data transmission control, and the like.
  • the smart device 100 is, for example, an information terminal such as a mobile phone, a portable information terminal, or a tablet terminal.
  • the drone 200 is an unmanned aerial vehicle connected to the smart device 100 by a wired connection such as USB or a wireless connection such as radio wave or light such as Bluetooth.
  • the drone 200 executes various control functions such as flight of itself, analysis control of captured images, and transmission control of action history by a drone automatic flight control application mounted on the smart device 100.
  • each process executed by the smart device 100 is described as being executed automatically by the above-described drone automatic flight control application without requiring any user operation.
  • the smart device 100 activates an imaging apparatus such as a camera that the smart device 100 has (step S01).
  • the drone automatic flight control application installed in the smart device 100 automatically activates the imaging apparatus.
  • the drone automatic flight control application captures an image such as a moving image or a still image by the activated imaging device.
  • the smart device 100 acquires the captured image (step S02).
  • the drone automatic flight control application installed in the smart device 100 automatically acquires the captured image.
  • the smart device 100 performs image analysis on the acquired image (step S03).
  • the drone automatic flight control application installed in the smart device 100 automatically performs image analysis.
  • the image analysis executed by the drone automatic flight control application is, for example, extraction of a predetermined specific object included in the captured image.
  • the specific object is, for example, a mark, an obstacle, a pest attached to a farm product, or the like.
  • the smart device 100 controls the flight of the drone 200 based on the result of the image analysis (step S04).
  • the drone automatic flight control application mounted on the smart device 100 automatically controls the flight of the drone 200.
  • the flight control of the drone 200 executed by the drone automatic flight control application includes, for example, flying to a mark, avoiding an obstacle, flying to a place where a pest is found, and spreading a pesticide.
  • the smart device 100 transmits behavior data such as an imaging point, a flight route, and a speed change of the drone 200 to the server 10 connected via the network at the end of the drone flight (step S05).
  • the drone automatic flight control application installed in the smart device 100 automatically transmits behavior data to the server 10 at the end of the flight or at a specific timing.
  • the smart device 100 may be configured to transmit behavior data to the server 10 at any time, or may be configured to transmit at another timing.
  • the drone automatic flight control application installed in the smart device 100 is configured to display a behavior history such as a captured image of the drone 200, a flight location, a flight time, a remaining battery level, and a speed on the smart device 100, and a behavior history.
  • the structure may be stored.
  • the drone automatic flight control application installed in the smart device 100 may be configured to supply power to the connected drone 200 from its own rechargeable battery.
  • the drone automatic flight control application may be configured to control the flight speed or the like of the drone from the remaining capacity of the rechargeable battery.
  • FIG. 2 is a diagram showing a system configuration of the drone automatic flight control system 1.
  • the drone automatic flight control system 1 includes a server 10, a smart device 100, a drone 200, and a public line network (Internet network, third and fourth generation communication networks, etc.) 5.
  • the number of smart devices 100 and drones 200 is not limited to one and may be plural.
  • each process mentioned later may be implement
  • the server 10 is the server device described above having the functions described below.
  • the smart device 100 is the information terminal described above having the functions described below.
  • the drone 200 is the above-described unmanned aerial vehicle having the functions described later.
  • FIG. 3 is a diagram illustrating functional blocks of the server 10, the smart device 100, and the drone 200.
  • the server 10 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), etc. as the control unit 11, and a device for enabling communication with other devices as the communication unit 12.
  • a WiFi (Wireless Fidelity) compatible device compliant with IEEE 802.11 is provided.
  • the server 10 also includes a data storage unit such as a hard disk, a semiconductor memory, a recording medium, or a memory card as the storage unit 14.
  • the behavior data receiving module 20 is realized in cooperation with the communication unit 12 by the control unit 11 reading a predetermined program. Further, in the server 10, the behavior data storage module 30 is realized in cooperation with the storage unit 14 by the control unit 11 reading a predetermined program.
  • the smart device 100 includes a CPU, RAM, ROM, and the like as the control unit 110, and a device for enabling communication with other devices as the communication unit 120, for example, WiFi compliant with IEEE 802.11. It includes a compatible device, a wired connection compatible device such as USB, and a wireless connection compatible device using radio waves or light.
  • the smart device 100 has a GPS position as an input / output unit 130 in addition to a display unit that outputs and displays data and images controlled by the control unit 110, and an input unit such as a touch panel, a keyboard, and a mouse that accept input from the user.
  • a device that acquires information, a device that captures an image such as a camera, a device that performs power feeding, and the like are included.
  • the smart device 100 includes a data storage unit as the storage unit 140, similar to the server 10.
  • the drone automatic flight control application is stored in the storage unit 140, and is activated when triggered by a connection with the drone 200 or an activation instruction from the user, and automatically executes various controls of the drone 200.
  • the connection determination module 150 when the control unit 110 reads a predetermined program, the connection determination module 150, the flight instruction transmission module 151, the behavior data transmission module 152, the battery remaining amount acquisition request transmission module cooperate with the communication unit 120. 153, the battery remaining amount receiving module 154, and the power supply module 155 are realized. Further, in the smart device 100, the application module 160 and the imaging module 161 are realized in cooperation with the input / output unit 130 by the control unit 110 reading a predetermined program. In the smart device 100, the control unit 110 reads a predetermined program, thereby realizing the database storage module 170 in cooperation with the storage unit 140.
  • the drone 200 includes a CPU, RAM, ROM, and the like as the control unit 210, and a device for enabling communication with other devices as the communication unit 220. Further, the drone 200 includes, as the drive unit 230, a device that drives its own propeller, a device that detects its own orientation, and the like.
  • the control unit 210 when the control unit 210 reads a predetermined program, the flight instruction receiving module 250, the battery remaining amount acquisition request receiving module 251 and the battery remaining amount transmitting module 252 are realized in cooperation with the communication unit 220. Further, in the drone 200, the control unit 210 reads a predetermined program, thereby realizing the flight control module 260 and the battery remaining amount acquisition module 261 in cooperation with the drive unit 230.
  • the smart device 100 includes a drone automatic flight control application.
  • the drone automatic flight control application automatically controls the drone 200.
  • the smart device 100 equipped with the drone automatic flight control application is connected to the server 10 via the public line network 5.
  • the connection determination module 150 determines whether or not the connection determination module 150 is connected to the drone 200 (step S10).
  • the smart device 100 and the drone 200 are connected by a wired connection such as a USB connection or a dedicated connector, or a wireless connection such as a radio wave or light.
  • the connection determination module 150 determines whether or not the connection determination module 150 is connected to the drone 200 by USB connection.
  • the connection determination module 150 may be configured to determine whether or not the connection is made by another connection method.
  • step S10 when the connection determination module 150 determines that it is not connected (NO in step S10), the process ends.
  • step S10 when the connection determination module 150 determines in step S10 that the connection is established (step S10 YES), the application module 160 activates the drone automatic flight control application (step S11).
  • each process executed by the application module 160 means that the drone automatic flight control application is automatically executed by the smart device 100 or the drone 200 unless otherwise specified.
  • the application module 160 automatically transmits a flight instruction to the drone 200 by the flight instruction transmission module 151 (step S12).
  • the application module 160 acquires a preset flight route and a preset flight range, and creates a flight instruction based on the flight route and the flight range.
  • the application module 160 acquires its own position information, and creates an instruction to control the flight of the drone 200 based on the acquired own position information and the position information of the flight path and flight range.
  • map data or the like is acquired, and an instruction for flight control of the drone 200 is created based on the map data and its own position information.
  • the flight instruction receiving module 250 receives a flight instruction.
  • the flight control module 260 flies over a flight path and a flight range based on the received flight instruction (step S13).
  • the application module 160 automatically activates the imaging module 161, and the imaging module 161 captures an image such as a moving image or a still image (step S14).
  • the application module 160 automatically acquires a captured image (step S15).
  • Application module 160 automatically analyzes an image (step S16).
  • the application module 160 extracts, for example, a preset object from the image as the image analysis.
  • the target object is, for example, a sign such as a signboard, a sign, a symbol, or an emblem, an obstacle such as a tree or a building, an insect such as a pest, or an animal such as a pest or a harmful bird.
  • the image analysis may have a configuration other than the object extraction. Further, the object is not limited to the above-described example, and may have another configuration.
  • control flight means, for example, flying toward the extracted mark, flying so as to avoid an obstacle, flying toward a place where pests exist, and pesticides are put on this place. It is to control so that it crawls. That is, the flight control in step S17 includes driving various functions of the drone 200.
  • Application module 160 determines whether or not the flight has ended (step S19).
  • the application module 160 for example, acquires the current position information of itself, and whether or not the position information matches the preset end point of the flight path, It is determined whether or not the movement of the drone 200 has stopped. Note that in step S19, the application module 160 may determine whether or not the flight has ended according to another configuration.
  • step S19 when the application module 160 determines that the flight has not ended (step S19: NO), the application module 160 executes the process of step S14.
  • step S19 determines in step S19 that the flight has ended (YES in step S19)
  • an action such as the drone imaging point, flight path, change in flight speed, battery usage, image data, etc.
  • Data is acquired (step S20).
  • the behavior data may have a configuration other than the configuration described above.
  • the application module 160 transmits the acquired behavior data to the server 10 by the behavior data transmission module 152 (step S21).
  • the behavior data receiving module 20 receives behavior data transmitted by the smart device 100.
  • the behavior data storage module 30 stores the received behavior data (step S22).
  • the behavior data storage module 30 stores the behavior data and the identifier or the like of either or both of the smart device 100 that transmitted the behavior data and the drone 200 connected to the smart device 100. It may be.
  • the behavior data stored by the server 10 may be transmitted to the smart device 100 or other terminals in response to requests from the smart device 100 or other terminals.
  • the application module 160 acquires the action history of the drone 200 (step S23).
  • the action history includes flight time, flight date and time, battery usage, flight speed, imaging location, executed flight control, and the like.
  • the smart device 100 temporarily stores an action history performed during the flight from the start of flight to the end of flight, and the application module 160 acquires the temporarily stored action history.
  • the smart device 100 may erase the temporarily stored action history when the application module 160 acquires the action history.
  • the smart device 100 may be configured to acquire the action history of the drone 200 as needed. In this case, the smart device 100 may be configured to acquire an action history every time the drone 200 takes some action, or may be configured to acquire an action history at a predetermined timing.
  • the smart device 100 may store all of the control contents executed by the drone 200 as an action history, and the application module 160 may acquire the stored action history. Further, the configuration of the action history can be changed as appropriate. Further, the action data and the action history may be the same information.
  • Application module 160 displays the acquired action history as an action history screen on its own display unit (step S24).
  • the application module 160 displays the average value of the flying speed of the drone 200 in the flying speed display area 330. Further, the application module 160 displays the contents of the flight control executed by the drone 200 in the flight control content display area 340.
  • the item displayed on the action history screen is not limited to the above-described configuration, but may be another configuration, and can be changed as appropriate.
  • the application module 160 may be configured to display the action history screen by visualizing each item of the action history using a graph or the like, or display the action history screen in combination with the character and the graph. It may be a configuration or another configuration.
  • the server 10 since it is not necessary for the server 10 to perform image analysis or the like, it is not necessary to transmit high-resolution image data to the server 10 in real time, and all of the applications of the smart device 100 can be completed. Is transmitted to the server 10. Further, the server 10 and the smart device 100 need only perform communication before and after the flight, and can control the drone 200 even in an area where radio waves do not reach.
  • the above is the drone automatic flight control processing.
  • the smart device 100 can execute a flight controller, a battery, a radio antenna, a GPS acquisition device, and the like that the conventional drone 200 has.
  • the drone automatic flight control system 1 can automatically execute various determinations by not involving human hands (no operation of the controller by the operator is required). Furthermore, it is possible to control even in areas where radio waves do not reach.
  • FIG.6 and FIG.7 are flowcharts of power supply processing executed by the smart device 100 and the drone 200.
  • FIG. 6 and 7 are flowcharts of power supply processing executed by the smart device 100 and the drone 200.
  • FIG. The processing executed by the modules of each device described above will be described together with this processing.
  • the connection determination module 150 determines whether or not the connection determination module 150 is connected to the drone 200 (step S30).
  • the process in step S30 is the same as the process in step S10 described above.
  • step S30 when the application module 160 determines that it is not connected (step S30: NO), this process ends.
  • connection determination module 150 determines that the connection is established in step S30 (YES in step S30)
  • the application module 160 transmits the battery remaining amount acquisition request transmission module 153, and the drone 200 acquires the remaining battery amount. Is transmitted to the drone 200 (step S31).
  • the battery remaining amount acquisition request receiving module 251 receives a battery remaining amount acquisition request.
  • the remaining battery level acquisition module 261 acquires its own remaining battery level (step S32).
  • interval may be sufficient.
  • the predetermined time interval may be executed at intervals of 5 minutes, 10 minutes, 20 minutes, etc.
  • the predetermined flight distance interval may be executed at intervals of 1 km, 10 km, 20 km, etc. .
  • the predetermined interval can be changed as appropriate.
  • the remaining battery level transmission module 252 transmits the acquired remaining battery level to the smart device 100 (step S33).
  • the battery remaining amount receiving module 154 receives the battery remaining amount.
  • the application module 160 determines whether or not the received battery remaining amount is equal to or less than a predetermined value (step S34).
  • the application module 160 determines whether or not the acquired remaining battery level is, for example, 10% or less, 20% or less, or the like. This predetermined value can be changed as appropriate. Further, the application module 160 may be configured to always perform power supply regardless of a predetermined value.
  • step S34 when the application module 160 determines that the value is not equal to or smaller than the predetermined value (NO in step S34), the process ends.
  • step S34 when the application module 160 determines in step S34 that the value is equal to or lower than the predetermined value (YES in step S34), the application module 160 uses the power supply module 155 to supply power to the drone 200 using its own rechargeable battery. (Step S35).
  • Application module 160 acquires its own battery level (step S36).
  • FIG. 9 is a diagram showing a speed control database.
  • the database storage module 170 stores its own battery remaining amount and the speed of the drone 200 in association with each other.
  • the battery remaining amount and speed stored in the database storage module 170 may be configured to be input directly by the operator, may be acquired from another server, database, or the like, or may be configured in advance. Or other configurations.
  • the flight instruction transmission module 151 transmits to the drone 200 an instruction to set the speed of the drone 200 to 50 km / h, which is a speed associated with the 80%.
  • the speed stored in the speed control database may have other configurations. For example, it may be the maximum speed of the drone 200 or a speed that is a percentage of the current speed.
  • a flight instruction for controlling the maximum speed or 80% of the current speed is transmitted. May be. Further, the items and numerical values of the speed control database can be changed as appropriate.
  • step S39 when the application module 160 determines that the flight has ended (YES in step S39), the process ends. On the other hand, when the application module 160 determines in step S39 that the flight has not ended (NO in step S39), the application module 160 determines whether or not the acquired remaining battery level is equal to or greater than a predetermined value (step S40). In step S40, the application module 160 determines whether or not the acquired battery remaining amount is equal to or greater than a predetermined value.
  • the predetermined value is, for example, 10% or 20%. Note that the predetermined value can be changed as appropriate. For example, it is determined whether or not the predetermined value is a value that approximates the remaining battery level to such an extent that imaging and various controls cannot be performed. May be.
  • step S40 when the application module 160 determines that the value is equal to or greater than the predetermined value (YES in step S40), the process of step S31 described above is executed. On the other hand, when the application module 160 determines in step S40 that the value is not equal to or greater than the predetermined value (NO in step S40), the application module 160 ends the power supply by the power supply module 155 (step S41).
  • the means and functions described above are realized by a computer (including a CPU, an information processing apparatus, and various terminals) reading and executing a predetermined program.
  • the program is provided in a form recorded on a computer-readable recording medium such as a flexible disk, CD (CD-ROM, etc.), DVD (DVD-ROM, DVD-RAM, etc.).
  • the computer reads the program from the recording medium, transfers it to the internal storage device or the external storage device, stores it, and executes it.
  • the program may be recorded in advance in a storage device (recording medium) such as a magnetic disk, an optical disk, or a magneto-optical disk, and provided from the storage device to a computer via a communication line.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】安全性及び利便性を向上させたドローン自動飛行制御アプリケーション、スマートデバイス、ドローン、サーバ、ドローン自動飛行制御方法及びプログラムを提供する。 【解決手段】ドローン２００と接続されたスマートデバイス１００上で起動するドローン自動飛行制御アプリケーションは、前記スマートデバイス１００のカメラを起動させ、前記カメラで撮像された撮像画像を取得し、前記取得した撮像画像を画像解析し、前記画像解析の結果に基づいて、前記ドローンの飛行を制御する。

Description

ドローン自動飛行制御アプリケーション、スマートデバイス、ドローン、サーバ、ドローン自動飛行制御方法及びプログラム。
　本発明は、ドローンと接続されたスマートデバイス上で起動するドローン自動飛行制御アプリケーション、スマートデバイス、ドローン、サーバ、ドローン自動飛行制御方法及びプログラムに関する。
　近年、モータ等で回転するプロペラにより空中を飛行するドローンが実用化されている。操作者は、無線コントローラ等を用いることにより飛行の制御や動画や静止画等の画像の撮像をドローンに実行させる。
　このようなドローンの飛行制御に関して、一の操作者が操作する一のドローンと、一の操作者とは異なる他の操作者が操作する他のドローンとが近接する時、他のドローンの飛行制御を行う構成が開示されている（特許文献１参照）。
特開２０１５－１９１２５４号公報
　しかしながら、特許文献１の構成では、一のドローンの位置情報と他のドローンの位置情報とに基づいて、他のドローンの飛行制御を実行する構成である。そのため、互いの位置情報を取得する必要があることから、例えば、特定の対象物を発見した場合に、特定の行動をすることや、この対象物まで飛行することや、この対象物を避けることを実行することは困難であった。また、ドローンの操作自体は、操作者が行うため、操作者が誤った操作をした場合、結果として衝突してしまうおそれや、操作者の操作が届かない距離にドローンが飛行した場合、操作者はドローンを操作することが不可能になってしまい、ドローンを消失してしまうおそれもあった。したがって、安全性及び利便性に問題があった。
　そこで、本発明では、安全性及び利便性を向上させたドローン自動飛行制御アプリケーション、スマートデバイス、ドローン、サーバ、ドローン自動飛行制御方法及びプログラムを提供することを目的とする。
　本発明では、以下のような解決手段を提供する。
　第１の特徴に係る発明は、ドローンと接続されたスマートデバイス上で起動するドローン自動飛行制御アプリケーションであって、
　前記スマートデバイスのカメラを起動させるカメラ起動手段と、
　前記カメラで撮像された撮像画像を取得する撮像画像取得手段と、
　前記取得した撮像画像を画像解析する画像解析手段と、
　前記画像解析の結果に基づいて、前記ドローンの飛行を制御するドローン飛行制御手段と、
　を備えることを特徴とするドローン自動飛行制御アプリケーションを提供する。
　第１の特徴に係る発明によれば、ドローンと接続されたスマートデバイス上で起動するドローン自動飛行制御アプリケーションは、前記スマートデバイスのカメラを起動させ、前記カメラで撮像された撮像画像を取得し、前記取得した撮像画像を画像解析し、前記画像解析の結果に基づいて、前記ドローンの飛行を制御する。
　ここで、第１の特徴に係る発明は、ドローン自動飛行制御アプリケーションのカテゴリであるが、方法及びプログラム等の他のカテゴリに応じた同様の作用・効果を発揮する。
　第２の特徴に係る発明は、前記飛行を制御されたドローンの行動履歴を取得する行動履歴取得手段と、
　前記取得した行動履歴を、前記スマートデバイスの表示部に表示させる行動履歴表示手段と、
　を備えることを特徴とする第１の特徴に係る発明であるドローン自動飛行制御アプリケーションを提供する。
　第２の特徴に係る発明によれば、第１の特徴に係る発明であるドローン自動飛行制御アプリケーションは、前記飛行を制御されたドローンの行動履歴を取得し、前記取得した行動履歴を、前記スマートデバイスの表示部に表示させる。
　第３の特徴に係る発明は、前記飛行を制御されたドローンの行動データを取得する行動データ取得手段と、
　前記取得した行動データを、ネットワークを介して接続されたサーバに送信する行動データ送信手段と、
　を備えることを特徴とする第１の特徴に係る発明であるドローン自動飛行制御アプリケーションを提供する。
　第３の特徴に係る発明によれば、第１の特徴に係る発明であるドローン自動飛行制御アプリケーションは、前記飛行を制御されたドローンの行動データを取得し、前記取得した行動データを、ネットワークを介して接続されたサーバに送信する。
　第４の特徴に係る発明は、前記スマートデバイスの充電池を、前記接続されたドローンに給電する給電手段と、
　前記給電する時に、前記充電池の残量に基づいて、前記ドローンのスピードを制御するスピード制御手段と、
　を備えることを特徴とする第１の特徴に係る発明であるドローン自動飛行制御アプリケーションを提供する。
　第４の特徴に係る発明によれば、第１の特徴に係る発明であるドローン自動飛行制御アプリケーションは、前記スマートデバイスの充電池を、前記接続されたドローンに給電し、前記給電する時に、前記充電池の残量に基づいて、前記ドローンのスピードを制御する。
　第５の特徴に係る発明は、前記ドローンとＵＳＢ接続された前記スマートデバイス上で起動する第１の特徴に係る発明であるドローン自動飛行制御アプリケーションを提供する。
　第５の特徴に係る発明によれば、第１の特徴に係る発明であるドローン自動飛行制御アプリケーションは、前記ドローンとＵＳＢ接続された前記スマートデバイス上で起動する。
　第６の特徴に係る発明は、第１の特徴に係る発明であるドローン自動飛行制御アプリケーションを搭載したスマートデバイスを提供する。
　第６の特徴に係る発明によれば、スマートデバイスは、第１の特徴に係る発明であるドローン自動飛行制御アプリケーションを搭載する。
　第７の特徴に係る発明は、第１の特徴に係る発明であるドローン自動飛行制御アプリケーションにより自動制御されるドローンを提供する。
　第７の特徴に係る発明によれば、ドローンは、第１の特徴に係る発明であるドローン自動飛行制御アプリケーションにより自動制御される。
　第８の特徴に係る発明は、第１の特徴に係る発明であるドローン自動飛行制御アプリケーションが搭載されたスマートデバイスとネットワークを介して接続されたサーバを提供する。
　第８の特徴に係る発明によれば、サーバは、第１の特徴に係る発明であるドローン自動飛行制御アプリケーションが搭載されたスマートデバイスとネットワークを介して接続される。
　第９の特徴に係る発明は、ドローンと接続されたスマートデバイス上で起動するドローン自動飛行制御方法であって、
　前記スマートデバイスのカメラを起動させるステップと、
　前記カメラで撮像された撮像画像を取得するステップと、
　前記取得した撮像画像を画像解析するステップと、
　前記画像解析の結果に基づいて、前記ドローンの飛行を制御するステップと、
　を備えることを特徴とするドローン自動飛行制御方法を提供する。
　第１０の特徴に係る発明は、ドローンと接続されたスマートデバイス上で起動するドローン自動飛行制御アプリケーションに、
　前記スマートデバイスのカメラを起動させるステップ、
　前記カメラで撮像された撮像画像を取得するステップ、
　前記取得した撮像画像を画像解析するステップ、
　前記画像解析の結果に基づいて、前記ドローンの飛行を制御するステップ、
　を実行させることを特徴とするプログラムを提供する。
　本発明によれば、安全性及び利便性を向上させたドローン自動飛行制御アプリケーション、スマートデバイス、ドローン、サーバ、ドローン自動飛行制御方法及びプログラムを提供することが可能となる。
図１は、ドローン自動飛行制御システム１の概念図である。 図２は、ドローン自動飛行制御システム１の全体構成図である。 図３は、サーバ１０、スマートデバイス１００、ドローン２００の機能ブロック図である。 図４は、サーバ１０、スマートデバイス１００、ドローン２００が実行するドローン自動飛行制御処理の手順を示すフローチャートである。 図５は、サーバ１０、スマートデバイス１００、ドローン２００が実行するドローン自動飛行制御処理の手順を示すフローチャートである。 図６は、スマートデバイス１００、ドローン２００が実行する給電処理の手順を示すフローチャートである。 図７は、スマートデバイス１００、ドローン２００が実行する給電処理の手順を示すフローチャートである。 図８は、行動履歴画面の一例を示す図である。 図９は、スピード制御データベースである。
　以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
　［ドローン自動飛行制御システム１の概要］
　本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態であるドローン自動飛行制御システム１の概要を説明するための図である。ドローン自動飛行制御システム１は、サーバ１０、スマートデバイス１００、ドローン２００から構成される。
　なお、図１において、スマートデバイス１００及びドローン２００は、１つに限らず複数であってもよい。また、後述する各処理は、サーバ１０、スマートデバイス１００又はドローン２００のいずれか又は複数の組み合わせにより実現されてもよい。
　サーバ１０は、スマートデバイス１００とデータ通信可能に接続されたサーバ装置である。
　スマートデバイス１００は、ドローン２００に有線又は無線により接続され、サーバ１０とデータ通信可能に接続された情報端末である。スマートデバイス１００は、ドローンの自動飛行制御、撮像画像の撮像制御、撮像した撮像画像の解析制御、行動履歴表示制御、行動データ送信制御等の各種制御機能を実行するドローン自動飛行制御アプリケーションが搭載される。スマートデバイス１００は、例えば、携帯電話、携帯情報端末、タブレット端末等の情報端末である。
　ドローン２００は、ＵＳＢ等の有線接続や、Ｂｌｕｅｔｏｏｔｈ等の電波や光等の無線接続により、スマートデバイス１００と接続される無人航空機である。ドローン２００は、スマートデバイス１００に搭載されたドローン自動飛行制御アプリケーションにより、自身の飛行、撮像画像の解析制御、行動履歴の送信制御等の各種制御機能を実行する。
　なお、以下の説明において、スマートデバイス１００が実行する各処理は、上述したドローン自動飛行制御アプリケーションが、ユーザの操作を必要とせず、自動的に実行するものとして説明する。
　はじめに、スマートデバイス１００は、自身が有するカメラ等の撮像装置を起動する（ステップＳ０１）。ステップＳ０１において、スマートデバイス１００に搭載されたドローン自動飛行制御アプリケーションが、自動的に、撮像装置を起動する。ドローン自動飛行制御アプリケーションは、起動した撮像装置により、動画や静止画等の画像を撮像する。
　スマートデバイス１００は、撮像した画像を取得する（ステップＳ０２）。ステップＳ０２において、スマートデバイス１００に搭載されたドローン自動飛行制御アプリケーションが、自動的に、撮像した画像を取得する。
　スマートデバイス１００は、取得した画像を画像解析する（ステップＳ０３）。ステップＳ０３において、スマートデバイス１００に搭載されたドローン自動飛行制御アプリケーションが、自動的に画像解析を実行する。ドローン自動飛行制御アプリケーションが実行する画像解析としては、例えば、撮像画像に含まれる予め設定された特定の対象物の抽出である。特定の対象物とは、例えば、目印、障害物、農作物に付着した害虫等である。
　スマートデバイス１００は、画像解析の結果に基づいて、ドローン２００の飛行を制御する（ステップＳ０４）。ステップＳ０４において、スマートデバイス１００に搭載されたドローン自動飛行制御アプリケーションが、自動的にドローン２００の飛行を制御する。ドローン自動飛行制御アプリケーションが実行するドローン２００の飛行制御とは、例えば、目印まで飛行させる、障害物を避ける、害虫を発見した場所まで飛行させ、農薬を撒く等である。
　スマートデバイス１００は、ドローンの飛行終了時に、ドローン２００の撮像地点、飛行経路、速度変化等の行動データを、ネットワークを介して接続されたサーバ１０に送信する（ステップＳ０５）。スマートデバイス１００に搭載されたドローン自動飛行制御アプリケーションが、自動的に飛行終了時や特定のタイミングにおいて、行動データをサーバ１０に送信する。なお、スマートデバイス１００は、行動データを随時サーバ１０に送信する構成であってもよいし、他のタイミングで送信する構成であってもよい。
　なお、スマートデバイス１００に搭載されたドローン自動飛行制御アプリケーションは、ドローン２００の撮像画像、飛行場所、飛行時間、電池残量、速度等の行動履歴をスマートデバイス１００に表示する構成や、行動履歴を記憶する構成であってもよい。
　また、スマートデバイス１００に搭載されたドローン自動飛行制御アプリケーションは、自身の充電池から、接続するドローン２００に給電する構成であってもよい。この場合、ドローン自動飛行制御アプリケーションは、自身の充電池の残量から、ドローンの飛行速度等を制御する構成であってもよい。
　以上が、ドローン自動飛行制御システム１の概要である。
　［ドローン自動飛行制御システム１のシステム構成］
　図２に基づいて、本発明の好適な実施形態であるドローン自動飛行制御システム１のシステム構成について説明する。図２は、ドローン自動飛行制御システム１のシステム構成を示す図である。ドローン自動飛行制御システム１は、サーバ１０、スマートデバイス１００、ドローン２００、公衆回線網（インターネット網や、第３、第４世代通信網等）５から構成される。なお、スマートデバイス１００及びドローン２００は、１つに限らず複数であってもよい。また、後述する各処理は、サーバ１０、スマートデバイス１００又はドローン２００のいずれか又は複数の組み合わせにより実現されてもよい。
　サーバ１０は、後述の機能を備えた上述したサーバ装置である。
　スマートデバイス１００は、後述の機能を備えた上述した情報端末である。
　ドローン２００は、後述の機能を備えた上述した無人航空機である。
　［各機能の説明］
　図３に基づいて、ドローン自動飛行制御システム１の機能について説明する。図３は、サーバ１０、スマートデバイス１００、ドローン２００の機能ブロックを示す図である。
　サーバ１０は、制御部１１として、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等を備え、通信部１２として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）対応デバイスを備える。また、サーバ１０は、記憶部１４として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。
　サーバ１０において、制御部１１が所定のプログラムを読み込むことにより、通信部１２と協働して、行動データ受信モジュール２０を実現する。また、サーバ１０において、制御部１１が所定のプログラムを読み込むことにより、記憶部１４と協働して、行動データ記憶モジュール３０を実現する。
　スマートデバイス１００は、サーバ１０と同様に制御部１１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部１２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ対応デバイスや、ＵＳＢ等の有線接続対応デバイスや、電波や光等による無線接続対応デバイスを備える。また、スマートデバイス１００は、入出力部１３０として、制御部１１０で制御したデータや画像を出力表示する表示部や、ユーザからの入力を受け付けるタッチパネルやキーボード、マウスといった入力部に加え、ＧＰＳから位置情報を取得するデバイスや、カメラ等の画像を撮像するデバイスや給電を実行するデバイス等を備える。また、スマートデバイス１００は、記憶部１４０として、サーバ１０と同様に、データのストレージ部を備える。
　ドローン自動飛行制御アプリケーションは、記憶部１４０に記憶されており、ドローン２００との接続や、ユーザからの起動指示を契機として、起動し、ドローン２００の各種制御を自動的に実行する。
　スマートデバイス１００において、制御部１１０が所定のプログラムを読み込むことにより、通信部１２０と協働して、接続判断モジュール１５０、飛行指示送信モジュール１５１、行動データ送信モジュール１５２、電池残量取得要求送信モジュール１５３、電池残量受信モジュール１５４、給電モジュール１５５を実現する。また、スマートデバイス１００において、制御部１１０が所定のプログラムを読み込むことにより、入出力部１３０と協働して、アプリケーションモジュール１６０、撮像モジュール１６１を実現する。また、スマートデバイス１００において、制御部１１０が所定のプログラムを読み込むことにより、記憶部１４０と協働して、データベース記憶モジュール１７０を実現する。
　ドローン２００は、サーバ１０及びスマートデバイス１００と同様に、制御部２１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部２２０として、他の機器と通信可能にするためのデバイスを備える。また、ドローン２００は、駆動部２３０として、自身が有するプロペラを駆動するデバイスや、自身の向き等を検知するデバイス等を備える。
　ドローン２００において、制御部２１０が所定のプログラムを読み込むことにより、通信部２２０と協働して、飛行指示受信モジュール２５０、電池残量取得要求受信モジュール２５１、電池残量送信モジュール２５２を実現する。また、ドローン２００において、制御部２１０が所定のプログラムを読み込むことにより、駆動部２３０と協働して、飛行制御モジュール２６０、電池残量取得モジュール２６１を実現する。
　ドローン自動飛行制御システム１において、スマートデバイス１００は、ドローン自動飛行制御アプリケーションを搭載している。また、このドローン自動飛行制御アプリケーションは、ドローン２００を自動制御する。また、ドローン自動飛行制御アプリケーションを搭載するスマートデバイス１００は、公衆回線網５を介して、サーバ１０に接続される。
　［ドローン自動飛行制御処理］
　図４及び図５に基づいて、ドローン自動飛行制御システム１が実行するドローン自動飛行制御処理について説明する。図４及び図５は、サーバ１０、スマートデバイス１００、ドローン２００が実行するドローン自動飛行制御処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
　接続判断モジュール１５０は、自身がドローン２００と接続されたか否かを判断する（ステップＳ１０）。スマートデバイス１００と、ドローン２００とは、ＵＳＢ接続や専用コネクタ等による有線接続や、電波や光等の無線接続により接続される。また、本実施形態において、接続判断モジュール１５０は、自身がドローン２００とＵＳＢ接続により接続されたか否かを判断する。なお、接続判断モジュール１５０は、他の接続方法で接続されたか否かを判断する構成であってもよい。
　ステップＳ１０において、接続判断モジュール１５０は、接続されていないと判断した場合（ステップＳ１０　ＮＯ）、本処理を終了する。
　一方、ステップＳ１０において、接続判断モジュール１５０は、接続されていると判断した場合（ステップＳ１０　ＹＥＳ）、アプリケーションモジュール１６０は、ドローン自動飛行制御アプリケーションを起動する（ステップＳ１１）。以下の説明において、アプリケーションモジュール１６０が実行する各処理は、特に断りがない限りこのドローン自動飛行制御アプリケーションが自動的に、スマートデバイス１００又はドローン２００に実行させることを意味する。
　アプリケーションモジュール１６０は、自動で、飛行指示送信モジュール１５１により、ドローン２００に飛行指示を送信する（ステップＳ１２）。アプリケーションモジュール１６０は、予め設定された飛行経路や、予め設定された飛行範囲を取得し、この飛行経路や飛行範囲に基づいた飛行指示を作成する。例えば、アプリケーションモジュール１６０は、自身の位置情報を取得し、この取得した自身の位置情報と、飛行経路や飛行範囲の位置情報とに基づいて、ドローン２００の飛行を制御する指示を作成する。また、例えば、地図データ等を取得し、この地図データと自身の位置情報とに基づいて、ドローン２００の飛行制御する指示を作成する。
　飛行指示受信モジュール２５０は、飛行指示を受信する。飛行制御モジュール２６０は、受信した飛行指示に基づいて、飛行経路や飛行範囲を飛行する（ステップＳ１３）。
　アプリケーションモジュール１６０は、自動で、撮像モジュール１６１を起動させ、撮像モジュール１６１により、動画や静止画等の画像を撮像する（ステップＳ１４）。
　アプリケーションモジュール１６０は、自動で、撮像した画像を取得する（ステップＳ１５）。
　アプリケーションモジュール１６０は、自動で、画像を画像解析する（ステップＳ１６）。ステップＳ１６において、アプリケーションモジュール１６０は、画像解析として、例えば、予め設定された対象物を画像中から抽出する。対象物とは、例えば、看板や標識や記号や紋章等のマークや、樹木や建築物等の障害物や、害虫等の昆虫や、害獣や害鳥等の動物である。なお、画像解析は、対象物の抽出以外の構成であってもよい。また、対象物は、上述した例に限らず他の構成であってもよい。
　アプリケーションモジュール１６０は、画像解析の結果に基づいて、飛行指示送信モジュール１５１により、自動で、ドローンの飛行を制御する飛行制御指示を送信する（ステップＳ１７）。ステップＳ１７において、飛行を制御とは、例えば、抽出したマークに向かって飛行することや、障害物を避けるように飛行することや、害虫が存在する場所に向かって飛行し、この場所に農薬を撒くように制御することである。すなわち、ステップＳ１７における飛行の制御とは、ドローン２００の様々な機能を駆動することも含む。
　飛行指示受信モジュール２５０は、飛行の制御指示を受信する。飛行制御モジュール２６０は、受信した飛行の制御指示に基づいた飛行の制御を行う（ステップＳ１８）。ステップＳ１８において、例えば、ドローン２００は、マークに向かって飛行することや、障害物を避けるように飛行することや、害虫が存在する場所に向かって飛行し、この場所に農薬を撒くように飛行する。すなわち、ドローン２００は、スマートデバイス１００からの指示に基づいた飛行を実行し、操作者からの操作を必要としない。
　アプリケーションモジュール１６０は、飛行が終了したか否かを判断する（ステップＳ１９）。ステップＳ１９において、アプリケーションモジュール１６０は、例えば、現在の自身の位置情報を取得し、この位置情報が、予め設定された飛行経路の終了地点と一致するか否か、自身の高度が所定の高度になったか否か、ドローン２００の動きが停止したか否か等により判断する。なお、ステップＳ１９において、アプリケーションモジュール１６０は、その他の構成により、飛行が終了したか否かを判断してもよい。
　ステップＳ１９において、アプリケーションモジュール１６０は、飛行が終了していないと判断した場合（ステップＳ１９　ＮＯ）、ステップＳ１４の処理を実行する。
　一方、ステップＳ１９において、アプリケーションモジュール１６０は、飛行が終了していると判断した場合（ステップＳ１９　ＹＥＳ）、ドローンの撮像地点、飛行経路、飛行速度の変化量、電池使用量、画像データ等の行動データを取得する（ステップＳ２０）。なお、行動データは、上述した構成以外の構成であってもよい。
　アプリケーションモジュール１６０は、行動データ送信モジュール１５２により、取得した行動データをサーバ１０に送信する（ステップＳ２１）。
　行動データ受信モジュール２０は、スマートデバイス１００が送信した行動データを受信する。行動データ記憶モジュール３０は、受信した行動データを記憶する（ステップＳ２２）。ステップＳ２２において、行動データ記憶モジュール３０は、行動データと、この行動データを送信したスマートデバイス１００又はこのスマートデバイス１００に接続されたドローン２００のいずれか又は双方の識別子等を対応付けて記憶する構成であってもよい。なお、サーバ１０が記憶した行動データは、スマートデバイス１００やその他の端末等からの求めに応じて、スマートデバイス１００やその他の端末等に送信する構成であってもよい。
　アプリケーションモジュール１６０は、ドローン２００の行動履歴を取得する（ステップＳ２３）。行動履歴とは、飛行時間、飛行日時、電池使用量、飛行速度、撮像場所、実行した飛行制御等である。スマートデバイス１００は、飛行開始から飛行終了までの間の飛行中に行った行動履歴を一時的に記憶しており、アプリケーションモジュール１６０は、この一時的に記憶した行動履歴を取得する。スマートデバイス１００は、アプリケーションモジュール１６０が行動履歴を取得したことを契機として、一時的に記憶した行動履歴を消去してもよい。なお、スマートデバイス１００は、ドローン２００の行動履歴を随時取得する構成であってもよい。この場合、スマートデバイス１００は、ドローン２００が何らかの行動を起こすたびに、行動履歴を取得する構成であってもよいし、所定のタイミングで行動履歴を取得する構成であってもよい。また、スマートデバイス１００は、ドローン２００に実行させた制御内容の全てを行動履歴として記憶し、アプリケーションモジュール１６０は、この記憶した行動履歴を取得する構成であってもよい。また、行動履歴の構成は、適宜変更可能である。また、行動データと行動履歴とは同様の情報であってもよい。
　アプリケーションモジュール１６０、取得した行動履歴を、行動履歴画面として、自身の表示部に表示する（ステップＳ２４）。
　図８は、アプリケーションモジュール１６０が表示する行動履歴画面の一例を示す図である。図８において、アプリケーションモジュール１６０は、行動履歴画面として、画面内容表示領域３００、飛行日時表示領域３１０、電池使用量表示領域３２０、飛行速度表示領域３３０、飛行制御内容表示領域３４０、終了アイコン３５０を表示する。アプリケーションモジュール１６０は、画面内容表示領域３００に、本画面が、行動履歴を表示する画面であることを示す通知を表示する。また、アプリケーションモジュール１６０は、飛行日時表示領域３１０に、ドローン２００が飛行した日付、時刻を表示する。また、アプリケーションモジュール１６０は、電池使用量表示領域３２０に、ドローン２００が使用した電池量を表示する。また、アプリケーションモジュール１６０は、飛行速度表示領域３３０に、ドローン２００の飛行速度の平均値を表示する。また、アプリケーションモジュール１６０は、飛行制御内容表示領域３４０に、ドローン２００に実行させた飛行制御の内容を表示する。なお、行動履歴画面に表示する項目は、上述した構成に限らず、他の構成であってもよく、適宜変更可能である。また、アプリケーションモジュール１６０は、行動履歴画面を、文字による表示に限らず、行動履歴の各項目をグラフ等により視覚化して表示する構成であってもよいし、文字とグラフ等を組み合わせて表示する構成であってもよいし、他の構成であってもよい。
　このようにすることにより、ドローン２００にスマートデバイス１００を搭載し、このスマートデバイス１００のカメラで撮像した画像を画像解析し、この画像解析の結果に基づいて、ドローン２００に必要な行動を自動でさせることが可能となる。したがって、サーバ１０に画像を送信する必要がなくなり、電波の届かない地域であっても、行動可能となる。また、操作、撮像、解析を自動でスマートデバイス１００が実行することが可能となる。
　また、サーバ１０が画像解析等を実行する必要がなくなるため、高解像度の画像データをリアルタイムにサーバ１０へ送信する必要がなくなり、スマートデバイス１００のアプリケーションですべてを完結させることができ、その結果だけをサーバ１０に送信することになる。また、サーバ１０とスマートデバイス１００とは、飛行の前後にのみ通信を実行すればよくなり、電波の届かない地域であっても、ドローン２００の制御を実行することが可能となる。
　以上が、ドローン自動飛行制御処理である。
　上述した処理により、従来、ドローン２００が実行していた機能の一部をスマートデバイス１００に置換することが可能となる。例えば、従来ドローン２００が有していたフライトコントローラ、バッテリー、プロポアンテナ、ＧＰＳ取得デバイス等をスマートデバイス１００により実行することが可能となる。また、人の手を介さない（操作者によるコントローラ操作を必要としない）ことにより、ドローン自動飛行制御システム１が自動で各種判断を実行することが可能となる。さらには、無線が届かない地域でも操縦することが可能となる。
　［給電処理］
　次に、図６及び図７に基づいて、ドローン自動飛行制御システム１が実行する給電処理について説明する。図６及び図７は、スマートデバイス１００、ドローン２００が実行する給電処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
　接続判断モジュール１５０は、自身がドローン２００と接続されたか否かを判断する（ステップＳ３０）。ステップＳ３０の処理は、上述したステップＳ１０の処理と同様である。ステップＳ３０において、アプリケーションモジュール１６０は、接続されていないと判断した場合（ステップＳ３０　ＮＯ）、本処理を終了する。
　一方、ステップＳ３０において、接続判断モジュール１５０は、接続されていると判断した場合（ステップＳ３０　ＹＥＳ）、アプリケーションモジュール１６０は、電池残量取得要求送信モジュール１５３は、ドローン２００の電池残量の取得要求をドローン２００に送信する（ステップＳ３１）。
　電池残量取得要求受信モジュール２５１は、電池残量の取得要求を受信する。電池残量取得モジュール２６１は、自身の電池残量を取得する（ステップＳ３２）。なお、ステップＳ３１及びステップＳ３２の処理は、所定の間隔で実行する構成であってもよい。例えば、所定の時間間隔として、５分間隔、１０分間隔、２０分間隔等に実行してもよいし、所定の飛行距離間隔として、１ｋｍ間隔、１０ｋｍ間隔、２０ｋｍ間隔等に実行してもよい。所定の間隔は、適宜変更可能である。
　電池残量送信モジュール２５２は、取得した電池残量をスマートデバイス１００に送信する（ステップＳ３３）。
　電池残量受信モジュール１５４は、電池残量を受信する。アプリケーションモジュール１６０は、受信した電池残量が所定の値以下であるか否かを判断する（ステップＳ３４）。ステップＳ３４において、アプリケーションモジュール１６０は、取得した電池残量が例えば、１０％以下、２０％以下等であるか否かを判断する。なお、この所定の値は、適宜変更可能である。また、アプリケーションモジュール１６０は、所定の値とは無関係に常に給電を実行する構成であってもよい。
　ステップＳ３４において、アプリケーションモジュール１６０は、所定の値以下ではないと判断した場合（ステップＳ３４　ＮＯ）、本処理を終了する。
　一方、ステップＳ３４において、アプリケーションモジュール１６０は、所定の値以下であると判断した場合（ステップＳ３４　ＹＥＳ）、アプリケーションモジュール１６０は、給電モジュール１５５により、ドローン２００に自身の充電池を利用し、給電する（ステップＳ３５）。
　アプリケーションモジュール１６０は、自身の電池残量を取得する（ステップＳ３６）。
　アプリケーションモジュール１６０は、取得した電池残量と、後述するスピード制御データベースとに基づいて、飛行指示送信モジュール１５１により、ドローン２００の飛行スピードを制御するスピード制御指示を、ドローン２００に送信する（ステップＳ３７）。
　［スピード制御データベース］
　図９に基づいて、データベース記憶モジュール１７０が記憶するスピード制御データベースについて説明する。図９は、スピード制御データベースを示す図である。図９において、データベース記憶モジュール１７０は、自身の電池残量と、ドローン２００のスピードとを対応付けて記憶する。データベース記憶モジュール１７０が記憶する電池残量及びスピードは、操作者が直接入力する構成であってもよいし、他のサーバやデータベース等から取得する構成であってもよいし、予め設定された構成であってもよいし、その他の構成であってもよい。
　例えば、飛行指示送信モジュール１５１は、取得した電池残量が、８０％である場合、この８０％に対応付けられたスピードである５０ｋｍ／ｈを、ドローン２００のスピードとする指示をドローン２００に送信する。なお、スピード制御データベースに記憶されたスピードは、他の構成であってもよい。例えば、ドローン２００の最高速度又は現在速度に対する割合のスピードであってもよい。具体的には、電池残量が８０％であり、この８０％にスピードを８０％を対応付けてある場合、最高速度又は現在速度の８０％のスピードに制御する飛行指示を送信する構成であってもよい。また、スピード制御データベースの項目及び数値は適宜変更可能である。
　飛行指示受信モジュール２５０は、スピード制御指示を受信する。飛行制御モジュール２６０は、受信したスピード制御指示に基づいて、自身の飛行スピードを制御する（ステップＳ３８）。
　アプリケーションモジュール１６０は、飛行が終了したか否かを判断する（ステップＳ３９）。ステップＳ３９の処理は、上述したステップＳ１９の処理と同様である。
　ステップＳ３９において、アプリケーションモジュール１６０は、飛行が終了したと判断した場合（ステップＳ３９　ＹＥＳ）、本処理を終了する。一方、ステップＳ３９において、アプリケーションモジュール１６０は、飛行が終了していないと判断した場合（ステップＳ３９　ＮＯ）、取得した電池残量が所定の値以上であるか否かを判断する（ステップＳ４０）。ステップＳ４０において、アプリケーションモジュール１６０は、取得した電池残量が所定の値以上であるか否かを判断する。所定の値とは、例えば、１０％、２０％である。なお、所定の値は、適宜変更可能であり、例えば、画像の撮像や、各種制御を実行が不可能になる程度の電池残量に近似する値になった場合であるか否かを判断してもよい。
　ステップＳ４０において、アプリケーションモジュール１６０は、所定の値以上であると判断した場合（ステップＳ４０　ＹＥＳ）、上述したステップＳ３１の処理を実行する。一方、ステップＳ４０において、アプリケーションモジュール１６０は、所定の値以上ではないと判断した場合（ステップＳ４０　ＮＯ）、アプリケーションモジュール１６０は、給電モジュール１５５による給電を終了させる（ステップＳ４１）。
　以上が、給電処理である。
　上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭなど）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
　以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
　１　ドローン自動飛行制御システム、１０　サーバ、１００　スマートデバイス、２００　ドローン

Claims (10)

  1. 　ドローンと接続されたスマートデバイス上で起動するドローン自動飛行制御アプリケーションであって、
    　前記スマートデバイスのカメラを起動させるカメラ起動手段と、
    　前記カメラで撮像された撮像画像を取得する撮像画像取得手段と、
    　前記取得した撮像画像を画像解析する画像解析手段と、
    　前記画像解析の結果に基づいて、前記ドローンの飛行を制御するドローン飛行制御手段と、
    　を備えることを特徴とするドローン自動飛行制御アプリケーション。
  2. 　前記飛行を制御されたドローンの行動履歴を取得する行動履歴取得手段と、
    　前記取得した行動履歴を、前記スマートデバイスの表示部に表示させる行動履歴表示手段と、
    　を備えることを特徴とする請求項１に記載のドローン自動飛行制御アプリケーション。
  3. 　前記飛行を制御されたドローンの行動データを取得する行動データ取得手段と、
    　前記取得した行動データを、ネットワークを介して接続されたサーバに送信する行動データ送信手段と、
    　を備えることを特徴とする請求項１に記載のドローン自動飛行制御アプリケーション。
  4. 　前記スマートデバイスの充電池を、前記接続されたドローンに給電する給電手段と、
    　前記給電する時に、前記充電池の残量に基づいて、前記ドローンのスピードを制御するスピード制御手段と、
    　を備えることを特徴とする請求項１に記載のドローン自動飛行制御アプリケーション。
  5. 　前記ドローンとＵＳＢ接続された前記スマートデバイス上で起動する請求項１に記載のドローン自動飛行制御アプリケーション。
  6. 　請求項１に記載のドローン自動飛行制御アプリケーションを搭載したスマートデバイス。
  7. 　請求項１に記載のドローン自動飛行制御アプリケーションにより自動制御されるドローン。
  8. 　請求項１に記載のドローン自動飛行制御アプリケーションが搭載されたスマートデバイスとネットワークを介して接続されたサーバ。
  9. 　ドローンと接続されたスマートデバイス上で起動するドローン自動飛行制御方法であって、
    　前記スマートデバイスのカメラを起動させるステップと、
    　前記カメラで撮像された撮像画像を取得するステップと、
    　前記取得した撮像画像を画像解析するステップと、
    　前記画像解析の結果に基づいて、前記ドローンの飛行を制御するステップと、
    　を備えることを特徴とするドローン自動飛行制御方法。
  10. 　ドローンと接続されたスマートデバイス上で起動するドローン自動飛行制御アプリケーションに、
    　前記スマートデバイスのカメラを起動させるステップ、
    　前記カメラで撮像された撮像画像を取得するステップ、
    　前記取得した撮像画像を画像解析するステップ、
    　前記画像解析の結果に基づいて、前記ドローンの飛行を制御するステップ、
    　を実行させることを特徴とするプログラム。
PCT/JP2016/066039 2016-05-31 2016-05-31 ドローン自動飛行制御アプリケーション、スマートデバイス、ドローン、サーバ、ドローン自動飛行制御方法及びプログラム。 Ceased WO2017208353A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016572851A JP6212662B1 (ja) 2016-05-31 2016-05-31 ドローン自動飛行制御アプリケーション、スマートデバイス、ドローン、サーバ、ドローン自動飛行制御方法及びプログラム。
US15/534,620 US10365644B2 (en) 2016-05-31 2016-05-31 Application, smart device, drone, server, system method, and program for automatically control drone flight
PCT/JP2016/066039 WO2017208353A1 (ja) 2016-05-31 2016-05-31 ドローン自動飛行制御アプリケーション、スマートデバイス、ドローン、サーバ、ドローン自動飛行制御方法及びプログラム。

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/066039 WO2017208353A1 (ja) 2016-05-31 2016-05-31 ドローン自動飛行制御アプリケーション、スマートデバイス、ドローン、サーバ、ドローン自動飛行制御方法及びプログラム。

Publications (1)

Publication Number Publication Date
WO2017208353A1 true WO2017208353A1 (ja) 2017-12-07

Family

ID=60040509

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/066039 Ceased WO2017208353A1 (ja) 2016-05-31 2016-05-31 ドローン自動飛行制御アプリケーション、スマートデバイス、ドローン、サーバ、ドローン自動飛行制御方法及びプログラム。

Country Status (3)

Country Link
US (1) US10365644B2 (ja)
JP (1) JP6212662B1 (ja)
WO (1) WO2017208353A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023041994A (ja) * 2021-09-14 2023-03-27 中国電力株式会社 外灯監視システムおよび外灯監視用プログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7124280B2 (ja) * 2017-09-13 2022-08-24 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
US10790549B2 (en) * 2017-10-26 2020-09-29 Sunfield Semiconductor Inc. Method for management of energy storage systems, and related method of operation for smart energy storage cells
CN114995487B (zh) * 2019-11-07 2025-07-18 深圳市道通智能航空技术股份有限公司 全向避障方法及无人飞行器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140297067A1 (en) * 2012-08-02 2014-10-02 Benjamin Malay Vehicle control system
US20140316616A1 (en) * 2013-03-11 2014-10-23 Airphrame, Inc. Unmanned aerial vehicle and methods for controlling same
JP2014199548A (ja) * 2013-03-29 2014-10-23 綜合警備保障株式会社 飛行制御システム及び飛行制御方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6379575B2 (ja) 2014-03-27 2018-08-29 日本電気株式会社 無人航空機、無人航空機の制御方法、および、管制システム
US10155586B2 (en) * 2015-12-29 2018-12-18 Facebook, Inc. Remotely supplied power for unmanned aerial vehicle
CN105974929A (zh) * 2016-06-11 2016-09-28 深圳市哈博森科技有限公司 一种基于智能装置操控的无人机控制方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140297067A1 (en) * 2012-08-02 2014-10-02 Benjamin Malay Vehicle control system
US20140316616A1 (en) * 2013-03-11 2014-10-23 Airphrame, Inc. Unmanned aerial vehicle and methods for controlling same
JP2014199548A (ja) * 2013-03-29 2014-10-23 綜合警備保障株式会社 飛行制御システム及び飛行制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023041994A (ja) * 2021-09-14 2023-03-27 中国電力株式会社 外灯監視システムおよび外灯監視用プログラム
JP7800034B2 (ja) 2021-09-14 2026-01-16 中国電力株式会社 外灯監視システムおよび外灯監視用プログラム

Also Published As

Publication number Publication date
US20190086913A1 (en) 2019-03-21
US10365644B2 (en) 2019-07-30
JPWO2017208353A1 (ja) 2018-06-14
JP6212662B1 (ja) 2017-10-11

Similar Documents

Publication Publication Date Title
US11566915B2 (en) Method, device and system for processing a flight task
WO2018003082A1 (ja) 移動体制御アプリケーション及び移動体制御方法
JP6212662B1 (ja) ドローン自動飛行制御アプリケーション、スマートデバイス、ドローン、サーバ、ドローン自動飛行制御方法及びプログラム。
JP6704979B1 (ja) 無人飛行装置、無人飛行システム及び無人飛行装置制御システム
JP6586109B2 (ja) 操縦装置、情報処理方法、プログラム、及び飛行システム
EP3545509B1 (en) Electronic device for controlling unmanned aerial vehicle and method of operating the same
WO2013052451A4 (en) Data center infrastructure management system having real time enhanced reality tablet
US10957205B2 (en) Flight tag obtaining method, terminal, and server
JP6326009B2 (ja) 無線航空機、位置情報出力方法及び無線航空機用プログラム。
CN110780789A (zh) 游戏应用启动方法和装置、存储介质及电子装置
KR20160125249A (ko) 복수개의 드론 제어 시스템 및 그 제어방법
KR101867014B1 (ko) 비행 경로 최적화 방법 제공 방법
JP2017063287A (ja) 情報処理装置、情報処理方法及びそのプログラム。
TW202439838A (zh) 實體位置中的擴增實境引導
KR20170136834A (ko) 곤충 포집장치 및 이를 관리하기 위한 시스템과 시스템의 제어 방법
WO2018105544A1 (ja) コレクションシステム，端末用プログラム，及びコレクション方法
US10951805B2 (en) Image generating apparatus and image generating method
KR20200051963A (ko) 농작물 모니터링 제어 장치 및 방법
CN105190575B (zh) 信息处理设备、信息处理方法和信息处理系统
CN111610850A (zh) 一种基于无人机进行人机交互的方法
JP2015184846A5 (ja) 管理装置、携帯端末及びプッシュ通知方法
CN108415676B (zh) 信息处理设备和信息处理方法
CN112513765A (zh) 信息处理方法、电子设备、信息处理系统和可读存储介质
CN121008720A (zh) 一种蜂群无人机轨迹交互方法、装置、系统和介质
CN111614392A (zh) 一种基于无人机进行信息交互的方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016572851

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16903981

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 08.03.2019)

122 Ep: pct application non-entry in european phase

Ref document number: 16903981

Country of ref document: EP

Kind code of ref document: A1