WO2018198313A1 - 無人飛行体のアクションプラン作成システム、方法及びプログラム - Google Patents

無人飛行体のアクションプラン作成システム、方法及びプログラム Download PDF

Info

Publication number
WO2018198313A1
WO2018198313A1 PCT/JP2017/016935 JP2017016935W WO2018198313A1 WO 2018198313 A1 WO2018198313 A1 WO 2018198313A1 JP 2017016935 W JP2017016935 W JP 2017016935W WO 2018198313 A1 WO2018198313 A1 WO 2018198313A1
Authority
WO
WIPO (PCT)
Prior art keywords
air vehicle
unmanned air
action plan
flight
area
Prior art date
Application number
PCT/JP2017/016935
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Original Assignee
株式会社オプティム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オプティム filed Critical 株式会社オプティム
Priority to PCT/JP2017/016935 priority Critical patent/WO2018198313A1/ja
Priority to JP2019515021A priority patent/JP7152836B2/ja
Priority to US16/608,966 priority patent/US11543836B2/en
Priority to CN201780092546.6A priority patent/CN110914780B/zh
Publication of WO2018198313A1 publication Critical patent/WO2018198313A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004—Transmission of traffic-related information to or from an aircraft
    • G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003—Flight plan management
    • G08G5/0034—Assembly of a flight plan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/006—Navigation or guidance aids for a single aircraft in accordance with predefined flight zones, e.g. to avoid prohibited zones
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • B64U50/10—Propulsion
    • B64U50/19—Propulsion using electrically powered motors

Definitions

  • the present invention relates to an action plan creation system, method and program for an unmanned air vehicle.
  • seaweed has been widely cultivated in the sea.
  • nori it is known that bacteria can infest the nori, producing red rust spots, and causing a disease called red rot that causes the leafy bodies of the nori to break.
  • red rot a disease that causes the leafy bodies of the nori to break.
  • the major challenge is to control the disease of seaweed, including red rot.
  • an aerial photography method using an unmanned aerial vehicle it is proposed to measure the distance between the aircraft and the object to be photographed during the flight of the unmanned aerial vehicle, determine the zoom magnification of the camera from the result, and photograph the object to be photographed (For example, refer to Patent Document 1). According to this method, it is possible to accurately capture an image of an object to be photographed with a camera mounted on an unmanned air vehicle and expand it to a sufficient size within a camera frame and record it as high-definition image data.
  • the present invention has been made in view of such a demand, and an object of the present invention is to provide an action plan creation system that simplifies the input of parameters necessary for automatically flying an unmanned air vehicle and performing aerial photography.
  • the present invention provides the following solutions.
  • the invention according to the first feature is an action plan creation system for an unmanned air vehicle, Area receiving means for receiving designation of an area to fly on an unmanned air vehicle having an aerial imaging device from a map; Purpose receiving means for receiving an input of a purpose of flying the unmanned air vehicle in the area; An action plan creation system comprising: creation means for creating an action plan including a flight plan and a shooting plan of the unmanned air vehicle according to the area and the purpose.
  • the creating means includes an action including a flight plan and a shooting plan of an unmanned air vehicle according to the area received by the area receiving means and the purpose received by the purpose receiving means.
  • Create a plan Since the area is accepted by the area accepting means and the purpose of the aerial photography is accepted by the purpose accepting means, it accepts flight plans such as flight path, flight altitude, flight speed, etc., and shooting plans such as camera angle, camera resolution, etc. It is possible to set an action plan that is accurately set according to the area and purpose. Accordingly, it is possible to provide an action plan creation system that simplifies the input of parameters necessary for automatically flying an unmanned air vehicle and performing aerial photography.
  • the invention according to the second feature is the invention according to the first feature,
  • the area receiving unit provides an action plan creation system that receives designation of the area to be caused to fly by the unmanned air vehicle based on a result drawn on a map displayed by the map display unit.
  • the action plan creation system which can be set much more easily for the operator can be provided.
  • the invention according to the third feature is the invention according to the first or second feature,
  • the object is to provide an action plan creation system including at least one selected from detection of pests adhering to a crop and detection of lesions of the crop.
  • the scale of nori cultivation and crop cultivation is as large as tens of thousands of square meters, and it takes a lot of labor to quickly and reliably grasp the location of the disease.
  • an action plan is created for at least one of the purposes selected from detection of pests adhering to the crop and detection of lesions in the crop, so the adhering to the crop. The labor required for detecting pests to be detected and detecting lesions in the harvest can be saved.
  • the invention according to the fourth feature is the invention according to any one of the first to third features,
  • the flight plan includes at least one selected from a flight path, a flight altitude, and a flight speed of the unmanned air vehicle,
  • the shooting plan provides an action plan creation system including at least one selected from a camera angle and a camera resolution of the aerial imaging apparatus.
  • the flight plan includes at least one selected from the flight path, the flight altitude, and the flight speed of the unmanned air vehicle, the camera angle of the aerial camera, and the camera resolution. Since an imaging plan including at least one is set, it is possible to provide an action plan creation system that further simplifies the input of parameters necessary for flying an unmanned air vehicle automatically and taking an aerial image.
  • the invention according to the fifth feature is the invention according to any one of the first to fourth features,
  • An action plan creation system further comprising control means for controlling flight of the unmanned air vehicle and aerial photography of the aerial imaging device based on the action plan created by the creation means.
  • the unmanned air vehicle since the flight of the unmanned air vehicle and the aerial image of the aerial imaging device are controlled based on the action plan created by the creating means, the unmanned air vehicle is automatically caused to fly, It is possible to provide an action plan creation system that further simplifies the input of parameters necessary for aerial photography.
  • an action plan creation system that simplifies the input of parameters necessary for automatically flying an unmanned air vehicle and performing aerial photography.
  • FIG. 1 is a block diagram showing a hardware configuration and software functions of an action plan creation system 1 using an unmanned air vehicle 10 in the present embodiment.
  • FIG. 2 is a flowchart showing an action plan creation method according to this embodiment.
  • FIG. 3 is an example of a display example on the image display device 34 when a flight area is input.
  • FIG. 4 is an example of a display example on the image display device 34 when a flight purpose is input.
  • FIG. 5 is an example of the action plan database 334.
  • FIG. 1 is a block diagram for explaining the hardware configuration and software functions of an action plan creation system 1 according to the present embodiment.
  • the action plan creation system 1 includes an unmanned air vehicle 10 having an aerial imaging device, a controller 20 that is connected so as to be able to wirelessly communicate with the unmanned air vehicle 10, and controls the unmanned air vehicle 10, and a flight route of the unmanned air vehicle 10. And a computer 30 that edits a video taken by the unmanned air vehicle 10.
  • the unmanned air vehicle 10 can be automatically controlled as appropriate.
  • the controller 20 may be omitted.
  • the unmanned aerial vehicle 10 is not particularly limited as long as it is a device capable of photographing a subject to be photographed from the sky.
  • the unmanned aerial vehicle 10 may be a radio controlled airplane or an unmanned aerial vehicle called a drone. In the following description, it is assumed that the unmanned air vehicle 10 is a drone.
  • the unmanned aerial vehicle 10 is powered by a battery 11 that functions as a power source for the unmanned aerial vehicle 10, a motor 12 that operates with electric power supplied from the battery 11, and rotates by the operation of the motor 12. And a rotor 13.
  • the unmanned aerial vehicle 10 is in accordance with a control unit 14 that controls the operation of the unmanned aerial vehicle 10, a position detection unit 15 that transmits position information of the unmanned aerial vehicle 10 to the control unit 14, and a control signal from the control unit 14.
  • a driver circuit 16 for driving the motor 12, a camera 17 for taking an aerial image of an object to be photographed in accordance with a control signal from the control unit 14, a control program executed by the microcomputer of the control unit 14, and the like are stored in advance. 17 includes a storage unit 18 for storing an image taken by the camera.
  • the unmanned air vehicle 10 includes a wireless communication unit 19 that performs wireless communication with the controller 20.
  • a main body structure (frame or the like) having a predetermined shape.
  • a main body structure (frame or the like) having a predetermined shape a similar one to a known drone may be adopted.
  • the battery 11 is a primary battery or a secondary battery, and supplies power to each component in the unmanned air vehicle 10.
  • the battery 11 may be fixed to the unmanned air vehicle 100 or may be detachable.
  • the motor 12 functions as a drive source for rotating the rotor 13 with electric power supplied from the battery 11. As the rotor 13 rotates, the unmanned air vehicle 10 can be levitated and fly.
  • the controller 14 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • control unit 14 realizes the control module 141 by reading a predetermined program.
  • the control unit 14 controls the motor 12 to control the flight of the unmanned air vehicle 10 (control such as ascending, descending, and horizontal movement). Further, the control unit 14 controls the attitude of the unmanned air vehicle 10 by controlling the motor 12 using a gyro (not shown) mounted on the unmanned air vehicle 10.
  • the position detection unit 15 includes a LIDAR (Laser Imaging Detection and Ranging) technique and a GPS (Global Positioning System) technique.
  • LIDAR Laser Imaging Detection and Ranging
  • GPS Global Positioning System
  • the driver circuit 16 has a function of applying a voltage designated by a control signal from the control unit 14 to the motor 12. As a result, the driver circuit 16 can drive the motor 12 in accordance with the control signal from the control unit 14.
  • the camera 17 functions as an aerial imaging device.
  • the camera 17 converts (images) an optical image captured by the lens into an image signal by an image sensor such as a CCD or a CMOS.
  • the type of the camera 17 may be selected as appropriate according to the image analysis method to be photographed.
  • the storage unit 18 is a device that stores data and files, and includes a data storage unit such as a hard disk, a semiconductor memory, a recording medium, or a memory card.
  • the storage unit 18 includes a control program storage area 181 for storing in advance a control program executed by the microcomputer of the control unit 14 and a computer transferred through a portable recording medium such as a USB memory or an SD card.
  • the action plan storage area 182 for storing the action plan stored in the storage unit 33 of the 30 and the three-dimensional coordinate data (image captured by the camera 17) detected by the position detection unit 15 of the image data captured by the camera 17 And an image data storage area 183 that stores the latitude, longitude, and height data of the point corresponding to the shooting position.
  • the image constituting the image data may be a still image or a moving image.
  • the data stored in the image data storage area can be transferred to the computer 30 through a portable recording medium such as a USB memory or an SD card.
  • the wireless communication unit 19 is configured to be able to perform wireless communication with the controller 20 and receives a remote control signal from the controller 20.
  • the controller 20 has a function of maneuvering the unmanned air vehicle 10.
  • the controller 20 includes an operation unit 21 used by a user to steer the unmanned air vehicle 10, a control unit 22 that controls the operation of the controller 20, and a control program executed by a microcomputer of the control unit 22 in advance.
  • a storage unit 23 to be stored, a wireless communication unit 24 that wirelessly communicates with the unmanned air vehicle 10, and an image display unit 25 that displays a predetermined image to the user are provided.
  • the wireless communication unit 24 is configured to be able to wirelessly communicate with the unmanned air vehicle 10 and receives a remote control signal toward the unmanned air vehicle 10.
  • the image display unit 25 may be integrated with a control device that controls the unmanned air vehicle 10, or may be separate from the control device. If integrated with the control device, the number of devices used by the user can be reduced, and convenience is enhanced.
  • examples of the image display unit 25 include portable terminal devices such as smartphones and tablet terminals that can be wirelessly connected to the wireless communication unit 19 of the unmanned air vehicle 10.
  • the control device is separate from the control device, an existing control device that does not have the image display unit 25 can be applied.
  • the computer 30 has a function of inputting an action plan of the unmanned air vehicle 10 and a function of displaying an image captured by the unmanned air vehicle 10 on the image display unit 34.
  • the computer 30 stores an input unit 31 for a user to input command information, a control unit 32 that controls the operation of the computer 30, a control program executed by the microcomputer of the control unit 32, and the like.
  • the control unit 32 implements a map display module 321, an area reception module 322, a purpose reception module 323, and a creation module 324 by reading a predetermined program.
  • a map database 331 that stores map information around a place to be aerial photographed
  • an area storage area 332 that stores information on the flight area of the unmanned air vehicle 10 input by the user
  • a user input An object storage area 333 for storing information related to the flight purpose of the unmanned air vehicle 10
  • an action plan database 334 that is a database related to an action plan including a flight plan and a shooting plan of the unmanned air vehicle, and an action plan created by the control unit 32.
  • FIG. 2 is a flowchart showing an action plan creation method using the action plan creation system 1. The processing executed by each hardware and the software module described above will be described.
  • Step S10 Map Display
  • the control unit 32 of the computer 30 of the action plan creation system 1 executes the map display module 321, refers to the map database 331, and displays the image display unit 34 around the area where the unmanned air vehicle 10 is scheduled to fly. Display a map of.
  • Step S11 Accepting designation of flight area
  • the control unit 32 of the computer 30 executes the area reception module 322 and receives the designation of the area to fly on the unmanned air vehicle 10 having the camera 17 from the map displayed on the image display unit 34.
  • the user inputs the flight area of the unmanned air vehicle 10 by drawing on the map displayed on the image display unit 34.
  • the input operation method for the flight area is not particularly limited, and may be an input operation using a mouse or an input operation using a touch panel.
  • FIG. 3 is an example of a display example on the image display device 34 at that time.
  • the image display device 34 displays a map around the area where the unmanned air vehicle 10 is scheduled to fly. On the map, in addition to the take-off point and landing point, information on the flight area input by the user is displayed.
  • Information on the scheduled flight route input by the user is stored in the area storage area 332.
  • Step S12 Input of Flight Purpose
  • the control unit 32 of the computer 30 executes the purpose receiving module 323 and receives an input of a purpose for causing the unmanned air vehicle 10 to fly in the area received in the process of step S11.
  • the input operation method for the purpose of flight is not particularly limited, and may be an input operation using a mouse or an input operation using a touch panel.
  • FIG. 4 is an example of a display example on the image display device 34 at that time.
  • the text “Please select the purpose of flight” is displayed. Below that, there are choices of “pest detection of soybean”, “detection of rice disease”, “red rot of seaweed” “Disease detection” and "Other” are displayed. When “Other” is selected, a new option may be added by inputting characters.
  • the flight purpose information input by the user is stored in the purpose storage area 333.
  • Step S13 Create action plan
  • the control unit 32 of the computer 30 executes the creation module 324, and the flight plan of the unmanned air vehicle 10 according to the flight area received in the process of step S11 and the purpose received in the process of step S12. Create an action plan that includes a shooting plan.
  • control unit 32 refers to the action plan database 334 stored in the storage unit 33 in advance.
  • FIG. 5 is an example showing a schematic configuration of the action plan database 334.
  • action plans of the unmanned air vehicle 10 corresponding to the purpose of flight are registered.
  • the action plan includes a flight plan and a photography plan.
  • the flight plan indicates the flight conditions of the unmanned air vehicle 10, and includes the flight path, flight altitude, flight speed, and the like.
  • the shooting plan indicates shooting conditions of the camera 17 mounted on the unmanned air vehicle 10, and includes a camera angle, a camera resolution, and the like.
  • an integrated seaweed farm is designated as a flight area
  • detection of red rot of nori is designated as a flight purpose.
  • control unit 32 sets “create a round trip route that flies throughout the area” as the flight route of the flight plan, and the control unit 32 sets “2 m above” as the flight altitude of the flight plan. Then, set “0.5 m / s” as the flight speed of the flight plan. In this case, the control unit 32 creates a round trip route so that the entire flight area can be imaged when the flight area set in the process of step S11 is imaged from above 2 m.
  • control unit 32 sets “shoot from directly above from the sky” as the camera angle of the shooting plan, and sets “high (13 million pixels)” as the camera resolution of the shooting plan.
  • the information created in the process of step S13 is stored in the action plan storage area 335.
  • the information stored in the action plan storage area 335 is set in the action plan storage area 182 of the unmanned air vehicle 10 via a portable recording medium such as a USB memory or an SD card.
  • the information in the action plan database 334 is preferably updated as appropriate by learning artificial intelligence (AI) through actual flight. Moreover, it is preferable that the information in the action plan database 334 is appropriately updated every time a new flight purpose is added in the process of step S12.
  • AI artificial intelligence
  • Step S14 Flight and aerial photography according to the action plan
  • the control unit 14 of the unmanned air vehicle 10 executes the control module 141 and controls the flight of the unmanned air vehicle 10 and the aerial photography by the camera 17 in accordance with the conditions set in the action plan storage area 182.
  • the image data taken by the camera 17 is stored in the image data storage area 183.
  • the image may be a still image or a moving image.
  • the control unit 14 of the unmanned air vehicle 10 ends the aerial photography using the camera 17 and makes the unmanned air vehicle 10 land.
  • the information stored in the image data storage area 183 is set in the image data storage area 336 of the computer 30 via a portable recording medium such as a USB memory or an SD card.
  • Step S15 Check aerial image
  • the control unit 32 of the computer 30 reads the image data storage area 336 and displays the image taken in the aerial image in the process of step S14 on the image display unit 34.
  • the user can achieve the intended flight purpose such as “soybean pest detection”, “rice disease detection”, “seaweed red rot detection”, and the like.
  • the action plan creation system 1 ends a series of processes of the action plan creation method according to the present embodiment.
  • the control unit 30 of the computer 30 executes the creation module 324, the area received by the execution of the area reception module 322, and the purpose received by the execution of the purpose reception module 323. Accordingly, an action plan including the flight plan and shooting plan of the unmanned air vehicle 10 is created. Therefore, it is possible to set an action plan in which a flight plan such as a flight route, a flight altitude, a flight speed, and a shooting plan such as a camera angle and a camera resolution are accurately set according to the received area and purpose. Thereby, the action plan creation system 1 which simplified the input of the parameter required when the unmanned air vehicle 10 is made to fly automatically and aerial can be provided can be provided.
  • the invention described in the present embodiment is drawn on the map displayed by the image display unit 34 when the control unit 32 causes the image display unit 34 to display a map and the control unit 32 executes the area reception module 322. Based on the result, it is preferable to accept designation of an area to be made to fly by the unmanned air vehicle 10. Thereby, the action plan creation system 1 that can be set more easily for the operator can be provided.
  • the object received by the execution of the object receiving module 323 includes at least one selected from detection of a pest adhering to a crop and detection of a lesion of the crop. Is preferred.
  • the scale of nori culture and crop cultivation is as large as tens of thousands of square meters, and a great deal of labor is required to quickly and reliably grasp the location of the disease.
  • an action plan is created according to at least one purpose selected from detection of pests adhering to the harvest and detection of lesions in the harvest. The labor required for detecting pests to be detected and detecting lesions in the harvest can be saved.
  • the flight plan preferably includes at least one selected from the flight path of the unmanned air vehicle 10, the flight altitude, and the flight speed. Preferably, at least one selected from camera angles and camera resolutions is included. Accordingly, it is possible to provide the action plan creation system 1 that further simplifies the input of parameters necessary for automatically flying the unmanned air vehicle 10 and taking an aerial image.
  • the control unit 14 of the unmanned air vehicle 10 executes the control module 14, and based on an action plan created by the computer control unit 32 executing the creation module 324. It is preferable to control the flight of the unmanned air vehicle 10 and the aerial photography of the camera 17. Thereby, since the flight of the unmanned air vehicle 10 and the aerial photography of the camera 17 are controlled based on the action plan created by the execution of the creation module 324, the unmanned air vehicle 10 is automatically caused to fly and aerial photography is performed. It is possible to provide an action plan creation system 1 that further simplifies the input of necessary parameters.
  • the means and functions described above are realized by a computer (including a CPU, an information processing apparatus, and various terminals) reading and executing a predetermined program.
  • the program is provided in a form recorded on a computer-readable recording medium such as a flexible disk, CD (CD-ROM, etc.), DVD (DVD-ROM, DVD-RAM, etc.).
  • the computer reads the program from the recording medium, transfers it to the internal storage device or the external storage device, stores it, and executes it.
  • the program may be recorded in advance in a storage device (recording medium) such as a magnetic disk, an optical disk, or a magneto-optical disk, and provided from the storage device to a computer via a communication line.
  • SYMBOLS 1 Action plan creation system of unmanned air vehicle 10 Unmanned air vehicle 11 Battery 12 Motor 13 Rotor 14 Control part 141 Control module 15 Position detection part 16 Driver circuit 17 Camera 18 Storage part 181 Control program storage area 182 Action plan storage area 183 Image data Storage area 19 Wireless communication section 20 Controller 30 Computer 31 Input section 32 Control section 321 Map display module 322 Area reception module 323 Purpose reception module 324 Creation module 33 Storage section 331 Map database 332 Area storage area 333 Target storage area 334 Action plan database 335 Action plan storage area 336 Image data storage area 34 Image display section

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)
  • Catching Or Destruction (AREA)
  • Navigation (AREA)

Abstract

【課題】自動で無人飛行体を飛行させ、空撮させる際に必要なパラメータの入力を簡便化したアクションプラン作成システムを提供する。 【解決手段】本発明のアクションプラン作成システム１は、空撮装置を有する無人飛行体１０と、コンピュータ３０とを備える。コンピュータ３０の制御部３０は、作成モジュール３２４を実行し、エリア受付モジュール３２２の実行によって受け付けられたエリアと、目的受付モジュール３２３の実行によって受け付けられた目的とに応じて、無人飛行体１０のフライトプラン及び撮影プランを含むアクションプランを作成する。そして、無人飛行体１０の制御部１４は、制御モジュール１４を実行し、コンピュータの制御部３２が作成モジュール３２４を実行することによって作成されたアクションプランに基づいて、無人飛行体１０の飛行とカメラ１７の空撮とを制御することが好ましい。

Description

無人飛行体のアクションプラン作成システム、方法及びプログラム
　本発明は、無人飛行体のアクションプラン作成システム、方法及びプログラムに関する。
　これまで、海においては、海苔の養殖が広く行われている。海苔を養殖する際、海苔に細菌が寄生し、赤錆色の斑を生じ、海苔の葉状体が切れる赤腐れ病という病気が起こり得ることが知られている。海苔を養殖するにあたっては、赤腐れ病をはじめとした海苔の病害防除が大きな課題となる。
　田畑についても同様に、大豆や稲をはじめとした農作物に害虫が付着するのを防止することが大きな課題となる。
　ところで、海苔や田畑に病害が生じてしまった場合、病害が広がるのを防止するため、病害の箇所を迅速に把握し、病害が生じた箇所に対し、素早く適切な措置をとる必要がある。とはいうものの、海苔の養殖や農作物の栽培規模は、数万平方メートルと広大であり、病害の箇所を迅速かつ確実に把握するには、多大な労力を要する。
　労力を軽減するため、海苔の養殖場や田畑を上空から撮影し、撮影した画像から病害の有無を把握することが提案されている。中でも、無人飛行体を利用した空撮は、本物の飛行機やヘリコプターを使用した場合よりもコストダウンが図れ、また、低空で狭い場所でも安全に撮影することができるとともに、撮影目標に接近して撮影できるので質の高い写真やビデオ映像を得ることができ、構造物の保全状況の確認や高所の点検、高所からの地上観測など多方面で実施されている。
　無人飛行体を用いた空撮方法として、無人飛行体の飛行中に機体と撮影対象物との距離を測定し、その結果からカメラのズーム倍率を決定して撮影対象物を撮影することが提案されている（例えば、特許文献１参照）。この方法によると、無人飛行体に搭載したカメラで撮影対象物の映像を正確に、かつ、カメラフレーム内で十分な大きさに拡大して捉え、高精細な映像データとして記録することができる。
特開２００６－０２７４４８号公報
　ところで、無人飛行体を飛行させる前に地図上でフライトプランを作成し、操作者による手動による操作ではなく、自動で無人飛行体を操作する技術も提案されている。自動で無人飛行体を飛行させ、空撮させる際、飛行経路、飛行高度、飛行速度、カメラ角度、カメラ解像度など、多岐に渡るパラメータを設定する必要がある。これらのパラメータは、例えば、海苔の赤腐れ病を検知するため、大豆への害虫付着を検知するため等、撮影の目的に依存する。そこで、これらのパラメータ設定を、撮影の目的にしたがい、マニュアル操作でなく、可能な限り自動化することが望まれている。
　本発明は、このような要望に鑑みてなされたものであり、自動で無人飛行体を飛行させ、空撮させる際に必要なパラメータの入力を簡便化したアクションプラン作成システムを提供することを目的とする。
　本発明では、以下のような解決手段を提供する。
　第１の特徴に係る発明は、無人飛行体のアクションプラン作成システムであって、
　地図上から、空撮装置を有する無人飛行体に飛行させるエリアの指定を受け付けるエリア受付手段と、
　前記エリアに前記無人飛行体を飛行させる目的の入力を受け付ける目的受付手段と、
　前記エリアと前記目的とに応じて、前記無人飛行体のフライトプラン及び撮影プランを含むアクションプランを作成する作成手段と、を備えるアクションプラン作成システムを提供する。
　第１の特徴に係る発明によれば、作成手段は、エリア受付手段によって受け付けられたエリアと、目的受付手段によって受け付けられた目的とに応じて、無人飛行体のフライトプラン及び撮影プランを含むアクションプランを作成する。エリア受付手段によってエリアが受け付けられ、目的受付手段によって空撮の目的が受け付けられているため、飛行経路、飛行高度、飛行速度などといったフライトプランや、カメラ角度、カメラ解像度などといった撮影プランを、受け付けたエリア及び目的に合わせて正確に設定したアクションプランを設定することが可能となる。これにより、自動で無人飛行体を飛行させ、空撮させる際に必要なパラメータの入力を簡便化したアクションプラン作成システムを提供することができる。
　第２の特徴に係る発明は、第１の特徴に係る発明であって、
　地図を表示する地図表示手段をさらに備え、
　前記エリア受付手段は、前記地図表示手段によって表示される地図に描画された結果に基づいて、前記無人飛行体に飛行させる前記エリアの指定を受け付ける、アクションプラン作成システムを提供する。
　第２の特徴に係る発明によると、地図表示手段によって表示される地図に描画された結果に基づいて、無人飛行体に飛行させるエリアの指定が可能となる。これにより、操作者にとってよりいっそう簡便に設定することの可能なアクションプラン作成システムを提供できる。
　第３の特徴に係る発明は、第１又は第２の特徴に係る発明であって、
　前記目的は、収穫物に付着する害虫の検知と、前記収穫物の病変の検知とから選択される少なくとも一方を含む、アクションプラン作成システムを提供する。
　海苔の養殖や農作物の栽培規模は、数万平方メートルと広大であり、病害の箇所を迅速かつ確実に把握するには、多大な労力を要する。第３の特徴に係る発明によると、収穫物に付着する害虫の検知と、収穫物の病変の検知とから選択される少なくとも一方の目的に合わせたアクションプランが作成されるので、収穫物に付着する害虫の検知、収穫物の病変の検知に要する労力を省力化させることが可能となる。
　第４の特徴に係る発明は、第１から第３のいずれかの特徴に係る発明であって、
　前記フライトプランは、前記無人飛行体の飛行経路と、飛行高度と、飛行速度とから選択される少なくとも一つを含み、
　前記撮影プランは、前記空撮装置のカメラ角度と、カメラ解像度とから選択される少なくとも一つを含む、アクションプラン作成システムを提供する。
　第４の特徴に係る発明によると、無人飛行体の飛行経路、飛行高度、及び飛行速度から選択される少なくとも一つを含むフライトプランと、空撮装置のカメラ角度、及びカメラ解像度から選択される少なくとも一つを含む撮影プランとが設定されるため、自動で無人飛行体を飛行させ、空撮させる際に必要なパラメータの入力をよりいっそう簡便化したアクションプラン作成システムを提供することができる。
　第５の特徴に係る発明は、第１から第４のいずれかの特徴に係る発明であって、
　前記作成手段によって作成されたアクションプランに基づいて、前記無人飛行体の飛行と前記空撮装置の空撮とを制御する制御手段をさらに備える、アクションプラン作成システムを提供する。
　第５の特徴に係る発明によると、作成手段によって作成されたアクションプランに基づいて、無人飛行体の飛行と空撮装置の空撮とが制御されるため、自動で無人飛行体を飛行させ、空撮させる際に必要なパラメータの入力をよりいっそう簡便化したアクションプラン作成システムを提供することができる。
　本発明によれば、自動で無人飛行体を飛行させ、空撮させる際に必要なパラメータの入力を簡便化したアクションプラン作成システムを提供することができる。
図１は、本実施形態における、無人飛行体１０によるアクションプラン作成システム１のハードウェア構成とソフトウェア機能を示すブロック図である。 図２は、本実施形態におけるアクションプラン作成方法を示すフローチャートである。 図３は、飛行エリアを入力するときの画像表示装置３４での表示例の一例である。 図４は、飛行目的を入力するときの画像表示装置３４での表示例の一例である。 図５は、アクションプランデータベース３３４の一例である。
　以下、本発明を実施するための形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
＜無人飛行体のアクションプラン作成システム１の構成＞
　図１は、本実施形態におけるアクションプラン作成システム１のハードウェア構成とソフトウェア機能を説明するためのブロック図である。アクションプラン作成システム１は、空撮装置を有する無人飛行体１０と、この無人飛行体１０と無線通信できるように接続され、無人飛行体１０を操縦するコントローラ２０と、無人飛行体１０の飛行ルートを入力したり、無人飛行体１０が撮影した映像を編集したりするコンピュータ３０とを含んで構成される。なお、本実施形態では、適宜、無人飛行体１０の自動操縦を可能にする。無人飛行体１０を自動操縦する場合、コントローラ２０は、なくてもよい。
〔無人飛行体１０〕
　無人飛行体１０は、撮影対象を空から撮影可能な装置であれば、特に限定されない。例えば、無人飛行体１０は、ラジコン飛行機であってもよいし、ドローンと呼ばれる無人飛行体であってもよい。以下では、無人飛行体１０がドローンであるものとして説明する。
　無人飛行体１０は、無人飛行体１０の電源として機能する電池１１と、電池１１から供給される電力で動作するモーター１２と、モーター１２の動作によって回転し、無人飛行体１０を浮上及び飛行させるローター１３とを備える。
　また、無人飛行体１０は、無人飛行体１０の動作を制御する制御部１４と、制御部１４に無人飛行体１０の位置情報を伝える位置検出部１５と、制御部１４からの制御信号にしたがってモーター１２を駆動するドライバー回路１６と、制御部１４からの制御信号にしたがって撮影対象を空撮するカメラ１７と、制御部１４のマイクロコンピューターで実行される制御プログラム等があらかじめ格納されるとともに、カメラ１７が撮影した画像を記憶する記憶部１８とを備える。
　そして、無人飛行体１０は、コントローラ２０との間で無線通信する無線通信部１９を備える。
　これらの構成要素は、所定形状の本体構造体（フレーム等）に搭載されている。所定形状の本体構造体（フレーム等）については、既知のドローンと同様なものを採用すればよい。
［電池１１］
　電池１１は、１次電池又は２次電池であり、無人飛行体１０内の各構成要素に電力を供給する。電池１１は、無人飛行体１００に固定されていてもよいし、着脱可能としてもよい。
［モーター１２、ローター１３］
　モーター１２は、電池１１から供給される電力でローター１３を回転させるための駆動源として機能する。ローター１３が回転することで、無人飛行体１０を浮上及び飛行させることができる。
［制御部１４］
　制御部１４は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等を備える。
　また、制御部１４は、所定のプログラムを読み込むことで、制御モジュール１４１を実現する。
　制御部１４は、モーター１２を制御して無人飛行体１０の飛行制御（上昇、下降、水平移動などの制御）を行う。また、制御部１４は、無人飛行体１０に搭載されているジャイロ（図示省略）を使用して、モーター１２を制御して無人飛行体１０の姿勢制御を行う。
［位置検出部１５］
　位置検出部１５は、ＬＩＤＡＲ（Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）技術と、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）技術とを含んで構成される。これらＬＩＤＡＲ技術とＧＰＳ技術とを併用して、無人飛行体が実際に飛行する位置の緯度、経度、高さを検出する。
［ドライバー回路１６］
　ドライバー回路１６は、制御部１４からの制御信号より指定された電圧をモーター１２に印加する機能を有する。これにより、ドライバー回路１６は、制御部１４からの制御信号にしたがってモーター１２を駆動させることができる。
［カメラ１７］
　カメラ１７は、空撮装置として機能する。カメラ１７は、レンズにより取り込んだ光学像をＣＣＤやＣＭＯＳ等の撮像素子によって画像信号に変換（撮像）する。カメラ１７の種類は、撮影対象の画像解析手法によって適宜選択すればよい。
［記憶部１８］
　記憶部１８は、データやファイルを記憶する装置であって、ハードディスクや半導体メモリ、記録媒体、メモリカード等による、データのストレージ部を備える。記憶部１８には、制御部１４のマイクロコンピューターで実行される制御プログラム等をあらかじめ格納するための制御プログラム格納領域１８１と、ＵＳＢメモリ、ＳＤカード等、携帯型の記録媒体を通じて移された、コンピュータ３０の記憶部３３に記憶されていたアクションプランを格納するアクションプラン記憶領域１８２と、カメラ１７によって撮影された画像データを、位置検出部１５で検出した３次元座標データ（カメラ１７が撮影した画像の撮影位置に相当する点の緯度、経度、高さのデータ）とともに記憶する画像データ記憶領域１８３とを有する。
　なお、画像データを構成する画像は、静止画であってもよいし、動画であってもよい。また、画像データ格納領域に格納されるデータは、ＵＳＢメモリ、ＳＤカード等、携帯型の記録媒体を通じ、コンピュータ３０に移すことができる。
［無線通信部１９］
　無線通信部１９は、コントローラ２０と無線通信可能に構成され、コントローラ２０から遠隔制御信号を受信する。
〔コントローラ２０〕
　コントローラ２０は、無人飛行体１０を操縦する機能を有する。コントローラ２０は、ユーザが無人飛行体１０を操縦するため等に使用する操作部２１と、コントローラ２０の動作を制御する制御部２２と、制御部２２のマイクロコンピューターで実行される制御プログラム等があらかじめ格納される記憶部２３と、無人飛行体１０との間で無線通信する無線通信部２４と、ユーザに所定の画像を表示する画像表示部２５とを備える。
　無線通信部２４は、無人飛行体１０と無線通信可能に構成され、無人飛行体１０に向けて遠隔制御信号を受信する。
　画像表示部２５は、無人飛行体１０を操縦する操縦装置と一体であってもよいし、操縦装置とは別体であってもよい。操縦装置と一体であれば、ユーザが使用する装置の数を少なくすることができ、利便性が高まる。操縦装置と別体である場合、画像表示部２５として、無人飛行体１０の無線通信部１９と無線接続可能な、スマートフォン、タブレット端末等の携帯端末装置が挙げられる。操縦装置と別体である場合、画像表示部２５を有しない既存の操縦装置であっても応用可能というメリットを有する。
〔コンピュータ３０〕
　コンピュータ３０は、無人飛行体１０のアクションプランを入力する機能や、無人飛行体１０が撮影した映像を画像表示部３４に表示する機能を有する。コンピュータ３０は、ユーザが指令情報等を入力するための入力部３１と、コンピュータ３０の動作を制御する制御部３２と、制御部３２のマイクロコンピューターで実行される制御プログラム等があらかじめ格納される記憶部３３と、ユーザに所定の画像を表示する画像表示部３４とを備える。
　制御部３２は、所定のプログラムを読み込むことで、地図表示モジュール３２１と、エリア受付モジュール３２２と、目的受付モジュール３２３と、作成モジュール３２４とを実現する。
　記憶部３３には、空撮する場所の周辺の地図情報が格納される地図データベース３３１と、ユーザが入力した無人飛行体１０の飛行エリアに関する情報を記憶するエリア記憶領域３３２と、ユーザが入力した無人飛行体１０の飛行目的に関する情報を記憶する目的記憶領域３３３と、無人飛行体のフライトプラン及び撮影プランを含むアクションプランに関するデータベースであるアクションプランデータベース３３４と、制御部３２が作成したアクションプランを記憶するアクションプラン記憶領域３３５と、ＵＳＢメモリ、ＳＤカード等、携帯型の記録媒体を通じて移された、無人飛行体１０の記憶部１８に記憶されていた画像データを格納する画像データ記憶領域３３６とを有する。
＜アクションプラン作成システム１を用いたアクションプラン作成方法を示すフローチャート＞
　図２は、アクションプラン作成システム１を用いたアクションプラン作成方法を示すフローチャートである。上述した各ハードウェアと、ソフトウェアモジュールが実行する処理について説明する。
〔ステップＳ１０：地図の表示〕
　まず、アクションプラン作成システム１のコンピュータ３０の制御部３２は、地図表示モジュール３２１を実行し、地図データベース３３１を参照して、画像表示部３４に、無人飛行体１０が飛行する予定の地域の周辺の地図を表示させる。
〔ステップＳ１１：飛行エリアの指定を受付〕
　続いて、コンピュータ３０の制御部３２は、エリア受付モジュール３２２を実行し、画像表示部３４に表示される地図上から、カメラ１７を有する無人飛行体１０に飛行させるエリアの指定を受け付ける。
　ユーザは、画像表示部３４に表示された地図に描画することで、無人飛行体１０の飛行エリアを入力する。飛行エリアの入力操作方法は特に限定されるものでなく、マウスによる入力操作であってもよいし、タッチパネルによる入力操作であってもよい。
　図３は、そのときの画像表示装置３４での表示例の一例である。画像表示装置３４には、無人飛行体１０が飛行する予定の地域の周辺の地図が表示される。そして、地図上には、離陸地点、着陸地点のほか、ユーザが入力した飛行エリアの情報が表示されている。
　ユーザが入力した飛行予定ルートの情報は、エリア記憶領域３３２に記憶される。
〔ステップＳ１２：飛行目的の入力〕
　続いて、コンピュータ３０の制御部３２は、目的受付モジュール３２３を実行し、ステップＳ１１の処理で受け付けたエリアに無人飛行体１０を飛行させる目的の入力を受け付ける。飛行目的の入力操作方法は特に限定されるものでなく、マウスによる入力操作であってもよいし、タッチパネルによる入力操作であってもよい。
　図４は、そのときの画像表示装置３４での表示例の一例である。画像表示装置３４には、「飛行目的を選択してください」との文字が表示され、その下には、選択肢として、「大豆の害虫検知」、「稲の病害検知」、「海苔の赤腐れ病検知」、「その他」と表示されている。「その他」が選択された場合、文字入力により、新たな選択肢を追加できるようにすればよい。
　ユーザが入力した飛行目的の情報は、目的記憶領域３３３に記憶される。
〔ステップＳ１３：アクションプランの作成〕
　続いて、コンピュータ３０の制御部３２は、作成モジュール３２４を実行し、ステップＳ１１の処理で受け付けた飛行エリアと、ステップＳ１２の処理で受け付けた目的とに応じて、無人飛行体１０のフライトプラン及び撮影プランを含むアクションプランを作成する。
　この処理において、制御部３２は、記憶部３３に予め記憶されているアクションプランデータベース３３４を参照する。
　図５は、アクションプランデータベース３３４の概略構成を示す一例である。アクションプランデータベース３３４には、飛行目的に応じた無人飛行体１０のアクションプランが登録されている。
　アクションプランは、フライトプラン及び撮影プランを含んで構成される。フライトプランは、無人飛行体１０の飛行条件を示し、飛行経路、飛行高度、飛行速度等を含む。撮影プランは、無人飛行体１０が搭載するカメラ１７の撮影条件を示し、カメラ角度、カメラ解像度等を含む。
　例えば、飛行エリアとして、海上にある海苔の養殖場一体が指定され、飛行目的として、海苔の赤腐れ病の検知が指定されたとする。
　この場合、制御部３２は、フライトプランの飛行経路として、「エリア内をくまなく飛行する往復ルートを作成」を設定し、制御部３２は、フライトプランの飛行高度として、「２ｍ上空」とセットし、フライトプランの飛行速度として、「０．５ｍ／ｓ」とセットする。この場合、制御部３２は、ステップＳ１１の処理で設定した飛行エリア内を２ｍ上空から撮影したときに、飛行エリア内をくまなく撮影できるような往復ルートを作成する。
　また、制御部３２は、撮影プランのカメラ角度として、「上空から真下に向けて撮影」とセットし、撮影プランのカメラ解像度として、「高（１３００万画素）」とセットする。
　ステップＳ１３の処理で作成した情報は、アクションプラン記憶領域３３５に記憶される。そして、アクションプラン記憶領域３３５に記憶された情報は、ＵＳＢメモリ、ＳＤカード等、携帯型の記録媒体を介して無人飛行体１０のアクションプラン記憶領域１８２にセットされる。
　なお、アクションプランデータベース３３４の情報は、実際の飛行を通じた人工知能（ＡＩ）の学習によって適宜更新されることが好ましい。また、アクションプランデータベース３３４の情報は、ステップＳ１２の処理において新たな飛行目的が追加される毎に適宜更新されることが好ましい。
〔ステップＳ１４：アクションプランにしたがって飛行・空撮〕
　続いて、無人飛行体１０の制御部１４は、制御モジュール１４１を実行し、アクションプラン記憶領域１８２にセットされた条件にしたがって、無人飛行体１０の飛行、及びカメラ１７による空撮を制御する。
　カメラ１７によって空撮された画像のデータは、画像データ記憶領域１８３に格納される。なお、画像は、静止画であってもよいし、動画であってもよい。
　そして、アクションプランを終えると、無人飛行体１０の制御部１４は、カメラ１７を用いた空撮を終了し、無人飛行体１０を着陸させる。そして、画像データ記憶領域１８３に記憶された情報は、ＵＳＢメモリ、ＳＤカード等、携帯型の記録媒体を介してコンピュータ３０の画像データ記憶領域３３６にセットされる。
〔ステップＳ１５：空撮画像のチェック〕
　続いて、コンピュータ３０の制御部３２は、画像データ記憶領域３３６を読み出し、ステップＳ１４の処理で空撮した画像を画像表示部３４に表示する。この処理により、ユーザは、「大豆の害虫検知」、「稲の病害検知」、「海苔の赤腐れ病検知」等といった所期の飛行目的を達成することができる。ステップＳ１５の処理を終えると、アクションプラン作成システム１は、本実施形態に係るアクションプラン作成方法の一連の処理を終了する。
　本実施形態に記載の発明によれば、コンピュータ３０の制御部３０は、作成モジュール３２４を実行し、エリア受付モジュール３２２の実行によって受け付けられたエリアと、目的受付モジュール３２３の実行によって受け付けられた目的とに応じて、無人飛行体１０のフライトプラン及び撮影プランを含むアクションプランを作成する。そのため、飛行経路、飛行高度、飛行速度などといったフライトプランや、カメラ角度、カメラ解像度などといった撮影プランを、受け付けたエリア及び目的に合わせて正確に設定したアクションプランを設定することが可能となる。これにより、自動で無人飛行体１０を飛行させ、空撮させる際に必要なパラメータの入力を簡便化したアクションプラン作成システム１を提供することができる。
　また、本実施形態に記載の発明は、制御部３２が画像表示部３４に地図を表示させ、制御部３２がエリア受付モジュール３２２を実行する際、画像表示部３４によって表示される地図に描画された結果に基づいて、無人飛行体１０に飛行させるエリアの指定を受け付けることが好ましい。これにより、操作者にとってよりいっそう簡便に設定することの可能なアクションプラン作成システム１を提供できる。
　また、本実施形態に記載の発明は、目的受付モジュール３２３の実行によって受け付けられた目的が、収穫物に付着する害虫の検知と、収穫物の病変の検知とから選択される少なくとも一方を含むことが好ましい。海苔の養殖や農作物の栽培規模は、数万平方メートルと広大であり、病害の箇所を迅速かつ確実に把握するには、多大な労力を要する。本実施形態に記載の発明によると、収穫物に付着する害虫の検知と、収穫物の病変の検知とから選択される少なくとも一方の目的に合わせたアクションプランが作成されるので、収穫物に付着する害虫の検知、収穫物の病変の検知に要する労力を省力化させることが可能となる。
　また、本実施形態に記載の発明において、フライトプランは、無人飛行体１０の飛行経路と、飛行高度と、飛行速度とから選択される少なくとも一つを含むことが好ましく、撮影プランは、カメラ１７のカメラ角度と、カメラ解像度とから選択される少なくとも一つを含むことが好ましい。これにより、自動で無人飛行体１０を飛行させ、空撮させる際に必要なパラメータの入力をよりいっそう簡便化したアクションプラン作成システム１を提供することができる。
　また、本実施形態に記載の発明において、無人飛行体１０の制御部１４は、制御モジュール１４を実行し、コンピュータの制御部３２が作成モジュール３２４を実行することによって作成されたアクションプランに基づいて、無人飛行体１０の飛行とカメラ１７の空撮とを制御することが好ましい。これにより、作成モジュール３２４の実行によって作成されたアクションプランに基づいて、無人飛行体１０の飛行とカメラ１７の空撮とが制御されるため、自動で無人飛行体１０を飛行させ、空撮させる際に必要なパラメータの入力をよりいっそう簡便化したアクションプラン作成システム１を提供することができる。
　上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭなど）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
　以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
　１　　無人飛行体のアクションプラン作成システム
　１０　無人飛行体
　１１　電池
　１２　モーター
　１３　ローター
　１４　制御部
　１４１　制御モジュール
　１５　位置検出部
　１６　ドライバー回路
　１７　カメラ
　１８　記憶部
　１８１　制御プログラム格納領域
　１８２　アクションプラン記憶領域
　１８３　画像データ記憶領域
　１９　無線通信部
　２０　コントローラ
　３０　コンピュータ
　３１　入力部
　３２　制御部
　３２１　地図表示モジュール
　３２２　エリア受付モジュール
　３２３　目的受付モジュール
　３２４　作成モジュール
　３３　記憶部
　３３１　地図データベース
　３３２　エリア記憶領域
　３３３　目的記憶領域
　３３４　アクションプランデータベース
　３３５　アクションプラン記憶領域
　３３６　画像データ記憶領域
　３４　画像表示部

 

Claims (7)

  1. 　地図上から、空撮装置を有する無人飛行体に飛行させるエリアの指定を受け付けるエリア受付手段と、
    　前記エリアに前記無人飛行体を飛行させる目的の入力を受け付ける目的受付手段と、
    　前記エリアと前記目的とに応じて、前記無人飛行体のフライトプラン及び撮影プランを含むアクションプランを作成する作成手段と、
    を備える、無人飛行体のアクションプラン作成システム。
  2. 　地図を表示する地図表示手段をさらに備え、
    　前記エリア受付手段は、前記地図表示手段によって表示される地図に描画された結果に基づいて、前記無人飛行体に飛行させる前記エリアの指定を受け付ける、請求項１に記載のアクションプラン作成システム。
  3. 　前記目的は、収穫物に付着する害虫の検知と、前記収穫物の病変の検知とから選択される少なくとも一方を含む、請求項１又は２に記載のアクションプラン作成システム。
  4. 　前記フライトプランは、前記無人飛行体の飛行経路と、飛行高度と、飛行速度とから選択される少なくとも一つを含み、
    　前記撮影プランは、前記空撮装置のカメラ角度と、カメラ解像度とから選択される少なくとも一つを含む、請求項１から３のいずれかに記載のアクションプラン作成システム。
  5. 　前記作成手段によって作成されたアクションプランに基づいて、前記無人飛行体の飛行と前記空撮装置の空撮とを制御する制御手段をさらに備える、請求項１から４のいずれかに記載のアクションプラン作成システム。
  6. 　地図上から、空撮装置を有する無人飛行体に飛行させるエリアの指定を受け付けるステップと、
    　前記エリアに前記無人飛行体を飛行させる目的の入力を受け付けるステップと、
    　前記エリアと前記目的とに応じて、前記無人飛行体のフライトプラン及び撮影プランを含むアクションプランを作成するステップと、
    を備える、無人飛行体のアクションプラン作成方法。
  7. 　無人飛行体のアクションプラン作成システムに、
    　地図上から、空撮装置を有する無人飛行体に飛行させるエリアの指定を受け付けるステップと、
    　前記エリアに前記無人飛行体を飛行させる目的の入力を受け付けるステップと、
    　前記エリアと前記目的とに応じて、前記無人飛行体のフライトプラン及び撮影プランを含むアクションプランを作成するステップと、
    を実行させるためのプログラム。

     
PCT/JP2017/016935 2017-04-28 2017-04-28 無人飛行体のアクションプラン作成システム、方法及びプログラム WO2018198313A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2017/016935 WO2018198313A1 (ja) 2017-04-28 2017-04-28 無人飛行体のアクションプラン作成システム、方法及びプログラム
JP2019515021A JP7152836B2 (ja) 2017-04-28 2017-04-28 無人飛行体のアクションプラン作成システム、方法及びプログラム
US16/608,966 US11543836B2 (en) 2017-04-28 2017-04-28 Unmanned aerial vehicle action plan creation system, method and program
CN201780092546.6A CN110914780B (zh) 2017-04-28 2017-04-28 无人飞行器的动作计划制作系统、方法以及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/016935 WO2018198313A1 (ja) 2017-04-28 2017-04-28 無人飛行体のアクションプラン作成システム、方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2018198313A1 true WO2018198313A1 (ja) 2018-11-01

Family

ID=63920193

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/016935 WO2018198313A1 (ja) 2017-04-28 2017-04-28 無人飛行体のアクションプラン作成システム、方法及びプログラム

Country Status (4)

Country Link
US (1) US11543836B2 (ja)
JP (1) JP7152836B2 (ja)
CN (1) CN110914780B (ja)
WO (1) WO2018198313A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6765738B1 (ja) * 2019-06-21 2020-10-07 株式会社センシンロボティクス 無人飛行体のフライト管理サーバ及びフライト管理システム
CN113853781A (zh) * 2020-05-28 2021-12-28 深圳市大疆创新科技有限公司 一种图像处理方法、头戴式显示设备及存储介质
EP3944044A4 (en) * 2019-03-20 2022-03-16 Nec Corporation UNDRIVEN VEHICLE CONTROL SYSTEM, METHOD, UNDRIVEN VEHICLE, CONTROL TERMINAL, AND COMPUTER READABLE MEDIUM
US11790788B2 (en) 2021-01-26 2023-10-17 Kddi Corporation Information processing apparatus and information processing method
JP7384042B2 (ja) 2020-01-09 2023-11-21 三菱電機株式会社 飛行ルート学習装置、飛行ルート決定装置及び飛行装置
US11823579B2 (en) 2020-12-24 2023-11-21 Kddi Corporation Flight management system and flight management method

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11492113B1 (en) * 2019-04-03 2022-11-08 Alarm.Com Incorporated Outdoor security camera drone system setup
JPWO2020225979A1 (ja) * 2019-05-09 2020-11-12

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015163012A1 (ja) * 2014-04-25 2015-10-29 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよび撮像システム
WO2016178268A1 (ja) * 2015-05-01 2016-11-10 株式会社日立製作所 圃場管理装置、圃場管理方法、及び記録媒体

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6178253B1 (en) * 1997-10-10 2001-01-23 Case Corporation Method of determining and treating the health of a crop
JP2006027448A (ja) 2004-07-16 2006-02-02 Chugoku Electric Power Co Inc:The 無人飛行体を利用した空撮方法及びその装置
US20140312165A1 (en) * 2013-03-15 2014-10-23 Armen Mkrtchyan Methods, apparatus and systems for aerial assessment of ground surfaces
WO2015006675A2 (en) * 2013-07-11 2015-01-15 Blue River Technology, Inc. Method for automatic phenotype measurement and selection
AU2015245950B2 (en) * 2014-04-10 2016-12-01 Ninox Robotics Pty Ltd Baiting method and apparatus for pest control
US11080798B2 (en) * 2014-09-12 2021-08-03 The Climate Corporation Methods and systems for managing crop harvesting activities
JP6387782B2 (ja) 2014-10-17 2018-09-12 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
CA2964275A1 (en) * 2014-10-21 2016-04-28 Tolo, Inc. Remote detection of insect infestation
US20170336203A1 (en) * 2014-10-26 2017-11-23 Galileo Group, Inc. Methods and systems for remote sensing with drones and mounted sensor devices
US10217188B2 (en) * 2014-11-12 2019-02-26 SlantRange, Inc. Systems and methods for aggregating and facilitating the display of spatially variable geographic data acquired by airborne vehicles
IL236606B (en) * 2015-01-11 2020-09-30 Gornik Amihay Standards and methods for agricultural monitoring
US11021266B2 (en) * 2015-02-11 2021-06-01 Aerovironment, Inc. Pod operating system for a vertical take-off and landing (VTOL) unmanned aerial vehicle (UAV)
US10028426B2 (en) * 2015-04-17 2018-07-24 360 Yield Center, Llc Agronomic systems, methods and apparatuses
US10139279B2 (en) * 2015-05-12 2018-11-27 BioSensing Systems, LLC Apparatuses and methods for bio-sensing using unmanned aerial vehicles
CN105046909A (zh) * 2015-06-17 2015-11-11 中国计量学院 一种基于小型无人机的农业辅助定损方法
US10586464B2 (en) * 2015-07-29 2020-03-10 Warren F. LeBlanc Unmanned aerial vehicles
US9969492B2 (en) * 2015-09-04 2018-05-15 Nutech Ventures Crop height estimation with unmanned aerial vehicles
US9508263B1 (en) * 2015-10-20 2016-11-29 Skycatch, Inc. Generating a mission plan for capturing aerial images with an unmanned aerial vehicle
EP3374928B1 (en) * 2015-11-08 2024-03-27 Agrowing Ltd A method for aerial imagery acquisition and analysis
US9613538B1 (en) * 2015-12-31 2017-04-04 Unmanned Innovation, Inc. Unmanned aerial vehicle rooftop inspection system
US10331931B2 (en) * 2016-02-05 2019-06-25 The Climate Corporation Modeling trends in crop yields
US11453494B2 (en) * 2016-05-20 2022-09-27 Skydio, Inc. Unmanned aerial vehicle area surveying
US10627386B2 (en) * 2016-10-12 2020-04-21 Aker Technologies, Inc. System for monitoring crops and soil conditions
US10313575B1 (en) * 2016-11-14 2019-06-04 Talon Aerolytics, Inc. Drone-based inspection of terrestrial assets and corresponding methods, systems, and apparatuses
KR20180062267A (ko) * 2016-11-30 2018-06-08 삼성전자주식회사 무인 비행 장치 및 무인 비행 장치의 비행 제어방법
CN106585992A (zh) 2016-12-15 2017-04-26 上海土是宝农业科技有限公司 一种无人机智能识别、精确喷洒农药的方法及系统
CN110418572A (zh) * 2017-03-12 2019-11-05 株式会社尼罗沃克 作物拍摄用无人机
WO2018193578A1 (ja) * 2017-04-20 2018-10-25 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 飛行経路確定方法、情報処理装置、プログラム及び記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015163012A1 (ja) * 2014-04-25 2015-10-29 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよび撮像システム
WO2016178268A1 (ja) * 2015-05-01 2016-11-10 株式会社日立製作所 圃場管理装置、圃場管理方法、及び記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"DJI GS PRO User Manual", vol. 1.2, 13 January 2017 (2017-01-13), pages 5 - 17, XP055527940, Retrieved from the Internet <URL:https://www.sekidorc.com/pdf/GSpro_UserManual_en_v1.2_170113.pdf> [retrieved on 20170720] *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3944044A4 (en) * 2019-03-20 2022-03-16 Nec Corporation UNDRIVEN VEHICLE CONTROL SYSTEM, METHOD, UNDRIVEN VEHICLE, CONTROL TERMINAL, AND COMPUTER READABLE MEDIUM
US11960277B2 (en) 2019-03-20 2024-04-16 Nec Corporation Unmanned vehicle controlling system and method, and nontransitory computer-readable medium
JP6765738B1 (ja) * 2019-06-21 2020-10-07 株式会社センシンロボティクス 無人飛行体のフライト管理サーバ及びフライト管理システム
JP7384042B2 (ja) 2020-01-09 2023-11-21 三菱電機株式会社 飛行ルート学習装置、飛行ルート決定装置及び飛行装置
CN113853781A (zh) * 2020-05-28 2021-12-28 深圳市大疆创新科技有限公司 一种图像处理方法、头戴式显示设备及存储介质
US11823579B2 (en) 2020-12-24 2023-11-21 Kddi Corporation Flight management system and flight management method
US11790788B2 (en) 2021-01-26 2023-10-17 Kddi Corporation Information processing apparatus and information processing method

Also Published As

Publication number Publication date
US20200317335A1 (en) 2020-10-08
US11543836B2 (en) 2023-01-03
JPWO2018198313A1 (ja) 2020-04-02
JP7152836B2 (ja) 2022-10-13
CN110914780B (zh) 2023-08-08
CN110914780A (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
WO2018198313A1 (ja) 無人飛行体のアクションプラン作成システム、方法及びプログラム
US10645300B2 (en) Methods and apparatus for image processing
JP6609833B2 (ja) 無人航空機の飛行を制御する方法及びシステム
US11644839B2 (en) Systems and methods for generating a real-time map using a movable object
JP5947634B2 (ja) 航空写真撮像方法及び航空写真撮像システム
US20190243356A1 (en) Method for controlling flight of an aircraft, device, and aircraft
US9846921B2 (en) Dynamic image masking system and method
JP6496955B1 (ja) 制御装置、システム、制御方法、及びプログラム
WO2019230604A1 (ja) 検査システム
US20180181129A1 (en) Method and apparatus for controlling flight of unmanned aerial vehicle and unmanned aerial vehicle
US20220221857A1 (en) Information processing apparatus, information processing method, program, and information processing system
JP6495562B1 (ja) 無人飛行体による空撮システム、方法及びプログラム
JP6481228B1 (ja) 決定装置、制御装置、撮像システム、飛行体、決定方法、及びプログラム
JP6360650B1 (ja) 異常検知システム、方法及びプログラム
JP6495559B2 (ja) 点群処理システム
JP6495560B2 (ja) 点群処理システム
WO2019087247A1 (ja) 長尺画像生成システム、方法及びプログラム
JP2020087355A (ja) 検出装置、検出方法、コンピュータプログラム及び学習モデル
US20220229433A1 (en) Maneuvering support apparatus, maneuvering support method, and computer-readable recording medium
WO2022205294A1 (zh) 无人机的控制方法、装置、无人机及存储介质
Persson et al. Real-time image processing on handheld devices and UAV
DE202014011010U1 (de) Systeme zur Zielverfolgung
Hibbs et al. Autonomous Mapping Using Unmanned Aerial Systems

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17906848

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019515021

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17906848

Country of ref document: EP

Kind code of ref document: A1