WO2024134909A1 - ドローンシステム、ドローン制御プログラム及びドローン制御方法 - Google Patents

ドローンシステム、ドローン制御プログラム及びドローン制御方法 Download PDF

Info

Publication number
WO2024134909A1
WO2024134909A1 PCT/JP2022/047763 JP2022047763W WO2024134909A1 WO 2024134909 A1 WO2024134909 A1 WO 2024134909A1 JP 2022047763 W JP2022047763 W JP 2022047763W WO 2024134909 A1 WO2024134909 A1 WO 2024134909A1
Authority
WO
WIPO (PCT)
Prior art keywords
drone
main
controller
imaging means
image
Prior art date
Application number
PCT/JP2022/047763
Other languages
English (en)
French (fr)
Inventor
理哲人 井上
和毅 ▲高▼嶋
和之 藤田
喜文 北村
Original Assignee
国立大学法人東北大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人東北大学 filed Critical 国立大学法人東北大学
Priority to PCT/JP2022/047763 priority Critical patent/WO2024134909A1/ja
Publication of WO2024134909A1 publication Critical patent/WO2024134909A1/ja

Links

Images

Definitions

  • the technology described in this specification relates to a drone system, a drone control program, and a drone control method.
  • the reasons for the pilot's poor SA are the narrow viewing angle of the aircraft's camera compared to the drone's freedom of movement, and the difficulty for the pilot to determine the drone's height and distance to the target from the camera footage alone. In other words, it is difficult to fly a drone safely in remote locations using only the information from the aircraft's camera footage.
  • Level 1 a state in which the drone is able to perceive the conditions around it
  • Level 2 a state in which the drone is able to understand the conditions around it
  • Level 3 a state in which the drone is able to predict the conditions around it.
  • the drone is able to understand the surrounding situation better and can effectively improve the tasks it performs, but current drones use a first-person perspective that relies solely on images mounted on the drone, and there are many blind spots that are not captured by the camera, so in many cases they do not even meet Level 1.
  • Patent Document 1 discloses a method of displaying multiple images sent from multiple drones on a user's display device, and displaying an overhead image of other drones depending on the selection of images captured by the multiple drones.
  • Patent Document 2 discloses an overhead image display system that converts a mobile device equipped with multiple first cameras that capture the surroundings at a wide angle and a second camera that captures the direction of travel into an image seen from a virtual overhead viewpoint and displays it.
  • Patent Document 3 discloses an image display method that displays an image that appears as if it is an overhead image including the drone, using an imaging device mounted on the drone.
  • Patent Documents 1 to 3 virtual or, if selected, overhead images can be obtained, but the status of the drone cannot be grasped in real time at all times.
  • the inventors of the present application have proposed a technology that improves drone operability by capturing an overhead image of the main drone's situation using a spatially linked secondary drone to acquire a third-person perspective, thereby enabling the status of the main drone to be grasped in real time at all times (for example, non-patent document 1).
  • the technology described in this specification aims to provide a highly visible image display that allows the pilot to check blind spots around the drone and accurately recognize the space around the drone.
  • a drone system includes a main drone equipped with a first imaging means, a secondary drone equipped with a second imaging means for imaging the main drone from a bird's-eye view, and a controller for controlling the main drone and the secondary drone, and the controller may include a display unit for displaying the bird's-eye view image captured by the second imaging means.
  • the controller may also have a function for displaying a first marker indicating the distance from the main drone within the bird's-eye view image.
  • One aspect is to provide a highly visible image display that allows the pilot to check blind spots around the drone and accurately recognize the space around the drone.
  • FIG. 1 is a block diagram illustrating a configuration example of a drone system according to an embodiment. This is an example of an image captured by the primary drone and the secondary drone at approximately the same time. This is a diagram to explain the positions of the main drone and secondary drone using real coordinates, pixel coordinates, and third-person perspective coordinates. A diagram to explain the distance between the main drone and the secondary drone.
  • FIG. 3 is a diagram showing a marker displayed on the overhead view image (TPV) of FIG. 2 .
  • FIG. 11 is a diagram showing an example of a state in which an area image and a bird's-eye view image are displayed on a display device. 4 is a flowchart showing an example of control executed by a controller.
  • FIG. 13 is a diagram showing the positional relationship when there is an obstacle between the primary drone and the secondary drone.
  • Fig. 1 is a block diagram showing a schematic configuration example of a drone system 100 according to an embodiment.
  • the drone system 100 includes a main drone 10, a sub drone 20, and a controller 30.
  • the two drones 10 and 20 and the controller 30 are connected to each other via a network such as the Internet or Wi-Fi Direct so as to be capable of wireless communication.
  • the main drone 10 is an aircraft that is controlled by a user and performs imaging and various tasks, etc.
  • the secondary drone 20 flies automatically and autonomously and is set to follow the main drone 10 at a certain distance from the main drone 10 at a higher position.
  • the main drone 10 and the secondary drone 20 may be equipped with devices that detect and automatically avoid obstacles, etc.
  • an obstacle includes any object, whether natural or man-made, that impedes drone flight.
  • the main drone 10 is equipped with a camera 11, a sensor 12, a communicator 13 and a controller 14.
  • Camera 11 captures the surrounding environment (area) of the main drone 10.
  • the image of the surrounding environment captured by the main drone 10 may be referred to as an area image.
  • the orientation and tilt (angle of the focal field of view direction) of camera 11 are arbitrary. In this embodiment, the orientation of camera 11 approximately matches the traveling direction of the main drone 10, and the tilt of camera 11 is automatically or manually set to an appropriate tilt for capturing an image of the area in front of the aircraft.
  • Camera 11 is an example of a first imaging means.
  • the sensor 12 measures the three-dimensional position (latitude, longitude, altitude, orientation) and speed of the main drone 10.
  • the communicator 13 transmits to the controller 30 the area image (area information) captured by the camera 11, the direction of the main drone 10 (area image (first person view, FPV) shooting direction), altitude and speed measured by the sensor 12.
  • the communicator 13 may also transmit the direction and inclination of the camera 11 to the controller 30.
  • the communicator 13 may also transmit a signal to the secondary drone 20.
  • the communicator 13 is an example of a communication means of the main drone 10.
  • the camera 11, sensor 12, and communication device 13 may be movable and equipped with a drive mechanism, allowing the angle to be freely changed.
  • the controller 14 controls the camera 11, the sensor 12, and the communicator 13, and controls the flight mechanism (not shown) of the main drone 10 and the drive mechanisms (not shown) of each of the components 11, 12, and 13 in response to signals received by the communicator 13 from the controller 30.
  • the secondary drone 20 is equipped with a camera 21, a sensor 22, a communicator 23 and a controller 24.
  • the camera 21 captures images of the main drone 10 from a bird's-eye view.
  • the orientation and inclination of the camera 21 are arbitrary. In this embodiment, the orientation of the camera 21 approximately matches the traveling direction of the secondary drone 20, and the inclination of the camera 21 is automatically or manually set to an inclination suitable for capturing images of the surrounding environment including the main drone 10.
  • the camera 21 is an example of a second imaging means.
  • the sensor 22 measures the three-dimensional position (latitude, longitude, altitude, orientation) and speed of the secondary drone 20.
  • the communicator 23 transmits to the controller 30 an image (bird's-eye view image) of the primary drone 10 captured by the camera 21 from a bird's-eye view, the tilt of the camera 21, and the orientation and altitude of the secondary drone 20 measured by the sensor 22.
  • the communicator 13 may transmit the orientation of the camera 21 and the speed of the aircraft to the controller 30.
  • the communicator 23 may also transmit a signal to the primary drone 10.
  • the communicator 23 is an example of a communication means for the secondary drone 20.
  • the camera 21, sensor 22, and communication device 23 may be movable and equipped with a drive mechanism, allowing the angle to be freely changed.
  • the controller 24 controls the camera 21, the sensor 22, and the communicator 23, and controls the flight mechanism (not shown) of the secondary drone 20 and the drive mechanisms (not shown) of each of the components 21, 22, and 23 in response to signals received by the communicator 23 from the controller 30.
  • the controller 30 includes a CPU 31, a memory 32, a storage device 33, an IF unit 34, and a display device 35.
  • the controller 30 may be realized as an integrated device, or may be realized as a combination of separate devices such as a general-purpose computer, a display device, and an operation terminal.
  • the CPU 31 is a processing device that performs various controls and calculations, and realizes various functions by executing an Operating System (OS) and programs (drone control programs) stored in the memory 32. That is, as shown in FIG. 1, the CPU 31 may function as an optimization unit 31a, a position calculation unit 31b, and a marker generation unit 31c.
  • OS Operating System
  • programs drone control programs
  • the CPU 31 is an example of a computer, and illustratively controls the operation of the entire drone system 100.
  • the device for controlling the operation of the entire drone system 100 is not limited to the CPU 31, and may be, for example, any one of an MPU, DSP, ASIC, PLD, FPGA, or dedicated processor.
  • the device for controlling the operation of the entire drone system 100 may also be a combination of two or more of a CPU, MPU, DSP, ASIC, PLD, FPGA, and dedicated processor.
  • MPU is an abbreviation for Micro Processing Unit
  • DSP is an abbreviation for Digital Signal Processor
  • ASIC is an abbreviation for Application Specific Integrated Circuit
  • PLD is an abbreviation for Programmable Logic Device
  • FPGA is an abbreviation for Field Programmable Gate Array.
  • Memory 32 is a device that stores various types of data, programs, and other information. For example, it may be either or both of a volatile memory such as Dynamic Random Access Memory (DRAM) and a non-volatile memory such as Persistent Memory (PM).
  • DRAM Dynamic Random Access Memory
  • PM Persistent Memory
  • the storage device 33 is a device that stores data in a readable and writable manner, and may be, for example, a Hard Disk Drive (HDD), a Solid State Drive (SSD), or a Storage Class Memory (SCM).
  • the storage device 33 stores various information received from the main drone 10 and the secondary drone 20, values calculated by the CPU 31, etc.
  • the storage device 33 may store a program 36 (drone control program) that realizes all or part of the various functions of the drone system 100.
  • the CPU 31 of the controller 30 can realize various functions of the controller 30 by expanding the program 36 stored in the storage device 33 into the memory 32 and executing it.
  • the IF unit 34 is an example of a communication IF that controls the connection and communication between the controller 30 and each of the main drone 10, the secondary drone 20, and a network not shown.
  • the IF unit 34 may function as a communication means for the controller 30.
  • the IF unit 34 may include an adapter that complies with a Local Area Network (LAN) such as Ethernet (registered trademark), or optical communications such as Fibre Channel (FC).
  • LAN Local Area Network
  • Ethernet registered trademark
  • FC Fibre Channel
  • the adapter may be compatible with either or both of wireless and wired communication methods.
  • the controller 30 may be connected to an external device or a cloud server (not shown) via the IF unit 34 and a network so that they can communicate with each other.
  • the programs used to control the drone system 100, including the program 36, may be downloaded to the controller 30 from the network via the communication IF and stored in the storage device 33.
  • the display device 35 presents the image or video output from the controller 30 to the user. That is, the display device 35 may function as a display unit.
  • the display device 35 may be a touch panel, and may accept input from the user. Note that input from the user may be accepted by various input devices (not shown).
  • the display device 35 can display at least the area image received from the main drone 10 and the overhead viewpoint image received from the secondary drone 20 on two screens, and can also display a marker indicating information regarding the space around the main drone 10 within the displayed overhead viewpoint image.
  • Fig. 2 is an example of an image captured at approximately the same time by the primary drone 10 and the secondary drone 20.
  • the two frames in Fig. 2 are the imaging ranges of the primary drone 10 and the secondary drone 20, respectively.
  • the image on the right side of the imaging range of the main drone 10 is an area image (FPV) captured by the main drone 10.
  • FPV stands for First Person View, meaning that the image is from the main drone's point of view.
  • the camera 11 of the main drone 10 captures an image of a certain range in the area ahead in the direction of travel of the main drone 10.
  • the image on the right side of the secondary drone 20's imaging range is a bird's-eye view image (TPV) captured by the secondary drone 20.
  • TPV stands for Third Person View, and means that the image is taken from a bird's-eye view of the primary drone 10.
  • the bird's-eye view image includes the primary drone 10 approximately in the center, as well as the surrounding environment of the primary drone 10.
  • the bird's-eye view image visualizes the surroundings of the main drone 10, allowing the pilot to check blind spots in real time.
  • these two types of images alone are not sufficient to recognize the space surrounding the main drone 10.
  • the secondary drone 20 In order to provide a highly visible image display for accurately recognizing the space around the primary drone 10, it is desirable for the secondary drone 20 to always obtain information that allows it to understand and predict the space around the drone according to the speed of the primary drone 10. For this purpose, it is necessary to optimize the position of the secondary drone 20. In particular, since the pilot pilots the primary drone 10 while looking at the two screens of the display device 35, if the difference in distance between the primary drone 10 and the secondary drone 20 becomes large, the two images displayed on the display device 35 will appear discontinuous. This may increase the burden on the pilot and reduce the quality of piloting. To prevent this, it is necessary to minimize the travel distance of the secondary drone 20.
  • the positional relationship between the primary drone 10 and the secondary drone 20 is not appropriate, it becomes very difficult to accurately recognize the space around the primary drone 10.
  • the distance from the primary drone 10, the imaging area or traveling direction of the primary drone 10 can be displayed on the screen of the display device 35 at any time.
  • the relationship between the obtained overhead viewpoint image and the area image (which area within the overhead viewpoint image is being captured by the main drone 10 as the area image) is clear, the relationship between the overhead viewpoint image and the area image becomes clearer.
  • the CPU 31 of the controller 30 has, as functional components, an optimization unit 31a, a position calculation unit 31b, a marker generation unit 31c, and a display unit 35 in order to realize the drone control method of this embodiment.
  • the optimization unit 31a optimizes the position of the secondary drone 20 relative to the primary drone 10.
  • the position calculation unit 31b acquires the relative positions of the primary drone 10 and the secondary drone 20 at the optimized position.
  • the marker generation unit 31c visualizes information that enables understanding and prediction of the space around the primary drone 10 based on the positional relationship between the primary drone 10 and the secondary drone 20. Each function will be described below.
  • the optimization unit 31a optimizes the positioning of the secondary drone 20 relative to the main drone 10, specifically controlling the position of the secondary drone 20, the angle of the camera 21, and the target relative angle of the secondary drone 20.
  • the optimization unit 31a is an example of a control unit.
  • the optimization unit 31a is mainly based on automatic control, but may be able to switch to manual control depending on the situation.
  • the secondary drone 20 In order for the secondary drone 20 to capture an appropriate range of overhead viewpoint images in accordance with the speed of the primary drone 10, it is important that the following conditions (a) to (c) are satisfied.
  • Optimal position conditions > (a) The primary drone 10 is within the overhead viewpoint of the secondary drone 20. (b) The area imaged by the camera 11 of the primary drone 10 is within the overhead viewpoint of the secondary drone 20. (c) The range in which the primary drone 10 travels in a given period of time is within the area. Below, a method for placing the secondary drone 20 in a position that satisfies conditions (a) to (c) is described.
  • the placement position of the secondary drone 20 is determined and designed using an optimization method.
  • the optimized position is Step 1: Define the variables to be optimized.
  • Step 2 Define the cost function.
  • Step 3 Set the constraints on the variables.
  • Step 4 Calculate by outputting the target coordinates using the primal-dual interior point method. The objective function after steps 1 and 2 is shown in Equation 1.
  • the boxed (1) in Equation 1 is referred to as the first term, (2) as the second term, and (3) as the third term.
  • the first term is introduced with the aim of minimizing the movement of the secondary drone 20 (minimizing the movement of the pilot's viewpoint)
  • the second term is introduced with the aim of matching the orientations of the primary drone 10 and secondary drone 20 as closely as possible
  • the third term is introduced to return to the positional relationship specified by the pilot at the end of the movement, in other words, to control so as not to stray as far as possible from the initial position.
  • constraint conditions for the objective function of Equation 1 are set (Step 3).
  • the constraint conditions are the conditions shown in i to vii below.
  • the constraint conditions i to vii set the suppression of the angle difference between the viewpoint and the controlled object, the movable range of the camera gimbal of the secondary drone 20, the presentation range of the field of view in each direction of travel, the display range of the frame showing the shooting range of the primary drone 10, etc.
  • ⁇ f (t) is the target relative angle of the secondary drone 20 at time t (the target angle of the secondary drone 20 with respect to the primary drone 10), and ⁇ f (t) is the target camera angle of the secondary drone 20 at time t.
  • x f (t), y f (t), and z f (t) are the target relative coordinate vectors of each axis of the secondary drone 20 at time t
  • ⁇ fvfov is the vertical viewing angle of the camera 21 of the secondary drone 20
  • ⁇ fhfov is the horizontal viewing angle of the camera 21 of the secondary drone 20.
  • v x (t) and v z (t) are the speeds of each axis of the primary drone 10 at time t
  • y(t) is the altitude of the primary drone 10 from the ground surface at time t
  • ⁇ mvfov is the vertical viewing angle of the camera of the primary drone 10.
  • Figure 3 shows three-dimensional actual coordinates for explaining the positions of the main drone 10 and the secondary drone 20.
  • the above xf (t), yf (t), zf (t), ⁇ f (t), and ⁇ f (t) are parameters (values) of the actual coordinates.
  • the dashed dotted lines extending from each drone in the actual coordinates in Figure 3 indicate the direction of travel of each drone.
  • the optimal algorithm for solving the optimization problem is, for example, the primal-dual interior point method.
  • the optimization unit 31a calculates the optimal placement position (three-dimensional target position) of the secondary drone 20, the angle of the camera 21, and the target relative angle of the secondary drone 20 by using the primal- dual interior point method using the current three-dimensional positions of the primary drone 10 and the secondary drone 20, the angle ⁇ f (t) of the camera 21 of the secondary drone 20, the target relative angle ⁇ f (t), and the like.
  • the optimization unit 31a calculates the control amount using cascade PID, and adjusts the position of the secondary drone 20, the angle of the camera 21, and the target relative angle of the secondary drone 20 based on the control amount.
  • the optimization unit 31a performs control to move the secondary drone 20 to the determined three-dimensional target position. Furthermore, it performs processing to update the angle of the camera 21 and the target relative angle of the secondary drone 20 at that position.
  • the optimization unit 31a sends a signal to the communication device 23 of the secondary drone 20 via the IF unit 34 to control the main drone 10 to be within the bird's-eye view captured by the camera 21 of the secondary drone 20.
  • the optimization unit 31a may control the orientation of the secondary drone 20 depending on the direction of movement of the primary drone 10. For example, when the primary drone 10 starts moving to the right, the optimization unit 31a rotates the orientation of the secondary drone 20 (or the orientation of the camera 21) to an angle at which the surrounding environment to the right of the primary drone 10 is captured more widely than the surrounding environment to the left. This makes it possible to capture an image of a wide range in the direction in which the primary drone 10 is traveling.
  • the pilot only needs to control the main drone 10, and the secondary drone 20 will follow the main drone 10 so that the main drone 10 stays within a predetermined range, and will provide an overhead view image on the screen of the display device 35. Therefore, the pilot can concentrate on the operation and work of the main drone 10 while also referring to the overhead view image of the secondary drone 20 obtained by automatic control, which does not require complex operations and greatly improves operability.
  • the optimization unit 31a may switch the automatic control of the secondary drone 20 to follow the primary drone to manual control depending on the situation, etc.
  • the follow-up control means controlling the secondary drone so that it flies at a position where the primary drone 10 is within a predetermined range and where it can overlook the primary drone 10.
  • the control by the optimization unit 31a described above may be applied to the primary drone 10 so that the primary drone 10 automatically leads the secondary drone 20 and falls within the secondary drone 20's bird's-eye view.
  • a function may be provided to disable automatic tracking of the main drone 10 and the secondary drone 20 so that both can be manually controlled.
  • the optimization unit 31a places the secondary drone 20 and the main drone 10 within a specified range using the method described above. Furthermore, after calculating the coordinate position described below, the optimization unit 31a calculates the optimal position for the secondary drone 20 and places the secondary drone 20 at that position, thereby enabling the main drone 10 and the secondary drone 20 to be placed in an accurate relative positional relationship. Furthermore, the optimization unit 31a calculates the optimal angle and optimal relative angle of the camera 21 of the secondary drone 20 at the optimized position, and controls each of them, thereby enabling the main drone 10 to be imaged at the optimal position and angle.
  • the optimization unit 31a enables the space around the main drone 10 to be understood once the positional relationship between the main drone 10 and the secondary drone 20, the angle of the camera 21, and the relative angle of the secondary drone 20 are within appropriate ranges. In order to obtain information that enables understanding and prediction of the space around the aircraft, it is first necessary to obtain the positional relationship between the main drone 10 and the secondary drone 20.
  • the position calculation unit 31b calculates the relative positions of the main drone 10 and the secondary drone 20.
  • the present invention employs a method of calculating the relative positions by image processing.
  • the position calculation unit 31b detects the main drone 10 from within the overhead viewpoint image.
  • the detection method may be a known image processing technique, such as identifying the main drone 10 by color using OpenCV.
  • the position calculation unit 31b corrects the overhead viewpoint image.
  • the image may be corrected using a camera matrix and a distortion matrix acquired in advance using a known technique, such as Zhang's image recognition technique.
  • FIG. 3 shows pixel coordinates and third-person viewpoint coordinates for explaining the positions of the main drone 10 and the secondary drone 20.
  • the position calculation unit 31b calculates the position of the main drone 10 (coordinates xf (t), zf (t) in the real space (real world)) reflected in the camera 21 of the secondary drone 20 in pixel coordinates x pixel , y pixel in the horizontal plane of the main drone.
  • the position calculation unit 31b calculates third-person viewpoint coordinates xm (t), ym (t) with the image center M of the main drone 10 as the origin from the distance using the pixel coordinates x pixel , y pixel of the main drone reflected in the image.
  • the third-person viewpoint coordinates are converted to distances using the coordinates xf (t), zf (t) in the real space (real world) and calculated.
  • the coordinates of the position of the main drone can be expressed in real coordinates, third-person viewpoint coordinates, and pixel coordinates.
  • FIG. 4 is a diagram for explaining the distance between the main drone 10 and the secondary drone 20.
  • the intersection points of the horizontal plane on which the main drone 10 exists and the line segment forming the vertical viewing angle ⁇ fvfov of the camera 21 of the secondary drone 20 intersect are S and R, and the position of the camera 21 (for example, the lens position) is A, and the line segments AS and AR are determined.
  • a perpendicular line AC indicates the viewing direction of the camera 21 (the central direction of the vertical viewing angle ⁇ fvfov ).
  • x max and y max are the maximum values of pixel coordinates.
  • Equation 2 Equation 3
  • y f (t) is the relative altitude
  • ⁇ fvfov is the vertical viewing angle of the camera 21.
  • y f (t) is obtained from the altitude information of the sensor 12 of the main drone 10 and the sensor 22 of the secondary drone 20
  • ⁇ fvfov is known information of the camera 21, and h and a can also be easily calculated from that information.
  • the position calculation unit 31b uses the following formula to convert the distance calculated from the coordinates xm , ym in the third person's viewpoint into the distance calculated from the real coordinates (real space, real world) xf (t), zf (t).
  • Equations 4 and 5 are as defined in Equations 4 and 5.
  • Equations 6 and 7 ⁇ is expressed by the following equation.
  • ⁇ ⁇ ACR.
  • ⁇ is the angle with respect to the perpendicular line AC, in other words, ⁇ is the angle between the viewpoint direction of the camera 21 and the horizontal plane on which the main drone 10 exists.
  • the distance obtained from the actual coordinates (real space, real world) x f (t) and z f (t) is the horizontal distance between the main drone 10 and the secondary drone 20, and the distance obtained from the actual coordinates x f (t) and z f (t) is calculated using the pixel coordinates, the angle ⁇ of the camera 21 of the secondary drone 20 relative to the perpendicular line AC, the vertical field of view ⁇ fvfov of the camera 21, and the altitude difference y f (t) between the main drone 10 and the secondary drone 20.
  • the pixel coordinates of the main drone 10 are obtained by image recognition processing, and the relative altitude y f (t) between the drones is obtained by sensors 12, 22.
  • the tilt of the camera 21 target camera angle ⁇ f (t)
  • the vertical viewing angle ⁇ fvfov of the camera 21 are known.
  • the distance found from pixel coordinates x pixel , y pixel and the distance found from real coordinates (real space, real world) x f (t) and z f (t) (relative distance) can be easily calculated with few variables without complex calculations.
  • the optimization unit 31a adjusts the positions so that the primary drone 10 and the secondary drone 20 have an optimal relative positional relationship. Furthermore, after achieving the optimal relative positional relationship, the optimization unit adjusts the angle ⁇ f (t) of the camera 21 and the target relative angle ⁇ f (t) so that they become optimal angles.
  • FIG. 5 is a diagram showing markers displayed on the overhead viewpoint image (TPV) of FIG. 2.
  • TPV overhead viewpoint image
  • a triangular marker 42 indicating the direction of the main drone 10
  • a vertical line marker 44 indicating the height
  • a frustum marker 43 indicating the shooting area of the main drone 10
  • a circular marker 41 e.g., radius 5 m and radius 8 m
  • the pilot uses Augmented Reality (AR) to superimpose markers onto an overhead view image to display spatial information around the drone.
  • AR Augmented Reality
  • the superimposed display in AR may use, for example, the cast shadow method.
  • the orientation (travel direction) of the main drone 10 is displayed, for example, using a triangular marker (second marker) 42.
  • the method using a triangle imposes a lower cognitive load than the method using an arrow.
  • the triangle is preferably an isosceles triangle, and the direction indicated by the apex angle of the isosceles triangle is the travel direction of the main drone 10.
  • the size of the triangular marker 42 may be changed depending on the speed of the main drone 10.
  • the marker is not limited to the triangular marker 42, and any marker may be used as long as it allows the user to intuitively understand the direction of travel.
  • the altitude of the main drone 10 is displayed by a vertical line marker (fourth marker) 44.
  • the vertical line is a straight line connecting the reference plane and a specific part of the main drone 10 (for example, the center of gravity of the main drone 10), and the reference plane and the vertical line are perpendicular to each other.
  • the upper end of the straight line represents the position of the main drone 10.
  • the reference plane is, for example, the ground surface, and is not limited to altitude, and may be the distance (height) of a structure or the like vertically below the main drone 10. The distance of such a structure or the like is obtained by a sensor 12 or the like.
  • the vertical line marker 44 may display a predetermined scale, or may change color, such as turning red, when the distance becomes shorter than a certain threshold. Numerical information related to altitude may be displayed within the TPV. Note that the vertical line marker 44 is not limited to a vertical line, and may be any type that allows intuitive understanding that it is information related to altitude.
  • the shooting range of the main drone 10 is displayed using a quadrangular pyramid marker (third marker) 43.
  • the base of the quadrangular pyramid represents the shooting range of the main drone 10, and the apex represents the position of the main drone 10.
  • the base of the quadrangular pyramid is the square frame of the area image (FPV) shot by the main drone 10, which will be described later with reference to FIG.
  • the truncated pyramid marker 43 is the area photographed by the camera 11, and the space photographed by the camera 11 may be represented by lines connecting the camera 11 and the four corners of the truncated pyramid marker 43. It is not necessary to display the lines connecting the camera 11 to the four corners of the square pyramid marker 43.
  • main drone 10 One very important piece of information about the main drone 10 is the distance from the main drone 10. It is difficult for the pilot to grasp the actual positional relationship and angle between the main drone 10 and the secondary drone 20 from the overhead image itself, and therefore the pilot is likely to misjudge how far the main drone 10 is from the object shown in the overhead view image. According to this embodiment, the pilot can grasp the position of the main drone in actual coordinates, and therefore can accurately grasp how far the object or place shown in the image is from the main drone 10.
  • the distance from the main drone 10 is displayed by a circular marker (first marker) 41 centered on the main drone 10.
  • the circular marker 41 can be displayed at any distance from the main drone 10 selected by the pilot. Also, multiple distances, such as 3 m and 5 m, can be displayed using multiple circular markers 41 .
  • the marker 41 indicating the distance from the main drone 10 is not limited to a circular marker, and any marker that allows the distance from the main drone 10 to be intuitively grasped may be used.
  • the positional relationship between the main drone 10 and the secondary drone 20 falls within a specified range, and the respective positions of the main drone 10 and the secondary drone 20 are set in a coordinate system, so a marker 41 indicating the exact distance from the main drone 10 can be displayed.
  • the primary drone 10 in addition to understanding the current distances in the space surrounding the primary drone 10, it is desirable to be able to predict where the primary drone 10 will be at a given time. Predicting the position of the primary drone 10 requires information about the expected location of the primary drone 10, as well as the distances between the primary drone 10 and objects in the surrounding environment.
  • the controller 30 receives images in real time from the main drone 10 and the secondary drone 20. However, because humans need time to make a decision, known as the selective reaction time, the planned arrival position of the drone 10 needs to be within a range that takes into account the pilot's selective reaction time.
  • the planned arrival position of the main drone 10 is displayed as a circular marker (first marker) centered on the main drone 10, similar to the marker 41 that indicates distance, from the perspective of cognitive load and because drones can move in all directions.
  • the radius of the circle is the destination direction L, as shown in the following formula.
  • v(t) is the velocity of the main drone 10 at time t, and 1.5 s is the value proposed in the literature (Hick, W. E. [Quarterly Journal of Experimental Psychology 1952]) as the choice reaction time.
  • the expected arrival position of the main drone 10 may be displayed as multiple circles by setting multiple times t. Furthermore, if the main drone 10 moves not only horizontally but also with a vertical component, a spherical marker may be used accordingly, or the predicted position at time t may be displayed within the TPV using a drone marker or the like, or a movement trajectory may be shown, etc.
  • the various markers 41 to 44 in the TPV may be selectively displayed/not displayed in the TPV, so that only necessary markers are displayed. Conversely, having multiple markers can make it difficult for the operator to see, so in that case, it may be possible to allow the operator to select only the markers he or she wishes to display, allowing the operator to proceed with operations without stress.
  • the circular marker 41 indicating distance and the vertical line marker 44 indicating height may be automatically displayed when they fall below a predetermined threshold value to ensure the safety of the main drone 10 and its surroundings.
  • the position calculation unit 31b calculates pixel coordinate values using the inverse functions of Equations 6 to 8.
  • Information to be drawn using the cast shadow method can be obtained by substituting the altitude of the secondary drone 20 into y f (t) in Equations 4 and 5.
  • the position coordinates of four points equidistant from the main drone 10 are converted into pixel coordinates, and a perspective projection transformation matrix using the four points is applied to a perfect circle to obtain the result.
  • the display unit 35 of the controller 3 displays the area image and the bird's-eye view image on the screen of the display device 35.
  • the display unit 35 further displays a triangular marker 42, a vertical line marker 44, a frustum marker 43, and a circle marker 41 generated by the marker generation unit 31c in the bird's-eye view image.
  • FIG. 6 is a diagram showing an example of a state in which an FPV and a TPV with markers are displayed on display device 35.
  • two types of images are arranged vertically, with the upper image being an area image and the lower image being an overhead viewpoint image with markers.
  • Arranging images vertically makes it less likely for the pilot to confuse them than arranging images horizontally and in parallel.
  • Display device 35 may display two images vertically on one screen, or may have two screens connected by a hinge mechanism, allowing the upper and lower screens to be tilted towards the pilot.
  • Drone Control Operation 7 is a flowchart showing an example of control executed by the controller 30. This flow starts when the main drone 10 and the secondary drone take off (for example, when an ON signal is received from an activation switch), and is executed by the controller 30 until both drones 10 and 20 finish flying (for example, until an OFF signal is received from the activation switch).
  • the CPU 31 of the controller 30 acquires information about the main drone 10 and the secondary drone 20 via the IF unit 34 (step S1).
  • the information about the main drone 10 is the area image (area information) captured by the camera 11 of the main drone 10, and the orientation, altitude, and speed of the drone itself measured by the sensor 12.
  • the information about the secondary drone 20 is the image (overhead view image) of the main drone 10 captured by the camera 21 from a bird's-eye view, the inclination of the camera 21, and the orientation and altitude of the drone itself measured by the sensor 12.
  • the secondary drone 20 starts flying following the main drone 10, and when it reaches the target position, it automatically moves to a specified position where the main drone 10 can be placed within the bird's-eye view using the method described above.
  • the position calculation unit 31b of the controller 30 detects the main drone 10 in the overhead viewpoint image and obtains the pixel coordinates of the main drone 10 (step S2).
  • the pixel coordinates are a coordinate system centered on point M shown in FIG. 3.
  • the position calculation unit 31a calculates the horizontal distance between the main drone 10 and the secondary drone 20 (step S3).
  • the horizontal distance is the distance xf (t) and zf (t) between the drones in real coordinates, and the distance xf (t) and zf (t) in real coordinates are calculated using the angle ⁇ of the camera 21 of the secondary drone 20 relative to the perpendicular AC, the vertical viewing angle ⁇ fvfov of the camera 21, and the altitude difference yf (t) between the main drone 10 and the secondary drone 20.
  • the marker generation unit 31c generates markers indicating information about the main drone 10 to be displayed in the bird's-eye view coordinates (step S4).
  • the markers include a triangular marker 42 indicating the direction of the main drone 10, a circular marker 41 indicating the distance from the main drone 10, a frustum marker 43 indicating the shooting area of the main drone 10, and a vertical line marker 44 indicating the height of the main drone 10.
  • the display unit 35 the marker generation unit 31c, superimposes the generated marker on the overhead viewpoint image of the secondary drone 20, and displays (outputs) it on the screen of the display device 35 together with the area image of the main drone 10 (step S5).
  • the optimization unit 31a calculates the optimal position of the secondary drone 20 (step S6).
  • the optimal position is calculated using the objective function expressed by Equation 1 under constraint conditions i to vii that realize the above-mentioned optimal position conditions (a) to ( c ).
  • the optimization unit 31a calculates the optimal placement position (three-dimensional target position), the angle of the camera 21, and the target relative angle of the secondary drone 20 by using a primal-dual interior point method that uses the current three-dimensional positions of the main drone 10 and the secondary drone 20, the angle of the camera 21 of the secondary drone 20, the target relative angle ⁇ f (t), etc.
  • the optimization unit 31a adjusts the position of the secondary drone 20 based on the calculated control amount (step S7).
  • the optimization unit 31a sends a control signal to the communicator 23 of the secondary drone 20 via the IF unit 34, and the controller 24 of the secondary drone 20 moves the aircraft to the three-dimensional target position. Then, at that position, the angle of the camera 21 and the target and relative angle are adjusted to optimal angles.
  • the pilots were six non-experienced individuals with drone operating experience of more than one hour but less than 10 hours.
  • the experiment was conducted outside of densely populated areas.
  • a tent was set up and the pilot operated the drone from inside the tent. The drone was flown within visual line of sight (as unskilled pilots are prohibited by law from flying beyond visual line of sight).
  • a DJI Mavic 2 Pro was used as the main drone and a Parrot Anafi 4K was used as the secondary drone.
  • the drone was asked to move in a direction different from the direction of the camera (moving into the blind spot of the FPV) and perform two tasks that required detailed positioning.
  • the tasks were 1. a Nose-in-Circle task (a task of circling a subject while displaying the subject in the camera's FPV), which makes it easy to determine whether the drone is able to understand the situation around the aircraft (SA level 2), and 2. a high-speed movement task (a task of moving between multiple poles as quickly as possible), which makes it easy to determine whether the drone is able to predict the situation around the aircraft (SA level 3).
  • the main drone continues to circle around the subject while maintaining a distance of 5 m.
  • the three interfaces used for comparison were FPV only, FPV plus a dynamically positioned third-person view without AR (AutoTPV), and the drone system 100 method of the present invention (AR-BirdView).
  • AutoTPV the drone system 100 method of the present invention
  • AR-BirdView the drone system 100 method of the present invention
  • the main drone moves between three types of poles, A, B, and C.
  • Pole B is placed 20 m away from pole A
  • pole C is placed 20 m away from pole B, perpendicular to the line between poles A and B.
  • the main drone was instructed to move as fast as possible and stop at a position 5 to 8 m from the pole.
  • three routes were prepared for visiting poles A to C: A ⁇ B ⁇ C ⁇ B ⁇ A, B ⁇ C ⁇ B ⁇ A ⁇ B, and C ⁇ B ⁇ A ⁇ B ⁇ C. The task was performed using a different route for each interface.
  • the comparison conditions were three interface methods: FPV only, a third-person perspective from directly above with AR overlay (displaying the radial distance from the main drone) (AR-TopView), and the method of the present invention (AR-BirdView).
  • AR-TopView a third-person perspective from directly above with AR overlay (displaying the radial distance from the main drone)
  • AR-BirdView the method of the present invention
  • the performance was evaluated quantitatively using the average total time required to travel the above route, the average percentage of times the drone was able to stop within the specified range (within 5 to 8 m from the pole) (task success rate), and the distance traveled by the main drone to complete the task.
  • the pilots practiced each of the three control interface methods for about 10 minutes. In addition to moving the drone in a straight line, they also practiced turning and circling the drone. Once they had become familiar with each interface, they moved on to the respective experimental task.
  • the pilots were asked to fill in a questionnaire regarding the extent to which they were able to recognize the situation around the main drone (spatial recognition), the extent to which they were able to understand the positional relationship between the main drone and the subject or pole (spatial understanding), how easy it was to plan the flight of the main drone (motion planning), the degree of anxiety about the direction of movement (anxiety), and the degree of concentration required to control the drone (concentration), and subjective data from the pilots was also obtained.
  • the total average time required to move along the route in the high-speed movement task was about 33 to 34 seconds when using only FPV, and about 35 to 36 seconds when using AR-TopView.
  • the method of the present invention was able to move in the shortest time of 31 to 32 seconds.
  • the task success rate was approximately 75% when using FPV alone, approximately 71% when using AR-TopView, and approximately 88% when using the method of the present invention, demonstrating that the success rate is greatly improved when using the method of the present invention.
  • the distance traveled to complete the task was approximately 103 m when using FPV alone, approximately 101 m when using AR-TopView, and approximately 91 m when using the method of the present invention, demonstrating that the method of the present invention enables efficient flight.
  • FPV placed the highest strain, and in particular, spatial awareness, spatial understanding, motion planning, and anxiety were scored 2 to 4 times worse than the present invention.
  • the present invention's method was rated as being 1.2 times better than AR-TopView.
  • the present invention's method allows for easy spatial understanding, making it easy to predict flight motion plans, and also allows for an understanding of the surrounding situation, demonstrating that it is a method that allows for anxiety-free operation even when moving at high speeds.
  • the method of the present invention showed the best performance and the least load.
  • the method of the present invention has low error even in the Nose-in-Circle task, thereby satisfying SA level 2, which is a state in which the state around the aircraft can be understood.
  • SA level 2 which is a state in which the state around the aircraft can be understood.
  • SA level 3 which is a state in which the state around the aircraft can be predicted.
  • the drone system 100 of this embodiment includes a main drone 10 equipped with a camera 11, a secondary drone 20 equipped with a camera 21 that captures an image of the main drone 10 from a bird's-eye view, and a controller 30 that controls the main drone 10 and the secondary drone 20.
  • the controller 30 includes a display unit 35 that displays the bird's-eye view image captured by the camera 21, and has a function of displaying a circular marker 41 indicating the distance from the main drone 10 within the bird's-eye view image.
  • the pilot can easily predict the future position and situation of the main drone 10. Therefore, highly accurate work can be performed by the main drone 10. Even in situations such as flight beyond visual line of sight, the situation of the main drone 10 can be understood from the information of the overhead viewpoint image, so work can be performed safely and accurately.
  • the controller 30 may have a function to further display a triangular marker 42 indicating the direction of the main drone 10 within the overhead viewpoint image.
  • the direction of the main drone 10 is visualized by the triangular marker 42, so that the target direction of the drone can be easily grasped.
  • the direction of the camera 11 and the direction of travel of the drone are often different, so that it is difficult for the pilot to notice obstacles, etc. in the direction of travel of the main drone 10.
  • the pilot is alerted to the direction of travel of the main drone 10, so that the risk of the main drone 10 coming into contact with or colliding with obstacles, etc. is reduced.
  • the controller 30 may have a function to further display, within the overhead viewpoint image, a frustum marker 43 indicating the area captured by the camera 11.
  • a frustum marker 43 indicating the area captured by the camera 11.
  • the position calculation unit 31b of the controller 30 converts the pixel coordinates of the main drone 10 shown in the overhead view image into coordinates in real space, which eliminates the update delays and large errors that occur when GPS coordinates are used, and provides highly accurate coordinates, distances, etc.
  • the controller 30 further includes an optimization unit 31a that moves the secondary drone 20 to a three-dimensional target position where the secondary drone is to be placed, and controls the angle ⁇ f (t) and target relative angle ⁇ f (t) of the camera 21, under the conditions that the primary drone 10 is within the overhead viewpoint image, the area captured by the camera 11 is within the overhead viewpoint image, and the range in which the primary drone 10 travels at a specified time is within the overhead viewpoint image.
  • the optimization unit 31a moving the secondary drone 20 to a three-dimensional target position so as to satisfy the above conditions (a) to (c), the situation of the main drone 10 can be accurately grasped and various information can be constantly displayed within the overhead view image.
  • the optimization unit 31a determines the three-dimensional target position where the secondary drone 20 will be placed, the angle of the second imaging means, and the target relative angle using a primal-dual interior point method based on the three -dimensional positions of the primary drone 10 and the secondary drone 20, the angle ⁇ f (t) of the secondary drone's camera 21, and the target relative angle ⁇ f (t), and controls them using cascade PID.
  • the secondary drone 20 can be controlled more accurately.
  • the controller 30 calculates the x, y coordinates of the primary drone 10 on the plane of the secondary drone 20 relative to the secondary drone 20 using the angle ⁇ of the camera 21 of the secondary drone 20 relative to the perpendicular line AC, the vertical field of view ⁇ fvfov of the camera 21, and the altitude difference Alt between the primary drone 10 and the secondary drone 20.
  • the perpendicular line AC of the camera 21, the vertical field of view ⁇ fvfov of the camera 21, and the altitude difference Alt between the main drone 10 and the secondary drone 20 can be easily obtained from the values of the camera 21 and the sensor 22, respectively, so the coordinates x, y of the main drone 10 on the plane relative to the secondary drone 20 can be easily calculated simply by calculating the angle ⁇ of the camera 21 of the secondary drone 20 relative to the perpendicular line AC.
  • the main drone 10, the secondary drone 20 and the controller 30 are equipped with communication means 13, 23, 34.
  • the communicator 13 of the primary drone 10 transmits information on the area captured by the camera 11 (area image), the direction, altitude, and speed of the primary drone to the IF unit 34 of the controller 30.
  • the communicator 23 of the secondary drone 20 transmits the overhead viewpoint image, the inclination of the camera 21 of the secondary drone 20 (angle of the focal field of view direction), and the direction and altitude of the secondary drone 20 to the IF unit 34 of the controller 30.
  • the IF unit 34 of the controller 30 transmits signals to the communicators 13, 23 of the primary drone 10 and the secondary drone 20 to control the primary drone 10 to fit within the overhead viewpoint captured by the camera 21 of the secondary drone 20.
  • the position calculation unit 31b of the controller 30 can calculate the horizontal distances x, y between the main drone 10 and the secondary drone 20
  • the marker generation unit 31c can display a marker on the overhead viewpoint image
  • the optimization unit 31a can calculate the optimal position of the secondary drone 20.
  • the controller 30 transmits the above-mentioned control signals to the main drone 10 and the secondary drone 20, causing the secondary drone 20 to move to an optimal position, thereby enabling an appropriate overhead view image to be captured according to the speed of the main drone 10.
  • the placement position is determined using an optimization function, so such problems can be dealt with by introducing terms corresponding to the primary drone 10 slipping under something or the secondary drone 20 avoiding an obstacle into the constraints and objective function of the optimization function.
  • FIG. 8 is a diagram showing the positional relationship between the drone and an obstacle, in which (a) is a diagram showing the drone from a side direction, and (b) is a diagram showing a third-person viewpoint from a secondary drone.
  • the following equation 10 is added to the constraints in the optimization method described above.
  • ⁇ obj (t) is the angle that the direction in which an obstacle exists relative to the secondary drone makes with respect to the vertical direction of the secondary drone at time t
  • v z (t) is the velocity of the secondary drone in the ZZ axis direction at time t.
  • the meaning of formula 10 is that the secondary drone should not be placed in a position where the primary drone cannot physically see it. This constraint allows the secondary drone to change the tilt and distance of the camera of the secondary drone within the range where the primary drone can physically see it.
  • Equation 1 can be rewritten as Equations 11 and 12 below.
  • P obj (t) indicates the three-dimensional position coordinate of the obstacle with the main drone 10 as the origin
  • Z obj (t) indicates the distance from the main drone 10 to the obstacle in the z direction.
  • formula 11 indicates the three-dimensional position coordinate of the obstacle with the main drone 10 as the origin
  • Z obj (t) indicates the distance from the main drone 10 to the obstacle in the z direction.
  • formula 11 indicates the three-dimensional position coordinate of the obstacle with the main drone 10 as the origin
  • Z obj (t) indicates the distance from the main drone 10 to the obstacle in the z direction.
  • formula 11 indicates the three-dimensional position coordinate of the obstacle with the main drone 10 as the origin
  • Z obj (t) indicates the distance from the main drone 10 to the obstacle in the z direction.
  • formula 11 indicates the three-dimensional position coordinate of the obstacle with the main drone 10 as the origin
  • Z obj (t) indicates the distance from
  • the optimization unit 31a may be controlled using an existing program for automatic obstacle avoidance so that the primary drone 10 and secondary drone 20 can avoid obstacles.
  • the controller 30 can control the secondary drone 20 so that no obstacles are placed between the primary drone 10 and the secondary drone 20.
  • markers described above are merely examples, and are not limited to those described above.
  • a marker indicating a specific object required for spatial recognition may be added.
  • the secondary drone 20 may also be used as a relay station. This can extend the range of the radio waves of the primary drone 10.
  • two drones are used, but multiple drones may be used and images captured by the drones may be combined to generate and display a three-dimensional image. This can improve the pilot's awareness of the space around the main drone 10.
  • the main drone 10 and the secondary drone 20 can be alternately swapped. This allows the desired imaging to be performed according to the environment.
  • the cameras, sensors, and communication devices of each drone 10, 20 in the above embodiment can be made to have common specifications, and the controller can be made to have control functions for both the main and secondary drones. This allows the above effects to be achieved while standardizing parts.
  • a change in communication code is made when swapping drones, and the controller 30 is notified of the drone swap. In this way, there is no need to change the configuration and functions of the controller.
  • the display device 35 is shaped like a monitor, but it is not limited to this and may be, for example, AR glasses.

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

ドローンシステム１００は、第一の撮像手段１１を備えた主ドローン1０と、主ドローン１０を俯瞰的視点で撮像する第二の撮像手段２１を備えた副ドローン２０と、主ドローン１０と副ドローン２０とを制御するコントローラ３０とを備える。コントローラ３０は、第二の撮像手段２１で撮像された俯瞰的視点画像を表示する表示部３５を備え、俯瞰的視点画像内に、主ドローン１０からの距離を示す第一のマーカを表示する機能を有する。

Description

ドローンシステム、ドローン制御プログラム及びドローン制御方法
　本明細書に記載する技術は、ドローンシステム、ドローン制御プログラム及びドローン制御方法に関する。
　近年、ドローンは様々な用途、例えば、空撮、点検、農薬散布、災害救助、荷物の運搬等に用いられ、ドローンビジネスの市場規模は拡大し続けている。操縦者の意図が重要な場面ではドローンの手動操縦が求められるが、その操縦の難易度は非常に高い。特に、操縦者の視界内に無いドローンを機体のカメラ映像だけを頼りに操縦する「目視外飛行」では、操縦者の周囲の状況理解（Situational Awareness：ＳＡ）が乏しくなる。操縦者のＳＡが乏しくなる要因は、ドローンの運動自由度に対して機体のカメラの視野角が狭い点、及び、操縦者がカメラ映像のみからドローンの高さや対象物との距離を把握するのが難しい点にある。つまり、機体のカメラ映像の情報だけでは、ドローンを遠隔地で安全に飛行させることは難しい。
　ＳＡは、レベル１として、機体周囲の状態を知覚できている状態、 レベル２として、機体周囲の状態を理解できている状態、レベル３として、機体周囲の状態を予測できている状態に分類される。レベルが上がるごとに周囲の状況理解ができ、効果的にドローンの行うタスクを向上できるが、現在のドローンはドローンに搭載された画像のみで判断する１人称視点で、カメラに映らない死角も多く、レベル１すら満たしていない場合が多い。
　ＳＡを向上させ、ドローン操縦を支援する技術が知られている。特許文献１には、複数のドローンから送信される画像をユーザの表示装置に複数表示し、複数のドローンの撮像画像の選択によっては、他のドローンを俯瞰的に画像表示する方法が開示されている。特許文献２には、周囲を広角に撮影する複数の第１カメラと、進行方向を撮影する第２カメラとを備えた移動装置を、仮想的な俯瞰視点から見た映像に変換して表示する俯瞰映像表示システムが開示されている。特許文献３には、ドローンに搭載した撮像装置により、あたかもドローンを含む俯瞰画像に見える画像を表示する画像表示方法が開示されている。
　特許文献１～３では、仮想的、或いは、選択によっては、俯瞰画像を得ることができるが、ドローンの状態を常時リアルタイムで把握することはできない。
　本願発明者らは、主ドローンの状況を、空間的に連動する副ドローンで俯瞰的に撮像し三人称視点を獲得することで、常時リアルタイムで、主ドローンの状況を把握でき、ドローンの操作性を高める技術を提案している（例えば、非特許文献１）。
特開２０１９－１９５１７６号公報 特開２０２０－１６１８９５号公報 米国特許公開第２０１９／３７３１８４号
天間遼太郎他、‘空間連動する2つのカメラ視点を用いたドローン操縦インタフェースの拡張’,情報処理学会論文誌ジャーナル(Web) ,Vol.61 No.8 Page.1319-1332
　しかしながら、上記本願発明者らの提案している、主ドローンと副ドローンとが空間的に連動するだけの技術では、操縦者はドローン周囲の死角を確認しやすくなるが、主ドローンの周囲空間、具体的には、主ドローンからの距離等を正確に把握できない等の課題があった。そのため、ＳＡのレベル２を満たしていない状況で、例えば、ドローンに、農薬散布や、デリバリー等の作業をおこなわせようとする場合、正確な位置に散布できなかったり、デリバリー対象物を届ける対象から離れた位置に落下させたり、届ける対象に衝突したりする等、大きな問題が生じていた。ドローンを遠隔地で安全に操縦するには、操縦者が、死角を確認できること、及び、ドローンの周囲空間を正確に認識できること、の両立が求められている。
　一つの側面では、本明細書に記載する技術は、操縦者が、ドローン周囲の死角を確認でき、且つ、ドローンの周囲空間を正確に認識できる視認性の高い画像表示を提供することを目的とする。
　一つ側面において、第一の撮像手段を備えた主ドローンと、前記主ドローンを俯瞰的視点で撮像する第二の撮像手段を備えた副ドローンと、前記主ドローンと前記副ドローンとを制御するコントローラとを備えたドローンシステムであって、前記コントローラは、前記第二の撮像手段で撮像された俯瞰的視点画像を表示する表示部を備えてよい。また、前記コントローラは、前記俯瞰的視点画像内に、前記主ドローンからの距離を示す第一のマーカを表示する機能を有してよい。
　一つの側面として、操縦者が、ドローン周囲の死角を確認でき、且つ、ドローンの周囲空間を正確に認識できる視認性の高い画像表示を提供することを目的とする。
実施形態としてのドローンシステムの構成例を模式的に示すブロック図である。 主ドローン及び副ドローンによって略同時刻に撮像された画像の一例である。 主ドローン及び副ドローンの位置を実座標、ピクセル座標及び三人称視点内座標を用いて説明するための図である。 主ドローンと副ドローンとの間の距離を説明するための図である。 図２の俯瞰的視点画像（ＴＰＶ）にマーカを表示した図である。 表示装置にエリア画像及び俯瞰的視点画像が表示された状態の一例を示す図である。 コントローラが実行する制御例を示すフローチャートである。 主ドローンと副ドローンとの間に障害物があった場合の位置関係を示す図である。
　以下、図面を参照して実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。
　また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の構成要素を含むことができる。以下、図中において、同一の符号を付した部分は特に断らない限り、同一若しくは同様の部分を示す。
［１．全体構成］
　図１は、実施形態としてのドローンシステム１００の構成例を模式的に示すブロック図である。ドローンシステム１００は、主ドローン１０、副ドローン２０及びコントローラ３０を備える。図１に示すように、二機のドローン１０，２０及びコントローラ３０はインターネットやＷｉ－Ｆｉダイレクト等のネットワークを介して互いに無線通信可能に接続されている。
　主ドローン１０はユーザの操縦する対象の機体で、撮像及び各種作業等行う機体である。副ドローン２０は自動的及び自律的に飛行し、主ドローン１０よりも高い位置で一定距離離れて主ドローン１０を追従するように設定されている。
　主ドローン１０及び副ドローン２０は、障害物等を検知して自動的に回避する機器等を搭載してもよい。ここで、障害物とは、自然物及び人工物を問わず、ドローン飛行の妨げとなるあらゆるものが含まれる。
［１－１．主ドローンの構成］
　主ドローン１０は、カメラ１１、センサ１２、通信器１３及び制御器１４を備える。
　カメラ１１は、主ドローン１０の周囲環境（エリア）を撮像する。主ドローン１０が撮像した周囲環境の画像はエリア画像と称してもよい。カメラ１１の向き及び傾き（焦点視野方向の角度）は任意である。本実施形態では、カメラ１１の向きは主ドローン１０の進行方向と略一致し、カメラ１１の傾きは機体の前方領域を撮像するのに適した傾きに自動又は手動で設定されている。カメラ１１は第一の撮像手段の一例である。
　センサ１２は、主ドローン１０の三次元位置（緯度、経度、高度、向き）及び速度等を計測する。
　通信器１３は、カメラ１１が撮像したエリア画像（エリアの情報）、センサ１２が計測した主ドローン１０の向き（エリア画像（一人称画像，ＦＰＶ：First Person View）撮影方向）、高度及び速度をコントローラ３０に送信する。なお、通信器１３は、カメラ１１の向き及び傾きをコントローラ３０に送信してよい。また、通信器１３は、副ドローン２０に信号を送信してよい。通信器１３は主ドローン１０の通信手段の一例である。
　カメラ１１、センサ１２及び通信器１３は駆動機構を備える可動型であってもよく、自在に角度を変更することができる。
　制御器１４は、カメラ１１、センサ１２及び通信器１３を制御し、通信器１３がコントローラ３０から受信した信号に応じて、主ドローン１０の飛行機構（不図示）及び各構成要素１１，１２，１３の駆動機構（不図示）を制御する。
［１－２．副ドローンの構成］
　副ドローン２０は、カメラ２１、センサ２２、通信器２３及び制御器２４を備える。
　カメラ２１は、主ドローン１０を俯瞰的視点で撮像する。カメラ２１の向き及び傾きは任意である。本実施形態では、カメラ２１の向きは副ドローン２０の進行方向と略一致し、カメラ２１の傾きは主ドローン１０を含む周囲環境を撮像するのに適した傾きに自動又は手動で設定されている。カメラ２１は第二の撮像手段の一例である。
　センサ２２は、副ドローン２０の三次元位置（緯度、経度、高度、向き）及び速度等を計測する。
　通信器２３は、カメラ２１が主ドローン１０を俯瞰的視点で撮像した画像（俯瞰的視点画像）及びカメラ２１の傾き、並びに、センサ２２が計測した副ドローン２０の向き及び高度をコントローラ３０に送信する。なお、通信器１３は、カメラ２１の向き及び機体の速度をコントローラ３０に送信してよい。また、通信器２３は、主ドローン１０に信号を送信してもよい。通信器２３は副ドローン２０の通信手段の一例である。
　カメラ２１、センサ２２及び通信器２３は駆動機構を備える可動型であってもよく、自在に角度を変更することができる。
　制御器２４は、カメラ２１、センサ２２及び通信器２３を制御し、通信器２３がコントローラ３０から受信した信号等に応じて、副ドローン２０の飛行機構（不図示）及び各構成要素２１，２２，２３の駆動機構（不図示）を制御する。
［１－３．コントローラの構成］
　コントローラ３０は、ＣＰＵ３１、メモリ３２、記憶装置３３、ＩＦ部３４及び表示装置３５を備える。コントローラ３０は一体の装置で実現されてよく、汎用のコンピュータ、表示装置及び操作端末といった別体の装置の組み合わせで実現されてもよい。
　ＣＰＵ３１は、種々の制御や演算を行なう処理装置であり、メモリ３２に格納されたOperating System（ＯＳ）やプログラム（ドローン制御プログラム）を実行することにより、種々の機能を実現する。すなわち、ＣＰＵ３１は、図１に示すように、最適化部３１ａ、位置算出部３１ｂ、マーカ生成部３１ｃとして機能してよい。
　ＣＰＵ３１は、コンピュータの一例であり、例示的に、ドローンシステム１００全体の動作を制御する。ドローンシステム１００全体の動作を制御するための装置は、ＣＰＵ３１に限定されず、例えば、ＭＰＵやＤＳＰ，ＡＳＩＣ，ＰＬＤ，ＦＰＧＡ，専用プロセッサのいずれか１つであってもよい。また、ドローンシステム１００全体の動作を制御するための装置は、ＣＰＵ，ＭＰＵ，ＤＳＰ，ＡＳＩＣ，ＰＬＤ，ＦＰＧＡ及び専用プロセッサのうちの２種類以上の組み合わせであってもよい。なお、ＭＰＵはMicro Processing Unitの略称であり、ＤＳＰはDigital Signal Processorの略称であり、ＡＳＩＣはApplication Specific Integrated Circuitの略称である。また、ＰＬＤはProgrammable Logic Deviceの略称であり、ＦＰＧＡはField Programmable Gate Arrayの略称である。
　メモリ３２は、種々のデータやプログラム等の情報を格納する装置である。例えば、Dynamic Random Access Memory（ＤＲＡＭ）等の揮発性メモリ、及び、Persistent Memory（ＰＭ）等の不揮発性メモリ、の一方又は双方が挙げられる。
　記憶装置３３は、データを読み書き可能に記憶する装置であり、例えば、Hard Disk Drive（ＨＤＤ）やSolid State Drive（ＳＳＤ），Storage Class Memory（ＳＣＭ）が用いられてよい。記憶装置３３は、主ドローン１０及び副ドローン２０から受信した種々の情報やＣＰＵ３１が演算した値等を記憶する。
　記憶装置３３は、ドローンシステム１００の各種機能の全部又は一部を実現するプログラム３６（ドローン制御プログラム）を格納してよい。例えば、コントローラ３０のＣＰＵ３１は、記憶装置３３に格納されたプログラム３６をメモリ３２に展開して実行することにより、コントローラ３０としての種々の機能を実現できる。
　ＩＦ部３４は、コントローラ３０と、主ドローン１０、副ドローン２０及び図示しないネットワークのそれぞれとの間の接続及び通信の制御等を行なう通信ＩＦの一例である。すなわち、ＩＦ部３４は、コントローラ３０の通信手段として機能してよい。例えば、ＩＦ部３４は、イーサネット（登録商標）等のLocal Area Network（ＬＡＮ）、又は、Fibre Channel（ＦＣ）等の光通信等に準拠したアダプタを含んでよい。当該アダプタは、無線及び有線の一方又は双方の通信方式に対応してよい。
　例えば、コントローラ３０は、ＩＦ部３４及びネットワークを介して、外部の装置やクラウドサーバ（不図示）と相互に通信可能に接続されてよい。なお、プログラム３６を含むドローンシステム１００の制御に使用するプログラムは、当該通信ＩＦを介して、ネットワークからコントローラ３０にダウンロードされ、記憶装置３３に格納されてもよい。
　表示装置３５は、コントローラ３０から出力された画像又は映像をユーザに提示する。すなわち、表示装置３５は表示部として機能してよい。表示装置３５は、タッチパネルであってもよく、ユーザからの入力を受け付けてもよい。なお、ユーザからの入力は、不図示の種々の入力デバイスにより受け付けられてもよい。表示装置３５は、少なくとも、主ドローン１０から受信したエリア画像と、副ドローン２０から受信した俯瞰的視点画像とを二画面で表示するとともに、表示される俯瞰的視点画像内に、更に主ドローン１０の周囲空間に関する情報を示すマーカを表示することができる。
［２．撮像画像］
　図２は、主ドローン１０及び副ドローン２０によって略同時刻に撮像された画像の一例である。図２中の二つの枠はそれぞれ主ドローン１０及び副ドローン２０の撮像範囲である。
　主ドローン１０の撮像範囲の右側の画像は、主ドローン１０が撮像したエリア画像（ＦＰＶ）である。ＦＰＶはFirst Person View（一人称画像）の略であり、主ドローン視点の画像であることを意味する。ここでは、主ドローン１０のカメラ１１は、主ドローン１０の進行方向の前方領域の一定範囲を撮像している。
　副ドローン２０の撮像範囲の右側の画像は、副ドローン２０が撮像した俯瞰的視点画像（ＴＰＶ）である。ＴＰＶはThird Person View（三人称画像）の略であり、主ドローン１０を俯瞰した視点の画像であることを意味する。俯瞰的視点画像内には、略中央に主ドローン１０が含まれるとともに、主ドローン１０の周囲環境が含まれている。
　このように、俯瞰的視点画像によって主ドローン１０の周囲が可視化されるため、操縦者は死角をリアルタイムに確認することができる。しかしながら、これら二種類の画像のみでは、主ドローン１０の周囲空間を認識するには十分ではない。
　主ドローン１０の周囲空間を正確に認識するための視認性の高い画像表示を提供するには、副ドローン２０が、主ドローン１０の速度に応じて、常に、機体周囲空間を理解及び予測が可能になる情報を得られることが望ましい。このためには、副ドローン２０の位置を最適化する必要がある。特に、操縦者は表示装置３５の二画面を見ながら主ドローン１０を操縦するため、主ドローン１０と副ドローン２０との距離の差が大きくなると、表示装置３５に表示される二画像が非連続なものに感じられる。そうすると、操縦者の負担が増加し、操縦の質が低下する恐れがある。これを防止するには、副ドローン２０の移動距離を最小限にする必要がある。
　また、主ドローン１０と副ドローン２０との位置関係が適切でないと、主ドローン１０の周囲空間を正確に認識するのが非常に難しくなる。主ドローン１０と副ドローン２０との位置関係が所定の範囲に定まることで、主ドローン１０からの距離や、主ドローン１０の撮像エリア又は進行方向を随時、表示装置３５の画面内に表示することができる。
　また、得られた俯瞰的視点画像と、エリア画像との関係（主ドローン１０が、俯瞰的視点画像内のどの領域をエリア画像として撮像しているのか）が明確であることで、俯瞰的視点画像と、エリア画像との関係がより明確になる。
　これらの制御は、コントローラ３０の機能によって実現される。
［３．コントローラの機能構成］
　図１に示すように、コントローラ３０のＣＰＵ３１は、本実施形態のドローン制御方法を実現するために、機能構成として、最適化部３１ａ、位置算出部３１ｂ、マーカ生成部３１ｃ及び表示部３５を備える。最適化部３１ａは、主ドローン１０に対する副ドローン２０の配置を最適化する。位置算出部３１ｂは、最適化された位置における、主ドローン１０及び副ドローン２０の相対位置を取得する。また、マーカ生成部３１ｃは、主ドローン１０及び副ドローン２０の位置関係に基づいて、主ドローン１０の周囲空間を理解及び予測が可能になる情報を可視化する。以下、各機能について説明する。
［３－１．位置制御部による最適位置の算出］
　最適化部３１ａは、主ドローン１０に対する副ドローン２０の配置を最適化、具体的には、副ドローン２０の位置、カメラ２１の角度及び副ドローン２０の目標相対角度を制御する。最適化部３１ａは、制御部の一例である。最適化部３１ａは主に自動制御を基本とし、状況に応じて、手動に切り替え可能にしてもよい。
　主ドローン１０の速度に応じて副ドローン２０が、適切な範囲の俯瞰的視点画像を撮像するための条件として、下記（ア）～（ウ）を満たすことが重要である。
＜最適位置条件＞
（ア）副ドローン２０の俯瞰的視点内に主ドローン１０が収まる
（イ）主ドローン１０のカメラ１１が撮像するエリアが副ドローン２０の俯瞰的視点内に収まる
（ウ）主ドローン１０が所定時間に進行する範囲が収まる
　以下、条件（ア）～（ウ）を満たす位置に副ドローン２０が配置されるための手法を説明する。
＜最適化手法＞
　副ドローン２０の配置位置の決定を、最適化手法を用いて設計する。
　最適化位置は、
　手順１：最適化する変数を定義する
　手順２：コスト関数を定義する
　手順３：変数の制約を設定する
　手順４：主双対内点法により目標座標を出力する
ことで算出される。手順１及び２を行なった目的関数を式１に示す。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｐ（ｔ）：時刻ｔにおける副ドローンの３Ｄ目標相対座標ベクトル、Ｐｉｎｉｔ:副ドローンの初期（移動前）３Ｄ目標相対座標ベクトル、θｆ（ｔ）：時刻ｔにおける副ドローンの目標カメラ角度、θｆｉｎｉｔ:副ドローンの初期（移動前）目標カメラ角度、φｆ（ｔ）： 時刻ｔにおける副ドローンの目標相対角度、及び、ｗ１～４：重み係数である。別言すると、φｆ（ｔ）は副ドローン２０の主ドローン１０に対する目標角度である。
　式１の四角で囲った（１）を第一項と称し、（２）を第二項と称し、（３）を第三項と称する。第一項は、副ドローン２０の動きを最小化する（操縦者の視点移動を最小化する）目的で導入しており、第二項は、主ドローン１０と副ドローン２０との向きをなるべく一致させる目的で導入しており、第三項は、移動終了時に操縦者が指定した位置関係に戻る為、別言すると、初期位置からなるべく離れないように制御する為に導入している。
　更に、式１の目的関数の制約条件を設定する（手順３）。制約条件は、以下のi～ｖiiに示される条件である。i～ｖiiの制約条件は、視点と操縦対象との角度差の抑制、副ドローン２０のカメラジンバルの可動域、各進行方向先への視野の提示範囲、主ドローン１０の撮影範囲を示す枠の表示範囲等を設定したものである。
Figure JPOXMLDOC01-appb-M000002
　ここで、前述の通り、φｆ（ｔ）は、時刻ｔにおける副ドローン２０の目標相対角度（副ドローン２０の主ドローン１０に対する目標角度）であり、θｆ（ｔ）は、時刻ｔにおける副ドローン２０の目標カメラ角度である。更に、ｘｆ（ｔ）、ｙｆ（ｔ）、ｚｆ（ｔ）は、時刻ｔにおける副ドローン２０の各軸の目標相対座標ベクトル、θｆｖｆｏｖは、副ドローン２０のカメラ２１の垂直視野角、θｆｈｆｏｖは、副ドローン２０のカメラ２１の水平視野角である。また、ｖｘ（ｔ）、ｖｚ（ｔ）は、時刻ｔにおける主ドローン１０の各軸の速度、ｙ（ｔ）は時刻ｔにおける主ドローン１０の地表からの高度、θｍｖｆｏｖは主ドローン１０のカメラの垂直視野角を示す。
　図３には、主ドローン１０及び副ドローン２０の位置を説明するための三次元の実座標が示されている。上記ｘｆ（ｔ）、ｙｆ（ｔ）、ｚｆ（ｔ）、φｆ（ｔ）及びθｆ（ｔ）は、それぞれ実座標のパラメータ（値）である。また、図３の実座標中の各ドローンからの延びる一点鎖線は、各ドローンの進行方向を示す。
　最後に、種々の制約のもと、式１の目的関数を用いて最適化問題を解く。当該最適化問題を解くための最適なアルゴリズムは、例えば主双対内点法である。最適化部３１ａは、主ドローン１０及び副ドローン２０の現在の三次元位置、副ドローン２０のカメラ２１の角度θｆ（ｔ）、目標相対角度φｆ（ｔ）等を用いた主双対内点法を用いることで、副ドローン２０の最適な配置位置（三次元目標位置）、カメラ２１の角度及び副ドローン２０の目標相対角度を算出する。
　最適化部３１ａは、カスケードＰＩＤで制御量を算出し、制御量に基づいて副ドローン２０の位置、カメラ２１の角度及び副ドローン２０の目標相対角度を調整する。最適化部３１ａは、副ドローン２０を決定した三次元目標位置に移動させる制御を行なう。更に、当該位置で、カメラ２１の角度及び副ドローン２０の目標相対角度を更新する処理を行う。別言すれば、最適化部３１ａは、ＩＦ部３４を介して、副ドローン２０の通信器２３に、副ドローン２０のカメラ２１が撮像する俯瞰的視点内に、主ドローン１０が収まるように制御する信号を送信する。
　最適化部３１ａは、主ドローン１０の移動方向に応じて、副ドローン２０の向きを制御してもよい。最適化部３１ａは、例えば、主ドローン１０が右方向に移動を開始した場合には、主ドローン１０の右方向の周囲環境が左方向の周囲環境よりも広く撮像される角度に、副ドローン２０の向き（あるいはカメラ２１の向き）を回転させる。これにより、主ドローン１０の進行方向先を広範囲で撮像できる。
　以上のように、最適化部３１ａの制御で、操縦者は主ドローン１０を制御するだけで、副ドローン２０が、主ドローン１０が所定の範囲内に収まるように、主ドローン１０に追従し、俯瞰的視点画像を表示装置３５の画面内に提供する。そのため、操縦者は、主ドローン１０の操作及び作業に集中しながら、自動制御により得られた副ドローン２０の俯瞰的視野画像も参照することができ、複雑な操作を必要とせず、操作性を大きく向上させることができる。
　なお、最適化部３１ａは、状況等により副ドローン２０の自動での主ドローンに対する追従制御を手動に切り替えてもよい。ここで、追従制御とは、副ドローンが、主ドローン１０が所定の範囲内に収まる位置であって主ドローン１０を俯瞰することができる位置を飛行するように制御することである。なおこの時、副ドローン２０を手動で操縦する際に、上記の最適化部３１ａによる制御を主ドローン１０に適用し、主ドローン１０が、副ドローン２０に自動で先導するようにして、副ドローン２０の俯瞰的視野に収まるようにしてもよい。
　また、両方を手動制御できるように、主ドローン１０と副ドローン２０の自動追従を解除できる機能を設けてもよい。
　最適化部３１ａは、上述の手法で、所定の範囲内に副ドローン２０と主ドローン１０とを配置する。
　更に後述の座標位置を算出後、最適化部３１ａは副ドローン２０の最適な位置を算出し、副ドローン２０をその位置に配置することで、正確な相対位置関係で主ドローン１０と副ドローン２０を配置することができる。
更に、最適化部３１ａは、最適化された位置における、副ドローン２０のカメラ２１の最適な角度や最適な相対角度を算出し、それぞれ制御することで、最適な位置及び角度で主ドローン１０を撮像することができる。
［３－２．位置算出部による相対位置の算出］
　最適化部３１ａにより、主ドローン１０と副ドローン２０の位置関係、カメラ２１の角度及び副ドローン２０の相対角度が適切な範囲内に収まったところで、主ドローン１０の機体周囲空間を理解できるようにする。
　機体周囲空間の理解及び予測が可能になる情報を取得するためには、まず、主ドローン１０及び副ドローン２０の位置関係を取得する必要がある。位置算出部３１ｂは、主ドローン１０及び副ドローン２０の相対位置を算出する。
　主ドローン１０及び副ドローン２０の相対位置を求める手法としてＧＰＳを用いる手法もあるが、ＧＰＳで得られる座標は、更新頻度が長く、その誤差も１～２ｍ以上と大きく、ドローンの制御には向かない。そのため、本発明では、画像処理により相対位置を算出する手法を採用している。
　まず、位置算出部３１ｂは、俯瞰的視点画像内から主ドローン１０を検出する。検出手法は、周知の画像処理技術、例えばOpenCVを用いて色で主ドローン１０を識別してよい。更に、位置算出部３１ｂは、俯瞰的視点画像を補正する。画像の補正は、周知の手法、例えばZhangの画像認識手法を用いて予め取得したカメラ行列及び歪み行列を用いて補正してよい。
　図３には、主ドローン１０及び副ドローン２０の位置を説明するためのピクセル座標及び三人称視点座標が示されている。位置算出部３１ｂは、補正した画像に基づいて、副ドローン２０のカメラ２１に映る主ドローン１０の位置（実空間（実世界）の座標ｘｆ（ｔ），ｚｆ（ｔ））を、主ドローンの水平面におけるピクセル座標ｘｐｉｘｅｌ，ｙｐｉｘｅｌで算出する。次に、位置算出部３１ｂは、画像に映る主ドローンのピクセル座標ｘｐｉｘｅｌ，ｙｐｉｘｅｌを用いた距離から主ドローン１０の画像中心Ｍを原点とする三人称視点内座標ｘｍ（ｔ）, ｙｍ（ｔ）を算出する。更に三人称視点内座標から実空間（実世界）の座標ｘｆ（ｔ），ｚｆ（ｔ）を用いた距離に変換して算出する。図３に示すように、主ドローンの位置の座標は、実座標、三人称視点内座標及びピクセル座標で表すことができる。
＜三人称視点内座標の距離ｘｍ，ｙｍの導出＞
　座標ｘｍ，ｙｍを導出するにあたり、主ドローン１０及び副ドローン２０が存在する空間平面を座標系で表す。図４は、主ドローン１０と副ドローン２０との間の距離を説明するための図である。主ドローン１０の存在する水平面と、副ドローン２０のカメラ２１の垂直視野角θｆｖｆｏｖを形成する線分とが交わる交点をＳ、Ｒとし、カメラ２１の位置（例えば、レンズ位置）をＡとして、線分ＡＳ及び線分ＡＲを決定する。線分ＡＳと線分ＡＲとを比較した際に長い方の線分ＡＳ上に、短い方の線分ＡＲと、点Ａからの距離が同じになるように点Ｅをとる。このとき、二等辺三角形ＡＥＲが形成されるが、カメラ２１の位置Ａからの二等辺三角形ＡＥＲへの垂線を考え、二等辺三角形ＡＥＲに対するＡからの垂線の交点をＭ、更にＡＭの延長線と主ドローン１０の存在する水平面との交点をＣとする。ここで、交点Ｍを、原点（中心）として、それぞれの位置の座標系を検討する。垂線ＡＣは、カメラ２１の視点方向（垂直視野角θｆｖｆｏｖの中心方向）を示す。
　ピクセル座標ｘｐｉｘｅｌ，ｙｐｉｘｅｌから三人称視点内座標ｘｍ（ｔ）,ｙｍ（ｔ）への変換は以下の式で表される．
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
 　ここで，ｘｍａｘ，ｙｍａｘはそれぞれピクセル座標の最大値である。
　式２及び式３における変数ｈ、ａは下記の式で表される。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　ここで、ｈ＝ＡＭであり、ａ＝ＲＭである。ｙｆ（ｔ）は相対高度、θｆｖｆｏｖはカメラ２１の垂直視野角である。
　これらのうち、ｙｆ（ｔ）は、主ドローン１０のセンサ１２と、副ドローン２０のセンサ２２とのそれぞれの高度情報から得られ、θｆｖｆｏｖはカメラ２１の既知の情報であり、ｈ及びａもそれら情報から簡単に算出できるものである。
＜実座標上の距離ｘｆ（ｔ），ｚｆ（ｔ）の導出＞
　主ドローン１０及び副ドローン２０の実際の相対位置を把握するためには、三人称視点内座標を実座標に変換する必要がある。位置算出部３１ｂは、下記式を用いて、三人称視点内座標ｘｍ，ｙｍから求まる距離を、実座標（実空間，実世界）ｘｆ（ｔ），ｚｆ（ｔ）から求まる距離に変換する。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
 　ｈ、ａは式４，５で定義されている通りである。
　式６，７における、φは以下の式で表せられる。
Figure JPOXMLDOC01-appb-M000009
 　ここで、φ＝∠ＡＣＲである。φは垂線ＡＣに対する角度、別言すると、φは、カメラ２１の視点方向と、主ドローン１０の存在する水平面とがなす角度である。φ＝∠ＡＣＲは副ドローン２０から送信されるカメラ２１の傾き（角度）から求まる。
　別言すれば、実座標（実空間，実世界）ｘｆ（ｔ），ｚｆ（ｔ）から求まる距離は、主ドローン１０と副ドローン２０との水平方向の距離であり、実座標ｘｆ（ｔ），ｚｆ（ｔ）から求まる距離は、ピクセル座標、副ドローン２０のカメラ２１の垂線ＡＣに対する角度φ、カメラ２１の垂直視野角θｆｖｆｏｖ及び主ドローン１０と前記副ドローン２０との高度差ｙｆ（ｔ）を用いて算出される。
　式２～式８の導出にあたり、主ドローン１０のピクセル座標は画像認識処理で得られ、ドローン同士の相対高度ｙｆ（ｔ）はセンサ１２，２２で得られる。また、カメラ２１の傾き（目標カメラ角度θｆ（ｔ））及びカメラ２１の垂直視野角θｆｖｆｏｖは既知である。このように、ピクセル座標ｘｐｉｘｅｌ，ｙｐｉｘｅｌから求まる距離及び実座標（実空間，実世界）ｘｆ（ｔ），ｚｆ（ｔ）から求まる距離（相対距離）は、少ない変数で複雑な計算をすることなく簡単に算出できる。
　主ドローン１０及び副ドローン２０の座標が決定すると、最適化部３１ａは、主ドローン１０及び副ドローン２０が最適な相対位置関係になるように位置の調整を行う。更に、最適な相対位置関係にした後、最適化部は、カメラ２１の角度θｆ（ｔ）や目標相対角度φｆ（ｔ）を最適な角度になるように調整する。
［３－３．マーカ生成部］
　位置算出部３１ｂにより算出される距離ｘｆ（ｔ），ｚｆ（ｔ）に基づいて、機体周囲空間の理解及び予測が可能になる情報を可視化する。マーカ生成部３１ｃは、俯瞰的視点画像に表示するためのマーカを生成する。
　図５は、図２の俯瞰的視点画像（ＴＰＶ）にマーカを表示した図である。図５には、俯瞰的視点画像（ＴＰＶ）に、主ドローン１０の向きを示す三角マーカ４２と、高さを示す縦線マーカ４４と、主ドローン１０の撮影領域を示す錘台マーカ４３と、主ドローン１０からの距離を示す円マーカ４１（例：半径５ｍ及び半径８ｍ）が重畳表示されている。このような視認性の高い画像により、操縦者は、迅速に機体周囲空間を理解し、予測することができる。
　本実施形態では、操縦者がドローン周囲の空間情報を拡張現実（Augmented Reality：ＡＲ）を用いて俯瞰的視点画像にマーカを重畳表示する。ＡＲでの重畳表示は、例えば、キャストシャドウ方式を用いてよい。
　画像撮像時の機体の状況を理解するためには、主ドローン１０の向き及び主ドローン１０の高度に関する情報が必要である。
　主ドローン１０の向き（進行方向）については、一例として、三角マーカ（第二のマーカ）４２を用いて表示する。三角形を用いる手法は、矢印を用いる手法に比べて認知負荷が低い。三角は二等辺三角形が望ましく、二等辺三角形の頂角が指す方向は、主ドローン１０の進行方向である。
　また、主ドローン１０がホバリング状態でなく、移動している場合、主ドローン１０の速度に応じて、三角マーカ４２の大きさを変更する等してもよい。
　なお、三角マーカ４２に限らず、進行方向を直観的に理解できるマーカであれば、どのようなマーカであってもよい。
　主ドローン１０の高度は、縦線マーカ（第四のマーカ）４４で表示する。縦線は、基準面と主ドローン１０の所定の部位（例えば主ドローン１０の重心）とを結ぶ直線であり、基準面と当該縦線とは垂直である。つまり、直線の上端部は主ドローン１０の位置を表す。基準面は、例えば、地表であり、また、高度に限らず、主ドローン１０に最も近い鉛直下の構造物等の距離（高さ）であってもよい。それら構造物等の距離はセンサ１２等によって得られるものである。
　また、縦線マーカ４４は、所定の目盛りが表示されるものであってもよいし、ある閾値よりも距離が短くなった場合は、赤いマーカになる等、色が変わってもよい。また、ＴＰＶ内に、高度に関する数値情報を表示してもよい。なお、縦線マーカ４４は縦線に限らず、高度に関する情報であることを直観的に理解できるものであれば、どのようなものであってもよい。
　主ドローン１０の撮影範囲は、この例では、四角錘台のマーカ（第三のマーカ）４３を用いて表示する。四角錘台の底面は主ドローン１０の撮影範囲を表し、頂点は主ドローン１０の位置を表す。つまり、四角錘台の底辺は、図５を用いて後述される、主ドローン１０の撮影するエリア画像（ＦＰＶ）の四角の枠である。
　また、四角錘台のマーカ４３は、カメラ１１からの撮影領域であり、カメラ１１と、四角錘台のマーカ４３の四隅とを結ぶ線で、カメラ１１が撮影している空間を表現してもよい。
　なお、カメラ１１から四角錘台のマーカ４３の四隅を結ぶラインは表示しなくてもよい。
　主ドローン１０の情報で、非常に重要なものは、主ドローン１０からの距離である。
　操縦者は、俯瞰的画像そのものから実際の主ドローン１０と副ドローン２０との位置関係及び角度を把握することは難しいため、俯瞰的視野画像において、主ドローン１０が俯瞰的視野画像内に映るものに対してどの程度離れているのかを誤認しやすい。本実施形態によれば、操縦者は、実座標で主ドローンの位置を把握できるため、画像内に映る対象や場所が、主ドローン１０からどの程度距離があるのか正確に把握することができる。
　主ドローン１０からの距離は、主ドローン１０を中心とする円マーカ（第一のマーカ）４１で表示される。
　円マーカ４１は主ドローン１０からの操縦者の選択する任意距離で表示できる。
　また、例えば、３ｍと５ｍ等、複数の距離を複数の円マーカ４１を用いて表示することができる。
　なお、主ドローン１０からの距離を示すマーカ４１は、円マーカに限らず、主ドローン１０からの距離は直感的に把握できるものであれば、どのようなものを用いてもよい。
　従来の手法では、主ドローン１０からの周辺の対象物までの正確な位置（距離）を把握するのが難しく、例えば、農薬散布等では、狙った場所に散布できない、また、物品のデリバリー等では、対象者に最適な位置で物品を渡せない等の問題があったが、本願発明では、主ドローン１０と副ドローン２０の位置関係が所定の範囲内に収まり、且つ、主ドローン１０及び副ドローン２０のそれぞれの位置が座標系で設定されているため、正確な、主ドローン１０からの距離を示すマーカ４１を表示することができる。
　更に、現在の主ドローン１０の周囲空間の距離の理解に加え、主ドローン１０の所定時間後の位置を予測できることが望ましい。主ドローン１０の位置を予測するには、主ドローン１０と周囲環境内の物体との間の距離だけでなく、主ドローン１０の到達予定位置の情報が必要である。
　コントローラ３０は、主ドローン１０及び副ドローン２０から画像をリアルタイムで受信する。ただし、ヒトは選択反応時間という判断を下すための時間を必要とするため、ドローン１０の到達予定位置は、操縦者の選択反応時間を考慮した範囲である必要がある。
　主ドローン１０の到達予定位置は、認知負荷の観点、及び、ドローンが全方向に移動可能であるため、距離を表すマーカ４１と同様、主ドローン１０を中心とする円マーカ（第一のマーカ）で表示する。本実施形態では、以下の式で示される進行方向先Ｌを円の半径とする。
Figure JPOXMLDOC01-appb-M000010
　ｖ（ｔ）は、時刻ｔにおける主ドローン１０の速度であり、1.5[s]は選択反応時間として文献（Hick, W. E.[Quarterly Journal of Experimental Psychology 1952]）に提唱されている値である。
　主ドローン１０の到達予定位置は、時刻ｔを複数設定することで、複数の円で表示されてよい。また、主ドローン１０が、水平方向だけでなく、鉛直方向成分をもって移動する場合は、それに応じた、球面状のマーカにしてもよいし、或いは、時刻ｔでの予想位置を、ドローンのマーカ等で、ＴＰＶ内に表示してもよいし、移動軌線等を示してもよい。
　ＴＰＶ内の各種マーカ４１～４４は、ＴＰＶ内に、表示させる／表示させない、を選択させる機能により、あえて、必要なもの以外を表示しないようにしてもよい。
　複数のマーカがあると、逆に操縦者が見づらくしてしまう場合があり、その場合は、操縦者に、表示したいマーカのみを選択させ、操作をストレスなく進められるようにしてもよい。
　或いは、距離を示す円マーカ４１や、高さを示す縦線マーカ４４は、主ドローン１０とその周辺への安全性から、所定の閾値以下になった場合、自動的に表示されるようにする等してもよい。
　なお、空間情報をＡＲで表示するには、実空間座標をピクセル座標に変換する必要がある。位置算出部３１ｂは、式６～式８の逆関数を用いてピクセル座標の値を算出する。キャストシャドウ方式で描画する情報は、式４及び式５のｙｆ（ｔ）に副ドローン２０の高度を代入すればよい。また、同心円を描く場合は、主ドローン１０から等距離の４点の位置座標をピクセル座標に変換し、その４点を用いた透視投影変換行列を正円に適用すれば求められる。
［３－４．表示部］
　コントローラ３の表示部３５は、エリア画像及び俯瞰的視点画像を表示装置３５の画面に表示する。表示部３５は、更に、マーカ生成部３１ｃで生成された三角マーカ４２、縦線マーカ４４、錘台マーカ４３、円マーカ４１を俯瞰的視点画像内に表示する。
　図６は、表示装置３５にＦＰＶ及びマーカ付きのＴＰＶが表示された状態の一例を示す図である。本実施形態では、二種類の画像は上下に並べられており、上側がエリア画像であり、下側がマーカ付きの俯瞰的視点画像である。上下に画像を並べる方が、左右且つ平行に画像を並べるよりも操縦者の混同が起こりにくい。表示装置３５は、一画面に二画像を上下に表示してもよく、あるいは、ヒンジ機構で接続された二画面を備え、上下の画面を操縦者の手前側に傾けることができる構造であってもよい。
［４．ドローン制御の動作］
　図７は、コントローラ３０が実行する制御例を示すフローチャートである。このフローは、主ドローン１０及び副ドローンが離陸したタイミングで（例えば、作動スイッチのオン信号を受信したタイミングで）開始され、両ドローン１０，２０が飛行終了するまで（例えば、作動スイッチからオフ信号を受信するまで）、コントローラ３０において実施される。
　図７に例示するように、コントローラ３０のＣＰＵ３１は、ＩＦ部３４を介して、主ドローン１０及び副ドローン２０の情報を取得する（ステップＳ１）。主ドローン１０の情報は、主ドローン１０のカメラ１１が撮像したエリア画像（エリアの情報）、センサ１２が計測した自機体の向き、高度及び速度である。副ドローン２０の情報は、カメラ２１が主ドローン１０を俯瞰的視点で撮像した画像（俯瞰的視点画像）及びカメラ２１の傾き、並びに、センサ１２が計測した自機体の向き及び高度である。
　主ドローン１０が飛行開始後、副ドローン２０は、主ドローン１０に追従して、飛行開始し、目標位置に達すると、前述の手法によって、主ドローン１０を俯瞰的視野内に収めることができる所定の位置に自動で移動する。
　コントローラ３０の位置算出部３１ｂは、俯瞰的視点画像内の主ドローン１０を検出し、主ドローン１０のピクセル座標を取得する（ステップＳ２）。ピクセル座標は、図３に示めす点Ｍを中心とする座標系である。
　続いて、位置算出部３１aは、主ドローン１０と副ドローン２０との間の水平距離を算出する（ステップＳ３）。水平距離は実座標のドローン同士の距離ｘｆ（ｔ），ｚｆ（ｔ）であり、実座標の距離ｘｆ（ｔ），ｚｆ（ｔ）は、副ドローン２０のカメラ２１の垂線ＡＣに対する角度φ、カメラ２１の垂直視野角θｆｖｆｏｖ及び主ドローン１０と前記副ドローン２０との高度差ｙｆ（ｔ）を用いて算出される。
　ステップＳ３の後は同時並行に実行可能な二つの処理が行われる。まずは、左側のフローであるマーカ生成処理を述べる。マーカ生成部３１ｃは、俯瞰的視点座標に表示する主ドローン１０の情報を示すマーカを生成する（ステップＳ４）。マーカには、主ドローン１０の向きを示す三角マーカ４２と、主ドローン１０からの距離を示す円マーカ４１と、主ドローン１０の撮影エリアを示す錘台マーカ４３と、主ドローン１０の高さを示す縦線マーカ４４とが含まれる。
　表示部３５は、マーカ生成部３１ｃは、生成したマーカを副ドローン２０の俯瞰的視点画像に重畳表示し、主ドローン１０のエリア画像とともに表示装置３５の画面に表示（出力）する（ステップＳ５）。
　ステップＳ３後の他方の処理である副ドローン２０の位置制御処理を述べる。最適化部３１ａは、副ドローン２０の最適位置を算出する（ステップＳ６）。最適位置の算出は、前述の最適位置条件（ア）～（ウ）を実現する制約条件i～ｖiiのもと、式１で表される目的関数を用いて算出する。最適化部３１ａは、主ドローン１０及び副ドローン２０の現在の三次元位置、副ドローン２０のカメラ２１の角度、目標相対角度φｆ（ｔ）等を用いた主双対内点法を用いることで、副ドローン２０の最適な配置位置（三次元目標位置）、カメラ２１の角度及び目標相対角度を算出する。
　最適化部３１ａは、算出した制御量に基づいて、副ドローン２０の位置を調整する（ステップＳ７）。最適化部３１ａは、ＩＦ部３４を介して、副ドローン２０の通信器２３に制御信号を送信し、副ドローン２０の制御器２４は機体を三次元目標位置に移動させる。そして、当該位置で、カメラ２１の角度及び目標や相対角度を最適な角度に調整する。
［５．実験例］
［５－１．実験内容］
　本発明のドローンシステム１００が操縦者のＳＡをどの程度向上させたかを検証する実験を行った。
　実験では、ドローン操縦の学習、訓練効果による影響を極力減らすため、操縦者はドローンの操縦時間が１時間以上１０時間未満の非熟練者６人を対象に行った。
実験は、人口集中地区外でおこなった。実験では、操縦者への直射日光の影響を避けるため、テントを設置し、操縦者はその中からドローンの操縦を行った。操縦は、目視内飛行（法律上、非熟練者は目視外飛行を行うことが禁止されているため。）で行った。
　実験では、主ドローンはDJI Mavic 2 pro、副ドローンは、Parrot anafi 4Kを使用した。実験において、ドローンのカメラの向きと異なる方向への移動(ＦＰＶの死角方向への移動)を行い、且つ、詳細な位置把握を要する２種類のタスクを行なった。タスクは、機体周囲の状態を理解できている状態（ＳＡのレベル２）であるかを判断しやすい、１．Nose-in-Circleタスク（被写体をカメラのＦＰＶに映しながら被写体周囲を回るタスク）、及び、機体周囲の状態を予測できている状態（ＳＡのレベル３）であるかを判断しやすい、２．高速移動タスク（できるだけ早く，複数のポール間の移動を行うタスク）である。
　Nose-in-Circleタスクでは、被写体に対し主ドローンが５ｍの距離を保ったまま、周り続けるものである。
　比較対象としては、インタフェースが、ＦＰＶ のみ、ＦＰＶに加えＡＲ無しの動的配置三人称視点（AutoTPV）、本発明のドローンシステム１００手法（AR-BirdView）の３手法とした。
　評価は、被写体と、主ドローンとの平均エラー距離で評価した。
　高速移動タスクでは、主ドローンが３種類のポールＡ、Ｂ、Ｃ間の移動を行う。ポールは、ポールＡに対し、ポールＢが、２０ｍ離れた位置に配置し、更に、ポールＣを、ポールＢから２０ｍ離れた位置に、ポールＡ－Ｂのラインに対して直角に配置した。
　本タスクでは、主ドローンをできるかぎり早く移動させ、かつ、ポールから５～８ｍの位置に停止する様に指示した。また、ポールＡ～Ｃを訪れる経路は学習効果を低減するためにＡ →Ｂ → Ｃ → Ｂ → Ａ、Ｂ → Ｃ →Ｂ→ Ａ →Ｂ、Ｃ → Ｂ →Ａ→ Ｂ →Ｃの３通りを用意し、インタフェースごとに異なる経路でタスクを行った。
　比較条件としては、インタフェースが、ＦＰＶのみ、真上からの三人称視点にＡＲ重畳表示（主ドローンを中心とする半径距離を表示）を行ったもの（AR-TopView）、本発明の手法（AR-BirdView）の３手法とした。
　実験では、上記経路の移動に要した合計平均時間、指定の範囲（ポールから5～8 m以内）に停止することができた平均割合(タスク成功率)、タスク完了までに主ドローンが要した移動距離といった定量評価で評価した。
　操縦者には、３手法の操縦インタフェースの練習をそれぞれ１０分ほど行った。操縦者には、ドローンの直線動作の他に、旋回し、回り込む動作も練習させた。各インタフェースに慣れたところで、それぞれの実験タスクに移行した。
　Nose-in-Circleタスクの練習をそれぞれ５～１０分ほど行い、Nose-in-Circleタスクの実験を行った。その後、高速移動タスクにおける経路確認と練習をそれぞれ５～１０分ほど行い、高速移動タスクの実験を行った。また、それぞれにおいて、操縦者に、主ドローン周辺の状況をどの程度認識できたか（空間認識)、主ドローンと被写体或いはポールとの位置関係の理解がどの程度できたか（空間理解）、主ドローンの飛行計画がたてやすかったか（動作計画）、移動方向への不安度合い（不安）、どの程度、操縦に集中力を要したか（集中力）についてのアンケートを実施し、操縦者の主観データも取得した。
［５－２．結果］
［５－２－１．Nose-in-Circleタスク］
　Nose-in-Circleタスクでは、操縦者はインタフェースがＦＰＶのみでは、主ドローンのカメラからの画面に映る被写体の大きさを元に距離を判定していた。また、AutoTPVでは、主ドローンのカメラの映像に加え、主ドローンと副ドローンの間隔を元に距離を判定していた。本発明のAR-BirdViewでは、主ドローンのカメラの映像に加え、副ドローンからの俯瞰画像に表示されるグリッド線とポールとの間隔を元に距離を判定していた。
　それぞれのインタフェースでの被写体と主ドローンとの距離の平均エラーを求めた。
　その結果、インタフェースがＦＰＶのみでは、１．２８ｍ前後の平均エラーが発生した。また、インタフェースがAutoTPVでは０．８５ｍ前後の平均エラーが発生した。本発明のインタフェースでは、０．３７ｍ前後の平均エラー範囲に収まっていた。
　また、操縦者に、それぞれのインタフェースにおいて、操縦における、操縦者の集中力等の負荷がどの程度であったかアンケートを取ったところ、ＦＰＶが最も負荷が高く、特に、空間認識、空間理解、動作計画、不安はスコア換算したところ、AutoTPVと本発明の手法の２倍以上悪い値であった。一方、AutoTPVと本発明のインタフェースの負荷の比較では、スコア換算して、同程度であったが、空間理解、動作計画に関しては、本発明のインタフェースの負荷が有意に優れているという結果が出た。
［５－２－２．高速移動タスク］
　高速移動タスクでは、操縦者はインタフェースがＦＰＶのみでは、主ドローン自体が撮影する進行方向の映像のみで移動方向を判断する必要がある。また、AR-TopViewでは主ドローンのカメラの映像に加え、主ドローンを真上から見た映像が得られている。本発明のAR-BirdView では副ドローンは、主ドローンのカメラの映像に加え、主ドローンが移動する移動先の方向を、副ドローンが重点的に提示した映像に距離を示すグリッド線が表示された映像が得られていた。
　高速移動タスクでの経路の移動に要した合計平均時間は、ＦＰＶのみの場合は、移動に要した時間は、平均３３～３４秒前後、AR-TopViewでは、３５～３６秒前後であった。一方、本発明の手法では、３１～３２秒で、最も早い所要時間で移動できた。
　タスク成功率は、ＦＰＶのみの場合は、約７５％、AR-TopViewでは、約７１％、そして、本発明の手法では、約８８％の成功率であり、本発明の手法を用いた場合、成功率が大きく改善することが示された。
　また、タスク完了までに要した移動距離は、ＦＰＶのみの場合は、約１０３ｍ、AR-TopViewでは、約１０１ｍ、そして、本発明の手法では、約９１ｍであり、本発明の手法では、効率的な飛行が可能となっていることが示された。
　高速移動タスクでの、操縦者に対して行った集中力等の負荷がどの程度かかっていたかのアンケートでも、Nose-in-Circleタスクと同様、ＦＰＶが最も負荷が高く、特に、空間認識、空間理解、動作計画、不安はスコア換算したところ２～４倍以上本発明に対して悪い結果であった。AR-TopViewと本発明の手法とでは、いずれの要素でも本発明の手法が、１．２倍以上優れているという評価であった。特に、空間理解、動作計画、不安の項目は、有意な差が出ていた。本発明の手法は、空間理解が容易であるため、飛行動作計画の先読みがしやすく、また、周囲の状況も理解できるので、高速で移動する場合でも、不安なく操縦できる手法であることが示された。
［５－３．結論］
　Nose-in-Circleタスク、高速移動タスクいずれも、本発明の手法が最もパフォーマンス的にすぐれ、また、負荷が少ないという結果が得られた。
　本発明の手法は、Nose-in-Circleタスクでも誤差が低いことから、機体周囲の状態を理解できている状態であるＳＡレベル２を満たしており、また、高速移動タスクでも、タスク成功率がほぼ１００％であるので、機体周囲の状態を予測できている状態であるＳＡレベル３に到達したシステムであると言える。
［６．効果］
　（１）本実施形態のドローンシステム１００は、カメラ１１を備えた主ドローン１０と、主ドローン１０を俯瞰的視点で撮像するカメラ２１を備えた副ドローン２０と、主ドローン１０と副ドローン２０とを制御するコントローラ３０とを備える。コントローラ３０は、カメラ２１で撮像された俯瞰的視点画像を表示する表示部３５を備え、俯瞰的視点画像内に、主ドローン１０からの距離を示す円マーカ４１を表示する機能を有する。
　主ドローン１０を俯瞰的視点で撮像した俯瞰的視点画像を表示することにより、操縦者は主ドローン１０周囲の死角を確認できる。更に、従来難しかった、円マーカ４１で距離情報が俯瞰的視点画像内に可視化されることにより、主ドローン１０の将来の位置や状況を容易に予測することができる。
　そのため、主ドローン１０で精度の高い作業を行うことができる。また、目視外飛行のような状況であっても、俯瞰的視点画像の情報で、主ドローン１０の状況がわかるので、安全、且つ、正確に作業を行うことができる。
　（２）コントローラ３０は、俯瞰的視点画像内に、主ドローン１０の向きを示す三角マーカ４２を更に表示する機能を有してよい。
　三角マーカ４２で主ドローン１０の向きが可視化されることにより、ドローンの目標方向を容易に把握できる。特に、動体を追従しながら空撮を行なうタスクでは、カメラ１１の向きとドローンの進行方向が異なる場合が多いため、操縦者が主ドローン１０の進行方向にある障害物等に気づきにくい。しかしながら、三角マーカ４２が表示されることで、操縦者は主ドローン１０の進行方向に注意喚起されるため、主ドローン１０が障害物等に接触・衝突するリスクが低減する。
　（３）コントローラ３０は、俯瞰的視点画像内に、カメラ１１が撮像するエリアを示す錘台マーカ４３を更に表示する機能を有してよい。錘台マーカ４３でカメラ１１の撮像エリアが可視化されることにより、操縦者は、主ドローン１０が撮影する対象を捉えやすくなるため、空撮や検査等一人称視点が重要なタスクにおいて、正確にタスクを実行することができる。また、錘台マーカが表示されることで、俯瞰的視点画像とエリア画像との対応を取るのが容易になる。
　（４）コントローラ３０の位置算出部３１ｂは、俯瞰的視点画像内に映る主ドローン１０のピクセル座標を、実空間の座標に変換することにより、ＧＰＳの座標を用いた場合のような更新の遅れは発生せず、誤差の大きいものにならず、精度の高い座標及び距離等が提供できる。
　（５）コントローラ３０は、俯瞰的視点画像内に主ドローン１０が収まり、且つ、カメラ１１が撮像するエリアが俯瞰的視点画像内に収まり、且つ、主ドローン１０が所定時間に進行する範囲が俯瞰的視点画像内に収まる条件において、前記副ドローンが配置される三次元目標位置に副ドローン２０を移動させ、カメラ２１の角度θｆ（ｔ）及び目標相対角度φｆ（ｔ）を制御する最適化部３１ａを更に備える。
　最適化部３１ａが、上記条件（ア）～（ウ）を満たすように副ドローン２０を三次元目標位置に移動させることで、主ドローン１０の状況を正確につかむことができ、各種の情報を俯瞰的視点画像内に常時表示することができる。
　（６）最適化部３１ａは、主ドローン１０及び副ドローン２０の三次元位置、前記副ドローンのカメラ２１の角度θｆ（ｔ）及び目標相対角度φｆ（ｔ）に基づく主双対内点法を用いて副ドローン２０が配置される三次元目標位置、前記第二の撮像手段の角度、及び、前記目標相対角度を決定し、カスケードＰＩＤを用いて制御する。
　主双対内点法で最適化を行なうとともにカスケードＰＩＤで制御量を算出することで、より正確に副ドローン２０を制御することができる。
　（７）コントローラ３０は、主ドローン１０の副ドローン２０に対する主ドローン１０の平面における座標ｘ，ｙを、副ドローン２０のカメラ２１の垂線ＡＣに対する角度φ、カメラ２１の垂直視野角θｆｖｆｏｖ及び主ドローン１０と副ドローン２０との高度差Ａｌｔを用いて算出する。
　カメラ２１の垂線ＡＣ、カメラ２１の垂直視野角θｆｖｆｏｖ及び主ドローン１０と副ドローン２０との高度差Ａｌｔはそれぞれカメラ２１及びセンサ２２の値から容易に取得できるため、副ドローン２０のカメラ２１の垂線ＡＣに対する角度φを算出するだけで、主ドローン１０の副ドローン２０に対する主ドローン１０の平面における座標ｘ，ｙを容易に算出できる。
　（８）主ドローン１０、副ドローン２０及びコントローラ３０は、通信手段１３，２３，３４を備える。
　主ドローン１０の通信器１３は、カメラ１１が撮像するエリアの情報（エリア画像）、前記主ドローンの向き、高度及び速度をコントローラ３０のＩＦ部３４に送信する。副ドローン２０の通信器２３は、俯瞰的視点画像、副ドローン２０のカメラ２１の傾き（焦点視野方向の角度）及び副ドローン２０の向き及び高度をコントローラ３０のＩＦ部３４に送信する。コントローラ３０のＩＦ部３４は、主ドローン１０及び副ドローン２０の通信器１３，２３に、副ドローン２０のカメラ２１で撮像する俯瞰的視点内に、主ドローン１０が収まるように制御する信号を送信する。
　主ドローン１０及び副ドローン２０がそれぞれ上記各種情報をコントローラ３０に送信することで、コントローラ３０の位置算出部３１ｂは、主ドローン１０と副ドローン２０との水平距離ｘ，ｙを算出でき、マーカ生成部３１ｃは俯瞰的視点画像にマーカを表示でき、最適化部３１ａは副ドローン２０の最適位置を算出できる。
　また、コントローラ３０が主ドローン１０及び副ドローン２０に上記制御信号を送信し、副ドローン２０が最適位置に移動することで、主ドローン１０の速度に応じた適切な俯瞰的視点画像を撮像することができる。
［７．変形例］
　上記制御に加え、更なる制御が必要になる場面として、主ドローン１０が何かの下に潜り込む、又は、何かの障害物により副ドローン２０の死角に入るといった状態が想定される。本発明の手法では最適化関数を用いて配置位置を決定しているため、最適化関数の制約条件や目的関数に、主ドローン１０の潜り込みや副ドローン２０による障害物の回避に対応する項を導入することで、そのような問題も対処可能である。
　図８は、ドローンと障害物との位置関係を示す図である。（ａ）はドローンを横方向から見た図であり、（ｂ）は副ドローンによる三人称視点の図である。
　前述の最適化手法の箇所での制約条件に以下の式１０を追加する。
Figure JPOXMLDOC01-appb-M000011
 　ここで、θｏｂｊ（t)は時刻ｔにおける、副ドローンに対して障害物が存在する方向が副ドローンの鉛直方向に対してなす角、ｖｚ（ｔ）は時刻ｔにおける副ドローンのＺZ軸方向の速度を示す。
　式１０の意味としては、物理的に主ドローンが見えない位置に副ドローンを配置しないというものである。この制約により、副ドローンは物理的に主ドローンが見える範囲内で、副ドローンのカメラの傾きや距離を変更する処理が可能になる。
　上記制約条件を考慮すると式１は、以下の式１１，１２に書き直すことができる。
Figure JPOXMLDOC01-appb-M000012
Figure JPOXMLDOC01-appb-M000013
 　ここで、Ｐｏｂｊ（ｔ）は主ドローン１０を原点とする障害物の三次元位置座標、Ｚｏｂｊ（ｔ）は主ドローン１０からの障害物からのｚ方向の距離を示す。
　式１１では、障害物に近づくと、末尾の第５項が増大するため、副ドローン２０の位置を障害物に衝突しない位置に制御することができる。また、式１２は、副ドローンと主ドローンとの間に障害物を入れないという制約条件である。
　上記拡張式１１，１２により副ドローンは、障害物を避けつつ指定の範囲を三人称視点で主ドローンをとらえることができる。
　また、操縦中に主ドローン１０及び副ドローン２０が障害物に衝突するおそれがあることから、既存の障害物を自動回避するプログラムを用いて、主ドローン１０及び副ドローン２０が障害物を回避できるように、最適化部３１ａを制御してもよい。
　変形例による手法によれば、式１１，１２を用いることで、コントローラ３０は、主ドローン１０と副ドローン２０との間に障害物が入らないように副ドローン２０を制御することができる。
［８．その他］
　上述したマーカの種類や形状は一例であって、上述したものに限られない。例えば、空間認識に必要な特定の対象物を示すマーカが追加されてよい。
　また、副ドローン２０は、更に中継局として用いられてよい。これにより、主ドローン１０の電波による航続距離の範囲を広げることが可能である。
　本実施形態では、二機のドローンを用いたが、複数のドローンを用いて、ドローン群が撮像した画像を組み合わせて三次元画像を生成して表示してもよい。これにより、操縦者の主ドローン１０の周囲空間の認識をより向上させることができる。
　主ドローン１０及び副ドローン２０は交互に入れ替えることができる。これにより、環境に合わせて、所望の撮像が可能となる。この場合は、上記実施形態における各ドローン１０，２０のカメラ、センサ、通信器は共通仕様にし、制御器は主・副ドローンの両制御機能を持たせるようにすることもできる。これにより、部品の共通化を図りながら、上記効果を得られる。なお、コントローラ３０との通信の際には、ドローンの入れ替え時に通信コードの変更等を実施して、コントローラ３０にドローン入替を通知する。このようにすれば、コントローラの構成及び機能を変更しなくてもよい。
　表示装置３５は、本実施形態ではモニタ形状のものを例に挙げたが、これに限られず、例えば、ＡＲグラス等であってもよい。
１０　　　　：主ドローン
１１　　　　：カメラ（第一の撮像手段）
１２　　　　：センサ
１３　　　　：通信器（第一の通信手段）
１４　　　　：制御器
２０　　　　：副ドローン
２１　　　　：カメラ（第二の撮像手段）
２２　　　　：センサ
２３　　　　：通信器（第二の通信手段）
２４　　　　：制御器
３０　　　　：コントローラ
３１　　　　：ＣＰＵ（コンピュータ）
３１ａ　　　：最適化部（制御部）
３１ｂ　　　：位置算出部
３１ｃ　　　：マーカ生成部
３２　　　　：メモリ
３３　　　　：記憶装置
３４　　　　：ＩＦ部（コントローラの通信手段）
３５　　　　：表示装置（表示部）
４１　　　　：円マーカ（第一のマーカ）
４２　　　　：三角マーカ（第二のマーカ）
４３　　　　：四角錘台マーカ（第三のマーカ）
４４　　　　：縦線マーカ（第四のマーカ）
１００　　　：ドローンシステム

Claims (11)

  1. 　第一の撮像手段を備えた主ドローンと、前記主ドローンを俯瞰的視点で撮像する第二の撮像手段を備えた副ドローンと、前記主ドローンと前記副ドローンとを制御するコントローラとを備えたドローンシステムであって、
    　前記コントローラは、前記第二の撮像手段で撮像された俯瞰的視点画像を表示する表示部を備え、
    　前記コントローラは、前記俯瞰的視点画像内に、前記主ドローンからの距離を示す第一のマーカを表示する機能を有する、
    ドローンシステム。
  2. 　前記コントローラは、前記俯瞰的視点画像内に、前記主ドローンの向きを示す第二のマーカを更に表示する機能を有する、
    請求項１に記載のドローンシステム。
  3. 　前記コントローラは、前記俯瞰的視点画像内に、前記第一の撮像手段が撮像するエリアを示す第三のマーカを更に表示する機能を有する、
    請求項１又は２に記載のドローンシステム。
  4. 　前記コントローラは、前記俯瞰的視点画像内に映る前記主ドローンのピクセル座標を、実空間の座標に変換する手段を有する、
    請求項１又は２に記載のドローンシステム。
  5. 　前記コントローラは、
    　前記俯瞰的視点画像内に前記主ドローンが収まり、且つ、前記第一の撮像手段が撮像するエリアが前記俯瞰的視点画像内に収まり、且つ、前記主ドローンが所定時間に進行する範囲が前記俯瞰的視点画像内に収まる条件において、
    　前記副ドローンが配置される三次元目標位置に前記副ドローンを移動させ、前記第二の撮像手段の角度、及び、目標相対角度を制御する制御部を更に備える、
    請求項１又は２に記載のドローンシステム。
  6. 　前記制御部は、前記主ドローン及び前記副ドローンの三次元位置、前記副ドローンの前記第二の撮像手段の角度及び前記目標相対角度に基づく主双対内点法を用いて前記副ドローンが配置される三次元目標位置、前記第二の撮像手段の角度、及び、前記目標相対角度を決定し、カスケードＰＩＤを用いて制御する
    請求項５に記載のドローンシステム。
  7. 　前記コントローラは、前記主ドローンと前記副ドローンとの相対距離を、前記副ドローンの前記第二の撮像手段の垂線に対する角度、前記第二の撮像手段の視野角及び前記主ドローンと前記副ドローンとの高度差を用いて算出する、
    請求項１又は２に記載のドローンシステム。
  8. 　前記主ドローン、前記副ドローン及び前記コントローラは、通信手段を備え、
    　前記主ドローンの通信手段は、前記第一の撮像手段が撮像するエリアの情報、前記主ドローンの向き、高度及び速度を前記コントローラの通信手段に送信し、
    　前記副ドローンの通信手段は、前記俯瞰的視点画像、前記副ドローンの前記第二の撮像手段の傾き、前記副ドローンの向き及び高度を前記コントローラの通信手段に送信し、
    　前記コントローラの通信手段は、前記主ドローン及び前記副ドローンの通信手段に、前記副ドローンの第二の撮像手段で撮像する前記俯瞰的視点内に、前記主ドローンが収まるように制御する信号を送信する、
    請求項１又は２に記載のドローンシステム。
  9. 　前記コントローラは、前記主ドローンと前記副ドローンとの間に障害物を入れないように制御する、
    請求項１又は２に記載のドローンシステム。
  10. 　第一の撮像手段を備えた主ドローンと、前記主ドローンを俯瞰的視点で撮像する第二の撮像手段を備えた副ドローンとを制御するコントローラに備えられるコンピュータに、
    　前記第二の撮像手段で撮像された俯瞰的視点画像を表示装置に表示し、
    　前記俯瞰的視点画像内に、前記主ドローンからの距離を示す第一のマーカを前記表示装置に表示する、
    処理を実行させる、ドローン制御プログラム。
  11. 　第一の撮像手段を備えた主ドローンと、前記主ドローンを俯瞰的視点で撮像する第二の撮像手段を備えた副ドローンとを制御するコントローラに備えられるコンピュータが、
    　前記第二の撮像手段で撮像された俯瞰的視点画像を表示装置に表示し、
    　前記俯瞰的視点画像内に、前記主ドローンからの距離を示す第一のマーカを前記表示装置に表示する、
    処理を実行する、ドローン制御方法。
PCT/JP2022/047763 2022-12-23 2022-12-23 ドローンシステム、ドローン制御プログラム及びドローン制御方法 WO2024134909A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/047763 WO2024134909A1 (ja) 2022-12-23 2022-12-23 ドローンシステム、ドローン制御プログラム及びドローン制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/047763 WO2024134909A1 (ja) 2022-12-23 2022-12-23 ドローンシステム、ドローン制御プログラム及びドローン制御方法

Publications (1)

Publication Number Publication Date
WO2024134909A1 true WO2024134909A1 (ja) 2024-06-27

Family

ID=91587901

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/047763 WO2024134909A1 (ja) 2022-12-23 2022-12-23 ドローンシステム、ドローン制御プログラム及びドローン制御方法

Country Status (1)

Country Link
WO (1) WO2024134909A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06312700A (ja) * 1993-04-28 1994-11-08 Japan Aviation Electron Ind Ltd 操縦制御用ディスプレイシステム
JP2017509520A (ja) * 2014-10-27 2017-04-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 飛行情報を提供する方法
JP2017087916A (ja) * 2015-11-09 2017-05-25 株式会社プロドローン 無人移動体の操縦方法および無人移動体監視装置
US20210009270A1 (en) * 2018-04-04 2021-01-14 SZ DJI Technology Co., Ltd. Methods and system for composing and capturing images
JP2021154857A (ja) * 2020-03-26 2021-10-07 Ｎｅｃソリューションイノベータ株式会社 操縦支援装置、操縦支援方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06312700A (ja) * 1993-04-28 1994-11-08 Japan Aviation Electron Ind Ltd 操縦制御用ディスプレイシステム
JP2017509520A (ja) * 2014-10-27 2017-04-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 飛行情報を提供する方法
JP2017087916A (ja) * 2015-11-09 2017-05-25 株式会社プロドローン 無人移動体の操縦方法および無人移動体監視装置
US20210009270A1 (en) * 2018-04-04 2021-01-14 SZ DJI Technology Co., Ltd. Methods and system for composing and capturing images
JP2021154857A (ja) * 2020-03-26 2021-10-07 Ｎｅｃソリューションイノベータ株式会社 操縦支援装置、操縦支援方法、及びプログラム

Similar Documents

Publication Publication Date Title
JP7143444B2 (ja) 航空機のスマート着陸
US11669987B2 (en) Obstacle avoidance during target tracking
JP6081092B2 (ja) 航空機内の合成ビジョンシステムを動作させる方法
CN109556577A (zh) 用于空中非破坏性检查的定位系统
Escobar‐Alvarez et al. R‐ADVANCE: rapid adaptive prediction for vision‐based autonomous navigation, control, and evasion
US20150054826A1 (en) Augmented reality system for identifying force capability and occluded terrain
US11295621B2 (en) Methods and associated systems for managing 3D flight paths
JP2019511044A (ja) 飛行デバイスの動き制御のための方法およびシステム
US10983535B2 (en) System and method for positioning a movable object
US20220363519A1 (en) Systems and methods for remote control and automation of a tower crane
Castelli et al. Autonomous navigation for low-altitude UAVs in urban areas
WO2022036500A1 (zh) 无人飞行器的飞行辅助方法、设备、芯片、系统及介质
Kumar et al. Real-time vision-based tracking of a moving terrain target from Light Weight Fixed Wing UAV using gimbal control
WO2024134909A1 (ja) ドローンシステム、ドローン制御プログラム及びドローン制御方法
Saeedi et al. 3d mapping for autonomous quadrotor aircraft
JP2019082837A (ja) 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
Vámossy et al. PAL Based Localization Using Pyramidal Lucas-Kanade Feature Tracker
KR102181809B1 (ko) 시설물 점검 장치 및 방법
JP7130409B2 (ja) 管制装置
WO2023178495A1 (zh) 无人机、控制终端、服务器及其控制方法
WO2023243221A1 (ja) 移動経路決定システム、着陸地点決定システム、移動経路決定装置、ドローン制御装置、及びコンピュータプログラム
WO2023077255A1 (zh) 可移动平台的控制方法、装置、可移动平台及存储介质
US20240053746A1 (en) Display system, communications system, display control method, and program