WO2020179491A1 - 行動制御装置および行動制御方法、並びにプログラム - Google Patents

行動制御装置および行動制御方法、並びにプログラム Download PDF

Info

Publication number
WO2020179491A1
WO2020179491A1 PCT/JP2020/006992 JP2020006992W WO2020179491A1 WO 2020179491 A1 WO2020179491 A1 WO 2020179491A1 JP 2020006992 W JP2020006992 W JP 2020006992W WO 2020179491 A1 WO2020179491 A1 WO 2020179491A1
Authority
WO
WIPO (PCT)
Prior art keywords
self
unit
position estimation
control device
moving body
Prior art date
Application number
PCT/JP2020/006992
Other languages
English (en)
French (fr)
Inventor
堅一郎 多井
正樹 半田
琢人 元山
駿 李
政彦 豊吉
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/434,014 priority Critical patent/US12073732B2/en
Priority to CN202080017612.5A priority patent/CN113498498B/zh
Priority to JP2021503966A priority patent/JP7552581B2/ja
Publication of WO2020179491A1 publication Critical patent/WO2020179491A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/49—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an inertial position system, e.g. loosely-coupled
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/40—Control within particular dimensions
    • G05D1/46—Control of position or course in three dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004—Transmission of traffic-related information to or from an aircraft
    • G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003—Flight plan management
    • G08G5/0039—Modification of a flight plan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0052—Navigation or guidance aids for a single aircraft for cruising
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0086—Surveillance aids for monitoring terrain
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS

Definitions

  • the present disclosure relates to a behavior control device, a behavior control method, and a program, and particularly relates to a behavior control device, a behavior control method, and a program capable of realizing more appropriate behavior control.
  • a moving body such as an unmanned aerial vehicle (UAV), which is so-called a drone, flies according to a user's operation, and also according to a mission to pass a predetermined waypoint. (Hereinafter referred to as mission flight).
  • UAV unmanned aerial vehicle
  • mission flight a mission flight
  • the drone In order to realize such a mission flight, the drone needs to be equipped with a self-position estimation system for estimating its own position.
  • the self-position estimation system mainly uses a method of estimating the self-position using a GPS (Global Positioning System) sensor, a method of estimating the self-position using a vision sensor, and the like. Also, various methods can be used.
  • a self-position estimation system that uses a GPS sensor has the advantage of being able to use GPS over a wide range, but has the disadvantage of low accuracy in estimating the self-position (for example, an error of several meters).
  • the self-position estimation system using the vision sensor has an advantage that the self-position is highly accurately estimated (for example, an error of several centimeters), but the range in which the vision can be effectively used is narrow and uniform. It has the disadvantage that it cannot be used in appearance or in the distant view.
  • Patent Document 1 discloses a moving body capable of more accurately setting a moving route or range by acquiring a plurality of position information and setting information on a moving range.
  • the same self-position estimation system is used over the entire mission flight, so while changing the estimation accuracy when estimating the self-position, it is appropriate for the situation. It was difficult to carry out precise flight control. For example, it has not been realized to perform a mission flight such that a certain waypoint is made to fly while estimating its own position with high accuracy, or a certain waypoint is made to fly at a high speed even if it is low accuracy.
  • the present disclosure has been made in view of such circumstances, and is to enable more appropriate behavior control to be realized.
  • the behavior control device selects the self-position estimation unit used to estimate the position of the moving body from among the plurality of self-position estimation units having different estimation accuracy based on an index, A state specifying unit that obtains the state of the moving body, and an action control unit that controls the action of the moving body according to a previously created action plan based on the state of the moving body.
  • the behavior control method or program selects a self-position estimation unit used to estimate the position of the moving body from a plurality of self-position estimation units having different estimation accuracy based on an index. Then, the state of the moving body is obtained, and the action of the moving body is controlled according to a previously created action plan based on the state of the moving body.
  • the self-position estimation unit used to estimate the position of the moving body is selected from a plurality of self-position estimation units having different estimation accuracy based on an index, and the state of the moving body is selected. Then, based on the state of the mobile body, the behavior of the mobile body is controlled according to the action plan created in advance.
  • FIG. 19 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
  • the waypoints WP1 to WP6 are sequentially passed from the start point waypoint WP1 to the goal position waypoint WP6.
  • An action plan is created in the way that In this case, the drone 1 can perform a mission flight that flies along a route as shown by the alternate long and short dash line in FIG.
  • a mission flight that uses the waypoint WP as an index when the drone 1 passes will be described.
  • an action task of the drone 1 imaging is performed.
  • the action plan may be created by designating (for example, carrying articles). That is, the user is not limited to designating the waypoint WP, and the waypoint WP may be designated according to the content of the action task.
  • the position of the waypoint WP can be specified based on, for example, position information or area information acquired according to GPS when the drone 1 performs pre-flight.
  • FIG. 2 is a block diagram showing a configuration example of the first embodiment of the mission flight control device to which the present technology is applied.
  • the mission flight control device 11 includes a personal computer 12, an action plan creation unit 13, an image sensor 14, an inertial measurement unit 15, a Vision-based self-position estimation unit 16, a GPS-based self-position estimation unit 17, and a flight.
  • the control unit 18 and the drive unit 19 are provided.
  • the flight control unit 18 includes an EKF (Extended Kalman Filter) processing unit 21, a navigator 22, and a drive control unit 23.
  • EKF Extended Kalman Filter
  • the drone 1 of FIG. 1 may include an image sensor 14, an inertial measurement device 15, a Vision-based self-position estimation unit 16, a GPS-based self-position estimation unit 17, a flight control unit 18, and a drive unit 19.
  • the mission flight control device 11 can be configured.
  • the personal computer 12 has, for example, a display unit for displaying a mission flight setting screen 41 as shown in FIG. 4 described later, and an operation unit such as a mouse and a keyboard, and a user specifies a waypoint WP. Used to. Then, the personal computer 12 supplies the waypoint WP designated by the user to the action plan creation unit 13 and also to the EKF processing unit 21 of the flight control unit 18.
  • the action plan creation unit 13 creates an action plan (Pathplan) for flying the drone 1 so as to pass the waypoint WP supplied from the personal computer 12, and supplies it to the navigator 22 of the flight control unit 18. ..
  • the image sensor 14 has a solid-state image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal-Oxide-Semiconductor) image sensor. Then, the image sensor 14 supplies the image data (Image data) of the image obtained by imaging the periphery of the drone 1 with the solid-state image sensor to the Vision-based self-position estimation unit 16.
  • a solid-state image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal-Oxide-Semiconductor) image sensor.
  • the inertial measurement unit 15 is, for example, an IMU (Inertial Measurement Unit) composed of a 3-axis gyro sensor or the like. Then, the inertial measurement device 15 supplies the acceleration and angular velocity measured with the flight of the drone 1 to the Vision-based self-position estimation unit 16 as inertial measurement data (IMU data), and also performs the EKF processing of the flight control unit 18. It is supplied to the section 21.
  • IMU Inertial Measurement Unit
  • the Vision-based self-position estimation unit 16 uses the image data supplied from the image sensor 14 and the inertial measurement data supplied from the inertial measurement device 15 to estimate the position of the drone 1 (Visual Inertial Odometry). )I do.
  • SLAM Simultaneous Localization and Mapping
  • the Vision-based self-position estimation unit 16 uses the posture and velocity (Pose/Velocity) obtained as a result of self-position estimation based on the image data as the Vision-based observation information of the EKF processing unit of the flight control unit 18. 21.
  • the GPS-based self-position estimation unit 17 uses GPS, for example, to perform self-position estimation for estimating the position of the drone 1. Then, the GPS-based self-position estimation unit 17 determines the posture (Pose in NED) on the NED (North-East-Down) coordinates obtained as a result of performing the self-position estimation based on the GPS based on the GPS-based observation information. Is supplied to the EKF processing unit 21 of the flight control unit 18.
  • the flight control unit 18 controls the drive unit 19 so that the drone 1 flies according to the action plan supplied from the action plan creation unit 13, and executes the flight control of the drone 1.
  • the drive unit 19 is composed of, for example, a motor that drives a plurality of rotors, and causes the drone 1 to fly by the thrust generated by the rotors.
  • the EKF processing unit 21 includes inertial measurement data supplied from the inertial measurement unit 15, Vision-based observation information supplied from the Vision-based self-position estimation unit 16, and GPS-based data supplied from the GPS-based self-position estimation unit 17. EKF processing for obtaining the state (position and attitude) of the drone 1 based on the observation information of. Then, the EKF processing unit 21 supplies the state information indicating the state of the drone 1 to the navigator 22 and the drive control unit 23 as the EKF processing result obtained as a result of the EKF processing.
  • the detailed configuration of the EKF processing unit 21 will be described later with reference to FIG.
  • the navigator 22 tells the drive control unit 23 of the current drone 1 based on the state information supplied from the EKF processing unit 21 so that the drone 1 flies according to the action plan supplied from the action plan creation unit 13. Give the necessary instructions from the state to fly along the route.
  • the drive control unit 23 drives the drive unit 19 in order to fly the drone 1 according to an instruction from the navigator 22 (for example, position control and position control). Attitude control).
  • the navigator 22 for example, position control and position control. Attitude control).
  • the mission flight control device 11 is configured as described above. For example, when the user specifies the waypoint WP using the personal computer 12, the user can specify the self-position estimation system for each waypoint WP. .. That is, in the mission flight control device 11, the Vision-based self-position estimation unit 16 or the GPS-based self-position estimation unit 17 is designated as the self-position estimation system for each waypoint WP, and flight control using either observation information is used. Is done. In the mission flight control device 11, the observation information of both the Vision-based self-position estimation unit 16 and the GPS-based self-position estimation unit 17 are combined for each waypoint WP, and for example, a plurality of observation information is selectively used. Flight control may be performed by using
  • the EKF processing unit 21 selects Vision-based observation information and performs EKF processing.
  • the GPS-based self-position estimation unit 17 is designated as the self-position estimation system in the nearest waypoint WP
  • the EKF processing unit 21 selects GPS-based observation information and performs EKF processing.
  • FIG. 3 is a block diagram showing a configuration example of the EKF processing unit 21.
  • the EKF processing unit 21 includes an EKF state prediction unit 31, a nearest waypoint selection unit 32, an observation information selection unit 33, and an EKF state update unit 34.
  • the EKF status prediction unit 31 is supplied with status information indicating the latest drone 1 status, which is periodically output from the EKF processing unit 21, from the EKF status update unit 34. Then, the EKF state prediction unit 31 of the drone 1 at the timing of outputting the next state information from the latest state information, based on the inertial measurement data (IMU data) supplied from the inertial measurement device 15 of FIG. Predict the state. Then, the EKF state prediction unit 31 supplies the predicted state information indicating the predicted state of the drone 1 to the nearest neighbor waypoint selection unit 32 and the EKF state update unit 34.
  • the predicted state information is a state variable of the EKF, such as the position and orientation of the drone 1 and the bias value of the sensor of the inertial measurement unit 15.
  • the nearest waypoint selection unit 32 is the closest waypoint to the position of the drone 1 based on the prediction state information supplied from the EKF state prediction unit 31 from among the plurality of waypoint WPs supplied from the personal computer 12. Select. For example, the nearest waypoint selection unit 32 selects the waypoint WP having the shortest Euclidean distance in the NED coordinate system as the nearest waypoint. Then, the nearest waypoint selection unit 32 provides designated information indicating which of the Vision-based self-position estimation unit 16 and the GPS-based self-position estimation unit 17 is designated as the self-position estimation system for the nearest waypoint. , To the observation information selection unit 33.
  • the observation information selection unit 33 receives the Vision-based observation information (Pose / Velocity) supplied from the Vision-based self-position estimation unit 16 and the GPS-based self-position according to the designated information supplied from the nearest way point selection unit 32. Either one of the GPS-based observation information (Pose in NED) supplied from the estimation unit 17 is selected. For example, when the Vision-based self-position estimation unit 16 is designated as the self-position estimation system at the nearest waypoint, the observation information selection unit 33 selects the Vision-based observation information and supplies it to the EKF state update unit 34. To do. On the other hand, when the GPS-based self-position estimation unit 17 is designated as the self-position estimation system at the nearest waypoint, the observation information selection unit 33 selects GPS-based observation information and supplies it to the EKF state update unit 34. To do.
  • the EKF state update unit 34 updates the predicted state information supplied from the EKF state prediction unit 31 based on the observation information selected by the observation information selection unit 33, and obtains the state of the drone 1 based on the latest observation information. ..
  • the EKF state update unit 34 updates the state of the drone 1 predicted by the EKF state prediction unit 31 so as to be more accurate according to the estimated position shown in the observation information.
  • the EKF state update unit 34 outputs the state information indicating the state of the drone 1 as the EKF processing result in the EKF processing unit 21 and supplies the state information to the EKF state prediction unit 31.
  • the EKF processing unit 21 can select the self-position estimation system at the nearest waypoint, and can obtain the state of the drone 1 with estimation accuracy according to the situation for each waypoint WP.
  • the mission flight control device 11 can perform the mission flight of the drone 1 by appropriate flight control according to the situation while changing the estimation accuracy when estimating the self-position for each waypoint WP.
  • any one is used according to the position on the map.
  • a configuration in which the self-position estimation system is designated may be adopted. Further, it may be configured such that one of the self-position estimation systems is designated according to the area on the map.
  • the Vision-based self-position estimation unit 16 and the GPS-based self-position estimation unit 17 are used as the self-position estimation system, but the configuration is not limited to using these two.
  • the mission flight controller 11 uses an altitude sensor, a geomagnetic sensor, and other self-position estimation systems (UWB (Ultra Wide Band), wifi SLAM, OptiTrack, short-range wireless communication base, etc.) and switches between them.
  • UWB Ultra Wide Band
  • SLAM Wireless Local Area Network
  • OptiTrack Wireless Fidelity
  • short-range wireless communication base etc.
  • FIG. 4 is a diagram showing an example of the mission flight setting screen.
  • the mission flight setting screen 41 is used to input various instructions necessary for performing a mission flight by using the GUI (Graphical User Interface) of the personal computer 12.
  • the mission flight setting screen 41 includes a map display area 42 and an instruction GUI display area 43.
  • the map display area 42 for example, a map of the area where the drone 1 is to be flown is displayed. Then, when the user instructs the waypoints WP1 to WP6 using the map displayed in the map display area 42, the waypoints WP1 to WP6 are displayed so as to be superimposed on the map.
  • the waypoints WP1 to WP6 are displayed so as to visualize the self-position estimation system designated for each. That is, in the example shown in FIG. 4, the waypoints WP1 to WP3 and WP6 are represented by solid lines, and it is visualized that the Vision-based self-position estimation unit 16 is designated as the self-position estimation system. Further, the waypoints WP4 and WP5 are represented by broken lines, and it is visualized that the GPS-based self-position estimation unit 17 is designated as the self-position estimation system.
  • map display area 42 for the routes connecting the waypoints WP1 to WP6 in order, a display that visualizes the self-position estimation system used when the drone 1 flies along each route is displayed.
  • the route connecting the waypoints WP1 to WP3 for which the Vision-based self-position estimation unit 16 is designated as the self-position estimation system is represented by a solid line, and the drone 1 flies along the route. It has been visualized that the Vision-based self-position estimation unit 16 is used when performing.
  • the route connecting the waypoints WP4 and WP5 to which the GPS-based self-position estimation unit 17 is designated as the self-position estimation system is indicated by a broken line, and the GPS-based self-direction is used when the drone 1 flies along the route. It is visualized that the position estimation unit 17 is used.
  • GUI display area 43 for example, as will be described later with reference to FIG. 5, a GUI used for instructing the self-position estimation system for each waypoint WP is displayed.
  • FIG. 5 shows an example in which the self-position estimation system designated for the waypoint WP4 is switched from the GPS-based self-position estimation unit 17 to the Vision-based self-position estimation unit 16.
  • a check box for designating the self-position estimation system is specified in the instruction GUI display area 43. Is displayed. That is, a check box for designating the GPS-based self-position estimation unit 17 and a check box for designating the Vision-based self-position estimation unit 16 are displayed.
  • a check mark is displayed in the check box for specifying the GPS-based self-position estimation unit 17, and it is visualized that the GPS-based self-position estimation unit 17 is specified for the waypoint WP4. There is.
  • the check box for designating the Vision-based self-position estimation unit 16 is displayed as shown in the lower part of FIG. A check mark is displayed.
  • the display of the waypoint WP4 changes from a broken line to a solid line.
  • the route connecting the waypoints WP3 and WP4 is represented by a solid line
  • the route connecting the waypoints WP4 and WP5 is represented so as to change from a broken line to a solid line.
  • ⁇ Mission flight control processing> The mission flight control process executed by the mission flight control device 11 will be described with reference to the flowchart shown in FIG. In addition, it is assumed that the information necessary for performing the mission flight, for example, the information such as the map and the terrain of the area where the drone 1 is flown, is acquired by flying with low accuracy in advance.
  • step S11 the user uses the personal computer 12 to specify the waypoint WP on the map displayed in the map display area 42 of the mission flight setting screen 41 shown in FIG.
  • the personal computer 12 supplies the waypoint WP designated by the user to the action plan creation unit 13.
  • step S12 the user uses the personal computer 12 to specify the Vision-based self-position estimation unit 16 or the GPS-based self-position estimation unit 17 as the self-position estimation system for each waypoint WP specified in step S11.
  • the personal computer 12 supplies the self-position estimation system for each waypoint WP specified by the user to the EKF processing unit 21 of the flight control unit 18.
  • step S13 the action plan creation unit 13 creates an action plan of the drone 1 that passes through the waypoint WP specified in step S11, and supplies it to the navigator 22 of the flight control unit 18.
  • step S14 when the user instructs the drone 1 to start flying, the flight control unit 18 performs flight control in response to the instruction. As a result, the drone 1 flies toward the waypoint WP1, which is the start position shown in FIG. 1, and starts the flight according to the action plan created in step S13.
  • step S15 the Vision-based self-position estimation unit 16 estimates the position of the drone 1 based on the image data supplied from the image sensor 14 and the inertial measurement data supplied from the inertial measurement unit 15, and is based on Vision. Get observation information.
  • the GPS-based self-position estimation unit 17 estimates the position of the drone 1 using GPS and acquires GPS-based observation information.
  • step S16 the EKF processing unit 21 supplies inertial measurement data supplied from the inertial measurement unit 15, Vision-based observation information supplied from the Vision-based self-position estimation unit 16, and GPS-based self-position estimation unit 17. Based on the GPS-based observation information, EKF processing is performed to determine the status of drone 1. The EKF processing will be described later with reference to FIG. 7.
  • step S17 the flight control unit 18 performs flight control to fly the drone 1 along the route. That is, the navigator 22 gives an instruction to the drive control unit 23 based on the state information supplied from the EKF processing unit 21 so that the drone 1 will fly according to the action plan created by the action plan creating unit 13 in step S13. To do. Then, the drive control unit 23 controls the drive of the drive unit 19 so as to fly the drone 1 according to the instruction from the navigator 22 based on the state information supplied from the EKF processing unit 21.
  • step S18 the navigator 22 determines whether the drone 1 has flown to the waypoint WP6, which is the goal position shown in FIG. 1, for example.
  • step S18 when the navigator 22 determines that the drone 1 has not flown to the goal position, the process returns to step S15, and the same process is repeated thereafter. On the other hand, if the navigator 22 determines in step S18 that the drone 1 has flown to the goal position, the process proceeds to step S19.
  • step S19 the flight control unit 18 performs flight control so that the drone 1 performs a predetermined operation accompanying the end of the flight, for example, hovering, and then the mission flight control process is terminated.
  • FIG. 7 is a flowchart explaining the EKF processing performed in step S16 of FIG.
  • step S21 the EKF state prediction unit 31 predicts the state (position and posture) of the drone 1 based on the inertial measurement data supplied from the inertial measurement unit 15 of FIG.
  • step S22 the nearest waypoint selection unit 32 selects the nearest waypoint closest to the position of the drone 1 predicted by the EKF state prediction unit 31 in step S21. Then, the nearest neighbor waypoint selection unit 32 supplies the observation information selection unit 33 with designated information indicating the self-position estimation system designated for the nearest neighbor waypoint.
  • the observation information selection unit 33 selects observation information according to the designated information supplied from the nearest waypoint selection unit 32 in step S22 and supplies it to the EKF state update unit 34.
  • the observation information selection unit 33 selects Vision-based observation information when the Vision-based self-position estimation unit 16 is designated as the self-position estimation system for the nearest way point, and the GPS-based self-position estimation unit 33.
  • GPS-based observation information is selected.
  • step S24 the EKF state update unit 34 updates the state of the drone 1 predicted by the EKF state prediction unit 31 in step S21, based on the observation information supplied from the observation information selection unit 33 in step S23. Then, after outputting the status information indicating the status of the drone 1, the EKF processing is ended.
  • the mission flight control device 11 selects a self-position estimation system for each waypoint WP and realizes appropriate flight control of the drone 1 with each estimation accuracy. be able to.
  • FIG. 8 shows an example of a user interface that visualizes the effective range of altitude and speed.
  • the Vision-based self-position estimation unit 16 when the Vision-based self-position estimation unit 16 is designated as the self-position estimation system in the waypoint WP3, the effective range of altitude and speed is visualized and presented. That is, when the Vision-based self-position estimation unit 16 is used, the altitude and speed at which the self-position can be estimated with a predetermined accuracy or higher are determined, and in the example shown in FIG. 8, the altitude and speed are higher than the altitude and speed. The range is grayed out.
  • the user can determine whether or not to specify the Vision-based self-position estimation unit 16 as the self-position estimation system by referring to the effective range of altitude and speed.
  • FIG. 9 shows an example of a user interface that visualizes the estimation accuracy.
  • an error ellipse representing an error range based on the accuracy of estimating the self-position is presented as a circular chain line. That is, the Vision-based self-position estimation unit 16 can estimate the self-position with high accuracy, and small circles indicating that the error range is small are displayed at regular intervals on the path using the Vision-based self-position estimation unit 16. To be done.
  • the GPS-based self-position estimation unit 17 estimates the self-position with low accuracy, and large circles indicating that the error range is large are displayed at regular intervals on the route using the GPS-based self-position estimation unit 17. To be done.
  • the circle representing the error range can be specified by a constant from the specifications of the sensors used by the Vision-based self-position estimation unit 16 and the GPS-based self-position estimation unit 17, or can be specified by the user.
  • the user can easily grasp the estimation accuracy of the self-position estimation system used by the drone 1 along the route on the map, and for example, can confirm the margin with the obstacle.
  • the effective range for the altitude and speed of the drone 1 is obtained for each self-position estimation system.
  • the SLAM vision is in an effective range. Is required as. In other words, the altitude and speed below the stereo parallax effective limit and above the frame (time) common visual field limit and the stereo common visual field limit become the effective range of the SLAM vision. Then, at an altitude higher than the stereo parallax effective limit and an altitude lower than the frame (time) common visual field limit, only the inertial measurement device 15 is used. Further, at altitudes below the stereo common visual field limit, the inertial measurement unit 15 and proximity distance measuring sensor are used.
  • the Vision-based self-position estimation unit 16 is used from H1 which is the common viewing limit between frames (time) to altitude H2 which is the effective limit of stereo parallax. It is required as the effective range of altitude.
  • the mission flight control device 11 can determine whether or not it is within the effective range of the Vision-based self-position estimation unit 16 based on the altitude and speed specified in the waypoint WP. Then, for example, when it is determined that the specified altitude and speed are not within the effective range of the Vision-based self-position estimation unit 16, that is, when it is outside the effective range of the Vision-based self-position estimation unit 16, Vision-based. The selection of the self-position estimation unit 16 is automatically disabled.
  • the Vision-based self-position estimation unit 16 is selected in the instruction GUI display area 43.
  • Check box is grayed out. That is, it is visualized that the Vision-based self-position estimation unit 16 cannot be selected.
  • the user can recognize the self-position estimation system that can be selected based on the altitude and speed, and can easily select the self-position estimation system according to the situation.
  • FIG. 12 is a flowchart illustrating a waypoint setting process for automatically selecting a waypoint WP with high accuracy priority.
  • the waypoint setting process shown in FIG. 12 can be executed instead of step S12 in FIG.
  • step S31 the user uses the personal computer 12 to specify the altitude and speed for each waypoint WP specified in step S11.
  • step S32 the user instructs the personal computer 12 to start the process of automatically setting the self-position estimation system for each waypoint WP with priority on accuracy.
  • step S33 for example, the personal computer 12 targets the waypoint WP, which is the start position, to set the self-position estimation system in order, and temporarily sets the most accurate self-position estimation system for the target waypoint WP. ..
  • step S34 the personal computer 12 determines whether or not the altitude and speed specified in step S31 are within the effective range in which the self-position estimation system temporarily set at the present time can be used.
  • step S34 determines in step S34 that the altitude and speed are not within the effective range, that is, if the altitude and speed are out of the effective range, the process proceeds to step S35.
  • step S35 the personal computer 12 temporarily sets a high-precision self-position estimation system next to the self-position estimation system that is temporarily set at the present time. After that, the process returns to step S34, and the same process is repeated thereafter.
  • step S34 determines whether the altitude and speed are within the effective range. If it is determined in step S34 that the altitude and speed are within the effective range, the process proceeds to step S36.
  • step S36 the personal computer 12 sets the currently temporarily set self-position estimation system for the target waypoint WP.
  • step S37 the personal computer 12 determines whether or not the self-position estimation system has been set for all the waypoint WPs specified by the user in step S11 of FIG.
  • step S37 If the personal computer 12 determines in step S37 that the self-position estimation system has not been set for all waypoint WPs, the process returns to step S33 for the next waypoint WP. Then, the same processing is repeated thereafter.
  • step S37 if it is determined in step S37 that the personal computer 12 has set the self-position estimation system for all the waypoint WPs, the waypoint setting process ends and the process proceeds to step S13 of FIG.
  • the mission flight control device 11 automatically sets the self-position estimation system for each waypoint WP with high accuracy priority, so that the drone 1 can fly with higher accuracy. Appropriate flight control can be realized.
  • FIG. 13 is a flowchart illustrating a waypoint setting process for automatically selecting a waypoint WP with speed priority.
  • the waypoint setting process shown in FIG. 13 can be executed instead of step S12 of FIG.
  • step S41 the user uses the personal computer 12 to specify the altitude and speed for each waypoint WP specified in step S11.
  • step S42 the user instructs the personal computer 12 to start the process of automatically setting the self-position estimation system for each waypoint WP with priority on speed.
  • step S43 for example, the personal computer 12 targets the self-position estimation system to be set in order from the waypoint WP which is the start position, and temporarily sets the highest speed self-position estimation system for the target waypoint WP. ..
  • step S44 the personal computer 12 determines whether or not the altitude and speed specified in step S41 are within the effective range in which the self-position estimation system temporarily set at the present time can be used.
  • step S44 determines in step S44 that the altitude and speed are not within the effective range, that is, if the altitude and speed are out of the effective range, the process proceeds to step S45.
  • step S45 the personal computer 12 temporarily sets the high-speed self-position estimation system next to the self-position estimation system that is temporarily set at the present time. After that, the process returns to step S44, and the same process is repeated thereafter.
  • step S44 determines whether the altitude and speed are within the effective range. If it is determined in step S44 that the altitude and speed are within the effective range, the process proceeds to step S46.
  • step S46 the personal computer 12 sets the self-position estimation system temporarily set at the present time for the target waypoint WP.
  • step S47 the personal computer 12 determines whether or not the self-position estimation system has been set for all the waypoint WPs specified by the user in step S11 of FIG.
  • step S47 If the personal computer 12 determines in step S47 that the self-position estimation system has not been set for all waypoint WPs, the process returns to step S43 for the next waypoint WP. Then, the same processing is repeated thereafter.
  • step S47 if it is determined in step S47 that the personal computer 12 has set the self-position estimation system for all the waypoint WPs, the waypoint setting process ends and the process proceeds to step S13 of FIG.
  • the mission flight control device 11 automatically sets the self-position estimation system with speed priority for each waypoint WP, and appropriately controls the drone 1 to fly at a higher speed. It is possible to realize various flight control.
  • FIG. 14 is a flowchart illustrating a waypoint setting process for automatically selecting the altitude for each waypoint WP according to the speed and the designation of the self-position estimation system.
  • the waypoint setting process shown in FIG. 12 can be executed instead of step S12 in FIG.
  • step S51 the user uses the personal computer 12 to specify the self-position estimation system and the speed for each waypoint WP specified in step S11.
  • step S52 the user uses the personal computer 12 to instruct to start the process of automatically setting the altitude for each waypoint WP.
  • step S53 for example, the personal computer 12 targets the waypoint WP, which is the start position, to set the self-position estimation system in order, and calculates the lowest altitude at which the self-position estimation system is effective for the target waypoint WP. To do.
  • step S54 the personal computer 12 determines whether or not the altitude calculated in step S53 is within the valid range when the self-position estimation system set for the target waypoint WP is used. ..
  • step S54 determines in step S54 that the altitude is not within the effective range, that is, if the altitude is out of the effective range, the process proceeds to step S55.
  • step S55 an error display indicating that the self-position estimation system and speed specified for the target waypoint WP cannot be specified is displayed, and the waypoint setting process is terminated. That is, in this case, the process of automatically selecting the altitude for each waypoint WP is stopped.
  • step S54 determines in step S54 that the altitude is within the effective range. the process proceeds to step S56.
  • step S56 the personal computer 12 sets the altitude calculated in step S53 with respect to the target waypoint WP.
  • step S57 the personal computer 12 determines whether or not the altitude has been set for all the waypoint WPs specified by the user in step S11 of FIG.
  • step S57 If the personal computer 12 determines in step S57 that altitudes have not been set for all waypoint WPs, the process returns to step S53 for the next waypoint WP, and the same process is repeated thereafter. Will be done.
  • step S57 if it is determined in step S57 that the personal computer 12 has set altitudes for all waypoint WPs, the waypoint setting process ends and the process proceeds to step S13 in FIG.
  • the mission flight control device 11 automatically sets the altitude for each waypoint WP and realizes appropriate flight control of the drone 1 so that the drone 1 flies at a lower altitude. be able to.
  • a method is used in which the user inputs data to the personal computer 12 as shown by a broken line arrow pointing to the personal computer 12 from the outside in FIG. That is, the user can input data indicating the latitude, longitude, and azimuth of the position where the drone 1 takes off into the personal computer 12 to align the data on the map.
  • the data is input from the GPS-based self-position estimation unit 17 to the personal computer 12 as shown by the dashed arrow pointing to the personal computer 12 from the GPS-based self-position estimation unit 17 in FIG.
  • the method is used. That is, by inputting the GPS-based observation information output from the GPS-based self-position estimating unit 17 mounted on the drone 1 to the personal computer 12, the latitude, longitude, and azimuth of the position where the drone 1 takes off are indicated.
  • the data can be aligned on the map.
  • the mission flight control device 11 can customize the mission flight so as to avoid the obstacle based on the position of the obstacle.
  • a waypoint WP is designated on the map displayed in the map display area 42 within a range that does not hit an obstacle. Then, by making the drone 1 fly along the route along the waypoint WP, the viewpoint image and the obstacle map as shown in the middle part of FIG. 16 are acquired.
  • the viewpoint image is, for example, an image captured in the direction of flight by the camera mounted on the drone 1.
  • the obstacle map is, for example, a map (Occupancy map) that three-dimensionally represents an obstacle based on distance measurement by a vision sensor mounted on the drone 1, and the middle part of FIG. 16 corresponds to a viewpoint image.
  • An example of an obstacle map is shown.
  • the user refers to the obstacle map to finely adjust the position of the waypoint WP, for example, the waypoint WP5 as shown in the lower part of FIG. You can customize the mission flight path to get closer.
  • the mission flight control device 11 can superimpose the waypoint WP and the route on the obstacle map represented three-dimensionally.
  • an obstacle map By using such an obstacle map, it is possible to fine-tune the waypoint WP in more detail, for example, by referring to the altitude of the obstacle.
  • a map representing obstacles at the altitude of the waypoint WP, which is the target of fine adjustment, using contour lines may be used.
  • FIG. 18 is a block diagram showing a configuration example of the second embodiment of the mission flight control device.
  • the same reference numerals are given to the configurations common to the mission flight control device 11 of FIG. 2, and detailed description thereof will be omitted.
  • the mission flight control device 11A includes a personal computer 12, an action plan creation unit 13, an image sensor 14, an inertial measurement unit 15, a Vision-based self-position estimation unit 16, a GPS-based self-position estimation unit 17, a flight control unit 18, and a flight control unit 18. , It is common with the mission flight control device 11 of FIG. 2 in that it is configured to include a drive unit 19.
  • the mission flight control device 11A is different from the mission flight control device 11 of FIG. 2 in that it has an obstacle map creation unit 20.
  • the obstacle map creation unit 20 is supplied with image data (Image data) from the image sensor 14 and Vision-based observation information (Pose/Velocity) from the Vision-based self-position estimation unit 16. Then, the obstacle map creating unit 20 creates an obstacle map as shown in FIG. 16 based on the image data and the vision-based observation information, and supplies the obstacle map to the personal computer 12.
  • the user can fine-tune the waypoint WP by using the obstacle map as shown in FIGS. 16 and 17, and customize the mission flight so as to avoid the obstacle.
  • FIG. 19 shows a flowchart explaining the process of customizing the mission flight.
  • step S61 the user uses the personal computer 12 to specify the waypoint WP within the range where the drone 1 does not hit an obstacle on the map displayed in the map display area 42 of the mission flight setting screen 41.
  • step S62 when the user instructs the drone 1 to start the flight, the flight control unit 18 controls the flight in response to the instruction, and the drone 1 starts the obstacle map creation flight for creating the obstacle map. To do.
  • step S ⁇ b>63 the obstacle map creating unit 20 performs the image data supplied from the image sensor 14 and the Vision-based observation supplied from the Vision-based self-position estimating unit 16 during the obstacle map creating flight of the drone 1. Distance measurement is performed based on the information. Then, the obstacle map creation unit 20 creates an obstacle map that represents the range in which the obstacle exists in the route based on the waypoint WP designated in step S61.
  • step S64 the flight control unit 18 passes through all the routes based on the waypoint WP specified in step S61, and after the obstacle map creation flight is completed, makes the drone 1 stand by at the start position.
  • step S65 the personal computer 12 displays the obstacle map created by the obstacle map creation unit 20 on the display unit.
  • an obstacle zone may be displayed by superimposing an obstacle zone on the map displayed in the map display area 42, or as shown in FIG. An obstacle map that is three-dimensionally expressed from the viewpoint may be displayed.
  • step S66 the user uses the personal computer 12 to fine-tune the position of the waypoint WP with reference to the obstacle map.
  • the action plan creation unit 13 updates the action plan of the drone 1, and the same processing as described in step S14 and subsequent steps of FIG. Flight control is performed based on the adjusted waypoint WP.
  • the obstacle zone including the distance measurement error is mapped to the obstacle zone according to the distance measurement error of the distance measurement when creating the obstacle map. It can be superimposed and displayed.
  • an error ellipse representing an error range based on the estimation accuracy of the self-position estimation system is displayed as an obstacle including a ranging error. It can be superimposed on the map on which the zone is displayed.
  • the ranging error ⁇ Zc [m] is calculated by using the following equation (distance measuring depth Zc [m], minimum parallax unit ⁇ d [pixel], baseline distance b [m], and focus distance f [pixel]. It can be obtained according to 1).
  • the present technology can be applied to other than flight control in which the drone 1 passes through the waypoint WP as described above.
  • the drone 1 when configured to include an image sensor, a GPS sensor, and a downward ToF (Time of Flight) sensor, it can be applied to switching sensors to be used.
  • the ToF sensor can measure in places with no texture, in dark places, etc., and has the advantage of higher accuracy than image sensors, but it can only measure the distance that the self-luminous near infrared light can reach, Since it emits light by itself, it has the disadvantage of high power consumption.
  • the drone 1 when the drone 1 is in the landing mode, turn on the downward ToF sensor and measure the shape of the vicinity with the ToF sensor in order to search for a flat place where it is possible to land. At this time, since the ToF sensor can measure the shape even in a place with few textures, it is possible to search for a flat place more effectively than the image sensor.
  • Drone 1 takes off or during mission flight, turn off the downward ToF sensor. That is, due to the characteristics of the ToF sensor, only the short distance can be measured from the ToF sensor, so the drone 1 can suppress power consumption by turning off the ToF sensor.
  • this technology can be applied to, for example, a robot vacuum cleaner that performs automatic driving.
  • a robot vacuum cleaner is configured to be equipped with an image sensor and a ToF sensor, and cleaning is started from a power supply port.
  • the ToF sensor is turned on, and the robot vacuum measures with the ToF sensor and the image sensor in order to search for the self-position and obstacles in the vicinity with high accuracy. ..
  • the robot vacuum creates a map from the power supply port.
  • the ToF sensor is turned off.
  • the robot cleaner holds the map from the power supply port, it does not require additional obstacle detection with the ToF sensor, and the image sensor alone can detect its own position and return to the power supply port. Can be done.
  • the robot vacuum cleaner can reduce power consumption by turning off the ToF sensor. Then, after the robot vacuum has moved to the vicinity of the power supply port, the ToF sensor is turned on for highly accurate alignment with the power supply port.
  • the sensors specified according to the task in this technology can be applied to active sensors other than the ToF sensor, such as Lidar and Sonar, in the same manner as the ToF sensor. Further, as long as it is a robot that automatically travels, it can be applied not only to a robot vacuum cleaner but also to, for example, a factory transfer robot.
  • this technology can be applied to, for example, driving control in an automatically driven vehicle, in addition to the flight control of the drone 1.
  • the GPS-based self-position estimating unit 17 is used when an autonomous vehicle travels on a general road, while the Vision-based self-position estimating unit 16 is used when an autonomous vehicle is parked in a parking lot. It can be configured, or it can be configured to use a self-position estimation unit using active sensors such as various radars and ToF sensors.
  • FIG. 21 is a block diagram showing a configuration example of an embodiment of a computer in which a program for executing the above-mentioned series of processes is installed.
  • the program can be recorded in advance on the hard disk 105 or ROM 103 as a recording medium built in the computer.
  • the program can be stored (recorded) in the removable recording medium 111 driven by the drive 109.
  • a removable recording medium 111 can be provided as so-called package software.
  • examples of the removable recording medium 111 include a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disk, a DVD (Digital Versatile Disc), a magnetic disk, and a semiconductor memory.
  • the program can be downloaded to the computer via a communication network or a broadcasting network and installed on the built-in hard disk 105. That is, for example, the program transfers wirelessly from a download site to a computer via an artificial satellite for digital satellite broadcasting, or transfers to a computer by wire via a network such as LAN (Local Area Network) or the Internet. be able to.
  • LAN Local Area Network
  • the computer includes a CPU (Central Processing Unit) 102, and an input/output interface 110 is connected to the CPU 102 via a bus 101.
  • CPU Central Processing Unit
  • the CPU 102 executes a program stored in a ROM (Read Only Memory) 103 in accordance with a command input by a user operating the input unit 107 via the input/output interface 110. .. Alternatively, the CPU 102 loads the program stored in the hard disk 105 into the RAM (Random Access Memory) 104 and executes it.
  • ROM Read Only Memory
  • the CPU 102 performs processing according to the above-mentioned flowchart or processing performed according to the above-mentioned block diagram configuration. Then, the CPU 102 outputs the processing result, for example, via the input/output interface 110, from the output unit 106, or from the communication unit 108, and further records the result on the hard disk 105, if necessary.
  • the input unit 107 is composed of a keyboard, a mouse, a microphone, and the like. Further, the output unit 106 is composed of an LCD (Liquid Crystal Display), a speaker, or the like.
  • LCD Liquid Crystal Display
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program also includes processing executed in parallel or individually (for example, parallel processing or processing by an object).
  • program may be processed by one computer (processor) or may be distributed by a plurality of computers. Further, the program may be transferred to a remote computer and executed.
  • the system means a set of a plurality of constituent elements (devices, modules (parts), etc.), and it does not matter whether or not all constituent elements are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. ..
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • a configuration other than the above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit). ..
  • the present technology can have a configuration of cloud computing in which a single function is shared by a plurality of devices via a network and jointly processes.
  • the above-mentioned program can be executed in any device.
  • the device may have necessary functions (functional blocks, etc.) so that necessary information can be obtained.
  • each step described in the above flowchart can be executed by one device or can be shared and executed by a plurality of devices.
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • a plurality of processes included in one step can be executed as processes of a plurality of steps.
  • the processes described as a plurality of steps can be collectively executed as one step.
  • the processing of the steps for describing the program may be executed in chronological order according to the order described in this specification, or may be called in parallel or called. It may be executed individually at a necessary timing such as time. That is, as long as there is no contradiction, the processing of each step may be executed in an order different from the above-mentioned order. Furthermore, the process of the step of writing this program may be executed in parallel with the process of another program, or may be executed in combination with the process of another program.
  • a self-position estimating unit used to estimate the position of the moving body is selected from a plurality of self-position estimating units having different estimation accuracy based on an index, and a state specifying unit for obtaining the state of the moving body.
  • An action control device that controls the action of the moving body according to a previously created action plan based on the state of the moving body.
  • the index is position information or area information acquired from GPS (Global Positioning System). The behavior control device according to (1).
  • the state identification unit Of the indices when the mobile body behaves, a nearest neighbor index selection unit that selects the index that is the closest with the behavior of the mobile body, Of the plurality of pieces of observation information output as a result of estimating the position of the moving body by each of the plurality of self-position estimation units, the designation being performed based on the index selected by the nearest neighbor index selection unit.
  • An observation information selection unit that selects the observation information output from the self-position estimation unit, The behavior control device according to (1) or (2), further comprising: a state update unit that obtains the latest state of the mobile body based on the observation information selected by the observation information selection unit.
  • the behavior control device according to any one of (1) to (3), further including: a designation unit that designates the self-position estimation unit selected by the state identification unit for each of the indices.
  • the designating unit designates the self-position estimating unit for each predetermined index according to a priority item to be prioritized when the self-position estimating unit estimates the self-position of the moving body at the predetermined index.
  • Behavior control device described in. (6) When the priority is the estimation accuracy, the designating unit is configured to obtain the highest estimation accuracy within the effective range of altitude and speed at which the self-position estimating unit can effectively function.
  • the behavior control device according to (5), wherein the estimation unit is designated.
  • the designating unit is configured to obtain the fastest moving speed within the range of the altitude and the effective range of the speed at which the self-position estimating unit can effectively function.
  • the behavior control device according to (5) above which specifies a position estimation unit.
  • the designating unit designates the lowest altitude at which the designated self-position estimating unit effectively functions, as the predetermined altitude.
  • the behavior control device according to (4) which is specified for each index.
  • the user instructing the creation of the behavior plan designates a plurality of the indicators and also designates the self-position estimating unit for each of the indicators, The behavior control according to (4) above.
  • the display unit further visualizes the self-position estimation unit designated for each index by the designation unit and visualizes and displays the self-position estimation unit used for each route according to the index.
  • the behavior control device according to (9).
  • the display unit displays a valid range of altitude and speed of the moving body on which the self-position estimating unit can effectively function, based on the index in which the predetermined self-position estimating unit is designated,
  • the behavior control device which visualizes and displays that designation outside the valid range is impossible.
  • the behavior control device according to (10) wherein the display unit visualizes and displays the estimation accuracy of the self-position estimation unit used in the route along each route.
  • the display unit visualizes and displays that the self-position estimation unit that cannot effectively function at the altitude and speed cannot be specified.
  • the behavior control device according to (10) above.
  • An obstacle map creation unit that creates an obstacle map representing a range in which an obstacle exists in the vicinity of the route based on distance measurement performed by the moving body while moving according to the action plan, The display unit displays the obstacle map by superimposing it on a map showing a region in which the moving body is moved,
  • the behavior control device according to (10), wherein in the designating unit, the position of the index on the map is finely adjusted and redesignated by the user.
  • a self-position estimation unit used to estimate the position of the moving body is selected from a plurality of self-position estimation units having different estimation accuracy based on an index, and the state of the moving body is obtained, Controlling the behavior of the mobile body according to a behavior plan created in advance based on the state of the mobile body.
  • a self-position estimation unit used to estimate the position of the moving body is selected from a plurality of self-position estimation units having different estimation accuracy based on an index, and the state of the moving body is obtained, A program for executing information processing including controlling the behavior of the moving body according to a behavior plan created in advance based on the state of the moving body.
  • 11 Mission flight control device 12 Personal computer, 13 Action plan creation unit, 14 Image sensor, 15 Inertial measurement unit, 16 Vision-based self-position estimation unit, 17 GPS-based self-position estimation unit, 18 Flight control unit, 19 Drive unit, 20 Obstacle map creation unit, 21 EKF processing unit, 22 navigator, 23 drive control unit, 31 EKF status prediction unit, 32 nearest waypoint selection unit, 33 observation information selection unit, 34 EKF status update unit, 41 mission flight setting Screen, 42 map display area, 43 instruction GUI display area

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Abstract

本開示は、より適切な行動制御を実現することができるようにする行動制御装置および行動制御方法、並びにプログラムに関する。 EKF処理部は、ドローンの位置を推定するのに使用する自己位置推定部を、推定精度の異なる複数の自己位置推定部の中からドローンが行動する際の指標となるウェイポイントに基づいて選択し、ドローンの状態を求める。そして、ナビゲータが、ドローンの状態に基づいて、予め作成された行動計画に従ってドローンの行動を制御する。本技術は、例えば、ドローンのミッション飛行を制御するミッション飛行制御装置に適用できる。

Description

行動制御装置および行動制御方法、並びにプログラム
　本開示は、行動制御装置および行動制御方法、並びにプログラムに関し、特に、より適切な行動制御を実現することができるようにした行動制御装置および行動制御方法、並びにプログラムに関する。
　従来、いわゆるドローンと称される無人航空機（UAV：Unmanned Aerial Vehicle）などの移動体は、例えば、ユーザの操作に応じて飛行する他、予め指定されたウェイポイントを通過するというミッションに従って飛行すること（以下、ミッション飛行と称する）ができる。
　このようなミッション飛行を実現するには、ドローンが、自己の位置を推定するための自己位置推定システムを備える必要がある。例えば、自己位置推定システムには、GPS（Global Positioning System）センサを利用して自己の位置を推定する手法や、ビジョンセンサを利用して自己の位置を推定する手法などが主に用いられ、その他にも様々な手法を用いることができる。
　例えば、GPSセンサを利用した自己位置推定システムは、GPSを広範囲で利用することができるメリットがある一方で、自己位置を推定する精度が低い（例えば、数メートル程度の誤差）というデメリットがある。また、ビジョンセンサを利用した自己位置推定システムは、自己位置を推定する精度が高い（例えば、数センチ程度の誤差）というメリットがある一方で、ビジョンが有効に利用できる範囲が狭く、一様な見た目や遠景などにおいては利用することができないというデメリットがある。
　また、特許文献１には、複数の位置情報を取得して移動範囲の情報を設定することによって、移動する経路または範囲を、より正確に設定することが可能な移動体が開示されている。
特許第６２８９７５０号
　ところで、従来のドローンでは、例えば、ミッション飛行の全体に亘って同一の自己位置推定システムを利用するように構成されていたため、自己位置を推定する際の推定精度を変えながら、状況に応じた適切な飛行制御を行うことは困難であった。例えば、あるウェイポイントでは高精度で自己位置を推定しながら飛行させたり、あるウェイポイントでは低精度であっても高速で飛行させたりするというようなミッション飛行を行うことが実現されていなかった。
　本開示は、このような状況に鑑みてなされたものであり、より適切な行動制御を実現することができるようにするものである。
　本開示の一側面の行動制御装置は、移動体の位置を推定するのに使用する自己位置推定部を、推定精度の異なる複数の前記自己位置推定部の中から指標に基づいて選択して、前記移動体の状態を求める状態特定部と、前記移動体の状態に基づいて、予め作成された行動計画に従って前記移動体の行動を制御する行動制御部とを備える。
　本開示の一側面の行動制御方法またはプログラムは、前記移動体の位置を推定するのに使用する自己位置推定部を、推定精度の異なる複数の前記自己位置推定部の中から指標に基づいて選択して、前記移動体の状態を求めることと、前記移動体の状態に基づいて、予め作成された行動計画に従って前記移動体の行動を制御することとを含む。
　本開示の一側面においては、移動体の位置を推定するのに使用する自己位置推定部が、推定精度の異なる複数の自己位置推定部の中から指標に基づいて選択されて、移動体の状態が求められ、移動体の状態に基づいて、予め作成された行動計画に従って移動体の行動が制御される。
ミッション飛行について説明する図である。 本技術を適用したミッション飛行制御装置の第１の実施の形態の構成例を示すブロック図である。 EKF処理部の構成例を示す図である。 ミッション飛行設定画面の一例を示す図である。 自己位置推定システムの切り替えについて説明する図である。 ミッション飛行制御処理を説明するフローチャートである。 EKF処理を説明するフローチャートである。 高度および速度の有効範囲を視覚化したユーザインタフェースの一例を示す図である。 推定精度を視覚化したユーザインタフェースの一例を示す図である。 自己位置推定システムごとの高度および速度についての有効範囲を説明する図である。 Visionベース自己位置推定が選択不可であることを視覚化したユーザインタフェースの一例を示す図である。 高精度優先でウェイポイントＷＰを自動的に選択するウェイポイント設定処理を説明するフローチャートである。 速度優先でウェイポイントＷＰを自動的に選択するウェイポイント設定処理を説明するフローチャートである。 速度および自己位置推定システムの指定に応じて、ウェイポイントＷＰごとの高度を自動的に選択するウェイポイント設定処理を説明するフローチャートである。 ミッション飛行制御装置での位置合わせについて説明する図である。 障害物の位置に基づいて、障害物を回避するようにミッション飛行をカスタマイズする方法について説明する図である。 障害物マップを利用したウェイポイントの微調整について説明する図である。 本技術を適用したミッション飛行制御装置の第２の実施の形態の構成例を示すブロック図である。 ミッション飛行をカスタマイズする処理を説明するフローチャートが示されている。 障害物の測距精度を視覚化したユーザインタフェースの一例を示す図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　＜ミッション飛行について＞
　図１を参照して、ドローンのミッション飛行について説明する。
　例えば、図１に示すように、６カ所のウェイポイントＷＰ１乃至ＷＰ６が指定されている場合、スタート位置であるウェイポイントＷＰ１からゴール位置であるウェイポイントＷＰ６まで順番に、ウェイポイントＷＰ２乃至ＷＰ５を通過するような経路で行動計画が作成される。この場合、ドローン１は、図１において２点鎖線で示されるような経路に沿って飛行するミッション飛行を実行することができる。
　なお、本実施の形態では、ドローン１が通過する際の指標としてウェイポイントＷＰを利用するミッション飛行について説明するが、ウェイポイントＷＰを利用する以外に、例えば、ドローン１の行動タスク（撮像を行うや、物品を搬送するなど）を指定して行動計画を作成してもよい。即ち、ユーザがウェイポイントＷＰを指定することに限らず、行動タスクの内容に従ってウェイポイントＷＰが指定されるようにしてもよい。なお、ウェイポイントＷＰの位置は、例えば、ドローン１が事前飛行を行う際にGPSに従って取得される位置情報または領域情報に基づいて特定することができる。
　＜ミッション飛行制御装置の第１の構成例＞
　図２は、本技術を適用したミッション飛行制御装置の第１の実施の形態の構成例を示すブロック図である。
　図２に示すように、ミッション飛行制御装置１１は、パーソナルコンピュータ１２、行動計画作成部１３、画像センサ１４、慣性計測装置１５、Visionベース自己位置推定部１６、GPSベース自己位置推定部１７、フライト制御部１８、および、駆動部１９を備えて構成される。また、フライト制御部１８は、EKF（Extended Kalman Filter）処理部２１、ナビゲータ２２、および、駆動制御部２３を備えて構成される。
　例えば、図１のドローン１に、画像センサ１４、慣性計測装置１５、Visionベース自己位置推定部１６、GPSベース自己位置推定部１７、フライト制御部１８、および、駆動部１９が内蔵されるように、ミッション飛行制御装置１１を構成することができる。
　パーソナルコンピュータ１２は、例えば、後述する図４に示すようなミッション飛行設定画面４１を表示する表示部、および、マウスやキーボードなどの操作部を有しており、ユーザが、ウェイポイントＷＰを指定するのに用いられる。そして、パーソナルコンピュータ１２は、ユーザにより指定されたウェイポイントＷＰを、行動計画作成部１３に供給するとともに、フライト制御部１８のEKF処理部２１に供給する。
　行動計画作成部１３は、パーソナルコンピュータ１２から供給されるウェイポイントＷＰを通過するようにドローン１を飛行させるための行動計画（Path plan）を作成して、フライト制御部１８のナビゲータ２２に供給する。
　画像センサ１４は、例えば、CCD（Charge Coupled Device）やCMOS（Complementary Metal-Oxide-Semiconductor）イメージセンサなどの固体撮像素子を有している。そして、画像センサ１４は、ドローン１の周囲を固体撮像素子で撮像することにより得られる画像の画像データ（Image data）を、Visionベース自己位置推定部１６に供給する。
　慣性計測装置１５は、例えば、３軸のジャイロセンサなどから構成されるIMU（Inertial Measurement Unit）である。そして、慣性計測装置１５は、ドローン１の飛行に伴って計測される加速度および角速度を、慣性計測データ（IMU data）としてVisionベース自己位置推定部１６に供給するとともに、フライト制御部１８のEKF処理部２１に供給する。
　Visionベース自己位置推定部１６は、画像センサ１４から供給される画像データ、および、慣性計測装置１５から供給される慣性計測データを用いて、ドローン１の位置を推定する自己位置推定（Visual Inertial Odometry）を行う。例えば、Visionベース自己位置推定部１６には、SLAM（Simultaneous Localization and Mapping）を利用することができる。そして、Visionベース自己位置推定部１６は、画像データに基づいて自己位置推定を行った結果として得られる姿勢および速度（Pose/Velocity）を、Visionベースの観測情報としてフライト制御部１８のEKF処理部２１に供給する。
　GPSベース自己位置推定部１７は、例えば、GPSを利用して、ドローン１の位置を推定する自己位置推定を行う。そして、GPSベース自己位置推定部１７は、GPSに基づいて自己位置推定を行った結果として得られるNED（North-East-Down）座標上での姿勢（Pose in NED）を、GPSベースの観測情報としてフライト制御部１８のEKF処理部２１に供給する。
　フライト制御部１８は、行動計画作成部１３から供給される行動計画に従ってドローン１が飛行するように駆動部１９を制御し、ドローン１の飛行制御を実行する。
　駆動部１９は、例えば、複数のロータを駆動するモータにより構成され、それらのロータにより発生する推力により、ドローン１を飛行させる。
　EKF処理部２１は、慣性計測装置１５から供給される慣性計測データ、Visionベース自己位置推定部１６から供給されるVisionベースの観測情報、および、GPSベース自己位置推定部１７から供給されるGPSベースの観測情報に基づいて、ドローン１の状態（位置および姿勢）を求めるEKF処理を行う。そして、EKF処理部２１は、EKF処理を行った結果得られるEKF処理結果として、ドローン１の状態を示す状態情報を、ナビゲータ２２および駆動制御部２３に供給する。なお、EKF処理部２１の詳細な構成については、図２を参照して後述する。
　ナビゲータ２２は、行動計画作成部１３から供給される行動計画に従ってドローン１が飛行するように、EKF処理部２１から供給される状態情報に基づいて、駆動制御部２３に対し、現在のドローン１の状態から経路に沿った飛行に必要な指示を行う。
　駆動制御部２３は、EKF処理部２１から供給される状態情報に基づいて、ナビゲータ２２からの指示に従ってドローン１を飛行させるために、駆動部１９に対する駆動制御（例えば、位置制御（Position Control）および姿勢制御（Attitude Control））を行う。
　以上のようにミッション飛行制御装置１１は構成されており、例えば、ユーザは、パーソナルコンピュータ１２を用いてウェイポイントＷＰを指定する際に、ウェイポイントＷＰごとに自己位置推定システムを指定することができる。即ち、ミッション飛行制御装置１１では、ウェイポイントＷＰごとの自己位置推定システムとして、Visionベース自己位置推定部１６またはGPSベース自己位置推定部１７が指定され、いずれか一方の観測情報を用いた飛行制御が行われる。なお、ミッション飛行制御装置１１では、ウェイポイントＷＰごとに、Visionベース自己位置推定部１６およびGPSベース自己位置推定部１７の両方の観測情報を組み合わせて、例えば、複数の観測情報を選択的に用いて飛行制御を行ってもよい。
　従って、EKF処理部２１は、最近傍のウェイポイントＷＰにおける自己位置推定システムとしてVisionベース自己位置推定部１６が指定されている場合には、Visionベースの観測情報を選択してEKF処理を行う。一方、EKF処理部２１は、最近傍のウェイポイントＷＰにおける自己位置推定システムとしてGPSベース自己位置推定部１７が指定されている場合には、GPSベースの観測情報を選択してEKF処理を行う。
　図３は、EKF処理部２１の構成例を示すブロック図である。
　図３に示すように、EKF処理部２１は、EKF状態予測部３１、最近傍ウェイポイント選択部３２、観測情報選択部３３、およびEKF状態更新部３４を備えて構成される。
　EKF状態予測部３１には、EKF処理部２１から周期的に出力される、最新のドローン１の状態を示す状態情報がEKF状態更新部３４から供給される。そして、EKF状態予測部３１は、その最新の状態情報から、図２の慣性計測装置１５から供給される慣性計測データ（IMU data）に基づいて、次に状態情報を出力するタイミングにおけるドローン１の状態を予測する。そして、EKF状態予測部３１は、予測したドローン１の状態を示す予測状態情報を、最近傍ウェイポイント選択部３２およびEKF状態更新部３４に供給する。例えば、予測状態情報は、EKFの状態変数であり、ドローン１の位置および姿勢や、慣性計測装置１５が有するセンサのバイアス値などである。
　最近傍ウェイポイント選択部３２は、パーソナルコンピュータ１２から供給された複数のウェイポイントＷＰの中から、EKF状態予測部３１から供給される予測状態情報に基づくドローン１の位置に最も近い最近傍ウェイポイントを選択する。例えば、最近傍ウェイポイント選択部３２は、NED座標系でのユークリッド距離が最短になるウェイポイントＷＰを、最近傍ウェイポイントとして選択する。そして、最近傍ウェイポイント選択部３２は、最近傍ウェイポイントについて、Visionベース自己位置推定部１６およびGPSベース自己位置推定部１７のうち、どちらが自己位置推定システムとして指定されているかを示す指定情報を、観測情報選択部３３に供給する。
　観測情報選択部３３は、最近傍ウェイポイント選択部３２から供給される指定情報に従って、Visionベース自己位置推定部１６から供給されるVisionベースの観測情報（Pose/Velocity）、および、GPSベース自己位置推定部１７から供給されるGPSベースの観測情報（Pose in NED）のうち、いずれか一方を選択する。例えば、観測情報選択部３３は、最近傍ウェイポイントにおける自己位置推定システムとしてVisionベース自己位置推定部１６が指定されている場合、Visionベースの観測情報を選択して、EKF状態更新部３４に供給する。一方、観測情報選択部３３は、最近傍ウェイポイントにおける自己位置推定システムとしてGPSベース自己位置推定部１７が指定されている場合、GPSベースの観測情報を選択して、EKF状態更新部３４に供給する。
　EKF状態更新部３４は、観測情報選択部３３が選択した観測情報に基づいて、EKF状態予測部３１から供給される予測状態情報を更新し、最新の観測情報に基づいたドローン１の状態を求める。例えば、EKF状態更新部３４は、観測情報に示される推定された位置に従って、EKF状態予測部３１により予測されたドローン１の状態が、より正確なものとなるように更新する。そして、EKF状態更新部３４は、ドローン１の状態を示す状態情報を、EKF処理部２１におけるEKF処理結果として出力するとともに、EKF状態予測部３１に供給する。
　以上のように、EKF処理部２１は、最近傍ウェイポイントにおける自己位置推定システムを選択することができ、ウェイポイントＷＰごとの状況に応じた推定精度で、ドローン１の状態を求めることができる。
　従って、ミッション飛行制御装置１１では、ウェイポイントＷＰごとに自己位置を推定する際の推定精度を変えながら、状況に応じた適切な飛行制御によってドローン１のミッション飛行を行うことができる。
　また、本実施の形態のように、最近傍ウェイポイントについて、いずれかの自己位置推定システムが指定される構成の他、例えば、ウェイポイントＷＰに替えて、地図上の位置に応じていずれかの自己位置推定システムが指定される構成を採用してもよい。また、地図上の領域に応じていずれかの自己位置推定システムが指定される構成であってもよい。
　なお、本実施の形態では、自己位置推定システムとしてVisionベース自己位置推定部１６およびGPSベース自己位置推定部１７を利用しているが、この２つを利用する構成に限定されることはない。例えば、ミッション飛行制御装置１１は、高度センサや地磁気センサ、その他自己位置推定システム（UWB（Ultra Wide Band），wifi SLAM，OptiTrack、近距離無線通信ベースなど）を利用し、それらを切り替えて使用するような構成としてもよい。
　図４は、ミッション飛行設定画面の一例を示す図である。
　例えば、ミッション飛行設定画面４１は、パーソナルコンピュータ１２のGUI（Graphical User Interface）を利用して、ミッション飛行を行うのに必要な各種の指示を入力するのに用いられる。図示するように、ミッション飛行設定画面４１は、マップ表示領域４２および指示GUI表示領域４３からなる。
　マップ表示領域４２には、例えば、ドローン１を飛行させる領域の地図が表示される。そして、マップ表示領域４２に表示されている地図を利用してユーザがウェイポイントＷＰ１乃至ＷＰ６を指示すると、その地図に重畳するようにウェイポイントＷＰ１乃至ＷＰ６が表示される。
　このとき、ウェイポイントＷＰ１乃至ＷＰ６は、それぞれに対して指定されている自己位置推定システムを視覚化するように表示される。即ち、図４に示す例では、ウェイポイントＷＰ１乃至ＷＰ３およびＷＰ６が実線で表されており、自己位置推定システムとしてVisionベース自己位置推定部１６が指定されていることが視覚化されている。また、ウェイポイントＷＰ４およびＷＰ５が破線で表されており、自己位置推定システムとしてGPSベース自己位置推定部１７が指定されていることが視覚化されている。
　また、マップ表示領域４２では、ウェイポイントＷＰ１乃至ＷＰ６を順番に接続する経路についても、それぞれの経路をドローン１が飛行する際に用いられる自己位置推定システムを視覚化するような表示が行われる。
　例えば、図４に示す例では、自己位置推定システムとしてVisionベース自己位置推定部１６が指定されているウェイポイントＷＰ１乃至ＷＰ３を接続する経路は実線で表されており、その経路をドローン１が飛行する際にVisionベース自己位置推定部１６が用いられることが視覚化されている。同様に、自己位置推定システムとしてGPSベース自己位置推定部１７が指定されているウェイポイントＷＰ４およびＷＰ５を接続する経路は破線で表されており、その経路をドローン１が飛行する際にGPSベース自己位置推定部１７が用いられることが視覚化されている。
　さらに、ウェイポイントＷＰ３およびＷＰ４を接続する経路では、その経路をドローン１が飛行する際にVisionベース自己位置推定部１６からGPSベース自己位置推定部１７に切り替えられて用いられることが、実線から破線へ変化することで視覚化されている。同様に、ウェイポイントＷＰ５およびＷＰ６を接続する経路では、その経路をドローン１が飛行する際にGPSベース自己位置推定部１７からVisionベース自己位置推定部１６に切り替えられて用いられることが、破線から実線へ変化することで視覚化されている。
　指示GUI表示領域４３には、例えば、図５を参照して後述するように、ウェイポイントＷＰごとの自己位置推定システムを指示するのに利用されるGUIが表示される。
　図５を参照して、ウェイポイントＷＰに対して指定される自己位置推定システムの切り替えについて説明する。図５には、ウェイポイントＷＰ４に対して指定される自己位置推定システムを、GPSベース自己位置推定部１７からVisionベース自己位置推定部１６に切り替える例が示されている。
　図５の上側に示すように、マップ表示領域４２において、自己位置推定システムの切り替えの対象となるウェイポイントＷＰ４を指定すると、指示GUI表示領域４３に、自己位置推定システムを指定するためのチェックボックスが表示される。即ち、GPSベース自己位置推定部１７を指定するためのチェックボックスと、Visionベース自己位置推定部１６を指定するためのチェックボックスとが表示される。
　このとき、GPSベース自己位置推定部１７を指定するためのチェックボックスにチェックマークが表示されており、ウェイポイントＷＰ４に対してGPSベース自己位置推定部１７が指定されていることが視覚化されている。
　そして、ユーザが、Visionベース自己位置推定部１６を指定するためのチェックボックスに対する操作を行うと、図５の下側に示すように、Visionベース自己位置推定部１６を指定するためのチェックボックスにチェックマークが表示される。これにより、マップ表示領域４２において、ウェイポイントＷＰ４の表示が破線から実線となるように変化する。さらに、ウェイポイントＷＰ３およびＷＰ４を接続する経路は実線で表され、ウェイポイントＷＰ４およびＷＰ５を接続する経路は破線から実線へ変化するように表される。
　例えば、GPSベース自己位置推定部１７の推定精度でドローン１を飛行させていた個所において、より高精度にドローン１を飛行させたい場合に、Visionベース自己位置推定部１６に設定を切り替える操作が行われる。このように、ユーザは、ウェイポイントＷＰを通過する際に要求される推定精度に基づいて、自己位置推定システムを指定することができる。
　＜ミッション飛行制御処理＞
　図６に示すフローチャートを参照して、ミッション飛行制御装置１１において実行されるミッション飛行制御処理について説明する。なお、ミッション飛行を行うのに必要な情報、例えば、ドローン１を飛行させる領域の地図や地形などの情報は、事前に低精度で飛行することによって取得されているものとする。
　ステップＳ１１において、ユーザは、パーソナルコンピュータ１２を利用し、図４に示したミッション飛行設定画面４１のマップ表示領域４２に表示されている地図上にウェイポイントＷＰを指定する。これに応じて、パーソナルコンピュータ１２は、ユーザにより指定されたウェイポイントＷＰを、行動計画作成部１３に供給する。
　ステップＳ１２において、ユーザは、パーソナルコンピュータ１２を利用し、ステップＳ１１で指定したウェイポイントＷＰごとの自己位置推定システムとして、Visionベース自己位置推定部１６またはGPSベース自己位置推定部１７を指定する。これに応じて、パーソナルコンピュータ１２は、ユーザにより指定されたウェイポイントＷＰごとの自己位置推定システムを、フライト制御部１８のEKF処理部２１に供給する。
　ステップＳ１３において、行動計画作成部１３は、ステップＳ１１で指定されたウェイポイントＷＰを通過するようなドローン１の行動計画を作成し、フライト制御部１８のナビゲータ２２に供給する。
　ステップＳ１４において、ユーザがドローン１に対する飛行開始を指示すると、その指示に応じてフライト制御部１８が飛行制御を行う。これにより、ドローン１は、例えば、図１に示したスタート位置であるウェイポイントＷＰ１に向かって飛行し、ステップＳ１３で作成された行動計画に従った飛行を開始する。
　ステップＳ１５において、Visionベース自己位置推定部１６は、画像センサ１４から供給される画像データ、および、慣性計測装置１５から供給される慣性計測データに基づいてドローン１の位置を推定し、Visionベースの観測情報を取得する。また、GPSベース自己位置推定部１７は、GPSを利用してドローン１の位置を推定し、GPSベースの観測情報を取得する。
　ステップＳ１６において、EKF処理部２１は、慣性計測装置１５から供給される慣性計測データ、Visionベース自己位置推定部１６から供給されるVisionベースの観測情報、および、GPSベース自己位置推定部１７から供給されるGPSベースの観測情報に基づいて、ドローン１の状態を求めるEKF処理を行う。なお、EKF処理については、図７を参照して後述する。
　ステップＳ１７において、フライト制御部１８は、ドローン１を経路に沿って飛行させる飛行制御を行う。即ち、ナビゲータ２２は、ステップＳ１３で行動計画作成部１３により作成された行動計画に従ってドローン１が飛行するように、EKF処理部２１から供給される状態情報に基づいて、駆動制御部２３に対する指示を行う。そして、駆動制御部２３は、EKF処理部２１から供給される状態情報に基づいて、ナビゲータ２２からの指示に従ってドローン１を飛行させるように、駆動部１９に対する駆動制御を行う。
　ステップＳ１８において、ナビゲータ２２は、例えば、図１に示したゴール位置であるウェイポイントＷＰ６までドローン１が飛行したか否かを判定する。
　ステップＳ１８において、ナビゲータ２２が、ゴール位置までドローン１が飛行していないと判定した場合、処理はステップＳ１５に戻り、以下、同様の処理が繰り返して行われる。一方、ステップＳ１８において、ナビゲータ２２が、ゴール位置までドローン１が飛行したと判定した場合、処理はステップＳ１９に進む。
　ステップＳ１９において、フライト制御部１８は、ドローン１が飛行の終了に伴う所定動作、例えば、ホバリングなどを行うように飛行制御を行い、その後、ミッション飛行制御処理は終了される。
　図７は、図６のステップＳ１６で行われるEKF処理を説明するフローチャートである。
　ステップＳ２１において、EKF状態予測部３１は、図２の慣性計測装置１５から供給される慣性計測データに基づいて、ドローン１の状態（位置および姿勢）を予測する。
　ステップＳ２２において、最近傍ウェイポイント選択部３２は、ステップＳ２１でEKF状態予測部３１により予測されたドローン１の位置に最も近い最近傍ウェイポイントを選択する。そして、最近傍ウェイポイント選択部３２は、最近傍ウェイポイントに対して指定されている自己位置推定システムを示す指定情報を、観測情報選択部３３に供給する。
　ステップＳ２３において、観測情報選択部３３は、ステップＳ２２で最近傍ウェイポイント選択部３２から供給された指定情報に従って、観測情報を選択してEKF状態更新部３４に供給する。例えば、観測情報選択部３３は、最近傍ウェイポイントに対する自己位置推定システムとして、Visionベース自己位置推定部１６が指定されている場合にはVisionベースの観測情報を選択し、GPSベース自己位置推定部１７が指定されている場合にはGPSベースの観測情報を選択する。
　ステップＳ２４において、EKF状態更新部３４は、ステップＳ２３で観測情報選択部３３から供給される観測情報に基づいて、ステップＳ２１でEKF状態予測部３１により予測されたドローン１の状態を更新する。そして、ドローン１の状態を示す状態情報を出力した後、EKF処理は終了される。
　以上のようなミッション飛行制御処理およびEKF処理によって、ミッション飛行制御装置１１は、ウェイポイントＷＰごとに自己位置推定システムを選択して、それぞれの推定精度で、ドローン１の適切な飛行制御を実現することができる。
　＜自己位置推定システムの指定に必要な情報の視覚化＞
　図８乃至図１１を参照して、自己位置推定システムの指定に必要な情報の視覚化について説明する。
　図８には、高度および速度の有効範囲を視覚化したユーザインタフェースの一例が示されている。
　例えば、図８に示すように、ウェイポイントＷＰ３における自己位置推定システムとしてVisionベース自己位置推定部１６を指定したとき、高度および速度の有効範囲が視覚化して提示される。即ち、Visionベース自己位置推定部１６を利用する場合、所定の精度以上で自己位置を推定することが可能な高度および速度が決められており、図８に示す例では、その高度および速度以上となる範囲がグレーアウトとなっている。
　これにより、ユーザは、高度および速度の有効範囲を参考にして、自己位置推定システムとしてVisionベース自己位置推定部１６を指定するかどうかを判断することができる。
　図９には、推定精度を視覚化したユーザインタフェースの一例が示されている。
　例えば、図９示すように、自己位置を推定する精度に基づく誤差範囲を表す誤差楕円が、一点鎖線の円形で提示される。即ち、Visionベース自己位置推定部１６は高精度で自己位置を推定することができ、Visionベース自己位置推定部１６を利用する経路には、誤差範囲が小さなことを表す小さな円形が一定間隔で表示される。一方、GPSベース自己位置推定部１７は低精度で自己位置を推定することになり、GPSベース自己位置推定部１７を利用する経路には、誤差範囲が大きいことを表す大きな円形が一定間隔で表示される。
　例えば、誤差範囲を表す円形は、Visionベース自己位置推定部１６およびGPSベース自己位置推定部１７が利用するセンサのスペックから定数で指定したり、ユーザが指定したりすることができる。
　これにより、ユーザは、ドローン１が利用する自己位置推定システムの推定精度を、地図上で経路に沿って容易に把握することができ、例えば、障害物とのマージンを確認することができる。
　図１０および図１１を参照して、選択不可となる自己位置推定システムの視覚化について説明する。
　例えば、図１０に示すように、自己位置推定システムごとに、ドローン１の高度および速度についての有効範囲が求められる。
　即ち、図１０のＡに示すように、ドローン１において下向きのステレオカメラを用いたSLAMを利用するVisionベース自己位置推定部１６では、図１０のＢに示すように、SLAMのビジョンが有効な範囲として求められる。つまり、ステレオ視差有効限界以下となり、かつ、フレーム（時刻）間共通視野限界およびステレオ共通視野限界以上となる高度および速度が、SLAMのビジョンが有効な範囲となる。そして、ステレオ視差有効限界より高い高度、および、フレーム（時刻）間共通視野限界より低い高度では、慣性計測装置１５のみが用いられる。さらに、ステレオ共通視野限界より低い高度では、慣性計測装置１５および近接測距センサが用いられる。
　例えば、ドローン１が速度Ｘ[m/s2]で飛行する場合、フレーム（時刻）間共通視野限界であるＨ１からステレオ視差有効限界である高度Ｈ２までが、Visionベース自己位置推定部１６を利用できる高度の有効範囲として求められる。
　従って、ミッション飛行制御装置１１では、ウェイポイントＷＰにおける高度および速度が指定されるのに基づいて、Visionベース自己位置推定部１６の有効範囲内であるか否かを判定することができる。そして、例えば、指定された高度および速度が、Visionベース自己位置推定部１６の有効範囲内ではないと判定された場合、即ち、Visionベース自己位置推定部１６の有効範囲外である場合、Visionベース自己位置推定部１６の選択が自動的に不可となる。
　従って、図１１に示すように、指定された高度および速度が、Visionベース自己位置推定部１６の有効範囲外である場合、指示GUI表示領域４３において、Visionベース自己位置推定部１６を選択するためのチェックボックスがグレーアウトとなる。即ち、Visionベース自己位置推定部１６が選択不可であることが視覚化されている。
　これにより、ユーザは、高度および速度に基づいて選択することができる自己位置推定システムを認識することができ、状況に応じた自己位置推定システムの選択を容易に行うことができる。
　＜指標に基づく自動設定処理＞
　図１２乃至図１４を参照して、優先事項に基づいて、ウェイポイントＷＰごとに自己位置推定システムや高度などを自動的に設定する自動設定処理について説明する。
　図１２は、高精度優先でウェイポイントＷＰを自動的に選択するウェイポイント設定処理を説明するフローチャートである。例えば、図１２に示すウェイポイント設定処理は、図６のステップＳ１２に替えて実行することができる。
　例えば、図６のステップＳ１１の処理後、ステップＳ３１において、ユーザは、パーソナルコンピュータ１２を利用し、ステップＳ１１で指定したウェイポイントＷＰごとに、高度および速度を指定する。
　ステップＳ３２において、ユーザは、パーソナルコンピュータ１２を利用し、ウェイポイントＷＰごとの自己位置推定システムを精度優先で、自動的に設定する処理を開始することを指示する。
　ステップＳ３３において、例えば、パーソナルコンピュータ１２は、スタート位置であるウェイポイントＷＰから順に自己位置推定システムを設定する対象とし、その対象のウェイポイントＷＰについて、最も高精度の自己位置推定システムを仮設定する。
　ステップＳ３４において、パーソナルコンピュータ１２は、ステップＳ３１で指定された高度および速度が、現時点で仮設定されている自己位置推定システムを用いることができる有効範囲内であるか否かを判定する。
　ステップＳ３４において、パーソナルコンピュータ１２が、高度および速度が有効範囲内でないと判定した場合、即ち、高度および速度が有効範囲外である場合、処理はステップＳ３５に進む。
　ステップＳ３５において、パーソナルコンピュータ１２は、現時点で仮設定されている自己位置推定システムの次に高精度の自己位置推定システムを仮設定する。その後、処理はステップＳ３４に戻り、以下、同様の処理が繰り返して行われる。
　一方、ステップＳ３４において、高度および速度が有効範囲内であると判定した場合、処理はステップＳ３６に進む。
　ステップＳ３６において、パーソナルコンピュータ１２は、現時点で仮設定されている自己位置推定システムを、対象のウェイポイントＷＰに対して設定する。
　ステップＳ３７において、パーソナルコンピュータ１２は、図６のステップＳ１１でユーザにより指定された全てのウェイポイントＷＰについて自己位置推定システムを設定したか否かを判定する。
　ステップＳ３７において、パーソナルコンピュータ１２が、全てのウェイポイントＷＰについて自己位置推定システムを設定していないと判定した場合、次のウェイポイントＷＰを対象として、処理はステップＳ３３に戻る。そして、以下、同様の処理が繰り返して行われる。
　一方、ステップＳ３７において、パーソナルコンピュータ１２が、全てのウェイポイントＷＰについて自己位置推定システムを設定したと判定した場合、ウェイポイント設定処理は終了し、図６のステップＳ１３に進む。
　以上のようなウェイポイント設定処理によって、ミッション飛行制御装置１１は、ウェイポイントＷＰごとに高精度優先で自己位置推定システムを自動的に設定して、より高精度で飛行するように、ドローン１の適切な飛行制御を実現することができる。
　図１３は、速度優先でウェイポイントＷＰを自動的に選択するウェイポイント設定処理を説明するフローチャートである。例えば、図１３に示すウェイポイント設定処理は、図６のステップＳ１２に替えて実行することができる。
　例えば、図６のステップＳ１１の処理後、ステップＳ４１において、ユーザは、パーソナルコンピュータ１２を利用し、ステップＳ１１で指定したウェイポイントＷＰごとに、高度および速度を指定する。
　ステップＳ４２において、ユーザは、パーソナルコンピュータ１２を利用し、ウェイポイントＷＰごとの自己位置推定システムを速度優先で、自動的に設定する処理を開始することを指示する。
　ステップＳ４３において、例えば、パーソナルコンピュータ１２は、スタート位置であるウェイポイントＷＰから順に自己位置推定システムを設定する対象とし、その対象のウェイポイントＷＰについて、最も高速度の自己位置推定システムを仮設定する。
　ステップＳ４４において、パーソナルコンピュータ１２は、ステップＳ４１で指定された高度および速度が、現時点で仮設定されている自己位置推定システムを用いることができる有効範囲内であるか否かを判定する。
　ステップＳ４４において、パーソナルコンピュータ１２が、高度および速度が有効範囲内でないと判定した場合、即ち、高度および速度が有効範囲外である場合、処理はステップＳ４５に進む。
　ステップＳ４５において、パーソナルコンピュータ１２は、現時点で仮設定されている自己位置推定システムの次に高速度の自己位置推定システムを仮設定する。その後、処理はステップＳ４４に戻り、以下、同様の処理が繰り返して行われる。
　一方、ステップＳ４４において、高度および速度が有効範囲内であると判定した場合、処理はステップＳ４６に進む。
　ステップＳ４６において、パーソナルコンピュータ１２は、現時点で仮設定されている自己位置推定システムを、対象のウェイポイントＷＰに対して設定する。
　ステップＳ４７において、パーソナルコンピュータ１２は、図６のステップＳ１１でユーザにより指定された全てのウェイポイントＷＰについて自己位置推定システムを設定したか否かを判定する。
　ステップＳ４７において、パーソナルコンピュータ１２が、全てのウェイポイントＷＰについて自己位置推定システムを設定していないと判定した場合、次のウェイポイントＷＰを対象として、処理はステップＳ４３に戻る。そして、以下、同様の処理が繰り返して行われる。
　一方、ステップＳ４７において、パーソナルコンピュータ１２が、全てのウェイポイントＷＰについて自己位置推定システムを設定したと判定した場合、ウェイポイント設定処理は終了し、図６のステップＳ１３に進む。
　以上のようなウェイポイント設定処理によって、ミッション飛行制御装置１１は、ウェイポイントＷＰごとに速度優先で自己位置推定システムを自動的に設定して、より高速度で飛行するように、ドローン１の適切な飛行制御を実現することができる。
　図１４は、速度および自己位置推定システムの指定に応じて、ウェイポイントＷＰごとの高度を自動的に選択するウェイポイント設定処理を説明するフローチャートである。例えば、図１２に示すウェイポイント設定処理は、図６のステップＳ１２に替えて実行することができる。
　例えば、図６のステップＳ１１の処理後、ステップＳ５１において、ユーザは、パーソナルコンピュータ１２を利用し、ステップＳ１１で指定したウェイポイントＷＰごとに、自己位置推定システムおよび速度を指定する。
　ステップＳ５２において、ユーザは、パーソナルコンピュータ１２を利用し、ウェイポイントＷＰごとの高度を、自動的に設定する処理を開始することを指示する。
　ステップＳ５３において、例えば、パーソナルコンピュータ１２は、スタート位置であるウェイポイントＷＰから順に自己位置推定システムを設定する対象とし、その対象のウェイポイントＷＰについて、自己位置推定システムが有効な最も低い高度を算出する。
　ステップＳ５４において、パーソナルコンピュータ１２は、ステップＳ５３で算出された高度が、対象のウェイポイントＷＰに対して設定されている自己位置推定システムを用いたときの有効範囲内であるか否かを判定する。
　ステップＳ５４において、パーソナルコンピュータ１２が、高度が有効範囲内でないと判定した場合、即ち、高度が有効範囲外である場合、処理はステップＳ５５に進む。
　ステップＳ５５において、対象のウェイポイントＷＰに対して指定された自己位置推定システムおよび速度が指定不可であることを示すエラー表示を行い、ウェイポイント設定処理は終了される。即ち、この場合、ウェイポイントＷＰごとの高度を自動的に選択する処理が中止されることになる。
　一方、ステップＳ５４において、パーソナルコンピュータ１２が、高度が有効範囲内であると判定した場合、処理はステップＳ５６に進む。
　ステップＳ５６において、パーソナルコンピュータ１２は、ステップＳ５３で算出された高度を、対象のウェイポイントＷＰに対して設定する。
　ステップＳ５７において、パーソナルコンピュータ１２は、図６のステップＳ１１でユーザにより指定された全てのウェイポイントＷＰについて高度を設定したか否かを判定する。
　ステップＳ５７において、パーソナルコンピュータ１２が、全てのウェイポイントＷＰについて高度を設定していないと判定した場合、次のウェイポイントＷＰを対象として、処理はステップＳ５３に戻り、以下、同様の処理が繰り返して行われる。
　一方、ステップＳ５７において、パーソナルコンピュータ１２が、全てのウェイポイントＷＰについて高度を設定したと判定した場合、ウェイポイント設定処理は終了し、図６のステップＳ１３に進む。
　以上のようなウェイポイント設定処理によって、ミッション飛行制御装置１１は、ウェイポイントＷＰごとに高度を自動的に設定して、より低い高度で飛行するように、ドローン１の適切な飛行制御を実現することができる。
　＜ビジョンだけのときの地図上の位置表示方法＞
　図１５を参照して、ビジョンだけのときの地図上の位置表示方法について説明する。
　例えば、図４のマップ表示領域４２に表示される地図上に、ドローン１の位置を表示するには、ドローン１の実際の位置と地図上の位置との位置合わせを行う必要がある。この位置合わせを行う方法としては、以下で説明する２つの方法が提案される。
　第１の方法としては、図１５において外部からデータをパーソナルコンピュータ１２に向かう破線の矢印のように、ユーザがパーソナルコンピュータ１２にデータを入力する方法が用いられる。即ち、ユーザが、ドローン１が離陸する位置の緯度や経度、方位角を示すデータをパーソナルコンピュータ１２に入力することで、それらのデータを地図上で位置合わせすることができる。
　第２の方法としては、図１５においてGPSベース自己位置推定部１７からデータをパーソナルコンピュータ１２に向かう破線の矢印のように、GPSベース自己位置推定部１７からデータをパーソナルコンピュータ１２にデータを入力する方法が用いられる。即ち、ドローン１に搭載されているGPSベース自己位置推定部１７から出力されるGPSベースの観測情報をパーソナルコンピュータ１２に入力することで、ドローン１が離陸する位置の緯度や経度、方位角を示すデータを、地図上で位置合わせすることができる。
　＜ミッション飛行制御装置の第２の構成例＞
　図１６乃至図２０を参照して、ミッション飛行制御装置の第２の構成例について説明する。
　例えば、ミッション飛行制御装置１１は、障害物の位置に基づいて、障害物を回避するようにミッション飛行をカスタマイズすることができる。
　まず、図１６の上段に示すように、マップ表示領域４２に表示される地図上で、障害物に当たらない範囲でウェイポイントＷＰが指定される。そして、そのウェイポイントＷＰに沿った経路でドローン１を飛行させることにより、図１６の中段に示すような視点画像および障害物マップが取得される。
　視点画像は、例えば、ドローン１に搭載されているカメラにより飛行する方向に向かって撮像された画像である。障害物マップは、例えば、ドローン１に搭載されているビジョンセンサによる測距に基づく障害物を３次元的に表現したマップ（Occupancy map）であり、図１６の中段には、視点画像に対応する障害物マップの一例が示されている。
　その後、ユーザは、障害物マップを参照して、ウェイポイントＷＰの位置を微調整するように、例えば、図１６の下段に示すようにウェイポイントＷＰ５を、障害物を回避しつつ、障害物の近傍まで近づけるように、ミッション飛行の経路をカスタマイズすることができる。
　このとき、例えば、図１７に示すように、ミッション飛行制御装置１１は、３次元的に表現されている障害物マップに重畳させて、ウェイポイントＷＰおよび経路を表示させることができる。このような障害物マップを利用することで、より詳細に、例えば、障害物の高度を参照して、ウェイポイントＷＰの微調整を行うことができる。または、微調整の対象となっているウェイポイントＷＰの高度での障害物を、等高線を用いて表現した地図を利用してもよい。
　図１８は、ミッション飛行制御装置の第２の実施の形態の構成例を示すブロック図である。なお、図１８に示すミッション飛行制御装置１１Ａにおいて、図２のミッション飛行制御装置１１と共通する構成については、同一の符号を付し、その詳細な説明は省略する。
　即ち、ミッション飛行制御装置１１Ａは、パーソナルコンピュータ１２、行動計画作成部１３、画像センサ１４、慣性計測装置１５、Visionベース自己位置推定部１６、GPSベース自己位置推定部１７、フライト制御部１８、および、駆動部１９を備えて構成される点で、図２のミッション飛行制御装置１１と共通する。
　そして、ミッション飛行制御装置１１Ａは、障害物マップ作成部２０を備える点で、図２のミッション飛行制御装置１１と異なる構成となっている。
　障害物マップ作成部２０には、画像センサ１４から画像データ（Image data）が供給されるとともに、Visionベース自己位置推定部１６からVisionベースの観測情報（Pose/Velocity）が供給される。そして、障害物マップ作成部２０は、画像データおよびVisionベースの観測情報に基づいて、図１６に示したような障害物マップを作成して、パーソナルコンピュータ１２に供給する。
　これにより、ユーザは、図１６および図１７に示したような障害物マップを利用してウェイポイントＷＰの微調整を行い、障害物を回避するようにミッション飛行をカスタマイズすることができる。
　図１９には、ミッション飛行をカスタマイズする処理を説明するフローチャートが示されている。
　ステップＳ６１において、ユーザは、パーソナルコンピュータ１２を利用し、ミッション飛行設定画面４１のマップ表示領域４２に表示されている地図上で、ドローン１が障害物に当たらない範囲でウェイポイントＷＰを指定する。
　ステップＳ６２において、ユーザがドローン１に対する飛行開始を指示すると、その指示に応じてフライト制御部１８が飛行制御を行って、ドローン１は、障害物マップを作成するための障害物マップ作成飛行を開始する。
　ステップＳ６３において、障害物マップ作成部２０は、ドローン１の障害物マップ作成飛行中に、画像センサ１４から供給される画像データ、および、Visionベース自己位置推定部１６から供給されるVisionベースの観測情報に基づいて測距を行う。そして、障害物マップ作成部２０は、ステップＳ６１で指定されたウェイポイントＷＰに基づく経路において障害物が存在する範囲を表す障害物マップを作成する。
　ステップＳ６４において、フライト制御部１８は、ステップＳ６１で指定されたウェイポイントＷＰに基づく経路を全て通過して、障害物マップ作成飛行が終了した後、スタート位置でドローン１を待機させる。
　ステップＳ６５において、パーソナルコンピュータ１２は、障害物マップ作成部２０により作成された障害物マップを表示部に表示する。このとき、図１６に示したように、マップ表示領域４２に表示される地図に障害物ゾーンを重畳させて障害物マップを表示してもよいし、図１７に示したように、ドローン１の視点から見て３次元的に表現されている障害物マップを表示してもよい。
　ステップＳ６６において、ユーザは、パーソナルコンピュータ１２を利用し、障害物マップを参照してウェイポイントＷＰの位置を微調整する。
　その後、ユーザがウェイポイントＷＰの微調整を終了すると、行動計画作成部１３がドローン１の行動計画を更新し、以下、図６のステップＳ１４以降で説明したのと同様の処理が行われ、微調整されたウェイポイントＷＰに基づく飛行制御が行われる。
　図２０を参照して、障害物の測距精度の視覚化について説明する。
　図２０のＡに示すように、マップ表示領域４２には、障害物マップを作成する際における測距の測距誤差に従い、障害物ゾーンに対して、測距誤差込みの障害物ゾーンを地図に重畳して表示することができる。
　さらに、図２０のＢに示すように、マップ表示領域４２には、上述した図９と同様に、自己位置推定システムの推定精度に基づく誤差範囲を表す誤差楕円を、測距誤差込みの障害物ゾーンが表示されている地図に重畳して表示することができる。
　例えば、ステレオカメラを利用した障害物の測距では、測距誤差を算出することが可能である。
　即ち、測距誤差ΔＺｃ［ｍ］は、測距奥行Ｚｃ［ｍ］、最小視差単位Δｄ［pixel］、ベースライン距離ｂ［ｍ］、およびフォーカス距離ｆ［pixel］を用いて、次の式（１）に従って求めることができる。
Figure JPOXMLDOC01-appb-M000001
　例えば、式（１）に基づき、障害物までの距離を表す測距奥行Ｚｃが大きくなるほど、測距誤差ΔＺｃは大きくなる。
　＜本技術の適用について＞
　本技術は、上述したようなドローン１がウェイポイントＷＰを通過するような飛行制御以外に適用することができる。
　例えば、ドローン１が、画像センサ、GPSセンサ、下方に向かうToF（Time of Flight）センサを備えて構成されるとき、利用するセンサの切り替えに適用することができる。例えば、ToFセンサは、テクスチャがない場所や、暗い場所などでの計測が可能であり、画像センサより高精度というメリットがある一方で、自発光する近赤外光が届く距離しか計測できず、自発光のため消費電力が高いというデメリットがある。
　そこで、ドローン１が着陸する着陸モードのときは、下方に向かうToFセンサをオンにして、着陸できそうな平坦な場所を探すために、近辺の形状をToFセンサで計測する。このとき、ToFセンサは、テクスチャが少ない場所でも形状を計測することができるので、画像センサより有効に平坦な場所を探すことができる。
　これに対し、ドローン１が離陸するときやミッション飛行中には、下方に向かうToFセンサをオフにする。即ち、ToFセンサの特性上、ToFセンサから近距離しか計測できないため、ドローン１は、ToFセンサをオフにすることで消費電力を抑制することができる。
　また、本技術は、例えば、自動走行を行うロボット掃除機に適用することができる。
　例えば、ロボット掃除機は、画像センサおよびToFセンサを備えて構成され、給電ポートから掃除開始するものとする。この場合、ロボット掃除機が掃除を実行する掃除モードのとき、ToFセンサをオンにし、ロボット掃除機は、自己位置と近辺の障害物を高精度に探すために、ToFセンサおよび画像センサで計測する。同時に、ロボット掃除機は、給電ポートからの地図を作成する。
　これに対し、ロボット掃除機の電圧が低下して、給電ポート帰還モードとなったとき、ToFセンサをオフにする。この場合、ロボット掃除機は、給電ポートからの地図を保持しているので、ToFセンサでの追加の障害物検知は不要であり、画像センサだけで自己位置を検出し、給電ポートに帰還することができる。また、ロボット掃除機は、ToFセンサをオフにすることで消費電力を抑制することができる。そして、ロボット掃除機が給電ポートの近傍まで移動した後、給電ポートとの高精度な位置合わせのために、ToFセンサをオンにする。
　なお、本技術においてタスクに応じて指定されるセンサには、ToFセンサ以外の能動型センサ、例えば、LidarやSonarなどにも、ToFセンサと同様に適用することができる。また、自動走行を行うロボットであれば、ロボット掃除機以外にも、例えば、工場用搬送ロボットなどにも適用することができる。
　さらに、本技術は、ドローン１の飛行制御の他、例えば、自動運転の車両における運転制御に適用することができる。例えば、自動運転の車両が一般の道路を走行する際は、GPSベース自己位置推定部１７を用いる一方で、自動運転の車両が駐車場に駐車する際は、Visionベース自己位置推定部１６を用いる構成とすること、または、各種のレーダやToFセンサなどの能動型センサを利用した自己位置推定部を用いる構成とすることができる。
　＜コンピュータの構成例＞
　次に、上述した一連の処理（情報処理方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　図２１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
　あるいはまた、プログラムは、ドライブ１０９によって駆動されるリムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウェアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
　CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
　これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
　なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　＜構成の組み合わせ例＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　移動体の位置を推定するのに使用する自己位置推定部を、推定精度の異なる複数の前記自己位置推定部の中から指標に基づいて選択して、前記移動体の状態を求める状態特定部と、
　前記移動体の状態に基づいて、予め作成された行動計画に従って前記移動体の行動を制御する行動制御部と
　を備える行動制御装置。
（２）
　前記指標は、GPS（Global Positioning System）から取得した位置情報または領域情報である
　上記（１）に記載の行動制御装置。
（３）
　前記状態特定部は、
　　前記移動体が行動する際の指標のうち、前記移動体の行動に伴って最も近傍となる前記指標を選択する最近傍指標選択部と、
　　複数の前記自己位置推定部それぞれが前記移動体の位置を推定した結果として出力される複数の観測情報のうちの、前記最近傍指標選択部により選択された前記指標に基づいて指定されている前記自己位置推定部から出力される前記観測情報を選択する観測情報選択部と、
　　前記観測情報選択部により選択された前記観測情報に基づいて、前記移動体の最新の状態を求める状態更新部と
　を有する
　上記（１）または（２）に記載の行動制御装置。
（４）
　前記状態特定部により選択される前記自己位置推定部を、前記指標ごとに指定する指定部
　をさらに備える上記（１）から（３）のいずれかに記載の行動制御装置。
（５）
　前記指定部は、所定の前記指標における前記移動体の自己位置を前記自己位置推定部が推定する際に優先させる優先事項に従って、所定の前記指標ごとの前記自己位置推定部を指定する
　上記（４）に記載の行動制御装置。
（６）
　前記指定部は、前記優先事項が推定精度である場合、前記自己位置推定部が有効に機能することが可能な高度および速度の有効範囲の範囲内で、最も高い推定精度を得られる前記自己位置推定部を指定する
　上記（５）に記載の行動制御装置。
（７）
　前記指定部は、前記優先事項が移動速度である場合、前記自己位置推定部が有効に機能することが可能な高度および速度の有効範囲の範囲内で、最も高速な移動速度を得られる前記自己位置推定部を指定する
　上記（５）に記載の行動制御装置。
（８）
　前記指定部は、所定の前記指標における前記自己位置推定部と前記移動体の速度とが指定された場合、その指定された前記自己位置推定部が有効に機能する最も低い高度を、所定の前記指標ごとに指定する
　上記（４）に記載の行動制御装置。
（９）
　前記指定部では、前記行動計画の作成を指示するユーザによって、複数の前記指標が指定されるとともに、それぞれの前記指標ごとの前記自己位置推定部が指定される
　上記（４）に記載の行動制御装置。
（１０）
　前記指定部により前記指標ごとに指定された前記自己位置推定部を視覚化するとともに、前記指標に従った経路ごとに使用される前記自己位置推定部を視覚化して表示する表示部
　をさらに備える上記（９）に記載の行動制御装置。
（１１）
　前記表示部は、所定の前記自己位置推定部が指定された前記指標に基づいて、その自己位置推定部が有効に機能することが可能な前記移動体の高度および速度の有効範囲を表示し、前記有効範囲外について指定不可であることを視覚化して表示する
　上記（１０）に記載の行動制御装置。
（１２）
　前記表示部は、前記経路で使用される前記自己位置推定部の推定精度を、それぞれの経路に沿って視覚化して表示する
　上記（１０）に記載の行動制御装置。
（１３）
　前記表示部は、前記移動体の高度および速度が指定されるのに応じて、その高度および速度では有効に機能することができない前記自己位置推定部について指定不可であることを視覚化して表示する
　上記（１０）に記載の行動制御装置。
（１４）
　前記行動計画に従って前記移動体が移動しながら行う測距に基づいて、前記経路の近傍において障害物が存在する範囲を表す障害物マップを作成する障害物マップ作成部
　をさらに備え、
　前記表示部は、前記移動体を移動させる領域を表す地図に重畳させて前記障害物マップを表示し、
　前記指定部では、前記地図上における前記指標の位置がユーザにより微調整されて再指定される
　上記（１０）に記載の行動制御装置。
（１５）
　前記表示部は、前記障害物マップを作成する際における測距の測距誤差に従って、前記障害物が存在する範囲に対する誤差範囲を前記地図に重畳して表示する
　上記（１４）に記載の行動制御装置。
（１６）
　前記表示部は、前記自己位置推定部の推定精度に基づく誤差範囲を表す誤差楕円を、前記地図に重畳して表示する
　上記（１５）に記載の行動制御装置。
（１７）
　移動体の行動を制御する行動制御装置が、
　前記移動体の位置を推定するのに使用する自己位置推定部を、推定精度の異なる複数の前記自己位置推定部の中から指標に基づいて選択して、前記移動体の状態を求めることと、
　前記移動体の状態に基づいて、予め作成された行動計画に従って前記移動体の行動を制御することと
　を含む行動制御方法。
（１８）
　移動体の行動を制御する行動制御装置のコンピュータに、
　前記移動体の位置を推定するのに使用する自己位置推定部を、推定精度の異なる複数の前記自己位置推定部の中から指標に基づいて選択して、前記移動体の状態を求めることと、
　前記移動体の状態に基づいて、予め作成された行動計画に従って前記移動体の行動を制御することと
　を含む情報処理を実行させるためのプログラム。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１１　ミッション飛行制御装置，　１２　パーソナルコンピュータ，　１３　行動計画作成部，　１４　画像センサ，　１５　慣性計測装置，　１６　Visionベース自己位置推定部，　１７　GPSベース自己位置推定部，　１８　フライト制御部，　１９　駆動部，　２０　障害物マップ作成部，　２１　EKF処理部，　２２　ナビゲータ，　２３　駆動制御部，　３１　EKF状態予測部，　３２　最近傍ウェイポイント選択部，　３３　観測情報選択部，　３４　EKF状態更新部，　４１　ミッション飛行設定画面，　４２　マップ表示領域，　４３　指示GUI表示領域

Claims (18)

  1. 　移動体の位置を推定するのに使用する自己位置推定部を、推定精度の異なる複数の前記自己位置推定部の中から指標に基づいて選択して、前記移動体の状態を求める状態特定部と、
    　前記移動体の状態に基づいて、予め作成された行動計画に従って前記移動体の行動を制御する行動制御部と
    　を備える行動制御装置。
  2. 　前記指標は、GPS（Global Positioning System）から取得した位置情報または領域情報である
    　請求項１に記載の行動制御装置。
  3. 　前記状態特定部は、
    　　前記移動体が行動する際の指標のうち、前記移動体の行動に伴って最も近傍となる前記指標を選択する最近傍指標選択部と、
    　　複数の前記自己位置推定部それぞれが前記移動体の位置を推定した結果として出力される複数の観測情報のうちの、前記最近傍指標選択部により選択された前記指標に基づいて指定されている前記自己位置推定部から出力される前記観測情報を選択する観測情報選択部と、
    　　前記観測情報選択部により選択された前記観測情報に基づいて、前記移動体の最新の状態を求める状態更新部と
    　を有する
    　請求項１に記載の行動制御装置。
  4. 　前記状態特定部により選択される前記自己位置推定部を、前記指標ごとに指定する指定部
    　をさらに備える請求項１に記載の行動制御装置。
  5. 　前記指定部は、所定の前記指標における前記移動体の自己位置を前記自己位置推定部が推定する際に優先させる優先事項に従って、所定の前記指標ごとの前記自己位置推定部を指定する
    　請求項４に記載の行動制御装置。
  6. 　前記指定部は、前記優先事項が推定精度である場合、前記自己位置推定部が有効に機能することが可能な高度および速度の有効範囲の範囲内で、最も高い推定精度を得られる前記自己位置推定部を指定する
    　請求項５に記載の行動制御装置。
  7. 　前記指定部は、前記優先事項が移動速度である場合、前記自己位置推定部が有効に機能することが可能な高度および速度の有効範囲の範囲内で、最も高速な移動速度を得られる前記自己位置推定部を指定する
    　請求項５に記載の行動制御装置。
  8. 　前記指定部は、所定の前記指標における前記自己位置推定部と前記移動体の速度とが指定された場合、その指定された前記自己位置推定部が有効に機能する最も低い高度を、所定の前記指標ごとに指定する
    　請求項４に記載の行動制御装置。
  9. 　前記指定部では、前記行動計画の作成を指示するユーザによって、複数の前記指標が指定されるとともに、それぞれの前記指標ごとの前記自己位置推定部が指定される
    　請求項４に記載の行動制御装置。
  10. 　前記指定部により前記指標ごとに指定された前記自己位置推定部を視覚化するとともに、前記指標に従った経路ごとに使用される前記自己位置推定部を視覚化して表示する表示部
    　をさらに備える請求項９に記載の行動制御装置。
  11. 　前記表示部は、所定の前記自己位置推定部が指定された前記指標に基づいて、その自己位置推定部が有効に機能することが可能な前記移動体の高度および速度の有効範囲を表示し、前記有効範囲外について指定不可であることを視覚化して表示する
    　請求項１０に記載の行動制御装置。
  12. 　前記表示部は、前記経路で使用される前記自己位置推定部の推定精度を、それぞれの経路に沿って視覚化して表示する
    　請求項１０に記載の行動制御装置。
  13. 　前記表示部は、前記移動体の高度および速度が指定されるのに応じて、その高度および速度では有効に機能することができない前記自己位置推定部について指定不可であることを視覚化して表示する
    　請求項１０に記載の行動制御装置。
  14. 　前記行動計画に従って前記移動体が移動しながら行う測距に基づいて、前記経路の近傍において障害物が存在する範囲を表す障害物マップを作成する障害物マップ作成部
    　をさらに備え、
    　前記表示部は、前記移動体を移動させる領域を表す地図に重畳させて前記障害物マップを表示し、
    　前記指定部では、前記地図上における前記指標の位置がユーザにより微調整されて再指定される
    　請求項１０に記載の行動制御装置。
  15. 　前記表示部は、前記障害物マップを作成する際における測距の測距誤差に従って、前記障害物が存在する範囲に対する誤差範囲を前記地図に重畳して表示する
    　請求項１４に記載の行動制御装置。
  16. 　前記表示部は、前記自己位置推定部の推定精度に基づく誤差範囲を表す誤差楕円を、前記地図に重畳して表示する
    　請求項１５に記載の行動制御装置。
  17. 　移動体の行動を制御する行動制御装置が、
    　前記移動体の位置を推定するのに使用する自己位置推定部を、推定精度の異なる複数の前記自己位置推定部の中から指標に基づいて選択して、前記移動体の状態を求めることと、
    　前記移動体の状態に基づいて、予め作成された行動計画に従って前記移動体の行動を制御することと
    　を含む行動制御方法。
  18. 　移動体の行動を制御する行動制御装置のコンピュータに、
    　前記移動体の位置を推定するのに使用する自己位置推定部を、推定精度の異なる複数の前記自己位置推定部の中から指標に基づいて選択して、前記移動体の状態を求めることと、
    　前記移動体の状態に基づいて、予め作成された行動計画に従って前記移動体の行動を制御することと
    　を含む情報処理を実行させるためのプログラム。
PCT/JP2020/006992 2019-03-06 2020-02-21 行動制御装置および行動制御方法、並びにプログラム WO2020179491A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/434,014 US12073732B2 (en) 2019-03-06 2020-02-21 Action control device and action control method, and program
CN202080017612.5A CN113498498B (zh) 2019-03-06 2020-02-21 行动控制设备和行动控制方法、以及程序
JP2021503966A JP7552581B2 (ja) 2019-03-06 2020-02-21 行動制御装置および行動制御方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019040139 2019-03-06
JP2019-040139 2019-03-06

Publications (1)

Publication Number Publication Date
WO2020179491A1 true WO2020179491A1 (ja) 2020-09-10

Family

ID=72337924

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/006992 WO2020179491A1 (ja) 2019-03-06 2020-02-21 行動制御装置および行動制御方法、並びにプログラム

Country Status (4)

Country Link
US (1) US12073732B2 (ja)
JP (1) JP7552581B2 (ja)
CN (1) CN113498498B (ja)
WO (1) WO2020179491A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7501535B2 (ja) * 2019-07-19 2024-06-18 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラム
US20210287556A1 (en) * 2020-03-13 2021-09-16 Electronics And Telecommunications Research Institute Method and apparatus for generating optimal path for an unmanned aerial vehicle
WO2022036284A1 (en) * 2020-08-13 2022-02-17 Invensense, Inc. Method and system for positioning using optical sensor and motion sensors

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015522797A (ja) * 2012-05-01 2015-08-06 ５ディー ロボティクス、インコーポレイテッド 対象物の行動の決定及び共同の相対的な測位に基づく衝突解消
JP2016082441A (ja) * 2014-10-17 2016-05-16 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
US20190050000A1 (en) * 2017-08-08 2019-02-14 Skydio, Inc. Image space motion planning of an autonomous vehicle

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030008619A1 (en) * 2001-07-03 2003-01-09 Werner Raymond J. Location-based information service for identifying areas with degraded radio signal strength
US6876906B1 (en) * 2003-06-06 2005-04-05 Rockwell Collins Graphical symbology for depicting traffic position, navigation uncertainty, and data quality on aircraft displays
JP4694582B2 (ja) * 2008-01-31 2011-06-08 株式会社デンソー ハイブリッド車両の駆動制御装置
KR20130113481A (ko) * 2010-11-12 2013-10-15 넥스트나브, 엘엘씨 광역 포지셔닝 시스템
JP5982190B2 (ja) 2012-06-20 2016-08-31 クラリオン株式会社 車両位置検出装置および車両位置検出方法
US9121711B2 (en) * 2013-03-15 2015-09-01 Csr Technology Inc. Environmental awareness for improved power consumption and responsiveness in positioning devices
CN104603821B (zh) 2013-08-30 2016-10-19 株式会社小松制作所 矿山机械的管理系统以及矿山机械的管理方法
JP6246609B2 (ja) 2014-02-12 2017-12-13 株式会社デンソーアイティーラボラトリ 自己位置推定装置及び自己位置推定方法
JP6597603B2 (ja) 2014-04-25 2019-10-30 ソニー株式会社 制御装置、撮像装置、制御方法、撮像方法及びコンピュータプログラム
US9731744B2 (en) 2015-09-04 2017-08-15 Gatekeeper Systems, Inc. Estimating motion of wheeled carts
US10417469B2 (en) * 2016-05-07 2019-09-17 Morgan E. Davidson Navigation using self-describing fiducials
WO2018020659A1 (ja) 2016-07-29 2018-02-01 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 移動体、移動体制御方法、移動体制御システム、及び移動体制御プログラム
JP6778063B2 (ja) 2016-09-07 2020-10-28 株式会社Ｓｏｋｅｎ 運転支援装置、運転支援方法
EP3500903B1 (en) * 2016-12-01 2021-04-28 SZ DJI Technology Co., Ltd. Systems and methods of unmanned aerial vehicle flight restriction for stationary and moving objects
JP6834648B2 (ja) 2017-03-22 2021-02-24 日本電気株式会社 画像投稿サービスシステム
KR20180107642A (ko) 2017-03-22 2018-10-02 삼성전자주식회사 외부 객체의 움직임에 기반하여 이동 위치를 결정하는 방법 및 이를 구현한 전자 장치
CN107290765B (zh) 2017-07-13 2020-11-03 清华大学 水下潜航器的协作定位方法和系统
CN107289948A (zh) 2017-07-24 2017-10-24 成都通甲优博科技有限责任公司 一种基于多传感器融合的无人机导航系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015522797A (ja) * 2012-05-01 2015-08-06 ５ディー ロボティクス、インコーポレイテッド 対象物の行動の決定及び共同の相対的な測位に基づく衝突解消
JP2016082441A (ja) * 2014-10-17 2016-05-16 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
US20190050000A1 (en) * 2017-08-08 2019-02-14 Skydio, Inc. Image space motion planning of an autonomous vehicle

Also Published As

Publication number Publication date
JPWO2020179491A1 (ja) 2020-09-10
US12073732B2 (en) 2024-08-27
US20220157179A1 (en) 2022-05-19
JP7552581B2 (ja) 2024-09-18
CN113498498B (zh) 2024-04-19
CN113498498A (zh) 2021-10-12

Similar Documents

Publication Publication Date Title
US11787543B2 (en) Image space motion planning of an autonomous vehicle
US11644832B2 (en) User interaction paradigms for a flying digital assistant
US10860040B2 (en) Systems and methods for UAV path planning and control
US8521339B2 (en) Method and system for directing unmanned vehicles
US10086954B2 (en) UAV flight display
EP2895819B1 (en) Sensor fusion
WO2020179491A1 (ja) 行動制御装置および行動制御方法、並びにプログラム
ES2902469T3 (es) Métodos y sistemas para el control del movimiento de dispositivos voladores
EP4342792A2 (en) Systems and methods for uav flight control
US10983535B2 (en) System and method for positioning a movable object
WO2021168819A1 (zh) 无人机的返航控制方法和设备
CN114521248A (zh) 信息处理设备、信息处理方法和程序
WO2019106714A1 (ja) 無人航空機、無人航空機の飛行制御装置、無人航空機の飛行制御方法、及びプログラム
WO2020062356A1 (zh) 控制方法、控制装置、无人飞行器的控制终端
JPWO2019008669A1 (ja) 飛行体制御装置、飛行体制御システムおよび飛行体制御方法
WO2020225979A1 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
WO2021140916A1 (ja) 移動体、情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20765593

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021503966

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20765593

Country of ref document: EP

Kind code of ref document: A1