WO2020262189A1 - 移動体、制御方法、およびプログラム - Google Patents

移動体、制御方法、およびプログラム Download PDF

Info

Publication number
WO2020262189A1
WO2020262189A1 PCT/JP2020/023955 JP2020023955W WO2020262189A1 WO 2020262189 A1 WO2020262189 A1 WO 2020262189A1 JP 2020023955 W JP2020023955 W JP 2020023955W WO 2020262189 A1 WO2020262189 A1 WO 2020262189A1
Authority
WO
WIPO (PCT)
Prior art keywords
external environment
movement
moving body
safety level
safety
Prior art date
Application number
PCT/JP2020/023955
Other languages
English (en)
French (fr)
Inventor
駿 李
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/620,835 priority Critical patent/US20220413517A1/en
Priority to JP2021526876A priority patent/JPWO2020262189A1/ja
Publication of WO2020262189A1 publication Critical patent/WO2020262189A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/06—Rate of change of altitude or depth
    • G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
    • G05D1/0653—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
    • G05D1/0676—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/70—Convertible aircraft, e.g. convertible into land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]

Definitions

  • the present disclosure relates to mobiles, control methods, and programs, and in particular to mobiles, control methods, and programs that enable safer movement and stopping.
  • the moving body includes autonomous moving robots such as drones, vehicles, ships, and vacuum cleaners that move autonomously, as well as devices that move attached to the moving body.
  • autonomous moving robots such as drones, vehicles, ships, and vacuum cleaners that move autonomously, as well as devices that move attached to the moving body.
  • the sensor for example, a camera, sonar, radar, LiDER (Light Detection and Ringing, Laser Imaging Detection and Ranging) and the like are mainly used.
  • Patent Document 1 an unmanned airplane performing autonomous landing searches for a landing zone based on a three-dimensional evidence grid generated using sensor data from an on-board sensor, and evaluates the surface of the landing zone.
  • a technique for controlling flight to land on one is disclosed.
  • a moving object that moves autonomously needs to move or stop in an environment where there is little risk of collision with obstacles or dynamic objects in order to prevent its own failure.
  • the presence of obstacles or the approach of dynamic objects may endanger the aircraft.
  • the moving body of the present disclosure is based on a safety level estimation unit that estimates the safety level according to the passage of time of the own machine in a moving state based on external environment information about the external environment, and based on the estimated safety level.
  • a moving body including a movement control unit that controls the movement of the own machine.
  • the moving body estimates the safety level according to the passage of time of the own machine in the moving state by using the external environment information about the external environment, and based on the estimated safety level, This is a control method for controlling the movement of the own machine.
  • the program of the present disclosure estimates the safety level of a moving object in a moving state according to the passage of time by using the external environment information about the external environment in the processor, and based on the estimated safety level, the movement is performed. It is a program for executing the process of controlling the movement of the body.
  • the safety level of a moving body in a moving state is estimated according to the passage of time using the external environment information about the external environment, and the movement of the moving body is performed based on the estimated safety level. Be controlled.
  • the moving body 10 to which the technique according to the present disclosure is applied which is shown in FIG. 1, estimates the safety level according to the passage of time of the own machine in a moving state based on the external environment information about the external environment in the moving space. , It is configured to control the movement of the own aircraft based on the estimated safety level.
  • the moving body 10 recognizes the state of the external environment based on the sensor data acquired by the sensor (not shown).
  • a person H1 exists on the front left side of the moving body 10, and a lawn L1 exists ahead of the person H1.
  • Four persons H2, H3, H4, and H5 exist in front of the moving body 10, a building B2 exists in front of and right of the moving body 10, and a roadway R3 exists ahead of the building B2.
  • the moving body 10 estimates the safety level based on the external environment information indicating such an external environment.
  • the safety level is during movement (time T1 to T2) and at stop. It is an index of safety at (time T2) and after stopping (time T2 to T3). That is, the moving body 10 estimates the safety level at times T1 to T3.
  • the moving body 10 moves forward and to the left, it may come into contact with the person H1, but if it moves while avoiding the person H1, it can stop on the lawn L1 beyond that, so it is safe.
  • the degree is estimated to be high.
  • the building B2 does not move and can avoid the building B2, but it is safe because it may come into contact with a car or the like on the road R3 ahead.
  • the degree is estimated to be low.
  • the moving body 10 moves and stops based on the estimated safety level.
  • the moving body 10 moves on the path toward the front left of the own aircraft, which is estimated to have the highest degree of safety, and stops on the lawn L1.
  • the moving body includes autonomous moving robots such as drones, vehicles, ships, and vacuum cleaners that move autonomously, as well as devices that move attached to the moving body.
  • autonomous moving robots such as drones, vehicles, ships, and vacuum cleaners that move autonomously, as well as devices that move attached to the moving body.
  • the technology according to the present disclosure includes a drone, an autonomous vehicle moving on land, water or water. It can be applied to autonomous mobile robots such as mobile autonomous navigation vessels and autonomous mobile vacuum cleaners that move indoors.
  • FIG. 3 is a diagram showing the appearance of a moving body to which the technique according to the present disclosure (the present technique) is applied.
  • the mobile body 20 shown in FIG. 3 is configured as a drone.
  • the movement of the moving body 20 is a movement by flight, but when the moving body 20 is configured as an autonomous traveling vehicle, it is a movement on land, and when the moving body 20 is configured as an autonomous navigation vessel, it is on the water. Or it will be an underwater movement. Further, when the moving body 20 is configured as an autonomous mobile vacuum cleaner, the movement is indoors.
  • the moving body 20 is equipped with a sensor 21 for observing the external environment in order to move autonomously without colliding with obstacles in the external environment.
  • the sensor 21 may be a sensor capable of acquiring a three-dimensional shape of the external environment, and is configured to include, for example, a depth sensor such as a camera, a stereo camera, or a ToF (Time of Flight) sensor, a sonar, a radar, or a LiDER. Will be done. Further, the sensor 21 may be configured to include a spectroscopic sensor, a polarizing sensor, or the like that can acquire the material and the degree of unevenness of a flat surface existing in the external environment. The sensor data collected by the sensor 21 is used, for example, for movement control of the moving body 20.
  • a depth sensor such as a camera, a stereo camera, or a ToF (Time of Flight) sensor, a sonar, a radar, or a LiDER. Will be done.
  • the sensor 21 may be configured to include a spectroscopic sensor, a polarizing sensor, or the like that can acquire the material and the degree of unevenness of a flat surface existing in the external environment.
  • the mobile body 20 may be configured to move autonomously, or may move according to a signal from a controller (not shown) for controlling the mobile body 20, which is composed of a transmitter, a PC (Personal Computer), or the like. It may be configured to do so.
  • a controller not shown
  • PC Personal Computer
  • a drone that flies autonomously needs to fly or land in an environment where there is little risk of collision with obstacles or dynamic objects in order to prevent the breakdown of its own aircraft.
  • the presence of obstacles or the approach of dynamic objects may endanger the aircraft.
  • the operator manually flies the drone by operating the controller the operator needs to land in a place where the drone is not endangered at the time of landing or after landing.
  • the mobile body 20 of the present technology is configured to recognize the external environment by using the sensor 21 mounted on the mobile body 20 and realize safer movement and stop.
  • FIG. 4 is a block diagram showing a configuration example of the moving body 20.
  • the moving body 20 includes a control unit 51, a communication unit 52, a storage unit 53, and a moving mechanism 54.
  • the control unit 51 is composed of a processor such as a CPU (Central Processing Unit), a memory, and the like, and controls the communication unit 52, the storage unit 53, the moving mechanism 54, and the sensor 21 by executing a predetermined program. For example, the control unit 51 controls the moving mechanism 54 based on the sensor data collected by the sensor 21.
  • a processor such as a CPU (Central Processing Unit), a memory, and the like
  • the control unit 51 controls the moving mechanism 54 based on the sensor data collected by the sensor 21.
  • the communication unit 52 is composed of a network interface or the like, and performs wireless or wired communication with a controller for controlling the mobile body 20 and any other device.
  • the communication unit 52 may directly communicate with a device to be a communication partner, or may perform network communication via a base station such as Wi-Fi (registered trademark), 4G, 5G, or a repeater. Good.
  • the communication unit 52 receives GPS information transmitted from GPS satellites.
  • the storage unit 53 is composed of a non-volatile memory such as a flash memory, and stores various information under the control of the control unit 51.
  • the moving mechanism 54 is a mechanism for moving the moving body 20, and includes a flight mechanism, a traveling mechanism, a propulsion mechanism, and the like.
  • the moving body 20 is configured as a drone, and the moving mechanism 54 is composed of a motor, a propeller, and the like as a flight mechanism.
  • the moving mechanism 54 is composed of wheels or the like as a traveling mechanism, and when the moving body 20 is configured as an autonomous navigation vessel, the moving mechanism 54 serves as a propulsion mechanism. It consists of a screw propeller and the like.
  • the moving mechanism 54 is driven according to the control of the control unit 51 to move the moving body 20.
  • FIG. 5 is a block diagram showing a functional configuration example of the control unit 51.
  • the functional block of the control unit 51 shown in FIG. 5 is realized by executing a predetermined program by the processors constituting the control unit 51.
  • the control unit 51 is composed of a sensor data acquisition unit 71, an external environment recognition unit 72, a self-position estimation unit 73, a safety level estimation unit 74, a movement control unit 75, and a presentation information generation unit 76.
  • the sensor data acquisition unit 71 acquires the sensor data from the sensor 21 and supplies it to the external environment recognition unit 72 and the self-position estimation unit 73.
  • the external environment recognition unit 72 acquires the external environment information by recognizing the state of the external environment (moving space) based on the sensor data from the sensor data acquisition unit 71.
  • the external environment information includes, for example, information indicating the presence or absence of obstacles (dynamic objects or stationary objects) in the external environment, or attributes of each area in the external environment (whether it is a roadway, a sidewalk, a lawn in a park, etc.). Is included.
  • the acquired external environment information is supplied to the safety degree estimation unit 74.
  • the self-position estimation unit 73 estimates the position of the self (moving body 20) based on the GPS information received by the communication unit 52, and supplies the position information representing the position to the safety level estimation unit 74. Further, the self-position estimation unit 73 may estimate its own position by SLAM (Simultaneous Localization and Mapping) based on the sensor data from the sensor data acquisition unit 71.
  • SLAM Simultaneous Localization and Mapping
  • the safety degree estimation unit 74 is based on the external environment information from the external environment recognition unit 72, and the time of the moving body 20 in the moving state is based on the self-position represented by the position information from the self-position estimation unit 73. Estimate the degree of safety according to the progress. The estimated safety level is supplied to the movement control unit 75 and the presentation information generation unit 76.
  • the movement control unit 75 controls the movement of the moving body 20 based on the safety level from the safety level estimation unit 74.
  • the presentation information generation unit 76 generates presentation information according to the estimated safety level based on the safety level from the safety level estimation unit 74.
  • the generated presentation information is transmitted via the communication unit 52 to a controller or the like on which a captured image captured in the external environment is displayed.
  • the moving body 20 estimates the safety level based on the external environmental information, moves based on the estimated safety level, and stops.
  • step S11 the sensor data acquisition unit 71 acquires the sensor data from the sensor 21.
  • step S12 the external environment recognition unit 72 recognizes the state of the external environment based on the sensor data from the sensor data acquisition unit 71. Specifically, the external environment recognition unit 72 detects a dynamic object or a stationary object as an obstacle in the external environment.
  • the captured image 110 as shown in the upper part of FIG. 7 is captured by the sensor data acquisition unit 71 configured as a camera.
  • the captured image 110 shows three people, H11, H12, and H13.
  • the external environment recognition unit 72 detects a person on the captured image 110 as shown in the lower part of FIG. 7.
  • a frame F11 indicating that the person H11 has been detected a frame F12 indicating that the person H12 has been detected, and a frame F13 indicating that the person H13 has been detected are superimposed and displayed. There is.
  • a person is detected as a dynamic object in the external environment, but in addition to the person, animals such as dogs and cats and other moving objects (for example, drones) may be detected. However, stationary objects such as walls, trees, utility poles and electric wires may be detected.
  • the external environment recognition unit 72 may determine the attributes of each area in the external environment.
  • the captured image 120 as shown in the upper part of FIG. 8 is captured by the sensor data acquisition unit 71 configured as a camera.
  • the photographed image 120 shows the state of the road on which the automobile travels.
  • the external environment recognition unit 72 determines the attributes of the subject on a pixel-by-pixel basis for the captured image 120 by semantic segmentation by machine learning such as deep learning, and labels the attributes for each pixel. As a result, the processed image 130 as shown in the lower part of FIG. 8 is obtained. In the processed image 130, automobiles, roadways, sidewalks, houses, walls, trees, the sky, and the like are identified as the attributes of the subject.
  • the external environment recognition unit 72 acquires the external environment information by recognizing the state of the external environment.
  • the safety level estimation unit 74 estimates the safety level for each divided space based on its own position based on the external environment information acquired by the external environment recognition unit 72. To do.
  • FIG. 9 shows a view of the external environment (moving space) in which the moving body 20 configured as a drone is moving (flying) from the upper surface of the moving body 20.
  • the moving space in which the moving body 20 moves is divided into four divided spaces SA, SB, SC, and SD.
  • the divided space SA is a space opened 90 ° to the left in the figure with respect to the moving body 20, and the lawn L1 exists in the divided space SA.
  • the divided space SB is a space opened at 90 ° below the figure with respect to the moving body 20, and the person H1 and the building B2 exist in the divided space SB.
  • the divided space SC is a space opened 90 ° to the right in the figure with respect to the moving body 20, and the road R3 exists in the divided space SC.
  • the divided space SD is a space opened at 90 ° above the figure with respect to the moving body 20, and four people H2, H3, H4, and H5 exist in the divided space SD.
  • the safety degree estimation unit 74 obtains the number of dynamic objects existing in each of the divided spaces based on the external environment information indicating the presence or absence of the dynamic objects in the external environment, thereby determining the safety degree for each divided space.
  • the safety degree estimation unit 74 obtains the number of dynamic objects existing in each of the divided spaces based on the external environment information indicating the presence or absence of the dynamic objects in the external environment, thereby determining the safety degree for each divided space.
  • the safety degree estimation unit 74 obtains the number of dynamic objects existing in each of the divided spaces based on the external environment information indicating the presence or absence of the dynamic objects in the external environment, thereby determining the safety degree for each divided space.
  • the safety degree estimation unit 74 obtains the number of dynamic objects existing in each of the divided spaces based on the external environment information indicating the presence or absence of the dynamic objects in the external environment, thereby determining the safety degree for each divided space.
  • the safety degree estimation unit 74 obtains the number of dynamic objects existing in each of the divided spaces based on the external
  • the safety degree estimation unit 74 determines the possibility that a dynamic object invades each of the divided spaces based on the external environment information representing the attributes of each region in the external environment, so that each divided space is safe. You can also estimate the degree. For example, since it is unlikely that a person who is a dynamic object enters the lawn L1 existing in the divided space SA, it is estimated that the safety level of the divided space SA is high. On the other hand, it is presumed that the safety level of the divided space SC is low because automobiles, which are dynamic objects, come and go on the roadway R3 existing in the divided space SC.
  • the safety degree estimation unit 74 estimates the safety degree for each divided space by obtaining the ratio occupied by the stationary objects in each divided space based on the external environment information indicating the presence or absence of the stationary object in the external environment. You may. For example, since there is no stationary object in the divided space SA, it is estimated that the safety of the divided space SA is high. On the other hand, since the ratio of the building B2, which is a stationary object, is relatively large in the divided space SB, it is estimated that the safety level of the divided space SB is relatively low.
  • FIG. 10 shows a state in which the external environment (moving space) in which the moving body 20 configured as a drone is moving (flying) is viewed from the upper surface of the moving body 20 as in FIG.
  • stop candidate positions TA, TB, TC, TD, and TE are set as candidates for the stop position (landing point) of the moving body 20.
  • the stop candidate positions TA and TB are set on the lawn L1, and the person H21 exists in the vicinity of the stop candidate position TB.
  • the stop candidate position TC is set on the promenade near the four people H2, H3, H4, and H5.
  • the stop candidate position TD is set on the roadway R3.
  • the stop candidate position TE is set on the promenade near the building B2, and the person H1 is moving toward the stop candidate position TE.
  • the safety degree estimation unit 74 obtains the current density of dynamic objects in the vicinity of the stop candidate position based on the external environment information indicating the presence or absence of the dynamic object in the external environment, thereby determining the stop candidate position. Estimate the safety level of. For example, since there is no dynamic object in the vicinity of the stop candidate position TA, it is estimated that the safety level of the stop candidate position TA is high. On the other hand, since four people H2, H3, H4, and H5 are densely packed in the vicinity of the stop candidate position TC, it is estimated that the safety level of the stop candidate position TC is low.
  • the safety level estimation unit 74 estimates the safety level of the stop candidate position according to the attribute of the area in which the stop candidate position is set, based on the external environment information representing the attribute of each area in the external environment. You can also. For example, since the stop candidate positions TA and TB are set on the lawn L1, it is estimated that the safety of the stop candidate positions TA and TB is high. On the other hand, since the stop candidate position TD is set on the roadway R3, it is estimated that the safety level of the stop candidate position TD is low.
  • the safety degree estimation unit 74 calculates the probability that the dynamic object will pass the stop candidate position in the future based on the external environment information indicating the presence or absence of the dynamic object and the external environment information indicating the attribute of each area. Therefore, the safety level of the stop candidate position may be estimated. For example, since the person H1 is moving toward the stop candidate position TE, it is estimated that the safety level of the stop candidate position TE is low.
  • each item such as the presence / absence of a dynamic object and the attributes of each area in the external environment may be scored, and the safety level of the stop candidate position may be estimated based on the score.
  • FIG. 11 is a diagram showing an example in which the attributes of the region, the presence / absence of a dynamic object (denseness), and the probability of the dynamic object passing through are scored for each of the stop candidate positions TA, TB, TC, TD, and TE. Is.
  • the attribute of the area is grass, its score is 1, the density of dynamic objects is 0, and the passing probability of dynamic objects is 13.0.
  • the attribute of the area is grass, the score is 1, the density of dynamic objects is 0.1, and the passing probability of dynamic objects is 15.0.
  • the attribute of the area is the promenade, the score is 2, the density of dynamic objects is 1.0, and the passing probability of dynamic objects is 145.3.
  • the attribute of the area is the roadway, the score is 5, the density of the dynamic object is 0.1, and the passage probability of the dynamic object is 230.0.
  • the attribute of the area is the promenade, the score is 2, the density of dynamic objects is 0.1, and the passing probability of dynamic objects is 55.3.
  • the safety degree estimation unit 74 excludes, for example, the stop candidate position where the score of the attribute of the area exceeds 4, from the safety degree estimation target.
  • the stop candidate position TD set on the roadway R3 is excluded.
  • the safety estimation unit 74 compares the scores for each stop candidate position in the order of the items with the highest priority, and estimates that the stop candidate position with the lowest score has the highest safety.
  • the moving body 20 configured as a drone when flying in the living room, no one can step on the top surface of the table, so that the top surface of the table is presumed to have a high degree of safety as a stop candidate position. .. On the other hand, since there is a possibility that a person sits on the seat surface of the sofa, it is presumed that the seat surface of the sofa has a low degree of safety as a stop candidate position.
  • the safety degree at the time of stopping and after the stop of the moving body 20 may be estimated by combining the above-mentioned estimation methods.
  • the stop candidate position TA is set on the safe lawn L1 with a low density of dynamic objects at the present time in the vicinity thereof, and the probability that the dynamic objects will pass in the future is low. Therefore, it is estimated that the safety level of the stop candidate position TA is the highest.
  • step S14 the movement control unit 75 controls the movement of the moving body 20 based on the safety degree estimated by the safety degree estimation unit 74.
  • the movement control unit 75 determines a movement route in the divided space estimated to have the highest degree of safety among the divided spaces estimated to have the highest degree of safety, and moves the movement route. Controls the moving mechanism 54. Further, the movement control unit 75 lowers the maximum speed of the moving body 20 in a place where a dynamic object such as a person is likely to pass, based on the external environment information used for estimating the safety level.
  • the moving mechanism 54 may be controlled so as to move.
  • the movement control unit 75 sets the stop candidate position estimated to have the highest safety level as the stop candidate position among the stop candidate positions estimated to have the safety level, and stops at the stop position. Control 54. Further, the movement control unit 75 controls the movement mechanism 54 so as not to stop in a place where many people exist but to stop in a place where there are no people, based on the external environment information used for estimating the safety level. You may.
  • the safety level of the moving body 20 in the moving state is estimated for each divided space according to the passage of time, and the movement is controlled based on the estimated safety level, so that there is an obstacle.
  • the approach of a dynamic object makes it possible to realize safer movement and stop without endangering the moving body 20.
  • steps S31 and S32 of the flowchart of FIG. 12 is the same as the processing of steps S11 and S12 of the flowchart of FIG. 6, so the description thereof will be omitted.
  • step S33 the safety level estimation unit 74 estimates the safety level for each movement route based on its own position based on the external environment information acquired by the external environment recognition unit 72.
  • FIG. 13 shows a state in which the external environment (moving space) in which the moving body 20 configured as a drone is moving (flying) is viewed from the upper surface of the moving body 20 as in FIG.
  • five movement candidate routes PA, PB, PC, PD, and PE are set as candidates for the movement route of the moving body 20.
  • the movement candidate routes PA and PB are set to move to the left in the figure and move on the lawn L1.
  • the movement candidate route PC is set to move upward in the figure and move in the four persons H2, H3, H4, and H5.
  • the movement candidate routes PD and PE are set to move to the right in the figure and move on the roadway R3.
  • the safety degree estimation unit 74 obtains the contact probability with the dynamic object in each of the movement candidate routes based on the external environment information indicating the presence or absence of the dynamic object in the external environment, thereby ensuring safety for each movement route. Estimate the degree.
  • the moving candidate is determined by the number of persons included in the range from the passing area V0 to the passing area V2 of the moving body 20.
  • the contact probability on the route PC is calculated.
  • the persons H2, H3, and H4 are included in the range from the passing area V0 to the passing area V2 of the moving body 20.
  • the contact probability may be calculated based on the movement prediction data and the movement schedule data of the dynamic object. For example, as shown in FIG. 15, it is assumed that the automobile 150, which is a dynamic object, is predicted to move on the movement candidate route PD by the time the moving body 20 reaches the roadway R3. In this case, in the movement candidate route PD and the movement candidate route PE that are set to move on the roadway R3, the contact probability of the movement candidate route PE after the vehicle 150 has passed is calculated to be lower.
  • the safety degree estimation unit 74 assigns a safety score for each region existing on the movement candidate route based on the external environment information representing the attribute of each region in the external environment, thereby ensuring safety for each movement route. You can also estimate the degree. For example, the lawn L1 is given a high score, and the roadway R3 is given a low score.
  • FIG. 16 shows the first contact probability calculated by the number of dynamic objects, the second contact probability calculated by the movement prediction data and the movement schedule data of the dynamic objects, and the movement candidate route for each of the movement candidate routes. It is a figure which shows the score about the safety of the area existing in.
  • the first contact probability is 0%, the second contact probability is 1%, and the safety score is 10.
  • the first contact probability is 0%, the second contact probability is 5%, and the safety score is 10.
  • the first contact probability is 300%, the second contact probability is 300%, and the safety score is 6.
  • the first contact probability is 0%, the second contact probability is 10%, and the safety score is 3.
  • the first contact probability is 0%, the second contact probability is 90%, and the safety score is 3.
  • the safety level estimation unit 74 estimates that the movement candidate route satisfying the conditions for each item has a high safety level. For example, when the conditions for each item are set so that the first contact probability is 5% or less, the second contact probability is 70% or less, and the safety score is 5 or more, the movement candidate route PA It is estimated that the movement candidate route PB has a high degree of safety.
  • the safety estimation unit 74 estimates that, for each of the movement candidate routes satisfying the above-mentioned conditions, the movement candidate route that more reliably satisfies the high priority condition is estimated to have the highest safety level. To do.
  • step S34 the movement control unit 75 moves the moving body 20 based on the safety level estimated by the safety level estimation unit 74. Control.
  • the movement control unit 75 determines the movement candidate route having the highest safety level among the movement candidate routes for which the safety level has been calculated as the movement route, and moves the movement mechanism 54 so as to move the movement route. To control.
  • the safety level is estimated according to the passage of time of the own aircraft in the moving state for each movement route, and the movement is controlled based on the estimated safety level.
  • the approach of a dynamic object makes it possible to achieve safer movement and stopping without endangering the moving body 20.
  • the safety level is estimated based on the external environment information acquired in real time by the external environment recognition unit 72.
  • the safety level can be estimated more accurately by using the past movement result (movement control history) of the moving body 20 in addition to the external environment information.
  • FIG. 17 is a block diagram showing another functional configuration example of the control unit 51.
  • the control unit 51 of FIG. 17 includes a history information holding unit 211 in addition to the same configuration as the control unit 51 of FIG.
  • the history information holding unit 211 holds the movement result (movement control history) of the moving body 20 from the movement control unit 75 as history information. At this time, the history information is held in association with the position information representing the position of the moving body 20 from the self-position estimation unit 73.
  • the history information includes, in addition to the route information indicating the movement route actually moved by the moving body 20, the external environment information acquired in the movement route. That is, the history information can be said to be external environment information indicating the presence or absence of obstacles in the movement path in which the moving body 20 has moved in the past and the attributes of each area.
  • history information may be supplied to the history information holding unit 211 from another mobile body, an external device, a server on the network, or the like via the communication unit 52.
  • steps S51, S52, and S54 of the flowchart of FIG. 18 is the same as the processing of steps S11, S12, and S14 of the flowchart of FIG. 6 and the processing of steps S31, S32, and S34 of the flowchart of FIG. 12, respectively. Therefore, the description thereof will be omitted.
  • the safety level estimation unit 74 estimates the safety level based on the external environment information acquired by the external environment recognition unit 72 and the history information held in the history information holding unit 211.
  • the degree of safety may be estimated for each of the above-mentioned divided spaces or for each movement route.
  • the safety level is estimated more accurately based on the historical information representing the past movement results in addition to the external environment information acquired in real time, so that safer movement and stop can be realized. It becomes possible to do.
  • FIG. 19 is a diagram showing a configuration example of a controller for maneuvering the moving body 20.
  • the controller 300 of FIG. 19 is configured so that the smartphone 310 can be attached to a dedicated transmitter.
  • the mobile body 20 may be configured to move according to a signal from the controller 300, or may be configured to move autonomously.
  • a captured image in which the external environment is captured by the sensor 21 configured as a camera is displayed while the moving body 20 is moving.
  • the captured image may be a moving image or a still image.
  • the presentation information generated by the presentation information generation unit 76 based on the estimated safety level is displayed on the screen 320 of the smartphone 310.
  • the presentation information generation unit 76 generates presentation information indicating the possibility of appearance of a dynamic object based on the presence or absence of a dynamic object in the external environment and the attributes of each area in the external environment.
  • a warning 331 indicating that the moving body 20 is currently moving in a place with many people is displayed on the screen 320 as presentation information.
  • a warning 332 to confirm with the operator may be displayed on the screen 320 as presentation information.
  • a warning 333 indicating that the dynamic object is likely to appear and the moving body 20 is likely to come into contact with the dynamic object is displayed on the screen 320 as presentation information. ..
  • a photographed image 334 in which four persons and a frame indicating that each person has been detected is superimposed and displayed may be displayed on the screen 320 as presentation information.
  • the presentation information generation unit 76 generates presentation information that recommends a place where a dynamic object such as a person does not pass as a passing point or a stopping point of the moving body 20 based on the attributes of each area in the external environment. You can also be done.
  • the recommended route information 351A and 351B for recommending the movement route of the moving body 20 are presented as the presentation information on the captured image in which the external environment of the moving body 20 is photographed. Make it visible.
  • the recommended stop position information 352 that recommends the stop point of the moving body 20 is displayed as the presentation information on the captured image in which the external environment of the moving body 20 is photographed. May be done.
  • the actual information 353 indicating the position where the moving body 20 has stopped in the past is provided as the presentation information for recommending the stopping point on the photographed image in which the external environment of the moving body 20 is taken. It may be displayed.
  • the presentation information indicating the possibility of the appearance of the dynamic object and the presentation information recommending the passing point and the stopping point of the moving body 20 are presented to the user.
  • the moving body 20 can move while avoiding a dangerous place, or can move along a movement route desired by the user, and can stop at a safer place.
  • the series of processes described above can be executed by hardware or software.
  • the programs constituting the software are installed from a network or a program recording medium.
  • the technique according to the present disclosure may have the following configuration.
  • (1) Based on the external environment information about the external environment, the safety level estimation unit that estimates the safety level according to the passage of time of the own aircraft in the moving state, A mobile body including a movement control unit that controls the movement of the own machine based on the estimated safety level.
  • (2) The moving body according to (1), wherein the safety level estimation unit estimates the safety level during movement, stoppage, and after the stoppage of the own machine.
  • the external environment information includes information indicating the presence or absence of a dynamic object in the external environment.
  • the safety level estimation unit estimates the safety level based on the contact probability with the dynamic object.
  • the external environment information further includes information indicating the presence or absence of a stationary object in the external environment.
  • a history information holding unit that holds the movement result of the own machine based on the safety level as history information is further provided.
  • the safety level estimation unit estimates the safety level based on the external environment information acquired by the external environment recognition unit and the history information held by the history information holding unit (10).
  • Moving body (12) The moving body according to any one of (2) to (11), wherein the safety degree estimation unit estimates the safety degree for each divided space in which the external environment is divided into a plurality of spaces.
  • the movement control unit controls movement in the divided space estimated to have the highest degree of safety.
  • the movement control unit controls movement on the moving path estimated to have the highest degree of safety.
  • the presentation information generation unit generates the presentation information indicating the possibility of appearance of the dynamic object based on the presence or absence of the dynamic object in the external environment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Mechanical Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本開示は、より安全な移動および停止を実現することができるようにする移動体、制御方法、およびプログラムに関する。 安全度推定部は、外部環境についての外部環境情報に基づいて、移動状態にある自機の時間経過に応じた安全度を推定し、移動制御部は、推定された安全度に基づいて、自機の移動を制御する。本開示に係る技術は、例えば、ドローンなどの移動体に適用することができる。

Description

移動体、制御方法、およびプログラム
　本開示は、移動体、制御方法、およびプログラムに関し、特に、より安全な移動および停止を実現することができるようにする移動体、制御方法、およびプログラムに関する。
　従来、外部環境における障害物などに衝突せずに自律移動するために、外部環境を観測ためのセンサを搭載した移動体が存在する。移動体には、自律移動するドローンや車両、船舶、掃除機などの自律移動ロボットに加え、移動体に付属して移動する機器なども含まれる。センサとしては、例えば、カメラやソナー、レーダ、ＬｉＤＥＲ（Light Detection and Ranging，Laser Imaging Detection and Ranging）などが主に用いられる。
　そのような中、特許文献１には、自律着陸を行う無人飛行機が、機載センサからのセンサデータを用いて生成した３次元証拠グリッドに基づいて着陸ゾーンを捜し出し、その表面を評価した地点の１つに着陸するよう飛行制御する技術が開示されている。
特開２０１５－６８７４号公報
　自律移動する移動体は、自機の故障を防ぐために、障害物や動的物体と衝突するリスクの少ない環境での移動や停止を行う必要がある。しかしながら、環境によっては、障害物の存在や動的物体の接近により、自機が危険に晒されるおそれがある。
　本開示は、このような状況に鑑みてなされたものであり、より安全な移動および停止を実現することができるようにするものである。
　本開示の移動体は、外部環境についての外部環境情報に基づいて、移動状態にある自機の時間経過に応じた安全度を推定する安全度推定部と、推定された前記安全度に基づいて、前記自機の移動を制御する移動制御部とを備える移動体である。
　本開示の制御方法は、移動体が、外部環境についての外部環境情報を用いて、移動状態にある自機の時間経過に応じた安全度を推定し、推定された前記安全度に基づいて、前記自機の移動を制御する制御方法である。
　本開示のプログラムは、プロセッサに、外部環境についての外部環境情報を用いて、移動状態にある移動体の時間経過に応じた安全度を推定し、推定された前記安全度に基づいて、前記移動体の移動を制御する処理を実行させるためのプログラムである。
　本開示においては、外部環境についての外部環境情報を用いて、移動状態にある移動体の時間経過に応じた安全度が推定され、推定された前記安全度に基づいて、前記移動体の移動を制御される。
本開示に係る技術を適用した移動体について説明する図である。 安全度が推定される期間について説明する図である。 移動体の外観を示す図である。 移動体の構成例を示すブロック図である。 制御部の機能構成例を示すブロック図である。 移動制御処理の流れについて説明するフローチャートである。 動的物体の検出について説明する図である。 セマンティックセグメンテーションについて説明する図である。 分割空間毎の安全度の推定について説明する図である。 停止時および停止後の安全度の推定について説明する図である。 停止候補位置の安全度の推定について説明する図である。 移動制御処理の流れについて説明するフローチャートである。 移動経路毎の安全度の推定について説明する図である。 接触確率の算出について説明する図である。 接触確率の算出について説明する図である。 移動候補経路の安全度の推定について説明する図である。 制御部の他の機能構成例を示すブロック図である。 移動制御処理の流れについて説明するフローチャートである。 提示情報の例を示す図である。 提示情報の例を示す図である。 提示情報の例を示す図である。 提示情報の例を示す図である。 提示情報の例を示す図である。 提示情報の例を示す図である。 提示情報の例を示す図である。
　以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
　１．本開示に係る技術の概要
　２．移動体の構成
　３．外部環境情報に基づいた分割空間毎の安全度推定
　４．外部環境情報に基づいた移動経路毎の安全度推定
　５．外部環境情報と履歴情報に基づいた安全度推定
　６．提示情報の例
＜１．本開示に係る技術の概要＞
　図１に示される、本開示に係る技術を適用した移動体１０は、移動空間における外部環境についての外部環境情報に基づいて、移動状態にある自機の時間経過に応じた安全度を推定し、推定された安全度に基づいて、自機の移動を制御するように構成される。
　具体的には、移動体１０は、図示せぬセンサにより取得されたセンサデータに基づいて、外部環境の状態を認識する。図１の例では、移動体１０の前方左には、人物Ｈ１が存在し、その先に芝生Ｌ１が存在している。移動体１０の前方正面には、４人の人物Ｈ２，Ｈ３，Ｈ４，Ｈ５が存在し、移動体１０の前方右には、建物Ｂ２が存在し、その先に車道Ｒ３が存在している。
　移動体１０は、このような外部環境を示す外部環境情報に基づいて、安全度を推定する。
　図２に示されるように、現在時刻をＴ１、停止時の時刻をＴ２、時刻Ｔ２から一定時間経過後の時刻をＴ３とした場合、安全度は、移動中（時刻Ｔ１乃至Ｔ２）、停止時（時刻Ｔ２）、および停止後（時刻Ｔ２乃至Ｔ３）の安全性の指標となる。すなわち、移動体１０は、時刻Ｔ１乃至Ｔ３の安全度を推定する。
　例えば、移動体１０が前方左に向かって進んだ場合、人物Ｈ１に接触する可能性はあるものの、人物Ｈ１を避けて移動すれば、その先の芝生Ｌ１上で停止することができることから、安全度は高いと推定される。
　移動体１０が前方正面に向かって進んだ場合、４人の人物Ｈ２乃至Ｈ５に接触する可能性があることから、安全度は低いと推定される。
　移動体１０が前方右に向かって進んだ場合、建物Ｂ２は移動しないため建物Ｂ２を避けて移動することはできるものの、その先の車道Ｒ３で自動車などに接触する可能性があることから、安全度は低いと推定される。
　そして、移動体１０は、推定された安全度に基づいて移動し、停止する。図１の例では、移動体１０は、安全度が最も高いと推定された、自機の前方左に向かう経路を移動し、芝生Ｌ１上で停止する。
　移動体には、自律移動するドローンや車両、船舶、掃除機などの自律移動ロボットに加え、移動体に付属して移動する機器なども含まれる。以下においては、本開示に係る技術を主に、空中を飛行するドローンに適用した例について説明するが、本開示に係る技術は、ドローンの他、陸上を移動する自律走行車両、水上または水中を移動する自律航行船舶、屋内を移動する自律移動掃除機などの自律移動ロボットに適用することが可能である。
＜２．移動体の構成＞
　図３は、本開示に係る技術（本技術）を適用した移動体の外観を示す図である。
　上述したように、図３に示される移動体２０はドローンとして構成される。移動体２０の移動は、飛行による移動となるが、移動体２０が自律走行車両として構成される場合には、陸上の移動となり、移動体２０が自律航行船舶として構成される場合には、水上または水中の移動となる。また、移動体２０が自律移動掃除機として構成される場合には、屋内の移動となる。
　移動体２０には、外部環境における障害物などに衝突せずに自律移動するために、外部環境を観測するためのセンサ２１が搭載される。
　センサ２１は、外部環境の３次元形状を取得可能なセンサであればよく、例えば、カメラやステレオカメラ、ＴｏＦ（Time of Flight）センサなどのデプスセンサの他、ソナー、レーダやＬｉＤＥＲなどを含むようにして構成される。また、センサ２１は、外部環境に存在する平面の材質や凹凸度合いを取得可能な、分光センサや偏光センサなどを含むようにして構成されてもよい。センサ２１により収集されたセンサデータは、例えば、移動体２０の移動制御に用いられる。
　移動体２０は、自律移動するように構成されてもよいし、送信機やＰＣ（Personal Computer）などにより構成される、移動体２０を操縦するためのコントローラ（図示せず）からの信号に従って移動するように構成されてもよい。
　例えば、自律飛行するドローンは、自機の故障を防ぐために、障害物や動的物体と衝突するリスクの少ない環境での飛行や着陸を行う必要がある。しかしながら、環境によっては、障害物の存在や動的物体の接近により、自機が危険に晒されるおそれがある。また、操縦者がコントローラを操作することにより手動でドローンを飛行させている場合にも、操縦者は、着陸時や着陸後にドローンが危険に晒されない場所に着陸させる必要がある。
　そこで、本技術の移動体２０は、移動体２０に搭載されているセンサ２１を用いて外部環境を認識し、より安全な移動および停止を実現するように構成される。
（移動体の構成ブロック）
　図４は、移動体２０の構成例を示すブロック図である。
　移動体２０は、制御部５１、通信部５２、記憶部５３、および移動機構５４を備えている。
　制御部５１は、ＣＰＵ（Central Processing Unit）などのプロセッサやメモリなどで構成され、所定のプログラムを実行することにより、通信部５２、記憶部５３、移動機構５４、およびセンサ２１を制御する。例えば、制御部５１は、センサ２１により収集されたセンサデータに基づいて、移動機構５４を制御する。
　通信部５２は、ネットワークインタフェースなどで構成され、移動体２０を操縦するためのコントローラや、その他の任意の装置との間で、無線または有線による通信を行う。例えば、通信部５２は、通信相手となる装置と、直接通信を行ってもよいし、Ｗｉ－Ｆｉ（登録商標）や４Ｇ，５Ｇなどの基地局や中継器を介したネットワーク通信を行ってもよい。また、通信部５２は、ＧＰＳ衛星から送信されてくるＧＰＳ情報を受信する。
　記憶部５３は、フラッシュメモリなどの不揮発性メモリなどにより構成され、制御部５１の制御に従い、各種の情報を記憶する。
　移動機構５４は、移動体２０を移動させるための機構であり、飛行機構、走行機構、推進機構などが含まれる。この例では、移動体２０はドローンとして構成され、移動機構５４は飛行機構としてのモータやプロペラなどから構成される。また、移動体２０が自律走行車両として構成される場合、移動機構５４は走行機構としての車輪などから構成され、移動体２０が自律航行船舶として構成される場合、移動機構５４は推進機構としてのスクリュープロペラなどから構成される。移動機構５４は、制御部５１の制御に従って駆動し、移動体２０を移動させる。
（制御部の機能構成ブロック）
　図５は、制御部５１の機能構成例を示すブロック図である。
　図５に示される制御部５１の機能ブロックは、制御部５１を構成するプロセッサにより所定のプログラムが実行されることによって実現される。
　制御部５１は、センサデータ取得部７１、外部環境認識部７２、自己位置推定部７３、安全度推定部７４、移動制御部７５、および提示情報生成部７６から構成される。
　センサデータ取得部７１は、センサ２１からのセンサデータを取得し、外部環境認識部７２と自己位置推定部７３に供給する。
　外部環境認識部７２は、センサデータ取得部７１からのセンサデータに基づいて、外部環境（移動空間）の状態を認識することで、外部環境情報を取得する。外部環境情報には、例えば、外部環境における障害物（動的物体や静止物体）の有無を表す情報や、外部環境における各領域の属性（車道、歩道、公園の芝生などのいずれであるか）が含まれる。取得された外部環境情報は、安全度推定部７４に供給される。
　自己位置推定部７３は、通信部５２により受信されたＧＰＳ情報に基づいて、自己（移動体２０）の位置を推定し、その位置を表す位置情報を安全度推定部７４に供給する。また、自己位置推定部７３は、センサデータ取得部７１からのセンサデータに基づいて、ＳＬＡＭ（Simultaneous Localization and Mapping）により自己の位置を推定してもよい。
　安全度推定部７４は、外部環境認識部７２からの外部環境情報に基づいて、自己位置推定部７３からの位置情報で表される自己の位置を基準として、移動状態にある移動体２０の時間経過に応じた安全度を推定する。推定された安全度は、移動制御部７５と提示情報生成部７６に供給される。
　移動制御部７５は、安全度推定部７４からの安全度に基づいて、移動体２０の移動を制御する。
　提示情報生成部７６は、安全度推定部７４からの安全度に基づいて、推定された安全度に応じた提示情報を生成する。生成された提示情報は、外部環境が撮影された撮影画像が表示されるコントローラなどに、通信部５２を介して送信される。
　このような構成により、移動体２０は、外部環境情報に基づいて安全度を推定し、推定された安全度に基づいて移動し、停止する。
　以下においては、外部環境において、移動体２０が移動する移動空間を分割した分割空間毎に安全度を推定する例について説明する。
＜３．外部環境情報に基づいた分割空間毎の安全度推定＞
　図５のフローチャートを参照して、自律移動している移動体２０の移動制御処理の流れについて説明する。
　ステップＳ１１において、センサデータ取得部７１は、センサ２１からのセンサデータを取得する。
　ステップＳ１２において、外部環境認識部７２は、センサデータ取得部７１からのセンサデータに基づいて、外部環境の状態を認識する。具体的には、外部環境認識部７２は、外部環境における障害物として動的物体や静止物体を検出する。
　例えば、カメラとして構成されるセンサデータ取得部７１により、図７上段に示されるような撮影画像１１０が撮影されたとする。撮影画像１１０には、３人の人物Ｈ１１，Ｈ１２，Ｈ１３が写っている。
　外部環境認識部７２は、図７下段に示されるように、撮影画像１１０に対して人物検出を行う。図７下段の撮影画像１１０においては、人物Ｈ１１が検出されたことを示す枠Ｆ１１、人物Ｈ１２が検出されたことを示す枠Ｆ１２、人物Ｈ１３が検出されたことを示す枠Ｆ１３が重畳表示されている。
　図７の例では、外部環境における動的物体として人物が検出されるものとしたが、人物以外にも、犬や猫などの動物、他の移動体（例えばドローンなど）が検出されてもよいし、壁や木、電柱や電線などの静止物体が検出されてもよい。
　また、外部環境認識部７２は、外部環境における各領域の属性を判別するようにしてもよい。
　例えば、カメラとして構成されるセンサデータ取得部７１により、図８上段に示されるような撮影画像１２０が撮影されたとする。撮影画像１２０には、自動車が走行する道路の様子が写っている。
　外部環境認識部７２は、ディープラーニングなどの機械学習によるセマンティックセグメンテーションにより、撮影画像１２０について、画素単位で被写体の属性を判別し、各画素に対してその属性をラベリングする。これにより、図８下段に示されるような処理後画像１３０が得られる。処理後画像１３０においては、被写体の属性として、自動車、車道、歩道、家、壁、木、空などが判別されている。
　このようにして、外部環境認識部７２は、外部環境の状態を認識することで、外部環境情報を取得する。
　図６のフローチャートに戻り、ステップＳ１３において、安全度推定部７４は、外部環境認識部７２により取得された外部環境情報に基づいて、自己の位置を基準とした分割空間毎に、安全度を推定する。
　ここで、図９を参照して、移動体２０の移動中における、分割空間毎の安全度の推定について説明する。
　図９は、ドローンとして構成される移動体２０が移動（飛行）している外部環境（移動空間）を、移動体２０の上面から見た様子を示している。
　図９に示されるように、移動体２０が移動する移動空間は、４つの分割空間ＳＡ，ＳＢ，ＳＣ，ＳＤに分割される。
　分割空間ＳＡは、移動体２０を基準として、図中左９０°に開いた空間であり、分割空間ＳＡには、芝生Ｌ１が存在している。
　分割空間ＳＢは、移動体２０を基準として、図中下９０°に開いた空間であり、分割空間ＳＢには、人物Ｈ１と建物Ｂ２が存在している。
　分割空間ＳＣは、移動体２０を基準として、図中右９０°に開いた空間であり、分割空間ＳＣには、車道Ｒ３が存在している。
　分割空間ＳＤは、移動体２０を基準として、図中上９０°に開いた空間であり、分割空間ＳＤには、４人の人物Ｈ２，Ｈ３，Ｈ４，Ｈ５が存在している。
　ここで、安全度推定部７４は、外部環境における動的物体の有無を表す外部環境情報に基づいて、分割空間それぞれに存在する動的物体の数を求めることで、分割空間毎に安全度を推定する。例えば、分割空間ＳＡには、動的物体が存在しないので、分割空間ＳＡの安全度は高いと推定される。一方、分割空間ＳＤには、動的物体である４人の人物Ｈ２，Ｈ３，Ｈ４，Ｈ５が存在するので、分割空間ＳＤの安全度は低いと推定される。
　また、安全度推定部７４は、外部環境における各領域の属性を表す外部環境情報に基づいて、分割空間それぞれに動的物体が侵入してくる可能性を判定することで、分割空間毎に安全度を推定することもできる。例えば、分割空間ＳＡに存在する芝生Ｌ１には、動的物体である人物が立ち入る可能性が低いので、分割空間ＳＡの安全度は高いと推定される。一方、分割空間ＳＣに存在する車道Ｒ３では、動的物体である自動車が往来するので、分割空間ＳＣの安全度は低いと推定される。
　さらに、安全度推定部７４は、外部環境における静止物体の有無を表す外部環境情報に基づいて、分割空間それぞれにおいて静止物体が占める割合を求めることで、分割空間毎に安全度を推定するようにしてもよい。例えば、分割空間ＳＡにおいては静止物体が存在しないので、分割空間ＳＡの安全度は高いと推定される。一方、分割空間ＳＢにおいては静止物体である建物Ｂ２が占める割合が比較的大きいので、分割空間ＳＢの安全度は比較的低いと推定される。
　以上においては、移動体２０の移動中における安全度が推定される例について説明したが、移動体２０の停止時および停止後の安全度も推定される必要がある。
　そこで、図１０を参照して、移動体２０の停止時および停止後における安全度の推定について説明する。
　図１０は、図９と同様に、ドローンとして構成される移動体２０が移動（飛行）している外部環境（移動空間）を、移動体２０の上面から見た様子を示している。
　図１０の例では、移動体２０の停止位置（着陸地点）の候補として、５つの停止候補位置ＴＡ，ＴＢ，ＴＣ，ＴＤ，ＴＥが設定されている。
　停止候補位置ＴＡ，ＴＢは、芝生Ｌ１上に設定されており、停止候補位置ＴＢの近傍には、人物Ｈ２１が存在している。
　停止候補位置ＴＣは、４人の人物Ｈ２，Ｈ３，Ｈ４，Ｈ５の近傍の遊歩道上に設定されている。
　停止候補位置ＴＤは、車道Ｒ３上に設定されている。
　停止候補位置ＴＥは、建物Ｂ２の近傍の遊歩道上に設定されており、人物Ｈ１が停止候補位置ＴＥに向かって移動している。
　ここで、安全度推定部７４は、外部環境における動的物体の有無を表す外部環境情報に基づいて、停止候補位置の近傍における現時点での動的物体の密集度を求めることで、停止候補位置の安全度を推定する。例えば、停止候補位置ＴＡの近傍には、動的物体が存在しないので、停止候補位置ＴＡの安全度は高いと推定される。一方、停止候補位置ＴＣの近傍には、４人の人物Ｈ２，Ｈ３，Ｈ４，Ｈ５が密集しているので、停止候補位置ＴＣの安全度は低いと推定される。
　また、安全度推定部７４は、外部環境における各領域の属性を表す外部環境情報に基づいて、停止候補位置が設定されている領域の属性に応じて、停止候補位置の安全度を推定することもできる。例えば、停止候補位置ＴＡ，ＴＢは、芝生Ｌ１上に設定されているので、停止候補位置ＴＡ，ＴＢの安全度は高いと推定される。一方、停止候補位置ＴＤは、車道Ｒ３上に設定されているので、停止候補位置ＴＤの安全度は低いと推定される。
　さらに、安全度推定部７４は、動的物体の有無を表す外部環境情報と、各領域の属性を表す外部環境情報に基づいて、今後、停止候補位置を動的物体が通過する確率を算出することで、停止候補位置の安全度を推定するようにしてもよい。例えば、停止候補位置ＴＥには、人物Ｈ１が向かって移動しているので、停止候補位置ＴＥの安全度は低いと推定される。
　ここで、動的物体の有無や、外部環境における各領域の属性などの各項目がスコア化され、そのスコアに基づいて、停止候補位置の安全度が推定されるようにしてもよい。
　図１１は、停止候補位置ＴＡ，ＴＢ，ＴＣ，ＴＤ，ＴＥそれぞれについて、領域の属性、動的物体の有無（密集度）、および動的物体が通過する確率がスコア化された例を示す図である。
　停止候補位置ＴＡについては、領域の属性が芝生でありそのスコアは１、動的物体の密集度は０、動的物体の通過確率は１３．０とされる。停止候補位置ＴＢについては、領域の属性が芝生でありそのスコアは１、動的物体の密集度は０．１、動的物体の通過確率は１５．０とされる。停止候補位置ＴＣについては、領域の属性が遊歩道でありそのスコアは２、動的物体の密集度は１．０、動的物体の通過確率は１４５．３とされる。停止候補位置ＴＤについては、領域の属性が車道でありそのスコアは５、動的物体の密集度は０．１、動的物体の通過確率２３０．０とされる。停止候補位置ＴＥについては、領域の属性が遊歩道でありそのスコアは２、動的物体の密集度は０．１、動的物体の通過確率は５５．３とされる。
　この場合、安全度推定部７４は、例えば、領域の属性のスコアが４を超える停止候補位置を、安全度の推定対象から除外する。図１１の例では、車道Ｒ３上に設定されている停止候補位置ＴＤが除外される。
　そして、安全度推定部７４は、停止候補位置それぞれについて、優先度の高い項目順にスコアを比較し、最もスコアが小さい停止候補位置を、その安全度が最も高いと推定するようにする。
　また、ドローンとして構成される移動体２０がリビングを飛行している場合、テーブルの天面には人が踏み入らないので、テーブルの天面は、停止候補位置として安全度が高いと推定される。一方、ソファの座面には人が腰を掛ける可能性があるので、ソファの座面は、停止候補位置として安全度が低いと推定される。
　なお、上述した推定手法が組み合わされて、移動体２０の停止時および停止後の安全度が推定されてもよい。図１０の例では、停止候補位置ＴＡが、その近傍における現時点での動的物体の密集度が低く、安全な芝生Ｌ１上に設定されており、今後、動的物体が通過する確率が低いことから、停止候補位置ＴＡの安全度は最も高いと推定される。
　図６のフローチャートに戻り、ステップＳ１４において、移動制御部７５は、安全度推定部７４により推定された安全度に基づいて、移動体２０の移動を制御する。
　具体的には、移動制御部７５は、安全度が推定された分割空間のなかで、安全度が最も高いと推定された分割空間内で移動経路を決定し、その移動経路を移動するよう、移動機構５４を制御する。また、移動制御部７５は、安全度の推定に用いられた外部環境情報に基づいて、例えば、人物などの動的物体が通過する可能性が高い場所では、移動体２０の最大速度を下げて移動するように、移動機構５４を制御してもよい。
　また、移動制御部７５は、安全度が推定された停止候補位置のなかで、安全度が最も高いと推定された停止候補位置を停止位置に設定し、その停止位置で停止するよう、移動機構５４を制御する。さらに、移動制御部７５は、安全度の推定に用いられた外部環境情報に基づいて、人物が多く存在する場所では停止せず、人物が存在しない場所で停止するように、移動機構５４を制御してもよい。
　以上の処理によれば、分割空間毎に、移動状態にある移動体２０の時間経過に応じた安全度が推定され、推定された安全度に基づいて移動が制御されるので、障害物の存在や動的物体の接近により、移動体２０が危険に晒されることなく、より安全な移動および停止を実現することが可能となる。
　上述した説明では、分割空間毎に安全度を推定する例について説明したが、移動体２０があらかじめ決められた移動経路に従って移動している場合、移動経路毎に安全度が推定されるようにしてもよい。
　以下においては、外部環境において、移動体２０が移動する移動経路毎に安全度を推定する例について説明する。
＜４．外部環境情報に基づいた移動経路毎の安全度推定＞
　図１２のフローチャートを参照して、自律移動している移動体２０の移動制御処理の流れについて説明する。
　なお、図１２のフローチャートのステップＳ３１，Ｓ３２の処理は、図６のフローチャートのステップＳ１１，Ｓ１２の処理とそれぞれ同様であるので、その説明は省略する。
　すなわち、ステップＳ３３において、安全度推定部７４は、外部環境認識部７２により取得された外部環境情報に基づいて、自己の位置を基準とした移動経路毎に、安全度を推定する。
　ここで、図１３を参照して、移動体２０の移動中における、移動経路毎の安全度の推定について説明する。
　図１３は、図９と同様に、ドローンとして構成される移動体２０が移動（飛行）している外部環境（移動空間）を、移動体２０の上面から見た様子を示している。
　図１３の例では、移動体２０の移動経路の候補として、５つの移動候補経路ＰＡ，ＰＢ，ＰＣ，ＰＤ，ＰＥが設定されている。
　移動候補経路ＰＡ，ＰＢは、図中左方向に進み、芝生Ｌ１上を移動するように設定されている。
　移動候補経路ＰＣは、図中上方向に進み、４人の人物Ｈ２，Ｈ３，Ｈ４，Ｈ５の中を移動するように設定されている。
　移動候補経路ＰＤ，ＰＥは、図中右方向に進み、車道Ｒ３上を移動するように設定されている。
　ここで、安全度推定部７４は、外部環境における動的物体の有無を表す外部環境情報に基づいて、移動候補経路それぞれでの動的物体との接触確率を求めることで、移動経路毎に安全度を推定する。
　例えば、図１４に示されるように、移動体２０が移動候補経路ＰＣを移動した場合には、移動体２０の通過領域Ｖ０から通過領域Ｖ２までの範囲内に含まれる人物の数によって、移動候補経路ＰＣでの接触確率が算出される。図１４の例では、人物Ｈ２，Ｈ３，Ｈ４が、移動体２０の通過領域Ｖ０から通過領域Ｖ２までの範囲内に含まれている。
　さらに、動的物体の移動予測データや移動予定データに基づいて、接触確率が算出されるようにしてもよい。例えば、図１５に示されるように、移動体２０が車道Ｒ３に到達するまでに、動的物体である自動車１５０が、移動候補経路ＰＤ上に移動すると予測されるとする。この場合、車道Ｒ３上を移動するように設定されている移動候補経路ＰＤと移動候補経路ＰＥでは、自動車１５０が通過した後の移動候補経路ＰＥの接触確率の方が、低く算出される。
　また、安全度推定部７４は、外部環境における各領域の属性を表す外部環境情報に基づいて、移動候補経路上に存在する領域それぞれについて安全性に関するスコアを付与することで、移動経路毎に安全度を推定することもできる。例えば、芝生Ｌ１には高いスコアが付与され、車道Ｒ３には低いスコアが付与されるようにする。
　図１６は、移動候補経路それぞれについて、動的物体の数によって算出された第１の接触確率、動的物体の移動予測データや移動予定データによって算出された第２の接触確率、移動候補経路上に存在する領域の安全性に関するスコアを示す図である。
　移動候補経路ＰＡについては、第１の接触確率は０％、第２の接触確率は１％、安全性に関するスコアは１０とされる。移動候補経路ＰＢについては、第１の接触確率は０％、第２の接触確率は５％、安全性に関するスコアは１０とされる。移動候補経路ＰＣについては、第１の接触確率は３００％、第２の接触確率は３００％、安全性に関するスコアは６とされる。移動候補経路ＰＤについては、第１の接触確率は０％、第２の接触確率は１０％、安全性に関するスコアは３とされる。移動候補経路ＰＥについては、第１の接触確率は０％、第２の接触確率は９０％、安全性に関するスコアは３とされる。
　この場合、安全度推定部７４は、各項目についての条件を満たす移動候補経路をその安全度が高いと推定する。例えば、各項目についての条件として、第１の接触確率が５％以下、第２の接触確率が７０％以下、安全性に関するスコアが５以上であることが設定されている場合、移動候補経路ＰＡと移動候補経路ＰＢが、その安全度が高いと推定される。
　さらに、安全度推定部７４は、上述したような条件を満たす移動候補経路それぞれについて、優先度の高い条件をより確実に満たしている移動候補経路を、その安全度が最も高いと推定するようにする。
　以上のようにして、移動候補経路毎に安全度が推定されると、ステップＳ３４において、移動制御部７５は、安全度推定部７４により推定された安全度に基づいて、移動体２０の移動を制御する。
　具体的には、移動制御部７５は、安全度が算出された移動候補経路のなかで、安全度が最も高い移動候補経路を移動経路に決定し、その移動経路を移動するよう、移動機構５４を制御する。
　以上の処理によれば、移動経路毎に、移動状態にある自機の時間経過に応じた安全度が推定され、推定された安全度に基づいて移動が制御されるので、障害物の存在や動的物体の接近により、移動体２０が危険に晒されることなく、より安全な移動および停止を実現することが可能となる。
　以上においては、外部環境認識部７２によりリアルタイムに取得される外部環境情報に基づいて、安全度が推定されるものとした。これに限らず、外部環境情報に加え、移動体２０の過去の移動結果（移動制御の履歴）を用いることで、より精度良く安全度を推定することができる。
　そこで、以下においては、移動体２０の過去の移動結果を、履歴情報として保持し、外部環境情報と履歴情報に基づいて、安全度を推定する構成について説明する。
＜５．外部環境情報と履歴情報に基づいた安全度推定＞
（制御部の機能構成ブロック）
　図１７は、制御部５１の他の機能構成例を示すブロック図である。
　図１７の制御部５１は、図５の制御部５１と同様の構成に加えて、履歴情報保持部２１１を備えている。
　履歴情報保持部２１１は、移動制御部７５からの移動体２０の移動結果（移動制御の履歴）を履歴情報として保持する。このとき、履歴情報は、自己位置推定部７３からの、移動体２０の位置を表す位置情報に対応付けられて保持される。履歴情報には、移動体２０が実際に移動した移動経路を示す経路情報に加え、その移動経路において取得された外部環境情報が含まれる。すなわち、履歴情報は、移動体２０が過去に移動した移動経路における障害物の有無や、各領域の属性を表す外部環境情報といえる。
　なお、履歴情報は、通信部５２を介して、他の移動体や外部の装置、ネットワーク上のサーバなどから履歴情報保持部２１１に供給されるようにしてもよい。
（移動制御処理の流れ）
　次に、図１８のフローチャートを参照して、図１７の制御部５１による移動体２０の移動制御処理の流れについて説明する。
　なお、図１８のフローチャートのステップＳ５１，Ｓ５２，Ｓ５４の処理は、図６のフローチャートのステップＳ１１，Ｓ１２，Ｓ１４の処理や、図１２のフローチャートのステップＳ３１，Ｓ３２，Ｓ３４の処理とそれぞれ同様であるので、その説明は省略する。
　すなわち、ステップＳ５３において、安全度推定部７４は、外部環境認識部７２により取得された外部環境情報と、履歴情報保持部２１１に保持されている履歴情報に基づいて、安全度を推定する。安全度は、上述した分割空間毎に推定されてもよいし、移動経路毎に推定されてもよい。
　以上の処理によれば、リアルタイムに取得される外部環境情報に加え、過去の移動結果を表す履歴情報に基づいて、より精度良く安全度が推定されるので、より一層安全な移動および停止を実現することが可能となる。
＜６．提示情報の例＞
　図１９は、移動体２０を操縦するためのコントローラの構成例を示す図である。
　図１９のコントローラ３００は、専用の送信器にスマートフォン３１０が取り付けられるようにして構成される。上述したように、移動体２０は、コントローラ３００からの信号に従って移動するように構成されてもよいし、自律移動するように構成されてもよい。
　スマートフォン３１０の画面３２０には、移動体２０の移動中に、カメラとして構成されるセンサ２１により外部環境が撮影されている撮影画像が表示される。撮影画像は、動画像であってもよいし、静止画像でもよい。
　また、スマートフォン３１０の画面３２０には、推定された安全度に基づいて提示情報生成部７６によって生成された提示情報が表示される。
　具体的には、提示情報生成部７６によって、外部環境における動的物体の有無と、外部環境における各領域の属性に基づいて、動的物体の出現可能性を示す提示情報が生成される。
　図１９の例では、移動体２０が、現在人が多い場所を移動している旨を示す警告３３１が、提示情報として画面３２０に表示されている。
　また、操縦者がコントローラ３００を操作することにより手動で移動体２０を移動させている場合、図２０に示されるように、人が通る場所で移動体２０を停止（着陸）させるか否かを操縦者に確認する旨の警告３３２が、提示情報として画面３２０に表示されてもよい。
　図２１に示されるように、動的物体の出現可能性が高く、移動体２０がその動的物体と接触する危険性が高い旨を示す警告３３３が、提示情報として画面３２０に表示されている。
　図２２に示されるように、４人の人物と、人物それぞれが検出されたことを示す枠が重畳表示された撮影画像３３４が、提示情報として画面３２０に表示されてもよい。
　また、提示情報生成部７６によって、外部環境における各領域の属性に基づいて、例えば、人物などの動的物体が通らない場所を、移動体２０の通過地点や停止地点として推薦する提示情報が生成されるようにもできる。
　例えば、図２３に示されるように、画面３２０において、移動体２０の外部環境が撮影されている撮影画像上に、移動体２０の移動経路を推薦する推薦経路情報３５１Ａ，３５１Ｂが、提示情報として表示されるようにする。
　また、図２４に示されるように、画面３２０において、移動体２０の外部環境が撮影されている撮影画像上に、移動体２０の停止地点を推薦する推薦停止位置情報３５２が、提示情報として表示されてもよい。
　さらに、図２５に示されるように、移動体２０の外部環境が撮影されている撮影画像上に、移動体２０が過去に停止した位置を示す実績情報３５３が、停止地点を推薦する提示情報として表示されてもよい。
　以上のように、動的物体の出現可能性を示す提示情報や、移動体２０の通過地点や停止地点を推薦する提示情報がユーザに提示される。これにより、移動体２０は、危険な場所を避けて移動したり、ユーザが所望する移動経路で移動することができ、より安全な場所で停止することが可能となる。
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、ネットワークやプログラム記録媒体からインストールされる。
　本開示に係る技術の実施の形態は、上述した実施の形態に限定されるものではなく、本開示に係る技術の要旨を逸脱しない範囲において種々の変更が可能である。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　さらに、本開示に係る技術は以下のような構成をとることができる。
（１）
　外部環境についての外部環境情報に基づいて、移動状態にある自機の時間経過に応じた安全度を推定する安全度推定部と、
　推定された前記安全度に基づいて、前記自機の移動を制御する移動制御部と
　を備える移動体。
（２）
　前記安全度推定部は、前記自機の移動中、停止時、および停止後の前記安全度を推定する
　（１）に記載の移動体。
（３）
　前記外部環境情報は、前記外部環境における動的物体の有無を表す情報を含む
　（２）に記載の移動体。
（４）
　前記安全度推定部は、前記動的物体との接触確率に基づいて、前記安全度を推定する
　（３）に記載の移動体。
（５）
　前記安全度推定部は、前記動的物体の移動予測データまたは移動予定データに基づいて、前記接触確率を算出する
　（４）に記載の移動体。
（６）
　前記外部環境情報は、前記外部環境における各領域の属性をさらに含む
　（２）乃至（５）のいずれかに記載の移動体。
（７）
　前記安全度推定部は、前記領域毎の前記属性に基づいて、前記安全度を推定する
　（６）に記載の移動体。
（８）
　前記属性は、セマンティックセグメンテーションにより判別される
　（６）に記載の移動体。
（９）
　前記外部環境情報は、前記外部環境における静止物体の有無を表す情報をさらに含む
　（２）乃至（８）のいずれかに記載の移動体。
（１０）
　センサデータを用いて前記外部環境の状態を認識することで、前記外部環境情報を取得する外部環境認識部をさらに備える
　（２）乃至（９）のいずれかに記載の移動体。
（１１）
　前記安全度に基づいた前記自機の移動結果を、履歴情報として保持する履歴情報保持部をさらに備え、
　前記安全度推定部は、前記外部環境認識部により取得される前記外部環境情報と、前記履歴情報保持部により保持されている前記履歴情報に基づいて、前記安全度を推定する
　（１０）に記載の移動体。
（１２）
　前記安全度推定部は、前記外部環境を複数の空間に分割した分割空間毎に、前記安全度を推定する
　（２）乃至（１１）のいずれかに記載の移動体。
（１３）
　前記移動制御部は、前記安全度が最も高いと推定された前記分割空間内での移動を制御する
　（１２）に記載の移動体。
（１４）
　前記安全度推定部は、前記外部環境における移動経路毎に、前記安全度を推定する
　（２）乃至（１１）のいずれかに記載の移動体。
（１５）
　前記移動制御部は、前記安全度が最も高いと推定された前記移動経路上での移動を制御する
　（１４）に記載の移動体。
（１６）
　推定された前記安全度に応じた提示情報を生成する提示情報生成部をさらに備える
　（２）乃至（１５）のいずれかに記載の移動体。
（１７）
　前記提示情報生成部は、前記外部環境における動的物体の有無に基づいて、前記動的物体の出現可能性を示す前記提示情報を生成する
　（１６）に記載の移動体。
（１８）
　前記提示情報生成部は、前記外部環境における各領域の属性に基づいて、前記自機の通過地点または停止地点を推薦する前記提示情報を生成する
　（１６）に記載の移動体。
（１９）
　移動体が、
　外部環境についての外部環境情報を用いて、移動状態にある自機の時間経過に応じた安全度を推定し、
　推定された前記安全度に基づいて、前記自機の移動を制御する
　制御方法。
（２０）
　プロセッサに、
　外部環境についての外部環境情報を用いて、移動状態にある移動体の時間経過に応じた安全度を推定し、
　推定された前記安全度に基づいて、前記移動体の移動を制御する
　処理を実行させるためのプログラム。
　１０　移動体，　２０　移動体，　２１　センサ，　５１　制御部，　５２　通信部，　５３　記憶部，　５４　移動機構，　７１　センサデータ取得部，　７２　外部環境認識部，　７３　自己位置推定部，　７４　安全度推定部，　７５　移動制御部，　７６　提示情報生成部，　２１１　履歴情報保持部

Claims (20)

  1. 　外部環境についての外部環境情報に基づいて、移動状態にある自機の時間経過に応じた安全度を推定する安全度推定部と、
    　推定された前記安全度に基づいて、前記自機の移動を制御する移動制御部と
    　を備える移動体。
  2. 　前記安全度推定部は、前記自機の移動中、停止時、および停止後の前記安全度を推定する
    　請求項１に記載の移動体。
  3. 　前記外部環境情報は、前記外部環境における動的物体の有無を表す情報を含む
    　請求項２に記載の移動体。
  4. 　前記安全度推定部は、前記動的物体との接触確率に基づいて、前記安全度を推定する
    　請求項３に記載の移動体。
  5. 　前記安全度推定部は、前記動的物体の移動予測データまたは移動予定データに基づいて、前記接触確率を算出する
    　請求項４に記載の移動体。
  6. 　前記外部環境情報は、前記外部環境における各領域の属性をさらに含む
    　請求項２に記載の移動体。
  7. 　前記安全度推定部は、前記領域毎の前記属性に基づいて、前記安全度を推定する
    　請求項６に記載の移動体。
  8. 　前記属性は、セマンティックセグメンテーションにより判別される
    　請求項６に記載の移動体。
  9. 　前記外部環境情報は、前記外部環境における静止物体の有無を表す情報をさらに含む
    　請求項２に記載の移動体。
  10. 　センサデータを用いて前記外部環境の状態を認識することで、前記外部環境情報を取得する外部環境認識部をさらに備える
    　請求項２に記載の移動体。
  11. 　前記安全度に基づいた前記自機の移動結果を、履歴情報として保持する履歴情報保持部をさらに備え、
    　前記安全度推定部は、前記外部環境認識部により取得される前記外部環境情報と、前記履歴情報保持部により保持されている前記履歴情報に基づいて、前記安全度を推定する
    　請求項１０に記載の移動体。
  12. 　前記安全度推定部は、前記外部環境を複数の空間に分割した分割空間毎に、前記安全度を推定する
    　請求項２に記載の移動体。
  13. 　前記移動制御部は、前記安全度が最も高いと推定された前記分割空間内での移動を制御する
    　請求項１２に記載の移動体。
  14. 　前記安全度推定部は、前記外部環境における移動経路毎に、前記安全度を推定する
    　請求項２に記載の移動体。
  15. 　前記移動制御部は、前記安全度が最も高いと推定された前記移動経路上での移動を制御する
    　請求項１４に記載の移動体。
  16. 　推定された前記安全度に応じた提示情報を生成する提示情報生成部をさらに備える
    　請求項２に記載の移動体。
  17. 　前記提示情報生成部は、前記外部環境における動的物体の有無に基づいて、前記動的物体の出現可能性を示す前記提示情報を生成する
    　請求項１６に記載の移動体。
  18. 　前記提示情報生成部は、前記外部環境における各領域の属性に基づいて、前記自機の通過地点または停止地点を推薦する前記提示情報を生成する
    　請求項１６に記載の移動体。
  19. 　移動体が、
    　外部環境についての外部環境情報を用いて、移動状態にある自機の時間経過に応じた安全度を推定し、
    　推定された前記安全度に基づいて、前記自機の移動を制御する
    　制御方法。
  20. 　プロセッサに、
    　外部環境についての外部環境情報を用いて、移動状態にある移動体の時間経過に応じた安全度を推定し、
    　推定された前記安全度に基づいて、前記移動体の移動を制御する
    　処理を実行させるためのプログラム。
PCT/JP2020/023955 2019-06-27 2020-06-18 移動体、制御方法、およびプログラム WO2020262189A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/620,835 US20220413517A1 (en) 2019-06-27 2020-06-18 Moving body, control method, and program
JP2021526876A JPWO2020262189A1 (ja) 2019-06-27 2020-06-18

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-119965 2019-06-27
JP2019119965 2019-06-27

Publications (1)

Publication Number Publication Date
WO2020262189A1 true WO2020262189A1 (ja) 2020-12-30

Family

ID=74060942

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/023955 WO2020262189A1 (ja) 2019-06-27 2020-06-18 移動体、制御方法、およびプログラム

Country Status (3)

Country Link
US (1) US20220413517A1 (ja)
JP (1) JPWO2020262189A1 (ja)
WO (1) WO2020262189A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023188341A1 (ja) * 2022-03-31 2023-10-05 日本電気株式会社 行動評価提示システム、行動評価提示方法、及び行動評価提示装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008065811A (ja) * 2006-08-08 2008-03-21 Matsushita Electric Ind Co Ltd 障害物回避方法と障害物回避移動装置
WO2015072002A1 (ja) * 2013-11-15 2015-05-21 株式会社日立製作所 移動ロボットシステム
WO2015151266A1 (ja) * 2014-04-03 2015-10-08 株式会社日立製作所 自律移動体
JP2016173709A (ja) * 2015-03-17 2016-09-29 セコム株式会社 自律移動ロボット
US9618940B1 (en) * 2015-12-31 2017-04-11 Unmanned Innovation, Inc. Unmanned aerial vehicle rooftop inspection system
JP2017083223A (ja) * 2015-10-26 2017-05-18 シャープ株式会社 測距装置および走行装置
JP2017211909A (ja) * 2016-05-27 2017-11-30 株式会社東芝 情報処理装置及び移動体装置
JP2017218141A (ja) * 2016-06-08 2017-12-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 無人飛行体、制御方法及び制御プログラム
US20180308371A1 (en) * 2017-04-19 2018-10-25 Beihang University Joint search method for uav multiobjective path planning in urban low altitude environment
JP2018165870A (ja) * 2017-03-28 2018-10-25 株式会社Ｓｕｂａｒｕ 無人航空機の飛行制御装置、無人航空機の飛行制御方法、及び無人航空機の飛行制御プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9177481B2 (en) * 2013-12-13 2015-11-03 Sikorsky Aircraft Corporation Semantics based safe landing area detection for an unmanned vehicle
CN109154499A (zh) * 2016-08-18 2019-01-04 深圳市大疆创新科技有限公司 用于增强立体显示的系统和方法
JP6665318B2 (ja) * 2016-12-12 2020-03-13 株式会社自律制御システム研究所 無人航空機、及び、無人航空機を制御するための方法
US10599161B2 (en) * 2017-08-08 2020-03-24 Skydio, Inc. Image space motion planning of an autonomous vehicle
WO2019139815A1 (en) * 2018-01-12 2019-07-18 Duke University Apparatus, method and article to facilitate motion planning of an autonomous vehicle in an environment having dynamic objects
JP6968911B2 (ja) * 2018-01-23 2021-11-17 株式会社Ｎｔｔドコモ 情報処理装置及び情報処理方法
WO2019157455A1 (en) * 2018-02-09 2019-08-15 Skydio, Inc. Aerial vehicle smart landing

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008065811A (ja) * 2006-08-08 2008-03-21 Matsushita Electric Ind Co Ltd 障害物回避方法と障害物回避移動装置
WO2015072002A1 (ja) * 2013-11-15 2015-05-21 株式会社日立製作所 移動ロボットシステム
WO2015151266A1 (ja) * 2014-04-03 2015-10-08 株式会社日立製作所 自律移動体
JP2016173709A (ja) * 2015-03-17 2016-09-29 セコム株式会社 自律移動ロボット
JP2017083223A (ja) * 2015-10-26 2017-05-18 シャープ株式会社 測距装置および走行装置
US9618940B1 (en) * 2015-12-31 2017-04-11 Unmanned Innovation, Inc. Unmanned aerial vehicle rooftop inspection system
JP2017211909A (ja) * 2016-05-27 2017-11-30 株式会社東芝 情報処理装置及び移動体装置
JP2017218141A (ja) * 2016-06-08 2017-12-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 無人飛行体、制御方法及び制御プログラム
JP2018165870A (ja) * 2017-03-28 2018-10-25 株式会社Ｓｕｂａｒｕ 無人航空機の飛行制御装置、無人航空機の飛行制御方法、及び無人航空機の飛行制御プログラム
US20180308371A1 (en) * 2017-04-19 2018-10-25 Beihang University Joint search method for uav multiobjective path planning in urban low altitude environment

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023188341A1 (ja) * 2022-03-31 2023-10-05 日本電気株式会社 行動評価提示システム、行動評価提示方法、及び行動評価提示装置

Also Published As

Publication number Publication date
US20220413517A1 (en) 2022-12-29
JPWO2020262189A1 (ja) 2020-12-30

Similar Documents

Publication Publication Date Title
CN108334103B (zh) 无人机多距离避障方法及避障系统
US11636375B2 (en) Adversarial learning of driving behavior
US9020682B2 (en) Autonomous mobile body
KR102614323B1 (ko) 수동 및 능동 측정을 이용한 장면의 3차원 지도 생성
JP2021513714A (ja) 航空機のスマート着陸
WO2020226085A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN110268356B (zh) 前导无人机的系统
JP7456442B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
CN110226143B (zh) 前导无人机的方法
US11822334B2 (en) Information processing apparatus, information processing method, and program for control of a moving body capable of autonomous movement
WO2019158261A1 (en) Vehicle control system and control method
US11814072B2 (en) Method and system for conditional operation of an autonomous agent
WO2020041214A1 (en) Steerable camera for perception and vehicle control
CA3061806A1 (en) Autonomous aerial vehicle navigation systems and methods
EP3992747B1 (en) Mobile body, control method, and program
WO2021010083A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2023102911A1 (zh) 数据采集方法、数据展示方法、数据处理方法、飞行器的降落方法、数据展示系统及存储介质
US20220301203A1 (en) Systems and methods to train a prediction system for depth perception
JP7256812B2 (ja) 自動運転車両の動的コスト関数の実現方法
WO2020262189A1 (ja) 移動体、制御方法、およびプログラム
CA3134772A1 (en) Perception and motion prediction for autonomous devices
KR20240046095A (ko) 엣지컴퓨팅 및 인공지능 융합 기술 기반 무인이동체 원격주행제어 시스템
WO2019176278A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
EP4131181A1 (en) Methods and system for predicting trajectories of actors with respect to a drivable area
WO2021075112A1 (ja) 情報処理装置と情報処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20833075

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021526876

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20833075

Country of ref document: EP

Kind code of ref document: A1