WO2022004333A1 - 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム - Google Patents

情報処理装置、情報処理システム、および情報処理方法、並びにプログラム Download PDF

Info

Publication number
WO2022004333A1
WO2022004333A1 PCT/JP2021/022293 JP2021022293W WO2022004333A1 WO 2022004333 A1 WO2022004333 A1 WO 2022004333A1 JP 2021022293 W JP2021022293 W JP 2021022293W WO 2022004333 A1 WO2022004333 A1 WO 2022004333A1
Authority
WO
WIPO (PCT)
Prior art keywords
self
unit
position estimation
estimated
reliability
Prior art date
Application number
PCT/JP2021/022293
Other languages
English (en)
French (fr)
Inventor
駿 李
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/003,077 priority Critical patent/US20230343228A1/en
Publication of WO2022004333A1 publication Critical patent/WO2022004333A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Definitions

  • This disclosure relates to information processing devices, information processing systems, information processing methods, and programs. More specifically, the present invention relates to an information processing device such as a drone that enables safe flight and traveling of a mobile device, an information processing system, an information processing method, and a program.
  • an information processing device such as a drone that enables safe flight and traveling of a mobile device, an information processing system, an information processing method, and a program.
  • drones which are small aircraft, has increased sharply.
  • it is used for processing such as attaching a camera to a drone and taking a picture of a landscape on the ground from the sky.
  • It is also planned to use a drone to deliver packages, and various experiments are being conducted.
  • Such an autonomous flight type drone flies from the departure point to the destination by using, for example, communication information with the control center and GPS position information.
  • Patent Document 1 Japanese Patent Laid-Open No. 2006-064550
  • Patent Document 1 discloses a configuration in which a drone and a controller that controls the drone can communicate with each other in a searchable area and fly within the area.
  • the present disclosure has been made in view of the above problems, for example, and is an information processing device, an information processing system, and an information processing method that enable a mobile device such as a drone to safely fly or run. , As well as the purpose of providing the program.
  • the first aspect of this disclosure is A sensor data acquisition unit that acquires the detection information of the sensor provided in the moving body, A self-position estimation unit that inputs sensor detection information from the sensor data acquisition unit and executes self-position estimation of the moving object, and a self-position estimation unit.
  • An environmental information analysis unit that inputs sensor detection information from the sensor data acquisition unit and analyzes environmental information when the self-position estimation process is executed in the self-position estimation unit.
  • the information processing apparatus has an estimated self-position reliability calculation unit that calculates the reliability of the self-position estimated by the self-position estimation unit based on the environmental information analyzed by the environmental information analysis unit.
  • the second aspect of the present disclosure is It is an information processing system composed of a mobile device and a controller that outputs control information of the mobile device.
  • the moving device is A sensor data acquisition unit that acquires detection information of a sensor provided in the mobile device, and a sensor data acquisition unit.
  • a self-position estimation unit that inputs sensor detection information from the sensor data acquisition unit and executes self-position estimation of the moving object, and a self-position estimation unit.
  • An environmental information analysis unit that inputs sensor detection information from the sensor data acquisition unit and analyzes environmental information when the self-position estimation process is executed in the self-position estimation unit. Based on the environmental information analyzed by the environmental information analysis unit, the estimated self-position reliability estimated by the self-position estimation unit is calculated, and the calculated estimated self-position reliability is output to the controller.
  • the controller An information display unit that displays an estimated self-position reliability input from the estimated self-position reliability calculation unit of the mobile device, and an information display unit.
  • An operation unit that can input the movement route of the moving device, and
  • the information processing system has a mobile body control signal output unit that generates control information for moving the mobile device according to the movement route input via the operation unit and outputs the control information to the mobile device.
  • the third aspect of the present disclosure is It is an information processing method executed in an information processing device.
  • the sensor data acquisition unit acquires the detection information of the sensor provided in the moving body, and the sensor data acquisition step.
  • a self-position estimation step in which the self-position estimation unit inputs sensor detection information from the sensor data acquisition unit and executes self-position estimation of the moving object.
  • An environmental information analysis step in which the environmental information analysis unit inputs sensor detection information from the sensor data acquisition unit and analyzes the environmental information when the self-position estimation process is executed in the self-position estimation unit.
  • the estimated self-position reliability calculation unit executes an estimated self-position reliability calculation step that calculates the self-position reliability estimated by the self-position estimation unit based on the environmental information analyzed by the environment information analysis unit. It is in the information processing method.
  • the fourth aspect of the present disclosure is It is an information processing method executed in an information processing system composed of a mobile device and a controller that outputs control information of the mobile device.
  • the sensor data acquisition unit acquires the detection information of the sensor provided in the moving body, and the sensor data acquisition step.
  • a self-position estimation step in which the self-position estimation unit inputs sensor detection information from the sensor data acquisition unit and executes self-position estimation of the moving object.
  • An environmental information analysis step in which the environmental information analysis unit inputs sensor detection information from the sensor data acquisition unit and analyzes the environmental information when the self-position estimation process is executed in the self-position estimation unit.
  • the estimated self-position reliability calculation unit calculates the self-position reliability estimated by the self-position estimation unit based on the environmental information analyzed by the environment information analysis unit, and the calculated estimated self-position reliability. Is executed in the estimated self-position reliability calculation step to be output to the controller.
  • An information display step in which the information display unit displays an estimated self-position reliability input from the estimated self-position reliability calculation unit of the mobile device, and A movement in which the mobile body control signal output unit generates control information for moving the mobile device according to the movement route in response to an input of the movement route of the mobile device via the operation unit and outputs the control information to the mobile device. It is in the information processing method for executing the body control signal output step.
  • the fifth aspect of the present disclosure is It is a program that executes information processing in an information processing device.
  • a sensor data acquisition step that causes the sensor data acquisition unit to acquire the detection information of the sensor provided in the moving body
  • a self-position estimation step in which sensor detection information is input from the sensor data acquisition unit to the self-position estimation unit to execute self-position estimation of the moving body
  • An environmental information analysis step in which sensor detection information is input from the sensor data acquisition unit to the environmental information analysis unit to analyze the environmental information when the self-position estimation process is executed in the self-position estimation unit.
  • the estimated self-position reliability calculation unit executes an estimated self-position reliability calculation step that calculates the self-position reliability estimated by the self-position estimation unit based on the environmental information analyzed by the environmental information analysis unit. It is in the program to let you.
  • the program of the present disclosure is, for example, a program that can be provided by a storage medium or a communication medium provided in a computer-readable format to an information processing device or a computer system capable of executing various program codes.
  • a program can be provided by a storage medium or a communication medium provided in a computer-readable format to an information processing device or a computer system capable of executing various program codes.
  • system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to those in the same housing.
  • a configuration is realized in which the reliability of self-position estimation of a mobile device such as a drone is calculated, and warning display and flight control are performed.
  • a sensor data acquisition unit that acquires detection information of a sensor provided in a moving body and a self-position that inputs sensor detection information from the sensor data acquisition unit and executes self-position estimation of the moving body.
  • the environment information analysis unit that analyzes environmental information such as the ambient brightness when the self-position estimation process is executed in the self-position estimation unit, and the score of the feature points of the image taken by the camera, and the environment information analysis unit.
  • It has an estimated self-position reliability calculation unit that calculates the reliability of the self-position estimated by the self-position estimation unit based on the analyzed environmental information, and performs warning display and flight control based on the calculated reliability.
  • a configuration is realized in which the reliability of self-position estimation of a mobile device such as a drone is calculated, and warning display and flight control are performed.
  • the autonomous moving body of the present disclosure is not limited to the drone, but includes various moving bodies such as an automated traveling robot and an automated driving vehicle. ..
  • autonomous flight drones that do not require visual monitoring by humans, that is, drones that fly autonomously from the starting point to the destination, will be used.
  • Such an autonomous flight type drone flies from a departure point to a destination by using, for example, communication information with a control center and GPS position information.
  • communication information with a control center and GPS position information.
  • GPS position information for example, there is a package delivery by drone as a specific usage form of an autonomous flight type drone.
  • FIG. 1 shows the following two types of drone flight examples.
  • Autonomous flight type (2) Controller control type
  • the autonomous flight type shown in FIG. 1 (1) shows an example of a drone 10 that autonomously flies from a starting point to a destination.
  • the autonomous flight type drone 10 flies from a departure point to a destination by using, for example, communication information with a control center, GPS position information, and analysis results of images taken by a mounted camera.
  • a signal for controlling the drone 10 is directly transmitted from the controller (remote control device) 20 owned by the user (operator) 1 to fly the drone 10. It controls.
  • the user (operator) 1 directly visually observes and controls the drone 10, as well as the screen of the controller (remote control device) 20 owned by the user (operator) 1.
  • the current position of the drone 10 and the movement route (flight route) are displayed, and the user (operator) 1 controls the flight of the drone 10 while looking at the screen.
  • the processing of the present disclosure can be used for both (1) autonomous flight type and controller control type shown in FIG.
  • the information processing apparatus of the present disclosure is mounted inside the drone 10 shown in FIG. 1, for example, and self-position estimation is performed using a captured image such as a GPS or a camera. Accurate self-position estimation is essential for the user to steer the drone or for the drone to move autonomously.
  • Self-position estimation is performed using the detection information of a camera and a sensor such as LiDAR (Light Detection and Ranking, Laser Imaging Detection and Ranking) in addition to GPS.
  • LiDAR Light Detection and Ranking, Laser Imaging Detection and Ranking
  • the SLAM process is a process that executes camera position identification (localization) and environmental map creation (mapping) in parallel.
  • SLAM processing estimates the three-dimensional position of a feature point by taking an image (moving image) with a camera and analyzing the locus of the feature points included in a plurality of captured images, and at the same time, the position and orientation of the camera (self). It is a process of estimating (localizing), and it is possible to create (mapping) a map (environmental map) of the surroundings using the three-dimensional position information of the feature points. In this way, the process of executing the position identification (localization) of the camera (self) and the creation (mapping) of the surrounding map (environmental map) in parallel is called SLAM.
  • the self-position estimation process using GPS or an image taken by a camera has a problem that the estimation accuracy differs depending on the environment. For example, in the shadow of a building where reception from GPS satellites is difficult, if self-position estimation processing using GPS signals is performed, the estimation accuracy will decrease. Further, if the self-position estimation process using the image taken by the camera is performed in a dark environment, the estimation accuracy is lowered. In an environment where self-position estimation cannot be performed accurately, autonomous movement becomes difficult.
  • the information processing apparatus of the present disclosure calculates the reliability of the self-position estimation result executed by the information processing apparatus inside the drone 10.
  • the environment information for which the self-position estimation process is executed for example, (A) Ambient brightness (b) Score of feature points detected from camera-captured images (c) Number of static objects detected from camera-captured images, or area occupancy of static objects in the image (d). ) Number of GPS satellites that can receive GPS signals
  • the information processing apparatus of the present disclosure further generates and corrects an action plan, for example, correction of a flight path, flight cancellation processing, etc., based on an "estimated self-position reliability" calculated based on analysis results of environmental information. Flight control is performed based on the action plan generated, generated, and modified. Further, a warning about danger, information on the corrected flight route, and the like are transmitted and displayed on the monitoring center that monitors the flight of the drone 10 and the display unit of the controller.
  • an action plan for example, correction of a flight path, flight cancellation processing, etc.
  • FIG. 2 is a block diagram showing a configuration example of the information processing apparatus 100 of the present disclosure.
  • the information processing device 100 shown in FIG. 2 is a device provided inside the drone 10.
  • the display device 120 shown in FIG. 2 is, for example, a display device possessed by a monitoring center or a user (operator).
  • the information processing apparatus 100 includes a sensor (camera) 101, a sensor (LiDAR) 102, a sensor (GPS) 103, a sensor data acquisition unit 104, a self-position estimation unit 105, an environment information analysis unit 106, and estimation. It has a self-position reliability calculation unit 107 and a moving body control unit 108. Further, the display device 120 has an information display unit 121.
  • the sensor (camera) 101 is a camera that captures an image of an external environment, and is composed of one or a plurality of monocular cameras, stereo cameras, infrared (IR) optical cameras, and the like.
  • the sensor (LiDAR) 102 is a LiDAR (Light Detection and Ringing, Laser Imaging Detection and Ranking), and is a sensor capable of measuring the distance to an obstacle and the like.
  • the sensor (GPS) 103 is a sensor for receiving signals from GPS satellites and acquiring current longitude and latitude information.
  • FIG. 2 shows only three types of sensors, but this is an example, and a configuration including these other sensors may be used.
  • a configuration including a ToF sensor, an ultrasonic sensor, a radar, a sonar, or the like may be used.
  • the sensor data acquisition unit 104 acquires the detection information of each sensor.
  • the sensor data acquisition unit 104 outputs the sensor detection information acquired from each sensor to the self-position estimation unit 105 and the environment information analysis unit 106.
  • the self-position estimation unit 105 estimates the current self-position of the drone 10 using the sensor detection information input from the sensor data acquisition unit 104.
  • the self-position estimated by the self-position estimation unit 105 is output to the estimated self-position reliability calculation unit 107 and the moving body control unit 108.
  • the mobile body control unit 108 flies the drone according to a predetermined movement path (flight path) based on the self-position estimated by the self-position estimation unit 105.
  • the self-position estimation unit 105 performs, for example, self-position estimation processing based on the acquired information of the GPS sensor, self-position estimation to which the above-mentioned SLAM (simultaneous localization and mapping) processing is applied, and the like.
  • SLAM simultaneous localization and mapping
  • an image (moving image) is taken with a camera, and the locus of the feature points included in a plurality of shot images is analyzed to estimate the three-dimensional position of the feature points and the camera ( It is a process of estimating (localizing) the position and orientation of the self), and it is possible to create (mapping) a map (environmental map) of the surroundings using the three-dimensional position information of the feature points.
  • EKF-based SLAM using EKF (Extended Kalman Filter).
  • EKF-based SLAM images are continuously taken while moving the camera, the locus (tracking information) of the feature points included in each image is obtained, and the movement amount of the camera and the feature points are three-dimensional by the moving stereo method. This is a method of estimating the position at the same time.
  • the self-position estimation result estimated by the self-position estimation unit 105 is output to the estimated self-position reliability calculation unit 107 and the moving body control unit 108.
  • the environmental information analysis unit 106 also inputs the sensor detection information acquired by the sensor data acquisition unit 104.
  • the environment information analysis unit 106 inputs the sensor detection information acquired by the sensor data acquisition unit 104, and analyzes the environment information on which the self-position estimation process is executed based on the input sensor detection information.
  • the environment when the self-position estimation process is executed for example, (A) Ambient brightness (b) Score of feature points detected from camera-captured images (c) Number of static objects detected from camera-captured images, or area occupancy of static objects in the image (d). ) Number of GPS satellites that can receive GPS signals For example, analyze these environmental information.
  • the "(a) ambient brightness” is analyzed based on, for example, the brightness of the captured image of the sensor (camera) 101. Further, in the configuration in which the illuminance sensor is attached, the analysis may be performed using the detection information of the illuminance sensor.
  • (B) Score of feature points detected from the image captured by the camera is executed as a process of calculating the number of feature points extracted from the image captured by the sensor (camera) 101 and the score indicating the reliability of the feature points. Will be done.
  • FIG. 3 shows an example of feature points extracted from the captured image of the sensor (camera) 101.
  • White dots in the image shown in FIG. 3 indicate feature points. It should be noted that existing methods such as Harris corner detection can be applied to the feature point detection from the image.
  • the feature point score is calculated by applying a predetermined feature point evaluation index such as "how outstanding the feature point is” or "is the feature point easy to track”.
  • a predetermined feature point evaluation index such as "how outstanding the feature point is” or "is the feature point easy to track”.
  • the feature point score calculation process it is possible to apply an existing feature point score calculation process such as a score defined in the Harris corner detection process or a Shi-tomasi score.
  • (C) The number of static objects detected from the image captured by the camera, or the area occupancy rate of the static objects in the image is determined, for example, by analyzing the captured image of the sensor (camera) 101 and incorporating it into the captured image. It is executed by the process of discriminating between a static object (object) and a dynamic object (object) from the included objects (objects). This process is performed by analyzing continuously captured images, such as moving images.
  • FIG. 4 is an example of data in which a person is detected by image analysis. This person detection process can be performed, for example, by detecting a pattern similar to the shape pattern of a person previously stored in the storage unit from the captured image, so-called pattern matching.
  • semantic segmentation as a process for discriminating between a static object (object) and a dynamic object (object).
  • Semantic segmentation is a type of image recognition processing, and is a method of performing a task of recognizing an object in an image at the pixel level using deep learning. For example, based on the degree of matching between the object identification dictionary data (learned data) in which shape information and other feature information of various actual objects are registered and the object in the camera-taken image, for example, the constituent pixels of the image ( Pixel) A technique for identifying which object category each pixel belongs to.
  • This semantic segmentation allows the identification of various objects contained in camera images, such as people, cars, buildings, roads, trees, ponds, lawns, and the like.
  • FIG. 5 is an image showing an example of the application result of semantic segmentation to the image taken by the camera.
  • semantic segmentation various objects in the captured image are output separately in predetermined colors according to the object type. That is, the object type of the pixel portion can be determined based on the output color.
  • the number of GPS satellites that can receive GPS signals was acquired during the execution of the self-position estimation process by the self-position estimation unit 105. Can be analyzed.
  • the environmental information analysis unit 106 inputs the sensor detection information acquired by the sensor data acquisition unit 104, and based on the input sensor detection information, the self-position estimation unit 105 executes the self-position estimation process.
  • the self-position estimation unit 105 executes the self-position estimation process.
  • the environmental information analysis unit 106 It is not essential for the environmental information analysis unit 106 to analyze all of the environmental information of the above (a) to (d), but to analyze at least one of the environmental information of the above (a) to (d). May be. However, it is preferable to have a configuration in which all or a plurality of the environmental information in the above (a) to (d) are analyzed.
  • the environmental information analyzed by the environmental information analysis unit 106 is input to the estimated self-position reliability calculation unit 107.
  • the estimated self-position reliability calculation unit 107 calculates the reliability of the self-position estimated by the self-position estimation unit 105.
  • the estimated self-position reliability calculation unit 107 relies on the estimated self-position based on the environmental information analyzed by the environmental information analysis unit 106, that is, the environmental information when the self-position estimation unit 105 executes the self-position estimation. Calculate the degree.
  • the environmental information analysis unit 106 may use, for example, as environmental information when the self-position estimation unit 105 executes self-position estimation.
  • A Ambient brightness
  • c Number of static objects detected from camera-captured images, or area occupancy of static objects in the image
  • d Number of GPS satellites that can receive GPS signals
  • these environmental information is analyzed, and the analysis result is input to the estimated self-position reliability calculation unit 107.
  • the estimated self-position reliability calculation unit 107 calculates the reliability of the self-position estimated by the self-position estimation unit 105 based on these environmental information.
  • the environmental information analysis unit 106 may be configured to analyze at least one of the environmental information of the above (a) to (d), and the estimated self-position reliability calculation unit 107 may be configured to analyze at least one of the above.
  • the reliability of the self-position estimated by the self-position estimation unit 105 is calculated.
  • the graph shown in FIG. 6 is a graph showing brightness (lux) on the horizontal axis and self-position estimation error on the vertical axis.
  • This graph is a pre-generated graph. For example, it is a graph generated by machine learning processing.
  • the brighter the brightness the lower the self-position estimation error, and the more accurate self-position estimation becomes possible.
  • the darker the distance the higher the self-position estimation error and the lower the accuracy of the self-position estimation.
  • the self-position estimation process to which a camera-taken image is applied depends on the number of "clear feature points that can be obtained from the image", that is, "feature points with a high score”.
  • the number of “feature points with a high score” depends on the "brightness of the image”.
  • “Image brightness” depends on “exposure time” and “ambient brightness”. However, if the "exposure time” is too long, the blur becomes large and the self-position accuracy is affected. Therefore, the "accuracy of self-position estimation” depends on the "ambient brightness”. As a result, the relationship between the brightness and the self-position estimation error is the relationship shown in the graph of FIG.
  • the brighter the brightness the lower the self-position estimation error, and the more accurate the self-position estimation becomes possible.
  • the darker the distance the higher the self-position estimation error and the lower the accuracy of the self-position estimation.
  • the data corresponding to the graph shown in FIG. 6, that is, the correspondence data between the brightness (lux) and the self-position estimation error, is stored in the storage unit of the information processing apparatus 100, and the estimated self-position reliability calculation unit 107. Calculates the reliability of the self-position estimated by the self-position estimation unit 105 by using the correspondence data ( graph shown in FIG. 6) between the brightness (lux) and the self-position estimation error.
  • the specific reliability calculation process for example, it is calculated based on the average luminance (pixel value) of the captured image of the sensor (camera) 101.
  • a value (brightness (lux)) obtained from the illuminance sensor may be used. Further, it may be calculated by using the exposure time, gain, etc. at the time of image shooting of the sensor (camera) 101.
  • the average brightness (pixel value) of the captured image of the sensor (camera) 101 when the self-position estimation unit 105 executes the self-position estimation and the reliability of the self-position estimated by the self-position estimation unit 105 (0 to 100).
  • the correspondence with) is shown in the graph shown in FIG.
  • the example shown in FIG. 7 is an example in which the reliability is set from the lowest reliability to the highest reliability value of 0 to 100.
  • the graph shown in FIG. 7 is calculated from the correspondence graph between the brightness (lux) shown in FIG. 6 and the self-position estimation error. Specifically, the graph shown in FIG. 7 can be generated by flipping the correspondence graph between the brightness (lux) shown in FIG. 6 and the self-position estimation error upside down.
  • the estimated self-position reliability calculation unit 107 uses the correspondence data between the average brightness (pixel value) of the captured image shown in FIG. 7 and the estimated self-position reliability to determine the self-position estimated by the self-position estimation unit 105. Calculate the reliability.
  • the self-position estimation unit 105 executes self-position estimation
  • the average luminance (pixel value) of the captured image captured by the sensor (camera) 101 is the luminance (pixel value) of the graph shown in FIG. 7.
  • the reliability of the self-position estimated by the self-position estimation unit 105 is about 75. However, the reliability is set from the lowest reliability (0) to the highest reliability (100).
  • the estimated self-position reliability calculation unit 107 receives the environmental information when the self-position estimation unit 105 executes the self-position estimation from the environmental information analysis unit 106.
  • the graph shown in FIG. 8 is a graph showing the feature point score on the horizontal axis and the self-position estimation error on the vertical axis.
  • This graph is a pre-generated graph. For example, it is a graph generated by an experiment of self-position estimation accuracy.
  • the lower the feature point score the higher the self-position estimation error and the lower the accuracy of self-position estimation.
  • the feature point score is a total value of the scores of all the feature points obtained from the images taken by the camera.
  • the relationship between the "feature point score”, which is the total value of the scores of all the feature points obtained from the images taken by the camera, and the self-position estimation error is the relationship shown in the graph of FIG.
  • the data corresponding to the graph shown in FIG. 8, that is, the correspondence data between the feature point score and the self-position estimation error is stored in the storage unit of the information processing apparatus 100, and the estimated self-position reliability calculation unit 107 is used.
  • the specific reliability calculation process for example, it is calculated based on the total value (feature point score) of the scores of all the feature points obtained from the captured image of the sensor (camera) 101.
  • the correspondence relationship with the reliability (0 to 100) of the self-position is shown in the graph shown in FIG.
  • the example shown in FIG. 9 is an example in which the reliability is set from the lowest reliability to the highest reliability value of 0 to 100.
  • the graph shown in FIG. 9 is calculated from the correspondence graph between the feature point score shown in FIG. 8 and the self-position estimation error. Specifically, the graph shown in FIG. 9 can be generated by flipping the correspondence graph between the feature point score shown in FIG. 8 and the self-position estimation error.
  • the estimated self-position reliability calculation unit 107 calculates the self-position reliability estimated by the self-position estimation unit 105 using the correspondence data between the feature point score shown in FIG. 9 and the estimated self-position reliability.
  • the self-position estimation unit 105 executes self-position estimation, the total value (feature point score) of the scores of all the feature points obtained from the captured image taken by the sensor (camera) 101.
  • the reliability of the self-position estimated by the self-position estimation unit 105 is about 75.
  • the reliability is set from the lowest reliability (0) to the highest reliability (100).
  • the estimated self-position reliability calculation unit 107 receives the environmental information when the self-position estimation unit 105 executes the self-position estimation from the environmental information analysis unit 106.
  • C The number of static objects detected from the image taken by the camera, or the area occupancy of the static objects in the image. The processing when is input will be described.
  • the graph shown in FIG. 10 is a graph showing the number of static objects on the horizontal axis, the area occupancy of static objects in the image, and the self-position estimation error on the vertical axis.
  • This graph is a pre-generated graph. For example, it is a graph generated by an experiment of self-position estimation accuracy.
  • the number of static objects or the area occupancy of static objects in the image is lower, the self-position estimation error increases and the accuracy of self-position estimation decreases.
  • the number of static objects is the total number of all static objects obtained from the images taken by the camera.
  • the data corresponding to the graph shown in FIG. 10, that is, the correspondence relationship data between the number of static objects or the area occupancy of static objects in the image and the self-position estimation error is stored in the storage unit of the information processing apparatus 100.
  • the specific reliability calculation process it is calculated based on, for example, the number of static objects obtained from the captured image of the sensor (camera) 101 or the area occupancy rate of the static objects in the image.
  • the number of static objects obtained from the captured image of the sensor (camera) 101 when the self-position estimation unit 105 executes the self-position estimation, or the area occupancy rate of the static objects in the image, and the self-position estimation unit 105 The correspondence relationship with the estimated self-position reliability (0 to 100) is shown in the graph shown in FIG.
  • the example shown in FIG. 11 is an example in which the reliability is set from the lowest reliability to the highest reliability value of 0 to 100.
  • the graph shown in FIG. 11 is calculated from the correspondence graph between the number of static objects shown in FIG. 10 or the area occupancy rate of static objects in the image and the self-position estimation error. Specifically, the graph shown in FIG. 11 is generated by flipping the correspondence graph between the number of static objects shown in FIG. 10 or the area occupancy rate of static objects in the image and the self-position estimation error. be able to.
  • the estimated self-position reliability calculation unit 107 uses the correspondence data between the number of static objects shown in FIG. 11 or the area occupancy rate of the static objects in the image and the estimated self-position reliability, and the self-position estimation unit 107.
  • the reliability of the self-position estimated by 105 is calculated.
  • the self-position estimation unit 105 executes self-position estimation, the number of all static objects obtained from the captured image captured by the sensor (camera) 101 or the static objects in the image.
  • the area occupancy rate of is the number of static objects in the graph shown in FIG. 11 or the area occupancy rate (C1) of static objects in the image
  • the self-position reliability estimated by the self-position estimation unit 105 is. It will be about 65. However, the reliability is set from the lowest reliability (0) to the highest reliability (100).
  • the estimated self-position reliability calculation unit 107 receives the environmental information when the self-position estimation unit 105 executes the self-position estimation from the environmental information analysis unit 106.
  • D The process when the number of GPS satellites that can receive the GPS signal is input will be described.
  • the graph shown in FIG. 12 is a graph showing the number of GPS signals that can be received on the horizontal axis and the self-position estimation error on the vertical axis.
  • This graph is a pre-generated graph. For example, it is a graph generated by machine learning processing.
  • the number of GPS signals that can be received here is the number of GPS satellites that the sensor (GPS) 103 can receive signals.
  • the number of GPS satellites received by the sensor (GPS) 103 when the self-position estimation unit 105 executes self-position estimation and the self-position reliability (0 to 100) estimated by the self-position estimation unit 105.
  • the example shown in FIG. 13 is an example in which the reliability is set from the lowest reliability to the highest reliability value of 0 to 100.
  • the graph shown in FIG. 13 is calculated from the correspondence graph between the number of GPS that can receive the signal and the self-position estimation error shown in FIG. Specifically, the graph shown in FIG. 13 can be generated by flipping the correspondence graph between the number of GPS that can receive the signal and the self-position estimation error shown in FIG. 12 upside down.
  • the estimated self-position reliability calculation unit 107 uses the correspondence data between the number of GPS signals that can be received and the estimated self-position reliability shown in FIG. 13 to determine the reliability of the self-position estimated by the self-position estimation unit 105. calculate.
  • the self-position estimation unit 105 executes self-position estimation
  • the number of GPS that can receive all the signals obtained from the captured image captured by the sensor (camera) 101 is shown in FIG.
  • the reliability of the self-position estimated by the self-position estimation unit 105 is about 85.
  • the reliability is set from the lowest reliability (0) to the highest reliability (100).
  • the estimated self-position reliability calculation unit 107 has been provided with environmental information when the self-position estimation unit 105 has executed self-position estimation from the environment information analysis unit 106.
  • (d). ) Number of GPS satellites that can receive GPS signals An example of reliability calculation processing when any one of these environmental information is input, that is, calculation processing of self-position reliability estimated by the self-position estimation unit 105.
  • A Ambient brightness
  • the estimated self-position reliability calculation unit 107 can be used as environmental information from the environmental information analysis unit 106 when the self-position estimation unit 105 executes self-position estimation.
  • (d) Number of GPS satellites that can receive GPS signals All or more of these environmental information (a) to (d) may be input.
  • the reliability calculated based on the individual environmental information is weighted and added to calculate the final reliability.
  • the estimated self-position reliability calculation unit 107 uses the predetermined weighting coefficients ⁇ 1 to ⁇ 4 to calculate the individual reliability V1, V2, V3, V4 based on the above four types of environmental information, and then:
  • the estimated self-position reliability calculation unit 107 calculates the reliability of the self-position estimated by the self-position estimation unit 105, for example, according to the above equation.
  • the weighting coefficients ⁇ 1 to ⁇ 4 are determined according to, for example, the range of reliability calculated according to the above equation (for example, 0 to 100).
  • the weighting coefficients ⁇ 1 to ⁇ 2 specified in advance are used and the following formula is followed.
  • the estimated self-position reliability calculation unit 107 sets the optimum weighting factor according to the number and types of the obtained environmental information among the above four types of environmental information, and performs the reliability calculation process. ..
  • the estimated self-position reliability calculation unit 107 is estimated based on the environmental information analyzed by the environmental information analysis unit 106, that is, the environmental information when the self-position estimation unit 105 executes the self-position estimation. Calculate the reliability of the self-position.
  • the estimated self-position reliability calculation unit 107 sets the calculated reliability of the estimated self-position to a predetermined threshold value, for example, the “allowable reliability threshold” shown in FIGS. 7, 9, 11, and 13. If the estimated self-position reliability calculated by comparing with the "value" is less than the “allowable reliability threshold", a warning is displayed on the control center or the information display unit 121 of the controller held by the user (operator). I do. For example, a warning display as shown in FIG. 14 is executed.
  • the estimated self-position reliability indicator may be displayed to indicate the reliability calculated by the estimated self-position reliability calculation unit 107.
  • the estimated self-position reliability indicator may be displayed to indicate the reliability calculated by the estimated self-position reliability calculation unit 107.
  • the estimated self-position reliability calculation unit 107 For example, as shown in FIG. 16, in a state where the drone 10 can only shoot an empty image as a camera shot image, it becomes difficult to extract feature points from the shot image, which makes it difficult to estimate the self-position, and as a result, self-position estimation. The accuracy will be reduced.
  • the calculated reliability of the estimated self-position is a specified threshold value, for example, the “allowable reliability threshold value” shown in FIGS. 7, 9, 11, and 13. If it is less than, a flight control instruction is output to the moving body control unit 108 to change the flight path of the moving body.
  • a route having a low reliability of the estimated self-position is avoided, and a route having a high reliability of the estimated self-position is searched for to determine the route.
  • a route with few conceptual buildings that can easily receive signals from GPS satellites is selected.
  • the map information can be received from the storage unit of the information processing device or an external server.
  • the estimated self-position reliability calculation unit 107 verifies the transition of the reliability calculated sequentially according to the flight path of the drone, estimates the direction in which the reliability decreases or increases, and increases the reliability.
  • a flight instruction for selecting a direction as a traveling path is output to the moving body control unit 108.
  • display data indicating the modified flight path is output to the information display unit 121, for example, as shown in FIG.
  • the estimated self-position reliability calculation unit 107 may be configured to output the sensing direction control information for controlling the sensing direction of the sensors 101 to 103 to the sensor. That is, in order to improve the accuracy of self-position estimation, the control is such that the shooting direction of the camera is changed so as to shoot an image having many feature points.
  • the estimated self-position reliability calculation unit 107 can be used as environmental information when the self-position estimation unit 105 executes self-position estimation from the environment information analysis unit 106.
  • the processing according to the flowchart of FIG. 18 is the control of the control unit (data processing unit) composed of a CPU or the like having a program execution function of the information processing device according to the program stored in the memory inside the information processing device. It is a process that can be executed below. Hereinafter, the processing of each step of the flow shown in FIG. 18 and below will be described.
  • Step S101 First, the information processing apparatus 100 mounted on the drone 10 acquires sensor data in step S101.
  • This process is a process executed by the sensor data acquisition unit 104 of the information processing apparatus 100 shown in FIG.
  • various sensors such as a camera, LiDAR, and GPS are mounted on the drone, and the sensor data acquisition unit 104 inputs these various sensor detection information.
  • Step S102 The process of step S102 and the process of step S103 are processes that can be executed in parallel.
  • the information processing apparatus 100 executes the self-position estimation process.
  • This process is a process executed by the self-position estimation unit 105 of the information processing apparatus 100 shown in FIG.
  • the self-position estimation process is executed, for example, by a process using GPS position information which is sensor acquisition information, or a SLAM (simultaneous localization and mapping) process using a photographed image of a camera constituting the sensor.
  • GPS position information which is sensor acquisition information
  • SLAM simultaneous localization and mapping
  • SLAM processing estimates the three-dimensional position of a feature point by taking an image (moving image) with a camera and analyzing the locus of the feature points included in a plurality of captured images, and at the same time, the position and orientation of the camera (self). It is a process of estimating (localizing), and it is possible to create (mapping) a map (environmental map) of the surroundings using the three-dimensional position information of the feature points. In this way, the process of executing the position identification (localization) of the camera (self) and the creation (mapping) of the surrounding map (environmental map) in parallel is called SLAM.
  • Step S103 Further, the information processing apparatus 100 analyzes the external environment information in step S103 based on the sensor acquisition information.
  • This process is a process executed by the environmental information analysis unit 106 of the information processing apparatus 100 shown in FIG.
  • the environment information analysis unit 106 inputs the sensor detection information acquired by the sensor data acquisition unit 104, and analyzes the environment information on which the self-position estimation process is executed based on the input sensor detection information.
  • the environment when the self-position estimation process is executed for example, (A) Ambient brightness (b) Score of feature points detected from camera-captured images (c) Number of static objects detected from camera-captured images, or area occupancy of static objects in the image (d). ) Number of GPS satellites that can receive GPS signals For example, analyze these environmental information.
  • Step S104 the information processing apparatus 100 executes the estimated self-position reliability calculation process in step S104.
  • This process is a process executed by the estimated self-position reliability calculation unit 107 of the information processing apparatus 100 shown in FIG.
  • the estimated self-position reliability calculation unit 107 is estimated by the self-position estimation unit 105 based on the environmental information analyzed by the environment information analysis unit 106, that is, the environmental information when the self-position estimation unit 105 executes the self-position estimation. Calculate the reliability of the self-position.
  • the estimated self-position reliability calculation unit 107 uses the weight coefficients ⁇ 1 to ⁇ 4 specified in advance to calculate the individual reliability V1, V2, V3, V4 based on the above four types of environmental information, and uses the following weight coefficients ⁇ 1 to ⁇ 4 as follows.
  • the estimated self-position reliability calculation unit 107 calculates the reliability of the self-position estimated by the self-position estimation unit 105, for example, according to the above equation.
  • Step S105 The process of step S105 and the process of step S106 are processes that can be executed in parallel.
  • the information processing apparatus 100 controls the moving body (drone 10) in step S105.
  • This process is a process executed by the mobile control unit 108 of the information processing apparatus 100 shown in FIG.
  • the calculated reliability of the estimated self-position is less than the specified threshold value, for example, the “allowable reliability threshold value” shown in FIGS. 7, 9, 11, and 13. If there is, a flight control instruction is output to the moving body control unit 108 to change the flight path of the moving body.
  • the mobile body control unit 108 controls the mobile body (drone 10) according to the instruction of the estimated self-position reliability calculation unit 107.
  • a route having a low reliability of the estimated self-position is avoided, and a route having a high reliability of the estimated self-position is searched for to determine the route.
  • a route with few conceptual buildings that can easily receive signals from GPS satellites is selected.
  • the map information can be received from the storage unit of the information processing device or an external server.
  • step S106 the information processing apparatus 100 generates display information and performs information output processing to the display unit.
  • This process is an information display process using the information display unit 121 shown in FIG.
  • the estimated self-position reliability calculation unit 107 determines the calculated reliability of the estimated self-position by a predetermined threshold value, for example, the “allowable reliability threshold value” shown in FIGS. 7, 9, 11, and 13. If the calculated estimated self-position reliability is less than the "allowable reliability threshold", a warning is displayed on the control center or the information display unit 121 of the controller held by the user (operator). .. For example, a warning display as shown in FIG. 14 is executed.
  • the estimated self-position reliability indicator may be displayed to indicate the reliability calculated by the estimated self-position reliability calculation unit 107.
  • control center or the user (operator) can be controlled as needed.
  • a controller or a user (operator) who has seen the warning display described above with reference to FIGS. 14 to 16 selects the optimum flight route and outputs a control signal to the drone 10. Is possible.
  • FIG. 19 shows an information processing device 100 mounted on the drone 10 and a controller 130 capable of communicating with the information processing device 100.
  • the controller 130 is a controller in the control center or owned by the user (operator).
  • the configuration of the information processing apparatus 100 is the same as the configuration described above with reference to FIG.
  • the information processing apparatus 100 includes a sensor (camera) 101, a sensor (LiDAR) 102, a sensor (GPS) 103, a sensor data acquisition unit 104, a self-position estimation unit 105, an environment information analysis unit 106, and an estimated self-position reliability calculation. It has a unit 107 and a moving body control unit 108.
  • the controller 130 has an operation unit 132 and a mobile control signal output unit 133 in addition to the information display unit 131.
  • the information display unit 131 displays, for example, display data as shown in FIGS. 14 to 17 described above.
  • the estimated self-position reliability calculation unit 107 of the information processing apparatus 100 in the drone 10 sets the calculated reliability of the estimated self-position to a predetermined threshold value, for example, FIGS. 7, 9, 11, and 13. If the estimated self-position reliability calculated by comparing with the indicated "allowable reliability threshold" is less than the "allowable reliability threshold", the control center or the controller 130 held by the user (operator) A warning is displayed on the information display unit 131 of. For example, a warning display as shown in FIG. 14 is executed.
  • the estimated self-position reliability indicator is displayed, and the reliability calculated by the estimated self-position reliability calculation unit 107 is output.
  • the controller or user (operator) who sees the warning display on the controller 130 side of the control center or user (operator) inputs the optimum flight route via, for example, the operation unit 132. Further, the mobile control signal output unit 133 transmits a control signal for performing a flight according to the flight path selected by the operation unit 132 to the mobile control unit 108 of the information processing device 100 of the drone 10.
  • the mobile control unit 108 controls the flight of the drone 10 based on the received signal from the controller 130.
  • the information processing apparatus of the present disclosure includes an information processing apparatus mounted on a drone, that is, an information processing apparatus 100 having the configuration shown in FIGS. 2 and 19, and also a controller 130 shown in FIG. 19, for example.
  • FIG. 20 is a diagram showing an example of hardware configuration that can be used as these information processing devices. The hardware components shown in FIG. 20 will be described.
  • the CPU (Central Processing Unit) 301 functions as a data processing unit that executes various processes according to a program stored in the ROM (Read Only Memory) 302 or the storage unit 308. For example, the process according to the sequence described in the above-described embodiment is executed.
  • the RAM (Random Access Memory) 303 stores programs and data executed by the CPU 301. These CPU 301, ROM 302, and RAM 303 are connected to each other by a bus 304.
  • the CPU 301 is connected to the input / output interface 305 via the bus 304, and the input / output interface 305 has an input unit 306 including various sensors, a camera, a switch, a keyboard, a mouse, a microphone, and an output unit 307 including a display and a speaker. Is connected.
  • the storage unit 308 connected to the input / output interface 305 is composed of, for example, a USB memory, an SD card, a hard disk, etc., and stores a program executed by the CPU 301 and various data.
  • the communication unit 309 functions as a transmission / reception unit for data communication via a network such as the Internet or a local area network, and communicates with an external device.
  • the drive 310 connected to the input / output interface 305 drives a removable media 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card, and records or reads data.
  • a removable media 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card
  • a sensor data acquisition unit that acquires detection information from a sensor installed in a moving object, and a sensor data acquisition unit.
  • a self-position estimation unit that inputs sensor detection information from the sensor data acquisition unit and executes self-position estimation of the moving object, and a self-position estimation unit.
  • An environmental information analysis unit that inputs sensor detection information from the sensor data acquisition unit and analyzes environmental information when the self-position estimation process is executed in the self-position estimation unit.
  • An information processing device having an estimated self-position reliability calculation unit that calculates the reliability of the self-position estimated by the self-position estimation unit based on the environmental information analyzed by the environmental information analysis unit.
  • the environmental information analysis unit As environmental information when the self-position estimation process is executed in the self-position estimation unit, (A) Surrounding brightness, (B) Score of feature points detected from images taken by the camera, (C) The number of static objects detected from the image taken by the camera, or the area occupancy of the static objects in the image. (D) Number of GPS satellites that can receive GPS signals, The information processing apparatus according to (1), which acquires at least one of the environmental information of (a) to (d) above.
  • the estimated self-position reliability calculation unit is When the self-position estimation process is executed in the self-position estimation unit, (A) Surrounding brightness, (B) Score of feature points detected from images taken by the camera, (C) The number of static objects detected from the image taken by the camera, or the area occupancy of the static objects in the image. (D) Number of GPS satellites that can receive GPS signals, The information processing apparatus according to (1) or (2), which calculates the reliability of the self-position estimated by the self-position estimation unit based on at least one of the environmental information of (a) to (d).
  • the sensor data acquisition unit is Input the captured image of the camera constituting the sensor, and
  • the environmental information analysis unit From the image taken by the camera, the brightness of the surroundings when the self-position estimation process is executed in the self-position estimation unit is analyzed.
  • the estimated self-position reliability calculation unit is It is determined that the brighter the ambient brightness when the self-position estimation process is executed in the self-position estimation unit, the higher the reliability of the estimated self-position calculated by the self-position estimation unit (1) to (3).
  • the sensor data acquisition unit is Input the captured image of the camera constituting the sensor, and
  • the environmental information analysis unit From the image taken by the camera, the feature point score when the self-position estimation process is executed in the self-position estimation unit is calculated.
  • the estimated self-position reliability calculation unit is It is determined that the higher the feature point score when the self-position estimation process is executed in the self-position estimation unit, the higher the reliability of the estimated self-position calculated by the self-position estimation unit (information processing apparatus according to 1). ..
  • the sensor data acquisition unit is Input the captured image of the camera constituting the sensor, and
  • the environmental information analysis unit From the image taken by the camera, the number of static objects when the self-position estimation process is executed in the self-position estimation unit, or the static object area occupancy rate in the image is calculated.
  • the estimated self-position reliability calculation unit is The larger the number of static objects when the self-position estimation process is executed in the self-position estimation unit or the static object area occupancy rate in the image, the higher the reliability of the estimated self-position calculated by the self-position estimation unit.
  • the information processing apparatus according to any one of (1) to (5).
  • the sensor data acquisition unit is Input the GPS reception signal that constitutes the sensor, and
  • the environmental information analysis unit From the image taken by the camera, the number of GPS satellites received by GPS when the self-position estimation process was executed in the self-position estimation unit was calculated.
  • the estimated self-position reliability calculation unit is It is determined that the larger the number of GPS satellites received by the GPS when the self-position estimation process is executed in the self-position estimation unit, the higher the reliability of the estimated self-position calculated by the self-position estimation unit (1).
  • the information processing apparatus according to any one of (6).
  • the estimated self-position reliability calculation unit is When the self-position estimation process is executed in the self-position estimation unit, (A) Surrounding brightness, (B) Score of feature points detected from images taken by the camera, (C) The number of static objects detected from the image taken by the camera, or the area occupancy of the static objects in the image. (D) Number of GPS satellites that can receive GPS signals, Enter at least one of the above environmental information (a) to (d), Based on each of the input environment information, the reliability of the self-position estimated by the self-position estimation unit is calculated.
  • the information processing apparatus according to any one of (1) to (7), wherein the weighted addition processing of the reliability corresponding to each of the calculated environment information is executed to calculate the final estimated self-position reliability.
  • the estimated self-position reliability calculation unit is The information processing according to any one of (1) to (8), wherein the reliability of the self-position estimated by the self-position estimation unit is calculated, and the calculated estimated self-position reliability is output to an external information display unit. Device.
  • the estimated self-position reliability calculation unit is When the reliability of the self-position estimated by the self-position estimation unit is calculated and the calculated estimated self-position reliability is less than a predetermined threshold value, The information processing apparatus according to any one of (1) to (9), which outputs a warning to an external information display unit.
  • the estimated self-position reliability calculation unit is When the reliability of the self-position estimated by the self-position estimation unit is calculated and the calculated estimated self-position reliability is less than a predetermined threshold value,
  • the information processing apparatus according to any one of (1) to (10), which outputs an instruction to perform movement control to the moving body control unit that executes movement control of the moving body.
  • the estimated self-position reliability calculation unit is When the reliability of the self-position estimated by the self-position estimation unit is calculated and the calculated estimated self-position reliability is less than a predetermined threshold value,
  • the information processing apparatus according to any one of (1) to (11), which outputs sensing direction control information for controlling the sensing direction of the sensor to the sensor.
  • An information processing system composed of a mobile device and a controller that outputs control information of the mobile device.
  • the moving device is A sensor data acquisition unit that acquires detection information of a sensor provided in the mobile device, and a sensor data acquisition unit.
  • a self-position estimation unit that inputs sensor detection information from the sensor data acquisition unit and executes self-position estimation of the moving object, and a self-position estimation unit.
  • An environmental information analysis unit that inputs sensor detection information from the sensor data acquisition unit and analyzes environmental information when the self-position estimation process is executed in the self-position estimation unit. Based on the environmental information analyzed by the environmental information analysis unit, the estimated self-position reliability estimated by the self-position estimation unit is calculated, and the calculated estimated self-position reliability is output to the controller.
  • the controller An information display unit that displays an estimated self-position reliability input from the estimated self-position reliability calculation unit of the mobile device, and an information display unit.
  • An operation unit that can input the movement route of the moving device, and An information processing system having a mobile control signal output unit that generates control information for moving the mobile device according to the movement route input via the operation unit and outputs the control information to the mobile device.
  • the sensor data acquisition unit acquires the detection information of the sensor provided in the moving body, and the sensor data acquisition step.
  • a self-position estimation step in which the self-position estimation unit inputs sensor detection information from the sensor data acquisition unit and executes self-position estimation of the moving object.
  • An environmental information analysis step in which the environmental information analysis unit inputs sensor detection information from the sensor data acquisition unit and analyzes the environmental information when the self-position estimation process is executed in the self-position estimation unit.
  • the estimated self-position reliability calculation unit executes an estimated self-position reliability calculation step that calculates the self-position reliability estimated by the self-position estimation unit based on the environmental information analyzed by the environment information analysis unit. Information processing method.
  • the sensor data acquisition unit acquires the detection information of the sensor provided in the moving body, and the sensor data acquisition step.
  • a self-position estimation step in which the self-position estimation unit inputs sensor detection information from the sensor data acquisition unit and executes self-position estimation of the moving object.
  • An environmental information analysis step in which the environmental information analysis unit inputs sensor detection information from the sensor data acquisition unit and analyzes the environmental information when the self-position estimation process is executed in the self-position estimation unit.
  • the estimated self-position reliability calculation unit calculates the self-position reliability estimated by the self-position estimation unit based on the environmental information analyzed by the environment information analysis unit, and the calculated estimated self-position reliability.
  • a program that executes information processing in an information processing device A sensor data acquisition step that causes the sensor data acquisition unit to acquire the detection information of the sensor provided in the moving body, and A self-position estimation step in which sensor detection information is input from the sensor data acquisition unit to the self-position estimation unit to execute self-position estimation of the moving body, and An environmental information analysis step in which sensor detection information is input from the sensor data acquisition unit to the environmental information analysis unit to analyze the environmental information when the self-position estimation process is executed in the self-position estimation unit.
  • the estimated self-position reliability calculation unit executes an estimated self-position reliability calculation step that calculates the self-position reliability estimated by the self-position estimation unit based on the environmental information analyzed by the environmental information analysis unit. Program to let you.
  • the series of processes described in the specification can be executed by hardware, software, or a composite configuration of both.
  • the program can be pre-recorded on a recording medium.
  • programs can be received via networks such as LAN (Local Area Network) and the Internet, and installed on a recording medium such as a built-in hard disk.
  • the various processes described in the specification are not only executed in chronological order according to the description, but may also be executed in parallel or individually as required by the processing capacity of the device that executes the processes.
  • the system is a logical set configuration of a plurality of devices, and the devices having each configuration are not limited to those in the same housing.
  • a configuration is realized in which the reliability of self-position estimation of a mobile device such as a drone is calculated, and warning display and flight control are performed.
  • a sensor data acquisition unit that acquires detection information of a sensor provided in a moving body and a self-position that inputs sensor detection information from the sensor data acquisition unit and executes self-position estimation of the moving body.
  • the environment information analysis unit that analyzes environmental information such as the ambient brightness when the self-position estimation process is executed in the self-position estimation unit, and the score of the feature points of the image taken by the camera, and the environment information analysis unit.
  • It has an estimated self-position reliability calculation unit that calculates the reliability of the self-position estimated by the self-position estimation unit based on the analyzed environmental information, and performs warning display and flight control based on the calculated reliability.
  • a configuration is realized in which the reliability of self-position estimation of a mobile device such as a drone is calculated, and warning display and flight control are performed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computational Linguistics (AREA)
  • Navigation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

ドローン等の移動装置の自己位置推定の信頼度を算出して、警告表示や飛行制御を行う構成を実現する。移動体に備えられたセンサの検出情報を取得するセンサデータ取得部と、センサデータ取得部からセンサ検出情報を入力して、移動体の自己位置推定を実行する自己位置推定部と、自己位置推定部において自己位置推定処理が実行された際の周囲の明るさや、カメラ撮影画像の特徴点のスコア等の環境情報を解析する環境情報解析部と、環境情報解析部において解析された環境情報に基づいて、自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出部を有し、算出信頼度に基づいて警告表示や飛行制御を行う。

Description

情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
　本開示は、情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。さらに詳細には、例えばドローン等、移動装置の安全な飛行や走行を可能とする情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。
　近年、小型の飛行体であるドローンの利用が急激に増加している。例えば、ドローンにカメラを装着し、上空から地上の風景を撮影する処理等に利用されている。また、荷物の配送にドローンを利用することも計画されており、様々な実験が行われている。
　現在は、多くの国において、人の監視下、すなわち人が目視できる範囲でコントローラを操作してドローンの飛行制御を行うことが求められている。しかし、将来的には、人の目視による監視が不要な自律飛行型ドローン、すなわち、出発地から目的地に向けて自律的に飛行を行うドローンが多く利用されると推定される。
　このような自律飛行型のドローンは、例えば管制センターとの通信情報やＧＰＳ位置情報を利用して、出発地から目的地に向けて飛行する。
　今後、コントローラで操作するドローンや自律飛行型のドローンが増加するにつれ、ドローンとビルとの衝突や、ドローン同士の衝突、さらにドローンの墜落が発生する可能性も増大することが予想される。
　市街地等、多数の車や人が往来する領域で、ドローンが落下すると大きな事故になる可能性もある。
　ドローンの安全な飛行を行うための構成を開示した従来技術として、例えば、特許文献１（特開２００６－０６４５５０号公報）がある。
　特許文献１は、ドローンと、ドローンを制御するコントローラとの通信が可能な領域を探索して、その領域内での飛行を行う構成を開示している。
　しかし、この文献に記載の技術は、コントローラによる通信可能な範囲での飛行制御に限られ、自律飛行型のドローンには適用できないという問題がある。
特開２００６－０６４５５０号公報
　本開示は、例えば、上記の問題点に鑑みてなされたものであり、ドローン等の移動装置を、安全に飛行、または走行させることを可能とした情報処理装置、情報処理システム、および情報処理方法、並びにプログラムを提供することを目的とする。
　本開示の第１の側面は、
　移動体に備えられたセンサの検出情報を取得するセンサデータ取得部と、
　前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定部と、
　前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析部と、
　前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出部を有する情報処理装置にある。
　さらに、本開示の第２の側面は、
　移動装置と、前記移動装置の制御情報を出力するコントローラによって構成される情報処理システムであり、
　前記移動装置は、
　前記移動装置に備えられたセンサの検出情報を取得するセンサデータ取得部と、
　前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定部と、
　前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析部と、
　前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度を、前記コントローラに出力する推定自己位置信頼度算出部を有し、
　前記コントローラは、
　前記移動装置の前記推定自己位置信頼度算出部から入力する推定自己位置信頼度を表示する情報表示部と、
　前記移動装置の移動ルートを入力可能な操作部と、
　前記操作部を介して入力された前記移動ルートに従って前記移動装置を移動させるための制御情報を生成して前記移動装置に出力する移動体制御信号出力部を有する情報処理システムにある。
　さらに、本開示の第３の側面は、
　情報処理装置において実行する情報処理方法であり、
　センサデータ取得部が、移動体に備えられたセンサの検出情報を取得するセンサデータ取得ステップと、
　自己位置推定部が、前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定ステップと、
　環境情報解析部が、前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析ステップと、
　推定自己位置信頼度算出部が、前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出ステップを実行する情報処理方法にある。
　さらに、本開示の第４の側面は、
　移動装置と、前記移動装置の制御情報を出力するコントローラによって構成される情報処理システムにおいて実行する情報処理方法であり、
　前記移動装置において、
　センサデータ取得部が、移動体に備えられたセンサの検出情報を取得するセンサデータ取得ステップと、
　自己位置推定部が、前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定ステップと、
　環境情報解析部が、前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析ステップと、
　推定自己位置信頼度算出部が、前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度を、前記コントローラに出力する推定自己位置信頼度算出ステップを実行し、
　前記コントローラにおいて、
　情報表示部が、前記移動装置の前記推定自己位置信頼度算出部から入力する推定自己位置信頼度を表示する情報表示ステップと、
　移動体制御信号出力部が、操作部を介した前記移動装置の移動ルートの入力に応じて、前記移動ルートに従って前記移動装置を移動させるための制御情報を生成して前記移動装置に出力する移動体制御信号出力ステップを実行する情報処理方法にある。
　さらに、本開示の第５の側面は、
　情報処理装置において情報処理を実行させるプログラムであり、
　センサデータ取得部に、移動体に備えられたセンサの検出情報を取得させるセンサデータ取得ステップと、
　自己位置推定部に、前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行させる自己位置推定ステップと、
　環境情報解析部に、前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析させる環境情報解析ステップと、
　推定自己位置信頼度算出部に、前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出ステップを実行させるプログラムにある。
　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　本開示の一実施例の構成によれば、ドローン等の移動装置の自己位置推定の信頼度を算出して、警告表示や飛行制御を行う構成が実現される。
　具体的には、例えば、移動体に備えられたセンサの検出情報を取得するセンサデータ取得部と、センサデータ取得部からセンサ検出情報を入力して、移動体の自己位置推定を実行する自己位置推定部と、自己位置推定部において自己位置推定処理が実行された際の周囲の明るさや、カメラ撮影画像の特徴点のスコア等の環境情報を解析する環境情報解析部と、環境情報解析部において解析された環境情報に基づいて、自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出部を有し、算出信頼度に基づいて警告表示や飛行制御を行う。
　本構成により、ドローン等の移動装置の自己位置推定の信頼度を算出して、警告表示や飛行制御を行う構成が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
ドローンの飛行制御の例について説明する図である。 本開示の情報処理装置の構成例について説明する図である。 カメラ撮影画像からの特徴点の検出処理の一例について説明する図である。 カメラ撮影画像からの人検出処理の一例について説明する図である。 セマンティク・セグメンテーションについて説明する図である。 明るさと自己位置推定誤差の対応関係について説明する図である。 画像平均輝度と推定自己位置信頼度の対応関係について説明する図である。 特徴点スコアと自己位置推定誤差の対応関係について説明する図である。 特徴点スコアと推定自己位置信頼度の対応関係について説明する図である。 静的オブジェクト数と自己位置推定誤差の対応関係について説明する図である。 静的オブジェクト数の対応関係について説明する図である。 信号受信可能なＧＰＳ衛星数と自己位置推定誤差の対応関係について説明する図である。 信号受信可能なＧＰＳ衛星数と推定自己位置信頼度の対応関係について説明する図である。 情報表示部に対する情報表示例について説明する図である。 情報表示部に対する情報表示例について説明する図である。 情報表示部に対する情報表示例について説明する図である。 情報表示部に対する情報表示例について説明する図である。 情報処理装置が実行する処理シーケンスについて説明するフローチャートを示す図である。 本開示の情報処理システムの構成例について説明する図である。 本開示の情報処理装置のハードウェア構成例について説明する図である。
　以下、図面を参照しながら本開示の情報処理装置、情報処理システム、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
　１．ドローンの飛行形態と、本開示の処理の概要について
　２．本開示の情報処理装置の構成と実行する処理について
　３．本開示の情報処理装置が実行する処理のシーケンスについて
　４．外部からドローン制御を行う構成について
　５．情報処理装置のハードウェア構成例につい
　６．本開示の構成のまとめ
　　［１．ドローンの飛行形態と、本開示の処理の概要について］
　まず、図１を参照して、ドローンの飛行形態の例と、本開示の処理の概要について説明する。
　なお、以下では、自律移動体の一例としてドローンを利用した例について説明するが、本開示の自律移動体は、ドローンに限らず、自動走行ロボット、自動運転車両等、様々な移動体を含むものである。
　先に説明したように、現在のドローンは、多くの国において人の監視下、すなわち人が目視できる範囲でコントローラを操作して飛行制御を行うことが求められている。しかし、将来的には、人の目視による監視が不要な自律飛行型ドローン、すなわち、出発地から目的地に向けて自律的に飛行を行うドローンが利用されると想定される。このような自律飛行型のドローンは、例えば管制センターとの通信情報やＧＰＳ位置情報を利用して、出発地から目的地に向けて飛行する。
　例えば、自律飛行型のドローンの具体的な利用形態としてドローンによる荷物配送がある。
　図１を参照して、一般的なドローンの飛行例について説明する。
　図１には、以下の２種類のドローン飛行例を示している。
　（１）自律飛行型
　（２）コントローラ操縦型
　図１（１）に示す自律飛行型は、出発地から目的地に向けて自律的に飛行を行うドローン１０の例を示している。この自律飛行型のドローン１０は、例えば管制センターとの通信情報やＧＰＳ位置情報、さらに、搭載したカメラの撮影画像の解析結果等を利用して、出発地から目的地に向けて飛行する。
　図１（２）に示すコントローラ操縦型は、ユーザ（操縦者）１の所有するコントローラ（リモート制御装置）２０から、直接、ドローン１０を制御するための信号を送信して、ドローン１０の飛行を制御するものである。
　なお、このコントローラ操縦型でも、ユーザ（操縦者）１が、直接、目視でドローン１０を観察してコントロールする形態の他、ユーザ（操縦者）１の所有するコントローラ（リモート制御装置）２０の画面にドローン１０の現在位置や移動経路（飛行経路）を表示し、ユーザ（操縦者）１が、画面を見ながら、ドローン１０の飛行を制御する形態もある。
　本開示の処理は、図１に示す（１）自律飛行型、コントローラ操縦型のいずれにも利用可能である。
　本開示の情報処理装置は、例えば図１に示すドローン１０内部に装着され、ＧＰＳやカメラ等の撮影画像等を利用して自己位置推定を行う。
　ドローンをユーザが操縦または、ドローンが自律移動を行うためには、正確な自己位置推定が必須である。
　自己位置推定はＧＰＳの他、カメラや、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）などのセンサの検出情報を利用して行われる。
　なお、カメラ撮影画像を利用した自己位置推定処理の代表例として、ＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ　ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　ｍａｐｐｉｎｇ）処理がある。
　ＳＬＡＭ処理は、カメラ位置同定（ローカリゼーション）と環境地図作成（ｍａｐｐｉｎｇ）を並行して実行する処理である。
　ＳＬＡＭ処理は、カメラで画像（動画像）を撮影し、複数の撮影画像に含まれる特徴点の軌跡を解析することで、特徴点の３次元位置を推定するとともに、カメラ（自己）の位置姿勢を推定（ローカリゼーション）する処理であり、特徴点の３次元位置情報を用いて周囲の地図（環境地図）を作成（ｍａｐｐｉｎｇ）することができる。このように、カメラ（自己）の位置同定（ローカリゼーション）と周囲の地図（環境地図）の作成（ｍａｐｐｉｎｇ）を並行して実行する処理がＳＬＡＭと呼ばれる。
　しかし、ＧＰＳやカメラ撮影画像を利用した自己位置推定処理は、環境によって推定精度が異なるという問題がある。
　例えば、ＧＰＳ衛星からの受信が困難なビルの陰などでは、ＧＰＳ信号を利用した自己位置推定処理を行うと、推定精度が低下する。
　また、暗い環境でカメラ撮影画像を利用した自己位置推定処理を行うと、推定精度が低下する。
　自己位置推定が正確に行えない環境下では、自律移動が困難になる。
　本開示の情報処理装置は、このような問題を解決するため、ドローン１０内部の情報処理装置が実行した自己位置推定結果の信頼度を算出する。
　具体的には、自己位置推定処理を実行した環境情報、例えば、
　（ａ）周囲の明るさ
　（ｂ）カメラ撮影画像から検出された特徴点のスコア
　（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率
　（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数
　例えば、これらの環境情報を解析し、解析結果に基づいて、自己位置推定結果の信頼度（＝「推定自己位置信頼度」）を算出する。
　本開示の情報処理装置は、さらに、環境情報を解析結果に基づいて算出した「推定自己位置信頼度」に基づいて、行動計画の生成、修正、例えば飛行経路の修正や、飛行中止処理等を行い、生成、修正した行動計画に基づいて、飛行制御を行う。
　さらに、ドローン１０の飛行を監視する監視センターや、コントローラの表示部に、危険性に関する警告や、修正した飛行経路の情報等を送信して表示する。
　　［２．本開示の情報処理装置の構成と実行する処理について］
　次に、本開示の情報処理装置の構成と実行する処理について説明する。
　図２は、本開示の情報処理装置１００の一構成例を示すブロック図である。
　なお、図２に示す情報処理装置１００は、ドローン１０内部に設けられた装置である。
　また、図２に示す表示装置１２０は、例えば監視センターやユーザ（操縦者）の有する表示装置である。
　図２に示すように、情報処理装置１００は、センサ（カメラ）１０１、センサ（ＬｉＤＡＲ）１０２、センサ（ＧＰＳ）１０３、センサデータ取得部１０４、自己位置推定部１０５、環境情報解析部１０６、推定自己位置信頼度算出部１０７、移動体制御部１０８を有する。
　また、表示装置１２０は、情報表示部１２１を有する。
　情報処理装置１００の各構成部の詳細と実行する処理について、順次、説明する。
　センサ（カメラ）１０１は、外部環境の画像を撮影するカメラであり、単眼カメラ、ステレオカメラ、赤外（ＩＲ）光カメラ等のいずれか、または複数の組み合わせによって構成される。
　センサ（ＬｉＤＡＲ）１０２は、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）であり、障害物までの距離等を計測可能なセンサである。
　センサ（ＧＰＳ）１０３は、ＧＰＳ衛星からの信号を受信し、現在の経度、緯度情報を取得するためのセンサである。
　なお、図２には、３種類のセンサのみを示しているが、これは一例であり、これらの他のセンサを備えた構成としてもよい。例えば、ＴｏＦセンサ、超音波センサ、レーダ、ソナー等を備えた構成でもよい。
　センサデータ取得部１０４は、各センサの検出情報を取得する。
　センサデータ取得部１０４は、各センサから取得したセンサ検出情報を、自己位置推定部１０５と、環境情報解析部１０６に出力する。
　自己位置推定部１０５は、センサデータ取得部１０４から入力したセンサ検出情報を用いて、ドローン１０の現在の自己位置を推定する。
　自己位置推定部１０５の推定した自己位置は、推定自己位置信頼度算出部１０７と、移動体制御部１０８に出力される。
　移動体制御部１０８は、自己位置推定部１０５の推定した自己位置に基づいて、予め定められた移動経路（飛行経路）に従ってドローンを飛行させる。
　自己位置推定部１０５は、例えば、ＧＰＳセンサの取得情報に基づく自己位置推定処理や、前述したＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ　ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　ｍａｐｐｉｎｇ）処理を適用した自己位置推定などを行う。
　前述したように、ＳＬＡＭ処理は、カメラで画像（動画像）を撮影し、複数の撮影画像に含まれる特徴点の軌跡を解析することで、特徴点の３次元位置を推定するとともに、カメラ（自己）の位置姿勢を推定（ローカリゼーション）する処理であり、特徴点の３次元位置情報を用いて周囲の地図（環境地図）を作成（ｍａｐｐｉｎｇ）することができる。
　なお、ＳＬＡＭ手法の１つとして、ＥＫＦ（拡張カルマンフィルタ：Ｅｘｔｅｎｄｅｄ　Ｋａｌｍａｎ　Ｆｉｌｔｅｒ）を使用したＥＫＦベースのＳＬＡＭがある。
　ＥＫＦベースのＳＬＡＭは、例えばカメラを移動させながら画像を連続的に撮影し、各画像に含まれる特徴点の軌跡（トラッキング情報）を求め、移動ステレオ法でカメラの移動量と特徴点の３次元位置を同時に推定する方法である。
　自己位置推定部１０５が推定した自己位置推定結果は、推定自己位置信頼度算出部１０７と、移動体制御部１０８に出力される。
　一方、環境情報解析部１０６も、センサデータ取得部１０４の取得したセンサ検出情報を入力する。
　環境情報解析部１０６は、センサデータ取得部１０４の取得したセンサ検出情報を入力し、入力したセンサ検出情報に基づいて、自己位置推定処理を実行した環境情報を解析する。
　具体的には、前述したように、自己位置推定処理を実行した際の環境、例えば、
　（ａ）周囲の明るさ
　（ｂ）カメラ撮影画像から検出された特徴点のスコア
　（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率
　（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数
　例えば、これらの環境情報を解析する。
　「（ａ）周囲の明るさ」は、例えばセンサ（カメラ）１０１の撮影画像の輝度に基づいて解析する。さらに照度センサを装着した構成では、照度センサの検出情報を用いて解析してもよい。
　「（ｂ）カメラ撮影画像から検出された特徴点のスコア」は、センサ（カメラ）１０１の撮影画像から抽出される特徴点の数や、特徴点の信頼度を示すスコアを算出する処理として実行される。
　図３に、センサ（カメラ）１０１の撮影画像から抽出される特徴点の例を示す。
　図３に示す画像中の白い点が特徴点を示している。
　なお、画像からの特徴点検出には、例えばＨａｒｒｉｓコーナー検出等の既存の手法が適用可能である。
　特徴点のスコアは、「どれほど際立っている特徴点か」、「トラッキングしやすい特徴点か」等の予め規定した特徴点評価指標を適用して算出する。
　なお、特徴点のスコア算出処理としては、Ｈａｒｒｉｓコーナー検出処理において規定されたスコアや、Ｓｈｉ－ｔｏｍａｓｉスコア等、既存の特徴点スコア算出処理を適用することが可能である。
　「（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率」は、例えば、センサ（カメラ）１０１の撮影画像を解析して、撮影画像内に含まれるオブジェクト（物体）から、静的オブジェクト（物体）と、動的オブジェクト（物体）を判別する処理によって実行される。
　この処理は、連続撮影された画像、例えば動画像の解析によって実行される。
　さらに、センサ（カメラ）１０１の撮影画像から人や、車等、動物体と推定されるオブジェクトを検出する処理を適用してもよい。
　例えば、図４は、画像解析によって人を検出したデータの例である。
　この人検出処理は、例えば予め記憶部に記憶された人の形状パターンと類似するパターンを撮影画像から検出処理、いわゆるパターンマッチングによって行うことができる。
　さらに、静的オブジェクト（物体）と、動的オブジェクト（物体）を判別する処理としては、セマンティック・セグメンテーションを利用することも可能である。
　セマンティック・セグメンテーションは、画像認識処理の一種であり、ディープラーニングを用いて画像中の物体が画素レベルで何かを認識するタスクを行う手法である。例えば様々な実際のオブジェクトの形状情報やその他の特徴情報を登録したオブジェクト識別用の辞書データ（学習済みデータ）と、例えばカメラ撮影画像内のオブジェクトとの一致度に基づいて、画像の構成画素（ピクセル）各々が、どのオブジェクトカテゴリに属する画素であるかを識別する技術である。
　このセマンティック・セグメンテーションにより、カメラ撮影画像に含まれる様々なオブジェクト、例えば人、車、ビル、道路、木、池、芝生等、オブジェクトの種類を識別することができる。
　図５は、カメラ撮影画像に対するセマンティック・セグメンテーションの適用結果の一例を示す画像である。
　セマンティック・セグメンテーションの適用により、撮影画像内の様々なオブジェクトは、オブジェクト種類に応じた予め規定した色に区別されて出力される。
　すなわち、出力色に基づいて、その画素部分のオブジェクト種類を判別することができる。
　このセマンティック・セグメンテーションによって識別されたオブジェクトの種類に基づいて、これらの識別オブジェクトを静的オブジェクト（物体）と、動的オブジェクト（物体）に分類することが可能となる。
　「（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数」については、自己位置推定部１０５による自己位置推定処理の実行中に、センサ（ＧＰＳ）１０３が通信可能であったＧＰＳ衛星の数を取得して解析することができる。
　このように、環境情報解析部１０６は、センサデータ取得部１０４の取得したセンサ検出情報を入力し、入力したセンサ検出情報に基づいて、自己位置推定部１０５が自己位置推定処理を実行した環境情報、例えば、
　（ａ）周囲の明るさ
　（ｂ）カメラ撮影画像から検出された特徴点のスコア
　（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率
　（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数
　例えば、これらの環境情報を解析する。
　なお、環境情報解析部１０６は、上記（ａ）～（ｄ）の環境情報の全てを解析することは必須ではなく、上記（ａ）～（ｄ）の環境情報の少なくとも１つを解析する構成であってもよい。
　ただし、好ましくは、上記（ａ）～（ｄ）の環境情報の全て、または複数を解析する構成とすることが好ましい。
　環境情報解析部１０６の解析した環境情報は、推定自己位置信頼度算出部１０７に入力される。
　推定自己位置信頼度算出部１０７は、自己位置推定部１０５が推定した自己位置の信頼度を算出する。
　推定自己位置信頼度算出部１０７は、環境情報解析部１０６の解析した環境情報、すなわち、自己位置推定部１０５が自己位置推定を実行した際の環境情報に基づいて、推定された自己位置の信頼度を算出する。
　前述したように、環境情報解析部１０６は、自己位置推定部１０５が自己位置推定を実行した際の環境情報として、例えば、
　（ａ）周囲の明るさ
　（ｂ）カメラ撮影画像から検出された特徴点のスコア
　（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率
　（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数
　例えば、これらの環境情報を解析しており、この解析結果が、推定自己位置信頼度算出部１０７に入力されている。
　推定自己位置信頼度算出部１０７は、これらの環境情報に基づいて、自己位置推定部１０５が推定した自己位置の信頼度を算出する。
　なお、上述したように、環境情報解析部１０６は、上記（ａ）～（ｄ）の環境情報の少なくとも１つを解析する構成であってもよく、推定自己位置信頼度算出部１０７は、上記（ａ）～（ｄ）の環境情報の少なくとも１つを入力して、自己位置推定部１０５が推定した自己位置の信頼度を算出する。
　推定自己位置信頼度算出部１０７が、環境情報解析部１０６から、自己位置推定部１０５が自己位置推定を実行した際の環境情報として、例えば、
　（ａ）周囲の明るさ
　この環境情報を入力した場合の推定自己位置信頼度算出処理について説明する。
　図６に示すグラフは、横軸に明るさ（ｌｕｘ）、縦軸に自己位置推定誤差を示したグラフである。
　このグラフは、予め生成されたグラフである。例えば、機械学習処理によって生成されたグラフである。
　グラフから理解されるように、明るさが明るいほど、自己位置推定誤差は低下し、高精度な自己位置推定が可能となる。一方、暗くなるほど、自己位置推定誤差は上昇し、自己位置推定の精度が低下する。
　一般的に、カメラ撮影画像を適用した自己位置推定処理では「画像から取得可能な明確な特徴点」、すなわち「スコアの高い特徴点」の数に依存する。
　「スコアの高い特徴点」の数は、「画像の輝度」に依存する。
　「画像の輝度」は「露光時間」と「周囲の明るさ」に依存する。
　しかし、「露光時間」が長すぎるとブラーが大きくなり自己位置精度に影響が出る。そのため、「自己位置推定の精度」は「周囲の明るさ」に依存する。
　その結果、明るさと、自己位置推定誤差の関係は、図６のグラフに示す関係となる。
　図６に示すように、明るさが明るいほど、自己位置推定誤差は低下し、高精度な自己位置推定が可能となる。一方、暗くなるほど、自己位置推定誤差は上昇し、自己位置推定の精度が低下する。
　図６に示すグラフに対応するデータ、すなわち、明るさ（ｌｕｘ）と自己位置推定誤差との対応関係データは、情報処理装置１００の記憶部に格納されており、推定自己位置信頼度算出部１０７は、明るさ（ｌｕｘ）と自己位置推定誤差との対応関係データ（＝図６に示すグラフ）を利用して、自己位置推定部１０５によって推定された自己位置の信頼度を算出する。
　具体的な信頼度算出処理に際しては、例えば、センサ（カメラ）１０１の撮影画像の平均輝度（画素値）に基づいて算出する。
　その他、例えば、照度センサを有する場合は、照度センサから得られる値（明るさ（ｌｕｘ））を用いてもよい。また、センサ（カメラ）１０１の画像撮影時の露光時間、ゲイン等を用いて算出してもよい。
　例えば、自己位置推定部１０５が自己位置推定を実行した際のセンサ（カメラ）１０１の撮影画像の平均輝度（画素値）と、自己位置推定部１０５が推定した自己位置の信頼度（０～１００）との対応関係は、図７に示すグラフとなる。なお、図７に示す例は、信頼度を最低信頼度から最高信頼度の値を０～１００として設定した例である。
　図７に示すグラフは、図６に示す明るさ（ｌｕｘ）と自己位置推定誤差との対応関係グラフから算出される。
　具体的には、図７に示すグラフは、図６に示す明るさ（ｌｕｘ）と自己位置推定誤差との対応関係グラフを上下反転することで生成することができる。
　推定自己位置信頼度算出部１０７は、この図７に示す撮影画像の平均輝度（画素値）と推定自己位置信頼度との対応関係データを用いて、自己位置推定部１０５が推定した自己位置の信頼度を算出する。
　具体的には、例えば、自己位置推定部１０５が自己位置推定を実行した際に、センサ（カメラ）１０１によって撮影された撮影画像の平均輝度（画素値）が、図７に示すグラフの輝度（Ｌ１）である場合、自己位置推定部１０５によって推定された自己位置の信頼度は、約７５となる。ただし、信頼度は、最低信頼度（０）～最高信頼度（１００）の設定である。
　次に、推定自己位置信頼度算出部１０７が、環境情報解析部１０６から、自己位置推定部１０５が自己位置推定を実行した際の環境情報として、
　（ｂ）カメラ撮影画像から検出された特徴点のスコア
　この環境情報を入力した場合の推定自己位置信頼度算出処理について説明する。
　図８に示すグラフは、横軸に特徴点スコア、縦軸に自己位置推定誤差を示したグラフである。
　このグラフは、予め生成されたグラフである。例えば、自己位置推定精度の実験によって生成されたグラフである。
　グラフから理解されるように、特徴点スコアが高いほど、自己位置推定誤差は低下し、高精度な自己位置推定が可能となる。一方、特徴点スコアが低いほど、自己位置推定誤差は上昇し、自己位置推定の精度が低下する。
　なお、ここで特徴点スコアは、カメラ撮影画像から得られた全ての特徴点のスコアの総計値である。
　カメラ撮影画像から得られた特徴点の数が多いほど特徴点スコアは高くなる。
　また、カメラ撮影画像から得られた特徴が、「際立っている」、「トラッキングしやすい」等の予め規定した特徴点評価指標が高いほど特徴点スコアは高くなる。
　その結果、カメラ撮影画像から得られた全ての特徴点のスコアの総計値である「特徴点スコア」と、自己位置推定誤差の関係は、図８のグラフに示す関係となる。
　図８に示すグラフに対応するデータ、すなわち、特徴点スコアと自己位置推定誤差との対応関係データは、情報処理装置１００の記憶部に格納されており、推定自己位置信頼度算出部１０７は、特徴点スコアと自己位置推定誤差との対応関係データ（＝図８に示すグラフ）を利用して、自己位置推定部１０５によって推定された自己位置の信頼度を算出する。
　具体的な信頼度算出処理に際しては、例えば、センサ（カメラ）１０１の撮影画像から得れる全ての特徴点のスコアの総計値（特徴点スコア）に基づいて算出する。
　例えば、自己位置推定部１０５が自己位置推定を実行した際のセンサ（カメラ）１０１の撮影画像から得れる全ての特徴点のスコアの総計値（特徴点スコア）と、自己位置推定部１０５が推定した自己位置の信頼度（０～１００）との対応関係は、図９に示すグラフとなる。なお、図９に示す例は、信頼度を最低信頼度から最高信頼度の値を０～１００として設定した例である。
　図９に示すグラフは、図８に示す特徴点スコアと自己位置推定誤差との対応関係グラフから算出される。
　具体的には、図９に示すグラフは、図８に示す特徴点スコアと自己位置推定誤差との対応関係グラフを上下反転することで生成することができる。
　推定自己位置信頼度算出部１０７は、この図９に示す特徴点スコアと推定自己位置信頼度との対応関係データを用いて、自己位置推定部１０５が推定した自己位置の信頼度を算出する。
　具体的には、例えば、自己位置推定部１０５が自己位置推定を実行した際に、センサ（カメラ）１０１によって撮影された撮影画像から得れる全ての特徴点のスコアの総計値（特徴点スコア）が、図９に示すグラフの輝度（Ｓ１）である場合、自己位置推定部１０５によって推定された自己位置の信頼度は、約７５となる。ただし、信頼度は、最低信頼度（０）～最高信頼度（１００）の設定である。
　次に、推定自己位置信頼度算出部１０７が、環境情報解析部１０６から、自己位置推定部１０５が自己位置推定を実行した際の環境情報として、
　（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率、
　を入力した場合の処理について説明する。
　図１０に示すグラフは、横軸に静的オブジェクト数、または画像内の静的オブジェクトの面積占有率、縦軸に自己位置推定誤差を示したグラフである。
　このグラフは、予め生成されたグラフである。例えば、自己位置推定精度の実験によって生成されたグラフである。
　グラフから理解されるように、静的オブジェクト数、または画像内の静的オブジェクトの面積占有率が高いほど、自己位置推定誤差は低下し、高精度な自己位置推定が可能となる。一方、静的オブジェクト数、または画像内の静的オブジェクトの面積占有率が低いほど、自己位置推定誤差は上昇し、自己位置推定の精度が低下する。
　なお、ここで静的オブジェクト数は、カメラ撮影画像から得られた全ての静的オブジェクトの総数である。
　図１０に示すグラフに対応するデータ、すなわち、静的オブジェクト数または画像内の静的オブジェクトの面積占有率と、自己位置推定誤差との対応関係データは、情報処理装置１００の記憶部に格納されており、推定自己位置信頼度算出部１０７は、静的オブジェクト数または画像内の静的オブジェクトの面積占有率と、自己位置推定誤差との対応関係データ（＝図１０に示すグラフ）を利用して、自己位置推定部１０５によって推定された自己位置の信頼度を算出する。
　具体的な信頼度算出処理に際しては、例えば、センサ（カメラ）１０１の撮影画像から得れる静的オブジェクトの数または画像内の静的オブジェクトの面積占有率に基づいて算出する。
　例えば、自己位置推定部１０５が自己位置推定を実行した際のセンサ（カメラ）１０１の撮影画像から得れる静的オブジェクト数または画像内の静的オブジェクトの面積占有率と、自己位置推定部１０５が推定した自己位置の信頼度（０～１００）との対応関係は、図１１に示すグラフとなる。なお、図１１に示す例は、信頼度を最低信頼度から最高信頼度の値を０～１００として設定した例である。
　図１１に示すグラフは、図１０に示す静的オブジェクト数または画像内の静的オブジェクトの面積占有率と、自己位置推定誤差との対応関係グラフから算出される。
　具体的には、図１１に示すグラフは、図１０に示す静的オブジェクト数または画像内の静的オブジェクトの面積占有率と、自己位置推定誤差との対応関係グラフを上下反転することで生成することができる。
　推定自己位置信頼度算出部１０７は、この図１１に示す静的オブジェクト数または画像内の静的オブジェクトの面積占有率と、推定自己位置信頼度との対応関係データを用いて、自己位置推定部１０５が推定した自己位置の信頼度を算出する。
　具体的には、例えば、自己位置推定部１０５が自己位置推定を実行した際に、センサ（カメラ）１０１によって撮影された撮影画像から得れる全ての静的オブジェクトの数または画像内の静的オブジェクトの面積占有率が、図１１に示すグラフの静的オブジェクト数または画像内の静的オブジェクトの面積占有率（Ｃ１）である場合、自己位置推定部１０５によって推定された自己位置の信頼度は、約６５となる。ただし、信頼度は、最低信頼度（０）～最高信頼度（１００）の設定である。
　次に、推定自己位置信頼度算出部１０７が、環境情報解析部１０６から、自己位置推定部１０５が自己位置推定を実行した際の環境情報として、
　（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数
　を入力した場合の処理について説明する。
　図１２に示すグラフは、横軸に信号受信可能なＧＰＳ数、縦軸に自己位置推定誤差を示したグラフである。
　このグラフは、予め生成されたグラフである。例えば、機械学習処理によって生成されたグラフである。
　グラフから理解されるように、信号受信可能なＧＰＳ数が高いほど、自己位置推定誤差は低下し、高精度な自己位置推定が可能となる。一方、信号受信可能なＧＰＳ数が低いほど、自己位置推定誤差は上昇し、自己位置推定の精度が低下する。
　なお、ここで信号受信可能なＧＰＳ数は、センサ（ＧＰＳ）１０３が信号受信可能なＧＰＳ衛星の数である。
　図１２に示すグラフに対応するデータ、すなわち、信号受信可能なＧＰＳ数と自己位置推定誤差との対応関係データは、情報処理装置１００の記憶部に格納されており、推定自己位置信頼度算出部１０７は、信号受信可能なＧＰＳ数と自己位置推定誤差との対応関係データ（＝図１２に示すグラフ）を利用して、自己位置推定部１０５によって推定された自己位置の信頼度を算出する。
　例えば、自己位置推定部１０５が自己位置推定を実行した際に、センサ（ＧＰＳ）１０３が信号受信したＧＰＳ衛星の数と、自己位置推定部１０５が推定した自己位置の信頼度（０～１００）との対応関係は、図１３に示すグラフとなる。なお、図１３に示す例は、信頼度を最低信頼度から最高信頼度の値を０～１００として設定した例である。
　図１３に示すグラフは、図１２に示す信号受信可能なＧＰＳ数と自己位置推定誤差との対応関係グラフから算出される。
　具体的には、図１３に示すグラフは、図１２に示す信号受信可能なＧＰＳ数と自己位置推定誤差との対応関係グラフを上下反転することで生成することができる。
　推定自己位置信頼度算出部１０７は、この図１３に示す信号受信可能なＧＰＳ数と推定自己位置信頼度との対応関係データを用いて、自己位置推定部１０５が推定した自己位置の信頼度を算出する。
　具体的には、例えば、自己位置推定部１０５が自己位置推定を実行した際に、センサ（カメラ）１０１によって撮影された撮影画像から得れる全ての信号受信可能なＧＰＳの数が、図１３に示すグラフの信号受信可能なＧＰＳ数（Ｇ１）である場合、自己位置推定部１０５によって推定された自己位置の信頼度は、約８５となる。ただし、信頼度は、最低信頼度（０）～最高信頼度（１００）の設定である。
　ここまで、推定自己位置信頼度算出部１０７が、環境情報解析部１０６から、自己位置推定部１０５が自己位置推定を実行した際の環境情報として、
　（ａ）周囲の明るさ
　（ｂ）カメラ撮影画像から検出された特徴点のスコア
　（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率
　（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数
　これらの環境情報のいずれか１つを入力した場合の信頼度算出処理、すなわち、自己位置推定部１０５によって推定された自己位置の信頼度の算出処理例について説明した。
　推定自己位置信頼度算出部１０７は、環境情報解析部１０６から、自己位置推定部１０５が自己位置推定を実行した際の環境情報として、
　（ａ）周囲の明るさ
　（ｂ）カメラ撮影画像から検出された特徴点のスコア
　（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率
　（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数
　これら（ａ）～（ｄ）の環境情報の全て、あるいは複数を入力する場合もある。
　この場合には、個別の環境情報に基づいて算出した信頼度を重み付け加算して最終的な信頼度を算出する。
　例えば、
　環境情報＝「（ａ）周囲の明るさ」に基づいて算出した推定自己位置信頼度＝Ｖ１
　環境情報＝「（ｂ）カメラ撮影画像から検出された特徴点のスコア」に基づいて算出した推定自己位置信頼度＝Ｖ２
　環境情報＝「（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率」に基づいて算出した推定自己位置信頼度＝Ｖ３
　環境情報＝「（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数」に基づいて算出した推定自己位置信頼度＝Ｖ４
　とする。
　この場合、推定自己位置信頼度算出部１０７は、上記４種類の環境情報に基づいて算出した個別の信頼度Ｖ１，Ｖ２，Ｖ３，Ｖ４を、予め規定した重み係数α１～α４を用いて、以下の式に従って最終的な信頼度、すなわち、自己位置推定部１０５が推定した自己位置の信頼度を算出する。
　信頼度＝（α１×Ｖ１）＋（α２×Ｖ２）＋（α３×Ｖ３）＋（α４×Ｖ４）
　推定自己位置信頼度算出部１０７は、例えば上記式に従って、自己位置推定部１０５が推定した自己位置の信頼度を算出する。
　なお、重み係数α１～α４については、例えば上記式に従って算出される信頼度の範囲（例えば０～１００）に応じて決定する。
　なお、例えは、上記４種類の環境情報に基づいて算出した個別の信頼度として、Ｖ１，Ｖ２のみしか得られない場合には、予め規定した重み係数β１～β２を用いて、以下の式に従って最終的な信頼度、すなわち、自己位置推定部１０５が推定した自己位置の信頼度を算出する。
　信頼度＝（β１×Ｖ１）＋（β２×Ｖ２）
　このように、推定自己位置信頼度算出部１０７は、上記４種類の環境情報中、得られた環境情報の数と種類に応じて、最適な重み係数を設定して信頼度の算出処理を行う。
　上述したように、推定自己位置信頼度算出部１０７は、環境情報解析部１０６の解析した環境情報、すなわち、自己位置推定部１０５が自己位置推定を実行した際の環境情報に基づいて、推定された自己位置の信頼度を算出する。
　さらに、推定自己位置信頼度算出部１０７は、算出した推定自己位置の信頼度を、予め規定したしきい値、例えば、図７、図９、図１１、図１３に示す「許容信頼度しきい値」と比較し、算出した推定自己位置信頼度が、「許容信頼度しきい値」未満であった場合、管制センターや、ユーザ（操縦者）の保持するコントローラの情報表示部１２１に警告表示を行う。
　例えば、図１４に示すような、警告表示を実行する。
　さらに、図１５に示すように、推定自己位置信頼度インジケータを表示して、推定自己位置信頼度算出部１０７が算出した信頼度を示す構成としてもよい。
　例えば図１６に示すようにドローン１０がカメラ撮影画像として空の画像しか撮影できないような状態では、撮影画像からの特徴点抽出が困難となるため自己位置推定が困難になり、結果として自己位置推定精度が低下することになる。
　さらに、推定自己位置信頼度算出部１０７は、算出した推定自己位置の信頼度が、規定しきい値、例えば、図７、図９、図１１、図１３に示す「許容信頼度しきい値」未満である場合、移動体制御部１０８に移動体の飛行経路を変更するように飛行制御指示を出力する。
　例えば、推定自己位置の信頼度が低い経路は避けて、推定自己位置の信頼度が高くなるような経路を探索させて経路決定を行う。
　具体的には、例えば、ＧＰＳ衛星からの信号受信のしやすい構想ビルの少ない経路を選択する。なお、地図情報は、情報処理装置の記憶部、または外部サーバから受信することができる。
　また、推定自己位置信頼度算出部１０７は、ドローンの飛行経路に従って、遂次算出される信頼度の推移を検証して、信頼度が低くなる方向や、高くなる方向を推定して、高くなる方向を進行経路として選択するような飛行指示を移動体制御部１０８に出力する。
　なお、飛行経路を修正した場合には、例えば図１７に示すように、情報表示部１２１に修正した飛行経路を示す表示データを出力する。
　さらに、推定自己位置信頼度算出部１０７は、センサ１０１～１０３のセンシング方向の制御を行うためのセンシング方向制御情報をセンサに出力する構成としてもよい。
　すなわち、自己位置推定の精度をあげるために、特徴点の多い画像を撮影させるようにカメラの撮影方向を変更させるといった制御である。
　なお、推定自己位置信頼度算出部１０７は、上述したように、環境情報解析部１０６から、自己位置推定部１０５が自己位置推定を実行した際の環境情報として、
　（ａ）周囲の明るさ
　（ｂ）カメラ撮影画像から検出された特徴点のスコア
　（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率
　（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数
　これら（ａ）～（ｄ）の環境情報を入力し、各環境情報に応じた信頼度を算出する。
　この場合、例えば、ＧＰＳ信号に基づいて、十分に高い自己位置推定が可能であるといった判断を行うことも可能であり、このような場合には、その他のセンサ（カメラ、ＬｉＤＡＲ）のスイッチをＯＦＦとして節電する処理を行ってもよい。
　　［３．本開示の情報処理装置が実行する処理のシーケンスについて］
　次に、本開示の情報処理装置が実行する処理のシーケンスについて説明する。
　図１８に示すフローチャートを参照して本開示の情報処理装置が実行する処理のシーケンスについて説明する。
　なお、図１８のフローチャートに従った処理は、情報処理装置内部のメモリに格納されたプログラムに従って、情報処理装置のプログラム実行機能を持つＣＰＵ等から構成される制御部（データ処理部）の制御の下で実行可能な処理である。
　以下、図１８以下に示すフローの各ステップの処理について、
　　（ステップＳ１０１）
　まず、ドローン１０に搭載された情報処理装置１００は、ステップＳ１０１においてセンサデータを取得する。
　この処理は、図２に示す情報処理装置１００のセンサデータ取得部１０４が実行する処理である。
　図２を参照して説明したように、ドローンには、カメラ、ＬｉＤＡＲ、ＧＰＳ等の様々なセンサが装着されており、センサデータ取得部１０４は、これらの様々なセンサ検出情報を入力する。
　　（ステップＳ１０２）
　ステップＳ１０２の処理と、ステップＳ１０３の処理は並列に実行可能な処理である。
　ステップＳ１０２において、情報処理装置１００は、自己位置推定処理を実行する。
　この処理は、図２に示す情報処理装置１００の自己位置推定部１０５が実行する処理である。
　自己位置推定処理は、例えばセンサ取得情報であるＧＰＳ位置情報を利用した処理、あるいはセンサを構成するカメラの撮影画像を利用したＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ　ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　ｍａｐｐｉｎｇ）処理などによって実行される。
　ＳＬＡＭ処理は、カメラで画像（動画像）を撮影し、複数の撮影画像に含まれる特徴点の軌跡を解析することで、特徴点の３次元位置を推定するとともに、カメラ（自己）の位置姿勢を推定（ローカリゼーション）する処理であり、特徴点の３次元位置情報を用いて周囲の地図（環境地図）を作成（ｍａｐｐｉｎｇ）することができる。このように、カメラ（自己）の位置同定（ローカリゼーション）と周囲の地図（環境地図）の作成（ｍａｐｐｉｎｇ）を並行して実行する処理がＳＬＡＭと呼ばれる。
　　（ステップＳ１０３）
　さらに、情報処理装置１００は、ステップＳ１０３において、センサ取得情報に基づいて、外部環境情報を解析する。
　この処理は、図２に示す情報処理装置１００の環境情報解析部１０６が実行する処理である。
　環境情報解析部１０６は、センサデータ取得部１０４の取得したセンサ検出情報を入力し、入力したセンサ検出情報に基づいて、自己位置推定処理を実行した環境情報を解析する。
　具体的には、前述したように、自己位置推定処理を実行した際の環境、例えば、
　（ａ）周囲の明るさ
　（ｂ）カメラ撮影画像から検出された特徴点のスコア
　（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率
　（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数
　例えば、これらの環境情報を解析する。
　　（ステップＳ１０４）
　次に情報処理装置１００は、ステップＳ１０４において、推定自己位置信頼度算出処理を実行する。
　この処理は、図２に示す情報処理装置１００の推定自己位置信頼度算出部１０７が実行する処理である。
　推定自己位置信頼度算出部１０７は、環境情報解析部１０６の解析した環境情報、すなわち、自己位置推定部１０５が自己位置推定を実行した際の環境情報に基づいて、自己位置推定部１０５が推定した自己位置の信頼度を算出する。
　この処理は、先に図６～図１３のグラフを参照して説明した処理に相当する。
　例えば、推定自己位置信頼度算出部１０７は、上記４種類の環境情報に基づいて算出した個別の信頼度Ｖ１，Ｖ２，Ｖ３，Ｖ４を、予め規定した重み係数α１～α４を用いて、以下の式に従って最終的な信頼度、すなわち、自己位置推定部１０５が推定した自己位置の信頼度を算出する。
　信頼度＝（α１×Ｖ１）＋（α２×Ｖ２）＋（α３×Ｖ３）＋（α４×Ｖ４）
　推定自己位置信頼度算出部１０７は、例えば上記式に従って、自己位置推定部１０５が推定した自己位置の信頼度を算出する。
　　（ステップＳ１０５）
　ステップＳ１０５の処理と、ステップＳ１０６の処理は並列に実行可能な処理である。
　情報処理装置１００は、ステップＳ１０５において、移動体（ドローン１０）の制御を行う。
　この処理は、図２に示す情報処理装置１００の移動体制御部１０８が実行する処理である。
　推定自己位置信頼度算出部１０７は、算出した推定自己位置の信頼度が、規定しきい値、例えば、図７、図９、図１１、図１３に示す「許容信頼度しきい値」未満である場合、移動体制御部１０８に移動体の飛行経路を変更するように飛行制御指示を出力する。
　移動体制御部１０８は、推定自己位置信頼度算出部１０７の指示に従って、移動体（ドローン１０）の制御を行う。
　例えば、推定自己位置の信頼度が低い経路は避けて、推定自己位置の信頼度が高くなるような経路を探索させて経路決定を行う。
　具体的には、例えば、ＧＰＳ衛星からの信号受信のしやすい構想ビルの少ない経路を選択する。なお、地図情報は、情報処理装置の記憶部、または外部サーバから受信することができる。
　　（ステップＳ１０６）
　さらに、情報処理装置１００は、ステップＳ１０６において、表示情報を生成して表示部に対する情報出力処理を行う。
　この処理は、図２に示す情報表示部１２１を利用した情報表示処理である。
　推定自己位置信頼度算出部１０７は、算出した推定自己位置の信頼度を、予め規定したしきい値、例えば、図７、図９、図１１、図１３に示す「許容信頼度しきい値」と比較し、算出した推定自己位置信頼度が、「許容信頼度しきい値」未満であった場合、管制センターや、ユーザ（操縦者）の保持するコントローラの情報表示部１２１に警告表示を行う。
　例えば、図１４に示すような、警告表示を実行する。
　さらに、図１５に示すように、推定自己位置信頼度インジケータを表示して、推定自己位置信頼度算出部１０７が算出した信頼度を示す構成としてもよい。
　　［４．外部からドローン制御を行う構成について］
　次に、変形例として、外部からドローン制御を行う構成について説明する。
　例えば管制センターやユーザ（操縦者）のコントローラから、直接、ドローン１０に操縦信号を送信して、ドローン１０移動経路の制御が実行可能な構成では、必要に応じて、管制センターやユーザ（操縦者）のコントローラからドローン１０に制御信号を送信して、飛行経路の変更などを行うことが可能である。
　例えば、先に図１４～図１６を参照して説明した警告表示を見た管制官やユーザ（操縦者）が、最適な飛行経路を選択して、ドローン１０に対して制御信号を出力する構成が可能である。
　この構成例について図１９を参照して説明する。
　図１９は、ドローン１０に搭載された情報処理装置１００と、情報処理装置１００と通信可能なコントローラ１３０を示している。
　コントローラ１３０は、管制センター内、あるいはユーザ（操縦者）の所有するコントローラである。
　情報処理装置１００の構成は、先に図２を参照して説明した構成と同様の構成である。
　すなわち、情報処理装置１００は、センサ（カメラ）１０１、センサ（ＬｉＤＡＲ）１０２、センサ（ＧＰＳ）１０３、センサデータ取得部１０４、自己位置推定部１０５、環境情報解析部１０６、推定自己位置信頼度算出部１０７、移動体制御部１０８を有する。
　一方、コントローラ１３０は、情報表示部１３１の他、操作部１３２、移動体制御信号出力部１３３を有する。
　情報表示部１３１には、例えば先に説明した図１４～図１７に示すような表示データが表示される。
　ドローン１０内の情報処理装置１００の推定自己位置信頼度算出部１０７は、算出した推定自己位置の信頼度を、予め規定したしきい値、例えば、図７、図９、図１１、図１３に示す「許容信頼度しきい値」と比較し、算出した推定自己位置信頼度が、「許容信頼度しきい値」未満であった場合、管制センターや、ユーザ（操縦者）の保持するコントローラ１３０の情報表示部１３１に警告表示を行う。
　例えば、図１４に示すような、警告表示を実行する。
　さらに、図１５や、図１６に示すように、推定自己位置信頼度インジケータを表示して、推定自己位置信頼度算出部１０７が算出した信頼度を出力する。
　例えば管制センターやユーザ（操縦者）のコントローラ１３０側で警告表示を見た管制官やユーザ（操縦者）は、例えば、操作部１３２を介して、最適な飛行経路を入力する。さらに、移動体制御信号出力部１３３は、操作部１３２において選択された飛行経路に従った飛行を行うための制御信号をドローン１０の情報処理装置１００の移動体制御部１０８に送信する。
　移動体制御部１０８は、コントローラ１３０からの受信信号に基づいて、ドローン１０の飛行制御を行う。
　　［５．情報処理装置のハードウェア構成例について］
　次に、情報処理装置のハードウェア構成例について説明する。
　なお、本開示の情報処理装置には、ドローンに搭載された情報処理装置、すなわち図２や図１９に示す構成を持つ情報処理装置１００の他、例えば図１９に示すコントローラ１３０も含まれる。
　図２０は、これらの情報処理装置として利用可能なハードウェア構成例を示す図である。図２０に示すハードウェアの構成要素について説明する。
　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）３０３には、ＣＰＵ３０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ３０１、ＲＯＭ３０２、およびＲＡＭ３０３は、バス３０４により相互に接続されている。
　ＣＰＵ３０１はバス３０４を介して入出力インタフェース３０５に接続され、入出力インタフェース３０５には、各種センサ、カメラ、スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。
　入出力インタフェース３０５に接続されている記憶部３０８は、例えばＵＳＢメモリ、ＳＤカード、ハードディスク等からなり、ＣＰＵ３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
　入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア３１１を駆動し、データの記録あるいは読み取りを実行する。
　　［６．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　移動体に備えられたセンサの検出情報を取得するセンサデータ取得部と、
　前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定部と、
　前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析部と、
　前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出部を有する情報処理装置。
　（２）　前記環境情報解析部は、
　前記自己位置推定部において自己位置推定処理が実行された際の環境情報として、
　（ａ）周囲の明るさ、
　（ｂ）カメラ撮影画像から検出された特徴点のスコア、
　（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率、
　（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数、
　上記（ａ）～（ｄ）の少なくともいずれかの環境情報を取得する（１）に記載の情報処理装置。
　（３）　前記推定自己位置信頼度算出部は、
　前記自己位置推定部において自己位置推定処理が実行された際の、
　（ａ）周囲の明るさ、
　（ｂ）カメラ撮影画像から検出された特徴点のスコア、
　（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率、
　（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数、
　上記（ａ）～（ｄ）の少なくともいずれかの環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出する（１）または（２）に記載の情報処理装置。
　（４）　前記センサデータ取得部は、
　前記センサを構成するカメラの撮影画像を入力し、
　前記環境情報解析部は、
　前記カメラの撮影画像から、前記自己位置推定部において自己位置推定処理が実行された際の周囲の明るさを解析し、
　前記推定自己位置信頼度算出部は、
　前記自己位置推定部において自己位置推定処理が実行された際の周囲の明るさが、明るいほど、前記自己位置推定部が算出した推定自己位置の信頼度が高いと判定する（１）～（３）いずれかに記載の情報処理装置。
　（５）　前記センサデータ取得部は、
　前記センサを構成するカメラの撮影画像を入力し、
　前記環境情報解析部は、
　前記カメラの撮影画像から、前記自己位置推定部において自己位置推定処理が実行された際の特徴点スコアを算出し、
　前記推定自己位置信頼度算出部は、
　前記自己位置推定部において自己位置推定処理が実行された際の特徴点スコアが高いほど、前記自己位置推定部が算出した推定自己位置の信頼度が高いと判定する（１に記載の情報処理装置。
　（６）　前記センサデータ取得部は、
　前記センサを構成するカメラの撮影画像を入力し、
　前記環境情報解析部は、
　前記カメラの撮影画像から、前記自己位置推定部において自己位置推定処理が実行された際の静的オブジェクトの数、または画像内の静的オブジェクト面積占有率を算出し、
　前記推定自己位置信頼度算出部は、
　前記自己位置推定部において自己位置推定処理が実行された際の静的オブジェクトの数、または画像内の静的オブジェクト面積占有率が大きいほど、前記自己位置推定部が算出した推定自己位置の信頼度が高いと判定する（１）～（５）いずれかに記載の情報処理装置。
　（７）　前記センサデータ取得部は、
　前記センサを構成するＧＰＳの受信信号を入力し、
　前記環境情報解析部は、
　カメラの撮影画像から、前記自己位置推定部において自己位置推定処理が実行された際のＧＰＳの受信したＧＰＳ衛星の数を算出し、
　前記推定自己位置信頼度算出部は、
　前記自己位置推定部において自己位置推定処理が実行された際のＧＰＳの受信したＧＰＳ衛星の数が大きいほど、前記自己位置推定部が算出した推定自己位置の信頼度が高いと判定する（１）～（６）いずれかに記載の情報処理装置。
　（８）　前記推定自己位置信頼度算出部は、
　前記自己位置推定部において自己位置推定処理が実行された際の、
　（ａ）周囲の明るさ、
　（ｂ）カメラ撮影画像から検出された特徴点のスコア、
　（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率、
　（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数、
　上記（ａ）～（ｄ）の少なくともいずれかの環境情報を入力し、
　入力環境情報各々に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出し、
　算出した環境情報各々に対応する信頼度の重み付け加算処理を実行して、最終的な推定自己位置信頼度を算出する（１）～（７）いずれかに記載の情報処理装置。
　（９）　前記推定自己位置信頼度算出部は、
　前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度を、外部の情報表示部に出力する（１）～（８）いずれかに記載の情報処理装置。
　（１０）　前記推定自己位置信頼度算出部は、
　前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度が予め規定したしきい値未満であった場合、
　外部の情報表示部に警告を出力する（１）～（９）いずれかに記載の情報処理装置。
　（１１）　前記推定自己位置信頼度算出部は、
　前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度が予め規定したしきい値未満であった場合、
　前記移動体の移動制御を実行する移動体制御部に対して、移動制御を行うように指示を出力する（１）～（１０）いずれかに記載の情報処理装置。
　（１２）　前記推定自己位置信頼度算出部は、
　前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度が予め規定したしきい値未満であった場合、
　前記センサのセンシング方向の制御を行うためのセンシング方向制御情報を前記センサに出力する（１）～（１１）いずれかに記載の情報処理装置。
　（１３）　移動装置と、前記移動装置の制御情報を出力するコントローラによって構成される情報処理システムであり、
　前記移動装置は、
　前記移動装置に備えられたセンサの検出情報を取得するセンサデータ取得部と、
　前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定部と、
　前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析部と、
　前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度を、前記コントローラに出力する推定自己位置信頼度算出部を有し、
　前記コントローラは、
　前記移動装置の前記推定自己位置信頼度算出部から入力する推定自己位置信頼度を表示する情報表示部と、
　前記移動装置の移動ルートを入力可能な操作部と、
　前記操作部を介して入力された前記移動ルートに従って前記移動装置を移動させるための制御情報を生成して前記移動装置に出力する移動体制御信号出力部を有する情報処理システム。
　（１４）　情報処理装置において実行する情報処理方法であり、
　センサデータ取得部が、移動体に備えられたセンサの検出情報を取得するセンサデータ取得ステップと、
　自己位置推定部が、前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定ステップと、
　環境情報解析部が、前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析ステップと、
　推定自己位置信頼度算出部が、前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出ステップを実行する情報処理方法。
　（１５）　移動装置と、前記移動装置の制御情報を出力するコントローラによって構成される情報処理システムにおいて実行する情報処理方法であり、
　前記移動装置において、
　センサデータ取得部が、移動体に備えられたセンサの検出情報を取得するセンサデータ取得ステップと、
　自己位置推定部が、前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定ステップと、
　環境情報解析部が、前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析ステップと、
　推定自己位置信頼度算出部が、前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度を、前記コントローラに出力する推定自己位置信頼度算出ステップを実行し、
　前記コントローラにおいて、
　情報表示部が、前記移動装置の前記推定自己位置信頼度算出部から入力する推定自己位置信頼度を表示する情報表示ステップと、
　移動体制御信号出力部が、操作部を介した前記移動装置の移動ルートの入力に応じて、前記移動ルートに従って前記移動装置を移動させるための制御情報を生成して前記移動装置に出力する移動体制御信号出力ステップを実行する情報処理方法。
　（１６）　情報処理装置において情報処理を実行させるプログラムであり、
　センサデータ取得部に、移動体に備えられたセンサの検出情報を取得させるセンサデータ取得ステップと、
　自己位置推定部に、前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行させる自己位置推定ステップと、
　環境情報解析部に、前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析させる環境情報解析ステップと、
　推定自己位置信頼度算出部に、前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出ステップを実行させるプログラム。
　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　以上、説明したように、本開示の一実施例の構成によれば、ドローン等の移動装置の自己位置推定の信頼度を算出して、警告表示や飛行制御を行う構成が実現される。
　具体的には、例えば、移動体に備えられたセンサの検出情報を取得するセンサデータ取得部と、センサデータ取得部からセンサ検出情報を入力して、移動体の自己位置推定を実行する自己位置推定部と、自己位置推定部において自己位置推定処理が実行された際の周囲の明るさや、カメラ撮影画像の特徴点のスコア等の環境情報を解析する環境情報解析部と、環境情報解析部において解析された環境情報に基づいて、自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出部を有し、算出信頼度に基づいて警告表示や飛行制御を行う。
　本構成により、ドローン等の移動装置の自己位置推定の信頼度を算出して、警告表示や飛行制御を行う構成が実現される。
　　１０　ドローン
　　２０　コントローラ
　１００　情報処理装置
　１０１～１０３　センサ
　１０４　センサデータ取得部
　１０５　自己位置推定部
　１０６　環境情報解析部
　１０７　推定自己位置信頼度算出部
　１０８　移動体制御部
　１２０　表示装置
　１２１　情報表示部
　１３０　コントローラ
　１３１　情報表示部
　１３２　操作部
　１３３　移動体制御信号出力部
　３０１　ＣＰＵ
　３０２　ＲＯＭ
　３０３　ＲＡＭ
　３０４　バス
　３０５　入出力インタフェース
　３０６　入力部
　３０７　出力部
　３０８　記憶部
　３０９　通信部
　３１０　ドライブ
　３１１　リムーバブルメディア

Claims (16)

  1. 　移動体に備えられたセンサの検出情報を取得するセンサデータ取得部と、
    　前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定部と、
    　前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析部と、
    　前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出部を有する情報処理装置。
  2. 　前記環境情報解析部は、
    　前記自己位置推定部において自己位置推定処理が実行された際の環境情報として、
    　（ａ）周囲の明るさ、
    　（ｂ）カメラ撮影画像から検出された特徴点のスコア、
    　（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率、
    　（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数、
    　上記（ａ）～（ｄ）の少なくともいずれかの環境情報を取得する請求項１に記載の情報処理装置。
  3. 　前記推定自己位置信頼度算出部は、
    　前記自己位置推定部において自己位置推定処理が実行された際の、
    　（ａ）周囲の明るさ、
    　（ｂ）カメラ撮影画像から検出された特徴点のスコア、
    　（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率、
    　（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数、
    　上記（ａ）～（ｄ）の少なくともいずれかの環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出する請求項１に記載の情報処理装置。
  4. 　前記センサデータ取得部は、
    　前記センサを構成するカメラの撮影画像を入力し、
    　前記環境情報解析部は、
    　前記カメラの撮影画像から、前記自己位置推定部において自己位置推定処理が実行された際の周囲の明るさを解析し、
    　前記推定自己位置信頼度算出部は、
    　前記自己位置推定部において自己位置推定処理が実行された際の周囲の明るさが、明るいほど、前記自己位置推定部が算出した推定自己位置の信頼度が高いと判定する請求項１に記載の情報処理装置。
  5. 　前記センサデータ取得部は、
    　前記センサを構成するカメラの撮影画像を入力し、
    　前記環境情報解析部は、
    　前記カメラの撮影画像から、前記自己位置推定部において自己位置推定処理が実行された際の特徴点スコアを算出し、
    　前記推定自己位置信頼度算出部は、
    　前記自己位置推定部において自己位置推定処理が実行された際の特徴点スコアが高いほど、前記自己位置推定部が算出した推定自己位置の信頼度が高いと判定する請求項１に記載の情報処理装置。
  6. 　前記センサデータ取得部は、
    　前記センサを構成するカメラの撮影画像を入力し、
    　前記環境情報解析部は、
    　前記カメラの撮影画像から、前記自己位置推定部において自己位置推定処理が実行された際の静的オブジェクトの数、または画像内の静的オブジェクト面積占有率を算出し、
    　前記推定自己位置信頼度算出部は、
    　前記自己位置推定部において自己位置推定処理が実行された際の静的オブジェクトの数、または画像内の静的オブジェクト面積占有率が大きいほど、前記自己位置推定部が算出した推定自己位置の信頼度が高いと判定する請求項１に記載の情報処理装置。
  7. 　前記センサデータ取得部は、
    　前記センサを構成するＧＰＳの受信信号を入力し、
    　前記環境情報解析部は、
    　カメラの撮影画像から、前記自己位置推定部において自己位置推定処理が実行された際のＧＰＳの受信したＧＰＳ衛星の数を算出し、
    　前記推定自己位置信頼度算出部は、
    　前記自己位置推定部において自己位置推定処理が実行された際のＧＰＳの受信したＧＰＳ衛星の数が大きいほど、前記自己位置推定部が算出した推定自己位置の信頼度が高いと判定する請求項１に記載の情報処理装置。
  8. 　前記推定自己位置信頼度算出部は、
    　前記自己位置推定部において自己位置推定処理が実行された際の、
    　（ａ）周囲の明るさ、
    　（ｂ）カメラ撮影画像から検出された特徴点のスコア、
    　（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率、
    　（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数、
    　上記（ａ）～（ｄ）の少なくともいずれかの環境情報を入力し、
    　入力環境情報各々に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出し、
    　算出した環境情報各々に対応する信頼度の重み付け加算処理を実行して、最終的な推定自己位置信頼度を算出する請求項１に記載の情報処理装置。
  9. 　前記推定自己位置信頼度算出部は、
    　前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度を、外部の情報表示部に出力する請求項１に記載の情報処理装置。
  10. 　前記推定自己位置信頼度算出部は、
    　前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度が予め規定したしきい値未満であった場合、
    　外部の情報表示部に警告を出力する請求項１に記載の情報処理装置。
  11. 　前記推定自己位置信頼度算出部は、
    　前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度が予め規定したしきい値未満であった場合、
    　前記移動体の移動制御を実行する移動体制御部に対して、移動制御を行うように指示を出力する請求項１に記載の情報処理装置。
  12. 　前記推定自己位置信頼度算出部は、
    　前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度が予め規定したしきい値未満であった場合、
    　前記センサのセンシング方向の制御を行うためのセンシング方向制御情報を前記センサに出力する請求項１に記載の情報処理装置。
  13. 　移動装置と、前記移動装置の制御情報を出力するコントローラによって構成される情報処理システムであり、
    　前記移動装置は、
    　前記移動装置に備えられたセンサの検出情報を取得するセンサデータ取得部と、
    　前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定部と、
    　前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析部と、
    　前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度を、前記コントローラに出力する推定自己位置信頼度算出部を有し、
    　前記コントローラは、
    　前記移動装置の前記推定自己位置信頼度算出部から入力する推定自己位置信頼度を表示する情報表示部と、
    　前記移動装置の移動ルートを入力可能な操作部と、
    　前記操作部を介して入力された前記移動ルートに従って前記移動装置を移動させるための制御情報を生成して前記移動装置に出力する移動体制御信号出力部を有する情報処理システム。
  14. 　情報処理装置において実行する情報処理方法であり、
    　センサデータ取得部が、移動体に備えられたセンサの検出情報を取得するセンサデータ取得ステップと、
    　自己位置推定部が、前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定ステップと、
    　環境情報解析部が、前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析ステップと、
    　推定自己位置信頼度算出部が、前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出ステップを実行する情報処理方法。
  15. 　移動装置と、前記移動装置の制御情報を出力するコントローラによって構成される情報処理システムにおいて実行する情報処理方法であり、
    　前記移動装置において、
    　センサデータ取得部が、移動体に備えられたセンサの検出情報を取得するセンサデータ取得ステップと、
    　自己位置推定部が、前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定ステップと、
    　環境情報解析部が、前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析ステップと、
    　推定自己位置信頼度算出部が、前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度を、前記コントローラに出力する推定自己位置信頼度算出ステップを実行し、
    　前記コントローラにおいて、
    　情報表示部が、前記移動装置の前記推定自己位置信頼度算出部から入力する推定自己位置信頼度を表示する情報表示ステップと、
    　移動体制御信号出力部が、操作部を介した前記移動装置の移動ルートの入力に応じて、前記移動ルートに従って前記移動装置を移動させるための制御情報を生成して前記移動装置に出力する移動体制御信号出力ステップを実行する情報処理方法。
  16. 　情報処理装置において情報処理を実行させるプログラムであり、
    　センサデータ取得部に、移動体に備えられたセンサの検出情報を取得させるセンサデータ取得ステップと、
    　自己位置推定部に、前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行させる自己位置推定ステップと、
    　環境情報解析部に、前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析させる環境情報解析ステップと、
    　推定自己位置信頼度算出部に、前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出ステップを実行させるプログラム。
PCT/JP2021/022293 2020-07-01 2021-06-11 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム WO2022004333A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/003,077 US20230343228A1 (en) 2020-07-01 2021-06-11 Information processing apparatus, information processing system, and information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020113814A JP2022012173A (ja) 2020-07-01 2020-07-01 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JP2020-113814 2020-07-01

Publications (1)

Publication Number Publication Date
WO2022004333A1 true WO2022004333A1 (ja) 2022-01-06

Family

ID=79315195

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/022293 WO2022004333A1 (ja) 2020-07-01 2021-06-11 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム

Country Status (3)

Country Link
US (1) US20230343228A1 (ja)
JP (1) JP2022012173A (ja)
WO (1) WO2022004333A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023189721A1 (ja) * 2022-03-30 2023-10-05 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007322138A (ja) * 2006-05-30 2007-12-13 Toyota Motor Corp 移動装置及び移動装置の自己位置推定方法
JP2009300355A (ja) * 2008-06-17 2009-12-24 Mitsubishi Electric Corp 精度予測装置、精度予測方法及び精度予測プログラム
JP2016188806A (ja) * 2015-03-30 2016-11-04 シャープ株式会社 移動体及びシステム
JP2017188067A (ja) * 2016-04-01 2017-10-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 自律移動体
JP2018155732A (ja) * 2017-03-16 2018-10-04 株式会社デンソー 自己位置推定装置
JP2019036227A (ja) * 2017-08-21 2019-03-07 日本電産シンポ株式会社 移動体、移動体管理システムおよびコンピュータプログラム
JP2020017173A (ja) * 2018-07-27 2020-01-30 株式会社ダイヘン 移動体

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007322138A (ja) * 2006-05-30 2007-12-13 Toyota Motor Corp 移動装置及び移動装置の自己位置推定方法
JP2009300355A (ja) * 2008-06-17 2009-12-24 Mitsubishi Electric Corp 精度予測装置、精度予測方法及び精度予測プログラム
JP2016188806A (ja) * 2015-03-30 2016-11-04 シャープ株式会社 移動体及びシステム
JP2017188067A (ja) * 2016-04-01 2017-10-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 自律移動体
JP2018155732A (ja) * 2017-03-16 2018-10-04 株式会社デンソー 自己位置推定装置
JP2019036227A (ja) * 2017-08-21 2019-03-07 日本電産シンポ株式会社 移動体、移動体管理システムおよびコンピュータプログラム
JP2020017173A (ja) * 2018-07-27 2020-01-30 株式会社ダイヘン 移動体

Also Published As

Publication number Publication date
US20230343228A1 (en) 2023-10-26
JP2022012173A (ja) 2022-01-17

Similar Documents

Publication Publication Date Title
US20200333789A1 (en) Information processing apparatus, information processing method, and medium
US20220234733A1 (en) Aerial Vehicle Smart Landing
US11726498B2 (en) Aerial vehicle touchdown detection
Levinson et al. Traffic light mapping, localization, and state detection for autonomous vehicles
JP7204326B2 (ja) 情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム
CN112740274A (zh) 在机器人设备上使用光流传感器进行vslam比例估计的系统和方法
US11371851B2 (en) Method and system for determining landmarks in an environment of a vehicle
KR102560462B1 (ko) 이동 로봇
CN112596071A (zh) 无人机自主定位方法、装置及无人机
CN114683290B (zh) 一种足式机器人位姿优化的方法，装置以及存储介质
CN112379681A (zh) 无人机避障飞行方法、装置及无人机
CN113568435A (zh) 一种基于无人机自主飞行态势感知趋势的分析方法与系统
CN112378397A (zh) 无人机跟踪目标的方法、装置及无人机
US11080562B1 (en) Key point recognition with uncertainty measurement
WO2022004333A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
Markelic et al. The driving school system: Learning basic driving skills from a teacher in a real car
CN112380933A (zh) 无人机识别目标的方法、装置及无人机
KR20180066668A (ko) 무인 이동체의 주행 환경 제작 기술을 위한 장치 및 방법
EP4089649A1 (en) Neuromorphic cameras for aircraft
US20210142216A1 (en) Method of training a machine learning system for an object recognition device
Song et al. Real-time localization measure and perception detection using multi-sensor fusion for Automated Guided Vehicles
Sanchez-Lopez et al. Deep learning based semantic situation awareness system for multirotor aerial robots using LIDAR
US20230410323A1 (en) Movement prediction with infrared imaging
Mehra et al. Flight testing of a fault-tolerant control and vision-based obstacle avoidance system for uavs
Surgade et al. Real-time navigation for indoor environment

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21833009

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21833009

Country of ref document: EP

Kind code of ref document: A1