WO2024090191A1 - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents

情報処理装置、および情報処理方法、並びにプログラム Download PDF

Info

Publication number
WO2024090191A1
WO2024090191A1 PCT/JP2023/036674 JP2023036674W WO2024090191A1 WO 2024090191 A1 WO2024090191 A1 WO 2024090191A1 JP 2023036674 W JP2023036674 W JP 2023036674W WO 2024090191 A1 WO2024090191 A1 WO 2024090191A1
Authority
WO
WIPO (PCT)
Prior art keywords
surrounding
attitude
terrain
observed
dimensional
Prior art date
Application number
PCT/JP2023/036674
Other languages
English (en)
French (fr)
Inventor
憲太 中島
直樹 内田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2024090191A1 publication Critical patent/WO2024090191A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program, and in particular to an information processing device, an information processing method, and a program that enable a mobile body, such as a self-propelled robot equipped with a sensor, to efficiently search for three-dimensional spatial information in an unknown space.
  • This technology basically involves constructing an environmental model of the surrounding operating environment consisting of three-dimensional spatial information through user operation (non-autonomous), or a pre-planning is performed for a known environment, and the mobile body moves based on the pre-planning to explore and construct an environmental model of the surrounding operating environment.
  • the sensing information that can be obtained at the robot's initial position is limited, and includes occlusion and unknown areas, making it impossible to efficiently explore the surrounding unknown space and generate an environmental model consisting of three-dimensional spatial information.
  • Patent Document 1 discloses technology to infer the operating environment in occlusion and unknown areas.
  • This disclosure has been made in light of these circumstances, and in particular, enables a self-propelled robot equipped with sensors to efficiently obtain information about the surrounding operating environment, consisting of three-dimensional spatial information in an unknown space.
  • the information processing device and program of one aspect of the present disclosure are an information processing device and program that include a surrounding attitude observation three-dimensional terrain estimation unit that estimates multiple surrounding attitude observation three-dimensional terrains around the moving body detected by the sensor of the moving body at multiple surrounding attitudes in which at least one of the position and the direction differs from the initial attitude by a predetermined value based on an initial attitude observed three-dimensional terrain around the moving body detected by the sensor of the moving body in an initial attitude, a surrounding terrain estimation unit that estimates the terrain around the moving body as surrounding terrain based on each of the initial attitude observed three-dimensional terrain and the multiple surrounding attitude observed three-dimensional terrains, and a control unit that plans a path and attitude of the moving body and controls movement based on the surrounding terrain estimated by the surrounding terrain estimation unit.
  • a surrounding attitude observation three-dimensional terrain estimation unit that estimates multiple surrounding attitude observation three-dimensional terrains around the moving body detected by the sensor of the moving body at multiple surrounding attitudes in which at least one of the position and the direction differs from the initial attitude by a predetermined value based on an initial
  • An information processing method is an information processing method including the steps of estimating multiple surrounding attitude observed three-dimensional terrains around a moving body detected by a sensor of the moving body in multiple surrounding attitudes in which at least one of the position and the direction differs from the initial attitude by a predetermined value, based on an initial attitude observed three-dimensional terrain around the moving body detected by a sensor of the moving body in an initial attitude, estimating the terrain around the moving body as a surrounding terrain based on each of the initial attitude observed three-dimensional terrain and the multiple surrounding attitude observed three-dimensional terrains, and planning a path and attitude of the moving body based on the estimated surrounding terrain to control movement.
  • multiple surrounding attitude observed three-dimensional terrains around the moving body detected by the sensor of the moving body in an initial attitude are estimated in multiple surrounding attitudes in which at least one of the position and direction differs from the initial attitude by a predetermined value, based on the initial attitude observed three-dimensional terrain, and the terrain around the moving body is estimated as the surrounding terrain based on each of the initial attitude observed three-dimensional terrain and the multiple surrounding attitude observed three-dimensional terrains, and the path and attitude of the moving body are planned and the movement is controlled based on the estimated surrounding terrain.
  • FIG. 13 is a diagram illustrating a travel path planned when obstacles are known.
  • FIG. 13 is a diagram illustrating a travel route planned based only on the sensing results of a sensor.
  • FIG. 13 is a diagram illustrating a travel path planned based on obstacles inferred from sensing results.
  • 11A and 11B are diagrams illustrating sensing results of an initial attitude and a peripheral attitude.
  • 11A to 11C are diagrams illustrating the estimation results of the surrounding terrain for each of the initial posture and the surrounding posture of the present disclosure.
  • FIG. 2 is a diagram illustrating a configuration example of a moving body according to the present disclosure.
  • FIG. 7 is a diagram for explaining a configuration example of an inference unit in FIG. 6 .
  • 11A and 11B are diagrams illustrating examples of observed 3D terrain in an initial attitude, observed 3D terrain in a surrounding attitude based on the observed 3D terrain in the initial attitude, and their respective complementary maps.
  • 13A to 13C are diagrams illustrating an example of a UI image presenting the reliability of a complementary map in each of an initial posture and a surrounding posture.
  • 10A to 10C are diagrams illustrating an example of a UI image displayed when the position and orientation mark MPL in FIG. 9 is selected.
  • 10A to 10C are diagrams illustrating an example of a UI image displayed when the position and orientation mark MPR in FIG. 9 is selected.
  • 13A to 13C are diagrams illustrating other examples of UI images presenting the reliability of the complementary map in each of the initial posture and the surrounding postures.
  • 13A to 13C are diagrams illustrating an example of an enlarged display of a UI image presenting the reliability of a complementary map in each of the initial orientation and the surrounding orientations within the dotted frame in FIG. 12 .
  • 4 is a flowchart illustrating a drive control process.
  • 15 is a flowchart illustrating the initial attitude determination process (part 1) of FIG. 14 .
  • 15 is a flowchart illustrating the initial attitude determination process (part 2) of FIG. 14 . 2 shows an example of the configuration of a general-purpose computer.
  • the present disclosure enables a mobile body such as a self-propelled robot equipped with a sensor to efficiently obtain three-dimensional spatial information in an unknown space.
  • the mobile unit M In order for the mobile unit M to move autonomously and efficiently in a three-dimensional space such as that shown in the left part of Figure 1 while efficiently pointing its sensor, it needs a path plan such as the path T shown by the dotted line in the right part of Figure 1, and an attitude plan showing the direction in which the sensor should be pointed, as shown by the arrow.
  • the moving body M cannot plan its path or posture in advance.
  • the information obtained from the sensing is only information on the surface of each obstacle within the field of view of the sensor equipped on the moving body M, for example, observed 3D terrains R1 to R4 consisting of a portion of the surface of the obstacles B1 to B4.
  • the information that the moving body M can obtain from only the observed 3D terrains R1 to R4 is only a very small amount of information in three-dimensional space, as shown in the center of Figure 2, and the unknown areas and occlusion areas beyond the observed 3D terrains R1 to R4 are unknown.
  • the information on the observed 3D terrains R1 to R4 that can be acquired by the moving body M in its initial attitude does not cover enough information to properly infer the inferred obstacles G1 to G4, which correspond to the obstacles B1 to B4, and it is difficult to infer with a certain degree of accuracy.
  • the attitude of the moving body M includes information on the position of the moving body M in three-dimensional space and information on the direction in which the sensor equipped on the moving body M is pointed at that position.
  • the initial attitude is information on the position and direction of the moving body M when it actually exists
  • the surrounding attitude is an attitude that corresponds to the initial attitude, and is a virtual attitude in which at least one of the position and direction of the moving body M is slightly different from the initial attitude by a predetermined value.
  • a model is introduced that infers (estimates) the observed 3D terrains R1' to R4', as well as R1", R2", and R4" of surrounding orientations that differ slightly from the initial orientation by a predetermined value in at least one of the positions and directions, as shown by the moving bodies ML and MR on the left and right sides of FIG. 4, based on the moving body M in the initial orientation shown in the center of FIG. 4 and its observed 3D terrains R1 to R4.
  • a moving body ML is assumed as a peripheral posture of the moving body M, which is the initial posture, and observed 3D topography R1' to R4' is inferred as sensor data that can be acquired in the peripheral posture of the moving body ML.
  • moving unit ML Because moving unit ML is located below obstacle B2 in the figure compared to moving unit M, the view in the upper range in the figure is blocked more by obstacle B2 than by moving unit M.
  • the observed 3D terrains R1' to R4' observed by the mobile unit ML in the peripheral posture have a smaller observation area than the observed 3D terrains R1 to R4 because the field of view is blocked by the obstacle B2, and are considered to be inferior data for inferring the inferred obstacles G1 to G4.
  • a moving body MR is assumed as a peripheral posture of the moving body M, and observed 3D topographies R1'', R2'', and R4'' are inferred as sensor data that can be acquired in the peripheral posture of the moving body MR.
  • moving body MR is in a state where obstacle B3 is an occlusion area of obstacle B1, and there is nothing that corresponds to observed 3D terrain R3.
  • moving body MR is in a position that allows it to see the right side of obstacle B1 in the figure, and is therefore better at observing obstacles B1, B2, and B4 than moving body M.
  • the observed 3D terrains R1'', R2'', and R4'' have a larger observation area than the observed 3D terrains R1, R2, and R4, and are considered to be superior data for inferring inferred obstacles G1, G2, and G4, but are not suitable for inferring inferred obstacle G3.
  • the moving body MR can infer the inference obstacles G1, G2, and G4 with higher accuracy than the moving body M in its initial posture.
  • the estimation results and reliability of the surrounding terrain for the initial attitude and each of multiple surrounding attitudes are obtained based on the 3D terrain observed in the initial attitude.
  • the observed 3D terrain obtained when the mobile body M moves to multiple surrounding postures around the initial posture is estimated based on the observed 3D terrain in the initial posture.
  • a first estimation model is introduced that estimates sensor data from the sensor data in the initial posture of the moving body M when it is assumed that the moving body M has moved to an adjacent posture.
  • a model is introduced that estimates observed 3D terrains R1' to R4' and observed 3D terrains R1", R2", and R4" in surrounding attitudes assumed to have been moved to by mobile bodies ML and MR from observed 3D terrains R1 to R4, which are sensor data in the initial attitude of mobile body M.
  • the observed 3D terrain which is the sensor data in the initial posture of the mobile body M
  • the observed 3D terrain which is the sensor data in the surrounding postures assumed to be moved to by the mobile bodies ML and MR
  • the surrounding posture obstacle map is also referred to as the surrounding posture obstacle map
  • the surrounding terrain is estimated based on the observed 3D terrain acquired in the initial attitude and each of the multiple surrounding attitudes, and a second model is introduced to calculate the reliability of each estimation result.
  • the observed 3D terrain which is the sensor data in the initial attitude and the surrounding attitudes, contains many missing parts compared to the actual surrounding terrain, and the surrounding terrain is estimated by complementing these missing parts, so the surrounding terrain that is the estimated result is also called a complement map.
  • the surrounding terrains are estimated based on the sensor data in the initial attitude and surrounding attitudes.
  • the estimation results are, for example, the inference obstacles G1 to G4 in FIG. 3, and the reliability is the reliability of the entire estimation result, as described with reference to FIG. 4.
  • the estimation results of the surrounding terrain and their reliability are obtained and presented for comparison, allowing the user to select one of the estimation results for the initial posture and multiple surrounding postures based on its reliability.
  • the moving body 31 in FIG. 6 is a robot or the like that has the function of moving based on instructions from a user and the function of moving autonomously.
  • the drive system is not important, and it can be anything, such as one that moves by rotating drive wheels, one that walks using multiple legs, or one that rotates its main body.
  • the moving body 31 includes sensors 51-1 to 51-n, a drive control unit 52, a drive unit 53, a display unit 54, and an operation unit 55.
  • sensors 51-1 to 51-n when there is no need to distinguish between the sensors 51-1 to 51-n, they will simply be referred to as sensor 51, and the same will be used for other components.
  • Sensors 51-1 to 51-n are various sensors used to obtain the external conditions of the mobile object 31, in particular, surrounding three-dimensional spatial information, and supply sensor data from each sensor to the drive control unit 52.
  • the types and number of sensors 51-1 to 51-n are arbitrary.
  • the sensors 51-1 to 51-n include a camera, a radar, a LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), and an ultrasonic sensor.
  • the sensors 51-1 to 51-n may be configured to include one or more types of sensors among a camera, a radar, a LiDAR, and an ultrasonic sensor.
  • the type of the sensors 51-1 to 51-n is not limited to this example, and other types of sensors may be included.
  • the imaging method of the camera serving as sensor 51 is not particularly limited.
  • cameras using various imaging methods such as a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, or an infrared camera, which are imaging methods capable of distance measurement, can be applied to the camera as necessary.
  • the camera may also be one that is simply for acquiring photographic images, without being related to distance measurement.
  • the drive control unit 52 controls the overall movement of the moving body 31 by controlling the drive of the drive unit 53 based on the sensor data supplied by the sensor 51.
  • the drive control unit 52 controls the movement to acquire an environmental model consisting of the surrounding operating environment consisting of three-dimensional spatial information, based on the sensor data supplied by the sensor 51.
  • the environmental model consisting of the surrounding operating environment consisting of three-dimensional spatial information here is, for example, a local map consisting of a 3D model of the surroundings of the mobile object 31.
  • the drive control unit 52 generates a local map based on sensor data obtained by comprehensively sensing the surroundings using the sensor 51 of the moving body 31, and estimates the self-position by matching the generated local map with the global map.
  • the drive control unit 52 then executes a route plan and attitude plan for the mobile body 31 to move from the estimated self-position to the destination and to search the area around the self-position, and controls the mobile body 31 in accordance with the route plan and attitude plan.
  • the drive control unit 52 needs to efficiently create a local map by planning the path and attitude of the moving body 31 so that the sensors 51 can be used comprehensively.
  • the drive control unit 52 then plans a route for efficiently generating a local map based on the sensor data provided by the sensor 51, and creates the local map while moving along the planned route.
  • the drive control unit 52 estimates the surrounding terrain based on the initial attitude observed 3D terrain, which is made up of sensor data acquired by the sensor 51 in the initial attitude, which is the current attitude.
  • the drive control unit 52 estimates multiple surrounding attitude observed 3D topographies made up of sensor data acquired at surrounding attitudes, which are multiple positions and attitudes that are slightly different from the initial attitude, based on sensor data acquired by the sensor 51 in the initial attitude, which is the current attitude, and then estimates multiple surrounding topographies based on each of the multiple estimated surrounding attitude observed 3D topographies.
  • the drive control unit 52 also calculates the reliability of the initial attitude observed 3D terrain, which is made up of sensor data, and the surrounding terrain estimated based on multiple surrounding attitude observed 3D terrains.
  • the drive control unit 52 presents the multiple surrounding terrains and reliability information thus obtained to the user as a UI image, prompting the user to select which surrounding posture to take, and moves the moving body 31 so that it takes the selected surrounding posture. After that, the drive control unit 52 detects a 3D model and its own position based on the sensor data after the movement, generates a local map, and repeats the same process.
  • the drive control unit 52 presents the multiple surrounding terrains and reliability information thus obtained to the user as a UI image, moves the mobile unit 31 so as to assume a surrounding posture that estimates the surrounding terrain with the highest reliability, detects a 3D model and its own position based on the sensor data detected by the sensor 51, generates a local map, and repeats the same process.
  • the drive control unit 52 includes a 3D model construction unit 71, a self-position detection unit 72, data processing units 73-1 to 73-n, a data integration unit 74, an inference unit 75, a UI generation unit 76, a path attitude planning unit 77, and a drive control unit 78.
  • the 3D model construction unit 71 constructs a 3D model based on the sensor data of the sensors 51-1 to 51-n, generates a local map that essentially consists of the 3D model, and outputs it to the self-position detection unit 72 and the path attitude planning unit 77.
  • the 3D model construction unit 71 generates local maps consisting of, for example, three-dimensional high-precision maps created using techniques such as SLAM (Simultaneous Localization and Mapping), occupancy grid maps, etc.
  • SLAM Simultaneous Localization and Mapping
  • the three-dimensional high-precision map is, for example, a point cloud map.
  • the occupancy grid map is a map in which the three-dimensional or two-dimensional space around the moving body 31 is divided into grids of a predetermined size, and the occupancy state of objects is shown on a grid-by-grid basis.
  • the occupancy state of objects is shown, for example, by the presence or absence of an object and the probability of its existence.
  • the self-position detection unit 72 detects its own position and attitude based on the sensor data of the sensors 51-1 to 51-n and a local map consisting of a 3D model, and outputs the detected information on its own position and attitude to the path attitude planning unit 77.
  • the data processing units 73-1 to 73-n process the sensor data supplied by the sensors 51-1 to 51-n, respectively, into point cloud information of the same scale for integration, for example, and output the data to the data integration unit 74.
  • the data integration unit 74 integrates the sensor data processed for integration supplied by the data processing units 73-1 to 73-n, for example point cloud information processed to the same scale, into one piece of point cloud information and outputs it to the inference unit 75.
  • the inference unit 75 generates an initial attitude observed 3D terrain as sensor data when the current self-attitude is set as the initial attitude based on the sensor data obtained by integrating the sensor data from the sensors 51-1 to 51-n, estimates the surrounding terrain from the initial attitude observed 3D terrain, and calculates its reliability.
  • the inference unit 75 includes a surrounding attitude observation 3D terrain estimation unit 91 and a surrounding terrain estimation unit 92, as shown in FIG. 7.
  • the sensor data that is the integration of the sensor data from the sensors 51-1 to 51-n that is supplied to the inference unit 75 is, for example, 3D point cloud information, and if the current attitude of the moving body 31 is taken as the initial attitude, it can be said to be information on the observed 3D terrain observed in the initial attitude.
  • the inference unit 75 refers to the sensor data obtained by integrating the sensor data from the sensors 51-1 to 51-n as the initial attitude observed 3D terrain.
  • the surrounding attitude observation 3D terrain estimation unit 91 is an estimation model composed of a neural network constructed by machine learning, and estimates the observed 3D terrain acquired at multiple surrounding attitudes whose positions and attitudes are slightly different from the initial attitude, i.e., the surrounding attitude observation 3D terrain, based on the initial attitude observation 3D terrain, and outputs it to the surrounding terrain estimation unit 92.
  • the surrounding attitude observation 3D terrain estimation unit 91 is constructed, for example, by performing machine learning on pairs of observed 3D terrains observed in attitudes corresponding to initial attitudes identified by various positions and orientations for the same three-dimensional spatial information, and observed 3D terrains observed in attitudes corresponding to surrounding attitudes whose positions and orientations are slightly different from each of the respective attitudes.
  • the surrounding terrain estimation unit 92 is an estimation model composed of a neural network constructed by machine learning, and estimates each surrounding terrain based on the initial attitude observed 3D terrain and multiple surrounding attitude observed 3D terrains corresponding to the initial attitude, calculates the reliability of each estimation result, and outputs it to the UI generation unit 76 and the path attitude planning unit 77.
  • the surrounding terrain estimation unit 92 is constructed, for example, by performing machine learning on a pair of observed 3D terrain equivalent to sensor data and the real surrounding terrain.
  • the UI generation unit 76 ( Figure 6) generates a UI (User Interface) image based on the initial attitude observation 3D terrain and each of the multiple surrounding attitude observation 3D terrains, the estimated surrounding terrains, and the reliability information for each, and displays it on the display unit 54 consisting of a display or the like to present it to the user.
  • UI User Interface
  • the UI image will present the corresponding initial posture and multiple surrounding postures based on the estimated surrounding terrain and their respective reliability information, and will display information encouraging the user to select one of them.
  • the operation unit 55 which is composed of operation buttons, operation keys, a touch panel, etc., is operated, and information on the selected initial attitude or surrounding attitude is supplied to the path attitude planning unit 77 based on an operation signal corresponding to the operation content.
  • the path and attitude planning unit 77 plans a path and attitude based on the local map provided by the 3D model construction unit 71, the self-position provided by the self-position detection unit 72, the initial attitude and surrounding terrain estimation results and reliability information for each of the multiple surrounding attitudes provided by the inference unit 75, and the user's selection results based on the operation signal from the operation unit 55, and outputs the plan to the drive control unit 78.
  • the UI image may simply present the corresponding initial posture and multiple surrounding postures based on the estimated surrounding terrain and their respective reliability information.
  • the path attitude planning unit 77 uses the initial attitude provided by the inference unit 75 based on the surrounding terrain estimation results and reliability information for each of the initial attitude and multiple surrounding attitudes, and if the reliability of the surrounding terrain estimated based on the initial attitude is higher than a predetermined value, it adopts the initial attitude, and if the reliability of the surrounding terrain estimated based on the initial attitude is lower than a predetermined value, it selects the surrounding terrain estimation result with the highest reliability, and plans the path and attitude.
  • the initial postures and multiple surrounding postures with the highest reliability may be presented, or a UI image may be displayed that prompts the user to select one of the initial postures and multiple surrounding postures with the highest reliability.
  • the drive control unit 78 drives the drive unit 53 so that the moving body 31 moves based on the path and posture information planned by the path posture planning unit 77.
  • the top part of Figure 8 shows the actual shapes of the same obstacle in the real world as seen from different viewpoints. From the left, these are the actual shape RL, the actual shape RC, and the actual shape RR.
  • the actual shape RC is the current attitude of the moving body 31, i.e., the real-world shape of the obstacle represented in a front view observed from the initial attitude.
  • the actual shape RL is the current attitude of the moving body 31, i.e., the real-world shape of the obstacle as represented in a left-side view observed from a peripheral attitude shifted to the left toward the obstacle from the initial attitude.
  • the actual shape RR is the current attitude of the moving body 31, i.e., the real-world shape of the obstacle as represented in a right-side view observed from a peripheral attitude shifted to the right toward the obstacle from the initial attitude.
  • the initial attitude observed 3D terrain based on the sensor data obtained from the sensor 51 of the moving body 31 in the initial attitude will be something like the observed 3D terrain SC in the center of the middle row of Figure 8, for example.
  • the surrounding attitude observation 3D terrain estimation unit 91 estimates the surrounding attitude observation 3D terrains SL and SR as shown in the middle left and right parts of Figure 8 based on the observed 3D terrain SC, which is the initial attitude observation 3D terrain.
  • the surrounding attitude observed 3D terrains SL and SR in the middle left and right parts of Figure 8 are information estimated from the observed 3D terrain SC, which is the initial attitude observed 3D terrain, so there are many missing parts in the observed 3D terrain information.
  • the surrounding terrain estimation unit 92 estimates the surrounding terrains GL, GC, and GR as shown in the lower part of Figure 8 based on the observed 3D terrains SL, SC, and SR.
  • the surrounding terrain estimation unit 92 estimates the surrounding terrains GL, GC, GR by supplementing and inferring these.
  • the surrounding terrain estimation unit 92 also calculates the reliability depending on whether the surrounding terrain GL, GC, GR is suitable for planning the route and attitude, such as the degree of complementation from the observed 3D terrain SL, SC, SR, which is the sensor data used to estimate the surrounding terrain GL, GC, GR, and the size of the occlusion area in each of the estimated surrounding terrains GL, GC, GR.
  • the occlusion area is wide and not suitable for planning a path or attitude, so the reliability is set low.
  • the UI generation unit 76 presents a UI image PC, for example, as shown in FIG. 9.
  • the UI image PC in Figure 9 is an example of a UI image that is generated when the location is an office with a bookshelf, desk, and chairs arranged around it.
  • a position and attitude mark MPC which is the initial attitude that is the current attitude
  • a position and attitude mark MPL which is the peripheral attitude shifted to the left from the initial attitude
  • a position and attitude mark MPR which is the peripheral attitude shifted to the right from the initial attitude
  • the reliability of each is indicated by a score on the arrow corresponding to the position and orientation marks MPL, MPC, and MPR, as "Score 80", “Score 30", and “Score 0", respectively, and the arrow and mark are each displayed in a color according to the score.
  • the higher the score indicating the reliability the closer to white it is displayed, and the lower the score, the closer to black it is displayed.
  • the UI generation unit 76 reads out the surrounding terrain that is estimated when the mobile object 31 is moved to the corresponding surrounding orientation, and displays it as a UI image PL, for example, as shown in FIG. 10.
  • the UI image PL in FIG. 10 is the surrounding terrain that is expected to be obtained from the observed 3D terrain acquired when the mobile body 31 is moved to the surrounding orientation corresponding to the position and orientation mark MPL.
  • the UI image PL in FIG. 10 corresponds to the view seen when going around to the left side of the shelf on the right side in FIG. 9, and since the path beyond the shelf on the right side can be confirmed in comparison with the UI image PC in FIG. 9 obtained in the initial posture, the reliability is set to "Score 80", which is higher than the reliability "Score 30" in the initial posture.
  • the UI generation unit 76 reads out the surrounding terrain that is estimated when the mobile object 31 is moved to the corresponding surrounding orientation, and displays it as a UI image PR, for example, as shown in FIG. 11.
  • the UI image PR in FIG. 11 is the surrounding terrain that is expected to be obtained from the observed 3D terrain acquired when the mobile body 31 is moved to the surrounding orientation corresponding to the position and orientation mark MPR.
  • the UI image PR in FIG. 11 corresponds to the view seen when going around the shelf on the right side in FIG. 9 further to the right, and since an increasing amount of the area is hidden by the shelf compared to the UI image PC in FIG. 9 obtained in the initial position, the reliability is set to "Score 0", which is lower than the reliability in the initial position of "Score 30".
  • the user can visually recognize the initial posture and each of the multiple surrounding postures as position and posture marks MPL, MPC, and MPR, and can further visually recognize the reliability of each in the UI image PC.
  • the UI generation unit 76 when an office is displayed in a UI image PN as shown in FIG. 12, and a position and posture mark MN corresponding to the initial posture of the moving body 31 is present in the space between desks D1 and D2 shown in the dotted line frame and surrounded by chairs CA, CB, CC, and CD, the UI generation unit 76 generates a UI image as shown in FIG. 13, for example.
  • Figure 13 is an enlarged view PV of the area surrounded by the dotted line in the UI image PN of Figure 12.
  • the UI generation unit 76 will display only the position and posture marks RC1 to RC8 at the positions where the surrounding postures exist, and will display each in a color according to its reliability.
  • the user can recognize the current position and posture, which corresponds to the initial posture, by the position and posture mark MN, and furthermore, the surrounding postures can be recognized by the position and posture marks RC1 to RC8, and furthermore, each score can be recognized by its color.
  • the surrounding terrain that is estimated to be acquired when the moving body 31 takes the surrounding orientation corresponding to the position and orientation marks RC1 to RC8 as described with reference to Figures 10 and 11 may be displayed.
  • step S31 an initial attitude determination process is executed, the initial attitude is determined, and autonomous driving begins.
  • the initial attitude determination process will be described in detail later with reference to Figures 15 and 16.
  • sensors 51-1 to 51-n each sense the external situation of mobile unit 31, in particular the information required to recognize the surrounding space, and output the sensor data resulting from the sensing to 3D model construction unit 71, self-position detection unit 72, and data processing units 73-1 to 73-n, respectively.
  • step S33 the data processing units 73-1 to 73-n process the sensor data from the sensors 51-1 to 51-n, respectively, into a format that can be integrated by the data integration unit 74, such as 3D point cloud information of the same scale, and output the processed sensor data to the data integration unit 74.
  • step S34 the data integration unit 74 acquires the sensor data that has been processed into an integrable format and is supplied by the data processing units 73-1 to 73-n.
  • the data integration unit 74 integrates the sensor data to generate, for example, an initial attitude observed 3D terrain consisting of a single piece of 3D point cloud information, and outputs this to the inference unit 75 as an obstacle map.
  • the initial attitude observed 3D terrain referred to here is, strictly speaking, the observed 3D terrain at the current position and attitude during autonomous driving (hereinafter also referred to as the current attitude).
  • the observed 3D terrain generated by integrating the sensor data of sensors 51-1 to 51-n will be referred to as the initial attitude observed 3D terrain.
  • step S35 the surrounding attitude observation 3D terrain estimation unit 91 in the inference unit 75 generates an obstacle map for multiple surrounding attitudes consisting of the surrounding attitude observation 3D terrains of multiple surrounding attitudes based on the obstacle map consisting of the initial attitude observation 3D terrain, and outputs it to the surrounding terrain estimation unit 92.
  • the surrounding terrain estimation unit 92 estimates the surrounding terrain by generating a complementary map of multiple surrounding orientations from the obstacle map of multiple surrounding orientations including the initial orientation, and calculates the reliability of each surrounding terrain estimation result, i.e., each complementary map of multiple surrounding orientations, and outputs the surrounding terrain estimation results and reliability information to the UI generation unit 76 and the path orientation planning unit 77 as position and orientation candidates.
  • step S37 the path attitude planning unit 77 determines whether the reliability of the complementary map of the current attitude, i.e., the initial attitude, is the highest.
  • step S37 If it is determined in step S37 that the reliability of the complementary map of the current posture, i.e., the initial posture, is the highest, the process proceeds to step S38.
  • step S38 the path attitude planning unit 77 plans a long-term path based on the current attitude, i.e., information on the surrounding terrain corresponding to the complementary map of the initial attitude, as well as the local map and self-position information, and outputs the planning information to the drive control unit 78.
  • the reliability of the complementary map for the current posture is the highest, it is more reliable than moving from the current posture to a surrounding posture and generating a new complementary map, so a route (long-term route) that is longer than a specified distance starting from the current posture and within the range visible from the complementary map for the current posture is planned.
  • step S39 the drive control unit 78 drives the drive unit 53 based on the long-term route planning information supplied by the route attitude planning unit 77.
  • step S40 the 3D model construction unit 71 constructs a 3D model of the surroundings of the moving body 31 based on the sensor data of the sensors 51-1 to 51-n, generates a local map, and outputs it to the self-position detection unit 72 and the path attitude planning unit 77.
  • step S41 the self-position detection unit 72 detects its own position based on the sensor data of the sensors 51-1 to 51-n and the local map provided by the 3D model construction unit 71, and outputs information about the detected self-position to the path attitude planning unit 77.
  • step S42 the path attitude planning unit 77 determines whether the operation unit 55 has been operated to instruct termination.
  • step S42 If termination is not instructed in step S42, processing returns to step S32 and the subsequent steps are repeated.
  • step S42 the process ends.
  • step S37 if it is determined in step S37 that the reliability of the complementary map of the current posture, i.e., the initial posture, is not the highest, processing proceeds to step S43.
  • step S43 the path posture planning unit 77 selects the peripheral posture with the highest reliability from the complementary map of multiple candidate peripheral postures.
  • step S44 the path attitude planning unit 77 determines whether the selected surrounding attitude with the highest reliability is movable.
  • step S44 If in step S44 the most reliable peripheral posture among the complementary maps of multiple peripheral postures is not movable, processing proceeds to step S45.
  • step S45 the path posture planning unit 77 excludes from the candidates the surrounding postures that have the highest reliability and are not movable.
  • step S46 the path attitude planning unit 77 determines whether any candidate surrounding attitudes remain.
  • step S46 If candidate peripheral orientations remain in step S46, processing returns to step S43.
  • steps S43 to S46 are repeated until the peripheral posture that has the highest reliability and is movable is selected from among the multiple candidate peripheral postures.
  • step S44 If it is determined in step S44 that the movable peripheral posture that has the highest reliability among the multiple candidate peripheral postures has been selected, the process proceeds to step S47.
  • step S47 the path attitude planning unit 77 plans a short-term path within a range closer than a predetermined distance from the current attitude that passes through the surrounding attitude with the highest reliability, and outputs the plan information to the drive control unit 78, and the process proceeds to step S39.
  • the reliability of the complementary map for the current posture is not the highest and a complementary map for another candidate surrounding posture is selected, the complementary map that is newly generated after moving from the current posture to the surrounding posture will have a higher reliability.
  • a new route planned based on the complementary map obtained by moving to the surrounding postures may be a route with higher movement efficiency, so a relatively short route (short-term route) that is shorter than the specified distance is planned.
  • a complementary map of the initial attitude corresponding to the current attitude based on sensor data and a complementary map of the surrounding attitudes of the current attitude are generated while autonomous driving continues.
  • a long-term route longer than a specified distance is planned based on the complementary map obtained from the current posture, and if the reliability of the complementary map for the current posture is not the highest, a short-term route shorter than a specified distance is planned that passes through the surrounding posture with the highest reliability, based on the complementary map of the surrounding posture with the highest reliability.
  • a 3D model is constructed through autonomous movement to generate a local map, but the processing performed during autonomous movement is not limited to this, and may involve, for example, searching for a specific object or person.
  • step S61 sensor data is acquired by sensors 51-1 to 51-n, in step S62, the data is processed for integration, in step S63, the data is integrated, and in step S64, the initial attitude observed 3D terrain consisting of 3D point cloud information is output to the inference unit 75 as an obstacle map, and in step S65, a complementary map and reliability of multiple surrounding attitudes are calculated from the obstacle map of multiple surrounding attitudes including the initial attitude, and the surrounding terrain estimation results and reliability information are output to the UI generation unit 76 and the path attitude planning unit 77 as position and attitude candidates.
  • step S66 the path attitude planning unit 77 determines whether the reliability of the initial attitude complementary map is higher than a predetermined value.
  • step S66 If it is determined in step S66 that the reliability of the initial posture complementary map is higher than a predetermined value, processing proceeds to step S67.
  • step S67 the path attitude planning unit 77 plans a path and attitude based on information about the surrounding terrain that corresponds to the complementary map of the initial attitude, and outputs the planning information to the drive control unit 78.
  • step S68 the drive control unit 78 drives the drive unit 53 based on the path and posture planning information supplied by the path and posture planning unit 77, and starts autonomous driving.
  • the path and attitude are planned from the complementary map of the initial attitude, and autonomous driving begins.
  • step S66 If it is determined in step S66 that the reliability of the initial posture complementary map is not higher than the predetermined value, processing proceeds to step S69.
  • step S69 the UI generation unit 76 presents the peripheral postures with the highest reliability from the complementary map of multiple peripheral postures and prompts the user to select one of them as the selection destination.
  • the UI generation unit 76 generates a UI image as described with reference to Figures 9 and 13, and displays it on the display unit 54.
  • step S70 the path attitude planning unit 77 determines, based on the UI image, whether or not a movable peripheral attitude among multiple candidate peripheral attitudes has been selected as a destination by operating the operation unit 55.
  • step S70 if the operation unit 55 is operated to select an immovable peripheral posture as the destination from among the multiple peripheral postures, the process proceeds to step S71.
  • step S71 immovable peripheral postures are excluded from the complementary map of multiple peripheral postures.
  • step S72 the path attitude planning unit 77 and the UI generation unit 76 determine whether or not any candidate surrounding attitudes remain, and if so, the process returns to step S69.
  • step S70 if the operation unit 55 is operated to select a movable peripheral posture from among the multiple peripheral postures as the destination, the process proceeds to step S73.
  • step S73 the path attitude planning unit 77 plans a path and attitude for moving to take the selected peripheral attitude, and outputs the planning information to the drive control unit 78.
  • the drive control unit 78 controls the drive unit 53 to move the moving body 31 to the selected peripheral posture, and the process returns to step S61, where the subsequent processes are repeated.
  • the process of moving to surrounding postures, sensing with sensor 51, generating an obstacle map, and generating a complementary map is repeated until an initial posture is found in which the reliability of the complementary map in the initial posture is higher than a predetermined value.
  • step S72 If it is determined in step S72 that no surrounding postures remain, i.e., all selectable surrounding postures are not movable, the process ends.
  • the UI generation unit 76 may generate a UI image indicating that the process is to end since there are no movable surrounding orientations, and display the generated UI image on the display unit 54.
  • the initial attitude observed 3D terrain is generated as an obstacle map based on the sensor data of sensors 51-1 to 51-n, and obstacle maps for multiple surrounding attitudes consisting of multiple surrounding attitude observed 3D terrains are estimated from the obstacle map for the initial attitude consisting of the generated initial attitude observed 3D terrain.
  • the surrounding terrain for each surrounding posture is estimated by complementing missing parts of the obstacle maps for multiple surrounding postures, including the obstacle map for the initial posture, and the estimation results are output as a complement map, and the reliability of the generated complement map for each surrounding posture is also calculated.
  • a UI image is generated and displayed to present the complementary map of the surrounding postures and their respective reliability to the user, and when one of the surrounding postures is selected, the process of controlling and driving the moving body 31 so that it takes the selected surrounding posture is repeated.
  • the route and attitude are planned based on the initial attitude complementary map, and autonomous driving begins.
  • the moving body can start autonomous driving from an initial posture that allows the generation of a complementary map with a reliability higher than a predetermined value, making it possible for the moving body to drive autonomously while efficiently acquiring three-dimensional spatial information.
  • the surrounding posture in which the reliability of the complementary map is the highest may be selected, and the moving body 31 may be autonomously controlled and driven to sequentially take the surrounding posture with the highest reliability selected.
  • FIG. 16 is a flowchart explaining the initial posture determination process in which, when the reliability of the complementary map in the initial posture is lower than a predetermined value, the surrounding posture with the highest reliability of the complementary map is selected, and the robot moves autonomously to sequentially assume the surrounding posture with the highest reliability until the reliability of the complementary map in the initial posture is deemed to be higher than the predetermined value.
  • steps S91 to S98, S101, and S102 in FIG. 16 is similar to the processing of steps S61 to S68, S71, and S72 in FIG. 15, so a description thereof will be omitted.
  • step S96 if it is determined in step S96 that the reliability of the initial posture complementary map is not higher than the predetermined value, the process proceeds to step S99.
  • step S99 the path attitude planning unit 77 selects the most reliable surrounding attitude from the complementary map of multiple surrounding attitudes.
  • step S100 the path attitude planning unit 77 determines whether the most reliable surrounding attitude among the complementary maps of multiple surrounding attitudes is movable.
  • step S100 if the most reliable peripheral posture among the complementary maps of multiple peripheral postures is movable, the process proceeds to step S103.
  • step S103 the path attitude planning unit 77 plans a path and attitude to move to the most reliable peripheral attitude, and outputs the planning information to the drive control unit 78.
  • the drive control unit 78 controls the drive unit 53 to move the moving body 31 so that the selected peripheral posture has the highest reliability, and the process returns to step S91, and the subsequent processes are repeated.
  • step S100 if the most reliable peripheral posture among the complementary maps of multiple peripheral postures is not movable, the process proceeds to step S101.
  • the route and attitude are planned based on the initial attitude complementary map, and autonomous driving begins.
  • the moving body can start autonomous driving from an initial posture that allows the generation of a complementary map with a reliability higher than a predetermined value, making it possible for the moving body to drive autonomously while efficiently acquiring three-dimensional spatial information.
  • Example of execution by software>> The above-mentioned series of processes can be executed by hardware, but can also be executed by software.
  • the programs constituting the software are installed from a recording medium into a computer built into dedicated hardware, or into, for example, a general-purpose computer capable of executing various functions by installing various programs.
  • FIG 17 shows an example of the configuration of a general-purpose computer.
  • This computer has a built-in CPU (Central Processing Unit) 1001.
  • An input/output interface 1005 is connected to the CPU 1001 via a bus 1004.
  • a ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004.
  • an input unit 1006 consisting of input devices such as a keyboard and mouse through which the user inputs operation commands
  • an output unit 1007 which outputs a processing operation screen and images of the processing results to a display device
  • a storage unit 1008 consisting of a hard disk drive for storing programs and various data
  • a communication unit 1009 consisting of a LAN (Local Area Network) adapter and the like, which executes communication processing via a network such as the Internet.
  • LAN Local Area Network
  • a drive 1010 which reads and writes data to removable storage media 1011 such as a magnetic disk (including a flexible disk), an optical disk (including a CD-ROM (Compact Disc-Read Only Memory) and a DVD (Digital Versatile Disc)), a magneto-optical disk (including an MD (Mini Disc)), or a semiconductor memory.
  • removable storage media 1011 such as a magnetic disk (including a flexible disk), an optical disk (including a CD-ROM (Compact Disc-Read Only Memory) and a DVD (Digital Versatile Disc)), a magneto-optical disk (including an MD (Mini Disc)), or a semiconductor memory.
  • the CPU 1001 executes various processes according to a program stored in the ROM 1002, or a program read from a removable storage medium 1011 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory and installed in the storage unit 1008, and loaded from the storage unit 1008 to the RAM 1003.
  • the RAM 1003 also stores data necessary for the CPU 1001 to execute various processes, as appropriate.
  • the CPU 1001 loads a program stored in the storage unit 1008, for example, into the RAM 1003 via the input/output interface 1005 and the bus 1004, and executes the program, thereby performing the above-mentioned series of processes.
  • the program executed by the computer (CPU 1001) can be provided, for example, by recording it on a removable storage medium 1011 such as a package medium.
  • the program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • a program can be installed in the storage unit 1008 via the input/output interface 1005 by inserting the removable storage medium 1011 into the drive 1010.
  • the program can also be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008.
  • the program can be pre-installed in the ROM 1002 or storage unit 1008.
  • the program executed by the computer may be a program in which processing is performed chronologically in the order described in this specification, or a program in which processing is performed in parallel or at the required timing, such as when called.
  • the CPU 1001 in FIG. 17 realizes the functions of the drive control unit 52 of the moving body 31 in FIG. 6, the input unit 1006 in FIG. 17 realizes the functions of the operation unit 55 in FIG. 6, and the output unit 1007 in FIG. 17 realizes the functions of the display unit 54 in FIG. 6.
  • a system refers to a collection of multiple components (devices, modules (parts), etc.), regardless of whether all the components are in the same housing. Therefore, multiple devices housed in separate housings and connected via a network, and a single device in which multiple modules are housed in a single housing, are both systems.
  • the present disclosure can be configured as a cloud computing system in which a single function is shared and processed collaboratively by multiple devices over a network.
  • each step described in the above flowchart can be executed by a single device, or can be shared and executed by multiple devices.
  • one step includes multiple processes
  • the multiple processes included in that one step can be executed by one device, or can be shared and executed by multiple devices.
  • a surrounding attitude observed three-dimensional terrain estimation unit that estimates a plurality of surrounding attitude observed three-dimensional terrains around a moving body, which are detected by a sensor of the moving body in an initial attitude, in a plurality of surrounding attitudes that differ from the initial attitude by a predetermined value in at least one of a position and a direction; a surrounding terrain estimation unit that estimates a terrain around the moving object as a surrounding terrain based on the initial attitude observed three-dimensional terrain and each of the plurality of surrounding attitude observed three-dimensional terrains; and a control unit that plans a path and an attitude of the moving object and controls the movement of the moving object based on the surrounding terrain estimated by the surrounding terrain estimation unit.
  • ⁇ 2> The information processing device described in ⁇ 1>, wherein the surrounding terrain estimation unit estimates the terrain around the moving body as the surrounding terrain based on the initial attitude observed three-dimensional terrain and each of the multiple surrounding attitude observed three-dimensional terrains, and calculates a reliability of each of the surrounding terrains.
  • the control unit plans a path and attitude of the moving body based on the initial attitude surrounding terrain and starts autonomous movement.
  • ⁇ 4> The information processing device described in ⁇ 2>, wherein when the reliability of an initial attitude surrounding terrain estimated based on the initial attitude observed three-dimensional terrain among the surrounding terrains estimated by the surrounding terrain estimation unit is lower than a predetermined value, the control unit plans a path and attitude of the moving body and controls movement based on a surrounding attitude surrounding terrain, which is the surrounding terrain estimated based on the multiple surrounding attitude observed three-dimensional topographies.
  • the method further includes a UI generation unit that generates a UI (User Interface) image that presents the surrounding orientations having the highest reliability of the estimated surrounding orientation and surrounding terrain as candidates and prompts the user to select one of the candidates;
  • UI generation unit that generates a UI (User Interface) image that presents the surrounding orientations having the highest reliability of the estimated surrounding orientation and surrounding terrain as candidates and prompts the user to select one of the candidates;
  • the information processing device described in ⁇ 4> wherein the control unit plans a path and attitude of the moving body and controls movement so as to take a position and attitude corresponding to the peripheral attitude that is the selected candidate among the peripheral attitudes presented as the candidates in the UI image.
  • the control unit plans a path and an attitude of the moving object and controls the movement so that the moving object takes a position and an attitude corresponding to the peripheral attitude that is the candidate selected from the peripheral attitudes presented as the candidates in the UI image, and then the surrounding attitude observed three-dimensional terrain estimation unit regards the selected candidate surrounding attitude as a new initial attitude, and estimates new surrounding attitude observed three-dimensional terrains based on the initial attitude observed three-dimensional terrain in the new initial attitude; the surrounding terrain estimation unit estimates the surrounding terrain from each of the new initial attitude observed three-dimensional terrain and the new plurality of surrounding attitude observed three-dimensional terrains; The control unit repeats a similar process until it is determined that the reliability of the initial attitude surrounding terrain estimated based on the initial attitude observed three-dimensional terrain, among the surrounding terrain estimated by the surrounding terrain estimation unit, is higher than a predetermined value.
  • ⁇ 7> The information processing device according to ⁇ 5>, wherein the UI image presents, as the candidate, a peripheral orientation in which the reliability of the estimated peripheral orientation and surrounding terrain is high, together with information indicating the reliability.
  • ⁇ 8> The information processing device described in ⁇ 7>, wherein the UI image presents the surrounding orientations with the highest reliability of the estimated surrounding orientation and surrounding terrain as the candidates, together with information in which a color corresponding to the reliability is assigned.
  • ⁇ 9> The information processing device described in ⁇ 5>, wherein when a pointer is moved to a position in the UI image where the surrounding orientation is presented as the candidate, the UI generation unit generates and displays the UI image based on the surrounding orientation topography estimated when the moving body moves to the surrounding orientation where the pointer is located.
  • the control unit excludes information of the selected peripheral posture from the candidates.
  • ⁇ 11> The information processing device described in ⁇ 2>, wherein when the reliability of an initial attitude surrounding terrain estimated based on the initial attitude observed three-dimensional terrain among the surrounding terrains estimated by the surrounding terrain estimation unit is lower than a predetermined value, the control unit plans a path and attitude of the moving body and controls movement based on the surrounding attitude in which the reliability of the surrounding attitude surrounding terrain estimated based on the multiple surrounding attitude observed three-dimensional topographies is the highest.
  • ⁇ 12> The information processing device described in ⁇ 3>, wherein after planning a path and attitude of the moving body based on the surrounding terrain of the initial attitude and starting autonomous movement, if the reliability of the surrounding terrain estimated by the surrounding terrain estimation unit, which is estimated based on the initial attitude observed three-dimensional terrain, is higher than a predetermined value, the control unit plans a long-term route of the moving body starting from the initial attitude based on the surrounding terrain of the initial attitude, and controls the movement of the moving body based on the planned long-term route.
  • ⁇ 13> The information processing device described in ⁇ 3>, wherein after planning a path and attitude of the moving body based on the initial attitude surrounding terrain and starting autonomous movement, if the reliability of the initial attitude surrounding terrain estimated based on the initial attitude observed three-dimensional terrain among the surrounding terrains estimated by the surrounding terrain estimation unit is lower than a predetermined value, the control unit plans a short-term route for the moving body passing through the surrounding attitude of the surrounding attitude surrounding terrain with the highest reliability among the surrounding attitude surrounding terrains estimated based on the multiple surrounding attitude observed three-dimensional topographies, and controls the movement of the moving body based on the planned short-term route.
  • ⁇ 14> The information processing device according to any one of ⁇ 1> to ⁇ 13>, wherein the surrounding attitude observation three-dimensional terrain estimation unit and the surrounding terrain estimation unit are both neural networks formed by machine learning.
  • the surrounding terrain estimation unit estimates the surrounding terrain by complementing missing portions of the initial attitude observed three-dimensional terrain and a plurality of the surrounding attitude observed three-dimensional terrains.
  • the sensor includes at least one of a camera, a radar, a LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), and an ultrasonic sensor.
  • ⁇ 17> The information processing device according to ⁇ 16>, wherein the camera includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, and an infrared camera.
  • An information processing method comprising a step of planning a path and attitude of the moving object based on the estimated surrounding terrain, and controlling the movement of the moving object.
  • a surrounding attitude observed three-dimensional terrain estimation unit that estimates a plurality of surrounding attitude observed three-dimensional terrains around a moving body, which are detected by a sensor of the moving body in an initial attitude, in a plurality of surrounding attitudes that differ from the initial attitude by a predetermined value in at least one of a position and a direction; and a surrounding terrain estimation unit that estimates a terrain around the moving object as a surrounding terrain based on the initial attitude observed three-dimensional terrain and each of the plurality of surrounding attitude observed three-dimensional terrains; a control unit that plans a path and an attitude of the moving object and controls the movement of the moving object based on the surrounding terrain estimated by the surrounding terrain estimation unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本開示は、センサを備えた自走するロボットのような移動体により、未知の空間における３次元空間情報を効率よく探索できるようにする情報処理装置、および情報処理方法、並びにプログラムに関する。 初期姿勢で移動体のセンサにおいて検出される初期姿勢観測３次元地形に基づいて、初期姿勢と位置および方向の少なくともいずれかが所定値だけ異なる複数の周辺姿勢において検出される、複数の周辺姿勢観測３次元地形を推定し、初期姿勢観測３次元地形、および複数の周辺姿勢観測３次元地形のそれぞれについて、移動体の周辺の地形を周辺地形として信頼度と共に推定し、初期姿勢観測３次元地形から推定される初期姿勢周辺地形の信頼度が最も高いとき、初期姿勢を起点とする移動体の経路および姿勢を計画して移動を制御する。センサを備えた自律走行するロボットに適用することができる。

Description

情報処理装置、および情報処理方法、並びにプログラム
　本開示は、情報処理装置、および情報処理方法、並びにプログラムに関し、特に、センサを備えた自走するロボットのような移動体により、未知の空間における３次元空間情報を効率よく探索できるようにした情報処理装置、および情報処理方法、並びにプログラムに関する。
　自走するロボットのような移動体を利用するにあたって、ユーザが移動体の動作環境を把握して、動作を指示する為に、移動体の備えるセンサのセンシング情報を使って、３次元空間情報からなる周辺の動作環境の環境モデルを作る技術が開発されてきた。
　この技術は、基本的には、ユーザの操作(非自律)により、３次元空間情報からなる周辺の動作環境の環境モデルを構築するものであるか、または、既知環境に対して事前計画が行われ、事前計画に基づいて、移動体が移動することで、周辺の動作環境の環境モデルを構築するための探索を行うものであった。
　このため、ロボットからなる移動体が、自律的に、未知の環境を効率よく探索して、３次元空間情報からなる周辺の動作環境の環境モデルを構築することが望まれている。
　しかしながら、ロボットの初期位置で得られるセンシング情報には限界があり、オクルージョン領域や未知領域を含むことになるため、周辺の未知の空間を、効率よく探索して、３次元空間情報からなる環境モデルを生成させることができなかった。
　そこで、オクルージョン領域や未知領域の動作環境を推論する技術が提案されている（特許文献１参照）。
特開２０１７－１８２４３４号公報
　しかしながら、特許文献１の技術においても、オクルージョン領域や未知領域の動作環境の推論精度は、初期姿勢に依存するため、初期姿勢によっては、十分な推論ができず、周辺の動作環境を効率よく探索して環境モデルを生成することができない恐れがあった。
　本開示は、このような状況に鑑みてなされたものであり、特に、センサを備えた自走するロボットにより、未知の空間における３次元空間情報からなる周辺の動作環境を効率よく取得できるようにするものである。
　本開示の一側面の情報処理装置、およびプログラムは、初期姿勢の移動体のセンサにおいて検出される、前記移動体の周辺の初期姿勢観測３次元地形に基づいて、前記初期姿勢と位置および方向の少なくともいずれかが所定値だけ異なる複数の周辺姿勢において、前記移動体の前記センサで検出される、前記移動体の周辺の複数の周辺姿勢観測３次元地形を推定する周辺姿勢観測３次元地形推定部と、前記初期姿勢観測３次元地形、および前記複数の周辺姿勢観測３次元地形のそれぞれに基づいて、前記移動体の周辺の地形を周辺地形として推定する周辺地形推定部と、前記周辺地形推定部により推定された前記周辺地形に基づいて、前記移動体の経路および姿勢を計画して移動を制御する制御部とを備える情報処理装置、およびプログラムである。
　本開示の一側面の情報処理方法は、初期姿勢の移動体のセンサにおいて検出される、前記移動体の周辺の初期姿勢観測３次元地形に基づいて、前記初期姿勢と位置および方向の少なくともいずれかが所定値だけ異なる複数の周辺姿勢において、前記移動体の前記センサで検出される、前記移動体の周辺の複数の周辺姿勢観測３次元地形を推定し、前記初期姿勢観測３次元地形、および前記複数の周辺姿勢観測３次元地形のそれぞれに基づいて、前記移動体の周辺の地形を周辺地形として推定し、推定された前記周辺地形に基づいて、前記移動体の経路および姿勢を計画して移動を制御するステップを含む情報処理方法である。
　本開示の一側面においては、初期姿勢の移動体のセンサにおいて検出される、前記移動体の周辺の初期姿勢観測３次元地形に基づいて、前記初期姿勢と位置および方向の少なくともいずれかが所定値だけ異なる複数の周辺姿勢において、前記移動体の前記センサで検出される、前記移動体の周辺の複数の周辺姿勢観測３次元地形が推定され、前記初期姿勢観測３次元地形、および前記複数の周辺姿勢観測３次元地形のそれぞれに基づいて、前記移動体の周辺の地形が周辺地形として推定され、推定された前記周辺地形に基づいて、前記移動体の経路および姿勢が計画されて移動が制御される。
障害物が既知である場合に計画される移動経路を説明する図である。 センサのセンシング結果のみから計画される移動経路を説明する図である。 センシング結果から推論される障害物に基づいて計画される移動経路を説明する図である。 初期姿勢と周辺姿勢とのそれぞれのセンシング結果を説明する図である。 本開示の初期姿勢と周辺姿勢とのそれぞれにおける周辺地形の推定結果を説明する図である。 本開示の移動体の構成例を説明する図である。 図６の推論部の構成例を説明する図である。 初期姿勢の観測３Ｄ地形と、初期姿勢の観測３Ｄ地形に基づいた周辺姿勢の観測３Ｄ地形とそれぞれの補完マップの例を説明する図である。 初期姿勢と周辺姿勢とのそれぞれにおける補完マップの信頼度を提示するUI画像の例を説明する図である。 図９の位置姿勢マークＭＰＬを選択したときに表示されるUI画像の例を説明する図である。 図９の位置姿勢マークＭＰＲを選択したときに表示されるUI画像の例を説明する図である。 初期姿勢と周辺姿勢とのそれぞれにおける補完マップの信頼度を提示するUI画像のその他の例を説明する図である。 図１２の点線枠内の初期姿勢と周辺姿勢とのそれぞれにおける補完マップの信頼度を提示するUI画像の拡大表示の例を説明する図である。 駆動制御処理を説明するフローチャートである。 図１４の初期姿勢決定処理（その１）を説明するフローチャートである。 図１４の初期姿勢決定処理（その２）を説明するフローチャートである。 汎用のコンピュータの構成例を示している。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．本開示の概要
　２．好適な実施の形態
　３．ソフトウェアにより実行させる例
　＜＜１．本開示の概要＞＞
　本開示は、特に、センサを備えた自走するロボットのような移動体により、未知の空間における３次元空間情報を効率よく取得できるようにするものである。
　センサを備えた自走するロボットからなる移動体により、未知の空間における３次元空間情報からなる周辺の動作環境の環境モデルを構築しようとした場合、現実空間を網羅的にセンシングする必要がある。
　そのため、ロボットにより自律的に現実空間を網羅的にセンシングしようとすると、３次元空間情報からなる周辺の動作環境の環境モデルの構築に必要なセンサデータを取得するために、限られた画角のセンサを網羅的に現実空間に対して向ける為の移動計画と姿勢計画が必要となる。
　例えば、図１の左部で示されるような障害物Ｂ１乃至Ｂ４が存在する空間に、センサを備えたロボットからなる移動体Ｍが存在するような３次元空間が存在する場合について考える。
　この図１の左部で示されるような３次元空間内を、移動体Ｍが自律的に効率よく移動しながら、備えているセンサを効率よく向けるようにするためには、例えば、図１の右部で示されるような点線で示される経路Ｔのような経路計画と、矢印で示されるセンサの向けるべき方向を示す姿勢計画とが必要となる。
　ただし、ここでは、対象となる現実空間が未知の空間である為、移動体Ｍは、事前に経路計画や姿勢計画を行うことはできないものとする。
　また、事前の経路計画や姿勢計画をせずに、初期姿勢においてセンサで取得可能な瞬間的データのみで探索を行う場合、オクルージョン等の先がどうなっているかはセンサデータからは分からない。
　すなわち、図２の左部で示されるように、移動体Ｍが自らのセンサにより障害物Ｂ１乃至Ｂ４をセンシングしても、そこから得られる情報は、それぞれの表面のうち、移動体Ｍの備えるセンサの視野内の情報でしかなく、例えば、障害物Ｂ１乃至Ｂ４の表面の一部からなる観測３Ｄ地形Ｒ１乃至Ｒ４となる。
　このため、移動体Ｍが、観測３Ｄ地形Ｒ１乃至Ｒ４のみから得られる情報は、図２の中央部で示されるような、３次元空間におけるごくわずかな情報でしかなく、観測３Ｄ地形Ｒ１乃至Ｒ４以外の未知領域やオクルージョン領域の先は不明である。
　移動体Ｍは、初期姿勢のままでは、図２の右部で示されるような経路計画も姿勢計画も実現することはできない。
　仮に、この状態から自律的に探索を実現しようとすれば、オクルージョンが解消される位置まで、移動するといった動作を繰り返す必要があり、効率的な探索は難しく、さらに大域的な探索計画であるグローバル探索も実現できない。
　そこで、図３の左部で示されるように、移動体Ｍが取得可能な観測３Ｄ地形Ｒ１乃至Ｒ４の情報から、障害物Ｂ１乃至Ｂ４に対応する、推論障害物Ｇ１乃至Ｇ４を推論し、推論結果である、推論障害物Ｇ１乃至Ｇ４に基づいて、図３の右部で示されるような経路Ｔで示される経路計画や、矢印で示される姿勢計画を実現することが考えられる。
　しかしながら、初期姿勢の移動体Ｍが取得可能な観測３Ｄ地形Ｒ１乃至Ｒ４の情報は、障害物Ｂ１乃至Ｂ４に対応する、推論障害物Ｇ１乃至Ｇ４を適切に推論するには、カバーされている情報が十分とは言えず、所定の精度で推論することは難しい。
　＜初期姿勢に対する周辺姿勢＞
　そこで、本開示においては、初期姿勢の移動体Ｍから取得可能な観測３Ｄ地形Ｒ１乃至Ｒ４に基づいて、初期姿勢に対して微小に異なる周辺姿勢における観測３Ｄ地形を推論（推定）するモデルを導入して、周辺姿勢における観測３Ｄ地形に基づいた推論障害物と、その信頼度を用いて効率的な探索を実現する。
　尚、本開示においては、移動体Ｍの姿勢には、移動体Ｍの３次元空間内における位置の情報と、その位置における移動体Ｍの備えたセンサを向ける方向の情報とが含まれるものとする。また、初期姿勢とは、現実に存在する移動体Ｍが、現実に存在するときの位置および方向の情報であり、周辺姿勢とは、初期姿勢に対応する姿勢であって、初期姿勢に対して移動体Ｍの位置および方向について少なくともいずれかが所定値だけ僅かに異なる状態の仮想的な姿勢である。
　すなわち、本開示においては、図４の中央部で示される初期姿勢の移動体Ｍと、その観測３Ｄ地形Ｒ１乃至Ｒ４に基づいて、例えば、図４の左部および右部の移動体ＭＬ，ＭＲで示されるような、初期姿勢に対して、位置や方向の少なくともいずれかが僅かに所定値だけ異なる周辺姿勢の観測３Ｄ地形Ｒ１’乃至Ｒ４’、およびＲ１’’，Ｒ２’’、Ｒ４’’を推論（推定）するモデルを導入する。
　尚、図４においては、表記を簡略化するため、移動体Ｍ（ＭＬ，ＭＲも同様）は位置のみが示されており、センシング方向は、３６０度全範囲であることを想定した表記とされている。
　図４の左部においては、初期姿勢である移動体Ｍに対する周辺姿勢としての移動体ＭＬが想定され、移動体ＭＬとなる周辺姿勢において取得可能なセンサデータとして観測３Ｄ地形Ｒ１’乃至Ｒ４’が推論されている。
　移動体ＭＬは、移動体Ｍと比較すると障害物Ｂ２の図中下に位置するため、移動体Ｍよりも障害物Ｂ２により図中の上方の範囲の視界が遮られている。
　このため、周辺姿勢である移動体ＭＬにおいて観測される観測３Ｄ地形Ｒ１’乃至Ｒ４’は、障害物Ｂ２により視界が遮られている分だけ、観測３Ｄ地形Ｒ１乃至Ｒ４よりも観測領域の面積が小さく、推論障害物Ｇ１乃至Ｇ４を推論するには劣るデータと考えられる。
　一方、図４の右部においては、移動体Ｍに対する周辺姿勢としての移動体ＭＲが想定され、移動体ＭＲとなる周辺姿勢において取得可能なセンサデータとして観測３Ｄ地形Ｒ１’’，Ｒ２’’，Ｒ４’’が推論されている。
　移動体ＭＲは、移動体Ｍと比較すると、障害物Ｂ３が、障害物Ｂ１のオクルージョン領域となるため、観測３Ｄ地形Ｒ３に対応するものが、存在しない状態となる。
　移動体ＭＲは、移動体Ｍと比較すると障害物Ｂ１の図中の右側面も視界にする位置になるため、移動体Ｍよりも障害物Ｂ１，Ｂ２，Ｂ４の観測には優れている。このため、観測３Ｄ地形Ｒ１’’，Ｒ２’’，Ｒ４’’は、観測３Ｄ地形Ｒ１，Ｒ２，Ｒ４よりも観測領域の面積が大きく、推論障害物Ｇ１，Ｇ２，Ｇ４の推論には優れるデータと考えられるが、推論障害物Ｇ３の推論には適していない。
　しかしながら、移動体ＭＲは、初期姿勢の移動体Ｍよりも推論障害物Ｇ１，Ｇ２，Ｇ４については、高精度に推論することができる。
　すなわち、本開示においては、図５で示されるように、初期姿勢観測３Ｄ地形に基づいて、初期姿勢と、その周辺の複数の周辺姿勢のそれぞれにおける周辺地形の推定結果と、信頼度とが求められるようにする。
　より詳細には、機械学習により生成されるニューラルネットワークからなるモデルを導入することにより、初期姿勢観測３Ｄ地形に基づいて、初期姿勢の周辺の複数の周辺姿勢に移動体Ｍが移動したときに取得される観測３Ｄ地形が推定されるようにする。
　まず、移動体Ｍの初期姿勢におけるセンサデータから、移動体Ｍが周辺姿勢へと移動したと仮定したときのセンサデータが推定される第１の推定モデルが導入されるようにする。
　すなわち、図４のように、例えば、移動体Ｍの初期姿勢におけるセンサデータである観測３Ｄ地形Ｒ１乃至Ｒ４から、移動体ＭＬ，ＭＲに移動したと仮定される周辺姿勢での観測３Ｄ地形Ｒ１’乃至Ｒ４’や観測３Ｄ地形Ｒ１’’、Ｒ２’’，Ｒ４’’が推定されるモデルが導入されるようにする。
　尚、移動体Ｍの初期姿勢におけるセンサデータである観測３Ｄ地形については、初期姿勢障害物マップとも称し、移動体ＭＬ，ＭＲに移動したと仮定される周辺姿勢におけるセンサデータである観測３Ｄ地形については、周辺姿勢障害物マップとも称する。
　また、初期姿勢と複数の周辺姿勢のそれぞれにおいて取得される観測３Ｄ地形に基づいて、それぞれの周辺地形が推定され、さらに、推定結果のそれぞれについて信頼度が算出される第２のモデルが導入されるようにする。尚、初期姿勢および周辺姿勢におけるセンサデータである観測３Ｄ地形は、実際の周辺地形に対して欠落した部分を多く含むものであり、この欠落した部分を補完することで周辺地形が推定されることになるため、この推定結果となる周辺地形については、補完マップとも称する。
　すなわち、図５のように、例えば、移動体Ｍの初期姿勢におけるセンサデータである観測３Ｄ地形Ｒ１乃至Ｒ４（初期姿勢障害物マップ）と、移動体ＭＬ，ＭＲに移動したと仮定される周辺姿勢でのセンサデータである観測３Ｄ地形Ｒ１’乃至Ｒ４’や観測３Ｄ地形Ｒ１’’、Ｒ２’’，Ｒ４’ （周辺姿勢障害物マップ）から、初期姿勢および周辺姿勢のセンサデータに基づいた、それぞれの周辺地形（補完マップ）が推定されるようにする。
　図５においては、周辺地形推定結果として、上から、「推定結果，信頼度（初期姿勢）」、「推定結果，信頼度（周辺１：初期姿勢より少し上部）」、「推定結果，信頼度（周辺２：初期姿勢より少し下部）」、「推定結果，信頼度（周辺３：初期姿勢より少し右部）」、「推定結果，信頼度（周辺４：初期姿勢より少し左部）」と表記されている。
　すなわち、図５においては、上から、移動体Ｍが、初期姿勢と、初期姿勢より少し上部、初期姿勢より少し下部、初期姿勢より少し右部、および初期姿勢より少し左部のそれぞれの周辺姿勢とについて、周辺地形の推定結果と信頼度とが提示されることになる。
　推定結果は、例えば、図３の推論障害物Ｇ１乃至Ｇ４などであり、信頼度は、図４を参照して説明したように、推定結果全体の信頼度である。
　このように、本開示においては、周辺地形の推定結果と、信頼度とが求められて、比較できるように提示されることで、初期姿勢および複数の周辺姿勢のそれぞれの推定結果から信頼度に応じていずれかを選択することができる。
　このため、初期姿勢における推定結果の信頼度が高いのであれば、その推定結果に基づいた経路計画と姿勢計画とが実行され、周辺姿勢における推定結果と信頼度が高いのであれば、周辺姿勢を実際に取るように移動して、その場を初期姿勢と見做して、再度、周辺姿勢を含めた推定結果と信頼度を求める処理を繰り返すようにする。
　これにより、初期姿勢と周辺姿勢とのそれぞれにより推定される周辺地形と信頼度とに基づいて、信頼度の高い周辺地形が取得可能な位置と姿勢を選択しながら経路計画と姿勢計画を繰り返しながら移動することが可能となる。
　結果として、未知の空間においても、効率よく３次元空間情報からなる周辺の動作環境に係る環境モデルを取得することが可能となる。
　＜＜２．好適な実施の形態＞＞
　次に、図６を参照して、本開示の移動体の構成例について説明する。
　図６の移動体３１は、ユーザからの指示に基づいて移動する機能と、自律的に移動する機能とを備えたロボット等であり、駆動輪を回転して移動させるものや、複数の脚部を用いて歩行するもの、本体を回転させるもの等、移動が可能であれば、駆動方式は問わない。
　より詳細には、移動体３１は、センサ５１－１乃至５１－ｎ、駆動制御部５２、駆動部５３、表示部５４、および操作部５５を備えている。
　尚、センサ５１－１乃至５１－ｎのそれぞれを特に区別する必要がない場合、単に、センサ５１と称するものとし、その他の構成についても同様に称する。
　センサ５１－１乃至５１－ｎは、移動体３１の外部の状況、特に、周辺の３次元空間情報の取得に用いられる各種のセンサであり、各センサからのセンサデータを駆動制御部５２に供給する。センサ５１－１乃至５１－ｎの種類や数は任意である。
　例えば、センサ５１－１乃至５１－ｎは、カメラ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、及び、超音波センサを備える。これに限らず、センサ５１－１乃至５１－ｎは、カメラ、レーダ、ＬｉＤＡＲ、及び、超音波センサのうち１種類以上のセンサを備える構成でもよい。センサ５１－１乃至５１－ｎとしてのカメラ、レーダ、ＬｉＤＡＲ、及び、超音波センサの数は、現実的に移動体３１に設置可能な数であれば特に限定されない。また、センサ５１－１乃至５１－ｎの種類は、この例に限定されず、他の種類のセンサを備えてもよい。
　なお、センサ５１としてのカメラの撮影方式は、特に限定されない。例えば、測距が可能な撮影方式であるＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった各種の撮影方式のカメラを、必要に応じてカメラに適用することができる。これに限らず、カメラは、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。
　駆動制御部５２は、センサ５１より供給されるセンサデータに基づいて、駆動部５３の駆動を制御することで、移動体３１の移動の全体を制御する。
　より詳細には、駆動制御部５２は、センサ５１より供給されるセンサデータに基づいて、３次元空間情報からなる周辺の動作環境からなる環境モデルを取得するための移動を制御する。ここでいう３次元空間情報からなる周辺の動作環境からなる環境モデルは、例えば、移動体３１の周辺の３Ｄモデルからなるローカルマップである。
　駆動制御部５２は、移動体３１のセンサ５１で周囲を網羅的にセンシングすることで得られるセンサデータに基づいて、ローカルマップを生成し、生成したローカルマップをグローバルマップとマッチングさせながら、自己位置を推定する。
　そして、駆動制御部５２は、推定した自己位置から目的地までの移動や自己位置の周辺探索を行うための、移動体３１の経路計画や姿勢計画を実行し、経路計画や姿勢計画に沿って移動体３１を制御する。
　未知の空間においては、周辺にどのような障害物があるのか、どのようなルートが存在するのか未知であるので、駆動制御部５２は、センサ５１を網羅的に利用できるように、移動体３１の経路や姿勢を計画することで、ローカルマップを効率よく作成する必要がある。
　そこで、駆動制御部５２は、センサ５１より供給されるセンサデータに基づいて、効率よくローカルマップを生成するための経路を計画し、計画した経路に沿って移動しながらローカルマップを作成する。
　より具体的には、上述したように、駆動制御部５２は、図４，図５を参照して説明したように、現在の姿勢である初期姿勢において、センサ５１で取得されるセンサデータからなる、初期姿勢観測３Ｄ地形に基づいて、周辺地形を推定する。
　また、駆動制御部５２は、現在の姿勢である初期姿勢において、センサ５１で取得されるセンサデータに基づいて、初期姿勢と僅かに異なる複数の位置や姿勢である周辺姿勢において取得されるセンサデータからなる複数の周辺姿勢観測３Ｄ地形を推定した上で、推定した複数の周辺姿勢観測３Ｄ地形のそれぞれに基づいて、複数の周辺地形を推定する。
　このとき、駆動制御部５２は、センサデータからなる、初期姿勢観測３Ｄ地形、および複数の周辺姿勢観測３Ｄ地形に基づいて推定される周辺地形のそれぞれに信頼度を併せて計算する。
　そして、駆動制御部５２は、このように求められた複数の周辺地形と信頼度の情報をUI画像としてユーザに提示することで、いずれの周辺姿勢を取るのかの選択を促し、選択された周辺姿勢を取るように移動体３１を移動させた後、移動後のセンサデータに基づいて３Ｄモデルと自己位置を検出してローカルマップを生成し、同様の処理を繰り返す。
　または、駆動制御部５２は、このように求められた複数の周辺地形と信頼度の情報をUI画像としてユーザに提示すると共に、信頼度が最上位となる周辺地形を推定する周辺姿勢となるように移動体３１を移動してセンサ５１より検出されるセンサデータに基づいて３Ｄモデルと自己位置を検出してローカルマップを生成し、同様の処理を繰り返す。
　より詳細には、駆動制御部５２は、３Ｄモデル構築部７１、自己位置検出部７２、データ加工部７３－１乃至７３－ｎ、データ統合部７４、推論部７５、UI生成部７６、経路姿勢計画部７７、および駆動制御部７８を備えている。
　３Ｄモデル構築部７１は、センサ５１－１乃至５１－ｎのセンサデータに基づいて、３Ｄモデルを構築し、実質的に３Ｄモデルからなるローカルマップを生成し、自己位置検出部７２、および経路姿勢計画部７７に出力する。
　より具体的には、３Ｄモデル構築部７１は、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いて作成される３次元の高精度地図、占有格子地図（Occupancy Grid Map）等からなるローカルマップを生成する。
　３次元の高精度地図は、例えば、ポイントクラウドマップ等である。占有格子地図は、移動体３１の周囲の３次元又は２次元の空間を所定の大きさのグリッド（格子）に分割し、グリッド単位で物体の占有状態を示す地図である。物体の占有状態は、例えば、物体の有無や存在確率により示される。
　自己位置検出部７２は、センサ５１－１乃至５１－ｎのセンサデータおよび３Ｄモデルからなるローカルマップに基づいて、自己位置と自己姿勢を検出して、検出した自己位置と自己姿勢の情報を経路姿勢計画部７７に出力する。
　データ加工部７３－１乃至７３－ｎは、それぞれセンサ５１－１乃至５１－ｎより供給されるセンサデータを統合用に、例えば、同一スケールのポイントクラウド情報に加工して、データ統合部７４に出力する。
　データ統合部７４は、データ加工部７３－１乃至７３－ｎより供給される統合用に加工されたセンサデータ、例えば、同一スケールに加工されたポイントクラウド情報を１個のポイントクライド情報に統合して推論部７５に出力する。
　推論部７５は、センサ５１－１乃至５１－ｎにおけるそれぞれのセンサデータが統合されたセンサデータに基づいて、現状の自己姿勢を初期姿勢としたときのセンサデータとしての初期姿勢観測３Ｄ地形を生成し、初期姿勢観測３Ｄ地形から周辺地形を推定すると共に、その信頼度を算出する。
　より詳細には、推論部７５は、図７で示されるように、周辺姿勢観測３Ｄ地形推定部９１、および周辺地形推定部９２を備えている。
　推論部７５に供給されるセンサ５１－１乃至５１－ｎにおけるそれぞれのセンサデータが統合されたセンサデータは、例えば、３Ｄポイントクラウド情報であり、移動体３１の現状の姿勢を初期姿勢とすれば、初期姿勢において観測される観測３Ｄ地形の情報であると言える。
　そこで、以降において、推論部７５は、センサ５１－１乃至５１－ｎにおけるそれぞれのセンサデータが統合されたセンサデータは、初期姿勢観測３Ｄ地形とも称する。
　周辺姿勢観測３Ｄ地形推定部９１は、機械学習により構築されるニューラルネットワークなどから構成される推定モデルであり、初期姿勢観測３Ｄ地形に基づいて、初期姿勢から僅かに位置と姿勢が異なる複数の周辺姿勢において取得される観測３Ｄ地形、すなわち、周辺姿勢観測３Ｄ地形を推定し、周辺地形推定部９２に出力する。
　周辺姿勢観測３Ｄ地形推定部９１は、例えば、同一の３次元空間情報に対して、様々な位置と方向とで特定される初期姿勢に相当する姿勢において観測される観測３Ｄ地形と、それぞれの姿勢に対して僅かに位置と方向が異なる周辺姿勢に相当する姿勢において観測される観測３Ｄ地形とをペアにして機械学習を行うことで構築する。
　周辺地形推定部９２は、機械学習により構築されるニューラルネットワークなどから構成される推定モデルであり、初期姿勢観測３Ｄ地形、および、初期姿勢に対応する複数の周辺姿勢観測３Ｄ地形に基づいて、それぞれの周辺地形を推定し、推定結果と併せてそれぞれ信頼度を算出し、UI生成部７６、および経路姿勢計画部７７に出力する。
　周辺地形推定部９２は、例えば、センサデータに相当する観測３Ｄ地形と、現実の周辺地形とをペアにして機械学習を行うことで構築する。
　尚、周辺姿勢観測３Ｄ地形推定部９１および周辺地形推定部９２による具体的な処理例について、図８を参照して、詳細を後述する。
　UI生成部７６（図６）は、初期姿勢観測３Ｄ地形と、複数の周辺姿勢観測３Ｄ地形のそれぞれに基づいて、推定した周辺地形と、それぞれの信頼度の情報に基づいて、UI（User Interface）画像を生成し、ディスプレイなどからなる表示部５４に表示してユーザに提示する。
　この際、UI画像には、推定した周辺地形と、それぞれの信頼度の情報に基づいて、対応する初期姿勢および複数の周辺姿勢を提示して、このうちのいずれかの選択を促す情報が提示されるようにする。
　この場合、操作ボタン、操作キー、およびタッチパネルなどからなる操作部５５が操作され、操作内容に応じた操作信号に基づいて、選択された初期姿勢または周辺姿勢の情報が経路姿勢計画部７７に供給される。
　経路姿勢計画部７７は、３Ｄモデル構築部７１より供給されるローカルマップ、自己位置検出部７２より供給される自己位置、推論部７５より供給される初期姿勢および複数の周辺姿勢毎の周辺地形推定結果と信頼度の情報、並びに、操作部５５からの操作信号に基づいたユーザの選択結果に基づいて、経路と姿勢を計画し、駆動制御部７８に出力する。
　なお、UI画像には、推定した周辺地形と、それぞれの信頼度の情報に基づいて、対応する初期姿勢および複数の周辺姿勢が、提示されるだけでもよい。
　この場合、ユーザによる選択はないので、経路姿勢計画部７７は、推論部７５より供給される初期姿勢および複数の周辺姿勢毎の周辺地形推定結果と信頼度の情報に基づいて、初期姿勢に基づいて推定される周辺地形の信頼度が所定値よりも高い場合については、初期姿勢を採用し、初期姿勢に基づいて推定される周辺地形の信頼度が所定値よりも低い場合については、信頼度の最も高い周辺地形推定結果を選択して、経路と姿勢を計画する。
　また、初期姿勢と複数の周辺姿勢が多い場合、信頼度が上位の初期姿勢と複数の周辺姿勢が提示されるようにしてもよいし、信頼度が上位の初期姿勢と複数の周辺姿勢の中からいずれかについて、ユーザに選択を促すUI画像が表示されるようにしてもよい。
　尚、UI画像の具体的な例については、図９乃至図１３を参照して、詳細を後述する。
　駆動制御部７８は、経路姿勢計画部７７より計画された経路と姿勢の情報に基づいて、移動体３１が移動するように、駆動部５３を駆動させる。
　＜周辺姿勢観測部３Ｄ地形推定部および周辺地形推定部による具体的な処理例＞
　次に、図８を参照して、周辺姿勢観測部３Ｄ地形推定部および周辺地形推定部による具体的な処理例について説明する。
　実世界の障害物の現実形状が、例えば、図８の最上段で示されるようなものである場合について考える。
　図８の最上段においては、実世界に存在する同一の障害物を異なる視点から見たときの現実形状を表現したものであり、図中左から、現実形状ＲＬ、現実形状ＲＣ、および現実形状ＲＲである。
　現実形状ＲＣは、移動体３１の現在の姿勢、すなわち、初期姿勢から観測される正面図で表現される障害物の実世界における形状である。
　現実形状ＲＬは、移動体３１の現在の姿勢、すなわち、初期姿勢から見て、障害物に対して向かって左側にずれた周辺姿勢から観測される左面図で表現される障害物の実世界における形状である。
　現実形状ＲＲは、移動体３１の現在の姿勢、すなわち、初期姿勢から見て、障害物に対して向かって右側にずれた周辺姿勢から観測される右面図で表現される障害物の実世界における形状である。
　尚、図８における障害物の現実形状ＲＬ，ＲＣ，ＲＲについては、いずれもワイヤフレーム表現とされている。
　ここで、初期姿勢における移動体３１のセンサ５１から得られるセンサデータに基づいた初期姿勢観測３Ｄ地形は、例えば、図８の中段中央の観測３Ｄ地形ＳＣのようなものとなる。
　尚、初期姿勢において取得される観測３Ｄ地形は、図８の中段中央の観測３Ｄ地形ＳＣのみとなる。
　そこで、周辺姿勢観測３Ｄ地形推定部９１は、初期姿勢観測３Ｄ地形である観測３Ｄ地形ＳＣに基づいて、図８の中段左部および右部で示されるような周辺姿勢観測３Ｄ地形ＳＬ，ＳＲを推定する。
　この場合、図８の中段左部および右部の周辺姿勢観測３Ｄ地形ＳＬ，ＳＲは、初期姿勢観測３Ｄ地形である観測３Ｄ地形ＳＣより推定される情報であるので、観測３Ｄ地形の情報としては欠落している部分が多くなる。
　周辺地形推定部９２は、観測３Ｄ地形ＳＬ，ＳＣ，ＳＲのそれぞれに基づいて、図８の下段で示されるような周辺地形ＧＬ，ＧＣ，ＧＲを推定する。
　すなわち、観測３Ｄ地形ＳＣ，ＳＬ，ＳＲは、いずれも実質的にセンサ５１のセンサデータであるため、詳細な形状については欠落が発生しているので、周辺地形推定部９２は、これらを補完推論することにより、周辺地形ＧＬ，ＧＣ，ＧＲを推定する。
　この際、周辺地形推定部９２は、周辺地形ＧＬ，ＧＣ，ＧＲの推定に当たって、使用したセンサデータとなる観測３Ｄ地形ＳＬ，ＳＣ，ＳＲからの補完の程度や、推定された周辺地形ＧＬ，ＧＣ，ＧＲのそれぞれにおけるオクルージョン領域の大小など、経路や姿勢の計画に適しているか否かに応じて、信頼度を併せて算出する。
　例えば、周辺地形ＧＬ，ＧＣ，ＧＲにおける比較的広い範囲で、かつ、比較的近い位置に壁のような障害物が一面に存在し、それらの障害物が観測３Ｄ地形から比較的高い確度で存在することが明らかな場合については、オクルージョン領域が広く、経路や姿勢の計画に適していないので、信頼度は低く設定される。
　これに対して、周辺地形ＧＬ，ＧＣ，ＧＲが、例えば、多くの障害物を見渡せて、それらの凹凸がよく見えるような場合には、経路や姿勢の計画に適しているので、信頼度は高く設定される。
　＜UI画像の例（その１）＞
　次に、図９乃至図１１を参照して、UI生成部７６により生成されるUI画像の例について説明する。
　上述したように、推論部７５の周辺地形推定部９２より、初期姿勢と複数の周辺姿勢のそれぞれにより推定された周辺地形と信頼度に基づいて、UI生成部７６は、例えば、図９で示されるようなUI画像ＰＣを提示する。
　図９のUI画像ＰＣは、周辺に本棚、机、および椅子が配置されたオフィスであるときに生成されるUI画像例である。
　図９のUI画像ＰＣには、現在の姿勢である初期姿勢となる位置姿勢マークＭＰＣ、初期姿勢から左側にずれた周辺姿勢となる位置姿勢マークＭＰＬ、および初期姿勢から右側にずれた周辺姿勢となる位置姿勢マークＭＰＲが、それぞれ選択可能な初期姿勢および周辺姿勢として表示されている。
　さらに、それぞれの信頼度として、位置姿勢マークＭＰＬ，ＭＰＣ，ＭＰＲに対応する矢印上に信頼度を示すスコアが、それぞれ「Ｓｃｏｒｅ８０」、「Ｓｃｏｒｅ３０」、「Ｓｃｏｒｅ０」と表記され、それぞれ矢印とマークとがスコアに応じた色で表現されている。ここでは、色は、信頼度を表すスコアが高い程、白色に近い色で表現され、低い程、黒色に近い色で表現されている。
　また、例えば、ポインタを位置姿勢マークＭＰＬに移動させると、UI生成部７６は、対応する周辺姿勢に移動体３１を移動させるときに推定される周辺地形を読み出して、例えば、図１０で示されるようなUI画像ＰＬとして表示させる。
　図１０のUI画像ＰＬは、位置姿勢マークＭＰＬに対応する周辺姿勢に移動体３１を移動させたときに取得される観測３Ｄ地形から得られることが予想される周辺地形である。
　すなわち、図１０のUI画像ＰＬは、図９における右側の棚を左側に回り込んだ時に見える景色に相当し、初期姿勢で得られる図９のUI画像ＰＣに対して、右側の棚の先に存在する経路が確認できる状態となるため、信頼度が「Ｓｃｏｒｅ８０」に設定され、初期姿勢における信頼度「Ｓｃｏｒｅ３０」よりも高く設定されている。
　これに対して、例えば、ポインタを位置姿勢マークＭＰＲに移動させると、UI生成部７６は、対応する周辺姿勢に移動体３１を移動させるときに推定される周辺地形を読み出して、例えば、図１１で示されるようなUI画像ＰＲとして表示させる。
　図１１のUI画像ＰＲは、位置姿勢マークＭＰＲに対応する周辺姿勢に移動体３１を移動させたときに取得される観測３Ｄ地形から得られることが予想される周辺地形である。
　すなわち、図１１のUI画像ＰＲは、図９における右側の棚をさらに右側に回り込んだ時に見える景色に相当し、初期姿勢で得られる図９のUI画像ＰＣに対して、棚で隠れてしまう領域が増える状態となるため、信頼度が「Ｓｃｏｒｅ０」に設定され、初期姿勢における信頼度「Ｓｃｏｒｅ３０」よりも低く設定されている。
　このように、ユーザは、図９で示されるように、初期姿勢と、複数の周辺姿勢のそれぞれを、位置姿勢マークＭＰＬ，ＭＰＣ，ＭＰＲとして視認することが可能となり、さらに、それぞれの信頼度をUI画像ＰＣで視認することができる。
　さらに、ポインタで位置姿勢マークＭＰＬ，ＭＰＣ，ＭＰＲのそれぞれの位置に移動させることで、実際に取得されることが推定される周辺地形を目視により確認した上で、いずれかを選択することが可能となる。
　これにより移動体３１が未知の空間に存在していても、ローカルマップを作成するのに効率のよい位置や姿勢を指定して移動させることが可能となる。
　＜UI画像の例（その２）＞
　以上においては、比較的広い空間において位置姿勢マークが表示される場合のUI画像の例について説明してきたが、例えば、狭い空間においては、スコアをテキスト表記すると見難い表示となるので、スコアを色だけで表示するようにしてもよい。
　例えば、図１２で示されるようなUI画像ＰＮでオフィスが表示されているような場合、点線の枠内で示される机Ｄ１，Ｄ２に挟まれ、さらに、椅子ＣＡ，ＣＢ，ＣＣ，ＣＤに囲まれた空間に移動体３１の初期姿勢に相当する位置姿勢マークＭＮが存在するような場合、UI生成部７６は、例えば、図１３で示されるようなUI画像を生成する。
　図１３は、図１２のUI画像ＰＮにおける点線で囲まれた領域の拡大図ＰＶである。
　すなわち、初期姿勢に相当する位置姿勢マークＭＮの周辺に、８か所の周辺姿勢が存在する場合、UI生成部７６は、周辺姿勢が存在する位置に、位置姿勢マークＲＣ１乃至ＲＣ８のみを表示して、それぞれを信頼度に応じた色に分けて表示する。
　このようにすることで、ユーザは、初期姿勢に相当する現在の位置と姿勢を位置姿勢マークＭＮにより認識することができ、さらに、周辺姿勢を、位置姿勢マークＲＣ１乃至ＲＣ８で認識することが可能となり、さらに、それぞれのスコアについても色で認識することが可能となる。
　また、それぞれの位置にポインタを移動させると、図１０，図１１を参照して説明したような、位置姿勢マークＲＣ１乃至ＲＣ８に対応する周辺姿勢を移動体３１がとった場合に取得されることが推定される周辺地形が表示されるようにしてもよい。
　＜駆動制御処理＞
　次に、図１４のフローチャートを参照して、図６の移動体３１による駆動制御処理について説明する。
　ステップＳ３１において、初期姿勢決定処理が実行されて、初期姿勢が決定されて、自律走行が開始される。尚、初期姿勢決定処理については、図１５，図１６を参照して詳細を後述する。
　ステップＳ３２において、センサ５１－１乃至５１－ｎが、それぞれ移動体３１の外部の状況、特に、周辺空間の認識に必要とされる情報をセンシングし、センシング結果となるセンサデータを、それぞれ３Ｄモデル構築部７１、自己位置検出部７２、およびデータ加工部７３－１乃至７３－ｎに出力する。
　ステップＳ３３において、データ加工部７３－１乃至７３－ｎは、それぞれセンサ５１－１乃至５１－ｎのセンサデータを、データ統合部７４において統合可能な、例えば、同一スケールの３Ｄポイントクラウド情報等の形式に加工し、加工したセンサデータをデータ統合部７４に出力する。
　ステップＳ３４において、データ統合部７４は、データ加工部７３－１乃至７３－ｎより供給される統合可能な形式に加工されたセンサデータを取得すると、それらを統合して、例えば、１つの３Ｄポイントクラウド情報からなる初期姿勢観測３Ｄ地形を生成し、障害物マップとして推論部７５に出力する。
　尚、ここでの処理は、後述するステップＳ３１の初期姿勢決定処理により、初期姿勢が決定され、自律走行が開始された後の処理であるので、ここでいう初期姿勢観測３Ｄ地形は、厳密には、自律走行中の現在の位置および姿勢（以降、現在姿勢とも称する）における観測３Ｄ地形となる。ただし、以降においても、センサ５１－１乃至５１－ｎの各センサデータが統合されて生成される観測３Ｄ地形については、初期姿勢観測３Ｄ地形と称する。
　ステップＳ３５において、推論部７５における周辺姿勢観測３Ｄ地形推定部９１は、初期姿勢観測３Ｄ地形からなる障害物マップに基づいて、複数の周辺姿勢の周辺姿勢観測３Ｄ地形からなる複数の周辺姿勢の障害物マップを生成し、周辺地形推定部９２に出力する。
　ステップＳ３６において、周辺地形推定部９２は、初期姿勢を含む複数の周辺姿勢の障害物マップから、複数の周辺姿勢の補完マップを生成することにより、周辺地形を推定すると共に、周辺地形推定結果毎、すなわち、複数の周辺姿勢の補完マップ毎に信頼度を算出し、周辺地形推定結果と信頼度の情報を、位置および姿勢の候補としてUI生成部７６、および経路姿勢計画部７７に出力する。
　ステップＳ３７において、経路姿勢計画部７７は、現在姿勢、すなわち、初期姿勢の補完マップの信頼度が最上位であるか否かを判定する。
　ステップＳ３７において、現在姿勢、すなわち、初期姿勢の補完マップの信頼度が最上位であると判定された場合、処理は、ステップＳ３８に進む。
　ステップＳ３８において、経路姿勢計画部７７は、現在姿勢、すなわち、初期姿勢の補完マップに対応する周辺地形の情報、並びにローカルマップ、および自己位置の情報に基づいて、長期経路を計画し、計画情報を駆動制御部７８に出力する。
　すなわち、現在姿勢の補完マップの信頼度が最上位である場合、現在姿勢から周辺姿勢に移動して、新たに補完マップを生成するよりも信頼度が高いので、現在姿勢の補完マップから見渡せる範囲内の、現在姿勢を起点とする所定距離よりも長い経路（長期経路）が計画される。
　ステップＳ３９において、駆動制御部７８は、経路姿勢計画部７７より供給される長期経路の計画情報に基づいて、駆動部５３を駆動させる。
　ステップＳ４０において、３Ｄモデル構築部７１は、センサ５１－１乃至５１－ｎのセンサデータに基づいて、移動体３１の周辺の３Ｄモデルを構築し、ローカルマップを生成し、自己位置検出部７２、および経路姿勢計画部７７に出力する。
　ステップＳ４１において、自己位置検出部７２は、センサ５１－１乃至５１－ｎのセンサデータと、３Ｄモデル構築部７１より供給されるローカルマップに基づいて、自己位置を検出し、検出した自己位置の情報を経路姿勢計画部７７に出力する。
　ステップＳ４２において、経路姿勢計画部７７は、操作部５５が操作されて、終了が指示されたか否かを判定する。
　ステップＳ４２において、終了が指示されていない場合、処理は、ステップＳ３２に戻り、それ以降の処理が繰り返される。
　また、ステップＳ４２において、終了が指示された場合、処理は、終了する。
　一方、ステップＳ３７において、現在姿勢、すなわち、初期姿勢の補完マップの信頼度が最上位ではないと判定された場合、処理は、ステップＳ４３に進む。
　ステップＳ４３において、経路姿勢計画部７７は、候補となる複数の周辺姿勢の補完マップの中で、最上位の信頼度の周辺姿勢を選択する。
　ステップＳ４４において、経路姿勢計画部７７は、選択された信頼度が最上位となる周辺姿勢が、移動可能か否かを判定する。
　ステップＳ４４において、複数の周辺姿勢の補完マップの中で、最も信頼度の高い周辺姿勢が、移動可能ではない場合、処理は、ステップＳ４５に進む。
　ステップＳ４５において、経路姿勢計画部７７は、選択された信頼度が最上位であって、移動不能な周辺姿勢を候補から除外する。
　ステップＳ４６において、経路姿勢計画部７７は、候補となる周辺姿勢が残されているか否かを判定する。
　ステップＳ４６において、候補となる周辺姿勢が残されている場合、処理は、ステップＳ４３に戻る。
　すなわち、候補となる複数の周辺姿勢のうち、信頼度が最上位となるものであって、移動可能な周辺姿勢が選択されるまで、ステップＳ４３乃至Ｓ４６の処理が繰り返される。
　そして、ステップＳ４４において、候補となる複数の周辺姿勢のうち、信頼度が最上位となるものであって、移動可能な周辺姿勢が選択されたと判定された場合、処理は、ステップＳ４７に進む。
　ステップＳ４７において、経路姿勢計画部７７は、信頼度が最上位となる周辺姿勢を経由する現在姿勢から所定距離より近い近傍の範囲における短期経路を計画して、計画情報を駆動制御部７８に出力し、処理は、ステップＳ３９に進む。
　すなわち、現在姿勢の補完マップの信頼度が最上位ではなく、他の候補となる周辺姿勢の補完マップが選択される場合、現在姿勢から周辺姿勢に一旦移動してから、新たに生成される補完マップの方が、信頼度が高い。
　このため、周辺姿勢に移動して求められる補完マップに基づいて、新たに計画される経路の方が、より移動効率が高い経路が計画される可能性があるので、所定距離よりも短く、比較的距離の短い経路（短期経路）が計画される。
　以上の処理により、初期姿勢が決定された後、自律走行を継続する中で、センサデータに基づいた現在姿勢に対応する初期姿勢の補完マップと、現在姿勢の周辺姿勢の補完マップとが生成される。
　そして、現在姿勢の補完マップの信頼度が最上位である場合、現在姿勢から得られる補完マップに基づいて、所定距離よりも長い、長期経路が計画され、現在姿勢の補完マップの信頼度が最上位ではない場合については、信頼度が最上位の周辺姿勢の補完マップに基づいて、信頼度が最上位の周辺姿勢を経由する、所定距離よりも短い、短期経路が計画される。
　これにより、現在姿勢において得られる補完マップの信頼度が最上位である場合には、長期経路が計画されることで、センサデータに基づいて、障害物マップを生成し、複数の周辺姿勢の補完マップを生成するといった処理負荷の高い処理を低減して効率の良い自律走行を実現することが可能となる。
　また、現在姿勢において得られる補完マップの信頼度が最上位ではない場合には、候補となる信頼度が最上位の周辺姿勢を経由するように短期経路が計画されることで、センサデータに基づいて、障害物マップを生成し、複数の周辺姿勢の補完マップを生成する処理を繰り返して、信頼度の高い経路を適切に計画しながら、効率の良い自律走行を実現することが可能となる。
　結果として、いずれにおいても、センサを備えた自走するロボットなどの移動体が未知の空間を移動する際にも、３次元空間情報を効率よく取得することができ、取得した３次元空間情報に基づいて適切に位置や姿勢を計画しながら自立走行することが可能となる。
　尚、以上の例においては、自律移動により３Ｄモデルを構築してローカルマップを生成する例について説明してきたが、自律移動に伴ってなされる処理は、これに限らず、例えば、特定の物体や人物を探索するようにしてもよい。
　＜初期姿勢決定処理（その１）＞
　次に、図１５のフローチャートを参照して、ユーザにより操作を介入させる場合の初期姿勢決定処理について説明する。尚、図１５のステップＳ６１乃至Ｓ６５の処理は、図１４のステップＳ３２乃至Ｓ３６の処理と同様であるので、その説明は省略する。
　すなわち、ステップＳ６１において、センサ５１－１乃至５１－ｎによりセンサデータが取得され、ステップＳ６２において、統合用に加工され、ステップＳ６３において、統合されて、ステップＳ６４において、３Ｄポイントクラウド情報からなる初期姿勢観測３Ｄ地形が障害物マップとして推論部７５に出力され、ステップＳ６５において、初期姿勢を含む複数の周辺姿勢の障害物マップから、複数の周辺姿勢の補完マップと信頼度が算出され、周辺地形推定結果と信頼度の情報が、位置および姿勢の候補としてUI生成部７６、および経路姿勢計画部７７に出力される。
　ステップＳ６６において、経路姿勢計画部７７は、初期姿勢の補完マップの信頼度が所定値よりも高いか否かを判定する。
　ステップＳ６６において、初期姿勢の補完マップの信頼度が所定値よりも高いと判定された場合、処理は、ステップＳ６７に進む。
　ステップＳ６７において、経路姿勢計画部７７は、初期姿勢の補完マップに対応する周辺地形の情報に基づいて、経路と姿勢を計画し、計画情報を駆動制御部７８に出力する。
　ステップＳ６８において、駆動制御部７８は、経路姿勢計画部７７より供給される経路と姿勢の計画情報に基づいて、駆動部５３を駆動させ、自律走行を開始させる。
　すなわち、現在姿勢の補完マップの信頼度が所定値よりも高い場合、初期姿勢の補完マップから経路と姿勢が計画されて、自律走行が開始される。
　ステップＳ６６において、初期姿勢の補完マップの信頼度が所定値よりも高くないと判定された場合、処理は、ステップＳ６９に進む。
　ステップＳ６９において、UI生成部７６は、複数の周辺姿勢の補完マップの中で、上位となる信頼度の高い周辺姿勢を提示し、そのいずれかを選択先として選択するように促す、例えば、図９や図１３を参照して説明したようなUI画像を生成し、表示部５４に表示する。
　ステップＳ７０において、経路姿勢計画部７７は、UI画像に基づいて、候補となる複数の周辺姿勢の中で、移動可能な周辺姿勢が、操作部５５が操作されることにより移動先として選択されたか否かを判定する。
　ステップＳ７０において、操作部５５が操作されることにより、複数の周辺姿勢の中で、移動不能な周辺姿勢が、移動先として選択された場合、処理は、ステップＳ７１に進む。
　ステップＳ７１において、複数の周辺姿勢の補完マップの中で、移動不能な周辺姿勢を除外する。
　ステップＳ７２において、経路姿勢計画部７７、およびUI生成部７６は、候補となる周辺姿勢が残されているか否かを判定し、残されている場合、処理は、ステップＳ６９に戻る。
　すなわち、移動先として移動可能な周辺姿勢が決定されるまで、候補となる複数の周辺姿勢のうち、信頼度が上位となるものが提示され、選択を促すUI画像が表示される処理が繰り返される。
　そして、ステップＳ７０において、操作部５５が操作されることにより、複数の周辺姿勢の中で、移動可能な周辺姿勢が、移動先として選択された場合、処理は、ステップＳ７３に進む。
　ステップＳ７３において、経路姿勢計画部７７は、選択された周辺姿勢を取るように移動する経路および姿勢を計画して、計画情報を駆動制御部７８に出力する。
　これにより、駆動制御部７８は、駆動部５３を制御して、選択された周辺姿勢となるように移動体３１を移動させ、処理は、ステップＳ６１に戻り、それ以降の処理が繰り返される。
　すなわち、初期姿勢における補完マップの信頼度が所定値よりも高い初期姿勢が求められるまで、周辺姿勢に移動して、センサ５１によりセンシングし、障害物マップの生成および補完マップを生成する処理を繰り返す。
　そして、初期姿勢における補完マップの信頼度が所定値よりも高い初期姿勢が求められるとき、その補完マップに基づいて経路を計画し、自律走行を開始する。
　尚、ステップＳ７２において、周辺姿勢が残されていないと判定された、すなわち、選択可能な全ての周辺姿勢が移動可能ではない場合、処理は、終了する。
　この際には、UI生成部７６が、移動可能な周辺姿勢が存在しないので、処理が終了されることを示すUI画像を生成して、表示部５４に表示するようにしてもよい。
　以上の処理により、初期姿勢において、センサ５１－１乃至５１－ｎのセンサデータに基づいて、初期姿勢観測３Ｄ地形が障害物マップとして生成され、生成された初期姿勢観測３Ｄ地形からなる初期姿勢の障害物マップから、複数の周辺姿勢観測３Ｄ地形からなる複数の周辺姿勢の障害物マップが推定される。
　また、初期姿勢の障害物マップを含む、複数の周辺姿勢の障害物マップのそれぞれの欠落部分が補完されることにより、周辺姿勢毎の周辺地形が推定されて、推定結果が補完マップとして出力され、その際、生成された周辺姿勢毎の補完マップの信頼度も計算される。
　そして、初期姿勢の補完マップの信頼度が所定値よりも低い限り、周辺姿勢の補完マップとそれぞれの信頼度をユーザに提示するUI画像が生成されて表示され、周辺姿勢のいずれかが選択されると選択された周辺姿勢を取るように移動体３１が制御されて駆動する処理が繰り返される。
　そして、初期姿勢の補完マップの信頼度が所定値よりも高くなると、初期姿勢の補完マップに基づいて、経路および姿勢が計画されて自律走行が開始される。
　結果として、移動体を全くの未知の空間においても、信頼度が所定値よりも高い補完マップが生成可能な初期姿勢から自律走行を開始することが可能となるので、３次元空間情報を効率よく取得しながら自律走行することが可能となる。
　＜初期姿勢決定処理（その２）＞
　以上においては、初期姿勢における補完マップの信頼度が所定値よりも低い場合、初期姿勢における補完マップの信頼度が所定値よりも高いとみなされるまで、周辺姿勢の補完マップの信頼度が提示されて、いずれかの選択を促すUI画像が生成されて、周辺姿勢のいずれかが選択されて、初期姿勢を変化させる処理が繰り返される例について説明してきた。
　しかしながら、初期姿勢における補完マップの信頼度が所定値よりも低い場合、補完マップの信頼度が最上位となる周辺姿勢が選択され、選択された信頼度が最上位の周辺姿勢を順次取るように移動体３１が自律的に制御されて駆動するようにしてもよい。
　図１６は、初期姿勢における補完マップの信頼度が所定値よりも低い場合、初期姿勢における補完マップの信頼度が所定値よりも高いとみなされるまで、補完マップの信頼度が最上位となる周辺姿勢が選択され、選択された信頼度が最上位の周辺姿勢を順次取るように自律的に移動するようにした初期姿勢決定処理を説明するフローチャートである。
　尚、図１６のステップＳ９１乃至Ｓ９８，Ｓ１０１，Ｓ１０２の処理は、図１５のステップＳ６１乃至Ｓ６８，Ｓ７１，Ｓ７２の処理と同様であるので、その説明は省略する。
　すなわち、ステップＳ９６において、初期姿勢の補完マップの信頼度が所定値よりも高くないと判定された場合、処理は、ステップＳ９９に進む。
　ステップＳ９９において、経路姿勢計画部７７は、複数の周辺姿勢の補完マップの中で、最も信頼度の高い周辺姿勢を選択する。
　ステップＳ１００において、経路姿勢計画部７７は、複数の周辺姿勢の補完マップの中で、最も信頼度の高い周辺姿勢が、移動可能か否かを判定する。
　ステップＳ１００において、複数の周辺姿勢の補完マップの中で、最も信頼度の高い周辺姿勢が、移動可能である場合、処理は、ステップＳ１０３に進む。
　ステップＳ１０３において、経路姿勢計画部７７は、最も信頼度の高い周辺姿勢となるように移動するように経路よび姿勢を計画して、計画情報を駆動制御部７８に出力する。
　これにより、駆動制御部７８は、駆動部５３を制御して、選択された最も信頼度の高い周辺姿勢となるように移動体３１を移動させ、処理は、ステップＳ９１に戻、それ以降の処理が繰り返される。
　また、ステップＳ１００において、複数の周辺姿勢の補完マップの中で、最も信頼度の高い周辺姿勢が、移動可能ではない場合、処理は、ステップＳ１０１に進む。
　以上の処理により、初期姿勢の補完マップの信頼度が所定値よりも低い限り、周辺姿勢の補完マップのうち信頼度が最上位の周辺姿勢を取るように移動体３１が制御されて駆動する処理が繰り返される。
　そして、初期姿勢の補完マップの信頼度が所定値よりも高くなると、初期姿勢の補完マップに基づいて、経路および姿勢が計画されて自律走行が開始される。
　結果として、移動体を全くの未知の空間においても、信頼度が所定値よりも高い補完マップが生成可能な初期姿勢から自律走行を開始することが可能となるので、３次元空間情報を効率よく取得しながら自律走行することが可能となる。
　＜＜３．ソフトウェアにより実行させる例＞＞
　ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
　図１７は、汎用のコンピュータの構成例を示している。このコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
　入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記憶媒体１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
　CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記憶媒体１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記憶媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　尚、図１７におけるCPU１００１が、図６の移動体３１の駆動制御部５２の機能を実現させ、図１７の入力部１００６が、図６の操作部５５の機能を実現させ、図１７の出力部１００７が、図６の表示部５４の機能を実現させる。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　尚、本開示は、以下のような構成も取ることができる。
＜１＞　初期姿勢の移動体のセンサにおいて検出される、前記移動体の周辺の初期姿勢観測３次元地形に基づいて、前記初期姿勢と位置および方向の少なくともいずれかが所定値だけ異なる複数の周辺姿勢において、前記移動体の前記センサで検出される、前記移動体の周辺の複数の周辺姿勢観測３次元地形を推定する周辺姿勢観測３次元地形推定部と、
　前記初期姿勢観測３次元地形、および前記複数の周辺姿勢観測３次元地形のそれぞれに基づいて、前記移動体の周辺の地形を周辺地形として推定する周辺地形推定部と、
　前記周辺地形推定部により推定された前記周辺地形に基づいて、前記移動体の経路および姿勢を計画して移動を制御する制御部と
　を備える情報処理装置。
＜２＞　前記周辺地形推定部は、前記初期姿勢観測３次元地形、および前記複数の周辺姿勢観測３次元地形のそれぞれに基づいて、前記移動体の周辺の地形を前記周辺地形として推定すると共に、前記周辺地形のそれぞれの信頼度を算出する
　＜１＞に記載の情報処理装置。
＜３＞　前記制御部は、前記周辺地形推定部により推定された前記周辺地形のうち、前記初期姿勢観測３次元地形に基づいて推定された初期姿勢周辺地形の前記信頼度が所定値よりも高い場合、前記初期姿勢周辺地形に基づいて、前記移動体の経路および姿勢を計画して自律移動を開始する
　＜２＞に記載の情報処理装置。
＜４＞　前記制御部は、前記周辺地形推定部により推定された前記周辺地形のうち、前記初期姿勢観測３次元地形に基づいて推定された初期姿勢周辺地形の前記信頼度が所定値よりも低い場合、前記複数の周辺姿勢観測３次元地形に基づいて推定された前記周辺地形である、周辺姿勢周辺地形に基づいて、前記移動体の経路および姿勢を計画して移動を制御する
　＜２＞に記載の情報処理装置。
＜５＞　推定された前記周辺姿勢周辺地形の前記信頼度が上位となる前記周辺姿勢を候補として提示し、前記候補のいずれかの選択を促すUI（User Interface）画像を生成するUI生成部をさらに含み、
　前記制御部は、前記UI画像に前記候補として提示された前記周辺姿勢のうち、選択された前記候補となる前記周辺姿勢と対応する位置および姿勢を取るように、前記移動体の経路および姿勢を計画して移動を制御する
　＜４＞に記載の情報処理装置。
＜６＞　前記制御部は、前記UI画像に前記候補として提示された前記周辺姿勢のうち、選択された前記候補となる前記周辺姿勢に対応する位置および姿勢を取るように、前記移動体の経路および姿勢を計画して移動を制御した後、
　前記周辺姿勢観測３次元地形推定部は、前記選択された前記候補となる前記周辺姿勢を、新たな初期姿勢とみなし、前記新たな初期姿勢における初期姿勢観測３次元地形に基づいて、新たな複数の周辺姿勢観測３次元地形を推定し、
　前記周辺地形推定部は、前記新たな初期姿勢観測３次元地形と、前記新たな複数の周辺姿勢観測３次元地形とのそれぞれから前記周辺地形を推定し、
　前記制御部は、前記周辺地形推定部により推定された前記周辺地形のうち、前記初期姿勢観測３次元地形に基づいて推定された前記初期姿勢周辺地形の前記信頼度が所定値よりも高いと判定されるまで、同様の処理を繰り返す
　＜５＞に記載の情報処理装置。
＜７＞　前記UI画像は、推定された前記周辺姿勢周辺地形の前記信頼度が上位となる前記周辺姿勢を、前記信頼度を示す情報と共に前記候補として提示する
　＜５＞に記載の情報処理装置。
＜８＞　前記UI画像は、推定された前記周辺姿勢周辺地形の前記信頼度が上位となる前記周辺姿勢を、前記信頼度と対応する色が付された情報と共に前記候補として提示する
　＜７＞に記載の情報処理装置。
＜９＞　前記UI画像において、前記候補として前記周辺姿勢が提示される位置にポインタが移動されると、前記UI生成部は、前記ポインタが位置する前記周辺姿勢に前記移動体が移動するとき推定される前記周辺姿勢周辺地形に基づいた前記UI画像を生成して表示する
　＜５＞に記載の情報処理装置。
＜１０＞　前記UI画像に提示された前記周辺姿勢のうち、選択された前記候補となる前記周辺姿勢に対応する位置および姿勢を取るような前記移動体の移動が不可である場合、前記制御部は、選択された前記周辺姿勢の情報を前記候補から除外する
　＜５＞に記載の情報処理装置。
＜１１＞　前記制御部は、前記周辺地形推定部により推定された前記周辺地形のうち、前記初期姿勢観測３次元地形に基づいて推定された初期姿勢周辺地形の前記信頼度が所定値よりも低い場合、前記複数の周辺姿勢観測３次元地形に基づいて推定された前記周辺地形である、周辺姿勢周辺地形の前記信頼度が、最上位となる前記周辺姿勢に基づいて、前記移動体の経路および姿勢を計画して移動を制御する
　＜２＞に記載の情報処理装置。
＜１２＞　前記初期姿勢周辺地形に基づいて、前記移動体の経路および姿勢を計画して自律移動を開始した後、前記周辺地形推定部により推定された前記周辺地形のうち、前記初期姿勢観測３次元地形に基づいて推定された前記初期姿勢周辺地形の前記信頼度が所定値よりも高い場合、前記制御部は、前記初期姿勢周辺地形に基づいて、前記初期姿勢を起点とする前記移動体の長期経路を計画し、計画した前記長期経路に基づいて、前記移動体の移動を制御する
　＜３＞に記載の情報処理装置。
＜１３＞　前記初期姿勢周辺地形に基づいて、前記移動体の経路および姿勢を計画して自律移動を開始した後、前記周辺地形推定部により推定された前記周辺地形のうち、前記初期姿勢観測３次元地形に基づいて推定された前記初期姿勢周辺地形の前記信頼度が所定値よりも低い場合、前記制御部は、前記複数の周辺姿勢観測３次元地形に基づいて推定された前記周辺地形である周辺姿勢周辺地形のうち、前記信頼度が最上位となる前記周辺姿勢周辺地形の、前記周辺姿勢を経由する前記移動体の短期経路を計画し、計画した前記短期経路に基づいて、前記移動体の移動を制御する
　＜３＞に記載の情報処理装置。
＜１４＞　前記周辺姿勢観測３次元地形推定部、および、前記周辺地形推定部は、いずれもニューラルネットワークであり、機械学習により形成される
　＜１＞乃至＜１３＞のいずれかに記載の情報処理装置。
＜１５＞　前記周辺地形推定部は、前記初期姿勢観測３次元地形、および複数の前記周辺姿勢観測３次元地形の欠落部分を補完することで前記周辺地形を推定する
　＜１＞乃至＜１４＞のいずれかに記載の情報処理装置。
＜１６＞　前記センサは、カメラ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、および、超音波センサの少なくともいずれかを含む
　＜１＞乃至＜１５＞のいずれかに記載の情報処理装置。
＜１７＞　前記カメラは、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、および赤外線カメラの少なくともいずれかを含む
　＜１６＞に記載の情報処理装置。
＜１８＞　初期姿勢の移動体のセンサにおいて検出される、前記移動体の周辺の初期姿勢観測３次元地形に基づいて、前記初期姿勢と位置および方向の少なくともいずれかが所定値だけ異なる複数の周辺姿勢において、前記移動体の前記センサで検出される、前記移動体の周辺の複数の周辺姿勢観測３次元地形を推定し、
　前記初期姿勢観測３次元地形、および前記複数の周辺姿勢観測３次元地形のそれぞれに基づいて、前記移動体の周辺の地形を周辺地形として推定し、
　推定された前記周辺地形に基づいて、前記移動体の経路および姿勢を計画して移動を制御する
　ステップを含む情報処理方法。
＜１９＞　初期姿勢の移動体のセンサにおいて検出される、前記移動体の周辺の初期姿勢観測３次元地形に基づいて、前記初期姿勢と位置および方向の少なくともいずれかが所定値だけ異なる複数の周辺姿勢において、前記移動体の前記センサで検出される、前記移動体の周辺の複数の周辺姿勢観測３次元地形を推定する周辺姿勢観測３次元地形推定部と、
　前記初期姿勢観測３次元地形、および前記複数の周辺姿勢観測３次元地形のそれぞれに基づいて、前記移動体の周辺の地形を周辺地形として推定する周辺地形推定部と、
　前記周辺地形推定部により推定された前記周辺地形に基づいて、前記移動体の経路および姿勢を計画して移動を制御する制御部と
　としてコンピュータを機能させるプログラム。
　３１　移動体，　５１，５１－１乃至５１－ｎ　センサ，　５２　駆動制御部，　５３　駆動部，　５４　表示部，　５５　操作部，　７１　３Ｄモデル構築部，　７２　自己位置推定部，　７３，７３－１乃至７３－ｎ　データ加工部，　７４　データ統合部，　７５　推論部，　７６　UI生成部，　７７　経路計画部，　７８　駆動制御部，　９１　周辺姿勢観測３Ｄ地形推定部，　９２　周辺地形推定部

Claims (19)

  1. 　初期姿勢の移動体のセンサにおいて検出される、前記移動体の周辺の初期姿勢観測３次元地形に基づいて、前記初期姿勢と位置および方向の少なくともいずれかが所定値だけ異なる複数の周辺姿勢において、前記移動体の前記センサで検出される、前記移動体の周辺の複数の周辺姿勢観測３次元地形を推定する周辺姿勢観測３次元地形推定部と、
    　前記初期姿勢観測３次元地形、および前記複数の周辺姿勢観測３次元地形のそれぞれに基づいて、前記移動体の周辺の地形を周辺地形として推定する周辺地形推定部と、
    　前記周辺地形推定部により推定された前記周辺地形に基づいて、前記移動体の経路および姿勢を計画して移動を制御する制御部と
    　を備える情報処理装置。
  2. 　前記周辺地形推定部は、前記初期姿勢観測３次元地形、および前記複数の周辺姿勢観測３次元地形のそれぞれに基づいて、前記移動体の周辺の地形を前記周辺地形として推定すると共に、前記周辺地形のそれぞれの信頼度を算出する
    　請求項１に記載の情報処理装置。
  3. 　前記制御部は、前記周辺地形推定部により推定された前記周辺地形のうち、前記初期姿勢観測３次元地形に基づいて推定された初期姿勢周辺地形の前記信頼度が所定値よりも高い場合、前記初期姿勢周辺地形に基づいて、前記移動体の経路および姿勢を計画して自律移動を開始する
    　請求項２に記載の情報処理装置。
  4. 　前記制御部は、前記周辺地形推定部により推定された前記周辺地形のうち、前記初期姿勢観測３次元地形に基づいて推定された初期姿勢周辺地形の前記信頼度が所定値よりも低い場合、前記複数の周辺姿勢観測３次元地形に基づいて推定された前記周辺地形である、周辺姿勢周辺地形に基づいて、前記移動体の経路および姿勢を計画して移動を制御する
    　請求項２に記載の情報処理装置。
  5. 　推定された前記周辺姿勢周辺地形の前記信頼度が上位となる前記周辺姿勢を候補として提示し、前記候補のいずれかの選択を促すUI（User Interface）画像を生成するUI生成部をさらに含み、
    　前記制御部は、前記UI画像に前記候補として提示された前記周辺姿勢のうち、選択された前記候補となる前記周辺姿勢と対応する位置および姿勢を取るように、前記移動体の経路および姿勢を計画して移動を制御する
    　請求項４に記載の情報処理装置。
  6. 　前記制御部は、前記UI画像に前記候補として提示された前記周辺姿勢のうち、選択された前記候補となる前記周辺姿勢に対応する位置および姿勢を取るように、前記移動体の経路および姿勢を計画して移動を制御した後、
    　前記周辺姿勢観測３次元地形推定部は、前記選択された前記候補となる前記周辺姿勢を、新たな初期姿勢とみなし、前記新たな初期姿勢における初期姿勢観測３次元地形に基づいて、新たな複数の周辺姿勢観測３次元地形を推定し、
    　前記周辺地形推定部は、前記新たな初期姿勢観測３次元地形と、前記新たな複数の周辺姿勢観測３次元地形とのそれぞれから前記周辺地形を推定し、
    　前記制御部は、前記周辺地形推定部により推定された前記周辺地形のうち、前記初期姿勢観測３次元地形に基づいて推定された前記初期姿勢周辺地形の前記信頼度が所定値よりも高いと判定されるまで、同様の処理を繰り返す
    　請求項５に記載の情報処理装置。
  7. 　前記UI画像は、推定された前記周辺姿勢周辺地形の前記信頼度が上位となる前記周辺姿勢を、前記信頼度を示す情報と共に前記候補として提示する
    　請求項５に記載の情報処理装置。
  8. 　前記UI画像は、推定された前記周辺姿勢周辺地形の前記信頼度が上位となる前記周辺姿勢を、前記信頼度と対応する色が付された情報と共に前記候補として提示する
    　請求項７に記載の情報処理装置。
  9. 　前記UI画像において、前記候補として前記周辺姿勢が提示される位置にポインタが移動されると、前記UI生成部は、前記ポインタが位置する前記周辺姿勢に前記移動体が移動するとき推定される前記周辺姿勢周辺地形に基づいた前記UI画像を生成して表示する
    　請求項５に記載の情報処理装置。
  10. 　前記UI画像に提示された前記周辺姿勢のうち、選択された前記候補となる前記周辺姿勢に対応する位置および姿勢を取るような前記移動体の移動が不可である場合、前記制御部は、選択された前記周辺姿勢の情報を前記候補から除外する
    　請求項５に記載の情報処理装置。
  11. 　前記制御部は、前記周辺地形推定部により推定された前記周辺地形のうち、前記初期姿勢観測３次元地形に基づいて推定された初期姿勢周辺地形の前記信頼度が所定値よりも低い場合、前記複数の周辺姿勢観測３次元地形に基づいて推定された前記周辺地形である、周辺姿勢周辺地形の前記信頼度が、最上位となる前記周辺姿勢に基づいて、前記移動体の経路および姿勢を計画して移動を制御する
    　請求項２に記載の情報処理装置。
  12. 　前記初期姿勢周辺地形に基づいて、前記移動体の経路および姿勢を計画して自律移動を開始した後、前記周辺地形推定部により推定された前記周辺地形のうち、前記初期姿勢観測３次元地形に基づいて推定された前記初期姿勢周辺地形の前記信頼度が所定値よりも高い場合、前記制御部は、前記初期姿勢周辺地形に基づいて、前記初期姿勢を起点とする前記移動体の長期経路を計画し、計画した前記長期経路に基づいて、前記移動体の移動を制御する
    　請求項３に記載の情報処理装置。
  13. 　前記初期姿勢周辺地形に基づいて、前記移動体の経路および姿勢を計画して自律移動を開始した後、前記周辺地形推定部により推定された前記周辺地形のうち、前記初期姿勢観測３次元地形に基づいて推定された前記初期姿勢周辺地形の前記信頼度が所定値よりも低い場合、前記制御部は、前記複数の周辺姿勢観測３次元地形に基づいて推定された前記周辺地形である周辺姿勢周辺地形のうち、前記信頼度が最上位となる前記周辺姿勢周辺地形の、前記周辺姿勢を経由する前記移動体の短期経路を計画し、計画した前記短期経路に基づいて、前記移動体の移動を制御する
    　請求項３に記載の情報処理装置。
  14. 　前記周辺姿勢観測３次元地形推定部、および、前記周辺地形推定部は、いずれもニューラルネットワークであり、機械学習により形成される
    　請求項１に記載の情報処理装置。
  15. 　前記周辺地形推定部は、前記初期姿勢観測３次元地形、および複数の前記周辺姿勢観測３次元地形の欠落部分を補完することで前記周辺地形を推定する
    　請求項１に記載の情報処理装置。
  16. 　前記センサは、カメラ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、および、超音波センサの少なくともいずれかを含む
    　請求項１に記載の情報処理装置。
  17. 　前記カメラは、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、および赤外線カメラの少なくともいずれかを含む
    　請求項１６に記載の情報処理装置。
  18. 　初期姿勢の移動体のセンサにおいて検出される、前記移動体の周辺の初期姿勢観測３次元地形に基づいて、前記初期姿勢と位置および方向の少なくともいずれかが所定値だけ異なる複数の周辺姿勢において、前記移動体の前記センサで検出される、前記移動体の周辺の複数の周辺姿勢観測３次元地形を推定し、
    　前記初期姿勢観測３次元地形、および前記複数の周辺姿勢観測３次元地形のそれぞれに基づいて、前記移動体の周辺の地形を周辺地形として推定し、
    　推定された前記周辺地形に基づいて、前記移動体の経路および姿勢を計画して移動を制御する
    　ステップを含む情報処理方法。
  19. 　初期姿勢の移動体のセンサにおいて検出される、前記移動体の周辺の初期姿勢観測３次元地形に基づいて、前記初期姿勢と位置および方向の少なくともいずれかが所定値だけ異なる複数の周辺姿勢において、前記移動体の前記センサで検出される、前記移動体の周辺の複数の周辺姿勢観測３次元地形を推定する周辺姿勢観測３次元地形推定部と、
    　前記初期姿勢観測３次元地形、および前記複数の周辺姿勢観測３次元地形のそれぞれに基づいて、前記移動体の周辺の地形を周辺地形として推定する周辺地形推定部と、
    　前記周辺地形推定部により推定された前記周辺地形に基づいて、前記移動体の経路および姿勢を計画して移動を制御する制御部と
    　としてコンピュータを機能させるプログラム。
PCT/JP2023/036674 2022-10-28 2023-10-10 情報処理装置、および情報処理方法、並びにプログラム WO2024090191A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022173133 2022-10-28
JP2022-173133 2022-10-28

Publications (1)

Publication Number Publication Date
WO2024090191A1 true WO2024090191A1 (ja) 2024-05-02

Family

ID=90830765

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/036674 WO2024090191A1 (ja) 2022-10-28 2023-10-10 情報処理装置、および情報処理方法、並びにプログラム

Country Status (1)

Country Link
WO (1) WO2024090191A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011198349A (ja) * 2010-02-25 2011-10-06 Canon Inc 情報処理方法及びその装置
JP2022018829A (ja) * 2020-07-16 2022-01-27 株式会社デンソーアイティーラボラトリ 学習済モデル生成装置、学習済モデル生成方法、学習済モデル生成プログラム
WO2022074823A1 (ja) * 2020-10-09 2022-04-14 日本電気株式会社 制御装置、制御方法及び記憶媒体
JP2022091474A (ja) * 2020-12-09 2022-06-21 株式会社東芝 情報処理装置、情報処理方法、プログラムおよび車両制御システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011198349A (ja) * 2010-02-25 2011-10-06 Canon Inc 情報処理方法及びその装置
JP2022018829A (ja) * 2020-07-16 2022-01-27 株式会社デンソーアイティーラボラトリ 学習済モデル生成装置、学習済モデル生成方法、学習済モデル生成プログラム
WO2022074823A1 (ja) * 2020-10-09 2022-04-14 日本電気株式会社 制御装置、制御方法及び記憶媒体
JP2022091474A (ja) * 2020-12-09 2022-06-21 株式会社東芝 情報処理装置、情報処理方法、プログラムおよび車両制御システム

Similar Documents

Publication Publication Date Title
Duan et al. A survey of embodied ai: From simulators to research tasks
Tovar et al. Planning exploration strategies for simultaneous localization and mapping
KR102230144B1 (ko) 인공 지능 심층 학습 타겟 탐지 및 속도 퍼텐셜 필드 알고리즘 기반 장애물 회피 및 자율 주행 방법 및 장치
Matthies et al. Stereo vision-based obstacle avoidance for micro air vehicles using disparity space
CN112525202A (zh) 一种基于多传感器融合的slam定位导航方法及系统
Rojas-Fernández et al. Performance comparison of 2D SLAM techniques available in ROS using a differential drive robot
Patel et al. A deep learning gated architecture for UGV navigation robust to sensor failures
Howard et al. Multi-sensor terrain classification for safe spacecraft landing
Sales et al. Vision-based autonomous navigation system using ann and fsm control
Smith et al. Real-time egocentric navigation using 3d sensing
Ghani et al. Detecting negative obstacle using Kinect sensor
Zhi et al. Learning autonomous exploration and mapping with semantic vision
Gonzalez-Jimenez et al. Improving 2d reactive navigators with kinect
Chikhalikar et al. An object-oriented navigation strategy for service robots leveraging semantic information
Okada et al. Exploration and observation planning for 3D indoor mapping
WO2024090191A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
Chen et al. Social crowd navigation of a mobile robot based on human trajectory prediction and hybrid sensing
Umari Multi-robot map exploration based on multiple rapidly-exploring randomized trees
Wang et al. Whole‐body motion planning and tracking of a mobile robot with a gimbal RGB‐D camera for outdoor 3D exploration
Tovar et al. Robot motion planning for map building
Galtarossa Obstacle avoidance algorithms for autonomous navigation system in unstructured indoor areas
Magee Place-based navigation for autonomous vehicles with deep learning neural networks
Jeyabal et al. Hard-to-Detect Obstacle Mapping by Fusing LIDAR and Depth Camera
Nagarajan Multi-Objective Optimisation of RTAB-Map Parameters Using Genetic Algorithm for Indoor 2D SLAM
Mathew et al. An output-driven approach to design a swarming model for architectural indoor environments

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23882400

Country of ref document: EP

Kind code of ref document: A1