WO2020021954A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2020021954A1
WO2020021954A1 PCT/JP2019/025577 JP2019025577W WO2020021954A1 WO 2020021954 A1 WO2020021954 A1 WO 2020021954A1 JP 2019025577 W JP2019025577 W JP 2019025577W WO 2020021954 A1 WO2020021954 A1 WO 2020021954A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
blind spot
unit
information processing
peripheral
Prior art date
Application number
PCT/JP2019/025577
Other languages
English (en)
French (fr)
Inventor
成田　哲也
洋貴 鈴木
基 三原
一生 本郷
アンドリュー シン
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2020021954A1 publication Critical patent/WO2020021954A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • the present disclosure proposes an information processing device, an information processing method, and a program that can easily interpolate information about an object in a blind spot area.
  • an information processing apparatus includes an interpolation unit that interpolates blind spot object information regarding an object in a blind spot area based on peripheral information.
  • FIG. 1 is a diagram illustrating an example of a driving body according to an embodiment of the present disclosure.
  • FIG. 2 is a functional block diagram of a driving body according to the present disclosure.
  • FIG. 2 is a schematic diagram illustrating an example of a first map according to the present disclosure.
  • FIG. 3 is an explanatory diagram illustrating an example of a blind spot area according to the present disclosure.
  • FIG. 4 is an explanatory diagram of an example of interpolation of blind spot object information according to the present disclosure.
  • FIG. 4 is an explanatory diagram of an example of interpolation of blind spot object information according to the present disclosure.
  • FIG. 4 is a schematic diagram illustrating an example of a second map according to the present disclosure.
  • FIG. 11 is an explanatory diagram illustrating an example of generation of recommended trajectory information according to the present disclosure.
  • FIG. 11 is an explanatory diagram illustrating another example of recommended trajectory information according to the present disclosure.
  • 13 is a flowchart illustrating an example of a procedure of information processing according to the present disclosure.
  • FIG. 15 is a functional block diagram of a driving body according to a second modification of the present disclosure.
  • 15 is an explanatory diagram of information processing according to a third modification of the present disclosure.
  • 15 is an explanatory diagram of information processing according to a third modification of the present disclosure.
  • 15 is an explanatory diagram of information processing according to a third modification of the present disclosure.
  • 15 is an explanatory diagram of information processing according to a third modification of the present disclosure.
  • 15 is an explanatory diagram of information processing according to a third modification of the present disclosure.
  • FIG. 15 is an explanatory diagram of information processing according to a third modification of the present disclosure.
  • FIG. 15 is a functional block diagram of a driving body according to a fourth modification of the present disclosure.
  • FIG. 2 is a hardware configuration diagram illustrating an example of a computer that realizes functions of the information processing device according to the present disclosure.
  • FIG. 1 is a diagram illustrating an example of a driving body 1 according to the present embodiment.
  • the driving body 1 is an object that is at least partially driven. Driving refers to traveling by moving the position of the driving body 1, operation of a part of the driving body 1, and the like.
  • the partial operation of the driving body 1 refers to an operation of at least a part of the driving body 1, a grasp of another object by the operation of the part, and the like.
  • Part of the operation of the driving body 1 may include moving the position of the main body of the driving body 1 or fixing the position of the main body of the driving body 1. That is, the driving of the driving body 1 indicates at least one of traveling of the driving body 1, operation of the driving body 1 having a fixed position, and gripping of another object.
  • the driving of the driving body 1 will be described as an example in which the driving of the driving body 1 is indicated.
  • the driving body 1 is, for example, a robot, a vehicle (a motorcycle, a four-wheeled vehicle, a bicycle), a bogie, a ship, a flying object (an airplane, an unmanned aerial vehicle (UAV), a drone, or the like).
  • the driving body 1 is a driving body that is driven according to an operation by a person or a driving body that can be automatically driven (autonomously driven) without an operation by a person.
  • the driving body capable of autonomous driving is, for example, an autonomous driving vehicle or an autonomous driving robot. The case where the driving body 1 of the present embodiment is a robot capable of autonomous driving will be described as an example.
  • the driving body 1 includes an information processing device 10, an external sensor 11, and an arm 23.
  • the driving body 1 may have a configuration including at least the information processing device 10 and the external sensor 11. Further, the information processing apparatus 10 and the external sensor 11 may be integrally configured.
  • the information processing device 10 is, for example, a dedicated or general-purpose computer. In the present embodiment, a case where the information processing apparatus 10 is mounted on the driving body 1 will be described as an example. Note that the information processing device 10 is not limited to the form mounted on the driving body 1.
  • the information processing device 10 may be mounted on a stationary object having no driving part.
  • the stationary object is, for example, a building, a road, a sidewalk, an obstacle, a three-dimensional object, a parked vehicle, a road sign, and the like. Further, the information processing device 10 may be mounted on a cloud server that executes processing on the cloud.
  • the external sensor 11 acquires a detection result of detecting the external environment.
  • the external sensor 11 detects an environment around the external sensor 11.
  • the periphery of the external sensor 11 indicates an area around the external sensor 11 that can be detected by the external sensor 11.
  • the external sensor 11 may be any device that can detect the environment around the external sensor 11.
  • the surrounding environment is represented by the temperature, humidity, sound, light, object 30 and the like around the external sensor 11.
  • the object 30 exists in the external world of the external sensor 11 and can be observed by the external sensor 11.
  • the target 30 may be any of a moving object and a stationary object.
  • the target 30 may be another driving body 1 different from the driving body 1 on which the external sensor 11 is mounted.
  • the target 30 may be a living thing or a non-living matter.
  • the non-living object is, for example, a vehicle, a flyable object, a robot, a building, a vehicle, a road surface such as a road or a sidewalk, an obstacle, or the like.
  • the obstacle is an object that hinders driving of the driving body 1.
  • the external sensor 11 is, for example, a vision sensor, a distance sensor (millimeter wave radar, laser sensor), a sound wave sensor, a temperature sensor, a humidity sensor, and the like.
  • the external sensor 11 may be a combination of two or more of these.
  • the vision sensor obtains captured image data (hereinafter, referred to as a captured image) by capturing an image.
  • the captured image data is digital image data defining a pixel value for each pixel, a depth map defining a distance from the external sensor 11 for each pixel, or the like.
  • the laser sensor is, for example, a two-dimensional LIDAR (Laser Imaging, Detection and Ranging) sensor or a three-dimensional LIDAR sensor installed in parallel with a horizontal plane.
  • the external sensor 11 is a vision sensor
  • the external sensor 11 is mounted on the driving body 1. Therefore, the external sensor 11 detects the periphery of the driving body 1. For example, it is assumed that the driving body 1 moves in the moving direction (the direction of the arrow X). The external sensor 11 detects an object 30 around the external sensor 11 as the driving body 1 moves, and sequentially acquires the detection results.
  • the external sensor 11 detects the target 30A and the target 30B as the target 30 around the external sensor 11. At this time, the external sensor 11 detects the surface of the object 30 on the side facing the external sensor 11 (drive 1).
  • the external sensor 11 is an optical sensor such as a vision sensor or a laser sensor.
  • the external sensor 11 receives the reflected light of the target 30 and obtains a detection result including a group of a plurality of detection points along the outer shape of the surface of the target 30 on the external sensor 11 side.
  • the detection point corresponds to a pixel. That is, when the external sensor 11 is a vision sensor, the external sensor 11 acquires a captured image of the target 30 around the external sensor 11 as a detection result.
  • the external sensor 11 is a temperature sensor using a sound wave sensor or light
  • the external sensor 11 receives the sound or light reflected by the target 30 to form a surface of the target 30 on the external sensor 11 side.
  • a detection result including a group of a plurality of detection points along the outer shape is obtained.
  • the arm 23 is a drive member that can be driven to expand and contract.
  • One end of the arm 23 in the longitudinal direction is fixed to the driving body 1.
  • the other end in the longitudinal direction of the arm 23 is configured to be able to grip various objects and the like. That is, the arm 23 is a remote control machine generated to have the same function as a human arm.
  • the arm 23 may be called a magic hand.
  • the detection section 14 is provided at the tip of the arm section 23.
  • the detection unit 14 has the same function as the external sensor 11.
  • the driving body 1 may have a configuration that does not include the arm unit 23 and the detection unit 14. In the present embodiment, a case where the driving body 1 has a configuration including the arm unit 23 and the detection unit 14 will be described as an example.
  • FIG. 2 is an example of a functional block diagram of the driving body 1.
  • the driving body 1 includes an information processing device 10, an external sensor 11, an internal sensor 12, a drive control unit 13, a detection unit 14, an input unit 15, a task command unit 16, an output unit 17,
  • the control unit 18 includes a control unit 18, a driving unit 19, and a storage unit 20.
  • the external sensor 11, the internal sensor 12, the drive control unit 13, the detection unit 14, the input unit 15, the task command unit 16, the output unit 17, the drive control unit 18, the storage unit 20, and the information processing device 10 And are connected so that signals can be exchanged.
  • the inner field sensor 12 is a sensor that observes information of the driving body 1 itself. For example, the inner field sensor 12 acquires position information indicating the position of the driver 1. Specifically, the inner field sensor 12 is an inertial measurement unit (IMU: Inertia Measurement Unit), a speed sensor, a GPS (Global Positioning System), or the like. The position information of the driving body 1 is represented by, for example, world coordinates (world coordinates). Note that the use of GPS as the inner field sensor 12 can also detect the direction of gravity.
  • IMU Inertia Measurement Unit
  • speed sensor a speed sensor
  • GPS Global Positioning System
  • the drive control unit 13 controls the drive of the arm unit 23.
  • the input unit 15 receives various inputs by the user.
  • the input unit 15 is a keyboard, a touch panel, a pointing device, a mouse, an input button, and the like.
  • the output unit 17 outputs various information.
  • the output unit 17 includes, for example, at least one of a display function, a sound output function, and a communication function.
  • the display function is a display for displaying various information.
  • the display function is, for example, a known LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) display.
  • the audio output function is, for example, a speaker.
  • the communication function is, for example, a communication interface that communicates with an external device via a network.
  • the task command unit 16 is a functional unit that generates an operation command for the driving body 1.
  • the operation command is instruction information for causing the driving body 1 to perform a target task.
  • the operation command specifically indicates a target position, a target speed, a target load, a target task, a target posture, and the like of the driving body 1.
  • the task command unit 16 operates according to an application or the like installed in the driving body 1 in advance, and outputs an operation command according to a detection result of the external sensor 11 or the internal sensor 12 or the like.
  • the drive control unit 18 controls the drive unit 19.
  • the driving unit 19 drives each drivable part of the driving body 1.
  • the drive control unit 18 controls the drive unit 19 according to an operation command or the like output from the task command unit 16.
  • the drive unit 19 is driven under the control of the drive control unit 18.
  • the drive control unit 18 determines a surrounding situation based on an operation command output from the task command unit 16 and recommended trajectory information (details will be described later) output from the information processing apparatus 10, and calculates acceleration, angular velocity, and the like.
  • Various controls such as a traveling direction, an operation direction, a grip position, and a grip strength are performed.
  • the drive control unit 18 controls the drive unit 19 to operate along the recommended trajectory indicated by the recommended trajectory information output from the information processing device 10, so that the acceleration, the angular velocity, the traveling direction, the operation direction, Controls grip strength and the like.
  • the storage unit 20 stores various data.
  • the storage unit 20 stores a learning model 20A and a teacher DB 20B. Details of the learning model 20A and the teacher DB 20B will be described later.
  • the storage unit 20 is, for example, a RAM (Random Access Memory), a semiconductor memory device such as a flash memory, a hard disk, an optical disk, or the like. Note that the storage unit 20 may be provided outside the driving body 1. Specifically, the storage unit 20 may be provided in a cloud server connected to the information processing device 10 via a network.
  • the information processing device 10G includes a control unit 10H.
  • the information processing apparatus 10 includes at least a storage unit 20, an external sensor 11, an internal sensor 12, a drive control unit 13, a detection unit 14, an input unit 15, a task command unit 16, an output unit 17, and a drive control unit 18.
  • a storage unit 20 includes at least a storage unit 20, an external sensor 11, an internal sensor 12, a drive control unit 13, a detection unit 14, an input unit 15, a task command unit 16, an output unit 17, and a drive control unit 18.
  • a configuration further including one may be employed.
  • the control unit 10H controls the information processing device 10.
  • the control unit 10H includes a deriving unit 10A, a mapping unit 10B, a specifying unit 10C, an interpolation unit 10D, a learning unit 10E, and a generation unit 10F.
  • Part or all of the deriving unit 10A, the mapping unit 10B, the specifying unit 10C, the interpolating unit 10D, the learning unit 10E, and the generating unit 10F are, for example, realized by causing a processing device such as a CPU to execute a program, that is, realized by software. It may be realized by hardware such as an IC (Integrated Circuit) or by using both software and hardware.
  • the deriving unit 10A derives peripheral information based on the detection result of the external sensor 11.
  • the peripheral information is information indicating the recognition result of the target 30 around the external sensor 11.
  • the recognition result of the target 30 includes the shape and size of the target 30, the distance from the external sensor 11, the movement, the type, and the like.
  • the peripheral information may further include environmental information such as temperature and humidity around the external sensor 11.
  • the types of the target 30 are, for example, types of people, types of objects, types of animals, and the like.
  • the type of the person may be any name as long as the person is classified into a plurality of groups according to a predetermined rule and each group is indicated.
  • the type of person is, for example, an adult, a child, a woman, a man, and the like, but is not limited thereto.
  • the type of the object may be any name as long as the object is classified into a plurality of groups according to a predetermined rule and each group is indicated.
  • the type of the object is, for example, an automobile, a motorcycle, a truck, and the like, but is not limited thereto.
  • the detection result of the external sensor 11 includes a group of a plurality of detection points along the external shape of the surface on the external sensor 11 side in the target 30 around the external sensor 11 (the driving body 1).
  • the deriving unit 10 ⁇ / b> A analyzes the detection result by a known method to obtain the shape and size of the target 30 around the external sensor 11, the distance between the external sensor 11 and the target 30, the movement of the target 30, and the type of the target 30. , Etc. may be derived.
  • the mapping unit 10B generates a map by mapping the target 30 indicated in the peripheral information derived by the deriving unit 10A in the horizontal direction. Specifically, the mapping unit 10B generates a first map and a second map.
  • the first map and the second map are two-dimensional maps in which the target 30 indicated in the peripheral information derived by the deriving unit 10A is horizontally two-dimensionally mapped.
  • the second map is a map in which blind spot object information is further mapped on the first map. Details of the blind spot object information will be described later.
  • the first map and the second map may be three-dimensional maps obtained by mapping the target 30 three-dimensionally in the horizontal and vertical directions.
  • first map and the second map are two-dimensional maps will be described as an example.
  • FIG. 3A is a schematic diagram showing an example of the first map M1.
  • maps M when the maps generated by the mapping unit 10B are collectively described, they will be simply referred to as maps M.
  • the second map will be described later.
  • the mapping unit 10B prepares a map M obtained by dividing a two-dimensional plane into a plurality of grids. Then, the mapping unit 10B generates the first map M1 by applying the recognition result of the target 30 indicated by the peripheral information derived by the deriving unit 10A to the grid at the corresponding position in the map M. Further, the mapping unit 10B applies the position information received from the internal sensor 12 as the current position of the driving body 1 to the grid of the corresponding position on the map M. Through these processes, the mapping unit 10B generates, for example, the first map M1 illustrated in FIG. 3A.
  • the recognition result of the target 30 indicated in the peripheral information and the map M may have the same dimension or different dimensions.
  • the recognition result may be represented in three dimensions, and the map M may be represented in two dimensions.
  • the mapping unit 10B may perform mapping after matching the dimension of the recognition result with the dimension of the map M using a known method.
  • the detection result obtained by the deriving unit 10A from the external sensor 11 includes a group of a plurality of detection points along the outer shape of the surface of the target 30 on the external sensor 11 side. Therefore, the information of the target 30 indicated in the peripheral information derived by the deriving unit 10A is limited to information in a range that can be specified from the current position of the driving body 1.
  • the first map M ⁇ b> 1 an area along the outer shape of the surface of the object 30 on the side of the external sensor 11 (the side of the driving body 1) is mapped as an occupied area of the object 30.
  • the area on the first map M1 closer to the driver 1 than the target 30 can be said to be the detectable area E1 of the external sensor 11.
  • the area on the first map M1 farther from the driver 1 than the target 30 can be said to be the undetectable area E2 of the external sensor 11.
  • Mapping section 10B outputs first map M1 to specifying section 10C.
  • the identification unit 10C identifies a blind spot area of the external sensor 11.
  • the specifying unit 10C specifies the blind spot area using the first map M1 received from the mapping unit 10B and the operation command received from the task command unit 16.
  • FIG. 3B is an explanatory diagram showing an example of specifying the blind spot area EB.
  • the specifying unit 10C specifies, as a blind spot area, an area in the undetectable area E2 that requires information on the target 30 in order to perform the task indicated by the operation command.
  • the specifying unit 10C determines whether or not the planned trajectory X (X1, X2) in the detectable area E1 in the first map M1, the undetectable area E2 formed by the target 30, and the operation command.
  • the specified target position D is specified.
  • the scheduled trajectory X is a trajectory that can be taken when the driving body 1 travels toward the target position D in the detectable area E1.
  • the specifying unit 10C may derive the planned trajectory X by a known method using the current position of the driving body 1, the position of the target position D, and the like.
  • the specifying unit 10C specifies, as a blind spot area EB, an area in the undetectable area E2 which is a blind spot for generating a planned trajectory to follow when the driving body 1 travels toward the target position D. I do.
  • the specifying unit 10C may specify the entire undetectable area E2 as the blind spot area EB.
  • the undetectable area E2 including the target position D is specified as the blind spot area EB.
  • the specifying unit 10C outputs the specified blind spot area EB and the first map M1 received from the mapping unit 10B to the interpolation unit 10D.
  • the interpolating unit 10D interpolates blind spot object information on the objects in the blind spot area EB based on the peripheral information.
  • Blind spot object information is information on an object in the blind spot area EB.
  • the blind spot object information includes the position of the object, the size of the object, the range of the object, the type of the object, and the distance from the external sensor 11 to the object included in or forming the blind spot area EB. Show at least one.
  • the interpolating unit 10D receives the blind spot area EB from the specifying unit 10C. Further, the interpolating unit 10D receives the first map M1 from the specifying unit 10C, thereby receiving the map M and the peripheral information indicating the recognition result of the target 30 mapped on the map M. Note that the information processing apparatus 10 target position D may receive peripheral information from the deriving unit 10A.
  • the interpolation unit 10D interpolates the blind spot object information using the peripheral information and the learning model 20A.
  • the learning model 20A is a model for deriving blind spot object information from surrounding information. That is, the learning model 20A is an application program or a discriminator for deriving blind spot object information on the object in the blind spot area EB from the peripheral information.
  • the learning model 20A is a learning model that uses peripheral information as input data and blind spot object information as output data. In other words, the learning model 20A is an application program for modeling and calculating the input / output relationship between the peripheral information and the blind spot object information.
  • the learning model 20A may be represented by a mathematical expression such as a function.
  • the learning unit 10E learns the learning model 20A using the teacher DB 20B.
  • the teacher DB 20B is a database in which a plurality of teacher data indicating the correspondence between the peripheral information and the blind spot object information is registered.
  • the data format of the teacher DB 20B is not limited to a database.
  • the learning unit 10E learns the learning model 20A using the teacher DB 20B. It should be noted that known machine learning may be used for learning the learning model 20A. For example, the learning unit 10E may learn the learning model 20A using a neural network structure such as Deep Learning, or a machine learning algorithm such as SVM (Support Vector Machine) or principal component analysis.
  • a neural network structure such as Deep Learning
  • SVM Small Vector Machine
  • the interpolation unit 10D derives blind spot object information using the learning model 20A learned by the learning unit 10E.
  • FIGS. 3C and 3D are explanatory diagrams of an example of interpolation of the blind spot object information 34 by the interpolation unit 10D.
  • the interpolation unit 10D introduces the peripheral information 32 received from the derivation unit 10A into the learning model 20A.
  • the interpolation unit 10D derives blind spot object information 34 from the peripheral information 32, as shown in FIG. 3D. That is, the blind spot object information 34A is derived from the peripheral information 32A in the peripheral information 32.
  • the peripheral information 32A is the peripheral information 32 on the target 30A.
  • the blind spot object information 34A is the blind spot object information 34 of the blind spot area EB formed by the target 30A.
  • the interpolation unit 10D interpolates the blind spot object information 34.
  • the dimension of the peripheral information 32 and the dimension of the blind spot object information 34 may be the same or different.
  • the surrounding information 32 may be represented in three dimensions
  • the blind spot object information 34 may be represented in two dimensions.
  • the interpolation unit 10D may perform a conversion process using a known method so that these dimensions match.
  • the interpolation unit 10D registers the correspondence between the interpolated blind spot object information 34 and the surrounding information 32 used to derive the blind spot object information 34 as new teacher data in the teacher DB 20B.
  • the learning unit 10E learns the learning model 20A every time the teacher DB 20B is updated.
  • the learning unit 10E can appropriately update the learning model 20A to the latest state.
  • the learning unit 10E can learn the learning model 20A while driving the driver 1. For this reason, for example, when the driving body 1 travels again on the route that has passed in the past, the interpolation speed of the blind spot object information 34 can be improved. Further, even when the environment of the driving body 1 changes, the learning unit 10E can easily learn the learning model 20A that can cope with the changed environment. Further, by using the learning model 20A learned in the past, it is possible to accurately and quickly interpolate the blind spot object information 34 when encountering the same environment as in the past learning.
  • the interpolation unit 10D outputs the interpolated blind spot object information 34 to the mapping unit 10B.
  • the mapping unit 10B generates the second map M2 by mapping the blind spot object information 34 received from the interpolation unit 10D to the first map M1.
  • FIG. 4A is a schematic diagram showing an example of the second map M2.
  • the mapping unit 10B maps information related to the object indicated by the blind spot object information 34A interpolated using the peripheral information 32 onto the first map M1 (see FIG. 3C) generated using the peripheral information 32.
  • the blind spot object information 34A is an example of the blind spot object information 34.
  • the blind spot object information 34A is the blind spot object information 34 interpolated from the peripheral information 32A about the target 30A.
  • FIG. 4A shows, as an example, a case where blind spot object information 34A indicates a vehicle as an object.
  • the interpolation unit 10D generates the second map M2 by mapping information such as the position, size, range, and shape of the vehicle indicated in the blind spot object information 34A onto a corresponding grid of the first map M1 ( (See FIG. 4A).
  • the mapping unit 10BG outputs the second map M2 to the generation unit 10F.
  • the generation unit 10F generates recommended trajectory information based on the surrounding information 32 and the blind spot object information 34.
  • FIG. 4B is an explanatory diagram showing an example of generation of recommended trajectory information.
  • the recommended trajectory information X ' is information indicating a recommended trajectory of the driving body 1 on which the external sensor 11 is mounted.
  • the recommended trajectory information X ' is information indicating a recommended trajectory generated by driving the driving body 1.
  • the driving of the driving body 1 indicates the traveling of the driving body 1. Therefore, when the driving of the driving body 1 indicates the driving of the driving body 1, the recommended trajectory information indicates the recommended traveling route of the driving body 1.
  • the generation unit 10F receives the operation command from the task command unit 16, and generates recommended trajectory information X 'for reaching the target position D indicated by the operation command while avoiding various objects in the blind spot area EB. Generate.
  • the generation unit 10F recommends that the vehicle reach the target position D while passing through the predetermined trajectory X (X1, X2) in the detectable area E1 and avoiding the object indicated by the blind spot object information 34A in the blind spot area EB.
  • Orbit information X '(X1, X2, X3, X4) is generated.
  • the generation unit 10F may generate the recommended trajectory information X 'based on the peripheral information 32, the blind spot object information 34, and the reliability of the blind spot object information 34.
  • FIG. 4C is an explanatory diagram showing another example of generation of recommended trajectory information X ′.
  • the generation unit 10F specifies the position, size, and range of the object indicated by the blind spot object information 34 in the blind spot area EB. Then, the generation unit 10F specifies the reliability of the blind spot object information 34.
  • the reliability of the blind spot object information 34 indicates the likelihood of the object indicated by the blind spot object information 34.
  • the generation unit 10F may receive the reliability together with the blind spot object information 34 from the interpolation unit 10D.
  • the interpolation unit 10D may output the likelihood of the blind spot object information 34 derived together with the blind spot object information 34 as the reliability. For example, when the possibility that the object indicated by the blind spot object information 34 is a small car and a large car is balanced, a reliability indicating low likelihood is output.
  • mapping unit 10B only needs to add the reliability of the blind spot object information 34 to the second map M2 and output it to the generation unit 10F.
  • the generating unit 10F recommends trajectory information to reach the target position D while passing through the planned trajectory X (X1, X2) in the detectable area E1 and avoiding the object indicated by the blind spot object information 34 in the blind spot area EB.
  • X ′ (X1, X2, X3, X4) is generated.
  • the generation unit 10F corrects the size of the object indicated by the blind spot object information 34 such that the lower the reliability of the object, the larger the size of the object. That is, the generation unit 10F considers that the lower the reliability is, the larger the recognition error of the blind spot object information 34 is, and determines that the size of the object indicated by the blind spot object information 34 is larger than the recognition result.
  • the generation unit 10F gives a correction area 34A 'to the object indicated by the blind spot object information 34A as the correction area 34'.
  • the generation unit 10F gives a wider (larger occupation range) correction area 34A 'as the reliability of the blind spot object information 34A is lower.
  • the generation unit 10F may generate the recommended trajectory information X 'for reaching the target position D avoiding the object and the correction area 34A' indicated by the blind spot object information 34A.
  • the generation unit 10F considers that the lower the reliability of the object indicated by the blind spot object information 34 is, the larger the recognition error of the blind spot object information 34 is, and generates the recommended trajectory information X 'so as to largely avoid the object.
  • the generation unit 10F outputs the generated recommended trajectory information X 'to the output unit 17.
  • the output unit 17 outputs the received recommended trajectory information X ’.
  • the output unit 17 displays the received recommended trajectory information X '.
  • the output unit 17B may display a map image in which the recommended trajectory information X 'is arranged on the second map M2. By visually recognizing the map image, the user can easily confirm the recommended trajectory indicated by the recommended trajectory information X '. Further, for example, the output unit 17 transmits the received recommended trajectory information X 'to an external device.
  • the external device that has received the recommended trajectory information X ' can use the recommended trajectory information X' for various processes.
  • the generation unit 10F outputs the recommended trajectory information X ′ to the drive control unit 18.
  • the drive control unit 18 controls the drive unit 19. Based on the recommended trajectory information X ', the detection result received from the external sensor 11 and the internal sensor 12, and the operation command received from the task command unit 16, the drive control unit 18 that has received the recommended trajectory information X' Is determined, and various controls such as acceleration, angular velocity, traveling direction, movement direction, gripping position, gripping strength, and the like are performed.
  • the drive control unit 18 can control the driving body 1 so as to travel to the target position D while avoiding the object in the blind spot area EB.
  • the target 30 in the blind spot area EB at a certain timing may be detected by the external sensor 11 at a certain timing.
  • the mapping unit 10B may correct the second map M2 so that the reliability of the target 30 detected by the external sensor 11 increases.
  • the generation unit 10F may generate the recommended trajectory information X 'using the corrected second map M2.
  • the information processing apparatus 10 can change the recommended trajectory information X ′ while correcting the second map M2 so that the reliability is increased for the region detected by the external sensor 11.
  • the interpolation unit 10D uses at least one of the detection result of the detection unit 14 that directly detects the blind spot area EB, input information received by a user's operation instruction, and the gravitational direction of the surrounding information 32 to generate a blind spot object.
  • the information 34 may be corrected.
  • the external sensor 11 is a type of external sensor 11 that is difficult to detect a transparent object, or an external sensor 11 that has low detection performance for a specific object.
  • the external sensor 11 is a vision sensor.
  • the surrounding information 32 may not include the detection result of the transparent object.
  • the interpolation unit 10D corrects the blind spot object information 34 by using at least one of the detection result of the detection unit 14, the input information, and the gravitational direction of the peripheral information 32, Highly accurate blind spot object information 34 can be derived.
  • the interpolation unit 10D corrects the blind spot object information 34 derived using the learning model 20A using the detection result of the detection unit 14 that directly detects the blind spot area EB.
  • the interpolation unit 10D controls the arm unit 23 by controlling the drive control unit 13 so that the detection unit 14 enters the blind spot area EB.
  • the drive control unit 18 may control the drive control unit 13.
  • the interpolation unit 10D may output the detection result of the detection unit 14 as the detection result of the blind spot area EB.
  • the detection result of the blind spot area EB by the detection unit 14 is information on an object in the blind spot area EB.
  • the detection unit 14 may be a sensor having the same function as the external sensor 11, or may be a tactile sensor or a force sensor.
  • the interpolation unit 10D compares the blind spot object information 34 derived using the learning model 20A with the detection result of the detection unit 14 regarding the object in the blind spot area EB. Is adopted. Through this process, the interpolation unit 10D may correct the blind spot object information 34 derived using the learning model 20A.
  • the mapping unit 10B may further map the detection result of the detection unit 14 regarding the object in the blind spot area EB on the first map M1. That is, the mapping unit 10B generates the first map M1 that maps the peripheral information 32 derived by the derivation unit 10A and the detection result of the blind spot area EB by the detection unit 14, and outputs the first map M1 to the identification unit 10C. Good.
  • the interpolation unit 10D can derive more accurate blind spot object information 34 by correcting the blind spot object information 34 using the detection result of directly detecting the blind spot area EB.
  • the interpolation unit 10D corrects the blind spot object information 34 with high accuracy by using the detection result of the detection unit 14 to correct the blind spot object information 34. Can be.
  • the interpolation unit 10D may correct the blind spot object information 34 using input information received by a user's operation instruction. For example, the user operates the input unit 15 to input information indicating the blind spot object information 34.
  • the interpolation unit 10D may correct the blind spot object information 34 derived using the learning model 20A using input information input by the user operating the input unit 15.
  • the judgment and knowledge of the user can be reflected in the blind spot object information 34. Therefore, it is possible to make the robot such as the driving body 1 learn the user's experience. In addition, when driving the driving body 1 in an unknown environment, it is possible to use the knowledge of the user, and the interpolation of the blind spot object information 34 can be performed at higher speed. Further, the processing load on the interpolation unit 10D can be reduced, and the power consumption, the processing time, and the weight of the information processing apparatus 10 can be reduced.
  • the interpolation unit 10D may correct the position of the object indicated by the blind spot object information 34 according to the direction of gravity of the peripheral information 32. For example, the interpolating unit 10D acquires information indicating the direction of gravity from the internal sensor 12 and specifies the direction of gravity of the object indicated by the surrounding information 32. Then, the interpolation unit 10D may correct the position of the object indicated by the blind spot object information 34 in the vertical direction.
  • the interpolation unit 10D can interpolate the blind spot object information 34 including the position information in the vertical direction for the objects included in the blind spot area EB.
  • the generation unit 10F generates the recommended trajectory information X ′ using the blind spot object information 34, so that the traveling, the movement, or the movement in both the horizontal direction and the vertical direction while avoiding the object in the blind spot area EB is performed.
  • Recommended trajectory information X ′ can be generated so as to perform an operation of gripping an object.
  • the interpolation unit 10D can interpolate the blind spot object information 34 that specifies the position of the object in the blind spot area EB more accurately.
  • the generation unit 10F can generate the recommended trajectory information X ′ at higher speed by using the blind spot object information 34.
  • the generation unit 10F can generate the recommended trajectory information X 'so as to operate in the order according to the direction of gravity.
  • the generation unit 10F generates the recommended trajectory information X ′ so as to indicate the trajectory that moves from the downstream side in the gravity direction (vertical downstream side; ground side) to the upstream side along the gravity direction. be able to.
  • the generation unit 10F may generate the recommended trajectory information X 'so as to indicate the trajectory that moves from the ground side toward the anti-gravity direction.
  • the generation unit 10F can generate recommended trajectory information X 'for performing an operation of searching for and grasping an object at higher speed.
  • the mapping unit 10B may add information indicating the direction of gravity to the second map M2.
  • the mapping unit 10B may acquire information indicating the direction of gravity from the internal sensor 12 and add the information to the second map M2.
  • FIG. 5 is a flowchart illustrating an example of a procedure of information processing executed by the information processing apparatus 10.
  • the deriving unit 10A acquires a detection result from the external sensor 11 (step S100).
  • the deriving unit 10A derives the peripheral information 32 from the obtained detection result (Step S102).
  • the specifying unit 10C specifies the blind spot area EB of the external sensor 11 (Step S104).
  • the interpolation unit 10D interpolates the blind spot object information 34 on the object in the blind spot area EB specified in step S104 (step S106).
  • mapping unit 10B generates the second map M2 by mapping the blind spot object information 34 interpolated in step S106 to the first map M1 (step S108).
  • the generation unit 10F generates recommended trajectory information X 'based on the peripheral information 32 and the blind spot object information 34 shown in the second map M2 generated in Step S108 (Step S110).
  • the generation unit 10F outputs the recommended trajectory information X 'generated in step S110 to the output unit 17 (step S112). Then, this routine ends.
  • driver 1 may repeatedly execute the processing of steps S100 to S112 until the driving body 1 reaches the target position D.
  • the information processing device 10 of the present embodiment includes the interpolation unit 10D.
  • the interpolation unit 10D interpolates the blind spot object information 34 on the object in the blind spot area EB based on the peripheral information 32.
  • a blind spot sensor for detecting an object in a blind spot is separately attached, and an object in a blind spot area is detected by supplementing a sensor detection range.
  • a blind spot sensor for detecting an object in the blind spot it was necessary to separately attach a blind spot sensor for detecting an object in the blind spot, and it was difficult to easily interpolate an object in the blind spot area EB.
  • the mounting position of the sensor and the type of the sensor may be limited.
  • the cost since it is necessary to separately attach a blind spot sensor, the cost may increase and the driving body may increase in weight. Also, by mounting the blind spot sensor, at least a part of the function and mechanism of the driving body may be limited.
  • the information processing apparatus 10 of the present embodiment interpolates the blind spot object information 34 of the blind spot area EB based on the peripheral information 32.
  • the information processing apparatus 10 can easily interpolate information about an object in the blind spot area EB.
  • the blind spot object information 34 is interpolated from the peripheral information 32 without separately providing a blind spot sensor. For this reason, the information processing apparatus 10 of the present embodiment does not need to separately provide a blind spot sensor, and can simplify the apparatus in addition to the above effects.
  • the information processing apparatus 10 of the present embodiment interpolates the blind spot object information 34 based on the peripheral information 32, in addition to the above effects, the installation position of the external sensor 11 and the type of the external sensor 11 are restricted. Can be suppressed.
  • the information processing apparatus 10 of the present embodiment can achieve, in addition to the above effects, suppression of cost increase, suppression of power consumption, and suppression of weight increase. Further, in addition to the above-described effects, the information processing apparatus 10 can suppress the function and mechanism of the driving body 1 from being limited.
  • the information processing apparatus 10 of the present embodiment complements the blind spot object information 34 based on the peripheral information 32. For this reason, the information processing apparatus 10 of the present embodiment generates the recommended trajectory information X ′ using the blind spot object information 34, thereby supporting the rapid driving of the driving body 1 in addition to the above effects. it can.
  • the interpolation unit 10D interpolates the blind spot object information 34 using the surrounding information 32 and the learning model 20A for deriving the blind spot object information 34 from the surrounding information 32.
  • the information processing apparatus 10 of the present embodiment can accurately interpolate the blind spot object information 34 in addition to the above-described effects.
  • the information processing device 10 of the present embodiment includes the learning unit 10E.
  • the learning unit 10E learns the learning model 20A using a plurality of teacher data indicating the correspondence between the peripheral information 32 and the blind spot object information 34.
  • the information processing apparatus 10 can accurately interpolate the blind spot object information 34 in addition to the above effects.
  • the interpolation unit 10D can improve the interpolation speed of the blind spot object information 34 when the driving body 1 travels again on the route that the driver has passed in the past. Further, even when the environment of the driving body 1 changes, the learning unit 10E can easily learn the learning model 20A that can cope with the changed environment. Further, when the generation unit 10F generates the recommended trajectory information X ′ based on the blind spot object information 34 derived using the learning model 20A learned in the past, and encounters the same environment as in the past learning. However, the recommended trajectory information X ′ can be generated accurately and at high speed.
  • the deriving unit 10A derives the peripheral information 32 indicating the recognition result of the object around the external sensor 11 based on the detection result of the external sensor 11. For this reason, the information processing apparatus 10 of the present embodiment can interpolate the blind spot object information 34 based on the peripheral information 32 corresponding to a change in the surroundings of the external sensor 11.
  • the external sensor 11 is, for example, a vision sensor.
  • the information processing apparatus 10 of the present embodiment interpolates the blind spot object information 34 based on the peripheral information 32. Therefore, even when a vision sensor is used as the external sensor 11, the blind spot object information 34 can be interpolated. That is, the information processing apparatus 10 of the present embodiment can interpolate the blind spot object information 34 without using a highly accurate sensor for the external sensor 11.
  • the interpolation unit 10D may correct the blind spot object information 34 using the detection result of the detection unit 14 that directly detects the blind spot area EB. With this processing, the information processing apparatus 10 can interpolate the blind spot object information 34 with higher accuracy in addition to the above-described effects.
  • the interpolation unit 10D may correct the blind spot object information 34 using input information received by a user's operation instruction. With this processing, the information processing apparatus 10 can interpolate the blind spot object information 34 with higher accuracy in addition to the above-described effects.
  • the interpolation unit 10D may correct the position of the object indicated by the blind spot object information 34 according to the direction of gravity of the peripheral information 32.
  • the information processing apparatus 10 can interpolate the detailed blind spot object information 34 in addition to the above effects.
  • the generation unit 10F generates recommended trajectory information X ′ based on the peripheral information 32 and the blind spot object information 34.
  • the sensor or the blind spot sensor cannot directly detect an object, it is difficult to generate recommended trajectory information for performing high-speed and smooth driving. Further, in the related art, when an object cannot be directly detected by a sensor or a blind spot sensor, it is difficult to generate recommended trajectory information according to an actually existing object, and a danger such as a collision may occur. Was.
  • the generation unit 10F generates the recommended trajectory information X 'based on the peripheral information 32 and the blind spot object information 34. Therefore, by using the recommended trajectory information X 'for drive control of the driving body 1, the driving body 1 can be driven with high accuracy even in the blind spot area EB. Further, by outputting the recommended trajectory information X ', the recommended trajectory information X' for performing driving while avoiding the object in the blind spot area EB can be easily provided to an external device or a user.
  • the generation unit 10F generates the recommended trajectory information X ′ according to the peripheral information 32, the blind spot object information 34, and the reliability of the blind spot object information 34.
  • the information processing apparatus 10G corrects the area occupied by the object indicated by the blind spot object information 34 to be larger as the reliability of the blind spot object information 34 is lower, and generates the recommended trajectory information X '. For this reason, the information processing apparatus 10 can generate highly accurate recommended trajectory information X 'in addition to the above-described effects. For example, even when the reliability of the blind spot object information 34 is low, the generation unit 10F may generate the recommended trajectory information X ′ in which the risk of collision with the object indicated by the blind spot object information 34 is reduced. it can. In addition, the generation unit 10F generates the recommended trajectory information X 'with high accuracy regardless of the accuracy of the sensor of the external field sensor 11 in order to generate the recommended trajectory information X' according to the reliability of the blind spot object information 34. Can be.
  • the information processing apparatus 10 can change the recommended trajectory information X ′ while correcting the second map M2 so as to increase the reliability of the area detected by the external sensor 11. For this reason, the information processing device 10 can gradually increase the accuracy of the recommended trajectory information X 'while driving the driving body 1. Therefore, instead of a method of processing a large amount of information at a time by the high-precision external sensor 11, the recommended trajectory information X 'is first generated by using the blind spot object information 34, and the second is generated by the detection result of the external sensor 11 later. The recommended trajectory information X 'can be changed while correcting the map M2. For this reason, the information processing apparatus 10 can distribute the load of the generation processing of the recommended trajectory information X '. In addition, the information processing apparatus 10 can reduce the generation time of the recommended trajectory information X '.
  • the driving of the driving body 1 has been described as an example in which the driving of the driving body 1 is indicated. However, as described above, if the driving of the driving body 1 indicates at least one of traveling of the driving body 1, operation of the driving body 1 whose position is fixed, and gripping of another object by the driving body 1, Good.
  • the generation unit 10F may generate the recommended trajectory information X 'indicating the operation trajectory of the arm 23 of the driving body 1. That is, the generation unit 10F may generate the recommended trajectory information X 'indicating the motion trajectory for reaching the target position D while avoiding the object in the blind spot area EB.
  • the generation unit 10F outputs the recommended trajectory information X 'to the drive control unit 18.
  • the drive control section 18 controls the drive section 19 based on the recommended trajectory information X ′ to control the arm section 23 so as to reach the target position D while avoiding the object in the blind spot area EB. it can.
  • the driving body 1 may be provided with a drivable part other than the arm part 23 in some cases.
  • the generation unit 10F may generate recommended trajectory information X 'indicating at least one motion trajectory of these parts.
  • the generation unit 10F may generate the recommended trajectory information X 'indicating the operation trajectory of the arm 23 of the driving body 1. That is, the generation unit 10F may generate the recommended trajectory information X 'indicating the motion trajectory for gripping the specific object in the blind spot area EB, the grip position, the load at the time of grip, and the like.
  • the generation unit 10F is used to grasp a recommended traveling route of the driving body 1 on which the information processing apparatus 10 is mounted, an operation trajectory of the arm unit 23 provided on the driving body 1, and a specific object in the blind spot area EB. It is sufficient to generate recommended trajectory information X 'indicating at least one of the motion trajectories.
  • the generation unit 10 ⁇ / b> F recommends the driving route of the driving body 1 equipped with the information processing device 10 and the operation of the arm unit 23 provided on the driving body 1.
  • the recommended trajectory information X ′ indicating at least one of the trajectory and the motion trajectory for gripping a specific object in the blind spot area EB may be generated.
  • the generation unit 10F outputs the recommended trajectory information X 'to the drive control unit 18.
  • the drive control unit 18 controls the arm unit 23 to reach a specific object in the blind spot area EB by controlling the drive unit 19 based on the recommended trajectory information X ′, and grips the object.
  • the arm 23 can be controlled as described above.
  • the recommended trajectory information X ′ of the present modification is used.
  • the traveling of the driver 1, the movement of the arm 23, and the gripping of the object by the arm 23 can be realized at high speed and safely.
  • the learning model 20A may be a learning model 20A '(see FIG. 2) for deriving one or a plurality of blind spot object information 34 from a group of a plurality of pieces of peripheral information 32 in a time series.
  • the learning unit 10E may prepare, in advance, teacher data indicating a correspondence between a group of the plurality of pieces of peripheral information 32 in time series and one or a plurality of blind spot object information 34 as the teacher data.
  • the plurality of blind spot object information 34 in the teacher data may be information on objects in the same blind spot area EB, and may be a plurality of types of blind spot object information 34 at different timings.
  • the learning unit 10E only needs to learn the learning model 20A 'using the teacher data and the known machine learning.
  • the interpolation unit 10D may interpolate the blind spot object information 34 by introducing a group of a plurality of pieces of peripheral information 32 that are continuous in a time series derived by the derivation unit 10A into the learning model 20A '.
  • the interpolation unit 10D includes a group of a plurality of pieces of peripheral information 32 in a time series, and a learning model 20A ′ for deriving one or a plurality of blind spot object information 34 from the group of a plurality of pieces of peripheral information 32 in a time series. , May be used to interpolate the blind spot object information 34.
  • the interpolating unit 10D interpolates the blind spot object information 34 using the learning model 20A ′, so that the information processing apparatus 10 can obtain the blind spot object information 34 at a future timing and the blind spot that changes along a time series.
  • the object information 34 can be detected.
  • the information processing apparatus 10 can generate the recommended trajectory information X 'at a future timing in advance by generating the recommended trajectory information X' using the blind spot object information 34.
  • FIG. 6 is an example of a functional block diagram of a driving body 1A of the present modified example.
  • the driving body 1A includes an information processing device 40, an external sensor 11, an internal sensor 12, a drive control unit 13, a detection unit 14, an input unit 15, a task command unit 16, an output unit 17,
  • the control unit 18 includes a control unit 18, a driving unit 19, and a storage unit 21.
  • the driving body 1A is the same as the driving body 1 of the above embodiment, except that the driving body 1A includes an information processing device 40 and a storage unit 21 instead of the information processing device 10 and the storage unit 20.
  • the storage unit 21 stores various data.
  • the storage unit 21 is, for example, a semiconductor memory device such as a RAM or a flash memory, a hard disk, an optical disk, or the like. Note that the storage unit 21 may be provided outside the driving body 1A.
  • the storage unit 21 stores the object arrangement information 21A.
  • the object arrangement information 21A is information indicating the arrangement of the object.
  • the object indicated in the object arrangement information 21A is preferably an object whose position does not change with time.
  • the object arrangement information 21A is information representing the structure of the building.
  • the storage unit 21 previously stores, for each scene of the peripheral information 32, the object arrangement information 21A corresponding to each scene.
  • Scene is information indicating a real space represented by the peripheral information 32.
  • the information processing device 40 classifies the real space into a plurality of scenes according to the positional relationship of the objects arranged in the real space. Then, the information processing apparatus 40 may store the scene identification information and the object arrangement information 21A indicating the arrangement of the object in the storage unit 21 in advance in association with each other.
  • the scene is, for example, a classroom, a group of buildings, a specific town, a specific arrangement of an object (for example, a desk) or a living thing (for example, a person) in a specific area, but is not limited thereto.
  • the specific area is, for example, a specific floor in a building or the premises of a station, but is not limited thereto.
  • the information processing device 40 includes a control unit 40H.
  • the control unit 40H controls the information processing device 40.
  • the control unit 40H includes a deriving unit 10A, a mapping unit 10B, a specifying unit 10C, an interpolation unit 40D, and a generation unit 10F.
  • the deriving unit 10A, the mapping unit 10B, the specifying unit 10C, and the generating unit 10F are the same as in the above embodiment.
  • the interpolating unit 40D interpolates the blind spot object information 34 based on the object arrangement information 21A indicating the arrangement of the objects corresponding to the scene of the peripheral information 32 derived by the deriving unit 10A.
  • the interpolation unit 40D specifies the scene of the peripheral information 32 derived by the derivation unit 10A.
  • the interpolation unit 40D specifies a scene of the peripheral information 32 using a learning model for deriving a scene from the peripheral information 32. This learning model may be generated in advance by the interpolation unit 40D using known machine learning.
  • the interpolation unit 40D reads the object arrangement information 21A corresponding to the specified scene from the storage unit 21. Then, the interpolation unit 40D may interpolate the blind spot object information 34 by extracting, as the blind spot object information 34, an overlapping area with the blind spot area EB specified by the specifying unit 10C in the object arrangement information 21A.
  • FIGS. 7A to 7E are explanatory diagrams of information processing according to the present modification.
  • FIG. 7A is a schematic diagram illustrating an example of the first map M10.
  • the mapping unit 10B applies the recognition result of the target 30 indicated in the peripheral information 32 derived by the derivation unit 10A to the grid at the corresponding position in the map M, thereby forming the first map M10. Generate. Further, the mapping unit 10B applies the position information received from the internal sensor 12 as the current position of the driving body 1 to the grid of the corresponding position on the map M. Through these processes, the mapping unit 10B generates, for example, a first map M10 illustrated in FIG. 7A. Similarly to the above embodiment, the first map M10 includes a non-detectable area E2 of the external sensor 11 and a detectable area E1 of the external sensor 11.
  • the specifying unit 10C specifies the blind spot area EB of the external sensor 11 in the same manner as in the above embodiment (see FIG. 7B). Further, the specifying unit 10C specifies the planned trajectory X (X11, X12) in the detectable area E1, the undetectable area E2, and the target position D indicated in the operation command in the first map M1. Then, the specifying unit 10C specifies, as a blind spot area EB, an area in the undetectable area E2 which is a blind spot for generating a planned trajectory to follow when the driver 1 moves toward the target position D. I do. Note that, similarly to the above embodiment, the specifying unit 10C may specify the undetectable area E2 as the blind spot area EB.
  • the interpolation unit 10D specifies the scene corresponding to the peripheral information 32, and reads the object arrangement information 21A corresponding to the identification information of the scene from the storage unit 21.
  • FIG. 7C is a schematic diagram illustrating an example of the object arrangement information 21A.
  • the interpolation unit 10D extracts the overlapping area P with the blind spot area EB specified by the specifying unit 10C in the object arrangement information 21A as the blind spot object information 34, thereby obtaining the blind spot object information 34 may be interpolated.
  • the mapping unit 10B outputs the second map M2 on which the blind spot object information 34 is mapped to the generation unit 10F.
  • the generating unit 10F generates recommended trajectory information X ′ based on the peripheral information 32 and the blind spot object information 34 in the same manner as in the above embodiment.
  • FIG. 7E is an explanatory diagram illustrating an example of the recommended trajectory information X ′.
  • the generation unit 10F receives an operation command from the task command unit 16 and places various objects indicated by the blind spot object information 34 in the blind spot area EB at the target position D indicated by the operation command in the same manner as in the above embodiment.
  • the recommended trajectory information X ′ for avoiding and reaching is generated.
  • the interpolation unit 40D may interpolate the blind spot object information 34 based on the object arrangement information 21A corresponding to the scene in the peripheral information 32.
  • the information processing apparatus 10 of the present modification can more easily interpolate information about an object in the blind spot area EB.
  • the generation unit 10F generates the recommended trajectory information X ′ in the same manner as in the above-described embodiment. 'Can be generated.
  • the interpolation unit 40D interpolates the blind spot object information 34 using the object arrangement information 21A indicating the arrangement of the desks in the office. Then, the generation unit 10F can easily and quickly generate the recommended trajectory information X 'for traveling while avoiding these desks.
  • the interpolation unit 40D has interpolated the blind spot object information 34 using the object arrangement information 21A indicating the arrangement of desks in the store. Then, the generation unit 10F can easily and quickly generate the recommended trajectory information X 'for traveling while avoiding the object toward the place where the fee is paid, for example.
  • the interpolating unit 40D interpolates the blind spot object information 34 based on the object arrangement information 21A corresponding to the scene in the surrounding information 32. Therefore, not only the range that can be detected by the external sensor 11 but also the blind spot object information 34 of the blind spot area EB in the entire space where the external sensor 11 (the driving body 1) exists can be interpolated. Therefore, the generating unit 10F generates the recommended trajectory information X ′ using the blind spot object information 34, so that even if the target position D is a position separated from the current position of the driving body 1 by a threshold or more, the generating unit 10F 10F can generate recommended trajectory information X ′ at high speed.
  • the interpolating unit 40D interpolates the blind spot object information 34 based on the object arrangement information 21A corresponding to the scene in the surrounding information 32.
  • the interpolation unit 40D can reduce the processing amount and processing time for interpolation of the blind spot object information 34 by specifying the blind spot object information 34 complemented in the past.
  • FIG. 8 is an example of a functional block diagram of a driving body 1B of the present modified example.
  • the driving body 1B includes the information processing device 42, the external sensor 11, the internal sensor 12, the task command unit 16, the output unit 17, the drive control unit 18, the drive unit 19, and the storage unit 20. Prepare.
  • the external sensor 11, the internal sensor 12, the task command unit 16, the output unit 17, the drive control unit 18, the drive unit 19, and the storage unit 20 are the same as those in the above embodiment.
  • the information processing device 42 includes a control unit 42H.
  • the control unit 42H controls the information processing device 42.
  • the control unit 42H includes a deriving unit 10A, a mapping unit 42B, a specifying unit 10C, an interpolation unit 10D, a learning unit 10E, a generation unit 42F, and a prediction unit 42G.
  • the deriving unit 10A, the specifying unit 10C, the interpolating unit 10D, and the learning unit 10E are the same as in the above embodiment.
  • the prediction unit 42G predicts the operation of the target 30 using the recognition result of the target 30 indicated in the peripheral information 32.
  • the prediction unit 42G predicts the current operation and the future operation of the object 30 using the recognition result of the object 30 around the external sensor 11 indicated in the peripheral information 32.
  • the prediction unit 42G may predict the operation of the target 30 using a known method.
  • the prediction unit 42G outputs the prediction result of the operation of the target 30 to the mapping unit 42B and the generation unit 42F.
  • the mapping unit 42B generates the first map M1 by mapping the target 30 indicated in the peripheral information 32 derived by the deriving unit 10A in the horizontal direction, similarly to the above-described embodiment. In the present modification, the mapping unit 42B further provides the first map M1 with a prediction result of the motion of the target 30.
  • the generating unit 42F generates the recommended trajectory information X 'based on the peripheral information 32 and the blind spot object information 34, as in the above embodiment. In the present modification, the generation unit 42F further corrects the generated recommended trajectory information X 'using the prediction result of the prediction unit 42G.
  • the generation unit 42F corrects the recommended trajectory information X ′ so as to avoid the future position of the target 30 indicated in the prediction result of the prediction unit 42G.
  • the generation unit 42F can generate the recommended trajectory information X ′ that can be driven without touching the target 30 with high accuracy.
  • the prediction unit 42G predicts the operation of the target 30 indicated in the peripheral information 32.
  • the generation unit 42F corrects the recommended trajectory information X 'using the prediction result of the prediction unit 42G.
  • the information processing device 42 of the present modification can provide highly accurate recommended trajectory information X ′ in addition to the effects of the above embodiment.
  • the information processing device 42 recommends the blind spot object information 34 by interpolation.
  • the speed of generation of the trajectory information X ′ can be increased.
  • the generation unit 42F can generate recommended trajectory information X 'that avoids collision with the target 30, and can generate highly safe recommended trajectory information X'.
  • FIG. 9 is a hardware configuration diagram illustrating an example of a computer 1000 that implements the functions of the information processing apparatuses 10, 40, and 42 according to the above embodiment and modifications.
  • the computer 1000 has a CPU 1100, a RAM 1200, a read only memory (ROM) 1300, a hard disk drive (HDD) 1400, a communication interface 1500, and an input / output interface 1600. Each unit of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on a program stored in the ROM 1300 or the HDD 1400, and controls each unit. For example, the CPU 1100 loads a program stored in the ROM 1300 or the HDD 1400 into the RAM 1200, and executes processing corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 starts up, a program that depends on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium for non-temporarily recording a program executed by the CPU 1100 and data used by the program.
  • HDD 1400 is a recording medium for recording a program according to the present disclosure, which is an example of program data 1450, and the like.
  • the communication interface 1500 is an interface for the computer 1000 to connect to the external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device via the communication interface 1500 or transmits data generated by the CPU 1100 to another device.
  • the input / output interface 1600 is an interface for connecting the input / output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a keyboard and a mouse via the input / output interface 1600.
  • the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input / output interface 1600.
  • the input / output interface 1600 may function as a media interface that reads a program or the like recorded on a predetermined recording medium (media).
  • the medium is, for example, an optical recording medium such as a DVD (Digital Versatile Disc), a PD (Phase change rewritable Disk), a magneto-optical recording medium such as an MO (Magneto-Optical Disk), a tape medium, a magnetic recording medium, or a semiconductor memory. It is.
  • an optical recording medium such as a DVD (Digital Versatile Disc), a PD (Phase change rewritable Disk), a magneto-optical recording medium such as an MO (Magneto-Optical Disk), a tape medium, a magnetic recording medium, or a semiconductor memory. It is.
  • the CPU 1100 of the computer 1000 executes the information processing program loaded on the RAM 1200 to realize the functions of the extraction unit 18C and the like. I do.
  • the HDD 1400 stores an information processing program according to the present disclosure and data in the storage unit 20 and the storage unit 21. Note that the CPU 1100 reads and executes the program data 1450 from the HDD 1400. However, as another example, the CPU 1100 may acquire these programs from another device via the external network 1550.
  • an interpolation unit that interpolates the blind spot object information on the object in the blind spot area
  • An information processing apparatus comprising: (2) The interpolating unit, Interpolating the blind spot object information using the surrounding information and a learning model for deriving the blind spot object information from the surrounding information, The information processing device according to (1).
  • the interpolating unit Using the learning model for deriving one or a plurality of the blind spot object information from a group of a plurality of the peripheral information in a time series and a group of the plurality of the peripheral information in a time series, using the blind spot object information, Interpolate, The information processing device according to (3).
  • the interpolating unit Corresponding to the scene of the surrounding information, based on the object arrangement information indicating the arrangement of the object, to interpolate the blind spot object information, The information processing apparatus according to any one of (1) to (3).
  • a deriving unit that derives the peripheral information indicating a recognition result of a target around the external sensor based on a detection result of the external sensor,
  • the interpolating unit Based on the derived peripheral information, interpolate the blind spot object information regarding the object in the blind spot area of the external sensor,
  • the information processing device according to any one of (1) to (5).
  • the information processing device wherein the external sensor is a vision sensor.
  • the interpolating unit, The blind spot object information is corrected using a detection result of a detection unit that directly detects the blind spot area, The information processing device according to any one of (1) to (7).
  • the interpolating unit, The blind spot object information is corrected using input information received by a user's operation instruction, The information processing device according to any one of (1) to (8).
  • the interpolating unit Correcting the position of the object indicated by the blind spot object information according to the direction of gravity of the surrounding information, The information processing apparatus according to any one of (1) to (9).
  • a generating unit that generates recommended trajectory information based on the peripheral information and the blind spot object information, The information processing apparatus according to any one of (1) to (10).
  • the generation unit includes: Based on the surrounding information and the blind spot object information, at least one of a recommended traveling route of a driving body equipped with an information processing device, an operation trajectory of the driving body, and an operation trajectory for gripping a specific object.
  • the generation unit includes: Generating the recommended trajectory information according to the peripheral information, the blind spot object information, and the reliability of the blind spot object information, The information processing device according to (11) or (12).
  • the generation unit includes: Using the prediction result of the prediction unit, correct the recommended trajectory information, The information processing apparatus according to any one of (11) to (13).
  • (15) Computer Based on the peripheral information, interpolate the blind spot object information on the object in the blind spot area, Information processing method. (16) On the computer, A program for executing a step of interpolating blind spot object information relating to an object in a blind spot area based on peripheral information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

情報処理装置（１０）は、補間部（１０Ｄ）を備える。補間部（１０Ｄ）は、周辺情報（３２）に基づいて、死角領域（ＥＢ）の物体に関する死角物体情報（３４）を補間する。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　ロボットや車両などの駆動体には、センサによって検出されない死角領域が存在する場合がある。そこで、死角内の物体を検出するための死角センサを付加し、センサ検出範囲を補うことで、死角領域内の物体を検出する技術が知られている（例えば、特許文献１、特許文献２）。
特開２０１５－９２３４８号公報 特表２０１５－５１８１８８号公報
　しかしながら、従来技術では、死角内の物体を検出するための死角センサを別途取り付ける必要があり、容易に死角領域内の物体に関する情報を補間することは困難であった。
　そこで、本開示では、容易に死角領域内の物体に関する情報を補間することができる、情報処理装置、情報処理方法、およびプログラムを提案する。
　上記の課題を解決するために、本開示に係る一形態の情報処理装置は、周辺情報に基づいて、死角領域の物体に関する死角物体情報を補間する補間部、を備える。
　本開示によれば、容易に死角領域内の物体に関する情報を補間することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示の実施形態の駆動体の一例を示す図である。 本開示の駆動体の機能ブロック図である。 本開示の第１マップの一例を示す模式図である。 本開示の死角領域の一例を示す説明図である。 本開示の死角物体情報の補間の一例の説明図である。 本開示の死角物体情報の補間の一例の説明図である。 本開示の第２マップの一例を示す模式図である。 本開示の推奨軌道情報の生成の一例を示す説明図である。 本開示の推奨軌道情報の他の例を示す説明図である。 本開示の情報処理の手順の一例を示すフローチャートである。 本開示の変形例２の駆動体の機能ブロック図である。 本開示の変形例３の情報処理の説明図である。 本開示の変形例３の情報処理の説明図である。 本開示の変形例３の情報処理の説明図である。 本開示の変形例３の情報処理の説明図である。 本開示の変形例３の情報処理の説明図である。 本開示の変形例４の駆動体の機能ブロック図である。 本開示の情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
［実施形態に係る駆動体の構成］
　図１は、本実施形態の駆動体１の一例を示す図である。
　駆動体１は、少なくとも一部が駆動する物体である。駆動とは、駆動体１本体の位置移動による走行、駆動体１の一部の動作、などを示す。駆動体１の一部の動作とは、駆動体１に設けられた少なくとも一部の部位の動作や、該一部の部位の動作による他の物体の把持などを示す。駆動体１の一部の動作には、駆動体１本体の位置移動が含まれていてもよいし、駆動体１の本体の位置固定であってもよい。すなわち、駆動体１の駆動とは、駆動体１の走行、位置固定の駆動体１の動作、および他の物体の把持、の少なくとも１つを示す。
　本実施形態では、駆動体１の駆動は、駆動体１の走行を示す場合を一例として説明する。
　駆動体１は、例えば、ロボット、車両（自動二輪車、自動四輪車、自転車）、台車、船舶、飛翔体（飛行機、無人航空機（ＵＡＶ：Ｕｎｍａｎｎｅｄ　Ａｅｒｉａｌ　Ｖｅｈｉｃｌｅ）、ドローンなど）、等である。駆動体１は、人による操作に応じて駆動する駆動体や、人による操作を介さずに自動的に駆動（自律駆動）可能な駆動体である。自律駆動可能な駆動体は、例えば、自動運転車両や、自律駆動ロボットなどである。本実施形態の駆動体１は、自律駆動可能なロボットである場合を一例として説明する。
　駆動体１は、情報処理装置１０と、外界センサ１１と、アーム部２３と、を備える。なお、駆動体１は、少なくとも情報処理装置１０と外界センサ１１とを備えた構成であればよい。また、情報処理装置１０と外界センサ１１とを一体的に構成してもよい。
　情報処理装置１０は、例えば、専用または汎用コンピュータである。本実施形態では、情報処理装置１０が、駆動体１に搭載されている場合を一例として説明する。なお、情報処理装置１０は、駆動体１に搭載された形態に限定されない。情報処理装置１０は、駆動部位を有さない静止物に搭載されていてもよい。静止物は、例えば、建物、道路、歩道、障害物、立体物、駐車車両、道路標識、などである。また、情報処理装置１０は、クラウド上で処理を実行するクラウドサーバに搭載されていてもよい。
　外界センサ１１は、外界を検出した検出結果を取得する。外界センサ１１は、外界センサ１１の周囲の環境を検出する。外界センサ１１の周囲とは、外界センサ１１の周辺の、外界センサ１１によって検出可能な領域を示す。
　外界センサ１１は、外界センサ１１の周辺の環境を検出可能な機器であればよい。周辺の環境は、外界センサ１１の周辺の温度、湿度、音、光、対象３０などによって表される。
　対象３０は、外界センサ１１の外界に存在し、外界センサ１１によって観測可能な物である。対象３０は、移動体、静止物、の何れであってもよい。また、対象３０は、外界センサ１１の搭載された駆動体１とは異なる、他の駆動体１であってもよい。また、対象３０は、生物および非生物の何れであってもよい。非生物は、例えば、車両や飛行可能な物体、ロボット、建物、車両、車道や歩道等の路面、障害物などである。障害物とは、駆動体１の駆動を妨げる物体である。
　外界センサ１１は、例えば、ビジョンセンサや、距離センサ（ミリ波レーダ、レーザセンサ）、音波センサ、温度センサ、湿度センサ、などである。外界センサ１１は、これらの２つ以上を組み合わせたものであってもよい。
　ビジョンセンサは、撮影によって撮影画像データ（以下、撮影画像と称する）を得る。撮影画像データは、画素ごとに画素値を規定したデジタル画像データや、画素毎に外界センサ１１からの距離を規定したデプスマップなどである。レーザセンサは、例えば、水平面に対して平行に設置された二次元ＬＩＤＡＲ（Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）センサや、三次元ＬＩＤＡＲセンサである。
　本実施形態では、外界センサ１１が、ビジョンセンサである場合を一例として説明する。
　本実施形態では、外界センサ１１は、駆動体１に搭載されている。このため、外界センサ１１は、駆動体１の周囲を検出する。例えば、駆動体１が移動方向（矢印Ｘ方向）に移動すると想定する。外界センサ１１は、駆動体１の移動に伴い外界センサ１１の周囲の対象３０を検出し、検出結果を順次取得する。
　例えば、外界センサ１１は、外界センサ１１の周囲の対象３０として、対象３０Ａおよび対象３０Ｂを検出する。このとき、外界センサ１１は、対象３０における、外界センサ１１（駆動体１）に向かい合う側の面を検出することとなる。
　外界センサ１１がビジョンセンサやレーザセンサなどの光学センサであると想定する。この場合、外界センサ１１は、対象３０の反射光を受光することで、対象３０における外界センサ１１側の面の外形に沿った複数の検知点の群からなる、検出結果を得る。外界センサ１１がビジョンセンサである場合、検知点は、画素に相当する。すなわち、外界センサ１１がビジョンセンサの場合、外界センサ１１は、外界センサ１１の周囲の対象３０の撮影画像を、検出結果として取得する。なお、外界センサ１１が音波センサや光を用いた温度センサである場合についても、外界センサ１１は、対象３０で反射した音や光を受信することで、対象３０における外界センサ１１側の面の外形に沿った複数の検知点の群からなる、検出結果を得る。
　次に、アーム部２３について説明する。アーム部２３は、伸縮駆動の可能な駆動部材である。アーム部２３の長手方向の一端部は駆動体１に固定されている。アーム部２３の長手方向の他端部は、各種物体などを把持可能な構成となっている。すなわち、アーム部２３は、人の腕と同様の機能を有するように生成された遠隔操作機械である。なお、アーム部２３は、マジックハンドと称される場合もある。アーム部２３の先端部には、検知部１４が設けられている。検知部１４は、外界センサ１１と同様の機能を有する。
　なお、駆動体１は、アーム部２３および検知部１４を備えない構成であってもよい。本実施形態では、駆動体１が、アーム部２３および検知部１４を備えた構成である場合を、一例として説明する。
［実施形態に係る駆動体の機能構成］
　図２は、駆動体１の機能ブロック図の一例である。
　駆動体１は、情報処理装置１０と、外界センサ１１と、内界センサ１２と、駆動制御部１３と、検知部１４と、入力部１５と、タスク指令部１６と、出力部１７と、駆動制御部１８と、駆動部１９と、記憶部２０と、を備える。外界センサ１１、内界センサ１２、駆動制御部１３、検知部１４、入力部１５、タスク指令部１６、出力部１７、駆動制御部１８、および記憶部２０と、情報処理装置１０とは、データや信号を授受可能に接続されている。
　内界センサ１２は、駆動体１自体の情報を観測するセンサである。例えば、内界センサ１２は、駆動体１の位置を示す位置情報を取得する。具体的には、内界センサ１２は、慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ）、速度センサ、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）等である。駆動体１の位置情報は、例えば、ワールド座標（世界座標）によって表される。なお、内界センサ１２としてＧＰＳを用いることで、重力方向を検出することもできる。
　駆動制御部１３は、アーム部２３の駆動を制御する。
　入力部１５は、ユーザによる各種入力を受付ける。入力部１５は、キーボード、タッチパネル、ポインティングデバイス、マウス、入力ボタンなどである。
　出力部１７は、各種情報を出力する。出力部１７は、例えば、表示機能、音声出力機能、通信機能、の少なくとも１つを備える。表示機能は、各種情報を表示するディスプレイである。表示機能は、例えば、公知のＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）や有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどである。音声出力機能は、例えば、スピーカである。通信機能は、例えば、ネットワークを介して外部装置と通信する通信インターフェースである。
　タスク指令部１６は、駆動体１に対する動作指令を生成する機能部である。動作指令は、駆動体１に目的とするタスクを遂行させるための指示情報である。動作指令は、具体的には、駆動体１の目標位置、目標速度、目標荷重、目標タスク、目標姿勢、などを示す。タスク指令部１６は、駆動体１に予め搭載されたアプリケーション等に従って動作し、外界センサ１１や内界センサ１２の検出結果などに応じて、動作指令を出力する。
　駆動制御部１８は、駆動部１９を制御する。駆動部１９は、駆動体１の駆動可能な各部位を駆動させる。駆動制御部１８は、タスク指令部１６から出力された動作指令等に応じて、駆動部１９を制御する。駆動部１９は、駆動制御部１８の制御によって駆動する。
　例えば、駆動制御部１８は、タスク指令部１６から出力された動作指令や、情報処理装置１０から出力された推奨軌道情報（詳細後述）などに基づいて、周辺の状況を判断し、加速度、角速度、進行方向、動作方向、把持位置、把持強度、などの様々な制御を行う。例えば、駆動制御部１８は、情報処理装置１０から出力された推奨軌道情報に示される推奨軌道に沿って動作するように駆動部１９を制御することで、加速度、角速度、進行方向、動作方向、把持強度などを制御する。
　次に、記憶部２０について説明する。記憶部２０は、各種データを記憶する。本実施形態では、記憶部２０は、学習モデル２０Ａと、教師ＤＢ２０Ｂと、を記憶する。学習モデル２０Ａおよび教師ＤＢ２０Ｂの詳細は後述する。
　記憶部２０は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。なお、記憶部２０は、駆動体１の外部に設けられていてもよい。具体的には、記憶部２０は、ネットワークを介して情報処理装置１０に接続されたクラウドサーバに設けてもよい。
　次に、情報処理装置１０について説明する。情報処理装置１０Ｇは、制御部１０Ｈを備える。
　なお、情報処理装置１０は、記憶部２０、外界センサ１１、内界センサ１２、駆動制御部１３、検知部１４、入力部１５、タスク指令部１６、出力部１７、および駆動制御部１８の少なくとも１つを更に備えた構成であってもよい。
　制御部１０Ｈは、情報処理装置１０を制御する。
　制御部１０Ｈは、導出部１０Ａと、マッピング部１０Ｂと、特定部１０Ｃと、補間部１０Ｄと、学習部１０Ｅと、生成部１０Ｆと、を備える。導出部１０Ａ、マッピング部１０Ｂ、特定部１０Ｃ、補間部１０Ｄ、学習部１０Ｅ、および生成部１０Ｆの一部またはすべては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
　導出部１０Ａは、外界センサ１１の検出結果に基づいて、周辺情報を導出する。周辺情報は、外界センサ１１の周辺の対象３０の認識結果を示す情報である。対象３０の認識結果は、対象３０の形状、大きさ、外界センサ１１との距離、動き、種類、などを含む。なお、周辺情報は、外界センサ１１の周辺の温度や湿度などの環境情報を更に含んでいてもよい。対象３０の種類は、例えば、人の種類、物の種類、動物の種類などである。人の種類は、人を予め定めた規則に沿って複数のグループに分類し、各グループを示す名称であればよい。人の種類は、例えば、大人、子供、女性、男性、などであるが、これらに限定されない。物の種類は、物を予め定めた規則に沿って複数のグループに分類し、各グループを示す名称であればよい。物の種類は、例えば、自動車、二輪車、トラック、などであるが、これらに限定されない。
　上述したように、外界センサ１１の検出結果は、外界センサ１１（駆動体１）の周囲の対象３０における、外界センサ１１側の面の外形に沿った複数の検知点の群からなる。導出部１０Ａは、検出結果を公知の方法で解析することで、外界センサ１１の周辺の対象３０の形状、大きさ、外界センサ１１と対象３０との距離、対象３０の動き、対象３０の種類、などの周辺情報を導出すればよい。
　マッピング部１０Ｂは、導出部１０Ａで導出された周辺情報に示される対象３０を水平方向にマッピングすることで、マップを生成する。詳細には、マッピング部１０Ｂは、第１マップおよび第２マップを生成する。第１マップおよび第２マップは、導出部１０Ａで導出された周辺情報に示される対象３０を、水平方向に二次元にマッピングした二次元マップである。第２マップは、第１マップに更に死角物体情報をマッピングしたマップである。死角物体情報の詳細は後述する。
　なお、第１マップおよび第２マップは、対象３０を、水平方向および垂直方向に三次元にマッピングした三次元マップであってもよい。本実施形態では、第１マップおよび第２マップが、二次元マップである場合を一例として説明する。
　図３Ａは、第１マップＭ１の一例を示す模式図である。なお、マッピング部１０Ｂが生成するマップを総称して説明する場合には、単に、マップＭと称して説明する。また、第２マップについては後述する。
　マッピング部１０Ｂは、二次元平面を複数のグリッドに分割したマップＭを用意する。そして、マッピング部１０Ｂは、導出部１０Ａで導出された周辺情報に示される対象３０の認識結果を、マップＭにおける対応する位置のグリッドにあてはめることで、第１マップＭ１を生成する。また、マッピング部１０Ｂは、内界センサ１２から受付けた位置情報を、駆動体１の現在位置として、マップＭの対応する位置のグリッドにあてはめる。これらの処理により、マッピング部１０Ｂは、例えば、図３Ａに示す第１マップＭ１を生成する。
　なお、周辺情報に示される対象３０の認識結果と、マップＭとは、同じ次元であってもよいし、異なる次元であってもよい。例えば、認識結果は３次元で表され、マップＭは二次元で表してもよい。マッピング部１０Ｂは、認識結果とマップＭとの次元が異なる場合、公知の方法を用いて認識結果の次元をマップＭの次元と一致させた後に、マッピングすればよい。
　ここで、上述したように、導出部１０Ａが外界センサ１１から取得する検出結果は、対象３０における外界センサ１１側の面の外形に沿った複数の検知点の群からなる。このため、導出部１０Ａが導出した周辺情報に示される対象３０の情報は、駆動体１の現在位置から特定可能な範囲の情報に限定される。
　このため、図３Ａに示すように、第１マップＭ１には、対象３０における外界センサ１１側（駆動体１側）の面の外形に沿った領域が、対象３０の占有領域としてマッピングされる。すなわち、第１マップＭ１における、対象３０より駆動体１に近い側の領域は、外界センサ１１の検出可能領域Ｅ１であるといえる。一方、第１マップＭ１における、対象３０より駆動体１から遠い側の領域は、外界センサ１１の検出不可能領域Ｅ２であるといえる。
　図２に戻り説明を続ける。マッピング部１０Ｂは、第１マップＭ１を特定部１０Ｃへ出力する。
　特定部１０Ｃは、外界センサ１１の死角領域を特定する。本実施形態では、特定部１０Ｃは、マッピング部１０Ｂから受付けた第１マップＭ１と、タスク指令部１６から受付けた動作指令と、を用いて、死角領域を特定する。
　図３Ｂは、死角領域ＥＢ特定の一例を示す説明図である。本実施形態では、特定部１０Ｃは、検出不可能領域Ｅ２内で、且つ、動作指令に示されるタスクを遂行するために、対象３０に関する情報の必要な領域を、死角領域として特定する。
　例えば、本実施形態では、特定部１０Ｃは、第１マップＭ１における、検出可能領域Ｅ１内の予定軌道Ｘ（Ｘ１、Ｘ２）と、対象３０によって形成された検出不可能領域Ｅ２と、動作指令に示される目標位置Ｄと、を特定する。予定軌道Ｘは、検出可能領域Ｅ１内における、駆動体１が目標位置Ｄに向かって走行するときに取りうる軌道である。特定部１０Ｃは、駆動体１の現在位置と目標位置Ｄの位置などを用いて、公知の方法で、予定軌道Ｘを導出すればよい。
　そして、特定部１０Ｃは、検出不可能領域Ｅ２内における、駆動体１が目標位置Ｄに向かって走行した場合にたどる予定軌道の生成のために死角となっている領域を、死角領域ＥＢとして特定する。
　なお、特定部１０Ｃは、検出不可能領域Ｅ２全体を、死角領域ＥＢとして特定してもよい。本実施形態では、検出不可能領域Ｅ２における、目標位置Ｄを含む少なくとも一部の領域を、死角領域ＥＢとして特定する場合を一例として説明する。
　図２に戻り説明を続ける、特定部１０Ｃは、特定した死角領域ＥＢと、マッピング部１０Ｂから受付けた第１マップＭ１と、を補間部１０Ｄへ出力する。
　補間部１０Ｄは、周辺情報に基づいて、死角領域ＥＢの物体に関する死角物体情報を補間する。
　死角物体情報とは、死角領域ＥＢの物体に関する情報である。詳細には、死角物体情報は、死角領域ＥＢに含まれる又は死角領域ＥＢを構成する、物体の位置、物体の大きさ、物体の範囲、物体の種類、外界センサ１１から物体までの距離、の少なくとも１つを示す。
　本実施形態では、補間部１０Ｄは、特定部１０Ｃから死角領域ＥＢを受付ける。また、補間部１０Ｄは、特定部１０Ｃから第１マップＭ１を受付けることで、マップＭとマップＭ上にマッピングされた対象３０の認識結果を示す周辺情報を受付ける。なお、情報処理装置１０目標位置Ｄは、導出部１０Ａから周辺情報を受付けてもよい。
　そして、補間部１０Ｄは、周辺情報と、学習モデル２０Ａと、を用いて、死角物体情報を補間する。
　学習モデル２０Ａは、周辺情報から死角物体情報を導出するためのモデルである。すなわち、学習モデル２０Ａは、周辺情報から死角領域ＥＢの物体に関する死角物体情報を導出するための、アプリケーションプログラムや識別器である。学習モデル２０Ａは、周辺情報を入力データとし、死角物体情報を出力データとする学習モデルである。言い換えると、学習モデル２０Ａは、周辺情報と死角物体情報との入出力関係をモデル化して算出可能とするためのアプリケーションプログラムである。なお、学習モデル２０Ａは、関数などの数式で表してもよい。
　本実施形態では、学習部１０Ｅは、教師ＤＢ２０Ｂを用いて学習モデル２０Ａを学習する。教師ＤＢ２０Ｂは、周辺情報と死角物体情報との対応を示す教師データを複数登録したデータベースである。なお、教師ＤＢ２０Ｂのデータ形式は、データベースに限定されない。
　学習部１０Ｅは、教師ＤＢ２０Ｂを用いて学習モデル２０Ａを学習する。なお、学習モデル２０Ａの学習には、公知の機械学習を用いればよい。例えば、学習部１０Ｅは、Ｄｅｅｐ　Ｌｅａｒｎｉｎｇなどのニューラルネット構造や、ＳＶＭ（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）や主成分分析などの機械学習のアルゴリズムを用いて、学習モデル２０Ａを学習すればよい。
　補間部１０Ｄは、学習部１０Ｅによって学習された学習モデル２０Ａを用いて、死角物体情報を導出する。
　図３Ｃおよび図３Ｄは、補間部１０Ｄによる死角物体情報３４の補間の一例の説明図である。例えば、図３Ｃに示すように、補間部１０Ｄは、導出部１０Ａから受付けた周辺情報３２を、学習モデル２０Ａへ導入する。この処理により、図３Ｄに示すように、補間部１０Ｄは、周辺情報３２から死角物体情報３４を導出する。すなわち、周辺情報３２における、周辺情報３２Ａから死角物体情報３４Ａが導出される。周辺情報３２Ａは、対象３０Ａに関する周辺情報３２である。死角物体情報３４Ａは、対象３０Ａによって形成された死角領域ＥＢの死角物体情報３４である。この導出処理により、補間部１０Ｄは、死角物体情報３４を補間する。
　なお、周辺情報３２の次元と、死角物体情報３４の次元と、は同じであってもよいし異なっていてもよい。例えば、周辺情報３２が三次元で表され、死角物体情報３４は二次元で表されてもよい。周辺情報３２と死角物体情報３４の次元が異なる場合、補間部１０Ｄは、公知の方法を用いて、これらの次元が一致するように変換処理を行えばよい。
　補間部１０Ｄは、補間した死角物体情報３４と、該死角物体情報３４の導出に用いた周辺情報３２と、の対応を新たな教師データとして教師ＤＢ２０Ｂへ登録する。学習部１０Ｅは、教師ＤＢ２０Ｂが更新されるごとに、学習モデル２０Ａを学習する。
　このため、学習部１０Ｅは、学習モデル２０Ａを適宜、最新の状態に更新することができる。また、学習部１０Ｅは、駆動体１を駆動させながら学習モデル２０Ａを学習することができる。このため、例えば、駆動体１が過去に通過した経路を再度走行する場合の、死角物体情報３４の補間速度の向上を図ることができる。また、学習部１０Ｅは、駆動体１の環境が変化した場合であっても、変化後の環境に対応可能な学習モデル２０Ａを、容易に学習することができる。また、過去に学習した学習モデル２０Ａを用いることで、過去の学習時と同様の環境に遭遇した場合、正確かつ高速に死角物体情報３４を補間することができる。
　また、補間部１０Ｄは、補間した死角物体情報３４を、マッピング部１０Ｂへ出力する。
　マッピング部１０Ｂは、補間部１０Ｄから受付けた死角物体情報３４を、第１マップＭ１へマッピングすることで、第２マップＭ２を生成する。
　図４Ａは、第２マップＭ２の一例を示す模式図である。マッピング部１０Ｂは、周辺情報３２を用いて生成した第１マップＭ１（図３Ｃ参照）に、該周辺情報３２を用いて補間された死角物体情報３４Ａによって示される物体に関する情報をマッピングする。死角物体情報３４Ａは、死角物体情報３４の一例である。死角物体情報３４Ａは、対象３０Ａに関する周辺情報３２Ａから補間された死角物体情報３４である。
　図４Ａには、一例として、死角物体情報３４Ａが、物体として車両を示す場合を一例として示した。補間部１０Ｄは、死角物体情報３４Ａに示される車両の位置、大きさ、範囲、および形状等の情報を、第１マップＭ１の対応するグリッドにマッピングすることで、第２マップＭ２を生成する（図４Ａ参照）。
　そして、マッピング部１０ＢＧは、第２マップＭ２を生成部１０Ｆへ出力する。
　図２に戻り説明を続ける。生成部１０Ｆは、周辺情報３２と死角物体情報３４とに基づいて、推奨軌道情報を生成する。
　図４Ｂは、推奨軌道情報の生成の一例を示す説明図である。推奨軌道情報Ｘ’は、外界センサ１１を搭載した駆動体１の推奨する軌道を示す情報である。具体的には、推奨軌道情報Ｘ’は、駆動体１の駆動によって生じる推奨軌道を示す情報である。上述したように、本実施形態では、駆動体１の駆動とは、駆動体１の走行を示す。このため、駆動体１の駆動が駆動体１の走行を示す場合には、推奨軌道情報は、駆動体１の推奨走行ルートを示す。
　図４Ｂには、一例として、推奨軌道情報Ｘ’が、駆動体１の推奨走行ルートを示す情報である場合を、一例として示した。生成部１０Ｆは、タスク指令部１６から動作指令を受付け、該動作指令に示される目標位置Ｄに向かって、死角領域ＥＢ内の各種の物体を避けて到達するための、推奨軌道情報Ｘ’を生成する。
　例えば、生成部１０Ｆは、検出可能領域Ｅ１内の予定軌道Ｘ（Ｘ１、Ｘ２）を通り、死角領域ＥＢ内の死角物体情報３４Ａによって示される物体を避けて目標位置Ｄへ到達するための、推奨軌道情報Ｘ’（Ｘ１、Ｘ２、Ｘ３、Ｘ４）を生成する。
　なお、生成部１０Ｆは、周辺情報３２と、死角物体情報３４と、該死角物体情報３４の信頼度と、に基づいて、推奨軌道情報Ｘ’を生成してもよい。
　図４Ｃは、推奨軌道情報Ｘ’生成の他の例を示す説明図である。生成部１０Ｆは、死角領域ＥＢ内における、死角物体情報３４によって示される物体の位置、大きさ、および範囲を特定する。そして、生成部１０Ｆは、該死角物体情報３４の信頼度を特定する。
　死角物体情報３４の信頼度は、死角物体情報３４によって示される物体の尤度を示す。生成部１０Ｆは、補間部１０Ｄから死角物体情報３４と共に信頼度を受付ければよい。補間部１０Ｄは、学習モデル２０Ａを用いて死角物体情報３４を導出するときに、死角物体情報３４と共に導出される該死角物体情報３４の尤度を、信頼度として出力すればよい。例えば、死角物体情報３４によって示される物体が、小型車である可能性と大型車である可能性が均衡している場合、低い尤度を示す信頼度が出力される。
　そして、マッピング部１０Ｂは、第２マップＭ２に死角物体情報３４の信頼度を付与し、生成部１０Ｆへ出力すればよい。
　生成部１０Ｆは、検出可能領域Ｅ１内の予定軌道Ｘ（Ｘ１、Ｘ２）を通り、死角領域ＥＢ内の死角物体情報３４によって示される物体を避けて目標位置Ｄへ到達するための、推奨軌道情報Ｘ’（Ｘ１、Ｘ２、Ｘ３、Ｘ４）を生成する。このとき、生成部１０Ｆは、死角物体情報３４によって示される物体の信頼度が低いほど、該物体の大きさを大きくなるように補正する。すなわち、生成部１０Ｆは、信頼度が低いほど、死角物体情報３４の認識誤差が大きいとみなし、死角物体情報３４によって示される物体の大きさが認識結果より大きいと判断する。
　例えば、生成部１０Ｆは、死角物体情報３４Ａによって示される物体に、補正領域３４’として補正領域３４Ａ’を付与する。生成部１０Ｆは、死角物体情報３４Ａの信頼度が低いほど、広い（占有範囲の大きい）補正領域３４Ａ’を付与する。そして、生成部１０Ｆは、死角物体情報３４Ａによって示される物体および補正領域３４Ａ’を避けて目標位置Ｄへ到達するための、推奨軌道情報Ｘ’を生成すればよい。
　すなわち、生成部１０Ｆは、死角物体情報３４によって示される物体の信頼度が低いほど、死角物体情報３４の認識誤差が大きいとみなし、該物体を大きく避けるように推奨軌道情報Ｘ’を生成する。
　図２に戻り説明を続ける。生成部１０Ｆは、生成した推奨軌道情報Ｘ’を、出力部１７へ出力する。
　出力部１７は、受付けた推奨軌道情報Ｘ’を出力する。例えば、出力部１７は、受付けた推奨軌道情報Ｘ’を表示する。このとき、出力部１７Ｂは、第２マップＭ２に推奨軌道情報Ｘ’を配置したマップ画像を表示してもよい。ユーザは、該マップ画像を視認することで、推奨軌道情報Ｘ’によって示される推奨軌道を容易に確認することができる。また、例えば、出力部１７は、受付けた推奨軌道情報Ｘ’を外部装置へ送信する。推奨軌道情報Ｘ’を受付けた外部装置は、該推奨軌道情報Ｘ’を各種処理に用いることができる。
　また、生成部１０Ｆは、推奨軌道情報Ｘ’を駆動制御部１８へ出力する。上述したように、駆動制御部１８は、駆動部１９を制御する。推奨軌道情報Ｘ’を受付けた駆動制御部１８は、該推奨軌道情報Ｘ’や、外界センサ１１や内界センサ１２から受付けた検出結果やタスク指令部１６から受付けた動作指令に基づいて、周辺の状況を判断し、加速度、角速度、進行方向、動作方向、把持位置、把持強度、などの様々な制御を行う。
　このため、駆動制御部１８は、目標位置Ｄまで死角領域ＥＢ内の物体を避けた走行を行うように、駆動体１を制御することができる。
　なお、あるタイミングでは死角領域ＥＢであった領域内の対象３０が、あるタイミングでは外界センサ１１によって検出される場合がある。この場合、マッピング部１０Ｂは、外界センサ１１によって検出された対象３０の信頼度が高くなるように、第２マップＭ２を補正してもよい。そして、生成部１０Ｆは、補正後の第２マップＭ２を用いて、推奨軌道情報Ｘ’を生成してもよい。
　この場合、情報処理装置１０は、外界センサ１１によって検出された領域について、信頼度が高くなるように第２マップＭ２を補正しながら、推奨軌道情報Ｘ’を変更することができる。
　なお、補間部１０Ｄは、死角領域ＥＢを直接検知する検知部１４の検知結果、ユーザの操作指示により受付けた入力情報、および、周辺情報３２の重力方向、の少なくとも一つを用いて、死角物体情報３４を補正してもよい。
　例えば、外界センサ１１が、透明物体を検出し難い種類の外界センサ１１や、特定の物体の検出性能の低い外界センサ１１である場合を想定する。具体的には、外界センサ１１が、ビジョンセンサであると想定する。この場合、周辺情報３２には、透明物体の検出結果が含まれない場合がある。このような場合であっても、補間部１０Ｄが、検知部１４の検知結果、入力情報、および、周辺情報３２の重力方向、の少なくとも一つを用いて死角物体情報３４を補正することで、高精度な死角物体情報３４を導出することができる。
　例えば、補間部１０Ｄは、学習モデル２０Ａを用いて導出した死角物体情報３４を、死角領域ＥＢを直接検知する検知部１４の検知結果を用いて補正する。
　この場合、補間部１０Ｄは、駆動制御部１３を制御することで、検知部１４を死角領域ＥＢ内に進入させるようにアーム部２３を制御する。なお、駆動制御部１３の制御は、駆動制御部１８が行ってもよい。そして、補間部１０Ｄは、検知部１４の検知結果を、死角領域ＥＢの検知結果として出力すればよい。検知部１４による死角領域ＥＢの検知結果は、該死角領域ＥＢ内の物体に関する情報である。なお、検知部１４は、上述したように、外界センサ１１と同様の機能を有するセンサであってもよいし、触覚センサや力覚センサであってもよい。
　補間部１０Ｄは、学習モデル２０Ａを用いて導出した死角物体情報３４と、検知部１４による死角領域ＥＢ内の物体に関する検知結果と、を比較し、不一致の部分については、検知部１４の検知結果を採用する。この処理により、補間部１０Ｄは、学習モデル２０Ａを用いて導出した死角物体情報３４を補正してもよい。
　また、マッピング部１０Ｂは、第１マップＭ１に、検知部１４による死角領域ＥＢ内の物体に関する検知結果を更にマッピングしてもよい。すなわち、マッピング部１０Ｂは、導出部１０Ａで導出された周辺情報３２と、検知部１４による死角領域ＥＢの検知結果と、をマッピングした第１マップＭ１を生成し、特定部１０Ｃへ出力してもよい。
　死角領域ＥＢを直接検知した検出結果を用いて死角物体情報３４を補正することで、補間部１０Ｄは、より高精度な死角物体情報３４を導出することができる。
　また、検知部１４が触覚センサや力覚センサである場合、検知部１４による検出結果を死角物体情報３４の補正に用いることで、補間部１０Ｄは、確度の高い死角物体情報３４に補正することができる。
　また、補間部１０Ｄは、死角物体情報３４を、ユーザの操作指示により受付けた入力情報を用いて補正してもよい。例えば、ユーザは、入力部１５を操作することで、死角物体情報３４を示す情報を入力する。補間部１０Ｄは、学習モデル２０Ａを用いて導出された死角物体情報３４を、ユーザによる入力部１５の操作によって入力された入力情報を用いて補正してもよい。
　この場合、ユーザの判断や知識を死角物体情報３４に反映させることができる。このため、ユーザの経験を駆動体１などのロボットに学習させることが可能となる。また、未知の環境で駆動体１を駆動させる場合に、ユーザの知識を利用することが可能となり、死角物体情報３４の補間をより高速に行うことができる。また、補間部１０Ｄの処理負荷の軽減を図ることができ、消費電力の低減や、処理時間の短縮や、情報処理装置１０の軽量化を図ることができる。
　また、補間部１０Ｄは、周辺情報３２の重力方向に応じて、死角物体情報３４によって示される物体の位置を補正してもよい。例えば、補間部１０Ｄは、内界センサ１２から重力方向を示す情報を取得し、周辺情報３２によって示される物体における重力方向を特定する。そして、補間部１０Ｄは、死角物体情報３４によって示される物体の、鉛直方向における位置を補正すればよい。
　これらの処理により、補間部１０Ｄは、死角領域ＥＢに含まれる物体について、鉛直方向の位置情報を含む死角物体情報３４を補間することができる。また、生成部１０Ｆは、該死角物体情報３４を用いて推奨軌道情報Ｘ’を生成することで、水平方向および鉛直方向の双方について、死角領域ＥＢ内の物体を避けて走行、動作、または該物体を把持する動作するように、推奨軌道情報Ｘ’を生成することができる。
　このため、補間部１０Ｄは、重力方向を示す情報を用いることにより、死角領域ＥＢ内における物体の存在位置をより正確に特定した死角物体情報３４を補間することができる。また、生成部１０Ｆは、該死角物体情報３４を用いることで、より高速に推奨軌道情報Ｘ’を生成することができる。
　また、生成部１０Ｆは、重力方向に応じた順に動作するように、推奨軌道情報Ｘ’を生成することができる。例えば、生成部１０Ｆは、重力方向に沿って、重力方向の下流側（鉛直方向の下流側。地面側）から上流側に向かって動作する軌道を示すように、推奨軌道情報Ｘ’を生成することができる。例えば、アーム部２３を用いて死角領域ＥＢ内の特定の物体を把持する場合を想定する。この場合、生成部１０Ｆは、地面側から反重力方向に向かって動作する軌道を示すように、推奨軌道情報Ｘ’を生成すればよい。この場合、例えば、生成部１０Ｆは、物体を探索して把持する動作をより高速に行うための推奨軌道情報Ｘ’を、生成することができる。
　なお、マッピング部１０Ｂは、第２マップＭ２に、重力方向を示す情報を付加してもよい。この場合、マッピング部１０Ｂは、内界センサ１２から重力方向を示す情報を取得し、第２マップＭ２に付与すればよい。
　また、生成部１０Ｆが、内界センサ１２から重力方向を示す情報を取得してもよい。この場合、生成部１０Ｆは、死角物体情報３４を用いて、水平方向および鉛直方向の双方について、死角領域ＥＢ内の物体を避けた動作を行うための推奨軌道情報Ｘ’を生成することができる。
［実施形態に係る情報処理手順］
　次に、情報処理装置１０が実行する情報処理の手順の一例を説明する。
　図５は、情報処理装置１０が実行する情報処理の手順の一例を示す、フローチャートである。
　まず、導出部１０Ａが、外界センサ１１から検出結果を取得する（ステップＳ１００）。導出部１０Ａは、取得した検出結果から周辺情報３２を導出する（ステップＳ１０２）。
　次に、特定部１０Ｃが、外界センサ１１の死角領域ＥＢを特定する（ステップＳ１０４）。
　次に、補間部１０Ｄが、ステップＳ１０２で導出された周辺情報３２に基づいて、ステップＳ１０４で特定された死角領域ＥＢの物体に関する死角物体情報３４を補間する（ステップＳ１０６）。
　次に、マッピング部１０Ｂは、ステップＳ１０６で補間された死角物体情報３４を第１マップＭ１へマッピングすることで、第２マップＭ２を生成する（ステップＳ１０８）。
　次に、生成部１０Ｆは、ステップＳ１０８で生成された第２マップＭ２に示される周辺情報３２と死角物体情報３４とに基づいて、推奨軌道情報Ｘ’を生成する（ステップＳ１１０）。
　そして、生成部１０Ｆは、ステップＳ１１０で生成した推奨軌道情報Ｘ’を、出力部１７へ出力する（ステップＳ１１２）。そして、本ルーチンを終了する。
　なお、駆動体１は、目標位置Ｄへ到達するまで、ステップＳ１００～ステップＳ１１２の処理を繰り返し実行すればよい。
　以上説明したように、本実施形態の情報処理装置１０は、補間部１０Ｄを備える。補間部１０Ｄは、周辺情報３２に基づいて、死角領域ＥＢの物体に関する死角物体情報３４を補間する。
　ここで、従来技術では、死角内の物体を検出するための死角センサを別途取り付け、センサ検出範囲を補うことで、死角領域内の物体を検出していた。このため、従来では、死角内の物体を検出するための死角センサを別途取り付ける必要があり、容易に死角領域ＥＢ内の物体を補間することは困難であった。また、従来では、センサの取り付け位置やセンサの種類が制限される場合があった。また、従来では、死角センサを別途取り付ける必要があるたため、コスト増加や、駆動体の重量増加を招く場合があった。また、死角センサを搭載することにより、駆動体の少なくとも一部の機能や機構が制限される場合があった。
　一方、本実施形態の情報処理装置１０は、周辺情報３２に基づいて、死角領域ＥＢの死角物体情報３４を補間する。
　従って、本実施形態の情報処理装置１０は、容易に死角領域ＥＢ内の物体に関する情報を補間することができる。
　また、本実施形態の情報処理装置１０では、死角センサを別途設ける事無く、周辺情報３２から死角物体情報３４を補間する。このため、本実施形態の情報処理装置１０は、死角センサを別途設ける必要がなく、上記効果に加えて、装置の簡易化を図ることができる。
　また、本実施形態の情報処理装置１０は、周辺情報３２に基づいて死角物体情報３４を補間するため、上記効果に加えて、外界センサ１１の設置位置や外界センサ１１の種類が制限されることを抑制することができる。
　また、本実施形態の情報処理装置１０は、上記効果に加えて、コスト増加の抑制、消費電力の抑制、重量増加の抑制を図ることができる。また、情報処理装置１０は、上記効果に加えて、駆動体１の機能や機構が制限される事を抑制することができる。
　また、本実施形態の情報処理装置１０は、周辺情報３２に基づいて死角物体情報３４を補完する。このため、本実施形態の情報処理装置１０は、該死角物体情報３４を用いて推奨軌道情報Ｘ’を生成することで、上記効果に加えて、駆動体１の迅速な駆動を支援することができる。
　また、補間部１０Ｄは、周辺情報３２と、周辺情報３２から死角物体情報３４を導出するための学習モデル２０Ａと、を用いて、死角物体情報３４を補間する。
　このため、本実施形態の情報処理装置１０は、上記効果に加えて、精度良く死角物体情報３４を補間することができる。
　また、本実施形態の情報処理装置１０は、学習部１０Ｅを備える。学習部１０Ｅは、周辺情報３２と死角物体情報３４との対応を示す複数の教師データを用いて、学習モデル２０Ａを学習する。適宜更新される教師データを用いて学習モデル２０Ａを学習することで、情報処理装置１０は、上記効果に加えて、精度良く死角物体情報３４を補間することができる。
　また、補間部１０Ｄは、駆動体１が過去に通過した経路を再度走行する場合の、死角物体情報３４の補間速度の向上を図ることができる。また、学習部１０Ｅは、駆動体１の環境が変化した場合であっても、変化後の環境に対応可能な学習モデル２０Ａを、容易に学習することができる。また、生成部１０Ｆが、過去に学習した学習モデル２０Ａを用いて導出された死角物体情報３４に基づいて推奨軌道情報Ｘ’を生成することで、過去の学習時と同様の環境に遭遇した場合であっても、正確かつ高速に推奨軌道情報Ｘ’を生成することができる。
　また、導出部１０Ａは、外界センサ１１の検出結果に基づいて、外界センサ１１の周辺の対象の認識結果を示す周辺情報３２を導出する。このため、本実施形態の情報処理装置１０は、外界センサ１１の周辺の変化に応じた周辺情報３２に基づいて、死角物体情報３４を補間することができる。
　外界センサ１１は、例えば、ビジョンセンサである。上述したように、本実施形態の情報処理装置１０は、周辺情報３２に基づいて死角物体情報３４を補間する。このため、外界センサ１１としてビジョンセンサを用いた場合であっても、死角物体情報３４を補間することができる。すなわち、本実施形態の情報処理装置１０は、高精度なセンサを外界センサ１１に用いることなく、死角物体情報３４を補間することができる。
　また、補間部１０Ｄは、死角物体情報３４を、死角領域ＥＢを直接検知する検知部１４の検知結果を用いて補正してもよい。この処理により、情報処理装置１０は、上記効果に加えて、更に精度良く死角物体情報３４を補間することができる。
　また、補間部１０Ｄは、死角物体情報３４を、ユーザの操作指示により受付けた入力情報を用いて補正してもよい。この処理により、情報処理装置１０は、上記効果に加えて、更に精度良く死角物体情報３４を補間することができる。
　また、補間部１０Ｄは、周辺情報３２の重力方向に応じて、死角物体情報３４によって示される物体の位置を補正してもよい。この場合、情報処理装置１０は、上記効果に加えて、詳細な死角物体情報３４を補間することができる。
　また、生成部１０Ｆは、周辺情報３２と死角物体情報３４とに基づいて、推奨軌道情報Ｘ’を生成する。
　ここで、従来技術では、センサや死角センサで物体を直接検出出来なかった場合、高速でスムーズな駆動を行うための推奨軌道情報を生成することは困難であった。また、従来技術では、センサや死角センサで物体を直接検出出来なかった場合、実際には存在する物体に応じた推奨軌道情報を生成することは困難であり、衝突等の危険が生じる場合があった。
　一方、本実施形態では、生成部１０Ｆは、周辺情報３２と死角物体情報３４とに基づいて、推奨軌道情報Ｘ’を生成する。このため、推奨軌道情報Ｘ’を駆動体１の駆動制御に用いることで、死角領域ＥＢについても精度良く駆動体１を駆動させることができる。また、推奨軌道情報Ｘ’を出力することで、死角領域ＥＢの物体を避けた駆動を行うための推奨軌道情報Ｘ’を外部装置やユーザに容易に提供することができる。
　また、生成部１０Ｆは、周辺情報３２と、死角物体情報３４と、死角物体情報３４の信頼度と、に応じて、推奨軌道情報Ｘ’を生成する。
　例えば、情報処理装置１０Ｇは、死角物体情報３４の信頼度が低いほど、死角物体情報３４によって示される物体の占める領域を大きくなるように補正し、推奨軌道情報Ｘ’を生成する。このため、情報処理装置１０は、上記効果に加えて、高精度な推奨軌道情報Ｘ’を生成することができる。例えば、死角物体情報３４の信頼度が低い場合であっても、生成部１０Ｆは、死角物体情報３４によって示される物体との衝突の危険性を低下させた推奨軌道情報Ｘ’を生成することができる。また、生成部１０Ｆは、死角物体情報３４の信頼度に応じた推奨軌道情報Ｘ’を生成するため、外界センサ１１のセンサの精度に拘らず、高精度な推奨軌道情報Ｘ’を生成することができる。
　また、情報処理装置１０は、外界センサ１１によって検出された領域について、信頼度が高くなるように第２マップＭ２を補正しながら、推奨軌道情報Ｘ’を変更することができる。このため、情報処理装置１０は、駆動体１を駆動させながら、推奨軌道情報Ｘ’の精度を徐々に高めていくことができる。このため、高精度な外界センサ１１で大量の情報を一度に処理する方法ではなく、最初は死角物体情報３４を用いて推奨軌道情報Ｘ’を生成し、追って外界センサ１１の検知結果により第２マップＭ２を補正しながら推奨軌道情報Ｘ’を変更することができる。このため、情報処理装置１０は、推奨軌道情報Ｘ’の生成処理の負荷分散を図ることができる。また、情報処理装置１０は、推奨軌道情報Ｘ’の生成時間の短縮を図ることができる。
［変形例１］
　なお、上記実施形態では、駆動体１の駆動は、駆動体１の走行を示す場合を一例として説明した。しかし、上述したように、駆動体１の駆動は、駆動体１の走行、位置固定の駆動体１の動作、および駆動体１による他の物体の把持、の少なくとも１つを示すものであればよい。
　駆動体１の駆動が、位置固定の駆動体１の動作を示すと想定する。この場合、生成部１０Ｆは、駆動体１のアーム部２３の動作軌道を示す推奨軌道情報Ｘ’を生成すればよい。すなわち、生成部１０Ｆは、死角領域ＥＢ内の物体を避けて目標位置Ｄへ到達するための動作軌道を示す、推奨軌道情報Ｘ’を生成すればよい。
　そして、上記実施形態と同様に、生成部１０Ｆは、該推奨軌道情報Ｘ’を駆動制御部１８へ出力する。駆動制御部１８は、該推奨軌道情報Ｘ’に基づいて駆動部１９を制御することで、死角領域ＥＢ内の物体を避けて目標位置Ｄへ到達するように、アーム部２３を制御することができる。
　なお、駆動体１には、アーム部２３以外の駆動可能な部位が設けられている場合がある。この場合、生成部１０Ｆは、これらの部位の少なくとも１つの動作軌道を示す推奨軌道情報Ｘ’を生成すればよい。
　また、駆動体１の駆動が、駆動体１による他の物体の把持を示すと想定する。この場合、生成部１０Ｆは、駆動体１のアーム部２３の動作軌道を示す推奨軌道情報Ｘ’を生成すればよい。すなわち、生成部１０Ｆは、死角領域ＥＢ内の特定の物体を把持するための動作軌道と、把持位置と、把持時の荷重などを示す、推奨軌道情報Ｘ’を生成すればよい。
　なお、生成部１０Ｆは、情報処理装置１０の搭載された駆動体１の推奨走行ルート、駆動体１に設けられたアーム部２３の動作軌道、および死角領域ＥＢ内の特定の物体を把持するための動作軌道、の少なくとも一つを示す推奨軌道情報Ｘ’を生成すればよい。
　このように、生成部１０Ｆは、周辺情報３２と死角物体情報３４とに基づいて、情報処理装置１０の搭載された駆動体１の推奨走行ルート、駆動体１に設けられたアーム部２３の動作軌道、および死角領域ＥＢ内の特定の物体を把持するための動作軌道、の少なくとも一つを示す推奨軌道情報Ｘ’を生成してもよい。
　そして、上記実施形態と同様に、生成部１０Ｆは、該推奨軌道情報Ｘ’を駆動制御部１８へ出力する。駆動制御部１８は、該推奨軌道情報Ｘ’に基づいて駆動部１９を制御することで、死角領域ＥＢ内の特定の物体に到達するようにアーム部２３を制御すると共に、該物体を把持するようにアーム部２３を制御することができる。
　このため、本変形例では、上記実施形態の効果に加えて、現在位置から目標位置Ｄまでの間に死角領域ＥＢが存在する場合であっても、本変形例の推奨軌道情報Ｘ’を用いることで、高速かつ安全に、駆動体１の走行、アーム部２３の移動、およびアーム部２３による物体の把持、を実現することができる。
［変形例２］
　なお、上記実施形態では、学習モデル２０Ａが、周辺情報３２から死角物体情報３４を導出するためのモデルである場合を説明した。そして、補間部１０Ｄは、周辺情報３２を学習モデル２０Ａへ導入することで、死角物体情報３４を導出する場合を一例として説明した。
　しかし、学習モデル２０Ａは、時系列の複数の周辺情報３２の群から１または複数の死角物体情報３４を導出するための学習モデル２０Ａ’（図２参照）であってもよい。この場合、学習部１０Ｅは、教師データとして、時系列の複数の周辺情報３２の群と、１または複数の死角物体情報３４と、の対応を示す教師データを予め用意すればよい。教師データにおける複数の死角物体情報３４は、同じ死角領域ＥＢの物体に関する情報であって、タイミングの異なる複数種類の死角物体情報３４であればよい。
　そして、学習部１０Ｅは、これらの教師データを用いて、公知の機械学習を用いて、学習モデル２０Ａ’を学習すればよい。
　そして、補間部１０Ｄは、導出部１０Ａで導出された時系列に連続する複数の周辺情報３２の群を、学習モデル２０Ａ’へ導入することで、死角物体情報３４を補間すればよい。
　このように、補間部１０Ｄは、時系列の複数の周辺情報３２の群と、時系列の複数の周辺情報３２の群から１または複数の死角物体情報３４を導出するための学習モデル２０Ａ’と、を用いて、死角物体情報３４を補間してもよい。
　このように、補間部１０Ｄが、学習モデル２０Ａ’を用いて死角物体情報３４を補間することで、情報処理装置１０は、未来のタイミングにおける死角物体情報３４や、時系列に沿って変化する死角物体情報３４を検出することができる。このため、情報処理装置１０は、該死角物体情報３４を用いて推奨軌道情報Ｘ’を生成することで、未来のタイミングにおける推奨軌道情報Ｘ’を事前に生成することが出来る。
［変形例３］
　上記実施形態では、補間部１０Ｄは、学習モデル２０Ａを用いて死角物体情報３４を補間する形態を説明した。しかし、補間部１０Ｄは、学習モデル２０Ａを用いずに、周辺情報３２から死角物体情報３４を補間してもよい。
［変形例３に係る駆動体の機能構成］
　図６は、本変形例の駆動体１Ａの機能ブロック図の一例である。
　駆動体１Ａは、情報処理装置４０と、外界センサ１１と、内界センサ１２と、駆動制御部１３と、検知部１４と、入力部１５と、タスク指令部１６と、出力部１７と、駆動制御部１８と、駆動部１９と、記憶部２１と、を備える。駆動体１Ａは、情報処理装置１０および記憶部２０に代えて、情報処理装置４０および記憶部２１を備える点以外は、上記実施形態の駆動体１と同様である。
　記憶部２１は、各種データを記憶する。記憶部２１は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。なお、記憶部２１は、駆動体１Ａの外部に設けられていてもよい。
　本変形例では、記憶部２１は、物体配置情報２１Ａを記憶する。物体配置情報２１Ａは、物体の配置を示す情報である。物体配置情報２１Ａに示される物体は、時間の経過に伴って位置が変化しない物体であることが好ましい。例えば、物体が建物内の柱や床である場合、物体配置情報２１Ａは、建物の構造を表す情報となる。本実施形態では、記憶部２１は、周辺情報３２のシーンごとに、各シーンに対応する物体配置情報２１Ａを予め記憶する。
　シーンとは、周辺情報３２によって表される実空間を示す情報である。情報処理装置４０では、実空間を、実空間に配置された物体の位置関係に応じて複数のシーンに分類する。そして、情報処理装置４０は、シーンの識別情報と、物体の配置を示す物体配置情報２１Ａと、を対応付けて予め記憶部２１に記憶すればよい。シーンは、例えば、教室、ビル群、特定の街、特定の領域における物（例えば机）や生物（例えば人）の特定の配置、などであるが、これらに限定されない。特定の領域は、例えば、ビル内の特定のフロアや、駅の構内などであるが、これらに限定されない。
　情報処理装置４０は、制御部４０Ｈを備える。制御部４０Ｈは、情報処理装置４０を制御する。制御部４０Ｈは、導出部１０Ａと、マッピング部１０Ｂと、特定部１０Ｃと、補間部４０Ｄと、生成部１０Ｆと、を備える。導出部１０Ａ、マッピング部１０Ｂ、特定部１０Ｃ、および生成部１０Ｆは、上記実施形態と同様である。
　補間部４０Ｄは、導出部１０Ａで導出された周辺情報３２のシーンに対応する、物体の配置を示す物体配置情報２１Ａに基づいて、死角物体情報３４を補間する。
　詳細には、補間部４０Ｄは、導出部１０Ａで導出された周辺情報３２のシーンを特定する。例えば、補間部４０Ｄは、周辺情報３２からシーンを導出するための学習モデルを用いて、周辺情報３２のシーンを特定する。この学習モデルは、補間部４０Ｄが公知の機械学習を用いて予め生成すればよい。
　そして、補間部４０Ｄは、特定したシーンに対応する物体配置情報２１Ａを記憶部２１から読取る。そして、補間部４０Ｄは、物体配置情報２１Ａにおける、特定部１０Ｃで特定された死角領域ＥＢとの重複領域を、死角物体情報３４として抽出することで、死角物体情報３４を補間すればよい。
　図７Ａ～図７Ｅは、本変形例の情報処理の説明図である。
　図７Ａは、第１マップＭ１０の一例を示す模式図である。上記実施形態と同様に、マッピング部１０Ｂは、導出部１０Ａで導出された周辺情報３２に示される対象３０の認識結果を、マップＭにおける対応する位置のグリッドにあてはめることで、第１マップＭ１０を生成する。また、マッピング部１０Ｂは、内界センサ１２から受付けた位置情報を、駆動体１の現在位置として、マップＭの対応する位置のグリッドにあてはめる。これらの処理により、マッピング部１０Ｂは、例えば、図７Ａに示す第１マップＭ１０を生成する。上記実施形態と同様に、第１マップＭ１０には、外界センサ１１の検出不可能領域Ｅ２と、外界センサ１１の検出可能領域Ｅ１と、が含まれる。
　そして、特定部１０Ｃは、上記実施形態と同様にして、外界センサ１１の死角領域ＥＢを特定する（図７Ｂ参照）。更に、特定部１０Ｃは、第１マップＭ１における、検出可能領域Ｅ１内の予定軌道Ｘ（Ｘ１１、Ｘ１２）と、検出不可能領域Ｅ２と、動作指令に示される目標位置Ｄと、を特定する。そして、特定部１０Ｃは、検出不可能領域Ｅ２内における、駆動体１が目標位置Ｄに向かって動作した場合にたどる予定軌道の生成のために死角となっている領域を、死角領域ＥＢとして特定する。なお、上記実施形態と同様に、特定部１０Ｃは、検出不可能領域Ｅ２を死角領域ＥＢとして特定してもよい。
　そして、補間部１０Ｄは、周辺情報３２に対応するシーンを特定し、該シーンの識別情報に対応する物体配置情報２１Ａを、記憶部２１から読取る。図７Ｃは、物体配置情報２１Ａの一例を示す模式図である。
　そして、図７Ｄに示すように、補間部１０Ｄは、物体配置情報２１Ａにおける、特定部１０Ｃで特定された死角領域ＥＢとの重複領域Ｐを、死角物体情報３４として抽出することで、死角物体情報３４を補間すればよい。そして、マッピング部１０Ｂは、死角物体情報３４のマッピングされた第２マップＭ２を、生成部１０Ｆへ出力する。
　生成部１０Ｆは、上記実施形態と同様にして、周辺情報３２と死角物体情報３４に基づいて、推奨軌道情報Ｘ’を生成する。
　図７Ｅは、推奨軌道情報Ｘ’の一例を示す説明図である。生成部１０Ｆは、上記実施形態と同様にして、タスク指令部１６から動作指令を受付け、該動作指令に示される目標位置Ｄに、死角領域ＥＢ内の死角物体情報３４によって示される各種の物体を避けて到達するための、推奨軌道情報Ｘ’を生成する。
　以上説明したように、補間部４０Ｄは、周辺情報３２のシーンに対応する物体配置情報２１Ａに基づいて、死角物体情報３４を補間してもよい。
　従って、本変形例の情報処理装置１０は、上記実施形態の効果に加えて、更に容易に、死角領域ＥＢ内の物体に関する情報を補間することができる。
　また、本変形例で補間した死角物体情報３４を用いて、生成部１０Ｆが上記実施形態と同様にして推奨軌道情報Ｘ’を生成することで、上記効果に加えて、高速に推奨軌道情報Ｘ’を生成することができる。
　例えば、オフィス内を、駆動体１としてのロボットが走行すると想定する。この場合、オフィス内における机の配置は、ほぼ定められている。そこで、補間部４０Ｄが、このオフィス内の机の配置を示す物体配置情報２１Ａを用いて死角物体情報３４を補間したと想定する。すると、生成部１０Ｆは、これらの机を避けながら走行するための推奨軌道情報Ｘ’を容易且つ高速に生成することができる。
　また、例えば、店舗内を、駆動体１としてのロボットが走行すると想定する。また、店舗内における特定の機能を有する場所（例えば、料金の支払場所）は、予め定められている場合が多い。そこで、補間部４０Ｄが、この店舗内の机の配置を示す物体配置情報２１Ａを用いて死角物体情報３４を補間したと想定する。すると、生成部１０Ｆは、例えば、料金の支払場所に向かって物体を避けながら走行するための推奨軌道情報Ｘ’を容易且つ高速に生成することができる。
　また、本変形例では、補間部４０Ｄが、周辺情報３２のシーンに対応する物体配置情報２１Ａに基づいて、死角物体情報３４を補間する。このため、外界センサ１１の検出可能な範囲のみではなく、外界センサ１１（駆動体１）の存在する空間全体の死角領域ＥＢの死角物体情報３４を補間することができる。このため、生成部１０Ｆが、この死角物体情報３４を用いて推奨軌道情報Ｘ’を生成することで、目標位置Ｄが駆動体１の現在位置から閾値以上離れた位置であっても、生成部１０Ｆは、高速に推奨軌道情報Ｘ’を生成することができる。
　また、本変形例では、補間部４０Ｄが、周辺情報３２のシーンに対応する物体配置情報２１Ａに基づいて、死角物体情報３４を補間する。ここで、過去に死角物体情報３４の補間に用いたシーンで、駆動体１を駆動させると想定する。この場合、補間部４０Ｄは、過去に補完した死角物体情報３４を特定することで、死角物体情報３４の補間のための処理量や処理時間の短縮を図ることができる。
［変形例４］
　上記実施形態では、生成部１０Ｆは、死角物体情報３４に応じて推奨軌道情報Ｘ’を生成する形態を説明した。本変形例では、生成部１０Ｆが、死角領域ＥＢの物体の動作を予測した予測結果を用いて、生成した推奨軌道情報Ｘ’を補正する形態を説明する。
［変形例４に係る駆動体の機能構成］
　図８は、本変形例の駆動体１Ｂの機能ブロック図の一例である。
　駆動体１Ｂは、情報処理装置４２と、外界センサ１１と、内界センサ１２と、タスク指令部１６と、出力部１７と、駆動制御部１８と、駆動部１９と、記憶部２０と、を備える。外界センサ１１、内界センサ１２、タスク指令部１６、出力部１７、駆動制御部１８、駆動部１９、および記憶部２０は、上記実施形態と同様である。　
　情報処理装置４２は、制御部４２Ｈを備える。制御部４２Ｈは、情報処理装置４２を制御する。制御部４２Ｈは、導出部１０Ａと、マッピング部４２Ｂと、特定部１０Ｃと、補間部１０Ｄと、学習部１０Ｅと、生成部４２Ｆと、予測部４２Ｇと、を備える。導出部１０Ａ、特定部１０Ｃ、補間部１０Ｄ、および学習部１０Ｅは、上記実施形態と同様である。
　予測部４２Ｇは、周辺情報３２に示される対象３０の認識結果を用いて、対象３０の動作を予測する。
　予測部４２Ｇは、周辺情報３２に示される、外界センサ１１の周辺の対象３０の認識結果を用いて、対象３０の現在の動作および未来の動作を予測する。予測部４２Ｇは、公知の方法を用いて、対象３０の動作を予測すればよい。
　予測部４２Ｇは、対象３０の動作の予測結果を、マッピング部４２Ｂおよび生成部４２Ｆへ出力する。
　マッピング部４２Ｂは、上記実施形態と同様に、導出部１０Ａで導出された周辺情報３２に示される対象３０を水平方向にマッピングすることで、第１マップＭ１を生成する。本変形例では、マッピング部４２Ｂは、該第１マップＭ１に、対象３０の動作の予測結果を更に付与する。
　生成部４２Ｆは、上記実施形態と同様に、周辺情報３２と死角物体情報３４とに基づいて、推奨軌道情報Ｘ’を生成する。本変形例では、生成部４２Ｆは、更に、生成した推奨軌道情報Ｘ’を、予測部４２Ｇの予測結果を用いて補正する。
　詳細には、生成部４２Ｆは、予測部４２Ｇの予測結果に示される対象３０の将来の位置を避けるように、推奨軌道情報Ｘ’を補正する。
　このため、本変形例では、生成部４２Ｆは、対象３０に接触せずに駆動可能な推奨軌道情報Ｘ’を、精度良く生成することができる。
　以上説明したように、本変形例では、予測部４２Ｇが、周辺情報３２に示される対象３０の動作を予測する。生成部４２Ｆは、予測部４２Ｇの予測結果を用いて、推奨軌道情報Ｘ’を補正する。
　このため、本変形例の情報処理装置４２は、上記実施形態の効果に加えて、高精度な推奨軌道情報Ｘ’を提供することができる。
　また、周辺情報３２に示される対象３０の動作を予測することで、対象３０が人や車両などの移動体である場合であっても、情報処理装置４２は、死角物体情報３４の補間による推奨軌道情報Ｘ’の生成の高速化を図ることができる。また、生成部４２Ｆは、対象３０との衝突を回避する推奨軌道情報Ｘ’を生成することが可能となり、安全性の高い推奨軌道情報Ｘ’を生成することができる。
　なお、上記には、本開示の実施形態および変形例を説明したが、上述した各実施形態および変形例に係る処理は、上記各実施形態および変形例以外にも種々の異なる形態にて実施されてよい。また、上述してきた各実施形態および変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
　また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
（ハードウェア構成）
　図９は、上記実施形態および変形例に係る情報処理装置１０、４０、４２の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。
　コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１３００、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）１４００、通信インターフェース１５００、及び入出力インターフェース１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ　Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係るプログラムなどを記録する記録媒体である。
　通信インターフェース１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェースである。例えば、ＣＰＵ１１００は、通信インターフェース１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信する。
　入出力インターフェース１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェースである。例えば、ＣＰＵ１１００は、入出力インターフェース１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェース１６００を介して、ディスプレイやスピーカやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェース１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、ＰＤ（Ｐｈａｓｅ　ｃｈａｎｇｅ　ｒｅｗｒｉｔａｂｌｅ　Ｄｉｓｋ）等の光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ　ｄｉｓｋ）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が第１の実施形態に係る情報処理装置１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、抽出部１８Ｃ等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る情報処理プログラムや、記憶部２０や記憶部２１内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　周辺情報に基づいて、死角領域の物体に関する死角物体情報を補間する補間部、
　を備える情報処理装置。
（２）
　前記補間部は、
　前記周辺情報と、前記周辺情報から前記死角物体情報を導出するための学習モデルと、を用いて、前記死角物体情報を補間する、
　前記（１）に記載の情報処理装置。
（３）
　前記周辺情報と前記死角物体情報との対応を示す複数の教師データを用いて、前記学習モデルを学習する学習部を備える、
　前記（２）に記載の情報処理装置。
（４）
　前記補間部は、
　時系列の複数の前記周辺情報の群と、時系列の複数の前記周辺情報の群から１または複数の前記死角物体情報を導出するための前記学習モデルと、を用いて、前記死角物体情報を補間する、
　前記（３）に記載の情報処理装置。
（５）
　前記補間部は、
　前記周辺情報のシーンに対応する、物体の配置を示す物体配置情報に基づいて、前記死角物体情報を補間する、
　前記（１）～（３）の何れか１つに記載の情報処理装置。
（６）
　外界センサの検出結果に基づいて、前記外界センサの周辺の対象の認識結果を示す前記周辺情報を導出する導出部を備え、
　前記補間部は、
　導出された前記周辺情報に基づいて、前記外界センサの前記死角領域の物体に関する前記死角物体情報を補間する、
　前記（１）～（５）の何れか１つに記載の情報処理装置。
（７）
　前記外界センサは、ビジョンセンサである、前記（６）に記載の情報処理装置。
（８）
　前記補間部は、
　前記死角物体情報を、前記死角領域を直接検知する検知部の検知結果を用いて補正する、
　前記（１）～（７）の何れか１つに記載の情報処理装置。
（９）
　前記補間部は、
　前記死角物体情報を、ユーザの操作指示により受付けた入力情報を用いて補正する、
　前記（１）～（８）の何れか１つに記載の情報処理装置。
（１０）
　前記補間部は、
　前記周辺情報の重力方向に応じて、前記死角物体情報によって示される物体の位置を補正する、
　前記（１）～（９）の何れか１つに記載の情報処理装置。
（１１）
　前記周辺情報と前記死角物体情報とに基づいて、推奨軌道情報を生成する生成部を備える、
　前記（１）～（１０）の何れか１つに記載の情報処理装置。
（１２）
　前記生成部は、
　前記周辺情報と前記死角物体情報とに基づいて、情報処理装置の搭載された駆動体の推奨走行ルート、前記駆動体の動作軌道、および特定の物体を把持するための動作軌道、の少なくとも一つを示す前記推奨軌道情報を生成する、
　前記（１１）に記載の情報処理装置。
（１３）
　前記生成部は、
　前記周辺情報と、前記死角物体情報と、前記死角物体情報の信頼度と、に応じて、前記推奨軌道情報を生成する、
　前記（１１）または（１２）に記載の情報処理装置。
（１４）
　前記周辺情報に示される対象の動作を予測する予測部を備え、
　前記生成部は、
　前記予測部の予測結果を用いて、前記推奨軌道情報を補正する、
　前記（１１）～（１３）の何れか１つに記載の情報処理装置。
（１５）
　コンピュータが、
　周辺情報に基づいて、死角領域の物体に関する死角物体情報を補間する、
　情報処理方法。
（１６）
　コンピュータに、
　周辺情報に基づいて、死角領域の物体に関する死角物体情報を補間するステップを実行させるための、プログラム。
　１０、４０、４２　情報処理装置
　１０Ａ　導出部
　１０Ｃ　特定部
　１０Ｄ、４０Ｄ　補間部
　１０Ｅ　学習部
　１０Ｆ、４２Ｆ　生成部
　１１　外界センサ
　１４　検知部
　４２Ｇ　予測部

Claims (16)

  1. 　周辺情報に基づいて、死角領域の物体に関する死角物体情報を補間する補間部、
    　を備える情報処理装置。
  2. 　前記補間部は、
    　前記周辺情報と、前記周辺情報から前記死角物体情報を導出するための学習モデルと、を用いて、前記死角物体情報を補間する、
    　請求項１に記載の情報処理装置。
  3. 　前記周辺情報と前記死角物体情報との対応を示す複数の教師データを用いて、前記学習モデルを学習する学習部を備える、
    　請求項２に記載の情報処理装置。
  4. 　前記補間部は、
    　時系列の複数の前記周辺情報の群と、時系列の複数の前記周辺情報の群から１または複数の前記死角物体情報を導出するための前記学習モデルと、を用いて、前記死角物体情報を補間する、
    　請求項３に記載の情報処理装置。
  5. 　前記補間部は、
    　前記周辺情報のシーンに対応する、物体の配置を示す物体配置情報に基づいて、前記死角物体情報を補間する、
    　請求項１～請求項３の何れか１項に記載の情報処理装置。
  6. 　外界センサの検出結果に基づいて、前記外界センサの周辺の対象の認識結果を示す前記周辺情報を導出する導出部を備え、
    　前記補間部は、
    　導出された前記周辺情報に基づいて、前記外界センサの前記死角領域の物体に関する前記死角物体情報を補間する、
    　請求項１～請求項５の何れか１項に記載の情報処理装置。
  7. 　前記外界センサは、ビジョンセンサである、請求項６に記載の情報処理装置。
  8. 　前記補間部は、
    　前記死角物体情報を、前記死角領域を直接検知する検知部の検知結果を用いて補正する、
    　請求項１～請求項７の何れか１項に記載の情報処理装置。
  9. 　前記補間部は、
    　前記死角物体情報を、ユーザの操作指示により受付けた入力情報を用いて補正する、
    　請求項１～請求項８の何れか１項に記載の情報処理装置。
  10. 　前記補間部は、
    　前記周辺情報の重力方向に応じて、前記死角物体情報によって示される物体の位置を補正する、
    　請求項１～請求項９の何れか１項に記載の情報処理装置。
  11. 　前記周辺情報と前記死角物体情報とに基づいて、推奨軌道情報を生成する生成部を備える、
    　請求項１～請求項１０の何れか１項に記載の情報処理装置。
  12. 　前記生成部は、
    　前記周辺情報と前記死角物体情報とに基づいて、情報処理装置の搭載された駆動体の推奨走行ルート、前記駆動体の動作軌道、および特定の物体を把持するための動作軌道、の少なくとも一つを示す前記推奨軌道情報を生成する、
    　請求項１１に記載の情報処理装置。
  13. 　前記生成部は、
    　前記周辺情報と、前記死角物体情報と、前記死角物体情報の信頼度と、に応じて、前記推奨軌道情報を生成する、
    　請求項１１または請求項１２に記載の情報処理装置。
  14. 　前記周辺情報に示される対象の動作を予測する予測部を備え、
    　前記生成部は、
    　前記予測部の予測結果を用いて、前記推奨軌道情報を補正する、
    　請求項１１～請求項１３の何れか１項に記載の情報処理装置。
  15. 　コンピュータが、
    　周辺情報に基づいて、死角領域の物体に関する死角物体情報を補間する、
    　情報処理方法。
  16. 　コンピュータに、
    　周辺情報に基づいて、死角領域の物体に関する死角物体情報を補間するステップを実行させるための、プログラム。
PCT/JP2019/025577 2018-07-26 2019-06-27 情報処理装置、情報処理方法、およびプログラム WO2020021954A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018140232 2018-07-26
JP2018-140232 2018-07-26

Publications (1)

Publication Number Publication Date
WO2020021954A1 true WO2020021954A1 (ja) 2020-01-30

Family

ID=69182260

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/025577 WO2020021954A1 (ja) 2018-07-26 2019-06-27 情報処理装置、情報処理方法、およびプログラム

Country Status (1)

Country Link
WO (1) WO2020021954A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022130884A1 (ja) * 2020-12-18 2022-06-23 ソニーグループ株式会社 測定装置、測定方法、測定システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008065755A (ja) * 2006-09-11 2008-03-21 Hitachi Ltd 移動装置
JP2008092459A (ja) * 2006-10-04 2008-04-17 Toyota Motor Corp 周辺監視装置
JP2013152595A (ja) * 2012-01-25 2013-08-08 Sony Corp 情報処理装置および方法、並びにプログラム
WO2017029847A1 (ja) * 2015-08-19 2017-02-23 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2018068221A (ja) * 2016-10-31 2018-05-10 株式会社エンルートＭ’ｓ 害獣駆除用無人機、害獣駆除方法及びプログラム
US20180158197A1 (en) * 2016-12-01 2018-06-07 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008065755A (ja) * 2006-09-11 2008-03-21 Hitachi Ltd 移動装置
JP2008092459A (ja) * 2006-10-04 2008-04-17 Toyota Motor Corp 周辺監視装置
JP2013152595A (ja) * 2012-01-25 2013-08-08 Sony Corp 情報処理装置および方法、並びにプログラム
WO2017029847A1 (ja) * 2015-08-19 2017-02-23 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2018068221A (ja) * 2016-10-31 2018-05-10 株式会社エンルートＭ’ｓ 害獣駆除用無人機、害獣駆除方法及びプログラム
US20180158197A1 (en) * 2016-12-01 2018-06-07 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DOI, TAKAHIRO ET AL.: "Study of Map Realization System", PROCEEDINGS CD-ROM 2003 OF THE 21ST ANNUAL CONFERENCE OF THE ROBOTICS SOCIETY OF JAPAN, 20 September 2003 (2003-09-20) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022130884A1 (ja) * 2020-12-18 2022-06-23 ソニーグループ株式会社 測定装置、測定方法、測定システム

Similar Documents

Publication Publication Date Title
US11787543B2 (en) Image space motion planning of an autonomous vehicle
EP3324332B1 (en) Method and system to predict vehicle traffic behavior for autonomous vehicles to make driving decisions
JP6722312B2 (ja) 自動運転に用いられる感知と計画のコラボレーションフレームワーク
US11308391B2 (en) Offline combination of convolutional/deconvolutional and batch-norm layers of convolutional neural network models for autonomous driving vehicles
US10457294B1 (en) Neural network based safety monitoring system for autonomous vehicles
EP3315388B1 (en) Spring system-based change lane approach for autonomous vehicles
CN111044991B (zh) 一种用于自动驾驶的基于预收集静态反射图的lidar校准方法
US9874871B1 (en) Method to dynamically adjusting steering rates of autonomous vehicles
KR20190100856A (ko) 곡선 투영을 가속화하기 위한 시스템 및 방법
US20190317513A1 (en) Sensor aggregation framework for autonomous driving vehicles
US11199847B2 (en) Curvature corrected path sampling system for autonomous driving vehicles
CN109491377A (zh) 用于自动驾驶车辆的基于dp和qp的决策和规划
CN108391429B (zh) 用于自主车辆速度跟随的方法和系统
JP2019182415A (ja) 自動運転車両（ａｄｖ）に用いるピッチ角の補正方法
CN110389584A (zh) 用于评估自动驾驶车辆的轨迹候选项的方法
CN111380534B (zh) 用于自动驾驶车辆的基于st图学习的方法
US11113971B2 (en) V2X communication-based vehicle lane system for autonomous vehicles
JP2019505423A (ja) 比例、積分及び微分（ｐｉｄ）コントローラを用いた自律走行車のステアリング制御方法及びシステム
JP2019135145A (ja) 自動運転車両のための走行軌跡生成方法、システム及び機械可読媒体
CN110390240B (zh) 自动驾驶车辆中的车道后处理
JP2020061125A (ja) 自動運転のための交差検証に基づく自動ｌｉｄａｒキャリブレーション
KR20180051571A (ko) 자율 주행 차량을 위한 차량 위치점 전달 방법
CN108334077A (zh) 确定自动驾驶车辆的速度控制的单位增益的方法和系统
CN108733046A (zh) 用于自动驾驶车辆的轨迹重新规划的系统和方法
JP2022532920A (ja) レーダーデータからのヨーレート

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19841311

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19841311

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP