WO2021177043A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2021177043A1
WO2021177043A1 PCT/JP2021/006073 JP2021006073W WO2021177043A1 WO 2021177043 A1 WO2021177043 A1 WO 2021177043A1 JP 2021006073 W JP2021006073 W JP 2021006073W WO 2021177043 A1 WO2021177043 A1 WO 2021177043A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
person
potential
human flow
flow data
Prior art date
Application number
PCT/JP2021/006073
Other languages
English (en)
French (fr)
Inventor
康平 小島
光輝 松永
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US17/802,957 priority Critical patent/US20230086153A1/en
Priority to JP2022505113A priority patent/JPWO2021177043A1/ja
Publication of WO2021177043A1 publication Critical patent/WO2021177043A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled

Definitions

  • This technology is particularly related to an information processing device, an information processing method, and a program that make it possible to easily set a highly reliable no-entry area.
  • Patent Document 1 discloses a technique of measuring the position of a person for a certain period of time and setting an area where no person can enter as an inaccessible area. In this technique, after setting all the areas as the no-entry area, the potential of the area where a person exists is lowered to exclude the area from the no-entry area.
  • This technology was made in view of such a situation, and makes it possible to easily set a highly reliable no-entry area.
  • the information processing device of one aspect of the present technology includes a parameter setting unit that sets parameters of each area used in the action plan of the moving body based on the cognitive state of the moving person estimated from the human flow data.
  • parameters of each area used in the action plan of the moving body are set based on the cognitive state of the moving person estimated from the human flow data.
  • Embodiment 1 Overview of setting prohibited areas 2. Configuration example of each device 3.
  • Embodiment 1 Basic form 4.
  • Embodiment 2 Response to the case where the potential update is erroneous 5.
  • Embodiment 3 Setting of weight parameters according to the environment 6.
  • Embodiment 4 Automatic adjustment of weight parameters using additional information 7.
  • Embodiment 5 Three-dimensional correspondence by considering the posture of a person 8. others
  • FIG. 1 is a diagram showing a usage state of a mobile robot according to an embodiment of the present technology.
  • the mobile robot according to the embodiment of the present technology is used, for example, indoors.
  • the space in which the mobile robot is introduced is a space in which people can walk.
  • mobile robots 1-1 to 1-3 are shown. When it is not necessary to distinguish between the mobile robots, they are collectively referred to as the mobile robot 1.
  • the mobile robot 1 On the bottom surface of the mobile robot 1 having a cubic housing, a configuration such as a tire used for moving the mobile robot 1 is provided.
  • the mobile robot 1 is an autonomous traveling robot having a function of searching for a person in the room based on an image taken by a camera, approaching the person detected by the search, serving customers, and communicating with the person. Is.
  • An entry prohibited area is set in the space where the mobile robot 1 moves.
  • the area around the obstacle is set as the no-entry area.
  • the area other than the no-entry area is the passable area.
  • the entry prohibited area is set by, for example, a control device which is a higher-level device that manages the movement of the mobile robot 1.
  • a control device which is a higher-level device that manages the movement of the mobile robot 1.
  • an action plan for moving while avoiding the entry prohibited area set by the control device is performed, and the movement is performed according to the planned trajectory (route).
  • the action plan for the mobile robot 1 is performed by, for example, the potential method.
  • the potential method is a method in which an attractive potential is set at a destination, a repulsive potential is set in an area with an obstacle, and the robot is moved along a negative gradient of the potential function.
  • the control device sets the no-entry area based on the estimation result of the human cognitive state by estimating the human cognitive state for each area of the space based on the human behavior.
  • a person's cognitive state is estimated based on pre-measured human flow data, such as by tracking each of many people moving in space.
  • the behavior of a person used to estimate the cognitive state of a person is the movement of the person.
  • the human flow data includes information such as the trajectory, speed, acceleration, and jerk of a person's movement.
  • the human flow data is generated, for example, by analyzing an image taken by a camera installed near the ceiling of the space in which the mobile robot 1 moves.
  • the jerk is the rate of change of acceleration with respect to time.
  • the control device calculates the velocity vector, acceleration vector, and jerk vector when each person moves based on the flow data when the entry prohibited area is set.
  • the control device estimates a person's cognitive state based on the calculated information, and sets an entry prohibited area based on the estimation result.
  • a person's cognitive state is expressed as follows by three pieces of information: velocity vector, acceleration vector, and jerk vector.
  • the relationship between the human cognitive state and each of the velocity vector, acceleration vector, and jerk vector is defined as the policy used to set the potential.
  • FIG. 2 is a diagram showing the relationship between the velocity vector and the cognitive state of a person.
  • FIG. 3 is a diagram showing the relationship between the acceleration vector and the human cognitive state.
  • a person slows down when approaching a recognized restricted area. That is, when a person moving toward the restricted area as shown in the upper part of FIG. 3 recognizes it, the person decelerates as shown in the lower part of FIG. From the acceleration vector when decelerating, it is estimated that the human cognitive state is in the state of recognizing the entry prohibited area in the traveling direction.
  • FIG. 4 is a diagram showing the relationship between the jerk vector and the cognitive state of a person.
  • the control device sets the no-entry area based on the three pieces of information, the velocity vector, the acceleration vector, and the jerk vector, which are considered to represent the human cognitive state.
  • FIG. 5 is a diagram showing the overall flow of processing performed by the control device and the mobile robot 1, including the phase of setting the entry prohibited area.
  • the overall processing performed by the control device and the mobile robot 1 includes the processing of each phase of the human flow measurement phase, the entry prohibited area setting phase, and the traveling phase.
  • the human flow measurement phase is a phase in which people are tracked and the trajectory, velocity, and acceleration that compose the human flow data are recorded.
  • the entry prohibited area setting phase is a phase in which an entry prohibited area map is generated based on the flow data on the premise of the above-mentioned recognition of the person.
  • the no-entry area map contains information on the potential of each area in space. The area with high potential is the area where entry is prohibited.
  • the running phase is a phase in which an action plan is made so as to avoid the no-entry area based on the no-entry area map, and the vehicle runs (moves) according to the planned trajectory.
  • the flow measurement phase and the entry prohibited area setting phase are the phases that the control device is in charge of.
  • the traveling phase is the phase in which the mobile robot 1 is in charge.
  • the processing of the human flow measurement phase may be performed by a device different from the control device, or may be performed by the mobile robot 1.
  • the mobile robot 1 may perform processing in all phases of the human flow measurement phase, the entry prohibition area setting phase, and the traveling phase.
  • the processing of one phase may be shared by a plurality of devices. In this way, the apparatus that performs the processing of each phase can be changed as appropriate. An example of the division of processing in each phase will be described later.
  • the no-entry area is set by focusing only on the position of the person represented by the walking data, there is a possibility that only the vicinity of the center of the space where people often walk is set as the passable area. However, it is possible to prevent such a situation.
  • the estimation result of the human cognitive state is used, it is possible to set an area where there is an object that cannot be detected by a sensor or the like as an entry prohibited area.
  • FIG. 6 is a block diagram showing a configuration example of the hardware of the control device 11 that manages the movement of the mobile robot 1.
  • control device 11 is composed of a computer.
  • the control device 11 and each mobile robot 1 are connected via a network such as a wireless LAN or the Internet.
  • the CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 25 is further connected to the bus 24.
  • An input unit 26 including a keyboard and a mouse, and an output unit 27 including a display and a speaker are connected to the input / output interface 25.
  • the input / output interface 25 is connected to a storage unit 28 made of a hard disk, a non-volatile memory, or the like, a communication unit 29 made of a network interface or the like, and a drive 30 for driving the removable media 31.
  • the CPU 21 loads the program stored in the storage unit 28 into the RAM 23 via the input / output interface 25 and the bus 24 and executes the program, thereby executing the above-mentioned entry prohibition area. Processing including the setting of is performed.
  • FIG. 7 is a block diagram showing a functional configuration example of the control device 11. At least a part of the functional units shown in FIG. 7 is realized by executing a predetermined program by the CPU 21 of FIG.
  • a human flow measurement unit 51 a human flow data storage unit 52, an entry prohibited area setting unit 53, and an entry prohibited area map storage unit 54 are realized.
  • the human flow measurement unit 51 acquires an image taken by a camera installed in the space where the mobile robot 1 is introduced.
  • the image taken by the camera shows a person moving in space.
  • the human flow measurement unit 51 analyzes the acquired image and generates human flow data by tracking a person moving in the space.
  • Human flow data may be generated based on sensor data detected by a sensor other than the camera, such as a motion sensor or a ToF (Time of Flight) sensor.
  • FIG. 8 is a diagram showing an example of human flow data.
  • People flow data is generated for each person who moves in space. As shown in FIG. 8, the human flow data includes an ID, a trajectory, a velocity component, an acceleration component, and a jerk component.
  • ID is identification information of a person moving in space.
  • the locus represents the locus of movement of a person.
  • a locus is represented by time-series data of positions in space.
  • the velocity component represents the velocity of a person moving in space.
  • the velocity of the component (x, y) in each direction is represented by the velocity component with reference to the X-axis and Y-axis directions set in the space.
  • the acceleration component represents the acceleration of a person moving in space.
  • the acceleration of the components (x, y) in each direction is represented by the acceleration component with reference to the X-axis and Y-axis directions set in the space.
  • the jerk component represents the jerk of a person moving in space.
  • the jerk of the components (x, y) in each direction is represented by the jerk component with reference to the X-axis and Y-axis directions set in the space.
  • Other information used for setting the entry prohibited area may be generated by the person flow measurement unit 51 and included in the person flow data. Acceleration and jerk may not be included in the human flow data, and acceleration and jerk may be calculated based on the velocity included in the human flow data.
  • the human flow measurement unit 51 outputs the human flow data including each such information to the human flow data storage unit 52 (FIG. 7) and stores it.
  • a DB of human flow data is constructed in the human flow data storage unit 52. The process of constructing a DB of human flow data is performed as the process of the human flow measurement phase.
  • the entry prohibition area setting unit 53 estimates the cognitive state of a person as described above based on the human flow data stored in the human flow data storage unit 52.
  • the entry prohibited area setting unit 53 sets the entry prohibited area based on the estimation result of the cognitive state of the person, and generates the entry prohibited area map.
  • FIG. 9 is a diagram showing a flow of processing in the entry prohibited area setting phase performed by the entry prohibited area setting unit 53.
  • the processing of the entry prohibition area setting phase includes initialization, potential update based on the velocity vector, potential update based on the acceleration vector, and potential update based on the jerk vector.
  • FIG. 10 is a diagram showing an example of initialization.
  • the entry prohibition area setting unit 53 sets the potential of areas # 1 to # 9, which are all areas in the space, to the maximum. In the initialized state, all the areas # 1 to # 9 are set as the no-entry area. At the time of action planning by the mobile robot 1, the action plan is performed so as to move in a region having low potential.
  • the entire space is composed of nine areas # 1 to # 9, but the shape of the no-entry area map and the no-entry area map are shown according to the shape of the space and the size of the space. The number of constituent areas will be different. The color density of each region represents the potential. The region where the concentration is high is the region where the potential is high. The same applies to FIGS. 11 and later.
  • FIG. 11 is a diagram showing an example of potential update based on the velocity vector.
  • the update of the potential based on the velocity vector is performed so as to reduce the potential in the region of the component direction (X-axis direction, Y-axis direction) of the velocity vector in proportion to the vector length.
  • the potentials of the regions # 2 and # 4 in the component directions of the velocity vector represented by the arrow A1 are updated so as to decrease in proportion to the vector lengths in the Y-axis direction and the X-axis direction, respectively. ..
  • the fact that the densities of the regions # 2 and # 4 surrounded by the thick white frame are lower than the densities shown in FIG. 10 was updated because the potential of each region decreased. Represents that.
  • the weight parameter ⁇ which represents the contribution rate of velocity, is used in updating the potential based on the velocity vector.
  • the degree of potential update of regions # 2 and region # 4 is calculated based on the vector length and the weight parameter ⁇ .
  • the weight parameter ⁇ representing the contribution rate of acceleration and the weight parameter ⁇ representing the contribution rate of jerk are used, respectively.
  • Predetermined values are set as the weight parameters ⁇ , ⁇ , and ⁇ , respectively.
  • each potential of region # 1, region # 5, and region # 8 is updated to the minimum potential in proportion to the vector length of the velocity vector, for example.
  • the areas # 1, the area # 5, and the area # 8 are shown in white, indicating that the minimum value is set as the potential of those areas.
  • the potential is updated based on the acceleration vector.
  • FIG. 12 is a diagram showing an example of updating the potential based on the acceleration vector.
  • a person slows down when approaching a recognized restricted area. From this, the potential update based on the acceleration vector is performed so that the potential of the region in the component direction of the acceleration vector is lowered in proportion to the vector length.
  • the acceleration vector in the region # 5 measured by the above-mentioned movement is represented by, for example, the arrow A2 at the bottom of FIG.
  • the potential of the region # 4 in the component direction of the acceleration vector represented by the arrow A2 is updated so as to decrease in proportion to the vector length, for example.
  • the degree of potential update of region # 4 is calculated based on the vector length and the weight parameter ⁇ .
  • the density of the region # 4 surrounded by the thick white frame is lower than the density shown in FIG. 11, indicating that the potential of the region # 4 has decreased and has been updated.
  • the potential is updated based on the jerk vector.
  • FIG. 13 is a diagram showing an example of updating the potential based on the jerk vector.
  • the direction of the jerk vector in the region # 5 measured by the above-mentioned movement is represented by, for example, the arrow A3 at the bottom of FIG.
  • the potential of region # 2 in the traveling direction immediately before the sudden stop is updated so as to increase according to, for example, the vector length.
  • the degree of potential update of region # 2 is calculated based on the weight parameter ⁇ .
  • the density of the region # 2 surrounded by the thick white frame is higher than the density shown in FIG. 12, indicating that the potential of the region # 2 has been increased and updated.
  • the potential of each area of the no-entry area map is updated as described above based on the velocity vector, acceleration vector, and jerk vector represented by the respective human flow data.
  • the entry prohibition area setting unit 53 of FIG. 7 is a parameter setting unit that sets the potential, which is a parameter of each area used in the action plan of the mobile robot 1, based on the cognitive state of the moving person estimated from the human flow data. Functions as.
  • the entry prohibited area map generated by the entry prohibited area setting unit 53 by setting the potential of each area is output to and stored in the entry prohibited area map storage unit 54.
  • the no-entry area map is a grid map in which a potential gradient reflecting information on obstacles is set in each grid (area) constituting the space.
  • the entry prohibited area map stored in the entry prohibited area map storage unit 54 is transmitted to each mobile robot 1 and used for the action plan.
  • FIG. 14 is a block diagram showing a configuration example of the mobile robot 1.
  • the mobile robot 1 is composed of a control unit 101, a mobile unit 102, a camera 103, a sensor 104, a communication unit 105, and a power supply unit 106.
  • the control unit 101 is composed of a computer.
  • the control unit 101 executes a predetermined program by the CPU and controls the entire operation of the mobile robot 1.
  • the moving unit 102 rotates the tires by driving the motor and gears according to the control by the control unit 101, and realizes the movement of the mobile robot 1 while adjusting the speed and direction.
  • the camera 103 is composed of an RGB camera that captures an RGB image, an IR camera that captures an IR image, and the like.
  • the image taken by the camera 103 is output to the control unit 101.
  • the sensor 104 is composed of various sensors such as an acceleration sensor, a gyro sensor, a motion sensor, an encoder provided on the moving unit 102 to detect the amount of rotation of the tire, and LiDAR. Information representing the sensing result by the sensor 104 is output to the control unit 101.
  • At least one of the camera 103 and the sensor 104 may be provided outside the mobile robot 1.
  • the image taken by the camera provided outside the mobile robot 1 and the information representing the sensing result by the sensor are transmitted to the mobile robot 1 via wireless communication.
  • the communication unit 105 performs wireless communication with the control device 11. For example, the communication unit 105 receives the entry prohibited area map transmitted from the control device 11 and outputs it to the control unit 101.
  • the power supply unit 106 has a battery.
  • the power supply unit 106 supplies power to each unit of the mobile robot 1.
  • the action planning unit 111 and the movement control unit 112 are realized by executing a predetermined program.
  • the process of the traveling phase of FIG. 5 is performed by the action planning unit 111 and the movement control unit 112.
  • the action planning unit 111 plans various actions of the mobile robot 1. For example, the action planning unit 111 performs an action plan so as to move while avoiding the entry prohibited area based on the entry prohibited area map generated by the control device 11. The trajectory information obtained by the action plan is supplied to the movement control unit 112.
  • the potential of each region may be used as it is, or the potential after binarization using the threshold value may be used.
  • an area in which a potential equal to or higher than a threshold value is set is treated as an entry prohibited area.
  • the movement control unit 112 drives the movement unit 102 and moves the mobile robot 1 according to the trajectory obtained by the action plan by the action planning unit 111.
  • the control device 11 can easily set a highly reliable entry prohibited area.
  • the mobile robot 1 can move while more reliably avoiding the no-entry area based on the highly reliable no-entry area.
  • ⁇ Embodiment 1 Basic form>
  • Tracking of human movement may be performed using a sensing system installed in space including a camera, or may be performed using an internal camera mounted on the mobile robot 1. good.
  • the potential is updated based on the method described with reference to FIGS. 9 to 13, and an entry prohibited area map is generated.
  • an action plan is made using the no-entry area map.
  • the usage pattern of the no-entry area map is changed as appropriate. For example, an action plan based on a potential gradient or an action plan using a method such as RRT (Rapidly Exploring Random Tree) or A * is performed on a black-and-white image binarized based on a threshold value.
  • ⁇ Embodiment 2 Correspondence to the case where the potential update is mistaken> If the potential is updated by focusing on the cognitive state of a person, even if a person recognizes that there is another person and avoids it, the potential is updated as if he / she avoided an obstacle. .. The human flow data may be invalidated so that the behavior in response to the interference by another person is not reflected in the potential update.
  • FIG. 15 is a diagram showing an example of human flow data.
  • FIG. 15 shows the trajectory of the person H1 who has moved from the area # 12 to the area # 15 and the trajectory of the person H2 who has moved from the area # 18 to the area # 15.
  • the person H1 is moving from the area # 15 toward the area # 16 so as to avoid the person H2 in front of the person.
  • the person H2 is moving from the area # 15 toward the area # 14 so as to avoid the person H1 in front of him. It is assumed that there are no obstacles in the space composed of the areas # 11 to # 19.
  • the potential is not updated based on the flow data of the plurality of people. That is, the human flow data is treated as invalid and is not used for updating the potential.
  • the human flow data when the number of people existing in a certain range is less than a predetermined number is used for estimating the cognitive state of a person, and the potential is updated based on the estimated cognitive state of the person.
  • FIG. 16 is a plan view showing an example of space.
  • the space shown in the upper part of FIG. 16 is a space like a passage where the direction of movement of people is uniform. There are walls on both sides of the passage. In the example of FIG. 16, the person H1 is moving downward.
  • the person tries to avoid the opposite object as much as possible, so that the movement in the longitudinal direction (X-axis direction) is short. It is considered that the movement in the manual direction (Y-axis direction) has a greater correlation with the existence of the prohibited area. That is, as shown in the lower part of FIG. 16, a specific area in the passage is likely to be set as an entry prohibited area.
  • a weight (bias) is set for the element used for updating the potential according to the characteristics of the space.
  • the potential is updated in consideration of the weight.
  • the movement in the X-axis direction and the movement in the Y-axis direction are adjusted according to the spatial shape.
  • Different weight parameters ⁇ , ⁇ , ⁇ are set for each movement.
  • the weight parameter ⁇ y corresponding to the movement in the Y-axis direction is more than the weight parameter ⁇ x corresponding to the movement in the X-axis direction. Is set large. This makes it possible to give the potential update based on the velocity vector a characteristic that the potential is updated more sensitively according to the movement in the Y-axis direction.
  • weight parameters such as the shape are set according to the characteristics of the space in which the person moves, and the potential is updated.
  • ⁇ Embodiment 4 Automatic adjustment of weight parameters using additional information>
  • the weighting parameters ⁇ , ⁇ , ⁇ used in the potential update may be adjusted based on the additional information obtained by sensing.
  • the weight parameter ⁇ is a parameter used for updating the potential based on the velocity vector.
  • the weight parameter ⁇ is a parameter used for updating the potential based on the acceleration vector.
  • the weight parameter ⁇ is a parameter used to update the potential based on the jerk vector.
  • the weight parameter is adjusted according to the age of the moving person.
  • the additional information used to adjust the weight parameter is the age estimation result.
  • the age of a moving person is estimated by analyzing an image taken by a camera.
  • a small value is set as the value of the weight parameter ⁇ , and adjustment is made so that the movement due to the prior judgment is not easily reflected in the potential update.
  • small values are set as all the values of the weight parameters ⁇ , ⁇ , and ⁇ , and adjustments are made so that all movements are less likely to be reflected in the potential update.
  • the weight parameter is adjusted according to the line of sight of the moving person.
  • the additional information used to adjust the weight parameter is the face orientation.
  • the orientation of the moving person's face is detected by analyzing an image taken by the camera.
  • a large value is set as the value of the weight parameter ⁇ used in updating the potential based on the velocity vector, and adjustments are made so that the moving speed is easily reflected in the updating of the potential.
  • the weight parameter is adjusted by using the characteristics of the moving person such as age and line of sight as additional information, and the adjusted weight parameter is used.
  • the potential is updated.
  • the entry prohibited area setting unit 53 can reflect a more accurate and detailed cognitive state in the setting of the entry prohibited area.
  • ⁇ Embodiment 5 Three-dimensional correspondence by considering the posture of a person> In addition to processing using velocity, acceleration, and jerk on the XY plane, it is possible to generate a three-dimensional space entry prohibited area map by performing the same processing in the vertical direction (Z-axis direction). Become.
  • the bone shape in the three-dimensional space is estimated. Further, based on the estimation result of the bone shape, for example, the head and the toes as specific parts of the moving person are detected, respectively, as shown in FIG.
  • the positions of the head and toes on the YZ plane are detected.
  • human flow data including the speed, acceleration, and jerk of the head and the speed, acceleration, and jerk of the toes are measured.
  • the cognitive state of a person is estimated based on such human flow data, and the potential is updated in the same manner as the processing on the XY plane, so that the head is lowered when there is an obstacle overhead, for example. Avoidance behavior is reflected in the update of the potential of each region in the three-dimensional space.
  • the potential of the region # 25 in FIG. 17 between the head and the toes is updated so as to be a passable region.
  • the present technology can be applied not only to the action plan of the mobile robot 1 moving on a plane, but also to the action plan of a robot moving on a three-dimensional space.
  • the mobile robot 1 is a robot that moves using tires
  • this technology can also be applied to a humanoid robot capable of bipedal walking or an animal robot capable of quadrupedal walking. Is. That is, the present technology can be applied to action plans of various moving objects including robots, drones, robot arms, and automobiles.
  • the parameters of each region updated based on the estimation result of the human cognitive state are assumed to be the potential used in the potential method, but the setting of other parameters used in the action plan is the estimation result of the human cognitive state. It may be done based on.
  • 18 to 20 are block diagrams showing other configuration examples of the information processing system.
  • a person flow measuring unit 51 and a person flow data storage unit 52 are provided in the control device 11, and an entry prohibited area setting unit 53, an entry prohibited area map storage unit 54, an action planning unit 111, and a movement control unit 112 are provided. Is provided in the mobile robot 1.
  • the configuration of the information processing system shown in FIG. 18 is a configuration in which the processing of the human flow measurement phase is performed by the control device 11, and the processing of the entry prohibition area setting phase and the traveling phase is performed by the mobile robot 1.
  • a human flow measurement unit 51 and a human flow data storage unit 52 are provided in the measurement device, an entry prohibition area setting unit 53 and an entry prohibition area map storage unit 54 are provided in the control device 11, and the action planning unit 111.
  • the movement control unit 112 is provided in the mobile robot 1.
  • the configuration of the information processing system shown in FIG. 19 is a case where the processing of the human flow measurement phase is performed by the measuring device, the processing of the entry prohibition area setting phase is performed by the control device 11, and the processing of the traveling phase is performed by the mobile robot 1. It becomes the composition of.
  • a human flow measurement unit 51 a human flow data storage unit 52, an entry prohibited area setting unit 53, an entry prohibited area map storage unit 54, an action planning unit 111, and a movement control unit 112 are provided in the mobile robot 1.
  • the configuration of the information processing system shown in FIG. 20 is a configuration in which the mobile robot 1 performs processing in all phases of the human flow measurement phase, the entry prohibition area setting phase, and the traveling phase.
  • the mobile robot 1 functions as an information processing device that processes all phases of the human flow measurement phase, the entry prohibition area setting phase, and the traveling phase.
  • the series of processes described above can be executed by hardware or software.
  • the programs constituting the software are installed on a computer embedded in dedicated hardware, a general-purpose personal computer, or the like.
  • the installed program is recorded and provided on the removable media 31 shown in FIG. 6, which consists of an optical disk (CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc), etc.), a semiconductor memory, or the like. It may also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting.
  • the program can be pre-installed in the ROM 22 or the storage unit 28.
  • the program executed by the computer may be a program in which processing is performed in chronological order in the order described in this specification, or processing is performed in parallel or at a necessary timing such as when a call is made. It may be a program to be performed.
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and jointly processed.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the present technology can also have the following configurations.
  • An information processing device including a parameter setting unit that sets parameters of each area used in an action plan of a moving body based on the cognitive state of a moving person estimated from human flow data.
  • the parameter setting unit estimates a person's cognitive state based on a movement locus and a speed included in the human flow data.
  • the parameter setting unit estimates a person's cognitive state based on the acceleration and jerk included in the human flow data together with the locus of movement.
  • the parameter setting unit updates the parameters in a region in the component direction of the velocity vector based on the velocity vector represented by the human flow data.
  • the information processing device (4), wherein the parameter setting unit updates the parameters in a region in the component direction of the acceleration vector based on the acceleration vector represented by the human flow data.
  • the parameter setting unit updates the parameters in a region opposite to the component direction of the jerk vector based on the jerk vector represented by the human flow data.
  • the parameter is a potential used when the action plan is performed by the potential method.
  • the parameter setting unit The update of the potential based on the velocity vector and the update of the potential based on the acceleration vector are performed so as to reduce the potential.
  • the information processing apparatus according to (6), wherein the potential is updated based on the jerk vector so as to increase the potential.
  • the parameter setting unit sets the parameters based on the cognitive state of a moving person estimated from the human flow data when the number of people existing in a certain range is less than a predetermined number (1). ) To (7). (9) The parameter setting unit sets weights representing the degree of update of the parameters based on the velocity vector, the acceleration vector, and the jerk vector, respectively, based on the shape of the space in which the person moves (6). Or the information processing apparatus according to (7). (10) The information processing device according to any one of (1) to (9) above, wherein the parameter setting unit adjusts the degree of updating of the parameters based on additional information according to the characteristics of a moving person.
  • the parameter setting unit estimates the cognitive state of a person based on the velocity and acceleration included in the human flow data together with the locus of movement of a specific part of the person in the three-dimensional space, and of each region constituting the three-dimensional space.
  • the information processing apparatus according to any one of (1) to (10) for setting the parameters.
  • (13) The information processing apparatus according to any one of (1) to (12) above, further comprising an action planning unit that performs the action plan based on map information that is information on an area in which the parameters are set.
  • Information processing device An information processing method that sets parameters for each area used in the action plan of a moving body based on the cognitive state of a moving person estimated from human flow data.
  • Information processing device On the computer A program for executing a process of setting parameters of each area used in the action plan of a moving body based on the cognitive state of a moving person estimated from human flow data.

Abstract

本技術は、信頼性の高い進入禁止領域を容易に設定することができるようにする情報処理装置、情報処理方法、およびプログラムに関する。 本技術の一側面の情報処理装置は、人流データにより推定される移動中の人の認知状態に基づいて、移動体の行動計画に用いられる各領域のパラメータを設定する。本技術は、自律移動型のロボットを制御する情報処理装置に適用することができる。

Description

情報処理装置、情報処理方法、およびプログラム
　本技術は、特に、信頼性の高い進入禁止領域を容易に設定することができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
　自律移動型のロボットを導入した空間においては、下記のような事情などから、進入禁止領域が設定される。
　・壁等の既知の固定障害物を考慮して、効率的かつ安全な軌道を計画できるようにしたい。
　・ユーザ要件に従い、ロボットに進入して欲しくない領域をシステム管理者が設定する。
　・誤動作を防ぐため、センサでは検出しにくい障害物の付近を進入禁止領域にする。
　・空間のルールとして、ロボットに入ってほしくない領域がある。
　適切な進入禁止領域を個々に設定することは、面倒かつ煩雑な作業となる。そのため、進入禁止領域を自動的に設定する技術が各種提案されている。
　例えば特許文献１には、人の位置を一定期間計測し、人が立ち入らない領域を進入禁止領域とする技術が開示されている。この技術においては、全ての領域を進入禁止領域として設定した後、人が存在した領域のポテンシャルを下げて、進入禁止領域から除外するような処理が行われる。
特開２０１７－９０７９６号公報
　特許文献１に記載の技術の場合、信頼性の高い進入禁止領域を設定するには大量の歩行データが必要となる。また、人の分布が低密度である場合、空間の中心付近のみが通行可能領域として扱われる傾向がある。さらに、人が誤って立ち入った領域が通行可能領域として設定されてしまう。
　本技術はこのような状況に鑑みてなされたものであり、信頼性の高い進入禁止領域を容易に設定することができるようにするものである。
　本技術の一側面の情報処理装置は、人流データにより推定される移動中の人の認知状態に基づいて、移動体の行動計画に用いられる各領域のパラメータを設定するパラメータ設定部を備える。
　本技術の一側面においては、人流データにより推定される移動中の人の認知状態に基づいて、移動体の行動計画に用いられる各領域のパラメータが設定される。
本技術の一実施形態に係る移動ロボットの使用状態を示す図である。 速度ベクトルと人の認知状態の関係を示す図である。 加速度ベクトルと人の認知状態の関係を示す図である。 躍度ベクトルと人の認知状態の関係を示す図である。 制御装置と移動ロボットが行う処理の全体の流れを示す図である。 制御装置のハードウェアの構成例を示すブロック図である。 制御装置の機能構成例を示すブロック図である。 人流データの例を示す図である。 進入禁止領域設定フェーズの処理の流れを示す図である。 初期化の例を示す図である。 速度ベクトルに基づくポテンシャルの更新の例を示す図である。 加速度ベクトルに基づくポテンシャルの更新の例を示す図である。 躍度ベクトルに基づくポテンシャルの更新の例を示す図である。 移動ロボットの構成例を示すブロック図である。 人流データの例を示す図である。 空間の例を示す平面図である。 ３次元空間におけるボーン形状の推定の例を示す図である。 情報処理システムの他の構成例を示すブロック図である。 情報処理システムの他の構成例を示すブロック図である。 情報処理システムの他の構成例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．進入禁止領域の設定の概要
　２．各装置の構成例
　３．実施の形態１：基本形
　４．実施の形態２：ポテンシャルの更新を誤るケースに対する対応
　５．実施の形態３：環境に合わせた重みパラメータの設定
　６．実施の形態４：付加情報を用いた重みパラメータの自動調整
　７．実施の形態５：人の姿勢を考慮することによる３次元対応
　８．その他
＜進入禁止領域の設定の概要＞
　図１は、本技術の一実施形態に係る移動ロボットの使用状態を示す図である。
　本技術の一実施形態に係る移動ロボットは、例えば、室内において用いられる。移動ロボットが導入される空間は、人が歩いて通行することが可能な空間である。
　図１の例においては、移動ロボット１－１乃至１－３が示されている。それぞれの移動ロボットを区別する必要がない場合、適宜、まとめて移動ロボット１という。立方体状の筐体を有する移動ロボット１の底面には、移動ロボット１の移動に用いられるタイヤなどの構成が設けられている。
　移動ロボット１は、カメラにより撮影された画像などに基づいて、室内にいる人の探索を行い、探索によって検出した人に近づいて接客を行ったり、コミュニケーションをとったりする機能を有する自律走行型のロボットである。
　移動ロボット１が移動する空間には進入禁止領域が設定される。例えば、障害物の周りの領域が進入禁止領域として設定される。進入禁止領域以外の領域が、通行可能領域となる。
　進入禁止領域の設定は、例えば移動ロボット１の移動を管理する上位の装置である制御装置により行われる。移動ロボット１においては、制御装置により設定された進入禁止領域を回避しながら移動するための行動計画が行われ、計画された軌道（経路）に従って移動が行われる。
　移動ロボット１における行動計画は、例えばポテンシャル法により行われる。ポテンシャル法は、目的地に引力ポテンシャルを設定するとともに、障害物のある領域に斥力ポテンシャルを設定し、ポテンシャル関数の負の勾配に沿うようにロボットを移動させる方法である。
　制御装置による進入禁止領域の設定は、空間の各領域に対する人の認知状態を、人の振る舞いに基づいて推定し、人の認知状態の推定結果に基づいて行われる。人の認知状態は、空間内を移動する多くの人のそれぞれをトラッキングするなどしてあらかじめ計測された人流データに基づいて推定される。人の認知状態の推定に用いられる人の振る舞いは、人の移動となる。
　後述するように、人流データには、人の移動の軌跡、速度、加速度、躍度（ジャーク）などの情報が含まれる。人流データは、例えば、移動ロボット１が移動する空間の天井付近などに設置されたカメラにより撮影された画像を解析することによって生成される。なお、躍度は、加速度の時間に対する変化の割合である。
　制御装置は、進入禁止領域の設定時、人流データに基づいて、それぞれの人の移動時の速度ベクトル、加速度ベクトル、および、躍度ベクトルを算出する。制御装置は、算出したそれらの情報に基づいて人の認知状態を推定し、推定結果に基づいて進入禁止領域を設定する。
　人の認知状態は、速度ベクトル、加速度ベクトル、躍度ベクトルの３つの情報によって以下のように表される。人の認知状態と、速度ベクトル、加速度ベクトル、躍度ベクトルのそれぞれとの関係が、ポテンシャルの設定に用いるポリシーとして定義される。
　図２は、速度ベクトルと人の認知状態の関係を示す図である。
　進入禁止領域となるような領域を認知している人が、進入禁止領域に対して法線方向に移動することは少ない。すなわち、進入禁止領域を認知している人は、図２の矢印に示すように、進入禁止領域の法線方向とは異なる方向に移動する。速度ベクトルにより、人の認知状態が、速度ベクトルの方向と異なる方向にある進入禁止領域を認知している状態にあることが推定される。
　図３は、加速度ベクトルと人の認知状態の関係を示す図である。
　認知している進入禁止領域に接近すると人は減速する。すなわち、図３の上段に示すように進入禁止領域に向かって移動している人は、それを認知すると図３の下段に示すように減速する。減速しているときの加速度ベクトルにより、人の認知状態が、進行方向にある進入禁止領域を認知している状態にあることが推定される。
　図４は、躍度ベクトルと人の認知状態の関係を示す図である。
　進入禁止領域に近づいてからその進入禁止領域を認知した場合、図４の下段に示すように、人は急停止する。進行方向と反対方向（停止方向）の躍度ベクトルが大きい場合、人の認知状態が、進行方向にある進入禁止領域を直前で認知した状態にあることが推定される。
　制御装置による進入禁止領域の設定は、このような、人の認知状態を表していると考えられる、速度ベクトル、加速度ベクトル、躍度ベクトルの３つの情報に基づいて行われる。
　図５は、進入禁止領域の設定のフェーズを含む、制御装置と移動ロボット１が行う処理の全体の流れを示す図である。
　制御装置と移動ロボット１が行う全体の処理には、人流計測フェーズ、進入禁止領域設定フェーズ、走行フェーズの各フェーズの処理が含まれる。
　人流計測フェーズは、人をトラッキングし、人流データを構成する、軌跡、速度、加速度を記録するフェーズである。
　進入禁止領域設定フェーズは、上述した人の認知を前提として、人流データに基づいて進入禁止領域地図を生成するフェーズである。進入禁止領域地図には、空間内の各領域のポテンシャルの情報が含まれる。ポテンシャルが高い領域が進入禁止領域となる。
　走行フェーズは、進入禁止領域地図に基づいて、進入禁止領域を回避するように行動計画を行い、計画した軌道に従って走行（移動）するフェーズである。
　例えば、人流計測フェーズと進入禁止領域設定フェーズが、制御装置が担当するフェーズとなる。走行フェーズが、移動ロボット１が担当するフェーズとなる。
　人流計測フェーズの処理が制御装置とは異なる装置により行われるようにしてもよいし、移動ロボット１により行われるようにしてもよい。人流計測フェーズ、進入禁止領域設定フェーズ、走行フェーズの全てのフェーズの処理が移動ロボット１により行われるようにしてもよい。
　１つのフェーズの処理が、複数の装置により分担して行われるようにしてもよい。このように、各フェーズの処理を行う装置については適宜変更可能である。各フェーズの処理の分担の例については後述する。
　このように、人の認知状態の推定結果を用いることにより、信頼性の高い進入禁止領域を容易に設定することが可能となる。
　例えば、歩行データにより表される人の位置のみに着目して進入禁止領域の設定を行うとした場合、人がよく歩くような、空間の中心付近のみが通行可能領域として設定される可能性があるが、そのようなことを防ぐことが可能となる。
　また、人が誤って立ち入った領域を通行可能領域として設定することを防ぐことが可能となる。
　さらに、人の認知状態の推定結果が用いられるため、センサなどでは検出することができない物体がある領域についても、進入禁止領域として設定することが可能となる。
　社会的な背景などにより人によって決定されるルールに従って、進入禁止領域を設定することが可能となる。移動ロボット１が走行可能であったとしても人であれば近寄らないような場所が存在することがある。人の認知状態の推定結果を用いることにより、このような人が近寄らない場所を、移動ロボット１の進入禁止領域として設定することが可能となる。
　棚の上にある物が変わった、障害物の状態が変わったなどのように、対象となる障害物の形状が変わらなくても、その状態の変化などによって、進入禁止領域とするか通行可能領域とするかを変えたいケースがある。そのような設定の変更が、人の認知状態を基準として行われるようにすることが可能となる。
＜各装置の構成例＞
　図６は、移動ロボット１の移動を管理する制御装置１１のハードウェアの構成例を示すブロック図である。
　図６に示すように、制御装置１１はコンピュータにより構成される。制御装置１１とそれぞれの移動ロボット１は、無線LAN、インターネットなどのネットワークを介して接続される。
　CPU(Central Processing Unit)２１、ROM(Read Only Memory)２２、RAM(Random Access Memory)２３は、バス２４により相互に接続されている。
　バス２４には、さらに、入出力インタフェース２５が接続される。入出力インタフェース２５には、キーボード、マウスなどよりなる入力部２６、ディスプレイ、スピーカなどよりなる出力部２７が接続される。また、入出力インタフェース２５には、ハードディスクや不揮発性のメモリなどよりなる記憶部２８、ネットワークインタフェースなどよりなる通信部２９、リムーバブルメディア３１を駆動するドライブ３０が接続される。
　以上のように構成されるコンピュータでは、CPU２１が、例えば、記憶部２８に記憶されているプログラムを入出力インタフェース２５及びバス２４を介してRAM２３にロードして実行することにより、上述した進入禁止領域の設定を含む処理が行われる。
　図７は、制御装置１１の機能構成例を示すブロック図である。図７に示す機能部のうちの少なくとも一部は、図６のCPU２１により所定のプログラムが実行されることによって実現される。
　制御装置１１においては、人流計測部５１、人流データ記憶部５２、進入禁止領域設定部５３、および進入禁止領域地図記憶部５４が実現される。
　人流計測部５１は、移動ロボット１が導入された空間に設置されたカメラにより撮影された画像を取得する。カメラにより撮影された画像には、空間内を移動する人が写っている。人流計測部５１は、取得した画像を解析し、空間内を移動する人をトラッキングすることによって人流データを生成する。人感センサ、ToF(Time of Flight)センサなどの、カメラ以外のセンサにより検出されたセンサデータに基づいて人流データが生成されるようにしてもよい。
　図８は、人流データの例を示す図である。
　人流データは、空間内を移動する人毎に生成される。図８に示すように、人流データには、ID、軌跡、速度成分、加速度成分、および躍度成分が含まれる。
　IDは、空間内を移動する人の識別情報である。
　軌跡は、人の移動の軌跡を表す。例えば、空間内の位置の時系列データにより軌跡が表される。
　速度成分は、空間内を移動する人の速度を表す。空間内に設定されたＸ軸、Ｙ軸方向を基準として、各方向の成分（x,y）の速度が速度成分により表される。
　加速度成分は、空間内を移動する人の加速度を表す。空間内に設定されたＸ軸、Ｙ軸方向を基準として、各方向の成分（x,y）の加速度が加速度成分により表される。
　躍度成分は、空間内を移動する人の躍度を表す。空間内に設定されたＸ軸、Ｙ軸方向を基準として、各方向の成分（x,y）の躍度が躍度成分により表される。
　進入禁止領域の設定に用いられる他の情報が人流計測部５１により生成され、人流データに含められるようにしてもよい。加速度や躍度が人流データに含まれず、人流データに含まれる速度に基づいて、加速度や躍度が算出されるようにしてもよい。
　人流計測部５１は、このような各情報を含む人流データを人流データ記憶部５２（図７）に出力し、記憶させる。人流データ記憶部５２には、人流データのDBが構築される。人流データのDBを構築する処理が、人流計測フェーズの処理として行われる。
　進入禁止領域設定部５３は、人流データ記憶部５２に記憶されている人流データに基づいて、上述したようにして人の認知状態を推定する。進入禁止領域設定部５３は、人の認知状態の推定結果に基づいて進入禁止領域を設定し、進入禁止領域地図を生成する。
　図９は、進入禁止領域設定部５３が行う進入禁止領域設定フェーズの処理の流れを示す図である。
　進入禁止領域設定フェーズの処理には、初期化、速度ベクトルに基づくポテンシャルの更新、加速度ベクトルに基づくポテンシャルの更新、および、躍度ベクトルに基づくポテンシャルの更新の各処理が含まれる。
　図１０は、初期化の例を示す図である。
　初期化時、進入禁止領域設定部５３は、空間内の全ての領域である領域＃１乃至＃９のポテンシャルを最大に設定する。初期化後の状態においては、領域＃１乃至＃９の全ての領域が進入禁止領域として設定されることになる。移動ロボット１による行動計画時、ポテンシャルの低い領域を移動するように行動計画が行われる。
　図１０においては、空間全体が領域＃１乃至＃９の９つの領域により構成されているが、空間の形状、空間の広さに応じて、進入禁止領域地図の形状と、進入禁止領域地図を構成する領域の数は異なるものとなる。各領域の色の濃度はポテンシャルを表す。濃度が高い領域は、ポテンシャルが高い領域となる。図１１以降においても同様である。
　図１１は、速度ベクトルに基づくポテンシャルの更新の例を示す図である。
　図２を参照して説明したように、進入禁止領域となるような領域を認知している人が、進入禁止領域に対して法線方向に移動することは少ない。このことから、速度ベクトルに基づくポテンシャルの更新は、速度ベクトルの成分方向（Ｘ軸方向、Ｙ軸方向）の領域のポテンシャルを、ベクトル長に比例して低下させるようにして行われる。
　例えば、図１１の下段に示すように、領域＃８から領域＃５に進み、続けて領域＃５から領域＃１に向かって、ある人が移動したことを表す人流データがあるものとする。この人流データにより移動の状態が表される人は、例えば、領域＃８から領域＃５に進んだときに急停止し、方向転換をして、領域＃５から領域＃１に移動したものとする。このような移動により計測される領域＃５における速度ベクトルは、矢印Ａ１のように表される。
　この場合、矢印Ａ１により表される速度ベクトルの成分方向にある領域＃２、領域＃４のポテンシャルは、それぞれ、Ｙ軸方向、Ｘ軸方向のベクトル長に比例して低下させるように更新される。図１１の上段において、白抜きの太枠で囲んで示す領域＃２、領域＃４の濃度が図１０に示す濃度より低くなっていることは、それぞれの領域のポテンシャルが低下して更新されたことを表す。
　速度の寄与率を表す重みパラメータαが、速度ベクトルに基づくポテンシャルの更新において用いられる。領域＃２、領域＃４のポテンシャルの更新の程度は、ベクトル長と重みパラメータαに基づいて算出される。
　加速度ベクトルに基づくポテンシャルの更新と躍度ベクトルに基づくポテンシャルの更新においても、それぞれ、加速度の寄与率を表す重みパラメータβと、躍度の寄与率を表す重みパラメータγとが用いられる。重みパラメータα、β、γとして、それぞれ所定の値が設定される。
　なお、領域＃１、領域＃５、領域＃８のそれぞれのポテンシャルは、例えば速度ベクトルのベクトル長に比例して最小のポテンシャルに更新される。図１１の上段において、領域＃１、領域＃５、領域＃８が白色で示されていることは、それらの領域のポテンシャルとして最小の値が設定されていることを表す。
　速度ベクトルに基づく更新に続けて、加速度ベクトルに基づくポテンシャルの更新が行われる。
　図１２は、加速度ベクトルに基づくポテンシャルの更新の例を示す図である。
　図３を参照して説明したように、認知している進入禁止領域に接近すると人は減速する。このことから、加速度ベクトルに基づくポテンシャルの更新は、加速度ベクトルの成分方向にある領域のポテンシャルを、ベクトル長に比例して低下させるようにして行われる。
　上述した移動により計測される領域＃５における加速度ベクトルは、例えば図１２の下段の矢印Ａ２のように表される。
　この場合、矢印Ａ２により表される加速度ベクトルの成分方向にある領域＃４のポテンシャルは、例えばベクトル長に比例して低下させるように更新される。領域＃４のポテンシャルの更新の程度は、ベクトル長と重みパラメータβに基づいて算出される。図１２の上段において、白抜きの太枠で囲んで示す領域＃４の濃度が図１１に示す濃度より低くなっていることは、領域＃４のポテンシャルが低下して更新されたことを表す。
　加速度ベクトルに基づく更新に続けて、躍度ベクトルに基づくポテンシャルの更新が行われる。
　図１３は、躍度ベクトルに基づくポテンシャルの更新の例を示す図である。
　図４を参照して説明したように、進入禁止領域に近づいてからその進入禁止領域を認知した場合、人は急停止する。このことから、躍度ベクトルに基づくポテンシャルの更新は、進行方向（躍度ベクトルの方向の反対方向）の領域のポテンシャルを増加させるようにして行われる。
　上述した移動により計測される領域＃５における躍度ベクトルの方向は、例えば図１３の下段の矢印Ａ３のように表される。
　この場合、急停止の直前の進行方向にある領域＃２のポテンシャルは、例えばベクトル長に応じて増加させるように更新される。領域＃２のポテンシャルの更新の程度は、重みパラメータγに基づいて算出される。図１３の上段において、白抜きの太枠で囲んで示す領域＃２の濃度が図１２に示す濃度より高くなっていることは、領域＃２のポテンシャルが増加して更新されたことを表す。
　進入禁止領域地図の各領域のポテンシャルが、それぞれの人流データにより表される速度ベクトル、加速度ベクトル、躍度ベクトルに基づいて以上のようにして更新される。図７の進入禁止領域設定部５３は、人流データにより推定される移動中の人の認知状態に基づいて、移動ロボット１の行動計画に用いられる各領域のパラメータであるポテンシャルを設定するパラメータ設定部として機能する。
　各領域のポテンシャルが設定されることによって進入禁止領域設定部５３により生成された進入禁止領域地図は、進入禁止領域地図記憶部５４に出力され、記憶される。図７の吹き出しに示すように、進入禁止領域地図は、空間を構成する各グリッド（領域）に、障害物の情報を反映したポテンシャル勾配を設定したグリッドマップとなる。
　進入禁止領域地図記憶部５４に記憶された進入禁止領域地図がそれぞれの移動ロボット１に送信され、行動計画に用いられる。
・移動ロボット１の構成
　図１４は、移動ロボット１の構成例を示すブロック図である。
　移動ロボット１は、制御部１０１、移動部１０２、カメラ１０３、センサ１０４、通信部１０５、および電源部１０６により構成される。
　制御部１０１は、コンピュータにより構成される。制御部１０１は、CPUにより所定のプログラムを実行し、移動ロボット１の全体の動作を制御する。
　移動部１０２は、制御部１０１による制御に従ってモーターやギアを駆動させることによってタイヤを回転させ、スピードと方向を調整しながら移動ロボット１の移動を実現する。
　カメラ１０３は、RGB画像を撮影するRGBカメラ、IR画像を撮影するIRカメラなどにより構成される。カメラ１０３により撮影された画像は制御部１０１に出力される。
　センサ１０４は、加速度センサ、ジャイロセンサ、人感センサ、移動部１０２に設けられるタイヤの回転量を検出するエンコーダ、LiDARなどの各種のセンサにより構成される。センサ１０４によるセンシング結果を表す情報は制御部１０１に出力される。
　カメラ１０３とセンサ１０４のうちの少なくともいずれかが移動ロボット１の外部に設けられるようにしてもよい。この場合、移動ロボット１の外部に設けられたカメラにより撮影された画像、センサによるセンシング結果を表す情報は、無線通信を介して移動ロボット１に対して送信される。
　通信部１０５は、制御装置１１との間で無線通信を行う。例えば、通信部１０５は、制御装置１１から送信されてきた進入禁止領域地図を受信し、制御部１０１に出力する。
　電源部１０６は、バッテリを有している。電源部１０６は、移動ロボット１の各部に対して電源を供給する。
　制御部１０１においては、所定のプログラムが実行されることによって行動計画部１１１と移動制御部１１２が実現される。図５の走行フェーズの処理が、行動計画部１１１と移動制御部１１２により行われる。
　行動計画部１１１は、移動ロボット１の各種の行動を計画する。例えば、行動計画部１１１は、制御装置１１により生成された進入禁止領域地図に基づいて、進入禁止領域を回避しながら移動するように行動計画を行う。行動計画によって得られた軌道の情報は移動制御部１１２に供給される。
　行動計画において、各領域のポテンシャルがそのまま用いられるようにしてもよいし、閾値を用いた二値化後のポテンシャルが用いられるようにしてもよい。例えば、閾値以上のポテンシャルが設定されている領域は進入禁止領域として扱われる。
　移動制御部１１２は、移動部１０２を駆動させ、行動計画部１１１による行動計画によって得られた軌道に従って移動ロボット１を移動させる。
　以上のように、人の認知状態の推定結果に基づいてポテンシャルの設定が行われるため、制御装置１１は、信頼性の高い進入禁止領域を容易に設定することが可能となる。
　また、移動ロボット１は、信頼性の高い進入禁止領域に基づいて、進入禁止領域をより確実に回避しながら移動することができる。
＜実施の形態１：基本形＞
　人流計測フェーズにおいては、空間内の人の動きのトラッキングが行われる。人の動きのトラッキングが、カメラを含む、空間内に設置されたセンシングシステムを用いて行われるようにしてもよいし、移動ロボット１に搭載された内部のカメラを用いて行われるようにしてもよい。
　進入禁止領域設定フェーズにおいては、図９乃至図１３を参照して説明した手法に基づいてポテンシャルが更新され、進入禁止領域地図が生成される。
　走行フェーズにおいては、進入禁止領域地図を用いて行動計画が行われる。行動計画のアルゴリズムに応じて、適宜、進入禁止領域地図の利用形態が変更される。例えば、ポテンシャル勾配に基づく行動計画、または、閾値を基準として二値化した白黒画像に対して、RRT(Rapidly Exploring Random Tree)やA*などの手法を用いた行動計画が行われる。
＜実施の形態２：ポテンシャルの更新を誤るケースに対する対応＞
　人の認知状態に着目してポテンシャルの更新が行われるとした場合、ある人が、他人がいることを認知して避けた場合も、障害物を避けたものとしてポテンシャルの更新が行われてしまう。このような他人による干渉に応じた行動がポテンシャルの更新に反映されないように、人流データの無効化が行われるようにしてもよい。
　図１５は、人流データの例を示す図である。
　図１５には、領域＃１２から領域＃１５に移動してきた人物Ｈ１の軌道と、領域＃１８から領域＃１５に移動してきた人物Ｈ２の軌道が示されている。人物Ｈ１は、前方にいる人物Ｈ２を回避するように、領域＃１５から領域＃１６に向かって移動している。同様に、人物Ｈ２は、前方にいる人物Ｈ１を回避するように、領域＃１５から領域＃１４に向かって移動している。領域＃１１乃至＃１９から構成される空間内には障害物などがないものとする。
　人の認知状態に着目してポテンシャルの更新が行われるとした場合、障害物がないにも関わらず、このような回避行動がポテンシャルの更新に反映されてしまう。
　制御装置１１の進入禁止領域設定部５３においては、一定の範囲内に複数の人が存在する場合、その複数の人の人流データに基づくポテンシャルの更新が行われない。すなわち、人流データが無効なものとして扱われ、ポテンシャルの更新に用いられない。言い換えると、一定の範囲に存在する人が所定の数より少ない場合の人流データが人の認知状態の推定に用いられ、推定された人の認知状態に基づいて、ポテンシャルの更新が行われる。
　これにより、ある程度の人が混在する状況において計測された人流データを活用してポテンシャルの更新が行われるようにすることが可能となる。
＜実施の形態３：環境に合わせた重みパラメータの設定＞
　図１６は、空間の例を示す平面図である。
　図１６の上段に示す空間は、人の移動の方向が一様の方向となる通路のような空間である。通路の両脇には壁が存在する。図１６の例においては、下方向に向かって人物Ｈ１が移動している。
　このような空間において計測された人流データに基づいてポテンシャルの更新が行われるとした場合、人は対向する物体からできるだけ避けようとするため、長手方向（Ｘ軸方向）の移動に対して、短手方向（Ｙ軸方向）の移動の方が、禁止領域の存在とより大きな相関を持つと考えられる。すなわち、図１６の下段に示すように、通路内の特定領域が進入禁止領域として設定されやすくなる。
　この場合、空間の特徴に合わせて、ポテンシャルの更新に用いる要素に対して重み（バイアス）が設定される。制御装置１１の進入禁止領域設定部５３においては、重みを考慮して、ポテンシャルの更新が行われる。
　例えば、Ｘ軸方向の移動とＹ軸方向の移動のそれぞれに対して同じ重みパラメータα,β,γが設定されるのではなく、空間形状に合わせて、Ｘ軸方向の移動とＹ軸方向の移動のそれぞれに対して異なる重みパラメータα,β,γが設定される。
　図１６の例の場合、例えば速度ベクトルの寄与率を表す重みパラメータαに注目すると、Ｘ軸方向の移動に応じた重みパラメータαｘより、Ｙ軸方向の移動に応じた重みパラメータαｙの方が大きく設定される。これにより、Ｙ軸方向の移動に応じてポテンシャルの更新がより敏感に行われるような特性を、速度ベクトルに基づくポテンシャルの更新に持たせることが可能となる。
　このように、進入禁止領域設定部５３においては、形状などの、人が移動する空間の特性に応じた重みパラメータが設定され、ポテンシャルの更新が行われる。
＜実施の形態４：付加情報を用いた重みパラメータの自動調整＞
　ポテンシャルの更新において用いられる重みパラメータα，β，γが、センシングによって得られた付加情報に基づいて調整されるようにしてもよい。
　上述したように、重みパラメータαは、速度ベクトルに基づくポテンシャルの更新に用いられるパラメータである。重みパラメータβは、加速度ベクトルに基づくポテンシャルの更新に用いられるパラメータである。重みパラメータγは、躍度ベクトルに基づくポテンシャルの更新に用いられるパラメータである。
　例えば、移動する人の年齢に応じて重みパラメータの調整が行われる。この場合、重みパラメータの調整に用いられる付加情報は、年齢の推定結果となる。人流計測フェーズにおいては、カメラにより撮影された画像を解析するなどして、移動する人の年齢が推定される。
　移動する人が高齢者である場合、視力／認知機能／身体機能の低下などにより、その人の認知は、近傍の状態判断に頼りがちになる。この場合、重みパラメータβの値として小さい値が設定され、事前判断による移動がポテンシャルの更新に反映されにくくなるような調整が行われる。また、重みパラメータα，β，γの全ての値として小さい値が設定され、全ての移動が、ポテンシャルの更新に反映されにくくなるような調整が行われる。
　一方、移動する人が若者である場合、視力／認知機能／身体機能がいずれも高いことから、状況判断の信頼性が高いといえる。この場合、重みパラメータα，β，γの全ての値として大きい値が設定され、全ての移動が、ポテンシャルの更新に反映されやすくなるような調整が行われる。
　また、移動する人の視線に合わせて重みパラメータの調整が行われる。この場合、重みパラメータの調整に用いられる付加情報は、顔の向きとなる。ここでは、視線の方向と顔の向きが一致するものとされている。人流計測フェーズにおいては、カメラにより撮影された画像を解析するなどして、移動する人の顔の向きが検出される。
　通常、人は、進入禁止領域を視覚によって認知し、その後、回避行動を開始する。速度ベクトルの方向と視線方向が一致しない場合、直前に認知した進入禁止領域を目で追いながら回避行動を取っている可能性が高いと考えられる。
　速度ベクトルに基づくポテンシャルの更新において用いられる重みパラメータαの値として大きい値が設定され、移動速度がポテンシャルの更新に反映されやすくなるような調整が行われる。
　このように、制御装置１１の進入禁止領域設定部５３においては、年齢や視線などの、移動している人の特徴を付加情報として用いて重みパラメータが調整され、調整後の重みパラメータを用いてポテンシャルの更新が行われる。付加情報を用いることにより、進入禁止領域設定部５３は、より正確かつ詳細な認知状態を進入禁止領域の設定に反映させることが可能となる。
＜実施の形態５：人の姿勢を考慮することによる３次元対応＞
　ＸＹ平面上の速度、加速度、躍度を用いた処理に加えて、縦方向（Ｚ軸方向）についても同様の処理を行うことにより、３次元空間の進入禁止領域地図を生成することが可能となる。
　この場合、人流計測フェーズにおいては、ＸＹ平面上の位置の検出に加えて、３次元空間におけるボーン形状の推定が行われる。また、ボーン形状の推定結果に基づいて、図１７に示すように、移動している人の特定の部位としての例えば頭部と足先がそれぞれ検出される。
　図１７の例においては、頭部と足先のＹＺ平面上の位置が検出されている。人流計測フェーズにおいては、このような検出結果に基づいて、頭部の速度、加速度、躍度と、足先の速度、加速度、躍度を含む人流データが計測される。
　このような人流データに基づいて人の認知状態の推定が行われ、ＸＹ平面上の処理と同様にしてポテンシャルの更新が行われることにより、例えば、頭上に障害物がある場合に頭を下げるような回避行動が３次元空間上の各領域のポテンシャルの更新に反映される。なお、頭と足先の間の図１７の領域＃２５は、通行可能領域となるようにポテンシャルの更新が行われる。
　このように、３次元空間上の各領域のポテンシャルの更新が、人の認知状態の推定結果に基づいて行われるようにすることが可能である。３次元空間上の進入禁止領域地図を用いることにより、いわゆるドローンなどの飛行体が移動する場合の行動計画や、ロボットアーム等の行動計画にも本技術を適用することが可能となる。すなわち、本技術は、平面上を動く移動ロボット１の行動計画だけでなく、３次元空間上を動くロボットの行動計画にも適用可能である。
＜その他＞
　移動ロボット１がタイヤを用いて移動するロボットであるものとしたが、二足歩行が可能な人型のロボットや四足歩行が可能な動物型のロボットを用いる場合にも、本技術は適用可能である。すなわち、本技術は、ロボット、ドローン、ロボットアーム、自動車を含む各種の移動体の行動計画に適用可能である。
　人の認知状態の推定結果に基づいて更新される各領域のパラメータがポテンシャル法で用いられるポテンシャルであるものとしたが、行動計画に用いられる他のパラメータの設定が人の認知状態の推定結果に基づいて行われるようにしてもよい。
　以上においては、人流計測フェーズと進入禁止領域設定フェーズの処理が制御装置１１により行われ、走行フェーズの処理が移動ロボット１により行われるものとしたが、各フェーズの処理を担当する装置の組み合わせは任意に変更可能である。
　図１８乃至図２０は、情報処理システムの他の構成例を示すブロック図である。
　図１８の例においては、人流計測部５１と人流データ記憶部５２が制御装置１１に設けられ、進入禁止領域設定部５３、進入禁止領域地図記憶部５４、行動計画部１１１、および移動制御部１１２が移動ロボット１に設けられている。図１８に示す情報処理システムの構成は、人流計測フェーズの処理が制御装置１１により行われ、進入禁止領域設定フェーズと走行フェーズの処理が移動ロボット１により行われる場合の構成となる。
　図１９の例においては、人流計測部５１と人流データ記憶部５２が計測装置に設けられ、進入禁止領域設定部５３と進入禁止領域地図記憶部５４が制御装置１１に設けられ、行動計画部１１１と移動制御部１１２が移動ロボット１に設けられている。図１９に示す情報処理システムの構成は、人流計測フェーズの処理が計測装置により行われ、進入禁止領域設定フェーズの処理が制御装置１１により行われ、走行フェーズの処理が移動ロボット１により行われる場合の構成となる。
　このように、人流計測フェーズの処理が、移動ロボット１と制御装置１１以外の装置により行われるようにすることが可能である。
　図２０の例においては、人流計測部５１、人流データ記憶部５２、進入禁止領域設定部５３、進入禁止領域地図記憶部５４、行動計画部１１１、および移動制御部１１２が移動ロボット１に設けられている。図２０に示す情報処理システムの構成は、人流計測フェーズ、進入禁止領域設定フェーズ、および走行フェーズの全てのフェーズの処理が移動ロボット１により行われる場合の構成となる。移動ロボット１は、人流計測フェーズ、進入禁止領域設定フェーズ、および走行フェーズの全てのフェーズの処理を行う情報処理装置として機能する。
・プログラムについて
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
　インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図６に示されるリムーバブルメディア３１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM２２や記憶部２８に、あらかじめインストールしておくことができる。
　コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　人流データにより推定される移動中の人の認知状態に基づいて、移動体の行動計画に用いられる各領域のパラメータを設定するパラメータ設定部を備える
　情報処理装置。
（２）
　前記パラメータ設定部は、移動の軌跡とともに前記人流データに含まれる速度に基づいて人の認知状態を推定する
　前記（１）に記載の情報処理装置。
（３）
　前記パラメータ設定部は、移動の軌跡とともに前記人流データに含まれる加速度と躍度に基づいて人の認知状態を推定する
　前記（２）に記載の情報処理装置。
（４）
　前記パラメータ設定部は、前記人流データにより表される速度ベクトルに基づいて、前記速度ベクトルの成分方向にある領域の前記パラメータを更新する
　前記（３）に記載の情報処理装置。
（５）
　前記パラメータ設定部は、前記人流データにより表される加速度ベクトルに基づいて、前記加速度ベクトルの成分方向にある領域の前記パラメータを更新する
　前記（４）に記載の情報処理装置。
（６）
　前記パラメータ設定部は、前記人流データにより表される躍度ベクトルに基づいて、前記躍度ベクトルの成分方向と反対方向にある領域の前記パラメータを更新する
　前記（５）に記載の情報処理装置。
（７）
　前記パラメータは、ポテンシャル法によって前記行動計画を行う場合に用いられるポテンシャルであり、
　前記パラメータ設定部は、
　前記速度ベクトルに基づく前記ポテンシャルの更新と前記加速度ベクトルに基づく前記ポテンシャルの更新とを、前記ポテンシャルを低下させるようにして行い、
　前記躍度ベクトルに基づく前記ポテンシャルの更新を、前記ポテンシャルを増加させるようにして行う
　前記（６）に記載の情報処理装置。
（８）
　前記パラメータ設定部は、一定の範囲に存在する人の数が所定の数より少ない場合の前記人流データにより推定される移動中の人の認知状態に基づいて、前記パラメータの設定を行う
　前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
　前記パラメータ設定部は、前記速度ベクトル、前記加速度ベクトル、および前記躍度ベクトルのそれぞれに基づく前記パラメータの更新の程度を表す重みを、人が移動する空間の形状に基づいて設定する
　前記（６）または（７）に記載の情報処理装置。
（１０）
　前記パラメータ設定部は、移動中の人の特徴に応じた付加情報に基づいて、前記パラメータの更新の程度を調整する
　前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）
　前記パラメータ設定部は、人の特定の部位の３次元空間上における移動の軌跡とともに前記人流データに含まれる速度と加速度に基づいて人の認知状態を推定し、３次元空間を構成する各領域の前記パラメータを設定する
　前記（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
　移動中の人をセンサデータに基づいて検出し、前記人流データを生成する人流計測部をさらに備える
　前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
　前記パラメータが設定された領域の情報である地図情報に基づいて前記行動計画を行う行動計画部をさらに備える
　前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
　情報処理装置が、
　人流データにより推定される移動中の人の認知状態に基づいて、移動体の行動計画に用いられる各領域のパラメータを設定する
　情報処理方法。
（１５）
　コンピュータに、
　人流データにより推定される移動中の人の認知状態に基づいて、移動体の行動計画に用いられる各領域のパラメータを設定する
　処理を実行させるためのプログラム。
　１－１乃至１－３　移動ロボット，　１１　制御装置，　５１　人流計測部，　５２　人流データ記憶部，　５３　進入禁止領域設定部，　５４　進入禁止領域地図記憶部，　１０１　制御部，　１０２　移動部，　１０３　カメラ，　１０４　センサ，　１０５　通信部，　１１１　行動計画部，　１１２　移動制御部

Claims (15)

  1. 　人流データにより推定される移動中の人の認知状態に基づいて、移動体の行動計画に用いられる各領域のパラメータを設定するパラメータ設定部を備える
    　情報処理装置。
  2. 　前記パラメータ設定部は、移動の軌跡とともに前記人流データに含まれる速度に基づいて人の認知状態を推定する
    　請求項１に記載の情報処理装置。
  3. 　前記パラメータ設定部は、移動の軌跡とともに前記人流データに含まれる加速度と躍度に基づいて人の認知状態を推定する
    　請求項２に記載の情報処理装置。
  4. 　前記パラメータ設定部は、前記人流データにより表される速度ベクトルに基づいて、前記速度ベクトルの成分方向にある領域の前記パラメータを更新する
    　請求項３に記載の情報処理装置。
  5. 　前記パラメータ設定部は、前記人流データにより表される加速度ベクトルに基づいて、前記加速度ベクトルの成分方向にある領域の前記パラメータを更新する
    　請求項４に記載の情報処理装置。
  6. 　前記パラメータ設定部は、前記人流データにより表される躍度ベクトルに基づいて、前記躍度ベクトルの成分方向と反対方向にある領域の前記パラメータを更新する
    　請求項５に記載の情報処理装置。
  7. 　前記パラメータは、ポテンシャル法によって前記行動計画を行う場合に用いられるポテンシャルであり、
    　前記パラメータ設定部は、
    　前記速度ベクトルに基づく前記ポテンシャルの更新と前記加速度ベクトルに基づく前記ポテンシャルの更新とを、前記ポテンシャルを低下させるようにして行い、
    　前記躍度ベクトルに基づく前記ポテンシャルの更新を、前記ポテンシャルを増加させるようにして行う
    　請求項６に記載の情報処理装置。
  8. 　前記パラメータ設定部は、一定の範囲に存在する人の数が所定の数より少ない場合の前記人流データにより推定される移動中の人の認知状態に基づいて、前記パラメータの設定を行う
    　請求項１に記載の情報処理装置。
  9. 　前記パラメータ設定部は、前記速度ベクトル、前記加速度ベクトル、および前記躍度ベクトルのそれぞれに基づく前記パラメータの更新の程度を表す重みを、人が移動する空間の形状に基づいて設定する
    　請求項６に記載の情報処理装置。
  10. 　前記パラメータ設定部は、移動中の人の特徴に応じた付加情報に基づいて、前記パラメータの更新の程度を調整する
    　請求項１に記載の情報処理装置。
  11. 　前記パラメータ設定部は、人の特定の部位の３次元空間上における移動の軌跡とともに前記人流データに含まれる速度と加速度に基づいて人の認知状態を推定し、３次元空間を構成する各領域の前記パラメータを設定する
    　請求項１に記載の情報処理装置。
  12. 　移動中の人をセンサデータに基づいて検出し、前記人流データを生成する人流計測部をさらに備える
    　請求項１に記載の情報処理装置。
  13. 　前記パラメータが設定された領域の情報である地図情報に基づいて前記行動計画を行う行動計画部をさらに備える
    　請求項１に記載の情報処理装置。
  14. 　情報処理装置が、
    　人流データにより推定される移動中の人の認知状態に基づいて、移動体の行動計画に用いられる各領域のパラメータを設定する
    　情報処理方法。
  15. 　コンピュータに、
    　人流データにより推定される移動中の人の認知状態に基づいて、移動体の行動計画に用いられる各領域のパラメータを設定する
    　処理を実行させるためのプログラム。
PCT/JP2021/006073 2020-03-04 2021-02-18 情報処理装置、情報処理方法、およびプログラム WO2021177043A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/802,957 US20230086153A1 (en) 2020-03-04 2021-02-18 Information processing apparatus, information processing method, and program
JP2022505113A JPWO2021177043A1 (ja) 2020-03-04 2021-02-18

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-036522 2020-03-04
JP2020036522 2020-03-04

Publications (1)

Publication Number Publication Date
WO2021177043A1 true WO2021177043A1 (ja) 2021-09-10

Family

ID=77612639

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/006073 WO2021177043A1 (ja) 2020-03-04 2021-02-18 情報処理装置、情報処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US20230086153A1 (ja)
JP (1) JPWO2021177043A1 (ja)
WO (1) WO2021177043A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001082966A (ja) * 1999-05-06 2001-03-30 Nissan Motor Co Ltd 車両用報知装置
JP2009157735A (ja) * 2007-12-27 2009-07-16 Toyota Motor Corp 移動体、及び車両用警告装置
JP2009198454A (ja) * 2008-02-25 2009-09-03 Mitsubishi Electric Corp 位置検知システム、位置検知サーバおよび端末
JP2017090796A (ja) * 2015-11-16 2017-05-25 トヨタ自動車株式会社 地図作成方法
JP2019079247A (ja) * 2017-10-24 2019-05-23 日本電信電話株式会社 移動体制御装置、移動体制御方法及び移動体制御システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001082966A (ja) * 1999-05-06 2001-03-30 Nissan Motor Co Ltd 車両用報知装置
JP2009157735A (ja) * 2007-12-27 2009-07-16 Toyota Motor Corp 移動体、及び車両用警告装置
JP2009198454A (ja) * 2008-02-25 2009-09-03 Mitsubishi Electric Corp 位置検知システム、位置検知サーバおよび端末
JP2017090796A (ja) * 2015-11-16 2017-05-25 トヨタ自動車株式会社 地図作成方法
JP2019079247A (ja) * 2017-10-24 2019-05-23 日本電信電話株式会社 移動体制御装置、移動体制御方法及び移動体制御システム

Also Published As

Publication number Publication date
US20230086153A1 (en) 2023-03-23
JPWO2021177043A1 (ja) 2021-09-10

Similar Documents

Publication Publication Date Title
JP7465615B2 (ja) 航空機のスマート着陸
US11726498B2 (en) Aerial vehicle touchdown detection
US11787543B2 (en) Image space motion planning of an autonomous vehicle
CN108303972B (zh) 移动机器人的交互方法及装置
KR20210068446A (ko) 지형 인식 스텝 플래닝 시스템
US11565416B2 (en) Transporting robot and method for controlling the same
Bipin et al. Autonomous navigation of generic monocular quadcopter in natural environment
Arreola et al. Object recognition and tracking using Haar-like Features Cascade Classifiers: Application to a quad-rotor UAV
WO2021037071A1 (zh) 一种飞行控制方法及相关装置
Wu et al. Vision-based target detection and tracking system for a quadcopter
Park et al. Autonomous person pacing and following with model predictive equilibrium point control
Chen et al. A review of autonomous obstacle avoidance technology for multi-rotor UAVs
WO2022126396A1 (zh) 状态信息确定方法、装置、平台及计算机可读存储介质
Lamers et al. Self-supervised monocular distance learning on a lightweight micro air vehicle
WO2021177043A1 (ja) 情報処理装置、情報処理方法、およびプログラム
EP3832421A1 (en) Information processing device, action determination method, and program
KR20210007965A (ko) 제어 장치, 제어 방법 및 프로그램
Dinaux et al. FAITH: Fast iterative half-plane focus of expansion estimation using optic flow
Wei et al. Deep reinforcement learning with heuristic corrections for UGV navigation
Kivrak et al. A multilevel mapping based pedestrian model for social robot navigation tasks in unknown human environments
US20190314983A1 (en) Recording medium, information processing apparatus, and information processing method
Haque et al. Vision based trajectory following robot and swarm
Stevens Autonomous Visual Navigation of a Quadrotor VTOL in complex and dense environments
Li et al. Design and Implementation of Autonomous Navigation System Based on Tracked Mobile Robot
Kivrak et al. Socially aware robot navigation using the collision prediction based pedestrian model

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21764012

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022505113

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21764012

Country of ref document: EP

Kind code of ref document: A1