WO2023176341A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2023176341A1
WO2023176341A1 PCT/JP2023/006369 JP2023006369W WO2023176341A1 WO 2023176341 A1 WO2023176341 A1 WO 2023176341A1 JP 2023006369 W JP2023006369 W JP 2023006369W WO 2023176341 A1 WO2023176341 A1 WO 2023176341A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
mode
robot
following
aircraft
Prior art date
Application number
PCT/JP2023/006369
Other languages
English (en)
French (fr)
Inventor
喜恵 堀内
直之 佐藤
郁人 吉川
紀明 高木
曜介 志水
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023176341A1 publication Critical patent/WO2023176341A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions

Definitions

  • the present invention relates to an information processing device, an information processing method, and a program.
  • the present disclosure proposes an information processing device, an information processing method, and a program that can perform good interactions with people.
  • an information processing device including a following parallel running switching unit that switches a robot's movement mode between a following mode in which the robot follows a user and a parallel running mode in which the robot runs parallel to the user.
  • an information processing method in which the information processing of the information processing device is executed by a computer, and a program that causes the computer to realize the information processing of the information processing device.
  • FIG. 2 is a diagram showing an example of the configuration of a robot.
  • FIG. 3 is a diagram illustrating an example of a processing flow regarding switching of movement modes.
  • FIG. 3 is a diagram illustrating an example of a processing flow regarding switching of aircraft modes.
  • FIG. 6 is a diagram illustrating an example of selecting a movement mode that does not interfere with the movement of surrounding objects.
  • FIG. 3 is a diagram illustrating an example of selection of a movement mode based on the unpredictability of a trajectory.
  • FIG. 3 is a diagram illustrating an example of selection of a movement mode in conjunction with user behavior.
  • FIG. 6 is a diagram illustrating an example of switching of movement modes in response to presentation of information to a user.
  • FIG. 3 is a diagram illustrating an example of a processing flow regarding switching of movement modes.
  • FIG. 3 is a diagram illustrating an example of a processing flow regarding switching of aircraft modes.
  • FIG. 6 is a diagram illustrating an example of selecting a movement mode that does not
  • FIG. 7 is a diagram illustrating an example of selecting an aircraft mode that does not interfere with the movement of surrounding objects.
  • FIG. 7 is a diagram illustrating another example of selecting an aircraft mode that does not interfere with the movement of surrounding objects.
  • FIG. 4 is a diagram illustrating an example of selecting an aircraft mode based on the difficulty of user sensing.
  • FIG. 6 is a diagram illustrating an example of selecting an aircraft mode based on difficulty of tracking.
  • FIG. 7 is a diagram illustrating another example of selecting an aircraft mode based on difficulty of tracking.
  • FIG. 1 is a diagram illustrating an example of a hardware configuration of an information processing device.
  • FIG. 1 is a diagram showing an example of the configuration of a robot MB.
  • the robot MB is an autonomous mobile robot MB that has a following function and a parallel running function for the user US (see FIG. 4).
  • the robot MB moves autonomously while recognizing its surroundings (external world) based on sensor information.
  • the robot MB includes a sensor unit SE, an information processing device PR, and a body actuator AC.
  • the sensor unit SE includes a plurality of sensors for sensing the outside world.
  • the sensor unit SE includes a camera, a depth sensor, a laser ranging sensor, a receiving device that receives various information transmitted from a beacon, and the like.
  • Information processing device RR recognizes the outside world based on sensor information acquired from sensor unit SE.
  • the information processing device PR plans the movement route of the robot MB based on information from the outside world, and controls the body of the robot MB based on the planned movement route.
  • the information processing device PR includes a recognition section 10, a following/parallel running planning section 20, and an aircraft control section 30.
  • the recognition unit 10 recognizes the outside world based on sensor information acquired from the sensor unit SE.
  • the recognition unit 10 includes an environmental situation recognition unit 11 , a user recognition unit 12 , an action recognition unit 13 , and an obstacle recognition unit 14 .
  • the environmental situation recognition unit 11 recognizes the situation (environmental situation) in which the robot MB is placed.
  • the environmental situation includes the location where the robot MB is, the degree of congestion around the robot MB, the behavior required of the robot MB in the location where the robot MB is, and the like.
  • the environmental situation recognition unit 11 acquires information on the location of the robot MB (location information), information on the degree of congestion, information on the requested operation, etc. as information indicating the environmental situation.
  • the environmental situation recognition unit 11 estimates the degree of surrounding congestion by analyzing images from a camera built into the robot MB.
  • the environmental situation recognition unit 11 may estimate the degree of congestion by analyzing information obtained from cameras, infrared sensors, etc. installed in the surrounding environment.
  • the environmental situation recognition unit 11 may obtain data on the number of people in the room from a gate in the facility and estimate the degree of crowding in the room.
  • the environmental situation recognition unit 11 acquires location information of the robot MB using SLAM (Simultaneous Localization and Mapping). For example, the environmental situation recognition unit 11 uses a laser sensor to acquire environmental features of the surrounding environment in advance. The environmental situation recognition unit 11 estimates where the robot MB is located in the map by comparing the environmental feature amount acquired during the movement of the robot MB with the environmental feature amount acquired in advance (feature amount matching).
  • SLAM Simultaneous Localization and Mapping
  • the environmental situation recognition unit 11 may acquire location information of the robot MB by communicating with a beacon or UWB (Ultra Wide Band) system installed in the surrounding environment.
  • the environmental situation recognition unit 11 may acquire the location information of the robot MB using dead reckoning. For example, if the robot MB has wheels for movement, the position of the robot MB is estimated based on the number of rotations of the wheels. When the robot MB has legs for movement, the position of the robot MB is estimated based on the drive amount of the actuator that moves the legs.
  • the environmental situation recognition unit 11 may use a combination of the above-mentioned methods (SLAM, communication with beacons, etc., dead reckoning) (sensor fusion). As a result, more accurate location information of the robot MB can be obtained.
  • the environmental situation recognition unit 11 recognizes request operations such as presentation of store information and advertising information to the user US based on information from beacons and the like installed in the surrounding environment.
  • the user recognition unit 12 recognizes the user US who is the target of interaction, and acquires information such as the user US's position and movement speed. For example, the user recognition unit 12 acquires an image of the surroundings of the robot MB from a camera built into the robot MB or a camera installed in the surrounding environment of the robot MB. The user recognition unit 12 recognizes the user US appearing in the image using a method such as deep learning or feature matching.
  • the user recognition unit 12 may recognize the user US using a depth sensor. For example, the user recognition unit 12 recognizes a human-like moving object near the robot MB as the user US, and performs identification by tracking this moving object. Humanity can be determined by size or by using machine learning.
  • the user recognition unit 12 may recognize the user US by communicating with a terminal held by the user US (user US side terminal). For example, the user recognition unit 12 determines the approximate direction of the person using wireless communication with the user's US terminal (for example, Bluetooth (registered trademark) connection with a smartphone or communication with a UWB tag). The user recognition unit 12 recognizes the moving object existing in the determined direction as the user US. Since the accuracy of determining the direction based on the communication strength is low, it may be combined with a recognition method using a camera image or a recognition method using a depth sensor. Thereby, highly accurate recognition of the user US is performed.
  • the user recognition unit 12 acquires gait data from the user US side terminal, and recognizes the user US by comparing the walking speed estimated from the gait data with the walking speed estimated from the camera image. good.
  • Gait data can be acquired from an IMU (Inertial Measurement Unit) sensor of a smartphone or the like. When combined with a recognition method using a depth sensor, the user US can be recognized with higher accuracy.
  • IMU Inertial Measurement Unit
  • the behavior recognition unit 13 recognizes the behavior of the user US. Recognized actions include both those performed as a means of communicating intentions (gestures) and those performed for purposes other than communicating intentions (actions other than gestures).
  • the behavior recognition unit 13 uses deep learning to recognize the behavior of the user US reflected in the camera.
  • the action recognition unit 13 analyzes the motion data acquired from the user US side terminal. The behavior of the user US may be recognized.
  • the obstacle recognition unit 14 recognizes obstacles that the robot MB must avoid. For example, the obstacle recognition unit 14 recognizes the shape of obstacles existing around the robot MB and the distance to the obstacles using a laser ranging sensor.
  • the following/parallel running planning unit 20 plans a following position or a parallel running position based on the external world information recognized by the recognition unit 10.
  • the tracking position is the target position of the robot MB when the robot MB is caused to follow the user US.
  • the parallel running position is a target position of the robot MB when the robot MB runs parallel to the user US.
  • the following/parallel running planning unit 20 includes a following/parallel running switching unit 21 and a target position planning unit 22.
  • the following parallel running switching unit 21 switches the movement mode (movement mode) of the robot MB between the following mode and the parallel running mode based on a switching trigger extracted from external world information.
  • the tracking mode is a movement mode in which the robot MB follows the user US.
  • the parallel running mode is a movement mode in which the robot MB runs parallel to the user US.
  • a switching trigger means a specific event detected in the outside world.
  • the tracking parallel running switching unit 21 can detect changes in the moving environment of the user US, changes in the positional relationship between the user US and the robot MB, and the user US's explicit intentions (gestures, etc.) and the user US's implied intentions ( (e.g., the purpose of the user US's action that is inferred from the situation) is detected as a switching trigger.
  • the target position planning unit 22 plans the position to which the robot MB should move (target position). For example, in the tracking mode, a position 1 m or more away from the user US is planned as the target position (following position), taking into consideration the braking distance of the robot MB. In parallel running mode, in order to make it easier to operate the terminal on the robot MB, the target position (parallel running position) is a position within 50 cm from the right side of the user US (or left side if the user US is left-handed). It is planned as
  • the aircraft control unit 30 controls various devices mounted on the aircraft, such as a display unit and a communication unit.
  • the body control unit 30 plans a trajectory for moving the robot MB to the target position while avoiding obstacles.
  • the body control unit 30 controls the body actuator AC to move the robot MB along a planned trajectory.
  • a method using machine learning may be used, or a method combining a route planning method such as A* and a route following method such as DWA (Dynamic Window Approach) may be used.
  • the body actuator AC drives an autonomous movement mechanism (wheels, legs, etc.) built into the robot MB under the control of the body control unit 30.
  • the robot MB has a structure that can be split into two split machines, the following and parallel running may be performed by separate split machines.
  • the split aircraft that follows is referred to as a follower aircraft FU (see FIG. 8)
  • the split aircraft that runs parallel is referred to as a parallel aircraft PL (see FIG. 8).
  • Each split aircraft has a sensor unit SE, an autonomous movement mechanism, and an airframe actuator AC, and autonomously moves under the control of the information processing device PR.
  • Each split aircraft has a built-in communications department.
  • the information processing device PR is mounted on only one of the split aircraft, and the control signal of the information processing device PR is supplied to the other split aircraft via communication. Since the parallel running aircraft PL is required to have high footwork, it is assumed that the parallel running aircraft PL has a more compact structure than the following aircraft FU. Therefore, it is preferable that the information processing device PR is mounted on the follower aircraft FU.
  • the following parallel running switching unit 21 switches the body mode (aspect of the body) of the robot MB between the splitting mode and the integrated mode based on the splitting trigger extracted from external world information.
  • the splitting mode is a machine mode in which the robot MB is split into a following machine FU and a parallel running machine PL.
  • the integration mode is an aircraft mode that integrates the following aircraft FU and the parallel aircraft PL. Since the splitting mode includes aspects of both following and parallel running, it can be considered a subspecies of the parallel running mode or a subspecies of the following mode.
  • a fission trigger means a specific event detected in the outside world.
  • the tracking parallel running switching unit 21 can detect changes in the moving environment of the user US, changes in the positional relationship between the user US and the robot MB, and the user US's explicit intentions (gestures, etc.) and the user US's implied intentions ( (e.g., the purpose of the user US's actions that is inferred from the situation) is detected as a splitting trigger.
  • the target position planning unit 22 plans the target position of the splitting aircraft for each splitting aircraft.
  • the aircraft control unit 30 plans the trajectory of the split aircraft for each split aircraft.
  • the aircraft control unit 30 controls the aircraft actuator AC to move the split aircraft along a planned trajectory.
  • FIG. 2 is a diagram illustrating an example of a processing flow regarding switching of movement modes.
  • the recognition unit 10 recognizes external world information, such as the environmental situation around the robot MB, the position, movement speed, and behavior of the user US who is the object of interaction, based on the sensor information (step S1).
  • the following/parallel running planning unit 20 determines whether there is an event in the outside world that triggers switching of the movement mode of the robot MB (whether or not the following/parallel running switching condition is satisfied) (step S2).
  • the following/parallel running planning unit 20 determines that the following/parallel running switching condition is satisfied when the switching trigger exists, and determines that the following/parallel running switching condition is not satisfied when the switching trigger does not exist. judge.
  • step S3 If the following/parallel running switching condition is not satisfied (step S2: No), the following/parallel running planning unit 20 does not change the target position (step S3).
  • the tracking/parallel running planning unit 20 maintains a target position of the robot MB that has been set in advance.
  • the recognition unit 10 recognizes obstacles that exist in the direction toward the target position based on the sensor information (step S4).
  • the aircraft control unit 30 plans a trajectory toward the target position while avoiding obstacles.
  • the body control unit 30 controls the body actuator AC to move the robot MB along the planned trajectory to the target position (step S5).
  • step S6 the following/parallel running planning unit 20 plans the target position in the switched movement mode. For example, when switching from the tracking mode to the parallel running mode, a target position (parallel running position) in the parallel running mode is planned. When switching from the parallel running mode to the tracking mode, a target position (following position) in the tracking mode is planned. Once the target position has been switched, the processes from step S4 described above are performed.
  • FIG. 3 is a diagram illustrating an example of a processing flow regarding aircraft mode switching.
  • the recognition unit 10 recognizes external world information, such as the environmental situation around the robot MB, the position, movement speed, and behavior of the user US who is the object of interaction, based on the sensor information (step S11).
  • the tracking/parallel running planning unit 20 determines whether there is an event in the outside world that triggers switching of the body mode of the robot MB (whether or not the following/parallel running splitting condition is satisfied) (step S12).
  • the tracking/parallel running planning unit 20 determines that the following/parallel running splitting condition is satisfied if a splitting trigger exists.
  • the following/parallel running planning unit 20 sets the body mode of the robot MB to the integrated mode.
  • the robot MB is not divided into a following machine FU and a parallel machine PL. If the robot MB is divided into a following body FU and a parallel running body PL, the following body FU and the parallel running body PL are integrated into one body (step S13).
  • the tracking/parallel running planning unit 20 plans the target position of the robot MB according to the movement mode (or the tracking position if the robot is in the tracking mode) (step S14).
  • the recognition unit 10 recognizes obstacles that exist in the direction toward the target position based on the sensor information (step S15).
  • the aircraft control unit 30 plans a trajectory toward the target position while avoiding obstacles.
  • the body control unit 30 controls the body actuator AC to move the robot MB along the planned trajectory to the target position (step S16).
  • step S12 If the following/parallel running splitting condition is satisfied (step S12: Yes), the following/parallel running planning unit 20 sets the body mode of the robot MB to the splitting mode.
  • the robot MB is divided into a following machine FU and a parallel running machine PL (step S17).
  • the following aircraft FU and the parallel aircraft PL notify each other of their own position information and the observation information of the outside world observed by each other via communication (step S18).
  • the tracking/parallel running planning unit 20 plans the target position (following position) of the following aircraft FU and the target position (parallel running position) of the parallel aircraft PL (step S19). Based on the sensor information, the recognition unit 10 recognizes an obstacle that exists in the direction in which the following aircraft FU heads toward the following position, and an obstacle that exists in the direction that the parallel aircraft PL heads toward the parallel traveling position (step S20 ). The aircraft control unit 30 plans a trajectory for each split aircraft to avoid obstacles and head toward the target position. The aircraft control unit 30 controls the aircraft actuator AC for each split aircraft to move the split aircraft to the target position along the planned trajectory (step S21).
  • FIG. 4 is a diagram illustrating an example of selecting a movement mode that does not interfere with the movement of surrounding objects.
  • the robot MB runs parallel to the user US while presenting information indoors (office, warehouse, exhibition hall, etc.).
  • the tracking parallel running switching unit 21 switches the movement mode based on the extent to which the robot MB obstructs the movement of surrounding objects.
  • "Peripheral objects” include humans, non-human animals, and machines such as cars.
  • "Person” includes the user US and passersby other than the user US.
  • the user recognition unit 12 determines that the user US has changed the walking direction to turn in the direction parallel to the robot MB (to the right of the user US in the example of FIG. 4) based on the sensor information of the laser sensor. Recognize that.
  • the following parallel running switching unit 21 switches the movement mode to the following mode so that the robot MB does not interfere with the walking of the user US.
  • the target position planning unit 22 sets the target position of the robot MB to a position 1 m behind the user US, taking into consideration the braking distance of the robot MB.
  • the obstacle recognition unit 14 recognizes an obstacle near the rear of the user US.
  • the body control unit 30 moves the robot MB to the target position while avoiding the recognized obstacles.
  • the moving method may be a method of moving diagonally backward to the left and moving behind the user US, or a method of waiting for the user US to move forward and then shifting to the left and moving behind the user US.
  • FIG. 5 is a diagram illustrating an example of selecting a travel mode based on the difficulty of predicting a trajectory.
  • the robot MB runs parallel to the user US while presenting information indoors (office, warehouse, exhibition hall, etc.).
  • the following parallel running switching unit 21 switches the movement mode based on the difficulty of predicting the trajectory of the user US.
  • the user recognition unit 12 recognizes that the reliability of user recognition has decreased due to the large number of passersby SR passing around the user US.
  • the robot MB runs parallel to the user US at a short distance, the robot MB can only observe the feet of the user US.
  • the robot MB When the user US is surrounded by a plurality of passersby SR, it becomes difficult for the robot MB to identify the user US.
  • the following parallel running switching unit 21 switches the movement mode to the following mode so that the whole body of the user US can be observed.
  • the robot MB can observe the whole body of the user US from a position away from the user US. Therefore, it is easy to identify the user US.
  • the target position planning unit 22 sets the target position to be 1.5 m behind the user US, where the whole body of the user US can be observed.
  • the obstacle recognition unit 14 recognizes the surrounding passerby SR as an obstacle.
  • the body control unit 30 moves the robot MB to the target position while avoiding the recognized obstacles.
  • the target position planning unit 22 resets the target position when the reliability of user recognition at the follow-up position is insufficient.
  • the body control unit 30 causes the robot MB to follow the user US at a follow-up position where the reliability of user recognition is at least a certain level.
  • the following parallel running switching unit 21 returns the movement mode to the parallel running mode.
  • FIG. 6 is a diagram illustrating an example of selection of a movement mode in conjunction with the behavior of the user US.
  • the robot MB carries the luggage PA while following the user US at the shopping mall.
  • the following parallel running switching unit 21 switches the movement mode in conjunction with the behavior of the user US, based on the intention of the user US implied from the analysis result of the behavior of the user US.
  • the behavior recognition unit 13 recognizes that the user US has obtained the product.
  • the behavior recognition unit 13 analyzes the behavior of the user US and recognizes that the user US is about to load the luggage PA.
  • the following parallel running switching unit 21 switches the movement mode to the parallel running mode so that the luggage PA can be easily loaded.
  • the target position planning unit 22 determines a position on the side where the user US is holding the luggage PA or on the opposite side from the product shelf, and within 50 cm from the user US (a position within the reach of the user US). Set as target position.
  • the body control unit 30 moves the robot MB to the target position without colliding with surrounding obstacles.
  • the behavior recognition unit 13 analyzes the loading work of the luggage PA. When the action recognition unit 13 recognizes that the loading work of the luggage PA has been completed or that the user US has returned the product to the shelf, the following parallel running switching unit 21 returns the movement mode to the following mode.
  • FIG. 7 is a diagram illustrating an example of switching the movement mode in response to presentation of information to the user US.
  • the robot MB carries the luggage PA while following the user US at the shopping mall.
  • the following parallel running switching unit 21 switches from the following mode to the parallel running mode when the robot MB acquires information to be presented to the user US.
  • the environmental situation recognition unit 11 recognizes the action required of the robot MB near the store SH based on the signal from the beacon installed in the store. Requested operations include displaying an advertisement near the store SH, displaying a map at the food court, and displaying information about places that are closed to traffic due to construction inside the facility.
  • the follow-up parallel running switching unit 21 switches the movement mode to the parallel running mode so that the screen of the display unit mounted on the robot MB can be seen.
  • the target position planning unit 22 sets the target position on the vacant side of the user US (or the left side if the family or friend is on the right side).
  • the body control unit 30 moves the robot MB to the target position without colliding with surrounding obstacles.
  • the behavior recognition unit 13 analyzes the user US's operation on the display screen. When the action recognition section 13 recognizes the completion of the operation, the following parallel running switching section 21 returns the movement mode to the following mode.
  • the following parallel running switching unit 21 may switch the movement mode based on the user US's gesture indicating completion of the operation.
  • FIG. 8 is a diagram illustrating an example of selecting an aircraft mode that does not interfere with the movement of surrounding objects.
  • the robot MB follows the user US while transporting cargo in the warehouse.
  • the tracking parallel running switching unit 21 switches the aircraft mode based on the degree to which the robot MB obstructs the movement of surrounding objects.
  • "Peripheral objects” include humans, non-human animals, and machines such as cars.
  • "Person” includes the user US and passersby other than the user US.
  • the user US uses gestures to instruct the robot MB to view the inventory display in the warehouse.
  • the behavior recognition unit 13 recognizes the intention of the user US specified by the gesture.
  • the objects to be transported are large, and the body of the robot MB is also large. Therefore, the following parallel running switching unit 21 switches the aircraft mode to the splitting mode and separates only the small splitting aircraft having a display unit as the parallel running aircraft PL.
  • the following parallel running switching unit 21 causes the remaining large divided aircraft to follow the user US as a following aircraft FU.
  • the target position planning unit 22 plans the target position (following position, parallel running position) of each split aircraft.
  • the obstacle recognition unit 14 recognizes obstacles around each split aircraft.
  • the two split aircraft exchange information about each other's travel routes via the communication section.
  • the aircraft control unit 30 moves each split aircraft to a target position while avoiding obstacles and preventing the split aircraft from colliding with each other.
  • FIG. 9 is a diagram showing another example of selecting an aircraft mode that does not interfere with the movement of surrounding objects.
  • the user US is instructing the robot MB to use a tool using gestures.
  • the behavior recognition unit 13 recognizes the intention of the user US specified by the gesture.
  • the follow-up parallel running switching unit 21 switches the machine mode to the splitting mode, and separates the small splitting machine for transporting tools as the parallel running machine PL.
  • the following parallel running switching unit 21 causes the user US to follow only the large splitting aircraft that conveys a large cardboard or the like as the following aircraft FU. Thereafter, as in the example of FIG. 8, the target position of each split aircraft is planned and moved to the target position.
  • FIG. 10 is a diagram illustrating an example of selecting an aircraft mode based on the difficulty of user sensing.
  • Robot MB follows user US while transporting luggage outdoors.
  • the following parallel running switching unit 21 switches the aircraft mode based on the difficulty of sensing the user US.
  • Causes of sensing difficulty include backlighting and occlusion caused by obstacles (surrounding structures, passerby SR, etc.). If sufficient observation is not possible from only one direction, the observation information can be supplemented by splitting the aircraft and conducting observations from multiple directions.
  • the user recognition unit 12 recognizes that the accuracy of recognizing the user US has decreased due to backlighting. Although it is desired to observe the user US from a direction that is not backlit, it is difficult to make the entire robot MB run parallel to the user US because the road is narrow. Therefore, the following parallel running switching unit 21 switches the aircraft mode to the splitting mode and separates only the small splitting aircraft as the parallel running aircraft PL. The following parallel running switching unit 21 causes the remaining large divided aircraft to follow the user US as a following aircraft FU. Thereafter, as in the example of FIG. 8, the target position of each split aircraft is planned and moved to the target position. When the accuracy of recognition of the user US by the following aircraft FU increases sufficiently, the following parallel running switching unit 21 switches the aircraft mode to the integrated mode.
  • FIG. 11 is a diagram illustrating an example of selecting an aircraft mode based on the difficulty of tracking.
  • Robot MB follows user US while transporting luggage at the airport.
  • the tracking parallel running switching unit 21 switches the aircraft mode based on the degree to which the robot MB obstructs the movement of surrounding objects.
  • the user recognition unit 12 recognizes that the user US has started walking at high speed. If the load is heavy and the robot MB moves at high speed, the safety of the user US and those around him cannot be ensured. Therefore, the following parallel running switching unit 21 switches the aircraft mode to the splitting mode, and separates only the small splitting aircraft capable of high-speed movement as the parallel running aircraft PL. The following parallel running switching unit 21 causes the remaining large divided aircraft to follow the user US as a following aircraft FU.
  • the target position planning unit 22 plans the target position (following position, parallel position) of each split aircraft.
  • the large tracking aircraft FU which cannot move between people, gives up on observing the user US and slowly moves towards the user US. Only the small parallel aircraft PL that can follow the user US observes the user US. Therefore, the target position planning unit 22 causes the target position of the following aircraft FU to follow the trajectory of the user US more gently than the parallel aircraft PL.
  • the obstacle recognition unit 14 recognizes obstacles around each split aircraft.
  • the parallel aircraft PL recognizes the user US and transmits information such as the position of the user US to the server via WiFi (registered trademark) via the repeater BS.
  • the following aircraft FU acquires data from the server and moves at a constant speed toward the location where the parallel aircraft PL is located.
  • the aircraft control unit 30 notifies the user US of the deviation status between the target position (following position) of the following aircraft FU and the target position (parallel running position) of the parallel aircraft PL. You may.
  • the following parallel aircraft switching unit 21 switches the aircraft mode to the integrated mode.
  • FIG. 12 is a diagram illustrating another example of aircraft mode selection based on tracking difficulty.
  • Robot MB transports luggage while running parallel to user US at airports and shopping malls.
  • the environmental situation recognition unit 11 recognizes that the surrounding area is crowded from the camera image. Since the robot MB has a large baggage and cannot move among the surrounding passersby SR, there is a possibility that the robot MB may lose sight of the user US. Therefore, the following parallel running switching unit 21 switches the aircraft mode to the splitting mode, and causes only the parallel running aircraft PL, which is small and has good footwork, to run parallel to the user US.
  • the target position planning unit 22 plans the target position (following position, parallel position) of each split aircraft. In order not to disturb the surroundings, the target position planning unit 22 causes the target position of the following aircraft FU to follow the trajectory of the user US more gently than the parallel aircraft PL.
  • the obstacle recognition unit 14 recognizes obstacles around each split aircraft.
  • the parallel aircraft PL recognizes the user US and transmits information such as the position of the user US to the following aircraft FU via Bluetooth (registered trademark).
  • the following aircraft FU moves toward the location where the parallel aircraft PL is while avoiding the passerby SR.
  • the following parallel aircraft switching unit 21 switches the aircraft mode to the integrated mode.
  • FIG. 13 is a diagram illustrating an example of the hardware configuration of the information processing apparatus PR.
  • the computer 1000 includes a CPU (Central Processing Unit) 1100, a RAM (Random Access Memory) 1200, a ROM (Read Only Memory) 1300, and an HDD (Hard Dimensions). skDrive) 1400, a communication interface 1500, and an input/output interface 1600. Each part of computer 1000 is connected by bus 1050.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • HDD Hard Dimensions
  • skDrive skDrive
  • the CPU 1100 operates based on a program (program data 1450) stored in the ROM 1300 or the HDD 1400, and controls each part. For example, CPU 1100 loads programs stored in ROM 1300 or HDD 1400 into RAM 1200, and executes processes corresponding to various programs.
  • program data 1450 program data 1450
  • the ROM 1300 stores boot programs such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, programs that depend on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable non-temporary recording medium that non-temporarily records programs executed by the CPU 1100 and data used by the programs.
  • the HDD 1400 is a recording medium that records the information processing program according to the embodiment, which is an example of the program data 1450.
  • Communication interface 1500 is an interface for connecting computer 1000 to external network 1550 (eg, the Internet).
  • CPU 1100 receives data from other devices or transmits data generated by CPU 1100 to other devices via communication interface 1500.
  • the input/output interface 1600 is an interface for connecting the input/output device 1650 and the computer 1000.
  • CPU 1100 receives data from an input device such as a keyboard or mouse via input/output interface 1600. Further, the CPU 1100 transmits data to an output device such as a display device, speaker, or printer via the input/output interface 1600.
  • the input/output interface 1600 may function as a media interface that reads a program recorded on a predetermined recording medium.
  • Media includes, for example, optical recording media such as DVD (Digital Versatile Disc), PD (Phase Change Rewritable Disk), magneto-optical recording medium such as MO (Magneto-Optical Disk), tape medium, magnetic recording medium, or semiconductor memory, etc. It is.
  • the CPU 1100 of the computer 1000 executes the information processing program loaded onto the RAM 1200 to realize the functions of each part described above.
  • the HDD 1400 stores information processing programs, various models, and various data according to the present disclosure. Note that although the CPU 1100 reads and executes the program data 1450 from the HDD 1400, as another example, these programs may be obtained from another device via the external network 1550.
  • the information processing device PR includes a following parallel running switching section 21 .
  • the following parallel running switching unit 21 switches the movement mode of the robot MB between the following mode and the parallel running mode.
  • the tracking mode is a movement mode in which the robot MB follows the user US.
  • the parallel running mode is a movement mode in which the robot MB runs parallel to the user US.
  • the processing of the information processing apparatus PR is executed by the computer 1000.
  • the program of the present disclosure causes the computer 1000 to realize the processing of the information processing apparatus PR.
  • the robot MB can have a parallel running function. This allows good interaction with the user US in various situations.
  • the following parallel running switching unit 21 switches the movement mode based on the difficulty of predicting the trajectory of the user US.
  • the tracking parallel running switching unit 21 switches the movement mode based on the degree to which the robot MB obstructs the movement of surrounding objects.
  • the robot MB is less likely to interfere with the movement of surrounding objects.
  • the following parallel running switching unit 21 switches the movement mode based on the gesture of the user US.
  • the movement mode can be reliably switched based on the intention expressed through a gesture.
  • the following parallel running switching unit 21 switches the movement mode in coordination with the behavior of the user US, based on the intention of the user US implied from the analysis result of the behavior of the user US.
  • the movement mode can be appropriately switched in the natural flow of movement without interfering with the work being performed.
  • the user US and the robot MB work together to achieve efficient work.
  • the following parallel running switching unit 21 switches from the following mode to the parallel running mode when the robot MB acquires information to be presented to the user US.
  • the following parallel running switching unit 21 switches the body mode of the robot MB between a splitting mode and an integrated mode.
  • the splitting mode is a machine mode in which the robot MB is split into a following machine FU and a parallel running machine PL.
  • the integration mode is an aircraft mode that integrates the following aircraft FU and the parallel aircraft PL.
  • the following parallel running switching unit 21 switches the aircraft mode based on the difficulty of sensing the user US.
  • the tracking parallel running switching unit 21 switches the aircraft mode based on the degree to which the robot MB obstructs the movement of surrounding objects.
  • the robot MB is less likely to get in the way of the surroundings.
  • the information processing device PR has a target position planning section 22.
  • the target position planning unit 22 causes the target position of the following aircraft FU to follow the trajectory of the user US more gently than the parallel aircraft PL.
  • the robot MB is less likely to get in the way of the surroundings.
  • the information processing device PR has a body control section 30.
  • the aircraft control unit 30 notifies the user US of the deviation status between the target position of the following aircraft FU and the target position of the parallel aircraft PL.
  • the user US can recognize the risk of the following aircraft FU getting separated.
  • An information processing device comprising: a following parallel running switching unit that switches a movement mode of a robot between a following mode in which the robot follows a user and a parallel running mode in which the robot runs parallel to the user.
  • the following parallel running switching unit switches the movement mode based on the difficulty of predicting the trajectory of the user.
  • the following parallel running switching unit switches the movement mode based on the degree to which the robot obstructs movement of surrounding objects.
  • (4) The following parallel running switching unit switches the movement mode based on a gesture of the user.
  • the following parallel running switching unit switches the movement mode in conjunction with the user's behavior based on the user's intention implied from the analysis result of the user's behavior.
  • the following parallel running switching unit switches from the following mode to the parallel running mode when the robot acquires information to be presented to the user.
  • the following parallel running switching unit changes the body mode of the robot between a splitting mode in which the robot is divided into a following body and a parallel running body, and an integration mode in which the following body and the parallel running body are integrated. Switch with The information processing device according to any one of (1) to (6) above.
  • the following parallel running switching unit switches the aircraft mode based on the user's sensing difficulty.
  • the information processing device switches the aircraft mode based on the degree to which the robot obstructs the movement of surrounding objects.
  • the information processing device according to (7) above. (10) a target position planning unit that causes the target position of the following aircraft to follow the trajectory of the user more gently than the parallel aircraft;
  • the information processing device (9) above.
  • (11) an aircraft control unit that notifies the user of a discrepancy between the target position of the following aircraft and the target position of the parallel aircraft;
  • the information processing device according to (10) above.
  • An information processing method executed by a computer comprising switching a movement mode of a robot between a following mode in which the robot follows a user and a parallel running mode in which the robot runs parallel to the user.

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

情報処理装置（ＰＲ）は、追従並走切替部（２１）を有する。追従並走切替部（２１）は、ロボット（ＭＢ）の移動モードを追従モードと並走モードとの間で切り替える。追従モードは、ロボット（ＭＢ）がユーザに追従する移動モードである。並走モードは、ロボット（ＭＢ）がユーザと並走する移動モードである。

Description

情報処理装置、情報処理方法およびプログラム
　本発明は、情報処理装置、情報処理方法およびプログラムに関する。
　人とインタラクションを行うロボットの開発が進められている。この種のロボットは、人に追従して走行し、周囲の混雑度などに応じて走行位置を調整する。
特開２００６－１４６４９１号公報 特開２００５－００１０５２号公報 特開２００８－３０７６５８号公報
　人への追従は、人とインタラクションを行うロボットの基本機能として挙げられる。しかし、インタラクションの形態は様々であり、追従のみでは必ずしも良好なインタラクションを行うことはできない。
　そこで、本開示では、人と良好なインタラクションを行うことが可能な情報処理装置、情報処理方法およびプログラムを提案する。
　本開示によれば、ロボットの移動モードを、ユーザに追従する追従モードと、前記ユーザと並走する並走モードと、の間で切り替える追従並走切替部を有する、情報処理装置が提供される。また、本開示によれば、前記情報処理装置の情報処理がコンピュータにより実行される情報処理方法、ならびに、前記情報処理装置の情報処理をコンピュータに実現させるプログラムが提供される。
ロボットの構成の一例を示す図である。 移動モードの切り替えに関する処理フローの一例を示す図である。 機体モードの切り替えに関する処理フローの一例を示す図である。 周辺物体の移動の妨げとならない移動モードの選択の例を示す図である。 軌道の予測困難性に基づく移動モードの選択の例を示す図である。 ユーザの行動と連携した移動モードの選択の例を示す図である。 ユーザへの情報の提示に伴う移動モードの切り替えの例を示す図である。 周辺物体の移動の妨げとならない機体モードの選択の例を示す図である。 周辺物体の移動の妨げとならない機体モードの選択の他の例を示す図である。 ユーザセンシングの困難性に基づく機体モードの選択の例を示す図である。 追従の困難性に基づく機体モードの選択の例を示す図である。 追従の困難性に基づく機体モードの選択の他の例を示す図である。 情報処理装置のハードウェア構成の一例を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　なお、説明は以下の順序で行われる。
［１．ロボットの構成］
［２．情報処理方法］
　［２－１．移動モードの切り替え］
　［２－２．機体モードの切り替え］
［３．適用例］
　［３－１．周辺物体の移動の妨げとならない移動モードの選択］
　［３－２．軌道の予測困難性に基づく移動モードの選択］
　［３－３．ユーザの行動と連携した移動モードの選択］
　［３－４．ユーザへの情報の提示に伴う移動モードの切り替え］
　［３－５．周辺物体の移動の妨げとならない機体モードの選択１］
　［３－６．周辺物体の移動の妨げとならない機体モードの選択２］
　［３－７．ユーザセンシングの困難性に基づく機体モードの選択］
　［３－８．追従の困難性に基づく機体モードの選択１］
　［３－９．追従の困難性に基づく機体モードの選択２］
［４．ハードウェア構成例］
［５．効果］
［１．ロボットの構成］
　図１は、ロボットＭＢの構成の一例を示す図である。
　ロボットＭＢは、ユーザＵＳ（図４参照）に対する追従機能および並走機能を有する自律移動型のロボットＭＢである。ロボットＭＢは、センサ情報に基づいてロボットＭＢの周囲（外界）を認識しながら自律的に移動を行う。ロボットＭＢは、センサ部ＳＥ、情報処理装置ＰＲおよび機体アクチュエータＡＣを有する。
＜＜センサ部＞＞
　センサ部ＳＥは、外界をセンシングするための複数のセンサを含む。例えば、センサ部ＳＥは、カメラ、深度センサ、レーザ測距センサ、および、ビーコンなどから発信される各種情報を受信する受信装置などを含む。
＜＜情報処理装置＞＞
　情報処理装置ＲＲは、センサ部ＳＥから取得したセンサ情報に基づいて外界を認識する。情報処理装置ＰＲは、外界の情報に基づいてロボットＭＢの移動経路を計画し、計画された移動経路に基づいてロボットＭＢの機体を制御する。情報処理装置ＰＲは、認識部１０、追従・並走計画部２０および機体制御部３０を有する。
＜認識部＞
　認識部１０は、センサ部ＳＥから取得したセンサ情報に基づいて外界を認識する。認識部１０は、環境状況認識部１１、ユーザ認識部１２、行動認識部１３および障害物認識部１４を有する。
　環境状況認識部１１は、ロボットＭＢの置かれた状況（環境状況）を認識する。環境状況には、ロボットＭＢのいる場所、ロボットＭＢの周囲の混雑度、および、ロボットＭＢのいる場所においてロボットＭＢに求められる動作などが含まれる。環境状況認識部１１は、センサ情報に基づいて、ロボットＭＢのいる場所の情報（場所情報）、混雑度に関する情報および要求動作に関する情報などを環境状況を示す情報として取得する。
　例えば、環境状況認識部１１は、ロボットＭＢに内蔵されたカメラの画像を解析することにより周囲の混雑度を推定する。環境状況認識部１１は、周辺環境に設置されたカメラおよび赤外線センサなどから取得した情報を解析することにより混雑度を推定してもよい。環境状況認識部１１は、施設内のゲートなどから部屋内の人数データを取得し、部屋の混雑度を推定してもよい。
　環境状況認識部１１は、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）を用いてロボットＭＢの場所情報を取得する。例えば、環境状況認識部１１は、事前にレーザセンサで周辺環境の環境特徴量を取得する。環境状況認識部１１は、ロボットＭＢの移動時に取得した環境特徴量を事前に取得した環境特徴量と照合（特徴量マッチング）してロボットＭＢが地図内のどこにいるのかを推定する。
　環境状況認識部１１は、周辺環境に設置されたビーコンやＵＷＢ（Ｕｌｔｒａ　Ｗｉｄｅ　Ｂａｎｄ）システムと通信を行ってロボットＭＢの場所情報を取得してもよい。環境状況認識部１１は、デッドレコニングを用いてロボットＭＢの場所情報を取得してもよい。例えば、ロボットＭＢが移動用の車輪を有する場合には車輪の回転数に基づいてロボットＭＢの位置が推定される。ロボットＭＢが移動用の脚を有する場合には、脚を動かすアクチュエータの駆動量に基づいてロボットＭＢの位置が推定される。
　環境状況認識部１１は、上述した複数の手法（ＳＬＡＭ、ビーコン等との通信、デッドレコニング）を組み合わせて使用してもよい（センサフュージョン）。これにより、より正確なロボットＭＢの場所情報が取得される。
　環境状況認識部１１は、周辺環境に設置されたビーコンなどからの情報に基づいて、ユーザＵＳへの店舗情報や広告情報の提示などの要求動作を認識する。
　ユーザ認識部１２は、インタラクションの対象となるユーザＵＳを認識し、ユーザＵＳの位置および移動速度などの情報を取得する。例えば、ユーザ認識部１２は、ロボットＭＢに内蔵されたカメラまたはロボットＭＢの周辺環境に設置されたカメラからロボットＭＢの周囲の画像を取得する。ユーザ認識部１２は、深層学習または特徴量マッチングなどの手法を用いて画像に写るユーザＵＳを認識する。
　ユーザ認識部１２は、深度センサを用いてユーザＵＳを認識してもよい。例えば、ユーザ認識部１２は、ロボットＭＢの近くにある、人らしい動物体をユーザＵＳとして認識し、この動物体をトラッキングすることで同定を行う。人らしさは、大きさで判断したり、機械学習を用いて判断したりすることができる。
　ユーザ認識部１２は、ユーザＵＳが保持する端末（ユーザＵＳ側端末）と通信を行うことでユーザＵＳを認識してもよい。例えば、ユーザ認識部１２は、ユーザＵＳ側端末との無線通信（例えばスマートフォンとのＢｌｕｅｔｏｏｔｈ（登録商標）接続やＵＷＢタグとの通信）を用いて人のおおよその方向を割り出す。ユーザ認識部１２は、割り出した方向に存在する動物体をユーザＵＳと認識する。通信強度による方向の割り出しは精度が低いため、カメラの画像を用いた認識手法や深度センサを用いた認識手法と組み合わせてもよい。これにより、精度の高いユーザＵＳの認識が行われる。
　ユーザ認識部１２は、ユーザＵＳ側端末から歩容データを取得し、歩容データから推定される歩行速度を、カメラの画像から推定される歩行速度と照合することでユーザＵＳを認識してもよい。歩容データは、スマートフォンのＩＭＵ（Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ）センサなどから取得することができる。深度センサを用いた認識手法と組み合わせれば、より精度の高いユーザＵＳの認識が行われる。
　行動認識部１３は、ユーザＵＳの行動を認識する。認識される行動には、意思伝達の手段として行われるもの（ジェスチャ）、および、意思伝達以外の目的に基づいて行われるもの（ジェスチャ以外の行動）の双方が含まれる。
　例えば、行動認識部１３は、深層学習を用いてカメラに映るユーザＵＳの行動を認識する。ユーザＵＳ側端末がユーザＵＳの手や腕に取り付けられており、行動が手や腕の動きによって行われる場合には、行動認識部１３は、ユーザＵＳ側端末から取得したモーションデータを解析してユーザＵＳの行動を認識してもよい。
　障害物認識部１４は、ロボットＭＢが回避しなければならない障害物を認識する。例えば、障害物認識部１４は、レーザ測距センサを用いてロボットＭＢの周辺に存在する障害物の形状および障害物までの距離を認識する。
＜追従・並走計画部＞
　追従・並走計画部２０は、認識部１０で認識された外界の情報に基づいて追従位置の計画または並走位置の計画を行う。追従位置は、ロボットＭＢをユーザＵＳに追従させるときのロボットＭＢの目標位置である。並走位置は、ロボットＭＢをユーザＵＳと並走させるときのロボットＭＢの目標位置である。追従・並走計画部２０は、追従並走切替部２１および目標位置計画部２２を有する。
　追従並走切替部２１は、外界の情報から抽出された切替トリガに基づいて、ロボットＭＢの移動モード（移動の態様）を追従モードと並走モードとの間で切り替える。追従モードは、ロボットＭＢがユーザＵＳに追従する移動モードである。並走モードは、ロボットＭＢがユーザＵＳと並走する移動モードである。
　切替トリガとは、外界で検出された特定のイベントを意味する。例えば、追従並走切替部２１は、ユーザＵＳの移動環境の変化、ユーザＵＳとロボットＭＢとの位置関係の変化、および、ユーザＵＳの明示の意思（ジェスチャなど）およびユーザＵＳの暗示の意思（状況から推測されるユーザＵＳの動作の目的など）などを切替トリガとして検出する。
　目標位置計画部２２は、ロボットＭＢの移動するべき位置（目標位置）を計画する。例えば、追従モードであれば、ロボットＭＢの制動距離を考慮して、ユーザＵＳから１ｍ以上離れた位置が目標位置（追従位置）として計画される。並走モードであれば、ロボットＭＢ上の端末の操作をしやすくするために、ユーザＵＳの右横（ユーザＵＳが左利きであれば左横）から５０ｃｍ以内の位置が目標位置（並走位置）として計画される。
＜機体制御部＞
　機体制御部３０は、機体に搭載された表示部および通信部などの各種デバイスを制御する。機体制御部３０は、障害物を回避しながらロボットＭＢを目標位置まで移動させるための軌道を計画する。機体制御部３０は、機体アクチュエータＡＣを制御し、ロボットＭＢを計画された軌道に沿って移動させる。機体制御の手法としては、機械学習を用いた手法を用いてもよいし、Ａ＊などの経路計画手法とＤＷＡ（Ｄｙｎａｍｉｃ　Ｗｉｎｄｏｗ　Ａｐｐｒｏａｃｈ）などの経路追従手法とを組み合わせた手法を用いてもよい。
＜＜機体アクチュエータ＞＞
　機体アクチュエータＡＣは、機体制御部３０の制御にしたがって、ロボットＭＢに内蔵された自律移動機構（車輪や脚など）を駆動する。
＜＜分裂機体＞＞
　ロボットＭＢが２つの分裂機体に分裂できる構造であれば、追従と並走を別々の分裂機体に行わせてもよい。以下、追従を行う分裂機体を追従機体ＦＵ（図８参照）と記載し、並走を行う分裂機体を並走機体ＰＬ（図８参照）と記載する。
　各分裂機体は、センサ部ＳＥ、自律移動機構および機体アクチュエータＡＣを有し、情報処理装置ＰＲの制御に基づいて自律移動を行う。各分裂機体には通信部が内蔵される。情報処理装置ＰＲは、一方の分裂機体のみに搭載され、他方の分裂機体には、通信によって情報処理装置ＰＲの制御信号が供給される。並走機体ＰＬには高いフットワーク性が要求されるため、並走機体ＰＬは追従機体ＦＵに比べてコンパクトな構造であることが想定される。そのため、情報処理装置ＰＲは追従機体ＦＵに搭載されることが好ましい。
　追従並走切替部２１は、外界の情報から抽出された分裂トリガに基づいて、ロボットＭＢの機体モード（機体の態様）を分裂モードと統合モードとの間で切り替える。分裂モードは、ロボットＭＢを追従機体ＦＵと並走機体ＰＬとに分裂させる機体モードである。統合モードは、追従機体ＦＵと並走機体ＰＬとを統合する機体モードである。分裂モードは、追従と並走の両方の態様を含むため、並走モードの亜種または追従モードの亜種と考えることができる。
　分裂トリガとは、外界で検出された特定のイベントを意味する。例えば、追従並走切替部２１は、ユーザＵＳの移動環境の変化、ユーザＵＳとロボットＭＢとの位置関係の変化、および、ユーザＵＳの明示の意思（ジェスチャなど）およびユーザＵＳの暗示の意思（状況から推測されるユーザＵＳの動作の目的など）などを分裂トリガとして検出する。
　分裂モードが選択された場合には、目標位置計画部２２は、分裂機体ごとに、分裂機体の目標位置を計画する。機体制御部３０は、分裂機体ごとに、分裂機体の軌道を計画する。機体制御部３０は、機体アクチュエータＡＣを制御し、分裂機体を計画された軌道に沿って移動させる。
［２．情報処理方法］
［２－１．移動モードの切り替え］
　以下、情報処理装置ＰＲが行う情報処理の一例を説明する。図２は、移動モードの切り替えに関する処理フローの一例を示す図である。
　認識部１０は、センサ情報に基づいてロボットＭＢの周囲の環境状況、インタラクションの対象となるユーザＵＳの位置、移動速度および行動などの外界の情報を認識する（ステップＳ１）。追従・並走計画部２０は、外界にロボットＭＢの移動モードの切替トリガとなるイベントが存在するか否か（追従・並走切替条件が満たされるか否か）を判定する（ステップＳ２）。追従・並走計画部２０は、切替トリガが存在する場合には、追従・並走切替条件が満たされると判定し、切替トリガが存在しない場合には、追従・並走切替条件が満たされないと判定する。
　追従・並走切替条件が満たされない場合には（ステップＳ２：Ｎｏ）、追従・並走計画部２０は、目標位置の変更を行わない（ステップＳ３）。追従・並走計画部２０は、事前に設定されていたロボットＭＢの目標位置を維持する。認識部１０は、センサ情報に基づいて、目標位置に向かう方向に存在する障害物を認識する（ステップＳ４）。機体制御部３０は、障害物を回避して目標位置へ向かう軌道を計画する。機体制御部３０は、機体アクチュエータＡＣを制御して、計画された軌道に沿ってロボットＭＢを目標位置まで移動させる（ステップＳ５）。
　追従・並走切替条件が満たされる場合には（ステップＳ２：Ｙｅｓ）、追従・並走計画部２０は、切り替え後の移動モードにおける目標位置を計画する（ステップＳ６）。例えば、追従モードから並走モードへ切り替えられる場合には、並走モードにおける目標位置（並走位置）が計画される。並走モードから追従モードへ切り替えられる場合には、追従モードにおける目標位置（追従位置）が計画される。目標位置の切り替えが行われたら、上述したステップＳ４以降の処理が行われる。
［２－２．機体モードの切り替え］
　図３は、機体モードの切り替えに関する処理フローの一例を示す図である。
　認識部１０は、センサ情報に基づいてロボットＭＢの周囲の環境状況、インタラクションの対象となるユーザＵＳの位置、移動速度および行動などの外界の情報を認識する（ステップＳ１１）。追従・並走計画部２０は、外界にロボットＭＢの機体モードの切替トリガとなるイベントが存在するか否か（追従・並走分裂条件が満たされるか否か）を判定する（ステップＳ１２）。追従・並走計画部２０は、分裂トリガが存在する場合には、追従・並走分裂条件が満たされると判定する。
　追従・並走分裂条件が満たされない場合には（ステップＳ１２：Ｎｏ）、追従・並走計画部２０は、ロボットＭＢの機体モードを統合モードに設定する。ロボットＭＢは、追従機体ＦＵと並走機体ＰＬとに分裂されない。ロボットＭＢが追従機体ＦＵと並走機体ＰＬとに分裂している場合には、追従機体ＦＵと並走機体ＰＬは１体に統合される（ステップＳ１３）。追従・並走計画部２０は、移動モードに応じたロボットＭＢの目標位置（追従モードであれば追従位置）を計画する（ステップＳ１４）。
　認識部１０は、センサ情報に基づいて、目標位置に向かう方向に存在する障害物を認識する（ステップＳ１５）。機体制御部３０は、障害物を回避して目標位置へ向かう軌道を計画する。機体制御部３０は、機体アクチュエータＡＣを制御して、計画された軌道に沿ってロボットＭＢを目標位置まで移動させる（ステップＳ１６）。
　追従・並走分裂条件が満たされる場合には（ステップＳ１２：Ｙｅｓ）、追従・並走計画部２０は、ロボットＭＢの機体モードを分裂モードに設定する。ロボットＭＢは、追従機体ＦＵと並走機体ＰＬとに分裂される（ステップＳ１７）。追従機体ＦＵおよび並走機体ＰＬは、通信を介して、互いの自己位置情報、および、それぞれが観測した外界の観測情報を通知し合う（ステップＳ１８）。
　追従・並走計画部２０は、追従機体ＦＵの目標位置（追従位置）および並走機体ＰＬの目標位置（並走位置）を計画する（ステップＳ１９）。認識部１０は、センサ情報に基づいて、追従機体ＦＵが追従位置に向かう方向に存在する障害物、および、並走機体ＰＬが並走位置に向かう方向に存在する障害物を認識する（ステップＳ２０）。機体制御部３０は、分裂機体ごとに、障害物を回避して目標位置へ向かう軌道を計画する。機体制御部３０は、分裂機体ごとに、機体アクチュエータＡＣを制御して、計画された軌道に沿って分裂機体を目標位置まで移動させる（ステップＳ２１）。
［３．適用例］
［３－１．周辺物体の移動の妨げとならない移動モードの選択］
　以下、ロボットＭＢの適用例を説明する。図４は、周辺物体の移動の妨げとならない移動モードの選択の例を示す図である。
　ロボットＭＢは、屋内（オフィス、倉庫、展示場など）で情報を提示しながらユーザＵＳと並走する。追従並走切替部２１は、ロボットＭＢが周辺物体の移動の妨げとなる程度に基づいて移動モードの切り替えを行う。「周辺物体」は、人、人以外の動物、および、車などの機械を含む。「人」は、ユーザＵＳ、および、ユーザＵＳ以外の通行人を含む。
　図４の例では、ユーザ認識部１２は、レーザセンサのセンサ情報に基づいて、ユーザＵＳがロボットＭＢの並走方向（図４の例ではユーザＵＳの右側）に曲がろうと歩行方向を変更したことを認識する。追従並走切替部２１は、ロボットＭＢがユーザＵＳの歩行の邪魔にならないように移動モードを追従モードに切り替える。目標位置計画部２２は、ロボットＭＢの目標位置を、ロボットＭＢの制動距離を考慮して、ユーザＵＳの後方１ｍの位置に設定する。
　障害物認識部１４は、ユーザＵＳの後方近くにある障害物を認識する。機体制御部３０は、認識された障害物を回避しながらロボットＭＢを目標位置まで移動させる。移動方法としては、左斜め後ろに下がってユーザＵＳの後方に移動する方法でもよいし、ユーザＵＳが先に進むのを待ってから左方向にずれてユーザＵＳの後方に移動する方法でもよい。
［３－２．軌道の予測困難性に基づく移動モードの選択］
　図５は、軌道の予測困難性に基づく移動モードの選択の例を示す図である。
　ロボットＭＢは、屋内（オフィス、倉庫、展示場など）で情報を提示しながらユーザＵＳと並走する。追従並走切替部２１は、ユーザＵＳの軌道の予測の困難性に基づいて移動モードの切り替えを行う。
　図５の例では、ユーザ認識部１２は、ユーザＵＳの周囲を通行する多数の通行人ＳＲによってユーザ認識の確信度が低下したことを認識する。ロボットＭＢが近距離でユーザＵＳと並走した場合、ロボットＭＢはユーザＵＳの足元しか観測できない。ユーザＵＳが複数の通行人ＳＲに囲まれると、ロボットＭＢはユーザＵＳの同定を行い難くなる。
　追従並走切替部２１は、ユーザＵＳの全身を観測できるように移動モードを追従モードに切り替える。追従モードでは、ロボットＭＢはユーザＵＳから離れた位置からユーザＵＳの全身を観測できる。そのため、ユーザＵＳの同定が行いやすい。目標位置計画部２２は、ユーザＵＳの全身が観測できるユーザＵＳの１．５ｍ後方を目標位置に設定する。
　障害物認識部１４は、周囲の通行人ＳＲを障害物として認識する。機体制御部３０は、認識された障害物を回避しながらロボットＭＢを目標位置まで移動させる。目標位置計画部２２は、追従位置においてユーザ認識の確信度が不十分である場合には、目標位置を再設定する。機体制御部３０は、ユーザ認識の確信度が一定程度以上となる追従位置でロボットＭＢをユーザＵＳに追従させる。
　環境状況認識部１１が通行人ＳＲの数が少なくなったことを認識した場合に、追従並走切替部２１は移動モードを並走モードに戻す。
［３－３．ユーザの行動と連携した移動モードの選択］
　図６は、ユーザＵＳの行動と連携した移動モードの選択の例を示す図である。
　ロボットＭＢは、ショッピングモールでユーザＵＳに追従しながら荷物ＰＡの運搬を行う。追従並走切替部２１は、ユーザＵＳの行動の分析結果から暗示されるユーザＵＳの意思に基づいて、ユーザＵＳの行動と連携した移動モードの切り替えを行う。
　図６の例では、行動認識部１３は、ユーザＵＳが商品を手にしたことを認識する。行動認識部１３は、ユーザＵＳの行動を分析し、ユーザＵＳが荷物ＰＡを積み込もうとしていることを認識する。追従並走切替部２１は、荷物ＰＡを積み込みやすいように移動モードを並走モードに切り替える。目標位置計画部２２は、ユーザＵＳが荷物ＰＡを持っている側または商品棚とは逆の側であって、かつ、ユーザＵＳから５０ｃｍ以内の位置（ユーザＵＳの手が届く範囲の位置）を目標位置として設定する。
　機体制御部３０は、周囲の障害物にぶつからないようにロボットＭＢを目標位置まで移動させる。行動認識部１３は、荷物ＰＡの積み込み作業を分析する。行動認識部１３によって荷物ＰＡの積み込み作業が完了したこと、または、ユーザＵＳが商品を棚に戻したことが認識されると、追従並走切替部２１は移動モードを追従モードに戻す。
［３－４．ユーザへの情報の提示に伴う移動モードの切り替え］
　図７は、ユーザＵＳへの情報の提示に伴う移動モードの切り替えの例を示す図である。
　ロボットＭＢは、ショッピングモールでユーザＵＳに追従しながら荷物ＰＡの運搬を行う。追従並走切替部２１は、ロボットＭＢがユーザＵＳに提示すべき情報を取得したときに追従モードから並走モードへの切り替えを行う。
　図７の例では、環境状況認識部１１は、館内に設置されたビーコンからの信号に基づいて、店舗ＳＨの近くでロボットＭＢに要求される動作を認識する。要求動作には、店舗ＳＨの近くで宣伝を表示する、フードコートで地図を表示する、および、館内工事によって通行止めとなっている場所の情報を表示する、などの動作が挙げられる。
　追従並走切替部２１は、要求動作に基づいて、ロボットＭＢに搭載された表示部の画面が見えるように移動モードを並走モードに切り替える。目標位置計画部２２は、ユーザＵＳの空いている側（家族や友人が右側にいたら左側）に目標位置を設定する。
　機体制御部３０は、周囲の障害物にぶつからないようにロボットＭＢを目標位置まで移動させる。行動認識部１３は、表示画面に対するユーザＵＳの操作を分析する。行動認識部１３によって操作の完了が認識されると、追従並走切替部２１は移動モードを追従モードに戻す。追従並走切替部２１は、操作の完了を示すユーザＵＳのジェスチャに基づいて移動モードの切り替えを行ってもよい。
［３－５．周辺物体の移動の妨げとならない機体モードの選択１］
　図８は、周辺物体の移動の妨げとならない機体モードの選択の例を示す図である。
　ロボットＭＢは、倉庫で荷物の運搬をしながらユーザＵＳに追従する。追従並走切替部２１は、ロボットＭＢが周辺物体の移動の妨げとなる程度に基づいて機体モードの切り替えを行う。「周辺物体」は、人、人以外の動物、および、車などの機械を含む。「人」は、ユーザＵＳ、および、ユーザＵＳ以外の通行人を含む。
　図８の例では、ユーザＵＳが倉庫で在庫表示を見るためにジェスチャでロボットＭＢに指示をしている。行動認識部１３は、ジェスチャによって明示されたユーザＵＳの意思を認識する。運搬物は大きく、ロボットＭＢの機体も大きい。そのため、追従並走切替部２１は、機体モードを分裂モードに切り替え、表示部を有する小型の分裂機体のみを並走機体ＰＬとして分離する。追従並走切替部２１は、残りの大型の分裂機体を追従機体ＦＵとしてユーザＵＳに追従させる。目標位置計画部２２は、各分裂機体の目標位置（追従位置、並走位置）を計画する。
　障害物認識部１４は、各分裂機体の周囲の障害物を認識する。２つの分裂機体は通信部を介して互いの移動経路について情報交換を行う。機体制御部３０は、障害物を回避しながら、分裂機体どうしがぶつからないように、各分裂機体を目標位置まで移動させる。
［３－６．周辺物体の移動の妨げとならない機体モードの選択２］
　図９は、周辺物体の移動の妨げとならない機体モードの選択の他の例を示す図である。
　図９の例では、ユーザＵＳが工具を使用するためにジェスチャでロボットＭＢに指示をしている。行動認識部１３は、ジェスチャによって明示されたユーザＵＳの意思を認識する。追従並走切替部２１は、機体モードを分裂モードに切り替え、工具の運搬をする小型の分裂機体を並走機体ＰＬとして分離する。追従並走切替部２１は、大きな段ボール等を搬送する大型の分裂機体のみを追従機体ＦＵとしてユーザＵＳに追従させる。以下、図８の例と同様に、各分裂機体の目標位置の計画および目標位置への移動が行われる。
［３－７．ユーザセンシングの困難性に基づく機体モードの選択］
　図１０は、ユーザセンシングの困難性に基づく機体モードの選択の例を示す図である。
　ロボットＭＢは、屋外で荷物を運搬しながらユーザＵＳに追従する。追従並走切替部２１は、ユーザＵＳのセンシングの困難性に基づいて機体モードの切り替えを行う。センシングが困難になる原因としては、逆光や、障害物（周囲の構造物や通行人ＳＲなど）によるオクルージョンなどが挙げられる。１方向からのみでは十分に観測できない場合には、機体を分裂させ、複数方向から観測を行うことで、観測情報の補完を行うことができる。
　図１０の例では、ユーザ認識部１２は、逆光によりユーザＵＳの認識の確度が低下したことを認識する。逆光ではない方向からユーザＵＳを観測したいが、道幅が狭いためロボットＭＢ全体をユーザＵＳと並走させることは難しい。そのため、追従並走切替部２１は、機体モードを分裂モードに切り替え、小型の分裂機体のみを並走機体ＰＬとして分離する。追従並走切替部２１は、残りの大型の分裂機体を追従機体ＦＵとしてユーザＵＳに追従させる。以下、図８の例と同様に、各分裂機体の目標位置の計画および目標位置への移動が行われる。追従機体ＦＵにおけるユーザＵＳの認識の確度が十分に上がったら、追従並走切替部２１は、機体モードを統合モードに切り替える。
［３－８．追従の困難性に基づく機体モードの選択１］
　図１１は、追従の困難性に基づく機体モードの選択の例を示す図である。
　ロボットＭＢは、空港で荷物を搬送しながらユーザＵＳに追従する。追従並走切替部２１は、ロボットＭＢが周辺物体の移動の妨げとなる程度に基づいて機体モードの切り替えを行う。
　図１１の例では、ユーザ認識部１２は、ユーザＵＳが高速で歩き始めたことを認識する。荷物が重く、ロボットＭＢが高速で移動するとユーザＵＳや周囲の人の安全を確保できない。そのため、追従並走切替部２１は、機体モードを分裂モードに切り替え、高速移動が可能な小型の分裂機体のみを並走機体ＰＬとして分離する。追従並走切替部２１は、残りの大型の分裂機体を追従機体ＦＵとしてユーザＵＳに追従させる。
　目標位置計画部２２は、各分裂機体の目標位置（追従位置、並走位置）を計画する。人の間を縫って移動できない大型の追従機体ＦＵは、ユーザＵＳの観測を諦め、ゆっくりとユーザＵＳに向けて移動する。ユーザＵＳについていける小型の並走機体ＰＬのみがユーザＵＳの観測を行う。そのため、目標位置計画部２２は、追従機体ＦＵの目標位置を並走機体ＰＬよりもユーザＵＳの軌道に対して緩やかに追従させる。
　障害物認識部１４は、各分裂機体の周囲の障害物を認識する。並走機体ＰＬは、ユーザＵＳを認識し、ユーザＵＳの位置などの情報を中継器ＢＳを介してＷｉＦｉ（登録商標）経由でサーバに送信する。追従機体ＦＵは、サーバからデータを取得し、並走機体ＰＬのいる場所を目指して一定の速度で移動する。ユーザＵＳが追従機体ＦＵとはぐれないように、機体制御部３０は、追従機体ＦＵの目標位置（追従位置）と並走機体ＰＬの目標位置（並走位置）との乖離状況をユーザＵＳに通知してもよい。
　追従機体ＦＵが並走機体ＰＬに追いつき、ユーザＵＳの移動速度が所定値以下となったら、追従並走切替部２１は機体モードを統合モードに切り替える。
［３－９．追従の困難性に基づく機体モードの選択２］
　図１２は、追従の困難性に基づく機体モードの選択の他の例を示す図である。
　ロボットＭＢは、空港やショッピングモールでユーザＵＳと並走しながら荷物を運搬する。環境状況認識部１１は、カメラの映像から周囲が混雑していることを認識する。ロボットＭＢは、荷物が大きく、周囲の通行人ＳＲの間を縫って移動できないため、ユーザＵＳを見失う可能性がある。そのため、追従並走切替部２１は、機体モードを分裂モードに切り替え、小型でフットワークのよい並走機体ＰＬのみをユーザＵＳと並走させる。
　目標位置計画部２２は、各分裂機体の目標位置（追従位置、並走位置）を計画する。周囲の邪魔にならないように、目標位置計画部２２は、追従機体ＦＵの目標位置を並走機体ＰＬよりもユーザＵＳの軌道に対して緩やかに追従させる。
　障害物認識部１４は、各分裂機体の周囲の障害物を認識する。並走機体ＰＬは、ユーザＵＳを認識し、ユーザＵＳの位置などの情報をＢｌｕｅｔｏｏｔｈ（登録商標）経由で追従機体ＦＵに送信する。追従機体ＦＵは、並走機体ＰＬのいる場所を目指して通行人ＳＲを回避しながら移動する。追従機体ＦＵが、人込みを抜け、並走機体ＰＬに追いついたら、追従並走切替部２１は機体モードを統合モードに切り替える。
［４．ハードウェア構成例］
　図１３は、情報処理装置ＰＲのハードウェア構成の一例を示す図である。
　情報処理装置ＰＲの情報処理は、例えば、コンピュータ１０００によって実現される。コンピュータ１０００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１００、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒy）１２００、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１３００、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）１４００、通信インターフェイス１５００、および入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラム（プログラムデータ１４５０）に基づいて動作し、各部の制御を行う。たとえば、ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ　Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）などのブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラムなどを格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、および、かかるプログラムによって使用されるデータなどを非一時的に記録する、コンピュータが読み取り可能な非一時的記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例としての、実施形態にかかる情報処理プログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（たとえばインターネット）と接続するためのインターフェイスである。たとえば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。たとえば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウスなどの入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、表示装置やスピーカーやプリンタなどの出力デバイスにデータを送信する。
　また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラムなどを読み取るメディアインターフェイスとして機能してもよい。メディアとは、たとえばＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、ＰＤ（Ｐｈａｓｅ　ｃｈａｎｇｅ　ｒｅｗｒｉｔａｂｌｅ　Ｄｉｓｋ）などの光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ　ｄｉｓｋ）などの光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリなどである。
　たとえば、コンピュータ１０００が実施形態にかかる情報処理装置ＰＲとして機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、前述した各部の機能を実現する。また、ＨＤＤ１４００には、本開示にかかる情報処理プログラム、各種モデルおよび各種データが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
［５．効果］
　情報処理装置ＰＲは、追従並走切替部２１を有する。追従並走切替部２１は、ロボットＭＢの移動モードを追従モードと並走モードとの間で切り替える。追従モードは、ロボットＭＢがユーザＵＳに追従する移動モードである。並走モードは、ロボットＭＢがユーザＵＳと並走する移動モードである。本開示の情報処理方法は、情報処理装置ＰＲの処理がコンピュータ１０００により実行される。本開示のプログラムは、情報処理装置ＰＲの処理をコンピュータ１０００に実現させる。
　この構成によれば、ロボットＭＢに並走機能を持たせることができる。これにより、様々な場面においてユーザＵＳと良好なインタラクションを行うことができる。
　追従並走切替部２１は、ユーザＵＳの軌道の予測の困難性に基づいて移動モードの切り替えを行う。
　この構成によれば、ユーザＵＳを見失いにくくなる。
　追従並走切替部２１は、ロボットＭＢが周辺物体の移動の妨げとなる程度に基づいて移動モードの切り替えを行う。
　この構成によれば、ロボットＭＢが周辺物体の移動の妨げとなりにくい。
　追従並走切替部２１は、ユーザＵＳのジェスチャに基づいて移動モードの切り替えを行う。
　この構成によれば、ジェスチャによる明示の意思によって確実に移動モードの切り替えが行われる。
　追従並走切替部２１は、ユーザＵＳの行動の分析結果から暗示されるユーザＵＳの意思に基づいて、ユーザＵＳの行動と連携した移動モードの切り替えを行う。
　この構成によれば、実施中の作業を妨げられることなく自然な動作の流れの中で適切に移動モードの切り替えが行われる。ユーザＵＳとロボットＭＢとが協働することにより、効率的な作業が実現される。
　追従並走切替部２１は、ロボットＭＢがユーザＵＳに提示すべき情報を取得したときに追従モードから並走モードへの切り替えを行う。
　この構成によれば、ユーザＵＳが情報を入手しやすくなる。
　追従並走切替部２１は、ロボットＭＢの機体モードを分裂モードと統合モードとの間で切り替える。分裂モードは、ロボットＭＢを追従機体ＦＵと並走機体ＰＬとに分裂させる機体モードである。統合モードは、追従機体ＦＵと並走機体ＰＬとを統合する機体モードである。
　この構成によれば、ロボットＭＢの必要な部分のみを並走機体ＰＬとして分離し、ユーザＵＳに並走させることができる。
　追従並走切替部２１は、ユーザＵＳのセンシングの困難性に基づいて機体モードの切り替えを行う。
　この構成によれば、ユーザＵＳを見失いにくくなる。
　追従並走切替部２１は、ロボットＭＢが周辺物体の移動の妨げとなる程度に基づいて機体モードの切り替えを行う。
　この構成によれば、ロボットＭＢが周囲の邪魔になりにくい。
　情報処理装置ＰＲは、目標位置計画部２２を有する。目標位置計画部２２は、追従機体ＦＵの目標位置を並走機体ＰＬよりもユーザＵＳの軌道に対して緩やかに追従させる。
　この構成によれば、ロボットＭＢが周囲の邪魔になりにくい。
　情報処理装置ＰＲは、機体制御部３０を有する。機体制御部３０は、追従機体ＦＵの目標位置と並走機体ＰＬの目標位置との乖離状況をユーザＵＳに通知する。
　この構成によれば、追従機体ＦＵがはぐれる危険性をユーザＵＳが認識することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
［付記］
　なお、本技術は以下のような構成も採ることができる。
（１）
　ロボットの移動モードを、前記ロボットがユーザに追従する追従モードと、前記ロボットが前記ユーザと並走する並走モードと、の間で切り替える追従並走切替部を有する、情報処理装置。
（２）
　前記追従並走切替部は、前記ユーザの軌道の予測の困難性に基づいて前記移動モードの切り替えを行う、
　上記（１）に記載の情報処理装置。
（３）
　前記追従並走切替部は、前記ロボットが周辺物体の移動の妨げとなる程度に基づいて前記移動モードの切り替えを行う、
　上記（１）に記載の情報処理装置。
（４）
　前記追従並走切替部は、前記ユーザのジェスチャに基づいて前記移動モードの切り替えを行う、
　上記（１）に記載の情報処理装置。
（５）
　前記追従並走切替部は、前記ユーザの行動の分析結果から暗示される前記ユーザの意思に基づいて、前記ユーザの行動と連携した前記移動モードの切り替えを行う、
　上記（１）に記載の情報処理装置。
（６）
　前記追従並走切替部は、前記ロボットが前記ユーザに提示すべき情報を取得したときに前記追従モードから前記並走モードへの切り替えを行う、
　上記（１）に記載の情報処理装置。
（７）
　前記追従並走切替部は、前記ロボットの機体モードを、前記ロボットを追従機体と並走機体とに分裂させる分裂モードと、前記追従機体と前記並走機体とを統合する統合モードと、の間で切り替える、
　上記（１）ないし（６）のいずれか１つに記載の情報処理装置。
（８）
　前記追従並走切替部は、前記ユーザのセンシングの困難性に基づいて前記機体モードの切り替えを行う、
　上記（７）に記載の情報処理装置。
（９）
　前記追従並走切替部は、前記ロボットが周辺物体の移動の妨げとなる程度に基づいて前記機体モードの切り替えを行う、
　上記（７）に記載の情報処理装置。
（１０）
　前記追従機体の目標位置を前記並走機体よりも前記ユーザの軌道に対して緩やかに追従させる目標位置計画部を有する、
　上記（９）に記載の情報処理装置。
（１１）
　前記追従機体の目標位置と前記並走機体の目標位置との乖離状況を前記ユーザに通知する機体制御部を有する、
　上記（１０）に記載の情報処理装置。
（１２）
　ロボットの移動モードを、前記ロボットがユーザに追従する追従モードと、前記ロボットが前記ユーザと並走する並走モードと、の間で切り替えることを有する、コンピュータにより実行される情報処理方法。
（１３）
　ロボットの移動モードを、前記ロボットがユーザに追従する追従モードと、前記ロボットが前記ユーザと並走する並走モードと、の間で切り替えることをコンピュータに実現させるプログラム。
２１　追従並走切替部
２２　目標位置計画部
３０　機体制御部
ＦＵ　追従機体
ＭＢ　ロボット
ＰＬ　並走機体
ＰＲ　情報処理装置
ＵＳ　ユーザ

Claims (13)

  1. 　ロボットの移動モードを、前記ロボットがユーザに追従する追従モードと、前記ロボットが前記ユーザと並走する並走モードと、の間で切り替える追従並走切替部を有する、情報処理装置。
  2. 　前記追従並走切替部は、前記ユーザの軌道の予測の困難性に基づいて前記移動モードの切り替えを行う、
    　請求項１に記載の情報処理装置。
  3. 　前記追従並走切替部は、前記ロボットが周辺物体の移動の妨げとなる程度に基づいて前記移動モードの切り替えを行う、
    　請求項１に記載の情報処理装置。
  4. 　前記追従並走切替部は、前記ユーザのジェスチャに基づいて前記移動モードの切り替えを行う、
    　請求項１に記載の情報処理装置。
  5. 　前記追従並走切替部は、前記ユーザの行動の分析結果から暗示される前記ユーザの意思に基づいて、前記ユーザの行動と連携した前記移動モードの切り替えを行う、
    　請求項１に記載の情報処理装置。
  6. 　前記追従並走切替部は、前記ロボットが前記ユーザに提示すべき情報を取得したときに前記追従モードから前記並走モードへの切り替えを行う、
    　請求項１に記載の情報処理装置。
  7. 　前記追従並走切替部は、前記ロボットの機体モードを、前記ロボットを追従機体と並走機体とに分裂させる分裂モードと、前記追従機体と前記並走機体とを統合する統合モードと、の間で切り替える、
    　請求項１に記載の情報処理装置。
  8. 　前記追従並走切替部は、前記ユーザのセンシングの困難性に基づいて前記機体モードの切り替えを行う、
    　請求項７に記載の情報処理装置。
  9. 　前記追従並走切替部は、前記ロボットが周辺物体の移動の妨げとなる程度に基づいて前記機体モードの切り替えを行う、
    　請求項７に記載の情報処理装置。
  10. 　前記追従機体の目標位置を前記並走機体よりも前記ユーザの軌道に対して緩やかに追従させる目標位置計画部を有する、
    　請求項９に記載の情報処理装置。
  11. 　前記追従機体の目標位置と前記並走機体の目標位置との乖離状況を前記ユーザに通知する機体制御部を有する、
    　請求項１０に記載の情報処理装置。
  12. 　ロボットの移動モードを、前記ロボットがユーザに追従する追従モードと、前記ロボットが前記ユーザと並走する並走モードと、の間で切り替えることを有する、コンピュータにより実行される情報処理方法。
  13. 　ロボットの移動モードを、前記ロボットがユーザに追従する追従モードと、前記ロボットが前記ユーザと並走する並走モードと、の間で切り替えることをコンピュータに実現させるプログラム。
PCT/JP2023/006369 2022-03-16 2023-02-22 情報処理装置、情報処理方法およびプログラム WO2023176341A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-041521 2022-03-16
JP2022041521 2022-03-16

Publications (1)

Publication Number Publication Date
WO2023176341A1 true WO2023176341A1 (ja) 2023-09-21

Family

ID=88023359

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/006369 WO2023176341A1 (ja) 2022-03-16 2023-02-22 情報処理装置、情報処理方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2023176341A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007316924A (ja) * 2006-05-25 2007-12-06 Toyota Motor Corp 自律移動装置
JP2009026209A (ja) * 2007-07-23 2009-02-05 Toyota Motor Corp 自律移動装置
JP2020077144A (ja) * 2018-11-07 2020-05-21 富士ゼロックス株式会社 自律移動装置およびプログラム
JP2021026378A (ja) * 2019-08-01 2021-02-22 本田技研工業株式会社 追従対象特定システム及び追従対象特定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007316924A (ja) * 2006-05-25 2007-12-06 Toyota Motor Corp 自律移動装置
JP2009026209A (ja) * 2007-07-23 2009-02-05 Toyota Motor Corp 自律移動装置
JP2020077144A (ja) * 2018-11-07 2020-05-21 富士ゼロックス株式会社 自律移動装置およびプログラム
JP2021026378A (ja) * 2019-08-01 2021-02-22 本田技研工業株式会社 追従対象特定システム及び追従対象特定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KINPARA, YUKI ET AL.: "Robotic Wheelchair Moving Collaboratively with Caregiver Depending on Circumstances", 16TH SYMPOSIUM ON SENSING VIA IMAGE INFORMATION (SSII2010), vol. 16, 1 November 2010 (2010-11-01), pages IS1 - IS1-12-6, XP009549485 *
TAKAHASHI KAZUYA, MASAHIDE KANEKO : "Autonomous Movement of Mobile Robot to Adjust for Relative Position of Users and Obstacles", THE JOURNAL OF THE INSTITUTE OF IMAGE INFORMATION AND TELEVISION ENGINEERS, vol. 65, no. 10, 1 October 2011 (2011-10-01), pages 1452 - 1457, XP093091540, DOI: 10.3169/itej.65.1452 *

Similar Documents

Publication Publication Date Title
US12005586B2 (en) Dynamic navigation of autonomous vehicle with safety infrastructure
US9796093B2 (en) Customer service robot and related systems and methods
US11468983B2 (en) Time-dependent navigation of telepresence robots
US11130630B2 (en) Collision prevention for autonomous vehicles
US11289192B2 (en) Interfacing with a mobile telepresence robot
Bauer et al. The autonomous city explorer: Towards natural human-robot interaction in urban environments
US10311400B2 (en) Intelligent service robot and related systems and methods
González-Banos et al. Navigation strategies for exploring indoor environments
US8924068B2 (en) Autonomous mobile body
US11410482B2 (en) Information processing method and apparatus, electronic device, and storage medium
EP3936965A1 (en) Method and system for specifying nodes for robot path planning
KR102635529B1 (ko) 공항용 로봇 및 그의 동작 방법
EP3549045A1 (en) Intelligent service robot and related systems and methods
US20240310860A1 (en) Methods and apparatus for controlling automated vehicles in an environment using virtual approved pathways
TW201444543A (zh) 自主式行動車
WO2019104045A1 (en) Collision prevention for autonomous vehicles
KR102662383B1 (ko) 로봇과 사용자간의 인터랙션을 위한 방법 및 시스템
WO2023176341A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP7411185B2 (ja) 通行人追従型の移動ロボットの誘導
EP4060448A1 (en) Methods of controlling a mobile robot device to follow or guide a person
WO2023189105A1 (ja) 情報処理装置、情報処理方法およびプログラム
Watanabe et al. Development of mobile sensor terminals “Portable Go” for navigation in informationally structured and unstructured environments
Nikdel Robot following ahead of the leader and learning human-relevant navigational cues
Bheda et al. RC-sized Autonomous vehicle with Prediction Model
CN114442636A (zh) 一种跟随机器人的控制方法、装置、机器人和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23770300

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2024507650

Country of ref document: JP

Kind code of ref document: A