WO2020129309A1 - 案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法 - Google Patents

案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法 Download PDF

Info

Publication number
WO2020129309A1
WO2020129309A1 PCT/JP2019/033714 JP2019033714W WO2020129309A1 WO 2020129309 A1 WO2020129309 A1 WO 2020129309A1 JP 2019033714 W JP2019033714 W JP 2019033714W WO 2020129309 A1 WO2020129309 A1 WO 2020129309A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
guidance
guide
data
robot
Prior art date
Application number
PCT/JP2019/033714
Other languages
English (en)
French (fr)
Inventor
治臣 東
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Priority to JP2020561150A priority Critical patent/JPWO2020129309A1/ja
Priority to US17/415,140 priority patent/US11904462B2/en
Publication of WO2020129309A1 publication Critical patent/WO2020129309A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0003Home robots, i.e. small robots for domestic use
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G05D1/246
    • G05D1/65
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/005Traffic control systems for road vehicles including pedestrian guidance indicator

Definitions

  • the present invention relates to a guide robot control device that controls a robot that moves with a user and guides the user to a destination, a guide system using the guide robot control device, and a guide robot control method.
  • a guidance system has been proposed that guides a user by moving an autonomous mobile robot together with the user.
  • a guide system of this type there is known a guide system which detects a walking speed and a moving direction of a user by a detecting means such as a camera mounted on the robot and controls the movement of the robot based on the recognition result.
  • a detecting means such as a camera mounted on the robot and controls the movement of the robot based on the recognition result.
  • the present invention has been made in view of the above points, and provides a guide robot control device by which a user can receive guidance without stress, a guide system using the guide robot control device, and a guide robot control method. With the goal.
  • the guide robot control device of the present invention A guide robot control device for controlling a robot that moves with a user and guides the user to a destination, A user dynamic data recognition unit that recognizes user dynamic data that is information about the user that changes over time during guidance, A guidance request estimation unit that estimates a guidance request of the user during guidance based on the user dynamic data; And a guide action determining unit that determines a guide action by the robot during the guide based on the estimated guide request.
  • user dynamic data refers to data regarding users that change over time (for example, data that changes during guidance). Specifically, the behavior of the user, biological information, and the like can be mentioned.
  • guidance request refers to the user's request for guidance. This guidance request includes not only a request explicitly specified by the user but also a request that is potentially desired.
  • guidance behavior refers to the conditions of determining the content of the service provided by the robot to the user and the operation of the robot during the guidance. For example, as will be described later, a route at the time of guidance, a guide speed that is a moving speed at the time of guiding the robot, a relative position to the user of the robot, a type of robot that provides guidance (for example, whether the robot is a leading robot, In addition to the contents such as whether or not the robot is a boardable robot, the contents of the information notified to the user (for example, the recommendation of the guide route) and the like can be mentioned.
  • Guidance behavior is determined. That is, the guidance action is determined not only based on the request explicitly specified by the user but also based on the potentially desired request.
  • the guidance action becomes appropriate according to the guidance request from the user. For example, guidance speed according to the physical condition of the user (for example, the degree of fatigue), facilities that the user needs to use (for example, a rest room, toilet), goods and services that the user is interested in are provided. The location of the store will be taken into consideration.
  • the physical condition of the user for example, the degree of fatigue
  • facilities that the user needs to use for example, a rest room, toilet
  • goods and services that the user is interested in are provided.
  • the location of the store will be taken into consideration.
  • the guide action is in accordance with the guide request of the user, so that the user can receive the guide without stress.
  • the user dynamic data recognition unit recognizes the user dynamic data before the start of guidance
  • the guidance request estimation unit estimates the guidance request of the user before the start of guidance based on the user dynamic data
  • the guidance action determination unit determines the guidance action at the start of guidance based on the estimated guidance request before the start of guidance.
  • “before the guidance starts” refers to the stage before the guidance by the robot is executed. For example, the period from when the user is inputting to the terminal that receives the guidance, or when the user arrives in the guidance area, until the user and the robot that guides the user merge. Including.
  • the user dynamic data may be data including at least one of the behavior of the user and biometric information of the user.
  • the user dynamic data includes at least one of user behavior and biometric information
  • the behavior of the user includes at least one of the moving speed of the user, the posture of the user, the facial expression of the user, the voice of the user, and the movement of a predetermined part of the body of the user. Good.
  • the user dynamic data includes at least one of user behavior and biometric information
  • the biometric information of the user is based on at least one of the body temperature of the user, the sweating state of the user, and the body temperature of the user, the sweating state of the user, and the behavior of the user. At least one of the estimated emotions of the user may be included.
  • the guidance action may include at least one of a route at the time of guidance, a guidance speed that is a moving speed at the time of guidance of the robot, a relative position of the robot with respect to the user, and a type of the robot.
  • User static data recognition unit that recognizes user static data that is information about the user that does not change over time
  • environment dynamic data that recognizes environment dynamic data that is information about a guide area that changes over time
  • At least one of a recognition unit and an environment static data recognition unit that recognizes environment static data that is information about a guidance region that does not change over time
  • the guidance request estimation unit based on at least one of the user static data, the environment dynamic data, and the environment static data, and the user dynamic data, the user dynamic data. It is preferable to estimate the guidance request.
  • user static data refers to data related to users that does not change over time (for example, data that does not change during guidance). For example, information about the user's attributes such as name, age, sex, chronic illness, disability, whether pregnant, presence of accompanying person, arrival time at the destination where the user requests guidance, user Among the data relating to the behavior of the user such as the past guidance history, the route of the user until reaching the guidance area, and the like, it does not change depending on the future behavior of the user.
  • environmental dynamic data refers to data related to the environment of the guidance area that changes over time (for example, data that changes during guidance). For example, an event such as the degree of congestion in the guidance area can be cited.
  • environment static data refers to data related to the environment of the guidance area that does not change over time (for example, data that does not change during guidance). For example, the locations of stores and facilities in the guidance area, held events, and the like can be mentioned.
  • the guidance action can be made more appropriate for the user. This allows the user to receive guidance without further stress.
  • a request estimation data storage unit that stores request estimation data indicating a relationship between the user dynamic data in the guidance before the previous guidance and the guidance request estimated based on the user dynamic data, It is preferable that the guidance request estimation unit estimates the guidance request of the user based on the user dynamic data and the request estimation data.
  • the relationship between the user dynamic data in the guidance before the previous guidance and the estimated guidance request is recorded as requirement estimation data, and the guidance estimation of the user is performed by referring to the requirement estimation data.
  • the guidance action further responds to the guidance request from the user, and the user can receive the guidance without further stress.
  • a map storage unit that stores map information that is information of the guidance area is provided. It is preferable that the guidance request estimation unit estimates the guidance request of the user based on the user dynamic data and information of the vicinity of the current location of the user in the map information.
  • the guidance request that causes the behavior may differ depending on the position in the guidance area. For example, even if the walking speed decreases, whether you are looking for an article you are interested in or whether you are tired, depending on whether it is a facility with many stores or a mere aisle. It changes).
  • the guide request of the user is estimated with reference to not only the user dynamic data but also the map information of the guide area, the guide request of the user can be estimated accurately.
  • the guidance action further responds to the guidance request from the user, and the user can receive the guidance without further stress.
  • the guidance request estimation unit estimates the guidance request when the recognized user dynamic data corresponds to predetermined user dynamic data.
  • User behavior for some guidance requests can be generalized. For example, if you are concerned about the arrival time, you often check the clock, and if you want to use the toilet, you need to check the guide table indicating the location of the toilet.
  • the user dynamic data to be used as a trigger for changing the guidance content is set in advance, and the recognized user dynamic data corresponds to the predetermined user dynamic data set in advance. If the guidance request is estimated only in the case where it is a case, it is possible to suppress the execution of excessive processing. As a result, it is possible to prevent excessive change of the guide content and excessive notification accompanying it, so that the user can receive the guide without further stress.
  • an emotion estimation unit that estimates the current emotion, which is the current emotion of the user
  • An evaluation data storage unit that stores evaluation data that is data in which the operation of the robot and the current emotion of the user at the time of the operation are associated with each other; It is preferable that the guidance behavior determination unit determines the guidance behavior based on the estimated guidance request and the evaluation data acquired in the guidance before the previous guidance.
  • the guide behavior is determined with reference to the evaluation data (for example, the guide behavior that causes a negative emotion in the evaluation data is not performed)
  • the guide behavior is further requested by the user. Since it becomes a response, the user can receive the guidance without further stress.
  • a notification instruction unit that gives an instruction to notify the user of inquiry information asking whether to change the guide behavior
  • a reaction recognition unit that recognizes the reaction of the user to the notification based on the instruction
  • the guidance behavior determination unit determines whether to change the guidance behavior based on the reaction.
  • the user dynamic data recognition unit sequentially recognizes the user dynamic data during guidance,
  • the guidance request estimation unit re-estimates the guidance request when the user dynamic data is recognized, It is preferable that the guidance behavior determination unit determines the guidance behavior during guidance again based on the guidance request estimated anew.
  • the guide robot control device includes a robot control unit that controls the operation of the robot based on the determined guide action.
  • the guide robot control method of the present invention A guide robot control method for controlling a robot that moves with a user and guides the user to a destination, A step in which the user dynamic data recognition unit recognizes user dynamic data that is information about the user that changes over time during guidance, A guide request estimating unit estimates a guide request of the user during guidance based on the user dynamic data; The guide action determination unit determines a guide action by the robot during the guide based on the estimated guide request.
  • FIG. 4 is a block diagram showing a configuration related to operation control of the robot of FIG. 3.
  • FIG. 2 is a block diagram showing the configuration of a guide robot control device of the guide system in FIG. 1.
  • the flowchart which shows the process which the guidance system of FIG. 1 performs when determining the guidance route at the time of guidance start.
  • the schematic diagram which shows the map of the airport where a user is guided by the guidance system of FIG.
  • 2 is a flowchart showing a process of determining the content of change of the guide route among the processes performed when the guide system of FIG. 1 changes the guide route during guidance.
  • 2 is a flowchart showing a process of changing a guide route, which is performed when the guide system of FIG. 1 changes a guide route during a guide.
  • 2 is a flowchart showing a process of determining a change content of a guide speed, which is included in a process performed when the guide system of FIG. 1 changes a guide speed during guidance.
  • the flowchart which shows the process until the change of a guide speed is performed among the processes performed when the guide system of FIG.
  • the schematic diagram which shows an example of the relative position of a user and a robot.
  • the flowchart which shows the process which the guidance system of FIG. 1 performs when determining a target position immediately after starting guidance. It is a graph which shows an example of a change of a relative distance of a user and a robot, and a horizontal axis shows time and a vertical axis shows relative distance.
  • 2 is a flowchart showing a process of determining the content of changing the target position among the processes performed when the guide system of FIG. 1 changes the target position during guidance.
  • the flowchart which shows the process until the change of a target position is performed among the processes performed when the guide system of FIG. 1 changes a target position during guidance.
  • the flowchart which shows the process which the guide system of FIG. 1 performs when estimating an evaluation. It is a graph which shows an example of a user's emotion change, a horizontal axis shows time and a vertical axis shows the degree to which a feeling is negative or positive.
  • the guidance area which is the area where the user is guided by the robot, is an airport
  • the guidance robot control device of the present invention and the guidance system using the guidance robot and the guidance robot control method are described. The case where it is applied to a system for guiding users at an airport is explained.
  • the guide robot control device, the guide system using the guide robot control method, and the guide robot control method of the present invention are for performing guidance using a robot that moves with the user and guides the user to the destination.
  • the system can be applied to a system used in a guidance area other than the airport.
  • a guidance system S is installed at a reception terminal 1, a plurality of robots 2 that move with a user to guide a user to a destination, and a plurality of locations in an airport, which is a guidance area. While receiving information from the reception terminal 1 (see FIG. 7), the robot 2, and a surveillance system 4 (not shown in FIG. 1, see FIG. 3) including a surveillance camera installed in the guidance area, etc. , And a server 3 (guidance robot controller) for controlling the robot 2 based on the information.
  • the reception terminal 1 is installed at an airport, which is a guidance area, and a plurality of robots 2 are operated.
  • the guide system of the present invention is not limited to such a configuration.
  • a mobile terminal for example, a smartphone, a tablet, etc.
  • a mobile terminal for example, a smartphone, a tablet, etc.
  • the number of reception terminals and the number of robots may be set as appropriate according to the nature of the guidance area (area, number of users, etc.). For example, when the guidance area is a small facility, one robot may be provided for each facility, or only one robot may be installed and only the mobile terminal of the user may be used instead of the reception terminal.
  • the reception terminal 1 is a terminal for a user to receive an application requesting the use in the guidance area.
  • the reception terminal 1 includes a first touch panel 1a, a keyboard 1b, a first microphone 1c, a first speaker 1d, and a first camera 1e.
  • the first touch panel 1a, the keyboard 1b, and the first microphone 1c configure an input unit
  • the first touch panel 1a and the first speaker 1d configure an output unit.
  • the user inputs the destination and the desired arrival time at the destination via the input unit of the reception terminal 1 and answers the questionnaire displayed on the output unit.
  • the contents of the questionnaire include, for example, name, age, sex, chronic illness, presence/absence of disability, presence/absence of a companion, presence/absence of a companion, past usage history, and route of the user until reaching the guidance area. Can be mentioned.
  • the user is photographed by the first camera 1e.
  • these pieces of information may be input via a terminal (for example, a personal computer, a smart phone, a tablet, etc.) that the user has before arrival in the guidance area or when making a reservation for an airplane.
  • a terminal for example, a personal computer, a smart phone, a tablet, etc.
  • the reception terminal 1 and the terminal owned by the user may be used together so that the information is input at different timings.
  • a bar code indicating information such as the name of the user, the flight to be used, the boarding gate, the boarding time, etc. should be written on the boarding pass for the aircraft, and the user can attach it to the reception terminal 1
  • the bar code may be read by a bar code reader provided, a camera mounted on the terminal of the user, or the like to input the information.
  • the robot 2 is configured as a so-called inverted pendulum type vehicle.
  • the robot 2 includes a lower base body 20, a moving operation unit 21 provided on the lower base body 20 and movable on a road surface, and an upper base body 22 rotatable about the yaw axis with respect to the lower base body 20. ..
  • the robot 2 is configured to be movable in all directions (arbitrary direction) on the road surface by the movement operation unit 21.
  • a first actuator 20a that rotationally drives a core body 21a of the moving motion unit 21, which will be described later
  • a second actuator 20b that rotationally drives each roller 21b of the moving motion unit 21, which will be described later
  • an upper base body Inside the lower base body 20, a first actuator 20a that rotationally drives a core body 21a of the moving motion unit 21, which will be described later, a second actuator 20b that rotationally drives each roller 21b of the moving motion unit 21, which will be described later, and an upper base body.
  • a third actuator 20c that rotates 22 is mounted.
  • the first actuator 20a, the second actuator 20b, and the third actuator 20c each apply a driving force to the core body 21a, each roller 21b, and the upper base body 22 via a power transmission mechanism (not shown). To do.
  • This power transmission mechanism has a known structure.
  • the moving operation unit 21 includes a ring-shaped core body 21a, and a plurality of ring-shaped bodies externally inserted into the core body 21a so as to be arranged at equal angular intervals in the circumferential direction (direction around the axis) of the core body 21a.
  • Roller 21b In FIG. 3, only some of the rollers 21b are representatively shown.
  • Each roller 21b is rotatable integrally with the core body 21a around the axis of the core body 21a. Further, each roller 21b is rotatable about the central axis of the transverse section of the core body 21a at the position where each roller 21b is arranged (the axis in the tangential direction of the circumference around the axis of the core body 21a). ..
  • the moving operation unit 21 configured as described above moves the core body 21a around its axis in a state where the roller 21b at the lower portion is grounded to the road surface (floor surface, ground surface, etc.) of the moving environment of the robot 2.
  • the road surface floor surface, ground surface, etc.
  • the upper base 22 includes a second touch panel 22a, a second microphone 22b, and a second speaker 22c.
  • the second touch panel 22a and the second microphone 22b form an input unit
  • the second touch panel 22a and the second speaker 22c form an output unit.
  • the change of the guide content is presented to the user via the output unit.
  • the user inputs a response to the proposal and a request to change the guidance content via the input unit.
  • a second camera 22d is provided on the upper base 22.
  • the second camera 22d captures an image of the user and the environment around the user and the robot 2.
  • the robot 2 has various sensors for acquiring a command from a user, an operating state of the robot 2, an external state (peripheral environment), and the like.
  • a control device 23 configured by an electronic circuit unit including a CPU, a RAM, a ROM, an interface circuit, and the like as a component for controlling the operation of the robot 2, and wireless communication between the server 3 and the control device 23.
  • a communication device 24 for performing.
  • the sensors mounted on the robot 2 include a second touch panel 22a and a second microphone 22b for receiving a command from a user, objects existing in the surrounding environment of the robot 2 (people, moving objects, installed objects, etc.).
  • a second camera 22d is included as an outside world recognition sensor for recognizing.
  • the outside world recognition sensor may be one that can recognize the surrounding environment of the robot 2 during guidance, and at least one of the behavior and biometric information of the user. Therefore, as the external world recognition sensor, instead of the second camera 22d, or in addition to the second camera 22d, a distance measuring sensor such as a laser range finder, or a radar device may be used.
  • the robot 2 is provided with a sensor for controlling the behavior of the robot 2 (for example, a camera for taking an image of the traveling direction) separately from the second camera 22d, the sensor is not provided.
  • the sensor may also be used as an external world recognition sensor instead of the second camera 22d or in addition to the second camera 22d.
  • “in the middle of guidance” specifically refers to the period from the start of guidance to the end of guidance.
  • “before the guidance is started” refers to a stage before the guidance by the robot 2 is executed. For example, the period from when the user is inputting to the reception terminal 1 or when the user arrives at the guidance area until before the user and the robot 2 merge.
  • the user's behavior includes at least one of the moving speed of the user, the posture of the user, the facial expression of the user, the voice of the user, and the action of a predetermined part of the user's body.
  • the biometric information of the user is estimated based on at least one of the body temperature of the user, the sweating state of the user, the body temperature of the user, the sweating state of the user, and the behavior of the user. Refers to one that contains at least one of the emotions of the user.
  • the sensors are not limited to the acceleration sensor 25 for detecting the acceleration of the robot 2, the self-position of the robot 2, and the position of the user guided by the robot 2. Also included is a position sensor 26 for detecting the.
  • Outputs (detection data) of the second touch panel 22a, the second microphone 22b, the acceleration sensor 25, the position sensor 26, etc. are input to the control device 23.
  • the control device 23 controls the operation of the first actuator 20a, the second actuator 20b, and the third actuator 20c (as a result, the moving operation unit 21) as a function realized by a hardware configuration or a program (software configuration) to be installed. 2) and the function of controlling the rotation of the upper base 22) and the function of controlling the output of the second touch panel 22a and the second speaker 22c.
  • the communication device 24 transmits the output of the sensors (detection data) and the control content of the control device 23 to the server 3.
  • the communication device 24 also receives a command from the server 3.
  • the server 3 has a data recognizing unit 3a, a relative position recognizing unit 3b, a guidance request estimating unit 3c, and a request estimating data storage function as a function realized by the installed hardware configuration or program.
  • Section 3d map storage section 3e, guidance action determination section 3f, priority storage section 3g, notification instruction section 3h, reaction recognition section 3i, robot control section 3j, emotion estimation section 3k, and evaluation data.
  • a storage unit 3l a storage unit 3l.
  • the data recognition unit 3a recognizes data regarding the user and the guidance area before and during the guidance based on the information collected through the reception terminal 1, the robot 2, and the monitoring system 4.
  • the data recognizing unit 3a is the user dynamic data recognizing unit 3a1 based on the image captured by the reception terminal 1 or the robot 2 and the acquired voice, and is information about the user that changes over time. Recognize user dynamic data.
  • user dynamic data refers to data regarding users that change over time (for example, data that changes during guidance). Specifically, the behavior of the user, biological information, and the like can be mentioned.
  • the user dynamic data recognition unit 3a1 also determines whether or not the recognized user dynamic data is predetermined user dynamic data that triggers a change in guidance content or emotion estimation.
  • the data recognition unit 3a uses the user static data recognition unit 3a2 to change with time based on the content input by the user into the reception terminal 1 and the response to the questionnaire presented through the reception terminal 1. Recognize user static data, which is information about users.
  • user static data refers to data related to users that does not change over time (for example, data that does not change during guidance). For example, information about the user's attributes such as name, age, sex, chronic illness, disability, whether pregnant, presence of accompanying person, arrival time at the destination where the user requests guidance, user Among the past guidance history, data regarding the behavior of the user such as the route of the user until reaching the guidance area, data that does not change depending on the behavior of the user in the future.
  • the data recognition unit 3a recognizes the environmental dynamic data, which is the information regarding the guide area that changes with time, in the environmental dynamic data recognition unit 3a3, based on the image captured by the robot 2 and the acquired voice.
  • environmental dynamic data refers to data related to the environment of the guidance area that changes over time (for example, data that changes during guidance). For example, an event such as the degree of congestion in the guidance area can be cited.
  • the environmental dynamic data recognition unit 3a3 also determines whether or not the recognized environmental dynamic data is predetermined environmental dynamic data that triggers a change in guidance content or emotion estimation.
  • the data recognition unit 3a recognizes the environmental static data by the environmental static data recognition unit 3a4, which is the information about the guidance area that does not change over time, based on the information from the map storage unit 3e described later.
  • environment static data refers to data related to the environment of the guidance area that does not change over time (for example, data that does not change during guidance). For example, the locations of stores and facilities in the guidance area, held events, etc.
  • the relative position recognition unit 3b recognizes the relative position of the robot 2 with respect to the user based on the information collected via the robot 2 and the monitoring system 4.
  • the "relative position” may refer to only the distance from the user to the robot or only the direction in which the robot is located with respect to the user, and refers to the degree of change in the relative position when the vehicle bends. Including cases.
  • the "direction" refers to the direction of the robot with respect to the user in a plane parallel to the moving planes of the user and the robot.
  • a line passing through the center of the user's body and the center of the robot 2 extends in the front-back direction through the center of the user's body. It refers to the inclination (angle) with respect to the line (the line included in the sagittal plane) (see FIG. 14 ).
  • the distance from the user to the robot 2 and the direction in which the robot 2 is located with respect to the user based on the information collected by at least one of the robot 2 and the monitoring system 4. Is recognized as a relative position.
  • the guidance request estimation unit 3c stores the user dynamic data, the user static data, the environment dynamic data, and the environment static data recognized by the data recognition unit 3a in the request estimation data storage unit 3d described below.
  • Guidance based on the requested estimation data and the map information (specifically, the information around the user's current location in the map information) that is the information on the guidance area stored in the map storage unit 3e described later. Estimate the guidance request of the user before the start and during the guidance.
  • guidance request refers to the user's request for guidance. This guidance request includes not only a request explicitly specified by the user but also a request that is potentially desired.
  • the guidance request estimation unit 3c determines the user dynamic data, the user static data, the environmental dynamic data, the environmental static data, the request estimation data, and the map information of the user based on the user dynamic data. Estimated guidance request.
  • At least one of the user static data, the environment dynamic data, and the environment static data is referred to in addition to the user dynamic data. This is because the guidance action can be made more appropriate for the user.
  • the guidance request estimation unit of the present invention may be any one that estimates the guidance request of the user based on the user dynamic data. Therefore, the function of the guidance robot control device may be changed as appropriate according to the type of information used by the guidance request estimation unit.
  • the user static data recognition unit 3a2, the environmental dynamic data recognition unit 3a3, the environmental static data recognition unit 3a4, and the request estimation data storage of the data recognition unit 3a Either the unit 3d or the map storage unit 3e may be omitted.
  • the guidance request estimation unit 3c estimates the guidance request of the user before and during the guidance start. This is to ensure that the guidance action from the start of guidance is in accordance with the guidance request from the user.
  • the guidance request estimation unit of the present invention may be any one that estimates the guidance request of the user during guidance. Therefore, the estimation of the guidance request of the user before the start of guidance may be omitted.
  • the request estimation data storage unit 3d stores request estimation data indicating the relationship between the user dynamic data in the guidance before the previous guidance and the guidance request estimated based on the user dynamic data. Then, as described above, the guidance request estimation unit 3c estimates the guidance request of the user with reference to the request estimation data stored in the request estimation data storage unit 3d.
  • the guide robot control device of the present invention is not limited to such a configuration.
  • the request estimation data may not be referred to when estimating the guidance request of the user.
  • the request estimation data storage unit may be omitted.
  • the request estimation data storage unit 3d stores request estimation data regarding the estimation.
  • the guide robot control device of the present invention is not limited to such a configuration.
  • the request estimation data when the request estimation data is prepared separately in advance, the request estimation data may not be stored when the estimation is performed.
  • Requirement estimation data is associated with user static data of the user regarding the estimation. This is so that when the request estimation data is referenced next time or later, the request estimation data associated with the user static data (attribute) similar to the user to be guided can be referred to, and the guidance request is made. This is for estimating more accurately.
  • Requirement estimation data does not necessarily need to be stored in association with user static data.
  • the attributes of users are constant to some extent (for example, an event venue targeting a certain age group)
  • the map storage unit 3e stores map information which is information on the guidance area.
  • map information in addition to the map information of the guidance area, information on toilets installed in the guidance area, facilities such as shops, events held in the guidance area, information on ongoing construction, etc. Can be mentioned. Further, the information on the facilities provided in the guidance area also includes the average usage time of the facilities.
  • the guidance request estimation unit 3c estimates the guidance request of the user, as described above. Will be referred to when doing.
  • the guidance request that causes the behavior may differ depending on the position in the guidance area. This is for accurately estimating the guidance request of the user by referring to the information.
  • the guide robot control device of the present invention is not limited to such a configuration.
  • the map storage unit may be omitted.
  • the guidance action determination unit 3f determines, based on the environmental dynamic data recognized by the data recognition unit 3a, the relative position recognized by the relative position recognition unit 3b, and the guidance request estimated by the guidance request estimation unit 3c, at the start of guidance and The guidance action performed by the robot 2 during guidance is determined.
  • the “guidance behavior” refers to the content of the service provided from the robot 2 to the user during guidance, and the condition that determines the operation of the robot 2.
  • the guidance speed that is the movement speed of the robot 2 during guidance, the relative position of the robot 2 with respect to the user, the content of information to be notified to the user, and the robot that provides guidance.
  • the robot is a robot that guides the user or a robot on which the user can board).
  • the guidance action determination unit 3f determines, based on the guidance request estimated by the guidance request estimation unit 3c, the route determination unit 3f1 to determine a route from the guidance start point to the destination at the start of guidance, and Change the route from your current location to your destination while you are being guided.
  • the route determination unit 3f1 also estimates the change in the required time before and after the change and the arrival time at the destination. Then, the change in the required time and the arrival time are presented to the user via the output unit of the robot 2.
  • the route determination unit of the present invention is not limited to such a configuration as long as it can change the route based on the estimated guidance request. For example, it is not necessary to estimate one or both of the change in the required time before and after the change and the arrival time at the destination.
  • the guidance action determination unit 3f determines the guidance speed at the start of guidance and during guidance by the guidance speed determination unit 3f2 based on the guidance request estimated by the guidance request estimation unit 3c.
  • the guidance action determination unit 3f based on the relative position when the user starts moving after the robot 2 has started the guidance, and the environmental dynamic data at the user's current location, at the start of guidance and during guidance. Then, the target position determination unit 3f3 determines and changes the target position.
  • the environmental dynamic data is referred to depending on the environmental dynamic data (that is, the dynamic environment of the guidance area such as the degree of congestion). This is because a position different from the position that the user originally thinks is preferable may be a position where the user is less likely to feel stress.
  • the target position determination unit of the present invention is not limited to such a configuration.
  • the target position may be determined or changed without referring to the environmental dynamic data.
  • the guidance behavior determination unit 3f when determining or changing the guidance behavior performed by the robot 2 during the guidance, the guidance behavior determination unit 3f also refers to the priority stored in the priority storage unit 3g described later.
  • the route to be guided may be a route that goes through a facility with a high priority, or the guidance speed of the robot 2 may be set in front of a facility with a high priority.
  • Examples of such processing include slowing or setting the target position to a position that does not easily prevent the user from recognizing a facility with high priority.
  • the guidance action determination unit of the present invention is not limited to such a configuration.
  • priority may not be referred to in determining and changing all guidance actions.
  • the priority storage unit may be omitted.
  • the priority may be referred to only in the determination and change of some guidance actions.
  • the guidance behavior determination unit 3f selects the guidance before the previous guidance from the evaluation data stored in the later-described evaluation data storage unit 3l. See also the evaluation data in.
  • the guidance action determination unit of the present invention is not limited to such a configuration.
  • the evaluation data may be referred to only when determining and changing some guide actions.
  • the guidance action determination unit 3f determines whether to change the guidance action based on the reaction of the user recognized by the reaction recognition unit 3i described later. Make the final decision. This makes it possible to prevent the guidance behavior from being suddenly changed.
  • the guidance action determination unit of the present invention is not limited to such a configuration.
  • the reaction of the user may be referred to only in the determination and change of some guidance behaviors.
  • Priority storage unit 3g stores priorities regarding facilities in the guidance area. This priority may be arbitrarily set by the system designer of the guidance system S or the like.
  • the priority of the toilet that is less likely to be crowded may be set higher than the priority of the toilet that is easily crowded.
  • the guidance system S of the present embodiment since the guidance system S of the present embodiment is installed at an airport, facilities important to the airport management side (for example, facilities with high rent) may be given a higher priority.
  • the notification instruction unit 3h notifies the robot 2 of inquiry information asking whether to change the guide action to the user based on the determined guide action (eg, guide route, guide speed, target position, etc.). Give instructions.
  • the determined guide action eg, guide route, guide speed, target position, etc.
  • the notification instruction unit 3h notifies the change content of the guide action determined by the guide action determination unit 3f, the change in the required time before and after the change, and the arrival time at the destination, and whether or not the change is possible.
  • the robot 2 is instructed to make a notification asking.
  • the robot 2 receiving this instruction notifies the user via the output unit of the robot 2.
  • the reaction recognition unit 3i recognizes how the user responds to the notification based on the instruction given to the robot 2 by the notification instruction unit 3h.
  • the reaction recognition unit 3i recognizes the reaction of the user based on the user dynamic data recognized by the data recognition unit 3a.
  • the robot control unit 3j controls the operation of the robot 2 based on the guide action determined by the guide action determination unit 3f.
  • the emotion estimation unit 3k estimates the current emotion, which is the current emotion of the user, at a plurality of points during guidance based on the user dynamic data recognized by the data recognition unit 3a.
  • the reference emotion of the user which is a reference for grasping the change in emotion, is estimated at the start of guidance. Then, the emotion estimation unit 3k generates, based on the current emotion and the reference emotion, evaluation data that is data that associates the motion of the robot 2 with the current emotion of the user during the motion.
  • the emotion estimation performed by the emotion estimation unit 3k is performed based on, for example, a publicly known or new emotion model.
  • emotion estimation is performed based on a known plutique emotion model M as shown in FIG.
  • emotions are classified into 4 groups and 8 types, and each of the 8 regions radially extending from the center corresponds to one of the emotions.
  • the first area A1 is “joy”
  • the second area A2 is “trust”
  • the third area A3 is “fear”
  • the fourth area A4 is “surprise”
  • the fifth area A5 is “sorrow”.
  • the sixth area A6 corresponds to “disgust”
  • the seventh area A7 corresponds to “anger”
  • the eighth area A8 corresponds to “expectation”. The closer to the center (the inner area than the outer area), the degree of emotion Is expressed as a strong thing.
  • this emotion estimation method is an example, and other methods may be used. Specifically, an emotion model other than the Prutic emotion model may be referred to. Further, a data table in which the user's actions and emotions are linked may be used, or an algorithm in which the user's actions are input items and the user's emotions are output items may be used.
  • the current emotion is estimated by the emotion estimation unit 3k at multiple points during the guidance. Specifically, the current emotion is estimated when it is determined that the user has performed a predetermined behavior based on the user dynamic data, or when the robot 2 has performed a predetermined motion. This is because, when the emotion of the user is estimated at all times, it may be difficult to grasp which motion of the robot the emotion corresponds to.
  • the evaluation data storage unit 3l stores the evaluation data generated by the emotion estimation unit 3k in time series. As a result, regarding the emotional change, data such as the graph shown in FIG. 20 described later is obtained.
  • the current emotions included in the evaluation data are not only the current emotions themselves, but also whether the estimated emotions are positive emotions or negative emotions, and changes in emotions (whether the result of the action has become good). , Is it worse, etc.) is also associated.
  • emotions are estimated based on the Prutic emotion model M shown in FIG. 6, and the eight regions of the emotion model M are classified into either positive or negative, and the regions and The score is set according to the degree. Therefore, in the evaluation data storage unit 3l, in addition to the estimated emotion itself, its classification (that is, whether it is a positive emotion or a negative emotion) and the fluctuation of the score (that is, the emotion change). To store.
  • the evaluation data is associated with environmental dynamic data regarding the current location of the user when the robot 2 operates. This is because the environmental dynamic data also greatly affects the emotion of the user.
  • the evaluation data is associated with user static data regarding the user who guided the user. This is to make it possible to refer to the evaluation data associated with the same user static data (attribute) as the guiding user when referring to the evaluation data from the next time onward.
  • evaluation data does not necessarily have to be associated with the environment dynamic data and the user static data. Specifically, at least one of the environmental dynamic data and the user static data may not be associated with the evaluation data.
  • the configuration described with reference to FIG. 5 is an example of the guidance system of the present invention. That is, the function realized by the hardware configuration or the program installed in the server 3 in this embodiment does not necessarily have to be realized in a single server.
  • it may be realized by using a hardware configuration or a program installed in a plurality of servers, or may be implemented in at least one of a reception terminal, a robot, and a monitoring system in addition to the hardware configuration or a program installed in a server. You may implement
  • FIG. 7 is a flowchart showing a process performed by the server 3 of the guidance system S when determining a guidance route at the start of guidance.
  • FIG. 9 is a flowchart showing a process of determining the content of change of the guide route in the process performed when the server 3 of the guide system S changes the guide route during guidance.
  • FIG. 10 is a flowchart showing a process up to the execution of the change of the guide route among the processes performed when the server 3 of the guide system S changes the guide route during the guidance.
  • the user static data recognition unit 3a2 of the data recognition unit 3a of the server 3 recognizes the user static data before the start of guidance (FIG. 7/STEP 101).
  • the reception terminal 1 installed at the guidance start point P0 performs the information input by the user at the time of reception, the received information about the reception terminal 1, and the output unit of the reception terminal 1 through the output unit. It recognizes the result of the questionnaire given to the user and sends the information to the server 3.
  • the user static data recognition unit 3a2 acquires information that can influence the determination of the guide route from the information transmitted to the server 3, and recognizes the information as user static data.
  • the information that may influence the determination of the guide route in this processing for example, in addition to the essential items such as the destination P1 and the desired arrival time (for example, flight time), information regarding the user's attributes, the user Examples include routes that have reached the guidance area (stores that stopped before arriving at the airport, which is the guidance area).
  • the attributes of the user in this process include the attributes that can influence the determination of the guide route. Examples include age, sex, past history of airport use (guidance route that was guided in the past), and the presence or absence of luggage that needs to be checked.
  • the environment static data recognition unit 3a4 of the data recognition unit 3a of the server 3 recognizes the environment static data of the entire guidance area (FIG. 7/STEP 102).
  • the environment static data recognition unit 3a4 acquires information that can influence the determination of the guide route from the map storage unit 3e of the server 3, and recognizes the information as environment static data.
  • map information of the guide area for example, the position of the accepted reception terminal 1 (that is, the guide start point P0)
  • the toilets installed in the guide area are included.
  • Information on facilities such as shops, events held in the guidance area, information on ongoing construction, and the like.
  • the route determination unit 3f1 of the guide action determination unit 3f of the server 3 determines the first route R1 serving as a reference based on the recognized user static data and environment static data (FIG. 7/STEP103). ).
  • the route that is estimated to be the shortest route that can be reached from the guidance start point P0 to the destination P1 by the arrival time desired by the user is One route is R1.
  • the user dynamic data recognition unit 3a1 of the data recognition unit 3a of the server 3 recognizes the user dynamic data before the start of guidance (FIG. 7/STEP 104).
  • the reception terminal 1 receives the image data of the user captured by the first camera 1e of the reception terminal 1 when the user receives the reception via the reception terminal 1, and the first data.
  • the voice data of the user acquired by the microphone 1c is transmitted to the server 3.
  • the user dynamic data recognition unit 3a1 determines the behavior of the user at the start of guidance, biological information (for example, physical condition, degree of fatigue, etc.) based on the information transmitted by the server 3. , Recognize as user dynamic data.
  • the guidance request estimation unit 3c of the server 3 recognizes the request estimation data based on the user static data (FIG. 7/STEP 105).
  • the guidance request estimation unit 3c recognizes, among the user static data recognized by the user static data recognition unit 3a2, data indicating the attribute of the user who desires guidance. After that, the guidance request estimation unit 3c acquires, from the request estimation data storage unit 3d, request estimation data associated with the same or related attribute as the attribute.
  • the guidance request estimation unit 3c estimates the guidance request of the user based on the recognized user dynamic data, user static data, and request estimation data (FIG. 7/STEP 106).
  • the guidance request estimation unit 3c determines whether the behavior of the user of the user dynamic data and biometric information (for example, physical condition, fatigue degree, etc.), and the user of the user static data reach the guidance area. Based on the route that has been taken (for example, whether or not you have visited a restaurant or the like), the user's guidance request (for example, whether you want to go to the toilet or whether you want to take a break) is estimated.
  • biometric information for example, physical condition, fatigue degree, etc.
  • the guidance request estimation unit 3c refers to the request estimation data that includes the same or similar user dynamic data as the recognized user dynamic data, and determines the guidance request corresponding to the request estimation data. , It is determined whether or not the guidance request estimated this time matches.
  • the guidance request estimation unit 3c determines the estimated guidance request as the guidance request of the user. On the other hand, when it is determined that the guidance requests do not match, the guidance request estimation unit 3c refers to the other user dynamic data and the user estimation data to newly estimate the guidance request of the user. ..
  • the route determination unit 3f1 recognizes the priority from the priority storage unit 3g based on the estimated guidance request (FIG. 7/STEP 107).
  • the route determination unit 3f1 acquires the priority of the facility estimated to be desired by the user from the priority storage unit 3g.
  • the route determination unit 3f1 recognizes the map information from the map storage unit 3e based on the estimated guidance request (FIG. 7/STEP 108).
  • the route determination unit 3f1 acquires, from the map storage unit 3e, the average usage time of the facility estimated to be desired by the user.
  • the route determination unit 3f1 corrects the reference first route R1 on the basis of the estimated guidance request and the recognized priority and map information so that the route determination unit 3f1 is a guidance route at the start of guidance.
  • Two routes R2 are determined, and the current process is ended (FIG. 7/STEP 109).
  • the route determination unit 3f1 moves from the guidance start point P0 to the destination P1 by the arrival time desired by the user.
  • the routes leading to go to the route and search for multiple routes that can go through any toilet.
  • the route determination unit 3f1 selects the route that goes through the toilet with the highest priority (for example, the toilet with the least congestion) from among the retrieved routes, that is, the second route R2 that is the guide route at the start of guidance. To decide.
  • the user dynamic data recognition unit 3a1 of the data recognition unit 3a of the server 3 recognizes the current user dynamic data (FIG. 9/STEP 201).
  • the robot 2 transfers to the server 3 the data of the image of the user captured by the second camera 22d of the robot 2 and the data of the voice of the user acquired by the second microphone 22b. Send. Then, based on the information transmitted to the server 3, the user dynamic data recognition unit 3a1 performs the behavior of the user during guidance (for example, facial expression, eye movement, etc.), and biological information (for example, physical condition, Recognize fatigue level etc.) as current user dynamic data.
  • guidance for example, facial expression, eye movement, etc.
  • biological information for example, physical condition, Recognize fatigue level etc.
  • the user dynamic data recognition unit 3a1 determines whether or not the recognized user dynamic data is a predetermined predetermined user dynamic data (FIG. 9/STEP 202).
  • User behavior for some guidance requests can be generalized. For example, if you are concerned about the arrival time, you often check the clock, and if you want to use the toilet, you need to check the guide table indicating the location of the toilet.
  • the guidance system S user dynamic data to be used as a trigger for changing the guidance content is set in advance, and the recognized user dynamic data corresponds to the predetermined user dynamic data set in advance. Only when it is the case, the processing for changing the subsequent guidance contents is executed. As a result, in the guidance system S, the execution of excessive processing is suppressed, and therefore excessive changes in the guidance content and the accompanying excessive notification are suppressed.
  • the predetermined user dynamic data for example, information indicating that the user's line of sight has moved to look for something or is concentrated at some point, the moving direction or moving speed of the user is Examples of the information include information indicating that the change has been made, information indicating that the user uttered a voice (for example, wanting to stop by somewhere) that conveys a request, and the like.
  • the environmental dynamic data recognition unit 3a3 of the data recognition unit 3a of the server 3 causes the current location of the robot 2 (and eventually the robot 2). , And recognizes the environmental dynamic data of the user's current location P2) (FIG. 9/STEP 203).
  • the robot 2 receives the data of the image around the user captured by the second camera 22d of the robot 2 and the data of the voice around the user acquired by the second microphone 22b. , Server 3.
  • the environmental dynamic data recognition unit 3a3 acquires information that may affect the change of the guide route from the information transmitted to the server 3, and recognizes the information as environmental dynamic data.
  • Information that may affect the change of the guide route in this process includes, for example, the degree of congestion around the user during the guide, unscheduled construction, and events such as a sudden accident.
  • the environment static data recognition unit 3a4 of the data recognition unit 3a of the server 3 recognizes the environment static data of the current location P2 of the user (FIG. 9/STEP 204).
  • the environment static data recognition unit 3a4 acquires information that can affect the change of the guide route from the map storage unit 3e of the server 3 and recognizes the information as environment static data.
  • Information that may affect the change of the guide route in this processing includes information on facilities such as toilets and stores installed around the user's current location P2, and events held around the current location P2 (in this embodiment, the event. Events held at venue P3), information on ongoing construction, and the like.
  • the guidance request estimation unit 3c of the server 3 recognizes the request estimation data based on the recognized user static data (FIG. 9/STEP 205).
  • the guidance request estimation unit 3c selects from among the user static data recognized before the start of guidance (user static data recognized in FIG. 7/STEP 101). Based on the data indicating the recognized user's attribute, the request estimation data associated with the same or related attribute as the attribute is acquired from the request estimation data storage unit 3d.
  • the guidance request estimation unit 3c estimates the guidance request of the user at the present time based on the recognized user dynamic data, environmental dynamic data, environmental static data, and requirement estimation data (Fig. 9/STEP 206).
  • the guidance request estimation unit 3c uses the user dynamic data (facial expression, eye movement, etc.), environmental dynamic data (degree of congestion of the current location P2, etc.), and environmental static data (event venue P3).
  • the user's guidance request (for example, it is crowded and wants to move smoothly, is interested in the content of the event, etc.) is estimated based on the event held in.
  • the guidance request estimation unit 3c refers to the request estimation data and confirms the estimated guidance request as the guidance request of the user, or reissues the guidance request of the user. presume.
  • the route determination unit 3f1 recognizes the priority from the priority storage unit 3g based on the estimated guidance request (FIG. 9/STEP 207).
  • the route determination unit 3f1 acquires the priority of the facility estimated to be desired by the user from the priority storage unit 3g.
  • the route determination unit 3f1 recognizes the map information related to the guidance request based on the estimated guidance request (FIG. 9/STEP 208).
  • the route determination unit 3f1 is a distance from the current location to the store P4 that handles products related to the event held at the event venue P3 from the map storage unit 3e, and the required time, and The average usage time of the store P4 is acquired.
  • the route determination unit 3f1 determines the content of change of the guidance route based on the estimated guidance request and the recognized priority and map information (FIG. 9/STEP 209).
  • the determination unit 3f1 when it is estimated that the user is interested in an event held at the event venue P3 (and thus wants to purchase a product related to the event), first, the route Among the routes from the current location P2 to the destination P1, the determination unit 3f1 considers the average usage time of the stores handling the product, and then searches for a plurality of routes that can pass through any of the stores.
  • the route determination unit 3f1 selects a route passing through the store having the highest priority (for example, the closest store P4) from the plurality of searched routes from the current position P2 of the first route R1 serving as the reference.
  • the part up to the destination P1 is replaced with the route, and the route is determined as the third route R3 (change content) which is the changed guide route.
  • the route determination unit 3f1 recognizes the arrival time when the guide route is changed from the second route R2 to the third route R3 (FIG. 10/STEP 210).
  • the route determination unit 3f1 calculates the average moving speed from the guidance start point P0 to the current position P2. After that, the route determination unit 3f1 calculates the arrival time based on the average moving speed, the distance from the current position P2 to the destination P1, the average usage time of the store P4, and the current time.
  • the route determination unit 3f1 determines whether the arrival time when the guide route is changed is earlier than the arrival time desired by the user (FIG. 10/STEP 211).
  • the server 3 terminates this process without performing the subsequent process.
  • the route determination unit 3f1 determines the evaluation data storage unit 3l based on the recognized user static data.
  • the evaluation data is recognized from (FIG. 10/STEP 212).
  • the route determination unit 3f1 recognizes the data indicating the attribute of the user among the user static data recognized by the user static data recognition unit 3a2. After that, the route determination unit 3f1 acquires, from the evaluation data storage unit 3l, evaluation data associated with the same or related attribute as the attribute.
  • the route determination unit 3f1 recognizes a change in the emotion of the user predicted when the guide route is changed, based on the evaluation data (FIG. 10/STEP 213).
  • the route determination unit 3f1 associates, from the recognized evaluation data, an action that is the same as or related to the action of the robot 2 for the guidance request this time (for example, the guidance route change itself). Search for the evaluation data that is stored. After that, the route determination unit 3f1 recognizes the change in emotion included in the recognized evaluation data.
  • the route determination unit 3f1 determines whether or not the predicted emotional change is positive (FIG. 10/STEP 214).
  • the server 3 ends the processing of this time without performing the subsequent processing.
  • the notification instruction unit 3h of the server 3 instructs the robot 2 to notify the changed content (FIG. 10/STEP 215).
  • the notification instructing unit 3h indicates that the store P4 handles the products related to the event held at the event venue P3, and the store P4.
  • Information for changing the guide route that is, the third route R3) for passing through the route, arrival time when the guide route is changed, change in required time before and after the change, and change of the guide route
  • the robot 2 is instructed to notify the inquiry information as to whether or not
  • the robot 2 receiving this instruction gives a notification via the second touch panel 22a and the second speaker 22c, which are output units.
  • the user dynamic data recognition unit 3a1 recognizes the user dynamic data after notification of the inquiry information (FIG. 9/STEP 216).
  • the robot 2 notifies the inquiry information
  • the data of the image of the user photographed by the second camera 22d of the robot 2 and the voice of the user acquired by the second microphone 22b are displayed.
  • the data is transmitted to the server 3.
  • the user dynamic data recognition unit 3a1 recognizes the behavior of the user as user dynamic data based on the information transmitted to the server 3.
  • the reaction recognition unit 3i of the server 3 recognizes the reaction of the user based on the user dynamic data recognized after the notification of the inquiry information (FIG. 9/STEP 217).
  • the system designer or the like of the guidance system S defines behaviors that the user can presumably indicate permission and behaviors that can be presumed to be denied, and the reaction recognition unit 3i
  • the user's reaction (specifically, whether or not the change of the guide route is permitted) is recognized depending on which behavior the user dynamic data recognized after the notification corresponds to.
  • the route determination unit 3f1 determines whether or not the reaction recognized by the reaction recognition unit 3i is a reaction permitting the change of the guide route (FIG. 10/STEP 218).
  • the server 3 ends the processing of this time without performing the subsequent processing.
  • the route determination unit 3f1 confirms the change of the guide route, and the robot control unit 3j of the server 3 determines. , Instructs the robot 2 to perform a guide action according to the changed guide route (FIG. 10/STEP 219).
  • the robot control unit 3j transmits an instruction to the robot 2 to guide the user along the third route R3 which is the changed guide route.
  • the guidance request estimation unit 3c stores, in the request estimation data storage unit 3d, the user dynamic data used when estimating the guidance request this time (that is, the user dynamic data recognized in FIG. 9/STEP 201). , And the user static data and the estimated guidance request are stored in association with each other, and the processing of this time is ended (FIG. 10/STEP 220).
  • the guidance route is changed based on the estimated guidance request from the user during guidance (specifically, during the period from the guidance start to the guidance end). It That is, the guide route is changed not only based on the request explicitly specified by the user but also based on the potentially desired request.
  • the guide route becomes appropriate according to the guide request from the user.
  • the facilities that the user needs to use for example, a break room, a toilet
  • the location of the store where the goods and services that the user is interested in are provided, and the like are considered.
  • the guide route corresponds to the guide request of the user, and the intention of the user is respected. Since the guide route is changed, the user can receive the guide without stress.
  • the user dynamic data is sequentially detected, the guide request is estimated again each time, and the guide route is changed. This is because the user's guidance request, which changes from moment to moment, is sequentially grasped and the guidance route is appropriately changed.
  • the present invention is not limited to such a configuration.
  • the user dynamic data should be recognized, the guidance request should be estimated, and the guidance route should be changed only at a predetermined timing (for example, timing when a predetermined point is passed, timing when a predetermined time has elapsed, etc.).
  • the environmental dynamic data is sequentially recognized instead of the user dynamic data and the predetermined environmental dynamic data is recognized (for example, when the degree of congestion becomes higher than a predetermined level). Only, the user dynamic data may be recognized, the guidance request may be estimated, and the guidance route may be changed.
  • the server 3 ends the processing without performing the subsequent processing. This is because priority is given to guiding the user to the destination at the desired arrival time, and priority is given to the direct wish of the user.
  • the present invention is not limited to such a configuration.
  • the recognized user dynamic data includes direct instructions (for example, if the robot is instructed to go to a predetermined store)
  • the recognized environmental dynamic data is urgent. If there is a high likelihood (when an accident that requires evacuation near the current location occurs), change the guide route without making a decision regarding arrival time and emotion changes. May be.
  • the guide route at the start of the guide is determined and the guide route is changed based on the physiological desire of the user and the display that attracts the user's interest during the guide.
  • the present invention is not limited to such a configuration.
  • the user's past use history of the facility in the static data of the user may be referred to, and a route passing through the facility used in the past may be added as a candidate.
  • a route passing through the facility used in the past may be added as a candidate.
  • the attribute of the user for example, the brand of clothes, personal belongings, etc.
  • passing through the store for example, the store associated with the recognized brand
  • the time zone (specifically, whether it is the time zone for eating) in the static environment data is recognized, and the route passing through the eating and drinking facility is added to the candidates according to the time zone.
  • You may In addition, it recognizes the remaining time to the desired arrival time in the environmental static data, and prioritizes the passage (for example, wide and large) that is easy to pass, or selects the passage with the shortest time according to the remaining time. The priority may be referred to when determining or changing the guide route.
  • the guide route may be changed to a route that is less crowded and can move smoothly.
  • FIG. 11 is a flowchart showing a process performed when the server 3 of the guidance system S determines the guidance speed at the start of guidance.
  • FIG. 12 is a flowchart showing a process of determining the content of the change of the guide speed among the processes performed when the server 3 of the guide system S changes the guide speed during the guidance.
  • FIG. 13 is a flowchart showing a process up to the execution of the change of the guide speed among the processes performed when the server 3 of the guide system S changes the guide speed during the guidance.
  • the user static data recognition unit 3a2 of the data recognition unit 3a of the server 3 recognizes the user static data before the start of guidance (FIG. 11/STEP 301).
  • the reception terminal 1 receives information input by the user at the time of reception, information regarding the received reception terminal 1, and an output unit of the reception terminal 1 The user recognizes the result of the questionnaire conducted to the user and transmits the information to the server 3.
  • the user static data recognition unit 3a2 acquires information that can influence the determination of the guidance speed from the information transmitted from the reception terminal 1, and recognizes the information as user static data. ..
  • Information that may influence the determination of the guidance speed in this process includes, for example, the position of the accepted reception terminal 1 (that is, the guidance start point P0 in FIG. 8), the destination P1 in FIG. 8, and the desired arrival time (for example, , Flight time, etc.), information about the attributes of the user, the route the user has taken to reach the guidance area (such as a store that stopped by before arriving at the airport, which is the guidance area), and the like.
  • the attributes of the user in this process include the attributes that can influence the determination of the guidance speed. For example, age, sex, presence/absence of physical disability, whether or not a wheelchair is used, presence/absence of a companion, whether or not pregnant, etc.
  • the environment static data recognition unit 3a4 of the data recognition unit 3a of the server 3 recognizes the environment static data of the entire guidance area (FIG. 11/STEP 302).
  • the environment static data recognition unit 3a4 acquires information that can influence the determination of the guidance speed from the map storage unit 3e of the server 3 and recognizes the information as environment static data.
  • Information that can influence the determination of the guidance speed in this process includes map information of the guidance area, information on events held in the guidance area, information on ongoing construction (and thus prediction of congestion). Information about places to be played).
  • the guide speed determination unit 3f2 of the guide action determination unit 3f of the server 3 determines the first speed serving as a reference, based on the recognized user static data and environment static data (FIG. 11/STEP303). ).
  • the estimated route is the first route R1.
  • the guide speed estimated when traveling on the first route R1 is set as a reference first speed.
  • the user dynamic data recognition unit 3a1 of the data recognition unit 3a of the server 3 recognizes the user dynamic data before the start of guidance (FIG. 11/STEP 304).
  • the user dynamic data recognition unit 3a1 uses the information transmitted from the reception terminal 1 to determine the behavior of the user at the start of guidance and the biometric information. (For example, physical condition, fatigue level, etc.) are recognized as user dynamic data.
  • the guidance request estimation unit 3c of the server 3 recognizes the request estimation data based on the user static data (FIG. 11/STEP 305).
  • the guidance request estimation unit 3c estimates the request based on the data indicating the attribute of the user recognized from the user static data.
  • the request estimation data associated with the same or related attribute as the attribute is acquired from the data storage unit 3d.
  • the guidance request estimation unit 3c estimates the guidance request of the user based on the recognized user dynamic data, user static data, and request estimation data (FIG. 11/STEP 306).
  • the guidance request estimation unit 3c determines whether the behavior of the user of the user dynamic data and biometric information (for example, physical condition, fatigue degree, etc.), and the user of the user static data reach the guidance area.
  • a guidance request from the user (specifically, whether the guidance speed is faster or slower) is estimated based on the route taken (for example, whether or not there is a physical obstacle).
  • the guidance request estimation unit 3c refers to the request estimation data that includes the same or similar user dynamic data as the recognized user dynamic data, and determines the guidance request corresponding to the request estimation data. , It is determined whether or not the guidance request estimated this time matches.
  • the guidance request estimation unit 3c determines the estimated guidance request as the guidance request of the user. On the other hand, when it is determined that the guidance requests do not match, the guidance request estimation unit 3c refers to the other user dynamic data and the user estimation data to newly estimate the guidance request of the user. ..
  • the guide speed determination unit 3f2 corrects the reference first speed based on the estimated guide request, determines the second speed that is the guide speed at the start of the guide, and executes the current process. It ends (FIG. 11/STEP 307).
  • the guide speed determination unit 3f2 adjusts the first speed according to the guide speed desired by the user and determines the second speed.
  • processing for examining means for increasing the moving speed of the user may be performed.
  • a process of determining whether or not the type of the robot used for guidance can be boarded, and Alternatively, processing for calling a boardable robot may be performed.
  • the user dynamic data recognition unit 3a1 of the data recognition unit 3a of the server 3 recognizes the current user dynamic data (FIG. 12/STEP 401).
  • the user dynamic data recognition unit 3a1 uses the information transmitted from the robot 2 to guide the user's behavior (for example, facial expression, line of sight) during guidance. Recognize the user's dynamic data such as movement) and biological information (for example, physical condition, degree of fatigue, etc.).
  • the user's behavior for example, facial expression, line of sight
  • biological information for example, physical condition, degree of fatigue, etc.
  • the environmental dynamic data recognition unit 3a3 of the data recognition unit 3a of the server 3 recognizes the environmental dynamic data of the current position of the robot 2 (and by extension, the user's current position P2) (FIG. 12/STEP 402).
  • the environmental dynamic data recognition unit 3a3 acquires information that may affect the change of the guide speed from the information transmitted from the robot 2, and outputs the information. Recognize as environmental dynamic data.
  • the information that may affect the change of the guide speed in this process is, for example, the degree of congestion around the user during the guide, the noise level around the user, the information about the moving speed of other users, and the like. Are listed.
  • the user dynamic data recognition unit 3a1 determines whether or not the recognized user dynamic data is predetermined user dynamic data (FIG. 12/STEP 403).
  • the system designer or the like predefines user dynamic data to be a trigger for changing the guidance content, and the user dynamic data recognition unit 3a1 , It is determined whether the recognized user dynamic data corresponds to the predetermined user dynamic data set in advance.
  • the predetermined user dynamic data for example, information indicating that the user's line of sight has moved to look for something or is concentrated at some point, the moving direction or moving speed of the user is Examples of the information include information indicating that the change has been made and information indicating that the user has generated a voice (for example, wanting to move faster) that conveys a request.
  • the environmental dynamic data recognition unit 3a3 determines that the recognized environmental dynamic data is the predetermined predetermined environmental data. It is determined whether the data is target data (FIG. 12/STEP 404).
  • a part of the environmental dynamic data can be generalized as to how it affects the guidance request of the user. For example, when the degree of congestion is high, the user becomes difficult to move, and thus a guidance request for lowering the guidance speed occurs.
  • the environmental dynamic data to be used as a trigger for changing the guidance content is set in advance, and the recognized environmental dynamic data corresponds to the predetermined predetermined environmental dynamic data. Only if there is, the subsequent process for changing the guide content is executed. As a result, in the guidance system S, the execution of excessive processing is suppressed, and therefore excessive changes in the guidance content and the accompanying excessive notification are suppressed.
  • Examples of the environmental dynamic data that should be used as a trigger for changing the guide content include information indicating that the degree of congestion has increased, information indicating that the noise level around the user has increased, and Examples include information indicating that the difference between the moving speed of a user and the moving speeds of other users has exceeded a predetermined value.
  • the server 3 executes the processing of STEP 401 to STEP 404 again.
  • the guidance request estimation unit 3c of the server 3 recognizes the request estimation data based on the recognized user static data (FIG. 12/STEP 405).
  • the guidance request estimating unit 3c recognizes the user static data (recognized in FIG. 11/STEP 301) before the guidance starts. Based on the data indicating the attribute of the user recognized from the user static data), the request estimation data having the same or related attribute as the attribute is acquired from the request estimation data storage unit 3d.
  • the guidance request estimation unit 3c estimates the guidance request of the user at the present time based on the recognized user dynamic data, environmental dynamic data, and requirement estimation data (FIG. 12/ST. EP 406).
  • the guidance request estimation unit 3c first requests the guidance of the user (based on the user dynamic data (facial expression, eye movement, etc.) and environmental dynamic data (degree of congestion at the current location, etc.). For example, it is estimated that it is difficult to chase the robot because the degree of congestion is high, and that he/she is interested in the contents of the event and wants to move while watching the situation).
  • the user dynamic data facial expression, eye movement, etc.
  • environmental dynamic data degree of congestion at the current location, etc.
  • the guidance request estimation unit 3c refers to the request estimation data and determines the estimated guidance request as the guidance request of the user. Or, the user's guidance request is estimated again.
  • the guidance speed determination unit 3f2 of the guidance behavior determination unit 3f of the server 3 recognizes the map information related to the guidance request based on the estimated guidance request (FIG. 12/STEP 407).
  • the guide speed determination unit 3f2 acquires from the map storage unit 3e a passage or the like in the vicinity of the current guide route (third route R3) that is less congested.
  • the guide speed determination unit 3f2 determines the guide speed change content based on the estimated guide request and the recognized priority and map information (FIG. 12/STEP 408).
  • the guidance speed determination unit 3f2 determines how and to what extent the second speed, which is the current guide speed, should be changed (change content of the guide speed).
  • the guide speed determination unit 3f2 recognizes the arrival time when the guide speed is changed (FIG. 13/STEP 409).
  • the guide speed determination unit 3f2 determines whether or not it passes. After that, the guidance speed determination unit 3f2 calculates the arrival time based on the calculated duration and distance to be continued, and the current time and the distance from the current location to the destination.
  • the guide speed determination unit 3f2 determines whether the arrival time when the guide speed is changed is earlier than the arrival time desired by the user (FIG. 13/STEP 410).
  • the server 3 ends the processing of this time without performing the subsequent processing.
  • the guidance speed determination unit 3f2 determines the evaluation data storage unit based on the recognized user static data.
  • the evaluation data is recognized from 3l (FIG. 13/STEP 411).
  • the guidance speed determination unit 3f2 selects from among the user static data recognized before the start of guidance (user static data recognized in FIG. 11/STEP301). Based on the recognized data indicating the attribute of the user, the evaluation data storage unit 3l acquires evaluation data associated with the same or related attribute as the attribute.
  • the guidance speed determination unit 3f2 recognizes a change in the emotion of the user predicted when the guidance speed is changed, based on the evaluation data (FIG. 13/STEP 412).
  • the guide speed determination unit 3f2 performs the operation based on the operation of the robot 2 (for example, the change of the guide speed itself) scheduled to be performed for the present guide request. Recognizing evaluation data associated with a motion and recognizing a change in emotion included in the evaluation data.
  • the guidance speed determination unit 3f2 determines whether or not the predicted emotional change is positive (FIG. 13/STEP 413).
  • the server 3 ends this processing without performing the subsequent processing.
  • the notification instruction unit 3h of the server 3 instructs the robot 2 to notify the changed content (FIG. 13/STEP 414).
  • the notification instruction unit 3h changes the guide speed, the period and distance for changing the guide speed, and the reason for changing the guide speed (that is, , Estimated guide request), arrival time when the guide speed is changed, information about the change of guide speed such as change in required time before and after change, and notification of inquiry information asking whether the guide speed can be changed To the robot 2.
  • the robot 2 receiving this instruction gives a notification via the second touch panel 22a and the second speaker 22c, which are output units.
  • the user dynamic data recognition unit 3a1 recognizes the user dynamic data after notification of the inquiry information (FIG. 13/STEP 415).
  • the user dynamic data recognition unit 3a1 uses the behavior of the user after notification of the inquiry information based on the information transmitted from the robot 2. Recognize as dynamic data.
  • the reaction recognition unit 3i of the server 3 recognizes the reaction of the user based on the user dynamic data recognized after the notification of the inquiry information (FIG. 13/STEP 416).
  • the reaction recognition unit 3i determines whether the user dynamic data recognized after the notification corresponds to a predetermined behavior.
  • the user's reaction (specifically, whether or not the change of the guide speed is permitted) is recognized.
  • the guide speed determination unit 3f2 determines whether or not the reaction recognized by the reaction recognition unit 3i is a reaction that permits the change of the guide speed (FIG. 13/STEP 417).
  • the server 3 ends the processing of this time without performing the subsequent processing.
  • the guide speed determination unit 3f2 confirms the change of the guide speed, and the robot control unit 3j of the server 3 determines. Instructs the robot 2 to perform a guiding action according to the changed guiding speed (FIG. 13/STEP 418).
  • the robot control unit 3j transmits to the robot 2 an instruction to guide the user at the changed guide speed.
  • the guidance request estimation unit 3c stores in the request estimation data storage unit 3d the user dynamic data used when estimating the guidance request this time (that is, the user dynamic data recognized in FIG. 12/STEP 401).
  • the environmental dynamic data that is, the environmental dynamic data recognized in FIG. 12/STEP 402
  • the user static data that is, the user static data
  • the estimated guidance request are stored in association with each other, and the processing of this time is ended (FIG. 13/STEP 419).
  • the guidance speed is changed based on the estimated user guidance request during guidance (specifically, during the period from the guidance start to the guidance end). It That is, the guide speed is changed based not only on the request explicitly specified by the user but also on the potentially desired request.
  • the guidance speed becomes appropriate according to the guidance request from the user.
  • the degree of fatigue of the user the discomfort due to congestion, the position of the facility where the user is interested, and the like are taken into consideration.
  • the guide speed is in accordance with the guide request of the user, and the intention of the user is respected. Since the guidance speed is changed, the user can receive the guidance without stress.
  • the user dynamic data is sequentially detected, and the guide request is estimated again each time, and the guide speed is changed. This is because the user's guidance request, which changes from moment to moment, is sequentially grasped and the guidance speed is changed appropriately.
  • the present invention is not limited to such a configuration.
  • the user dynamic data should be recognized, the guidance request should be estimated, and the guidance speed should be changed only at a predetermined timing (for example, timing when a predetermined point is passed, timing when a predetermined time has elapsed, etc.).
  • the environmental dynamic data is sequentially recognized instead of the user dynamic data and the predetermined environmental dynamic data is recognized (for example, when the degree of congestion becomes higher than a predetermined level). Only, the user dynamic data may be recognized, the guidance request may be estimated, and the guidance speed may be changed.
  • the server 3 ends the processing without performing the subsequent processing. This is because priority is given to guiding the user to the destination at the desired arrival time, and priority is given to the direct wish of the user.
  • the present invention is not limited to such a configuration.
  • the recognized user dynamic data includes direct instructions (for example, if the robot is instructed to go to a predetermined store)
  • the recognized environmental dynamic data is urgent. If it is highly likely to occur (when an accident that requires evacuation near the current location), etc., change the guide speed without making a decision regarding arrival time and emotion changes. May be.
  • the guide speed is changed by using the user dynamic data and the environment dynamic data as triggers.
  • the guidance speed may be changed based on the user static data and the environment static data.
  • the brand should be handled from the environmental static data. Search for stores that have the attribute of being present (and by extension, stores that users are likely to want to visit), and slow down the guidance speed around the stores so that users can easily become interested in the stores. You may do it.
  • the priority is set for each store according to the cost that the facility pays to the administrator of the guidance area, and the user is more likely to be interested in the vicinity of the store with higher priority.
  • the guide speed may be set to be particularly slow.
  • target position refers to a target position of the relative position during the guidance of the robot 2 to the user.
  • relative position may refer only to the distance from the user to the robot, or only the direction in which the robot is positioned with respect to the user, and refers to the degree of change in the relative position when turning. Including.
  • target position or the relative position in the following description is the distance from the user to the robot and the direction in which the robot is positioned with respect to the user.
  • the "direction” refers to the direction of the robot with respect to the user in a plane parallel to the moving planes of the user and the robot.
  • a line extending in the front-rear direction passing through the center of the user's body in a plan view (a line included in the sagittal plane).
  • the angle ⁇ (that is, the second virtual line L2) formed by the first virtual line L1.) and the line passing through the first center C1 that is the center of the user's body and the second center C2 that is the center of the robot 2 (that is, , The inclination of the second virtual line L2 with respect to the first virtual line L1).
  • FIG. 15 is a flowchart showing a process performed when the server 3 of the guidance system S determines a target position immediately after the start of guidance.
  • FIG. 17 is a flowchart showing a process of determining the content of changing the target position among the processes performed when the server 3 of the guidance system S changes the target position during guidance.
  • FIG. 18 is a flowchart showing a process of changing the target position, which is performed by the server 3 of the guidance system S when changing the target position during guidance.
  • the user static data recognition unit 3a2 of the data recognition unit 3a of the server 3 recognizes the user static data before the start of guidance (FIG. 15/STEP 501).
  • the reception terminal 1 receives information input by the user at the time of reception, information regarding the reception terminal 1 that has been received, and reception terminal 1 It recognizes the result of the questionnaire to the user conducted via the output unit of and sends the information to the server 3.
  • the user static data recognition unit 3a2 acquires information that can influence the determination of the target position from the information transmitted from the information transmitted from the reception terminal 1, and uses the information to the user Recognize as static data.
  • Information that can influence the determination of the target position in this processing includes, for example, information that can influence the determination of the target position.
  • the attributes of the user such as the presence or absence of physical (especially, eye and ear) disabilities, whether or not the user is using a wheelchair, dominant hand, presence or absence of a companion, whether or not he is pregnant, past usage history, etc. Information about.
  • the target position determination unit 3f3 of the guidance action determination unit 3f of the server 3 determines the first position, which is the target position at the start of guidance, based on the recognized user static data (FIG. 15/STEP 502). ).
  • a position outside the personal area of the user U, in front of the user U, and in the vicinity of the peripheral visual field of the central visual field of the user U is referred to as the first position.
  • the distance and direction of the first position are the presence or absence of obstacles related to the user's dominant hand, the user's eyes, and ears included in the user static data. Determined by
  • the first position may be determined by referring to the evaluation data in addition to the user static data, or if the user has a past usage history, the first position in the past usage history
  • the target position may be used.
  • the robot control unit 3j of the server 3 instructs the robot 2 to perform a guiding action (FIG. 15/STEP 503).
  • the guidance route at the start of guidance determined by the process described with reference to FIG. 7 (the second route R2 in FIG. 8) or the process described with reference to FIGS. 9 and 10 is determined.
  • the robot control unit 3j transmits an instruction to guide the user to the robot 2 at the changed guide speed determined by the processing.
  • the robot 2 that has received the instruction starts the guidance after moving to the vicinity of the user (that is, the guidance start point P0).
  • the time when the robot 2 starts moving is the guidance start time.
  • the relative position is not adjusted at this stage, and the constant speed (for example, described with reference to FIG. 11 is described. It moves at the second speed determined in the process).
  • the relative position recognition unit 3b of the server 3 recognizes the relative position of the robot 2 with respect to the user (FIG. 15/STEP 504).
  • the robot 2 transmits the data of the image of the user photographed by the second camera 22d of the robot 2 to the server 3.
  • the relative position recognition unit 3b recognizes the distance from the user to the robot and the direction in which the robot is located with respect to the user as the relative position based on the information transmitted to the server 3. This process is sequentially executed at a predetermined processing cycle after the start of guidance.
  • the target position determination unit 3f3 of the guidance action determination unit 3f of the server 3 recognizes the variation amount of the relative position (FIG. 15/STEP 505).
  • the target position determining unit 3f3 calculates the variation amount of the distance and the direction in the present recognition with respect to the distance and the direction in the previous recognition, and calculates the calculation.
  • the amount of fluctuation is recorded in time series.
  • data such as the graph shown in FIG. 16 is obtained.
  • t indicates time
  • d indicates relative distance
  • ⁇ d indicates fluctuation amount.
  • the target position determination unit 3f3 determines whether or not the variation amount is less than or equal to a predetermined value (FIG. 15/STEP 506).
  • the system designer or the like of the guidance system S may arbitrarily set this predetermined value. For example, based on the user static data and the evaluation data, the value determined from the attribute of the user to be guided and the past guidance result may be set as the predetermined value.
  • the target position determination unit 3f3 starts the first time from when the user starts moving after the robot 2 starts guiding. It is determined whether or not the remaining time until is elapsed is the second time or more (FIG. 15/STEP 507).
  • the system designer or the like of the guidance system S may arbitrarily set the first time and the second time if the first time is longer than the second time.
  • the first time is 60 seconds and is shown as T1 in the graph of FIG.
  • the second time period is set to 15 seconds, and is shown as T2 in the graph shown in FIG.
  • the start time of the first time is the guidance start time in the present embodiment, but it may be another time as long as it is after the guidance start time.
  • the time when the user starts moving may be the start time, or the time when a predetermined time (for example, 10 seconds) has elapsed from the start of the guidance may be the start time.
  • the processing in STEP 507 is based on ta when the first period T1 ends and when tb when the second period T2 ends becomes an early time point or a late time point (that is, described later). During the reference position determination period, the second time ends.) is determined.
  • the target position determination unit 3f3 keeps the variation amount equal to or less than the predetermined value for the second time or more. It is determined whether there is any (FIG. 15/STEP 508).
  • the target position determination unit 3f3 determines the target position being guided based on the relative position during the second time. (FIG. 15/STEP 509).
  • the target position determination unit 3f3 determines the average value of the relative positions measured during the second time period as the second position which is the target position during guidance.
  • the target position determination unit 3f3 determines the target position at the start of guidance as the target position during guidance (FIG. 15). /STEP510).
  • the target position determination unit 3f3 determines the first position, which is the target position at the start of guidance, as the second position, which is the target position during guidance.
  • the robot control unit 3j instructs the robot 2 to perform a guiding action in accordance with the determined target position, and ends this processing (FIG. 15/STEP 511).
  • the robot control unit 3j transmits to the robot 2 an instruction to move the robot 2 so that the relative position reaches the determined target position.
  • the target position is determined based on the relative position recognized when the user starts the movement after the robot 2 starts the guidance (that is, when the guidance starts). .. This is because, as a result of earnest research, the inventor of the present invention has found that the target position is less stressful to the user.
  • the position where the user is less likely to feel stress is the target position, so that the user can receive the guidance without stress.
  • the relative position is sequentially recognized during the reference position determination period, and the relative position fluctuation amount ( ⁇ d) is determined during the reference position determination period.
  • the target position is determined based on the relative position during the second time when the state of being less than or equal to the value of is continued for the second time or longer.
  • the timing when the user starts moving after the robot 2 starts guiding may be different for the same user. For example, when the start of the guidance by the robot 2 is missed, the timing of starting walking is naturally delayed. As a result, the relative position recognized at the start of guidance may be different from the originally preferred relative position.
  • the present invention is not limited to such a configuration, and the target position may not be determined on the basis of the position recognized during a predetermined period and its variation amount.
  • the target position may be determined based on the relative position at a time point after a lapse of a predetermined period from the timing when the user starts walking.
  • the user dynamic data recognition unit 3a1 of the data recognition unit 3a of the server 3 recognizes the current user dynamic data (FIG. 17/STEP 601).
  • the user dynamic data recognition unit 3a1 uses the information transmitted from the robot 2 to determine the behavior of the user during guidance (for example, , Facial expression, eye movement, etc.) and biological information (eg, physical condition, fatigue level, etc.) are recognized as user dynamic data.
  • guidance for example, , Facial expression, eye movement, etc.
  • biological information eg, physical condition, fatigue level, etc.
  • the environmental dynamic data recognition unit 3a3 of the data recognition unit 3a of the server 3 recognizes the environmental dynamic data of the current position of the robot 2 (and by extension, the current position P2 of the user) (FIG. 17/STEP 602).
  • the environmental dynamic data recognition unit 3a3 acquires information that may affect the change of the target position from the information transmitted from the robot 2. And recognize that information as environmental dynamic data.
  • the information that can influence the change of the target position in this processing includes, for example, the degree of congestion around the user during guidance, the amount of noise around the user, the size of the passage, and the route being guided. For example, information on traffic rules in.
  • the robot 2 is located laterally so as not to disturb the user when the movement is resumed.
  • the user dynamic data recognition unit 3a1 determines whether or not the recognized user dynamic data is predetermined user dynamic data that is determined in advance (FIG. 17/STEP 603).
  • the system designer or the like predefines user dynamic data to be the trigger for changing the guidance content, and
  • the data recognition unit 3a1 determines whether or not the recognized user dynamic data corresponds to the predetermined predetermined user dynamic data.
  • the predetermined user dynamic data for example, information indicating that the user's line of sight has moved to look for something or is concentrated at some point, the moving direction or moving speed of the user is Examples of the information include information indicating that the change has been made and information indicating that the user has generated a voice (for example, wanting to come closer) that conveys a request.
  • the environmental dynamic data recognition unit 3a3 recognizes the recognized environmental dynamic data as a predetermined predetermined environmental motion. It is determined whether the data is target data (FIG. 17/STEP 604).
  • the system designer or the like predefines environmental dynamic data to be a trigger for changing the guidance content, and the environmental dynamic data recognition unit 3a3 recognizes it. It is determined whether or not the generated environmental dynamic data corresponds to the predetermined environmental dynamic data.
  • Such environmental dynamic data include, for example, information indicating the degree of congestion, unscheduled construction, and events such as a sudden accident.
  • the server 3 executes the processes of STEP 601 to STEP 604 again.
  • the guidance request estimation unit 3c of the server 3 recognizes the request estimation data based on the recognized user static data (FIG. 17/STEP 605).
  • the guidance request estimation unit 3c recognizes the user static data (Fig. 15/STEP 501) based on the data indicating the attribute of the user recognized from among the user static data recognized in STEP 501, the request estimation associated with the same or related attribute as the attribute from the request estimation data storage unit 3d. Get the data.
  • the guidance request estimation unit 3c estimates the guidance request at the present time of the user based on the recognized user dynamic data, environment dynamic data, and requirement estimation data (FIG. 17/STEP 606).
  • the guidance request estimation unit 3c first requests the guidance of the user (based on the user dynamic data (facial expression, eye movement, etc.) and environmental dynamic data (degree of congestion at the current location, etc.). For example, it is congested, and the robot 2 is required to come closer.) is estimated.
  • the user dynamic data facial expression, eye movement, etc.
  • environmental dynamic data degree of congestion at the current location, etc.
  • the guidance request estimating unit 3c refers to the request estimation data and refers to the estimated guidance request of the user.
  • the guide request is confirmed or the user's guide request is estimated again.
  • the target position determination unit 3f3 of the guidance action determination unit 3f of the server 3 determines the content of change of the target position based on the estimated guidance request (FIG. 17/STEP 607).
  • the target position determination unit 3f3 determines the contents of change of the target position according to a rule set in advance by the system designer or the like.
  • the distance is adjusted according to the degree of congestion (for example, the closer the congestion degree is, the closer the distance is), and the direction is adjusted (for example, the higher the congestion degree is, the closer to the front of the user). Position)).
  • the second microphone 22b of the robot 2 is arranged so that the voice of the user can be easily obtained or the voice from the robot 2 can easily reach the user.
  • the second speaker 22c and the like may be moved to bring the robot 2 closer to the user.
  • the robot 2 can be moved sideways so that it does not disturb the user when the movement resumes.
  • the target position determination unit 3f3 recognizes the evaluation data from the evaluation data storage unit 3l based on the recognized user static data (FIG. 18/STEP 608).
  • the target position determination unit 3f3 recognizes the user static data (the user static data recognized in FIG. 15/STEP 501) recognized before the guidance starts. Based on the data indicating the attribute of the user recognized from (Data), the evaluation data storage unit 3l acquires the evaluation data associated with the same or related attribute as the attribute.
  • the target position determination unit 3f3 recognizes a change in the emotion of the user predicted when the target position is changed, based on the evaluation data (FIG. 18/STEP 609).
  • the target position determination unit 3f3 performs the operation of the robot 2 scheduled to perform the guidance request this time (for example, for changing the target position). Based on the movement of the movement), the evaluation data associated with the motion is recognized, and the change in emotion included in the evaluation data is recognized.
  • the target position determination unit 3f3 determines whether or not the predicted emotional change is positive (FIG. 18/STEP 610).
  • the server 3 ends the processing of this time without performing the subsequent processing.
  • the notification instruction unit 3h of the server 3 instructs the robot 2 to notify the changed content (FIG. 18/STEP 611).
  • the notification instruction unit 3h changes the target position and the reason for changing the target position (that is, the estimated guidance request).
  • the robot 2 is instructed to notify the information about the change of the target position such as the above and the inquiry information asking whether the target position can be changed.
  • the robot 2 receiving this instruction gives a notification via the second touch panel 22a and the second speaker 22c, which are output units.
  • the user dynamic data recognition unit 3a1 recognizes the user dynamic data after notification of the inquiry information (FIG. 18/STEP 612).
  • the user dynamic data recognition unit 3a1 determines, based on the information transmitted from the robot 2, the user after the notification of the inquiry information. Behaviors etc. are recognized as user dynamic data.
  • the reaction recognition unit 3i of the server 3 recognizes the reaction of the user based on the user dynamic data recognized after the notification of the inquiry information (FIG. 18/STEP 613).
  • the reaction recognition unit 3i corresponds to the predetermined behavior of the user dynamic data recognized after the notification. Depending on whether or not, the user's reaction (specifically, whether or not the change of the target position is permitted) is recognized.
  • the target position determination unit 3f3 determines whether or not the reaction recognized by the reaction recognition unit 3i is a reaction permitting the change of the target position (FIG. 18/STEP 614).
  • the server 3 ends the processing of this time without performing the subsequent processing.
  • the target position determination unit 3f3 confirms the change of the target position, and the robot control unit 3j of the server 3 determines. However, the robot 2 is instructed to perform the guiding action according to the changed target position (FIG. 18/STEP 615).
  • the robot control unit 3j transmits an instruction to move to the changed target position to the robot 2.
  • the guidance request estimation unit 3c stores in the request estimation data storage unit 3d the user dynamic data used when estimating the guidance request this time (that is, the user dynamic data recognized in FIG. 17/STEP 601).
  • the dynamic environment data that is, the dynamic environment data recognized in FIG. 17/STEP 602
  • the user static data that is, the user static data
  • the estimated guidance request are stored in association with each other (FIG. 18/STEP 616).
  • the target position is changed during the guidance (specifically, during the period from the guidance start to the guidance end) based on the estimated guidance request from the user. It That is, the target position is changed based not only on the request explicitly specified by the user but also on the potentially desired request.
  • the target position becomes appropriate according to the guidance request from the user. For example, the discomfort due to congestion is taken into consideration.
  • the target position is in accordance with the guide request of the user, and the intention of the user is respected. Since the target position is changed, the user can receive guidance without stress.
  • the user dynamic data is sequentially detected, and each time the guidance request is estimated again, the target position is changed. This is because the user's guidance request, which changes from moment to moment, is sequentially grasped and the target position is changed appropriately.
  • the present invention is not limited to such a configuration.
  • the user dynamic data should be recognized, the guidance request should be estimated, and the target position should be changed only at a predetermined timing (for example, timing when a predetermined point passes, timing when a predetermined time has elapsed, etc.).
  • the environmental dynamic data is sequentially recognized instead of the user dynamic data and the predetermined environmental dynamic data is recognized (for example, when the degree of congestion becomes higher than a predetermined level). Only, the user dynamic data may be recognized, the guidance request may be estimated, and the target position may be changed.
  • the target position at the start of guidance is determined by referring to the change in the relative position during the reference position determination period.
  • a reference position determination section (for example, a section from the guidance start point to the first turn) is set, and the fluctuation of the relative position during the movement of the section is referred to, and at the start of guidance.
  • the target position may be determined.
  • the server 3 ends the process without performing the subsequent process. This is because priority is given to guiding the user to the destination at the desired arrival time, and priority is given to the direct wish of the user.
  • the present invention is not limited to such a configuration.
  • the recognized user dynamic data includes a direct instruction (for example, when the robot is instructed to be located closer)
  • the judgment regarding the emotion change is performed.
  • the target position may be changed without performing the change.
  • the target position is determined at the start of movement of the guide route.
  • the present invention is not limited to such a configuration. For example, if the user stops at one of the facilities during the guidance, the target position determined and changed up to the facility may be used continuously, but the movement is restarted from that facility. The target position may be determined again at this point.
  • the target position during guidance is Making changes.
  • the present invention is not limited to such a configuration, and the target position during guidance may be changed by referring to the environmental static data.
  • the target position when moving in a narrow passage, the target position may be changed to the front side of the front of the user instead of the diagonal front side of the user. Then, when making the change, it is preferable to give advance notice of the change.
  • FIG. 19 is a flowchart showing the process performed when the server 3 of the guidance system S estimates the evaluation.
  • the user static data recognition unit 3a2 of the data recognition unit 3a of the server 3 recognizes the user static data before the start of guidance (FIG. 19/STEP 701).
  • the reception terminal 1 relates to the information input by the user at the time of reception, and the reception terminal 1 received.
  • the information and the result of the questionnaire to the user performed through the output unit of the reception terminal 1 are recognized, and the information is transmitted to the server 3.
  • the user static data recognition unit 3a2 acquires information about the user's attribute from the information transmitted from the reception terminal 1 and recognizes the information as user static data.
  • the attributes of the user in this process include, for example, age, sex, desired arrival time, and the like.
  • the user dynamic data recognition unit 3a1 of the data recognition unit 3a of the server 3 recognizes the user dynamic data before the start of guidance (FIG. 19/STEP 702).
  • the user dynamic data recognition unit 3a1 uses the information transmitted from the reception terminal 1 to determine the behavior of the user at the start of guidance and the biometric information. (For example, physical condition, fatigue level, etc.) are recognized as user dynamic data.
  • the emotion estimation unit 3k of the server 3 estimates the reference emotion based on the recognized user dynamic data before the start of guidance (FIG. 19/STEP 703).
  • the emotion estimation unit 3k uses the perceived user dynamic data before the start of guidance to determine the emotion at the time of reception of the user of the emotion model M of the Prutic shown in FIG. It estimates which region it belongs to. Then, the area is set as a reference emotion. At this time, the emotion estimation unit 3k sets the score for each of the other regions, with the region to which the reference emotion belongs as 0.
  • the robot control unit 3j of the server 3 instructs the robot 2 to perform a guiding action (FIG. 19/STEP 704).
  • the guidance route at the start of guidance determined by the process described with reference to FIG. 7 (the second route R2 in FIG. 8) or the process described with reference to FIGS. 9 and 10 is determined.
  • the guide speed at the start of the guide determined by the process described with reference to FIG. 11 along the changed guide route (third route R3 in FIG. 8), or with reference to FIGS. 12 and 13.
  • the robot control unit 3j transmits an instruction to guide the user to the robot 2.
  • the robot 2 that has received the instruction starts the guidance after moving to the vicinity of the user (that is, the guidance start point P0).
  • the time when the robot 2 moves to a position in front of the user within a predetermined range centered on the user is set as the guidance start time.
  • the user dynamic data recognition unit 3a1 recognizes the current user dynamic data (FIG. 19/STEP 705).
  • the user dynamic data recognition unit 3a1 uses the information during guidance based on the information transmitted from the robot 2.
  • the behavior of the person for example, facial expression, movement of the line of sight, etc.
  • biological information for example, physical condition, degree of fatigue, etc.
  • the user dynamic data recognition unit 3a1 determines whether or not the recognized current user dynamic data is a predetermined predetermined user dynamic data (FIG. 19/STEP 706).
  • the system designer or the like predefines user dynamic data to be the trigger for changing the guidance content.
  • the user dynamic data recognition unit 3a1 determines whether the recognized user dynamic data corresponds to the predetermined predetermined user dynamic data.
  • the predetermined user dynamic data for example, information indicating that the user's line of sight has moved to look for something or is concentrated at some point, the moving direction or moving speed of the user is Examples of the information include information indicating that the information has been changed and information indicating that the user has generated a voice that conveys a request.
  • the emotion estimation unit 3k determines whether or not the current motion of the robot 2 is a predetermined motion (FIG. 19/STEP 707).
  • the system designer or the like predefines an operation of the robot 2 that should be a trigger for changing the guidance content, and the emotion estimation unit 3k recognizes the operation of the robot 2 based on a signal from the robot 2. At the same time, it is determined whether or not the recognized motion corresponds to the predetermined motion.
  • the predetermined motion includes, for example, a motion intended by the robot 2, such as a change of a guide route, a guide speed, or a target position, and a notification accompanying the change. Further, the predetermined motion includes, for example, a motion corresponding to a bow when the robot 2 artificially performs a motion like a human.
  • the predetermined operation includes an operation that the robot 2 has unintentionally performed. Specifically, it includes an operation such that the robot 2 is too close to the user or too far from the user due to a change in the moving speed of the user.
  • the server 3 executes the processing of STEP 705 to STEP 707 again.
  • the emotion estimation unit 3k estimates the current emotion based on the current user dynamic data (FIG. 19/STEP 708).
  • the emotion estimation unit 3k determines that the current emotion of the user is the purtic emotion shown in FIG. 6 based on the recognized current user dynamic data. Which region of the model M it belongs to (that is, the current emotion itself) is estimated.
  • the eight areas of emotion model M are classified as either positive or negative. Therefore, by estimating to which region the estimated current emotion belongs, it is also estimated whether the current emotion is positive or negative.
  • the emotion model M scores are set according to the area and the degree based on the reference emotion. After estimating the current emotion, the emotion estimation unit 3k recognizes the change in the current emotion with respect to the reference emotion by recognizing the change in the score.
  • the emotion estimation unit 3k determines not only the current emotion itself but also whether the current emotion is positive or negative and a change in the current emotion with respect to the reference emotion as the current emotion. recognize.
  • the environmental dynamic data recognition unit 3a3 of the data recognition unit 3a of the server 3 recognizes the environmental dynamic data of the current position of the robot 2 (and by extension, the user's current position P2) (FIG. 19/STEP 709).
  • the environmental dynamic data recognition unit 3a3 generates the environmental dynamic data based on the information transmitted from the robot 2. recognize.
  • the emotion estimation unit 3k stores the evaluation data regarding the current emotion, the user static data, and the environmental dynamic data of the current location in the evaluation data storage unit 3l (FIG. 19/STEP 710).
  • the emotion estimation unit 3k firstly immediately before recognizing the current user dynamic data (user dynamic data that is the determination target in FIG. 19/STEP 706) that has triggered the emotion estimation.
  • the performed action of the robot 2 or the action of the robot 2 that triggered the emotion estimation (the action that is the determination target in FIG. 19/STEP 707) is associated with the current emotion estimated by this process, and This is evaluation data regarding emotions.
  • the emotion estimation unit 3k associates the evaluation data with the user static data recognized in FIG. 19/STEP 701 and the environment dynamic data of the current location recognized in FIG. 19/STEP 709.
  • the emotion estimation unit 3k stores the evaluation data in the evaluation data storage unit 3l in time series (specifically, in association with the time at which the emotion estimation is performed).
  • the evaluation data thus obtained is as shown in the graph of FIG.
  • t1, t2, t3, t4, and t5 are the times at which the current user dynamic data that triggered the emotion estimation are recognized, or the movement of the robot 2 that triggers the emotion estimation. Is the time when was performed.
  • the time t1 is the time when the operation indicating the start of guidance is performed
  • the times t2, t3, and t4 are the behaviors of the user corresponding to the predetermined user dynamic data.
  • the time t5 is the time when the robot 2 performs the operation indicating the guidance end when the guidance ends.
  • the emotion estimation unit 3k determines whether or not the guidance has been completed (FIG. 19/STEP 711).
  • the emotion estimation unit 3k determines whether or not the robot has arrived at the destination, and whether or not the robot 2 has performed an operation indicating the end of guidance (for example, an operation of waving after bowing). By doing so, it is determined whether or not the guidance is completed.
  • the server 3 executes the processing of STEP705 to STEP711 again.
  • the emotion estimation unit 3k stores the evaluation data regarding the entire guidance and the user static data in the evaluation data storage unit 3l ( FIG. 19/STEP 712).
  • the emotion estimation unit 3k is the first.
  • a graph as shown in FIG. 20 is created based on the evaluation data from the start of guidance to the end of guidance, and the emotion estimation unit 3k calculates the integral value based on the graph.
  • the emotion estimation unit 3k receives the integrated value, the content of the guidance (for example, the guidance route, the guidance speed, the target position, and the environmental dynamic data recognized during the guidance), and the entire guidance during the guidance of the robot 2.
  • the motion is used as evaluation data.
  • the emotion estimation unit 3k associates the evaluation data with the user static data recognized in STEP 701 of FIG. 19 and stores the evaluation data in the evaluation data storage unit 3l.
  • the motion of the robot 2 is associated with the current emotion of the user estimated based on the behavior of the user during the motion (that is, user dynamic data). Things are collected as evaluation data.
  • the collected evaluation data clearly shows the relationship between the operation of the robot 2 and the change in the emotion of the user (that is, the degree of satisfaction), as compared with the data based on the result of the questionnaire conducted after the guidance. It becomes the one shown in.
  • the guide system S including the server 3 and the guide robot control method using the guide system S, it is possible to collect evaluation data useful for accurately grasping the satisfaction level of the user for the operation of the robot 2. You can As a result, the user can receive guidance without stress by setting the operation of the robot 2 with reference to the evaluation data.
  • the estimation of the reference emotion by the emotion estimation unit 3k is performed at the start of guidance. This is because the emotion at the start of the guidance is used as the reference emotion to accurately grasp the emotion regarding the motion of the robot during the guidance.
  • the emotion estimation unit of the present invention is not limited to such a configuration, and the reference emotion may be set at a timing other than the start of guidance, or may be set not only once but a plurality of times. For example, when the user stops at a predetermined facility during the guidance, the reference emotion may be estimated each time the guidance is restarted from the facility. As a result, it is possible to suppress the influence on the emotions due to the event occurring in the facility.
  • the reference emotion is estimated and the change in the current emotion is recognized based on the reference emotion. This is for more accurately grasping changes in the user's emotions with respect to each operation of the robot 2 (whether the operation has become better or worse, etc.) by determining the reference emotion.
  • the present invention is not limited to such a configuration.
  • a change in emotion with respect to the immediately preceding emotion that is, simply a change in emotion at that time
  • the emotion estimation unit 3k includes, at the end of the guidance, the integrated value of the change in the current emotion as the emotion change with respect to the entire guidance in the evaluation data of the entire guidance and stores it in the evaluation data storage unit 3l. doing. This is for grasping not only the motion of each robot 2 but also the evaluation for the entire guidance.
  • the present invention is not limited to such a configuration.
  • the current emotion at the end of guidance or the result of comparing the current emotion at the end of guidance with the reference emotion may be the change in emotion for the entire guidance.
  • the evaluation data does not have to include the change in emotions regarding the entire guidance.
  • the guide route, the guide speed, and the target position are determined according to the estimated guide request.
  • the guidance behavior of the present invention is not limited to these, and may include other movements performed by the robot during guidance.
  • voice, sound effect, signal sound when guiding the robot For example, voice, sound effect, signal sound when guiding the robot, type, sound frequency, volume of the music played from the robot when guiding, movement pattern of the robot (for example, moving in a curved line, moving in a straight line, etc.)
  • movement pattern of the robot for example, moving in a curved line, moving in a straight line, etc.
  • the content of services provided via the robot such as music played by the robot during guidance
  • the content of advertisements presented by the robot can be included.
  • 1... Reception terminal 1a... 1st touch panel, 1b... Keyboard, 1c... 1st microphone, 1d... 1st speaker, 1e... 1st camera, 2... Robot, 3... Server (guidance robot control device), 3a... Data Recognition unit, 3a1... User dynamic data recognition unit, 3a2... User static data recognition unit, 3a3... Environmental dynamic data recognition unit, 3a4... Environmental static data recognition unit, 3b... Relative position recognition unit, 3c... Guidance request estimation unit, 3d... Demand estimation data storage unit, 3e... Map storage unit, 3f... Guidance action determination unit, 3f1... Route determination unit, 3f2... Guidance speed determination unit, 3f3... Target position determination unit, 3g... Priority Storage section 3h...
  • Notification instruction section 3i... Reaction recognition section, 3j... Robot control section, 3k... Emotion estimation section, 3l... Evaluation data storage section, 4... Monitoring system, 20... Lower base body, 20a... First actuator, 20b... 2nd actuator, 20c... 3rd actuator, 21... Moving operation part, 21a... Core body, 21b... Roller, 22... Upper base

Abstract

サーバ3は、案内中に、利用者動的データを認識する利用者動的データ認識部3a1と、利用者動的データに基づいて、案内中における利用者の案内要求を推定する案内要求推定部3cと、推定された案内要求に基づいて、案内中におけるロボット2による案内行動を決定する案内行動決定部3fとを備える。

Description

案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法
 本発明は、利用者とともに移動して、利用者を目的地まで案内するロボットを制御する案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法に関する。
 従来、自律移動型のロボットを利用者とともに移動させて、利用者を案内する案内システムが提案されている。この種の案内システムとしては、ロボットに搭載したカメラ等の検出手段によって、利用者の歩行速度、移動方向を認識し、その認識結果に基づいて、ロボットの移動を制御するものが知られている(例えば、特許文献1参照)。
特開2003-340764号公報
 ところで、特許文献1に記載の案内システムによって案内をされている場合、利用者はロボットに案内をされているという認識の下で移動しているので、利用者の移動もそのロボットの移動に応じたものになる。
 しかし、そのようにしてロボットに先導される形で移動する場合、利用者によっては、ロボットによって利用者の行動が制限されていると感じて、ストレスを感じるおそれがあった。
 本発明は以上の点に鑑みてなされたものであり、利用者がストレスなく案内を受けることができる案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法を提供することを目的とする。
 本発明の案内ロボット制御装置は、
 利用者とともに移動して前記利用者を目的地まで案内するロボットを制御する案内ロボット制御装置であって、
 案内中に、経時的に変化する前記利用者に関する情報である利用者動的データを認識する利用者動的データ認識部と、
 前記利用者動的データに基づいて、案内中における前記利用者の案内要求を推定する案内要求推定部と、
 推定された前記案内要求に基づいて、案内中における前記ロボットによる案内行動を決定する案内行動決定部とを備えていることを特徴とする。
 ここで、「利用者動的データ」とは、利用者に関するデータのうち、経時的に変化するもの(例えば、案内中に変化するもの)に関するデータを指す。具体的には、利用者の挙動、生体情報等が挙げられる。
 また、ここで、「案内要求」とは、案内に対する利用者の要求を指す。この案内要求には、利用者が明示している要求だけではなく、潜在的に希望している要求も含まれる。
 また、ここで、「案内行動」とは、案内中に、ロボットから利用者に提供されるサービスの内容、ロボットの動作を決定する条件を指す。例えば、後述するように、案内時におけるルート、ロボットの案内時の移動速度である案内速度、ロボットの利用者に対する相対的な位置、案内を行うロボットの種類(例えば、先導するロボットであるか、搭乗可能なロボットであるか)といった内容の他、利用者に報知する情報の内容(例えば、案内ルートのレコメンド)等が挙げられる。
 このように構成されている本発明の案内ロボット制御装置では、案内中(具体的には、案内開始時から案内終了時までの期間中)に、推定された利用者の案内要求に基づいて、案内行動が決定される。すなわち、利用者が明示している要求だけではなく、潜在的に希望している要求に基づいて、案内行動が決定される。
 これにより、その案内行動は、利用者の案内要求に応じた適切なものになる。例えば、利用者の体調(例えば、疲労の度合い)等に応じた案内速度、利用者が利用を必要とする施設(例えば、休憩室、トイレ)、利用者が興味のある物品及びサービスが提供される店舗の位置等が考慮されたものになる。
 したがって、本発明の案内ロボット制御装置によれば、案内行動が利用者の案内要求に応じたものになるので、利用者がストレスなく案内を受けることができるようになる。
 また、本発明の案内ロボット制御装置においては、
 前記利用者動的データ認識部は、案内開始前における前記利用者動的データを認識し、
 前記案内要求推定部は、前記利用者動的データに基づいて、案内開始前における前記利用者の案内要求を推定し、
 前記案内行動決定部は、推定された案内開始前における前記案内要求に基づいて、案内開始時における前記案内行動を決定することが好ましい。
 ここで、「案内開始前」とは、ロボットによる案内が実行される前の段階を指す。例えば、案内を受け付ける端末に利用者が入力を行っているときから、又は、案内領域に利用者が到着したときから、利用者とその利用者を案内するロボットとが合流する前までの期間等も含む。
 このように構成すると、案内開始時からその案内行動が利用者の案内要求に応じたものになるので、案内開始時から利用者がストレスなく案内を受けることができるようになる。
 また、本発明の案内ロボット制御装置においては、
 前記利用者動的データは、前記利用者の挙動、及び、前記利用者の生体情報の少なくとも一方を含むデータとしてもよい。
 また、本発明の案内ロボット制御装置においては、利用者動的データを利用者の挙動及び生体情報の少なくとも一方を含むものとした場合、
 前記利用者の挙動は、前記利用者の移動速度、前記利用者の姿勢、前記利用者の表情、前記利用者の発声、前記利用者の身体の所定の部位の動作の少なくとも1つを含むようにしてもよい。
 また、本発明の案内ロボット制御装置においては、利用者動的データを利用者の挙動及び生体情報の少なくとも一方を含むものとした場合、
 前記利用者の生体情報は、前記利用者の体温、前記利用者の発汗状態、並びに、前記利用者の体温、前記利用者の発汗状態、及び、前記利用者の挙動の少なくとも1つに基づいて推定された前記利用者の感情の少なくとも1つを含むようにしてもよい。
 また、本発明の案内ロボット制御装置においては、
 前記案内行動は、案内時におけるルート、前記ロボットの案内時の移動速度である案内速度、前記利用者に対する前記ロボットの相対位置、及び、前記ロボットの種類の少なくとも1つを含むようにしてもよい。
 また、本発明の案内ロボット制御装置においては、
 経時的に変化しない前記利用者に関する情報である利用者静的データを認識する利用者静的データ認識部、経時的に変化する案内領域に関する情報である環境動的データを認識する環境動的データ認識部、及び、経時的に変化しない案内領域に関する情報である環境静的データを認識する環境静的データ認識部の少なくともいずれか1つを備え、
 前記案内要求推定部は、前記利用者静的データ、前記環境動的データ、及び、前記環境静的データの少なくともいずれか1つ、並びに、前記利用者動的データに基づいて、前記利用者の案内要求を推定することが好ましい。
 ここで、「利用者静的データ」とは、利用者に関するデータのうち、経時的に変化しないもの(例えば、案内中に変化しないもの)に関するデータを指す。例えば、氏名、年齢、性別、持病、障害の有無、妊娠しているか否か、同行者の有無等の利用者の属性に関する情報、利用者が案内を要求する目的地への到着時間、利用者に対する過去の案内履歴、案内領域に到着するまでの利用者の経路等の利用者の行動に関するデータのうち今後の利用者の行動によって変化しない等が挙げられる。
 ここで、「環境動的データ」とは、案内領域の環境に関するデータのうち、経時的に変化するもの(例えば、案内中に変化するもの)に関するデータを指す。例えば、案内領域内における混雑の度合いといった事象等が挙げられる。
 また、ここで、「環境静的データ」とは、案内領域の環境に関するデータのうち、経時的に変化しないもの(例えば、案内中に変化しないもの)に関するデータを指す。例えば、案内領域内における店舗及び施設の位置、開催されているイベント等が挙げられる。
 このように、利用者の案内要求を推定するに際し、利用者動的データに加え、利用者静的データ、環境動的データ、及び、環境静的データの少なくともいずれか1つを参照するようにすると、案内行動を、利用者にとってさらに適切なものにすることができる。これにより、利用者がさらにストレスなく案内を受けることができるようになる。
 また、本発明の案内ロボット制御装置においては、
 前回の案内以前の案内における前記利用者動的データと、該利用者動的データに基づいて推定された前記案内要求との関係を示す要求推定データを格納する要求推定データ格納部を備え、
 前記案内要求推定部は、前記利用者動的データ、及び、前記要求推定データに基づいて、前記利用者の案内要求を推定することが好ましい。
 このように、前回の案内以前の案内における利用者動的データと推定された案内要求との関係を要求推定データとして記録しておき、その要求推定データを参照して、利用者の案内要求を推定するようにすると、精度よく利用者の案内要求を推定することができるようになる。これにより、案内行動がさらに利用者の案内要求に応じたものになるので、利用者がさらにストレスなく案内を受けることができるようになる。
 また、本発明の案内ロボット制御装置においては、
 案内領域の情報であるマップ情報を格納するマップ格納部を備え、
 前記案内要求推定部は、前記利用者動的データ、及び、前記マップ情報のうちの前記利用者の現在地周辺の情報に基づいて、前記利用者の案内要求を推定することが好ましい。
 利用者の行動(すなわち、利用者動的データ)は、同じものであっても、案内領域内における位置によって、その行動の原因になる案内要求が異なる場合がある。例えば、歩行速度の低下であっても、店舗の多い施設であるのか、単なる通路であるのかによって、興味のある物品を探しているのか、疲労が大きくなっているのか(ひいては、休憩を希望しているのか)が変わってくる。
 そこで、このように、利用者動的データのみではなく、案内領域のマップ情報も参照して、利用者の案内要求を推定するようにすると、精度よく利用者の案内要求を推定することができるようになる。これにより、案内行動がさらに利用者の案内要求に応じたものになるので、利用者がさらにストレスなく案内を受けることができるようになる。
 また、本発明の案内ロボット制御装置においては、
 前記案内要求推定部は、認識された前記利用者動的データが予め定められた所定の利用者動的データに該当する場合に、前記案内要求を推定することが好ましい。
 一部の案内要求に対する利用者の行動(すなわち、利用者動的データ)は、一般化が可能である。例えば、到着時間を気にしている場合には、時計を頻繁に確認したり、トイレを利用したいと考えている場合には、トイレの位置を示す案内表を確認したりすることになる。
 そこで、このように、案内内容の変更のトリガーにすべき利用者動的データを予め定めておき、認識された利用者動的データがその予め定められた所定の利用者動的データに該当するものであった場合にのみ、案内要求を推定するようにすると、過剰な処理の実行を抑制することができる。これにより、過剰な案内内容の変更、及び、それに伴う過剰な報知が抑制されようになるので、利用者がさらにストレスなく案内を受けることができるようになる。
 また、本発明の案内ロボット制御装置においては、
 前記利用者動的データに基づいて、前記利用者の現在の感情である現在感情を推定する感情推定部と、
 前記ロボットの動作と該動作の際における前記利用者の前記現在感情とを関連付けたデータである評価データを格納する評価データ格納部とを備え、
 前記案内行動決定部は、推定された前記案内要求、及び、前回の案内以前の案内で取得した前記評価データに基づいて、前記案内行動を決定することが好ましい。
 このように、評価データを参照して案内行動を決定する(例えば、評価データにおいてネガティブな感情の原因になった案内行動は行わないようにする)と、案内行動がさらに利用者の案内要求に応じたものになるので、利用者がさらにストレスなく案内を受けることができるようになる。
 また、本発明の案内ロボット制御装置においては、
 前記ロボットに対し、決定された前記案内行動に基づいて、前記利用者への前記案内行動の変更の可否を問う問い合わせ情報の報知の指示を行う報知指示部と、
 前記指示に基づく報知に対する前記利用者の反応を認識する反応認識部とを備え、
 前記案内行動決定部は、前記反応に基づいて、前記案内行動の変更を行うか否かを決定することが好ましい。
 このように構成すると、案内行動が突然変更されることが防止される。これにより、利用者がさらにストレスなく案内を受けることができるようになる。
 また、本発明の案内ロボット制御装置においては、
 前記利用者動的データ認識部は、案内中に前記利用者動的データを逐次認識し、
 前記案内要求推定部は、前記利用者動的データが認識された際に、前記案内要求を改めて推定し、
 前記案内行動決定部は、改めて推定された前記案内要求に基づいて、案内中における前記案内行動を改めて決定することが好ましい。
 このように構成すると、時々刻々と変化する利用者の案内要求を逐次把握して、適切な案内行動を決定することができる。これにより、利用者がさらにストレスなく案内を受けることができるようになる。
 また、本発明の案内システムは、
 利用者とともに移動して前記利用者を目的地まで案内するロボットと、
 上記いずれかの案内ロボット制御装置とを備え、
 前記案内ロボット制御装置は、決定された前記案内行動に基づいて、前記ロボットの動作を制御するロボット制御部を有していることを特徴とする。
 また、本発明の案内ロボット制御方法は、
 利用者とともに移動して前記利用者を目的地まで案内するロボットを制御する案内ロボット制御方法であって、
 利用者動的データ認識部が、案内中に、経時的に変化する前記利用者に関する情報である利用者動的データを認識するステップと、
 案内要求推定部が、前記利用者動的データに基づいて、案内中における前記利用者の案内要求を推定するステップと、
 案内行動決定部が、推定され前記案内要求に基づいて、案内中における前記ロボットによる案内行動を決定するステップとを含むことを特徴とする。
実施形態に係る案内システムの構成を模式的に示す説明図。 図1の案内システムの受付端末の一例を示す側面図。 図1の案内システムのロボットの一例を示す側面図。 図3のロボットの動作制御に係る構成を示すブロック図。 図1の案内システムの案内ロボット制御装置の構成を示すブロック図。 感情推定に用いられる感情モデルの説明図。 図1の案内システムが案内開始時における案内ルートを決定する際に行う処理を示すフローチャート。 図1の案内システムによって利用者が案内される空港の地図を示す模式図。 図1の案内システムが案内中に案内ルートを変更する際に行う処理のうち、案内ルートの変更内容を決定するまでの処理を示すフローチャート。 図1の案内システムが案内中に案内ルートを変更する際に行う処理のうち、案内ルートの変更を実行するまでの処理を示すフローチャート。 図1の案内システムが案内開始時における案内速度を決定する際に行う処理を示すフローチャート。 図1の案内システムが案内中に案内速度を変更する際に行う処理のうち、案内速度の変更内容を決定するまでの処理を示すフローチャート。 図1の案内システムが案内中に案内速度を変更する際に行う処理のうち、案内速度の変更を実行するまでの処理を示すフローチャート。 利用者とロボットとの相対位置の一例を示す模式図。 図1の案内システムが案内開始直後に目標位置を決定する際に行う処理を示すフローチャート。 利用者とロボットとの相対距離の変化の一例を示すグラフであり、横軸は時間、縦軸は相対距離を示す。 図1の案内システムが案内中に目標位置を変更する際に行う処理のうち、目標位置の変更内容を決定するまでの処理を示すフローチャート。 図1の案内システムが案内中に目標位置を変更する際に行う処理のうち、目標位置の変更を実行するまでの処理を示すフローチャート。 図1の案内システムが評価を推定する際に行う処理を示すフローチャート。 利用者の感情変化の一例を示すグラフであり、横軸は時間、縦軸は感情がネガティブであるかポジティブであるかの度合いを示す。
 以下、図面を参照して、実施形態に係る案内システムSの構成について説明する。
 なお、以下の説明においては、利用者がロボットに案内される領域である案内領域を空港とし、本発明の案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法を、空港内で利用者を案内するためのシステムに適用した場合について説明している。
 しかし、本発明の案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法は、利用者とともに移動して利用者を目的地まで案内するロボットを用いて案内を行うためのシステムであれば、空港以外の案内領域に用いられるシステムにも適用し得るものである。
 まず、図1~図6を参照して、案内システムSの概略構成について説明する。
 図1に示すように、案内システムSは、受付端末1と、利用者とともに移動して利用者を目的地まで案内する複数のロボット2と、案内領域である空港内の複数個所に設置された受付端末1(図7参照)、ロボット2、及び、案内領域内に設置された監視カメラ等で構成された監視システム4(図1では不図示。図3参照。)からの情報を受信するとともに、その情報に基づいてロボット2を制御するサーバ3(案内ロボット制御装置)とを備えている。
 なお、本実施形態では理解を容易にするために、受付端末1が案内領域である空港に設置され、また、複数のロボット2が運用されているものとしている。しかし、本発明の案内システムはこのような構成に限定されるものではない。例えば、受付端末1に代わり、利用者の携帯端末(例えば、スマートフォン、タブレット等)を用いてもよいし、それらを併用してもよい。
 また、受付端末の数、ロボットの数は、案内領域の性質(広さ、利用者の数等)に応じて、適宜設定してよい。例えば、案内領域が小規模な施設の場合には、それぞれ1台ずつ設けてもよいし、ロボットを1台だけ設置して、受付端末に代わり利用者の携帯端末のみを用いてもよい。
 受付端末1は、利用者が案内領域において利用を希望する旨の申請を受け付けるための端末である。
 図2に示すように、受付端末1は、第1タッチパネル1a、キーボード1b、第1マイク1c、第1スピーカ1d、及び、第1カメラ1eを備えている。受付端末1では、第1タッチパネル1a、キーボード1b、及び、第1マイク1cによって入力部が構成され、第1タッチパネル1a、及び、第1スピーカ1dによって出力部が構成さている。
 利用者は、受付端末1の入力部を介して、目的地、目的地への到着希望時間を入力するとともに、その出力部に表示されたアンケートに対する回答を行う。アンケートの内容としては、例えば、氏名、年齢、性別、持病、障害の有無、妊娠しているか否か、同行者の有無、過去の利用履歴、案内領域に到着するまでの利用者の経路等が挙げられる。この入力及び回答の際には、第1カメラ1eによって、利用者が撮影される。
 なお、これらの情報は、利用者の有する端末(例えば、パソコン、スマートフォン、タブレット等)を介して、案内領域の到着前、飛行機の予約の際等に入力されるようにしてもよい。
 また、受付端末1及び利用者の有する端末を併用して、情報ごとに異なるタイミングで入力されるようにしてもよい。具体的には、例えば、航空機への搭乗券に、利用者の氏名、利用する便、搭乗口、搭乗時刻等の情報を示すバーコードを記載しておき、利用者が、受付端末1に備え付けられているバーコードリーダ、利用者の有する端末に搭載されているカメラ等よって、そのバーコードを読み取らせて、情報を入力するようにしてもよい。
 図3に示すように、ロボット2は、いわゆる倒立振子型車両として構成されている。ロボット2は、下部基体20と、下部基体20に設けられ、路面上を移動可能な移動動作部21と、下部基体20に対してヨー軸周りに回動自在な上部基体22とを備えている。ロボット2は、移動動作部21により、路面上を全方向(任意の方向)に移動し得るように構成されている。
 下部基体20の内部には、後述する移動動作部21の芯体21aを回転駆動する第1アクチュエータ20aと、後述する移動動作部21の各ローラ21bを回転駆動する第2アクチュエータ20bと、上部基体22を回動する第3アクチュエータ20cが搭載されている。これらのアクチュエータは、電動モータ、油圧アクチュエータ等の既知の構造のものを用いて構成されている。
 また、第1アクチュエータ20a、第2アクチュエータ20b、及び、第3アクチュエータ20cは、それぞれ、図示を省略する動力伝達機構を介して芯体21a、各ローラ21b、及び、上部基体22に駆動力を付与する。この動力伝達機構は、既知の構造のものを用いて構成されている。
 移動動作部21は、円環状の芯体21aと、この芯体21aの円周方向(軸心周り方向)に等角度間隔で並ぶようにして、芯体21aに外挿された複数の円環状のローラ21bとを有している。図3では、一部のローラ21bだけが代表的に図示されている。
 各ローラ21bは、芯体21aの軸心周りに、芯体21aと一体に回転可能になっている。また、各ローラ21bは、各ローラ21bの配置位置における芯体21aの横断面の中心軸(芯体21aの軸心を中心とする円周の接線方向の軸)周りに回転可能になっている。
 このように構成されている移動動作部21は、その下部のローラ21bを、ロボット2の移動環境の路面(床面、地面等)に接地させた状態で、芯体21aをその軸心周りに回転駆動すること、及び、各ローラ21bをその軸心周りに回転駆動することの一方又は両方を行うことで、路面上を全方向に移動することが可能になっている。
 上部基体22は、第2タッチパネル22a、第2マイク22b、及び、第2スピーカ22cを備えている。上部基体22では、第2タッチパネル22a、及び、第2マイク22bによって入力部が構成され、第2タッチパネル22a、及び、第2スピーカ22cによって出力部が構成されている。
 上部基体22では、その出力部を介して、利用者に対し案内内容の変更が提示される。また、利用者によって、その入力部を介して、その提案に対する回答、及び、案内内容の変更の要求が入力される。
 また、上部基体22には、第2カメラ22dが設けられている。この第2カメラ22dによって、利用者、並びに、利用者及びロボット2の周辺の環境が撮影される。
 また、図3での図示は省略したが、図4に示すように、ロボット2には、利用者からの指令、ロボット2の動作状態又は外界状態(周辺環境)等を取得するための各種センサ類と、ロボット2の動作制御のための構成要素として、CPU、RAM、ROM、インターフェース回路等を含む電子回路ユニットにより構成された制御装置23と、サーバ3と制御装置23との間の無線通信を行うための通信装置24とが搭載されている。
 ロボット2に搭載されているセンサ類には、利用者からの指令を受け付けるための第2タッチパネル22a及び第2マイク22b、ロボット2の周辺環境に存在する物体(人、移動物体、設置物等)を認識するための外界認識センサとしての第2カメラ22dが含まれる。
 なお、外界認識センサは、案内中におけるロボット2の周辺環境、並びに、利用者の挙動及び生体情報の少なくとも一方を認識し得るものであればよい。そのため、外界認識センサとしては、第2カメラ22dの代わりに、又は、第2カメラ22dに加えて、例えば、レーザ・レンジ・ファインダー等の測距センサ、又は、レーダ装置等も使用し得る。
 また、ロボット2が、ロボット2の挙動を制御するためのセンサ(例えば、進行方向を撮影するためのカメラ等)を、第2カメラ22dとは独立して、別途備えている場合には、そのセンサも、第2カメラ22dの代わりに、又は、第2カメラ22dに加えて、外界認識センサとして使用し得る。
 ここで、「案内中」とは、具体的には、案内開始時から案内終了時までの期間中を指す。また、「案内開始前」とは、ロボット2による案内が実行される前の段階を指す。例えば、受付端末1に利用者が入力を行っているときから、又は、案内領域に利用者が到着したときから利用者とロボット2とが合流する前までの期間も含む。
 利用者の挙動としては、利用者の移動速度、利用者の姿勢、利用者の表情、利用者の発声、及び、利用者の身体の所定の部位の動作の少なくとも1つを含むものを指す。また、利用者の生体情報としては、利用者の体温、利用者の発汗状態、並びに、利用者の体温、利用者の発汗状態、及び、利用者の挙動の少なくとも1つに基づいて推定された利用者の感情の少なくとも1つを含むものを指す。
 また、センサ類には、図3での図示は省略したが、ロボット2の加速度を検出するための加速度センサ25、ロボット2の自己位置、及び、そのロボット2に案内されている利用者の位置を検出するための位置センサ26等も含まれる。
 第2タッチパネル22a、第2マイク22b、加速度センサ25、及び、位置センサ26等の出力(検出データ)は、制御装置23に入力される。
 制御装置23は、実装されるハードウェア構成又はプログラム(ソフトウェア構成)により実現される機能として、第1アクチュエータ20a、第2アクチュエータ20b、及び、第3アクチュエータ20cの動作制御(ひいては、移動動作部21の移動制御、及び、上部基体22の回動制御)を行う機能、並びに、第2タッチパネル22a及び第2スピーカ22cの出力制御を行う機能を有するように構成されている。
 通信装置24は、センサ類の出力(検出データ)、及び、制御装置23の制御内容を、サーバ3に送信する。また、通信装置24は、サーバ3からの指令を受信する。
 図5に示すように、サーバ3は、実装されたハードウェア構成又はプログラムにより実現される機能として、データ認識部3aと、相対位置認識部3bと、案内要求推定部3cと、要求推定データ格納部3dと、マップ格納部3eと、案内行動決定部3fと、優先度格納部3gと、報知指示部3hと、反応認識部3iと、ロボット制御部3jと、感情推定部3kと、評価データ格納部3lとを備えている。
 データ認識部3aは、受付端末1、ロボット2、及び、監視システム4を介して収集された情報に基づいて、案内開始前及び案内中における利用者及び案内領域に関するデータを認識する。
 具体的には、データ認識部3aは、受付端末1又はロボット2が撮影した画像及び取得した音声に基づいて、利用者動的データ認識部3a1で、経時的に変化する利用者に関する情報である利用者動的データを認識する。
 ここで、「利用者動的データ」とは、利用者に関するデータのうち、経時的に変化するもの(例えば、案内中に変化するもの)に関するデータを指す。具体的には、利用者の挙動、生体情報等が挙げられる。
 利用者動的データ認識部3a1は、認識した利用者動的データが案内内容の変更、又は、感情推定のトリガーになるような所定の利用者動的データであるか否かの判定も行う。
 また、データ認識部3aは、受付端末1に利用者が入力した内容、及び、受付端末1を介して提示したアンケートに対する回答に基づいて、利用者静的データ認識部3a2で、経時的に変化しない利用者に関する情報である利用者静的データを認識する。
 ここで、「利用者静的データ」とは、利用者に関するデータのうち、経時的に変化しないもの(例えば、案内中に変化しないもの)に関するデータを指す。例えば、氏名、年齢、性別、持病、障害の有無、妊娠しているか否か、同行者の有無等の利用者の属性に関する情報、利用者が案内を要求する目的地への到着時間、利用者に対する過去の案内履歴、案内領域に到着するまでの利用者の経路等の利用者の行動に関するデータのうち今後の利用者の行動によって変化しないもの等が挙げられる。
 また、データ認識部3aは、ロボット2が撮影した画像及び取得した音声に基づいて、環境動的データ認識部3a3で、経時的に変化する案内領域に関する情報である環境動的データを認識する。
 ここで、「環境動的データ」とは、案内領域の環境に関するデータのうち、経時的に変化するもの(例えば、案内中に変化するもの)に関するデータを指す。例えば、案内領域内における混雑の度合いといった事象等が挙げられる。
 環境動的データ認識部3a3は、認識した環境動的データが案内内容の変更、又は、感情推定のトリガーになるような所定の環境動的データであるか否かの判定も行う。
 また、データ認識部3aは、後述するマップ格納部3eからの情報に基づいて、経時的に変化しない案内領域に関する情報である環境静的データ認識部3a4で、環境静的データを認識する。
 ここで、「環境静的データ」とは、案内領域の環境に関するデータのうち、経時的に変化しないもの(例えば、案内中に変化しないもの)に関するデータを指す。例えば、案内領域内における店舗及び施設の位置、開催されているイベント等が挙げられる。
 相対位置認識部3bは、ロボット2、及び、監視システム4を介して収集された情報に基づいて、利用者に対するロボット2の相対位置を認識する。
 ここで、「相対位置」とは、利用者からロボットまでの距離のみ、又は、利用者に対してロボットが位置する方向のみをさす場合もあり、曲がる際等における相対位置の変化の度合いを指す場合も含む。
 また、ここで、「方向」とは、利用者及びロボットの移動面に平行な面における利用者に対するロボットの方向を指す。例えば、利用者及びロボットが平地を移動している場合には、平面視において、利用者の身体の中心とロボット2の中心とを通る線の、利用者の身体の中心を通り前後方向に延びる線(矢状面に含まれる線)に対する傾き(角度)を指す(図14参照)。
 本実施形態の相対位置認識部3bでは、ロボット2及び監視システム4の少なくとも一方が収集した情報に基づいて、利用者からロボット2までの距離、及び、利用者に対してロボット2が位置する方向を、相対位置として認識する。
 案内要求推定部3cは、データ認識部3aが認識した利用者動的データ、利用者静的データ、環境動的データ、及び、環境静的データ、後述する要求推定データ格納部3dに格納されている要求推定データ、並びに、後述するマップ格納部3eに格納されている案内領域の情報であるマップ情報(具体的には、マップ情報のうちの利用者の現在地周辺の情報)に基づいて、案内開始前及び案内中における利用者の案内要求を推定する。
 ここで、「案内要求」とは、案内に対する利用者の要求を指す。この案内要求には、利用者が明示している要求だけではなく、潜在的に希望している要求も含まれる。
 なお、このように、案内要求推定部3cは、利用者動的データ、利用者静的データ、環境動的データ、環境静的データ、要求推定データ、及び、マップ情報に基づいて、利用者の案内要求を推定している。
 これは、利用者の案内要求を推定するに際し、利用者動的データに加え、利用者静的データ、環境動的データ、及び、環境静的データの少なくともいずれか1つを参照するようにすると、案内行動を、利用者にとってさらに適切なものにすることができるためである。
 しかし、本発明の案内要求推定部は、利用者動的データに基づいて、利用者の案内要求を推定するものであればよい。そのため、案内要求推定部が使用する情報の種類に応じて、案内ロボット制御装置が備える機能を適宜変更してもよい。
 具体的には、例えば、本実施形態であれば、データ認識部3aの利用者静的データ認識部3a2、環境動的データ認識部3a3、及び、環境静的データ認識部3a4、要求推定データ格納部3d、マップ格納部3eのうちのいずれかを省略してもよい。
 また、このように、案内要求推定部3cは、案内開始前及び案内中において、利用者の案内要求を推定している。これは、案内開始時から案内行動が利用者の案内要求に応じたものになるようにするためである。
 しかし、本発明の案内要求推定部は、案内中における利用者の案内要求を推定するものであればよい。そのため、案内開始前における利用者の案内要求の推定を省略してもよい。
 要求推定データ格納部3dは、前回の案内以前の案内における利用者動的データと、その利用者動的データに基づいて推定された案内要求との関係を示す要求推定データを格納している。そして、前述のように、案内要求推定部3cは、要求推定データ格納部3dに格納されている要求推定データを参照して、利用者の案内要求を推定する。
 これは、一部の案内要求に対する利用者の行動(すなわち、利用者動的データ)は、一般化が可能であるので、このような要求推定データを参照することによって、精度よく利用者の案内要求を推定するためである。
 しかし、本発明の案内ロボット制御装置はそのような構成に限定されるものではない。例えば、利用者の案内要求を推定する際に、要求推定データを参照しなくてもよい。その場合には、要求推定データ格納部を省略してもよい。
 また、要求推定データ格納部3dは、案内要求推定部3cが利用者の案内要求を推定した際に、その推定に関する要求推定データを格納する。
 これは、参照可能な要求推定データを蓄積することによって、次回以降に案内要求を推定する際に参照できるデータを増やして、次回以降に、さらに精度よく利用者の案内要求を推定するためである。
 しかし、本発明の案内ロボット制御装置はそのような構成に限定されるものではない。例えば、予め別途要求推定データを準備しておく場合には、推定した際に要求推定データを格納しなくてもよい。
 要求推定データには、その推定に関する利用者の利用者静的データが関連付けられている。これは、次回以降に要求推定データを参照する際に、案内する利用者と同様の利用者静的データ(属性)が関連付けられている要求推定データを参照することができるようにして、案内要求をさらに的確に推定するためである。
 なお、要求推定データは必ずしも利用者静的データと関連付けて格納しなくてもよい。例えば、利用者の属性がある程度一定になる施設の場合(例えば、所定の年齢層をターゲットにしたイベント会場等)には、そのようにして参照する要求推定データを限定しなくても、十分な精度で利用者の案内要求を推定できるためである。
 マップ格納部3eは、案内領域の情報であるマップ情報を格納している。マップ情報としては、案内領域の地図情報の他、案内領域に設置されたトイレ、店舗等の施設の情報、案内領域内で開催されているイベント、継続的に行われている工事の情報等が挙げられる。また、案内領域に設けられている施設の情報には、その施設の平均利用時間も含まれている。
 マップ格納部3eに格納されているマップ情報(具体的には、マップ情報のうちの利用者の現在地周辺の情報)は、前述のように、案内要求推定部3cが利用者の案内要求を推定する際に参照される。
 これは、利用者の行動(すなわち、利用者動的データ)が同じものであっても、案内領域内における位置によっては、その行動の原因になる案内要求が異なる場合があるので、マップ情報を参照することによって、精度よく利用者の案内要求を推定するためである。
 しかし、本発明の案内ロボット制御装置はそのような構成に限定されるものではない。例えば、利用者の案内要求を推定する際に、マップ情報を参照しなくてもよい。その場合には、マップ格納部を省略してもよい。
 案内行動決定部3fは、データ認識部3aが認識した環境動的データ、相対位置認識部3bが認識した相対位置、及び、案内要求推定部3cが推定した案内要求に基づいて、案内開始時及び案内中にロボット2が行う案内行動を決定する。
 ここで、「案内行動」とは、案内中に、ロボット2から利用者に提供されるサービスの内容、ロボット2の動作を決定する条件を指す。例えば、本実施形態で後述する案内時におけるルート、ロボット2の案内時の移動速度である案内速度、ロボット2の利用者に対する相対位置、利用者に報知する情報の内容の他、案内を行うロボットの種類(例えば、利用者を先導するロボットであるか、利用者が搭乗可能なロボットであるか)といった内容等が挙げられる。
 具体的には、案内行動決定部3fは、案内要求推定部3cが推定した案内要求に基づいて、ルート決定部3f1で、案内開始時に、案内開始地点から目的地までのルートを決定するとともに、案内中に、現在地から目的地までのルートを変更する。
 また、ルート決定部3f1では、変更前後の所要時間の変化及び目的地への到着時間の推定も行われる。そして、その所要時間の変化及び到着時間は、ロボット2の出力部を介して、利用者に提示される。
 これは、利用者がそのルートの変更の可否の判断を容易に行うことができるようにするためである。ひいては、利用者の反応も顕著なものになるようにして、後述する反応認識部3iによる利用者の反応の認識(すなわち、ルートの変更の可否に関する利用者の意思)を精度よく行うことができるようにするためである。
 なお、本発明のルート決定部は、このような構成に限定されるものではなく、推定された案内要求に基づいてルートの変更を行うことができるものであればよい。例えば、変更前後の所要時間の変化及び目的地への到着時間のいずれか一方又は両方を推定しなくてもよい。
 また、案内行動決定部3fは、案内要求推定部3cが推定した案内要求に基づいて、案内速度決定部3f2で、案内開始時及び案内中における案内速度を決定する。
 また、案内行動決定部3fは、ロボット2が案内を開始した後に利用者が移動を開始したときの相対位置、及び、利用者の現在地における環境動的データに基づいて、案内開始時及び案内中に、目標位置決定部3f3で、目標位置を決定及び変更する。
 このように、案内開始時に予め定めた相対位置だけでなく、環境動的データを参照しているのは、環境動的データ(すなわち、混雑の度合い等の案内領域の動的な環境)によっては、もともと利用者が好ましいと考えている位置とは異なる位置が、利用者にとってストレスを感じにくい位置になることがあるためである。
 しかし、本発明の目標位置決定部は、このような構成に限定されるものではない。例えば、環境動的データを参照せずに、目標位置を決定又は変更してもよい。
 また、案内行動決定部3fは、案内中にロボット2が行う案内行動を決定又は変更する際には、後述する優先度格納部3gが格納している優先度も参照する。
 これは、例えば、利用者の要求のみでは、同様の機能を持つ複数の施設のうちからどの施設を選択すべきか判断が難しい場合がある一方で、案内領域の施設には、同様の機能を持つ施設であっても、利用者に優先的に利用してほしい施設と可能であれば利用を抑えてほしい施設とがある場合もあるためである。
 例えば、トイレであっても、混雑しやすい場所と、混雑しにくい場所がある場合には、案内領域の管理側の立場からすれば、混雑しにくい場所を優先的に利用してほしいという要望がある。
 そこで、このように、予め施設に関する優先度を決定し、案内行動の決定又は変更を行う際に、その優先度を参照するようにすると、利用者だけでなく、案内領域の施設側の要望も満足できるようになる。
 優先度を参照した場合の具体的な処理としては、例えば、案内するルートを、優先度の高い施設を経由するようなルートにしたり、ロボット2の案内速度を、優先度の高い施設の前では遅くしたり、目標位置を、利用者が優先度の高い施設を認識することを妨げにくい位置としたりする処理が挙げられる。
 しかし、本発明の案内行動決定部はこのような構成に限定されるものではない。例えば、全ての案内行動の決定及び変更において優先度を参照しなくてもよい。この場合には、優先度格納部を省略してもよい。また、一部の案内行動の決定及び変更においてのみ優先度を参照してもよい。
 また、案内行動決定部3fは、案内中にロボット2が行う案内行動を決定又は変更する際には、後述する評価データ格納部3lが格納している評価データのうち、前回の案内以前の案内における評価データも参照する。
 これは、評価データを参照して案内行動を決定する(例えば、評価データにおいてネガティブな感情の原因になった案内行動は行わないようにする)ことによって、実際に行われる案内行動をさらに適切なものとするためである。
 しかし、本発明の案内行動決定部はこのような構成に限定されるものではない。例えば、全ての案内行動の決定及び変更において評価データを参照しなくてもよい。また、一部の案内行動の決定及び変更においてのみ評価データを参照してもよい。
 また、案内行動決定部3fは、案内中にロボット2が行う案内行動を変更する際には、後述する反応認識部3iが認識した利用者の反応に基づいて、案内行動を変更するか否かの最終的な決定を行う。これにより、案内行動が突然変更されることを防止することができるようになっている。
 しかし、本発明の案内行動決定部はこのような構成に限定されるものではない。例えば、全ての案内行動の決定及び変更において利用者の反応を参照しなくてもよい。また、一部の案内行動の決定及び変更においてのみ利用者の反応を参照してもよい。
 優先度格納部3gは、案内領域の施設に関する優先度を格納している。この優先度は、案内システムSのシステム設計者等が任意に定めてよい。
 例えば、トイレであっても、混雑しやすい場所と、混雑しにくい場所がある場合には、案内領域の管理側の立場からすれば、混雑しにくい場所を優先的に利用してほしいという要望がある。そのような要望を把握している場合には、混雑しにくいトイレの優先度を、混雑しやすいトイレの優先度よりも、高く設定すればよい。
 また、例えば、本実施形態の案内システムSは空港に導入されているので、空港の運営側にとって重要な施設(例えば、賃料が高い施設)の優先度を高くしてもよい。
 報知指示部3hは、ロボット2に対し、決定された案内行動(例えば、案内ルート、案内速度、目標位置等)に基づいて、利用者への案内行動の変更の可否を問う問い合わせ情報の報知の指示を行う。
 具体的には、報知指示部3hは、案内行動決定部3fによって決定された案内行動の変更内容、変更前後の所要時間の変化、及び、目的地への到着時間を報知するとともに、変更の可否を問う報知を行うように、ロボット2に対して指示を行う。この指示を受けたロボット2は、ロボット2の出力部を介して、利用者に対して報知を行う。
 反応認識部3iは、報知指示部3hがロボット2に行った指示に基づく報知に対して、利用者がどのような反応を行ったかを認識する。
 具体的には、反応認識部3iは、データ認識部3aが認識した利用者動的データに基づいて、利用者の反応を認識する。
 ロボット制御部3jは、案内行動決定部3fによって決定された案内行動に基づいて、ロボット2の動作を制御する。
 感情推定部3kは、データ認識部3aが認識した利用者動的データに基づいて、利用者の現在の感情である現在感情を、案内中の複数の時点において推定する。また、データ認識部3aが認識した利用者動的データに基づいて、感情の変化を把握するための基準になる利用者の基準感情を、案内開始時において推定する。そして、感情推定部3kは、現在感情及び基準感情に基づいて、ロボット2の動作とその動作の際における利用者の現在感情とを関連付けたデータである評価データを生成する。
 感情推定部3kが行う感情の推定は、例えば、公知又は新規の感情モデルに基づいて行われる。本実施形態では、図6に示すような公知のプルチックの感情モデルMに基づいて、感情の推定が行われる。
 この感情モデルMでは、感情は4組8種に分類されており、中心から放射状に延びる8つの領域のそれぞれが、その感情の1つに対応している。
 具体的には、第1領域A1は「喜び」、第2領域A2は「信頼」、第3領域A3は「恐れ」、第4領域A4は「驚き」、第5領域A5は「悲しみ」、第6領域A6は「嫌悪」、第7領域A7は「怒り」、第8領域A8は「期待」に対応しており、中心に寄るほど(外側の領域よりも内側の領域ほど)感情の程度が強いものとして表現されている。
 なお、上述のようにこの感情の推定の方法は一例であり、他の方法を用いてもよい。具体的には、プルチックの感情モデル以外の感情モデルを参照するようにしてもよい。また、利用者の動作と感情とを紐づけたデータテーブルを利用したり、利用者の動作を入力項目とし、利用者の感情を出力項目とするアルゴリズムを利用したりしてもよい。
 感情推定部3kによる現在感情の推定は、案内中の複数の時点で行われる。具体的には、利用者動的データに基づいて利用者が所定の挙動を行ったと判定された場合、又は、ロボット2が所定の動作を行った場合に、現在感情が推定される。これは、常時利用者の感情を推定した場合、その感情が、ロボットのどの動作に対応したものであるのかを把握しにくくなってしまうおそれがあるためである。
 評価データ格納部3lは、感情推定部3kが生成した評価データを、時系列的に格納する。これにより、感情変化については、後述する図20に示すグラフのようなデータが得られる。
 評価データに含まれる現在感情には、現在感情そのものだけでなく、推定された感情がポジティブな感情であるかネガティブな感情であるか、及び、感情の変化(動作の結果、良好になったのか、悪化したのか等)も関連付けられている。
 本実施形態では、図6に示したプルチックの感情モデルMに基づいて感情の推定を行うものであり、その感情モデルMの8つの領域がポジティブ、ネガティブのいずれかに分類されるとともに、領域及び程度に応じてスコアを定められている。そのため、評価データ格納部3lには、推定された感情そのものに加え、その分類(すなわち、ポジティブな感情であるか、ネガティブな感情であるか)、及び、スコアの変動(すなわち、感情の変化)を格納する。
 また、評価データには、ロボット2の動作の際における利用者の現在地に関する環境動的データも関連付けられている。これは、環境動的データも、利用者の感情に大きな影響を及ぼすものであるためである。
 また、評価データには、案内した利用者に関する利用者静的データも関連付けられている。これは、次回以降に評価データを参照する際に、案内する利用者と同様の利用者静的データ(属性)が関連付けられている評価データを参照することができるようにするためである。
 なお、評価データには、必ずしも、環境動的データ及び利用者静的データを関連付けなくてもよい。具体的には、環境動的データ、及び、利用者静的データの少なくとも一方を、評価データに関連付けなくてもよい。
 なお、図5を用いて説明した構成は、本発明の案内システムの一例である。すなわち、本実施形態においてサーバ3に実装されたハードウェア構成又はプログラムにより実現される機能は、必ずしも、単一のサーバにおいて実現する必要はない。
 例えば、複数のサーバに実装されたハードウェア構成又はプログラムを用いて実現してもよいし、サーバ実装されたハードウェア構成又はプログラムに加え、受付端末、ロボット、監視システムの少なくともいずれか一方に実装されたハードウェア構成又はプログラムと協働して、実現してもよい。また、例えば、サーバを用いず、複数のロボット又は監視システムに実装されたハードウェア構成又はプログラムを協働させて、実現してもよい。
 次に、図5、及び、図7~図20を参照して、案内システムSのサーバ3が行う処理について説明する。
 まず、図5、及び、図7~図10を参照して、案内システムSのサーバ3が、案内開始時における案内ルートを決定する際、及び、案内中に案内ルートを変更する際に行う処理について説明する。
 なお、図7は、案内システムSのサーバ3が案内開始時における案内ルートを決定する際に行う処理を示すフローチャートである。また、図9は、案内システムSのサーバ3が案内中に案内ルートを変更する際に行う処理のうち、案内ルートの変更内容を決定するまでの処理を示すフローチャートである。また、図10は、案内システムSのサーバ3が案内中に案内ルートを変更する際に行う処理のうち、案内ルートの変更を実行するまでの処理を示すフローチャートである。
 まず、案内システムSが案内開始時における案内ルートを決定する際に行う処理について説明する。
 この処理においては、まず、サーバ3のデータ認識部3aの利用者静的データ認識部3a2が、案内開始前における利用者静的データを認識する(図7/STEP101)。
 具体的には、まず、案内開始地点P0に設置された受付端末1が、利用者によって受付時に入力された情報、及び、受け付けた受付端末1に関する情報、受付端末1の出力部を介して行われた利用者へのアンケートの結果を認識し、それらの情報をサーバ3に送信する。その後、利用者静的データ認識部3a2が、サーバ3に送信された情報から案内ルートの決定に影響を与え得る情報を取得して、その情報を、利用者静的データとして認識する。
 この処理における案内ルートの決定に影響を与え得る情報としては、例えば、目的地P1、希望する到着時間(例えば、フライト時間等)等の必須事項の他、利用者の属性に関する情報、利用者が案内領域までに通った経路(案内領域である空港に到着する前に立ち寄った店舗等)等が挙げられる。
 また、この処理における利用者の属性としては、案内ルートの決定に影響を与え得る属性が挙げられる。例えば、年齢、性別、過去の空港の利用履歴(過去に案内された案内ルート)、預ける必要のある荷物の有無等が挙げられる。
 次に、サーバ3のデータ認識部3aの環境静的データ認識部3a4が、案内領域全体の環境静的データを認識する(図7/STEP102)。
 具体的には、環境静的データ認識部3a4が、サーバ3のマップ格納部3eから、案内ルートの決定に影響を与え得る情報を取得して、その情報を、環境静的データとして認識する。
 この処理における案内ルートの決定に影響を与え得る情報としては、案内領域の地図情報(例えば、受け付けた受付端末1の位置(すなわち、案内開始地点P0))の他、案内領域に設置されたトイレ、店舗等の施設の情報、案内領域内で開催されているイベント、継続的に行われている工事の情報等が挙げられる。
 次に、サーバ3の案内行動決定部3fのルート決定部3f1が、認識された利用者静的データ及び環境静的データに基づいて、基準になる第1ルートR1を決定する(図7/STEP103)。
 本実施形態では、案内開始地点P0から目的地P1まで移動するルートであって、利用者が希望する到着時間までに到着できるルートのうち、最も短時間で移動できると推定されるルートを、第1ルートR1とする。
 次に、サーバ3のデータ認識部3aの利用者動的データ認識部3a1が、案内開始前の利用者動的データを認識する(図7/STEP104)。
 具体的には、まず、受付端末1が、利用者が受付端末1を介して受付を行った際に受付端末1の第1カメラ1eで撮影された利用者の画像のデータ、及び、第1マイク1cで取得された利用者の声のデータを、サーバ3に送信する。その後、利用者動的データ認識部3a1が、サーバ3に受信された送信された情報に基づいて、案内開始時における利用者の挙動、及び、生体情報(例えば、体調、疲労度合い等)等を、利用者動的データとして認識する。
 次に、サーバ3の案内要求推定部3cが、利用者静的データに基づいて、要求推定データを認識する(図7/STEP105)。
 具体的には、まず、案内要求推定部3cが、利用者静的データ認識部3a2が認識した利用者静的データのうち、案内を希望している利用者の属性を指すデータを認識する。その後、案内要求推定部3cが、要求推定データ格納部3dから、その属性と同一の又は関連する属性の関連付けられた要求推定データを取得する。
 次に、案内要求推定部3cが、認識された利用者動的データ、利用者静的データ、及び、要求推定データに基づいて、利用者の案内要求を推定する(図7/STEP106)。
 具体的には、まず、案内要求推定部3cが、利用者動的データの利用者の挙動及び生体情報(例えば、体調、疲労度合い等)、利用者静的データの利用者が案内領域までに通った経路(例えば、飲食店に立ち寄ったか否か等)に基づいて、利用者の案内要求(例えば、トイレに行きたいか否か、休憩がしたいか否か等)を推定する。
 その後、案内要求推定部3cが、認識された利用者動的データと同一又は同様の利用者動的データが含まれている要求推定データを参照して、その要求推定データに対応する案内要求と、今回推定した案内要求とが一致するか否かを判定する。
 そして、案内要求が一致すると判定された場合には、案内要求推定部3cが、推定した案内要求を利用者の案内要求として確定する。一方、案内要求が一致しないと判定された場合には、案内要求推定部3cが、他の利用者動的データ、及び、利用者推定データを参照して、利用者の案内要求を改めて推定する。
 次に、ルート決定部3f1が、推定された案内要求に基づいて、優先度格納部3gから優先度を認識する(図7/STEP107)。
 具体的には、ルート決定部3f1が、優先度格納部3gから、利用者が利用を希望していると推定された施設の優先度を取得する。
 次に、ルート決定部3f1が、推定された案内要求に基づいて、マップ格納部3eからマップ情報を認識する(図7/STEP108)。
 具体的には、ルート決定部3f1が、マップ格納部3eから、利用者が利用を希望していると推定された施設の平均利用時間を取得する。
 最後に、ルート決定部3f1が、推定された案内要求、並びに、認識された優先度及びマップ情報に基づいて、基準になる第1ルートR1を修正して、案内開始時における案内ルートである第2ルートR2を決定して、今回の処理を終了する(図7/STEP109)。
 具体的には、例えば、利用者がトイレを利用したいと要求していると推定された場合、まず、ルート決定部3f1が、利用者が希望する到着時間までに案内開始地点P0から目的地P1へ至るルートのうち、トイレの平均利用時間を勘案したうえで、いずれかのトイレを経由できる複数のルートを検索する。
 その後、ルート決定部3f1が、検索した複数のルートのうちから、優先度の最も高いトイレ(例えば、最も混雑しにくいトイレ)を経由するルートを、案内開始時における案内ルートである第2ルートR2として決定する。
 次に、案内システムSのサーバ3が案内中に案内ルートを変更する際に行う処理について説明する。
 この処理においては、まず、サーバ3のデータ認識部3aの利用者動的データ認識部3a1が、現在の利用者動的データを認識する(図9/STEP201)。
 具体的には、まず、ロボット2が、ロボット2の第2カメラ22dで撮影された利用者の画像のデータ、及び、第2マイク22bで取得された利用者の声のデータを、サーバ3に送信する。その後、利用者動的データ認識部3a1が、サーバ3に送信された情報に基づいて、案内中における利用者の挙動(例えば、表情、視線の動き等)、及び、生体情報(例えば、体調、疲労度合い等)等を、現在の利用者動的データとして認識する。
 次に、利用者動的データ認識部3a1が、認識された利用者動的データは予め定められた所定の利用者動的データであるか否かを判定する(図9/STEP202)。
 一部の案内要求に対する利用者の行動(すなわち、利用者動的データ)は、一般化が可能である。例えば、到着時間を気にしている場合には、時計を頻繁に確認したり、トイレを利用したいと考えている場合には、トイレの位置を示す案内表を確認したりすることになる。
 そこで、案内システムSでは、案内内容の変更のトリガーにすべき利用者動的データを予め定めておき、認識された利用者動的データがその予め定められた所定の利用者動的データに該当するものであった場合にのみ、その後の案内内容の変更のための処理を実行するようにしている。これにより、案内システムSでは、過剰な処理の実行が抑制されるので、過剰な案内内容の変更、及び、それに伴い過剰な報知が抑制されようになっている。
 所定の利用者動的データとしては、例えば、利用者の視線が、何かを探すように移動した、又は、なんらかのポイントに集中していることを示す情報、利用者の移動方向又は移動速度が変更されたことを示す情報、要求を伝えるような声(例えば、どこかに立ち寄りたい等)を利用者が発声したことを示す情報等が挙げられる。
 所定の利用者動的データではないと判定された場合(図9/STEP202でNOの場合)、STEP201に戻り、利用者動的データ認識部3a1が、再度、利用者動的データを認識する。
 一方、所定の利用者動的データであると判定された場合(図9/STEP202でYESの場合)、サーバ3のデータ認識部3aの環境動的データ認識部3a3が、ロボット2の現在地(ひいては、利用者の現在地P2)の環境動的データを認識する(図9/STEP203)。
 具体的には、まず、ロボット2が、ロボット2の第2カメラ22dで撮影された利用者の周辺の画像のデータ、及び、第2マイク22bで取得された利用者の周辺の音声のデータを、サーバ3に送信する。その後、環境動的データ認識部3a3が、サーバ3に送信された情報から案内ルートの変更に影響を与え得る情報を取得して、その情報を、環境動的データとして認識する。
 この処理における案内ルートの変更に影響を与え得る情報としては、例えば、案内中における利用者の周辺の混雑の度合い、予定になかった工事、突発的な事故といった事象等が挙げられる。
 次に、サーバ3のデータ認識部3aの環境静的データ認識部3a4が、利用者の現在地P2の環境静的データを認識する(図9/STEP204)。
 具体的には、環境静的データ認識部3a4が、サーバ3のマップ格納部3eから案内ルートの変更に影響を与え得る情報を取得して、その情報を環境静的データとして認識する。
 この処理における案内ルートの変更に影響を与え得る情報としては、利用者の現在地P2周辺に設置されたトイレ、店舗等の施設の情報、現在地P2周辺で開催されているイベント(本実施形態ではイベント会場P3で開催されているイベント)、継続的に行われている工事の情報等が挙げられる。
 次に、サーバ3の案内要求推定部3cが、認識された利用者静的データに基づいて、要求推定データを認識する(図9/STEP205)。
 具体的には、図7/STEP105における処理と同様に、案内要求推定部3cが、案内開始前に認識した利用者静的データ(図7/STEP101で認識した利用者静的データ)のうちから認識した利用者の属性を指すデータに基づいて、要求推定データ格納部3dからその属性と同一の又は関連する属性の関連付けられた要求推定データを取得する。
 次に、案内要求推定部3cが、認識された利用者動的データ、環境動的データ、環境静的データ、及び、要求推定データに基づいて、利用者の現時点における案内要求を推定する(図9/STEP206)。
 具体的には、まず、案内要求推定部3cが、利用者動的データ(表情、視線の動き等)、環境動的データ(現在地P2の混雑の度合い等)、環境静的データ(イベント会場P3で開催されているイベント等)に基づいて、利用者の案内要求(例えば、混雑しているのでスムーズに移動したい、イベントの内容に興味がある等)を推定する。
 その後、図7/STEP106における処理と同様に、案内要求推定部3cが、要求推定データを参照して、推定した案内要求を利用者の案内要求として確定する、又は、改めて利用者の案内要求を推定する。
 次に、ルート決定部3f1が、推定された案内要求に基づいて、優先度格納部3gから優先度を認識する(図9/STEP207)。
 具体的には、ルート決定部3f1が、優先度格納部3gから、利用者が利用を希望していると推定された施設の優先度を取得する。
 次に、ルート決定部3f1が、推定された案内要求に基づいて、案内要求に関連するマップ情報を認識する(図9/STEP208)。
 具体的には、例えば、ルート決定部3f1が、マップ格納部3eから、イベント会場P3で開催されているイベントに関連する商品を取り扱っている店舗P4までの現在地からの距離及び所要時間、及び、店舗P4についての平均利用時間等を取得する。
 次に、ルート決定部3f1が、推定された案内要求、並びに、認識された優先度及びマップ情報に基づいて、案内ルートの変更内容を決定する(図9/STEP209)。
 具体的には、例えば、利用者がイベント会場P3で開催されているイベントについて興味を持った(ひいては、そのイベントに関連する商品を購入したいと要求している)と推定した場合、まず、ルート決定部3f1が、現在地P2から目的地P1に至るルートのうち、その商品を取り扱っている店舗の平均利用時間を勘案したうえで、いずれかの店舗を経由できる複数のルートを検索する。
 その後、ルート決定部3f1が、検索した複数のルートのうちから、優先度の最も高い店舗(例えば、最も近い店舗P4)を経由するルートを、基準になる第1ルートR1のうちの現在地P2から目的地P1までの部分をそのルートに置き換えて、変更後の案内ルートである第3ルートR3(変更内容)として決定する。
 次に、ルート決定部3f1が、案内ルートを第2ルートR2から第3ルートR3に変更した場合の到着時間を認識する(図10/STEP210)。
 具体的には、まず、ルート決定部3f1が、案内開始地点P0から現在地P2までの平均移動速度を算出する。その後、ルート決定部3f1が、その平均移動速度、現在地P2から目的地P1までの距離、店舗P4の平均利用時間、並びに、現在時刻に基づいて、到着時間を算出する。
 次に、ルート決定部3f1が、案内ルートを変更した場合の到着時間は利用者が希望する到着時間よりも前か否かを判定する(図10/STEP211)。
 希望する到着時間よりも前ではないと判定された場合(図10/STEP211でNOの場合)、サーバ3が、その後の処理を行わずに今回の処理を終了する。
 一方、希望する到着時間よりも前であると判定された場合(図10/STEP211でYESの場合)、ルート決定部3f1が、認識された利用者静的データに基づいて、評価データ格納部3lから評価データを認識する(図10/STEP212)。
 具体的には、まず、ルート決定部3f1が、利用者静的データ認識部3a2が認識した利用者静的データのうち、利用者の属性を指すデータを認識する。その後、ルート決定部3f1が、評価データ格納部3lから、その属性と同一の又は関連する属性の関連付けられた評価データを取得する。
 次に、ルート決定部3f1が、評価データに基づいて、案内ルートを変更した場合に予測される利用者の感情の変化を認識する(図10/STEP213)。
 具体的には、まず、ルート決定部3f1が、認識された評価データのうちから、今回の案内要求のためのロボット2の動作(例えば、案内ルートの変更そのもの)と同一又は関連する動作が関連付けられている評価データを検索する。その後、ルート決定部3f1が、その認識された評価データに含まれる感情の変化を認識する。
 次に、ルート決定部3f1が、予測される感情変化はポジティブなものであるか否かを判定する(図10/STEP214)。
 ポジティブなものではないと判定され場合(図10/STEP214でNOの場合)、サーバ3が、その後の処理を行わずに今回の処理を終了する。
 一方、ポジティブなものであると判定された場合(図10/STEP214でYESの場合)、サーバ3の報知指示部3hが、ロボット2に、変更内容の報知を指示する(図10/STEP215)。
 具体的には、例えば、案内ルートの変更に関する処理の場合には、まず、報知指示部3hが、イベント会場P3で開催されているイベントに関連する商品を店舗P4で取り扱っている旨、店舗P4を経由するための案内ルート(すなわち、第3ルートR3)、案内ルートを変更した場合の到着時間、及び、変更前後の所要時間の変化等の案内ルートの変更に関する情報、並びに、案内ルートの変更の可否を問う問い合わせ情報の報知を、ロボット2に対して指示する。
 その後、この指示を受けたロボット2は、出力部である第2タッチパネル22a、及び、第2スピーカ22cを介して、報知を行う。
 次に、利用者動的データ認識部3a1が、問い合わせ情報の報知後の利用者動的データを認識する(図9/STEP216)。
 具体的には、まず、ロボット2が、問い合わせ情報の報知後に、ロボット2の第2カメラ22dで撮影された利用者の画像のデータ、及び、第2マイク22bで取得された利用者の声のデータを、サーバ3に送信する。その後、利用者動的データ認識部3a1が、サーバ3に送信された情報に基づいて、利用者の挙動等を、利用者動的データとして認識する。
 次に、サーバ3の反応認識部3iが、問い合わせ情報の報知後に認識された利用者動的データに基づいて、利用者の反応を認識する(図9/STEP217)。
 具体的には、例えば、案内システムSのシステム設計者等が、利用者が予め許可を示したと推定し得る挙動、及び、拒否されたと推定し得る挙動を定めておき、反応認識部3iが、報知後に認識された利用者動的データがいずれの挙動に該当するかによって、利用者の反応(具体的には、案内ルートの変更が許可されたか否か)を認識する。
 次に、ルート決定部3f1が、反応認識部3iが認識した反応が、案内ルートの変更を許可する反応であるか否かを判定する(図10/STEP218)。
 案内ルートの変更を許可する反応ではないと判定された場合(図10/STEP218でNOの場合)、サーバ3が、その後の処理を行わずに今回の処理を終了する。
 一方、案内ルートの変更を許可する反応であると判定された場合(図10/STEP218でYESの場合)、ルート決定部3f1が、案内ルートの変更を確定し、サーバ3のロボット制御部3jが、ロボット2に、変更後の案内ルートに従った案内行動を指示する(図10/STEP219)。
 具体的には、ロボット制御部3jが、変更後の案内ルートである第3ルートR3に沿って利用者を案内する指示を、ロボット2に送信する。
 最後に、案内要求推定部3cが、要求推定データ格納部3dに、今回の案内要求の推定の際に用いた利用者動的データ(すなわち、図9/STEP201で認識した利用者動的データ)、及び、利用者静的データと、推定された案内要求とを関連付けて格納して、今回の処理を終了する(図10/STEP220)。
 このように構成されているサーバ3では、案内中(具体的には、案内開始時から案内終了時までの期間中)に、推定された利用者の案内要求に基づいて、案内ルートが変更される。すなわち、利用者が明示している要求だけではなく、潜在的に希望している要求に基づいて、案内ルートが変更される。
 これにより、その案内ルートは、利用者の案内要求に応じた適切なものになる。例えば、利用者が利用を必要とする施設(例えば、休憩室、トイレ)、利用者が興味のある物品及びサービスが提供される店舗の位置等が考慮されたものになる。
 したがって、このサーバ3を備える案内システムS、及び、それを用いた案内ロボット制御方法によれば、案内ルートが利用者の案内要求に応じたものになり、また、利用者の意思を尊重して案内ルートの変更が行われるので、利用者がストレスなく案内を受けることができるようになる。
 なお、本実施形態では、案内ルートの変更の処理については、利用者動的データを逐次検出し、その都度、案内要求を改めて推定し、案内ルートの変更を行っている。これは、時々刻々と変化する利用者の案内要求を逐次把握して、適切に案内ルートを変更するためである。
 しかし、本発明はこのような構成に限定されるものではない。例えば、所定のタイミング(例えば、所定の地点を通ったタイミング、所定の時間が経過したタイミング等)にのみ、利用者動的データの認識、案内要求の推定、ひいては、案内ルートの変更を行うようにしてもよい。
 また、例えば、利用者動的データに代わり、環境動的データを逐次認識し、所定の環境動的データが認識されたとき(例えば、混雑の度合いが所定以上の高さになったとき等)にのみ、利用者動的データの認識、案内要求の推定、ひいては、案内ルートの変更を行うようにしてもよい。
 また、本実施形態では、案内ルートを変更した場合の到着時間が希望する到着時間よりも前ではないと判定された場合(図10/STEP211でNOの場合)、予測される感情変化がポジティブなものではないと判定された場合(図10/STEP214でNOの場合)、及び、報知後の反応が許可を示すものではないと判定された場合(図10/STEP218でNOの場合)には、サーバ3はその後の処理を行わずに処理を終了する。これは、希望する到着時間に利用者を目的地に案内することを優先し、また、利用者の直接的な希望を優先するためである。
 しかし、本発明はこのような構成に限定されるものではない。例えば、認識された利用者動的データが直接的な指示を含むものであった場合(例えば、所定の店舗に行きたいとロボットに向かって指示した場合)、認識された環境動的データが緊急性の高いものであった場合(現在地近傍で避難を要するような事故が発生した場合)等には、到着時間に関する判定、及び、感情変化に関する判定を行わずに、案内ルートの変更を実行してもよい。
 また、本実施形態では、利用者の生理的欲求、案内中に利用者の興味を引いたディスプレイに基づいて、案内開始時おける案内ルートの決定、及び、案内ルートの変更内容を行っている。
 しかし、本発明はこのような構成に限定されるものではない。例えば、案内ルートの決定及び変更に際して、利用者静的データのうちの利用者の過去の施設の利用履歴を参照し、過去に利用した施設を経由するルートを候補に加えてもよい。また、利用者静的データのうちの利用者の属性(例えば、服装、所持品のブランド等)を参照し、その属性に対応する店舗(例えば、認識されたブランドに関連する店舗)等を経由するルートを候補に加えるようにしてもよい。
 また、例えば、環境静的データのうちの時間帯(具体的には、食事をとる時間帯であるか否か)を認識し、時間帯に応じて飲食施設を経由するルートを候補に加えるようにしてもよい。また、環境静的データのうちの希望する到着時間までの残り時間を認識し、残り時間に応じて、通行のしやすい(例えば、広くて大きい)通路を優先するか、所要時間の短い通路を優先するかを、案内ルートの決定及び変更の際に参照するようにしてもよい。
 また、例えば、案内中における利用者動的データ及び環境動的データに基づいて、利用者が周囲の状況(例えば、混雑の度合い)に対して、不快な感情を抱いていると推定された場合には、混雑の度合いが低くスムーズに移動できるルートに、案内ルートを変更してもよい。
 また、例えば、前回の案内以前における利用者静的データ、評価データ等に基づいて、一般的に利用者の満足度の高かったルート、疲労度から案内速度を調整する必要が生じる傾向の強い場所を避けるルート等の一般的な傾向を認識し、その傾向を参照して、案内ルートの決定及び変更を行ってもよい。
 次に、図5、図8、図11~図13を参照して、案内システムSが、案内開始時における案内速度を決定する際に行う処理、及び、案内中に案内速度を変更する際に行う処理について説明する。
 なお、図11は、案内システムSのサーバ3が案内開始時における案内速度を決定する際に行う処理を示すフローチャートである。また、図12は、案内システムSのサーバ3が案内中に案内速度を変更する際に行う処理のうち、案内速度の変更内容を決定するまでの処理を示すフローチャートである。また、図13は、案内システムSのサーバ3が案内中に案内速度を変更する際に行う処理のうち、案内速度の変更を実行するまでの処理を示すフローチャートである。
 まず、案内システムSが、案内開始時における案内速度を決定する際に行う処理について説明する。
 この処理においては、まず、サーバ3のデータ認識部3aの利用者静的データ認識部3a2が、案内開始前における利用者静的データを認識する(図11/STEP301)。
 具体的には、まず、図7/STEP101における処理と同様に、受付端末1が、利用者によって受付時に入力された情報、及び、受け付けた受付端末1に関する情報、受付端末1の出力部を介して行われた利用者へのアンケートの結果を認識し、それらの情報をサーバ3に送信する。
 その後、利用者静的データ認識部3a2が、受付端末1から送信された送信された情報から案内速度の決定に影響を与え得る情報を取得して、その情報を利用者静的データとして認識する。
 この処理における案内速度の決定に影響を与え得る情報としては、例えば、受け付けた受付端末1の位置(すなわち、図8における案内開始地点P0)、図8における目的地P1、希望する到着時間(例えば、フライト時間等)等の必須事項の他、利用者の属性に関する情報、利用者が案内領域までに通った経路(案内領域である空港に到着する前に立ち寄った店舗等)等が挙げられる。
 また、この処理における利用者の属性としては、案内速度の決定に影響を与え得る属性が挙げられる。例えば、年齢、性別、身体に関する障害の有無、車椅子を利用しているか否か、同行者の有無、妊娠しているか否か等が挙げられる。
 次に、サーバ3のデータ認識部3aの環境静的データ認識部3a4が、案内領域全体の環境静的データを認識する(図11/STEP302)。
 具体的には、環境静的データ認識部3a4が、サーバ3のマップ格納部3eから、案内速度の決定に影響を与え得る情報を取得して、それらの情報を環境静的データとして認識する。
 この処理における案内速度の決定に影響を与え得る情報としては、案内領域の地図情報の他、案内領域内で開催されているイベント、継続的に行われている工事の情報(ひいては、混雑の予想される場所の情報)等が挙げられる。
 次に、サーバ3の案内行動決定部3fの案内速度決定部3f2が、認識された利用者静的データ及び環境静的データに基づいて、基準になる第1速度を決定する(図11/STEP303)。
 本実施形態では、図8に示すように、案内開始地点P0から目的地P1まで移動するルートであって、利用者が希望する到着時間までに到着できるルートのうち、最も短時間で移動できると推定されるルートを、第1ルートR1とする。そして、その第1ルートR1を移動する場合に推定される案内速度を、基準になる第1速度とする。
 次に、サーバ3のデータ認識部3aの利用者動的データ認識部3a1が、案内開始前の利用者動的データを認識する(図11/STEP304)。
 具体的には、図7/STEP104における処理と同様に、利用者動的データ認識部3a1が、受付端末1から送信された情報に基づいて、案内開始時における利用者の挙動、及び、生体情報(例えば、体調、疲労度合い等)等を、利用者動的データとして認識する。
 次に、サーバ3の案内要求推定部3cが、利用者静的データに基づいて、要求推定データを認識する(図11/STEP305)。
 具体的には、図7/STEP105、図9/STEP205における処理と同様に、案内要求推定部3cが、利用者静的データのうちから認識した利用者の属性を指すデータに基づいて、要求推定データ格納部3dからその属性と同一の又は関連する属性の関連付けられた要求推定データを取得する。
 次に、案内要求推定部3cが、認識された利用者動的データ、利用者静的データ、及び、要求推定データに基づいて、利用者の案内要求を推定する(図11/STEP306)。
 具体的には、まず、案内要求推定部3cが、利用者動的データの利用者の挙動及び生体情報(例えば、体調、疲労度合い等)、利用者静的データの利用者が案内領域までに通った経路(例えば、身体に関する障害の有無等)に基づいて、利用者の案内要求(具体的には、案内速度が速い方がよいか遅い方がよいか等)を推定する。
 その後、案内要求推定部3cが、認識された利用者動的データと同一又は同様の利用者動的データが含まれている要求推定データを参照して、その要求推定データに対応する案内要求と、今回推定した案内要求とが一致するか否かを判定する。
 そして、案内要求が一致すると判定された場合には、案内要求推定部3cが、推定した案内要求を利用者の案内要求として確定する。一方、案内要求が一致しないと判定された場合には、案内要求推定部3cが、他の利用者動的データ、及び、利用者推定データを参照して、利用者の案内要求を改めて推定する。
 最後に、案内速度決定部3f2が、推定された案内要求に基づいて、基準になる第1速度を修正して、案内開始時における案内速度になる第2速度を決定して、今回の処理を終了する(図11/STEP307)。
 具体的には、案内速度決定部3f2が、利用者の希望する案内速度に応じて、第1速度を調整して、第2速度として決定する。
 なお、現在時間から到着時間までの期間が短い場合、利用者の希望する案内速度が極端に遅い場合等には、利用者を移動させることによっては、最も重要になる希望する到着時間までに利用者を目的地まで案内するという目的を果たせなくなるおそれがある。
 そこで、そのような場合には、利用者の移動速度を上昇させるための手段を検討する処理を行うようにしてもよい。具体的には、例えば、第1速度を修正して第2速度を決定する処理を行うのではなく、案内に使用するロボットの種類を搭乗可能なものにするか否かを判定する処理、及び、搭乗可能なロボットを呼び寄せる処理を行うようにしてもよい。
 次に、案内システムSのサーバ3が、案内中に案内速度を変更する際に行う処理について説明する。
 この処理においては、まず、サーバ3のデータ認識部3aの利用者動的データ認識部3a1が、現在の利用者動的データを認識する(図12/STEP401)。
 具体的には、図9/STEP201における処理と同様に、利用者動的データ認識部3a1が、ロボット2から送信された情報に基づいて、案内中における利用者の挙動(例えば、表情、視線の動き等)、及び、生体情報(例えば、体調、疲労度合い等)等を、現在の利用者動的データとして認識する。
 次に、サーバ3のデータ認識部3aの環境動的データ認識部3a3が、ロボット2の現在地(ひいては、利用者の現在地P2)の環境動的データを認識する(図12/STEP402)。
 具体的には、図9/STEP203における処理と同様に、環境動的データ認識部3a3が、ロボット2から送信された情報から案内速度の変更に影響を与え得る情報を取得して、その情報を環境動的データとして認識する。
 この処理における案内速度の変更に影響を与え得る情報としては、例えば、案内中における利用者の周辺の混雑の度合い、利用者の周辺の騒音の大きさ、他の利用者の移動速度に関する情報等が挙げられる。
 これは、例えば、利用者の周辺が混雑している場合には、利用者が移動しにくくなるので、案内速度を低下させる必要があるためである。
 また、例えば、周辺の騒音が大きい場合には、その騒音の激しいエリアはできるだけ早く通過したいので、案内速度を上昇させる必要があるためである。
 また、例えば、他の利用者の移動速度が現在の案内速度と大きく異なる場合には、衝突の危険性があるので、案内速度をその移動速度にある程度近づける必要があるためである。
 次に、利用者動的データ認識部3a1が、認識された利用者動的データは予め定められた所定の利用者動的データであるか否かを判定する(図12/STEP403)。
 具体的には、図9/STEP202における処理と同様に、システム設計者等が、案内内容の変更のトリガーにすべき利用者動的データを予め定めておき、利用者動的データ認識部3a1が、認識された利用者動的データがその予め定められた所定の利用者動的データに該当するか否かを判定する。
 所定の利用者動的データとしては、例えば、利用者の視線が、何かを探すように移動した、又は、なんらかのポイントに集中していることを示す情報、利用者の移動方向又は移動速度が変更されたことを示す情報、要求を伝えるような声(例えば、もっと早く移動してほしい等)を利用者が発生したことを示す情報等が挙げられる。
 所定の利用者動的データではないと判定された場合(図12/STEP403でNOの場合)、環境動的データ認識部3a3が、認識された環境動的データは予め定められた所定の環境動的データであるか否かを判定する(図12/STEP404)。
 環境動的データの一部は、利用者の案内要求にどのような影響を与えるかについて一般化が可能である。例えば、混雑の度合いが高くなった場合には、利用者は移動がしにくくなるので、案内速度を低下してほしいという案内要求が生じる。
 そこで、案内システムSでは、案内内容の変更のトリガーにすべき環境動的データを予め定めておき、認識された環境動的データがその予め定められた所定の環境動的データに該当するものであった場合にのみ、その後の案内内容の変更のための処理を実行するようにしている。これにより、案内システムSでは、過剰な処理の実行が抑制されるので、過剰な案内内容の変更、及び、それに伴い過剰な報知が抑制されようになっている。
 案内内容の変更のトリガーにすべき環境動的データとしては、例えば、混雑の度合いが上昇したことを示す情報、利用者の周辺の騒音の大きさが大きくなったことを示す情報、案内中の利用者の移動速度と他の利用者の移動速度との差が所定の値以上になったことを示す情報等が挙げられる。
 所定の環境動的データではないと判定された場合(図12/STEP404でNOの場合)、サーバ3は、再度、STEP401~STEP404の処理を実行する。
 一方、所定の利用者動的データであると判定された場合(図12/STEP403でYESの場合)、又は、所定の環境動的データであると判定された場合(図12/STEP404でYESの場合)、サーバ3の案内要求推定部3cが、認識された利用者静的データに基づいて、要求推定データを認識する(図12/STEP405)。
 具体的には、図7/STEP105、図9/STEP205、図11/STEP305における処理と同様に、案内要求推定部3cが、案内開始前に認識した利用者静的データ(図11/STEP301で認識した利用者静的データ)のうちから認識した利用者の属性を指すデータに基づいて、要求推定データ格納部3dからその属性と同一の又は関連する属性の関連付けられた要求推定データを取得する。
 次に、案内要求推定部3cが、認識された利用者動的データ、環境動的データ、及び、要求推定データに基づいて、利用者の現時点における案内要求を推定する(図12/ST
EP406)。
 具体的には、まず、案内要求推定部3cが、利用者動的データ(表情、視線の動き等)、環境動的データ(現在地の混雑の度合い等)に基づいて、利用者の案内要求(例えば、混雑の度合いが高いのでロボットを追いかけにくい、イベントの内容に興味があるので一度その様子を眺めながら移動したい等)を推定する。
 その後、図7/STEP106、図9/STEP206、図11/STEP306における処理と同様に、案内要求推定部3cが、要求推定データを参照して、推定した案内要求を利用者の案内要求として確定する、又は、改めて利用者の案内要求を推定する。
 次に、サーバ3の案内行動決定部3fの案内速度決定部3f2が、推定された案内要求に基づいて、案内要求に関連するマップ情報を認識する(図12/STEP407)。
 具体的には、例えば、案内速度決定部3f2が、マップ格納部3eから、現在の案内ルート(第3ルートR3)の近傍にある混雑しにくい通路等を取得する。
 次に、案内速度決定部3f2、推定された案内要求、並びに、認識された優先度及びマップ情報に基づいて、案内速度の変更内容を決定する(図12/STEP408)。
 具体的には、例えば、利用者が現在地の混雑の度合いが高く、ロボット2を追いかけにくいと感じていると推定した場合、まず、案内速度決定部3f2が、利用者が追いかけやすくなるような案内速度を算出する。その後、案内速度決定部3f2が、現在の案内速度である第2速度をどのようにどの程度変更すればよいか(案内速度の変更内容)を決定する。
 次に、案内速度決定部3f2が、案内速度を変更した場合の到着時間を認識する(図13/STEP409)。
 具体的には、まず、案内速度決定部3f2が、案内速度の変更をどの程度の期間及び距離を継続すれば、推定された案内要求を満足させられるか(例えば、混雑の度合いが高い領域を通過し終わるか)を算出する。その後、案内速度決定部3f2が、算出された継続すべき期間及び距離、並びに、現在時刻及び現在地から目的地までの距離に基づいて、到着時間を算出する。
 次に、案内速度決定部3f2が、案内速度を変更した場合の到着時間は利用者が希望する到着時間よりも前か否かを判定する(図13/STEP410)。
 希望する到着時間よりも前ではないと判定された場合(図13/STEP410でNOの場合)、サーバ3が、その後の処理を行わずに今回の処理を終了する。
 一方、希望する到着時間よりも前であると判定された場合(図13/STEP410でYESの場合)、案内速度決定部3f2が、認識された利用者静的データに基づいて、評価データ格納部3lから評価データを認識する(図13/STEP411)。
 具体的には、図10/STEP212における処理と同様に、案内速度決定部3f2が、案内開始前に認識した利用者静的データ(図11/STEP301で認識した利用者静的データ)のうちから認識した利用者の属性を指すデータに基づいて、評価データ格納部3lからその属性と同一の又は関連する属性の関連付けられた評価データを取得する。
 次に、案内速度決定部3f2が、評価データに基づいて、案内速度を変更した場合に予測される利用者の感情の変化を認識する(図13/STEP412)。
 具体的には、図10/STEP213における処理と同様に、案内速度決定部3f2が、今回の案内要求のために行う予定のロボット2の動作(例えば、案内速度の変更そのもの)に基づいて、その動作が関連付けられている評価データを認識し、その評価データに含まれる感情の変化を認識する。
 次に、案内速度決定部3f2が、予測される感情変化はポジティブなものであるか否かを判定する(図13/STEP413)。
 感情変化がポジティブなものではないと判定された場合(図13/STEP413でNOの場合)、サーバ3が、その後の処理を行わずに今回の処理を終了する。
 一方、ポジティブなものであると判定された場合(図13/STEP413でYESの場合)、サーバ3の報知指示部3hが、ロボット2に、変更内容の報知を指示する(図13/STEP414)。
 具体的には、例えば、案内速度の変更に関する処理の場合には、まず、報知指示部3hが、案内速度を変更する旨、案内速度を変更する期間及び距離、案内速度を変更する理由(すなわち、推定された案内要求)、案内速度を変更した場合の到着時間、及び、変更前後の所要時間の変化等の案内速度の変更に関する情報、並びに、案内速度の変更の可否を問う問い合わせ情報の報知を、ロボット2に対して指示する。
 その後、この指示を受けたロボット2は、出力部である第2タッチパネル22a、及び、第2スピーカ22cを介して、報知を行う。
 次に、利用者動的データ認識部3a1が、問い合わせ情報の報知後の利用者動的データを認識する(図13/STEP415)。
 具体的には、図9/STEP216における処理と同様に、利用者動的データ認識部3a1が、ロボット2から送信された情報に基づいて、問い合わせ情報の報知後の利用者の挙動等を、利用者動的データとして認識する。
 次に、サーバ3の反応認識部3iが、問い合わせ情報の報知後に認識された利用者動的データに基づいて、利用者の反応を認識する(図13/STEP416)。
 具体的には、図9/STEP217における処理と同様に、例えば、反応認識部3iが、報知後に認識された利用者動的データが予め定められた挙動に該当するものであるか否かによって、利用者の反応(具体的には、案内速度の変更が許可されたか否か)を認識する。
 次に、案内速度決定部3f2が、反応認識部3iが認識した反応が、案内速度の変更を許可する反応であるか否かを判定する(図13/STEP417)。
 案内速度の変更を許可する反応ではないと判定された場合(図13/STEP417でNOの場合)、サーバ3が、その後の処理を行わずに今回の処理を終了する。
 一方、案内速度の変更を許可する反応であると判定された場合(図13/STEP417でYESの場合)、案内速度決定部3f2が、案内速度の変更を確定し、サーバ3のロボット制御部3jが、ロボット2に、変更後の案内速度に従った案内行動を指示する(図13/STEP418)。
 具体的には、ロボット制御部3jが、変更後の案内速度で利用者を案内する指示を、ロボット2に送信する。
 最後に、案内要求推定部3cが、要求推定データ格納部3dに、今回の案内要求の推定の際に用いた利用者動的データ(すなわち、図12/STEP401で認識した利用者動的データ)、環境動的データ(すなわち、図12/STEP402で認識した環境動的データ)及び、利用者静的データと、推定された案内要求とを関連付けて格納して、今回の処理を終了する(図13/STEP419)。
 このように構成されているサーバ3では、案内中(具体的には、案内開始時から案内終了時までの期間中)に、推定された利用者の案内要求に基づいて、案内速度が変更される。すなわち、利用者が明示している要求だけではなく、潜在的に希望している要求に基づいて、案内速度が変更される。
 これにより、その案内速度は、利用者の案内要求に応じた適切なものになる。例えば、利用者の疲労度合い、混雑による不快感、利用者の興味がある施設の位置等が考慮されたものになる。
 したがって、このサーバ3を備える案内システムS、及び、それを用いた案内ロボット制御方法によれば、案内速度が利用者の案内要求に応じたものになり、また、利用者の意思を尊重して案内速度の変更が行われるので、利用者がストレスなく案内を受けることができるようになる。
 なお、本実施形態では、案内速度の変更の処理については、利用者動的データを逐次検出し、その都度、案内要求を改めて推定し、案内速度の変更を行っている。これは、時々刻々と変化する利用者の案内要求を逐次把握して、適切に案内速度を変更するためである。
 しかし、本発明はこのような構成に限定されるものではない。例えば、所定のタイミング(例えば、所定の地点を通ったタイミング、所定の時間が経過したタイミング等)にのみ、利用者動的データの認識、案内要求の推定、ひいては、案内速度の変更を行うようにしてもよい。
 また、例えば、利用者動的データに代わり、環境動的データを逐次認識し、所定の環境動的データが認識されたとき(例えば、混雑の度合いが所定以上の高さになったとき等)にのみ、利用者動的データの認識、案内要求の推定、ひいては、案内速度の変更を行うようにしてもよい。
 また、本実施形態では、案内速度を変更した場合の到着時間が希望する到着時間よりも前ではないと判定された場合(図13/STEP410でNOの場合)、予測される感情変化がポジティブなものではないと判定された場合(図13/STEP414でNOの場合)、及び、報知後の反応が許可を示すものではないと判定された場合(図13/STEP417でNOの場合)には、サーバ3はその後の処理を行わずに処理を終了する。これは、希望する到着時間に利用者を目的地に案内することを優先し、また、利用者の直接的な希望を優先するためである。
 しかし、本発明はこのような構成に限定されるものではない。例えば、認識された利用者動的データが直接的な指示を含むものであった場合(例えば、所定の店舗に行きたいとロボットに向かって指示した場合)、認識された環境動的データが緊急性の高いものであった場合(現在地近傍で避難を要するような事故が発生した場合)等には、到着時間に関する判定、及び、感情変化に関する判定を行わずに、案内速度の変更を実行してもよい。
 また、本実施形態では、利用者動的データ及び環境動的データをトリガーとして、案内速度の変更を行っている。しかし、例えば、利用者静的データと環境静的データとに基づいて、案内速度の変更を行ってもよい。
 例えば、利用者静的データ(利用者の服装、持ち物等を示す情報)から、利用者が所定のブランドに興味があると推定された場合には、環境静的データから、そのブランドを取り扱っているという属性を有する店舗(ひいては、利用者が立ち寄りたいと思う可能性の高い店舗)を検索し、その店舗の周囲では、利用者がその店舗に興味を持ちやすいように、案内速度を遅くするようにしてもよい。
 また、このように構成する場合には、施設が案内領域の管理者に支払う費用等に応じて店舗ごとに優先度を設定して、優先度の高い店舗の周囲ほど利用者が興味を持ちやすいように、案内速度を特に遅くするようにしてもよい。
 次に、図5、図14~図18を参照して、案内システムSが、案内開始直後に目標位置を決定する際に行う処理、及び、案内中に目標位置を変更する際に行う処理について説明する。
 ここで、「目標位置」とは、利用者に対するロボット2の案内中における相対位置の目標になる位置を指す。また、「相対位置」とは、利用者からロボットまでの距離のみ、又は、利用者に対してロボットが位置する方向のみをさす場合もあり、曲がる際等における相対位置の変化の度合いを指す場合も含む。ただし、以下の説明における目標位置又は相対位置は、利用者からロボットまでの距離、及び、利用者に対してロボットが位置する方向とする。
 また、ここで、「方向」とは、利用者及びロボットの移動面に平行な面における利用者に対するロボットの方向を指す。
 例えば、図14に示すように、利用者及びロボットが平地を移動している場合には、平面視において、利用者の身体の中心を通り前後方向に延びる線(矢状面に含まれる線。第1仮想線L1。)と、利用者の身体の中心である第1中心C1とロボット2の中心である第2中心C2とを通る線(第2仮想線L2)とがなす角度θ(すなわち、第2仮想線L2の第1仮想線L1に対する傾き)を指すものとする。
 なお、図15は、案内システムSのサーバ3が案内開始直後に目標位置を決定する際に行う処理を示すフローチャートである。また、図17は、案内システムSのサーバ3が案内中に目標位置を変更する際に行う処理のうち、目標位置の変更内容を決定するまでの処理を示すフローチャートである。また、図18は、案内システムSのサーバ3が案内中に目標位置を変更する際に行う処理のうち、目標位置の変更を実行するまでの処理を示すフローチャートである。
 まず、案内システムSが、案内開始直後の目標位置を決定する際に行う処理について説明する。
 この処理においては、まず、サーバ3のデータ認識部3aの利用者静的データ認識部3a2が、案内開始前における利用者静的データを認識する(図15/STEP501)。
 具体的には、まず、図7/STEP101、図11/STEP301における処理と同様に、受付端末1が、利用者によって受付時に入力された情報、及び、受け付けた受付端末1に関する情報、受付端末1の出力部を介して行われた利用者へのアンケートの結果を認識し、それらの情報をサーバ3に送信する。
 その後、利用者静的データ認識部3a2が、受付端末1から送信された送信された情報から送信された情報から目標位置の決定に影響を与え得る情報を取得して、その情報を利用者静的データとして認識する。
 この処理における目標位置の決定に影響を与え得る情報としては、例えば、目標位置の決定に影響を与え得る情報が挙げられる。例えば、身体(特に、目、耳)に関する障害の有無、車椅子を利用しているか否か、利き手、同行者の有無、妊娠しているか否か、過去の利用履歴等、主として、利用者の属性に関する情報が挙げられる。
 次に、サーバ3の案内行動決定部3fの目標位置決定部3f3が、認識された利用者静的データに基づいて、案内開始時の目標位置である第1位置を決定する(図15/STEP502)。
 本実施形態では、図14に示すように、利用者Uのパーソナル領域よりも外側であって、利用者Uの前方、且つ、利用者Uの中心視野領域の周辺視野領域近傍の位置(すなわち、利用者Uの斜め前方の位置)を、第1位置とする。ここで、第1位置の距離、及び、方向(利用者の左右いずれかに位置するか)は、利用者静的データに含まれる利用者の利き手、利用者の目、耳に関する障害の有無等によって決定される。
 なお、第1位置は、利用者静的データに加え、評価データを参照して決定するようにしてもよいし、利用者に過去の利用履歴があった場合には、その過去の利用履歴における目標位置を用いるようにしてもよい。
 次に、サーバ3のロボット制御部3jが、ロボット2に、案内行動を指示する(図15/STEP503)。
 具体的には、例えば、図7を用いて説明した処理で決定された案内開始時における案内ルート(図8の第2ルートR2)、又は、図9及び図10を用いて説明した処理で決定された変更後における案内ルート(図8の第3ルートR3)に沿って、図11を用いて説明した処理で決定された案内開始時における案内速度、又は、図12及び図13を用いて説明した処理で決定された変更後における案内速度で、利用者を案内する指示を、ロボット制御部3jがロボット2に送信する。
 その指示を受信したロボット2は、利用者(すなわち、案内開始地点P0)の近傍まで移動した後、案内を開始する。本実施形態では、ロボット2が移動を開始した時点を、案内開始時点とする。また、案内開始後、利用者静的データに基づいて決定された目標位置に一度移動した後は、この段階では相対位置の調整は行わずに、一定速度(例えば、図11を用いて説明した処理で決定した第2速度)で移動する。
 次に、サーバ3の相対位置認識部3bが、利用者に対するロボット2の相対位置を認識する(図15/STEP504)。
 具体的には、まず、ロボット2が、ロボット2の第2カメラ22dで撮影された利用者の画像のデータを、サーバ3に送信する。その後、相対位置認識部3bが、サーバ3に送信された情報に基づいて、利用者からロボットまでの距離、及び、及び、利用者に対してロボットが位置する方向を、相対位置として認識する。この処理は、案内開始後、所定の処理周期で逐次実行される。
 次に、サーバ3の案内行動決定部3fの目標位置決定部3f3が、相対位置の変動量を認識する(図15/STEP505)。
 具体的には、目標位置決定部3f3が、相対位置認識部3bが相対位置を認識するたびに、前回の認識における距離及び方向に対する今回の認識における距離及び方向の変動量を算出し、その算出された変動量を時系列的に記録する。これにより、変動量については、図16に示すグラフのようなデータが得られる。このグラフにおいて、tは時間、dは相対距離、Δdは変動量を示している。
 次に、目標位置決定部3f3が、変動量は所定値以下であるか否かを判定する(図15/STEP506)。
 この所定値は、案内システムSのシステム設計者等が任意に設定してよい。例えば、利用者静的データ及び評価データに基づいて、案内する利用者の属性及び過去の案内結果から決定した値を、所定値として設定してもよい。
 所定値を超えると判定された場合(図15/STEP506でNOの場合)、STEP504に戻り、相対位置認識部3bが、再度、相対位置を認識する。
 一方、所定値以下であると判定された場合(図15/STEP506でYESの場合)、目標位置決定部3f3が、ロボット2が案内を開始した後に利用者が移動を開始したときから第1時間が経過するまでの残り時間は第2時間以上であるか否かを判定する(図15/STEP507)。
 この第1時間及び第2時間は、第1時間が第2時間よりも長ければ、案内システムSのシステム設計者等が任意に設定してよい。本実施形態では、第1時間は60秒とし、図16のグラフでは、T1として示す。また、第2時間は15秒とし、図16に示すグラフでは、T2として示す。
 また、第1時間の開始時点は、本実施形態では案内開始時点としているが、案内開始時点以降であれば、他の時点であってもよい。例えば、利用者が移動を開始した時点を開始時点としてもよいし、案内開始から所定の時間(例えば10秒)経過した時点を開始時点としてもよい。
 そして、このSTEP507における処理は、第1期間T1の終了する時点であるtaを基準として、第2期間T2の終了する時点であるtbが、早い時点になるか遅い時点になるか(すなわち、後述する基準位置決定期間中に、第2時間が終了するか)を判定する。
 一方、第2時間以上であると判定された場合(図15/STEP507でYESの場合)、目標位置決定部3f3が、変動量が所定値以下の状態が維持された時間は第2時間以上であるか否かを判定する(図15/STEP508)。
 第2時間未満であると判定された場合(図15/STEP508でNOの場合)、STEP504に戻り、相対位置認識部3bが、再度、相対位置を認識する。
 一方、第2時間以上であると判定された場合(図15/STEP508でYESの場合)、目標位置決定部3f3が、第2時間中の相対位置に基づいて、案内中の目標位置を決定する(図15/STEP509)。
 具体的には、例えば、目標位置決定部3f3が、第2時間中に測定された相対位置の平均値を、案内中の目標位置である第2位置として決定する。
 一方、第2時間未満であると判定された場合(図15/STEP507でNOの場合)、目標位置決定部3f3が、案内開始時の目標位置を、案内中の目標位置として決定する(図15/STEP510)。
 具体的には、目標位置決定部3f3が、案内開始時の目標位置である第1位置を、案内中の目標位置である第2位置として決定する。
 次に、ロボット制御部3jが、ロボット2に、決定された目標位置に従った案内行動を指示して、今回の処理を終了する(図15/STEP511)。
 具体的には、例えば、相対位置が決定された目標位置になるように、ロボット2を移動させる指示を、ロボット制御部3jがロボット2に送信する。
 以上のSTEP501~STEP511では、相対位置に含まれる距離が決定されるまでの処理を説明したが、相対位置に含まれる方向についても同様の処理によって決定される。
 以上説明したように、案内システムSでは、ロボット2が案内を開始した後に利用者が移動を開始したとき(すなわち、案内開始時)に認識された相対位置に基づいて目標位置を決定している。これは、本件発明者が、鋭意研究の結果、その目標位置が利用者にとってストレスの少ないものであるという知見を得たためである。
 したがって、案内システムSによれば、利用者がストレスを感じにくい位置が目標位置になるので、利用者がストレスなく案内を受けることができるようになる。
 なお、案内システムSでは、ロボット2が案内を開始した後に利用者が移動を開始したときから第1時間が経過するまでの期間を、基準位置決定期間(図16のグラフでは、t=0からt=tbまでの期間)としている。
 そして、案内システムSでは、STEP506~STEP509における処理として示したように、その基準位置決定期間中に相対位置を逐次認識して、基準位置決定期間中に、相対位置の変動量(Δd)が所定の値以下になる状態が第2時間以上継続された場合に、第2時間中における相対位置に基づいて、目標位置を決定している。
 これは、ロボット2が案内を開始した後に利用者が移動を開始したときにおける歩き出しのタイミングは、同じ利用者によっても異なるおそれがあるためである。例えば、ロボット2による案内の開始を見逃した場合等には、当然のことながら歩き出しのタイミングは遅くなってしまう。その結果、案内開始時において認識された相対位置が、本来好ましいとされる相対位置とは異なってしまうおそれがある。
 そこで、このように、所定の期間の間に認識された相対位置、及び、その変動量を基準として、目標位置を決定するようにすると、そのような歩き出しのタイミングの変化による影響を抑制して、適切な目標位置を決定することができる。
 しかし、本発明はこのような構成に限定されるものではなく、所定の期間の間に認識された位置、及び、その変動量を基準として、目標位置を決定しなくてもよい。例えば、利用者が歩き出したタイミングから所定の期間経過後の時点における相対位置に基づいて、目標位置を決定してもよい。
 次に、案内システムSのサーバ3が、案内中に目標位置を変更する際に行う処理について説明する。
 この処理においては、まず、サーバ3のデータ認識部3aの利用者動的データ認識部3a1が、現在の利用者動的データを認識する(図17/STEP601)。
 具体的には、図9/STEP201、図12/STEP401における処理と同様に、利用者動的データ認識部3a1が、ロボット2から送信された情報に基づいて、案内中における利用者の挙動(例えば、表情、視線の動き等)、及び、生体情報(例えば、体調、疲労度合い等)等を、利用者動的データとして認識する。
 次に、サーバ3のデータ認識部3aの環境動的データ認識部3a3が、ロボット2の現在地(ひいては、利用者の現在地P2)の環境動的データを認識する(図17/STEP602)。
 具体的には、図9/STEP203、図12/STEP402における処理と同様に、環境動的データ認識部3a3が、ロボット2から送信された情報から目標位置の変更に影響を与え得る情報を取得して、その情報を環境動的データとして認識する。
 この処理における目標位置の変更に影響を与え得る情報とは、例えば、案内中における利用者の周辺の混雑の度合い、利用者の周辺の騒音の大きさ、通路の広さ、案内しているルートにおける交通ルールに関する情報等が挙げられる。
 これは、例えば、利用者の周辺が混雑している場合には、利用者がロボット2を見失ってしまうことがないように、利用者にロボット2を近づける必要があるためである。
 また、例えば、利用者の周辺の騒音が大きい場合には、利用者の声を取得しやすいように、又は、ロボット2からの音声が利用者に届きやすいように、近づく必要があるためである。
 また、例えば、通路の広さが狭い場合には、ロボット2を利用者の前方斜め前の位置に位置させることが難しく、利用者の正面に移動させる必要があるためである。
 また、例えば、交通ルールとして例えば一時停止を求められている場所では、移動が再開した際にロボット2が利用者にとって邪魔にならないように、横に位置することが好ましいためである。
 次に、利用者動的データ認識部3a1が、認識された利用者動的データは予め定められた所定の利用者動的データであるか否かを判定する(図17/STEP603)。
 具体的には、図9/STEP202、図12/STEP403における処理と同様に、システム設計者等が、案内内容の変更のトリガーにすべき利用者動的データを予め定めておき、利用者動的データ認識部3a1が、認識された利用者動的データがその予め定められた所定の利用者動的データに該当するか否かを判定する。
 所定の利用者動的データとしては、例えば、利用者の視線が、何かを探すように移動した、又は、なんらかのポイントに集中していることを示す情報、利用者の移動方向又は移動速度が変更されたことを示す情報、要求を伝えるような声(例えば、もっと近くに来てほしい等)を利用者が発生したことを示す情報等が挙げられる。
 所定の利用者動的データではないと判定された場合(図17/STEP603でNOの場合)、環境動的データ認識部3a3が、認識された環境動的データは予め定められた所定の環境動的データであるか否かを判定する(図17/STEP604)。
 具体的には、図12/STEP404における処理と同様に、システム設計者等が、案内内容の変更のトリガーにすべき環境動的データを予め定めておき、環境動的データ認識部3a3が、認識された環境動的データがその予め定められた所定の環境動的データに該当するか否かを判定する。
 そのような環境動的データとしては、例えば、混雑の度合いを示す情報、予定になかった工事、突発的な事故といった事象等が挙げられる。
 所定の環境動的データではないと判定された場合(図17/STEP604でNOの場合)、サーバ3は、再度、STEP601~STEP604の処理を実行する。
 一方、所定の利用者動的データであると判定された場合(図17/STEP603でYESの場合)、又は、所定の環境動的データである判定された場合(図17/STEP604でYESの場合)、サーバ3の案内要求推定部3cが、認識された利用者静的データに基づいて、要求推定データを認識する(図17/STEP605)。
 具体的には、図7/STEP105、図9/STEP205、図11/STEP305、図12/STEP405における処理と同様に、案内要求推定部3cが、案内開始前に認識した利用者静的データ(図15/STEP501で認識した利用者静的データ)のうちから認識した利用者の属性を指すデータに基づいて、要求推定データ格納部3dからその属性と同一の又は関連する属性の関連付けられた要求推定データを取得する。
 次に、案内要求推定部3cが、認識された利用者動的データ、環境動的データ、及び、要求推定データに基づいて、利用者の現時点における案内要求を推定する(図17/STEP606)。
 具体的には、まず、案内要求推定部3cが、利用者動的データ(表情、視線の動き等)、環境動的データ(現在地の混雑の度合い等)に基づいて、利用者の案内要求(例えば、混雑しているのでロボット2にもっと近くに来てほしい等)を推定する。
 その後、図7/STEP106、図9/STEP206、図11/STEP306、図12/STEP406における処理と同様に、案内要求推定部3cが、要求推定データを参照して、推定した案内要求を利用者の案内要求として確定する、又は、改めて利用者の案内要求を推定する。
 次に、サーバ3の案内行動決定部3fの目標位置決定部3f3が、推定された案内要求に基づいて、目標位置の変更内容を決定する(図17/STEP607)。
 具体的には、目標位置決定部3f3は、システム設計者等が予め定められたルールに従って、目標位置の変更内容を決定する。
 そのルールとしては、例えば、混雑の度合いの高低に応じて、距離を調整するとともに(例えば、混雑度合いが高いほど近づける)、方向を調整する(例えば、混雑度合いが高いほど、利用者の前方に位置させる)といったものが挙げられる。
 また、例えば、利用者の周辺の騒音が大きい場合には、利用者の声を取得しやすいように、又は、ロボット2からの音声が利用者に届きやすいように、ロボット2の第2マイク22b、第2スピーカ22c等が、利用者に近くなるように、ロボット2を移動させるといったものが挙げられる。
 また、例えば、通路の広さが所定の広さよりも狭い場合には、ロボット2を利用者の前方斜め前の位置に位置させることが難しいので、ロボット2を利用者の正面に移動させるといったものが挙げられる。
 また、例えば、交通ルールとして例えば一時停止を求められている場所では、移動が再開した際にロボット2が利用者にとって邪魔にならないように、横に移動させるといったものが挙げられる。
 次に、目標位置決定部3f3が、認識された利用者静的データに基づいて、評価データ格納部3lから評価データを認識する(図18/STEP608)。
 具体的には、図10/STEP212、図13/STEP411における処理と同様に、目標位置決定部3f3が、案内開始前に認識した利用者静的データ(図15/STEP501で認識した利用者静的データ)のうちから認識した利用者の属性を指すデータに基づいて、評価データ格納部3lからその属性と同一の又は関連する属性の関連付けられた評価データを取得する。
 次に、目標位置決定部3f3が、評価データに基づいて、目標位置を変更した場合に予測される利用者の感情の変化を認識する(図18/STEP609)。
 具体的には、図10/STEP213、図13/STEP412における処理と同様に、目標位置決定部3f3が、今回の案内要求のために行う予定のロボット2の動作(例えば、目標位置の変更のための移動)に基づいて、その動作が関連付けられている評価データを認識し、その評価データに含まれる感情の変化を認識する。
 次に、目標位置決定部3f3が、予測される感情変化はポジティブなものであるか否かを判定する(図18/STEP610)。
 ポジティブなものではないと判定された場合(図18/STEP610でNOの場合)、サーバ3が、その後の処理を行わずに今回の処理を終了する。
 一方、ポジティブなものであると判定された場合(図18/STEP610でYESの場合)、サーバ3の報知指示部3hが、ロボット2に、変更内容の報知を指示する(図18/STEP611)。
 具体的には、例えば、目標位置の変更に関する処理の場合には、まず、報知指示部3hが、目標位置を変更する旨、及び、目標位置を変更する理由(すなわち、推定された案内要求)等の目標位置の変更に関する情報、並びに、目標位置の変更の可否を問う問い合わせ情報の報知を、ロボット2に対して指示する。
 その後、この指示を受けたロボット2は、出力部である第2タッチパネル22a、及び、第2スピーカ22cを介して、報知を行う。
 次に、利用者動的データ認識部3a1が、問い合わせ情報の報知後の利用者動的データを認識する(図18/STEP612)。
 具体的には、図9/STEP216、図13/STEP415における処理と同様に、利用者動的データ認識部3a1が、ロボット2から送信された情報に基づいて、問い合わせ情報の報知後の利用者の挙動等を、利用者動的データとして認識する。
 次に、サーバ3の反応認識部3iが、問い合わせ情報の報知後に認識された利用者動的データに基づいて、利用者の反応を認識する(図18/STEP613)。
 具体的には、図9/STEP217、図13/STEP416における処理と同様に、例えば、反応認識部3iが、報知後に認識された利用者動的データが予め定められた挙動に該当するものであるか否かによって、利用者の反応(具体的には、目標位置の変更が許可されたか否か)を認識する。
 次に、目標位置決定部3f3が、反応認識部3iが認識した反応が、目標位置の変更を許可する反応であるか否かを判定する(図18/STEP614)。
 目標位置の変更を許可する反応ではないと判定された場合(図18/STEP614でNOの場合)、サーバ3が、その後の処理を行わずに今回の処理を終了する。
 一方、目標位置の変更を許可する反応であると判定された場合(図18/STEP614でYESの場合)、目標位置決定部3f3が、目標位置の変更を確定し、サーバ3のロボット制御部3jが、ロボット2に、変更後の目標位置に従った案内行動を指示する(図18/STEP615)。
 具体的には、ロボット制御部3jが、変更後の目標位置に移動する指示を、ロボット2に送信する。
 最後に、案内要求推定部3cが、要求推定データ格納部3dに、今回の案内要求の推定の際に用いた利用者動的データ(すなわち、図17/STEP601で認識した利用者動的データ)、環境動的データ(すなわち、図17/STEP602で認識した環境動的データ)及び、利用者静的データと、推定された案内要求とを関連付けて格納して、今回の処理を終了する(図18/STEP616)。
 このように構成されているサーバ3では、案内中(具体的には、案内開始時から案内終了時までの期間中)に、推定された利用者の案内要求に基づいて、目標位置が変更される。すなわち、利用者が明示している要求だけではなく、潜在的に希望している要求に基づいて、目標位置が変更される。
 これにより、その目標位置は、利用者の案内要求に応じた適切なものになる。例えば、混雑による不快感等が考慮されたものになる。
 したがって、このサーバ3を備える案内システムS、及び、それを用いた案内ロボット制御方法によれば、目標位置が利用者の案内要求に応じたものになり、また、利用者の意思を尊重して目標位置の変更が行われるので、利用者がストレスなく案内を受けることができるようになる。
 なお、本実施形態では、目標位置の変更の処理については、利用者動的データを逐次検出し、その都度、案内要求を改めて推定し、目標位置の変更を行っている。これは、時々刻々と変化する利用者の案内要求を逐次把握して、適切に目標位置を変更するためである。
 しかし、本発明はこのような構成に限定されるものではない。例えば、所定のタイミング(例えば、所定の地点を通ったタイミング、所定の時間が経過したタイミング等)にのみ、利用者動的データの認識、案内要求の推定、ひいては、目標位置の変更を行うようにしてもよい。
 また、例えば、利用者動的データに代わり、環境動的データを逐次認識し、所定の環境動的データが認識されたとき(例えば、混雑の度合いが所定以上の高さになったとき等)にのみ、利用者動的データの認識、案内要求の推定、ひいては、目標位置の変更を行うようにしてもよい。
 また、本実施形態では、基準位置決定期間中の相対位置の変動を参照して、案内開始時における目標位置を決定している。
 しかし、本発明はこのような構成に限定されるものではない。例えば、基準位置決定期間に代わり、基準位置決定区間(例えば、案内開始地点から最初の曲がり角までの区間)を設定し、その区間の移動中の相対位置の変動を参照して、案内開始時における目標位置を決定してもよい。
 また、本実施形態では、目標位置を変更した場合に予測される感情変化がポジティブなものではないと判定された場合(図18/STEP610でNOの場合)、及び、報知後の反応が許可を示すものではないと判定された場合(図18/STEP614でNOの場合)には、サーバ3はその後の処理を行わずに処理を終了する。これは、希望する到着時間に利用者を目的地に案内することを優先し、また、利用者の直接的な希望を優先するためである。
 しかし、本発明はこのような構成に限定されるものではない。例えば、認識された利用者動的データが直接的な指示を含むものであった場合(例えば、もっと近くに位置してほしいとロボットに向かって指示した場合)等には、感情変化に関する判定を行わずに、目標位置の変更を実行してもよい。
 また、本実施形態では、案内ルートの移動開始時に目標位置の決定を行っている。しかし、本発明はこのような構成に限定されるものではない。例えば、利用者が案内中にいずれかの施設に立ち寄った場合には、その施設に至るまでに決定及び変更された目標位置を継続して使用してもよいが、その施設から移動を再開した時点で、改めて目標位置の決定を行ってもよい。
 また、本実施形態では、利用者動的データが所定の利用者動的データに該当する場合、又は、環境動的データが所定の環境動的データに該当する場合に、案内中の目標位置の変更を行っている。
 しかし、本発明はこのような構成に限定されるものではなく、環境静的データを参照して、案内中の目標位置の変更を行ってもよい。例えば、狭い通路を移動する場合には、利用者の斜め前方ではなく、正面前方に目標位置を変更してもよい。そして、その変更を行う際には、事前に変更を行う旨の報知を行うと好ましい。
 次に、図5、図6、図19、図20を参照して、案内システムSが利用者の評価を推定する際に行う処理について説明する。
 なお、図19は、案内システムSのサーバ3が評価を推定する際に行う処理を示すフローチャートである。
 この処理においては、まず、サーバ3のデータ認識部3aの利用者静的データ認識部3a2が、案内開始前における利用者静的データを認識する(図19/STEP701)。
 具体的には、まず、図7/STEP101、図11/STEP301、図15/STEP501における処理と同様に、受付端末1が、利用者によって受付時に入力された情報、及び、受け付けた受付端末1に関する情報、受付端末1の出力部を介して行われた利用者へのアンケートの結果を認識し、それらの情報をサーバ3に送信する。
 その後、利用者静的データ認識部3a2が、受付端末1から送信された送信された情報から利用者の属性に関する情報を取得して、その情報を利用者静的データとして認識する。この処理における利用者の属性としては、例えば、年齢、性別、希望する到着時間等が挙げられる。
 次に、サーバ3のデータ認識部3aの利用者動的データ認識部3a1が、案内開始前の利用者動的データを認識する(図19/STEP702)。
 具体的には、図7/STEP104における処理と同様に、利用者動的データ認識部3a1が、受付端末1から送信された情報に基づいて、案内開始時における利用者の挙動、及び、生体情報(例えば、体調、疲労度合い等)等を、利用者動的データとして認識する。
 次に、サーバ3の感情推定部3kが、認識された案内開始前の利用者動的データに基づいて、基準感情を推定する(図19/STEP703)。
 具体的には、例えば、まず、感情推定部3kが、認識された案内開始前の利用者動的データに基づいて、利用者の受付の際の感情が図6に示すプルチックの感情モデルMのいずれの領域に属するかを推定する。そして、その領域を基準感情とする。また、このとき、感情推定部3kは、基準感情の属する領域を0として、他の各領域についてのスコアを設定する。
 次に、サーバ3のロボット制御部3jが、ロボット2に、案内行動を指示する(図19/STEP704)。
 具体的には、例えば、図7を用いて説明した処理で決定された案内開始時における案内ルート(図8の第2ルートR2)、又は、図9及び図10を用いて説明した処理で決定された変更後における案内ルート(図8の第3ルートR3)に沿って、図11を用いて説明した処理で決定された案内開始時における案内速度、又は、図12及び図13を用いて説明した処理で決定された変更後における案内速度で、図15を用いて説明した処理で決定された目標位置、又は、図17及び図18で説明した処理で決定された変更後の目標位置を相対位置の目標位置として、利用者を案内する指示を、ロボット制御部3jがロボット2に送信する。
 その指示を受信したロボット2は、利用者(すなわち、案内開始地点P0)の近傍まで移動した後、案内を開始する。本実施形態では、ロボット2が利用者を中心とした所定の範囲内であって利用者の前方になる位置まで移動した時点を、案内開始時点とする。
 次に、利用者動的データ認識部3a1が、現在の利用者動的データを認識する(図19/STEP705)。
 具体的には、図9/STEP201、図12/STEP401、図17/STEP601における処理と同様に、利用者動的データ認識部3a1が、ロボット2から送信された情報に基づいて、案内中における利用者の挙動(例えば、表情、視線の動き等)、及び、生体情報(例えば、体調、疲労度合い等)等を、利用者動的データとして認識する。
 次に、利用者動的データ認識部3a1が、認識された現在の利用者動的データは予め定められた所定の利用者動的データであるか否かを判定する(図19/STEP706)。
 具体的には、図9/STEP202、図12/STEP403、図17/STEP603における処理と同様に、システム設計者等が、案内内容の変更のトリガーにすべき利用者動的データを予め定めておき、利用者動的データ認識部3a1が、認識された利用者動的データがその予め定められた所定の利用者動的データに該当するか否かを判定する。
 所定の利用者動的データとしては、例えば、利用者の視線が、何かを探すように移動した、又は、なんらかのポイントに集中していることを示す情報、利用者の移動方向又は移動速度が変更されたことを示す情報、要求を伝えるような声を利用者が発生したことを示す情報等が挙げられる。
 次に、感情推定部3kが、現在のロボット2の動作は予め定められた所定の動作であるか否かを判定する(図19/STEP707)。
 具体的には、システム設計者等が、案内内容の変更のトリガーにすべきロボット2の動作を予め定めておき、感情推定部3kが、ロボット2からの信号に基づいてロボット2の動作を認識するとともに、その認識された動作がその予め定められた所定の動作に該当するか否かを判定する。
 所定の動作には、例えば、案内ルート、案内速度、又は、目標位置の変更、及び、それに伴う報知といったロボット2が意図して行った動作が含まれる。また、その所定の動作には、例えば、ロボット2が疑似的に人間のような動作を行うものである場合には、お辞儀に該当する動作等も含まれる。
 また、所定の動作には、ロボット2が意図せずに行ってしまった動作も含まれる。具体的には、利用者の移動速度の変化等によって、ロボット2が利用者に近づきすぎた、又は、利用者から離れすぎたといった動作も含まれる。
 所定の動作ではないと判定された場合(図19/STEP707でNOの場合)、サーバ3は、再度、STEP705~STEP707の処理を実行する。
 一方、所定の利用者動的データであると判定された場合(図19/STEP706でYESの場合)、又は、所定の動作であると判定された場合(図19/STEP707でYESの場合)、感情推定部3kが、現在の利用者動的データに基づいて、現在感情を推定する(図19/STEP708)。
 具体的には、例えば、図19/STEP703の処理と同様に、感情推定部3kが、認識された現在の利用者動的データに基づいて、利用者の現在感情が図6に示すプルチックの感情モデルMのいずれの領域に属するか(すなわち、現在感情そのもの)を推定する。
 また、感情モデルMの8つの領域は、ポジティブ、ネガティブのいずれかに分類されている。そのため、推定された現在感情がいずれの領域に属するか推定することによって、その現在感情がポジティブなものであるかネガティブなものであるかも推定される。
 また、感情モデルMでは、基準感情に基づいて、領域及び程度に応じてスコアを定められている。感情推定部3kは、現在感情を推定した後、そのスコアの変動を認識することによって、基準感情に対する現在感情の変化も認識する。
 そして、感情推定部3kは、現在感情そのものだけではなく、その現在感情がポジティブなものであるかネガティブなものであるか、及び、基準感情に対する現在感情の変化を含めたものを、現在感情として認識する。
 次に、サーバ3のデータ認識部3aの環境動的データ認識部3a3が、ロボット2の現在地(ひいては、利用者の現在地P2)の環境動的データを認識する(図19/STEP709)。
 具体的には、図9/STEP203、図12/STEP402、図17/STEP602における処理と同様に、環境動的データ認識部3a3が、ロボット2から送信された情報に基づいて、環境動的データとして認識する。
 次に、感情推定部3kが、評価データ格納部3lに、現在感情に関する評価データ、並びに、利用者静的データ、及び、現在地の環境動的データを格納する(図19/STEP710)。
 具体的には、感情推定部3kが、まず、感情推定のトリガーになった現在の利用者動的データ(図19/STEP706で判定対象になった利用者動的データ)が認識される直前に行われたロボット2の動作、又は、感情推定のトリガーになったロボット2の動作(図19/STEP707で判定対象になった動作)を、今回の処理によって推定された現在感情に関連付けて、現在感情に関する評価データとする。
 その後、感情推定部3kが、その評価データに、図19/STEP701で認識された利用者静的データ、及び、図19/STEP709で認識された現在地の環境動的データを関連付ける。
 そして、感情推定部3kは、それらの評価データを、時系列的に(具体的には、感情推定を行った時刻を関連付けて)、評価データ格納部3lに格納する。その結果、これにより、評価データについては、図20に示すグラフのようなデータが得られる。
 このグラフでは、基準感情は0、基準感情よりもポジティブな感情はプラス、基準感情よりもネガティブな感情はマイナスになっている。また、このグラフでは、t1、t2、t3、t4、t5は、感情推定のトリガーになった現在の利用者動的データが認識された時刻、又は、感情推定のトリガーになったロボット2の動作が行われた時刻である。
 例えば、本実施形態では、t1の時刻は、案内開始を示す動作を行った時刻、t2、t3、t4の各時刻は、利用者が所定の利用者動的データに対応する挙動等を行った時刻、又は、推定された案内要求に基づいてロボット2が所定の動作を行った時刻、t5の時刻は、案内終了の際にロボット2が案内終了を示す動作を行った時刻となる。
 次に、感情推定部3kが、案内が終了したか否かを判定する(図19/STEP711)。
 具体的には、例えば、感情推定部3kが、目的地に到着したか否か、ロボット2が案内終了を示す動作(例えば、お辞儀をした後手を振るような動作)を行ったか否かを判定することによって、案内は終了したか否かが判定される。
 終了していないと判定された場合(図19/STEP711でNOの場合)、サーバ3は、再度、STEP705~STEP711の処理を実行する。
 一方、終了したと判定された場合(図19/STEP711でNOの場合)、感情推定部3kが、評価データ格納部3lに、案内全体に関する評価データ、及び、利用者静的データを格納する(図19/STEP712)。
 具体的には、感情推定部3kが、まず。案内開始時から案内終了時までの評価データに基づいて、図20に示すようなグラフを作成し、感情推定部3kが、そのグラフに基づいて積分値を算出する。その後、感情推定部3kは、その積分値、案内の内容(例えば、案内ルート、案内速度、目標位置の他、案内中に認識された環境動的データ)、及び、ロボット2の案内中における全動作を評価データとする。そして、感情推定部3kが、その評価データに、図19/STEP701で認識された利用者静的データを関連付けて、評価データ格納部3lに格納する。
 このように構成されているサーバ3では、ロボット2の動作と、その動作の際における利用者の挙動(すなわち、利用者動的データ)に基づいて推定された利用者の現在感情とを関連付けたものを、評価データとして収集している。
 これにより、その収集された評価データは、案内終了後に行われたアンケート結果に基づくデータ等に比べ、ロボット2の動作と利用者の感情の変化(すなわち、満足度)との関連性を、明確に示したものになる。
 したがって、このサーバ3を備える案内システムS、及び、それを用いた案内ロボット制御方法によれば、ロボット2の動作に対する利用者の満足度を精度よく把握するために有用な評価データを収集することができる。ひいては、その評価データを参照して、ロボット2の動作を設定することによって、利用者がストレスなく案内を受けることができるようになる。
 なお、本実施形態では、感情推定部3kによる基準感情の推定は、案内開始時に行われている。これは、案内開始時における感情を基準感情にすることによって、案内中におけるロボットの動作に対する感情を的確に把握するためである。
 しかし、本発明の感情推定部はそのような構成に限定されるものではなく、基準感情を案内開始時以外のタイミングで定めてもよいし、1回だけでなく複数回定めてもよい。例えば、利用者が案内中に所定の施設に立ち寄った場合には、その施設から案内を再開するたびに、基準感情を推定してもよい。これにより、その施設内で生じた事象による感情への影響を抑制することができる。
 なお、本実施形態では、基準感情を推定し、基準感情に基づいて現在感情の変化を認識している。これは、基準になる感情を定めることによって、ロボット2の各動作に対する利用者の感情の変化(動作の結果、良好になったのか、悪化したのか等)をさらに的確に把握するためである。
 しかし、本発明はこのような構成に限定されるものではない。例えば、基準感情を用いずに、直前の感情に対する感情の変化(すなわち、単純にそのときどきの感情の変化)を認識するようにしてもよい。
 また、本実施形態では、感情推定部3kが、案内の終了時に、現在感情の変化の積分値を案内全体に対する感情の変化として、案内全体の評価データに含めて、評価データ格納部3lに格納している。これは、個々のロボット2の動作だけではなく、案内全体に対する評価を把握するためである。
 しかし、本発明はこのような構成に限定されるものではない。例えば、案内終了時の現在感情そのもの、又は、案内終了時の現在感情と基準感情とを比較した結果を、案内全体に対する感情の変化としてもよい。また、案内全体に対する感情の変化を、評価データに含めなくてもよい。
 以上、図示の実施形態について説明したが、本発明はこのような形態に限られるものではない。
 例えば、上記実施形態では、推定された案内要求に従って、案内ルート、案内速度、目標位置の決定を行っている。しかし、本発明の案内行動はこれらに限定されるものではなく、案内中にロボットが行う他の動作も含み得るものである。
 例えば、ロボットの案内時の音声、効果音、合図音、案内時にロボットから流れる音楽の、種類、発音頻度、音量、ロボットの動作パターン(例えば、曲線的に移動する、直線的に移動する等)等のロボットそのものの動作の他、案内中にロボットが流す音楽、ロボットが提示する広告の内容等、ロボットを介して提供されるサービスの内容等も含み得る。
1…受付端末、1a…第1タッチパネル、1b…キーボード、1c…第1マイク、1d…第1スピーカ、1e…第1カメラ、2…ロボット、3…サーバ(案内ロボット制御装置)、3a…データ認識部、3a1…利用者動的データ認識部、3a2…利用者静的データ認識部、3a3…環境動的データ認識部、3a4…環境静的データ認識部、3b…相対位置認識部、3c…案内要求推定部、3d…要求推定データ格納部、3e…マップ格納部、3f…案内行動決定部、3f1…ルート決定部、3f2…案内速度決定部、3f3…目標位置決定部、3g…優先度格納部、3h…報知指示部、3i…反応認識部、3j…ロボット制御部、3k…感情推定部、3l…評価データ格納部、4…監視システム、20…下部基体、20a…第1アクチュエータ、20b…第2アクチュエータ、20c…第3アクチュエータ、21…移動動作部、21a…芯体、21b…ローラ、22…上部基体、22a…第2タッチパネル、22b…第2マイク、22c…第2スピーカ、22d…第2カメラ、23…制御装置、24…通信装置、25…加速度センサ、26…位置センサ、A1…第1領域、A2…第2領域、A3…第3領域、A4…第4領域、A5…第5領域、A6…第6領域、A7…第7領域、A8…第8領域、C1…第1中心、C2…第2中心、L1…第1仮想線、L2…第2仮想線、M…感情モデル、P0…案内開始地点、P1…目的地、P2…現在地、P3…イベント会場、P4…店舗、R1…第1ルート、R2…第2ルート、R3…第3ルート、S…案内システム、U…利用者。

Claims (15)

  1.  利用者とともに移動して前記利用者を目的地まで案内するロボットを制御する案内ロボット制御装置であって、
     案内中に、経時的に変化する前記利用者に関する情報である利用者動的データを認識する利用者動的データ認識部と、
     前記利用者動的データに基づいて、案内中における前記利用者の案内要求を推定する案内要求推定部と、
     推定された前記案内要求に基づいて、案内中における前記ロボットによる案内行動を決定する案内行動決定部とを備えていることを特徴とする案内ロボット制御装置。
  2.  請求項1に記載の案内ロボット制御装置において、
     前記利用者動的データ認識部は、案内開始前における前記利用者動的データを認識し、
     前記案内要求推定部は、前記利用者動的データに基づいて、案内開始前における前記利用者の案内要求を推定し、
     前記案内行動決定部は、推定された案内開始前における前記案内要求に基づいて、案内開始時における前記案内行動を決定することを特徴とする案内ロボット制御装置。
  3.  請求項1又は請求項2に記載の案内ロボット制御装置において、
     前記利用者動的データは、前記利用者の挙動、及び、前記利用者の生体情報の少なくとも一方を含むデータであることを特徴とする案内ロボット制御装置。
  4.  請求項3に記載の案内ロボット制御装置において、
     前記利用者の挙動は、前記利用者の移動速度、前記利用者の姿勢、前記利用者の表情、前記利用者の発声、及び、前記利用者の身体の所定の部位の動作の少なくとも1つを含むことを特徴とする案内ロボット制御装置。
  5.  請求項3又は請求項4に記載の案内ロボット制御装置において、
     前記利用者の生体情報は、前記利用者の体温、前記利用者の発汗状態、並びに、前記利用者の体温、前記利用者の発汗状態、及び、前記利用者の挙動の少なくとも1つに基づいて推定された前記利用者の感情の少なくとも1つを含むことを特徴とする案内ロボット制御装置。
  6.  請求項1~請求項5のいずれか1項に記載の案内ロボット制御装置において、
     前記案内行動は、案内時におけるルート、前記ロボットの案内時の移動速度である案内速度、前記利用者に対する前記ロボットの相対位置、及び、前記ロボットの種類の少なくとも1つを含むことを特徴とする案内ロボット制御装置。
  7.  請求項1~請求項6のいずれか1項に記載の案内ロボット制御装置において、
     経時的に変化しない前記利用者に関する情報である利用者静的データを認識する利用者静的データ認識部、経時的に変化する案内領域に関する情報である環境動的データを認識する環境動的データ認識部、及び、経時的に変化しない案内領域に関する情報である環境静的データを認識する環境静的データ認識部の少なくともいずれか1つを備え、
     前記案内要求推定部は、前記利用者静的データ、前記環境動的データ、及び、前記環境静的データの少なくともいずれか1つ、並びに、前記利用者動的データに基づいて、前記利用者の案内要求を推定することを特徴とする案内ロボット制御装置。
  8.  請求項1~請求項7のいずれか1項に記載の案内ロボット制御装置において、
     前回の案内以前の案内における前記利用者動的データと、該利用者動的データに基づいて推定された前記案内要求との関係を示す要求推定データを格納する要求推定データ格納部を備え、
     前記案内要求推定部は、前記利用者動的データ、及び、前記要求推定データに基づいて、前記利用者の案内要求を推定することを特徴とする案内ロボット制御装置。
  9.  請求項1~請求項8のいずれか1項に記載の案内ロボット制御装置において、
     案内領域の情報であるマップ情報を格納するマップ格納部を備え、
     前記案内要求推定部は、前記利用者動的データ、及び、前記マップ情報のうちの前記利用者の現在地周辺の情報に基づいて、前記利用者の案内要求を推定することを特徴とする案内ロボット制御装置。
  10.  請求項1~請求項9のいずれか1項に記載の案内ロボット制御装置において、
     前記案内要求推定部は、認識された前記利用者動的データが予め定められた所定の利用者動的データに該当する場合に、前記案内要求を推定することを特徴とする案内ロボット制御装置。
  11.  請求項1~請求項10のいずれか1項に記載の案内ロボット制御装置において、
     前記利用者動的データに基づいて、前記利用者の現在の感情である現在感情を推定する感情推定部と、
     前記ロボットの動作と該動作の際における前記利用者の前記現在感情とを関連付けたデータである評価データを格納する評価データ格納部とを備え、
     前記案内行動決定部は、推定された前記案内要求、及び、前回の案内以前の案内で取得した前記評価データに基づいて、前記案内行動を決定することを特徴とする案内ロボット制御装置。
  12.  請求項1~請求項11のいずれか1項に記載の案内ロボット制御装置において、
     前記ロボットに対し、決定された前記案内行動に基づいて、前記利用者への前記案内行動の変更の可否を問う問い合わせ情報の報知の指示を行う報知指示部と、
     前記指示に基づく報知に対する前記利用者の反応を認識する反応認識部とを備え、
     前記案内行動決定部は、前記反応に基づいて、前記案内行動の変更を行うか否かを決定することを特徴とする案内ロボット制御装置。
  13.  請求項1~請求項12のいずれか1項に記載の案内ロボット制御装置において、
     前記利用者動的データ認識部は、案内中に前記利用者動的データを逐次認識し、
     前記案内要求推定部は、前記利用者動的データが認識された際に、前記案内要求を改めて推定し、
     前記案内行動決定部は、改めて推定された前記案内要求に基づいて、案内中における前記案内行動を改めて決定することを特徴とする案内ロボット制御装置。
  14.  利用者とともに移動して前記利用者を目的地まで案内するロボットと、
     請求項1~請求項13のいずれか1項に記載の案内ロボット制御装置とを備え、
     前記案内ロボット制御装置は、決定された前記案内行動に基づいて、前記ロボットの動作を制御するロボット制御部を有していることを特徴とする案内システム。
  15.  利用者とともに移動して前記利用者を目的地まで案内するロボットを制御する案内ロボット制御方法であって、
     利用者動的データ認識部が、案内中に、経時的に変化する前記利用者に関する情報である利用者動的データを認識するステップと、
     案内要求推定部が、前記利用者動的データに基づいて、案内中における前記利用者の案内要求を推定するステップと、
     案内行動決定部が、推定され前記案内要求に基づいて、案内中における前記ロボットによる案内行動を決定するステップとを含むことを特徴とする案内ロボット制御方法。
PCT/JP2019/033714 2018-12-19 2019-08-28 案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法 WO2020129309A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020561150A JPWO2020129309A1 (ja) 2018-12-19 2019-08-28 案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法
US17/415,140 US11904462B2 (en) 2018-12-19 2019-08-28 Guide robot control device, guidance system using same, and guide robot control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018237548 2018-12-19
JP2018-237548 2018-12-19

Publications (1)

Publication Number Publication Date
WO2020129309A1 true WO2020129309A1 (ja) 2020-06-25

Family

ID=71102808

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/033714 WO2020129309A1 (ja) 2018-12-19 2019-08-28 案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法

Country Status (3)

Country Link
US (1) US11904462B2 (ja)
JP (1) JPWO2020129309A1 (ja)
WO (1) WO2020129309A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102506563B1 (ko) * 2021-10-22 2023-03-08 (주)인티그리트 자율 주행 기기를 이용한 사용자 맞춤 정보 제공 시스템
WO2023189105A1 (ja) * 2022-03-29 2023-10-05 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
WO2023187859A1 (ja) * 2022-03-28 2023-10-05 三菱電機株式会社 自律移動ロボットの動作制御装置及び方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020129312A1 (ja) * 2018-12-19 2020-06-25 本田技研工業株式会社 案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法
JP2022102061A (ja) * 2020-12-25 2022-07-07 トヨタ自動車株式会社 制御装置、タスクシステム、制御方法及び制御プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10289006A (ja) * 1997-04-11 1998-10-27 Yamaha Motor Co Ltd 疑似感情を用いた制御対象の制御方法
JP2007276080A (ja) * 2006-04-11 2007-10-25 Toyota Motor Corp 案内ロボット
JP2008149399A (ja) * 2006-12-15 2008-07-03 Advanced Telecommunication Research Institute International 移動ロボットおよび移動速度推定方法
JP2010120129A (ja) * 2008-11-20 2010-06-03 Nippon Telegr & Teleph Corp <Ntt> ロボット連携システム、ロボット連携方法及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3906743B2 (ja) 2002-05-27 2007-04-18 松下電工株式会社 案内ロボット
JP4940698B2 (ja) * 2006-02-27 2012-05-30 トヨタ自動車株式会社 自律移動型ロボット
US7584020B2 (en) * 2006-07-05 2009-09-01 Battelle Energy Alliance, Llc Occupancy change detection system and method
JP4371153B2 (ja) * 2007-06-15 2009-11-25 トヨタ自動車株式会社 自律移動装置
JP5423142B2 (ja) * 2009-05-21 2014-02-19 日本精工株式会社 案内用ロボット及びその制御方法
US20170028557A1 (en) * 2015-07-28 2017-02-02 Comprehensive Engineering Solutions, Inc. Robotic navigation system and method
US9694496B2 (en) * 2015-02-26 2017-07-04 Toyota Jidosha Kabushiki Kaisha Providing personalized patient care based on electronic health record associated with a user
CN105796289B (zh) * 2016-06-03 2017-08-25 京东方科技集团股份有限公司 导盲机器人
JP6751658B2 (ja) 2016-11-15 2020-09-09 クラリオン株式会社 音声認識装置、音声認識システム
KR102055677B1 (ko) * 2017-02-02 2019-12-13 엘지전자 주식회사 이동 로봇 및 그 제어방법
KR20190141303A (ko) * 2018-06-14 2019-12-24 엘지전자 주식회사 이동 로봇의 동작 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10289006A (ja) * 1997-04-11 1998-10-27 Yamaha Motor Co Ltd 疑似感情を用いた制御対象の制御方法
JP2007276080A (ja) * 2006-04-11 2007-10-25 Toyota Motor Corp 案内ロボット
JP2008149399A (ja) * 2006-12-15 2008-07-03 Advanced Telecommunication Research Institute International 移動ロボットおよび移動速度推定方法
JP2010120129A (ja) * 2008-11-20 2010-06-03 Nippon Telegr & Teleph Corp <Ntt> ロボット連携システム、ロボット連携方法及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102506563B1 (ko) * 2021-10-22 2023-03-08 (주)인티그리트 자율 주행 기기를 이용한 사용자 맞춤 정보 제공 시스템
WO2023187859A1 (ja) * 2022-03-28 2023-10-05 三菱電機株式会社 自律移動ロボットの動作制御装置及び方法
JP7400998B1 (ja) 2022-03-28 2023-12-19 三菱電機株式会社 自律移動ロボットの動作制御装置及び方法
WO2023189105A1 (ja) * 2022-03-29 2023-10-05 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
JPWO2020129309A1 (ja) 2021-09-30
US11904462B2 (en) 2024-02-20
US20220055206A1 (en) 2022-02-24

Similar Documents

Publication Publication Date Title
WO2020129309A1 (ja) 案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法
WO2020129311A1 (ja) 案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法
WO2020054458A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
WO2020129312A1 (ja) 案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法
US11455792B2 (en) Robot capable of detecting dangerous situation using artificial intelligence and method of operating the same
US11126833B2 (en) Artificial intelligence apparatus for recognizing user from image data and method for the same
JP5768273B2 (ja) 歩行者の軌跡を予測して自己の回避行動を決定するロボット
US11269328B2 (en) Method for entering mobile robot into moving walkway and mobile robot thereof
US11383379B2 (en) Artificial intelligence server for controlling plurality of robots and method for the same
US11568239B2 (en) Artificial intelligence server and method for providing information to user
US20190354178A1 (en) Artificial intelligence device capable of being controlled according to user action and method of operating the same
WO2020129310A1 (ja) 案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法
JP6575933B2 (ja) 車両運転支援システム
US20210072758A1 (en) Robot and controlling method thereof
US11455529B2 (en) Artificial intelligence server for controlling a plurality of robots based on guidance urgency
US20210208595A1 (en) User recognition-based stroller robot and method for controlling the same
JP6579493B2 (ja) 車両運転支援システム
JP6579495B2 (ja) 車両運転支援システム
US20210094167A1 (en) Apparatus connected to robot, and robot system including the robot and the apparatus
US11560158B2 (en) Robot and method for controlling the same
JP7470171B2 (ja) 情報処理装置及び感情誘導方法
US11464380B2 (en) Artificial intelligence cleaner and operating method thereof
JP6579494B2 (ja) 車両運転支援システム
CN117178165A (zh) 用于共享控制的目标引导轮椅导航方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19898078

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020561150

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19898078

Country of ref document: EP

Kind code of ref document: A1