WO2022138474A1 - ロボット制御方法、ロボット、プログラム、及び記録媒体 - Google Patents
ロボット制御方法、ロボット、プログラム、及び記録媒体 Download PDFInfo
- Publication number
- WO2022138474A1 WO2022138474A1 PCT/JP2021/046668 JP2021046668W WO2022138474A1 WO 2022138474 A1 WO2022138474 A1 WO 2022138474A1 JP 2021046668 W JP2021046668 W JP 2021046668W WO 2022138474 A1 WO2022138474 A1 WO 2022138474A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- robot
- user
- information
- control method
- company
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 139
- 230000008859 change Effects 0.000 claims abstract description 70
- 238000012790 confirmation Methods 0.000 claims abstract description 51
- 230000004044 response Effects 0.000 claims abstract description 27
- 230000002093 peripheral effect Effects 0.000 claims description 55
- 238000004891 communication Methods 0.000 claims description 40
- 230000005855 radiation Effects 0.000 description 46
- 230000008569 process Effects 0.000 description 38
- 230000006870 function Effects 0.000 description 37
- 238000004364 calculation method Methods 0.000 description 34
- 238000012545 processing Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 22
- 230000001678 irradiating effect Effects 0.000 description 15
- 239000000126 substance Substances 0.000 description 13
- 230000006399 behavior Effects 0.000 description 12
- 230000004071 biological effect Effects 0.000 description 12
- 238000005286 illumination Methods 0.000 description 12
- 230000009471 action Effects 0.000 description 10
- 238000013459 approach Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 230000004397 blinking Effects 0.000 description 6
- 230000008921 facial expression Effects 0.000 description 6
- 230000000386 athletic effect Effects 0.000 description 5
- 230000006378 damage Effects 0.000 description 5
- 230000010365 information processing Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 235000019577 caloric intake Nutrition 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 230000036760 body temperature Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 230000007958 sleep Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000002493 microarray Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
- G05D1/0282—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal generated in a local control room
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
- B60Q1/24—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for lighting other areas than only the way ahead
- B60Q1/247—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for lighting other areas than only the way ahead for illuminating the close surroundings of the vehicle, e.g. to facilitate entry or exit
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3885—Transmission of map data to client devices; Reception of map data by client devices
- G01C21/3889—Transmission of selected map data, e.g. depending on route
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Definitions
- This disclosure relates to a technique for providing the ability of a robot to the outside.
- Patent Document 1 is capable of moving along with a specific person for the purpose of suppressing a crime against the specific person, and notifies that the specific person is being monitored through a display and a speaker, or an abnormality has occurred. Disclose the robot, which sometimes issues an alarm.
- Patent Document 1 further improvement is necessary.
- the robot control method is a robot control method in a robot control system including a server that communicates with a user's robot and holds map information of the user's residence, and the user of the robot can use the robot from an external computer.
- the robot acquires request information indicating a request for collecting information on the surroundings of the user while maintaining the relative distance from the user's position within the predetermined distance.
- Position information indicating the position of the robot and confirmation information that the robot is in the vicinity of the user are acquired from the robot, and the user of the robot uses the robot based on the map information, the position information, and the confirmation information.
- FIG. 7 It is a figure which shows an example of the processing of the server B and the robot corresponding to FIG. 7. It is a figure which shows an example of the scene which the security mode switches from "at home” to "walking". It is a figure which shows an example of a home area. It is a figure which shows an example of a home area. It is a figure which shows an example of a home area. It is a figure which shows an example of a home area. It is a figure which shows an example of a home area. It is a figure which shows an example of the notification which a robot gives to a user. It is a figure which shows an example of the notification which a robot gives to a user. It is a figure which shows an example of the notification which a robot gives to a user.
- robots movable devices capable of autonomously performing various movements and tasks
- robots that assemble and adjust parts at factories, robots that perform accurate and quick sorting at distribution bases, and robots that can perform specific tasks while considering the surrounding conditions.
- robots that collaborate with humans and perform specific tasks as a substitute for humans.
- a smartphone which is an information processing device capable of performing various information processing
- a robot which is a movable device capable of performing various movements and tasks of handling an object, cooperate to operate in a healthy manner. It assists users in living a happy, comfortable, secure, safe, enjoyable and / or clean life.
- Patent Document 1 in order to enhance the crime suppression effect at night, the robot illuminates the surroundings of the user with a backlit light source, or the robot detects an abnormality of the user and monitors the surroundings with a display or a speaker. It is not enough to properly ensure the safety of users who act outside the home, as it is only disclosed to say or do something.
- This disclosure is made to solve such problems.
- the robot control method is a robot control method in a robot control system including a server that communicates with a user's robot and holds map information of the user's residence, and is a robot control method from an external computer.
- Request information indicating a request for the robot to maintain a relative distance to the user's position within a predetermined distance and collect peripheral information of the user when the user is outside a predetermined area representing the user's residence.
- the robot Acquired, from the robot, the position information indicating the position of the robot and the confirmation information that the robot is in the vicinity of the user are acquired, and based on the map information, the position information, and the confirmation information, the robot
- the user When the user is accompanied by the robot and determines that he / she is outside the predetermined area representing the user's residence, in response to the request, the periphery of the user within the predetermined area representing the user's residence.
- a command for changing the settings of the robot is transmitted to the robot from the first specification capable of collecting information to the second specification capable of collecting peripheral information of the user outside the predetermined area representing the residence of the user. do.
- the security company can monitor the user by using the function provided by the robot via the terminal of the security company.
- the robot when the user of the robot is accompanied by the robot and is outside the predetermined area representing the residence of the user from the external computer, the robot sets a relative position with the user. Acquires request information indicating a request for monitoring the user while maintaining the user within a predetermined distance. Then, in response to the request, the server gives the robot a command for changing the setting of the robot to a specification capable of collecting peripheral information of the user who is outside the predetermined area representing the residence of the user. Send to.
- the robot continuously for a long time without unnecessarily consuming power by constantly adjusting the settings of the robot to the advanced specifications that use sensors and high exercise ability that are not always necessary in the house.
- the robot settings are changed to advanced specifications that use sensors that can be used at night and outdoors and high exercise ability, and the surrounding conditions including the user are properly adjusted. Monitor.
- the safety of the user can be ensured by using the function provided by the robot for the security company to collect the peripheral information of the user. Further, by allowing the robot to sense the surroundings of the user over a wide range and / or with high accuracy and to move swiftly as needed, the safety of the user outside the home can be better ensured.
- the predetermined area representing the residence may include an area representing the position and the plane range of the residence.
- the area representing the user's residence can be appropriately expressed by using the position of the residence and the plane range.
- the predetermined area representing the residence may include an area at a predetermined distance from the residence.
- the area representing the residence can be appropriately expressed by using a predetermined distance from the user's residence.
- the predetermined area representing the residence may include an area set by the user including the residence.
- the user can set an area indicating the user's residence.
- the predetermined area representing the residence may include an area set in the robot control system including the residence.
- the robot control system can set the area indicating the user's residence.
- the confirmation information may include information that determines that the robot is in the vicinity of the user based on the result of image recognition of the user by the robot.
- the confirmation information is information that determines that the robot is in the vicinity of the user based on the result of the robot acquiring the current position information of the terminal from the terminal of the user. May include.
- the confirmation information may include a second position information indicating the position of the user from the robot determined based on the result of recognizing the user by the robot.
- the changed setting of the robot may include a setting capable of increasing the movement ability of the robot and moving faster than when the user is in the house.
- the robot outside the house can move at a higher speed than when it is inside the house, so that the safety of the user outside the house can be appropriately ensured.
- the changed setting of the robot may include a setting of turning on a lighting device included in the robot in order to illuminate the feet of the user moving outside the house.
- the user's feet are illuminated, so that the safety of the user moving outside the house can be appropriately ensured.
- the command may include causing the robot to output that the setting of the robot has been changed after the setting of the robot has been changed.
- the user of the robot can confirm from the outside of the robot that the setting change of the robot has been completed inside the robot.
- the command when it is confirmed that the external computer has the access right to request the request information, the command may be transmitted to the robot.
- the map information of the user's residence may include information on the latitude and longitude of the user's residence.
- the location of the user's residence can be accurately specified using map information including latitude and longitude information.
- peripheral information of the user collected by the robot may be acquired from the robot.
- the situation around the user can be accurately identified.
- peripheral information of the user may be transmitted to the external computer.
- the external computer can acquire peripheral information.
- the robot control method is a robot control method in a robot control system including a server that communicates with a user's robot, and a predetermined robot user represents the user's residence from an external computer.
- the robot acquires request information indicating a request for collecting information on the surroundings of the user while maintaining the relative distance from the position of the user within a predetermined distance, and the robot obtains request information indicating a request for collecting information on the surroundings of the user.
- Acquires event information indicating that the user has moved out of the predetermined area representing the user's residence with the robot, and the robot holds map information of the user's residence and indicates the position of the robot.
- the position information and the confirmation information that the robot is in the vicinity of the user are detected, and the event information is generated in the robot based on the map information, the position information, and the confirmation information, and the event information is based on the event information.
- a command for changing the setting of the robot to the second specification capable of collecting the robot is transmitted to the robot.
- the robot generates event information indicating that the user has moved to the outside of the house with the robot, and sends the event information to the server.
- the robot control method is a robot control method in a robot control system including a server that communicates with a user's robot and holds map information of the user's residence, from the robot to the robot.
- the position information indicating the position of the robot and the confirmation information that the robot is in the vicinity of the user are acquired, the map information, the position information and the confirmation information are output to the second server, and the robot is output from an external computer.
- the request information is acquired from the second server, and based on the request, the user's residence is represented from the first specification capable of collecting peripheral information of the user in the predetermined area representing the user's residence.
- a command for changing the setting of the robot to the second specification capable of collecting peripheral information of the user moving outside the predetermined area is transmitted to the robot.
- the second server determines that the user has moved out of the house with the robot.
- the predetermined area representing the dwelling may include an area representing the position and the plane range of the dwelling.
- the area representing the user's residence can be appropriately expressed using the position of the residence and the plane range.
- the predetermined area representing the residence may include an area at a predetermined distance from the residence.
- the area representing the residence can be appropriately expressed using a predetermined distance from the user's residence.
- the predetermined area representing the residence may include an area set by the user including the residence.
- the user can set an area indicating the user's residence.
- the predetermined area representing the residence may include an area set in the robot control system including the residence.
- the robot control system can set the area indicating the user's residence.
- the confirmation information may include information that determines that the robot is in the vicinity of the user based on the result of image recognition of the user by the robot.
- the confirmation information is information that determines that the robot is in the vicinity of the user based on the result of the robot acquiring the current position information of the terminal from the terminal of the user. May include.
- the confirmation information may include a second position information indicating the position of the user from the robot determined based on the result of recognizing the user by the robot.
- the changed setting of the robot may include a setting capable of increasing the movement ability of the robot and moving faster than when the user is in the house.
- the robot outside the house can move at a higher speed than when it is inside the house, so that the safety of the user outside the house can be appropriately ensured.
- the changed setting of the robot may include a setting of turning on a lighting device included in the robot in order to illuminate the feet of the user moving outside the user's house. ..
- the user's feet are illuminated, so that the safety of the user moving outside the house can be appropriately ensured.
- the command may include causing the robot to output that the setting of the robot has been changed after the setting of the robot has been changed.
- the user of the robot can confirm from the outside of the robot that the setting change of the robot has been completed inside the robot.
- the command when it is confirmed that the external computer has the access right to request the request information, the command may be transmitted to the robot.
- the map information of the user's residence may include information on the latitude and longitude of the user's residence.
- the location of the user's residence can be accurately specified using map information including latitude and longitude information.
- peripheral information of the user collected by the robot may be acquired from the robot.
- the situation around the user can be accurately identified.
- peripheral information of the user may be transmitted to the external computer.
- the situation around the user can be accurately identified.
- the robot control method is a robot control method in a robot control system including a server that communicates with a user's robot, and the user of the robot is accompanied by the robot from the robot.
- the event information that the robot has moved out of the predetermined area representing the user's residence is acquired, the map information of the user's residence is held in the robot, the position information indicating the position of the robot, and the robot is in the vicinity of the user.
- the confirmation information of being in the robot is detected, the event information is generated by the robot based on the map information, the position information, and the confirmation information, the event information is output to an external computer, and the event is transmitted from the external computer.
- the robot In response to the information, when the user of the robot is outside the predetermined area representing the user's residence, the robot maintains the relative distance to the user's position within the predetermined distance, and the peripheral information of the user.
- the request information indicating the user's residence is obtained from the first specification capable of acquiring the request information indicating the request to collect and collecting the peripheral information of the user in the predetermined area representing the user's residence based on the request.
- a command for changing the setting of the robot to the second specification capable of collecting peripheral information of the user moving outside the predetermined area is transmitted to the robot.
- the robot generates event information indicating that the user has moved to the outside of the house with the robot, and sends the event information to the first server.
- the robot control method is a robot control method that communicates with an external computer and holds map information of the user's residence, from the external computer, the robot user is the user's residence.
- the robot acquires request information indicating a request for collecting information on the surroundings of the user while maintaining the relative distance from the position of the user within the predetermined distance, and obtains request information inside the robot.
- Position information indicating the position of the robot and confirmation information that the robot is in the vicinity of the user are acquired from the sensor, and the user of the robot uses the robot based on the map information, the position information, and the confirmation information.
- the peripheral information of the user within the predetermined area distance representing the residence of the user can be collected in response to the request.
- the setting of the robot is changed from the first specification to the second specification capable of collecting peripheral information of the user who is outside the predetermined area representing the residence of the user.
- the robot determines that the user has moved out of the house with the robot, and changes the specifications of the robot based on the determination result.
- the robot according to another aspect is for causing the processor to execute the main body, the at least one pair of legs or wheels, the at least one internal sensor, the processor, and the robot control method according to (35). It has a memory in which the program of the above is stored.
- the external computer may be the communication terminal of the user.
- This aspect acquires request information from the user's communication terminal.
- the external computer may be a third party server.
- This aspect acquires request information from a third party server.
- the present disclosure can also be realized as a program for causing a computer to execute each characteristic configuration included in the control method used here, or as a system operated by this program. Needless to say, such a computer program can be distributed via a computer-readable non-temporary recording medium such as a CD-ROM or a communication network such as the Internet.
- the highly information-oriented society is an information infrastructure that highly integrates the real space (physical space), which is the material world surrounding individuals, and the virtual space (cyberspace), in which computers cooperate with each other to perform various processes related to the physical space. It is a society where economic development and solution of social issues are expected by (cyber physical system).
- FIG. 1 is a block diagram showing an example of the overall configuration of the information system according to the embodiment of the present disclosure.
- the upper half shows the cyber space and the lower half shows the physical space.
- resources related to company A which is a non-robot provider
- cyberspace there is company A server 101, and in physical space, there is an application of company A that runs on the user's smartphone 100.
- the company A server 101 operates as a pair with the company A application.
- resources related to company B which is a robot provider, are lined up.
- the company B server 111 operates as a pair with the robot 110 and / or the company B application. In the middle of the physical space, there are users who handle the company A application, the company B application, and the robot 110 installed on the smartphone 100.
- the smartphone 100, the robot 110, the server 101 of company A, and the server 111 of company B are connected to each other so as to be able to communicate with each other by a wide area communication network including the Internet.
- Company A and B have contact points with users through their respective apps and robots.
- Company A has only contacts via the company A application on the smartphone 100, which is a form of customer contact that is often seen today.
- Company B in this figure has not only contacts via the Company B application on the smartphone 100 but also contacts via the robot 110.
- Companies that have contact with users (general consumers) via the robot 110 are unprecedented except for some toy makers, and are expected to emerge in the future.
- the robot 110 may have a form based on other organisms including humans, or may have an inorganic and abiotic form. You may have. As long as it has autonomous motor ability (posture change ability and movement ability, etc.) and / or action ability (ability to move other objects such as pushing buttons, lifting objects, etc.) in physical space, the robot 110 The form of is not limited.
- the information system of the embodiment of the present disclosure is owned by others, with the application, the robot 110, and the home appliances and housing equipment operated by the robot 110, which are the contact points of each customer, more highly linked than ever before. While utilizing information and capabilities, we will broaden the range of improvement in the quality of our services and provide higher value to users.
- the cognitive and motor abilities of the robot 110 are evolving day by day, and if such a versatile robot 110 is realized, it is necessary to build a mechanism that allows other companies to access the unique abilities of the robot 110. Is. Doing so will be the basis for a wide variety of value collaborations for users, non-robot companies that provide services, and robot companies that provide robots.
- Company A is a security company with which the user has a contract.
- Company A causes the smartphone 100 to install the security application provided by company A as the company A application, and causes the user to make various settings for the security service of company A.
- the robot 110 continuously collects data about the user by the sensor provided.
- the data about the user includes, for example, the user's biological activity information and the user's peripheral information.
- Biological activity information includes, for example, heart rate, blood pressure, body temperature, amount of activity (calories burned), number of steps, posture, and exercise.
- Peripheral information includes, for example, peripheral video information, user's position information, ambient temperature, recognition result of surrounding space, recognition result of object, and the like.
- the robot 110 records the collected data about the user in the memory of the robot 110. At the same time, the robot 110 periodically uploads the collected data regarding the user to the server 111 of the company B (a).
- the subject for collecting biological activity information and peripheral information is not limited to the robot 110, but may be a smartphone 100, a wearable sensor (not shown) worn by the user, or a user. It may be a sensor (not shown) installed in the home or living area.
- Company B server 111 continuously acquires data about the user from the robot 110.
- the company B server 111 permits the acquisition of data related to the user by the company A server 101 having the access right.
- the company A server 101 and the company B server 111 are set for authentication based on the confirmation of the user, and the company A server 101 has an access right to acquire the latest data held by the server company B.
- the company A server 101 having the access right continuously acquires the latest data regarding the user held by the company B server 111, and analyzes the acquired data regarding the user.
- the server 101 of the company A determines that the user has gone out of the home and is taking a walk with the robot 110 due to the temporal change of the user's surrounding image information or the user's position information included in the data about the user.
- the user's surrounding video information can be acquired if the access permission level to the camera image of the company A server 101 or the company A application is 1 or higher, and the user's location information is the company A server 101 or the company A application. It can be acquired if the access permission level of the position sensor of is 1.
- the company A server 101 and / or the company A application and the company B server 111 and / or the company B application are set so as to be linked by communication, and the company A server 101 has a robot 110 of about 3000 steps. It may be possible to detect that the walk will be guided from now on.
- the server 101 of company A determines that the user goes out with the robot 110 and moves at the speed of walking, the request information for switching the security mode of the robot 110 from "at home” to "walking” is provided. It is transmitted to the server 111 of company B (b).
- the security mode is one of a plurality of behavior rules (robot behavior control by a program) set in the robot 110 in order to ensure the safety of the user via the robot 110 by the company A.
- the security mode is changed, the access permission level to the sensor included in the robot 110 is updated.
- the server 101 of company A can easily collect necessary information.
- the determination of the priority of the action to be taken by the robot 110 changes according to the user and the surrounding situation.
- the security mode is automatically switched between when the user is at home and when he / she is out, but the present disclosure is not limited to this.
- the security mode "at home” is an example of "the first specification capable of collecting peripheral information of the user in the predetermined area representing the residence of the user”.
- the security mode "walking” is an example of "a second specification capable of collecting peripheral information of the user who is outside the predetermined area representing the residence of the user”.
- the server 101 of company A may switch the security mode of the application of company A of the smartphone 100 to "walk” at the timing when it is determined that the user has started a walk.
- company A which is a security company
- company A it is practically difficult for company A, which is a security company, to ensure the safety of the user during a walk by switching the security mode of the application of company A.
- the user does not always carry the smartphone 100 when taking a walk.
- the company A application detects troubles and risks encountered by the user during the walk and avoids the situation. In reality, it is difficult to ensure the personal safety of the user.
- Company A has only a daily contact with the user through the Company A application, and there is a limit to what the user can do as a security company.
- An autonomous robot 110 that is close to the user can enhance the security of the user rather than an application that cannot directly exert a physical action on the real world. Therefore, the server 101 of company A switches the security mode of the user who is taking a walk to the robot 110 of company B to "walk" in order to perform a highly effective security service via the robot 110 owned by the user. To request.
- the company B server 111 that has acquired the request information from the company A server 101 confirms whether or not the company A has the necessary access right to the request requested from the company A server 101 to the robot 110.
- various settings of the security mode "walking" (details will be described later) and the access permission level information permitted in the security mode (details will be described later) are set in advance by the user. If the company A has the access right, the server 111 of the company B instructs the robot 110 to change to the security mode "walking" (c). If Company A does not have access rights, Company B's server 111 rejects the request.
- the robot 110 that receives the instruction to change to the security mode "walking” from the company B server 111 executes the security mode "walking” (d).
- the robot 110 that has carried out the security mode "walking” accompanies a user who is taking a walk, alerts an object that is dangerous to the user who is taking a walk with a spotlight, or is a person at risk. Show that you are on guard against, or threaten someone at risk. Further, when the user determines that the user is in a dangerous state, the robot 110 notifies the server 101 of company A or the police. In this way, the robot 110 determines various dangers that the user may encounter during the walk in the security mode "walking", avoids the dangers, and intervenes the guards when necessary. To ensure the safety of users.
- the robot 110 determines that the user's safety may not be ensured, the robot 110 notifies the server 111 of the company B to a message to that effect.
- the company B server 111 transfers the report to the company A server 101 (e).
- the company A server 101 that received the notification message carries out security by a security guard via the robot 110 based on the notification (f). Specifically, the security guard of Company A hears the situation from the user or threatens a dangerous person through the camera, microphone, and speaker of the robot 110. In addition, security guards use position sensors to rush to the scene.
- the server 101 of company A detects that the user has returned home based on the sensor data (camera image, position information of the position sensor, etc.) of the robot 110 acquired via the server 111 of company B. do. As a result, the server 101 of company A transmits the request information for updating the security mode of the robot 110 to "at home" to the server 111 of company B (g). Upon receiving the request information, the company B server 111 instructs the robot 110 to update to the security mode "at home”. Upon receiving this instruction, the robot 110 executes the security mode "at home”.
- the robot 110 automatically changes its own behavioral rules for ensuring the safety of the user by changing the security mode from "walking" to "at home”. Specifically, the server 111 of company B updates the access permission level of the sensor data collected from the robot 110 to the server 101 of company A for home use, and the robot responds to the user's state or the user's surroundings. Change the priority of actions that 110 should take for home use. If the robot 110 can confirm that the company A has the access right, the robot 110 accesses the server 101 of the company A to access the sensor data collected by the robot 110 and the motor ability of the robot 110. The permission level may be automatically updated for home use.
- the server 111 of company B automatically switches the security mode provided by company A according to the state of the user or the surrounding situation.
- the server 111 of the company B may automatically optimize the disclosure level of the sensor data measured by the robot 110 required to execute the security service.
- Company A makes the safety of the user's daily life safe by judging the user's biological activity information and the user's peripheral information at any time through the autonomous robot 110 of the company B, which is in the immediate vicinity of the user, instead of the company A application. We can secure better and provide higher security.
- the subject for determining whether or not the user is out is the server 101 of company A, but the present disclosure is not limited to this.
- the determination main body may be the server 111 of company B or the robot 110.
- FIG. 2 is an external view of the robot 110 according to the present embodiment.
- the longitudinal direction of the robot 110 is referred to as the front-back direction
- the direction orthogonal to the walking surface of the robot 110 is referred to as the up-down direction
- the directions orthogonal to the front-back direction and the up-down direction are referred to as the left-right direction.
- FIG. 2 shows a robot that moves with four legs 17 as an implementation example of the robot 110.
- the robot 110 includes a body 10 and four legs 17.
- the lighting unit 15 is arranged in front of the lower surface of the body 10, and the lighting unit 16 is arranged behind the lower surface of the body 10.
- the front and rear of the robot 110 can be illuminated with a sufficient amount of light.
- Each of the lighting units 15 and 16 can adjust the lighting form (light shape, color, blinking pattern) of the dangerous object so that the user can easily recognize the dangerous object.
- the lighting units 15 and 16 have a projection mapping function of projecting an arbitrary image on a dangerous object or a surrounding object such as a road, instead of a light capable of emitting light in a single color. ..
- the display 24 is arranged in the center of the front surface of the body 10.
- the display 24 is, for example, a liquid crystal panel or an organic EL panel.
- the display 24 is mainly used by the robot 110 to communicate with the user. As shown in FIG. 14, the display 24 may display an image expressing the facial expression of the robot 110.
- the display 18 is arranged in the center of the upper surface of the body 10, and the display 34 is arranged in the center of the rear surface of the body 10.
- the displays 18 and 34 are, for example, a liquid crystal panel or an organic EL panel.
- the displays 18 and 34 are mainly used to display a message and a status from the robot 110.
- the displays 18 and 34 may be used to display warning information to another person in the alert area described later.
- the displays 18 and 34 may display the logo mark of the security company A that provides the security service to the user via the robot 110.
- the speaker 25 is arranged at the lower part of the front surface of the body 10, and the speaker 35 is arranged at the lower part of the rear surface of the body 10.
- the speaker 25 is used for the robot 110 to face-to-face and communicate with a user in front of the robot 110.
- the speaker 35 is used to communicate with a person approaching from behind.
- An RGB camera 21, a distance measuring sensor 22, and an infrared camera 23 are arranged on the front surface of the body 10.
- An RGB camera 31, a distance measuring sensor 32, and an infrared camera 33 are arranged on the rear surface of the body 10.
- the RGB cameras 21 and 31 are used for spatial recognition and object identification.
- the distance measuring sensors 22 and 32 are used to detect the shape of a dangerous object, the shape of a peripheral space such as the unevenness of a road surface, and the shape of an object.
- the infrared cameras 23 and 33 are used to detect the temperature distribution of a person or the surroundings in a low-light environment.
- the robot 110 can specify the sound source position.
- the leg 17 includes joints 17a and 17b, an upper leg 17c, and a lower leg 17d.
- the joint 17a connects the upper leg 17c to the side surface of the body 10 so as to be rotatable in the left-right direction.
- the joint 17b attaches the upper leg 17c and the lower leg 17d so as to be rotatable in the left-right direction.
- FIG. 3 is a block diagram showing an example of the configuration of the information system according to the embodiment of the present disclosure.
- the smartphone 100 includes a communication unit 100a, a calculation unit 100b, a sensor 100c, a memory 100d, an operation unit 100e, and a video / audio output unit 100f.
- the communication unit 100a is a communication circuit that performs information communication with other computers on the network.
- the arithmetic unit 100b is, for example, a processor such as a CPU, and performs information processing such as voice recognition, voice synthesis, information retrieval, and information drawing.
- the sensor 100c acquires video information, audio information, and / or surrounding environment information.
- the sensor 100c is, for example, a camera, a microphone, an acceleration sensor, an angular velocity sensor, a GPS sensor, or the like.
- the memory 100d is, for example, a flash memory and holds various data.
- the operation unit 100e is, for example, a touch panel, and receives button operations and touch operations from the user.
- the video / audio output unit 100f is, for example, a display, a speaker, or the like.
- the company A server 101 is a computer that cooperates with the company A application installed on the smartphone 100.
- the company A server 101 includes a communication unit 101a, a calculation unit 101b, and a memory 101c.
- the communication unit 101a is a communication circuit that performs information communication with other computers on the network.
- the arithmetic unit 101b is a processor such as a CPU, and processes data transmitted from another computer on the network.
- the memory 101c is, for example, a solid state drive or a hard disk drive, and records information about the company A application and the user.
- the company B server 111 is a computer that cooperates with the company B application installed on the smartphone 100.
- the company B server 111 includes a communication unit 111a, a calculation unit 111b, and a memory 111c.
- the communication unit 111a is a communication circuit that performs information communication with other computers on the network.
- the memory 111c is, for example, a solid state drive or a hard disk drive, and records information about the company B application, information about the robot 110, and information about the user.
- the arithmetic unit 111b processes various data transmitted from other computers.
- the robot 110 includes a communication unit 110a, a calculation unit 110b, a sensor 110c, a memory 110d, a movable unit 110e, a video / audio output unit 110f, and a lighting unit 110g.
- the communication unit 110a is a communication circuit that performs information communication with other computers on the network.
- the arithmetic unit 110b is a processor such as a CPU.
- the calculation unit 110b performs a process of controlling the movable portion 110e to control the movement and operation of the robot 110, and a process of the robot 110 performing a mechanical action on another object. Further, the calculation unit 110b performs a process of generating various information output from the video / audio output unit 110f.
- the sensor 110c acquires video information, audio information, and surrounding environment information.
- the sensor 110c includes, for example, RGB cameras 21, 31, ranging sensors 22, 32, infrared cameras 23, 33, and microphones 11-14.
- the memory 110d is, for example, a semiconductor memory such as a flash memory, and holds various data.
- the movable portion 110e is, for example, an actuator for moving the legs 17 and the legs 17.
- An example of an actuator is a motor.
- the actuator is a motor that moves the wheels.
- the movable portion 110e moves, moves, and mechanically acts on other objects of the robot 110.
- the video / audio output unit 110f includes, for example, speakers 25, 35, and displays 18, 24, 34, etc., and outputs video and audio.
- the lighting unit 110g includes the lighting units 15 and 16 shown in FIG.
- the illumination unit 110g may include one or more laser diodes and a microarray or a micromirror array. Further, the illumination unit 110g may include an LCD panel and a polarizing plate. Further, the robot 110 may include an operation unit (not shown) that accepts button operations, touch operations, and the like from the user.
- the wide area communication network to which the company A server 101, the smartphone 100, the robot 110, and the company B server 111 are connected is a mobile communication network, a satellite communication network, an internet communication network, a dedicated communication network, an optical fiber network, and a short-range wireless network. It may be one or a combination of one or more communications.
- FIG. 4 is a flowchart showing an example of processing when Company A cooperates with the robot 110.
- the access right is appropriately set in advance. ..
- FIG. 4 shows an example of a process for setting the access right in advance.
- the user uses the company B application installed on the smartphone 100 to set the company B application to cooperate with the company A application.
- the company B application acquires the unique ID of the company A application used by the user based on the input of the user (step # 1).
- the company B application transmits a registration request for registering the acquired unique ID of the company A application together with the unique ID of the company B application on the server 111 of the company B (step # 2).
- the company B server 111 that has received the registration request registers the pair information of the company A application and the company B application.
- the access right indicating which usage right of the robot 110 is granted to the company A is also registered (step # 3). The details of the access right will be described later with reference to FIG.
- the pair information including the robot ID of the robot 110 and the unique ID of the B company application is registered in advance in the B company server 111. This registration is performed, for example, by the user inputting the unique ID of the robot 110 on the initial setting screen of the company B application.
- the company B server 111 that has received the registration of the company A application notifies the server 101 of the company A of the setting information of the access right to which the company A application is permitted (step # 4). Specifically, the company B server 111 notifies the company A server 101 of the access right setting information in addition to the pair information of the unique ID of the company A application and the unique ID of the company B application.
- the company A server 101 registers the pair information of the unique ID of the company A application and the unique ID of the company B application and the setting information of the access right in the memory 101c (step # 5). Is it possible to specify the target robot 110 and use the unique ability of the robot 110 provided by the company B when the company A application or the company A server 101 uses the unique ability of the robot 110? It is used to determine whether or not.
- FIG. 5 is a table showing an example of the relationship between the type of access right to the robot 110 and the permission level.
- the robot 110 is equipped with various sensors 110c and kinetic ability (movable portion 110e).
- the access right from the other company to the sensor 110c and the athletic ability is registered not only in the server 111 of the company B but also in the server 101 of the company A which is the user side.
- the types of access rights and their permission levels will be described from the sensor 110c.
- the "camera image” is an access right to an image sensor (for example, an RGB image sensor) included in the robot 110. This may be an image sensor mounted on the robot's eyes and apparently perceived location.
- the access right to the "camera image” is set stepwise from “0" without the access right to "3" with no restriction as follows.
- the server 111 of the company B controls the robot 110 and / or the server 111 of the company B so as to return a low-quality moving image in response to the access request from the server 101 of the company A whose permission level is "2".
- the “distance measuring sensor” is an access right to a sensor (for example, TOF sensor, LiDAR, etc.) capable of measuring the distance to an object provided by the robot 110.
- the access right to the “distance measuring sensor” is set as follows, with either “0" without the access right or "1" with the access right.
- the B company server 111 controls the robot 110 so as to return the data (for example, the depth image) acquired by the ranging sensor. do.
- the "infrared sensor” is an access right to the sensor that the robot 110 has that can measure infrared rays.
- the near-infrared region measured by the infrared sensor is used for subject recognition in the dark, and the far-infrared region is used for subject temperature distribution.
- the access right to the "infrared sensor” is set as follows, either "0" without the access right or "1" with the access right.
- the server 111 of the company B controls the robot 110 so as to return the data (for example, a thermography image) acquired by the infrared sensor. do.
- “Microphone voice” is an access right to the microphone provided by the robot 110.
- the access right to the “microphone voice” is set as follows, with either “0" without the access right or "1" with the access right.
- the company B server 111 controls the robot 110 so as to return the voice data acquired by the microphone.
- the "tactile sensor” is an access right to a sensor (for example, a MEMS silicon hair device sensor) that can measure the tactile sensation on the surface of the robot provided by the robot 110.
- the access right to the "tactile sensor” is set stepwise from “0" without the access right to "2" with no restriction as follows.
- the B company server 111 is a part of the robot 110 (for example, a pressure distribution image) in the data acquired by the tactile sensor (for example, the pressure distribution image).
- the robot 110 is controlled to return only the data of the head).
- the "temperature / humidity / barometric pressure sensor” is the access right to the temperature / humidity / barometric pressure sensor provided by the robot 110.
- the access right to the "temperature / humidity / barometric pressure sensor” can be set by selecting "0" without the access right or "1" with the access right as follows. For example, in response to an access request from the company A server 101 whose permission level is "1", the company B server 111 controls the robot 110 to return the data acquired by the temperature, humidity, and barometric pressure sensors.
- the "position sensor” is an access right to the sensor that the robot 110 has to measure the current position of the robot.
- the access right to the "position sensor” is set as follows, with either “0" without the access right or "1" with the access right.
- the B company server 111 controls the robot 110 so as to return data indicating the current position information of the robot acquired by the position sensor. do.
- the "facial expression changing ability” is an access right to the ability to change the appearance characteristics of the facial expression displayed by the video / audio output unit 110f of the robot 110. This may be the ability of the robot 110 to move the part or change the color of the part when the robot 110 has a part that can be visually recognized as a face.
- the access right to the "facial expression changing ability” is set by two choices, "0" without the access right and "1" with the access right, as follows. For example, in response to an access request from the company A server 101 whose permission level is "1", the company B server 111 controls the robot 110 to change the facial expression in response to the request to change the facial expression.
- “Voice ability” is an access right to the audio output capability of the video / audio output unit 110f of the robot 110. This may be the ability of the robot to move a part that can be visually recognized as a mouth and to output sound from the periphery of the mouth.
- the access right to the "speaking ability” is set as follows, with two choices: “0" without the access right and "1" with the access right.
- the company B server 111 controls the robot 110 so as to output voice according to the voice information to be uttered.
- Posture change ability is an access right to the ability to change the posture of the movable part 110e of the robot 110. This may be the ability to change the angles of the plurality of joint mechanism portions in the movable portion 110e of the robot 110. However, the ability to change the position of the robot 110 itself is not intended.
- the access right to the "posture change ability” is set stepwise from “0" without the access right to "2" with the access right without restriction as follows. For example, in response to an access request from the company A server 101 whose permission level is "1", the company B server 111 controls the robot 110 so that only the head is moved in response to the request.
- “Movement ability” is an access right to the movement ability of the movable part 110e of the robot 110. This may be the ability to change the angles of the plurality of joint mechanism portions in the movable portion 110e of the robot 110. This ability is the ability to change the position of the robot 110 itself.
- the access right to the "movement ability” is set stepwise from “0" without the access right to "4" with the access right without restriction as follows. For example, in response to an access request from the A company server 101 whose permission level is "1", the B company server 111 permits the user to move only in the area permitted by the user at a low speed in the user's house. Controls the robot 110.
- the company B server 111 permits high-speed movement only in the in-house and out-of-house areas permitted by the user.
- the robot 110 is controlled so as to do so.
- the area allowed by the user here is one of the conditions set in advance by the user.
- the robot 110 can be set in advance so as not to approach an area (such as a bath) that may invade the privacy of the user.
- FIG. 6 is a table showing an example of the relationship between a plurality of security modes and the access right to the robot 110 in each security mode.
- FIG. 6 an example of how the access right to the sensor 110c included in the robot 110 and the access right to the motor ability of the robot 110 are changed when the security mode is changed is shown. It was explained that the access right is changed in synchronization with the security mode, but it may be changed individually without synchronizing with the security mode.
- the security mode “at home” is a security mode applied when the user and the robot 110 are at home.
- the security mode “walking” is a security mode applied when the user and the robot 110 go out for a walk.
- the access right for "camera video” is set to "2: Allow low quality video” in the security mode "at home", and the necessity of camera video and privacy are taken into consideration.
- "3: all permission” is set, and the necessity of the camera image (improvement of image recognition accuracy of dangerous goods) and the effectiveness as evidence ability are taken into consideration.
- the access rights of the "distance measuring sensor” and the “infrared sensor” are also set to a higher permission level in the security mode "walking" than in the security mode "at home".
- the access rights for the "microphone voice”, "temperature / humidity / barometric pressure sensor”, and “position sensor” are set to “1: permission” for both the security mode “at home” and the security mode “walking”, respectively.
- the access right of the "tactile sensor” is set to "0: disallowed” in both the security mode “at home” and the security mode “walking”.
- the access right of "movement ability” is set to a higher permission level in the security mode “walking” than in the security mode "at home". This is because the walk is done outside the house, so it is necessary to extend the range of travel permission to outside the house. Further, in order to keep the robot 110 running at a certain distance from the user, it is necessary to move the robot 110 faster during a walk than at home.
- the access rights for "expression change ability” and “speaking ability” are set to “1: permission” for both the security mode “at home” and the security mode “walking”, respectively, and “posture change ability”. The access right is set to “1: Allow only the head” in both the security mode "at home” and the security mode "walking”.
- Lighting function is a function to set ON / OFF of the lighting unit 110g.
- the lighting function is set to OFF in the security mode "at home”, and the lighting function is set to ON in the security mode "walking”.
- the access right of the server 101 of the company A to the data and event information about the robot 110 stored in the server 111 of the company B is changed according to the security mode.
- the access right of the server 101 of company A in each security mode is preset.
- the access right of the data about the user is the server 111 of the company B so that the access right is appropriately changed according to the security mode in order to minimize the data about the user shared according to the situation of the user. It is controlled by the robot 110, the company A application, the company B application, and / or the server 101 of the company A.
- FIG. 7 is a sequence diagram showing an example of processing of an information system when the robot 110 and the user determining whether or not the user is out of the office are the server 111 of the company B.
- Step S1 The robot 110 continuously transmits data and event information to the server 111 of company B.
- the robot 110 continuously collects the user's biological activity information and the user's peripheral information by using the sensor 110c provided.
- the robot 110 continuously transmits the collected data including the biological activity information and the user's peripheral information to the server 111 of the company B.
- the robot 110 continuously generates event information by analyzing the collected biological activity information and user's peripheral information, and continuously transmits the generated event information to the company B server 111.
- the event information is information for the robot 110 to notify the state change of the robot 110 or the state change of the user detected by the robot 110.
- the event information includes, for example, "exercise event information” that occurs when the user detects a state of exercise, “rest event information” that occurs when the user detects a state of rest, and the user sleeps. "Sleep event information” that occurs when the user is in a dangerous state, “danger event information” that occurs when the user detects that the user is in a dangerous state, and “danger event information” that occurs when the robot 110 detects that the battery level is low. Includes “low battery event information”, "lost event information” generated when the robot 110 detects that the user has lost sight of the user while traveling outside the house.
- the robot 110 can notify the state change of the user and the robot 110 without sending a large amount of sensor data. For example, analyzing "exercise event information" which means that the user has started exercising from the camera image which is moving image data increases the processing load on the server side and also increases the load on the network band. Therefore, by using the event information, it is possible to improve the efficiency of cooperation between the robot 110 and the server 111 of the company B.
- the event information includes confirmation information indicating that the robot 110 is in the vicinity of the user.
- the confirmation information includes, for example, the position information of the smartphone 100 acquired from the smartphone 100 by the robot 110, that is, the position information of the user.
- the confirmation information is information on the user recognition result obtained by determining whether or not the user is shown by face authentication or gait authentication in which the robot 110 analyzes the captured image of the optical sensor included in the sensor 110c. It may be information including the user's position information.
- Step S2 The company B server 111 continuously transmits or discloses the obtained data and event information to the company A server 101 within the scope of the access right set in the company A server 101, thereby providing data and data with the company A server 101. Share event information.
- the smartphone 100 sets the security mode according to the input from the user.
- the setting information indicating the setting content of the security mode includes, for example, the information displayed in FIG. 23 or FIG. 24, which will be described later.
- the setting information includes the condition of the security mode.
- the conditions of the security mode include the conditions of the security mode "at home” and the conditions of the security mode "walking".
- the condition of the security mode "walking” is a condition for changing the security mode from "at home” to "walking”.
- the condition of the security mode "at home” is a condition for changing the security mode from "walking" to "at home”.
- the setting information may include information that the robot 110 notifies the user of the change when the security mode is changed to "walk”.
- This notification may display information on the face and / or part of the body 10 of the robot 110, may display the logo of a security company, or may be an audio output notifying the change. It may be the output of the sound logo sound of the security company. Further, this notification may be a combination of these.
- the smartphone 100 transmits the setting information and the request information to the server 101 of company A.
- the request information is, for example, when the security mode is "walking", the robot 110 is movable so as to keep the relative distance to the user within a predetermined distance and accompany the user outside the set home area.
- This is information that defines a request for executing a code of conduct (program or setting of action priority) of the robot 110 that causes the calculation unit 110b to control the unit 110e and simultaneously collect peripheral information of the user by using the sensor 110c.
- the security mode is "at home”
- the movable part 110e of the robot 110 is designed to maintain the relative distance to the user within a predetermined distance in the house within the set home area and monitor the safety of the user.
- This defines a request for executing a code of conduct that causes the calculation unit 110b to control the sensor 110c.
- Step S6 Upon receiving the setting information, the company A server 101 transmits the setting information and the request information to the server 111 of the company B.
- Step S7 The company B server 111 registers the received setting information and request information in the memory 111c.
- Step S8 The server 111 of the company B confirms whether or not the user satisfies any of the security modes based on the data and event information continuously transmitted from the robot 110 and the map information.
- Step S9 The server 111 of company B is guarded when it is determined that the user satisfies the condition of the security mode "at home” or when the user is determined to best satisfy the condition of the security mode "at home”. An instruction is sent to the robot 110 to change to the mode "at home”.
- Step S10 Upon receiving the instruction of the security mode "at home", the robot 110 notifies the user of the start of the security mode "at home". Details of the notification will be described later.
- Step S11 The robot 110 operates in the security mode "at home”. Security mode continues until you are instructed to use a new security mode.
- Step S12 The server 111 of company B detects that the security mode has been changed to "at home” by the response from the robot 110 (not shown), and transmits the change result to the security mode "at home” to the server 101 of company A.
- Step S13 The user goes out with the robot 110 and starts a walk.
- Step S14 Since the sensing result of the robot 110 satisfies the condition of the security mode "walking", the server 111 of the company B changes the security mode to "walking".
- Step S15 The server 111 of company B sends an instruction to the robot 110 to change to the security mode "walking".
- This instruction is an example of "a command for changing the setting of the robot from the first specification to the second specification”.
- This instruction includes a command to output to the robot 110 that the security mode has been changed after the setting of the security mode of the robot 110 has been changed.
- Step S16 Upon receiving the instruction of the security mode "walking", the robot 110 notifies the user of the start of the security mode "walking". Details of the notification will be described later.
- Step S17 The robot 110 continuously operates in the security mode "walking".
- Step S18 The server 111 of company B detects that the robot 110 has been changed to the security mode "walking" by the response from the robot 110 (not shown), and transmits the change result to the security mode "walking" to the server 101 of company A. ..
- the server 101 of company A is an example of an external computer.
- the setting information and the request information may be transmitted by the smartphone 100 (the application of the company A or the application of the company B executed by the smartphone 100) to the server 111 of the company B.
- the smartphone 100 is an example of an external computer.
- the confirmation information was the user's location information, but this is an example.
- the confirmation information may be information that the robot 110 has determined to be in the vicinity of the user.
- the robot 110 may determine whether or not the robot 110 is in the vicinity of the user based on the recognition result of the user's image acquired by using the sensor 110c, or the smartphone 100 acquired from the smartphone 100 may determine whether or not the robot 110 is in the vicinity of the user. It may be determined whether or not the robot 110 is in the vicinity of the user based on the current position information.
- FIG. 8 is a diagram showing an example of processing of the company B server 111 and the robot 110 corresponding to FIG. 7.
- Step S201 The robot 110 senses the user's state and surroundings by using the sensor 110c. As a result, the user's biological activity information and peripheral information can be obtained.
- Step S202 The robot 110 transmits data including the user's biological information and the user's peripheral information, and event information generated based on the user's biological information and the user's peripheral information to the server B company 111.
- Step S203 Company B server 111 receives data and event information.
- Step S204 The server 111 of the company B determines whether or not the security mode needs to be changed depending on whether the data and event information received from the robot 110 satisfy any of the security modes. For example, if the currently set security mode of the company B server 111 is "at home" and the data and event information received from the robot 110 satisfy the condition of the security mode "walking", the security mode is set to "walking". Determine that it needs to be changed. For example, if the currently set security mode of the company B server 111 is "walking" and the data and event information received from the robot 110 satisfy the security mode "walking", it is necessary to change the security mode. It is determined that there is no such thing.
- the security mode currently set is "walking"
- the data and event information received from the robot 110 do not satisfy the condition of the security mode "walking”
- the condition of the security mode "at home” If the condition is satisfied, it is determined that the security mode needs to be changed to "at home”. For example, if the currently set security mode of the company B server 111 is "at home” and the data and event information received from the robot 110 satisfy the conditions of the security mode "at home”, the security mode "at home” Judge that there is no need to change from.
- the company B server 111 compares the position information of the user included in the position information of the robot 110 included in the data and the confirmation information of the event information with the home area obtained from the map information, and both the robot 110 and the user are at home. When it is determined that the user is outside the area, it may be determined that the user (data and event information received from the robot 110) satisfies the condition of the security mode "walking". On the other hand, in the server 111 of company B, when the robot 110 and the user are both in the house, the user (data and event information received from the robot 110) does not satisfy the condition of the security mode "walking", and the security mode "at home”. It may be determined that the condition of is satisfied.
- the map information is stored in the memory 111c and includes the latitude and longitude information of the dwelling.
- the home area is an example of a predetermined area representing a residence.
- the server 111 of the company B can use the user (from the robot 110) if the position information of the robot 110 is located in the home area. It may be determined that the received data and event information) satisfy the condition of the security mode "at home”. On the contrary, if the position information of the robot 110 is located outside the home area, it may be determined that the condition of the security mode "walking" is satisfied.
- Step S205 When the server 111 of the company B determines that the security mode needs to be changed (YES in step S205), the process proceeds to step S206. On the other hand, when it is determined that the security mode does not need to be changed (NO in step S205), the server 111 of company B ends the process.
- Step S206 The server 111 of company B transmits an instruction to change the security mode to the robot 110.
- Step S207 Upon receiving the instruction, the robot 110 changes the security mode. For example, the robot 110 changes from the security mode “at home” to "walking".
- Step S208 The robot 110 transmits the change result of the security mode to the server 111 of the company B.
- Step S209 The server 111 of company B receives the change result of the security mode.
- Step S210 The robot 110 notifies the user of the start of the changed security mode.
- the server 111 of the company B sequentially determines the security mode using the data and the event information from the robot 110, and instructs the robot 110 to execute the security mode.
- FIG. 9 is a diagram showing an example of a scene in which the security mode is switched from "at home” to "walking".
- the home area 802 is a circular area having a constant radius centered on the position of the residence 801.
- the area outside the home area 802 is the outing area 806 (walking area).
- the security mode is set to "at home”
- the robot 110 and the user are in the outing area 806, the security mode is set to "walk”.
- the robot 110 may notify the user of the change to the security mode "walking" by outputting audio information such as words, barks, and sound logos using the video / audio output unit 100f.
- audio information such as words, barks, and sound logos
- An example of voice information is a message such as "One that protects a walk.”
- the robot 110 may notify the user of the change to the security mode "walking” by displaying the video information of a predetermined mark such as the logo of the security company on the displays 18, 24, and 34.
- the robot 110 may notify the user of the change to the security mode "walking” due to a specific behavior such as bipedal walking.
- the robot 110 may notify the user of the change of the security mode "walking" by changing the display mode of the eyes. With these notifications, it is possible to notify the user of a change in the security mode of the robot 110, which is difficult to determine from the outside.
- FIG. 11, FIG. 12, and FIG. 13 are diagrams showing an example of the home area 802, respectively.
- the area inside the thick line is the home area 802.
- the area where the user and the robot 110 are present, which is a condition for switching the security mode of the robot 110, is any or a combination of the following.
- the home area 802 in FIG. 10 is a circular area having a radius of 804 centered on the point 800.
- the point 800 is the position information acquired by the GPS of the smartphone 100 in the home site 803.
- the home area 802 is defined by the latitude information and the longitude information of the point 800 and the information of the radius 804.
- the home area 802 in FIG. 11 is an area surrounded by the outline of the residence 801.
- the contour shape of the dwelling 801 is obtained from, for example, map information.
- the home area 802 in FIG. 12 is an area surrounded by the outline of the home site 803.
- the outline of the home site 803 is obtained from the map information.
- the home area 802 in FIG. 13 is an area of an arbitrary shape designated by the user on the map.
- the inside of the contour 805 of the home site 803 traced by the user is set as the home area 802.
- the home area 802 may be set based on the position information of the point 800 and the setting rule specified by the information system.
- the position information of the point 800 is, for example, the position information acquired by the GPS of the smartphone 100.
- the area defined by the setting rule is set as the home area 802 based on the latitude information and the longitude information of the point 800.
- This setting rule may be circular as shown in FIG.
- the home area 802 may be automatically set by the information system using the user's home address information and the map information including the residence 801 and / or the home site 803. In this case, the home area 802 is set using the home address information specified by the user and the map information including the residence 801 and / or the home site 803 linked to the address information.
- all areas other than the home area 802 may be treated as an outing area 806.
- the boundary between the home area 802 and the outing area 806 becomes clear, and the security mode of the robot 110 can be accurately changed depending on the current positions of the user and the robot 110.
- the setting information of the home area 802 is recorded and managed in any one or more of, for example, the server 101 of the company A, the server 111 of the company B, and the memory 110d of the robot 110.
- This setting information may be information on the contour of the home area 802.
- the setting information of the home area 802 may be confirmed and set by the user via the smartphone 100.
- This setting information is acquired via the company A company application, the company B company application, or the software of another company.
- FIG. 14 to 15 are diagrams showing an example of a notification given to the user by the robot 110.
- FIG. 14 shows a notification when the security mode is changed to “at home”.
- the robot 110 displays an image 1401 of the left and right eyes with pupils having small circular bright portions.
- FIG. 15 shows the notification of the robot 110 when the security mode is changed to “walk”.
- the robot 110 displays an image 1401 of the left and right eyes having pupils with elongated lines in the vertical direction.
- FIG. 16 shows a notification of the robot 110 when specific event information occurs.
- the robot 110 displays an image 1401 of the left and right eyes having a crescent-shaped pupil as if the eyelids were half closed.
- An example of event information is low battery event information.
- the low battery refers to a state in which the remaining battery level of the robot 110 is equal to or lower than the predetermined remaining battery level.
- the user can see the video information displayed in the part corresponding to the eyes of the video / audio output unit 110f of the robot 110, and whether the current mode of the robot 110 is the security mode "at home” or “walking". , It is possible to easily confirm whether or not event information such as "low battery” is generated in the robot 110.
- These images 1401 are predetermined according to the type of security mode and the type of event information.
- the image 1401 is displayed on the display 24 (FIG. 2), for example.
- FIG. 17 is a sequence diagram showing an example of processing of an information system when the robot 110 and the user's presence / absence determination main body are the company A server 101.
- FIG. 17 the same processing as in FIG. 7 is designated by the same reference numeral and the description thereof is omitted.
- Step S301 The user goes out with the robot 110 and starts a walk.
- Step S302 The server 101 of company A acquires the latest data and event information about the user and the robot 110 via the server 111 of company B, and while monitoring the user and the robot 110, whether or not the security mode is changed and the guards. Continue to determine the need for intervention.
- the server 101 of company A has, for example, that the robot 110 has gone out (position information of the robot 110) from the data acquired by the sensor 110c, and that the user is near the robot 110 from the camera image taken by the robot 110 (or it). (Confirmation information indicating), and detects that the user is moving at the speed of walking (the user is walking).
- the server 101 of company A may detect that the robot 110 has notified the "walking start event information" meaning that the user has started a walk outside the home area on the server 111 of company B.
- the server 101 of company A acquires the data and event information acquired by the robot 110 via the server 111 of company B, but in addition, the server 111 of company B obtains map information including home area information. You may get it via.
- Step S303 The company A server 101 analyzes the acquired data and event information, detects that the user has started a walk with the robot 110, and requests the request information to change the security mode from "at home” to "walk” to the server 111 of the company B. Send to. Similar to FIG. 7, the server 101 of company A determines that the user (data and event information received from the robot 110) satisfies the condition of the security mode, and the request information for changing the security mode from "at home” to "walking". Just send.
- the access right to the sensor 110c and the access right to the motor ability of the robot 110 required for the server 101 of company A to guard the user via the robot 110 are different between the security mode "inside the house” and the security mode "walking". .. Therefore, the server 101 of company A transmits the request information for changing the security mode from "at home” to "walking" to the server 111 of company B. By switching the security mode, the access right to the sensor 110c and the athletic ability is automatically changed.
- Step S304 Upon receiving the request information, the company B server 111 transmits an instruction to change the security mode of the robot 110 to "walking" to the robot 110.
- the security mode "at home” and the security mode “walking” that can be used by the server 101 of the company A are registered in advance in the server 111 of the company B as well as the access right to the sensor and the athletic ability.
- Step S305 Upon receiving the instruction to change the security mode to "walk", the robot 110 changes the security mode to "walk". After that, unless there is an instruction from the company B server 111 to change to a mode other than the security mode "walking", the calculation unit 110b of the robot 110 will operate the robot 110 based on the code of conduct specified in the security mode "walking". In addition, the control of the movable portion 110e and the sensor 110c is continued.
- Step S306 Even after the security mode is changed to "walk", the robot 110 continues to transmit the data acquired by using the sensor 110c and the event information generated based on the data to the server 111 of the company B.
- the robot 110 continues to protect the user in accordance with the code of conduct defined in the security mode "walking" while the user continues to walk. How the robot 110 accompanies the walking user and how the robot 110 deals with the danger encountered by the user are set in advance by the user using the company A application. The details will be described later.
- Step S307 The user is in danger.
- Danger refers to, for example, a situation in which there is an obstacle in the direction of travel of the user, and a situation in which another person is approaching the user.
- the server 101 of company A receives data and event information from the server 111 of company B, and determines whether or not the security mode "walk" has been changed and whether or not security guard intervention is necessary.
- the server 101 of company A may receive map information including home area information from the server 111 of company B in addition to data and event information.
- Step S309 Based on the data and event information, the server 101 of company A determines that the intervention of a security guard is necessary to ensure the safety of the user. This determination may be made, for example, by a security guard (human) confirming a camera image which is moving image data taken by the robot 110. Alternatively, the server 101 of the company A may calculate the risk level of the user from the camera image using the image recognition technique, and determine the necessity of the intervention of the guard from the calculated risk level. Alternatively, the company A server 101 analyzes the user's voice information acquired by the robot 110 using voice recognition technology or a technique for analyzing the user's emotion from the voice, determines the user's risk level, and determines the user's risk level. The need for security guard intervention may be determined from.
- the server 101 of company A may send an alert indicating the occurrence to the external terminal of the guard.
- the guard may confirm the occurrence of the alert through the external terminal and dispatch to the site.
- the first step is remote security intervention.
- the guard does not go to the scene, but talks with the user at the scene, the person near the user, or the person who is trying to harm the user through the sensor 110c of the robot 110 and the video / audio output unit 110f. Take measures to avoid danger by doing so.
- the second stage is on-site security intervention.
- the guards are dispatched to the scene and take actions to avoid the danger of the users at the scene. Both are security services executed when it is determined by the server 101 of company A or the security guard of company A that it is difficult to ensure the safety of the user only by the robot 110.
- the robot 110 senses the user and the situation around the user using the sensor 110c so that on-site verification can be performed later, and the sensed data is used in the server 101 of company A. It may be stored in the server 111 of the company B and / or the memory 111c of the robot 110. Further, the server 101 of company A, the server 111 of company B, and the robot 110 may share these sensed data together with the control information that cannot be erased for a certain period of time. The server 101 of company A, the server 111 of company B, and / or the robot 110 calculate a hash value in order to prove that the sensed data has not been tampered with, and the calculated hash value is used in two or more places (for example, company C). It may be saved in the server and the server of company B).
- Step S310 With the security service of Company A, the user avoids danger and returns home safely. This is the end of the walk.
- the server 101 of company A receives data and event information from the server 111 of company B, and determines whether or not the security mode "walk" has been changed and whether or not security guard intervention is necessary.
- the server 101 of company A may receive map information including home area information from the server 111 of company B in addition to data and event information.
- Step S312 The server 101 of company A detects that the user (data and event information received from the robot 110) does not satisfy the condition of the security mode "walking" and corresponds to the condition of the security mode "at home” when the user returns home.
- the request information for changing the security mode from "walking" to "at home” is transmitted to the server 111 of company B.
- Step S313 Upon receiving the request information, the company B server 111 outputs an instruction to change the security mode from "walking" to "at home” to the robot 110.
- Step S314 Upon receiving the update instruction from the server 111 of the company B to the security mode (at home), the robot 110 changes the security mode to "at home". After that, unless a new security mode is instructed from the server 111 of the company B, the arithmetic unit 110b of the robot 110 has the movable unit 110e and the sensor so that the robot 110 operates according to the code of conduct specified in the security mode "at home”. The control of 110c is continued.
- Steps S315, S316 Even after the security mode is updated to "at home", the robot 110 continuously transmits data and event information to the server 111 of the company B as in step S1. Similar to step S302, the server 101 of company A continuously acquires the latest data and event information from the server 111 of company B, and continuously determines whether or not the security mode has been changed and the necessity of security guard intervention. ..
- the server 101 of company A may receive map information including home area information from the server 111 of company B in addition to data and event information.
- the server 101 of company A is an example of an external computer and a second server.
- the setting information and the request information may be transmitted by the smartphone 100 (or the company A application or the company B application executed there) to the company B server 111.
- the smartphone 100 is an example of an external computer.
- the smartphone 100 may acquire data and event information from the server 111 of company B, and determine whether or not the security mode has been changed based on the acquired data and event information.
- the event information includes confirmation information as in FIG. 7. The details of the confirmation information are the same as those in FIG. 7.
- FIG. 18 is a flowchart showing an example of processing of the server 101 of company A, the server 111 of company B, and the robot 110 corresponding to FIG.
- Step S401 The robot 110 transmits data and event information to the company B server 111.
- Step S402 The server 111 of company B receives data and event information from the robot 110.
- the company A server 101 receives data and event information from the company B server 111, and also receives the set home area information from the memory 101c or the company A application.
- the server 101 of company A may receive map information including home area information from the server 111 of company B in addition to data and event information.
- Step S403 The server 101 of company A determines whether or not the security mode needs to be changed by comparing with the conditions of the security mode based on the user (data and event information received from the robot 110). The details of this process are the same as in step S204.
- the server 101 of company A determines that the security mode needs to be changed (YES in step S403), the process proceeds to step S404.
- the server 101 of company A ends the process (NO in step S403).
- Step S404 The company A server 101 transmits an instruction to change the security mode to the company B server 111.
- Step S405 Upon receiving the instruction, the server 111 of the company B confirms the access right of the server of the company A, and then transmits the instruction to the robot 110.
- Step S406 Upon receiving the instruction, the robot 110 changes the security mode.
- Step S407 The robot 110 transmits the change result of the security mode to the server 111 of the company B.
- Step S408 The server 111 of company B receives the change result.
- Step S409 The company B server 111 transmits the change result to the company A server 101.
- Step S410 The server 101 of company A receives the change result.
- Step S411 The robot 110 notifies the user of the start of a new security mode after the change.
- the details of the notification are the same as those described above in FIGS. 9, 14, and 15.
- the server 101 of company A is the main body for determining the security mode, the security mode is changed by the above processing.
- FIG. 19 is a sequence diagram showing an example of processing of an information processing system when the robot 110 and the user are out of the office and the determination main body of the security mode is the robot 110.
- the same processing as in FIG. 7 is designated by the same reference numerals and description thereof will be omitted.
- the smartphone 100 and the robot 110 are paired in advance via communication means such as WiFi (registered trademark), Bluetooth (registered trademark), and cellular communication network (4G, 5G).
- communication means such as WiFi (registered trademark), Bluetooth (registered trademark), and cellular communication network (4G, 5G).
- Step S501 The smartphone 100 (the company A application or the company B application executed there) transmits the setting information and the request information to the robot 110.
- the details of the setting information and the request information are the same as those in FIG. 7.
- Step S502 The robot 110 confirms whether or not the user satisfies any of the security modes based on the data and event information continuously transmitted from the sensor 110c and the preset setting information and request information. ..
- the robot 110 since the user satisfies the condition of the security mode "at home", the robot 110 changes the security mode to "at home".
- the server 101 of company A may receive map information including home area information from the server 111 of company B in addition to data and event information.
- Step S503 The robot 110 notifies the user of the start of the security mode "at home”. This is the same as step S10.
- Step S504 The robot 110 continuously operates in the security mode "at home”. This is the same as step S11.
- Step S505 Since the robot 110 has been changed to the security mode "at home", the result of the change to the security mode "at home” is transmitted to the server 111 of the company B.
- Step S506 Since the robot 110 has been changed to the security mode "at home", the result of the change to the security mode "at home” is transmitted to the smartphone 100 (the company A application or the company B application executed there).
- Step S507 The user goes out with the robot 110 and starts a walk.
- Step S508 Since the user satisfies the condition of the security mode "walking", the robot 110 changes the security mode to "walking".
- Step S509 The robot 110 notifies the user of the start of the security mode "walk". The details of the notification are the same as those in FIGS. 14 to 16 described above.
- Step S510 The robot 110 continuously operates in the security mode "walking".
- Step S511 Since the robot 110 has changed to the security mode "walking", the robot 110 transmits the change result to the security mode "walking" to the server 111 of company B.
- Step S512 Since the robot 110 has changed to the security mode "walking", the result of the change to the security mode "walking" is transmitted to the smartphone 100.
- the smartphone 100 (the company A application or the company B application executed there) is an example of an external computer.
- the setting information and the request information may be transmitted to the robot 110 by the smartphone 100, the A company application, or the B company application via (or without) the B company server 111.
- the setting information and the request information may be transmitted from the server 101 of company A to the robot 110 via (or not) the server 111 of company B.
- the company A server 101 is an example of an external computer.
- the event information includes confirmation information as in FIG. 7. The details of the confirmation information are the same as those in FIG. 7.
- FIG. 20 is a flowchart showing an example of processing of the robot 110 corresponding to FIG. 19.
- Step S601 The robot 110 senses the user's state and surroundings by using the sensor 110c. As a result, the user's biological activity information and peripheral information can be obtained.
- Step S602 The robot 110 determines whether or not the security mode needs to be changed depending on whether or not the user (data and event information received from the robot 110) satisfies any of the security mode conditions. The details of this determination are the same as in step S204.
- Step S603 When the robot 110 determines that the security mode needs to be changed (YES in step S603), the robot 110 proceeds to step S604. On the other hand, when it is determined that the security mode does not need to be changed (NO in step S603), the robot 110 ends the process. In this case, the current security mode is continued.
- Step S604 The robot 110 changes the security mode. For example, the robot 110 changes from the current security mode "at home” to the security mode "walking". Of course, the opposite is also true.
- Step S605 The robot 110 notifies the user of the start of the changed security mode. In this case, the notification as shown in FIG. 14 or FIG. 15 described above is performed.
- FIG. 21 is a flowchart showing an example of the required security level update process in the robot 110.
- the required security level is an index that comprehensively evaluates the degree of necessity for the robot 110 to ensure the safety of the user according to the state of the user and the surrounding situation of the user.
- the required security degree is expressed by a value from 0 (minimum) to 3 (maximum). Depending on this value, the specific behavior of the robot 110 is determined in combination with the currently applied security mode.
- the robot 110 acquires data indicating the user's state sensed by the sensor 110c and sensing data indicating the user's surroundings.
- the sensing data is, for example, a camera image, a depth image, an infrared image, a microphone sound, a tactile sensor value, a temperature / humidity / barometric pressure sensor value, and / or position information.
- the robot 110 may acquire sensing data sensed by an external sensor via a network.
- the external sensor is, for example, a sensor possessed by the user's wearable device, a camera installed on a street corner, weather forecast information corresponding to the position information of the robot 110 that can be acquired via an Internet communication network, road traffic information, and the like.
- Step S6002 The robot 110 determines the required security level of the user from the risk level of the user obtained by analyzing the acquired sensing data.
- the description will be given according to the judgment value of the required security level.
- Step S6003 When the calculation unit 110b of the robot 110 determines from the information of the sensor 110c that there are no dangerous objects or approachers around the user, the calculation unit 110b determines that the required security level is 0 (lowest risk level).
- the calculation unit 110b of the robot 110 controls the movable unit 110e, the lighting unit 110g, and the like of the robot 110 so as to perform an operation to support the user's walk, and returns the process to step S6001.
- the robot 110 uses the lighting unit 110g to move forward in the direction of travel of the user, the target number of steps for a walk, the target calorie consumption for a walk, the target walk time for a walk, the number of steps since the start of the walk, the number of steps today, and the target number of steps for today.
- the number of steps remaining, heart rate, calories burned, elapsed time of walk, and / or expected remaining walk time may be displayed.
- Step S6004 When the calculation unit 110b of the robot 110 determines from the information of the sensor 110c that there is a dangerous object around the user, the calculation unit 110b determines that the required security level is 1 (low risk level).
- the calculation unit 110b of the robot 110 controls the movable unit 110e, the lighting unit 110g, etc. of the robot 110 so as to perform an operation to support the prevention of injuries to the walking user, and illuminates the detected dangerous unit to call attention and danger. Processing such as route selection that bypasses the unit is performed, and the processing is returned to step S6001.
- the robot 110 may use the lighting unit 110g to irradiate a dangerous object around the user with light to call attention to the object. Dangerous objects include bumps or bumps on the road surface of a predetermined size, obstacles in front of the direction of travel, and the like.
- the robot 110 controls the movable part 110e and moves in front of or to the side of the user when the dangerous object is detected, so that the user is in danger.
- the user may be guided to walk a safe route at a certain distance from the object.
- Step S6005 When the calculation unit 110b of the robot 110 determines from the information of the sensor 110c that there is a dangerous person (or another person) around the user, the required security level is set to 2 (high risk level).
- the calculation unit 110b of the robot 110 controls the movable unit 110e of the robot 110 and the like so as to perform an operation for ensuring the safety of the walking user, and returns the process to step S6001.
- the robot 110 uses the lighting unit 110g to display information indicating that the user is guarded by the robot 110 around the user.
- the information indicating that the user is guarded is, for example, a ring of light surrounding the user, the logo of the security company A, and the characters "security".
- the robot 110 may use the video / audio output unit 110f to output audio that alerts or threatens a suspicious person.
- the alert is, for example, a notification to a suspicious person that Company A is guarding the user.
- the threat is, for example, a notification to a suspicious person that Company A is guarding the user and can immediately report the user.
- the robot 110 may move to a position between the user and the suspicious person so that the user and the suspicious person keep a certain distance by controlling the movable portion 110e.
- Step S6006 When the calculation unit 110b of the robot 110 determines that a dangerous person (or another person) cannot be excluded from the surroundings of the user from the information of the sensor 110c, and / or the video / audio output unit 110f and the movable unit of the robot 110. If the above-mentioned dangerous person (or another person) is not at a certain distance from the user in the security using 110e and the lighting unit 110g, the required security level is set to 3 (highest risk level). In this case, since the user is in a dangerous situation where security through a security guard (person) is required, the arithmetic unit 110b of the robot 110 is a request signal of the security guard of company A to ensure the safety of the user during a walk.
- the robot 110 may ensure the safety of the user by having the guards talk directly with the suspicious person by using the sensor 110c and the video / audio output unit 110f. If the user is in a more dangerous situation, or if the dangerous situation continues even after performing remote security by the guards, the robot 110 sends a dispatch request to the server 101 of the company A to dispatch the guards of the company A to the site. You may send it. Alternatively, the robot 110 may call the police. This notification may include information informing the location of the site and the situation of the site using voice, text, and / or camera images.
- the required security level may be determined by any of the external computers of the robot 110, for example, the server 111 of the company B, the server 101 of the company A, the smartphone 100, and the application of the company A or the application of the company B executed therein.
- the robot 110 networks the data sensed by the sensor 110c, the event information processed by the calculation unit 110b, and the required security level information currently applied by the robot 110 to the relevant external computer.
- the communication unit 110a of the robot 110 may receive the required security level from the external computer.
- FIG. 22 is a diagram showing an example of the home screen 2100 displayed on the smartphone 100 immediately after starting the company A application.
- the home screen 2100 has a button 2101 described as "security setting at home”, a button 2102 described as “security setting when going out (walking) with the robot of company B", and “emergency contact information”. Includes the button 2103 described as.
- Button 2101 is a button for making various settings related to security of the robot 110 when the user and the robot 110 are at home.
- the button 2102 is a button for making various settings related to the security of the robot 110 when the user and the robot 110 take a walk together.
- the button 2103 is a button for setting the contact information of the person who notifies the danger of the user in which an emergency has occurred, or the condition for notifying the contact.
- the setting screen 2200 of FIG. 23 is displayed.
- FIG. 23 is a diagram showing an example of the setting screen 2200.
- the setting screen 2200 shows how the robot 110 accompanies the user when the user and the robot take a walk, what kind of danger is taken, and what kind of supplementary information about the walk. Is a screen for setting whether to notify the user.
- the setting field 2201 described as "accompanied home direction” is a column for allowing the user to set the home direction of the robot 110 by using the pull-down menu when the robot 110 accompanies the user.
- the home direction is the direction of the home position.
- the home position is a place where the robot 110 is located relative to the user during companion running.
- the home direction is the direction in which the home position of the robot 110 is located with respect to the traveling direction of the user.
- the pull-down menu of the setting field 2201 is "front” indicating the front of the user, "right diagonal front” located 45 degrees clockwise from “front”, and “right side” located 45 degrees clockwise. And “right diagonally behind” located 45 degrees clockwise, “backward” located 45 degrees clockwise, “left diagonally backward” further located 45 degrees clockwise, and further 45 degrees clockwise. It is configured so that one can be selected from “left sideways” located in and “diagonally left front” located 45 degrees clockwise.
- the robot 110 moves with the direction of "diagonally to the right” of the user as the home direction.
- the robot 110 senses the user's position and the user's traveling direction using the camera image acquired by the sensor 110c so as to maintain the designated home direction, and controls the movable portion 110e based on the sensing result. Adjust your position.
- the setting column 2202 described as "accompanied home distance” is a column for allowing the user to set the home distance using the slide bar.
- the home distance is the distance between the robot 110 and the user during companionship.
- the slide bar is configured so that the home distance can be set within the range of 1 m to 5 m.
- the robot 110 since the user sets the distance around 2 m, the robot 110 basically moves by controlling the movable portion 110e so as to maintain a distance of about 2 m from the user.
- the robot 110 senses the user's position using the camera image and the depth image acquired by the sensor 110c so as to maintain the designated home distance, and corrects the self-position.
- the setting column 2203 described as "foot lighting” is a column for setting ON / OFF of the foot lighting function in which the robot 110 illuminates the road surface in the direction of travel of the user from the user's feet.
- the robot 110 since the user is set to "ON", the robot 110 controls the beam direction of the lighting unit 110g so as to illuminate the feet of the walking user.
- the robot 110 may control the beam direction by changing the inclination of a part including the illumination unit 110g by using the movable unit 110e.
- the robot 110 senses the user's position and the user's traveling direction using the camera image acquired by the sensor 110c so that the lighting indicating the traveling direction is maintained during the walk, and the lighting unit is based on the sensing result. 110 g and / or the inclination of the part may be adjusted.
- the robot 110 does not activate the lighting function at the user's feet.
- the setting field 2204 described as "dangerous goods alert” is a function for alerting dangerous goods by the robot 110 lighting (spotlight) and / or calling the dangerous goods in front of the user by voice. It is a column for setting ON / OFF of.
- the robot 110 since the user is set to "ON", the robot 110 irradiates a dangerous object in the traveling direction (forward) of the walking user with a spotlight, or outputs a voice alerting the dangerous object. do.
- the robot 110 detects a dangerous object in the traveling direction of the user and around the user by using the camera image and the depth image acquired by the sensor 110c, and illuminates the dangerous object in the lighting unit 110g and / or the lighting unit 110g.
- the inclination of a part including the above may be adjusted.
- the robot 110 may use the video / audio output unit 110f to inform the user that there is a dangerous substance.
- the robot 110 may move from the home position to the front of the user and guide the user to a safe route that the user should take. In this case, when the user passes the dangerous object, the robot 110 may return to the home position again.
- Dangerous goods are, for example, irregularities on the road surface, steps on the road surface, and obstacles on the traveling direction side of the user, which have a size equal to or larger than a predetermined size.
- the dangerous goods are, for example, vehicles and bicycles approaching the user.
- the setting field 2205 described as "attention to the surroundings” sets ON / OFF of the function that the robot 110 directs or notifies the existence of the user to a moving object including a person around the user in an easy-to-understand manner. It is a column.
- the moving body includes, for example, a person, a car and a bicycle driven by a person, and an object or a vehicle that moves autonomously by computer control. With this function, it is possible to make people around the user aware that the user is guarded by the robot 110.
- the robot 110 since the user has set the function of alerting the surroundings to "ON", the robot 110 indicates the presence of the user to a moving object that is around or is approaching the user while taking a walk. Direct and notify in an easy-to-understand manner.
- the robot 110 detects a moving object around or approaching the user by using the camera image and the depth image acquired by the sensor 110c. If necessary, the robot 110 uses the lighting unit 110g to display information on the road surface or the like with respect to the detected moving object, illuminates the user to make it easier for the user to recognize, and outputs video / audio.
- the unit 110f is used to call the moving body by voice.
- the robot 110 uses the communication unit 110a to inform the user's current position and / or the existence of the robot 110.
- the indicated wireless communication signal (for example, a beacon) may be broadcast to the surroundings. This makes it possible to avoid contact between the user and the robot 110.
- the robot 110 does not call attention to the surroundings of the user or an approaching moving object.
- the setting column 2206 described as "attention radius” is a condition for performing "attention to the surroundings".
- the alert radius is set to about 5 m, an alert indicating the existence of the user is performed to a person or a moving object within a distance of 5 m from the user.
- the attention radius is invalidated.
- the setting field 2207 described as "notification of the number of steps” is a field for setting ON / OFF of the function of the robot 110 notifying the user of the number of steps information of the user.
- this function since this function is set to "ON", the robot 110 notifies the user of the step count information of the walking user.
- the robot 110 uses the video / audio output unit 110f to output audio that notifies the user of the number of steps since the start of the walk in units of 1000 steps.
- the robot 110 may notify the user of the step count information by displaying the number of steps of the user today on the road surface by the robot using the lighting unit 110 g.
- the setting field 2208 described as "notification of biological information” is a field for setting ON / OFF of the function of the robot 110 notifying the user of the biological activity information of the user. Since “OFF" is set in this figure, the robot 110 does not notify the user's biological activity information during the walk. When this function is set to "ON”, the robot 110 uses the video / audio output unit 110f and the lighting unit 110g to notify the user's heart rate, blood pressure, body temperature, and the same as the above-mentioned "notification of step count”. Notify the user of biological activity information such as the amount of activity (calories burned).
- the user can set in advance various actions performed by the robot 110 during the walk according to his / her preference.
- the user can take a walk with a certain danger more safely by using the robot 110.
- FIG. 24 is a diagram showing a setting screen 2300 of another example of the present embodiment.
- the setting column 2301 of the "radius of the home area" is a column for setting the radius 804 shown in FIG.
- the user can input a radius 804 within a range of 10 m to 100 m using the slide bar.
- the radius is set to about 30 m. Therefore, the area within about 30 m from the center of the house is set as the home area 802.
- the setting field 2302 described as "home position of accompanying run” is a field for setting the home position.
- the setting field 2302 displays the icon of the robot 110 and the icon of the user so as to give a bird's-eye view of the robot 110 and the user.
- the user sets the home position by moving the icon of the robot 110 with the finger Y.
- the home position may be set by having the user input the above-mentioned home direction and home distance.
- the user may set the home position by uttering a voice such as "run on the left side", or may set the home position by inputting a gesture.
- the robot 110 may sense the user's state such as the user's walk, the user's jogging, the user's cycling, etc. by the sensor 110c, and adjust the home position according to the sensed user's state.
- the robot 110 may dynamically adjust the home position based on the surrounding conditions such as the type of road such as a sidewalk, the width of the road, the presence or absence of a step on the road, and the traffic volume of surrounding people and cars.
- the robot 110 accompanies the user diagonally to the right, which is the home position set by the user.
- the robot 110 temporarily moves to a position where the user and the people around or pass each other do not get in the way. May be accompanied.
- the unobtrusive positions are, for example, directly in front of and behind the user with respect to the direction of travel of the user.
- the robot 110 When the robot 110 recognizes the image of the user's body and follows it, it is natural that the robot 110 is located behind the user and follows the user.
- the robot 110 may set the home position in a region other than the back of the user, and may irradiate the traveling direction of the user or detect a dangerous object in front of the home position from the home position.
- the setting screen of the present embodiment may include both the setting fields of the setting screen 2200 and the setting fields of the setting screen 2300 so as not to overlap.
- the setting screens 2200 and 2300 are examples of the graphical user interface displayed on the screen of the communication terminal.
- the setting column 2303 is a column for setting the image design of the eyes of the robot 110 during the security mode "walking".
- the eye image design set here is used as described in FIG.
- the setting column 2304 is a column for setting ON / OFF of the behavior control using the movable unit 110e, which is performed to notify the user that the code of conduct of the robot 110 or the security mode has been switched.
- the setting column 2305 is a column for setting control ON / OFF for displaying the logo mark of the security company A on the video / audio output unit 110f.
- the setting column 2306 is a column for setting ON / OFF of the control for outputting the sound logo of the security company A by the video / audio output unit 110f. By turning these ON respectively, it is possible to control the movable unit 110e and the video / audio output unit 110f so that the robot 110 can perform a specific behavior or audio output as shown in FIG.
- FIG. 25 shows an example of the above-mentioned “foot lighting”.
- the robot 110 is located behind the user.
- the robot position 131 which is the center position of the robot 110
- the user position 130 which is the center position of the user
- the elliptical region extending from the user's feet to the front in the user's moving direction D1 is the foot area 120 in which the robot 110 illuminates the user's feet with the lighting unit 110g.
- the foot area 120 faces the user's movement direction D1 in the long axis direction.
- the robot 110 can easily make the user visually recognize the state of the road surface. As a result, the user can walk safely by reducing the risk of falling and getting injured during the walk. If the robot 110 indicates that the measurement result of the ambient brightness by the sensor 110c is in a bright place or in the daytime, even if the "lighting underfoot" function is set to "ON”, this function is set to "ON”. It may be "OFF”. Further, when the "low battery event information" is issued, the robot 110 may reduce the power consumption of the battery by narrowing the range or lowering the brightness of the foot area 120.
- FIG. 26 shows an example of the above-mentioned “dangerous goods alert”.
- the robot 110 detects a pylon indicating no entry in the user's moving direction D1 as a dangerous substance, and irradiates the dangerous object with spotlight illumination.
- the required security level is 1.
- the dangerous area 122 is an area for illuminating the dangerous object recognized by the robot 110. By illuminating the dangerous area 122 by the illumination unit 110f, the user can easily visually recognize that there is a dangerous object there.
- the dangerous area 122 is a circle having a size similar to that of a dangerous substance.
- the robot 110 may generate a map around the user from the sensing data acquired by the sensor 110c by using a technique such as SLAM (Simultaneus Localization and Mapping). Then, the robot 110 may constantly calculate the user position 130, the robot position 131, the position of the dangerous object, and the like by using this map. The robot 110 calculates the user's movement direction D1 from the front direction of the user or the history of the user position 130, is within a predetermined distance to the left and right with respect to the movement direction D1, and is in the movement direction D1 from the user position 130. Objects within a predetermined distance in front may be determined as dangerous goods.
- SLAM Simultaneus Localization and Mapping
- the robot 110 may irradiate the road surface with a traveling route area 121 indicating a traveling route recommended to the user.
- the traveling route region 121 has an arrow shape extending in the traveling direction from the foot region 120. This arrow shape has a shape along the recommended route to avoid dangerous goods.
- the recommended traveling route is irradiated, and the user can walk on the recommended traveling route.
- the robot 110 may calculate a recommended travel route based on information on the user position 130, the robot position 131, the dangerous goods position 133, and the road width.
- a route search algorithm for calculating a traveling route for avoiding a dangerous object in automatic driving is adopted.
- the robot 110 When performing "dangerous goods alerting" in this way, the robot 110 needs to irradiate not only the foot area 120 but also the traveling route area 121 or the dangerous area 122. Therefore, when irradiating these areas, the robot 110 leaves the designated home position, moves these areas to a position where it is easy to irradiate by the illumination unit 110f, and irradiates these areas in a posture where it is easy to irradiate. You just have to irradiate. In the example of FIG. 27, the robot 110 moves to the radiation position 132 diagonally to the left of the user and in front of the home position 134 so that the front of the user can be irradiated in a wide range. When the irradiation target is in front, the robot 110 may move to a position in the area from the left side to the right side in front of the user.
- the robot 110 calculates a pre-designated home position 134 based on the sensing result of the user position 130 and the user's moving direction D1, and accompanies the user while being located at the home position 134. There is.
- the robot 110 senses the surroundings, detects the pylon diagonally forward to the right as a dangerous substance, and curves the tip side of the foot region 120 to the left in order to guide the user to a traveling route avoiding the dangerous substance.
- the robot 110 irradiates the triangular dangerous area 122 according to the shape of the pylon which is a dangerous substance.
- the danger area 122 may have a different color from the foot area 120.
- the foot area 120 may be white and the danger area 122 may be red.
- the danger zone 122 may be blinked to promote the user's recognition.
- This blinking cycle may change depending on the distance between the dangerous goods and the user. For example, the blinking cycle may be shortened as the distance between the dangerous object and the user becomes shorter. As a result, the user can easily recognize the dangerous goods.
- the shape, color, and blinking pattern of the dangerous area 122 are not limited to these, and any aspect may be adopted as long as the user can identify the dangerous substance from the surrounding environment.
- the danger zone 122 may be controlled by one or more of shapes, colors, and blinking patterns.
- the foot region 120 may also be controlled with one or more colors and blinking patterns. In this case, the foot area 120 is controlled in a manner different from that of the danger area 122.
- the robot 110 located at the robot position 131 in the home position 134 cannot irradiate the foot area 120 and the dangerous area 122 at the same time because the user is located between the robot 110 and the dangerous object, or is effective. Cannot be irradiated.
- the robot 110 when the irradiation range of the lighting unit 110g of the robot 110 is only in the traveling direction of the robot 110, or when the lighting unit 110g has a structure that cannot irradiate in the direction opposite to the traveling direction, the robot 110 There can be various reasons why it is difficult to illuminate the foot area 120 and the danger area 122 at the same time.
- the robot 110 controls the movable portion 110e.
- the robot position 131 temporarily moves to a radiation position 132 suitable for simultaneously irradiating the foot area 120 and the danger area 122.
- the radiation position 132 may be determined as a target position to be reached by the robot 110, which intends to change its position relative to the user, at a predetermined time.
- the robot 110 When the robot 110 newly detects a dangerous substance at the radiation position 132 after movement and detects a plurality of dangerous objects in the user's moving direction D1, the robot 110 has a plurality of dangerous areas 122 that irradiate the plurality of dangerous objects and the feet.
- a new radiation position 132 that can be simultaneously irradiated with the region 120 may be determined and temporarily moved to the newly determined radiation position 132.
- the robot 110 determines an arc-shaped radiation region 123 having a thickness diagonally to the left and rearward of the user position 130, determines the radiation position 132 in the radiation region 123, and moves to the radiation position 132. Irradiate the foot area 120 and the danger area 122.
- the radiation area 123 is an area where both the danger area 122 and the foot area 120 can be irradiated, which is calculated based on the irradiation range of the user position 130, the robot position 131, the dangerous object position 133, and the illumination unit 110g.
- the radiation area 123 inputs the irradiation range of, for example, the user position 130, the movement direction (or the movement vector indicating both the movement direction and the movement speed) D1, the dangerous object position 133, and the illumination unit 110g, and outputs the radiation area 123.
- the calculation unit 110b may calculate using the calculation model.
- the radiation position 132 is, for example, the position closest to the robot position 131 in the radiation region 123. However, this is an example, and the radiation position 132 may be any position within the radiation region 123.
- the robot 110 may calculate the radiation position 132 based on the irradiation range of the user position 130, the robot position 131, the dangerous object position 133, and the lighting unit 110g without calculating the radiation area 123. When the irradiation of the dangerous object becomes unnecessary, the robot 110 moves into the home position 134 again and continues only the irradiation of the foot region 120.
- FIG. 28 is a diagram showing the behavior of the robot 110 when moving from the home position 134 to the radiation position 132.
- the robot 110 has not detected a dangerous object, or even if it has detected a dangerous object, the distance from the user to the dangerous object is equal to or greater than a predetermined distance. Therefore, the robot 110 maintains the robot position 131 in the home position 134 and accompanies the user.
- the robot 110 detects a dangerous object and irradiates both the dangerous object position 133 and the foot area 120. Therefore, within the radiation area 123 where both can efficiently irradiate, the robot 110 is one from the current robot position 131. Start moving to the nearest radiation position 132. At the same time, the robot 110 turns the long axis direction of the foot area 120 to the left side and guides the user to a traveling route avoiding dangerous objects. Further, the robot 110 also starts irradiating the dangerous area 122 with respect to the dangerous object position 133. However, since the robot 110 has not reached the radiation position 132, only a part of the dangerous object position 133 can be irradiated.
- the robot 110 is moving to the radiation position 132.
- the robot 110 continues to detect the user position 130, the moving direction D1, and the dangerous object position 133, and continues to update the foot area 120 and the dangerous area 122.
- the foot area 120 has a shape in which the long axis direction is inclined to the left so that the user avoids dangerous objects. Since it has moved to the radiation position 132, the dangerous area 122 can irradiate the entire area of the dangerous substance. As a result, the user can recognize the dangerous goods and the changed route of travel, bend the direction of travel to the left, and realize safe walking avoiding the dangerous goods.
- the user is passing a dangerous object.
- the robot 110 continues to detect the user position 130, the moving direction D1, the robot position 131, and the dangerous object position 133, and the radiation area 123 suitable for irradiation of the foot area 120 and the danger area 122, and the radiation position 132 in the radiation area 123. Continue to update and accompany the user. This allows the user to recognize the dangerous goods and the changed route of travel and pass through the dangerous goods.
- the robot 110 continues to irradiate the foot area 120 and the danger area 122 even while the robot 110 is moving from the home position 134 to the radiation position 132.
- FIG. 29 is a flowchart showing an example of processing of the robot 110 in the first example of the security mode “walking”.
- Step S801 The robot 110 acquires peripheral information using the sensor 110c.
- Peripheral information includes user position 130, movement direction D1, robot position 131, and dangerous goods position 133.
- the robot 110 detects a dangerous substance in the vicinity of the user by inputting the camera image acquired by the sensor 110c into a classifier that identifies the type of the object, and the distance of the detected dangerous substance from the robot 110. Is extracted from the depth image acquired by the sensor 110c to detect the dangerous goods position 133.
- the robot 110 detects the user by inputting the camera image acquired by the sensor 110c into the classifier, and extracts the distance of the detected user from the robot 110 from the depth image acquired by the sensor 110c. Therefore, the user position 130 may be detected.
- the robot 110 may detect the robot position 131 from the position information acquired by the position sensor of the sensor 110c.
- the robot 110 may detect the moving direction D1 from the direction of the front of the user detected from the history of the user position 130 or the camera image.
- Step S802 The robot 110 detects whether or not there is a dangerous substance on the D1 side of the user's moving direction. If no dangerous goods are detected on the user's moving direction D1 side (NO in step S802), the process proceeds to step S803, and if a dangerous goods is detected on the user's moving direction D1 side (YES in step S802), the processing proceeds. Goes to step S804.
- the user's movement direction D1 side refers to the front of the user.
- the front of the user includes a movement direction D1 of the user and a direction included in an angle opened by 90 degrees to the left and right about the movement direction D1.
- the robot 110 may determine that there is a dangerous goods on the traveling direction side of the user.
- Step S803 The calculation unit 110b of the robot 110 sets the required security level to 0.
- the robot 110 determines a radiation position 132 suitable for irradiating the foot area 120.
- the radiation position 132 in this case is basically the home position 134.
- the preset home position 134 is a position where it is difficult to irradiate the foot region 120
- the radiation position 132 may be a quasi-home position which is a companion position different from the home position 134.
- Step S804 The calculation unit 110b of the robot 110 sets the required security level to 1.
- the robot 110 determines a radiation position 132 suitable for irradiation of the foot area 120 and the danger area 122 based on the irradiation range of the user position 130, the moving direction D1, the robot position 131, the dangerous object position 133, and the lighting unit 110g. ..
- the robot 110 determines the radiation region 123 by inputting the irradiation range of the user position 130, the moving direction D1, the robot position 131, the dangerous object position 133, and the illumination unit 110g into the above-mentioned calculation model. Then, if the home position 134 or the quasi-home position does not exist in the determined radiation area 123, the robot 110 calculates the position closest to the robot position 131 in the radiation area 123 as the radiation position 132.
- the absence of the home position 134 and the quasi-home position in the radiation region 123 corresponds to an example in which the radiation position 132 is different from the current relative position of the robot 110. If there is a home position or a quasi-home position in the radiation area 123, the home position or the quasi-home position becomes the radiation position 132.
- Step S805 The robot 110 controls the movable portion 110e and moves to the radiation position 132.
- Step S806 The robot 110 controls the movable portion 110e and accompanies the user at the radiation position 132.
- the robot 110 continues to calculate the user position 130, the robot position 131, the moving direction D1, and the dangerous goods position 133.
- Step S807 When the security mode "walk” is not stopped (NO in step S807), the robot 110 returns the process to step S801 and continues the process after step S801.
- the security mode "walking” is stopped (YES in step S807), the robot 110 ends the process.
- the security mode "walk” is stopped, for example, when the user returns to the home area.
- the flowchart of FIG. 29 may have a process of irradiating the foot area 120 only when the function of “foot lighting” described with reference to FIG. 23 is set to “ON”.
- the flowchart of FIG. 29 may have a process of irradiating the dangerous area 122 only when the function of “calling attention to dangerous materials” described with reference to FIG. 23 is set to “ON”.
- FIG. 30 is a diagram showing a second example of the security mode “walking”.
- the robot 110 sets the robot position 131 in front of the user's moving direction (direction within 90 degrees to the left and right from the moving direction D1). Therefore, the lead position 135 is determined to be in a direction different from the movement direction D1, the lead position 135 is moved, and the user is accompanied by the lead position 135.
- the leading position 135 can be determined as a target position to be reached by the robot 110 that intends to change its relative position to the user at a predetermined time.
- the robot 110 calculates a preset home position 134 based on the sensing result of the user position 130 and the moving direction D1, and controls the movable portion 110e so as to be located in the home position 134. While running with the user.
- the robot 110 senses the surrounding area and detects the unevenness of the road surface diagonally forward to the right as a dangerous substance. In this case, the robot 110 calculates a leading position 135 for guiding the user to the recommended route to avoid dangerous goods. For example, the robot 110 calculates a recommended traveling route using the above-mentioned route search algorithm, determines a leading region 124 along the calculated recommended traveling route, and is closest to the robot position 131 in the leading region 124. The position is calculated as the leading position 135.
- the leading area 124 is located in front of the user position 130 by a predetermined distance, and is an area of a predetermined size along a recommended traveling route.
- the leading region 124 is a quadrangle, but this is an example and may have another shape such as a circle or an ellipse.
- the leading region 124 may be a region in which the lighting unit 110g of the robot 110 can further irradiate a dangerous object.
- the leading position 135 is the position closest to the robot position 131 in the leading region 124, but this is an example and may be any position within the leading region 124.
- the robot 110 continues to irradiate the foot region 120 with light even while moving from the robot position 131 to the leading position 135.
- the robot 110 temporarily separates from the home position 134 and accompanies the user at the leading position 135 until the user passes the dangerous object.
- the dangerous goods are located diagonally forward to the right of the user, so the recommended route is diagonally forward to the left of the user.
- the robot 110 inclines the foot area 120 so that the long axis direction of the foot area 120 is slightly to the left with respect to the movement direction D1 in order to guide the user to the recommended traveling route. ing.
- the robot 110 moves to the leading position 135 and guides the user to the traveling route to which the user should proceed, while irradiating the foot area 120 indicating the traveling route.
- the user can avoid a danger such as a fall due to a dangerous object.
- the robot 110 After the user has passed the dangerous object according to the guidance of the robot 110, the robot 110 returns to the original home position 134 or the quasi-home position and continues to irradiate the foot area 120.
- FIG. 31 is a flowchart showing an example of processing of the robot 110 in the second example of the security mode “walking”.
- Steps S901, S902, and S907 are the same as steps S801, S802, and S807 in FIG.
- Step S903 The calculation unit 110b of the robot 110 sets the required security level to 0.
- the robot 110 determines a leading position 135 suitable when there are no dangerous objects.
- This leading position 135 is basically the home position 134. However, if the preset home position 134 is a position where it is difficult to irradiate the foot area 120, it becomes a quasi-home position.
- Step S904 The calculation unit 110b of the robot 110 sets the required security level to 1.
- the robot 110 determines a leading position 135 suitable when there is a dangerous object.
- the leading position 135, which is suitable when there is a dangerous object is the position closest to the robot position 131 in the leading area 124.
- Step S905 The robot 110 controls the movable portion 110e and moves to the leading position 135.
- Step S906 The robot 110 controls the movable portion 110e and accompanies the user at the leading position 135.
- the flowchart of FIG. 31 may have a process of irradiating the foot area 120 only when the function of “foot lighting” described with reference to FIG. 23 is set to “ON”.
- the flowchart of FIG. 31 may have a process of irradiating the dangerous area 122 only when the function of “calling attention to dangerous materials” described with reference to FIG. 23 is set to “ON”.
- FIGS. 32 and 33 are views showing a third example of the security mode “walking”.
- FIG. 34 is another example of FIGS. 32 and 33.
- the escort position 143 is determined and the robot 110 is set at the escort position 143. Will accompany the user.
- the escort position 143 is the position of the robot 110 between the user and the moving body.
- the moving body is, for example, a person who approaches the user.
- the escort position 143 can be determined as a target position to be reached by the robot 110 that intends to change the position relative to the user at a predetermined time.
- the large x mark on the lower side indicates the person position 140, which is the position of the person approaching the user from behind the user.
- the distance 146 between the user position 130 and the person position 140 is larger than the attention-calling radius 142 set by the user, and the person is not alerted.
- the robot 110 senses the user's surroundings using the camera image, depth image, infrared image, microphone sound, etc. acquired by the sensor 110c.
- the robot 110 detects that a person is approaching from behind the user.
- the robot 110 determines the escort position 143 (FIG. 33), controls the movable portion 110e, and starts moving to the escort position 143. This is to display the information for calling attention to this person at the position of the road surface between the user and the person approaching the user, and to maintain the distance 146.
- the required security level is 2.
- the robot 110 that has reached the escort position 143 and interrupted between the user's position 130 and the person's position 140 uses the lighting unit 110g to call attention to the position on the road surface between the user and the person. Display information.
- an arc 144 centered on the user position 130 is displayed.
- the robot 110 displays a message for this person near the arc 144.
- a message written as "PASS ON THE RIGHT PLEASE” is displayed to urge the person to pass through the right side of the user.
- the foot region 120 is changed so that the long axis faces the diagonally left direction with respect to the moving direction D1.
- the traveling route area 121 (FIG. 26) representing the traveling route of the user may be displayed.
- the arc 144 and the message display area are examples of notification areas between the user and the moving object.
- the robot 110 Even if this person approaches the user with some malicious intent, it is possible to inform the person that the intelligent and autonomous robot 110 ensures the safety of the user, and the person does not harm the user. You can expect that.
- the robot 110 switches the information displayed on the road surface as a reminder to another stronger expression or warning. You may.
- the user's fear or excitement can be detected by applying the emotion estimation process to the camera image and the microphone sound acquired by the sensor 110c.
- Non-human moving objects include, for example, vehicles, bicycles, and flying objects (drones) driven by humans, and computer-controlled autonomous moving objects and vehicles.
- the alert area 141 behind the user position 130 may be adopted instead of the alert radius 142.
- the robot 110 may perform the above alert.
- the alert area 141 is an area of a predetermined size separated from the user position 130 by a predetermined distance.
- the robot 110 calculates the home position 134 based on the sensing result of the user position 130 and the moving direction D1, and accompanies the user at the home position 134.
- the robot 110 senses the surroundings and detects a person approaching the user diagonally to the left and rearward.
- the robot 110 calculates a traveling route for keeping a distance from a person, and deforms the shape of the foot region 120 so as to guide the user to the traveling route.
- a traveling route that guides the user diagonally forward to the right is calculated, and the foot region 120 has a shape in which the tip of the foot region 120 faces diagonally forward to the right in order to guide the user to the traveling route. This makes it possible to keep the person diagonally to the left and behind from the user.
- the robot 110 determines that it is necessary to interrupt between the person approaching the user and the user to call attention, the robot 110 is within the escort area 145 suitable for interrupting between the person and the user. Then, the movable portion 110e is controlled and moved toward the escort position 143 where the foot area 120 can irradiate the user's feet.
- the robot 110 may determine that it is necessary to call attention when there are people around the user who satisfy the conditions for calling attention.
- the conditions for alerting are that there is a person approaching within the circle defined by the alerting radius 142, that there is a person within the circle defined by the alerting radius 142, and that there is a person approaching the alerting area 141. , There is a person in the alert area 141, and the user has spoken or made a gesture to request security.
- the robot 110 When the moving direction D2 of the person within the predetermined distance is toward the circle or the alert area 141 defined by the alert radius 142, the robot 110 approaches the circle or the alert area 141 defined by the alert radius 142. You just have to judge that there is a person who is doing it. When the person position 140 is in the circle specified by the alert radius 142 or in the alert area 141, the robot 110 determines that the person is in the circle defined by the alert radius 142 or in the alert area 141. Just do it.
- the robot 110 that the person determines that the condition for calling attention is determined, determines the escort position 143, and temporarily moves to the escort position 143.
- the robot 110 may continue to irradiate the foot area 120 with light even while moving from the home position 134 or the quasi-home position to the escort position 143.
- the robot 110 which no longer needs to be alerted, leaves the escort position 143 and returns to the home position 134, and continues to accompany the robot at the home position 134.
- the robot 110 may return to the home position 134 when the user detects a voice or a gesture indicating that escort is unnecessary.
- the position closest to the robot position 131 in the arcuate escort area 145 having a thickness located between the user position 130 and the person position 140 is determined as the escort position 143.
- moving to the escort position 143 may be prioritized over irradiating the foot area 120.
- the foot area 120 may be partially chipped or darkened, but the robot 110 interrupts between the person approaching the user and the user, so that the user is guarded by the robot 110 against the person. It is possible to make the user aware of the situation and to improve the safety of the user.
- the robot 110 may display a warning 147 on the road surface to the approaching person to keep a certain distance from the user.
- the warning 147 is, for example, a mark or a character for guiding a walking route of a person.
- the mark is, for example, the mark of security company A.
- the robot 110 may move to a position in the intermediate area between the user position 130 and the person position 140, and display the user's foot area 120 and the warning 147 from that position.
- the display area of warning 147 is an example of a notification area between the user and the mobile body.
- the robot 110 may display the warning 147 on the display of the video / audio output unit 110f included in the robot 110.
- FIG. 35 is a flowchart showing an example of processing of the robot 110 in the third example of the security mode “walking”.
- Steps S1001 and S1007 are the same as steps S801 and S807 in FIG.
- Step S1002 The robot 110 determines whether or not there is a person who satisfies the condition for calling attention. If there is a person who satisfies the attention-calling condition (YES in step S1002), the process proceeds to step S1004, and if there is no person who satisfies the attention-calling condition (NO in step S1002), the process proceeds to step S1003.
- Step S1003 The calculation unit 110b of the robot 110 sets the required security level to 1 or less.
- the robot 110 determines an escort position 143 suitable for illuminating the foot area 120.
- the escort position 143 in this case is basically the home position 134. However, when the home position 134 is a position where it is difficult to irradiate the foot area 120, the escort position 143 is a quasi-home position.
- Step S1004 The calculation unit 110b of the robot 110 sets the required security level to 2.
- the robot 110 determines the escort position 143 between the user position 130 and the person position 140.
- the robot 110 sets the escort area 145 between the user position 130 and the person position 140.
- the escort area 145 may be an area between the user position 130 and the person position 140, and may be an area where the illumination unit 110g can irradiate both the foot area 120 and / or the notification area.
- the escort area 145 is calculated based on the user position 130, the moving direction D1, the person position 140, and the irradiation range of the lighting unit 110g.
- the escort area 145 may be determined using a calculation model in which the irradiation range of the user position 130, the moving direction D1, the person position 140, and the illumination unit 110 g is input and the escort area 145 is output.
- the escort area 145 is an arcuate area having a thickness of a predetermined size centered on the midpoint between the user position 130 and the person position 140 and having a radius equal to or less than the distance between the user position 130 and the person position 140. You may. Then, if the robot 110 does not have the home position 134 or the quasi-home position in the determined escort area 145, the robot 110 calculates the position closest to the robot position 131 in the escort area 145 as the escort position 143.
- the escort position 143 is not limited to this, and may be any position as long as it is within the escort area 145.
- the absence of the home position 134 and the quasi-home position in the escort area 145 corresponds to an example in which the radiation position (escort position 143) is different from the current relative position of the robot 110. If there is a home position 134 or a quasi-home position in the escort area 145, the home position 134 or the quasi-home position becomes the escort position 143.
- Step S1005 The robot 110 controls the movable portion 110e and moves to the escort position 143.
- Step S1006 The robot 110 accompanies the user at the escort position 143. At the same time, the robot 110 uses the video / audio output unit 110f or the lighting unit 110g to notify a person approaching the user of an attention or a warning.
- the flowchart of FIG. 35 may have a process of irradiating the foot area 120 only when the function of “foot lighting” described with reference to FIG. 23 is set to “ON”.
- the flowchart of FIG. 35 may have a process of irradiating the dangerous area 122 only when the function of “calling attention to the surroundings” described with reference to FIG. 23 is set to “ON”.
- FIG. 36 is a diagram showing a mode in which the robot 110 avoids a person approaching the user.
- the calculation unit 110b of the robot 110 calculates the home position 134 based on the sensing result of the user position 130 and the moving direction D1, controls the movable unit 110e, and accompanies the user at the home position 134. There is.
- the robot 110 senses the surroundings and detects a person approaching the user diagonally to the left and rearward.
- the robot 110 updates the expected course 150 of the person approaching the user from the sensing result at any time, and determines whether or not the person passes by the user within a predetermined time.
- the robot 110 determines the avoidance position 154 in the avoidance area 152 in front of the user's movement direction D1, or determines the avoidance position 154 in the avoidance area 151 behind. do.
- the avoidance position 154 can be determined as a target position to be reached by the robot 110 that intends to change the position relative to the user at a predetermined time.
- the robot 110 leaves the home position 134 and moves to the avoidance position 154. As a result, the robot 110 can move to a position that does not interfere with the passage of a person approaching the user.
- the avoidance areas 151 and 152 are, for example, areas separated by a predetermined distance or more from the expected course 150 of the person expected from the person position 140 and the movement direction D2 of the person. In particular, when the width of the sidewalk is narrow, the avoidance area 151 is located directly behind the user, and the avoidance area 152 is located directly in front of the user.
- Such behavior of the robot 110 is effective when the person approaching the user's moving direction D1 from the front or the rear and the user pass each other without obstructing the course of both.
- the width of the sidewalk is not taken and the influence on the course of the passing person is minimized.
- This behavior is effective not only when the robot 110 accompanies the user in a place where many people are around the user as well as a narrow sidewalk.
- the robot 110 may move to the avoidance area 151 or the avoidance area 152.
- the robot 110 may move to the avoidance position 154 in the avoidance area 151 when there is a person approaching the user from behind.
- it is possible to make the person aware that the user is accompanying the robot 110. Further, in this case, it can be expected to discourage the person from doing any harm to the user.
- the robot 110 does not take evasive action, the person who passes by the user has no choice but to change the walking route in order to avoid the robot 110. This change is inconvenient for the person and has a psychological and physical adverse effect on the person. Therefore, by causing the robot 110 to take the above-mentioned avoidance action, such an adverse effect can be minimized.
- the robot 110 takes into consideration one or more factors such as whether the user can avoid the risk of falling by irradiating the foot area 120, or whether the robot 110 can be located between the approaching person and the user to improve the safety of the user. Then, it may be determined whether the avoidance position 154 is a position in the avoidance area 151 or a position in the avoidance area 152.
- FIG. 37 is a flowchart showing an example of processing of the robot 110 when the robot 110 avoids a person approaching the user.
- the processing of steps S1101 and S1106 is the same as that of steps S801 and S807 of FIG. 29.
- Step S1102 The robot 110 determines whether or not the person and the robot 110 pass each other within a predetermined time, and the distance between the person and the robot 110 is within the predetermined distance. For example, the robot 110 calculates the position where the person passes the robot 110 from the trajectory of the predicted course of the person calculated from the sensing result. The passing position is the closest position to the user position 130 on the locus. The robot 110 calculates the passing time by dividing the distance on the locus from the person position 140 to the passing position by the speed of the person calculated from the sensing result. Then, when the passing time is within the predetermined time, the robot 110 may determine that the passing between the person and the robot 110 occurs within the predetermined time. Further, when the distance between the person position 140 and the robot position 131 is within a predetermined distance, the robot 110 may determine that the distance between the person and the robot 110 is within the predetermined distance.
- step S1102 If the determination is affirmed (YES in step S1102), the process proceeds to step S1104, and if the determination is denied (NO in step S1102), the process proceeds to step S1103.
- the robot 110 may execute the process of step S1102 without considering the passing time and only considering the distance between the person and the user.
- Step S1103 The calculation unit 110b of the robot 110 sets the required security level to 1 or higher.
- the robot 110 determines the accompanying position.
- This accompanying position is basically the home position 134.
- the home position 134 is a position where it is difficult to irradiate the foot area 120
- the quasi-home position is determined as the accompanying running position.
- Step S1104 The calculation unit 110b of the robot 110 sets the required security level to 2 or more.
- the robot 110 determines the avoidance position 154. For example, when the person approaches the user from behind, the robot 110 may set the avoidance area 151 directly behind the user's movement direction D1 and set the avoidance position 154 in the avoidance area 151.
- the avoidance area 151 is an area of a predetermined size separated from the user position 130 in a direction opposite to the user's moving direction D1 by a predetermined distance.
- the avoidance area 152 is an area of a predetermined size separated from the user position 130 in the traveling direction of the user by a predetermined distance.
- the avoidance position 154 is the position closest to the companion position in the avoidance area 151 or the avoidance area 152. However, this is an example, and the avoidance position 154 may be any position as long as it is a position within the avoidance area 151 or the avoidance area 152.
- Step S1105 The robot 110 controls the movable portion 110e to move to the accompanying position or the avoidance position 154. In this way, when the user and another person pass each other, the robot 110 can appropriately change the position of the accompanying run so as not to hinder the progress of the other person.
- the robot 110 acquires setting information from a smartphone 100 (an example of a user's communication terminal) via a network.
- the setting information is information input to the user by operating the graphical user interface shown on the setting screen 2200 or the setting screen 2300.
- the robot 110 sets the home position 134 of the robot 110 based on the setting information, detects the user position 130 and the moving direction D1 via the sensor 110c, and accompanies the user at the home position 134.
- the home position 134 is a reference relative position where the robot should be located by default.
- FIG. 38 is a diagram showing an example of the basic functions of the accompanying robot 110.
- the robot 110 is located at the robot position 131 on the left side of the user position 130.
- the robot 110 uses the lighting unit 110g to display the walk information 160 on the road surface in front of the user position 130.
- the walk information 160 may include a target line and a message related to the target line. These indicate, for example, the number of steps the user has taken since the start of the walk or today.
- "2000 steps" indicating that 2000 steps have been taken since the start of the walk is displayed as a message related to the target line.
- the user can intuitively understand that 2000 steps can be achieved by walking to the target line.
- the arithmetic unit 110b of the robot 110 sets the required security level to 0.
- the motivation for the walk is enhanced for the user.
- the walk information 160 is not limited to this, and the target number of steps for the walk, the target calorie consumption for the walk, the target walk time for the walk, the number of steps since the start of the walk, the number of steps today, the number of remaining steps up to the target number of steps today, and the heart rate. , Calories burned, elapsed walk time, and / or expected remaining walk time may be displayed.
- the robot 110 may output video information or audio information indicating the target number of steps, the number of remaining steps for the target number of steps, the calorie consumption, and the elapsed time by using the video / audio output unit 110f. Further, the robot 110 may output a sound indicating a support message to the user such as "Do your best" by using the video / sound output unit 110f.
- the robot 110 may have wheels instead of the legs 17. In this case, the robot 110 may drive the wheels to accompany the robot. Further, the robot 110 may have legs 17 and wheels.
- the behavior of the user accompanied by the robot 110 is not limited to walking, but may be movement using the user's feet such as jogging, or movement using a wheelchair or a canoe. It may be a move and does not include a move by car or train where the user's momentum is excessively low.
- a person is illustrated as an example of a moving body approaching the user, but the moving body is not limited to the person, and may be a flying body such as a car, a bicycle, and a drone.
- the security mode is not limited to this, and three or more modes are described. (For example, at home, walking, going out to the general public) may be present. Alternatively, the security mode "at home” applied at home in the above description may be a mode without security.
- This disclosure is useful as a basic technology for a wide variety of industrial uses because it can integrate cyberspace and physical space.
- Smartphone 101 Company A server 110: Robot 111: Company B server 120: Foot area 122: Danger area 130: User position 131: Robot position 132: Radiation position 134: Home position 135: Leading position 140: Person position 143: Escort position 154: Avoidance position
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Aviation & Aerospace Engineering (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Robotics (AREA)
- Manipulator (AREA)
Abstract
ロボット制御システムは、ロボットがユーザの位置との相対距離を所定距離内に維持してユーザの周辺情報を収集するリクエストを示すリクエスト情報を取得し、ロボットから、ロボットの位置を示す位置情報及びロボットがユーザの近傍にいることの確認情報を取得し、地図情報、位置情報及び確認情報に基づき、ロボットのユーザがロボットと同伴してユーザの住居エリアの外にいると判断した場合、リクエストに対応して、住居エリア内にいるユーザの周辺情報を収集できる第1仕様から住居エリアの外にいるユーザの周辺情報を収集できる第2仕様にロボットの設定を変更するためのコマンドをロボットに対して送信する。
Description
本開示は、ロボットの能力を外部に提供する技術に関するものである。
特許文献1は、特定人物に対する犯罪を抑制することを目的として、特定人物に伴走して移動可能であり、ディスプレイ及びスピーカーを通して、特定人物を監視していることを報知したり、異変が発生したときには警報を発したりする、ロボットを開示する。
しかしながら、特許文献1では、さらなる改善の必要がある。
本開示の一態様におけるロボット制御方法は、ユーザのロボットと通信し前記ユーザの住居の地図情報を保有するサーバを含むロボット制御システムにおけるロボット制御方法であって、外部コンピュータから、前記ロボットのユーザが前記ユーザの住居を表す所定エリアの外にいるときに前記ロボットが前記ユーザの位置との相対距離を所定距離内に維持して前記ユーザの周辺情報を収集するリクエストを示すリクエスト情報を取得し、前記ロボットから、前記ロボットの位置を示す位置情報及び前記ロボットが前記ユーザの近傍にいることの確認情報を取得し、前記地図情報、前記位置情報及び前記確認情報に基づき、前記ロボットのユーザが前記ロボットと同伴して前記ユーザの住居を表す前記所定エリアの外にいると判断した場合、前記リクエストに対応して、前記ユーザの住居を表す前記所定エリアの内にいる前記ユーザの周辺情報を収集できる第1仕様から前記ユーザの住居を表す前記所定エリアの外にいる前記ユーザの周辺情報を収集できる第2仕様に前記ロボットの設定を変更するためのコマンドを前記ロボットに対して送信する。
本開示によればさらなる改善が可能となる。
(本開示に至る経緯)
我々の日常生活はますますデジタル化されてきている。例えば、多くの人が個人専用の情報通信端末であるスマートフォンを持つ。ユーザは、スマートフォンにユーザの健康管理を行うアプリケーション(以下、アプリケーションをアプリと呼ぶ)、家計の管理を支援するアプリ、知人とのリアルタイムなコミュニケーションを支援するソーシャルコミュニケーションアプリ、世の中のニュースを個人の興味に合わせてキュレーションしてくれるニュースアプリ、など様々なアプリをインストールして利用するようになった。
我々の日常生活はますますデジタル化されてきている。例えば、多くの人が個人専用の情報通信端末であるスマートフォンを持つ。ユーザは、スマートフォンにユーザの健康管理を行うアプリケーション(以下、アプリケーションをアプリと呼ぶ)、家計の管理を支援するアプリ、知人とのリアルタイムなコミュニケーションを支援するソーシャルコミュニケーションアプリ、世の中のニュースを個人の興味に合わせてキュレーションしてくれるニュースアプリ、など様々なアプリをインストールして利用するようになった。
一方で、徐々にだが、自律的に種々の動作や作業を行うことができる可動装置(以下、ロボットと呼ぶ)も実用化されてきた。工場において部品の組み立てや調整を行うロボット、物流拠点において正確かつ迅速な仕分けを行うロボット、特定のタスクを周囲の状況を鑑みながら遂行することができるロボットなどがある。これらのロボットの中には、人との共同作業や、人の代替として特定の作業を行ってくれるロボットも含まれている。
本開示は、多様な情報処理を行うことができる情報処理装置であるスマートフォンと、多様な動作や物体を扱う作業を行うことができる可動装置であるロボットとが連携動作することによって、健康な、幸福な、快適な、安心な、安全な、愉しい、かつ/または清潔な生活をできるようにユーザを支援するものである。
このような、スマートフォンとロボットとが連携動作する技術として、例えば、宅外で散歩またはジョギングをするユーザの安全を確保するために、ロボットをユーザに伴走させる技術が検討されている。
しかしながら、宅外は宅内と異なり、状況が目まぐるしく変動するので、宅外で散歩等の行動をするユーザの安全を適切に確保するには現状のロボットの機能では不十分である。
例えば、特許文献1では、夜間等において犯罪の抑制効果を高めるために、ロボットがバックライト光源でユーザの周囲を照らしたり、ロボットがユーザの異変を検知してディスプレイやスピーカーにより周囲に監視中であることを発したり、することが開示されているに過ぎないので、宅外で行動するユーザの安全を適切に確保するには不十分である。
本開示はこのような課題を解決するためになされたものである。
(1)本開示の一態様におけるロボット制御方法は、ユーザのロボットと通信し前記ユーザの住居の地図情報を保有するサーバを含むロボット制御システムにおけるロボット制御方法であって、外部コンピュータから、前記ロボットのユーザが前記ユーザの住居を表す所定エリアの外にいるときに前記ロボットが前記ユーザの位置との相対距離を所定距離内に維持して前記ユーザの周辺情報を収集するリクエストを示すリクエスト情報を取得し、前記ロボットから、前記ロボットの位置を示す位置情報及び前記ロボットが前記ユーザの近傍にいることの確認情報を取得し、前記地図情報、前記位置情報及び前記確認情報に基づき、前記ロボットのユーザが前記ロボットと同伴して前記ユーザの住居を表す前記所定エリアの外にいると判断した場合、前記リクエストに対応して、前記ユーザの住居を表す前記所定エリアの内にいる前記ユーザの周辺情報を収集できる第1仕様から前記ユーザの住居を表す前記所定エリアの外にいる前記ユーザの周辺情報を収集できる第2仕様に前記ロボットの設定を変更するためのコマンドを前記ロボットに対して送信する。
上記態様により、前記ロボットのユーザが前記ユーザの住居を表す所定エリアの外にいる際、警備会社は前記警備会社の端末経由で、前記ロボットが備える機能を利用して前記ユーザをモニタできる。
この際、前記ロボットのサーバは、前記外部コンピュータから、前記ロボットのユーザが前記ロボットと同伴して前記ユーザの住居を表す前記所定エリアの外にいる際に前記ロボットが前記ユーザとの相対位置を所定距離内に維持して前記ユーザをモニタするリクエストを示すリクエスト情報を取得する。そして、前記サーバは、前記リクエストに対応して、前記ユーザの住居を表す前記所定エリアの外にいる前記ユーザの周辺情報を収集できる仕様に前記ロボットの設定を変更するためのコマンドを前記ロボットに対して送信する。
そのため、宅内においては必ずしも必要ではないセンサーや高い運動能力を用いる高度な仕様に前記ロボットの設定を常時合わせて不必要に電力を消耗することなく長時間の連続利用が可能となる。一方、宅外においては、前記ユーザの安全確保のため夜間や屋外でも利用可能なセンサーや高い運動能力を用いる高度な仕様に前記ロボットの設定を変更して、前記ユーザを含む周辺状況を適正にモニタする。
これにより、前記ロボットのユーザが前記ユーザの宅外にいる際、警備会社による前記ユーザの周辺情報の収集用に、前記ロボットが備える機能を利用して、前記ユーザの安全を確保できる。また、前記ロボットが前記ユーザの周辺を広範囲かつ/または高精度にセンシングし、必要に応じて機敏に動けるようにしておくことで前記ユーザの宅外での安全をより良く確保できる。
(2)上記ロボット制御方法において、前記住居を表す所定エリアは、前記住居の位置及び平面範囲を表したエリアを含んでもよい。
上記態様により、住居の位置及び平面範囲を用いてユーザの住居を表すエリアを適切に表現できる。
(3)上記ロボット制御方法において、前記住居を表す所定エリアは、前記住居から所定距離のエリアを含んでもよい。
上記態様により、ユーザの住居からの所定距離を用いて住居を表すエリアを適切に表現できる。
(4)上記ロボット制御方法において、前記住居を表す所定エリアは、前記住居を含む前記ユーザが設定したエリアを含んでもよい。
上記態様により、ユーザの住居を示すエリアをユーザが設定できる。
(5)上記ロボット制御方法において、前記住居を表す所定エリアは、前記住居を含む前記ロボット制御システムにおいて設定されたエリアを含んでもよい。
上記態様により、ユーザの住居を示すエリアをロボット制御システムが設定できる。
(6)上記ロボット制御方法において、前記確認情報は、前記ロボットが前記ユーザを画像認識した結果に基づいて前記ロボットが前記ユーザの近傍にいることを判定した情報を含んでもよい。
上記態様により、画像認識によりロボットの近傍にユーザがいることを正確に特定できる。
(7)上記ロボット制御方法において、前記確認情報は、前記ロボットが前記ユーザの端末から、前記端末の現在位置情報を取得した結果に基づいて前記ロボットが前記ユーザの近傍にいることを判定した情報を含んでもよい。
上記態様により、ユーザの端末の現在位置情報を用いてロボットの近傍にユーザがいることを正確に特定できる。
(8)上記ロボット制御方法において、前記確認情報は、前記ロボットにより前記ユーザを認識した結果に基づき判定された前記ロボットからの前記ユーザの位置を示す第2位置情報を含んでもよい。
上記態様により、ロボットが認識したロボットからのユーザの位置を示す第2位置情報を用いてロボットの近傍にユーザがいることを正確に特定できる。
(9)上記ロボット制御方法において、前記変更される前記ロボットの設定は、前記ロボットが備える移動能力を、前記ユーザの宅内にいる場合より高めて速く移動できる設定を含んでもよい。
上記態様により、宅外にいるロボットは宅内にいる場合に比べて高速で移動できるので、宅外でのユーザの安全を適切に確保できる。
(10)上記ロボット制御方法において、前記変更される前記ロボットの設定は、宅外を移動する前記ユーザの足元を照らすために前記ロボットが備える照明機器をONにする設定を含んでもよい。
上記態様により、ユーザの足元が照らされるので宅外で移動するユーザの安全を適切に確保できる。
(11)上記ロボット制御方法において、前記コマンドは、前記ロボットの設定変更後に前記ロボットの設定を変更した旨を前記ロボットに出力させる旨を含んでもよい。
上記態様により、前記ロボットの設定変更が前記ロボットの内部で完了したことを、前記ロボットのユーザが前記ロボットの外側から確認できる。
(12)上記ロボット制御方法において、前記外部コンピュータが前記リクエスト情報を要求するアクセス権を持つことが確認された場合、前記コマンドを前記ロボットに対して送信してもよい。
上記態様により、前記ロボットへのアクセス権のない外部からの遠隔指示に基づく、前記ロボットの設定変更を防止できる。
(13)上記ロボット制御方法において、前記サーバにおいて前記外部コンピュータが前記アクセス権を有するか否かを登録しておき、前記登録に基づき、前記外部コンピュータが前記アクセス権を持つことを確認してもよい。
上記態様により、前記外部コンピュータによる前記ロボットへのアクセス権の有無を判断できる。
(14)上記ロボット制御方法において、前記ユーザの住居の地図情報は、前記ユーザの住居の緯度及び経度の情報を含んでもよい。
上記態様により、緯度及び経度の情報を含む地図情報を用いてユーザの住居の位置を正確に特定できる。
(15)上記ロボット制御方法において、前記ロボットから、前記ロボットによって収集された前記ユーザの周辺情報を取得してもよい。
上記態様により、ユーザの周辺の状況を正確に特定できる。
(16)上記ロボット制御方法において、前記外部コンピュータに前記ユーザの周辺情報を送信してもよい。
上記態様により、外部コンピュータは周辺情報を取得できる。
(17)別の一態様に係るロボット制御方法は、ユーザのロボットと通信するサーバを含むロボット制御システムにおけるロボット制御方法であって、外部コンピュータから、前記ロボットのユーザが前記ユーザの住居を表す所定エリアの外にいるときに前記ロボットが前記ユーザの位置との相対距離を所定距離内に維持して前記ユーザの周辺情報を収集するリクエストを示すリクエスト情報を取得し、前記ロボットから、前記ロボットのユーザが前記ロボットと同伴して前記ユーザの住居を表す前記所定エリアの外に移動した旨のイベント情報を取得し、前記ロボットにおいて前記ユーザの住居の地図情報が保有され且つ前記ロボットの位置を示す位置情報及び前記ロボットが前記ユーザの近傍にいることの確認情報が検知され、前記イベント情報は前記ロボットにおいて前記地図情報、前記位置情報及び前記確認情報に基づき生成され、前記イベント情報に基づき、前記リクエストに対応して、前記ユーザの住居を表す前記所定エリアの内にいる前記ユーザの周辺情報を収集できる第1仕様から前記ユーザの住居を表す前記所定エリアの外を移動する前記ユーザの周辺情報を収集できる第2仕様に前記ロボットの設定を変更するためのコマンドを前記ロボットに対して送信する。
上記態様は、ロボットが、ユーザがロボットを同伴して宅外に移動した旨のイベント情報を生成し、当該イベント情報をサーバに送信するものである。
(18)別の一態様に係るロボット制御方法は、ユーザのロボットと通信し前記ユーザの住居の地図情報を保有するサーバを含むロボット制御システムにおけるロボット制御方法であって、前記ロボットから、前記ロボットの位置を示す位置情報及び前記ロボットが前記ユーザの近傍にいることの確認情報を取得し、第2サーバに、前記地図情報、前記位置情報及び前記確認情報を出力し、外部コンピュータから、前記ロボットのユーザが前記ユーザの住居を表す所定エリアの外にいるときに前記ロボットが前記ユーザの位置との相対距離を所定距離内に維持して前記ユーザの周辺情報を収集するリクエストを示すリクエスト情報を取得し、前記第2サーバにおいて前記地図情報、前記位置情報及び前記確認情報に基づき前記ロボットのユーザが前記ロボットと同伴して前記ユーザの住居を表す前記所定エリアの外に移動したと判断された場合に前記第2サーバから前記リクエスト情報が取得され、前記リクエストに基づき、前記ユーザの住居を表す前記所定エリアの内にいる前記ユーザの周辺情報を収集できる第1仕様から前記ユーザの住居を表す前記所定エリアの外を移動する前記ユーザの周辺情報を収集できる第2仕様に前記ロボットの設定を変更するためのコマンドを前記ロボットに対して送信する。
上記態様は、ロボットを同伴してユーザが宅外に移動したことを第2サーバが判定するものである。
(19)上記ロボット制御方法において、前記住居を表す所定エリアは、前記住居の位置及び平面範囲を表したエリアを含んでもよい。
この構成によれば、住居の位置及び平面範囲を用いてユーザの住居を表すエリアを適切に表現できる。
(20)上記ロボット制御方法において、前記住居を表す所定エリアは、前記住居から所定距離のエリアを含んでもよい。
この構成によれば、ユーザの住居からの所定距離を用いて住居を表すエリアを適切に表現できる。
(21)上記ロボット制御方法において、前記住居を表す所定エリアは、前記住居を含む前記ユーザが設定したエリアを含んでもよい。
この構成によれば、ユーザの住居を示すエリアをユーザが設定できる。
(22)上記ロボット制御方法において、前記住居を表す所定エリアは、前記住居を含む前記ロボット制御システムにおいて設定されたエリアを含んでもよい。
この構成によれば、ユーザの住居を示すエリアをロボット制御システムが設定できる。
(23)上記ロボット制御方法において、前記確認情報は、前記ロボットが前記ユーザを画像認識した結果に基づいて前記ロボットが前記ユーザの近傍にいることを判定した情報を含んでもよい。
上記態様により、画像認識によりロボットの近傍にユーザがいることを正確に特定できる。
(24)上記ロボット制御方法において、前記確認情報は、前記ロボットが前記ユーザの端末から、前記端末の現在位置情報を取得した結果に基づいて前記ロボットが前記ユーザの近傍にいることを判定した情報を含んでもよい。
この構成によれば、ユーザの端末の現在位置情報を用いてロボットの近傍にユーザがいることを正確に特定できる。
(25)上記ロボット制御方法において、前記確認情報は、前記ロボットにより前記ユーザを認識した結果に基づき判定された前記ロボットからの前記ユーザの位置を示す第2位置情報を含んでもよい。
この構成によれば、ロボットが認識したロボットからのユーザの位置を示す第2位置情報を用いてロボットの近傍にユーザがいることを正確に特定できる。
(26)上記ロボット制御方法において、前記変更される前記ロボットの設定は、前記ロボットが備える移動能力を、前記ユーザの宅内にいる場合より高めて速く移動できる設定を含んでもよい。
この構成によれば、宅外にいるロボットは宅内にいる場合に比べて高速で移動できるので、宅外でのユーザの安全を適切に確保できる。
(27)上記ロボット制御方法において、前記変更される前記ロボットの設定は、前記ユーザの宅外を移動する前記ユーザの足元を照らすために前記ロボットが備える照明機器をONにする設定を含んでもよい。
この構成によれば、ユーザの足元が照らされるので宅外で移動するユーザの安全を適切に確保できる。
(28)上記ロボット制御方法において、前記コマンドは、前記ロボットの設定変更後に前記ロボットの設定を変更した旨を前記ロボットに出力させる旨を含んでもよい。
上記態様により、前記ロボットの設定変更が前記ロボットの内部で完了したことを、前記ロボットのユーザが前記ロボットの外側から確認できる。
(29)上記ロボット制御方法において、前記外部コンピュータが前記リクエスト情報を要求するアクセス権を持つことが確認された場合、前記コマンドを前記ロボットに対して送信してもよい。
上記態様により、前記ロボットへのアクセス権のない外部からの遠隔指示に基づく、前記ロボットの設定変更を防止できる。
(30)上記ロボット制御方法において、前記サーバにおいて前記外部コンピュータが前記アクセス権を有するか否かを登録しておき、前記登録に基づき、前記外部コンピュータが前記アクセス権を持つことを確認してもよい。
上記態様により、前記外部コンピュータによる前記ロボットへのアクセス権の有無を判断できる。
(31)上記ロボット制御方法において、前記ユーザの住居の地図情報は、前記ユーザの住居の緯度及び経度の情報を含んでもよい。
上記態様により、緯度及び経度の情報を含む地図情報を用いてユーザの住居の位置を正確に特定できる。
(32)上記ロボット制御方法において、前記ロボットから、前記ロボットによって収集された前記ユーザの周辺情報を取得してもよい。
上記態様により、ユーザの周辺の状況を正確に特定できる。
(33)上記ロボット制御方法において、前記外部コンピュータに前記ユーザの周辺情報を送信してもよい。
上記態様により、ユーザの周辺の状況を正確に特定できる。
(34)別の一態様に係るロボット制御方法は、ユーザのロボットと通信するサーバを含むロボット制御システムにおけるロボット制御方法であって、前記ロボットから、前記ロボットのユーザが前記ロボットと同伴して前記ユーザの住居を表す所定エリアの外に移動した旨のイベント情報を取得し、前記ロボットにおいて前記ユーザの住居の地図情報が保有され且つ前記ロボットの位置を示す位置情報及び前記ロボットが前記ユーザの近傍にいることの確認情報が検知され、前記イベント情報は前記ロボットにおいて前記地図情報、前記位置情報及び前記確認情報に基づき生成され、外部コンピュータに前記イベント情報を出力し、前記外部コンピュータから、前記イベント情報に応答して、前記ロボットのユーザが前記ユーザの住居を表す前記所定エリアの外にいるときに前記ロボットが前記ユーザの位置との相対距離を所定距離内に維持して前記ユーザの周辺情報を取集するリクエストを示すリクエスト情報を取得し、前記リクエストに基づき、前記ユーザの住居を表す前記所定エリアの内にいる前記ユーザの周辺情報を収集できる第1仕様から前記ユーザの住居を表す前記所定エリアの外を移動する前記ユーザの周辺情報を収集できる第2仕様に前記ロボットの設定を変更するためのコマンドを前記ロボットに対して送信する。
本態様は、ロボットが、ユーザがロボットを同伴して宅外に移動した旨のイベント情報を生成し、当該イベント情報を第1サーバに送信するものである。
(35)別の一態様に係るロボット制御方法は、外部コンピュータと通信し前記ユーザの住居の地図情報を保有するロボット制御方法であって、前記外部コンピュータから、前記ロボットのユーザが前記ユーザの住居を表す所定エリアの外にいるときに前記ロボットが前記ユーザの位置との相対距離を所定距離内に維持して前記ユーザの周辺情報を収集するリクエストを示すリクエスト情報を取得し、前記ロボットの内部センサーから、前記ロボットの位置を示す位置情報及び前記ロボットが前記ユーザの近傍にいることの確認情報を取得し、前記地図情報、前記位置情報及び前記確認情報に基づき、前記ロボットのユーザが前記ロボットと同伴して前記ユーザの住居を表す前記所定エリアの外にいると判断した場合、前記リクエストに対応して、前記ユーザの住居を表す所定エリア距離の内にいる前記ユーザの周辺情報を収集できる第1仕様から前記ユーザの住居を表す前記所定エリアの外にいる前記ユーザの周辺情報を収集できる第2仕様に前記ロボットの設定を変更する。
本態様は、ロボットが、ユーザがロボットを同伴して宅外に移動したことを判断し、判断結果に基づいてロボットの仕様を変更するものである。
(36)別の一態様にかかるロボットは、本体と、前記少なくとも一対の脚または車輪と、前記少なくとも1つの内部センサーと、プロセッサと、(35)記載のロボット制御方法を前記プロセッサに実行させるためのプログラムが格納されたメモリと、を備える。
本態様により、ユーザがロボットを同伴して宅外に移動したことを判断し、判断結果に基づいてロボットの仕様を変更するロボットを提供できる。
(37)上記ロボットにおいて、前記外部コンピュータは、前記ユーザの通信端末であってもよい。
本態様は、ユーザの通信端末からリクエスト情報を取得するものである。
(38)上記ロボットにおいて、前記外部コンピュータは第三者サーバであってもよい。
本態様は、第三者サーバからリクエスト情報を取得するものである。
なお、本開示は、ここで用いられる制御方法に含まれる特徴的な各構成をコンピュータに実行させるプログラム、或いはこのプログラムによって動作するシステムとして実現することもできる。また、このようなコンピュータプログラムを、CD-ROM等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定するものではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。また、以下の説明において、括弧書きで記載されている内容は、その直前に記載されている内容の言い換え、例示、または補足情報として解釈されうる。
(実施の形態)
我々の社会は、今後もさらにインターネットが普及し、各種センサーが身近になることが予想される。これにより、我々の社会は、個人の内部状態及び活動等に関する情報から建造物及び交通網等を含む街全体の情報までもが、デジタル化されてコンピューターシステムで利用できる状態になっていくと予想される。デジタル化された個人に関するデータ(個人情報)は、通信ネットワークを介してビッグデータとして情報銀行などのクラウドサーバに安全に管理され、個人や社会のために様々な用途に利用されていく。
我々の社会は、今後もさらにインターネットが普及し、各種センサーが身近になることが予想される。これにより、我々の社会は、個人の内部状態及び活動等に関する情報から建造物及び交通網等を含む街全体の情報までもが、デジタル化されてコンピューターシステムで利用できる状態になっていくと予想される。デジタル化された個人に関するデータ(個人情報)は、通信ネットワークを介してビッグデータとして情報銀行などのクラウドサーバに安全に管理され、個人や社会のために様々な用途に利用されていく。
このような高度情報化社会は、日本ではSociety5.0と呼ばれる。高度情報化社会は、個人を取り囲む物質世界である現実空間(フィジカル空間)とコンピュータ同士が連携してフィジカル空間に関する各種処理がなされる仮想空間(サイバー空間)とを高度に融合させた情報基盤(サイバーフィジカルシステム)により、経済発展と社会的課題の解決とが期待される社会である。
そうした高度情報化社会では、個人が行う日常の様々なシーンでのコミュニケーション(情報の取得、提供、およびその表現方法を含む)や行動を分析し、蓄積した個人情報を含むビッグデータを分析することで、そのシーンに応じた、その個人にとって最適と思われるコミュニケーションの方法にて、その個人に必要な情報やサービスを提供することが可能になる。
以降では、そのようなサイバーフィジカルシステムが稼働する高度情報化社会を前提として、個人であるユーザに寄り添った日常生活の支援をテーマとして、ユーザの健康や幸福を高める具体的な様態について説明していく。
図1は、本開示の実施の形態に係る情報システムの全体構成の一例を示すブロック図である。図1は、上半分はサイバー空間、下半分はフィジカル空間を示している。左側は非ロボット提供会社であるA社関連のリソースが並んでおり、サイバー空間にはA社サーバ101、フィジカル空間にはユーザのスマートフォン100の上で動作するA社アプリがある。A社サーバ101はA社アプリとペアとなって動作する。右側には、ロボット提供会社であるB社関連のリソースが並んでおり、サイバー空間にはB社サーバ111、フィジカル空間には可動装置(ロボット110)と、スマートフォン100の上で動作するB社アプリがある。B社サーバ111はロボット110かつ/またはB社アプリとペアになって動作する。フィジカル空間の真ん中にはスマートフォン100にインストールされたA社アプリ、B社アプリ、さらにロボット110を扱うユーザがいる。スマートフォン100、ロボット110、A社サーバ101、およびB社サーバ111は、インターネットを含む広域通信網により相互通信が可能に接続されている。
この図に示すようにA社、B社はそれぞれのアプリやロボットを通じて、ユーザとの接点を持っている。A社が持つのはスマートフォン100上のA社アプリを介した接点だけであり、これは今日、多く見られる顧客接点の一形態である。一方で、この図のB社は、スマートフォン100上のB社アプリを介した接点だけでなく、ロボット110を介した接点も保有している。自律的な可動装置であるロボット110を介してユーザ(一般消費者)と接点を持つ会社は、一部の玩具メーカーを除くとまだ例がなく、これから出現してくるものと期待される。
なお、ここではロボット110の一例として犬型ロボットが採用されているが、ロボット110は、これ以外の人間を含む生物に基づく形態を有していてもよいし、無機質で非生物的な形態を有していてもよい。フィジカル空間において自律的な運動能力(姿勢変更能力および移動能力など)、かつ/または、作用能力(ボタンを押したり、物を持ち上げたり、など他の物体を動かす能力)がある限りは、ロボット110の形態は限定されない。
本開示の実施の形態の情報システムは、夫々の顧客接点であるアプリ、ロボット110、さらにはロボット110に操作される家電や住宅設備などがこれまで以上に高度に連携して、他が保有する情報や能力を活用しながら、自らのサービスの品質の上げ幅を広げ、ユーザへより高い価値提供を行う。ロボット110が持つ認知能力や運動能力は日々進化を続けており、このような万能なロボット110が実現すれば、そのロボット110が保有する固有の能力に他社がアクセスできる仕組みを構築しておくべきである。そうすることが、ユーザにとっても、サービスを提供する非ロボット会社にとっても、ロボットを提供するロボット会社にとっても、多種多様な価値の連携を生む土台になる。
図1において、A社はユーザが契約している警備会社である。A社は、スマートフォン100にA社が提供する警備アプリをA社アプリとしてインストールさせ、A社の警備サービスに対する各種設定をユーザに行わせる。
ロボット110は、具備するセンサーにより、ユーザに関するデータを継続して収集する。ユーザに関するデータは、例えば、ユーザの生体活動情報およびユーザの周辺情報を含む。生体活動情報は、例えば、心拍、血圧、体温、活動量(消費カロリー)、歩数、姿勢、および運動などである。周辺情報は、例えば、周辺映像情報、ユーザの位置情報、周囲の気温、周囲の空間の認識結果、およびオブジェクトの認識結果などである。ロボット110は、収集したユーザに関するデータをロボット110のメモリに記録する。同時に、ロボット110は、収集したユーザに関するデータをB社サーバ111へ定期的にアップロードする(a)。
尚、生体活動情報および周辺情報の収集主体は、ロボット110に限らず、スマートフォン100であってもよいし、ユーザが装着しているウェアラブルセンサー(図示せず)であっても良いし、ユーザの自宅や居住区域に設置されているセンサー(図示せず)であってもよい。
B社サーバ111は、ロボット110から継続的にユーザに関するデータを取得する。B社サーバ111は、アクセス権を持つA社サーバ101によるユーザに関するデータの取得を許可する。ここでは、A社サーバ101とB社サーバ111とはユーザの確認のもと認証設定がなされており、A社サーバ101はB社サーバが保有する最新のデータを取得するアクセス権を有する。
アクセス権を有するA社サーバ101は、B社サーバ111が保有する最新のユーザに関するデータを継続的に取得して、取得したユーザに関するデータを分析する。A社サーバ101は、ユーザに関するデータに含まれるユーザの周囲映像情報、またはユーザの位置情報の時間的変化により、ユーザが自宅から外出してロボット110と一緒に散歩していると判定する。ここで、ユーザの周囲映像情報は、A社サーバ101またはA社アプリのカメラ映像へのアクセス許可レベルが1以上であれば取得可能であり、ユーザの位置情報はA社サーバ101またはA社アプリの位置センサーのアクセス許可レベルが1であれば取得可能である。または、A社サーバ101かつ/またはA社アプリと、B社サーバ111かつ/またはB社アプリとが、通信により連携できるよう設定されていて、A社サーバ101は、ロボット110が3000歩程度の散歩をこれから誘導することを検知できるようにしてもよい。
A社サーバ101は、ユーザがロボット110と一緒に外出して徒歩並みのスピードで移動していると判定した場合、ロボット110の警備モードを「在宅」から「散歩」に切り替えるためのリクエスト情報をB社サーバ111に送信する(b)。
警備モードとは、A社がロボット110を介してユーザの安全確保を行うためにロボット110に設定された複数の行動規定(プログラムによるロボットの行動制御)の1つである。警備モードが変わると、ロボット110が具備するセンサーへのアクセス許可レベルが更新される。これにより、A社サーバ101は、必要な情報の収集が容易となる。また、ユーザやその周囲の状況に応じてロボット110が取るべき行動の優先順位の判定も変わる。ここでは、ユーザが在宅中と、外出中とでは警備モードが自動で切り替わるように予め設定されているとして説明しているが、本開示はこれに限定されない。
警備モード「在宅」は、「前記ユーザの住居を表す前記所定エリアの内にいる前記ユーザの周辺情報を収集できる第1仕様」の一例である。警備モード「散歩」は、「前記ユーザの住居を表す前記所定エリアの外にいる前記ユーザの周辺情報を収集できる第2仕様」の一例である。
ユーザが散歩を始めたことを判定したタイミングでA社サーバ101は、スマートフォン100のA社アプリの警備モードを「散歩」に切り替えても良い。しかしながら、A社アプリの警備モードを切り替えることで、警備会社であるA社がユーザの散歩中の安全性を確保することは現実的には困難である。例えば、ユーザが散歩を行う場合に必ずスマートフォン100を携帯するとは限らない。さらにユーザがスマートフォン100を携帯して、A社アプリの警備モードが「散歩」であったとしても、A社アプリが、散歩中のユーザが遭遇するトラブルやリスクを検知し、その事態を回避したり、ユーザの身の安全を確保したり、することは現実的には困難である。
つまり、A社は、ユーザとの日常的な接点がA社アプリでしかなく、ユーザに対して警備会社としてできることには限界がある。現実世界に直接物理的作用を及ぼせないアプリよりも、ユーザの身近にいる自律的なロボット110の方がユーザの警備を強化することができる。そのため、A社サーバ101は、ユーザが保有するロボット110を介した実効性の高い警備サービスを行うために、B社のロボット110に対して散歩中のユーザの警備モードの「散歩」への切り替えを要求する。
これまでの情報化社会(Society4.0社会とも呼ばれる)では、ここに説明したA社アプリを介した警備サービスについては実現できている。しかしながら、フィジカル空間で起こる危険には、A社アプリが解決しにくいものや、解決できないものが含まれる。本実施の形態においては、自律的運動能力を備えるユーザに身近なロボット110を用いて、A社アプリは保有しないがロボット110が保有する自律的運動能力を用いて、ユーザの安全をより良く守る警備サービスを構想し、そのサービスの実現の形態について説明する。それでは図1の続きを説明する。
A社サーバ101からリクエスト情報を取得したB社サーバ111は、A社サーバ101からロボット110に要求されたリクエストに対する必要なアクセス権をA社が有しているか否かを確認する。ここでは、警備モード「散歩」の各種設定(詳細は後述)と、その警備モード時に許可されるアクセス許可レベル情報(詳細は後述)とは、ユーザによって事前に設定されているとする。A社がアクセス権を有していれば、B社サーバ111は、警備モード「散歩」への変更をロボット110に指示する(c)。A社がアクセス権を有していない場合、B社サーバ111はそのリクエストを拒否する。
B社サーバ111から警備モード「散歩」に変更する指示を受信したロボット110は、警備モード「散歩」を実施する(d)。警備モード「散歩」を実施したロボット110は、散歩をしているユーザの伴走をしたり、散歩をしているユーザにとって危険となる物体をスポットライトで照らす注意喚起をしたり、リスクのある人物に対して警備中であることを示したり、リスクのある人物を威嚇したり、する。さらに、ロボット110は、ユーザが危険な状態であると判定した場合には、A社サーバ101または警察に通報する。このようにロボット110は、警備モード「散歩」において、ユーザが散歩中に遭遇する可能性のある様々な危険を判定し、その危険を回避し、必要な場合には警備員を介入させるなどしてユーザの安全を確保する。
また、ロボット110は、ユーザの安全を確保できない可能性があると判定した場合、B社サーバ111にその旨のメッセージを通報する。B社サーバ111はA社サーバ101にその通報を転送する(e)。
通報のメッセージを受信したA社サーバ101は、その通報に基づき、ロボット110を介して警備員による警備を実施する(f)。具体的には、A社の警備員が、ロボット110のカメラ、マイク、およびスピーカーを介して、ユーザから状況をヒアリングしたり、危険人物を威嚇したりする。さらに、警備員は、位置センサーを使って現場に駆け付けたりする。
ユーザが散歩を終えて帰宅すると、A社サーバ101は、B社サーバ111経由で取得したロボット110のセンサーデータ(カメラ映像、位置センサーの位置情報など)に基づいて、ユーザが帰宅したことを検知する。これによって、A社サーバ101はロボット110の警備モードを「在宅」に更新するリクエスト情報をB社サーバ111に送信する(g)。リクエスト情報を受信したB社サーバ111は、ロボット110に警備モード「在宅」への更新を指示する。この指示を受信したロボット110は、警備モード「在宅」を実施する。
ロボット110は警備モードを「散歩」から「在宅」に変更することにより、ユーザの安全確保を行うための自身の行動規定を自動的に変更する。具体的には、B社サーバ111は、A社サーバ101に対して、ロボット110から収集したセンサーデータのアクセス許可レベルを在宅時用に更新し、ユーザの状態またはユーザの周囲状況に応じてロボット110が取るべき行動の優先順位を在宅時用に変更する。なお、A社がアクセス権を有しているとロボット110が確認できる場合には、ロボット110は、A社サーバ101に対して、ロボット110が収集したセンサーデータ及びロボット110の運動能力へのアクセス許可レベルを在宅時用に自動的に更新するようにしても良い。
このようにして、B社サーバ111は、ユーザの状態または周囲状況に応じてA社が提供する警備モードを自動的に切り替える。B社サーバ111は、警備サービスを実行するために必要なロボット110が測定したセンサーデータの開示レベルも自動的に最適化しても良い。例えば、B社サーバ111は、散歩時には、画像認識の精度を向上させて事件発生時の証拠能力を高めるために、ロボット110のカメラが撮影した映像データを高精細な動画レベル(許可レベル=3:すべて許可)でA社サーバ101に許可する。一方、B社サーバ111は、外的な危険性が少ない在宅時には、プライバシーの問題を軽減させるために低精細な動画(許可レベル=2:低品質動画まで許可)でA社サーバ101に許可する。
上記の説明においては、A社サーバ101のカメラ映像に対するアクセス許可レベルは「3」であることが前提である。仮に、A社サーバ101のカメラ映像に対するアクセス許可レベルが「2」であった場合には、散歩時において、A社サーバ101は、許可レベル=2の低品質動画までしか利用できないことになる。散歩時の警備遂行に問題となる場合には、A社サーバ101またはA社アプリは、B社サーバ111におけるカメラ映像の許可レベルを「3」に上げるよう、A社アプリまたはB社アプリを通じて、ユーザにその旨を通知かつ/または要求すればよい。
ユーザの日常生活での安全性を確保することは、A社が持つ顧客接点であるスマートフォン100上の映像情報や音声情報などのメッセージだけでは難しい。A社はA社アプリではなく、ユーザのすぐ近くにあるB社の自律したロボット110を介して、ユーザの生体活動情報やユーザの周辺情報を随時判断することによって、ユーザの日常生活の安全をより良く確保し、より高い安心を提供できる。
図1の説明では、ユーザの外出の有無の判定主体はA社サーバ101であるが、本開示はこれに限定されない。この判定主体は、B社サーバ111であってもよいし、ロボット110であってもよい。
図2は、本実施の形態におけるロボット110の外観図である。図2において、ロボット110の長手方向を前後方向と呼び、ロボット110の歩行面に対して直交する方向を上下方向と呼び、前後方向および上下方向と直交する方向を左右方向と呼ぶ。
図2では、ロボット110の実装例として、4本の脚17で移動するロボットが示されている。ロボット110は、ボディ10と、4本の脚17とを含む。ボディ10の下面の前方には、照明部15が配置され、ボディ10の下面の後方には照明部16が配置されている。照明部15および照明部16を設けることで、ロボット110の前方及び後方を十分な光量で照らすことができる。照明部15、16は、それぞれ、危険物に対してユーザが認知し易いように危険物への照明形態(照明の形状、色、点滅パターン)が調整可能である。このような機能を実現するために、照明部15、16は、単色で発光できるライトではなく、危険物又は道路等の周囲の物体に任意の映像を投影するプロジェクションマッピングの機能を有している。
ボディ10の前面の中央には、ディスプレイ24が配置されている。ディスプレイ24は、例えば液晶パネル又は有機ELパネルである。ディスプレイ24は、主に、ロボット110がユーザとコミュニケーションをとるために使用される。ディスプレイ24は、図14に示すように、ロボット110の顔表情を表現する画像を表示しても良い。
ボディ10の上面の中央にはディスプレイ18が配置され、ボディ10の後面の中央にはディスプレイ34が配置されている。ディスプレイ18、34は、例えば液晶パネル又は有機ELパネルである。ディスプレイ18、34は、主に、ロボット110からのメッセージおよび状態を表示するために使用される。例えば、ディスプレイ18、34は、後述する注意喚起エリアにいる他人に対して警告情報を表示するために用いられても良い。この場合、ディスプレイ18、34は、ロボット110を介して警備サービスをユーザに提供している警備会社A社のロゴマークを表示しても良い。
ボディ10の前面の下部にはスピーカー25が配置され、ボディ10の後面の下部にはスピーカー35が配置されている。スピーカー25は、ロボット110が前方のユーザと対面してコミュニケーションをとるため使用される。スピーカー35は、後方から近づいてくる人物とコミュニケーションをとるために使用される。
ボディ10の前面には、RGBカメラ21、測距センサー22、および赤外線カメラ23が配置されている。ボディ10の後面には、RGBカメラ31、測距センサー32、および赤外線カメラ33が配置されている。RGBカメラ21、31は、空間認識および物体識別をするために用いられる。測距センサー22、32は、危険物の形状、路面の凹凸といった周辺空間および物体の形状を検知するために用いられる。赤外線カメラ23、33は、低照度環境下で人物や周囲の温度分布を検知するために用いられる。RGBカメラ21、31、測距センサー22、32、および赤外線カメラ23、33を組み合わせることで、ロボット110は周辺状況を精度よく検知することができる。
ボディ10の上面には、4つのマイク11、12、13、14が配置されている。マイクを4つ設けることで、ロボット110は、音源位置を特定できる。
脚17は、関節17a、17b、上脚17c、下脚17dを含む。関節17aは、ボディ10の側面に、上脚17cを左右方向回りに回動可能に接続する。関節17bは、上脚17cおよび下脚17dを左右方向回りに回転可能に取り付ける。
図3は、本開示の実施の形態に係る情報システムの構成の一例を示すブロック図である。スマートフォン100は、通信部100a、演算部100b、センサー100c、メモリ100d、操作部100e、および映像音声出力部100fを含む。
通信部100aは、ネットワーク上の他のコンピュータと情報通信を行う通信回路である。演算部100bは、例えばCPUなどのプロセッサであり、音声認識、音声合成、情報検索、および情報描画などの情報処理を行う。センサー100cは、映像情報、音声情報、かつ/または周辺環境情報を取得する。センサー100cは、例えばカメラ、マイク、加速度センサー、角速度センサー、およびGPSセンサー等である。メモリ100dは、例えばフラッシュメモリであり、種々のデータを保持する。操作部100eは、例えばタッチパネルであり、ユーザからのボタン操作およびタッチ操作などを受け付ける。映像音声出力部100fは、例えばディスプレイ、スピーカーなどである。
A社アプリおよびB社アプリはインストールされると、メモリ100dにプログラムおよび必要なデータが記録され、演算部100bによってそのプログラムが実行される。
A社サーバ101は、スマートフォン100にインストールされたA社アプリと協調動作するコンピュータである。A社サーバ101は、通信部101a、演算部101b、およびメモリ101cを含む。通信部101aは、ネットワーク上の他のコンピュータと情報通信を行う通信回路である。演算部101bは、例えばCPU等のプロセッサであり、ネットワーク上の他のコンピュータから送信されるデータを処理する。メモリ101cは、例えばソリッドステートドライブまたはハードディスクドライブなどであり、A社アプリおよびユーザに関する情報を記録する。
B社サーバ111は、スマートフォン100にインストールされたB社アプリと協調動作するコンピュータである。B社サーバ111は、通信部111a、演算部111b、およびメモリ111cを含む。通信部111aは、ネットワーク上の他のコンピュータと情報通信を行う通信回路である。メモリ111cは、例えばソリッドステートドライブまたはハードディスクドライブなどであり、B社アプリに関する情報、ロボット110に関する情報、およびユーザに関する情報を記録する。演算部111bは、他のコンピュータから送信される種々のデータを処理する。
ロボット110は、通信部110a、演算部110b、センサー110c、メモリ110d、可動部110e、映像音声出力部110f、および照明部110gを含む。
通信部110aは、ネットワーク上の他のコンピュータと情報通信を行う通信回路である。演算部110bは、例えばCPUなどのプロセッサである。演算部110bは、可動部110eを制御してロボット110の移動や動作を制御する処理、ロボット110が他物体へ力学的作用を行う処理を行う。さらに、演算部110bは、映像音声出力部110fから出力する種々の情報を生成する処理を行う。
センサー110cは、映像情報、音声情報、および周辺環境情報を取得する。センサー110cは、例えばRGBカメラ21、31、測距センサー22、32、赤外線カメラ23、33、およびマイク11~14を含む。
メモリ110dは、例えば、フラッシュメモリなどの半導体メモリであり、種々のデータを保持する。
可動部110eは、例えば、脚17および脚17を可動させるアクチュエータなどである。アクチュエータの一例はモータである。ロボット110が、脚17に代えて車輪で構成される場合、アクチュエータは車輪を移動させるモータである。可動部110eは、ロボット110の移動、動作、および他物体への力学的作用を行う。
映像音声出力部110fは、例えば、スピーカー25、35、およびディスプレイ18、24、34などを含み、映像および音声を出力する。
照明部110gは、図2に示す照明部15、16を含む。照明部110gは、1以上のレーザダイオードと、マイクロアレイ又はマイクロミラーアレイと、を含んでもよい。さらに、照明部110gは、LCDパネルと偏光板とを含んでもよい。さらに、ロボット110は、ユーザからのボタン操作およびタッチ操作などを受け付ける操作部(図示せず)を備えてもよい。
なお、A社サーバ101、スマートフォン100、ロボット110、およびB社サーバ111が接続される広域通信網は、移動体通信網、衛星通信網、インターネット通信網、専用通信網、光ファイバー網、近距離無線通信の1つ、または1つ以上の組み合わせであってもよい。
図4は、A社がロボット110と連携する際の処理の一例を示すフローチャートである。図1で説明したようなA社アプリまたはA社サーバ101が、B社が運用するロボット110が持つ情報および能力にアクセスできるようにするために、事前にそのアクセス権を適切に設定しておく。図4はそのアクセス権を予め設定しておくための処理の一例を示している。
ユーザはスマートフォン100にインストールされたB社アプリを使って、B社アプリがA社アプリとの連携するように設定する。具体的には、B社アプリは、ユーザの入力に基づいて、ユーザの利用するA社アプリの固有IDを取得する(ステップ#1)。B社アプリは、取得したA社アプリの固有IDをB社アプリの固有IDと共に、B社サーバ111に登録するための登録依頼を送信する(ステップ#2)。登録依頼を受信したB社サーバ111は、A社アプリとB社アプリとのペア情報を登録する。この登録処理では、同時にロボット110のどの固有能力に対してどこまでの利用権利をA社に許諾するかを示すアクセス権の登録も行われる(ステップ#3)。アクセス権の詳細については図5を用いて後述する。ロボット110のロボットIDとB社アプリの固有IDとを含むペア情報は予めB社サーバ111に登録されている。この登録は、例えばユーザがB社アプリの初期設定画面において、ロボット110の固有IDを入力することによって行われる。
A社アプリの登録を受け取ったB社サーバ111は、A社サーバ101に対してA社アプリが許可されるアクセス権の設定情報を通知する(ステップ#4)。具体的には、B社サーバ111は、A社アプリの固有IDとB社アプリの固有IDとのペア情報に加えて、そのアクセス権の設定情報をA社サーバ101に通知する。
A社サーバ101は、A社アプリの固有IDとB社アプリの固有IDとのペア情報、およびそのアクセス権の設定情報をメモリ101cに登録する(ステップ#5)。これらの情報は、A社アプリまたはA社サーバ101がB社の提供するロボット110に対してその固有能力を利用する際に、対象のロボット110を特定すると共に、その固有能力の利用が可能か否かを判定するために用いられる。
ここでは、A社アプリまたはA社サーバ101に対して、B社が提供するロボット110へのアクセス権を正しく設定できれば良く、上記はその一例に過ぎない。上記とは異なる登録方法が用いられてもよい。
図5は、ロボット110へのアクセス権の種類と許可レベルとの関係の一例を示す表である。ロボット110は様々なセンサー110cおよび運動能力(可動部110e)を具備する。センサー110cおよび運動能力に対する他社からのアクセス権は、B社サーバ111だけでなく、利用する側であるA社サーバ101にも登録される。以下、アクセス権の種類とその許可レベルについて、センサー110cから説明する。
「カメラ映像」は、ロボット110が具備するイメージセンサー(例えば、RGBイメージセンサー)へのアクセス権である。これは、ロボットの目と外見上認知される個所に具備されているイメージセンサーであってもよい。「カメラ映像」へのアクセス権は以下の通り、アクセス権のない「0」から制約なくアクセス権が付与される「3」まで段階的に設定される。例えば、この許可レベルが「2」のA社サーバ101からのアクセス要求に対し、B社サーバ111は低品質動画を返すように、ロボット110かつ/またはB社サーバ111を制御する。
0:不許可
1:静止画のみ許可
2:低品質動画まで許可
3:すべて許可
1:静止画のみ許可
2:低品質動画まで許可
3:すべて許可
「測距センサー」は、ロボット110が具備する対象物までの距離が測定できるセンサー(例えば、TOFセンサー、LiDARなど)へのアクセス権である。「測距センサー」へのアクセス権は以下の通り、アクセス権のない「0」か、アクセス権がある「1」の2択で設定される。例えば、この許可レベルが「1」のA社サーバ101からのアクセス要求に対しては、B社サーバ111は測距センサーが取得したデータ(例えば、デプスイメージ)を返すように、ロボット110を制御する。
0:不許可
1:許可
1:許可
「赤外線センサー」は、ロボット110が具備する赤外線が測定できるセンサーへのアクセス権である。赤外線センサーにより測定される近赤外線領域は暗闇での被写体認識、遠赤外線領域は被写体温度分布などに使われる。「赤外線センサー」へのアクセス権は以下の通り、アクセス権のない「0」か、アクセス権がある「1」の2択で設定される。例えば、この許可レベルが「1」であるA社サーバ101からのアクセス要求に対しては、B社サーバ111は、赤外線センサーが取得したデータ(例えば、サーモグラフィー映像)を返すようにロボット110を制御する。
0:不許可
1:許可
1:許可
「マイク音声」は、ロボット110が具備するマイクへのアクセス権である。「マイク音声」へのアクセス権は以下の通り、アクセス権のない「0」か、アクセス権がある「1」の2択で設定される。例えば、この許可レベルが「1」であるA社サーバ101からのアクセス要求に対しては、B社サーバ111はマイクが取得した音声データを返すようにロボット110を制御する。
0:不許可
1:許可
1:許可
「触覚センサー」は、ロボット110が具備するロボット表面での触覚感覚が測定できるセンサー(例えば、MEMSシリコン毛デバイスセンサー)へのアクセス権である。「触覚センサー」へのアクセス権は以下の通り、アクセス権のない「0」か、制約なくアクセス権が付与される「2」まで段階的に設定される。例えば、この許可レベルが「1」であるA社サーバ101からのアクセス要求に対しては、B社サーバ111は触覚センサーが取得したデータ(例えば、圧力分布映像)の内、ロボット110の一部分(例えば、頭部)のデータのみを返すようにロボット110を制御する。
0:不許可
1:一部分のみ許可
2:すべて許可
1:一部分のみ許可
2:すべて許可
「気温・湿度・気圧センサー」は、ロボット110が具備する気温、湿度、気圧センサーへのアクセス権である。「気温・湿度・気圧センサー」へのアクセス権は以下の通り、アクセス権のない「0」か、アクセス権がある「1」の2択で設定することができる。例えば、この許可レベルが「1」であるA社サーバ101からのアクセス要求に対しては、B社サーバ111は気温、湿度、および気圧センサーが取得したデータを返すようにロボット110を制御する。
0:不許可
1:許可
1:許可
「位置センサー」は、ロボット110が具備するロボットの現在位置を測定するセンサーへのアクセス権である。「位置センサー」へのアクセス権は以下の通り、アクセス権のない「0」か、アクセス権がある「1」の2択で設定される。例えば、この許可レベルが「1」であるA社サーバ101からのアクセス要求に対しては、B社サーバ111は位置センサーが取得したロボットの現在位置情報を示すデータを返すようにロボット110を制御する。
0:不許可
1:許可
1:許可
ここまでがロボット110に具備されたセンサー110cへのアクセス権に対する説明である。続いて、ロボット110が具備する「運動能力」へのアクセス権について説明する。
「表情変更能力」は、ロボット110の映像音声出力部110fで表示される顔表情の外見的特徴を変更する能力へのアクセス権である。これは、ロボット110が、外見上、顔と認識できるパーツを有する場合に、そのパーツを動かしたり、そのパーツの色を変更したり、する能力であってもよい。「表情変更能力」へのアクセス権は以下の通り、アクセス権のない「0」か、アクセス権がある「1」の2択で設定される。例えば、この許可レベルが「1」であるA社サーバ101からのアクセス要求に対しては、B社サーバ111は顔表情の変更要求に応じて顔表情を変更するようにロボット110を制御する。
0:不許可
1:許可
1:許可
「発声能力」は、ロボット110の映像音声出力部110fが具備する音声出力能力へのアクセス権である。これは、ロボットに、外見上、口と認識できるパーツがある場合に、そのパーツを動かしたり、その口の周辺部から音声を出力したり、する能力であってもよい。「発声能力」へのアクセス権は以下の通り、アクセス権のない「0」か、アクセス権がある「1」の2択で設定される。例えば、この許可レベルが「1」であるA社サーバ101からのアクセス要求に対しては、B社サーバ111は発声する音声情報に応じて音声を出力するようにロボット110を制御する。
0:不許可
1:許可
1:許可
「姿勢変更能力」は、ロボット110の可動部110eが具備する姿勢を変更する能力へのアクセス権である。これは、ロボット110の可動部110eにある複数の関節機構部の角度を変更する能力であってもよい。ただし、ロボット110自体の位置を変える能力は意図しない。「姿勢変更能力」へのアクセス権は以下の通り、アクセス権のない「0」から制約なくアクセス権が付与される「2」まで段階的に設定される。例えば、この許可レベルが「1」であるA社サーバ101からのアクセス要求に対しては、B社サーバ111は頭部のみを要求に応じて動かすようにロボット110を制御する。
0:不許可
1:頭部のみ許可
2:すべて許可
1:頭部のみ許可
2:すべて許可
「移動能力」は、ロボット110の可動部110eが具備する移動する能力へのアクセス権である。これは、ロボット110の可動部110eにある複数の関節機構部の角度を変更する能力であってもよい。この能力は、ロボット110自体の位置を変える能力である。「移動能力」へのアクセス権は以下の通り、アクセス権のない「0」から制約なくアクセス権が付与される「4」まで段階的に設定される。例えば、この許可レベルが「1」であるA社サーバ101からのアクセス要求に対しては、B社サーバ111はユーザ宅の中でユーザが許可したエリアのみを低速で移動することを許可するようにロボット110を制御する。また、例えば、この許可レベルが「3」であるA社サーバ101からのアクセス要求に対しては、B社サーバ111はユーザが許可した宅内、宅外のエリアのみを高速で移動することを許可するようにロボット110を制御する。ここでユーザが許可したエリアは、ユーザがあらかじめ設定しておく条件の1つである。例えば、ユーザのプライバシーを侵害してしまう恐れのあるエリア(お風呂など)にはロボット110が近寄れないよう予め設定しておくことができる。
0:不許可
1:許可済み宅内のみ、低速での移動を許可
2:許可済み宅内/宅外まで、低速での移動を許可
3:許可済み宅内/宅外まで、高速での移動を許可
4:すべて許可
1:許可済み宅内のみ、低速での移動を許可
2:許可済み宅内/宅外まで、低速での移動を許可
3:許可済み宅内/宅外まで、高速での移動を許可
4:すべて許可
図6は、複数の警備モードと各警備モードにおけるロボット110へのアクセス権との関係の一例を示す表である。ここでは、警備モードが変更される際にロボット110が具備するセンサー110cへのアクセス権およびロボット110の運動能力へのアクセス権がどのように変更されるかの一例が示されている。なお、アクセス権は、警備モードに同期して変更されると説明したが、警備モードとは同期せず個別に変更されても良い。
ここでは、警備モードが「在宅」時に設定される許可レベルと、警備モードが「散歩」時に設定される許可レベルとが異なる例が示されている。各警備モードに必要となるセンサーおよび運動能力の要求条件は異なるため、警備モードが異なるとこれらのアクセス権も異なる。警備モード「在宅」は、ユーザとロボット110とが在宅時に適用される警備モードである。警備モード「散歩」はユーザとロボット110とが外出の散歩時に適用される警備モードである。
「カメラ映像」のアクセス権は、警備モード「在宅」では「2:低品質動画まで許可」が設定され、カメラ映像の必要性およびプライバシーが配慮された設定となっている。一方、警備モード「散歩」では「3:すべて許可」が設定され、カメラ映像の必要性(危険物の画像認識精度向上)および証拠能力としての有効性が配慮された設定となっている。同様の理由で「測距センサー」および「赤外線センサー」のアクセス権も、それぞれ、警備モード「在宅」よりも警備モード「散歩」の方が許可レベルが高く設定されている。なお、「マイク音声」、「気温・湿度・気圧センサー」、および「位置センサー」のアクセス権は、それぞれ、警備モード「在宅」および警備モード「散歩」とも、「1:許可」が設定され、「触覚センサー」のアクセス権は警備モード「在宅」および警備モード「散歩」とも「0:不許可」が設定されている。
「運動能力」については、「移動能力」のアクセス権が、警備モード「在宅」よりも警備モード「散歩」の方が許可レベルが高く設定されている。これは、散歩が宅外で行われるため、移動許可範囲を宅外まで広げる必要があるからである。さらに、ユーザと一定の距離を保ってロボット110を伴走させるために、在宅時よりも散歩時において、ロボット110をより速く移動させる必要があるからである。その他、運動能力において、「表情変更能力」および「発声能力」のアクセス権は、それぞれ、警備モード「在宅」および警備モード「散歩」とも、「1:許可」が設定され、「姿勢変更能力」のアクセス権は、警備モード「在宅」および警備モード「散歩」とも「1:頭部のみ許可」が設定されている。
「照明機能」は照明部110gをON、OFFを設定する機能である。警備モード「在宅」では照明機能はOFFに設定され、警備モード「散歩」では照明機能はONに設定されている。
このように警備モードに応じて、B社サーバ111に蓄積されたロボット110に関するデータおよびイベント情報に対するA社サーバ101のアクセス権が変更される。各警備モードにおける、A社サーバ101のアクセス権は予め設定されている。一方、ユーザに関するデータのアクセス権は、ユーザの状況に応じて共有されるユーザに関するデータを必要最低限にするために、警備モードに応じてアクセス権が適切に変更されるようB社サーバ111、ロボット110、A社アプリ、B社アプリ、かつ/またはA社サーバ101により制御される。
図7は、ロボット110およびユーザの外出の有無の判定主体がB社サーバ111である場合の情報システムの処理の一例を示すシーケンス図である。
まず、ユーザは在宅しているものとする。また、ロボット110は、警備モードが「在宅」および「散歩」のいずれにも設定されていないものとする。
(ステップS1)
ロボット110はデータおよびイベント情報を継続的にB社サーバ111に送信する。ロボット110は具備したセンサー110cを用いて、ユーザの生体活動情報およびユーザの周辺情報を継続的に収集する。ロボット110は収集した生体活動情報およびユーザの周辺情報を含むデータを継続的にB社サーバ111に送信する。ロボット110は、収集した生体活動情報およびユーザの周辺情報を解析することにより、イベント情報を継続的に生成し、生成したイベント情報をB社サーバ111に継続的に送信する。
ロボット110はデータおよびイベント情報を継続的にB社サーバ111に送信する。ロボット110は具備したセンサー110cを用いて、ユーザの生体活動情報およびユーザの周辺情報を継続的に収集する。ロボット110は収集した生体活動情報およびユーザの周辺情報を含むデータを継続的にB社サーバ111に送信する。ロボット110は、収集した生体活動情報およびユーザの周辺情報を解析することにより、イベント情報を継続的に生成し、生成したイベント情報をB社サーバ111に継続的に送信する。
イベント情報は、ロボット110の状態変化またはロボット110が検知したユーザの状態変化を、ロボット110が通知するための情報である。イベント情報は、例えば、ユーザが運動をしている状態を検知したときに生じる「運動イベント情報」、ユーザが安静にしている状態を検知したときに生じる「安静イベント情報」、ユーザが睡眠している状態を検知したときに生じる「睡眠イベント情報」、ユーザが危険な状態であることを検知したときに生じる「危険イベント情報」、ロボット110のバッテリー残量が少ないことを検知したときに生じる「ローバッテリーイベント情報」、ロボット110が宅外で伴走中にユーザを見失ったことを検知したときに生じる「ロストイベント情報」などを含む。
イベント情報を送ることにより、ロボット110は、センサーデータを大量に送ることなくユーザおよびロボット110に関する状態変化を通知することができる。例えば、ユーザが運動をし始めたことを意味する「運動イベント情報」を動画データであるカメラ映像から分析することはサーバ側の処理負担が増大し、ネットワーク帯域への負担も増大する。そのためイベント情報を使うことで、ロボット110とB社サーバ111との連携の効率化を図ることができる。
さらに、イベント情報は、ロボット110がユーザの近傍にいることを示す確認情報を含む。確認情報は、例えばロボット110がスマートフォン100から取得したスマートフォン100の位置情報、すなわち、ユーザの位置情報を含む。または、確認情報は、ロボット110がセンサー110cに含まれる光学センサーの撮影映像を解析する顔認証や歩容認証などによりユーザが映っているか否かを判定して得られるユーザ認識結果の情報であっても良く、さらにユーザの位置情報を含む情報であっても良い。
(ステップS2)
B社サーバ111は、得られたデータおよびイベント情報を、A社サーバ101に設定されたアクセス権の範疇でA社サーバ101に継続的に送信または開示することにより、A社サーバ101とデータおよびイベント情報を共有する。
B社サーバ111は、得られたデータおよびイベント情報を、A社サーバ101に設定されたアクセス権の範疇でA社サーバ101に継続的に送信または開示することにより、A社サーバ101とデータおよびイベント情報を共有する。
(ステップS3、S4)
スマートフォン100は、ユーザからの入力にしたがって警備モードを設定する。警備モードの設定内容を示す設定情報は、例えば、後述する図23又は図24に表示された情報を含む。例えば、設定情報は、警備モードの条件を含む。警備モードの条件は、警備モード「在宅」の条件と、警備モード「散歩」の条件とを含む。警備モード「散歩」の条件は、警備モードを「在宅」から「散歩」に変更する条件である。警備モード「在宅」の条件は、警備モードを「散歩」から「在宅」に変更する条件である。例えば、設定情報は、警備モードが「散歩」に変更されたときに、ロボット110がユーザにその変更を通知する情報を含んでもよい。この通知は、ロボット110の顔、かつ/またはボディ10の一部への情報の表示であってもよいし、警備会社のロゴを表示しても良いし、変更を告げる音声の出力であってもよいし、警備会社のサウンドロゴ音声の出力であってもよい。さらに、この通知は、これらの組み合わせであっても良い。
スマートフォン100は、ユーザからの入力にしたがって警備モードを設定する。警備モードの設定内容を示す設定情報は、例えば、後述する図23又は図24に表示された情報を含む。例えば、設定情報は、警備モードの条件を含む。警備モードの条件は、警備モード「在宅」の条件と、警備モード「散歩」の条件とを含む。警備モード「散歩」の条件は、警備モードを「在宅」から「散歩」に変更する条件である。警備モード「在宅」の条件は、警備モードを「散歩」から「在宅」に変更する条件である。例えば、設定情報は、警備モードが「散歩」に変更されたときに、ロボット110がユーザにその変更を通知する情報を含んでもよい。この通知は、ロボット110の顔、かつ/またはボディ10の一部への情報の表示であってもよいし、警備会社のロゴを表示しても良いし、変更を告げる音声の出力であってもよいし、警備会社のサウンドロゴ音声の出力であってもよい。さらに、この通知は、これらの組み合わせであっても良い。
(ステップS5)
スマートフォン100は、設定情報とリクエスト情報とをA社サーバ101に送信する。リクエスト情報は、例えば警備モードが「散歩」に対しては、設定された在宅エリア外である宅外においてユーザとの相対距離を所定距離内に維持してユーザを伴走するようにロボット110の可動部110eを演算部110bに制御させながら、同時にセンサー110cを用いてユーザの周辺情報を収集させるロボット110の行動規範(プログラム、または行動優先順位の設定)を実行させるリクエストを規定する情報である。例えば、警備モードが「在宅」に対しては、設定された在宅エリア内である宅内においてユーザとの相対距離を所定距離内に維持してユーザの安全を監視するようにロボット110の可動部110eとセンサー110cを演算部110bに制御させる行動規範を実行させるリクエストを規定する情報である。
スマートフォン100は、設定情報とリクエスト情報とをA社サーバ101に送信する。リクエスト情報は、例えば警備モードが「散歩」に対しては、設定された在宅エリア外である宅外においてユーザとの相対距離を所定距離内に維持してユーザを伴走するようにロボット110の可動部110eを演算部110bに制御させながら、同時にセンサー110cを用いてユーザの周辺情報を収集させるロボット110の行動規範(プログラム、または行動優先順位の設定)を実行させるリクエストを規定する情報である。例えば、警備モードが「在宅」に対しては、設定された在宅エリア内である宅内においてユーザとの相対距離を所定距離内に維持してユーザの安全を監視するようにロボット110の可動部110eとセンサー110cを演算部110bに制御させる行動規範を実行させるリクエストを規定する情報である。
(ステップS6)
設定情報を受信したA社サーバ101は、設定情報およびリクエスト情報をB社サーバ111に送信する。
設定情報を受信したA社サーバ101は、設定情報およびリクエスト情報をB社サーバ111に送信する。
(ステップS7)
B社サーバ111は、受信した設定情報およびリクエスト情報をメモリ111cに登録する。
B社サーバ111は、受信した設定情報およびリクエスト情報をメモリ111cに登録する。
(ステップS8)
B社サーバ111は、ロボット110から継続的に送信されるデータおよびイベント情報と、地図情報とに基づいて、ユーザがいずれかの警備モードの条件を満たすか否かを確認する。
B社サーバ111は、ロボット110から継続的に送信されるデータおよびイベント情報と、地図情報とに基づいて、ユーザがいずれかの警備モードの条件を満たすか否かを確認する。
(ステップS9)
B社サーバ111は、ユーザが警備モード「在宅」の条件を満たしていると判定された場合、または、ユーザが警備モード「在宅」の条件を最も良く満たしていると判定された場合に、警備モード「在宅」に変更するようにロボット110に指示を送信する。
B社サーバ111は、ユーザが警備モード「在宅」の条件を満たしていると判定された場合、または、ユーザが警備モード「在宅」の条件を最も良く満たしていると判定された場合に、警備モード「在宅」に変更するようにロボット110に指示を送信する。
(ステップS10)
警備モード「在宅」の指示を受信したロボット110は、警備モード「在宅」の開始をユーザに通知する。通知の詳細は後述する。
警備モード「在宅」の指示を受信したロボット110は、警備モード「在宅」の開始をユーザに通知する。通知の詳細は後述する。
(ステップS11)
ロボット110は、警備モード「在宅」で動作する。警備モードは新たな警備モードの指示を受けるまで継続される。
ロボット110は、警備モード「在宅」で動作する。警備モードは新たな警備モードの指示を受けるまで継続される。
(ステップS12)
B社サーバ111は、警備モード「在宅」に変更されたことをロボット110からの応答で検知し(図示なし)、その警備モード「在宅」への変更結果をA社サーバ101に送信する。
B社サーバ111は、警備モード「在宅」に変更されたことをロボット110からの応答で検知し(図示なし)、その警備モード「在宅」への変更結果をA社サーバ101に送信する。
(ステップS13)
ユーザはロボット110と一緒に外出し、散歩を開始する。
ユーザはロボット110と一緒に外出し、散歩を開始する。
(ステップS14)
B社サーバ111は、ロボット110のセンシング結果が警備モード「散歩」の条件を満たすので、警備モードを「散歩」に変更する。
B社サーバ111は、ロボット110のセンシング結果が警備モード「散歩」の条件を満たすので、警備モードを「散歩」に変更する。
(ステップS15)
B社サーバ111は、警備モード「散歩」に変更するようにロボット110に指示を送信する。この指示は、「第1仕様から第2仕様にロボットの設定を変更するためのコマンド」の一例である。この指示は、ロボット110の警備モードの設定変更後に警備モードが変更された旨をロボット110に出力させるコマンドを含む。
B社サーバ111は、警備モード「散歩」に変更するようにロボット110に指示を送信する。この指示は、「第1仕様から第2仕様にロボットの設定を変更するためのコマンド」の一例である。この指示は、ロボット110の警備モードの設定変更後に警備モードが変更された旨をロボット110に出力させるコマンドを含む。
(ステップS16)
警備モード「散歩」の指示を受信したロボット110は、警備モード「散歩」の開始をユーザに通知する。通知の詳細は後述する。
警備モード「散歩」の指示を受信したロボット110は、警備モード「散歩」の開始をユーザに通知する。通知の詳細は後述する。
(ステップS17)
ロボット110は、警備モード「散歩」で継続的に動作する。
ロボット110は、警備モード「散歩」で継続的に動作する。
(ステップS18)
B社サーバ111は、ロボット110が警備モード「散歩」に変更されたことをロボット110からの応答で検知し(図示なし)、警備モード「散歩」への変更結果をA社サーバ101に送信する。
B社サーバ111は、ロボット110が警備モード「散歩」に変更されたことをロボット110からの応答で検知し(図示なし)、警備モード「散歩」への変更結果をA社サーバ101に送信する。
図7において、A社サーバ101は外部コンピュータの一例である。図7において、設定情報およびリクエスト情報は、スマートフォン100(で実行されるA社アプリ、またはB社アプリ)がB社サーバ111に送信してもよい。この場合、スマートフォン100は外部コンピュータの一例である。
図7において、確認情報は、ユーザの位置情報であったが、これは一例である。例えば、確認情報は、ロボット110がユーザの近傍にいると判定した情報であってもよい。この場合、ロボット110は、センサー110cを用いて取得したユーザの画像の認識結果に基づいて、ロボット110がユーザの近傍にいるか否かを判定してもよいし、スマートフォン100から取得したスマートフォン100の現在の位置情報に基づいて、ロボット110がユーザの近傍にいるか否かを判定してもよい。
図8は、図7に対応するB社サーバ111およびロボット110の処理の一例を示す図である。
(ステップS201)
ロボット110は、センサー110cを用いてユーザの状態および周辺をセンシングする。これにより、ユーザの生体活動情報および周辺情報が得られる。
ロボット110は、センサー110cを用いてユーザの状態および周辺をセンシングする。これにより、ユーザの生体活動情報および周辺情報が得られる。
(ステップS202)
ロボット110は、ユーザの生体情報およびユーザの周辺情報を含むデータと、ユーザの生体情報およびユーザの周辺情報に基づいて生成したイベント情報とをB社サーバ111に送信する。
ロボット110は、ユーザの生体情報およびユーザの周辺情報を含むデータと、ユーザの生体情報およびユーザの周辺情報に基づいて生成したイベント情報とをB社サーバ111に送信する。
(ステップS203)
B社サーバ111は、データおよびイベント情報を受信する。
B社サーバ111は、データおよびイベント情報を受信する。
(ステップS204)
B社サーバ111は、ロボット110から受信したデータおよびイベント情報がいずれかの警備モードの条件を満たすか否かにより、警備モードの変更の要否を判定する。例えば、B社サーバ111は、現在設定されている警備モードが「在宅」であり、ロボット110から受信したデータおよびイベント情報が警備モード「散歩」の条件を満たす場合、警備モードを「散歩」に変更する必要があると判定する。例えば、B社サーバ111は、現在設定されている警備モードが「散歩」であり、ロボット110から受信したデータおよびイベント情報が警備モード「散歩」の条件を満たす場合、警備モードを変更する必要がないと判定する。例えば、B社サーバ111は、現在設定されている警備モードが「散歩」であり、ロボット110から受信したデータおよびイベント情報が警備モード「散歩」の条件を満たさず、警備モード「在宅」の条件を満たす場合、警備モードを「在宅」に変更する必要があると判定する。例えば、B社サーバ111は、現在設定されている警備モードが「在宅」であり、ロボット110から受信したデータおよびイベント情報が警備モード「在宅」の条件を満たしている場合、警備モード「在宅」から変更する必要がないと判定する。
B社サーバ111は、ロボット110から受信したデータおよびイベント情報がいずれかの警備モードの条件を満たすか否かにより、警備モードの変更の要否を判定する。例えば、B社サーバ111は、現在設定されている警備モードが「在宅」であり、ロボット110から受信したデータおよびイベント情報が警備モード「散歩」の条件を満たす場合、警備モードを「散歩」に変更する必要があると判定する。例えば、B社サーバ111は、現在設定されている警備モードが「散歩」であり、ロボット110から受信したデータおよびイベント情報が警備モード「散歩」の条件を満たす場合、警備モードを変更する必要がないと判定する。例えば、B社サーバ111は、現在設定されている警備モードが「散歩」であり、ロボット110から受信したデータおよびイベント情報が警備モード「散歩」の条件を満たさず、警備モード「在宅」の条件を満たす場合、警備モードを「在宅」に変更する必要があると判定する。例えば、B社サーバ111は、現在設定されている警備モードが「在宅」であり、ロボット110から受信したデータおよびイベント情報が警備モード「在宅」の条件を満たしている場合、警備モード「在宅」から変更する必要がないと判定する。
B社サーバ111は、データに含まれるロボット110の位置情報およびイベント情報の確認情報に含まれるユーザの位置情報と、地図情報から得られる在宅エリアと、を比較し、ロボット110およびユーザがともに在宅エリア外に居ると判定した場合、ユーザ(ロボット110から受信したデータおよびイベント情報)が警備モード「散歩」の条件を満たすと判定すればよい。一方、B社サーバ111は、ロボット110およびユーザがともに宅内にいる場合、ユーザ(ロボット110から受信したデータおよびイベント情報)が警備モード「散歩」の条件を満たしておらず、警備モード「在宅」の条件を満たしていると判定すればよい。地図情報は、メモリ111cに記憶され、住居の緯度および経度の情報を含む。在宅エリアは、住居を表す所定エリアの一例である。
なお、確認情報が、ロボット110の近傍にユーザがいることを示すロボット110の判定結果である場合、B社サーバ111は、ロボット110の位置情報が在宅エリアに位置すれば、ユーザ(ロボット110から受信したデータおよびイベント情報)が警備モード「在宅」の条件を満たすと判定すればよい。逆に、ロボット110の位置情報が在宅エリア外に位置すれば、警備モード「散歩」の条件を満たすと判定すれば良い。
(ステップS205)
B社サーバ111は、警備モードの変更が必要と判定した場合(ステップS205でYES)、処理をステップS206に進める。一方、B社サーバ111は、警備モードの変更が必要ないと判定した場合(ステップS205でNO)、処理を終了する。
B社サーバ111は、警備モードの変更が必要と判定した場合(ステップS205でYES)、処理をステップS206に進める。一方、B社サーバ111は、警備モードの変更が必要ないと判定した場合(ステップS205でNO)、処理を終了する。
(ステップS206)
B社サーバ111は、警備モードの変更をする指示をロボット110に送信する。
B社サーバ111は、警備モードの変更をする指示をロボット110に送信する。
(ステップS207)
当該指示を受信したロボット110は警備モードを変更する。例えば、ロボット110は、警備モード「在宅」から、「散歩」に変更する。
当該指示を受信したロボット110は警備モードを変更する。例えば、ロボット110は、警備モード「在宅」から、「散歩」に変更する。
(ステップS208)
ロボット110は、警備モードの変更結果をB社サーバ111に送信する。
ロボット110は、警備モードの変更結果をB社サーバ111に送信する。
(ステップS209)
B社サーバ111は、警備モードの変更結果を受信する。
B社サーバ111は、警備モードの変更結果を受信する。
(ステップS210)
ロボット110は、変更後の警備モードの開始をユーザに通知する。上記のようにしてB社サーバ111はロボット110からのデータ、イベント情報を用いて警備モードを逐次判定し、その警備モードの実行をロボット110に指示する。
ロボット110は、変更後の警備モードの開始をユーザに通知する。上記のようにしてB社サーバ111はロボット110からのデータ、イベント情報を用いて警備モードを逐次判定し、その警備モードの実行をロボット110に指示する。
図9は、警備モードが「在宅」から「散歩」に切り替わるシーンの一例を示す図である。例えば、在宅エリア802は、住居801の位置を中心とする一定の半径を有する円形の領域である。在宅エリア802の外部のエリアは外出エリア806(散歩エリア)である。ロボット110およびユーザが在宅エリア802にいる場合、警備モードは「在宅」に設定され、ロボット110およびユーザが外出エリア806にいる場合、警備モードは「散歩」に設定される。
ユーザとロボット110とが、在宅エリア802から外出エリア806へ移動した場合、警備モードが「散歩」に変更される。この場合、ロボット110は、言葉、鳴き声、およびサウンドロゴのような音声情報を映像音声出力部100fを用いて出力することで、警備モード「散歩」への変更をユーザに通知すればよい。音声情報の一例は、「散歩をお守りするワン」などのメッセージである。ロボット110は、警備会社のロゴのような所定のマークの映像情報をディスプレイ18、24、34に表示することで、警備モード「散歩」への変更をユーザに通知してもよい。ロボット110は、2足歩行などの特定の挙動により、警備モード「散歩」への変更をユーザに通知してもよい。また、ロボット110は、目に相当する箇所にディスプレイが設けられている場合、目の表示態様を変更することで、警備モード「散歩」の変更をユーザに通知してもよい。これらの通知により、外見上からは判断が困難なロボット110の警備モードの変更をユーザに知らせることができる。
図10、図11、図12、図13は、それぞれ、在宅エリア802の一例を示す図である。図10~図13において太線内部の領域が在宅エリア802である。ロボット110の警備モードが切り替わる条件となる、ユーザおよびロボット110がいるエリアは、次の何れか、または組み合わせである。
(1)図10の在宅エリア802は、地点800を中心とする半径804の円形の領域である。地点800は、自宅敷地803内でスマートフォン100のGPSが取得した位置情報である。この場合、例えば、在宅エリア802は、地点800の緯度の情報及び経度の情報と、半径804の情報と、により規定される。
(2)図11の在宅エリア802は、住居801の輪郭によって取り囲まれる領域である。住居801の輪郭形状は例えば地図情報から取得される。
(3)図12の在宅エリア802は、自宅敷地803の輪郭によって取り囲まれる領域である。自宅敷地803の輪郭は地図情報から取得される。
(4)図13の在宅エリア802は、ユーザが地図上で指定する任意形状の領域である。例えば、スマートフォン100に表示された地図画像において、ユーザがなぞった自宅敷地803の輪郭805内部が在宅エリア802として設定される。
(5)その他、在宅エリア802は、地点800の位置情報と情報システムが指定する設定ルールとに基づいて設定されてもよい。地点800の位置情報は、例えばスマートフォン100のGPSが取得した位置情報である。この場合、在宅エリア802は、地点800の緯度の情報および経度の情報を基準に、設定ルールが規定する領域が、在宅エリア802として設定される。この設定ルールは、図10に示すような円形であってもよい。
(6)在宅エリア802は、ユーザの自宅の住所情報と、住居801かつ/または自宅敷地803を含む地図情報とを用いて、情報システムが自動的に設定したものであってもよい。この場合は、ユーザが指定した自宅住所情報と、その住所情報とリンクした住居801かつ/または自宅敷地803を含む地図情報とを用いて在宅エリア802が設定される。
上記(1)~(6)のいずれの場合も、在宅エリア802以外のエリアは、全て外出エリア806として扱われても良い。これによって、在宅エリア802と、外出エリア806との境界が明確となり、ユーザとロボット110の現在位置によって、ロボット110の警備モードを正確に変更できる。
在宅エリア802の設定情報は、例えばA社サーバ101、B社サーバ111、およびロボット110のメモリ110dのいずれか1カ所以上に記録されて管理される。この設定情報は、在宅エリア802の輪郭の情報であってもよい。
上記(1)~(6)のいずれの場合も、在宅エリア802の設定情報は、スマートフォン100を介してユーザに確認され、設定されてもよい。この設定情報は、A社アプリ、B社アプリ、または他社ソフトウェアを介して取得される。
図14~図15は、ロボット110がユーザに行う通知の一例を示す図である。図14は警備モードを「在宅」に変更する際の通知を示している。図14の例では、ロボット110は、小さな円形の輝いた部分を持つ瞳を有する左右の目の画像1401を表示する。図15は警備モードを「散歩」に変更する際のロボット110の通知を示している。図15の例では、ロボット110は、縦方向に細長い線のある瞳を有する左右の目の画像1401を表示する。図16は、特定のイベント情報が発生した際のロボット110の通知を示している。図16の例では、ロボット110は、瞼を半分閉じたような三日月形状の瞳を有する左右の目の画像1401を表示する。イベント情報の一例はローバッテリーイベント情報である。ローバッテリーは、ロボット110の電池残量が所定残量以下になった状態を指す。
以上により、ユーザは、ロボット110の映像音声出力部110fの目に該当する部分に表示された映像情報を見ることで、ロボット110の現在のモードが警備モード「在宅」又は「散歩」であるのか、ロボット110に「ローバッテリー」などのイベント情報が生じているかを容易に確認できる。これらの画像1401は、警備モードの種類及びイベント情報の種類に応じて予め定められている。なお、画像1401は、例えばディスプレイ24(図2)に表示される。
次に、ロボット110およびユーザの外出の有無の判定主体がA社サーバ101(第2サーバの一例)である態様について説明する。図17は、ロボット110およびユーザの外出の有無の判定主体がA社サーバ101である場合の情報システムの処理の一例を示すシーケンス図である。
図17において、図7と同じ処理には同一の符号を付して説明を省く。
(ステップS301)
ユーザはロボット110と一緒に外出し、散歩を開始する。
ユーザはロボット110と一緒に外出し、散歩を開始する。
(ステップS302)
A社サーバ101はユーザとロボット110とに関する最新のデータおよびイベント情報をB社サーバ111を介して取得することで、ユーザとロボット110とを監視しながら、警備モードの変更の有無、および警備員の介入の必要性を継続して判定する。A社サーバ101は、例えば、センサー110cが取得したデータから、ロボット110が外出したこと(ロボット110の位置情報)、ロボット110が撮影したカメラ映像からロボット110の近くにユーザがいること(またはそれを示す確認情報)、およびユーザが徒歩の速さで移動している(ユーザが散歩している)ことを検知する。或いは、A社サーバ101は、B社サーバ111においてユーザが在宅エリア外での散歩を開始したことを意味する「散歩開始イベント情報」がロボット110から通知されていることを検知しても良い。尚、上記では、A社サーバ101は、B社サーバ111を介して、ロボット110が取得したデータおよびイベント情報を取得するとしたが、それに加えて、在宅エリア情報を含む地図情報をB社サーバ111を介して取得しても良い。
A社サーバ101はユーザとロボット110とに関する最新のデータおよびイベント情報をB社サーバ111を介して取得することで、ユーザとロボット110とを監視しながら、警備モードの変更の有無、および警備員の介入の必要性を継続して判定する。A社サーバ101は、例えば、センサー110cが取得したデータから、ロボット110が外出したこと(ロボット110の位置情報)、ロボット110が撮影したカメラ映像からロボット110の近くにユーザがいること(またはそれを示す確認情報)、およびユーザが徒歩の速さで移動している(ユーザが散歩している)ことを検知する。或いは、A社サーバ101は、B社サーバ111においてユーザが在宅エリア外での散歩を開始したことを意味する「散歩開始イベント情報」がロボット110から通知されていることを検知しても良い。尚、上記では、A社サーバ101は、B社サーバ111を介して、ロボット110が取得したデータおよびイベント情報を取得するとしたが、それに加えて、在宅エリア情報を含む地図情報をB社サーバ111を介して取得しても良い。
(ステップS303)
A社サーバ101は、取得したデータおよびイベント情報を分析し、ユーザがロボット110と散歩を始めたことを検知し、警備モードを「在宅」から「散歩」へ変更するリクエスト情報をB社サーバ111に送信する。A社サーバ101は、図7と同様、ユーザ(ロボット110から受信したデータおよびイベント情報)が警備モードの条件を満たすと判定した場合、警備モードを「在宅」から「散歩」へ変更するリクエスト情報を送信すればよい。
A社サーバ101は、取得したデータおよびイベント情報を分析し、ユーザがロボット110と散歩を始めたことを検知し、警備モードを「在宅」から「散歩」へ変更するリクエスト情報をB社サーバ111に送信する。A社サーバ101は、図7と同様、ユーザ(ロボット110から受信したデータおよびイベント情報)が警備モードの条件を満たすと判定した場合、警備モードを「在宅」から「散歩」へ変更するリクエスト情報を送信すればよい。
警備モード「宅内」と警備モード「散歩」とでは、A社サーバ101がロボット110を介してユーザを警備するために必要なセンサー110cへのアクセス権およびロボット110の運動能力へのアクセス権が異なる。そのため、A社サーバ101はB社サーバ111に対して警備モードを「在宅」から「散歩」に変更するためのリクエスト情報を送信する。警備モードを切り替えることでセンサー110cおよび運動能力へのアクセス権が自動的に変更される。
(ステップS304)
リクエスト情報を受信したB社サーバ111は、ロボット110の警備モードを「散歩」に変更する指示をロボット110に送信する。A社サーバ101が利用できる警備モード「在宅」と警備モード「散歩」は、センサーや運動能力に対するアクセス権と同様に、B社サーバ111に事前に登録されている。
リクエスト情報を受信したB社サーバ111は、ロボット110の警備モードを「散歩」に変更する指示をロボット110に送信する。A社サーバ101が利用できる警備モード「在宅」と警備モード「散歩」は、センサーや運動能力に対するアクセス権と同様に、B社サーバ111に事前に登録されている。
(ステップS305)
警備モード「散歩」に変更する指示を受信したロボット110は、警備モードを「散歩」に変更する。以降、B社サーバ111から警備モード「散歩」以外への変更の指示がない限り、ロボット110の演算部110bは警備モード「散歩」にて指定された行動規範に基づいてロボット110が動作するように、可動部110eおよびセンサー110cの制御を継続する。
警備モード「散歩」に変更する指示を受信したロボット110は、警備モードを「散歩」に変更する。以降、B社サーバ111から警備モード「散歩」以外への変更の指示がない限り、ロボット110の演算部110bは警備モード「散歩」にて指定された行動規範に基づいてロボット110が動作するように、可動部110eおよびセンサー110cの制御を継続する。
(ステップS306)
ロボット110は、警備モードを「散歩」に変更した後も、センサー110cを使って取得したデータおよびそのデータに基づいて生成したイベント情報のB社サーバ111への送信を継続する。
ロボット110は、警備モードを「散歩」に変更した後も、センサー110cを使って取得したデータおよびそのデータに基づいて生成したイベント情報のB社サーバ111への送信を継続する。
ロボット110は、ユーザが散歩を継続する間、警備モード「散歩」にて規定される行動規範に従ってユーザの警護を継続する。ロボット110が散歩するユーザをどのように伴走するか、およびユーザが遭遇する危険に対してロボット110がどのように対処するかについては、A社アプリを使って予めユーザにより設定されている。この詳細は後述する。
(ステップS307)
ユーザに危険が発生している。危険とは、例えば、ユーザの進行方向に障害物がある状況、および他人がユーザに接近している状況を指す。
ユーザに危険が発生している。危険とは、例えば、ユーザの進行方向に障害物がある状況、および他人がユーザに接近している状況を指す。
(ステップS308)
A社サーバ101は、B社サーバ111からデータおよびイベント情報を受信し、警備モード「散歩」の変更の有無、および警備員介入の必要性の有無を判定する。A社サーバ101は、データ、イベント情報に加えて、在宅エリア情報を含む地図情報をB社サーバ111から受信するようにしてもよい。
A社サーバ101は、B社サーバ111からデータおよびイベント情報を受信し、警備モード「散歩」の変更の有無、および警備員介入の必要性の有無を判定する。A社サーバ101は、データ、イベント情報に加えて、在宅エリア情報を含む地図情報をB社サーバ111から受信するようにしてもよい。
(ステップS309)
A社サーバ101は、データおよびイベント情報に基づいて、ユーザの安全確保のために警備員の介入が必要性を判定する。この判定は、例えば、ロボット110が撮影した動画データであるカメラ映像を警備員(人間)が確認することで判定しても良い。或いは、A社サーバ101が画像認識技術を用いてカメラ映像からユーザの危険度を算出し、算出した危険度から警備員の介入の必要性を判定しても良い。或いは、A社サーバ101は、音声認識技術または音声からユーザの感情を分析する技術などを用いてロボット110が取得したユーザの音声情報を解析してユーザの危険度を判定し、判定した危険度から警備員の介入の必要性を判定しても良い。或いは、A社サーバ101は、画像認識技術を用いてユーザに危険が発生したことを判定した場合、その発生を示すアラートを警備員の外部端末に送信してもよい。この場合、警備員は外部端末通じてアラートの発生を確認し、現場に出動すればよい。
A社サーバ101は、データおよびイベント情報に基づいて、ユーザの安全確保のために警備員の介入が必要性を判定する。この判定は、例えば、ロボット110が撮影した動画データであるカメラ映像を警備員(人間)が確認することで判定しても良い。或いは、A社サーバ101が画像認識技術を用いてカメラ映像からユーザの危険度を算出し、算出した危険度から警備員の介入の必要性を判定しても良い。或いは、A社サーバ101は、音声認識技術または音声からユーザの感情を分析する技術などを用いてロボット110が取得したユーザの音声情報を解析してユーザの危険度を判定し、判定した危険度から警備員の介入の必要性を判定しても良い。或いは、A社サーバ101は、画像認識技術を用いてユーザに危険が発生したことを判定した場合、その発生を示すアラートを警備員の外部端末に送信してもよい。この場合、警備員は外部端末通じてアラートの発生を確認し、現場に出動すればよい。
A社の警備員の介入には2つの段階がある。1つ目の段階は、遠隔からの警備介入である。警備員は、現場に行かず、ロボット110のセンサー110cと映像音声出力部110fとを介して、現場にいるユーザ、ユーザの近くにいる人、またはユーザに危害を加えようとする人と会話をすることによって危険を回避する措置をとる。2つ目の段階は、現場での警備介入である。警備員は、現場に派遣され、現場にいるユーザの危険を回避する行動をとる。どちらも、ロボット110だけではユーザの安全を確保することが難しいとA社サーバ101またはA社の警備員によって判断された場合に実行される警備サービスである。
ユーザが危険な状態にある場合、ロボット110は後で現場検証が可能となるように、ユーザとユーザの周囲の状況とをセンサー110cを用いてセンシングして、センシングしたデータをA社サーバ101、B社サーバ111、かつ/またはロボット110のメモリ111cに保存しても良い。また、A社サーバ101、B社サーバ111、およびロボット110は、これらのセンシングしたデータを一定期間消去不可とする制御情報と共に共有しても良い。A社サーバ101、B社サーバ111、かつ/またはロボット110は、センシングされたデータが改竄されていないことを証明するためにハッシュ値を算出し、算出したハッシュ値を2箇所以上(例えばC社サーバおよびB社サーバ)で保存しても良い。
(ステップS310)
A社の警備サービスによりユーザは危険を回避して、無事に帰宅する。これで散歩が終了する。
A社の警備サービスによりユーザは危険を回避して、無事に帰宅する。これで散歩が終了する。
(ステップS311)
A社サーバ101は、B社サーバ111からデータおよびイベント情報を受信し、警備モード「散歩」の変更の有無、および警備員介入の必要性の有無を判定する。A社サーバ101は、データ、イベント情報に加えて、在宅エリア情報を含む地図情報をB社サーバ111から受信するようにしてもよい。
A社サーバ101は、B社サーバ111からデータおよびイベント情報を受信し、警備モード「散歩」の変更の有無、および警備員介入の必要性の有無を判定する。A社サーバ101は、データ、イベント情報に加えて、在宅エリア情報を含む地図情報をB社サーバ111から受信するようにしてもよい。
(ステップS312)
A社サーバ101は、ユーザの帰宅により、ユーザ(ロボット110から受信したデータおよびイベント情報)が警備モード「散歩」の条件を満たさず、警備モード「在宅」の条件に該当することを検知し、警備モードを「散歩」から「在宅」に変更するリクエスト情報をB社サーバ111へ送信する。
A社サーバ101は、ユーザの帰宅により、ユーザ(ロボット110から受信したデータおよびイベント情報)が警備モード「散歩」の条件を満たさず、警備モード「在宅」の条件に該当することを検知し、警備モードを「散歩」から「在宅」に変更するリクエスト情報をB社サーバ111へ送信する。
(ステップS313)
リクエスト情報を受信したB社サーバ111は、警備モードを「散歩」から「在宅」に変更する指示をロボット110に出力する。
リクエスト情報を受信したB社サーバ111は、警備モードを「散歩」から「在宅」に変更する指示をロボット110に出力する。
(ステップS314)
B社サーバ111から警備モード(在宅)への更新指示を受けたロボット110は、警備モードを「在宅」に変更する。以降、B社サーバ111から新たな警備モードの指示がない限り、ロボット110の演算部110bは警備モード「在宅」において指定された行動規範にしたがってロボット110が動作するように、可動部110eおよびセンサー110cの制御を継続する。
B社サーバ111から警備モード(在宅)への更新指示を受けたロボット110は、警備モードを「在宅」に変更する。以降、B社サーバ111から新たな警備モードの指示がない限り、ロボット110の演算部110bは警備モード「在宅」において指定された行動規範にしたがってロボット110が動作するように、可動部110eおよびセンサー110cの制御を継続する。
(ステップS315、S316)
ロボット110は、警備モードを「在宅」に更新した後も、ステップS1と同様、データおよびイベント情報をB社サーバ111に継続して送信する。A社サーバ101は、ステップS302と同様、最新のデータおよびイベント情報をB社サーバ111から継続して取得し、警備モードの変更の有無、および警備員の介入の必要性を継続して判定する。A社サーバ101は、データ、イベント情報に加えて、在宅エリア情報を含む地図情報をB社サーバ111から受信するようにしてもよい。
ロボット110は、警備モードを「在宅」に更新した後も、ステップS1と同様、データおよびイベント情報をB社サーバ111に継続して送信する。A社サーバ101は、ステップS302と同様、最新のデータおよびイベント情報をB社サーバ111から継続して取得し、警備モードの変更の有無、および警備員の介入の必要性を継続して判定する。A社サーバ101は、データ、イベント情報に加えて、在宅エリア情報を含む地図情報をB社サーバ111から受信するようにしてもよい。
図17において、A社サーバ101は外部コンピュータおよび第2サーバの一例である。図17において、設定情報およびリクエスト情報は、スマートフォン100(またはそこで実行されるA社アプリ、またはB社アプリ)がB社サーバ111に送信してもよい。この場合、スマートフォン100は外部コンピュータの一例である。この場合、スマートフォン100がB社サーバ111からデータおよびイベント情報を取得し、取得したデータおよびイベント情報に基づいて、警備モードの変更の有無を判定すればよい。図17において、イベント情報は図7と同様、確認情報を含む。確認情報の詳細は図7と同じである。
図18は、図17に対応する、A社サーバ101、B社サーバ111、およびロボット110の処理の一例を示すフローチャートである。
(ステップS401)
ロボット110は、データおよびイベント情報をB社サーバ111に送信する。
ロボット110は、データおよびイベント情報をB社サーバ111に送信する。
(ステップS402)
B社サーバ111は、ロボット110からデータおよびイベント情報を受信する。
B社サーバ111は、ロボット110からデータおよびイベント情報を受信する。
(ステップS403)
A社サーバ101は、B社サーバ111からデータおよびイベント情報を受信する、また設定されている在宅エリア情報をメモリ101c、またはA社アプリから受信する。A社サーバ101は、データ、イベント情報に加えて、在宅エリア情報を含む地図情報をB社サーバ111から受信するようにしてもよい。
A社サーバ101は、B社サーバ111からデータおよびイベント情報を受信する、また設定されている在宅エリア情報をメモリ101c、またはA社アプリから受信する。A社サーバ101は、データ、イベント情報に加えて、在宅エリア情報を含む地図情報をB社サーバ111から受信するようにしてもよい。
(ステップS403)
A社サーバ101は、ユーザ(ロボット110から受信したデータおよびイベント情報)に基づき警備モードの条件と比較することにより、警備モードの変更の要否を判定する。この処理の詳細はステップS204と同じである。A社サーバ101は、警備モードの変更が必要と判定した場合(ステップS403でYES)、処理をステップS404に進める。一方、A社サーバ101は、警備モードの変更が必要ない(現在の警備モードを継続する)と判定した場合(ステップS403でNO)、処理を終了する。
A社サーバ101は、ユーザ(ロボット110から受信したデータおよびイベント情報)に基づき警備モードの条件と比較することにより、警備モードの変更の要否を判定する。この処理の詳細はステップS204と同じである。A社サーバ101は、警備モードの変更が必要と判定した場合(ステップS403でYES)、処理をステップS404に進める。一方、A社サーバ101は、警備モードの変更が必要ない(現在の警備モードを継続する)と判定した場合(ステップS403でNO)、処理を終了する。
(ステップS404)
A社サーバ101は、警備モードの変更の指示をB社サーバ111に送信する。
A社サーバ101は、警備モードの変更の指示をB社サーバ111に送信する。
(ステップS405)
当該指示を受信したB社サーバ111は、A社サーバのアクセス権を確認した上で、当該指示をロボット110に送信する。
当該指示を受信したB社サーバ111は、A社サーバのアクセス権を確認した上で、当該指示をロボット110に送信する。
(ステップS406)
当該指示を受信したロボット110は警備モードを変更する。
当該指示を受信したロボット110は警備モードを変更する。
(ステップS407)
ロボット110は、警備モードの変更結果をB社サーバ111に送信する。
ロボット110は、警備モードの変更結果をB社サーバ111に送信する。
(ステップS408)
B社サーバ111は、変更結果を受信する。
B社サーバ111は、変更結果を受信する。
(ステップS409)
B社サーバ111は変更結果をA社サーバ101に送信する。
B社サーバ111は変更結果をA社サーバ101に送信する。
(ステップS410)
A社サーバ101は、変更結果を受信する。
A社サーバ101は、変更結果を受信する。
(ステップS411)
ロボット110は、変更後の新たな警備モードの開始をユーザに通知する。通知の詳細は、図9、図14、図15で上述した態様と同じである。A社サーバ101が警備モードの判定主体である場合は、上記の処理によって、警備モードの変更を行う。
ロボット110は、変更後の新たな警備モードの開始をユーザに通知する。通知の詳細は、図9、図14、図15で上述した態様と同じである。A社サーバ101が警備モードの判定主体である場合は、上記の処理によって、警備モードの変更を行う。
次に、ロボット110およびユーザの外出の有無、および警備モードの判定主体がロボット110である態様について説明する。図19は、ロボット110およびユーザの外出の有無および警備モードの判定主体がロボット110である場合の情報処理システムの処理の一例を示すシーケンス図である。図19において、図7と同じ処理には同一の符号を付して説明を省く。
図19において、WiFi(登録商標)、Bluetooth(登録商標)、セルラー通信網(4G、5G)などの通信手段を介して、予めスマートフォン100とロボット110とはペアリングを実施している。
(ステップS501)
スマートフォン100(そこで実行されるA社アプリ、またはB社アプリ)は、設定情報およびリクエスト情報をロボット110へ送信する。設定情報およびリクエスト情報の詳細は図7と同じである。
スマートフォン100(そこで実行されるA社アプリ、またはB社アプリ)は、設定情報およびリクエスト情報をロボット110へ送信する。設定情報およびリクエスト情報の詳細は図7と同じである。
(ステップS502)
ロボット110は、センサー110cから継続的に送信されるデータおよびイベント情報と、予め設定された設定情報およびリクエスト情報とに基づいて、ユーザがいずれかの警備モードの条件を満たすか否かを確認する。ここでは、ロボット110は、ユーザが警備モード「在宅」の条件を満たしているので、警備モードを「在宅」に変更する。A社サーバ101は、データ、イベント情報に加えて、在宅エリア情報を含む地図情報をB社サーバ111から受信するようにしてもよい。
ロボット110は、センサー110cから継続的に送信されるデータおよびイベント情報と、予め設定された設定情報およびリクエスト情報とに基づいて、ユーザがいずれかの警備モードの条件を満たすか否かを確認する。ここでは、ロボット110は、ユーザが警備モード「在宅」の条件を満たしているので、警備モードを「在宅」に変更する。A社サーバ101は、データ、イベント情報に加えて、在宅エリア情報を含む地図情報をB社サーバ111から受信するようにしてもよい。
(ステップS503)
ロボット110は、警備モード「在宅」の開始をユーザに通知する。これはステップS10と同じである。
ロボット110は、警備モード「在宅」の開始をユーザに通知する。これはステップS10と同じである。
(ステップS504)
ロボット110は、警備モード「在宅」で継続的に動作する。これはステップS11と同じである。
ロボット110は、警備モード「在宅」で継続的に動作する。これはステップS11と同じである。
(ステップS505)
ロボット110は、警備モード「在宅」に変更されたので、警備モード「在宅」への変更結果をB社サーバ111に送信する。
ロボット110は、警備モード「在宅」に変更されたので、警備モード「在宅」への変更結果をB社サーバ111に送信する。
(ステップS506)
ロボット110は、警備モード「在宅」に変更されたので、警備モード「在宅」への変更結果をスマートフォン100(そこで実行されるA社アプリ、またはB社アプリ)に送信する。
ロボット110は、警備モード「在宅」に変更されたので、警備モード「在宅」への変更結果をスマートフォン100(そこで実行されるA社アプリ、またはB社アプリ)に送信する。
(ステップS507)
ユーザはロボット110と一緒に外出し、散歩を開始する。
ユーザはロボット110と一緒に外出し、散歩を開始する。
(ステップS508)
ロボット110は、ユーザが警備モード「散歩」の条件を満たすので、警備モードを「散歩」に変更する。
ロボット110は、ユーザが警備モード「散歩」の条件を満たすので、警備モードを「散歩」に変更する。
(ステップS509)
ロボット110は、警備モード「散歩」の開始をユーザに通知する。通知の詳細は上述した図14~図16と同じである。
ロボット110は、警備モード「散歩」の開始をユーザに通知する。通知の詳細は上述した図14~図16と同じである。
(ステップS510)
ロボット110は、警備モード「散歩」で継続的に動作する。
ロボット110は、警備モード「散歩」で継続的に動作する。
(ステップS511)
ロボット110は、警備モード「散歩」に変更したので、警備モード「散歩」への変更結果をB社サーバ111に送信する。
ロボット110は、警備モード「散歩」に変更したので、警備モード「散歩」への変更結果をB社サーバ111に送信する。
(ステップS512)
ロボット110は、警備モード「散歩」に変更したので、警備モード「散歩」への変更結果をスマートフォン100に送信する。
ロボット110は、警備モード「散歩」に変更したので、警備モード「散歩」への変更結果をスマートフォン100に送信する。
図19において、スマートフォン100(そこで実行されるA社アプリ、またはB社アプリ)は外部コンピュータの一例である。図19において、設定情報およびリクエスト情報は、スマートフォン100、A社アプリ、またはB社アプリがB社サーバ111を介して(または介さずに)、ロボット110に送信してもよい。または、設定情報およびリクエスト情報はA社サーバ101から、B社サーバ111を介して(または介さずに)、ロボット110に送信されても良い。この場合、A社サーバ101は外部コンピュータの一例である。図19において、イベント情報は図7と同様、確認情報を含む。確認情報の詳細は図7と同じである。
図20は、図19に対応する、ロボット110の処理の一例を示すフローチャートである。
(ステップS601)
ロボット110は、センサー110cを用いてユーザの状態および周辺をセンシングする。これにより、ユーザの生体活動情報および周辺情報が得られる。
ロボット110は、センサー110cを用いてユーザの状態および周辺をセンシングする。これにより、ユーザの生体活動情報および周辺情報が得られる。
(ステップS602)
ロボット110は、ユーザ(ロボット110から受信したデータおよびイベント情報)がいずれかの警備モードの条件を満たすか否かにより、警備モードの変更の要否を判定する。この判定の詳細は、ステップS204と同じである。
ロボット110は、ユーザ(ロボット110から受信したデータおよびイベント情報)がいずれかの警備モードの条件を満たすか否かにより、警備モードの変更の要否を判定する。この判定の詳細は、ステップS204と同じである。
(ステップS603)
ロボット110は、警備モードの変更が必要と判定した場合(ステップS603でYES)、処理をステップS604に進める。一方、ロボット110は、警備モードの変更が必要ないと判定した場合(ステップS603でNO)、処理を終了する。この場合は現行の警備モードが継続される。
ロボット110は、警備モードの変更が必要と判定した場合(ステップS603でYES)、処理をステップS604に進める。一方、ロボット110は、警備モードの変更が必要ないと判定した場合(ステップS603でNO)、処理を終了する。この場合は現行の警備モードが継続される。
(ステップS604)
ロボット110は、警備モードを変更する。例えば、ロボット110は、現在の警備モード「在宅」から、警備モード「散歩」に変更する。勿論、その逆の場合もある。
ロボット110は、警備モードを変更する。例えば、ロボット110は、現在の警備モード「在宅」から、警備モード「散歩」に変更する。勿論、その逆の場合もある。
(ステップS605)
ロボット110は、変更後の警備モードの開始をユーザに通知する。この場合、上述した図14、または図15のような通知が行われる。
ロボット110は、変更後の警備モードの開始をユーザに通知する。この場合、上述した図14、または図15のような通知が行われる。
図21は、ロボット110における必要警備度の更新処理の一例を示すフローチャートである。
必要警備度とは、ユーザの状態およびユーザの周囲状況に応じて、ロボット110がユーザの安全を確保する必要性の度合を総合的に評価した指標である。
危険度の判定の結果、必要警備度は0(最小)から3(最大)までの値で表現される。この値に応じて、現在適用している警備モードと組み合わされて、具体的なロボット110の行動が決定される。
(ステップS6001)
ロボット110は、センサー110cがセンシングしたユーザの状態を示すデータ及びユーザの周囲状況を示すセンシングデータを取得する。センシングデータは、例えばカメラ映像、デプスイメージ、赤外線画像、マイク音声、触覚センサー値、気温・湿度・気圧センサー値、かつ/または位置情報などである。ロボット110は、外部のセンサーがセンシングしたセンシングデータをネットワークを介して取得しても良い。外部センサーは、例えば、ユーザのウェアラブルデバイスが有するセンサー、街角に設置されたカメラ、インターネット通信網を介して取得できるロボット110の位置情報に該当する天気予報情報、道路交通情報などである。
ロボット110は、センサー110cがセンシングしたユーザの状態を示すデータ及びユーザの周囲状況を示すセンシングデータを取得する。センシングデータは、例えばカメラ映像、デプスイメージ、赤外線画像、マイク音声、触覚センサー値、気温・湿度・気圧センサー値、かつ/または位置情報などである。ロボット110は、外部のセンサーがセンシングしたセンシングデータをネットワークを介して取得しても良い。外部センサーは、例えば、ユーザのウェアラブルデバイスが有するセンサー、街角に設置されたカメラ、インターネット通信網を介して取得できるロボット110の位置情報に該当する天気予報情報、道路交通情報などである。
(ステップS6002)
ロボット110は、取得したセンシングデータを解析して得られるユーザの危険度から、ユーザの必要警備度を判定する。以下、必要警備度の判定値に応じて説明する。
ロボット110は、取得したセンシングデータを解析して得られるユーザの危険度から、ユーザの必要警備度を判定する。以下、必要警備度の判定値に応じて説明する。
(ステップS6003)
ロボット110の演算部110bは、センサー110cの情報からユーザの周囲に危険な物体や接近者がいないと判断した場合、必要警備度が0(最も低い危険度)と判定する。ロボット110の演算部110bはユーザの散歩を支援する動作を行うようロボット110の可動部110e、照明部110gなどを制御し、処理をステップS6001に戻す。例えば、ロボット110は照明部110gを用いてユーザの進行方向前方に、散歩の目標歩数、散歩の目標消費カロリー、散歩の目標散歩時間、散歩を始めてからの歩数、今日の歩数、今日の目標歩数までの残歩数、心拍数、消費カロリー、散歩の経過時間、かつ/または残りの予想散歩時間を表示しても良い。
ロボット110の演算部110bは、センサー110cの情報からユーザの周囲に危険な物体や接近者がいないと判断した場合、必要警備度が0(最も低い危険度)と判定する。ロボット110の演算部110bはユーザの散歩を支援する動作を行うようロボット110の可動部110e、照明部110gなどを制御し、処理をステップS6001に戻す。例えば、ロボット110は照明部110gを用いてユーザの進行方向前方に、散歩の目標歩数、散歩の目標消費カロリー、散歩の目標散歩時間、散歩を始めてからの歩数、今日の歩数、今日の目標歩数までの残歩数、心拍数、消費カロリー、散歩の経過時間、かつ/または残りの予想散歩時間を表示しても良い。
(ステップS6004)
ロボット110の演算部110bは、センサー110cの情報からユーザの周囲に危険な物体があると判断した場合、必要警備度が1(低い危険度)と判定する。ロボット110の演算部110bは散歩するユーザの怪我の防止を支援する動作を行うようロボット110の可動部110e、照明部110gなどを制御し、検出した危険部に対して照明を当てる注意喚起、危険部を迂回するルート選択などの処理を行い、処理をステップS6001に戻す。例えば、ロボット110は照明部110gを用いてユーザの周辺にある危険なオブジェクトに光を照射して、オブジェクトに関する注意喚起をしても良い。危険なオブジェクトとは、所定の大きさをもつ路面の凹凸または段差、および進行方向前方にある障害物などである。
ロボット110の演算部110bは、センサー110cの情報からユーザの周囲に危険な物体があると判断した場合、必要警備度が1(低い危険度)と判定する。ロボット110の演算部110bは散歩するユーザの怪我の防止を支援する動作を行うようロボット110の可動部110e、照明部110gなどを制御し、検出した危険部に対して照明を当てる注意喚起、危険部を迂回するルート選択などの処理を行い、処理をステップS6001に戻す。例えば、ロボット110は照明部110gを用いてユーザの周辺にある危険なオブジェクトに光を照射して、オブジェクトに関する注意喚起をしても良い。危険なオブジェクトとは、所定の大きさをもつ路面の凹凸または段差、および進行方向前方にある障害物などである。
危険なオブジェクトに光を照明することに代えて、もしくは加えて、ロボット110は、危険なオブジェクトを検知した場合、可動部110eを制御し、ユーザの前方または横に移動して、ユーザが危険なオブジェクトから一定の距離をとった安全なルートを歩行するようにユーザを誘導しても良い。
(ステップS6005)
ロボット110の演算部110bは、センサー110cの情報からユーザの周囲に危険な人物(または他者)がいると判断した場合、必要警備度が2(高い危険度)に設定する。ロボット110の演算部110bは、散歩するユーザの安全を確保する動作を行うようロボット110の可動部110eなどを制御し、処理をステップS6001に戻す。例えば、ロボット110は照明部110gを用いて、ユーザの周辺に、ユーザがロボット110により警備されていることを示す情報を表示する。警備されていることを示す情報は、例えば、ユーザを囲む光の輪、警備会社であるA社のロゴ、および「警備中」の文字などである。
ロボット110の演算部110bは、センサー110cの情報からユーザの周囲に危険な人物(または他者)がいると判断した場合、必要警備度が2(高い危険度)に設定する。ロボット110の演算部110bは、散歩するユーザの安全を確保する動作を行うようロボット110の可動部110eなどを制御し、処理をステップS6001に戻す。例えば、ロボット110は照明部110gを用いて、ユーザの周辺に、ユーザがロボット110により警備されていることを示す情報を表示する。警備されていることを示す情報は、例えば、ユーザを囲む光の輪、警備会社であるA社のロゴ、および「警備中」の文字などである。
或いは、ロボット110は映像音声出力部110fを用いて、不審者に対して注意喚起または威嚇をする音声を出力しても良い。注意喚起は、例えばA社がユーザの警備中であることの不審者への通知である。威嚇は、例えばA社がユーザを警備中で即座に通報が可能であることの不審者への通知である。
或いは、ロボット110は可動部110eを制御することで、ユーザと不審者とが一定の距離を保つよう、ユーザと不審者との間の位置に移動しても良い。
(ステップS6006)
ロボット110の演算部110bは、センサー110cの情報からユーザの周囲から危険な人物(または他者)が排除できていないと判断した場合、かつ/または、ロボット110の映像音声出力部110f、可動部110e、照明部110gを用いた警備で上記の危険な人物(または他者)がユーザから一定の距離をとっていない場合には、必要警備度が3(最も高い危険度)に設定する。この場合、ユーザは警備員(人)を介した警備が必要な危険な状況にあるので、ロボット110の演算部110bは散歩中のユーザの安全を確保するためのA社の警備員の要請信号をA社サーバ101に送信し、処理をステップS6001に戻す。例えば、ロボット110はセンサー110cと映像音声出力部110fとを用いて、警備員に不審者と直接に話をさせることで、ユーザの安全を確保しても良い。ユーザがより危険な状況にある場合、または警備員による遠隔警備を実施しても危険な状態が続く場合、ロボット110は、A社の警備員を現場に出動させる出動要請をA社サーバ101に送信してもよい。或いは、ロボット110は警察に通報してもよい。この通報は、音声、文字、かつ/またはカメラ映像を用いて、現場の位置および現場状況を知らせる情報を含むものであってもよい。
ロボット110の演算部110bは、センサー110cの情報からユーザの周囲から危険な人物(または他者)が排除できていないと判断した場合、かつ/または、ロボット110の映像音声出力部110f、可動部110e、照明部110gを用いた警備で上記の危険な人物(または他者)がユーザから一定の距離をとっていない場合には、必要警備度が3(最も高い危険度)に設定する。この場合、ユーザは警備員(人)を介した警備が必要な危険な状況にあるので、ロボット110の演算部110bは散歩中のユーザの安全を確保するためのA社の警備員の要請信号をA社サーバ101に送信し、処理をステップS6001に戻す。例えば、ロボット110はセンサー110cと映像音声出力部110fとを用いて、警備員に不審者と直接に話をさせることで、ユーザの安全を確保しても良い。ユーザがより危険な状況にある場合、または警備員による遠隔警備を実施しても危険な状態が続く場合、ロボット110は、A社の警備員を現場に出動させる出動要請をA社サーバ101に送信してもよい。或いは、ロボット110は警察に通報してもよい。この通報は、音声、文字、かつ/またはカメラ映像を用いて、現場の位置および現場状況を知らせる情報を含むものであってもよい。
必要警備度は、ロボット110の外部コンピュータ、例えば、B社サーバ111、A社サーバ101、スマートフォン100、そこで実行されるA社アプリ、B社アプリの何れかが判定しても良い。この場合には、ロボット110はセンサー110cによりセンシングしたデータ、それを演算部110bで処理したイベント情報、さらには現在ロボット110が適用している必要警備度情報を該当の外部コンピュータに対してネットワークを介して送信することによって、その外部コンピュータから必要警備度をロボット110の通信部110aが受信するようにしても良い。
図22は、A社アプリを起動した直後にスマートフォン100に表示されるホーム画面2100の一例を示す図である。ホーム画面2100は、「在宅時の警備設定」と記載されたボタン2101と、「B社ロボットとの外出(散歩)時の警備設定」と記載されたボタン2102と、「緊急時の連絡先」と記載されたボタン2103とを含む。
ボタン2101は、ユーザとロボット110との在宅時におけるロボット110の警備に関する諸設定を行うボタンである。ボタン2102は、ユーザとロボット110とが一緒に散歩をする時におけるロボット110の警備に関する諸設定を行うボタンである。ボタン2103は、緊急事態が起こったユーザの危険を通知する相手の連絡先、またはその通知を行う条件を設定するボタンである。
ユーザはスマートフォン100にインストールしているA社アプリを起動して、ボタン2102をタッチ操作または音声操作で選択すると、図23の設定画面2200が表示される。
図23は、設定画面2200の一例を示す図である。設定画面2200は、ユーザとロボットとが散歩を行う際に、ロボット110がどのようにユーザを伴走するか、どのような危険に対してどのような対応を取るか、散歩に関してどのような補足情報をユーザに通知するか、などを設定する画面である。
「伴走のホーム方向」と記載された設定欄2201は、ロボット110がユーザを伴走する際に、ロボット110のホーム方向を、プルダウンメニューを用いてユーザに設定させる欄である。ホーム方向は、ホーム位置の方向である。ホーム位置は、伴走時にロボット110がユーザに対して相対的に位置する場所である。ホーム方向は、ユーザの進行方向を基準とした場合におけるロボット110のホーム位置が位置する方向である。
例えば、設定欄2201のプルダウンメニューは、ユーザの正面を示す「前方」と、「前方」から45度時計周りに位置する「右斜め前」と、さらに45度時計回りに位置する「右横」と、さらに45度時計回りに位置する「右斜め後ろ」と、さらに45度時計回りに位置する「後方」と、さらに45度時計回りに位置する「左斜め後ろ」と、さらに45度時計回りに位置する「左横」と、さらに45度時計回りに位置する「左斜め前」と、から1つが選択可能に構成されている。この図ではユーザは「右斜め前」を設定しているため、ロボット110はユーザの「右斜め前」の方向をホーム方向として移動する。ロボット110は指定されたホーム方向を維持するように、センサー110cが取得したカメラ映像などを用いてユーザの位置とユーザの進行方向とをセンシングし、センシング結果に基づいて可動部110eを制御して自己位置を調整する。
「伴走のホーム距離」と記載された設定欄2202は、ホーム距離をスライドバーを用いてユーザに設定させる欄である。ホーム距離は伴走時におけるロボット110とユーザとの距離である。例えば、スライドバーは1mから5mまでの範囲内でホーム距離が設定可能に構成されている。この図ではユーザは2m辺りを設定しているため、ロボット110は基本的にはユーザから2mほど離れた距離を維持するように、可動部110eを制御して移動する。ロボット110は指定されたホーム距離を維持するように、センサー110cが取得したカメラ映像およびデプスイメージなどを用いてユーザの位置をセンシングし、自己位置を修正する。
「足元の照明」と記載された設定欄2203は、ロボット110がユーザの足元からユーザの進行方向の路面を照明する足元の照明の機能のON/OFFを設定する欄である。この図ではユーザは「ON」を設定しているため、ロボット110は散歩するユーザの足元を照明するように、照明部110gのビーム方向を制御する。なお、照明部110gがビーム方向を変更できないものである場合、ロボット110は、照明部110gを含む一部分の傾きを可動部110eを用いて変更することで、ビーム方向を制御しても良い。ロボット110は進行方向を示す照明が散歩中に維持されるように、センサー110cが取得したカメラ映像などを用いてユーザの位置とユーザの進行方向とをセンシングし、センシング結果に基づいて、照明部110gかつ/または前記一部分の傾きを調整すれば良い。
一方、照明機能が「OFF」の場合、ロボット110はユーザの足元の照明の機能を作動させない。
足元の照明を継続することで、ロボット110がユーザの安全を確保していることを周辺の人に認知させることができる。その結果、足元の照明の機能を「ON」にすることで、ユーザが不審者から危険な目にあうことを避ける効果も期待できる。
「危険物の注意喚起」と記載された設定欄2204は、ロボット110がユーザの前方にある危険物に対して照明(スポットライト)かつ/または音声による呼びかけを行う、危険物の注意喚起の機能のON/OFFを設定する欄である。この図ではユーザは「ON」を設定しているため、ロボット110は散歩するユーザの進行方向(前方)にある危険物にスポットライトを照射したり、危険物の注意喚起の音声を出力したりする。ロボット110は、センサー110cが取得したカメラ映像およびデプスイメージなどを用いてユーザの進行方向および周囲にある危険物を検知し、その危険物を照明するように、照明部110gかつ/または照明部110gを含む一部分の傾きを調整すればよい。ロボット110は、映像音声出力部110fを用いて危険物があることをユーザに伝えても良い。ロボット110は、危険物を検知した場合、ロボット110がホーム位置からユーザの前に移動し、ユーザが通るべき安全なルートをユーザに誘導しても良い。この場合、ユーザが危険物を通過したら、ロボット110は再びホーム位置に戻ればよい。
一方、危険物の注意喚起の機能が「OFF」に設定されると、ロボット110は危険物の注意喚起を行わない。
危険物は、例えば、所定サイズ以上の大きさをもつ、路面の凹凸、路面の段差、およびユーザの進行方向側にある障害物などである。あるいは、危険物は、例えば、ユーザに近づいてくる車両および自転車などである。
「周囲への注意喚起」と記載された設定欄2205は、ロボット110がユーザの周囲の人物を含む移動体に対して、ユーザの存在を分かり易く演出または通知する機能のON/OFFを設定する欄である。移動体は、例えば、人物の他、人が運転する、車および自転車と、コンピュータ制御によって自律的に移動を行う物体または車両とを含む。この機能により、ロボット110によりユーザが警備されていることを周囲の人に認知させることができる。この図ではユーザは周囲への注意喚起の機能を「ON」を設定しているため、ロボット110は散歩中のユーザの周囲にある、または近づいてくる、移動体に対して、ユーザの存在を分かり易く演出したり、通知したりする。
ロボット110はセンサー110cが取得したカメラ映像およびデプスイメージなどを用いてユーザの周囲にある、または近づいてくる移動体を検知する。ロボット110は、必要に応じて、検知した移動体に対して、照明部110gを用いて、路面などに情報を表示したり、ユーザに照明を当ててユーザを認知し易くしたり、映像音声出力部110fを用いて音声により移動体に呼び掛けたりする。
また、別のロボット、自動運転車、およびドローンなどの自律移動する移動体がユーザに接近する場合、ロボット110は、通信部110aを用いて、ユーザの現在位置情報かつ/またはロボット110の存在を示す無線通信信号(例えばビーコン)を周囲にブロードキャストしてもよい。これにより、ユーザとロボット110との接触を回避できる。
一方、周囲への注意喚起の機能が「OFF」に設定されると、ロボット110はユーザの周囲または近づいてくる移動体に対する注意喚起を行わない。
「注意喚起半径」と記載された設定欄2206は、「周囲への注意喚起」を行う条件である。この図では、注意喚起半径が5mほどに設定されているため、ユーザからの距離が5m以内にある人物または移動体に対して、ユーザの存在を示す注意喚起が行われる。「周囲への注意喚起」の機能が「OFF」の場合は、注意喚起半径は無効化される。
「歩数の通知」と記載された設定欄2207は、ロボット110がユーザの歩数情報をユーザに通知する機能のON/OFFを設定する欄である。この図ではこの機能が「ON」に設定されているため、ロボット110は散歩するユーザの歩数情報をユーザに通知する。例えば、ロボット110は、映像音声出力部110fを用いて、散歩を開始してからの歩数を1000歩単位でユーザに通知する音声を出力する。ロボット110は、ユーザの今日の歩数をロボットが照明部110gを用いて路面に表示することで、ユーザに歩数情報を通知しても良い。
一方、この機能が「OFF」に設定されると、ロボット110はユーザの歩数情報を散歩中に通知しない。
「生体情報の通知」と記載された設定欄2208は、ロボット110がユーザの生体活動情報をユーザに通知する機能のON/OFFを設定する欄である。この図では「OFF」が設定されているため、ロボット110はユーザの生体活動情報を散歩中に通知しない。この機能が「ON」に設定されると、ロボット110は、上記の「歩数の通知」と同様に、映像音声出力部110fおよび照明部110gを用いて、ユーザの心拍数、血圧、体温、および活動量(消費カロリー)などの生体活動情報をユーザに通知する。
このように設定画面2200を通じて、ユーザは散歩中にロボット110が行う様々な動作について自分の好みに応じた設定を予め行うことができる。これによって、ユーザは、一定の危険を伴う散歩を、ロボット110を用いて、より安全に実施することができる。また、安全に散歩ができるといった安心感をユーザに与え、ユーザの健康維持の機会を増大し、精神的な安定を図ることができる。
図24は、本実施の形態の他の一例の設定画面2300を示す図である。「在宅エリアの半径」の設定欄2301は、図10で示す半径804を設定する欄である。ここでは、ユーザは、スライドバーを用いて10m~100m範囲内で半径804を入力できる。この例では、半径が約30mに設定されている。そのため、住居の中心から約30mの範囲内が在宅エリア802に設定される。
「伴走のホーム位置」と記載された設定欄2302は、ホーム位置を設定する欄である。設定欄2302は、ロボット110とユーザとを上から俯瞰するように、ロボット110のアイコンとユーザのアイコンとを表示する。ユーザは、ロボット110のアイコンを指Yで移動させることで、ホーム位置を設定する。なお、設定欄2302は、上述のホーム方向およびホーム距離をユーザに入力させることで、ホーム位置を設定してもよい。ユーザは、例えば、「左横を走って」といった音声を発話することでホーム位置を設定してもよいし、ジェスチャー入力によりホーム位置を設定してもよい。
ロボット110は、センサー110cにより、ユーザの散歩、ユーザのジョギング、ユーザのサイクリングなどのユーザの状態をセンシングし、センシングしたユーザの状態に応じてホーム位置を調整してもよい。ロボット110は、歩道などの道路の種類、道路の幅、道路の段差の有無、周囲の人および車の交通量などの周辺の状況に基づいて動的にホーム位置を調整してもよい。
例えば、人が周囲にいないことをセンサー110cで検知した場合、ロボット110はユーザが設定したホーム位置である右斜め前でユーザを伴走する。一方、ユーザの周囲の人が多くなった場合、またはユーザが人とすれ違う場合、ロボット110は、ユーザと、周囲にいる人またはすれ違う人と、の邪魔にならない位置に一時的に移動してユーザを伴走してもよい。邪魔にならない位置は、例えば、ユーザの進行方向に対してユーザの真正面および真後などである。
ロボット110がユーザの体を画像認識して追従する場合、ロボット110はユーザの後方に位置して追従していくのが自然である。しかし、後方からではユーザの進行方向を照射できない、および前方の危険物を検知できないなど、ユーザの安全性を確保する上でのデメリットが生じる。そこで、ロボット110は、ユーザの後方ではない領域にホーム位置が設定されており、そのホーム位置から、ユーザの進行方向を照射したり、前方の危険物を検知したりしてもよい。
なお、本実施の形態の設定画面は、設定画面2200の設定欄と設定画面2300の設定欄との両方の設定欄を重複しないように含むものであってもよい。
設定画面2200、2300は、通信端末の画面に表示されるグラフィカルユーザインタフェースの一例である。
設定欄2303は、警備モード「散歩」を実施中のロボット110の目の画像デザインを設定する欄である。ここで設定された目の画像デザインが図15で説明したように用いられる。
設定欄2304は、ロボット110の行動規範、または警備モードが切り替わったことをユーザに通知するために行う可動部110eを用いた挙動の制御のON/OFFを設定する欄である。設定欄2305は、警備会社A社のロゴマークを映像音声出力部110fに表示させる制御ON/OFFを設定する欄である。設定欄2306は、警備会社A社のサウンドロゴを映像音声出力部110fにて音声出力させる制御のON/OFFを設定する欄である。これらをそれぞれONにすることで、可動部110e、映像音声出力部110fを制御して図9のような特定の挙動や音声出力をロボット110に行わせることが可能となる。
図25、図26、及び図27は警備モード「散歩」の第1例を示す図である。図25は、上記の「足元の照明」の一例を示している。図25の例では、ロボット110はユーザの後方に位置する。図25において、ロボット110の中心位置であるロボット位置131は小さな「×印」で示され、ユーザの中心位置であるユーザ位置130は大きな「×印」で示されている。図25において、ユーザの足元からユーザの移動方向D1の前方に延びる楕円領域はロボット110が照明部110gによってユーザの足元を照明する足元領域120である。
足元領域120は長軸方向がユーザの移動方向D1を向いている。このようにロボット110は足元領域120を照射することで、路面の状態をユーザに容易に視認させることができる。それによって、ユーザは散歩中に転倒して怪我をするリスクが軽減され、安全に散歩ができる。尚、ロボット110は、センサー110cによる周囲の輝度の測定結果が明るい場所または昼間であることを示す場合は、「足元の照明」の機能が「ON」に設定されていても、この機能を「OFF」にしても良い。また、「ローバッテリーイベント情報」を発行した場合、ロボット110は、足元領域120の、範囲を狭めたり、輝度を下げたりして、バッテリーの消費電力を抑制してもよい。
図26は、上記の「危険物の注意喚起」の一例を示している。この例では、ロボット110はユーザの移動方向D1にある立ち入り禁止を示すパイロンを危険物として検出して、その危険物にスポットライトの照明を照射している。このシーンにおいて、必要警備度は1である。危険領域122は、ロボット110が認識した危険物に照明を照射する領域である。危険領域122が照明部110fにより照射されることで、ユーザはそこに危険物があることを容易に視認できる。図26の例では、危険領域122は、危険物程度のサイズを有する円である。
ロボット110は、センサー110cが取得したセンシングデータからSLAM(Simultaneous Localization and Mapping)などの技術を用いて、ユーザの周辺のマップを生成すればよい。そして、ロボット110は、このマップを利用して、ユーザ位置130、ロボット位置131、および危険物の位置などを常時算出すればよい。ロボット110は、ユーザの正面の向きまたはユーザ位置130の履歴などからユーザの移動方向D1を算出し、移動方向D1を基準に左右に所定距離内にあり、かつ、ユーザ位置130から移動方向D1の前方に所定距離以内にあるオブジェクトを危険物として判定すればよい。
ロボット110は、足元領域120に加えて、ユーザに対して推奨する進行ルートを示す進行ルート領域121を路面に照射してもよい。進行ルート領域121は、足元領域120から進行方向に伸びる矢印形状を有する。この矢印形状は、危険物を避けるために推奨する進行ルートに沿った形状を有する。これにより、推奨される進行ルートが照射され、ユーザは推奨する進行ルートを歩行できる。ロボット110は、ユーザ位置130、ロボット位置131、危険物位置133、および道幅の情報に基づいて推奨する進行ルートを算出すればよい。推奨する進行ルートの算出処理としては、例えば自動運転において危険物を回避するための走行ルートを算出する経路探索アルゴリズムが採用される。
このように「危険物の注意喚起」を行う場合、ロボット110は、足元領域120だけではなく、進行ルート領域121または危険領域122を照射する必要がある。そのためロボット110は、これらの領域を照射する場合、指定されたホーム位置を離れて、これらの領域を照明部110fにより照射し易い位置に移動し、照射がしやすい姿勢にて、これらの領域を照射すればよい。図27の例では、ロボット110はユーザの前方を広い範囲で照射できるように、ユーザの左斜め後方であってホーム位置134の手前の放射位置132に移動する。前方に照射対象がある場合には、ロボット110はユーザの前方の左横から右横までの領域内の位置に移動しても良い。
図27のシーンでは、ロボット110は、をユーザ位置130とユーザの移動方向D1とのセンシング結果に基づき、予め指定されたホーム位置134を計算し、ホーム位置134に位置しながらユーザを伴走している。ロボット110は、周辺をセンシングし、右斜め前方のパイロンを危険物として検知し、危険物を避ける進行ルートにユーザを誘導するために足元領域120の先端側を左側に湾曲させている。
さらに、ロボット110は、危険物であるパイロンの形状に合わせて三角形状の危険領域122を照射している。危険領域122は、足元領域120と異なる色であってもよい。例えば、足元領域120が白色、危険領域122が赤色であってもよい。危険領域122は、ユーザの認知を促すために、点滅されてもよい。この点滅周期は危険物とユーザとの距離に応じて変化してもよい。例えば、危険物とユーザとの距離が近くづくほど点滅周期は短くされてもよい。これにより、ユーザは危険物を容易に認知できる。
危険領域122の形状、色、および点滅パターンはこれらに限定されず、周辺環境からユーザが危険物を識別できる態様であればどのような態様が採用されてもよい。例えば、危険領域122は、形状、色、および点滅パターンの1つ以上が制御されても良い。また、足元領域120も、色および点滅パターンの1つ以上が制御されてもよい。この場合、足元領域120は、危険領域122と異なる態様で制御される。
図27において、ホーム位置134の中のロボット位置131に位置するロボット110は、ロボット110と危険物との間にユーザが位置するため、足元領域120および危険領域122を同時に照射できない、または、効果的に照射できない。これ以外にも、ロボット110の照明部110gの照射範囲がロボット110の進行方向のみである場合、または照明部110gが進行方向と逆方向を照射できない構造を有している場合など、ロボット110が足元領域120および危険領域122を同時に照らすことが困難な理由は様々にあり得る。
このように足元領域120と危険領域122とを同時に照射する必要があり、ホーム位置134の中からでは効率的に全ての照射対象を照射できない場合には、ロボット110は可動部110eを制御し、ロボット位置131から、足元領域120と危険領域122とを同時に照射するのに適した放射位置132へと一時的に移動する。放射位置132は、ユーザに対する相対位置を変更しようとするロボット110が、所定の時刻において到達すべき目標位置として決定されうる。
ロボット110は、移動後の放射位置132において新たに危険物を検知して、ユーザの移動方向D1に複数の危険物を検知した場合、複数の危険物を照射する複数の危険領域122と、足元領域120とが同時に照射できる新たな放射位置132を決定し、新たに決定した放射位置132に一時的に移動してもよい。
図27において、ロボット110は、ユーザ位置130の左斜め後方に厚みを持った円弧状の放射領域123を決定し、放射領域123内に放射位置132を決定し、放射位置132に移動して、足元領域120および危険領域122を照射する。放射領域123は、ユーザ位置130、ロボット位置131、危険物位置133、および照明部110gの照射範囲に基づいて算出された、危険領域122および足元領域120の両方が照射可能な領域である。放射領域123は、例えば、ユーザ位置130、移動方向(または移動方向と移動スピードの両方を示す移動ベクトル)D1、危険物位置133、および照明部110gの照射範囲を入力とし、放射領域123を出力とする計算モデルを用いて、演算部110bが計算してもよい。
放射位置132は、例えば、放射領域123においてロボット位置131に最も近い位置である。但し、これは一例であり、放射位置132は、放射領域123内であればどのような位置であってもよい。なお、ロボット110は、放射領域123を算出することなく、ユーザ位置130、ロボット位置131、危険物位置133、および照明部110gの照射範囲に基づいて、放射位置132を算出してもよい。ロボット110は、危険物の照射が不要になると、再びホーム位置134の中へ移動し、足元領域120の照射だけを継続する。
図28は、ホーム位置134から放射位置132に移動する際のロボット110の挙動を示す図である。時刻t0においてロボット110は危険物を検知していない、または、危険物を検知していてもユーザから危険物までの距離が所定距離以上である。そのため、ロボット110は、ホーム位置134の中のロボット位置131を維持してユーザを伴走する。
時刻t0+dtにおいて、ロボット110は、危険物を検知し、危険物位置133と足元領域120の両方を照射するため、両方が効率的に照射できる放射領域123の内で、現在のロボット位置131から一番近い放射位置132への移動を開始する。同時にロボット110は、足元領域120の長軸方向を左側に向け、危険物を避ける進行ルートにユーザを誘導する。さらに、ロボット110は、危険物位置133に対する危険領域122の照射も開始する。但し、ロボット110は、放射位置132に到達していないので、危険物位置133の一部しか照射できていない。
時刻t0+2*dtにおいて、ロボット110は放射位置132に移動している。ロボット110は、ユーザ位置130、移動方向D1、危険物位置133の検知を継続し、足元領域120と危険領域122との更新を継続する。足元領域120はユーザが危険物を避けるように長軸方向が左側に傾斜した形状を有している。放射位置132に移動したので、危険領域122は危険物の全域を照射できている。これにより、ユーザは、危険物および変更された進行ルートを認識し、進行方向を左側へ曲げて、危険物を避けた安全な歩行を実現できる。
時刻t0+3*dtにおいて、ユーザは危険物を通過している。ロボット110は、ユーザ位置130、移動方向D1、ロボットの位置131、危険物位置133の検知を継続し、足元領域120および危険領域122の照射に適した放射領域123、さらにその中の放射位置132の更新を継続し、ユーザを伴走する。これにより、ユーザは、危険物および変更された進行ルートを認識し、危険物を通過する。
図28に示すように、ロボット110は、ホーム位置134から放射位置132の移動中にも、足元領域120および危険領域122への照射を継続する。
図29は、警備モード「散歩」の第1例におけるロボット110の処理の一例を示すフローチャートである。
(ステップS801)
ロボット110は、センサー110cを用いて周辺情報を取得する。周辺情報はユーザ位置130、移動方向D1、ロボット位置131、および危険物位置133を含む。
ロボット110は、センサー110cを用いて周辺情報を取得する。周辺情報はユーザ位置130、移動方向D1、ロボット位置131、および危険物位置133を含む。
例えば、ロボット110は、センサー110cが取得したカメラ映像を、オブジェクトの種類を特定する識別器に入力することで、ユーザの周辺にある危険物を検出し、検出した危険物のロボット110からの距離を、センサー110cが取得したデプスイメージから抽出することで危険物位置133を検出すればよい。
同様に、ロボット110は、センサー110cが取得したカメラ映像を、識別器に入力することで、ユーザを検出し、検出したユーザのロボット110からの距離を、センサー110cが取得したデプスイメージから抽出することでユーザ位置130を検出すればよい。
例えば、ロボット110は、センサー110cの位置センサーが取得した位置情報からロボット位置131を検出すればよい。
例えば、ロボット110は、ユーザ位置130の履歴またはカメラ映像から検出したユーザの正面の向きから移動方向D1を検出すればよい。
(ステップS802)
ロボット110は、ユーザの移動方向D1側に危険物があるか否かを検知する。ユーザの移動方向D1側に危険物を検知しなかった場合(ステップS802でNO)、処理はステップS803に進み、ユーザの移動方向D1側に危険物を検知した場合(ステップS802でYES)、処理はステップS804に進む。ユーザの移動方向D1側とは、ユーザの前方を指す。ユーザの前方とは、ユーザの移動方向D1と、移動方向D1を中心として左右に90度ずつ開いた角度内に含まれる方向とを含む。
ロボット110は、ユーザの移動方向D1側に危険物があるか否かを検知する。ユーザの移動方向D1側に危険物を検知しなかった場合(ステップS802でNO)、処理はステップS803に進み、ユーザの移動方向D1側に危険物を検知した場合(ステップS802でYES)、処理はステップS804に進む。ユーザの移動方向D1側とは、ユーザの前方を指す。ユーザの前方とは、ユーザの移動方向D1と、移動方向D1を中心として左右に90度ずつ開いた角度内に含まれる方向とを含む。
例えば、ロボット110は、検出した危険物位置133がユーザの前方を示す所定領域内に位置する場合、ユーザの進行方向側に危険物があると判定すればよい。
(ステップS803)
ロボット110の演算部110bは、必要警備度を0に設定する。
ロボット110の演算部110bは、必要警備度を0に設定する。
ロボット110は、足元領域120を照射するのに適した放射位置132を決定する。この場合の放射位置132は基本的にはホーム位置134である。但し、予め設定されたホーム位置134が足元領域120を照射することが困難な位置の場合、放射位置132はホーム位置134とは異なる伴走位置である準ホーム位置であってもよい。
(ステップS804)
ロボット110の演算部110bは、必要警備度を1に設定する。
ロボット110の演算部110bは、必要警備度を1に設定する。
ロボット110は、ユーザ位置130、移動方向D1、ロボット位置131、危険物位置133、および照明部110gの照射範囲に基づいて、足元領域120および危険領域122の照射に適した放射位置132を決定する。例えば、ロボット110は、ユーザ位置130、移動方向D1、ロボット位置131、危険物位置133、および照明部110gの照射範囲を上述の計算モデルに入力することで、放射領域123を決定する。そして、ロボット110は、決定した放射領域123内にホーム位置134または準ホーム位置がなければ、放射領域123においてロボット位置131から最も近い位置を放射位置132として算出する。放射領域123内にホーム位置134および準ホーム位置がないことは、放射位置132がロボット110の現在の相対位置と異なることの一例に該当する。放射領域123内にホーム位置または準ホーム位置があれば、ホーム位置または準ホーム位置が放射位置132となる。
(ステップS805)
ロボット110は、可動部110eを制御して、放射位置132に移動する。
ロボット110は、可動部110eを制御して、放射位置132に移動する。
(ステップS806)
ロボット110は、可動部110eを制御して、放射位置132にてユーザを伴走する。ロボット110は、ユーザ位置130、ロボット位置131、移動方向D1、危険物位置133の算出を継続している。
ロボット110は、可動部110eを制御して、放射位置132にてユーザを伴走する。ロボット110は、ユーザ位置130、ロボット位置131、移動方向D1、危険物位置133の算出を継続している。
(ステップS807)
ロボット110は、警備モード「散歩」が停止されていない場合(ステップS807でNO)、処理をステップS801に戻し、ステップS801以降の処理を継続する。ロボット110は、警備モード「散歩」が停止された場合(ステップS807でYES)、処理を終了する。警備モード「散歩」は、例えばユーザが在宅エリアに戻った場合に停止される。
ロボット110は、警備モード「散歩」が停止されていない場合(ステップS807でNO)、処理をステップS801に戻し、ステップS801以降の処理を継続する。ロボット110は、警備モード「散歩」が停止された場合(ステップS807でYES)、処理を終了する。警備モード「散歩」は、例えばユーザが在宅エリアに戻った場合に停止される。
図29のフローチャートは、図23で説明した「足元の照明」の機能が「ON」に設定された場合のみ、足元領域120を照射する処理を有していてもよい。図29のフローチャートは、図23で説明した「危険物への注意喚起」の機能が「ON」に設定された場合のみ、危険領域122を照射する処理を有していてもよい。
図30は、警備モード「散歩」の第2例を示す図である。警備モード「散歩」の第2例において、ロボット110は、ユーザの移動方向D1に危険物が位置する場合、ロボット位置131をユーザの移動方向前方(移動方向D1から左右90度内の方向)であって、移動方向D1とは異なる方向にある先導位置135に決定し、先導位置135に移動し、先導位置135にてユーザを伴走する。先導位置135は、ユーザに対する相対位置を変更しようとするロボット110が、所定の時刻において到達すべき目標位置として決定されうる。
図30のシーンにおいて、ロボット110は、ユーザ位置130と移動方向D1とのセンシング結果に基づき、予め設定されたホーム位置134を計算し、ホーム位置134の中に位置するように可動部110eを制御しながらユーザを伴走している。
ロボット110は、周辺をセンシングし、右斜め前方にある路面の凹凸を危険物として検知している。この場合、ロボット110は、危険物を避けるために推奨する進行ルートにユーザを誘導するための先導位置135を算出する。例えば、ロボット110は、上述の経路探索アルゴリズムを用いて推奨する進行ルートを算出し、算出した推奨する進行ルートに沿った先導領域124を決定し、先導領域124内において、ロボット位置131から最も近い位置を先導位置135として算出する。
先導領域124は、ユーザ位置130から所定距離前方に位置し、推奨する進行ルートに沿った所定サイズの領域である。ここでは、先導領域124は四角形であるが、これは一例であり、円形、楕円形など他の形状であってもよい。先導領域124は、さらにロボット110の照明部110gが危険物を照射可能な領域であってもよい。先導位置135は、先導領域124においてロボット位置131から最も近い位置であるが、これは一例であり、先導領域124内であればどのような位置であってもよい。ロボット110は、ロボット位置131から先導位置135への移動中においても足元領域120への光の照射を継続する。
ロボット110は、ユーザが危険物を通過するまで、ホーム位置134から一時的に離れて先導位置135にてユーザを伴走する。この例では、危険物がユーザの右斜め前方に位置するので、推奨する進行ルートはユーザの左斜め前方を向いている。
さらに、図30の例では、ロボット110は、推奨する進行ルートにユーザを誘導するために、足元領域120の長軸方向が移動方向D1に対してやや左向きになるように足元領域120を傾斜させている。
このように、ロボット110は、先導位置135に移動してユーザが進むべき進行ルートへユーザを誘導しながら、当該進行ルートを示す足元領域120を照射する。これにより、ユーザは危険物による転倒などの危険を回避できる。ユーザがロボット110の誘導にしたがって、危険物を通過した後は、ロボット110は元のホーム位置134の中または準ホーム位置に戻り、足元領域120の照射を継続する。
図31は、警備モード「散歩」の第2例におけるロボット110の処理の一例を示すフローチャートである。
ステップS901、S902、S907は図29のステップS801、S802、S807と同じである。
(ステップS903)
ロボット110の演算部110bは、必要警備度を0に設定する。
ロボット110の演算部110bは、必要警備度を0に設定する。
ロボット110は、危険物がない場合に適した先導位置135を決定する。この先導位置135は基本的にはホーム位置134である。但し、予め設定されたホーム位置134が足元領域120を照射することが困難な位置の場合、準ホーム位置となる。
(ステップS904)
ロボット110の演算部110bは、必要警備度を1に設定する。
ロボット110の演算部110bは、必要警備度を1に設定する。
ロボット110は、危険物がある場合に適した先導位置135を決定する。例えば、危険物がある場合に適した先導位置135は、先導領域124内において、ロボット位置131から最も近い位置である。
(ステップS905)
ロボット110は、可動部110eを制御して、先導位置135に移動する。
ロボット110は、可動部110eを制御して、先導位置135に移動する。
(ステップS906)
ロボット110は、可動部110eを制御して、先導位置135にてユーザを伴走する。
ロボット110は、可動部110eを制御して、先導位置135にてユーザを伴走する。
図31のフローチャートは、図23で説明した「足元の照明」の機能が「ON」に設定された場合のみ、足元領域120を照射する処理を有していてもよい。図31のフローチャートは、図23で説明した「危険物への注意喚起」の機能が「ON」に設定された場合のみ、危険領域122を照射する処理を有していてもよい。
次に、警備モード「散歩」の第3例について説明する。図32、図33、および図34は警備モード「散歩」の第3例を示す図である。なお、図34は図32および図33の別例である。警備モード「散歩」の第3例は、ユーザの周囲に移動体があり、その移動体がユーザから所定距離の範囲内に接近した場合、護衛位置143を決定し、護衛位置143にてロボット110がユーザの伴走をする。護衛位置143は、ユーザと移動体との間にあるロボット110の位置である。移動体は、例えばユーザに近づく人物である。護衛位置143は、ユーザに対する相対位置を変更しようとするロボット110が、所定の時刻において到達すべき目標位置として決定されうる。
図32において、下側にある大きな×印はユーザの後方からユーザに近づいてきている人物の位置である人物位置140を示している。この図では、ユーザ位置130と人物位置140との距離146は、ユーザが設定した注意喚起半径142よりも大きく、人物に対する注意喚起は行われていない。
ロボット110は、センサー110cが取得したカメラ映像、デプスイメージ、赤外画像、およびマイク音声などを用いてユーザの周囲状況のセンシングをしている。ロボット110は、ユーザの後方から人物が近づいてきていることを検知する。この場合、ロボット110は、護衛位置143(図33)を決定し、可動部110eを制御して、護衛位置143への移動を開始する。これは、この人物に対して注意喚起を行うための情報を、ユーザとユーザに近づいている人物との間の路面の位置に表示すると共に、距離146を維持するためである。
図33において、人物はユーザに後方からさらに近づき、距離146が注意喚起半径142よりも小さくなったので、ロボット110は、人物に対して注意喚起を行っている。このシーンにおいて、必要警備度は2である。
護衛位置143に到達してユーザの位置130と人物位置140との間に割り込んだロボット110は、照明部110gを用いて、ユーザと人物との間の路面上の位置に注意喚起を行うための情報を表示する。ここでは、ユーザ位置130を中心とした円弧144が表示される。これにより、円弧144が人物に視認され、これ以上、ユーザに近づかないよう人物に対する注意喚起を行うことができる。さらに、ロボット110は円弧144の近くに、この人物に対するメッセージを表示する。ここでは「PASS ON THE RIGHT PLEASE」と表記された、ユーザの右側を通り抜けることを人物に促すメッセージが表示されている。同時に、足元領域120が移動方向D1に対して長軸が左斜めの方向を向くように変更されている。これにより、ユーザは、少し左側へ寄るように誘導される。この誘導によりユーザが左側へ寄る。その結果、人物はユーザを追い越し易くなる。ここでは、足元領域120を変更したが、ユーザの進行ルートを表す進行ルート領域121(図26)が表示されてもよい。円弧144およびメッセージの表示領域はユーザと移動体との間の通知領域の一例である。
この人物が何らかの悪意を持ってユーザに近づいてきたとしても、知的で自律したロボット110がユーザの安全を確保していることを人物に知らせることが可能となり、人物がユーザに危害を加えなくなることを期待できる。この人物がさらにユーザに近づいてくる場合、またはユーザが恐怖または興奮を感じていることを検知した場合、ロボット110は、注意喚起として路面に表示する情報を、別のより強い表現または警告に切り替えてもよい。ユーザの恐怖または興奮は、センサー110cが取得したカメラ映像およびマイク音声に感情推定処理を適用することで、検出可能である。ロボット110は、路面の表示に加えて、映像音声出力部110fを用いて人物に呼び掛ける音声または大きな声で人物を威嚇する音声を出力してもよい。さらに、危険な状態(必要警備度=3)と判定されれば、ロボット110は、A社サーバ101へ通報を送信してもよい。
図32、図33において、人物以外の移動体がユーザに近づいている場合でも同様に適用できる。人物以外の移動体は、例えば、人が運転する、車、自転車、および飛行体(ドローン)と、コンピュータ制御によって自律的に移動する飛行体および車両とを含む。
図32において、注意喚起半径142に代えて、ユーザ位置130の後方にある注意喚起エリア141が採用されてもよい。例えば、ロボット110は、注意喚起エリア141内にユーザと同じ進行方向に進む人物を検出した場合、上述の注意喚起を行ってもよい。これにより、そのまま進むとユーザと接触する可能性が高い人物に対してのみ注意喚起を行うことができる。その結果、ユーザに危害を与える可能性の低い人物に対して注意喚起が行われることが抑制される。注意喚起エリア141はユーザ位置130から後方に所定距離離れた所定サイズの領域である。
図34において、ロボット110は、ユーザ位置130と移動方向D1とのセンシング結果に基づきホーム位置134を計算し、ホーム位置134にてユーザの伴走を行っている。ロボット110は、周辺をセンシングし、左斜め後方にユーザに近づいている人物を検知する。ロボット110は、人物との距離をとるための進行ルートを算出し、その進行ルートにユーザを誘導するように足元領域120の形状を変形している。ここでは、ユーザを右斜め前方に誘導する進行ルートが算出され、その進行ルートにユーザを誘導するために足元領域120は先端が右斜め前方を向く形状を有している。これにより、ユーザから左斜め後方の人物を遠ざけることができる。
この図において、ロボット110は、ユーザ位置130の真横にあるホーム位置134に位置するので、足元領域120を照射しながら、ユーザとロボット110との間に割り込むことはできない。
そこで、ロボット110は、ユーザに近づいてくる人物とユーザとの間に割り込んで注意喚起を行う必要があると判断した場合、人物とユーザとの間に割り込むのに適した護衛領域145内であって、ユーザの足元に足元領域120が照射可能な護衛位置143に向かって可動部110eを制御して移動する。
ロボット110は、注意喚起の条件を満たす人物がユーザの周囲にいる場合に、注意喚起の必要があると判断すればよい。注意喚起の条件は、注意喚起半径142が規定する円内へ近づいてくる人物が存在すること、注意喚起半径142が規定する円内に人物がいること、注意喚起エリア141に近づく人物がいること、注意喚起エリア141内に人物がいること、およびユーザが警護を要求する旨の発話またはジェスチャーをしたこと、などである。
ロボット110は、所定距離内にいる人物の移動方向D2が、注意喚起半径142が規定する円または注意喚起エリア141に向いている場合、注意喚起半径142が規定する円または注意喚起エリア141に近づいている人物がいると判断すればよい。ロボット110は、人物位置140が、注意喚起半径142が規定する円内または注意喚起エリア141内にある場合、注意喚起半径142が規定する円内または注意喚起エリア141内に人物がいると判断すればよい。
人物が注意喚起の条件を満たすと判断したロボット110は、護衛位置143を決定し、護衛位置143に一時的に移動する。ロボット110は、ホーム位置134または準ホーム位置から護衛位置143への移動中においても、足元領域120への光の照射を継続してもよい。
注意喚起の必要がなくなったロボット110は、護衛位置143から離れてホーム位置134に戻り、ホーム位置134での伴走を継続する。なお、ロボット110は、ユーザから護衛が不要である旨の音声またはジェスチャーを検知した場合、ホーム位置134に戻ってもよい。
図34の例では、ユーザ位置130と人物位置140との中間に位置する厚みを持った円弧状の護衛領域145内でロボット位置131から一番近い位置を護衛位置143として決定している。
なお、ロボット110は、注意喚起の必要があると判断した場合、護衛位置143に移動することを、足元領域120を照射することより優先しても良い。この場合、足元領域120は一部が欠けたり、暗くなったりするが、ユーザに近づいてくる人物とユーザとの間にロボット110が割り込むことで、人物に対してユーザがロボット110に警備されている状況を認知させ、ユーザの安全性をより高めることができる。
さらに、ロボット110は近づいてくる人物に対して、ユーザと一定の距離をとる旨の警告147を路面に表示してもよい。この警告147は、例えば、人物の歩行ルートを誘導するためのマークまたは文字である。マークは例えば警備会社A社のマークである。この場合、ロボット110は、ユーザ位置130と人物位置140との中間エリア内の位置に移動して、その位置からユーザの足元領域120と、警告147を表示しても良い。警告147の表示領域は、ユーザと移動体との間の通知領域の一例である。
なお、ロボット110は、警告147をロボット110が有する映像音声出力部110fのディスプレイに表示してもよい。
図35は、警備モード「散歩」の第3例におけるロボット110の処理の一例を示すフローチャートである。
ステップS1001、S1007は図29のステップS801、S807と同じである。
(ステップS1002)
ロボット110は、注意喚起の条件を満たす人物がいるか否かを判定する。注意喚起の条件を満たす人物がいる場合(ステップS1002でYES)、処理はステップS1004に進み、注意喚起の条件を満たす人物がいない場合(ステップS1002でNO)、処理はステップS1003に進む。
ロボット110は、注意喚起の条件を満たす人物がいるか否かを判定する。注意喚起の条件を満たす人物がいる場合(ステップS1002でYES)、処理はステップS1004に進み、注意喚起の条件を満たす人物がいない場合(ステップS1002でNO)、処理はステップS1003に進む。
(ステップS1003)
ロボット110の演算部110bは、必要警備度を1以下に設定する。
ロボット110の演算部110bは、必要警備度を1以下に設定する。
ロボット110は、足元領域120を照らすのに適した護衛位置143を決定する。この場合の護衛位置143は基本的にはホーム位置134である。但し、ホーム位置134が足元領域120を照射することが困難な位置の場合、護衛位置143は、準ホーム位置となる。
(ステップS1004)
ロボット110の演算部110bは、必要警備度を2に設定する。
ロボット110の演算部110bは、必要警備度を2に設定する。
ロボット110は、ユーザ位置130と人物位置140との間に護衛位置143を決定する。まず、ロボット110は、ユーザ位置130と人物位置140との間に護衛領域145を設定する。護衛領域145は、ユーザ位置130と人物位置140との間にある領域であり、さらに照明部110gが足元領域120かつ/または通知領域の両方に光を照射できる領域であっても良い。例えば、護衛領域145は、ユーザ位置130、移動方向D1、人物位置140、および照明部110gの照射範囲に基づいて算出される。護衛領域145は、ユーザ位置130、移動方向D1、人物位置140、および照明部110gの照射範囲を入力とし、護衛領域145を出力とする計算モデルを用いて決定されてもよい。
或いは、護衛領域145は、ユーザ位置130と人物位置140との中点を中心とし、ユーザ位置130および人物位置140との距離以下の半径を有する所定サイズの厚みを持った円弧状の領域であってもよい。そして、ロボット110は、決定した護衛領域145内にホーム位置134または準ホーム位置がなければ、護衛領域145においてロボット位置131から最も近い位置を護衛位置143として算出する。護衛位置143は、これに限定されず、護衛領域145内の位置であればどのような位置であってもよい。
護衛領域145内にホーム位置134および準ホーム位置がないことは、放射位置(護衛位置143)がロボット110の現在の相対位置と異なることの一例に該当する。護衛領域145内にホーム位置134または準ホーム位置があれば、ホーム位置134または準ホーム位置が護衛位置143となる。
(ステップS1005)
ロボット110は、可動部110eを制御して、護衛位置143に移動する。
ロボット110は、可動部110eを制御して、護衛位置143に移動する。
(ステップS1006)
ロボット110は、護衛位置143にてユーザを伴走する。同時に、ロボット110は、映像音声出力部110fまたは照明部110gを用いてユーザに接近する人物に対して注意喚起、または警告を通知する。
ロボット110は、護衛位置143にてユーザを伴走する。同時に、ロボット110は、映像音声出力部110fまたは照明部110gを用いてユーザに接近する人物に対して注意喚起、または警告を通知する。
図35のフローチャートは、図23で説明した「足元の照明」の機能が「ON」に設定された場合のみ、足元領域120を照射する処理を有していてもよい。図35のフローチャートは、図23で説明した「周囲への注意喚起」の機能が「ON」に設定された場合のみ、危険領域122を照射する処理を有していてもよい。
図36は、ロボット110がユーザに接近する人物を回避する態様を示した図である。
図36において、ロボット110の演算部110bは、ユーザ位置130と移動方向D1とのセンシング結果に基づきホーム位置134を計算し、可動部110eを制御してホーム位置134にてユーザの伴走を行っている。ロボット110は、周辺をセンシングし、左斜め後方にユーザに接近する人物を検知する。
ロボット110は、ユーザに近づく人物の予想進路150をセンシング結果から随時更新し、当該人物がユーザとのすれ違いが所定時間内に起こるか否かを判断する。ロボット110は、当該すれ違いが所定時間内におけると判断した場合、ユーザの移動方向D1の前方の回避領域152内に回避位置154を決定する、または、後方の回避領域151内に回避位置154を決定する。回避位置154は、ユーザに対する相対位置を変更しようとするロボット110が、所定の時刻において到達すべき目標位置として決定されうる。そして、ロボット110は、ホーム位置134を離れて回避位置154に移動する。これにより、ロボット110は、ユーザに接近する人物の通行の邪魔にならない位置へ移動できる。
回避領域151、152は、例えば、人物位置140と人物の移動方向D2とから予想される人物の予想進路150から所定の距離以上離れた領域である。特に、歩道の幅が狭い場合、回避領域151はユーザの真後ろに位置し、回避領域152はユーザの真正面に位置する。
このようなロボット110の挙動は、ユーザの移動方向D1に対して、前方または後方から近づく人物と、ユーザと、の双方の進路を妨害せずに、双方をすれ違わせる場合に有効である。人物とユーザとがすれ違うタイミングで、ユーザとロボット110が移動方向D1に沿って一列に並ぶことで、歩道の横幅を取らず、すれ違う人物の進路に及ぼす影響が最小化される。この挙動は、狭い歩道だけでなく、多くの人がユーザの周辺にいる場所においてロボット110がユーザを伴走する際にも有効である。
ロボット110は、前方または後方のどちらか片方からユーザに近づいてくる人物がいる場合、回避領域151、または回避領域152へ移動すれば良い。例えば、ロボット110は、後方からユーザに近づく人物がいる場合、回避領域151内の回避位置154に移動しても良い。これにより、当該人物に対してユーザがロボット110と伴走していることを認知させることができる。さらに、この場合、当該人物にユーザに危害を加える行為を思いとどませることも期待できる。
ロボット110が回避行動をとらない場合、ユーザとすれ違う人物は、ロボット110を避けるために歩行ルートを変更せざるを得なくなる。この変更は、当該人物にとって不便さを与え、当該人物に心理的および身体的に悪影響を及ぼしてしまう。そこで、上述した回避行動をロボット110にとらせることで、このような悪影響を最小化できる。
ロボット110は、足元領域120を照射してユーザの転倒のリスクを避けられるか、接近者とユーザとの間に位置してユーザの安全性を高められるか、といった1以上の要因を考慮にいれて、回避位置154を、回避領域151内の位置にするか、回避領域152内の位置にするかを判定してもよい。
図37は、ロボット110がユーザに接近する人物を回避する際のロボット110の処理の一例を示すフローチャートである。図37において、ステップS1101、S1106の処理は、図29のステップS801、S807と同じである。
(ステップS1102)
ロボット110は、人物とロボット110とのすれ違いが所定時間内に起こり、かつ人物とロボット110との距離が所定距離以内であるか否かを判定する。例えば、ロボット110は、センシング結果から算出した人物の予測進路の軌跡から人物がロボット110とすれ違う位置を算出する。すれ違う位置は、当該軌跡上のユーザ位置130との最近接位置である。ロボット110は、人物位置140からすれ違う位置までの当該軌跡上の距離を、センシング結果から算出した人物の速度で割ることで、すれ違い時間を算出する。そして、ロボット110はすれ違い時間が所定時間以内の場合、人物とロボット110とのすれ違いが所定時間内に起こると判定すればよい。さらに、ロボット110は、人物位置140とロボット位置131との距離が所定距離以内の場合、人物とロボット110との距離が所定距離以内と判定すればよい。
ロボット110は、人物とロボット110とのすれ違いが所定時間内に起こり、かつ人物とロボット110との距離が所定距離以内であるか否かを判定する。例えば、ロボット110は、センシング結果から算出した人物の予測進路の軌跡から人物がロボット110とすれ違う位置を算出する。すれ違う位置は、当該軌跡上のユーザ位置130との最近接位置である。ロボット110は、人物位置140からすれ違う位置までの当該軌跡上の距離を、センシング結果から算出した人物の速度で割ることで、すれ違い時間を算出する。そして、ロボット110はすれ違い時間が所定時間以内の場合、人物とロボット110とのすれ違いが所定時間内に起こると判定すればよい。さらに、ロボット110は、人物位置140とロボット位置131との距離が所定距離以内の場合、人物とロボット110との距離が所定距離以内と判定すればよい。
当該判定が肯定される場合(ステップS1102でYES)、処理はステップS1104に進み、当該判定が否定される場合(ステップS1102でNO)、処理はステップS1103に進む。なお、ロボット110は、すれ違い時間を考慮せずに、人物とユーザとの距離のみを考慮に入れて、ステップS1102の処理を実行してもよい。
(ステップS1103)
ロボット110の演算部110bは、必要警備度を1以上に設定する。
ロボット110の演算部110bは、必要警備度を1以上に設定する。
ロボット110は伴走位置を決定する。この伴走位置は基本的にはホーム位置134である。但し、ホーム位置134が足元領域120を照射することが困難な位置の場合、準ホーム位置が伴走位置として決定される。
(ステップS1104)
ロボット110の演算部110bは、必要警備度を2以上に設定する。
ロボット110の演算部110bは、必要警備度を2以上に設定する。
ロボット110は、回避位置154を決定する。例えばロボット110は、ユーザに対して人物が後ろから近づく場合は、ユーザの移動方向D1の真後ろに回避領域151を設定し、その回避領域151内に回避位置154を設定しても良い。回避領域151は、ユーザ位置130からユーザの移動方向D1の反対方向に所定距離離れた所定サイズの領域である。回避領域152は、ユーザ位置130からユーザの進行方向に所定距離離れた所定サイズの領域である。回避位置154は、回避領域151または回避領域152内において伴走位置から最も近い位置である。但し、これは一例であり、回避位置154は、回避領域151または回避領域152内の位置であればどのような位置であってもよい。
(ステップS1105)
ロボット110は、可動部110eを制御して、伴走位置または回避位置154に移動する。このようにして、ロボット110はユーザと他人がすれ違う場合において、他人の進行障害とならないように伴走の位置を適宜変更することができる。
ロボット110は、可動部110eを制御して、伴走位置または回避位置154に移動する。このようにして、ロボット110はユーザと他人がすれ違う場合において、他人の進行障害とならないように伴走の位置を適宜変更することができる。
次に、伴走するロボット110の基本機能について説明する。基本機能において、ロボット110は、スマートフォン100(ユーザの通信端末の一例)からネットワークを介して設定情報を取得する。設定情報は、設定画面2200または設定画面2300で示すグラフィカルユーザインターフェースを操作することによってユーザに入力された情報である。ロボット110は、設定情報に基づいて、ロボット110のホーム位置134を設定し、センサー110cを介して、ユーザ位置130および移動方向D1を検出し、ホーム位置134にてユーザを伴走する。ホーム位置134は、ロボットがデフォルトで位置するべき基準相対位置である。
図38は、伴走するロボット110の基本機能の一例を示す図である。この例では、ロボット110はユーザ位置130の左横のロボット位置131に位置している。ロボット110は照明部110gを用いて、散歩情報160をユーザ位置130の前方の路面上に表示する。散歩情報160は、目標ラインと、目標ラインに関連するメッセージとを含んでも良い。これらは、例えば、散歩を開始してから、または今日のユーザの歩数を示す。ここでは、目標ラインに関連するメッセージとして、散歩を開始してから2000歩になることを示す「2000 steps」が表示されているとする。これにより、ユーザは目標ラインまで歩けば2000歩を達成することができると直感的に理解できる。このシーンにおいて、ロボット110の演算部110bは、必要警備度を0に設定している。
目標歩数または達成歩数のように、運動のマイルストーンを定量的に示す散歩情報160をユーザに通知することで、ユーザに対して散歩(運動)への動機付けが高められる。散歩情報160は、これに限定されず、散歩の目標歩数、散歩の目標消費カロリー、散歩の目標散歩時間、散歩を始めてからの歩数、今日の歩数、今日の目標歩数までの残歩数、心拍数、消費カロリー、散歩の経過時間、かつ/または残りの予想散歩時間を表示しても良い。
ロボット110は、映像音声出力部110fを用いて、目標歩数、目標歩数に対する残り歩数、消費カロリー、および経過時間を示す映像情報や音声情報を出力してもよい。さらに、ロボット110は、映像音声出力部110fを用いて、「頑張れ」などのユーザへの応援メッセージを示す音声を出力してもよい。
(変形例)
(1)ロボット110は、脚17に代えて車輪を有していてもよい。この場合、ロボット110は、車輪を駆動してロボットを伴走すればよい。さらに、ロボット110は、脚17と車輪とを有していてもよい。
(1)ロボット110は、脚17に代えて車輪を有していてもよい。この場合、ロボット110は、車輪を駆動してロボットを伴走すればよい。さらに、ロボット110は、脚17と車輪とを有していてもよい。
(2)ロボット110により伴走されるユーザの行動は、散歩に限定されず、ジョギングなどのユーザの足を使った移動であってもよいし、車椅子やカヌーを使った移動などの手を使った移動であってもよく、ユーザの運動量が過度に低い車または電車による移動は含まれない。
(3)図36ではユーザに接近する移動体の一例として人物を例示したが、この移動体は、人物に限らず、車、自転車、およびドローンなどの飛行体であってもよい。
(4)図6および以降の説明においては、警備モードにはユーザおよびロボット110の位置に基づき、2つのモード(在宅と散歩)があるとして説明したが、これに限らず、3つ以上のモード(例えば、在宅、散歩、一般外出)があっても良い。または、上記説明において在宅時に適用される警備モード「在宅」は警備をしないモードであるとしても良い。
本開示は、サイバー空間とフィジカル空間とを融合を図ることができるので、多種多様な産業的利用の基盤技術として有用である。
100 :スマートフォン
101 :A社サーバ
110 :ロボット
111 :B社サーバ
120 :足元領域
122 :危険領域
130 :ユーザ位置
131 :ロボット位置
132 :放射位置
134 :ホーム位置
135 :先導位置
140 :人物位置
143 :護衛位置
154 :回避位置
101 :A社サーバ
110 :ロボット
111 :B社サーバ
120 :足元領域
122 :危険領域
130 :ユーザ位置
131 :ロボット位置
132 :放射位置
134 :ホーム位置
135 :先導位置
140 :人物位置
143 :護衛位置
154 :回避位置
Claims (40)
- ユーザのロボットと通信し前記ユーザの住居の地図情報を保有するサーバを含むロボット制御システムにおけるロボット制御方法であって、
外部コンピュータから、前記ロボットのユーザが前記ユーザの住居を表す所定エリアの外にいるときに前記ロボットが前記ユーザの位置との相対距離を所定距離内に維持して前記ユーザの周辺情報を収集するリクエストを示すリクエスト情報を取得し、
前記ロボットから、前記ロボットの位置を示す位置情報及び前記ロボットが前記ユーザの近傍にいることの確認情報を取得し、
前記地図情報、前記位置情報及び前記確認情報に基づき、前記ロボットのユーザが前記ロボットと同伴して前記ユーザの住居を表す前記所定エリアの外にいると判断した場合、前記リクエストに対応して、前記ユーザの住居を表す前記所定エリアの内にいる前記ユーザの周辺情報を収集できる第1仕様から前記ユーザの住居を表す前記所定エリアの外にいる前記ユーザの周辺情報を収集できる第2仕様に前記ロボットの設定を変更するためのコマンドを前記ロボットに対して送信する、
ロボット制御方法。 - 前記住居を表す所定エリアは、前記住居の位置及び平面範囲を表したエリアを含む、
請求項1記載のロボット制御方法。 - 前記住居を表す所定エリアは、前記住居から所定距離のエリアを含む、
請求項1記載のロボット制御方法。 - 前記住居を表す所定エリアは、前記住居を含む前記ユーザが設定したエリアを含む、
請求項1記載のロボット制御方法。 - 前記住居を表す所定エリアは、前記住居を含む前記ロボット制御システムにおいて設定されたエリアを含む、
請求項1記載のロボット制御方法。 - 前記確認情報は、前記ロボットが前記ユーザを画像認識した結果に基づいて前記ロボットが前記ユーザの近傍にいることを判定した情報を含む、
請求項1記載のロボット制御方法。 - 前記確認情報は、前記ロボットが前記ユーザの端末から、前記端末の現在位置情報を取得した結果に基づいて前記ロボットが前記ユーザの近傍にいることを判定した情報を含む、
請求項1記載のロボット制御方法。 - 前記確認情報は、前記ロボットにより前記ユーザを認識した結果に基づき判定された前記ロボットからの前記ユーザの位置を示す第2位置情報を含む、
請求項1記載のロボット制御方法。 - 前記変更される前記ロボットの設定は、
前記ロボットが備える移動能力を、前記ユーザの宅内にいる場合より高めて速く移動できる設定を含む、
請求項1記載のロボット制御方法。 - 前記変更される前記ロボットの設定は、
宅外を移動する前記ユーザの足元を照らすために前記ロボットが備える照明機器をONにする設定を含む、
請求項1記載のロボット制御方法。 - 前記コマンドは、
前記ロボットの設定変更後に前記ロボットの設定を変更した旨を前記ロボットに出力させる旨を含む、
請求項1記載のロボット制御方法。 - 前記外部コンピュータが前記リクエスト情報を要求するアクセス権を持つことが確認された場合、前記コマンドを前記ロボットに対して送信する、
請求項1記載のロボット制御方法。 - 前記サーバにおいて前記外部コンピュータが前記アクセス権を有するか否かを登録しておき、
前記登録に基づき、前記外部コンピュータが前記アクセス権を持つことを確認する、
請求項12記載のロボット制御方法。 - 前記ユーザの住居の地図情報は、前記ユーザの住居の緯度及び経度の情報を含む、
請求項1記載のロボット制御方法。 - 前記ロボットから、前記ロボットによって収集された前記ユーザの周辺情報を取得する、
請求項1から請求項14のいずれか1項に記載のロボット制御方法。 - 前記外部コンピュータに前記ユーザの周辺情報を送信する、
請求項14記載のロボット制御方法。 - ユーザのロボットと通信するサーバを含むロボット制御システムにおけるロボット制御方法であって、
外部コンピュータから、前記ロボットのユーザが前記ユーザの住居を表す所定エリアの外にいるときに前記ロボットが前記ユーザの位置との相対距離を所定距離内に維持して前記ユーザの周辺情報を収集するリクエストを示すリクエスト情報を取得し、
前記ロボットから、前記ロボットのユーザが前記ロボットと同伴して前記ユーザの住居を表す前記所定エリアの外に移動した旨のイベント情報を取得し、前記ロボットにおいて前記ユーザの住居の地図情報が保有され且つ前記ロボットの位置を示す位置情報及び前記ロボットが前記ユーザの近傍にいることの確認情報が検知され、前記イベント情報は前記ロボットにおいて前記地図情報、前記位置情報及び前記確認情報に基づき生成され、
前記イベント情報に基づき、前記リクエストに対応して、前記ユーザの住居を表す前記所定エリアの内にいる前記ユーザの周辺情報を収集できる第1仕様から前記ユーザの住居を表す前記所定エリアの外を移動する前記ユーザの周辺情報を収集できる第2仕様に前記ロボットの設定を変更するためのコマンドを前記ロボットに対して送信する、
ロボット制御方法。 - ユーザのロボットと通信し前記ユーザの住居の地図情報を保有するサーバを含むロボット制御システムにおけるロボット制御方法であって、
前記ロボットから、前記ロボットの位置を示す位置情報及び前記ロボットが前記ユーザの近傍にいることの確認情報を取得し、
第2サーバに、前記地図情報、前記位置情報及び前記確認情報を出力し、
外部コンピュータから、前記ロボットのユーザが前記ユーザの住居を表す所定エリアの外にいるときに前記ロボットが前記ユーザの位置との相対距離を所定距離内に維持して前記ユーザの周辺情報を収集するリクエストを示すリクエスト情報を取得し、前記第2サーバにおいて前記地図情報、前記位置情報及び前記確認情報に基づき前記ロボットのユーザが前記ロボットと同伴して前記ユーザの住居を表す前記所定エリアの外に移動したと判断された場合に前記第2サーバから前記リクエスト情報が取得され、
前記リクエストに基づき、前記ユーザの住居を表す前記所定エリアの内にいる前記ユーザの周辺情報を収集できる第1仕様から前記ユーザの住居を表す前記所定エリアの外を移動する前記ユーザの周辺情報を収集できる第2仕様に前記ロボットの設定を変更するためのコマンドを前記ロボットに対して送信する、
ロボット制御方法。 - 前記住居を表す所定エリアは、前記住居の位置及び平面範囲を表したエリアを含む、
請求項18記載のロボット制御方法。 - 前記住居を表す所定エリアは、前記住居から所定距離のエリアを含む、
請求項18記載のロボット制御方法。 - 前記住居を表す所定エリアは、前記住居を含む前記ユーザが設定したエリアを含む、
請求項18記載のロボット制御方法。 - 前記住居を表す所定エリアは、前記住居を含む前記ロボット制御システムにおいて設定されたエリアを含む、
請求項18記載のロボット制御方法。 - 前記確認情報は、前記ロボットが前記ユーザを画像認識した結果に基づいて前記ロボットが前記ユーザの近傍にいることを判定した情報を含む、
請求項18記載のロボット制御方法。 - 前記確認情報は、前記ロボットが前記ユーザの端末から、前記端末の現在位置情報を取得した結果に基づいて前記ロボットが前記ユーザの近傍にいることを判定した情報を含む、
請求項18記載のロボット制御方法。 - 前記確認情報は、前記ロボットにより前記ユーザを認識した結果に基づき判定された前記ロボットからの前記ユーザの位置を示す第2位置情報を含む、
請求項18記載のロボット制御方法。 - 前記変更される前記ロボットの設定は、
前記ロボットが備える移動能力を、前記ユーザの宅内にいる場合より高めて速く移動できる設定を含む、
請求項18記載のロボット制御方法。 - 前記変更される前記ロボットの設定は、
前記ユーザの宅外を移動する前記ユーザの足元を照らすために前記ロボットが備える照明機器をONにする設定を含む、
請求項18記載のロボット制御方法。 - 前記コマンドは、
前記ロボットの設定変更後に前記ロボットの設定を変更した旨を前記ロボットに出力させる旨を含む、
請求項18記載のロボット制御方法。 - 前記外部コンピュータが前記リクエスト情報を要求するアクセス権を持つことが確認された場合、前記コマンドを前記ロボットに対して送信する、
請求項18記載のロボット制御方法。 - 前記サーバにおいて前記外部コンピュータが前記アクセス権を有するか否かを登録しておき、
前記登録に基づき、前記外部コンピュータが前記アクセス権を持つことを確認する、
請求項29記載のロボット制御方法。 - 前記ユーザの住居の地図情報は、前記ユーザの住居の緯度及び経度の情報を含む、
請求項18記載のロボット制御方法。 - 前記ロボットから、前記ロボットによって収集された前記ユーザの周辺情報を取得する、
請求項18から請求項31のいずれか1項に記載のロボット制御方法。 - 前記外部コンピュータに前記ユーザの周辺情報を送信する、
請求項32記載のロボット制御方法。 - ユーザのロボットと通信するサーバを含むロボット制御システムにおけるロボット制御方法であって、
前記ロボットから、前記ロボットのユーザが前記ロボットと同伴して前記ユーザの住居を表す所定エリアの外に移動した旨のイベント情報を取得し、前記ロボットにおいて前記ユーザの住居の地図情報が保有され且つ前記ロボットの位置を示す位置情報及び前記ロボットが前記ユーザの近傍にいることの確認情報が検知され、前記イベント情報は前記ロボットにおいて前記地図情報、前記位置情報及び前記確認情報に基づき生成され、
外部コンピュータに前記イベント情報を出力し、
前記外部コンピュータから、前記イベント情報に応答して、前記ロボットのユーザが前記ユーザの住居を表す前記所定エリアの外にいるときに前記ロボットが前記ユーザの位置との相対距離を所定距離内に維持して前記ユーザの周辺情報を取集するリクエストを示すリクエスト情報を取得し、
前記リクエストに基づき、前記ユーザの住居を表す前記所定エリアの内にいる前記ユーザの周辺情報を収集できる第1仕様から前記ユーザの住居を表す前記所定エリアの外を移動する前記ユーザの周辺情報を収集できる第2仕様に前記ロボットの設定を変更するためのコマンドを前記ロボットに対して送信する、
ロボット制御方法。 - 外部コンピュータと通信し前記ユーザの住居の地図情報を保有するロボット制御方法であって、
前記外部コンピュータから、前記ロボットのユーザが前記ユーザの住居を表す所定エリアの外にいるときに前記ロボットが前記ユーザの位置との相対距離を所定距離内に維持して前記ユーザの周辺情報を収集するリクエストを示すリクエスト情報を取得し、
前記ロボットの内部センサーから、前記ロボットの位置を示す位置情報及び前記ロボットが前記ユーザの近傍にいることの確認情報を取得し、
前記地図情報、前記位置情報及び前記確認情報に基づき、前記ロボットのユーザが前記ロボットと同伴して前記ユーザの住居を表す前記所定エリアの外にいると判断した場合、前記リクエストに対応して、前記ユーザの住居を表す所定エリア距離の内にいる前記ユーザの周辺情報を収集できる第1仕様から前記ユーザの住居を表す前記所定エリアの外にいる前記ユーザの周辺情報を収集できる第2仕様に前記ロボットの設定を変更する、
ロボット制御方法。 - 本体と、
前記少なくとも一対の脚または車輪と、
前記少なくとも1つの内部センサーと、
プロセッサと、
請求項35に記載のロボット制御方法を前記プロセッサに実行させるためのプログラムが格納されたメモリと、を備える、
ロボット。 - 前記外部コンピュータは、前記ユーザの通信端末である、
請求項35記載のロボット制御方法。 - 前記外部コンピュータは第三者サーバである、
請求項35記載のロボット制御方法。 - 請求項35記載のロボット制御方法を前記ロボットのコンピュータに実行させるためのプログラム。
- 請求項35記載のロボット制御方法を前記ロボットのコンピュータに実行させるためのプログラムを記録した記録媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022515096A JP7153891B1 (ja) | 2020-12-23 | 2021-12-17 | ロボット制御方法、ロボット、プログラム、及び記録媒体 |
CN202180030297.4A CN115428470B (zh) | 2020-12-23 | 2021-12-17 | 机器人控制方法、机器人、程序以及记录介质 |
EP21910620.0A EP4269047A4 (en) | 2020-12-23 | 2021-12-17 | ROBOT CONTROL METHOD, ROBOT, PROGRAM AND RECORDING MEDIUM |
US18/048,461 US20230053995A1 (en) | 2020-12-23 | 2022-10-21 | Robot control method, robot, and recording medium |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020214232 | 2020-12-23 | ||
JP2020-214232 | 2020-12-23 | ||
JP2021-194584 | 2021-11-30 | ||
JP2021194584 | 2021-11-30 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US18/048,461 Continuation US20230053995A1 (en) | 2020-12-23 | 2022-10-21 | Robot control method, robot, and recording medium |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022138474A1 true WO2022138474A1 (ja) | 2022-06-30 |
Family
ID=82157805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/046668 WO2022138474A1 (ja) | 2020-12-23 | 2021-12-17 | ロボット制御方法、ロボット、プログラム、及び記録媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230053995A1 (ja) |
EP (1) | EP4269047A4 (ja) |
JP (1) | JP7153891B1 (ja) |
CN (1) | CN115428470B (ja) |
WO (1) | WO2022138474A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005103678A (ja) * | 2003-09-29 | 2005-04-21 | Toshiba Corp | ロボット装置 |
JP2007234066A (ja) * | 2007-06-18 | 2007-09-13 | Toshiba Corp | 監視装置 |
JP2007264950A (ja) | 2006-03-28 | 2007-10-11 | Toyota Motor Corp | 自律移動型ロボット |
JP2017047519A (ja) * | 2015-09-04 | 2017-03-09 | Rapyuta Robotics株式会社 | クラウドロボティクスシステム、情報処理装置、プログラム、並びに、クラウドロボティクスシステムにおけるロボットの制御または支援方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100787971B1 (ko) * | 2006-02-23 | 2007-12-24 | 주식회사 에스원 | 경비 로봇 시스템, 이를 이용한 방범 시스템 및 방법 |
CN109690435A (zh) * | 2016-09-08 | 2019-04-26 | Groove X 株式会社 | 保持自然的距离感的行为自主型机器人 |
KR20180092103A (ko) * | 2017-02-08 | 2018-08-17 | (주)아이로보테크 | 시각 장애인용 로봇 견 |
KR20180102744A (ko) * | 2017-03-08 | 2018-09-18 | (주)아이로보테크 | 로봇 견에 의한 시각 장애인의 이동 유도 방법 |
CN108549088B (zh) * | 2018-04-27 | 2020-10-02 | 科沃斯商用机器人有限公司 | 基于机器人的定位方法、设备、系统及存储介质 |
JP7160092B2 (ja) * | 2018-05-01 | 2022-10-25 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム、及び自律行動ロボット制御システム |
KR102423572B1 (ko) * | 2018-08-27 | 2022-07-20 | 엘지전자 주식회사 | 인공지능 이동 로봇의 제어 방법 |
-
2021
- 2021-12-17 CN CN202180030297.4A patent/CN115428470B/zh active Active
- 2021-12-17 WO PCT/JP2021/046668 patent/WO2022138474A1/ja unknown
- 2021-12-17 EP EP21910620.0A patent/EP4269047A4/en active Pending
- 2021-12-17 JP JP2022515096A patent/JP7153891B1/ja active Active
-
2022
- 2022-10-21 US US18/048,461 patent/US20230053995A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005103678A (ja) * | 2003-09-29 | 2005-04-21 | Toshiba Corp | ロボット装置 |
JP2007264950A (ja) | 2006-03-28 | 2007-10-11 | Toyota Motor Corp | 自律移動型ロボット |
JP2007234066A (ja) * | 2007-06-18 | 2007-09-13 | Toshiba Corp | 監視装置 |
JP2017047519A (ja) * | 2015-09-04 | 2017-03-09 | Rapyuta Robotics株式会社 | クラウドロボティクスシステム、情報処理装置、プログラム、並びに、クラウドロボティクスシステムにおけるロボットの制御または支援方法 |
Non-Patent Citations (1)
Title |
---|
See also references of EP4269047A4 |
Also Published As
Publication number | Publication date |
---|---|
EP4269047A1 (en) | 2023-11-01 |
JP7153891B1 (ja) | 2022-10-17 |
CN115428470A (zh) | 2022-12-02 |
EP4269047A4 (en) | 2024-10-16 |
US20230053995A1 (en) | 2023-02-23 |
JPWO2022138474A1 (ja) | 2022-06-30 |
CN115428470B (zh) | 2023-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022138476A1 (ja) | ロボットの制御方法、ロボット、及びプログラム | |
US11892851B2 (en) | System and methods for tagging accessibility features with a motorized mobile system | |
US9316502B2 (en) | Intelligent mobility aid device and method of navigating and providing assistance to a user thereof | |
US10024667B2 (en) | Wearable earpiece for providing social and environmental awareness | |
US9922236B2 (en) | Wearable eyeglasses for providing social and environmental awareness | |
JP2020508440A (ja) | パーソナルナビゲーションシステム | |
CN106716513A (zh) | 行人信息系统 | |
KR20190100085A (ko) | 인공 지능을 이용하여, 위험 상황을 감지할 수 있는 로봇 및 그의 동작 방법 | |
US20240142997A1 (en) | Method for controlling robot, robot, and recording medium | |
WO2022138474A1 (ja) | ロボット制御方法、ロボット、プログラム、及び記録媒体 | |
KR20200071560A (ko) | 체험농장 안전관리 시스템 | |
Singh et al. | IoT-Based Shoe for Enhanced Mobility and Safety of Visually Impaired Individuals | |
US20230350073A1 (en) | Edge and generative ai-based sustainable gps navigated wearable device for blind and visually impaired people | |
US20200281771A1 (en) | Movement Aid for the Visually Impaired |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2022515096 Country of ref document: JP Kind code of ref document: A |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21910620 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2021910620 Country of ref document: EP Effective date: 20230724 |