WO2021220614A1 - 制御装置及び制御方法、並びにコンピュータプログラム - Google Patents

制御装置及び制御方法、並びにコンピュータプログラム Download PDF

Info

Publication number
WO2021220614A1
WO2021220614A1 PCT/JP2021/008799 JP2021008799W WO2021220614A1 WO 2021220614 A1 WO2021220614 A1 WO 2021220614A1 JP 2021008799 W JP2021008799 W JP 2021008799W WO 2021220614 A1 WO2021220614 A1 WO 2021220614A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
human
unit
visual field
alert
Prior art date
Application number
PCT/JP2021/008799
Other languages
English (en)
French (fr)
Inventor
弘樹 西條
慶直 袖山
キリル ファンヘルデン
康範 川浪
塁 鎌田
直樹 西村
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to EP21795787.7A priority Critical patent/EP4144489A4/en
Priority to US17/996,447 priority patent/US20230202050A1/en
Publication of WO2021220614A1 publication Critical patent/WO2021220614A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0003—Home robots, i.e. small robots for domestic use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40408—Intention learning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40409—Robot brings object near operator, operator places object in correct position
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40411—Robot assists human in non-industrial environment like home or office
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40413—Robot has multisensors surrounding operator, to understand intention of operator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45084—Service robot
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45095—Office messenger
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45108—Aid, robot for aid to, assist human disabled

Definitions

  • the technology disclosed in this specification (hereinafter referred to as "the present disclosure”) relates to a control device and a control method for controlling the operation of a robot, and a computer program.
  • robots that operate autonomously in human living spaces for the purpose of living support and long-term care are becoming widespread.
  • This type of robot is equipped with, for example, an arm or a manipulator to transfer objects to and from humans, and to call attention by entering the human field of vision or touching the body.
  • robots need to perform various tasks in areas close to humans, but when performing tasks, it is annoying and careless to interrupt a human who is doing something. It can be dangerous to approach humans.
  • Patent Document 1 a proposal has been made for a mobile robot that generates actions so that humans are not aware of its existence except when humans pay attention (see Patent Document 1).
  • This mobile robot defines an exclusive space for humans and sets a target so that the mobile robot is located outside the area.
  • this mobile robot judges the situation of human behavior and does not interfere with the behavior of the target landmark.
  • this mobile robot can achieve the purpose of not making humans aware of its existence by basically limiting the range of movement.
  • An object of the present disclosure is to provide a control device and a control method for controlling an operation of a robot to call attention to a human, and a computer program.
  • the present disclosure has been made in consideration of the above-mentioned problems, and the first aspect thereof is a control device for controlling a robot.
  • the acquisition department that acquires human visual field information
  • a control unit that controls the operation of the alert unit included in the robot based on the visual field information
  • a control unit It is a control device provided with.
  • the control unit controls the alert unit so that the alert unit performs an alert activation operation according to the target task of the robot within the auxiliary visual field area of the human.
  • the alerting unit includes a manipulator provided by the robot. Then, the alert activation operation includes an operation in which the manipulator grips an object related to the target task of the robot.
  • the control unit confirms the effect of the alert activation operation performed by the alert unit. Then, the control unit controls the execution of the task of the robot associated with the alert activation operation when the attention alert activation operation is effective.
  • the second aspect of the present disclosure is a control method for controlling a robot.
  • a third aspect of the present disclosure is a computer program described in a computer-readable format so as to execute a process for controlling a robot on a computer, wherein the computer program is a computer.
  • Acquisition department that acquires human visual field information
  • a control unit that controls the operation of the alert unit included in the robot based on the visual field information. It is a computer program that functions as.
  • the computer program according to the third aspect of the present disclosure defines a computer program written in a computer-readable format so as to realize a predetermined process on the computer.
  • a collaborative action is exerted on the computer, and the same action and effect as the control device according to the first aspect of the present disclosure is exhibited. Can be obtained.
  • FIG. 1 is a diagram showing a state in which a robot arm 100 is used to call attention within an auxiliary field of view of a human being watching TV.
  • FIG. 2 is a diagram illustrating an operation pattern of alerting according to a task intended by the manipulator.
  • FIG. 3 is a diagram illustrating an operation pattern of alerting according to a task intended by the manipulator.
  • FIG. 4 is a diagram illustrating an operation pattern of alerting according to a task intended by the manipulator.
  • FIG. 5 is a diagram illustrating an operation pattern of alerting according to a task intended by the manipulator.
  • FIG. 6 is a diagram illustrating an operation pattern of alerting according to a task intended by the manipulator.
  • FIG. 1 is a diagram showing a state in which a robot arm 100 is used to call attention within an auxiliary field of view of a human being watching TV.
  • FIG. 2 is a diagram illustrating an operation pattern of alerting according to a task intended by the manipulator.
  • FIG. 3 is a
  • FIG. 7 is a diagram illustrating an operation pattern of alerting according to a task intended by the manipulator.
  • FIG. 8 is a diagram showing an example of a device configuration in which the robot performs a warning activation operation for task execution based on the result of visual field detection performed by the robot alone.
  • FIG. 9 is a diagram showing an example of a device configuration in which a robot performs an alert activation operation for task execution based on the result of visual field detection in cooperation with an external device.
  • FIG. 10 is a flowchart showing an operation procedure when the robot executes a task.
  • FIG. 11 is a diagram showing a configuration example of the action planning system 1100 reflected in the action plan of the robot.
  • A. Life support by robots This disclosure mainly applies to control devices that control the movements of robots that support life in human living spaces. It is an object of the present disclosure to control the movement of a robot so that the robot executes a task so as to call attention without disturbing human behavior.
  • the environment in which the robot carries out support activities for human life is an environment in which a plurality of humans are freely active, and examples thereof include nursing care facilities. Of course, it may include ordinary households, schools, offices, factories, and the like.
  • the tasks executed by the robot are basically tasks for supporting human life, such as "cleaning”, “cleaning up”, and “guidance”. Of course, it may include tasks that are not directly related to human life support. It is assumed that the robot executes a plurality of types of tasks, but in the present embodiment, it is assumed that a priority is set for each task. Robot tasks have a lower priority than human actions, except for tasks related to safety and tasks that encourage humans to take other actions. Basically, the robot should perform the task so as not to interfere with the free movement of humans.
  • a robot uses a long-handled mop to perform the task of "cleaning".
  • a robot wipes the floor with a mop in front of a TV receiver, it does not enter in front of the TV receiver, but by stretching and wiping the mop, it performs the task of "cleaning" without disturbing human TV viewing. Can be done.
  • the robot When performing a task that approaches a human, the robot needs to perform the task so as not to inadvertently approach the human and surprise the human or interfere with the behavior that the human is performing (for example, watching TV). There is. Therefore, it is preferable that the robot gives appropriate attention when approaching a human to perform a task.
  • FIG. 1 shows a state in which the robot manipulator 100 is used to call attention within the auxiliary field of view of a human being who is watching a TV program displayed by the TV receiver 103.
  • the human visual field region includes a stable visual field region 101 and an auxiliary visual field region 102 further outside the stable visual field region 101 as regions in which information can be identified.
  • the stable gaze area 101 is an area in which a human can gaze at an object without difficulty due to the movement of the head.
  • the auxiliary visual field region 102 is a region in which the ability to discriminate information about an object is lower than that of the stable visual field region 101, but it is possible to detect the existence of something.
  • the robot 100 interrupts the stable gaze area 101, which has high information identification ability, to call attention, it will hinder human TV viewing and give a strong discomfort.
  • the attention is given using the auxiliary visual field region 102 having a low information discrimination ability, the human can recognize that something is being prompted by the robot while continuing to watch TV.
  • the robot In order for the robot to use the auxiliary field of view to call attention to humans, it is necessary to recognize the human auxiliary field of view.
  • the auxiliary visual field is recognized based on the detection of the human line of sight.
  • other means may be used to recognize the auxiliary visual field.
  • the robot may estimate the line of sight based on the human posture recognition result.
  • the line-of-sight detection information may be acquired from an external device of the robot.
  • a visible camera or an infrared camera can be installed in a TV receiver or the like to detect the line of sight. Since the human face while watching a TV program faces the screen, the human line of sight can be reliably detected by using the camera installed in the TV receiver.
  • the robot When calling attention in the human auxiliary visual field, the robot calls attention to the "motion pattern" and “grasping object” (however, when using a manipulator) in the auxiliary visual field area according to the target task. By using them properly, it is possible to convey the task that the robot aims at to humans. Humans can understand the target task of the robot based on the robot's alert activation operation performed in the auxiliary visual field area. Then, with the cooperation of humans, the robot will be able to execute tasks smoothly.
  • a robot equipped with a manipulator may perform tasks such as "wiping,” “calling a phone,” “serving,” “inviting a walk,” “delivering a letter,” and “hydrating.”
  • the alert activation operation is performed by the motion pattern as shown in FIGS. 2 to 7 or the combination of the motion pattern and the gripped object to suggest the target task.
  • FIG. 2 illustrates an operation pattern of a manipulator that imagines the task “wiping and cleaning”.
  • FIG. 3 illustrates an operation pattern of the manipulator imagining the task “calling a telephone”.
  • FIG. 4 illustrates an operation pattern of the manipulator in the image of the task “serving”.
  • FIG. 5 illustrates an operation pattern of a manipulator that imagines the task “invitation to a walk” by grasping a hat used when going for a walk.
  • FIG. 6 illustrates an operation pattern of a manipulator that imagines the task "delivery of a letter” by holding an envelope.
  • FIG. 7 illustrates an operation pattern of a manipulator that imagines the task “hydration” by grasping a PET bottle. As shown in FIGS. 5 to 7, when the manipulator performs the movements of grasping the objects related to each task, the human observing these movements can easily associate the task intended by the robot.
  • the operation parameters for realizing the alert activation operation that suggests the task are defined in advance in association with each task executed by the robot.
  • the corresponding alerting action parameter When a robot starts performing a task, if there is a nearby person who needs to be alerted (for example, if that person is focused on an action), the corresponding alerting action parameter. And perform an alert activation operation within the human's auxiliary field of view to suggest task execution while not interfering with human behavior. Details of the operation procedure when the robot executes a task will be described later.
  • Method of detecting the line of sight a method of photographing the human eye with a visible camera and detecting the line of sight based on the positional relationship between the reference point “inner corner” and the moving point "iris”, or the human eye Is taken with an infrared camera, and the line of sight is detected based on the positional relationship between the reference point “corneal reflex” and the moving point “pupil”.
  • TV viewing monitor device A camera such as a visible camera or an infrared camera is installed in the TV receiver to detect the line of sight. Since the human face while watching a TV program faces the screen, if a camera is installed near the TV screen, the human face can be observed from the front and the line of sight can be reliably detected.
  • the TV viewing monitor device is a device that detects the line of sight of a person watching a TV program and further recognizes each visual field area such as a stable visual field gaze area and an auxiliary visual field area.
  • the TV viewing monitor device is equipped with a device for obtaining camera information (for example, an expansion board such as a video card) to connect the camera.
  • a TV viewing monitor device is composed of a camera and a device including this expansion board.
  • the positional relationship between the TV receiver body and the camera can be obtained by performing calibration.
  • markers that can be recognized by the robot can be attached to both the main body of the TV receiver and the camera, and the positional relationship can be acquired based on the information obtained by observing each marker from the robot.
  • Both the TV viewing monitor device and the robot are connected to the network.
  • the TV viewing monitor device and the robot communicate with each other using, for example, ROS (Robot Operating System).
  • ROS Robot Operating System
  • the TV viewing monitor device recognizes that the power of the TV receiver is turned on.
  • the TV viewing monitor device may recognize the power state of the TV receiver by, for example, monitoring the state of the USB (Universal Serial Bus) terminal or the audio monitor output. Then, the TV viewing monitor device detects the line of sight of the human being in the image captured by the camera when the power of the TV receiver is on, and based on the detection result, the stable gaze area and the auxiliary field of view area. Recognize each visual field area such as.
  • the TV viewing monitor device is a device that specializes in detecting a line of sight and recognizing a visual field area only for a person who is watching a TV program.
  • the viewing monitor device is not limited to a specific scene such as TV viewing, and is a device that detects a human line of sight and recognizes a visual field region in various scenes.
  • a viewing monitor device is installed on a stage of an event venue to detect the line of sight of a person in the audience seat and recognize the visual field area.
  • the viewing monitor device is also a device provided with a camera and an expansion board for connecting the cameras.
  • the viewing monitor device has an indefinite use and installation location, and a means for searching the current position of the device is required. For example, a marker recognizable by the robot is attached to the viewing monitor device, and the position of the viewing monitoring device is observed based on the information obtained by the robot observing the marker.
  • the viewing monitor device itself may be equipped with a self-position recognition function such as SLAM (Simultaneus Localizatio and Mapping) to specify the position in the room.
  • SLAM Simultaneus Localizatio and Mapping
  • the TV viewing monitor device targets a person who is watching TV, and the detection target exists in the field of view.
  • the viewing monitor device uses a camera swing mechanism such as pan (moves the direction of the camera left and right) and tilt (moves the direction of the camera up and down). It may be provided with a zoom mechanism and a fisheye lens.
  • a plurality of field of view monitor devices may be installed in one environment.
  • Criteria for judging whether or not a person is watching The ability to see a human face from a viewing monitor device is used as a criterion for judging whether or not a person is watching. Even a person who is watching cannot detect the line of sight and recognize the visual field area unless he / she can see his / her face. Moreover, even a person who can see his / her face cannot detect his / her line of sight when he / she sleeps with his / her eyes closed. If you close your eyes, it's clear that you're not watching. If the robot is not watching, it is not necessary to perform the alert activation operation when the robot executes the target task. Therefore, pupil detection is performed, and the fact that the eyes are open is further added to the judgment criteria during viewing.
  • the viewing monitor device does not determine that viewing has been stopped until a predetermined time or more has passed, even if a human turns his or her eyes or face away from the viewing target (TV screen, performer on stage, etc.). do.
  • TV screen TV screen, performer on stage, etc.
  • the robot performs a warning activation work for task execution in the auxiliary visual field area, which hinders human viewing. There is nothing to do.
  • the viewing monitor device may satisfy a predetermined condition (or a period outside the predetermined condition) such as a period during which the TV broadcasts a commercial, regardless of the line-of-sight detection result. You may decide that you are not watching. The longer the period of determining that the robot is not watching, the more chances the robot will have to perform the task. Further, since it is based on the result of the viewing judgment with the consent of the user, even if the robot calls attention for task execution, the viewing of the user is not hindered.
  • a predetermined condition or a period outside the predetermined condition
  • Human actions are not limited to viewing content such as TV programs.
  • the "judgment criteria during viewing” may be generalized to provide “judgment criteria for the degree of concentration” for judging whether or not the person is concentrating on the behavior being performed.
  • a “criteria for determining the degree of concentration” may be defined for each type of action. Even if the behavior seems to be unconcentrated at first glance, it is assumed that each person has their own habits and habits and is concentrating. Therefore, the definition of "criteria for determining the degree of concentration” may be changed for each person.
  • the degree of concentration of a person When determining the degree of concentration of a person, not only the line of sight and visual field of the person but also other biological information (myoelectric potential, brain wave, pulse, sweating, etc.) may be used (however, the human biological information may be used. If available).
  • other biological information myoelectric potential, brain wave, pulse, sweating, etc.
  • the robot performs an alerting activation operation for task execution in the auxiliary visual field region based on the visual field detection by the viewing monitor device and the recognition result of the visual field region.
  • the viewing monitor device may further monitor the reaction of the robot's alert activation action, such as the movement of the human line of sight, to further determine whether or not the alert activation action was successful.
  • the "success" of the alert activation work mentioned here corresponds to the effect of the alert activation work when the human understands the task aimed at by the robot from the alert activation work.
  • the alert activation work has no effect and the alert activation work is " It means "failure”.
  • the viewing monitor device is based on the situation in which the robot has performed the alert activation operation (information on the content being viewed, the field of view detection result, the visual field area recognition result, the position where the alert activation operation was performed, the operation pattern of the attention alert).
  • the recognition process of the visual field region may be machine-learned based on the success / failure determination result.
  • autonomously operating robots are equipped with sensors such as visible cameras for environmental recognition.
  • the robot detects a human posture from an image captured by a visible camera mounted on the robot, and calculates a rough line of sight from the detected posture. Then, by observing the area beyond the obtained line of sight, the object that the human is looking at is recognized and specified. Furthermore, a more accurate line of sight is calculated from the relationship between the human being and the object being viewed. Based on the calculated line of sight, the human stable gaze area and auxiliary visual field area are recognized.
  • the visible camera mounted on the robot can capture the human face and eyes, the line of sight is based on the positional relationship between the reference point "inner corner” and the moving point "iris”, similar to the viewing monitor device. Can be detected to recognize the visual field area with high accuracy.
  • D. Device Configuration This section describes the device configuration for the robot to perform the alert activation operation for task execution within the human auxiliary field of view.
  • FIG. 8 shows an example of a device configuration in which the robot performs a warning activation operation for task execution based on the result of visual field detection by the robot alone.
  • the illustrated robot 800 includes a field of view detection unit 801, a manipulation unit 802, and a task determination unit 803.
  • the visual field detection unit 801 detects the visual field of a human being to be alerted. For example, as described in Section C-3, the field of view detection unit 801 detects the human posture from the image captured by the visible camera mounted on the robot 800, calculates a rough line of sight from the detected posture, and determines the line of sight of the line of sight. Observe the previous area to recognize the object that the human is looking at, calculate a more accurate line of sight from the relationship between the human and the object that is being seen, and based on the calculated line of sight, that person's stable gaze Recognize areas and auxiliary visual field areas. Then, the visual field detection unit 801 notifies the manipulation unit 802 of the visual field information regarding the recognized stable visual field gaze region and auxiliary visual field region.
  • the task determination unit 803 determines the task to be executed by the manipulation unit 802.
  • the task determination unit 803 determines the task based on the environmental information of the robot 800 and the like.
  • the task determination unit 803 determines tasks related to human life support such as "wiping”, “calling a telephone”, “serving”, “inviting for a walk”, “delivery of letters", and “hydration”. .. Then, the task determination unit 803 instructs the manipulation unit 802 to execute the determined task.
  • the manipulation unit 802 executes the task instructed by the task determination unit 803 to support human life.
  • the manipulation unit 802 performs a warning activation operation that suggests a task to be executed for a person who is a target of life support.
  • the manipulation unit 802 performs a warning activation operation so as not to interfere with the behavior of the target human being. That is, the manipulation unit 802 performs a warning activation operation within the auxiliary visual field of the target human being (in other words, so as not to enter the stable visual field region) based on the visual field information notified from the visual field detection unit 801. ..
  • the manipulation unit 802 is a task execution unit that executes a target task, and also functions as a warning unit that suggests the task.
  • the field of view detection unit 801 calculates a rough line of sight from the human posture detected from the image captured by the visible camera mounted on the robot 800, and observes the dialogue partner beyond the line of sight. Then, it recognizes the object that the human is looking at, calculates a more accurate line of sight from the relationship between the human and the dialogue partner, and based on the calculated high-precision line of sight, the stable gaze area and auxiliary visual field of the person. Recognize the area.
  • the manipulation unit 802 is notified of the recognized visual field information regarding the stable visual field region and the auxiliary visual field region.
  • the manipulation unit 802 performs an alert activation operation within the auxiliary visual field of the human who is looking at the dialogue partner so as not to interfere with the human dialogue.
  • the human being can cooperate so that the manipulation unit 802 can smoothly execute the task.
  • the visual field detection unit 801 may stop the recognition of the visual field region and the notification of the visual field information. good. Further, when the visual field information is not notified, the manipulation unit 802 may start the task execution without suggesting the task to the human by performing the alert activation operation.
  • FIG. 9 shows an example of a device configuration in which a robot performs a warning activation operation for task execution based on the result of visual field detection in cooperation with an external device.
  • a TV viewing monitor device is assumed as an external device.
  • the TV viewing monitor device includes a camera installed in the vicinity of the TV screen.
  • a TV system is composed of a combination of a TV receiver and a TV viewing monitor device.
  • the TV viewing monitor device may be a device that is physically integrated with the TV receiver.
  • the robot 900 includes a manipulation unit 902 and a task determination unit 903.
  • the TV system 910 that cooperates with the robot includes a TV receiver 911 and a field of view detection device 912.
  • the field of view detection device 912 detects the field of view of a person who watches a TV program displayed on the TV receiver 911. As described in Section C-1, the field of view detection device 912 detects the human line of sight from an image of the human face taken from the front by a camera installed near the TV screen of the TV receiver 911, and further. Recognize each visual field area such as stable gaze area and auxiliary visual field area. Then, the visual field detection device 912 notifies the robot 900 of the visual field information regarding the recognized stable visual field gaze region and auxiliary visual field region. As described in Section C-1, both the field of view detection device 912 and the robot 900 are connected to the network, and the field of view information is exchanged using, for example, ROS.
  • the positional relationship between the main body of the TV receiver 911 and the camera of the field of view detection device 912 is acquired in advance by performing calibration. Then, on the robot 900 side, the field of view information passed from the field of view detection device 912 can be repositioned and used as the field of view information on the robot coordinate system.
  • the task determination unit 903 determines the task to be executed by the manipulation unit 902.
  • the task determination unit 903 determines a task based on the environmental information of the robot 900 and the like.
  • the task determination unit 903 determines tasks related to human life support, such as "wiping”, “calling a telephone”, “serving”, “inviting a walk”, “delivering a letter”, and “hydrating”. .. Then, the task determination unit 903 instructs the manipulation unit 902 to execute the determined task.
  • the manipulation unit 902 executes the task instructed by the task determination unit 903 to support human life.
  • the manipulation unit 902 performs a warning activation operation that suggests a task to be executed for a person who is a target of life support.
  • the manipulation unit 902 performs a warning activation operation so as not to interfere with the behavior of the target human being. That is, the manipulation unit 902 performs an alert activation operation within the auxiliary visual field of the target human (in other words, so as not to enter the stable visual field region) based on the visual field information notified from the visual field detection device 912. .
  • the manipulation unit 902 is a task execution unit that executes a target task, and also functions as a warning unit that suggests the task.
  • the target person is acting to watch the TV program displayed on the TV receiver 911, and the person is facing the TV screen.
  • the visual field information passed from the visual field detection device 912 is repositioned into the visual field information on the robot coordinate system to recognize the human stable gaze area and auxiliary visual field area on the robot coordinate system.
  • the manipulation unit 902 is notified of the recognized visual field information regarding the stable visual field region and the auxiliary visual field region. Then, the manipulation unit 902 performs a warning activation work within the auxiliary visual field of the human being watching the TV screen so as not to hinder the human TV viewing / sliding.
  • the human being can cooperate so that the manipulation unit 902 can smoothly execute the task. ..
  • the visual field detection device 912 may stop the recognition of the visual field region and the notification of the visual field information. good. Further, when the visual field information is not notified, the manipulation unit 902 may start the task execution without suggesting the task to the human by performing the alert activation operation.
  • FIG. 10 shows the operation procedure when the robot executes a task in the form of a flowchart.
  • the operation procedure of the robot will be described with reference to the illustrated flowchart.
  • step S1001 When the robot starts the target task, it checks whether or not it approaches a human to execute the task (step S1001).
  • step S1001 When the target task can be executed without approaching the human (No in step S1001), the robot does not need to perform the alert activation operation for the human, so the subsequent processing steps S1002 to S1012 are skipped. Then, the task is executed (step S1013).
  • step S1001 when the robot needs to approach a human when performing the target task (Yes in step S1001), the robot needs to perform a warning activation operation for the human. In this case, the robot confirms the human field of view (step S1002) and checks whether the human is concentrating on actions such as watching TV (step S1003).
  • step S1003 Even if the robot needs to approach a human when performing the desired task, if the human is not concentrating on actions such as watching TV (No in step S1003), the robot pays attention to the human. Since it is not necessary to perform the summoning activation operation, the subsequent processing steps S1004 to S1012 are skipped and the task is executed (step S1013).
  • step S1003 If the person is concentrating on actions such as watching TV (Yes in step S1003), the robot will perform a warning activation operation to suggest the person to perform the desired task.
  • the robot acquires information on the stable gaze area and the auxiliary visual field area of the human in order to perform the alert activation operation (step S1004). Then, after loading the attention alert activation parameter according to the task (step S1005), the robot invades the alert alert portion into the auxiliary visual field (step S1006), and further brings the alert alert portion closer to the stable gaze field (step). S1007), the alert activation operation of the core base is executed based on the loaded alert activation operation (step S1008).
  • the alerting unit referred to here is a manipulation unit or a manipulation unit that grips a predetermined object related to a target task.
  • the robot confirms whether or not it has confirmed whether or not it has been able to draw human attention (step S1009). Whether or not a person's attention has been aroused can basically be confirmed by the person's line of sight (whether or not the user has turned to the attention-calling part), but other biometric information (myoelectric potential, brain waves, etc.) It may be confirmed by using pulse, sweating, etc. (provided that human biometric information can be obtained).
  • the robot checks whether or not the human attention has been successfully alerted and whether or not the alerting unit has reached the stable gaze (step S1010).
  • Whether or not the human attention has been successfully alerted in step S1010 may be determined based on the result of further monitoring the reaction such as the movement of the human line of sight, as described in Section C-2 above. good.
  • step S1010 If the human alert is not successful, but the alert unit has not yet reached the stable gaze (No in step S1010), the robot returns to step S1007 and the robot cautions to further alert the human. Bring the awakening part closer to the stable gaze and repeat the alert activation work.
  • step S1010 the robot further checks whether the human alert is successful.
  • step S1011 If the human attention is successful (Yes in step S1011), it is understood that the human understands the target task, so that the robot smoothly executes the task with the cooperation of the human (step). S1013), this process is terminated.
  • step S1011 If the human attention has not been successfully alerted (No in step S1011), the alerting unit has reached the stable gaze range. If the alert activation work is performed within the stable gaze field, it will not be possible to obtain human understanding even if the robot performs the desired task by hindering the behavior (TV viewing, etc.) that humans are concentrating on. There is a risk. Therefore, the robot postpones the execution of this task (step S1012) and ends this process.
  • Section D-2 System configuration for integrating visual field information into environmental information
  • Section D-2 the configuration of a robot that executes a target task in cooperation with an external device that recognizes visual field information has been described with reference to FIG.
  • the configuration of the action planning system 1100 that integrates the visual field information obtained by recognizing the line of sight as environmental information and reflects it in the action plan of the robot will be described.
  • FIG. 11 shows a configuration example of the action planning system 1100 that is reflected in the action plan of the robot.
  • the illustrated action planning system 1100 includes a robot 1110 main body and a viewing status monitoring system 1150 that cooperates with the robot 1110.
  • the robot 1110 and the viewing status monitoring system 1150 communicate with each other using, for example, ROS.
  • the robot 1110 and the viewing status monitoring system 1150 may be physically integrated devices.
  • the viewing status monitor system 1150 includes a visible camera 1151, a face recognition unit 1152, a viewpoint recognition unit 1153, and a visual field information construction unit 1154.
  • the visible camera 1151 is installed at a predetermined position and captures a fixed field of view.
  • the visible camera 1151 may be mounted on a swing mechanism such as pan (moving the direction of the camera left and right) and tilting (moving the direction of the camera up and down) to cover a wide field of view. ..
  • the face recognition unit 1152 performs the human face recognition process in the captured image of the visible camera 1151.
  • the viewpoint recognition unit 1153 performs a viewpoint or line-of-sight recognition process on a person in the captured image of the visible camera 1151.
  • the viewpoint recognition unit 1153 extracts the positions of the reference point "inner corner” and the moving point "iris” from the face image recognized by the face recognition unit 1152, and calculates the viewpoint or line of sight based on these positional relationships. ..
  • the visual field information construction unit 1154 is based on the human face image recognized by the face recognition unit 1152 and the information of the human viewpoint or line of sight recognized by the viewpoint recognition unit 1153, and the visual field information such as the stable gaze of humans and the auxiliary visual field. To build. Then, the viewing status monitor system 1150 transmits the visual field information constructed by the visual field information construction unit 1154 to the robot 1110 side, for example, by communication using ROS.
  • the robot 1110 includes an action planning unit 1111, an operation planning unit 1112, an environmental information management unit 1113, a whole body cooperative control unit 1114, an external information position conversion unit 1115, a self-position integration unit 1116, and a SLAM processing unit 1117.
  • Environment recognition unit 1118 movement control unit 1119, end effector 1120, manipulation control unit 1121, LiDAR1122, visible camera 1123, movement mechanism 1124, tactile unit 1125, force sense unit 1126, and gripping mechanism. It includes 1127 and a manipulator unit 1128.
  • the robot 1110 shown in FIG. 11 is one of the general configuration examples of a mobile robot that operates autonomously, but the visual field information passed from the viewing status monitoring system 1150 is incorporated into the environmental information and reflected in the robot action plan. It is characterized by the fact that it does.
  • the external information position conversion unit 1115 converts the visual field information received from the viewing status monitoring system 1150 into viewing information on the robot coordinate system of the robot 1110 main body, and passes it to the environment information management unit 1113 as a viewing information environment map. ..
  • the LiDAR 1122 and the visible camera 1123 are environmental sensors equipped on the robot 1110.
  • the robot 1110 may be further equipped with environmental sensors other than these, but the illustration is omitted because it is not directly related to the description of the present disclosure.
  • the SLAM processing unit 1117 estimates the self-position of the robot 1110 and creates an environmental map based on the distance information from LiDAR1122, the image information from the visible camera 1123, and the movement information from the movement mechanism 1124. Further, the environment recognition unit 1118 recognizes the surrounding environment of the robot 1110 based on the distance information from the LiDAR 1122 and the image information from the visible camera 1123.
  • the environmental information management unit 1113 manages the visual field information environment map processed by the external information location conversion unit 1115 and the obstacle map passed from the environment recognition unit 1118.
  • the self-position integration unit 1116 integrates the self-position estimated by the SLAM processing unit 1117 and the obstacle map managed by the environmental information management unit 1113.
  • the robot 1110 includes a moving mechanism 1124, a gripping mechanism 1127, and a manipulator 1128 as moving units.
  • the moving mechanism 1124 is composed of, for example, a plurality of legs and wheels, and can move the robot 1110 main body.
  • the manipulator 1128 is, for example, a robot arm having a multi-link structure.
  • the gripping mechanism 1127 comprises a gripper or the like that grips an object, and is equipped as an end effector at the tip of the manipulator 1128.
  • the gripping mechanism 1127 is equipped with a tactile sensor 1125 that detects a contact force and a force sensor 1126 that detects an external force.
  • the action planning unit 1111 includes a robot task management unit. For example, tasks that support human life such as “wiping”, “calling a phone”, “serving”, “inviting for a walk”, “delivery of letters", and “hydration” are managed.
  • the action planning unit 1111 formulates an action plan for the robot 1110 to achieve a desired task based on the environmental information in which the visual field information is integrated, which is managed by the environmental information management unit 1113.
  • the motion planning unit 1112 formulates a route plan for the robot 1110 to move and a trajectory plan for the manipulator 1128 in order to realize the action plan formulated by the motion planning unit 1111.
  • the whole body cooperative control unit 1114 operates the whole body of the robot 1110, that is, the movement mechanism 1124, the gripping mechanism 1127, and the manipulator 1128 in order to realize the route plan and the trajectory plan planned by the operation planning unit 1112 based on the robot model. Cooperative control is performed through the movement control unit 1119, the end effector control unit 1120, and the manipulation control unit 1121.
  • This disclosure can be applied to various types of robots that operate autonomously in a human living space for the purpose of living support.
  • the present disclosure can be applied to leg robots, wheel robots, and arm robots.
  • a control device that controls a robot.
  • the acquisition department that acquires human visual field information
  • a control unit that controls the operation of the alert unit included in the robot based on the visual field information
  • a control unit comprising.
  • the control unit controls the alert unit to perform an alert activation operation for alerting the human within the auxiliary visual field region of the human.
  • the control device according to (1) above.
  • the control unit controls the alerting unit to perform an alerting activation operation according to the target task of the robot within the human auxiliary visual field area.
  • the control device according to any one of (1) and (2) above.
  • the alerting unit includes a manipulator included in the robot.
  • the alert activation operation includes an operation in which the manipulator grips a predetermined object.
  • the control device according to any one of (1) to (3) above.
  • the manipulator grips the object related to the target task of the robot.
  • the control device according to (4) above.
  • the acquisition unit acquires the human auxiliary visual field region based on the detection result of the human line of sight.
  • the control device according to any one of (1) to (5) above.
  • the control unit confirms the effect of the alert activation operation performed by the alert unit.
  • the control device according to any one of (1) to (6) above.
  • the control unit confirms the effect of the alert activation operation performed by the alert unit based on the detection result of the human line of sight.
  • the control device according to any one of (1) to (7) above.
  • the control unit controls the execution of the task of the robot associated with the alert activation action when the alert activation action performed by the alert activation unit is effective.
  • the control device according to any one of (1) to (8) above.
  • the control unit repeats the execution of the alert activation operation within the human auxiliary visual field region when the alert activation operation performed by the alert unit is not effective.
  • the control device according to any one of (1) to (8) above.
  • the control unit controls to execute the alert activation operation within the stable gaze of the human based on the importance of the task of the robot associated with the alert activation operation.
  • the control device according to (10) above.
  • the acquisition unit acquires the field of view information from an external device that cooperates with the robot.
  • the control device according to any one of (1) to (11) above.
  • the acquisition unit acquires the field of view information from the detection information of the sensor mounted on the robot.
  • the control device according to any one of (1) to (11) above.
  • a control method for controlling a robot The acquisition step to acquire human visual field information, A control step that controls the operation of the alerting unit included in the robot based on the visual field information, and Control method having.
  • a computer program written in a computer-readable format so as to execute a process for controlling a robot on a computer the computer program is a computer.
  • Acquisition department that acquires human visual field information
  • a control unit that controls the operation of the alert unit included in the robot based on the visual field information.
  • a computer program that acts as.
  • Visible camera 1124 ... Moving mechanism, 1125 ... Tactile part 1126 ... Force sense part, 1127 ... Gripping mechanism, 1128 ... Manipulator 1150 ... Viewing status monitoring system, 1151 ... Visible camera 1152 ... Face recognition part, 1153 ... Viewpoint recognition part 1154 ... Visual Information Construction Department

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

ロボットが人間の注意喚起を行う動作を制御する制御装置を提供する。　ロボットを制御する制御装置は、人間の視野情報を取得する取得部と、前記視野情報に基づいて前記ロボットが備える注意喚起部の動作を制御する制御部を具備する。前記制御部は、前記注意喚起部が前記人間の補助視野領域内で、前記注意喚起部が前記ロボットの目的のタスクに応じた注意喚起動作を行うように制御する。前記注意喚起部は前記ロボットが備えるマニピュレータを含む。そして、前記注意喚起動作は前記マニピュレータが前記ロボットの目的のタスクに関連した物体を把持する動作を含む。

Description

制御装置及び制御方法、並びにコンピュータプログラム
　本明細書で開示する技術（以下、「本開示」とする）は、ロボットの動作を制御する制御装置及び制御方法、並びにコンピュータプログラムに関する。
　近年、生活支援や介護などを目的として人間の居住空間で自律的に活動するロボットが普及しつつある。この種のロボットは、例えばアームやマニピュレータを備え、人間と物の受け渡しを行ったり、人間の視界に入ったり身体に触れたりして注意を喚起したりする。このようにロボットは人間に近いエリアでさまざまなタスクを実行する必要があるが、タスクの実行の際に、何かの行動をしている最中の人間に割り込むのは迷惑であり、不用意に人間に接近すると危険な場合がある。
　例えば、人間が注意を向けたとき以外は人間がその存在を意識しないように行動を生成する移動ロボットについて提案がなされている（特許文献１を参照のこと）。この移動ロボットは、人間にとっての排他的空間を定義し、移動ロボットがその領域外に位置するように目標を設定する。また、この移動ロボットは、人間の行動の状況を判断し、目的のランドマークに対する行動を邪魔しないようにする。要するに、この移動ロボットは、基本的には移動範囲を制限することによって、人間に存在を意識させないという目的を実現することができる。しかしながら、ロボットが人間の生活支援などを行う際に、注意喚起を行うなど人間に存在を意識させる必要がある場合もある。
特開２００８－２４６６６５号公報
　本開示の目的は、ロボットが人間の注意喚起を行う動作を制御する制御装置及び制御方法、並びにコンピュータプログラムを提供することにある。
　本開示は、上記課題を参酌してなされたものであり、その第１の側面は、　ロボットを制御する制御装置であって、
　人間の視野情報を取得する取得部と、
　前記視野情報に基づいて前記ロボットが備える注意喚起部の動作を制御する制御部と、
を具備する制御装置である。
　前記制御部は、前記注意喚起部が前記人間の補助視野領域内で、前記注意喚起部が前記ロボットの目的のタスクに応じた注意喚起動作を行うように制御する。
　前記注意喚起部は前記ロボットが備えるマニピュレータを含む。そして、前記注意喚起動作は前記マニピュレータが前記ロボットの目的のタスクに関連した物体を把持する動作を含む。
　前記制御部は、前記注意喚起部が行った注意喚起動作の効果を確認する。そして、前記制御部は、前記注意喚起部が行った注意喚起動作の効果があった場合には、その注意喚起動作に対応付けられた前記ロボットのタスクの実行を制御する。
　また、本開示の第２の側面は、ロボットを制御する制御方法であって、
　人間の視野情報を取得する取得ステップと、
　前記視野情報に基づいて前記ロボットが備える注意喚起部の動作を制御する制御ステップと、
を有する制御方法である。
　また、本開示の第３の側面は、ロボットを制御するための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータプログラムであって、前記コンピュータプログラムは、コンピュータを、
　人間の視野情報を取得する取得部、
　前記視野情報に基づいて前記ロボットが備える注意喚起部の動作を制御する制御部、
として機能させる、コンピュータプログラムである。
　本開示の第３の側面に係るコンピュータプログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータプログラムを定義したものである。換言すれば、本開示の第３の側面に係るコンピュータプログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、本開示の第１の側面に係る制御装置と同様の作用効果を得ることができる。
　本開示によれば、ロボットが人間の行動を阻害することなく注意喚起を行う動作を制御する制御装置及び制御方法、並びにコンピュータプログラムを提供することができる。
　なお、本明細書に記載された効果は、あくまでも例示であり、本開示によりもたらされる効果はこれに限定されるものではない。また、本開示が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
　本開示のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図１は、ＴＶを視聴中の人間の補助視野内でロボットのアーム１００を使って注意喚起を行う様子を示した図である。 図２は、マニピュレータの目的とするタスクに応じた注意喚起の動作パターンを例示した図である。 図３は、マニピュレータの目的とするタスクに応じた注意喚起の動作パターンを例示した図である。 図４は、マニピュレータの目的とするタスクに応じた注意喚起の動作パターンを例示した図である。 図５は、マニピュレータの目的とするタスクに応じた注意喚起の動作パターンを例示した図である。 図６は、マニピュレータの目的とするタスクに応じた注意喚起の動作パターンを例示した図である。 図７は、マニピュレータの目的とするタスクに応じた注意喚起の動作パターンを例示した図である。 図８は、ロボット単体で視野検出を行った結果に基づいてロボットがタスク実行のための注意喚起動作を行う装置構成例を示した図である。 図９は、外部装置との連携で視野検出を行った結果に基づいてロボットがタスク実行のための注意喚起動作を行う装置構成例を示した図である。 図１０は、ロボットがタスクを実行する際の動作手順を示したフローチャートである。 図１１は、ロボットの行動計画に反映する行動計画システム１１００の構成例を示した図である。
　以下、図面を参照しながら本開示に係る技術について、以下の順に従って説明する。
Ａ．ロボットによる生活支援
Ｂ．注意喚起の手段
Ｃ．視線検出を行う装置 
　Ｃ－１．視線検出を行う装置の実現例
　Ｃ－２．視聴状況の判断
　Ｃ－３．ロボット単体で視線検出を行う装置の実現例
Ｄ．装置構成
Ｅ．動作フロー
Ｆ．視野情報を環境情報に統合するシステム構成
Ａ．ロボットによる生活支援
　本開示は、主に人間の居住空間で生活の支援活動を行うロボットの動作を制御する制御装置を適用対象とする。本開示は、人間の行動を阻害することなく注意喚起を行うようにロボットがタスクを実行するように、ロボットの動作を制御することを目的とする。
　ここで、ロボットが人間の生活の支援活動を行う環境は、複数の人間が自由に活動している環境であり、例えば介護施設を挙げることができる。もちろん、一般家庭や学校、オフィス、工場などを含んでもよい。
　また、ロボットが実行するタスクは、基本的には人間の生活を支援するためのタスクであり、例えば「掃除」や「片づけ」、「案内」を挙げることができる。もちろん、人間の生活支援に直接関連しないタスクを含んでいてもよい。ロボットは複数の種類のタスクを実行することが想定されるが、本実施形態では各タスクには優先度が設定されていることを想定している。安全面に関わるタスクや、人間に別の行動を促すタスクを除き、ロボットのタスクは人間の行動よりも優先度が低い。基本的には、ロボットは、人間の自由な行動を阻害しないようにタスクを実行するべきである。
　例えば、ロボットは、「掃除」というタスクを実行するために、柄の長いモップを使っている。ロボットがＴＶ受像機の前をモップで床を拭く際、ＴＶ受像機の前に立ち入らず、モップを伸ばして拭くことで、人間のＴＶ視聴を阻害せずに「掃除」というタスクを実行することができる。
　ロボットが実行するタスクの中には、人間に接近する必要があることが想定されるケースが想定される。例えば、ダイニングテーブルの席でテレビを視聴している人のところに配膳するケースである。
　ロボットは、人間に接近するタスクを実行する際に、不用意に接近して人間を驚かせたり、人間が行っている行動（例えばＴＶの視聴）を邪魔したりしないように、タスクを実行する必要がある。そのために、ロボットは、人間に接近してタスクを実行する際に、適切な注意喚起を行うことが好ましい。
Ｂ．注意喚起の手段
　本開示は、人間の補助視野内で、ロボットの動作により注意喚起を行うことを特徴とする。図１には、ＴＶ受像機１０３が表示するＴＶ番組を視聴中の人間の補助視野内でロボットのマニピュレータ１００を使って注意喚起を行う様子を示している。
　人間の視野領域は、情報を識別できる領域として安定注視野領域１０１と、安定注視野領域１０１のさらに外側の補助視野領域１０２を含む。安定注視野領域１０１は、人間が頭部の運動を伴うことで無理なく対象を注視できる領域である。これに対し、補助視野領域１０２は、安定注視野領域１０１と比べて対象物に対する情報識別能力は低いが、何かが存在することを感知することができる領域である。
　例えば、ロボット１００が、情報識別能力が高い安定注視野領域１０１に割り込んで注意喚起を行うと、人間のＴＶ視聴を阻害することになり、強い不快感を与えてします。これに対し、情報識別能力が低い補助視野領域１０２を使って注意喚起を行うと、人間はＴＶ視聴を続けながら、ロボットに何かを促されていることを認識することができる。
　ロボットが補助視野を使って人間の注意喚起を行うためには、人間の補助視野を認識する必要がある。本実施形態では、人間の視線検出に基づき補助視野を認識するようにしている。もちろん、その他の手段を使って補助視野を認識するようにしてもよい。
　例えばロボットは人間の姿勢認識結果に基づいて、視線を推定するようにしてもよい。また、ロボットの外部装置から視線検出情報を取得するようにしてもよい。例えば可視カメラや赤外線カメラをＴＶ受像機などに設置して、視線検出を行うことができる。ＴＶ番組を視聴中の人間の顔は画面を向いているので、ＴＶ受像機に設置したカメラを用いて人間の視線を確実に検出することができる。
　ロボットは、人間の補助視野で注意喚起を行う際に、目的のタスクに応じて補助視野領域内での「動作パターン」や「把持物体」（但し、マニピュレータを用いて注意喚起を行う場合）を使い分けることで、ロボットが目的とするタスクを人間に伝えることができる。人間は、補助視野領域で実施されるロボットの注意喚起動作に基づいて、ロボットの目的とするタスクを理解することができる。そして、人間の協力を得ることにより、ロボットは円滑にタスクを実行することができるようになる。
　例えばマニピュレータを備えたロボットは、「拭き掃除」、「電話の呼び出し」、「配膳」、「散歩への誘引」、「手紙の配達」、「水分補給」といったタスクを実施しようとする際に、それぞれ図２～図７に示すような動作パターン、又は動作パターンと把持物体の組み合わせによって注意喚起動作を行って、目的とするタスクを示唆する。図２には、タスク「拭き掃除」をイメージしたマニピュレータの動作パターンを例示している。また、図３には、タスク「電話の呼び出し」をイメージしたマニピュレータの動作パターンを例示している。また、図４には、タスク「配膳」をイメージしたマニピュレータの動作パターンを例示している。また、図５には、散歩に行くときに使用する帽子を把持して、タスク「散歩への誘引」をイメージしたマニピュレータの動作パターンを例示している。また、図６には、封筒を把持して、タスク「手紙の配達」をイメージしたマニピュレータの動作パターンを例示している。また、図７には、ペットボトルを把持して、タスク「水分補給」をイメージしたマニピュレータの動作パターンを例示している。図５～図７に示すように、マニピュレータが各タスクに関連した物体を把持する動作を実施することで、これらの動作を観察する人間は、ロボットが目的とするタスクを連想し易くなる。
　例えば、ロボットが実行する各タスクと対応付けて、タスクを示唆する注意喚起動作を実現するための動作パラメータ（各関節アクチュエータへの指令値など）があらかじめ定義されている。ロボットは、あるタスクの実行を開始するときに、近くの人間がいて注意喚起する必要がある場合には（例えば、その人間がある行動に集中している場合）、対応する注意喚起の動作パラメータをロードしてし、その人間の補助視野内で注意喚起動作を実施して、人間の行動を阻害しないようにしながらタスクの実行を示唆する。ロボットがタスクを実行する際の動作手順の詳細については後述に譲る。
　人間は、図２～図７に示すような動作パターンから、ロボットが目的とする各タスクをイメージし易い。また、ロボットは、人間の安定注視野領域には侵入せず、マニピュレータを用いたこれらの動作を、補助視野領域で行うことで、ＴＶ視聴など人間の行動を阻害することなく注意喚起を行うことができる。また、人間は、補助視野領域でロボットの注意喚起動作を知覚するので、気分を害することはなく、ロボットのタスクに協力しようという気持ちになる。
Ｃ．視線検出を行う方法
　視線を検出する方法として、人間の眼を可視カメラで撮影して、基準点「目頭」と動点「虹彩」の位置関係に基づいて視線を検出する方法や、人間の眼を赤外線カメラで撮影して、基準点「角膜反射」と動点「瞳孔」の位置関係に基づいて視線を検出する方法などを挙げることができる。
Ｃ－１．視線検出を行う装置の実現例
　この項では、ロボットの外部の装置を用いて人間の視線検出を行う実現例について説明する。
（１）ＴＶ視聴モニター装置
　視線検出のために、可視カメラや赤外線カメラなどのカメラがＴＶ受像機に設置される。ＴＶ番組を視聴中の人間の顔は画面を向いているので、ＴＶ画面の近傍にカメラを設置すれば、人間の顔を正面から観察して、視線を確実に検出することができる。
　ＴＶ視聴モニター装置は、ＴＶ番組を視聴する人間の視線を検出し、さらには安定注視野領域や補助視野領域などの各視野領域を認識する装置である。ＴＶ視聴モニター装置は、カメラの情報を得るための装置（例えば、ビデオカードなどの拡張ボード）を装備して、カメラを接続する。カメラと、この拡張ボードなどからなる装置とで、ＴＶ視聴モニター装置が構成される。
　ＴＶ受像機本体とカメラとの位置関係は、キャリブレーションを行うことによって取得することができる。例えば、ロボットが認識可能なマーカーをＴＶ受像機本体とカメラの双方に付けて、ロボットから各マーカーを観測した情報に基づいて、位置関係を取得することができる。
　ＴＶ視聴モニター装置とロボットはともにネットワークに接続する。ＴＶ視聴モニター装置とロボットは、例えばＲＯＳ（Ｒｏｂｏｔ　Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）を使って通信する。
　ＴＶ視聴モニター装置は、ＴＶ受像機の電源がオンになっていることを認識する。ＴＶ視聴モニター装置は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）端子や音声モニター出力の状態を監視することで、ＴＶ受像機の電源状態を認識するようにしてもよい。そして、ＴＶ視聴モニター装置は、ＴＶ受像機の電源がオン状態のときに、カメラの撮影画像に写っている人間の視線検出を行い、さらに検出結果に基づいて、安定注視野領域や補助視野領域などの各視野領域を認識する。
　なお、人間がＴＶ視聴に集中していないときには、ロボットが目的とするタスクを実行する際に、安定注視野領域を避けて注意喚起動作を行う必要がない。そこで、所定の「視聴中の判断基準」に基づいて人間がＴＶ視聴に集中しているかどうかを判断し、ＴＶ視聴に集中していないときには、ＴＶ視聴モニター装置は視野領域の認識処理や認識結果のロボットへの通知を行わないようにしてもよい。「視聴中の判断基準」については後述に譲る。
（２）視聴モニター装置
　ＴＶ視聴モニター装置は、ＴＶ番組を視聴中の人間に特化して視線検出及び視野領域の認識を行う装置である。これに対し、視聴モニター装置は、ＴＶ視聴など特定のシーンに限定されず、さまざまなシーンで人間の視線検出及び視野領域の認識を行う装置である。例えば、視聴モニター装置をイベント会場のステージなどに設置して、観客席にいる人間の視線検出及び視野領域の認識を行う。視聴モニター装置も、カメラと、カメラを接続する拡張ボードを備えた装置である。
　視聴モニター装置は、ＴＶ視聴モニター装置とは異なり用途や設置場所が不定であり、装置の現在位置をサーチする手段が必要である。例えば、ロボットが認識可能なマーカーを視聴モニター装置に付けて、ロボットがマーカーを観測した情報に基づいて、視聴モニター装置の位置を観測する。あるいは、視聴モニター装置自身にＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏ　　ａｎｄ　Ｍａｐｐｉｎｇ）などの自己位置認識機能を搭載して、部屋内の位置を特定するようにしてもよい。
　ＴＶ視聴モニター装置がＴＶ視聴中の人間を検出の対象としており、検出対象は視野内に存在する。これに対し、視聴モニター装置の場合、検出の対象となる人間が視野内に収まらない場合を想定する必要がある。そこで、視聴モニター装置は、検出対象となる人間を視野内に収めるために、パン（カメラの向きを左右に動かす）、チルト（カメラの向きを上下に動かす）などのカメラの首振り機構や、ズーム機構、魚眼レンズを備えていてもよい。あるいは、１つの環境内に複数台の視野モニター装置を設置してもよい。
Ｃ－２．視聴状況の判断
　この項では、上記Ｃ－１項で説明したＴＶ視聴モニター装置及び視聴モニター装置による人間の視聴状況の判断について説明する。以下の説明では、ＴＶ視聴モニター装置と視聴モニター装置を併せて、単に「視聴モニター装置」と呼ぶ。
（１）視聴中の判断基準
　視聴モニター装置から人間の顔が見えることを、視聴中であるか否かの判断基準とする。視聴中の人間であっても、顔が見えなければ視線検出及び視野領域の認識を行うことができない。また、顔が見える人間であっても、目を閉じて寝ている場合には視線検出できない。目を閉じていれば、視聴中でないことは明らかである。視聴中でなければ、ロボットが目的とするタスクを実行する際に注意喚起動作を行う必要がない。そこで、瞳検出を行い、目を開いていることをさらに視聴中の判断基準に加える。
　視聴中に時々目や顔の向きを逸らす癖や習慣を持つ人間がいることが想定される。そこで、視聴モニター装置は、人間が視聴対象（ＴＶ画面やステージ上の出演者など）から目や顔の向きを逸らしたとしても、所定時間以上経過するまでは、視聴を止めたと判断しないようにする。これによって、人間が癖や習慣に基づく動作を不用意に行ったとしても視聴中と判断されるので、ロボットはタスク実行のための注意喚起動作を補助視野領域で行うので、人間の視聴を阻害することがない。
　また、視聴モニター装置は、ユーザの設定次第では、ＴＶがＣＭを放送している期間など、所定の条件を満たす期間（又は、所定の条件から外れた期間）は、視線の検出結果に拘わらず視聴していないと判断するようにしてもよい。視聴中でないと判断する期間が長くなれば、その分だけロボットはタスクを実行する機会が増す。また、ユーザの了解の下で視聴判断した結果に基づくので、ロボットがタスク実行のための注意喚起を行っても、ユーザの視聴を阻害することにはならない。
　人間が行う行動は、ＴＶ番組などのコンテンツ視聴には限定されない。「視聴中の判断基準」を一般化して、人間が行っている行動に集中しているかを判断する「集中度の判断基準」を設けてもよい。行動の種別毎に「集中度の判断基準」を定義してもよい。一見して集中していないような行動をしていても、人それぞれに癖や習慣があり、集中していることも想定される。そこで、人間毎に「集中度の判断基準」の定義を変更するようにしてもよい。人間の集中度を判断する際、その人間の視線や視野だけでなく、その他の生体情報（筋電位や脳波、脈拍、発汗など）も利用するようにしてもよい（但し、人間の生体情報を取得可能な場合）。
（２）注意喚起成功の判断基準
　ロボットは、視聴モニター装置による視野検出及び視野領域の認識結果に基づいて、タスク実行のための注意喚起動作を補助視野領域で行う。人間は、ロボットによる注意喚起動作を知覚すると、視線、頭や動きなどの挙動などの反応が現れる。視聴モニター装置は、ロボットの注意喚起動作に対する人間の視線の動きなどの反応をさらにモニターして、注意喚起動作が成功したかどうかをさらに判定するようにしてもよい。
　ここで言う、注意喚起動作の「成功」は、人間が注意喚起動作からロボットが目的とするタスクを理解して、注意喚起動作の効果があったことに相当する。また、注意喚起動作に対して人間が反応せず、人間が注意喚起動作からロボットが目的とするタスクを理解できないと推定される場合には、注意喚起動作の効果がなく、注意喚起動作が「失敗」したことになる。
　また、視聴モニター装置は、ロボットが注意喚起動作を行った状況（視聴中のコンテンツの情報、視界の検出結果、視野領域の認識結果、注意喚起動作を行った位置、注意喚起の動作パターン）と成否の判定結果に基づいて、視野領域の認識処理を機械学習するようにしてもよい。
Ｃ－３．ロボット単体で視線検出を行う装置の実現例
　この項では、ロボット単体で人間の視線検出を行う実現例について説明する。
　一般に、自律動作するロボットは、環境認識のために可視カメラなどのセンサーを装備している。本実施例では、ロボットは、ロボットに搭載された可視カメラの撮影画像から人間の姿勢検出を行い、検出した姿勢から大まかな視線を算出する。そして、得られた視線の先の領域を観察して、人間が見ている対象を認識し、特定する。さらに、人間と見ている対象との関係から、より精度のよい視線を算出する。算出した視線に基づいて、人間の安定注視野領域や補助視野領域を認識する。
　もちろん、ロボットに搭載された可視カメラで人間の顔や目を撮影することができる場合には、視聴モニター装置と同様に、基準点「目頭」と動点「虹彩」の位置関係に基づいて視線を検出して、高精度に視野領域を認識することができる。
Ｄ．装置構成
　この項では、ロボットがタスク実行のための注意喚起動作を人間の補助視野内で行うための装置構成について説明する。
Ｄ－１．ロボット単体で視野検出を行う装置構成
　図８には、ロボット単体で視野検出を行った結果に基づいてロボットがタスク実行のための注意喚起動作を行う装置構成例を示している。図示のロボット８００は、視野検出部８０１と、マニピュレーション部８０２と、タスク決定部８０３を備えている。
　視野検出部８０１は、注意喚起の対象となる人間の視野を検出する。視野検出部８０１は、例えばＣ－３項で説明したように、ロボット８００に搭載された可視カメラの撮影画像から人間の姿勢検出を行い、検出した姿勢から大まかな視線を算出し、その視線の先の領域を観察して人間が見ている対象を認識し、さらに人間と見ている対象との関係からより精度のよい視線を算出して、算出した視線に基づいてその人間の安定注視野領域や補助視野領域を認識する。そして、視野検出部８０１は、認識した安定注視野領域や補助視野領域に関する視野情報を、マニピュレーション部８０２に通知する。
　タスク決定部８０３は、マニピュレーション部８０２で実行するタスクを決定する。タスク決定部８０３は、ロボット８００の環境情報などに基づいてタスクを決定する。タスク決定部８０３は、例えば、「拭き掃除」、「電話の呼び出し」、「配膳」、「散歩への誘引」、「手紙の配達」、「水分補給」といった、人間の生活支援に関するタスクを決定する。そして、タスク決定部８０３は、マニピュレーション部８０２に対して、決定したタスクの実行を指示する。
　マニピュレーション部８０２は、タスク決定部８０３から指示されたタスクを実行して、人間の生活支援を行う。本実施例では、マニピュレーション部８０２は、生活支援の対象となる人間に対して、実行するタスクを示唆する注意喚起動作を行う。マニピュレーション部８０２は、対象とする人間の行動を阻害しないように注意喚起動作を行う。すなわち、マニピュレーション部８０２は、視野検出部８０１から通知された視野情報に基づいて、対象とする人間の補助視野内で（言い換えれば、安定注視野領域に入らないように）、注意喚起動作を行う。マニピュレーション部８０２は、目的のタスクを実行するタスク実行部であるとともに、そのタスクを示唆する注意喚起部としても機能する。
　図８に示す実施例では、対象とする人間が対話するという行動を行っており、その人間は対話相手の方を向いていることが想定される。視野検出部８０１は、Ｃ－３項でも説明したように、ロボット８００に搭載された可視カメラの撮影画像から検出した人間の姿勢から大まかな視線を算出し、その視線の先の対話相手を観察して人間が見ている対象を認識し、さらに人間と対話相手との関係からより精度のよい視線を算出して、算出した高い精度の視線に基づいてその人間の安定注視野領域や補助視野領域を認識する。認識した安定注視野領域や補助視野領域に関する視野情報を、マニピュレーション部８０２に通知する。そして、マニピュレーション部８０２は、視野検出部８０１から通知された視野情報に基づいて、人間の対話を阻害しないように、対話相手を見ている人間の補助視野内で注意喚起動作を行う。この結果、人間は、対話を邪魔されることなく注意喚起動作に気づいて、マニピュレーション部８０２の目的とするタスクを理解すると、マニピュレーション部８０２が円滑にタスクを実行できるように協力することができる。
　なお、人間が対話に集中していないときには、ロボットが目的とするタスクを実行する際に、安定注視野領域を避けて注意喚起動作を行う必要がない。そこで、所定の「集中度の判断基準」に基づいて、人間が対話に集中していないと判断される場合には、視野検出部８０１は視野領域の認識や視野情報の通知を停止してもよい。また、マニピュレーション部８０２は、視野情報が通知されない場合には、注意喚起動作を行って人間にタスクを示唆することなく、タスク実行を開始するようにしてもよい。
Ｄ－２．外部装置との連携で視野検出を行う装置構成
　図９には、外部装置との連携で視野検出を行った結果に基づいてロボットがタスク実行のための注意喚起動作を行う装置構成例を示している。但し、図９では、外部装置として、ＴＶ視聴モニター装置を想定している。ＴＶ視聴モニター装置は、ＴＶ画面の近傍に設置したカメラを含んでいる。ＴＶ受像機とＴＶ視聴モニター装置の組み合わせで、ＴＶシステムが構成される。なお、ＴＶ視聴モニター装置は、ＴＶ受像機と物理的に一体となった装置であってもよい。
　図９に示す例では、ロボット９００は、マニピュレーション部９０２と、タスク決定部９０３を備えている。一方、ロボットと連携するＴＶシステム９１０は、ＴＶ受像機９１１と、視野検出装置９１２を備えている。
　ＴＶシステム９００側では、視野検出装置９１２は、ＴＶ受像機９１１で表示しているＴＶ番組を視聴する人間の視野を検出する。視野検出装置９１２は、Ｃ－１項で説明したように、ＴＶ受像機９１１のＴＶ画面の近傍に設置されたカメラで人間の顔を正面から撮影した画像から人間の視線を検出し、さらには安定注視野領域や補助視野領域などの各視野領域を認識する。そして、視野検出装置９１２は、認識した安定注視野領域や補助視野領域に関する視野情報を、ロボット９００に通知する。Ｃ－１項で説明したように、視野検出装置９１２とロボット９００はともにネットワークに接続し、例えばＲＯＳを使って視野情報の受け渡しが行われる。
　一方、ロボット９００側では、Ｃ－１項でも説明したように、キャリブレーションを行うことによって、ＴＶ受像機９１１本体と視野検出装置９１２のカメラとの位置関係を事前に取得している。そして、ロボット９００側では、視野検出装置９１２から受け渡された視野情報を、ロボット座標系上の視野情報に位置変換して使用することができる。
　また、ロボット装置９００側ではタスク決定部９０３は、マニピュレーション部９０２で実行するタスクを決定する。タスク決定部９０３は、ロボット９００の環境情報などに基づいてタスクを決定する。タスク決定部９０３は、例えば、「拭き掃除」、「電話の呼び出し」、「配膳」、「散歩への誘引」、「手紙の配達」、「水分補給」といった、人間の生活支援に関するタスクを決定する。そして、タスク決定部９０３は、マニピュレーション部９０２に対して、決定したタスクの実行を指示する。
　マニピュレーション部９０２は、タスク決定部９０３から指示されたタスクを実行して、人間の生活支援を行う。本実施例では、マニピュレーション部９０２は、生活支援の対象となる人間に対して、実行するタスクを示唆する注意喚起動作を行う。マニピュレーション部９０２は、対象とする人間の行動を阻害しないように注意喚起動作を行う。すなわち、マニピュレーション部９０２は、視野検出装置９１２から通知された視野情報に基づいて、対象とする人間の補助視野内で（言い換えれば、安定注視野領域に入らないように）、注意喚起動作を行う。マニピュレーション部９０２は、目的のタスクを実行するタスク実行部であるとともに、そのタスクを示唆する注意喚起部としても機能する。
　図９に示す実施例では、対象とする人間がＴＶ受像機９１１で表示するＴＶ番組を視聴するという行動を行っており、その人間はＴＶ画面の方を向いていることが想定される。ロボット９００側では、視野検出装置９１２から受け渡された視野情報をロボット座標系上の視野情報に位置変換して、ロボット座標系上におけるその人間の安定注視野領域や補助視野領域を認識する。認識した安定注視野領域や補助視野領域に関する視野情報を、マニピュレーション部９０２に通知する。そして、マニピュレーション部９０２は、人間のＴＶ視聴滑動を阻害しないように、ＴＶ画面を見ている人間の補助視野内で注意喚起動作を行う。この結果、人間は、ＴＶ視聴を邪魔されることなく注意喚起動作に気づいて、マニピュレーション部９０２の目的とするタスクを理解すると、マニピュレーション部９０２が円滑にタスクを実行できるように協力することができる。
　なお、人間がＴＶ視聴に集中していないときには、ロボットが目的とするタスクを実行する際に、安定注視野領域を避けて注意喚起動作を行う必要がない。そこで、上述した「視聴の判断基準」に基づいて、人間がＴＶ視聴に集中していないと判断される場合には、視野検出装置９１２は視野領域の認識や視野情報の通知を停止してもよい。また、マニピュレーション部９０２は、視野情報が通知されない場合には、注意喚起動作を行って人間にタスクを示唆することなく、タスク実行を開始するようにしてもよい。
Ｅ．動作フロー
　この項では、上記Ｄ項で説明した装置構成（図８及び図９を参照のこと）において、ロボットがタスクを実行する際の動作手順について説明する。
　図１０には、ロボットがタスクを実行する際の動作手順をフローチャートの形式で示している。以下、図示のフローチャートを参照しながら、ロボットの動作手順について説明する。
　ロボットは、目的のタスクを開始する際に、そのタスクを実行するために人間に接近するかどうかをチェックする（ステップＳ１００１）。
　人間に接近することなく目的のタスクを実行することができる場合には（ステップＳ１００１のＮｏ）、ロボットは人間に対して注意喚起動作を行う必要がないので、後続の処理ステップＳ１００２～Ｓ１０１２をスキップして、タスクを実行する（ステップＳ１０１３）。
　一方、ロボットが目的のタスクを実行する際に人間に接近する必要がある場合には（ステップＳ１００１のＹｅｓ）、ロボットはその人間に対して注意喚起動作を行う必要がある。この場合、ロボットは、その人間の視野を確認して（ステップＳ１００２）、その人間がＴＶ視聴などの行動に集中しているかどうかをチェックする（ステップＳ１００３）。
　ロボットが目的のタスクを実行する際に人間に接近する必要があっても、その人間がＴＶ視聴などの行動に集中していない場合には（ステップＳ１００３のＮｏ）、ロボットは人間に対して注意喚起動作を行う必要がないので、後続の処理ステップＳ１００４～Ｓ１０１２をスキップして、タスクを実行する（ステップＳ１０１３）。
　その人間がＴＶ視聴などの行動に集中している場合には（ステップＳ１００３のＹｅｓ）、ロボットは、その人間に目的のタスクの実行を示唆するための注意喚起動作を行うことにする。
　ロボットは、注意喚起動作を行うために、その人間の安定注視野領域及び補助視野領域の情報を取得する（ステップＳ１００４）。そして、ロボットは、タスクに応じた注意喚起動作パラメータをロードした後（ステップＳ１００５）、注意喚起部を補助視野内に侵入させ（ステップＳ１００６）、さらに注意喚起部を安定注視野に近付けて（ステップＳ１００７）、ロードした注意喚起動作に基づいて中核基部の注意喚起動作を実行する（ステップＳ１００８）。ここで言う注意喚起部は、マニピュレーション部、又は目的のタスクに関連する所定の物体を把持したマニピュレーション部である。
　その後、ロボットは、人間の注意を喚起できたかどうかを確認したかどうかを確認する（ステップＳ１００９）。人間の注意を喚起したかどうかは、基本的には、その人間の視線（ユーザが注意喚起部の方を向いたかどうか）によって確認することができるが、その他の生体情報（筋電位や脳波、脈拍、発汗など）を利用して確認するようにしてもよい（但し、人間の生体情報を取得可能な場合）。
　そして、ロボットは、人間の注意喚起に成功したかどうか、並びに注意喚起部が安定注視野に到達したかどうかをチェックする（ステップＳ１０１０）。
　なお、ステップＳ１０１０において人間の注意喚起に成功したかどうかは、例えば上記Ｃ－２項で説明したように、人間の視線の動きなどの反応をさらにモニターした結果に基づいて判断するようにしてもよい。
　人間の注意喚起に成功した場合には、これ以上注意喚起動作を続ける必要はない。また、注意喚起部が安定注視野に到達した場合には、これ以上注意喚起動作を続けることができない（続けると、人間の行動を阻害してしまう）。但し、ロボットが目的とするタスクの重要度に応じて、安定注視野内にある程度まで侵入することを許容して、注意喚起動作を繰り返し実施するようにしてもよい。
　人間の注意喚起に成功しないが、注意喚起部はまだ安定注視野に到達していない場合には（ステップＳ１０１０のＮｏ）、ステップＳ１００７に戻り、ロボットは人間の注意喚起をさらに促すために、注意喚起部をさらに安定注視野に近付けて、注意喚起動作を繰り返し実施する。
　人間の注意喚起に成功し、又は注意喚起部が安定注視野に到達した場合には（ステップＳ１０１０のＹｅｓ）、ロボットは、人間の注意喚起に成功したかどうかをさらにチェックする（ステップＳ１０１１）。
　人間の注意喚起に成功した場合には（ステップＳ１０１１のＹｅｓ）、人間が目的とするタスクに理解したと解されるので、ロボットは、人間の協力を得て円滑にタスクを実行して（ステップＳ１０１３）、本処理を終了する。
　また、人間の注意喚起に成功していない場合には（ステップＳ１０１１のＮｏ）、注意喚起部が安定注視野に到達したことになる。安定注視野内で注意喚起動作を実施すると、人間が集中して行っている行動（ＴＶ視聴など）を阻害して、ロボットが目的とするタスクを実行しても人間の理解を得ることができないおそれがある。このため、ロボットは、今回のタスクの実行を延期して（ステップＳ１０１２）、本処理を終了する。
Ｆ．視野情報を環境情報に統合するシステム構成
　上記Ｄ－２項では、視野情報を認識する外部装置との連携で目的のタスクを実行するロボットの構成について、図９を参照しながら説明した。この項では、視線の認識により得られた視野情報を環境情報として統合して、ロボットの行動計画に反映する行動計画システム１１００の構成について説明する。
　図１１には、ロボットの行動計画に反映する行動計画システム１１００の構成例を示している。図示の行動計画システム１１００は、ロボット１１１０本体と、ロボット１１１０と連携する視聴状況モニターシステム１１５０で構成される。ロボット１１１０と視聴状況モニターシステム１１５０は、例えばＲＯＳを使って通信する。あるいは、ロボット１１１０と視聴状況モニターシステム１１５０は物理的に一体となった装置であってもよい。
　視聴状況モニターシステム１１５０は、可視カメラ１１５１と、顔認識部１１５２と、視点認識部１１５３と、視野情報構築部１１５４を備えている。
　可視カメラ１１５１は、所定の位置に設置され、固定された視野範囲を撮影している。あるいは、可視カメラ１１５１は、パン（カメラの向きを左右に動かす）、チルト（カメラの向きを上下に動かす）などの首振り機構の上に搭載されて、広い視野をカバーするようにしてもよい。
　顔認識部１１５２は、可視カメラ１１５１の撮影画像に写っている人間の顔認識処理を行う。また、視点認識部１１５３は、可視カメラ１１５１の撮影画像に写っている人間に視点又は視線の認識処理を行う。視点認識部１１５３は、例えば顔認識部１１５２で認識された顔画像から、基準点「目頭」と動点「虹彩」の位置を抽出して、これらの位置関係に基づいて視点又は視線を算出する。
　視野情報構築部１１５４は、顔認識部１１５２が認識した人間の顔画像と、視点認識部１１５３が認識した人間の視点又は視線の情報に基づいて、人間の安定注視野や補助視野などの視野情報を構築する。そして、視聴状況モニターシステム１１５０は、例えばＲＯＳを使った通信で、視野情報構築部１１５４が構築した視野情報をロボット１１１０側に送信する。
　ロボット１１１０は、行動計画部１１１１と、動作計画部１１１２と、環境情報管理部１１１３と、全身協調制御部１１１４と、外部情報位置変換部１１１５と、自己位置統合部１１１６と、ＳＬＡＭ処理部１１１７と、環境認識部１１１８と、移動制御部１１１９と、エンドエフェクタ１１２０と、マニピュレーション制御部１１２１と、ＬｉＤＡＲ１１２２と、可視カメラ１１２３と、移動機構１１２４と、触覚部１１２５と、力覚部１１２６と、把持機構１１２７、マニピュレータ部１１２８を備えている。図１１に示すロボット１１１０は、自律動作する移動ロボットの一般的な構成例の１つであるが、視聴状況モニターシステム１１５０から受け渡された視野情報を環境情報に取り込んでロボットの行動計画に反映する点に特徴がある。
　外部情報位置変換部１１１５は、視聴状況モニターシステム１１５０から受信した視野情報を、ロボット１１１０本体のロボット座標系上の視聴情報に位置変換して、視聴情報環境マップとして環境情報管理部１１１３に受け渡す。
　ＬｉＤＡＲ１１２２と可視カメラ１１２３は、ロボット１１１０が装備する環境センサーである。ロボット１１１０はこれら以外の環境センサーをさらに装備していてもよいが、本開示の説明には直接関連しないので、図示を省略している。
　ＳＬＡＭ処理部１１１７は、ＬｉＤＡＲ１１２２からの距離情報と、可視カメラ１１２３からの画像情報と、移動機構１１２４からの移動情報に基づいて、ロボット１１１０の自己位置推定と環境地図の作成を行う。また、環境認識部１１１８は、ＬｉＤＡＲ１１２２からの距離情報と可視カメラ１１２３からの画像情報に基づいて、ロボット１１１０の周囲環境の認識を行う。
　環境情報管理部１１１３は、外部情報位地変換部１１１５で処理後の視野情報環境マップと、環境認識部１１１８から受け渡された障害物マップを管理する。自己位置統合部１１１６は、ＳＬＡＭ処理部１１１７が推定した自己位置と、環境情報管理部１１１３で管理される障害物マップの統合処理を行う。
　ロボット１１１０は、動作部として、移動機構１１２４と、把持機構１１２７と、マニピュレータ１１２８を備えている。移動機構１１２４は、例えば複数本の脚や車輪からなり、ロボット１１１０本体を移動させることができる。マニピュレータ１１２８は、例えば多リンク構造からなるロボットアームである。把持機構１１２７は、物体を把持するグリッパ―などからなり、マニピュレータ１１２８の先端にエンドエフェクタとして装備される。把持機構１１２７には、接触力を検出する触覚センサー１１２５や外力を検出する力覚センサー１１２６が装備されている。
　行動計画部１１１１は、ロボットのタスク管理部を含んでいる。例えば、「拭き掃除」、「電話の呼び出し」、「配膳」、「散歩への誘引」、「手紙の配達」、「水分補給」といった人間の生活を支援するタスクが管理されている。行動計画部１１１１は、環境情報管理部１１１３が管理する、視野情報が統合された環境情報に基づいて、所望のタスクを達成するためのロボット１１１０の行動計画を立案する。
　動作計画部１１１２は、行動計画部１１１１が立案した行動計画を実現するための、ロボット１１１０が移動する経路計画と、マニピュレータ１１２８の軌道計画を立案する。
　全身協調制御部１１１４は、ロボットモデルに基づいて、動作計画部１１１２が立案した経路計画及び軌道計画を実現するために、ロボット１１１０の全身、すなわち移動機構１１２４と把持機構１１２７とマニピュレータ１１２８の各動作の協調制御を、移動制御部１１１９、エンドエフェクタ制御部１１２０、及びマニピュレーション制御部１１２１を通じて行う。
　以上、特定の実施形態を参照しながら、本開示について詳細に説明してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
　本開示は、生活支援を目的として人間の居住空間で自律的に活動するさまざまなタイプのロボットに適用することができる。例えば、脚式ロボット、車輪ロボット、アームロボットに本開示を適用することができる。
　要するに、例示という形態により本開示について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本開示の要旨を判断するためには、特許請求の範囲を参酌すべきである。
　なお、本開示は、以下のような構成をとることも可能である。
（１）ロボットを制御する制御装置であって、
　人間の視野情報を取得する取得部と、
　前記視野情報に基づいて前記ロボットが備える注意喚起部の動作を制御する制御部と、
を具備する制御装置。
（２）前記制御部は、前記注意喚起部が前記人間の補助視野領域内で前記人間の注意を喚起するための注意喚起動作を行うように制御する、
上記（１）に記載の制御装置。
（３）前記制御部は、前記注意喚起部が前記人間の補助視野領域内で前記ロボットの目的のタスクに応じた注意喚起動作を行うように制御する、
上記（１）又は（２）のいずれかに記載の制御装置。
（４）前記注意喚起部は前記ロボットが備えるマニピュレータを含み、
　前記注意喚起動作は前記マニピュレータが所定の物体を把持する動作を含む、
上記（１）乃至（３）のいずれかに記載の制御装置。
（５）前記マニピュレータは、前記ロボットの目的のタスクに関連した前記物体を把持する、
上記（４）に記載の制御装置。
（６）前記取得部は、前記人間の視線の検出結果に基づいて前記人間の補助視野領域を取得する、
上記（１）乃至（５）のいずれかに記載の制御装置。
（７）前記制御部は、前記注意喚起部が行った注意喚起動作の効果を確認する、
上記（１）乃至（６）のいずれかに記載の制御装置。
（８）前記制御部は、前記人間の視線の検出結果に基づいて前記注意喚起部が行った注意喚起動作の効果を確認する、
上記（１）乃至（７）のいずれかに記載の制御装置。
（９）前記制御部は、前記注意喚起部が行った注意喚起動作の効果があった場合には、その注意喚起動作に対応付けられた前記ロボットのタスクの実行を制御する、
上記（１）乃至（８）のいずれかに記載の制御装置。
（１０）前記制御部は、前記注意喚起部が行った注意喚起動作の効果がなかった場合には、前記人間の補助視野領域内での前記注意喚起動作の実行を繰り返す、
上記（１）乃至（８）のいずれかに記載の制御装置。
（１１）前記制御部は、前記注意喚起動作に対応付けられた前記ロボットのタスクの重要度に基づいて、前記人間の安定注視野内で前記注意喚起動作を実行するように制御する、
上記（１０）に記載の制御装置。
（１２）前記取得部は、前記ロボットと連携する外部装置から前記視野情報を取得する、
上記（１）乃至（１１）のいずれかに記載の制御装置。
（１３）前記取得部は、前記ロボットに装備されたセンサーの検出情報から前記視野情報を取得する、
上記（１）乃至（１１）のいずれかに記載の制御装置。
（１４）ロボットを制御する制御方法であって、
　人間の視野情報を取得する取得ステップと、
　前記視野情報に基づいて前記ロボットが備える注意喚起部の動作を制御する制御ステップと、
を有する制御方法。
（１５）ロボットを制御するための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータプログラムであって、前記コンピュータプログラムは、コンピュータを、
　人間の視野情報を取得する取得部、
　前記視野情報に基づいて前記ロボットが備える注意喚起部の動作を制御する制御部、
として機能させる、コンピュータプログラム。
　８００…ロボット、８０１…視野検出部
　８０２…マニピュレーション部、８０３…タスク決定部
　９００…ロボット、９０２…マニピュレーション部
　９０３…タスク決定部、９１０…ＴＶシステム、９１１…ＴＶ受像機
　９１２…視野検出装置
　１１００…行動制御システム、１１１０…ロボット
　１１１１…行動計画部、１１１２…動作計画部
　１１１３…環境情報管理部、１１１４…全身協調制御部
　１１１５…外部情報位置変換部、１１１６…自己位置統合部
　１１１７…ＳＬＡＭ処理部、１１１８…環境認識部
　１１１９…移動制御部、１１２０…エンドエフェクタ制御部
　１１２１…マニピュレーション制御部、１１２２…ＬｉＤＡＲ
　１１２３…可視カメラ、１１２４…移動機構、１１２５…触覚部
　１１２６…力覚部、１１２７…把持機構、１１２８…マニピュレータ
　１１５０…視聴状況モニターシステム、１１５１…可視カメラ
　１１５２…顔認識部、１１５３…視点認識部
　１１５４…視野情報構築部

Claims (15)

  1. 　ロボットを制御する制御装置であって、
    　人間の視野情報を取得する取得部と、
    　前記視野情報に基づいて前記ロボットが備える注意喚起部の動作を制御する制御部と、
    を具備する制御装置。
  2. 　前記制御部は、前記注意喚起部が前記人間の補助視野領域内で前記人間の注意を喚起するための注意喚起動作を行うように制御する、
    請求項１に記載の制御装置。
  3. 　前記制御部は、前記注意喚起部が前記人間の補助視野領域内で前記ロボットの目的のタスクに応じた注意喚起動作を行うように制御する、
    請求項１に記載の制御装置。
  4. 　前記注意喚起部は前記ロボットが備えるマニピュレータを含み、
    　前記注意喚起動作は前記マニピュレータが所定の物体を把持する動作を含む、
    請求項１に記載の制御装置。
  5. 　前記マニピュレータは、前記ロボットの目的のタスクに関連した前記物体を把持する、
    請求項４に記載の制御装置。
  6. 　前記取得部は、前記人間の視線の検出結果に基づいて前記人間の補助視野領域を取得する、
    請求項１に記載の制御装置。
  7. 　前記制御部は、前記注意喚起部が行った注意喚起動作の効果を確認する、
    請求項１に記載の制御装置。
  8. 　前記制御部は、前記人間の視線の検出結果に基づいて前記注意喚起部が行った注意喚起動作の効果を確認する、
    請求項１に記載の制御装置。
  9. 　前記制御部は、前記注意喚起部が行った注意喚起動作の効果があった場合には、その注意喚起動作に対応付けられた前記ロボットのタスクの実行を制御する、
    請求項１に記載の制御装置。
  10. 　前記制御部は、前記注意喚起部が行った注意喚起動作の効果がなかった場合には、前記人間の補助視野領域内での前記注意喚起動作の実行を繰り返す、
    請求項１に記載の制御装置。
  11. 　前記制御部は、前記注意喚起動作に対応付けられた前記ロボットのタスクの重要度に基づいて、前記人間の安定注視野内で前記注意喚起動作を実行するように制御する、
    請求項１０に記載の制御装置。
  12. 　前記取得部は、前記ロボットと連携する外部装置から前記視野情報を取得する、
    請求項１に記載の制御装置。
  13. 　前記取得部は、前記ロボットに装備されたセンサーの検出情報から前記視野情報を取得する、
    請求項１に記載の制御装置。
  14. 　ロボットを制御する制御方法であって、
    　人間の視野情報を取得する取得ステップと、
    　前記視野情報に基づいて前記ロボットが備える注意喚起部の動作を制御する制御ステップと、
    を有する制御方法。
  15. 　ロボットを制御するための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータプログラムであって、前記コンピュータプログラムは、コンピュータを、
    　人間の視野情報を取得する取得部、
    　前記視野情報に基づいて前記ロボットが備える注意喚起部の動作を制御する制御部、
    として機能させる、コンピュータプログラム。
PCT/JP2021/008799 2020-04-28 2021-03-05 制御装置及び制御方法、並びにコンピュータプログラム WO2021220614A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21795787.7A EP4144489A4 (en) 2020-04-28 2021-03-05 CONTROL DEVICE, CONTROL METHOD AND COMPUTER PROGRAM
US17/996,447 US20230202050A1 (en) 2020-04-28 2021-03-05 Control device, control method, and computer program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-078877 2020-04-28
JP2020078877 2020-04-28

Publications (1)

Publication Number Publication Date
WO2021220614A1 true WO2021220614A1 (ja) 2021-11-04

Family

ID=78373609

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/008799 WO2021220614A1 (ja) 2020-04-28 2021-03-05 制御装置及び制御方法、並びにコンピュータプログラム

Country Status (3)

Country Link
US (1) US20230202050A1 (ja)
EP (1) EP4144489A4 (ja)
WO (1) WO2021220614A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006272471A (ja) * 2005-03-28 2006-10-12 Advanced Telecommunication Research Institute International コミュニケーションロボット
JP2007160442A (ja) * 2005-12-12 2007-06-28 Honda Motor Co Ltd 移動ロボット
JP2008246665A (ja) * 2007-03-07 2008-10-16 Matsushita Electric Ind Co Ltd 行動制御装置、方法、プログラム
JP2012161851A (ja) * 2011-02-03 2012-08-30 Advanced Telecommunication Research Institute International ロボットシステムおよびそれに用いる空間陣形認識装置
JP2014176963A (ja) * 2013-03-14 2014-09-25 Toyota Motor Engineering & Manufacturing North America Inc ロボット装置／プラットフォームを使用して能動的且つ自動的なパーソナルアシスタンスを提供するコンピュータベースの方法及びシステム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9902061B1 (en) * 2014-08-25 2018-02-27 X Development Llc Robot to human feedback
JP7310820B2 (ja) * 2018-08-08 2023-07-19 ソニーグループ株式会社 制御装置、制御方法、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006272471A (ja) * 2005-03-28 2006-10-12 Advanced Telecommunication Research Institute International コミュニケーションロボット
JP2007160442A (ja) * 2005-12-12 2007-06-28 Honda Motor Co Ltd 移動ロボット
JP2008246665A (ja) * 2007-03-07 2008-10-16 Matsushita Electric Ind Co Ltd 行動制御装置、方法、プログラム
JP2012161851A (ja) * 2011-02-03 2012-08-30 Advanced Telecommunication Research Institute International ロボットシステムおよびそれに用いる空間陣形認識装置
JP2014176963A (ja) * 2013-03-14 2014-09-25 Toyota Motor Engineering & Manufacturing North America Inc ロボット装置／プラットフォームを使用して能動的且つ自動的なパーソナルアシスタンスを提供するコンピュータベースの方法及びシステム

Also Published As

Publication number Publication date
EP4144489A4 (en) 2023-10-18
US20230202050A1 (en) 2023-06-29
EP4144489A1 (en) 2023-03-08

Similar Documents

Publication Publication Date Title
KR102104896B1 (ko) 로봇청소기 및 이를 이용한 휴먼 케어방법
JP4386367B2 (ja) コミュニケーションロボット改良システム
JP4682217B2 (ja) 行動制御装置、方法、プログラム
Orlandini et al. ExCITE project: A review of forty-two months of robotic telepresence technology evolution
JP5186723B2 (ja) コミュニケーションロボットシステムおよびコミュニケーションロボットの視線制御方法
JP5033994B2 (ja) コミュニケーションロボット
JP4639343B2 (ja) ロボット遠隔操作システム
US20160046024A1 (en) Multi-camera mobile teleconferencing platform
JP4786519B2 (ja) ロボットによる物体を移動するサービスに必要な情報の取得方法と該方法を用いたロボットによる物体移動サービスシステム
González-Jiménez et al. Technical improvements of the Giraff telepresence robot based on users' evaluation
EP2369436B1 (en) Robot apparatus, information providing method carried out by the robot apparatus and computer storage media
CN114391163A (zh) 手势检测系统和方法
JP2007196300A (ja) ロボット制御システム
JP2009045692A (ja) コミュニケーションロボットとその動作方法
KR20130060952A (ko) 서비스로봇 원격제어 시스템
US20220382282A1 (en) Mobility aid robot navigating method and mobility aid robot using the same
JP2003280739A (ja) 案内用自律移動ロボットとその制御方法
EP3893215A1 (en) Information processing device, information processing method, and program
KR100884895B1 (ko) 카메라가 장착된 이동장치의 제어 시스템 및 헤드 마운트형 장치
WO2021220614A1 (ja) 制御装置及び制御方法、並びにコンピュータプログラム
JP2007160427A (ja) ロボット制御システム
KR20100075272A (ko) 로봇을 이용한 영유아 돌보기 방법
WO2023202169A1 (zh) 一种机器人及使用其的方法
JP2007226634A (ja) 人物状況認識装置、方法、プログラム、ロボットおよび生活支援システム
JP4779114B2 (ja) コミュニケーションロボット

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21795787

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021795787

Country of ref document: EP

Effective date: 20221128

NENP Non-entry into the national phase

Ref country code: JP