WO2018229868A1 - ロボット、制御装置、ロボット制御方法及びロボット制御プログラム - Google Patents
ロボット、制御装置、ロボット制御方法及びロボット制御プログラム Download PDFInfo
- Publication number
- WO2018229868A1 WO2018229868A1 PCT/JP2017/021807 JP2017021807W WO2018229868A1 WO 2018229868 A1 WO2018229868 A1 WO 2018229868A1 JP 2017021807 W JP2017021807 W JP 2017021807W WO 2018229868 A1 WO2018229868 A1 WO 2018229868A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- unit
- service
- robot
- abnormality
- abnormal
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/06—Safety devices
Definitions
- the present invention relates to a robot, a control device, a robot control method, and a robot control program.
- social robots that provide various services (for example, personal recognition service, conversation service, direction instruction service, etc.) have been used in so-called public places such as local governments (offices, etc.), stores, and event venues.
- services for example, personal recognition service, conversation service, direction instruction service, etc.
- public places such as local governments (offices, etc.), stores, and event venues.
- multiple functional units are provided to meet various needs in each usage scene, and it is necessary to provide services for an unspecified number of people, so there is a risk of failure occurrence. high.
- An object of one aspect of the present invention is to enable an appropriate alternative action to be executed when an abnormality is detected in a social robot.
- a robot having a plurality of functional units, wherein when the plurality of functional units are operated to provide a service, the monitoring unit that monitors the operational status, and the operational status is abnormal
- a control unit that controls to execute an alternative operation corresponding to a service that is being provided by referring to definition information that defines an alternative operation in association with each service in advance.
- FIG. 1 is a diagram illustrating an example of an external configuration of a robot.
- FIG. 2 is a diagram illustrating an example of a hardware configuration inside the robot.
- FIG. 3 is a diagram illustrating an example of a device configuration of the robot control unit.
- FIG. 4 is a diagram illustrating a first example of a functional configuration of the robot control unit.
- FIG. 5 is a diagram illustrating a second example of the functional configuration of the robot control unit.
- FIG. 6 is a diagram illustrating a third example of the functional configuration of the robot control unit.
- FIG. 7 is a diagram illustrating an example of service content information.
- FIG. 8 is a diagram illustrating an example of abnormal condition information.
- FIG. 9 is a diagram illustrating an example of control content information at the time of abnormality.
- FIG. 9 is a diagram illustrating an example of control content information at the time of abnormality.
- FIG. 10 is a first flowchart of the abnormal time control process performed by the robot control unit.
- FIG. 11 is a second flowchart of the abnormal time control process performed by the robot control unit.
- FIG. 12 is a second flowchart of the abnormal time control process performed by the robot control unit.
- FIG. 13 is a third flowchart of the abnormal time control process by the robot controller.
- FIG. 14 is a third flowchart of the abnormal time control process performed by the robot control unit.
- FIG. 15 is a diagram illustrating an example of failure occurrence risk determination condition information.
- FIG. 16 is a fourth flowchart of the abnormal time control process performed by the robot control unit.
- FIG. 1 is a diagram illustrating an example of an external configuration of a robot.
- FIGS. 1a and 1c in FIG. 1 are front views of the robot 100
- 1b and 1d in FIG. 1 are left side views of the robot 100
- the direction from the right side to the left side of the robot 100 is the x axis
- the direction from the front to the back of the robot 100 is the y axis
- the direction from the bottom to the top of the robot is the z axis. It is.
- the robot 100 has a head part 110, a body part 120, a right arm part 130, a left arm part 140, and a leg part 150.
- the head part 110 is attached to the body part 120 so as to rotate around the z axis in the direction of the arrow 161.
- the trunk 120 is attached to the leg 150 so as to rotate around the z axis in the direction of the arrow 161.
- the right arm 130 is attached to the body 120 so as to rotate around the x axis in the direction of the arrow 162.
- the left arm portion 140 is attached to the body portion 120 so as to rotate around the x axis in the direction of the arrow 162.
- the leg part 150 shall be able to move the floor surface parallel to xy plane to arbitrary directions.
- a voice output unit (for example, a speaker) 111, an imaging unit 112, and a voice input unit (for example, a microphone) 113 are attached to the head 110 of the robot 100.
- a voice input unit for example, a microphone
- an LED (Light Emitting Diode) unit is further attached to the head 110 of the robot 100.
- a contact sensor unit 122 and a touch panel unit 121 are attached to the body unit 120 of the robot 100.
- the robot 100 provides various services by controlling the operation of the head 110 to the leg 150 and the operation of each hardware attached to the head 110 and the torso 120.
- FIG. 2 is a diagram illustrating an example of a hardware configuration inside the robot.
- the audio output unit 111, the imaging unit 112, the audio input unit 113, and the LED unit 211 attached to the head 110 are connected to the robot control unit 227 via a bus 260.
- the imaging unit 112 transmits the captured imaging data to the robot control unit 227.
- the voice output unit 111 outputs the synthesized voice data synthesized by the robot control unit 227.
- the LED unit 211 emits light based on the light emission command data generated by the robot control unit 227.
- the voice input unit 113 transmits the detected voice data to the robot control unit 227.
- the motor driver units 222, 224, 226, 228, the touch panel unit 121, and the contact sensor unit 122 attached to the body unit 120 are connected to the robot control unit 227 via the bus 260.
- the motor driver unit 222 controls the right arm motor unit 221 based on the operation command data transmitted from the robot control unit 227 to rotate the right arm unit 130 around the x axis.
- the motor driver unit 224 controls the swing motor unit 223 based on the operation command data transmitted from the robot control unit 227, and rotates the head 110 about the z axis.
- the motor driver unit 226 controls the left arm motor unit 225 based on the operation command data transmitted from the robot control unit 227 to rotate the left arm unit 140 around the x axis.
- the motor driver unit 228 controls the body motor unit 229 based on the operation command data transmitted from the robot control unit 227 to rotate the body unit 120 around the z axis.
- the touch panel unit 121 displays the display screen generated by the robot control unit 227.
- the touch panel unit 121 receives an input instruction from a visitor and transmits input instruction data to the robot control unit 227.
- the contact sensor unit 122 detects that a visitor has touched the body unit 120 and transmits contact detection data to the robot control unit 227.
- the robot control unit 227 is an example of a control device.
- a robot control program is installed in the robot control unit 227, and the robot control unit 227 controls the operation of each hardware in the robot 100 by executing the robot control program.
- Motor drivers 251 and 253 are attached to the leg 150 and are connected to the robot controller 227 via the bus 260.
- the motor driver unit 251 controls the forward / reverse motor unit 252 based on the forward / backward command data transmitted from the robot control unit 227, and causes the robot 100 to perform a forward operation or a reverse operation.
- the motor driver unit 253 controls the direction changing motor unit 254 based on the direction changing command data transmitted from the robot control unit 227 to change the direction of the robot 100.
- FIG. 3 is a diagram illustrating an example of a device configuration of the robot control unit.
- the robot control unit 227 includes a CPU (Central Processing Unit) 301, a ROM (Read Only Memory) 302, and a RAM (Random Access Memory) 303.
- the CPU 301, the ROM 302, and the RAM 303 form a so-called computer.
- the robot control unit 227 includes an auxiliary storage unit 304 and an I / F (Interface) unit 305. Each device in the robot control unit 227 is connected to each other via a bus 306.
- the CPU 301 executes various programs (for example, a robot control program) installed in the auxiliary storage unit 304.
- ROM 302 is a non-volatile memory.
- the ROM 302 functions as a main storage device that stores various programs, data, and the like necessary for the CPU 301 to execute various programs installed in the auxiliary storage unit 304.
- the ROM 302 stores a boot program such as BIOS (Basic Input / Output System) and EFI (Extensible Firmware Interface).
- BIOS Basic Input / Output System
- EFI Extensible Firmware Interface
- the RAM 303 is a volatile memory such as DRAM (Dynamic Random Access Memory) or SRAM (Static Random Access Memory).
- the RAM 303 functions as a main storage device that provides a work area that is expanded when various programs installed in the auxiliary storage unit 304 are executed by the CPU 301.
- the auxiliary storage unit 304 is an auxiliary storage device that stores various programs installed in the robot control unit 227, data used when executing the various programs, and the like.
- a service content information storage unit, an abnormal condition information storage unit, and an abnormal control content information storage unit, which will be described later, are realized in the auxiliary storage unit 304.
- the I / F unit 305 is a connection device for connecting to the bus 260 inside the robot 100.
- the robot control unit 227 transmits / receives various data to / from hardware in the robot 100 via the I / F unit 305.
- FIG. 4 is a diagram illustrating a first example of a functional configuration of the robot control unit.
- the robot control unit 227 functions as each unit illustrated in FIG.
- the robot control unit 227 includes a service control unit 401, a function control unit 402, a head rotation function unit 411, an arm rotation function unit 412, a torso rotation function unit 413, an imaging function unit 414, and an LED function unit. 415 functions.
- the robot control unit 227 functions as a touch panel function unit 416, a voice synthesis function unit 417, a voice input function unit 418, a contact sensor function unit 419, abnormality determination units 421 to 423, and an abnormality detection time control execution unit 431.
- the service control unit 401 monitors the service being provided and the service status.
- the service status refers to arbitrary information related to the service provided by the robot 100 (attributes of visitors who are the service providing target, service providing location, information related to the providing time, information related to the number of times the service is provided, etc.). .
- the service status includes information such as whether the visitor is a VIP (Very Important Person) customer, a general customer, a child, or an adult as an attribute of the visitor.
- the service status includes the cumulative number of times the service has been provided by the robot 100 so far.
- the function control unit 402 controls each function unit so as to provide the service determined by the service control unit 401.
- the function control unit 402 refers to the service content information, identifies the function unit to be operated to provide the service determined by the service control unit 401 and the control content, and adds the information notified from each function unit. Based on this, an instruction is given to each functional unit.
- the function control unit 402 notifies the service control unit 401 of information notified from each function unit during service provision. Thereby, the service control unit 401 can monitor the service status.
- the head rotation function unit 411 transmits operation command data to the motor driver unit 224 to rotate the head 110 around the z-axis based on an instruction from the function control unit 402.
- the head rotation function unit 411 also functions as a monitoring unit, and monitors the actual operation state of the head 110 when the operation command data is transmitted.
- the arm rotation function unit 412 transmits operation command data to the motor driver unit 222 or 226 to rotate the right arm unit 130 or the left arm unit 140 around the x axis based on an instruction from the function control unit 402.
- the arm rotation function unit 412 also functions as a monitoring unit, and monitors the actual operation status of the right arm unit 130 and the left arm unit 140 when the operation command data is transmitted.
- the body rotation function unit 413 transmits operation command data to the motor driver 228 to rotate the body 120 around the z axis based on an instruction from the function control unit 402.
- the body part rotation function part 413 also functions as a monitoring part, and monitors the actual operation state of the body part 120 when the operation command data is transmitted.
- the imaging function unit 414 Based on an instruction from the function control unit 402, the imaging function unit 414 transmits operation command data for starting or ending imaging to the imaging unit 112, and transmits from the imaging unit 112 in response to transmission of the operation command data.
- the captured image data is received.
- the imaging function unit 414 analyzes the received imaging data, recognizes the visitor, recognizes the facial expression of the visitor while tracking the visitor's face, and notifies the function control unit 402 of the recognition result. .
- the imaging function unit 414 may also function as a monitoring unit to monitor the operation status of the imaging unit 112.
- the LED function unit 415 generates light emission command data based on an instruction from the function control unit 402 and transmits the light emission command data to the LED unit 211.
- the touch panel function unit 416 generates a display screen based on an instruction from the function control unit 402, and transmits the generated display screen to the touch panel unit 121.
- the touch panel function unit 416 receives the input instruction data transmitted from the touch panel unit 121 and recognizes the instruction content of the visitor. In addition, the touch panel function unit 416 notifies the function control unit 402 of the recognition result.
- the speech synthesis function unit 417 generates synthesized speech data based on an instruction from the function control unit 402 and transmits the synthesized speech data to the speech output unit 111.
- the voice input function unit 418 receives the voice data transmitted from the voice input unit 113 and recognizes the utterance contents of the visitors. Further, the voice input function unit 418 notifies the function control unit 402 of the recognition result.
- the contact sensor function unit 419 receives the contact detection data transmitted from the contact sensor unit 122 and notifies the function control unit 402 of the contact detection data.
- the abnormality determination units 421 to 423 check the operation status of each hardware monitored by each functional unit periodically or in response to an instruction from the administrator of the robot 100.
- the abnormality determination units 421 to 423 transmit abnormality detection information (abnormal location and type of abnormality) to the abnormality detection time control execution unit 431.
- the abnormality determination units 421 to 423 determine whether or not the operation status is abnormal by checking the operation status while comparing with the abnormal condition information stored in the abnormal condition information storage unit 450.
- the abnormality determination unit 421 confirms the operation status of the head 110 monitored by the head rotation function unit 411 and compares it with the abnormal condition information of the head 110 to determine whether the operation status is abnormal. judge. Further, when the abnormality determination unit 421 determines that the operation state of the head 110 is abnormal, the abnormality determination unit 421 transmits abnormality detection information to the abnormality detection time control execution unit 431.
- the abnormality determination unit 422 confirms the operation status of the right arm unit 130 and the left arm unit 140 monitored by the arm unit rotation function unit 412 and compares them with the abnormal condition information of the right arm unit 130 and the left arm unit 140 so that the operation status is abnormal. It is determined whether or not there is. In addition, when the abnormality determination unit 422 determines that the operation state of the right arm unit 130 or the left arm unit 140 is abnormal, the abnormality determination unit 422 transmits abnormality detection information to the abnormality detection time control execution unit 431.
- the abnormality determination unit 423 confirms the operation state of the body unit 120 monitored by the body unit rotation function unit 413, and determines whether or not the operation state is abnormal by comparing with the abnormal condition information of the body unit 120. In addition, when the abnormality determination unit 423 determines that the operation state of the body unit 120 is abnormal, the abnormality determination unit 423 transmits abnormality detection information to the abnormality detection time control execution unit 431.
- the abnormality detection control execution unit 431 is an example of a control unit. When abnormality detection information is received from the abnormality determination units 421 to 423, the service being provided and the service status are confirmed and an alternative operation is specified.
- the abnormality detection control execution unit 431 makes an inquiry to the service control unit 401 regarding the service being provided and the service status (here, the attributes of the visitors). Thereby, the abnormality detection time control execution unit 431 confirms the service content and the service status.
- the abnormality detection time control execution unit 431 refers to the abnormality time control content information storage unit 460, and identifies an alternative operation according to the service content and the abnormality detection information (abnormal location, type of abnormality).
- the abnormality detection control execution unit 431 determines the one according to the service status (visitor attribute). Select an alternative action.
- the abnormality detection time control execution unit 431 notifies the function control unit 402 of the selected alternative operation.
- the function control unit 402 gives instructions to the function units of the head rotation function unit 411 to the contact sensor function unit 419 in order to execute the notified alternative action.
- FIG. 5 is a diagram illustrating a second example of the functional configuration of the robot control unit. The difference from FIG. 4 is that, in the case of FIG. 5, the abnormality determination unit 520 is connected to the head rotation function unit 411, the arm rotation function unit 412, and the body rotation function unit 413.
- the abnormality determination unit 520 includes hardware units (head 110, right arm unit 130, left arm unit 140, and body unit 120) monitored by the head rotation function unit 411, the arm unit rotation function unit 412, and the body unit rotation function unit 413, respectively. Check the operating status of. Then, the abnormality determination unit 520 determines whether or not the operation status of each hardware is abnormal.
- FIG. 6 is a diagram illustrating a third example of the functional configuration of the robot control unit.
- the difference from FIG. 5 is that in the case of FIG. 6, the abnormality determination unit 620 is included (the abnormality determination unit 520 is included in addition to the abnormality determination unit 520).
- the robot control unit 227 includes a head rotation function unit 411, an arm rotation function unit 412, a torso rotation function unit 413, and an imaging function unit 414 to monitor each hardware (head 110, right arm unit 130, left arm unit 140, It is possible to check the operation status of the body 120 and the imaging unit 112). As a result, in the robot control unit 227, whether or not the operation status of each hardware monitored by the head rotation function unit 411, the arm rotation function unit 412, the body rotation function unit 413, and the imaging function unit 414 is abnormal. Can be determined.
- FIG. 7 is a diagram illustrating an example of service content information. As illustrated in FIG. 7, the service content information 700 includes “service content”, “usage function unit”, “normal control content”, and “cumulative provision count” as information items.
- Service contents defines the types of services provided by the robot 100.
- “personal recognition service”, “conversation service”, and “direction instruction service” are defined as types of services provided by the robot 100.
- the “use function part” defines a function part that is operated to provide a corresponding service.
- the example of FIG. 7 shows that the robot 100 operates the “imaging function unit”, “head rotation function unit”, and “touch panel function unit” in providing the “personal recognition service”.
- Normal control content defines the normal operation for each functional unit defined in “Used functional unit”.
- the robot 100 recognizes a visitor by analyzing image data obtained by imaging the visitor.
- control content at normal time defines that the imaging function unit 414 analyzes the imaging data of the visitors imaged by the imaging unit 112 and recognizes the visitors. Further, it is defined that the head rotation function unit 411 performs a rotation operation so that imaging by the imaging unit 112 is appropriately performed. Further, it is defined that the touch panel function unit 416 displays on the touch panel unit 121 a display screen indicating that the personal recognition service is being provided.
- the robot 100 performs a conversation according to the facial expressions of the visitors while facing the visitors and moving the right arm portion 130 and the left arm portion 140.
- the imaging function unit 414 analyzes the captured image data of the visitor imaged by the imaging unit 112, and recognizes the facial expression of the visitor while tracking the visitor's face. It is defined. Further, it is defined that the head rotation function unit 411 performs a rotation operation so that imaging by the imaging unit 112 is appropriately performed. Further, it is defined that the voice input function unit 418 analyzes the voice data detected by the voice input unit 113 and recognizes the content of a visitor's speech. In addition, it is defined that the voice synthesis function unit 417 synthesizes the conversation contents according to the recognized facial expressions and utterance contents of the visitors and outputs them via the voice output unit 111. Further, it is defined that the arm rotation function unit 412 rotates the right arm unit 130 or the left arm unit 140.
- the robot 100 performs voice guidance while pointing in the direction instructed and pointing with the right arm part 130 or the left arm part 140.
- the body portion rotation function unit 413 performs the rotation operation of the body portion 120.
- the arm rotation function unit 412 rotates the right arm unit 130 or the left arm unit 140.
- the voice synthesis function unit 417 generates voice synthesis data for voice guidance and outputs the voice synthesis data via the voice output unit 111.
- “Accumulated number of times” stores the number of times (accumulated value) the robot 100 has provided the corresponding service so far.
- the example of FIG. 7 shows that the robot 100 has provided “personal recognition service” 20 times, “conversation service” 25 times, and “direction instruction service” 53 times.
- FIG. 8 is a diagram illustrating an example of abnormal condition information.
- an abnormality determination unit here, described as the abnormality determination units 421 to 423 defines an abnormal portion that is determined by confirming the operation status of each hardware. Is done.
- “head”, “right arm”, “left arm”, and “body” are defined.
- abnormal condition information 800 the type of abnormality determined by the abnormality determination units 421 to 423 confirming the operation status of each hardware is defined.
- “rotation range reduction” and “operation sound abnormality” are defined as the types of abnormality of the “head”.
- the abnormal condition information 800 a condition to be regarded as abnormal is defined.
- the condition that “rotation range reduction” occurs as an abnormality of the “head” is defined as “less than 70% of left 0 ° to 90 ° and less than 70% of right 0 ° to 90 °”. Has been.
- the rotation range of the head 110 indicates a rotation range when the front direction of the head 110 is 0 ° in a plane parallel to the xy plane as illustrated in an illustration 810.
- 90 ° to the left means an angle obtained by rotating the head 110 by 90 ° in the left direction
- 90 ° to the right means an angle obtained by rotating the head 110 by 90 ° in the right direction.
- the normal rotation range of the head 110 is 0 ° to 90 ° left and 0 ° to 90 ° right. For this reason, when the head 110 can only rotate within a range of less than 70% of the normal rotation range, the abnormality determination unit 421 determines that “rotation range reduction” has occurred as an abnormality of the head 110. .
- the condition that “rotation range reduction” occurs as an abnormality of the “left arm” “less than 70% of 0 ° to 120 ° before, and less than 70% of 0 ° to 30 ° after”.
- the rotation range of the left arm unit 140 indicates a rotation range when the direction immediately below the left arm unit 140 is 0 ° in a plane parallel to the yz plane as illustrated in an illustration 820.
- the front 120 ° refers to an angle obtained by rotating the left arm portion 140 by 120 ° in the forward direction
- the rear 90 ° refers to an angle obtained by rotating the left arm portion 140 by 30 ° in the rear direction.
- the normal rotation range of the left arm portion 140 is 0 ° to 120 ° before and 0 ° to 30 ° after. For this reason, when the left arm unit 140 can rotate only within a range of less than 70% of the normal rotation range, the abnormality determination unit 422 determines that “rotation range reduction” has occurred as an abnormality of the left arm unit 140. .
- the operation sound is a sound generated when the swinging motor unit 223 that rotates the head 110 is actually operated.
- the abnormality determination unit 421 determines that “operation sound abnormality” has occurred as an abnormality of the head 110.
- FIG. 9 is a diagram illustrating an example of control content information at the time of abnormality.
- the abnormal control content information 900 is an example of definition information that defines an alternative action at the time of abnormality.
- an alternative operation that the robot 100 executes when the abnormality detection control execution unit 431 receives the abnormality detection information includes, for each service content, abnormality, Defined for each type.
- “personal recognition service”, “conversation service”, and “direction instruction service” are defined as service contents.
- “head stop, ID input to touch panel unit” Show request is defined.
- “head stop, display ID input request on touch panel” is defined as an alternative action when “operation sound abnormality” occurs as an abnormality of head 110.
- “right arm stop” or “left arm stop” is defined as an alternative action when “rotation range reduction” occurs as an abnormality of the right arm 130 or the left arm 140.
- “torso part stop” is defined as an alternative action when “rotation range reduction” occurs as an abnormality in the fuselage part 120, and “torso part stop” is provided as an alternative action when an “abnormal operation sound” occurs. Is defined.
- the abnormality detection control execution unit 431 determines the service status (visitor's One of the alternative actions is selected according to the attribute).
- the abnormality detection time control execution unit 431 performs “head rotation range reduction” or “head stop, fixed conversation” Any one of the alternative operations of “Switch to” is selected.
- the robot 100 tracks the visitor's face with the imaging unit 112 while rotating the head 110 and recognizes the conversation content according to the recognition result when the facial expression of the visitor is recognized. Switch. For example, when the smile of the visitor is recognized while the “conversation service” is being provided, the robot 100 switches to the conversation content when the visitor's reaction is good. On the other hand, when the smile of the visitor is not recognized while the “conversation service” is being provided, the robot 100 switches to the conversation content when the reaction of the visitor is not good. That is, if the head 110 rotates normally and the visitor's face can be tracked, the robot 100 can perform flexible conversation according to the visitor's facial expression.
- the abnormality detection time control execution unit 431 selects “head rotation range reduction” as an alternative operation so as not to degrade the quality of the conversation service as much as possible.
- the robot 100 can maintain the quality of the conversation service because a flexible conversation can be performed within a range where the faces of the visitors can be tracked.
- the abnormality detection control execution unit 431 gives priority to reducing the risk of failure over maintaining the quality of the conversation service, Select “Stop, switch to fixed conversation”.
- the robot 100 provides the conversation service. Can be maintained. Further, the robot 100 can reduce the risk of occurrence of a failure.
- the abnormality control content information 900 has the same abnormality so that the abnormality detection control execution unit 431 can check the service status (visitor attribute) and select an alternative action according to the visitor attribute.
- a plurality of alternative actions can be defined for a location and the same abnormality type.
- the former is an alternative operation when the visitor is a VIP customer
- the latter is an alternative operation when the visitor is a general customer.
- FIG. 10 is a first flowchart of the control process at the time of abnormality by the robot controller.
- the robot 100 executes the abnormal time control process shown in FIG. 10 periodically or in response to an instruction from the administrator of the robot 100.
- the abnormal time control process shown in FIG. 10 includes steps executed by the abnormality determination units 421 to 423 in parallel.
- the abnormality determination unit 421 executes will be described.
- step S1001 the abnormality determination unit 421 confirms the operation state of the head 110 monitored by the head rotation function unit 411.
- the abnormality determination unit 421 confirms the abnormal condition information 800. Specifically, the abnormality determination unit 421 confirms a condition that the “rotation range reduction” is considered to have occurred as an abnormality of the “head” in the abnormality condition information 800.
- step S1003 the abnormality determination unit 421 determines whether or not the confirmed actual operating state of the head 110 matches a condition that is regarded as abnormal.
- step S1003 If it is determined in step S1003 that the condition to be regarded as abnormal is not met (in the case of No in step S1003), the abnormal time control process is terminated. On the other hand, if it is determined that the condition to be regarded as abnormal is met (in the case of Yes in step S1003), the process proceeds to step S1004.
- the abnormality determination unit 421 determines that the rotation range reduction has occurred as an abnormality of the head 110.
- step S1004 the abnormality determination unit 421 transmits the abnormality location and the type of abnormality to the abnormality detection time control execution unit 431 as abnormality detection information.
- step S1005 the abnormality detection control execution unit 431 inquires of the service control unit 401 about the service being provided and the service status (visitor attribute), so that the service content and service status (visitor attribute) are obtained. Confirm.
- the abnormality detection time control execution unit 431 refers to the abnormality time control content information 900, and identifies an alternative operation according to the service content, the abnormality location, and the type of abnormality.
- the abnormality detection control execution unit 431 performs an alternative operation (“head rotation range reduction”, “head stop, fixed” when a rotation range reduction occurs as an abnormality of the head 110 during conversation service provision. Switch to conversation ").
- step S1007 the abnormality detection time control execution unit 431 refers to the abnormality time control content information 900 and selects an alternative operation according to the service status (visitor attribute).
- step S1008 the abnormality detection time control execution unit 431 notifies the function control unit 402 of the selected alternative operation.
- the rotation range of the head 110 is reduced, but the process of recognizing the facial expressions of the visitors by analyzing the image data captured by the imaging unit 112 is continued.
- the process of generating the synthesized voice data based on the conversation content corresponding to the recognized facial expression and outputting it through the voice output unit 111 is continued.
- the robot 100 when the robot 100 detects an abnormality, the robot 100 can execute an alternative operation according to the abnormal part, the type of abnormality, the service content, and the service status. As a result, when detecting an abnormality, the robot 100 can execute an appropriate alternative operation (an alternative operation capable of maintaining the quality of the conversation service).
- FIGS. 11 and 12 are second flowcharts of the control process during abnormality by the robot controller. Similar to FIG. 10, when the provision of each service is started, the robot 100 executes the abnormal time control process shown in FIGS. 11 and 12 periodically or in response to an instruction from the administrator of the robot 100.
- step S1101 the abnormality determination unit 520 inputs “1” to the counter n that counts the number of functional units that monitor the operation status.
- step S1102 the abnormality determination unit 520 confirms the operation status monitored by the nth functional unit.
- the abnormality determination unit 520 confirms the actual operation state of the head 110 monitored by the head rotation function unit 411.
- step S1002 the abnormality determination unit 520 confirms the abnormal condition information 800.
- the abnormality determination unit 520 confirms a condition in which “rotation range reduction” is considered to have occurred as an abnormality of the “head” in the abnormality condition information 800.
- step S1003 the abnormality determination unit 520 determines whether or not the operating condition matches a condition that is considered abnormal.
- the abnormality determination unit 520 determines whether or not the actual operation state of the head 110 matches a condition in which “rotation range reduction” is considered to have occurred as an abnormality of the “head” in the abnormality condition information 800. To do.
- step S1003 If it is determined in step S1003 that they do not match (in the case of No in step S1003), the process proceeds to step S1103. On the other hand, if it is determined in step S1003 that they match (in the case of Yes in step S1003), the process proceeds to step S1004.
- step S1004 the abnormality determination unit 520 transmits the abnormality location and the type of abnormality as abnormality detection information to the abnormality detection time control execution unit 431.
- step S1103 the abnormality determination unit 520 determines whether or not the operation status monitored by all the function units has been confirmed. If it is determined in step S1103 that there is an unconfirmed operating state (No in step S1103), the process proceeds to step S1104.
- step S1104 the abnormality determination unit 520 increments the counter n and returns to step S1102. Thereby, in step S1102, the abnormality determination unit 520 confirms the actual operation state of the right arm unit 130 monitored by the arm unit rotation function unit 412. Thereafter, after determining whether or not the operating condition of the right arm part 130 is considered to be abnormal, the operating condition is abnormal by confirming the actual operating condition of each of the left arm part 140 and the trunk part 120. It is determined whether or not the conditions considered to be met. Here, it is assumed that the actual operation statuses of the right arm portion 130, the left arm portion 140, and the body portion 120 are determined not to meet the conditions considered abnormal.
- step S1103 If it is determined in step S1103 that the operation status monitored by all the functional units has been confirmed (Yes in step S1103), the process proceeds to step S1105 in FIG.
- step S1105 the abnormality detection time control execution unit 431 determines whether or not there is an abnormality. When the abnormality detection information is not received, the abnormality detection time control execution unit 431 determines that there is no abnormality portion (No in step S1105), and ends the abnormality time control process.
- the abnormality detection time control execution unit 431 determines that there is an abnormality (Yes in step S1105), and proceeds to step S1005.
- step S1005 the abnormality detection control execution unit 431 inquires of the service control unit 401 about the service being provided and the service status (visitor attribute), so that the service content and service status (visitor attribute) are obtained. Confirm. Here, it is assumed that a personal recognition service is being provided to general visitors.
- the abnormality detection time control execution unit 431 refers to the abnormality time control content information 900, and identifies an alternative operation according to the service content, the abnormality location, and the type of abnormality.
- the abnormality detection control execution unit 431 performs an alternative operation (“stop head, display ID input request on touch panel”) when rotation range reduction occurs as an abnormality of head 110 while providing the personal recognition service. Identify.
- step S1007 the abnormality detection control execution unit 431 selects an alternative operation according to the service status (visitor attribute).
- the control execution unit 431 at the time of detecting an abnormality displays a request for ID input on the touch panel part as an alternative action, regardless of the visitor's attributes.
- step S1008 the abnormality detection time control execution unit 431 notifies the function control unit 402 of the selected alternative operation. Thereby, since the operation of the head 110 is stopped, the process of recognizing the visitor based on the imaging data cannot be executed, but the process of recognizing the visitor based on the input content to the touch panel unit 121. Can be executed.
- the robot 100 can execute an alternative operation according to the abnormal part, the type of abnormality, the service content, and the service status.
- the robot 100 can execute an appropriate alternative action (an alternative action that can reduce the risk of failure while continuing to provide the personal recognition service).
- FIGS. 13 and 14 are third flowcharts of the abnormal control process by the robot controller. Similar to FIGS. 10 to 12, when the provision of each service is started, the robot 100 executes the abnormal time control process shown in FIGS. 13 and 14 periodically or in response to an instruction from the administrator of the robot 100. To do. Note that the processing from step S1101 to step S1104 is the same as the processing from step S1101 to step S1104 in FIG.
- step S1301 the abnormality determination unit 520 determines whether or not there is a next abnormality determination unit.
- the process returns from step S1301 to step S1101.
- the abnormality determination unit 620 confirms the actual operation status of the imaging unit 112 monitored by the imaging function unit 414, and determines whether or not the condition is regarded as abnormal.
- step S1105 the abnormality detection time control execution unit 431 determines whether or not there is an abnormality.
- the abnormality detection time control execution unit 431 determines that there is no abnormality portion (No in step S1105), and ends the abnormality time control process.
- the abnormality detection time control execution unit 431 determines that there is an abnormality (Yes in step S1105), and proceeds to step S1005.
- step S1005 the abnormality detection control execution unit 431 inquires of the service control unit 401 about the service being provided and the service status (visitor attribute), so that the service content and service status (visitor attribute) are obtained. Confirm. Here, it is assumed that a conversation service is being provided to VIP visitors.
- the abnormality detection time control execution unit 431 refers to the abnormality time control content information 900, and identifies an alternative operation according to the service content, the abnormality location, and the type of abnormality.
- the abnormality detection time control execution unit 431 performs an alternative operation (“head rotation range reduction”, “head stop, fixed conversation” when the rotation range reduction occurs as an abnormality of the head 110 during the conversation service provision. Switch ").
- the abnormality detection time control execution unit 431 refers to the abnormality time control content information 900 and selects an alternative operation according to the service status (visitor attribute).
- the abnormality detection time control execution unit 431 selects “head rotation range reduction” as an alternative operation.
- step S1008 the abnormality detection time control execution unit 431 notifies the function control unit 402 of the selected alternative operation.
- the rotation range of the head 110 is reduced, but the process of recognizing the facial expressions of the visitors by analyzing the image data captured by the imaging unit 112 is continued.
- the process of generating the synthesized voice data based on the conversation content corresponding to the recognized facial expression and outputting it through the voice output unit 111 is continued.
- the robot 100 can execute an alternative operation according to the abnormal part, the type of abnormality, the service content, and the service status. As a result, the robot 100 can execute an appropriate alternative operation (an alternative operation capable of maintaining the quality of the conversation service).
- the robot 100 monitors the operation status of each hardware during service provision, and when it is determined that the operation status is abnormal, Identify alternative actions according to the type of abnormality.
- the robot 100 according to the first embodiment checks the service status (visitor attribute) and determines the service status (visitor's attribute) when there are a plurality of alternative actions corresponding to the service content, abnormal location, and type of abnormality. One alternative operation corresponding to the attribute) is selected.
- the visitor's attribute is confirmed as the service status, and the alternative action according to the visitor's attribute is performed. Described as a choice.
- the service status to be confirmed when selecting an alternative action is not limited to the visitor attributes. For example, you may make it confirm the frequency
- the second embodiment will be described focusing on differences from the first embodiment.
- FIG. 15 is a diagram illustrating an example of failure occurrence risk determination condition information.
- the failure risk determination condition information 1500 includes “abnormal part” and “upper limit number (times)” as information items.
- abnormal part an abnormal part that is a target for determining the risk of failure occurrence is stored.
- Upper limit (times) defines the upper limit of the cumulative number of operations of the corresponding abnormal part. When the cumulative number of operations of the corresponding abnormal part exceeds the value defined in the “upper limit number (times)”, the abnormality detection time control execution unit 431 determines that the risk of failure occurrence is high.
- FIG. 13 and FIG. 16 are the fourth flowcharts of the abnormal time control process by the robot controller. 10 to 12, when the provision of each service is started, the robot 100 executes the abnormal time control process shown in FIGS. 13 and 16 periodically or in response to an instruction from the administrator of the robot 100. .
- FIG. 16 Since FIG. 13 has already been described in the first embodiment, FIG. 16 will be described here.
- step S1601 the abnormality detection control execution unit 431 inquires of the service control unit 401 about the service being provided and the service status (the cumulative number of times each service has been provided). Thereby, the control execution part 431 at the time of abnormality detection confirms the service content and the service status (cumulative provision frequency of each service).
- the abnormality detection time control execution unit 431 refers to the abnormality time control content information 900, and identifies an alternative operation according to the service content, the abnormality location, and the type of abnormality.
- the abnormality detection control execution unit 431 performs an alternative operation (“head rotation range reduction”, “head stop, fixed” when a rotation range reduction occurs as an abnormality of the head 110 during conversation service provision. Switch to conversation ").
- step S1602 the abnormality detection time control execution unit 431 calculates the cumulative number of operations at the abnormal location based on the service status (the cumulative number of times each service is provided). Here, it is assumed that the cumulative number of movements of the head 110 is calculated as 55 times.
- step S1603 the abnormality detection time control execution unit 431 compares the upper limit number of times of the “head” in the failure occurrence risk determination condition information 1500 with the cumulative number of movements of the head 110, thereby generating a failure of the head 110. Determine the risk.
- step S1604 the abnormality detection time control execution unit 431 selects an alternative action based on the determination result of the failure occurrence risk.
- the abnormality detection time control execution unit 431 selects an alternative operation that can reduce the failure occurrence risk.
- the abnormality detection time control execution unit 431 selects an alternative operation capable of maintaining the quality of service.
- the abnormality detection time control execution unit 431 may reduce the risk of failure occurrence.
- step S1008 the abnormality detection time control execution unit 431 notifies the function control unit 402 of the selected alternative action (here, “head stop, switch to fixed conversation”). As a result, the operation of the head 110 is stopped, and a conversation according to the facial expression of the visitor cannot be performed, but the conversation service itself is maintained by the fixed conversation.
- the function control unit 402 of the selected alternative action here, “head stop, switch to fixed conversation”.
- the robot 100 determines the failure occurrence risk by confirming the cumulative number of times of providing each service as the service status and calculating the cumulative number of operations at the abnormal location. Then, the robot 100 selects an alternative action based on the determined failure occurrence risk.
- the robot 100 in the second embodiment it is possible to select an alternative operation according to the type of abnormality, the service content, and the service status (accumulated provision number of each service) in addition to the abnormal part. become.
- an appropriate alternative operation an alternative operation that can maintain the quality of service or an alternative operation that can reduce the risk of failure while maintaining service provision
- the robot control unit 227 has been described as being disposed in the body unit 120 of the robot 100. However, the robot control unit 227 does not need to be arranged in the body part 120 of the robot 100 and may be arranged outside the robot 100. In this case, the robot control unit 227 arranged outside the robot 100 transmits operation command data for causing each functional unit to execute an alternative operation to the robot 100 via wireless communication, for example.
- the cumulative number of operations is calculated when determining the risk of failure occurrence.
- the determination method of the failure occurrence risk is not limited to this, and for example, the number of operations per unit time may be calculated.
- the upper limit number is fixed, but the upper limit number may be variable. For example, when the number of operations per unit time is large, the upper limit number may be lowered.
- Robot 110 Head 111: Audio output unit 112: Imaging unit 113: Audio input unit 120: Body unit 121: Touch panel unit 122: Touch sensor unit 130: Right arm unit 140: Left arm unit 150: Leg unit 401: Service control Unit 402: Function control unit 411: Head rotation function unit 412: Arm rotation function unit 413: Body rotation function unit 414: Imaging function unit 415: LED function unit 416: Touch panel function unit 417: Speech synthesis function unit 418: Voice input function unit 419: Contact sensor function units 421 to 423: Abnormality determination unit 431: Abnormality detection control execution unit 520: Abnormality determination unit 620: Abnormality determination unit 800: Abnormal condition information 900: Abnormality control content information
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
ソーシャルロボットにおいて異常を検知した際、適切な代替動作が実行できるようにする。複数の機能部を有するロボットであって、複数の前記機能部を動作させてサービスを提供する際に、動作状況を監視する監視部と、前記動作状況が異常であると判定した場合に、予め各サービスと対応付けて代替動作を定義した定義情報を参照して、提供中のサービスに対応する代替動作を実行するよう制御する制御部とを有することを特徴とする。
Description
本発明は、ロボット、制御装置、ロボット制御方法及びロボット制御プログラムに関する。
従来より、自治体(役所等)や店舗、イベント会場等のいわゆる公共の場所においては、各種サービス(例えば、個人認識サービス、会話サービス、方向指示サービス等)を提供するソーシャルロボットが利用されている。ソーシャルロボットの場合、それぞれの利用シーンにおける多様なニーズに応えるべく複数の機能部が設けられており、また、不特定多数の人を対象としてサービスを提供する必要があるため、故障発生のリスクが高い。
一般に、ソーシャルロボットでは、所定の機能部が異常を検知すると、他の機能部についても動作を停止させ、サービスの提供自体を中断する。
一方で、工場等において利用される産業用ロボットの場合、所定の機能部が異常を検知すると、異常箇所について動作速度を落としたり、予め定められた他の機能部による代替動作に切り替えるなどして、処理を継続させる。
しかしながら、ソーシャルロボットが、産業用ロボットのように動作速度を落として処理を継続させたとしても、十分なサービスを提供することはできない。また、処理の対象が特定の物ではなく、不特定多数の人であるため、処理の内容(サービス内容)も一様ではない。このため、異常箇所ごとに予め定めた代替動作が、サービスの提供対象者にとって、適切な代替動作であるとは限らない。
本発明の一つの側面では、ソーシャルロボットにおいて異常を検知した際、適切な代替動作が実行できるようにすることを目的としている。
一態様によれば、複数の機能部を有するロボットであって、複数の前記機能部を動作させてサービスを提供する際に、動作状況を監視する監視部と、前記動作状況が異常であると判定した場合に、予め各サービスと対応付けて代替動作を定義した定義情報を参照し、提供中のサービスに対応する代替動作を実行するよう制御する制御部とを有することを特徴とする。
ソーシャルロボットにおいて異常を検知した際、適切な代替動作が実行できるようになる。
以下、各実施形態について添付の図面を参照しながら詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
[第1の実施形態]
<ロボットの外観構成>
はじめに、不特定多数の人(以下、来場者と称す)を対象としてサービスを提供するソーシャルロボット(以下、ロボットと略す)の外観構成について説明する。図1は、ロボットの外観構成の一例を示す図である。
<ロボットの外観構成>
はじめに、不特定多数の人(以下、来場者と称す)を対象としてサービスを提供するソーシャルロボット(以下、ロボットと略す)の外観構成について説明する。図1は、ロボットの外観構成の一例を示す図である。
このうち、図1の1a、1cは、ロボット100の正面図であり、図1の1b、1dは、ロボット100の左側面図である。なお、図1の1a~1dでは、ロボット100の右側面から左側面に向かう方向をx軸、ロボット100の前面から背面に向かう方向をy軸、ロボットの下面から上面に向かう方向をz軸とおいている。
ロボット100は、頭部110、胴体部120、右腕部130、左腕部140、脚部150を有する。頭部110は、z軸周りを矢印161方向に回転するように、胴体部120に取り付けられている。同様に、胴体部120は、z軸周りを矢印161方向に回転するように、脚部150に取り付けられている。
また、右腕部130は、x軸周りを矢印162方向に回転するように、胴体部120に取り付けられている。同様に、左腕部140は、x軸周りを矢印162方向に回転するように、胴体部120に取り付けられている。なお、脚部150は、xy平面に平行な床面を任意の方向に移動できるものとする。
ロボット100の頭部110には、音声出力部(例えば、スピーカ)111と、撮像部112と、音声入力部(例えば、マイクロフォン)113とが取り付けられている。なお、図1には記載していないが、ロボット100の頭部110には、更に、LED(Light Emitting Diode)部が取り付けられているものとする。
また、ロボット100の胴体部120には、接触センサ部122、タッチパネル部121が取り付けられている。
ロボット100は、頭部110~脚部150の動作及び頭部110、胴体部120に取り付けられた各ハードウェアの動作を制御することで、各種サービスを提供する。
<ロボット内部のハードウェア構成>
次に、ロボット100内部のハードウェア構成について説明する。図2は、ロボット内部のハードウェア構成の一例を示す図である。
次に、ロボット100内部のハードウェア構成について説明する。図2は、ロボット内部のハードウェア構成の一例を示す図である。
図2に示すように、頭部110に取り付けられた音声出力部111、撮像部112、音声入力部113、LED部211は、バス260を介して、ロボット制御部227に接続されている。
撮像部112は、撮像した撮像データを、ロボット制御部227に送信する。音声出力部111は、ロボット制御部227にて合成された合成音声データを出力する。LED部211は、ロボット制御部227にて生成された発光指令データに基づいて発光する。音声入力部113は、検出した音声データをロボット制御部227に送信する。
同様に、胴体部120に取り付けられたモータドライバ部222、224、226、228、タッチパネル部121、接触センサ部122は、バス260を介して、ロボット制御部227に接続されている。
モータドライバ部222は、ロボット制御部227から送信される動作指令データに基づいて、右腕用モータ部221を制御し、右腕部130をx軸周りに回転動作させる。モータドライバ部224は、ロボット制御部227から送信される動作指令データに基づいて、首振り用モータ部223を制御し、頭部110をz軸周りに回転動作させる。モータドライバ部226は、ロボット制御部227から送信される動作指令データに基づいて、左腕用モータ部225を制御し、左腕部140をx軸周りに回転動作させる。モータドライバ部228は、ロボット制御部227から送信される動作指令データに基づいて、胴体用モータ部229を制御し、胴体部120をz軸周りに回転動作させる。
タッチパネル部121は、ロボット制御部227にて生成された表示画面を表示する。また、タッチパネル部121は、来場者からの入力指示を受け付け、入力指示データをロボット制御部227に送信する。接触センサ部122は、来場者が胴体部120に触れたことを検知し、接触検知データをロボット制御部227に送信する。
ロボット制御部227は、制御装置の一例である。ロボット制御部227には、ロボット制御プログラムがインストールされており、当該ロボット制御プログラムが実行されることで、ロボット制御部227は、ロボット100内部の各ハードウェアの動作を制御する。
脚部150にはモータドライバ部251、253が取り付けられ、バス260を介して、ロボット制御部227に接続されている。モータドライバ部251は、ロボット制御部227から送信される前後進指令データに基づいて、前後進用モータ部252を制御し、ロボット100を前進動作または後進動作させる。モータドライバ部253は、ロボット制御部227から送信される方向転換指令データに基づいて、方向転換用モータ部254を制御し、ロボット100を方向転換させる。
<ロボット制御部のデバイス構成>
次に、ロボット制御部227のデバイス構成について説明する。図3は、ロボット制御部のデバイス構成の一例を示す図である。
次に、ロボット制御部227のデバイス構成について説明する。図3は、ロボット制御部のデバイス構成の一例を示す図である。
図3に示すように、ロボット制御部227は、CPU(Central Processing Unit)301、ROM(Read Only Memory)302、RAM(Random Access Memory)303を有する。CPU301、ROM302、RAM303は、いわゆるコンピュータを形成する。また、ロボット制御部227は、補助記憶部304、I/F(Interface)部305を有する。なお、ロボット制御部227内の各デバイスは、バス306を介して相互に接続されている。
CPU301は、補助記憶部304にインストールされた各種プログラム(例えば、ロボット制御プログラム等)を実行する。
ROM302は、不揮発性メモリである。ROM302は、補助記憶部304にインストールされた各種プログラムをCPU301が実行するために必要な各種プログラム、データ等を記憶する、主記憶デバイスとして機能する。具体的には、ROM302はBIOS(Basic Input/Output System)やEFI(Extensible Firmware Interface)等のブートプログラム等を記憶する。
RAM303は、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等の揮発性メモリである。RAM303は、補助記憶部304にインストールされた各種プログラムがCPU301によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
補助記憶部304は、ロボット制御部227にインストールされた各種プログラムや、各種プログラムを実行する際に用いるデータ等を記憶する補助記憶デバイスである。後述するサービス内容情報格納部、異常条件情報格納部、異常時制御内容情報格納部は、補助記憶部304において実現される。
I/F部305は、ロボット100内部のバス260に接続するための接続デバイスである。ロボット制御部227は、I/F部305を介して、ロボット100内部の各ハードウェアとの間で各種データの送受信を行う。
<ロボット制御部の機能構成(その1)>
次に、ロボット制御部227の機能構成について説明する。図4は、ロボット制御部の機能構成の第1の例を示す図である。補助記憶部304にインストールされたロボット制御プログラムがCPU301によって実行されることで、ロボット制御部227は、図4に示す各部として機能する。
次に、ロボット制御部227の機能構成について説明する。図4は、ロボット制御部の機能構成の第1の例を示す図である。補助記憶部304にインストールされたロボット制御プログラムがCPU301によって実行されることで、ロボット制御部227は、図4に示す各部として機能する。
具体的には、ロボット制御部227は、サービス制御部401、機能制御部402、頭部回転機能部411、腕部回転機能部412、胴体部回転機能部413、撮像機能部414、LED機能部415として機能する。また、ロボット制御部227は、タッチパネル機能部416、音声合成機能部417、音声入力機能部418、接触センサ機能部419、異常判定部421~423、異常検知時制御実行部431として機能する。
サービス制御部401は、サービス内容情報格納部440に格納されたサービス内容情報において定義された各種サービス(例えば、個人認識サービス、会話サービス、方向指示サービス等)のうちのいずれのサービスを提供するかを決定する。また、サービス制御部401は、決定したサービスを機能制御部402に通知する。
更に、サービス制御部401は、提供中のサービス及びサービス状況を監視する。サービス状況とは、ロボット100が提供するサービスに関連する任意の情報(サービスの提供対象者である来場者の属性、サービスの提供場所、提供時間に関する情報、サービスの提供回数に関する情報等)を指す。例えば、サービス状況には、来場者の属性として、来場者がVIP(Very Important Person)客なのか一般客なのか、子供なのか大人なのかといった情報が含まれる。また、サービス状況には、ロボット100がこれまでに提供してきたサービスの累積提供回数等が含まれる。
機能制御部402は、サービス制御部401により決定されたサービスを提供するよう、各機能部を制御する。サービス内容情報格納部440に格納されたサービス内容情報には、サービスごとに、どの機能部を動作させるか、どのように動作させるか(制御内容)が予め定義されている。機能制御部402は、サービス内容情報を参照することで、サービス制御部401により決定されたサービスを提供するために動作させる機能部と制御内容とを特定し、各機能部から通知された情報に基づいて、各機能部に対して指示をする。更に、機能制御部402は、サービス提供中に各機能部から通知された情報をサービス制御部401に通知する。これにより、サービス制御部401は、サービス状況を監視することができる。
頭部回転機能部411は、機能制御部402からの指示に基づいて、頭部110をz軸周りに回転動作させるべく、モータドライバ部224に対して動作指令データを送信する。また、頭部回転機能部411は監視部としても機能し、動作指令データを送信した際の頭部110の実際の動作状況を監視する。
腕部回転機能部412は、機能制御部402からの指示に基づいて、右腕部130または左腕部140をx軸周りに回転動作させるべく、モータドライバ部222または226に動作指令データを送信する。また、腕部回転機能部412は監視部としても機能し、動作指令データを送信した際の右腕部130及び左腕部140の実際の動作状況を監視する。
胴体部回転機能部413は、機能制御部402からの指示に基づいて、胴体部120をz軸周りに回転動作させるべく、モータドライバ部228に対して動作指令データを送信する。また、胴体部回転機能部413は監視部としても機能し、動作指令データを送信した際の胴体部120の実際の動作状況を監視する。
撮像機能部414は、機能制御部402からの指示に基づいて、撮像部112に対して撮像開始または撮像終了の動作指令データを送信するとともに、動作指令データの送信に応じて撮像部112から送信された撮像データを受信する。また、撮像機能部414は、受信した撮像データを解析し、来場者を認識したり、来場者の顔をトラッキングしながら、来場者の表情を認識し、認識結果を機能制御部402に通知する。なお、撮像機能部414も監視部として機能させ、撮像部112の動作状況を監視するようにしてもよい。
LED機能部415は、機能制御部402からの指示に基づいて、発光指令データを生成し、LED部211に送信する。
タッチパネル機能部416は、機能制御部402からの指示に基づいて、表示画面を生成し、生成した表示画面をタッチパネル部121に送信する。また、タッチパネル機能部416は、タッチパネル部121から送信された入力指示データを受信し、来場者の指示内容を認識する。また、タッチパネル機能部416は、認識結果を機能制御部402に通知する。
音声合成機能部417は、機能制御部402からの指示に基づいて、合成音声データを生成し、音声出力部111に送信する。音声入力機能部418は、音声入力部113から送信された音声データを受信し、来場者の発言内容を認識する。また、音声入力機能部418は、認識結果を機能制御部402に通知する。
接触センサ機能部419は、接触センサ部122から送信された接触検知データを受信し、機能制御部402に通知する。
異常判定部421~423は、定期的に、またはロボット100の管理者からの指示に応じて、各機能部が監視する各ハードウェアの動作状況を確認する。異常判定部421~423は、動作状況が異常であると判定した場合に、異常検知時制御実行部431に、異常検知情報(異常箇所、異常の種類)を送信する。異常判定部421~423は、異常条件情報格納部450に格納された異常条件情報と対比しながら動作状況を確認することで、動作状況が異常であるか否かの判定を行う。
このうち、異常判定部421は、頭部回転機能部411が監視する頭部110の動作状況を確認し、頭部110の異常条件情報と対比することで動作状況が異常であるか否かを判定する。また、異常判定部421は、頭部110の動作状況が異常であると判定した場合に、異常検知情報を異常検知時制御実行部431に送信する。
異常判定部422は、腕部回転機能部412が監視する右腕部130及び左腕部140の動作状況を確認し、右腕部130及び左腕部140の異常条件情報と対比することで動作状況が異常であるか否かを判定する。また、異常判定部422は、右腕部130または左腕部140の動作状況が異常であると判定した場合に、異常検知情報を異常検知時制御実行部431に送信する。
異常判定部423は、胴体部回転機能部413が監視する胴体部120の動作状況を確認し、胴体部120の異常条件情報と対比することで動作状況が異常であるか否かを判定する。また、異常判定部423は、胴体部120の動作状況が異常であると判定した場合に、異常検知情報を異常検知時制御実行部431に送信する。
異常検知時制御実行部431は制御部の一例であり、異常判定部421~423から異常検知情報を受信すると、提供中のサービス及びサービス状況を確認し、代替動作を特定する。
具体的には、異常検知時制御実行部431は、サービス制御部401に対して、提供中のサービス及びサービス状況(ここでは、来場者の属性)について問い合わせを行う。これにより、異常検知時制御実行部431は、サービス内容及びサービス状況を確認する。
そして、異常検知時制御実行部431は、異常時制御内容情報格納部460を参照し、サービス内容、異常検知情報(異常箇所、異常の種類)に応じた代替動作を特定する。なお、異常時制御内容情報において、1のサービス内容に対応付けて複数の代替動作が定義されていた場合、異常検知時制御実行部431は、サービス状況(来場者の属性)に応じて1の代替動作を選択する。
また、異常検知時制御実行部431は、選択した代替動作を、機能制御部402に通知する。これにより、機能制御部402は、通知された代替動作を実行させるべく、頭部回転機能部411~接触センサ機能部419の各機能部に対して指示をする。
<ロボット制御部の機能構成(その2)>
次に、ロボット制御部227の他の機能構成について説明する。図5は、ロボット制御部の機能構成の第2の例を示す図である。図4との相違点は、図5の場合、異常判定部520が、頭部回転機能部411、腕部回転機能部412、胴体部回転機能部413に接続されている点である。
次に、ロボット制御部227の他の機能構成について説明する。図5は、ロボット制御部の機能構成の第2の例を示す図である。図4との相違点は、図5の場合、異常判定部520が、頭部回転機能部411、腕部回転機能部412、胴体部回転機能部413に接続されている点である。
異常判定部520は、頭部回転機能部411、腕部回転機能部412、胴体部回転機能部413がそれぞれ監視する各ハードウェア(頭部110、右腕部130、左腕部140、胴体部120)の動作状況を確認する。そして、異常判定部520は、各ハードウェアの動作状況が異常であるか否かを判定する。
<ロボット制御部の機能構成(その3)>
次に、ロボット制御部227の他の機能構成について説明する。図6は、ロボット制御部の機能構成の第3の例を示す図である。図5との相違点は、図6の場合、異常判定部620を有する点である(異常判定部520に加えて異常判定部620を有する点である)。ロボット制御部227は、頭部回転機能部411、腕部回転機能部412、胴体部回転機能部413、撮像機能部414が監視する各ハードウェア(頭部110、右腕部130、左腕部140、胴体部120、撮像部112)の動作状況を確認することができる。この結果、ロボット制御部227では、頭部回転機能部411、腕部回転機能部412、胴体部回転機能部413、撮像機能部414が監視する各ハードウェアの動作状況が、異常であるか否かの判定を行うことができる。
次に、ロボット制御部227の他の機能構成について説明する。図6は、ロボット制御部の機能構成の第3の例を示す図である。図5との相違点は、図6の場合、異常判定部620を有する点である(異常判定部520に加えて異常判定部620を有する点である)。ロボット制御部227は、頭部回転機能部411、腕部回転機能部412、胴体部回転機能部413、撮像機能部414が監視する各ハードウェア(頭部110、右腕部130、左腕部140、胴体部120、撮像部112)の動作状況を確認することができる。この結果、ロボット制御部227では、頭部回転機能部411、腕部回転機能部412、胴体部回転機能部413、撮像機能部414が監視する各ハードウェアの動作状況が、異常であるか否かの判定を行うことができる。
<各格納部に格納される情報の詳細>
次に、各格納部(サービス内容情報格納部440、異常条件情報格納部450、異常時制御内容情報格納部460)に格納される情報の詳細について説明する。
次に、各格納部(サービス内容情報格納部440、異常条件情報格納部450、異常時制御内容情報格納部460)に格納される情報の詳細について説明する。
(1)サービス内容情報
はじめに、サービス内容情報格納部440に格納されるサービス内容情報について説明する。図7は、サービス内容情報の一例を示す図である。図7に示すように、サービス内容情報700は、情報の項目として、"サービス内容"、"利用機能部"、"正常時の制御内容"、"累積提供回数"を含む。
はじめに、サービス内容情報格納部440に格納されるサービス内容情報について説明する。図7は、サービス内容情報の一例を示す図である。図7に示すように、サービス内容情報700は、情報の項目として、"サービス内容"、"利用機能部"、"正常時の制御内容"、"累積提供回数"を含む。
"サービス内容"には、ロボット100が提供するサービスの種類が定義される。図7の例では、ロボット100が提供するサービスの種類として、「個人認識サービス」、「会話サービス」、「方向指示サービス」が定義されている。
"利用機能部"には、対応するサービスを提供するために動作させる機能部が定義される。図7の例は、「個人認識サービス」を提供するにあたり、ロボット100が「撮像機能部」、「頭部回転機能部」、「タッチパネル機能部」を動作させることを示している。
"正常時の制御内容"には、"利用機能部"に定義された各機能部についての正常時の動作が定義される。図7の「個人認識サービス」の場合、ロボット100は、来場者を撮像した撮像データを解析することで来場者の認識を行う。
このため、"正常時の制御内容"には、撮像機能部414が、撮像部112により撮像された来場者の撮像データを解析し来場者を認識することが定義されている。また、頭部回転機能部411が、撮像部112による撮像が適切に行われるように回転動作を行うことが定義されている。更に、タッチパネル機能部416が、個人認識サービスを提供中であることを示す表示画面をタッチパネル部121に表示することが定義されている。
また、図7の「会話サービス」の場合、ロボット100は、来場者の方向を向き、右腕部130と左腕部140とを動かしながら、来場者の表情に応じた会話を行う。
このため、"正常時の制御内容"には、撮像機能部414が、撮像部112により撮像された来場者の撮像データを解析し、来場者の顔をトラッキングしながら来場者の表情を認識することが定義されている。また、頭部回転機能部411が、撮像部112による撮像が適切に行われるように回転動作を行うことが定義されている。また、音声入力機能部418が、音声入力部113により検出された音声データを解析し、来場者の発言内容を認識することが定義されている。また、音声合成機能部417が、認識された来場者の表情及び発言内容に応じた会話内容を音声合成し、音声出力部111を介して出力することが定義されている。また、腕部回転機能部412が、右腕部130または左腕部140の回転動作を行うことが定義されている。
また、図7の例によれば、「方向指示サービス」の場合、ロボット100は、指示する方向を向き、右腕部130または左腕部140で指しながら、音声案内を行う。
このため、"正常時の制御内容"には、胴体部回転機能部413が、胴体部120の回転動作を行うことが定義されている。また、腕部回転機能部412が、右腕部130または左腕部140の回転動作を行うことが定義されている。更に、音声合成機能部417が、音声案内のための音声合成データを生成し、音声出力部111を介して出力することが定義されている。
"累積提供回数"には、対応するサービスをロボット100がこれまでに提供してきた回数(累積値)が格納される。図7の例は、ロボット100が、「個人認識サービス」を20回、「会話サービス」を25回、「方向指示サービス」を53回提供してきたことを示している。
(2)異常条件情報
次に、異常条件情報格納部450に格納される異常条件情報について説明する。図8は、異常条件情報の一例を示す図である。図8に示すように、異常条件情報800には、異常判定部(ここでは、異常判定部421~423として説明する)が各ハードウェアの動作状況を確認することで判定される異常箇所が定義される。図8の例では、「頭部」、「右腕部」、「左腕部」、「胴体部」が定義されている。
次に、異常条件情報格納部450に格納される異常条件情報について説明する。図8は、異常条件情報の一例を示す図である。図8に示すように、異常条件情報800には、異常判定部(ここでは、異常判定部421~423として説明する)が各ハードウェアの動作状況を確認することで判定される異常箇所が定義される。図8の例では、「頭部」、「右腕部」、「左腕部」、「胴体部」が定義されている。
また、異常条件情報800には、異常判定部421~423が各ハードウェアの動作状況を確認することで判定される異常の種類が定義される。図8の例では、「頭部」の異常の種類として、「回転範囲減少」、「動作音異常」が定義されている。
更に、異常条件情報800には、異常とみなす条件が定義される。図8の例では、「頭部」の異常として「回転範囲減少」が発生したとみなす条件=「左0°~90°の70%未満、右0°~90°の70%未満」が定義されている。
なお、頭部110の回転範囲とは、イラスト810に示すように、xy平面に平行な平面において、頭部110の正面方向を0°とした場合の回転範囲を指す。左90°とは、頭部110を左方向に90°回転させた角度をいい、右90°とは、頭部110を右方向に90°回転させた角度をいう。ロボット100の場合、頭部110の正常な回転範囲は、左0°~90°、右0°~90°である。このため、正常な回転範囲の70%未満の範囲でしか頭部110が回転動作できなくなった場合に、異常判定部421は、頭部110の異常として「回転範囲減少」が発生したと判定する。
また、図8の例では、「左腕部」の異常として「回転範囲減少」が発生したみなす条件=「前0°~120°の70%未満、後0°~30°の70%未満」が定義されている。左腕部140の回転範囲とは、イラスト820に示すように、yz平面に平行な平面において、左腕部140の真下方向を0°とした場合の回転範囲を指す。前120°とは、左腕部140を前方向に120°回転させた角度をいい、後90°とは、左腕部140を後方向に30°回転させた角度をいう。ロボット100の場合、左腕部140の正常な回転範囲は、前0°~120°、後0°~30°である。このため、正常な回転範囲の70%未満の範囲でしか左腕部140が回転動作できなくなった場合に、異常判定部422は、左腕部140の異常として「回転範囲減少」が発生したと判定する。
同様に、図8の例では、「頭部」の異常として「動作音異常」が発生したとみなす条件=「動作音70dB以上」が定義されている。動作音とは、頭部110の回転動作を行う首振り用モータ部223を実際に動作させた際に発生する音である。動作音が70dB以上であった場合に、異常判定部421は、頭部110の異常として「動作音異常」が発生したと判定する。
(3)異常時制御内容情報
次に、異常時制御内容情報格納部460に格納される異常時制御内容情報について説明する。図9は、異常時制御内容情報の一例を示す図である。異常時制御内容情報900は異常時の代替動作を定義した定義情報の一例である。図9に示すように、異常時制御内容情報900には、異常検知時制御実行部431が異常検知情報を受信した場合にロボット100に実行させる代替動作が、サービス内容ごと、異常箇所ごと、異常の種類ごと、に定義されている。
次に、異常時制御内容情報格納部460に格納される異常時制御内容情報について説明する。図9は、異常時制御内容情報の一例を示す図である。異常時制御内容情報900は異常時の代替動作を定義した定義情報の一例である。図9に示すように、異常時制御内容情報900には、異常検知時制御実行部431が異常検知情報を受信した場合にロボット100に実行させる代替動作が、サービス内容ごと、異常箇所ごと、異常の種類ごと、に定義されている。
具体的には、異常時制御内容情報900には、サービス内容として「個人認識サービス」、「会話サービス」、「方向指示サービス」が定義されている。また、異常時制御内容情報900には、「個人認識サービス」提供中に、頭部110の異常として「回転範囲減少」が発生した場合の代替動作として、「頭部停止、タッチパネル部にID入力依頼を表示」が定義されている。また、頭部110の異常として「動作音異常」が発生した場合の代替動作として「頭部停止、タッチパネル部にID入力依頼を表示」が定義されている。更に、右腕部130または左腕部140の異常として「回転範囲減少」が発生した場合の代替動作として、「右腕部停止」または「左腕部停止」が定義されている。更に、胴体部120の異常として「回転範囲減少」が発生した場合の代替動作として、「胴体部停止」が定義され、「動作音異常」が発生した場合の代替動作として、「胴体部停止」が定義されている。
なお、異常時制御内容情報900において、同一の異常箇所、同一の異常の種類に対して、複数の代替動作が定義されている場合、異常検知時制御実行部431は、サービス状況(来場者の属性)に応じていずれか1の代替動作を選択する。
例えば、「会話サービス」提供中に、頭部110の異常として「回転範囲減少」が発生した場合、異常検知時制御実行部431は、「頭部回転範囲縮小」または「頭部停止、固定会話に切替」のいずれか1の代替動作を選択する。
ここで、「会話サービス」提供中、ロボット100は、頭部110を回転動作させながら撮像部112で来場者の顔をトラッキングし、来場者の表情を認識した場合の認識結果に応じて会話内容を切り替える。例えば、「会話サービス」提供中に、来場者の笑顔が認識されると、ロボット100は、来場者の反応が良好な場合の会話内容に切り替える。一方、「会話サービス」提供中、来場者の笑顔が認識されなかった場合、ロボット100は、来場者の反応が良好でない場合の会話内容に切り替える。つまり、頭部110が正常に回転動作しており、来場者の顔がトラッキングできていれば、ロボット100は、来場者の表情に応じた柔軟な会話が可能である。
しかしながら、頭部110の異常として「回転範囲減少」が発生した場合には、頭部110の回転範囲を縮小させるか、頭部110の回転動作を停止させる必要がある。ここで、来場者がVIP客などであった場合、異常検知時制御実行部431は、会話サービスの品質をできるだけ落とさないよう、代替動作として「頭部回転範囲縮小」を選択する。この場合、故障発生のリスクは残るが、来場者の顔をトラッキングできる範囲で柔軟な会話ができるため、ロボット100は、会話サービスの品質を維持することができる。
一方で、来場者が一般客であった場合、異常検知時制御実行部431は、会話サービスの品質を維持するよりも故障発生のリスクを低減させることを優先し、代替動作として、「頭部停止、固定会話に切替」を選択する。この場合、来場者の顔がトラッキングされないため、来場者の表情に応じた柔軟な会話はできず、会話サービスの品質は低下するが、固定会話に切り替えることで、ロボット100は、会話サービスの提供を維持することができる。また、ロボット100は、故障発生のリスクを低減させることができる。
このように、異常検知時制御実行部431が、サービス状況(来場者の属性)を確認し、来場者の属性に応じた代替動作を選択できるよう、異常時制御内容情報900には同一の異常箇所、同一の異常の種類に対して、複数の代替動作が定義されうる。なお、図9の場合、2つの代替動作のうち、前者を、来場者がVIP客の場合の代替動作、後者を、来場者が一般客の場合の代替動作としている。
<異常時制御処理の流れ>
次に、ロボット制御部227による異常時制御処理の流れについて説明する。なお、以下では、ロボット制御部227の機能構成が上記(その1)~(その3)それぞれの場合の異常時制御処理の流れについて説明する。
次に、ロボット制御部227による異常時制御処理の流れについて説明する。なお、以下では、ロボット制御部227の機能構成が上記(その1)~(その3)それぞれの場合の異常時制御処理の流れについて説明する。
(1)機能構成(その1)の場合の異常時制御処理の流れ
図10は、ロボット制御部による異常時制御処理の第1のフローチャートである。各サービスの提供を開始すると、ロボット100は、定期的に、またはロボット100の管理者からの指示に応じて、図10に示す異常時制御処理を実行する。なお、図10に示す異常時制御処理には、異常判定部421~423がそれぞれ並行して実行する工程が含まれるが、ここでは、異常判定部421が実行する場合について説明する。
図10は、ロボット制御部による異常時制御処理の第1のフローチャートである。各サービスの提供を開始すると、ロボット100は、定期的に、またはロボット100の管理者からの指示に応じて、図10に示す異常時制御処理を実行する。なお、図10に示す異常時制御処理には、異常判定部421~423がそれぞれ並行して実行する工程が含まれるが、ここでは、異常判定部421が実行する場合について説明する。
ステップS1001において、異常判定部421は、頭部回転機能部411が監視する頭部110の動作状況を確認する。ここでは、異常判定部421は、頭部110の実際の動作状況が、回転範囲=左0°~60°、右0°~40°であることを確認したとする。
ステップS1002において、異常判定部421は異常条件情報800を確認する。具体的には、異常判定部421は、異常条件情報800の"頭部"の異常として「回転範囲減少」が発生したとみなす条件を確認する。
これにより、異常判定部421は、頭部110の異常として「回転範囲減少」が発生したとみなす条件が、回転範囲=左0°~90°の70%未満、右0°~90°の70%未満であることを確認する。
ステップS1003において、異常判定部421は、確認した頭部110の実際の動作状況が、異常とみなす条件に合致するか否かを判定する。
ステップS1003において、異常とみなす条件に合致しないと判定した場合には(ステップS1003においてNoの場合には)、異常時制御処理を終了する。一方、異常とみなす条件に合致すると判定した場合には(ステップS1003においてYesの場合には)、ステップS1004に進む。
なお、ここでは、頭部110の実際の動作状況が、異常とみなす条件に合致しているため、異常判定部421は、頭部110の異常として回転範囲減少が発生したと判定する。
ステップS1004において、異常判定部421は、異常検知情報として異常箇所と異常の種類とを、異常検知時制御実行部431に送信する。
なお、ここでは、異常判定部421が、異常検知情報として、異常箇所="頭部"、異常の種類="回転範囲減少"を、異常検知時制御実行部431に送信する。
ステップS1005において、異常検知時制御実行部431は、サービス制御部401に対して、提供中のサービス及びサービス状況(来場者の属性)を問い合わせることで、サービス内容及びサービス状況(来場者の属性)を確認する。
なお、ここでは、異常検知時制御実行部431は、サービス内容="会話サービス"、サービス状況="来場者がVIP客"であることを確認したとする。
ステップS1006において、異常検知時制御実行部431は、異常時制御内容情報900を参照し、サービス内容、異常箇所、異常の種類に応じた代替動作を特定する。
なお、ここでは、異常検知時制御実行部431は、会話サービス提供中に頭部110の異常として回転範囲減少が発生した場合の代替動作("頭部回転範囲減少"、"頭部停止、固定会話に切替")を特定する。
ステップS1007において、異常検知時制御実行部431は、異常時制御内容情報900を参照し、サービス状況(来場者の属性)に応じた代替動作を選択する。
なお、ここでは、異常検知時制御実行部431は、サービス状況="来場者がVIP客"に基づいて、代替動作として、"頭部回転範囲縮小"を選択する。
ステップS1008において、異常検知時制御実行部431は、選択した代替動作を機能制御部402に通知する。これにより、頭部110の回転範囲は縮小されるが、撮像部112において撮像された撮像データを解析することで来場者の表情を認識する処理は継続されることになる。また、認識した表情に応じた会話内容に基づき合成音声データを生成し、音声出力部111を介して出力する処理は継続されることになる。
このように、ロボット100は、異常を検知した際、異常箇所、異常の種類、サービス内容、サービス状況に応じた代替動作を実行することができる。この結果、ロボット100は、異常を検知した際、適切な代替動作(会話サービスの品質を維持可能な代替動作)が実行できるようになる。
(2)機能構成(その2)の場合の異常時制御処理の流れ
図11及び図12は、ロボット制御部による異常時制御処理の第2のフローチャートである。図10と同様、各サービスの提供を開始すると、ロボット100は、定期的に、またはロボット100の管理者からの指示に応じて、図11及び図12に示す異常時制御処理を実行する。
図11及び図12は、ロボット制御部による異常時制御処理の第2のフローチャートである。図10と同様、各サービスの提供を開始すると、ロボット100は、定期的に、またはロボット100の管理者からの指示に応じて、図11及び図12に示す異常時制御処理を実行する。
ステップS1101において、異常判定部520は、動作状況を監視する機能部の数をカウントするカウンタnに"1"を入力する。
ステップS1102において、異常判定部520は、n番目の機能部が監視する動作状況を確認する。ここでは、異常判定部520は、頭部回転機能部411が監視する頭部110の実際の動作状況を確認する。
ステップS1002において、異常判定部520は、異常条件情報800を確認する。ここでは、異常判定部520は、異常条件情報800の"頭部"の異常として「回転範囲減少」が発生したとみなす条件を確認する。
ステップS1003において、異常判定部520は、動作状況が異常とみなす条件に合致するか否かを判定する。ここでは、異常判定部520は、頭部110の実際の動作状況が、異常条件情報800の"頭部"の異常として「回転範囲減少」が発生したとみなす条件に合致するか否かを判定する。
ステップS1003において合致しないと判定した場合には(ステップS1003においてNoの場合には)、ステップS1103に進む。一方、ステップS1003において合致すると判定した場合には(ステップS1003においてYesの場合には)、ステップS1004に進む。
ステップS1004において、異常判定部520は、異常検知情報として異常箇所と異常の種類とを、異常検知時制御実行部431に送信する。ここでは、異常判定部520は、異常検知情報として、異常箇所="頭部"を、異常の種類="回転範囲減少"を、異常検知時制御実行部431に送信する。
ステップS1103において、異常判定部520は、すべての機能部が監視する動作状況について確認したか否かを判定する。ステップS1103において、確認していない動作状況があると判定した場合には(ステップS1103においてNoの場合には)、ステップS1104に進む。
ステップS1104において、異常判定部520は、カウンタnをインクリメントし、ステップS1102に戻る。これにより、ステップS1102において、異常判定部520は、腕部回転機能部412が監視する、右腕部130の実際の動作状況を確認する。以降、右腕部130について動作状況が異常とみなす条件に合致するか否かを判定した後、更に、左腕部140、胴体部120それぞれについて、実際の動作状況を確認することで、動作状況が異常とみなす条件に合致するか否かを判定していく。なお、ここでは、右腕部130、左腕部140、胴体部120の実際の動作状況は、いずれも異常とみなす条件に合致しないと判定されたとする。
ステップS1103において、全ての機能部が監視する動作状況について確認したと判定した場合には(ステップS1103においてYesの場合には)、図12のステップS1105に進む。
ステップS1105において、異常検知時制御実行部431は、異常箇所があったか否かを判定する。異常検知情報を受信しなかった場合、異常検知時制御実行部431は、異常箇所がなかったと判定し(ステップS1105においてNo)、異常時制御処理を終了する。
一方、異常検知情報を受信した場合、異常検知時制御実行部431は、異常箇所があったと判定し(ステップS1105においてYes)、ステップS1005に進む。
ステップS1005において、異常検知時制御実行部431は、サービス制御部401に対して、提供中のサービス及びサービス状況(来場者の属性)を問い合わせることで、サービス内容及びサービス状況(来場者の属性)を確認する。ここでは、一般客の来場者に対して、個人認識サービスを提供中であったとする。
ステップS1006において、異常検知時制御実行部431は、異常時制御内容情報900を参照し、サービス内容、異常箇所、異常の種類に応じた代替動作を特定する。ここでは、異常検知時制御実行部431は、個人認識サービス提供中に頭部110の異常として回転範囲減少が発生した場合の代替動作("頭部停止、タッチパネルにID入力依頼を表示")を特定する。
ステップS1007において、異常検知時制御実行部431は、サービス状況(来場者の属性)に応じた代替動作を選択する。ここでは、代替動作が1つのみ定義されているため、異常検知時制御実行部431は、来場者の属性に関わらず、代替動作として、"頭部停止、タッチパネル部にID入力の依頼を表示"を選択する。
ステップS1008において、異常検知時制御実行部431は、選択した代替動作を機能制御部402に通知する。これにより、頭部110の動作が停止されるため、撮像データに基づいて来場者を認識する処理を実行することはできなくなるが、タッチパネル部121への入力内容に基づいて来場者を認識する処理は実行することが可能となる。
このように、ロボット100は、異常箇所、異常の種類、サービス内容、サービス状況に応じた代替動作を実行することができる。この結果、ロボット100は、異常を検知した際、適切な代替動作(個人認識サービスの提供を継続しつつ、故障発生リスクを低減させることが可能な代替動作)が実行できるようになる。
(3)機能構成(その3)の場合の異常時制御処理の流れ
図13、図14は、ロボット制御部による異常時制御処理の第3のフローチャートである。図10~図12と同様、各サービスの提供を開始すると、ロボット100は、定期的に、またはロボット100の管理者からの指示に応じて、図13及び図14に示す異常時制御処理を実行する。なお、ステップS1101~ステップS1104までの処理は、図11のステップS1101~ステップS1104までの処理と同じであるため、ここでは説明を省略する。
図13、図14は、ロボット制御部による異常時制御処理の第3のフローチャートである。図10~図12と同様、各サービスの提供を開始すると、ロボット100は、定期的に、またはロボット100の管理者からの指示に応じて、図13及び図14に示す異常時制御処理を実行する。なお、ステップS1101~ステップS1104までの処理は、図11のステップS1101~ステップS1104までの処理と同じであるため、ここでは説明を省略する。
ステップS1301において、異常判定部520は、次の異常判定部が存在するか否かを判定する。ここでは、次の異常判定部として、異常判定部620が存在するため、ステップS1301からステップS1101に戻る。これにより、異常判定部620は、撮像機能部414が監視する、撮像部112の実際の動作状況を確認し、異常とみなす条件に合致するか否かを判定する。なお、ここでは、撮像部112の実際の動作状況は、異常とみなす条件に合致しないと判定されたとする。
異常判定部620による判定が完了すると、ステップS1301から図14のステップS1105に進む。ステップS1105において、異常検知時制御実行部431は、異常箇所があったか否かを判定する。異常検知情報を受信しなかった場合、異常検知時制御実行部431は、異常箇所がなかったと判定し(ステップS1105においてNo)、異常時制御処理を終了する。
一方、異常検知情報を受信した場合、異常検知時制御実行部431は、異常箇所があったと判定し(ステップS1105においてYes)、ステップS1005に進む。
ステップS1005において、異常検知時制御実行部431は、サービス制御部401に対して、提供中のサービス及びサービス状況(来場者の属性)を問い合わせることで、サービス内容及びサービス状況(来場者の属性)を確認する。ここでは、VIP客の来場者に対して、会話サービスを提供中であったとする。
ステップS1006において、異常検知時制御実行部431は、異常時制御内容情報900を参照し、サービス内容、異常箇所、異常の種類に応じた代替動作を特定する。ここでは、異常検知時制御実行部431は、会話サービス提供中に頭部110の異常として回転範囲減少が発生した場合の代替動作("頭部回転範囲減少"、"頭部停止、固定会話に切替")を特定する。
ステップS1007において、異常検知時制御実行部431は、異常時制御内容情報900を参照し、サービス状況(来場者の属性)に応じた代替動作を選択する。ここでは、異常検知時制御実行部431は、来場者がVIP客であるので、代替動作として"頭部回転範囲縮小"を選択する。
ステップS1008において、異常検知時制御実行部431は、選択した代替動作を機能制御部402に通知する。これにより、頭部110の回転範囲は縮小されるが、撮像部112において撮像された撮像データを解析することで来場者の表情を認識する処理は継続されることになる。また、認識した表情に応じた会話内容に基づき合成音声データを生成し、音声出力部111を介して出力する処理は継続されることになる。
このように、ロボット100は、異常箇所、異常の種類、サービス内容、サービス状況に応じた代替動作を実行することができる。この結果、ロボット100は、適切な代替動作(会話サービスの品質を維持可能な代替動作)が実行できるようになる。
以上の説明から明らかなように、第1の実施形態におけるロボット100は、サービス提供中に各ハードウェアの動作状況を監視し、動作状況が異常であると判定した場合に、サービス内容、異常箇所、異常の種類に応じた代替動作を特定する。また、第1の実施形態におけるロボット100は、サービス内容、異常箇所、異常の種類に応じた代替動作が複数存在する場合、サービス状況(来場者の属性)を確認し、サービス状況(来場者の属性)に応じた1の代替動作を選択する。
これにより、第1の実施形態におけるロボット100によれば、異常箇所に加えて、異常の種類、サービス内容及びサービス状況(来場者の属性)に応じた代替動作を選択することができるようになる。この結果、ロボット100は異常を検知した際、適切な代替動作(サービスの品質を維持可能な代替動作、あるいは、サービスの提供を継続しつつ故障発生リスクを低減させることが可能な代替動作)が実行できるようになる。
[第2の実施形態]
上記第1の実施形態では、サービス内容、異常箇所、異常の種類に応じた代替動作が複数存在する場合、サービス状況として、来場者の属性を確認し、来場者の属性に応じた代替動作を選択するものとして説明した。
上記第1の実施形態では、サービス内容、異常箇所、異常の種類に応じた代替動作が複数存在する場合、サービス状況として、来場者の属性を確認し、来場者の属性に応じた代替動作を選択するものとして説明した。
しかしながら、代替動作を選択する際に確認するサービス状況は、来場者の属性に限定されない。例えば、各サービスの累積提供回数を確認するようにしてもよい。これにより、異常箇所の累積動作回数を算出して故障発生リスクを判定し、判定した故障発生リスクに基づいて、代替動作を選択することができるようになる。以下、第2の実施形態について、上記第1の実施形態との相違点を中心に説明する。
<故障発生リスク判定条件情報>
はじめに、異常時制御内容情報格納部460に格納される、故障発生リスク判定条件情報について説明する。図15は、故障発生リスク判定条件情報の一例を示す図である。図15に示すように、故障発生リスク判定条件情報1500には、情報の項目として、"異常箇所"、"上限回数(回)"が含まれる。
はじめに、異常時制御内容情報格納部460に格納される、故障発生リスク判定条件情報について説明する。図15は、故障発生リスク判定条件情報の一例を示す図である。図15に示すように、故障発生リスク判定条件情報1500には、情報の項目として、"異常箇所"、"上限回数(回)"が含まれる。
"異常箇所"には、故障発生リスクの判定対象となる異常箇所が格納される。"上限回数(回)"には、対応する異常箇所の累積動作回数の上限回数が定義される。対応する異常箇所の累積動作回数が"上限回数(回)"に定義された値を超えた場合に、異常検知時制御実行部431は、故障発生リスクが高いと判定する。
<異常時制御処理の流れ>
次に、ロボット制御部227による異常時制御処理の流れについて説明する。ここでは、ロボット制御部227の機能構成(その3)の場合の異常時制御処理の流れについて説明する。
次に、ロボット制御部227による異常時制御処理の流れについて説明する。ここでは、ロボット制御部227の機能構成(その3)の場合の異常時制御処理の流れについて説明する。
図13及び図16は、ロボット制御部による異常時制御処理の第4のフローチャートである。図10~図12同様、各サービスの提供を開始すると、ロボット100は、定期的に、またはロボット100の管理者からの指示に応じて、図13及び図16に示す異常時制御処理を実行する。
なお、図13については、既に上記第1の実施形態において説明済みであるため、ここでは図16について説明する。
ステップS1601において、異常検知時制御実行部431は、サービス制御部401に対して、提供中のサービス及びサービス状況(各サービスの累積提供回数)を問い合わせる。これにより、異常検知時制御実行部431は、サービス内容及びサービス状況(各サービスの累積提供回数)を確認する。なお、ここでは、異常検知時制御実行部431は、サービス内容="会話サービス"、累積提供回数=個人認識サービス:20、会話サービス:25、方向指示サービス:53であることを確認したとする。
ステップS1006において、異常検知時制御実行部431は、異常時制御内容情報900を参照し、サービス内容、異常箇所、異常の種類に応じた代替動作を特定する。
なお、ここでは、異常検知時制御実行部431は、会話サービス提供中に頭部110の異常として回転範囲減少が発生した場合の代替動作("頭部回転範囲減少"、"頭部停止、固定会話に切替")を特定する。
ステップS1602において、異常検知時制御実行部431は、サービス状況(各サービスの累積提供回数)に基づいて、異常箇所の累積動作回数を算出する。ここでは、頭部110の累積動作回数が55回と算出されたとする。
ステップS1603において、異常検知時制御実行部431は、故障発生リスク判定条件情報1500の"頭部"の上限回数と、頭部110の累積動作回数とを対比することで、頭部110の故障発生リスクを判定する。
ここでは、頭部110の累積動作回数が55回で、"頭部"の上限回数=50回を超えているため、異常検知時制御実行部431は、頭部110の故障発生リスクが高いと判定する。
ステップS1604において、異常検知時制御実行部431は、故障発生リスクの判定結果に基づいて代替動作を選択する。故障発生リスクが高いと判定した場合、異常検知時制御実行部431は、故障発生リスクを低減させることが可能な代替動作を選択する。一方、故障発生リスクが高くないと判定した場合、異常検知時制御実行部431は、サービスの品質を維持可能な代替動作を選択する。
例えば、代替動作として、"頭部回転範囲縮小"と、"頭部停止、固定会話に切替"とを特定していた場合、異常検知時制御実行部431は、故障発生リスクを低減させることが可能な代替動作として、"頭部停止、固定会話に切替"を選択する。
ステップS1008において、異常検知時制御実行部431は、選択した代替動作(ここでは、"頭部停止、固定会話に切替")を機能制御部402に通知する。これにより、頭部110の動作が停止されるため、来場者の表情に応じた会話を行うことはできなくなるが、固定会話により会話サービス自体は維持されることになる。
このように、第2の実施形態におけるロボット100は、サービス状況として、各サービスの累積提供回数を確認し、異常箇所の累積動作回数を算出することで、故障発生リスクを判定する。そして、ロボット100は、判定した故障発生リスクに基づいて代替動作を選択する。
これにより、第2の実施形態におけるロボット100によれば、異常箇所に加えて、異常の種類、サービス内容及びサービス状況(各サービスの累積提供回数)に応じた代替動作を選択することができるようになる。この結果、ロボット100は異常を検知した際、適切な代替動作(サービスの品質を維持可能な代替動作、あるいはサービスの提供を維持しつつ故障発生リスクを低減させることが可能な代替動作)が実行できるようになる。
[その他の実施形態]
上記第1及び第2の実施形態では、ロボット100の胴体部120内に、ロボット制御部227を配置するものとして説明した。しかしながら、ロボット制御部227は、ロボット100の胴体部120内に配置する必要はなく、ロボット100の外部に配置してもよい。この場合、ロボット100の外部に配置されたロボット制御部227は、各機能部に代替動作を実行させるための動作指令データを、例えば、無線通信を介してロボット100に送信する。
上記第1及び第2の実施形態では、ロボット100の胴体部120内に、ロボット制御部227を配置するものとして説明した。しかしながら、ロボット制御部227は、ロボット100の胴体部120内に配置する必要はなく、ロボット100の外部に配置してもよい。この場合、ロボット100の外部に配置されたロボット制御部227は、各機能部に代替動作を実行させるための動作指令データを、例えば、無線通信を介してロボット100に送信する。
また、上記第2の実施形態では、故障発生リスクを判定するにあたり、累積動作回数を算出するものとして説明した。しかしながら、故障発生リスクの判定方法はこれに限定されず、例えば、単位時間あたりの動作回数を算出してもよい。
また、上記第2の実施形態では、上限回数を固定としたが、上限回数は可変としてもよい。例えば、単位時間あたりの動作回数が多い場合に、上限回数を下げるようにしてもよい。
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
100 :ロボット
110 :頭部
111 :音声出力部
112 :撮像部
113 :音声入力部
120 :胴体部
121 :タッチパネル部
122 :接触センサ部
130 :右腕部
140 :左腕部
150 :脚部
401 :サービス制御部
402 :機能制御部
411 :頭部回転機能部
412 :腕部回転機能部
413 :胴体部回転機能部
414 :撮像機能部
415 :LED機能部
416 :タッチパネル機能部
417 :音声合成機能部
418 :音声入力機能部
419 :接触センサ機能部
421~423 :異常判定部
431 :異常検知時制御実行部
520 :異常判定部
620 :異常判定部
800 :異常条件情報
900 :異常時制御内容情報
110 :頭部
111 :音声出力部
112 :撮像部
113 :音声入力部
120 :胴体部
121 :タッチパネル部
122 :接触センサ部
130 :右腕部
140 :左腕部
150 :脚部
401 :サービス制御部
402 :機能制御部
411 :頭部回転機能部
412 :腕部回転機能部
413 :胴体部回転機能部
414 :撮像機能部
415 :LED機能部
416 :タッチパネル機能部
417 :音声合成機能部
418 :音声入力機能部
419 :接触センサ機能部
421~423 :異常判定部
431 :異常検知時制御実行部
520 :異常判定部
620 :異常判定部
800 :異常条件情報
900 :異常時制御内容情報
Claims (7)
- 複数の機能部を有するロボットであって、
複数の前記機能部を動作させてサービスを提供する際に、動作状況を監視する監視部と、
前記動作状況が異常であると判定した場合に、予め各サービスと対応付けて代替動作を定義した定義情報を参照して、提供中のサービスに対応する代替動作を実行するよう制御する制御部と
を有することを特徴とするロボット。 - 前記定義情報には、予め各サービスと対応付けて、異常であると判定した箇所ごと、異常の種類ごとに代替動作が定義されており、
前記制御部は、提供中のサービス、異常であると判定した箇所、異常の種類に対応する代替動作を実行するよう制御することを特徴とする請求項1に記載のロボット。 - 前記制御部は、提供中のサービス、異常であると判定した箇所、異常の種類に対応する代替動作が複数あった場合、該サービスの提供対象者の属性に基づいて、1の代替動作を選択することを特徴とする請求項1または2に記載のロボット。
- 前記制御部は、提供中のサービス、異常であると判定した箇所、異常の種類に対応する代替動作が複数あった場合、異常であると判定した箇所の累積動作回数または単位時間あたりの動作回数に基づいて、1の代替動作を選択することを特徴とする請求項1または2に記載のロボット。
- 複数の機能部を有するロボットを制御する制御装置であって、
複数の前記機能部を動作させてサービスを提供する際に、動作状況を監視する監視部と、
前記動作状況が異常であると判定した場合に、予め各サービスと対応付けて代替動作を定義した定義情報を参照して、提供中のサービスに対応する代替動作を実行するよう制御する制御部と
を有することを特徴とする制御装置。 - 複数の機能部を有するロボットを制御するコンピュータが、
複数の前記機能部を動作させてサービスを提供する際に、動作状況を監視し、
前記動作状況が異常であると判定した場合に、予め各サービスと対応付けて代替動作を定義した定義情報を参照して、提供中のサービスに対応する代替動作を実行するよう制御する、
処理を実行するロボット制御方法。 - 複数の機能部を有するロボットを制御するコンピュータに、
複数の前記機能部を動作させてサービスを提供する際に、動作状況を監視し、
前記動作状況が異常であると判定した場合に、予め各サービスと対応付けて代替動作を定義した定義情報を参照して、提供中のサービスに対応する代替動作を実行するよう制御する、
処理を実行させるためのロボット制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/021807 WO2018229868A1 (ja) | 2017-06-13 | 2017-06-13 | ロボット、制御装置、ロボット制御方法及びロボット制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/021807 WO2018229868A1 (ja) | 2017-06-13 | 2017-06-13 | ロボット、制御装置、ロボット制御方法及びロボット制御プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018229868A1 true WO2018229868A1 (ja) | 2018-12-20 |
Family
ID=64659865
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/021807 WO2018229868A1 (ja) | 2017-06-13 | 2017-06-13 | ロボット、制御装置、ロボット制御方法及びロボット制御プログラム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2018229868A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006239849A (ja) * | 2005-03-07 | 2006-09-14 | Nippon Telegr & Teleph Corp <Ntt> | ロボット制御システム |
JP2010149255A (ja) * | 2008-12-26 | 2010-07-08 | Fujitsu Ltd | ロボット及びロボットの作業実行方法 |
WO2017086108A1 (ja) * | 2015-11-16 | 2017-05-26 | 大日本印刷株式会社 | 情報提示装置、情報提示方法、プログラム、情報処理装置及び案内ロボット制御システム |
-
2017
- 2017-06-13 WO PCT/JP2017/021807 patent/WO2018229868A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006239849A (ja) * | 2005-03-07 | 2006-09-14 | Nippon Telegr & Teleph Corp <Ntt> | ロボット制御システム |
JP2010149255A (ja) * | 2008-12-26 | 2010-07-08 | Fujitsu Ltd | ロボット及びロボットの作業実行方法 |
WO2017086108A1 (ja) * | 2015-11-16 | 2017-05-26 | 大日本印刷株式会社 | 情報提示装置、情報提示方法、プログラム、情報処理装置及び案内ロボット制御システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111869185B (zh) | 生成基于IoT的通知并提供命令以致使客户端设备的自动助手客户端自动呈现基于IoT的通知 | |
JP2019005819A (ja) | 遠隔操作型移動ロボットおよびロボット制御システム | |
JP7348288B2 (ja) | 音声対話の方法、装置、及びシステム | |
JP7313378B2 (ja) | ルーチンの実行中のクライアントデバイス同士の間の自動アシスタントルーチンの転送 | |
AU2018394102A1 (en) | Optimizing transportation networks through dynamic user interfaces | |
EP3916727B1 (en) | Voice pickup method and apparatus for intelligent rearview mirror | |
CN111276139A (zh) | 语音唤醒方法及装置 | |
JP2005529421A (ja) | 可動ユニット及び可動ユニットを制御する方法 | |
JP2019535054A (ja) | 拡張/仮想現実環境において仮想キャラクタを配置するための方法およびコンピュータプログラム | |
JPWO2017098713A1 (ja) | ロボットシステム及びその運転方法 | |
US11861265B2 (en) | Providing audio information with a digital assistant | |
WO2007138741A1 (ja) | 音声入力システム、対話型ロボット、音声入力方法、および、音声入力プログラム | |
EP4209849A1 (en) | Telepresence robots having cognitive navigation capabilit | |
WO2024002297A1 (zh) | 车载机械臂的控制的方法、装置、车载显示设备及车辆 | |
KR20210035110A (ko) | 신호 처리 방법, 장치 및 전자 기기 | |
CN106945045B (zh) | 基于ros和orocos的机器人控制的通信方法和系统 | |
JP4153909B2 (ja) | ロボット、モジュール選択装置およびロボットの制御方法 | |
WO2018229868A1 (ja) | ロボット、制御装置、ロボット制御方法及びロボット制御プログラム | |
JP2004234631A (ja) | ユーザと対話型実体エージェントとの間の対話を管理するシステムおよび対話型実体エージェントによるユーザとの対話を管理する方法 | |
JP7386876B2 (ja) | 自動アシスタント要求に従って、デバイスロケーションおよび/またはインターフェースの向きを自律的に調整する、モーター付きコンピューティングデバイス | |
JP5471615B2 (ja) | 遠隔対話装置、遠隔対話システム、遠隔対話方法およびプログラム | |
KR101919354B1 (ko) | 기계학습과 음성인식 기반의 스마트폰 착탈식 지능형 이동로봇 시스템 | |
CN110543290A (zh) | 多模态响应 | |
WO2023162248A1 (ja) | 教示操作盤およびロボット制御システム | |
US10646998B2 (en) | System and method for optimizing resource usage of a robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17913896 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17913896 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |