WO2018229868A1 - ロボット、制御装置、ロボット制御方法及びロボット制御プログラム - Google Patents

ロボット、制御装置、ロボット制御方法及びロボット制御プログラム Download PDF

Info

Publication number
WO2018229868A1
WO2018229868A1 PCT/JP2017/021807 JP2017021807W WO2018229868A1 WO 2018229868 A1 WO2018229868 A1 WO 2018229868A1 JP 2017021807 W JP2017021807 W JP 2017021807W WO 2018229868 A1 WO2018229868 A1 WO 2018229868A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
service
robot
abnormality
abnormal
Prior art date
Application number
PCT/JP2017/021807
Other languages
English (en)
French (fr)
Inventor
美穂 村田
清水　雅芳
真司 神田
井出　勝
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2017/021807 priority Critical patent/WO2018229868A1/ja
Publication of WO2018229868A1 publication Critical patent/WO2018229868A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices

Definitions

  • the present invention relates to a robot, a control device, a robot control method, and a robot control program.
  • social robots that provide various services (for example, personal recognition service, conversation service, direction instruction service, etc.) have been used in so-called public places such as local governments (offices, etc.), stores, and event venues.
  • services for example, personal recognition service, conversation service, direction instruction service, etc.
  • public places such as local governments (offices, etc.), stores, and event venues.
  • multiple functional units are provided to meet various needs in each usage scene, and it is necessary to provide services for an unspecified number of people, so there is a risk of failure occurrence. high.
  • An object of one aspect of the present invention is to enable an appropriate alternative action to be executed when an abnormality is detected in a social robot.
  • a robot having a plurality of functional units, wherein when the plurality of functional units are operated to provide a service, the monitoring unit that monitors the operational status, and the operational status is abnormal
  • a control unit that controls to execute an alternative operation corresponding to a service that is being provided by referring to definition information that defines an alternative operation in association with each service in advance.
  • FIG. 1 is a diagram illustrating an example of an external configuration of a robot.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration inside the robot.
  • FIG. 3 is a diagram illustrating an example of a device configuration of the robot control unit.
  • FIG. 4 is a diagram illustrating a first example of a functional configuration of the robot control unit.
  • FIG. 5 is a diagram illustrating a second example of the functional configuration of the robot control unit.
  • FIG. 6 is a diagram illustrating a third example of the functional configuration of the robot control unit.
  • FIG. 7 is a diagram illustrating an example of service content information.
  • FIG. 8 is a diagram illustrating an example of abnormal condition information.
  • FIG. 9 is a diagram illustrating an example of control content information at the time of abnormality.
  • FIG. 9 is a diagram illustrating an example of control content information at the time of abnormality.
  • FIG. 10 is a first flowchart of the abnormal time control process performed by the robot control unit.
  • FIG. 11 is a second flowchart of the abnormal time control process performed by the robot control unit.
  • FIG. 12 is a second flowchart of the abnormal time control process performed by the robot control unit.
  • FIG. 13 is a third flowchart of the abnormal time control process by the robot controller.
  • FIG. 14 is a third flowchart of the abnormal time control process performed by the robot control unit.
  • FIG. 15 is a diagram illustrating an example of failure occurrence risk determination condition information.
  • FIG. 16 is a fourth flowchart of the abnormal time control process performed by the robot control unit.
  • FIG. 1 is a diagram illustrating an example of an external configuration of a robot.
  • FIGS. 1a and 1c in FIG. 1 are front views of the robot 100
  • 1b and 1d in FIG. 1 are left side views of the robot 100
  • the direction from the right side to the left side of the robot 100 is the x axis
  • the direction from the front to the back of the robot 100 is the y axis
  • the direction from the bottom to the top of the robot is the z axis. It is.
  • the robot 100 has a head part 110, a body part 120, a right arm part 130, a left arm part 140, and a leg part 150.
  • the head part 110 is attached to the body part 120 so as to rotate around the z axis in the direction of the arrow 161.
  • the trunk 120 is attached to the leg 150 so as to rotate around the z axis in the direction of the arrow 161.
  • the right arm 130 is attached to the body 120 so as to rotate around the x axis in the direction of the arrow 162.
  • the left arm portion 140 is attached to the body portion 120 so as to rotate around the x axis in the direction of the arrow 162.
  • the leg part 150 shall be able to move the floor surface parallel to xy plane to arbitrary directions.
  • a voice output unit (for example, a speaker) 111, an imaging unit 112, and a voice input unit (for example, a microphone) 113 are attached to the head 110 of the robot 100.
  • a voice input unit for example, a microphone
  • an LED (Light Emitting Diode) unit is further attached to the head 110 of the robot 100.
  • a contact sensor unit 122 and a touch panel unit 121 are attached to the body unit 120 of the robot 100.
  • the robot 100 provides various services by controlling the operation of the head 110 to the leg 150 and the operation of each hardware attached to the head 110 and the torso 120.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration inside the robot.
  • the audio output unit 111, the imaging unit 112, the audio input unit 113, and the LED unit 211 attached to the head 110 are connected to the robot control unit 227 via a bus 260.
  • the imaging unit 112 transmits the captured imaging data to the robot control unit 227.
  • the voice output unit 111 outputs the synthesized voice data synthesized by the robot control unit 227.
  • the LED unit 211 emits light based on the light emission command data generated by the robot control unit 227.
  • the voice input unit 113 transmits the detected voice data to the robot control unit 227.
  • the motor driver units 222, 224, 226, 228, the touch panel unit 121, and the contact sensor unit 122 attached to the body unit 120 are connected to the robot control unit 227 via the bus 260.
  • the motor driver unit 222 controls the right arm motor unit 221 based on the operation command data transmitted from the robot control unit 227 to rotate the right arm unit 130 around the x axis.
  • the motor driver unit 224 controls the swing motor unit 223 based on the operation command data transmitted from the robot control unit 227, and rotates the head 110 about the z axis.
  • the motor driver unit 226 controls the left arm motor unit 225 based on the operation command data transmitted from the robot control unit 227 to rotate the left arm unit 140 around the x axis.
  • the motor driver unit 228 controls the body motor unit 229 based on the operation command data transmitted from the robot control unit 227 to rotate the body unit 120 around the z axis.
  • the touch panel unit 121 displays the display screen generated by the robot control unit 227.
  • the touch panel unit 121 receives an input instruction from a visitor and transmits input instruction data to the robot control unit 227.
  • the contact sensor unit 122 detects that a visitor has touched the body unit 120 and transmits contact detection data to the robot control unit 227.
  • the robot control unit 227 is an example of a control device.
  • a robot control program is installed in the robot control unit 227, and the robot control unit 227 controls the operation of each hardware in the robot 100 by executing the robot control program.
  • Motor drivers 251 and 253 are attached to the leg 150 and are connected to the robot controller 227 via the bus 260.
  • the motor driver unit 251 controls the forward / reverse motor unit 252 based on the forward / backward command data transmitted from the robot control unit 227, and causes the robot 100 to perform a forward operation or a reverse operation.
  • the motor driver unit 253 controls the direction changing motor unit 254 based on the direction changing command data transmitted from the robot control unit 227 to change the direction of the robot 100.
  • FIG. 3 is a diagram illustrating an example of a device configuration of the robot control unit.
  • the robot control unit 227 includes a CPU (Central Processing Unit) 301, a ROM (Read Only Memory) 302, and a RAM (Random Access Memory) 303.
  • the CPU 301, the ROM 302, and the RAM 303 form a so-called computer.
  • the robot control unit 227 includes an auxiliary storage unit 304 and an I / F (Interface) unit 305. Each device in the robot control unit 227 is connected to each other via a bus 306.
  • the CPU 301 executes various programs (for example, a robot control program) installed in the auxiliary storage unit 304.
  • ROM 302 is a non-volatile memory.
  • the ROM 302 functions as a main storage device that stores various programs, data, and the like necessary for the CPU 301 to execute various programs installed in the auxiliary storage unit 304.
  • the ROM 302 stores a boot program such as BIOS (Basic Input / Output System) and EFI (Extensible Firmware Interface).
  • BIOS Basic Input / Output System
  • EFI Extensible Firmware Interface
  • the RAM 303 is a volatile memory such as DRAM (Dynamic Random Access Memory) or SRAM (Static Random Access Memory).
  • the RAM 303 functions as a main storage device that provides a work area that is expanded when various programs installed in the auxiliary storage unit 304 are executed by the CPU 301.
  • the auxiliary storage unit 304 is an auxiliary storage device that stores various programs installed in the robot control unit 227, data used when executing the various programs, and the like.
  • a service content information storage unit, an abnormal condition information storage unit, and an abnormal control content information storage unit, which will be described later, are realized in the auxiliary storage unit 304.
  • the I / F unit 305 is a connection device for connecting to the bus 260 inside the robot 100.
  • the robot control unit 227 transmits / receives various data to / from hardware in the robot 100 via the I / F unit 305.
  • FIG. 4 is a diagram illustrating a first example of a functional configuration of the robot control unit.
  • the robot control unit 227 functions as each unit illustrated in FIG.
  • the robot control unit 227 includes a service control unit 401, a function control unit 402, a head rotation function unit 411, an arm rotation function unit 412, a torso rotation function unit 413, an imaging function unit 414, and an LED function unit. 415 functions.
  • the robot control unit 227 functions as a touch panel function unit 416, a voice synthesis function unit 417, a voice input function unit 418, a contact sensor function unit 419, abnormality determination units 421 to 423, and an abnormality detection time control execution unit 431.
  • the service control unit 401 monitors the service being provided and the service status.
  • the service status refers to arbitrary information related to the service provided by the robot 100 (attributes of visitors who are the service providing target, service providing location, information related to the providing time, information related to the number of times the service is provided, etc.). .
  • the service status includes information such as whether the visitor is a VIP (Very Important Person) customer, a general customer, a child, or an adult as an attribute of the visitor.
  • the service status includes the cumulative number of times the service has been provided by the robot 100 so far.
  • the function control unit 402 controls each function unit so as to provide the service determined by the service control unit 401.
  • the function control unit 402 refers to the service content information, identifies the function unit to be operated to provide the service determined by the service control unit 401 and the control content, and adds the information notified from each function unit. Based on this, an instruction is given to each functional unit.
  • the function control unit 402 notifies the service control unit 401 of information notified from each function unit during service provision. Thereby, the service control unit 401 can monitor the service status.
  • the head rotation function unit 411 transmits operation command data to the motor driver unit 224 to rotate the head 110 around the z-axis based on an instruction from the function control unit 402.
  • the head rotation function unit 411 also functions as a monitoring unit, and monitors the actual operation state of the head 110 when the operation command data is transmitted.
  • the arm rotation function unit 412 transmits operation command data to the motor driver unit 222 or 226 to rotate the right arm unit 130 or the left arm unit 140 around the x axis based on an instruction from the function control unit 402.
  • the arm rotation function unit 412 also functions as a monitoring unit, and monitors the actual operation status of the right arm unit 130 and the left arm unit 140 when the operation command data is transmitted.
  • the body rotation function unit 413 transmits operation command data to the motor driver 228 to rotate the body 120 around the z axis based on an instruction from the function control unit 402.
  • the body part rotation function part 413 also functions as a monitoring part, and monitors the actual operation state of the body part 120 when the operation command data is transmitted.
  • the imaging function unit 414 Based on an instruction from the function control unit 402, the imaging function unit 414 transmits operation command data for starting or ending imaging to the imaging unit 112, and transmits from the imaging unit 112 in response to transmission of the operation command data.
  • the captured image data is received.
  • the imaging function unit 414 analyzes the received imaging data, recognizes the visitor, recognizes the facial expression of the visitor while tracking the visitor's face, and notifies the function control unit 402 of the recognition result. .
  • the imaging function unit 414 may also function as a monitoring unit to monitor the operation status of the imaging unit 112.
  • the LED function unit 415 generates light emission command data based on an instruction from the function control unit 402 and transmits the light emission command data to the LED unit 211.
  • the touch panel function unit 416 generates a display screen based on an instruction from the function control unit 402, and transmits the generated display screen to the touch panel unit 121.
  • the touch panel function unit 416 receives the input instruction data transmitted from the touch panel unit 121 and recognizes the instruction content of the visitor. In addition, the touch panel function unit 416 notifies the function control unit 402 of the recognition result.
  • the speech synthesis function unit 417 generates synthesized speech data based on an instruction from the function control unit 402 and transmits the synthesized speech data to the speech output unit 111.
  • the voice input function unit 418 receives the voice data transmitted from the voice input unit 113 and recognizes the utterance contents of the visitors. Further, the voice input function unit 418 notifies the function control unit 402 of the recognition result.
  • the contact sensor function unit 419 receives the contact detection data transmitted from the contact sensor unit 122 and notifies the function control unit 402 of the contact detection data.
  • the abnormality determination units 421 to 423 check the operation status of each hardware monitored by each functional unit periodically or in response to an instruction from the administrator of the robot 100.
  • the abnormality determination units 421 to 423 transmit abnormality detection information (abnormal location and type of abnormality) to the abnormality detection time control execution unit 431.
  • the abnormality determination units 421 to 423 determine whether or not the operation status is abnormal by checking the operation status while comparing with the abnormal condition information stored in the abnormal condition information storage unit 450.
  • the abnormality determination unit 421 confirms the operation status of the head 110 monitored by the head rotation function unit 411 and compares it with the abnormal condition information of the head 110 to determine whether the operation status is abnormal. judge. Further, when the abnormality determination unit 421 determines that the operation state of the head 110 is abnormal, the abnormality determination unit 421 transmits abnormality detection information to the abnormality detection time control execution unit 431.
  • the abnormality determination unit 422 confirms the operation status of the right arm unit 130 and the left arm unit 140 monitored by the arm unit rotation function unit 412 and compares them with the abnormal condition information of the right arm unit 130 and the left arm unit 140 so that the operation status is abnormal. It is determined whether or not there is. In addition, when the abnormality determination unit 422 determines that the operation state of the right arm unit 130 or the left arm unit 140 is abnormal, the abnormality determination unit 422 transmits abnormality detection information to the abnormality detection time control execution unit 431.
  • the abnormality determination unit 423 confirms the operation state of the body unit 120 monitored by the body unit rotation function unit 413, and determines whether or not the operation state is abnormal by comparing with the abnormal condition information of the body unit 120. In addition, when the abnormality determination unit 423 determines that the operation state of the body unit 120 is abnormal, the abnormality determination unit 423 transmits abnormality detection information to the abnormality detection time control execution unit 431.
  • the abnormality detection control execution unit 431 is an example of a control unit. When abnormality detection information is received from the abnormality determination units 421 to 423, the service being provided and the service status are confirmed and an alternative operation is specified.
  • the abnormality detection control execution unit 431 makes an inquiry to the service control unit 401 regarding the service being provided and the service status (here, the attributes of the visitors). Thereby, the abnormality detection time control execution unit 431 confirms the service content and the service status.
  • the abnormality detection time control execution unit 431 refers to the abnormality time control content information storage unit 460, and identifies an alternative operation according to the service content and the abnormality detection information (abnormal location, type of abnormality).
  • the abnormality detection control execution unit 431 determines the one according to the service status (visitor attribute). Select an alternative action.
  • the abnormality detection time control execution unit 431 notifies the function control unit 402 of the selected alternative operation.
  • the function control unit 402 gives instructions to the function units of the head rotation function unit 411 to the contact sensor function unit 419 in order to execute the notified alternative action.
  • FIG. 5 is a diagram illustrating a second example of the functional configuration of the robot control unit. The difference from FIG. 4 is that, in the case of FIG. 5, the abnormality determination unit 520 is connected to the head rotation function unit 411, the arm rotation function unit 412, and the body rotation function unit 413.
  • the abnormality determination unit 520 includes hardware units (head 110, right arm unit 130, left arm unit 140, and body unit 120) monitored by the head rotation function unit 411, the arm unit rotation function unit 412, and the body unit rotation function unit 413, respectively. Check the operating status of. Then, the abnormality determination unit 520 determines whether or not the operation status of each hardware is abnormal.
  • FIG. 6 is a diagram illustrating a third example of the functional configuration of the robot control unit.
  • the difference from FIG. 5 is that in the case of FIG. 6, the abnormality determination unit 620 is included (the abnormality determination unit 520 is included in addition to the abnormality determination unit 520).
  • the robot control unit 227 includes a head rotation function unit 411, an arm rotation function unit 412, a torso rotation function unit 413, and an imaging function unit 414 to monitor each hardware (head 110, right arm unit 130, left arm unit 140, It is possible to check the operation status of the body 120 and the imaging unit 112). As a result, in the robot control unit 227, whether or not the operation status of each hardware monitored by the head rotation function unit 411, the arm rotation function unit 412, the body rotation function unit 413, and the imaging function unit 414 is abnormal. Can be determined.
  • FIG. 7 is a diagram illustrating an example of service content information. As illustrated in FIG. 7, the service content information 700 includes “service content”, “usage function unit”, “normal control content”, and “cumulative provision count” as information items.
  • Service contents defines the types of services provided by the robot 100.
  • “personal recognition service”, “conversation service”, and “direction instruction service” are defined as types of services provided by the robot 100.
  • the “use function part” defines a function part that is operated to provide a corresponding service.
  • the example of FIG. 7 shows that the robot 100 operates the “imaging function unit”, “head rotation function unit”, and “touch panel function unit” in providing the “personal recognition service”.
  • Normal control content defines the normal operation for each functional unit defined in “Used functional unit”.
  • the robot 100 recognizes a visitor by analyzing image data obtained by imaging the visitor.
  • control content at normal time defines that the imaging function unit 414 analyzes the imaging data of the visitors imaged by the imaging unit 112 and recognizes the visitors. Further, it is defined that the head rotation function unit 411 performs a rotation operation so that imaging by the imaging unit 112 is appropriately performed. Further, it is defined that the touch panel function unit 416 displays on the touch panel unit 121 a display screen indicating that the personal recognition service is being provided.
  • the robot 100 performs a conversation according to the facial expressions of the visitors while facing the visitors and moving the right arm portion 130 and the left arm portion 140.
  • the imaging function unit 414 analyzes the captured image data of the visitor imaged by the imaging unit 112, and recognizes the facial expression of the visitor while tracking the visitor's face. It is defined. Further, it is defined that the head rotation function unit 411 performs a rotation operation so that imaging by the imaging unit 112 is appropriately performed. Further, it is defined that the voice input function unit 418 analyzes the voice data detected by the voice input unit 113 and recognizes the content of a visitor's speech. In addition, it is defined that the voice synthesis function unit 417 synthesizes the conversation contents according to the recognized facial expressions and utterance contents of the visitors and outputs them via the voice output unit 111. Further, it is defined that the arm rotation function unit 412 rotates the right arm unit 130 or the left arm unit 140.
  • the robot 100 performs voice guidance while pointing in the direction instructed and pointing with the right arm part 130 or the left arm part 140.
  • the body portion rotation function unit 413 performs the rotation operation of the body portion 120.
  • the arm rotation function unit 412 rotates the right arm unit 130 or the left arm unit 140.
  • the voice synthesis function unit 417 generates voice synthesis data for voice guidance and outputs the voice synthesis data via the voice output unit 111.
  • “Accumulated number of times” stores the number of times (accumulated value) the robot 100 has provided the corresponding service so far.
  • the example of FIG. 7 shows that the robot 100 has provided “personal recognition service” 20 times, “conversation service” 25 times, and “direction instruction service” 53 times.
  • FIG. 8 is a diagram illustrating an example of abnormal condition information.
  • an abnormality determination unit here, described as the abnormality determination units 421 to 423 defines an abnormal portion that is determined by confirming the operation status of each hardware. Is done.
  • “head”, “right arm”, “left arm”, and “body” are defined.
  • abnormal condition information 800 the type of abnormality determined by the abnormality determination units 421 to 423 confirming the operation status of each hardware is defined.
  • “rotation range reduction” and “operation sound abnormality” are defined as the types of abnormality of the “head”.
  • the abnormal condition information 800 a condition to be regarded as abnormal is defined.
  • the condition that “rotation range reduction” occurs as an abnormality of the “head” is defined as “less than 70% of left 0 ° to 90 ° and less than 70% of right 0 ° to 90 °”. Has been.
  • the rotation range of the head 110 indicates a rotation range when the front direction of the head 110 is 0 ° in a plane parallel to the xy plane as illustrated in an illustration 810.
  • 90 ° to the left means an angle obtained by rotating the head 110 by 90 ° in the left direction
  • 90 ° to the right means an angle obtained by rotating the head 110 by 90 ° in the right direction.
  • the normal rotation range of the head 110 is 0 ° to 90 ° left and 0 ° to 90 ° right. For this reason, when the head 110 can only rotate within a range of less than 70% of the normal rotation range, the abnormality determination unit 421 determines that “rotation range reduction” has occurred as an abnormality of the head 110. .
  • the condition that “rotation range reduction” occurs as an abnormality of the “left arm” “less than 70% of 0 ° to 120 ° before, and less than 70% of 0 ° to 30 ° after”.
  • the rotation range of the left arm unit 140 indicates a rotation range when the direction immediately below the left arm unit 140 is 0 ° in a plane parallel to the yz plane as illustrated in an illustration 820.
  • the front 120 ° refers to an angle obtained by rotating the left arm portion 140 by 120 ° in the forward direction
  • the rear 90 ° refers to an angle obtained by rotating the left arm portion 140 by 30 ° in the rear direction.
  • the normal rotation range of the left arm portion 140 is 0 ° to 120 ° before and 0 ° to 30 ° after. For this reason, when the left arm unit 140 can rotate only within a range of less than 70% of the normal rotation range, the abnormality determination unit 422 determines that “rotation range reduction” has occurred as an abnormality of the left arm unit 140. .
  • the operation sound is a sound generated when the swinging motor unit 223 that rotates the head 110 is actually operated.
  • the abnormality determination unit 421 determines that “operation sound abnormality” has occurred as an abnormality of the head 110.
  • FIG. 9 is a diagram illustrating an example of control content information at the time of abnormality.
  • the abnormal control content information 900 is an example of definition information that defines an alternative action at the time of abnormality.
  • an alternative operation that the robot 100 executes when the abnormality detection control execution unit 431 receives the abnormality detection information includes, for each service content, abnormality, Defined for each type.
  • “personal recognition service”, “conversation service”, and “direction instruction service” are defined as service contents.
  • “head stop, ID input to touch panel unit” Show request is defined.
  • “head stop, display ID input request on touch panel” is defined as an alternative action when “operation sound abnormality” occurs as an abnormality of head 110.
  • “right arm stop” or “left arm stop” is defined as an alternative action when “rotation range reduction” occurs as an abnormality of the right arm 130 or the left arm 140.
  • “torso part stop” is defined as an alternative action when “rotation range reduction” occurs as an abnormality in the fuselage part 120, and “torso part stop” is provided as an alternative action when an “abnormal operation sound” occurs. Is defined.
  • the abnormality detection control execution unit 431 determines the service status (visitor's One of the alternative actions is selected according to the attribute).
  • the abnormality detection time control execution unit 431 performs “head rotation range reduction” or “head stop, fixed conversation” Any one of the alternative operations of “Switch to” is selected.
  • the robot 100 tracks the visitor's face with the imaging unit 112 while rotating the head 110 and recognizes the conversation content according to the recognition result when the facial expression of the visitor is recognized. Switch. For example, when the smile of the visitor is recognized while the “conversation service” is being provided, the robot 100 switches to the conversation content when the visitor's reaction is good. On the other hand, when the smile of the visitor is not recognized while the “conversation service” is being provided, the robot 100 switches to the conversation content when the reaction of the visitor is not good. That is, if the head 110 rotates normally and the visitor's face can be tracked, the robot 100 can perform flexible conversation according to the visitor's facial expression.
  • the abnormality detection time control execution unit 431 selects “head rotation range reduction” as an alternative operation so as not to degrade the quality of the conversation service as much as possible.
  • the robot 100 can maintain the quality of the conversation service because a flexible conversation can be performed within a range where the faces of the visitors can be tracked.
  • the abnormality detection control execution unit 431 gives priority to reducing the risk of failure over maintaining the quality of the conversation service, Select “Stop, switch to fixed conversation”.
  • the robot 100 provides the conversation service. Can be maintained. Further, the robot 100 can reduce the risk of occurrence of a failure.
  • the abnormality control content information 900 has the same abnormality so that the abnormality detection control execution unit 431 can check the service status (visitor attribute) and select an alternative action according to the visitor attribute.
  • a plurality of alternative actions can be defined for a location and the same abnormality type.
  • the former is an alternative operation when the visitor is a VIP customer
  • the latter is an alternative operation when the visitor is a general customer.
  • FIG. 10 is a first flowchart of the control process at the time of abnormality by the robot controller.
  • the robot 100 executes the abnormal time control process shown in FIG. 10 periodically or in response to an instruction from the administrator of the robot 100.
  • the abnormal time control process shown in FIG. 10 includes steps executed by the abnormality determination units 421 to 423 in parallel.
  • the abnormality determination unit 421 executes will be described.
  • step S1001 the abnormality determination unit 421 confirms the operation state of the head 110 monitored by the head rotation function unit 411.
  • the abnormality determination unit 421 confirms the abnormal condition information 800. Specifically, the abnormality determination unit 421 confirms a condition that the “rotation range reduction” is considered to have occurred as an abnormality of the “head” in the abnormality condition information 800.
  • step S1003 the abnormality determination unit 421 determines whether or not the confirmed actual operating state of the head 110 matches a condition that is regarded as abnormal.
  • step S1003 If it is determined in step S1003 that the condition to be regarded as abnormal is not met (in the case of No in step S1003), the abnormal time control process is terminated. On the other hand, if it is determined that the condition to be regarded as abnormal is met (in the case of Yes in step S1003), the process proceeds to step S1004.
  • the abnormality determination unit 421 determines that the rotation range reduction has occurred as an abnormality of the head 110.
  • step S1004 the abnormality determination unit 421 transmits the abnormality location and the type of abnormality to the abnormality detection time control execution unit 431 as abnormality detection information.
  • step S1005 the abnormality detection control execution unit 431 inquires of the service control unit 401 about the service being provided and the service status (visitor attribute), so that the service content and service status (visitor attribute) are obtained. Confirm.
  • the abnormality detection time control execution unit 431 refers to the abnormality time control content information 900, and identifies an alternative operation according to the service content, the abnormality location, and the type of abnormality.
  • the abnormality detection control execution unit 431 performs an alternative operation (“head rotation range reduction”, “head stop, fixed” when a rotation range reduction occurs as an abnormality of the head 110 during conversation service provision. Switch to conversation ").
  • step S1007 the abnormality detection time control execution unit 431 refers to the abnormality time control content information 900 and selects an alternative operation according to the service status (visitor attribute).
  • step S1008 the abnormality detection time control execution unit 431 notifies the function control unit 402 of the selected alternative operation.
  • the rotation range of the head 110 is reduced, but the process of recognizing the facial expressions of the visitors by analyzing the image data captured by the imaging unit 112 is continued.
  • the process of generating the synthesized voice data based on the conversation content corresponding to the recognized facial expression and outputting it through the voice output unit 111 is continued.
  • the robot 100 when the robot 100 detects an abnormality, the robot 100 can execute an alternative operation according to the abnormal part, the type of abnormality, the service content, and the service status. As a result, when detecting an abnormality, the robot 100 can execute an appropriate alternative operation (an alternative operation capable of maintaining the quality of the conversation service).
  • FIGS. 11 and 12 are second flowcharts of the control process during abnormality by the robot controller. Similar to FIG. 10, when the provision of each service is started, the robot 100 executes the abnormal time control process shown in FIGS. 11 and 12 periodically or in response to an instruction from the administrator of the robot 100.
  • step S1101 the abnormality determination unit 520 inputs “1” to the counter n that counts the number of functional units that monitor the operation status.
  • step S1102 the abnormality determination unit 520 confirms the operation status monitored by the nth functional unit.
  • the abnormality determination unit 520 confirms the actual operation state of the head 110 monitored by the head rotation function unit 411.
  • step S1002 the abnormality determination unit 520 confirms the abnormal condition information 800.
  • the abnormality determination unit 520 confirms a condition in which “rotation range reduction” is considered to have occurred as an abnormality of the “head” in the abnormality condition information 800.
  • step S1003 the abnormality determination unit 520 determines whether or not the operating condition matches a condition that is considered abnormal.
  • the abnormality determination unit 520 determines whether or not the actual operation state of the head 110 matches a condition in which “rotation range reduction” is considered to have occurred as an abnormality of the “head” in the abnormality condition information 800. To do.
  • step S1003 If it is determined in step S1003 that they do not match (in the case of No in step S1003), the process proceeds to step S1103. On the other hand, if it is determined in step S1003 that they match (in the case of Yes in step S1003), the process proceeds to step S1004.
  • step S1004 the abnormality determination unit 520 transmits the abnormality location and the type of abnormality as abnormality detection information to the abnormality detection time control execution unit 431.
  • step S1103 the abnormality determination unit 520 determines whether or not the operation status monitored by all the function units has been confirmed. If it is determined in step S1103 that there is an unconfirmed operating state (No in step S1103), the process proceeds to step S1104.
  • step S1104 the abnormality determination unit 520 increments the counter n and returns to step S1102. Thereby, in step S1102, the abnormality determination unit 520 confirms the actual operation state of the right arm unit 130 monitored by the arm unit rotation function unit 412. Thereafter, after determining whether or not the operating condition of the right arm part 130 is considered to be abnormal, the operating condition is abnormal by confirming the actual operating condition of each of the left arm part 140 and the trunk part 120. It is determined whether or not the conditions considered to be met. Here, it is assumed that the actual operation statuses of the right arm portion 130, the left arm portion 140, and the body portion 120 are determined not to meet the conditions considered abnormal.
  • step S1103 If it is determined in step S1103 that the operation status monitored by all the functional units has been confirmed (Yes in step S1103), the process proceeds to step S1105 in FIG.
  • step S1105 the abnormality detection time control execution unit 431 determines whether or not there is an abnormality. When the abnormality detection information is not received, the abnormality detection time control execution unit 431 determines that there is no abnormality portion (No in step S1105), and ends the abnormality time control process.
  • the abnormality detection time control execution unit 431 determines that there is an abnormality (Yes in step S1105), and proceeds to step S1005.
  • step S1005 the abnormality detection control execution unit 431 inquires of the service control unit 401 about the service being provided and the service status (visitor attribute), so that the service content and service status (visitor attribute) are obtained. Confirm. Here, it is assumed that a personal recognition service is being provided to general visitors.
  • the abnormality detection time control execution unit 431 refers to the abnormality time control content information 900, and identifies an alternative operation according to the service content, the abnormality location, and the type of abnormality.
  • the abnormality detection control execution unit 431 performs an alternative operation (“stop head, display ID input request on touch panel”) when rotation range reduction occurs as an abnormality of head 110 while providing the personal recognition service. Identify.
  • step S1007 the abnormality detection control execution unit 431 selects an alternative operation according to the service status (visitor attribute).
  • the control execution unit 431 at the time of detecting an abnormality displays a request for ID input on the touch panel part as an alternative action, regardless of the visitor's attributes.
  • step S1008 the abnormality detection time control execution unit 431 notifies the function control unit 402 of the selected alternative operation. Thereby, since the operation of the head 110 is stopped, the process of recognizing the visitor based on the imaging data cannot be executed, but the process of recognizing the visitor based on the input content to the touch panel unit 121. Can be executed.
  • the robot 100 can execute an alternative operation according to the abnormal part, the type of abnormality, the service content, and the service status.
  • the robot 100 can execute an appropriate alternative action (an alternative action that can reduce the risk of failure while continuing to provide the personal recognition service).
  • FIGS. 13 and 14 are third flowcharts of the abnormal control process by the robot controller. Similar to FIGS. 10 to 12, when the provision of each service is started, the robot 100 executes the abnormal time control process shown in FIGS. 13 and 14 periodically or in response to an instruction from the administrator of the robot 100. To do. Note that the processing from step S1101 to step S1104 is the same as the processing from step S1101 to step S1104 in FIG.
  • step S1301 the abnormality determination unit 520 determines whether or not there is a next abnormality determination unit.
  • the process returns from step S1301 to step S1101.
  • the abnormality determination unit 620 confirms the actual operation status of the imaging unit 112 monitored by the imaging function unit 414, and determines whether or not the condition is regarded as abnormal.
  • step S1105 the abnormality detection time control execution unit 431 determines whether or not there is an abnormality.
  • the abnormality detection time control execution unit 431 determines that there is no abnormality portion (No in step S1105), and ends the abnormality time control process.
  • the abnormality detection time control execution unit 431 determines that there is an abnormality (Yes in step S1105), and proceeds to step S1005.
  • step S1005 the abnormality detection control execution unit 431 inquires of the service control unit 401 about the service being provided and the service status (visitor attribute), so that the service content and service status (visitor attribute) are obtained. Confirm. Here, it is assumed that a conversation service is being provided to VIP visitors.
  • the abnormality detection time control execution unit 431 refers to the abnormality time control content information 900, and identifies an alternative operation according to the service content, the abnormality location, and the type of abnormality.
  • the abnormality detection time control execution unit 431 performs an alternative operation (“head rotation range reduction”, “head stop, fixed conversation” when the rotation range reduction occurs as an abnormality of the head 110 during the conversation service provision. Switch ").
  • the abnormality detection time control execution unit 431 refers to the abnormality time control content information 900 and selects an alternative operation according to the service status (visitor attribute).
  • the abnormality detection time control execution unit 431 selects “head rotation range reduction” as an alternative operation.
  • step S1008 the abnormality detection time control execution unit 431 notifies the function control unit 402 of the selected alternative operation.
  • the rotation range of the head 110 is reduced, but the process of recognizing the facial expressions of the visitors by analyzing the image data captured by the imaging unit 112 is continued.
  • the process of generating the synthesized voice data based on the conversation content corresponding to the recognized facial expression and outputting it through the voice output unit 111 is continued.
  • the robot 100 can execute an alternative operation according to the abnormal part, the type of abnormality, the service content, and the service status. As a result, the robot 100 can execute an appropriate alternative operation (an alternative operation capable of maintaining the quality of the conversation service).
  • the robot 100 monitors the operation status of each hardware during service provision, and when it is determined that the operation status is abnormal, Identify alternative actions according to the type of abnormality.
  • the robot 100 according to the first embodiment checks the service status (visitor attribute) and determines the service status (visitor's attribute) when there are a plurality of alternative actions corresponding to the service content, abnormal location, and type of abnormality. One alternative operation corresponding to the attribute) is selected.
  • the visitor's attribute is confirmed as the service status, and the alternative action according to the visitor's attribute is performed. Described as a choice.
  • the service status to be confirmed when selecting an alternative action is not limited to the visitor attributes. For example, you may make it confirm the frequency
  • the second embodiment will be described focusing on differences from the first embodiment.
  • FIG. 15 is a diagram illustrating an example of failure occurrence risk determination condition information.
  • the failure risk determination condition information 1500 includes “abnormal part” and “upper limit number (times)” as information items.
  • abnormal part an abnormal part that is a target for determining the risk of failure occurrence is stored.
  • Upper limit (times) defines the upper limit of the cumulative number of operations of the corresponding abnormal part. When the cumulative number of operations of the corresponding abnormal part exceeds the value defined in the “upper limit number (times)”, the abnormality detection time control execution unit 431 determines that the risk of failure occurrence is high.
  • FIG. 13 and FIG. 16 are the fourth flowcharts of the abnormal time control process by the robot controller. 10 to 12, when the provision of each service is started, the robot 100 executes the abnormal time control process shown in FIGS. 13 and 16 periodically or in response to an instruction from the administrator of the robot 100. .
  • FIG. 16 Since FIG. 13 has already been described in the first embodiment, FIG. 16 will be described here.
  • step S1601 the abnormality detection control execution unit 431 inquires of the service control unit 401 about the service being provided and the service status (the cumulative number of times each service has been provided). Thereby, the control execution part 431 at the time of abnormality detection confirms the service content and the service status (cumulative provision frequency of each service).
  • the abnormality detection time control execution unit 431 refers to the abnormality time control content information 900, and identifies an alternative operation according to the service content, the abnormality location, and the type of abnormality.
  • the abnormality detection control execution unit 431 performs an alternative operation (“head rotation range reduction”, “head stop, fixed” when a rotation range reduction occurs as an abnormality of the head 110 during conversation service provision. Switch to conversation ").
  • step S1602 the abnormality detection time control execution unit 431 calculates the cumulative number of operations at the abnormal location based on the service status (the cumulative number of times each service is provided). Here, it is assumed that the cumulative number of movements of the head 110 is calculated as 55 times.
  • step S1603 the abnormality detection time control execution unit 431 compares the upper limit number of times of the “head” in the failure occurrence risk determination condition information 1500 with the cumulative number of movements of the head 110, thereby generating a failure of the head 110. Determine the risk.
  • step S1604 the abnormality detection time control execution unit 431 selects an alternative action based on the determination result of the failure occurrence risk.
  • the abnormality detection time control execution unit 431 selects an alternative operation that can reduce the failure occurrence risk.
  • the abnormality detection time control execution unit 431 selects an alternative operation capable of maintaining the quality of service.
  • the abnormality detection time control execution unit 431 may reduce the risk of failure occurrence.
  • step S1008 the abnormality detection time control execution unit 431 notifies the function control unit 402 of the selected alternative action (here, “head stop, switch to fixed conversation”). As a result, the operation of the head 110 is stopped, and a conversation according to the facial expression of the visitor cannot be performed, but the conversation service itself is maintained by the fixed conversation.
  • the function control unit 402 of the selected alternative action here, “head stop, switch to fixed conversation”.
  • the robot 100 determines the failure occurrence risk by confirming the cumulative number of times of providing each service as the service status and calculating the cumulative number of operations at the abnormal location. Then, the robot 100 selects an alternative action based on the determined failure occurrence risk.
  • the robot 100 in the second embodiment it is possible to select an alternative operation according to the type of abnormality, the service content, and the service status (accumulated provision number of each service) in addition to the abnormal part. become.
  • an appropriate alternative operation an alternative operation that can maintain the quality of service or an alternative operation that can reduce the risk of failure while maintaining service provision
  • the robot control unit 227 has been described as being disposed in the body unit 120 of the robot 100. However, the robot control unit 227 does not need to be arranged in the body part 120 of the robot 100 and may be arranged outside the robot 100. In this case, the robot control unit 227 arranged outside the robot 100 transmits operation command data for causing each functional unit to execute an alternative operation to the robot 100 via wireless communication, for example.
  • the cumulative number of operations is calculated when determining the risk of failure occurrence.
  • the determination method of the failure occurrence risk is not limited to this, and for example, the number of operations per unit time may be calculated.
  • the upper limit number is fixed, but the upper limit number may be variable. For example, when the number of operations per unit time is large, the upper limit number may be lowered.
  • Robot 110 Head 111: Audio output unit 112: Imaging unit 113: Audio input unit 120: Body unit 121: Touch panel unit 122: Touch sensor unit 130: Right arm unit 140: Left arm unit 150: Leg unit 401: Service control Unit 402: Function control unit 411: Head rotation function unit 412: Arm rotation function unit 413: Body rotation function unit 414: Imaging function unit 415: LED function unit 416: Touch panel function unit 417: Speech synthesis function unit 418: Voice input function unit 419: Contact sensor function units 421 to 423: Abnormality determination unit 431: Abnormality detection control execution unit 520: Abnormality determination unit 620: Abnormality determination unit 800: Abnormal condition information 900: Abnormality control content information

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

ソーシャルロボットにおいて異常を検知した際、適切な代替動作が実行できるようにする。複数の機能部を有するロボットであって、複数の前記機能部を動作させてサービスを提供する際に、動作状況を監視する監視部と、前記動作状況が異常であると判定した場合に、予め各サービスと対応付けて代替動作を定義した定義情報を参照して、提供中のサービスに対応する代替動作を実行するよう制御する制御部とを有することを特徴とする。

Description

ロボット、制御装置、ロボット制御方法及びロボット制御プログラム
　本発明は、ロボット、制御装置、ロボット制御方法及びロボット制御プログラムに関する。
　従来より、自治体（役所等）や店舗、イベント会場等のいわゆる公共の場所においては、各種サービス（例えば、個人認識サービス、会話サービス、方向指示サービス等）を提供するソーシャルロボットが利用されている。ソーシャルロボットの場合、それぞれの利用シーンにおける多様なニーズに応えるべく複数の機能部が設けられており、また、不特定多数の人を対象としてサービスを提供する必要があるため、故障発生のリスクが高い。
　一般に、ソーシャルロボットでは、所定の機能部が異常を検知すると、他の機能部についても動作を停止させ、サービスの提供自体を中断する。
　一方で、工場等において利用される産業用ロボットの場合、所定の機能部が異常を検知すると、異常箇所について動作速度を落としたり、予め定められた他の機能部による代替動作に切り替えるなどして、処理を継続させる。
特開平６－１５５９０号公報 特開平５－１１１８９１号公報 特開２０１０－１４９２５５号公報
　しかしながら、ソーシャルロボットが、産業用ロボットのように動作速度を落として処理を継続させたとしても、十分なサービスを提供することはできない。また、処理の対象が特定の物ではなく、不特定多数の人であるため、処理の内容（サービス内容）も一様ではない。このため、異常箇所ごとに予め定めた代替動作が、サービスの提供対象者にとって、適切な代替動作であるとは限らない。
　本発明の一つの側面では、ソーシャルロボットにおいて異常を検知した際、適切な代替動作が実行できるようにすることを目的としている。
　一態様によれば、複数の機能部を有するロボットであって、複数の前記機能部を動作させてサービスを提供する際に、動作状況を監視する監視部と、前記動作状況が異常であると判定した場合に、予め各サービスと対応付けて代替動作を定義した定義情報を参照し、提供中のサービスに対応する代替動作を実行するよう制御する制御部とを有することを特徴とする。
　ソーシャルロボットにおいて異常を検知した際、適切な代替動作が実行できるようになる。
図１は、ロボットの外観構成の一例を示す図である。 図２は、ロボット内部のハードウェア構成の一例を示す図である。 図３は、ロボット制御部のデバイス構成の一例を示す図である。 図４は、ロボット制御部の機能構成の第１の例を示す図である。 図５は、ロボット制御部の機能構成の第２の例を示す図である。 図６は、ロボット制御部の機能構成の第３の例を示す図である。 図７は、サービス内容情報の一例を示す図である。 図８は、異常条件情報の一例を示す図である。 図９は、異常時制御内容情報の一例を示す図である。 図１０は、ロボット制御部による異常時制御処理の第１のフローチャートである。 図１１は、ロボット制御部による異常時制御処理の第２のフローチャートである。 図１２は、ロボット制御部による異常時制御処理の第２のフローチャートである。 図１３は、ロボット制御部による異常時制御処理の第３のフローチャートである。 図１４は、ロボット制御部による異常時制御処理の第３のフローチャートである。 図１５は、故障発生リスク判定条件情報の一例を示す図である。 図１６は、ロボット制御部による異常時制御処理の第４のフローチャートである。
　以下、各実施形態について添付の図面を参照しながら詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
　［第１の実施形態］
　＜ロボットの外観構成＞
　はじめに、不特定多数の人（以下、来場者と称す）を対象としてサービスを提供するソーシャルロボット（以下、ロボットと略す）の外観構成について説明する。図１は、ロボットの外観構成の一例を示す図である。
　このうち、図１の１ａ、１ｃは、ロボット１００の正面図であり、図１の１ｂ、１ｄは、ロボット１００の左側面図である。なお、図１の１ａ～１ｄでは、ロボット１００の右側面から左側面に向かう方向をｘ軸、ロボット１００の前面から背面に向かう方向をｙ軸、ロボットの下面から上面に向かう方向をｚ軸とおいている。
　ロボット１００は、頭部１１０、胴体部１２０、右腕部１３０、左腕部１４０、脚部１５０を有する。頭部１１０は、ｚ軸周りを矢印１６１方向に回転するように、胴体部１２０に取り付けられている。同様に、胴体部１２０は、ｚ軸周りを矢印１６１方向に回転するように、脚部１５０に取り付けられている。
　また、右腕部１３０は、ｘ軸周りを矢印１６２方向に回転するように、胴体部１２０に取り付けられている。同様に、左腕部１４０は、ｘ軸周りを矢印１６２方向に回転するように、胴体部１２０に取り付けられている。なお、脚部１５０は、ｘｙ平面に平行な床面を任意の方向に移動できるものとする。
　ロボット１００の頭部１１０には、音声出力部（例えば、スピーカ）１１１と、撮像部１１２と、音声入力部（例えば、マイクロフォン）１１３とが取り付けられている。なお、図１には記載していないが、ロボット１００の頭部１１０には、更に、ＬＥＤ（Light Emitting Diode）部が取り付けられているものとする。
　また、ロボット１００の胴体部１２０には、接触センサ部１２２、タッチパネル部１２１が取り付けられている。
　ロボット１００は、頭部１１０～脚部１５０の動作及び頭部１１０、胴体部１２０に取り付けられた各ハードウェアの動作を制御することで、各種サービスを提供する。
　＜ロボット内部のハードウェア構成＞
　次に、ロボット１００内部のハードウェア構成について説明する。図２は、ロボット内部のハードウェア構成の一例を示す図である。
　図２に示すように、頭部１１０に取り付けられた音声出力部１１１、撮像部１１２、音声入力部１１３、ＬＥＤ部２１１は、バス２６０を介して、ロボット制御部２２７に接続されている。
　撮像部１１２は、撮像した撮像データを、ロボット制御部２２７に送信する。音声出力部１１１は、ロボット制御部２２７にて合成された合成音声データを出力する。ＬＥＤ部２１１は、ロボット制御部２２７にて生成された発光指令データに基づいて発光する。音声入力部１１３は、検出した音声データをロボット制御部２２７に送信する。
　同様に、胴体部１２０に取り付けられたモータドライバ部２２２、２２４、２２６、２２８、タッチパネル部１２１、接触センサ部１２２は、バス２６０を介して、ロボット制御部２２７に接続されている。
　モータドライバ部２２２は、ロボット制御部２２７から送信される動作指令データに基づいて、右腕用モータ部２２１を制御し、右腕部１３０をｘ軸周りに回転動作させる。モータドライバ部２２４は、ロボット制御部２２７から送信される動作指令データに基づいて、首振り用モータ部２２３を制御し、頭部１１０をｚ軸周りに回転動作させる。モータドライバ部２２６は、ロボット制御部２２７から送信される動作指令データに基づいて、左腕用モータ部２２５を制御し、左腕部１４０をｘ軸周りに回転動作させる。モータドライバ部２２８は、ロボット制御部２２７から送信される動作指令データに基づいて、胴体用モータ部２２９を制御し、胴体部１２０をｚ軸周りに回転動作させる。
　タッチパネル部１２１は、ロボット制御部２２７にて生成された表示画面を表示する。また、タッチパネル部１２１は、来場者からの入力指示を受け付け、入力指示データをロボット制御部２２７に送信する。接触センサ部１２２は、来場者が胴体部１２０に触れたことを検知し、接触検知データをロボット制御部２２７に送信する。
　ロボット制御部２２７は、制御装置の一例である。ロボット制御部２２７には、ロボット制御プログラムがインストールされており、当該ロボット制御プログラムが実行されることで、ロボット制御部２２７は、ロボット１００内部の各ハードウェアの動作を制御する。
　脚部１５０にはモータドライバ部２５１、２５３が取り付けられ、バス２６０を介して、ロボット制御部２２７に接続されている。モータドライバ部２５１は、ロボット制御部２２７から送信される前後進指令データに基づいて、前後進用モータ部２５２を制御し、ロボット１００を前進動作または後進動作させる。モータドライバ部２５３は、ロボット制御部２２７から送信される方向転換指令データに基づいて、方向転換用モータ部２５４を制御し、ロボット１００を方向転換させる。
　＜ロボット制御部のデバイス構成＞
　次に、ロボット制御部２２７のデバイス構成について説明する。図３は、ロボット制御部のデバイス構成の一例を示す図である。
　図３に示すように、ロボット制御部２２７は、ＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３を有する。ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３は、いわゆるコンピュータを形成する。また、ロボット制御部２２７は、補助記憶部３０４、Ｉ／Ｆ（Interface）部３０５を有する。なお、ロボット制御部２２７内の各デバイスは、バス３０６を介して相互に接続されている。
　ＣＰＵ３０１は、補助記憶部３０４にインストールされた各種プログラム（例えば、ロボット制御プログラム等）を実行する。
　ＲＯＭ３０２は、不揮発性メモリである。ＲＯＭ３０２は、補助記憶部３０４にインストールされた各種プログラムをＣＰＵ３０１が実行するために必要な各種プログラム、データ等を記憶する、主記憶デバイスとして機能する。具体的には、ＲＯＭ３０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を記憶する。
　ＲＡＭ３０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ３０３は、補助記憶部３０４にインストールされた各種プログラムがＣＰＵ３０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
　補助記憶部３０４は、ロボット制御部２２７にインストールされた各種プログラムや、各種プログラムを実行する際に用いるデータ等を記憶する補助記憶デバイスである。後述するサービス内容情報格納部、異常条件情報格納部、異常時制御内容情報格納部は、補助記憶部３０４において実現される。
　Ｉ／Ｆ部３０５は、ロボット１００内部のバス２６０に接続するための接続デバイスである。ロボット制御部２２７は、Ｉ／Ｆ部３０５を介して、ロボット１００内部の各ハードウェアとの間で各種データの送受信を行う。
　＜ロボット制御部の機能構成（その１）＞
　次に、ロボット制御部２２７の機能構成について説明する。図４は、ロボット制御部の機能構成の第１の例を示す図である。補助記憶部３０４にインストールされたロボット制御プログラムがＣＰＵ３０１によって実行されることで、ロボット制御部２２７は、図４に示す各部として機能する。
　具体的には、ロボット制御部２２７は、サービス制御部４０１、機能制御部４０２、頭部回転機能部４１１、腕部回転機能部４１２、胴体部回転機能部４１３、撮像機能部４１４、ＬＥＤ機能部４１５として機能する。また、ロボット制御部２２７は、タッチパネル機能部４１６、音声合成機能部４１７、音声入力機能部４１８、接触センサ機能部４１９、異常判定部４２１～４２３、異常検知時制御実行部４３１として機能する。
　サービス制御部４０１は、サービス内容情報格納部４４０に格納されたサービス内容情報において定義された各種サービス（例えば、個人認識サービス、会話サービス、方向指示サービス等）のうちのいずれのサービスを提供するかを決定する。また、サービス制御部４０１は、決定したサービスを機能制御部４０２に通知する。
　更に、サービス制御部４０１は、提供中のサービス及びサービス状況を監視する。サービス状況とは、ロボット１００が提供するサービスに関連する任意の情報（サービスの提供対象者である来場者の属性、サービスの提供場所、提供時間に関する情報、サービスの提供回数に関する情報等）を指す。例えば、サービス状況には、来場者の属性として、来場者がＶＩＰ（Very Important Person）客なのか一般客なのか、子供なのか大人なのかといった情報が含まれる。また、サービス状況には、ロボット１００がこれまでに提供してきたサービスの累積提供回数等が含まれる。
　機能制御部４０２は、サービス制御部４０１により決定されたサービスを提供するよう、各機能部を制御する。サービス内容情報格納部４４０に格納されたサービス内容情報には、サービスごとに、どの機能部を動作させるか、どのように動作させるか（制御内容）が予め定義されている。機能制御部４０２は、サービス内容情報を参照することで、サービス制御部４０１により決定されたサービスを提供するために動作させる機能部と制御内容とを特定し、各機能部から通知された情報に基づいて、各機能部に対して指示をする。更に、機能制御部４０２は、サービス提供中に各機能部から通知された情報をサービス制御部４０１に通知する。これにより、サービス制御部４０１は、サービス状況を監視することができる。
　頭部回転機能部４１１は、機能制御部４０２からの指示に基づいて、頭部１１０をｚ軸周りに回転動作させるべく、モータドライバ部２２４に対して動作指令データを送信する。また、頭部回転機能部４１１は監視部としても機能し、動作指令データを送信した際の頭部１１０の実際の動作状況を監視する。
　腕部回転機能部４１２は、機能制御部４０２からの指示に基づいて、右腕部１３０または左腕部１４０をｘ軸周りに回転動作させるべく、モータドライバ部２２２または２２６に動作指令データを送信する。また、腕部回転機能部４１２は監視部としても機能し、動作指令データを送信した際の右腕部１３０及び左腕部１４０の実際の動作状況を監視する。
　胴体部回転機能部４１３は、機能制御部４０２からの指示に基づいて、胴体部１２０をｚ軸周りに回転動作させるべく、モータドライバ部２２８に対して動作指令データを送信する。また、胴体部回転機能部４１３は監視部としても機能し、動作指令データを送信した際の胴体部１２０の実際の動作状況を監視する。
　撮像機能部４１４は、機能制御部４０２からの指示に基づいて、撮像部１１２に対して撮像開始または撮像終了の動作指令データを送信するとともに、動作指令データの送信に応じて撮像部１１２から送信された撮像データを受信する。また、撮像機能部４１４は、受信した撮像データを解析し、来場者を認識したり、来場者の顔をトラッキングしながら、来場者の表情を認識し、認識結果を機能制御部４０２に通知する。なお、撮像機能部４１４も監視部として機能させ、撮像部１１２の動作状況を監視するようにしてもよい。
　ＬＥＤ機能部４１５は、機能制御部４０２からの指示に基づいて、発光指令データを生成し、ＬＥＤ部２１１に送信する。
　タッチパネル機能部４１６は、機能制御部４０２からの指示に基づいて、表示画面を生成し、生成した表示画面をタッチパネル部１２１に送信する。また、タッチパネル機能部４１６は、タッチパネル部１２１から送信された入力指示データを受信し、来場者の指示内容を認識する。また、タッチパネル機能部４１６は、認識結果を機能制御部４０２に通知する。
　音声合成機能部４１７は、機能制御部４０２からの指示に基づいて、合成音声データを生成し、音声出力部１１１に送信する。音声入力機能部４１８は、音声入力部１１３から送信された音声データを受信し、来場者の発言内容を認識する。また、音声入力機能部４１８は、認識結果を機能制御部４０２に通知する。
　接触センサ機能部４１９は、接触センサ部１２２から送信された接触検知データを受信し、機能制御部４０２に通知する。
　異常判定部４２１～４２３は、定期的に、またはロボット１００の管理者からの指示に応じて、各機能部が監視する各ハードウェアの動作状況を確認する。異常判定部４２１～４２３は、動作状況が異常であると判定した場合に、異常検知時制御実行部４３１に、異常検知情報（異常箇所、異常の種類）を送信する。異常判定部４２１～４２３は、異常条件情報格納部４５０に格納された異常条件情報と対比しながら動作状況を確認することで、動作状況が異常であるか否かの判定を行う。
　このうち、異常判定部４２１は、頭部回転機能部４１１が監視する頭部１１０の動作状況を確認し、頭部１１０の異常条件情報と対比することで動作状況が異常であるか否かを判定する。また、異常判定部４２１は、頭部１１０の動作状況が異常であると判定した場合に、異常検知情報を異常検知時制御実行部４３１に送信する。
　異常判定部４２２は、腕部回転機能部４１２が監視する右腕部１３０及び左腕部１４０の動作状況を確認し、右腕部１３０及び左腕部１４０の異常条件情報と対比することで動作状況が異常であるか否かを判定する。また、異常判定部４２２は、右腕部１３０または左腕部１４０の動作状況が異常であると判定した場合に、異常検知情報を異常検知時制御実行部４３１に送信する。
　異常判定部４２３は、胴体部回転機能部４１３が監視する胴体部１２０の動作状況を確認し、胴体部１２０の異常条件情報と対比することで動作状況が異常であるか否かを判定する。また、異常判定部４２３は、胴体部１２０の動作状況が異常であると判定した場合に、異常検知情報を異常検知時制御実行部４３１に送信する。
　異常検知時制御実行部４３１は制御部の一例であり、異常判定部４２１～４２３から異常検知情報を受信すると、提供中のサービス及びサービス状況を確認し、代替動作を特定する。
　具体的には、異常検知時制御実行部４３１は、サービス制御部４０１に対して、提供中のサービス及びサービス状況（ここでは、来場者の属性）について問い合わせを行う。これにより、異常検知時制御実行部４３１は、サービス内容及びサービス状況を確認する。
　そして、異常検知時制御実行部４３１は、異常時制御内容情報格納部４６０を参照し、サービス内容、異常検知情報（異常箇所、異常の種類）に応じた代替動作を特定する。なお、異常時制御内容情報において、１のサービス内容に対応付けて複数の代替動作が定義されていた場合、異常検知時制御実行部４３１は、サービス状況（来場者の属性）に応じて１の代替動作を選択する。
　また、異常検知時制御実行部４３１は、選択した代替動作を、機能制御部４０２に通知する。これにより、機能制御部４０２は、通知された代替動作を実行させるべく、頭部回転機能部４１１～接触センサ機能部４１９の各機能部に対して指示をする。
　＜ロボット制御部の機能構成（その２）＞
　次に、ロボット制御部２２７の他の機能構成について説明する。図５は、ロボット制御部の機能構成の第２の例を示す図である。図４との相違点は、図５の場合、異常判定部５２０が、頭部回転機能部４１１、腕部回転機能部４１２、胴体部回転機能部４１３に接続されている点である。
　異常判定部５２０は、頭部回転機能部４１１、腕部回転機能部４１２、胴体部回転機能部４１３がそれぞれ監視する各ハードウェア（頭部１１０、右腕部１３０、左腕部１４０、胴体部１２０）の動作状況を確認する。そして、異常判定部５２０は、各ハードウェアの動作状況が異常であるか否かを判定する。
　＜ロボット制御部の機能構成（その３）＞
　次に、ロボット制御部２２７の他の機能構成について説明する。図６は、ロボット制御部の機能構成の第３の例を示す図である。図５との相違点は、図６の場合、異常判定部６２０を有する点である（異常判定部５２０に加えて異常判定部６２０を有する点である）。ロボット制御部２２７は、頭部回転機能部４１１、腕部回転機能部４１２、胴体部回転機能部４１３、撮像機能部４１４が監視する各ハードウェア（頭部１１０、右腕部１３０、左腕部１４０、胴体部１２０、撮像部１１２）の動作状況を確認することができる。この結果、ロボット制御部２２７では、頭部回転機能部４１１、腕部回転機能部４１２、胴体部回転機能部４１３、撮像機能部４１４が監視する各ハードウェアの動作状況が、異常であるか否かの判定を行うことができる。
　＜各格納部に格納される情報の詳細＞
　次に、各格納部（サービス内容情報格納部４４０、異常条件情報格納部４５０、異常時制御内容情報格納部４６０）に格納される情報の詳細について説明する。
　（１）サービス内容情報
　はじめに、サービス内容情報格納部４４０に格納されるサービス内容情報について説明する。図７は、サービス内容情報の一例を示す図である。図７に示すように、サービス内容情報７００は、情報の項目として、"サービス内容"、"利用機能部"、"正常時の制御内容"、"累積提供回数"を含む。
　"サービス内容"には、ロボット１００が提供するサービスの種類が定義される。図７の例では、ロボット１００が提供するサービスの種類として、「個人認識サービス」、「会話サービス」、「方向指示サービス」が定義されている。
　"利用機能部"には、対応するサービスを提供するために動作させる機能部が定義される。図７の例は、「個人認識サービス」を提供するにあたり、ロボット１００が「撮像機能部」、「頭部回転機能部」、「タッチパネル機能部」を動作させることを示している。
　"正常時の制御内容"には、"利用機能部"に定義された各機能部についての正常時の動作が定義される。図７の「個人認識サービス」の場合、ロボット１００は、来場者を撮像した撮像データを解析することで来場者の認識を行う。
　このため、"正常時の制御内容"には、撮像機能部４１４が、撮像部１１２により撮像された来場者の撮像データを解析し来場者を認識することが定義されている。また、頭部回転機能部４１１が、撮像部１１２による撮像が適切に行われるように回転動作を行うことが定義されている。更に、タッチパネル機能部４１６が、個人認識サービスを提供中であることを示す表示画面をタッチパネル部１２１に表示することが定義されている。
　また、図７の「会話サービス」の場合、ロボット１００は、来場者の方向を向き、右腕部１３０と左腕部１４０とを動かしながら、来場者の表情に応じた会話を行う。
　このため、"正常時の制御内容"には、撮像機能部４１４が、撮像部１１２により撮像された来場者の撮像データを解析し、来場者の顔をトラッキングしながら来場者の表情を認識することが定義されている。また、頭部回転機能部４１１が、撮像部１１２による撮像が適切に行われるように回転動作を行うことが定義されている。また、音声入力機能部４１８が、音声入力部１１３により検出された音声データを解析し、来場者の発言内容を認識することが定義されている。また、音声合成機能部４１７が、認識された来場者の表情及び発言内容に応じた会話内容を音声合成し、音声出力部１１１を介して出力することが定義されている。また、腕部回転機能部４１２が、右腕部１３０または左腕部１４０の回転動作を行うことが定義されている。
　また、図７の例によれば、「方向指示サービス」の場合、ロボット１００は、指示する方向を向き、右腕部１３０または左腕部１４０で指しながら、音声案内を行う。
　このため、"正常時の制御内容"には、胴体部回転機能部４１３が、胴体部１２０の回転動作を行うことが定義されている。また、腕部回転機能部４１２が、右腕部１３０または左腕部１４０の回転動作を行うことが定義されている。更に、音声合成機能部４１７が、音声案内のための音声合成データを生成し、音声出力部１１１を介して出力することが定義されている。
　"累積提供回数"には、対応するサービスをロボット１００がこれまでに提供してきた回数（累積値）が格納される。図７の例は、ロボット１００が、「個人認識サービス」を２０回、「会話サービス」を２５回、「方向指示サービス」を５３回提供してきたことを示している。
　（２）異常条件情報
　次に、異常条件情報格納部４５０に格納される異常条件情報について説明する。図８は、異常条件情報の一例を示す図である。図８に示すように、異常条件情報８００には、異常判定部（ここでは、異常判定部４２１～４２３として説明する）が各ハードウェアの動作状況を確認することで判定される異常箇所が定義される。図８の例では、「頭部」、「右腕部」、「左腕部」、「胴体部」が定義されている。
　また、異常条件情報８００には、異常判定部４２１～４２３が各ハードウェアの動作状況を確認することで判定される異常の種類が定義される。図８の例では、「頭部」の異常の種類として、「回転範囲減少」、「動作音異常」が定義されている。
　更に、異常条件情報８００には、異常とみなす条件が定義される。図８の例では、「頭部」の異常として「回転範囲減少」が発生したとみなす条件＝「左０°～９０°の７０％未満、右０°～９０°の７０％未満」が定義されている。
　なお、頭部１１０の回転範囲とは、イラスト８１０に示すように、ｘｙ平面に平行な平面において、頭部１１０の正面方向を０°とした場合の回転範囲を指す。左９０°とは、頭部１１０を左方向に９０°回転させた角度をいい、右９０°とは、頭部１１０を右方向に９０°回転させた角度をいう。ロボット１００の場合、頭部１１０の正常な回転範囲は、左０°～９０°、右０°～９０°である。このため、正常な回転範囲の７０％未満の範囲でしか頭部１１０が回転動作できなくなった場合に、異常判定部４２１は、頭部１１０の異常として「回転範囲減少」が発生したと判定する。
　また、図８の例では、「左腕部」の異常として「回転範囲減少」が発生したみなす条件＝「前０°～１２０°の７０％未満、後０°～３０°の７０％未満」が定義されている。左腕部１４０の回転範囲とは、イラスト８２０に示すように、ｙｚ平面に平行な平面において、左腕部１４０の真下方向を０°とした場合の回転範囲を指す。前１２０°とは、左腕部１４０を前方向に１２０°回転させた角度をいい、後９０°とは、左腕部１４０を後方向に３０°回転させた角度をいう。ロボット１００の場合、左腕部１４０の正常な回転範囲は、前０°～１２０°、後０°～３０°である。このため、正常な回転範囲の７０％未満の範囲でしか左腕部１４０が回転動作できなくなった場合に、異常判定部４２２は、左腕部１４０の異常として「回転範囲減少」が発生したと判定する。
　同様に、図８の例では、「頭部」の異常として「動作音異常」が発生したとみなす条件＝「動作音７０ｄＢ以上」が定義されている。動作音とは、頭部１１０の回転動作を行う首振り用モータ部２２３を実際に動作させた際に発生する音である。動作音が７０ｄＢ以上であった場合に、異常判定部４２１は、頭部１１０の異常として「動作音異常」が発生したと判定する。
　（３）異常時制御内容情報
　次に、異常時制御内容情報格納部４６０に格納される異常時制御内容情報について説明する。図９は、異常時制御内容情報の一例を示す図である。異常時制御内容情報９００は異常時の代替動作を定義した定義情報の一例である。図９に示すように、異常時制御内容情報９００には、異常検知時制御実行部４３１が異常検知情報を受信した場合にロボット１００に実行させる代替動作が、サービス内容ごと、異常箇所ごと、異常の種類ごと、に定義されている。
　具体的には、異常時制御内容情報９００には、サービス内容として「個人認識サービス」、「会話サービス」、「方向指示サービス」が定義されている。また、異常時制御内容情報９００には、「個人認識サービス」提供中に、頭部１１０の異常として「回転範囲減少」が発生した場合の代替動作として、「頭部停止、タッチパネル部にＩＤ入力依頼を表示」が定義されている。また、頭部１１０の異常として「動作音異常」が発生した場合の代替動作として「頭部停止、タッチパネル部にＩＤ入力依頼を表示」が定義されている。更に、右腕部１３０または左腕部１４０の異常として「回転範囲減少」が発生した場合の代替動作として、「右腕部停止」または「左腕部停止」が定義されている。更に、胴体部１２０の異常として「回転範囲減少」が発生した場合の代替動作として、「胴体部停止」が定義され、「動作音異常」が発生した場合の代替動作として、「胴体部停止」が定義されている。
　なお、異常時制御内容情報９００において、同一の異常箇所、同一の異常の種類に対して、複数の代替動作が定義されている場合、異常検知時制御実行部４３１は、サービス状況（来場者の属性）に応じていずれか１の代替動作を選択する。
　例えば、「会話サービス」提供中に、頭部１１０の異常として「回転範囲減少」が発生した場合、異常検知時制御実行部４３１は、「頭部回転範囲縮小」または「頭部停止、固定会話に切替」のいずれか１の代替動作を選択する。
　ここで、「会話サービス」提供中、ロボット１００は、頭部１１０を回転動作させながら撮像部１１２で来場者の顔をトラッキングし、来場者の表情を認識した場合の認識結果に応じて会話内容を切り替える。例えば、「会話サービス」提供中に、来場者の笑顔が認識されると、ロボット１００は、来場者の反応が良好な場合の会話内容に切り替える。一方、「会話サービス」提供中、来場者の笑顔が認識されなかった場合、ロボット１００は、来場者の反応が良好でない場合の会話内容に切り替える。つまり、頭部１１０が正常に回転動作しており、来場者の顔がトラッキングできていれば、ロボット１００は、来場者の表情に応じた柔軟な会話が可能である。
　しかしながら、頭部１１０の異常として「回転範囲減少」が発生した場合には、頭部１１０の回転範囲を縮小させるか、頭部１１０の回転動作を停止させる必要がある。ここで、来場者がＶＩＰ客などであった場合、異常検知時制御実行部４３１は、会話サービスの品質をできるだけ落とさないよう、代替動作として「頭部回転範囲縮小」を選択する。この場合、故障発生のリスクは残るが、来場者の顔をトラッキングできる範囲で柔軟な会話ができるため、ロボット１００は、会話サービスの品質を維持することができる。
　一方で、来場者が一般客であった場合、異常検知時制御実行部４３１は、会話サービスの品質を維持するよりも故障発生のリスクを低減させることを優先し、代替動作として、「頭部停止、固定会話に切替」を選択する。この場合、来場者の顔がトラッキングされないため、来場者の表情に応じた柔軟な会話はできず、会話サービスの品質は低下するが、固定会話に切り替えることで、ロボット１００は、会話サービスの提供を維持することができる。また、ロボット１００は、故障発生のリスクを低減させることができる。
　このように、異常検知時制御実行部４３１が、サービス状況（来場者の属性）を確認し、来場者の属性に応じた代替動作を選択できるよう、異常時制御内容情報９００には同一の異常箇所、同一の異常の種類に対して、複数の代替動作が定義されうる。なお、図９の場合、２つの代替動作のうち、前者を、来場者がＶＩＰ客の場合の代替動作、後者を、来場者が一般客の場合の代替動作としている。
　＜異常時制御処理の流れ＞
　次に、ロボット制御部２２７による異常時制御処理の流れについて説明する。なお、以下では、ロボット制御部２２７の機能構成が上記（その１）～（その３）それぞれの場合の異常時制御処理の流れについて説明する。
　（１）機能構成（その１）の場合の異常時制御処理の流れ
　図１０は、ロボット制御部による異常時制御処理の第１のフローチャートである。各サービスの提供を開始すると、ロボット１００は、定期的に、またはロボット１００の管理者からの指示に応じて、図１０に示す異常時制御処理を実行する。なお、図１０に示す異常時制御処理には、異常判定部４２１～４２３がそれぞれ並行して実行する工程が含まれるが、ここでは、異常判定部４２１が実行する場合について説明する。
　ステップＳ１００１において、異常判定部４２１は、頭部回転機能部４１１が監視する頭部１１０の動作状況を確認する。ここでは、異常判定部４２１は、頭部１１０の実際の動作状況が、回転範囲＝左０°～６０°、右０°～４０°であることを確認したとする。
　ステップＳ１００２において、異常判定部４２１は異常条件情報８００を確認する。具体的には、異常判定部４２１は、異常条件情報８００の"頭部"の異常として「回転範囲減少」が発生したとみなす条件を確認する。
　これにより、異常判定部４２１は、頭部１１０の異常として「回転範囲減少」が発生したとみなす条件が、回転範囲＝左０°～９０°の７０％未満、右０°～９０°の７０％未満であることを確認する。
　ステップＳ１００３において、異常判定部４２１は、確認した頭部１１０の実際の動作状況が、異常とみなす条件に合致するか否かを判定する。
　ステップＳ１００３において、異常とみなす条件に合致しないと判定した場合には（ステップＳ１００３においてＮｏの場合には）、異常時制御処理を終了する。一方、異常とみなす条件に合致すると判定した場合には（ステップＳ１００３においてＹｅｓの場合には）、ステップＳ１００４に進む。
　なお、ここでは、頭部１１０の実際の動作状況が、異常とみなす条件に合致しているため、異常判定部４２１は、頭部１１０の異常として回転範囲減少が発生したと判定する。
　ステップＳ１００４において、異常判定部４２１は、異常検知情報として異常箇所と異常の種類とを、異常検知時制御実行部４３１に送信する。
　なお、ここでは、異常判定部４２１が、異常検知情報として、異常箇所＝"頭部"、異常の種類＝"回転範囲減少"を、異常検知時制御実行部４３１に送信する。
　ステップＳ１００５において、異常検知時制御実行部４３１は、サービス制御部４０１に対して、提供中のサービス及びサービス状況（来場者の属性）を問い合わせることで、サービス内容及びサービス状況（来場者の属性）を確認する。
　なお、ここでは、異常検知時制御実行部４３１は、サービス内容＝"会話サービス"、サービス状況＝"来場者がＶＩＰ客"であることを確認したとする。
　ステップＳ１００６において、異常検知時制御実行部４３１は、異常時制御内容情報９００を参照し、サービス内容、異常箇所、異常の種類に応じた代替動作を特定する。
　なお、ここでは、異常検知時制御実行部４３１は、会話サービス提供中に頭部１１０の異常として回転範囲減少が発生した場合の代替動作（"頭部回転範囲減少"、"頭部停止、固定会話に切替"）を特定する。
　ステップＳ１００７において、異常検知時制御実行部４３１は、異常時制御内容情報９００を参照し、サービス状況（来場者の属性）に応じた代替動作を選択する。
　なお、ここでは、異常検知時制御実行部４３１は、サービス状況＝"来場者がＶＩＰ客"に基づいて、代替動作として、"頭部回転範囲縮小"を選択する。
　ステップＳ１００８において、異常検知時制御実行部４３１は、選択した代替動作を機能制御部４０２に通知する。これにより、頭部１１０の回転範囲は縮小されるが、撮像部１１２において撮像された撮像データを解析することで来場者の表情を認識する処理は継続されることになる。また、認識した表情に応じた会話内容に基づき合成音声データを生成し、音声出力部１１１を介して出力する処理は継続されることになる。
　このように、ロボット１００は、異常を検知した際、異常箇所、異常の種類、サービス内容、サービス状況に応じた代替動作を実行することができる。この結果、ロボット１００は、異常を検知した際、適切な代替動作（会話サービスの品質を維持可能な代替動作）が実行できるようになる。
　（２）機能構成（その２）の場合の異常時制御処理の流れ
　図１１及び図１２は、ロボット制御部による異常時制御処理の第２のフローチャートである。図１０と同様、各サービスの提供を開始すると、ロボット１００は、定期的に、またはロボット１００の管理者からの指示に応じて、図１１及び図１２に示す異常時制御処理を実行する。
　ステップＳ１１０１において、異常判定部５２０は、動作状況を監視する機能部の数をカウントするカウンタｎに"１"を入力する。
　ステップＳ１１０２において、異常判定部５２０は、ｎ番目の機能部が監視する動作状況を確認する。ここでは、異常判定部５２０は、頭部回転機能部４１１が監視する頭部１１０の実際の動作状況を確認する。
　ステップＳ１００２において、異常判定部５２０は、異常条件情報８００を確認する。ここでは、異常判定部５２０は、異常条件情報８００の"頭部"の異常として「回転範囲減少」が発生したとみなす条件を確認する。
　ステップＳ１００３において、異常判定部５２０は、動作状況が異常とみなす条件に合致するか否かを判定する。ここでは、異常判定部５２０は、頭部１１０の実際の動作状況が、異常条件情報８００の"頭部"の異常として「回転範囲減少」が発生したとみなす条件に合致するか否かを判定する。
　ステップＳ１００３において合致しないと判定した場合には（ステップＳ１００３においてＮｏの場合には）、ステップＳ１１０３に進む。一方、ステップＳ１００３において合致すると判定した場合には（ステップＳ１００３においてＹｅｓの場合には）、ステップＳ１００４に進む。
　ステップＳ１００４において、異常判定部５２０は、異常検知情報として異常箇所と異常の種類とを、異常検知時制御実行部４３１に送信する。ここでは、異常判定部５２０は、異常検知情報として、異常箇所＝"頭部"を、異常の種類＝"回転範囲減少"を、異常検知時制御実行部４３１に送信する。
　ステップＳ１１０３において、異常判定部５２０は、すべての機能部が監視する動作状況について確認したか否かを判定する。ステップＳ１１０３において、確認していない動作状況があると判定した場合には（ステップＳ１１０３においてＮｏの場合には）、ステップＳ１１０４に進む。
　ステップＳ１１０４において、異常判定部５２０は、カウンタｎをインクリメントし、ステップＳ１１０２に戻る。これにより、ステップＳ１１０２において、異常判定部５２０は、腕部回転機能部４１２が監視する、右腕部１３０の実際の動作状況を確認する。以降、右腕部１３０について動作状況が異常とみなす条件に合致するか否かを判定した後、更に、左腕部１４０、胴体部１２０それぞれについて、実際の動作状況を確認することで、動作状況が異常とみなす条件に合致するか否かを判定していく。なお、ここでは、右腕部１３０、左腕部１４０、胴体部１２０の実際の動作状況は、いずれも異常とみなす条件に合致しないと判定されたとする。
　ステップＳ１１０３において、全ての機能部が監視する動作状況について確認したと判定した場合には（ステップＳ１１０３においてＹｅｓの場合には）、図１２のステップＳ１１０５に進む。
　ステップＳ１１０５において、異常検知時制御実行部４３１は、異常箇所があったか否かを判定する。異常検知情報を受信しなかった場合、異常検知時制御実行部４３１は、異常箇所がなかったと判定し（ステップＳ１１０５においてＮｏ）、異常時制御処理を終了する。
　一方、異常検知情報を受信した場合、異常検知時制御実行部４３１は、異常箇所があったと判定し（ステップＳ１１０５においてＹｅｓ）、ステップＳ１００５に進む。
　ステップＳ１００５において、異常検知時制御実行部４３１は、サービス制御部４０１に対して、提供中のサービス及びサービス状況（来場者の属性）を問い合わせることで、サービス内容及びサービス状況（来場者の属性）を確認する。ここでは、一般客の来場者に対して、個人認識サービスを提供中であったとする。
　ステップＳ１００６において、異常検知時制御実行部４３１は、異常時制御内容情報９００を参照し、サービス内容、異常箇所、異常の種類に応じた代替動作を特定する。ここでは、異常検知時制御実行部４３１は、個人認識サービス提供中に頭部１１０の異常として回転範囲減少が発生した場合の代替動作（"頭部停止、タッチパネルにＩＤ入力依頼を表示"）を特定する。
　ステップＳ１００７において、異常検知時制御実行部４３１は、サービス状況（来場者の属性）に応じた代替動作を選択する。ここでは、代替動作が１つのみ定義されているため、異常検知時制御実行部４３１は、来場者の属性に関わらず、代替動作として、"頭部停止、タッチパネル部にＩＤ入力の依頼を表示"を選択する。
　ステップＳ１００８において、異常検知時制御実行部４３１は、選択した代替動作を機能制御部４０２に通知する。これにより、頭部１１０の動作が停止されるため、撮像データに基づいて来場者を認識する処理を実行することはできなくなるが、タッチパネル部１２１への入力内容に基づいて来場者を認識する処理は実行することが可能となる。
　このように、ロボット１００は、異常箇所、異常の種類、サービス内容、サービス状況に応じた代替動作を実行することができる。この結果、ロボット１００は、異常を検知した際、適切な代替動作（個人認識サービスの提供を継続しつつ、故障発生リスクを低減させることが可能な代替動作）が実行できるようになる。
　（３）機能構成（その３）の場合の異常時制御処理の流れ
　図１３、図１４は、ロボット制御部による異常時制御処理の第３のフローチャートである。図１０～図１２と同様、各サービスの提供を開始すると、ロボット１００は、定期的に、またはロボット１００の管理者からの指示に応じて、図１３及び図１４に示す異常時制御処理を実行する。なお、ステップＳ１１０１～ステップＳ１１０４までの処理は、図１１のステップＳ１１０１～ステップＳ１１０４までの処理と同じであるため、ここでは説明を省略する。
　ステップＳ１３０１において、異常判定部５２０は、次の異常判定部が存在するか否かを判定する。ここでは、次の異常判定部として、異常判定部６２０が存在するため、ステップＳ１３０１からステップＳ１１０１に戻る。これにより、異常判定部６２０は、撮像機能部４１４が監視する、撮像部１１２の実際の動作状況を確認し、異常とみなす条件に合致するか否かを判定する。なお、ここでは、撮像部１１２の実際の動作状況は、異常とみなす条件に合致しないと判定されたとする。
　異常判定部６２０による判定が完了すると、ステップＳ１３０１から図１４のステップＳ１１０５に進む。ステップＳ１１０５において、異常検知時制御実行部４３１は、異常箇所があったか否かを判定する。異常検知情報を受信しなかった場合、異常検知時制御実行部４３１は、異常箇所がなかったと判定し（ステップＳ１１０５においてＮｏ）、異常時制御処理を終了する。
　一方、異常検知情報を受信した場合、異常検知時制御実行部４３１は、異常箇所があったと判定し（ステップＳ１１０５においてＹｅｓ）、ステップＳ１００５に進む。
　ステップＳ１００５において、異常検知時制御実行部４３１は、サービス制御部４０１に対して、提供中のサービス及びサービス状況（来場者の属性）を問い合わせることで、サービス内容及びサービス状況（来場者の属性）を確認する。ここでは、ＶＩＰ客の来場者に対して、会話サービスを提供中であったとする。
　ステップＳ１００６において、異常検知時制御実行部４３１は、異常時制御内容情報９００を参照し、サービス内容、異常箇所、異常の種類に応じた代替動作を特定する。ここでは、異常検知時制御実行部４３１は、会話サービス提供中に頭部１１０の異常として回転範囲減少が発生した場合の代替動作（"頭部回転範囲減少"、"頭部停止、固定会話に切替"）を特定する。
　ステップＳ１００７において、異常検知時制御実行部４３１は、異常時制御内容情報９００を参照し、サービス状況（来場者の属性）に応じた代替動作を選択する。ここでは、異常検知時制御実行部４３１は、来場者がＶＩＰ客であるので、代替動作として"頭部回転範囲縮小"を選択する。
　ステップＳ１００８において、異常検知時制御実行部４３１は、選択した代替動作を機能制御部４０２に通知する。これにより、頭部１１０の回転範囲は縮小されるが、撮像部１１２において撮像された撮像データを解析することで来場者の表情を認識する処理は継続されることになる。また、認識した表情に応じた会話内容に基づき合成音声データを生成し、音声出力部１１１を介して出力する処理は継続されることになる。
　このように、ロボット１００は、異常箇所、異常の種類、サービス内容、サービス状況に応じた代替動作を実行することができる。この結果、ロボット１００は、適切な代替動作（会話サービスの品質を維持可能な代替動作）が実行できるようになる。
　以上の説明から明らかなように、第１の実施形態におけるロボット１００は、サービス提供中に各ハードウェアの動作状況を監視し、動作状況が異常であると判定した場合に、サービス内容、異常箇所、異常の種類に応じた代替動作を特定する。また、第１の実施形態におけるロボット１００は、サービス内容、異常箇所、異常の種類に応じた代替動作が複数存在する場合、サービス状況（来場者の属性）を確認し、サービス状況（来場者の属性）に応じた１の代替動作を選択する。
　これにより、第１の実施形態におけるロボット１００によれば、異常箇所に加えて、異常の種類、サービス内容及びサービス状況（来場者の属性）に応じた代替動作を選択することができるようになる。この結果、ロボット１００は異常を検知した際、適切な代替動作（サービスの品質を維持可能な代替動作、あるいは、サービスの提供を継続しつつ故障発生リスクを低減させることが可能な代替動作）が実行できるようになる。
　［第２の実施形態］
　上記第１の実施形態では、サービス内容、異常箇所、異常の種類に応じた代替動作が複数存在する場合、サービス状況として、来場者の属性を確認し、来場者の属性に応じた代替動作を選択するものとして説明した。
　しかしながら、代替動作を選択する際に確認するサービス状況は、来場者の属性に限定されない。例えば、各サービスの累積提供回数を確認するようにしてもよい。これにより、異常箇所の累積動作回数を算出して故障発生リスクを判定し、判定した故障発生リスクに基づいて、代替動作を選択することができるようになる。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
　＜故障発生リスク判定条件情報＞
　はじめに、異常時制御内容情報格納部４６０に格納される、故障発生リスク判定条件情報について説明する。図１５は、故障発生リスク判定条件情報の一例を示す図である。図１５に示すように、故障発生リスク判定条件情報１５００には、情報の項目として、"異常箇所"、"上限回数（回）"が含まれる。
　"異常箇所"には、故障発生リスクの判定対象となる異常箇所が格納される。"上限回数（回）"には、対応する異常箇所の累積動作回数の上限回数が定義される。対応する異常箇所の累積動作回数が"上限回数（回）"に定義された値を超えた場合に、異常検知時制御実行部４３１は、故障発生リスクが高いと判定する。
　＜異常時制御処理の流れ＞
　次に、ロボット制御部２２７による異常時制御処理の流れについて説明する。ここでは、ロボット制御部２２７の機能構成（その３）の場合の異常時制御処理の流れについて説明する。
　図１３及び図１６は、ロボット制御部による異常時制御処理の第４のフローチャートである。図１０～図１２同様、各サービスの提供を開始すると、ロボット１００は、定期的に、またはロボット１００の管理者からの指示に応じて、図１３及び図１６に示す異常時制御処理を実行する。
　なお、図１３については、既に上記第１の実施形態において説明済みであるため、ここでは図１６について説明する。
　ステップＳ１６０１において、異常検知時制御実行部４３１は、サービス制御部４０１に対して、提供中のサービス及びサービス状況（各サービスの累積提供回数）を問い合わせる。これにより、異常検知時制御実行部４３１は、サービス内容及びサービス状況（各サービスの累積提供回数）を確認する。なお、ここでは、異常検知時制御実行部４３１は、サービス内容＝"会話サービス"、累積提供回数＝個人認識サービス：２０、会話サービス：２５、方向指示サービス：５３であることを確認したとする。
　ステップＳ１００６において、異常検知時制御実行部４３１は、異常時制御内容情報９００を参照し、サービス内容、異常箇所、異常の種類に応じた代替動作を特定する。
　なお、ここでは、異常検知時制御実行部４３１は、会話サービス提供中に頭部１１０の異常として回転範囲減少が発生した場合の代替動作（"頭部回転範囲減少"、"頭部停止、固定会話に切替"）を特定する。
　ステップＳ１６０２において、異常検知時制御実行部４３１は、サービス状況（各サービスの累積提供回数）に基づいて、異常箇所の累積動作回数を算出する。ここでは、頭部１１０の累積動作回数が５５回と算出されたとする。
　ステップＳ１６０３において、異常検知時制御実行部４３１は、故障発生リスク判定条件情報１５００の"頭部"の上限回数と、頭部１１０の累積動作回数とを対比することで、頭部１１０の故障発生リスクを判定する。
　ここでは、頭部１１０の累積動作回数が５５回で、"頭部"の上限回数＝５０回を超えているため、異常検知時制御実行部４３１は、頭部１１０の故障発生リスクが高いと判定する。
　ステップＳ１６０４において、異常検知時制御実行部４３１は、故障発生リスクの判定結果に基づいて代替動作を選択する。故障発生リスクが高いと判定した場合、異常検知時制御実行部４３１は、故障発生リスクを低減させることが可能な代替動作を選択する。一方、故障発生リスクが高くないと判定した場合、異常検知時制御実行部４３１は、サービスの品質を維持可能な代替動作を選択する。
　例えば、代替動作として、"頭部回転範囲縮小"と、"頭部停止、固定会話に切替"とを特定していた場合、異常検知時制御実行部４３１は、故障発生リスクを低減させることが可能な代替動作として、"頭部停止、固定会話に切替"を選択する。
　ステップＳ１００８において、異常検知時制御実行部４３１は、選択した代替動作（ここでは、"頭部停止、固定会話に切替"）を機能制御部４０２に通知する。これにより、頭部１１０の動作が停止されるため、来場者の表情に応じた会話を行うことはできなくなるが、固定会話により会話サービス自体は維持されることになる。
　このように、第２の実施形態におけるロボット１００は、サービス状況として、各サービスの累積提供回数を確認し、異常箇所の累積動作回数を算出することで、故障発生リスクを判定する。そして、ロボット１００は、判定した故障発生リスクに基づいて代替動作を選択する。
　これにより、第２の実施形態におけるロボット１００によれば、異常箇所に加えて、異常の種類、サービス内容及びサービス状況（各サービスの累積提供回数）に応じた代替動作を選択することができるようになる。この結果、ロボット１００は異常を検知した際、適切な代替動作（サービスの品質を維持可能な代替動作、あるいはサービスの提供を維持しつつ故障発生リスクを低減させることが可能な代替動作）が実行できるようになる。
　［その他の実施形態］
　上記第１及び第２の実施形態では、ロボット１００の胴体部１２０内に、ロボット制御部２２７を配置するものとして説明した。しかしながら、ロボット制御部２２７は、ロボット１００の胴体部１２０内に配置する必要はなく、ロボット１００の外部に配置してもよい。この場合、ロボット１００の外部に配置されたロボット制御部２２７は、各機能部に代替動作を実行させるための動作指令データを、例えば、無線通信を介してロボット１００に送信する。
　また、上記第２の実施形態では、故障発生リスクを判定するにあたり、累積動作回数を算出するものとして説明した。しかしながら、故障発生リスクの判定方法はこれに限定されず、例えば、単位時間あたりの動作回数を算出してもよい。
　また、上記第２の実施形態では、上限回数を固定としたが、上限回数は可変としてもよい。例えば、単位時間あたりの動作回数が多い場合に、上限回数を下げるようにしてもよい。
　なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
１００　　　　　：ロボット
１１０　　　　　：頭部
１１１　　　　　：音声出力部
１１２　　　　　：撮像部
１１３　　　　　：音声入力部
１２０　　　　　：胴体部
１２１　　　　　：タッチパネル部
１２２　　　　　：接触センサ部
１３０　　　　　：右腕部
１４０　　　　　：左腕部
１５０　　　　　：脚部
４０１　　　　　：サービス制御部
４０２　　　　　：機能制御部
４１１　　　　　：頭部回転機能部
４１２　　　　　：腕部回転機能部
４１３　　　　　：胴体部回転機能部
４１４　　　　　：撮像機能部
４１５　　　　　：ＬＥＤ機能部
４１６　　　　　：タッチパネル機能部
４１７　　　　　：音声合成機能部
４１８　　　　　：音声入力機能部
４１９　　　　　：接触センサ機能部
４２１～４２３　：異常判定部
４３１　　　　　：異常検知時制御実行部
５２０　　　　　：異常判定部
６２０　　　　　：異常判定部
８００　　　　　：異常条件情報
９００　　　　　：異常時制御内容情報

Claims (7)

  1. 　複数の機能部を有するロボットであって、
    　複数の前記機能部を動作させてサービスを提供する際に、動作状況を監視する監視部と、
    　前記動作状況が異常であると判定した場合に、予め各サービスと対応付けて代替動作を定義した定義情報を参照して、提供中のサービスに対応する代替動作を実行するよう制御する制御部と
    　を有することを特徴とするロボット。
  2. 　前記定義情報には、予め各サービスと対応付けて、異常であると判定した箇所ごと、異常の種類ごとに代替動作が定義されており、
    　前記制御部は、提供中のサービス、異常であると判定した箇所、異常の種類に対応する代替動作を実行するよう制御することを特徴とする請求項１に記載のロボット。
  3. 　前記制御部は、提供中のサービス、異常であると判定した箇所、異常の種類に対応する代替動作が複数あった場合、該サービスの提供対象者の属性に基づいて、１の代替動作を選択することを特徴とする請求項１または２に記載のロボット。
  4. 　前記制御部は、提供中のサービス、異常であると判定した箇所、異常の種類に対応する代替動作が複数あった場合、異常であると判定した箇所の累積動作回数または単位時間あたりの動作回数に基づいて、１の代替動作を選択することを特徴とする請求項１または２に記載のロボット。
  5. 　複数の機能部を有するロボットを制御する制御装置であって、
    　複数の前記機能部を動作させてサービスを提供する際に、動作状況を監視する監視部と、
    　前記動作状況が異常であると判定した場合に、予め各サービスと対応付けて代替動作を定義した定義情報を参照して、提供中のサービスに対応する代替動作を実行するよう制御する制御部と
    　を有することを特徴とする制御装置。
  6. 　複数の機能部を有するロボットを制御するコンピュータが、
    　複数の前記機能部を動作させてサービスを提供する際に、動作状況を監視し、
    　前記動作状況が異常であると判定した場合に、予め各サービスと対応付けて代替動作を定義した定義情報を参照して、提供中のサービスに対応する代替動作を実行するよう制御する、
    　処理を実行するロボット制御方法。
  7. 　複数の機能部を有するロボットを制御するコンピュータに、
    　複数の前記機能部を動作させてサービスを提供する際に、動作状況を監視し、
    　前記動作状況が異常であると判定した場合に、予め各サービスと対応付けて代替動作を定義した定義情報を参照して、提供中のサービスに対応する代替動作を実行するよう制御する、
    　処理を実行させるためのロボット制御プログラム。
PCT/JP2017/021807 2017-06-13 2017-06-13 ロボット、制御装置、ロボット制御方法及びロボット制御プログラム WO2018229868A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/021807 WO2018229868A1 (ja) 2017-06-13 2017-06-13 ロボット、制御装置、ロボット制御方法及びロボット制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/021807 WO2018229868A1 (ja) 2017-06-13 2017-06-13 ロボット、制御装置、ロボット制御方法及びロボット制御プログラム

Publications (1)

Publication Number Publication Date
WO2018229868A1 true WO2018229868A1 (ja) 2018-12-20

Family

ID=64659865

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/021807 WO2018229868A1 (ja) 2017-06-13 2017-06-13 ロボット、制御装置、ロボット制御方法及びロボット制御プログラム

Country Status (1)

Country Link
WO (1) WO2018229868A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006239849A (ja) * 2005-03-07 2006-09-14 Nippon Telegr & Teleph Corp <Ntt> ロボット制御システム
JP2010149255A (ja) * 2008-12-26 2010-07-08 Fujitsu Ltd ロボット及びロボットの作業実行方法
WO2017086108A1 (ja) * 2015-11-16 2017-05-26 大日本印刷株式会社 情報提示装置、情報提示方法、プログラム、情報処理装置及び案内ロボット制御システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006239849A (ja) * 2005-03-07 2006-09-14 Nippon Telegr & Teleph Corp <Ntt> ロボット制御システム
JP2010149255A (ja) * 2008-12-26 2010-07-08 Fujitsu Ltd ロボット及びロボットの作業実行方法
WO2017086108A1 (ja) * 2015-11-16 2017-05-26 大日本印刷株式会社 情報提示装置、情報提示方法、プログラム、情報処理装置及び案内ロボット制御システム

Similar Documents

Publication Publication Date Title
EP3392181B1 (en) A holographic elevator assistance system
JP7013689B2 (ja) 遠隔操作型移動ロボットおよびロボット制御システム
CN111869185B (zh) 生成基于IoT的通知并提供命令以致使客户端设备的自动助手客户端自动呈现基于IoT的通知
JP7348288B2 (ja) 音声対話の方法、装置、及びシステム
AU2018394102A1 (en) Optimizing transportation networks through dynamic user interfaces
KR102423712B1 (ko) 루틴 실행 중에 클라이언트 디바이스간 자동화 어시스턴트 루틴 전송
EP3616034B1 (en) Generating and/or adapting automated assistant content according to a distance between user(s) and an automated assistant interface
EP3916727B1 (en) Voice pickup method and apparatus for intelligent rearview mirror
JP2005529421A (ja) 可動ユニット及び可動ユニットを制御する方法
JPWO2017098713A1 (ja) ロボットシステム及びその運転方法
CN109524018B (zh) 一种回声处理方法及设备
US11861265B2 (en) Providing audio information with a digital assistant
WO2007138741A1 (ja) 音声入力システム、対話型ロボット、音声入力方法、および、音声入力プログラム
CN112530430A (zh) 车载操作系统控制方法、装置、耳机、终端及存储介质
JP2017170537A (ja) ロボット制御プログラム生成システム
CN113841118A (zh) 多个语音助理的激活管理
CN106945045B (zh) 基于ros和orocos的机器人控制的通信方法和系统
JP4153909B2 (ja) ロボット、モジュール選択装置およびロボットの制御方法
JP2023179542A (ja) 自動アシスタント要求に従って、デバイスロケーションおよび／またはインターフェースの向きを自律的に調整する、モーター付きコンピューティングデバイス
WO2018229868A1 (ja) ロボット、制御装置、ロボット制御方法及びロボット制御プログラム
JP2004234631A (ja) ユーザと対話型実体エージェントとの間の対話を管理するシステムおよび対話型実体エージェントによるユーザとの対話を管理する方法
JP5471615B2 (ja) 遠隔対話装置、遠隔対話システム、遠隔対話方法およびプログラム
KR101919354B1 (ko) 기계학습과 음성인식 기반의 스마트폰 착탈식 지능형 이동로봇 시스템
EP4209849A1 (en) Telepresence robots having cognitive navigation capabilit
CN110543290A (zh) 多模态响应

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17913896

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17913896

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP