WO2023199987A1 - 遠隔操作システム及び遠隔操作方法 - Google Patents

遠隔操作システム及び遠隔操作方法 Download PDF

Info

Publication number
WO2023199987A1
WO2023199987A1 PCT/JP2023/015066 JP2023015066W WO2023199987A1 WO 2023199987 A1 WO2023199987 A1 WO 2023199987A1 JP 2023015066 W JP2023015066 W JP 2023015066W WO 2023199987 A1 WO2023199987 A1 WO 2023199987A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
remote control
machine learning
work
control system
Prior art date
Application number
PCT/JP2023/015066
Other languages
English (en)
French (fr)
Inventor
一輝 倉島
仁志 蓮沼
雅幸 掃部
Original Assignee
川崎重工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 川崎重工業株式会社 filed Critical 川崎重工業株式会社
Publication of WO2023199987A1 publication Critical patent/WO2023199987A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00—Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements

Definitions

  • the present disclosure relates to remote control of a robot.
  • Patent Document 1 discloses a mechanical device system that operates a mechanical device such as a robot using an operating device.
  • a control device for a mechanical device includes an operation control section, a calculation section, and an auxiliary section.
  • the operation control unit controls the operation of the mechanical device according to operation information output from the operation device.
  • the calculation unit includes a machine learning model that uses first operation information indicating the operation of the mechanical device as input data and uses as output data a command for the operation of the mechanical device corresponding to the first operation information.
  • the auxiliary section outputs an auxiliary command to assist the operation in the operating device based on the difference between the operation of the mechanical device controlled by the operation control section and the operation of the mechanical device corresponding to the command output by the calculation section. do.
  • Patent Document 1 states that the following effects can be obtained by the above configuration. That is, by receiving assistance based on the assistance command, the operator can bring his/her own operation closer to the ideal operation obtained by machine learning. As a result, it becomes possible to inherit the skills of experts using machine learning models regarding the operation of mechanical devices.
  • Patent Document 1 uses assistance based on differences in motion to make the operator follow the method of a machine learning model, in other words, the method of an expert, regarding the speed of operation, the amount of force applied, the way of movement, etc. At the same time, work quality can be improved. However, while allowing for a certain degree of deterioration in work quality, the configuration of Patent Document 1 is not necessarily appropriate for detecting and preventing inappropriate human operations that deviate from the original intention of the work.
  • the present disclosure has been made in view of the above circumstances, and its purpose is to detect human operations that deviate from the original work intention regarding remote control of robots.
  • a remote control system having the following configuration. That is, this remote control system includes a relay device and a determination device. Operation information obtained by detecting an operation performed by a person on the operating device using a sensor is input to the relay device. The relay device outputs a robot operation command for operating the robot according to the operation information. The intention monitoring device inputs at least one of the operation information and information regarding the state of the robot to a trained machine learning model as input data. The intention monitoring device determines whether or not the operation on the operating device is in accordance with the original work intention based on the output of the machine learning model.
  • the following remote control method is provided. That is, in this remote control method, a robot operation command for operating the robot is output in response to input of operation information obtained by detecting an operation performed by a human on the operating device using a sensor. At least one of the operation information and information regarding the state of the robot is input as input data to the trained machine learning model. The machine learning model is used to determine whether or not the operation on the operating device is in line with the original work intention.
  • FIG. 1 is a schematic diagram showing a robot system including a remote control system according to an embodiment of the present disclosure.
  • FIG. 3 is a schematic diagram showing how user operation force and state values that constitute work data are repeatedly acquired.
  • FIG. 7 is a diagram illustrating the results output by the work process classification model when the operation is performed according to the original intention of the work and when the work procedure is operated incorrectly.
  • FIG. 1 is a schematic diagram of a robot system 1 including a remote control system 100 according to an embodiment of the present disclosure.
  • a robot system 1 shown in FIG. 1 is a system that performs work using a robot 12. There are various types of work that the robot 12 is made to perform, and examples thereof include assembly, processing, painting, and cleaning.
  • the robot system 1 includes a remote control system 100. This remote control system 100 allows the user 21 to remotely control the robot 12 using the operating device 22 at hand. The user 21 can also be referred to as an operator.
  • the robot system 1 includes a robot 12, an operating device 22, a remote operating device 31, and an intention monitoring device 41.
  • the remote control device 31 is a type of relay device.
  • the intention monitoring device 41 is a type of determination device.
  • the robot 12 and the remote control device 31 are connected to each other by wire or wirelessly, and can exchange signals. The same applies between the operating device 22 and the remote operating device 31.
  • the robot 12 includes an arm section attached to a pedestal.
  • the arm portion has a plurality of joints, and each joint is equipped with an actuator.
  • the robot 12 operates the arm portion by operating an actuator in accordance with an operation command input from the outside.
  • An end effector 12a selected according to the work content is attached to the tip of the arm part.
  • the robot 12 performs various operations on the workpiece 11 by operating the end effector 12a according to robot operation commands input from the outside.
  • a sensor is attached to the robot 12 to detect the movement of the robot 12 and the surrounding environment.
  • a motion sensor, a force sensor, and a camera are provided as the sensors.
  • the sensor is not limited to the above, and various sensors can be used.
  • a motion sensor is provided for each joint of the arm portion of the robot 12, and detects the rotation angle or angular velocity of each joint.
  • the force sensor detects the force applied to the robot 12 when the robot 12 operates.
  • the force sensor may be configured to detect the force applied to the end effector, or may be configured to detect the force applied to each joint of the arm portion. Further, the force sensor may be configured to detect moment instead of or in addition to force.
  • the camera detects an image of the work 11 that is the work target (the progress status of the work on the work 11).
  • the data detected by the motion sensor is motion data indicating the motion of the robot 12.
  • the data detected by the force sensor and camera is ambient environment data indicating the environment around the robot 12.
  • a set of values of motion data and values of surrounding environment data acquired at a certain timing may be referred to as a state value.
  • the status value indicates the status of the robot 12 and its surroundings.
  • the motion sensor, force sensor, and camera provided on the robot 12 may be collectively referred to as the state detection sensor 13.
  • a set of values detected by the state detection sensor 13 at a certain timing corresponds to a state value.
  • the status value can also be referred to as sensor information.
  • the state detection sensor 13 may be provided around the robot 12 instead of being attached to the robot 12.
  • the operating device 22 is a device operated by the user 21.
  • the operating device 22 is configured as a multi-joint arm device, and an operating element 22a is provided at the tip thereof.
  • the multi-joint arm device is provided with an actuator (not shown).
  • an arm type device for example, a pedal type device may be used.
  • any known device that constitutes the input side of the user interface can be used.
  • the operating device 22 includes a known operating force detection sensor 23.
  • the operating force detection sensor 23 detects the operating force applied to the operating device 22 by the user.
  • the operating force may be a value including the direction and magnitude of the force, such as a vector. Further, the operating force is detected not only in the force (N) applied by the user but also in the form of acceleration, which is a value linked to the force (i.e., the value obtained by dividing the force applied by the user by the mass of the operating device 22). It's okay.
  • the operating force applied by the user to the operator 22a of the operating device 22 may be particularly referred to as "user operating force.”
  • User operation force is a type of operation information. A user operating force output from the operating device 22 when the user operates the operating device 22 is converted into a robot operation command by the remote operating device 31 as described later.
  • the display unit 24 can display various information according to user instructions.
  • the display unit 24 can be, for example, a liquid crystal display.
  • the display unit 24 is arranged near the operating device 22. If it is difficult for the user operating the operating device 22 to directly view the robot 12, it is preferable that the display section 24 display an image of the robot 12 and its surroundings taken by a camera (not shown).
  • the remote control device 31 is configured as a known computer. Information such as the user operating force with which the user 21 operated the operating device 22 is input to the remote operating device 31 .
  • the remote control device 31 generates a motion command based on the user's operation force, and outputs the obtained motion command to the robot 12. Thereby, the robot 12 can be operated in response to the user's 21 operation on the operating device 22.
  • the remote control device 31 generates a response motion command based on the reaction force and the like, and outputs the obtained response motion command to the actuator of the control device 22 . Thereby, the force that the robot 12 receives from the outside can be presented to the user 21 in a pseudo manner via the operating device 22.
  • the intention monitoring device 41 monitors whether the operation performed by the user 21 on the operating device 22 deviates from the original work intention determined in advance.
  • the intention monitoring device 41 is connected to the remote control device 31 by wire or wirelessly, and can exchange signals.
  • intention means an abstraction of the content of a process or operation, for example, from the perspective of order. For example, when transporting a workpiece, the “intention” is evaluated as to which position the workpiece is heading and whether the expected workpiece is being gripped. “Intention” captures the contents of a process, etc. at a relatively large granularity. Therefore, specific differences such as the route and speed of gripping and moving the workpiece are not evaluated as “intentions" or, even if evaluated, are not given importance.
  • the intention monitoring device 41 includes a work process classification model 42, a process classification transition information storage section 43, a determination section 44, a warning output section 45, and a stop control section 46.
  • the process classification transition information storage section 43 is a type of storage section.
  • the work process classification model 42 is a machine learning model constructed by performing machine learning in advance.
  • the work process classification model 42 is constructed by learning the relationship between work processes and data indicating operations performed on the operating device 22 and the state of the robot 12.
  • the format of the work process classification model 42 is arbitrary, in this embodiment, a model based on a neural network is used.
  • construction of the work process classification model 42 is performed by the intention monitoring device 41 in this embodiment, it may be performed by another computer.
  • Machine learning performed on the work process classification model 42 will be explained in detail.
  • the user 21 when constructing the work process classification model 42, the user 21 operates the operating device 22 to repeatedly make the robot 12 perform a predetermined work.
  • data including the user operating force obtained by the operating force detection sensor 23 and the state value obtained by the state detection sensor 13 is input from the remote operating device 31 to the intention monitoring device 41.
  • the intention monitoring device 41 supplies the obtained data to the work process classification model 42 as training data.
  • the user 21 who operates the operating device 22 may be the same person or may be a different person.
  • Working state 1 in the air is a state in which the robot 12 holds the workpiece 11 and positions it above the recess 16.
  • Working state 2 contact is a state in which the work 11 held by the robot 12 is in contact with the surface on which the recess 16 is formed.
  • Working state 3 insertion is a state in which the work 11 held by the robot 12 is slightly inserted into the recess 16.
  • Work state 4 (completed) is a state in which the workpiece 11 held by the robot 12 is completely inserted into the recess 16.
  • the four work states correspond to any one of a start state, an intermediate state, and an end state of a series of work by the robot 12.
  • a series of operations performed by the robot 12 is divided into a plurality of processes using the operating state as a boundary. As the robot 12 performs operations corresponding to each process, the working state changes in the order of working state 1 (in the air), working state 2 (contact), working state 3 (insertion), and working state 4 (completed). .
  • Data for machine learning can be acquired by the user 21 actually operating the operating device 22 and having the robot 12 perform a series of tasks.
  • data obtained by having the robot 12 perform the series of tasks shown in FIG. 2 once may be referred to as work data.
  • the user 21 instructs the intention monitoring device 41 in real time that the work state has changed at the timing when each work state is reached while the user 21 is operating the operating device 22 to have the robot 12 perform a series of tasks.
  • the instruction can be given, for example, by the user 21 operating a pedal (not shown) with his or her foot, or by the user 21 uttering specific words into a microphone.
  • the operation during the timing at which the user 21 instructs a change in the work state is treated as one work process.
  • Instructions do not have to be given in real time. For example, after the work data is obtained, the user 21 can specify at what timing the work state was switched after the fact while viewing the data.
  • the series of tasks is divided into multiple work steps based on the user's 21 judgment.
  • a series of tasks can be automatically divided into a plurality of work steps using a machine learning model that is separately constructed to classify work data into a plurality of work steps.
  • the machine learning model for classification may be one that uses clustering technology, which is a type of unsupervised learning, for example.
  • FIG. 3 schematically shows how work data for learning is acquired from various sensors when the user 21 operates the robot 12 to perform a series of tasks. Data is repeatedly acquired from the state detection sensor 13 and the operating force detection sensor 23 at appropriate time intervals. In this embodiment, the data acquisition cycle is set to 1 second, but can be changed as appropriate.
  • FIG. 3 shows an example in which the time interval of data acquisition by the operating force detection sensor is equal to the data acquisition cycle, while the time interval of data acquisition by the state detection sensor 13 is shorter than the data acquisition cycle.
  • one data set includes a transition in a short period from the previous data acquisition timing to the current data acquisition timing. In this way, one data set may include the time course of at least one of the state value and the user operation force.
  • the user 21 specifies a label for each data set.
  • the label represents which work process the data set belongs to.
  • the label can be, for example, a character string such as "action 2 (rubbing action)".
  • the workflow classification model 42 learns the relationship between datasets and labels. For processing convenience, an index number that uniquely identifies a label is predetermined. In the work process classification model 42, labels are handled in the form of index numbers.
  • Machine learning models learn labeled feature vectors that represent datasets (supervised learning). Since machine learning in neural networks is well known, the explanation will be omitted.
  • the operating force detected by the operating force detection sensor 23 and the state value detected by the state detection sensor 13 are output from the remote operating device 31 to the intention monitoring device 41.
  • a data set is generated from the operating force and the operating force, and this data set is input to the work process classification model 42 as a feature vector.
  • this feature vector may be referred to as an input feature vector.
  • the input feature vector can also be referred to as input data.
  • the input feature vector may further include a recent past transition regarding the state value and a recent past transition regarding the user operation force.
  • the work process classification model 42 operates in the inference phase and obtains a label corresponding to the input feature vector. Thereby, the work process can be estimated.
  • the work process classification model 42 outputs the obtained label to the determination unit 44.
  • the process classification transition information storage unit 43 is configured by a storage device included in the computer of the intention monitoring device 41.
  • the process classification transition information storage unit 43 stores process classification transition information.
  • the process classification transition information is information indicating the order in which the output of the work process classification model 42 should change over time when the operating device 22 is operated correctly and the robot 12 performs a series of operations. Specifically, the process classification transition information storage unit 43 should output the label "Movement 1 (descending motion)" first in the process of a series of tasks performed by the robot 12, and then the label "Motion 2 (descending motion)". It is remembered that a label for ⁇ Rubbing action)'' should be output, and then a label for ⁇ Movement 3 (lower movement in the hole)'' should be output. The stored contents of the process classification transition information storage section 43 are output to the determination section 44 .
  • the determination unit 44 refers to the storage contents of the process classification transition information storage unit 43 and determines whether the outputs of the work process classification model 42 appear in the correct order. The determination unit 44 outputs the determination result to the warning output unit 45 and the stop control unit 46.
  • the work process classification model 42 first outputs a label of "Movement 3 (downhill motion in the hole)" in the process in which the user 21 performs a series of operations on the operating device 22. Since the order of the work processes does not match the order stored in the process classification transition information storage unit 43, the determination unit 44 cannot determine that the user 21's operation on the operating device 22 deviates from the original work intention. can.
  • the warning output unit 45 outputs a warning using an appropriate method when the determination unit 44 determines that the user 21's operation on the operating device 22 deviates from the original intention.
  • the warning can be issued, for example, by outputting a warning message to the display unit 24.
  • the user may be warned by other methods such as a buzzer or a lamp.
  • the stop control unit 46 can output a control signal to the remote control device 31. If the determination unit 44 determines that the operation of the user 21 on the operating device 22 deviates from the original intention, the stop control unit 46 controls the operation of the robot 12 to be immediately stopped via the remote operating device 31. can be controlled.
  • the intention monitoring device 41 can realize functional safety regarding the operation of the robot 12 without substantially restricting the operation of the remote control device 31.
  • the work procedure is defined as follows. [1] The robot 12 moves to the gripping position. [2] The end effector 12a of the robot 12 grips the small workpiece 11. [3] Transport the small work 11 to just above the small hole. [4] Lower the small workpiece 11 and insert it into the small hole, and then release the grip by the end effector 12a. [5] The robot 12 moves to the gripping position. [6] The end effector 12a of the robot 12 grips the large workpiece 11. [7] Transport the large workpiece 11 to just above the large hole. [8] Lower the large workpiece 11 and insert it into the large hole, and then release the grip by the end effector 12a.
  • the work process classification model 42 is constructed in advance by learning the relationship between the state value and user operation force acquired at a certain timing and the label indicating the work process.
  • the output of the work process classification model 42 is "Movement 1", “Movement 2", “Movement 3”, “Movement 4", etc. , "Action 8" is expected.
  • This information is stored in the process classification transition information storage section 43.
  • the determination unit 44 detects a mismatch between the output transition and the transition stored in the process classification transition information storage unit 43, It is determined that the operation of the user 21 is not in accordance with the original work intention. As a result, the warning output unit 45 outputs a warning. By the warning operation of the warning output unit 45, the user 21 can notice and correct errors in the work procedure at an early stage.
  • the storage shelf includes multiple shelves.
  • different labels are given to process operations depending on which shelf board the work 11 is placed on.
  • the correct place to place the workpiece 11 is determined to be the first stage of the shelf. Assume that the user 21 misunderstands the content of the work and operates the operating device 22 so that the robot 12 places the work 11 on the second shelf. In this case, the label output by the work process classification model 42 does not match the storage content of the process classification transition information storage unit 43. Therefore, the determination unit 44 determines that the operation by the user 21 is not in accordance with the original intention of the work. The user 21 can quickly recognize errors in the work content by the warning issued by the warning output unit 45.
  • the remote control system 100 of this embodiment includes the remote control device 31 and the intention monitoring device 41.
  • Information on the operating force detected by the operating force detection sensor 23 when the user 21 performs an operation on the operating device 22 is input to the remote operating device 31 .
  • the remote control device 31 outputs a robot operation command for operating the robot 12 according to the information on the operating force.
  • the intention monitoring device 41 inputs the operating force and the state value as input data to the work process classification model 42, which is a learned machine learning model.
  • the intention monitoring device 41 determines whether the operation on the operating device 22 is in accordance with the original work intention based on the output of the work process classification model 42.
  • the work process classification model 42 is a classification model that classifies the operating force and state values when the user 21 operates the operating device 22 according to the original work intention into a plurality of work processes. configured.
  • the classification results output by the work process classification model 42 are used to determine whether the operation on the operating device 22 is in accordance with the original work intention.
  • the remote control system 100 of this embodiment includes a process classification transition information storage section 43.
  • the process classification transition information storage unit 43 stores process classification transition information in advance.
  • the process classification transition information is the temporal transition of the classification results obtained by the work process classification model 42 classifying the operating force and state value when the user 21 operates the operating device 22 according to the original work intention.
  • the intention monitoring device 41 includes a determination unit 44 .
  • the determination unit 44 determines whether the operation on the operating device 22 is in accordance with the original work intention based on whether the transition of the classification results output by the work process classification model 42 matches the process classification transition information. .
  • the remote control system 100 of this embodiment includes a warning output section 45.
  • the warning output unit 45 outputs a warning when the intention monitoring device 41 determines that the operation on the operating device 22 is not in accordance with the original work intention.
  • the remote control system 100 of this embodiment includes a stop control section 46.
  • the stop control unit 46 stops the operation of the robot 12 based on the operation.
  • the work process classification model 42 is constructed by performing supervised learning.
  • a known one class SVM One Class SVM
  • SVM is an abbreviation for Support Vector Machine.
  • a remote control system 100a having this configuration is shown in FIG.
  • members that are the same as or similar to those of the above-described embodiment will be denoted by the same reference numerals in the drawings, and the description thereof may be omitted.
  • the robot system 1a of the first modification includes a remote control system 100a.
  • the intention monitoring device 41 includes an outlier detection model 42x, which is a type of machine learning model.
  • outlier detection in other words, abnormality detection
  • the process classification transition information storage section 43 is omitted.
  • the outlier detection model 42x learns a feature vector representing the above data set when the user 21 operates the operating device 22 according to the original work intention and causes the robot 12 to perform the work.
  • feature vectors are mapped to a high-dimensional space using a well-known kernel function so that outliers are closer to the origin.
  • a hyperplane having the maximum distance from the origin is determined in mapping to a high-dimensional space using a kernel function. This hyperplane becomes the standard for determining outliers.
  • the outlier detection model 42x outputs whether the input feature vector is an outlier. When the outlier detection model 42x detects an outlier, the determination unit 44 determines that the user 21 is operating the operating device 22 with the wrong intention.
  • the outlier detection model 42x is trained in advance to determine the operating force and state value when the user 21 operates the operating device 22 according to the original work intention.
  • the intention monitoring device 41 includes a determination unit 44 .
  • the determining unit 44 determines whether the operation on the operating device 22 is in line with the original work intention, based on whether an outlier is detected.
  • the robot system 1b of this modification shown in FIG. 6 includes a remote control system 100b.
  • the remote control system 100b includes a simulator 51 that simulates the operation of the robot 12.
  • the simulator 51 is configured as a known computer and includes a CPU, ROM, RAM, and the like.
  • the simulator 51 and the intention monitoring device 41 are connected to each other by wire or wirelessly, and can exchange signals.
  • a virtual three-dimensional space 52 is constructed in the simulator 51.
  • a three-dimensional model simulating the robot 12 and a three-dimensional model simulating the workpiece 11 are arranged in this three-dimensional space.
  • the three-dimensional model of the robot 12 may be referred to as a virtual robot 12V.
  • the virtual robot 12V operates to simulate the motion of the robot 12.
  • the intention monitoring device 41 outputs to the simulator 51 a robot motion command that is substantially the same as the robot motion command that the remote control device 31 outputs to the robot 12.
  • the simulator 51 operates the virtual robot 12V based on the robot operation command, and calculates sensor information such as the position and reaction force of the virtual robot 12V through simulation. The obtained sensor information is output from the simulator 51 to the intention monitoring device 41.
  • the intention monitoring device 41 outputs a robot movement command to the simulator 51, and obtains the simulation result of sensor information.
  • the intention monitoring device 41 generates an input feature vector based on the user's operating force and the simulation result of sensor information, and performs classification using the work process classification model 42. The subsequent operations are similar to those in the embodiment described above.
  • the intention monitoring device 41 uses the simulation results to check whether the user's 21 operation is in accordance with the original work intention. You can make a judgment based on Therefore, it is possible to warn the user 21 or stop the erroneous operation of the robot 12 at an earlier stage.
  • the remote control system 100b of this modification includes the simulator 51 that operates the virtual robot 12V that simulates the robot 12 based on the operation command output by the remote control device 31.
  • Information regarding the operation of the virtual robot 12V in the simulator 51 is input to the work process classification model 42.
  • the work process classification model 42 used in the intention monitoring device 41 may be configured to classify work processes using a classification method other than a neural network.
  • classification can be achieved using known methods such as random forest, boosting, and DNN algorithms.
  • DNN is an abbreviation for Deep Neural Network.
  • Examples of boosting include Adaboost and XGBoost.
  • An example of a DNN algorithm is LSTM.
  • LSTM is an abbreviation for Long Short Term Memory.
  • the outlier detection model 42x is not limited to a one-class SVM, but can be implemented using various other methods.
  • outliers can be detected by a method using a neural network such as LSTM or an autoencoder, or a method using a statistical model such as a mixed normal distribution model.
  • the feature vector input to the work process classification model 42 or the outlier detection model 42x may be configured such that the state value does not include surrounding environment data. It is also possible to omit one of the operating force and state value of the robot 12 from the feature vector.
  • the outlier detection model 42x shown in the first modification can also be combined with the simulator 51 shown in the second modification.
  • Information other than user operation force may be used as the operation information.
  • the operating position, operating speed, etc. of the operating element 22a on the operating device 22 may be detected by a sensor and included in the operating information.
  • the force that the robot 12 receives from the outside is presented to the user 21 in a pseudo manner via the operating device 22.
  • the present disclosure can also be applied to a remote control system that does not present such a pseudo sense of force.
  • the present disclosure can be applied not only to fixed manipulators such as industrial robots, but also to robot systems that include mobile manipulators.
  • the mobile manipulator for example, a humanoid robot, a legged robot, etc. can be considered.
  • circuits, unit, or means is hardware that performs the recited functions or is hardware that is programmed to perform the recited functions.
  • the hardware may be the hardware disclosed herein or other known hardware that is programmed or configured to perform the recited functions.
  • the circuit, means or unit is a combination of hardware and software, the software being used to configure the hardware and/or the processor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

遠隔操作システムは、中継装置と、判定装置と、を備える。前記中継装置には、操作装置に対して行われた操作をセンサで検出した操作情報が入力される。前記中継装置は、当該操作に応じて、ロボットを動作させるためのロボット動作指令を出力する。前記判定装置は、前記操作情報及び前記ロボットの動作に関する情報のうち少なくとも何れかを学習済の機械学習モデルに入力し、前記操作装置に対する操作が本来の作業意図に沿うか否かを前記機械学習モデルを用いて判定する。

Description

遠隔操作システム及び遠隔操作方法
　本開示は、ロボットの遠隔操作に関する。
　特許文献１は、ロボット等の機械装置を操作装置によって操作する機械装置システムを開示する。
　特許文献１において、機械装置の制御装置は、動作制御部と、演算部と、補助部と、を備える。動作制御部は、操作装置から出力される操作情報に従って、機械装置の動作を制御する。演算部は、機械装置の動作を示す第一動作情報を入力データとし且つ第一動作情報に対応する機械装置の動作の指令を出力データとする機械学習モデルを含む。補助部は、動作制御部によって制御される機械装置の動作と、演算部によって出力される指令に対応する機械装置の動作との間の差異に基づき、操作装置における操作を補助する補助指令を出力する。
　特許文献１は、上記の構成により、以下の効果が得られるとする。即ち、補助指令に基づく補助を操作者が受けることで、機械学習によって得られる理想的な操作に自身の操作を近づけることができる。この結果、機械装置の操作に関して、機械学習モデルを用いた、熟練者の技能継承が可能になる。
特開２０２０－１９２６４１号公報
　ロボットシステムにおいて、機能安全を実現することが望まれている。一般的なロボットシステムでは、例えば以下のようにして、機能安全を実現している。［１］ロボットの移動範囲内に他の物体が侵入したことをセンサにより検知した場合に、停止制御を行う。［２］モータのトルクに関して目標値と実際の制御量の偏差が大きい場合、他の物体と接触したと判定して停止制御を行う。
　遠隔操作によるロボットシステムでは、人間がロボットに動作指示を与える。従って、仮に人間が作業内容を誤って認識しつつロボットを操作した場合、上記の［１］、［２］で説明した状況等にならない限り、ロボットの動作を停止させることはできない。このように、従来は、本来の作業意図と異なる作業を人間が遠隔で指示することによるロボットの動作に関し、実質的な機能安全を実現することができなかった。
　上述の特許文献１は、動作の差異に基づく補助によって、操作の速度、力の入れ具合、動かし方等に関して、操作者を機械学習モデルのやり方に倣わせて、言い換えれば熟練者のやり方に倣わせて、作業品質を向上することができる。しかし、作業品質がある程度低下することは許容する一方で、本来の作業意図を外れるような人間の不適切な操作を検知及び防止するためには、特許文献１の構成は必ずしも適切ではなかった。
　本開示は以上の事情に鑑みてされたものであり、その目的は、ロボットの遠隔操作に関して、本来の作業意図から逸脱するような人間の操作を検知することにある。
　本開示の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段とその効果を説明する。
　本開示の第１の観点によれば、以下の構成の遠隔操作システムが提供される。即ち、この遠隔操作システムは、中継装置と、判定装置と、を備える。前記中継装置には、人間が操作装置に対して行った操作をセンサで検出した操作情報が入力される。前記中継装置は、前記操作情報に応じてロボットを動作させるためのロボット動作指令を出力する。前記意図監視装置は、前記操作情報及び前記ロボットの状態に関する情報のうち少なくとも何れかを、学習済の機械学習モデルに入力データとして入力する。前記意図監視装置は、前記操作装置に対する操作が本来の作業意図に沿うか否かを、前記機械学習モデルの出力に基づいて判定する。
　本開示の第２の観点によれば、以下の遠隔操作方法が提供される。即ち、この遠隔操作方法では、人間が操作装置に対して行った操作をセンサで検出した操作情報が入力されるのに応じて、ロボットを動作させるためのロボット動作指令を出力する。前記操作情報及び前記ロボットの状態に関する情報のうち少なくとも何れかを、学習済の機械学習モデルに入力データとして入力する。前記操作装置に対する操作が本来の作業意図に沿うか否かを、前記機械学習モデルを用いて判定する。
　これにより、本来の作業意図から逸脱するように人間がロボットを遠隔操作するのを検知することができる。
　本開示によれば、ロボットの遠隔操作に関して、本来の作業意図から逸脱するような人間の操作を検知することができる。
本開示の一実施形態に係る遠隔操作システムを備えるロボットシステムを示す模式図。 ロボットに行わせる一連の作業と、それを構成する作業工程と、について説明する模式図。 作業データを構成するユーザ操作力及び状態値が反復して取得される様子を示す模式図。 本来の作業意図に沿って操作した場合と、作業手順を誤って操作した場合とで、作業工程分類モデルが出力する結果を説明する図。 ロボットシステムの第１変形例を示す図。 ロボットシステムの第２変形例を示す図。
　次に、図面を参照して、開示される実施の形態を説明する。図１は、本開示の一実施形態に係る遠隔操作システム１００を備えるロボットシステム１の模式図である。
　図１に示すロボットシステム１は、ロボット１２を用いて作業を行うシステムである。ロボット１２に行わせる作業としては様々であるが、例えば、組立て、加工、塗装、洗浄等がある。ロボットシステム１は、遠隔操作システム１００を備える。この遠隔操作システム１００により、ユーザ２１は、手元の操作装置２２を使用してロボット１２を遠隔操作することができる。ユーザ２１は、オペレータと言い換えることもできる。
　図１に示すように、ロボットシステム１は、ロボット１２と、操作装置２２と、遠隔操作装置３１と、意図監視装置４１と、を備える。遠隔操作装置３１は、中継装置の一種である。意図監視装置４１は、判定装置の一種である。ロボット１２と遠隔操作装置３１は有線又は無線により互いに接続されており、信号のやり取りを行うことができる。操作装置２２と遠隔操作装置３１との間も同様である。
　ロボット１２は、台座に取り付けられたアーム部を備える。アーム部は、複数の関節を有しており、各関節にはアクチュエータが備えられている。ロボット１２は、外部から入力された動作指令に応じてアクチュエータを動作させることでアーム部を動作させる。
　アーム部の先端には、作業内容に応じて選択されたエンドエフェクタ１２ａが取り付けられている。ロボット１２は、外部から入力されたロボット動作指令に応じてエンドエフェクタ１２ａを動作させ、ワーク１１に対する各種の作業を行う。
　ロボット１２には、ロボット１２の動作及び周囲環境等を検出するためのセンサが取り付けられている。本実施形態においては、当該センサとして、動作センサ、力センサ、及びカメラが設けられている。ただし、センサとしては上記に限定されず、様々なセンサを用いることができる。
　動作センサは、ロボット１２のアーム部の関節毎に設けられており、各関節の回転角度又は角速度を検出する。力センサは、ロボット１２の動作時に、ロボット１２が受けた力を検出する。力センサはエンドエフェクタに掛かる力を検出する構成であっても良いし、アーム部の各関節に掛かる力を検出する構成であっても良い。また、力センサは、力に代えて又は加えてモーメントを検出する構成であっても良い。カメラは、作業対象であるワーク１１の映像（ワーク１１に対する作業の進行状況）を検出する。
　動作センサが検出するデータは、ロボット１２の動作を示す動作データである。力センサ及びカメラが検出するデータは、ロボット１２の周囲の環境を示す周囲環境データである。あるタイミングで取得された動作データの値と周囲環境データの値の集合を、以下の説明で状態値と呼ぶことがある。状態値は、ロボット１２及びその周辺の状態を示すものである。
　以下の説明では、ロボット１２に設けられた動作センサ、力センサ、及びカメラをまとめて状態検出センサ１３と称することがある。あるタイミングで状態検出センサ１３が検出した値の集合が、状態値に相当する。状態値は、センサ情報と言い換えることもできる。状態検出センサ１３は、ロボット１２に取り付ける代わりに、ロボット１２の周囲に設けても良い。
　操作装置２２は、ユーザ２１によって操作される装置である。操作装置２２は多関節アーム装置として構成され、その先端には操作子２２ａが設けられている。多関節アーム装置には、図示しないアクチュエータが設けられている。アーム式に代えて、例えばペダル式の装置が用いられても良い。操作装置２２として、ユーザインタフェースの入力側を構成する公知の任意の装置を用いることができる。
　操作装置２２は、公知の操作力検出センサ２３を備える。操作力検出センサ２３は、ユーザが操作装置２２に加えた操作力を検出する。
　操作子２２ａが様々な方向に動かすことができるように構成されている場合、操作力は力の向き及び大きさを含む値、例えばベクトルであっても良い。また、操作力は、ユーザが加えた力（Ｎ）だけでなく、力に連動する値である加速度（即ち、ユーザが加えた力を操作装置２２の質量で除算した値）の形で検出されても良い。
　以下の説明では、ユーザが操作装置２２の操作子２２ａに加えた操作力を、特に「ユーザ操作力」と称することがある。ユーザ操作力は、操作情報の一種である。ユーザが操作装置２２を操作することで操作装置２２から出力されたユーザ操作力は、後述するように遠隔操作装置３１でロボット動作指令に変換される。
　表示部２４は、ユーザの指示に応じて、様々な情報を表示することができる。表示部２４は、例えば液晶ディスプレイとすることができる。表示部２４は、操作装置２２の近傍に配置されている。操作装置２２を操作するユーザからロボット１２を直接視認することが難しい場合、表示部２４に、図示しないカメラで撮影したロボット１２及びその周辺の映像を表示させることが好ましい。
　遠隔操作装置３１は、公知のコンピュータとして構成されている。遠隔操作装置３１には、ユーザ２１が操作装置２２を操作したユーザ操作力等の情報が入力される。遠隔操作装置３１は、ユーザ操作力に基づいて動作指令を生成し、得られた動作指令をロボット１２へ出力する。これにより、操作装置２２に対するユーザ２１の操作に応じてロボット１２を動作させることができる。
　遠隔操作装置３１には、ロボット１２が外部環境から受けた反力等を示すセンサ情報が入力される。遠隔操作装置３１は、反力等に基づいて応答動作指令を生成し、得られた応答動作指令を操作装置２２のアクチュエータへ出力する。これにより、ロボット１２が外部から受けた力を、操作装置２２を介して、ユーザ２１に対して疑似的に提示することができる。
　意図監視装置４１は、ユーザ２１が操作装置２２に対して行う操作が、事前に定められた本来の作業意図から逸脱していないかを監視する。意図監視装置４１は遠隔操作装置３１と有線又は無線により互いに接続されており、信号のやり取りを行うことができる。
　本開示において「意図」とは、工程、動作の内容を、例えば順番等の観点で抽象化したものを意味する。例えば、ワークの搬送を行う場合、どの位置にワークが向かっているか、想定したワークが把持されているかが、「意図」として評価される。「意図」は、工程等の内容を、相対的に大きな粒度で捉えたものである。従って、ワークを把持して動かすルート及び速度等の具体的な差異は、「意図」として評価されず、又は評価されたとしても重視されない。
　意図監視装置４１は、作業工程分類モデル４２と、工程分類推移情報記憶部４３と、判定部４４と、警告出力部４５と、停止制御部４６と、を備える。工程分類推移情報記憶部４３は、記憶部の一種である。
　作業工程分類モデル４２は、事前に機械学習を行うことにより構築された機械学習モデルである。作業工程分類モデル４２は、操作装置２２に対して行われる操作及び当該ロボット１２の状態を示すデータと、作業工程と、の関係を学習することにより構築される。作業工程分類モデル４２の形式は任意であるが、本実施形態では、ニューラルネットワークによるモデルが用いられる。作業工程分類モデル４２の構築は、本実施形態においては意図監視装置４１において行われるが、他のコンピュータで行われても良い。
　作業工程分類モデル４２に対して行われる機械学習について、詳細に説明する。本実施形態において、作業工程分類モデル４２の構築時には、ユーザ２１が操作装置２２を操作して、事前に定められた作業をロボット１２に行わせる作業を反復して行う。このとき、操作力検出センサ２３により得られたユーザ操作力と、状態検出センサ１３により得られる状態値と、を含むデータが、遠隔操作装置３１から意図監視装置４１に入力される。意図監視装置４１は、得られたデータを訓練データとして作業工程分類モデル４２に供給する。作業工程分類モデル４２の訓練フェーズと推論フェーズにおいて、操作装置２２を操作するユーザ２１は同一人物であっても良いし、別の人物であっても良い。
　以下、ロボット１２に行わせる一連の作業の例について、図２を参照して説明する。
　図２に示すように、ワーク１１を凹部１６に入れる一連の作業をロボット１２に行わせる場合を考える。この一連の作業が開始してから終了するまで、空中、接触、挿入、及び完了の４つの作業状態が現れると考えることができる。
　作業状態１（空中）は、ロボット１２がワーク１１を保持して凹部１６の上部に位置させている状態である。作業状態２（接触）は、ロボット１２が保持したワーク１１を、凹部１６が形成されている面に接触させている状態である。作業状態３（挿入）は、ロボット１２が保持したワーク１１を凹部１６に少し挿入している状態である。作業状態４（完了）は、ロボット１２が保持したワーク１１が凹部１６に完全に挿入された状態である。
　４つの作業状態は、ロボット１２による一連の作業の開始状態、途中状態、及び終了状態のうち何れかに相当する。ロボット１２による一連の作業は、作業状態を境界として、複数の工程に分割される。それぞれの工程に対応する動作をロボット１２が行うことにより、作業状態は、作業状態１（空中）、作業状態２（接触）、作業状態３（挿入）、作業状態４（完了）の順に推移する。
　機械学習のためのデータは、ユーザ２１が操作装置２２を実際に操作してロボット１２に一連の作業を行わせることにより、取得することができる。以下、図２に示す一連の作業をロボット１２に１回行わせることにより得られるデータを作業データと呼ぶことがある。
　ユーザ２１は、操作装置２２を操作して一連の作業をロボット１２に行わせる途中で、それぞれの作業状態に到達したタイミングで、作業状態が変化したことを意図監視装置４１にリアルタイムで指示する。指示は、例えば、図示しないペダルをユーザ２１が足で操作すること、ユーザ２１が特定の言葉をマイクに向かって発声すること等により行うことができる。作業状態の変化がユーザ２１によって指示されたタイミングの間の動作が、１つの作業工程として取り扱われる。
　指示はリアルタイムで行われなくても良い。例えば、作業データが得られた後に、どのタイミングで作業状態が切り換わったかを、ユーザ２１がデータを閲覧しながら事後的に指定することができる。
　上記の例では、一連の作業が、ユーザ２１の判断によって複数の作業工程に分割される。これに代えて、作業データを複数の作業工程に分類するために別に構築された機械学習モデルを用いて、一連の作業を自動的に複数の作業工程に分割することもできる。分類のための機械学習モデルは、例えば、教師なし学習の一種であるクラスタリング技術を用いたものとすることができる。
　図３には、ユーザ２１がロボット１２を操作して一連の作業を行う場合に、学習のための作業データが各種のセンサから取得される様子が模式的に示されている。データは、状態検出センサ１３及び操作力検出センサ２３から、適宜の時間間隔で反復して取得される。本実施形態では、データ取得周期は１秒に定められているが、適宜変更することができる。
　ロボット１２が何れかの作業工程を行っている場合に、あるタイミングにおいて取得されたユーザ操作力及び状態値から、データ組が構成される。図３には、操作力検出センサのデータ取得の時間間隔はデータ取得周期と等しい一方、状態検出センサ１３のデータ取得の時間間隔はデータ取得周期より短い例が示されている。状態値に関して、図３の例では、１つのデータ組に、１回前のデータ取得タイミングから今回のデータ取得タイミングまでの短い期間での推移が含まれている。このように、１つのデータ組に、状態値及びユーザ操作力のうち少なくとも何れかの時間推移が含まれても良い。
　ユーザ２１は、それぞれのデータ組について、ラベルを指定する。ラベルは、当該データ組がどの作業工程に属するかを表現するものである。ラベルは、例えば「動作２（擦り動作）」等の文字列とすることができる。訓練フェーズにおいて、作業工程分類モデル４２は、データ組とラベルとの関係を学習する。処理の便宜のために、ラベルを一意に特定するインデックス番号が予め定められている。作業工程分類モデル４２において、ラベルはインデックス番号の形で取り扱われる。
　ユーザ２１の操作及び状況にはバラツキがあるため、作業工程としての動作２（擦り動作）には様々なバリエーションが存在する。機械学習を行うにあたって、ユーザ２１は操作装置２２の操作を繰り返して、同一の一連の作業を反復してロボットに行わせる。これにより複数の作業データが得られ、作業工程分類モデル４２は、それぞれの作業工程についてバリエーションを学習することができる。
　本実施形態においては、ニューラルネットワークによる機械学習モデルが採用されている。機械学習モデルは、ラベルが付された、データ組を表現する特徴ベクトルを学習する（教師あり学習）。ニューラルネットワークにおける機械学習は周知であるため、説明を省略する。
　次に、推論フェーズにおける作業工程分類モデル４２の出力について説明する。
　推論フェーズにおいては、操作力検出センサ２３が検出する操作力と、状態検出センサ１３が検出する状態値とが、遠隔操作装置３１から意図監視装置４１へ出力される。意図監視装置４１において、操作力及び操作力からデータ組が生成され、このデータ組が、作業工程分類モデル４２に特徴ベクトルとして入力される。以下、この特徴ベクトルを入力特徴ベクトルと呼ぶことがある。入力特徴ベクトルは、入力データと言い換えることもできる。入力特徴ベクトルに、状態値に関する直近の過去の推移、及び、ユーザ操作力に関する直近の過去の推移が、更に含められても良い。
　作業工程分類モデル４２は推論フェーズで動作し、入力特徴ベクトルに対応するラベルを求める。これにより、作業工程を推定することができる。作業工程分類モデル４２は、得られたラベルを判定部４４へ出力する。
　工程分類推移情報記憶部４３は、意図監視装置４１のコンピュータが備える記憶装置によって構成される。工程分類推移情報記憶部４３は、工程分類推移情報を記憶する。
　工程分類推移情報は、操作装置２２が正しく操作されてロボット１２に一連の動作をさせた場合の、作業工程分類モデル４２の出力が時間の経過とともに推移すべき順番を示す情報である。具体的には、工程分類推移情報記憶部４３は、ロボット１２の一連の作業の過程で、最初に「動作１（下降動作）」のラベルが出力されるべきであり、次に「動作２（擦り動作）」のラベルが出力されるべきであり、次に「動作３（穴内下降動作）」のラベルが出力されるべきであることを記憶する。工程分類推移情報記憶部４３の記憶内容は、判定部４４に出力される。
　判定部４４は、工程分類推移情報記憶部４３の記憶内容を参照して、作業工程分類モデル４２の出力が正しい順番で現れているか否かを判断する。判定部４４は、判定結果を警告出力部４５及び停止制御部４６へ出力する。
　例えば、ユーザ２１が操作装置２２に対して一連の操作を行う過程で、作業工程分類モデル４２が、最初に「動作３（穴内下降動作）」のラベルを出力した場合を考える。工程分類推移情報記憶部４３に記憶されている作業工程の順番と一致しないので、判定部４４は、ユーザ２１の操作装置２２に対する操作が、本来の作業意図から逸脱していると判断することができる。
　警告出力部４５は、操作装置２２に対するユーザ２１の操作が本来の意図を逸脱していると判定部４４が判断した場合に、適宜の方法で警告を出力する。警告は、例えば、表示部２４に警告メッセージを出力することで行うことができる。ユーザに対する警告は、ブザー、ランプ等の他の方法で行われても良い。
　停止制御部４６は、遠隔操作装置３１に制御信号を出力することができる。停止制御部４６は、操作装置２２に対するユーザ２１の操作が本来の意図を逸脱していると判定部４４が判断した場合に、遠隔操作装置３１を介して、ロボット１２の動作を直ちに中止するように制御することができる。
　本実施形態では、上記のように構成することで、作業工程の推移又は動作の順番に着目した監視により、ユーザ２１が必要でない作業等をロボット１２に行わせようとするのを早期に検出することができる。また、遠隔操作装置３１の実質的な動作制限を伴うことなく、意図監視装置４１によって、ロボット１２の動作に関する機能安全を実現することができる。
　以下、本来の作業意図を逸脱した操作の検知について、具体的な例を示して説明する。図２で説明した作業の例とは異なるが、図４で示すように、２つのワーク１１を穴に挿入する作業をロボット１２に行わせる作業を考える。
　この例では、以下のように作業手順が定められている。
［１］ロボット１２が把持位置まで移動する。
［２］ロボット１２のエンドエフェクタ１２ａが、小さいワーク１１を把持する。
［３］小さいワーク１１を小さい穴のすぐ上方まで搬送する。
［４］小さいワーク１１を下降させて小さい穴に挿入し、その後、エンドエフェクタ１２ａによる把持を解除する。
［５］ロボット１２が把持位置まで移動する。
［６］ロボット１２のエンドエフェクタ１２ａが、大きいワーク１１を把持する。
［７］大きいワーク１１を大きい穴のすぐ上方まで搬送する。
［８］大きいワーク１１を下降させて大きい穴に挿入し、その後、エンドエフェクタ１２ａによる把持を解除する。
　意図監視装置４１においては、上記の作業手順［１］～［８］に対応した作業工程のラベルとして、「動作１」～「動作８」の８つのラベルが予め定められている。あるタイミングにおいて取得された状態値及びユーザ操作力と、作業工程を示すラベルと、の関係を学習することにより、作業工程分類モデル４２が予め構築される。
　ユーザ２１が上記の作業手順に正しく従って操作装置２２を操作した場合、作業工程分類モデル４２の出力は、「動作１」、「動作２」、「動作３」、「動作４」、・・・、「動作８」の順番で推移すると期待される。この情報が、工程分類推移情報記憶部４３に記憶される。
　ユーザ２１が上記の作業手順を誤って認識していたために、小さなワーク１１よりも先に、ロボット１２が大きなワーク１１を把持するように操作装置２２を操作したと仮定する。この場合、作業工程分類モデル４２の出力は、「動作１」の次に「動作５」が現れるように推移することになる。作業工程分類モデル４２が「動作５」のラベルを出力した時点で、判定部４４は、出力の推移と、工程分類推移情報記憶部４３に記憶されている推移と、間の不一致を検出し、ユーザ２１の操作が本来の作業意図に沿っていないと判断する。その結果、警告出力部４５が警告を出力する。ユーザ２１は、警告出力部４５の警告動作により、作業手順の誤りに早期に気付いて修正することができる。
　上記とは異なる例であるが、ワーク１１を収納棚の所定の場所へ置く作業をロボット１２に行わせる場合を考える。収納棚は複数段の棚板を備える。作業工程分類モデル４２を構築する段階では、どの段の棚板にワーク１１を置くかに応じて、工程動作には異なるラベルが付与される。
　予め定められた作業手順で、ワーク１１の正しい置き場所は、棚の１段目であると定められている。ユーザ２１が作業内容の認識を誤っていたために、ロボット１２がワーク１１を棚の２段目に置くように操作装置２２を操作したと仮定する。この場合、作業工程分類モデル４２が出力するラベルは、工程分類推移情報記憶部４３の記憶内容と一致しない。従って、判定部４４は、ユーザ２１の操作が本来の作業意図に沿っていないと判定する。ユーザ２１は、警告出力部４５が行う警告によって、作業内容の誤りを早期に認識することができる。
　以上に説明したように、本実施形態の遠隔操作システム１００は、遠隔操作装置３１と、意図監視装置４１と、を備える。遠隔操作装置３１には、ユーザ２１が操作装置２２に対して行った操作を操作力検出センサ２３で検出した操作力の情報が入力される。遠隔操作装置３１は、操作力の情報に応じて、ロボット１２を動作させるためのロボット動作指令を出力する。意図監視装置４１は、操作力及び状態値を、学習済の機械学習モデルである作業工程分類モデル４２に入力データとして入力する。意図監視装置４１は、操作装置２２に対する操作が本来の作業意図に沿うか否かを、作業工程分類モデル４２の出力に基づいて判定する。
　これにより、本来の作業意図から逸脱するようにユーザ２１がロボット１２を遠隔操作するのを検知することができる。従って、ロボット１２の遠隔操作における機能安全を実現することができる。
　本実施形態の遠隔操作システム１００において、作業工程分類モデル４２は、ユーザ２１が操作装置２２を本来の作業意図に従って操作した場合の操作力及び状態値を、複数の作業工程に分類する分類モデルとして構成される。操作装置２２に対する操作が本来の作業意図に沿うか否かの判定のために、作業工程分類モデル４２が出力した分類結果が用いられる。
　これにより、遠隔操作によってロボット１２に行わせる作業工程に着目して、ユーザ２１の操作が本来の作業意図に沿っているか否かを判定することができる。
　本実施形態の遠隔操作システム１００は、工程分類推移情報記憶部４３を備える。工程分類推移情報記憶部４３は、工程分類推移情報を予め記憶する。工程分類推移情報は、ユーザ２１が操作装置２２を本来の作業意図に従って操作した場合の操作力及び状態値を作業工程分類モデル４２が分類した分類結果の時間的推移である。意図監視装置４１は、判定部４４を備える。判定部４４は、作業工程分類モデル４２が出力する分類結果の推移が工程分類推移情報と一致するか否かに基づいて、操作装置２２に対する操作が本来の作業意図に沿うか否かを判定する。
　これにより、遠隔操作によりロボット１２が一連の作業を行う場合の作業工程の推移を監視することで、ユーザ２１の操作が本来の作業意図に沿っているか否かを判定することができる。
　本実施形態の遠隔操作システム１００は、警告出力部４５を備える。警告出力部４５は、操作装置２２に対する操作が本来の作業意図に沿っていないと意図監視装置４１が判定した場合に、警告を出力する。
　これにより、本来の作業意図を逸脱した操作を行っていることをユーザ２１が早期に認識することができる。
　本実施形態の遠隔操作システム１００は、停止制御部４６を備える。操作装置２２に対する操作が本来の作業意図に沿っていないと判定部４４が判定した場合に、操作に基づくロボット１２の動作が、停止制御部４６によって中止される。
　これにより、ロボット１２が不要な作業等を行うことを防止できる。
　次に、上記の実施形態の変形例について説明する。
　上述の実施形態において、作業工程分類モデル４２は、教師あり学習を行うことにより構築されている。これに代えて、学習モデルとして、公知の１クラスＳＶＭ（Ｏｎｅ　Ｃｌａｓｓ　ＳＶＭ）を用いることもできる。ＳＶＭは、Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅの略称である。この構成の遠隔操作システム１００ａが、図５に示されている。この第１変形例の説明においては、前述の実施形態と同一又は類似の部材には図面に同一の符号を付し、説明を省略する場合がある。
　第１変形例のロボットシステム１ａは、遠隔操作システム１００ａを備える。この遠隔操作システム１００ａにおいて、意図監視装置４１は、機械学習モデルの一種である外れ値検出モデル４２ｘを備える。外れ値検出モデル４２ｘにおいては、１クラスＳＶＭの教師なし学習により、外れ値検出（言い換えれば、異常検出）が行われる。この変形例においては、工程分類推移情報記憶部４３は省略される。
　訓練フェーズにおいて、外れ値検出モデル４２ｘは、ユーザ２１が本来の作業意図に従って操作装置２２を操作し、ロボット１２に作業を行わせている場合の、上記のデータ組を表す特徴ベクトルを学習する。１クラスＳＶＭにおいて、特徴ベクトルは、公知のカーネル関数によって、外れ値になる程原点の近くとなるように高次元空間へ写像される。１クラスＳＶＭでは、カーネル関数による高次元空間への写像において、原点からの距離が最大となる超平面が定められる。この超平面が、外れ値を判定する基準となる。推論フェーズにおいて、外れ値検出モデル４２ｘは、入力特徴ベクトルが外れ値であるか否かを出力する。外れ値検出モデル４２ｘが外れ値を検出した場合、判定部４４は、ユーザ２１が誤った意図で操作装置２２を操作していると判定する。
　本変形例では、学習データにラベルを付与する必要がないので、機械学習モデルの構築に掛かる手間を低減することができる。
　以上に説明したように、本変形例の遠隔操作システム１００ａにおいて、外れ値検出モデル４２ｘは、ユーザ２１が操作装置２２を本来の作業意図に従って操作した場合の操作力及び状態値を予め学習させた、外れ値を検出可能なモデルである。意図監視装置４１は、判定部４４を備える。判定部４４は、外れ値が検出されるか否かに基づいて、操作装置２２に対する操作が本来の作業意図に沿うか否かを判定する。
　これにより、機械学習モデルの構築に必要な手間を低減することができる。
　次に、第２変形例を説明する。本変形例の説明においては、前述の実施形態と同一又は類似の部材には図面に同一の符号を付し、説明を省略する場合がある。
　図６に示す本変形例のロボットシステム１ｂは、遠隔操作システム１００ｂを備える。遠隔操作システム１００ｂは、ロボット１２の動作をシミュレートするシミュレータ５１を備える。シミュレータ５１は公知のコンピュータとして構成され、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備える。シミュレータ５１と意図監視装置４１は有線又は無線により互いに接続されており、信号のやり取りを行うことができる。
　シミュレータ５１においては、仮想３次元空間５２が構築されている。この３次元空間には、ロボット１２を模擬した３次元モデル、及び、ワーク１１を模擬した３次元モデルが配置されている。以下、ロボット１２の３次元モデルを仮想ロボット１２Ｖと呼ぶことがある。シミュレータ５１にロボット動作指令が入力されると、仮想ロボット１２Ｖは、ロボット１２の動作を模擬するように動作する。
　意図監視装置４１は、遠隔操作装置３１がロボット１２に出力するロボット動作指令と実質的に同一のロボット動作指令を、シミュレータ５１に出力する。シミュレータ５１は、ロボット動作指令に基づいて仮想ロボット１２Ｖを動作させ、仮想ロボット１２Ｖの位置及び反力等のセンサ情報をシミュレーション計算する。得られたセンサ情報は、シミュレータ５１から意図監視装置４１へ出力される。
　遠隔操作装置３１が現実のロボット１２に対してロボット動作指令を出力する前のタイミングで、意図監視装置４１は、シミュレータ５１に対してロボット動作指令を出力し、センサ情報のシミュレーション結果を取得する。意図監視装置４１は、ユーザ操作力と、センサ情報のシミュレーション結果と、に基づいて入力特徴ベクトルを生成し、作業工程分類モデル４２によって分類を行う。以後の動作は、上述の実施形態と同様である。
　この第２変形例では、現実のロボット１２に遠隔操作装置３１が動作指令を出力する前に、ユーザ２１の操作が本来の作業意図に沿っているかを、意図監視装置４１がシミュレーション結果を活用して判断することができる。従って、より早期の段階で、ユーザ２１に警告したり、ロボット１２の誤った動作を中止したりすることができる。
　以上に説明したように、本変形例の遠隔操作システム１００ｂは、遠隔操作装置３１が出力する動作指令に基づいて、ロボット１２を模擬した仮想ロボット１２Ｖを動作させるシミュレータ５１を備える。作業工程分類モデル４２には、シミュレータ５１における仮想ロボット１２Ｖの動作に関する情報が入力される。
　これにより、実際にロボット１２に動作を行わせる前に、ロボット１２を模擬したシミュレーション結果を用いて、ユーザ２１の操作が意図に沿ったものであるか否かを判断することができる。従って、ユーザ２１の操作が本来の作業意図を逸脱している場合に、より早期の対応が可能となる。
　以上に本開示の好適な実施の形態及び変形例を説明したが、上記の構成は例えば以下のように変更することができる。変更は単独で行われても良いし、複数の変更が任意に組み合わせて行われても良い。
　意図監視装置４１で用いられる作業工程分類モデル４２は、ニューラルネットワーク以外の分類手法を用いて作業工程を分類するように構成されても良い。例えば、ランダムフォレスト、ブースティング、ＤＮＮアルゴリズム等の公知の方法を用いて分類を実現することができる。ＤＮＮは、Ｄｅｅｐ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋの略称である。ブースティングの例としては、Ａｄａｂｏｏｓｔ、ＸＧＢｏｏｓｔを挙げることができる。ＤＮＮアルゴリズムの例としては、ＬＳＴＭを挙げることができる。ＬＳＴＭは、Ｌｏｎｇ　Ｓｈｏｒｔ　Ｔｅｒｍ　Ｍｅｍｏｒｙの略称である。
　外れ値検出モデル４２ｘは、１クラスＳＶＭに限定されず、他の様々な方法で実現することができる。例えば、ＬＳＴＭ又はオートエンコーダ等のニューラルネットワークを用いた方法、混合正規分布モデル等の統計モデルを用いた方法で、外れ値を検出することができる。
　機械学習の訓練フェーズ及び推論フェーズにおいて、作業工程分類モデル４２又は外れ値検出モデル４２ｘに入力される特徴ベクトルを、状態値が周囲環境データを含まない形で構成することもできる。特徴ベクトルから、ロボット１２の操作力及び状態値のうち一方を省略することもできる。
　第１変形例に示す外れ値検出モデル４２ｘは、第２変形例に示すシミュレータ５１と組み合わせることもできる。
　操作情報として、ユーザ操作力以外の情報が用いられても良い。例えば、操作装置２２における操作子２２ａの操作位置、操作速度等がセンサによって検出され、操作情報に含められても良い。
　上記の実施形態等では、ロボット１２が外部から受けた力が、操作装置２２を介して、ユーザ２１に対して疑似的に提示される。本開示は、そのような力覚の疑似的な提示を行わない遠隔操作システムに対しても適用することが可能である。
　本開示は、産業用ロボットのような固定型のマニピュレータだけでなく、移動型のマニピュレータを備えるロボットシステムに適用することもできる。移動マニピュレータとしては、例えば、ヒューマノイドロボット、脚式ロボット等が考えられる。
　本明細書で開示する要素の機能は、開示された機能を実行するように構成又はプログラムされた汎用プロセッサ、専用プロセッサ、集積回路、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔｓ）、従来の回路、及び／又は、それらの組み合わせ、を含む回路又は処理回路を使用して実行できる。プロセッサは、トランジスタやその他の回路を含むため、処理回路又は回路と見なされる。本開示において、回路、ユニット、又は手段は、列挙された機能を実行するハードウェアであるか、又は、列挙された機能を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されているハードウェアであっても良いし、あるいは、列挙された機能を実行するようにプログラム又は構成されているその他の既知のハードウェアであっても良い。ハードウェアが回路の一種と考えられるプロセッサである場合、回路、手段、又はユニットはハードウェアとソフトウェアの組み合わせであり、ソフトウェアはハードウェア及び/又はプロセッサの構成に使用される。

Claims (8)

  1. 　人間が操作装置に対して行った操作をセンサで検出した操作情報が入力され、前記操作情報に応じてロボットを動作させるためのロボット動作指令を出力する中継装置と、
    　前記操作情報及び前記ロボットの状態に関する情報のうち少なくとも何れかを、学習済の機械学習モデルに入力データとして入力し、前記操作装置に対する操作が本来の作業意図に沿うか否かを前記機械学習モデルの出力に基づいて判定する判定装置と、
    を備える、遠隔操作システム。
  2. 　請求項１に記載の遠隔操作システムであって、
    　前記機械学習モデルは、人間が前記操作装置を本来の作業意図に従って操作した場合の前記入力データを複数の作業工程に分類する分類モデルとして構成され、
    　前記操作装置に対する操作が本来の作業意図に沿うか否かの判定のために、前記機械学習モデルが出力した分類結果が用いられる、遠隔操作システム。
  3. 　請求項２に記載の遠隔操作システムであって、
    　人間が前記操作装置を本来の作業意図に従って操作した場合の前記入力データを前記機械学習モデルが分類した分類結果の時間的推移である工程分類推移情報を予め記憶する記憶部を備え、
    　前記判定装置は、前記機械学習モデルが出力する分類結果の推移が前記工程分類推移情報と一致するか否かに基づいて、前記操作装置に対する操作が本来の作業意図に沿うか否かを判定する判定部を備える、遠隔操作システム。
  4. 　請求項１に記載の遠隔操作システムであって、
    　前記機械学習モデルは、人間が前記操作装置を本来の作業意図に従って操作した場合の前記入力データを予め学習させた、外れ値を検出可能なモデルであり、
    　前記判定装置は、前記外れ値が検出されるか否かに基づいて、前記操作装置に対する操作が本来の作業意図に沿うか否かを判定する判定部を備える、遠隔操作システム。
  5. 　請求項１に記載の遠隔操作システムであって、
    　前記操作装置に対する操作が本来の作業意図に沿っていないと前記判定装置が判定した場合に、警告を出力する警告出力部を備える、遠隔操作システム。
  6. 　請求項１に記載の遠隔操作システムであって、
    　前記中継装置が出力する動作指令に基づいて、前記ロボットを模擬した仮想ロボットを動作させるシミュレータを備え、
    　前記機械学習モデルに入力される前記入力データに、前記シミュレータにおける仮想ロボットの動作に関する情報が含まれる、遠隔操作システム。
  7. 　請求項１に記載の遠隔操作システムであって、
    　前記操作装置に対する操作が本来の作業意図に沿っていないと前記判定装置が判定した場合に、当該操作に基づく前記ロボットの動作が中止される、遠隔操作システム。
  8. 　人間が操作装置に対して行った操作をセンサで検出した操作情報が入力されるのに応じて、ロボットを動作させるためのロボット動作指令を出力し、
    　前記操作情報及び前記ロボットの状態に関する情報のうち少なくとも何れかを、学習済の機械学習モデルに入力データとして入力し、前記操作装置に対する操作が本来の作業意図に沿うか否かを前記機械学習モデルを用いて判定する、遠隔操作方法。
PCT/JP2023/015066 2022-04-15 2023-04-13 遠隔操作システム及び遠隔操作方法 WO2023199987A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-067743 2022-04-15
JP2022067743A JP2023157679A (ja) 2022-04-15 2022-04-15 遠隔操作システム及び遠隔操作方法

Publications (1)

Publication Number Publication Date
WO2023199987A1 true WO2023199987A1 (ja) 2023-10-19

Family

ID=88329596

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/015066 WO2023199987A1 (ja) 2022-04-15 2023-04-13 遠隔操作システム及び遠隔操作方法

Country Status (2)

Country Link
JP (1) JP2023157679A (ja)
WO (1) WO2023199987A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004209641A (ja) * 2002-12-30 2004-07-29 Abb Res Ltd 工業ロボットをプログラミングするための方法およびシステム
US20130173055A1 (en) * 2012-01-04 2013-07-04 Samsung Electronics Co., Ltd. Robot hand and humanoid robot having the same
JP2014166681A (ja) * 2014-05-16 2014-09-11 Yaskawa Electric Corp ロボット教示システムおよびロボット教示方法
JP2018012185A (ja) * 2016-07-22 2018-01-25 川崎重工業株式会社 ロボットの運転方法、コンピュータプログラム、及びロボットシステム
JP2021049635A (ja) * 2019-09-20 2021-04-01 エヌビディア コーポレーション 器用なロボット・システムの視覚ベースの遠隔操作

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004209641A (ja) * 2002-12-30 2004-07-29 Abb Res Ltd 工業ロボットをプログラミングするための方法およびシステム
US20130173055A1 (en) * 2012-01-04 2013-07-04 Samsung Electronics Co., Ltd. Robot hand and humanoid robot having the same
JP2014166681A (ja) * 2014-05-16 2014-09-11 Yaskawa Electric Corp ロボット教示システムおよびロボット教示方法
JP2018012185A (ja) * 2016-07-22 2018-01-25 川崎重工業株式会社 ロボットの運転方法、コンピュータプログラム、及びロボットシステム
JP2021049635A (ja) * 2019-09-20 2021-04-01 エヌビディア コーポレーション 器用なロボット・システムの視覚ベースの遠隔操作

Also Published As

Publication number Publication date
JP2023157679A (ja) 2023-10-26

Similar Documents

Publication Publication Date Title
Wang et al. Controlling object hand-over in human–robot collaboration via natural wearable sensing
Rozo et al. Learning physical collaborative robot behaviors from human demonstrations
Racca et al. Learning in-contact control strategies from demonstration
JP4609584B2 (ja) ロボット装置、顔認識方法及び顔認識装置
Li et al. Survey on mapping human hand motion to robotic hands for teleoperation
CN114080583B (zh) 视觉教导和重复移动操纵系统
Al-Yacoub et al. Improving human robot collaboration through Force/Torque based learning for object manipulation
Dean-Leon et al. Integration of robotic technologies for rapidly deployable robots
Steinmetz et al. Simultaneous kinesthetic teaching of positional and force requirements for sequential in-contact tasks
US20170249561A1 (en) Robot learning via human-demonstration of tasks with force and position objectives
EP3747604B1 (en) Robot device controller, robot device arrangement and method for controlling a robot device
JP2002239963A (ja) ロボット装置、ロボット装置の動作制御方法、プログラム及び記録媒体
Ugur et al. Parental scaffolding as a bootstrapping mechanism for learning grasp affordances and imitation skills
Bajracharya et al. A mobile manipulation system for one-shot teaching of complex tasks in homes
Liu et al. Learning peg-in-hole assembly using Cartesian DMPs with feedback mechanism
Si et al. Adaptive compliant skill learning for contact-rich manipulation with human in the loop
Zeng et al. Generalization of robot force-relevant skills through adapting compliant profiles
Si et al. A framework for composite layup skill learning and generalizing through teleoperation
Chang et al. Impedance adaptation by reinforcement learning with contact dynamic movement primitives
WO2023199987A1 (ja) 遠隔操作システム及び遠隔操作方法
Safavi et al. Model-based haptic guidance in surgical skill improvement
Pistillo et al. Bilateral physical interaction with a robot manipulator through a weighted combination of flow fields
Girgin et al. Associative skill memory models
Perico et al. Learning robust manipulation tasks involving contact using trajectory parameterized probabilistic principal component analysis
JP2003271958A (ja) 画像処理方法、その装置、そのプログラム、その記録媒体及び画像処理装置搭載型ロボット装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23788404

Country of ref document: EP

Kind code of ref document: A1