WO2025258322A1 - 学習装置、ロボットシステム及び学習方法 - Google Patents

学習装置、ロボットシステム及び学習方法

Info

Publication number
WO2025258322A1
WO2025258322A1 PCT/JP2025/017883 JP2025017883W WO2025258322A1 WO 2025258322 A1 WO2025258322 A1 WO 2025258322A1 JP 2025017883 W JP2025017883 W JP 2025017883W WO 2025258322 A1 WO2025258322 A1 WO 2025258322A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
value
machine learning
information
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2025/017883
Other languages
English (en)
French (fr)
Inventor
翔 境野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Tsukuba NUC
Original Assignee
University of Tsukuba NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Tsukuba NUC filed Critical University of Tsukuba NUC
Publication of WO2025258322A1 publication Critical patent/WO2025258322A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00—Manipulators of leader-follower type, i.e. both controlling unit and controlled unit perform corresponding spatial movements

Definitions

  • the present invention relates to a learning device, a robot system, and a learning method.
  • This application claims priority from Japanese Patent Application No. 2024-093817, filed on June 10, 2024, the contents of which are incorporated herein by reference.
  • the present invention was made in light of these circumstances, and aims to provide a learning device, robot system, and learning method that can improve reliability when a follower device is to learn the behavior of a leader device using bilateral control and machine learning.
  • One aspect of the present invention is a learning device that trains a machine learning model that infers command values for driving a robot having one or more motors, and trains the machine learning model using, as input information, a response value when the robot is driven based on the command values and a value identified based on the response values.
  • the command values include a first command value related to position and a second command value related to force
  • the response values include a first response value related to position and a second response value related to force
  • the first command value and the first response value include information regarding the amount of drive when driving a joint of the robot.
  • the second command value and the second response value include information regarding torque when driving a joint of the robot.
  • the value determined based on the response value is position information determined by two-dimensional coordinates or three-dimensional coordinates, and is information indicating the movement position of an arm of the robot.
  • the learning device described in any of (1) to (5) above is a learning device that trains the machine learning model through iterative learning, and performs learning in a second trial using a response value of a predetermined dimension obtained in a first trial and a variable of a dimension lower than the predetermined dimension as command values.
  • One aspect of the present invention is a robot system comprising a machine learning model trained by the learning device described in any one of (1) to (6) above, and the robot driven based on the command value inferred by the machine learning model.
  • the robot system described in (7) above inputs information for performing an unlearned action based on a human instruction into the machine learning model as a value identified based on the response value, and the machine learning model outputs the command value for performing the unlearned action.
  • reliability can be improved when a follower device is to learn the behavior of a leader device using bilateral control and machine learning.
  • FIG. 1 is an example for explaining bilateral control of a robot system according to an embodiment.
  • FIG. 2 is a diagram illustrating an example of a functional configuration of the robot control system according to the present embodiment.
  • FIG. 2 is a diagram illustrating an example of a functional configuration of the robot device according to the present embodiment.
  • FIG. 2 is a diagram for explaining an example of control performed by the robot system according to the present embodiment.
  • FIG. 1 is a diagram for explaining an example of input information and output information to a machine learning model according to the present embodiment.
  • FIG. 10 is a diagram for explaining a modified example of input information and output information to a machine learning model according to the present embodiment.
  • FIG. 10 is a diagram illustrating an example of iterative learning according to the present embodiment.
  • FIG. 2 is a diagram showing an example of an internal block diagram of hardware included in the robot control system according to the present embodiment.
  • FIG. 1 is an example for explaining bilateral control of a robot system according to one embodiment.
  • robot system 1 will be described with reference to the figure.
  • Robot system 1 is premised on performing machine learning using bilateral control.
  • robot system 1 is premised on performing machine learning using a leader device 20-1 operated by a human and a follower device 20-2 that operates in conjunction with the leader device 20-1.
  • the leader device and follower device used in bilateral control may also be referred to as a master device and a slave device.
  • the leader device 20-1 and the follower device 20-2 have the same configuration. Specifically, the leader device 20-1 and the follower device 20-2 have the same number of joints, and the motors that drive each joint are generally the same in the leader device 20-1 and the follower device 20-2, but this is not necessary, and the number of joints may be different. Examples of motor types include DC motors and AC motors. Furthermore, the leader device 20-1 and the follower device 20-2 have the same number of sensors, and each sensor is generally the same in the leader device 20-1 and the follower device 20-2, but this is not necessary. Examples of sensor types include photo sensors, pressure sensors, and Hall sensors.
  • the robot device 20 has at least one sensor and acquires some kind of information.
  • the robot device 20 performs some kind of function by driving at least one motor in accordance with the acquired information.
  • the example shown in the figure is an experimental robot (hereinafter sometimes referred to as a writing robot) that has a writing part at the tip of its arm and writes on a writing object such as paper.
  • a writing robot an experimental robot that has a writing part at the tip of its arm and writes on a writing object such as paper.
  • this embodiment is not limited to the example in which the robot device 20 is a writing robot.
  • other examples of the robot device 20 include a robot that has a brush at the end of its arm and cleans toilets, or a robot that has a gripping section at the end of its arm and grips and transports objects.
  • the technology according to this embodiment can be applied to a variety of industrial robots.
  • this embodiment is based on the premise that predetermined actions are learned through machine learning, and unknown actions are then executed (inferred) based on what has been learned. Below, an overview of the movements in both the learning stage and the execution stage (inference stage) is explained.
  • the reader device 20-1 is instructed by a human to perform certain operations.
  • the human grasps the arm of the reader device 20-1, brings the writing part into contact with paper, and instructs the reader device 20-1 to write on an object such as paper with an appropriate amount of force.
  • Instructions from the human are sometimes referred to as reader command values.
  • the reader device 20-1 outputs torque, which is an operation parameter based on the reader command value, and position information of the writing part, as reader response values to the robot control system 10. While the following description may refer simply to torque and position information, there may be as many pieces of torque and position information as there are joints (motors) in the robot device 20. It is preferable that the reader response value also include, in addition to the torque and position information of each joint, position information of the writing part calculated from that information (determined as a result of the operation of each joint).
  • the robot control system 10 outputs a follower command value to the follower device 20-2.
  • the follower command value is generated by the robot control system 10 based on the leader response value.
  • the follower device 20-2 performs an action based on the follower command value. It can also be said that the follower device 20-2 performs an action that mimics the action of the leader device 20-1.
  • the follower device 20-2 outputs the result of the action to the robot control system 10 as a follower response value.
  • the follower response value may have a number of dimensions corresponding to the leader response value (may have variable information at the same location), and may include, for example, torque, which is a parameter of the action based on the follower command value, and position information of the writing part. Similar to the leader response value, the follower response value preferably further includes position information of the writing part calculated from the torque and position information of each joint (determined as a result of the movement of each joint).
  • the robot control system 10 trains the machine learning model to eliminate discrepancies between the leader response value and the follower response value. It is preferable that various types of trials are conducted multiple times during the learning process. For example, in the case of a writing robot, a human would teach it to write symbols such as circles, triangles, and squares, and letters such as A, B, and C. These can also be considered basic movements. After learning these basic movements, the robot control system 10 infers unknown movements. Unknown movements are movements that can be created from the basic movements that have already been learned, and can also be considered applied movements.
  • the robot control system 10 performs inference based on the machine learning model (which can also be called a trained model) generated in the learning phase.
  • the input values for the trained model in the execution phase are the information to be operated on (for example, if the robot device 20 is a writing robot, what information will be written), the follower response value, and the position information of the writing part calculated from the follower response value.
  • position information of the writing part can be calculated from the follower response value. For example, by accumulating the drive amount of each joint, it is possible to calculate the final position of the writing part.
  • position information of the writing part is input into the trained model as a separate, independent parameter. This is because position information of the writing part is important in the operation of the writing robot, and as long as the position of the writing part is correct, the positions of the other joints are not as important.
  • position information of the writing part is information that can be easily interpreted by humans when compared with the torque and position information of each joint.
  • Examples of information that can be operated on include position information of the writing part (specifically, two-dimensional information or three-dimensional coordinates of the pen tip, etc.).
  • the robot control system 10 may compare the ideal position information of the writing part with the position information of the writing part returned as a follower response value, and perform operations to minimize the error.
  • FIG. 2 is a diagram illustrating an example of the functional configuration of a robot control system according to this embodiment. An example of the functional configuration of the robot control system 10 will be described with reference to the diagram.
  • the robot control system 10 includes a control device 11, a machine learning model 12, and a storage device 13.
  • the control device 11 includes a learning device 111 and an inference device 112.
  • the learning device 111 performs learning of the machine learning model 12. Learning of the machine learning model 12 may be performed by supervised learning, using leader response values obtained from the leader device 20-1 and follower response values obtained from the follower device 20-2 as training data. Information communication with the leader device 20-1 or follower device 20-2 is preferably performed via a communication unit (not shown).
  • the inference device 112 performs inference operations based on the machine learning model 12 that has been trained (learned) in the learning stage.
  • the control device 11 may control the follower device 20-2 based on the inference results. Note that a control program for the control device 11 to operate may be stored in the storage device 13.
  • FIG. 3 is a diagram illustrating an example of the functional configuration of a robot device according to this embodiment. An example of the functional configuration of the robot device 20 will be described with reference to the diagram.
  • the robot device 20 includes a communication unit 21, a robot control unit 22, a memory unit 23, a motor 24, and a sensor 25.
  • the communication unit 21 communicates with the robot control system 10.
  • the communication unit 21 acquires command values from the robot control system 10 and performs operations based on the acquired command values.
  • the robot device 20 also acquires response values as a result of performing the operations.
  • the communication unit 21 transmits the acquired response values to the robot control system 10.
  • the robot control unit 22 controls the movement of the robot.
  • the robot control unit 22 operates based on the control program stored in the memory unit 23 and command values acquired via the communication unit 21.
  • the robot control unit 22 drives the motor 24, for example, by outputting a motor drive signal to the motor 24.
  • the motor 24 drives, for example, a joint. While the diagram shows one motor 24 as an example, the robot device 20 may be equipped with multiple motors 24.
  • the multiple motors 24 may be of different types (for example, an AC motor and a DC motor).
  • the robot control unit 22 also acquires sensor values detected by the sensor 25. While the diagram shows one sensor 25 as an example, the robot device 20 may be equipped with multiple sensors 25.
  • the multiple sensors 25 may be of different types (for example, a photointerrupter and a Hall sensor).
  • the robot control unit 22 may control the driving of the motor 24 based on the acquired sensor values.
  • Figure 4 is a diagram illustrating an example of control performed by a robot system according to this embodiment.
  • the figure is a block diagram that schematically illustrates the functional configuration and signal input/output at the inference stage. An example of a control method according to this embodiment will be explained with reference to this figure.
  • the robot system 1 is processed by the controller 41, machine learning model 12, and robot control unit 22.
  • the controller 41 and machine learning model 12 may be configured to be included in the robot control system 10 (i.e., configured to be external to the robot device 20), or may be transmitted to the robot control unit 22 via a specified information communication means and realized through cooperation between information stored inside the robot control unit 22 and the hardware configuration of the robot control unit 22 (i.e., configured to be included inside the robot device 20).
  • a hand trajectory value is input to the robot system 1.
  • This hand trajectory value in the inference stage may be an unknown movement that has not been learned (i.e., has never been used as training data in the past).
  • the response value (hand response value) from the follower device 20-2 is subtracted from the input hand trajectory value, and the result is input to the controller 41. This subtraction process can also be described as error correction or error cancellation.
  • the controller 41 performs feedback control. Specific examples of feedback control include PID control (Proportional-Integral-Differential Control) and model predictive control.
  • the controller 41 may control the input value using three elements: the deviation between the output value and the target value, its integral, and its derivative.
  • the controller 41 outputs a hand control value to the machine learning model 12.
  • the machine learning model 12 uses the hand control value output by the controller 41 and the response value (follower response value) from the follower device 20-2 as input information to infer the follower command value. It can also be said that in the inference stage, the follower device 20-2 is controlled by the machine learning model 12 instead of the leader device 20-1, which is operated by a human during the learning stage.
  • the follower device 20-2 performs a predetermined operation based on the follower control value inferred by the machine learning model 12.
  • the follower device 20-2 outputs a response value as feedback as a result of performing the predetermined operation.
  • FIG. 5 is a diagram illustrating an example of input information and output information for the machine learning model according to this embodiment.
  • the input information and output information for the machine learning model 12 according to this embodiment will be described with reference to this figure.
  • the illustrated block diagram can be applied equally to both the learning stage and the inference stage.
  • the machine learning model 12 shown in this figure simulates the movement of the leader device 20-1 using the hand trajectory and the response value of the follower device 20-2 as input information.
  • the response values include a position response value related to position (sometimes referred to as a first response value) and a force response value related to force (sometimes referred to as a second response value).
  • the command values include a position command value related to position (sometimes referred to as a first command value) and a force command value related to force (sometimes referred to as a second command value).
  • the position response value or position command value may be, for example, coordinate information.
  • the force response value or force command value may include information related to the amount of drive when driving a joint of the robot device 20, and may specifically be torque information, etc.
  • the hand trajectory is the movement taught by a human.
  • the hand trajectory during the learning stage can be said to be the information that forms the basis of the movement. It is preferable that the basic information includes multiple types of movement, and even if the movement is the same, it is preferable that it be learned multiple times.
  • the hand trajectory is an unknown value.
  • the hand trajectory in the inference stage may be provided by data in any format, for example.
  • the robot system 1 is a writing robot
  • information on the letters or symbols that the robot device 20 is to write is provided as the hand trajectory.
  • the format of the data provided as the hand trajectory is arbitrary, and may be provided by coordinate information, image information, audio information, etc. If the hand trajectory is provided by image information or audio information, a conversion device is used to convert the image information or audio information into coordinate information.
  • Figure 6 is a diagram for explaining a modified example of the input information and output information to the machine learning model according to this embodiment.
  • a modified example of the input information and output information to the machine learning model 12 as explained with reference to Figure 5 will be explained.
  • the modified example shown in Figure 6 differs from the example in Figure 5 in that, instead of the hand trajectory, the output value of VLA (Vision Language Action) is used as input information to the machine learning model 12.
  • VLA Vision Language Action
  • command values e.g., position command values and force command values
  • VLA models excel at controlling general-purpose (greatest common denominator) operations.
  • control using only the VLA model may be insufficient. Therefore, according to this embodiment, by generating command values (e.g., position command values or force command values) using output values from the VLA model as input information, it is possible to smooth out general-purpose operations (which can also be called rough commands) by converting them into operations specialized for a specific application (which can also be called more precise commands).
  • command values e.g., position command values or force command values
  • FIG. 7 is a diagram illustrating an example of iterative learning according to this embodiment.
  • the robot system 1 according to this embodiment is able to perform more accurate learning by learning through iterative learning.
  • iterative learning it is preferable to perform learning multiple times, but for simplicity of explanation, only the first and second trials will be described below. Note that for the third trial and beyond, the same process as the second trial may be repeated.
  • a command value is first input to the machine learning model 12.
  • This command value is a general example of the hand trajectory described with reference to FIG. 5.
  • the machine learning model 12 infers a control signal for the follower device 20-2 based at least on the input command value.
  • the command value may be low-dimensional information such as the hand trajectory (e.g., position information in a three-dimensional coordinate system).
  • the machine learning model 12 infers high-dimensional information for operating the follower device 20-2 (e.g., information on the direction and extent of operation of each joint) based on low-dimensional information such as the hand trajectory.
  • the follower device 20-2 operates based on the control signal inferred by the machine learning model 12 and outputs a response value at that time.
  • the command value and the response value may not completely match, and an error may occur.
  • learning is performed taking this error into account.
  • the error generated in the first trial is added to the command value.
  • a controller 41 may be used to align the dimensions of the error information and the command value. It is possible to train the machine learning model 12 including this process of aligning dimensions, but by moving this process outside the machine learning model 12, it is possible to proceed with learning more efficiently (reduce processing load).
  • the machine learning model 12 infers a control signal for the follower device 20-2 based at least on the input command value (command value with the error canceled).
  • the process that follows is the same as the process in the first trial, so a detailed explanation will be omitted.
  • FIG. 8 is a diagram showing an example of an internal block diagram of hardware provided in a robot control system according to this embodiment.
  • the computer is composed of a central processing unit 901, RAM 902, input/output port 903, input/output devices 904 and 905, etc., and bus 906.
  • the computer itself can be implemented using existing technology.
  • the central processing unit 901 executes instructions contained in programs read from RAM 902, etc. In accordance with each instruction, the central processing unit 901 writes data to RAM 902, reads data from RAM 902, and performs arithmetic and logical operations.
  • RAM 902 stores data and programs. Each element included in RAM 902 has an address and can be accessed using the address.
  • the input/output port 903 is a port through which the central processing unit 901 exchanges data with external input/output devices, etc.
  • the input/output devices 904 and 905 are input/output devices. Input/output devices 904 and 905 exchange data with the central processing unit 901 via input/output port 903.
  • Bus 906 is a common communication path used within the computer. For example, the central processing unit 901 reads and writes data from RAM 902 via bus 906. Also, for example, the central processing unit 901 accesses the input/output port via bus 906.
  • all or part of the functional units provided in the robot control system 10 may be implemented using hardware such as an ASIC, PLD, or FPGA. Furthermore, all or part of the functional units may be implemented using a combination of software and hardware.
  • the learning device 111 trains a machine learning model that infers command values for driving a robot having one or more operating units (e.g., motors).
  • the learning device 111 trains the machine learning model using, as input information, a response value when the robot device 20 is driven based on a predetermined command value and a value (e.g., a hand response value) determined based on the response value.
  • the value determined based on the response value may be position information determined using a coordinate system such as two-dimensional or three-dimensional coordinates, or may be information indicating the movement position of an arm of the robot device 20.
  • the learning device 111 purposely uses redundant values determined based on the response values as input to the machine learning model.
  • the hand response value can be considered to be obvious position information.
  • an appropriate command value is obtained using such obvious position information.
  • the learning device 111 can also be considered to be trained to appropriately adjust the remaining joints using position information important for operation as a clue. According to this embodiment, by adopting such a configuration, unknown actions that previously required re-learning can be inferred without re-learning, thereby improving reliability.
  • learning is performed using low-dimensional information (information of a dimension that can be interpreted by humans), such as hand trajectories, which can be said to improve interpretability for humans.
  • the robot control system 10 can adapt to unfamiliar environments and unfamiliar tasks. Furthermore, because the robot control system 10 can adapt to unfamiliar environments and unfamiliar tasks, the number of actions that humans need to teach can be reduced.
  • the learning device 111 trains the machine learning model 12 through iterative learning.
  • the learning device 111 can also perform learning in a second trial using a response value of a predetermined dimension obtained in a first trial and a variable of a dimension lower than the predetermined dimension as command values.
  • errors in a series of time-series responses are evaluated offline and the errors are fed back to the next trial.
  • each unit of the learning device, robot system, and learning method in the above-mentioned embodiments may be realized by recording a program for realizing these functions on a computer-readable recording medium, and loading and executing the program recorded on this recording medium into a computer system.
  • computer system here includes hardware such as the OS and peripheral devices.
  • “computer-readable recording medium” refers to portable media such as flexible disks, optical magnetic disks, ROMs, and CD-ROMs, as well as storage units such as hard disks built into computer systems. Furthermore, “computer-readable recording medium” may also include devices that dynamically store programs for a short period of time, such as communication lines when transmitting programs over networks like the Internet or communication lines like telephone lines, or devices that store programs for a fixed period of time, such as volatile memory within computer systems that serve as servers or clients in such cases. Furthermore, the above-mentioned programs may be those that implement some of the functions described above, or may be those that can implement the functions described above in combination with programs already stored in the computer system.
  • reliability can be improved when a follower device is to learn the behavior of a leader device using bilateral control and machine learning.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

学習装置は、１つ以上のモータを有するロボットを駆動するための指令値を推論する機械学習モデルを学習させる学習装置であって、前記指令値に基づき前記ロボットを駆動した場合における応答値と、前記応答値に基づいて特定される値を入力情報として、前記機械学習モデルを学習させる。

Description

学習装置、ロボットシステム及び学習方法
　本発明は、学習装置、ロボットシステム及び学習方法に関する。
　本願は、２０２４年６月１０日に日本に出願された特願２０２４－０９３８１７について優先権を主張し、その内容をここに援用する。
　従来、人間が操作するリーダ装置と、当該リーダ装置に連動して動作するフォロワ装置とを用いたバイラテラル制御が知られている。このようなバイラテラル制御では、リーダ装置を操作したときのデータに基づき、フォロワ装置を制御することにより、人間が行った操作を再現させることができる。このようなバイラテラル制御について記載された文献として、例えば、特許文献１を例示することができる。
特開２００９－２７９６９９号公報
　このようなバイラテラル制御と、機械学習とを用いて、フォロワ装置の制御を学習させようとした場合、第一に、学習内容が全てブラックボックスとなってしまうため、動作の生成過程を人間が解釈することが困難であるといった問題があった。また、第二に、フォロワ装置の制御を精度良く学習させることができたとしても、新しい動作を遂行しようとした場合、再教示が必要であるといった問題があった。更に、第三に、教示の仕方が不十分であると、フォロワ装置によるリーダ装置の動作の再現性が低いといった問題があった。すなわち、従来技術によれば、信頼性が乏しいといった問題があった。
　そこで本発明は、このような状況に鑑みてなされたものであり、バイラテラル制御と機械学習とを用いて、リーダ装置の動作をフォロワ装置により学習させようとした場合、信頼性を向上させることが可能な学習装置、ロボットシステム及び学習方法の提供を目的とする。
（１）本発明の一態様は、１つ以上のモータを有するロボットを駆動するための指令値を推論する機械学習モデルを学習させる学習装置であって、前記指令値に基づき前記ロボットを駆動した場合における応答値と、前記応答値に基づいて特定される値を入力情報として、前記機械学習モデルを学習させる、学習装置である。
（２）本発明の一態様は、上記（１）に記載の学習装置において、前記指令値には、位置に関する第１指令値と、力に関する第２指令値とが含まれ、前記応答値には、位置に関する第１応答値と、力に関する第２応答値とが含まれるものである。
（３）本発明の一態様は、上記（２）に記載の学習装置において、前記第１指令値及び前記第１応答値は、前記ロボットが有する関節部を駆動する場合の駆動量に関する情報を含むものである。
（４）本発明の一態様は、上記（２）又は（３）に記載の学習装置において、前記第２指令値及び前記第２応答値は、前記ロボットが有する関節部を駆動する場合のトルクに関する情報を含むものである。
（５）本発明の一態様は、上記（１）から（４）のいずれかに記載の学習装置において、前記応答値に基づいて特定される値とは、二次元座標又は三次元座標により特定される位置情報であり、前記ロボットが有するアームの移動位置を示す情報である。
（６）本発明の一態様は、上記（１）から（５）のいずれかに記載の学習装置は、繰り返し学習により前記機械学習モデルを学習させる学習装置であって、１試行目において得られた所定の次元の応答値と、当該所定の次元より低い次元の変数とを指令値として、２試行目における学習を行うものである。
（７）本発明の一態様は、上記（１）から（６）のいずれかに記載の学習装置により学習された機械学習モデルと、前記機械学習モデルにより推論された前記指令値に基づき駆動される前記ロボットと、を備えるロボットシステムである。
（８）本発明の一態様は、上記（７）に記載のロボットシステムは、人間の指示に基づく未学習の動作を行う情報を、前記応答値に基づいて特定される値として前記機械学習モデルに入力し、前記機械学習モデルは、未学習の動作を行うための前記指令値を出力するものである。
（９）本発明の一態様は、１つ以上のモータを有するロボットを駆動するための指令値を推論する機械学習モデルを、コンピュータを用いて学習させる学習方法であって、前記指令値に基づき、前記ロボットを駆動した場合における応答値と、前記応答値から特定される値を入力情報として、前記機械学習モデルを学習させる、学習方法である。
　本発明によれば、バイラテラル制御と機械学習とを用いて、リーダ装置の動作をフォロワ装置により学習させようとした場合、信頼性を向上させることができる。
一実施形態に係るロボットシステムのバイラテラル制御について説明するための一例である。 本実施形態に係るロボット制御システムの機能構成の一例について説明するための図である。 本実施形態に係るロボット装置の機能構成の一例について説明するための図である。 本実施形態に係るロボットシステムが行う制御の一例について説明するための図である。 本実施形態に係る機械学習モデルへの入力情報と出力情報の一例について説明するための図である。 本実施形態に係る機械学習モデルへの入力情報と出力情報の変形例について説明するための図である。 本実施形態に係る繰り返し学習の一例について説明するための図である。 本実施形態に係るロボット制御システムが備えるハードウェアの内部ブロック図の一例を示す図である。
［実施形態］
　以下、本発明の実施形態に係る学習装置、ロボットシステム及び学習方法について、好適な実施の形態を掲げ、添付の図面を参照しながら詳細に説明する。なお、本発明の態様は、これらの実施の形態に限定されるものではなく、多様な変更または改良を加えたものも含まれる。つまり、以下に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものが含まれ、以下に記載した構成要素は適宜組み合わせることが可能である。また、本発明の要旨を逸脱しない範囲で構成要素の種々の省略、置換または変更を行うことができる。また、以下の図面においては、各構成をわかりやすくするために、各構造における縮尺および数等を、実際の構造における縮尺および数等と異ならせる場合がある。
　図１は、一実施形態に係るロボットシステムのバイラテラル制御について説明するための一例である。まず、同図を参照しながら、ロボットシステム１について説明する。ロボットシステム１は、バイラテラル制御を用いた機械学習を行うことを前提としている。言い換えれば、ロボットシステム１は、人間が操作するリーダ装置２０－１と、当該リーダ装置２０－１に連動して動作するフォロワ装置２０－２とを用いて、機械学習を行うことを前提としている。なお、以下の説明において、バイラテラル制御に用いられるリーダ装置及びフォロワ装置は、マスタ装置及びスレーブ装置と呼ばれる場合もある。
　リーダ装置２０－１と、フォロワ装置２０－２とは、互いに同様の構成を有する。具体的に、リーダ装置２０－１と、フォロワ装置２０－２とは、互いに同様の関節数を有し、各関節を駆動するモータは、リーダ装置２０－１とフォロワ装置２０－２とにおいて互いに同一であることが一般的であるが、その必要はなく関節の数が異なっていてもよい。モータの種類としては、ＤＣモータやＡＣモータを例示することができる。また、リーダ装置２０－１と、フォロワ装置２０－２とは、互いに同様の数のセンサを有し、各センサは、リーダ装置２０－１とフォロワ装置２０－２とにおいて互いに同等であることが一般的であるが、その必要はない。センサの種類としては、フォトセンサ、圧力センサ、ホールセンサ等を例示することができる。
　以下の説明において、リーダ装置２０－１とフォロワ装置２０－２とを区別しない場合、ロボット装置２０と記載する場合がある。ロボット装置２０は、少なくとも１つのセンサを有し、何らかの情報を取得する。ロボット装置２０は、取得した情報に応じて少なくとも１つのモータを駆動させることにより、何らかの機能を発揮する。図示する一例では、アーム部の先端に筆記部を有し、紙等の被筆記対象に対して筆記する実験的なロボット（以下、筆記ロボットと記載する場合がある）を例示している。以下、ロボット装置２０が筆記ロボットである場合の一例について説明する。
　なお、本実施形態は、ロボット装置２０が筆記ロボットである場合の一例に限定されない。例えば、ロボット装置２０のその他の一例としては、アームの先端にブラシを有し、便器を掃除するようなロボットや、アームの先端に把持部を有し、運搬対象物を把持し、運搬するようなロボットを例示することができる。本実施形態に係る技術は、様々な産業用ロボットに適用することが可能である。
　また、本実施形態は、機械学習により、所定の動作の学習を行い、学習した内容に基づき、未知の動作を実行（推論）することを前提とする。以下、学習段階と実行段階（推論段階）それぞれの動きの概要について、説明する。
　まず、学習段階における動作について説明する。学習段階において、リーダ装置２０－１は、人間により動作を教示させられる。例えば、人間は、リーダ装置２０－１が有するアームを把持し、筆記部を紙に当接させ、筆記に好適な力加減で紙等の被筆記対象に対して筆記する動作を教示する。人間による教示を、リーダ指令値と記載する場合がある。リーダ装置２０－１は、リーダ指令値に基づく動作のパラメータであるトルクや、筆記部の位置情報等を、リーダ応答値としてロボット制御システム１０に対して出力する。以下の説明において、単にトルクや位置情報と記載する場合があるが、当該トルクや位置情報は、ロボット装置２０が備える関節の数（モータの数）だけ存在していてもよい。なお、リーダ応答値には、各関節のトルクや位置情報に加えて、それらの情報から算出される（各関節が動作した結果として決定される）筆記部の位置情報が更に含まれていることが好適である。
　次に、ロボット制御システム１０は、フォロワ装置２０－２に対してフォロワ指令値を出力する。フォロワ指令値は、リーダ応答値に基づき、ロボット制御システム１０により生成されるものである。フォロワ装置２０－２は、フォロワ指令値に基づく動作を行う。フォロワ装置２０－２は、リーダ装置２０－１の動作を模倣するような動作を行うということもできる。フォロワ装置２０－２は、動作を行った結果を、フォロワ応答値としてロボット制御システム１０に出力する。フォロワ応答値は、リーダ応答値と対応する次元数存在していてもよく（同一箇所の変数情報を有していてもよく）例えば、フォロワ指令値に基づく動作のパラメータであるトルクや、筆記部の位置情報等が含まれる。フォロワ応答値には、リーダ応答値と同様に、各関節のトルクや位置情報に加えて、それらの情報から算出される（各関節が動作した結果として決定される）筆記部の位置情報が更に含まれていることが好適である。
　ロボット制御システム１０は、リーダ応答値と、フォロワ応答値のズレが無くなるよう、機械学習モデルの学習を行う。なお、学習工程においては、様々な種類の試行が、複数回に渡って行われることが好適である。例えば、筆記ロボットを対象とする場合、人間は、円、三角形、四角形等の記号や、Ａ、Ｂ、Ｃ等のアルファベットを筆記することを教示する。これらは、基本的な動作であるということもできる。ロボット制御システム１０は、このように基本的な動作を学習された後、未知の動作の推論を行う。未知の動作とは、学習済みである基本的な動作から創造可能な範囲の動作であり、応用的な動作であるということもできる。
　次に、実行段階における動作について説明する。ロボット制御システム１０は、学習段階において生成された機械学習モデル（学習済みモデルということもできる）に基づき、推論を行う。ここで、実行段階における学習済みモデルに対する入力値は、動作対象となる情報（例えばロボット装置２０が筆記ロボットである場合、どのような情報を筆記するのか）と、フォロワ応答値と、当該フォロワ応答値から算出される筆記部の位置情報である。
　ここで、筆記部の位置情報（具体的には、ペン先の二次元情報又は三次元座標等）は、フォロワ応答値から算出可能である。例えば、各関節の駆動量を累積していけば、最終的に筆記部がどの位置に来るのかを計算することは可能である。しかしながら、本実施形態によれば、筆記部の位置情報が、別個独立したパラメータとして学習済みモデルに入力される。筆記部の位置情報は、筆記ロボットの動作において重要であり、筆記部の位置さえ正しければ、他の関節の位置は、それほど重要でないためである。また、筆記部の位置情報は、各関節のトルクや位置情報と比較し、人間にとって容易に解釈ができる情報である。
　動作対象となる情報としては、筆記部の位置情報（具体的には、ペン先の二次元情報又は三次元座標等）を例示することができる。ロボット制御システム１０は、理想的な筆記部の位置情報と、フォロワ応答値として返ってきた筆記部の位置情報とを比較し、誤差を最小にするような動作を行ってもよい。
　図２は、本実施形態に係るロボット制御システムの機能構成の一例について説明するための図である。同図を参照しながら、ロボット制御システム１０が備える機能構成の一例について説明する。ロボット制御システム１０は、制御装置１１と、機械学習モデル１２と、記憶装置１３とを備える。
　制御装置１１は、学習装置１１１と、推論装置１１２とを備える。学習装置１１１は、機械学習モデル１２の学習を行う。機械学習モデル１２の学習は、リーダ装置２０－１から得られたリーダ応答値、及びフォロワ装置２０－２から得られたフォロワ応答値等を教師データとして、教師あり学習により行われてもよい。リーダ装置２０－１又はフォロワ装置２０－２との情報通信は、不図示の通信部を介して行われることが好適である。また、推論装置１１２は、学習段階において学習が行われた（学習済みの）機械学習モデル１２に基づき、推論動作を行う。制御装置１１は推論結果に基づいて、フォロワ装置２０－２の制御を行ってもよい。なお、制御装置１１が動作を行うための制御プログラムは、記憶装置１３に記憶されていてもよい。
　図３は、本実施形態に係るロボット装置の機能構成の一例について説明するための図である。同図を参照しながら、ロボット装置２０が備える機能構成の一例について説明する。ロボット装置２０は、通信部２１と、ロボット制御部２２と、記憶部２３と、モータ２４と、センサ２５とを備える。
　通信部２１は、ロボット制御システム１０との通信を行う。通信部２１は、ロボット制御システム１０から指令値を取得し、取得した指令値に基づき動作を行う。また、ロボット装置２０は、動作を行った結果、応答値を取得する。通信部２１は、ロボット制御システム１０に対して取得した応答値の送信を行う。
　ロボット制御部２２は、ロボットの動作を制御する。ロボット制御部２２は、記憶部２３に記憶された制御プログラムと、通信部２１を介して取得された指令値に基づいた動作を行う。ロボット制御部２２は、例えば、モータ２４に対してモータ駆動信号を出力することにより、モータ２４の駆動を行う。モータ２４は、例えば関節部の駆動を行う。同図には、一例として１つのモータ２４を図示しているが、ロボット装置２０は、複数のモータ２４を備えている場合もある。また、複数のモータ２４は、互いに異なる種類（例えば、ＡＣモータとＤＣモータ等）である場合がある。また、ロボット制御部２２は、センサ２５により検知されたセンサ値の取得を行う。同図には、一例として１つのセンサ２５を図示しているが、ロボット装置２０は、複数のセンサ２５を備えている場合もある。また、複数のセンサ２５は、互いに異なる種類（例えば、フォトインタラプタとホールセンサ等）である場合がある。ロボット制御部２２は、取得されたセンサ値に基づき、モータ２４の駆動を制御してもよい。
　図４は、本実施形態に係るロボットシステムが行う制御の一例について説明するための図である。同図は、推論段階における機能構成と、信号の入出力を模式的に記載したブロック図である。同図を参照しながら、本実施形態に係る制御方法の一例について説明する。
　推論段階において、ロボットシステム１は、制御器４１、機械学習モデル１２、ロボット制御部２２により、処理が行われる。制御器４１及び機械学習モデル１２は、ロボット制御システム１０に備えられる構成（すなわちロボット装置２０の外部に備えられる構成）であってもよいし、所定の情報通信手段により、ロボット制御部２２に送信され、ロボット制御部２２の内部に記憶された情報と、ロボット制御部２２が備えるハードウェア構成との協働により、実現されるもの（すなわちロボット装置２０の内部に備えられる構成）であってもよい。
　まず、ロボットシステム１には手先軌道値が入力される。推論段階における当該手先軌道値は、学習が行われていない（すなわち、過去において教師データとして用いられたことがない）未知の動作である場合がある。入力された手先軌道値から、フォロワ装置２０－２による応答値（手先応答値）が減算され制御器４１に入力される。当該減算工程は、誤差の修正又は誤差のキャンセル等と表現することもできる。
　制御器４１は、フィードバック制御を行う。フィードバック制御の具体的な一例としては、ＰＩＤ制御（Ｐｒｏｐｏｒｔｉｏｎａｌ－Ｉｎｔｅｇｒａｌ－Ｄｉｆｆｅｒｅｎｔｉａｌ　Ｃｏｎｔｒｏｌ）やモデル予測制御を例示することができる。制御器４１は、例えば、出力値と目標値との偏差、その積分、及び微分の３つの要素によって、入力値の制御を行ってもよい。制御器４１は、機械学習モデル１２に対して手先制御値を出力する。
　機械学習モデル１２は、制御器４１により出力された手先制御値と、フォロワ装置２０－２による応答値（フォロワ応答値）とを入力情報として、フォロワ指令値の推論を行う。学習段階において人間が操作するリーダ装置２０－１の代わりに、推論段階においては機械学習モデル１２によりフォロワ装置２０－２が制御されるということもできる。
　フォロワ装置２０－２は、機械学習モデル１２により推論されたフォロワ制御値に基づいて、所定の動作を行う。フォロワ装置２０－２は、所定の動作を行った結果としての応答値を、フィードバックとして出力する。
　図５は、本実施形態に係る機械学習モデルへの入力情報と出力情報の一例について説明するための図である。同図を参照しながら、本実施形態に係る機械学習モデル１２の入力情報と出力情報について説明する。なお、図示するブロック図は、学習段階においても、推論段階においても、同様に適用されることが可能である。同図に示す機械学習モデル１２は、手先軌道と、フォロワ装置２０－２の応答値とを入力情報として、リーダ装置２０－１の動きを模擬するものである。
　ここで、応答値には、位置に関する位置応答値（第１応答値と記載する場合がある）と、力に関する力応答値（第２応答値と記載する場合がある）とが含まれる。また、指令値には、位置に関する位置指令値（第１指令値と記載する場合がある）と、力に関する力指令値（第２指令値と記載する場合がある）とが含まれる。位置応答値又は位置指令値とは、例えば座標情報であってもよい。力応答値又は力指令値とは、ロボット装置２０が有する関節部を駆動する場合の、駆動量に関する情報を含んでいてもよく、具体的には、トルク情報等であってもよい。
　学習段階において、手先軌道とは、人間により教示される動作である。学習段階における手先軌道とは、動作の基礎となる情報であるということができる。基礎となる情報は、複数種類の動きが含まれているであることが好適であり、同一の動きであっても、複数回に渡って学習が行われることが好適である。
　推論段階において、手先軌道とは、未知の値となる。推論段階における手先軌道は、例えば任意の形式のデータにより与えられてもよい。例えば、ロボットシステム１が筆記ロボットである場合、ロボット装置２０に対して筆記させたい文字や記号の情報が、手先軌道として与えられる。手先軌道として与えられるデータのフォーマットは任意であり、座標情報により与えられてもよいし、画像情報や音声情報等により与えられてもよい。手先軌道が画像情報や音声情報により与えられる場合、当該画像情報や音声情報を、座標情報に変換するための変換装置が用いられる。
　図６は、本実施形態に係る機械学習モデルへの入力情報と出力情報の変形例について説明するための図である。図６を参照しながら、図５を参照しながら説明したような機械学習モデル１２への入力情報と出力情報の変形例について説明する。図６に記載の変形例では、手先軌道に変えて、ＶＬＡ（Ｖｉｓｉｏｎ　Ｌａｎｇｕａｇｅ　Ａｃｔｉｏｎ）の出力値を、機械学習モデル１２への入力情報とする点において、図５の一例とは異なる。すなわち、当該変形例では、ＶＬＡモデルにより指令値（例えば、位置指令値や力指令値）を生成するということができる。
　一般的に、ＶＬＡモデルは、汎用的な（最大公約数的な）動作を制御することに優れている。しかしながら特定のアプリケーションに特化した動作については、ＶＬＡモデルによる制御のみでは不十分である場合がある。そこで、本実施形態によれば、ＶＬＡモデルによる出力値を入力情報として指令値（例えば、位置指令値や力指令値）の生成を行うことにより、汎用的な動作（荒い指令ということもできる）を、特定のアプリケーションに特化した動作（より精密な指令ということもできる）として、より滑らかにすることができる。
　図７は、本実施形態に係る繰り返し学習の一例について説明するための図である。同図に示すように、本実施形態に係るロボットシステム１は、繰り返し学習により学習されることにより、より精度の良い学習を行うことが可能となる。繰り返し学習においては、複数回の学習が行われることが好適であるが、以下、説明の簡略化のため、１試行目と２試行目についてのみ説明する。なお、３試行目以降については、２試行目と同様の工程が繰り返されてもよい。
　１試行目においては、まず、機械学習モデル１２に対して指令値が入力される。当該指令値とは、図５を参照しながら説明した手先軌道の一般的な一例である。機械学習モデル１２は、入力された指令値に少なくとも基づき、フォロワ装置２０－２に対する制御信号の推論を行う。ここで、指令値とは、手先軌道のような次元の低い情報（例えば、三次元座標系における位置情報等）であってもよい。機械学習モデル１２は、手先軌道のような次元の低い情報に基づき、フォロワ装置２０－２を動作させるための次元の高い情報（例えば、各関節をどの方向に程度動作させるか等の情報）を推論する。フォロワ装置２０－２は、機械学習モデル１２により推論された制御信号に基づき動作を行い、そのときの応答値を出力する。ここで、リーダ装置２０－１の制御系統とフォロワ装置２０－２の制御系統等の相違により、指令値と応答値は、完全に一致しない場合があり、誤差が生じる場合がある。次の試行では、当該誤差を考慮した学習が行われる。
　２試行目においては、１試行目において発生した誤差と、指令値とが加算される。ここで、誤差情報と指令値の次元を揃えるため、制御器４１が用いられてもよい。このような次元を揃える処理を含めて、機械学習モデル１２を学習させることが可能であるが、当該処理を機械学習モデル１２の外に出すことにより、学習を効率よく進める（処理を軽くする）ことが可能となる。機械学習モデル１２は、入力された指令値（誤差がキャンセルされた指令値）に少なくとも基づき、フォロワ装置２０－２に対する制御信号の推論を行う。以降、１試行目の処理と同様であるため、説明を省略する。
　図８は、本実施形態に係るロボット制御システムが備えるハードウェアの内部ブロック図の一例を示す図である。ロボット制御システム１０の少なくとも一部の機能は、コンピュータを用いて実現され得る。図示するように、そのコンピュータは、中央処理装置９０１と、ＲＡＭ９０２と、入出力ポート９０３と、入出力デバイス９０４や９０５等と、バス９０６と、を含んで構成される。コンピュータ自体は、既存技術を用いて実現可能である。中央処理装置９０１は、ＲＡＭ９０２等から読み込んだプログラムに含まれる命令を実行する。中央処理装置９０１は、各命令にしたがって、ＲＡＭ９０２にデータを書き込んだり、ＲＡＭ９０２からデータを読み出したり、算術演算や論理演算を行ったりする。ＲＡＭ９０２は、データやプログラムを記憶する。ＲＡＭ９０２に含まれる各要素は、アドレスを持ち、アドレスを用いてアクセスされ得るものである。なお、ＲＡＭは、「ランダムアクセスメモリー」の略である。入出力ポート９０３は、中央処理装置９０１が外部の入出力デバイス等とデータのやり取りを行うためのポートである。入出力デバイス９０４や９０５は、入出力デバイスである。入出力デバイス９０４や９０５は、入出力ポート９０３を介して中央処理装置９０１との間でデータをやりとりする。バス９０６は、コンピュータ内部で使用される共通の通信路である。例えば、中央処理装置９０１は、バス９０６を介してＲＡＭ９０２のデータを読んだり書いたりする。また、例えば、中央処理装置９０１は、バス９０６を介して入出力ポートにアクセスする。また、ロボット制御システム１０が備える各機能部の全てまたは一部は、ＡＳＩＣ、ＰＬＤ又はＦＰＧＡ等のハードウェアを用いて実現されてもよい。また、各機能部の全部または一部は、ソフトウェアとハードウェアとの組み合わせにより実現されてもよい。
［実施形態のまとめ］
　以上説明した実施形態によれば、学習装置１１１は、１つ以上の稼働部（例えばモータ）を有するロボットを駆動するための指令値を推論する機械学習モデルを学習させる。学習装置１１１は、所定の指令値に基づきロボット装置２０を駆動した場合における応答値と、当該応答値に基づいて特定される値（例えば、手先応答値）を入力情報として、機械学習モデルを学習させる。応答値に基づいて特定される値とは、具体的には、二次元座標又は三次元座標等の座標系により特定される位置情報であってもよく、ロボット装置２０が有するアームの移動位置を示す情報であってもよい。言い換えれば、学習装置１１１は、応答値に基づいて特定される冗長な値を、わざわざ機械学習モデルに対する入力として用いている。ここで、手先応答値とは、自明な位置情報であるということもできる。本実施形態によれば、このような自明な位置情報を手掛かりに、適切な指令値を獲得する。学習装置１１１は、動作のために重要な位置情報を手掛かりに、残りの関節部分を適宜調整するように学習させられているということもできる。本実施形態によれば、このような構成を採用することにより、これまで再学習が必要であった未知の動作であっても、再学習なしで推論できるようになる。よって、本実施形態によれば、信頼性を向上させることができる。
　また、本実施形態によれば、手先軌道のような、次元の低い（人間が解釈することが可能な次元の情報）をあえて使用して学習を行うため、人間にとって解釈性が向上するということもできる。
　また、本実施形態によれば、ロボット制御システム１０は、初見の環境や、初見のタスクへ適応することができる。また、ロボット制御システム１０は、初見の環境や、初見のタスクへ適応することができるため、人間が教示する動作の数を減らすことができる。
　また、上述した実施形態によれば、学習装置１１１は、繰り返し学習により機械学習モデル１２を学習させる。学習装置１１１は、１試行目において得られた所定の次元の応答値と、当該所定の次元より低い次元の変数とを指令値として、２試行目における学習を行うということもできる。すなわち、本実施形態によれば、一連の時系列の応答の誤差を、オフラインで評価し、次の試行に誤差をフィードバックする。このような構成を採用することにより、将来発生しうる誤差を先読みして、当該誤差をフィードフォワード的に抑圧することができる。したがって、本実施形態によれば、将来の応答値を利用した非因果的な制御が可能になる。よって、本実施形態によれば、大幅に制御性能を向上させることができる。
　なお、上述した実施形態における学習装置、ロボットシステム及び学習方法が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
　また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
　以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
　本発明によれば、バイラテラル制御と機械学習とを用いて、リーダ装置の動作をフォロワ装置により学習させようとした場合、信頼性を向上させることができる。
１…ロボットシステム、１０…ロボット制御システム、２０…ロボット装置、２０－１…リーダ装置、２０－２…フォロワ装置、１１…制御装置、１２…機械学習モデル、１３…記憶装置、１１１…学習装置、１１２…推論装置、２１…通信部、２２…ロボット制御部、２３…記憶部、２４…モータ、２５…センサ、４１…制御器

Claims (9)

  1. 　１つ以上のモータを有するロボットを駆動するための指令値を推論する機械学習モデルを学習させる学習装置であって、
    　前記指令値に基づき前記ロボットを駆動した場合における応答値と、前記応答値に基づいて特定される値を入力情報として、前記機械学習モデルを学習させる、
    　学習装置。
  2. 　前記指令値には、位置に関する第１指令値と、力に関する第２指令値とが含まれ、
    　前記応答値には、位置に関する第１応答値と、力に関する第２応答値とが含まれる、
    　請求項１に記載の学習装置。
  3. 　前記第１指令値及び前記第１応答値は、前記ロボットが有する関節部を駆動する場合の駆動量に関する情報を含む、
    　請求項２に記載の学習装置。
  4. 　前記第２指令値及び前記第２応答値は、前記ロボットが有する関節部を駆動する場合のトルクに関する情報を含む、
    　請求項２に記載の学習装置。
  5. 　前記応答値に基づいて特定される値とは、二次元座標又は三次元座標により特定される位置情報であり、前記ロボットが有するアームの移動位置を示す情報である、
    　請求項１に記載の学習装置。
  6. 　繰り返し学習により前記機械学習モデルを学習させる学習装置であって、
    　１試行目において得られた所定の次元の応答値と、当該所定の次元より低い次元の変数とを指令値として、２試行目における学習を行う、
    　請求項１に記載の学習装置。
  7. 　請求項１から請求項６のいずれかに記載の学習装置により学習された機械学習モデルと、
    　前記機械学習モデルにより推論された前記指令値に基づき駆動される前記ロボットと、
    　を備えるロボットシステム。
  8. 　人間の指示に基づく未学習の動作を行う情報を、前記応答値に基づいて特定される値として前記機械学習モデルに入力し、
    　前記機械学習モデルは、未学習の動作を行うための前記指令値を出力する、
    　請求項７に記載のロボットシステム。
  9. 　１つ以上のモータを有するロボットを駆動するための指令値を推論する機械学習モデルを、コンピュータを用いて学習させる学習方法であって、
    　前記指令値に基づき、前記ロボットを駆動した場合における応答値と、前記応答値から特定される値を入力情報として、前記機械学習モデルを学習させる、
    　学習方法。
PCT/JP2025/017883 2024-06-10 2025-05-16 学習装置、ロボットシステム及び学習方法 Pending WO2025258322A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024-093817 2024-06-10
JP2024093817 2024-06-10

Publications (1)

Publication Number Publication Date
WO2025258322A1 true WO2025258322A1 (ja) 2025-12-18

Family

ID=98050910

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2025/017883 Pending WO2025258322A1 (ja) 2024-06-10 2025-05-16 学習装置、ロボットシステム及び学習方法

Country Status (1)

Country Link
WO (1) WO2025258322A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020192640A (ja) * 2019-05-28 2020-12-03 川崎重工業株式会社 制御装置、制御システム、機械装置システム及び制御方法
JP2021074242A (ja) * 2019-11-07 2021-05-20 川崎重工業株式会社 手術システム及び制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020192640A (ja) * 2019-05-28 2020-12-03 川崎重工業株式会社 制御装置、制御システム、機械装置システム及び制御方法
JP2021074242A (ja) * 2019-11-07 2021-05-20 川崎重工業株式会社 手術システム及び制御方法

Similar Documents

Publication Publication Date Title
CN110355751B (zh) 控制装置和机器学习装置
CN111546315B (zh) 一种基于人机协作的机器人柔顺示教及再现方法
Si et al. Adaptive compliant skill learning for contact-rich manipulation with human in the loop
CN106945043B (zh) 一种主从式遥操作手术机器人多臂协同控制系统
CN115351780A (zh) 用于控制机器人设备的方法
Anand et al. Model-based variable impedance learning control for robotic manipulation
Kamijo et al. Learning variable compliance control from a few demonstrations for bimanual robot with haptic feedback teleoperation system
JP2014006566A (ja) 組み込み知能コントローラ、制御システム、制御プログラム、記録媒体、及び制御方法
CN118544362B (zh) 一种人引导下视觉-力融合机械臂阻抗迭代学习控制方法
JP2025530009A (ja) 新たなタスクへの汎用化のためにロボットタスクにおけるシーケンスを学習するためのシステムおよび方法
CN115319734A (zh) 用于控制机器人设备的方法
CN116533229A (zh) 用于控制机器人设备的方法
KR20200127040A (ko) 로봇 시스템 및 로봇 제어방법
KR20230163116A (ko) 다중 로봇을 위한 심층 강화 학습 방법 및 장치
Kobayashi et al. Bi-lat: Bilateral control-based imitation learning via natural language and action chunking with transformers
WO2025258322A1 (ja) 学習装置、ロボットシステム及び学習方法
Zhang et al. Hierarchical control of manipulator with null-space compliance at the kinematic level
CN111975763A (zh) 算术设备、控制程序、机器学习器、抓握装置和控制方法
Chen et al. Learning latent causal factors from the intricate sensor feedback of contact-rich robotic assembly tasks
Inami et al. Motion ReTouch: Motion Modification Using Four-Channel Bilateral Control
WO2024203849A1 (ja) マニピュレータおよびマニピュレータの制御方法
CN117207209A (zh) 基于融合预测方程的软体机器人优化建模及鲁棒控制方法
CN117260701A (zh) 训练机器学习模型以实现控制规则的方法
CN118973770A (zh) 执行机器人应用和创建用来执行机器人应用的程序
CN119610115B (zh) 基于模型预测控制的多指灵巧手可泛化物体操作方法与系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25821670

Country of ref document: EP

Kind code of ref document: A1