WO2018042730A1 - ロボットの制御装置およびロボットの制御方法 - Google Patents

ロボットの制御装置およびロボットの制御方法 Download PDF

Info

Publication number
WO2018042730A1
WO2018042730A1 PCT/JP2017/010887 JP2017010887W WO2018042730A1 WO 2018042730 A1 WO2018042730 A1 WO 2018042730A1 JP 2017010887 W JP2017010887 W JP 2017010887W WO 2018042730 A1 WO2018042730 A1 WO 2018042730A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
assembly
workpiece
state
hand
Prior art date
Application number
PCT/JP2017/010887
Other languages
English (en)
French (fr)
Inventor
浩太郎 村岡
康孝 石塚
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Priority to JP2018536921A priority Critical patent/JP6651636B2/ja
Priority to US16/328,063 priority patent/US20190184564A1/en
Priority to CN201780052332.6A priority patent/CN109641354B/zh
Priority to CA3035492A priority patent/CA3035492C/en
Publication of WO2018042730A1 publication Critical patent/WO2018042730A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • B23P19/04—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes for assembling or disassembling parts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/085—Force or torque sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1633—Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41805—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by assembly
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • B23P19/02—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes for connecting objects by press fit or for detaching same
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39469—Grip flexible, deformable plate, object and manipulate it
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40499—Reinforcement learning algorithm

Definitions

  • the present invention relates to a robot control apparatus and a robot control method for performing press-fitting work and the like.
  • Patent Document 1 describes a press-fitting device that press-fits a shaft-like component into a press-fitting hole formed in a press-fitted work.
  • This press-fitting device has press-fitting means that is swingably supported by the mounting member via a pair of springs, whereby the press-fitting means fluctuates when the shaft-like component receives an eccentric load from the edge of the press-fitting hole, Reduce press-fit reaction force.
  • the device described in Patent Document 1 merely reduces the press-fitting reaction force. For example, when there is a misalignment between the shaft-like component and the press-fit hole due to individual differences between the shaft-like components, for example. It is difficult to perform press-fitting even using the apparatus described in Patent Document 1.
  • One aspect of the present invention is a robot control apparatus that controls a robot so that a first part supported by a robot hand driven by an actuator is assembled to a second part, which is obtained in advance by reinforcement learning.
  • a storage unit that stores a relationship between a plurality of intermediate states of one part and an optimal behavior of the robot that gives the highest reward for each intermediate state of the assembly, and state detection that detects the intermediate state of the first part
  • an actuator control unit that specifies the optimal behavior of the robot corresponding to the assembly-in-progress state detected by the state detection unit based on the relationship stored in the storage unit, and controls the actuator according to the optimal behavior.
  • a robot control method for controlling a robot so that a first part supported by a robot hand driven by an actuator is assembled to a second part. Strengthen to acquire the relationship between the multiple assembly states of the first component and the optimal behavior of the robot that gives the highest reward for each assembly state by performing the operation of assembling one component to the second component multiple times. Based on the learning process and when the first part is assembled to the second part, the intermediate state of the first part is detected and the optimum behavior corresponding to the detected intermediate state is acquired in the reinforcement learning step. And an assembly work process for controlling the actuator according to the identified optimum action.
  • the first component is moved to the second component by driving the robot hand. Can be easily assembled.
  • FIG. 1 is a diagram schematically showing a robot system including a robot control apparatus according to an embodiment of the present invention.
  • the enlarged view of the arm tip part of the robot of FIG. The figure which shows the bending state of the workpiece
  • FIG. 5 is a diagram in which a part of FIG. 4 is taken out and is a diagram for explaining a movement path of a workpiece.
  • the flowchart which shows an example of the process performed by the normal control part of FIG.
  • FIG. 1 is a diagram schematically showing a robot system including a robot control apparatus according to an embodiment of the present invention.
  • This robot system includes a robot 1 and a controller 2 that controls the robot 1.
  • the controller 2 includes a PLC (Programmable Logic Controller), a servo amplifier, and the like.
  • the robot 1 is, for example, a vertical articulated robot having a plurality of pivotable arms 11, and a work hand 12 is provided at the end of the arm.
  • the robot 1 has a plurality of servo motors 13 (only one is shown for convenience) for driving the robot.
  • Each servo motor 13 is provided with an encoder 14, and the encoder 14 detects the rotation angle of the servo motor 13. The detected rotation angle is fed back to the controller 2, and the position and posture of the hand 12 in the three-dimensional space are controlled by feedback control in the controller 2.
  • the controller 2 includes an arithmetic processing unit having a CPU, ROM, RAM, and other peripheral circuits.
  • the controller 2 outputs a control signal to the servo motor 13 according to a program stored in advance in the memory, and controls the operation of the robot 1.
  • the robot 1 can perform various operations, the robot 1 according to the present embodiment is particularly configured to perform an assembling operation for assembling a workpiece to a part.
  • FIG. 2 is an enlarged view of the arm tip of the robot 1.
  • the hand 12 has a claw portion 12a that can be expanded and contracted about the axis line CL1, and can hold the workpiece 100 about the axis line CL1 through the claw portion 12a.
  • the workpiece 100 is a tube made of, for example, a flexible material (rubber or the like).
  • the workpiece 100 is press-fitted outside a part (for example, a pipe) 101 made of a material (metal or the like) that protrudes from the engine and is harder than the workpiece 100, whereby the workpiece 100 is assembled to the part 101.
  • the workpiece 100 and the part 101 form a flow path through which fluid flows into or out of the engine.
  • a reference workpiece shape is defined in advance.
  • a cylindrical reference workpiece shape (dotted line) centering on the axis CL1 is defined.
  • work is performed by setting the reference point P0 to the front-end
  • the reference point P0 is set to the point at the tip of the reference workpiece shape on the axis CL1 as shown in the figure.
  • the reference point P0 can also be set at a point (for example, the tip of the claw portion 12a) that is a predetermined distance away from the attachment portion of the hand 12.
  • the tube-shaped workpiece 100 has a bending curve peculiar to the workpiece, and individual differences occur in individual workpiece shapes. This individual difference is also caused by a difference in the molding conditions of the workpiece 100. Furthermore, the physical characteristics (such as elastic modulus) of the workpiece 100 may change due to differences in temperature and humidity during use. As a result, as shown in FIG. 2, a deviation occurs between the axis CL1 and the center axis CL2 of the workpiece tip. For this reason, when the assembly work of the workpiece 100 is performed by moving the hand 12 along a predetermined locus (position control), for example, the workpiece 100 is bent as shown in FIG. 3A or as shown in FIG. 3B. There is a possibility that the workpiece 100 is buckled.
  • position control position control
  • the robot control device is configured as follows so that the work 100 can be quickly pressed in without complicating the configuration of the hand 12.
  • the controller 2 receives signals from the force detector 15 and the input unit 16 in addition to the encoder 14.
  • the force detector 15 is constituted by a 6-axis force sensor provided at the tip of the hand 12.
  • the direction of the axis CL1 is defined as the Z direction
  • the two orthogonal directions constituting the plane perpendicular to the axis CL1 are defined as the X direction and the Y direction
  • the force detector 15 is applied to the hand 12, the X axis, the Y axis, and the Z axis.
  • Directional translational forces Fx, Fy, Fz and moments Mx, My, Mz around the X, Y, and Z axes are detected.
  • the Z direction is the traveling direction of the hand 12 (the direction along the axis line CL1)
  • the Y direction is the direction in which the misalignment between the axis line CL3 of the component 101 and the center axis CL2 of the workpiece tip occurs. That is, the robot 1 operates so as to cause misalignment between components in the YZ plane, and the hand 12 moves in the YZ plane so as to correct the misalignment.
  • the robot 1 is constituted by a keyboard, a touch panel, or the like, and various commands and setting values related to assembly work, a reference workpiece shape, and the like are input via the input unit 16.
  • the robot 1 according to the present embodiment can perform a work as reinforcement learning in addition to performing a normal work assembling work according to a command from the controller 2, and switching of these work is also performed via the input unit 16.
  • Various setting values required for reinforcement learning for example, a movement path (reference movement path PA in FIG. 4) serving as a reference for the hand tip (reference point P0), a movement amount (pitch) per unit time, and the like are also input unit 16. Is set via a movement path (reference movement path PA in FIG. 4) serving as a reference for the hand tip (reference point P0), a movement amount (pitch) per unit time, and the like are also input unit 16. Is set via a movement path (reference movement path PA in FIG. 4) serving as a reference for the hand tip (reference point P0),
  • the controller 2 includes a storage unit 21 and a motor control unit 22 as functional configurations.
  • the motor control unit 22 includes a learning control unit 23 that controls the servo motor 13 during reinforcement learning, and a normal control unit 24 that controls the servo motor 13 during normal work assembly work.
  • the storage unit 21 stores a relationship (a Q table, which will be described later) between a state during the assembly of the workpiece 100 and an action of the robot 1 corresponding to the state during the assembly.
  • the servo motor 13 is driven by the processing in the learning control unit 23, and the work of assembling the workpiece 100 to the component 101 is performed a plurality of times.
  • reinforcement learning will be described.
  • Reinforcement learning is a type of machine learning that deals with the problem of observing the current state of an agent in a certain environment and determining the action to be taken. Agents get rewards from the environment by selecting actions. There are various methods for reinforcement learning.
  • Q-learning is used. Q-learning is a technique for performing learning so as to take an action having the highest action evaluation function value (Q value) (an action that receives the most reward) under a certain environmental state.
  • the Q value is updated by the following equation (I) based on the state st and the action at at time t.
  • Q (st, at) ⁇ Q (st, at) + ⁇ [rt + 1 + ⁇ maxQ (st + 1, at + 1) ⁇ Q (st, at)] (I)
  • ⁇ is a coefficient (learning rate) indicating the degree of updating the Q value
  • ⁇ is a coefficient (discount rate) indicating how much the result of a future event is reflected.
  • R in the above formula (I) is an index (reward) for evaluating the action at with respect to the change in the state st, and is set so that the Q value increases as the state st improves.
  • FIG. 4 is a diagram illustrating an example of the reference movement path PA.
  • the reference movement path PA is determined in consideration of a mode in which an operator who is familiar with the work of assembling the work 100 actually press-fits the work 100 by hand.
  • the operator when the flexible workpiece 100 is press-fitted into the outer peripheral surface of the component 101, the operator first holds the tip of the workpiece 100, and places the workpiece tip on the outside of the component 101 at a predetermined angle with respect to the axis CL3. It is inserted obliquely at ⁇ (for example 45 °). Next, the operator rotates the workpiece 100 so that the center axis CL2 of the workpiece 100 coincides with the axis CL3, and then pushes the workpiece 100 along the axis CL3 to a predetermined position while maintaining the posture.
  • a reference movement path PA when the workpiece 100 is press-fitted by the robot 1 is defined on the YZ plane.
  • the movement direction (Z direction) of the hand 12 changes along the reference movement path PA, and accordingly, the Y direction perpendicular to the Z direction also changes.
  • the reference movement path PA is set.
  • a plurality of (for example, 20) steps (ST1 to ST20) are divided.
  • the time t in the above formula (I) is replaced with a step, and the Q value is calculated for each step.
  • steps ST1 to ST9 the workpiece 100 is inserted obliquely with respect to the axis CL3.
  • steps ST10 to ST12 the workpiece 100 is rotated.
  • steps ST13 to ST20 the workpiece 100 is pushed along the axis CL3.
  • the current step, the immediately preceding step, and the immediately following step during the work assembling work may be represented by STt, STt ⁇ 1, and STt + 1, respectively.
  • FIG. 5 is a diagram for explaining a state where the work 100 moving in the YZ plane is being assembled.
  • the work 100 is in the middle of assembly in the amount of change ⁇ Fz of the force Fz in the direction of the axis CL2 (Z direction) acting on the tip of the hand, and the moment Mx about the X axis orthogonal to the YZ plane.
  • it can be classified into six states, that is, mode MD1 to mode MD6.
  • the force change amount ⁇ Fz is the difference between the force Fz acting on the workpiece in the current step STt and the force Fz acting on the workpiece in the immediately preceding step STt-1.
  • the current step is ST3
  • the difference between the force Fz applied in step ST3 and the force Fz applied in the immediately preceding step ST2 is ⁇ Fz.
  • the moment Mx takes a positive value when a rotational force in the + Y direction acts on the hand 12, and takes a negative value when a rotational force in the -Y direction acts.
  • the misalignment direction of the workpiece 100 with respect to the axis line CL3 can be specified.
  • the mode MD2 is a state in which both the force change amount ⁇ Fz and the moment Mx are 0 or almost zero. More specifically, the force change amount ⁇ Fz is equal to or less than the positive predetermined value ⁇ F1 and the moment Mx is equal to or greater than the negative predetermined value M2 and equal to or less than the positive predetermined value M1. Corresponds to a non-contact state where there is no contact.
  • the mode MD1 is a state in which the force change amount ⁇ Fz is equal to or less than ⁇ F1 and the moment Mx is larger than M1, and corresponds to a state in which the workpiece 100 is buckled in the + Y direction as illustrated.
  • Mode MD3 corresponds to a state in which the force change amount ⁇ Fz is equal to or less than ⁇ F1 and the moment Mx is less than M2, and the workpiece is buckled in the ⁇ Y direction as illustrated.
  • Mode MD1 to mode MD3 include a case where the force change amount ⁇ Fz is negative.
  • the mode MD5 is a state in which the force change amount ⁇ Fz is larger than ⁇ F1 and the moment Mx is not less than M2 and not more than M1. This state corresponds to a normal state when the workpiece 100 is normally press-fitted as illustrated.
  • the mode MD4 is a state where the force change amount ⁇ Fz is larger than ⁇ F1 and the moment Mx is larger than M1, and corresponds to a bending state in which the workpiece is bent in the + Y direction as shown in the figure.
  • the mode MD6 is a state in which the force change amount ⁇ Fz is larger than ⁇ F1 and the moment Mx is less than M2, and corresponds to a bending state in which the workpiece is bent in the ⁇ Y direction as shown in the figure.
  • the current intermediate state of the workpiece 100 that is, which mode MD1 to MD6 the workpiece 100 corresponds to, is determined by the force Fz and moment Mx detected by the force detector 15, more precisely, the force change amount ⁇ Fz and moment.
  • the learning control unit 23 specifies based on Mx.
  • the reward r of the above formula (I) is set using a reward table stored in advance, that is, a reward table defined by the relationship between the state at the current step STt and the state at the immediately preceding step STt-1.
  • FIG. 6 is a diagram illustrating an example of a reward table.
  • the reward r (specifically, the rewards r15, r25, r35, r45, r55, r65) is set regardless of the state at the immediately preceding step STt-1.
  • the reward r (specifically Is set to a predetermined value (for example, ⁇ 3) for the rewards r11, r22, r33, r44, r66). That is, in this case, a negative reward r is given assuming that the state is not improved any more. In other cases (when the state changes other than the normal state MD5), 0 is set to the reward r. Note that the value of the reward r described above can be changed as appropriate based on the result of actual press-fitting work.
  • the learning control unit 23 sets the reward r of the above formula (I) at each step according to the reward table of FIG. 6, and calculates the Q value.
  • FIG. 7 is a view showing a part of the lattice of FIG. As shown in FIG. 7, the intersection (dot) of the lattice corresponds to the moving point of the hand tip. That is, the hand tip (reference point P0) moves in units of dots in steps ST1 to ST20, and the dot interval corresponds to the pitch when the hand 12 is moved.
  • the hand 12 moves along the reference movement path PA in the next step STt + 1. It moves to either the point P2, the point P3 shifted by 1 pitch in the + Y direction from the reference movement path PA, or the point P4 shifted by 1 pitch in the -Y direction. If the current step STt becomes the point P4, the next step STt + 1 moves to one of the points P5, P6 and P7.
  • the direction in which the hand 12 can move (the angle indicating the movement direction) and the amount of movement are stored in advance in the memory. For example, 0 ° and ⁇ 45 ° with respect to the axis CL1 are set as angles indicating the moving direction, and a length corresponding to the interval between adjacent dots is set as the moving amount.
  • the learning control unit 23 operates the robot 1 so that a high reward r is obtained according to the determined condition.
  • the robot 1 can not only move the hand 12 but also rotate the hand 12 around the X axis. Therefore, the controller 2 is also set with the amount of rotation about the X axis with respect to the moving direction of the hand 12.
  • FIG. 8 is a diagram showing actions that the robot 1 can take during the work assembly work. As shown in FIG. 8, the robot 1 can take nine actions a1 to a9 in steps ST1 to ST20, respectively.
  • the action a1 corresponds to the movement from the point P1 to the point P2 and the movement from the point P4 to the point P5 in FIG.
  • the action a2 corresponds to the movement from the point P1 to the point P4 and the movement from the point P4 to the point P7 in FIG.
  • the action a3 corresponds to the movement from the point P1 to the point P3 and the movement from the point P4 to the point P6 in FIG.
  • Actions a4 to a6 are actions that rotate clockwise around the X axis in addition to the movements of actions a1 to a3.
  • Actions a7 to a9 are actions that rotate counterclockwise around the X axis in addition to the movements of actions a1 to a3.
  • the work as reinforcement learning can be performed by applying nine actions a1 to a9 to each of the six assembly states (modes MD1 to MD6) of the workpiece 100.
  • modes MD1 to MD6 six assembly states
  • the reinforcement learning process takes a lot of time. Therefore, in order to shorten the time taken for the reinforcement learning process, it is preferable to narrow down actions in reinforcement learning.
  • Narrowing down the behavior is performed by, for example, manually assembling a worker who is familiar with the work assembly work in advance and grasping the action pattern at that time. That is, in steps ST1 to ST20 from the start of assembly of the workpiece 100 to the completion of assembly, when there is an action that is not clearly selected by the worker, the action is narrowed down by excluding that action.
  • steps ST1 to ST9 and steps ST13 to ST20 in FIG. 4 the worker selects only the actions a1 to a3 and does not select the actions a4 to a9.
  • steps ST10 to ST12 the worker selects only the actions a4 to a6 and does not select the actions a1 to a3 and the actions a7 to a9.
  • the work assembling work as reinforcement learning is limited so that only actions a1 to a3 are applied in steps ST1 to ST9 and steps ST13 to ST20, and only actions a4 to a6 are applied in steps ST10 to ST12.
  • Applicable actions in each of steps ST1 to ST20 are set in advance via the input unit 16.
  • the learning control unit 23 operates the robot 1 by selecting an arbitrary action that can obtain a positive reward from these applicable actions, and uses the above formula (I) each time an action is selected. Q value is calculated. The work assembling work as reinforcement learning is repeated until the Q value converges in each of steps ST1 to ST20.
  • FIG. 9 is a diagram showing the relationship between the number of operations of the hand 12 (number of trials N) and the Q value at a certain step STt.
  • the Q value is 0, and the Q value converges to a constant value as the number of trials N increases.
  • a Q table is constructed using such a converged Q value.
  • FIG. 10A and FIG. 10B are diagrams showing an example of the Q table obtained in the reinforcement learning process.
  • the Q value is set for each of steps ST1 to ST20 according to the state and the action.
  • states (modes) MD1 to MD6 and actions a1 to a3 Q tables QT1 to QT9 and QT13 to QT20 corresponding to the above are constructed.
  • steps ST10 to ST12 as shown in FIG. 10B, Q tables QT10 to QT12 corresponding to the states MD1 to MD6 and the actions a4 to a6 are constructed.
  • the constructed Q tables QT1 to QT20 are stored in the storage unit 21 of FIG.
  • FIG. 11 is a diagram showing a specific example of the Q table.
  • This Q table is, for example, the Q table QT1 in step ST1.
  • the Q values are all zero.
  • the normal control unit 24 in FIG. 1 selects an action having the highest Q value for the state from the Q table stored in the storage unit 21. For example, the action a2 is selected in the state MD1, and the action a1 is selected in the state MD2. Then, the servo motor 13 is controlled so that the robot 1 executes the selected action.
  • FIG. 12 is a flowchart showing an example of processing executed by the normal control unit 24.
  • the process shown in this flowchart is started when the start of normal work assembling work is instructed by the operation of the input unit 16 after the Q table is stored in the reinforcement learning process.
  • the process of FIG. 12 is executed in each of steps ST1 to ST20.
  • the current assembly state of the workpiece 100 is detected based on the signal from the force detector 15. That is, the mode MD1-MD6 corresponding to the workpiece 100 is detected.
  • the Q table QT corresponding to the current step STt is read from the storage unit 21, and the action with the highest Q value is selected with respect to the detected assembling state.
  • a control signal is output to the servo motor 13 so that the robot 1 takes the selected action.
  • actions can be narrowed down so that actions a1 to a3 are taken in steps ST1 to ST9 and ST13 to ST20, and actions a4 to a6 are taken in steps ST10 to ST12.
  • the reference movement path PA determined in the preliminary work process and the actions that the robot 1 can take are set in the controller 2 via the input unit 16.
  • the reinforcement learning process is executed.
  • the learning control unit 23 outputs a control signal to the servo motor 13 to actually operate the robot 1 and repeatedly perform the work of assembling the workpiece 100.
  • the learning control unit 23 selects one action from a plurality of actions set in advance for each of steps ST1 to ST20, and controls the servo motor 13 so that the robot 1 executes the action.
  • the state change is grasped by a signal from the force detector 15, and a reward r based on the state change is determined with reference to a predetermined reward table (FIG. 6). Then, using this reward r, the Q value corresponding to the state and action in each step ST1 to ST20 is calculated by the above equation (I).
  • the learning control unit 23 randomly selects an action in each of steps ST1 to ST20.
  • the learning control unit 23 preferentially selects an action that provides a high reward r, and the Q value of the specific action gradually increases for each state in each of the steps ST1 to ST20.
  • the Q value of the action that corrects bending and buckling increases.
  • a Q table QT is constructed with the Q value at that time and stored in the storage unit 21.
  • the assembly work of the workpiece 100 is performed by the process in the normal control unit 24 as the assembly work process.
  • the normal control unit 24 detects a state during the assembly of the workpiece 100 at the current step STt based on a signal from the force detector 15 (S11).
  • the current step of ST1 to ST20 can be specified by a signal from the encoder 14, for example.
  • the normal control unit 24 selects an action having the highest Q value as an optimum action from a plurality of actions corresponding to the assembling state set in the Q table (S12), and the robot 1 takes the optimum action.
  • the servo motor 13 is controlled (S13).
  • the robot 1 can be operated. That is, it is possible to take an optimum action according to the change in the state, and it is possible to press the workpiece 100 into the part 101 regardless of individual differences of the workpiece 100. Even when the workpiece 100 is formed of a flexible tube, the workpiece 100 can be press-fitted while easily and appropriately correcting the bending and buckling of the workpiece 100.
  • the robot control apparatus controls the robot 1 so that the workpiece 100 supported by the hand 12 of the robot 1 driven by the servo motor 13 is assembled to the component 101.
  • the control device includes a plurality of intermediate assembly states (MD1 to MD6) of workpieces obtained by reinforcement learning in advance, and an optimal action (a1 to a6) of the robot 1 that gives the highest reward for each intermediate assembly state. Is detected by the force detector 15 based on the storage unit 21 that stores the relationship (Q table), the force detector 15 that detects the state of the work 100 being assembled, and the Q table stored in the storage unit 21.
  • a normal control unit 24 that specifies the optimum behavior of the robot 1 corresponding to the assembling state and controls the servo motor 13 according to the optimum behavior is provided (FIG. 1).
  • the servo motor 13 By controlling the servo motor 13 with reference to the Q table acquired by reinforcement learning in this way, there is an individual difference such as a bending wrinkle in the workpiece 100, and there is a difference between the center axis CL2 of the workpiece 100 and the axis CL3 of the component 101. Even if there is a misalignment, the workpiece 100 can be easily and quickly press-fitted into the component 101 while correcting the misalignment without causing the workpiece 100 to bend or buckle. Further, it is not necessary to separately provide a reaction force receiving portion or the like in the hand 12, the configuration of the hand 12 can be simplified, and the enlargement of the hand 12 can be avoided.
  • the optimal action of the robot 1 is defined by a combination of an angle indicating the moving direction of the hand 12, a moving amount of the hand 12 along the moving direction, and a rotating amount of the hand 12 with respect to the moving direction (FIG. 8).
  • the force detector 15 includes a force detector 15 that detects translational forces Fx, Fy, Fz and moments Mx, My, Mz acting on the hand 12, and the translational force detected by the force detector 15. Based on Fy and the moment Mx, the assembly state of the workpiece 100 is specified (FIG. 5). Thereby, the bending state or buckling state of the workpiece 100 due to the misalignment of the workpiece 100 can be detected with a simple configuration, and the apparatus can be configured at a lower cost than when a camera or the like is used.
  • the storage unit 21 has a relationship between a plurality of assembly intermediate states from the start of assembly of the workpiece 100 to the completion of assembly and the optimum behavior corresponding to each of the intermediate assembly states, that is, the Q table (FIG. 10A). , FIG. 10B).
  • the Q table FIG. 10A
  • FIG. 10B the Q table
  • the robot control method controls the robot 1 so that the workpiece 100 supported by the hand 12 of the robot 1 driven by the servo motor 13 is assembled to the component 101 ( FIG. 1).
  • the operation of assembling the workpiece 100 to the component 101 by driving the hand 12 is performed a plurality of times, and the robot 1 that gives the highest reward for the plurality of intermediate assembly states of the workpiece 100 and the respective intermediate assembly states is provided.
  • the reinforcement learning process for acquiring the relationship (Q table) with the optimum behavior and when the workpiece 100 is assembled to the component 101, the assembly intermediate state of the workpiece 100 is detected, and the optimum behavior corresponding to the detected intermediate assembly state is detected.
  • An assembly work process that is specified based on the Q table acquired in the reinforcement learning process and controls the servo motor 13 in accordance with the specified optimum action.
  • the robot control method further includes a preliminary work process in which an operator assembles the workpiece 100 to the part 101 before performing the reinforcement learning process. Based on the grasped behavior pattern of the worker, the behavior of the robot 1 in the reinforcement learning process is determined. As a result, the robot 1 can realize the same behavior as that of the expert. Further, for example, the actions of the robot 1 can be narrowed down so that actions a1 to a3 are taken in steps ST1 to ST9 and steps ST13 to ST20, and actions a4 to a6 are taken in steps ST10 to ST12. Therefore, the time required for the reinforcement learning process can be shortened, and efficient control of the robot 1 can be realized.
  • the controller 2 constituting the robot control apparatus has the learning control unit 23 and the normal control unit 24, and performs the work assembly work as reinforcement learning by the processing in the learning control unit 23.
  • the relationship between the assembly state of the workpiece 100 and the optimal behavior of the robot 1 is acquired using Q learning.
  • the reinforcement learning is not limited to Q learning, and other methods may be used. . Therefore, you may memorize
  • a state detection part is not restricted to this.
  • a pair of vibration sensors are mounted on the peripheral surface of the base end of the workpiece 100 or the tip of the hand, and the moment is detected based on the time difference between the pair of vibration sensors detecting vibrations. It may be detected.
  • the optimal behavior of the robot 1 corresponding to the assembly state of the workpiece 100 detected by the force detector 15 is specified, and the servo motor 13 is controlled according to the optimal behavior.
  • the configuration of the normal control unit 24 as the actuator control unit is not limited to this.
  • the robot 1 may be provided with not only the servo motor 13 but other actuators (for example, cylinders), and the actuator control unit may control the other actuators so that the robot 1 takes an optimal action.
  • the assembly state of the workpiece 100 is classified into six modes MD1 to MD6. However, this is determined by the material and shape of the workpiece 100, and may be classified into other modes.
  • the vertical articulated robot 1 is used, but the configuration of the robot is not limited to this.
  • a flexible tube is used as the workpiece 100.
  • the shape and material of the workpiece may be anything.
  • the workpiece 100 may be a metal.
  • the tube-shaped workpiece 100 (first component) is press-fitted into the pipe-shaped component 101 (second component) as the workpiece assembly operation, but the configuration of the first component and the second component is as follows. Not limited to this. Therefore, the assembly work by the robot is not limited to the press-fitting work, and the robot control device and control method of the present invention can be similarly applied to various kinds of work.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Automatic Assembly (AREA)

Abstract

ロボットの制御装置は、予め強化学習によって得られた第１部品の複数の組付途中状態と各々の組付途中状態に対し最も高い報酬を与えるロボット（１）の最適行動との関係を記憶する記憶部（２１）と、第１部品の組付途中状態を検知する力検出器（１５）と、記憶部（２１）に記憶された関係に基づき、力検出器（１５）により検知された組付途中状態に対応するロボット（１）の最適行動を特定し、最適行動に従いサーボモータ（１３）を制御する通常制御部（２４）と、を備える。 本発明によれば、強化学習を利用することで、第１部品と第２部品との間に芯ずれ等が存在する場合であっても、ロボットのハンドの駆動により第１部品を第２部品に容易に組み付けることができる。

Description

ロボットの制御装置およびロボットの制御方法
　本発明は、圧入作業などを行うロボットの制御装置およびロボットの制御方法に関する。
　従来より、ロボットのハンドに取り付けられて、圧入作業時の反力を低減するようにした装置が知られている（例えば特許文献１参照）。特許文献１には、被圧入ワークに穿設された圧入孔に軸状部品を圧入する圧入装置が記載される。この圧入装置は、一対のばねを介して取り付け部材に揺動可能に支持された圧入手段を有し、これにより圧入孔のエッジから軸状部品が偏心荷重を受けると圧入手段が揺動し、圧入反力を低減する。
特開２００６－１１６６６９号公報
　しかしながら、上記特許文献１記載の装置は、単に圧入反力を低減するに過ぎず、例えば軸状部品の個体差に起因して軸状部品と圧入孔との間に芯ずれ等が存在する場合、上記特許文献１記載の装置を用いても圧入を行うことは困難である。
　本発明の一態様は、アクチュエータにより駆動されるロボットのハンドに支持された第１部品を第２部品に組み付けるようにロボットを制御するロボットの制御装置であって、予め強化学習によって得られた第１部品の複数の組付途中状態と各々の組付途中状態に対し最も高い報酬を与えるロボットの最適行動との関係を記憶する記憶部と、第１部品の組付途中状態を検知する状態検知部と、記憶部に記憶された関係に基づき、状態検知部により検知された組付途中状態に対応するロボットの最適行動を特定し、最適行動に従いアクチュエータを制御するアクチュエータ制御部と、を備える。
　また、本発明の別の態様は、アクチュエータにより駆動されるロボットのハンドに支持された第１部品を第２部品に組み付けるようにロボットを制御するロボットの制御方法であって、ハンドの駆動により第１部品を第２部品へ組み付ける作業を複数回行って、第１部品の複数の組付途中状態と各々の組付途中状態に対し最も高い報酬を与えるロボットの最適行動との関係を取得する強化学習工程と、第１部品を第２部品に組み付けるときに、第１部品の組付途中状態を検知し、検知した組付途中状態に対応する最適行動を強化学習工程で取得した関係に基づいて特定し、特定した最適行動に従いアクチュエータを制御する組付作業工程と、を含む。
　本発明によれば、強化学習を利用することで、第１部品と第２部品との間に芯ずれ等が存在する場合であっても、ロボットのハンドの駆動により第１部品を第２部品に容易に組み付けることができる。
本発明の実施形態に係るロボットの制御装置を含むロボットシステムを概略的に示す図。 図１のロボットのアーム先端部の拡大図。 ワークの組付作業時におけるワークの曲がり状態を示す図。 ワークの組付作業時におけるワークの座屈状態を示す図。 ワークの組付作業時における基準移動経路の一例を示す図。 ワークの組付途中状態を説明する図。 Ｑ学習で用いられる報酬テーブルの一例を示す図。 図４の一部を取り出した図であり、ワークの移動経路を説明する図。 ワークの組付作業時におけるロボットのとり得る行動を示す図。 ハンドの動作した試行回数とＱ値との関係を示す図。 強化学習工程で得られたＱテーブルの一例を示す図。 強化学習工程で得られたＱテーブルの他の例を示す図。 Ｑテーブルの具体例を示す図。 図１の通常制御部で実行される処理の一例を示すフローチャート。
　以下、図１～図１２を参照して本発明の実施形態について説明する。図１は、本発明の実施形態に係るロボットの制御装置を含むロボットシステムを概略的に示す図である。このロボットシステムは、ロボット１と、ロボット１を制御するコントローラ２とを有する。コントローラ２は、ＰＬＣ（Programmable Logic Controller）やサーボアンプなどを含んで構成される。
　ロボット１は、例えば回動可能な複数のアーム１１を有する垂直多関節ロボットであり、アーム先端部に作業用のハンド１２が設けられる。ロボット１は、ロボット駆動用の複数（便宜上１つのみ図示）のサーボモータ１３を有する。各サーボモータ１３にはエンコーダ１４が設けられ、エンコーダ１４によりサーボモータ１３の回転角度が検出される。検出された回転角度はコントローラ２にフィードバックされ、コントローラ２でのフィードバック制御により、三次元空間におけるハンド１２の位置および姿勢が制御される。
　コントローラ２は、ＣＰＵ，ＲＯＭ，ＲＡＭおよびその他の周辺回路などを有する演算処理装置を含んで構成される。コントローラ２は、予めメモリに格納されたプログラムに従いサーボモータ１３に制御信号を出力し、ロボット１の動作を制御する。ロボット１は種々の作業を行うことが可能であるが、本実施形態に係るロボット１は、特にワークを部品に組み付ける組付作業を行うように構成される。
　図２は、ロボット１のアーム先端部の拡大図である。図２に示すように、ハンド１２は軸線ＣＬ１を中心として拡縮可能な爪部１２ａを有し、爪部１２ａを介し軸線ＣＬ１を中心としてワーク１００を把持することができる。ワーク１００は、例えば可撓性を有する材質（ゴム等）によって構成されたチューブである。このワーク１００は、例えばエンジンから突設されてワーク１００よりも硬い材質（金属等）によって構成された部品（例えばパイプ）１０１の外側に圧入され、これによりワーク１００が部品１０１に組み付けられる。ワーク１００と部品１０１とにより、エンジン内へまたはエンジン内から流体が流入または流出する流路が形成される。
　ワーク１００の組付作業時には、予め基準となるワーク形状を定義する。例えば本実施形態のようにワーク１００がチューブである場合には、軸線ＣＬ１を中心とした円筒形状の基準ワーク形状（点線）を定義する。そして、ハンド１２の先端部に基準点Ｐ０を設定し、基準点Ｐ０の位置を制御することでワーク組付作業を行う。基準点Ｐ０は、例えば図示のように軸線ＣＬ１上の基準ワーク形状の先端の点に設定される。なお、ハンド１２の取付部から所定距離だけ離れた点（例えば爪部１２ａの先端等）に基準点Ｐ０を設定することもできる。
　ところで、チューブ形状のワーク１００にはワーク固有の曲がり癖が存在し、個々のワーク形状に個体差が生じる。この個体差はワーク１００の成形条件等の違いによっても生じる。さらに、使用時の気温や湿度の差異により、ワーク１００の物理的特性（弾性率等）が変化するおそれがある。その結果、図２に示すように軸線ＣＬ１とワーク先端部の中心軸ＣＬ２との間にずれが生じる。このため、予め定められた軌跡に沿ってハンド１２を動作させてワーク１００の組付作業を行うと（位置制御）、例えば図３Ａに示すようにワーク１００の曲がり、あるいは図３Ｂに示すようにワーク１００に座屈が生じるおそれがある。
　このようなワーク１００の曲がりや座屈を避けるために、例えばハンド１２に圧入反力を低減する反力受け部を設けるように構成すると、ハンド１２の構成が複雑になり、ハンド１２が大型化する。また、仮にハンド１２に反力受け部あるいはハンド１２に作用する力を検出するセンサ等を設け、ハンド１２に作用する力を制御するように構成しても（力制御）、チューブ等の柔軟性のあるワーク１００の圧入を迅速に行うことは困難である。特に、ワーク１００と部品１０１との間に芯ずれが存在する場合、芯ずれを解消しながら圧入を行うことは難しい。そこで、本実施形態では、ハンド１２の構成を複雑にすることなく、かつ、ワーク１００の圧入を迅速に行わせることができるよう、以下のようにロボットの制御装置を構成する。
　図１に示すように、コントローラ２には、エンコーダ１４の他、力検出器１５と入力部１６とからの信号が入力される。
　図２に示すように、力検出器１５は、ハンド１２の先端部に設けられた６軸力覚センサにより構成される。軸線ＣＬ１の方向をＺ方向、軸線ＣＬ１に垂直な平面を構成する直交２軸方向をＸ方向およびＹ方向と定義すると、力検出器１５は、ハンド１２に作用するＸ軸、Ｙ軸およびＺ軸方向の並進力Ｆｘ，Ｆｙ，Ｆｚと、Ｘ軸、Ｙ軸およびＺ軸廻りのモーメントＭｘ，Ｍｙ，Ｍｚとを検出する。Ｚ方向はハンド１２の進行方向（軸線ＣＬ１に沿った方向）であり、Ｙ方向は部品１０１の軸線ＣＬ３とワーク先端の中心軸ＣＬ２との芯ずれが生じる方向である。すなわち、部品間の芯ずれをＹＺ面内で生じさせるようにロボット１は動作し、ハンド１２は芯ずれを修正するようにＹＺ面内を移動する。
　図１の入力部１６は、キーボードやタッチパネル等により構成され、入力部１６を介して組付作業に係わる各種指令や設定値、基準ワーク形状等が入力される。本実施形態に係るロボット１は、コントローラ２からの指令により通常のワーク組付作業を行う他、強化学習としての作業を行うことが可能であり、これらの作業の切換も入力部１６を介して指令される。強化学習において必要となる各種設定値、例えば、ハンド先端部（基準点Ｐ０）の基準となる移動経路（図４の基準移動経路ＰＡ）や単位時間当たりの移動量（ピッチ）等も入力部１６を介して設定される。
　コントローラ２は、機能的構成として、記憶部２１と、モータ制御部２２とを有する。モータ制御部２２は、強化学習の際にサーボモータ１３を制御する学習制御部２３と、通常のワーク組付作業時にサーボモータ１３を制御する通常制御部２４とを有する。記憶部２１には、ワーク１００の組付途中の状態とその組付途中状態に対応するロボット１の行動との関係（後述するＱテーブル）が記憶される。強化学習の工程では、学習制御部２３での処理によりサーボモータ１３を駆動し、ワーク１００を部品１０１へ組み付ける作業を複数回行う。以下、強化学習について説明する。
　強化学習とは、ある環境内におけるエージェントが現在の状態を観測し、取るべき行動を決定する問題を扱う機械学習の一種である。エージェントは行動を選択することで環境から報酬を得る。強化学習には種々の手法があるが、本実施形態ではＱ学習(Q-learning)を用いる。Ｑ学習は、ある環境状態の下で、最も行動評価関数の値（Ｑ値）が高い行動（最も多くの報酬を受けるような行動）をとるように学習を行う手法である。
　Ｑ値は、時刻tにおける状態ｓtと行動ａtとに基づき、次式(I)により更新される。
　Ｑ(ｓt,ａt)←
       Ｑ(ｓt,ａt)＋α[ｒt+1＋γmaxＱ(ｓt+1,ａt+1)－Ｑ(ｓt,ａt)]・・・(I)
　上式(I)のαは、Ｑ値を更新する度合いを表す係数（学習率）であり、γは、この先起こりうる事象の結果をどの程度反映させるかを表す係数（割引率）である。これら係数α，γは、いずれも経験に基づいて０＜α≦１, ０＜γ≦１の範囲内で適宜調整して設定される。上式(I)のｒは、状態ｓtの変化に対して行動ａtを評価する指標（報酬）であり、状態ｓtがよくなればＱ値が増加するように設定される。
　強化学習としての作業を行うに当たっては、まず、ワーク１００の組付開始から組付完了に至るまでの基準移動経路を定義する。図４は、基準移動経路ＰＡの一例を示す図である。この基準移動経路ＰＡは、ワーク１００の組付作業に習熟した作業者が実際に手でワーク１００を圧入するときの態様を考慮して決定される。
　すなわち、柔軟性を有するワーク１００を部品１０１の外周面に圧入する場合、作業者は、まずワーク１００の先端部を把持して、ワーク先端部を部品１０１の外側に、軸線ＣＬ３に対し所定角度θ（例えば４５°）で斜めに挿入する。次いで作業者は、ワーク１００の中心軸ＣＬ２が軸線ＣＬ３に一致するようにワーク１００を回転させた後、その姿勢のままワーク１００を軸線ＣＬ３に沿って所定位置まで押し込む。この点を考慮して、図４に示すように、ロボット１によりワーク１００を圧入する場合の基準移動経路ＰＡがＹＺ面上で定義される。なお、図４では、基準移動経路ＰＡに沿ってハンド１２の動作方向（Ｚ方向）が変化し、それに伴いＺ方向に垂直なＹ方向も変化する。
　図４では、ワーク１００の先端（基準点Ｐ０）が部品１０１に接触する直前の組付開始位置から、ワーク先端が所定位置まで圧入された組付完了位置に至るまでを、基準移動経路ＰＡに沿って複数（例えば２０個）のステップ（ＳＴ１～ＳＴ２０）に分割する。そして、上式(I)の時刻ｔをステップに置き換え、ステップ毎にＱ値を算出する。なお、ステップＳＴ１～ＳＴ９では、ワーク１００が軸線ＣＬ３に対して斜めに挿入され、ステップＳＴ１０～ＳＴ１２ではワーク１００が回転させられ、ステップＳＴ１３～ＳＴ２０ではワーク１００が軸線ＣＬ３に沿って押し込まれる。以下では、ワーク組付作業時における現在のステップ、直前のステップ、直後のステップを、それぞれＳＴt、ＳＴt-1、ＳＴt+1で表すことがある。
　ロボット１に強化学習（Ｑ学習）としてのワーク組付作業を行わせるためには、ワーク１００の組付開始から組付完了に至るまでのワーク１００の状態（組付途中状態）とロボット１のとり得る行動とを定義する必要がある。まず、組付途中状態について説明する。
　図５は、ＹＺ平面内を移動するワーク１００の組付途中状態を説明する図である。図５に示すように、ワーク１００の組付途中状態は、ハンド先端部に作用する軸線ＣＬ２方向（Ｚ方向）の力Ｆｚの変化量ΔＦｚと、ＹＺ平面に直交するＸ軸回りのモーメントＭｘとに応じて、６つの状態、すなわちモードＭＤ１～モードＭＤ６に分類することができる。
　なお、力の変化量ΔＦｚは、現在のステップＳＴtにおいてワークに作用する力Ｆｚと直前のステップＳＴt-1においてワークに作用した力Ｆｚとの差である。例えば現在ステップＳＴ３であるとき、ステップＳＴ３で作用した力Ｆｚとその直前のステップＳＴ２で作用した力Ｆｚとの差がΔＦｚである。力の変化量ΔＦｚをパラメータとすることで、ワーク１００の個体差による影響を受けずに、精度よく状態を特定することができる。また、力Ｆｚ自体をパラメータする場合には、ワークの種類が変化する度に閾値を設定し直す必要があるが、本実施形態のように力の変化量ΔＦｚをパラメータとすることで、ワークの種類が変化した場合であっても、閾値を改めて設定し直す必要がなく、状態の特定が容易である。モーメントＭｘは、ハンド１２に＋Ｙ方向への回転力が作用するときにプラス、－Ｙ方向への回転力が作用するときにマイナスの値となる。モーメントＭｘの正負の値を判定することにより、軸線ＣＬ３に対するワーク１００の芯ずれ方向を特定することができる。
　図５において、モードＭＤ２は、力の変化量ΔＦｚとモーメントＭｘとがともに０またはほぼ０の状態である。より具体的には、力の変化量ΔＦｚがプラスの所定値ΔＦ１以下で、かつ、モーメントＭｘがマイナスの所定値Ｍ２以上かつプラスの所定値Ｍ１以下の状態であり、例えばワーク１００が部品１０１に接触していない非接触状態に対応する。モードＭＤ１は、力の変化量ΔＦｚがΔＦ１以下で、かつ、モーメントＭｘがＭ１より大きい状態であり、図示のようにワーク１００が＋Ｙ方向に座屈した状態に対応する。モードＭＤ３は、力の変化量ΔＦｚがΔＦ１以下で、かつ、モーメントＭｘがＭ２未満の状態であり、図示のようにワークが－Ｙ方向に座屈した状態に対応する。なお、モードＭＤ１～モードＭＤ３は、力の変化量ΔＦｚがマイナスの場合も含む。
　モードＭＤ５は、力の変化量ΔＦｚがΔＦ１より大きく、かつ、モーメントＭｘがＭ２以上かつＭ１以下の状態である。この状態は、図示のようにワーク１００が正常に圧入されるときの正常状態に対応する。モードＭＤ４は、力の変化量ΔＦｚがΔＦ１より大きく、かつ、モーメントＭｘがＭ１より大きい状態であり、図示のようにワークが＋Ｙ方向に曲がった曲がり状態に対応する。モードＭＤ６は、力の変化量ΔＦｚがΔＦ１より大きく、かつ、モーメントＭｘがＭ２未満の状態であり、図示のようにワークが－Ｙ方向に曲がった曲がり状態に対応する。
　現在のワーク１００の組付途中状態、すなわちワーク１００がどのモードＭＤ１～ＭＤ６に該当するかは、力検出器１５により検出された力ＦｚとモーメントＭｘ、より正確には力の変化量ΔＦｚとモーメントＭｘととに基づき学習制御部２３が特定する。
　上式(I)の報酬ｒは、予め記憶された報酬テーブル、すなわち現在のステップＳＴtにおける状態と直前のステップＳＴt-1における状態との関係で定義される報酬テーブルを用いて設定される。図６は、報酬テーブルの一例を示す図である。図６において、現ステップＳＴtにおける状態が正常状態（ＭＤ５）であれば、直前ステップＳＴt-1における状態に拘らず報酬ｒ（具体的には報酬ｒ１５、ｒ２５，ｒ３５，ｒ４５，ｒ５５，ｒ６５）には所定値（例えば＋２）が設定される。すなわち、この場合には正の報酬ｒが与えられる。
　現ステップＳＴtにおける状態と直前ステップＳＴt-1における状態との間に変化がないとき（例えば現ステップＳＴtと直前ステップＳＴt-1とがともに座屈状態ＭＤ１またはＭＤ３のとき）、報酬ｒ（具体的には報酬ｒ１１、ｒ２２，ｒ３３，ｒ４４，ｒ６６）には所定値（例えば－３）が設定される。すなわち、この場合には、これ以上状態は改善されないとして、負の報酬ｒが与えられる。それ以外の場合（正常状態ＭＤ５以外に状態が変化した場合）には、報酬ｒに０が設定される。なお、上述した報酬ｒの値は、実際の圧入作業の結果を踏まえて適宜変更可能である。学習制御部２３は、図６の報酬テーブルに従い各ステップで上式(I)の報酬ｒを設定し、Ｑ値を算出する。
　次に、ワーク組付時におけるロボット１の行動について説明する。まず、図４に示すように、基準移動経路ＰＡに沿ってＹＺ平面内に所定間隔の格子を定義する。図７は、図４の格子の一部を取り出した図である。図７に示すように、格子の交点（ドット）はハンド先端部の移動点に相当する。すなわち、ハンド先端部（基準点Ｐ０）は各ステップＳＴ１～ＳＴ２０においてドット単位で移動し、ドットの間隔はハンド１２の移動時のピッチに相当する。
　例えば、現在のステップＳＴtにおいてハンド先端部（基準点Ｐ０）の位置が基準移動経路ＰＡ上の図７の点Ｐ１であるとき、直後のステップＳＴt+1では、ハンド１２は基準移動経路ＰＡに沿った点Ｐ２、基準移動経路ＰＡから＋Ｙ方向に１ピッチずれた点Ｐ３、－Ｙ方向に１ピッチずれた点Ｐ４のいずれかに移動する。現在のステップＳＴtが仮に点Ｐ４になると、直後のステップＳＴt+1では、点Ｐ５，Ｐ６，Ｐ７のいずれかに移動する。
　これらハンド１２の移動可能な方向（移動方向を示す角度）および移動量は予めメモリに記憶される。例えば移動方向を示す角度として、軸線ＣＬ１に対し０°および±４５°が、移動量として、隣り合うドットの間隔に相当する長さが設定される。学習制御部２３は、この定められた条件に従い高い報酬ｒが得られるようにロボット１を動作させる。ロボット１は、単なるハンド１２の移動だけではなく、Ｘ軸廻りにハンド１２を回転させることもできる。したがって、コントローラ２には、ハンド１２の移動方向に対するＸ軸廻りの回転量も設定される。
　図８は、ワーク組付作業時におけるロボット１のとり得る行動を示す図である。図８に示すように、ロボット１は、ステップＳＴ１～ＳＴ２０でそれぞれ９通りの行動ａ１～ａ９をとることができる。行動ａ１は、図７の点Ｐ１から点Ｐ２への移動および点Ｐ４から点Ｐ５への移動に対応する。行動ａ２は、図７の点Ｐ１から点Ｐ４への移動および点Ｐ４から点Ｐ７への移動に対応する。行動ａ３は、図７の点Ｐ１から点Ｐ３への移動および点Ｐ４から点Ｐ６への移動に対応する。行動ａ４～ａ６は、行動ａ１～ａ３による移動に加え、Ｘ軸廻りに時計方向に回転する行動である。行動ａ７～ａ９は、行動ａ１～ａ３による移動に加え、Ｘ軸廻りに反時計方向に回転する行動である。
　強化学習としての作業は、ワーク１００の６通りの組付途中状態（モードＭＤ１～ＭＤ６）のそれぞれに対し、９通りの行動ａ１～ａ９を適用することにより行うことができる。しかしながら、その場合には、状態と行動との組み合わせが多数となり、強化学習工程に多大な時間がかかる。そこで、強化学習工程にかかる時間を短縮するために、強化学習における行動を絞り込むことが好ましい。
　行動の絞り込みは、例えばワークの組付作業に習熟した作業者に予め手動で組付作業を行わせ、そのときの行動パターンを把握することにより行う。すなわち、ワーク１００の組付開始から組付完了までの各ステップＳＴ１～ＳＴ２０において、作業者が明らかに選択しない行動があるとき、その行動を除外することで、行動の絞り込みを行う。
　例えば図４のステップＳＴ１～ＳＴ９およびステップＳＴ１３～ＳＴ２０では、作業者は行動ａ１～ａ３のみを選択し、行動ａ４～ａ９を選択しない。一方、ステップＳＴ１０～ＳＴ１２では、作業者は行動ａ４～ａ６のみを選択し、行動ａ１～ａ３および行動ａ７～ａ９を選択しない。このとき、ステップＳＴ１～ＳＴ９およびステップＳＴ１３～ＳＴ２０で行動ａ１～ａ３のみを適用し、ステップＳＴ１０～ＳＴ１２で行動ａ４～ａ６のみを適用するように、強化学習としてのワーク組付作業を制限する。
　各々のステップＳＴ１～ＳＴ２０における適用可能な行動は、予め入力部１６を介して設定される。学習制御部２３は、これら適用可能な行動の中から正の報酬が得られるような任意の行動を選択してロボット１を動作させるとともに、行動を選択する度に上式(I)を用いてＱ値を算出する。強化学習としてのワーク組付作業は、各々のステップＳＴ１～ＳＴ２０でＱ値が収束するまで繰り返し行う。
　図９は、あるステップＳＴtにおけるハンド１２の動作回数（試行回数Ｎ）とＱ値との関係を示す図である。強化学習が開始された初期状態ではＱ値は０であり、試行回数Ｎの増加に伴いＱ値は一定値に収束する。このような収束後のＱ値を用いてＱテーブルが構築される。
 　図１０Ａ，図１０Ｂは、強化学習工程で得られたＱテーブルの一例を示す図である。Ｑ値は、状態と行動とに応じてステップＳＴ１～ＳＴ２０毎に設定される。具体的には、上述した作業者によるワーク組付作業を考慮して、ステップＳＴ１～ＳＴ９およびステップＳＴ１３～ＳＴ２０においては、図１０Ａに示すように、状態（モード）ＭＤ１～ＭＤ６と行動ａ１～ａ３とに応じたＱテーブルＱＴ１～ＱＴ９およびＱＴ１３～ＱＴ２０が構築される。ステップＳＴ１０～ＳＴ１２においては、図１０Ｂに示すように、状態ＭＤ１～ＭＤ６と行動ａ４～ａ６とに応じたＱテーブルＱＴ１０～ＱＴ１２が構築される。構築されたＱテーブルＱＴ１～ＱＴ２０は、図１の記憶部２１に記憶される。
　図１１は、Ｑテーブルの具体例を示す図である。このＱテーブルは、例えばステップＳＴ１のＱテーブルＱＴ１である。図１１に示すように、強化学習工程の初期状態では（図１１の左側）、Ｑ値は全て０である。強化学習工程でＱ値が更新され、Ｑ値が収束すると（図１１の右側）、これが記憶部２１に記憶される。図１の通常制御部２４は、記憶部２１に記憶されたＱテーブルの中から、そのときどきの状態に対して最もＱ値の高い行動を選択する。例えば状態ＭＤ１のときに行動ａ２を選択し、状態ＭＤ２のときに行動ａ１を選択する。そして、その選択した行動をロボット１が実行するようにサーボモータ１３を制御する。
　図１２は、通常制御部２４で実行される処理の一例を示すフローチャートである。このフローチャートに示す処理は、強化学習工程でＱテーブルが記憶された後、入力部１６の操作により通常のワーク組付作業の開始が指令されると開始される。図１２の処理は、各々のステップＳＴ１～ＳＴ２０でそれぞれ実行される。
　まず、Ｓ１１で、力検出器１５からの信号に基づきワーク１００の現在の組付途中状態を検知する。すなわちワーク１００がどのモードＭＤ１～ＭＤ６に該当するかを検知する。次いでＳ１２で、現在のステップＳＴtに対応したＱテーブルＱＴを記憶部２１から読み込み、検知された組付途中状態に対しＱ値が最も高くなる行動を選択する。次いで、Ｓ１３で、ロボット１が選択した行動をとるようにサーボモータ１３に制御信号を出力する。
　本発明の実施形態に係るロボットの制御装置の具体的な動作を、ロボットの制御方法とともに説明する。
（１）事前作業工程
　まず、強化学習工程を行う前に、事前作業工程として、熟練の作業者に手動でワーク１００を部品１０１に組み付ける作業を行わせる。このとき、ワーク１００の状態をモードＭＤ１～ＭＤ６に変化させながら、そのときの行動パターンを分析する。これによりロボット１によりワーク１００の組付作業を行う際の基準移動経路ＰＡ（図４）と、各々のステップＳＴ１～ＡＴ２０でロボット１がとり得る行動とを決定することができる。すなわち、ステップＳＴ１～ＳＴ９，ＳＴ１３～ＳＴ２０で行動ａ１～ａ３を、ステップＳＴ１０～ＳＴ１２で行動ａ４～ａ６をとるように、行動の絞り込みを行うことができる。事前作業工程において決定した基準移動経路ＰＡとロボット１がとり得る行動とは、入力部１６を介してコントローラ２に設定される。
（２）強化学習工程
　事前作業工程が終了すると強化学習工程を実行する。強化学習工程においては、学習制御部２３がサーボモータ１３に制御信号を出力し、ロボット１を実際に動作させてワーク１００の組付作業を繰り返し行わせる。このとき、学習制御部２３は、予めステップＳＴ１～ＳＴ２０毎に設定された複数の行動の中から一の行動を選択し、ロボット１がその行動を実行するようにサーボモータ１３を制御する。さらに、力検出器１５からの信号により状態の変化を把握し、予め定められた報酬テーブル（図６）を参照して、状態の変化に基づく報酬ｒを決定する。そして、この報酬ｒを用いて、上式(I)により、各々のステップＳＴ１～ＳＴ２０における状態と行動とに対応したＱ値を算出する。
　強化学習が開始された初期状態ではＱ値は０であり、このとき学習制御部２３は各々のステップＳＴ１～ＳＴ２０における行動をランダムに選択する。強化学習が進むにつれて、学習制御部２３は、高い報酬ｒが得られる行動を優先的に選択するようになり、各々のステップＳＴ１～ＳＴ２０における各々の状態に対し特定の行動のＱ値が徐々に増加する。例えば芯ずれによるワーク１００の曲がりや座屈（モードＭＤ１，ＭＤ３，ＭＤ４，ＭＤ６）に対しては、これらを修正した場合に高い報酬ｒが得られる。このため、曲がりや座屈を修正するような行動のＱ値が増加する。ワーク１００の組付作業とＱ値の算出とを繰り返し行ってＱ値が徐々に一定値に収束すると（図９）、そのときのＱ値でＱテーブルＱＴを構築してこれを記憶部２１に記憶する。
（３）組付作業工程
　強化学習工程が終了すると、組付作業工程として通常制御部２４での処理により、ワーク１００の組付作業を行う。この場合、通常制御部２４は、力検出器１５からの信号により現在のステップＳＴtでのワーク１００の組付途中状態を検知する（Ｓ１１）。なお、ＳＴ１～ＳＴ２０のうちの現在のステップは、例えばエンコーダ１４からの信号により特定することができる。さらに通常制御部２４は、Ｑテーブルに設定された組付途中状態に対応する複数の行動の中から、Ｑ値が最も高い行動を最適行動として選択し（Ｓ１２）、ロボット１が最適行動をとるようにサーボモータ１３を制御する（Ｓ１３）。
　これにより、例えばワーク１００の個体差に起因してワーク１００と部品１０１との間に芯ずれが生じた場合に、その芯ずれを検知して、芯ずれを修正する適切な行動をとるようにロボット１を動作させることができる。すなわち、状態の変化に応じて最適な行動をとることが可能であり、ワーク１００の個体差に拘らず、ワーク１００の部品１０１への良好な圧入が可能となる。ワーク１００が可撓性を有するチューブにより構成されている場合であっても、ワーク１００の曲がりや座屈を容易かつ適切に修正しながら、ワーク１００を圧入することができる。
　本発明の実施形態によれば以下のような作用効果を奏することができる。
（１）本発明の実施形態に係るロボットの制御装置は、サーボモータ１３により駆動されるロボット１のハンド１２に支持されたワーク１００を部品１０１に組み付けるようにロボット１を制御するものである。この制御装置は、予め強化学習によって得られたワークの複数の組付途中状態（ＭＤ１～ＭＤ６）と各々の組付途中状態に対し最も高い報酬を与えるロボット１の最適行動（ａ１～ａ６）との関係（Ｑテーブル）を記憶する記憶部２１と、ワーク１００の組付途中状態を検知する力検出器１５と、記憶部２１に記憶されたＱテーブルに基づき、力検出器１５により検知された組付途中状態に対応するロボット１の最適行動を特定し、この最適行動に従いサーボモータ１３を制御する通常制御部２４とを備える（図１）。
　このように強化学習によって取得したＱテーブルを参照してサーボモータ１３を制御することで、ワーク１００に曲がり癖等の個体差があってワーク１００の中心軸ＣＬ２と部品１０１の軸線ＣＬ３との間に芯ずれが存在する場合であっても、ワーク１００の曲がりや座屈等を生じさせることなく、芯ずれを修正しながらワーク１００を部品１０１に容易かつ迅速に圧入することができる。また、ハンド１２に反力受け部等を別途設ける必要がなく、ハンド１２の構成を簡素化でき、ハンド１２の大型化を避けることができる。
（２）ロボット１の最適行動は、ハンド１２の移動方向を示す角度、移動方向に沿ったハンド１２の移動量、および移動方向に対するハンド１２の回転量の組み合わせによって規定される（図８）。このように移動方向、移動量および回転量をパラメータとして各ステップＳＴ１～ＳＴ２０におけるロボット１の行動を定義することで、柔軟性を有するワーク１００の圧入等の作業を容易に行うことができる。
（３）力検出器１５は、ハンド１２に作用する並進力Ｆｘ，Ｆｙ，ＦｚとモーメントＭｘ，Ｍｙ，Ｍｚとを検出する力検出器１５を有し、力検出器１５により検出された並進力ＦｙとモーメントＭｘとに基づきワーク１００の組付途中状態を特定する（図５）。これにより、ワーク１００の芯ずれに起因したワーク１００の曲がり状態や座屈状態等を簡易な構成で検知することができ、カメラ等を用いた場合に比べ装置を安価に構成することができる。
（４）記憶部２１は、ワーク１００の組付開始から組付完了に至るまでの複数の組付途中状態と各々の組付途中状態に対応する最適行動との関係、すなわちＱテーブル（図１０Ａ，図１０Ｂ）を記憶する。これにより複数のステップＳＴ１～ＳＴ２０の各々で、ワーク１００の組付途中状態に応じたロボット１の最適な行動を選択することができる。したがって、ワーク１００の芯ずれを早期に修正することができ、ワーク１００を部品１０１に良好に圧入することができる。
（５）本発明の実施形態に係るロボットの制御方法は、サーボモータ１３により駆動されるロボット１のハンド１２に支持されたワーク１００を部品１０１に組み付けるようにロボット１を制御するものである（図１）。この制御方法は、ハンド１２の駆動によりワーク１００を部品１０１へ組み付ける作業を複数回行って、ワーク１００の複数の組付途中状態と各々の組付途中状態に対し最も高い報酬を与えるロボット１の最適行動との関係（Ｑテーブル）を取得する強化学習工程と、ワーク１００を部品１０１に組み付けるときに、ワーク１００の組付途中状態を検知し、検知した組付途中状態に対応する最適行動を強化学習工程で取得したＱテーブルに基づいて特定し、特定した最適行動に従いサーボモータ１３を制御する組付作業工程とを含む。このように予め強化学習工程でＱテーブルを取得し、そのＱテーブルを用いて通常の組付作業を行うことで、ワーク１００と部品１０１との間に芯ずれが存在する場合であっても、芯ずれを修正しながらワーク１００を部品１０１に容易かつ迅速に圧入することができる。
（６）本発明の実施形態に係るロボットの制御方法は、強化学習工程を行う前に、作業者がワーク１００を部品１０１へ組み付ける事前作業工程をさらに含み、強化学習工程では、事前作業工程で把握した作業者の行動パターンに基づき、強化学習工程におけるロボット１の行動を決定する。これにより、熟練者と同様の行動をロボット１が実現可能となる。また、例えばステップＳＴ１～ステップＳＴ９およびステップＳＴ１３～ステップＳＴ２０では行動ａ１～ａ３を、ステップＳＴ１０～ステップＳＴ１２では行動ａ４～ａ６をとるように、ロボット１の行動を絞り込むことができる。したがって、強化学習工程に要する時間を短縮することができ、効率的なロボット１の制御を実現することができる。
（変形例）
　上記実施形態は、種々の形態に変形することができる。以下、変形例について説明する。上記実施形態では、ロボットの制御装置を構成するコントローラ２が学習制御部２３と通常制御部２４とを有し、学習制御部２３での処理により、強化学習としてのワーク組付作業を行うようにしたが、学習制御部２３での処理を別の制御装置で行うようにしてもよい。すなわち、ワーク１００の組付途中状態とロボット１の最適行動との関係を示すＱテーブルを別の制御装置から取得し、これを記憶部としてのロボット制御装置の記憶部２１に記憶するようにしてもよい。例えば工場出荷時に、量産のロボット制御装置の記憶部２１にそれぞれ同一のＱテーブルを記憶させてもよい。したがって、コントローラ２（図１）から学習制御部２３を省略することができる。
　上記実施形態では、Ｑ学習を用いてワーク１００の組付途中状態とロボット１の最適行動との関係を取得するようにしたが、強化学習としてＱ学習に限らず他の手法を用いてもよい。したがって、記憶部にＱテーブル以外を記憶してもよい。上記実施形態では、力検出器１５によりワーク１００の組付途中状態を検知するようにしたが、状態検知部はこれに限らない。例えばワーク１００の基端部の周面あるいはハンド先端部に一対の振動センサを装着し、一対の振動センサが振動を検知する時間差に基づいてモーメントを検知して、これによりワーク組付途中状態を検知してもよい。
　上記実施形態では、予め記憶されたＱテーブルに基づき、力検出器１５により検知されたワーク１００の組付途中状態に対応したロボット１の最適行動を特定し、その最適行動に従いサーボモータ１３を制御するようにしたが、アクチュエータ制御部としての通常制御部２４の構成はこれに限らない。ロボット１にサーボモータ１３に限らず他のアクチュエータ（例えばシリンダ）を設け、アクチュエータ制御部が他のアクチュエータを制御し、ロボット１が最適行動をとるようにしてもよい。上記実施形態では、ワーク１００の組付途中状態を６つのモードＭＤ１～ＭＤ６に分類したが、これはワーク１００の材質や形状等によって定まるものであり、他のモードに分類してもよい。
　上記実施形態では、垂直多関節ロボット１を用いたが、ロボットの構成はこれに限らない。上記実施形態では、可撓性を有するチューブをワーク１００として用いたが、ワークの形状および材質はいかなるものでもよく、例えばワーク１００は金属でもよい。上記実施形態では、ワーク組付作業としてチューブ形状のワーク１００（第１部品）をパイプ形状の部品１０１（第２部品）に圧入する作業を想定したが、第１部品と第２部品の構成はこれに限らない。したがって、ロボットによる組付作業は圧入作業に限らず、本発明のロボットの制御装置および制御方法は種々の作業を行う場合にも同様に適用することができる。
　以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施形態および変形例により本発明が限定されるものではない。上記実施形態と変形例の１つまたは複数を任意に組み合わせることも可能であり、変形例同士を組み合わせることも可能である。
１　ロボット、２　コントローラ、１２　ハンド、１３　サーボモータ、１５　力検出器、２１　記憶部、２４　通常制御部、１００　ワーク、１０１　部品

Claims (6)

  1. 　アクチュエータにより駆動されるロボットのハンドに支持された第１部品を第２部品に組み付けるように前記ロボットを制御するロボットの制御装置であって、
    　予め強化学習によって得られた前記第１部品の複数の組付途中状態と各々の組付途中状態に対し最も高い報酬を与える前記ロボットの最適行動との関係を記憶する記憶部と、
    　前記第１部品の組付途中状態を検知する状態検知部と、
    　前記記憶部に記憶された前記関係に基づき、前記状態検知部により検知された組付途中状態に対応する前記ロボットの最適行動を特定し、該最適行動に従い前記アクチュエータを制御するアクチュエータ制御部と、を備えることを特徴とするロボットの制御装置。
  2. 　請求項１に記載のロボットの制御装置において、
    　前記最適行動は、前記ハンドの移動方向を示す角度、前記移動方向に沿った前記ハンドの移動量、および前記移動方向に対する前記ハンドの回転量の組み合わせによって規定されることを特徴とするロボットの制御装置。
  3. 　請求項１または２に記載のロボットの制御装置において、
    　前記状態検知部は、前記ハンドに作用する並進力とモーメントとを検出する検出器を有し、該検出器により検出された並進力とモーメントとに基づき前記第１部品の組付途中状態を特定することを特徴とするロボットの制御装置。
  4. 　請求項１～３のいずれか１項に記載のロボットの制御装置において、
    　前記記憶部は、前記第１部品の組付開始から組付完了に至るまでの複数の組付途中状態と各々の組付途中状態に対応する最適行動との関係を記憶することを特徴とするロボットの制御装置。
  5. 　アクチュエータにより駆動されるロボットのハンドに支持された第１部品を第２部品に組み付けるように前記ロボットを制御するロボットの制御方法であって、
    　前記ハンドの駆動により前記第１部品を前記第２部品へ組み付ける作業を複数回行って、前記第１部品の複数の組付途中状態と各々の組付途中状態に対し最も高い報酬を与える前記ロボットの最適行動との関係を取得する強化学習工程と、
    　前記第１部品を前記第２部品に組み付けるときに、前記第１部品の組付途中状態を検知し、検知した組付途中状態に対応する最適行動を前記強化学習工程で取得した前記関係に基づいて特定し、特定した最適行動に従い前記アクチュエータを制御する組付作業工程と、を含むことを特徴とするロボットの制御方法。
  6. 　請求項５に記載のロボットの制御方法において、
    　前記強化学習工程を行う前に、作業者が前記第１部品を前記第２部品へ組み付ける事前作業工程をさらに含み、
    　前記強化学習工程では、前記事前作業工程で把握した前記作業者の行動パターンに基づき、前記強化学習工程における前記ロボットの行動を決定することを特徴とするロボットの制御方法。
PCT/JP2017/010887 2016-08-30 2017-03-17 ロボットの制御装置およびロボットの制御方法 WO2018042730A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018536921A JP6651636B2 (ja) 2016-08-30 2017-03-17 ロボットの制御装置およびロボットの制御方法
US16/328,063 US20190184564A1 (en) 2016-08-30 2017-03-17 Robot control apparatus and robot control method
CN201780052332.6A CN109641354B (zh) 2016-08-30 2017-03-17 机器人的控制装置和机器人的控制方法
CA3035492A CA3035492C (en) 2016-08-30 2017-03-17 Robot control apparatus and robot control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-168350 2016-08-30
JP2016168350 2016-08-30

Publications (1)

Publication Number Publication Date
WO2018042730A1 true WO2018042730A1 (ja) 2018-03-08

Family

ID=61301492

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/010887 WO2018042730A1 (ja) 2016-08-30 2017-03-17 ロボットの制御装置およびロボットの制御方法

Country Status (5)

Country Link
US (1) US20190184564A1 (ja)
JP (1) JP6651636B2 (ja)
CN (1) CN109641354B (ja)
CA (1) CA3035492C (ja)
WO (1) WO2018042730A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019240047A1 (ja) * 2018-06-11 2019-12-19 Ｎｅｃソリューションイノベータ株式会社 行動学習装置、行動学習方法、行動学習システム、プログラム、及び記録媒体
WO2019238311A1 (de) * 2018-06-16 2019-12-19 Psa Automobiles Sa Roboteranordnung und verfahren zur durchführung einer montageoperation an einem werkstück
JP2020034994A (ja) * 2018-08-27 2020-03-05 株式会社デンソー 強化学習装置
KR20200072592A (ko) * 2018-12-03 2020-06-23 한국생산기술연구원 로봇용 학습 프레임워크 설정방법 및 이를 수행하는 디지털 제어 장치
CN111438687A (zh) * 2019-01-16 2020-07-24 发那科株式会社 判定装置
WO2021070404A1 (ja) * 2019-10-09 2021-04-15 三菱電機株式会社 組み立て装置
JPWO2021111701A1 (ja) * 2019-12-05 2021-06-10
JPWO2021144886A1 (ja) * 2020-01-15 2021-07-22

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6879009B2 (ja) * 2017-03-30 2021-06-02 株式会社安川電機 ロボット動作指令生成方法、ロボット動作指令生成装置及びコンピュータプログラム
JP6603257B2 (ja) * 2017-03-31 2019-11-06 ファナック株式会社 行動情報学習装置、管理装置、ロボット制御システム及び行動情報学習方法
US10967510B2 (en) * 2017-11-16 2021-04-06 Industrial Technology Research Institute Robot arm processing system and method thereof
FR3075409B1 (fr) * 2017-12-15 2020-01-03 Commissariat A L'energie Atomique Et Aux Energies Alternatives Dispositif electronique de traitement de signaux a optimisation integree de consommation d'energie electrique et procede correspondant
EP3743250A1 (en) * 2018-02-27 2020-12-02 Siemens Aktiengesellschaft Reinforcement learning for contact-rich tasks in automation systems
US20200320035A1 (en) * 2019-04-02 2020-10-08 Micro Focus Software Inc. Temporal difference learning, reinforcement learning approach to determine optimal number of threads to use for file copying
US11426874B2 (en) * 2019-04-30 2022-08-30 Flexiv Ltd. Robot-based insertion mounting of workpieces
JP2020192614A (ja) * 2019-05-24 2020-12-03 京セラドキュメントソリューションズ株式会社 ロボット装置及び把持方法
JP7186349B2 (ja) * 2019-06-27 2022-12-09 パナソニックＩｐマネジメント株式会社 エンドエフェクタの制御システムおよびエンドエフェクタの制御方法
US20220066697A1 (en) * 2020-09-01 2022-03-03 Western Digital Technologies, Inc. Memory Device With Reinforcement Learning With Q-Learning Acceleration
US11833666B2 (en) * 2020-10-28 2023-12-05 Shanghai Flexiv Robotics Technology Co., Ltd. Method for assembling an operating member and an adapting member by a robot, robot, and controller

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000176868A (ja) * 1998-12-16 2000-06-27 Toyoda Mach Works Ltd ロボット制御装置
JP2011248728A (ja) * 2010-05-28 2011-12-08 Honda Motor Co Ltd 学習制御システム及び学習制御方法
JP2013158850A (ja) * 2012-02-01 2013-08-19 Seiko Epson Corp ロボット装置、組立て方法、及び組立てプログラム
JP2015033747A (ja) * 2013-08-09 2015-02-19 株式会社安川電機 ロボットシステム、ロボット制御装置及びロボット制御方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1048403A3 (en) * 1996-06-15 2001-12-12 Unova U.K. Limited Improvements in and relating to grinding machines
JP5330138B2 (ja) * 2008-11-04 2013-10-30 本田技研工業株式会社 強化学習システム
US8428780B2 (en) * 2010-03-01 2013-04-23 Honda Motor Co., Ltd. External force target generating device of legged mobile robot
JP4980453B2 (ja) * 2010-09-06 2012-07-18 ファナック株式会社 加工を高精度化するサーボ制御システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000176868A (ja) * 1998-12-16 2000-06-27 Toyoda Mach Works Ltd ロボット制御装置
JP2011248728A (ja) * 2010-05-28 2011-12-08 Honda Motor Co Ltd 学習制御システム及び学習制御方法
JP2013158850A (ja) * 2012-02-01 2013-08-19 Seiko Epson Corp ロボット装置、組立て方法、及び組立てプログラム
JP2015033747A (ja) * 2013-08-09 2015-02-19 株式会社安川電機 ロボットシステム、ロボット制御装置及びロボット制御方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KIYOHARU TAGAWA ET AL.: "Approach to Artificial Skill from Affordance Theory : Memory and Embodiment", JOURNAL OF THE ROBOTICS SOCIETY OF JAPAN, vol. 22, no. 7, 22 July 2004 (2004-07-22), pages 892 - 900, XP055471453, DOI: doi:10.7210/jrsj.22.892 *
RYO MOTOYAMA ET AL.: "Rikikaku Shingo no Jikokureki o Mochiita Robot ni yoru Pin Sonyu Sagyo -Recurrent Neural Network o Mochiita Jotai Sen'i no Yosoku", THE 29TH ANNUAL CONFERENCE OF THE ROBOTICS SOCIETY OF JAPAN YOKOSHU DVD -ROM , THE ROBOTICS SOCIETY OF JAPAN, 7 September 2011 (2011-09-07) *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112262399A (zh) * 2018-06-11 2021-01-22 日本电气方案创新株式会社 行动学习设备、行动学习方法、行动学习系统、程序以及记录介质
JPWO2019240047A1 (ja) * 2018-06-11 2021-03-11 Ｎｅｃソリューションイノベータ株式会社 行動学習装置
WO2019240047A1 (ja) * 2018-06-11 2019-12-19 Ｎｅｃソリューションイノベータ株式会社 行動学習装置、行動学習方法、行動学習システム、プログラム、及び記録媒体
CN112262399B (zh) * 2018-06-11 2024-08-06 日本电气方案创新株式会社 行动学习设备、行动学习方法、行动学习系统、程序以及记录介质
WO2019238311A1 (de) * 2018-06-16 2019-12-19 Psa Automobiles Sa Roboteranordnung und verfahren zur durchführung einer montageoperation an einem werkstück
JP2020034994A (ja) * 2018-08-27 2020-03-05 株式会社デンソー 強化学習装置
KR20200072592A (ko) * 2018-12-03 2020-06-23 한국생산기술연구원 로봇용 학습 프레임워크 설정방법 및 이를 수행하는 디지털 제어 장치
KR102213061B1 (ko) * 2018-12-03 2021-02-09 한국생산기술연구원 로봇용 학습 프레임워크 설정방법 및 이를 수행하는 디지털 제어 장치
CN111438687A (zh) * 2019-01-16 2020-07-24 发那科株式会社 判定装置
JP7209859B2 (ja) 2019-10-09 2023-01-20 三菱電機株式会社 組み立て装置
WO2021070404A1 (ja) * 2019-10-09 2021-04-15 三菱電機株式会社 組み立て装置
JPWO2021070404A1 (ja) * 2019-10-09 2021-04-15
JPWO2021111701A1 (ja) * 2019-12-05 2021-06-10
CN114746226A (zh) * 2019-12-05 2022-07-12 三菱电机株式会社 连接器嵌合装置及连接器嵌合方法
JP7186900B2 (ja) 2019-12-05 2022-12-09 三菱電機株式会社 コネクタ嵌合装置およびコネクタ嵌合方法
CN114746226B (zh) * 2019-12-05 2024-03-08 三菱电机株式会社 连接器嵌合装置及连接器嵌合方法
WO2021111701A1 (ja) * 2019-12-05 2021-06-10 三菱電機株式会社 コネクタ嵌合装置およびコネクタ嵌合方法
WO2021144886A1 (ja) * 2020-01-15 2021-07-22 オムロン株式会社 制御装置、学習装置、制御方法、及び制御プログラム
JPWO2021144886A1 (ja) * 2020-01-15 2021-07-22
JP7342974B2 (ja) 2020-01-15 2023-09-12 オムロン株式会社 制御装置、学習装置、制御方法、及び制御プログラム

Also Published As

Publication number Publication date
JP6651636B2 (ja) 2020-02-19
CA3035492A1 (en) 2018-03-08
CN109641354A (zh) 2019-04-16
US20190184564A1 (en) 2019-06-20
CN109641354B (zh) 2022-08-05
CA3035492C (en) 2021-03-23
JPWO2018042730A1 (ja) 2019-07-18

Similar Documents

Publication Publication Date Title
WO2018042730A1 (ja) ロボットの制御装置およびロボットの制御方法
EP1845427B1 (en) Control
US9718187B2 (en) Robot controlling method, robot apparatus, program, recording medium, and method for manufacturing assembly component
JP6046218B1 (ja) 物体と物体とを合わせ状態にするロボットのロボット制御装置
CN108422420B (zh) 具有学习控制功能的机器人系统以及学习控制方法
US10350749B2 (en) Robot control device having learning control function
US9815202B2 (en) Control method for robot apparatus, computer readable recording medium, and robot apparatus
US9043023B2 (en) Robot system, and control apparatus and method thereof
JP4513663B2 (ja) 自動組立システムにおける組立機構の動作教示方法
JP2015155126A (ja) ロボットシステムのツール座標系補正方法、およびロボットシステム
EP3299129A1 (en) Robot control device, robot, and robot system
US20190022859A1 (en) Robot apparatus, control method for the robot apparatus, assembly method using the robot apparatus, and recording medium
US11951625B2 (en) Control method for robot and robot system
US11141855B2 (en) Robot system, method of controlling robot arm, recording medium, and method of manufacturing an article
JP7392161B2 (ja) ロボットシステム及びロボット制御装置
JP5218540B2 (ja) 組立ロボットとその制御方法
JP6862604B2 (ja) 垂直多関節ロボットの慣性パラメータ同定システム及び慣性パラメータ同定方法並びに垂直多関節ロボットの制御装置及び制御方法
US20210039256A1 (en) Robot control method
JP2020044590A (ja) ロボット装置
US20170043481A1 (en) Robot controller inhibiting shaking of tool tip in robot equipped with travel axis
JP7227018B2 (ja) 学習制御装置、ロボット制御装置およびロボット
JP7423943B2 (ja) 制御方法およびロボットシステム
JP2006315128A (ja) ロボットハンドの持ち替え把持制御方法。
JP2023003592A (ja) 力制御パラメーターの調整方法および力制御パラメーター調整装置
Turygin et al. Investigation of kinematic error in transfer mechanisms of mechatronic system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17845741

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018536921

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 3035492

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17845741

Country of ref document: EP

Kind code of ref document: A1