WO2020008633A1 - 機械学習装置、数値制御装置、工作機械および機械学習方法 - Google Patents

機械学習装置、数値制御装置、工作機械および機械学習方法 Download PDF

Info

Publication number
WO2020008633A1
WO2020008633A1 PCT/JP2018/025746 JP2018025746W WO2020008633A1 WO 2020008633 A1 WO2020008633 A1 WO 2020008633A1 JP 2018025746 W JP2018025746 W JP 2018025746W WO 2020008633 A1 WO2020008633 A1 WO 2020008633A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
chuck
unit
position command
axis direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/025746
Other languages
English (en)
French (fr)
Inventor
勇太 加藤
泰一 石田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2018562139A priority Critical patent/JP6505341B1/ja
Priority to CN201880095230.7A priority patent/CN112368656B/zh
Priority to PCT/JP2018/025746 priority patent/WO2020008633A1/ja
Priority to DE112018007687.3T priority patent/DE112018007687B4/de
Publication of WO2020008633A1 publication Critical patent/WO2020008633A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q15/00—Automatic control or regulation of feed movement, cutting velocity or position of tool or work
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23B—TURNING; BORING
    • B23B2270/00—Details of turning, boring or drilling machines, processes or tools not otherwise provided for
    • B23B2270/12—Centering of two components relative to one another
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23B—TURNING; BORING
    • B23B31/00—Chucks; Expansion mandrels; Adaptations thereof for remote control
    • B23B31/02—Chucks
    • B23B31/24—Chucks characterised by features relating primarily to remote control of the gripping means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Program-control systems
    • G05B19/02—Program-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of program data in numerical form
    • G05B19/402—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of program data in numerical form characterised by control arrangements for positioning, e.g. centring a tool relative to a hole in the workpiece, additional detection means to correct position
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/49—Nc machine tool, till multiple
    • G05B2219/49184—Compensation for bending of workpiece, flexible workpiece

Definitions

  • the present invention relates to a machine learning device, a numerical control device, a machine tool, and a machine learning method for learning a work transfer operation.
  • a loader that conveys the work is gripped by the chuck on the sending side.
  • the transfer position For example, the workpiece may not be able to be moved to the center position of the chuck area on the receiving side of the workpiece due to bending of the workpiece when the workpiece is a long workpiece, or failure to grasp the workpiece by the chuck.
  • the transfer position is shifted from an appropriate position during the transfer of the work, the transfer may fail. Therefore, a technique capable of suppressing the position shift of the transfer position is desired.
  • the loader control device described in Patent Literature 1 makes a correlation between a shift amount of a workpiece transfer position and a motor torque of a servo motor that drives the loader a function, and transfers the correlation based on the correlation and the measured motor torque.
  • the shift amount of the position is predicted, and the delivery position is corrected based on the predicted shift amount.
  • Patent Literature 1 since the function indicating the correlation is a fixed function, the probability of failure in delivery of the work does not decrease even if the work delivery operation is repeated.
  • the present invention has been made in view of the above, and an object of the present invention is to obtain a machine learning device that can reduce the probability of failing in transferring a work by learning the work transfer operation. .
  • the present invention provides a method for transferring a work between a first chuck for holding and sending a work and a second chuck for holding and receiving the work.
  • a machine learning device for learning a position command to a drive mechanism for moving one chuck, a state observation unit for observing a position command to the drive mechanism and feedback data from the drive mechanism as state variables,
  • a learning unit that learns a position command that suppresses a positional deviation of a workpiece transfer position between the first chuck and the second chuck in accordance with a data set created based on the variables. .
  • the machine learning device has an effect that by learning the work transfer operation, it is possible to reduce the probability that the work transfer will fail.
  • FIG. 1 is a diagram illustrating a configuration of a control system including a numerical control device according to an embodiment.
  • 4 is a flowchart illustrating an operation procedure of the machining system according to the embodiment.
  • FIG. 4 is a diagram for describing a first learning example by the machine learning device according to the embodiment.
  • FIG. 7 is a diagram for describing a second learning example by the machine learning device according to the embodiment.
  • FIG. 4 is a view for explaining a positional relationship between a spindle chuck and a work included in the machine tool according to the embodiment.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of a numerical control device according to an embodiment.
  • FIG. 1 is a diagram illustrating a configuration of a machining system according to an embodiment.
  • FIG. 1 shows a case where the machining system 1 is viewed from a vertical direction.
  • the vertical direction is the Y-axis direction
  • the horizontal direction which is the moving direction of the work 40, is the X-axis direction and the Z-axis direction.
  • the machine system 1 includes a machine tool 2 for machining a workpiece 40 and a control system 3 for controlling the operation of the machine tool 2.
  • Examples of the machine tool 2 are a lathe and a machining center.
  • a case where the machine tool 2 is a lathe will be described.
  • the machine tool 2 includes a rotating unit 35, a loader chuck 32 serving as a first chuck, a spindle chuck 31 serving as a second chuck, and a loader 36 serving as a transfer mechanism for a workpiece 40.
  • the operation of the loader 36 is controlled by the control system 3.
  • the loader chuck 32 is connected to the loader 36 and moves together with the loader 36.
  • the loader chuck 32 can grip a workpiece 40 which is a workpiece. Examples of the loader chuck 32 are a three-jaw chuck and a collet chuck.
  • the loader chuck 32 transfers the work 40 to the spindle chuck 31 when starting the processing of the work 40, and receives the work 40 from the spindle chuck 31 after the processing of the work 40 is completed.
  • the rotation unit 35 rotates around the Z axis, which is the main axis, as a rotation axis.
  • the spindle chuck 31 is connected to the rotating unit 35 and rotates together with the rotating unit 35.
  • the spindle chuck 31 can hold the work 40.
  • Examples of the spindle chuck 31 are a three-jaw chuck and a collet chuck.
  • the rotating unit 35 rotates while the spindle chuck 31 holds the work 40, thereby rotating the work 40.
  • An example of the rotating unit 35 is a spindle mechanism.
  • the machine tool 2 grips one end of the work 40 with the loader chuck 32 when loading the work 40 on the rotating unit 35.
  • the loader 36 moves to the minus side in the X-axis direction and stops at the position facing the spindle chuck 31 (s0). Then, the loader 36 moves to the minus side in the Z-axis direction.
  • the loader 36 moves the work 40 to a position where the spindle chuck 31 can grip the work 40 (s1).
  • the position of the loader 36 where the spindle chuck 31 can grip the work 40 is a desired delivery position.
  • the machine tool 2 starts the closing operation of the spindle chuck 31 using an auxiliary function such as an M code (s2), and waits until the closing operation of the spindle chuck 31 is completed (s3).
  • auxiliary function such as an M code
  • s3 the closing operation of the spindle chuck 31 is completed
  • the machine tool 2 starts the opening operation of the loader chuck 32 (s4) and waits until the opening operation of the loader chuck 32 is completed (s5). Then, the loader 36 moves to the plus side in the Z-axis direction. As a result, the loader 36 retreats in the direction away from the work 40 (s6), and further moves to the plus side in the X-axis direction.
  • each process from s0 to s6 is a process in the reverse direction. That is, in the processing of s0 and s6, the moving direction of the loader 36 is reversed between the time of loading and the time of unloading. At the time of unloading, the closing operation of the loader chuck 32 and the opening operation of the spindle chuck 31 are performed.
  • the loader 36 moves to the minus side in the X-axis direction, and further moves in a direction approaching the work 40. Then, the loader chuck 32 starts the closing operation, and when the closing operation is completed, the spindle chuck 31 starts the opening operation. When the opening operation is completed, the loader 36 retreats in a direction away from the work 40, and further X Move to the positive side in the axial direction.
  • the machine tool 2 has a peculiar habit in a process of gripping the work 40, a transfer process, and the like. For this reason, there is a correspondence between the position command to the loader chuck 32 and the actual position of the loader chuck 32 in the X-axis direction due to the peculiarity of the machine. For this reason, even when the work 40 is intended to be loaded with an appropriate position command, when the loader chuck 32 attempts to pass the work 40 to the spindle chuck 31, the position of the work 40 in the X-axis direction is shifted, and the work 40 The chuck 31 may collide with the positive end 30 in the Z-axis direction. In this case, the loader chuck 32 cannot transfer the work 40 to the spindle chuck 31.
  • a numerical control (NC: Numerical Control) device 10 described later provided in the control system 3 is used to move the loader chuck 32 in the X-axis direction when the loader chuck 32 attempts to transfer the work 40 to the spindle chuck 31. Learn the position. That is, by learning the position command to the loader chuck 32, the numerical controller 10 reduces the probability that the delivery of the workpiece 40 fails. If the posture and the shape of the work 40 gripped by the loader chuck 32 are the same each time, the position of the work 40 in the X-axis direction corresponds to the position of the loader chuck 32 in the X-axis direction. Therefore, in the present embodiment, the displacement amount of the loader chuck 32 in the X-axis direction and the displacement amount of the work 40 in the X-axis direction are used synonymously.
  • FIG. 2 is a diagram illustrating a configuration of a control system including the numerical control device according to the embodiment.
  • the control system 3 includes a numerical control device 10, a drive unit 37, and a servomotor 38.
  • the numerical controller 10 is a computer that controls the position of the loader 36 by sending a position command 53 to the drive unit 37.
  • the position command 53 sent by the numerical controller 10 to the drive unit 37 is a command specifying the position of the loader 36, and includes a position command in the X-axis direction and a position command in the Z-axis direction.
  • the numerical controller 10 controls the transfer of the work 40 from the loader chuck 32 to the spindle chuck 31, and when the transfer fails, changes the X-axis direction position command 53 to the loader chuck 32 and repeats the operation. Control the delivery.
  • the numerical controller 10 determines a position command 53 in the X-axis direction to the loader chuck 32 and whether the result of the transfer using the position command 53 in the X-axis direction is failure or success. An appropriate position command 53 in the X-axis direction to the chuck 32 is learned.
  • the drive unit 37 is a drive mechanism that moves the loader 36 by driving a servo motor 38.
  • the drive unit 37 calculates a current value to be sent to the servomotor 38 based on the position command 53 from the numerical controller 10.
  • the drive unit 37 drives the servo motor 38 by sending a current corresponding to the position command 53 to the servo motor 38.
  • the drive unit 37 sends a feedback (FB: Feed-Back) current 55, which is data indicating a current to be sent to the servomotor 38, to the numerical controller 10.
  • the FB current 55 is an example of feedback data from the drive unit 37 to the numerical controller 10.
  • the drive unit 37 calculates an FB position 54, which is data indicating the current position of the work 40, based on the number of rotations. Send to 10.
  • the FB position 54 is an example of feedback data from the drive unit 37 to the numerical controller 10.
  • the servomotor 38 is connected to the loader 36 and moves the loader 36 according to the current from the drive unit 37.
  • the servomotors 38 include a servomotor that moves the loader 36 in the X-axis direction and a servomotor that moves the loader 36 in the Z-axis direction.
  • An encoder 39 for detecting the rotation speed of the servomotor 38 is attached to each of the servomotors 38 in the X-axis direction and the Z-axis direction. The encoder 39 transmits information indicating the detected rotation speed to the drive unit 37.
  • the numerical control device 10 includes a control processing program storage unit 11, an analysis unit 12, a control unit 13, a storage unit 14, and a machine learning device 20.
  • the control processing program storage unit 11 stores a control processing program used when processing the work 40.
  • the control machining program includes a loading command 61 for loading the work 40 on the rotating unit 35, a machining command for machining the work 40, and an unloading command for unloading the work 40 from the rotating unit 35.
  • FIG. 2 illustrates the loading command 61. Among these commands, the loading command 61 and the unloading command are dedicated commands for transferring the work 40.
  • the loading command 61 is sent to the analysis unit 12 as a G code 51 for positioning the loader 36.
  • the analysis unit 12 analyzes the control machining program.
  • the analysis unit 12 determines whether or not the analyzed command is a dedicated command. If the analyzed command is a dedicated command such as the loading command 61, transfer position information indicating a position at which the workpiece 40 is transferred based on the G code 51. 52 is generated. That is, the analysis unit 12 generates the transfer position information 52 based on the positioning command of the loader 36 included in the G code 51.
  • the transfer position information 52 is information of a position at which the work 40 is transferred between chucks between the loader chuck 32 and the spindle chuck 31. Specifically, the delivery position information 52 is an end point of the loader 36. At the time of the first delivery execution of the work 40, information used for the delivery operation is set by the argument of the dedicated command.
  • the dedicated command includes the following command arguments (A1) to (A5).
  • A1 The end point of the loader 36 which is the transfer position information 52 of the work 40
  • A2 The reference current value A which is a criterion for determining whether or not a collision occurs when the work 40 is transferred.
  • A3 The retraction amount Lz of the loader 36 when it is determined that the collision occurs.
  • A4) The direction and amount Lx of moving the loader 36 during learning (A5) Maximum moving distance Lmax in one direction during learning
  • the transfer position information 52 of (A1) includes the X coordinate and the Z coordinate.
  • the reference current value A in (A2) is a value for determining whether or not the delivery is abnormal, and is compared with the FB current 55 of the current sent to the servomotor 38.
  • the FB current 55 larger than the reference current value A is sent to the servomotor 38, it is an abnormal state that the workpiece 40 collides with the spindle chuck 31 at a position other than the transfer position of the spindle chuck 31.
  • An example of a position where the workpiece 40 collides with the position other than the transfer position by the spindle chuck 31 is the end 30 of the spindle chuck 31 described above.
  • the retraction amount Lz in (A3) is the distance that the work 40 is pulled back along the Z-axis direction when the movement of the work 40 is stopped due to the collision of the work 40 at the end 30.
  • the movement amount Lx in (A4) is a distance by which the work 40 can be moved in the X-axis direction during this learning.
  • the work 40 is moved in the X-axis direction by the movement amount Lx, and then the work 40 is moved toward the spindle chuck 31 along the Z-axis direction.
  • the work 40 is moved by the moving amount Lx until the moving position at the time of delivery falls within the allowable range.
  • the movement distance Lmax in (A5) is a limit distance at which the work 40 can be moved in the X-axis direction during learning. That is, even during the learning, the work 40 is not moved farther than the moving distance Lmax.
  • the analysis unit 12 sends the transfer position information 52 of (A1) and the retraction amount Lz of (A3) to the control unit 13. Further, the analysis unit 12 sends the values of the command arguments (A2), (A4), and (A5) to the machine learning device 20. Note that the analysis unit 12 is not limited to acquiring the value of the command argument from the dedicated command, but may acquire the value corresponding to the command argument from the parameter. In this case, a value corresponding to the command argument is stored in the storage unit 14 as a parameter.
  • the control unit 13 generates the position command 53 according to the transfer position information 52 sent from the analysis unit 12 or the action 58 given from the machine learning device 20.
  • the action 58 is the next position command 53 in the X-axis direction.
  • the control unit 13 sends the position command 53 to the drive unit 37 and the machine learning device 20.
  • the control unit 13 controls the continuation of the transfer operation of the work 40.
  • control unit 13 Upon receiving a notification from the machine learning device 20 indicating that the moving position of the work 40 is out of the allowable range, the control unit 13 pulls back the work 40 along the Z-axis direction by the retraction amount Lz, 53 is generated.
  • the machine learning device 20 includes a state observation unit 25 and a learning unit 21.
  • the state observation unit 25 acquires the reference current value A of (A2) of the command arguments from the analysis unit 12, and the learning unit 21 sends the movement amount Lx of (A4) of the command arguments from the analysis unit 12. And the moving distance Lmax of (A5) is obtained.
  • the state observation unit 25 includes a position command 53 in the X-axis direction and the Z-axis direction from the control unit 13, an FB position 54 in the X-axis direction and the Z-axis direction from the drive unit 37, and an X-axis direction and a Z
  • the FB current 55 in the axial direction is obtained.
  • the state observation unit 25 determines the position command 53 in the X-axis direction and the Z-axis direction and the FB position in the X-axis direction and the Z-axis direction. 54 and an FB current 55 in the X-axis direction and the Z-axis direction. The state observation unit 25 determines whether the moving position of the workpiece 40 is within the allowable range based on the position command 53 in the X-axis direction, the FB position 54 in the X-axis direction, and the FB current 55 in the X-axis direction. It may be determined whether or not.
  • the state observation unit 25 determines whether the moving position of the workpiece 40 is within the allowable range based on the position command 53 in the Z-axis direction, the FB position 54 in the Z-axis direction, and the FB current 55 in the Z-axis direction. It may be determined whether or not. In addition, the state observation unit 25 uses the FB position 54 in the Z-axis direction and the position command 53 in the Z-axis direction without using the FB current 55 in the Z-axis direction so that the movement position of the workpiece 40 is within the allowable range. May be determined.
  • the state observation unit 25 sends the position command 53 in the X-axis direction, the FB position 54 in the X-axis direction, and the FB current in the X-axis direction. 55 is observed as a state variable 56, and the state variable 56 as the observation result is sent to the learning unit 21. That is, the state variables 56 sent from the state observation unit 25 to the learning unit 21 include the position command 53 in the X-axis direction, the FB position 54 in the X-axis direction, and the FB current 55 in the X-axis direction.
  • the delivery position of the work 40 may be shifted in the X-axis direction from the center position of the spindle chuck 31. If the transfer position of the work 40 by the loader chuck 32 is not appropriate, the transfer position of the work 40 may be shifted from the center position of the spindle chuck 31 in the X-axis direction. In these cases, there is a high possibility that the workpiece 40 collides with the spindle chuck 31 at a position other than the delivery position of the spindle chuck 31 and stops at a position where the workpiece 40 cannot be gripped by the spindle chuck 31.
  • the state observation unit 25 determines whether or not the moving position of the work 40 is within the allowable range based on the comparison result between the position command 53 and the FB position 54.
  • the state observation unit 25 sends a result of the determination as to whether or not the moving position of the work 40 is within the allowable range to the control unit 13.
  • the learning unit 21 learns the action 58 that is the next position command 53 according to the state variable 56. In other words, the learning unit 21 learns the position command 53 that reduces the amount of displacement of the transfer position of the workpiece 40 by the loader 36.
  • the learning unit 21 learns the behavior 58 according to a data set created based on the state variable 56 including the position command 53, the FB position 54, and the FB current 55.
  • the learning unit 21 includes a function updating unit 22 and a reward calculating unit 23.
  • the reward calculator 23 calculates a reward 57 based on the state variable 56.
  • the reward calculator 23 calculates the difference between the position indicated by the position command 53 and the FB position 54 based on the state variable 56, and extracts the FB current 55 from the state variable 56.
  • the reward calculation unit 23 increases the reward 57 when the difference between the position indicated by the position command 53 and the FB position 54 is equal to or less than the threshold value and the FB current 55 is equal to or less than the reference current value A. In this case, the reward calculation unit 23 increases the reward 57 as the difference between the position indicated by the position command 53 and the FB position 54 is smaller, and increases the reward 57 as the FB current 55 is smaller.
  • the learning unit 21 sends the calculated reward 57 to the function updating unit 22.
  • the difference between the position indicated by the position command 53 and the FB position 54 may be referred to as a position difference.
  • the function update unit 22 stores a function for determining the action 58, and updates the function for determining the action 58 based on the reward 57.
  • An example of a function for determining the action 58 is an action value function Q (s t , a t ) described later.
  • the function updating unit 22 of the present embodiment updates the action value function Q (s, a) such that the displacement of the delivery position is reduced each time the delivery operation of the workpiece 40 is repeated in the machine tool 2.
  • the function update unit 22 calculates the action 58 using the updated action value function Q (s, a).
  • the function update unit 22 sends the calculated action 58 to the control unit 13 and sends the storage unit 14 the previous learning data, the data used for learning, and the data necessary for controlling the loader 36.
  • An example of the learning data is the next position command 53 calculated when the delivery is successful, and an example of the data used for the learning is an action value function Q (s, a) used by the learning unit 21 for the learning. It is.
  • An example of data used for controlling the loader 36 is the pullback amount Lz.
  • the storage unit 14 stores learning data up to the previous time, data used for learning, and data necessary for controlling the loader 36 by the control unit 13.
  • FIG. 3 is a flowchart illustrating an operation procedure of the machining system according to the embodiment.
  • the numerical controller 10 determines that the transfer of the loader 36 to the transfer position instructed by the instruction argument (A1) is performed when the delivery of the work 40 is the first time, that is, when the workpiece 40 has not been learned.
  • Start step ST1.
  • the control unit 13 sends a position command 53 to the drive unit 37 and the state observation unit 25. Accordingly, the loader 36 moves in the X-axis direction with the loader chuck 32 gripping the work 40, and then moves in the Z-axis direction.
  • the drive unit 37 acquires the FB position 54 and the FB current 55 for each specific cycle, and sends them to the state observation unit 25. Accordingly, the state observation unit 25 monitors the position command 53, the FB position 54, and the FB current 55.
  • the state observation unit 25 determines whether the FB current 55 in each of the X-axis and the Z-axis is equal to or smaller than the reference current value A (step ST2). Note that, as the reference current value A, different values may be used for the X axis and the Z axis.
  • the state observation unit 25 sets the X-axis direction and the Z-axis direction. To the learning unit 21 including the position command 53, the FB position 54 in the X-axis direction and the Z-axis direction, and the FB current 55 in the X-axis direction and the Z-axis direction. Further, the state observation unit 25 notifies the control unit 13 that the movement position of the work 40 is out of the allowable range.
  • the learning unit 21 sets a small value reward 57 for the position command 53 used for transfer. I do. Accordingly, the learning unit 21 learns an appropriate position command 53 according to the state variable 56, and determines an action 58 that is the next position command 53 so that the reward 57 is maximized (step ST4a).
  • the control unit 13 pulls back the work 40 along the Z-axis direction by the pullback amount Lz (step ST5). Then, the control unit 13 starts moving the loader 36 to the transfer position (step ST1). Thereby, the control unit 13 moves the work 40 in the X-axis direction by the position command 53 generated according to the action 58, and thereafter moves the work 40 in the Z-axis direction.
  • step ST2 when the FB current 55 in each of the X-axis and the Z-axis becomes equal to or smaller than the reference current value A (Yes in step ST2), the state observation unit 25 sets the position command in each of the X-axis and the Z-axis. It is determined whether or not the position difference between the position indicated by 53 and the FB position 54 is equal to or smaller than a threshold (step ST3).
  • the state observation unit 25 sets the position command 53 in the X axis direction, the FB position 54 in the X axis direction, and the X axis direction.
  • the state variable 56 including the FB current 55 in the direction is sent to the learning unit 21. Further, the state observation unit 25 notifies the control unit 13 that the movement position of the work 40 is out of the allowable range. Thereby, the processing of steps ST4a and ST5 described above is performed, and further the processing of step ST1 is performed.
  • the learning process of the action 58 by the learning unit 21 will be described.
  • the learning algorithm used for the learning unit 21 may be any learning algorithm.
  • reinforcement learning Reinforcement @ Learning
  • an agent acting as an agent in a certain environment observes a current state indicated by a state variable 56, and determines an action 58 to be taken based on the observation result.
  • the agent obtains the reward 57 from the environment by selecting the action 58, and learns a policy that maximizes the reward 57 through a series of actions 58.
  • Q learning Q-Learning
  • TD-Learning TD learning
  • a general update equation (action value table) of the action value function Q (s, a) is represented by the following equation (1). That is, an example of the action value table is the action value function Q (s, a) of Expression (1).
  • s t represents the environment at time t
  • a t represents the behavior in time t.
  • the environment is changed to s t + 1.
  • rt + 1 represents a reward 57 obtained by a change in the environment
  • ⁇ represents a discount rate
  • ⁇ represents a learning coefficient. If you apply the Q-learning, the next position command 53 of the delivery operation is the action a t.
  • the update expression represented by the expression (1) increases the action value Q if the action value of the best action a at the time t + 1 is larger than the action value Q of the action a executed at the time t. In this case, the action value Q is reduced. In other words, the action value function Q (s, a) is updated so that the action value Q of the action a at the time t approaches the best action value at the time t + 1. As a result, the best action value in one environment is sequentially propagated to the action value in the previous environment.
  • the reward calculator 23 calculates the reward 57 based on the difference between the position indicated by the position command 53 and the FB position 54 and the FB current 55.
  • the reward calculation unit 23 increases the reward 57 when the position difference between the position indicated by the position command 53 and the FB position 54 is equal to or smaller than the threshold value and the FB current 55 is equal to or smaller than the reference current value A. . At this time, the reward calculator 23 gives a reward 57 of, for example, “1”.
  • the reward calculation unit 23 reduces the reward 57 when the difference between the position indicated by the position command 53 and the FB position 54 is larger than the threshold value or when the FB current 55 is larger than the reference current value A. At this time, the reward calculator 23 gives a reward 57 of, for example, “ ⁇ 1”.
  • the reward calculation unit 23 sets the reward 57 as the maximum reward.
  • the reward calculation unit 23 sets the reward 57 to half the maximum reward.
  • An example of the case where the FB current 55 is half of the reference current value A is a case where the transfer of the work 40 is successful, but the transfer position is slightly shifted from the desired position. When the workpiece 40 reaches the delivery position while rubbing against the spindle chuck 31, the FB current 55 increases during rubbing.
  • the transfer position is slightly deviated from the desired position, if the spindle chuck 31 attempts to grip the work 40 at the center of the transfer position of the work 40 after reaching the transfer position, the work 40 is pushed by the spindle chuck 31. As a result, the FB current 55 increases. In such a case, the transfer position is within the allowable range. However, the machine learning device 20 determines whether the workpiece 40 has not collided with the end 30 or not. The reward 57 is given.
  • the reward calculator 23 sets the reward 57 as the minimum reward when the position difference is larger than the threshold value or when the FB current 55 is larger than the reference current value A.
  • the reward calculation unit 23 sends the calculated reward 57 to the function update unit 22.
  • the function update unit 22 updates a function for determining the behavior 58 according to the reward 57 calculated by the reward calculation unit 23.
  • an action value function Q (s t , a t ) represented by Expression (1) is a function for calculating the action 58, and is updated by the function update unit 22.
  • FIG. 4 is a diagram for explaining a first learning example by the machine learning device according to the embodiment.
  • FIG. 4 shows positions P0 to P6 of the work 40 in the X-axis direction. It is assumed that the position of the work 40 in the X-axis direction when the work 40 collides with the end 30 of the spindle chuck 31 is the position P0. In this case, the machine learning device 20 pulls the work 40 back to the plus side in the Z-axis direction until the work 40 no longer collides with the end portion 30 of the spindle chuck 31, and moves the work 40 to the next position in the X-axis direction. The process of moving and the process of inserting the workpiece 40 on the minus side in the Z-axis direction are repeated.
  • the machine learning device 20 moves the work 40 in the X-axis direction in the order of position P1, position P2, position P3, position P4, position P5, and position P6, which are positions in the X-axis direction.
  • the distance between the position P0 and the position P1 is a distance Lx.
  • the distance between the position P0 and the position P3 and the distance between the position P0 and the position P6 are apart from each other by the moving distance Lmax.
  • the machine learning device 20 when moving the work 40 to the position P1, the machine learning device 20 sends an action 58 for loading the work 40 to the position P1 to the control unit 13.
  • the loader 36 moves in the X-axis direction according to the position command 53 corresponding to the action 58.
  • the machine learning device 20 completes moving the workpiece 40 in the X-axis direction.
  • the machine learning device 20 gives a low reward 57 to the position command 53 when the work 40 collides with the end 30, and gives a high reward 57 to the position command 53 when the work 40 does not collide with the end 30.
  • the machine learning device 20 may move the work 40 to the positions P1 to P6 in any order.
  • the machine learning device 20 may move the work 40 in the X-axis direction in an order close to the position P0, such as the order of the position P1, the position P4, the position P2, the position P5, the position P3, and the position P6.
  • the machine learning device 20 is not limited to setting the six positions P1 to P6 as the positions in the X-axis direction, and may set five or less positions or seven or more positions in the X-axis direction. .
  • Step ST3 the learning unit 21 learns the action 58 which is the next position command 53 according to the state variable 56 (Step ST4b). That is, the learning unit 21 sets the reward 57 having a large value for the position command 53 used for delivery, and then determines the action 58 corresponding to the next position command 53.
  • the state observation unit 25 notifies the control unit 13 that the movement position of the work 40 is within the allowable range. Thereby, the control unit 13 proceeds with the process of transferring the work 40 between the chucks.
  • control unit 13 causes the machine tool 2 to execute the above-described operations from s2 to s6. That is, the control unit 13 starts the operation of closing the spindle chuck 31 (step ST6), and waits until the spindle chuck 31 is closed (step ST7). When the spindle chuck 31 is closed, the spindle chuck 31 grips the work 40.
  • the controller 13 starts the operation of opening the loader chuck 32 (step ST8), and waits until the loader chuck 32 is opened (step ST9). Then, the control unit 13 retreats the loader 36 to the plus side in the Z-axis direction (step ST10).
  • the machine learning device 20 learns the position command 53 by the same processing as when the work 40 is loaded from the loader 36 to the spindle chuck 31.
  • the machine learning device 20 causes the delivery of the work 40 to be executed again according to the movement amount Lx, so that the delivery position can be corrected. Further, since the machine learning device 20 learns the transfer position of the work 40, it is possible to prevent the transfer failure. Further, since the machine learning device 20 learns the transfer position of the work 40, the machine learning device 20 can be applied to an environment in which the transfer fails due to a slight displacement such as a collet chuck. Further, since the machine learning device 20 can execute the delivery of the work 40 again and prevent the failure of the delivery, the productivity of the machine tool 2 is improved.
  • the machine learning device 20 determines the transfer position of the work 40 based on the position difference between the position indicated by the position command 53 and the FB position 54, a special device such as a camera for confirming the transfer of the work 40 is used. There is no need to provide a special mechanism or device. Therefore, delivery can be confirmed at low cost.
  • the machine learning device 20 executes the delivery of the work 40 again according to the movement amount Lx, so that the work 40 collides with the end 30 of the spindle chuck 31. There is no need for manual recovery. Therefore, downtime when loading the work 40 can be reduced, and deterioration in productivity can be suppressed.
  • the position command 53 sent by the numerical controller 10 to the drive unit 37 includes a position command in the X-axis direction, a position command in the Y-axis direction, and a position command in the Z-axis direction.
  • the servomotors 38 include servomotors for moving the loader 36 in the X-axis direction, the Y-axis direction, and the Z-axis direction. Then, the machine learning device 20 learns a position command in the X-axis direction, a position command in the Y-axis direction, and a position command in the Z-axis direction.
  • FIG. 5 is a diagram for explaining a second learning example by the machine learning device according to the embodiment.
  • FIG. 6 is a diagram for explaining a positional relationship between a spindle chuck and a work included in the machine tool according to the embodiment.
  • FIGS. 5 and 6 show positions of the work 40 in the XY plane when the work 40 is viewed from the Z-axis direction.
  • the spindle chuck 31A shown in FIG. 6 is an example of the spindle chuck 31 described in FIG.
  • the spindle chuck 31A is a three-jaw chuck.
  • Each of the three spindle chucks 31A grips the workpiece 40 by moving to the center Q1 of the circular chuck area 45.
  • the numerical controller 10 generates a position command 53 for inserting the work 40 into the center Q1, but the actual work 40 is inserted at a position shifted from the center Q1, such as the position P0, and the work 40 is May collide. For this reason, the machine learning device 20 learns the position command 53 such that the work 40 does not collide with the end 30.
  • the machine learning device 20 pulls the work 40 back to the plus side in the Z-axis direction until the work 40 no longer collides with the end 30 of the spindle chuck 31A, and moves the work 40 in the X-axis direction and the Y-axis direction. The process of moving to the next position and the process of inserting the work 40 on the minus side in the Z-axis direction are repeated. In this case, the machine learning device 20 calculates the next movement position of the work 40 based on the movement amount Lx and the movement distance Lmax. That is, when learning the movement position, the work 40 is moved to a position limited by a specific learning direction and a specific learning movement amount in the XY plane.
  • the machine learning device 20 moves the work 40 in the order of the positions P11, P12, P13, P14, P15, P16, P17, P18, and P19, which are positions in the XY plane. Move.
  • the distance between the position P0 and the position P11, the distance between the position P11 and the position P12, and the distance between the position P12 and the position P13 are apart from each other by a movement amount Lx.
  • the distance between the position P0 and the position P14, the distance between the position P14 and the position P15, and the distance between the position P15 and the position P16 are separated by the movement amount Lx.
  • the distance between the position P0 and the position P17, the distance between the position P17 and the position P18, and the distance between the position P18 and the position P19 are apart by the movement amount Lx.
  • the distance between the position P0 and the position P13, the distance between the position P0 and the position P16, and the distance between the position P0 and the position P19 are apart from each other by a movement distance Lmax.
  • the direction between the direction from the position P0 to the position P13 and the direction from the position P0 to the position P16 forms a learning angle ⁇ , and the direction from the position P0 to the position P16 and the direction from the position P0 to the position P19.
  • the direction forms a learning angle ⁇ .
  • the machine learning device 20 moves the work 40 by the movement amount Lx to the maximum movement distance Lmax in the first direction. Search for an appropriate movement position.
  • the machine learning device 20 performs a search similar to the first direction in the second direction obtained by rotating the first direction by the learning angle ⁇ . Do.
  • the machine learning device 20 searches for an appropriate movement position while moving the work 40 by the movement amount Lx until the sum of the learning angles ⁇ in the chuck area 45 exceeds 360 degrees, and rotates the learning angle ⁇ . Repeat.
  • the machine learning device 20 when moving the work 40 to the position P11, the machine learning device 20 sends an action 58 for loading the work 40 to the position P11 to the control unit 13. Thereby, the loader 36 moves in the X-axis direction and the Y-axis direction by the position command 53 corresponding to the action 58.
  • the machine learning device 20 completes moving the work 40 in the X-axis direction and the Y-axis direction.
  • the machine learning device 20 may move the work 40 to the positions P11 to P19 in any order.
  • the machine learning device 20 arranges the work 40 in the order close to the position P0, such as the order of position P11, position P14, position P17, position P12, position P15, position P18, position P13, position P16, and position P19. May be moved.
  • the machine learning apparatus 20 is not limited to setting nine positions P11 to P19 as positions in the XY plane, but may set eight or less positions or ten or more positions in the XY plane. .
  • FIG. 7 is a diagram illustrating a hardware configuration example of the numerical control device according to the embodiment.
  • the numerical controller 10 can be realized by the control circuit 300 shown in FIG.
  • An example of the processor 301 is a CPU (Central Processing Unit), a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, a processor, a DSP (Digital Signal Processor), or a system LSI (Large Scale Integration).
  • Examples of the memory 302 are a RAM (Random Access Memory) and a ROM (Read Only Memory).
  • the numerical controller 10 is realized by the processor 301 reading and executing a program stored in the memory 302 for executing the operation of the numerical controller 10. It can also be said that this program causes a computer to execute the procedure or method of the numerical control device 10.
  • the memory 302 is also used as a temporary memory when the processor 301 executes various processes.
  • the numerical control device 10 may be realized by dedicated hardware, and some may be realized by software or firmware. Further, the machine learning device 20 may be realized by the control circuit 300 shown in FIG.
  • whether or not the transfer position is within the allowable range is determined based on the FB current 55 and the position difference. However, the transfer position is within the allowable range based on the position difference without using the FB current 55. May be determined.
  • the position command 53 to the transfer position is learned based on the FB current 55 in the X-axis direction and the position difference in the X-axis direction, but the X-axis FB current 55 is not used without using the FB current 55.
  • the position command 53 to the transfer position may be learned based on the axial position difference.
  • the machine learning device 20 may learn the position command 53 based on the position shift detected on the spindle chuck 31 side.
  • the machine learning device 20 may perform other known methods such as a neural network, a genetic programming, and a functional logic programming.
  • Machine learning may be performed according to a support vector machine or the like.
  • the control unit 13 controls the loader 36 based on the behavior 58 learned by the learning unit 21, but the control unit 13 controls the loader 36 without using the behavior 58. May be.
  • the control unit 13 determines whether the moving position of the work 40 is within the allowable range based on the position command 53, the FB position 54, and the FB current 55, and determines whether the displacement amount is within the allowable range. If not, a new position command 53 shifted from the position indicated by the position command 53 is output. That is, the control unit 13 searches for an appropriate movement position of the work 40 by shifting the movement position of the work 40 little by little. Specifically, the control unit 13 executes the process of determining the position shift and the process of outputting a new position command 53 when the amount of the position shift is not within the allowable range once or a plurality of times. Keep the displacement within an allowable range.
  • the position command 53 for suppressing the displacement of the transfer position of the workpiece 40 between the chucks is learned in accordance with the data set created based on the state variable 56. Is repeated, it is possible to reduce the probability that the delivery of the work 40 fails.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Numerical Control (AREA)
  • Machine Tool Sensing Apparatuses (AREA)
  • Gripping On Spindles (AREA)
  • Turning (AREA)

Abstract

ワーク（４０）を掴んで送るローダチャック（３２）とワーク（４０）を掴んで受け取る主軸チャック（３１）との間のワーク（４０）の受け渡しの際に、ローダチャック（３２）を移動させるドライブユニット（３７）への位置指令（５３）を学習する機械学習装置（２０）が、ドライブユニット（３７）への位置指令（５３）と、ドライブユニット（３７）からのフィードバックデータと、を状態変数（５６）として観測する状態観測部（２５）と、状態変数（５６）に基づいて作成されるデータセットに従って、ローダチャック（３２）と主軸チャック（３１）との間におけるワーク（４０）の受け渡し位置の位置ずれを抑制する位置指令（５３）を学習する学習部（２１）と、を備える。

Description

機械学習装置、数値制御装置、工作機械および機械学習方法
　本発明は、ワークの受け渡し動作を学習する機械学習装置、数値制御装置、工作機械および機械学習方法に関する。
　旋盤等の工作機械において、ワークを掴んで送る側のチャックと、ワークを掴んで受け取る側のチャックとの間におけるワークの受け渡しの動作では、ワークを搬送するローダが、送る側のチャックに掴まれたワークを受け渡し位置まで移動させる。例えば、ワークが長尺ワークである場合のワークの撓み、またはチャックによるワークのつかみ損ね等によって、ワークを受け取る側のチャック領域の中心位置に、ワークを移動させることができない場合がある。このように、ワークの受け渡しの際に、受け渡し位置が適切な位置からずれると、受け渡しに失敗する場合があるので、受け渡し位置の位置ずれを抑制することができる技術が望まれる。
　特許文献１に記載のローダ制御装置は、ワークの受け渡し位置のずれ量と、ローダを駆動するサーボモータのモータトルクとの相関関係を関数化しておき、相関関係および測定したモータトルクに基づいて受け渡し位置のずれ量を予測し、予測したずれ量に基づいて受け渡し位置を修正している。
特開２００２－１８７０４０号公報
　しかしながら、上記特許文献１では、相関関係を示す関数が固定の関数であるので、ワークの受け渡し動作が繰り返されてもワークの受け渡しの失敗確率は減少しない。
　本発明は、上記に鑑みてなされたものであって、ワークの受け渡し動作を学習することによって、ワークの受け渡しに失敗する確率を減少させていくことができる機械学習装置を得ることを目的とする。
　上述した課題を解決し、目的を達成するために、本発明は、ワークを掴んで送る第１のチャックと、ワークを掴んで受け取る第２のチャックとの間のワークの受け渡しの際に、第１のチャックを移動させる駆動機構への位置指令を学習する機械学習装置であって、駆動機構への位置指令と、駆動機構からのフィードバックデータと、を状態変数として観測する状態観測部と、状態変数に基づいて作成されるデータセットに従って、第１のチャックと第２のチャックとの間におけるワークの受け渡し位置の位置ずれを抑制する位置指令を学習する学習部と、を備えることを特徴とする。
　本発明にかかる機械学習装置は、ワークの受け渡し動作を学習することによって、ワークの受け渡しに失敗する確率を減少させていくことができるという効果を奏する。
実施の形態にかかる工作システムの構成を示す図 実施の形態にかかる数値制御装置を備えた制御システムの構成を示す図 実施の形態にかかる工作システムの動作手順を示すフローチャート 実施の形態にかかる機械学習装置による第１の学習例を説明するための図 実施の形態にかかる機械学習装置による第２の学習例を説明するための図 実施の形態にかかる工作機械が備える主軸チャックとワークとの位置関係を説明するための図 実施の形態にかかる数値制御装置のハードウェア構成例を示す図
　以下に、本発明の実施の形態にかかる機械学習装置、数値制御装置、工作機械および機械学習方法を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
実施の形態
　図１は、実施の形態にかかる工作システムの構成を示す図である。図１では、工作システム１を鉛直方向から見た場合を示している。本実施の形態では、鉛直方向がＹ軸方向であり、ワーク４０の移動方向である水平方向がＸ軸方向およびＺ軸方向である場合について説明する。
　工作システム１は、ワーク４０を加工する工作機械２と、工作機械２の動作を制御する制御システム３とを備えている。工作機械２の例は、旋盤、マシニングセンタである。以下では、工作機械２が旋盤である場合について説明する。
　工作機械２は、回転部３５と、第１のチャックであるローダチャック３２と、第２のチャックである主軸チャック３１と、ワーク４０の搬送機構であるローダ３６とを備えている。ローダ３６は、制御システム３によって動作が制御される。ローダチャック３２は、ローダ３６に接続されており、ローダ３６とともに移動する。ローダチャック３２は、被加工物であるワーク４０を把持することができる。ローダチャック３２の例は、三爪チャック、コレットチャックである。ローダチャック３２は、ワーク４０の加工を開始する際には、主軸チャック３１にワーク４０を渡し、ワーク４０の加工が完了した後には、主軸チャック３１からワーク４０を受け取る。
　回転部３５は、主軸であるＺ軸を回転軸として回転する。主軸チャック３１は、回転部３５に接続されており、回転部３５とともに回転する。主軸チャック３１は、ワーク４０を把持することができる。主軸チャック３１の例は、三爪チャック、コレットチャックである。ワーク４０が加工される際には、主軸チャック３１がワーク４０を把持した状態で回転部３５が回転してワーク４０を回転させる。回転部３５の例は、スピンドル機構である。
　工作機械２は、ワーク４０を回転部３５にロードする際には、ローダチャック３２でワーク４０の一方の端部を掴む。この状態でローダ３６は、Ｘ軸方向のマイナス側に移動し、主軸チャック３１に対向する位置で停止する（ｓ０）。そして、ローダ３６は、Ｚ軸方向のマイナス側に移動する。これにより、ローダ３６は、主軸チャック３１がワーク４０を掴むことができる位置までワーク４０を移動させる（ｓ１）。主軸チャック３１がワーク４０を掴むことができるローダ３６の位置が、所望の受け渡し位置である。工作機械２は、Ｍコードといった補助機能を用いて主軸チャック３１の閉動作を開始し（ｓ２）、主軸チャック３１の閉動作が完了するまで待つ（ｓ３）。主軸チャック３１が閉じることによって、主軸チャック３１は、ワーク４０の他方の端部を掴む。
　この後、工作機械２は、ローダチャック３２の開動作を開始し（ｓ４）、ローダチャック３２の開動作が完了するまで待つ（ｓ５）。そして、ローダ３６は、Ｚ軸方向のプラス側に移動する。これにより、ローダ３６は、ワーク４０から遠ざかる方向へ退避し（ｓ６）、さらにＸ軸方向のプラス側に移動する。
　工作機械２は、ワーク４０の加工が完了すると、上述したｓ０からｓ６の処理と逆順の処理によってワーク４０を回転部３５からアンロードする。この場合において、ｓ０からｓ６の各処理自体は、逆方向の処理となる。すなわち、ｓ０およびｓ６の処理では、ローダ３６の移動方向は、ロード時とアンロード時とで逆方向になる。また、アンロード時には、ローダチャック３２の閉動作と、主軸チャック３１の開動作とが行われる。
　具体的には、アンロードの際には、ローダ３６は、Ｘ軸方向のマイナス側に移動し、さらにワーク４０に近づく方向へ移動する。そして、ローダチャック３２は、閉動作を開始し、閉動作が完了すると、主軸チャック３１が開動作を開始し、開動作が完了すると、ローダ３６は、ワーク４０から遠ざかる方向へ退避し、さらにＸ軸方向のプラス側に移動する。
　ワーク４０を回転部３５にロードする処理と、ワーク４０を回転部３５からアンロードする処理とは同様の処理であるので、以下では、ワーク４０を回転部３５にロードする処理について説明する。
　工作機械２は、ワーク４０を掴む処理、搬送処理などにおいて、機械特有の癖を有している。このため、ローダチャック３２への位置指令と、ローダチャック３２のＸ軸方向の実際の位置との間には、機械特有の癖に起因する対応関係がある。このため、適切な位置指令でワーク４０をロードしたつもりでも、ローダチャック３２が主軸チャック３１へワーク４０を渡そうとする際に、ワーク４０のＸ軸方向の位置がずれて、ワーク４０が主軸チャック３１のＺ軸方向のプラス側の端部３０に衝突する場合がある。この場合、ローダチャック３２は、ワーク４０を主軸チャック３１に渡すことができない。
　本実施の形態では、制御システム３が備える後述の数値制御（ＮＣ：Numerical　Control）装置１０が、ローダチャック３２が主軸チャック３１へワーク４０を渡そうとする際のローダチャック３２のＸ軸方向の位置を学習する。すなわち、数値制御装置１０が、ローダチャック３２への位置指令を学習することによって、ワーク４０の受け渡しに失敗する確率を減少させていく。ローダチャック３２によって掴まれるワーク４０の姿勢および形状が毎回同じであれば、ワーク４０のＸ軸方向の位置は、ローダチャック３２のＸ軸方向の位置に対応するものである。したがって、本実施の形態では、ローダチャック３２のＸ軸方向の位置ずれ量と、ワーク４０のＸ軸方向の位置ずれ量とを同義で使う。
　つぎに、工作機械２の動作を制御する数値制御装置１０の構成について説明する。図２は、実施の形態にかかる数値制御装置を備えた制御システムの構成を示す図である。制御システム３は、数値制御装置１０と、ドライブユニット３７と、サーボモータ３８とを備えている。
　数値制御装置１０は、ドライブユニット３７に位置指令５３を送ることによってローダ３６の位置を制御するコンピュータである。数値制御装置１０がドライブユニット３７に送る位置指令５３は、ローダ３６の位置を指定した指令であり、Ｘ軸方向の位置指令とＺ軸方向の位置指令とが含まれている。数値制御装置１０は、ローダチャック３２から主軸チャック３１へのワーク４０の受け渡しを制御するとともに、受け渡しに失敗した場合には、ローダチャック３２へのＸ軸方向の位置指令５３を変更して再度の受け渡しを制御する。数値制御装置１０は、ローダチャック３２へのＸ軸方向の位置指令５３と、このＸ軸方向の位置指令５３を用いた場合の受け渡しの結果が失敗であるか成功であるかに基づいて、ローダチャック３２へのＸ軸方向の適切な位置指令５３を学習する。
　ドライブユニット３７は、サーボモータ３８を駆動することによってローダ３６を移動させる駆動機構である。ドライブユニット３７は、数値制御装置１０からの位置指令５３に基づいて、サーボモータ３８に送る電流値を算出する。ドライブユニット３７は、位置指令５３に対応する電流をサーボモータ３８に送ることによってサーボモータ３８を駆動する。ドライブユニット３７は、サーボモータ３８に送る電流を示すデータであるフィードバック（ＦＢ：Feed-Back）電流５５を数値制御装置１０に送る。ＦＢ電流５５は、ドライブユニット３７から数値制御装置１０へのフィードバックデータの一例である。
　ドライブユニット３７は、エンコーダ３９からサーボモータ３８の回転数を示す情報が送られてくると、この回転数に基づいて、ワーク４０の現在位置を示すデータであるＦＢ位置５４を算出して数値制御装置１０に送る。ＦＢ位置５４は、ドライブユニット３７から数値制御装置１０へのフィードバックデータの一例である。
　サーボモータ３８は、ローダ３６に接続されており、ドライブユニット３７からの電流に従ってローダ３６を移動させる。サーボモータ３８は、ローダ３６をＸ軸方向に移動させるサーボモータと、ローダ３６をＺ軸方向に移動させるサーボモータとを含んでいる。Ｘ軸方向およびＺ軸方向の各サーボモータ３８には、サーボモータ３８の回転数を検出するエンコーダ３９が取付けられている。エンコーダ３９は、検出した回転数を示す情報をドライブユニット３７に送信する。
　数値制御装置１０は、制御加工プログラム記憶部１１と、解析部１２と、制御部１３と、記憶部１４と、機械学習装置２０とを備えている。制御加工プログラム記憶部１１は、ワーク４０を加工する際に用いられる制御加工プログラムを記憶する。制御加工プログラムには、ワーク４０を回転部３５にロードするためのローディング指令６１と、ワーク４０を加工するための加工指令と、ワーク４０を回転部３５からアンロードするためのアンローディング指令とが含まれている。図２では、ローディング指令６１を図示している。これらの指令のうち、ローディング指令６１およびアンローディング指令が、ワーク４０の受け渡しを行うための専用指令である。ローディング指令６１は、ローダ３６の位置決めを行うためのＧコード５１として解析部１２に送られる。
　解析部１２は、制御加工プログラムを解析する。解析部１２は、解析した指令が専用指令であるか否かを判別し、ローディング指令６１といった専用指令である場合には、Ｇコード５１に基づいて、ワーク４０を受け渡す位置を示す受け渡し位置情報５２を生成する。すなわち、解析部１２は、Ｇコード５１内に含まれるローダ３６の位置決め指令に基づいて、受け渡し位置情報５２を生成する。受け渡し位置情報５２は、ローダチャック３２と主軸チャック３１との間のチャック間でワーク４０を受け渡す位置の情報である。具体的には、受け渡し位置情報５２は、ローダ３６の終点である。ワーク４０の初回の受け渡し実行時には、受け渡し動作に用いられる情報が、専用指令の引数によって設定される。
　専用指令は、下記の（Ａ１）から（Ａ５）の指令引数を含んでいる。
（Ａ１）ワーク４０の受け渡し位置情報５２であるローダ３６の終点
（Ａ２）ワーク４０の受け渡し時に衝突と判定か否かの基準である基準電流値Ａ
（Ａ３）衝突と判定した場合のローダ３６の引き戻し量Ｌｚ
（Ａ４）学習時にローダ３６を移動させる方向および移動量Ｌｘ
（Ａ５）学習時の一方向における最大の移動距離Ｌｍａｘ
　上述した（Ａ１）の受け渡し位置情報５２には、Ｘ座標とＺ座標とが含まれている。（Ａ２）の基準電流値Ａは、受け渡しが異常状態であるか否かを判定するための値であり、サーボモータ３８へ送られる電流のＦＢ電流５５と比較される。この基準電流値Ａよりも大きなＦＢ電流５５がサーボモータ３８へ送られるような場合は、ワーク４０が主軸チャック３１による受け渡し位置以外の位置で主軸チャック３１に衝突したような異常状態である。主軸チャック３１による受け渡し位置以外でワーク４０が衝突する位置の例は、前述の主軸チャック３１の端部３０である。（Ａ３）の引き戻し量Ｌｚは、ワーク４０が端部３０で衝突してワーク４０の移動が停止した場合に、ワーク４０がＺ軸方向に沿って引き戻される距離である。
　ワーク４０が端部３０で衝突して移動が停止した場合、機械学習装置２０で位置指令５３の学習が行われる。（Ａ４）の移動量Ｌｘは、この学習時にワーク４０がＸ軸方向に移動させられる距離である。ワーク４０は、移動量ＬｘだけＸ軸方向に移動させられたうえで、ワーク４０がＺ軸方向に沿って主軸チャック３１側へ移動させられる。ワーク４０は、受け渡しの際の移動位置が許容範囲内となるまで移動量Ｌｘずつ移動させられる。また、（Ａ５）の移動距離Ｌｍａｘは、学習時にワーク４０がＸ軸方向に移動させられる限界距離である。すなわち、学習時であっても、ワーク４０は移動距離Ｌｍａｘよりも遠くへは移動させられることはない。
　解析部１２は、（Ａ１）の受け渡し位置情報５２と、（Ａ３）の引き戻し量Ｌｚを制御部１３に送る。また、解析部１２は、上記（Ａ２）、（Ａ４）、（Ａ５）の指令引数の値を機械学習装置２０に送る。なお、解析部１２は、専用指令から指令引数の値を取得する場合に限らず、パラメータから指令引数に対応する値を取得してもよい。この場合、指令引数に対応する値をパラメータとして記憶部１４に格納しておく。
　制御部１３は、解析部１２から送られてくる受け渡し位置情報５２または機械学習装置２０から与えられる行動５８に従って位置指令５３を生成する。行動５８は、Ｘ軸方向の次回の位置指令５３である。制御部１３は、位置指令５３をドライブユニット３７および機械学習装置２０に送る。制御部１３は、機械学習装置２０から、ワーク４０の移動位置が許容範囲内であることを示す通知を受けると、ワーク４０の受け渡し動作の続きを制御する。
　制御部１３は、機械学習装置２０から、ワーク４０の移動位置が許容範囲外であることを示す通知を受けると、ワーク４０をＺ軸方向に沿って引き戻し量Ｌｚだけ引き戻し、行動５８に従って位置指令５３を生成する。
　機械学習装置２０は、状態観測部２５と、学習部２１とを備えている。状態観測部２５は、解析部１２から、指令引数のうちの（Ａ２）の基準電流値Ａを取得し、学習部２１は、解析部１２から、指令引数のうちの（Ａ４）の移動量Ｌｘおよび（Ａ５）の移動距離Ｌｍａｘを取得する。
　状態観測部２５は、制御部１３からのＸ軸方向およびＺ軸方向の位置指令５３と、ドライブユニット３７からのＸ軸方向およびＺ軸方向のＦＢ位置５４と、ドライブユニット３７からのＸ軸方向およびＺ軸方向のＦＢ電流５５とを取得する。
　状態観測部２５は、ワーク４０の移動位置が許容範囲内であるか否かを判定する際には、Ｘ軸方向およびＺ軸方向の位置指令５３と、Ｘ軸方向およびＺ軸方向のＦＢ位置５４と、Ｘ軸方向およびＺ軸方向のＦＢ電流５５とを用いる。なお、状態観測部２５は、Ｘ軸方向の位置指令５３と、Ｘ軸方向のＦＢ位置５４と、Ｘ軸方向のＦＢ電流５５とに基づいて、ワーク４０の移動位置が許容範囲内であるか否かを判定してもよい。また、状態観測部２５は、Ｚ軸方向の位置指令５３と、Ｚ軸方向のＦＢ位置５４と、Ｚ軸方向のＦＢ電流５５とに基づいて、ワーク４０の移動位置が許容範囲内であるか否かを判定してもよい。また、状態観測部２５は、Ｚ軸方向のＦＢ電流５５を用いることなく、Ｚ軸方向のＦＢ位置５４と、Ｚ軸方向の位置指令５３とに基づいて、ワーク４０の移動位置が許容範囲内であるか否かを判定してもよい。
　また、学習部２１がドライブユニット３７への位置指令５３を学習する際には、状態観測部２５は、Ｘ軸方向の位置指令５３と、Ｘ軸方向のＦＢ位置５４と、Ｘ軸方向のＦＢ電流５５とを状態変数５６として観測し、観測結果である状態変数５６を学習部２１に送る。すなわち、状態観測部２５が学習部２１に送る状態変数５６には、Ｘ軸方向の位置指令５３と、Ｘ軸方向のＦＢ位置５４と、Ｘ軸方向のＦＢ電流５５とが含まれている。
　ワーク４０の形状によってはワーク４０の受け渡し位置が主軸チャック３１の中心位置からＸ軸方向にずれる場合がある。また、ローダチャック３２によるワーク４０の受け渡し位置が適切でない場合にはワーク４０の受け渡し位置が主軸チャック３１の中心位置からＸ軸方向にずれる場合がある。これらの場合、ワーク４０が、主軸チャック３１による受け渡し位置以外の位置で主軸チャック３１に衝突し、ワーク４０が主軸チャック３１で掴めない位置で停止してしまう可能性が高くなる。
　ワーク４０が、受け渡し位置以外の位置で主軸チャック３１に衝突した場合、ワーク４０の移動位置は許容範囲外となる。また、ワーク４０が、主軸チャック３１に擦れながら受け渡し位置まで移動した場合も、ワーク４０の移動位置は許容範囲外である。
　ワーク４０の移動位置が許容範囲外である異常時には、Ｘ軸方向およびＺ軸方向の少なくとも一方のローダ３６への負荷が大きくなる。このため、ワーク４０の移動位置が許容範囲外の場合、サーボモータ３８へ送られる電流が上昇し、ＦＢ電流５５も上昇する。したがって、状態観測部２５は、基準電流値Ａと、ＦＢ電流５５との比較結果に基づいて、ワーク４０の移動位置が許容範囲内であるか否かを判定する。ワーク４０の移動位置が許容範囲内である正常時には、ワーク４０が、主軸チャック３１による受け渡し位置で停止するので、ローダ３６への負荷が大きくなることはなく、ＦＢ電流５５が上昇することはない。
　また、ワーク４０の移動位置が許容範囲外である異常時には、位置指令５３に対応するローダ３６の位置と、ＦＢ位置５４に対応するローダ３６の位置と、が特定の時間内に同じにならない。したがって、状態観測部２５は、位置指令５３と、ＦＢ位置５４との比較結果に基づいて、ワーク４０の移動位置が許容範囲内であるか否かを判定する。状態観測部２５は、ワーク４０の移動位置が許容範囲内であるか否かの判定結果を制御部１３に送る。
　学習部２１は、状態変数５６に従って、次回の位置指令５３である行動５８を学習する。換言すると、学習部２１は、ローダ３６によるワーク４０の受け渡し位置の位置ずれ量が減る位置指令５３を学習する。
　具体的には、学習部２１は、位置指令５３と、ＦＢ位置５４と、ＦＢ電流５５とを含んだ状態変数５６に基づいて作成されるデータセットに従って、行動５８を学習する。学習部２１は、関数更新部２２と、報酬計算部２３とを備えている。
　報酬計算部２３は、状態変数５６に基づいて報酬５７を計算する。報酬計算部２３は、状態変数５６に基づいて位置指令５３が示す位置とＦＢ位置５４との差分を算出し、状態変数５６からＦＢ電流５５を抽出する。報酬計算部２３は、位置指令５３が示す位置とＦＢ位置５４の差分が閾値以下であり、かつＦＢ電流５５が基準電流値Ａ以下の場合に報酬５７を増大させる。この場合において、報酬計算部２３は、位置指令５３が示す位置とＦＢ位置５４の差分が小さいほど報酬５７を増大させ、ＦＢ電流５５が小さいほど報酬５７を増大させる。学習部２１は、算出した報酬５７を関数更新部２２に送る。以下の説明では、位置指令５３が示す位置とＦＢ位置５４との差分を位置差分という場合がある。
　関数更新部２２は、行動５８を決定するための関数を記憶しており、報酬５７に基づいて、行動５８を決定するための関数を更新する。行動５８を決定するための関数の例は、後述する行動価値関数Ｑ（ｓt，ａt）である。本実施の形態の関数更新部２２は、工作機械２でワーク４０の受け渡し動作が繰り返されるたびに、受け渡し位置の位置ずれ量が減るよう、行動価値関数Ｑ（ｓ，ａ）を更新する。関数更新部２２は、更新した行動価値関数Ｑ（ｓ，ａ）を用いて行動５８を算出する。関数更新部２２は、算出した行動５８を制御部１３に送り、前回までの学習データ、学習に用いるデータおよびローダ３６の制御に必要なデータを記憶部１４に送る。学習データの例は、受け渡しに成功した場合に算出された次回用の位置指令５３であり、学習に用いるデータの例は、学習部２１が学習の際に用いる行動価値関数Ｑ（ｓ，ａ）である。ローダ３６の制御に用いるデータの例は、引き戻し量Ｌｚである。記憶部１４は、前回までの学習データ、学習に用いるデータおよび制御部１３によるローダ３６の制御に必要なデータを記憶する。
　つぎに、工作システム１の動作手順について説明する。図３は、実施の形態にかかる工作システムの動作手順を示すフローチャートである。数値制御装置１０は、ローディング指令６１を読み出すと、ワーク４０の受け渡しが初めてである場合、すなわち未学習の場合、上述の（Ａ１）の指令引数で指令された受け渡し位置へのローダ３６の移動を開始する（ステップＳＴ１）。このとき、制御部１３は、ドライブユニット３７および状態観測部２５に位置指令５３を送る。これにより、ローダチャック３２がワーク４０を掴んだ状態でローダ３６がＸ軸方向へ移動し、その後、Ｚ軸方向に移動する。
　ワーク４０が移動を開始すると、ドライブユニット３７は、特定の周期毎にＦＢ位置５４およびＦＢ電流５５を取得して、状態観測部２５に送る。これにより、状態観測部２５は、位置指令５３、ＦＢ位置５４およびＦＢ電流５５を監視する。
　状態観測部２５は、Ｘ軸およびＺ軸の各軸におけるＦＢ電流５５が基準電流値Ａ以下であるか否かを判定する（ステップＳＴ２）。なお、基準電流値Ａは、Ｘ軸とＺ軸とで異なる値が用いられてもよい。
　受け渡し位置へ到達する前に、Ｘ軸またはＺ軸の各軸におけるＦＢ電流５５が基準電流値Ａよりも大きくなる場合（ステップＳＴ２、Ｎｏ）、状態観測部２５は、Ｘ軸方向およびＺ軸方向の位置指令５３と、Ｘ軸方向およびＺ軸方向のＦＢ位置５４と、Ｘ軸方向およびＺ軸方向のＦＢ電流５５とを含んだ状態変数５６を学習部２１に送る。また、状態観測部２５は、ワーク４０の移動位置が許容範囲外であることを制御部１３に通知する。
　各軸のＦＢ電流５５が基準電流値Ａよりも大きい場合、すなわち受け渡し位置への移動が失敗である場合、学習部２１は、受け渡しに用いた位置指令５３に対して小さな値の報酬５７を設定する。これにより、学習部２１は、状態変数５６に従って、適切な位置指令５３を学習し、報酬５７が最大となるよう、次回の位置指令５３である行動５８を決定する（ステップＳＴ４ａ）。制御部１３は、ワーク４０を引き戻し量ＬｚだけＺ軸方向に沿って引き戻す（ステップＳＴ５）。そして、制御部１３は、受け渡し位置へのローダ３６の移動を開始する（ステップＳＴ１）。これにより、制御部１３は、行動５８に従って生成した位置指令５３でワーク４０をＸ軸方向に移動させ、その後、ワーク４０をＺ軸方向に移動させる。
　ステップＳＴ２の処理において、Ｘ軸およびＺ軸の各軸におけるＦＢ電流５５が基準電流値Ａ以下になると（ステップＳＴ２、Ｙｅｓ）、状態観測部２５は、Ｘ軸およびＺ軸の各軸における位置指令５３が示す位置とＦＢ位置５４との位置差分が閾値以下であるか否かを判定する（ステップＳＴ３）。
　Ｘ軸およびＺ軸におけるＦＢ位置５４と位置指令５３とが異なる場合（ステップＳＴ３、Ｎｏ）、状態観測部２５は、Ｘ軸方向の位置指令５３と、Ｘ軸方向のＦＢ位置５４と、Ｘ軸方向のＦＢ電流５５とを含んだ状態変数５６を学習部２１に送る。また、状態観測部２５は、ワーク４０の移動位置が許容範囲外であることを制御部１３に通知する。これにより、上述したステップＳＴ４ａ，ＳＴ５の処理が行なわれ、さらにステップＳＴ１の処理が行なわれる。
　ここで学習部２１による行動５８の学習処理について説明する。学習部２１に用いる学習アルゴリズムは、何れの学習アルゴリズムであってもよい。ここでは、学習アルゴリズムに、強化学習（Reinforcement　Learning）を適用した場合について説明する。強化学習は、ある環境内における行動主体であるエージェントが、状態変数５６で示される現在の状態を観測し、観測結果に基づいて取るべき行動５８を決定するというものである。エージェントは、行動５８を選択することで環境から報酬５７を得て、一連の行動５８を通じて報酬５７が最も多く得られるような方策を学習する。強化学習の代表的な手法として、Ｑ学習（Q-Learning）およびＴＤ学習（TD-Learning）が知られている。例えば、Ｑ学習の場合、行動価値関数Ｑ（ｓ，ａ）の一般的な更新式（行動価値テーブル）は、以下の式（１）で表される。すなわち、行動価値テーブルの一例は、式（１）の行動価値関数Ｑ（ｓ，ａ）である。
Figure JPOXMLDOC01-appb-M000001
　式（１）において、ｓtは時刻ｔにおける環境を表し、ａtは時刻ｔにおける行動を表す。行動ａtにより、環境はｓt+1に変わる。ｒt+1はその環境の変化によってもらえる報酬５７を表し、γは割引率を表し、αは学習係数を表す。Ｑ学習を適用した場合、受け渡し動作の次回の位置指令５３が行動ａtとなる。
　式（１）で表される更新式は、時刻ｔ＋１における最良の行動ａの行動価値が、時刻ｔにおいて実行された行動ａの行動価値Ｑよりも大きければ、行動価値Ｑを大きくし、逆の場合は、行動価値Ｑを小さくする。換言すれば、時刻ｔにおける行動ａの行動価値Ｑを、時刻ｔ＋１における最良の行動価値に近づけるように、行動価値関数Ｑ（ｓ，ａ）を更新する。それにより、ある環境における最良の行動価値が、それ以前の環境における行動価値に順次伝播していくようになる。
　報酬計算部２３は、位置指令５３が示す位置とＦＢ位置５４との位置差分、およびＦＢ電流５５に基づいて、報酬５７を計算する。
　前述したように、報酬計算部２３は、位置指令５３が示す位置とＦＢ位置５４との位置差分が閾値以下であり、かつＦＢ電流５５が基準電流値Ａ以下の場合には報酬５７を増大させる。このとき、報酬計算部２３は、例えば「１」の報酬５７を与える。
　一方、報酬計算部２３は、位置指令５３が示す位置とＦＢ位置５４の差分が閾値よりも大きい場合、またはＦＢ電流５５が基準電流値Ａよりも大きい場合には報酬５７を低減させる。このとき、報酬計算部２３は、例えば「－１」の報酬５７を与える。
　報酬計算部２３は、例えば、位置差分が０であり、かつＦＢ電流５５の変化量が０であるときは、報酬５７を最大報酬とする。報酬計算部２３は、位置差分が閾値以下であり、ＦＢ電流５５が基準電流値Ａの半分の場合には、報酬５７を最大報酬の半分とする。ＦＢ電流５５が基準電流値Ａの半分の場合の例は、ワーク４０の受け渡しは成功しているが、受け渡し位置が所望位置から少しずれている場合である。ワーク４０が、主軸チャック３１に擦れながら受け渡し位置まで到達した場合には、擦れている間、ＦＢ電流５５が大きくなる。また、受け渡し位置が所望位置から少しずれている場合、受け渡し位置へ到達した後に、主軸チャック３１がワーク４０の受け渡し位置の中心でワーク４０を掴もうとすると、ワーク４０が主軸チャック３１に押されてＦＢ電流５５が大きくなる。このような場合は、受け渡し位置は許容範囲内であるが、機械学習装置２０は、ワーク４０が端部３０に衝突しなかった場合と、ワーク４０が端部３０に衝突した場合との間の報酬５７を与える。
　報酬計算部２３は、位置差分が閾値よりも大きい場合、またはＦＢ電流５５が基準電流値Ａよりも大きい場合には報酬５７を最小報酬とする。報酬計算部２３は、計算した報酬５７を関数更新部２２に送る。
　関数更新部２２は、報酬計算部２３によって計算された報酬５７に従って、行動５８を決定するための関数を更新する。例えばＱ学習の場合、式（１）で表される行動価値関数Ｑ（ｓt，ａt）が、行動５８を計算するための関数であり、関数更新部２２によって更新される。
　図４は、実施の形態にかかる機械学習装置による第１の学習例を説明するための図である。図４では、ワーク４０のＸ軸方向の位置Ｐ０～Ｐ６を示している。ワーク４０が、主軸チャック３１の端部３０に衝突した場合のワーク４０のＸ軸方向の位置が位置Ｐ０であるとする。この場合、機械学習装置２０は、ワーク４０が主軸チャック３１の端部３０に衝突しなくなるまで、ワーク４０をＺ軸方向のプラス側に引き戻す処理と、ワーク４０をＸ軸方向の次の位置に移動させる処理と、ワーク４０をＺ軸方向のマイナス側に挿入する処理とを繰り返させる。
　具体的には、機械学習装置２０は、Ｘ軸方向の位置である位置Ｐ１、位置Ｐ２、位置Ｐ３、位置Ｐ４、位置Ｐ５、位置Ｐ６の順番でワーク４０をＸ軸方向に移動させる。位置Ｐ０と位置Ｐ１との間は、移動量Ｌｘだけ離れている。同様に、位置Ｐ１と位置Ｐ２との間、位置Ｐ２と位置Ｐ３との間、位置Ｐ０と位置Ｐ４との間、位置Ｐ４と位置Ｐ５との間、位置Ｐ５と位置Ｐ６との間は、それぞれ移動量Ｌｘだけ離れている。また、位置Ｐ０と位置Ｐ３との間、位置Ｐ０と位置Ｐ６との間は、それぞれ移動距離Ｌｍａｘだけ離れている。
　例えば、機械学習装置２０は、ワーク４０を位置Ｐ１に移動させる場合、ワーク４０を位置Ｐ１にロードするための行動５８を制御部１３に送る。これにより、行動５８に対応する位置指令５３でローダ３６がＸ軸方向に移動する。
　機械学習装置２０は、ワーク４０が端部３０に衝突せずに主軸チャック３１まで移動させることができると、ワーク４０をＸ軸方向に移動させることを完了する。機械学習装置２０は、ワーク４０が端部３０に衝突した場合の位置指令５３に低い報酬５７を与え、ワーク４０が端部３０に衝突しなかった場合の位置指令５３に高い報酬５７を与える。
　なお、機械学習装置２０は、ワーク４０を何れの順番で位置Ｐ１～Ｐ６に移動させてもよい。例えば、機械学習装置２０は、ワーク４０を位置Ｐ１、位置Ｐ４、位置Ｐ２、位置Ｐ５、位置Ｐ３、位置Ｐ６の順番のように位置Ｐ０に近い順番でＸ軸方向に移動させてもよい。また、機械学習装置２０は、Ｘ軸方向の位置として位置Ｐ１～Ｐ６の６箇所の位置を設定する場合に限らず、５箇所以下または７箇所以上のＸ軸方向の位置を設定してもよい。
　Ｘ軸およびＺ軸におけるＦＢ電流５５が基準電流値Ａ以下になり（ステップＳＴ２、Ｙｅｓ）、かつＸ軸およびＺ軸における位置指令５３が示す位置とＦＢ位置５４との位置差分が閾値以下になると（ステップＳＴ３、Ｙｅｓ）、学習部２１は、状態変数５６に従って、次回の位置指令５３である行動５８を学習する（ステップＳＴ４ｂ）。すなわち、学習部２１は、受け渡しに用いた位置指令５３に対して大きな値の報酬５７を設定したうえで、次回の位置指令５３に対応する行動５８を決定する。
　また、状態観測部２５は、ワーク４０が受け渡し位置へ移動した後、ワーク４０の移動位置が許容範囲内であることを制御部１３に通知する。これにより、制御部１３は、チャック間でのワーク４０の受け渡し処理を進める。
　具体的には、制御部１３は、上述したｓ２からｓ６の動作を工作機械２に実行させる。すなわち、制御部１３は、主軸チャック３１を閉じる動作を開始し（ステップＳＴ６）、主軸チャック３１が閉じるまで待つ（ステップＳＴ７）。主軸チャック３１が閉じることによって、主軸チャック３１は、ワーク４０を掴む。
　この後、制御部１３は、ローダチャック３２を開く動作を開始し（ステップＳＴ８）、ローダチャック３２が開くまで待つ（ステップＳＴ９）。そして、制御部１３は、ローダ３６をＺ軸方向のプラス側に退避させる（ステップＳＴ１０）。
　機械学習装置２０は、ワーク４０が主軸チャック３１からローダ３６へアンロードされる際にも、ワーク４０がローダ３６から主軸チャック３１にロードされる場合と同様の処理によって位置指令５３を学習する。
　このように、ワーク４０の受け渡しに失敗した場合には、機械学習装置２０が、移動量Ｌｘに従ってワーク４０の受け渡しを再度実行させるので、受け渡し位置の修正を行うことができる。また、機械学習装置２０が、ワーク４０の受け渡し位置を学習するので、受け渡しの失敗を防止することができる。また、機械学習装置２０が、ワーク４０の受け渡し位置を学習するので、コレットチャックのようにわずかな位置ずれで受け渡しに失敗する環境にも機械学習装置２０を適用できる。また、機械学習装置２０が、ワーク４０の受け渡しを再度実行させるとともに、受け渡しの失敗を防止することができるので、工作機械２による生産性が向上する。
　また、機械学習装置２０が、位置指令５３が示す位置とＦＢ位置５４との位置差分に基づいて、ワーク４０の受け渡し位置を判定しているので、ワーク４０の受け渡しを確認するためのカメラといった特別な機構または装置を設ける必要がない。したがって、低コストで受け渡しを確認することができる。
　また、ワーク４０の受け渡しに失敗した場合には、機械学習装置２０が、移動量Ｌｘに従ってワーク４０の受け渡しを再度実行するので、ワーク４０が主軸チャック３１の端部３０に衝突した場合であっても人手で復旧は行う必要がない。したがって、ワーク４０をロードする際のダウンタイムを短縮することができ、生産性の悪化を抑制できる。
　なお、本実施の形態では、工作機械２が、ワーク４０をＸ軸方向およびＺ軸方向に移動させる場合について説明したが、工作機械２は、ワーク４０をＸ軸方向、Ｙ軸方向およびＺ軸方向に移動させてもよい。この場合、数値制御装置１０がドライブユニット３７に送る位置指令５３には、Ｘ軸方向の位置指令と、Ｙ軸方向の位置指令と、Ｚ軸方向の位置指令とが含まれている。また、サーボモータ３８は、ローダ３６をＸ軸方向、Ｙ軸方向およびＺ軸方向に移動させる各サーボモータを含んでいる。そして、機械学習装置２０は、Ｘ軸方向への位置指令と、Ｙ軸方向の位置指令と、Ｚ軸方向の位置指令とを学習する。
　図５は、実施の形態にかかる機械学習装置による第２の学習例を説明するための図である。図６は、実施の形態にかかる工作機械が備える主軸チャックとワークとの位置関係を説明するための図である。ここでは、工作機械２が、ワーク４０をＸ軸方向、Ｙ軸方向およびＺ軸方向に移動させる場合について説明する。図５および図６では、ワーク４０をＺ軸方向から見た場合のワーク４０のＸＹ平面内の位置を示している。
　図６に示す主軸チャック３１Ａは、図１で説明した主軸チャック３１の一例である。主軸チャック３１Ａは、三爪チャックである。３つの主軸チャック３１Ａは、それぞれが円形のチャック領域４５の中心Ｑ１に移動することによってワーク４０を掴む。
　数値制御装置１０は、ワーク４０を中心Ｑ１へ挿入させるための位置指令５３を生成するが、実際のワーク４０は、位置Ｐ０といった中心Ｑ１からずれた位置に挿入され、ワーク４０が端部３０に衝突する場合がある。このため、機械学習装置２０は、ワーク４０が端部３０に衝突しないような位置指令５３を学習する。
　ワーク４０が、主軸チャック３１Ａの端部３０に衝突した場合のワーク４０の位置が位置Ｐ０であるとする。この場合、機械学習装置２０は、ワーク４０が主軸チャック３１Ａの端部３０に衝突しなくなるまで、ワーク４０をＺ軸方向のプラス側に引き戻す処理と、ワーク４０をＸ軸方向およびＹ軸方向の次の位置に移動させる処理と、ワーク４０をＺ軸方向のマイナス側に挿入させる処理とを繰り返させる。この場合において、機械学習装置２０は、移動量Ｌｘおよび移動距離Ｌｍａｘに基づいて、ワーク４０の次の移動位置を算出する。すなわち、ワーク４０は、移動位置の学習時には、ＸＹ平面内で特定の学習方向および特定の学習移動量によって制限された位置に移動させられる。
　具体的には、機械学習装置２０は、ＸＹ平面内の位置である位置Ｐ１１、位置Ｐ１２、位置Ｐ１３、位置Ｐ１４、位置Ｐ１５、位置Ｐ１６、位置Ｐ１７、位置Ｐ１８、位置Ｐ１９の順番でワーク４０を移動させる。位置Ｐ０と位置Ｐ１１との間、位置Ｐ１１と位置Ｐ１２との間、位置Ｐ１２と位置Ｐ１３との間は、それぞれ移動量Ｌｘだけ離れている。同様に、位置Ｐ０と位置Ｐ１４との間、位置Ｐ１４と位置Ｐ１５との間、位置Ｐ１５と位置Ｐ１６との間は、それぞれ移動量Ｌｘだけ離れている。同様に、位置Ｐ０と位置Ｐ１７との間、位置Ｐ１７と位置Ｐ１８との間、位置Ｐ１８と位置Ｐ１９との間は、それぞれ移動量Ｌｘだけ離れている。また、位置Ｐ０と位置Ｐ１３との間、位置Ｐ０と位置Ｐ１６との間、位置Ｐ０と位置Ｐ１９との間は、それぞれ移動距離Ｌｍａｘだけ離れている。
　また、位置Ｐ０から位置Ｐ１３へ向かう方向と、位置Ｐ０から位置Ｐ１６へ向かう方向との間は、学習角度θをなしており、位置Ｐ０から位置Ｐ１６へ向かう方向と、位置Ｐ０から位置Ｐ１９へ向かう方向との間は、学習角度θをなしている。機械学習装置２０は、第１の方向にワーク４０を位置Ｐ０から移動量Ｌｘずつ移動させる処理と、移動距離Ｌｍａｘまで移動させると、第１の方向から学習角度θだけ回転させた第２の方向に、ワーク４０を位置Ｐ０から移動量Ｌｘずつ移動させる処理とを繰り返す。すなわち、機械学習装置２０は、ワーク４０への適切な移動位置の最初の探索を行う際に、第１の方向に対して、最大の移動距離Ｌｍａｘまで、移動量Ｌｘずつワーク４０を移動させながら適切な移動位置を探索する。この第１の方向で適切な移動位置が見つからない場合、機械学習装置２０は、第１の方向を学習角度θだけ回転させた第２の方向に対して、第１の方向と同様の探索を行う。機械学習装置２０は、チャック領域４５内で学習角度θの合計が３６０度を超えるまで、移動量Ｌｘずつワーク４０を移動させながら適切な移動位置を探索する処理と、学習角度θを回転させる処理とを繰り返す。
　例えば、機械学習装置２０は、ワーク４０を位置Ｐ１１に移動させる場合、ワーク４０を位置Ｐ１１にロードするための行動５８を制御部１３に送る。これにより、行動５８に対応する位置指令５３でローダ３６がＸ軸方向およびＹ軸方向に移動する。
　機械学習装置２０は、ワーク４０が端部３０に衝突せずに主軸チャック３１Ａまで移動させることができると、ワーク４０をＸ軸方向およびＹ軸方向に移動させることを完了する。
　なお、機械学習装置２０は、ワーク４０を何れの順番で位置Ｐ１１～Ｐ１９に移動させてもよい。例えば、機械学習装置２０は、ワーク４０を位置Ｐ１１、位置Ｐ１４、位置Ｐ１７、位置Ｐ１２、位置Ｐ１５、位置Ｐ１８、位置Ｐ１３、位置Ｐ１６、位置Ｐ１９の順番のように位置Ｐ０に近い順番でワーク４０を移動させてもよい。また、機械学習装置２０は、ＸＹ平面内の位置として位置Ｐ１１～Ｐ１９の９箇所の位置を設定する場合に限らず、８箇所以下または１０箇所以上のＸＹ平面内の位置を設定してもよい。
　ここで、数値制御装置１０のハードウェア構成について説明する。図７は、実施の形態にかかる数値制御装置のハードウェア構成例を示す図である。
　数値制御装置１０は、図７に示した制御回路３００、すなわちプロセッサ３０１、メモリ３０２により実現することができる。プロセッサ３０１の例は、ＣＰＵ（Central　Processing　Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰ（Digital　Signal　Processor）ともいう）またはシステムＬＳＩ（Large　Scale　Integration）である。メモリ３０２の例は、ＲＡＭ（Random　Access　Memory）、ＲＯＭ（Read　Only　Memory）である。
　数値制御装置１０は、プロセッサ３０１が、メモリ３０２で記憶されている、数値制御装置１０の動作を実行するためのプログラムを読み出して実行することにより実現される。また、このプログラムは、数値制御装置１０の手順または方法をコンピュータに実行させるものであるともいえる。メモリ３０２は、プロセッサ３０１が各種処理を実行する際の一時メモリにも使用される。
　なお、数値制御装置１０の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。また、機械学習装置２０を、図７に示した制御回路３００によって実現してもよい。
　本実施の形態では、ＦＢ電流５５および位置差分に基づいて、受け渡し位置が許容範囲内であるか否かを判定したが、ＦＢ電流５５を用いることなく位置差分に基づいて受け渡し位置が許容範囲内であるか否かを判定してもよい。
　また、本実施の形態では、Ｘ軸方向のＦＢ電流５５およびＸ軸方向の位置差分に基づいて、受け渡し位置への位置指令５３を学習したが、Ｘ軸方向のＦＢ電流５５を用いることなくＸ軸方向の位置差分に基づいて受け渡し位置への位置指令５３を学習してもよい。
　なお、主軸チャック３１が、電動式チャックである場合、主軸チャック３１側でもワーク４０の位置ずれを検出することができる。この場合、機械学習装置２０は、主軸チャック３１側で検出された位置ずれに基づいて、位置指令５３を学習してもよい。
　本実施の形態では、機械学習装置２０が、強化学習を利用して機械学習する場合について説明したが、機械学習装置２０は、他の公知の方法、例えばニューラルネットワーク、遺伝的プログラミング、機能論理プログラミング、サポートベクターマシンなどに従って機械学習を実行してもよい。
　また、本実施の形態では、学習部２１が学習した行動５８に基づいて、制御部１３がローダ３６を制御する場合について説明したが、制御部１３は、行動５８を用いることなくローダ３６を制御してもよい。この場合、制御部１３は、位置指令５３と、ＦＢ位置５４と、ＦＢ電流５５とに基づいて、ワーク４０の移動位置が許容範囲内であるか否かを判定し、位置ずれ量が許容範囲内でない場合には、位置指令５３で示される位置をずらした新たな位置指令５３を出力する。すなわち、制御部１３は、少しずつワーク４０の移動位置をずらして、ワーク４０の適切な移動位置を探索する。具体的には、制御部１３は、位置ずれを判定する処理と、位置ずれ量が許容範囲内でない場合に新たな位置指令５３を出力する処理と、を１回または複数回実行することによって、位置ずれ量を許容範囲内に収める。
　このように実施の形態によれば、状態変数５６に基づいて作成されるデータセットに従って、チャック間におけるワーク４０の受け渡し位置の位置ずれを抑制する位置指令５３を学習するので、ワーク４０の受け渡し動作が繰り返されることによって、ワーク４０の受け渡しに失敗する確率を減少させていくことができる。
　以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。
　１　工作システム、２　工作機械、３　制御システム、１０　数値制御装置、１１　制御加工プログラム記憶部、１２　解析部、１３　制御部、１４　記憶部、２０　機械学習装置、２１　学習部、２２　関数更新部、２３　報酬計算部、２５　状態観測部、３０　端部、３１，３１Ａ　主軸チャック、３２　ローダチャック、３５　回転部、３６　ローダ、３７　ドライブユニット、３８　サーボモータ、３９　エンコーダ、４０　ワーク、５２　受け渡し位置情報、５３　位置指令、５４　ＦＢ位置、５５　ＦＢ電流、５６　状態変数、５７　報酬、５８　行動、６１　ローディング指令。

Claims (11)

  1. 　ワークを掴んで送る第１のチャックと、前記ワークを掴んで受け取る第２のチャックとの間の前記ワークの受け渡しの際に、前記第１のチャックを移動させる駆動機構への位置指令を学習する機械学習装置であって、
    　前記駆動機構への前記位置指令と、前記駆動機構からのフィードバックデータと、を状態変数として観測する状態観測部と、
    　前記状態変数に基づいて作成されるデータセットに従って、前記第１のチャックと前記第２のチャックとの間における前記ワークの受け渡し位置の位置ずれを抑制する前記位置指令を学習する学習部と、
    　を備える、
    　ことを特徴とする機械学習装置。
  2. 　請求項１に記載の機械学習装置と、
    　前記学習部が学習した前記位置指令を前記駆動機構へ出力する制御部と、
    　を備えることを特徴とする数値制御装置。
  3. 　前記フィードバックデータは、前記ワークを搬送する搬送機構の位置を示すフィードバック位置を含み、
    　前記学習部は、
    　前記駆動機構への前記位置指令が示す位置と、前記フィードバック位置との差分に基づいて報酬を計算する報酬計算部と、
    　前記報酬に基づいて、前記位置指令を決定するための関数を更新する関数更新部と、
    　を備えることを特徴とする請求項２に記載の数値制御装置。
  4. 　前記フィードバックデータは、前記駆動機構が前記第１のチャックを移動させるために前記駆動機構から出力される電流を示すデータであるフィードバック電流を含み、
    　前記報酬計算部は、前記差分および前記フィードバック電流に基づいて前記報酬を計算する、
    　ことを特徴とする請求項３に記載の数値制御装置。
  5. 　前記報酬計算部は、前記差分が閾値以下で、かつ前記フィードバック電流が基準電流値以下である場合には前記報酬を増大させ、前記差分が前記閾値よりも大きいまたは前記フィードバック電流が前記基準電流値よりも大きい場合には前記報酬を低減させる、
    　ことを特徴とする請求項４に記載の数値制御装置。
  6. 　前記関数更新部は、前記報酬に従って、前記関数を示す行動価値テーブルを更新する、
    　ことを特徴とする請求項３から５の何れか１つに記載の数値制御装置。
  7. 　前記状態観測部は、前記差分が閾値よりも大きいまたは前記フィードバック電流が基準電流値よりも大きい場合に、前記受け渡しが失敗であると判定し、
    　前記学習部は、前記受け渡しが失敗であると判定されると前記位置指令を学習し、
    　前記制御部は、前記受け渡しが失敗であると判定されると前記学習部が学習した前記位置指令で前記受け渡しの再試行を行う、
    　ことを特徴とする請求項４に記載の数値制御装置。
  8. 　前記学習部は、前記駆動機構への前記位置指令のうち、前記第１のチャックと前記第２のチャックとの間での前記受け渡しの方向に垂直な第１の方向への位置指令を学習する、
    　ことを特徴とする請求項２から７の何れか１つに記載の数値制御装置。
  9. 　請求項２から請求項８のいずれか１つに記載の数値制御装置によって制御され、前記駆動機構によって駆動する、
    　ことを特徴とする工作機械。
  10. 　ワークを掴んで送る側の第１のチャックと、前記ワークを掴んで受け取る側の第２のチャックとの間の前記ワークの受け渡しの際に、前記第１のチャックを移動させる駆動機構への位置指令を学習する機械学習方法であって、
    　前記駆動機構への前記位置指令と、前記駆動機構からのフィードバックデータと、を状態変数として観測する状態観測ステップと、
    　前記状態変数に基づいて作成されるデータセットに従って、前記第１のチャックと前記第２のチャックとの間における前記ワークの受け渡し位置の位置ずれを抑制する前記位置指令を学習する学習ステップと、
    　を含む、
    　ことを特徴とする機械学習方法。
  11. 　ワークを掴んで送る第１のチャックと、前記ワークを掴んで受け取る第２のチャックとの間の前記ワークの受け渡しの際に、前記第１のチャックを移動させる駆動機構への位置指令を出力する数値制御装置であって、
    　前記駆動機構への前記位置指令と、前記駆動機構からのフィードバックデータと、に基づいて、前記第１のチャックと前記第２のチャックとの間における前記ワークの受け渡し位置の位置ずれを判定し、位置ずれ量が許容範囲内でない場合には、前記位置指令で示される位置をずらした新たな位置指令を出力する制御部を備え、
    　前記制御部は、前記位置ずれを判定する処理と、前記位置ずれ量が許容範囲内でない場合に前記新たな位置指令を出力する処理と、を１回または複数回実行することによって、前記位置ずれ量を許容範囲内に収める、
    　ことを特徴とする数値制御装置。
PCT/JP2018/025746 2018-07-06 2018-07-06 機械学習装置、数値制御装置、工作機械および機械学習方法 Ceased WO2020008633A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018562139A JP6505341B1 (ja) 2018-07-06 2018-07-06 機械学習装置、数値制御装置、工作機械および機械学習方法
CN201880095230.7A CN112368656B (zh) 2018-07-06 2018-07-06 机器学习装置、数控装置、工作机械及机器学习方法
PCT/JP2018/025746 WO2020008633A1 (ja) 2018-07-06 2018-07-06 機械学習装置、数値制御装置、工作機械および機械学習方法
DE112018007687.3T DE112018007687B4 (de) 2018-07-06 2018-07-06 Maschinelles-Lernen-Gerät, numerisches Steuerungsgerät, Maschinenwerkzeug und Maschinenlernverfahren

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/025746 WO2020008633A1 (ja) 2018-07-06 2018-07-06 機械学習装置、数値制御装置、工作機械および機械学習方法

Publications (1)

Publication Number Publication Date
WO2020008633A1 true WO2020008633A1 (ja) 2020-01-09

Family

ID=66324176

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/025746 Ceased WO2020008633A1 (ja) 2018-07-06 2018-07-06 機械学習装置、数値制御装置、工作機械および機械学習方法

Country Status (4)

Country Link
JP (1) JP6505341B1 (ja)
CN (1) CN112368656B (ja)
DE (1) DE112018007687B4 (ja)
WO (1) WO2020008633A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020149505A (ja) * 2019-03-14 2020-09-17 ファナック株式会社 把持力調整装置及び把持力調整システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020209134A1 (ja) * 2019-04-11 2020-10-15 シチズン時計株式会社 工作機械及び検知方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09258814A (ja) * 1996-03-22 1997-10-03 Kayaba Ind Co Ltd 組み立てロボットの位置決め制御装置及び位置決め制御方法
JP2002187040A (ja) * 2000-12-19 2002-07-02 Murata Mach Ltd ローダ制御装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4458321A (en) * 1981-08-19 1984-07-03 The Charles Stark Draper Laboratory, Inc. Self-teaching robot feedback system
US9092698B2 (en) * 2012-06-21 2015-07-28 Rethink Robotics, Inc. Vision-guided robots and methods of training them
DE102016009030B4 (de) * 2015-07-31 2019-05-09 Fanuc Corporation Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs
KR102023588B1 (ko) * 2016-03-03 2019-10-14 구글 엘엘씨 로봇 파지용 심층 기계 학습 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09258814A (ja) * 1996-03-22 1997-10-03 Kayaba Ind Co Ltd 組み立てロボットの位置決め制御装置及び位置決め制御方法
JP2002187040A (ja) * 2000-12-19 2002-07-02 Murata Mach Ltd ローダ制御装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020149505A (ja) * 2019-03-14 2020-09-17 ファナック株式会社 把持力調整装置及び把持力調整システム
US11691236B2 (en) 2019-03-14 2023-07-04 Fanuc Corporation Gripping force adjustment device and gripping force adjustment system

Also Published As

Publication number Publication date
CN112368656B (zh) 2021-08-20
DE112018007687T5 (de) 2021-02-25
DE112018007687B4 (de) 2025-05-22
CN112368656A (zh) 2021-02-12
JP6505341B1 (ja) 2019-04-24
JPWO2020008633A1 (ja) 2020-07-27

Similar Documents

Publication Publication Date Title
US11279033B2 (en) Method and apparatus for collision-free motion planning of a manipulator
JP6333795B2 (ja) 学習による教示作業の簡易化及び動作性能向上機能を備えたロボットシステム
CN100408277C (zh) 机器人的待机位置复位程序生成装置
JP4122652B2 (ja) ロボットの制御装置
CN108568814B (zh) 机器人以及机器人的控制方法
JP5382359B2 (ja) ロボットシステム
US20170160717A1 (en) Combined system having machine tool and robot
US20120239190A1 (en) Robot and Method For Operating A Robot
JP2014024162A (ja) ロボットシステム、ロボット制御装置、ロボット制御方法及びロボット制御プログラム
CN117157596A (zh) 数值控制装置及数值控制系统
JP2013041478A (ja) 学習制御機能を備えたロボット
JP6505341B1 (ja) 機械学習装置、数値制御装置、工作機械および機械学習方法
JP2020529931A (ja) ロボットを備えるハンドリング装置、方法及びコンピュータプログラム
WO2020194752A1 (ja) 数値制御装置および数値制御方法
US9827673B2 (en) Robot controller inhibiting shaking of tool tip in robot equipped with travel axis
US12240124B2 (en) Moving along a predetermined path with a robot
KR102671535B1 (ko) 매니퓰레이터 시스템의 오류들을 정정하기 위한 방법 및 컴퓨터 프로그램
CN116601573B (zh) 数值控制系统以及工业机械的控制方法
JP2002187040A (ja) ローダ制御装置
JP5324397B2 (ja) 情報処理方法及び装置並びにプログラム
CN118700164B (zh) 一种用于夹取机械臂的控制方法及系统
CN114571447A (zh) 机器人控制装置
JP2007066001A (ja) ロボットの制御装置
CN110892344B (zh) 机械学习装置、数控装置、工作机械及机械学习方法
CN115319735A (zh) 用于训练受控系统的控制装置的方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018562139

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18925177

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18925177

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 112018007687

Country of ref document: DE