WO2022224450A9 - 機械学習装置、加減速調整装置及びコンピュータ読み取り可能な記憶媒体 - Google Patents

機械学習装置、加減速調整装置及びコンピュータ読み取り可能な記憶媒体 Download PDF

Info

Publication number
WO2022224450A9
WO2022224450A9 PCT/JP2021/016479 JP2021016479W WO2022224450A9 WO 2022224450 A9 WO2022224450 A9 WO 2022224450A9 JP 2021016479 W JP2021016479 W JP 2021016479W WO 2022224450 A9 WO2022224450 A9 WO 2022224450A9
Authority
WO
WIPO (PCT)
Prior art keywords
machining
parameters
unit
machine tool
data
Prior art date
Application number
PCT/JP2021/016479
Other languages
English (en)
French (fr)
Other versions
WO2022224450A1 (ja
Inventor
俊祐 青木
誠彰 相澤
Original Assignee
ファナック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファナック株式会社 filed Critical ファナック株式会社
Priority to PCT/JP2021/016479 priority Critical patent/WO2022224450A1/ja
Priority to JP2023516011A priority patent/JPWO2022224450A1/ja
Priority to US18/551,192 priority patent/US20240176309A1/en
Priority to CN202180097101.3A priority patent/CN117203591A/zh
Priority to DE112021007088.6T priority patent/DE112021007088T5/de
Publication of WO2022224450A1 publication Critical patent/WO2022224450A1/ja
Publication of WO2022224450A9 publication Critical patent/WO2022224450A9/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32186—Teaching inspection data, pictures and criteria and apply them for inspection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32187—Correlation between controlling parameters for influence on quality parameters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32193—Ann, neural base quality management

Definitions

  • the present invention relates to a machine learning device, an acceleration/deceleration adjustment device, and a computer-readable storage medium.
  • the machining speed for machining the workpiece is commanded as the axis movement speed within the machining program.
  • the movement speed of the axis commanded in the machining program is the maximum speed of relative movement (tool movement) between the tool and the workpiece.
  • the machine tool fluctuates the movement speed of the axes according to the parameters related to the control of each axis at the start of machining, corners, curved parts, etc., within a range that does not exceed the commanded maximum speed.
  • target tolerances and machined surface quality are set in advance.
  • a target machining time is also determined in advance.
  • the operator of the machine tool adjusts parameters such as the acceleration/deceleration time constant and the movement speed commanded in the machining program while checking the machining error and machined surface quality of the product after machining.
  • Patent Document 1 As a conventional technology for adjusting the parameters related to the control of each axis in the machining of products, there is a patent for obtaining an optimum speed distribution that balances machining errors, machined surface quality, and machining time using machine learning technology. An application has been filed (for example, Patent Document 1, etc.).
  • an appropriate velocity distribution is set for a given machining purpose in a given machine tool. Therefore, there is also the problem that it is necessary to reconfigure the appropriate velocity distribution each time the machine tool for machining is changed or the purpose of machining is changed. Therefore, there is a demand for a technique that can adjust parameters in machining based on criteria other than velocity distribution.
  • the acceleration/deceleration adjustment device solves the above problems by directly specifying permissible machining errors such as shape errors and positional deviations, and machined surface quality to enable quantitative control.
  • machine learning that optimizes the combination of set values of parameters that control the amount of movement of each axis for each control cycle, including the N-order time differential element (N is a natural number) of the speed of each axis.
  • one aspect of the present disclosure is a machine learning device that estimates a parameter related to the control of the amount of movement for each control cycle, including the N-order time differential element (N is a natural number) of each axis of a machine tool that processes a workpiece.
  • a state observation unit that observes, as data indicating an operating state of the machine tool, information relating to at least one of machining accuracy and machined surface quality in the machining, and machining time required for the machining
  • a determination condition acquisition unit that acquires a target value related to data observed by a state observation unit as determination data; and the parameter based on the data observed by the state observation unit and the determination data acquired by the determination condition acquisition unit.
  • a reward calculation unit for calculating a reward for processing based on the value
  • a value function update unit for updating a value function for calculating the value of the processing state based on the parameter based on the reward
  • a value function updated based on the value function a decision making unit that estimates a combination of the parameter setting values more suitable for the processing, and outputs the estimated combination of the parameter setting values.
  • Another aspect of the present disclosure is an acceleration/deceleration adjustment device that adjusts parameters related to control of the amount of movement for each control cycle, including the N-order time differential element (N is a natural number) of each axis of a machine tool that processes a workpiece.
  • a state observation unit that observes, as data indicating an operating state of the machine tool, information relating to at least one of machining accuracy and machined surface quality in the machining, and machining time required for the machining;
  • a determination condition acquisition unit that acquires a target value related to data observed by the state observation unit as determination data; a value function storage unit that stores a value function for calculating the value of the processed state based on the parameter; and the value function.
  • a decision-making unit for estimating a combination of the parameter setting values more suitable for the processing based on the above, and outputting the estimated combination of the parameter setting values; and an action output unit that adjusts the parameters of the machine tool based on the combination.
  • Another aspect of the present disclosure is a machine learning device that estimates a parameter related to control of the amount of movement for each control cycle, including an N-order time differential element (N is a natural number) of each axis of a machine tool that processes a workpiece.
  • a computer-readable storage medium storing a program for operating a computer, wherein information relating to at least one of machining accuracy and machined surface quality in the machining and the machining time required for the machining are stored in the machine tool.
  • a state observation unit that observes data indicating an operating state
  • a determination condition acquisition unit that acquires a target value related to the data observed by the state observation unit as determination data, the data observed by the state observation unit, and the determination condition.
  • a reward calculation unit that calculates a reward for processing based on the parameters based on the determination data acquired by the acquisition unit, and updates a value function for calculating a value of the processing state based on the parameters based on the reward.
  • a value function updating unit, and a decision making unit that estimates a combination of setting values of the parameters that are more suitable for the processing based on the updated value function and outputs the estimated combination of setting values of the parameters, a computer comprising: is a computer-readable storage medium storing a program for operating the
  • a computer-readable storage medium storing a program for operating a computer as a computer, wherein information related to at least one of machining accuracy and machined surface quality in the machining and the machining time required for the machining are stored in the machine tool a state observation unit that observes as data indicating the operation state of the state observation unit, a determination condition acquisition unit that acquires a target value related to the data observed by the state observation unit as determination data, and a processing state value based on the parameters.
  • a decision-making unit that estimates a combination of setting values of the parameters that is more suitable for the processing based on the value function, and outputs the estimated combination of setting values of the parameters.
  • a computer-readable storage medium storing a program that causes a computer to operate as an action output unit that adjusts the parameters of the machine tool based on the combination of the set values of the parameters output by the decision making unit.
  • machining accuracy/machined surface quality target value shape error, positional deviation, etc.
  • FIG. 2 is a hardware configuration diagram of an acceleration/deceleration adjusting device
  • FIG. 3 is a block diagram showing functions of an acceleration/deceleration adjusting device
  • FIG. It is a figure explaining calculation of processing accuracy. It is a figure explaining calculation of machined surface quality.
  • 4 is a flowchart showing a schematic operation example of an acceleration/deceleration adjusting device; It is a figure explaining adjustment of a parameter.
  • FIG. 5 is a block diagram showing functions of an acceleration/deceleration adjusting device according to another embodiment;
  • FIG. 1 is a schematic hardware configuration diagram showing essential parts of an acceleration/deceleration adjusting device according to an embodiment of the present invention.
  • the acceleration/deceleration adjusting device 1 of the present invention can be implemented, for example, as a control device that controls a machine tool based on a machining program.
  • the acceleration/deceleration adjusting device 1 of the present invention may be a personal computer attached to a control device for controlling a machine tool based on a machining program, a personal computer connected to the control device via a wired/wireless network, a cell computer, It can be implemented on computers such as the fog computer 6 and the cloud server 7 .
  • This embodiment shows an example in which the acceleration/deceleration adjusting device 1 is mounted on a personal computer connected to a control device that controls a machine tool via a network.
  • the CPU 11 included in the acceleration/deceleration adjusting device 1 is a processor that controls the acceleration/deceleration adjusting device 1 as a whole.
  • the CPU 11 reads a system program stored in the ROM 12 via the bus 22 and controls the entire acceleration/deceleration adjusting device 1 according to the system program.
  • the RAM 13 temporarily stores calculation data, display data, various data input from the outside, and the like.
  • the non-volatile memory 14 is composed of, for example, a memory backed up by a battery (not shown) or an SSD (Solid State Drive), and retains the stored state even when the power of the acceleration/deceleration adjusting device 1 is turned off.
  • the nonvolatile memory 14 stores data read from the external device 72 via the interface 15, data input via the input device 71, and data obtained from the machine tool 3 (including data detected by the sensor 4). ) are stored.
  • the data stored in the nonvolatile memory 14 may be developed in the RAM 13 at the time of execution/use.
  • Various system programs such as a well-known analysis program are pre-written in the ROM 12 .
  • a sensor 4 is attached to the machine tool 3 to detect physical quantities such as current, voltage, and vibration of each part during operation of the machine tool 3 .
  • Examples of the machine tool 3 include a machining center and a lathe.
  • the machine tool 3 transmits data such as the position, speed, acceleration, jerk, vibration, and machining time of each axis during machining via the network 5.
  • the interface 15 is an interface for connecting the CPU 11 of the acceleration/deceleration adjusting device 1 and an external device 72 such as a USB device. From the external device 72 side, for example, a pre-stored machining program, data relating to the operation of each machine tool 3, and the like can be read. Also, the machining program and setting data edited in the acceleration/deceleration adjusting device 1 can be stored in the external storage means via the external device 72 .
  • the interface 20 is an interface for connecting the CPU of the acceleration/deceleration adjusting device 1 and the wired or wireless network 5 .
  • a machine tool 3 , a fog computer 6 , a cloud server 7 and the like are connected to the network 5 to exchange data with the acceleration/deceleration adjusting device 1 .
  • An input device 71 composed of a keyboard, a pointing device, and the like passes commands, data, etc. based on operations by the operator to the CPU 11 via the interface 18 .
  • the interface 21 is an interface for connecting the CPU 11 and the machine learning device 100 .
  • the machine learning device 100 includes a processor 101 that controls the entire machine learning device 100, a ROM 102 that stores system programs and the like, a RAM 103 for temporary storage in each process related to machine learning, and a storage of models and the like. It has a non-volatile memory 104 that is used.
  • the machine learning device 100 can observe each piece of information (for example, data detected during machining by the machine tool 3) that can be acquired by the acceleration/deceleration adjustment device 1 via the interface 21.
  • the acceleration/deceleration adjustment device 1 also acquires processing results output from the machine learning device 100 via the interface 21, stores and displays the acquired results, and communicates the network 5 and the like to other devices. Send via.
  • FIG. 2 is a schematic block diagram showing the functions of the acceleration/deceleration adjusting device 1 according to the first embodiment of the present invention.
  • Each function provided in the acceleration/deceleration adjusting device 1 according to the present embodiment is performed by the CPU 11 provided in the acceleration/deceleration adjusting device 1 shown in FIG. It is realized by controlling the operation of each part of the device 1 and the machine learning device 100 .
  • the acceleration/deceleration adjusting device 1 of this embodiment includes a state observing section 110 , a determination condition obtaining section 120 and an action output section 150 .
  • the machine learning device 100 of the acceleration/deceleration adjusting device 1 also includes a learning section 130 and a decision making section 140 .
  • a value function storage unit 138 that stores the value function as the result of machine learning by the learning unit 130 is prepared in advance.
  • the state observation unit 110 observes information related to at least one of machining accuracy and machined surface quality, and machining time as data indicating the operating state of the machine tool. Observing here means acquiring data from the environment and calculating predetermined data based on the acquired data. First, the state observation unit 110 acquires various data detected during operation of the machine tool 3 as data indicating the operating state of machining by the machine tool 3 . The state observation unit 110 acquires, for example, the position, velocity, acceleration, jerk, vibration, and machining time of each axis during machining by the machine tool 3 as data indicating the operation status of machining by the machine tool 3 .
  • the state observation unit 110 includes parameters (linear acceleration, linear acceleration, post-interpolation acceleration/deceleration time constant, corner speed difference, position loop gain, feedforward coefficient, etc.) and a machining program used for machining control are acquired as data indicating the operating state of machining by the machine tool 3 .
  • the data acquired by the state observation unit 110 may be instantaneous values acquired at a predetermined timing.
  • the data acquired by the state observation unit 110 may be time-series data acquired over a predetermined period of time.
  • the state observation unit 110 measures the machining accuracy of the machining based on the position data, velocity data, acceleration data, jerk data, vibration data, etc. of each axis included in the data indicating the operating state of machining by the machine tool 3. and data related to machined surface quality. Examples of data related to the calculated machining accuracy and machined surface quality include shape errors, positional deviations, vibration errors, and the like.
  • FIG. 3 shows the machining program path instructed by the machining program executed in the machine tool 3 and the movement path calculated based on the position of the motor.
  • the horizontal axis indicates the X coordinate position
  • the vertical axis indicates the Y coordinate position.
  • the solid line arrow indicates the machining program path commanded by the machining program
  • the dotted line arrow indicates the movement path calculated based on the position of the motor.
  • each axis is moved along the machining program path commanded by the machining program based on the parameters related to the control of the amount of movement for each control cycle, including the N-order time differential element (N is a natural number) of each axis.
  • N is a natural number
  • a movement command to be output to the motor of the axis is calculated.
  • a movement command with priority given to machining speed, efficiency, etc. is calculated within the range of the set parameters. Therefore, when the motor is moved based on the calculated movement path, the movement path calculated based on the position of the motor (the relative movement path between the tool driven by the motor and the workpiece) follows the machining program path. do not become.
  • the state observation unit 110 calculates a shape error indicating machining accuracy and a position deviation indicating machined surface quality based on the difference between this machining program path and the movement path calculated based on the position of the motor.
  • shape error for example, the maximum value Emax of the shape error may be used.
  • positional deviation an average value Emean, a variance value Edist, or the like may be used.
  • FIG. 4 shows the machining program path instructed by the machining program executed in the machine tool 3 and the movement path (with/without vibration) calculated based on the position of the motor. Looking more closely at the path calculated based on the motor position, the motor position data oscillates. Since this vibration appears as scratches and streaks during machining, it affects the quality of the machined surface.
  • the state observation unit 110 calculates a vibration error indicating the machined surface quality based on the difference between the movement command output to the motor and the position acquired from the motor.
  • the vibration error for example, the maximum value Amax of the amplitude may be used, or the average value Amean of the amplitude may be used.
  • the vibration error may be calculated using vibration data from the vibration measuring device in addition to the position data of the motor. Vibration data from the vibration measuring device can provide vibration closer to the machining point (contact position between the tool and the workpiece).
  • the state observation unit 110 may acquire data directly from the machine tool 3 via the network 5.
  • the state observation unit 110 may acquire data acquired and stored by the external device 72, the fog computer 6, the cloud server 7, or the like.
  • the data acquired or calculated by the state observation unit 110 is input to the learning unit 130 and the decision making unit 140 .
  • the determination condition acquisition unit 120 acquires determination data related to the purpose of processing in processing by the machine tool 3 .
  • Judgment data related to the purpose of machining for example, machining accuracy such as a predetermined allowable machining accuracy (allowable shape error), allowable machining surface quality (allowable position deviation), allowable machining surface quality (allowable vibration error), etc. Acceptable values related to machined surface quality can be mentioned.
  • the determination data related to the purpose of processing includes, for example, target processing time.
  • the determination condition acquisition unit 120 may acquire tolerance values related to machining accuracy and machined surface quality set in the machine tool 3 via the network 5 .
  • the determination condition acquisition unit 120 may acquire data stored by the external device 72, the fog computer 6, the cloud server 7, or the like.
  • the determination condition acquisition unit 120 may prompt the operator to input tolerance values related to machining accuracy and machined surface quality, and target machining time from the input device 71 .
  • the data acquired by the determination condition acquisition unit 120 is input to the learning unit 130 and the decision making unit 140 .
  • the learning unit 130 executes processing related to machine learning based on the data indicating the operation state of machining by the machine tool 3 acquired by the state observation unit 110 and the determination data related to the purpose of machining acquired by the determination condition acquisition unit 120. .
  • the learning unit 130 includes a reward calculator 132 and a value function updater 134 . Based on the reward calculated by the reward calculation unit 132, the learning unit 130 updates the value function by the value function update unit 134, so that every control cycle including the N-order time differential element (N is a natural number) of each axis and the correlation between the value of the combination and the value of the combination of parameters related to the control of the amount of movement of .
  • the remuneration calculation unit 132 calculates a remuneration for the current operating state of the machine tool 3 based on data indicating the operating state of machining by the machine tool 3 and determination data related to the purpose of machining.
  • the remuneration calculation unit 132 compares the values indicating the machining accuracy and the machined surface quality calculated by the state observation unit 110 with the determination data related to the purpose of machining, and calculates a predetermined remuneration calculation formula set in advance based on the comparison result. Calculate the reward by
  • the determination data related to the purpose of machining includes allowable values related to machining accuracy and machined surface quality.
  • the remuneration calculation unit 132 calculates a high remuneration when the calculated values indicating the machining accuracy and the machined surface quality are within the allowable values. Further, the remuneration calculation unit 132 calculates a low remuneration when the calculated value indicating the machining accuracy or the machined surface quality exceeds the allowable value. The remuneration calculation unit 132 may calculate a higher remuneration according to the degree of being within the allowable value. Further, the remuneration calculation unit 132 may calculate a lower remuneration according to the degree of exceeding the allowable value. The reward calculator 132 may calculate a negative reward.
  • the reward calculation unit 132 compares the value indicating the machining time required for machining in the machine tool 3 with the target machining time included in the determination data related to the machining purpose, and based on the comparison result, a preset Additional remuneration is calculated according to a predetermined remuneration calculation formula.
  • the remuneration calculation unit 132 calculates a high remuneration when the processing time required for processing is within the target processing time. Further, the remuneration calculation unit 132 calculates a low remuneration when the processing time required for processing exceeds the target processing time.
  • the remuneration calculation unit 132 may calculate a higher remuneration according to the extent to which the processing time required for processing is within the processing time. Further, the remuneration calculation unit 132 may calculate a lower remuneration according to the degree of exceeding the processing time required for processing. The reward calculator 132 may calculate a negative reward. The remuneration calculation unit 132 adds the additional remuneration calculated in this way to the remuneration calculated based on the machining accuracy and the quality of the machined surface.
  • the reward calculator 132 may store the machining time when the machining accuracy and the machined surface quality are within the allowable values. At this time, among the stored machining times, the shortest machining time is used as determination data relating to the machining purpose. Then, only when the machining accuracy and the machined surface quality are within the allowable range, the remuneration calculation unit 132 calculates the remuneration based on the machining time at that time and the above-described shortest machining time stored as a reference for remuneration calculation. calculate. By doing so, it becomes possible to search for the parameter that minimizes the machining time within the range of target machining accuracy and machined surface quality.
  • the value function update unit 134 updates the value function stored in the value function storage unit 138 based on the reward calculated by the reward calculation unit 132.
  • the value function used in the present invention is a combination of parameters related to the control of the amount of movement for each control cycle, including the N-order time differential element (N is a natural number) of each axis set during machining by the machine tool 3. It is a state value function that calculates the value of being in that state.
  • the state-value function V takes, for example, each state (a combination of parameters related to the control of the amount of movement for each control cycle, including the N-order time differential element (N is a natural number) of each axis) and performs machining.
  • the state value function may be defined as a function that returns the reward calculated by the reward calculation unit 132 as a value when It should be noted that the state value function is preferably set to output high values for all possible states at the stage when learning is started.
  • the state value function uses, as input data, a combination of parameters related to the control of the amount of movement for each control cycle, including the N-order time differential element (N is a natural number) of each axis set during machining by the machine tool 3, and the parameters It may be constructed as a multi-layer neural network, etc., in which the value of the state of combination is used as output data.
  • the decision-making unit 140 determines parameters related to the control of the amount of movement for each control cycle, including the N-order time differential element (N is a natural number) of each axis, based on the value function created by the machine learning performed by the learning unit 130. output a combination of The decision-making unit 140 uses the value function to obtain a parameter combination having a higher value than the parameter combination set in the current machining. The decision making unit 140 compares, for example, the value calculated from the currently set parameter combination with the value calculated from the parameter combination when each parameter is changed by a predetermined amount.
  • a combination of currently set parameters a combination of parameters that change linear acceleration by + ⁇ A, a combination of parameters that change linear acceleration by - ⁇ A, and a parameter that changes acceleration/deceleration time constant after interpolation by + ⁇ .
  • Values are calculated using the value function for each of the combination, the parameter combination obtained by changing the post-interpolation acceleration/deceleration time constant by - ⁇ , and the parameter combination with the higher value is obtained. Then, the obtained parameter combination is output as a parameter combination more suitable for the current machining.
  • the decision making unit 140 may output the current parameter combination as a higher value parameter combination. good.
  • the decision making section 140 may randomly output a combination of parameters other than the one currently set. In the initial stage of learning by the learning unit 130, the decision making unit 140 preferably outputs a random combination of parameters with a certain probability regardless of the value calculated by the value function ( ⁇ -greedy method). By doing so, it is possible to efficiently search for a more appropriate combination of parameters.
  • the action output unit 150 determines whether to continue parameter adjustment based on the combination of parameters output by the decision making unit 140 . Then, when it is determined to continue adjusting the parameters, the machine tool 3 is set to the combination of parameters output by the decision making section 140, and is instructed to perform the machining operation again. For example, when the combination of parameters output by the decision making unit 140 is different from the combination of parameters currently set in the machine tool 3, the action output unit 150 may determine to continue parameter adjustment. In addition, the action output unit 150 records the number of times the parameter of the machine tool 3 has been changed since the start of parameter adjustment, and if the number of times the parameter has been changed is within a predetermined number of times, the parameter It may be determined to continue the adjustment of .
  • the action output unit 150 may directly set a combination of parameters for the machine tool 3 via the network 5.
  • the action output unit 150 may also transmit a combination of parameters to the fog computer 6 or the cloud server 7 via the network 5 to indirectly prompt the machine tool 3 to set the parameters.
  • the action output unit 150 may display the combination of parameters on the display device 70 and prompt the operator to set the parameters in the machine tool 3 .
  • FIG. 5 is a flow chart illustrating a process for finding a combination of parameters using the acceleration/deceleration adjusting device 1 having the above configuration.
  • the acceleration/deceleration adjusting device 1 When an operator or the like instructs adjustment of parameters related to control of the amount of movement for each control cycle, including the N-th order time differential element (N is a natural number) of each axis, the acceleration/deceleration adjusting device 1 is first preliminarily A combination of set parameters (for example, linear acceleration of 4000 mm/sec 2 , corner speed difference of 800 mm/min, post-interpolation acceleration/deceleration time constant of 32 msec, etc.) is set for the machine tool 3 . Then, the machine tool 3 is instructed to run idle according to a predetermined machining program (step SA01).
  • a predetermined machining program step SA01
  • the state observation unit 110 collects data indicating the operating state of the machine tool 3 (time-series data of the motor speed, time-series data of the motor speed, etc.). , machining time, etc.) are acquired (step SA02). Then, based on the acquired data indicating the operating state of the machine tool 3, data related to machining accuracy and machined surface quality (for example, machining accuracy (shape error): 80 ⁇ m, machined surface quality (positional deviation): 8 ⁇ m, machining surface quality (vibration error): 0.09 ⁇ m, etc.) is calculated (step SA02).
  • machining accuracy shape error
  • machined surface quality positional deviation
  • machining surface quality machining surface quality (vibration error): 0.09 ⁇ m, etc.
  • the determination condition acquisition unit 120 obtains determination data related to the purpose of machining in the machining by the machine tool 3 (machining accuracy (allowable shape error): 100 ⁇ m, machining surface quality (allowable position deviation): 10 ⁇ m, machining surface quality (allowable vibration error): 0.1 ⁇ m, allowable processing time 12.0 sec, etc.) is acquired (step SA03).
  • Reward calculation unit 132 based on the data related to the machining accuracy and machined surface quality input from the state observation unit 110, and the determination data related to the processing purpose input from the determination condition acquisition unit 120, the combination of the current parameters (step SA04).
  • the value function updating unit 134 updates the value function stored in the value function storage unit 138 (step SA05).
  • the decision-making unit 140 Based on the updated value function, the decision-making unit 140 obtains a combination of parameters considered to be more appropriate for the current machining, and outputs the obtained parameter combination.
  • the action output unit 150 having received this input determines whether or not to continue parameter adjustment. Then, a command is issued to perform idling again according to the machining program with the set parameters (step SA06).
  • the acceleration/deceleration adjusting device 1 having the above configuration sets the target value (shape error, positional deviation, etc.) of the actual machining accuracy/machined surface quality, thereby setting parameters more suitable for the machining accuracy/machined surface quality. Quantitative control becomes possible. By quantitatively controlling the combination of parameter setting values, it is possible to maintain a combination of parameter setting values suitable for a given machining purpose, and switch between them as appropriate according to the machining purpose. Furthermore, the optimization of the combination of parameter setting values by the acceleration/deceleration adjusting device 1 according to the present embodiment can be performed while observing the environment (control device, machine tool) from the outside. Therefore, there is no need to install new software on the environment side, and it can be used in a wide range of environments.
  • the present invention is not limited to the above-described examples of the embodiments, and can be implemented in various modes by adding appropriate modifications.
  • the evaluation of machining accuracy and machined surface quality is performed based on a predetermined remuneration calculation formula set in advance. good too.
  • the range of each parameter output by the decision making unit 140 may be set in advance. By configuring in this way, it is possible to limit the search range of parameters.
  • the decision-making unit 140 determines the combination of parameters to be output based on the value output by the value function. You may make it output the combination of the parameter created by this.
  • FIG. 6 is a table showing parameter adjustment directions for solving the problems to be solved ascertained from the machining results, and their priorities. In this way, by storing the relationship between the problem to be solved and the parameter adjustment method as a rule, the decision-making unit 140 can refer to the rule and determine the parameter to be adjusted. .
  • a weight can be set for the remuneration related to the machining accuracy and the machined surface quality calculated by the remuneration calculation unit 132 and the additional remuneration related to the machining time.
  • FIG. 7 shows a configuration example when the learning unit 130 is removed.
  • the value function is not updated, but by giving the initial parameters to the acceleration/deceleration adjusting device 1, the decision making unit 140 searches for more appropriate parameters, Adjustments of machine 3 parameters can be made.

Landscapes

  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Manufacturing & Machinery (AREA)
  • General Engineering & Computer Science (AREA)
  • Numerical Control (AREA)

Abstract

ワークの加工を行う工作機械が備える各軸のＮ階時間微分要素（Ｎは自然数）を含む制御周期毎の移動量の制御に係るパラメータを推定する機械学習装置であって、工作機械の動作状態を示すデータとして観測する状態観測部と、状態観測部が観測したデータに係る目標値を判定データとして取得する判定条件取得部と、状態データと、判定データとに基づいてパラメータに基づく加工に対する報酬を算出する報酬計算部と、報酬に基づいて価値関数を更新する価値関数部と、価値関数に基づいて加工により適しているパラメータの設定値の組合せを推定して出力する意思決定部と、を備える。

Description

機械学習装置、加減速調整装置及びコンピュータ読み取り可能な記憶媒体
　本発明は、機械学習装置、加減速調整装置及びコンピュータ読み取り可能な記憶媒体に関する。
　加工プログラムに基づいて工作機械を制御してワークを加工し、部品や金型などの製品を製造することが行われている。ワークを加工する際の加工速度は、加工プログラム内で軸の移動速度として指令される。加工プログラム内で指令される軸の移動速度は、工具とワークとの相対移動（工具移動）の最大速度である。工作機械は、指令された最大速度を超えない範囲で、加工開始時やコーナ部、曲線部分などにおいて、各軸の制御に係るパラメータに従って軸の移動速度を変動させる。
　製品の製造においては、あらかじめ目標とする許容誤差や加工面品位が設定される。また、目標とする加工時間もあらかじめ定められている。工作機械のオペレータは、加工後の製品の加工誤差や加工面品位などを確認しながら、加減速時定数などのパラメータを調整したり、加工プログラム内で指令される移動速度を調整したりする。
　製品の加工において各軸の制御に係るパラメータを調整するための従来技術として、機械学習の技術により加工誤差や加工面品位と加工時間のバランスの取れた最適な速度分布を得るといった内容の特許が出願されている（例えば、特許文献１など）。
特開２０１７－０６８３２５号公報
　速度分布に係るデータをパラメータ調整の判定基準として用いる場合、その基準とする加速度、加加速度などの閾値を指定する必要がある。しかしながら、閾値をどう設定すれば、どの程度の加工誤差、加工面品位となるのかが把握できていないと、目標としている許容誤差や加工面品位を定量的に制御することは難しい。
　また、適切な速度分布は所定の工作機械における所定の加工目的に合わせて設定されるものである。そのため、加工を行う工作機械が変わるたびに、また、加工目的が変わるたびに、適切な速度分布の再設定が必要になるという課題もある。
　そのため、速度分布以外の基準に基づいて加工におけるパラメータの調整を行える技術が望まれている。
　本開示による加減速調整装置では、許容できる形状誤差・位置偏差等の加工誤差や加工面品位を直接指定して定量的に制御できるようにすることで、上記課題を解決する。本開示による加減速調整装置では、各軸の速度のＮ階時間微分要素（Ｎは自然数）を含む制御周期毎の各軸の移動量を制御するパラメータの設定値の組合せを最適化する機械学習を導入する。
[規則91に基づく訂正 02.06.2023]
　そして、本開示の一態様は、ワークの加工を行う工作機械が備える各軸のＮ階時間微分要素（Ｎは自然数）を含む制御周期毎の移動量の制御に係るパラメータを推定する機械学習装置であって、前記加工における加工精度及び加工面品位の少なくともいずれかに係る情報と、前記加工に掛かった加工時間とを、前記工作機械の動作状態を示すデータとして観測する状態観測部と、前記状態観測部が観測したデータに係る目標値を判定データとして取得する判定条件取得部と、前記状態観測部が観測したデータと、前記判定条件取得部が取得した前記判定データとに基づいて前記パラメータに基づく加工に対する報酬を算出する報酬計算部と、前記報酬に基づいて前記パラメータに基づく加工状態の価値を算出するための価値関数を更新する価値関数更新部と、更新された前記価値関数に基づいて前記加工により適している前記パラメータの設定値の組合せを推定し、推定した前記パラメータの設定値の組み合わせを出力する意思決定部と、を備える機械学習装置である。
　本開示の他の態様は、ワークの加工を行う工作機械が備える各軸のＮ階時間微分要素（Ｎは自然数）を含む制御周期毎の移動量の制御に係るパラメータを調整する加減速調整装置であって、前記加工における加工精度及び加工面品位の少なくともいずれかに係る情報と、前記加工に掛かった加工時間とを、前記工作機械の動作状態を示すデータとして観測する状態観測部と、前記状態観測部が観測したデータに係る目標値を判定データとして取得する判定条件取得部と、前記パラメータに基づく加工状態の価値を算出するための価値関数を記憶する価値関数記憶部と、前記価値関数に基づいて前記加工により適している前記パラメータの設定値の組合せを推定し、推定した前記パラメータの設定値の組み合わせを出力する意思決定部と、前記意思決定部が出力した前記パラメータの設定値の組み合わせに基づいて、前記工作機械の前記パラメータを調整する行動出力部と、を備える加減速調整装置である。
[規則91に基づく訂正 02.06.2023]
　本開示の他の態様は、ワークの加工を行う工作機械が備える各軸のＮ階時間微分要素（Ｎは自然数）を含む制御周期毎の移動量の制御に係るパラメータを推定する機械学習装置としてコンピュータを動作させるプログラムを記憶したコンピュータ読み取り可能な記憶媒体であって、前記加工における加工精度及び加工面品位の少なくともいずれかに係る情報と、前記加工に掛かった加工時間とを、前記工作機械の動作状態を示すデータとして観測する状態観測部と、前記状態観測部が観測したデータに係る目標値を判定データとして取得する判定条件取得部と、前記状態観測部が観測したデータと、前記判定条件取得部が取得した前記判定データとに基づいて前記パラメータに基づく加工に対する報酬を算出する報酬計算部と、前記報酬に基づいて前記パラメータに基づく加工状態の価値を算出するための価値関数を更新する価値関数更新部と、更新された前記価値関数に基づいて前記加工により適している前記パラメータの設定値の組合せを推定し、推定した前記パラメータの設定値の組み合わせを出力する意思決定部として、コンピュータを動作させるプログラムを記憶したコンピュータ読み取り可能な記憶媒体である。
　本開示の他の態様は、ワークの加工を行う工作機械が備える各軸のＮ階時間微分要素（Ｎは自然数）を含む制御周期毎の移動量の制御に係るパラメータを調整する加減速調整装置としてコンピュータを動作させるプログラムを記憶したコンピュータ読み取り可能な記憶媒体であって、前記加工における加工精度及び加工面品位の少なくともいずれかに係る情報と、前記加工に掛かった加工時間とを、前記工作機械の動作状態を示すデータとして観測する状態観測部と、前記状態観測部が観測したデータに係る目標値を判定データとして取得する判定条件取得部と、前記パラメータに基づく加工状態の価値を算出するための価値関数を記憶する価値関数記憶部と、前記価値関数に基づいて前記加工により適している前記パラメータの設定値の組合せを推定し、推定した前記パラメータの設定値の組み合わせを出力する意思決定部と、前記意思決定部が出力した前記パラメータの設定値の組み合わせに基づいて、前記工作機械の前記パラメータを調整する行動出力部としてコンピュータを動作させるプログラムを記憶したコンピュータ読み取り可能な記憶媒体である。
　本開示の一態様により、実際の加工精度・加工面品位の目標の値（形状誤差・位置偏差など）を設定することでより適したパラメータへと調整可能となるため、当該加工精度・加工面品位の定量的な制御が可能となる。
加減速調整装置のハードウェア構成図である。 加減速調整装置の機能を示すブロック図である。 加工精度の算出について説明する図である。 加工面品位の算出について説明する図である。 加減速調整装置の概略的な動作例を示すフローチャートである。 パラメータの調整について説明する図である。 他の実施形態による加減速調整装置の機能を示すブロック図である。
[規則91に基づく訂正 02.06.2023]　以下、本発明の実施形態を図面と共に説明する。
　図１は本発明の一実施形態による加減速調整装置の要部を示す概略的なハードウェア構成図である。本発明の加減速調整装置１は、例えば加工プログラムに基づいて工作機械を制御する制御装置として実装することができる。また、本発明の加減速調整装置１は、加工プログラムに基づいて工作機械を制御する制御装置に併設されたパソコンや、有線／無線のネットワークを介して制御装置と接続されたパソコン、セルコンピュータ、フォグコンピュータ６、クラウドサーバ７などのコンピュータ上に実装することができる。本実施形態では、加減速調整装置１を、ネットワークを介して工作機械を制御する制御装置と接続されたパソコンの上に実装した例を示す。
　本実施形態による加減速調整装置１が備えるＣＰＵ１１は、加減速調整装置１を全体的に制御するプロセッサである。ＣＰＵ１１は、バス２２を介してＲＯＭ１２に格納されたシステム・プログラムを読み出し、該システム・プログラムに従って加減速調整装置１全体を制御する。ＲＡＭ１３には一時的な計算データや表示データ、及び外部から入力された各種データなどが一時的に格納される。
　不揮発性メモリ１４は、例えば図示しないバッテリでバックアップされたメモリやＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）などで構成され、加減速調整装置１の電源がオフされても記憶状態が保持される。不揮発性メモリ１４には、インタフェース１５を介して外部機器７２から読み込まれたデータ、入力装置７１を介して入力されたデータ、工作機械３から取得されたデータ（センサ４により検出されたデータを含む）などが記憶される。不揮発性メモリ１４に記憶されたデータは、実行時／利用時にはＲＡＭ１３に展開されても良い。また、ＲＯＭ１２には、公知の解析プログラムなどの各種システム・プログラムがあらかじめ書き込まれている。
　工作機械３には、工作機械３の動作時において各部の電流、電圧、振動などの物理量を検出するセンサ４が取り付けられている。工作機械３としては、マシニングセンタや旋盤などが例示される。工作機械３は加減速調整装置１からの要求に応じて、加工時の各軸の位置、速度、加速度、加加速度、振動、加工時間などのデータを、ネットワーク５を介し送信する。
　インタフェース１５は、加減速調整装置１のＣＰＵ１１とＵＳＢ装置などの外部機器７２と接続するためのインタフェースである。外部機器７２側からは、例えば予め記憶されている加工プログラムや各工作機械３の動作に係るデータなどを読み込むことができる。また、加減速調整装置１内で編集した加工プログラムや設定データなどは、外部機器７２を介して外部記憶手段に記憶させることができる。
　インタフェース２０は、加減速調整装置１のＣＰＵと有線乃至無線のネットワーク５とを接続するためのインタフェースである。ネットワーク５には、工作機械３やフォグコンピュータ６、クラウドサーバ７などが接続され、加減速調整装置１との間で相互にデータのやり取りを行っている。
　表示装置７０には、メモリ上に読み込まれた各データ、プログラムなどが実行された結果として得られたデータ、後述する機械学習装置１００から出力されたデータなどがインタフェース１７を介して出力されて表示される。また、キーボードやポインティングデバイスなどから構成される入力装置７１は、作業者による操作に基づく指令，データなどをインタフェース１８を介してＣＰＵ１１に渡す。
　インタフェース２１は、ＣＰＵ１１と機械学習装置１００とを接続するためのインタフェースである。機械学習装置１００は、機械学習装置１００全体を統御するプロセッサ１０１と、システム・プログラムなどを記憶したＲＯＭ１０２、機械学習に係る各処理における一時的な記憶を行うためのＲＡＭ１０３、及びモデルなどの記憶に用いられる不揮発性メモリ１０４を備える。機械学習装置１００は、インタフェース２１を介して加減速調整装置１で取得可能な各情報（例えば、工作機械３の加工時に検出されたデータ）を観測することができる。また、加減速調整装置１は、インタフェース２１を介して機械学習装置１００から出力される処理結果を取得し、取得した結果を記憶したり、表示したり、他の装置に対してネットワーク５などを介して送信する。
　図２は、本発明の第１実施形態による加減速調整装置１が備える機能を概略的なブロック図として示したものである。本実施形態による加減速調整装置１が備える各機能は、図１に示した加減速調整装置１が備えるＣＰＵ１１と、機械学習装置１００が備えるプロセッサ１０１とがシステム・プログラムを実行し、加減速調整装置１及び機械学習装置１００の各部の動作を制御することにより実現される。
[規則91に基づく訂正 02.06.2023]
　本実施形態の加減速調整装置１は、状態観測部１１０、判定条件取得部１２０、行動出力部１５０を備える。また、加減速調整装置１の機械学習装置１００は、学習部１３０、意思決定部１４０を備える。更に、機械学習装置１００のＲＡＭ１０３乃至不揮発性メモリ１０４上には、学習部１３０による機械学習の結果としての価値関数を記憶する価値関数記憶部１３８が予め用意されている。
　状態観測部１１０は、加工精度及び加工面品位の少なくともいずれかに係る情報と、加工時間とを前記工作機械の動作状態を示すデータとして観測する。ここでいう観測するとは、環境からデータを取得すること、及び、取得したデータに基づいて所定のデータを算出することを意味する。まず、状態観測部１１０は、工作機械３の動作時に検出された各種データを、工作機械３による加工の動作状態を示すデータとして取得する。状態観測部１１０は、例えば工作機械３における加工時の各軸の位置、速度、加速度、加加速度、振動、加工時間などを、工作機械３による加工の動作状態を示すデータとして取得する。また、状態観測部１１０は、工作機械３の加工時に設定されている各軸のＮ階時間微分要素（Ｎは自然数）を含む制御周期毎の移動量の制御に係るパラメータ（直線の加速度、直線の加加速度、補間後加減速時定数、コーナ速度差、位置ループゲイン、フィードフォワード係数など）や、加工の制御に用いた加工プログラムを工作機械３による加工の動作状態を示すデータとして取得する。状態観測部１１０が取得するデータは、所定のタイミングに取得された瞬間値であってよい。また、状態観測部１１０が取得するデータは、所定時間にわたって取得された時系列データなどであってよい。
　更に、状態観測部１１０は、工作機械３による加工の動作状態を示すデータに含まれる各軸の位置データ、速度データ、加速度データ、加加速度データ、振動データなどに基づいて、当該加工における加工精度や加工面品位に係るデータを算出する。算出される加工精度や加工面品位に係るデータの例としては、形状誤差や位置偏差、振動誤差などが例示される。
　図３を用いて、状態観測部１１０による加工精度（形状誤差）や加工面品位（位置偏差）の算出例を説明する。図３は、工作機械３において実行されている加工プログラムにより指令される加工プログラム経路と、モータの位置に基づいて算出される移動経路を示している。図３において、横軸はＸ座標位置を示し、縦軸はＹ座標位置を示す。また、実線矢印は加工プログラムにより指令される加工プログラム経路を示し、点線矢印はモータの位置に基づいて算出される移動経路を示している。工作機械３による加工では、各軸のＮ階時間微分要素（Ｎは自然数）を含む制御周期毎の移動量の制御に係るパラメータに基づいて、加工プログラムにより指令された加工プログラム経路に沿って各軸のモータに対して出力する移動指令が算出される。この算出では、設定されたパラメータの範囲で加工速度や効率など優先した移動指令が算出される。そのため、算出された移動経路に基づいてモータを動かした場合、モータの位置に基づいて算出される移動経路（モータにより駆動される工具とワークとの相対的な移動経路）は加工プログラム経路の通りにならない。状態観測部１１０は、この加工プログラム経路と、モータの位置に基づいて算出される移動経路との差に基づいて、加工精度を示す形状誤差や加工面品位を表す位置偏差を算出する。形状誤差は、例えば形状誤差の最大値Ｅｍａｘを用いてもよい。また、位置偏差については、平均値Ｅｍｅａｎや分散値Ｅｄｉｓｔなどを用いてもよい。
　図４を用いて、状態観測部１１０による加工面品位（振動誤差）の算出例を説明する。図４は、工作機械３において実行されている加工プログラムにより指令される加工プログラム経路と、モータの位置に基づいて算出される移動経路（振動あり／なし）を示している。モータの位置に基づいて算出される経路をより細かくみると、モータの位置データは振動している。この振動は加工した際の傷や筋目となって現れるため、加工面品位に影響する。状態観測部１１０は、モータに対して出力する移動指令と、モータから取得される位置との差に基づいて、加工面品位を示す振動誤差として計算する。振動誤差は、例えば振幅の最大値Ａｍａｘを用いてもよいし、振幅の平均値Ａｍｅａｎなどを用いてもよい。
　なお、センサ４として振動計測機器が用意できる場合には、振動誤差については、モータの位置データに加えて振動計測機器からの振動データを用いて算出してもよい。振動計測機器からの振動データでは、より加工点（工具とワークとの接触位置）に近い振動を得ることができる。
　状態観測部１１０は、ネットワーク５を介して工作機械３から直接データを取得してもよい。状態観測部１１０は、外部機器７２や、フォグコンピュータ６、クラウドサーバ７などが取得して記憶しているデータを取得してもよい。状態観測部１１０が取得乃至算出したデータは学習部１３０、意思決定部１４０へと入力される。
　判定条件取得部１２０は、工作機械３での加工における加工目的に係る判定データを取得する。加工目的に係る判定データは、例えば所定の許容される加工精度（許容形状誤差）、許容される加工面品位（許容位置偏差）、許容できる加工面品位（許容振動誤差）などの、加工精度や加工面品位に係る許容値が挙げられる。また、加工目的に係る判定データは、例えば目標とする加工時間が挙げられる。判定条件取得部１２０は、ネットワーク５を介して工作機械３に設定されている加工精度や加工面品位に係る許容値を取得してもよい。判定条件取得部１２０は、外部機器７２や、フォグコンピュータ６、クラウドサーバ７などが記憶しているデータを取得してもよい。判定条件取得部１２０は、オペレータに対して入力装置７１から加工精度や加工面品位に係る許容値、目標とする加工時間を入力するように促しても良い。判定条件取得部１２０が取得したデータは学習部１３０、意思決定部１４０へと入力される。
　学習部１３０は、状態観測部１１０が取得した工作機械３による加工の動作状態を示すデータ、及び判定条件取得部１２０が取得した加工目的に係る判定データに基づいて機械学習に係る処理を実行する。学習部１３０は、報酬計算部１３２及び価値関数更新部１３４を備える。学習部１３０は、報酬計算部１３２により計算された報酬に基づいて、価値関数更新部１３４により価値関数を更新することで、各軸のＮ階時間微分要素（Ｎは自然数）を含む制御周期毎の移動量の制御に係るパラメータの組み合わせと、当該組合せの価値との相関性を学習する。
　報酬計算部１３２は、工作機械３による加工の動作状態を示すデータと加工目的に係る判定データとに基づいて、現在の工作機械３の動作状態に対する報酬を算出する。報酬計算部１３２は、状態観測部１１０が算出した加工精度や加工面品位を示す値と、加工目的に係る判定データとを比較し、その比較結果に基づいて予め設定された所定の報酬算出式により報酬を算出する。加工目的に係る判定データには、加工精度や加工面品位に係る許容値が含まれる。報酬計算部１３２は、算出した加工精度や加工面品位を示す値がこの許容値内に収まる場合に高い報酬を算出する。また、報酬計算部１３２は、算出した加工精度や加工面品位を示す値がこの許容値を超える場合に低い報酬を算出する。報酬計算部１３２は、許容値内に収まる度合いに応じてより高い報酬を算出してもよい。また、報酬計算部１３２は、許容値を超える度合いに応じてより低い報酬を算出してもよい。報酬計算部１３２は、マイナスの報酬を算出してもよい。
[規則91に基づく訂正 02.06.2023]
　報酬計算部１３２は、更に工作機械３における加工に掛かった加工時間を示す値と、加工目的に係る判定データに含まれる目標とする加工時間とを比較し、その比較結果に基づいて予め設定された所定の報酬算出式により追加の報酬を算出する。報酬計算部１３２は、加工に掛かった加工時間が目標とする加工時間内に収まる場合に高い報酬を算出する。また、報酬計算部１３２は、加工に掛かった加工時間が目標とする加工時間を超える場合に低い報酬を算出する。報酬計算部１３２は、加工に掛かった加工時間に収まる度合いに応じてより高い報酬を算出してもよい。また、報酬計算部１３２は、加工に掛かった加工時間を超える度合いに応じてより低い報酬を算出してもよい。報酬計算部１３２は、マイナスの報酬を算出してもよい。報酬計算部１３２は、このようにして算出した追加の報酬を、加工精度や加工面品位に基づいて算出した報酬に加算する。
[規則91に基づく訂正 02.06.2023]
　なお、加工時間を報酬として考慮する場合、報酬計算部１３２は、加工精度や加工面品位が許容値内に収まる場合における加工時間を記憶するようにしてもよい。この時、記憶した加工時間の内で、最も短い加工時間を加工目的に係る判定データとする。そして、報酬計算部１３２は、加工精度や加工面品位が許容値内に収まる場合にのみ、その時の加工時間と上記した記憶している最も短い加工時間を報酬算出の基準とした上で報酬を算出する。このようにすることで、目標とする加工精度や加工面品位の範囲内で、最も加工時間が短くなるパラメータを探索できるようになる。
　価値関数更新部１３４は、報酬計算部１３２が算出した報酬に基づいて、価値関数記憶部１３８に記憶される価値関数を更新する。本発明で用いる価値関数は、工作機械３の加工時に設定される各軸のＮ階時間微分要素（Ｎは自然数）を含む制御周期毎の移動量の制御に係るパラメータの組み合わせを状態とし、現在その状態にいることの価値を算出する状態価値関数である。本実施形態による状態価値関数Ｖは、例えば各々の状態（各軸のＮ階時間微分要素（Ｎは自然数）を含む制御周期毎の移動量の制御に係るパラメータの組み合わせ）を取って加工を行った場合に、報酬計算部１３２が算出する報酬を価値として返す関数として定義してもよい。なお、状態価値関数は、学習が開始される段階で、全ての取り得る状態に対して高い価値を出力するようにしておくとよい。状態価値関数は、工作機械３の加工時に設定される各軸のＮ階時間微分要素（Ｎは自然数）を含む制御周期毎の移動量の制御に係るパラメータの組み合わせを入力データとし、そのパラメータの組み合わせの状態の価値を出力データとした多層ニューラルネットワークなどとして構築してもよい。
　意思決定部１４０は、学習部１３０が機械学習することで作成された価値関数に基づいて、各軸のＮ階時間微分要素（Ｎは自然数）を含む制御周期毎の移動量の制御に係るパラメータの組み合わせを出力する。意思決定部１４０は、価値関数を用いることで、現在行っている加工において設定されているパラメータの組み合わせに対して、より高い価値を持つパラメータの組み合わせを求める。意思決定部１４０は、例えば現在設定されているパラメータの組み合わせから算出される価値と、それぞれのパラメータをあらかじめ定めた所定量だけ変化させた場合のパラメータの組み合わせから算出される価値とを比較する。例えば、現在設定されているパラメータの組み合わせと、直線の加速度を＋ΔＡ変化させたパラメータの組み合わせ、直線の加速度を－ΔＡ変化させたパラメータの組み合わせ、補間後加減速時定数を＋Δτ変化させたパラメータの組み合わせ、補間後加減速時定数を－Δτ変化させたパラメータの組み合わせ、…のそれぞれについて価値関数を用いて価値を算出し、より価値の高いパラメータの組み合わせを求める。そして、求めたパラメータの組み合わせを、現在の加工に対してより適したパラメータの組み合わせであるとして出力する。この時、現在設定されているパラメータの組み合わせから算出される価値が最も価値が高かった場合には、意思決定部１４０は、現在のパラメータの組み合わせをより価値の高いパラメータの組み合わせとして出力してもよい。意思決定部１４０は、同じ価値のパラメータの組み合わせがある場合には、現在設定されているもの以外のパラメータの組み合わせの中からランダムに出力するようにしてよい。意思決定部１４０は、学習部１３０による学習の初期の段階では、価値関数により算出される価値に関わらず、一定の確率でランダムなパラメータの組み合わせを出力するとよい（εグリーディ法）。このようにすることで、より適切なパラメータの組み合わせの探索を効率よく行うことができる。
　行動出力部１５０は、意思決定部１４０が出力したパラメータの組み合わせに基づいて、パラメータの調整を継続するか否かを判定する。そして、パラメータの調整を継続すると判定した場合、意思決定部１４０が出力したパラメータの組み合わせを工作機械３に対して設定し、再度加工動作をするように指令する。行動出力部１５０は、例えば意思決定部１４０が出力したパラメータの組み合わせが、現在工作機械３に設定されているパラメータの組み合わせと異なる場合に、パラメータの調整を継続すると判定するようにしてもよい。また、行動出力部１５０は、パラメータの調整を開始してから工作機械３のパラメータを変更した回数を記録しておき、パラメータを変更した回数が予め定めた所定の回数以内である場合に、パラメータの調整を継続すると判定するようにしてもよい。
　行動出力部１５０は、ネットワーク５を介して工作機械３に対して直接パラメータの組み合わせを設定してもよい。また、行動出力部１５０は、ネットワーク５を介してフォグコンピュータ６やクラウドサーバ７に対してパラメータの組み合わせを送信し、間接的に工作機械３にパラメータを設定するように促してもよい。更に、行動出力部１５０は、表示装置７０に対してパラメータの組み合わせを表示し、オペレータに対して工作機械３に設定するように促してもよい。
　図５は、上記した構成を備えた加減速調整装置１を用いてパラメータの組み合わせを求める場合の処理を例示するフローチャートである。各軸のＮ階時間微分要素（Ｎは自然数）を含む制御周期毎の移動量の制御に係るパラメータの調整がオペレータなどから指令されると、加減速調整装置１は、最初にオペレータなどにより予め設定されたパラメータの組み合わせ（例えば、直線加速度４０００ｍｍ／ｓｅｃ2、コーナ速度差８００ｍｍ／ｍｉｎ、補間後加減速時定数３２ｍｓｅｃ、など）を工作機械３に対して設定する。そして、予め与えられた所定の加工プログラムにより空運転をするように工作機械３に指令する（ステップＳＡ０１）。
　この指令を受けて工作機械３が加工プログラムの空運転を行っている一方で、状態観測部１１０は、工作機械３の動作状態を示すデータ（モータ一の時系列データ、モータ速度の時系列データ、加工時間など）を取得する（ステップＳＡ０２）。そして、取得された工作機械３の動作状態を示すデータに基づいて、加工精度や加工面品位に係るデータ（例えば、加工精度（形状誤差）：８０μｍ、加工面品位（位置偏差）：８μｍ、加工面品位（振動誤差）：０．０９μｍなど）が算出される（ステップＳＡ０２）。また、判定条件取得部１２０は、工作機械３での加工における加工目的に係る判定データ（加工精度（許容形状誤差）：１００μｍ、加工面品位（許容位置偏差）：１０μｍ、加工面品位（許容振動誤差）：０．１μｍ、許容加工時間１２．０ｓｅｃなど）を取得する（ステップＳＡ０３）。
　報酬計算部１３２は、状態観測部１１０から入力された加工精度や加工面品位に係るデータと、判定条件取得部１２０から入力された加工目的に係る判定データとに基づいて、現在のパラメータの組み合わせに対する報酬を算出する（ステップＳＡ０４）。そして、算出された報酬に基づいて、価値関数更新部１３４が価値関数記憶部１３８に記憶された価値関数を更新する（ステップＳＡ０５）。
　意思決定部１４０が、更新された価値関数に基づいて、現在の加工に対してより適切であると思われるパラメータの組み合わせを求め、求めたパラメータの組み合わせを出力する。これを入力された行動出力部１５０は、パラメータの調整を継続するか否かを判定し、パラメータの調整を継続すると判定した場合、意思決定部１４０が出力したパラメータの組み合わせを工作機械３に対して設定し、設定したパラメータで再度加工プログラムによる空運転をするように指令する（ステップＳＡ０６）。
　上記構成を備えた加減速調整装置１は、実際の加工精度・加工面品位の目標の値（形状誤差・位置偏差など）を設定することで、当該加工精度・加工面品位により適したパラメータの定量的な制御が可能となる。パラメータの設定値の組合せを定量的に制御することで、所定の加工目的に適したそれぞれのパラメータの設定値の組合せを保持することが可能となり、加工の目的に応じて適宜切り替えることができる。更に、本実施形態による加減速調整装置１によるパラメータの設定値の組合せの最適化は、環境（制御装置、工作機械）を外部から観測しながら行うことができる。そのため、環境側に対して新たなソフトウェアなどを組み込む必要が無く、幅広い環境に対して使用することができる。
　以上、本発明の実施の形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。
　例えば、上記した実施形態では、加工精度や加工面品位の評価を予め設定された所定の報酬算出式に基づいて行っているが、評価に係る評価用プログラムを外部から登録できるように構成してもよい。このように構成することで、加工の内容が変わって学習したいパラメータが追加された場合等においても、四角コーナやＲ角コーナなどの専用の評価用プログラムを提供することで効率よく加工精度・加工面品位を評価することができるようになる。
　意思決定部１４０が出力するそれぞれのパラメータの範囲を予め設定できるように構成してもよい。このように構成することで、パラメータの探索範囲を制限することができる。
　上記した実施形態では、意思決定部１４０は価値関数が出力する価値に基づいて、出力するパラメータの組み合わせを決定したが、例えば予め定められたルールに従って、より適切であると思われるパラメータを調整することで作成したパラメータの組み合わせを出力するようにしてもよい。図６は、加工結果から把握される解決したい課題に対して、当該課題を解決するためのパラメータの調整方向と、その優先順位を表に示したものである。このように、解決したい課題とパラメータの調整方法の関係をルール化して記憶しておくことで、意思決定部１４０は、当該ルールを参照して調整するべきパラメータを決定することができるようになる。
[規則91に基づく訂正 02.06.2023]
　報酬計算部１３２が算出する加工精度や加工面品位に係る報酬と、加工時間に係る追加の報酬とに対して、重みを設定できるように構成してもよい。このように構成することで、加工品質を重視する場合には加工精度や加工面品位に係る報酬の重みを増加させ、一方で加工時間を重視する場合には加工時間に係る報酬の重みを増加させる、といったように、加工の目的に合わせた微調整を行うことが可能となる。
　上記した実施形態では、学習部１３０による機械学習を行いながらパラメータを調整する構成を示したが、学習部１３０による学習が十分に行われた後であれば、価値関数記憶部１３８を残して学習部１３０を加減速調整装置１から削除してもよい。図７は、学習部１３０を削除した場合の構成例を示している。このような構成とすることで、価値関数の更新は行われなくなるが、加減速調整装置１に対して初期のパラメータを与えることで、意思決定部１４０がより適切なパラメータの探索を行い、工作機械３のパラメータの調整を行うことができる。
[規則91に基づく訂正 02.06.2023]
　　１　　　加減速調整装置
　　３　　　工作機械
　　４　　　センサ
　　５　　　ネットワーク
　　６　　　フォグコンピュータ
　　７　　　クラウドサーバ
　　１１　　ＣＰＵ
　　１２　　ＲＯＭ
　　１３　　ＲＡＭ
　　１４　　不揮発性メモリ
　　１５　　インタフェース
　　１７，１８，２０，２１　インタフェース
　　２２　　バス
　　７０　　表示装置
　　７１　　入力装置
　　７２　　外部機器
　１００　　機械学習装置
　１０１　　プロセッサ
　１０２　　ＲＯＭ
　１０３　　ＲＡＭ
　１０４　　不揮発性メモリ
　１１０　　状態観測部
　１２０　　判定条件取得部
　１３０　　学習部
　１３２　　報酬計算部
　１３４　　価値関数更新部
　１３８　　価値関数記憶部
　１４０　　意思決定部
　１５０　　行動出力部

Claims (9)

  1. [規則91に基づく訂正 02.06.2023]
    　ワークの加工を行う工作機械が備える各軸のＮ階時間微分要素（Ｎは自然数）を含む制御周期毎の移動量の制御に係るパラメータを推定する機械学習装置であって、
    　前記加工における加工精度及び加工面品位の少なくともいずれかに係る情報と、前記加工に掛かった加工時間とを、前記工作機械の動作状態を示すデータとして観測する状態観測部と、
    　前記状態観測部が観測したデータに係る目標値を判定データとして取得する判定条件取得部と、
    　前記状態観測部が観測したデータと、前記判定条件取得部が取得した前記判定データとに基づいて前記パラメータに基づく加工に対する報酬を算出する報酬計算部と、
    　前記報酬に基づいて前記パラメータに基づく加工状態の価値を算出するための価値関数を更新する価値関数更新部と、
    　更新された前記価値関数に基づいて前記加工により適している前記パラメータの設定値の組合せを推定し、推定した前記パラメータの設定値の組み合わせを出力する意思決定部と、
    を備える機械学習装置。
  2. 　前記加工精度及び加工面品位の少なくともいずれかを評価可能な評価用プログラムを登録可能であり、該評価用プログラムを用いて前記加工精度及び加工面品位の少なくともいずれかに係る報酬を算出する、
    請求項１に記載の機械学習装置。
  3. 　前記意思決定部は、更新された前記価値関数に基づいて前記加工における加工時間がより短い、前記加工により適している前記パラメータの設定値の組合せを推定し、推定した前記パラメータの設定値の組み合わせを出力する、
    請求項１に記載の機械学習装置。
  4. 　ワークの加工を行う工作機械が備える各軸のＮ階時間微分要素（Ｎは自然数）を含む制御周期毎の移動量の制御に係るパラメータを調整する加減速調整装置であって、
    　前記加工における加工精度及び加工面品位の少なくともいずれかに係る情報と、前記加工に掛かった加工時間とを、前記工作機械の動作状態を示すデータとして観測する状態観測部と、
    　前記状態観測部が観測したデータに係る目標値を判定データとして取得する判定条件取得部と、
    　前記パラメータに基づく加工状態の価値を算出するための価値関数を記憶する価値関数記憶部と、
    　前記価値関数に基づいて前記加工により適している前記パラメータの設定値の組合せを推定し、推定した前記パラメータの設定値の組み合わせを出力する意思決定部と、
    　前記意思決定部が出力した前記パラメータの設定値の組み合わせに基づいて、前記工作機械の前記パラメータを調整する行動出力部と、
    を備える加減速調整装置。
  5. 　前記判定条件取得部は、複数の目標値を設定可能である、
    請求項１または３に記載の加減速調整装置。
  6. 　前記意思決定部が出力する前記パラメータの設定値の範囲を設定可能である、
    請求項１または３に記載の加減速調整装置。
  7. 　前記パラメータの調整回数を設定可能である、
    請求項１または３に記載の加減速調整装置。
  8. [規則91に基づく訂正 02.06.2023]
    　ワークの加工を行う工作機械が備える各軸のＮ階時間微分要素（Ｎは自然数）を含む制御周期毎の移動量の制御に係るパラメータを推定する機械学習装置としてコンピュータを動作させるプログラムを記憶したコンピュータ読み取り可能な記憶媒体であって、
    　前記加工における加工精度及び加工面品位の少なくともいずれかに係る情報と、前記加工に掛かった加工時間とを、前記工作機械の動作状態を示すデータとして観測する状態観測部と、
    　前記状態観測部が観測したデータに係る目標値を判定データとして取得する判定条件取得部と、
    　前記状態観測部が観測したデータと、前記判定条件取得部が取得した前記判定データとに基づいて前記パラメータに基づく加工に対する報酬を算出する報酬計算部と、
    　前記報酬に基づいて前記パラメータに基づく加工状態の価値を算出するための価値関数を更新する価値関数更新部と、
    　更新された前記価値関数に基づいて前記加工により適している前記パラメータの設定値の組合せを推定し、推定した前記パラメータの設定値の組み合わせを出力する意思決定部と
    してコンピュータを動作させるプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
  9. 　ワークの加工を行う工作機械が備える各軸のＮ階時間微分要素（Ｎは自然数）を含む制御周期毎の移動量の制御に係るパラメータを調整する加減速調整装置としてコンピュータを動作させるプログラムを記憶したコンピュータ読み取り可能な記憶媒体であって、
    　前記加工における加工精度及び加工面品位の少なくともいずれかに係る情報と、前記加工に掛かった加工時間とを、前記工作機械の動作状態を示すデータとして観測する状態観測部と、
    　前記状態観測部が観測したデータに係る目標値を判定データとして取得する判定条件取得部と、
    　前記パラメータに基づく加工状態の価値を算出するための価値関数を記憶する価値関数記憶部と、
    　前記価値関数に基づいて前記加工により適している前記パラメータの設定値の組合せを推定し、推定した前記パラメータの設定値の組み合わせを出力する意思決定部と、
    　前記意思決定部が出力した前記パラメータの設定値の組み合わせに基づいて、前記工作機械の前記パラメータを調整する行動出力部と
    してコンピュータを動作させるプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
PCT/JP2021/016479 2021-04-23 2021-04-23 機械学習装置、加減速調整装置及びコンピュータ読み取り可能な記憶媒体 WO2022224450A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2021/016479 WO2022224450A1 (ja) 2021-04-23 2021-04-23 機械学習装置、加減速調整装置及びコンピュータ読み取り可能な記憶媒体
JP2023516011A JPWO2022224450A1 (ja) 2021-04-23 2021-04-23
US18/551,192 US20240176309A1 (en) 2021-04-23 2021-04-23 Machine learning device, acceleration and deceleration adjustment device, and computer-readable storage medium
CN202180097101.3A CN117203591A (zh) 2021-04-23 2021-04-23 机器学习装置、加减速调整装置以及计算机可读取的存储介质
DE112021007088.6T DE112021007088T5 (de) 2021-04-23 2021-04-23 Maschinenlernvorrichtung, beschleunigungs- und verlangsamungseinstellvorrichtung und computerlesbares speichermedium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/016479 WO2022224450A1 (ja) 2021-04-23 2021-04-23 機械学習装置、加減速調整装置及びコンピュータ読み取り可能な記憶媒体

Publications (2)

Publication Number Publication Date
WO2022224450A1 WO2022224450A1 (ja) 2022-10-27
WO2022224450A9 true WO2022224450A9 (ja) 2023-09-07

Family

ID=83723463

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/016479 WO2022224450A1 (ja) 2021-04-23 2021-04-23 機械学習装置、加減速調整装置及びコンピュータ読み取り可能な記憶媒体

Country Status (5)

Country Link
US (1) US20240176309A1 (ja)
JP (1) JPWO2022224450A1 (ja)
CN (1) CN117203591A (ja)
DE (1) DE112021007088T5 (ja)
WO (1) WO2022224450A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118534842A (zh) * 2024-07-24 2024-08-23 通用技术集团机床工程研究院有限公司 速度规划方法、插补点确定方法、装置及相关设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017030067A (ja) * 2015-07-30 2017-02-09 ファナック株式会社 加工時間測定機能とオンマシン測定機能を有する制御装置付き加工装置
JP6219897B2 (ja) * 2015-09-28 2017-10-25 ファナック株式会社 最適な加減速を生成する工作機械
JP6625914B2 (ja) * 2016-03-17 2019-12-25 ファナック株式会社 機械学習装置、レーザ加工システムおよび機械学習方法
JP6499710B2 (ja) * 2017-04-20 2019-04-10 ファナック株式会社 加減速制御装置

Also Published As

Publication number Publication date
US20240176309A1 (en) 2024-05-30
CN117203591A (zh) 2023-12-08
DE112021007088T5 (de) 2023-12-07
JPWO2022224450A1 (ja) 2022-10-27
WO2022224450A1 (ja) 2022-10-27

Similar Documents

Publication Publication Date Title
US9964931B2 (en) Numerical controller with machining condition adjustment function which reduces chatter or tool wear/breakage occurrence
CN109960219B (zh) 控制装置以及机器学习装置
CN109581962B (zh) 数值控制系统
JP6219897B2 (ja) 最適な加減速を生成する工作機械
US10216169B2 (en) Automatic parameter adjustment device for adjusting parameter corresponding to processing condition
US11640557B2 (en) Machine learning device, numerical control system, and machine learning method
JP6499710B2 (ja) 加減速制御装置
JP6756676B2 (ja) 製造システム
CN109613886B (zh) 热位移校正系统
JP6557285B2 (ja) 制御装置及び機械学習装置
US20230271276A1 (en) Method, Control Unit and Laser Cutting System for Combined Path and Laser Process Planning for Highly Dynamic Real-Time Systems
KR102224970B1 (ko) 제어 장치 및 기계 학습 장치
US20210174227A1 (en) Machine learning apparatus, control device, machining system, and machine learning method for learning correction amount of workpiece model
US20170090452A1 (en) Machine tool for generating speed distribution
US11698616B2 (en) Managing apparatus and managing system
WO2022224450A9 (ja) 機械学習装置、加減速調整装置及びコンピュータ読み取り可能な記憶媒体
CN114424129A (zh) 控制系统
JP6618656B1 (ja) 保守支援システム、数値制御装置および保守支援システムの制御方法
US20240033873A1 (en) Device and method for machining a workpiece
JP7504687B2 (ja) 切削加工支援システム
US20200183352A1 (en) Machine tool
US20200089175A1 (en) Characteristic judgment apparatus, characteristic judgment method, and charcteristic judgment program
WO2024122066A1 (ja) パラメータ調整装置及びコンピュータ読み取り可能な記録媒体
WO2023153446A1 (ja) 提案装置、提案システム、提案方法、及び、プログラム
CN118905724A (zh) 用于火箭箱底镜像铣削的数据驱动自适应壁厚控制方法和系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21937941

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023516011

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18551192

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112021007088

Country of ref document: DE

WWE Wipo information: entry into national phase

Ref document number: 202180097101.3

Country of ref document: CN

122 Ep: pct application non-entry in european phase

Ref document number: 21937941

Country of ref document: EP

Kind code of ref document: A1