WO2020012581A1 - 機械学習装置、数値制御加工プログラム生成装置および機械学習方法 - Google Patents

機械学習装置、数値制御加工プログラム生成装置および機械学習方法 Download PDF

Info

Publication number
WO2020012581A1
WO2020012581A1 PCT/JP2018/026204 JP2018026204W WO2020012581A1 WO 2020012581 A1 WO2020012581 A1 WO 2020012581A1 JP 2018026204 W JP2018026204 W JP 2018026204W WO 2020012581 A1 WO2020012581 A1 WO 2020012581A1
Authority
WO
WIPO (PCT)
Prior art keywords
machining
processing
knowledge
machining program
program
Prior art date
Application number
PCT/JP2018/026204
Other languages
English (en)
French (fr)
Inventor
晋 松原
守昭 内田
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to DE112018007741.1T priority Critical patent/DE112018007741B4/de
Priority to JP2018558361A priority patent/JP6584697B1/ja
Priority to CN201880095426.6A priority patent/CN112384867B/zh
Priority to PCT/JP2018/026204 priority patent/WO2020012581A1/ja
Publication of WO2020012581A1 publication Critical patent/WO2020012581A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4093—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by part programming, e.g. entry of geometrical information as taken from a technical drawing, combining this with machining and material information to obtain control information, named part programme, for the NC machine
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35216—Program, generate nc program, code from cad data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Definitions

  • the present invention relates to a machine learning device for learning a method of generating a numerically controlled machining program used for automatically generating a numerically controlled machining program for numerically controlling a machine tool, a numerically controlled machining program generating device, and a machine learning method.
  • NC numerically controlled
  • Patent Literature 1 correction contents of cutting conditions corrected by an operator with respect to a processing program automatically generated are stored in a storage unit, and when another operator next creates a similar processing program, the corrected A numerically controlled machining program creation device capable of reusing cutting conditions is disclosed.
  • the reusable components are the number of revolutions of the spindle for rotating the material to be machined, the relative cutting feed between the rotating tool and the material to be machined.
  • the machining program could not be automatically generated for the machining sequence and the machining method.
  • the present invention has been made in view of the above, and it is possible to automatically learn a generation method of a numerical control processing program that enables a processing program to be automatically generated with respect to at least one of a processing sequence and a processing method.
  • the purpose is to obtain a machine learning device.
  • a machine learning device provides a machined shape data including information on a finished shape of a machined product and information on a material of a material, and cutting from a workpiece.
  • a method of generating a numerically controlled machining program for automatically generating a numerically controlled machining program including a plurality of cutting operations for shaving a workpiece, and a first numerical control generated with reference to the method of generating a numerically controlled machining program A state observing unit that observes editing contents of the machining program as state variables, and a learning unit that learns a method of generating a numerically controlled machining program according to a data set created based on the state variables.
  • a machine learning device that can automatically generate a processing program for at least one of a processing sequence and a processing method and that can automatically learn a generation method of a numerical control processing program. To play.
  • FIG. 1 is a block diagram illustrating a configuration example of a numerical control device according to a first embodiment of the present invention.
  • Diagram showing concept of action value table The figure which shows an example of the state in which the processing knowledge and the reflected processing knowledge were stored in the function update part of the machine learning device according to the first embodiment of the present invention.
  • 9 is a flowchart showing a procedure of an update process of the action value function Q (s, a) according to the first embodiment of the present invention.
  • 5 is a flowchart showing details of a procedure of an NC machining program generation process in an NC machining program generation unit of the NC machining program generation device according to the first embodiment of the present invention.
  • FIG. 3 is a perspective view showing an example of a three-dimensional model of a processed shape represented by CAD (Computer-Aided @ Design) data according to the first embodiment of the present invention.
  • FIG. 2 is a perspective view showing an example of a material shape including a processed shape represented by CAD data according to the first embodiment of the present invention.
  • FIG. 3 is a perspective view showing an example of a machining removal shape generated from a machining finish shape and a material shape represented by CAD data according to the first embodiment of the present invention.
  • the figure which shows the turning cross-section shape in the turning drill process concerning Embodiment 1 of this invention The figure which shows the turning cross-sectional shape in the turning bar process which concerns on Embodiment 1 of this invention.
  • the figure which shows an example of the processing start point and the processing end point of the turning drill process concerning Embodiment 1 of this invention The figure which shows an example of the cutting point, the processing start point, and the processing end point of the turning bar process according to Embodiment 1 of this invention.
  • the figure which shows an example of the cutting point, the processing start point, and the processing end point of the turning bar process according to Embodiment 1 of this invention The figure which shows the turning cross-section shape in the turning drill process concerning Embodiment 1 of this invention.
  • the figure which shows the turning cross-sectional shape of the turning end surface process concerning Embodiment 1 of this invention The figure which shows the turning cross-sectional shape in the turning bar process which concerns on Embodiment 1 of this invention.
  • FIG. 1 is a schematic diagram illustrating an example of a neural network model that is followed by a machine learning device according to a first embodiment of the present invention.
  • FIG. 1 is a diagram showing a hardware configuration of an NC machining program generation device according to a first embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating a configuration example of a numerical control device 1 according to the first embodiment of the present invention.
  • the numerical control device 1 includes an interactive operation processing unit 10, a display unit 20, an instruction input unit 30, and an NC processing program generation device 40.
  • the NC processing program generation device 40 includes a machine learning device 50.
  • the machine learning device 50 includes a state observation unit 51 and a learning unit 52.
  • the numerical control device 1 is mounted on or connected to a numerically controlled machine tool (not shown) and numerically controls the operation of the numerically controlled machine tool by an NC machining program.
  • the interactive operation processing unit 10 is an interface between the numerical control device 1 and the operator, and an interface between the NC machining program generation device 40 and the operator.
  • the interactive operation processing unit 10 transmits instruction information input by the operator via the instruction input unit 30 to the NC machining program generation device 40.
  • the interactive operation processing unit 10 displays, on the display unit 20, instruction information input by the operator via the instruction input unit 30.
  • the display unit 20 is a display terminal such as a liquid crystal monitor, and displays CAD data 100, an NC processing program, and instruction information input by the operator via the instruction input unit 30. In addition, the display unit 20 displays various types of information related to processing performed by the numerical control device 1 and the NC processing program generation device 40.
  • the instruction input unit 30 includes input devices such as a mouse and a keyboard, and receives instruction information from an operator and transmits the information to the interactive operation processing unit 10.
  • the NC processing program generation device 40 is used to cut out the shape of a cut product represented by the CAD data 100 input from the outside of the numerical control device 1 to the NC processing program generation device 40 from the workpiece by cutting.
  • the generated NC processing program is generated.
  • the NC machining program is a numerical machining program for operating an NC machine tool (not shown). Further, the numerical control device 1 controls the NC machine tool according to the NC processing program, and cuts the workpiece to produce a cut product.
  • the NC processing program generation device 40 includes a processing shape data input unit 41, a processing shape data storage unit 42, an NC processing program generation unit 43, an NC processing program storage unit 44, an NC processing program editing unit 45, A part 46. Each component of the NC processing program generation device 40 can transmit and receive information to and from each other.
  • the machining shape data input unit 41 receives CAD data 100 as machining shape data input to the NC machining program generation device 40 from an external device external to the numerical controller 1 and transmits the CAD data 100 to the machining shape data storage unit 42.
  • the processing shape data includes information on the processing finish shape of the cut product and information on the material of the material.
  • the finished shape is a three-dimensional shape that must be finished by cutting to obtain a cut product.
  • the material is a workpiece from which the finished shape represented by the CAD data 100 is cut out.
  • the processing shape data is not limited to the CAD data 100.
  • the machining shape data may be any data that can be interpreted by the NC machining program generation device 40.
  • the machining shape data storage unit 42 stores the machining shape data transmitted from the machining shape data input unit 41.
  • the ⁇ NC processing program generation unit 43 generates an NC processing program for cutting out a processed shape represented by the CAD data 100 from a material. More specifically, the NC machining program generation unit 43 refers to the machining knowledge or the reflected machining knowledge acquired from the function updating unit 54 via the decision making unit 46 based on the machining shape data of the machined product, and performs a plurality of cutting operations. A processing order and a processing method in the processing are determined. Then, the NC processing program generation unit 43 generates a first NC processing program 111 which is an NC processing program for cutting out a cut product from a workpiece based on the determined processing order and processing method.
  • the NC processing program generation unit 43 associates the CAD data 100 that is the processing shape data, the processing knowledge referred to in generating the first NC processing program 111 with the first NC processing program 111, and associates the CAD data 100 with the first NC processing program 111.
  • the 1NC machining program 111 and machining knowledge are transmitted to the NC machining program storage unit 44 for storage.
  • the processing knowledge cuts out the cut product from the material when the NC processing program generation unit 43 automatically generates an NC processing program for cutting out the processed shape of the cut product represented by the CAD data 100 from the material. For determining at least one of the material processing order and the material processing method in a plurality of cutting processes for the purpose, and is information indicating a method of generating an NC processing program.
  • the processing knowledge is a condition for designating at least one of the processing order of the raw material and the processing method of the raw material based on the dimensions of the processed removal shape, which is a shape to be removed for shaving a cut product from the raw material. It is.
  • the material processing order is the order of cutting when a plurality of different cutting processes are combined in order to cut out a cut product from the material.
  • the material processing method is a cutting method including a processing direction.
  • NC machining program generation unit 43 When an operator edits the first NC machining program 111 automatically generated by the NC machining program generator 43 as will be described later, reflected machining knowledge, which is new machining knowledge in which the edited content is reflected, is generated. As a result, the editing contents reflecting the knowledge and experience of the worker are reflected and accumulated in the new machining knowledge. For this reason, the NC machining program generation unit 43 generates the NC machining program by referring to the machining knowledge, thereby creating the NC machining program desired by the operator in the same manner as when the operator himself creates the NC machining program. Automatic generation can be quickly performed.
  • the NC machining program storage unit 44 refers to the CAD data 100 that is the machining shape data, the first NC machining program 111 that is the NC machining program generated by the NC machining program generation unit 43, and the generation of the first NC machining program 111.
  • the processing knowledge is stored in association with the processing knowledge.
  • the NC processing program storage unit 44 stores a second NC processing program 112 which is an NC processing program edited by the NC processing program editing unit 45. Note that the first NC machining program 111 may be updated by the second NC machining program 112.
  • the NC machining program editing unit 45 reads the CAD data 100, the first NC machining program 111, and machining knowledge associated with the first NC machining program 111 from the NC machining program storage unit 44, and stores the first NC machining program 111 in the interactive operation processing unit 10. Send to The NC processing program editing unit 45 edits the first NC processing program 111 based on the editing instruction information input by the operator from the instruction input unit 30, and generates the second NC processing program 112. The NC processing program editing unit 45 transmits the generated second NC processing program 112 to the NC processing program storage unit 44 and stores it.
  • the NC machining program editing unit 45 further describes the CAD data 100 as the machining shape data, the first NC machining program 111, the machining knowledge associated with the first NC machining program 111, and the second NC machining program 112, which will be described later.
  • the state is transmitted to the state observation unit 51.
  • the NC processing program editing unit 45 When the editing of the first NC processing program 111 is not performed, that is, when the second NC processing program 112 is not generated, the NC processing program editing unit 45 outputs the CAD data 100, the first NC processing program 111, The machining knowledge associated with the first NC machining program 111 is transmitted to the state observation unit 51.
  • the decision making unit 46 searches for a plurality of different machining knowledges stored in the function updating unit 54, and searches for the most appropriate machining knowledge corresponding to the CAD data 100. Determine and get.
  • the most appropriate processing knowledge corresponding to the CAD data 100 is the editing of the first NC processing program 111 after the generation of the first NC processing program 111 among the processing knowledge corresponding to the CAD data 100 stored in the function updating unit 54. Is the least processing knowledge. That is, the most appropriate machining knowledge corresponding to the CAD data 100 is the machining knowledge in which the knowledge and experience of the worker is more appropriately reflected among the machining knowledge corresponding to the CAD data 100.
  • the decision making unit 46 acquires machining knowledge having the highest action value Q from among a plurality of machining knowledges corresponding to the CAD data 100 stored in the function updating unit 54 and transmits the acquired knowledge to the NC machining program generation unit 43. .
  • the decision making unit 46 adds the machining knowledge stored in the function updating unit 54 to the CAD data 100. Determine the most appropriate machining knowledge to correspond.
  • the machining knowledge is associated with the cut product by, for example, being given a common management number to the cut product.
  • the processing knowledge is associated with, for example, a combination of a processing finish shape represented by the CAD data 100 and a material of the material.
  • the decision making unit 46 searches for the processing knowledge corresponding to the CAD data 100 specified by the NC processing program generation unit 43, using the management number or the information on the processed shape and the information on the material of the material as search conditions. , And the processing knowledge having the highest action value Q can be selected from among them.
  • Any learning algorithm used by the machine learning device 50 including the state observation unit 51 and the learning unit 52 may be used.
  • reinforcement learning Reinforcement @ Learning
  • Reinforcement learning is a process in which an agent acting as an agent in a certain environment observes the current state and decides what action to take. The agent obtains rewards from the environment by selecting an action, and learns a strategy to obtain the highest reward through a series of actions.
  • Q learning Q-learning
  • TD learning TD-learning
  • Q learning Q-learning
  • TD-learning TD learning
  • a general update equation of the action value function Q (s, a) is represented by the following equation (1).
  • Equation (1) s t shows a state at time t.
  • a t is a behavior that is executed at time t.
  • s t + 1 denotes the state at time t + 1, in other words, showing a state after the change as a result of the action a t.
  • r t + 1 denotes the reward given in accordance with the changing environment as a result of action a t. That is, rt + 1 represents a reward given by a change in state.
  • the term “max” represents the maximum value of the action value Q in the state st + 1 , that is, the action value for the best action at + 1 .
  • ⁇ is a discount rate, and is set so as to satisfy the condition of 0 ⁇ ⁇ 1.
  • ⁇ is, for example, 0.9 or more and 0.99 or less.
  • ⁇ is a learning coefficient and is set so as to satisfy the condition of 0 ⁇ ⁇ 1.
  • ⁇ is, for example, 0.05 or more
  • the best action value of action a t + 1 at time t + 1 is greater than the action value Q of the executed action a t at time t, behavior at time t
  • the value Q is increased, and conversely, the action value Q at time t is reduced.
  • the action value Q action a t at time t as close to the best action value at time t + 1, action value function Q (s t, a t) Update.
  • the best action value in a certain environment is sequentially propagated to the action value in an earlier environment.
  • the machine learning device 50 can execute the reinforcement learning according to a known Q learning method.
  • the action value Q assigned to a combination of a certain state variable and action a is unknown.
  • the machine learning device 50 randomly selects and executes the action a for various state variables, and updates the action value function Q (s, a) by accumulating rewards given as a result of the action a. .
  • action a corresponds to machining knowledge, that is, information indicating a method of generating an NC machining program.
  • the “state s” corresponds to the edited content of the first NC machining program 111.
  • the action value function Q (s, a) is also called an action value table.
  • FIG. 2 is a diagram illustrating the concept of the action value table.
  • the action value table is a data set in which an arbitrary action s and its action value Q are associated with each other and stored in a table format.
  • the data set in Q learning is a so-called Q table.
  • the Q table is represented as a two-dimensional table, the row direction is various states s and the column direction is action a, and each cell has an action value which is an evaluation value in the case of a combination of the action a and the state s. Q, is stored.
  • the action value function Q (s, a) is managed in the Q table, there is a limit to the number of states s and actions a that can be held.
  • the action value Q is calculated by the above equation (1) without taking any form.
  • machining knowledge which is information indicating a method of generating an NC machining program corresponding to the action a, and editing contents for the first NC machining program 111 corresponding to the state s are included.
  • a Q table associated with the processing shape data is stored for each processing shape data. That is, the data set in the first embodiment is a set of data of machining shape data, data of machining knowledge which is information indicating a method of generating an NC machining program, and data of editing contents for the first NC machining program 111. It is.
  • the numerical control device 1 has a machine learning function of learning a method of generating an NC machining program. That is, the numerical control device 1 includes a machine learning device 50 that learns a method of generating an NC machining program.
  • the machine learning device 50 includes a state observation unit 51 and a learning unit 52.
  • the learning unit 52 learns a method of generating an NC machining program according to a data set created based on state variables. That is, the learning unit 52 learns the relationship between the processing shape data, the generation method of the NC processing program, and the editing contents of the first NC processing program 111 according to the data set generated based on the state variables, and Learn how to generate.
  • the learning unit 52 updates a function associated with learning of machining knowledge, which is an NC machining program generation method, and a reward calculation unit 53 that calculates a reward associated with learning of machining knowledge, which is an NC machining program generation method. And a function updating unit 54 for determining an action value Q.
  • the machine learning device 50 may be built in the NC processing program generation device 40, or may be present in a cloud server that can communicate with the NC processing program generation device 40.
  • the state observation unit 51 includes CAD data 100 that is processing shape data, and processing knowledge that is information indicating a method of generating a numerically controlled processing program referred to when the NC processing program generation unit 43 generates the first NC processing program 111. , And the edited contents of the first NC machining program 111 are observed as state variables. That is, the state observation unit 51 processes the processing knowledge determined by the decision making unit 46 and the editing contents of the first NC processing program 111 performed in the generation of the second NC processing program 112 by the NC processing program editing unit 45. Observation is performed for each piece of CAD data 100 that is shape data.
  • the state observation unit 51 reflects the editing contents of the first NC machining program 111 on the machining knowledge referred to in the generation of the first NC machining program 111, and creates reflected machining knowledge.
  • the reflected machining knowledge is a method of generating a reflected numerically controlled machining program in which the editing content of the first NC machining program 111 is reflected in the numerically controlled machining program generation method referred to in the generation of the first NC machining program 111.
  • the reward r of the processing knowledge associated with the first NC processing program 111 is carried over to the reflected processing knowledge.
  • the state observation unit 51 transmits the processing knowledge and the reflected processing knowledge referred to in the generation of the first NC processing program 111 to the reward calculation unit 53 as observation results.
  • the management number assigned to the original machining knowledge or the information on the finished shape and the information on the material of the material are inherited and assigned.
  • Both the reflected machining knowledge and the machining knowledge generated based on the machining knowledge correspond to the machining finish shape of one cut product.
  • the reflected machining knowledge corresponds to the processed shape of the cut product corresponding to the machining knowledge on which the reflected machining knowledge is generated. Therefore, in the reflected machining knowledge, the management number or machining finish shape information and the material information of the material, which are assigned to the machining knowledge that is the basis of generation, are inherited and assigned. That is, the reflection processing knowledge is given while being associated with the CAD data 100.
  • the state observation unit 51 Can extract the editing contents for the first NC machining program 111. Therefore, in this case, the new machining knowledge in which the editing content of the CAD data 100 with respect to the first NC machining program 111 is reflected in the machining knowledge referred to in the generation of the first NC machining program 111 becomes the reflected machining knowledge.
  • the machining knowledge itself referred to in the generation of the first NC machining program 111 becomes the reflected machining knowledge.
  • the CAD data 100 that is the processing shape data, the processing knowledge that is the information indicating the generation method of the numerical control processing program referred to when the NC processing program generation unit 43 generates the first NC processing program 111, and the first NC processing Observing the edited content of the program 111 as a state variable means that the edited content of the first NC machining program 111 for the CAD data 100 is extracted and the machining knowledge referred to in the generation of the first NC machining program 111 is reflected as an observation result. This means that the processing knowledge is acquired for each CAD data 100.
  • the learning unit 52 includes: CAD data 100 that is processing shape data; processing knowledge that is information indicating a generation method of a numerical control processing program referred to when the NC processing program generation unit 43 generates the first NC processing program 111; Learning the relationship between machining shape data and an NC machining program generation method based on the data set of the editing contents for the first NC machining program 111 and the editing contents for the first NC machining program 111, and learning the NC machining program generation method I do. That is, the learning unit 52 learns machining knowledge based on the state variables observed by the state observation unit 51. In one embodiment, the learning unit 52 learns processing knowledge according to the concept of reinforcement learning.
  • the reward calculator 53 calculates the reward r based on the reflection processing knowledge that is the observation result transmitted from the state observation unit 51. More specifically, the reward calculation unit 53 calculates the reward r of the reflected machining knowledge based on the machining knowledge referred to in generating the first NC machining program 111 and the reflected machining knowledge. The reward calculation unit 53 calculates the reward r of the reflected machining knowledge based on the same as the reflected knowledge, which is the reward grant criterion for granting the reward r, which is referred to in the generation of the first NC machining program 111. I do. The reward calculating unit 53 associates the calculated reward r with the CAD data 100 and the reflected machining knowledge, and transmits the calculated reward r to the function updating unit 54 together with the CAD data 100 and the reflected machining knowledge.
  • the reward calculation unit 53 increases the reward r of the reflected machining knowledge when the machining knowledge referenced in the generation of the first NC machining program 111 is the same as the reflected machining knowledge.
  • the reward calculation unit 53 reflects, for example, a reward r of “+1” that is a “positive” reward r. Give to knowledge.
  • the reward r of the reflected machining knowledge “+1” is added to the reward r inherited from the machining knowledge referred to in the generation of the first NC machining program 111 when it is generated.
  • the reward r of the reflected machining knowledge is larger than the reward r inherited from the machining knowledge referred to in the generation of the first NC machining program 111.
  • the reward calculation unit 53 reduces the reward r of the machining knowledge referred to in the generation of the first NC machining program 111. If the machining knowledge referred to in the generation of the first NC machining program 111 is different from the reflected machining knowledge, the reward calculation unit 53 outputs a reward r of “ ⁇ 1”, which is a “negative” reward, to the first NC This is given to the machining knowledge referenced in the generation of the machining program 111. For example, when the first NC machining program 111 generated to perform the turning end face front processing before the turning drill processing is edited so that the turning drill processing is performed prior to the turning end face processing.
  • the reward calculation unit 53 reduces the reward r, and gives a reward r of, for example, “ ⁇ 1” to the processing knowledge referenced in the generation of the first NC processing program 111. Then, “ ⁇ 1” is added to the current reward r of the reward r of the machining knowledge referenced in the generation of the first NC machining program 111. As a result, the reward r of the machining knowledge referred to in generating the first NC machining program 111 is smaller than the reward r used in generating the first NC machining program 111.
  • the reward calculation unit 53 calculates the processing knowledge referred to in generating the first NC processing program 111 as described above. After decreasing the reward r, the reward r of the reflection processing knowledge is increased.
  • the reward calculation unit 53 converts the reward r of “+1”, which is a “positive” reward r, into the reflected processing knowledge, for example. give. Then, as the reward r of the reflected machining knowledge, “+1” is added to the reward r inherited from the machining knowledge referred to in the generation of the first NC machining program 111 when it is generated. Thereby, the reward r of the reflected machining knowledge is larger than the reward r inherited from the machining knowledge referred to in the generation of the first NC machining program 111.
  • the numerical value of the reward r is not limited to “+1” and “ ⁇ 1”. Further, the reward r may be made different depending on the editing content of the first NC processing program 111, that is, the editing content from the processing knowledge referred to in the generation of the first NC processing program 111 to the reflected processing knowledge.
  • the function update unit 54 updates a function for determining a generation method of the NC machining program according to the reward r of the reflected machining knowledge calculated by the reward calculation unit 53. For example, the function updating unit 54 updates the action value function Q (s, a) to determine the action value Q as an evaluation value.
  • the function updating unit 54 stores the determined action value Q together with the reflected machining knowledge in association with the reflected machining knowledge. Thereby, in addition to the machining knowledge stored first, the function updating unit 54 refers to the reflected machining knowledge and the action value Q associated with the reflected machining knowledge in the generation of the first NC machining program 111. It is stored as processing knowledge.
  • FIG. 3 is a diagram illustrating an example of a state in which the processing knowledge and the reflected processing knowledge are stored in the function updating unit 54 of the machine learning device 50 according to the first embodiment of the present invention.
  • FIG. 3 shows an example in which the processing knowledge A121, the processing knowledge B122, the processing knowledge C123, the reflection processing knowledge A131, the reflection processing knowledge B132, and the reflection processing knowledge C133 are stored.
  • a processing knowledge storage unit for storing the processing knowledge, the reflected processing knowledge, and the action value Q associated with the reflected processing knowledge may be separately provided.
  • FIG. 4 is a flowchart showing a procedure for updating the action value function Q (s, a) according to the first embodiment of the present invention.
  • step ST110 the NC machining program generation unit 43 reads the CAD data 100 stored in the machining shape data storage unit 42, and stores the CAD data 100 in a shape storage area of a storage unit (not shown) in the NC machining program generation unit 43.
  • the NC processing program generation unit 43 acquires the processing knowledge corresponding to the CAD data 100 from the function updating unit 54 via the decision making unit 46 in order to generate the NC processing program.
  • the decision making unit 46 determines machining knowledge based on the result learned by the machine learning device 50. That is, the decision making unit 46 searches for a plurality of machining knowledges stored in the function updating unit 54, and, from among the plurality of machining knowledges corresponding to the request from the NC machining program generation unit 43, the action value Q The highest machining knowledge is determined and acquired, and transmitted to the NC machining program generation unit 43.
  • the open part is a part that is exposed on the surface of the material in the turning cross-sectional shape t.
  • Material S45C Processing method: When the vertical length of the turning cross-sectional shape is 10 mm or less and the horizontal length of the turning cross-sectional shape is 10 mm or less, a turning grooving step is performed. When the vertical length and the horizontal length of the turning cross-sectional shape are other than the above conditions, a turning bar process is performed.
  • step ST130 the NC machining program generation unit 43 generates a first NC machining program 111 that is an NC machining program with reference to the acquired machining knowledge.
  • step ST140 the NC machining program generation unit 43 associates the CAD data 100 with the machining knowledge referred to in generating the first NC machining program 111 with the first NC machining program 111, and associates the CAD data 100 with the first NC machining program 111. And the processing knowledge are transmitted to the NC processing program storage unit 44.
  • the NC machining program storage unit 44 stores the CAD data 100, the first NC machining program 111, and machining knowledge.
  • step ST150 the NC processing program editing unit 45 reads the CAD data 100, the first NC processing program 111, and the processing knowledge associated with the first NC processing program 111 from the NC processing program storage unit 44, and reads the first NC processing program.
  • 111 is transmitted to the interactive operation processing unit 10.
  • the interactive operation processing unit 10 causes the display unit 20 to display the first NC machining program 111 transmitted from the NC machining program editing unit 45, and urges the operator to confirm the first NC machining program 111.
  • the NC processing program editing unit 45 receives the editing instruction information, edits the first NC processing program 111 based on the editing instruction information, and generates the second NC processing program 112.
  • the second NC machining program 112 is an NC machining program in which the first NC machining program 111 has been edited based on the editing instruction information. Then, the NC processing program editing unit 45 transmits the CAD data 100, the first NC processing program 111, the processing knowledge associated with the first NC processing program 111, and the second NC processing program 112 to the state observation unit 51.
  • step ST170 the state observing unit 51 compares the first NC machining program 111 and the second NC machining program 112 transmitted from the NC machining program editing unit 45, and acquires the edited contents of the first NC machining program 111. . Accordingly, the state observation unit 51 acquires the CAD data 100 that is the processing shape data, the processing knowledge associated with the first NC processing program 111, and the editing content for the first NC processing program 111, as the state variables.
  • step ST180 the state observation unit 51 reflects the editing contents of the first NC machining program 111 on the machining knowledge referred to in the generation of the first NC machining program 111, and generates reflected machining knowledge.
  • the state observation unit 51 transmits the machining knowledge and the reflected machining knowledge associated with the first NC machining program 111 to the reward calculation unit 53 as observation results.
  • step ST190 the reward calculation unit 53 compares the processing knowledge associated with the first NC processing program 111 with the reflected processing knowledge, and determines whether or not both are the same. When both are the same, it becomes Yes in step ST190, and proceeds to step ST200. When both are different, it becomes No in step ST190, and it proceeds to step ST210.
  • the reward calculation unit 53 calculates a reward r that increases the reward r of the reflected machining knowledge so that the action value Q with respect to the reward r of the reflected machining knowledge increases, and performs the machining associated with the first NC machining program 111. It is added to the reward r of the reflection processing knowledge inherited from the knowledge. Thereby, the reward r of the reflected machining knowledge is larger than the reward r inherited from the machining knowledge associated with the first NC machining program 111. As a result, the action value Q of the reflection processing knowledge increases.
  • the machining knowledge associated with the first NC machining program 111 is the same as the reflected machining knowledge, the machining knowledge itself associated with the first NC machining program 111 is the reflected machining knowledge. Since the reflected machining knowledge has not been edited for the first NC machining program 111, it is considered that the reflected machining knowledge is high-quality reflected machining knowledge. That is, the machining knowledge associated with the first NC machining program 111 is considered to be high-quality machining knowledge.
  • the reward r of the reflected machining knowledge is set at step ST200.
  • the reflection processing knowledge A121a is reflection processing knowledge generated based on the processing knowledge A121.
  • the reflection processing knowledge B121b is reflection processing knowledge generated based on the processing knowledge B122.
  • the reflection processing knowledge C121c is reflection processing knowledge generated based on the processing knowledge C123.
  • the open part is a part that is exposed on the surface of the material in the turning sectional shape t.
  • Material S45C Processing method: When the vertical length of the turning cross-sectional shape is 10 mm or less and the horizontal length of the turning cross-sectional shape is 10 mm or less, a turning grooving step is performed. When the vertical length and the horizontal length of the turning cross-sectional shape are other than the above conditions, a turning bar process is performed.
  • step ST210 the reward calculation unit 53 calculates a reward r for decreasing the reward r of the processing knowledge so as to decrease the action value Q with respect to the reward r of the processing knowledge, and integrates the reward r with the reward r of the processing knowledge.
  • the reward r of the machining knowledge is smaller than the reward r when referred to in the generation of the first NC machining program 111.
  • the action value Q of the processing knowledge decreases.
  • the reflection processing knowledge A131 is reflection processing knowledge generated based on the processing knowledge A121.
  • the reflection processing knowledge B132 is reflection processing knowledge generated based on the processing knowledge B122.
  • the reflection processing knowledge C133 is reflection processing knowledge generated based on the processing knowledge C123.
  • the machining knowledge associated with the first NC machining program 111 is different from the reflected machining knowledge, the content of editing of the first NC machining program 111 has been performed. For this reason, it is considered that the machining knowledge associated with the first NC machining program 111 is machining knowledge having a lower quality than the reflected machining knowledge.
  • the reward calculation unit 53 calculates a reward r that increases the reward r of the reflected machining knowledge so that the action value Q with respect to the reward r of the reflected machining knowledge increases in step ST200 after the step ST210.
  • the reward r of the reflected processing knowledge inherited from the processing knowledge associated with 111 is added to the reward r.
  • the reward r of the reflected machining knowledge is larger than the reward r inherited from the machining knowledge associated with the first NC machining program 111.
  • the action value Q of the reflection processing knowledge increases.
  • step ST220 the function updating unit 54 updates the action value function Q (s, a) based on the reward r of the reflected processing knowledge calculated in step ST200 or ST210, and updates the first NC processing program 111.
  • An action value Q which is an evaluation value of the processing knowledge and the reflected processing knowledge associated with.
  • the function updating unit 54 stores the action value Q defined for the reflected machining knowledge as machining knowledge together with the reflected machining knowledge in association with the reflected machining knowledge.
  • the function updating unit 54 stores the action value Q defined for the machining knowledge associated with the first NC machining program 111 as machining knowledge together with the machining knowledge in association with the machining knowledge.
  • the function updating unit 54 includes the processing knowledge associated with the first NC processing program 111, the processing knowledge for which the action value Q is determined in step ST220, and the reflected processing knowledge for which the action value Q is determined in step ST220.
  • the action value Q is stored as the processing knowledge corresponding to the CAD data 100.
  • the decision making unit 46 determines that the knowledge and experience of the worker is appropriately reflected as the most appropriate processing knowledge and has a relatively high action value Q. Reflection processing knowledge, which is processing knowledge, can be determined.
  • the processing knowledge associated with the first NC processing program 111 for which the action value Q was determined in step ST220, which is stored in the function updating unit 54 and referred to in generating the first NC processing program 111 May be updated.
  • step ST110 to step ST220 is repeatedly executed for the newly read CAD data 100. Then, when a new reflected machining knowledge is generated, accompanying information such as the management number of the base machining knowledge, information on the finished shape of the machining, information on the material of the material, and reward r is carried over.
  • step ST110 to step ST220 the processing from step ST110 to step ST220 is repeated, the reflected processing knowledge determined by the decision making unit 46 corresponds to the processing knowledge in step ST120 described above.
  • step ST210 can be omitted.
  • FIG. 5 is a flowchart illustrating details of the procedure of the NC machining program generation process in the NC machining program generation unit 43 of the NC machining program generation device 40 according to the first embodiment of the present invention.
  • FIG. 6 is a perspective view showing an example of a three-dimensional model of a processed shape represented by CAD data 100 according to Embodiment 1 of the present invention.
  • FIG. 7 is a perspective view showing an example of a material shape including a processed shape represented by CAD data 100 according to Embodiment 1 of the present invention.
  • FIG. 6 is a perspective view showing an example of a three-dimensional model of a processed shape represented by CAD data 100 according to Embodiment 1 of the present invention.
  • FIG. 7 is a perspective view showing an example of a material shape including a processed shape represented by CAD data 100 according to Embodiment 1 of the present invention.
  • FIG. 8 is a perspective view showing an example of the processed removal shape generated from the processed shape and the material shape represented by the CAD data 100 according to the first embodiment of the present invention.
  • FIG. 9 is a diagram showing a raw material shape S, a turned cross-sectional shape generated from a processed shape, and coordinate values according to the first embodiment of the present invention.
  • an NC machining program relating to turning, which performs cutting while rotating a material is created.
  • step ST310 the NC processing program generation unit 43 reads the CAD data 100 stored in the processing shape data storage unit 42, and outputs the three-dimensional data represented by the CAD data 100 as shown in FIG. Is generated and arranged at the program origin which is the machining origin of the program coordinate system.
  • the Z axis is a turning axis SG that is a central axis when performing turning.
  • the NC machining program generation unit 43 sets the machining finished shape such that the rotation axis of the cylindrical surface or the conical surface of which the diameter is the largest among the finished machining shapes coincides with the Z axis.
  • the machined shape is moved and rotated for placement.
  • the end surface of the processed shape in the Z-axis direction is moved so as to coincide with the program origin. That is, the NC machining program generation unit 43 extracts, from the CAD data 100, a cylindrical surface or a conical surface having the same turning axis SG and the rotation center axis as the turning end surface. Therefore, the NC processing program generation unit 43 generates a three-dimensional processing finished shape using the turning axis as the rotation center axis from the CAD data 100.
  • step ST320 the NC processing program generation unit 43 generates a three-dimensional cylindrical shape including the processed shape arranged at the program origin, as shown in FIG. Then, the NC processing program generation unit 43 arranges the generated columnar shape as a material shape in the program coordinate system in the same manner as the processed shape.
  • the material shape is the shape of the material from which the finished shape is cut by turning. That is, the NC processing program generation unit 43 generates a three-dimensional material shape based on the processing finish shape generated from the CAD data 100.
  • the size of the cylindrical shape including the finished shape can be determined from the maximum value and the minimum value in the X-axis direction, the Y-axis direction, and the Z-axis direction of the finished shape.
  • the material shape has a dimension in the Z-axis direction that is larger by 2 mm to 3 mm than the processed shape in accordance with the processed shape.
  • the end surface of the material shape in the Z-axis direction is arranged at a position protruding from the program origin by 2 mm to 3 mm in a direction away from the processed shape.
  • the material outer diameter is 150 mm
  • the material length is 120 mm
  • the material is S45C.
  • step ST330 the NC processing program generation unit 43 generates a processing removal shape, which is a shape to be removed from the material shape by turning as shown in FIG. 8, from the processed finish shape and the material shape.
  • the processing finish shape is indicated by a broken line.
  • the processing removal shape can be obtained by a difference operation of subtracting the processing completion shape solid model from the material shape solid model.
  • the NC processing program generation unit 43 generates a turning cross-sectional shape t which is a cross-sectional shape of the processing removal shape.
  • the turning cross-sectional shape t is a ⁇ turning cross-sectional shape obtained by projecting the processing removal shape on a + XZ plane that is limited to only the + X region in the XZ plane.
  • the turning cross-sectional shape t can be obtained by calculating a cross-sectional shape by a product operation of a cross-sectional model formed of an XZ plane and a solid model formed of a processed shape, and limiting the range as a region of X ⁇ 0.
  • a turning cross-sectional shape t1 and a turning cross-sectional shape t2 which are the turning cross-sectional shapes t, are generated.
  • step ST350 the NC processing program generation unit 43 acquires the processing knowledge corresponding to the CAD data 100 from the function updating unit 54 via the decision making unit 46, and refers to it.
  • the NC machining program generation unit 43 acquires and refers to the machining knowledge A121, the machining knowledge B122, and the machining knowledge C123 described above, which are stored in the function updating unit 54, for example.
  • the NC processing program generation unit 43 acquires, for example, a management number commonly assigned to the CAD data 100 and the processing knowledge from the CAD data 100, and transmits the management number to the decision making unit 46.
  • the decision making unit 46 can search for the desired machining knowledge specified by the NC machining program generation unit 43 using the management number as a search condition.
  • the turning end face step is a step of performing a turning end face machining in which the protruding portion of the material end face is cut off with a turning end face tool.
  • the turning drill step is a step of performing a turning drill process for drilling a hole along a central axis with a turning drill in a radially central region of a material.
  • the turning bar process is a process of performing a turning bar process for turning the outer periphery, inner periphery, front or back surface of the round bar material with a turning tool.
  • the turning grooving step is a step of performing a turning grooving process in which a round grooving tool is used to form a groove on an outer periphery, an inner periphery, a front surface, or a back surface of a round bar material.
  • the end chamfer allowance is a shaving allowance in turning end face machining.
  • step ST360 the NC machining program generation unit 43 divides the turning cross-sectional shape t of the machining removal shape into a plurality of different machining processes according to the acquired machining knowledge A121, machining knowledge B122, and machining knowledge C123, and performs the turning process. Generate a shape.
  • the turning shape is a turning cross-sectional shape t in each processing step when a finished processing shape is cut out from a material by a plurality of different processing steps.
  • FIG. 10 is a diagram illustrating a turning cross-sectional shape SH1 in a turning end face step according to the first embodiment of the present invention.
  • FIG. 11 is a diagram illustrating a turning cross-sectional shape SH2 in a turning drill process according to the first embodiment of the present invention.
  • FIG. 12 is a diagram illustrating a turning cross-sectional shape SH3 in a turning bar process according to the first embodiment of the present invention.
  • FIG. 13 is a diagram illustrating a turning cross-sectional shape SH4 in a turning bar process according to the first embodiment of the present invention.
  • the NC processing program generation unit 43 acquires information of an edge chamfer margin: 10 mm from the turning cross-sectional shape t1. Then, the NC machining program generation unit 43 refers to the machining knowledge A121, determines that the turning end face process is to be performed first because the edge chamfering margin is not more than 20 mm, and performs the turning from the turning cross-sectional shape t1 as shown in FIG. The turning sectional shape SH1 in the end face process is divided.
  • the NC processing program generation unit 43 refers to the processing knowledge A121, determines that the turning drill step is to be performed after the turning end face step, and turns the turning cross section of the turning drill step from the turning cross section shape t1 as shown in FIG.
  • the shape SH2 is divided.
  • the NC machining program generation unit 43 divides the turning section shape SH3 in the turning bar process from the turning section shape t1.
  • the NC machining program generation unit 43 divides the turning cross-sectional shape t2 as a turning cross-sectional shape SH4 in the turning bar process as shown in FIG.
  • step ST370 the NC machining program generation unit 43 assigns a turning process according to the machining knowledge A121, the machining knowledge B122, and the machining knowledge C123 to the turning cross-sectional shape that is the divided machining shape, and generates the turning process.
  • FIG. 14 is a diagram illustrating an example of a processing start point and a processing end point in the turning end face process according to the first embodiment of the present invention.
  • FIG. 15 is a diagram illustrating an example of a machining start point and a machining end point in the turning drill process according to the first embodiment of the present invention.
  • FIG. 16 is a diagram illustrating an example of a cutting point, a processing start point, and a processing end point in the turning bar process according to the first embodiment of the present invention.
  • FIG. 17 is a diagram illustrating an example of a cut point, a processing start point, and a processing end point in the turning bar process according to the first embodiment of the present invention.
  • the NC machining program generation unit 43 acquires the coordinate value of the machining start point P1 and the coordinate value of the machining end point P2 of the turning end face process from the turning cross-sectional shape SH1 of the turning end face process as shown in FIG. A turning end face step LC1 is generated.
  • the NC machining program generation unit 43 calculates the hole diameter of the hole to be machined by the turning drill, the coordinate value of the machining start point P3, and the machining end point P4 from the turning sectional shape SH2 in the turning drill process.
  • the coordinate value is obtained, and a turning drill process LC2, which is a turning drill process, is generated.
  • the NC processing program generation unit 43 obtains information on the vertical length of the open portion shape: 30 mm from the turning cross-sectional shape SH3 in the turning bar process and the horizontal direction of the open portion shape. Length: 30 mm information is acquired. Then, the NC processing program generation unit 43 refers to the processing knowledge B122, and since “the horizontal length of the opening shape ⁇ the vertical length of the opening shape” is “1.0”, The machined part in the turning bar process is determined as the outer diameter.
  • the NC machining program generation unit 43 calculates the coordinate value of the cutting point P5, the coordinate value of the machining start point P6, and the coordinate value of the machining end point P7 of the turning cross-sectional shape SH3 from the turning cross-sectional shape SH3 in the turning bar process. Is obtained, and a turning bar outer diameter process LC3, which is a turning bar process in which the processing portion has an outer diameter, is generated.
  • the NC processing program generation unit 43 obtains information on the vertical length of the turning section shape SH4: 10 mm from the turning section shape SH4 in the turning bar process, and the horizontal direction of the turning section shape SH4. Length: 20 mm information is acquired. Then, the NC machining program generation unit 43 refers to the machining knowledge C123, and the longitudinal length of the turning cross-sectional shape SH4 is 10 mm or less, and the horizontal length of the turning cross-sectional shape SH4 is not 10 mm or less. Therefore, it is determined that the turning bar process is to be performed.
  • the NC processing program generation unit 43 acquires information on the vertical length of the open portion shape: 10 mm and information on the horizontal length of the open portion shape: 20 mm from the turning cross-sectional shape SH4 in the turning bar process. . Then, the NC processing program generation unit 43 refers to the processing knowledge B122, “the horizontal length of the open part shape ⁇ the vertical length of the open part shape” is “2.0” and “1. Since it is not “less than 0”, the processing portion is determined to be the outer diameter.
  • the NC processing program generation unit 43 obtains the coordinate values of the cutting point P8, the processing start point P9, and the processing end point P10 of the turning cross-sectional shape SH4 from the turning cross-sectional shape SH4 in the turning bar process, and Generates a turning bar outer diameter process LC4, which is a turning bar process in which the outside diameter is set.
  • Turning end face process LC1 machining start point P1 (75, -10), machining end point P2 (0, 0) -Turning drill process LC2: hole diameter 30 mm, processing start point P3 (0, 0), processing end point P4 (0, 110) -Turning rod material outer diameter process LC3: cutting point P5 (75, 0), processing start point P6 (45, 0), processing end point P7 (45, 30) -Turning rod material outer diameter process LC4: cutting point P8 (75, 60), processing start point P9 (65, 60), processing end point P10 (65, 80)
  • the NC machining program generation unit 43 refers to the machining knowledge A121, the machining knowledge B122, and the machining knowledge C123, and performs a plurality of different turning processes for shaving a finished shape from the material. Can be automatically generated. Then, the turning process is automatically generated with reference to the machining knowledge in which the editing content reflecting the knowledge and experience of the worker is reflected and accumulated, so that an NC machining program is prepared by the worker himself. Similarly, a turning process desired by an operator can be automatically generated.
  • the learning behavior by the machine learning device 50 according to the first embodiment is continuously performed every time an NC machining program is generated. Therefore, the NC processing program generation device 40 according to the first embodiment is a processing method for generating an NC processing program corresponding to the CAD data 100 including information on the finished shape of the cut product and information on the material of the material. Autonomous learning of knowledge is continuously performed. That is, the NC processing program generation device 40 including the machine learning device 50 is configured to output the NC processing program generated by the NC processing program generation unit 43 based on the editing content edited by the NC processing program editing unit 45. Continuously and autonomously learn machining knowledge with high machining efficiency reflecting knowledge and experience.
  • the state observing unit 51 acquires information of an end chamfer margin: 10 mm from the turning cross-sectional shape SH1 of the turning end face process LC1 of the second NC machining program 112 transmitted from the NC machining program editing unit 45.
  • the state observing unit 51 generates the reflected machining knowledge A131 in which the editing content of the first NC machining program 111 is reflected and the machining knowledge A121 is changed to the following condition.
  • the machining portion of the turning bar outer diameter process LC3 is changed from the outer diameter to the front, and the turning bar outer diameter process LC3 is changed to the turning bar front process LC31.
  • the state observation unit 51 obtains information on the vertical length of the open portion shape: 30 mm from the turning cross-sectional shape SH3 of the turning rod outer diameter process LC3 of the second NC processing program 112 transmitted from the NC processing program editing unit 45, Information on the lateral length of the opening shape: 30 mm is acquired.
  • the processing part is changed to the front under the condition that “the horizontal length of the opening shape ⁇ the vertical length of the opening shape” is “1.0”.
  • the first NC machining program 111 is edited and the second NC machining program 112 is generated.
  • the state observation unit 51 generates a reflected machining knowledge B132 in which the machining knowledge B122 is changed to the following condition by reflecting the edited contents of the first NC machining program 111.
  • the state observation unit 51 obtains information of the vertical length: 10 mm of the turning cross-sectional shape SH4 from the turning cross-sectional shape SH4 of the turning bar outer diameter process LC4 of the second NC processing program 112 transmitted from the NC processing program editing unit 45. , Information on the lateral length of the turning cross-sectional shape SH4: 20 mm.
  • the turning grooving process LC41 is performed under the condition that the vertical length of the turning cross section SH4 is 10 mm and the horizontal length of the turning cross section SH4 is 20 mm.
  • the first NC machining program 111 is edited so that the second NC machining program 112 is generated. Therefore, the state observing unit 51 generates the reflected machining knowledge C133 in which the editing content of the first NC machining program 111 is reflected and the machining knowledge C123 is changed to the following condition.
  • FIG. 18 is a diagram illustrating a turning cross-sectional shape SH5 in a turning drill step according to the first embodiment of the present invention.
  • FIG. 19 is a diagram illustrating a turning cross-sectional shape SH6 in a turning end face step according to the first embodiment of the present invention.
  • FIG. 20 is a diagram illustrating a turning cross-sectional shape SH7 in a turning bar process according to the first embodiment of the present invention.
  • FIG. 21 is a diagram illustrating a turning cross-sectional shape SH8 in a turning bar process according to the first embodiment of the present invention.
  • the NC machining program generation unit 43 acquires information on the material length: 120 mm and information on the material outer diameter: 150 mm from the material shape, and acquires information on the edge chamfer margin: 10 mm from the turning cross-sectional shape t1. Then, the NC machining program generation unit 43 refers to the reflected machining knowledge A131, determines that the turning drill step is to be performed first because the edge chamfering margin is 10 mm or more, and turns the turning cross-sectional shape t1 as shown in FIG. From the turning cross section shape of the turning drill process.
  • the NC machining program generation unit 43 refers to the reflection machining knowledge A131, determines that the turning end face process is performed after the turning drill process, and performs the turning of the turning end face process from the turning cross-sectional shape t1 as shown in FIG.
  • the sectional shape SH6 is divided.
  • the NC machining program generation unit 43 divides the turning section shape SH7 in the turning bar process from the turning section shape t1.
  • the NC processing program generation unit 43 divides the turning cross-sectional shape t2 as a turning cross-sectional shape SH8 in the turning bar process as shown in FIG.
  • FIG. 22 is a diagram illustrating an example of a machining start point and a machining end point in the turning drill process according to the first embodiment of the present invention.
  • FIG. 23 is a diagram illustrating an example of a machining start point and a machining end point in the turning end face process according to the first embodiment of the present invention.
  • FIG. 24 is a diagram illustrating an example of a cutting point, a processing start point, and a processing end point in the turning bar front surface process according to the first embodiment of the present invention.
  • FIG. 25 is a diagram illustrating an example of a cutting point, a processing start point, and a processing end point in the turning bar grooving step according to the first embodiment of the present invention.
  • the NC machining program generation unit 43 calculates the hole diameter of the hole to be machined by the turning drilling, the coordinate value of the machining start point P11, and the coordinate value of the machining end point P12 from the turning cross-sectional shape SH5 in the turning drill process, as shown in FIG. And a turning drill step LC11 which is a turning drill step is generated.
  • the NC machining program generation unit 43 acquires the coordinate values of the machining start point P13 and the coordinate value of the machining end point P14 of the turning end face process from the cross-sectional shape SH6 of the turning end face process, as shown in FIG. Then, a turning end face step LC12, which is a turning end face step, is generated.
  • the NC processing program generation unit 43 obtains information on the vertical length of the open section shape: 30 mm from the turning cross-sectional shape SH7 in the turning bar process and the horizontal direction of the open section shape. Length: 30 mm information is acquired. Then, the NC processing program generation unit 43 refers to the reflection processing knowledge B132, “the horizontal length of the open part shape ⁇ the vertical length of the open part shape” is “1.0” and “1”. .0 or less ", the machined part in the turning bar process is determined to be the front.
  • the NC processing program generation unit 43 calculates the coordinate value of the cutting point P15, the coordinate value of the processing start point P16, and the coordinate value of the processing end point P17 of the turning cross-sectional shape SH7 from the turning cross-sectional shape SH7 in the turning bar process. Is obtained, and a turning bar front surface process LC3, which is a turning bar process in which the processing portion is set to the front, is generated.
  • the NC processing program generation unit 43 obtains information on the length of the turning cross section shape SH8 in the vertical direction: 10 mm, and the horizontal direction of the turning cross section shape SH8 from the turning cross section shape SH8 in the turning bar process. Length: 20 mm information is acquired. Then, the NC machining program generation unit 43 refers to the reflection machining knowledge C133 and determines that the vertical length of the turning cross-sectional shape SH4 is 10 mm or less, and that the horizontal length of the turning cross-sectional shape SH4 is 20 mm or less. Therefore, it is determined that the turning grooving step is performed.
  • the NC processing program generation unit 43 acquires information on the vertical length of the open part shape: 10 mm and information on the horizontal length of the open part shape: 20 mm from the turning cross-sectional shape SH8 in the turning bar process. .
  • the NC processing program generation unit 43 acquires information of the groove depth: 10 mm from the information of the vertical length: 10 mm of the opening shape, and obtains the groove width: 20 mm from the information of the horizontal length: 20 mm of the opening shape. Get information.
  • the NC machining program generation unit 43 acquires the coordinate value of the machining start point P18 from the turning cross-sectional shape SH8 in the turning bar process, and generates the turning grooving process LC14.
  • -Turning drill process LC11 hole diameter 30 mm, processing start point P11 (0, -10), processing end point P12 (0, 110)
  • Turning end face process LC12 machining start point P13 (75, -10), machining end point P14 (15, 0)
  • -Turning rod material front process LC13 cutting point P15 (75, 0), processing start point P16 (75, 30), processing end point P17 (45, 30)
  • -Turning grooving process LC14 groove width 20 mm, groove depth 10 mm, processing start point P18 (75, 60)
  • the NC machining program generation unit 43 refers to the reflected machining knowledge A131, the reflected machining knowledge B132, and the reflected machining knowledge C133, and performs a plurality of different turning operations for shaping a machining finished shape from the material. Processing steps can be generated automatically.
  • the worker himself / herself creates an NC machining program by automatically generating a turning process with reference to the reflected machining knowledge in which the editing content reflecting the knowledge and experience of the worker is reflected and accumulated. In the same manner as in the above, a turning process desired by the operator can be automatically generated.
  • the decision making unit 46 uses the result learned by the machine learning device 50 to determine machining knowledge or reflected machining knowledge corresponding to a request from the NC machining program generation unit 43. Incidentally, once the NC machining program is generated, the NC machining program may be edited by the NC machining program generation unit 43 in some cases. Since the machine learning device 50 according to the present embodiment has already learned the reflection processing knowledge, the decision making unit 46 determines the most appropriate reflection processing knowledge corresponding to the request from the NC processing program generation unit 43 as a function. It can be determined as needed from the processing knowledge stored in the updating unit 54.
  • the machine learning device 50 can learn the relationship between the material of the material, the CAD data 100, and the processing knowledge. Therefore, when it is estimated that the NC machining program is edited based on the material of the material and the CAD data 100, the machining knowledge or the reflected machining knowledge determined by the decision making unit 46 may be switched. Good.
  • the reflection processing knowledge may be stored in association with the CAD data 100 itself.
  • the CAD data 100 is stored in the function updating unit 54 together with the processing knowledge A121 in association with the reflection processing knowledge A131.
  • the reflection processing knowledge may store information associated with the CAD data 100 in association therewith.
  • information associated with the CAD data 100 is stored together with the reflected machining knowledge A131 in association with the reflected machining knowledge A131.
  • the information accompanying the CAD data 100 include an image of the CAD data, a part of the CAD data, and the like. It should be noted that the information accompanying the CAD data 100 can be rephrased as information accompanying a combination of information on the finished shape of the cut product and information on the material of the workpiece.
  • the decision making unit 46 searches and obtains a desired reflected machining knowledge from the plurality of machining knowledges stored in the function updating unit 54, using the CAD data 100 or information accompanying the CAD data 100 as a search condition. It is possible to do.
  • the machining knowledge and the reflected machining knowledge may be stored separately for each NC machine tool controlled by executing the NC machining program.
  • NC machine tools for example, different types of NC machine tools are used.
  • different optional functions are added for each NC machine tool. For this reason, the functions often differ from one NC machine tool to another. In this case, machining knowledge has conditions suitable for each NC machine tool.
  • the NC machining program generation unit 43 creates the NC machining program by generating the NC machining program with reference to the machining knowledge or the reflected machining knowledge managed separately for each NC machine tool, It is possible to quickly and automatically generate an NC machining program suitable for each NC machine tool desired by the operator.
  • FIG. 26 is a schematic diagram illustrating an example of a neural network model followed by the machine learning device 50 according to the first embodiment of the present invention.
  • the neural network includes, for example, an input layer including l input neurons, an intermediate layer including m neurons, and an output layer including n output neurons.
  • FIG. 26 shows an example of a neural network model including an input layer including four input neurons, an intermediate layer including five neurons, and an output layer including one output neuron. Although only one intermediate layer is shown in FIG. 26, two or more intermediate layers may be provided.
  • the neural network learns the relationship between state variables and environmental changes so as to intuitively learn optimal behavior based on human success or failure experience.
  • the neural network learns the relationship between the state variables and the environmental changes according to a data set created based on the state variables observed by the state observation unit 51. That is, the neural network learns the relationship between the state variable and the environmental change by so-called supervised learning.
  • the machine learning device 50 in response to the machining shape data input to the input layer of the neural network and the process of generating the NC machining program, the machine learning device 50 outputs machining knowledge corresponding to the machining shape data. Output machining knowledge that reflects the knowledge and experience of the operator more appropriately. Then, the decision making unit 46 functions to determine an optimal NC machining program generation method.
  • the machine learning device 50 learns the relationship between the processing shape data, the generation method of the NC processing program, and the editing content for the first NC processing program 111, and generates the NC processing program. It is possible to learn the method.
  • the machine learning device 50 may perform other known methods, for example, a genetic programming, a functional logic.
  • Machine learning may be performed according to programming, a support vector machine, or the like.
  • the learning unit 52 can learn machining knowledge applied to the NC machining program used in another numerical control device.
  • the learning unit 52 performs, based on machining knowledge used for generating an NC machining program generated for another numerical control device and editing contents of the NC machining program, with respect to certain machining shape data, the other numerical control device. May be configured to learn machining knowledge applied to the NC machining program used in the program.
  • the learning unit 52 may learn machining knowledge applied to the NC machining program used in another numerical controller that operates on the same site, and may use other numerical controllers that operate independently on different sites. Machining knowledge applied to the NC machining program used may be learned.
  • FIG. 27 is a diagram illustrating a hardware configuration of the NC machining program generation device 40 according to the first embodiment of the present invention.
  • the hardware illustrated in FIG. 27 includes a processor 201 that performs arithmetic processing, a memory 202 that the processor 201 uses as a work area, a storage device 203 that stores a program for operating as a numerical controller or a program conversion device, An input device 204 that is an input interface between the user and a display device 205 that displays information to an operator, a controlled device or another numerical control device, and a communication device 206 that has a communication function with various other devices. , Is provided.
  • the processor 201, the memory 202, the storage device 203, the input device 204, the display device 205, and the communication device 206 are connected by a data bus 207.
  • the processor 201 may be a processing device, an arithmetic device, a microprocessor, a microcomputer, a CPU (Central Processing Unit), a DSP (Digital Signal Processor), or the like.
  • the memory 202 is a nonvolatile or volatile semiconductor such as a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable ROM), or an EEPROM (registered trademark) (Electrically EPROM).
  • a memory, a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD (Digital Versatile Disc), or the like is applicable.
  • the NC machining program generation unit 43 is realized, for example, by the processor 201 executing a program stored in the memory 202 shown in FIG. Further, a plurality of processors and a plurality of memories may cooperate to realize the above function. Further, a part of the functions of the NC processing program generation unit 43 may be implemented as an electronic circuit, and the other part may be realized using the processor 201 and the memory 202.
  • the machining shape data input unit 41, the NC machining program editing unit 45, the decision-making unit 46, the state observation unit 51, the reward calculation unit 53, and the function update unit 54 are similarly processed by the processor 201. May be realized by executing. Further, a plurality of processors and a plurality of memories may cooperate to realize the above function. Also, a part of the functions of the machining shape data input unit 41, the NC machining program editing unit 45, the decision making unit 46, the state observing unit 51, the reward calculating unit 53, and the function updating unit 54 are implemented as an electronic circuit, Other portions may be realized using the processor 201 and the memory 202.
  • a processor and a memory for realizing the functions of the machining shape data input unit 41, the NC machining program editing unit 45, the decision making unit 46, the state observing unit 51, the reward calculating unit 53, and the function updating unit 54 are provided by NC machining.
  • the processor and the memory that implement the program generation unit 43 may be the same, or may be different processors and memories.
  • the NC processing program generation device 40 performs the processing in which the editing content reflecting the knowledge and experience of the worker is reflected and accumulated based on the CAD data 100 which is the processing shape data.
  • the NC processing program generation device 40 including the machine learning device 50 performs the NC processing corresponding to the CAD data 100 including the information of the finished shape of the cut product and the information of the material of the material.
  • Autonomously learn machining knowledge which is a method of generating a program. That is, the NC processing program generation device 40 including the machine learning device 50 is configured to output the NC processing program generated by the NC processing program generation unit 43 based on the editing content edited by the NC processing program editing unit 45.
  • Autonomously learn machining knowledge that reflects knowledge and experience and has high machining efficiency.
  • the decision making unit 46 corresponds to the CAD data 100 from the machining knowledge stored in the function updating unit 54.
  • the processing knowledge with the highest action value Q and the highest processing efficiency can be determined based on the learning result.
  • the NC machining program generation device 40 even if there is no accumulation of the knowledge or know-how of a skilled worker, the machining process is close to the turning process desired by the operator, and the machining efficiency is high and high-quality NC machining is performed. Automatic generation of programs becomes possible. Then, since it is not necessary for the operator to generate the NC machining program by trial and error, the work efficiency of creating the NC machining program is improved. As a result, in the NC processing program generation device 40 according to the first embodiment, the effect of reducing the time required for automatically generating the NC processing program and the effect of reducing the processing time of the workpiece can be obtained.
  • the NC machining program generation device 40 learns the user's NC machining program editing contents and reflects it in the machining knowledge, the user's NC machining program editing work is reduced when the next NC program is generated. be able to.
  • 1 numerical control device 10 interactive operation processing unit, 20 display unit, 30 instruction input unit, 40 NC processing program generation unit, 41 processing shape data input unit, 42 processing shape data storage unit, 43 NC processing program generation unit, 44 NC Machining program storage unit, 45 NC machining program editing unit, 46 decision making unit, 50 machine learning device, 51 state observation unit, 52 learning unit, 53 reward calculation unit, 54 function update unit, 100 CAD data, 111 first NC machining program , 112 ⁇ second NC machining program, 121 ⁇ machining knowledge A, 122 ⁇ machining knowledge B, 123 ⁇ machining knowledge A, 132 ⁇ reflection machining knowledge B, 133 ⁇ reflection machining knowledge C, 201 ⁇ processor, 202 ⁇ memory, 203 ⁇ storage device, 20 Input device, 205 display unit, 206 communication device, 207 a data bus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Numerical Control (AREA)

Abstract

機械学習装置（５０）は、切削加工品の加工仕上がり形状の情報および素材の材質の情報を含む加工形状データと、被加工物から切削加工品を削り出すための複数の切削加工を含む数値制御加工プログラムを自動生成するための数値制御加工プログラムの生成方法と、数値制御加工プログラムの生成方法を参照して生成された第１数値制御加工プログラムに対する編集内容と、を状態変数として観測する状態観測部（５１）と、状態変数に基づいて作成されるデータセットに従って、数値制御加工プログラムの生成方法を学習する学習部（５２）と、を備える。

Description

機械学習装置、数値制御加工プログラム生成装置および機械学習方法
　本発明は、工作機械を数値制御するための数値制御加工プログラムの自動生成に用いられる数値制御加工プログラムの生成方法を学習する機械学習装置、数値制御加工プログラム生成装置および機械学習方法に関する。
　近年、数値制御（Ｎｕｍｅｒｉｃａｌ　Ｃｏｎｔｒｏｌ：ＮＣ）工作機械の分野では、複雑且つ多彩な形状の工作物を自動加工できるようにするため、多種類の工具を刃物台に交換可能に装備して、旋削加工、穴あけ加工、フライス加工等の多様な加工工程を実施可能にする複合機械化が進められている。
　特許文献１には、自動生成した加工プログラムに対してオペレータが修正した切削条件の修正内容を記憶部に記憶させて、他のオペレータが次に同様の加工プログラムを作成する際に、修正後の切削条件を再利用可能な数値制御加工プログラム作成装置が開示されている。
特開２００２－１３２３１３号公報
　しかしながら、上記特許文献１の数値制御加工プログラム作成装置では、再利用可能とされているのは、加工対象素材を回転させる主軸の回転数、回転工具と加工対象素材との間の相対的切削送り量および切り上げといった切削条件だけであり、加工順序および加工方法に関しては加工プログラムを自動生成することができなかった。
　本発明は、上記に鑑みてなされたものであって、加工順序および加工方法のうち少なくとも一方に関して加工プログラムを自動生成可能とする、数値制御加工プログラムの生成方法を自動的に学習することができる機械学習装置を得ることを目的とする。
　上述した課題を解決し、目的を達成するために、本発明にかかる機械学習装置は、切削加工品の加工仕上がり形状の情報および素材の材質の情報を含む加工形状データと、被加工物から切削加工品を削り出すための複数の切削加工を含む数値制御加工プログラムを自動生成するための数値制御加工プログラムの生成方法と、数値制御加工プログラムの生成方法を参照して生成された第１数値制御加工プログラムに対する編集内容と、を状態変数として観測する状態観測部と、状態変数に基づいて作成されるデータセットに従って、数値制御加工プログラムの生成方法を学習する学習部と、を備える。
　本発明によれば、加工順序および加工方法のうち少なくとも一方に関して加工プログラムを自動生成可能とする、数値制御加工プログラムの生成方法を自動的に学習することができる機械学習装置が得られる、という効果を奏する。
本発明の実施の形態１にかかる数値制御装置の構成例を示すブロック図 行動価値テーブルの概念を示す図 本発明の実施の形態１にかかる機械学習装置の関数更新部に加工ナレッジおよび反映加工ナレッジが記憶された状態の一例を示す図 本発明の実施の形態１における行動価値関数Ｑ（ｓ，ａ）の更新処理の手順を示すフローチャート 本発明の実施の形態１にかかるＮＣ加工プログラム生成装置のＮＣ加工プログラム生成部におけるＮＣ加工プログラム生成処理の手順の詳細を示すフローチャート 本発明の実施の形態１におけるＣＡＤ（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ　Ｄｅｓｉｇｎ）データで表される加工仕上がり形状の立体モデルの一例を示す斜視図 本発明の実施の形態１におけるＣＡＤデータで表される加工仕上がり形状を包含する素材形状の一例を示す斜視図 本発明の実施の形態１におけるＣＡＤデータで表される加工仕上がり形状と素材形状とから生成された加工除去形状の一例を示す斜視図 本発明の実施の形態１における素材形状、加工形状から生成された旋削断面形状および座標値を示す図 本発明の実施の形態１にかかる旋削端面工程の旋削断面形状を示す図 本発明の実施の形態１にかかる旋削ドリル工程の旋削断面形状を示す図 本発明の実施の形態１にかかる旋削棒材工程の旋削断面形状を示す図 本発明の実施の形態１にかかる旋削棒材工程の旋削断面形状を示す図 本発明の実施の形態１にかかる旋削端面工程の加工開始点と加工終了点との一例を示す図 本発明の実施の形態１にかかる旋削ドリル工程の加工開始点と加工終了点との一例を示す図 本発明の実施の形態１にかかる旋削棒材工程の切り込み点と加工開始点と加工終了点との一例を示す図 本発明の実施の形態１にかかる旋削棒材工程の切り込み点と加工開始点と加工終了点との一例を示す図 本発明の実施の形態１にかかる旋削ドリル工程の旋削断面形状を示す図 本発明の実施の形態１にかかる旋削端面工程の旋削断面形状を示す図 本発明の実施の形態１にかかる旋削棒材工程の旋削断面形状を示す図 本発明の実施の形態１にかかる旋削棒材工程の旋削断面形状を示す図 本発明の実施の形態１にかかる旋削ドリル工程の加工開始点と加工終了点との一例を示す図 本発明の実施の形態１にかかる旋削端面工程の加工開始点と加工終了点との一例を示す図 本発明の実施の形態１にかかる旋削棒材正面工程の切り込み点と加工開始点と加工終了点との一例を示す図 本発明の実施の形態１にかかる旋削棒材溝入れ工程の切り込み点と加工開始点と加工終了点との一例を示す図 本発明の実施の形態１にかかる機械学習装置が従うニューラルネットワークモデルの一例を示す模式図 本発明の実施の形態１にかかるＮＣ加工プログラム生成装置のハードウェア構成を示す図
　以下に、本発明の実施の形態にかかる機械学習装置、数値制御加工プログラム生成装置および機械学習方法を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
実施の形態１．
　図１は、本発明の実施の形態１にかかる数値制御装置１の構成例を示すブロック図である。図１に示すように、数値制御装置１は、対話操作処理部１０と、表示部２０と、指示入力部３０と、ＮＣ加工プログラム生成装置４０とを備える。ＮＣ加工プログラム生成装置４０は、機械学習装置５０を備える。機械学習装置５０は、状態観測部５１と、学習部５２と、を備える。数値制御装置１は、不図示の数値制御工作機械に搭載され、または接続されて、ＮＣ加工プログラムにより数値制御工作機械の動作を数値制御する。
　対話操作処理部１０は、数値制御装置１と作業者との間のインタフェース部であるとともに、ＮＣ加工プログラム生成装置４０と作業者との間のインタフェース部である。対話操作処理部１０は、作業者が指示入力部３０を介して入力した指示情報をＮＣ加工プログラム生成装置４０に送信する。また、対話操作処理部１０は、作業者が指示入力部３０を介して入力した指示情報を表示部２０に表示する。
　表示部２０は、液晶モニタなどの表示端末であり、ＣＡＤデータ１００、ＮＣ加工プログラム、作業者が指示入力部３０を介して入力した指示情報を表示する。また、表示部２０は、数値制御装置１およびＮＣ加工プログラム生成装置４０で行われる処理に関する各種の情報を表示する。
　指示入力部３０は、マウスおよびキーボード等の入力機器を備えて構成され、作業者からの指示情報を受け付けて、対話操作処理部１０に送信する。
　ＮＣ加工プログラム生成装置４０は、数値制御装置１の外部からＮＣ加工プログラム生成装置４０に入力されるＣＡＤデータ１００で表される切削加工品の形状を切削加工により被加工物から削り出すために用いられるＮＣ加工プログラムを生成する。ＮＣ加工プログラムは、不図示のＮＣ工作機械を動作させるための数値加工プログラムである。また、数値制御装置１は、ＮＣ加工プログラムに従ってＮＣ工作機械を制御し、被加工物を切削加工して切削加工品を作製する。
　ＮＣ加工プログラム生成装置４０は、加工形状データ入力部４１と、加工形状データ記憶部４２と、ＮＣ加工プログラム生成部４３と、ＮＣ加工プログラム記憶部４４と、ＮＣ加工プログラム編集部４５と、意思決定部４６と、を備える。ＮＣ加工プログラム生成装置４０の各構成部は、互いに情報の送受信が可能とされている。
　加工形状データ入力部４１は、数値制御装置１の外部の外部装置からＮＣ加工プログラム生成装置４０に入力される加工形状データであるＣＡＤデータ１００を受け付けて、加工形状データ記憶部４２に送信する。加工形状データは、切削加工品の加工仕上がり形状の情報および素材の材質の情報を含む。加工仕上がり形状は、切削加工品を得るために切削加工により仕上げなければならない３次元形状である。素材は、ＣＡＤデータ１００で表される加工仕上がり形状が削り出される被加工物である。ただし、加工形状データはＣＡＤデータ１００に限定されない。加工形状データは、ＮＣ加工プログラム生成装置４０において解釈可能なデータであればよい。
　加工形状データ記憶部４２は、加工形状データ入力部４１から送信された加工形状データを記憶する。
　ＮＣ加工プログラム生成部４３は、ＣＡＤデータ１００で表される加工仕上がり形状を素材から削り出すためのＮＣ加工プログラムを生成する。詳細には、ＮＣ加工プログラム生成部４３は、切削加工品の加工形状データに基づいて、意思決定部４６を介して関数更新部５４から取得した加工ナレッジまたは反映加工ナレッジを参照して複数の切削加工における加工順序と加工方法とを決定する。そして、ＮＣ加工プログラム生成部４３は、決定した加工順序と加工方法に基づいて、被加工物から切削加工品を削り出すためのＮＣ加工プログラムである第１ＮＣ加工プログラム１１１を生成する。また、ＮＣ加工プログラム生成部４３は、加工形状データであるＣＡＤデータ１００と、第１ＮＣ加工プログラム１１１の生成において参照した加工ナレッジと、第１ＮＣ加工プログラム１１１とを関連付けて、ＣＡＤデータ１００と、第１ＮＣ加工プログラム１１１と、加工ナレッジとをＮＣ加工プログラム記憶部４４に送信して記憶させる。
　加工ナレッジは、ＣＡＤデータ１００で表される切削加工品の加工仕上がり形状を素材から削り出すためのＮＣ加工プログラムをＮＣ加工プログラム生成部４３が自動生成する際に、素材から切削加工品を削り出すための複数の切削加工における素材の加工順序と素材の加工方法とのうち少なくとも一方を決定するために参照される決定条件であり、ＮＣ加工プログラムの生成方法を示す情報である。
　具体的には、加工ナレッジは、素材から切削加工品を削り出すために除去する形状である加工除去形状の寸法に基づいて素材の加工順序と素材の加工方法とのうち少なくとも一方を指定する条件である。素材の加工順序は、素材から切削加工品を削り出すために複数の異なる切削加工が組み合わされる場合における切削加工の順序である。素材の加工方法は、加工方向を含む、切削加工法である。
　後述するようにＮＣ加工プログラム生成部４３において自動生成された第１ＮＣ加工プログラム１１１を作業者が編集した場合に、編集内容が反映された新たな加工ナレッジである反映加工ナレッジが生成される。これにより、新たな加工ナレッジには、作業者の知識および経験が反映された編集内容が反映および蓄積される。このため、ＮＣ加工プログラム生成部４３が、加工ナレッジを参照してＮＣ加工プログラムを生成することにより、作業者自身がＮＣ加工プログラムを作製した場合と同様の、作業者が所望するＮＣ加工プログラムを迅速に自動生成することが可能となる。
　ＮＣ加工プログラム記憶部４４は、加工形状データであるＣＡＤデータ１００と、ＮＣ加工プログラム生成部４３において生成されたＮＣ加工プログラムである第１ＮＣ加工プログラム１１１と、第１ＮＣ加工プログラム１１１の生成において参照した加工ナレッジとを、関連付けて記憶する。また、ＮＣ加工プログラム記憶部４４は、ＮＣ加工プログラム編集部４５において編集されたＮＣ加工プログラムである第２ＮＣ加工プログラム１１２を記憶する。なお、第１ＮＣ加工プログラム１１１は、第２ＮＣ加工プログラム１１２によって更新されてもよい。
　ＮＣ加工プログラム編集部４５は、ＣＡＤデータ１００、第１ＮＣ加工プログラム１１１および第１ＮＣ加工プログラム１１１に関連付けられた加工ナレッジをＮＣ加工プログラム記憶部４４から読み込み、第１ＮＣ加工プログラム１１１を対話操作処理部１０に送信する。ＮＣ加工プログラム編集部４５は、第１ＮＣ加工プログラム１１１を作業者が指示入力部３０から入力する編集指示情報に基づいて編集して、第２ＮＣ加工プログラム１１２を生成する。ＮＣ加工プログラム編集部４５は、生成した第２ＮＣ加工プログラム１１２をＮＣ加工プログラム記憶部４４に送信して記憶させる。また、ＮＣ加工プログラム編集部４５は、加工形状データであるＣＡＤデータ１００と、第１ＮＣ加工プログラム１１１と、第１ＮＣ加工プログラム１１１に関連付けられた加工ナレッジと、第２ＮＣ加工プログラム１１２とを、後述する状態観測部５１に送信する。
　ＮＣ加工プログラム編集部４５は、第１ＮＣ加工プログラム１１１の編集が行われていない場合には、すなわち、第２ＮＣ加工プログラム１１２が生成されない場合には、ＣＡＤデータ１００と、第１ＮＣ加工プログラム１１１と、第１ＮＣ加工プログラム１１１に関連付けられた加工ナレッジと、を状態観測部５１に送信する。
　意思決定部４６は、ＮＣ加工プログラム生成部４３からの要求に対応して、関数更新部５４に記憶されている複数の異なる加工ナレッジを探索して、ＣＡＤデータ１００に対応する最も適切な加工ナレッジを決定して、取得する。ＣＡＤデータ１００に対応する最も適切な加工ナレッジは、関数更新部５４に記憶されている、ＣＡＤデータ１００に対応する加工ナレッジのうち、第１ＮＣ加工プログラム１１１の生成後の第１ＮＣ加工プログラム１１１に対する編集が最も少ない加工ナレッジである。すなわち、ＣＡＤデータ１００に対応する最も適切な加工ナレッジは、ＣＡＤデータ１００に対応する加工ナレッジのうち、作業者の知識および経験がより適切に反映された加工ナレッジである。
　意思決定部４６は、関数更新部５４に記憶されているＣＡＤデータ１００に対応する複数の加工ナレッジの中から、行動価値Ｑの最も高い加工ナレッジを取得してＮＣ加工プログラム生成部４３に送信する。なお、意思決定部４６は、ＣＡＤデータ１００に対応する加工ナレッジが１つしか関数更新部５４に記憶されていない場合には、関数更新部５４に記憶されている加工ナレッジを、ＣＡＤデータ１００に対応する最も適切な加工ナレッジと決定する。
　加工ナレッジは、たとえば切削加工品と共通の管理番号を付与されることにより切削加工品と対応付けられる。また、加工ナレッジは、たとえばＣＡＤデータ１００で表される加工仕上がり形状と素材の材質との組み合わせに対して対応付けられる。これにより、意思決定部４６は、管理番号、または加工仕上がり形状の情報と素材の材質の情報とを探索条件として、ＮＣ加工プログラム生成部４３から指定されたＣＡＤデータ１００に対応する加工ナレッジを探し、さらにその中から行動価値Ｑの最も高い加工ナレッジを選択することができる。
　状態観測部５１および学習部５２を備えた機械学習装置５０が用いる学習アルゴリズムはどのようなものを用いてもよい。一例として、強化学習（Ｒｅｉｎｆｏｒｃｅｍｅｎｔ　Ｌｅａｒｎｉｎｇ）を適用した場合について説明する。
　強化学習は、ある環境内における行動主体であるエージェントが、現在の状態を観測し、取るべき行動を決定する、というものである。エージェントは、行動を選択することで環境から報酬を得て、一連の行動を通じて報酬が最も多く得られるような方策を学習する。強化学習の代表的な手法として、Ｑ学習（Ｑ－ｌｅａｒｎｉｎｇ）またはＴＤ学習（ＴＤ－ｌｅａｒｎｉｎｇ）が知られている。例えば、Ｑ学習の場合、行動価値関数Ｑ（ｓ，ａ）の一般的な更新式は、以下の数式（１）で表される。
Figure JPOXMLDOC01-appb-M000001
　数式（１）において、ｓｔは、時刻ｔにおける状態を示す。ａｔは、時刻ｔにおいて実行される行動である。ｓｔ＋１は時刻ｔ＋１における状態を示し、換言すれば、行動ａｔを行った結果として変化した後の状態を示す。ｒｔ＋１は、行動ａｔの結果として変化する環境に応じて与えられる報酬を示す。すなわち、ｒｔ＋１は、状態の変化によって与えられる報酬を表す。数式（１）において、「ｍａｘ」の項は、状態ｓｔ＋１における行動価値Ｑの最大値、すなわち、最良の行動ａｔ＋１に対する行動価値を表している。γは、割引率であり、０＜γ≦１の条件を満足するように設定される。γは、たとえば、０．９以上０．９９以下とされる。αは、学習係数であり、０＜α≦１の条件を満足するように設定される。αは、たとえば、０．０５以上０．２以下とされる。
　Ｑ学習における数式（１）で表される更新式は、時刻ｔ＋１における最良の行動ａｔ＋１の行動価値が、時刻ｔにおいて実行された行動ａｔの行動価値Ｑよりも大きければ、時刻ｔの行動価値Ｑを大きくし、逆の場合は、時刻ｔの行動価値Ｑを小さくする。換言すれば、時刻ｔにおける行動ａｔの行動価値Ｑを、時刻ｔ＋１における最良の行動価値に近づけるように、行動価値関数Ｑ（ｓｔ，ａｔ）を更新する。これにより、或る環境における最良の行動価値が、それ以前の環境における行動価値に順次伝播していくようになる。
　すなわち、本実施の形態１にかかる機械学習装置５０は、公知のＱ学習の手法に従って強化学習を実行することができる。或る状態変数と行動ａとの組み合わせに対して割当てられる行動価値Ｑは未知である。機械学習装置５０は、種々の状態変数に対して行動ａをランダムに選択して実行し、行動ａの結果として与えられる報酬を積算することによって、行動価値関数Ｑ（ｓ，ａ）を更新する。なお、本実施の形態１にかかるＮＣ加工プログラム生成装置４０において、「行動ａ」は、加工ナレッジ、すなわちＮＣ加工プログラムの生成方法を示す情報が対応する。また、「状態ｓ」は、第１ＮＣ加工プログラム１１１に対する編集内容が対応する。
　また、行動価値関数Ｑ（ｓ，ａ）は、行動価値テーブルとも呼ばれる。図２は、行動価値テーブルの概念を示す図である。行動価値テーブルは、任意の行動ｓと、その行動価値Ｑとが関連付けられてテーブルの形式で記憶されたデータセットである。Ｑ学習におけるデータセットは、いわゆるＱテーブルである。Ｑテーブルは、２次元の表で表すと、行方向が様々な状態ｓ、列方向がとりうる行動ａになり、各マスに行動ａと状態ｓとの組み合わせの場合の評価値である行動価値Ｑ、が格納される。ただし、Ｑテーブルで行動価値関数Ｑ（ｓ，ａ）を管理する場合には、保持できる状態ｓと行動ａの数に限界があるため、状態ｓと行動ａの数が多い場合には、テーブル形式を取らずに上記の数式（１）で行動価値Ｑが算出される。
　本実施の形態１でＱテーブルを採用する場合には、行動ａに対応するＮＣ加工プログラムの生成方法を示す情報である加工ナレッジと、状態ｓに対応する第１ＮＣ加工プログラム１１１に対する編集内容とが、加工形状データに関連付けられたＱテーブルが、加工形状データ毎に記憶される。すなわち、本実施の形態１におけるデータセットは、加工形状データのデータと、ＮＣ加工プログラムの生成方法を示す情報である加工ナレッジのデータと、第１ＮＣ加工プログラム１１１に対する編集内容のデータと、のセットである。
　数値制御装置１は、ＮＣ加工プログラムの生成方法を学習する機械学習機能を有している。すなわち、数値制御装置１は、ＮＣ加工プログラムの生成方法を学習する機械学習装置５０を備えている。機械学習装置５０は、状態観測部５１と、学習部５２と、を備える。学習部５２は、状態変数に基づいて作成されるデータセットに従って、ＮＣ加工プログラムの生成方法を学習する。すなわち、学習部５２は、状態変数に基づいて作成されるデータセットに従って加工形状データとＮＣ加工プログラムの生成方法と第１ＮＣ加工プログラム１１１に対する編集内容との関係性を学習して、ＮＣ加工プログラムの生成方法を学習する。学習部５２は、ＮＣ加工プログラム生成方法である加工ナレッジの学習にかかる報酬を計算する報酬計算部５３と、ＮＣ加工プログラム生成方法である加工ナレッジの学習にかかる関数を更新して評価値である行動価値Ｑを定める関数更新部５４とを備える。なお、機械学習装置５０は、ＮＣ加工プログラム生成装置４０に内蔵されていてもよく、またＮＣ加工プログラム生成装置４０と通信可能なクラウドサーバに存在してもよい。
　状態観測部５１は、加工形状データであるＣＡＤデータ１００と、ＮＣ加工プログラム生成部４３が第１ＮＣ加工プログラム１１１を生成する際に参照した数値制御加工プログラムの生成方法を示す情報である加工ナレッジと、第１ＮＣ加工プログラム１１１に対する編集内容と、を状態変数として観測する。すなわち、状態観測部５１は、意思決定部４６で決定される加工ナレッジと、ＮＣ加工プログラム編集部４５において第２ＮＣ加工プログラム１１２の生成において行われた第１ＮＣ加工プログラム１１１に対する編集内容とを、加工形状データであるＣＡＤデータ１００毎に観測する。
　状態観測部５１は、第１ＮＣ加工プログラム１１１に対する編集内容を、第１ＮＣ加工プログラム１１１の生成において参照した加工ナレッジに反映して反映加工ナレッジを作成する。反映加工ナレッジは、第１ＮＣ加工プログラム１１１に対する編集内容が、第１ＮＣ加工プログラム１１１の生成において参照した数値制御加工プログラムの生成方法に反映された反映数値制御加工プログラムの生成方法である。反映加工ナレッジには、第１ＮＣ加工プログラム１１１に関連付けられた加工ナレッジの報酬ｒが引き継がれる。状態観測部５１は、第１ＮＣ加工プログラム１１１の生成において参照した加工ナレッジと、反映加工ナレッジと、を観測結果として報酬計算部５３に送信する。
　状態観測部５１において反映加工ナレッジが生成される場合には、基の加工ナレッジに付与されている管理番号、または加工仕上がり形状の情報と素材の材質の情報とが、引き継がれて付与される。加工ナレッジに基づいて生成された反映加工ナレッジおよび加工ナレッジは、ともに１つの切削加工品の加工仕上がり形状と対応している。すなわち、反映加工ナレッジは、反映加工ナレッジが生成される基となっている加工ナレッジが対応している切削加工品の加工仕上がり形状に対応している。したがって、反映加工ナレッジは、生成される基となっている加工ナレッジに付与されている管理番号、または加工仕上がり形状の情報と素材の材質の情報とが、引き継がれて付与される。すなわち、反映加工ナレッジは、ＣＡＤデータ１００との関連付けが引き継がれて付与される。
　状態観測部５１は、ＣＡＤデータ１００と、第１ＮＣ加工プログラム１１１と、第１ＮＣ加工プログラム１１１に関連付けられた加工ナレッジと、第２ＮＣ加工プログラム１１２とがＮＣ加工プログラム編集部４５から送信された場合には、第１ＮＣ加工プログラム１１１に対する編集内容を抽出することができる。したがって、この場合には、ＣＡＤデータ１００についての第１ＮＣ加工プログラム１１１に対する編集内容が第１ＮＣ加工プログラム１１１の生成において参照した加工ナレッジに反映された、新たな加工ナレッジが、反映加工ナレッジとなる。
　一方、ＣＡＤデータ１００と、第１ＮＣ加工プログラム１１１と、第１ＮＣ加工プログラム１１１に関連付けられた加工ナレッジとのみがＮＣ加工プログラム編集部４５から送信され、第２ＮＣ加工プログラム１１２が送信されていない場合には、第１ＮＣ加工プログラム１１１に対する編集内容が無い。この場合には、第１ＮＣ加工プログラム１１１の生成において参照した加工ナレッジ自体が反映加工ナレッジとなる。
　したがって、加工形状データであるＣＡＤデータ１００と、ＮＣ加工プログラム生成部４３が第１ＮＣ加工プログラム１１１を生成する際に参照した数値制御加工プログラムの生成方法を示す情報である加工ナレッジと、第１ＮＣ加工プログラム１１１に対する編集内容とを状態変数として観測するとは、ＣＡＤデータ１００についての第１ＮＣ加工プログラム１１１に対する編集内容を抽出し、観測結果として、第１ＮＣ加工プログラム１１１の生成において参照した加工ナレッジと、反映加工ナレッジと、をＣＡＤデータ１００毎に取得することを意味する。
　学習部５２は、加工形状データであるＣＡＤデータ１００と、ＮＣ加工プログラム生成部４３が第１ＮＣ加工プログラム１１１を生成する際に参照した数値制御加工プログラムの生成方法を示す情報である加工ナレッジと、第１ＮＣ加工プログラム１１１に対する編集内容とのデータセットに基づいて加工形状データとＮＣ加工プログラムの生成方法と第１ＮＣ加工プログラム１１１に対する編集内容との関係性を学習して、ＮＣ加工プログラム生成方法を学習する。すなわち、学習部５２は、状態観測部５１で観測される状態変数に基づいて、加工ナレッジを学習する。一実施形態において、学習部５２は、強化学習の概念に従って加工ナレッジを学習する。
　報酬計算部５３は、状態観測部５１から送信される観測結果である反映加工ナレッジに基づいて、報酬ｒを計算する。より詳細には、報酬計算部５３は、第１ＮＣ加工プログラム１１１の生成において参照した加工ナレッジと、反映加工ナレッジとに基づいて、反映加工ナレッジの報酬ｒを計算する。報酬計算部５３は、報酬ｒを付与する報酬付与基準である、第１ＮＣ加工プログラム１１１の生成において参照した加工ナレッジと、反映加工ナレッジとの同一性に基づいて、反映加工ナレッジの報酬ｒを計算する。報酬計算部５３は、計算した報酬ｒを、ＣＡＤデータ１００および反映加工ナレッジと関連付けて、ＣＡＤデータ１００および反映加工ナレッジとともに関数更新部５４に送信する。
　報酬計算部５３は、第１ＮＣ加工プログラム１１１の生成において参照した加工ナレッジと、反映加工ナレッジとが同じである場合には、反映加工ナレッジの報酬ｒを増大させる。報酬計算部５３は、第１ＮＣ加工プログラム１１１の生成において参照した加工ナレッジと、反映加工ナレッジとが同じである場合には、たとえば「正」の報酬ｒである「＋１」の報酬ｒを反映加工ナレッジに与える。そして、反映加工ナレッジの報酬ｒは、生成された際に第１ＮＣ加工プログラム１１１の生成において参照した加工ナレッジから引き継がれている報酬ｒに、「＋１」が加算される。これにより、反映加工ナレッジの報酬ｒは、第１ＮＣ加工プログラム１１１の生成において参照した加工ナレッジから引き継いだ報酬ｒよりも増大する。
　報酬計算部５３は、第１ＮＣ加工プログラム１１１の生成において参照した加工ナレッジと、反映加工ナレッジとが異なる場合には、第１ＮＣ加工プログラム１１１の生成において参照した加工ナレッジの報酬ｒを減少させる。報酬計算部５３は、第１ＮＣ加工プログラム１１１の生成において参照した加工ナレッジと、反映加工ナレッジとが異なる場合には、たとえば「負」の報酬ｒである「－１」の報酬ｒを、第１ＮＣ加工プログラム１１１の生成において参照した加工ナレッジに与える。たとえば、旋削端面正面加工を旋削ドリル加工より先に行うように生成された第１ＮＣ加工プログラム１１１に対して、旋削ドリル加工を旋削端面正面加工より先に行うように編集が行われている場合には、報酬計算部５３は、報酬ｒを低減し、たとえば「－１」の報酬ｒを、第１ＮＣ加工プログラム１１１の生成において参照した加工ナレッジに与える。そして、第１ＮＣ加工プログラム１１１の生成において参照した加工ナレッジの報酬ｒは、現在の報酬ｒに、「－１」が加算される。これにより、第１ＮＣ加工プログラム１１１の生成において参照した加工ナレッジの報酬ｒは、第１ＮＣ加工プログラム１１１の生成において参照されたときの報酬ｒよりも減少する。
　また、報酬計算部５３は、第１ＮＣ加工プログラム１１１の生成において参照した加工ナレッジと、反映加工ナレッジとが異なる場合には、上述したように、第１ＮＣ加工プログラム１１１の生成において参照した加工ナレッジの報酬ｒを減少させた後に、反映加工ナレッジの報酬ｒを増大させる。報酬計算部５３は、第１ＮＣ加工プログラム１１１の生成において参照した加工ナレッジと、反映加工ナレッジとが異なる場合には、たとえば「正」の報酬ｒである「＋１」の報酬ｒを反映加工ナレッジに与える。そして、反映加工ナレッジの報酬ｒは、生成された際に第１ＮＣ加工プログラム１１１の生成において参照した加工ナレッジから引き継がれている報酬ｒに、「＋１」が加算される。これにより、反映加工ナレッジの報酬ｒは、第１ＮＣ加工プログラム１１１の生成において参照した加工ナレッジから引き継いだ報酬ｒよりも増大する。
　報酬ｒの数値は、「＋１」および「－１」に限定されない。また、第１ＮＣ加工プログラム１１１に対する編集内容によって、すなわち第１ＮＣ加工プログラム１１１の生成において参照した加工ナレッジから反映加工ナレッジへの編集内容によって、報酬ｒに差をつけてもよい。
　関数更新部５４は、報酬計算部５３によって計算される反映加工ナレッジの報酬ｒに従って、ＮＣ加工プログラムの生成方法を決定するための関数を更新する。たとえば、関数更新部５４は、行動価値関数Ｑ（ｓ，ａ）を更新して評価値である行動価値Ｑを定める。関数更新部５４は、定められた行動価値Ｑを、反映加工ナレッジと関連付けて反映加工ナレッジとともに記憶する。これにより、関数更新部５４には、最初に記憶されている加工ナレッジに加えて、反映加工ナレッジと、反映加工ナレッジに関連付けられた行動価値Ｑとが、第１ＮＣ加工プログラム１１１の生成において参照される加工ナレッジとして記憶されていく。図３は、本発明の実施の形態１にかかる機械学習装置５０の関数更新部５４に加工ナレッジおよび反映加工ナレッジが記憶された状態の一例を示す図である。図３では、加工ナレッジＡ１２１、加工ナレッジＢ１２２、加工ナレッジＣ１２３、反映加工ナレッジＡ１３１、反映加工ナレッジＢ１３２および反映加工ナレッジＣ１３３が記憶されている例を示している。なお、加工ナレッジと、反映加工ナレッジと、反映加工ナレッジに関連付けられた行動価値Ｑと、を記憶する加工ナレッジ記憶部を別途設けてもよい。
　つぎに、行動価値関数Ｑ（ｓ，ａ）を更新する強化学習方法について説明する。図４は、本発明の実施の形態１における行動価値関数Ｑ（ｓ，ａ）の更新処理の手順を示すフローチャートである。
　ステップＳＴ１１０において、ＮＣ加工プログラム生成部４３が、加工形状データ記憶部４２に記憶されているＣＡＤデータ１００を読み込み、ＮＣ加工プログラム生成部４３内の不図示の記憶部の形状記憶領域に格納する。
　次に、ステップＳＴ１２０においてＮＣ加工プログラム生成部４３が、ＮＣ加工プログラムを生成するために、ＣＡＤデータ１００に対応する加工ナレッジを、意思決定部４６を介して関数更新部５４から取得する。意思決定部４６は、機械学習装置５０が学習した結果に基づいて加工ナレッジを決定する。すなわち、意思決定部４６は、関数更新部５４に記憶されている複数の加工ナレッジを探索して、ＮＣ加工プログラム生成部４３からの要求に対応する複数の加工ナレッジの中から、行動価値Ｑの最も高い加工ナレッジを決定して取得し、ＮＣ加工プログラム生成部４３に送信する。
　ＮＣ加工プログラム生成部４３に送信される加工ナレッジの一例を以下に示す。
（加工ナレッジＡ１２１）
　素材材質：Ｓ４５Ｃ
　加工順序：端面取り代が２０ｍｍ以上である場合は旋削ドリル工程を先に行い、その後に旋削端面工程を行う。端面取り代が前記条件以外の場合は、旋削端面工程を先に行い、その後に旋削ドリル工程を行う。
（加工ナレッジＢ１２２）
　素材材質：Ｓ４５Ｃ
　加工部位：「開放部形状の横方向の長さ÷開放部形状の縦方向の長さ」が「１未満」の場合は加工部位を正面とする。「開放部形状の横方向の長さ÷開放部形状の縦方向の長さ」が「１以上」の場合は加工部位を外径とする。開放部は、旋削断面形状ｔにおいて素材の表面に露出している部位である。
（加工ナレッジＣ１２３）
　素材材質：Ｓ４５Ｃ
　加工方法：旋削断面形状の縦方向の長さが１０ｍｍ以下、且つ旋削断面形状の横方向の長さが１０ｍｍ以下である場合は、旋削溝入れ工程を行う。旋削断面形状の縦方向の長さおよび横方向の長さが前記条件以外の場合は、旋削棒材工程を行う。
　次に、ステップＳＴ１３０においてＮＣ加工プログラム生成部４３は、取得した加工ナレッジを参照してＮＣ加工プログラムである第１ＮＣ加工プログラム１１１を生成する。
　次に、ステップＳＴ１４０においてＮＣ加工プログラム生成部４３は、ＣＡＤデータ１００と第１ＮＣ加工プログラム１１１の生成において参照した加工ナレッジと第１ＮＣ加工プログラム１１１とを関連付けて、ＣＡＤデータ１００と第１ＮＣ加工プログラム１１１と加工ナレッジとをＮＣ加工プログラム記憶部４４に送信する。ＮＣ加工プログラム記憶部４４は、ＣＡＤデータ１００と第１ＮＣ加工プログラム１１１と加工ナレッジとを記憶する。
　次に、ステップＳＴ１５０においてＮＣ加工プログラム編集部４５が、ＣＡＤデータ１００と、第１ＮＣ加工プログラム１１１および第１ＮＣ加工プログラム１１１に関連付けられた加工ナレッジをＮＣ加工プログラム記憶部４４から読み込み、第１ＮＣ加工プログラム１１１を対話操作処理部１０に送信する。対話操作処理部１０は、ＮＣ加工プログラム編集部４５から送信された第１ＮＣ加工プログラム１１１を表示部２０に表示させて、作業者に第１ＮＣ加工プログラム１１１の確認を促す。
　第１ＮＣ加工プログラム１１１が表示部２０に表示されると、作業者が第１ＮＣ加工プログラム１１１を確認し、第１ＮＣ加工プログラム１１１の編集指示情報を指示入力部３０に入力する。編集指示情報は、指示入力部３０から対話操作処理部１０を介してＮＣ加工プログラム生成装置４０のＮＣ加工プログラム編集部４５に送信される。
　次に、ステップＳＴ１６０においてＮＣ加工プログラム編集部４５が、編集指示情報を受信し、編集指示情報に基づいて第１ＮＣ加工プログラム１１１を編集して、第２ＮＣ加工プログラム１１２を生成する。第２ＮＣ加工プログラム１１２は、第１ＮＣ加工プログラム１１１が編集指示情報に基づいて編集されたＮＣ加工プログラムである。そして、ＮＣ加工プログラム編集部４５は、ＣＡＤデータ１００と、第１ＮＣ加工プログラム１１１と、第１ＮＣ加工プログラム１１１に関連付けられた加工ナレッジと、第２ＮＣ加工プログラム１１２とを状態観測部５１に送信する。
　次に、ステップＳＴ１７０において状態観測部５１は、ＮＣ加工プログラム編集部４５から送信された第１ＮＣ加工プログラム１１１と第２ＮＣ加工プログラム１１２とを比較して、第１ＮＣ加工プログラム１１１に対する編集内容を取得する。これにより、状態観測部５１は、状態変数として、加工形状データであるＣＡＤデータ１００と、第１ＮＣ加工プログラム１１１に関連付けられた加工ナレッジと、第１ＮＣ加工プログラム１１１に対する編集内容とを取得する。
　次に、ステップＳＴ１８０において状態観測部５１は、第１ＮＣ加工プログラム１１１に対する編集内容を、第１ＮＣ加工プログラム１１１の生成において参照した加工ナレッジに反映して反映加工ナレッジを生成する。状態観測部５１は、第１ＮＣ加工プログラム１１１に関連付けられた加工ナレッジと、反映加工ナレッジと、を観測結果として報酬計算部５３に送信する。
　次に、ステップＳＴ１９０において報酬計算部５３は、第１ＮＣ加工プログラム１１１に関連付けられた加工ナレッジと、反映加工ナレッジとを比較し、両者が同じであるか否かを判定する。両者が同じである場合は、ステップＳＴ１９０においてＹｅｓとなり、ステップＳＴ２００に進む。両者が異なる場合は、ステップＳＴ１９０においてＮｏとなり、ステップＳＴ２１０に進む。
　ステップＳＴ２００において報酬計算部５３は、反映加工ナレッジの報酬ｒに対する行動価値Ｑが増大するように、反映加工ナレッジの報酬ｒを増大させる報酬ｒを計算し、第１ＮＣ加工プログラム１１１に関連付けられた加工ナレッジから引き継いだ反映加工ナレッジの報酬ｒに積算する。これにより、反映加工ナレッジの報酬ｒは、第１ＮＣ加工プログラム１１１に関連付けられた加工ナレッジから引き継いだ報酬ｒよりも増大する。これにより、反映加工ナレッジの行動価値Ｑが増大することになる。
　第１ＮＣ加工プログラム１１１に関連付けられた加工ナレッジと、反映加工ナレッジとが同じである場合には、第１ＮＣ加工プログラム１１１に関連付けられた加工ナレッジ自体が反映加工ナレッジである。そして、反映加工ナレッジは、第１ＮＣ加工プログラム１１１に対する編集内容がされていないため、高品質な反映加工ナレッジとなっていると考えられる。すなわち、第１ＮＣ加工プログラム１１１に関連付けられた加工ナレッジが、高品質な加工ナレッジであると考えられる。
　たとえば、反映加工ナレッジが以下に示すものである場合には、第１ＮＣ加工プログラム１１１に関連付けられた加工ナレッジと、反映加工ナレッジとは全て同じであるため、ステップＳＴ２００において反映加工ナレッジの報酬ｒが増大する。反映加工ナレッジＡ１２１ａは、加工ナレッジＡ１２１に基づいて生成された反映加工ナレッジである。反映加工ナレッジＢ１２１ｂは、加工ナレッジＢ１２２に基づいて生成された反映加工ナレッジである。反映加工ナレッジＣ１２１ｃは、加工ナレッジＣ１２３に基づいて生成された反映加工ナレッジである。
（反映加工ナレッジＡ１２１ａ）
　素材材質：Ｓ４５Ｃ
　加工順序：端面取り代が２０ｍｍ以上である場合は旋削ドリル工程を先に行い、その後に旋削端面工程を行う。端面取り代が前記条件以外の場合は、旋削端面工程を先に行い、その後に旋削ドリル工程を行う。
（反映加工ナレッジＢ１２１ｂ）
　素材材質：Ｓ４５Ｃ
　加工部位：「開放部形状の横方向の長さ÷開放部形状の縦方向の長さ」が「１未満」の場合は加工部位を正面とする。「開放部形状の横方向の長さ÷開放部形状の縦方向の長さ」が「１以上」の場合は加工部位を外径とする。開放部は、旋削断面形状ｔにおいて素材の表面に露出している部位である。
（反映加工ナレッジＣ１２１ｃ）
　素材材質：Ｓ４５Ｃ
　加工方法：旋削断面形状の縦方向の長さが１０ｍｍ以下、且つ旋削断面形状の横方向の長さが１０ｍｍ以下である場合は、旋削溝入れ工程を行う。旋削断面形状の縦方向の長さおよび横方向の長さが前記条件以外の場合は、旋削棒材工程を行う。
　一方、ステップＳＴ２１０において報酬計算部５３は、加工ナレッジの報酬ｒに対する行動価値Ｑが減少するように、加工ナレッジの報酬ｒを減少させる報酬ｒを計算し、加工ナレッジの報酬ｒに積算する。これにより、加工ナレッジの報酬ｒは、第１ＮＣ加工プログラム１１１の生成において参照されたときの報酬ｒよりも減少する。これにより、加工ナレッジの行動価値Ｑが減少することになる。
　たとえば、反映加工ナレッジが以下に示すものである場合には、第１ＮＣ加工プログラム１１１に関連付けられた加工ナレッジと、反映加工ナレッジとは全て異なるため、ステップＳＴ２１０において加工ナレッジの報酬ｒが減少する。反映加工ナレッジＡ１３１は、加工ナレッジＡ１２１に基づいて生成された反映加工ナレッジである。反映加工ナレッジＢ１３２は、加工ナレッジＢ１２２に基づいて生成された反映加工ナレッジである。反映加工ナレッジＣ１３３は、加工ナレッジＣ１２３に基づいて生成された反映加工ナレッジである。
（反映加工ナレッジＡ１３１）
　素材材質：Ｓ４５Ｃ
　加工順序：端面取り代が「１０ｍｍ以上」である場合は旋削ドリルを先に行い、その後に旋削端面工程を行う。端面取り代が前記条件以外の場合は、旋削端面工程を先に行い、その後に旋削ドリル工程を行う。
（反映加工ナレッジＢ１３２）
　素材材質：Ｓ４５Ｃ
　加工部位：「開放部形状の横方向の長さ÷開放部形状の縦方向の長さ」が「１．０以下」の場合は加工部位を正面とする。「開放部形状の横方向の長さ÷開放部形状の縦方向の長さ」が「１．０より大」の場合は加工部位を外径とする。
（反映加工ナレッジＣ１３３）
　素材材質：Ｓ４５Ｃ
　加工方法：旋削断面形状の縦方向の長さが１０ｍｍ以下、且つ旋削断面形状の横方向の長さが「２０ｍｍ以下」である場合は、旋削溝入れ工程を行う。旋削断面形状の縦方向の長さおよび横方向の長さが前記条件以外の場合は、旋削棒材工程を行う。
　第１ＮＣ加工プログラム１１１に関連付けられた加工ナレッジと、反映加工ナレッジとが異なる場合には、第１ＮＣ加工プログラム１１１に対する編集内容がされている。このため、第１ＮＣ加工プログラム１１１に関連付けられた加工ナレッジは、反映加工ナレッジよりも品質が低い加工ナレッジとなっていると考えられる。
　一方、反映加工ナレッジは、第１ＮＣ加工プログラム１１１に関連付けられた加工ナレッジよりも高品質な加工ナレッジとなっていると考えられる。そこで、報酬計算部５３は、ステップＳＴ２１０の後にステップＳＴ２００において反映加工ナレッジの報酬ｒに対する行動価値Ｑが増大するように、反映加工ナレッジの報酬ｒを増大させる報酬ｒを計算し、第１ＮＣ加工プログラム１１１に関連付けられた加工ナレッジから引き継いだ反映加工ナレッジの報酬ｒに積算する。これにより、反映加工ナレッジの報酬ｒは、第１ＮＣ加工プログラム１１１に関連付けられた加工ナレッジから引き継いだ報酬ｒよりも増大する。これにより、反映加工ナレッジの行動価値Ｑが増大することになる。
　次に、ステップＳＴ２２０において関数更新部５４は、ステップＳＴ２００またはステップＳＴ２１０で計算された反映加工ナレッジの報酬ｒに基づいて、行動価値関数Ｑ（ｓ，ａ）を更新して、第１ＮＣ加工プログラム１１１に関連付けられた加工ナレッジおよび反映加工ナレッジの評価値である行動価値Ｑを定める。関数更新部５４は、反映加工ナレッジについて定められた行動価値Ｑを、反映加工ナレッジと関連付けて反映加工ナレッジとともに、加工ナレッジとして記憶する。
　また、関数更新部５４は、第１ＮＣ加工プログラム１１１に関連付けられた加工ナレッジについて定められた行動価値Ｑを、この加工ナレッジと関連付けて加工ナレッジとともに、加工ナレッジとして記憶する。この場合、関数更新部５４には、第１ＮＣ加工プログラム１１１に関連付けられた加工ナレッジと、ステップＳＴ２２０で行動価値Ｑを定めた加工ナレッジと、ステップＳＴ２２０で行動価値Ｑを定めた反映加工ナレッジとが、各々の行動価値Ｑが異なる状態で、ＣＡＤデータ１００に対応する加工ナレッジとして記憶されることになる。これにより、意思決定部４６は、ＣＡＤデータ１００に対応する加工ナレッジを決定する際に、作業者の知識および経験が適切に反映された最も適切な加工ナレッジとして、相対的に行動価値Ｑの高い加工ナレッジである反映加工ナレッジを決定することができる。
　なお、この場合は、ステップＳＴ２２０で行動価値Ｑを定めた第１ＮＣ加工プログラム１１１に関連付けられた加工ナレッジで、関数更新部５４に記憶されており第１ＮＣ加工プログラム１１１の生成において参照された加工ナレッジを更新してもよい。
　その後、新たに読み込まれたＣＡＤデータ１００に対応してステップＳＴ１１０からステップＳＴ２２０の処理が繰り返し実行される。そして、新たに反映加工ナレッジが生成される際には、基となる加工ナレッジの管理番号、加工仕上がり形状の情報および素材の材質の情報、報酬ｒといった付随情報が引き継がれる。
　なお、ステップＳＴ１１０からステップＳＴ２２０の処理が繰り返される場合に、意思決定部４６で決定された反映加工ナレッジは、上述したステップＳＴ１２０における加工ナレッジに対応する。
　また、ステップＳＴ２００およびステップＳＴ２２０の処理において、品質の高い反映加工ナレッジは行動価値Ｑが増大した状態で関数更新部５４に記憶される。このため、ステップＳＴ２１０を省略することも可能である。
　次に、ＮＣ加工プログラム生成部４３におけるＮＣ加工プログラム生成処理の詳細について図５を参照して詳細に説明する。図５は、本発明の実施の形態１にかかるＮＣ加工プログラム生成装置４０のＮＣ加工プログラム生成部４３におけるＮＣ加工プログラム生成処理の手順の詳細を示すフローチャートである。図６は、本発明の実施の形態１におけるＣＡＤデータ１００で表される加工仕上がり形状の立体モデルの一例を示す斜視図である。図７は、本発明の実施の形態１におけるＣＡＤデータ１００で表される加工仕上がり形状を包含する素材形状の一例を示す斜視図である。図８は、本発明の実施の形態１におけるＣＡＤデータ１００で表される加工仕上がり形状と素材形状とから生成された加工除去形状の一例を示す斜視図である。図９は、本発明の実施の形態１における素材形状Ｓ、加工形状から生成された旋削断面形状および座標値を示す図である。以下では、素材を回転させながら削る旋削加工に関するＮＣ加工プログラムを作成する場合について説明する。
　ＮＣ加工プログラム生成処理では、ステップＳＴ３１０においてＮＣ加工プログラム生成部４３が、加工形状データ記憶部４２に記憶されているＣＡＤデータ１００を読み込み、図６に示すようにＣＡＤデータ１００で表される３次元の加工仕上がり形状を生成して、プログラム座標系の加工原点であるプログラム原点に配置する。プログラム座標系においては、ＸＹＺ軸のうち、Ｚ軸を、旋削加工を行う際の中心軸である旋削軸ＳＧとする。
　ＮＣ加工プログラム生成部４３は、加工仕上がり形状をプログラム原点に配置する際、加工仕上がり形状のうち、直径が最大となる円筒面の回転軸または円錐面の回転軸がＺ軸に一致するように、加工仕上がり形状を移動および回転させて配置する。また、加工仕上がり形状のＺ軸方向の端面がプログラム原点に一致するように移動する。すなわち、ＮＣ加工プログラム生成部４３は、ＣＡＤデータ１００から旋削軸ＳＧと回転中心軸を同一とする円柱面または円錐面を旋削端面として抽出する。したがって、ＮＣ加工プログラム生成部４３は、ＣＡＤデータ１００から、旋削軸を回転中心軸とする３次元の加工仕上がり形状を生成する。
　次に、ステップＳＴ３２０においてＮＣ加工プログラム生成部４３は、図７に示すように、プログラム原点に配置された加工仕上がり形状を包含する３次元の円柱形状を生成する。そして、ＮＣ加工プログラム生成部４３は、生成した円柱形状を素材形状として、加工仕上がり形状と同様にプログラム座標系に配置する。素材形状は、加工仕上がり形状を旋削加工により削り出す素材の形状である。すなわち、ＮＣ加工プログラム生成部４３は、ＣＡＤデータ１００から生成した加工仕上がり形状を基に、３次元の素材形状を生成する。
　加工仕上がり形状を包含する円柱形状の寸法は、加工仕上がり形状におけるＸ軸方向、Ｙ軸方向およびＺ軸方向における各々の最大値と最小値とから求めることができる。ただし、素材形状は、旋削端面加工を行うため、加工仕上がり形状に合わせて、Ｚ軸方向の寸法が加工仕上がり形状よりも２ｍｍから３ｍｍずつ大きい寸法とされる。また、素材形状のＺ軸方向の端面は、プログラム原点から２ｍｍから３ｍｍだけ加工仕上がり形状から離間する方向にはみ出した位置に配置される。ここでは、素材形状は、素材外径を１５０ｍｍ、素材長さを１２０ｍｍ、素材材質をＳ４５Ｃとする。
　次に、ステップＳＴ３３０においてＮＣ加工プログラム生成部４３は、図８に示すように、素材形状から旋削加工により除去する形状である加工除去形状を、加工仕上がり形状と素材形状とから生成する。図８においては、加工仕上がり形状を破線で示している。加工除去形状は、素材形状のソリッドモデルから加工仕上がり形状のソリッドモデルを引き去る差演算により求めることができる。
　次に、ステップＳＴ３４０において、ＮＣ加工プログラム生成部４３は、図９に示すように、加工除去形状の断面形状である旋削断面形状ｔを生成する。旋削断面形状ｔは、図９に示すように、加工除去形状をＸＺ平面のうち＋Ｘの領域のみに限定した＋ＸＺ平面に投影して得られる１／２旋削断面形状である。旋削断面形状ｔは、ＸＺ平面からなる断面モデルと加工形状からなるソリッドモデルとの積演算により断面形状を求め、Ｘ≧０の領域として範囲を限定することにより、求めることができる。これにより、図９に示すように、旋削断面形状ｔである旋削断面形状ｔ１および旋削断面形状ｔ２が生成される。
　次に、ステップＳＴ３５０においてＮＣ加工プログラム生成部４３が、ＣＡＤデータ１００に対応する加工ナレッジを、意思決定部４６を介して関数更新部５４から取得し、参照する。ＮＣ加工プログラム生成部４３は、たとえば関数更新部５４に記憶されている、上述した加工ナレッジＡ１２１、加工ナレッジＢ１２２および加工ナレッジＣ１２３を取得して参照する。
　ＮＣ加工プログラム生成部４３は、たとえばＣＡＤデータ１００と加工ナレッジとに共通に付与された管理番号をＣＡＤデータ１００から取得して意思決定部４６に送信する。これにより、意思決定部４６は、管理番号を探索条件として、ＮＣ加工プログラム生成部４３から指定された所望の加工ナレッジを探索することができる。
　ここで、旋削端面工程とは、素材端面の突き出し部を、旋削端面工具で削り落とす旋削端面加工を行う工程である。旋削ドリル工程とは、素材における半径方向の中心領域に旋削ドリルで中心軸に沿った穴をあける旋削ドリル加工を行う工程である。旋削棒材工程とは、旋削工具で丸棒素材の外周、内周、正面または背面を旋削する旋削棒材加工を行う工程である。旋削溝入れ工程とは、丸棒素材の外周、内周、正面または背面に、旋削溝入れ工具で溝加工を行う旋削溝入れ加工を行う工程である。端面取り代は、旋削端面加工での削り代である。
　次に、ステップＳＴ３６０においてＮＣ加工プログラム生成部４３は、取得した加工ナレッジＡ１２１、加工ナレッジＢ１２２および加工ナレッジＣ１２３に従って加工除去形状の旋削断面形状ｔを複数の異なる加工工程毎に分割して、旋削加工形状を生成する。旋削加工形状は、複数の異なる加工工程により素材から加工仕上がり形状を削り出す場合の各加工工程における旋削断面形状ｔである。
　以下、旋削断面形状ｔの分割手順について具体的に説明する。図１０は、本発明の実施の形態１にかかる旋削端面工程の旋削断面形状ＳＨ１を示す図である。図１１は、本発明の実施の形態１にかかる旋削ドリル工程の旋削断面形状ＳＨ２を示す図である。図１２は、本発明の実施の形態１にかかる旋削棒材工程の旋削断面形状ＳＨ３を示す図である。図１３は、本発明の実施の形態１にかかる旋削棒材工程の旋削断面形状ＳＨ４を示す図である。
　ＮＣ加工プログラム生成部４３は、旋削断面形状ｔ１から端面取り代：１０ｍｍの情報を取得する。そして、ＮＣ加工プログラム生成部４３は、加工ナレッジＡ１２１を参照し、端面取り代が２０ｍｍ以上でないことから旋削端面工程を先に行うと判定して、図１０に示すように旋削断面形状ｔ１から旋削端面工程の旋削断面形状ＳＨ１を分割する。
　次に、ＮＣ加工プログラム生成部４３は、加工ナレッジＡ１２１を参照し、旋削端面工程の後に旋削ドリル工程を行うと判定して、図１１に示すように旋削断面形状ｔ１から旋削ドリル工程の旋削断面形状ＳＨ２を分割する。
　次に、ＮＣ加工プログラム生成部４３は、図１２に示すように旋削断面形状ｔ１から旋削棒材工程の旋削断面形状ＳＨ３を分割する。次に、ＮＣ加工プログラム生成部４３は、図１３に示すように旋削断面形状ｔ２を旋削棒材工程の旋削断面形状ＳＨ４として分割する。
　次に、ステップＳＴ３７０においてＮＣ加工プログラム生成部４３は、分割した加工形状である旋削断面形状に、加工ナレッジＡ１２１、加工ナレッジＢ１２２および加工ナレッジＣ１２３に従って旋削加工工程を割り当て、旋削加工工程を生成する。図１４は、本発明の実施の形態１にかかる旋削端面工程の加工開始点と加工終了点との一例を示す図である。図１５は、本発明の実施の形態１にかかる旋削ドリル工程の加工開始点と加工終了点との一例を示す図である。図１６は、本発明の実施の形態１にかかる旋削棒材工程の切り込み点と加工開始点と加工終了点との一例を示す図である。図１７は、本発明の実施の形態１にかかる旋削棒材工程の切り込み点と加工開始点と加工終了点との一例を示す図である。
　ＮＣ加工プログラム生成部４３は、旋削端面工程の旋削断面形状ＳＨ１から、図１４に示すように旋削端面工程の加工開始点Ｐ１の座標値と加工終了点Ｐ２の座標値とを取得し、旋削端面工程である旋削端面工程ＬＣ１を生成する。
　次に、ＮＣ加工プログラム生成部４３は、旋削ドリル工程の旋削断面形状ＳＨ２から、図１５に示すように旋削ドリル加工で加工する孔の孔径と加工開始点Ｐ３の座標値と加工終了点Ｐ４の座標値とを取得し、旋削ドリル工程である旋削ドリル工程ＬＣ２を生成する。
　次に、ＮＣ加工プログラム生成部４３は、旋削棒材工程の旋削断面形状ＳＨ３から、図１６に示すように開放部形状の縦方向の長さ：３０ｍｍの情報と、開放部形状の横方向の長さ：３０ｍｍの情報とを取得する。そして、ＮＣ加工プログラム生成部４３は、加工ナレッジＢ１２２を参照して、「開放部形状の横方向の長さ÷開放部形状の縦方向の長さ」が「１．０」であることから、旋削棒材工程の加工部位を外径と判定する。次に、ＮＣ加工プログラム生成部４３は、旋削棒材工程の旋削断面形状ＳＨ３から、旋削断面形状ＳＨ３の切り込み点Ｐ５の座標値と加工開始点Ｐ６の座標値と加工終了点Ｐ７の座標値とを取得し、加工部位が外径とされた旋削棒材工程である旋削棒材外径工程ＬＣ３を生成する。
　次に、ＮＣ加工プログラム生成部４３は、旋削棒材工程の旋削断面形状ＳＨ４から、図１７に示すように旋削断面形状ＳＨ４の縦方向の長さ：１０ｍｍの情報、旋削断面形状ＳＨ４の横方向の長さ：２０ｍｍの情報を取得する。そして、ＮＣ加工プログラム生成部４３は、加工ナレッジＣ１２３を参照して、旋削断面形状ＳＨ４の縦方向の長さが１０ｍｍ以下であり、旋削断面形状ＳＨ４の横方向の長さが１０ｍｍ以下ではないことから、旋削棒材工程を行うと判定する。
　次に、ＮＣ加工プログラム生成部４３は、旋削棒材工程の旋削断面形状ＳＨ４から、開放部形状の縦方向長さ：１０ｍｍの情報、開放部形状の横方向長さ：２０ｍｍの情報を取得する。そして、ＮＣ加工プログラム生成部４３は、加工ナレッジＢ１２２を参照して、「開放部形状の横方向の長さ÷開放部形状の縦方向の長さ」が「２．０」であり「１．０未満」でないことから、加工部位を外径と判定する。次に、ＮＣ加工プログラム生成部４３は、旋削棒材工程の旋削断面形状ＳＨ４から、旋削断面形状ＳＨ４の切り込み点Ｐ８と加工開始点Ｐ９と加工終了点Ｐ１０の座標値を取得して、加工部位が外径とされた旋削棒材工程である旋削棒材外径工程ＬＣ４を生成する。
　以下に、ＮＣ加工プログラム生成部４３において生成された旋削加工工程の内容を示す。
・旋削端面工程ＬＣ１：加工開始点Ｐ１（７５，－１０）、加工終了点Ｐ２（０，０）
・旋削ドリル工程ＬＣ２：孔径３０ｍｍ、加工開始点Ｐ３（０，０）、加工終了点Ｐ４（０，１１０）
・旋削棒材外径工程ＬＣ３：切り込み点Ｐ５（７５，０）、加工開始点Ｐ６（４５，０）、加工終了点Ｐ７（４５，３０）
・旋削棒材外径工程ＬＣ４：切り込み点Ｐ８（７５，６０）、加工開始点Ｐ９（６５，６０）、加工終了点Ｐ１０（６５，８０）
　上述した処理が行われることにより、ＮＣ加工プログラム生成部４３は、加工ナレッジＡ１２１、加工ナレッジＢ１２２、および加工ナレッジＣ１２３を参照して、素材から加工仕上がり形状を削り出すための複数の異なる旋削加工工程を自動で生成することができる。そして、作業者の知識および経験が反映された編集内容が反映および蓄積されている加工ナレッジを参照して旋削加工工程を自動で生成することにより、作業者自身がＮＣ加工プログラムを作製した場合と同様の、作業者が所望する旋削加工工程を自動で生成することができる。
　そして、本実施の形態１にかかる機械学習装置５０による上記学習行動は、ＮＣ加工プログラムが生成されるたびに継続的に行われる。したがって、本実施の形態１にかかるＮＣ加工プログラム生成装置４０では、切削加工品の加工仕上がり形状の情報および素材の材質の情報を含むＣＡＤデータ１００に対応する、ＮＣ加工プログラムの生成方法である加工ナレッジの自律的な学習が継続的に行われる。すなわち、機械学習装置５０を備えたＮＣ加工プログラム生成装置４０は、ＮＣ加工プログラム生成部４３で生成されたＮＣ加工プログラムがＮＣ加工プログラム編集部４５で編集された編集内容に基づいて、作業者の知識および経験が反映された加工効率が良い加工ナレッジを継続的に、自律的に学習する。
　次に、状態観測部５１が、第１ＮＣ加工プログラム１１１に対する編集内容を、第１ＮＣ加工プログラム１１１の生成において参照した加工ナレッジに反映して反映加工ナレッジを作成する反映加工ナレッジの生成処理の詳細について説明する。まず、作業者が入力した編集指示情報に従って、旋削端面工程ＬＣ１を旋削ドリル工程ＬＣ２の後に行うように第１ＮＣ加工プログラム１１１が編集された場合について説明する。状態観測部５１は、ＮＣ加工プログラム編集部４５から送信された第２ＮＣ加工プログラム１１２の旋削端面工程ＬＣ１の旋削断面形状ＳＨ１から端面取り代：１０ｍｍの情報を取得する。
　ここで、加工ナレッジＡ１２１の条件とは異なり、端面取り代：１０ｍｍの条件において、旋削ドリル工程を先に行うように第１ＮＣ加工プログラム１１１が編集されて第２ＮＣ加工プログラム１１２が生成されている。そこで、状態観測部５１は、第１ＮＣ加工プログラム１１１に対する編集内容を反映させて加工ナレッジＡ１２１を以下の条件に変更した反映加工ナレッジＡ１３１を生成する。
（反映加工ナレッジＡ１３１）
　素材材質：Ｓ４５Ｃ
　加工順序：端面取り代が「１０ｍｍ以上」である場合は旋削ドリルを先に行い、その後に旋削端面工程を行う。端面取り代が前記条件以外の場合は、旋削端面工程を先に行い、その後に旋削ドリル工程を行う。
　次に、作業者が入力した編集指示情報に従って、旋削棒材外径工程ＬＣ３の加工部位を外径から正面に変更して旋削棒材外径工程ＬＣ３を旋削棒材正面工程ＬＣ３１に変更するように第１ＮＣ加工プログラム１１１が編集された場合について説明する。状態観測部５１は、ＮＣ加工プログラム編集部４５から送信された第２ＮＣ加工プログラム１１２の旋削棒材外径工程ＬＣ３の旋削断面形状ＳＨ３から、開放部形状の縦方向の長さ：３０ｍｍの情報、開放部形状の横方向の長さ：３０ｍｍの情報を取得する。
　ここで、加工ナレッジＢ１２２の条件とは異なり、「開放部形状の横方向の長さ÷開放部形状の縦方向の長さ」が「１．０」の条件において、加工部位を正面に変更するように第１ＮＣ加工プログラム１１１が編集されて第２ＮＣ加工プログラム１１２が生成されている。そこで、状態観測部５１は、第１ＮＣ加工プログラム１１１に対する編集内容を反映させて加工ナレッジＢ１２２を以下の条件に変更した反映加工ナレッジＢ１３２を生成する。
（反映加工ナレッジＢ１３２）
　素材材質：Ｓ４５Ｃ
　加工部位：「開放部形状の横方向の長さ÷開放部形状の縦方向の長さ」が「１．０以下」の場合は加工部位を正面とする。「開放部形状の横方向の長さ÷開放部形状の縦方向の長さ」が「１．０より大」の場合は加工部位を外径とする。
　次に、作業者が入力した編集指示情報に従って、旋削棒材外径工程ＬＣ４を旋削溝入れ工程ＬＣ４１に変更するように第１ＮＣ加工プログラム１１１が編集された場合について説明する。状態観測部５１は、ＮＣ加工プログラム編集部４５から送信された第２ＮＣ加工プログラム１１２の旋削棒材外径工程ＬＣ４の旋削断面形状ＳＨ４から、旋削断面形状ＳＨ４の縦方向の長さ：１０ｍｍの情報、旋削断面形状ＳＨ４の横方向の長さ：２０ｍｍの情報を取得する。
　ここで、加工ナレッジＣ１２３の条件とは異なり、「旋削断面形状ＳＨ４の縦方向の長さが１０ｍｍであり、旋削断面形状ＳＨ４の横方向の長さが２０ｍｍ」の条件において、旋削溝入れ工程ＬＣ４１を行うように第１ＮＣ加工プログラム１１１が編集されて第２ＮＣ加工プログラム１１２が生成されている。そこで、状態観測部５１は、第１ＮＣ加工プログラム１１１に対する編集内容を反映させて加工ナレッジＣ１２３を以下の条件に変更した反映加工ナレッジＣ１３３を生成する。
（反映加工ナレッジＣ１３３）
　素材材質：Ｓ４５Ｃ
　加工方法：旋削断面形状の縦方向の長さが「１０ｍｍ以下」、且つ旋削断面形状の横方向の長さが「２０ｍｍ以下」である場合は、旋削溝入れ工程を行う。旋削断面形状の縦方向の長さおよび横方向の長さが前記条件以外の場合は、旋削棒材工程を行う。
　次に、ＮＣ加工プログラム生成部４３が反映加工ナレッジＡ１３１、反映加工ナレッジＢ１３２および反映加工ナレッジＣ１３３を参照してＮＣ加工プログラムを生成する場合の旋削断面形状ｔの分割手順について具体的に説明する。図１８は、本発明の実施の形態１にかかる旋削ドリル工程の旋削断面形状ＳＨ５を示す図である。図１９は、本発明の実施の形態１にかかる旋削端面工程の旋削断面形状ＳＨ６を示す図である。図２０は、本発明の実施の形態１にかかる旋削棒材工程の旋削断面形状ＳＨ７を示す図である。図２１は、本発明の実施の形態１にかかる旋削棒材工程の旋削断面形状ＳＨ８を示す図である。
　ＮＣ加工プログラム生成部４３は、素材形状から素材長さ：１２０ｍｍの情報および素材外径：１５０ｍｍの情報を取得し、旋削断面形状ｔ１から端面取り代：１０ｍｍの情報を取得する。そして、ＮＣ加工プログラム生成部４３は、反映加工ナレッジＡ１３１を参照し、端面取り代が１０ｍｍ以上であることから旋削ドリル工程を先に行うと判定して、図１８に示すように旋削断面形状ｔ１から旋削ドリル工程の旋削断面形状ＳＨ５を分割する。
　次に、ＮＣ加工プログラム生成部４３は、反映加工ナレッジＡ１３１を参照し、旋削ドリル工程の後に旋削端面工程を行うと判定して、図１９に示すように旋削断面形状ｔ１から旋削端面工程の旋削断面形状ＳＨ６を分割する。
　次に、ＮＣ加工プログラム生成部４３は、図２０に示すように旋削断面形状ｔ１から旋削棒材工程の旋削断面形状ＳＨ７を分割する。次に、ＮＣ加工プログラム生成部４３は、図２１に示すように旋削断面形状ｔ２を旋削棒材工程の旋削断面形状ＳＨ８として分割する。
　次に、ＮＣ加工プログラム生成部４３が反映加工ナレッジＡ１３１、反映加工ナレッジＢ１３２および反映加工ナレッジＣ１３３を参照してＮＣ加工プログラムを生成する場合の旋削加工工程の割り当て手順について具体的に説明する。図２２は、本発明の実施の形態１にかかる旋削ドリル工程の加工開始点と加工終了点との一例を示す図である。図２３は、本発明の実施の形態１にかかる旋削端面工程の加工開始点と加工終了点との一例を示す図である。図２４は、本発明の実施の形態１にかかる旋削棒材正面工程の切り込み点と加工開始点と加工終了点との一例を示す図である。図２５は、本発明の実施の形態１にかかる旋削棒材溝入れ工程の切り込み点と加工開始点と加工終了点との一例を示す図である。
　ＮＣ加工プログラム生成部４３は、旋削ドリル工程の旋削断面形状ＳＨ５から、図２２に示すように旋削ドリル加工で加工する孔の孔径と加工開始点Ｐ１１の座標値と加工終了点Ｐ１２の座標値とを取得し、旋削ドリル工程である旋削ドリル工程ＬＣ１１を生成する。
　次に、ＮＣ加工プログラム生成部４３は、旋削端面工程の旋削断面形状ＳＨ６から、図２３に示すように旋削端面工程の加工開始点Ｐ１３の座標値と加工終了点Ｐ１４の座標値とを取得し、旋削端面工程である旋削端面工程ＬＣ１２を生成する。
　次に、ＮＣ加工プログラム生成部４３は、旋削棒材工程の旋削断面形状ＳＨ７から、図２４に示すように開放部形状の縦方向の長さ：３０ｍｍの情報と、開放部形状の横方向の長さ：３０ｍｍの情報とを取得する。そして、ＮＣ加工プログラム生成部４３は、反映加工ナレッジＢ１３２を参照して、「開放部形状の横方向の長さ÷開放部形状の縦方向の長さ」が「１．０」であり「１．０以下」であることから、旋削棒材工程の加工部位を正面と判定する。次に、ＮＣ加工プログラム生成部４３は、旋削棒材工程の旋削断面形状ＳＨ７から、旋削断面形状ＳＨ７の切り込み点Ｐ１５の座標値と加工開始点Ｐ１６の座標値と加工終了点Ｐ１７の座標値とを取得し、加工部位が正面とされた旋削棒材工程である旋削棒材正面工程ＬＣ３を生成する。
　次に、ＮＣ加工プログラム生成部４３は、旋削棒材工程の旋削断面形状ＳＨ８から、図２５に示すように旋削断面形状ＳＨ８の縦方向の長さ：１０ｍｍの情報、旋削断面形状ＳＨ８の横方向の長さ：２０ｍｍの情報を取得する。そして、ＮＣ加工プログラム生成部４３は、反映加工ナレッジＣ１３３を参照して、旋削断面形状ＳＨ４の縦方向の長さが１０ｍｍ以下であり、かつ旋削断面形状ＳＨ４の横方向の長さが２０ｍｍ以下であることから、旋削溝入れ工程を行うと判定する。
　次に、ＮＣ加工プログラム生成部４３は、旋削棒材工程の旋削断面形状ＳＨ８から、開放部形状の縦方向長さ：１０ｍｍの情報、開放部形状の横方向長さ：２０ｍｍの情報を取得する。ＮＣ加工プログラム生成部４３は、開放部形状の縦方向長さ：１０ｍｍの情報から溝深さ：１０ｍｍの情報を取得し、開放部形状の横方向長さ：２０ｍｍの情報から溝幅：２０ｍｍの情報を取得する。そして、ＮＣ加工プログラム生成部４３は、旋削棒材工程の旋削断面形状ＳＨ８から、加工開始点Ｐ１８の座標値を取得して、旋削溝入れ工程ＬＣ１４を生成する。
　以下に、反映加工ナレッジＡ１３１、反映加工ナレッジＢ１３２および反映加工ナレッジＣ１３３を参照してＮＣ加工プログラム生成部４３において生成された旋削加工工程の内容を示す。
・旋削ドリル工程ＬＣ１１：孔径３０ｍｍ、加工開始点Ｐ１１（０，－１０）、加工終了点Ｐ１２（０，１１０）
・旋削端面工程ＬＣ１２：加工開始点Ｐ１３（７５，－１０）、加工終了点Ｐ１４（１５，０）
・旋削棒材正面工程ＬＣ１３：切り込み点Ｐ１５（７５，０）、加工開始点Ｐ１６（７５，３０）、加工終了点Ｐ１７（４５，３０）
・旋削溝入れ工程ＬＣ１４：溝幅２０ｍｍ、溝深さ１０ｍｍ、加工開始点Ｐ１８（７５，６０）
　上述した処理が行われることにより、ＮＣ加工プログラム生成部４３は、反映加工ナレッジＡ１３１、反映加工ナレッジＢ１３２および反映加工ナレッジＣ１３３を参照して、素材から加工仕上がり形状を削り出すための複数の異なる旋削加工工程を自動で生成することができる。そして、作業者の知識および経験が反映された編集内容が反映および蓄積されている反映加工ナレッジを参照して旋削加工工程を自動で生成することにより、作業者自身がＮＣ加工プログラムを作製した場合と同様の、作業者が所望する旋削加工工程を自動で生成することができる。
　意思決定部４６は、機械学習装置５０が学習した結果を利用して、ＮＣ加工プログラム生成部４３からの要求に対応する加工ナレッジまたは反映加工ナレッジを決定する。ところで、いったんＮＣ加工プログラムが生成された後に、ＮＣ加工プログラム生成部４３でＮＣ加工プログラムを編集することがある。本実施の形態にかかる機械学習装置５０は、反映加工ナレッジを既に学習しているので、意思決定部４６は、ＮＣ加工プログラム生成部４３からの要求に対応する最も適切な反映加工ナレッジを、関数更新部５４に記憶されている加工ナレッジから必要に応じて決定することができる。
　さらに、機械学習装置５０は、素材の材質とＣＡＤデータ１００と加工ナレッジとの関連性を学習することができる。したがって、素材の材質とＣＡＤデータ１００とに起因してＮＣ加工プログラムを編集することが推測される場合には、意思決定部４６が決定する加工ナレッジまたは反映加工ナレッジを切り替えるように構成されてもよい。
　なお、反映加工ナレッジは、ＣＡＤデータ１００自体を関連付けて記憶されてもよい。たとえば、ＣＡＤデータ１００が、反映加工ナレッジＡ１３１に関連付けられて、加工ナレッジＡ１２１とともに関数更新部５４に記憶される。
　また、反映加工ナレッジは、ＣＡＤデータ１００に付随する情報を関連付けて記憶させてもよい。たとえば、ＣＡＤデータ１００に付随する情報が、反映加工ナレッジＡ１３１に関連付けられて、反映加工ナレッジＡ１３１とともに記憶される。ＣＡＤデータ１００に付随する情報の例は、ＣＡＤデータの画像、ＣＡＤデータの一部などである。なお、ＣＡＤデータ１００に付随する情報は、切削加工品の加工仕上がり形状の情報と被加工物の材質の情報との組み合わせに付随する情報、と換言できる。
　これにより、意思決定部４６は、関数更新部５４に記憶されている複数の加工ナレッジから、ＣＡＤデータ１００またはＣＡＤデータ１００に付随する情報を探索条件として、所望の反映加工ナレッジを探索して取得することが可能となる。
　また、加工ナレッジおよび反映加工ナレッジは、ＮＣ加工プログラムが実行されることにより制御されるＮＣ工作機械毎に分けて記憶されてもよい。複数台のＮＣ工作機械が使用される場合には、たとえば異なる機種のＮＣ工作機械が使用されている、同じ機種のＮＣ工作機械が使用されていてもＮＣ工作機械毎に異なるオプション機能が追加されているなどの理由により、ＮＣ工作機械毎に機能が異なることが多い。この場合には、加工ナレッジにもＮＣ工作機械毎に適した条件が存在する。
　このため、ＮＣ工作機械毎に分けて加工ナレッジおよび反映加工ナレッジを記憶することで、ＮＣ工作機械毎に適した作業者の知識および経験が反映された編集内容が反映加工ナレッジに反映されて蓄積される。そして、ＮＣ加工プログラム生成部４３が、ＮＣ工作機械毎に分けて管理された加工ナレッジまたは反映加工ナレッジを参照してＮＣ加工プログラムを生成することにより、作業者自身がＮＣ加工プログラムを作製した場合と同様の、作業者が所望するＮＣ工作機械毎に適したＮＣ加工プログラムを迅速に自動生成することが可能である。
　また、加工ナレッジおよび反映加工ナレッジをネットワークサーバー上に設けた記憶部に記憶させる構成とすることも可能である。
　本実施の形態１かかる機械学習装置５０の変形例として、機械学習装置５０は、ニューラルネットワークモデルに従って機械学習を実行してもよい。図２６は、本発明の実施の形態１にかかる機械学習装置５０が従うニューラルネットワークモデルの一例を示す模式図である。ニューラルネットワークは、たとえばｌ個の入力ニューロンを含む入力層と、ｍ個のニューロンを含む中間層と、ｎ個の出力ニューロンを含む出力層と、から構成される。図２６では、４個の入力ニューロンを含む入力層と、５個のニューロンを含む中間層と、１個の出力ニューロンを含む出力層と、から構成されるニューラルネットワークモデルの例を示している。なお、図２６において、中間層は、１層のみ示されているものの、２層以上の中間層が設けられてもよい。
　ニューラルネットワークは人間の成功体験又は失敗体験に基づいて最適な行動を感覚的に学習するように、状態変数と環境変化との関係性を学習する。ニューラルネットワークは、状態観測部５１によって観測される状態変数に基づいて作成されるデータセットに従って状態変数と環境変化との関係性を学習する。すなわち、ニューラルネットワークは、いわゆる教師あり学習によって、状態変数と環境変化との関係性を学習する。この場合、機械学習装置５０は、ニューラルネットワークの入力層に入力される加工形状データと、ＮＣ加工プログラムの生成経緯に応答して、出力層が、加工形状データに対応する加工ナレッジであって、作業者の知識および経験がより適切に反映された加工ナレッジを出力する。そして、意思決定部４６は、最適なＮＣ加工プログラム生成方法を決定するように機能する。すなわち、機械学習装置５０は、ニューラルネットワークモデルに従った場合でも、加工形状データとＮＣ加工プログラムの生成方法と第１ＮＣ加工プログラム１１１に対する編集内容との関係性を学習して、ＮＣ加工プログラムの生成方法を学習することが可能である。
　なお、上記においては、機械学習装置５０が強化学習またはニューラルネットワークを利用して機械学習する実施の形態について説明したが、機械学習装置５０は、他の公知の方法、例えば遺伝的プログラミング、機能論理プログラミング、サポートベクターマシンなどに従って機械学習を実行してもよい。
　また、学習部５２の学習の一実施の形態として、学習部５２が、他の数値制御装置で使用されるＮＣ加工プログラムに適用される加工ナレッジを学習することも可能である。すなわち、学習部５２は、ある加工形状データについて、他の数値制御装置に対して生成されるＮＣ加工プログラムの生成に用いられる加工ナレッジおよびＮＣ加工プログラムに対する編集内容に基づいて、他の数値制御装置で使用されるＮＣ加工プログラムに適用される加工ナレッジを学習するように構成されてもよい。学習部５２は、同一の現場で稼働する他の数値制御装置で使用されるＮＣ加工プログラムに適用される加工ナレッジを学習してもよく、異なる現場で独立して稼働する他の数値制御装置で使用されるＮＣ加工プログラムに適用される加工ナレッジを学習してもよい。
　図２７は、本発明の実施の形態１にかかるＮＣ加工プログラム生成装置４０のハードウェア構成を示す図である。図２７に示したハードウェアは、演算処理を行うプロセッサ２０１と、プロセッサ２０１がワークエリアに用いるメモリ２０２と、数値制御装置またはプログラム変換装置として動作するためのプログラムを記憶する記憶装置２０３と、作業者との間の入力インタフェースである入力装置２０４と、作業者に情報を表示する表示装置２０５と、被制御機器または他の数値制御装置、その他の各種装置との通信機能を有する通信装置２０６と、を備える。プロセッサ２０１、メモリ２０２、記憶装置２０３、入力装置２０４、表示装置２０５および通信装置２０６はデータバス２０７で接続されている。ここで、プロセッサ２０１は、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、またはＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）などであってもよい。また、メモリ２０２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、またはＥＥＰＲＯＭ（登録商標）（Ｅｌｅｃｔｒｉｃａｌｌｙ　ＥＰＲＯＭ）などの、不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）などが該当する。
　ＮＣ加工プログラム生成部４３は、例えば、図２７に示すメモリ２０２に記憶されたプログラムをプロセッサ２０１が実行することにより、実現される。また、複数のプロセッサおよび複数のメモリが連携して上記機能を実現してもよい。また、ＮＣ加工プログラム生成部４３の機能のうちの一部を電子回路として実装し、他の部分をプロセッサ２０１およびメモリ２０２を用いて実現するようにしてもよい。
　また、加工形状データ入力部４１とＮＣ加工プログラム編集部４５と意思決定部４６と状態観測部５１と報酬計算部５３と関数更新部５４とを、同様にメモリ２０２に記憶されたプログラムをプロセッサ２０１が実行することにより、実現されるように構成してもよい。また、複数のプロセッサおよび複数のメモリが連携して上記機能を実現してもよい。また、加工形状データ入力部４１とＮＣ加工プログラム編集部４５と意思決定部４６と状態観測部５１と報酬計算部５３と関数更新部５４との機能のうちの一部を電子回路として実装し、他の部分をプロセッサ２０１およびメモリ２０２を用いて実現するようにしてもよい。また、加工形状データ入力部４１とＮＣ加工プログラム編集部４５と意思決定部４６と状態観測部５１と報酬計算部５３と関数更新部５４との機能を実現するためのプロセッサおよびメモリは、ＮＣ加工プログラム生成部４３を実現するプロセッサおよびメモリと同一であってもよいし、別のプロセッサおよびメモリであってもよい。
　上述した本実施の形態１にかかるＮＣ加工プログラム生成装置４０は、加工形状データであるＣＡＤデータ１００を基にして、作業者の知識および経験が反映された編集内容が反映および蓄積されている加工ナレッジを参照して旋削加工工程を自動で生成することにより、作業者自身がＮＣ加工プログラムを作製した場合と同様の、作業者が所望する旋削加工工程を自動で生成することができる。
　また、本実施の形態１にかかる機械学習装置５０を備えたＮＣ加工プログラム生成装置４０では、切削加工品の加工仕上がり形状の情報および素材の材質の情報を含むＣＡＤデータ１００に対応する、ＮＣ加工プログラムの生成方法である加工ナレッジを自律的に学習する。すなわち、機械学習装置５０を備えたＮＣ加工プログラム生成装置４０は、ＮＣ加工プログラム生成部４３で生成されたＮＣ加工プログラムがＮＣ加工プログラム編集部４５で編集された編集内容に基づいて、作業者の知識および経験が反映された加工効率が良い加工ナレッジを自律的に学習する。これにより、意思決定部４６は、ＣＡＤデータ１００が再度、ＮＣ加工プログラム生成装置４０に入力された際に、関数更新部５４に記憶されている加工ナレッジの中から、ＣＡＤデータ１００に対応する、行動価値Ｑが最も高く加工効率が最も良い加工ナレッジを学習結果に基づいて決定することが可能である。
　したがって、本実施の形態１にかかるＮＣ加工プログラム生成装置４０では、熟練者の知識またはノウハウの蓄積が無くても、作業者が所望する旋削加工工程に近い、加工効率が良く高品質なＮＣ加工プログラムの自動生成が可能になる。そして、作業者が試行錯誤してＮＣ加工プログラムを生成する必要が無いので、ＮＣ加工プログラム作成の作業効率が向上する。これにより、本実施の形態１にかかるＮＣ加工プログラム生成装置４０では、ＮＣ加工プログラムの自動生成にかかる時間の短縮効果、および被加工物の加工時間の短縮効果が得られる。
　また、本実施の形態１にかかるＮＣ加工プログラム生成装置４０は、ユーザのＮＣ加工プログラム編集内容を学習して加工ナレッジに反映するので、次のＮＣプログロム生成時にユーザのＮＣ加工プログラム編集作業を減らすことができる。
　以上、本発明の種々の実施の形態について説明したが、当業者であれば、他の実施の形態によっても本発明の意図する作用効果を実現できることを認識するであろう。特に、本発明の範囲を逸脱することなく、前述した実施の形態１の構成要素を削除または置換することができるし、或いは公知の手段をさらに付加することができる。また、本明細書において明示的または暗示的に開示される実施の形態の特徴を任意に組み合せることによっても本発明を実施できることは当業者に自明である。すなわち、以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。
　１　数値制御装置、１０　対話操作処理部、２０　表示部、３０　指示入力部、４０　ＮＣ加工プログラム生成装置、４１　加工形状データ入力部、４２　加工形状データ記憶部、４３　ＮＣ加工プログラム生成部、４４　ＮＣ加工プログラム記憶部、４５　ＮＣ加工プログラム編集部、４６　意思決定部、５０　機械学習装置、５１　状態観測部、５２　学習部、５３　報酬計算部、５４　関数更新部、１００　ＣＡＤデータ、１１１　第１ＮＣ加工プログラム、１１２　第２ＮＣ加工プログラム、１２１　加工ナレッジＡ、１２２　加工ナレッジＢ、１２３　加工ナレッジＣ、１３１　反映加工ナレッジＡ、１３２　反映加工ナレッジＢ、１３３　反映加工ナレッジＣ、２０１　プロセッサ、２０２　メモリ、２０３　記憶装置、２０４　入力装置、２０５　表示装置、２０６　通信装置、２０７　データバス。

Claims (5)

  1. 　切削加工品の加工仕上がり形状の情報および素材の材質の情報を含む加工形状データと、被加工物から前記切削加工品を削り出すための複数の切削加工を含む数値制御加工プログラムを自動生成するための数値制御加工プログラムの生成方法と、前記数値制御加工プログラムの生成方法を参照して生成された第１数値制御加工プログラムに対する編集内容と、を状態変数として観測する状態観測部と、
    　前記状態変数に基づいて作成されるデータセットに従って、前記数値制御加工プログラムの生成方法を学習する学習部と、
    　を備えることを特徴とする機械学習装置。
  2. 　前記学習部が、
    　前記数値制御加工プログラムの生成方法に前記編集内容を反映させた反映数値制御加工プログラムの生成方法に基づいて報酬を計算する報酬計算部と、
    　計算された前記報酬に基づいて、前記数値制御加工プログラムの生成方法を決定するための関数を更新する関数更新部と、
    　を備えることを特徴とする請求項１に記載の機械学習装置。
  3. 　前記報酬計算部は、
    　前記数値制御加工プログラムの生成方法と前記反映数値制御加工プログラムの生成方法とが同じ場合には前記反映数値制御加工プログラムの生成方法の報酬を増大し、前記数値制御加工プログラムの生成方法と前記反映数値制御加工プログラムの生成方法とが異なる場合には前記数値制御加工プログラムの生成方法の報酬を低減するとともに前記反映数値制御加工プログラムの生成方法の報酬を増大するように構成されること、
    　を特徴とする請求項２に記載の機械学習装置。
  4. 　請求項１から３のいずれか１つに記載の機械学習装置と、
    　前記機械学習装置が学習した結果に基づいて決定される前記数値制御加工プログラムの生成方法を参照して前記第１数値制御加工プログラムを生成する数値制御加工プログラム生成部と、
    　前記第１数値制御加工プログラムを編集して第２数値制御加工プログラムを生成する数値制御加工プログラム編集部と、
    　前記機械学習装置の前記学習部が学習した結果に基づいて、前記加工形状データに対応する数値制御加工プログラムの生成方法を決定する意思決定部と、
    　を備えることを特徴とする数値制御加工プログラム生成装置。
  5. 　被加工物から切削加工品を削り出すための複数の切削加工を含む数値制御加工プログラムを生成する数値制御加工プログラム生成装置における前記数値制御加工プログラムの自動生成に用いられる数値制御加工プログラムの生成方法を学習する機械学習方法であって、
    　前記切削加工品の加工仕上がり形状の情報および素材の材質の情報を含む加工形状データと、前記数値制御加工プログラムの生成方法と、前記数値制御加工プログラムの生成方法を参照して前記数値制御加工プログラム生成装置が生成した第１数値制御加工プログラムに対する編集内容と、を状態変数として観測するステップと、
    　前記状態変数に基づいて作成されるデータセットに従って、前記数値制御加工プログラムの生成方法を学習するステップと、
    　を含むことを特徴とする機械学習方法。
PCT/JP2018/026204 2018-07-11 2018-07-11 機械学習装置、数値制御加工プログラム生成装置および機械学習方法 WO2020012581A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112018007741.1T DE112018007741B4 (de) 2018-07-11 2018-07-11 Maschinenlernvorrichtung und vorrichtung zur erzeugung vonprogrammen für eine numerisch gesteuerte bearbeitung
JP2018558361A JP6584697B1 (ja) 2018-07-11 2018-07-11 機械学習装置、数値制御加工プログラム生成装置および機械学習方法
CN201880095426.6A CN112384867B (zh) 2018-07-11 2018-07-11 机器学习装置、数控加工程序生成装置及机器学习方法
PCT/JP2018/026204 WO2020012581A1 (ja) 2018-07-11 2018-07-11 機械学習装置、数値制御加工プログラム生成装置および機械学習方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/026204 WO2020012581A1 (ja) 2018-07-11 2018-07-11 機械学習装置、数値制御加工プログラム生成装置および機械学習方法

Publications (1)

Publication Number Publication Date
WO2020012581A1 true WO2020012581A1 (ja) 2020-01-16

Family

ID=68095337

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/026204 WO2020012581A1 (ja) 2018-07-11 2018-07-11 機械学習装置、数値制御加工プログラム生成装置および機械学習方法

Country Status (4)

Country Link
JP (1) JP6584697B1 (ja)
CN (1) CN112384867B (ja)
DE (1) DE112018007741B4 (ja)
WO (1) WO2020012581A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7171538B2 (ja) * 2019-11-07 2022-11-15 キヤノン株式会社 工具条件決定装置、学習装置、および方法
DE112021007563T5 (de) * 2021-10-04 2024-02-29 Mitsubishi Electric Corporation Maschinenbearbeitungsprogramm-Erzeugungsgerät und Maschinenbearbeitungsprogramm-Erzeugungsverfahren
CN115981236B (zh) * 2023-03-20 2023-05-30 山东山森数控技术有限公司 一种数控车床车削过程能耗预测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05168B2 (ja) * 1985-01-24 1993-01-05 Yamazaki Mach Works
JPH1058280A (ja) * 1996-08-16 1998-03-03 Hitachi Ltd 加工工程設計システム
JP2017045300A (ja) * 2015-08-27 2017-03-02 ファナック株式会社 びびり或いは工具摩耗／破損の発生を抑制する加工条件調整機能を有する数値制御装置
JP2017045323A (ja) * 2015-08-27 2017-03-02 ファナック株式会社 メニューを備える数値制御装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63131205A (ja) * 1986-11-21 1988-06-03 Hitachi Seiko Ltd Ｎｃ放電加工機用加工条件設定装置
JP4657436B2 (ja) * 2000-10-26 2011-03-23 シチズンホールディングス株式会社 自動プログラミング方法及び自動プログラミング装置
JP4738585B2 (ja) * 2000-10-26 2011-08-03 シチズンホールディングス株式会社 加工プログラムのグラフ表示方法及びそのための装置
CN102081376A (zh) * 2011-02-25 2011-06-01 武汉华中数控股份有限公司 一种基于指令序列优化的加工负荷控制系统
JP6055058B1 (ja) * 2015-09-30 2016-12-27 ファナック株式会社 機械学習器及び組み立て・試験器を備えた生産設備
JP2017138881A (ja) * 2016-02-05 2017-08-10 ファナック株式会社 操作メニューの表示を学習する機械学習器，数値制御装置，工作機械システム，製造システムおよび機械学習方法
JP6453805B2 (ja) * 2016-04-25 2019-01-16 ファナック株式会社 製品の異常に関連する変数の判定値を設定する生産システム
TWI588633B (zh) * 2016-05-13 2017-06-21 捷準科技股份有限公司 產生g代碼檔案儲存及執行加工的電腦數控工具機
JP6496274B2 (ja) * 2016-05-27 2019-04-03 ファナック株式会社 寿命故障条件を学習する機械学習装置，故障予知装置，機械システムおよび機械学習方法
JP6557198B2 (ja) * 2016-09-06 2019-08-07 ファナック株式会社 数値制御装置
JP6450724B2 (ja) * 2016-10-18 2019-01-09 ファナック株式会社 工作機械の加工プログラムの設定値を学習する機械学習装置および加工システム
CN106527347B (zh) * 2016-10-28 2018-11-16 哈尔滨工业大学深圳研究生院 一种数控机床自学习修正误差系统及方法
JP6386520B2 (ja) * 2016-12-13 2018-09-05 ファナック株式会社 数値制御装置及び機械学習装置
JP6457473B2 (ja) * 2016-12-16 2019-01-23 ファナック株式会社 ロボットおよびレーザスキャナの動作を学習する機械学習装置，ロボットシステムおよび機械学習方法
JP6470251B2 (ja) * 2016-12-26 2019-02-13 ファナック株式会社 数値制御装置及び機械学習装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05168B2 (ja) * 1985-01-24 1993-01-05 Yamazaki Mach Works
JPH1058280A (ja) * 1996-08-16 1998-03-03 Hitachi Ltd 加工工程設計システム
JP2017045300A (ja) * 2015-08-27 2017-03-02 ファナック株式会社 びびり或いは工具摩耗／破損の発生を抑制する加工条件調整機能を有する数値制御装置
JP2017045323A (ja) * 2015-08-27 2017-03-02 ファナック株式会社 メニューを備える数値制御装置

Also Published As

Publication number Publication date
DE112018007741T5 (de) 2021-03-18
JPWO2020012581A1 (ja) 2020-07-27
CN112384867B (zh) 2021-10-29
DE112018007741B4 (de) 2024-02-01
JP6584697B1 (ja) 2019-10-02
CN112384867A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
US9964931B2 (en) Numerical controller with machining condition adjustment function which reduces chatter or tool wear/breakage occurrence
WO2020012581A1 (ja) 機械学習装置、数値制御加工プログラム生成装置および機械学習方法
JP6599069B1 (ja) 機械学習装置、加工プログラム生成装置および機械学習方法
CN105051630B (zh) 数控装置
JP2017030067A (ja) 加工時間測定機能とオンマシン測定機能を有する制御装置付き加工装置
US20180314227A1 (en) Method and control apparatus for optimized control of a machine tool
US11474497B2 (en) Numerical control device, machine learning device, and numerical control method
US10423145B2 (en) Numerical controller capable of changing machining condition in accordance with machining information
US20180032054A1 (en) Machining Status Display Apparatus, and NC Program Generating Apparatus and NC Program Editing Apparatus Provided with the Same
JP6122046B2 (ja) 加工サイクルの部分修正が可能な数値制御装置
JP6312648B2 (ja) 工具カタログデータベースと連携する数値制御システム
JP5271549B2 (ja) 可動工具の制御方法、入力装置及び工作機械
JP2015170147A (ja) Ｎｃプログラム生成、編集装置
JPH11277371A (ja) 加工プログラム作成支援装置
JP5886656B2 (ja) 数値制御装置
JP6980151B1 (ja) 加工プログラム生成装置、加工プログラム生成方法および機械学習方法
JPH02109657A (ja) 工具自動選択方式
US10877457B2 (en) Method for providing a travel profile, control device, machine, and computer program
Osman Zahid et al. End mill tools integration in CNC machining for rapid manufacturing processes: simulation studies
JP2016134078A (ja) スカイビング加工指令に基づいて工作機械を制御する数値制御装置
JP6687575B2 (ja) 数値制御装置
WO2019220575A1 (ja) 数値制御加工プログラム生成装置および数値制御加工プログラムの生成方法
WO2023026484A1 (ja) 評価用プログラム作成装置、及びプログラムを記録したコンピュータ読み取り可能な記録媒体
JPH113111A (ja) Ｃａｍシステム
JPH04135206A (ja) 加工条件自動決定装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018558361

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18926092

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18926092

Country of ref document: EP

Kind code of ref document: A1