WO2021200654A1 - 工具状態学習装置、工具状態推定装置、制御装置、工具状態学習方法、及び工具状態推定方法 - Google Patents

工具状態学習装置、工具状態推定装置、制御装置、工具状態学習方法、及び工具状態推定方法 Download PDF

Info

Publication number
WO2021200654A1
WO2021200654A1 PCT/JP2021/012861 JP2021012861W WO2021200654A1 WO 2021200654 A1 WO2021200654 A1 WO 2021200654A1 JP 2021012861 W JP2021012861 W JP 2021012861W WO 2021200654 A1 WO2021200654 A1 WO 2021200654A1
Authority
WO
WIPO (PCT)
Prior art keywords
tool
machined surface
image
state
tool state
Prior art date
Application number
PCT/JP2021/012861
Other languages
English (en)
French (fr)
Inventor
尚吾 稲垣
靖 岡島
齋藤　豪
努 内田
Original Assignee
ファナック株式会社
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファナック株式会社, 株式会社日立製作所 filed Critical ファナック株式会社
Priority to JP2022512117A priority Critical patent/JP7369856B2/ja
Priority to US17/910,638 priority patent/US20230129992A1/en
Priority to CN202180024851.8A priority patent/CN115362046A/zh
Priority to DE112021002094.3T priority patent/DE112021002094T5/de
Publication of WO2021200654A1 publication Critical patent/WO2021200654A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q17/00—Arrangements for observing, indicating or measuring on machine tools
    • B23Q17/09—Arrangements for observing, indicating or measuring on machine tools for indicating or measuring cutting pressure or for determining cutting-tool condition, e.g. cutting ability, load on tool
    • B23Q17/0995—Tool life management
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q17/00—Arrangements for observing, indicating or measuring on machine tools
    • B23Q17/09—Arrangements for observing, indicating or measuring on machine tools for indicating or measuring cutting pressure or for determining cutting-tool condition, e.g. cutting ability, load on tool
    • B23Q17/0904—Arrangements for observing, indicating or measuring on machine tools for indicating or measuring cutting pressure or for determining cutting-tool condition, e.g. cutting ability, load on tool before or after machining
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q17/00—Arrangements for observing, indicating or measuring on machine tools
    • B23Q17/24—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves
    • B23Q17/2409—Arrangements for indirect observation of the working space using image recording means, e.g. a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q17/00—Arrangements for observing, indicating or measuring on machine tools
    • B23Q17/24—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves
    • B23Q17/2452—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves for measuring features or for detecting a condition of machine parts, tools or workpieces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Definitions

  • the present invention relates to a tool state learning device, a tool state estimation device, a control device, a tool state learning method, and a tool state estimation method.
  • One aspect of the tool state learning device of the present disclosure is a storage unit that stores an arbitrary image in which a machined surface of an arbitrary work machined by using an arbitrary tool is imaged by an imaging device, and the storage.
  • supervised learning is executed, and the machined surface image of the machined surface of the work imaged by the imaging device is input to the work. It is provided with a tool state learning unit that generates a trained model that outputs the state of the tool obtained by cutting the machined surface of the above.
  • One aspect of the tool state estimation device of the present disclosure is to input a machined surface image of the machined surface of the work imaged by the imaging device generated by the tool state learning device of (1) and input the machined surface of the work.
  • the trained model that outputs the state of the tool that has been machined, the input unit that inputs the machined surface image of the machined surface imaged by the imaging device, and the machined surface image that has been input by the input unit have been trained. It is provided with a tool state estimation unit that estimates the state of the tool obtained by cutting the machined surface of the machined surface image output by the trained model by inputting to the model.
  • One aspect of the control device of the present disclosure includes the tool state estimation device of (2).
  • One aspect of the tool state learning method of the present disclosure is to acquire, as input data, an arbitrary image of the machined surface of an arbitrary work machined by using an arbitrary tool as input data.
  • the teacher data acquisition step of acquiring the state of the tool as a label which is annotated according to a predetermined step indicating the degree of wear of the tool based on an arbitrary image, and the acquired input data and the label.
  • Executes supervised learning inputs the machined surface image of the machined surface of the work imaged by the imaging device, and outputs the state of the tool that cut the machined surface of the work.
  • Tool state learning to generate a trained model.
  • One aspect of the tool state estimation method of the present disclosure is an input step for inputting a machined surface image of a machined surface imaged by the image pickup device, and the image pickup device generated by the tool state learning device of (1). Input the machined surface image of the machined surface of the work imaged by the above to the trained model that outputs the state of the tool that cut the machined surface of the work. A step of estimating the state of the tool obtained by cutting the machined surface of the machined surface image output by the trained model is provided.
  • the tool state can be easily estimated from the image of the machined surface.
  • FIG. 1 is a functional block diagram showing a functional configuration example of the tool state estimation system according to the embodiment.
  • the tool state estimation system 1 includes an image pickup device 10, a tool state estimation device 20, and a tool state learning device 30.
  • the image pickup device 10, the tool state estimation device 20, and the tool state learning device 30 may be directly connected to each other via a connection interface (not shown). Further, the image pickup device 10, the tool state estimation device 20, and the tool state learning device 30 may be connected to each other via a network (not shown) such as a LAN (Local Area Network) or the Internet. In this case, the image pickup device 10, the tool state estimation device 20, and the tool state learning device 30 are provided with a communication unit (not shown) for communicating with each other by such a connection. As will be described later, the tool state estimation device 20 may include the tool state learning device 30.
  • the image pickup device 10 is a digital camera or the like, and for example, is arranged on a machine tool (not shown) and images the machined surface of the work W cut by the machine tool (not shown).
  • the image pickup device 10 outputs an image of a machined surface of the work W imaged to a tool state estimation device 20 described later based on a control instruction from a control device (not shown) that controls cutting of a machine tool (not shown). ..
  • the tool state estimation device 20 acquires an image of the machined surface of the work W captured from the image pickup device 10 in the operation phase. Then, the tool state estimation device 20 inputs the acquired image of the machined surface of the work W into the learned model provided by the tool state learning device 30 described later. Thereby, the tool state estimation device 20 can estimate, for example, the degree of wear of the cutting edge of the tool (hereinafter, also referred to as “tool wear degree”) as the state of the tool obtained by cutting the machined surface of the work W. ..
  • the tool state estimation device 20 may output an image of the machined surface of the work W acquired from the image pickup device 10 to the tool state learning device 30 in the learning phase. Further, the tool state estimation device 20 may be included in a control device (not shown) as described later. Before explaining the tool state estimation device 20, "tool wear degree" and machine learning for generating a trained model will be described.
  • FIG. 2 is a diagram showing an example of the relationship between the wear of the cutting edge of the tool and the machined surface of the work W. Note that FIG. 2 shows, for example, the case of front slicing. As shown in FIG. 2, as the number of cutting operations (that is, the integrated time for using the tool) increases from left to right, the cutting edge of the tool wears and the cutting marks on the machined surface of the work W gradually change. For example, when the work W is made of aluminum, the machined surface of the work W becomes shiny as the cutting edge of the tool wears.
  • the machined surface of the work W becomes dull as the cutting edge of the tool wears.
  • the “tool wear degree” is “0%”.
  • the “tool wear degree” is a value between “0%” and “100%” because the cutting edge wears as the tool is used.
  • the “tool wear degree” is a percentage value in the range of "0%” to "100%", but may be a value in the range of "0" to "1", for example.
  • the tool state estimation device 20 estimates the "tool wear degree" as the state of the machined tool, but the present invention is not limited to this.
  • the tool state estimation device 20 may estimate any one of two or more stages such as "normal” and "abnormal” as the state of the machined tool.
  • "normal” means, for example, a tool state in which cutting can be performed with appropriate machining accuracy, such as the two tools shown on the left side of FIG.
  • "abnormality” indicates, for example, a tool state that is approaching the replacement time, such as the two tools shown on the right side of FIG.
  • the tool state learning device 30 acquires, for example, an image of a machined surface of an arbitrary work machined by using an arbitrary tool in advance by the image pickup device 10 as input data. Further, the tool state learning device 30 labels (correct answer) data indicating the state of the tool obtained by cutting the machined surface, which is determined from the machined surface of the work in the image based on the image of the acquired input data. Get as.
  • the tool state learning device 30 performs supervised learning based on the training data of the set of the acquired input data and the label, and constructs a learned model described later. By doing so, the tool state learning device 30 can provide the constructed learned model to the tool state estimating device 20.
  • the tool state learning device 30 will be specifically described.
  • the tool state learning device 30 has a control unit 31, a storage unit 32, and an image display unit 33. Further, the control unit 31 has a teacher data acquisition unit 311, a tool state learning unit 312, and an image area identification unit 313.
  • the image display unit 33 is a liquid crystal display or the like, and displays an image captured by the image pickup device 10 based on a control instruction of the control unit 31 described later.
  • the storage unit 32 is a RAM (Random Access Memory), an HDD (Hard Disk Drive), or the like.
  • the storage unit 32 stores the teacher data 321 and the trained model 250.
  • the teacher data 321 stores an image of a machined surface of an arbitrary work machined by using an arbitrary tool, which is acquired from the image pickup apparatus 10 by the teacher data acquisition unit 311 described later, via a communication unit (not shown). .. Further, the teacher data 321 stores as a label data indicating the state (“normal” or “abnormal”) of the tool obtained by cutting the machined surface, which is determined from the machined surface of the work in the stored image.
  • the trained model 250 is a trained model constructed by the tool state learning unit 312 described later.
  • the control unit 31 has a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM, a CMOS (Complementary Metal-Oxide-Memory) memory, and the like, and these are configured to be able to communicate with each other via a bus.
  • the CPU is a processor that controls the tool state learning device 30 as a whole.
  • the CPU reads out the system program and the application program stored in the ROM via the bus, and controls the entire tool state learning device 30 according to the system program and the application program.
  • the control unit 31 is configured to realize the functions of the teacher data acquisition unit 311, the tool state learning unit 312, and the image area identification unit 313.
  • CMOS memory is backed up by a battery (not shown), and is configured as a non-volatile memory in which the storage state is maintained even when the power of the tool state learning device 30 is turned off.
  • the teacher data acquisition unit 311 acquires, as input data, an image of a machined surface of an arbitrary work machined by using an arbitrary tool imaged by the image pickup device 10 via a communication unit (not shown). do. Further, the teacher data acquisition unit 311 displays, for example, the acquired image on the image display unit 33. The operator annotates the tool state, that is, the "tool wear degree” according to the cutting mark, the degree of shine, or the degree of dullness on the machined surface of the displayed image. The teacher data acquisition unit 311 acquires the degree of wear of the tool annotated by the operator as a label via an input device (not shown) such as a keyboard or a touch panel included in the tool state learning device 30. The teacher data acquisition unit 311 stores the input data of the acquired image and the label of the degree of wear of the tool in the teacher data 321 of the storage unit 32 as teacher data.
  • the tool state learning unit 312 acquires a set of input data and a label as training data from the teacher data 321 of the storage unit 32.
  • the tool state learning unit 312 inputs an image captured by the image pickup apparatus 10 by performing supervised learning using the acquired training data, and cuts the machined surface of the image, that is, the state of the tool, that is, "tool".
  • a trained model 250 that outputs "the degree of wear of" is constructed.
  • the tool state learning unit 312 may perform machine learning according to, for example, a neural network including a multi-layer neural network. For example, CNN (Convolutional Neural Network) may be applied.
  • the tool state learning unit 312 provides the constructed learned model 250 to the tool state estimation device 20. It is desirable to prepare a large number of training data for supervised learning. For example, training data may be acquired from image pickup devices 10 at various locations actually operating in a customer's factory or the like.
  • the tool state learning unit 312 acquires new training data after constructing the trained model 250
  • the tool state learning unit 312 further performs supervised learning on the trained model 250, and has already constructed the trained model 250.
  • the model 250 may be updated.
  • the training data can be automatically obtained from the imaging operation of the normal imaging device 10, so that the estimation accuracy of the tool state can be improved on a daily basis.
  • the supervised learning described above may be performed by online learning, batch learning, or mini-batch learning.
  • the online learning is a learning method in which the machined surface of the newly machined work W is imaged by the imaging device 10 and supervised learning is immediately performed each time training data is created.
  • the batch learning is a learning method in which supervised learning is performed based on the training data of a predetermined number of images obtained by capturing the processed surface of the newly cut work W by the imaging device 10.
  • mini-batch learning is a learning method in which supervised learning is performed every time training data is accumulated to some extent, which is intermediate between online learning and batch learning.
  • the tool state learning unit 312 includes, for example, an image of a machined surface of an arbitrary work machined by using an arbitrary tool, and a material of the tool used in the cutting work (for example, carbon tool steel, ceramic, etc.).
  • Tool information input data including at least one such as shape (eg, bite, front slice, etc.), tool diameter, tool length, tool state before machining, etc., and a tool wear degree label annotated by the operator.
  • the trained model 250 may be constructed by inputting the image of the machined surface imaged by the imaging device 10 and the tool information of the tool obtained by cutting the machined surface and outputting the state of the tool. ..
  • a tool management table (not shown) that manages all the tools attached to the machine tool (not shown) may be stored in a storage unit such as an HDD included in the machine tool or the control device (not shown).
  • the tool state learning device 30 uses a machine tool or a control device (not shown) to determine the tool material, shape, tool diameter, tool length, tool state before machining, etc., based on the tool number or the like set in the machining program.
  • Tool information including at least one may be acquired from a tool management table (not shown).
  • the tool state learning unit 312 includes, for example, an image of a machined surface of an arbitrary work machined by using an arbitrary tool, tool information of the tool used in the cutting work, a material of the work W to be machined, and the like. Using the training data of the set of the input data of the work information including the The trained model 250 may be constructed by inputting the tool information and the work information of the above and outputting the state of the tool. By doing so, the estimation accuracy of the trained model 250 can be improved. Further, the tool state learning unit 312 may build a learned model 250 for each tool.
  • FIG. 3 is a diagram showing an example of an image of the processed surface.
  • the image of the machined surface includes the image area SR of the machined surface shown by shading, the background image area BR of a table or the like on which the work W is arranged, and tools other than the image area SR. Includes the image area AR of the machined surface machined in.
  • the image area specifying unit 313 performs a matching process using the CAD data acquired from a CAD / CAM device or the like (not shown) and the image of the training data to specify the image area SR of the processed surface. Then, the image area specifying unit 313 may mask the image area AR other than the image area SR of the specified processed surface and the background image area BR, and output the masked image to the tool state learning unit 312. By doing so, the tool state learning device 30 estimates the trained model 250 constructed by performing supervised learning using images in which image areas AR and BR other than the image area SR of the machined surface are masked. The accuracy can be improved.
  • the image area specifying unit 313 displays an image on the image display unit 33, for example, and sets the image area SR of the machined surface based on an operator's input operation via an input device (not shown) of the tool state learning device 30. It may be specified.
  • the machine learning for generating the trained model 250 included in the tool state estimation device 20 has been described above. Next, the tool state estimation device 20 in the operation phase will be described.
  • the tool state estimation device 20 in the operation phase includes an input unit 201, a tool state estimation unit 202, a determination unit 203, a notification unit 204, and a storage unit 205.
  • the tool state estimation device 20 includes a calculation processing device (not shown) such as a CPU in order to realize the operation of the functional block shown in FIG. Further, the tool state estimation device 20 is temporarily required for an auxiliary storage device (not shown) such as a ROM (Read Only Memory) or HDD storing various control programs, or an arithmetic processing device for executing the program. It is provided with a main storage device (not shown) such as a RAM for storing data.
  • the arithmetic processing device reads the OS and application software from the auxiliary storage device, deploys the read OS and application software to the main storage device, and performs arithmetic processing based on these OS and application software. To do. Based on this calculation result, the tool state estimation device 20 controls each hardware. As a result, the processing by the functional block of FIG. 1 is realized. That is, the tool state estimation device 20 can be realized by the cooperation of hardware and software.
  • the input unit 201 inputs an image of the machined surface of the work W imaged by the image pickup device 10 from the image pickup device 10.
  • the input unit 201 outputs the input image to the tool state estimation unit 202.
  • the input unit 201 is used.
  • the tool state estimation unit 202 inputs the image input by the input unit 201 into the trained model 250. By doing so, the tool state estimation unit 202 can estimate the "tool wear degree" obtained by cutting the machined surface of the input image as the tool state from the output of the trained model 250.
  • the tool state estimation device 20 outputs, for example, the degree of wear of the tool estimated by the tool state estimation unit 202 to a machine tool or control device (not shown) and stores it in a storage unit of the machine tool or control device (not shown).
  • the tool state before machining of the tool management table (not shown) may be updated.
  • the determination unit 203 determines whether or not to replace the tool based on the degree of wear of the tool estimated by the tool state estimation unit 202. More specifically, the determination unit 203 determines the optimum time for tool replacement based on the comparison between the estimated value of the tool wear degree and the preset threshold value.
  • FIG. 4 is a diagram showing an example of the degree of wear of the tool. As described with reference to FIG. 2, the cutting edge of the tool wears as the number of cutting operations (that is, the cumulative usage time of the tool) increases, so that the degree of wear of the tool increases. For example, when the wear degree of the tool is "80%" or less, the tool can be machined with appropriate machining accuracy.
  • the wear degree "80%” is set as the threshold value ⁇ .
  • the threshold value ⁇ may be appropriately set according to the material of the work W to be machined, the environment in which the machine tool (not shown) is installed, and the like.
  • the determination unit 203 determines whether or not the wear degree of the tool estimated by the tool state estimation unit 202 is equal to or less than the threshold value ⁇ .
  • the determination unit 203 determines that the tool is not replaced when the estimated wear degree of the tool is equal to or less than the threshold value ⁇ .
  • the determination unit 203 determines the tool replacement time.
  • the determination unit 203 compared the estimated wear degree of the tool with one threshold value ⁇ , and compared the estimated wear degree of the tool with two or more preset threshold values. You may. Specifically, the determination unit 203 may compare, for example, the estimated wear degree of the tool with the threshold value ⁇ 1 such as “80%” and the threshold value ⁇ 2 such as “90%”. .. In this case, the determination unit 203 may determine that it is not necessary to replace the tool when the estimated wear degree of the tool is equal to or less than the threshold value ⁇ 1.
  • the determination unit 203 when the estimated wear degree of the tool exceeds the threshold value ⁇ 1 and is equal to or less than the threshold value ⁇ 2 , the tool replacement time is approaching, and the tool replacement does not need to be performed immediately, but the tool replacement can be performed. It may be decided to output an alarm indicating that it is imminent. Further, the determination unit 203 may decide to output an alarm for promptly causing the operator to change the tool when the estimated wear degree of the tool exceeds the threshold value ⁇ 2. By doing so, the alarm notification method can be finely changed according to the degree of tool wear estimated by the trained model 250.
  • the notification unit 204 When the notification unit 204 receives the decision to replace the tool from the determination unit 203, the notification unit 204 issues a tool replacement instruction to, for example, an output device (not shown) such as a liquid crystal display included in a machine tool and / or a control device (not shown). It may be output. Then, the machine tool (not shown) includes an automatic tool changer (not shown) in which the tool instructed to be replaced is included in the machine tool based on the tool management table (not shown) stored in the storage unit of the machine tool or the control device (not shown). It may be replaced automatically by (not shown). The notification unit 204 may notify by voice via a speaker (not shown), or may turn on a rotating light, a signal light, or the like (not shown) to notify the notification.
  • an output device such as a liquid crystal display included in a machine tool and / or a control device (not shown). It may be output.
  • the machine tool includes an automatic tool changer (not shown) in which the tool instructed to be replaced is included in the
  • the storage unit 205 is a ROM, HDD, or the like, and may store the trained model 250 together with various control programs.
  • FIG. 4 is a flowchart illustrating the estimation process of the tool state estimation device 20 in the operation phase. The flow shown here may be executed every time an image of the machined surface of one work W is input, and every time an image of the machined surface of the work W is input at intervals such as 10 or 100 pieces. It may be executed.
  • step S11 the input unit 201 inputs an image of the machined surface of the work W imaged by the image pickup device 10 from the image pickup device 10.
  • step S12 the tool state estimation unit 202 estimates the degree of wear of the tool by inputting the image input in step S11 into the trained model 250.
  • step S13 the determination unit 203 determines whether or not the tool wear degree estimated in step S12 is equal to or less than the threshold value ⁇ .
  • the determination unit 203 determines that the tool does not need to be replaced and decides not to replace the tool. Then, the process ends.
  • the degree of wear of the tool exceeds the threshold value ⁇ , the determination unit 203 determines that the tool needs to be replaced and decides to replace the tool. Then, the process proceeds to step S14.
  • step S14 the notification unit 204 outputs a tool exchange instruction to an output device (not shown) of a machine tool and / or a control device (not shown) based on the tool exchange decision received from the determination unit 203.
  • the tool state estimation device 20 estimates the wear degree of the tool as the tool state by inputting the image of the machined surface of the work W imaged by the image pickup device 10 into the learned model 250. ..
  • the tool state estimation device 20 can easily estimate the tool state (that is, the degree of wear of the tool) from the image of the machined surface, and can appropriately determine the tool replacement time regardless of the operator's experience.
  • the tool state estimation device 20 and the tool state learning device 30 are not limited to the above-described embodiment, and include deformation, improvement, and the like within a range in which the object can be achieved.
  • the tool state learning device 30 is exemplified as a device different from the tool state estimation device 20, the machine tool (not shown) or the control device (not shown), but some or all the functions of the tool state learning device 30 are exhibited.
  • the tool state estimation device 20, a machine tool (not shown) or a control device (not shown) may be provided.
  • the tool state estimation device 20 is exemplified as a device different from a machine tool (not shown) or a control device (not shown). It may be provided by a control device that does not.
  • the server may include, for example, a part or all of the input unit 201, the tool state estimation unit 202, the determination unit 203, the notification unit 204, and the storage unit 205 of the tool state estimation device 20.
  • each function of the tool state estimation device 20 may be realized by using a virtual server function or the like on the cloud.
  • the tool state estimation device 20 may be a distributed processing system in which each function of the tool state estimation device 20 is appropriately distributed to a plurality of servers.
  • the tool state estimation device 20 uses the learned model 250 provided by the tool state learning device 30 to obtain the tool state from the image of the machined surface captured by the image pickup device 10.
  • the degree of wear has been estimated, but is not limited to this.
  • the server 50 stores the learned model 250 generated by the tool state learning device 30, and m tool state estimating devices 20A (1) -20A (1) -20A connected to the network 60.
  • the trained model 250 may be downloaded from the server 50 (m is an integer of 2 or more). As a result, the trained model 250 can be applied even if a new machine tool and a tool state estimation device are arranged.
  • Each of the tool state estimation devices 20A (1) -20A (m) is connected to each of the machine tools 15 (1) -15 (m). Further, each of the machine tools 15 (1) to 15 (m) includes an image pickup device similar to the image pickup device 10 of FIG. 1 and a control device (not shown). Further, each of the tool state estimation devices 20A (1) and 20A (m) corresponds to the tool state estimation device 20 of FIG. Alternatively, as shown in FIG. 7, the server 50 operates as, for example, a tool state estimation device 20, and for each of the machine tools 15 (1) -15 (m) connected to the network 60, each machine tool The tool state may be estimated from the image of the machined surface captured by the image pickup apparatus of 15 (i). Note that i is an integer from 1 to m. As a result, the trained model 250 can be applied even if a new machine tool is placed.
  • each function included in the tool state estimation device 20 and the tool state learning device 30 in one embodiment can be realized by hardware, software, or a combination thereof.
  • what is realized by software means that it is realized by a computer reading and executing a program.
  • Each component included in the tool state estimation device 20 and the tool state learning device 30 can be realized by hardware, software including an electronic circuit, or a combination thereof. If implemented by software, the programs that make up this software are installed on your computer. In addition, these programs may be recorded on removable media and distributed to users, or may be distributed by being downloaded to a user's computer via a network. In addition, when configured with hardware, some or all of the functions of each component included in the above device are, for example, ASIC (Application Specific Integrated Circuit), gate array, FPGA (Field Programmable Gate Array), CPLD ( It can be configured by an integrated circuit (IC) such as a Complex ProgramLogic Device).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • CPLD It can be configured by an integrated circuit (IC) such as a Complex ProgramLogic Device).
  • Non-transitory computer-readable media include various types of tangible recording media (Tangible storage media).
  • Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory), CD- Includes R, CD-R / W, and semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM).
  • the program may also be supplied to the computer by various types of temporary computer-readable media (Transition computer readable medium). Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • the step of describing the program recorded on the recording medium is not only the processing performed in chronological order according to the order, but also the processing executed in parallel or individually even if it is not necessarily processed in chronological order. Also includes.
  • the tool state learning device, the tool state estimation device, the control device, the tool state learning method, and the tool state estimation method of the present disclosure may take various embodiments having the following configurations. can.
  • the tool state learning device 30 of the present disclosure includes a storage unit 32 and a storage unit 32 for storing an arbitrary image in which a machined surface of an arbitrary work machined by using an arbitrary tool is imaged by the image pickup device 10.
  • a teacher data acquisition unit that acquires an arbitrary image stored in 32 as input data and acquires a tool state annotated according to a predetermined stage indicating the degree of tool wear based on the arbitrary image as a label.
  • the supervised learning is executed, and the machined surface image of the machined surface of the work W imaged by the imaging device 10 is input to the work W.
  • It includes a tool state learning unit 312 that generates a learned model 250 that outputs the state of a tool that has been machined on a machined surface. According to the tool state learning device 30, it is possible to generate a learned model 250 that accurately outputs the tool state from the image of the machined surface.
  • the tool state learning device 30 may further include an image display unit 33 that displays an arbitrary image in order to annotate the state of the tool according to a predetermined step. By doing so, the tool state learning device 30 can acquire the state of the tool annotated according to a predetermined stage indicating the degree of wear of the tool as a label.
  • the tool state learning device 30 further includes an image area specifying unit 313 that masks image areas AR and BR other than the image area SR of the processed surface among arbitrary images.
  • the teacher data acquisition unit 311 may acquire an arbitrary masked image as input data. By doing so, the tool state learning device 30 can improve the estimation accuracy of the trained model 250 by performing supervised learning using the masked image.
  • the tool state learning unit 312 inputs the machined surface image newly captured by the image pickup device 10 as input data.
  • Supervised learning may be executed using the state of the tool output from the trained model 250 for the machined surface image as a label, and the trained model 250 may be updated. By doing so, the tool state learning device 30 can improve the estimation accuracy of the trained model 250.
  • the teacher data acquisition unit 311 together with an arbitrary image, at least one of the tool material, shape, and the tool state before machining.
  • Tool information including one is acquired as input data, and the tool state learning unit 312 inputs the tool information of the machined surface image captured by the imaging device 10 and the machined surface of the machined surface image, and inputs the tool information of the tool.
  • the tool state estimation device 20 of the present disclosure processes the machined surface of the work W imaged by the image pickup device 10 generated by the tool state learning device 30 according to any one of (1) to (4).
  • a trained model 250 that inputs a surface image and outputs the state of a tool that has machined the machined surface of the work W, an input unit 201 that inputs a machined surface image of the machined surface imaged by the imaging device 10, and an input unit 201.
  • the tool state can be easily estimated from the image of the machined surface.
  • the tool state estimation device 20 may include a determination unit 203 that determines whether or not it is time to replace the tool based on the tool state estimated by the tool state estimation unit 202. .. By doing so, the tool state estimation device 20 can accurately notify the operator of the tool replacement time.
  • the trained model 250 may be provided in the server 50 accessiblely connected from the tool state estimation device 20 via the network 60. .. By doing so, the tool state estimation device 20 can apply the trained model 250 even if the new image pickup device 10 and the tool state estimation device 20 are arranged.
  • the tool state estimation device 20 may include the tool state learning device 30 according to any one of (1) to (5). By doing so, the tool state estimation device 20 can achieve the same effect as any of the above-mentioned (1) to (8).
  • the control device of the present disclosure may include the tool state estimation device 20 according to any one of (6) to (9). According to this control device, the same effect as any of (1) to (9) described above can be obtained.
  • an arbitrary image captured by the imaging device 10 on the machined surface of an arbitrary work machined by using an arbitrary tool is acquired as input data, and an arbitrary image is obtained.
  • Performs supervised learning using the teacher data acquisition step which acquires the state of the tool annotated according to a predetermined stage indicating the degree of tool wear based on, as a label, and the acquired input data and label.
  • the tool state learning step of generating a learned model for inputting the machined surface image of the machined surface of the work imaged by the imaging device 10 and outputting the state of the tool obtained by cutting the machined surface of the work is provided.
  • This tool state learning method can produce the same effect as (1) described above.
  • the tool state estimation method of the present disclosure includes an input step for inputting a machined surface image of a machined surface imaged by the image pickup device 10, and the tool state learning device 30 according to any one of (1) to (4). It is input in the input step to the trained model 250 that inputs the machined surface image of the machined surface of the work W generated by the imaging device 10 and outputs the state of the tool that cuts the machined surface of the work W. It is provided with an estimation step of estimating the state of the tool obtained by cutting the machined surface of the machined surface image output by the trained model 250 by inputting the machined surface image.
  • This tool state estimation method can achieve the same effect as (6) described above.
  • Tool state estimation system 10 Imaging device 20 Tool state estimation device 201 Input unit 202 Tool state estimation unit 203 Decision unit 204 Notification unit 205 Storage unit 250 Learned model 30 Tool state learning device 311 Teacher data acquisition unit 312 Tool state learning unit 313 Image area identification unit 32 Storage unit 321 Teacher data 33 Image display unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

加工面の画像から工具状態を容易に推定すること。　工具状態学習装置は、任意の工具を用いて切削加工された任意のワークの加工面が撮像装置により撮像された任意の画像を記憶する記憶部と、前記記憶部に記憶された前記任意の画像を入力データとして取得するとともに、前記任意の画像に基づいて工具の摩耗の度合いを示す所定の段階に応じてアノテーションされた前記工具の状態をラベルとして取得する教師データ取得部と、前記教師データ取得部により取得された入力データとラベルとを用いて、教師あり学習を実行し、前記撮像装置により撮像されたワークの加工面の加工面画像を入力し前記ワークの加工面を切削加工した工具の状態を出力する学習済みモデルを生成する工具状態学習部と、を備える。

Description

工具状態学習装置、工具状態推定装置、制御装置、工具状態学習方法、及び工具状態推定方法
　本発明は、工具状態学習装置、工具状態推定装置、制御装置、工具状態学習方法、及び工具状態推定方法に関する。
　切削加工で使用される工具は、使用されるに従い刃先が摩耗する。切削加工の精度は、工具の刃先の損耗に影響されることから、一般に、工具の種類別に固有の使用寿命時間が予め設定され、加工時間の合計及び使用寿命時間に基づいて、工具の交換が行われている。
　この点、切削加工された複数のワークの加工面の画像を撮像し、撮像された加工面の画像における切削加工結果の品質を表すコントラストと、予め設定された閾値と、の比較に基づいて、工具の寿命を判定する技術が知られている。例えば、特許文献１参照。
特開２０１８－１２８８号公報
　コントラスト等の数値データを基準とする場合は、ワークや撮像条件により変わることがあり、一般に工具の交換時期の閾値の決め方が難しい。
　そこで、加工面の画像から工具状態を容易に推定することが望まれている。
　（１）本開示の工具状態学習装置の一態様は、任意の工具を用いて切削加工された任意のワークの加工面が撮像装置により撮像された任意の画像を記憶する記憶部と、前記記憶部に記憶された前記任意の画像を入力データとして取得するとともに、前記任意の画像に基づいて工具の摩耗の度合いを示す所定の段階に応じてアノテーションされた前記工具の状態をラベルとして取得する教師データ取得部と、前記教師データ取得部により取得された入力データとラベルとを用いて、教師あり学習を実行し、前記撮像装置により撮像されたワークの加工面の加工面画像を入力し前記ワークの加工面を切削加工した工具の状態を出力する学習済みモデルを生成する工具状態学習部と、を備える。
　（２）本開示の工具状態推定装置の一態様は、（１）の工具状態学習装置により生成された、撮像装置により撮像されたワークの加工面の加工面画像を入力し前記ワークの加工面を切削加工した工具の状態を出力する学習済みモデルと、前記撮像装置により撮像された加工面の加工面画像を入力する入力部と、前記入力部により入力された前記加工面画像を前記学習済みモデルに入力することで、前記学習済みモデルが出力する前記加工面画像の加工面を切削加工した工具の状態を推定する工具状態推定部と、を備える。
　（３）本開示の制御装置の一態様は、（２）の工具状態推定装置を備える。
　（４）本開示の工具状態学習方法の一態様は、任意の工具を用いて切削加工された任意のワークの加工面が撮像装置により撮像された任意の画像を入力データとして取得するとともに、前記任意の画像に基づいて工具の摩耗の度合いを示す所定の段階に応じてアノテーションされた前記工具の状態をラベルとして取得する教師データ取得ステップと、取得された前記入力データと前記ラベルとを用いて、教師あり学習を実行し、前記撮像装置により撮像されたワークの加工面の加工面画像を入力し前記ワークの加工面を切削加工した工具の状態を出力する学習済みモデルを生成する工具状態学習ステップと、を備える。
　（５）本開示の工具状態推定方法の一態様は、撮像装置により撮像された加工面の加工面画像を入力する入力ステップと、（１）の工具状態学習装置により生成された、前記撮像装置により撮像されたワークの加工面の加工面画像を入力し前記ワークの加工面を切削加工した工具の状態を出力する学習済みモデルに、前記入力ステップで入力された前記加工面画像を入力することで、前記学習済みモデルが出力する前記加工面画像の加工面を切削加工した工具の状態を推定する推定ステップと、を備える。
　一態様によれば、加工面の画像から工具状態を容易に推定することができる。
一実施形態に係る工具状態推定システムの機能的構成例を示す機能ブロック図である。 工具の刃先の摩耗とワークの加工面との関係の一例を示す図である。 加工面の画像の一例を示す図である。 工具の摩耗度の一例を示す図である。 運用フェーズにおける工具状態推定装置の推定処理について説明するフローチャートである。 工具状態推定システムの構成の一例を示す図である。 工具状態推定システムの構成の一例を示す図である。
　以下、本開示の一実施形態について、図面を用いて説明する。
＜一実施形態＞
　図１は、一実施形態に係る工具状態推定システムの機能的構成例を示す機能ブロック図である。図１に示すように、工具状態推定システム１は、撮像装置１０、工具状態推定装置２０、及び工具状態学習装置３０を有する。
　撮像装置１０、工具状態推定装置２０、及び工具状態学習装置３０は、図示しない接続インタフェースを介して互いに直接接続されてもよい。また、撮像装置１０、工具状態推定装置２０、及び工具状態学習装置３０は、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）やインターネット等の図示しないネットワークを介して相互に接続されていてもよい。この場合、撮像装置１０、工具状態推定装置２０、及び工具状態学習装置３０は、かかる接続によって相互に通信を行うための図示しない通信部を備えている。なお、後述するように、工具状態推定装置２０は、工具状態学習装置３０を含むようにしてもよい。
　撮像装置１０は、デジタルカメラ等であり、例えば、図示しない工作機械に配置され、図示しない工作機械によって切削加工されたワークＷの加工面を撮像する。撮像装置１０は、図示しない工作機械の切削加工を制御する制御装置（図示しない）からの制御指示に基づいて、撮像したワークＷの加工面の画像を、後述する工具状態推定装置２０に出力する。
　工具状態推定装置２０は、運用フェーズにおいて、撮像されたワークＷの加工面の画像を撮像装置１０から取得する。そして、工具状態推定装置２０は、取得したワークＷの加工面の画像を、後述する工具状態学習装置３０から提供された学習済みモデルに入力する。これにより、工具状態推定装置２０は、ワークＷの加工面を切削加工した工具の状態として、例えば工具の刃先の摩耗の度合い（以下、「工具の摩耗度」ともいう）を推定することができる。
　なお、工具状態推定装置２０は、学習フェーズにおいて、撮像装置１０から取得したワークＷの加工面の画像を工具状態学習装置３０に出力してもよい。
　また、工具状態推定装置２０は、後述するように、制御装置（図示しない）に含まれてもよい。
　工具状態推定装置２０を説明する前に、「工具の摩耗度」と、学習済みモデルを生成するための機械学習と、について説明する。
＜工具の摩耗度について＞
　「工具の摩耗度」は、上述のように、切削加工で使用される工具の刃先における摩耗の度合いを示す。
　図２は、工具の刃先の摩耗とワークＷの加工面との関係の一例を示す図である。なお、図２では、例えば、正面スライス加工の場合を示す。図２に示すように、左から右へ切削加工の回数（すなわち、工具の使用積算時間）が増加するに従い工具の刃先が摩耗し、ワークＷの加工面における切削跡が徐々に変化する。例えば、ワークＷがアルミの場合、工具の刃先が摩耗するに従いワークＷの加工面がテカってくる。例えば、ワークＷが鋳物の場合、工具の刃先が摩耗するに従いワークＷの加工面がくすんでくる。
　例えば、新品の工具は、図２の左側に示すように、刃先の摩耗がなく切れ味が最も良い状態であることから、「工具の摩耗度」は「０％」となる。「工具の摩耗度」は、図２に示すように、工具が使用されるに従い刃先が摩耗するため、「０％」から「１００％」の間の値となる。
　なお、「工具の摩耗度」は、「０％」から「１００％」の範囲のパーセント値としたが、例えば、「０」から「１」の範囲の値等でもよい。
　また、後述するように、工具の摩耗度のアノテーションは、撮像装置１０により撮像された任意のワークの加工面の画像に基づいて、オペレータにより判断される。
　また、本実施形態では、工具状態推定装置２０は、切削加工した工具の状態として「工具の摩耗度」を推定するとしたが、これに限定されない。例えば、工具状態推定装置２０は、切削加工した工具の状態として「正常」、「異常」等の２以上の複数の段階のいずれかを推定してもよい。この場合、「正常」とは、例えば、図２の左側に示す２つの工具のように、適切な加工精度で切削加工できる工具状態を示す。また、「異常」とは、例えば、図２の右側に示す２つの工具のように、交換時期に差し掛かっている工具状態を示す。
＜工具状態学習装置３０＞
　工具状態学習装置３０は、例えば、予め、任意の工具を用いて切削加工された任意のワークの加工面が撮像装置１０により撮像された画像を、入力データとして取得する。
　また、工具状態学習装置３０は、取得された入力データの画像に基づいて、画像におけるワークの加工面から判断される、当該加工面を切削加工した工具の状態、を示すデータをラベル（正解）として取得する。
　工具状態学習装置３０は、取得した入力データとラベルとの組の訓練データにより教師あり学習を行い、後述する学習済みモデルを構築する。
　そうすることで、工具状態学習装置３０は、構築した学習済みモデルを工具状態推定装置２０に提供することができる。
　工具状態学習装置３０について、具体的に説明する。
　工具状態学習装置３０は、図１に示すように、制御部３１、記憶部３２、及び画像表示部３３を有する。また、制御部３１は、教師データ取得部３１１、工具状態学習部３１２、及び画像領域特定部３１３を有する。
　画像表示部３３は、液晶ディスプレイ等であり、後述する制御部３１の制御指示に基づいて、撮像装置１０により撮像された画像を表示する。
＜記憶部３２＞
　記憶部３２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）やＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等である。記憶部３２は、教師データ３２１、及び学習済みモデル２５０を記憶する。
　教師データ３２１は、図示しない通信部を介して、後述する教師データ取得部３１１により撮像装置１０から取得された、任意の工具を用いて切削加工された任意のワークの加工面の画像を格納する。
　また、教師データ３２１は、格納された画像におけるワークの加工面から判断される、当該加工面を切削加工した工具の状態（「正常」又は「異常」）、を示すデータをラベルとして格納する。
　学習済みモデル２５０は、後述する工具状態学習部３１２により構築される学習済みモデルである。
＜制御部３１＞
　制御部３１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）メモリ等を有し、これらはバスを介して相互に通信可能に構成される、当業者にとって公知のものである。
　ＣＰＵは工具状態学習装置３０を全体的に制御するプロセッサである。ＣＰＵは、ＲＯＭに格納されたシステムプログラム及びアプリケーションプログラムを、バスを介して読み出し、前記システムプログラム及びアプリケーションプログラムに従って工具状態学習装置３０全体を制御する。これにより、図１に示すように、制御部３１が、教師データ取得部３１１、工具状態学習部３１２、及び画像領域特定部３１３の機能を実現するように構成される。ＲＡＭには一時的な計算データや表示データ等の各種データが格納される。また、ＣＭＯＳメモリは図示しないバッテリでバックアップされ、工具状態学習装置３０の電源がオフされても記憶状態が保持される不揮発性メモリとして構成される。
　教師データ取得部３１１は、学習フェーズにおいて、図示しない通信部を介して、撮像装置１０により撮像された任意の工具を用いて切削加工された任意のワークの加工面の画像を、入力データとして取得する。
　また、教師データ取得部３１１は、例えば、取得した画像を画像表示部３３に表示する。オペレータは、表示された画像の加工面における切削跡、テカリ具合、又はくすみ具合に応じて工具状態、すなわち「工具の摩耗度」をアノテーションする。教師データ取得部３１１は、工具状態学習装置３０に含まれるキーボードやタッチパネル等の入力装置（図示しない）を介して、オペレータによりアノテーションされた工具の摩耗度を、ラベルとして取得する。
　教師データ取得部３１１は、取得した画像の入力データと、工具の摩耗度のラベルとを、教師データとして記憶部３２の教師データ３２１に格納する。
　工具状態学習部３１２は、記憶部３２の教師データ３２１から入力データとラベルとの組を訓練データとして取得する。工具状態学習部３１２は、取得した訓練データを用いて、教師あり学習を行うことにより、撮像装置１０により撮像された画像を入力し当該画像の加工面を切削加工した工具の状態、すなわち「工具の摩耗度」を出力する学習済みモデル２５０を構築する。
　なお、本実施形態では、工具状態学習部３１２は、例えば多層ニューラルネットワークを含むニューラルネットワークに従って機械学習を行ってもよい。例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を適用してもよい。
　そして、工具状態学習部３１２は、構築した学習済みモデル２５０を工具状態推定装置２０に対して提供する。
　なお、教師あり学習を行うための訓練データは、多数用意されることが望ましい。例えば、顧客の工場等で実際に稼働している様々な場所の撮像装置１０から訓練データが取得されてもよい。
　また、工具状態学習部３１２は、学習済みモデル２５０を構築した後に、新たな訓練データを取得した場合には、学習済みモデル２５０に対してさらに教師あり学習を行うことにより、一度構築した学習済みモデル２５０を更新するようにしてもよい。
　そうすることで、普段の撮像装置１０の撮像動作から訓練データを自動的に得ることができるため、工具状態の推定精度を日常的に上げることができる。
　上述した教師あり学習は、オンライン学習で行ってもよく、バッチ学習で行ってもよく、ミニバッチ学習で行ってもよい。
　オンライン学習とは、新たに切削加工されたワークＷの加工面が撮像装置１０により撮像され、訓練データが作成される都度、即座に教師あり学習を行うという学習方法である。また、バッチ学習とは、新たに切削加工されたワークＷの加工面が撮像装置１０により撮像され収集された、所定数の画像の訓練データに基づいて教師あり学習を行うという学習方法である。さらに、ミニバッチ学習とは、オンライン学習と、バッチ学習の中間的な、ある程度訓練データが溜まるたびに教師あり学習を行うという学習方法である。
　なお、工具状態学習部３１２は、例えば、任意の工具を用いて切削加工された任意のワークの加工面の画像、及び当該切削加工で用いた工具の材質（例えば、炭素工具鋼やセラミック等）、形状（例えば、バイトや正面スライス等）、工具径、工具長、加工前の工具状態等の少なくとも１つを含む工具情報の入力データと、オペレータによりアノテーションされた工具の摩耗度のラベルとの組の訓練データを用いて、撮像装置１０により撮像された加工面の画像及び当該加工面を切削加工した工具の工具情報を入力し工具の状態を出力する学習済みモデル２５０を構築してもよい。
　この場合、図示しない工作機械に取付けられるすべての工具を管理する工具管理テーブル（図示しない）が、図示しない工作機械又は制御装置に含まれるＨＤＤ等の記憶部に記憶されてもよい。工具状態学習装置３０は、図示しない工作機械又は制御装置を介して、加工プログラムに設定された工具番号等に基づいて、工具の材質、形状、工具径、工具長、加工前の工具状態等の少なくとも１つを含む工具情報を、工具管理テーブル（図示しない）から取得してもよい。
　また、工具状態学習部３１２は、例えば、任意の工具を用いて切削加工された任意のワークの加工面の画像、当該切削加工で用いた工具の工具情報、及び加工対象のワークＷの材質等を含むワーク情報の入力データと、オペレータによりアノテーションされた工具の摩耗度のラベルとの組の訓練データを用いて、撮像装置１０により撮像された加工面の画像、当該加工面を切削加工した工具の工具情報、及びワーク情報を入力し工具の状態を出力する学習済みモデル２５０を構築してもよい。
　そうすることで、学習済みモデル２５０の推定精度を向上させることができる。
　また、工具状態学習部３１２は、工具毎に学習済みモデル２５０を構築してもよい。
　画像領域特定部３１３は、工具状態学習部３１２が画像を含む訓練データを用いて、教師あり学習を行うにあたり、当該画像のうちワークＷの加工面の画像領域以外からの影響を取り除くために、加工面の画像領域以外の画像領域をマスクする。
　図３は、加工面の画像の一例を示す図である。図３に示すように、加工面の画像には、網掛けで示す加工面の画像領域ＳＲとともに、ワークＷが配置されたテーブル等の背景の画像領域ＢＲ、及び画像領域ＳＲ以外の他の工具で加工された加工面の画像領域ＡＲを含む。しかしながら、ワークＷの加工面に対する光の当たり具合により、撮像装置１０により撮像された画像において、加工面の画像領域ＳＲ以外の画像領域ＡＲ、及び背景の画像領域ＢＲからの反射等の影響により、画像領域ＳＲの加工面の位置及び形状が不明確になることがある。
　そこで、画像領域特定部３１３は、図示しないＣＡＤ／ＣＡＭ装置等から取得したＣＡＤデータと、訓練データの画像とを用いたマッチング処理を行い、加工面の画像領域ＳＲを特定する。そして、画像領域特定部３１３は、特定された加工面の画像領域ＳＲ以外の画像領域ＡＲ、及び背景の画像領域ＢＲをマスクし、マスクした画像を工具状態学習部３１２に出力してもよい。
　そうすることで、工具状態学習装置３０は、加工面の画像領域ＳＲ以外の画像領域ＡＲ、ＢＲがマスクされた画像を用いて教師あり学習を行うことで、構築される学習済みモデル２５０の推定精度を向上させることができる。
　なお、画像領域特定部３１３は、例えば、画像表示部３３に画像を表示し、工具状態学習装置３０の入力装置（図示しない）を介したオペレータの入力操作に基づいて加工面の画像領域ＳＲを特定してもよい。
　以上、工具状態推定装置２０が備える学習済みモデル２５０を生成するための機械学習について説明した。
　次に、運用フェーズにおける工具状態推定装置２０について説明する。
＜運用フェーズにおける工具状態推定装置２０＞
　図１に示すように、運用フェーズにおける工具状態推定装置２０は、入力部２０１、工具状態推定部２０２、決定部２０３、通知部２０４、及び記憶部２０５を含んで構成される。
　なお、工具状態推定装置２０は、図１の機能ブロックの動作を実現するために、ＣＰＵ等の図示しない演算処理装置を備える。また、工具状態推定装置２０は、各種の制御用プログラムを格納したＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）やＨＤＤ等の図示しない補助記憶装置や、演算処理装置がプログラムを実行する上で一時的に必要とされるデータを格納するためのＲＡＭといった図示しない主記憶装置を備える。
　そして、工具状態推定装置２０において、演算処理装置が補助記憶装置からＯＳやアプリケーションソフトウェアを読み込み、読み込んだＯＳやアプリケーションソフトウェアを主記憶装置に展開させながら、これらのＯＳやアプリケーションソフトウェアに基づいた演算処理を行なう。この演算結果に基づいて、工具状態推定装置２０が各ハードウェアを制御する。これにより、図１の機能ブロックによる処理は実現される。すなわち、工具状態推定装置２０は、ハードウェアとソフトウェアが協働することにより実現することができる。
　入力部２０１は、撮像装置１０により撮像されたワークＷの加工面の画像を撮像装置１０から入力する。入力部２０１は、入力された画像を工具状態推定部２０２に出力する。
　なお、図３に示すように、加工面の画像領域ＳＲ以外の画像領域ＡＲ、及び背景の画像領域ＢＲがマスクされた画像を用いて学習済みモデル２５０が生成されている場合、入力部２０１は、画像を工具状態推定部２０２に出力するにあたり、画像領域特定部３１３と同様に、入力された画像に対してマスク処理を行うことが望ましい。
　工具状態推定部２０２は、入力部２０１により入力された画像を、学習済みモデル２５０に入力する。そうすることで、工具状態推定部２０２は、学習済みモデル２５０の出力から、入力された画像の加工面を切削加工した「工具の摩耗度」を工具の状態として推定することができる。
　なお、工具状態推定装置２０は、例えば、工具状態推定部２０２により推定された工具の摩耗度を図示しない工作機械又は制御装置に出力し、図示しない工作機械又は制御装置の記憶部に記憶された工具管理テーブル（図示しない）の加工前の工具状態を更新するようにしてもよい。
　決定部２０３は、工具状態推定部２０２により推定された工具の摩耗度に基づいて、工具の交換を行うか否かを判定する。
　より具体的には、決定部２０３は、工具の摩耗度の推定値と予め設定された閾値との比較に基づいて、工具交換を行う最適な時期を判定する。
　図４は、工具の摩耗度の一例を示す図である。図２で説明したように、工具の刃先は、切削加工の回数（すなわち、工具の使用積算時間）が増加するに従い摩耗するため、工具の摩耗度は増加する。例えば、工具の摩耗度が「８０％」以下の場合、工具は適切な加工精度で切削加工することができる。一方、工具の摩耗度が「８０％」を超える場合、工具の交換時期に差し掛かっており、オペレータは、工具を交換する必要がある。
　以下の説明では、摩耗度「８０％」を閾値αとする。なお、閾値αは、加工対象のワークＷの材質や、図示しない工作機械が設置された環境等に応じて適宜設定されてもよい。
　決定部２０３は、工具状態推定部２０２により推定された工具の摩耗度が、閾値α以下か否かを判定する。決定部２０３は、推定された工具の摩耗度が閾値α以下の場合、工具の交換を行わないことを決定する。
　一方、決定部２０３は、推定された工具の摩耗度が閾値αを超える場合、工具の交換時期として決定する。
　なお、決定部２０３は、推定された工具の摩耗度と、１つの閾値αとを比較したが、推定された工具の摩耗度と、予め設定された２以上の複数の閾値と、を比較してもよい。
　具体的には、決定部２０３は、例えば、推定された工具の摩耗度と、「８０％」等の閾値α１及び「９０％」等の閾値α２と、を比較してしてもよい。この場合、決定部２０３は、推定された工具の摩耗度が、閾値α１以下の場合、工具の交換を行う必要がないと決定してもよい。また、決定部２０３は、推定された工具の摩耗度が、閾値α１を超えて閾値α２以下の場合、工具の交換時期が差し掛かっており、工具交換を直ちに行う必要はないが工具交換が間近であることを示すアラームを出力することを決定してもよい。また、決定部２０３は、推定された工具の摩耗度が、閾値α２を超える場合、オペレータに直ちに工具交換を行わせるアラームを出力することを決定してもよい。
　そうすることで、学習済みモデル２５０により推定される工具の摩耗度に応じて、アラームの通知方法をきめ細かく変えることができる。
　通知部２０４は、工具の交換の決定を決定部２０３から受信した場合、例えば、図示しない工作機械及び／又は制御装置に含まれる液晶ディスプレイ等の出力装置（図示しない）に、工具の交換指示を出力してもよい。そして、図示しない工作機械は、当該工作機械又は図示しない制御装置の記憶部に記憶された工具管理テーブル（図示しない）に基づいて、交換指示された工具を工作機械に含まれる自動工具交換装置（図示しない）により自動的に交換してもよい。
　なお、通知部２０４は、スピーカ（図示しない）を介して音声により通知したり、図示しない回転灯や信号灯等を点灯して通知したりしてもよい。
　記憶部２０５は、ＲＯＭやＨＤＤ等であり、各種の制御用プログラムとともに、学習済みモデル２５０を記憶してもよい。
＜運用フェーズにおける工具状態推定装置２０の推定処理＞
　次に、本実施形態に係る工具状態推定装置２０の推定処理に係る動作について説明する。
　図４は、運用フェーズにおける工具状態推定装置２０の推定処理について説明するフローチャートである。ここで示すフローは、１つのワークＷの加工面の画像が入力される度に実行されてもよく、１０個又は１００個等の間隔毎のワークＷの加工面の画像が入力される度に実行されてもよい。
　ステップＳ１１において、入力部２０１は、撮像装置１０により撮像されたワークＷの加工面の画像を撮像装置１０から入力する。
　ステップＳ１２において、工具状態推定部２０２は、ステップＳ１１で入力された画像を学習済みモデル２５０に入力することで、工具の摩耗度を推定する。
　ステップＳ１３において、決定部２０３は、ステップＳ１２で推定された工具の摩耗度が閾値α以下か否かを判定する。工具の摩耗度が閾値α以下の場合、決定部２０３は、工具交換不要と判定し、工具の交換を行わないことを決定する。そして、処理は終了する。一方、工具の摩耗度が閾値αを超える場合、決定部２０３は、工具交換必要と判定し、工具の交換を行うことを決定する。そして、処理はステップＳ１４へ進む。
　ステップＳ１４において、通知部２０４は、決定部２０３から受信した工具の交換の決定に基づいて、工具の交換指示を、図示しない工作機械及び／又は制御装置の出力装置（図示しない）に出力する。
　以上により、一実施形態に係る工具状態推定装置２０は、撮像装置１０により撮像されたワークＷの加工面の画像を学習済みモデル２５０に入力することで、工具状態として工具の摩耗度を推定する。
　これにより、工具状態推定装置２０は、加工面の画像から工具状態（すなわち、工具の摩耗度）を容易に推定でき、オペレータの経験によらず工具の交換時期を適切に決定することができる。
　以上、一実施形態について説明したが、工具状態推定装置２０、及び工具状態学習装置３０は、上述の実施形態に限定されるものではなく、目的を達成できる範囲での変形、改良等を含む。
＜変形例１＞
　上述の実施形態では、工具状態学習装置３０は、工具状態推定装置２０、図示しない工作機械又は図示しない制御装置と異なる装置として例示したが、工具状態学習装置３０の一部又は全部の機能を、工具状態推定装置２０、図示しない工作機械又は図示しない制御装置が備えるようにしてもよい。
＜変形例２＞
　上述の実施形態では、工具状態推定装置２０は、図示しない工作機械や図示しない制御装置と異なる装置として例示したが、工具状態推定装置２０の一部又は全部の機能を、図示しない工作機械又は図示しない制御装置が備えるようにしてもよい。
　あるいは、工具状態推定装置２０の入力部２０１、工具状態推定部２０２、決定部２０３、通知部２０４及び記憶部２０５の一部又は全部を、例えば、サーバが備えるようにしてもよい。また、クラウド上で仮想サーバ機能等を利用して、工具状態推定装置２０の各機能を実現してもよい。
　さらに、工具状態推定装置２０は、工具状態推定装置２０の各機能を適宜複数のサーバに分散される、分散処理システムとしてもよい。
＜変形例３＞
　また例えば、上述の実施形態では、工具状態推定装置２０は、工具状態学習装置３０から提供された学習済みモデル２５０を用いて、撮像装置１０により撮像された加工面の画像から工具状態として工具の摩耗度を推定したが、これに限定されない。例えば、図６に示すように、サーバ５０は、工具状態学習装置３０により生成された学習済みモデル２５０を記憶し、ネットワーク６０に接続されたｍ個の工具状態推定装置２０Ａ（１）－２０Ａ（ｍ）は、学習済みモデル２５０をサーバ５０からダウンロードしてもよい（ｍは２以上の整数）。これにより、新たな工作機械、及び工具状態推定装置が配置されても学習済みモデル２５０を適用することができる。
　なお、工具状態推定装置２０Ａ（１）－２０Ａ（ｍ）の各々は、工作機械１５（１）－１５（ｍ）の各々と接続される。
　また、工作機械１５（１）－１５（ｍ）の各々は、図１の撮像装置１０と同様の撮像装置、及び図示しない制御装置を含む。また、工具状態推定装置２０Ａ（１）－２０Ａ（ｍ）の各々は、図１の工具状態推定装置２０に対応する。
　あるいは、図７に示すように、サーバ５０は、例えば、工具状態推定装置２０として動作し、ネットワーク６０に接続された工作機械１５（１）－１５（ｍ）の各々に対して、各工作機械１５（ｉ）の撮像装置により撮像された加工面の画像から工具状態を推定してもよい。なお、ｉは１からｍの整数である。これにより、新たな工作機械が配置されても学習済みモデル２５０を適用することができる。
　なお、一実施形態における、工具状態推定装置２０、及び工具状態学習装置３０に含まれる各機能は、ハードウェア、ソフトウェア又はこれらの組み合わせによりそれぞれ実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
　工具状態推定装置２０、及び工具状態学習装置３０に含まれる各構成部は、電子回路等を含むハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。ソフトウェアによって実現される場合には、このソフトウェアを構成するプログラムが、コンピュータにインストールされる。また、これらのプログラムは、リムーバブルメディアに記録されてユーザに配布されてもよいし、ネットワークを介してユーザのコンピュータにダウンロードされることにより配布されてもよい。また、ハードウェアで構成する場合、上記の装置に含まれる各構成部の機能の一部又は全部を、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ゲートアレイ、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、ＣＰＬＤ（Ｃｏｍｐｌｅｘ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）等の集積回路（ＩＣ）で構成することができる。
　プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（Ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ　ｃｏｍｐｕｔｅｒ　ｒｅａｄａｂｌｅ　ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（Ｔａｎｇｉｂｌｅ　ｓｔｏｒａｇｅ　ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（Ｔｒａｎｓｉｔｏｒｙ　ｃｏｍｐｕｔｅｒ　ｒｅａｄａｂｌｅ　ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は、無線通信路を介して、プログラムをコンピュータに供給できる。
　なお、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　以上を換言すると、本開示の工具状態学習装置、工具状態推定装置、制御装置、工具状態学習方法、及び工具状態推定方法は、次のような構成を有する各種各様の実施形態を取ることができる。
（１）本開示の工具状態学習装置３０は、任意の工具を用いて切削加工された任意のワークの加工面が撮像装置１０により撮像された任意の画像を記憶する記憶部３２と、記憶部３２に記憶された任意の画像を入力データとして取得するとともに、任意の画像に基づいて工具の摩耗の度合いを示す所定の段階に応じてアノテーションされた工具の状態をラベルとして取得する教師データ取得部３１１と、教師データ取得部３１１により取得された入力データとラベルとを用いて、教師あり学習を実行し、撮像装置１０により撮像されたワークＷの加工面の加工面画像を入力しワークＷの加工面を切削加工した工具の状態を出力する学習済みモデル２５０を生成する工具状態学習部３１２と、を備える。
　この工具状態学習装置３０によれば、加工面の画像から工具状態を精度良く出力する学習済みモデル２５０を生成することができる。
　（２）　（１）に記載の工具状態学習装置３０において、所定の段階に応じて工具の状態をアノテーションするために、任意の画像を表示する画像表示部３３を、さらに備えてもよい。
　そうすることで、工具状態学習装置３０は、工具の摩耗の度合いを示す所定の段階に応じてアノテーションされた工具の状態をラベルとして取得することができる。
　（３）　（１）又は（２）に記載の工具状態学習装置３０において、任意の画像のうち加工面の画像領域ＳＲ以外の画像領域ＡＲ、ＢＲをマスクする画像領域特定部３１３を、さらに備え、教師データ取得部３１１は、マスクされた任意の画像を入力データとして取得してもよい。
　そうすることで、工具状態学習装置３０は、マスクされた画像を用いて教師あり学習を行うことで、学習済みモデル２５０の推定精度を向上させることができる。
　（４）　（１）から（３）のいずれかに記載の工具状態学習装置３０において、工具状態学習部３１２は、撮像装置１０により新たに撮像された加工面画像を入力データとし、入力された加工面画像に対する学習済みモデル２５０から出力された工具の状態をラベルとして教師あり学習を実行し、学習済みモデル２５０を更新してもよい。
　そうすることで、工具状態学習装置３０は、学習済みモデル２５０の推定精度を向上させることができる。
　（５）　（１）から（３）のいずれかに記載の工具状態学習装置３０において、教師データ取得部３１１は、任意の画像とともに、工具の材質、形状、及び加工前の工具状態の少なくとも１つを含む工具情報を入力データとして取得し、工具状態学習部３１２は、撮像装置１０により撮像された加工面画像、及び加工面画像の加工面を切削加工した工具の工具情報を入力し工具の状態を出力する学習済みモデルを生成してもよい。
　そうすることで、工具状態学習装置３０は、学習済みモデル２５０の推定精度を向上させることができる。
　（６）本開示の工具状態推定装置２０は、（１）から（４）のいずれかに記載の工具状態学習装置３０により生成された、撮像装置１０により撮像されたワークＷの加工面の加工面画像を入力しワークＷの加工面を切削加工した工具の状態を出力する学習済みモデル２５０と、撮像装置１０により撮像された加工面の加工面画像を入力する入力部２０１と、入力部２０１により入力された加工面画像を学習済みモデル２５０に入力することで、学習済みモデル２５０が出力する加工面画像の加工面を切削加工した工具の状態を推定する工具状態推定部２０２と、を備える。
　この工具状態推定装置２０によれば、加工面の画像から工具状態を容易に推定することができる。
　（７）　（６）に記載の工具状態推定装置２０において、工具状態推定部２０２により推定された工具の状態に基づいて、工具の交換時期か否かを判定する決定部２０３を備えてもよい。
　そうすることで、工具状態推定装置２０は、オペレータに対して工具の交換時期を精度良く通知することができる。
　（８）　（６）又は（７）に記載の工具状態推定装置２０において、学習済みモデル２５０を、工具状態推定装置２０からネットワーク６０を介してアクセス可能に接続されるサーバ５０に備えてもよい。
　そうすることで、工具状態推定装置２０は、新たな撮像装置１０、及び工具状態推定装置２０が配置されても学習済みモデル２５０を適用することができる。
　（９）　（６）から（８）のいずれかに記載の工具状態推定装置２０において、（１）から（５）のいずれかに記載の工具状態学習装置３０を備えてもよい。
　そうすることで、工具状態推定装置２０は、上述の（１）から（８）のいずれかと同様の効果を奏することができる。
　（１０）本開示の制御装置は、（６）から（９）のいずれかに記載の工具状態推定装置２０を備えてもよい。
　この制御装置によれば、上述の（１）から（９）のいずれかと同様の効果を奏することができる。
　（１１）本開示の工具状態学習方法は、任意の工具を用いて切削加工された任意のワークの加工面が撮像装置１０により撮像された任意の画像を入力データとして取得するとともに、任意の画像に基づいて工具の摩耗の度合いを示す所定の段階に応じてアノテーションされた工具の状態をラベルとして取得する教師データ取得ステップと、取得された入力データとラベルとを用いて、教師あり学習を実行し、撮像装置１０により撮像されたワークの加工面の加工面画像を入力しワークの加工面を切削加工した工具の状態を出力する学習済みモデルを生成する工具状態学習ステップと、を備える。
　この工具状態学習方法は、上述の（１）と同様の効果を奏することができる。
　（１２）本開示の工具状態推定方法は、撮像装置１０により撮像された加工面の加工面画像を入力する入力ステップと、（１）から（４）のいずれかに記載の工具状態学習装置３０により生成された、撮像装置１０により撮像されたワークＷの加工面の加工面画像を入力しワークＷの加工面を切削加工した工具の状態を出力する学習済みモデル２５０に、入力ステップで入力された加工面画像を入力することで、学習済みモデル２５０が出力する加工面画像の加工面を切削加工した工具の状態を推定する推定ステップと、を備える。
　この工具状態推定方法は、上述の（６）と同様の効果を奏することができる。
　１　工具状態推定システム
　１０　撮像装置
　２０　工具状態推定装置
　２０１　入力部
　２０２　工具状態推定部
　２０３　決定部
　２０４　通知部
　２０５　記憶部
　２５０　学習済みモデル
　３０　工具状態学習装置
　３１１　教師データ取得部
　３１２　工具状態学習部
　３１３　画像領域特定部
　３２　記憶部
　３２１　教師データ
　３３　画像表示部

Claims (12)

  1. 　任意の工具を用いて切削加工された任意のワークの加工面が撮像装置により撮像された任意の画像を記憶する記憶部と、
    　前記記憶部に記憶された前記任意の画像を入力データとして取得するとともに、前記任意の画像に基づいて工具の摩耗の度合いを示す所定の段階に応じてアノテーションされた前記工具の状態をラベルとして取得する教師データ取得部と、
    　前記教師データ取得部により取得された入力データとラベルとを用いて、教師あり学習を実行し、前記撮像装置により撮像されたワークの加工面の加工面画像を入力し前記ワークの加工面を切削加工した工具の状態を出力する学習済みモデルを生成する工具状態学習部と、
    　を備える工具状態学習装置。
  2. 　前記所定の段階に応じて前記工具の状態をアノテーションするために、前記任意の画像を表示する画像表示部を、さらに備える請求項１に記載の工具状態学習装置。
  3. 　前記任意の画像のうち前記加工面の画像領域以外の画像領域をマスクする画像領域特定部を、さらに備え、
    　前記教師データ取得部は、マスクされた前記任意の画像を入力データとして取得する請求項１又は請求項２に記載の工具状態学習装置。
  4. 　前記工具状態学習部は、前記撮像装置により新たに撮像された加工面画像を入力データとし、新たに撮像された前記加工面画像に対する前記学習済みモデルから出力された前記工具の状態をラベルとして前記教師あり学習を実行し、前記学習済みモデルを更新する、請求項１から請求項３のいずれか１項に記載の工具状態学習装置。
  5. 　前記教師データ取得部は、前記任意の画像とともに、前記工具の材質、形状、及び加工前の工具状態の少なくとも１つを含む工具情報を入力データとして取得し、
    　前記工具状態学習部は、前記撮像装置により撮像された前記加工面画像、及び前記加工面画像の加工面を切削加工した工具の工具情報を入力し前記工具の状態を出力する学習済みモデルを生成する、請求項１から請求項３のいずれか１項に記載の工具状態学習装置。
  6. 　請求項１から請求項４のいずれか１項に記載の工具状態学習装置により生成された、撮像装置により撮像されたワークの加工面の加工面画像を入力し前記ワークの加工面を切削加工した工具の状態を出力する学習済みモデルと、
    　前記撮像装置により撮像された加工面の加工面画像を入力する入力部と、
    　前記入力部により入力された前記加工面画像を前記学習済みモデルに入力することで、前記学習済みモデルが出力する前記加工面画像の加工面を切削加工した工具の状態を推定する工具状態推定部と、
    　を備える工具状態推定装置。
  7. 　前記工具状態推定部により推定された前記工具の状態に基づいて、前記工具の交換時期か否かを判定する決定部を備える、請求項６に記載の工具状態推定装置。
  8. 　前記学習済みモデルを、前記工具状態推定装置からネットワークを介してアクセス可能に接続されるサーバに備える、請求項６又は請求項７に記載の工具状態推定装置。
  9. 　請求項１から請求項５のいずれか１項に記載の工具状態学習装置を備える、請求項６から請求項８のいずれか１項に記載の工具状態推定装置。
  10. 　請求項６から請求項９のいずれか１項に記載の工具状態推定装置を備える、制御装置。
  11. 　任意の工具を用いて切削加工された任意のワークの加工面が撮像装置により撮像された任意の画像を入力データとして取得するとともに、前記任意の画像に基づいて工具の摩耗の度合いを示す所定の段階に応じてアノテーションされた前記工具の状態をラベルとして取得する教師データ取得ステップと、
    　取得された前記入力データと前記ラベルとを用いて、教師あり学習を実行し、前記撮像装置により撮像されたワークの加工面の加工面画像を入力し前記ワークの加工面を切削加工した工具の状態を出力する学習済みモデルを生成する工具状態学習ステップと、
    　を備える工具状態学習方法。
  12. 　撮像装置により撮像された加工面の加工面画像を入力する入力ステップと、
    　請求項１から請求項４のいずれか１項に記載の工具状態学習装置により生成された、前記撮像装置により撮像されたワークの加工面の加工面画像を入力し前記ワークの加工面を切削加工した工具の状態を出力する学習済みモデルに、前記入力ステップで入力された前記加工面画像を入力することで、前記学習済みモデルが出力する前記加工面画像の加工面を切削加工した工具の状態を推定する推定ステップと、
    　を備える工具状態推定方法。
PCT/JP2021/012861 2020-04-02 2021-03-26 工具状態学習装置、工具状態推定装置、制御装置、工具状態学習方法、及び工具状態推定方法 WO2021200654A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022512117A JP7369856B2 (ja) 2020-04-02 2021-03-26 工具状態学習装置、工具状態推定装置、制御装置、工具状態学習方法、及び工具状態推定方法
US17/910,638 US20230129992A1 (en) 2020-04-02 2021-03-26 Tool state learning device, tool state estimation device, control device, tool state learning method, and tool state estimation method
CN202180024851.8A CN115362046A (zh) 2020-04-02 2021-03-26 工具状态学习装置、工具状态推定装置、控制装置、工具状态学习方法及工具状态推定方法
DE112021002094.3T DE112021002094T5 (de) 2020-04-02 2021-03-26 Werkzeugzustands-Lernvorrichtung, eine Werkzeugzustands-Schätzungsvorrichtung, eine Steuervorrichtung, ein Verfahren zum Erlernen des Werkzeugzustands und ein Verfahren zur Schätzung des Werkzeugzustands

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020066518 2020-04-02
JP2020-066518 2020-04-02

Publications (1)

Publication Number Publication Date
WO2021200654A1 true WO2021200654A1 (ja) 2021-10-07

Family

ID=77928627

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/012861 WO2021200654A1 (ja) 2020-04-02 2021-03-26 工具状態学習装置、工具状態推定装置、制御装置、工具状態学習方法、及び工具状態推定方法

Country Status (5)

Country Link
US (1) US20230129992A1 (ja)
JP (1) JP7369856B2 (ja)
CN (1) CN115362046A (ja)
DE (1) DE112021002094T5 (ja)
WO (1) WO2021200654A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0475854A (ja) * 1990-07-13 1992-03-10 Toshiba Tungaloy Co Ltd 工具寿命の感知センサー
JPH11267949A (ja) * 1998-03-20 1999-10-05 Kawasaki Heavy Ind Ltd 工具摩耗検知装置および方法
JP2018138327A (ja) * 2017-02-24 2018-09-06 ファナック株式会社 工具状態推定装置及び工作機械
JP2018181216A (ja) * 2017-04-20 2018-11-15 ファナック株式会社 加工不良要因推定装置
US20190070682A1 (en) * 2017-09-07 2019-03-07 Liebherr-Verzahntechnik Gmbh Device for machining a work-piece with a tool
JP2019067137A (ja) * 2017-09-29 2019-04-25 ファナック株式会社 数値制御システム
JP2020019087A (ja) * 2018-07-31 2020-02-06 独立行政法人国立高等専門学校機構 研削工具砥面評価装置とその学習器、評価プログラムおよび評価方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5969676B1 (ja) * 2015-09-30 2016-08-17 ファナック株式会社 工作機械の工具補正の頻度を最適化する機械学習装置及び機械学習方法、並びに該機械学習装置を備えた工作機械
JP6557183B2 (ja) * 2016-06-28 2019-08-07 ファナック株式会社 切削加工工具の寿命判定装置、寿命判定方法及びプログラム
JP6426667B2 (ja) * 2016-08-10 2018-11-21 三菱重工工作機械株式会社 工作機械の工具の異常検知装置及び方法
JP6404893B2 (ja) * 2016-12-22 2018-10-17 ファナック株式会社 工具寿命推定装置
JP6677706B2 (ja) * 2017-12-27 2020-04-08 ファナック株式会社 リンク情報生成装置、リンク情報生成方法及びリンク情報生成プログラム
CN108627386B (zh) * 2018-05-23 2023-03-31 天津大学 一种基于次摆线进给轨迹的硬脆材料划痕分析方法
CN109571141A (zh) * 2018-11-01 2019-04-05 北京理工大学 一种基于机器学习的刀具磨损状态监测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0475854A (ja) * 1990-07-13 1992-03-10 Toshiba Tungaloy Co Ltd 工具寿命の感知センサー
JPH11267949A (ja) * 1998-03-20 1999-10-05 Kawasaki Heavy Ind Ltd 工具摩耗検知装置および方法
JP2018138327A (ja) * 2017-02-24 2018-09-06 ファナック株式会社 工具状態推定装置及び工作機械
JP2018181216A (ja) * 2017-04-20 2018-11-15 ファナック株式会社 加工不良要因推定装置
US20190070682A1 (en) * 2017-09-07 2019-03-07 Liebherr-Verzahntechnik Gmbh Device for machining a work-piece with a tool
JP2019067137A (ja) * 2017-09-29 2019-04-25 ファナック株式会社 数値制御システム
JP2020019087A (ja) * 2018-07-31 2020-02-06 独立行政法人国立高等専門学校機構 研削工具砥面評価装置とその学習器、評価プログラムおよび評価方法

Also Published As

Publication number Publication date
JP7369856B2 (ja) 2023-10-26
DE112021002094T5 (de) 2023-01-26
CN115362046A (zh) 2022-11-18
US20230129992A1 (en) 2023-04-27
JPWO2021200654A1 (ja) 2021-10-07

Similar Documents

Publication Publication Date Title
CN108500736B (zh) 工具状态推定装置以及机床
JP2018103284A (ja) 工具寿命推定装置
CN107544432B (zh) 寿命判定装置、寿命判定方法及计算机可读取的记录介质
US11662709B2 (en) Device, method and non-transitory storage medium for controlling cutting tool
WO2020075191A1 (en) Method and system for monitoring tool wear to estimate rul of tool in machining
EP3584723A2 (en) Optimization for 3d printing
WO2021200654A1 (ja) 工具状態学習装置、工具状態推定装置、制御装置、工具状態学習方法、及び工具状態推定方法
JP7000376B2 (ja) 機械学習装置、予測装置、及び制御装置
JP2010105157A (ja) 翼研磨のための視覚フィードバック
JP7328364B2 (ja) 機械学習装置、加工状態予測装置、及び制御装置
JPWO2019146538A1 (ja) 画像処理装置、画像処理方法及びプログラム
US20230376002A1 (en) Machine learning device, cleaning prediction device, and cleaning system
US20230256683A1 (en) Vision System for Identifying Support Structures of 3D Printed Components
US20230256514A1 (en) Identification marker on a 3d printed component
WO2021177237A1 (ja) 機械学習装置、予測装置、及び制御装置
JP7364452B2 (ja) 機械学習装置、ノズル状態予測装置、及び制御装置
JP7120958B2 (ja) ドレッシング推定装置、及び制御装置
WO2022059595A1 (ja) 情報処理装置、及び情報処理方法
JP7170496B2 (ja) 工作機械における加工異常診断モデル構築用の加工データへのラベル付与方法及び加工異常診断システム
US11645019B1 (en) Dynamic standardized printer performance monitoring
CN111830907B (zh) 机器学习装置、预测装置以及控制装置
JP7181440B1 (ja) 診断用データ収集装置、診断用データ収集方法、記録媒体、及び制御装置
CN113272746B (zh) 基于刀具更换记录的切削刀具寿命的设置方法、装置和系统
CN112784955A (zh) 机器学习装置、预测装置以及控制装置
WO2024088813A1 (en) Determining a wear level of a treatment head of a personal care device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21780353

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022512117

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 21780353

Country of ref document: EP

Kind code of ref document: A1