WO2019087427A1 - 金型温度異常予兆検知装置及び記憶媒体 - Google Patents

金型温度異常予兆検知装置及び記憶媒体 Download PDF

Info

Publication number
WO2019087427A1
WO2019087427A1 PCT/JP2018/012544 JP2018012544W WO2019087427A1 WO 2019087427 A1 WO2019087427 A1 WO 2019087427A1 JP 2018012544 W JP2018012544 W JP 2018012544W WO 2019087427 A1 WO2019087427 A1 WO 2019087427A1
Authority
WO
WIPO (PCT)
Prior art keywords
mold
data
unit
temperature abnormality
inference
Prior art date
Application number
PCT/JP2018/012544
Other languages
English (en)
French (fr)
Inventor
実 西澤
貴美子 森田
Original Assignee
株式会社 東芝
東芝デジタルソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝, 東芝デジタルソリューションズ株式会社 filed Critical 株式会社 東芝
Priority to CN201880071615.XA priority Critical patent/CN111372704B/zh
Priority to EP18874595.4A priority patent/EP3708274A4/en
Priority to KR1020207012785A priority patent/KR102363152B1/ko
Publication of WO2019087427A1 publication Critical patent/WO2019087427A1/ja
Priority to US16/857,393 priority patent/US11501509B2/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B22—CASTING; POWDER METALLURGY
    • B22D—CASTING OF METALS; CASTING OF OTHER SUBSTANCES BY THE SAME PROCESSES OR DEVICES
    • B22D17/00—Pressure die casting or injection die casting, i.e. casting in which the metal is forced into a mould under high pressure
    • B22D17/08—Cold chamber machines, i.e. with unheated press chamber into which molten metal is ladled
    • B22D17/10—Cold chamber machines, i.e. with unheated press chamber into which molten metal is ladled with horizontal press motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B22—CASTING; POWDER METALLURGY
    • B22D—CASTING OF METALS; CASTING OF OTHER SUBSTANCES BY THE SAME PROCESSES OR DEVICES
    • B22D46/00—Controlling, supervising, not restricted to casting covered by a single main group, e.g. for safety reasons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B22—CASTING; POWDER METALLURGY
    • B22D—CASTING OF METALS; CASTING OF OTHER SUBSTANCES BY THE SAME PROCESSES OR DEVICES
    • B22D17/00—Pressure die casting or injection die casting, i.e. casting in which the metal is forced into a mould under high pressure
    • B22D17/20—Accessories: Details
    • B22D17/22—Dies; Die plates; Die supports; Cooling equipment for dies; Accessories for loosening and ejecting castings from dies
    • B22D17/2218—Cooling or heating equipment for dies
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B22—CASTING; POWDER METALLURGY
    • B22D—CASTING OF METALS; CASTING OF OTHER SUBSTANCES BY THE SAME PROCESSES OR DEVICES
    • B22D17/00—Pressure die casting or injection die casting, i.e. casting in which the metal is forced into a mould under high pressure
    • B22D17/20—Accessories: Details
    • B22D17/32—Controlling equipment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C45/00—Injection moulding, i.e. forcing the required volume of moulding material through a nozzle into a closed mould; Apparatus therefor
    • B29C45/17—Component parts, details or accessories; Auxiliary operations
    • B29C45/72—Heating or cooling
    • B29C45/73—Heating or cooling of the mould
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C45/00—Injection moulding, i.e. forcing the required volume of moulding material through a nozzle into a closed mould; Apparatus therefor
    • B29C45/17—Component parts, details or accessories; Auxiliary operations
    • B29C45/76—Measuring, controlling or regulating
    • B29C45/78—Measuring, controlling or regulating of temperature
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G08B5/36—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G08B29/186—Fuzzy logic; neural networks

Definitions

  • An embodiment of the present invention is an invention relating to a mold temperature abnormality sign detection device and a storage medium for detecting a sign of temperature abnormality of a mold used for a die casting machine, an injection molding machine or the like.
  • casting by a die casting machine includes a casting process in which a molten metal such as an aluminum solution is poured into a mold and solidified to take out a casting.
  • Defects in cast parts include turning defects and cavities, and these defects may account for 70% of the total defects.
  • the mold temperature is treated as an important quality control item at the die casting site since all of the defects are caused by the abnormal temperature of the mold.
  • the temperature control of the mold may be performed by detecting the temperature of the mold using a temperature sensor such as a thermocouple and controlling the heater of the mold based on the detected temperature.
  • a temperature sensor such as a thermocouple
  • a couple can only detect a fixed temperature.
  • thermocouple can only measure fixed points, and the location of the heat buildup Also, since it does not always occur in the same place, it may not be possible to detect a hot spot, so that it may cause a hot water flow failure or a blowhole failure.
  • thermograph capable of measuring the entire surface of the mold was introduced, and an expert at the manufacturing site analyzed the sign generation mechanism of heat accumulation from the thermography image, and from the heat accumulation sign to the direction and amount of release agent dispersion. By performing the adjustment, the temperature control of the mold is performed so that the temperature abnormality of the mold does not occur.
  • thermographic image analysis by an expert is a personal method, it can not be widely applied to many factories and many products.
  • Patent No. 5637287 gazette
  • the present embodiment aims to provide a mold temperature abnormality precursor detection device and a storage medium capable of detecting a precursor of temperature abnormality of a mold from a thermographic image.
  • the plurality of thermo image data of the mold acquired at predetermined intervals, and the plurality of thermo data linked to the plurality of thermo image data
  • a model generation unit which learns a predetermined number of continuous time-series image data extracted from image data as one sample data, and generates an inference model for detecting a sign of temperature abnormality of the mold
  • An inference execution unit that detects occurrence of a sign of the temperature abnormality of the predetermined number of molds ahead using the inference model based on the predetermined number of time-series image data of the mold
  • An information output unit that outputs predetermined information when it detects the occurrence of the sign of the temperature abnormality of the mold.
  • thermo image data storage part 21 concerning embodiment.
  • thermo image data storage part 21 concerning embodiment.
  • thermo image data storage part 21 concerning embodiment.
  • save part 22 concerning embodiment.
  • pre-processing data temporary storage part 23a concerning embodiment.
  • inference model data storage part 51 concerning an embodiment. It is a sequence diagram of inference model generation processing concerning an embodiment.
  • FIG. 8 is a sequence diagram of processing from collection of thermographic data to transmission of an inference execution request according to an embodiment
  • FIG. 7 is a sequence diagram of processing from inference execution to lighting of a padlock according to the embodiment; It is a sequence diagram of processing from judgment of a sign of temperature abnormalities of a metallic mold to operation stop of a die-cast machine concerning an embodiment. It is a flowchart which shows the example of the flow of the process from normal determination of the temperature of a metal mold
  • FIG. 1 is a block diagram of a mold temperature control system according to the present embodiment.
  • the mold temperature control system 1 includes an inference model generation device 2, a mold temperature automatic control device 3, a thermography 4, a strap card 5, and a monitor 6 which is a display device.
  • the mold temperature automatic control device 3 outputs a control signal to the connected die casting machine 7.
  • FIG. 1 shows one die casting machine 7 connected to the die temperature automatic control device 3, a plurality of die casting machines are connected to the die temperature automatic control device 3, and the die temperature automatic control is performed.
  • the device 3 may be capable of controlling a plurality of die casting machines.
  • the die casting machine 7 includes a machine operation control unit 8 that controls the movement of the mold D.
  • the mold temperature automatic control device 3 outputs a control signal to the machine operation control unit 8 of the die casting machine 7.
  • the thermography 4 is installed to image a predetermined area of the mold D.
  • the thermography 4 is also installed for each die casting machine when there are multiple die casting machines. As will be described later, a thermo image obtained at a predetermined timing in each shot in which a die cast product is created out of the thermography data output by the thermography 4 is the inference model generation device 2, a mold temperature automatic control device It is used in the inference process of the third inference execution instruction unit 62 and the following.
  • the inference model generation device 2 generates an inference model for the die D of the die casting machine, and the die temperature automatic control device 3 detects a sign of temperature abnormality of the die D based on the generated inference model, die casting Automatic control of the machine 7 is performed. Therefore, the inference model generation device 2 and the die temperature automatic control device 3 constitute a die temperature abnormality sign detection device.
  • FIG. 2 is a schematic view for explaining an injection system of molten metal such as aluminum to a mold cavity in the die casting machine 7.
  • the two dies D1 and D2 are moved in the direction indicated by the arrow A for each shot, and the dies D1 and D2 are brought into close contact with the dies D2 and clamped. While the molds D1 and D2 are in close contact with each other, the molten metal M in the runner R is injected and filled into the mold cavities in the two molds D1 and D2 by the movement of the plunger P.
  • the mold D1 moves in the direction opposite to the direction indicated by the arrow A, and the two molds D1 and D2 open. Removal of the molded product is performed.
  • the release agent is sprayed so that the cast product can be easily removed from the mold.
  • the release agent is sprayed so that the cast product can be easily removed from the mold.
  • thermography 4 images the mold so as to include an inner surface on one mold cavity side of the mold D1, D2. As described later, the image of the thermography 4 is acquired at a constant timing for each shot.
  • FIG. 3 is a diagram showing an example of a thermo image.
  • FIG. 3 is a schematic view showing an example of an image obtained by imaging by the thermography 4 including the inner surface of the mold, and the state of heat distribution is not shown here.
  • the rectangular mold cavity is represented by a trapezoid since the thermography 4 is imaging the inner surface of the mold from an oblique direction.
  • the image SM of the thermography 4 the area Di of the inner surface of the cavity is indicated by a dotted line.
  • the cutout region rSM of the image is indicated by a two-dot chain line.
  • a region including the region Di of the inner surface of the cavity is cut out from the image SM of the thermography 4 obtained for each shot, and the image of the cutout region rSM is used for model generation, inference processing and the like to be described later.
  • thermography 4 The image of the cutout region rSM is used for model generation and the like in order to improve the accuracy of model generation and the like, but the entire image SM of the thermography 4 may be used for model generation and inference processing and the like. Also, in the following example, one thermography 4 is used to image the inner surface of one mold cavity of two molds, but two or more thermography 4 are provided, and both molds have two molds per shot. The inner surface of the mold cavity may be imaged.
  • the inference model generation device 2 includes a control unit 11 (shown by a dotted line) including a central processing unit (hereinafter referred to as CPU), ROM, RAM, etc., and a storage device 12 (shown by a dotted line) including a flash memory, a hard disk drive device etc. And a computer including hardware circuits such as a keyboard, a monitor, a mouse, and an input / output interface (hereinafter abbreviated as input / output I / F) 13 (indicated by a dotted line) such as a data input and output interface.
  • a control unit 11 shown by a dotted line
  • CPU central processing unit
  • ROM read only memory
  • RAM read-only memory
  • storage device 12 shown by a dotted line
  • a computer including hardware circuits such as a keyboard, a monitor, a mouse, and an input / output interface (hereinafter abbreviated as input / output I / F) 13 (indicated by a dotted line) such as
  • the inference model generation device 2 further includes a thermoimage data storage unit 21, a field knowledgeable person teaching data storage unit 22, a thermoimage pre-processing unit 23, a preprocessed data temporary storage unit 23a, and an inference model generation unit 24.
  • a thermoimage data storage unit 21 a field knowledgeable person teaching data storage unit 22
  • a thermoimage pre-processing unit 23 a preprocessed data temporary storage unit 23a
  • an inference model generation unit 24 is a thermoimage data storage unit 21, a field knowledgeable person teaching data storage unit 22, a thermoimage pre-processing unit 23, a preprocessed data temporary storage unit 23a, and an inference model generation unit 24.
  • thermoimage data storage unit 21, the field knowledgeable person teaching data storage unit 22, and the preprocessed data temporary storage unit 23 a are storage areas for storing data, and are included in the storage device 12.
  • the thermoimage pre-processing unit 23 and the inference model generation unit 24 are software programs, are stored in the storage device 12, and are read and executed by the CPU of the control unit 11.
  • the thermo image data storage unit 21 is a storage unit for storing a thermo image data set designated and registered by the user.
  • FIG. 4 is a diagram for explaining the data structure of the thermo image data storage unit 21. As shown in FIG.
  • thermoimage data storage unit 21 is a die-casting machine incorporating a shooting date and time, a product identifier (hereinafter referred to as an ID) for each thermoimage, and a mold for shooting, as shown in FIG. It is a database comprised including die-cast machine ID which is ID, thermo image ID which is ID of a thermo image, and thermo image data.
  • the thermo image data set is a collection of images taken using the thermography 4 when a mold is actually cast by a die casting machine.
  • a photographed image when the casting quality of the manufactured product is good and a photographed image when the casting quality is poor are mixed.
  • thermo image data is data of a file format such as JPEG or BMP, and is a color image in the present embodiment.
  • the field expert operates the inference model generation device 2 which is a computer, and registers the thermoimage data set accumulated in advance in the thermoimage data storage unit 21.
  • the field expert person teaching data storage unit 22 is a storage unit for storing a teaching data set designated by the user.
  • a thermo image that is, teaching data associated with the thermo image, which is a heat distribution image obtained by the thermography 4, is registered in the field expert teaching data storage unit 22.
  • FIG. 5 is a diagram for explaining the data structure of the on-site expert instruction data storage unit 22.
  • the on-site knowledge provider teaching data storage unit 22 is configured to include a thermo image ID and teaching data.
  • the teaching data is data set by a field expert judging the quality of the cast product (non-defective product or defective product). It is linked with the thermo image data at the time of casting. The linking of the teaching data and the thermo image data is performed by the thermo image ID.
  • the field expert can operate the inference model generation device 2 which is a computer to register the teaching data set set in advance in the field expert teaching data storage unit 22.
  • thermoimage pre-processing unit 23 acquires, from the thermoimage data storage unit 21, a thermoimage data set of thermoimages included in the thermoimage ID list.
  • the thermo image ID list is a list specified by the user when the user gives an execution request for model generation to the inference model generation device 2, and specifies a thermo image to be used for generating the inference model.
  • control unit 11 executes the thermoimage pre-processing unit 23 and then executes the inference model generation unit 24.
  • thermo image pre-processing unit 23 receives the acquired thermo image data set and executes pre-processing.
  • pre-processing in order to increase the efficiency of model generation processing described later, processing is performed to normalize each pixel value of the thermo image so as to be within the range of 0 to 1.
  • thermo image data generation process is performed to create average image data which is added pixel by pixel and divided by 255 to obtain an average value from all monochrome thermo image data.
  • the created average image data is temporarily stored in a predetermined area of the storage device 12.
  • thermo image preprocessing unit 23 registers all the generated preprocessing data in the preprocessing data temporary storage unit 23 a.
  • FIG. 6 is a diagram for explaining the data structure of the preprocessed data temporary storage unit 23a.
  • the preprocessed data temporary storage unit 23a includes a thermoimage ID and preprocessed data.
  • the preprocessed data is data in a file format such as JPEG or BMP.
  • the thermo-image pre-processing unit 23 performs pre-processing only on a predetermined cutout area in the thermo image obtained by the thermography 4.
  • thermography 4 the mold is imaged so as to include an area other than the area of interest of the mold. Therefore, as shown in FIG. Only the region rSM is cut out, and preprocessing is performed on the image data of the cut out region.
  • the die abnormal temperature inference processing to be described later is also performed on the cutout region rSM which is the same attention region. This is because the inference accuracy may be improved by performing preprocessing or the like only on the region of interest. Note that, as described above, preprocessing may be performed on the entire image SM.
  • the inference model generation unit 24 is executed after the thermo image preprocessing unit 23 is executed.
  • the inference model generation unit 24 performs deep learning learning on the preprocessed data stored in the preprocessed data temporary storage unit 23a, and generates an inference model.
  • the inference model generation unit 24 in the present embodiment defines an interface that allows good and bad parts to be separated well from the space in which each pixel data of the thermo image showing the temperature of the mold is plotted for each casting of the die casting machine. Create a neural network type inference model.
  • the inference model is a neural network type in which structural information of an input layer, a hidden layer and an output layer constituting the neural network, that is, structural information of the neural network and parameter information such as various weights in the neural network. It is an inference model.
  • the neural network type inference model is generated by learning by deep learning.
  • the weights ( ⁇ 1 ... ⁇ N) of each layer are updated little by little to appropriate values so that the error between the inferred output data and the teaching data (correct answer) for the input data is reduced.
  • the thermal image data is the object of the neural network of the present embodiment, so CNN (Convolution Neural Network) often used in image analysis is used.
  • CNN Convolution Neural Network
  • For CNN refer to the document “Wai Rukun, B Bozher, J S Denker, D Henderson, R E Howard, W Hubbard, El D Jacar,“ Application to Handwritten Zip Code Recognition. "Error Backpropagation” Neural Computing, Vol. 1, pages 541-551, 1989 (Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, and LD Jackel, "Backpropagation applied to handwritten zip code recognition", NeuralComputation, vol. 1, pp. 541-551, 1989.).
  • thermo image is m ⁇ k (m is the number of vertical pixels of the image, k is the number of horizontal pixels of the image), and N is 3, one sample is m ⁇ k ⁇ N It is pixel value data having a dimensional number.
  • the inference model of the present embodiment is created from a plurality of sample data, and for example, infers the goodness / defect from the casting manufactured in the N shots ahead from the last N consecutive thermo images of the last , Is a model for outputting an abnormality degree indicating the level of a sign of temperature abnormality.
  • the abnormality degree is indicated by a numerical value, which is a value in the range of 0.0 to 1.0, that is, output in the form of probability. The lower the value of the abnormality, the easier it is to manufacture a non-defective product, and the higher the value, the higher the probability that a non-defective product is likely to be manufactured.
  • input data flows to the input layer, the hidden layer, and the output layer of the above-described inference model, and the process of finally generating output data is executed.
  • the probability of indicating the degree of abnormality is obtained by the soft max function using the output value from the last hidden layer as an input.
  • the soft max function is a measure defined between two probability distributions such as normal and abnormal.
  • the inference model data MD created by the inference model creation unit 24 is registered in the inference model data storage unit 51 of the mold temperature automatic control device 3 as a data file of a predetermined format.
  • the inference model data is transmitted from the inference model generation device 2 to the mold temperature automatic control device 3 if the inference model generation device 2 and the mold temperature automatic control device 3 are connected by a communication line, and the inference model data is stored Registered in section 51. If the inference model generation device 2 and the mold temperature automatic control device 3 are not connected by a communication line, the inference model data MD is stored in a storage medium such as a memory card, and the administrator infers the model data of the memory card. Register in the storage unit 51.
  • the average image data created by the pre-processing unit is also transmitted to the mold temperature automatic control device 3 along with the inference model data MD, and registered in the thermo image pre-processing unit 63.
  • the inference model data contains information necessary to calculate the value of each output node of the output layer of the neural network with respect to the input given to the input layer.
  • information required to calculate the value of each output node is various parameters such as the weight of each edge, the value of bias, and other parameters of the activation function.
  • FIG. 7 is a diagram for explaining the data structure of the inference model data storage unit 51. As shown in FIG. FIG. 7 shows an example in which inference models for a plurality of inference models are registered in the inference model data storage unit 51. Each inference model is generated for each die casting machine and for each product, and the inference model data storage unit 51. Registered in
  • the inference model data storage unit 51 is configured to include an inference model ID, a product ID, a die casting machine ID, a thermo image list, and inference model data.
  • the inference model ID is an ID for identifying an inference model.
  • the product ID is an ID for identifying a product (here, a cast product).
  • the die casting machine ID is an ID for identifying the die casting machine.
  • thermo image list is list information of thermo image IDs used to generate an inference model.
  • the inference model data is a set of model parameters in matrix form identifying the inference model.
  • FIG. 8 is a sequence diagram of inference model generation processing.
  • the user transmits a thermo image ID list to the inference model generation device 2 (C1). That is, a user who wants to create an inference model by the inference model generation device 2 inputs or gives the inference model generation device 2 list information of thermo images used for generation of the inference model from the keyboard of the inference model generation device 2 or the like. .
  • the input / output I / F 13 transmits the input thermo image ID list to the thermo image preprocessing unit 23 (C2).
  • the thermoimage pre-processing unit 23 collectively acquires thermoimage data sets indicated in the thermoimage ID list from the thermoimage data storage unit 21 (C3).
  • the thermo image preprocessing unit 23 receives the acquired thermo image data set as input, and executes the above-described preprocessing (C4).
  • the thermo image preprocessing unit 23 registers all the preprocessing data in the preprocessing data temporary storage unit 23a (C5).
  • the user requests the inference model generation unit 24 to execute generation of the inference model (C6).
  • the inference model generation unit 24 collectively acquires the preprocessing data set from the preprocessing data temporary storage unit 23a (C7).
  • the inference model generation unit 24 collectively acquires the teaching data from the field knowledgeable person teaching data storage unit 22 (C8).
  • the preprocessed data is acquired not in units of samples but collectively.
  • the acquired pre-processing data and teaching data are linked by the thermo image ID.
  • the inference model generation unit 24 executes learning by deep learning to generate an inference model (C9).
  • the input data to the inference model generation unit 24 is a pair of preprocessing data and teaching data, and the output data is inference model data MD.
  • the structure of the neural network in the inference model (the number of nodes in the input layer, the number of hidden layers, the number of nodes in the output layer, the number of nodes in each hidden layer, etc.) is preset by the user.
  • the inference model data MD is a set of parameter data such as weights in the structure of the neural network.
  • FIG. 9 is a figure for demonstrating the correspondence of pre-processing data and teaching data.
  • images G of preprocessed data for each shot are obtained in time series, and teaching data corresponding to a plurality of images G are provided to the inference model generation unit 24.
  • the product when the image G1 is obtained is good, and similarly, the product when the images G2 and G3 following the image G1 are obtained is also good, but the image G4 following the image G3,
  • the product when G5 is obtained is a defective product, based on the change in the area HA above the predetermined temperature in the image G, it is possible to predict the goodness / defect of the product N shots ahead.
  • the inference model of the present embodiment is a model for predicting the quality / defect of a product manufactured three shots ahead from the previous three images, where N is 3. Therefore, the inference model generation unit 24 generates inference model data that predicts the pass / fail of the product N shots ahead using N preprocessed images as input data.
  • FIG. 10 is a diagram for explaining an inference model which predicts pass / fail of a product N shots ahead using N preprocessed images as input data.
  • the next shot that is, mold clamping, injection, holding pressure, zero curving, mold opening and taking out is performed, and a product is manufactured.
  • the preprocessing data and the teaching data are linked by the thermo image ID, and the inference model generation unit 24 determines the product data created in each shot based on the teaching data (information that the product is good or defective).
  • Inference model data MD is generated by learning to infer whether a product of three shots ahead becomes a good product or a defective product from preprocessing data of three consecutive shots.
  • the teaching data indicates that the product created when the image G16 is obtained is "good” for the input of the inference model in which the continuous images G11, G12, and G13 are one sample data. Corresponds to the output of the inference model. Similarly, for input of an inference model in which successive images G12, G13, and G14 are one sample data, teaching data that the product created when the image G17 is obtained is "good product” is the inference model It corresponds to the output of. Similarly, with respect to the input of the inference model in which the continuous images G13, G14, and G15 are one sample data, the teaching data is inferred that the product created when the image G18 is obtained is "defective product" It corresponds to the output of the model.
  • thermo image data of sample data is image data of a mold acquired at a predetermined interval.
  • the inference model generation unit 24 generates an inference model for detecting a sign of temperature abnormality of the mold based on the plurality of thermoimage data and the teaching data linked to the plurality of thermoimage data. At this time, the inference model generation unit 24 performs learning by using a predetermined number (N) of continuous time-series image data extracted from a plurality of thermo image data as one sample data.
  • the inference model generation unit 24 selects one of the plurality of thermo image data based on the plurality of thermo image data of the mold acquired at predetermined intervals and the teaching data associated with the plurality of thermo image data.
  • a model generation unit is configured to learn an extracted predetermined number (N) of time-series image data as one sample data, and generate an inference model for detecting a sign of temperature abnormality of a mold.
  • a predetermined number of preprocessed images that are time-sequentially continuous are collectively provided as one sample data to the inference model generation unit 24 and used for generation of an inference model by deep learning.
  • the inference model generation unit 24 provides a plurality of sample data to the neural network of the inference model, and calculates inference model data MD including the weight coefficient of each node of each layer in the neural network.
  • an inference model capable of inferring whether a plurality of preceding products will be non-defective or defective based on a plurality of past images is generated based on the thermo image of the mold.
  • the inference model generation unit 24 transmits the generated inference model data MD to the mold temperature automatic control device 3 via, for example, a communication line, and stores it in the inference model data storage unit 51 (C10 ). As described above, the inference model is generated.
  • the inference model data MD stored in the inference model data storage unit 51 is set by a manager of the mold temperature automatic control device 3 in a mold temperature abnormality degree inference unit 54 described later.
  • the mold temperature automatic control device 3 includes a control unit 41 (indicated by a dotted line) including a CPU, a ROM, a RAM and the like, and a storage unit 42 (indicated by a dotted line) including a flash memory and a hard disk drive. , A keyboard, a monitor, a mouse, a data input interface, and other input / output I / F (not shown).
  • the mold temperature automatic control device 3 includes an inference model data storage unit 51, a machine control rule storage unit 52, an abnormality sign determination rule storage unit 53, a mold temperature abnormality degree inference unit 54, and a mold temperature abnormality precursor judgment Unit 55, pattern card request transmission unit 56, machine operation request transmission unit 57, inference attention area visualization processing unit 58, mold temperature monitor display processing unit 59, thermographic data collection unit 60, thermographic image conversion unit 61 , An inference execution instruction unit 62, and a thermo image pre-processing unit 63.
  • the inference model data storage unit 51, the machine control rule storage unit 52, and the abnormality sign determination rule storage unit 53 are storage areas for storing data, and are included in the storage device 42.
  • the unit 59, the thermographic data collection unit 60, the thermographic image conversion unit 61, the inference execution instruction unit 62, and the thermo image pre-processing unit 63 are software programs and are recorded in the storage device 42, and the control unit It is read and executed by the 41 CPU.
  • the inference model data storage unit 51 is a storage unit in which the above-described inference model data MD is stored.
  • the machine control rule storage unit 52 is a storage unit that stores machine control rules for controlling the operation of the die casting machine 7.
  • the machine control rule is composed of a collection of records in which the previous determination ID, the current determination ID, and the machine control are combined. The data structure of the machine control rule will be described later.
  • FIG. 11 is a diagram showing a data structure of the machine control rule storage unit 52.
  • the machine control rule is composed of a collection of records in which the previous determination ID, the current determination ID, and the machine control are combined.
  • the abnormality sign determination rule storage unit 53 is a storage unit that stores an abnormality sign determination rule.
  • FIG. 12 is a diagram showing a data structure of the abnormality sign determination rule storage unit 53.
  • the abnormality sign determination rule is composed of two or more records in which the determination rule, the determination ID, and the patch control are combined.
  • the number of records corresponds to the number of levels of abnormality, and in the present embodiment, three levels are defined. For example, “JudgeRule01” has a normal level, “JudgeRule02” has a warning level, and “JudgeRule03” has an error level.
  • the range of the degree of abnormality is defined for each judgment rule.
  • the patch lamp control defines a color to be lit by the patch lamp for the matching determination rule.
  • the mold temperature abnormality inference unit 54 executes an inference process to infer the above-described abnormality based on the inference model. More specifically, the mold temperature abnormality inference unit 54 executes an inference process of detecting the occurrence of a temperature abnormality precursor of a mold N shots ahead, using the received N pieces of preprocessed data as input data. Output the degree of abnormality which is a value in the range of 0.0 to 1.0.
  • the mold temperature abnormality degree inferring unit 54 transmits the outputted abnormality degree data AD to the mold temperature abnormality precursor judging unit 55.
  • the mold temperature abnormality sign determination unit 55 executes the abnormality sign determination processing based on the abnormality sign determination rule and the abnormality degree.
  • the mold temperature abnormality inferring unit 54 and the mold temperature abnormality precursor judging unit 55 use the inference model based on the predetermined number (N) of time-series image data of the mold and use the inference model for the predetermined number (N) ahead.
  • the inference execution unit is configured to detect the occurrence of a sign of abnormal temperature of the mold.
  • the mold temperature abnormality sign determination unit 55 determines an operation instruction to the playing card 5 and outputs it to the playing card request transmission unit 56, and the control information indicating the operation content of the die casting machine 7 is a machine operation request transmission unit Output to 57
  • the mold temperature abnormality sign determination unit 55 stores the determination result in the previous determination temporary storage unit 55a.
  • the previous determination temporary storage unit 55a may be a memory area of the storage device 42, or may be a predetermined register.
  • FIG. 13 is a diagram showing the data structure of the previous determination temporary storage unit 55a.
  • the previous determination temporary storage unit 55a can store the previous determination ID.
  • the pattern card request transmission unit 56 is a processing unit that transmits an operation request signal to the pattern card 5.
  • the machine operation request transmission unit 57 transmits the received machine control information to the machine operation control unit 8 of the die casting machine 7. For example, if the received machine control information is resumption of operation, the machine operation control unit 8 of the die casting machine 7 resumes the operation of the die casting machine 7 based on the received machine control information (resumption of operation).
  • the inference attention area visualization processing unit 58 executes processing for visualizing gradient data of the attention area.
  • the processing in the inference attention area visualization processing unit 58 will be described later.
  • the mold temperature monitor display processing unit 59 executes processing for generating an image to be displayed on the monitor 6 based on the image data from the inference target region visualization processing unit 58.
  • the thermographic data acquisition unit 60 is a processing unit that acquires a thermographic image from the thermographic data output from the thermography 4.
  • the thermographic data collection unit 60 acquires a thermographic image of a predetermined timing based on the operation of the die casting machine 7.
  • the timing at which the thermographic image is acquired is, for example, a timing before a predetermined time at which a shot of the mold is started.
  • the thermo image data used by the inference model generation device 2 is also data acquired at the same timing as this timing.
  • thermographic image conversion unit 61 converts thermographic data of numerical data into a color image to create thermo image data.
  • the thermography image conversion unit 61 registers the thermo image data in the thermo image data temporary storage unit 61 a.
  • FIG. 14 is a diagram showing a data structure of the thermo image data temporary storage unit 61a.
  • the thermo image data temporary storage unit 61 a includes a photographing date, a product ID, a die casting machine ID, a thermo image ID, and thermo image data.
  • the data structure of the thermo image data temporary storage unit 61a is the same as the data structure of the thermo image data storage unit 21 of FIG.
  • thermo image data temporary storage unit 61a The data stored in the thermo image data temporary storage unit 61a is stored in the thermo image data storage unit 21 via a communication line or manually via a storage medium as indicated by a dotted line in FIG. It may be made available when updating the inference model.
  • the thermography image conversion unit 61 is a processing unit that transmits an inference execution request to the inference execution instruction unit 62 when image conversion of N sheets of thermo images is completed.
  • the inference execution request includes N thermal images.
  • the inference execution instruction unit 62 transmits the N sheets of thermo images to the thermo image preprocessing unit 63, and instructs the execution of the inference.
  • the thermo image pre-processing unit 63 performs pre-processing on the received N thermo images. In the pre-processing, as in the thermo image pre-processing unit 23 of the inference model generation device 2, a normalization process is performed so as to fall within the value of 0-1. That is, the thermoimage pre-processing unit 63 converts the color image into a monochrome image for all the thermoimages, and creates monochrome thermoimage data.
  • thermoimage pre-processing unit 63 subtracts the created average image data in monochrome thermoimage units to create preprocessed data.
  • the average image data is data created at the time of generation of the inference model and registered in advance in the thermo image preprocessing unit.
  • thermo image preprocessing unit 63 transmits N pieces of preprocessing data to the mold temperature abnormality degree inferring unit 54.
  • FIG. 15 is a sequence diagram of processing from collection of thermographic data to transmission of an inference execution request. The process of FIG. 15 is performed while the die casting machine 7 is in operation.
  • thermography 4 images the mold D installed in the die casting machine 7, measures the temperature of the mold D, and outputs thermography data (C11).
  • the thermographic data is a collection of infrared numerical data emitted from the mold D.
  • thermography 4 transmits the measured thermography data to the thermography data collection unit 60 (C12).
  • the thermographic data collection unit 60 delivers the thermographic data to the thermographic image conversion unit 61, and requests execution of the image conversion (C13).
  • thermography image conversion unit 61 converts the thermography data of the numerical data into a color image, and creates thermo image data (C14).
  • the thermography image conversion unit 61 registers the thermo image data in the thermo image data temporary storage unit 61a (C15).
  • the thermography image conversion unit 61 transmits an inference execution request to the inference execution instruction unit 62 when image conversion of N sheets of thermo images is completed (C16).
  • the inference execution request includes N thermal images.
  • C12 to C16 are repeatedly executed in units of shots of the die casting machine 7.
  • the above is the flow of processing from collection of thermography data to transmission of an inference execution request.
  • FIG. 16 is a sequence diagram of processing from inference execution to lighting of the pad lamp. As shown in FIG. 16, the inference execution instruction unit 62 transmits N sheets of thermo images to the thermo image preprocessing unit 63 (C21).
  • thermo image pre-processing unit 63 performs pre-processing on the received N thermo images (C22). In the preprocessing, as described above, normalization processing is performed so as to fall within the range of 0 to 1, as in the model generation processing.
  • the thermo image pre-processing unit 63 transmits N pieces of pre-processed data to the mold temperature abnormality inference unit 54 (C23).
  • the mold temperature abnormality degree inferring unit 54 performs inference processing based on the inference model with the received N pieces of preprocessed data as input (C24), and the abnormality degree of the value in the range of 0.0 to 1.0 Output That is, the mold temperature abnormality degree inference unit 54 constituting the inference execution unit outputs the abnormality degree data using the inference model based on the preprocessed data that is a predetermined number (N) of time series image data of the molds.
  • N predetermined number
  • the mold temperature abnormality degree inferring unit 54 transmits the outputted abnormality degree to the mold temperature abnormality precursor judging unit 55 (C25).
  • the mold temperature abnormality sign determination unit 55 acquires an abnormality sign determination rule from the abnormality sign determination rule storage unit 53 (FIG. 12) (C26).
  • the mold temperature abnormality sign determination unit 55 executes the abnormality sign determination based on the acquired abnormality sign determination rule and the degree of abnormality (C27). That is, the die temperature abnormality sign determination unit 55 that constitutes the inference execution unit detects the occurrence of a sign of temperature abnormality of a predetermined number (N) of dies based on the degree of abnormality.
  • the judgment ID in the judgment rule of FIG. 12 corresponds to “JudgeRule02”, and the judgment ID “JudgeRule02” and “yellow” of the patch card control information are outputted. If the abnormality degree is 0.9, the judgment ID in the judgment rule of FIG. 12 corresponds to "JudgeRule03”, and the judgment ID "JudgeRule03” and the “red” in the card control information are outputted.
  • the mold temperature abnormality sign determination unit 55 acquires the previous determination ID from the previous determination temporary storage unit 55a (C28). In the case of FIG. 13, since the determination result at the time of the last casting was normal, "JudgeRule01" saved before the precursor detection is acquired. The acquired previous determination ID is used in the reactivation process of the die casting machine 7 described later.
  • the mold temperature abnormality sign determination unit 55 temporarily stores the current determination ID “JudgeRule 02” in the previous determination temporary storage unit 55a (C29). The above-described processing from C21 to C29 is involved in abnormality sign determination.
  • the mold temperature abnormality sign determination unit 55 sends a pattern lamp lighting request to the pattern card request transmission unit 56 so as to turn on the determined color (yellow in the above example) (C30).
  • the pad lamp request transmission unit 56 In response to the pad lamp lighting request, the pad lamp request transmission unit 56 outputs a lighting instruction to the pad lamp 5 to light the pad lamp 5 in a predetermined color in the above case (C31). Therefore, the pattern card request transmission unit 56 configures an information output unit that outputs predetermined information when occurrence of a sign of temperature abnormality of the mold is detected.
  • the playing card 5 is a notification unit that receives the lighting instruction of the color according to the instruction and lights the playing card 5, and in the above example, the yellow lighting.
  • the display of the PATRAMK 5 informs workers and managers of the manufacturing line that there is a sign of occurrence of mold temperature abnormalities.
  • the card lamp 5 constitutes a notification unit that notifies the administrator or the like of the occurrence of a sign of temperature abnormality.
  • FIG. 17 is a sequence diagram of the process from the determination of the sign of the abnormal temperature of the mold to the stop of the operation of the die casting machine.
  • the mold temperature abnormality sign determination unit 55 acquires the machine control rule from the machine control rule storage unit 52 (C41).
  • the mold temperature abnormality sign determination unit 55 selects and reads a record of a matching rule from the previous determination ID acquired at sequence number C28 in FIG. 16 described above and the current determination ID. For example, if the previous determination ID is "JudgeRule01" and the current determination ID is "JudgeRule02", the second record is matched in FIG. 11, and machine control is performed to select "stop operation”.
  • the mold temperature abnormality sign determination unit 55 transmits machine control (operation stop) to the machine operation request transmission unit (C42).
  • the machine operation request transmission unit 57 transmits the received machine control (operation stop) to the machine operation control unit 8 of the die casting machine 7 (C43).
  • the machine operation control unit 8 executes control (stop operation) of the die casting machine 7 based on the received machine control (stop operation).
  • the second record describes a rule for stopping the die casting machine 7 before the production of a defective product due to a temperature abnormality of the mold because a sign of becoming abnormal from normal is detected. Therefore, when the mold temperature abnormality sign determination unit 55 detects a sign of temperature abnormality in which a defective product is manufactured in the N-shot destination, the die casting machine 7 is stopped before N shots in which the defective product is manufactured.
  • the machine operation request transmission unit 57 configures an information output unit that outputs predetermined information when occurrence of a sign of temperature abnormality of the mold is detected. Then, the machine operation request transmission unit 57 transmits, to the die casting machine 7, a request signal for operation control to the die casting machine 7, which is a manufacturing apparatus that manufactures a product using a mold. In particular, the machine operation request transmission unit 57 transmits to the die casting machine 7 a request signal for stopping the die casting machine 7 when the mold temperature abnormality degree inferring unit 54 detects the occurrence of a temperature abnormality precursor of the mold. .
  • the temperature of the mold no longer rises and starts to decrease.
  • the manager of the die casting machine 7 can know the occurrence of the heat stagnation.
  • the die casting machine 7 is also stopped, for example, a hot stagnant sign can be detected before a defect occurs due to an abnormal temperature of the mold due to uneven distribution of the release agent, so the number of defects can be reduced. .
  • thermographic data of the thermographic 4 is collected at predetermined intervals in the thermographic data collection unit 60.
  • the predetermined interval is the same as or substantially the same as the data collection cycle when the die casting machine 7 is moving.
  • FIG. 18 is a flow chart showing an example of the flow of processing from normal determination of the temperature of the mold to re-operation of the die casting machine. The process of FIG. 18 is performed under the control of the control unit 41.
  • step S processing from collection of thermographic data to transmission of an inference execution request is executed (step S) 1).
  • the processing of S1 corresponds to the processing of C12 to C16 described above.
  • the mold temperature abnormality inference unit 54 executes inference based on the above-described inference model, and the mold temperature abnormality precursor determination unit 55 performs an abnormality precursor determination, and temporarily stores the current determination ID.
  • the process is executed (S2).
  • the process of S2 corresponds to the process of C22 to C29 described above.
  • the mold temperature abnormality sign determination unit 55 determines whether the temperature of the mold has become a normal temperature (S3).
  • the temperature of the mold is determined to be normal if the abnormality degree is within the range of a predetermined value, for example, 0.0 to less than 0.6 in the above example, but the abnormality degree is a predetermined value. If the temperature does not fall within the range, the temperature of the mold does not reach the normal temperature, so the process returns to S1. That is, the processes of S1 and S2 are repeated until the temperature of the mold recovers to the normal temperature.
  • a predetermined value for example, 0.0 to less than 0.6 in the above example
  • the temperature of the mold becomes normal temperature, and collection of thermographic data is requested Processing up to transmission is executed (S4).
  • the process of S4 is the same as the process of S1. That is, assuming that the mold has recovered to the normal temperature, the above C12 to C16 are performed.
  • the mold temperature abnormality sign determination unit 55 executes the process of lighting the lamp lamp from the inference execution (S5).
  • the process of S5 corresponds to the process of C21 to C31 described above.
  • the mold temperature abnormality sign determination unit 55 executes the abnormality sign determination using the acquired abnormality sign determination rule and the degree of abnormality. For example, assuming that the abnormality degree is 0.3, according to the determination rule of FIG. 12, a control signal for making the color of the patch card 5 blue based on the determination ID “JudgeRule01” is output.
  • the abnormality sign determination unit 55 acquires the previous determination ID from the previous determination temporary storage unit 55a. Since the determination result at the time of the last casting was a warning (yellow), "JudgeRule02" saved before the detection of a sign is acquired.
  • the mold temperature abnormality sign determination unit 55 registers “JudgeRule01” of the current determination ID in the previous determination temporary storage unit 55a.
  • the mold temperature abnormality sign determination unit 55 transmits a patch lamp lighting request to the patch lamp request transmission unit 56 so as to light blue.
  • the playing card 5 lights with the color of the playing card 5 set to blue.
  • the die temperature abnormality sign determination unit 55 executes an operation resumption process for reoperating the die casting machine which has been stopped (S6). Specifically, the mold temperature abnormality sign determination unit 55 acquires the machine control rule from the machine control rule storage unit 52.
  • the mold temperature abnormality sign determination unit 55 finds a record of a compatible rule from the previous determination ID (“JudgeRule 02”) acquired in S4 and the current determination ID (“JudgeRule01”). In FIG. 11, the third record matches, and “restart operation” is selected as machine control.
  • the mold temperature abnormality sign determination unit 55 transmits machine control (resumption of operation) to the machine operation request transmission unit 57.
  • the machine operation request transmission unit 57 transmits the received machine control (resumption of operation) to the machine operation control unit 8 of the die casting machine 7.
  • the machine operation control unit 8 resumes the operation of the die casting machine 7 based on the received machine control (operation restart).
  • the sign of the temperature abnormality of the mold is notified to the administrator by the change of the color of the patch card 5.
  • the manager can take measures such as lowering the surface temperature of the mold by spraying the release agent on the high temperature portion of the surface of the mold by viewing the thermoimage.
  • the die casting machine 7 stops its operation based on the machine control rule, and generation of a defective product is prevented. And, once the die casting machine is stopped, when the temperature of the die returns to the normal temperature, the die casting machine 7 automatically restarts.
  • thermo image of the mold can be displayed on the monitor 6
  • temperature abnormality is generated based on the generated inference model when temperature abnormality occurs.
  • the state of may be displayed on the monitor 6.
  • thermo image displays the heat distribution using color, but if the user is not a skilled field expert, what kind of heat distribution would make a defect more likely to occur, or what kind of heat distribution would occur It is difficult to determine whether a defective product is generated.
  • FIG. 19 is a flowchart illustrating an example of the flow of visualization processing of gradient data.
  • the control unit 41 executes the processing of FIG.
  • the inference attention area visualization processing unit 58 receives the preprocessed data of N sheets, executes an error back propagation method, and outputs an inference attention data set for the input (S11).
  • the error back propagation method “Debit E. Rammelhart, Jeffrey E. Hinton, Ronald J. Williams,“ Indication of learning by back propagation error ”, October 8, 1986, Nature 323 (6088 Hinton, Geoffrey E., Williams, Ronald J. (8 October 1986). “Learning representations by back-propagating errors”. Nature 323 (6088)).
  • the process of error back propagation is performed according to a pre-set inference model.
  • the inferred attention data set is a matrix in which gradient vectors are calculated for all N preprocessed data sets by an error back propagation method, and the calculated gradient vectors are arranged.
  • the values of partial derivatives constituting the gradient vector can be calculated using a chain rule or the like.
  • the chain rule refers to a relational expression that when derivatives of a combined function in which a plurality of functions are combined, the derivative is given by the product of the respective derivatives.
  • FIG. 20 is a diagram showing an example of an inference attention data set.
  • the gradient vector of each row of the inferred data set of interest indicated by the dotted line is a partial differential value calculated from the thermo image data set for each casting.
  • the first row is the gradient vector at the Kth casting
  • the second row is the gradient vector at the (K + 1) th casting
  • the third row is the gradient vector at the (K + 2) th casting
  • L The eye shows the gradient vector at the (K + L) th casting.
  • the corresponding N pieces of inferred attention data sets are selected from the data as shown in FIG.
  • the inference attention region visualization processing unit 58 executes processing of converting the values of the gradient vectors of the inference attention data set into pixel values, and outputs the result as inference attention image data (S12). That is, each gradient vector of the inferred attention data set is normalized to an absolute value of 0 to 255 and converted into image data.
  • the inference attention area visualization processing unit 58 creates inference attention area average image data from the N pieces of inference attention data sets (S13).
  • the inferred attention area visualization processing unit 58 infers the attention area in which the N thermal images of the thermoimage data corresponding to the preprocessed data and the average image of the average image data created in S13 are synthesized in data units.
  • Image data is output (S14). In the example described above, data of the inferred attention area image in which the three thermo images and the average image are superimposed is output.
  • N may be 1.
  • the inferred attention area visualization processing unit 58 supplies the inference attention area image data to the mold temperature monitor display processing unit 59, and the visualized gradient data and the thermoimage are superimposed and displayed on the screen of the monitor 6 (S15). Therefore, the visualized gradient data can be said to indicate an error distribution for each area on the thermoimage.
  • the inference target area visualization processing unit 58 and the mold temperature monitor display processing unit 59 visualize the gradient vector of the designated thermo image for the predetermined parameter of each layer of the inference model and display it on the monitor 6.
  • a visualization processing unit that performs processing for displaying is configured.
  • FIG. 21 is a view showing a display example of visualized gradient data displayed on the monitor 6.
  • a region Vi indicated by a dotted line is an image obtained by imaging a gradient vector for each region of the thermo image (hereinafter referred to as a gradient vector image), so that the user can display the gradient vector image superimposed on the thermo image. From the state of the pattern, it is possible to intuitively know the temperature state of the mold.
  • the user can compare many abnormal gradient vector images displayed on the monitor 6 with many normal gradient vector images, it is possible to determine the abnormal vector and the normal vector as the gradient vector image. By looking at it, it is possible to judge the normality / abnormality of the temperature of the mold, predict it, etc.
  • the user can also expect feedback from the gradient vector image at the time of abnormality to the mold design.
  • the release agent may be unevenly distributed each time, the location of the heat pool does not always occur at the same location. Therefore, there is also a problem that it is difficult to take cooling measures by means of releasing the release agent at pinpoint.
  • the user can visually judge where the signs of heat accumulation were detected, and therefore, it becomes possible to disperse the release agent at pinpoint. Mold cooling is also accelerated, and the number of defects can be expected to be further reduced.
  • thermographic image analysis by an expert is a personal method, it can not be widely applied to many factories and many products.
  • automatic control can be realized by pausing and resuming the die casting machine until the mold returns to the normal temperature after detection of a heat accumulation sign.
  • thermographic image As described above, according to the present embodiment, it is possible to provide a mold temperature abnormality sign detection device and a storage medium capable of detecting a sign of temperature abnormality of a mold from a thermographic image.
  • the mold is a mold used for the die casting machine 7
  • the above-described embodiment can also be applied to a mold used for an injection molding machine.
  • the program for executing the above-described operation may be entirely or partially recorded or stored in a computer program product, a portable medium such as a flexible disk or a CD-ROM, or a storage medium such as a hard disk. There is.
  • the program is read by the computer and all or part of the operation is performed. Alternatively, all or part of the program can be distributed or provided via a communication network.
  • the user can easily realize the above-described mold temperature abnormal sign detection device by downloading the program via a communication network and installing the program on a computer or from a recording medium to a computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Injection Moulding Of Plastics Or The Like (AREA)
  • Moulds For Moulding Plastics Or The Like (AREA)
  • Molds, Cores, And Manufacturing Methods Thereof (AREA)
  • Radiation Pyrometers (AREA)
  • Multimedia (AREA)

Abstract

金型温度制御システム１は、所定の間隔で取得された金型の複数のサーモ画像データと、複数のサーモ画像データに紐付けられた教示データに基づいて、複数のサーモ画像データの中から抽出された連続する所定数の時系列画像データを１つのサンプルデータとして学習して、金型の温度異常の予兆を検知するための推論モデルを生成する推論モデル生成部２４と、金型の所定数の時系列画像データに基づいて、推論モデルを用いて所定数先の金型の温度異常の予兆の発生を検知する金型温度異常度推論５４と、記金型の温度異常の予兆の発生を検知されたときにパトランプ５の点灯を制御するパトランプリクエスト送信部５６と、を有する。

Description

金型温度異常予兆検知装置及び記憶媒体
　本発明の実施形態は、ダイカストマシン、射出成形機等に用いられる金型の温度異常の予兆を検知する金型温度異常予兆検知装置及び記憶媒体に関する発明である。
　従来より、金型を用いた金属部品あるいは樹脂部品等の製造が行われている。
　例えば、ダイカストマシンによる鋳造は、金型にアルミ溶液等の溶湯を流し込み、凝固させ、鋳造品を取り出す鋳造工程を含む。鋳造部品の欠陥には、湯回り不良や鋳巣があり、これらの欠陥は、欠陥全体の７０％を占める場合もある。いずれも金型の温度異常に起因する欠陥であることから、金型温度は、ダイカスト鋳造現場での重要な品質管理項目として扱われている。
　金型の温度制御は、サーモカップルのような温度センサを用いて金型の温度を検出し、検出された温度に基づいて金型のヒーターを制御することによって行われる場合もあるが、サーモーカップルは、定点の温度しか検出できない。
　そのため、例えば離型剤の不均一な散布などがあると、離型剤の散布による冷却効果も不均一になり、熱だまりが生じてもサーモカップルでは定点計測しかできず、かつ熱だまりの箇所も常に同じ場所に発生しないため、熱だまり箇所を検出できない場合があるため、湯回り不良や鋳巣不良が発生してしまう場合がある。
　そこで、金型の表面全体を計測できるサーモグラフィを導入し、製造現場の有識者がサーモグラフィ画像から熱だまりの予兆発生メカニズムを解析して、熱だまりの予兆から離型剤の散布の方向や量などを調整することにより、金型の温度異常が発生しないように金型温度制御を行うことが行われる。
　しかし、有識者によるサーモグラフィ画像解析は、属人的な手法であるため、多くの工場及び多くの製品に広く適用することはできない。
特許第５６３７２８７号公報
　そこで、本実施形態は、サーモグラフィ画像から金型の温度異常の予兆を検知することができる金型温度異常予兆検知装置及び記憶媒体を提供することを目的とする。
　実施形態の金型温度異常予兆検知装置は、所定の間隔で取得された金型の複数のサーモ画像データと、前記複数のサーモ画像データに紐付けられた教示データに基づいて、前記複数のサーモ画像データの中から抽出された連続する所定数の時系列画像データを１つのサンプルデータとして学習して、前記金型の温度異常の予兆を検知するための推論モデルを生成するモデル生成部と、前記金型の前記所定数の時系列画像データに基づいて、前記推論モデルを用いて前記所定数先の前記金型の前記温度異常の予兆の発生を検知する推論実行部と、前記推論実行部が前記金型の前記温度異常の予兆の発生を検知したときに、所定の情報を出力する情報出力部と、を有する。
実施形態に係わる金型温度制御システムの構成図である。 実施形態に係わる、ダイカストマシン７における金型キャビティへのアルミニウム等の溶湯の射出系を説明するための模式図である。 実施形態に係わるサーモ画像の例を示す図である。 実施形態に係わる、サーモ画像データ保存部２１のデータ構造を説明するための図である。 実施形態に係わる、現場有識者教示データ保存部２２のデータ構造を説明するための図である。 実施形態に係わる、前処理データ一時保存部２３ａのデータ構造を説明するための図である。 実施形態に係わる、推論モデルデータ保存部５１のデータ構造を説明するための図である。 実施形態に係わる、推論モデル生成処理のシーケンス図である。 実施形態に係わる、前処理データと教示データの対応関係を説明するための図である。 実施形態に係わる、Ｎ枚の前処理画像を入力データとして、Ｎショット先の製品の良／不良を予測する推論モデルを説明するための図である。 実施形態に係わる、マシン制御ルール保存部５２のデータ構造を示す図である。 実施形態に係わる、異常予兆判定ルール保存部５３のデータ構造を示す図である。 実施形態に係わる、前回判定一時保存部５５ａのデータ構造を示す図である。 実施形態に係わる、サーモ画像データ一時保存部６１ａのデータ構造を示す図である。 実施形態に係わる、サーモグラフィデータの収集から推論実行リクエストの送信までの処理のシーケンス図である。 実施形態に係わる、推論実行からパトランプ点灯までの処理のシーケンス図である。 実施形態に係わる、金型の温度異常の予兆の判定からダイカストマシンの稼働停止までの処理のシーケンス図である。 実施形態に係わる、金型の温度の正常判定からダイカストマシンの再稼働までの処理の流れの例を示すフローチャートである。 図実施形態に係わる、勾配データの可視化処理の流れの例を示すフローチャートである。 実施形態に係わる、推論注目データセットの一例を示す図である。 実施形態に係わる、モニタ６に表示される可視化された勾配データの表示例を示す図である。
　以下、図面を参照して実施形態を説明する。
（システム構成）
　図１は、本実施形態に係わる金型温度制御システムの構成図である。金型温度制御システム１は、推論モデル生成装置２と、金型温度自動制御装置３と、サーモグラフィ４と、パトランプ５と、表示装置であるモニタ６とを含む。
　金型温度自動制御装置３は、接続されたダイカストマシン７に制御信号を出力する。図１では、金型温度自動制御装置３に接続された１台のダイカストマシン７が図示されているが、金型温度自動制御装置３に複数台のダイカストマシンを接続し、金型温度自動制御装置３は複数のダイカストマシンの制御を行うことができるようにしてもよい。
　ダイカストマシン７は、金型Ｄの動きを制御するマシン動作制御部８を含む。金型温度自動制御装置３はダイカストマシン７のマシン動作制御部８へ制御信号を出力する。　
　サーモグラフィ４は、金型Ｄの所定の領域を撮像するように設置されている。サーモグラフィ４も、複数のダイカストマシンがあるときは、ダイカストマシン毎に設置される。後述するように、サーモグラフィ４が出力するサーモグラフィデータの中から、ダイカストの鋳造品が作成される各ショットにおける所定のタイミングで得られたサーモ画像が、推論モデル生成装置２、金型温度自動制御装置３の推論実行指示部６２以降の推論処理において用いられる。
　推論モデル生成装置２が、ダイカストマシンの金型Ｄについての推論モデルを生成し、金型温度自動制御装置３は、生成された推論モデルに基づいて、金型Ｄの温度異常の予兆検知、ダイカストマシン７の自動制御など行う。よって、推論モデル生成装置２と金型温度自動制御装置３が、金型温度異常予兆検知装置を構成する。
　図２は、ダイカストマシン７における金型キャビティへのアルミニウム等の溶湯の射出系を説明するための模式図である。　
　２つの金型Ｄ１，Ｄ２は、一方の金型Ｄ１がショット毎に矢印Ａで示す方向に移動して金型Ｄ２に密着して型締めされる。金型Ｄ１とＤ２が密着している間に、ランナーＲ内の溶湯Ｍが、プランジャーＰの移動により、２つの金型Ｄ１，Ｄ２内の金型キャビティ内に射出され充填される。
　その後、金型キャビティ内の溶湯Ｍが保圧されて冷却された後に、金型Ｄ１が矢印Ａで示す方向とは反対方向に移動して、２つの金型Ｄ１，Ｄ２は、型開きし、成形された鋳造品の取り出しが行われる。
　また、鋳造品を製造している途中で、鋳造品が金型から抜け易くするように、離型剤の散布が行われる。なお、複雑な構造の金型では、離散剤が均一に散布されにくく、離型剤の不均一な散布が続くと、金型の内側表面上に微小な高温箇所が発生し、やがて大きな熱だまりとなって、湯回り不良や鋳巣不良が発生する。
　サーモグラフィ４は、金型Ｄ１、Ｄ２の一方の金型キャビティ側の内側表面を含むように、金型を撮像する。後述するように、サーモグラフィ４の画像は、ショット毎に一定のタイミングで収集される。
　図３は、サーモ画像の例を示す図である。図３は、金型の内側表面を含む、サーモグラフィ４により撮像されて得られた画像の例を示す模式図であり、ここでは熱分布の状態は図示していない。サーモグラフィ４が金型の内側表面を斜め方向から撮像しているため、矩形の金型キャビティは台形で表わされている。サーモグラフィ４の画像ＳＭ中、キャビティ内側表面の領域Ｄｉは、点線で示されている。画像の切りだし領域ｒＳＭは二点鎖線で示されている。
　ショット毎に得られるサーモグラフィ４の画像ＳＭからキャビティ内側表面の領域Ｄｉを含む領域が切り出されて、その切り出し領域ｒＳＭの画像が、後述するモデル生成、推論処理などに用いられる。
　切り出し領域ｒＳＭの画像をモデル生成等に用いるのは、モデル生成等の精度を向上させるためであるが、サーモグラフィ４の画像ＳＭ全体をモデル生成、推論処理などに用いてもよい。　
　また、以下の例では、サーモグラフィ４は一台で、２つの金型の一方の金型キャビティ内側表面を撮像するが、サーモグラフィ４を２台以上設けて、ショット毎に２つの金型の両方の金型キャビティ内側表面を撮像するようにしてもよい。
　次に、図１に戻り、推論モデル生成装置２の構成を説明する。
（推論モデル生成装置の構成）
　推論モデル生成装置２は、中央処理装置（以下、ＣＰＵという）、ＲＯＭ、ＲＡＭ等を含む制御部１１（点線で示す）と、フラッシュメモリ、ハードディスクドライブ装置等を含む記憶装置１２（点線で示す）と、キーボード、モニタ、マウス、データ入力及び出力インターフェースなど入出力インターフェース（以下、入出力Ｉ／Ｆと略す）１３（点線で示す）、等のハードウエア回路を含むコンピュータである。
　推論モデル生成装置２は、さらに、サーモ画像データ保存部２１と、現場有識者教示データ保存部２２と、サーモ画像前処理部２３と、前処理データ一時保存部２３ａと、推論モデル生成部２４と、を有する。
　サーモ画像データ保存部２１、現場有識者教示データ保存部２２及び前処理データ一時保存部２３ａは、データを記憶する記憶領域であり、記憶装置１２に含まれる。　
　サーモ画像前処理部２３と推論モデル生成部２４は、ソフトウエアプログラムであり、記憶装置１２に記録されており、制御部１１のＣＰＵによって読み出されて実行される。
　サーモ画像データ保存部２１は、ユーザにより指定されて登録されたサーモ画像データセットを保存する記憶部である。　
　図４は、サーモ画像データ保存部２１のデータ構造を説明するための図である。
　サーモ画像データ保存部２１は、図４に示すように、各サーモ画像についての、撮影日時、製品の識別子（以下、ＩＤと略す）である製品ＩＤ、撮影対象の金型を組み込んだダイカストマシンのＩＤであるダイカストマシンＩＤ、サーモ画像のＩＤであるサーモ画像ＩＤ、及びサーモ画像データを含んで構成されるデータベースである。
　サーモ画像データセットは、実際にダイカストマシンで鋳造する時の金型を、サーモグラフィ４を使って撮影した画像の集合体である。サーモ画像データ保存部２１に登録されているサーモ画像には、製造された製品の鋳造品質が良かったときの撮影画像と鋳造品質が悪かった時の撮影画像が混在している。
　サーモ画像データは、ＪＰＥＧ、ＢＭＰ等のファイルフォーマット形式のデータであり、本実施形態ではカラー画像である。　
　現場有識者は、コンピュータである推論モデル生成装置２を操作して、事前に蓄積しておいたサーモ画像データセットを、サーモ画像データ保存部２１に登録する。
　現場有識者教示データ保存部２２は、ユーザにより指定された教示データセットを保存する記憶部である。現場有識者教示データ保存部２２には、サーモ画像、すなわちサーモグラフィ４により得られた熱分布画像であるサーモ画像に関連付けられた教示データが登録される。
　図５は、現場有識者教示データ保存部２２のデータ構造を説明するための図である。　
　図５に示すように、現場有識者教示データ保存部２２は、サーモ画像ＩＤと教示データを含んで構成される。
　教示データは、現場有識者が鋳造品の品質（良品、不良品のいずれか）を判断して、設定されたデータである。鋳造時のサーモ画像データと紐づけられている。教示データとサーモ画像データの紐づけは、サーモ画像ＩＤで行われている。
　以上のように、現場有識者は、コンピュータである推論モデル生成装置２を操作して、事前に設定しておいた教示データセットを、現場有識者教示データ保存部２２に登録することができる。
　サーモ画像前処理部２３は、サーモ画像データ保存部２１から、サーモ画像ＩＤリストに含まれるサーモ画像のサーモ画像データセットを取得する。
　サーモ画像ＩＤリストは、ユーザが、推論モデル生成装置２に対してモデル生成の実行リクエストを与えるときに、ユーザにより指定されるリストであり、推論モデルの生成に用いるサーモ画像を特定する。
　ユーザが、推論モデル生成装置２に対してモデル生成の実行リクエストを与えると、制御部１１は、サーモ画像前処理部２３を実行し、その後、推論モデル生成部２４を実行する。
　サーモ画像前処理部２３は、取得したサーモ画像データセットを入力とし、前処理を実行する。前処理では、後述するモデル生成処理の効率を上げるために、サーモ画像の各画素値を０～１の範囲の値に収まるように正規化する処理が行われる。
　前処理では、全てのサーモ画像に対して、カラー画像からモノクロ画像に変換し、モノクロサーモ画像データを作成する変換処理が行われる。　
　また、前処理では、全てのモノクロサーモ画像データから、ピクセル単位で加算しかつ２５５で割って平均値をとった平均画像データを作成する平均値画像データ生成処理が行われる。作成した平均画像データは一時的に記憶装置１２の所定の領域に保存される。
　そして、前処理では、モノクロサーモ画像単位で、作成した平均画像データを差し引き、前処理データを作成する前処理データ作成処理が実行される。　
　サーモ画像前処理部２３は、作成された全ての前処理データを、前処理データ一時保存部２３ａに登録する。
　図６は、前処理データ一時保存部２３ａのデータ構造を説明するための図である。　
　図６に示すように、前処理データ一時保存部２３ａは、サーモ画像ＩＤと前処理データを含んで構成される。
　前処理データは、ＪＰＥＧ、ＢＭＰ等のファイルフォーマット形式のデータである。　
　上述したように、サーモ画像前処理部２３は、サーモグラフィ４により得られたサーモ画像中の所定の切り出し領域のみに対して、前処理を行う。
　サーモグラフィ４は、金型の注目領域以外の領域も含まれるように金型を撮像しているため、そのようにして得られたサーモ画像中から、図３に示すように、注目領域である切り出し領域ｒＳＭのみを切り出して、その切り出した領域の画像データに対して、前処理が行われる。後述する金型異常温度推論処理も、同じ注目領域である切り出し領域ｒＳＭに対して行われる。注目領域のみに対して前処理等を行うことによって、推論精度が向上する場合があるからである。　
　なお、上述したように、画像ＳＭ全体に対して前処理を行うようにしてもよい。
　推論モデル生成部２４は、サーモ画像前処理部２３の実行後に実行される。　
　推論モデル生成部２４は、前処理データ一時保存部２３ａに保存された前処理データに対してディープラーニングによる学習を実行し、推論モデルを生成する処理を行う。本実施形態での推論モデル生成部２４は、ダイカストマシンの鋳造ごとに、金型の温度を示すサーモ画像の各ピクセルデータをプロットした空間上から、良品と不良品をうまく分離できる境界面を定めたニューラルネットワーク型の推論モデルを作成する。
　ここで、推論モデルとは、ニューラルネットワークを構成する入力層、隠れ層及び出力層の構造情報、すなわちニューラルネットワークの構造情報と、ニューラルネットワーク中の各種重みなどのパラメータ情報とからなるニューラルネットワーク型の推論モデルである。
　ニューラルネットワーク型の推論モデルの生成方法は、ディープラーニングによる学習により行う。ディープラーニングによる学習とは、推論された出力データと、入力データに対する教示データ（正解）との誤差が少なくなるように、各層の重み（ω1・・・ωＮ）を少しずつ適正な値に更新し、最適な重み（すなわち推論モデル）を求める処理である。
　本実施形態のニューラルネットワークには、サーモ画像データが対象のため、画像解析でよく利用されるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を用いている。なお、ＣＮＮについては、文献「ワイ・ルクン、ビー・ボザー、ジェイ・エス・デンカー、ディ・ヘンダーソン、アール・イー・ハワード、ダブリュ・ハバード、エル・ディ・ジャカル著、「手書きジップコード認識に適用される誤差逆伝播法」ニューラルコンピューテーション、１巻、５４１～５５１頁、１９８９（Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, and L.D. Jackel, “Backpropagation applied to handwritten zip code recognition", NeuralComputation, vol.1, pp.541-551, 1989.）」を参照されたし。
　また、本実施形態では、鋳造品の不良が生じる金型の温度が異常になる前に、サーモ画像の時系列変化から、異常の予兆が検知される。そのため、現在の鋳造からＮ（Ｎは、正の整数）回先の鋳造時の金型の温度異常の予兆を検知したい場合は、「Ｎ枚」分のサーモ画像データを入力として、Ｎ回先の教示データを出力として、推論モデルが作成される。このような推論モデルによって、サーモ画像の時系列変化の特徴が捉えられる。
　例えば、前処理されたサーモ画像がｍ×ｋ（ｍは、画像の縦の画素数、ｋは、画像の横の画素数）、Ｎが３の場合、１サンプルは、ｍ×ｋ×Ｎの次元数を有する画素値データである。
　本実施形態の推論モデルは、複数のサンプルデータから作成されるが、例えば、直前の連続する過去Ｎ枚のサーモ画像から、その後のＮショット先に製造される鋳造品の良／不良を推論し、温度異常の予兆のレベルを示す異常度を出力するためのモデルである。異常度は、数値で示され、ここでは０．０～１．０の範囲の値であり、つまり確率という形で出力される。異常度は、値が低い程、良品の製造され易く、値が高い程、不良品の製造され易い確度は高いことを示す。
　異常度を算出する推論処理では、入力データが、前述の推論モデルの入力層、隠れ層、出力層へと流れ、最後に出力データを生成する処理を実行する。異常度を示す確率は、最後の隠れ層からの出力値を入力に、ソフトマックス関数によって求められる。ここで、ソフトマックス関数とは、正常と異常など二つの確率分布の間に定義される尺度である。
　推論モデル生成部２４が作成した推論モデルデータＭＤは、所定の形式のデータファイルとして、金型温度自動制御装置３の推論モデルデータ保存部５１に登録される。推論モデルデータは、推論モデル生成装置２と金型温度自動制御装置３が通信ラインで接続されていれば、推論モデル生成装置２から金型温度自動制御装置３に送信されて、推論モデルデータ保存部５１に登録される。推論モデル生成装置２と金型温度自動制御装置３が通信ラインで接続されていなければ、推論モデルデータＭＤをメモリカードなどの記憶媒体に記憶し、そのメモリカードのデータを管理者が推論モデルデータ保存部５１に登録する。
　また、前処理部で作成された平均画像データも、推論モデルデータＭＤと共に、金型温度自動制御装置３に送信等されて、サーモ画像前処理部６３に登録される。　
　推論モデルデータは、入力層に与えられた入力に対して、ニューラルネットワークの出力層の各出力ノードの値を算出するために必要な情報を含む。ここで、各出力ノードの値を算出するために必要な情報は、各エッジの重み、バイアスの値、その他活性化関数のパラメータなどの各種パラメータである。
　図７は、推論モデルデータ保存部５１のデータ構造を説明するための図である。図７は、複数の推論モデルについての推論モデルが推論モデルデータ保存部５１に登録されている例を示し、各推論モデルは、ダイカストマシン毎でかつ製品毎に生成されて推論モデルデータ保存部５１に登録される。
　図７に示すように、推論モデルデータ保存部５１は、推論モデルＩＤ、製品ＩＤ、ダイカストマシンＩＤ、サーモ画像リスト及び推論モデルデータを含んで構成される。　
　推論モデルＩＤは、推論モデルを識別するためのＩＤである。　
　製品ＩＤは、製品（ここでは鋳造品）を識別するためのＩＤである。　
　ダイカストマシンＩＤは、ダイカストマシンを識別するためのＩＤである。
　サーモ画像リストは、推論モデルを生成するために用いられたサーモ画像ＩＤのリスト情報である。　
　推論モデルデータは、推論モデルを特定する行列形式のモデルパラメータセットである。
　次に、以上のような構成の推論モデル生成装置２における推論モデルの生成処理について説明する。　
　図８は、推論モデル生成処理のシーケンス図である。
　まず、ユーザは、推論モデル生成装置２へのサーモ画像ＩＤリストの送信を行う（Ｃ１）。すなわち、推論モデル生成装置２により推論モデルを作成したいとするユーザは、推論モデル生成装置２のキーボードなどから、推論モデル生成のために用いるサーモ画像のリスト情報を推論モデル生成装置２に入力あるいは与える。
　入出力Ｉ／Ｆ１３は、入力されたサーモ画像ＩＤリストを、サーモ画像前処理部２３へ送信する（Ｃ２）。　
　サーモ画像前処理部２３は、サーモ画像データ保存部２１から、サーモ画像ＩＤリストに示されるサーモ画像データセットを一括取得する（Ｃ３）。
　サーモ画像前処理部２３は、取得したサーモ画像データセットを入力とし、上述した前処理を実行する（Ｃ４）。　
　サーモ画像前処理部２３は、全ての前処理データを、前処理データ一時保存部２３ａに登録する（Ｃ５）。
　ユーザは、推論モデル生成部２４へ推論モデルの生成の実行を要求する（Ｃ６）。　
　推論モデル生成部２４は、前処理データ一時保存部２３ａから前処理データセットを一括取得する（Ｃ７）。
　推論モデル生成部２４は、現場有識者教示データ保存部２２から、教示データを一括取得する（Ｃ８）。　
　ここでは、前処理データは、サンプル単位ではなく、一括して取得される。取得した前処理データと教示データは、サーモ画像ＩＤで紐付けられる。
　推論モデル生成部２４は、ディープラーニングによる学習を実行し、推論モデルを生成する（Ｃ９）。推論モデル生成部２４への入力データは、前処理データと教示データのペアであり、出力データは、推論モデルデータＭＤである。
　推論モデルにおけるニューラルネットワークの構造（入力層のノード数、隠れ層の数、出力層のノード数、各隠れ層のノード数など）は、ユーザにより予め設定される。　
　よって、推論モデルデータＭＤは、そのニューラルネットワークの構造における重みなどのパラメータデータのセットである。
　ここで、本実施形態の推論モデルについて説明する。　
　図９は、前処理データと教示データの対応関係を説明するための図である。
　図９において、ショット毎の前処理データの画像Ｇが時系列に沿って得られ、複数の画像Ｇに対応する教示データが、推論モデル生成部２４に与えられる。　
　図９では、画像Ｇ１が得られたときの製品は良品であり、同様に、画像Ｇ１に続く画像Ｇ２，Ｇ３が得られたときの製品も良品であったが、画像Ｇ３に続く画像Ｇ４、Ｇ５が得られたときの製品が不良品であるとき、画像Ｇ中の所定温度以上の領域ＨＡの変化に基づき、Ｎショット先の製品の良／不良を予測できる。
　本実施形態の推論モデルは、Ｎを３としたとき、直前の過去３枚の画像から３ショット先に製造される製品の良／不良を予測するモデルとなる。よって、推論モデル生成部２４は、Ｎ枚の前処理画像を入力データとして、Ｎショット先の製品の良／不良を予測する推論モデルデータを生成する。
　図１０は、Ｎ枚の前処理画像を入力データとして、Ｎショット先の製品の良／不良を予測する推論モデルを説明するための図である。　
　図１０では、前処理画像である画像Ｇ１１が得られた後、次のショット、すなわち型締め、射出、保圧、零曲、型開き及び取り出し、が行われ、製品が製造される。
　前処理データと教示データは、サーモ画像ＩＤにより紐付けられており、推論モデル生成部２４は、各ショットで作成された製品の教示データ（良品あるいは不良品であるとの情報）に基づいて、連続する３ショット分の前処理データから、３ショット先の製品が良品となるか不良品となるかの推論をする推論モデルデータＭＤを、学習により生成する。
　図１０の場合、連続する画像Ｇ１１，Ｇ１２，Ｇ１３を１つのサンプルデータとする推論モデルの入力に対して、画像Ｇ１６が得られたときに作成された製品が「良品」であるという教示データが推論モデルの出力に対応している。同様に、連続する画像Ｇ１２，Ｇ１３，Ｇ１４を１つのサンプルデータとする推論モデルの入力に対して、画像Ｇ１７が得られたときに作成された製品が「良品」であるという教示データが推論モデルの出力に対応している。同様に、連続する画像Ｇ１３，Ｇ１４，Ｇ１５を１つのサンプルデータとする推論モデルの入力に対して、画像Ｇ１８が得られたときに作成された製品が「不良品」であるという教示データが推論モデルの出力に対応している。
　サンプルデータの各サーモ画像データは、所定の間隔で取得された金型の画像データである。推論モデル生成部２４は、複数のサーモ画像データと、複数のサーモ画像データに紐付けられた教示データに基づいて、金型の温度異常の予兆を検知するための推論モデルを生成する。このとき、推論モデル生成部２４は、複数のサーモ画像データの中から抽出された連続する所定数（Ｎ）の時系列画像データを１つのサンプルデータとして学習を行う。
　すなわち、推論モデル生成部２４は、所定の間隔で取得された金型の複数のサーモ画像データと、複数のサーモ画像データに紐付けられた教示データに基づいて、複数のサーモ画像データの中から抽出された連続する所定数（Ｎ）の時系列画像データを１つのサンプルデータとして学習して、金型の温度異常の予兆を検知するための推論モデルを生成するモデル生成部を構成する。
　以上のように、時系列的に連続する所定数の前処理画像が、纏めて１つのサンプルデータとして、推論モデル生成部２４に与えられ、ディープラーニングによる推論モデルの生成に用いられる。
　上述したように、推論モデル生成部２４は、複数のサンプルデータを、推論モデルのニューラルネットワークに与え、ニューラルネットワーク中の各層の各ノードの重み係数などを含む、推論モデルデータＭＤを算出する。ここでは、金型のサーモ画像に基づいて、過去の複数の画像から複数先の製品が良品となるか不良品となるかを推論可能な推論モデルが、生成される。
　上述したように、推論モデル生成部２４は、生成された推論モデルデータＭＤを、例えば通信ラインを介して、金型温度自動制御装置３に送信して推論モデルデータ保存部５１に保存する（Ｃ１０）。　
　以上のようにして、推論モデルが生成される。
　推論モデルデータ保存部５１に保存された推論モデルデータＭＤは、金型温度自動制御装置３の管理者により、後述する金型温度異常度推論部５４にセットされる。
（金型温度自動制御装置の構成）
　図１に戻り、金型温度自動制御装置３は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を含む制御部４１（点線で示す）と、フラッシュメモリ、ハードディスクドライブ装置等を含む記憶装置４２（点線で示す）と、キーボード、モニタ、マウス、データ入力インターフェースなど入出力Ｉ／Ｆ（図示せず）とを含むコンピュータである。
　金型温度自動制御装置３は、推論モデルデータ保存部５１と、マシン制御ルール保存部５２と、異常予兆判定ルール保存部５３と、金型温度異常度推論部５４と、金型温度異常予兆判定部５５と、パトランプリクエスト送信部５６と、マシン動作リクエスト送信部５７と、推論注目領域可視化処理部５８と、金型温度モニタ表示処理部５９と、サーモグラフィデータ収集部６０と、サーモグラフィ画像変換部６１と、推論実行指示部６２と、サーモ画像前処理部６３と、を有する。
　推論モデルデータ保存部５１と、マシン制御ルール保存部５２と、異常予兆判定ルール保存部５３は、データを記憶する記憶領域であり、記憶装置４２に含まれる。　
　金型温度異常度推論部５４と、金型温度異常予兆判定部５５と、パトランプリクエスト送信部５６と、マシン動作リクエスト送信部５７と、推論注目領域可視化処理部５８と、金型温度モニタ表示処理部５９と、サーモグラフィデータ収集部６０と、サーモグラフィ画像変換部６１と、推論実行指示部６２と、サーモ画像前処理部６３は、ソフトウエアプログラムであり、記憶装置４２に記録されており、制御部４１のＣＰＵによって読み出されて実行される。
　推論モデルデータ保存部５１は、上述した推論モデルデータＭＤが格納される記憶部である。　
　マシン制御ルール保存部５２は、ダイカストマシン７の動作を制御するマシン制御ルールを格納する記憶部である。マシン制御ルールは、前回の判定ＩＤ、現在の判定ＩＤ、マシン制御を組にしたレコードの集合体で構成される。マシン制御ルールのデータ構造については後述する。
　図１１は、マシン制御ルール保存部５２のデータ構造を示す図である。マシン制御ルールは、前回の判定ＩＤ、現在の判定ＩＤ、マシン制御を組にしたレコードの集合体で構成される。　
　異常予兆判定ルール保存部５３は、異常予兆判定ルールを格納する記憶部である。
　図１２は、異常予兆判定ルール保存部５３のデータ構造を示す図である。
　異常予兆判定ルールは、判定ルール、判定ＩＤ、パトランプ制御を組にした二つ以上のレコードで構成される。レコード数は、異常度のレベル数に相当し、本実施形態では、３つのレベルを定義している。例えば、「JudgeRule01」は正常レベル、「JudgeRule02」は警告レベル、「JudgeRule03」はエラーレベルの意味を持つ。各判定ルールに対し、異常度の範囲を定義している。パトランプ制御は、適合する判定ルールに対し、パトランプで点灯させる色を定義する。
　金型温度異常度推論部５４は、推論モデルに基づき、上述した異常度を推論する推論処理を実行する。より具体的には、金型温度異常度推論部５４は、受け取ったＮ枚分の前処理データを入力データとして、Ｎショット先の金型の温度異常の予兆の発生を検知する推論処理を実行し、０．０から１．０の範囲の値である異常度を出力する。
　金型温度異常度推論部５４は、出力した異常度データＡＤを、金型温度異常予兆判定部５５へ送信する。　
　金型温度異常予兆判定部５５は、異常予兆判定ルールと異常度とに基づいて、異常予兆判定処理を実行する。
　従って、金型温度異常度推論部５４と金型温度異常予兆判定部５５が、金型の所定数（Ｎ）の時系列画像データに基づいて、推論モデルを用いて所定数（Ｎ）先の金型の温度異常の予兆の発生を検知する推論実行部を構成する。
　金型温度異常予兆判定部５５は、判定結果に基づき、パトランプ５への動作指示を決定し、パトランプリクエスト送信部５６へ出力し、ダイカストマシン７の動作内容を示す制御情報をマシン動作リクエスト送信部５７へ出力する。
　金型温度異常予兆判定部５５は、判定結果を前回判定一時保存部５５ａに格納する。前回判定一時保存部５５ａは、記憶装置４２のメモリ領域でもよいが、所定のレジスタでもよい。
　図１３は、前回判定一時保存部５５ａのデータ構造を示す図である。前回判定一時保存部５５ａには、前回判定ＩＤが、格納可能となっている。　
　図１に戻り、パトランプリクエスト送信部５６は、パトランプ５へ動作リクエスト信号を送信する処理部である。
　マシン動作リクエスト送信部５７は、受信したマシン制御情報を、ダイカストマシン７のマシン動作制御部８へ送信する。例えば、受信したマシン制御情報が稼働再開であれば、ダイカストマシン７のマシン動作制御部８は、受信したマシン制御情報（稼働再開）に基づき、ダイカストマシン７の稼働を再開する。　
　推論注目領域可視化処理部５８は、注目領域の勾配データを可視する処理を実行する。
　推論注目領域可視化処理部５８における処理については後述する。　
　金型温度モニタ表示処理部５９は、推論注目領域可視化処理部５８からの画像データに基づいて、モニタ６に表示する画像を生成する処理を実行する。
　サーモグラフィデータ収集部６０は、サーモグラフィ４が出力するサーモグラフィデータからサーモグラフィ画像を収集する処理部である。サーモグラフィデータ収集部６０は、ダイカストマシン７の動作に基づいて所定のタイミングのサーモグラフィ画像を取得する。サーモグラフィ画像が取得されるタイミングは、例えば、金型のショットが開始される所定時間前のタイミングである。推論モデル生成装置２が使用したサーモ画像データも、このタイミングと同じタイミングで取得されたデータである。
　サーモグラフィ画像変換部６１は、数値データのサーモグラフィデータを、カラー画像に変換し、サーモ画像データを作成する。　
　サーモグラフィ画像変換部６１は、サーモ画像データを、サーモ画像データ一時保存部６１ａへ登録する。
　図１４は、サーモ画像データ一時保存部６１ａのデータ構造を示す図である。サーモ画像データ一時保存部６１ａは、撮影日時、製品ＩＤ、ダイカストマシンＩＤ、サーモ画像ＩＤ及びサーモ画像データを含む。サーモ画像データ一時保存部６１ａのデータ構造は、図４のサーモ画像データ保存部２１のデータ構造と同じである。
　なお、サーモ画像データ一時保存部６１ａに格納されたデータは、図１において点線で示すように、サーモ画像データ保存部２１に、通信ラインを介してあるいは人手によりマニュアルで記憶媒体を介して格納して、推論モデルの更新時に利用できるようにしてもよい。
　サーモグラフィ画像変換部６１は、Ｎ枚分のサーモ画像の画像変換が終わったら、推論実行リクエストを、推論実行指示部６２へ送信する処理部である。推論実行リクエストには、Ｎ枚分のサーモ画像が含まれる。
　推論実行指示部６２は、サーモ画像前処理部６３にＮ枚分のサーモ画像を送信して、推論の実行を指示する。　
　サーモ画像前処理部６３は、受け取ったＮ枚分のサーモ画像に対して、前処理を行う。前処理では、推論モデル生成装置２のサーモ画像前処理部２３と同じように、０～１の範囲の値に収まるように正規化処理が行われる。　
　すなわち、サーモ画像前処理部６３は、全てのサーモ画像に対して、カラー画像からモノクロ画像に変換し、モノクロサーモ画像データを作成する。
　サーモ画像前処理部６３は、モノクロサーモ画像単位で、作成した平均画像データを差し引き、前処理データを作成する。　
　なお、平均画像データは、推論モデル生成時に作成され、事前にサーモ画像前処理部へ登録されたデータである。
　サーモ画像前処理部６３は、Ｎ枚分の前処理データを、金型温度異常度推論部５４へ送信する。
（作用）
　次に、金型温度自動制御装置３の動作について説明する。
１）サーモグラフィデータの収集から推論実行リクエストの送信までの処理
　まず、サーモグラフィデータの収集から推論実行リクエストの送信までの処理について説明する。　
　図１５は、サーモグラフィデータの収集から推論実行リクエストの送信までの処理のシーケンス図である。図１５の処理は、ダイカストマシン７が稼働中に実行される。
　サーモグラフィ４が、ダイカストマシン７に設置された金型Ｄを撮像し、金型Ｄの温度を計測し、サーモグラフィデータを出力する（Ｃ１１）。サーモグラフィデータは、金型Ｄから放射される赤外線の数値データの集合体である。
　サーモグラフィ４は、サーモグラフィデータ収集部６０に対して、計測したサーモグラフィデータを送信する（Ｃ１２）。　
　サーモグラフィデータ収集部６０は、サーモグラフィ画像変換部６１に対して、サーモグラフィデータを引き渡し、画像変換の実行を要求する（Ｃ１３）。
　サーモグラフィ画像変換部６１は、数値データのサーモグラフィデータを、カラー画像に変換し、サーモ画像データを作成する（Ｃ１４）。　
　サーモグラフィ画像変換部６１は、サーモ画像データを、サーモ画像データ一時保存部６１ａへ登録する（Ｃ１５）。
　サーモグラフィ画像変換部６１は、Ｎ枚分のサーモ画像の画像変換が終わったら、推論実行リクエストを、推論実行指示部６２へ送信する（Ｃ１６）。推論実行リクエストには、N枚分のサーモ画像が含まれている。
　Ｃ１２からＣ１６は、ダイカストマシン７のショット単位で繰り返し実行される。　
　以上が、サーモグラフィデータの収集から推論実行リクエストの送信までの処理の流れである。
２）推論実行からパトランプ点灯までの処理
　次に、推論実行からパトランプ点灯までの処理について説明する。
　図１６は、推論実行からパトランプ点灯までの処理のシーケンス図である。　
　図１６に示すように、推論実行指示部６２は、サーモ画像前処理部６３にＮ枚分のサーモ画像を送信する（Ｃ２１）。
　サーモ画像前処理部６３は、受け取ったN枚分のサーモ画像に対して、前処理を行う（Ｃ２２）。前処理では、上述したようにモデル生成処理と同じように、０～１の範囲の値に収まるように正規化処理が行われる。
　サーモ画像前処理部６３は、Ｎ枚分の前処理データを、金型温度異常度推論部５４へ送信する（Ｃ２３）。　
　金型温度異常度推論部５４は、受け取ったN枚分の前処理データを入力として、推論モデルに基づき推論処理を実行し（Ｃ２４）、０．０から１．０の範囲の値の異常度を出力する。すなわち、推論実行部を構成する金型温度異常度推論部５４は、金型の所定数（Ｎ）の時系列画像データである前処理データに基づいて、推論モデルを用いて異常度データを出力する。
　金型温度異常度推論部５４は、出力した異常度を、金型温度異常予兆判定部５５へ送信する（Ｃ２５）。　
　金型温度異常予兆判定部５５は、異常予兆判定ルール保存部５３（図１２）から、異常予兆判定ルールを取得する（Ｃ２６）。
　金型温度異常予兆判定部５５は、取得した異常予兆判定ルールと異常度に基づいて、異常予兆判定を実行する（Ｃ２７）。すなわち、推論実行部を構成する金型温度異常予兆判定部５５は、異常度に基づいて所定数（Ｎ）先の金型の温度異常の予兆の発生を検知する。
　例えば、異常度が０．７であれば、図１２の判定ルールから、判定ＩＤが「JudgeRule02」に該当し、判定ＩＤの「JudgeRule02」と、パトランプ制御情報の「黄」を出力する。また、異常度が０．９であれば、図１２の判定ルールから、判定ＩＤが「JudgeRule03」に該当し、判定ＩＤの「JudgeRule03」と、パトランプ制御情報の「赤」を出力する。
　金型温度異常予兆判定部５５は、前回判定一時保存部５５ａから、前回判定ＩＤを取得する（Ｃ２８）。図１３の場合、前回鋳造時の判定結果が正常だったので、予兆検出前に保存した「JudgeRule01」が取得される。取得した前回判定ＩＤは、後述するダイカストマシン７の再稼働処理において用いられる。
　金型温度異常予兆判定部５５は、前回判定一時保存部５５ａに、現在の判定ＩＤの「JudgeRule02」を一時保存する（Ｃ２９）。　
　以上のＣ２１からＣ２９まで処理が、異常予兆判定に関わる。
　金型温度異常予兆判定部５５は、パトランプリクエスト送信部５６に対し、判定された色（上記の例では黄）で点灯させるようにパトランプ点灯リクエストを送る（Ｃ３０）。
　パトランプリクエスト送信部５６は、パトランプ点灯リクエストを受けて、上記の場合は、パトランプ５に所定の色で点灯するよう点灯指示をパトランプ５に出力する（Ｃ３１）。　
　よって、パトランプリクエスト送信部５６は、金型の温度異常の予兆の発生が検知されたときに、所定の情報を出力する情報出力部を構成する。
　その結果、パトランプ５は、指示に応じた色の点灯指示を受け付けて、パトランプ５を点灯させる、上記の例では黄で点灯させる告知部である。パトランプ５の表示は、金型の温度異常の発生の予兆があることを製造ラインの作業者及び管理者に告知する。
　従って、パトランプ５は、管理者等へ温度異常の予兆の発生を告知する告知部を構成する。
　以上のＣ３０からＣ３１まで処理が、パトランプの制御に関わる。　
　次に、金型の温度異常の予兆の検知後、ダイカストマシン７の稼働を停止し、その後、金型の温度が低下して正常温度に回復し、ダイカストマシン７を再稼働するまでの処理について説明する
３）金型の温度異常の予兆の判定からダイカストマシンの稼働停止までの処理
　図１７は、金型の温度異常の予兆の判定からダイカストマシンの稼働停止までの処理のシーケンス図である。
　金型温度異常予兆判定部５５は、マシン制御ルール保存部５２から、マシン制御ルールを取得する（Ｃ４１）。　
　金型温度異常予兆判定部５５は、上述した図１６のシーケンス番号Ｃ２８で取得しておいた前回判定ＩＤと、現在の判定ＩＤから、適合するルールのレコードを選択し読み出す。例えば、前回判定ＩＤが「JudgeRule01」であり、現在の判定ＩＤが「JudgeRule02」であれば、図１１では、２番目のレコードが適合し、マシン制御して「稼働停止」が選択される。金型温度異常予兆判定部５５は、マシン動作リクエスト送信部に対して、マシン制御（稼働停止）を送信する（Ｃ４２）。
　マシン動作リクエスト送信部５７は、受信したマシン制御（稼働停止）を、ダイカストマシン７のマシン動作制御部８へ送信する（Ｃ４３）。　
　マシン動作制御部８は、受信したマシン制御（稼働停止）に基づき、ダイカストマシン７の制御を実行（稼働停止）する。
　２番目のレコードは、正常状態から異常状態になる予兆が検知されたため、金型の温度異常による不良品の製造される前に、ダイカストマシン７を停止させるルールを記述している。　
　よって、金型温度異常予兆判定部５５は、Ｎショット先において不良品が製造される温度異常の予兆を検出すると、不良品が製造されるＮショット前の時点で、ダイカストマシン７を停止させる。
　以上のように、マシン動作リクエスト送信部５７は、金型の温度異常の予兆の発生が検知されたときに、所定の情報を出力する情報出力部を構成する。そして、マシン動作リクエスト送信部５７は、金型を用いて製品を製造する製造装置であるダイカストマシン７に対する動作制御のリクエスト信号を、ダイカストマシン７に送信する。特に、マシン動作リクエスト送信部５７は、金型温度異常度推論部５４が金型の温度異常の予兆の発生を検知したときに、ダイカストマシン７を停止させるリクエスト信号を、ダイカストマシン７に送信する。
　ダイカストマシン７が停止されることにより、金型の温度は、上昇することはなくなり、低下し始める。　
　以上のように、パトランプ５の色が青色が黄色（あるいは赤色）に変わることにより、ダイカストマシン７の管理者は、熱だまりの予兆の発生を知ることができる。
　さらに、ダイカストマシン７も停止するので、例えば離型剤の不均一散布による金型の温度異常が原因で不良が発生する前に、熱だまりの予兆を発見できるので、不良数を減らすことができる。
　特に、金型が熱だまりを持ったまま鋳造し続けると、金型にアルミ等のカスが残るため、ダイカストマシン７を停止して、金型のクリーニングが行われるので、ダウンタイムが発生する。しかし、上述したように不良品が発生する前に熱だまりを発見できるため、鋳造し続けることはなくなり、金型のクリーニングを回避でき、結果として、ダウンタイムの低減も図ることができる。
４）金型の温度の正常判定からダイカストマシンの再稼働までの処理
　次に、金型の温度の正常判定からダイカストマシンの再稼働までの処理について説明する。
　ダイカストマシン７が停止しても、サーモグラフィ４のサーモグラフィデータは、サーモグラフィデータ収集部６０において、所定の間隔で収集される。この所定の間隔は、ダイカストマシン７が可動していたときの、データ収集周期と同じあるいは略同じである。
　ダイカストマシン７の停止により、金型の温度が低下して、所定の正常温度になると、ダイカストマシン７が再稼働する。　
　図１８は、金型の温度の正常判定からダイカストマシンの再稼働までの処理の流れの例を示すフローチャートである。図１８の処理は、制御部４１の制御の下で行われる。
　金型温度異常予兆判定部５５が金型の温度異常の予兆を検知して、ダイカストマシン７が停止すると、サーモグラフィデータの収集から推論実行リクエストの送信までの処理が実行される（ステップ（以下、Ｓと略す）１）。Ｓ１の処理は、上記のＣ１２～Ｃ１６までの処理に対応する。
　次に、金型温度異常度推論部５４は、上述した推論モデルに基づく推論の実行をし、金型温度異常予兆判定部５５は、異常予兆判定を行い、現在の判定ＩＤの一時保存までの処理を実行する（Ｓ２）。Ｓ２の処理は、上記のＣ２２～Ｃ２９までの処理に対応する。　
　そして、金型温度異常予兆判定部５５は、金型の温度が正常温度になったか否かを判定する（Ｓ３）。
　異常度が所定の値の範囲、上記の例であれば０．０から０．６未満の値であると、金型の温度は正常温度になったと判定されるが、異常度が所定の値の範囲に入らないときは、金型の温度は正常温度にならないため、処理は、Ｓ１に戻る。すなわち、金型の温度が正常温度に回復するまで、Ｓ１，Ｓ２の処理が繰り返される。
　異常度が所定の値の範囲、上記の例であれば０．０から０．６未満の値であると、金型の温度は正常温度になったとして、サーモグラフィデータの収集から推論実行リクエストの送信までの処理を実行する（Ｓ４）。Ｓ４の処理は、Ｓ１の処理と同じである。すなわち、金型が正常温度に回復したと仮定し、上記のＣ１２～Ｃ１６が実行される。
　Ｓ４の処理後、金型温度異常予兆判定部５５は、推論実行からパトランプ点灯の処理を実行する（Ｓ５）。Ｓ５の処理は、上記のＣ２１からＣ３１までの処理に対応する。　
　Ｓ５では、金型温度異常予兆判定部５５は、取得した異常予兆判定ルールと異常度を使って、異常予兆判定を実行する。例えば、異常度が０．３と仮定すると、図１２の判定ルールから、「JudgeRule01に該当し、判定ＩＤの「JudgeRule01」に基づき、パトランプ５の色を青にする制御信号を出力する
　金型温度異常予兆判定部５５は、前回判定一時保存部５５ａから、前回判定ＩＤを取得する。前回鋳造時の判定結果が警告（黄）だったので、予兆検出前に保存した「JudgeRule02」が取得される。
　なお、金型温度異常予兆判定部５５は、前回判定一時保存部５５ａに対し、現在の判定ＩＤの「JudgeRule01」を登録する。　
　金型温度異常予兆判定部５５は、パトランプリクエスト送信部５６に対し、青を点灯させるようにパトランプ点灯リクエストを送信する。パトランプ５は、青の点灯指示を受け付けて、パトランプ５の色を青として点灯する。
　次に、金型温度異常予兆判定部５５は、停止中のダイカストマシンを再稼働する稼働再開処理を実行する（Ｓ６）。　
　具体的には、金型温度異常予兆判定部５５は、マシン制御ルール保存部５２から、マシン制御ルールを取得する。
　金型温度異常予兆判定部５５は、上記のＳ４で取得しておいた前回判定ＩＤ（「JudgeRule02」）と、現在の判定ＩＤ（「JudgeRule01」）から、適合するルールのレコードを見つける。図１１では、３番目のレコードが適合し、マシン制御として「稼働再開」が選択される。金型温度異常予兆判定部５５は、マシン動作リクエスト送信部５７に対して、マシン制御（稼働再開）を送信する。
　マシン動作リクエスト送信部５７は、受信したマシン制御（稼働再開）を、ダイカストマシン７のマシン動作制御部８へ送信する。マシン動作制御部８は、受信したマシン制御（稼働再開）に基づき、ダイカストマシン７の稼働を再開する。
　すなわち、マシン動作リクエスト送信部５７は、ダイカストマシン７を停止させるリクエスト信号をダイカストマシン７に送信した後、金型温度異常度推論部５４が金型の温度異常の予兆の発生を検知しないときに、ダイカストマシン７を再稼働させるリクエスト信号を、ダイカストマシン７に送信する。
　以上のように、金型の温度異常の予兆が検知されると、金型の温度異常の予兆は、パトランプ５の色の変化で管理者に知らされる。　
　管理者は、サーモ画像を見て、金型の表面の温度の高い部分に離型剤を散布することにより金型の表面温度を低下させる等の対応を取ることができる。
　さらに、金型の温度異常の予兆が検知されると、マシン制御ルールに基づいてダイカストマシン７が稼働を停止して、不良品の発生が防止される。　
　そして、ダイカストマシンが一旦停止した後、金型の温度が正常温度に戻ると、ダイカストマシン７は、自動的に再稼働する。
　よって、不良品の発生が自動的に防止されると共に、現場管理者は、マニュアルでダイカストマシン７の運転再開させる必要がないので、ダイカストマシン７の運転再開の管理をしなくてもよい。
５）推論時の注目領域における勾配データの可視化処理
　ところで、モニタ６には金型のサーモ画像が表示可能であるが、温度異常があったときに、生成された推論モデルに基づいて、温度異常の状態を、モニタ６に表示するようにしてもよい。
　サーモ画像は、熱分布を色を用いて表示するが、ユーザは、熟練した現場有識者でない限り、どのような熱分布になると不良品が発生し易くなるか、あるいはどのような熱分布のときに不良品が発生しないかを判断することは、困難である。
　そこで、本実施形態では、上述した推論モデルの勾配データを可視化した画像を生成し、サーモ画像に重畳表示する。　
　図１９は、勾配データの可視化処理の流れの例を示すフローチャートである。
　現場管理者などのユーザが所定の指示を、入出力Ｉ／Ｆ（図示せず）から金型温度自動制御装置３へ与えると、制御部４１が図１９の処理を実行する。　
　まず、推論注目領域可視化処理部５８は、Ｎ枚分の前処理データを入力として、誤差逆伝搬法を実行し、入力に対する推論注目データセットを出力する（Ｓ１１）。誤差逆伝搬法については、「デビット・イー・ランメルハート、ジェフリー・イー・ヒントン、ロナルド・ジェイ・ウイリアムス著、「誤差逆伝播法による学習表示」、１９８６年１０月８日、ネイチャー３２３（６０８８）」（Rumelhart, David E.; Hinton, Geoffrey E., Williams, Ronald J. (8 October 1986). “Learning representations by back-propagating errors”. Nature 323 (6088)）を参照されたし。
　誤差逆伝搬の処理は、事前にセットされた推論モデルに従って実行される。　
　推論注目データセットは、誤差逆伝搬法によって、Ｎ枚分の前処理データ集合の全てについて勾配ベクトルを算出し、その算出した勾配ベクトルを並べた行列である。
　ここで、勾配ベクトルを構成する偏微分の値は、チェーンルールなどを用いて計算できる。チェーンルールとは、複数の関数が合成された合成関数を微分するとき、その導関数がそれぞれの導関数の積で与えられるという関係式のことをいう。
　図２０は、推論注目データセットの一例を示す図である。入力変数がｎ個（画像の縦ピクセル数（ｍ）×横ピクセル数（ｋ）×画像枚数（Ｎ））の場合の例について示す。点線で示す推論注目データセットの各行の勾配ベクトルは、鋳造ごとのサーモ画像データ集合から算出した偏微分値である。
　具体的には、１行目はＫ回目の鋳造時の勾配ベクトル、２行目は（Ｋ＋１）回目の鋳造時の勾配ベクトル、３行目は（Ｋ＋２）回目の鋳造時の勾配ベクトル、Ｌ行目は（Ｋ＋Ｌ）回目の鋳造時の勾配ベクトルを示す。
　ユーザは、可視化処理のためのＮ枚分の前処理データを指示すると、図２０に示すようなデータの中から、対応するＮ枚分の推論注目データセットが選択される。
　推論注目領域可視化処理部５８は、推論注目データセットの各勾配ベクトルの値を画素値に変換する処理を実行し、推論注目画像データとして出力する（Ｓ１２）。すなわち、推論注目データセットの各勾配ベクトルは、絶対値を取った０～２５５の値に正規化され、画像データ化される。
　推論注目領域可視化処理部５８は、Ｎ枚分の推論注目データセットから、推論注目領域平均画像データを作成する（Ｓ１３）。　
　推論注目領域可視化処理部５８は、データ単位で、前処理データに対応するサーモ画像データのＮ枚のサーモ画像と、Ｓ１３で作成された平均画像データの平均画像との合成を行った推論注目領域画像データを出力する（Ｓ１４）。上述した例であれば、３枚のサーモ画像と平均画像とを重畳した推論注目領域画像のデータが出力される。
　なお、Ｎは１でもよく、その場合、Ｓ１４では、１枚のサーモ画像と、Ｓ１２で変換された画像とが合成される。　
　推論注目領域可視化処理部５８は、金型温度モニタ表示処理部５９に推論注目領域画像データを供給して、可視化された勾配データとサーモ画像がモニタ６の画面上に重畳表示する（Ｓ１５）。よって、可視化された勾配データは、サーモ画像上のエリア毎の誤差分布を示すということができる。
　以上のように、推論注目領域可視化処理部５８と金型温度モニタ表示処理部５９は、推論モデルの各層の所定のパラメータについての、指定されたサーモ画像の勾配ベクトルを可視化してモニタ６上に表示するための処理を行う可視化処理部を構成する。
　図２１は、モニタ６に表示される可視化された勾配データの表示例を示す図である。　
　図２１において、点線で示す領域Ｖｉは、勾配ベクトルをサーモ画像の領域毎に画像化した画像（以下、勾配ベクトル画像という）であるので、ユーザは、サーモ画像上に重畳された勾配ベクトル画像の模様の状態から、直感的に、金型の温度状態を知ることができる。
　よって、ユーザは、モニタ６に表示された、多くの異常時の勾配ベクトル画像と多くの正常時の勾配ベクトル画像とを比較することができるので、異常時及び正常時の判定を勾配ベクトル画像を見ることによって、金型の温度の正常・異常の判定、予知などをすることができる。
　また、ユーザは、異常時の勾配ベクトル画像から、金型設計へのフィードバックをすることも期待できる。　
　上述したように、例えば離型剤は毎回不均一に散布される場合があるため、熱だまりの箇所も常に同じ場所に発生しない。そのため、ピンポイントでの離型剤散布による冷却対策を打ちにくいという問題もある。しかし、上述したような熱だまりの予兆箇所も推定して可視化することで、熱だまりの予兆を検知した箇所を、ユーザが目で判断できるため、ピンポイントでの離型剤散布が可能になり、金型の冷却も加速され、不良数もさらに減ることが期待できる。
　従来は、有識者によるサーモグラフィ画像解析は、属人的な手法であるため、多くの工場及び多くの製品に広く適用することはできない。　
　しかし、上述した実施形態によれば、従来の現場有識者と同様に、金型の時系列データ（サーモ画像）から、熱だまりの発生の予兆を自動検知することができる。
　さらに、熱だまり予兆の検知後、金型が正常温度に戻るまで、ダイカストマシンを一時停止して再開する自動制御が実現できる。　
　また、熱だまりの予兆箇所も推定し、可視化することができる。
　以上のように、本実施形態によれば、サーモグラフィ画像から金型の温度異常の予兆を検知することができる金型温度異常予兆検知装置及び記憶媒体を提供することができる。
　なお、上述した実施形態では、金型がダイカストマシン７に用いられる金型である例を説明したが、上述した実施形態は、射出成形機に用いられる金型にも適用可能である。
　なお、以上説明した動作を実行するプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ－ＲＯＭ等の可搬媒体や、ハードディスク等の記憶媒体に、その全体あるいは一部が記録され、あるいは記憶されている。そのプログラムがコンピュータにより読み取られて、動作の全部あるいは一部が実行される。あるいは、そのプログラムの全体あるいは一部を通信ネットワークを介して流通または提供することができる。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に上述した金型温度異常予兆検知装置を実現することができる。
　本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として例示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

　本出願は、２０１７年１１月６日に日本国に出願された特願２０１７－２１３９９４号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (9)

  1. 　所定の間隔で取得された金型の複数のサーモ画像データと、前記複数のサーモ画像データに紐付けられた教示データに基づいて、前記複数のサーモ画像データの中から抽出された連続する所定数の時系列画像データを１つのサンプルデータとして学習して、前記金型の温度異常の予兆を検知するための推論モデルを生成するモデル生成部と、
    　前記金型の前記所定数の時系列画像データに基づいて、前記推論モデルを用いて前記所定数先の前記金型の前記温度異常の予兆の発生を検知する推論実行部と、
    　前記推論実行部が前記金型の前記温度異常の予兆の発生を検知したときに、所定の情報を出力する情報出力部と、
    を有する金型温度異常予兆検知装置。
  2. 　前記モデル生成部は、ディープラーニングによる学習により前記推論モデルの生成を行う、請求項１に記載の金型温度異常予兆検知装置。
  3. 　前記情報出力部は、前記温度異常の予兆の発生を告知する告知部へ前記所定の情報を出力する、請求項１に記載の金型温度異常予兆検知装置。
  4. 　前記告知部は、パトランプであり、
    　前記情報出力部は、前記パトランプに所定の色で点灯するよう点灯指示するリクエスト送信部である、請求項３に記載の金型温度異常予兆検知装置。
  5. 　前記情報出力部は、前記金型を用いて製品を製造する製造装置に対する動作制御のリクエスト信号を、前記製造装置に送信するリクエスト送信部である、請求項１に記載の金型温度異常予兆検知装置。
  6. 　前記リクエスト送信部は、前記推論実行部が前記金型の前記温度異常の予兆の発生を検知したときに、前記製造装置を停止させるリクエスト信号を、前記製造装置に送信する、請求項５に記載の金型温度異常予兆検知装置。
  7. 　前記リクエスト送信部は、前記製造装置を停止させるリクエスト信号を前記製造装置に送信した後、前記推論実行部が前記金型の前記温度異常の予兆の発生を検知しないときに、前記製造装置を再稼働させるリクエスト信号を、前記製造装置に送信する、請求項６に記載の金型温度異常予兆検知装置。
  8. 　前記推論モデルは、入力層、隠れ層及び出力層を含むニューラルネットワーク型の推論モデルであり、
    　前記推論モデルの各層の所定のパラメータについての、指定されたサーモ画像の勾配ベクトルを可視化してモニタ上に表示するための処理を行う可視化処理部を有する、請求項１に記載の金型温度異常予兆検知装置。
  9. 　所定の間隔で取得された金型の複数のサーモ画像データと、前記複数のサーモ画像データに紐付けられた教示データに基づいて、前記複数のサーモ画像データの中から抽出された連続する所定数の時系列画像データを１つのサンプルデータとして学習して、前記金型の温度異常の予兆を検知するための推論モデルを生成する第１の手順と、
    　前記金型の前記所定数の時系列画像データに基づいて、前記推論モデルを用いて前記所定数先の前記金型の前記温度異常の予兆の発生を検知する第２の手順と、
    　前記第２の手順において前記金型の前記温度異常の予兆の発生が検知されたときに、所定の情報を出力する第３の手順と、
    をコンピュータに実行させるためのプログラムを記録した記憶媒体。
PCT/JP2018/012544 2017-11-06 2018-03-27 金型温度異常予兆検知装置及び記憶媒体 WO2019087427A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201880071615.XA CN111372704B (zh) 2017-11-06 2018-03-27 模具温度异常预兆检测装置以及存储介质
EP18874595.4A EP3708274A4 (en) 2017-11-06 2018-03-27 DEVICE FOR DETECTING SHAPE TEMPERATURE ANOMALIES AND STORAGE MEDIUM
KR1020207012785A KR102363152B1 (ko) 2017-11-06 2018-03-27 금형 온도 이상 예조 검지 장치 및 기억 매체
US16/857,393 US11501509B2 (en) 2017-11-06 2020-04-24 Mold temperature anomaly sign detection apparatus, mold temperature anomaly sign detection method and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017213994A JP6591509B2 (ja) 2017-11-06 2017-11-06 金型温度異常予兆検知装置及びプログラム
JP2017-213994 2017-11-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/857,393 Continuation US11501509B2 (en) 2017-11-06 2020-04-24 Mold temperature anomaly sign detection apparatus, mold temperature anomaly sign detection method and storage medium

Publications (1)

Publication Number Publication Date
WO2019087427A1 true WO2019087427A1 (ja) 2019-05-09

Family

ID=66331563

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/012544 WO2019087427A1 (ja) 2017-11-06 2018-03-27 金型温度異常予兆検知装置及び記憶媒体

Country Status (6)

Country Link
US (1) US11501509B2 (ja)
EP (1) EP3708274A4 (ja)
JP (1) JP6591509B2 (ja)
KR (1) KR102363152B1 (ja)
CN (1) CN111372704B (ja)
WO (1) WO2019087427A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7483436B2 (ja) 2020-03-23 2024-05-15 住友重機械工業株式会社 射出成形機及びステータス決定装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7277272B2 (ja) * 2019-06-11 2023-05-18 ファナック株式会社 機械学習装置、予測装置、及び制御装置
JP2021005846A (ja) * 2019-06-27 2021-01-14 オリンパス株式会社 積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路
JP2021026505A (ja) * 2019-08-05 2021-02-22 ギリア株式会社 情報処理装置および情報処理用プログラム
JP6716185B1 (ja) * 2019-09-05 2020-07-01 株式会社ソディック 射出成形機の画像記録装置
JP7345976B2 (ja) * 2019-09-12 2023-09-19 ジヤトコ株式会社 鋳造金型用の温度測定装置
KR102298755B1 (ko) * 2019-11-29 2021-09-07 한국생산기술연구원 딥러닝을 이용한 다이캐스팅 공정 관리 시스템
KR102144576B1 (ko) * 2020-03-16 2020-08-13 (주)사이버테크프랜드 사출 제조 제어 시스템
KR102417415B1 (ko) 2020-11-06 2022-07-06 한국생산기술연구원 딥러닝 이상 감지 기반 생산 제품 불량 검출 방법 및 시스템
CN116669882A (zh) * 2021-03-31 2023-08-29 住友重机械工业株式会社 品质预测装置及其方法、程序以及记录介质
KR102400577B1 (ko) * 2021-12-14 2022-05-23 (주)대양아이앤디 냉각장치가 포함된 사출금형
CN115446276A (zh) * 2022-10-05 2022-12-09 大连理工大学 基于卷积神经网络识别结晶器铜板v型黏结特征的连铸漏钢预警方法
KR102574092B1 (ko) 2023-03-14 2023-09-04 주식회사 아이투프럼 인공지능 기반 온도 및 진동 센서 데이터를 활용한 금형 이상 여부 판단 방법, 장치 및 시스템
CN116341995A (zh) * 2023-05-30 2023-06-27 深圳市鼎盛精密工业有限公司 一种模具生命周期管理方法、系统及电子设备
CN117635120A (zh) * 2023-12-05 2024-03-01 苏州天成涂装系统股份有限公司 一种用于涂装设备的远程监测管理系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5637287B2 (ja) 1973-08-08 1981-08-29
JPH08267528A (ja) * 1995-03-31 1996-10-15 Seikosha Co Ltd 金型監視装置
US20080038395A1 (en) * 2003-11-20 2008-02-14 Avalon Vision Solutions, Inc. Sensory System and Method Thereof
JP2008040647A (ja) * 2006-08-03 2008-02-21 Meiwa E Tec:Kk 温度制御装置
JP2014162132A (ja) * 2013-02-26 2014-09-08 Murata Mach Ltd 型締装置の管理システム
JP2017213994A (ja) 2016-05-31 2017-12-07 株式会社小松製作所 作業車両

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6059375B2 (ja) 1978-07-31 1985-12-25 松下電工株式会社 簡易水洗便器のハンドル構造
JP2718800B2 (ja) * 1990-01-25 1998-02-25 富士通株式会社 連続鋳造のブレークアウト予知処理方式
JPH0477219A (ja) * 1990-07-19 1992-03-11 Toshiba Corp 成形支援エキスパートシステム
JP3083757B2 (ja) * 1996-03-28 2000-09-04 株式会社日本製鋼所 樹脂可塑化用シリンダの温度制御方法および温度制御装置
JP5487474B2 (ja) 2006-02-28 2014-05-07 昭和電工株式会社 熱間鍛造による鍛造方法
JP5301310B2 (ja) * 2009-02-17 2013-09-25 株式会社日立製作所 異常検知方法及び異常検知システム
CN102147290A (zh) * 2011-01-14 2011-08-10 北京广微积电科技有限公司 红外成像温度监测方法和系统
JP5808605B2 (ja) * 2011-08-17 2015-11-10 株式会社日立製作所 異常検知・診断方法、および異常検知・診断システム
JP5895672B2 (ja) * 2012-04-03 2016-03-30 マツダ株式会社 金型温度監視装置及びその監視方法
JP5917340B2 (ja) * 2012-08-29 2016-05-11 住友重機械工業株式会社 射出成形機
CN103240832B (zh) * 2013-05-23 2015-05-13 无锡新开河储罐有限公司 滚塑工艺中模具温度的自动控制方法
CN104809722B (zh) * 2015-04-13 2018-09-28 国家电网公司 一种基于红外热像的电气设备故障诊断方法
CN106980729B (zh) * 2015-07-24 2018-08-17 安徽工业大学 一种基于混合模型的连铸漏钢预报方法
JP6059375B1 (ja) 2016-02-09 2017-01-11 ファナック株式会社 生産制御システムおよび統合生産制御システム
JP2018124990A (ja) * 2017-01-31 2018-08-09 キヤノン株式会社 モデル生成装置、評価装置、モデル生成方法、評価方法及びプログラム
CN107067026A (zh) * 2017-02-16 2017-08-18 国网江苏省电力公司电力科学研究院 基于深度神经网络的电力设备故障检测方法
CN107020366A (zh) * 2017-04-21 2017-08-08 苏州春兴精工股份有限公司 模具温度采集方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5637287B2 (ja) 1973-08-08 1981-08-29
JPH08267528A (ja) * 1995-03-31 1996-10-15 Seikosha Co Ltd 金型監視装置
US20080038395A1 (en) * 2003-11-20 2008-02-14 Avalon Vision Solutions, Inc. Sensory System and Method Thereof
JP2008040647A (ja) * 2006-08-03 2008-02-21 Meiwa E Tec:Kk 温度制御装置
JP2014162132A (ja) * 2013-02-26 2014-09-08 Murata Mach Ltd 型締装置の管理システム
JP2017213994A (ja) 2016-05-31 2017-12-07 株式会社小松製作所 作業車両

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
RUMELHART, DAVID E.HINTON, GEOFFREY E.WILLIAMS, RONALD J.: "Learning representations by back-propagating errors", NATURE, vol. 323, no. 6088, 8 October 1986 (1986-10-08), XP037129009, DOI: 10.1038/323533a0
See also references of EP3708274A4
Y. LECUNB. BOSERJ. S. DENKERD. HENDERSONR. E. HOWARDW. HUBBARDL.D. JACKEL: "Backpropagation applied to handwritten zip code recognition", NEURALCOMPUTATION, vol. 1, 1989, pages 541 - 551, XP000789854

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7483436B2 (ja) 2020-03-23 2024-05-15 住友重機械工業株式会社 射出成形機及びステータス決定装置

Also Published As

Publication number Publication date
US20200257916A1 (en) 2020-08-13
US11501509B2 (en) 2022-11-15
JP2019084556A (ja) 2019-06-06
JP6591509B2 (ja) 2019-10-16
KR20200065037A (ko) 2020-06-08
CN111372704B (zh) 2022-10-28
EP3708274A4 (en) 2021-08-18
KR102363152B1 (ko) 2022-02-15
EP3708274A1 (en) 2020-09-16
CN111372704A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
WO2019087427A1 (ja) 金型温度異常予兆検知装置及び記憶媒体
US10725459B2 (en) Identifying and distributing optimal machine parameters within a fleet of additive manufacturing machines
EP2122253B1 (en) A flare characterization and control system
US20200320659A1 (en) Segmentation and prediction of low-level temporal plume patterns
JP7297831B2 (ja) 製造条件出力装置、品質管理システム及びプログラム
WO1989000726A1 (en) Controller having deducing function
JP7021052B2 (ja) 製品状態推定装置
TW202004573A (zh) 學習裝置、學習推論裝置、方法及程式
JP7006104B2 (ja) 気流測定装置
JP7446060B2 (ja) 情報処理装置、プログラム及び情報処理方法
JP2006276924A (ja) 設備機器診断装置及び設備機器診断プログラム
JP6702297B2 (ja) プロセスの異常状態診断方法および異常状態診断装置
US20210186266A1 (en) Assessing a quality of a cooking medium in a fryer using artificial intelligence
CN117161120A (zh) 金合金丝的基体圆度调整方法、装置、设备及存储介质
US20220141555A1 (en) Management system and calculation method
JP2022098763A (ja) 鮮度管理システム、鮮度管理方法および、鮮度管理プログラム
JP2018159111A (ja) 高炉炉況状態判定装置及び高炉の操業方法
JP6898382B2 (ja) 射出成形機稼動管理に対する支援方法
JP2020024565A (ja) 整備管理装置、整備管理方法及びプログラム
KR100973574B1 (ko) 열화상 분석을 통한 에너지 손실 진단 시스템
TW202144588A (zh) 高爐之爐況學習方法、爐況學習裝置、異常檢測方法、異常檢測裝置及操作方法
Stocker et al. Reduction of rejects by combining data from the casting process and automatic X-ray inspection
WO2024035640A2 (en) Probability of detection of lifecycle phases of corrosion under insulation using artificial intelligence and temporal thermography
JP2023019009A (ja) 作業状況分析システム及び作業状況分析方法
JP2022105385A (ja) 進捗判定システム、進捗判定方法、プログラム、及び記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18874595

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20207012785

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018874595

Country of ref document: EP

Effective date: 20200608