WO2021010415A1 - 機械学習方法、機械学習装置、機械学習プログラム、通信方法、及び成膜装置 - Google Patents

機械学習方法、機械学習装置、機械学習プログラム、通信方法、及び成膜装置 Download PDF

Info

Publication number
WO2021010415A1
WO2021010415A1 PCT/JP2020/027465 JP2020027465W WO2021010415A1 WO 2021010415 A1 WO2021010415 A1 WO 2021010415A1 JP 2020027465 W JP2020027465 W JP 2020027465W WO 2021010415 A1 WO2021010415 A1 WO 2021010415A1
Authority
WO
WIPO (PCT)
Prior art keywords
film
film forming
work
machine learning
film formation
Prior art date
Application number
PCT/JP2020/027465
Other languages
English (en)
French (fr)
Inventor
晃伸 国末
高橋　哲也
洋介 中島
Original Assignee
株式会社神戸製鋼所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社神戸製鋼所 filed Critical 株式会社神戸製鋼所
Priority to EP20839994.9A priority Critical patent/EP3978644A4/en
Priority to CN202080050307.6A priority patent/CN114080470B/zh
Priority to KR1020227002676A priority patent/KR20220025846A/ko
Priority to US17/626,018 priority patent/US20220251700A1/en
Publication of WO2021010415A1 publication Critical patent/WO2021010415A1/ja

Links

Images

Classifications

    • C—CHEMISTRY; METALLURGY
    • C23—COATING METALLIC MATERIAL; COATING MATERIAL WITH METALLIC MATERIAL; CHEMICAL SURFACE TREATMENT; DIFFUSION TREATMENT OF METALLIC MATERIAL; COATING BY VACUUM EVAPORATION, BY SPUTTERING, BY ION IMPLANTATION OR BY CHEMICAL VAPOUR DEPOSITION, IN GENERAL; INHIBITING CORROSION OF METALLIC MATERIAL OR INCRUSTATION IN GENERAL
    • C23C—COATING METALLIC MATERIAL; COATING MATERIAL WITH METALLIC MATERIAL; SURFACE TREATMENT OF METALLIC MATERIAL BY DIFFUSION INTO THE SURFACE, BY CHEMICAL CONVERSION OR SUBSTITUTION; COATING BY VACUUM EVAPORATION, BY SPUTTERING, BY ION IMPLANTATION OR BY CHEMICAL VAPOUR DEPOSITION, IN GENERAL
    • C23C14/00—Coating by vacuum evaporation, by sputtering or by ion implantation of the coating forming material
    • C23C14/22—Coating by vacuum evaporation, by sputtering or by ion implantation of the coating forming material characterised by the process of coating
    • C23C14/24—Vacuum evaporation
    • C23C14/32—Vacuum evaporation by explosion; by evaporation and subsequent ionisation of the vapours, e.g. ion-plating
    • C—CHEMISTRY; METALLURGY
    • C23—COATING METALLIC MATERIAL; COATING MATERIAL WITH METALLIC MATERIAL; CHEMICAL SURFACE TREATMENT; DIFFUSION TREATMENT OF METALLIC MATERIAL; COATING BY VACUUM EVAPORATION, BY SPUTTERING, BY ION IMPLANTATION OR BY CHEMICAL VAPOUR DEPOSITION, IN GENERAL; INHIBITING CORROSION OF METALLIC MATERIAL OR INCRUSTATION IN GENERAL
    • C23C—COATING METALLIC MATERIAL; COATING MATERIAL WITH METALLIC MATERIAL; SURFACE TREATMENT OF METALLIC MATERIAL BY DIFFUSION INTO THE SURFACE, BY CHEMICAL CONVERSION OR SUBSTITUTION; COATING BY VACUUM EVAPORATION, BY SPUTTERING, BY ION IMPLANTATION OR BY CHEMICAL VAPOUR DEPOSITION, IN GENERAL
    • C23C14/00—Coating by vacuum evaporation, by sputtering or by ion implantation of the coating forming material
    • C23C14/22—Coating by vacuum evaporation, by sputtering or by ion implantation of the coating forming material characterised by the process of coating
    • C23C14/54—Controlling or regulating the coating process
    • C—CHEMISTRY; METALLURGY
    • C23—COATING METALLIC MATERIAL; COATING MATERIAL WITH METALLIC MATERIAL; CHEMICAL SURFACE TREATMENT; DIFFUSION TREATMENT OF METALLIC MATERIAL; COATING BY VACUUM EVAPORATION, BY SPUTTERING, BY ION IMPLANTATION OR BY CHEMICAL VAPOUR DEPOSITION, IN GENERAL; INHIBITING CORROSION OF METALLIC MATERIAL OR INCRUSTATION IN GENERAL
    • C23C—COATING METALLIC MATERIAL; COATING MATERIAL WITH METALLIC MATERIAL; SURFACE TREATMENT OF METALLIC MATERIAL BY DIFFUSION INTO THE SURFACE, BY CHEMICAL CONVERSION OR SUBSTITUTION; COATING BY VACUUM EVAPORATION, BY SPUTTERING, BY ION IMPLANTATION OR BY CHEMICAL VAPOUR DEPOSITION, IN GENERAL
    • C23C14/00—Coating by vacuum evaporation, by sputtering or by ion implantation of the coating forming material
    • C23C14/22—Coating by vacuum evaporation, by sputtering or by ion implantation of the coating forming material characterised by the process of coating
    • C23C14/24—Vacuum evaporation
    • C—CHEMISTRY; METALLURGY
    • C23—COATING METALLIC MATERIAL; COATING MATERIAL WITH METALLIC MATERIAL; CHEMICAL SURFACE TREATMENT; DIFFUSION TREATMENT OF METALLIC MATERIAL; COATING BY VACUUM EVAPORATION, BY SPUTTERING, BY ION IMPLANTATION OR BY CHEMICAL VAPOUR DEPOSITION, IN GENERAL; INHIBITING CORROSION OF METALLIC MATERIAL OR INCRUSTATION IN GENERAL
    • C23C—COATING METALLIC MATERIAL; COATING MATERIAL WITH METALLIC MATERIAL; SURFACE TREATMENT OF METALLIC MATERIAL BY DIFFUSION INTO THE SURFACE, BY CHEMICAL CONVERSION OR SUBSTITUTION; COATING BY VACUUM EVAPORATION, BY SPUTTERING, BY ION IMPLANTATION OR BY CHEMICAL VAPOUR DEPOSITION, IN GENERAL
    • C23C14/00—Coating by vacuum evaporation, by sputtering or by ion implantation of the coating forming material
    • C23C14/22—Coating by vacuum evaporation, by sputtering or by ion implantation of the coating forming material characterised by the process of coating
    • C23C14/24—Vacuum evaporation
    • C23C14/32—Vacuum evaporation by explosion; by evaporation and subsequent ionisation of the vapours, e.g. ion-plating
    • C23C14/325—Electric arc evaporation
    • C—CHEMISTRY; METALLURGY
    • C23—COATING METALLIC MATERIAL; COATING MATERIAL WITH METALLIC MATERIAL; CHEMICAL SURFACE TREATMENT; DIFFUSION TREATMENT OF METALLIC MATERIAL; COATING BY VACUUM EVAPORATION, BY SPUTTERING, BY ION IMPLANTATION OR BY CHEMICAL VAPOUR DEPOSITION, IN GENERAL; INHIBITING CORROSION OF METALLIC MATERIAL OR INCRUSTATION IN GENERAL
    • C23C—COATING METALLIC MATERIAL; COATING MATERIAL WITH METALLIC MATERIAL; SURFACE TREATMENT OF METALLIC MATERIAL BY DIFFUSION INTO THE SURFACE, BY CHEMICAL CONVERSION OR SUBSTITUTION; COATING BY VACUUM EVAPORATION, BY SPUTTERING, BY ION IMPLANTATION OR BY CHEMICAL VAPOUR DEPOSITION, IN GENERAL
    • C23C14/00—Coating by vacuum evaporation, by sputtering or by ion implantation of the coating forming material
    • C23C14/22—Coating by vacuum evaporation, by sputtering or by ion implantation of the coating forming material characterised by the process of coating
    • C23C14/52—Means for observation of the coating process
    • C—CHEMISTRY; METALLURGY
    • C23—COATING METALLIC MATERIAL; COATING MATERIAL WITH METALLIC MATERIAL; CHEMICAL SURFACE TREATMENT; DIFFUSION TREATMENT OF METALLIC MATERIAL; COATING BY VACUUM EVAPORATION, BY SPUTTERING, BY ION IMPLANTATION OR BY CHEMICAL VAPOUR DEPOSITION, IN GENERAL; INHIBITING CORROSION OF METALLIC MATERIAL OR INCRUSTATION IN GENERAL
    • C23C—COATING METALLIC MATERIAL; COATING MATERIAL WITH METALLIC MATERIAL; SURFACE TREATMENT OF METALLIC MATERIAL BY DIFFUSION INTO THE SURFACE, BY CHEMICAL CONVERSION OR SUBSTITUTION; COATING BY VACUUM EVAPORATION, BY SPUTTERING, BY ION IMPLANTATION OR BY CHEMICAL VAPOUR DEPOSITION, IN GENERAL
    • C23C14/00—Coating by vacuum evaporation, by sputtering or by ion implantation of the coating forming material
    • C23C14/22—Coating by vacuum evaporation, by sputtering or by ion implantation of the coating forming material characterised by the process of coating
    • C23C14/54—Controlling or regulating the coating process
    • C23C14/541—Heating or cooling of the substrates
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present disclosure relates to a technique for learning film formation conditions by machine learning.
  • the present invention has been made to solve such a problem, and is to provide a machine learning method or the like that can easily determine an appropriate film forming condition.
  • the machine learning method is a machine learning method in which the machine learning device determines the film forming conditions of the film forming apparatus for forming a film on a work as a base material.
  • a vacuum exhaust system for vacuuming the chamber, a heating and cooling system for heating and cooling the chamber, an evaporation source system for evaporating the target, a table system on which the work is placed, and a process gas are introduced into the chamber.
  • a state variable including at least one physical quantity relating to performance evaluation of film formation and at least one film forming condition including a process gas system and an etching system is acquired, and at least one of the above states is obtained based on the state variable.
  • the reward is calculated by calculating the reward for the determination result of the film condition, updating the function for determining at least one film forming condition from the state variable based on the reward, and repeating the update of the function to obtain the reward.
  • the most commonly obtained film formation conditions are determined, and the at least one film formation condition includes a first parameter relating to the vacuum exhaust system, a second parameter relating to the heating and cooling system, and a third parameter relating to the evaporation source system.
  • the machine learning device is a machine learning device that determines the film forming conditions of the film forming apparatus for forming a workpiece as a base material, and the film forming apparatus creates a vacuum in the chamber.
  • a vacuum exhaust system for heating and cooling the chamber, an evaporation source system for evaporating the target, a table system on which the workpiece is placed, and a process gas system for introducing process gas into the chamber.
  • a state acquisition unit that acquires a state variable including at least one physical quantity relating to performance evaluation of film formation and at least one film formation condition, including an etching system, and at least one of the above-mentioned formations based on the state variable.
  • a reward calculation unit that calculates a reward for a determination result of a film condition, an update unit that updates a function for determining at least one film formation condition based on the state variable based on the reward, and a function of the function.
  • the film forming condition for obtaining the most reward is provided, and the at least one film forming condition includes a first parameter relating to the vacuum exhaust system and a first parameter relating to the heating / cooling system.
  • the machine learning program is a computer-readable machine learning program that causes a computer to function as a machine learning device for determining the film forming conditions of the film forming apparatus for forming a workpiece as a base material.
  • the film forming apparatus includes a vacuum exhaust system for vacuuming the chamber, a heating and cooling system for heating and cooling the chamber, an evaporation source system for evaporating the target, and a table system on which the work is placed.
  • a state acquisition unit that includes a process gas system for introducing process gas into the chamber and an etching system, and acquires a state variable including at least one physical quantity related to performance evaluation of film formation and at least one film formation condition.
  • a reward calculation unit that calculates a reward for a determination result of at least one film formation condition based on the state variable, and a function for determining at least one film formation condition based on the state variable.
  • the computer functions as a determination unit that determines the film formation condition in which the reward is most obtained, and the at least one film formation condition is the said.
  • said at least one physical quantity is at least one of the film quality properties, mechanical properties, and physical properties of the film.
  • the communication method is the communication method of the film forming apparatus for machine learning the film forming conditions of the film forming apparatus for forming the work as the base material, and is the film forming.
  • the equipment includes a vacuum exhaust system for vacuuming the chamber, a heating and cooling system for heating and cooling the chamber, an evaporation source system for evaporating the target, a table system on which the work is placed, and a process gas in the chamber. Including the process gas system, the etching system, and the communication unit, the state variables including at least one physical quantity related to the performance evaluation of the film formation and at least one film formation condition are observed after the film formation is executed.
  • the state variable is transmitted over the network via the communication unit to receive at least one machine-learned film formation condition, and the at least one film formation condition includes a first parameter relating to the vacuum exhaust system and the above. At least one of a second parameter relating to the heating and cooling system, a third parameter relating to the evaporation source system, a fourth parameter relating to the table system, and a fifth parameter relating to the process gas system.
  • the physical quantity is at least one of the film quality properties, the mechanical properties, and the physical properties of the film.
  • the film forming apparatus is a film forming apparatus for forming a workpiece which is a base material, and is a vacuum exhaust system for vacuuming a chamber and heating and cooling the chamber.
  • a heating / cooling system, an evaporation source system that evaporates the target, a table system on which the work is placed, a process gas system that introduces process gas into the chamber, an etching system, and performance evaluation of film formation after the film formation is executed.
  • a communication unit that observes a state variable including at least one physical quantity and at least one film forming condition, and a communication that transmits the state variable on a network and receives at least one machine-learned film forming condition.
  • the at least one film forming condition includes a first parameter related to the vacuum exhaust system, a second parameter related to the heating / cooling system, a third parameter related to the evaporation source system, and a fourth parameter related to the table system.
  • the parameter is at least one of the fifth parameter for the process gas system, and the at least one physical quantity is at least one of the film quality properties, mechanical properties, and physical properties of the film. ..
  • FIG. 5 is an overall configuration diagram of a film forming apparatus applied to the machine learning system according to the first embodiment. It is an overall block diagram of the machine learning system in Embodiment 1.
  • FIG. It is a flowchart which shows an example of the processing in the machine learning system shown in FIG. It is a figure which shows an example of the film forming condition. It is a figure which shows an example of the physical quantity which concerns on Embodiment 1.
  • FIG. It is a figure which shows an example of the physical quantity which concerns on Embodiment 2.
  • It is a figure which shows an example of the physical quantity which concerns on Embodiment 3.
  • FIG. 1 is an overall configuration diagram of a film forming apparatus applied to the machine learning system according to the first embodiment.
  • the film forming apparatus 30 is an apparatus for forming a hard film on a work (object to be coated) which is a base material of a cutting tool by an arc ion plating method.
  • the arc ion plating method is a kind of ion plating method in which a solid material is evaporated by using a vacuum arc discharge.
  • the arc ion plating method is suitable for forming a film of a cutting tool because it has a high ionization rate of the evaporated material and can form a film having excellent adhesion.
  • the hard film is, for example, TiN, TiAlN, TiCN, CrN and the like.
  • the film forming apparatus 30 includes a vacuum exhaust system 510, a heating / cooling system 520, an evaporation source system 530, a table system 540, a process gas system 550, an etching system 560, and a chamber 570.
  • the vacuum exhaust system 510 includes an exhaust device 511 and evacuates the inside of the chamber 570.
  • the exhaust device 511 includes a pump for exhausting the air in the chamber 570 and the like.
  • the heating / cooling system 520 includes a heater power supply unit 521 and a heater 522 to heat the work 545.
  • the heater power supply unit 521 is a power supply circuit that supplies electric power to the heater 522.
  • the heater 522 is provided in the chamber 570 and generates heat by the electric power supplied from the heater power supply unit 521. Further, the heating / cooling system 520 cools the work 545 by stopping the heat generation of the heater 522.
  • the evaporation source system 530 is a system that evaporates the target (film forming material).
  • the evaporation source system 530 includes an arc cathode 531 and an arc power supply unit 532.
  • the arc power supply unit 532 is a power supply circuit that supplies a discharge current to the arc cathode 531.
  • the arc cathode 531 includes a target, and a vacuum arc discharge is generated between the arc cathode 531 and the inner wall of the chamber 570 by the electric power supplied from the arc power supply unit 532.
  • a vacuum arc discharge When the vacuum arc discharge is started, a molten region called an arc spot having a diameter of several ⁇ m is generated on the surface of the cathode. A high-density current is concentrated on the arc spot, and the cathode surface is instantly melted and evaporated.
  • the surface of the work 545 is formed by this vacuum arc discharge.
  • arc cathode 531 and arc power supply unit 532 are shown, but this is an example, and the arc cathode 531 and arc power supply unit 532 may be a pair, or 3 It may be more than one pair.
  • the table system 540 is a rotary table on which the work 545 is mounted.
  • the table system 540 includes a table 541, a table drive unit 542, and a bias power supply unit 543.
  • the table 541 is provided in the chamber 570.
  • the work 545 is placed on the table 541.
  • the table drive unit 542 includes a motor and the like to rotate the table 541.
  • the bias power supply unit 543 applies a negative potential to the work 545 via the table 541.
  • the process gas system 550 introduces a process gas for forming a reactive film in the chamber 570.
  • the etching system 560 includes a discharge power supply unit 561, a pair of filament electrodes 562, and a filament (not shown) provided between the pair of spread filament electrodes 562.
  • the discharge power supply unit 561 is a power supply circuit that supplies a discharge current to the filament via a pair of filament electrodes 562.
  • the etching system 560 generates argon plasma between the arc cathode 531 and the filament and between the inner wall and the filament of the chamber 570.
  • the surface of the work 545 is cleaned by the generation of this argon plasma. In this cleaning, the inner walls of the arc cathode 531 and chamber 570 function as anodes and the filaments function as cathodes.
  • Chamber 570 is a container for accommodating work 545.
  • the inside of the chamber 570 is evacuated by the vacuum exhaust system 510 to maintain the vacuum state.
  • FIG. 2 is an overall configuration diagram of the machine learning system according to the first embodiment.
  • the machine learning system includes a server 10, a communication device 20, and a film forming device 30.
  • the server 10 and the communication device 20 are connected to each other so as to be able to communicate with each other via the network 40.
  • the communication device 20 and the film forming device 30 are connected to each other so as to be able to communicate with each other via the network 50.
  • the network 40 is a wide area communication network such as the Internet.
  • the network 50 is, for example, a local area network.
  • the server 10 is, for example, a cloud server composed of one or more computers.
  • the communication device 20 is, for example, a computer owned by a user who uses the film forming apparatus 30.
  • the communication device 20 functions as a gateway that connects the film forming device 30 to the network 40.
  • the communication device 20 is realized by installing dedicated application software on a computer owned by the user himself / herself.
  • the communication device 20 may be a dedicated device provided to the user by the manufacturer of the film forming apparatus 30.
  • the film forming apparatus 30 is the film forming apparatus described with reference to FIG.
  • the server 10 includes a processor 100 and a communication unit 101.
  • the processor 100 is a control device including a CPU and the like.
  • the processor 100 includes a reward calculation unit 110, an update unit 120, a determination unit 130, and a learning control unit 140.
  • Each block included in the processor 100 may be realized by the processor 100 executing a machine learning program that causes the computer to function as a server 10 in the machine learning system, or may be realized by a dedicated electric circuit.
  • the reward calculation unit 110 calculates the reward for the determination result of at least one film formation condition based on the state variable observed by the state observation unit 321.
  • the update unit 120 updates a function for determining at least one film formation condition from the state variables observed by the state observation unit 321 based on the reward calculated by the reward calculation unit 110.
  • the function the action value function described later is adopted.
  • the determination unit 130 determines at least one film formation condition that gives the most reward by repeating the update of the function.
  • the learning control unit 140 controls the overall control of machine learning.
  • the machine learning system of the present embodiment learns the film formation conditions by reinforcement learning.
  • Reinforcement learning means that an agent (behavior) selects a certain action based on the environmental situation, changes the environment based on the selected action, and gives the agent a reward for the environmental change, thereby making the agent better. It is a machine learning method that learns the selection of.
  • Q-learning and TD learning can be adopted as reinforcement learning.
  • Q-learning will be described as an example.
  • the reward calculation unit 110, the update unit 120, the determination unit 130, the learning control unit 140, and the state observation unit 321 described later correspond to the agent.
  • the communication unit 101 is composed of a communication circuit that connects the server 10 to the network 40.
  • the communication unit 101 receives the state variable observed by the state observation unit 321 via the communication device 20.
  • the communication unit 101 transmits the film forming conditions determined by the determination unit 130 to the film forming apparatus 30 via the communication apparatus 20.
  • the communication unit 101 is an example of a state acquisition unit that acquires a state variable.
  • the communication device 20 includes a transmitter 201 and a receiver 202.
  • the transmitter 201 transmits the state variable transmitted from the film forming apparatus 30 to the server 10, and also transmits the film forming conditions transmitted from the server 10 to the film forming apparatus 30.
  • the receiver 202 receives the state variable transmitted from the film forming apparatus 30, and also receives the film forming conditions transmitted from the server 10.
  • the film forming apparatus 30 includes a communication unit 310, a processor 320, a memory 330, a sensor unit 340, and an input unit 350.
  • the communication unit 310 is a communication circuit for connecting the film forming apparatus 30 to the network 50.
  • the communication unit 310 transmits the state variable observed by the state observation unit 321 to the server 10.
  • the communication unit 310 receives the film formation conditions determined by the determination unit 130 of the server 10.
  • the communication unit 310 receives a film formation execution command, which will be described later, determined by the learning control unit 140.
  • the processor 320 is a control device including a CPU and the like.
  • the processor 320 includes a state observation unit 321, a film formation execution unit 322, and an input determination unit 323.
  • the communication unit 310 transmits the state variable acquired by the state observation unit 321 to the server 10.
  • Each block included in the processor 320 is realized, for example, by executing a machine learning program in which the CPU functions as a film forming apparatus 30 of the machine learning system.
  • the state observation unit 321 acquires the physical quantity detected by the sensor unit 340 after the film formation is executed. After the film formation is executed, the state observation unit 321 observes a state variable including at least one physical quantity related to the performance evaluation of the film formation and at least one film formation condition. Specifically, the state observation unit 321 acquires the film formation conditions based on the measured values of the sensor unit 340. Further, the state observation unit 321 acquires a physical quantity based on the measured value of the sensor unit 340 and the like.
  • FIG. 4 is a diagram showing an example of film forming conditions.
  • the film formation conditions are roughly classified into the middle category.
  • the middle category the first parameter for the vacuum exhaust system 510, the second parameter for the heating / cooling system 520, the third parameter for the evaporation source system 530, the fourth parameter for the table system 540, and the second parameter for the process gas system 550.
  • At least one of the five parameters is included.
  • the middle classification may include a sixth parameter for the etching system 560.
  • the first parameter includes at least one of exhaust velocity, ultimate pressure, residual gas type, residual gas partial pressure, and PQ characteristics.
  • the exhaust speed is the speed at which the vacuum exhaust system 510 exhausts the air, residual gas, and introduced process gas in the chamber 570.
  • the exhaust speed is calculated, for example, from the performance values of the pumps constituting the vacuum exhaust system 510. Alternatively, the exhaust speed may be a measured value calculated from the pressure sensor and the exhaust time.
  • the ultimate pressure is the pressure in the chamber 570 before the start of the film forming process.
  • the ultimate pressure is calculated from, for example, the performance value of the pumps constituting the vacuum exhaust system 510.
  • the ultimate pressure may be a measured value of the pressure sensor.
  • the residual gas type is a gas remaining in the chamber 570 and is an impurity.
  • Residual gas species are, for example, nitrogen, oxygen, moisture, and hydrogen.
  • the residual gas type is determined based on the partial pressure of the residual gas described later.
  • the residual gas partial pressure is a partial pressure of a plurality of residual gases remaining in the chamber 570.
  • the residual gas partial pressure is obtained by measurement of a vacuum residual gas monitor such as a quadrupole mass spectrometer.
  • the PQ characteristic is a characteristic showing the relationship between the pressure (P) in the chamber and the flow rate (Q). The PQ characteristic is obtained by calculation from, for example, the flow rate of gas in the chamber 570 detected by the flow rate sensor and the measured value of the pressure sensor.
  • the second parameters are heater temperature, work temperature, heater temperature rise rate, work temperature rise rate, heater output, heater temperature accuracy, work temperature accuracy, heater temperature / work temperature, heater temperature distribution, work temperature distribution, cooling gas type, Includes at least one of cooling gas pressure and workpiece cooling rate.
  • the heater temperature is the temperature of the heater 522.
  • the heater temperature is, for example, a measured value of a temperature sensor (thermocouple).
  • the work temperature is the temperature of the work 545.
  • the work temperature is, for example, a measured value of a temperature sensor provided in the vicinity of the work 545.
  • the heater temperature rise rate is the rate of change of the heater temperature when the heater 522 heats up.
  • the heater heating rate is obtained from the time series change of the heater temperature.
  • the work temperature rise temperature is the rate of change of the work temperature when the work 545 raises the temperature.
  • the work heating rate is obtained from the time-series change of the work temperature.
  • the heater output is the output of the heater 522.
  • the heater output is calculated from the set value of the heater power supply unit 521.
  • the heater output may be calculated from the sensor-measured values of the current value and the voltage value supplied to the heater.
  • the heater temperature accuracy is a value that indicates the variation in the heater temperature.
  • the heater temperature accuracy is calculated from past heater temperature measurements.
  • the work temperature accuracy is a value indicating a variation in the work temperature.
  • Work temperature accuracy is calculated from past work temperature measurements.
  • the heater temperature / work temperature is a response characteristic of the heater 522 to the work 545.
  • the heater temperature distribution is the temperature distribution of the heater 522.
  • the heater temperature distribution is obtained from the measured values of a plurality of temperature sensors provided around the heater 522.
  • the work temperature distribution is the temperature distribution of the work 545.
  • the work temperature distribution is obtained from the measured values of a plurality of temperature sensors provided around the work 545.
  • the cooling gas type is information indicating the type of gas for cooling the inside of the chamber 570, and is an input value input in advance.
  • the cooling gas pressure is the pressure of the cooling gas.
  • the cooling gas pressure is a value measured by a pressure sensor provided in the chamber 570.
  • the work cooling rate is the cooling rate of the work 545.
  • the work cooling rate is obtained from the time-series change of the work temperature detected by the temperature sensor provided in the vicinity of the work 545.
  • the third parameter includes at least one of target composition, target thickness, target manufacturing method, arc discharge voltage, arc discharge current, evaporation source magnetic field, evaporation source coil current, and arc ignition characteristics.
  • the target composition is the composition of the substance constituting the target.
  • the target thickness is the thickness of the target.
  • the target manufacturing method is a method for manufacturing a target. The target composition, target thickness, and target manufacturing method are input values input in advance.
  • the arc discharge voltage is a voltage supplied by the arc power supply unit 532 to the arc cathode 531 and is a value measured by a sensor.
  • the arc discharge current is a current supplied by the arc power supply unit 532 to the arc cathode 531 and is a value measured by the sensor.
  • the evaporation source magnetic field is the position and intensity of the magnetic field emitted by the permanent magnetic flux included in the evaporation source system 530.
  • the evaporation source magnetic field is a pre-input value.
  • the evaporation source coil current is a current flowing through the coil included in the evaporation source system 530 and is a value measured by a sensor.
  • the arc ignition characteristic is the behavior of the voltage and current on the arc surface at the time of arc ignition. The arc ignition characteristic is obtained from the measured values of the arc discharge voltage and the arc discharge current at a certain timing.
  • the fourth parameter includes at least one of bias voltage, bias current, number of OLs, change in OL time, bias voltage waveform, bias current waveform, work rotation speed, work shape, work mounting amount, work mounting method, and work material. ..
  • the bias voltage is the bias voltage supplied by the bias power supply unit 543 to the work 545, and is a value measured by the sensor.
  • the bias current is a bias current supplied to the work 545 by the bias power supply unit 543, and is a value measured by the sensor.
  • the number of times of OL is the number of abnormal discharges in the table system or the work, and is a value measured by the sensor.
  • the OL time change is the number of OLs per unit time.
  • the bias voltage waveform is a waveform of the bias voltage and is obtained from a value measured by the sensor.
  • the bias voltage waveform is a voltage waveform especially at the time of pulse bias.
  • the bias current waveform is a waveform of the bias current and is obtained from a value measured by the sensor.
  • the work rotation speed is the rotation speed per unit time of the work 545, and includes the rotation speed per unit time of the table 541 and the rotation speed per unit time when the work 545 rotates on the table 541.
  • the work rotation speed is, for example, a value detected by a sensor.
  • the work shape is a numerical value indicating the shape of the work 545, and is an input value input in advance.
  • the work loading amount is the loading amount (for example, weight) of the work 545, and is an input value input in advance.
  • the work mounting method is a method of mounting the work 545 on the table 541, and is an input value input in advance.
  • the work material is the material of the work 545, and is an input value input in advance.
  • the fifth parameter includes at least one of gas flow rate, gas type, and gas pressure.
  • the gas flow rate is the flow rate of the process gas.
  • the gas type is information indicating the type of process gas.
  • the gas pressure is the pressure of the process gas.
  • the sixth parameter includes at least one of filament heating current, filament heating voltage, filament diameter, discharge current, and discharge voltage.
  • the filament heating current is a heating current for heating a pair of filament electrodes 562 constituting the etching system 560, and is a value measured by a sensor.
  • the filament heating voltage is a heating voltage for heating the pair of filament electrodes 562, and is a value measured by a sensor.
  • the filament diameter is the diameter of each of the pair of filament electrodes 562, and is an input value input in advance.
  • the filament diameter may be calculated by calculation.
  • the discharge current is the discharge current of the pair of filament electrodes 562, and is a value measured by the sensor.
  • the discharge voltage is the discharge voltage of the pair of filament electrodes 562, and is a value measured by the sensor.
  • FIG. 5 is a diagram showing an example of the physical quantity according to the first embodiment. Physical quantities are roughly classified into the middle classification.
  • the middle classification includes at least one of membrane properties, mechanical properties, and physical properties.
  • Membrane properties include at least one of film thickness, roughness, surface texture, composition, crystal structure, film microstructure, crystallinity, crystal grain size, residual stress, density, particle size, and particle size.
  • the film thickness is the thickness of the film.
  • the surface texture is the form of the surface including the surface roughness.
  • the composition is the composition of the film.
  • the crystal structure is the crystal structure of the film.
  • Membrane microstructure has a general meaning and represents microstructure structure such as crystal morphology and orientation. Crystallinity is the percentage of crystals that are crystalline.
  • the crystal grain size is the size of the crystal grains.
  • the residual stress is the internal stress of the film.
  • the film thickness is obtained by a film thickness measuring instrument.
  • Roughness is obtained by a roughness meter.
  • the surface texture is obtained by a microscope or a roughness meter.
  • the composition is obtained by X-ray spectroscopy.
  • the crystal structure, film microstructure, crystallinity, crystal grain size, and residual stress are obtained by X-ray diffraction or electron microscopy.
  • the density is the density of the particles that make up the film.
  • the amount of particles is the amount of dust contained in the film.
  • the particle size is the size of dust contained in the film.
  • the density is obtained by the X-ray reflection method.
  • the particle amount and particle size can be obtained by microscopy or image processing.
  • Mechanical properties include at least one of hardness, modulus of elasticity, wear resistance, erosion resistance, high temperature strength, and high temperature creep.
  • Hardness is obtained by a hardness tester or nano indenter.
  • the elastic modulus is obtained by the nano indenter.
  • Abrasion resistance is obtained by a sliding test and an abrasion resistance test.
  • the erosion resistance characteristic is the amount of slippage due to sandblasting.
  • High temperature strength and high temperature creep are obtained by nano indenters.
  • Physical properties include at least one of friction coefficient, oxidation resistance, adhesion, and thermal conductivity.
  • the coefficient of friction is obtained by a sliding test.
  • Oxidation resistance is obtained by X-ray analysis or composition analysis.
  • Adhesion is obtained by the indentation method or the scratch test.
  • Thermal conductivity is obtained by thermal conductivity measurement.
  • the film forming execution unit 322 controls the film forming operation of the film forming apparatus 30.
  • the input determination unit 323 automatically or manually determines whether or not the process is mass production. When the input determination unit 323 automatically determines whether or not it is a mass production process, when the number of times the condition number input to the input unit 350 exceeds the reference number, the film forming apparatus 30 is in the mass production process. judge.
  • the condition number is an identification number for specifying a certain film forming condition.
  • the film forming condition specified by the condition number includes at least the film forming condition described as Input among the film forming conditions shown in FIG.
  • the film forming apparatus 30 determines that it is in the mass production process. .. When in the mass production process, the film forming apparatus 30 does not perform machine learning.
  • the memory 330 is, for example, a non-volatile storage device, and stores the finally determined optimum film forming conditions and the like.
  • the sensor unit 340 is various sensors used for measuring the film forming conditions exemplified in FIG. 4 and the physical quantity exemplified in FIG.
  • the input unit 350 is an input device such as a keyboard and a mouse.
  • FIG. 3 is a flowchart showing an example of processing in the machine learning system shown in FIG.
  • the learning control unit 140 acquires the input value of the film forming condition input by the user using the input unit 350.
  • the input value acquired here is an input value for the film forming condition described as Input among the film forming conditions listed in FIG.
  • step S2 the learning control unit 140 determines at least one film forming condition and a set value for the film forming condition.
  • the film forming condition to be set is at least one of the film forming conditions listed in FIG. 4 other than the film forming condition described as Input, and the set value can be set. It is a film formation condition.
  • the set value of the film formation condition determined corresponds to the action in reinforcement learning.
  • the learning control unit 140 randomly selects a set value for each of the film formation conditions to be set.
  • the set value is randomly selected from within a predetermined range for each of the film forming conditions.
  • step S3 the learning control unit 140 causes the film forming apparatus 30 to start the film forming operation by transmitting the film forming execution command to the film forming apparatus 30.
  • the film formation execution unit 322 sets the film formation conditions according to the film formation execution command and starts the film formation operation.
  • the film formation execution command includes an input value of the film formation condition set in step S1 and a set value of the film formation condition determined in step S2.
  • the state observation unit 321 observes the state variable (step S4). Specifically, the state observation unit 321 sets the physical quantity related to the film formation evaluation shown in FIG. 5 and the film formation condition in which the state is observed by a sensor or the like among the film formation conditions shown in FIG. 4 as state variables. Get as.
  • the physical quantity may be input to the film forming apparatus 30 by, for example, operating the input unit 350 by the user, or may be input to the film forming apparatus 30 by communication between the measuring instrument for measuring the physical quantity and the film forming apparatus 30. May be good.
  • the state observation unit 321 transmits the acquired state variable to the server 10 via the communication unit 310.
  • step S5 the determination unit 130 evaluates the physical quantity.
  • the determination unit 130 determines whether or not the physical quantity to be evaluated (hereinafter, referred to as a target physical quantity) among the physical quantities acquired in step S4 has reached a predetermined reference value, thereby determining the physical quantity. evaluate.
  • the target physical quantity is one or more of the physical quantities listed in FIG.
  • the reference value for example, a predetermined value indicating that the film has reached a certain standard can be adopted.
  • step S6 When the determination unit 130 determines that the target physical quantity has reached the reference value (YES in step S6), the determination unit 130 outputs the film formation condition set in step S2 as the final film formation condition (step S7). On the other hand, when the determination unit 130 determines that the physical quantity has not reached the reference value (NO in step S6), the process proceeds to step S8. When there are a plurality of target physical quantities, the determination unit 130 may determine YES in step S6 when all the target physical quantities reach the reference values.
  • step S8 the reward calculation unit 110 determines whether or not the target physical quantity is close to the reference value.
  • the reward calculation unit 110 increases the reward for the agent (step S9).
  • the reward calculation unit 110 reduces the reward to the agent (step S10).
  • the reward calculation unit 110 may increase or decrease the reward according to a predetermined increase / decrease value of the reward.
  • the reward calculation unit 110 may perform the determination in step S8 for each of the plurality of target physical quantities.
  • the reward calculation unit 110 may increase or decrease the reward for each of the plurality of target physical quantities based on the determination result in step S8. Further, the increase / decrease value of the reward may be different depending on the target physical quantity.
  • the update unit 120 updates the action value function using the reward given to the agent.
  • the Q-learning adopted in the present embodiment is a method of learning a Q-value (Q (s, a)) which is a value for selecting an action a under a certain environmental state s.
  • environmental conditions s t corresponds to the state variable of the flow.
  • the action a having the highest Q (s, a) is selected in a certain environmental state s.
  • various actions a are taken under a certain environmental state s by trial and error, and the correct Q (s, a) is learned using the reward at that time.
  • Action-value function Q (s t, a t) update equation of is expressed by the following equation (1).
  • s t, a t each represent an action and environmental condition at time t. Behavioral a t, the environmental conditions are changed to s t + 1, by a change in the environmental conditions, reward r t + 1 is calculated.
  • the term with max is the Q value (Q ( st + 1 , a)) when the most valuable action a known at that time is selected under the environmental state st + 1 , multiplied by ⁇ .
  • ⁇ is a discount rate, and takes a value of 0 ⁇ ⁇ 1 (usually 0.9 to 0.99).
  • ⁇ is a learning coefficient and takes a value of 0 ⁇ ⁇ 1 (usually about 0.1).
  • the update equation is the Q value of the action a in state s Q (s t, a t ) than, based on the Q value when taken the best behavior in the following environmental conditions s t + 1 by action a gamma ⁇ the larger the better maxQ of (s t + 1, a) , Q (s t, a t) to increase the.
  • the update equation, Q (s t, a t ) is smaller is better in gamma ⁇ than maxQ (s t + 1, a ), Q (s t, a t) to reduce.
  • the optimum state for forming the work 545 that is, at least one optimum film forming condition is determined.
  • step S11 When the process of step S11 is completed, the process returns to step S2, and the set value of the selected film forming condition is changed, or the unselected film forming condition is selected as the next film forming condition, and so on.
  • the action value function is updated.
  • the update unit 120 has updated the action value function, but the present invention is not limited to this, and the action value table may be updated.
  • the values for all the state / action pairs (s, a) may be stored in a table format.
  • Q (s, a) may be represented by an approximate function that approximates the values for all state-behavior pairs (s, a).
  • This approximation function may be constructed by a multi-layered neural network.
  • the neural network may perform online learning in which the data obtained by actually moving the film forming apparatus 30 is learned in real time and reflected in the next action. As a result, deep reinforcement learning is realized.
  • the film forming conditions have been developed by changing the film forming conditions so that a good film can be obtained.
  • FIG. 4 since the types of film forming conditions are enormous, an extremely large number of physical models are required to define such relationships, and such relationships are described by the physical models. It was found that it is difficult to do so.
  • the film forming conditions are determined by machine learning without using the above-mentioned physical model. As a result, in the first embodiment, appropriate film forming conditions for the cutting tool can be easily determined.
  • the film forming apparatus 30 of the second embodiment is an apparatus for forming a decorative film on a work for the purpose of enhancing the decorativeness.
  • the work is, for example, an ornament such as a wristwatch or a necklace, a housing of a mobile phone, a bumper of an automobile, or the like.
  • the decorative film is, for example, TiN, TiAlN, TiCN, CrN, DLC (diamond-like carbon) or the like.
  • the machine learning system of the second embodiment is for machine learning the appropriate film forming conditions regarding the decorative film.
  • FIG. 6 is a diagram showing an example of a physical quantity according to the second embodiment.
  • the middle classification includes at least one of membranous and physical properties.
  • the film quality properties are the same as in the first embodiment.
  • Physical properties include at least one of adhesion and optical properties. Adhesion indicates the degree of adhesion of the film to the substrate and is obtained by the indentation method or the scratch test.
  • the optical properties indicate the color, luster, or texture of the film. The optical characteristics are measured by a spectrophotometer.
  • the film forming conditions are determined by machine learning without using the above-mentioned physical model. As a result, in the second embodiment, appropriate film forming conditions for the decorative film can be easily determined.
  • the film forming apparatus 30 of the third embodiment is an apparatus for forming a protective film on the work.
  • the work is, for example, a cutting tool, a die for injection forming, a screw, or the like.
  • the protective film is, for example, TiN, TiAlN, TiCN, CrN, or the like.
  • the machine learning system of the third embodiment is for machine learning the appropriate film forming conditions regarding the protective film.
  • the same components as those in the first embodiment are designated by the same reference numerals, and the description thereof will be omitted.
  • the configuration of the film forming apparatus 30 is the same as that of FIG. 2
  • the processing of the film forming apparatus 30 is the same as that of FIG. 3
  • an example of the film forming conditions is the same as that of FIG.
  • the major difference between the third embodiment and the first embodiment is the physical quantity.
  • FIG. 7 is a diagram showing an example of the physical quantity according to the third embodiment. Physical quantities are roughly classified into the middle classification.
  • the middle classification includes at least one of membrane properties, mechanical properties, and physical properties.
  • the film quality properties and mechanical properties are the same as those in the first embodiment.
  • Physical properties include at least one of friction coefficient, oxidation resistance, adhesion, thermal conductivity, adhesion, corrosion resistance, chemical resistance, and surface chemical affinity.
  • the coefficient of friction is obtained by a sliding test.
  • Oxidation resistance is obtained by X-ray diffraction or composition analysis.
  • Adhesion indicates the degree of adhesion of the base material of the film, and is obtained by the indentation method or the scratch test.
  • Thermal conductivity is obtained by thermal conductivity measurement. Adhesion is obtained by sliding test or microscopic observation.
  • Corrosion resistance indicates the difficulty of corrosion of the film, and can be obtained by a corrosive liquid spray test or a dipping test.
  • Chemical resistance indicates the resistance of the film to corrosion by chemicals, and can be obtained by a coating test or a dipping test.
  • Surface chemical affinity indicates the chemical affinity between the film surface and external environmental substances, and is obtained by surface chemical analysis.
  • the physical quantity shown in FIG. 7 differs depending on the application of the protective film.
  • the circle mark indicates the physical quantity required for each of the wear-resistant application, the corrosion-resistant application, and the heat-resistant application.
  • the film quality properties are the same in physical quantities required for each of wear-resistant applications, corrosion-resistant applications, and heat-resistant applications.
  • mechanical properties are required to be at least one of all physical quantities listed in FIG. 7, and physical properties are friction coefficient, oxidation resistance, adhesion, thermal conductivity, and so on. At least one physical quantity of adhesion, corrosion resistance, and surface chemical affinity is required.
  • mechanical properties may be omitted, and physical properties are required to be at least one physical quantity of oxidation resistance, corrosion resistance, chemical resistance, and surface chemical affinity.
  • the hyphen in the table of FIG. 7 does not mean that the corresponding physical quantity is positively excluded, but means that the corresponding physical quantity may be included.
  • mechanical properties are required to have at least one physical quantity of hardness, elastic modulus, high-temperature strength, and high-temperature creep, and physical properties are of oxidation resistance, adhesion, and thermal conductivity. At least one physical quantity of is required.
  • the film forming conditions are determined by machine learning without using the above-mentioned physical model. As a result, in the third embodiment, appropriate film forming conditions for the protective film can be easily determined.
  • the film forming apparatus 30 of the fourth embodiment is an apparatus for forming a sliding film on the surface of the work in order to improve the hardness of the surface of the work.
  • the work is, for example, a sliding component such as an engine or a piston.
  • the sliding film is, for example, TiN, TiAlN, TiCN, CrN, DLC (diamond-like carbon) or the like.
  • the machine learning system of the fourth embodiment is for machine learning the appropriate film forming conditions regarding the sliding film.
  • FIG. 8 is a diagram showing an example of the physical quantity according to the fourth embodiment. Physical quantities are roughly classified into the middle classification. The middle classification includes at least one of membrane properties, mechanical properties, and physical properties. The film quality properties are the same as in the first embodiment.
  • Mechanical properties include at least one of hardness, modulus of elasticity, and wear resistance.
  • Hardness is obtained by a hardness tester or nano indenter.
  • the elastic modulus is obtained by the nano indenter.
  • Abrasion resistance is obtained by a sliding test and an abrasion resistance test.
  • Physical properties include at least one of friction coefficient, oxidation resistance, adhesion, thermal conductivity, adhesion, corrosion resistance, and surface chemical affinity.
  • the coefficient of friction is obtained by a sliding test.
  • Oxidation resistance is obtained by X-ray analysis or composition analysis.
  • Adhesion indicates the degree of adhesion of the base material of the film, and is obtained by the indentation method or the scratch test.
  • Thermal conductivity is obtained by thermal conductivity measurement. Adhesion is obtained by sliding test or microscopic observation.
  • Corrosion resistance indicates the difficulty of corrosion of the film, and can be obtained by a corrosive liquid spray test or a dipping test.
  • the surface chemical affinity shows the chemical affinity between the external environmental substance and the film surface, and is obtained by surface chemical analysis.
  • the fourth embodiment at least one of the above-mentioned first to sixth parameters and the film quality property, the mechanical property, and the physical property regarding the performance evaluation of the film formation. At least one physical quantity of is observed as a state variable. Then, the reward for the determination result of the film formation condition is calculated based on the observed state variable, and the action value function for determining the film formation condition from the state variable is updated based on the calculated reward. The renewal is repeated and the film formation conditions that give the most reward are learned. Therefore, in the fourth embodiment, the film forming conditions are determined by machine learning without using the above-mentioned physical model. As a result, in this embodiment, appropriate film forming conditions for the sliding film can be easily determined.
  • FIG. 9 is an overall configuration diagram of a machine learning system according to a modified example of the present invention.
  • the machine learning system according to this modification is composed of the film forming apparatus 30A alone.
  • the film forming apparatus 30A includes a processor 320A, an input unit 391, and a sensor unit 392.
  • the processor 320A includes a machine learning unit 370 and a film forming unit 380.
  • the machine learning unit 370 includes a reward calculation unit 371, an update unit 372, a determination unit 373, and a learning control unit 374.
  • the reward calculation unit 371 to the learning control unit 374 are the same as the reward calculation unit 110 to the learning control unit 140 shown in FIG. 2, respectively.
  • the state observation unit 381, the film formation execution unit 382, and the input determination unit 383 are the same as the state observation unit 321, the film formation execution unit 322, and the input determination unit 323 shown in FIG. 2, respectively.
  • the input unit 391 and the sensor unit 392 are the same as the input unit 350 and the sensor unit 340 shown in FIG. 2, respectively.
  • the state observation unit 381 is an example of a state acquisition unit that acquires state information.
  • the optimum film forming conditions can be learned by the film forming apparatus 30A alone.
  • the state variables were observed after the film formation operation was completed, but this is an example, and a plurality of state variables may be observed during one film formation operation.
  • a plurality of state variables may be observed during one film formation operation.
  • the film forming apparatus 30 is an apparatus for forming a film by the arc ion plating method, but the present invention is not limited to this, and other physical vapor deposition such as a vapor deposition method is used. It may be an apparatus for forming a film by a method.
  • the machine learning method is a machine learning method in which the machine learning device determines the film forming conditions of the film forming apparatus for forming a film on a work as a base material.
  • a vacuum exhaust system for vacuuming the chamber, a heating and cooling system for heating and cooling the chamber, an evaporation source system for evaporating the target, a table system on which the work is placed, and a process gas are introduced into the chamber.
  • a state variable including at least one physical quantity relating to performance evaluation of film formation and at least one film forming condition including a process gas system and an etching system is acquired, and at least one of the above states is obtained based on the state variable.
  • the reward is calculated by calculating the reward for the determination result of the film conditions, updating the function for determining at least one film forming condition from the state variable based on the reward, and repeating the update of the function to obtain the reward.
  • the most commonly obtained film formation conditions are determined, and the at least one film formation condition includes a first parameter relating to the vacuum exhaust system, a second parameter relating to the heating and cooling system, and a third parameter relating to the evaporation source system.
  • a first parameter for the vacuum exhaust system there are a first parameter for the vacuum exhaust system, a second parameter for the heating and cooling system, a third parameter for the evaporation source system, a fourth parameter for the table system, and a fifth parameter for the process gas system.
  • At least one of these film forming conditions and at least one physical quantity of film quality properties, mechanical properties, and physical properties related to the performance evaluation of film forming are observed as state variables.
  • the reward for the determination result of the film formation condition is calculated based on the observed state variable, and the function for determining the film formation condition from the state variable is updated based on the calculated reward, and this update is performed.
  • the film formation conditions that are repeated and the most rewards are obtained are learned. Therefore, in this configuration, appropriate film forming conditions for the substrate can be easily determined.
  • the first parameter may be at least one of the exhaust speed, the ultimate pressure, the residual gas type, the residual gas partial pressure, and the PQ characteristic.
  • At least one of the exhaust speed, the ultimate pressure, the residual gas type, the residual gas partial pressure, and the PQ characteristic is set as the film forming condition for the vacuum exhaust system, and the machine learning is performed.
  • Appropriate film formation conditions can be determined in consideration of the condition of the exhaust system.
  • the second parameter includes the heater temperature of the heater constituting the heating / cooling system, the work temperature which is the temperature of the work, the heating rate of the heater, the heating rate of the work, and the output of the heater. It may be at least one of the temperature accuracy of the heater, the temperature accuracy of the work, the response characteristics of the heater temperature and the work temperature, the temperature distribution of the heater, and the temperature distribution of the work.
  • the third parameter is at least one of the target composition, the target thickness, the target manufacturing method, the arc discharge voltage, the arc discharge current, the evaporation source magnetic field, the evaporation source coil current, and the arc ignition characteristic. It may be one.
  • At least one of the target composition, target thickness, target fabrication method, arc discharge voltage, arc discharge current, evaporation source magnetic field, evaporation source coil current, and arc ignition characteristics is deposited on the evaporation source system. Since machine learning is performed as a condition, an appropriate film forming condition can be determined in consideration of the state of the evaporation source system.
  • the fourth parameter includes a bias voltage for the work, a bias current for the work, the number of abnormal discharges, a time change of the abnormal discharge, a waveform of the bias voltage, a waveform of the bias current, and a rotation speed of the work.
  • the shape of the work, the mounting amount of the work, the mounting method of the work, and the material of the work may be at least one.
  • bias voltage, bias current, number of abnormal discharges, time change of abnormal discharge, waveform of bias voltage, waveform of bias current, number of rotations of work, shape of work, mounting amount of work, mounting method of work Since at least one of the materials of the work is subjected to machine learning as a film forming condition related to the table system, an appropriate film forming condition can be determined in consideration of the state of the table system.
  • the fifth parameter may be at least one of the flow rate of the process gas, the type of the process gas, and the pressure of the process gas.
  • the at least one film forming condition may further include a sixth parameter relating to the etching system.
  • the sixth parameter is a heating current for heating the filament of the etching system, a heating voltage for heating the filament, a diameter of the filament, a discharge current of the filament, and a discharge voltage of the filament. It may be at least one of.
  • At least one of the filament heating current, the filament heating voltage, the filament diameter, the filament discharge current, and the filament discharge voltage is machine-learned as a film forming condition for the etching system.
  • Appropriate film formation conditions can be determined in consideration of the state of the etching system.
  • the film on the base material is a film on the cutting tool which is the base material, a decorative film for decorating the base material, a protective film for protecting the base material, and a slide which is the base material. It may be any one of the sliding coatings for improving the hardness of the moving member.
  • any one of an appropriate film forming condition for a cutting tool, an appropriate film forming condition for a decorative film, an appropriate film forming condition for a protective film, and an appropriate film forming condition for a sliding film You can decide which one.
  • the function may be updated in real time using deep reinforcement learning.
  • the function is updated in real time using deep reinforcement learning, so that the function can be updated accurately and promptly.
  • Each process of the above-mentioned machine learning method may be implemented by a machine learning device, or may be implemented in a machine learning program and distributed.
  • This machine learning device may be configured by a server or a film forming apparatus.
  • the communication method is a communication method of the film forming apparatus for machine learning the film forming conditions of the film forming apparatus for forming a work as a base material, and is the communication method of the film forming apparatus.
  • a vacuum exhaust system for vacuuming a chamber
  • a heating and cooling system for heating and cooling the chamber
  • an evaporation source system for evaporating a target
  • a table system on which a work is placed and a process gas in the chamber.
  • a state variable including the process gas system to be introduced, the etching system, and the communication unit, including at least one physical quantity related to the performance evaluation of the film formation and at least one film formation condition after the film formation is executed is observed, and the above-mentioned state variables are observed.
  • the state variable is transmitted over the network via a communication unit to receive at least one machine-learned film formation condition, and the at least one film formation condition is a first parameter relating to the vacuum exhaust system and the heating. At least one of a second parameter relating to the cooling system, a third parameter relating to the evaporation source system, a fourth parameter relating to the table system, and a fifth parameter relating to the process gas system, the at least one physical quantity. Is at least one of the film quality properties, mechanical properties, and physical properties of the film.
  • Such a communication method can also be implemented in a film forming apparatus.

Landscapes

  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Materials Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Metallurgy (AREA)
  • Organic Chemistry (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Physical Vapour Deposition (AREA)

Abstract

成膜の性能評価に関する少なくとも１つの物理量と、少なくとも１つの成膜条件とを含む状態変数を観測し、状態変数に基づいて、少なくとも１つの成膜条件の決定結果に対する報酬を計算し、状態変数から少なくとも１つの成膜条件を決定するための関数を、報酬に基づいて更新し、関数の更新を繰り返すことによって、報酬が最も多く得られる成膜条件を決定し、少なくとも１つの成膜条件は、真空排気システムに関する第１パラメータと、加熱冷却システムに関する第２パラメータと、蒸発源システムに関する第３パラメータと、テーブルシステムに関する第４パラメータと、プロセスガスシステムに関する第５パラメータとのうちの少なくとも１つであり、少なくとも１つの物理量は、皮膜に関する、膜質特性、機械的特性、及び物理的特性のうちの少なくとも１つである。

Description

機械学習方法、機械学習装置、機械学習プログラム、通信方法、及び成膜装置
　本開示は、機械学習により成膜条件を学習する技術に関するものである。
　近年、耐摩耗性の高い切削工具を製造するために、切削工具となる基材に対して物理的蒸着法（ＰＶＤ法）により、ＴｉＮ、ＴｉＡｌＮ、ＣｒＮなどの硬質皮膜を成膜することが行われている（例えば、特許文献１）。耐摩耗性の高い工具を製造するためには、成膜条件を適切に決定することが要求される。
　しかし、従来、成膜条件は、熟練した技術者による長年の経験を頼りに決定されていた。そのため、適切な成膜条件を容易に決定することが困難であった。
特開２０１４－１１４５０７号公報
　本発明は、このような課題を解決するためになされたものであり、適切な成膜条件を容易に決定できる機械学習方法などを提供することである。
　近年、ディープラーニングをはじめとする機械学習に関する様々なサービスがクラウド上で提供されており、ユーザはこのサービスを容易に利用することが可能になってきている。そこで、本発明者は、成膜条件と成膜の性能評価に関する物理量とを機械学習させれば、適切な成膜条件を容易に決定できるとの知見を得て本発明を想到するに至った。
　本発明の一態様に係る機械学習方法は、基材であるワークに対して成膜する成膜装置の成膜条件を機械学習装置が決定する機械学習方法であって、前記成膜装置は、チャンバーを真空にするための真空排気システムと、前記チャンバーを加熱及び冷却する加熱冷却システムと、ターゲットを蒸発させる蒸発源システムと、ワークを載置するテーブルシステムと、前記チャンバーにプロセスガスを導入するプロセスガスシステムと、エッチングシステムとを含み、成膜の性能評価に関する少なくとも１つの物理量と、少なくとも１つの成膜条件とを含む状態変数を取得し、前記状態変数に基づいて、前記少なくとも１つの成膜条件の決定結果に対する報酬を計算し、前記状態変数から前記少なくとも１つの成膜条件を決定するための関数を、前記報酬に基づいて更新し、前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる成膜条件を決定し、前記少なくとも１つの成膜条件は、前記真空排気システムに関する第１パラメータと、前記加熱冷却システムに関する第２パラメータと、前記蒸発源システムに関する第３パラメータと、前記テーブルシステムに関する第４パラメータと、前記プロセスガスシステムに関する第５パラメータとのうちの少なくとも１つであり、前記少なくとも１つの物理量は、前記皮膜に関する、膜質特性、機械的特性、及び物理的特性のうちの少なくとも１つである。
　本発明の別の一態様に係る機械学習装置は、基材であるワークを成膜する成膜装置の成膜条件を決定する機械学習装置であって、前記成膜装置は、チャンバーを真空にするための真空排気システムと、前記チャンバーを加熱及び冷却する加熱冷却システムと、ターゲットを蒸発させる蒸発源システムと、ワークを載置するテーブルシステムと、前記チャンバーにプロセスガスを導入するプロセスガスシステムと、エッチングシステムとを含み、成膜の性能評価に関する少なくとも１つの物理量と、少なくとも１つの成膜条件とを含む状態変数を取得する状態取得部と、前記状態変数に基づいて、前記少なくとも１つの成膜条件の決定結果に対する報酬を計算する報酬計算部と、前記状態変数に基づいて前記少なくとも１つの成膜条件を決定するための関数を、前記報酬に基づいて更新する更新部と、前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる成膜条件を決定する決定部とを備え、前記少なくとも１つの成膜条件は、前記真空排気システムに関する第１パラメータと、前記加熱冷却システムに関する第２パラメータと、前記蒸発源システムに関する第３パラメータと、前記テーブルシステムに関する第４パラメータと、前記プロセスガスシステムに関する第５パラメータとのうちの少なくとも１つであり、前記少なくとも１つの物理量は、皮膜に関する、膜質特性、機械的特性、及び物理的特性のうちの少なくとも１つである。
　本発明のさらに別の一態様に係る機械学習プログラムは、基材であるワークを成膜する成膜装置の成膜条件を決定する機械学習装置としてコンピュータを機能させるコンピュータ読み取り可能な機械学習プログラムであって、前記成膜装置は、チャンバーを真空にするための真空排気システムと、前記チャンバーを加熱及び冷却する加熱冷却システムと、ターゲットを蒸発させる蒸発源システムと、ワークを載置するテーブルシステムと、前記チャンバーにプロセスガスを導入するプロセスガスシステムと、エッチングシステムとを含み、成膜の性能評価に関する少なくとも１つの物理量と、少なくとも１つの成膜条件とを含む状態変数を取得する状態取得部と、前記状態変数に基づいて、前記少なくとも１つの成膜条件の決定結果に対する報酬を計算する報酬計算部と、前記状態変数に基づいて前記少なくとも１つの成膜条件を決定するための関数を、前記報酬に基づいて更新する更新部と、前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる成膜条件を決定する決定部としてコンピュータを機能させ、前記少なくとも１つの成膜条件は、前記真空排気システムに関する第１パラメータと、前記加熱冷却システムに関する第２パラメータと、前記蒸発源システムに関する第３パラメータと、前記テーブルシステムに関する第４パラメータと、前記プロセスガスシステムに関する第５パラメータとのうちの少なくとも１つであり、前記少なくとも１つの物理量は、皮膜に関する、膜質特性、機械的特性、及び物理的性のうちの少なくとも１つである。
　本発明のさらに別の一態様に係る通信方法は、基材であるワークを成膜する成膜装置の成膜条件を機械学習する際の前記成膜装置の通信方法であって、前記成膜装置は、チャンバーを真空にするための真空排気システムと、前記チャンバーを加熱及び冷却する加熱冷却システムと、ターゲットを蒸発させる蒸発源システムと、ワークを載置するテーブルシステムと、前記チャンバーにプロセスガスを導入するプロセスガスシステムと、エッチングシステムと、通信部とを含み、成膜実行後において成膜の性能評価に関する少なくとも１つの物理量と、少なくとも１つの成膜条件とを含む状態変数を観測し、前記通信部を介して前記状態変数をネットワーク上に送信し、機械学習済みの少なくとも１つの成膜条件を受信し、前記少なくとも１つの成膜条件は、前記真空排気システムに関する第１パラメータと、前記加熱冷却システムに関する第２パラメータと、前記蒸発源システムに関する第３パラメータと、前記テーブルシステムに関する第４パラメータと、前記プロセスガスシステムに関する第５パラメータとのうちの少なくとも１つであり、前記少なくとも１つの物理量は、皮膜に関する、膜質特性、機械的特性、及び物理的特性のうちの少なくとも１つである。
　本発明のさらに別の一態様に係る成膜装置は、基材であるワークを成膜する成膜装置であって、チャンバーを真空にするための真空排気システムと、前記チャンバーを加熱及び冷却する加熱冷却システムと、ターゲットを蒸発させる蒸発源システムと、ワークを載置するテーブルシステムと、前記チャンバーにプロセスガスを導入するプロセスガスシステムと、エッチングシステムと、成膜実行後において成膜の性能評価に関する少なくとも１つの物理量と、少なくとも１つの成膜条件とを含む状態変数を観測する状態観測部と、前記状態変数をネットワーク上に送信し、機械学習済みの少なくとも１つの成膜条件を受信する通信部とを備え、前記少なくとも１つの成膜条件は、前記真空排気システムに関する第１パラメータと、前記加熱冷却システムに関する第２パラメータと、前記蒸発源システムに関する第３パラメータと、前記テーブルシステムに関する第４パラメータと、前記プロセスガスシステムに関する第５パラメータとのうちの少なくとも１つであり、前記少なくとも１つの物理量は、皮膜に関する、膜質特性、機械的特性、及び物理的特性のうちの少なくとも１つである。
　本発明によれば、基材に対する適切な成膜条件を容易に決定できる。
実施の形態１に係る機械学習システムに適用される成膜装置の全体構成図である。 実施の形態１における機械学習システムの全体構成図である。 図２に示す機械学習システムにおける処理の一例を示すフローチャートである。 成膜条件の一例を示す図である。 実施の形態１に係る物理量の一例を示す図である。 実施の形態２に係る物理量の一例を示す図である。 実施の形態３に係る物理量の一例を示す図である。 実施の形態４に係る物理量の一例を示す図である。 本発明の変形例に係る機械学習システムの全体構成図である。
　以下添付図面を参照しながら、本発明の実施の形態について説明する。なお、以下の実施の形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格のものではない。
　（実施の形態１）
　図１は、実施の形態１に係る機械学習システムに適用される成膜装置の全体構成図である。成膜装置３０は、アークイオンプレーティング法により切削工具の基材であるワーク（被コーティング物）に硬質皮膜を成膜する装置である。アークイオンプレーティング法は、真空アーク放電を利用して固体材料を蒸発させるイオンプレーティング法の一種である。アークイオンプレーティング法は、蒸発した材料のイオン化率が高く、密着性に優れた皮膜が形成できるため、切削工具の成膜に適している。硬質皮膜は、例えば、ＴｉＮ、ＴｉＡｌＮ、ＴｉＣＮ、ＣｒＮなどである。
　成膜装置３０は、真空排気システム５１０、加熱冷却システム５２０、蒸発源システム５３０、テーブルシステム５４０、プロセスガスシステム５５０、エッチングシステム５６０、及びチャンバー５７０を含む。
　真空排気システム５１０は、排気装置５１１を含み、チャンバー５７０の内部を真空にする。排気装置５１１は、チャンバー５７０内の空気を排気するためのポンプなどを含む。
　加熱冷却システム５２０は、ヒータ電源部５２１及びヒータ５２２を含み、ワーク５４５を加熱する。ヒータ電源部５２１は、ヒータ５２２に電力を供給する電源回路である。ヒータ５２２は、チャンバー５７０内に設けられ、ヒータ電源部５２１から供給される電力によって発熱する。また、加熱冷却システム５２０は、ヒータ５２２の発熱を停止させることでワーク５４５を冷却する。
　蒸発源システム５３０は、ターゲット（成膜形成材料）を蒸発させるシステムである。蒸発源システム５３０は、アークカソード５３１及びアーク電源部５３２を含む。アーク電源部５３２は、アークカソード５３１に放電電流を供給する電源回路である。アークカソード５３１は、ターゲットを含み、アーク電源部５３２から供給された電力によって、チャンバー５７０の内壁との間で真空アーク放電を発生させる。真空アーク放電が開始されると、カソード表面上に数μｍ径のアークスポットと呼ばれる溶融領域が発生する。アークスポットには、高密度の電流が集中し、カソード表面は瞬時に溶融蒸発される。この真空アーク放電により、ワーク５４５の表面が成膜される。
　図１の例では、２対のアークカソード５３１及びアーク電源部５３２が図示されているが、これは一例であり、アークカソード５３１及びアーク電源部５３２は、１対であってもよいし、３対以上であってもよい。
　テーブルシステム５４０は、ワーク５４５を搭載する回転テーブルである。テーブルシステム５４０は、テーブル５４１、テーブル駆動部５４２、及びバイアス電源部５４３を含む。テーブル５４１は、チャンバー５７０内に設けられている。ワーク５４５はテーブル５４１上に載置される。テーブル駆動部５４２は、モータなどを含み、テーブル５４１を回転させる。バイアス電源部５４３は、テーブル５４１を介してワーク５４５に負の電位を与える。
　プロセスガスシステム５５０は、チャンバー５７０内に反応性皮膜を形成するためのプロセスガスを導入する。
　エッチングシステム５６０は、放電電源部５６１、一対のフィラメント電極５６２、及び一対のびフィラメント電極５６２間に設けられたフィラメント（図略）を含む。放電電源部５６１は一対のフィラメント電極５６２を介してフィラメントに放電電流を供給する電源回路である。エッチングシステム５６０は、アークカソード５３１及びフィラメント間並びにチャンバー５７０の内壁及びフィラメント間にアルゴンプラズマを発生させる。このアルゴンプラズマの発生により、ワーク５４５の表面が清浄化される。この洗浄化において、アークカソード５３１及びチャンバー５７０の内壁はアノードとして機能し、フィラメントはカソードとして機能する。
　チャンバー５７０は、ワーク５４５を収容する容器である。チャンバー５７０は、真空排気システム５１０によって内部が真空状態にされ、真空状態を維持する。
　図２は、実施の形態１における機械学習システムの全体構成図である。機械学習システムは、サーバ１０、通信装置２０、及び成膜装置３０を含む。サーバ１０及び通信装置２０はネットワーク４０を介して相互に通信可能に接続されている。通信装置２０及び成膜装置３０はネットワーク５０を介して相互に通信可能に接続されている。ネットワーク４０は、例えばインターネットなどの広域通信網である。ネットワーク５０は、例えばローカルエリアネットワークである。サーバ１０は、例えば１以上のコンピュータで構成されるクラウドサーバである。通信装置２０は、例えば成膜装置３０を使用するユーザが所持するコンピュータである。通信装置２０は、成膜装置３０をネットワーク４０に接続するゲートウェイとして機能する。通信装置２０は、ユーザ自身が所持するコンピュータに専用のアプリケーションソフトウェアをインストールすることで実現される。或いは通信装置２０は、成膜装置３０の製造メーカがユーザに提供する専用の装置であってもよい。成膜装置３０は、図１で説明した成膜装置である。
　以下、各装置の構成を具体的に説明する。サーバ１０は、プロセッサ１００及び通信部１０１を含む。プロセッサ１００は、ＣＰＵなどを含む制御装置である。プロセッサ１００は、報酬計算部１１０、更新部１２０、決定部１３０、学習制御部１４０を含む。プロセッサ１００が備える各ブロックは、コンピュータを機械学習システムにおけるサーバ１０として機能させる機械学習プログラムをプロセッサ１００が実行することで実現されてもよいし、専用の電気回路で実現されてもよい。
　報酬計算部１１０は、状態観測部３２１が観測した状態変数に基づいて、少なくとも１つの成膜条件の決定結果に対する報酬を計算する。
　更新部１２０は、状態観測部３２１が観測した状態変数から少なくとも１つの成膜条件を決定するための関数を、報酬計算部１１０によって計算された報酬に基づいて更新する。関数としては、後述の行動価値関数が採用される。
　決定部１３０は、関数の更新を繰り返すことによって、報酬が最も多く得られる少なくとも１つの成膜条件を決定する。
　学習制御部１４０は、機械学習の全体制御を司る。本実施の形態の機械学習システムは強化学習によって成膜条件を学習する。強化学習とは、エージェント（行動主体）が環境の状況に基づいてある行動を選択し、選択した行動に基づいて環境を変化させ、環境変化に伴う報酬をエージェントに与えることにより、エージェントにより良い行動の選択を学習させる機械学習手法である。強化学習としては、Ｑ学習及びＴＤ学習が採用できる。以下の説明では、Ｑ学習を例に挙げて説明する。本実施の形態では、報酬計算部１１０、更新部１２０、決定部１３０、学習制御部１４０、及び後述する状態観測部３２１がエージェントに相当する。
　通信部１０１は、サーバ１０をネットワーク４０に接続する通信回路で構成される。通信部１０１は、状態観測部３２１により観測された状態変数を通信装置２０を介して受信する。通信部１０１は、決定部１３０が決定した成膜条件を通信装置２０を介して成膜装置３０に送信する。本実施の形態において、通信部１０１は、状態変数を取得する状態取得部の一例である。
　通信装置２０は、送信器２０１及び受信器２０２を含む。送信器２０１は、成膜装置３０から送信された状態変数をサーバ１０に送信すると共に、サーバ１０から送信された成膜条件を成膜装置３０に送信する。受信器２０２は、成膜装置３０から送信された状態変数を受信すると共に、サーバ１０から送信された成膜条件を受信する。
　成膜装置３０は、図１で示す構成の他、通信部３１０、プロセッサ３２０、メモリ３３０、センサ部３４０、及び入力部３５０を含む。
　通信部３１０は、成膜装置３０をネットワーク５０に接続するための通信回路である。通信部３１０は、状態観測部３２１によって観測された状態変数をサーバ１０に送信する。通信部３１０は、サーバ１０の決定部１３０が決定した成膜条件を受信する。通信部３１０は、学習制御部１４０が決定した後述する成膜実行コマンドを受信する。
　プロセッサ３２０は、ＣＰＵなどを含む制御装置である。プロセッサ３２０は、状態観測部３２１、成膜実行部３２２、及び入力判定部３２３を含む。通信部３１０は、状態観測部３２１が取得した状態変数をサーバ１０に送信する。プロセッサ３２０が備える各ブロックは、例えばＣＰＵが機械学習システムの成膜装置３０として機能させる機械学習プログラムを実行することで実現される。
　状態観測部３２１は、成膜実行後において、センサ部３４０が検出した物理量を取得する。状態観測部３２１は、成膜実行後において成膜の性能評価に関する少なくとも１つの物理量と、少なくとも１つの成膜条件とを含む状態変数を観測する。具体的には、状態観測部３２１は、センサ部３４０の計測値に基づいて成膜条件を取得する。また、状態観測部３２１は、センサ部３４０の計測値などに基づいて物理量を取得する。
　図４は、成膜条件の一例を示す図である。成膜条件は、大きく中分類に分類される。中分類には、真空排気システム５１０に関する第１パラメータと、加熱冷却システム５２０に関する第２パラメータと、蒸発源システム５３０に関する第３パラメータと、テーブルシステム５４０に関する第４パラメータと、プロセスガスシステム５５０に関する第５パラメータとのうちの少なくとも１つのパラメータが含まれる。さらに、中分類には、エッチングシステム５６０に関する第６パラメータが含まれていても良い。
　第１パラメータは、排気速度、到達圧力、残留ガス種、残留ガス分圧、及びＰ－Ｑ特性の少なくとも１つを含む。排気速度は、真空排気システム５１０がチャンバー５７０内の空気や残留ガス、導入されたプロセスガスを排気する速度である。排気速度は、例えば真空排気システム５１０を構成するポンプの性能値から計算によって得られる。或いは、排気速度は、圧力センサと排気時間から算出される計測値であってもよい。到達圧力は、成膜プロセス開始前のチャンバー５７０内の圧力である。到達圧力は、例えば真空排気システム５１０を構成するポンプの性能値から計算によって得られる。或いは、到達圧力は、圧力センサの計測値であってもよい。残留ガス種は、チャンバー５７０内に残留するガスであり、不純物である。残留ガス種は、例えば、窒素、酸素、水分、及び水素などである。残留ガス種は、後述する残留ガスの分圧に基づいて決定される。残留ガス分圧は、チャンバー５７０内に残留する複数の残留ガスの分圧である。残留ガス分圧は、四重極形質量分析計などの真空残留ガスモニタの計測によって得られる。Ｐ－Ｑ特性は、チャンバー内圧力（Ｐ）と流量（Ｑ）との関係を示す特性である。Ｐ－Ｑ特性は、例えば流量センサで検知されたチャンバー５７０内のガスの流量と圧力センサの計測値から計算によって得られる。
　第２パラメータは、ヒータ温度、ワーク温度、ヒータ昇温速度、ワーク昇温速度、ヒータ出力、ヒータ温度精度、ワーク温度精度、ヒータ温度／ワーク温度、ヒータ温度分布、ワーク温度分布、冷却ガス種、冷却ガス圧力、及びワーク冷却速度の少なくとも１つを含む。
　ヒータ温度は、ヒータ５２２の温度である。ヒータ温度は、例えば温度センサ（熱電対）の計測値である。ワーク温度は、ワーク５４５の温度である。ワーク温度は、例えばワーク５４５の近傍に設けられた温度センサの計測値である。ヒータ昇温速度は、ヒータ５２２が昇温する際のヒータ温度の変化速度である。ヒータ昇温速度は、ヒータ温度の時系列変化から得られる。ワーク昇温温度は、ワーク５４５が昇温する際のワーク温度の変化速度である。ワーク昇温速度は、ワーク温度の時系列変化から得られる。
　ヒータ出力は、ヒータ５２２の出力である。ヒータ出力は、ヒータ電源部５２１の設定値から計算により得られる。ヒータ出力は、ヒータに供給される電流値と電圧値とのセンサによる計測値から計算されてもよい。
　ヒータ温度精度は、ヒータ温度のバラツキを示す値である。ヒータ温度精度は過去のヒータ温度の計測値から計算される。ワーク温度精度は、ワーク温度のバラツキを示す値である。ワーク温度精度は過去のワーク温度の計測値から計算される。ヒータ温度／ワーク温度は、ヒータ５２２のワーク５４５に対する応答特性である。
　ヒータ温度分布は、ヒータ５２２の温度分布である。ヒータ温度分布はヒータ５２２の周囲に設けられた複数の温度センサの計測値から得られる。ワーク温度分布は、ワーク５４５の温度分布である。ワーク温度分布は、ワーク５４５の周囲に設けられた複数の温度センサの計測値から得られる。
　冷却ガス種は、チャンバー５７０内を冷却するガスの種別を示す情報であり、予め入力された入力値である。冷却ガス圧力は、冷却ガスの圧力である。冷却ガス圧力は、チャンバー５７０内に設けられた圧力センサによる計測値である。ワーク冷却速度は、ワーク５４５の冷却速度である。ワーク冷却速度は、ワーク５４５の近傍に設けられた温度センサが検出したワーク温度の時系列変化から得られる。
　第３パラメータは、ターゲット組成、ターゲット厚さ、ターゲット製法、アーク放電電圧、アーク放電電流、蒸発源磁場、蒸発源コイル電流、及びアーク点火特性のうちの少なくとも１つを含む。ターゲット組成は、ターゲットを構成する物質の組成である。ターゲット厚さは、ターゲットの厚みである。ターゲット製法は、ターゲットの製造方法である。ターゲット組成、ターゲット厚さ、ターゲット製法は、予め入力された入力値である。
　アーク放電電圧は、アーク電源部５３２がアークカソード５３１に供給する電圧であり、センサによる計測値である。アーク放電電流は、アーク電源部５３２がアークカソード５３１に供給する電流であり、センサによる計測値である。
　蒸発源磁場は、蒸発源システム５３０に含まれる永久磁束が放出する磁場の位置及び強度である。蒸発源磁場は予め入力された入力値である。蒸発源コイル電流は、蒸発源システム５３０に含まれるコイルに流れる電流であり、センサによる計測値である。アーク点火特性は、アーク点火時のアーク表面の電圧及び電流の挙動である。アーク点火特性は、アーク放電電圧及びアーク放電電流のあるタイミングの計測値から得られる。
　第４パラメータは、バイアス電圧、バイアス電流、ＯＬ回数、ＯＬ時間変化、バイアス電圧波形、バイアス電流波形、ワーク回転数、ワーク形状、ワーク搭載量、ワーク搭載方法、及びワーク材質の少なくとも１つを含む。
　バイアス電圧は、バイアス電源部５４３がワーク５４５に供給するバイアス電圧であり、センサによる計測値である。バイアス電流は、バイアス電源部５４３がワーク５４５に供給するバイアス電流であり、センサによる計測値である。
　ＯＬ（ＯｖｅｒＬｏａｄ）回数は、テーブルシステムまたはワークでの異常放電回数であり、センサによる計測値である。ＯＬ時間変化は、単位時間あたりのＯＬ回数である。バイアス電圧波形は、バイアス電圧の波形であり、センサによる計測値から得られる。バイアス電圧波形は特にパルスバイアス時の電圧波形である。バイアス電流波形は、バイアス電流の波形であり、センサによる計測値から得られる。ワーク回転数は、ワーク５４５の単位時間あたりの回転数であり、テーブル５４１の単位時間あたりの回転数と、ワーク５４５がテーブル５４１上で自転する際の単位時間あたりの回転数とを含む。ワーク回転数は、例えばセンサによる検出値である。ワーク形状は、ワーク５４５の形状を示す数値であり、予め入力された入力値である。ワーク搭載量は、ワーク５４５の搭載量（例えば重量）であり、予め入力された入力値である。ワーク搭載方法は、テーブル５４１に対するワーク５４５の搭載方法であり、予め入力された入力値である。ワーク材質は、ワーク５４５の材質であり、予め入力された入力値である。
　第５パラメータは、ガス流量、ガス種、及びガス圧の少なくとも１つを含む。ガス流量は、プロセスガスの流量である。ガス種は、プロセスガスの種類を示す情報である。ガス圧力は、プロセスガスの圧力である。これらは、例えばセンサの検出値である。
　第６パラメータは、フィラメント加熱電流、フィラメント加熱電圧、フィラメント径、放電電流、及び放電電圧の少なくとも１つを含む。フィラメント加熱電流は、エッチングシステム５６０を構成する一対のフィラメント電極５６２を加熱するための加熱電流であり、センサによる計測値である。フィラメント加熱電圧は、一対のフィラメント電極５６２を加熱するための加熱電圧であり、センサによる計測値である。
　フィラメント径は、一対のフィラメント電極５６２のそれぞれの直径であり、予め入力された入力値である。なお、フィラメント径は、計算によって算出されてもよい。放電電流は、一対のフィラメント電極５６２の放電電流であり、センサによる計測値である。放電電圧は、一対のフィラメント電極５６２の放電電圧であり、センサによる計測値である。
　図５は、実施の形態１に係る物理量の一例を示す図である。物理量は、大きく中分類に分類される。中分類には、膜質特性、機械的特性、及び物理的特性のうちの少なくとも１つを含む。膜質特性は、膜厚、粗さ、表面性状、組成、結晶構造、膜微細組織、結晶性、結晶粒径、残留応力、密度、パーティクル量、及びパーティクルサイズの少なくとも１つが含まれる。
　膜厚は、皮膜の厚さである。表面性状は、表面粗さを含む表面の形態である。組成は、皮膜の組成である。結晶構造は、皮膜の結晶構造である。膜微細組織は、一般的な意味であり、結晶の形態や配向性などの微細組織構造を表す。結晶性は、結晶になっている割合である。結晶粒径は、結晶粒の大きさである。残留応力は、皮膜の内部応力である。
　膜厚は膜厚計測器により得られる。粗さは粗さ計により得られる。表面性状は顕微鏡又は粗さ計により得られる。組成はＸ線分光法によって得られる。結晶構造、膜微細組織、結晶性、結晶粒径、及び残留応力はＸ線回折法又は電子顕微鏡によって得られる。
　密度は、皮膜を構成する粒子の密度である。パーティクル量は皮膜に含まれるゴミの量である。パーティクルサイズは皮膜に含まれるゴミの大きさである。密度はＸ線反射法により得られる。パーティクル量及びパーティクルサイズは顕微鏡又は画像処理により得られる。
　機械的特性は、硬さ、弾性率、耐摩耗性、耐エロージョン特性、高温強度、及び高温クリープの少なくとも１を含む。硬さは、硬さ試験機又はナノインデンタにより得られる。弾性率はナノインデンタにより得られる。耐摩耗性は摺動試験や耐摩耗試験により得られる。耐エロージョン特性はサンドブラストによるけずれ量である。高温強度及び高温クリープはナノインデンタにより得られる。
　物理的特性は、摩擦係数、耐酸化性、密着性、及び熱伝導率の少なくとも１つを含む。摩擦係数は摺動試験により得られる。耐酸化性はＸ線解析法又は組成分析により得られる。密着性は圧痕法又はスクラッチ試験により得られる。熱伝導率は熱伝導測定により得られる。
　図２に参照を戻す。成膜実行部３２２は、成膜装置３０の成膜運転を制御する。入力判定部３２３は、量産工程であるか否かを自動又は手動により判定する。入力判定部３２３は、量産工程であるか否かを自動で判定する場合、入力部３５０に入力された条件番号の入力回数が基準回数を超えた場合、成膜装置３０は量産工程にあると判定する。条件番号とは、ある１つの成膜条件を特定するための識別番号である。条件番号により特定される成膜条件は、少なくとも図４に示す成膜条件のうちＩｎｐｕｔと記載された成膜条件を含む。
　入力判定部３２３は、量産工程であるか否かを手動により判定する場合において、入力部３５０に量産工程である旨のデータが入力された場合、成膜装置３０は量産工程にあると判定する。量産工程にある場合、成膜装置３０は機械学習を行わない。
　メモリ３３０は、例えば不揮発性の記憶装置であり、最終的に決定された最適な成膜条件などを記憶する。センサ部３４０は、図４に例示された成膜条件及び図５に例示された物理量の計測に用いられる各種センサである。入力部３５０は、キーボード、及びマウスなどの入力装置である。
　図３は、図２に示す機械学習システムにおける処理の一例を示すフローチャートである。ステップＳ１では、学習制御部１４０は、入力部３５０を用いてユーザにより入力された、成膜条件の入力値を取得する。ここで取得される入力値は、図４に列記された成膜条件のうち、Ｉｎｐｕｔと記載された成膜条件に対する入力値である。
　ステップＳ２では、学習制御部１４０は、少なくとも１つの成膜条件と成膜条件に対する設定値とを決定する。ここで、設定対象となる成膜条件は、図４に列挙された成膜条件のうち、Ｉｎｐｕｔと記載された成膜条件以外の成膜条件であって、設定値が設定可能な少なくとも１つの成膜条件である。ここで、決定される成膜条件の設定値は強化学習における行動に相当する。
　具体的には、学習制御部１４０は、設定対象となる成膜条件のそれぞれについて設定値をランダムに選択する。ここで、設定値は、成膜条件のそれぞれについて所定の範囲内からランダムに選択される。
　ステップＳ３では、学習制御部１４０は、成膜装置３０に成膜実行コマンドを送信することで、成膜装置３０に成膜運転を開始させる。成膜実行コマンドが通信部３１０により受信されると、成膜実行部３２２は、成膜実行コマンドにしたがって成膜条件を設定し、成膜運転を開始する。成膜実行コマンドには、ステップＳ１で設定された成膜条件の入力値及びステップＳ２で決定された成膜条件の設定値などが含まれる。
　成膜運転が終了すると、状態観測部３２１は、状態変数を観測する（ステップＳ４）。具体的には、状態観測部３２１は、図５に記載された成膜評価に関する物理量と、図４に記載された成膜条件のうちセンサなどによって状態が観測される成膜条件とを状態変数として取得する。物理量は、例えばユーザが入力部３５０を操作することによって成膜装置３０に入力されてもよいし、物理量を計測する計測器と成膜装置３０が通信することで成膜装置３０に入力されてもよい。状態観測部３２１は、取得した状態変数を通信部３１０を介してサーバ１０に送信する。
　ステップＳ５では、決定部１３０は、物理量を評価する。ここで、決定部１３０は、ステップＳ４で取得された物理量のうち評価対象となる物理量（以下、対象物理量と呼ぶ。）が所定の基準値に到達しているか否かを判定することで物理量を評価する。対象物理量は、図５に列記された物理量のうち１又は複数の物理量である。対象物理量が複数の場合、基準値は、各対象物理量に対応する複数の基準値が存在することになる。基準値は、例えば、皮膜が一定の基準に到達していることを示す予め定められた値が採用できる。
　決定部１３０は、対象物理量が基準値に到達していると判定した場合（ステップＳ６でＹＥＳ）、ステップＳ２で設定した成膜条件を最終的な成膜条件として出力する（ステップＳ７）。一方、決定部１３０は、物理量が基準値に到達していないと判定した場合（ステップＳ６でＮＯ）、処理をステップＳ８に進める。なお、対象物理量が複数の場合、決定部１３０は、全ての対象物理量が基準値に到達した場合、ステップＳ６でＹＥＳと判定すればよい。
　ステップＳ８では、報酬計算部１１０は、対象物理量が基準値に近づいているか否かを判定する。対象物理量が基準値に近づいている場合（ステップＳ８でＹＥＳ）、報酬計算部１１０は、エージェントに対する報酬を増大させる（ステップＳ９）。一方、対象物理量が基準値に近づいていない場合（ステップＳ８でＮＯ）、報酬計算部１１０は、エージェントに対する報酬を減少させる（ステップＳ１０）。この場合、報酬計算部１１０は、予め定められた報酬の増減値にしたがって報酬を増減させればよい。なお、対象物理量が複数の場合、報酬計算部１１０は、複数の対象物理量のそれぞれについて、ステップＳ８の判定を行えばよい。この場合、報酬計算部１１０は、複数の対象物理量のそれぞれについて、ステップＳ８の判定結果に基づいて報酬を増減させればよい。また、報酬の増減値は対象物理量に応じて異なる値が採用されてもよい。
　ステップＳ１１では、更新部１２０は、エージェントに付与した報酬を用いて行動価値関数を更新する。本実施の形態で採用されるＱ学習は、ある環境状態ｓの下で、行動ａを選択することへの価値であるＱ値（Ｑ（ｓ，ａ））を学習する方法である。なお、環境状態ｓｔは、上記のフローの状態変数に相当する。そして、Ｑ学習では、ある環境状態ｓのときに、Ｑ（ｓ，ａ）の最も高い行動ａが選択される。Ｑ学習では、試行錯誤により、ある環境状態ｓの下で様々な行動ａをとり、そのときの報酬を用いて正しいＱ（ｓ，ａ）が学習される。行動価値関数Ｑ（ｓｔ，ａｔ）の更新式は以下の式（１）で示される。
Figure JPOXMLDOC01-appb-M000001
　ここで、ｓｔ，ａｔは、それぞれ、時刻ｔにおける環境状態と行動とを表す。行動ａｔにより、環境状態はｓｔ＋１に変化し、その環境状態の変化によって、報酬ｒｔ＋１が算出される。また、ｍａｘの付いた項は、環境状態ｓｔ＋１の下で、その時に分かっている最も価値の高い行動ａを選んだ場合のＱ値（Ｑ（ｓｔ＋１，ａ））にγを掛けたものである。ここで、γは割引率であり、０＜γ≦１（通常は０．９～０．９９）の値をとる。αは学習係数であり、０＜α≦１（通常は０．１程度）の値をとる。
　この更新式は、状態ｓにおける行動ａのＱ値であるＱ（ｓｔ，ａｔ）よりも、行動ａによる次の環境状態ｓｔ＋１における最良の行動をとったときのＱ値に基づくγ・ｍａｘＱ（ｓｔ＋１，ａ）の方が大きければ、Ｑ（ｓｔ，ａｔ）を大きくする。一方、この更新式は、Ｑ（ｓｔ，ａｔ）よりもγ・ｍａｘＱ（ｓｔ＋１，ａ）の方が小さければ、Ｑ（ｓｔ，ａｔ）を小さくする。つまり、ある状態ｓｔにおけるある行動ａの価値を、それによる次の状態ｓｔ＋１における最良の行動の価値に近づけるようにしている。これにより、ワーク５４５を成膜するのに最適な状態、つまり、少なくとも一つの最適な成膜条件が決定される。
　ステップＳ１１の処理が終了すると、処理はステップＳ２に戻り、選択済みの成膜条件の設定値が変更されたり、未選択の成膜条件が次の成膜条件として選択されたりして、同様にして行動価値関数が更新される。更新部１２０は、行動価値関数を更新したが、本発明はこれに限定されず、行動価値テーブルを更新してもよい。
　Ｑ（ｓ，ａ）は、全ての状態と行動とのペア（ｓ，ａ）に対する値がテーブル形式で保存されてもよい。或いは、Ｑ（ｓ，ａ）は、全ての状態と行動とのペア（ｓ，ａ）に対する値を近似する近似関数によって表されてもよい。この近似関数は多層構造のニューラルネットワークにより構成されてもよい。この場合、ニューラルネットワークは、実際に成膜装置３０を動かして得られたデータをリアルタイムで学習し、次の行動に反映させるオンライン学習を行えばよい。これにより、深層強化学習が実現される。
　従来、成膜装置においては、良好な皮膜が得られるように成膜条件を変化させることによって成膜条件の開発が行われてきた。良好な皮膜を得るためには、皮膜の評価と成膜条件との関係性を見出すことが要求される。しかし、図４に示されるように成膜条件の種類は膨大であるため、このような関係性を規定するには極めて多くの物理モデルが必要となり、物理モデルによってこのような関係性を記述するのは困難であるとの知見が得られた。さらに、このような物理モデルを構築するには、どのパラメータがどの皮膜の評価に影響を与えているのかを人為的に見いだすことも要求され、この構築は困難である。
　このように、実施の形態１によれば、上述した第１～第６のパラメータのうちの少なくとも１つのパラメータと、成膜の性能評価に関する、膜質特性、機械的特性、及び物理的特性のうちの少なくとも１つの物理量とが状態変数として観測される。そして、観測された状態変数に基づいて、成膜条件の決定結果に対する報酬が計算され、計算された報酬に基づいて、状態変数から成膜条件を決定するための行動価値関数が更新され、この更新が繰り返されて報酬が最も多く得られる成膜条件が学習される。このように、実施の形態１は、上述の物理モデルを用いることなく、機械学習により成膜条件が決定される。その結果、実施の形態１は、切削工具に対する適切な成膜条件を容易に決定できる。
　（実施の形態２）
　実施の形態２の成膜装置３０は、装飾性を高める目的でワークに装飾皮膜を成膜する装置である。ワークは、例えば、腕時計及びネックレス等の装飾品、又は携帯電話の筐体、自動車のバンパーなどである。装飾皮膜は、例えば、ＴｉＮ、ＴｉＡｌＮ、ＴｉＣＮ、ＣｒＮ、ＤＬＣ（ダイアモンドライクカーボン）などである。実施の形態２の機械学習システムは、装飾皮膜に関する適切な成膜条件を機械学習するものである。
　なお、実施の形態２において実施の形態１と同じ構成要素については同一の符号を付して説明を省略する。また、実施の形態２において、成膜装置３０の構成は図２と同じであり、成膜装置３０の処理は図３と同じであり、成膜条件の一例は図４と同じである。実施の形態２において実施の形態１との大きな相違点は物理量にある。図６は、実施の形態２に係る物理量の一例を示す図である。
　物理量は、大きく中分類に分類される。中分類には、膜質特性及び物理的特性のうちの少なくとも１つが含まれる。膜質特性は実施の形態１と同じである。物理的特性は、密着性及び光学特性の少なくとも１つを含む。密着性は皮膜の基材への密着の度合いを示し、圧痕法又はスクラッチ試験により得られる。光学特性は皮膜の色彩、艶感、又は質感を示す。光学特性は、分光測色計により計測される。
　このように、実施の形態２によれば、上述した第１～第６のパラメータのうちの少なくとも１つのパラメータと、成膜の性能評価に関する、膜質特性及び物理的特性のうちの少なくとも１つの物理量とが状態変数として観測される。そして、観測された状態変数に基づいて、成膜条件の決定結果に対する報酬が計算され、計算された報酬に基づいて、状態変数から成膜条件を決定するための行動価値関数が更新され、この更新が繰り返されて報酬が最も多く得られる成膜条件が学習される。したがって、実施の形態２は、上述の物理モデルを用いることなく、機械学習により成膜条件が決定される。その結果、実施の形態２は、装飾皮膜に対する適切な成膜条件を容易に決定できる。
　（実施の形態３）
　実施の形態３の成膜装置３０は、ワークに保護用の保護用皮膜を成膜する装置である。ワークは、例えば切削工具、射出形成用の金型、スクリュー等である。保護用皮膜は、例えば、ＴｉＮ、ＴｉＡｌＮ、ＴｉＣＮ、ＣｒＮなどである。実施の形態３の機械学習システムは、保護用皮膜に関する適切な成膜条件を機械学習するものである。
　なお、実施の形態３において実施の形態１と同じ構成要素については同一の符号を付して説明を省略する。また、実施の形態３において、成膜装置３０の構成は図２と同じであり、成膜装置３０の処理は図３と同じであり、成膜条件の一例は図４と同じである。実施の形態３において実施の形態１との大きな相違点は物理量にある。
　図７は、実施の形態３に係る物理量の一例を示す図である。物理量は、大きく中分類に分類される。中分類には、膜質特性、機械的特性、及び物理的特性のうちの少なくとも１つを含む。膜質特性及び機械的特性は実施の形態１と同じである。
　物理的特性は、摩擦係数、耐酸化性、密着性、熱伝導率、凝着性、耐食性、耐薬品性、及び表面化学親和性の少なくとも１つを含む。摩擦係数は摺動試験により得られる。耐酸化性はＸ線回折法又は組成分析により得られる。密着性は皮膜の基材の密着度合を示し、圧痕法又はスクラッチ試験により得られる。熱伝導率は熱伝導測定により得られる。凝着性は摺動試験又は顕微鏡観察により得られる。耐食性は皮膜の腐食のし難さを示し、腐食液噴霧試験や浸漬試験により得られる。耐薬品性は皮膜の薬品による腐食のし難さを示し、塗布試験や浸漬試験により得られる。表面化学親和性は皮膜表面と外部環境物質との化学的な親和性を示し、表面化学分析によって得られる。
　図７に示す物理量は、保護用皮膜の用途に応じて異なる。図７において丸マークは、耐摩耗用途、耐食用途、及び耐熱用途のそれぞれについて要求される物理量を示している。
　例えば、膜質特性は、耐摩耗用途、耐食用途、及び耐熱用途のそれぞれについて要求される物理量は同じである。
　耐摩耗用途については、例えば、機械的特性は図７に列記された全ての物理量のうちの少なくとも１つの物理量が要求され、物理的特性は摩擦係数、耐酸化性、密着性、熱伝導率、凝着性、耐食性、及び表面化学親和性のうちの少なくとも１つの物理量が要求される。
　耐食用途については、機械的特性は省かれていてもよく、物理的特性は耐酸化性、耐食性、耐薬品性、及び表面化学親和性のうちの少なくとも１つの物理量が要求される。なお、図７の表中のハイフンは該当する物理量を積極的に排除するという意味ではなく、該当する物理量が含まれていてもよいことを意味する。
　耐熱用途については、機械的特性は、硬さ、弾性率、高温強度、及び高温クリープのうちの少なくとも１つの物理量が要求され、物理的特性は耐酸化性、密着性、及び熱伝導率のうちの少なくとも１つの物理量が要求される。
　このように、実施の形態３によれば、上述した第１～第６のパラメータのうちの少なくとも１つのパラメータと、成膜の性能評価に関する、膜質特性及び物理的特性のうちの少なくとも１つの物理量とが状態変数として観測される。そして、観測された状態変数に基づいて、成膜条件の決定結果に対する報酬が計算され、計算された報酬に基づいて、状態変数から成膜条件を決定するための行動価値関数が更新され、この更新が繰り返されて報酬が最も多く得られる成膜条件が学習される。したがって、実施の形態３は、上述の物理モデルを用いることなく、機械学習により成膜条件が決定される。その結果、実施の形態３は、保護用皮膜に対する適切な成膜条件を容易に決定できる。
　（実施の形態４）
　実施の形態４の成膜装置３０は、ワーク表面の硬度を向上させるためにワークの表面に摺動皮膜を成膜する装置である。ワークは、例えば、エンジンやピストン等の摺動部品である。摺動皮膜は、例えば、ＴｉＮ、ＴｉＡｌＮ、ＴｉＣＮ、ＣｒＮ、ＤＬＣ（ダイアモンドライクカーボン）などである。実施の形態４の機械学習システムは、摺動皮膜に関する適切な成膜条件を機械学習するものである。
　なお、実施の形態４において実施の形態１と同じ構成要素については同一の符号を付して説明を省略する。また、実施の形態４において、成膜装置３０の構成は図２と同じであり、成膜装置３０の処理は図３と同じであり、成膜条件の一例は図４と同じである。実施の形態４において実施の形態１との大きな相違点は物理量にある。図８は、実施の形態４に係る物理量の一例を示す図である。物理量は、大きく中分類に分類される。中分類には、膜質特性、機械的特性、及び物理的特性のうちの少なくとも１つを含む。膜質特性は実施の形態１と同じである。
　機械的特性は、硬さ、弾性率、及び耐摩耗性の少なくとも１つを含む。硬さは、硬さ試験機又はナノインデンタにより得られる。弾性率はナノインデンタにより得られる。耐摩耗性は摺動試験や耐摩耗試験により得られる。
　物理的特性は、摩擦係数、耐酸化性、密着性、熱伝導率、凝着性、耐食性、及び表面化学親和性の少なくとも１つを含む。摩擦係数は摺動試験により得られる。耐酸化性はＸ線解析法又は組成分析により得られる。密着性は皮膜の基材の密着度合を示し、圧痕法又はスクラッチ試験により得られる。熱伝導率は熱伝導測定により得られる。凝着性は摺動試験又は顕微鏡観察により得られる。耐食性は皮膜の腐食のし難さを示し、腐食液噴霧試験や浸漬試験により得られる。表面化学親和性は外部環境物質と皮膜表面との化学的な親和性を示し、表面化学分析によって得られる。
　このように、実施の形態４によれば、上述した第１～第６のパラメータのうちの少なくとも１つのパラメータと、成膜の性能評価に関する、膜質特性、機械的特性、及び物理的特性のうちの少なくとも１つの物理量とが状態変数として観測される。そして、観測された状態変数に基づいて、成膜条件の決定結果に対する報酬が計算され、計算された報酬に基づいて、状態変数から成膜条件を決定するための行動価値関数が更新され、この更新が繰り返されて報酬が最も多く得られる成膜条件が学習される。したがって、実施の形態４は、上述の物理モデルを用いることなく、機械学習により成膜条件が決定される。その結果、本実施の形態は、摺動皮膜に対する適切な成膜条件を容易に決定できる。
　なお、本発明は以下の変形例が採用できる。
　（１）図９は、本発明の変形例に係る機械学習システムの全体構成図である。この変形例に係る機械学習システムは、成膜装置３０Ａ単体で構成されている。成膜装置３０Ａは、プロセッサ３２０Ａ、入力部３９１、及びセンサ部３９２を含む。プロセッサ３２０Ａは、機械学習部３７０及び成膜部３８０を含む。機械学習部３７０は、報酬計算部３７１、更新部３７２、決定部３７３、及び学習制御部３７４を含む。報酬計算部３７１～学習制御部３７４は、それぞれ、図２に示す報酬計算部１１０～学習制御部１４０と同じである。状態観測部３８１、成膜実行部３８２、及び入力判定部３８３は、それぞれ図２に示す状態観測部３２１、成膜実行部３２２、及び入力判定部３２３と同じである。入力部３９１及びセンサ部３９２は、それぞれ図２に示す入力部３５０及びセンサ部３４０と同じである。本変形例において状態観測部３８１は、状態情報を取得する状態取得部の一例である。
　このようにこの変形例に係る機械学習システムによれば、成膜装置３０Ａ単体で最適な成膜条件を学習させることができる。
　（２）上記のフローでは、成膜運転の終了後に状態変数が観測されていたが、これは一例であり、１回の成膜運転中に状態変数が複数観測されてもよい。例えば、状態変数が瞬時に計測可能なパラメータのみで構成されている場合、１回の成膜運転中に複数の状態変数を観測できる。これにより、学習時間の短縮が図られる。
　（３）上記実施の形態１～４では成膜装置３０はアークイオンプレーティング法で成膜する装置であったが、本発明はこれに限定されず、蒸着法など他の物理的気相成長法により成膜する装置であってもよい。
　本実施の形態をまとめると下記のようになる。
　本発明の一態様に係る機械学習方法は、基材であるワークに対して成膜する成膜装置の成膜条件を機械学習装置が決定する機械学習方法であって、前記成膜装置は、チャンバーを真空にするための真空排気システムと、前記チャンバーを加熱及び冷却する加熱冷却システムと、ターゲットを蒸発させる蒸発源システムと、ワークを載置するテーブルシステムと、前記チャンバーにプロセスガスを導入するプロセスガスシステムと、エッチングシステムとを含み、成膜の性能評価に関する少なくとも１つの物理量と、少なくとも１つの成膜条件とを含む状態変数を取得し、前記状態変数に基づいて、前記少なくとも１つの成膜条件の決定結果に対する報酬を計算し、前記状態変数から前記少なくとも１つの成膜条件を決定するための関数を、前記報酬に基づいて更新し、前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる成膜条件を決定し、前記少なくとも１つの成膜条件は、前記真空排気システムに関する第１パラメータと、前記加熱冷却システムに関する第２パラメータと、前記蒸発源システムに関する第３パラメータと、前記テーブルシステムに関する第４パラメータと、前記プロセスガスシステムに関する第５パラメータとのうちの少なくとも１つであり、前記少なくとも１つの物理量は、前記皮膜に関する、膜質特性、機械的特性、及び物理的特性のうちの少なくとも１つである。
　本構成によれば、真空排気システムに関する第１パラメータと、加熱冷却システムに関する第２パラメータと、蒸発源システムに関する第３パラメータと、テーブルシステムに関する第４パラメータと、プロセスガスシステムに関する第５パラメータとのうちの少なくとも１つの成膜条件と、成膜の性能評価に関する、膜質特性、機械的特性、及び物理的特性のうちの少なくとも１つの物理量とが状態変数として観測される。そして、観測された状態変数に基づいて、成膜条件の決定結果に対する報酬が計算され、計算された報酬に基づいて、状態変数から成膜条件を決定するための関数が更新され、この更新が繰り返されて報酬が最も多く得られる成膜条件が学習される。そのため、本構成は、基材に対する適切な成膜条件を容易に決定できる。
　上記構成において、前記第１パラメータは、排気速度、到達圧力、残留ガス種、残留ガス分圧、及びＰ－Ｑ特性の少なくとも１つであってもよい。
　本構成によれば、排気速度、到達圧力、残留ガス種、残留ガス分圧、及びＰ－Ｑ特性の少なくとも１つが真空排気システムに関する成膜条件とされて機械学習が行われているため、真空排気システムの状態を考慮に入れて適切な成膜条件を決定できる。
　上記構成において、前記第２パラメータは、前記加熱冷却システムを構成するヒータのヒータ温度、前記ワークの温度であるワーク温度、前記ヒータの昇温速度、前記ワークの昇温速度、前記ヒータの出力、前記ヒータの温度精度、前記ワークの温度精度、前記ヒータ温度及び前記ワーク温度の応答特性、前記ヒータの温度分布、及び前記ワークの温度分布の少なくとも１つであってもよい。
　本構成によれば、ヒータ温度、ワーク温度、ヒータの昇温速度、ワークの昇温速度、ヒータの出力、ヒータの温度精度、ワークの温度精度、ヒータ温度の応答特性、ワーク温度の応答特性、ヒータの温度分布、及びワークの温度分布の少なくとも１つが、加熱冷却システムに関する成膜条件とされて機械学習が行われているため、加熱冷却システムの状態を考慮に入れて適切な成膜条件を決定できる。
　上記構成において、前記第３パラメータは、前記ターゲットの組成、前記ターゲットの厚さ、前記ターゲットの製法、アーク放電電圧、アーク放電電流、蒸発源磁場、蒸発源コイル電流、及びアーク点火特性の少なくとも１つであってもよい。
　本構成によれば、ターゲットの組成、ターゲットの厚さ、ターゲットの製法、アーク放電電圧、アーク放電電流、蒸発源磁場、蒸発源コイル電流、及びアーク点火特性の少なくとも１つが蒸発源システムに関する成膜条件とされて機械学習が行われているため、蒸発源システムの状態を考慮に入れて適切な成膜条件を決定できる。
　上記構成において、前記第４パラメータは、前記ワークに対するバイアス電圧、前記ワークに対するバイアス電流、異常放電回数、前記異常放電の時間変化、前記バイアス電圧の波形、前記バイアス電流の波形、前記ワークの回転数、前記ワークの形状、前記ワークの搭載量、前記ワークの搭載方法、及び前記ワークの材質の少なくとも１つであってもよい。
　本構成によれば、バイアス電圧、バイアス電流、異常放電回数、異常放電の時間変化、バイアス電圧の波形、バイアス電流の波形、ワークの回転数、ワークの形状、ワークの搭載量、ワークの搭載方法、及びワークの材質の少なくとも１つがテーブルシステムに関する成膜条件として機械学習が行われているため、テーブルシステムの状態を考慮に入れて適切な成膜条件を決定できる。
　上記構成において、前記第５パラメータは、前記プロセスガスの流量、前記プロセスガスの種類、及び前記プロセスガスの圧力の少なくとも１つであってもよい。
　本構成によれば、プロセスガスの流量、プロセスガスの種類、及びプロセスガスの圧力の少なくとも１つがプロセスガスシステムに関する成膜条件として機械学習が行われているため、プロセスガスシステムの状態を考慮に入れて適切な成膜条件を決定できる。
　上記構成において、前記少なくとも１つの成膜条件は、さらに前記エッチングシステムに関する第６パラメータを含んでもよい。
　本構成によれば、エッチングシステムに関する成膜条件が考慮されて機械学習が行われているため、エッチングシステムの状態を考慮に入れて適切な成膜条件を決定できる。
　上記構成において、前記第６パラメータは、前記エッチングシステムのフィラメントを加熱するための加熱電流、前記フィラメントを加熱するための加熱電圧、前記フィラメントの直径、前記フィラメントの放電電流、及び前記フィラメントの放電電圧の少なくとも１つであってもよい。
　本構成によれば、フィラメントの加熱電流、フィラメントの加熱電圧、フィラメントの直径、フィラメントの放電電流、及びフィラメントの放電電圧の少なくとも１つがエッチングシステムに関する成膜条件として機械学習が行われているため、エッチングシステムの状態を考慮に入れて適切な成膜条件を決定できる。
　上記構成において、前記基材に対する皮膜は、前記基材である切削工具に対する皮膜、前記基材を装飾するための装飾皮膜、前記基材を保護するための保護用皮膜、前記基材である摺動部材の硬度を向上させるための摺動皮膜のいずれか１つであってもよい。
　本構成によれば、切削工具に対する皮膜の適切な成膜条件、装飾皮膜の適切な成膜条件、保護用皮膜の適切な成膜条件、及び摺動皮膜の適切な成膜条件のいずれか１つを決定できる。
　上記構成において、前記関数は深層強化学習を用いてリアルタイムで更新されてもよい。
　本構成によれば、関数の更新が深層強化学習を用いてリアルタイムで行われるため、関数の更新を正確かつ速やかに行うことができる。
　上述した機械学習方法の各処理は、機械学習装置により実装されてもよいし、機械学習プログラムに実装されて流通されてもよい。この機械学習装置は、サーバで構成されてもよいし、成膜装置で構成されてもよい。
　本発明の他の一態様に係る通信方法は、基材であるワークを成膜する成膜装置の成膜条件を機械学習する際の前記成膜装置の通信方法であって、前記成膜装置は、チャンバーを真空にするための真空排気システムと、前記チャンバーを加熱及び冷却する加熱冷却システムと、ターゲットを蒸発させる蒸発源システムと、ワークを載置するテーブルシステムと、前記チャンバーにプロセスガスを導入するプロセスガスシステムと、エッチングシステムと、通信部とを含み、成膜実行後において成膜の性能評価に関する少なくとも１つの物理量と、少なくとも１つの成膜条件とを含む状態変数を観測し、前記通信部を介して前記状態変数をネットワーク上に送信し、機械学習済みの少なくとも１つの成膜条件を受信し、前記少なくとも１つの成膜条件は、前記真空排気システムに関する第１パラメータと、前記加熱冷却システムに関する第２パラメータと、前記蒸発源システムに関する第３パラメータと、前記テーブルシステムに関する第４パラメータと、前記プロセスガスシステムに関する第５パラメータとのうちの少なくとも１つであり、前記少なくとも１つの物理量は、皮膜に関する、膜質特性、機械的特性、及び物理的特性のうちの少なくとも１つである。
　本構成によれば、成膜情報を機械学習する際に必要な情報が提供される。このような通信方法は、成膜装置にも実装可能である。
 

Claims (14)

  1. 　基材であるワークを成膜する成膜装置の成膜条件を機械学習装置が決定する機械学習方法であって、
    　前記成膜装置は、チャンバーを真空にするための真空排気システムと、前記チャンバーを加熱及び冷却する加熱冷却システムと、ターゲットを蒸発させる蒸発源システムと、ワークを載置するテーブルシステムと、前記チャンバーにプロセスガスを導入するプロセスガスシステムと、エッチングシステムとを含み、
    　成膜の性能評価に関する少なくとも１つの物理量と、少なくとも１つの成膜条件とを含む状態変数を取得し、
    　前記状態変数に基づいて、前記少なくとも１つの成膜条件の決定結果に対する報酬を計算し、
    　前記状態変数から前記少なくとも１つの成膜条件を決定するための関数を、前記報酬に基づいて更新し、
    　前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる成膜条件を決定し、
    　前記少なくとも１つの成膜条件は、前記真空排気システムに関する第１パラメータと、前記加熱冷却システムに関する第２パラメータと、前記蒸発源システムに関する第３パラメータと、前記テーブルシステムに関する第４パラメータと、前記プロセスガスシステムに関する第５パラメータとのうちの少なくとも１つであり、
    　前記少なくとも１つの物理量は、皮膜に関する、膜質特性、機械的特性、及び物理的特性のうちの少なくとも１つである、
    　機械学習方法。
  2. 　前記第１パラメータは、排気速度、到達圧力、残留ガス種、残留ガス分圧、及びＰ－Ｑ特性の少なくとも１つである、
    　請求項１記載の機械学習方法。
  3. 　前記第２パラメータは、前記加熱冷却システムを構成するヒータのヒータ温度、前記ワークの温度であるワーク温度、前記ヒータの昇温速度、前記ワークの昇温速度、前記ヒータの出力、前記ヒータの温度精度、前記ワークの温度精度、前記ヒータ温度及び前記ワーク温度の応答特性、前記ヒータの温度分布、及び前記ワークの温度分布の少なくとも１つである、
    　請求項１記載の機械学習方法。
  4. 　前記第３パラメータは、前記ターゲットの組成、前記ターゲットの厚さ、前記ターゲットの製法、アーク放電電圧、アーク放電電流、蒸発源磁場、蒸発源コイル電流、及びアーク点火特性の少なくとも１つである、
    　請求項１記載の機械学習方法。
  5. 　前記第４パラメータは、前記ワークに対するバイアス電圧、前記ワークに対するバイアス電流、異常放電回数、異常放電の時間変化、前記バイアス電圧の波形、前記バイアス電流の波形、前記ワークの回転数、前記ワークの形状、前記ワークの搭載量、前記ワークの搭載方法、及び前記ワークの材質の少なくとも１つである、
    　請求項１記載の機械学習方法。
  6. 　前記第５パラメータは、前記プロセスガスの流量、前記プロセスガスの種類、及び前記プロセスガスの圧力の少なくとも１つである、
    　請求項１記載の機械学習方法。
  7. 　前記少なくとも１つの成膜条件は、さらに前記エッチングシステムに関する第６パラメータを含む、
    　請求項１記載の機械学習方法。
  8. 　前記第６パラメータは、前記エッチングシステムのフィラメントを加熱するための加熱電流、前記フィラメントを加熱するための加熱電圧、前記フィラメントの直径、前記フィラメントの放電電流、及び前記フィラメントの放電電圧の少なくとも１つである、
    　請求項７記載の機械学習方法。
  9. 　前記基材に対する皮膜は、前記基材である切削工具に対する皮膜、前記基材を装飾するための装飾皮膜、前記基材を保護するための保護用皮膜、前記基材である摺動部材の硬度を向上させるための摺動皮膜のいずれか１つである、
    　請求項１記載の機械学習方法。
  10. 　前記関数は深層強化学習を用いてリアルタイムで更新される、
    　請求項１～９のいずれかに記載の機械学習方法。
  11. 　基材であるワークを成膜する成膜装置の成膜条件を決定する機械学習装置であって、
    　前記成膜装置は、チャンバーを真空にするための真空排気システムと、前記チャンバーを加熱及び冷却する加熱冷却システムと、ターゲットを蒸発させる蒸発源システムと、ワークを載置するテーブルシステムと、前記チャンバーにプロセスガスを導入するプロセスガスシステムと、エッチングシステムとを含み、
    　成膜の性能評価に関する少なくとも１つの物理量と、少なくとも１つの成膜条件とを含む状態変数を取得する状態取得部と、
    　前記状態変数に基づいて、前記少なくとも１つの成膜条件の決定結果に対する報酬を計算する報酬計算部と、
    　前記状態変数に基づいて前記少なくとも１つの成膜条件を決定するための関数を、前記報酬に基づいて更新する更新部と、
    　前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる成膜条件を決定する決定部とを備え、
    　前記少なくとも１つの成膜条件は、前記真空排気システムに関する第１パラメータと、前記加熱冷却システムに関する第２パラメータと、前記蒸発源システムに関する第３パラメータと、前記テーブルシステムに関する第４パラメータと、前記プロセスガスシステムに関する第５パラメータとのうちの少なくとも１つであり、
    　前記少なくとも１つの物理量は、皮膜に関する、膜質特性、機械的特性、及び物理的特性のうちの少なくとも１つである、
    　機械学習装置。
  12. 　基材であるワークを成膜する成膜装置の成膜条件を決定する機械学習装置としてコンピュータを機能させるコンピュータ読み取り可能な機械学習プログラムであって、
    　前記成膜装置は、チャンバーを真空にするための真空排気システムと、前記チャンバーを加熱及び冷却する加熱冷却システムと、ターゲットを蒸発させる蒸発源システムと、ワークを載置するテーブルシステムと、前記チャンバーにプロセスガスを導入するプロセスガスシステムと、エッチングシステムとを含み、
    　成膜の性能評価に関する少なくとも１つの物理量と、少なくとも１つの成膜条件とを含む状態変数を取得する状態取得部と、
    　前記状態変数に基づいて、前記少なくとも１つの成膜条件の決定結果に対する報酬を計算する報酬計算部と、
    　前記状態変数に基づいて前記少なくとも１つの成膜条件を決定するための関数を、前記報酬に基づいて更新する更新部と、
    　前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる成膜条件を決定する決定部としてコンピュータを機能させ、
    　前記少なくとも１つの成膜条件は、前記真空排気システムに関する第１パラメータと、前記加熱冷却システムに関する第２パラメータと、前記蒸発源システムに関する第３パラメータと、前記テーブルシステムに関する第４パラメータと、前記プロセスガスシステムに関する第５パラメータとのうちの少なくとも１つであり、
    　前記少なくとも１つの物理量は、皮膜に関する、膜質特性、機械的特性、及び物理的特性のうちの少なくとも１つである、
    　機械学習プログラム。
  13. 　基材であるワークを成膜する成膜装置の成膜条件を機械学習する際の前記成膜装置の通信方法であって、
    　前記成膜装置は、チャンバーを真空にするための真空排気システムと、前記チャンバーを加熱及び冷却する加熱冷却システムと、ターゲットを蒸発させる蒸発源システムと、ワークを載置するテーブルシステムと、前記チャンバーにプロセスガスを導入するプロセスガスシステムと、エッチングシステムと、通信部とを含み、
    　成膜実行後において成膜の性能評価に関する少なくとも１つの物理量と、少なくとも１つの成膜条件とを含む状態変数を観測し、
    　前記通信部を介して前記状態変数をネットワーク上に送信し、機械学習済みの少なくとも１つの成膜条件を受信し、
    　前記少なくとも１つの成膜条件は、前記真空排気システムに関する第１パラメータと、前記加熱冷却システムに関する第２パラメータと、前記蒸発源システムに関する第３パラメータと、前記テーブルシステムに関する第４パラメータと、前記プロセスガスシステムに関する第５パラメータとのうちの少なくとも１つであり、
    　前記少なくとも１つの物理量は、皮膜に関する、膜質特性、機械的特性、及び物理的特性のうちの少なくとも１つである、
    　通信方法。
  14. 　基材であるワークを成膜する成膜装置であって、
    　チャンバーを真空にするための真空排気システムと、
    　前記チャンバーを加熱及び冷却する加熱冷却システムと、
    　ターゲットを蒸発させる蒸発源システムと、
    　ワークを載置するテーブルシステムと、
    　前記チャンバーにプロセスガスを導入するプロセスガスシステムと、
    　エッチングシステムと、
    　成膜実行後において成膜の性能評価に関する少なくとも１つの物理量と、少なくとも１つの成膜条件とを含む状態変数を観測する状態観測部と、
    　前記状態変数をネットワーク上に送信し、機械学習済みの少なくとも１つの成膜条件を受信する通信部とを備え、
    　前記少なくとも１つの成膜条件は、前記真空排気システムに関する第１パラメータと、前記加熱冷却システムに関する第２パラメータと、前記蒸発源システムに関する第３パラメータと、前記テーブルシステムに関する第４パラメータと、前記プロセスガスシステムに関する第５パラメータとのうちの少なくとも１つであり、
    　前記少なくとも１つの物理量は、皮膜に関する、膜質特性、機械的特性、及び物理的特性のうちの少なくとも１つである、
    　成膜装置。
PCT/JP2020/027465 2019-07-16 2020-07-15 機械学習方法、機械学習装置、機械学習プログラム、通信方法、及び成膜装置 WO2021010415A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP20839994.9A EP3978644A4 (en) 2019-07-16 2020-07-15 MACHINE LEARNING METHOD, MACHINE LEARNING DEVICE, MACHINE LEARNING PROGRAM, COMMUNICATION METHOD AND FILM FORMING DEVICE
CN202080050307.6A CN114080470B (zh) 2019-07-16 2020-07-15 机器学习方法、机器学习装置、通信方法及成膜装置
KR1020227002676A KR20220025846A (ko) 2019-07-16 2020-07-15 기계 학습 방법, 기계 학습 장치, 기계 학습 프로그램, 통신 방법, 및 성막 장치
US17/626,018 US20220251700A1 (en) 2019-07-16 2020-07-15 Machine learning method, machine learning device, machine learning program, communication method, and film-forming device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019131218 2019-07-16
JP2019-131218 2019-07-16
JP2019215681A JP6737944B1 (ja) 2019-07-16 2019-11-28 機械学習方法、機械学習装置、機械学習プログラム、通信方法、及び成膜装置
JP2019-215681 2019-11-28

Publications (1)

Publication Number Publication Date
WO2021010415A1 true WO2021010415A1 (ja) 2021-01-21

Family

ID=71949387

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/027465 WO2021010415A1 (ja) 2019-07-16 2020-07-15 機械学習方法、機械学習装置、機械学習プログラム、通信方法、及び成膜装置

Country Status (6)

Country Link
US (1) US20220251700A1 (ja)
EP (1) EP3978644A4 (ja)
JP (1) JP6737944B1 (ja)
KR (1) KR20220025846A (ja)
CN (1) CN114080470B (ja)
WO (1) WO2021010415A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022026701A (ja) * 2020-07-31 2022-02-10 株式会社神戸製鋼所 機械学習方法、機械学習装置、機械学習プログラム、通信方法、及び制御装置
JP2022070134A (ja) * 2020-10-26 2022-05-12 株式会社神戸製鋼所 機械学習方法、機械学習装置、機械学習プログラム、通信方法、及び樹脂処理装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0437944B2 (ja) * 1984-07-06 1992-06-22 Ngk Insulators Ltd
JP2004083975A (ja) * 2002-08-26 2004-03-18 Kobe Steel Ltd アークイオンプレーティング装置
JP2013044047A (ja) * 2011-08-26 2013-03-04 Kobe Steel Ltd 真空成膜装置
JP2014114507A (ja) 2012-11-14 2014-06-26 Kobe Steel Ltd 成膜装置
JP2015224348A (ja) * 2014-05-26 2015-12-14 株式会社神戸製鋼所 ダイヤモンドライクカーボン膜の成膜方法
WO2018039251A1 (en) * 2016-08-22 2018-03-01 Oracle International Corporation System and method for inferencing of data transformations through pattern decomposition
JP2019040984A (ja) * 2017-08-24 2019-03-14 株式会社日立製作所 探索装置及び探索方法
JP2019086468A (ja) * 2017-11-09 2019-06-06 株式会社Ｎｔｔファシリティーズ 制振制御システム、制振制御方法、振動解析装置及び振動解析方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05190458A (ja) * 1991-11-15 1993-07-30 Fuji Electric Co Ltd 学習予測・指示機能付半導体製造装置
US9997338B2 (en) * 2005-03-24 2018-06-12 Oerlikon Surface Solutions Ag, Pfäffikon Method for operating a pulsed arc source
EP2730677B1 (en) * 2011-07-06 2016-09-28 Kabushiki Kaisha Kobe Seiko Sho Vacuum film formation device
BR112016020156A2 (pt) * 2014-05-08 2018-05-08 Halliburton Energy Services Inc sistema, e, métodos para fabricar e para formar um dispositivo de película ótica fina
CN104635772B (zh) * 2014-12-08 2017-02-08 南京信息工程大学 一种制造系统自适应动态调度方法
JP6126174B2 (ja) * 2015-07-31 2017-05-10 ファナック株式会社 機械学習装置、アーク溶接制御装置、アーク溶接ロボットシステムおよび溶接システム
US9972478B2 (en) * 2016-09-16 2018-05-15 Lam Research Corporation Method and process of implementing machine learning in complex multivariate wafer processing equipment
JP6549546B2 (ja) * 2016-10-18 2019-07-24 北海道瓦斯株式会社 融雪制御装置、ニューラルネットワークの学習方法、融雪制御方法及び融雪制御用プログラム
CN109778133A (zh) * 2019-02-26 2019-05-21 佛山市佛欣真空技术有限公司 真空镀膜工艺中基于互联网的工艺参数调整方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0437944B2 (ja) * 1984-07-06 1992-06-22 Ngk Insulators Ltd
JP2004083975A (ja) * 2002-08-26 2004-03-18 Kobe Steel Ltd アークイオンプレーティング装置
JP2013044047A (ja) * 2011-08-26 2013-03-04 Kobe Steel Ltd 真空成膜装置
JP2014114507A (ja) 2012-11-14 2014-06-26 Kobe Steel Ltd 成膜装置
JP2015224348A (ja) * 2014-05-26 2015-12-14 株式会社神戸製鋼所 ダイヤモンドライクカーボン膜の成膜方法
WO2018039251A1 (en) * 2016-08-22 2018-03-01 Oracle International Corporation System and method for inferencing of data transformations through pattern decomposition
JP2019040984A (ja) * 2017-08-24 2019-03-14 株式会社日立製作所 探索装置及び探索方法
JP2019086468A (ja) * 2017-11-09 2019-06-06 株式会社Ｎｔｔファシリティーズ 制振制御システム、制振制御方法、振動解析装置及び振動解析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3978644A4

Also Published As

Publication number Publication date
KR20220025846A (ko) 2022-03-03
EP3978644A4 (en) 2022-08-10
JP6737944B1 (ja) 2020-08-12
CN114080470A (zh) 2022-02-22
CN114080470B (zh) 2024-05-07
US20220251700A1 (en) 2022-08-11
JP2021014638A (ja) 2021-02-12
EP3978644A1 (en) 2022-04-06

Similar Documents

Publication Publication Date Title
WO2021010415A1 (ja) 機械学習方法、機械学習装置、機械学習プログラム、通信方法、及び成膜装置
CN109715848B (zh) 复杂多变量晶片处理设备中实现机器学习的方法和过程
Khorasani et al. Modeling of TiC-N thin film coating process on drills using particle swarm optimization algorithm
US10262840B2 (en) Plasma processing apparatus
JP2021017650A (ja) 評価方法、評価装置、評価プログラム、生成方法、通信方法、及び成膜装置
BE1025251B1 (nl) Feedback systeem
KR20170028980A (ko) 막후 모니터 및 막후 측정 방법
JP7481185B2 (ja) 機械学習方法、機械学習装置、機械学習プログラム、通信方法、及び成膜装置
JP7481184B2 (ja) 機械学習方法、機械学習装置、機械学習プログラム、通信方法、及び成膜装置
JP7401405B2 (ja) 機械学習方法、機械学習装置、機械学習プログラム、通信方法、及び成膜装置
WO2021010413A1 (ja) 機械学習方法、機械学習装置、機械学習プログラム、通信方法、及び成膜装置
JP2021017649A (ja) 機械学習方法、機械学習装置、機械学習プログラム、通信方法、及び成膜装置
Yunus et al. Prediction of mechanical properties of plasma sprayed thermal barrier coatings (TBCs) with genetic programming (GP)
Jaya et al. Hybrid RSM-fuzzy modeling for hardness prediction of TiAlN coatings
CN105339521A (zh) 用于执行稳定的反应溅射工艺的靶老化补偿方法
JP2021017648A (ja) 評価方法、評価装置、評価プログラム、生成方法、通信方法、及び成膜装置
JP2018014403A (ja) プラズマ処理装置及びプラズマ処理データを解析する解析方法
Martí-González et al. Mechanical and surface characterization of diamond-like carbon coatings onto polymeric substrate
US20160177440A1 (en) Method and Apparatus for the Multi-Layer and Multi-Component Coating of Thin Films on Substrates, and Multi-Layer and Multi-Component Coatings
CN112084688B (zh) 阴极寿命预测方法
Schwaller et al. Rapid depth profiling of lead zirconate titanate (PZT) thin films by pulsed glow‐discharge optical emission spectroscopy
BE1025541B1 (nl) Weergave-inrichting
JP2013219401A (ja) プラズマ処理方法のＲｕｎ−ｔｏ−Ｒｕｎ制御方法
CN104032264A (zh) 能在苛刻蒸发环境下进行薄膜沉积的镀膜系统
KR20110119095A (ko) 피막제조 시스템 및 그 제조방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20839994

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020839994

Country of ref document: EP

Effective date: 20211229

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20227002676

Country of ref document: KR

Kind code of ref document: A