JP7481184B2 - Machine learning method, machine learning device, machine learning program, communication method, and film formation device - Google Patents
Machine learning method, machine learning device, machine learning program, communication method, and film formation device Download PDFInfo
- Publication number
- JP7481184B2 JP7481184B2 JP2020121055A JP2020121055A JP7481184B2 JP 7481184 B2 JP7481184 B2 JP 7481184B2 JP 2020121055 A JP2020121055 A JP 2020121055A JP 2020121055 A JP2020121055 A JP 2020121055A JP 7481184 B2 JP7481184 B2 JP 7481184B2
- Authority
- JP
- Japan
- Prior art keywords
- machine learning
- film formation
- workpiece
- condition
- heating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000015572 biosynthetic process Effects 0.000 title claims description 122
- 238000010801 machine learning Methods 0.000 title claims description 66
- 238000000034 method Methods 0.000 title claims description 59
- 238000004891 communication Methods 0.000 title claims description 36
- 238000010438 heat treatment Methods 0.000 claims description 59
- 230000008569 process Effects 0.000 claims description 44
- 238000001704 evaporation Methods 0.000 claims description 40
- 238000001816 cooling Methods 0.000 claims description 35
- 230000008020 evaporation Effects 0.000 claims description 33
- 239000011253 protective coating Substances 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 30
- 238000011156 evaluation Methods 0.000 claims description 25
- 239000011248 coating agent Substances 0.000 claims description 24
- 238000000576 coating method Methods 0.000 claims description 24
- 238000000151 deposition Methods 0.000 claims description 24
- 230000008021 deposition Effects 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 21
- 238000005530 etching Methods 0.000 claims description 21
- 238000004519 manufacturing process Methods 0.000 claims description 19
- 230000001681 protective effect Effects 0.000 claims description 19
- 239000000463 material Substances 0.000 claims description 17
- 239000000203 mixture Substances 0.000 claims description 17
- 238000010891 electric arc Methods 0.000 claims description 16
- 238000005260 corrosion Methods 0.000 claims description 15
- 230000007797 corrosion Effects 0.000 claims description 15
- 238000009826 distribution Methods 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 12
- 239000000758 substrate Substances 0.000 claims description 10
- 230000002787 reinforcement Effects 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 5
- 238000013459 approach Methods 0.000 claims description 4
- 230000003247 decreasing effect Effects 0.000 claims description 2
- 238000005086 pumping Methods 0.000 claims 1
- 239000007789 gas Substances 0.000 description 49
- 230000009471 action Effects 0.000 description 25
- 238000005259 measurement Methods 0.000 description 12
- 239000000126 substance Substances 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000007613 environmental effect Effects 0.000 description 9
- 238000011068 loading method Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 239000013078 crystal Substances 0.000 description 8
- 239000003795 chemical substances by application Substances 0.000 description 7
- 239000002245 particle Substances 0.000 description 7
- 239000000112 cooling gas Substances 0.000 description 6
- 238000005520 cutting process Methods 0.000 description 6
- 230000007423 decrease Effects 0.000 description 6
- 238000007733 ion plating Methods 0.000 description 6
- 230000003647 oxidation Effects 0.000 description 5
- 238000007254 oxidation reaction Methods 0.000 description 5
- 230000000704 physical effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- XKRFYHLGVUSROY-UHFFFAOYSA-N Argon Chemical compound [Ar] XKRFYHLGVUSROY-UHFFFAOYSA-N 0.000 description 3
- 238000005240 physical vapour deposition Methods 0.000 description 3
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- 238000002441 X-ray diffraction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 229910052786 argon Inorganic materials 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000009529 body temperature measurement Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000000465 moulding Methods 0.000 description 2
- 229910000760 Hardened steel Inorganic materials 0.000 description 1
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 1
- 229910010037 TiAlN Inorganic materials 0.000 description 1
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 description 1
- 238000000441 X-ray spectroscopy Methods 0.000 description 1
- 150000001485 argon Chemical class 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005229 chemical vapour deposition Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000003256 environmental substance Substances 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000007373 indentation Methods 0.000 description 1
- 238000001746 injection moulding Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- -1 moisture Chemical compound 0.000 description 1
- 150000004767 nitrides Chemical class 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 238000001028 reflection method Methods 0.000 description 1
- 238000005488 sandblasting Methods 0.000 description 1
- 239000011343 solid material Substances 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
Images
Landscapes
- Physical Vapour Deposition (AREA)
Description
本開示は、機械学習により成膜条件を学習する技術に関するものである。 This disclosure relates to a technology for learning film formation conditions through machine learning.
プラスチックやゴムの成形に用いられる金型や工具は成形中に腐食ガス等が発生して激しい腐食環境に曝される。そのため、このような金型や工具の表面には、PVD法や化学蒸着法によってTiN、CrN、TiCN等が成膜され、耐食性の向上が図られている(例えば、特許文献1)。 Molds and tools used in molding plastics and rubber are exposed to a severely corrosive environment, with corrosive gases and other substances being generated during molding. For this reason, films of TiN, CrN, TiCN, etc. are formed on the surfaces of such molds and tools by PVD or chemical vapor deposition to improve corrosion resistance (for example, Patent Document 1).
また、金属の切削加工中には切削工具が発熱して高温に曝されるため、高い耐熱性が要求される。そのため、このような切削工具にはPVD法により、TiAlNのような金属窒化物皮膜が工具の表面に成膜される(特許文献2)。 In addition, cutting tools generate heat during metal cutting and are exposed to high temperatures, so they require high heat resistance. For this reason, a metal nitride film such as TiAlN is formed on the surface of such cutting tools by the PVD method (Patent Document 2).
また、焼き入れ鋼等の高硬度材の切削工具では、優れた耐摩耗性が要求されるため、W、C等のターゲットを用いて、基材の表面にカソード型アークイオンプレーティング法で成膜する技術が開示されている(特許文献3)。 In addition, because cutting tools made of hardened steel and other high-hardness materials require excellent wear resistance, a technology has been disclosed in which a film is formed on the surface of a substrate using a cathodic arc ion plating method with targets of W, C, etc. (Patent Document 3).
このように、切削工具や金型においては基材を保護するために基材の表面に保護用皮膜を成膜することが行われている。 In this way, in cutting tools and dies, a protective coating is formed on the surface of the base material to protect the base material.
しかしながら、従来、このような保護用皮膜における成膜条件は熟練した技術者による長年の経験を頼りに決定されており、容易に決定することが困難であった。 However, in the past, the deposition conditions for such protective coatings were determined by skilled engineers based on their many years of experience, and were difficult to determine easily.
本発明は、上述の問題を解決するためになされたものであり、熟練した技術者による長年の経験に頼ることなく、保護用皮膜を成膜するための適切な成膜条件を容易に決定する機械学習装置等を提供することを目的とする。 The present invention has been made to solve the above-mentioned problems, and aims to provide a machine learning device etc. that can easily determine appropriate deposition conditions for depositing a protective coating without relying on the many years of experience of a skilled technician.
近年、ディープラーニングをはじめとする機械学習に関する様々なサービスがクラウド上で提供されており、ユーザはこのサービスを容易に利用することが可能になってきている。そこで、本発明者は、成膜条件と保護用皮膜の性能評価に関する物理量とを機械学習させれば、保護用皮膜に対する適切な成膜条件を容易に決定できるとの知見を得て本発明を想到するに至った。 In recent years, various services related to machine learning, including deep learning, have been provided on the cloud, and users have been able to easily use these services. The inventors of the present invention came up with the idea that appropriate film formation conditions for a protective film can be easily determined by machine learning the film formation conditions and physical quantities related to the performance evaluation of the protective film.
本発明の一態様に係る機械学習方法は、基材に保護用皮膜を成膜する成膜装置の成膜条件を機械学習装置が決定する機械学習方法であって、前記成膜装置は、チャンバーを真空にするための真空排気システムと、前記チャンバーを加熱及び冷却する加熱冷却システムと、ターゲットを蒸発させる蒸発源システムと、ワークを載置するテーブルシステムと、前記チャンバーにプロセスガスを導入するプロセスガスシステムと、エッチングシステムとを含み、前記保護用皮膜の性能評価に関する少なくとも1つの物理量と、少なくとも1つの成膜条件とを含む状態変数を取得し、前記状態変数に基づいて、前記少なくとも1つの成膜条件の決定結果に対する報酬を計算し、前記状態変数から前記少なくとも1つの成膜条件を決定するための関数を、前記報酬に基づいて更新し、前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる成膜条件を決定し、前記少なくとも1つの成膜条件は、前記真空排気システムに関する第1パラメータと、前記加熱冷却システムに関する第2パラメータと、前記蒸発源システムに関する第3パラメータと、前記テーブルシステムに関する第4パラメータと、前記プロセスガスシステムに関する第5パラメータとのうちの少なくとも1つであり、前記少なくとも1つの物理量は、膜質特性、機械的特性、及び物理的特性のうちの少なくとも1つである。 A machine learning method according to one aspect of the present invention is a machine learning method in which a machine learning device determines deposition conditions for a deposition apparatus that deposits a protective film on a substrate, the deposition apparatus including a vacuum exhaust system for evacuating a chamber, a heating and cooling system for heating and cooling the chamber, an evaporation source system for evaporating a target, a table system for placing a workpiece, a process gas system for introducing a process gas into the chamber, and an etching system, and obtains state variables including at least one physical quantity related to a performance evaluation of the protective film and at least one deposition condition, and determines a result of the determination of the at least one deposition condition based on the state variables. A reward is calculated for the film formation condition, a function for determining the at least one film formation condition from the state variables is updated based on the reward, and the film formation condition that obtains the greatest reward is determined by repeating the updating of the function, the at least one film formation condition being at least one of a first parameter related to the vacuum exhaust system, a second parameter related to the heating and cooling system, a third parameter related to the evaporation source system, a fourth parameter related to the table system, and a fifth parameter related to the process gas system, and the at least one physical quantity being at least one of a film quality characteristic, a mechanical characteristic, and a physical characteristic.
本構成によれば、真空排気システムに関する第1パラメータと、加熱冷却システムに関する第2パラメータと、蒸発源システムに関する第3パラメータと、テーブルシステムに関する第4パラメータと、プロセスガスシステムに関する第5パラメータとのうちの少なくとも1つの成膜条件と、保護用皮膜の性能評価に関する、膜質特性、機械的特性、及び物理的特性のうちの少なくとも1つの物理量とが状態変数として観測される。そして、観測された状態変数に基づいて、成膜条件の決定結果に対する報酬が計算され、計算された報酬に基づいて、状態変数から成膜条件を決定するための関数が更新され、この更新が繰り返されて報酬が最も多く得られる成膜条件が学習される。さらに、本構成は、保護用皮膜の評価に関する物理量として膜質特性、機械的特性、及び物理的特性の少なくとも1つが用いられて機械学習が行われている。そのため、本構成は、保護用皮膜に対する適切な成膜条件を容易に決定できる。 According to this configuration, at least one of the deposition conditions, the first parameter related to the vacuum exhaust system, the second parameter related to the heating and cooling system, the third parameter related to the evaporation source system, the fourth parameter related to the table system, and the fifth parameter related to the process gas system, and at least one physical quantity of the film quality characteristics, mechanical characteristics, and physical characteristics related to the performance evaluation of the protective film are observed as state variables. Then, based on the observed state variables, a reward for the determination result of the deposition conditions is calculated, and based on the calculated reward, a function for determining the deposition conditions from the state variables is updated, and this update is repeated to learn the deposition conditions that obtain the most reward. Furthermore, in this configuration, machine learning is performed using at least one of the film quality characteristics, mechanical characteristics, and physical characteristics as a physical quantity related to the evaluation of the protective film. Therefore, this configuration can easily determine appropriate deposition conditions for the protective film.
上記構成において、前記第1パラメータは、排気速度、到達圧力、残留ガス種、残留ガス分圧、及びP-Q特性の少なくとも1つであってもよい。 In the above configuration, the first parameter may be at least one of the exhaust speed, ultimate pressure, residual gas type, residual gas partial pressure, and P-Q characteristic.
本構成によれば、排気速度、到達圧力、残留ガス種、残留ガス分圧、及びP-Q特性の少なくとも1つが真空排気システムに関する成膜条件とされて機械学習が行われているため、真空排気システムの状態を考慮に入れて適切な成膜条件を決定できる。 According to this configuration, at least one of the exhaust speed, ultimate pressure, residual gas type, residual gas partial pressure, and P-Q characteristics is set as the film formation conditions related to the vacuum exhaust system and machine learning is performed, so that appropriate film formation conditions can be determined taking into account the state of the vacuum exhaust system.
上記構成において、前記第2パラメータは、前記加熱冷却システムを構成するヒータのヒータ温度、前記ワークの温度であるワーク温度、前記ヒータの昇温速度、前記ワークの昇温速度、前記ヒータの出力、前記ヒータの温度精度、前記ワークの温度精度、前記ヒータ温度及び前記ワーク温度の応答特性、前記ヒータの温度分布、及び前記ワークの温度分布の少なくとも1つであってもよい。 In the above configuration, the second parameter may be at least one of the heater temperature of a heater constituting the heating and cooling system, the work temperature which is the temperature of the work, the heating rate of the heater, the heating rate of the work, the output of the heater, the temperature accuracy of the heater, the temperature accuracy of the work, the response characteristics of the heater temperature and the work temperature, the temperature distribution of the heater, and the temperature distribution of the work.
本構成によれば、ヒータ温度、ワーク温度、ヒータの昇温速度、ワークの昇温速度、ヒータの出力、ヒータの温度精度、ワークの温度精度、ヒータ温度の応答特性、ワーク温度の応答特性、ヒータの温度分布、及びワークの温度分布の少なくとも1つが、加熱冷却システムに関する成膜条件とされて機械学習が行われているため、加熱冷却システムの状態を考慮に入れて適切な成膜条件を決定できる。 According to this configuration, machine learning is performed on at least one of the heater temperature, workpiece temperature, heater heating rate, workpiece heating rate, heater output, heater temperature accuracy, workpiece temperature accuracy, heater temperature response characteristics, workpiece temperature response characteristics, heater temperature distribution, and workpiece temperature distribution as film formation conditions related to the heating and cooling system, so that appropriate film formation conditions can be determined taking into account the state of the heating and cooling system.
上記構成において、前記第3パラメータは、前記ターゲットの組成、前記ターゲットの厚さ、前記ターゲットの製法、アーク放電電圧、アーク放電電流、蒸発源磁場、蒸発源コイル電流、及びアーク点火特性の少なくとも1つであってもよい。 In the above configuration, the third parameter may be at least one of the composition of the target, the thickness of the target, the manufacturing method of the target, the arc discharge voltage, the arc discharge current, the evaporation source magnetic field, the evaporation source coil current, and the arc ignition characteristics.
本構成によれば、ターゲットの組成、ターゲットの厚さ、ターゲットの製法、アーク放電電圧、アーク放電電流、蒸発源磁場、蒸発源コイル電流、及びアーク点火特性の少なくとも1つが蒸発源システムに関する成膜条件とされて機械学習が行われているため、蒸発源システムの状態を考慮に入れて適切な成膜条件を決定できる。 According to this configuration, machine learning is performed on at least one of the target composition, target thickness, target manufacturing method, arc discharge voltage, arc discharge current, evaporation source magnetic field, evaporation source coil current, and arc ignition characteristics as film formation conditions related to the evaporation source system, so that appropriate film formation conditions can be determined taking into account the state of the evaporation source system.
上記構成において、前記第4パラメータは、前記ワークに対するバイアス電圧、前記ワークに対するバイアス電流、異常放電回数、前記異常放電の時間変化、前記バイアス電圧の波形、前記バイアス電流の波形、前記ワークの回転数、前記ワークの形状、前記ワークの搭載量、前記ワークの搭載方法、及び前記ワークの材質の少なくとも1つを含んでもよい。 In the above configuration, the fourth parameter may include at least one of a bias voltage for the workpiece, a bias current for the workpiece, the number of abnormal discharges, a change in the abnormal discharge over time, a waveform of the bias voltage, a waveform of the bias current, a rotation speed of the workpiece, a shape of the workpiece, a loading amount of the workpiece, a loading method of the workpiece, and a material of the workpiece.
本構成によれば、バイアス電圧、バイアス電流、異常放電回数、異常放電の時間変化、バイアス電圧の波形、バイアス電流の波形、ワークの回転数、ワークの形状、ワークの搭載量、ワークの搭載方法、及びワークの材質の少なくとも1つがテーブルシステムに関する成膜条件として機械学習が行われているため、テーブルシステムの状態を考慮に入れて適切な成膜条件を決定できる。 According to this configuration, at least one of the bias voltage, bias current, number of abnormal discharges, time change of abnormal discharges, bias voltage waveform, bias current waveform, workpiece rotation speed, workpiece shape, workpiece loading amount, workpiece loading method, and workpiece material is machine-learned as a deposition condition related to the table system, so that appropriate deposition conditions can be determined taking into account the state of the table system.
上記構成において、前記第5パラメータは、前記プロセスガスの流量、前記プロセスガスの種類、及び前記プロセスガスの圧力の少なくとも1つであってもよい。 In the above configuration, the fifth parameter may be at least one of the flow rate of the process gas, the type of the process gas, and the pressure of the process gas.
本構成によれば、プロセスガスの流量、プロセスガスの種類、及びプロセスガスの圧力の少なくとも1つがプロセスガスシステムに関する成膜条件として機械学習が行われているため、プロセスガスシステムの状態を考慮に入れて適切な成膜条件を決定できる。 According to this configuration, at least one of the process gas flow rate, the process gas type, and the process gas pressure is learned by machine learning as a film formation condition related to the process gas system, so that appropriate film formation conditions can be determined taking into account the state of the process gas system.
上記構成において、前記少なくとも1つの成膜条件は、さらに前記エッチングシステムに関する第6パラメータを含んでもよい。 In the above configuration, the at least one film formation condition may further include a sixth parameter related to the etching system.
本構成によれば、エッチングシステムに関する成膜条件が考慮されて機械学習が行われているため、エッチングシステムの状態を考慮に入れて適切な成膜条件を決定できる。 With this configuration, machine learning is performed taking into account the deposition conditions related to the etching system, so appropriate deposition conditions can be determined taking into account the state of the etching system.
上記構成において、前記第6パラメータは、前記エッチングシステムのフィラメントを加熱するための加熱電流、前記フィラメントを加熱するための加熱電圧、前記フィラメントの直径、前記フィラメントの放電電流、及び前記フィラメントの放電電圧の少なくとも1つであってもよい。 In the above configuration, the sixth parameter may be at least one of a heating current for heating a filament of the etching system, a heating voltage for heating the filament, a diameter of the filament, a discharge current of the filament, and a discharge voltage of the filament.
本構成によれば、フィラメントの加熱電流、フィラメントの加熱電圧、フィラメントの直径、フィラメントの放電電流、及びフィラメントの放電電圧の少なくとも1つがエッチングシステムに関する成膜条件として機械学習が行われているため、エッチングシステムの状態を考慮に入れて適切な成膜条件を決定できる。 According to this configuration, at least one of the filament heating current, filament heating voltage, filament diameter, filament discharge current, and filament discharge voltage is machine-learned as a deposition condition for the etching system, so that appropriate deposition conditions can be determined taking into account the state of the etching system.
上記構成において、前記保護用皮膜が耐摩耗用途又は耐熱用途である場合、前記少なくとも1つの物理量は、前記膜質特性、前記機械的特性、及び物理的特性を含んでもよい。 In the above configuration, when the protective coating is used for wear resistance or heat resistance, the at least one physical quantity may include the film quality characteristics, the mechanical characteristics, and the physical characteristics.
本構成によれば、保護用皮膜が耐摩耗用途又は耐熱用途である場合、膜質特性、機械的特性、及び物理的特性が物理量として採用されている。そのため、耐摩耗用途又は耐熱用途に適した保護用皮膜を得ることが可能な成膜条件を容易に得ることができる。 According to this configuration, when the protective coating is used for wear resistance or heat resistance, the film quality characteristics, mechanical characteristics, and physical characteristics are used as physical quantities. Therefore, it is easy to obtain film formation conditions that can obtain a protective coating suitable for wear resistance or heat resistance.
上記構成において、前記保護用皮膜が耐食用途である場合、前記少なくとも1つの物理量は、膜質特性及び前記物理的特性を含んでもよい。 In the above configuration, when the protective coating is used for corrosion resistance, the at least one physical quantity may include a film quality characteristic and the physical characteristic.
本構成によれば、保護用皮膜が耐食用途である場合、膜質特性及び物理的特性が物理量として採用されている。そのため、耐食用途に適した保護用皮膜を得ることが可能な成膜条件を容易に得ることができる。 According to this configuration, when the protective film is used for corrosion resistance, the film quality characteristics and physical characteristics are used as physical quantities. Therefore, it is easy to obtain film formation conditions that can obtain a protective film suitable for corrosion resistance applications.
上記構成において、前記関数は深層強化学習を用いてリアルタイムで更新されてもよい。 In the above configuration, the function may be updated in real time using deep reinforcement learning.
本態様によれば、関数の更新が深層強化学習を用いてリアルタイムで行われるため、関数の更新を正確かつ速やかに行うことができる。 According to this embodiment, the function is updated in real time using deep reinforcement learning, so the function can be updated accurately and quickly.
上記構成において、前記報酬の計算では、前記少なくとも1つの物理量が各物理量に対応する所定の基準値に近づいている場合、前記報酬を増大させ、前記少なくとも1つの物理量が各物理量に対応する基準値に近づいていない場合、前記報酬を減少させてもよい。 In the above configuration, in calculating the reward, if the at least one physical quantity is approaching a predetermined reference value corresponding to each physical quantity, the reward may be increased, and if the at least one physical quantity is not approaching the reference value corresponding to each physical quantity, the reward may be decreased.
本態様によれば、物理量が基準値に近づくにつれて報酬が増大されるため、物理量を速やかに基準値に到達させることができる。 According to this embodiment, the reward increases as the physical quantity approaches the reference value, so the physical quantity can be made to reach the reference value quickly.
上述した機械学習方法の各処理は、機械学習装置により実装されてもよいし、機械学習プログラムに実装されて流通されてもよい。この機械学習装置は、サーバで構成されてもよいし、成膜装置で構成されてもよい。 Each process of the above-mentioned machine learning method may be implemented by a machine learning device, or may be implemented in a machine learning program and distributed. This machine learning device may be configured as a server, or may be configured as a film forming device.
本発明の別の一態様に係る通信方法は、基材に保護用皮膜を成膜する成膜装置の成膜条件を機械学習する際の前記成膜装置の通信方法であって、前記成膜装置は、チャンバーを真空にするための真空排気システムと、前記チャンバーを加熱及び冷却する加熱冷却システムと、ターゲットを蒸発させる蒸発源システムと、ワークを載置するテーブルシステムと、前記チャンバーにプロセスガスを導入するプロセスガスシステムと、エッチングシステムと、通信部とを含み、前記保護用皮膜の性能評価に関する少なくとも1つの物理量と、少なくとも1つの成膜条件とを含む状態変数を観測し、前記状態変数をネットワーク上に送信し、機械学習済みの成膜条件を受信し、前記少なくとも1つの成膜条件は、前記真空排気システムに関する第1パラメータと、前記加熱冷却システムに関する第2パラメータと、前記蒸発源システムに関する第3パラメータと、前記テーブルシステムに関する第4パラメータと、前記プロセスガスシステムに関する第5パラメータとのうちの少なくとも1つであり、前記少なくとも1つの物理量は、膜質特性、機械的特性、及び物理的特性のうちの少なくとも1つである。 A communication method according to another aspect of the present invention is a communication method for a film forming apparatus that forms a protective film on a substrate when the film forming conditions of the film forming apparatus are learned by machine learning, the film forming apparatus includes a vacuum exhaust system for evacuating a chamber, a heating and cooling system for heating and cooling the chamber, an evaporation source system for evaporating a target, a table system for placing a workpiece, a process gas system for introducing a process gas into the chamber, an etching system, and a communication unit, and observes state variables including at least one physical quantity related to performance evaluation of the protective film and at least one film forming condition, transmits the state variables onto a network, and receives the film forming condition that has been learned by machine learning, the at least one film forming condition is at least one of a first parameter related to the vacuum exhaust system, a second parameter related to the heating and cooling system, a third parameter related to the evaporation source system, a fourth parameter related to the table system, and a fifth parameter related to the process gas system, and the at least one physical quantity is at least one of a film quality characteristic, a mechanical characteristic, and a physical characteristic.
本構成によれば、成膜条件を機械学習する際に必要な情報が提供される。このような通信方法は、成膜装置にも実装可能である。 This configuration provides the information necessary for machine learning of film formation conditions. This type of communication method can also be implemented in film formation devices.
本発明によれば、保護用皮膜の適切な成膜条件を熟練した技術者により長年の経験を頼らずに容易に決定できる。 According to the present invention, a skilled technician can easily determine the appropriate deposition conditions for the protective coating without relying on years of experience.
図1は、実施の形態に係る機械学習システムに適用される成膜装置の全体構成図である。成膜装置30は、アークイオンプレーティング法により基材であるワーク(被コーティング物)に保護用の硬質皮膜(以下、保護用皮膜)を成膜する装置である。ワークとしては、例えば切削工具、射出形成用の金型、スクリュー等が採用できる。アークイオンプレーティング法は、真空アーク放電を利用して固体材料を蒸発させるイオンプレーティング法の一種である。アークイオンプレーティング法は、蒸発した材料のイオン化率が高く、密着性に優れた皮膜が形成できるため、保護用皮膜の成膜に適している。
Figure 1 is an overall configuration diagram of a film forming apparatus applied to a machine learning system according to an embodiment. The
成膜装置30は、真空排気システム510、加熱冷却システム520、蒸発源システム530、テーブルシステム540、プロセスガスシステム550、エッチングシステム560、及びチャンバー570を含む。
The
真空排気システム510は、排気装置511を含み、チャンバー570の内部を真空にする。排気装置511は、チャンバー570内の空気を排気するためのポンプなどを含む。
The
加熱冷却システム520は、ヒータ電源部521及びヒータ522を含み、ワーク545を加熱する。ヒータ電源部521は、ヒータ522に電力を供給する電源回路である。ヒータ522は、チャンバー570内に設けられ、ヒータ電源部521から供給される電力によって発熱する。また、加熱冷却システム520は、ヒータ522の発熱を停止させることでワーク545を冷却する。
The heating and
蒸発源システム530は、ターゲット(成膜形成材料)を蒸発させるシステムである。蒸発源システム530は、アークカソード531及びアーク電源部532を含む。アーク電源部532は、アークカソード531に放電電流を供給する電源回路である。アークカソード531は、ターゲットを含み、アーク電源部532から供給された電力によって、チャンバー570の内壁との間で真空アーク放電を発生させる。真空アーク放電が開始されると、カソード表面上に数μm径のアークスポットと呼ばれる溶融領域が発生する。アークスポットには、高密度の電流が集中し、カソード表面は瞬時に溶融蒸発される。この真空アーク放電により、ワーク545の表面が成膜される。
The
図1の例では、2対のアークカソード531及びアーク電源部532が図示されているが、これは一例であり、アークカソード531及びアーク電源部532は、1対であってもよいし、3対以上であってもよい。
In the example of FIG. 1, two pairs of
テーブルシステム540は、ワーク545を搭載する回転テーブルである。テーブルシステム540は、テーブル541、テーブル駆動部542、及びバイアス電源部543を含む。テーブル541は、チャンバー570内に設けられている。ワーク545はテーブル541上に載置される。テーブル駆動部542は、モータなどを含み、テーブル541を回転させる。バイアス電源部543は、テーブル541を介してワーク545に負の電位を与える。
The
プロセスガスシステム550は、チャンバー570内に反応性皮膜を形成するためのプロセスガスを導入する。
The
エッチングシステム560は、放電電源部561、一対のフィラメント電極562、及び一対のびフィラメント電極562間に設けられたフィラメント(図略)を含む。放電電源部561は一対のフィラメント電極562を介してフィラメントに放電電流を供給する電源回路である。エッチングシステム560は、アークカソード531及びフィラメント間並びにチャンバー570の内壁及びフィラメント間にアルゴンプラズマを発生させる。このアルゴンプラズマの発生により、ワーク545の表面が清浄化される。この洗浄化において、アークカソード531及びチャンバー570の内壁はアノードとして機能し、フィラメントはカソードとして機能する。
The
チャンバー570は、ワーク545を収容する容器である。チャンバー570は、真空排気システム510によって内部が真空状態にされ、真空状態を維持する。
The
図2は、実施の形態における機械学習システムの全体構成図である。機械学習システムは、サーバ10、通信装置20、及び成膜装置30を含む。サーバ10及び通信装置20はネットワーク40を介して相互に通信可能に接続されている。通信装置20及び成膜装置30はネットワーク50を介して相互に通信可能に接続されている。ネットワーク40は、例えばインターネットなどの広域通信網である。ネットワーク50は、例えばローカルエリアネットワークである。サーバ10は、例えば1以上のコンピュータで構成されるクラウドサーバである。通信装置20は、例えば成膜装置30を使用するユーザが所持するコンピュータである。通信装置20は、成膜装置30をネットワーク40に接続するゲートウェイとして機能する。通信装置20は、ユーザ自身が所持するコンピュータに専用のアプリケーションソフトウェアをインストールすることで実現される。或いは通信装置20は、成膜装置30の製造メーカがユーザに提供する専用の装置であってもよい。成膜装置30は、図1で説明した成膜装置である。
Figure 2 is an overall configuration diagram of a machine learning system in an embodiment. The machine learning system includes a
以下、各装置の構成を具体的に説明する。サーバ10は、プロセッサ100及び通信部101を含む。プロセッサ100は、CPUなどを含む制御装置である。プロセッサ100は、報酬計算部110、更新部120、決定部130、学習制御部140を含む。プロセッサ100が備える各ブロックは、コンピュータを機械学習システムにおけるサーバ10として機能させる機械学習プログラムをプロセッサ100が実行することで実現されてもよいし、専用の電気回路で実現されてもよい。
The configuration of each device will be described in detail below. The
報酬計算部110は、状態観測部321が観測した状態変数に基づいて、少なくとも1つの成膜条件の決定結果に対する報酬を計算する。
The
更新部120は、状態観測部321が観測した状態変数から少なくとも1つの成膜条件を決定するための関数を、報酬計算部110によって計算された報酬に基づいて更新する。関数としては、後述の行動価値関数が採用される。
The
決定部130は、少なくとも1つの成膜条件を変更しながら、関数の更新を繰り返すことによって、報酬が最も多く得られる少なくとも1つの成膜条件を決定する。
The
学習制御部140は、機械学習の全体制御を司る。本実施の形態の機械学習システムは強化学習によって成膜条件を学習する。強化学習とは、エージェント(行動主体)が環境の状況に基づいてある行動を選択し、選択した行動に基づいて環境を変化させ、環境変化に伴う報酬をエージェントに与えることにより、エージェントにより良い行動の選択を学習させる機械学習手法である。強化学習としては、Q学習及びTD学習が採用できる。以下の説明では、Q学習を例に挙げて説明する。本実施の形態では、報酬計算部110、更新部120、決定部130、学習制御部140、及び後述する状態観測部321がエージェントに相当する。
The
通信部101は、サーバ10をネットワーク40に接続する通信回路で構成される。通信部101は、状態観測部321により観測された状態変数を通信装置20を介して受信する。通信部101は、決定部130が決定した成膜条件を通信装置20を介して成膜装置30に送信する。本実施の形態において、通信部101は、状態変数を取得する状態取得部の一例である。
The
通信装置20は、送信器201及び受信器202を含む。送信器201は、成膜装置30から送信された状態変数をサーバ10に送信すると共に、サーバ10から送信された成膜条件を成膜装置30に送信する。受信器202は、成膜装置30から送信された状態変数を受信すると共に、サーバ10から送信された成膜条件を受信する。
The
成膜装置30は、図1で示す構成の他、通信部310、プロセッサ320、メモリ330、センサ部340、及び入力部350を含む。
In addition to the components shown in FIG. 1, the
通信部310は、成膜装置30をネットワーク50に接続するための通信回路である。通信部310は、状態観測部321によって観測された状態変数をサーバ10に送信する。通信部310は、サーバ10の決定部130が決定した成膜条件を受信する。通信部310は、学習制御部140が決定した後述する成膜実行コマンドを受信する。
The
プロセッサ320は、CPUなどを含む制御装置である。プロセッサ320は、状態観測部321、成膜実行部322、及び入力判定部323を含む。通信部310は、状態観測部321が取得した状態変数をサーバ10に送信する。プロセッサ320が備える各ブロックは、例えばCPUが機械学習システムの成膜装置30として機能させる機械学習プログラムを実行することで実現される。
The
状態観測部321は、成膜実行後において、センサ部340が検出した物理量を取得する。状態観測部321は、成膜実行後において成膜の性能評価に関する少なくとも1つの物理量と、少なくとも1つの成膜条件とを含む状態変数を観測する。具体的には、状態観測部321は、センサ部340の計測値に基づいて成膜条件を取得する。また、状態観測部321は、センサ部340の計測値などに基づいて物理量を取得する。
The
図4は、成膜条件の一例を示す図である。成膜条件は、大きく中分類に分類される。中分類には、真空排気システム510に関する第1パラメータと、加熱冷却システム520に関する第2パラメータと、蒸発源システム530に関する第3パラメータと、テーブルシステム540に関する第4パラメータと、プロセスガスシステム550に関する第5パラメータとのうちの少なくとも1つのパラメータが含まれる。さらに、中分類には、エッチングシステム560に関する第6パラメータが含まれていても良い。
Figure 4 shows an example of film formation conditions. The film formation conditions are roughly classified into medium categories. The medium categories include at least one of a first parameter related to the
第1パラメータは、排気速度、到達圧力、残留ガス種、残留ガス分圧、及びP-Q特性の少なくとも1つを含む。排気速度は、真空排気システム510がチャンバー570内の空気や残留ガス、導入されたプロセスガスを排気する速度である。排気速度は、例えば真空排気システム510を構成するポンプの性能値から計算によって得られる。或いは、排気速度は、圧力センサと排気時間から算出される計測値であってもよい。到達圧力は、成膜プロセス開始前のチャンバー570内の圧力である。到達圧力は、例えば真空排気システム510を構成するポンプの性能値から計算によって得られる。或いは、到達圧力は、圧力センサの計測値であってもよい。残留ガス種は、チャンバー570内に残留するガスであり、不純物である。残留ガス種は、例えば、窒素、酸素、水分、及び水素などである。残留ガス種は、後述する残留ガスの分圧に基づいて決定される。残留ガス分圧は、チャンバー570内に残留する複数の残留ガスの分圧である。残留ガス分圧は、四重極形質量分析計などの真空残留ガスモニタの計測によって得られる。P-Q特性は、チャンバー内圧力(P)と流量(Q)との関係を示す特性である。P-Q特性は、例えば流量センサで検知されたチャンバー570内のガスの流量と圧力センサの計測値から計算によって得られる。
The first parameter includes at least one of the exhaust speed, the ultimate pressure, the residual gas species, the residual gas partial pressure, and the P-Q characteristic. The exhaust speed is the speed at which the
第2パラメータは、ヒータ温度、ワーク温度、ヒータ昇温速度、ワーク昇温速度、ヒータ出力、ヒータ温度精度、ワーク温度精度、ヒータ温度/ワーク温度、ヒータ温度分布、ワーク温度分布、冷却ガス種、冷却ガス圧力、及びワーク冷却速度の少なくとも1つを含む。 The second parameters include at least one of the heater temperature, workpiece temperature, heater heating rate, workpiece heating rate, heater output, heater temperature accuracy, workpiece temperature accuracy, heater temperature/workpiece temperature, heater temperature distribution, workpiece temperature distribution, cooling gas type, cooling gas pressure, and workpiece cooling rate.
ヒータ温度は、ヒータ522の温度である。ヒータ温度は、例えば温度センサ(熱電対)の計測値である。ワーク温度は、ワーク545の温度である。ワーク温度は、例えばワーク545の近傍に設けられた温度センサの計測値である。ヒータ昇温速度は、ヒータ522が昇温する際のヒータ温度の変化速度である。ヒータ昇温速度は、ヒータ温度の時系列変化から得られる。ワーク昇温温度は、ワーク545が昇温する際のワーク温度の変化速度である。ワーク昇温速度は、ワーク温度の時系列変化から得られる。
The heater temperature is the temperature of the
ヒータ出力は、ヒータ522の出力である。ヒータ出力は、ヒータ電源部521の設定値から計算により得られる。ヒータ出力は、ヒータに供給される電流値と電圧値とのセンサによる計測値から計算されてもよい。
The heater output is the output of the
ヒータ温度精度は、ヒータ温度のバラツキを示す値である。ヒータ温度精度は過去のヒータ温度の計測値から計算される。ワーク温度精度は、ワーク温度のバラツキを示す値である。ワーク温度精度は過去のワーク温度の計測値から計算される。ヒータ温度/ワーク温度は、ヒータ522のワーク545に対する応答特性である。
The heater temperature accuracy is a value that indicates the variation in the heater temperature. The heater temperature accuracy is calculated from past heater temperature measurements. The work temperature accuracy is a value that indicates the variation in the work temperature. The work temperature accuracy is calculated from past work temperature measurements. The heater temperature/work temperature is the response characteristic of the
ヒータ温度分布は、ヒータ522の温度分布である。ヒータ温度分布はヒータ522の周囲に設けられた複数の温度センサの計測値から得られる。ワーク温度分布は、ワーク545の温度分布である。ワーク温度分布は、ワーク545の周囲に設けられた複数の温度センサの計測値から得られる。
The heater temperature distribution is the temperature distribution of the
冷却ガス種は、チャンバー570内を冷却するガスの種別を示す情報であり、予め入力された入力値である。冷却ガス圧力は、冷却ガスの圧力である。冷却ガス圧力は、チャンバー570内に設けられた圧力センサによる計測値である。ワーク冷却速度は、ワーク545の冷却速度である。ワーク冷却速度は、ワーク545の近傍に設けられた温度センサが検出したワーク温度の時系列変化から得られる。
The cooling gas type is information indicating the type of gas used to cool the inside of the
第3パラメータは、ターゲット組成、ターゲット厚さ、ターゲット製法、アーク放電電圧、アーク放電電流、蒸発源磁場、蒸発源コイル電流、及びアーク点火特性のうちの少なくとも1つを含む。ターゲット組成は、ターゲットを構成する物質の組成である。ターゲット厚さは、ターゲットの厚みである。ターゲット製法は、ターゲットの製造方法である。ターゲット組成、ターゲット厚さ、ターゲット製法は、予め入力された入力値である。 The third parameter includes at least one of the target composition, the target thickness, the target manufacturing method, the arc discharge voltage, the arc discharge current, the evaporation source magnetic field, the evaporation source coil current, and the arc ignition characteristics. The target composition is the composition of the material that constitutes the target. The target thickness is the thickness of the target. The target manufacturing method is the manufacturing method of the target. The target composition, the target thickness, and the target manufacturing method are input values that are input in advance.
アーク放電電圧は、アーク電源部532がアークカソード531に供給する電圧であり、センサによる計測値である。アーク放電電流は、アーク電源部532がアークカソード531に供給する電流であり、センサによる計測値である。
The arc discharge voltage is the voltage supplied by the arc
蒸発源磁場は、蒸発源システム530に含まれる永久磁束が放出する磁場の位置及び強度である。蒸発源磁場は予め入力された入力値である。蒸発源コイル電流は、蒸発源システム530に含まれるコイルに流れる電流であり、センサによる計測値である。アーク点火特性は、アーク点火時のアーク表面の電圧及び電流の挙動である。アーク点火特性は、アーク放電電圧及びアーク放電電流のあるタイミングの計測値から得られる。
The source magnetic field is the position and strength of the magnetic field emitted by the permanent magnetic flux contained in the
第4パラメータは、バイアス電圧、バイアス電流、OL回数、OL時間変化、バイアス電圧波形、バイアス電流波形、ワーク回転数、ワーク形状、ワーク搭載量、ワーク搭載方法、及びワーク材質の少なくとも1つを含む。 The fourth parameter includes at least one of the bias voltage, bias current, number of OLs, OL time change, bias voltage waveform, bias current waveform, workpiece rotation speed, workpiece shape, workpiece loading amount, workpiece loading method, and workpiece material.
バイアス電圧は、バイアス電源部543がワーク545に供給するバイアス電圧であり、センサによる計測値である。バイアス電流は、バイアス電源部543がワーク545に供給するバイアス電流であり、センサによる計測値である。
The bias voltage is the bias voltage supplied by the bias
OL(OverLoad)回数は、テーブルシステムまたはワークでの異常放電回数であり、センサによる計測値である。OL時間変化は、単位時間あたりのOL回数である。バイアス電圧波形は、バイアス電圧の波形であり、センサによる計測値から得られる。バイアス電圧波形は特にパルスバイアス時の電圧波形である。バイアス電流波形は、バイアス電流の波形であり、センサによる計測値から得られる。ワーク回転数は、ワーク545の単位時間あたりの回転数であり、テーブル541の単位時間あたりの回転数と、ワーク545がテーブル541上で自転する際の単位時間あたりの回転数とを含む。ワーク回転数は、例えばセンサによる検出値である。ワーク形状は、ワーク545の形状を示す数値であり、予め入力された入力値である。ワーク搭載量は、ワーク545の搭載量(例えば重量)であり、予め入力された入力値である。ワーク搭載方法は、テーブル541に対するワーク545の搭載方法であり、予め入力された入力値である。ワーク材質は、ワーク545の材質であり、予め入力された入力値である。
The number of OL (overload) is the number of abnormal discharges in the table system or the workpiece, and is a measurement value by a sensor. The OL time change is the number of OLs per unit time. The bias voltage waveform is the waveform of the bias voltage, and is obtained from the measurement value by the sensor. The bias voltage waveform is a voltage waveform, particularly during pulse bias. The bias current waveform is the waveform of the bias current, and is obtained from the measurement value by the sensor. The workpiece rotation speed is the number of rotations per unit time of the
第5パラメータは、ガス流量、ガス種、及びガス圧の少なくとも1つを含む。ガス流量は、プロセスガスの流量である。ガス種は、プロセスガスの種類を示す情報である。ガス圧力は、プロセスガスの圧力である。これらは、例えばセンサの検出値である。 The fifth parameter includes at least one of a gas flow rate, a gas type, and a gas pressure. The gas flow rate is the flow rate of the process gas. The gas type is information indicating the type of the process gas. The gas pressure is the pressure of the process gas. These are, for example, detection values of a sensor.
第6パラメータは、フィラメント加熱電流、フィラメント加熱電圧、フィラメント径、放電電流、及び放電電圧の少なくとも1つを含む。フィラメント加熱電流は、エッチングシステム560を構成する一対のフィラメント電極562を加熱するための加熱電流であり、センサによる計測値である。フィラメント加熱電圧は、一対のフィラメント電極562を加熱するための加熱電圧であり、センサによる計測値である。
The sixth parameter includes at least one of a filament heating current, a filament heating voltage, a filament diameter, a discharge current, and a discharge voltage. The filament heating current is a heating current for heating a pair of
フィラメント径は、一対のフィラメント電極562のそれぞれの直径であり、予め入力された入力値である。なお、フィラメント径は、計算によって算出されてもよい。放電電流は、一対のフィラメント電極562の放電電流であり、センサによる計測値である。放電電圧は、一対のフィラメント電極562の放電電圧であり、センサによる計測値である。
The filament diameter is the diameter of each of the pair of
図5は、物理量の一例を示す図である。物理量は、大きく中分類に分類される。中分類には、膜質特性、機械的特性、及び物理的特性のうちの少なくとも1つを含む。膜質特性は、膜厚、粗さ、表面性状、組成、結晶構造、膜微細組織、結晶性、結晶粒径、残留応力、密度、パーティクル量、及びパーティクルサイズの少なくとも1つが含まれる。 Figure 5 is a diagram showing an example of physical quantities. The physical quantities are roughly classified into intermediate categories. The intermediate categories include at least one of film quality characteristics, mechanical characteristics, and physical characteristics. The film quality characteristics include at least one of film thickness, roughness, surface properties, composition, crystal structure, film microstructure, crystallinity, crystal grain size, residual stress, density, particle amount, and particle size.
膜厚は、皮膜の厚さである。表面性状は、表面粗さを含む表面の形態である。組成は、皮膜の組成である。結晶構造は、皮膜の結晶構造である。膜微細組織は、一般的な意味であり、結晶の形態や配向性などの微細組織構造を表す。結晶性は、結晶になっている割合である。結晶粒径は、結晶粒の大きさである。残留応力は、皮膜の内部応力である。 Film thickness is the thickness of the film. Surface texture is the surface morphology, including surface roughness. Composition is the composition of the film. Crystal structure is the crystal structure of the film. Film microstructure is the general meaning, and refers to the microstructure, such as crystal morphology and orientation. Crystallinity is the proportion that is crystalline. Crystal grain size is the size of the crystal grains. Residual stress is the internal stress of the film.
膜厚は膜厚計測器により得られる。粗さは粗さ計により得られる。表面性状は顕微鏡又は粗さ計により得られる。組成はX線分光法によって得られる。結晶構造、膜微細組織、結晶性、結晶粒径、及び残留応力はX線回折法又は電子顕微鏡によって得られる。 Film thickness is obtained by film thickness gauge. Roughness is obtained by roughness gauge. Surface texture is obtained by microscope or roughness gauge. Composition is obtained by X-ray spectroscopy. Crystal structure, film microstructure, crystallinity, grain size, and residual stress are obtained by X-ray diffraction or electron microscope.
密度は、皮膜を構成する粒子の密度である。パーティクル量(欠陥量)は皮膜に含まれるゴミの量である。パーティクルサイズ(欠陥サイズ)は皮膜に含まれるゴミの大きさである。密度はX線反射法により得られる。パーティクル量及びパーティクルサイズは顕微鏡又は画像処理により得られる。 Density is the density of the particles that make up the coating. Particle amount (defect amount) is the amount of dirt contained in the coating. Particle size (defect size) is the size of the dirt contained in the coating. Density is obtained by X-ray reflection method. Particle amount and particle size are obtained by microscope or image processing.
機械的特性は、硬さ、弾性率、耐摩耗性、耐エロージョン特性、高温強度、及び高温クリープの少なくとも1つを含む。硬さは、硬さ試験機又はナノインデンタにより得られる。弾性率はナノインデンタにより得られる。耐摩耗性は摺動試験や耐摩耗試験により得られる。耐エロージョン特性はサンドブラスト等によるけずれ量である。高温強度及び高温クリープはナノインデンタにより得られる。 The mechanical properties include at least one of hardness, elastic modulus, wear resistance, erosion resistance, high temperature strength, and high temperature creep. Hardness is measured using a hardness tester or a nanoindenter. Elastic modulus is measured using a nanoindenter. Wear resistance is measured using a sliding test or a wear resistance test. Erosion resistance is the amount of wear caused by sandblasting or the like. High temperature strength and high temperature creep are measured using a nanoindenter.
物理的特性は、摩擦係数、耐酸化性、密着性、熱伝導率、凝着性、耐食性、耐薬品性、及び表面化学親和性の少なくとも1つを含む。摩擦係数は摺動試験により得られる。耐酸化性はX線回折法又は組成分析により得られる。密着性は皮膜の基材の密着度合を示し、圧痕法又はスクラッチ試験により得られる。熱伝導率は熱伝導測定により得られる。凝着性は摺動試験又は顕微鏡観察により得られる。耐食性は皮膜の腐食のし難さを示し、腐食液噴霧試験や浸漬試験により得られる。耐薬品性は皮膜の薬品による腐食のし難さを示し、塗布試験や浸漬試験により得られる。表面化学親和性は皮膜表面と外部環境物質との化学的な親和性を示し、表面化学分析によって得られる。 The physical properties include at least one of the coefficient of friction, oxidation resistance, adhesion, thermal conductivity, adhesion, corrosion resistance, chemical resistance, and surface chemical affinity. The coefficient of friction is obtained by a sliding test. The oxidation resistance is obtained by X-ray diffraction or composition analysis. The adhesion indicates the degree of adhesion of the coating to the substrate, and is obtained by an indentation method or a scratch test. The thermal conductivity is obtained by a thermal conductivity measurement. The adhesion is obtained by a sliding test or a microscope observation. The corrosion resistance indicates the resistance of the coating to corrosion, and is obtained by a corrosive liquid spray test or an immersion test. The chemical resistance indicates the resistance of the coating to corrosion by chemicals, and is obtained by a coating test or an immersion test. The surface chemical affinity indicates the chemical affinity between the coating surface and external environmental substances, and is obtained by a surface chemical analysis.
図5に示す物理量は、保護用皮膜の用途に応じて異なる。図5において丸マークは、耐摩耗用途、耐食用途、及び耐熱用途のそれぞれについて要求される物理量を示している。 The physical quantities shown in Figure 5 vary depending on the application of the protective coating. In Figure 5, the circles indicate the physical quantities required for wear resistance, corrosion resistance, and heat resistance.
例えば、膜質特性は、耐摩耗用途、耐食用途、及び耐熱用途のそれぞれについて要求される物理量は同じである。 For example, the physical properties required for film quality are the same for wear resistance, corrosion resistance, and heat resistance applications.
耐摩耗用途については、例えば、機械的特性は図6に列記された全ての物理量のうちの少なくとも1つの物理量が要求され、物理的特性は摩擦係数、耐酸化性、密着性、熱伝導率、凝着性、耐食性、及び表面化学親和性のうちの少なくとも1つの物理量が要求される。 For wear-resistant applications, for example, the mechanical properties require at least one of all the physical quantities listed in Figure 6, and the physical properties require at least one of the coefficient of friction, oxidation resistance, adhesion, thermal conductivity, adhesion, corrosion resistance, and surface chemical affinity.
耐食用途については、機械的特性は省かれていてもよく、物理的特性は耐酸化性、耐食性、耐薬品性、及び表面化学親和性のうちの少なくとも1つの物理量が要求される。なお、図7の表中のハイフンは該当する物理量を積極的に排除するという意味ではなく、該当する物理量が含まれていてもよいことを意味する。 For corrosion-resistant applications, mechanical properties may be omitted, and the physical properties required are at least one of the following physical quantities: oxidation resistance, corrosion resistance, chemical resistance, and surface chemical affinity. Note that the hyphens in the table in Figure 7 do not mean that the corresponding physical quantity is actively excluded, but rather that the corresponding physical quantity may be included.
耐熱用途については、機械的特性は、硬さ、弾性率、高温強度、及び高温クリープのうちの少なくとも1つの物理量が要求され、物理的特性は耐酸化性、密着性、及び熱伝導率のうちの少なくとも1つの物理量が要求される。 For heat-resistant applications, the mechanical properties required are at least one of hardness, elastic modulus, high-temperature strength, and high-temperature creep, and the physical properties required are at least one of oxidation resistance, adhesion, and thermal conductivity.
図2に参照を戻す。成膜実行部322は、成膜装置30の成膜運転を制御する。入力判定部323は、量産工程であるか否かを自動又は手動により判定する。入力判定部323は、量産工程であるか否かを自動で判定する場合、入力部350に入力された条件番号の入力回数が基準回数を超えた場合、成膜装置30は量産工程にあると判定する。条件番号とは、ある1つの成膜条件を特定するための識別番号である。条件番号により特定される成膜条件は、少なくとも図4に示す成膜条件のうちInputと記載された成膜条件を含む。
Refer back to FIG. 2. The film
入力判定部323は、量産工程であるか否かを手動により判定する場合において、入力部350に量産工程である旨のデータが入力された場合、成膜装置30は量産工程にあると判定する。量産工程にある場合、成膜装置30は機械学習を行わない。
When manually determining whether or not a mass production process is in progress, the
メモリ330は、例えば不揮発性の記憶装置であり、最終的に決定された最適な成膜条件などを記憶する。センサ部340は、図4に例示された成膜条件及び図5に例示された物理量の計測に用いられる各種センサである。入力部350は、キーボード、及びマウスなどの入力装置である。
The
図3は、図2に示す機械学習システムにおける処理の一例を示すフローチャートである。ステップS1では、学習制御部140は、入力部350を用いてユーザにより入力された、成膜条件の入力値を取得する。ここで取得される入力値は、図4に列記された成膜条件のうち、Inputと記載された成膜条件に対する入力値である。
Figure 3 is a flowchart showing an example of processing in the machine learning system shown in Figure 2. In step S1, the
ステップS2では、学習制御部140は、少なくとも1つの成膜条件と成膜条件に対する設定値とを決定する。ここで、設定対象となる成膜条件は、図4に列挙された成膜条件のうち、Inputと記載された成膜条件以外の成膜条件であって、設定値が設定可能な少なくとも1つの成膜条件である。ここで、決定される成膜条件の設定値は強化学習における行動に相当する。
In step S2, the
具体的には、学習制御部140は、設定対象となる成膜条件のそれぞれについて設定値をランダムに選択する。ここで、設定値は、成膜条件のそれぞれについて所定の範囲内からランダムに選択される。成膜条件の設定値の選択方法としては、例えばε-greedy法が採用できる。
Specifically, the
ステップS3では、学習制御部140は、成膜装置30に成膜実行コマンドを送信することで、成膜装置30に成膜運転を開始させる。成膜実行コマンドが通信部310により受信されると、成膜実行部322は、成膜実行コマンドにしたがって成膜条件を設定し、成膜運転を開始する。成膜実行コマンドには、ステップS1で設定された成膜条件の入力値及びステップS2で決定された成膜条件の設定値などが含まれる。
In step S3, the
成膜運転が終了すると、状態観測部321は、状態変数を観測する(ステップS4)。具体的には、状態観測部321は、図5に記載された成膜評価に関する物理量と、図4に記載された成膜条件のうちセンサなどによって状態が観測される成膜条件とを状態変数として取得する。物理量は、例えばユーザが入力部350を操作することによって成膜装置30に入力されてもよいし、物理量を計測する計測器と成膜装置30が通信することで成膜装置30に入力されてもよい。状態観測部321は、取得した状態変数を通信部310を介してサーバ10に送信する。
When the film formation operation is completed, the
ステップS5では、決定部130は、物理量を評価する。ここで、決定部130は、ステップS4で取得された物理量のうち評価対象となる物理量(以下、対象物理量と呼ぶ。)が所定の基準値に到達しているか否かを判定することで物理量を評価する。対象物理量は、図5に列記された物理量のうち1又は複数の物理量である。対象物理量が複数の場合、基準値は、各対象物理量に対応する複数の基準値が存在することになる。基準値は、例えば、皮膜が一定の基準に到達していることを示す予め定められた値が採用できる。
In step S5, the
基準値は、例えば上限値と下限値とを含む値であってもよい。この場合、対象物理量が上限値と下限値との範囲内に入った場合、基準値に到達したと判定される。基準値は一つの値であってもよい。この場合、対象物理量が基準値を超えた場合、又は基準値を下回った場合に一定の基準を満たすと判定される。基準値は、さらに耐摩耗用途、耐食用途、及び耐熱用途のそれぞれにおいて異なる値が採用される。したがって、本実施の形態では、用途ごとに機械学習が行われる。そのため、最終的に学習結果として得られる成膜条件も用途ごとに異なるものになる。 The reference value may be a value including, for example, an upper limit value and a lower limit value. In this case, when the target physical quantity falls within the range between the upper limit value and the lower limit value, it is determined that the reference value has been reached. The reference value may be a single value. In this case, when the target physical quantity exceeds the reference value or falls below the reference value, it is determined that a certain standard is satisfied. Different reference values are further adopted for wear-resistant applications, corrosion-resistant applications, and heat-resistant applications. Therefore, in this embodiment, machine learning is performed for each application. Therefore, the film formation conditions ultimately obtained as learning results will also differ for each application.
決定部130は、対象物理量が基準値に到達していると判定した場合(ステップS6でYES)、ステップS2で設定した成膜条件を最終的な成膜条件として出力する(ステップS7)。一方、決定部130は、物理量が基準値に到達していないと判定した場合(ステップS6でNO)、処理をステップS8に進める。なお、対象物理量が複数の場合、決定部130は、全ての対象物理量が基準値に到達した場合、ステップS6でYESと判定すればよい。
When the
ステップS8では、報酬計算部110は、対象物理量が基準値に近づいているか否かを判定する。対象物理量が基準値に近づいている場合(ステップS8でYES)、報酬計算部110は、エージェントに対する報酬を増大させる(ステップS9)。一方、対象物理量が基準値に近づいていない場合(ステップS8でNO)、報酬計算部110は、エージェントに対する報酬を減少させる(ステップS10)。この場合、報酬計算部110は、予め定められた報酬の増減値にしたがって報酬を増減させればよい。なお、対象物理量が複数の場合、報酬計算部110は、複数の対象物理量のそれぞれについて、ステップS8の判定を行えばよい。この場合、報酬計算部110は、複数の対象物理量のそれぞれについて、ステップS8の判定結果に基づいて報酬を増減させればよい。また、報酬の増減値は対象物理量に応じて異なる値が採用されてもよい。
In step S8, the
ステップS11では、更新部120は、エージェントに付与した報酬を用いて行動価値関数を更新する。本実施の形態で採用されるQ学習は、ある環境状態sの下で、行動aを選択することへの価値であるQ値(Q(s,a))を学習する方法である。なお、環境状態stは、上記のフローの状態変数に相当する。そして、Q学習では、ある環境状態sのときに、Q(s,a)の最も高い行動aが選択される。Q学習では、試行錯誤により、ある環境状態sの下で様々な行動aをとり、そのときの報酬を用いて正しいQ(s,a)が学習される。行動価値関数Q(st,at)の更新式は以下の式(1)で示される。
In step S11, the
ここで、st,atは、それぞれ、時刻tにおける環境状態と行動とを表す。行動atにより、環境状態はst+1に変化し、その環境状態の変化によって、報酬rt+1が算出される。また、maxの付いた項は、環境状態st+1の下で、その時に分かっている最も価値の高い行動aを選んだ場合のQ値(Q(st+1,a))にγを掛けたものである。ここで、γは割引率であり、0<γ≦1(通常は0.9~0.99)の値をとる。αは学習係数であり、0<α≦1(通常は0.1程度)の値をとる。 Here, s t and a t respectively represent the environmental state and the action at time t. The action a t changes the environmental state to s t+1 , and the reward r t+1 is calculated based on the change in the environmental state. The term with max is the Q value (Q(s t+1 , a)) multiplied by γ when the most valuable action a known at that time is selected under the environmental state s t+1 . Here, γ is the discount rate and takes a value of 0<γ≦1 (usually 0.9 to 0.99). α is the learning coefficient and takes a value of 0<α≦1 (usually around 0.1).
この更新式は、状態sにおける行動aのQ値であるQ(st,at)よりも、行動aによる次の環境状態st+1における最良の行動をとったときのQ値に基づくγ・maxQ(st+1,a)の方が大きければ、Q(st,at)を大きくする。一方、この更新式は、Q(st,at)よりもγ・maxQ(st+1,a)の方が小さければ、Q(st,at)を小さくする。つまり、ある状態stにおけるある行動aの価値を、それによる次の状態st+1における最良の行動の価値に近づけるようにしている。これにより、ワーク545を成膜するのに最適な状態、つまり、少なくとも一つの最適な成膜条件が決定される。
This update formula increases Q(s t , a t ) if γ·maxQ( s t+1 , a ) based on the Q value when the best action is taken in the next environmental state s t+1 by action a is greater than Q(s t , a t ), which is the Q value of action a in state s. On the other hand, this update formula decreases Q(s t , a t ) if γ·maxQ(s t + 1 , a ) is smaller than Q(s t , a t ). In other words, the value of a certain action a in a certain state s t is made to approach the value of the best action in the next state s t+1 resulting from that action. This determines the optimal state for forming a film on the
ステップS11の処理が終了すると、処理はステップS2に戻り、選択済みの成膜条件の設定値が変更されたり、未選択の成膜条件が次の成膜条件として選択されたりして、同様にして行動価値関数が更新される。更新部120は、行動価値関数を更新したが、本発明はこれに限定されず、行動価値テーブルを更新してもよい。
When the processing of step S11 is completed, the processing returns to step S2, where the setting value of the selected film formation condition is changed, or an unselected film formation condition is selected as the next film formation condition, and the action value function is updated in the same manner. Although the
Q(s,a)は、全ての状態と行動とのペア(s,a)に対する値がテーブル形式で保存されてもよい。或いは、Q(s,a)は、全ての状態と行動とのペア(s,a)に対する値を近似する近似関数によって表されてもよい。この近似関数は多層構造のニューラルネットワークにより構成されてもよい。この場合、ニューラルネットワークは、実際に成膜装置300を動かして得られたデータをリアルタイムで学習し、次の行動に反映させるオンライン学習を行えばよい。これにより、深層強化学習が実現される
Q(s, a) may store values for all state-action pairs (s, a) in table format. Alternatively, Q(s, a) may be expressed by an approximation function that approximates values for all state-action pairs (s, a). This approximation function may be configured by a multi-layered neural network. In this case, the neural network may perform online learning by learning data obtained by actually operating the film forming apparatus 300 in real time and reflecting the data in the next action. This realizes deep reinforcement learning.
従来、成膜装置においては、良好な保護用皮膜が得られるように成膜条件を変化させることによって成膜条件の開発が行われてきた。良好な保護用皮膜を得るためには、保護用皮膜の評価と成膜条件との関係性を見出すことが要求される。しかし、図4に示されるように成膜条件の種類は膨大であるため、このような関係性を規定するには極めて多くの物理モデルが必要となり、物理モデルによってこのような関係性を記述するのは困難であるとの知見が得られた。さらに、このような物理モデルを構築するには、どのパラメータがどの保護用皮膜の評価に影響を与えているのかを人為的に見いだすことも要求され、この構築は困難である。 Conventionally, in film formation equipment, film formation conditions have been developed by changing the film formation conditions so as to obtain a good protective film. In order to obtain a good protective film, it is necessary to find a relationship between the evaluation of the protective film and the film formation conditions. However, as shown in Figure 4, the number of types of film formation conditions is enormous, so a very large number of physical models are required to define such relationships, and it has been found that it is difficult to describe such relationships using physical models. Furthermore, in order to construct such a physical model, it is also necessary to artificially find which parameters affect the evaluation of which protective film, and this construction is difficult.
本実施の形態によれば、上述した第1~第6のパラメータのうちの少なくとも1つのパラメータと、成膜の性能評価に関する、膜質特性及び物理的特性のうちの少なくとも1つの物理量とが状態変数として観測される。そして、観測された状態変数に基づいて、成膜条件の決定結果に対する報酬が計算され、計算された報酬に基づいて、状態変数から成膜条件を決定するための行動価値関数が更新され、この更新が繰り返されて報酬が最も多く得られる成膜条件が学習される。このように、本実施の形態は、上述の物理モデルを用いることなく、機械学習により成膜条件が決定される。その結果、本実施の形態は、保護用皮膜に対する適切な成膜条件を容易に決定できる。 According to this embodiment, at least one of the first to sixth parameters described above and at least one physical quantity of the film quality characteristics and physical characteristics related to the film formation performance evaluation are observed as state variables. Then, based on the observed state variables, a reward for the result of determining the film formation conditions is calculated, and based on the calculated reward, an action value function for determining the film formation conditions from the state variables is updated, and this updating is repeated to learn the film formation conditions that will obtain the most reward. In this way, in this embodiment, the film formation conditions are determined by machine learning without using the above-mentioned physical model. As a result, this embodiment can easily determine appropriate film formation conditions for the protective coating.
なお、本発明は以下の変形例が採用できる。 The present invention can be modified in the following ways:
(1)図6は、本発明の変形例に係る機械学習システムの全体構成図である。この変形例に係る機械学習システムは、成膜装置30A単体で構成されている。成膜装置30Aは、プロセッサ320A、入力部391、及びセンサ部392を含む。プロセッサ320Aは、機械学習部370及び成膜部380を含む。機械学習部370は、報酬計算部371、更新部372、決定部373、及び学習制御部374を含む。報酬計算部371~学習制御部374は、それぞれ、図2に示す報酬計算部110~学習制御部140と同じである。状態観測部381、成膜実行部382、及び入力判定部383は、それぞれ図2に示す状態観測部321、成膜実行部322、及び入力判定部323と同じである。入力部391及びセンサ部392は、それぞれ図2に示す入力部350及びセンサ部340と同じである。本変形例において状態観測部381は、状態情報を取得する状態取得部の一例である。
(1) FIG. 6 is an overall configuration diagram of a machine learning system according to a modified example of the present invention. The machine learning system according to this modified example is composed of a single
このようにこの変形例に係る機械学習システムによれば、成膜装置30A単体で最適な成膜条件を学習させることができる。
In this way, the machine learning system according to this modified example can learn optimal film formation conditions using the
(2)上記のフローでは、成膜運転の終了後に状態変数が観測されていたが、これは一例であり、1回の成膜運転中に状態変数が複数観測されてもよい。例えば、状態変数が瞬時に計測可能なパラメータのみで構成されている場合、1回の成膜運転中に複数の状態変数を観測できる。これにより、学習時間の短縮が図られる。 (2) In the above flow, the state variables are observed after the film formation operation is completed, but this is just one example, and multiple state variables may be observed during one film formation operation. For example, if the state variables are composed only of parameters that can be measured instantly, multiple state variables can be observed during one film formation operation. This shortens the learning time.
(3)上記実施の形態では成膜装置30はアークイオンプレーティング法で成膜する装置であったが、本発明はこれに限定されず、蒸着法など他の物理的気相成長法により成膜する装置であってもよい。
(3) In the above embodiment, the
10 :サーバ
30 :成膜装置
100 :プロセッサ
110 :報酬計算部
120 :更新部
130 :決定部
140 :学習制御部
510 :真空排気システム
520 :加熱冷却システム
530 :蒸発源システム
540 :テーブルシステム
550 :プロセスガスシステム
560 :エッチングシステム
570 :チャンバー
574 :学習制御部
10: Server 30: Film forming apparatus 100: Processor 110: Reward calculation unit 120: Update unit 130: Determination unit 140: Learning control unit 510: Vacuum exhaust system 520: Heating and cooling system 530: Evaporation source system 540: Table system 550: Process gas system 560: Etching system 570: Chamber 574: Learning control unit
Claims (16)
前記成膜装置は、チャンバーを真空にするための真空排気システムと、前記チャンバーを加熱及び冷却する加熱冷却システムと、ターゲットを蒸発させる蒸発源システムと、ワークを載置するテーブルシステムと、前記チャンバーにプロセスガスを導入するプロセスガスシステムと、エッチングシステムとを含み、
前記保護用皮膜の性能評価に関する少なくとも1つの物理量と、少なくとも1つの成膜条件とを含む状態変数を取得し、
前記状態変数に基づいて、前記少なくとも1つの成膜条件の決定結果に対する報酬を計算し、
前記状態変数から前記少なくとも1つの成膜条件を決定するための関数を、前記報酬に基づいて更新し、
前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる成膜条件を決定し、
前記少なくとも1つの成膜条件は、前記真空排気システムに関する第1パラメータと、前記加熱冷却システムに関する第2パラメータと、前記蒸発源システムに関する第3パラメータと、前記テーブルシステムに関する第4パラメータと、前記プロセスガスシステムに関する第5パラメータとのうちの少なくとも1つであり、
前記保護用皮膜の性能評価に関する少なくとも1つの物理量は、少なくとも1つの成膜条件の入力値と、機械学習により決定される少なくとも1つの成膜条件に対する設定値とに基づき成膜された保護用被膜の性能評価結果であり、
少なくとも1つの成膜条件の前記入力値は、ターゲット組成、ターゲット製法、蒸発源磁場、ワーク形状およびワーク材質を含み、
前記少なくとも1つの物理量は、膜質特性、機械的特性、及び物理的特性のうちの少なくとも1つである、
機械学習方法。 A machine learning method in which a machine learning device determines film formation conditions of a film formation device that forms a protective coating on a substrate, comprising:
The film forming apparatus includes a vacuum exhaust system for evacuating a chamber, a heating and cooling system for heating and cooling the chamber, an evaporation source system for evaporating a target, a table system for placing a workpiece thereon, a process gas system for introducing a process gas into the chamber, and an etching system;
acquiring state variables including at least one physical quantity related to a performance evaluation of the protective coating and at least one coating condition;
calculating a reward for a result of determining the at least one film formation condition based on the state variables;
updating a function for determining the at least one film forming condition from the state variables based on the reward;
By repeatedly updating the function, a film forming condition that can obtain the maximum reward is determined;
the at least one film formation condition is at least one of a first parameter related to the vacuum exhaust system, a second parameter related to the heating and cooling system, a third parameter related to the evaporation source system, a fourth parameter related to the table system, and a fifth parameter related to the process gas system;
the at least one physical quantity related to performance evaluation of the protective coating is a performance evaluation result of a protective coating formed based on an input value of at least one coating condition and a setting value for the at least one coating condition determined by machine learning;
The input value of at least one film formation condition includes a target composition, a target manufacturing method, a source magnetic field, a workpiece shape, and a workpiece material;
The at least one physical quantity is at least one of a film quality characteristic, a mechanical characteristic, and a physical characteristic.
Machine learning methods.
請求項1記載の機械学習方法。 The first parameter is at least one of an exhaust speed, an ultimate pressure, a residual gas type, a residual gas partial pressure, and a PQ characteristic.
The machine learning method of claim 1.
請求項1又は2記載の機械学習方法。 The second parameter is at least one of a heater temperature of a heater constituting the heating and cooling system, a work temperature which is the temperature of the work, a temperature rise rate of the heater, a temperature rise rate of the work, an output of the heater, a temperature accuracy of the heater, a temperature accuracy of the work, a response characteristic of the heater temperature and the work temperature, a temperature distribution of the heater, and a temperature distribution of the work.
The machine learning method according to claim 1 or 2.
請求項1~3のいずれかに記載の機械学習方法。 the third parameter is at least one of a composition of the target, a thickness of the target, a manufacturing method of the target, an arc discharge voltage, an arc discharge current, an evaporation source magnetic field, an evaporation source coil current, and an arc ignition characteristic;
The machine learning method according to any one of claims 1 to 3.
請求項1~4のいずれかに記載の機械学習方法。 The fourth parameter includes at least one of a bias voltage for the workpiece, a bias current for the workpiece, a number of abnormal discharges, a time change in the abnormal discharge, a waveform of the bias voltage, a waveform of the bias current, a rotation speed of the workpiece, a shape of the workpiece, a mounting amount of the workpiece, a mounting method of the workpiece, and a material of the workpiece.
The machine learning method according to any one of claims 1 to 4.
請求項1~5のいずれかに記載の機械学習方法。 The fifth parameter is at least one of a flow rate of the process gas, a type of the process gas, and a pressure of the process gas.
The machine learning method according to any one of claims 1 to 5.
請求項1~6のいずれかに記載の機械学習方法。 The at least one deposition condition further includes a sixth parameter related to the etching system.
The machine learning method according to any one of claims 1 to 6.
請求項7記載の機械学習方法。 the sixth parameter being at least one of a heating current for heating a filament of the etching system, a heating voltage for heating the filament, a diameter of the filament, a discharge current of the filament, and a discharge voltage of the filament;
The machine learning method of claim 7.
請求項1~8のいずれかに記載の機械学習方法。 When the protective coating is used for wear resistance or heat resistance, the at least one physical quantity includes the film quality characteristic, the mechanical characteristic, and the physical characteristic.
The machine learning method according to any one of claims 1 to 8.
請求項1~9のいずれかに記載の機械学習方法。 When the protective coating is used for corrosion resistance, the at least one physical quantity includes a film quality characteristic and the physical characteristic.
The machine learning method according to any one of claims 1 to 9.
請求項1~10のいずれかに記載の機械学習方法。 The function is updated in real time using deep reinforcement learning.
The machine learning method according to any one of claims 1 to 10.
請求項1~11のいずれかに記載の機械学習方法。 In the calculation of the reward, if the at least one physical quantity approaches a predetermined reference value corresponding to each physical quantity, the reward is increased, and if the at least one physical quantity does not approach a reference value corresponding to each physical quantity, the reward is decreased.
The machine learning method according to any one of claims 1 to 11.
前記成膜装置は、チャンバーを真空にするための真空排気システムと、前記チャンバーを加熱及び冷却する加熱冷却システムと、ターゲットを蒸発させる蒸発源システムと、ワークを載置するテーブルシステムと、前記チャンバーにプロセスガスを導入するプロセスガスシステムと、エッチングシステムとを含み、
前記保護用皮膜の性能評価に関する少なくとも1つの物理量と、少なくとも1つの成膜条件とを含む状態変数を観測する状態取得部と、
前記状態変数に基づいて、前記少なくとも1つの成膜条件の決定結果に対する報酬を計算する報酬計算部と、
前記状態変数に基づいて前記少なくとも1つの成膜条件を決定するための関数を、前記報酬に基づいて更新する更新部と、
前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる成膜条件を決定する決定部とを備え、
前記少なくとも1つの成膜条件は、前記真空排気システムに関する第1パラメータと、前記加熱冷却システムに関する第2パラメータと、前記蒸発源システムに関する第3パラメータと、前記テーブルシステムに関する第4パラメータと、前記プロセスガスシステムに関する第5パラメータとのうちの少なくとも1つであり、
前記保護用皮膜の性能評価に関する少なくとも1つの物理量は、少なくとも1つの成膜条件の入力値と、機械学習により決定される少なくとも1つの成膜条件に対する設定値とに基づき成膜された保護用被膜の性能評価結果であり、
少なくとも1つの成膜条件の前記入力値は、ターゲット組成、ターゲット製法、蒸発源磁場、ワーク形状およびワーク材質を含み、
前記少なくとも1つの物理量は、膜質特性、機械的特性、及び物理的特性のうちの少なくとも1つである、
機械学習装置。 A machine learning device that determines film formation conditions of a film formation device that forms a protective coating on a substrate,
The film forming apparatus includes a vacuum exhaust system for evacuating a chamber, a heating and cooling system for heating and cooling the chamber, an evaporation source system for evaporating a target, a table system for placing a workpiece thereon, a process gas system for introducing a process gas into the chamber, and an etching system;
a state acquisition unit that observes state variables including at least one physical quantity related to a performance evaluation of the protective coating and at least one coating condition;
a reward calculation unit that calculates a reward for a result of determining the at least one film formation condition based on the state variable;
an update unit that updates a function for determining the at least one film forming condition based on the state variable based on the reward;
a determination unit that determines a film forming condition under which the reward is most maximized by repeatedly updating the function;
the at least one film formation condition is at least one of a first parameter related to the vacuum exhaust system, a second parameter related to the heating and cooling system, a third parameter related to the evaporation source system, a fourth parameter related to the table system, and a fifth parameter related to the process gas system;
the at least one physical quantity related to performance evaluation of the protective coating is a performance evaluation result of a protective coating formed based on an input value of at least one coating condition and a setting value for the at least one coating condition determined by machine learning;
The input value of at least one film formation condition includes a target composition, a target manufacturing method, an evaporation source magnetic field, a workpiece shape, and a workpiece material;
The at least one physical quantity is at least one of a film quality characteristic, a mechanical characteristic, and a physical characteristic.
Machine learning device.
前記成膜装置は、チャンバーを真空にするための真空排気システムと、前記チャンバーを加熱及び冷却する加熱冷却システムと、ターゲットを蒸発させる蒸発源システムと、ワークを載置するテーブルシステムと、前記チャンバーにプロセスガスを導入するプロセスガスシステムと、エッチングシステムとを含み、
前記保護用皮膜の性能評価に関する少なくとも1つの物理量と、少なくとも1つの成膜条件とを含む状態変数を観測する状態取得部と、
前記状態変数に基づいて、前記少なくとも1つの成膜条件の決定結果に対する報酬を計算する報酬計算部と、
前記状態変数に基づいて前記少なくとも1つの成膜条件を決定するための関数を、前記報酬に基づいて更新する更新部と、
前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる成膜条件を決定する決定部とを備え、
前記少なくとも1つの成膜条件は、前記真空排気システムに関する第1パラメータと、前記加熱冷却システムに関する第2パラメータと、前記蒸発源システムに関する第3パラメータと、前記テーブルシステムに関する第4パラメータと、前記プロセスガスシステムに関する第5パラメータとのうちの少なくとも1つであり、
前記保護用皮膜の性能評価に関する少なくとも1つの物理量は、少なくとも1つの成膜条件の入力値と、機械学習により決定される少なくとも1つの成膜条件に対する設定値とに基づき成膜された保護用被膜の性能評価結果であり、
少なくとも1つの成膜条件の前記入力値は、ターゲット組成、ターゲット製法、蒸発源磁場、ワーク形状およびワーク材質を含み、
前記少なくとも1つの物理量は、膜質特性、機械的特性、及び物理的特性のうちの少なくとも1つである、
機械学習プログラム。 A computer-readable machine learning program that causes a computer to function as a machine learning device that determines deposition conditions for a deposition device that deposits a protective coating on a substrate, comprising:
The film forming apparatus includes a vacuum exhaust system for evacuating a chamber, a heating and cooling system for heating and cooling the chamber, an evaporation source system for evaporating a target, a table system for placing a workpiece thereon, a process gas system for introducing a process gas into the chamber, and an etching system;
a state acquisition unit that observes state variables including at least one physical quantity related to a performance evaluation of the protective coating and at least one coating condition;
a reward calculation unit that calculates a reward for a result of determining the at least one film formation condition based on the state variable;
an update unit that updates a function for determining the at least one film forming condition based on the state variable based on the reward;
a determination unit that determines a film forming condition under which the reward is most maximized by repeatedly updating the function;
the at least one film formation condition is at least one of a first parameter related to the vacuum exhaust system, a second parameter related to the heating and cooling system, a third parameter related to the evaporation source system, a fourth parameter related to the table system, and a fifth parameter related to the process gas system;
the at least one physical quantity related to performance evaluation of the protective coating is a performance evaluation result of a protective coating formed based on an input value of at least one coating condition and a setting value for the at least one coating condition determined by machine learning;
The input value of at least one film formation condition includes a target composition, a target manufacturing method, an evaporation source magnetic field, a workpiece shape, and a workpiece material;
The at least one physical quantity is at least one of a film quality characteristic, a mechanical characteristic, and a physical characteristic.
Machine learning programs.
前記成膜装置は、チャンバーを真空にするための真空排気システムと、前記チャンバーを加熱及び冷却する加熱冷却システムと、ターゲットを蒸発させる蒸発源システムと、ワークを載置するテーブルシステムと、前記チャンバーにプロセスガスを導入するプロセスガスシステムと、エッチングシステムと、通信部とを含み、
前記保護用皮膜の性能評価に関する少なくとも1つの物理量と、少なくとも1つの成膜条件とを含む状態変数を観測し、
前記状態変数をネットワーク上に送信し、機械学習済みの少なくとも1つの成膜条件を受信し、
前記少なくとも1つの成膜条件は、前記真空排気システムに関する第1パラメータと、
前記加熱冷却システムに関する第2パラメータと、前記蒸発源システムに関する第3パラメータと、前記テーブルシステムに関する第4パラメータと、前記プロセスガスシステムに関する第5パラメータとのうちの少なくとも1つであり、
前記保護用皮膜の性能評価に関する少なくとも1つの物理量は、少なくとも1つの成膜条件の入力値と、機械学習により決定される少なくとも1つの成膜条件に対する設定値とに基づき成膜された保護用被膜の性能評価結果であり、
少なくとも1つの成膜条件の前記入力値は、ターゲット組成、ターゲット製法、蒸発源磁場、ワーク形状およびワーク材質を含み、
前記少なくとも1つの物理量は、膜質特性、機械的特性、及び物理的特性のうちの少なくとも1つである、
通信方法。 A communication method for a film forming apparatus when machine learning a film forming condition of the film forming apparatus that forms a protective coating on a substrate, comprising:
The film forming apparatus includes a vacuum exhaust system for evacuating a chamber, a heating and cooling system for heating and cooling the chamber, an evaporation source system for evaporating a target, a table system for placing a workpiece, a process gas system for introducing a process gas into the chamber, an etching system, and a communication unit;
Observing state variables including at least one physical quantity related to a performance evaluation of the protective coating and at least one coating condition;
Transmitting the state variables onto a network and receiving at least one film formation condition that has been machine-learned;
The at least one deposition condition includes a first parameter related to the vacuum exhaust system;
at least one of a second parameter related to the heating and cooling system, a third parameter related to the evaporation source system, a fourth parameter related to the table system, and a fifth parameter related to the process gas system;
the at least one physical quantity related to performance evaluation of the protective coating is a performance evaluation result of a protective coating formed based on an input value of at least one coating condition and a setting value for the at least one coating condition determined by machine learning;
The input value of at least one film formation condition includes a target composition, a target manufacturing method, a source magnetic field, a workpiece shape, and a workpiece material;
The at least one physical quantity is at least one of a film quality characteristic, a mechanical characteristic, and a physical characteristic.
Communication method.
チャンバーを真空にするための真空排気システムと、
前記チャンバーを加熱及び冷却する加熱冷却システムと、
ターゲットを蒸発させる蒸発源システムと、
ワークを載置するテーブルシステムと、
前記チャンバーにプロセスガスを導入するプロセスガスシステムと、
エッチングシステムと、
前記保護用皮膜の性能評価に関する少なくとも1つの物理量と、少なくとも1つの成膜条件とを含む状態変数を観測する状態観測部と、
前記状態変数をネットワーク上に送信し、機械学習済みの成膜条件を受信する通信部とを備え、
前記少なくとも1つの成膜条件は、前記真空排気システムに関する第1パラメータと、前記加熱冷却システムに関する第2パラメータと、前記蒸発源システムに関する第3パラメータと、前記テーブルシステムに関する第4パラメータと、前記プロセスガスシステムに関する第5パラメータとのうちの少なくとも1つであり、
前記保護用皮膜の性能評価に関する少なくとも1つの物理量は、少なくとも1つの成膜条件の入力値と、機械学習により決定される少なくとも1つの成膜条件に対する設定値とに基づき成膜された保護用被膜の性能評価結果であり、
少なくとも1つの成膜条件の前記入力値は、ターゲット組成、ターゲット製法、蒸発源磁場、ワーク形状およびワーク材質を含み、
前記少なくとも1つの物理量は、膜質特性、機械的特性、及び物理的特性のうちの少なくとも1つである、
成膜装置。
A film forming apparatus for forming a protective film on a substrate, comprising:
a vacuum pumping system for evacuating the chamber;
a heating and cooling system for heating and cooling the chamber;
an evaporation source system for evaporating the target;
A table system on which a workpiece is placed;
a process gas system for introducing a process gas into the chamber;
An etching system;
a state observation unit that observes state variables including at least one physical quantity related to a performance evaluation of the protective coating and at least one coating condition;
a communication unit that transmits the state variables onto a network and receives the film formation conditions that have been machine-learned;
the at least one film formation condition is at least one of a first parameter related to the vacuum exhaust system, a second parameter related to the heating and cooling system, a third parameter related to the evaporation source system, a fourth parameter related to the table system, and a fifth parameter related to the process gas system;
the at least one physical quantity related to performance evaluation of the protective coating is a performance evaluation result of a protective coating formed based on an input value of at least one coating condition and a setting value for the at least one coating condition determined by machine learning;
The input value of at least one film formation condition includes a target composition, a target manufacturing method, a source magnetic field, a workpiece shape, and a workpiece material;
The at least one physical quantity is at least one of a film quality characteristic, a mechanical characteristic, and a physical characteristic.
Film forming equipment.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020121055A JP7481184B2 (en) | 2020-07-15 | 2020-07-15 | Machine learning method, machine learning device, machine learning program, communication method, and film formation device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020121055A JP7481184B2 (en) | 2020-07-15 | 2020-07-15 | Machine learning method, machine learning device, machine learning program, communication method, and film formation device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022018155A JP2022018155A (en) | 2022-01-27 |
JP7481184B2 true JP7481184B2 (en) | 2024-05-10 |
Family
ID=80203133
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020121055A Active JP7481184B2 (en) | 2020-07-15 | 2020-07-15 | Machine learning method, machine learning device, machine learning program, communication method, and film formation device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7481184B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009191308A (en) | 2008-02-13 | 2009-08-27 | Toyota Motor Corp | Hard film, and hard film forming method, and hard film evaluation method |
JP2017171988A (en) | 2016-03-23 | 2017-09-28 | 日本アイ・ティ・エフ株式会社 | Coated film, method for manufacturing the same, and pvd apparatus |
WO2019216143A1 (en) | 2018-05-08 | 2019-11-14 | 千代田化工建設株式会社 | Plant operation condition setting assistance system, learning device, and operation condition setting assistance device |
JP2020070494A (en) | 2018-11-02 | 2020-05-07 | 株式会社アイヴィワークス | Recording medium for recording device, method and order for controlling thin film vapor deposition process |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10278049A (en) * | 1997-04-08 | 1998-10-20 | Sumitomo Metal Mining Co Ltd | Mold with abrasion resistant and corrosion resistant film and its manufacture |
-
2020
- 2020-07-15 JP JP2020121055A patent/JP7481184B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009191308A (en) | 2008-02-13 | 2009-08-27 | Toyota Motor Corp | Hard film, and hard film forming method, and hard film evaluation method |
JP2017171988A (en) | 2016-03-23 | 2017-09-28 | 日本アイ・ティ・エフ株式会社 | Coated film, method for manufacturing the same, and pvd apparatus |
WO2019216143A1 (en) | 2018-05-08 | 2019-11-14 | 千代田化工建設株式会社 | Plant operation condition setting assistance system, learning device, and operation condition setting assistance device |
JP2020070494A (en) | 2018-11-02 | 2020-05-07 | 株式会社アイヴィワークス | Recording medium for recording device, method and order for controlling thin film vapor deposition process |
Also Published As
Publication number | Publication date |
---|---|
JP2022018155A (en) | 2022-01-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021010415A1 (en) | Machine learning method, machine learning device, machine learning program, communication method, and film-forming device | |
JP2021017650A (en) | Evaluation method, evaluation device, evaluation program, generation method, communication method, and film deposition device | |
US7319531B2 (en) | Method for measuring a thickness of a coating | |
JP2021125654A (en) | Process estimation system, process data estimation method, and program | |
JP7481184B2 (en) | Machine learning method, machine learning device, machine learning program, communication method, and film formation device | |
JP7481185B2 (en) | Machine learning method, machine learning device, machine learning program, communication method, and film formation device | |
JP7401405B2 (en) | Machine learning method, machine learning device, machine learning program, communication method, and film forming device | |
Yedida et al. | Role of numerical modeling in predicting the oxidation behavior of thermal barrier coatings | |
WO2021010413A1 (en) | Machine learning method, machine learning device, machine learning program, communication method, and film deposition device | |
JP2021017649A (en) | Machine learning method, machine learning device, machine learning program, communication method, and film deposition device | |
Marulanda et al. | Unbalanced magnetron sputtering system for producing corrosion resistance multilayer coatings | |
CN106104251A (en) | Thickness monitoring arrangement sensor, the thickness monitoring arrangement possessing this thickness monitoring arrangement sensor and the manufacture method of thickness monitoring arrangement sensor | |
Jaya et al. | Hybrid RSM-fuzzy modeling for hardness prediction of TiAlN coatings | |
CN105339521A (en) | Target age compensation method for performing stable reactive sputtering processes | |
MU’ATH et al. | Modeling and optimization of physical vapour deposition coating process parameters for TiN grain size using combined genetic algorithms with response surface methodology | |
JP2021017648A (en) | Evaluation method, evaluation device, evaluation program, generation method, communication method, and film deposition device | |
TW201812899A (en) | Plasma processing apparatus and analysis method for analyzing plasma processing data | |
CN112084688B (en) | Cathode life prediction method | |
Martí-González et al. | Mechanical and surface characterization of diamond-like carbon coatings onto polymeric substrate | |
JP2003217897A (en) | Plasma measuring device and method, and sensor probe | |
Kalita et al. | Machine Learning-Based Predictive Modelling of Dry Electric Discharge Machining Process | |
Schwaller et al. | Rapid depth profiling of lead zirconate titanate (PZT) thin films by pulsed glow‐discharge optical emission spectroscopy | |
CN104032264A (en) | Film Coating System Capable Of Performing Thin Film Deposition In Rigorous Evaporation Environment | |
JP2003277927A (en) | Method for estimating erosion shape or target, sputtering device, electrode forming method and electronic component | |
RU2753846C1 (en) | Method for determining coating thickness |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221101 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230616 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240423 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240425 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7481184 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |