WO2023032636A1 - 情報処理方法、情報処理装置、及び基板処理システム - Google Patents

情報処理方法、情報処理装置、及び基板処理システム Download PDF

Info

Publication number
WO2023032636A1
WO2023032636A1 PCT/JP2022/030707 JP2022030707W WO2023032636A1 WO 2023032636 A1 WO2023032636 A1 WO 2023032636A1 JP 2022030707 W JP2022030707 W JP 2022030707W WO 2023032636 A1 WO2023032636 A1 WO 2023032636A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
learning model
substrate processing
model
sensor
Prior art date
Application number
PCT/JP2022/030707
Other languages
English (en)
French (fr)
Inventor
友貴哉 斉藤
勇樹 片岡
Original Assignee
東京エレクトロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 東京エレクトロン株式会社 filed Critical 東京エレクトロン株式会社
Priority to CN202280058364.8A priority Critical patent/CN117882170A/zh
Priority to KR1020247010655A priority patent/KR20240049620A/ko
Priority to JP2023545409A priority patent/JPWO2023032636A1/ja
Publication of WO2023032636A1 publication Critical patent/WO2023032636A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/02—Manufacture or treatment of semiconductor devices or of parts thereof

Definitions

  • the present invention relates to an information processing method, an information processing apparatus, and a substrate processing system.
  • multiple edge devices are used, and various processes are executed in various types of chambers having multiple edge devices.
  • the present disclosure has been made in view of such circumstances, and an information processing method and information processing apparatus capable of efficiently creating and managing models applied to various edge devices provided in a substrate processing system. and a substrate processing system.
  • An information processing method includes a step of acquiring time-series data from a sensor provided in a substrate processing apparatus; a step of learning a first learning model that outputs information about the substrate processing apparatus; and inputting time-series data from the sensor to the first learning model after learning, based on information obtained from the first learning model. and outputting the estimation result.
  • FIG. 1 is a diagram showing a configuration example of a substrate processing system according to an embodiment
  • FIG. It is a schematic diagram which shows the structure of the drive system of a substrate processing apparatus.
  • FIG. 4 is a cross-sectional view showing a configuration example of a chamber; It is a block diagram explaining the structure of the control system of a substrate processing apparatus.
  • 3 is a block diagram showing the internal configuration of an edge device included in the substrate processing apparatus;
  • FIG. FIG. 4 is a schematic diagram showing a configuration example of an observation model provided in an edge device;
  • FIG. 4 is a schematic diagram showing a configuration example of a control model provided in an edge device; It is a block diagram which shows the internal structure of the control device with which a substrate processing apparatus is provided.
  • FIG. 1 is a conceptual diagram showing a configuration example of a database
  • FIG. 3 is a block diagram showing the internal configuration of a device group server
  • FIG. 1 is a conceptual diagram showing a configuration example of a database
  • FIG. 11 is a flow chart showing a procedure for generating a first learning model by an edge device
  • FIG. 4 is a flow chart showing a procedure of processing executed inside the substrate processing apparatus in an operation phase
  • 4 is a flow chart showing a procedure of processing executed between a substrate processing apparatus and an apparatus group server in an operation phase
  • FIG. 5 is a schematic diagram showing a display example of an evaluation result
  • FIG. 1 is a diagram showing a configuration example of a substrate processing system according to an embodiment.
  • a substrate processing system according to an embodiment is a system for managing learning models applied to a plurality of substrate processing apparatuses 100A to 100D.
  • the substrate processing system includes a plurality of substrate processing apparatuses 100A-100D and an apparatus group server 200 that collects data from the plurality of substrate processing apparatuses 100A-100D.
  • Each of the substrate processing apparatuses 100A to 100D and the apparatus group server 200 are communicably connected via a communication network NW such as a LAN (Local Area Network) or a dedicated line.
  • NW such as a LAN (Local Area Network) or a dedicated line.
  • the substrate processing system includes four substrate processing apparatuses 100A to 100D, but the number of apparatuses is not limited to four.
  • the substrate processing apparatuses 100A to 100D are also referred to as the substrate processing apparatus 100 (see FIG. 2) when the substrate processing apparatuses 100A to 100D need not be distinguished.
  • the device group server 200 may be a single computer, or a computer system including a plurality of computers and peripheral devices. Further, the device group server 200 may be a virtual machine in which the entity is virtualized, or may be a cloud.
  • FIG. 2 is a schematic diagram showing the configuration of the drive system of the substrate processing apparatus 100.
  • the substrate processing apparatus 100 includes a transport unit HU for loading/unloading a substrate W, and a processing unit SU for performing substrate processing on the substrate W. As shown in FIG.
  • the transport unit HU includes a cassette stage 10 and a transport stage 20.
  • the cassette stage 10 has a cassette container 11 .
  • the cassette container 11 accommodates, for example, a maximum of 25 substrates W in a stacked state.
  • the transport stage 20 includes a substrate transport mechanism 21 for transporting the substrate W.
  • the substrate transport mechanism 21 has two transport arms 21A and 21B that hold the substrate W substantially horizontally.
  • the substrate transport mechanism 21 takes out the substrates W one by one from the cassette container 11 using transport arms 21A and 21B.
  • the substrate transport mechanism 21 transports the substrate W taken out of the cassette container 11 to either one of the load lock chambers 25A and 25B.
  • the load lock chambers 25A, 25B connect the transport unit HU to the processing unit SU.
  • the processing unit SU includes a transfer chamber 30 and four chambers 40A to 40D.
  • the transfer chamber 30 has, for example, a sealable structure formed to have a polygonal shape (hexagonal shape in the illustrated example) when viewed from above.
  • the transfer chamber 30 is connected to each of the chambers 40A-40D via a gate valve that can be hermetically sealed.
  • the transfer chamber 30 includes a substrate transport mechanism 31 for transporting the substrate W. As shown in FIG.
  • the substrate transport mechanism 31 has two transport arms 31A and 31B that hold the substrate W substantially horizontally.
  • the substrate transport mechanism 31 uses transport arms 31A and 31B to take out the substrate W from the load lock chambers 25A and 25B and transport the taken out substrate W to one of the chambers 40A to 40D.
  • the processing unit SU loads the substrates W transported to the load lock chambers 25A and 25B into the chambers 40A to 40D via the transfer chamber 30, and processes the substrates in the chambers 40A to 40D. .
  • the processing unit SU takes out the processed substrate W from the chambers 40A to 40D, and unloads the taken out substrate W via the transfer chamber 30 to the load lock chambers 25A and 25B.
  • An example of substrate processing performed by the chambers 40A to 40D is film formation processing such as CVD (Chemical Vapor Deposition).
  • the substrate processes performed by chambers 40A-40D may be diffusion processes, etching processes, ashing processes, sputtering processes, and the like. In the example of FIG.
  • the single-wafer type substrate processing apparatus 100 is shown in which the substrates W are taken out one by one from the cassette container 11 and processed. It may be a batch-type substrate processing apparatus or the like that processes the wafers in a single batch, and the transfer unit HU can adopt any configuration.
  • the chambers 40A to 40D are also simply referred to as the chambers 40 (see FIG. 3) when there is no need to distinguish between the chambers 40A to 40D.
  • FIG. 3 is a cross-sectional view showing a configuration example of the chamber 40.
  • FIG. A chamber 40 shown as an example in FIG. 3 is an apparatus for performing a film forming process on a substrate W, and includes a processing chamber 41 in which substrate processing is performed, and an exhaust chamber 42 communicating with the processing chamber 41. .
  • the processing chamber 41 has a plate-shaped ceiling portion 411 and a bottom portion 413 , and a side wall portion 412 connecting the ceiling portion 411 and the bottom portion 413 .
  • the processing chamber 41 has, for example, a substantially cylindrical shape.
  • a loading/unloading port for loading/unloading the substrate W to/from the transfer chamber 30 is formed in the side wall portion 412 .
  • An opening 413 a is formed in the center of the bottom portion 413 .
  • the exhaust chamber 42 is connected to the bottom portion 413 of the processing chamber 41 so as to communicate with the opening portion 413a.
  • the exhaust chamber 42 has an annular flange portion 421 , a plate-like bottom portion 423 , and a side wall portion 422 connecting the flange portion 421 and the bottom portion 423 .
  • the flange portion 421 is joined to the bottom portion 413 of the processing chamber 41 .
  • An exhaust hole 424 is formed in the side wall portion 422 .
  • the processing chamber 41 and the exhaust chamber 42 are configured so that their internal spaces can be maintained in a reduced pressure atmosphere (vacuum state).
  • An O-ring as a sealing member is interposed between the joint portion of the processing chamber 41 and the exhaust chamber 42 and the joint portion of each member constituting the processing chamber 41 and the exhaust chamber 42 in order to ensure the airtightness of the joint portion. is dressed.
  • the chamber 40 includes an exhaust device 51 arranged outside the processing chamber 41 and the exhaust chamber 42 , an exhaust pipe 52 connecting the exhaust hole 424 and the exhaust device 51 , and a valve 53 provided in the middle of the exhaust pipe 52 .
  • the valve 53 maintains the airtightness of the processing chamber 41 and the exhaust chamber 42 in the closed state, and allows the exhaust device 51 to depressurize the processing chamber 41 and the exhaust chamber 42 in the open state.
  • the processing chamber 41 and the exhaust chamber 42 are decompressed to a required degree of vacuum by operating the exhaust device 51 .
  • the chamber 40 includes a susceptor 61 arranged within the processing chamber 41 and a support member 62 that supports the susceptor 61 within the processing chamber 41 and the exhaust chamber 42 .
  • the susceptor 61 is a substrate mounting table for supporting the substrate W horizontally.
  • the susceptor 61 has a substrate mounting surface (upper surface) on which the substrate W is mounted and a lower surface on the opposite side.
  • One end of a support member 62 is fixed to the central portion of the lower surface of the susceptor 61 .
  • the other end of the support member 62 is fixed to the bottom 423 of the exhaust chamber 42 .
  • the susceptor 61 has a plurality of support pins protruding and retractable with respect to the substrate mounting surface.
  • the plurality of support pins are vertically displaced by an arbitrary elevating mechanism, and are configured to transfer the substrate W to and from the substrate transport mechanism 31 at the elevated position.
  • the chamber 40 includes a heater 63, a heater power supply 64, and a temperature sensor TS.
  • the heater 63 and the temperature measuring portion of the temperature sensor TS are embedded in the susceptor 61 .
  • the heater power supply 64 is arranged outside the processing chamber 41 and the exhaust chamber 42 .
  • the heater 63 is connected to a heater power source 64 via, for example, wiring that passes through the interior of the support member 62 .
  • the heater power supply 64 supplies electrical output to the heater 63 to heat the substrate W placed on the susceptor 61 to a desired temperature.
  • the temperature of the susceptor 61 is measured by a temperature sensor TS.
  • the temperature sensor TS is configured using known members such as thermocouples and thermistors.
  • the chamber 40 has a shower head 71 provided on the ceiling 411 of the processing chamber 41 .
  • the showerhead 71 has a gas diffusion space 71a formed therein and a plurality of gas discharge holes 71b formed to penetrate from the gas diffusion space 71a toward the susceptor 61. As shown in FIG.
  • the chamber 40 is provided on the opposite side of the showerhead 71 from the plurality of gas discharge holes 71b, and includes a gas introduction pipe 72 communicating with the gas diffusion space 71a, and a gas supply pipe 72 disposed outside the processing chamber 41 and the exhaust chamber 42.
  • the gas supply source 73 supplies the shower head 71 with a film forming source gas used for film forming processing, a cleaning gas for cleaning the inside of the processing chamber 41 and the exhaust chamber 42 , and the inside of the processing chamber 41 and the exhaust chamber 42 .
  • a purge gas or the like is supplied to replace the atmosphere of the These gases are supplied to the gas diffusion space 71a through the gas pipe 74 and the gas introduction pipe 72, and discharged into the processing chamber 41 through the plurality of gas discharge holes 71b.
  • the chamber 40 includes a high-frequency power supply 76 arranged outside the processing chamber 41 and the exhaust chamber 42, wiring 77 connecting the shower head 71 and the high-frequency power supply 76, and a matching device 78 provided in the middle of the wiring 77. ing.
  • a high-frequency power supply 76 supplies high-frequency power to the shower head 71 for plasmatizing the film-forming raw material gas supplied into the processing chamber 41 .
  • the substrate W placed on the susceptor 61 can be subjected to the film formation process. That is, the substrate W to be processed is transported into the processing chamber 41 in a vacuum state, the substrate W placed on the susceptor 61 is heated by the heater 63, and the raw material gas is supplied from the shower head 71 toward the substrate W. Thus, a thin film is formed on the surface of the substrate W.
  • High-frequency power may be supplied from the high-frequency power supply 76 to the shower head 71 in order to promote the film formation reaction.
  • the material gas supplied into the processing chamber 41 through the shower head 71 can be plasmatized to form a film.
  • the chamber 40 that performs the film forming process on the substrate W has been described.
  • FIG. 4 is a block diagram for explaining the configuration of the control system of the substrate processing apparatus 100.
  • the substrate processing apparatus 100 includes various sensors S1 to S3, edge devices 110 to 130 to which data output from the sensors S1 to S3 are respectively input, actuators A1 to A3 controlled by the edge devices 110 to 130, and apparatus A control device 150 is provided to control the overall operation.
  • the sensors S1 to S3 are provided in the substrate processing apparatus 100 and are sensors for measuring physical quantities to be measured in time series.
  • the sensors S1 to S3 output time-series data (hereinafter also referred to as sensor data) indicating measurement results to the edge devices 110 to 130 in the subsequent stage.
  • An example of the sensor S1 is an RF (Radio Frequency) sensor.
  • the RF sensor is installed on the output side of the high frequency power supply 76 and measures the RF power of the high frequency power supply 76 in time series.
  • the RF sensor may be a sensor that measures voltage, current, capacitance, impedance, phase, load power, etc. over time.
  • An example of sensor S2 is a temperature sensor.
  • the temperature sensor includes a temperature sensor TS whose temperature measuring portion is embedded in the susceptor 61 and measures the temperature of the substrate mounting surface (that is, the temperature of the substrate W to be processed) in time series.
  • the temperature sensor may be a sensor that measures the electrode temperature, the internal temperature of the processing chamber 41, etc. in time series.
  • An example of sensor S3 is a torque sensor.
  • the torque sensor measures the torque received by the actuator (for example, actuator A3) mounted on the substrate transfer mechanisms 21 and 31 in time series.
  • the sensors S1 to S3 mounted on the substrate processing apparatus 100 are not limited to the RF sensor, temperature sensor, and torque sensor described above. Moreover, the number of sensors mounted on the substrate processing apparatus 100 is not limited to three.
  • the substrate processing apparatus 100 may include one or more sensors including gas sensors, OES (Optical Emission Spectroscopy) sensors, flow sensors, and the like.
  • the gas sensor is a sensor that is installed in the processing chamber 41 and measures the amount of a specific component of the gas that fills the inside of the processing chamber 41 in time series. A mass spectrometer, an infrared spectrometer, a gas chromatograph, or the like is used as the gas sensor.
  • the OES sensor is installed in the processing chamber 41 and is a sensor that measures the plasma emission intensity inside the processing chamber 41 in time series.
  • the flow rate sensor is installed in the processing chamber 41 and is a sensor that measures the flow rate of the gas introduced into the processing chamber 41 in time series.
  • the sampling rate of the sensors S1 to S3 is arbitrary and is appropriately set for each sensor.
  • the RF sensor has a sampling rate of 1-10 ⁇ sec.
  • the sampling rate of the temperature sensor is, for example, 100 msec.
  • a sampling rate of the torque sensor is, for example, 2.5 msec.
  • the sampling rate of the OES sensor is, for example, 10-100 msec.
  • the sampling rate of the gas sensor is, for example, 1-10 msec.
  • the sampling rate of the flow sensor is, for example, 10 msec.
  • the edge devices 110-130 execute a process of estimating the state of the substrate processing apparatus 100, a process of estimating control values for the actuators A1-A3, and the like, based on sensor data input from the sensors S1-S3.
  • the edge devices 110 to 130 for example, output state estimation results to the control device 150, and control the operations of the actuators A1 to A3 based on the control value estimation results.
  • the internal configurations of the edge devices 110 to 130 and the details of the processing executed by the edge device 110 will be detailed later.
  • the actuators A1-A3 are the control targets of the edge devices 110-130.
  • the actuator is not limited to a mechanical element such as a motor that converts electrical energy into physical momentum, and various drive circuits including electrical circuits are collectively referred to as actuators.
  • the actuator A1 may be the high frequency power supply 76.
  • the edge device 110 acquires time-series data of RF power from the RF sensor, estimates a control value for the high-frequency power supply 76 based on the acquired time-series data, and operates the high-frequency power supply 76 based on the estimated control value. to control.
  • the actuator A2 may be the heater power supply 64.
  • the edge device 120 acquires temperature time-series data from the temperature sensor TS, estimates a control value for the heater power supply 64 based on the acquired time-series data, and operates the heater power supply 64 based on the estimated control value. to control.
  • the actuator A3 may be a motor included in the substrate transport mechanisms 21 and 31.
  • the edge device 130 acquires time-series data of the torque received by the motor drive shaft from the torque sensor, estimates control values for the substrate transport mechanisms 21 and 31 based on the acquired time-series data, and estimates the control values The operation of the substrate transfer mechanisms 21 and 31 is controlled based on.
  • one sensor and one actuator are connected to each of the edge devices 110 to 130, but the number of sensors and actuators connected to the edge devices 110 to 130 is limited to one. not. Multiple sensors and multiple actuators may be connected to each of the edge devices 110-130.
  • the substrate processing apparatus 100 is configured to include the three edge devices 110 to 130, but the number of edge devices mounted on the substrate processing apparatus 100 is not limited to three. It is only necessary to have one or more edge devices.
  • the control device 150 controls the overall operation of the substrate processing apparatus 100 based on various information input from the edge devices 110 to 130 and various information input from the outside.
  • the internal configuration of the control device 150 and the contents of the processing executed by the control device 150 will be detailed later.
  • FIG. 5 is a block diagram showing the internal configuration of the edge device 110 included in the substrate processing apparatus 100.
  • the edge device 110 is a dedicated or general-purpose computer provided in the substrate processing apparatus 100, and includes a control unit 111, a storage unit 112, an input unit 113, an output unit 114, a communication unit 115, and the like.
  • the edge device 110 monitors the state of the substrate processing apparatus 100 and controls the operation of the actuator A1 based on sensor data from the sensor S1 input through the input unit 113 .
  • the control unit 111 includes a CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory), and the like.
  • the ROM included in the control unit 111 stores a control program and the like for controlling the operation of each hardware unit included in the edge device 110 .
  • the CPU in the control unit 111 reads and executes a control program stored in the ROM and various computer programs stored in the storage unit 112, and controls the operation of each hardware unit to control the operation of the entire device. functions as an information processing device.
  • the RAM provided in the control unit 111 temporarily stores data used during execution of the calculation.
  • control unit 111 is configured to include a CPU, a ROM, and a RAM, but the configuration of the control unit 111 is not limited to the above.
  • the control unit 111 includes, for example, GPU (Graphics Processing Unit), FPGA (Field Programmable Gate Array), DSP (Digital Signal Processor), quantum processor, volatile or nonvolatile memory, etc.
  • One or more control circuits or operations It may be a circuit.
  • the control unit 111 may also have functions such as a clock that outputs date and time information, a timer that measures the elapsed time from when a measurement start instruction is given to when a measurement end instruction is given, and a counter that counts the number.
  • the storage unit 112 includes storage devices such as HDD (Hard Disk Drive), SSD (Solid State Drive), and EEPROM (Electronically Erasable Programmable Read Only Memory).
  • the storage unit 112 stores various computer programs executed by the control unit 111 and various data used by the control unit 111 .
  • the computer programs stored in the storage unit 112 include a learning processing program PG11 for generating learning models (observation model MD11 and control model MD12), which will be described later, and a state of the substrate processing apparatus 100 and actuator A1 using the learning models. includes an estimation processing program PG12 for estimating the control value of .
  • These computer programs may be a single computer program, or may be composed of a plurality of computer programs. Also, these computer programs may partially use existing libraries.
  • Computer programs such as the learning processing program PG11 and the estimation processing program PG12 stored in the storage unit 112 are provided by a non-temporary recording medium RM10 that records the computer programs in a readable manner.
  • the recording medium RM10 is a portable memory such as a CD-ROM, USB memory, SD (Secure Digital) card, micro SD card, compact flash (registered trademark).
  • the control unit 111 uses a reading device (not shown) to read various computer programs from the recording medium RM10, and causes the storage unit 112 to store the read various computer programs.
  • the computer programs stored in storage unit 112 may be provided by communication. In this case, the control unit 111 acquires the computer program through the communication unit 115 and stores the acquired computer program in the storage unit 112 .
  • the storage unit 112 has a learning model configured to output information about the substrate processing apparatus 100 when time-series data output from the sensor S1 is input.
  • the storage unit 112 stores, as information defining a learning model, for example, configuration information of layers included in the learning model, information on nodes included in each layer, parameters for weighting and biasing between nodes, and the like.
  • the edge device 110 includes an observation model MD11 and a control model MD12 as learning models.
  • the observation model MD11 is a model for estimating the state of the substrate processing apparatus 1 .
  • the control model MD12 is a model for estimating the control value of the actuator A1 to be controlled by the edge device 110 .
  • the configuration includes both the observation model MD11 and the control model MD12 as the learning model, but the configuration may include only one of them.
  • one observation model MD11 and one control model MD12 are provided. may be prepared for each
  • the input unit 113 has an interface for connecting the sensor S1.
  • a sensor S1 connected to the input unit 113 is, for example, an RF sensor.
  • the sensor S1 connected to the input unit 113 is not limited to the above, and any sensor necessary for observing the state (performance) of the process is connected.
  • Time-series data (sensor data) input through the input unit 113 is temporarily stored in the storage unit 112 .
  • the output unit 114 has an interface for connecting the actuator A1 to be controlled by the edge device 110 .
  • Control unit 111 estimates a control value using control model MD12 described above, and outputs a control command based on the estimated control value from output unit 114 to actuator A1, thereby controlling the operation of actuator A1.
  • the communication unit 115 has a communication interface for transmitting and receiving various data to and from the control device 150 .
  • a communication interface of the communication unit 115 a communication interface conforming to a communication standard such as LAN can be used.
  • the communication unit 115 transmits the data to the control device 150 , and when receiving data transmitted from the control device 150 , outputs the received data to the control unit 111 . do.
  • FIG. 6 is a schematic diagram showing a configuration example of the observation model MD11 provided in the edge device 110.
  • the observation model MD11 When time series data (sensor data) obtained from the sensor S1 is input, the observation model MD11 outputs information about the state of the substrate processing apparatus 100 provided with the sensor S1 (hereinafter referred to as state information). Configured. Any model that can analyze time-series data can be adopted as the observation model MD11.
  • the observation model MD11 is a learning model of machine learning including deep learning, and constructed by RNN (Recurrent Neural Network), LSTM (Long Short-Term Memory), and the like.
  • the observation model MD11 can be CNN (Convolutional Neural Network), R-CNN (Region based CNN), YOLO (You Only Look Once), SSD (Single Shot Multibox Detector), GAN (Generative Adversarial Network), SVM ( It may be a learning model based on a support vector machine), a decision tree, or the like.
  • the observation model MD11 may be a learning model other than deep learning, such as an autoregressive model, a moving average model, and an autoregressive moving average model.
  • the observation model MD11 includes an input layer MD11a, intermediate layers MD11b and MD11c, an output layer MD11d, and the like.
  • the observation model MD11 is configured to include two intermediate layers MD11b and MD11c, but may be configured to include three or more intermediate layers.
  • One or more nodes are provided in the input layer MD11a, the intermediate layers MD11b and MD11c, and the output layer MD11d.
  • the nodes in each layer are unidirectionally coupled with the nodes in the preceding and succeeding layers with desired weights and biases.
  • the same number of data as the number of nodes included in the input layer MD11a is input to the input layer MD11a of the observation model MD11.
  • the sensor data input to the nodes of the input layer MD11a are time-series data obtained from the sensor S1.
  • the sensor data input to the input layer MD11a may be a plurality of temporally continuous measured values, or may be a graph (image data) in which the measured values are plotted against time.
  • the input sensor data is output to the nodes provided in the first intermediate layer MD11b through the nodes provided in the input layer MD11a.
  • the data input to the first intermediate layer MD11b is output to the nodes included in the second intermediate layer MD11c through the nodes forming the intermediate layer MD11b.
  • feature quantities of sensor data are extracted using activation functions including weights and biases set between nodes in each layer.
  • the feature values of the sensor data extracted by the intermediate layers MD11b and MD11c are output to the output layer MD11d and taken out of the observation model MD11.
  • the output layer MD11d executes a preset calculation using the feature amount input from the second intermediate layer MD11c, and outputs status information of the substrate processing apparatus 100 as a final calculation result.
  • the state information output from the output layer MD11d includes an evaluation value representing the state of the substrate processing apparatus 100 and the like.
  • the evaluation value is, for example, information representing the degree of deterioration of a specific component that configures the substrate processing apparatus 100 .
  • the evaluation value may be information representing the presence or absence of failure of a particular component.
  • Specific components that make up the substrate processing apparatus 100 include an exhaust system 51, a heater power supply 64, a gas supply source 73, a high frequency power supply 76, and the like.
  • the observation model MD11 is learned by any learning algorithm. Supervised learning can be used as a learning algorithm.
  • a data set including the sensor data of the sensor S1 and the correct data to be output by the observation model MD11 is used as the training data so that the state information of the substrate processing apparatus 100 is output when the sensor data is input.
  • be learned by Training data may be given by an administrator or the like of the substrate processing apparatus 100 .
  • the sensor data of the sensor S1, the date and time when the component was replaced, the date and time when the failure was discovered, etc. are accumulated as history data. Based on this history data, the sensor data of the sensor S1 and correct data indicating the presence or absence of deterioration or the presence or absence of failure at the date and time when the sensor data was obtained may be given as training data.
  • the observation model MD11 shown as an example in FIG. 6 has a configuration including an input layer MD11a, intermediate layers MD11b and MD11c, and an output layer MD11d, but the configuration of the observation model MD11 is not limited to that shown in FIG.
  • the observation model MD11 may be a model in which only the relationship between input and output (that is, the relationship between sensor data and state information) is defined without including the intermediate layers MD11b and 11c.
  • supervised learning was explained as the learning algorithm for the observation model MD11, but it is possible to generate the observation model MD11 using any learning algorithm including unsupervised learning.
  • control unit 111 of the edge device 110 executes the calculation by the observation model MD11, it acquires the state information from the output layer MD11d and acquires the feature amount of the sensor data extracted by the intermediate layers MD11b and MD11c.
  • the control unit 111 transmits the acquired state information of the substrate processing apparatus 100 and the feature amount of the sensor data to the control device 150 , which is a higher-level device of the edge device 110 .
  • FIG. 7 is a schematic diagram showing a configuration example of the control model MD12 provided in the edge device 110.
  • the control model MD12 When time-series data (sensor data) obtained from the sensor S1 is input, the control model MD12 outputs information (hereinafter referred to as control information) regarding the control value of the substrate processing apparatus 100 provided with the sensor S1. configured to That is, when sensor data is input to the input layer MD12a of the control model MD12, the intermediate layers MD12b and MD12c execute calculations for extracting feature amounts of the sensor data. The feature values obtained from the intermediate layers MD12b and MD12c are output to the output layer MD12d and taken out of the control model MD12.
  • the output layer MD12d executes a predetermined calculation using the feature amount input from the second intermediate layer MD12c, and outputs control information of the substrate processing apparatus 100 as a final calculation result.
  • the feature amount of the sensor data output from the intermediate layer MD 12 c and the control information output from the output layer MD 12 d are input to the control section 111 .
  • the control information output from the output layer MD 12 d includes control values for controlling at least one component of the substrate processing apparatus 100 .
  • the control model MD12 may be learned by supervised learning or by unsupervised learning. Also, the control model MD12 may be learned by reinforcement learning. For example, a reward may be given according to the state of the substrate processing apparatus 100, and the value in reinforcement learning may be learned so as to maximize the total reward obtained in the future.
  • Q-learning which is one type of reinforcement learning, learns a value Q for selecting an action (control value) under certain environmental conditions. At the time Q-learning is started, the correct value Q for the combination of the state of the substrate processing apparatus 100 and the action (control value) is not known. Therefore, various control values are selected under certain work data, and the total reward is calculated based on the reward given for the action (control based on the control value) at that time, and the better control value is selected. It learns the correct value Q by going.
  • the control model MD12 is not limited to the model described above, and may be another model capable of analyzing time-series data.
  • the control model MD12 may be a learning model other than deep learning, such as an autoregressive model, a moving average model, and an autoregressive moving average model.
  • the configuration of the control model MD12 is not limited to that shown in FIG.
  • the control model MD12 may be a model in which only the relationship between input and output (that is, the relationship between sensor data and control information) is defined without including the intermediate layers MD12b and MD12c.
  • control unit 111 of the edge device 110 executes the calculation by the control model MD12, it acquires the control information from the output layer MD12d and acquires the feature amount of the sensor data calculated by the intermediate layers MD12b and MD12c.
  • the control unit 111 transmits the acquired control information of the substrate processing apparatus 100 and the feature amount of the sensor data to the control device 150 which is a higher-level device of the edge device 110 . Also, the control unit 111 controls the operation of the actuator A1 based on the control information acquired from the control model MD12.
  • the feature amount is extracted from the intermediate layers MD11c and MD12c, but the final calculation result obtained from the output layers MD11d and MD12d may be regarded as the feature amount of the sensor data.
  • the control unit 111 may directly extract the feature amount from the sensor data. Appropriate statistical processing such as peak detection and interval averaging is used to extract the feature amount.
  • the control unit 111 may detect an abnormal location appearing in the sensor data and weight the data of the detected abnormal location to extract the feature quantity. Further, the control unit 111 may extract snapshots of time-series data including abnormal points appearing in sensor data as feature amounts.
  • the internal configuration of the edge device 110 has been described in FIGS. 5 to 7, the internal configurations of the edge devices 120 and 130 are the same. That is, the edge devices 120 and 130 each have an observation model and a control model, and estimate the state of the substrate processing apparatus 100 and the control values of the actuators A1 and A2 based on the sensor data input from the sensors S2 and S3.
  • the edge devices 120 and 130 use the state information of the substrate processing apparatus 100 obtained from the observation model and the control model, the control information of the actuators A1 and A2, and the characteristic amounts of the sensor data output from the sensors S2 and S3 to edge devices 120 and 130. It is transmitted to the control device 150, which is the host device of the devices 120 and 130.
  • the edge devices 120 and 130 control the operations of the actuators A2 and A3, respectively, based on the control information acquired from the control model.
  • FIG. 8 is a block diagram showing the internal configuration of the control device 150 provided in the substrate processing apparatus 100.
  • the control device 150 is a dedicated or general-purpose computer provided inside the substrate processing apparatus 100, and includes a control unit 151, a storage unit 152, a first communication unit 153, a second communication unit 154, an operation unit 155, a display unit 156, and the like. Prepare.
  • the control device 150 collects data (characteristic amounts of sensor data) transmitted from the edge devices 110 to 130 and accumulates them in the database DB20 within the storage unit 152 .
  • the control device 150 generates a second learning model that absorbs individual differences in sensors based on the medium-term data accumulated in the database DB20.
  • the control unit 151 includes a CPU, ROM, RAM, and the like.
  • the ROM included in the control unit 151 stores a control program and the like for controlling the operation of each hardware unit included in the control device 150 .
  • the CPU in the control unit 151 reads and executes control programs stored in the ROM and various computer programs stored in the storage unit 152, and controls the operation of each hardware unit.
  • the control unit 151 is not limited to the configuration described above, and may be one or more control circuits or arithmetic circuits including a GPU, FPGA, DSP, quantum processor, volatile or nonvolatile memory, or the like.
  • the control unit 151 may also have functions such as a clock that outputs date and time information, a timer that measures the elapsed time from when a measurement start instruction is given to when a measurement end instruction is given, and a counter that counts the number.
  • the storage unit 152 includes storage devices such as HDD, SSD, and EEPROM.
  • the storage unit 152 includes the database DB20 described above.
  • FIG. 9 is a conceptual diagram showing a configuration example of the database DB20.
  • the database DB20 stores date and time information and feature amounts of sensor data in association with identification information (device IDs) of the edge devices 110-130. Furthermore, the database DB20 may store state information and control information of the substrate processing apparatus 100 .
  • the storage unit 152 stores various computer programs executed by the control unit 151 and various data used by the control unit 151.
  • the computer programs stored in the storage unit 152 include a learning processing program PG21 for generating a second learning model, and an estimation process for estimating the state and control values of the substrate processing apparatus 100 using the second learning model.
  • a program PG22 is included.
  • a computer program stored in the storage unit 152 is provided by a non-temporary recording medium RM20 that records the computer program in a readable manner.
  • the computer programs stored in the storage unit 152 may be provided by communication.
  • the storage unit 152 includes a second learning model configured to output information about the substrate processing apparatus 100 when the feature amount of sensor data is input.
  • the storage unit 152 stores, as information defining the second learning model, layer configuration information included in the second learning model, node information included in each layer, weighting and bias information between nodes, and the like.
  • the control device 150 includes an observation model MD21 and a control model MD22 as second learning models.
  • Observation model MD21 is a model for estimating the state of substrate processing apparatus 100 .
  • the control model MD22 is a model for estimating control values used in the substrate processing apparatus 100 . Since the configurations of the observation model MD21 and the control model MD22 are the same as the configurations of the observation model MD11 and the control model MD12 provided in the edge devices 110 to 130, detailed description thereof will be omitted.
  • both the observation model MD21 and the control model MD22 are provided as the second learning model, but it may be provided with only one of them. Further, in the present embodiment, as the second learning model, one observation model MD21 and one control model MD22 are provided, but the observation model MD21 may be prepared for each observation target, and the control model MD22 may It may be prepared for each object.
  • the first communication unit 153 has a communication interface for transmitting and receiving various data to and from the edge devices 110-130.
  • a communication interface of the first communication unit 153 a communication interface conforming to a communication standard such as LAN can be used.
  • the first communication unit 153 transmits the data to the destination edge devices 110 to 130.
  • the first communication unit 153 receives data transmitted from the edge devices 110 to 130.
  • the obtained data is output to the control unit 151 .
  • the second communication unit 154 has a communication interface for transmitting and receiving various data.
  • the communication interface provided in the second communication unit 154 is, for example, a communication interface conforming to LAN communication standards used in WiFi (registered trademark) and Ethernet (registered trademark).
  • WiFi registered trademark
  • Ethernet registered trademark
  • the operation unit 155 includes operation devices such as a touch panel, keyboard, and switches, and receives various operations and settings by administrators and the like.
  • the control unit 151 performs appropriate control based on various kinds of operation information given from the operation unit 155, and stores setting information in the storage unit 152 as necessary.
  • the display unit 156 has a display device such as a liquid crystal monitor or organic EL (Electro-Luminescence), and displays information to be notified to the administrator or the like according to instructions from the control unit 151 .
  • a display device such as a liquid crystal monitor or organic EL (Electro-Luminescence), and displays information to be notified to the administrator or the like according to instructions from the control unit 151 .
  • FIG. 10 is a block diagram showing the internal configuration of the device group server 200.
  • the device group server 200 includes a control unit 201, a storage unit 202, a communication unit 203, an operation unit 204, a display unit 205, and the like.
  • the apparatus group server 200 collects data transmitted from a plurality of substrate processing apparatuses 100 and accumulates the data in the database DB30 provided within the storage unit 202 .
  • the device group server 200 generates a third learning model that absorbs individual differences between devices based on the long-term data accumulated in the database DB30.
  • the control unit 201 includes a CPU, ROM, RAM, and the like.
  • the ROM included in the control unit 201 stores a control program and the like for controlling the operation of each hardware unit included in the device group server 200 .
  • the CPU in the control unit 201 reads and executes control programs stored in the ROM and various computer programs stored in the storage unit 202, and controls the operation of each hardware unit.
  • the control unit 201 is not limited to the configuration described above, and may be one or more control circuits or arithmetic circuits including a GPU, FPGA, DSP, quantum processor, volatile or nonvolatile memory, or the like.
  • the control unit 201 may also have functions such as a clock that outputs date and time information, a timer that measures the elapsed time from when a measurement start instruction is given to when a measurement end instruction is given, and a counter that counts the number.
  • the storage unit 202 includes storage devices such as HDD, SSD, and EEPROM.
  • the storage unit 202 includes the database DB30 described above.
  • FIG. 11 is a conceptual diagram showing a configuration example of the database DB30.
  • the database DB30 stores the date and time information and the feature amount of the sensor data in association with the identifier (apparatus ID) of the substrate processing apparatus 100 .
  • the database DB30 may further store state information indicating the state of the substrate processing apparatus 100 and control information used for controlling the substrate processing apparatus 100 .
  • the storage unit 202 stores various computer programs executed by the control unit 201 and various data used by the control unit 201.
  • the computer programs stored in the storage unit 202 include a learning processing program PG31 for generating a third learning model and an estimation processing program PG32 for estimating the state and control values of the substrate processing apparatus 100.
  • a computer program stored in the storage unit 202 is provided by a non-temporary recording medium RM30 that records the computer program in a readable manner.
  • the computer programs stored in the storage unit 202 may be provided by communication.
  • the storage unit 202 includes a third learning model configured to output information about the substrate processing apparatus 100 when the feature amount of sensor data is input.
  • the storage unit 202 stores, as information defining the third learning model, configuration information of layers included in the third learning model, information on nodes included in each layer, information on weights and biases between nodes, and the like.
  • the device group server 200 includes an observation model MD31 and a control model MD32 as third learning models.
  • Observation model MD31 is a model for estimating the state of substrate processing apparatus 100 .
  • the control model MD32 is a model for estimating control values used in the substrate processing apparatus 100 . Since the configurations of the observation model MD31 and the control model MD32 are the same as the configurations of the observation model MD21 and the control model MD22 provided in the control device 150, detailed description thereof will be omitted.
  • both the observation model MD31 and the control model MD32 are provided as the third learning model, but only one of them may be provided. Further, in the present embodiment, as the third learning model, one observation model MD31 and one control model MD32 are provided, but the observation model MD31 may be prepared for each observation target, and the control model MD32 may It may be prepared for each object.
  • the communication unit 203 has a communication interface for transmitting and receiving various data.
  • the communication interface provided in the communication unit 203 is, for example, a communication interface conforming to the LAN communication standard used in WiFi (registered trademark) and Ethernet (registered trademark).
  • WiFi registered trademark
  • Ethernet registered trademark
  • the operation unit 204 includes operation devices such as a touch panel, keyboard, and switches, and receives various operations and settings by administrators and the like.
  • the control unit 201 performs appropriate control based on various kinds of operation information given from the operation unit 204, and stores setting information in the storage unit 202 as necessary.
  • the display unit 205 has a display device such as a liquid crystal monitor or an organic EL, and displays information to be notified to the administrator or the like according to instructions from the control unit 201 .
  • the device group server 200 is configured to include the operation unit 204 and the display unit 205, but the operation unit 204 and the display unit 205 are not essential components in the device group server 200. If the operation unit 204 is not provided, the device group server 200 may receive operations from an external computer communicably connected via the communication unit 203 . If the display unit 205 is not provided, the device group server 200 may transmit information to be notified to the administrator or the like from the communication unit 203 to the external computer and have the external computer display the information.
  • edge devices 110 to 130 generate first learning models (observation model MD11 and control model MD12) in the learning phase before the start of operation.
  • FIG. 12 is a flowchart showing the procedure for generating the first learning model by the edge device 110.
  • the control unit 111 of the edge device 110 collects sensor data output from the sensor S1 in time series through the input unit 113 (step S101). The sensor data collection period is, for example, one month.
  • the control unit 111 receives state information of the substrate processing apparatus 100 from the outside, and acquires control values to be output from the output unit 114 to the substrate processing apparatus 100 .
  • the control values of the substrate processing apparatus 100 that are used before the learning of the control model MD12 is completed are determined, for example, with reference to a preset recipe. These state information and control values are stored in the storage unit 112 together with the sensor data as training data when the observation model MD11 and the control model MD12 are learned.
  • the control unit 111 selects a set of training data from the training data stored in the storage unit 112 (step S102).
  • the control unit 111 inputs the sensor data included in the selected set of training data to the observation model MD11 and the control model MD12, respectively, and executes the calculations of the observation model MD11 and the control model MD12 (step S103). It is assumed that the model parameters of the observation model MD11 and the control model MD12 are set to initial values before learning is started.
  • the control unit 111 evaluates the calculation results of the observation model MD11 and the control model MD12 (step S104), and determines whether the learning of the observation model MD11 and the control model MD12 has been completed (step S105).
  • the control unit 111 can evaluate the computation result using an error function (also called objective function, loss function, or cost function) based on the model computation result and the state or control value included as correct data. For example, in the process of optimizing (minimizing or maximizing) an error function by a gradient descent method such as the steepest descent method, if the error function becomes equal to or less than a threshold (or equal to or greater than a threshold), the observation model MD11 And it is determined that the learning of the control model MD12 is completed.
  • an error function also called objective function, loss function, or cost function
  • control unit 111 determines the parameter (node weights, biases, etc.) are updated (step S106), and the process returns to step S102.
  • the control unit 111 can update the parameters in the model using the error backpropagation method that sequentially updates the weights and biases between nodes from the output layers MD11d and MD12d to the input layers MD11a and MD12a.
  • control unit 111 stores them in the storage unit 112 as the first learning models (step S107). ).
  • edge devices 120 and 130 can also generate the first learning model to be applied to each by the same generation procedure.
  • the substrate processing system according to the present embodiment shifts to the operation phase after the first learning model is generated in each of the edge devices 110-130.
  • the substrate processing system executes the following processes in the operation phase.
  • FIG. 13 is a flow chart showing the procedure of processing executed inside the substrate processing apparatus 100 in the operation phase.
  • the control unit 111 of the edge device 110 (120, 130) provided in the substrate processing apparatus 100 acquires the sensor data output in time series from the sensor S1 through the input unit 113 (step S121), the acquired The model is executed by inputting the sensor data into the observation model MD11 or the control model MD12 (step S122).
  • the control unit 111 extracts feature amounts of sensor data from the intermediate layers MD11c and MD12c of the models MD11 and MD12 in the process of executing the models (step S123).
  • the control unit 111 can, for example, extract feature amounts from the intermediate layers MD11c and MD12c.
  • the control unit 111 may regard the final calculation results obtained from the output layers MD11d and MD12d as the feature amount of the sensor data, or may directly extract the feature amount from the sensor data.
  • the control unit 111 transmits the extracted feature amount to the control device 150 together with the state information and control information estimation results obtained from the models MD11 and MD12 (step S124).
  • the control unit 111 also controls the actuator A1 based on the state information and control information estimated by the models MD11 and MD12 (step S125). Note that the control unit 111 may perform the processing of steps S122 to S125 each time sensor data is acquired in step S122.
  • the control unit 151 of the control device 150 receives the feature amount transmitted from the edge device 110 (120, 130) from the first communication unit 153 (step S126) and accumulates it in the database DB20 (step S127).
  • the control unit 151 determines whether or not the period for collecting feature amounts has ended (step S128).
  • the collection period is six months, for example, after the collection of the feature amount is started. Alternatively, it may be determined whether or not the collection period has ended based on the number of feature values accumulated in the database DB20. If the collection period has not ended (S128: NO), the control unit 151 returns the process to step S126, receives the feature amount, and repeats the process of accumulating it in the database DB20.
  • learning of the observation model MD21 and the control model MD22 is executed to create models (step S129).
  • the control unit 151 can create the observation model MD21 by performing learning using a set of feature values and state information stored in the database DB20 as training data.
  • the control unit 151 can create a control model MD22 by performing learning using a set of feature amounts and control values stored in the database DB20 as training data.
  • the procedure for creating the model is the same as the procedure for creating the observation model MD11 and the control model MD12.
  • control unit 151 when receiving a new feature amount from the edge device 110 (120, 130), inputs the received feature amount to the observation model MD21 or the control model MD22, and executes the model (step S130).
  • the control unit 151 determines whether or not the model used in the edge device 110 (120, 130) needs to be updated based on the execution result of step S130 (step S131). Since the control device 150 creates a model based on the accumulated medium-term data (for example, six-monthly data), the control unit 151 executes the model based on the newly acquired feature amount, thereby creating the model. Deviations from the indicated trend can be determined. The control unit 151 determines that the model provided in the edge device 110 (120, 130) is abnormal when the deviation from the trend indicated by the model is equal to or greater than the threshold. If the control unit 151 determines that there is no abnormality in the model, it determines that the model need not be updated (S131: NO), and the control unit 151 returns the process to step S130.
  • control unit 151 determines that the model is abnormal, it determines that the model needs to be updated (S131: YES), and transmits a model re-learning instruction to the edge device 110 (120, 130). (Step S132).
  • the control unit 111 of the edge device 110 determines whether or not the relearning instruction transmitted from the control device 150 has been received (step S133). When determining that the relearning instruction has not been received (S133: NO), the control unit 111 returns the process to step S121, and repeats the processes of steps S121 to S125.
  • the control unit 111 executes relearning (step S134).
  • the control unit 111 can relearn the observation model MD11 by performing additional learning using, for example, sensor data obtained from the sensor S1 and state information of the substrate processing apparatus 100 as training data. Further, the control unit 111 can relearn the control model MD12 by performing additional learning using, for example, sensor data obtained from the sensor S1 and control values used in the substrate processing apparatus 100 as training data. .
  • the above training data may be used to re-learn the observation model MD11 and the control model MD12 from the beginning.
  • the re-learning instruction is transmitted to the edge device 110 (120, 130). may be sent to the edge device 110 (120, 130).
  • the correction value can be calculated from the error between the result of prediction by the second learning model (observation model MD21 and control model MD22) and the result of actual measurement.
  • FIG. 14 is a flow chart showing the procedure of processing executed between the substrate processing apparatus 100 and the apparatus group server 200 in the operation phase.
  • the control device 150 of the substrate processing apparatus 100 creates the observation model MD21 and the control model MD22 based on feature amounts obtained from the edge devices 110 to 130 in the operation phase.
  • the control unit 151 of the control device 150 receives a new feature amount from the edge device 110 (120, 130) after creating the model (step S141), it inputs the received feature amount to the observation model MD21 or the control model MD22. and execute the model (step S142).
  • the control unit 111 extracts the feature amount of the sensor data from the intermediate layer of each of the models MD21 and MD22 in the process of executing the model (step S143), and uses the extracted feature amount as the state information obtained from each model MD21 and MD22. It is transmitted to the device group server 200 together with the estimation result of the control information (step S144).
  • the feature values of the sensor data are extracted from the intermediate layer of each model MD21, MD22 and transmitted to the device group server 200.
  • the final A configuration may be adopted in which the calculation result is regarded as the feature amount of the sensor data and transmitted to the device group server 200 .
  • the control unit 201 of the apparatus group server 200 receives the feature amount transmitted from the substrate processing apparatus 100 from the communication unit 203 (step S145), and accumulates it in the database DB30 (step S146).
  • the control unit 201 determines whether or not the period for collecting feature amounts has ended (step S147).
  • the collection period is, for example, 2 to 3 years from the start of collection of feature amounts. Alternatively, it may be determined whether or not the collection period has ended based on the number of feature values accumulated in the database DB30. If the collection period has not ended (S147: NO), the control unit 201 returns the process to step S145, receives the feature amount, and repeats the process of accumulating it in the database DB30.
  • learning of the observation model MD31 and the control model MD32 is executed to create models (step S148).
  • the control unit 201 can create the observation model MD31 by performing learning using a set of feature values and state information stored in the database DB30 as training data.
  • the control unit 201 can create a control model MD32 by performing learning using a set of feature amounts and control values stored in the database DB30 as training data.
  • the procedure for creating the model is the same as the procedure for creating the observation model MD11 and the control model MD12.
  • control unit 201 When the control unit 201 receives a new feature amount from the substrate processing apparatus 100 after creating the model, it inputs the received feature amount to the observation model MD31 or the control model MD32, and executes the model (step S149).
  • the control unit 201 determines whether or not it is necessary to update the model used in the edge device 110 (120, 130) of the substrate processing apparatus 100 based on the execution result of step S149 (step S150). Since the device group server 200 creates a model based on accumulated long-term data (for example, data for 2 to 3 years), the control unit 201 executes the model based on the newly acquired feature amount. , the deviation from the trend indicated by the model can be determined. The control unit 201 determines that the model provided in the edge device 110 (120, 130) is abnormal when the deviation from the trend indicated by the model is equal to or greater than the threshold. If the control unit 201 determines that there is no abnormality in the model, it determines that the model need not be updated (S150: NO), and the control unit 201 returns the process to step S149.
  • controller 201 determines that the model is abnormal, it determines that the model needs to be updated (S150: YES), and transmits a model re-learning instruction to the substrate processing apparatus 100 (step S151). .
  • the control unit 151 of the control device 150 included in the substrate processing apparatus 100 determines whether or not it has received a re-learning instruction transmitted from the apparatus group server 200 (step S152). When determining that the relearning instruction has not been received (S152: NO), the control unit 151 returns the process to step S141, and repeats the processes of steps S141 to S144.
  • the control unit 151 instructs the edge device 110 (120, 130) to perform re-learning (step S153).
  • the control unit 111 of the edge device 110 (120, 130) repeats the observation model MD11 by performing additional learning using, for example, sensor data obtained from the sensor S1 and state information of the substrate processing apparatus 100 as training data. can learn. Further, the control unit 111 can relearn the control model MD12 by performing additional learning using, for example, sensor data obtained from the sensor S1 and control values used in the substrate processing apparatus 100 as training data. .
  • the above training data may be used to re-learn the observation model MD11 and the control model MD12 from the beginning.
  • the edge device 110 (120, 130) re-learns the observation model MD11 and the control model MD12. and the control model MD22 may be re-learned.
  • the control unit 151 of the control device 150 can re-learn the observation model MD21 using the feature values and state information accumulated in the database DB20 as training data.
  • the control unit 151 can relearn the control model MD22 using the feature amounts and control values accumulated in the database DB20 as training data.
  • the control unit 151 may relearn the observation model MD21 and the control model MD22 by additional learning, or may relearn the observation model MD21 and the control model MD22 from the beginning using the training data.
  • a re-learning instruction is transmitted to the substrate processing apparatus 100.
  • a correction value for correcting the calculation result of the model may be transmitted to the substrate processing apparatus 100 .
  • the correction value can be calculated from the error between the prediction result by the third learning model (observation model MD31 and control model MD32) and the actual measurement result.
  • the edge devices 110 to 130 may create a model for estimating deterioration of the components of the substrate processing apparatus 100 based on the acquired sensor data.
  • Each edge device 110 to 130 transmits the feature amount extracted by each model to the control device 150 without transmitting sensor data, thus reducing the network load between the edge devices 110 to 130 and the control device 150. be able to.
  • the control device 150 can create medium-term trend models (observation model MD21 and control model MD22) based on the feature amounts of the sensor data.
  • each substrate processing apparatus 100 transmits the feature amount extracted from each model to the apparatus group server 200, the network load between the substrate processing apparatus 100 and the apparatus group server 200 can be reduced.
  • the apparatus group server 200 can create a long-term trend model (observation model MD31 and control model MD32) that absorbs individual differences between apparatuses based on the feature amount transmitted from the substrate processing apparatus 100 .
  • the trained first learning model (observation model MD11 and control model MD12) is deployed to each of the edge devices 110 to 130, good.
  • the learned second learning model (observation model MD21 and control model MD22) may be deployed to the control device 150 of each substrate processing apparatus 100.
  • Embodiment 2 describes a configuration for evaluating the completeness and soundness of the first learning model and outputting the evaluation result. Since the system configuration and the internal configurations of the substrate processing apparatus 100 and the apparatus group server 200 are the same as those of the first embodiment, description thereof will be omitted.
  • the substrate processing apparatus 100 evaluates the completeness and soundness of the first learning models (observation model MD11 and control model MD12) provided in the edge devices 110 to 130 at appropriate timings during the learning phase or the operation phase, and outputs the evaluation results. to output
  • a data set for evaluation is prepared in the substrate processing apparatus 100 in order to evaluate the first learning model (observation model MD11 and control model MD12).
  • the first learning model observation model MD11 and control model MD12
  • a set containing the sensor data of the sensor S1 and the correct data to be output by the observation model MD11 when the sensor data of the sensor S1 is input is used for evaluation.
  • the control model MD12 provided in the edge device 110 a set containing the sensor data of the sensor S1 and the correct data to be output by the control model MD12 when the sensor data of the sensor S1 is input is evaluated. can be used as a dataset for The same applies to evaluation datasets for evaluating the edge devices 120 and 130 .
  • the substrate processing apparatus 100 performs the first evaluation based on the difference between the estimated value obtained when the sensor data included in the evaluation data set is input to the observation model MD11 and the control model MD12 and the correct data included in the data set. 1 It is possible to evaluate the completeness and soundness of the learning model.
  • FIG. 15 is a schematic diagram showing a display example of evaluation results.
  • the example of FIG. 15 shows the results of evaluating the completeness and soundness of the observation model MD11 and the control model MD12 provided in each of the edge devices 110-130.
  • indices A, B, and C indicate edge devices 110, 120, and 130, respectively.
  • the upper graph shows how the degree of perfection of the observation model MD11 and the control model MD12 increases as the number of times of learning increases.
  • the lower graph shows the health at the time of evaluation of the observation model MD11 and the control model MD12 of each edge device 110, 120, 130.
  • the performance of each learning model can be displayed in a list.
  • the completeness and soundness of the observation model MD11 and the control model MD12 can be improved.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Container, Conveyance, Adherence, Positioning, Of Wafer (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Factory Administration (AREA)

Abstract

情報処理方法、情報処理装置、及び基板処理システムの提供。　基板処理装置に設けられたセンサから時系列データを取得する工程と、取得した時系列データに基づき、センサからの時系列データを入力した場合、基板処理装置に関する情報を出力する第１学習モデルの学習を行う工程と、学習後の第１学習モデルにセンサからの時系列データを入力し、第１学習モデルから得られる情報に基づく推定結果を出力する工程とを含む。

Description

情報処理方法、情報処理装置、及び基板処理システム
　本発明は、情報処理方法、情報処理装置、及び基板処理システムに関する。
　基板処理システムにおいては、複数のエッジデバイスが用いられ、複数のエッジデバイスを有する多種類のチャンバにて、様々なプロセスが実行される。
国際公開第２０１８／１７３１２１号 国際公開第２０１９／１６３８２３号
　本開示は、斯かる事情に鑑みてなされたものであり、基板処理システムに設けられる様々なエッジデバイスに適用されるモデルを効率的に作成し、管理することができる情報処理方法、情報処理装置、及び基板処理システムを提供する。
　本発明の一形態に係る情報処理方法は、基板処理装置に設けられたセンサから時系列データを取得する工程と、取得した時系列データに基づき、前記センサからの時系列データを入力した場合、前記基板処理装置に関する情報を出力する第１学習モデルの学習を行う工程と、学習後の第１学習モデルに前記センサからの時系列データを入力し、前記第１学習モデルから得られる情報に基づく推定結果を出力する工程とを含む。
　本開示によれば、基板処理システムに設けられる様々なエッジデバイスの推論モデルを効率的に作成し、管理することができる。
実施の形態に係る基板処理システムの構成例を示す図である。 基板処理装置の駆動系の構成を示す模式図である。 チャンバの構成例を示す断面図である。 基板処理装置の制御系の構成を説明するブロック図である。 基板処理装置が備えるエッジデバイスの内部構成を示すブロック図である。 エッジデバイスが備える観測モデルの構成例を示す模式図である。 エッジデバイスが備える制御モデルの構成例を示す模式図である。 基板処理装置が備えるコントロールデバイスの内部構成を示すブロック図である。 データベースの構成例を示す概念図である。 装置群サーバの内部構成を示すブロック図である。 データベースの構成例を示す概念図である。 エッジデバイスによる第１学習モデルの生成手順を示すフローチャートである。 運用フェーズにおいて基板処理装置の内部にて実行される処理の手順を示すフローチャートである。 運用フェーズにおいて基板処理装置と装置群サーバとの間で実行される処理の手順を示すフローチャートである。 評価結果の表示例を示す模式図である。
　以下、図面を参照して一実施形態について説明する。説明において、同一要素又は同一機能を有する要素には同一の符号を付し、重複する説明を省略する。
（実施の形態１）
　図１は実施の形態に係る基板処理システムの構成例を示す図である。実施の形態に係る基板処理システムは、複数の基板処理装置１００Ａ～１００Ｄに適用される学習モデルを管理するためのシステムである。基板処理システムは、複数の基板処理装置１００Ａ～１００Ｄと、複数の基板処理装置１００Ａ～１００Ｄからデータを収集する装置群サーバ２００とを含む。各基板処理装置１００Ａ～１００Ｄと、装置群サーバ２００とは、ＬＡＮ（Local Area Network）や専用回線などの通信ネットワークＮＷを介して、通信可能に接続される。
　本実施の形態では、基板処理システムが４台の基板処理装置１００Ａ～１００Ｄを含む構成としたが、装置台数は４台に限定されない。以下の説明において、基板処理装置１００Ａ～１００Ｄを区別して説明する必要がない場合には、基板処理装置１００（図２参照）とも記載する。本実施の形態において、装置群サーバ２００は、単一のコンピュータであってもよく、複数のコンピュータや周辺機器などにより構成されるコンピュータシステムであってもよい。また、装置群サーバ２００は、実体が仮想化された仮想マシンであってもよく、クラウドであってもよい。
　図２は基板処理装置１００の駆動系の構成を示す模式図である。基板処理装置１００は、基板Ｗを搬入出するための搬送ユニットＨＵと、基板Ｗに対して基板処理を施す処理ユニットＳＵとを備える。
　搬送ユニットＨＵは、カセットステージ１０と、搬送ステージ２０とを備える。カセットステージ１０は、カセット容器１１を備える。カセット容器１１には、例えば、最大で２５枚の基板Ｗが積層された状態で収容される。
　搬送ステージ２０は、基板Ｗを搬送するための基板搬送機構２１を備える。基板搬送機構２１は、基板Ｗを略水平に保持する２つの搬送アーム２１Ａ、２１Ｂを有する。基板搬送機構２１は、搬送アーム２１Ａ，２１Ｂを用いて、カセット容器１１から基板Ｗを１枚ずつ取り出す。基板搬送機構２１は、カセット容器１１から取り出した基板Ｗを、ロードロック室２５Ａ，２５Ｂの何れか一方へ搬送する。ロードロック室２５Ａ，２５Ｂは、搬送ユニットＨＵを処理ユニットＳＵに接続する。
　処理ユニットＳＵは、移載室３０と、４台のチャンバ４０Ａ～４０Ｄとを備える。移載室３０は、例えば上方から見て多角形状（図示の例では六角形状）をなすように形成された密閉可能な構造を有する。移載室３０は、気密に密閉可能なゲートバルブを介してチャンバ４０Ａ～４０Ｄのそれぞれに接続されている。移載室３０は、基板Ｗを搬送するための基板搬送機構３１を備える。基板搬送機構３１は、基板Ｗを略水平に保持する２つの搬送アーム３１Ａ，３１Ｂを有する。基板搬送機構３１は、搬送アーム３１Ａ，３１Ｂを用いて、ロードロック室２５Ａ，２５Ｂから基板Ｗを取り出し、取り出した基板Ｗをチャンバ４０Ａ～４０Ｄの何れか１つへ搬送する。
　このような構成により、処理ユニットＳＵは、ロードロック室２５Ａ，２５Ｂまで搬送された基板Ｗを、移載室３０経由でチャンバ４０Ａ～４０Ｄに搬入し、チャンバ４０Ａ～４０Ｄにて基板処理を実行する。処理ユニットＳＵは、基板処理の実行後、処理済みの基板Ｗをチャンバ４０Ａ～４０Ｄから取り出し、取り出した基板Ｗを移載室３０経由でロードロック室２５Ａ，２５Ｂへ搬出する。チャンバ４０Ａ～４０Ｄが実行する基板処理の一例はＣＶＤ（Chemical Vapor Deposition）などによる成膜処理である。代替的に、チャンバ４０Ａ～４０Ｄが実行する基板処理は、拡散処理、エッチング処理、アッシング処理、スパッタリング処理等であってもよい。また、図２の例では、カセット容器１１から基板Ｗを１枚ずつ取り出して基板処理を行う枚葉式の基板処理装置１００を示したが、基板処理装置１００は、複数の基板Ｗを同時的に処理するバッチ式の基板処理装置等であってもよく、搬送ユニットＨＵは任意の構成を採用できる。
　以下の説明において、チャンバ４０Ａ～チャンバ４０Ｄのそれぞれを区別して説明する必要がない場合、単にチャンバ４０（図３参照）とも記載する。
　図３はチャンバ４０の構成例を示す断面図である。図３に一例として示すチャンバ４０は、基板Ｗに対して成膜処理を施すための装置であり、基板処理が実行される処理室４１と、この処理室４１に連通する排気室４２とを備える。
　処理室４１は、板状の天井部４１１及び底部４１３、並びに、天井部４１１と底部４１３とを連結する側壁部４１２を有している。処理室４１は、例えば略円筒形状をなす。側壁部４１２には、移載室３０との間で基板Ｗの搬入出を行うための搬入出口が形成されている。処理室４１と移載室３０との間に設けられたゲートバルブを開状態にすることにより、この搬入出口を通じて、基板Ｗの搬入出が可能になる。底部４１３の中央には開口部４１３ａが形成されている。排気室４２は、開口部４１３ａと連通するように、処理室４１の底部４１３に連結されている。
　排気室４２は、環状のフランジ部４２１、板状の底部４２３、及びフランジ部４２１と底部４２３とを連結する側壁部４２２を有している。フランジ部４２１は、処理室４１の底部４１３に接合されている。側壁部４２２には排気孔４２４が形成されている。
　処理室４１及び排気室４２は、その内部空間を減圧雰囲気（真空状態）に維持できるように構成されている。処理室４１及び排気室４２の接合部分、並びに、処理室４１及び排気室４２を構成する各部材の接合部分には、接合部分の気密性を確保するために、シール部材としてのＯリングが介装される。
　チャンバ４０は、処理室４１及び排気室４２の外部に配置された排気装置５１と、排気孔４２４と排気装置５１とを接続する排気管５２と、排気管５２の途中に設けられたバルブ５３とを備える。バルブ５３は、閉状態で処理室４１及び排気室４２の気密性を維持すると共に、開状態で排気装置５１による処理室４１及び排気室４２の減圧を可能にする。処理室４１及び排気室４２は、排気装置５１を作動させることによって、その内部空間が所要の真空度まで減圧される。
　チャンバ４０は、処理室４１内に配置されたサセプタ６１と、処理室４１内及び排気室４２内においてサセプタ６１を支持する支持部材６２とを備えている。サセプタ６１は、基板Ｗを水平に支持するための基板載置台である。サセプタ６１は、基板Ｗが載置される基板載置面（上面）と、その反対側の下面とを有している。サセプタ６１の下面の中央部には、支持部材６２の一端部が固定されている。支持部材６２の他端部は、排気室４２の底部４２３に固定されている。
　図示しないが、サセプタ６１は、基板載置面に対して突没可能に設けられた複数の支持ピンを有している。複数の支持ピンは、任意の昇降機構により上下に変位し、上昇位置において、基板搬送機構３１との間で基板Ｗの受け渡しを行うことができるように構成されている。
　チャンバ４０は、ヒータ６３、ヒータ電源６４、及び温度センサＴＳを備える。ヒータ６３と温度センサＴＳの測温部分とは、サセプタ６１に埋設されている。ヒータ電源６４は、処理室４１及び排気室４２の外部に配置されている。ヒータ６３は、例えば、支持部材６２の内部を通る配線を介してヒータ電源６４に接続されている。ヒータ電源６４は、ヒータ６３に対して、サセプタ６１に載置された基板Ｗを所望の温度に加熱するための電気的出力を供給する。サセプタ６１の温度は、温度センサＴＳによって計測される。温度センサＴＳは、熱電対、サーミスタなどの公知の部材を用いて構成される。
　チャンバ４０は、処理室４１の天井部４１１に設けられたシャワーヘッド７１を備えている。シャワーヘッド７１は、その内部に形成されたガス拡散空間７１ａと、ガス拡散空間７１ａからサセプタ６１に向かって貫通するように形成された複数のガス吐出孔７１ｂとを有している。
　チャンバ４０は、シャワーヘッド７１における複数のガス吐出孔７１ｂとは反対側に設けられ、ガス拡散空間７１ａに連通するガス導入管７２と、処理室４１及び排気室４２の外部に配置されたガス供給源７３と、ガス導入管７２とガス供給源７３とを接続するガス配管７４と、ガス配管７４の途中に設けられたＭＦＣ（マスフローコントローラ）７５及び図示しないバルブとを備えている。ガス供給源７３は、シャワーヘッド７１に対して、成膜処理に用いられる成膜原料ガス、処理室４１内及び排気室４２内をクリーニンするためのクリーニングガス、処理室４１内及び排気室４２内の雰囲気を置換するためのパージガス等を供給する。これらのガスは、ガス配管７４及びガス導入管７２を介してガス拡散空間７１ａに供給され、複数のガス吐出孔７１ｂから処理室４１内に吐出される。
　チャンバ４０は、処理室４１及び排気室４２の外部に配置された高周波電源７６、シャワーヘッド７１と高周波電源７６とを接続する配線７７、及び配線７７の途中に設けられた整合器７８とを備えている。高周波電源７６は、シャワーヘッド７１に対して、処理室４１内に供給された成膜原料ガスをプラズマ化するための高周波電力を供給する。
　以上の構成により、チャンバ４０では、サセプタ６１に載置された基板Ｗに対して成膜処理を施すことが可能である。すなわち、真空状態の処理室４１の内部に処理対象の基板Ｗを搬送し、サセプタ６１に載置された基板Ｗをヒータ６３により加熱し、シャワーヘッド７１から基板Ｗに向けて原料ガスを供給することにより、基板Ｗの表面に薄膜が形成される。なお、成膜反応を促進するために、高周波電源７６からシャワーヘッド７１に対して高周波電力を供給してもよい。この場合、シャワーヘッド７１を介して処理室４１内に供給された原料ガスをプラズマ化して成膜することが可能になる。
　図３の例では、基板Ｗに対して成膜処理を施すチャンバ４０について説明したが、チャンバ４０は、基板Ｗに対し、拡散処理、エッチング処理、アッシング処理、スパッタリング処理等を施すプロセスモジュールであってもよい。
　図４は基板処理装置１００の制御系の構成を説明するブロック図である。基板処理装置１００は、各種のセンサＳ１～Ｓ３、センサＳ１～Ｓ３から出力されるデータがそれぞれ入力されるエッジデバイス１１０～１３０、エッジデバイス１１０～１３０によりそれぞれ制御されるアクチュエータＡ１～Ａ３、及び装置全体の動作を制御するコントロールデバイス１５０を備える。
　センサＳ１～Ｓ３は、基板処理装置１００に設けられ、計測対象の物理量を時系列的に計測するセンサである。センサＳ１～Ｓ３は、計測結果を示す時系列データ（以下、センサデータともいう）を後段のエッジデバイス１１０～１３０へ出力する。
　センサＳ１の一例は、ＲＦ（Radio Frequency）センサである。ＲＦセンサは、高周波電源７６の出力側に設置され、高周波電源７６のＲＦパワーを時系列的に計測する。代替的に、ＲＦセンサは、電圧、電流、静電容量、インピーダンス、位相、負荷電力などを時系列的に計測するセンサであってもよい。センサＳ２の一例は、温度センサである。温度センサは、測温部分がサセプタ６１に埋設され、基板載置面の温度（すなわち、処理対象の基板Ｗの温度）を時系列的に計測する温度センサＴＳを含む。代替的に、温度センサは、電極温度や処理室４１の内部温度等を時系列的に計測するセンサであってもよい。センサＳ３の一例は、トルクセンサである。トルクセンサは、基板搬送機構２１，３１に搭載されるアクチュエータ（例えばアクチュエータＡ３）が受けるトルクを時系列的に計測する。
　基板処理装置１００に搭載されるセンサＳ１～Ｓ３は、上述のＲＦセンサ、温度センサ、トルクセンサに限定されるものではない。また、基板処理装置１００に搭載されるセンサの数は３つに限定されるものでもない。例えば、基板処理装置１００は、ガスセンサ、ＯＥＳ（Optical Emission Spectroscopy）センサ、流量センサなどを含む１つ以上のセンサを備えてもよい。ここで、ガスセンサは、処理室４１に設置され、処理室４１の内部を満たすガスの特定の成分量を時系列的に計測するセンサである。ガスセンサには、質量分析計、赤外分光計、ガスクロマトグラフィなどが用いられる。ＯＥＳセンサは、処理室４１に設置され、処理室４１の内部のプラズマ発光強度を時系列的に計測するセンサである。流量センサは、処理室４１に設置され、処理室４１の内部に導入されるガスの流量を時系列的に計測するセンサである。
　なお、センサＳ１～Ｓ３のサンプリングレートは任意であり、センサ毎に適宜設定される。例えば、ＲＦセンサのサンプリングレートは１～１０μｓｅｃである。温度センサのサンプリングレートは、例えば１００ｍｓｅｃである。トルクセンサのサンプリングレートは、例えば２．５ｍｓｅｃである。ＯＥＳセンサのサンプリングレートは、例えば１０～１００ｍｓｅｃである。ガスセンサのサンプリングレートは、例えば１～１０ｍｓｅｃである。流量センサのサンプリングレートは、例えば１０ｍｓｅｃである。
　エッジデバイス１１０～１３０は、センサＳ１～Ｓ３から入力されるセンサデータに基づき、基板処理装置１００の状態を推定する処理、及びアクチュエータＡ１～Ａ３に対する制御値を推定する処理等を実行する。エッジデバイス１１０～１３０は、例えば、状態の推定結果をコントロールデバイス１５０へ出力し、制御値の推定結果に基づきアクチュエータＡ１～Ａ３の動作を制御する。エッジデバイス１１０～１３０の内部構成、及びエッジデバイス１１０が実行する処理の内容については後に詳述する。
　アクチュエータＡ１～Ａ３は、エッジデバイス１１０～１３０の制御対象である。本実施の形態では、モータなどの電気エネルギを物理的な運動量に変換する機械要素に限定されず、電気回路を含む各種駆動回路を総称してアクチュエータと表記する。
　例えば、センサＳ１がＲＦセンサである場合、アクチュエータＡ１は高周波電源７６であってもよい。この場合、エッジデバイス１１０は、ＲＦセンサからＲＦパワーの時系列データを取得し、取得した時系列データに基づき、高周波電源７６に対する制御値を推定し、推定した制御値に基づき高周波電源７６の動作を制御する。また、センサＳ２が温度センサＴＳである場合、アクチュエータＡ２はヒータ電源６４であってもよい。この場合、エッジデバイス１２０は、温度センサＴＳから温度の時系列データを取得し、取得した時系列データに基づき、ヒータ電源６４に対する制御値を推定し、推定した制御値に基づきヒータ電源６４の動作を制御する。更に、センサＳ３がトルクセンサである場合、アクチュエータＡ３は基板搬送機構２１，３１が備えるモータであってもよい。この場合、エッジデバイス１３０は、トルクセンサからモータ駆動軸が受けるトルクの時系列データを取得し、取得した時系列データに基づき、基板搬送機構２１，３１に対する制御値を推定し、推定した制御値に基づき基板搬送機構２１，３１の動作を制御する。
　本実施の形態では、各エッジデバイス１１０～１３０に対して、センサ及びアクチュエータをそれぞれ１つずつ接続する構成としたが、エッジデバイス１１０～１３０に接続されるセンサ及びアクチュエータの数は１つに限定されない。エッジデバイス１１０～１３０のそれぞれに複数のセンサ及び複数のアクチュエータが接続されてもよい。また、本実施の形態では、基板処理装置１００が３つのエッジデバイス１１０～１３０を備える構成としたが、基板処理装置１００に搭載されるエッジデバイスの数は３つに限定されるものではなく、１つ以上のエッジデバイスを備えていればよい。
　コントロールデバイス１５０は、エッジデバイス１１０～１３０から入力される各種情報、及び外部から入力される各種情報に基づき、基板処理装置１００の装置全体の動作を制御する。コントロールデバイス１５０の内部構成、及びコントロールデバイス１５０が実行する処理の内容については後に詳述する。
　図５は基板処理装置１００が備えるエッジデバイス１１０の内部構成を示すブロック図である。エッジデバイス１１０は、基板処理装置１００に設けられる専用又は汎用のコンピュータであり、制御部１１１、記憶部１１２、入力部１１３、出力部１１４、通信部１１５などを備える。エッジデバイス１１０は、入力部１１３を通じて入力されるセンサＳ１のセンサデータに基づき、基板処理装置１００の状態を監視すると共に、アクチュエータＡ１の動作を制御する。
　制御部１１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを備える。制御部１１１が備えるＲＯＭには、エッジデバイス１１０が備えるハードウェア各部の動作を制御する制御プログラム等が記憶される。制御部１１１内のＣＰＵは、ＲＯＭに記憶されている制御プログラムや記憶部１１２に記憶されている各種コンピュータプログラムを読み込んで実行し、ハードウェア各部の動作を制御することによって、装置全体を本開示の情報処理装置として機能させる。制御部１１１が備えるＲＡＭには、演算の実行中に利用されるデータが一時的に記憶される。
　実施の形態では、制御部１１１がＣＰＵ、ＲＯＭ、及びＲＡＭを備える構成としたが、制御部１１１の構成は上記のものに限定されない。制御部１１１は、例えば、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）、量子プロセッサ、揮発性又は不揮発性のメモリ等を備える１又は複数の制御回路又は演算回路であってもよい。また、制御部１１１は、日時情報を出力するクロック、計測開始指示を与えてから計測終了指示を与えるまでの経過時間を計測するタイマ、数をカウントするカウンタ等の機能を備えてもよい。
　記憶部１１２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read Only Memory）などの記憶装置を備える。記憶部１１２には、制御部１１１によって実行される各種のコンピュータプログラムや制御部１１１によって利用される各種のデータが記憶される。
　記憶部１１２に記憶されるコンピュータプログラムには、後述の学習モデル（観測モデルＭＤ１１及び制御モデルＭＤ１２）を生成するための学習処理プログラムＰＧ１１、及び学習モデルを用いて基板処理装置１００の状態やアクチュエータＡ１の制御値を推定するための推定処理プログラムＰＧ１２が含まれる。これらのコンピュータプログラムは、単一のコンピュータプログラムであってもよく、複数のコンピュータプログラムにより構成されるものであってもよい。また、これらのコンピュータプログラムは、既存のライブラリを部分的に用いるものであってもよい。
　記憶部１１２に記憶される学習処理プログラムＰＧ１１や推定処理プログラムＰＧ１２等のコンピュータプログラムは、当該コンピュータプログラムを読み取り可能に記録した非一時的な記録媒体ＲＭ１０により提供される。記録媒体ＲＭ１０は、ＣＤ－ＲＯＭ、ＵＳＢメモリ、ＳＤ（Secure Digital）カード、マイクロＳＤカード、コンパクトフラッシュ（登録商標）などの可搬型メモリである。制御部１１１は、図に示していない読取装置を用いて、記録媒体ＲＭ１０から各種コンピュータプログラムを読み取り、読み取った各種コンピュータプログラムを記憶部１１２に記憶させる。記憶部１１２に記憶されるコンピュータプログラムは、通信により提供されてもよい。この場合、制御部１１１は、通信部１１５を通じてコンピュータプログラムを取得し、取得したコンピュータプログラムを記憶部１１２に記憶させればよい。
　記憶部１１２は、センサＳ１から出力される時系列データが入力された場合、基板処理装置１００に関する情報を出力するように構成される学習モデルを備える。記憶部１１２には、学習モデルを定義する情報として、例えば、学習モデルが備える層の構成情報、各層に含まれるノードの情報、ノード間の重み付け及びバイアスのパラメータなどが記憶される。
　本実施の形態に係るエッジデバイス１１０は、学習モデルとして、観測モデルＭＤ１１と、制御モデルＭＤ１２とを備える。観測モデルＭＤ１１は、基板処理装置１の状態を推定するためのモデルである。制御モデルＭＤ１２は、エッジデバイス１１０の制御対象であるアクチュエータＡ１の制御値を推定するためのモデルである。図５に示す例では、学習モデルとして、観測モデルＭＤ１１及び制御モデルＭＤ１２の双方を備える構成としたが、何れか一方のみを備える構成であってもよい。また、図５に示す例では、観測モデルＭＤ１１及び制御モデルＭＤ１２を１つずつ備える構成としたが、観測モデルＭＤ１１は観測対象のセンサ毎に用意されてもよく、制御モデルＭＤ１２は制御対象のアクチュエータ毎に用意されてもよい。
　入力部１１３は、センサＳ１を接続するためのインタフェースを備える。入力部１１３に接続されるセンサＳ１は例えばＲＦセンサである。入力部１１３に接続されるセンサＳ１は、上記に限らず、プロセスの状態（パフォーマンス）を観測するために必要な任意のセンサが接続される。入力部１１３を通じて入力される時系列データ（センサデータ）は、記憶部１１２に一時的に記憶される。
　出力部１１４は、エッジデバイス１１０の制御対象であるアクチュエータＡ１を接続するためのインタフェースを備える。制御部１１１は、上述の制御モデルＭＤ１２を用いて制御値を推定し、推定した制御値に基づく制御命令を出力部１１４からアクチュエータＡ１へ出力することにより、アクチュエータＡ１の動作を制御する。
　通信部１１５は、コントロールデバイス１５０との間で各種のデータを送受信するための通信インタフェースを備える。通信部１１５の通信インタフェースとして、ＬＡＮなどの通信規格に準拠した通信インタフェースを用いることができる。通信部１１５は、送信すべきデータが制御部１１１から入力された場合、コントロールデバイス１５０へデータを送信し、コントロールデバイス１５０から送信されたデータを受信した場合、受信したデータを制御部１１１へ出力する。
　図６はエッジデバイス１１０が備える観測モデルＭＤ１１の構成例を示す模式図である。観測モデルＭＤ１１は、センサＳ１より得られる時系列データ（センサデータ）を入力した場合、当該センサＳ１が設けられている基板処理装置１００の状態に関する情報（以下、状態情報という）を出力するように構成される。観測モデルＭＤ１１として、時系列データを解析することができる任意のモデルを採用することができる。一例では、観測モデルＭＤ１１は、深層学習を含む機械学習の学習モデルであり、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long Short-Term Memory）などにより構築される。代替的に、観測モデルＭＤ１１は、ＣＮＮ（Convolutional Neural Network）、Ｒ－ＣＮＮ（Region based CNN）、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot Multibox Detector）、ＧＡＮ（Generative Adversarial Network）、ＳＶＭ（Support Vector Machine）、決定木等に基づく学習モデルであってもよい。更に、観測モデルＭＤ１１は、自己回帰モデル、移動平均モデル、自己回帰移動平均モデルなど、深層学習以外の学習モデルであってもよい。
　観測モデルＭＤ１１は、入力層ＭＤ１１ａ、中間層ＭＤ１１ｂ，ＭＤ１１ｃ、出力層ＭＤ１１ｄなどを備える。図６の例では、観測モデルＭＤ１１が２つの中間層ＭＤ１１ｂ，ＭＤ１１ｃを備える構成としたが、３つ以上の中間層を備える構成であってもよい。
　入力層ＭＤ１１ａ、中間層ＭＤ１１ｂ，ＭＤ１１ｃ、及び出力層ＭＤ１１ｄには、１つまたは複数のノードが設けられる。各層のノードは、前後の層に存在するノードと一方向に所望の重みおよびバイアスで結合されている。観測モデルＭＤ１１の入力層ＭＤ１１ａには、入力層ＭＤ１１ａが備えるノードの数と同数のデータが入力される。本実施の形態において、入力層ＭＤ１１ａのノードに入力されるセンサデータは、センサＳ１より得られる時系列データである。入力層ＭＤ１１ａに入力されるセンサデータは、時間的に連続する複数個の計測値であってもよく、時刻に対して計測値をプロットしたグラフ（画像データ）であってもよい。
　入力されたセンサデータは、入力層ＭＤ１１ａが備えるノードを通じて、１つ目の中間層ＭＤ１１ｂが備えるノードへ出力される。１つ目の中間層ＭＤ１１ｂに入力されたデータは、この中間層ＭＤ１１ｂを構成するノードを通じて、２つ目の中間層ＭＤ１１ｃが備えるノードへ出力される。この間、各層のノード間に設定されている重み及びバイアスを含む活性化関数を用いて、センサデータの特徴量が抽出される。
　中間層ＭＤ１１ｂ，ＭＤ１１ｃにより抽出されるセンサデータの特徴量は、出力層ＭＤ１１ｄへ出力されると共に、観測モデルＭＤ１１の外部に取り出される。出力層ＭＤ１１ｄは、２つ目の中間層ＭＤ１１ｃより入力される特徴量を用いて予め設定された演算を実行し、最終的な演算結果として基板処理装置１００の状態情報を出力する。
　出力層ＭＤ１１ｄより出力される状態情報は、基板処理装置１００の状態を表す評価値などを含む。評価値は、例えば、基板処理装置１００を構成する特定のコンポーネントの劣化度合いを表す情報である。代替的に、評価値は、特定のコンポーネントの故障の有無を表す情報であってもよい。基板処理装置１００を構成する特定のコンポーネントは、排気装置５１、ヒータ電源６４、ガス供給源７３、高周波電源７６などを含む。
　観測モデルＭＤ１１は、任意の学習アルゴリズムにより学習される。学習アルゴリズムとして、教師あり学習を用いることができる。この場合、センサＳ１のセンサデータと、観測モデルＭＤ１１が出力すべき正解データとを含むデータセットを訓練データに用いて、センサデータが入力された場合、基板処理装置１００の状態情報を出力するように学習される。訓練データは、基板処理装置１００の管理者等によって与えられてもよい。例えば、センサＳ１のセンサデータ、コンポーネントを交換した日時、故障を発見した日時等を履歴データとして蓄積する。この履歴データに基づき、センサＳ１のセンサデータと、当該センサデータが得られた日時における劣化の有無又は故障の有無を示す正解データとを訓練データとして与えればよい。
　図６に一例として示す観測モデルＭＤ１１は、入力層ＭＤ１１ａ、中間層ＭＤ１１ｂ，ＭＤ１１ｃ、及び出力層ＭＤ１１ｄを備える構成としたが、観測モデルＭＤ１１の構成は、図６に示すものに限定されない。例えば、観測モデルＭＤ１１は、中間層ＭＤ１１ｂ，１１ｃを備えずに、入出力の関係（すなわち、センサデータと状態情報との関係）のみが規定されたモデルであってもよい。
　本実施の形態では、観測モデルＭＤ１１の学習アルゴリズムとして、教師あり学習を説明したが、教師なし学習を含む任意の学習アルゴリズムを用いて、観測モデルＭＤ１１を生成することが可能である。
　エッジデバイス１１０の制御部１１１は、観測モデルＭＤ１１による演算を実行した場合、出力層ＭＤ１１ｄから状態情報を取得すると共に、中間層ＭＤ１１ｂ，ＭＤ１１ｃにて抽出されるセンサデータの特徴量を取得する。制御部１１１は、取得した基板処理装置１００の状態情報及びセンサデータの特徴量を、エッジデバイス１１０の上位装置であるコントロールデバイス１５０へ送信する。
　図７はエッジデバイス１１０が備える制御モデルＭＤ１２の構成例を示す模式図である。制御モデルＭＤ１２は、センサＳ１より得られる時系列データ（センサデータ）を入力した場合、当該センサＳ１が設けられている基板処理装置１００の制御値に関する情報（以下、制御情報という）を出力するように構成される。すなわち、制御モデルＭＤ１２の入力層ＭＤ１２ａにセンサデータが入力された場合、中間層ＭＤ１２ｂ，ＭＤ１２ｃにおいてセンサデータの特徴量を抽出する演算が実行される。中間層ＭＤ１２ｂ，ＭＤ１２ｃより得られる特徴量は、出力層ＭＤ１２ｄへ出力されると共に、制御モデルＭＤ１２の外部に取り出される。出力層ＭＤ１２ｄは、２つ目の中間層ＭＤ１２ｃより入力される特徴量を用いて予め定められた演算を実行し、最終的な演算結果として基板処理装置１００の制御情報を出力する。中間層ＭＤ１２ｃより出力されるセンサデータの特徴量、及び出力層ＭＤ１２ｄより出力される制御情報は、制御部１１１に入力される。出力層ＭＤ１２ｄより出力される制御情報は、基板処理装置１００が備える少なくとも１つのコンポーネントを制御するための制御値を含む。
　制御モデルＭＤ１２は、観測モデルＭＤ１１と同様に、教師あり学習で学習されてもよく、教師なし学習で学習されてもよい。また、制御モデルＭＤ１２は、強化学習により学習されてもよい。例えば、基板処理装置１００の状態に応じて報酬を付与し、将来にわたって得られる報酬の合計を最大化するように、強化学習における価値を学習すればよい。例えば、強化学習の１つであるＱ学習では、ある環境における状態の下で、行動（制御値）を選択する価値Ｑを学習する。Ｑ学習を開始する時点では、基板処理装置１００の状態と行動（制御値）との組合せについて、価値Ｑの正しい値は分かっていない。そこで、ある作業データの下で様々な制御値を選択し、その時の行動（制御値に基づく制御）に対して与えられる報酬に基づいて報酬の合計を算出し、より良い制御値の選択をしていくことにより、正しい価値Ｑを学習する。
　制御モデルＭＤ１２は、上述したモデルに限らず、時系列データを解析することができる他のモデルであってもよい。例えば、制御モデルＭＤ１２は、自己回帰モデル、移動平均モデル、自己回帰移動平均モデルなど、深層学習以外の学習モデルであってもよい。また、制御モデルＭＤ１２の構成は、図７に示すものに限定されない。例えば、制御モデルＭＤ１２は、中間層ＭＤ１２ｂ，ＭＤ１２ｃを備えずに、入出力の関係（すなわち、センサデータと制御情報との関係）のみが規定されたモデルであってもよい。
　エッジデバイス１１０の制御部１１１は、制御モデルＭＤ１２による演算を実行した場合、出力層ＭＤ１２ｄから制御情報を取得すると共に、中間層ＭＤ１２ｂ，ＭＤ１２ｃにて計算されるセンサデータの特徴量を取得する。制御部１１１は、取得した基板処理装置１００の制御情報及びセンサデータの特徴量を、エッジデバイス１１０の上位装置であるコントロールデバイス１５０へ送信する。また、制御部１１１は、制御モデルＭＤ１２から取得した制御情報に基づき、アクチュエータＡ１の動作を制御する。
　本実施の形態では、中間層ＭＤ１１ｃ，ＭＤ１２ｃから特徴量を抽出する構成としたが、出力層ＭＤ１１ｄ，ＭＤ１２ｄより得られる最終的な演算結果をセンサデータの特徴量とみなしてもよい。また、制御部１１１は、センサデータから直接的に特徴量を抽出してもよい。特徴量の抽出には、ピーク検出、区間平均などの適宜の統計処理が用いられる。制御部１１１は、センサデータに現れる異常箇所を検出し、検出した異常箇所のデータに重み付けすることにより特徴量を抽出してもよい。また、制御部１１１は、センサデータに現れる異常箇所を含む時系列データのスナップショットを特徴量として抽出してもよい。
　図５～図７ではエッジデバイス１１０の内部構成について説明したが、エッジデバイス１２０，１３０の内部構成についても同様である。すなわち、エッジデバイス１２０，１３０は、それぞれ観測モデル及び制御モデルを備え、センサＳ２，Ｓ３から入力されるセンサデータに基づき、基板処理装置１００の状態及びアクチュエータＡ１，Ａ２の制御値を推定する。エッジデバイス１２０，１３０は、観測モデル及び制御モデルより得られる基板処理装置１００の状態情報、及びアクチュエータＡ１，Ａ２の制御情報、並びに、センサＳ２，Ｓ３より出力されるセンサデータの特徴量を、エッジデバイス１２０，１３０の上位装置であるコントロールデバイス１５０へ送信する。また、エッジデバイス１２０，１３０は、制御モデルから取得した制御情報に基づき、それぞれアクチュエータＡ２，Ａ３の動作を制御する。
　図８は基板処理装置１００が備えるコントロールデバイス１５０の内部構成を示すブロック図である。コントロールデバイス１５０は、基板処理装置１００の内部に設けられる専用又は汎用のコンピュータであり、制御部１５１、記憶部１５２、第１通信部１５３、第２通信部１５４、操作部１５５、表示部１５６などを備える。コントロールデバイス１５０は、エッジデバイス１１０～１３０から送信されるデータ（センサデータの特徴量）を収集し、記憶部１５２内のデータベースＤＢ２０に蓄積する。コントロールデバイス１５０は、データベースＤＢ２０に蓄積した中期的なデータに基づき、センサの個体差を吸収した第２学習モデルを生成する。
　制御部１５１は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備える。制御部１５１が備えるＲＯＭには、コントロールデバイス１５０が備えるハードウェア各部の動作を制御する制御プログラム等が記憶される。制御部１５１内のＣＰＵは、ＲＯＭに記憶されている制御プログラムや記憶部１５２に記憶されている各種コンピュータプログラムを読み込んで実行し、ハードウェア各部の動作を制御する。
　制御部１５１は、上述の構成に限らず、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、量子プロセッサ、揮発性又は不揮発性のメモリ等を備える１又は複数の制御回路又は演算回路であってもよい。また、制御部１５１は、日時情報を出力するクロック、計測開始指示を与えてから計測終了指示を与えるまでの経過時間を計測するタイマ、数をカウントするカウンタ等の機能を備えてもよい。
　記憶部１５２は、ＨＤＤ、ＳＳＤ、ＥＥＰＲＯＭなどの記憶装置を備える。記憶部１５２は、上述したデータベースＤＢ２０を備える。図９はデータベースＤＢ２０の構成例を示す概念図である。データベースＤＢ２０は、エッジデバイス１１０～１３０の識別情報（デバイスＩＤ）に関連付けて、日時情報、及びセンサデータの特徴量を記憶する。更に、データベースＤＢ２０は、基板処理装置１００の状態情報及び制御情報を記憶してもよい。
　記憶部１５２には、データベースＤＢ２０の他、制御部１５１によって実行される各種のコンピュータプログラム、及び制御部１５１によって利用される各種のデータが記憶される。
　記憶部１５２に記憶されるコンピュータプログラムには、第２学習モデルを生成するための学習処理プログラムＰＧ２１、及び第２学習モデルを用いて基板処理装置１００の状態や制御値を推定するための推定処理プログラムＰＧ２２が含まれる。記憶部１５２に記憶されるコンピュータプログラムは、当該コンピュータプログラムを読み取り可能に記録した非一時的な記録媒体ＲＭ２０により提供される。また、記憶部１５２に記憶されるコンピュータプログラムは、通信により提供されてもよい。
　記憶部１５２は、センサデータの特徴量が入力された場合、基板処理装置１００に関する情報を出力するように構成される第２学習モデルを備える。記憶部１５２には、第２学習モデルを定義する情報として、第２学習モデルが備える層の構成情報、各層に含まれるノードの情報、ノード間の重み付け及びバイアスの情報などが記憶される。
　コントロールデバイス１５０は、第２学習モデルとして、観測モデルＭＤ２１と、制御モデルＭＤ２２とを備える。観測モデルＭＤ２１は、基板処理装置１００の状態を推定するためのモデルである。制御モデルＭＤ２２は、基板処理装置１００において用いられる制御値を推定するためのモデルである。観測モデルＭＤ２１及び制御モデルＭＤ２２の構成は、エッジデバイス１１０～１３０が備える観測モデルＭＤ１１及び制御モデルＭＤ１２の構成と同様であるため、その詳細な説明は省略する。
　本実施の形態では、第２学習モデルとして、観測モデルＭＤ２１及び制御モデルＭＤ２２の双方を備える構成としたが、何れか一方のみを備える構成であってもよい。また、本実施の形態では、第２学習モデルとして、観測モデルＭＤ２１及び制御モデルＭＤ２２を１つずつ備える構成としたが、観測モデルＭＤ２１は観測対象毎に用意されてもよく、制御モデルＭＤ２２は制御対象毎に用意されてもよい。
　第１通信部１５３は、エッジデバイス１１０～１３０との間で各種のデータを送受信するための通信インタフェースを備える。第１通信部１５３の通信インタフェースとして、ＬＡＮなどの通信規格に準拠した通信インタフェースを用いることができる。第１通信部１５３は、送信すべきデータが制御部１５１から入力された場合、宛先のエッジデバイス１１０～１３０へデータを送信し、エッジデバイス１１０～１３０から送信されたデータを受信した場合、受信したデータを制御部１５１へ出力する。
　第２通信部１５４は、各種データを送受信する通信インタフェースを備える。第２通信部１５４が備える通信インタフェースは、例えば、ＷｉＦｉ（登録商標）やイーサネット（登録商標）で用いられるＬＡＮの通信規格に準じた通信インタフェースである。第２通信部１５４は、送信すべきデータが制御部１５１から入力された場合、指定された宛先へ送信すべきデータを送信する。また、第２通信部１５４は、外部装置から送信されたデータを受信した場合、受信したデータを制御部１５１へ出力する。
　操作部１５５は、タッチパネル、キーボード、スイッチなどの操作デバイスを備え、管理者等による各種の操作及び設定を受付ける。制御部１５１は、操作部１５５より与えられる各種の操作情報に基づき適宜の制御を行い、必要に応じて設定情報を記憶部１５２に記憶させる。
　表示部１５６は、液晶モニタや有機ＥＬ（Electro-Luminescence）などの表示デバイスを備え、制御部１５１からの指示に応じて管理者等に報知すべき情報を表示する。
　次に、装置群サーバ２００の構成について説明する。
　図１０は装置群サーバ２００の内部構成を示すブロック図である。装置群サーバ２００は、制御部２０１、記憶部２０２、通信部２０３、操作部２０４、表示部２０５などを備える。装置群サーバ２００は、複数の基板処理装置１００から送信されるデータを収集し、記憶部２０２内に設けたデータベースＤＢ３０に蓄積する。装置群サーバ２００は、データベースＤＢ３０に蓄積した長期的なデータに基づき、装置間の個体差を吸収した第３学習モデルを生成する。
　制御部２０１は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備える。制御部２０１が備えるＲＯＭには、装置群サーバ２００が備えるハードウェア各部の動作を制御する制御プログラム等が記憶される。制御部２０１内のＣＰＵは、ＲＯＭに記憶されている制御プログラムや記憶部２０２に記憶されている各種コンピュータプログラムを読み込んで実行し、ハードウェア各部の動作を制御する。
　制御部２０１は、上述の構成に限らず、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、量子プロセッサ、揮発性又は不揮発性のメモリ等を備える１又は複数の制御回路又は演算回路であってもよい。また、制御部２０１は、日時情報を出力するクロック、計測開始指示を与えてから計測終了指示を与えるまでの経過時間を計測するタイマ、数をカウントするカウンタ等の機能を備えてもよい。
　記憶部２０２は、ＨＤＤ、ＳＳＤ、ＥＥＰＲＯＭなどの記憶装置を備える。記憶部２０２は、上述したデータベースＤＢ３０を備える。図１１はデータベースＤＢ３０の構成例を示す概念図である。データベースＤＢ３０は、基板処理装置１００の識別子（装置ＩＤ）に関連付けて、日時情報及びセンサデータの特徴量を記憶する。データベースＤＢ３０には、更に、基板処理装置１００の状態を示す状態情報、及び基板処理装置１００の制御に用いられる制御情報が記憶されてもよい。
　記憶部２０２には、データベースＤＢ３０の他、制御部２０１によって実行される各種のコンピュータプログラム、及び制御部２０１によって利用される各種のデータが記憶される。
　記憶部２０２に記憶されるコンピュータプログラムには、第３学習モデルを生成するための学習処理プログラムＰＧ３１、及び基板処理装置１００の状態や制御値を推定するための推定処理プログラムＰＧ３２が含まれる。記憶部２０２に記憶されるコンピュータプログラムは、当該コンピュータプログラムを読み取り可能に記録した非一時的な記録媒体ＲＭ３０により提供される。また、記憶部２０２に記憶されるコンピュータプログラムは、通信により提供されてもよい。
　記憶部２０２は、センサデータの特徴量が入力された場合、基板処理装置１００に関する情報を出力するように構成される第３学習モデルを備える。記憶部２０２には、第３学習モデルを定義する情報として、第３学習モデルが備える層の構成情報、各層に含まれるノードの情報、ノード間の重み付け及びバイアスの情報などが記憶される。
　装置群サーバ２００は、第３学習モデルとして、観測モデルＭＤ３１と、制御モデルＭＤ３２とを備える。観測モデルＭＤ３１は、基板処理装置１００の状態を推定するためのモデルである。制御モデルＭＤ３２は、基板処理装置１００において用いられる制御値を推定するためのモデルである。観測モデルＭＤ３１及び制御モデルＭＤ３２の構成は、コントロールデバイス１５０が備える観測モデルＭＤ２１及び制御モデルＭＤ２２の構成と同様であるため、その詳細な説明は省略する。
　本実施の形態では、第３学習モデルとして、観測モデルＭＤ３１及び制御モデルＭＤ３２の双方を備える構成としたが、何れか一方のみを備える構成であってもよい。また、本実施の形態では、第３学習モデルとして、観測モデルＭＤ３１及び制御モデルＭＤ３２を１つずつ備える構成としたが、観測モデルＭＤ３１は観測対象毎に用意されてもよく、制御モデルＭＤ３２は制御対象毎に用意されてもよい。
　通信部２０３は、各種データを送受信する通信インタフェースを備える。通信部２０３が備える通信インタフェースは、例えば、ＷｉＦｉ（登録商標）やイーサネット（登録商標）で用いられるＬＡＮの通信規格に準じた通信インタフェースである。通信部２０３は、送信すべきデータが制御部２０１から入力された場合、指定された宛先へ送信すべきデータを送信する。また、通信部２０３は、外部装置から送信されたデータを受信した場合、受信したデータを制御部２０１へ出力する。
　操作部２０４は、タッチパネル、キーボード、スイッチなどの操作デバイスを備え、管理者等による各種の操作及び設定を受付ける。制御部２０１は、操作部２０４より与えられる各種の操作情報に基づき適宜の制御を行い、必要に応じて設定情報を記憶部２０２に記憶させる。
　表示部２０５は、液晶モニタや有機ＥＬなどの表示デバイスを備え、制御部２０１からの指示に応じて管理者等に報知すべき情報を表示する。
　図１０の例では、装置群サーバ２００が操作部２０４及び表示部２０５を備える構成としたが、装置群サーバ２００において操作部２０４及び表示部２０５は必須の構成要素ではない。操作部２０４を備えていない場合、装置群サーバ２００は、通信部２０３を介して通信可能に接続された外部コンピュータから操作を受付ければよい。また、表示部２０５を備えていない場合、装置群サーバ２００は、管理者等に報知すべき情報を通信部２０３より外部コンピュータへ送信し、外部コンピュータに表示させればよい。
　以下、基板処理システムの動作について説明する。
　本実施の形態に係る基板処理システムでは、運用が開始される前の学習フェーズにおいて、エッジデバイス１１０～１３０が第１学習モデル（観測モデルＭＤ１１及び制御モデルＭＤ１２）を生成する。
　図１２はエッジデバイス１１０による第１学習モデルの生成手順を示すフローチャートである。エッジデバイス１１０の制御部１１１は、入力部１１３を通じて、センサＳ１から時系列的に出力されるセンサデータを収集する（ステップＳ１０１）。センサデータの収集期間は例えば１ヶ月である。センサデータを取得する際、制御部１１１は、基板処理装置１００の状態情報を外部より受け付け、出力部１１４より基板処理装置１００へ出力する制御値を取得する。制御モデルＭＤ１２の学習が完了していない段階で用いられる基板処理装置１００の制御値は、例えば事前に設定されるレシピを参照して決定される。これらの状態情報や制御値は、センサデータと共に、観測モデルＭＤ１１や制御モデルＭＤ１２の学習時に訓練データとして記憶部１１２に記憶される。
　学習に必要な訓練データが得られた場合、制御部１１１は、記憶部１１２に記憶させた訓練データから、一組の訓練データを選択する（ステップＳ１０２）。制御部１１１は、選択した一組の訓練データに含まれるセンサデータを観測モデルＭＤ１１及び制御モデルＭＤ１２にそれぞれ入力し、観測モデルＭＤ１１及び制御モデルＭＤ１２の演算を実行する（ステップＳ１０３）。学習が開始される前の段階において、観測モデルＭＤ１１及び制御モデルＭＤ１２のモデルパラメータには、初期値が設定されているものとする。
　制御部１１１は、観測モデルＭＤ１１及び制御モデルＭＤ１２の演算結果を評価し（ステップＳ１０４）、観測モデルＭＤ１１及び制御モデルＭＤ１２の学習が完了したか否かを判断する（ステップＳ１０５）。制御部１１１は、モデルによる演算結果と、正解データとして含む状態若しくは制御値とに基づく誤差関数（目的関数、損失関数、コスト関数ともいう）を用いて、演算結果を評価することができる。制御部１１１は、例えば、最急降下法などの勾配降下法により誤差関数を最適化（最小化又は最大化）する課程で、誤差関数が閾値以下（又は閾値以上）となった場合、観測モデルＭＤ１１及び制御モデルＭＤ１２の学習が完了したと判断する。
　学習が完了していない場合（Ｓ１０５：ＮＯ）、すなわち観測モデルＭＤ１１及び制御モデルＭＤ１２の何れか一方の学習が完了していない場合、制御部１１１は、学習が完了していないモデルのパラメータ（ノード間の重み及びバイアス等）を更新し（ステップＳ１０６）、処理をステップＳ１０２へ戻す。制御部１１１は、出力層ＭＤ１１ｄ，ＭＤ１２ｄから入力層ＭＤ１１ａ，ＭＤ１２ａに向かって、ノード間の重み及びバイアスを順次更新する誤差逆伝搬法を用いて、モデルにおけるパラメータを更新することができる。
　学習が完了したと判断した場合（Ｓ１０５：ＹＥＳ）、学習済みの観測モデルＭＤ１１及び制御モデルＭＤ１２が得られるので、制御部１１１は、これらを第１学習モデルとして記憶部１１２に記憶させる（ステップＳ１０７）。
　図１２では、エッジデバイス１１０による第１学習モデルの生成手順について説明したが、エッジデバイス１２０，１３０においても、同様の生成手順にてそれぞれに適用される第１学習モデルを生成することができる。
　本実施の形態に係る基板処理システムは、各エッジデバイス１１０～１３０において第１学習モデルが生成された後、運用フェーズに移行させる。基板処理システムは、運用フェーズにおいて以下の処理を実行する。
　図１３は運用フェーズにおいて基板処理装置１００の内部にて実行される処理の手順を示すフローチャートである。基板処理装置１００に設けられたエッジデバイス１１０（１２０，１３０）の制御部１１１は、入力部１１３を通じて、センサＳ１から時系列的に出力されるセンサデータを取得した場合（ステップＳ１２１）、取得したセンサデータを観測モデルＭＤ１１又は制御モデルＭＤ１２に入力することによりモデルを実行する（ステップＳ１２２）。
　制御部１１１は、モデルを実行する過程で各モデルＭＤ１１，ＭＤ１２の中間層ＭＤ１１ｃ，ＭＤ１２ｃからセンサデータの特徴量を抽出する（ステップＳ１２３）。制御部１１１は、例えば、中間層ＭＤ１１ｃ，ＭＤ１２ｃから特徴量を抽出することができる。代替的に、制御部１１１は、出力層ＭＤ１１ｄ，ＭＤ１２ｄより得られる最終的な演算結果をセンサデータの特徴量とみなしてもよく、センサデータから直接的に特徴量を抽出してもよい。
　制御部１１１は、抽出した特徴量を、各モデルＭＤ１１，ＭＤ１２から得られる状態情報及び制御情報の推定結果と共に、コントロールデバイス１５０へ送信する（ステップＳ１２４）。また、制御部１１１は、各モデルＭＤ１１，ＭＤ１２により推定した状態情報及び制御情報に基づき、アクチュエータＡ１の制御を実行する（ステップＳ１２５）。なお、制御部１１１は、ステップＳ１２２でセンサデータを取得する都度、ステップＳ１２２～Ｓ１２５の処理を実行すればよい。
　コントロールデバイス１５０の制御部１５１は、エッジデバイス１１０（１２０，１３０）から送信される特徴量を第１通信部１５３より受信し（ステップＳ１２６）、データベースＤＢ２０に蓄積する（ステップＳ１２７）。
　制御部１５１は、特徴量の収集期間が終了した否かを判断する（ステップＳ１２８）。収集期間は、特徴量の収集を開始してから例えば６ヶ月である。代替的に、データベースＤＢ２０に蓄積した特徴量の数を基に収集期間が終了したか否かを判断してもよい。収集期間が終了していない場合（Ｓ１２８：ＮＯ）、制御部１５１は、処理をステップＳ１２６へ戻し、特徴量を受信し、データベースＤＢ２０に蓄積させる処理を繰り返す。
　収集期間が終了した場合（Ｓ１２８：ＹＥＳ）、観測モデルＭＤ２１及び制御モデルＭＤ２２の学習を実行し、モデルを作成する（ステップＳ１２９）。例えば、制御部１５１は、データベースＤＢ２０に記憶させた一組の特徴量及び状態情報を訓練データに用いて学習を行うことにより、観測モデルＭＤ２１を作成することができる。また、制御部１５１は、データベースＤＢ２０に記憶させた一組の特徴量及び制御値を訓練データに用いて学習を行うことにより、制御モデルＭＤ２２を作成することができる。モデルの作成手順は、観測モデルＭＤ１１及び制御モデルＭＤ１２の作成手順と同様である。
　制御部１５１は、モデルの作成後、エッジデバイス１１０（１２０，１３０）から新たな特徴量を受信した場合、受信した特徴量を観測モデルＭＤ２１又は制御モデルＭＤ２２に入力し、モデルを実行する（ステップＳ１３０）。
　制御部１５１は、ステップＳ１３０の実行結果に基づき、エッジデバイス１１０（１２０，１３０）において使用されているモデルの更新が必要か否かを判断する（ステップＳ１３１）。コントロールデバイス１５０では蓄積した中期的なデータ（例えば６ヶ月単位のデータ）を基にモデルが作成されるので、制御部１５１は、新たに取得した特徴量に基づきモデルを実行することによって、モデルが示すトレンドからのズレを判定することができる。制御部１５１は、モデルが示すトレンドからのズレが閾値以上である場合、エッジデバイス１１０（１２０，１３０）が備えるモデルに異常があると判断する。制御部１５１は、モデルに異常がないと判断した場合、モデルの更新が必要でないと判断し（Ｓ１３１：ＮＯ）、制御部１５１は、処理をステップＳ１３０へ戻す。
　制御部１５１は、モデルに異常があると判断した場合、モデルの更新が必要であると判断し（Ｓ１３１：ＹＥＳ）、エッジデバイス１１０（１２０，１３０）に対してモデルの再学習指示を送信する（ステップＳ１３２）。
　エッジデバイス１１０（１２０，１３０）の制御部１１１は、コントロールデバイス１５０から送信される再学習指示を受信したか否かを判断する（ステップＳ１３３）。再学習指示を受信していないと判断した場合（Ｓ１３３：ＮＯ）、制御部１１１は、処理をステップＳ１２１へ戻し、ステップＳ１２１～Ｓ１２５の処理を繰り返し実行する。
　再学習指示を受信した場合（Ｓ１３３：ＹＥＳ）、制御部１１１は、再学習を実行する（ステップＳ１３４）。制御部１１１は、例えば、センサＳ１より得られるセンサデータと基板処理装置１００の状態情報とを訓練データに用いて追加学習を行うことにより、観測モデルＭＤ１１を再学習することができる。また、制御部１１１は、例えば、センサＳ１より得られるセンサデータと基板処理装置１００において用いられる制御値とを訓練データに用いて追加学習を行うことにより、制御モデルＭＤ１２を再学習することができる。追加学習により観測モデルＭＤ１１及び制御モデルＭＤ１２を再学習する構成に代えて、上記訓練データを用いて、観測モデルＭＤ１１及び制御モデルＭＤ１２を最初から学習し直す構成であってもよい。
　なお、本フローチャートでは、コントロールデバイス１５０においてモデルの更新が必要であると判断した場合、再学習指示をエッジデバイス１１０（１２０，１３０）に送信する構成としたが、各モデルＭＤ１１，ＭＤ１２の演算結果を補正するための補正値をエッジデバイス１１０（１２０，１３０）に送信してもよい。例えば、第２学習モデル（観測モデルＭＤ２１及び制御モデルＭＤ２２）による予測結果と実測結果との誤差から補正値を算出することができる。
　図１４は運用フェーズにおいて基板処理装置１００と装置群サーバ２００との間で実行される処理の手順を示すフローチャートである。上述したように、基板処理装置１００のコントロールデバイス１５０は、運用フェーズにおいて、エッジデバイス１１０～１３０から得られる特徴量を基に、観測モデルＭＤ２１及び制御モデルＭＤ２２を作成する。コントロールデバイス１５０の制御部１５１は、モデルの作成後、エッジデバイス１１０（１２０，１３０）から新たな特徴量を受信した場合（ステップＳ１４１）、受信した特徴量を観測モデルＭＤ２１又は制御モデルＭＤ２２に入力し、モデルを実行する（ステップＳ１４２）。
　制御部１１１は、モデルを実行する過程で各モデルＭＤ２１，ＭＤ２２の中間層からセンサデータの特徴量を抽出し（ステップＳ１４３）、抽出した特徴量を、各モデルＭＤ２１，ＭＤ２２から得られる状態情報及び制御情報の推定結果と共に、装置群サーバ２００へ送信する（ステップＳ１４４）。本実施の形態では、各モデルＭＤ２１，ＭＤ２２の中間層からセンサデータの特徴量を抽出して装置群サーバ２００へ送信する構成としたが、各モデルＭＤ２１，２２の出力層より得られる最終的な演算結果をセンサデータの特徴量とみなして装置群サーバ２００へ送信する構成としてもよい。
　装置群サーバ２００の制御部２０１は、基板処理装置１００から送信される特徴量を通信部２０３より受信し（ステップＳ１４５）、データベースＤＢ３０に蓄積する（ステップＳ１４６）。
　制御部２０１は、特徴量の収集期間が終了した否かを判断する（ステップＳ１４７）。収集期間は、特徴量の収集を開始してから例えば２～３年である。代替的に、データベースＤＢ３０に蓄積した特徴量の数を基に収集期間が終了したか否かを判断してもよい。収集期間が終了していない場合（Ｓ１４７：ＮＯ）、制御部２０１は、処理をステップＳ１４５へ戻し、特徴量を受信し、データベースＤＢ３０に蓄積させる処理を繰り返す。
　収集期間が終了した場合（Ｓ１４７：ＹＥＳ）、観測モデルＭＤ３１及び制御モデルＭＤ３２の学習を実行し、モデルを作成する（ステップＳ１４８）。例えば、制御部２０１は、データベースＤＢ３０に記憶させた一組の特徴量及び状態情報を訓練データに用いて学習を行うことにより、観測モデルＭＤ３１を作成することができる。また、制御部２０１は、データベースＤＢ３０に記憶させた一組の特徴量及び制御値を訓練データに用いて学習を行うことにより、制御モデルＭＤ３２を作成することができる。モデルの作成手順は、観測モデルＭＤ１１及び制御モデルＭＤ１２の作成手順と同様である。
　制御部２０１は、モデルの作成後、基板処理装置１００から新たな特徴量を受信した場合、受信した特徴量を観測モデルＭＤ３１又は制御モデルＭＤ３２に入力し、モデルを実行する（ステップＳ１４９）。
　制御部２０１は、ステップＳ１４９の実行結果に基づき、基板処理装置１００のエッジデバイス１１０（１２０，１３０）において使用されているモデルの更新が必要か否かを判断する（ステップＳ１５０）。装置群サーバ２００では蓄積した長期的なデータ（例えば２～３年単位のデータ）を基にモデルが作成されるので、制御部２０１は、新たに取得した特徴量に基づきモデルを実行することによって、モデルが示すトレンドからのズレを判定することができる。制御部２０１は、モデルが示すトレンドからのズレが閾値以上である場合、エッジデバイス１１０（１２０，１３０）が備えるモデルに異常があると判断する。制御部２０１は、モデルに異常がないと判断した場合、モデルの更新が必要でないと判断し（Ｓ１５０：ＮＯ）、制御部２０１は、処理をステップＳ１４９へ戻す。
　制御部２０１は、モデルに異常があると判断した場合、モデルの更新が必要であると判断し（Ｓ１５０：ＹＥＳ）、基板処理装置１００に対してモデルの再学習指示を送信する（ステップＳ１５１）。
　基板処理装置１００が備えるコントロールデバイス１５０の制御部１５１は、装置群サーバ２００から送信される再学習指示を受信したか否かを判断する（ステップＳ１５２）。再学習指示を受信していないと判断した場合（Ｓ１５２：ＮＯ）、制御部１５１は、処理をステップＳ１４１へ戻し、ステップＳ１４１～Ｓ１４４の処理を繰り返し実行する。
　再学習指示を受信した場合（Ｓ１５２：ＹＥＳ）、制御部１５１は、エッジデバイス１１０（１２０，１３０）に指示を与え、再学習を実行させる（ステップＳ１５３）。エッジデバイス１１０（１２０，１３０）の制御部１１１は、例えば、センサＳ１より得られるセンサデータと基板処理装置１００の状態情報とを訓練データに用いて追加学習を行うことにより、観測モデルＭＤ１１を再学習することができる。また、制御部１１１は、例えば、センサＳ１より得られるセンサデータと基板処理装置１００において用いられる制御値とを訓練データに用いて追加学習を行うことにより、制御モデルＭＤ１２を再学習することができる。追加学習により観測モデルＭＤ１１及び制御モデルＭＤ１２を再学習する構成に代えて、上記訓練データを用いて、観測モデルＭＤ１１及び制御モデルＭＤ１２を最初から学習し直す構成であってもよい。
　本フローチャートでは、装置群サーバ２００から再学習指示が与えられた場合、エッジデバイス１１０（１２０，１３０）において観測モデルＭＤ１１及び制御モデルＭＤ１２を再学習する構成としたが、コントロールデバイス１５０において観測モデルＭＤ２１及び制御モデルＭＤ２２を再学習する構成としてもよい。コントロールデバイス１５０の制御部１５１は、データベースＤＢ２０に蓄積された特徴量及び状態情報を訓練データに用いて、観測モデルＭＤ２１を再学習することができる。また、制御部１５１は、データベースＤＢ２０に蓄積された特徴量及び制御値を訓練データに用いて、制御モデルＭＤ２２を再学習することができる。制御部１５１は、追加学習によって観測モデルＭＤ２１及び制御モデルＭＤ２２を再学習してもよく、上記訓練データを用いて観測モデルＭＤ２１及び制御モデルＭＤ２２を最初から学習し直してもよい。
　なお、本フローチャートでは、装置群サーバ２００においてモデルの更新が必要であると判断した場合、再学習指示を基板処理装置１００に送信する構成としたが、モデルの演算結果を補正するための補正値を基板処理装置１００に送信してもよい。例えば、第３学習モデル（観測モデルＭＤ３１及び制御モデルＭＤ３２）による予測結果と実測結果との誤差から補正値を算出することができる。
　以上のように、本実施の形態では、各エッジデバイス１１０～１３０においてセンサデータに基づく高精細なモデル（観測モデルＭＤ１１及び制御モデルＭＤ１２）を作成することができる。また、エッジデバイス１１０～１３０は、取得したセンサデータに基づき、基板処理装置１００が備えるコンポーネントの劣化を推定するモデルを作成してもよい。
　各エッジデバイス１１０～１３０は、センサデータを送信せずに、各モデルで抽出した特徴量をコントロールデバイス１５０へ送信するので、エッジデバイス１１０～１３０とコントロールデバイス１５０との間のネットワーク負荷を低減することができる。コントロールデバイス１５０は、センサデータの特徴量に基づき、中期的なトレンドのモデル（観測モデルＭＤ２１及び制御モデルＭＤ２２）を作成することができる。
　各基板処理装置１００は、各モデルで抽出した特徴量を装置群サーバ２００へ送信するので、基板処理装置１００と装置群サーバ２００との間のネットワーク負荷を低減することができる。装置群サーバ２００は、基板処理装置１００から送信される特徴量に基づき、装置間の個体差を吸収した長期的なトレンドのモデル（観測モデルＭＤ３１及び制御モデルＭＤ３２）を作成することができる。
　なお、基板処理システム内に新たな基板処理装置（不図示）が導入された場合、学習済みの第１学習モデル（観測モデルＭＤ１１及び制御モデルＭＤ１２）を各エッジデバイス１１０～１３０にデプロイしてもよい。更に、学習済みの第２学習モデル（観測モデルＭＤ２１及び制御モデルＭＤ２２）を各基板処理装置１００のコントロールデバイス１５０にデプロイしてもよい。
（実施の形態２）
　実施の形態２では、第１学習モデルの完成度や健常性を評価し、評価結果を出力する構成について説明する。
　なお、システム構成、基板処理装置１００及び装置群サーバ２００の内部構成については、実施の形態１と同様であるため、その説明を省略する。
　基板処理装置１００は、学習フェーズ又は運用フェーズの適宜のタイミングにて、エッジデバイス１１０～１３０が備える第１学習モデル（観測モデルＭＤ１１及び制御モデルＭＤ１２）の完成度や健常性を評価し、評価結果を出力する。
　基板処理装置１００には、第１学習モデル（観測モデルＭＤ１１及び制御モデルＭＤ１２）を評価するために、評価用のデータセットが用意される。例えば、エッジデバイス１１０が備える観測モデルＭＤ１１を評価するために、センサＳ１のセンサデータと、このセンサＳ１のセンサデータを入力した場合に観測モデルＭＤ１１が出力すべき正解データとを含むセットを評価用のデータセットとして用いることができる。同様に、エッジデバイス１１０が備える制御モデルＭＤ１２を評価するために、センサＳ１のセンサデータと、このセンサＳ１のセンサデータを入力した場合に制御モデルＭＤ１２が出力すべき正解データとを含むセットを評価用のデータセットとして用いることができる。エッジデバイス１２０，１３０を評価するための評価用のデータセットについても同様である。
　基板処理装置１００は、評価用のデータセットに含まれるセンサデータを観測モデルＭＤ１１及び制御モデルＭＤ１２に入力した場合に得られる推定値と、当該データセットに含まれる正解データとの差異に基づき、第１学習モデルの完成度や健常性を評価することができる。
　基板処理装置１００は、第１学習モデルの完成度や健常性を評価した場合、表示部１５６に評価結果を表示する。図１５は評価結果の表示例を示す模式図である。図１５の例では、エッジデバイス１１０～１３０の夫々が備える観測モデルＭＤ１１及び制御モデルＭＤ１２の完成度と健常性とを評価した結果を示している。なお、各グラフにおいて、Ａ，Ｂ，Ｃのインデックスは、それぞれエッジデバイス１１０，１２０，１３０を示している。上段のグラフは、観測モデルＭＤ１１及び制御モデルＭＤ１２の完成度が学習回数の増加に伴って高くなる様子を示している。下段のグラフは、各エッジデバイス１１０，１２０，１３０が備える観測モデルＭＤ１１及び制御モデルＭＤ１２の評価時点での健常性を示している。
　このように、実施の形態２では、各学習モデルの性能を一覧で表示することができるので、管理者は、観測モデルＭＤ１１及び制御モデルＭＤ１２の完成度や健常性が不十分の場合、操作部１５５を通じて再学習指示を与えることにより、観測モデルＭＤ１１及び制御モデルＭＤ１２の完成度や健常性を高めることができる。
　今回開示された実施形態は、全ての点において例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。
　１１０，１２０，１３０　エッジデバイス
　１１１　制御部
　１１２　記憶部
　１１３　入力部
　１１４　出力部
　１１５　通信部
　１５０　コントロールデバイス
　１５１　制御部
　１５２　記憶部
　１５３　第１通信部
　１５４　第２通信部
　１５５　操作部
　１５６　表示部
　２００　装置群サーバ
　２０１　制御部
　２０２　記憶部
　２０３　通信部
　２０４　操作部
　２０５　表示部
　ＭＤ１１，ＭＤ２１，ＭＤ３１　観測モデル
　ＭＤ１２，ＭＤ２２，ＭＤ３２　制御モデル
 

Claims (17)

  1. 　基板処理装置に設けられたセンサから時系列データを取得する工程と、
    　取得した時系列データに基づき、前記センサからの時系列データを入力した場合、前記基板処理装置に関する情報を出力する第１学習モデルの学習を行う工程と、
    　学習後の第１学習モデルに前記センサからの時系列データを入力し、前記第１学習モデルから得られる情報に基づく推定結果を出力する工程と
    　を含む情報処理方法。
  2. 　前記基板処理装置には、サンプリング周期が異なる複数種のセンサが設けられており、
    　センサ毎にサンプリング周期が異なる時系列データを夫々用いて、第１学習モデルの学習を個別に行う工程と、
    　各センサから出力される時系列データを、対応する第１学習モデルに入力して推定結果を出力する工程と
    　を含む請求項１に記載の情報処理方法。
  3. 　各センサの第１学習モデルは、各センサに対応するエッジデバイス毎に導入され、
    　前記第１学習モデルの学習処理、及び前記第１学習モデルによる推定処理を、各エッジデバイスにおいて実行する工程を含む
    　請求項２に記載の情報処理方法。
  4. 　前記第１学習モデルは、
    　前記センサからの時系列データに基づき、前記基板処理装置の状態を推定するための観測モデル、及び
    　前記センサからの時系列データに基づき、前記基板処理装置の制御値を推定するための制御モデル
    　の少なくとも一方を含む請求項１から請求項３の何れか１つに記載の情報処理方法。
  5. 　前記時系列データから第１特徴量を抽出する工程と、
    　抽出した第１特徴量を前記基板処理装置内の第１装置へ出力する工程と
    　を更に含む請求項１から請求項４の何れか１つに記載の情報処理方法。
  6. 　前記時系列データから抽出された前記第１特徴量を記憶する処理と、
    　記憶した前記第１特徴量に基づき、第１特徴量を入力した場合、前記基板処理装置に関する情報を出力する第２学習モデルの学習を行う処理と、
    　学習後の第２学習モデルに、新たに取得した第１特徴量を入力し、前記第２学習モデルから得られる情報に基づく推定結果を出力する処理と
    　を前記第１装置において実行する工程を含む請求項５に記載の情報処理方法。
  7. 　前記第２学習モデルを用いた推定結果に基づき、前記第１学習モデルの再学習指示を出力する処理を前記第１装置において実行する工程
    　を更に含む請求項６に記載の情報処理方法。
  8. 　前記第２学習モデルによる演算結果に基づき、前記第１学習モデルによる演算結果を補正するための補正値を出力する工程
    　を更に含む請求項６に記載の情報処理方法。
  9. 　前記基板処理装置毎に前記時系列データの第２特徴量を抽出する工程と、
    　抽出した第２特徴量を前記基板処理装置外の第２装置へ出力する工程と
    　を更に含む請求項６から請求項８の何れか１つに記載の情報処理方法。
  10. 　前記基板処理装置毎に抽出された前記第２特徴量を記憶する処理と、
    　記憶した前記第２特徴量に基づき、第２特徴量を入力した場合、前記基板処理装置に関する情報を出力する第３学習モデルの学習を行う処理と、
    　学習後の第３学習モデルに、新たに取得した第２特徴量を入力し、前記第３学習モデルから得られる情報に基づく推定結果を出力する処理と
    　を前記第２装置において実行する工程を含む請求項９に記載の情報処理方法。
  11. 　前記第３学習モデルを用いた推定結果に基づき、前記第１学習モデル又は前記第２学習モデルの再学習指示を出力する処理を前記第２装置において実行する工程
    　を更に含む請求項１０に記載の情報処理方法。
  12. 　前記第３学習モデルによる演算結果に基づき、前記第１学習モデル又は前記第２学習モデルによる演算結果を補正するための補正値を出力する工程
    　を更に含む請求項１０に記載の情報処理方法。
  13. 　新たな基板処理装置を設置する場合、学習済みの前記第１学習モデルを前記新たな基板処理装置に導入する工程
    　を更に含む請求項１から請求項１２の何れか１つに記載の情報処理方法。
  14. 　各学習モデルの性能を一覧で表示する工程
    　を更に含む請求項１から請求項１３の何れか１つに記載の情報処理方法。
  15. 　基板処理装置に設けられたセンサから時系列データを取得する取得部と、
    　取得した時系列データに基づき、前記センサからの時系列データを入力した場合、前記基板処理装置に関する情報を出力する第１学習モデルの学習を行う学習部と、
    　学習後の第１学習モデルに前記センサからの時系列データを入力し、前記第１学習モデルから得られる情報に基づく推定結果を出力する推定部と
    　を備える情報処理装置。
  16. 　センサに接続されたエッジデバイスと、エッジデバイスに接続された上位装置とを備え、チャンバの内部にて基板処理を実行する複数の基板処理装置と、
    　前記複数の基板処理装置と通信可能に接続される装置群サーバと
    　を含み、
    　前記エッジデバイスは、
    　前記センサから時系列データを取得する取得部と、
    　取得した時系列データに基づき、前記センサからの時系列データを入力した場合、前記センサが設けられた基板処理装置に関する情報を出力する第１学習モデルの学習を行う第１学習部と、
    　学習後の第１学習モデルに前記センサからの時系列データを入力し、前記第１学習モデルから得られる情報に基づく推定結果を出力する第１推定部と、
    　前記時系列データから抽出される第１特徴量を前記上位装置へ出力する出力部と
    　を備え、
    　前記上位装置は、
    　前記エッジデバイスから入力される第１特徴量を記憶する第１特徴量記憶部と、
    　記憶した第１特徴量に基づき、第１特徴量を入力した場合、前記基板処理装置に関する情報を出力する第２学習モデルの学習を行う第２学習部と、
    　学習後の第２学習モデルに、新たに取得した第１特徴量を入力し、前記第２学習モデルから得られる情報に基づく推定結果を出力する第２推定部と、
    　前記基板処理装置毎に抽出される前記時系列データの第２特徴量を前記装置群サーバへ送信する送信部と
    　を備え、
    　前記装置群サーバは、
    　前記上位装置から受信した第２特徴量を記憶する第２特徴量記憶部と、
    　記憶した第２特徴量に基づき、第２特徴量を入力した場合、前記基板処理装置に関する情報を出力する第３学習モデルの学習を行う第３学習部と、
    　学習後の第３学習モデルに、新たに取得した第２特徴量を入力し、前記第３学習モデルから得られる情報に基づく推定結果を出力する第２推定部と
    　を備える
    　基板処理システム。
  17. 　前記上位装置及び前記装置群サーバは、
    　夫々が備える学習モデルによる推定結果に基づき、前記第１学習モデルの更新の要否を判断する判断部と、
    　更新要と判断した場合、前記エッジデバイスに対して前記第１学習モデルの再学習を指示する指示部と
    　を備える請求項１６に記載の基板処理システム。
     
PCT/JP2022/030707 2021-08-31 2022-08-12 情報処理方法、情報処理装置、及び基板処理システム WO2023032636A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280058364.8A CN117882170A (zh) 2021-08-31 2022-08-12 信息处理方法、信息处理装置、以及基板处理系统
KR1020247010655A KR20240049620A (ko) 2021-08-31 2022-08-12 정보 처리 방법, 정보 처리 장치, 및 기판 처리 시스템
JP2023545409A JPWO2023032636A1 (ja) 2021-08-31 2022-08-12

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-141749 2021-08-31
JP2021141749 2021-08-31

Publications (1)

Publication Number Publication Date
WO2023032636A1 true WO2023032636A1 (ja) 2023-03-09

Family

ID=85412213

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/030707 WO2023032636A1 (ja) 2021-08-31 2022-08-12 情報処理方法、情報処理装置、及び基板処理システム

Country Status (5)

Country Link
JP (1) JPWO2023032636A1 (ja)
KR (1) KR20240049620A (ja)
CN (1) CN117882170A (ja)
TW (1) TW202329205A (ja)
WO (1) WO2023032636A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014065269A1 (ja) * 2012-10-24 2014-05-01 東京エレクトロン株式会社 補正値算出装置、補正値算出方法及びコンピュータプログラム
JP2020181959A (ja) * 2019-04-26 2020-11-05 東京エレクトロン株式会社 学習方法、管理装置および管理プログラム
JP2021086572A (ja) * 2019-11-29 2021-06-03 東京エレクトロン株式会社 予測装置、予測方法及び予測プログラム
JP2021092970A (ja) * 2019-12-10 2021-06-17 キヤノン株式会社 制御方法、制御装置、機械設備、制御プログラム、記録媒体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6720402B2 (ja) 2017-03-21 2020-07-08 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ サーバ装置、学習済モデル提供プログラム、学習済モデル提供方法及び学習済モデル提供システム
JP6689507B2 (ja) 2018-02-20 2020-04-28 株式会社Ａｂｅｊａ 情報処理システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014065269A1 (ja) * 2012-10-24 2014-05-01 東京エレクトロン株式会社 補正値算出装置、補正値算出方法及びコンピュータプログラム
JP2020181959A (ja) * 2019-04-26 2020-11-05 東京エレクトロン株式会社 学習方法、管理装置および管理プログラム
JP2021086572A (ja) * 2019-11-29 2021-06-03 東京エレクトロン株式会社 予測装置、予測方法及び予測プログラム
JP2021092970A (ja) * 2019-12-10 2021-06-17 キヤノン株式会社 制御方法、制御装置、機械設備、制御プログラム、記録媒体

Also Published As

Publication number Publication date
TW202329205A (zh) 2023-07-16
KR20240049620A (ko) 2024-04-16
JPWO2023032636A1 (ja) 2023-03-09
CN117882170A (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
US20230195071A1 (en) Methods and mechanisms for generating a data collection plan for a semiconductor manufacturing system
WO2023032636A1 (ja) 情報処理方法、情報処理装置、及び基板処理システム
WO2023032637A1 (ja) 情報処理方法、情報処理装置、及び情報処理システム
US20230061513A1 (en) Systems and methods for adaptive troubleshooting of semiconductor manufacturing equipment
TW202340884A (zh) 預防保養後的腔室條件監控及模擬
US20220284342A1 (en) Systems and methods for process chamber health monitoring and diagnostics using virtual model
US20230260767A1 (en) Process control knob estimation
US20230195078A1 (en) Methods and mechanisms for adjusting process chamber parameters during substrate manufacturing
US20230306300A1 (en) Methods and mechanisms for measuring patterned substrate properties during substrate manufacturing
US20230008072A1 (en) Method and mechanism for contact-free process chamber characterization
US20230195074A1 (en) Diagnostic methods for substrate manufacturing chambers using physics-based models
US11892821B2 (en) Communication node to interface between evaluation systems and a manufacturing system
US20230384777A1 (en) Methods and mechanisms for preventing fluctuation in machine-learning model performance
US20230089982A1 (en) Methods and mechanisms for coupling sensors to transfer chamber robot
US20230359179A1 (en) Methods and mechanisms for adjusting film deposition parameters during substrate manufacturing
TW202414132A (zh) 用於防止機器學習模型性能的波動的方法和機制
CN117836895A (zh) 制造系统处的多级rf脉冲监测和rf脉冲化参数优化
CN117916871A (zh) 用于将传感器耦合至传输腔室机器人的方法和机构

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22864221

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023545409

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280058364.8

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 20247010655

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE