WO2023204183A1 - 状態検出装置、状態検出方法、学習モデルの生成方法及びコンピュータプログラム - Google Patents

状態検出装置、状態検出方法、学習モデルの生成方法及びコンピュータプログラム Download PDF

Info

Publication number
WO2023204183A1
WO2023204183A1 PCT/JP2023/015345 JP2023015345W WO2023204183A1 WO 2023204183 A1 WO2023204183 A1 WO 2023204183A1 JP 2023015345 W JP2023015345 W JP 2023015345W WO 2023204183 A1 WO2023204183 A1 WO 2023204183A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
model
target device
state
state detection
Prior art date
Application number
PCT/JP2023/015345
Other languages
English (en)
French (fr)
Inventor
遼路 安崎
Original Assignee
東京エレクトロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 東京エレクトロン株式会社 filed Critical 東京エレクトロン株式会社
Publication of WO2023204183A1 publication Critical patent/WO2023204183A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present disclosure relates to a state detection device, a state detection method, a learning model generation method, and a computer program.
  • Patent Document 1 data related to an industrial machine is acquired, and based on the acquired data related to the industrial machine, a plurality of time series data of physical quantities of the data related to the industrial machine are slid in the time axis direction. Generate a learning model by creating partial time series data, extracting multiple learning data including the multiple partial time series data, and performing machine learning using the extracted learning data. A state determination device has been proposed.
  • the present disclosure provides a state detection device, a state detection method, a learning model generation method, and a computer program that can be expected to accurately detect the state of a target device such as a semiconductor manufacturing device.
  • a state detection device includes a first acquisition unit that acquires input data to a target device and observation data of the operation of the target device, and a first acquisition unit that acquires input data to a target device and observation data of the operation of the target device;
  • the device includes a determining unit that determines based on the input data and observation data acquired by the first acquiring unit, and a detecting unit that detects the state of the target device based on the parameters determined by the determining unit.
  • FIG. 1 is a schematic diagram for explaining an example of an information processing system according to the present embodiment.
  • FIG. 1 is a block diagram showing a configuration example of a state detection device according to the present embodiment.
  • FIG. 2 is a schematic diagram showing an example of a state detection model according to the present embodiment. It is a flowchart which shows an example of the procedure of the data generation process for learning performed by the state detection apparatus based on this Embodiment.
  • FIG. 3 is a schematic diagram for explaining an overview of a parameter determination process for an estimation model according to the present embodiment.
  • 7 is a flowchart illustrating an example of a procedure of a state detection model generation process performed by the state detection device according to the present embodiment.
  • 3 is a flowchart illustrating an example of a procedure of a state detection process performed by the state detection device according to the present embodiment.
  • 7 is a schematic diagram illustrating an example of a state detection model included in a state detection device according to modification 1.
  • FIG. 1 is a block diagram showing
  • FIG. 1 is a schematic diagram for explaining an example of an information processing system according to the present embodiment.
  • the information processing system according to this embodiment includes a state detection device 1 and a semiconductor manufacturing device (target device) 3.
  • the illustrated semiconductor manufacturing apparatus 3 is an apparatus for transporting wafers in a semiconductor manufacturing process.
  • the semiconductor manufacturing apparatus 3 transports the wafer held by the fork, for example, by moving the fork holding the wafer using a mechanism such as a motor and a pulley (not shown).
  • the state detection device 1 is a device that detects the operating state of the semiconductor manufacturing device 3 and controls the operation of the semiconductor manufacturing device 3 according to the detected operation.
  • the state detection device 1 and the semiconductor manufacturing device 3 are connected via a cable such as a communication line or a signal line, for example.
  • the state detection device 1 inputs control data for driving a motor for moving a fork to the semiconductor manufacturing device 3, for example.
  • the control data includes information such as the amount of drive of the motor, for example.
  • the semiconductor manufacturing apparatus 3 moves a fork by driving a motor according to input control data to transport a wafer.
  • the semiconductor manufacturing apparatus 3 also includes various sensors for observing wafer transport operations.
  • the semiconductor manufacturing equipment 3 uses a sensor to detect information regarding the operation of the equipment according to the control data, such as the amount of movement, angle of movement, speed, or acceleration, and sends observation data including the detected information to the state detection device 1.
  • the sensor for obtaining observation data may include, for example, a camera that captures images (still images or moving images), a microphone that captures audio, or the like.
  • the observation data may include data such as images captured by a camera or sounds captured by a microphone.
  • the state detection device 1 acquires control data input to the semiconductor manufacturing device 3 and observation data output from the semiconductor manufacturing device 3 that has operated in accordance with the control data, and calculates the control data and observation data.
  • the set is stored as a history related to semiconductor manufacturing.
  • the state detection device 1 reads time-series information of control data and observation data related to this one operation, and determines the state of the semiconductor manufacturing device 3 based on this time-series information. Detect.
  • One operation of the semiconductor manufacturing equipment 3 is, for example, when the fork starts moving from a certain point until it stops at another point, when the fork holds a wafer at a certain point until it is released at another point, or when the fork starts moving from a certain point until it stops at another point, or when the fork starts moving from a certain point until it stops moving at another point, or when the fork starts moving from a certain point until it stops moving at another point, or when the fork starts moving from a certain point until it stops moving at another point, when the fork holds a wafer at a certain point until it is released at another point
  • Various units of operation may be employed, such as from starting the movement to returning to the original point.
  • the states of the semiconductor manufacturing apparatus 3 detected by the state detection device 1 are two states, ie, abnormality and no abnormality, but the present invention is not limited to this.
  • the status of the semiconductor manufacturing equipment 3 may be categorized into five levels of abnormality, from no abnormality to abnormality. May include status.
  • the state of the semiconductor manufacturing equipment 3 detected by the state detection device 1 may include, for example, a numerical value indicating the degree of abnormality.
  • the numerical value indicating the degree of abnormality may be, for example, a decimal in the range of 0.0 to 1.0 or a percentage in the range of 0% to 100%.
  • various numerical values such as a predicted period until failure, a period required for repair, or cost required for repair may be adopted as the numerical value indicating the degree of abnormality.
  • the conditions to be detected may include a condition expressed by combining a plurality of numerical values, such as "failure will occur with a probability of 70% or more within 90 days.”
  • the status of the semiconductor manufacturing equipment 3 detected by the status detection device 1 includes not only the status related to future prediction such as the possibility of an abnormality occurring in the semiconductor manufacturing equipment 3, but also whether a certain event has occurred in the past or whether a certain event has occurred. Conditions regarding past estimates may be included, such as probabilities that have occurred.
  • the status related to past estimation includes, for example, whether or not maintenance was performed on the semiconductor manufacturing equipment 3, the estimated number of days before maintenance was performed, or the estimated percentage of the possibility that maintenance was performed within 10 days. Various values may be adopted, such as the value of .
  • the detected state may include a state expressed by combining a plurality of numerical values, such as "maintenance was performed with a probability of 10% or less within 10 days.”
  • the state detection device 1 performs a process of determining parameters of an estimation model that estimates the operation of the semiconductor manufacturing device 3 based on time series information of control data and observation data.
  • the estimation model is a model that receives control data as input and outputs predicted data that predicts observed data, and in this embodiment, a model of a non-integer order differential equation is used.
  • a non-integer order differential equation can also be called a fraction order differential equation.
  • Non-integer order differential equations are known mathematical concepts (for example, Nobumasa Sugimoto, “On non-integer order calculus”, Mathematical Society of Japan, February 2017, Mathematics Communication Vol. 21, No. 4, p. 5) (see page 22), detailed explanation will be omitted.
  • the estimation model is not limited to a model of a non-integer order differential equation, and may be a model of an integer order differential equation, for example, and may be a model expressed by any equation.
  • the state detection device 1 inputs control data into the estimation model of the determined parameters, obtains the estimation data output by the estimation model, and calculates the fitness of the model by comparing it with the original observed data.
  • RMSE Root Mean Squared Error
  • the state detection device 1 compares, for example, the calculated degree of suitability with a predetermined threshold, and detects the state of the semiconductor manufacturing device 3 based on the comparison result. For example, the state detection device 1 can detect that there is an abnormality in the semiconductor manufacturing device 3 when the calculated RMSE exceeds a threshold value.
  • the state detection device 1 detects the state of the semiconductor manufacturing device 3 based on the parameters of the determined estimation model.
  • a learning model for classifying the state of the semiconductor manufacturing apparatus 3 is generated in advance by machine learning by accepting the parameters of the estimation model as input.
  • the state detection device 1 is equipped with a learning model generated in advance, and inputs the parameters of the determined estimation model to the learning model, and obtains the state classification results output by this learning model, thereby detecting the state of the semiconductor manufacturing device 3. Detect the state of.
  • the learning model used by the state detection device 1 may be one in which machine learning is performed to classify the state of the semiconductor manufacturing device 3 by accepting the above-mentioned degree of conformity and parameters as input.
  • the state detection device 1 determines the parameters of the estimation model, inputs the control data into the estimation model to calculate the degree of fitness, and uses the calculated degree of fitness and the determined parameters of the estimation model as a learning model that has been subjected to machine learning in advance. Enter.
  • the state detection device 1 can detect the state of the semiconductor manufacturing device 3 by acquiring output information of the learning model.
  • the learning model may be one in which machine learning is performed to classify the state of the semiconductor manufacturing apparatus 3 by further accepting information different from the fitness degree and parameters as input.
  • the state detection device 1 When the state detection device 1 detects that the state of the semiconductor manufacturing device 3 is abnormal, it stops the operation of the semiconductor manufacturing device 3, for example, and displays a warning message or the like on a display unit such as a liquid crystal display.
  • the target device whose state is detected by the state detection device 1 is the semiconductor manufacturing device 3 that transports wafers, but the device is not limited to this.
  • the target device for state detection may be any type of semiconductor manufacturing equipment, or may be a device other than semiconductor manufacturing equipment.
  • FIG. 2 is a block diagram showing an example of the configuration of the state detection device 1 according to the present embodiment.
  • the state detection device 1 according to the present embodiment includes a processing section 11, a storage section 12, a communication section (transceiver) 13, a display section 14, an operation section 15, and the like.
  • the description will be given assuming that the processing is performed by one state detection device 1, but the processing of the state detection device 1 may be performed by a plurality of devices in a distributed manner.
  • the processing unit 11 includes an arithmetic processing unit such as a CPU (Central Processing Unit), an MPU (Micro-Processing Unit), a GPU (Graphics Processing Unit), or a quantum processor, a ROM (Read Only Memory), a RAM (Random Access Memory), etc. It is configured using The processing unit 11 reads and executes a program 12a stored in the storage unit 12 to perform various processes such as controlling the operation of the semiconductor manufacturing apparatus 3 and detecting the state of the semiconductor manufacturing apparatus 3. .
  • arithmetic processing unit such as a CPU (Central Processing Unit), an MPU (Micro-Processing Unit), a GPU (Graphics Processing Unit), or a quantum processor, a ROM (Read Only Memory), a RAM (Random Access Memory), etc. It is configured using The processing unit 11 reads and executes a program 12a stored in the storage unit 12 to perform various processes such as controlling the operation of the semiconductor manufacturing apparatus 3 and detecting the state of the semiconductor manufacturing apparatus 3. .
  • the storage unit 12 is configured using a large-capacity storage device such as a hard disk, for example.
  • the storage unit 12 stores various programs executed by the processing unit 11 and various data necessary for processing by the processing unit 11.
  • the storage unit 12 stores a program 12a executed by the processing unit 11.
  • the storage unit 12 also includes a history storage unit 12b that stores a history of control data and observation data, a model information storage unit 12c that stores information regarding a learning model that classifies the state of the semiconductor manufacturing equipment 3, and a A learning data storage unit 12d is provided that stores learning data used in machine learning for generation.
  • the program (computer program, program product) 12a is provided in a form recorded on a recording medium 99 such as a memory card or an optical disk, and the state detection device 1 reads the program 12a from the recording medium 99 and stores it in the storage unit. 12.
  • the program 12a may be written into the storage unit 12, for example, during the manufacturing stage of the state detection device 1.
  • the program 12a may be distributed by a remote server device or the like, and the state detection device 1 may obtain it through communication.
  • the program 12a may be recorded on the recording medium 99 and read by a writing device and written into the storage unit 12 of the state detection device 1.
  • the program 12a may be provided in the form of distribution via a network, or may be provided in the form of being recorded on the recording medium 99.
  • the history storage unit 12b of the storage unit 12 stores, over time, information that associates the control data that the state detection device 1 inputs to the semiconductor manufacturing equipment 3 with the observation data that the semiconductor manufacturing equipment 3 outputs in accordance with this control data. Store and store in series.
  • the history storage unit 12b stores the acquired control data and observation data at least during one operation by the semiconductor manufacturing equipment 3, that is, until the data necessary for the state detection device 1 to detect the state of the semiconductor manufacturing equipment 3 is collected. It holds chronological information. After the state detection device 1 detects the state of the semiconductor manufacturing device 3 based on the time series information for one operation, the history storage unit 12b may discard or retain the time series information of the control data and observation data. You may continue.
  • the model information storage unit 12c stores information regarding a model that the state detection device 1 uses to detect the state of the semiconductor manufacturing device 3.
  • the information regarding the model may include, for example, configuration information indicating the configuration of the model, and information such as values of internal parameters of the model.
  • the state detection device 1 according to this embodiment performs state detection using two models.
  • the first model is a non-integer order differential equation model that receives input of control data and outputs predicted data that predicts observed data.
  • the parameters of the first model are determined each time the state detection device 1 detects the state of the semiconductor manufacturing device 3.
  • This first learning model is hereinafter referred to as a "guess model.”
  • the second model is a learning model that classifies the state of the semiconductor manufacturing equipment 3 by accepting the parameters of the first model (estimated model) as input.
  • the second model is a trained model whose parameters have been determined by machine learning in advance, and can be constructed using various configurations such as SVM (Support Vector Machine), decision tree, random forest, or DNN (Deep Neural Network).
  • a learning model may be employed.
  • the state detection device 1 generates a learning model in advance by performing machine learning processing using learning data prepared in advance by, for example, a developer or operator of this information processing system.
  • the state detection device 1 stores information such as parameters of a learning model generated in advance in the model information storage unit 12c.
  • the state detection device 1 may acquire a trained learning model generated by another device and store the acquired learning model in the model information storage unit 12c for use without performing the machine learning process.
  • the second learning model will be referred to as a "state detection model.”
  • the learning data storage unit 12d stores learning data used in machine learning to generate a state detection model.
  • the learning data is data in which parameters of the estimation model are associated with values indicating the state of the semiconductor manufacturing apparatus 3.
  • the learning data is data that can be called teacher data used in so-called supervised machine learning.
  • the learning data is generated in advance by, for example, operating the semiconductor manufacturing apparatus 3 and collecting control data and observation data.
  • the developer, operator, etc. of the information processing system according to the present embodiment performs a so-called annotation operation, in which a value indicating the state of the semiconductor manufacturing equipment 3 is assigned to the collected control data and observation data. .
  • the state detection device 1 acquires data in which control data and observation data are associated with values indicating the state of the semiconductor manufacturing device 3, and determines parameters of an estimation model corresponding to the control data and observation data.
  • the state detection device 1 can generate learning data by associating the determined parameter with a value indicating the state of the semiconductor manufacturing device 3 that is associated with the control data and observation data.
  • the communication unit 13 of the state detection device 1 is connected to the semiconductor manufacturing device 3 via a cable such as a communication line or a signal line, and transmits and receives data to and from the semiconductor manufacturing device 3 via this cable.
  • the communication unit 13 transmits control data given from the processing unit 11 to the semiconductor manufacturing apparatus 3.
  • the communication unit 13 also receives observation data transmitted from the semiconductor manufacturing apparatus 3 and provides the received observation data to the processing unit 11 .
  • the display unit 14 is configured using a liquid crystal display or the like, and displays various images, characters, etc. based on the processing of the processing unit 11.
  • the display unit 14 displays various information regarding the operating state of the semiconductor manufacturing apparatus 3, for example, and also displays a warning message or the like when an abnormality is detected in the operating state of the semiconductor manufacturing apparatus 3.
  • the operation unit 15 accepts user operations and notifies the processing unit 11 of the accepted operations.
  • the operation unit 15 receives user operations using input devices such as mechanical buttons or a touch panel provided on the surface of the display unit 14 .
  • the operation unit 15 may be an input device such as a mouse and a keyboard, and these input devices may be configured to be detachable from the state detection device 1.
  • the storage unit 12 may be an external storage device connected to the state detection device 1.
  • the state detection device 1 may be a multicomputer including a plurality of computers, or may be a virtual machine virtually constructed by software. Further, the state detection device 1 is not limited to the above configuration, and may not include the display section 14, the operation section 15, etc., for example.
  • the state detection device 1 has a control processing section 11a, a parameter determination section 11b, a state detection section 11c, and a control processing section 11a, a parameter determination section 11b, a state detection section 11c, and the like.
  • the machine learning processing unit 11d and the like are implemented in the processing unit 11 as software-like functional units.
  • the control processing unit 11a performs processing for controlling the operation of the semiconductor manufacturing device 3 by generating control data, transmitting it to the semiconductor manufacturing device 3, etc. according to a predetermined semiconductor manufacturing procedure. For example, the control processing unit 11a drives the motor of the semiconductor manufacturing apparatus 3 to drive the wafer by transmitting control data including a command to drive the motor of the semiconductor manufacturing apparatus 3 and information on the amount of drive thereof to the semiconductor manufacturing apparatus 3. The held fork is moved to transport the wafer.
  • the control processing unit 11a also acquires observation data transmitted from the semiconductor manufacturing apparatus 3 as a response to the control data, and stores the control data and observation data in the history storage unit 12b of the storage unit 12 in association with each other.
  • the control processing unit 11a repeatedly transmits control data and acquires observation data, and accumulates time-series information of a set of control data and observation data in the history storage unit 12b.
  • the parameter determining section 11b reads control data and observation data related to this one operation from the history storage section 12b.
  • the parameter determining unit 11b performs a process of determining parameters of a prediction model that predicts observed data based on this control data.
  • the prediction model is a model expressed by a non-integer order differential equation expressed by the following equation (1).
  • x(t) is time-series input data (control data) input to the estimation model
  • y(t) is time-series observed data according to the input control data.
  • ⁇ k and x 0 are coefficients
  • ⁇ k is the order of differentiation
  • ⁇ k , ⁇ k and x 0 are parameters determined by the parameter determination unit 11b.
  • K is a constant that determines the number of terms in the non-integer order differential equation, and is determined in advance by the developer of the information processing system according to the present embodiment based on the characteristics of the semiconductor manufacturing equipment 3, etc. is the value to be used.
  • the parameter determination unit 11b sequentially inputs time-series control data to a guess model of a non-integer order differential equation in which initial values of parameters are appropriately determined, and sequentially acquires time-series guess data output from the guess model.
  • the parameter determining unit 11b calculates an error by comparing observed data corresponding to the control data and estimated data estimated by the estimation model, and determines parameters of the estimation model by a difference method based on the calculated error.
  • the parameter determination unit 11b calculates a gradient regarding each parameter based on the error, for example, and uses a method such as steepest descent method, quasi-Newton method, or SGD (Stochastic Gradient Descent) based on the calculated gradient. By doing so, the parameters of the estimation model can be determined. Note that the method for determining the parameters of the estimation model is an existing technique, so a detailed explanation will be omitted.
  • the parameter determination unit 11b obtains estimated data by inputting the control data again into the estimated model based on the determined parameters, calculates the error between the estimated data and the observed data again, and calculates the calculated error and the preset threshold value. Make a comparison with If the calculated error is larger than the threshold, the parameter determination unit 11b updates the parameter based on this error. The parameter determining unit 11b repeatedly calculates the error and updates the parameters, and when the calculated error becomes smaller than a threshold value, the parameter at that time is finally determined as the parameter of the estimation model.
  • the state detection unit 11c detects the state of the semiconductor manufacturing apparatus 3 using two methods in this embodiment.
  • the state detection unit 11c uses the inference model to which the parameters determined by the parameter determination unit 11b are set, and the control data and observation data used to determine the parameters, to determine the fitness of the inference model. calculate.
  • the state detection unit 11c inputs the control data into the estimation model to obtain predicted data, and calculates the RMSE between the observed data and the predicted data as the goodness of fit. Note that in this embodiment, the RMSE is used as the goodness of fit, so that the smaller the value of the goodness of fit, the more fitting the estimated model is.
  • the reciprocal of RMSE may be used for the goodness of fit, and in this case, the larger the value of the goodness of fit, the better the estimation model fits.
  • the state detection unit 11c detects the state of the semiconductor manufacturing apparatus 3 based on a comparison between the calculated RMSE and a predetermined threshold value. Note that if the parameter determining unit 11b calculates the RMSE as an error when determining the parameter, the state detecting unit 11c does not need to calculate the RMSE again, but obtains the RMSE calculated by the parameter determining unit 11b and uses it as the threshold value. You can compare. For example, the state detection unit 11c can detect that the state of the semiconductor manufacturing apparatus 3 is abnormal when the RMSE exceeds a threshold value, and can detect that there is no abnormality when the RMSE does not exceed the threshold value.
  • FIG. 3 is a schematic diagram showing an example of a state detection model according to this embodiment.
  • the state detection model according to the present embodiment is a classification model that receives the parameters of the estimation model as input and outputs a classification result of classifying the state of the semiconductor manufacturing apparatus 3.
  • the estimation model receives the parameters ⁇ 0 , ..., ⁇ K , ⁇ 1 , ..., ⁇ K , x 0 shown in equation (1) as input data, and determines the state of the semiconductor manufacturing equipment 3. It is classified as either “with abnormality” or “no abnormality”.
  • the state detection device 1 generates a state detection model by performing so-called supervised machine learning processing in advance, and stores information regarding the generated state detection model in the model information storage section 12c of the storage section 12.
  • the state detection unit 11c inputs the parameters of the estimation model determined by the parameter determination unit 11b into the state detection model, and obtains information regarding the state of the semiconductor manufacturing apparatus 3 output by the state detection model.
  • the state detection model outputs two numerical values (certainty, likelihood, etc.) corresponding to the two states of, for example, "abnormality present” and “no abnormality", and the state detection unit 11c outputs two numerical values (certainty, likelihood, etc.) that are larger of the two numerical values.
  • the corresponding state can be the state of the semiconductor manufacturing apparatus 3.
  • the output of the state detection model may be a category assigned to a plurality of states of the semiconductor manufacturing apparatus 3. For example, if there are three types of states (categories) of semiconductor manufacturing equipment 3: failure, maintenance, and normality, "T” is assigned to failure, "M” is assigned to maintenance, and "M” is assigned to normality. ⁇ R'' can be assigned as a category. In this example, the categories are represented by characters such as “T", “M", “R”, etc., but they are not limited to these, and the categories are represented by characters such as "0", "1", “2”, etc. It may also be expressed numerically. The state detection model undergoes machine learning in advance to predict these categories.
  • the output of the state detection model may be a numerical value within a predetermined range regarding the state of the semiconductor manufacturing apparatus 3. For example, various numerical values such as the probability that the semiconductor manufacturing equipment 3 has failed, the probability that maintenance has been performed, the probability that a failure will occur within a predetermined period, the number of days until failure, the number of days that have passed since maintenance was performed, etc. It can be the output of the state detection model.
  • the state detection unit 11c detects the state of the semiconductor manufacturing equipment 3 using the first method and the second method described above, and obtains a detection result that the state of the semiconductor manufacturing equipment 3 is abnormal using at least one of the methods. If this happens, it is finally detected that there is an abnormality in the state of the semiconductor manufacturing apparatus 3.
  • the state detection unit 11c finally detects that there is no abnormality in the state of the semiconductor manufacturing apparatus 3 when a detection result indicating that there is no abnormality is obtained in both the first method and the second method.
  • the state detection unit 11c detects that the state of the semiconductor manufacturing device 3 is abnormal, it displays a warning message on the display unit 14, and performs processing such as stopping the operation of the semiconductor manufacturing device 3.
  • the state detection unit 11c does not perform state detection (detecting the presence or absence of an abnormality) for the goodness of fit (RMSE) and parameters individually as described above, but performs state detection using the goodness of fit and parameters together. It's okay.
  • the state detection unit 11c can use a learning model that has been subjected to machine learning in advance to classify the state of the semiconductor manufacturing apparatus 3 by receiving the degree of conformity and parameters as input.
  • the machine learning processing unit 11d Before detecting the state of the semiconductor manufacturing apparatus 3, the machine learning processing unit 11d performs a machine learning process using the learning data stored in the learning data storage unit 12d of the storage unit 12, thereby detecting the state. Performs the process of generating a model.
  • the learning data stored in the learning data storage section 12d is data in which the parameters of the estimation model and the state of the semiconductor manufacturing apparatus 3 are associated with each other.
  • the machine learning processing unit 11d generates a state detection model by performing so-called supervised machine learning processing using this learning data. Since supervised machine learning processing is an existing technology, detailed explanation will be omitted in this embodiment.
  • the machine learning processing unit 11d stores information regarding the state detection model generated by machine learning in the model information storage unit 12c.
  • ⁇ State detection model generation process> In the information processing system according to the present embodiment, before the state detection device 1 detects the state of the semiconductor manufacturing device 3, learning data for generating a state detection model by machine learning is collected and generated. Processing takes place. Further, in the information processing system, a process of generating a state detection model by machine learning using this learning data is performed in advance. In this embodiment, processing related to generation of these state detection models will be described as being performed by the state detection device 1, but the present invention is not limited to this, and these processings may be performed by a device other than the state detection device 1. It's okay to be hurt.
  • FIG. 4 is a flowchart illustrating an example of the procedure of the learning data generation process performed by the state detection device 1 according to the present embodiment.
  • the processing unit 11 of the state detection device 1 according to the present embodiment stores and accumulates control data and observation data in the history storage unit 12b as the semiconductor manufacturing device 3 operates.
  • the machine learning processing section 11d of the processing section 11 appropriately acquires control data and observation data for one operation of the semiconductor manufacturing apparatus 3 from among these data stored in the history storage section 12b (step S1).
  • the parameter determination unit 11b of the processing unit 11 inputs the control data acquired in step S1 to the estimation model of the non-integer order differential equation (step S2), and acquires the estimation data output by the estimation model (step S3). .
  • the parameter determining unit 11b calculates the error between the observed data acquired in step S1 and the estimated data acquired in step S3 (step S4).
  • the parameter determining unit 11b determines whether the error calculated in step S4 is smaller than a predetermined threshold (step S5). If the error is larger than the threshold (S5: NO), the parameter determination unit 11b updates the parameters of the estimation model so that the error becomes smaller (step S6), and returns the process to step S2.
  • the parameter determining unit 11b repeatedly updates the parameters by repeatedly performing the processes of steps S2 to S6, and when determining that the error is smaller than the threshold (S5: YES), moves the process to step S7.
  • the machine learning processing unit 11d acquires information regarding the operating state of the semiconductor manufacturing apparatus 3 for the set of control data and observation data acquired in step S1 (step S7).
  • the information regarding the operating state of the semiconductor manufacturing apparatus 3 is whether or not there is an abnormality in the semiconductor manufacturing apparatus 3 in this embodiment.
  • a developer, administrator, or the like of the information processing system according to the present embodiment can determine whether or not there is an abnormality in the semiconductor manufacturing apparatus 3 based on the set of control data and observation data.
  • information regarding the operating state of the semiconductor manufacturing apparatus 3 can be obtained by a developer, administrator, or the like setting data "1" for abnormality and setting data "0" for no abnormality.
  • This work by a developer, administrator, etc. is a work called annotation.
  • the annotation work may be performed before the learning data generation process shown in this flowchart is performed, and the annotation work can be done simultaneously by receiving input from the developer or administrator during the learning data generation process. It may be carried out separately.
  • the machine learning processing unit 11d stores the parameters of the estimation model determined by the processing in steps S2 to S6 and the state of the semiconductor manufacturing equipment 3 acquired in step S7 as learning data in the learning data storage unit. 12d (step S8), and the process ends.
  • the process in the flowchart shown in FIG. 4 is a procedure for generating one piece of learning data, and the state detection device 1 can generate a plurality of pieces of learning data by repeatedly performing this process.
  • FIG. 5 is a schematic diagram for explaining an overview of the parameter determination process of the estimation model according to the present embodiment.
  • FIG. 5 shows a graph in which the horizontal axis is time t and the vertical axis is the value of control data x or observation data y.
  • the control data x input to the semiconductor manufacturing equipment 3 is shown by a thin solid line
  • the observation data output from the semiconductor manufacturing equipment 3 is shown by a thick solid line
  • the estimation model is calculated based on the control data x using the observed data y.
  • the estimated data is shown by the dashed line.
  • the illustrated graph shows control data x, observation data y, and estimated data regarding one operation of the semiconductor manufacturing apparatus 3.
  • the error between the observed data y and the estimated data at a certain point during one operation is indicated by a thin double-headed arrow.
  • the state detection device 1 acquires estimated data for each of the N pieces of control data x using an estimation model. , N pieces of guess data are obtained.
  • the state detection device 1 can obtain N error data by calculating the difference between two pieces of corresponding data regarding N observed data and N estimated data.
  • the state detection device 1 calculates the RMSE by calculating, for example, the square root of the squared average value of the N error data, and calculates the RMSE value as the error for the entire operation (step S4 of the flowchart in FIG. 4). (error calculated by ).
  • each of the control data and observation data may be a vector of two or more dimensions. Further, the dimensions of the control data and the dimensions of the observed data do not need to match.
  • the control data may be one-dimensional and the observation data may be three-dimensional.
  • the estimation model is a model that accepts one-dimensional values as input and outputs three-dimensional vectors.
  • the state detection device 1 accurately estimates the observed data of the operation of the semiconductor manufacturing device 3 relative to the control data by repeatedly updating the parameters of the non-integer order differential equation of the estimation model in a direction that reduces the calculated error.
  • the parameters of the estimated model can be obtained.
  • the state detection device 1 generates, as learning data, data in which the parameters of the estimated model obtained in this way are associated with information indicating the state of the semiconductor manufacturing device 3 based on the control data and observed data at this time. .
  • the state detection device 1 generates and accumulates as much learning data as possible, and performs machine learning processing using this learning data to generate a state detection model.
  • FIG. 6 is a flowchart illustrating an example of the procedure of the state detection model generation process performed by the state detection device 1 according to the present embodiment.
  • the machine learning processing unit 11d of the processing unit 11 of the state detection device 1 according to the present embodiment selects one learning data from among the plurality of learning data stored in the learning data storage unit 12d of the storage unit 12. Data is acquired (step S21).
  • the machine learning processing unit 11d inputs parameter data included in the learning data acquired in step S1 to the learning model (unlearned or in the middle of learning) (step S22).
  • the learning model is configured to output a numerical value or category corresponding to the state of the semiconductor manufacturing equipment 3 in response to parameter input, and the machine learning processing unit 11d acquires the output of the learning model in response to the input data in step S22.
  • Step S23 The machine learning processing unit 11d uses the numerical value, category, etc. corresponding to the state of the semiconductor manufacturing equipment 3 included in the learning data acquired in step S21, and the numerical value, category, etc. of the output of the learning model acquired in step S23.
  • the error (cross entropy error) is calculated (step S24).
  • the machine learning processing unit 11d updates the parameters of the learning model based on the error calculated in step S24 so that this error becomes smaller (step S25).
  • the machine learning processing unit 11d determines whether or not the processing of steps S21 to S25 has been completed for all learning data stored in the learning data storage unit 12d (step S26). If the processing has not been completed for all the learning data (S26: NO), the machine learning processing unit 11d returns the process to step S21, acquires another learning data, and performs the same process. When processing has been completed for all learning data (S26: YES), the machine learning processing unit 11d determines whether the last calculated error is smaller than a predetermined threshold (Step S27). If the error is larger than the threshold (S27: NO), the machine learning processing unit 11d returns the process to step S21 and performs the processes of steps S21 to S26 using the same learning data. If the error is smaller than the threshold (S27: YES), the machine learning processing unit 11d stores information on the learning model including the finally determined parameters in the model information storage unit 12c as information on the state detection model (step S28), the process ends.
  • the state detection device 1 controls the operation of the semiconductor manufacturing device 3, and uses a learned state detection model to determine the state of the semiconductor manufacturing device 3 (in this embodiment) regarding one completed operation. performs processing to detect the presence or absence of an abnormality.
  • the state detection process of the state detection device 1 is performed, for example, each time one operation of the semiconductor manufacturing device 3 is completed. Further, the state detection device 1 according to the present embodiment also performs state detection based on the goodness of fit of an estimation model whose parameters are determined based on the control data and observation data of the semiconductor manufacturing device 3.
  • FIG. 7 is a flowchart showing an example of the procedure of the state detection process performed by the state detection device 1 according to the present embodiment.
  • the control processing unit 11a of the processing unit 11 of the state detection device 1 according to the present embodiment controls the operation of the semiconductor manufacturing device 3 by transmitting control data.
  • the control processing unit 11a acquires observation data transmitted from the semiconductor manufacturing apparatus 3 as an operation result, and stores the control data and observation data in the history storage unit 12b.
  • the state detection unit 11c of the processing unit 11 acquires control data and observation data for one operation of the semiconductor manufacturing equipment 3 that operated immediately before from among these data stored in the history storage unit 12b (step S41).
  • the parameter determining unit 11b of the processing unit 11 inputs the control data acquired in step S41 to the estimation model of the non-integer order differential equation (step S42), and acquires the estimation data output by the estimation model (step S43). .
  • the parameter determining unit 11b calculates the error between the observed data acquired in step S41 and the estimated data acquired in step S43 (step S44).
  • the parameter determining unit 11b determines whether the error calculated in step S44 is smaller than a predetermined threshold (step S45). If the error is larger than the threshold (S45: NO), the parameter determination unit 11b updates the parameters of the estimation model so that the error becomes smaller (step S46), and returns the process to step S42.
  • the parameter determining unit 11b repeatedly updates the parameters by repeatedly performing the processes of steps S42 to S46, and when it is determined that the error is smaller than the threshold (S45: YES), the process moves to step S47. Note that the processing in steps S42 to S46 performed by the parameter determination unit 11b in this flowchart is the same as the processing in steps S2 to S6 performed by the parameter determination unit 11b in the flowchart shown in FIG.
  • the state detection unit 11c calculates the goodness of fit of the estimated model whose parameters have been determined through the processes of steps S42 to S46 (step S47). At this time, the state detection unit 11c inputs control data to the estimated model whose parameters have been determined, obtains estimated data, calculates the RMSE of the observed data and the estimated data, and uses the calculated RMSE as the goodness of fit. I can do it.
  • the state detection unit 11c inputs the parameters of the estimation model determined through the processing of steps S42 to S46 to the state detection model stored in advance in the model information storage unit 12c (step S48).
  • the state detection unit 11c acquires information regarding the state of the semiconductor manufacturing apparatus 3 output by the state detection model (step S49).
  • the information output by the state detection model is information indicating whether there is an abnormality in the operation of the semiconductor manufacturing apparatus 3.
  • the state detection unit 11c determines whether or not there is an abnormality in the operation of the semiconductor manufacturing apparatus 3 based on the conformity calculated in step S47 and the information acquired in step S48 (step S50). For example, if the RMSE calculated in step S47 exceeds a preset threshold, or if the information acquired from the state detection model in step S49 is "abnormal", the state detection unit 11c detects a It can be determined that there is an abnormality in the operation of No. 3. In addition, if the RMSE calculated as the fitness degree in step S47 does not exceed a preset threshold, and the information acquired from the state detection model in step S49 is "no abnormality", the state detection unit 11c It can be determined that there is no abnormality in the operation of the semiconductor manufacturing apparatus 3.
  • the state detection unit 11c ends the process. If there is an abnormality (S50: YES), the state detection unit 11c displays, for example, a warning message on the display unit 14 (step S51), and ends the process.
  • the state detection device 1 according to the present embodiment is not limited to the above-described configuration, and various modifications may be adopted. Some modifications of the state detection device 1 will be described below. However, the configuration of the state detection device 1 is not limited to the above-mentioned configuration and the configuration of the following modified example.
  • FIG. 8 is a schematic diagram showing an example of a state detection model included in the state detection device 1 according to the first modification.
  • the state detection model according to the first modification receives parameters of the estimation model as input, receives environmental information as input, and outputs information regarding the state of the semiconductor manufacturing apparatus 3.
  • the environmental information includes, for example, the operating mode of the semiconductor manufacturing equipment 3 (high speed mode, low speed mode, etc.), information regarding wafers handled by the semiconductor manufacturing equipment 3, or information regarding the environment around the semiconductor manufacturing equipment 3 (temperature, humidity, etc.). Information such as the following may be included.
  • the semiconductor manufacturing device 3 transmits this environmental information to the state detection device 1 along with the observation data.
  • the state detection device 1 stores this environmental information in the history storage unit 12b in association with the control data and observation data.
  • the learning data used for machine learning to generate the state detection model according to Modification 1 is data that associates the parameters and environment information of the estimation model with the state of the semiconductor manufacturing apparatus 3.
  • the state detection device 1 uses semiconductor parameters set by a developer, administrator, etc. for parameters determined from the control data and observation data stored in the history storage section 12b and environmental information stored in the history storage section 12b. Learning data is generated by associating information regarding the state of the manufacturing apparatus 3.
  • the state detection device 1 when detecting the state of the semiconductor manufacturing device 3, determines the parameters of the estimation model based on the control data input to the semiconductor manufacturing device 3 and the observed data acquired from the semiconductor manufacturing device 3. At the same time, by acquiring environmental information from the semiconductor manufacturing apparatus 3 and inputting the parameters and environmental information to the state detection model, information regarding the state of the semiconductor manufacturing apparatus 3 outputted by the state detection model is obtained.
  • the state detection device 1 according to the second modification updates the parameters of the estimation model not for all parameters but only for some parameters. That is, for example, when there are 10 parameters of the inference model, the state detection device 1 according to the second modification determines 7 parameters based on the control data and observation data, and determines the remaining 3 parameters based on the control data and observation data. uses a preset value. Fixed parameters that are not dynamically determined are set in advance by, for example, a developer of the information processing system according to this embodiment.
  • the state detection device 1 according to Modification 2 may prepare a plurality of fixed parameters according to the environmental information.
  • the state detection device 1 reads fixed parameters according to the environmental information acquired from the semiconductor manufacturing device 3 and uses them as part of the parameters of the estimation model, and determines the remaining parameters based on the control data and observation data.
  • Equation 3 Although a model of a non-integer order differential equation based on equation (1) is adopted as the estimation model according to the present embodiment, the estimation model is not based on equation (1), but a model based on various mathematical equations may be adopted. Some mathematical formulas that can be employed as estimation models are described below. Note that in the following formulas, ⁇ 1 ... ⁇ K and ⁇ 1 ... ⁇ k are coefficients, and ⁇ 1 ... ⁇ k and ⁇ 1 ... ⁇ K are orders of differentiation. K is an integer that determines the complexity of the model, and is a value determined in advance by the developer of the information processing system according to this embodiment. f and g are functions for preprocessing data using, for example, elementary functions, linear calculations, statistical processing, principal component analysis, or machine learning models. Parameters included in these functions can also be parameters of the estimation model.
  • x 0 and y 0 can also be parameters of the estimation model.
  • t 0 can also be a parameter of the estimation model.
  • a n , b n , x 0 and y 0 may be parameters of the estimation model, or may be predetermined constants.
  • A is a d 1- dimensional matrix
  • B is a d 2- dimensional matrix
  • y(t) and y 0 are d 1- dimensional vectors
  • x(t) and x 0 are d 2 dimensional It is a dimensional vector.
  • F and G are neural networks
  • a and B are weight parameters of the neural network. This weight parameter may be determined in advance by a method such as machine learning.
  • Modification 4 In the information processing system according to the present embodiment described above, each time the state of the semiconductor manufacturing device 3 is detected, the state detection device 1 updates the parameters of the estimation model based on the control data and observation data, and updates the parameters of the estimation model based on the updated parameters. However, this is not limited to this.
  • the state detection device 1 of the information processing system according to the fourth modification does not update the parameters of the estimation model each time the state of the semiconductor manufacturing device 3 is detected, but uses the estimation model whose parameters are determined in advance. The state of the semiconductor manufacturing equipment 3 is detected.
  • the state detection device 1 includes an estimation model whose parameters are determined in advance.
  • the state detection device 1 acquires control data and observation data regarding the semiconductor manufacturing device 3 that is the target of state detection, and inputs the acquired control data into an estimation model to obtain predicted data of the observation data.
  • the state detection device 1 can compare the observed data and the predicted data and determine that the state of the semiconductor manufacturing device 3 is abnormal, for example, when the difference between the observed data and the predicted data exceeds a threshold value.
  • parameters are determined based on, for example, control data and observation data acquired during past operation of the semiconductor manufacturing device 3 that is the target of state detection. Further, for example, the parameters of the estimated model may be determined based on control data and observation data acquired by another device having the same configuration as the semiconductor manufacturing device 3 that is the target of state detection.
  • control data (input data) input to the semiconductor manufacturing device (target device) 3 and observation data of the operation of the semiconductor manufacturing device 3 are processed by the state detection device 1.
  • the unit (first acquisition unit) 11a acquires the information.
  • a parameter determination unit (determination unit) 11b determines the parameters of an inference model that infers observation data from control data based on the acquired control data and observation data, and a state detection unit (detection unit) 11c determines the parameters of an inference model that infers observation data from control data. detects the state of the semiconductor manufacturing equipment 3.
  • the information processing system can be expected to realize more accurate state detection of the semiconductor manufacturing device 3 compared to a case where the state is detected only from input/output data to the semiconductor manufacturing device 3.
  • the distribution of input/output data is dispersed into multiple clusters (groups) or continuous ranges, and the state is determined to be abnormal or normal based on statistics etc. Difficult to perform detection.
  • the relationship between input and output data itself can be learned, so even if there are a plurality of operation modes, the system is not easily influenced by them.
  • the semiconductor manufacturing equipment 3 is equipped with a robot arm that moves three-dimensionally, and this robot arm grasps irregularly arranged objects and arranges them regularly in one place, the robot arm moves completely differently each time. Therefore, if input or output data that deviates from the previous statistics is obtained, it is possible to find out whether this is an abnormality in the robot arm or whether the robot arm situation is normal and the position or weight of the object has never been found before. It is generally difficult to determine whether the value is In the information processing system according to this embodiment, the friction of the joints of the robot arm is too large or It is expected that the system will be able to detect conditions such as when a motor is nearing the end of its lifespan.
  • a state detection model (learning model) is generated in advance by machine learning using learning data that associates the parameters of the estimation model with the state of the semiconductor manufacturing equipment 3.
  • the state detection model is a learning model that receives parameters of the estimation model as input and outputs the state of the semiconductor manufacturing apparatus 3.
  • the state detection device 1 includes a state detection model generated in advance, inputs parameters of an estimated model determined from control data and observation data to the state detection model, and obtains the state of the semiconductor manufacturing device 3 output by the state detection model. The state is detected by doing this.
  • the information processing system can be expected to estimate the state of the device from the variation in parameters even when the degree of adaptation does not change significantly and only the parameters vary.
  • the state detection unit (second acquisition unit, calculation unit) 11c of the state detection device 1 acquires inference data for control data for the inference model whose parameters have been determined, and obtains observation data and A goodness of fit (for example, RMSE) is calculated based on the estimated data.
  • the state detection unit 11c detects the state of the semiconductor manufacturing apparatus 3 based on the calculated degree of suitability.
  • a model of a non-integer order differential equation is used as the estimation model.
  • a non-integer order differential equation model can more accurately model the input/output characteristics of a target device, such as the semiconductor manufacturing equipment 3, than an integer order differential equation model. It can be expected that the state of the manufacturing apparatus 3 can be detected with high accuracy.
  • Non-integer order differential equations include normal integer order differential equations (ordinary differential equations, etc.) as a special case in which the order of differentiation is restricted to non-negative integers. The solution space is larger than that of integer-order differential equations, and the descriptive ability as a model is higher.
  • non-integer order differential equations have known results that have been used to analyze viscoelastic bodies, and can be expected to be superior to normal differential equation models in modeling friction in contact areas that include grease, etc. .
  • the state detection device 1 detects the state of the semiconductor manufacturing device 3 using two methods: state detection based on the parameters of the estimated model and state detection based on the goodness of fit of the estimated model.
  • state detection device 1 may be configured to perform state detection using any one method, or may be configured to perform state detection using three or more methods including methods different from these two methods.
  • the target device for which the state detection device 1 detects the state is the semiconductor manufacturing device 3, but the target device is not limited to this, and the target device can be any type of device different from the semiconductor manufacturing device 3. There may be.
  • the target device may be any of a variety of devices capable of performing some operation in response to input data and outputting the result of the operation as observation data.
  • the estimation model is a model of a non-integer order differential equation, but it is not limited to this.
  • the estimated model may be, for example, a model of an integer-order differential equation, a model of machine learning, or a model expressed by any other mathematical formula.
  • the operation of the target device for state detection is not very complex, it may be possible to obtain sufficient accuracy by using an integer-order differential equation model instead of a non-integer-order differential equation model. be.
  • the state detection device 1 is configured to perform state detection based on the parameters of the estimation model using a state detection model that has been subjected to machine learning in advance, but the present invention is not limited to this.
  • the state detection device 1 may determine the parameters of the estimated model based on control data and observation data, for example, and detect the state of the semiconductor manufacturing device 3 by comparing the determined parameters with a predetermined threshold.
  • the threshold value to be compared with the parameter can be determined in advance by, for example, the developer or administrator of the information processing system.
  • the state detection device 1 may store a history of the parameters of the determined estimation model, and detect the state of the semiconductor manufacturing device 3 based on changes in the values of the parameters over a certain period of time.
  • the state detection device 1 may detect whether or not one or more parameters include values that deviate from a predetermined range (so-called outliers), or detect outliers in a certain period of time.
  • the state of the semiconductor manufacturing apparatus 3 may be detected depending on the number of occurrences or the like. Any method may be employed to detect the state of the semiconductor manufacturing apparatus 3 based on the parameters of the estimated model.
  • 1 Status detection device (computer) 3 Semiconductor manufacturing equipment (target equipment) 11 Processing unit 11a Control processing unit (first acquisition unit) 11b Parameter determination unit (determination unit) 11c State detection unit (detection unit, second acquisition unit, calculation unit) 11d Machine learning processing unit 12 Storage unit 12a Program (computer program) 12b History storage unit 12c Model information storage unit 12d Learning data storage unit 13 Communication unit 14 Display unit 15 Operation unit 99 Recording medium

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

半導体製造装置等の対象装置の状態を精度よく検出することが期待できる状態検出装置、状態検出方法、学習モデルの生成方法及びコンピュータプログラムを提供する。　本実施の形態に係る状態検出装置は、対象装置への入力データ及び前記対象装置の動作の観測データを取得する第１取得部と、入力データから観測データを推測する推測モデルのパラメータを、前記第１取得部が取得した入力データ及び観測データに基づいて決定する決定部と、前記決定部が決定したパラメータに基づいて、前記対象装置の状態を検出する検出部とを備える。

Description

状態検出装置、状態検出方法、学習モデルの生成方法及びコンピュータプログラム
　本開示は、状態検出装置、状態検出方法、学習モデルの生成方法及びコンピュータプログラムに関する。
　特許文献１においては、産業機械に係るデータを取得し、取得した産業機械に係るデータに基づいて、該産業機械に係るデータの内の物理量の時系列データを時間軸方向にスライドさせた複数の部分的な時系列データを作成し、該複数の部分的な時系列データを含む複数の学習用のデータを抽出し、抽出した学習用データを用いた機械学習を行うことで学習モデルを生成する状態判定装置が提案されている。
特開２０２０－１２８０１３号公報
　本開示は、半導体製造装置等の対象装置の状態を精度よく検出することが期待できる状態検出装置、状態検出方法、学習モデルの生成方法及びコンピュータプログラムを提供する。
　本開示の一態様による状態検出装置は、対象装置への入力データ及び前記対象装置の動作の観測データを取得する第１取得部と、入力データから観測データを推測する推測モデルのパラメータを、前記第１取得部が取得した入力データ及び観測データに基づいて決定する決定部と、前記決定部が決定したパラメータに基づいて、前記対象装置の状態を検出する検出部とを備える。
　本開示によれば、半導体製造装置等の対象装置の状態を精度よく検出することが期待できる。
本実施の形態に係る情報処理システムの一例を説明するための模式図である。 本実施の形態に係る状態検出装置の一構成例を示すブロック図である。 本実施の形態に係る状態検出モデルの一例を示す模式図である。 本実施の形態に係る状態検出装置が行う学習用データ生成処理の手順の一例を示すフローチャートである。 本実施の形態に係る推測モデルのパラメータ決定処理の概要を説明するための模式図である。 本実施の形態に係る状態検出装置が行う状態検出モデル生成処理の手順の一例を示すフローチャートである。 本実施の形態に係る状態検出装置が行う状態検出処理の手順の一例を示すフローチャートである。 変形例１に係る状態検出装置が備える状態検出モデルの一例を示す模式図である。
　本開示の実施形態に係る情報処理システムの具体例を、以下に図面を参照しつつ説明する。なお、本開示はこれらの例示に限定されるものではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
＜システム概要＞
　図１は、本実施の形態に係る情報処理システムの一例を説明するための模式図である。本実施の形態に係る情報処理システムは、状態検出装置１及び半導体製造装置（対象装置）３を備えて構成されている。図示の半導体製造装置３は、半導体製造工程においてウェハを搬送するための装置である。半導体製造装置３は、例えばウェハを保持するフォークをモータ及びプーリ等の機構（図示は省略する）により移動させることによって、フォークが保持したウェハを搬送する。状態検出装置１は、半導体製造装置３の動作の状態を検出すると共に、検出した動作に応じて半導体製造装置３の動作を制御する装置である。
　状態検出装置１及び半導体製造装置３は、例えば通信線又は信号線等のケーブルを介して接続されている。状態検出装置１は、例えばフォークを移動させるモータを駆動するための制御データを半導体製造装置３へ入力する。制御データには、例えばモータの駆動量等の情報が含まれている。半導体製造装置３は、入力された制御データに応じてモータを駆動することによりフォークを移動させ、ウェハを搬送する。また半導体製造装置３は、ウェハの搬送動作を観測するための種々のセンサを備えている。半導体製造装置３は、制御データに応じた装置の動作に関する情報、例えば移動量、移動角度、速度又は加速度等をセンサにより検出して、検出したこれらの情報を含む観測データを状態検出装置１へ出力する。なお、観測データを得るためのセンサには、例えば画像（静止画像又は動画像）を撮影するカメラ、又は、音声を取得するマイク等を含み得る。観測データには、カメラが撮影した画像、又は、マイクが取得した音声等のデータを含み得る。
　状態検出装置１は、半導体製造装置３に対して入力した制御データと、この制御データに応じて動作を行った半導体製造装置３から出力される観測データとを取得し、制御データ及び観測データの組を半導体製造に関する履歴として記憶する。状態検出装置１は、半導体製造装置３の一動作が完了する都度、この一動作に関する制御データ及び観測データの時系列の情報を読み出し、これらの時系列の情報に基づいて半導体製造装置３の状態を検出する。半導体製造装置３の一動作は、例えばフォークがある地点から移動を開始して他の地点で停止するまで、フォークがウェハをある地点で保持してから他の地点で手放すまで、又は、フォークが移動を開始してから元の地点へ戻るまで、等の種々の動作単位が採用され得る。また状態検出装置１が検出する半導体製造装置３の状態は、本実施の形態においては異常あり及び異常なしの２状態とするが、これに限るものではない。半導体製造装置３の状態は、例えば異常なしから異常ありまでの異常の程度を５段階等で分類したものであってよく、また例えば異常あり及び異常なしの他にメンテナンス直後又は部品交換直後等の状態が含まれてもよい。
　また状態検出装置１が検出する半導体製造装置３の状態には、例えば異常の度合を示す数値が含まれ得る。異常の度合を示す数値には、例えば０．０から１．０までの範囲の小数又は０％から１００％までの百分率等が採用され得る。また異常の度合を示す数値には、例えば予測される故障までの期間、修理に要する期間、又は、修理に要する費用等の種々の数値が採用されてよい。また更に、検出する状態には、例えば「９０日以内に７０％以上の確率で故障する」などのように、複数の数値を組み合わせて表現される状態が含まれていてよい。
　また状態検出装置１が検出する半導体製造装置３の状態には、半導体製造装置３に異常が発生する可能性等の未来予測に関する状態のみでなく、過去にある事象が生じていたか又はある事象が生じていた確率等のように、過去の推定に関する状態が含まれ得る。過去の推定に関する状態には、例えば半導体製造装置３のメンテナンスが行われたか否か、メンテナンスが何日前に行われたかの推定日数、又は、１０日以内にメンテナンスが行われた可能性を推定した百分率の値等の種々のものが採用されてよい。また更に、検出する状態には、例えば「１０日以内に１０％以下の確率でメンテナンスがなされた」などのように、複数の数値を組み合わせて表現される状態が含まれていてよい。
　本実施の形態に係る状態検出装置１は、制御データ及び観測データの時系列情報に基づいて、半導体製造装置３の動作を推測する推測モデルのパラメータを決定する処理を行う。推測モデルは、制御データを入力しとして受け付けて、観測データを予測した予測データを出力するモデルであり、本実施の形態においては非整数階微分方程式のモデルが用いられる。なお非整数階微分方程式は、分数階微分方程式とも呼ばれ得るものである。非整数階微分方程式は既知の数学的概念（例えば、杉本信正著、「整数階でない微積分法について」、日本数学会、２０１７年２月発行、数学通信第２１巻第４号ｐ．５頁～２２頁を参照）であるため、詳細な説明は省略する。ただし推測モデルは、非整数階微分方程式のモデルに限らず、例えば整数階微分方程式のモデルであってよく、どのような方程式で表されるモデルであってもよい。
　状態検出装置１は、決定したパラメータの推測モデルへ制御データを入力し、推測モデルが出力する推測データを取得して元の観測データとの比較を行うことでモデルの適合度を算出する。本実施の形態において適合度には、ＲＭＳＥ（Root Mean Squared Error、二乗平均平方根誤差）が用いられるが、これに限るものではなく、適合度にはＲＭＳＥとは異なる指標が用いられてもよい。状態検出装置１は、例えば算出した適合度と予め定められた閾値とを比較し、比較結果に基づいて半導体製造装置３の状態を検出する。例えば状態検出装置１は、算出したＲＭＳＥが閾値を超える場合に、半導体製造装置３に異常ありと検出することができる。
　また本実施の形態に係る状態検出装置１は、決定した推測モデルのパラメータに基づいて半導体製造装置３の状態を検出する。本実施の形態に係る情報処理システムでは、推測モデルのパラメータを入力として受け付けて、半導体製造装置３の状態を分類する学習モデルが予め機械学習により生成される。状態検出装置１は、予め生成された学習モデルを備えており、決定した推測モデルのパラメータを学習モデルへ入力し、この学習モデルが出力する状態の分類結果を取得することにより、半導体製造装置３の状態を検出する。
　なお状態検出装置１が用いる学習モデルは、上記の適合度及びパラメータを入力として受け付けて、半導体製造装置３の状態を分類するよう機械学習がなされたものであってもよい。状態検出装置１は、推測モデルのパラメータを決定し、制御データを推測モデルへ入力して適合度を算出し、算出した適合度及び決定した推測モデルのパラメータを、予め機械学習がなされた学習モデルへ入力する。状態検出装置１は、学習モデルの出力情報を取得することにより、半導体製造装置３の状態を検出することができる。また更に学習モデルは、適合度及びパラメータとは異なる情報を更に入力として受け付けて、半導体製造装置３の状態を分類するよう機械学習がなされたものであってよい。
　状態検出装置１は、半導体製造装置３の状態に異常ありと検出した場合、例えば半導体製造装置３の動作を停止させ、液晶ディスプレイ等の表示部に警告メッセージ等を表示する。
　なお本実施の形態においては、状態検出装置１が状態を検出する対象装置を、ウェハを搬送する半導体製造装置３とするが、これに限るものではない。状態検出の対象装置は、どのような半導体製造装置であってもよく、半導体製造装置以外の装置であってもよい。
＜装置構成＞
　図２は、本実施の形態に係る状態検出装置１の一構成例を示すブロック図である。本実施の形態に係る状態検出装置１は、処理部１１、記憶部（ストレージ）１２、通信部（トランシーバ）１３、表示部１４及び操作部１５等を備えて構成されている。なお本実施の形態においては、１つの状態検出装置１にて処理が行われるものとして説明を行うが、状態検出装置１の処理を複数の装置が分散して行ってもよい。
　処理部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）又は量子プロセッサ等の演算処理装置、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を用いて構成されている。処理部１１は、記憶部１２に記憶されたプログラム１２ａを読み出して実行することにより、半導体製造装置３の動作を制御する処理及び半導体製造装置３の状態を検出する処理等の種々の処理を行う。
　記憶部１２は、例えばハードディスク等の大容量の記憶装置を用いて構成されている。記憶部１２は、処理部１１が実行する各種のプログラム、及び、処理部１１の処理に必要な各種のデータを記憶する。本実施の形態において記憶部１２は、処理部１１が実行するプログラム１２ａを記憶する。また記憶部１２には、制御データ及び観測データの履歴を記憶する履歴記憶部１２ｂ、半導体製造装置３の状態を分類する学習モデルに関する情報を記憶するモデル情報記憶部１２ｃ、及び、この学習モデルを生成するための機械学習に用いる学習用データを記憶する学習用データ記憶部１２ｄが設けられている。
　本実施の形態においてプログラム（コンピュータプログラム、プログラム製品）１２ａは、メモリカード又は光ディスク等の記録媒体９９に記録された態様で提供され、状態検出装置１は記録媒体９９からプログラム１２ａを読み出して記憶部１２に記憶する。ただし、プログラム１２ａは、例えば状態検出装置１の製造段階において記憶部１２に書き込まれてもよい。また例えばプログラム１２ａは、遠隔のサーバ装置等が配信するものを状態検出装置１が通信にて取得してもよい。例えばプログラム１２ａは、記録媒体９９に記録されたものを書込装置が読み出して状態検出装置１の記憶部１２に書き込んでもよい。プログラム１２ａは、ネットワークを介した配信の態様で提供されてもよく、記録媒体９９に記録された態様で提供されてもよい。
　記憶部１２の履歴記憶部１２ｂは、状態検出装置１が半導体製造装置３へ入力した制御データと、この制御データに応じて半導体製造装置３が出力した観測データとを対応付けた情報を、時系列に記憶して蓄積する。履歴記憶部１２ｂは、少なくとも半導体製造装置３による一動作の間、即ち状態検出装置１が半導体製造装置３の状態を検出するために必要なデータが揃うまでの間、取得した制御データ及び観測データの時系列情報を保持している。状態検出装置１が一動作分の時系列情報に基づいて半導体製造装置３の状態検出を行った後、履歴記憶部１２ｂは制御データ及び観測データの時系列情報を破棄してもよく、保持し続けてもよい。
　モデル情報記憶部１２ｃは、状態検出装置１が半導体製造装置３の状態検出に用いるモデルに関する情報を記憶する。モデルに関する情報には、例えばモデルがどのような構成であるかを示す構成情報、及び、モデルの内部のパラメータの値等の情報が含まれ得る。本実施の形態に係る状態検出装置１は、２つのモデルを用いて状態検出を行う。第１のモデルは、制御データの入力を受け付けて、観測データを予測した予測データを出力する非整数階微分方程式のモデルである。第１のモデルのパラメータは、状態検出装置１が半導体製造装置３の状態検出を行う都度に決定される。この第１の学習モデルを、以下では「推測モデル」という。
　第２のモデルは、第１のモデル（推測モデル）のパラメータを入力として受け付けて、半導体製造装置３の状態を分類する学習モデルである。第２のモデルは、予め機械学習がなされてパラメータが決定された学習済みのモデルであり、例えばＳＶＭ（Support Vector Machine）、決定木、ランダムフォレスト又はＤＮＮ（Deep Neural Network）等の種々の構成の学習モデルが採用され得る。本実施の形態において状態検出装置１は、例えば本情報処理システムの開発者又は運営者等により予め用意された学習用データを用いて機械学習の処理を行うことによって学習モデルを予め生成する。状態検出装置１は、予め生成した学習モデルのパラメータ等の情報をモデル情報記憶部１２ｃに記憶する。ただし、状態検出装置１は機械学習の処理を行わず、他の装置が生成した学習済みの学習モデルを取得し、取得した学習モデルをモデル情報記憶部１２ｃに記憶して使用してもよい。以下では第２の学習モデルを「状態検出モデル」という。
　学習用データ記憶部１２ｄは、状態検出モデルを生成する機械学習に用いる学習用データを記憶する。本実施の形態において学習用データは、推測モデルのパラメータと、半導体製造装置３の状態を示す値とを対応付けたデータである。学習用データは、いわゆる教師ありの機械学習に用いられる教師データと呼ばれ得るデータである。学習用データは、例えば半導体製造装置３を動作させて制御データ及び観測データの収集を行うことで予め生成される。本実施の形態に係る情報処理システムの開発者又は運営者等は、収集された制御データ及び観測データに対して、半導体製造装置３の状態を示す値を付与する作業、いわゆるアノテーションの作業を行う。状態検出装置１は、制御データ及び観測データと半導体製造装置３の状態を示す値とが対応付けられたデータを取得し、制御データ及び観測データに対応する推測モデルのパラメータを決定する。状態検出装置１は、制御データ及び観測データに対応付けられた半導体製造装置３の状態を示す値を決定したパラメータに対応付けることで学習用データを生成することができる。
　状態検出装置１の通信部１３は、通信線又は信号線等のケーブルを介して半導体製造装置３に接続され、このケーブルを介して半導体製造装置３との間でデータの送受信を行う。本実施の形態において通信部１３は、処理部１１から与えられた制御データを半導体製造装置３へ送信する。また通信部１３は、半導体製造装置３から送信される観測データを受信して、受信した観測データを処理部１１へ与える。
　表示部１４は、液晶ディスプレイ等を用いて構成されており、処理部１１の処理に基づいて種々の画像及び文字等を表示する。本実施の形態において表示部１４は、例えば半導体製造装置３の動作状態に関する種々の情報を表示すると共に、半導体製造装置３の動作状態に異常が検出された場合に警告メッセージ等の表示を行う。
　操作部１５は、ユーザの操作を受け付け、受け付けた操作を処理部１１へ通知する。例えば操作部１５は、機械式のボタン又は表示部１４の表面に設けられたタッチパネル等の入力デバイスによりユーザの操作を受け付ける。また例えば操作部１５は、マウス及びキーボード等の入力デバイスであってよく、これらの入力デバイスは状態検出装置１に対して取り外すことが可能な構成であってもよい。
　なお記憶部１２は、状態検出装置１に接続された外部記憶装置であってよい。また状態検出装置１は、複数のコンピュータを含んで構成されるマルチコンピュータであってよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。また状態検出装置１は、上記の構成に限定されず、例えば表示部１４及び操作部１５等を備えていなくてもよい。
　また本実施の形態に係る状態検出装置１には、記憶部１２に記憶されたプログラム１２ａを処理部１１が読み出して実行することにより、制御処理部１１ａ、パラメータ決定部１１ｂ、状態検出部１１ｃ及び機械学習処理部１１ｄ等が、ソフトウェア的な機能部として処理部１１に実現される。
　制御処理部１１ａは、予め定められた半導体の製造手順に従って、制御データの生成及び半導体製造装置３への送信等を行うことにより、半導体製造装置３の動作を制御する処理を行う。例えば制御処理部１１ａは、半導体製造装置３のモータを駆動する命令及びその駆動量の情報を含む制御データを半導体製造装置３へ送信することにより、半導体製造装置３のモータを駆動してウェハを保持したフォークを移動させ、ウェハを搬送する。また制御処理部１１ａは、制御データに対する応答として半導体製造装置３から送信される観測データを取得し、制御データ及び観測データを対応付けて記憶部１２の履歴記憶部１２ｂに記憶する。制御処理部１１ａは、制御データの送信及び観測データの取得を繰り返し行い、制御データ及び観測データの組の時系列情報を履歴記憶部１２ｂに蓄積する。
　パラメータ決定部１１ｂは、制御処理部１１ａの制御による半導体製造装置３の一動作が完了した場合に、履歴記憶部１２ｂからこの一動作に係る制御データ及び観測データを読み出す。パラメータ決定部１１ｂは、この制御データを基に観測データを予測する予測モデルのパラメータを決定する処理を行う。本実施の形態において予測モデルは、以下の（１）式で表される非整数階微分方程式で表されるモデルである。
Figure JPOXMLDOC01-appb-M000001
　なお（１）式において、ｘ(ｔ)は推測モデルへ入力される時系列の入力データ（制御データ）であり、ｙ(ｔ)は入力された制御データに応じた時系列の観測データである。また（１）式において、μk 及びｘ0 は係数であり、νk は微分の階数である。μk ，νk 及びｘ0 は、パラメータ決定部１１ｂが決定するパラメータである。また（１）式においてＫは、非整数階微分方程式の項数を決定する定数であり、半導体製造装置３の特性などに基づいて本実施の形態に係る情報処理システムの開発者等により予め決定される値である。
　パラメータ決定部１１ｂは、パラメータの初期値が適宜に定められた非整数階微分方程式の推測モデルへ時系列の制御データを順に入力し、推測モデルが出力する時系列の推測データを順に取得する。パラメータ決定部１１ｂは、制御データに対応する観測データと推測モデルが推測した推測データとを比較して誤差を算出し、算出した誤差に基づく差分法により推測モデルのパラメータを決定する。パラメータ決定部１１ｂは、例えば誤差に基づいて各パラメータに関する勾配を算出し、算出した勾配を基に最急降下法、準ニュートン法又はＳＧＤ（Stochastic Gradient Descent、確率的勾配降下法）等の手法を用いることで、推測モデルのパラメータを決定することができる。なお推測モデルのパラメータの決定方法は、既存の技術であるため、詳細な説明を省略する。
　パラメータ決定部１１ｂは、決定したパラメータによる推測モデルへ制御データを再び入力して推測データを取得し、推測データと観測データとの誤差の算出を再び行って、算出した誤差と予め設定された閾値との比較を行う。パラメータ決定部１１ｂは、算出した誤差が閾値より大きい場合、この誤差に基づいてパラメータを更新する。パラメータ決定部１１ｂは、誤差の算出及びパラメータの更新を繰り返し行い、算出した誤差が閾値より小さくなった場合に、その際のパラメータを最終的に推測モデルのパラメータと決定する。
　状態検出部１１ｃは、本実施の形態において２つの方法を用いて半導体製造装置３の状態を検出する。第１の方法では、状態検出部１１ｃは、パラメータ決定部１１ｂが決定したパラメータが設定された推測モデルと、パラメータの決定に用いた制御データ及び観測データとを用いて、推測モデルの適合度を算出する。本実施の形態において状態検出部１１ｃは、制御データを推測モデルへ入力して予測データを取得し、観測データと予測データとのＲＭＳＥを適合度として算出する。なお本実施の形態においてはＲＭＳＥを適合度とするため、適合度の値が小さいほど推測モデルが適合していることを示す。適合度にはＲＭＳＥの逆数を用いてもよく、この場合には適合度の値が大きいほど推測モデルが適合していることを示す。状態検出部１１ｃは、算出したＲＭＳＥと予め定められた閾値との比較に基づいて、半導体製造装置３の状態を検出する。なおパラメータ決定部１１ｂがパラメータを決定する際に誤差としてＲＭＳＥを算出している場合、状態検出部１１ｃはＲＭＳＥを改めて算出する必要はなく、パラメータ決定部１１ｂが算出したＲＭＳＥを取得して閾値との比較を行ってよい。状態検出部１１ｃは、例えばＲＭＳＥが閾値を超える場合に半導体製造装置３の状態が異常ありであると検出し、ＲＭＳＥが閾値を超えない場合に異常なしであると検出することができる。
　第２の方法では、状態検出部１１ｃは、パラメータ決定部１１ｂが決定したパラメータと、モデル情報記憶部１２ｃに記憶された状態検出モデルとを用いて、半導体製造装置３の状態を検出する。図３は、本実施の形態に係る状態検出モデルの一例を示す模式図である。本実施の形態に係る状態検出モデルは、推測モデルのパラメータを入力として受け付けて、半導体製造装置３の状態を分類した分類結果を出力する分類モデルである。本例において推測モデルは、入力データとして（１）式に示されたμ0 ，…，μK ，ν1 ，…，νK ，ｘ0 のパラメータを入力として受け付けて、半導体製造装置３の状態が「異常あり」又は「異常なし」のいずれであるかを分類する。状態検出装置１は、いわゆる教師ありの機械学習の処理を予め行うことによって状態検出モデルを生成し、生成した状態検出モデルに関する情報を記憶部１２のモデル情報記憶部１２ｃに記憶している。
　状態検出部１１ｃは、パラメータ決定部１１ｂが決定した推測モデルのパラメータを状態検出モデルへ入力し、状態検出モデルが出力する半導体製造装置３の状態に関する情報を取得する。状態検出モデルは、例えば「異常あり」及び「異常なし」の２つの状態に対応した２つの数値（確信度、尤度など）を出力し、状態検出部１１ｃは２つの数値のうち大きいものに対応する状態を、半導体製造装置３の状態とすることができる。
　また状態検出モデルの出力は、半導体製造装置３の複数の状態に対して付されたカテゴリであってもよい。例えば、半導体製造装置３の状態として故障、メンテナンス及び正常の３種類の状態（カテゴリ）が存在する場合、故障に対して“Ｔ”を割り当て、メンテナンスに対して“Ｍ”を割り当て、正常に対して“Ｒ”を割り当てたものをカテゴリとすることができる。なお本例ではカテゴリを例えば“Ｔ”、“Ｍ”、“Ｒ”等の文字で表しているが、これに限るものではなく、カテゴリを例えば“０”、“１”、“２”等の数値で表してもよい。状態検出モデルは、これらのカテゴリを予測するように、予め機械学習がなされる。
　また状態検出モデルの出力は、半導体製造装置３の状態に関する所定範囲の数値であってもよい。例えば、半導体製造装置３が故障している確率、メンテナンスが行われた確率、所定期間内に故障が発生する確率、故障までの日数、メンテナンスが行われてからの経過日数等の種々の数値が状態検出モデルの出力となり得る。
　状態検出部１１ｃは、上記の第１の方法及び第２の方法により半導体製造装置３の状態検出を行い、少なくともいずれかの方法にて半導体製造装置３の状態に異常ありとの検出結果が得られた場合に、最終的に半導体製造装置３の状態に異常があると検出する。状態検出部１１ｃは、第１の方法及び第２の方法の両方で異常なしとの検出結果が得られた場合に、最終的に半導体製造装置３の状態に異常がないと検出する。状態検出部１１ｃは、半導体製造装置３の状態に異常ありと検出した場合、例えば表示部１４に警告メッセージ等を表示すると共に、半導体製造装置３の動作を停止させる等の処理を行う。
　なお状態検出部１１ｃは、上記のように適合度（ＲＭＳＥ）及びパラメータに対して個別に状態検出（異常有無の検出）を行うのではなく、適合度及びパラメータを併せて用いて状態検出を行ってもよい。例えば状態検出部１１ｃは、適合度及びパラメータを入力として受け付けて、半導体製造装置３の状態を分類するよう予め機械学習がなされた学習モデルを用いることができる。
　機械学習処理部１１ｄは、半導体製造装置３の状態検出を行う前に、記憶部１２の学習用データ記憶部１２ｄに記憶された学習用データを用いて機械学習の処理を行うことにより、状態検出モデルを生成する処理を行う。学習用データ記憶部１２ｄに記憶された学習用データは、推測モデルのパラメータと半導体製造装置３の状態とを対応付けたデータである。機械学習処理部１１ｄは、この学習用データを用いていわゆる教師ありの機械学習の処理を行うことで状態検出モデルを生成する。教師ありの機械学習の処理は既存の技術であるため、本実施の形態においては、詳細な説明を省略する。機械学習処理部１１ｄは、機械学習により生成した状態検出モデルに関する情報を、モデル情報記憶部１２ｃに記憶する。
＜状態検出モデルの生成処理＞
　本実施の形態に係る情報処理システムでは、半導体製造装置３の状態検出を状態検出装置１が実施するのに先立って、状態検出モデルを機械学習により生成するための学習用データを収集及び生成する処理が行われる。また情報処理システムでは、この学習用データを用いた機械学習により状態検出モデルを生成する処理が予め行われる。本実施の形態においては、これらの状態検出モデルの生成に関する処理を状態検出装置１が行うものとして説明するが、これに限るものではなく、これらの処理は状態検出装置１以外の装置にて行われてもよい。
　図４は、本実施の形態に係る状態検出装置１が行う学習用データ生成処理の手順の一例を示すフローチャートである。本実施の形態に係る状態検出装置１の処理部１１は、半導体製造装置３の稼働に伴って制御データ及び観測データを履歴記憶部１２ｂに記憶して蓄積している。処理部１１の機械学習処理部１１ｄは、履歴記憶部１２ｂに記憶されたこれらのデータの中から、半導体製造装置３の一動作分の制御データ及び観測データを適宜に取得する（ステップＳ１）。
　処理部１１のパラメータ決定部１１ｂは、ステップＳ１にて取得した制御データを、非整数階微分方程式の推測モデルへ入力し（ステップＳ２）、推測モデルが出力する推測データを取得する（ステップＳ３）。パラメータ決定部１１ｂは、ステップＳ１にて取得した観測データ、及び、ステップＳ３にて取得した推測データの誤差を算出する（ステップＳ４）。パラメータ決定部１１ｂは、ステップＳ４にて算出した誤差が所定の閾値より小さいか否かを判定する（ステップＳ５）。誤差が閾値より大きい場合（Ｓ５：ＮＯ）、パラメータ決定部１１ｂは、推測モデルのパラメータを誤差が小さくなるよう更新し（ステップＳ６）、ステップＳ２へ処理を戻す。パラメータ決定部１１ｂは、ステップＳ２～Ｓ６の処理を繰り返し行うことでパラメータの更新を繰り返し行い、誤差が閾値より小さいと判定した場合（Ｓ５：ＹＥＳ）、ステップＳ７へ処理を移行させる。
　機械学習処理部１１ｄは、ステップＳ１にて取得した制御データ及び観測データの組に対する、半導体製造装置３の動作の状態に関する情報を取得する（ステップＳ７）。ここで、半導体製造装置３の動作の状態に関する情報は、本実施の形態においては半導体製造装置３の異常の有無である。本実施の形態に係る情報処理システムの開発者又は管理者等は、制御データ及び観測データの組に対して半導体製造装置３の異常の有無を判断することができる。例えば、開発者又は管理者等が異常ありにデータ”１”を設定し、異常なしにデータ”０”を設定したものを、半導体製造装置３の動作の状態に関する情報とすることができる。開発者又は管理者等によるこの作業は、いわゆるアノテーションと呼ばれる作業である。本フローチャートに示した学習用データ生成処理が実施される前にアノテーションの作業が行われてもよく、学習用データ生成処理の過程で開発者又は管理者等から入力を受け付けてアノテーションの作業を同時的に実施してもよい。
　機械学習処理部１１ｄは、ステップＳ２～Ｓ６の処理により決定した推測モデルのパラメータと、ステップＳ７にて取得した半導体製造装置３の状態とを対応付けたものを学習用データとして学習用データ記憶部１２ｄに記憶し（ステップＳ８）、処理を終了する。なお図４に示したフローチャートの処理は、１つの学習用データを生成する手順であり、状態検出装置１は、この処理を繰り返して行うことにより、複数の学習用データを生成することができる。
　図５は、本実施の形態に係る推測モデルのパラメータ決定処理の概要を説明するための模式図である。図５には、横軸を時刻ｔとし、縦軸を制御データｘ又は観測データｙの値としたグラフが示されている。図５においては、半導体製造装置３へ入力した制御データｘが細実線で示され、半導体製造装置３が出力した観測データが太実線で示され、制御データｘに基づいて推測モデルが観測データｙを推測した推測データが破線で示されている。図示のグラフは、半導体製造装置３の一動作について、制御データｘ、観測データｙ及び推測データを示したものである。また、一動作中のある時点における観測データｙ及び推測データの誤差を細線両矢印で示している。
　状態検出装置１は、半導体製造装置３の一動作につき制御データｘ及び観測データｙの組がＮ個存在する場合、Ｎ個の制御データｘについて推測モデルを用いてそれぞれ推測データを取得することで、Ｎ個の推測データを取得する。状態検出装置１は、Ｎ個の観測データとＮ個の推測データとについて対応する２つのデータの差分を算出することで、Ｎ個の誤差のデータを取得することができる。状態検出装置１は、Ｎ個の誤差のデータについて例えば二乗した平均値の平方根を算出することでＲＭＳＥを算出し、このＲＭＳＥの値を一動作の全体についての誤差（図４のフローチャートのステップＳ４にて算出する誤差）とすることができる。
　なお本例では、１次元の制御データｘ及び１次元の観測データｙの場合を例に説明しているが、制御データ及び観測データはそれぞれ２次元以上のベクトルであってよい。また制御データの次元と、観測データの次元とは一致する必要はない。例えば制御データが１次元、観測データが３次元であってもよく、この場合に推測モデルは１次元の値を入力として受け付けて、３次元のベクトルを出力するモデルとなる。
　状態検出装置１は、算出した誤差が小さくなる方向へ、推測モデルの非整数階微分方程式のパラメータを更新することを繰り返すことで、制御データに対する半導体製造装置３の動作の観測データを精度よく推測する推測モデルのパラメータを得ることができる。状態検出装置１は、このようにして得られる推測モデルのパラメータと、このときの制御データ及び観測データに基づく半導体製造装置３の状態を示す情報とを対応付けたデータを学習用データとして生成する。状態検出装置１は、できるだけ多くの学習用データを生成して蓄積し、この学習用データを用いた機械学習の処理を行うことで、状態検出モデルを生成する。
　図６は、本実施の形態に係る状態検出装置１が行う状態検出モデル生成処理の手順の一例を示すフローチャートである。本実施の形態に係る状態検出装置１の処理部１１の機械学習処理部１１ｄは、記憶部１２の学習用データ記憶部１２ｄに記憶された複数の学習用データの中から適宜に１つの学習用データを取得する（ステップＳ２１）。機械学習処理部１１ｄは、ステップＳ１にて取得した学習用データに含まれるパラメータのデータを、（未学習の又は学習途中の）学習モデルへ入力する（ステップＳ２２）。学習モデルはパラメータの入力に対して半導体製造装置３の状態に対応する数値又はカテゴリ等を出力する構成であり、機械学習処理部１１ｄは、ステップＳ２２にて入力したデータに対する学習モデルの出力を取得する（ステップＳ２３）。機械学習処理部１１ｄは、ステップＳ２１にて取得した学習用データに含まれる半導体製造装置３の状態に対応する数値又はカテゴリ等と、ステップＳ２３にて取得した学習モデルが出力の数値又はカテゴリ等との誤差（交差エントロピー誤差）を算出する（ステップＳ２４）。機械学習処理部１１ｄは、ステップＳ２４にて算出した誤差に基づいて、この誤差が小さくなるよう学習モデルのパラメータを更新する（ステップＳ２５）。
　機械学習処理部１１ｄは、学習用データ記憶部１２ｄに記憶された全ての学習用データについてステップＳ２１～Ｓ２５の処理を終了したか否かを判定する（ステップＳ２６）。全ての学習用データについて処理を終了していない場合（Ｓ２６：ＮＯ）、機械学習処理部１１ｄは、ステップＳ２１へ処理を戻し、別の学習用データを取得して同様の処理を行う。全ての学習用データについて処理を終了した場合（Ｓ２６：ＹＥＳ）、機械学習処理部１１ｄは、最後に算出した誤差が予め定められた閾値より小さいか否かを判定する（ステップＳ２７）。誤差が閾値より大きい場合（Ｓ２７：ＮＯ）、機械学習処理部１１ｄは、ステップＳ２１へ処理を戻し、同じ学習用データを用いてステップＳ２１～Ｓ２６の処理を行う。誤差が閾値より小さい場合（Ｓ２７：ＹＥＳ）、機械学習処理部１１ｄは、最終的に決定されたパラメータを含む学習モデルの情報を、状態検出モデルの情報としてモデル情報記憶部１２ｃに記憶し（ステップＳ２８）、処理を終了する。
＜状態検出処理＞
　本実施の形態に係る状態検出装置１は、半導体製造装置３の動作を制御すると共に、学習済みの状態検出モデルを用いて、完了した一動作について半導体製造装置３の状態（本実施の形態においては異常の有無）を検出する処理を行う。状態検出装置１の状態検出の処理は、例えば半導体製造装置３の一動作が完了する都度に行われる。また本実施の形態に係る状態検出装置１は、半導体製造装置３の制御データ及び観測データに基づいてパラメータを決定した推定モデルの適合度に基づく状態検出を合わせて行う。
　図７は、本実施の形態に係る状態検出装置１が行う状態検出処理の手順の一例を示すフローチャートである。本実施の形態に係る状態検出装置１の処理部１１の制御処理部１１ａは、半導体製造装置３に対して制御データを送信することで動作を制御する。制御処理部１１ａは、動作結果として半導体製造装置３から送信される観測データを取得し、制御データ及び観測データを履歴記憶部１２ｂに記憶している。処理部１１の状態検出部１１ｃは、履歴記憶部１２ｂに記憶されたこれらのデータの中から、直前に動作を行った半導体製造装置３の一動作分の制御データ及び観測データを取得する（ステップＳ４１）。
　処理部１１のパラメータ決定部１１ｂは、ステップＳ４１にて取得した制御データを、非整数階微分方程式の推測モデルへ入力し（ステップＳ４２）、推測モデルが出力する推測データを取得する（ステップＳ４３）。パラメータ決定部１１ｂは、ステップＳ４１にて取得した観測データ、及び、ステップＳ４３にて取得した推測データの誤差を算出する（ステップＳ４４）。パラメータ決定部１１ｂは、ステップＳ４４にて算出した誤差が所定の閾値より小さいか否かを判定する（ステップＳ４５）。誤差が閾値より大きい場合（Ｓ４５：ＮＯ）、パラメータ決定部１１ｂは、推測モデルのパラメータを誤差が小さくなるよう更新し（ステップＳ４６）、ステップＳ４２へ処理を戻す。パラメータ決定部１１ｂは、ステップＳ４２～Ｓ４６の処理を繰り返し行うことでパラメータの更新を繰り返し行い、誤差が閾値より小さいと判定した場合（Ｓ４５：ＹＥＳ）、ステップＳ４７へ処理を移行させる。なお本フローチャートにおいてパラメータ決定部１１ｂが行うステップＳ４２～Ｓ４６の処理は、図４に示したフローチャートにおいてパラメータ決定部１１ｂが行うステップＳ２～Ｓ６の処理と同じである。
　状態検出部１１ｃは、ステップＳ４２～Ｓ４６の処理によりパラメータを決定した推測モデルについて適合度を算出する（ステップＳ４７）。このときに状態検出部１１ｃは、パラメータを決定した推定モデルに対して制御データを入力して推測データを取得し、観測データ及び推測データのＲＭＳＥを算出し、算出したＲＭＳＥを適合度とすることができる。
　また状態検出部１１ｃは、ステップＳ４２～Ｓ４６の処理により決定した推測モデルのパラメータを、モデル情報記憶部１２ｃに予め記憶された状態検出モデルへ入力する（ステップＳ４８）。状態検出部１１ｃは、状態検出モデルが出力する半導体製造装置３の状態に関する情報を取得する（ステップＳ４９）。本実施の形態において状態検出モデルが出力する情報は、半導体製造装置３の動作について異常の有無を示す情報である。
　状態検出部１１ｃは、ステップＳ４７にて算出した適合度及びステップＳ４８にて取得した情報を基に、半導体製造装置３の動作に異常があるか否かを判定する（ステップＳ５０）。例えば状態検出部１１ｃは、ステップＳ４７にて算出したＲＭＳＥが予め設定された閾値を超える場合、又は、ステップＳ４９にて状態検出モデルから取得した情報が「異常あり」である場合に、半導体製造装置３の動作に異常があると判定することができる。また状態検出部１１ｃは、ステップＳ４７にて適合度として算出したＲＭＳＥが予め設定された閾値を超えず、且つ、ステップＳ４９にて状態検出モデルから取得した情報が「異常なし」である場合に、半導体製造装置３の動作に異常がないと判定することができる。半導体製造装置３の動作に異常がない場合（Ｓ５０：ＮＯ）、状態検出部１１ｃは、処理を終了する。異常がある場合（Ｓ５０：ＹＥＳ）、状態検出部１１ｃは、例えば表示部１４に警告メッセージ等を表示して（ステップＳ５１）、処理を終了する。
＜変形例＞
　本実施の形態に係る状態検出装置１は、上述の構成に限られず、様々な変形例が採用され得る。以下に、状態検出装置１の変形例をいくつか説明する。ただし状態検出装置１の構成は、上述の構成及び以下の変形例の構成に限定されるものではない。
　（変形例１）
　図８は、変形例１に係る状態検出装置１が備える状態検出モデルの一例を示す模式図である。変形例１に係る状態検出モデルは、推測モデルのパラメータを入力として受け付けると共に、環境情報を入力として受け付けて、半導体製造装置３の状態に関する情報を出力する。環境情報には、例えば半導体製造装置３の動作モード（高速モード又は低速モード等）、半導体製造装置３が扱うウェハに関する情報、又は、半導体製造装置３の周囲の環境に関する情報（温度又は湿度等）等の情報が含まれ得る。半導体製造装置３は、観測データと共にこれらの環境情報を状態検出装置１に対して送信する。状態検出装置１は、制御データ及び観測データに対応付けて、これらの環境情報を履歴記憶部１２ｂに記憶する。
　変形例１に係る状態検出モデルを生成する機械学習に用いる学習用データは、推測モデルのパラメータ及び環境情報と、半導体製造装置３の状態とを対応付けたデータとなる。状態検出装置１は、履歴記憶部１２ｂに記憶された制御データ及び観測データから決定したパラメータと、履歴記憶部１２ｂに記憶された環境情報とに対して、開発者又は管理者等が設定した半導体製造装置３の状態に関する情報を対応付けることで学習用データを生成する。
　また変形例１に係る状態検出装置１は、半導体製造装置３の状態検出を行う場合、半導体製造装置３へ入力した制御データ及び半導体製造装置３から取得した観測データに基づいて推測モデルのパラメータを決定すると共に、半導体製造装置３から環境情報を取得し、パラメータ及び環境情報を状態検出モデルへ入力することで、状態検出モデルが出力する半導体製造装置３の状態に関する情報を取得する。
　（変形例２）
　変形例２に係る状態検出装置１は、推測モデルのパラメータの更新を、全パラメータを対象に行うのではなく、一部のパラメータのみについて行う。即ち、変形例２に係る状態検出装置１は、例えば推論モデルのパラメータが１０個存在する場合に、７個のパラメータについては制御データ及び観測データに基づいて決定し、残りの３個のパラメータについては予め設定された値を用いる。動的に決定されない固定のパラメータは、例えば本実施の形態に係る情報処理システムの開発者等により予め設定される。
　また変形例２に係る状態検出装置１は、変形例１にて説明した環境情報を用いる場合に、環境情報に応じた複数の固定パラメータを用意しておいてもよい。状態検出装置１は、半導体製造装置３から取得した環境情報に応じた固定パラメータを読み出して推定モデルのパラメータの一部とし、残りのパラメータを制御データ及び観測データに基づいて決定する。
　（変形例３）
　本実施の形態に係る推測モデルとして（１）式による非整数階微分方程式のモデルを採用しているが、推測モデルは（１）式によるものでなく、種々の数式によるモデルが採用され得る。推測モデルとして採用され得るいくつかの数式を以下に記載する。なお以下の数式において、γ1 …γK 及びμ1 …μk は係数であり、θ1 …θk 及びν1 …νK は微分の階数である。Ｋは、モデルの複雑さを決める整数であり、本実施の形態に係る情報処理システムの開発者等が予め決定する値である。ｆ及びｇは、例えば初等関数、線形計算、統計処理、主成分分析又は機械学習モデル等によりデータの前処理を行うための関数である。これらの関数に含まれるパラメータも、推測モデルのパラメータとなり得る。
Figure JPOXMLDOC01-appb-M000002
　この（２）式は、（１）式を更に一般化した数式である。（２）式においてＬ＝０、γ0 ＝１、ｆ(ｙ、ｔ)＝ｙ、ｇ(ｘ、ｔ)＝ｘ－ｘ0 としたものが（１）式である。
Figure JPOXMLDOC01-appb-M000003
　この（３）式においては、ｘ0 及びｙ0 も推測モデルのパラメータとなり得る。
Figure JPOXMLDOC01-appb-M000004
　この（４）式においては、ｔ0 も推測モデルのパラメータとなり得る。
Figure JPOXMLDOC01-appb-M000005
　この（５）式は、ｘ及びｙが１成分の場合に用いられる。（５）式においてａn ，ｂn ，ｘ0 及びｙ0 は、推測モデルのパラメータであってよく、予め定められる定数であってもよい。
Figure JPOXMLDOC01-appb-M000006
　この（６）式において、Ａはｄ1 次元行列であり、Ｂはｄ2 次元行列であり、ｙ(ｔ)及びｙ0 はｄ1 次元ベクトルであり、ｘ(ｔ)及びｘ0 はｄ2 次元ベクトルである。
Figure JPOXMLDOC01-appb-M000007
　この（７）式において、Ｆ及びＧはニューラルネットワークであり、Ａ及びＢはニューラルネットワークの重みパラメータである。この重みパラメータは、予め機械学習等の方法で決定され得る。
　（変形例４）
　上述の本実施の形態に係る情報処理システムでは、半導体製造装置３の状態検出を行う都度に、制御データ及び観測データに基づく推測モデルのパラメータ更新を状態検出装置１が行い、更新したパラメータを基に状態を検出しているが、これに限るものではない。変形例４に係る情報処理システムの状態検出装置１は、半導体製造装置３の状態検出を行う都度に推測モデルのパラメータの更新を行うのではなく、予めパラメータが決定された推測モデルを用いて、半導体製造装置３の状態を検出する。
　変形例４に係る状態検出装置１は、予めパラメータが決定された推測モデルを備えている。状態検出装置１は、状態検出の対象となる半導体製造装置３について制御データ及び観測データを取得し、取得した制御データを推測モデルへ入力して観測データの予測データを取得する。状態検出装置１は、観測データ及び予測データを比較して、例えば観測データ及び予測データの差が閾値を超える場合に、半導体製造装置３の状態が異常であると判断することができる。
　変形例４に係る状態検出装置１が備える推測モデルは、例えば状態検出の対象となる半導体製造装置３の過去の動作時に取得された制御データ及び観測データに基づいてパラメータが決定される。また例えば推測モデルは、状態検出の対象となる半導体製造装置３と同じ構成の別の装置にて取得された制御データ及び観測データに基づいてパラメータが決定されてもよい。
＜まとめ＞
　以上の構成の本実施の形態に係る情報処理システムでは、半導体製造装置（対象装置）３へ入力する制御データ（入力データ）及び半導体製造装置３の動作の観測データを状態検出装置１の制御処理部（第１取得部）１１ａが取得する。制御データから観測データを推測する推測モデルのパラメータを、取得した制御データ及び観測データに基づいてパラメータ決定部（決定部）１１ｂが決定し、決定したパラメータに基づいて状態検出部（検出部）１１ｃが半導体製造装置３の状態を検出する。これにより情報処理システムは、半導体製造装置３に対する入出力のデータのみから状態を検出する場合と比較して、より精度のよい半導体製造装置３の状態検出を実現することが期待できる。
　例えば半導体製造装置３の動作モードが複数存在する場合などに、入出力のデータの分布が複数のクラスタ（群）又は連続的な範囲に分散し、統計量などを基に異常又は正常等の状態検出を行うことが難しい。本実施の形態に係る情報処理システムでは、入出力のデータの関係そのものを学習することができるため、動作モードが複数存在する場合であってもその影響を受けにくい。
　例えば、半導体製造装置３が３次元的に動くロボットアームを備え、このロボットアームが不規則に配置された物体を掴んで一ヶ所に規則正しく並べる場合、ロボットアームは毎回全く異なる動きをする。このため、今までの統計量から外れた入力又は出力のデータを得た場合に、これがロボットアームの異常であるか、ロボットアーム事態は正常であり物体の位置又は重さ等が今までになかった値なのかの判定を行うことは一般的に困難である。本実施の形態に係る情報処理システムは、物体の配置及びロボットアームがどのように動くかに関係なく、原理的に入力及び出力のデータの関係から、ロボットアームの関節の摩擦が大きすぎる、又は、モータの寿命が近い等の状態検知を行うことが期待できる。
　また本実施の形態に係る情報処理システムでは、推測モデルのパラメータと半導体製造装置３の状態とを対応付けた学習用データを用いた機械学習により、状態検出モデル（学習モデル）が予め生成される。状態検出モデルは、推定モデルのパラメータを入力として受け付けて、半導体製造装置３の状態を出力する学習モデルである。状態検出装置１は、予め生成された状態検出モデルを備え、制御データ及び観測データから決定した推定モデルのパラメータを状態検出モデルへ入力し、状態検出モデルが出力する半導体製造装置３の状態を取得することで状態の検出を行う。これにより情報処理システムは、適合度が大きく変化せず、パラメータのみが変動する場合でも、パラメータの変動から装置の状態を推定することが期待できる。
　また本実施の形態に係る情報処理システムでは、パラメータを決定した推測モデルについて状態検出装置１の状態検出部（第２取得部、算出部）１１ｃが制御データに対する推測データを取得し、観測データ及び推測データに基づいて適合度（例えばＲＭＳＥ）を算出する。状態検出部１１ｃは、算出した適合度に基づいて半導体製造装置３の状態を検出する。推測モデルのパラメータに基づく状態検出に加えて、推測モデルの適合度に基づく状態検出を行うことによって、情報処理システムは、半導体製造装置３の状態検出をより精度よく行うことが期待できる。
　また本実施の形態に係る情報処理システムでは、推測モデルとして非整数階微分方程式のモデルが用いられる。非整数階微分方程式のモデルは、整数階微分方程式のモデルと比較して、半導体製造装置３等の対象装置の入出力の特性を精度よくモデル化することができるため、状態検出装置１による半導体製造装置３の状態検出を精度よく行うことが期待できる。非整数階微分方程式には微分の階数を非負整数に制限した特殊な場合として通常の整数階微分方程式（常微分方程式など）を含むため、同じパラメータ数の場合で比べると非整数階微分方程式の方が整数階微分方程式よりも解の空間が大きく、モデルとしての記述能力が高い。また非整数階微分方程式には、粘弾性体の解析に用いられた公知の結果があり、グリスなどを含む接触部の摩擦のモデリングには通常の微分方程式モデルよりも優位であることが期待できる。
　なお本実施の形態においては、状態検出装置１が推測モデルのパラメータに基づく状態検出と、推測モデルの適合度に基づく状態検出との２つの方法で半導体製造装置３の状態検出を行う構成を示したが、これに限るものではない。状態検出装置１は、いずれか１つの方法で状態検出を行う構成であってよく、またこの２つの方法とは異なる方法を加えた３つ以上の方法で状態検出を行う構成であってよい。
　また本実施の形態においては、状態検出装置１が状態検出を行う対象装置を半導体製造装置３としたが、これに限るものではなく、対象装置は半導体製造装置３とは異なるどのような装置であってもよい。対象装置は、入力データに応じて何らかの動作を行い、その動作の結果を観測データとして出力することが可能な種々の装置であってよい。
　また本実施の形態において推測モデルを非整数階微分方程式のモデルとしたが、これに限るものではない。推測モデルは、例えば整数階微分方程式のモデルであってよく、また例えば機械学習のモデルであってよく、これら以外のどのような数式で表されるモデルであってもよい。例えば状態検出の対象装置の動作がそれほど複雑なものでない場合等には、非整数階微分方程式のモデルを用いずに、整数階微分方程式のモデルを用いても十分な精度が得られる可能性がある。
　また本実施の形態において状態検出装置１は、推測モデルのパラメータに基づく状態検出を、予め機械学習がなされた状態検出モデルを用いて行う構成であるが、これに限るものではない。状態検出装置１は、例えば制御データ及び観測データに基づいて推測モデルのパラメータを決定し、決定したパラメータと予め定められた閾値との比較により半導体製造装置３の状態検出を行ってもよい。パラメータと比較する閾値は、例えば情報処理システムの開発者又は管理者等が予め決定することができる。また例えば、状態検出装置１は、決定した推測モデルのパラメータの履歴を記憶しておき、一定の期間におけるパラメータの値の変化に基づいて半導体製造装置３の状態を検出してもよい。また例えば、状態検出装置１は、一又は複数のパラメータの中に所定範囲を逸脱した値のもの（いわゆる外れ値）が含まれているか否かに応じて、又は、一定の期間における外れ値の発生回数等に応じて、半導体製造装置３の状態を検出してもよい。推定モデルのパラメータに基づく半導体製造装置３の状態検出の方法には、どのような方法が採用されてもよい。
　今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本開示の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
　各実施形態に記載した事項は相互に組み合わせることが可能である。また、請求の範囲に記載した独立請求項及び従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも１つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載してもよい。
　１　状態検出装置（コンピュータ）
　３　半導体製造装置（対象装置）
　１１　処理部
　１１ａ　制御処理部（第１取得部）
　１１ｂ　パラメータ決定部（決定部）
　１１ｃ　状態検出部（検出部、第２取得部、算出部）
　１１ｄ　機械学習処理部
　１２　記憶部
　１２ａ　プログラム（コンピュータプログラム）
　１２ｂ　履歴記憶部
　１２ｃ　モデル情報記憶部
　１２ｄ　学習用データ記憶部
　１３　通信部
　１４　表示部
　１５　操作部
　９９　記録媒体
 

Claims (11)

  1. 　対象装置への入力データ及び前記対象装置の動作の観測データを取得する第１取得部と、
    　入力データから観測データを推測する推測モデルのパラメータを、前記第１取得部が取得した入力データ及び観測データに基づいて決定する決定部と、
    　前記決定部が決定したパラメータに基づいて、前記対象装置の状態を検出する検出部と
    　を備える状態検出装置。
  2. 　前記対象装置への入力データから前記対象装置の動作の観測データを推測する推測モデルのパラメータを入力として受け付け、前記対象装置の状態を出力するよう機械学習がなされた学習モデルを備え、
    　前記検出部は、前記決定部が決定したパラメータを前記学習モデルへ入力し、前記学習モデルが出力する前記対象装置の状態を取得することで、前記対象装置の状態を検出する、
    　請求項１に記載の状態検出装置。
  3. 　前記学習モデルは、対象装置への入力データから前記対象装置の動作の観測データを推測する推測モデルのパラメータと、前記対象装置の状態とを対応付けた学習用データを用いた機械学習により予め生成された学習モデルである、
    　請求項２に記載の状態検出装置。
  4. 　前記決定部がパラメータを決定した前記推測モデルへ前記第１取得部が取得した入力データを入力し、前記推測モデルが出力する観測データの推測データを取得する第２取得部と、
    　前記第１取得部が取得した観測データ及び前記第２取得部が取得した推測データに基づいて前記推測モデルの適合度を算出する算出部と
    　を備え、
    　前記検出部は、前記決定部が決定したパラメータ及び前記算出部が算出した適合度に基づいて、前記対象装置の状態を検出する、
    　請求項１に記載の状態検出装置。
  5. 　前記推測モデルは、非整数階微分方程式のモデルである、
    　請求項１に記載の状態検出装置。
  6. 　前記検出部が検出する前記対象装置の状態には、前記対象装置の動作に関する異常の度合を含む、
    　請求項１に記載の状態検出装置。
  7. 　前記検出部が検出した前記対象装置の状態に関する情報を表示部に表示する、
    　請求項１に記載の状態検出装置。
  8. 　情報処理装置が、
    　対象装置への入力データ及び前記対象装置の動作の観測データを取得し、
    　入力データから観測データを推測する推測モデルのパラメータを、取得した入力データ及び観測データに基づいて決定し、
    　決定したパラメータに基づいて、前記対象装置の状態を検出する
    　状態検出方法。
  9. 　情報処理装置が、
    　対象装置への入力データから前記対象装置の動作の観測データを推測する推測モデルのパラメータと、前記対象装置の状態とを対応付けた学習用データを取得し、
    　取得した前記学習用データを用いた機械学習により、前記対象装置への入力データから前記対象装置の動作の観測データを推測する推測モデルのパラメータを入力として受け付け、前記対象装置の状態を出力する学習モデルを生成する、
    　学習モデルの生成方法。
  10. 　コンピュータに、
    　対象装置への入力データ及び前記対象装置の動作の観測データを取得し、
    　入力データから観測データを推測する推測モデルのパラメータを、取得した入力データ及び観測データに基づいて決定し、
    　決定したパラメータに基づいて、前記対象装置の状態を検出する
    　処理を実行させる、コンピュータプログラム。
  11. 　コンピュータに、
    　対象装置への入力データから前記対象装置の動作の観測データを推測する推測モデルのパラメータと、前記対象装置の状態とを対応付けた学習用データを取得し、
    　取得した前記学習用データを用いた機械学習により、前記対象装置への入力データから前記対象装置の動作の観測データを推測する推測モデルのパラメータを入力として受け付け、前記対象装置の状態を出力する学習モデルを生成する
    　処理を実行させるコンピュータプログラム。
     
PCT/JP2023/015345 2022-04-18 2023-04-17 状態検出装置、状態検出方法、学習モデルの生成方法及びコンピュータプログラム WO2023204183A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-068334 2022-04-18
JP2022068334 2022-04-18

Publications (1)

Publication Number Publication Date
WO2023204183A1 true WO2023204183A1 (ja) 2023-10-26

Family

ID=88419805

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/015345 WO2023204183A1 (ja) 2022-04-18 2023-04-17 状態検出装置、状態検出方法、学習モデルの生成方法及びコンピュータプログラム

Country Status (2)

Country Link
TW (1) TW202401286A (ja)
WO (1) WO2023204183A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024090433A1 (ja) * 2022-10-26 2024-05-02 東京エレクトロン株式会社 情報処理方法、コンピュータプログラム及び情報処理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019049688A1 (ja) * 2017-09-06 2019-03-14 日本電信電話株式会社 異常音検知装置、異常モデル学習装置、異常検知装置、異常音検知方法、異常音生成装置、異常データ生成装置、異常音生成方法、およびプログラム
WO2019163084A1 (ja) * 2018-02-23 2019-08-29 株式会社日立製作所 状態監視システム
JP2020107025A (ja) * 2018-12-27 2020-07-09 三菱日立パワーシステムズ株式会社 データ選別装置及び方法、ならびに監視診断装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019049688A1 (ja) * 2017-09-06 2019-03-14 日本電信電話株式会社 異常音検知装置、異常モデル学習装置、異常検知装置、異常音検知方法、異常音生成装置、異常データ生成装置、異常音生成方法、およびプログラム
WO2019163084A1 (ja) * 2018-02-23 2019-08-29 株式会社日立製作所 状態監視システム
JP2020107025A (ja) * 2018-12-27 2020-07-09 三菱日立パワーシステムズ株式会社 データ選別装置及び方法、ならびに監視診断装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024090433A1 (ja) * 2022-10-26 2024-05-02 東京エレクトロン株式会社 情報処理方法、コンピュータプログラム及び情報処理装置

Also Published As

Publication number Publication date
TW202401286A (zh) 2024-01-01

Similar Documents

Publication Publication Date Title
US11275345B2 (en) Machine learning Method and machine learning device for learning fault conditions, and fault prediction device and fault prediction system including the machine learning device
JP7104121B2 (ja) 故障予知装置、故障予知システム及び故障予知方法
CN108628281B (zh) 异常检测系统及异常检测方法
US10692018B2 (en) Machine learning device and machine learning method for learning optimal object grasp route
US11527984B2 (en) Abnormality determination system, motor control apparatus, and abnormality determination apparatus
JP6140331B1 (ja) 主軸または主軸を駆動するモータの故障予知を学習する機械学習装置および機械学習方法、並びに、機械学習装置を備えた故障予知装置および故障予知システム
JP5943357B2 (ja) 検出装置、検出方法、およびプログラム
JP7106847B2 (ja) 診断装置、診断方法、プログラム、および記録媒体
WO2023204183A1 (ja) 状態検出装置、状態検出方法、学習モデルの生成方法及びコンピュータプログラム
US20170300041A1 (en) Production system for executing production plan
JP7201844B2 (ja) グラディエントベースのセンサ識別を利用した障害予測
JP6333868B2 (ja) セル制御装置、及び製造セルにおける複数の製造機械の稼働状況を管理する生産システム
US9952574B2 (en) Machine learning device, motor control system, and machine learning method for learning cleaning interval of fan motor
CN107944563B (zh) 机械学习装置以及机械学习方法
JPWO2020021587A1 (ja) 時系列データ診断装置、追加学習方法およびプログラム
US20230161337A1 (en) Diagnostic device, server, and diagnostic method
JP2020042519A (ja) 異常検知装置、異常検知方法、及び異常検知プログラム
JP2018086715A (ja) テレスコピックカバーの異常発生推定装置及び異常発生推定方法
JPWO2020152741A1 (ja) 異常要因推定装置、異常要因推定方法、及びプログラム
JP2006276924A (ja) 設備機器診断装置及び設備機器診断プログラム
US20180314242A1 (en) Numerical controller
JP7005463B2 (ja) 学習装置、学習方法及びプログラム
JP7062923B2 (ja) 可視化方法、可視化装置及び可視化プログラム
WO2024090433A1 (ja) 情報処理方法、コンピュータプログラム及び情報処理装置
JP7387118B1 (ja) 情報処理システム、情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23791831

Country of ref document: EP

Kind code of ref document: A1