JPWO2020115943A1 - データ処理装置、方法、及び半導体製造装置 - Google Patents
データ処理装置、方法、及び半導体製造装置 Download PDFInfo
- Publication number
- JPWO2020115943A1 JPWO2020115943A1 JP2020524415A JP2020524415A JPWO2020115943A1 JP WO2020115943 A1 JPWO2020115943 A1 JP WO2020115943A1 JP 2020524415 A JP2020524415 A JP 2020524415A JP 2020524415 A JP2020524415 A JP 2020524415A JP WO2020115943 A1 JPWO2020115943 A1 JP WO2020115943A1
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- evaluation index
- index value
- feature
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims description 48
- 238000004519 manufacturing process Methods 0.000 title claims description 39
- 239000004065 semiconductor Substances 0.000 title claims description 22
- 238000011156 evaluation Methods 0.000 claims description 94
- 238000003672 processing method Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 abstract description 25
- 230000001629 suppression Effects 0.000 abstract description 12
- 238000004458 analytical method Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 9
- 238000010187 selection method Methods 0.000 description 6
- 238000003754 machining Methods 0.000 description 5
- 238000002790 cross-validation Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 238000005498 polishing Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000001020 plasma etching Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000002002 slurry Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
- G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
- G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
- G05B23/024—Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/22—Arrangements for sorting or merging computer data on continuous record carriers, e.g. tape, drum, disc
- G06F7/24—Sorting, i.e. extracting data from one or more carriers, rearranging the data in numerical or other ordered sequence, and rerecording the sorted data on the original carrier or on a different carrier or set of carriers sorting methods in general
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
- H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
- H01L21/67005—Apparatus not specifically provided for elsewhere
- H01L21/67242—Apparatus for monitoring, sorting or marking
- H01L21/67276—Production flow monitoring, e.g. for increasing throughput
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/18—Manufacturability analysis or optimisation for manufacturability
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Computer Hardware Design (AREA)
- Medical Informatics (AREA)
- Automation & Control Theory (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Mathematical Optimization (AREA)
- Power Engineering (AREA)
- Manufacturing & Machinery (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Operations Research (AREA)
- General Factory Administration (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Complex Calculations (AREA)
Abstract
モデル式作成時の過学習抑制と計算負荷抑制のトレードオフを解消するデータ処理装置を提供する。データ処理装置は、電子データを記録する記録部と、電子データを用い演算を行う演算部とを備え、演算部は、演算に用いる特徴量選択部を備え、特徴量選択部は、特徴量選択において、特徴量に順位付けを行い、上位のものから並び替える第一の工程(S101)と、順位に応じて一部の特徴量のみを用いたデータ群を複数個作成する第二の工程(S103)と、一部の特徴量のみを用いたデータ群のそれぞれを使用して、回帰もしくは分類問題の予測性能を評価する指標となる値を計算する第三の工程(S104)と、計算された予測性能指標を元に特徴量を削除する第四の工程(S105)と、前記削除された以外の特徴量に関して、予測性能指標を用いて特徴量の順位を更新する第五の工程(S106)とを備え、第二の工程から第五の工程を、第三の工程で計算される予測性能指標の最も良い値が更新されなくなるまで繰り返す(S102)。
Description
本発明はデータ処理装置、方法、及び半導体製造装置に係り、特にデータ解析による処理結果の予測技術に関する。
昨今の製造業においては、製造装置より得られるデータを有効活用し、生産性を向上させる取り組みが注目されている。例えば、半導体製造装置においては、特許文献１で公開されているように重回帰分析などの手法を用いた処理結果の予測がプロセスコントロール等に幅広く利用されている。一方で、製造プロセスが高度化、複雑化している現代製造業においては、生産工場全体で得られるデータは膨大な量におよび、重要なデータとそうでないデータの取捨選択は、データを活用した製造装置運用において必須の課題となっている。例えば、半導体製造装置においては、一つの製造装置に数十を超えるデータ取得のためのセンサが備え付けられていることも珍しくない。また製造プロセスに必要となる時間が長い場合は、それだけ多くのデータが蓄積されることとなり、取り扱うデータ量は膨大なものとなる。
通常データ処理ではセンサによる計測から得られた時系列信号をそのまま使用する訳ではなく、その信号の特徴を良く表す特徴量、もしくはフィーチャと呼ばれる値を使用することが多い。時系列信号の平均値、標準偏差値などは特徴量の一つである。時系列信号から特徴量を抽出することにより、データ量をある程度圧縮することが可能になるが、この特徴量の抽出の段階では出来る限り多くの特徴量が抽出されることが望ましい。しかし、多くの場合、抽出した特徴量の中には解析上意味のないものも数多く存在し、そうした意味のない特徴量は計算時間の増加を招くばかりか、解析におけるノイズとして解析結果に悪影響を及ぼしうる。さらに処理結果の予測等のためのモデル式の作成において、使用する特徴量が多くなるにつれ、モデル式の作成時に過学習と呼ばれる汎化性能を欠いた状態に陥る可能性が高まる。
過学習を抑制するためのモデル式の妥当性の評価指標として赤池情報量基準（Akaike Information Criteria: AIC）が良く知られており、AICを用いた重要な変数の選択は、例えば特許文献２において公開されている。また、抽出した特徴量から解析上意味のありそうな特徴量を選択するためのアルゴリズムは数多くのものが提案されている。
例えば、非特許文献１においてはSequential Forward Selectionと呼ばれる繰り返し計算を用いた特徴量選択手法が開示されている。この方法はラッパー法と呼ばれる特徴量選択手法のうちの一つである。また、非特許文献２においてはFisher Criterionとよばれる特徴量の重要度のランキングを作成し、そのランキングに応じて特徴量を選択する手法が開示されている。この方法はフィルタ法と呼ばれる特徴量選択手法のうちの一つである。更に、非特許文献３においてはRandom Forestとよばれる回帰手法の中で特徴量の重要度のランキングを作成し、そのランキングに応じて特徴量を選択する手法が開示されている。この方法はエンベディット法と呼ばれる特徴量選択手法のうちの一つである。
P. Pudil, J. Novovicova, and J. Kittler, "Floating search methods in feature selection," Pattern Recognition Letters, vol. 15, pp. 1119-1125, Nov. 1994.
Sa Wang, Cheng-Lin Liu, and Lian Zheng, "Feature selection by combining fisher criterion and principal feature analysis," in Proc. of the Sixth International Conference on Machine Learning and Cybernetics, Hong Kong, China, 2007, pp. 1149-1154.
Leo Breiman, "Random Forest," Machine Learning, vol. 45, pp. 5-32, 2001.
上述したラッパー法では繰り返し計算の際に最適化のための評価指標が必要であり、フィルタ法、エンベディト法では特徴量数の最適化のための評価指標が必要となる。上述の通り、この評価指標にはAICが使われることがある。しかしながら、AICはモデルの汎化性能を担保し、過学習を抑制するための指標として有効であるが、AICを用いた評価による最適化を行っても過学習に陥る場合がある。また、そのような場合にも効果的に過学習を防ぐ手法として交差検証法があるが、交差検証法は計算に多大な時間を要する。
本発明の目的は、上記のような課題を解決し、モデル式作成時の過学習抑制と計算負荷抑制のトレードオフを解消することが可能なデータ処理装置、方法、及び半導体製造装置を提供することにある。
上記の目的を達成するため、本発明においては、特徴値を用いて予測モデルを求めるデータ処理装置において、Ｎを自然数とした場合、順位付けされたＮ個の第一の特徴量を１位からＮ位の順位に並び替える第一の工程と、Ｎ個の第一のデータ群を作成する第二の工程と、第一のデータ群の各々の予測性能を評価する第一の評価指標値を求める第三の工程と、第一の評価指標値を基に第一の特徴量の一部を削除する第四の工程と、第一の特徴量の中で削除された特徴量以外の特徴量である第二の特徴量の順位を第一の評価指標値を用いて更新する第五の工程と、第二の特徴量の個数と同数の第二のデータ群を作成する第六の工程と、第二のデータ群の各々の予測性能を評価する第二の評価指標値を求める第七の工程と、第一の評価指標値の最小値と第二の評価指標値の最小値が同じ場合、第二の特徴量を用いて予測モデルを求め、第一の評価指標値の最小値と第二の評価指標値の最小値が異なる場合、第二の評価指標値を基に第二の特徴量の一部を削除するとともに第二の特徴量の中で削除された特徴量以外の特徴量である第三の特徴量の順位を第二の評価指標値を用いて更新する第八の工程を実行する演算装置を備え、Ｎ番目の第一のデータ群は、第一の特徴量の１位からＮ位までの特徴量を有し、Ｍを第二の特徴量の個数とした場合、Ｍ番目の第二のデータ群は、第二の特徴量の１位からＭ位までの特徴量を有することを特徴とするデータ処理装置を提供する。
また、上記の目的を達成するため、本発明においては、特徴値を用いて求められた予測モデルにより処理結果が予測される半導体製造装置において、Ｎを自然数とした場合、順位付けされたＮ個の第一の特徴量を１位からＮ位の順位に並び替える第一の工程と、Ｎ個の第一のデータ群を作成する第二の工程と、第一のデータ群の各々の予測性能を評価する第一の評価指標値を求める第三の工程と、第一の評価指標値を基に第一の特徴量の一部を削除する第四の工程と、第一の特徴量の中で削除された特徴量以外の特徴量である第二の特徴量の順位を第一の評価指標値を用いて更新する第五の工程と、第二の特徴量の個数と同数の第二のデータ群を作成する第六の工程と、第二のデータ群の各々の予測性能を評価する第二の評価指標値を求める第七の工程と、第一の評価指標値の最小値と第二の評価指標値の最小値が同じ場合、第二の特徴量を用いて予測モデルを求め、第一の評価指標値の最小値と第二の評価指標値の最小値が異なる場合、第二の評価指標値を基に第二の特徴量の一部を削除するとともに第二の特徴量の中で削除された特徴量以外の特徴量である第三の特徴量の順位を第二の評価指標値を用いて更新する第八の工程を実行する制御装置を備え、Ｎ番目の第一のデータ群は、第一の特徴量の１位からＮ位までの特徴量を有し、Ｍを第二の特徴量の個数とした場合、Ｍ番目の第二のデータ群は、第二の特徴量の１位からＭ位までの特徴量を有することを特徴とする半導体製造装置を提供する。
更に、上記の目的を達成するため、特徴値を用いて予測モデルを求めるデータ処理方法において、Ｎを自然数とした場合、順位付けされたＮ個の第一の特徴量を１位からＮ位の順位に並び替える第一の工程と、Ｎ個の第一のデータ群を作成する第二の工程と、第一のデータ群の各々の予測性能を評価する第一の評価指標値を求める第三の工程と、第一の評価指標値を基に第一の特徴量の一部を削除する第四の工程と、第一の特徴量の中で削除された特徴量以外の特徴量である第二の特徴量の順位を第一の評価指標値を用いて更新する第五の工程と、第二の特徴量の個数と同数の第二のデータ群を作成する第六の工程と、第二のデータ群の各々の予測性能を評価する第二の評価指標値を求める第七の工程と、第一の評価指標値の最小値と第二の評価指標値の最小値が同じ場合、第二の特徴量を用いて予測モデルを求め、第一の評価指標値の最小値と第二の評価指標値の最小値が異なる場合、第二の評価指標値を基に第二の特徴量の一部を削除するとともに第二の特徴量の中で削除された特徴量以外の特徴量である第三の特徴量の順位を第二の評価指標値を用いて更新する第八の工程とを有し、Ｎ番目の第一のデータ群は、第一の特徴量の１位からＮ位までの特徴量を有し、Ｍを第二の特徴量の個数とした場合、Ｍ番目の第二のデータ群は、第二の特徴量の１位からＭ位までの特徴量を有することを特徴とするデータ処理方法を提供する。
本発明のデータ処理装置により、モデル式作成時の過学習抑制と計算負荷抑制のトレードオフが解消される。
以下、本発明を実施するための形態を図面に従い順次説明する。なお、本明細書において、自然数であるＮやＭを英数小文字であるｎやｍと表記する場合がある。
実施例１は、モデル式作成時の過学習抑制と計算負荷抑制のトレードオフが解消されるデータ処理装置の実施例である。すなわち、特徴値を用いて予測モデルを求めるデータ処理装置において、Ｎを自然数とした場合、順位付けされたＮ個の第一の特徴量を１位からＮ位の順位に並び替える第一の工程と、Ｎ個の第一のデータ群を作成する第二の工程と、第一のデータ群の各々の予測性能を評価する第一の評価指標値を求める第三の工程と、第一の評価指標値を基に第一の特徴量の一部を削除する第四の工程と、第一の特徴量の中で削除された特徴量以外の特徴量である第二の特徴量の順位を第一の評価指標値を用いて更新する第五の工程と、第二の特徴量の個数と同数の第二のデータ群を作成する第六の工程と、第二のデータ群の各々の予測性能を評価する第二の評価指標値を求める第七の工程と、第一の評価指標値の最小値と第二の評価指標値の最小値が同じ場合、第二の特徴量を用いて予測モデルを求め、第一の評価指標値の最小値と第二の評価指標値の最小値が異なる場合、第二の評価指標値を基に第二の特徴量の一部を削除するとともに第二の特徴量の中で削除された特徴量以外の特徴量である第三の特徴量の順位を第二の評価指標値を用いて更新する第八の工程を実行する演算装置を備え、Ｎ番目の第一のデータ群は、第一の特徴量の１位からＮ位までの特徴量を有し、Ｍを第二の特徴量の個数とした場合、Ｍ番目の第二のデータ群は、第二の特徴量の１位からＭ位までの特徴量を有する構成のテータ処理装置、方法、及び半導体製造装置の実施例である。
図１から図５を用いて、実施例１のデータ処理装置、方法を説明する。本実施例のデータ処理装置は、図示を省略した電子データを記録する記録部と、記録された電子データを演算する演算部を備える。このようなデータ処理装置は、Personal Computer（PC）で代表される、電子データを演算するCentral Processing Unit（CPU）と、電子データや各種の処理プログラムを記憶する記憶部と、キーボードやディスプレイからなる入出力部と、通信インタフェースを備えた通常のコンピュータで実現できるため、データ処理装置の図示を省略する。
本実施例のデータ処理装置の演算部内部には、処理プログラムで実現可能な特徴量選択部を備える。そして、記録部に記録される電子データは、モデル式の説明変数になる電子データと、目的変数になる電子データの二種類が存在する。例えば、製造装置における加工結果予測のためのデータ処理であれば、説明変数となる電子データは製造装置の稼働状態に関するデータであり、目的変数となるデータは加工結果のデータである。
本実施例では、より具体的には製造装置として半導体製造装置の一つであるChemical Mechanical Polishing（CMP）装置を取り上げる。ここで、説明変数となるデータはウエハの回転速度やスラリーの量などの加工時の加工条件のモニタ値や、研磨パッドの使用時間など装置自体の状態に関するデータである。対して、目的変数となるデータはCMP装置での処理によるウエハの研磨量（Removal Rate: RR）である。作成するモデル式は、上記の装置データから、RRを予測する回帰式となる。
記録部に記録された装置データは、演算部にて演算され、明らかに異常なデータの排除や特徴量の抽出など解析前処理が成される。装置データのサンプル数が増えると、横軸に特徴量、縦軸にサンプルをとった行列の行が増えていくことになる。上記のようなそれぞれのサンプルの特徴量を並べた行列を特徴量行列と呼ぶ。この特徴量行列において、解析に移行する所望の条件をみたした場合に、特徴量行列データおよび特徴量行列の各サンプルに対応するRRの値のデータが特徴量選択部に送られる。ここで、解析に移行する条件は、特徴量行列のサンプル数が所望の値をこえることや、特徴量行列におけるサンプルの蓄積期間が所望の期間をこえること等が挙げられる。
特徴量選択部に送られた特徴量行列およびRRのデータを用いて、図1に示すフローチャートによって特徴量の選択処理がなされる。上述の通り、この選択処理の実行はCPUの所定のプログラム実行によって行われる。
図１のフローチャートにおいて、特徴量選択部における第１工程では、まず、特徴量の重要度、すなわち特徴量ランキングをフィルタ法の一つであるFisher Criterionを用いて作成する(S101)。
特徴量選択部における第２工程では、第１工程において作成したランキング(i)に応じて、特徴量の一部のみを用いたデータ群を作成する。以下このデータ群のことをサブセットと記載する。
第２工程では特徴量の数と同数サブセットが作成される(S103)。ここで、Ｎ番目のサブセットに含まれる特徴量は、ランキングの１番目からＮ番目までの特徴量となる。例えば、全特徴量数が３個の場合、一つめのサブセットにはランキング一位の特徴量のみが含まれる。二つ目のサブセットにはランキング一位と二位の２つの特徴量が含まれる。３つめのサブセットにはランキング一位と二位と三位の３つの特徴量が含まれる。
特徴量選択部における第３工程では、第２工程において作成したすべてのサブセットについて、回帰もしくは分類問題における予測性能を評価する指標となる値である評価指標、すなわちモデル式評価指標を計算して作成する(S104)。本実施例では、RRを推測する回帰問題であり、予測性能を評価する指標として上述したAICを採用することとする。第３の工程ではすべてのサブセットについてそれぞれのAICを計算することになる。
図２に、横軸に各サブセットの番号を、縦軸に対応するAICをプロットしたグラフの一例を示す。本実施例の第４工程においては、第３工程において計算されたAICを基に不必要な特徴量を判断し、削除する(S105)。図２のグラフ201において、AICはサブセット番号８４番においてAICが最小となっている。これはランキング１番目から８４番目までの特徴量は予測性能を向上させることに寄与しているが、８５番目以降の特徴量は予測性能の向上に寄与していないことを示している。従って第４工程では、AICが最小となるサブセット番号の次のサブセット番号以降のランキングに相当する特徴量が削除される。すなわち、本実施例においてはランキング８５位以降の特徴量が削除される。
本実施例特徴量選択部の第５工程においては、第４の工程で残った特徴量において、AICを基準にランキングが更新される(S106)。新たなランキングは以下の式１に示す重要度ギャップ（significance gap, SG）によって決定される(S107)。
ここでAIC（ｎ）はｎ番目のサブセットに関するAICの値である。SG（１）に関しては、計算ができないため、いかなるSG(ｎ)よりも小さい値を設定する。
第５工程におけるSGの意味を以下に述べる。ｎ番目のサブセットはｎ−１番目のサブセットにランキングｎ番目の特徴量を加えたものになる。従って。SG(ｎ)はｎ−１番目のサブセットにｎ番目の特徴量を加えたことによる予測性能の向上の度合いを表していることになる。従ってこの値が小さいほどｎ番目の特徴量による予測性能の向上が大きいことになり、ｎ番目の特徴量は重要であると判断される。第５工程においては、SGの小さい順番に特徴量の重要度ランキングが更新される。
第５工程終了後、本実施例においては上記第２工程から第５工程が繰り返される(S102)。図３に繰り返しによってそれぞれの繰り返しの第３工程で得られる各サブセットにおけるAICの値のグラフを示す。繰り返しによって選択される特徴量が減少していき、AICの最小値も小さくなっている、つまり、予測性能が向上していることがわかる。
上記第２工程から第５工程までの繰り返しは、ｍ番目の繰り返しにおいて第３の工程で得られるAICの最小値が、ｍ−１番目の繰り返しにおいて第３の工程で得られるAICの最小値と等しくなるまで繰り返される。繰り返しの終了後、AICが最も低くなったサブセットが、選択される特徴量からなるサブセットとなる。
上記の手順で選択された特徴量サブセットを用いて演算部ではRRを推測する回帰モデルが作成される。この回帰モデルと特徴量サブセットの情報は記録部に保存される。上記のように、モデルを作成するための装置データとRRデータの両方を所望の期間、もしくは所望の量取得し、特徴量選択をしてモデルを作成する工程を一般にトレーニング工程と呼ぶ。
対して、装置データのみを取得して、データからRRの予測を行う運用工程をテスティング工程と呼ぶ。テスティング工程では、新規に記録部に保存したデータを演算部に送り、トレーニング工程と同様の特徴量抽出などの解析前処理を実施する。その後に、記憶部に保存されている最適特徴量サブセットと同様の項目の特徴量を選択し、記憶部に保存されているRR推測回帰モデルを用いてRRの推測を行う。
本実施例による過学習抑制効果、計算時間抑制効果、RR予測性能の確認を行うために、すでにRRが分かっているデータを用いて検証解析を行った。上記検証は交差検証法を用いて行った。
図４に既存の特徴量選択手法を、回帰問題における特徴量選択に使用した場合の選択された特徴量の数、RR予測性能指標となる予測誤差指標および特徴量選択に要した時間の表401を示す。なお、この際、ラッパー法における特徴量選択のための性能評価指標としてはAICを使用した。また、フィルタ法およびラッパー法において最適な特徴量数を決定するための指標としてもAICを使用した。最終的な予測性能は交叉検証法にて求められたmean squared error (MSE)を使用した。
図４に示すように、ラッパー法のSequential forward selectionやエンベディット法のLASSOにおいては予測性能を表すMSEは良い値となっているが、1000秒オーダーの長い計算時間が必要となっている。他の方法に関しては、MSEの値が極端に悪い値となっており、過学習に陥っていることが分かる。
図５に本実施例の特徴量選択部における特徴量選択手法を同様の回帰問題における特徴量選択に使用した場合の特徴量選択に使用した場合の選択された特徴量の数、RR予測性能指標となる予測誤差指標および特徴量選択に要した時間の表501を示す。表501に示すように従来の手法のフィルタ法および一部のエンベディット法と同程度の短い時間で、過学習を抑制し、従来の手法のsequential forward selectionやLASSOにおいて得られた性能とほぼ同等の性能が得られていることが確認された。
従って本実施例のデータ処理装置により、モデル式作成時の過学習抑制と計算負荷抑制のトレードオフが解消されるといえる。
本発明により得られたモデル式による加工結果の推測値は種々に利用可能である。例えば、本発明におけるモデル式と取得データにより得られた加工結果の推測値と所望の加工値のずれがある管理値よりも大きくなった場合に、警告を発するシステムが存在してもよい。また、その警告に応じて、製造装置の加工を制御する制御システムが存在してもよい。前記の制御は、製造装置による製造プロセスを停止するような制御でもよい。また、製造装置の加工条件を自動的に変更するような制御であってもよい。
以上、本発明を実施例１にもとづいて具体的に説明したが、本発明は実施例１の構成に限定されず、その要旨を逸脱しない範囲で種々に変更可能である。例えば、実施例１においては、CMP装置を例としたが、CMP装置からのデータに関わらず、その他のデータであっても構わない。その中でも、半導体製造装置に関しては一般に使用されるセンサが非常に多く、運用方法も複雑であることが多いため、抽出される特徴量が多くなる点や、目的変数となる加工結果のデータがリアルタイムで得られにくい点も鑑み、本発明の適用先として好適である。例えばプラズマエッチング装置からのデータは本発明にて処理されるデータとして好適である。
例えば、そのような被処理体に所定の処理を実行する半導体製造装置は、半導体製造装置の状態をモニタするセンサと、センサの出力に基づく半導体製造装置の状態の電子データを記録する記録部と、半導体製造装置の状態に関する電子データを用い演算を行う演算部とを含み、演算部は、演算に用いる特徴量選択部を備え、特徴量選択部は、特徴量選択において、特徴量に順位付けを行い、上位のものから並び替える第一の工程と、順位に応じて一部の特徴量のみを用いたデータ群を複数個作成する第二の工程と、一部の特徴量のみを用いたデータ群のそれぞれを使用して、回帰もしくは分類問題の予測性能を評価する指標となる値を計算する第三の工程と、計算された予測性能指標を元に特徴量を削除する第四の工程と、削除された特徴量以外の特徴量に関して、予測性能指標を用いて特徴量の順位を更新する第五の工程と、を備え、第二の工程から第五の工程を、第三の工程で計算される予測性能指標の最も良い値が更新されなくなるまで繰り返す構成となる。
言いかえるなら、特徴値を用いて求められた予測モデルにより処理結果が予測される半導体製造装置において、Ｎを自然数とした場合、順位付けされたＮ個の第一の特徴量を１位からＮ位の順位に並び替える第一の工程と、Ｎ個の第一のデータ群を作成する第二の工程と、第一のデータ群の各々の予測性能を評価する第一の評価指標値を求める第三の工程と、第一の評価指標値を基に第一の特徴量の一部を削除する第四の工程と、第一の特徴量の中で削除された特徴量以外の特徴量である第二の特徴量の順位を第一の評価指標値を用いて更新する第五の工程と、第二の特徴量の個数と同数の第二のデータ群を作成する第六の工程と、第二のデータ群の各々の予測性能を評価する第二の評価指標値を求める第七の工程と、第一の評価指標値の最小値と第二の評価指標値の最小値が同じ場合、第二の特徴量を用いて予測モデルを求め、第一の評価指標値の最小値と第二の評価指標値の最小値が異なる場合、第二の評価指標値を基に第二の特徴量の一部を削除するとともに第二の特徴量の中で削除された特徴量以外の特徴量である第三の特徴量の順位を第二の評価指標値を用いて更新する第八の工程を実行する制御装置を備え、Ｎ番目の第一のデータ群は、第一の特徴量の１位からＮ位までの特徴量を有し、Ｍを第二の特徴量の個数とした場合、Ｍ番目の第二のデータ群は、第二の特徴量の１位からＭ位までの特徴量を有することになる。
なお、本発明におけるトレーニング処理における記録部、演算部、テスティング処理における記録部、演算部のそれぞれは単一のハードウェア内に存在してもよいし、複数のハードウェアに分散して配置されていてもよい。
また、本発明のデータ元となる製造装置は一台であっても複数台であっても構わない。作成した一つのモデル式を複数台の製造装置のデータ処理に適用しても構わないし、複数のモデル式を作成し、それぞれ異なる製造装置のデータ処理に適用しても構わない。
更に、演算部における特徴量選択部はハードウェアとして独立していてもよい。また、演算部全体のハードウェア内のプログラムの一部として存在しており、ハードウェアとして独立していなくてもよい。
また更に、実施例１においては、第１工程において既存のフィルタ法によりランキングを作成したが、ランキングの作成方法は既存のフィルタ法以外の方法でも構わない。
更にまた、実施例１においては、第３工程において、予測性能を評価する指標としてAICを採用したが、この指標はAIC以外の指標でも構わない。
201 グラフ
401、501 表
401、501 表
Claims (10)
- 特徴値を用いて予測モデルを求めるデータ処理装置において、
Ｎを自然数とした場合、順位付けされたＮ個の第一の特徴量を１位からＮ位の順位に並び替える第一の工程と、
Ｎ個の第一のデータ群を作成する第二の工程と、
前記第一のデータ群の各々の予測性能を評価する第一の評価指標値を求める第三の工程と、
前記第一の評価指標値を基に前記第一の特徴量の一部を削除する第四の工程と、
前記第一の特徴量の中で前記削除された特徴量以外の特徴量である第二の特徴量の順位を前記第一の評価指標値を用いて更新する第五の工程と、
前記第二の特徴量の個数と同数の第二のデータ群を作成する第六の工程と、
前記第二のデータ群の各々の予測性能を評価する第二の評価指標値を求める第七の工程と、
前記第一の評価指標値の最小値と前記第二の評価指標値の最小値が同じ場合、前記第二の特徴量を用いて予測モデルを求め、
前記第一の評価指標値の最小値と前記第二の評価指標値の最小値が異なる場合、前記第二の評価指標値を基に前記第二の特徴量の一部を削除するとともに前記第二の特徴量の中で前記削除された特徴量以外の特徴量である第三の特徴量の順位を前記第二の評価指標値を用いて更新する第八の工程を実行する演算装置を備え、
Ｎ番目の前記第一のデータ群は、前記第一の特徴量の１位から前記Ｎ位までの特徴量を有し、
Ｍを前記第二の特徴量の個数とした場合、Ｍ番目の前記第二のデータ群は、前記第二の特徴量の１位からＭ位までの特徴量を有することを特徴とするデータ処理装置。 - 請求項１に記載のデータ処理装置において、
前記第一の評価指標値は、ＡＩＣを用いて求められた値であることを特徴とするデータ処理装置。 - 請求項１に記載のデータ処理装置において、
前記第五の工程は、前記Ｎ番目の前記第一のデータ群に対応する前記第一の評価指標値から(Ｎ−１)番目の前記第一のデータ群に対応する前記第一の評価指標値を減じた値を用いて前記第二の特徴量の順位を更新することを特徴とするデータ処理装置。 - 特徴値を用いて求められた予測モデルにより処理結果が予測される半導体製造装置において、
Ｎを自然数とした場合、順位付けされたＮ個の第一の特徴量を１位からＮ位の順位に並び替える第一の工程と、
Ｎ個の第一のデータ群を作成する第二の工程と、
前記第一のデータ群の各々の予測性能を評価する第一の評価指標値を求める第三の工程と、
前記第一の評価指標値を基に前記第一の特徴量の一部を削除する第四の工程と、
前記第一の特徴量の中で前記削除された特徴量以外の特徴量である第二の特徴量の順位を前記第一の評価指標値を用いて更新する第五の工程と、
前記第二の特徴量の個数と同数の第二のデータ群を作成する第六の工程と、
前記第二のデータ群の各々の予測性能を評価する第二の評価指標値を求める第七の工程と、
前記第一の評価指標値の最小値と前記第二の評価指標値の最小値が同じ場合、前記第二の特徴量を用いて予測モデルを求め、
前記第一の評価指標値の最小値と前記第二の評価指標値の最小値が異なる場合、前記第二の評価指標値を基に前記第二の特徴量の一部を削除するとともに前記第二の特徴量の中で前記削除された特徴量以外の特徴量である第三の特徴量の順位を前記第二の評価指標値を用いて更新する第八の工程を実行する制御装置を備え、
Ｎ番目の前記第一のデータ群は、前記第一の特徴量の１位から前記Ｎ位までの特徴量を有し、
Ｍを前記第二の特徴量の個数とした場合、Ｍ番目の前記第二のデータ群は、前記第二の特徴量の１位からＭ位までの特徴量を有することを特徴とする半導体製造装置。 - 請求項４に記載の半導体製造装置において、
前記第一の評価指標値は、ＡＩＣを用いて求められた値であることを特徴とする半導体製造装置。 - 請求項４に記載の半導体製造装置において、
前記第五の工程は、前記Ｎ番目の前記第一のデータ群に対応する前記第一の評価指標値から(Ｎ−１)番目の前記第一のデータ群に対応する前記第一の評価指標値を減じた値を用いて前記第二の特徴量の順位を更新することを特徴とする半導体製造装置。 - 請求項４ないし請求項６のいずれか一項に記載の半導体製造装置において、
前記予測モデルは、プラズマ処理装置のプラズマ処理結果を予測することを特徴とする半導体製造装置。 - 特徴値を用いて予測モデルを求めるデータ処理方法において、
Ｎを自然数とした場合、順位付けされたＮ個の第一の特徴量を１位からＮ位の順位に並び替える第一の工程と、
Ｎ個の第一のデータ群を作成する第二の工程と、
前記第一のデータ群の各々の予測性能を評価する第一の評価指標値を求める第三の工程と、
前記第一の評価指標値を基に前記第一の特徴量の一部を削除する第四の工程と、
前記第一の特徴量の中で前記削除された特徴量以外の特徴量である第二の特徴量の順位を前記第一の評価指標値を用いて更新する第五の工程と、
前記第二の特徴量の個数と同数の第二のデータ群を作成する第六の工程と、
前記第二のデータ群の各々の予測性能を評価する第二の評価指標値を求める第七の工程と、
前記第一の評価指標値の最小値と前記第二の評価指標値の最小値が同じ場合、前記第二の特徴量を用いて予測モデルを求め、
前記第一の評価指標値の最小値と前記第二の評価指標値の最小値が異なる場合、前記第二の評価指標値を基に前記第二の特徴量の一部を削除するとともに前記第二の特徴量の中で前記削除された特徴量以外の特徴量である第三の特徴量の順位を前記第二の評価指標値を用いて更新する第八の工程とを有し、
Ｎ番目の前記第一のデータ群は、前記第一の特徴量の１位から前記Ｎ位までの特徴量を有し、
Ｍを前記第二の特徴量の個数とした場合、Ｍ番目の前記第二のデータ群は、前記第二の特徴量の１位からＭ位までの特徴量を有することを特徴とするデータ処理方法。 - 請求項８に記載のデータ処理方法において、
前記第一の評価指標値は、ＡＩＣを用いて求められた値であることを特徴とするデータ処理方法。 - 請求項８に記載のデータ処理方法において、
前記第五の工程は、前記Ｎ番目の前記第一のデータ群に対応する前記第一の評価指標値から(Ｎ−１)番目の前記第一のデータ群に対応する前記第一の評価指標値を減じた値を用いて前記第二の特徴量の順位を更新することを特徴とするデータ処理方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2019/029408 WO2020115943A1 (ja) | 2019-07-26 | 2019-07-26 | データ処理装置、方法、及び半導体製造装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2020115943A1 true JPWO2020115943A1 (ja) | 2021-02-15 |
| JP6990768B2 JP6990768B2 (ja) | 2022-01-12 |
Family
ID=70974163
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020524415A Active JP6990768B2 (ja) | 2019-07-26 | 2019-07-26 | データ処理装置、方法、及び半導体製造装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11531848B2 (ja) |
| JP (1) | JP6990768B2 (ja) |
| KR (1) | KR102315074B1 (ja) |
| CN (1) | CN112654982A (ja) |
| TW (1) | TWI751540B (ja) |
| WO (1) | WO2020115943A1 (ja) |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07253966A (ja) * | 1994-01-28 | 1995-10-03 | Mitsubishi Electric Corp | 交互作用分析モデル式作成装置及び交互作用分析モデル式作成方法及びデータ解析装置 |
| JP4254892B1 (ja) * | 2007-11-01 | 2009-04-15 | オムロン株式会社 | 特徴量候補作成装置および特徴量候補作成方法 |
| JP4591794B2 (ja) * | 2008-04-22 | 2010-12-01 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| JP4836994B2 (ja) | 2008-06-11 | 2011-12-14 | 株式会社日立製作所 | 半導体処理装置 |
| US8630890B2 (en) * | 2008-12-03 | 2014-01-14 | At&T Intellectual Property I, L.P. | Product migration analysis using data mining by applying a time-series mathematical model |
| WO2016181474A1 (ja) * | 2015-05-11 | 2016-11-17 | 株式会社東芝 | パターン認識装置、パターン認識方法およびプログラム |
| KR102189311B1 (ko) * | 2018-08-21 | 2020-12-09 | 두산중공업 주식회사 | 학습된 모델을 이용한 해석 장치 및 이를 위한 방법 |
| US10826932B2 (en) * | 2018-08-22 | 2020-11-03 | General Electric Company | Situation awareness and dynamic ensemble forecasting of abnormal behavior in cyber-physical system |
| CN109460825A (zh) * | 2018-10-24 | 2019-03-12 | 阿里巴巴集团控股有限公司 | 用于构建机器学习模型的特征选取方法、装置以及设备 |
| CN109508558B (zh) * | 2018-10-31 | 2022-11-18 | 创新先进技术有限公司 | 一种数据有效性的验证方法、装置和设备 |
-
2019
- 2019-07-26 KR KR1020207009883A patent/KR102315074B1/ko active IP Right Grant
- 2019-07-26 US US16/959,093 patent/US11531848B2/en active Active
- 2019-07-26 CN CN201980005415.9A patent/CN112654982A/zh active Pending
- 2019-07-26 WO PCT/JP2019/029408 patent/WO2020115943A1/ja active Application Filing
- 2019-07-26 JP JP2020524415A patent/JP6990768B2/ja active Active
-
2020
- 2020-04-28 TW TW109114119A patent/TWI751540B/zh active
Non-Patent Citations (2)
| Title |
|---|
| 立松 綾乃: "力覚メディア・サウンド・ビデオ伝送におけるネットワーク遅延とその揺らぎの影響", 映像情報メディア学会誌, vol. 第64巻,第12号, JPN6021044294, 1 December 2010 (2010-12-01), JP, pages 93 - 103, ISSN: 0004636322 * |
| 藤原 幸一: "線形回帰モデルにおけるＮＣスペクトラルクラスタリングを用いた効率的な入力変数選択", 電子情報通信学会技術研究報告, vol. 第112巻,第279号, JPN6021044295, 31 October 2012 (2012-10-31), JP, pages 359 - 366, ISSN: 0004636323 * |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202105106A (zh) | 2021-02-01 |
| TWI751540B (zh) | 2022-01-01 |
| US11531848B2 (en) | 2022-12-20 |
| JP6990768B2 (ja) | 2022-01-12 |
| KR20210013540A (ko) | 2021-02-04 |
| WO2020115943A1 (ja) | 2020-06-11 |
| KR102315074B1 (ko) | 2021-10-21 |
| CN112654982A (zh) | 2021-04-13 |
| US20210027108A1 (en) | 2021-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5011830B2 (ja) | データ処理方法、データ処理プログラム、該プログラムを記録した記録媒体およびデータ処理装置 | |
| JP5943357B2 (ja) | 検出装置、検出方法、およびプログラム | |
| US20150269120A1 (en) | Model parameter calculation device, model parameter calculating method and non-transitory computer readable medium | |
| JP2008146591A (ja) | 異常兆候検出装置および方法 | |
| JP6742460B2 (ja) | 欠陥率を分析するシステム | |
| JP5320985B2 (ja) | 予測システム、予測方法および予測プログラム | |
| JP5827425B1 (ja) | 予兆診断システム及び予兆診断方法 | |
| TWI503763B (zh) | 半導體處理控制方法和電腦可讀取紀錄媒體 | |
| JP2012226511A (ja) | 歩留まり予測システムおよび歩留まり予測プログラム | |
| JP7214417B2 (ja) | データ処理方法およびデータ処理プログラム | |
| Franke et al. | Correlations of record events as a test for heavy-tailed distributions | |
| JP5707230B2 (ja) | プロセスの状態予測方法 | |
| CN115905990A (zh) | 一种基于密度聚集算法的变压器油温异常监测方法 | |
| JP5889759B2 (ja) | 欠損値予測装置、欠損値予測方法、欠損値予測プログラム | |
| JP6990768B2 (ja) | データ処理装置、方法、及び半導体製造装置 | |
| CN115826636B (zh) | 一种cvd设备的压力控制方法及系统 | |
| JP2013168020A (ja) | プロセスの状態予測方法 | |
| Eker et al. | State-based prognostics with state duration information of cracks in structures | |
| JP2017130025A (ja) | 要因分析装置、方法およびプログラム | |
| JP2005157788A (ja) | モデル同定装置，モデル同定プログラム及びモデル同定方法 | |
| JP2008204282A (ja) | プロセスデータ予測システム及びそれを用いたプロセス管理装置 | |
| TWI824681B (zh) | 裝置管理系統、裝置的障礙原因推測方法以及非暫時性地記憶程式的記憶媒體 | |
| JP2006195542A (ja) | モデル同定装置およびモデル同定プログラム | |
| JP2008299486A (ja) | データ削除装置並びにデータ削除のための方法およびプログラム | |
| CN113449432B (zh) | 一种基于卸载弹性应变能密度的疲劳寿命预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200430 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210531 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210629 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210827 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211026 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211109 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211206 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6990768 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |