JP6896069B2 - ｋ近傍およびロジスティック回帰アプローチを用いた時系列異常検出、異常分類、ならびに遷移分析 - Google Patents

ｋ近傍およびロジスティック回帰アプローチを用いた時系列異常検出、異常分類、ならびに遷移分析 Download PDF

Info

Publication number
JP6896069B2
JP6896069B2 JP2019515220A JP2019515220A JP6896069B2 JP 6896069 B2 JP6896069 B2 JP 6896069B2 JP 2019515220 A JP2019515220 A JP 2019515220A JP 2019515220 A JP2019515220 A JP 2019515220A JP 6896069 B2 JP6896069 B2 JP 6896069B2
Authority
JP
Japan
Prior art keywords
time series
data
series data
data points
randomized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019515220A
Other languages
English (en)
Other versions
JP2019533236A (ja
Inventor
ダーモット キャントウェル，
ダーモット キャントウェル，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Applied Materials Inc
Original Assignee
Applied Materials Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Applied Materials Inc filed Critical Applied Materials Inc
Publication of JP2019533236A publication Critical patent/JP2019533236A/ja
Priority to JP2021094672A priority Critical patent/JP7260591B2/ja
Application granted granted Critical
Publication of JP6896069B2 publication Critical patent/JP6896069B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3037—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a memory, e.g. virtual memory, cache
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0727—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a storage system, e.g. in a DASD or network based storage system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751—Error or fault detection not based on redundancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766—Error or fault reporting or storing
    • G06F11/0787—Storage of error reports, e.g. persistent data storage, storage using memory protection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079—Root cause analysis, i.e. error or fault diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/30—Circuit design
    • G06F30/32—Circuit design at the digital level
    • G06F30/33—Design verification, e.g. functional simulation or model checking
    • G06F30/3308—Design verification, e.g. functional simulation or model checking using simulation
    • G06F30/3312—Timing analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/024—Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Geometry (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Description

［００１］本開示は、人工ニューラルネットワークに関し、より詳細には、システムを分析するための時系列異常検出、異常分類、および遷移分析に関する。
［００２］半導体処理工程などの工程は、ある時間区間にわたる複数のステップを含む。工程は、第１のステップから第２のステップへの遷移を含み得る。時系列データは、遷移（例えば、時系列遷移）を含む時間区間にわたって収集されたデータである。通常、半導体製造工程に関するセンサデータを分析するために、統計的方法（例えば、統計的工程管理（ＳＰＣ））が利用される。しかし、ＳＰＣやその他の統計的な工程監視方法では、時系列遷移を監視することはできない。統計的方法は、時間とともにセンサから受信されたデータ中の短時間の信号摂動を検出することができない。統計的方法はまた、誤検出（例えば、信号のごく一部がガードバンドの外側にあるために、信号全体がターゲット信号と一致していない、ということ）をもたらし、異常検出の感度の調整を可能にしない。
［００３］本開示は、添付の図面の図において、限定ではなく例として示されている。
ネットワークアーキテクチャの一実施形態を示す。 時系列遷移分析の方法の一実施形態を示す。 時系列遷移分析の方法の他の実施形態を示す。 時系列遷移分析における時系列データを示す。 時系列遷移分析におけるランダム化されたデータ点の組み合わせと時間窓を示す。 時系列遷移分析におけるランダム化されたデータ点間の距離を示す。 時系列遷移分析におけるトレーニングセットからの距離を示す。 時系列遷移分析におけるトレーニングセットからの距離を示す。 時系列遷移分析におけるロジスティック回帰を示す。 時系列遷移分析におけるロジスティック回帰に対するシータの影響を示す。 時系列遷移分析における時系列データと一致する確率を示す。 時系列遷移分析における時系列データと一致する確率を示す。 時系列遷移分析における時系列データを示す。 時系列遷移分析におけるトレーニングセットからの距離を示す。 時系列遷移分析におけるロジスティック回帰を示す。 時系列遷移分析における時系列データと一致する確率を示す。 時系列遷移分析における複数の入力に対する時系列データを示す。 時系列遷移分析における複数の入力に対する時系列データと一致する確率を示す。 例示的なコンピュータシステムを示す。
［００２３］本開示の実施形態は、データの時系列遷移分析のための方法およびシステムに関する。例えば、データサンプルは、半導体処理装置からのセンサデータであってもよい。一実施形態では、この方法およびシステムは、新しい時系列データが以前の時系列データと一致する確率を検出することができる。実施形態において、時系列遷移分析は、ｋ近傍（ｋＮＮ）分析とロジスティック回帰（ＬＲ）との組み合わせを使用することによって実行され得る。本開示の実施形態は、時系列遷移分析の感度を調整することができるという点で、拡張可能である。
［００２４］工程（例えば、製造工程）が、より短いステップ時間、より小さな部品、より厳しい公差などを含むほど、遷移（例えば、製造工程においてステップＡからステップＢへどのように進むか）が、より重要になる。工程が遷移をオーバーシュートまたはアンダーシュートする場合（例えば、１０度から２０度への遷移が速すぎる、１０度から２０度への遷移が遅すぎる、など）、問題が発生する可能性がある。繰り返し精度の高い実行は、一貫した遷移を含む。従来の監視方法（例えば、ＳＰＣ）は、過渡的な時系列を監視することができず、時間とともにセンサから受信されたデータ（本明細書ではセンサ時系列データと呼ぶ）における短時間の信号摂動を検出することができない。これらの短い異常は、欠陥（例えば、ウェハ上欠陥）を引き起こしたり、歩留まりを低下させる可能性がある。
［００２５］時系列遷移分析は、時系列遷移を監視する能力を提供する。時系列遷移分析は、従来の方法では検出できない、まれで、奇妙な、および／または予想外のシーケンス（例えば、時系列データ（サンプルに対してプロットされた値）の曲線の形状、大きさ、位置など；図４参照）を検出することができる。一実施形態では、時系列遷移の監視は、過去の時系列データから予期される遷移軌跡を推定し、新しい時系列データの軌跡を過去の時系列データの軌跡と比較することによって、実行される。時系列遷移分析はまた、短い異常を検出することができ、検出の精度を上げるまたは下げるための調整パラメータを提供することができる。時系列遷移分析はまた、従来の手法の誤検出率を克服し得る。例えば、ガードバンド分析は、信号のごく一部がガードバンドの外側にあるために信号全体がターゲット信号と一致していない、という誤検出をもたらすことがあるが、時系列遷移分析は、信号がターゲット信号と一致する確率を提供し、誤検出をもたらさない。別の実施形態では、時系列遷移分析を使用して、短時間の信号摂動を検出することができる（例えば、ＦＤＣの全てのインスタンスをサーチするために、摂動のサインを捕らえる（例えば、類似検索））。
［００２６］時系列データの異常検出分類（ＦＤＣ）は、単一のセンサからのデータを監視することがあるが、これは、分類を不正確にする可能性がある。時間的に共に変化する複数の信号を監視することによって、より多くの情報を抽出することができる（例えば、圧力スパイクの前のバルブ位置の変化は、圧力制御ロジックに問題があることを示し、バルブ位置の変化の前の圧力スパイクは、圧力センサに問題があることを示す、など）。本明細書に開示された技術は、時間的に共に変化する結合信号を扱う。
［００２７］時系列遷移分析は、時系列監視を達成するために、ｋ近傍（ｋＮＮ）法（例えば、ｋＮＮアルゴリズム）をロジスティック回帰（ＬＲ）バイナリ分類器と組み合わせてもよい。時系列データにおける特定のエクスカーションが、ｋＮＮとＬＲの組み合わせを使用して検出され得る。時系列遷移分析は、ｋＮＮを使用して、時間窓（例えば、１００秒の時間区間における１秒のスライディング時間窓）当たりの短期の時系列遷移を単一の次元に減らして、予期される挙動からの距離を決定することができる。時系列遷移分析は、ＬＲを使用して、新しい時系列データがターゲットパターンを有するか否か（例えば、新しい時系列データが、ｋＮＮ法によって決定された距離の外側にあるかどうか）の確率を生成するために使用されるバイナリ分類器を構築することができる。
［００２８］時系列遷移分析は、時系列データを考慮して工程における設定値の変化間の遷移を検出し、新しい時系列データにおける予期される遷移軌跡からの偏差を検出するために、使用され得る。予期される遷移軌跡は、時系列データによって定められてもよい。
［００２９］図１は、一実施形態によるネットワークアーキテクチャ１００を示す。最初に、時系列遷移分析システム１０２が、物理的プロセスシステム１０４などのシステムを規定する、および／またはシステムを監視するために使用されるデータソース１０６Ａ〜Ｎ（例えば、センサ）を特定する。物理的プロセスシステム１０４は、エッチングリアクタ用チャンバ、堆積チャンバなどの半導体処理装置であってもよい。ユーザは、クライアントマシン１１０を介してデータソース１０６Ａ〜Ｎのうちの様々なデータソースから時系列データ（例えばサンプル）を（例えばグラフィカルユーザインターフェース（ＧＵＩ）を介して）選択することができる。時系列遷移分析システム１０２は、トレーニングデータセットを生成し、トレーニングデータセットと時系列データに基づいて距離値を計算する。
［００３０］一実施形態において、ユーザはまた、クライアントマシン１１０を介してエクスカーション１０８（すなわち、異常なシステム挙動の定義されたパラメータ）を選択することができ、エクスカーション１０８は、時系列遷移分析システム１０２によって永続記憶装置１１２に格納することができる。
［００３１］例えば、物理的プロセスシステム１０４は、製造ツールを含むことができ、または直接もしくはネットワーク（例えば、ローカルエリアネットワーク（ＬＡＮ））を介して製造ツールに接続することができる。製造ツールの例には、電子デバイスの製造のための、エッチャー、化学気相堆積炉などの半導体製造ツールが含まれる。そのようなデバイスの製造は、レシピとして知られる様々なタイプの製造工程を含む数十の製造ステップを含むことができる。
［００３２］物理的プロセスシステム１０４は、システムを制御するために、デスクトップコンピュータ、ラップトップコンピュータ、プログラマブルロジックコントローラ（ＰＬＣ）、ハンドヘルドコンピュータ、または同様のコンピューティングデバイスを含む任意のタイプのコンピューティングデバイスを含むことができる。センサなどのデータソース１０６は、物理的プロセスシステム１０４および／もしくは製造ツールの一部であってもよいし、または物理的プロセスシステム１０４および／もしくは製造ツールに（例えばネットワークを介して）接続されてもよい。
［００３３］クライアントマシン１１０は、デスクトップコンピュータ、ラップトップコンピュータ、移動体通信装置、携帯電話、スマートフォン、ハンドヘルドコンピュータ、または同様のコンピューティングデバイスを含む任意のタイプのコンピューティングデバイスであってよい。
［００３４］一実施形態において、物理的プロセスシステム１０４、データソース１０６、永続記憶装置１１２、およびクライアントマシン１１０は、時系列遷移分析システム１０２に接続されており、これは、直接的接続であってもよいし、またはハードウェアインターフェース（図示せず）、もしくはネットワーク（図示せず）を介した間接的接続であってもよい。ネットワークは、企業内のイントラネットなどのローカルエリアネットワーク（ＬＡＮ）、無線ネットワーク、移動体通信ネットワーク、またはインターネットもしくは同様の通信システムなどの広域ネットワーク（ＷＡＮ）とすることができる。ネットワークは、有線および無線デバイスなどの任意の数のネットワーキングおよびコンピューティングデバイスを含むことができる。
［００３５］上記の機能分割は、単なる例示である。他の実施形態において、説明された機能は、モノリシック構成要素に組み合わされてもよいし、または任意の組み合わせの構成要素になるように、さらに分割されてもよい。例えば、クライアントマシン１１０および時系列遷移分析システム１０２は、単一のコンピュータシステム上、別々のコンピュータシステム上、またはそれらの組み合わせ上で、サービス提供されることができる。
［００３６］図２は、時系列遷移分析のための方法２００の一実施形態を示す。方法２００は、ハードウェア（例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど）、ソフトウェア（例えば、処理装置上で実行される命令）、またはそれらの組み合わせを含むことができる処理ロジックによって実行することができる。一実施形態では、方法２００は、図１の時系列遷移分析システム１０２によって実行される。
［００３７］図２のブロック２０２において、時系列遷移分析システム１０２の処理ロジックが、図４に示すような、時系列データ４０２（例えばターゲット信号）を受け取る。１つ以上のセンサが、工程（例えば、製造工程）中に時系列データ４０２を生成し得る。時系列データ４０２は、第１の複数のデータ点を含むことができる。第１の複数のデータ点は、時系列データ４０２のサンプルにおけるデータ点を含んでもよい。例えば、図４に示すように、サンプルは、ｎ＝２５およびｎ＋１＝５０で取得され得る。時系列データ４０２の値は、約［０，４］にｔ（ｎ）およびｔ（ｎ＋１）を含み得る。
［００３８］図２に戻ると、ブロック２０４において、時系列遷移分析システム１０２の処理ロジックは、図５Ａに示されるような、ランダム化されたデータ点５０２（例えば、ランダムサンプル）を含むトレーニングデータセットを生成する。ランダム化されたデータ点５０２は、時系列データ４０２からの１つ以上のエクスカーションについての予期される範囲の分布を含み得る。分布は、正規分布でも他の分布でもよい。一実施形態では、１００個のランダムサンプルが生成され、各ランダムサンプルは、時系列データからのエクスカーションを表す。図５Ａの例に示すように、ランダム化されたデータ点５０２は、各データ点（例えば、ｎおよびｎ＋１）でのエクスカーションを含む。例えば、データ点は、ｎ＝２５とｎ＝５０で［０，４］の周りに密集している。ランダム化されたデータ点５０２は、時系列データ４０２のパターンのためのトレーニングセットとして使用されてもよい。ランダム化されたデータ点５０２の各ランダム化されたデータ点は、時系列データ４０２からの第１の複数のデータ点のうちの１つに対応し得る。
［００３９］図２に戻ると、ブロック２０６において、時系列遷移分析システム１０２の処理ロジックは、図５Ａに示すような、時間窓５０６内にあるランダム化されたデータ点５０２のセットを用いて、ランダム化されたデータ点の組み合わせを生成する。例えば、ランダム化されたデータ点の組み合わせは、０からｎ（例えば、２５）までの時間窓５０６のインスタンス内のランダム化されたデータ点５０２ａのうちの１つと、ｎからｎ＋１まで（例えば、２５から５０まで）の時間窓５０６のインスタンス内のランダム化されたデータ点５０２ｂのうちの１つとを含み得る。一実施形態では、処理ロジックは、ランダム化されたデータ点を、時間窓５０６の最後に生成してもよい（例えば、図５Ａ参照）。別の実施形態では、処理ロジックは、ランダム化されたデータ点を、時間窓５０６の中央に生成してもよい。別の実施形態では、処理ロジックは、ランダム化されたデータ点を、時間窓５０６の最初に生成してもよい。
［００４０］時間窓５０６は、スライディング時間窓であってもよく、工程は、スライディング時間窓よりも長い時間区間にわたって行われてもよい。スライディング時間窓は、現在から時間的に後戻りする期間であってもよい。例えば、２秒間のスライディング窓は、過去２秒間に発生した任意のサンプルまたはデータ点を含み得る。スライディング時間窓の一実施形態において、第１のインスタンスは０〜２５とすることができ、第２のインスタンスは２５〜５０とすることができる、などである。したがって、窓は、２５秒スライドする。スライディング時間窓の別の実施形態において、第１のインスタンスはまた０〜２５とすることができ、第２のインスタンスは１〜２６とすることができ、次いで２〜２７とすることができる、などである。したがって、時間窓は、１秒（または他の時間単位）スライドする。
［００４１］ランダム化されたデータ点の組み合わせの生成は、スライディング時間窓５０６の複数のインスタンスの各々に対して実行され得る。複数のインスタンスの各インスタンスは、時間区間内の異なる期間にわたってもよい（例えば、ランダム化されたデータ点の組み合わせは、ｎにおける第１のデータ点およびｎ＋１における第２のデータ点からのサンプルを含む）。
［００４２］図２に戻って、ブロック２０８において、時系列遷移分析システム１０２の処理ロジックは、ランダム化されたデータ点の組み合わせに基づいて距離値を計算する。第１の距離値は、第１のランダム化されたデータ点の組み合わせに対して計算されてもよい。第１の距離値は、第１の複数のデータ点の第１のサブセットから複数のランダム化されたデータ点のセットの第１のサブセットまでの合成された距離を表してもよい。距離値の計算は、スライディング時間窓の複数のインスタンスの各々に対して実行され得る。
［００４３］図５Ｂに示すように、ランダム化されたデータ点が組み合わされて、ランダム化されたデータ点の組み合わせ５０７を提供し、各々が、ｔ（ｎ）からの第１のランダム化されたデータ点およびｔ（ｎ＋１）からの第２のランダム化されたデータ点を含む。これらのランダム化されたデータ点の組み合わせ５０７は、ｋ近傍アルゴリズムを使用して距離値を計算するために使用され得る。
［００４４］処理ロジックは、ｋ近傍（ｋＮＮ）アルゴリズムを使用して、時間窓５０６の各インスタンスに対する距離閾値を計算することができる。例えば、第１の距離閾値は、時間ｔ＝２５における時間窓５０６に対して（例えば、時間０〜２５におけるデータ点を使用して）生成され、第２の距離閾値は、時間ｔ＝２６における時間窓５０６に対して（例えば、時間１〜２６におけるデータ点を使用して）生成され得る、などである。距離閾値の計算は、複数のランダム化されたデータ点の組み合わせ５０７の各々について、トレーニングデータセットから、ランダム化されたデータ点の組み合わせ５０７と残りの各ランダム化されたデータ点の組み合わせ５０７との間のユークリッド距離を計算することを含み得る（図５Ｂ参照）。距離閾値の計算は、計算されたユークリッド距離から最小ユークリッド距離を特定することを含み得る。最小ユークリッド距離が、距離閾値であり得る。
［００４５］ｋＮＮ型アルゴリズムを使用して、トレーニングデータセットは、エクスカーションサンプルとトレーニングデータとの間の距離を推定するために使用され得る。ランダム化されたデータ点の組み合わせを含む各トレーニングサンプルについて、このサンプルとトレーニングセット内の他の全てとの間のユークリッド距離を計算することができ、ｋ番目に小さい値を格納することができる。サンプルｊに対して、距離は、ｄｊ＝ｓｍａｌｌｋ（ｘｊ−Ｘ）の式で計算される。ここで、Ｘは、ｎｘｍの行列である。値ｎは、トレーニングサンプルの数（例えば、１００個のランダムサンプル）を表す。ｍの値は、時間サンプルまたはデータ点の数（例えば、図４〜図６に示す例では、ｎ＝２５およびｎ＋１＝５０の２つの時間サンプル）を表すことができる。変数ｘｊは、ｍ要素ベクトル（例えば、［０，４］）であり得、Ｘにおけるｊ番目の行を表し得る。このプロセスが、トレーニングセット内の全てのサンプルに対して繰り返され、ｎ個の要素を有する隣接ベクトルまたは限界ベクトルＬが得られる。隣接ベクトルまたは限界ベクトルＬを使用して、単純な分類器をトレーニングするための十分に分離されたトレーニングセットを作成することができる。トレーニングセットからのランダムサンプルが選択されて、各サンプルについてｋｎｎ＝ｓｍａｌｌｋ（ｘｊ−Ｘ）を計算することができる。トレーニングセットからではないランダムサンプルが選択されて、視覚化の目的で、ｋｎｎ値が計算されてもよい。
［００４６］図６に示すように、エクスカーションパターンからランダムサンプルを選択し（サンプルクラス６０２ａ）、ｋｎｎメトリックを推定した。非エクスカーション挙動を示すランダムサンプルを選択し（サンプルクラス６０２ｂ）、ｋｎｎメトリックを推定した。サンプルクラス６０２ａは、サンプルクラス６０２ｂよりもトレーニングセットまでの距離が小さい。図６において、２次元の信号が、線形分離可能に見える１次元のメトリックに変えられている。
［００４７］この上述のプロセスは、２つのデータ点を含むサンプルについて説明された。しかしながら、この同じプロセスは、多次元入力を単一のメトリック（例えば、サンプルとトレーニングデータとの間のｋ番目の距離）に変えるために、多次元に一般化することができる。全ての潜在的な値について図６を検討すると、１つの最小値が、約［０，４］のエクスカーション位置にある。図７Ａ〜図７Ｂは、複数の入力パターンに対するｋＮＮメトリックを示し、最小値が約［０，４］に現れることを示す。
［００４８］図２に戻り、ブロック２１０において、時系列遷移分析システム１０２の処理ロジックは、計算された距離値に基づいて分類器を生成する。処理ロジックは、複数の計算された距離に基づいて距離閾値を決定することによって、分類器を生成することができる。分類器の生成は、スライディング時間窓５０６の複数のインスタンスの各々に対して実行されてもよい。分類器は、ロジスティック回帰を使用して生成されてもよい。
［００４９］処理ロジックは、トレーニングデータからロジスティック回帰８０２（ロジットフィット（ｌｏｇｉｔ ｆｉｔ）；図８に示されるような）を決定することができる（例えば、信号がエクスカーションに一致する確率を与えるロジットフィット８０２をトレーニングデータに対して生成する）。トレーニングデータは、元の時系列データ、ならびにランダム化されたデータ点の組み合わせおよびそれらの計算された距離値を含み得る。式ｐ（ｙ｜Ｘ）＝１／（１＋ｅ−β＊Ｘ）を用いて、ロジスティック回帰８０２を決定することができる。トレーニングデータが、βを推定するために使用される。図８に示すように、ロジスティック回帰８０２は、第１のデータ点（サンプルクラス６０２ａ）から第２のデータ点（サンプルクラス６０２ｂ）への遷移パターンの配置を含み得る。遷移パターンは、遷移パターン上の中心に位置する反射点８０４に関して反射し得る。時系列データ４０２は、臨界的な遷移を有する階段関数として検出されてもよい（例えば、短いステップの階段堆積）。時系列遷移分析を使用して、制限のある手法によって発生した誤検出を克服することができる。
［００５０］時系列遷移分析は、調整パラメータを利用することができる。時系列遷移分析は、仕様外のサンプルがどれだけ距離に寄与するかを、制御し得る。仕様外のサンプルの寄与量を増やすと、システムの感度が上がる。反射点８０４を高くすると、システムの感度が下がる。ロジスティック回帰８０２の勾配を調整することは、反射８０４に近いサンプルの確率を変える。ロジスティック回帰８０２は反射限界（例えば、垂直線）を有してもよく、反射限界を超えるいかなるサンプルも、予期される挙動と一致しないと見なされ得る。一実施形態では、図８に示すものよりも浅いまたは浅くない遷移パターンが望ましい場合がある。遷移の浅さを大きくまたは小さくするように調整するための調整パラメータとして、シータが使用されてもよい。
［００５１］図９は、より浅い遷移を生じるように調整されたシータ９０２を有するロジスティック回帰８０２を示す。より浅い遷移において、全ての入力ｔｎとｔｎ＋１に対して確率を推定することができる。βの推定値を使用して、確率は、図７Ａ〜図７Ｂで決定された最小値で最大になり得る。
［００５２］処理ロジックは、確率の決定の感度を調整するための第１のパラメータ（例えば、シータ９０２）を受け取ることができる。例えば、シータ９０２ａは１の値を有し、シータ９０２ｂは２の値を有し、シータ９０２ｃは５の値を有することができる。処理ロジックは、第１のパラメータ９０２を考慮して、反射点８０４の周りの遷移パターンの浅さを調整することができる。シータ９０２を変更することによって調整を低感度、高感度などに設定するために、調整ノブが使用されてもよい。
［００５３］図２に戻って、ブロック２１２において、時系列遷移分析システム１０２の処理ロジックは、分類器を使用して、新しい時系列データが元の時系列データと一致する確率を決定する。処理ロジックは、新しい時系列データを受け取って、時間窓５０６内の元の時系列データと時間窓５０６内の新しい時系列との間の第２の距離値を計算することができる。処理ロジックは、分類器を使用して、時間窓５０６内の新しい時系列データが距離閾値を超える第２の距離値を有するかどうかを決定し、時間窓５０６内の新しい時系列データが距離閾値を超えていると決定したことに応答して異常通知または通知を生成することができる。
［００５４］図１０Ａ〜図１０Ｂは、入力ペアが時系列データ４０２と一致する確率を、全ての値［ｔｎ，ｔｎ＋１］について示す（例えば、［０，４］で最大）。
［００５５］図１１Ａ〜図１１Ｄは、時系列遷移分析を用いて、様々な新しい時系列データ１００２が時系列データ４０２と一致する確率を示す。図１１Ａにおいて、新しい時系列データ１１０２ａは、時系列データ４０２のパターンとほぼ一致するパターンを有し、その結果、確率は約１となる。図１１Ｂにおいて、ｎ＝２５で新しい時系列データ１１０２ｂは、予期されるよりも大きいため、時系列データ４０２と一致する確率は約０．９３である。図１１Ｃにおいて、新しい時系列データ１１０２ｃは、時系列データ４０２よりも、ｎ＝２５で高く、ｎ＝５０で低いため、ターゲット信号と一致する確率は約０．５である。図１１Ｄにおいて、新しい時系列データ１１０２ｄは、時系列データ４０２よりも、ｎ＝２５でかなり高く、ｎ＝５０でかなり低いため、ターゲットと一致する確率は約０である。
［００５６］図３は、時系列遷移分析のための方法３００の一実施形態を示す。方法３００は、ハードウェア（例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど）、ソフトウェア（例えば、処理装置上で実行される命令）、またはそれらの組み合わせを含むことができる処理ロジックによって実行することができる。一実施形態では、方法３００は、図１の時系列遷移分析システム１０２によって実行される。
［００５７］ブロック３０２において、処理ロジックは、第１の複数のデータ点を含む時系列データ１１０２ａ〜ｄを受け取る（図１１Ａ〜図１１Ｄ参照）。第１の複数のデータ点の各々は、異なる時間に関連付けられてもよい。時系列データは、工程中にセンサによって生成されてもよい。
［００５８］ブロック３０４において、処理ロジックは、時間窓１１０６内にある時系列データ１１０２ａ〜ｄからの第１の複数のデータ点の第１のサブセットを、以前の時系列データ４０２からの第２の複数のデータ点の第２のサブセットと比較する。時間窓１１０６は、指定された量だけ現在の時点から時間的に後方に延びるスライディング時間窓とすることができる。スライディング時間窓は、指定された量だけ現在の時点から時間的に前に延びてもよい。
［００５９］ブロック３０６において、処理ロジックは、第２の複数のデータ点の第２のサブセットから第１の複数のデータ点の第１のサブセットまでの合成された距離を表す距離値を計算する。
［００６０］ブロック３０８において、処理ロジックは、距離値が距離閾値を超えているかどうかを決定する（図１１Ａ〜図１１Ｄ参照）。
［００６１］ブロック３１０において、処理ロジックは、距離値が距離閾値を超えていると決定したことに応答して通知を出力する。一実施形態において、通知は、新しい時系列データが時系列データ４０２と一致する確率の表示を含む（例えば、新しい時系列データ１１０２ａに対して０．９９６、新しい時系列データ１１０２ｂに対して０．０２６、新しい時系列データ１１０２ｃに対して０．５０２、新しい時系列データ１１０２ｄに対して０）。一実施形態において、通知は、新しい時系列データが、時系列データ４０２と一致する確率閾値（例えば、０．５、０．８５）を下回っている、新しい時系列データのセクション（例えば、新しい時系列データに対応する時間窓の区間）の表示を含む。一実施形態において、通知は、グラフィカルユーザインターフェースを介して（例えば、グラフ、チャート、テキストなどを介して）表示されてもよい。一実施形態において、通知は、可聴、視覚的、などの警告のうちの１つ以上である。一実施形態において、通知は、電話、電子メール、テキストなどのうちの１つ以上によって送られる。一実施形態において、通知の出力は、ツール、機器、構成要素、プラントなどのうちの１つ以上に、活動を中止する、活動を休止する、活動の速度を落とす、停止する、などのうちの１つ以上を行わせる。
［００６２］時系列遷移分析は、異常検出のために使用され得る。一実施形態において、異常検出分類（ＦＤＣ）は、既知の欠陥および／または異常なサインについてレシピセンサデータを自動的にサーチする。予期される挙動が過去の挙動から推測され得るので、ユーザセットアップ費用を低くすることができる。既知の欠陥ライブラリは、レシピ設定値とは無関係であり得る。同じライブラリを複数のレシピで使うことができる。欠陥ライブラリは、制御された環境で社内で開発し、現場に展開することができる。既知の欠陥は、既知の欠陥の迅速な解決を可能にする是正措置を有することができる。異常なサインについてトラブルシューティングの知識を得ることができる（例えば、関心のあるトレースまたはセンサデータがユーザに対してハイライトされ、ユーザは、異常なサインにタグ付けまたは異常なサインを分類することができ、さらに是正措置を追加することもできる）。一般的なユースケースには、既知の欠陥に関する後処理レシピデータ、ならびにトラブルシューティングおよび新しい欠陥に関する知識の獲得が含まれる。
［００６３］時系列遷移分析は、従来の方法（例えば、ＳＰＣ、標準的な異常監視方法）によって検出できない異常挙動について時系列をサーチするために、時系列エクスカーションの検出に使用され得る。予期される挙動が過去の挙動から推測されるので、ユーザセットアップ費用を低くすることができる。アルゴリズムは、他の手法（例えば、単純なガードバンド監視）に固有の誤検出を許容するように設計することができる。時系列エクスカーションを保存して、過去のデータまたは将来のデータをサーチするために使用することができる。トラブルシューティングの知識を得ることができる。一般的なユースケースには、既知の欠陥に関する後処理レシピデータ、トラブルシューティングおよび新しい欠陥に関する知識の獲得、過渡的な時系列の分析、ならびに繰り返し精度分析が含まれる。
［００６４］時系列遷移分析は、工程にエラーが発生しているときに問題を特定するために、使用され得る。例えば、チャンバに断続的な圧力スパイクが発生していても、ツールからのデータエクスポートの不足、または社内もしくは現場でのエラーの再現が不可能なため、根本的な原因と解決策を見つけることが困難であるかもしれない。時系列遷移分析を使用して、ツールの過去の周期的データのサブセットをエクスカーション挙動についてサーチすることができる。エクスカーション挙動が見い出されて（例えば、エクスカーションサーチが、予期される挙動と一致しない複数のランを特定する）、ツールデータのスパイクと一致し、エクスカーションが再びサーチされ得る。エクスカーションが数回発生すると、問題の効率的なトラブルシューティングと解決が可能になり得る。この問題は、特定の構成要素（例えば、ポンプを開閉して圧力読み取り値に変動を生じさせる特定のバルブ）の機能として特定されてもよい。
［００６５］時系列遷移分析は、不安定性を検出するためにも使用され得る。例えば、ツールは、あるレシピ上で、より低い電力のサインを用い得る。候補レシピが、ツール上で連続的に循環され得る。全てのランの手動分析は実行不可能であり得るので、断続的な低い確率および／または頻度の問題は、見逃されるかもしれない。異常検出および時系列エクスカーション検出を使用して、候補レシピの全てのランの全てのステップについて電力および反射電力を分析することができる。分析により、ランの割合で疑わしい挙動をすばやく特定することができる。観察されたいくつかの欠陥は、歩留まりへの潜在的な影響を有する可能性がある。プロセス開発チームへのフィードバックは、レシピの変更とプロセスの繰り返しを促すことができる。エクスカーションは、約５％減少し得る。
［００６６］図１２Ａは、時系列遷移分析における時系列データを示す。図１２Ａに示すように、時系列データ４０２のｎ個のサンプルまたはデータ点が、図４に示されている時間窓における２個のサンプルの代わりに、取られている。一実施形態において、サンプルは、［５，１０，１５…９５］で取られ、その結果１９個のサンプルとなり、方法２００または３００は、２次元問題ではなく１９次元問題となる。時系列遷移分析（例えば、方法２００、方法３００）を使用して、トレーニングセットが、各サンプル点におけるターゲット信号について作成される。
［００６７］図１２Ｂに示すように、エクスカーションパターンからランダムサンプルを選択し（クラス６０２ａ）、ｋｎｎメトリックを推定した。非エクスカーション挙動を示すランダムサンプルを選択し（クラス６０２ｂ）、ｋｎｎメトリックを推定した。図１２Ｃに示すように、ロジスティック回帰８０２が、５のシータを使用して生成される。図１３Ａ〜図１３Ｄに示されるように、ロジスティック回帰８０２を使用して、様々な入力信号について、様々な入力信号が時系列データ４０２と一致する確率を評価することができる。時系列データ４０２は、トレーニングされた分類器が生成されるパターンである。新しい時系列データ１３０２ａ〜ｄは、元の時系列データ４０２に関連付けられた特定の工程の追加の実行における新しい信号である。図１３Ａにおいて、新しい時系列データ１３０２ａは、時系列データ４０２に対してシフトされており、一致の確率は約０．６である。図１３Ｂにおいて、新しい時系列データ１３０２ｂは、ｎ＝０からｎ＝５０において時系列データ４０２よりも高く、一致の確率は約０．７である。
［００６８］図１４に示すように、時系列データ４０２は、第１のセンサからの第１のデータ１４０２（例えば、時系列データ１４０２）と、第２のセンサからの第２のデータ１４０４（例えば、時系列データ１４０４）とを含み得る。処理ロジックは、第１のデータと第２のデータとの間の時間的関係を決定してもよい（例えば、ＦＤＣのための時間的に間隔を置いた共変量信号を捕捉する）。各時系列データは、各信号上で異なるパターンを有することができる。図１４において、時系列データ１４０４におけるくぼみは、時系列データ１４０２における増加と関連付けられてもよい（例えば、時系列データ１４０２における増加を引き起こしてもよい）。時系列遷移分析（例えば、方法２００、方法３００）を使用して、時系列データ１４０２および１４０４の関連したパターンを検出することができる。一実施形態において、時系列データ１４０２および１４０４を連結して、単一のトレーニングベクトルが作成される（例えば、３９次元問題を作成する）。ロジスティック回帰およびｋＮＮアルゴリズムを使用して、様々な入力信号が時系列データ１４０２および１４０４と一致する確率、ならびに時系列データ１４０２と１４０４との間の関係を評価することができる。図１５Ａ〜図１５Ｄは、入力信号１５０２および１５０４が時系列データ１４０２および１４０４と一致する確率を示す。
［００６９］一実施形態において、各時系列データ４０２について１つずつ、２つのトレーニングセットが作成され、２次元ロジスティック回帰８０２が使用される。
［００７０］一例では、時系列遷移分析は、３つのセンサによって測定されたデータを受け取ることができる。データは、順方向電力データ、反射電力データ、および圧力データを含むことができる。３つのセンサからの３つの信号と、それらの共分散は、プラズマ生成の偏差のサインを示し得る。時系列遷移分析は、３つのセンサによって測定されたデータ内に、ある時間区間にわたって異常なサインがあると決定することができる。予期からの偏差は、主に順方向電力信号において、その時間区間が始まって約０．４秒にあり得る。この偏差は、通常よりも高い反射電力のサインを同時に引き起こし得る。これは、プラズマ生成の問題を示している可能性がある。圧力は、正しい形状を示しているが、約０．５秒シフトしている可能性がある。圧力スパイクは、反射電力が発生したときの目印となり得る。３つのセンサからのデータの時系列遷移分析は、何がプラズマ生成偏差を引き起こしたかを決定するために、１つ以上の他の信号データに影響を及ぼした異常なサインの開始位置を特定することができる。
［００７１］図１６は、例示的なコンピューティングデバイス（またはシステム）１６００を示すブロック図である。一実施形態において、コンピューティングデバイス（またはシステム）１６００は、図１の時系列遷移分析システム１０２であり得る。コンピューティングデバイス１６００は、コンピューティングデバイス１６００に、本明細書で論じられた方法のうちの任意の１つ以上の方法を実行させるための命令のセットを含む。このマシンは、クライアント−サーバネットワーク環境においてサーバマシンとして動作してもよい。マシンは、パーソナルコンピュータ（ＰＣ）、セットトップボックス（ＳＴＢ）、サーバ、ネットワークルータ、スイッチもしくはブリッジ、またはそのマシンによって実行されるべき動作を指定する命令のセット（シーケンシャルまたはその他）を実行できる任意のマシンであってよい。さらに、単一のコンピューティングデバイスしか示されていないが、「コンピューティングデバイス」という用語は、本明細書に記載の方法のうちの任意の１つ以上の方法を実施するための命令のセット（または複数のセット）を個別にまたは共同で実行する任意のマシンの集まりを含むものとする。
［００７２］例示的なコンピューティングデバイス１６００は、処理システム（処理装置）１６０２、メインメモリ１６０４（例えば、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）などのダイナミックランダムアクセスメモリ（ＤＲＡＭ）等）、スタティックメモリ１６０６（例えば、フラッシュメモリ、スタティックランダムアクセスメモリ（ＳＲＡＭ）等）、およびデータ記憶装置１６１６を含み、これらはバス１６０８を介して互いと通信する。
［００７３］処理装置１６０２は、マイクロプロセッサ、中央処理装置などの１つ以上の汎用処理装置を表す。より具体的には、処理装置１６０２は、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、または他の命令セットを実装するプロセッサ、もしくは命令セットの組み合わせを実装するプロセッサであってもよい。処理装置１６０２は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサなどの１つ以上の専用処理装置であってもよい。処理装置１６０２は、本明細書で説明した動作およびステップを実行するように構成されている。
［００７４］コンピューティングデバイス１６００は、ネットワークインターフェース装置１６２２をさらに含むことができる。コンピューティングデバイス１６００はまた、ビデオディスプレイユニット１６１０（例えば、液晶ディスプレイ（ＬＣＤ）またはブラウン管（ＣＲＴ））、英数字入力装置１６１２（例えば、キーボード）、カーソル制御装置１６１４（例えば、マウス）、および信号発生装置１６２０（例えば、スピーカー）を含んでもよい。
［００７５］データ記憶装置１６１６は、本明細書で説明された方法または機能のうちの任意の１つ以上を具現化する１つ以上の命令セット１６２６を記憶するコンピュータ可読記憶媒体１６２４を含むことができる。一実施形態において、命令１６２６は、時系列遷移分析システム１０２を含む。コンピュータ可読記憶媒体１６２４は、コンピュータシステムによって実行されたときに、コンピュータシステムに時系列遷移分析（例えば、方法２００、方法３００など）を含む一組の動作を実行させる命令を含む非一時的コンピュータ可読記憶媒体であってもよい。命令１６２６はまた、コンピューティングデバイス１６００による実行中に、完全にまたは少なくとも部分的に、メインメモリ１６０４内および／または処理装置１６０２内に存在してもよく、メインメモリ１６０４および処理装置１６０２が、コンピュータ可読媒体を構成してもよい。命令１６２６はさらに、ネットワークインターフェース装置１６２２を経由してネットワーク１６２８を介して送信または受信されてもよい。
［００７６］コンピュータ可読記憶媒体１６２４は、例示的な実施形態において、単一の媒体として示されているが、「コンピュータ可読記憶媒体」という用語は、１つ以上の命令セットを格納する単一の媒体または複数の媒体（例えば、集中型もしくは分散型データベース、ならびに／または関連するキャッシュおよびサーバ）を含むものとする。「コンピュータ可読記憶媒体」という用語はまた、マシンによって実行され、本開示の任意の１つ以上の方法をマシンに実行させる命令のセットを格納、符号化または保持することができる任意の媒体を含むものとする。したがって、「コンピュータ可読記憶媒体」という用語は、限定しないが、固体メモリ、光媒体、および磁気媒体を含む。
［００７７］以下の詳細な説明のいくつかの部分は、コンピュータメモリ内のデータビットに対する操作のアルゴリズムおよび記号表現によって提示されている。これらのアルゴリズムの記述および表現は、データ処理分野の当業者が自分の仕事の内容を他の当業者に最も効果的に伝えるために使用する手段である。ここで、また一般的に、アルゴリズムは、ある結果を導く首尾一貫した一連のステップであると考えられる。ステップは、物理量の物理的操作を含むステップである。必ずというわけではないが、通常、これらの量は、格納、転送、結合、比較、およびその他の操作が可能な電気信号または磁気信号の形をとる。主に一般的な使用のために、これらの信号をビット、値、要素、記号、文字、用語、数などと呼ぶことが便利である場合がある。
［００７８］ただし、これらおよび類似の用語は全て、適切な物理量に関連付けられるべきであり、これらの量に適用される単に便利なラベルにすぎないことに、留意されたい。以下の説明から明らかなように特に明記しない限り、説明全体を通して、「決定する」、「特定する」、「比較する」、「送信する」などの用語を利用する議論は、コンピュータシステムのレジスタおよびメモリ内の物理（例えば電子的）量として表されるデータを操作し、コンピュータシステムのメモリもしくはレジスタまたは他の情報記憶装置、伝送装置もしくは表示装置内の物理量として同様に表される他のデータに変換するコンピュータシステム、または同様の電子コンピューティングデバイスの動作およびプロセスを指すことが、理解される。
［００７９］本開示の実施形態はまた、本明細書中の動作を実行するためのシステムに関する。このシステムは、本明細書に記載の目的のために特別に構築することができ、あるいはコンピュータに格納されたコンピュータプログラムによって選択的に作動または再構成される汎用コンピュータを含むことができる。そのようなコンピュータプログラムは、限定されないが、フロッピーディスク、光ディスク、ＣＤ−ＲＯＭ、および光磁気ディスクを含む任意のタイプのディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気もしくは光カード、フラッシュメモリ、または電子的命令を格納するのに適した任意のタイプの媒体などのコンピュータ（または機械）可読記憶媒体に格納することができる。
［００８０］本明細書に提示されたアルゴリズムおよび表示は、いかなる特定のコンピュータまたは他の装置にも本質的に関連していない。本明細書の教示に従って、様々な汎用システムをプログラムと共に使用することができ、または方法ステップを実行するためのより特殊化された装置を構築することが便利であり得る。これらの様々なシステムの構造は、本明細書の説明から明らかになるであろう。さらに、本開示の実施形態は、任意の特定のプログラミング言語を参照して説明されてはいない。本明細書に記載されているような本開示の教示を実施するために様々なプログラミング言語を使用できることが理解されよう。
［００８１］上記の説明は例示的であり限定的ではないことを意図していることを、理解されたい。上記の説明を読んで理解すれば、他の多くの実施形態が、当業者に明らかとなろう。したがって、本開示の範囲は、特許請求の範囲が権利を有する等価物の全範囲とともに、添付の特許請求の範囲を参照して、決定されるべきである。

Claims (17)

  1. コンピュータシステムによって実行されたときに、前記コンピュータシステムに、
    工程中に１つ以上のセンサによって生成された時系列データであって、第１の複数のデータ点を含む時系列データを受け取ることと、
    複数のランダム化されたデータ点の各ランダム化されたデータ点が、前記時系列データからの前記第１の複数のデータ点のうちの１つに対応する、前記複数のランダム化されたデータ点を含むトレーニングデータセットを生成することと、
    時間窓内にある前記複数のランダム化されたデータ点のセットを用いて、複数のランダム化されたデータ点の組み合わせであって、前記複数のランダム化されたデータ点の組み合わせのうちの第１のランダム化されたデータ点の組み合わせが、前記複数のランダム化されたデータ点の前記セットの第１のサブセットを含む、複数のランダム化されたデータ点の組み合わせを生成することと、
    前記複数のランダム化されたデータ点の組み合わせに基づいて、複数の距離値であって、前記第１のランダム化されたデータ点の組み合わせについて計算される第１の距離値が、前記複数のランダム化されたデータ点の前記セットの前記第１のサブセットに対応する前記第１の複数のデータ点の第１のサブセットから、前記複数のランダム化されたデータ点の前記セットの前記第１のサブセットまでの合成された距離を表す、複数の距離値を、計算することと、
    第１のデータ点から第２のデータ点への遷移パターンの配置を含むロジスティック回帰であって、前記遷移パターンが、前記遷移パターン上の中心に位置する反射点に関して反射する、前記ロジスティック回帰を、前記複数の距離値が計算された前記トレーニングデータセットから決定することと、
    前記ロジスティック回帰を用いて、前記工程の新しい実行中に生成された新しい時系列データが前記時系列データと一致する確率を決定することと、
    を含む一組の動作を実行させる、コンピュータプログラム。
  2. 前記一組の動作が、
    前記新しい時系列データを受け取ることと、
    前記時間窓内の前記時系列データと前記時間窓内の前記新しい時系列データとの間の第２の距離値を計算することと、
    前記第２の距離値と、前記ロジスティック回帰とを用いて、前記新しい時系列データが前記時系列データと一致する前記確率を決定することと、
    をさらに含む、請求項１に記載のコンピュータプログラム。
  3. 前記一組の動作が、
    確率閾値を決定することと、
    前記新しい時系列データが前記時系列データと一致する前記確率が、前記確率閾値を下回っているときに、通知を生成することと、
    をさらに含む、請求項２に記載のコンピュータプログラム。
  4. 前記時間窓が、スライディング時間窓であり、
    前記工程が、前記スライディング時間窓よりも長い時間区間で行われ、
    前記ランダム化されたデータ点の組み合わせの生成、前記距離値の計算、および前記ロジスティック回帰の決定が、前記スライディング時間窓の複数のインスタンスの各々について実行され、前記複数のインスタンスの各インスタンスが、前記時間区間内の異なる期間にわたる、請求項１から３のいずれか一項に記載のコンピュータプログラム。
  5. 前記一組の動作が、
    調整パラメータを受け取ることと、
    前記調整パラメータに基づいて、前記反射点の周りの前記遷移パターンの勾配を調整することにより、前記新しい時系列データが前記時系列データと一致する前記確率の決定の感度を調整することと、
    をさらに含む、請求項１から４のいずれか一項に記載のコンピュータプログラム。
  6. 前記一組の動作が、
    前記時間窓について、ｋ近傍（ｋＮＮ）アルゴリズムを用いて距離閾値を計算することを、さらに含み、前記距離閾値の計算が、
    前記複数のランダム化されたデータ点の組み合わせのうちの各対応するランダム化されたデータ点の組み合わせについて、該対応するランダム化されたデータ点の組み合わせと、前記トレーニングデータセットからの残りの各ランダム化されたデータ点の組み合わせとの間のユークリッド距離を計算することと、
    計算されたユークリッド距離から、前記距離閾値である最小ユークリッド距離を特定することと、
    を含む、請求項１から５のいずれか一項に記載のコンピュータプログラム。
  7. 前記時系列データが、第１のセンサからの第１のデータと第２のセンサからの第２のデータとを含み、前記一組の動作が、
    前記第１のデータと前記第２のデータとの間の時間的関係を決定すること
    をさらに含む、請求項１から６のいずれか一項に記載のコンピュータプログラム。
  8. コンピュータシステムによって実行されたときに、前記コンピュータシステムに、
    工程中にセンサによって生成された時系列データであって、第１の複数のデータ点を含み、前記第１の複数のデータ点の各々が、異なる時間に関連付けられている、時系列データを、受け取ることと、
    時間窓内にある前記第１の複数のデータ点の第１のサブセットを、以前の時系列データからの第２の複数のデータ点の第２のサブセットと比較することと、
    前記第２の複数のデータ点の前記第２のサブセットから前記第１の複数のデータ点の前記第１のサブセットまでの合成された距離を表す距離値を計算することと、
    計算された前記距離値と、ロジスティック回帰とを用いて、前記時系列データが前記以前の時系列データと一致する確率を決定することと、
    を含む一組の動作を実行させる、コンピュータプログラムであって、
    前記ロジスティック回帰は遷移パターンの配置を含み、前記遷移パターンは、前記遷移パターン上の中心に位置する反射点に関して反射するパターンである、
    コンピュータプログラム。
  9. 前記一組の動作が、
    確率閾値を決定することと、
    前記時系列データが前記以前の時系列データと一致する前記確率が、前記確率閾値を下回っているときに、通知を生成することと、
    をさらに含む、請求項８に記載のコンピュータプログラム。
  10. 前記時間窓が、指定された量だけ現在の時点から時間的に後方に延びるスライディング時間窓である、請求項８または９に記載のコンピュータプログラム。
  11. 前記一組の動作が、
    調整パラメータを受け取ることと、
    前記調整パラメータに基づいて、前記反射点の周りの前記遷移パターンの勾配を調整することにより、前記時系列データが前記以前の時系列データと一致する前記確率の決定の感度を調整することと、
    をさらに含む、請求項８から１０のいずれか一項に記載のコンピュータプログラム。
  12. コンピュータシステムによって実行されたときに、前記コンピュータシステムに、
    工程中に１つ以上のセンサによって生成された時系列データであって、第１の複数のデータ点を含む時系列データを受け取ることと、
    複数のランダム化されたデータ点の各ランダム化されたデータ点が、前記時系列データからの前記第１の複数のデータ点のうちの１つに対応する、前記複数のランダム化されたデータ点を含むトレーニングデータセットを生成することと、
    時間窓内にある前記複数のランダム化されたデータ点のセットを用いて、複数のランダム化されたデータ点の組み合わせであって、前記複数のランダム化されたデータ点の組み合わせのうちの第１のランダム化されたデータ点の組み合わせが、前記複数のランダム化されたデータ点の前記セットの第１のサブセットを含む、複数のランダム化されたデータ点の組み合わせを生成することと、
    前記複数のランダム化されたデータ点の組み合わせに基づいて、複数の距離値であって、前記第１のランダム化されたデータ点の組み合わせについて計算される第１の距離値が、前記複数のランダム化されたデータ点の前記セットの前記第１のサブセットに対応する前記第１の複数のデータ点の第１のサブセットから、前記複数のランダム化されたデータ点の前記セットの前記第１のサブセットまでの合成された距離を表す、複数の距離値を、計算することと、
    第１のデータ点から第２のデータ点への遷移パターンの配置を含むロジスティック回帰であって、前記遷移パターンが、前記遷移パターン上の中心に位置する反射点に関して反射する、前記ロジスティック回帰を、前記複数の距離値が計算された前記トレーニングデータセットから決定することと、
    前記ロジスティック回帰を用いて、前記工程の新しい実行中に生成された新しい時系列データが前記時系列データと一致する確率を決定することと、
    を含む一組の動作を実行させる命令を含む、非一時的コンピュータ可読記憶媒体。
  13. 前記一組の動作が、
    前記新しい時系列データを受け取ることと、
    前記時間窓内の前記時系列データと前記時間窓内の前記新しい時系列データとの間の第２の距離値を計算することと、
    をさらに含み、
    前記一組の動作において、前記第２の距離値と、前記ロジスティック回帰とを用いて、前記新しい時系列データが前記時系列データと一致する前記確率を決定する、請求項１２に記載の非一時的コンピュータ可読記憶媒体。
  14. 前記一組の動作が、
    確率閾値を決定することと、
    前記新しい時系列データが前記時系列データと一致する前記確率が、前記確率閾値を下回っているときに、通知を生成することと、
    をさらに含む、請求項１３に記載の非一時的コンピュータ可読記憶媒体。
  15. 前記時間窓が、スライディング時間窓であり、
    前記工程が、前記スライディング時間窓よりも長い時間区間で行われ、
    前記ランダム化されたデータ点の組み合わせの生成、前記距離値の計算、および前記ロジスティック回帰の決定が、前記スライディング時間窓の複数のインスタンスの各々について実行され、前記複数のインスタンスの各インスタンスが、前記時間区間内の異なる期間にわたる、
    請求項１２から１４のいずれか一項に記載の非一時的コンピュータ可読記憶媒体。
  16. 前記一組の動作が、
    調整パラメータを受け取ることと、
    前記調整パラメータに基づいて、前記反射点の周りの前記遷移パターンの勾配を調整することにより、前記新しい時系列データが前記時系列データと一致する前記確率の決定の感度を調整することと、
    をさらに含む、請求項１２から１５のいずれか一項に記載の非一時的コンピュータ可読記憶媒体。
  17. 前記一組の動作が、前記時間窓について、ｋ近傍（ｋＮＮ）アルゴリズムを用いて距離閾値を計算することを、さらに含み、前記距離閾値の計算が、
    前記複数のランダム化されたデータ点の組み合わせのうちの各対応するランダム化されたデータ点の組み合わせについて、該対応するランダム化されたデータ点の組み合わせと、前記トレーニングデータセットからの残りの各ランダム化されたデータ点の組み合わせとの間のユークリッド距離を計算することと、
    計算されたユークリッド距離から、前記距離閾値である最小ユークリッド距離を特定することと、
    を含む、請求項１２から１６のいずれか一項に記載の非一時的コンピュータ可読記憶媒体。
JP2019515220A 2016-09-19 2017-09-19 ｋ近傍およびロジスティック回帰アプローチを用いた時系列異常検出、異常分類、ならびに遷移分析 Active JP6896069B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021094672A JP7260591B2 (ja) 2016-09-19 2021-06-04 ｋ近傍およびロジスティック回帰アプローチを用いた時系列異常検出、異常分類、ならびに遷移分析

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/269,530 2016-09-19
US15/269,530 US10565513B2 (en) 2016-09-19 2016-09-19 Time-series fault detection, fault classification, and transition analysis using a K-nearest-neighbor and logistic regression approach
PCT/US2017/052334 WO2018053536A2 (en) 2016-09-19 2017-09-19 Time-series fault detection, fault classification, and transition analysis using a k-nearest-neighbor and logistic regression approach

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021094672A Division JP7260591B2 (ja) 2016-09-19 2021-06-04 ｋ近傍およびロジスティック回帰アプローチを用いた時系列異常検出、異常分類、ならびに遷移分析

Publications (2)

Publication Number Publication Date
JP2019533236A JP2019533236A (ja) 2019-11-14
JP6896069B2 true JP6896069B2 (ja) 2021-06-30

Family

ID=61620187

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019515220A Active JP6896069B2 (ja) 2016-09-19 2017-09-19 ｋ近傍およびロジスティック回帰アプローチを用いた時系列異常検出、異常分類、ならびに遷移分析
JP2021094672A Active JP7260591B2 (ja) 2016-09-19 2021-06-04 ｋ近傍およびロジスティック回帰アプローチを用いた時系列異常検出、異常分類、ならびに遷移分析

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021094672A Active JP7260591B2 (ja) 2016-09-19 2021-06-04 ｋ近傍およびロジスティック回帰アプローチを用いた時系列異常検出、異常分類、ならびに遷移分析

Country Status (6)

Country Link
US (2) US10565513B2 (ja)
JP (2) JP6896069B2 (ja)
KR (2) KR102155155B1 (ja)
CN (2) CN117540242A (ja)
TW (2) TWI779584B (ja)
WO (1) WO2018053536A2 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10917419B2 (en) * 2017-05-05 2021-02-09 Servicenow, Inc. Systems and methods for anomaly detection
US11474485B2 (en) 2018-06-15 2022-10-18 Johnson Controls Tyco IP Holdings LLP Adaptive training and deployment of single chiller and clustered chiller fault detection models for connected chillers
US11859846B2 (en) 2018-06-15 2024-01-02 Johnson Controls Tyco IP Holdings LLP Cost savings from fault prediction and diagnosis
US20200026985A1 (en) 2018-07-17 2020-01-23 Palo Alto Research Center Incorporated System and method for characterizing an arbitrary-length time series using pre-selected signatures
CN109634802B (zh) * 2018-11-12 2023-04-14 平安科技（深圳）有限公司 进程监控方法及终端设备
US11321633B2 (en) * 2018-12-20 2022-05-03 Applied Materials Israel Ltd. Method of classifying defects in a specimen semiconductor examination and system thereof
RU2724710C1 (ru) * 2018-12-28 2020-06-25 Акционерное общество "Лаборатория Касперского" Система и способ классификации объектов вычислительной системы
US11714397B2 (en) * 2019-02-05 2023-08-01 Samsung Display Co., Ltd. System and method for generating machine learning model with trace data
US11042459B2 (en) 2019-05-10 2021-06-22 Silicon Motion Technology (Hong Kong) Limited Method and computer storage node of shared storage system for abnormal behavior detection/analysis
CN110308713A (zh) * 2019-06-03 2019-10-08 湖州师范学院 一种基于k近邻重构的工业过程故障变量识别方法
EP3772007A1 (en) 2019-07-30 2021-02-03 Continental Teves AG & Co. OHG Physical execution monitor
CN110543166A (zh) * 2019-09-18 2019-12-06 河南工学院 一种加权k近邻标准化方法的多模态工业过程故障检测方法
CN111291096B (zh) * 2020-03-03 2023-07-28 腾讯科技（深圳）有限公司 数据集构建方法、装置和存储介质及异常指标检测方法
US20220011760A1 (en) * 2020-07-08 2022-01-13 International Business Machines Corporation Model fidelity monitoring and regeneration for manufacturing process decision support
JP2023541512A (ja) * 2020-07-23 2023-10-03 ピーディーエフ ソリューションズ，インコーポレイテッド プロセストレースのための自動窓生成
US20220035357A1 (en) * 2020-07-30 2022-02-03 Johnson Controls Tyco IP Holdings LLP Building management system with supervisory fault detection layer
JP2023551390A (ja) * 2020-11-10 2023-12-08 グローバルウェーハズ カンパニー リミテッド 階層的予測及び複合しきい値を用いる改良された機械学習のためのシステム及び方法
US20240027304A1 (en) * 2020-12-08 2024-01-25 Jfe Steel Corporation Trigger condition determination method for time series signal, abnormality diagnosis method for equipment to be monitored, and trigger condition determination device for time series signal
US11709477B2 (en) 2021-01-06 2023-07-25 Applied Materials, Inc. Autonomous substrate processing system
JP2023036469A (ja) * 2021-09-02 2023-03-14 株式会社日立製作所 外れ値検出装置及び方法
US20220084119A1 (en) * 2021-11-30 2022-03-17 Aaron French Method, system, and device for predicting stock performance and building an alert model for such estimation
US11656927B1 (en) 2021-12-03 2023-05-23 International Business Machines Corporation Localizing faults in multi-variate time series data

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4413867B2 (ja) * 2003-10-03 2010-02-10 旭化成株式会社 データ処理装置及びデータ処理装置制御プログラム
JP2005293724A (ja) * 2004-03-31 2005-10-20 Sanyo Electric Co Ltd 誤り箇所の検出方法、その方法を利用する誤り検出回路、誤り訂正回路、および再生装置
US7711734B2 (en) 2006-04-06 2010-05-04 Sas Institute Inc. Systems and methods for mining transactional and time series data
KR100882484B1 (ko) * 2007-04-10 2009-02-09 삼성전자주식회사 에러 검출 기능을 가지는 반도체 메모리 장치, 이를 구비한메모리 시스템 및 반도체 메모리 장치의 데이터 출력 방법
US7765020B2 (en) * 2007-05-04 2010-07-27 Applied Materials, Inc. Graphical user interface for presenting multivariate fault contributions
JPWO2009054474A1 (ja) * 2007-10-26 2011-03-10 凸版印刷株式会社 アレル判定装置及び方法、ならびに、コンピュータプログラム
US8078552B2 (en) * 2008-03-08 2011-12-13 Tokyo Electron Limited Autonomous adaptive system and method for improving semiconductor manufacturing quality
KR101493552B1 (ko) * 2008-05-14 2015-02-13 닛토보 온쿄 엔지니어링 가부시키가이샤 신호판정방법, 신호판정장치, 프로그램, 신호판정시스템
JP2010009313A (ja) * 2008-06-26 2010-01-14 Mitsubishi Electric Corp 障害予兆検知装置
US8731724B2 (en) * 2009-06-22 2014-05-20 Johnson Controls Technology Company Automated fault detection and diagnostics in a building management system
CN102156873B (zh) * 2010-12-31 2013-01-30 北京航空航天大学 一种基于混沌的机械零部件早期单点故障检测与分类方法
US9043647B2 (en) * 2013-01-02 2015-05-26 Tata Consultancy Services Limited Fault detection and localization in data centers
US9262726B2 (en) 2013-01-17 2016-02-16 Applied Materials, Inc. Using radial basis function networks and hyper-cubes for excursion classification in semi-conductor processing equipment
JP6076751B2 (ja) 2013-01-22 2017-02-08 株式会社日立製作所 異常診断方法およびその装置
KR101560274B1 (ko) * 2013-05-31 2015-10-14 삼성에스디에스 주식회사 데이터 분석 장치 및 방법
CA2915383C (en) 2013-06-24 2023-05-02 Cylance Inc. Automated system for generative multimodel multiclass classification and similarity analysis using machine learning
US9910430B2 (en) * 2013-08-23 2018-03-06 Applied Materials, Inc. K-nearest neighbor-based method and system to provide multi-variate analysis on tool process data
CN104517020B (zh) 2013-09-30 2017-10-20 日电（中国）有限公司 用于因果效应分析的特征提取方法和装置
JP5530020B1 (ja) * 2013-11-01 2014-06-25 株式会社日立パワーソリューションズ 異常診断システム及び異常診断方法
US10452458B2 (en) * 2014-01-23 2019-10-22 Microsoft Technology Licensing, Llc Computer performance prediction using search technologies
US9652354B2 (en) 2014-03-18 2017-05-16 Microsoft Technology Licensing, Llc. Unsupervised anomaly detection for arbitrary time series
CN105224543A (zh) 2014-05-30 2016-01-06 国际商业机器公司 用于处理时间序列的方法和装置
US10643138B2 (en) 2015-01-30 2020-05-05 Micro Focus Llc Performance testing based on variable length segmentation and clustering of time series data

Also Published As

Publication number Publication date
KR20200106565A (ko) 2020-09-14
TW202139004A (zh) 2021-10-16
US20200210873A1 (en) 2020-07-02
TWI729211B (zh) 2021-06-01
US10565513B2 (en) 2020-02-18
KR20190045383A (ko) 2019-05-02
CN117540242A (zh) 2024-02-09
US20180082201A1 (en) 2018-03-22
TWI779584B (zh) 2022-10-01
JP2019533236A (ja) 2019-11-14
WO2018053536A2 (en) 2018-03-22
JP2021157811A (ja) 2021-10-07
WO2018053536A3 (en) 2018-07-26
JP7260591B2 (ja) 2023-04-18
KR102155155B1 (ko) 2020-09-11
CN109716303B (zh) 2023-11-03
CN109716303A (zh) 2019-05-03
TW201823986A (zh) 2018-07-01
KR102239233B1 (ko) 2021-04-09

Similar Documents

Publication Publication Date Title
JP6896069B2 (ja) ｋ近傍およびロジスティック回帰アプローチを用いた時系列異常検出、異常分類、ならびに遷移分析
Yang et al. Bayesian Belief Network-based approach for diagnostics and prognostics of semiconductor manufacturing systems
KR20140012144A (ko) 생물학적 기반의 챔버 매칭
KR102564629B1 (ko) 공간 왜곡 유사도를 사용하는 툴 오류 분석
JPWO2016079972A1 (ja) 要因分析装置、要因分析方法とプログラム、及び、要因分析システム
KR20140144282A (ko) 일반화된 그리고 견고한 예측 모델들의 생성을 위한 증가된 신호 대 잡음비
JP6629204B2 (ja) ツールプロセスデータの多変量解析を提供するためのｋ近傍法に基づく方法及びシステム
Kim et al. Wafer edge yield prediction using a combined long short-term memory and feed-forward neural network model for semiconductor manufacturing
US20200004219A1 (en) Defect rate analytics to reduce defectiveness in manufacturing
JP2022529164A (ja) パラメータ化されたバッチラン監視を用いた品質インジケータによる技術装置の制御
CN111832880B (zh) 对正在进行的生产批运行的质量指示符的计算机实现的确定
CN114881167B (zh) 异常检测方法、装置、电子设备和介质
CN110889260A (zh) 用于侦测工艺参数的方法及装置、电子设备和计算机可读介质
CN113052302A (zh) 基于循环神经网络的机器健康监控方法、装置及终端设备
Ko et al. A multivariate parameter trace analysis for online fault detection in a semiconductor etch tool
JP2024507688A (ja) 測定値違反解析を使用したプロセス異常の識別
TWI628603B (zh) 半導體處理裝置中使用徑向基底函數網路及超立方體作偏離分類
Landin et al. A Dynamic Threshold Based Approach forDetecting the Test Limits
US20230108313A1 (en) Data triage in microscopy systems
Zhai et al. Explainable AutoML (xAutoML) with adaptive modeling for yield enhancement in semiconductor smart manufacturing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190515

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200616

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210608

R150 Certificate of patent or registration of utility model

Ref document number: 6896069

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150