JP7430271B2 - エラー要因の推定装置及び推定方法 - Google Patents

Description

本発明は、エラー要因の推定装置及び推定方法に関する。

半導体計測装置や半導体検査装置は、レシピと呼ばれる設定パラメータに従って、半導体ウエハの表面における検査点ごとに検査動作や計測動作を実施する。レシピパラメータの調整は、計測・検査対象の属性や装置の特性などに応じて、エンジニアがマニュアル作業によって各項目を最適化するのが一般的である。したがって、例えば、調整が十分でないレシピの使用や、経時変化によって装置の特性が変わった場合においては、検査動作や計測動作においてエラーが生じる可能性がある。このようなエラーは、レシピの内容に起因するエラーとしてレシピエラーと呼ばれる。

レシピエラーが発生した際には、サービスエンジニアが半導体計測装置や半導体検査装置から装置内部データを解析して原因箇所を特定するのが一般的である。しかしながら、半導体の微細化・多様化に伴い、レシピ数及びレシピ設定項目の増加、レシピ作成の複雑化が生じている。このため、レシピエラーの原因特定には時間を要し、装置の稼働率を低下させる一因となっている。

特許文献１には、学習データの真値作成作業の手間を省き、学習データの少量化を図ることで、学習時間の短期間化を可能とすることを目的として、電子デバイスの検査対象パターンの画像と、検査対象パターンを製造するために使用するデータに基づき、機械学習により構成された識別器を用いて検査対象パターンの画像を検査するパターン検査システムにおいて、画像選択部（学習データ選択部）は、記憶部に格納されたパターンデータとパターン画像に基づき、複数のパターン画像から機械学習に用いる学習用パターン画像を選択するものであり、パターン毎に記憶した同形パターンが存在する複数の位置座標のデータをクラスタリングし、１個以上のクラスに分けるものであることが開示されている。

特開２０２０－３５２８２号公報

特許文献１に記載されているパターン検査システムの学習データ選択部は、同形パターンに基づいて複数の位置座標のデータをクラスタリングするものである。しかしながら、この学習データ選択部は、エラーに対する各パラメータの寄与度を基準とするものではなく、改善の余地があると考えられる。

本発明は、エラー要因の事前のラベル付けがなくても、発生する多種類のエラーごとにエラーを検出する学習モデルを生成することを目的とする。さらに、本発明は、ラベル付け処理数を低減することを目的とする。

本発明のエラー要因推定装置は、処理対象データを用いて、機械学習モデルへの入力に適した形式を有する学習データを生成するデータ前処理部と、学習データを入力としてエラーを検出する学習モデルであるエラー検出モデルを生成し、エラー検出モデルをノードとした木構造によってエラー検出モデル間の関係を表現するモデルツリーを生成するモデルツリー生成部と、を備えたものである。

本発明によれば、エラー要因の事前のラベル付けがなくても、発生する多種類のエラーごとにエラーを検出する学習モデルを生成することができる。さらに、本発明によれば、ラベル付け処理数を低減することができる。

実施例に係るエラー要因推定装置を含む情報処理システムの一例を示す構成図である。 図１のモデルツリー生成部を示す構成図である。 図２のモデルツリー生成部における工程を示すフローチャートである。 図３の工程の一部であるモデルツリー生成部におけるエラーデータのクラスタリング及びエラー検出モデル生成の工程を示す模式図である。 図１のエラー要因推定部を示す構成図である。 エラー要因推定部においてエラー要因確率を算出する工程を示すフローチャートである。 複数のエラー検出モデルを解析して得られたエラー要因確率を複合して可視化する構成を示す模式図である。 複数のエラー検出モデルを解析して得られたエラー要因確率の一例を示す端末画面である。 モデルツリー中のエラー検出モデルの情報の一例を示す端末画面である。 モデルツリー中のエラー検出モデルを別のエラー検出モデルと入れ替える操作の一例を示す端末画面である。

本開示における実施形態に係るエラー要因の推定装置及び推定方法について、まとめて説明する。

エラー要因の推定装置は、データ前処理部と、モデルツリー生成部と、を備えている。

モデルツリー生成部は、学習データのうちクラスタリングが未完了のデータを入力として、正常データとエラーデータとの傾向の違いからエラー検出ルールを学習してクラスタリング用エラー検出モデルを生成するクラスタリング用エラー検出モデル生成部と、学習データとして入力された特徴量がエラー検出モデルの出力に対してどの程度寄与したかを表す感度の値を計算するモデル解析部と、特徴量及び感度の値に基づきデータのクラスタリングをするデータクラスタリング部と、当該クラスタリングされたデータについてクラスタリングを完了するかを判定するクラスタリング完了判定部と、クラスタリングが完了したデータを入力として、正常データとエラーデータとの傾向の違いからエラー検出ルールを学習して要因別エラー検出モデルを生成する要因別エラー検出モデル生成部と、クラスタリング用エラー検出モデル及び要因別エラー検出モデルをデータのクラスタリングの流れに基づき結線することで、クラスタリング用エラー検出モデル及び要因別エラー検出モデルをノードとした系統樹であるモデルツリーを生成するモデル結線部と、を有することが望ましい。

クラスタリング用エラー検出モデルは、要因別エラー検出モデルよりも、モデル構造がシンプルであることが望ましい。

エラー要因の推定装置は、エラー要因推定部を更に備え、エラー要因推定部は、処理対象データのうちエラー要因を推定したいデータについてデータ前処理部を用いて機械学習モデルへの入力に適した形式を有するデータとして生成されたエラー要因推定対象データを入力として、生成済みの要因別エラー検出モデル（事前に生成され蓄積されている要因別エラー検出モデル）の性能を評価するモデル評価部と、モデル評価部にて性能の評価値が高いとされた要因別エラー検出モデルを１つ以上選定するモデル選定部と、選定された要因別エラー検出モデルが位置するモデルツリー中の分岐を抽出し、この分岐中に含まれるエラー検出モデルの相関パラメータを抽出する相関パラメータ抽出部と、を有することが望ましい。

エラー要因推定部は、相関パラメータ抽出部で抽出された相関パラメータを入力としてエラー要因候補の確率を計算するエラー要因確率計算部を更に有することが望ましい。

エラー要因の推定装置においては、モデル選定部にて要因別エラー検出モデルが複数選定された場合には、要因別エラー検出モデルのそれぞれに基づいて得られた前記確率を、モデル評価部で得られたモデル評価値で補正することが望ましい。

エラー要因の推定装置は、クラスタリング用エラー検出モデル及び要因別エラー検出モデルとこれらのモデルに関する情報とを紐づけて保存するモデルデータベースを更に備えていることが望ましい。

エラー要因の推定装置においては、モデルデータベースに格納されているクラスタリング用エラー検出モデル及び要因別エラー検出モデルに複数のバージョンが存在する場合には、端末を用いてユーザがモデルツリー内のモデルをモデルデータベースに格納された別モデルに入れ替えることができるように構成されていることが望ましい。

処理対象データは、対象物の設定パラメータ及び計測結果の少なくとも一方であることが望ましい。

エラー要因の推定装置においては、前記確率であって補正前後のものを端末に表示することが望ましい。

エラー要因の推定装置においては、端末を介してユーザがモデルツリーに含まれるエラー検出モデルを選択することで、選択したエラー検出モデルと紐づけられた情報が表示されるように構成されていることが望ましい。

エラー要因の推定方法は、処理対象データを用いて、機械学習モデルへの入力に適した形式を有する学習データを生成するデータ前処理工程と、学習データを入力としてエラーを検出する学習モデルであるエラー検出モデルを生成し、エラー検出モデルをノードとした木構造によってエラー検出モデル間の関係を表現するモデルツリーを生成するモデルツリー生成工程と、を有する。

モデルツリー生成工程は、学習データのうちクラスタリングが未完了のデータを入力として、正常データとエラーデータとの傾向の違いからエラー検出ルールを学習してクラスタリング用エラー検出モデルを生成するクラスタリング用エラー検出モデル生成工程と、学習データとして入力された特徴量がエラー検出モデルの出力に対してどの程度寄与したかを表す感度の値を計算するモデル解析工程と、特徴量及び感度の値に基づきデータのクラスタリングをするデータクラスタリング工程と、当該クラスタリングされたデータについてクラスタリングを完了するかを判定するクラスタリング完了判定工程と、クラスタリングが完了したデータを入力として、正常データとエラーデータとの傾向の違いからエラー検出ルールを学習して要因別エラー検出モデルを生成する要因別エラー検出モデル生成工程と、クラスタリング用エラー検出モデル及び要因別エラー検出モデルをデータのクラスタリングの流れに基づき結線することで、クラスタリング用エラー検出モデル及び要因別エラー検出モデルをノードとした系統樹であるモデルツリーを生成するモデル結線工程と、を有することが望ましい。

以下に説明する実施形態において、「半導体検査装置」は、半導体ウエハの表面に形成されたパターンの寸法を計測する装置、半導体ウエハの表面に形成されたパターンの欠陥有無を検査する装置、或いはパターンが形成されていないベアウエハの欠陥の有無を検査する装置等を含み、これらの装置を複数組み合わせた複合装置をも含むものである。

また、以下に説明する実施形態において、「検査」とは、計測又は検査の意味で用いるものとし、「検査動作」とは、計測動作又は検査動作の意味で用いるものとし、「検査対象」とは、計測又は検査の対象となるウエハ、或いは、当該ウエハにおける計測又は検査の対象領域を指すものとする。

図１は、実施例に係るエラー要因推定装置を含む情報処理システムの一例を示したものである。

本図において、半導体検査装置１は、ネットワーク１０１を介してデータベース２及びエラー要因推定装置３（エラー要因の推定装置）に接続されている。エラー要因推定装置３は、端末４に接続されている。エラー要因推定装置３は、半導体検査装置１が実施する検査動作におけるエラーの要因を推定する。

半導体検査装置１から送られるデータには、例えば、装置データ、計測レシピ（以下単に「レシピ」と呼ぶ場合もある。）、計測結果及びエラー結果が含まれる。また、レシピには、計測点数、計測点（Ｅｖａｌｕａｔｉｏｎ Ｐｏｉｎｔ：ＥＰ）の座標情報、画像を撮像する際の撮像条件、撮像シーケンス等が含まれていてもよい。また、レシピには、計測点に併せて計測点を計測するための準備段階で取得される画像の座標や撮像条件等が含まれていてもよい。

装置データは、装置固有パラメータ、装置機差補正データ及び観察条件パラメータを含む。装置固有パラメータは、半導体検査装置１を規定仕様どおりに動作させるために用いる補正パラメータである。装置機差補正データは、半導体検査装置間の機差を補正するために用いるパラメータである。観察条件パラメータは、例えば、電子光学系の加速電圧等の走査型電子顕微鏡（ＳＥＭ）の観察条件を規定するパラメータである。

レシピは、レシピパラメータとして、ウエハマップ、アライメントパラメータ、アドレッシングパラメータ及び測長パラメータを含む。ウエハマップは、半導体ウエハの表面の座標マップ（例えばパターンの座標）である。アライメントパラメータは、例えば、半導体ウエハの表面の座標系と半導体検査装置１内部の座標系との間のずれを補正するために用いるパラメータである。アドレッシングパラメータは、例えば、半導体ウエハの表面に形成されているパターンのうち、検査対象領域内に存在する特徴的なパターンを特定する情報である。測長パラメータは、長さを測定する条件を記述したパラメータであり、例えばパターンのうちどの部位の長さを測定するかを指定するパラメータである。

計測結果は、測長結果、画像データ及び動作ログを含む。測長結果は、半導体ウエハの表面のパターンの長さを測定した結果を記述したものである。画像データは、半導体ウエハの観察画像である。動作ログは、アライメント、アドレッシング及び測長の各動作工程における半導体検査装置１の内部状態を記述したデータである。例えば、各部品の動作電圧、観察視野の座標等が挙げられる。

エラー結果は、エラーが発生した場合に、アライメント、アドレッシング及び測長の各動作工程のいずれで発生したエラーであるかを示すパラメータである。

これらの装置データ、レシピ、計測結果、エラー結果等のデータは、ネットワーク１０１を介してデータベース２に蓄積される。蓄積されたデータは、エラー要因推定装置３にて解析される。解析結果は、端末４（ＧＵＩ）にてユーザが読み取ることができる形式で表示される。

エラー要因推定装置３は、データ前処理部１１、モデルツリー生成部１２、エラー要因推定部１３、モデルデータベース１４（モデルＤＢ）及びモデルツリー１５を有している。

データ前処理部１１では、データベース２から送られた装置データ、レシピ、計測結果等の生データ（処理対象データ）から、機械学習モデルに適した形式へデータを整形し、学習データとして出力する。ここで、データの整形は、欠損値の処理、不要な変数の削除、データのスケーリング、カテゴリカル変数のエンコーディング、交互作用特徴量などの複数データを組み合わせた複合的な特徴量作成などの機械学習の前処理を含む。

モデルツリー生成部１２では、学習データを入力として、エラーを検出する学習モデルの階層化されたツリー構造（以下「モデルツリー」という）を生成する。

図２は、図１のモデルツリー生成部１２の構成を示したものである。

モデルツリー生成部１２は、クラスタリング用エラー検出モデル生成部２１、モデル解析部２２、データクラスタリング部２３、クラスタリング完了判定部２４、要因別エラー検出モデル生成部２５及びモデル結線部２６を有している。

データベース２から送られたデータは、データ前処理部１１において処理され、学習データ４１として出力される。学習データ４１は、クラスタリング用エラー検出モデル生成部２１に送られる。そして、学習データ４１は、モデルツリー生成部１２において、クラスタリング用エラー検出モデル生成部２１、モデル解析部２２、データクラスタリング部２３、クラスタリング完了判定部２４、要因別エラー検出モデル生成部２５及びモデル結線部２６の順に処理され、モデルツリーとして出力される。

この過程において、クラスタリング完了判定部２４においては、クラスタリングの状態を判定し、場合によっては、クラスタリング用エラー検出モデル生成部２１にデータを戻す。クラスタリング用エラー検出モデル生成部２１及び要因別エラー検出モデル生成部２５からは、適宜モデルデータベース１４にデータを送るようになっている。

図３は、図２のモデルツリー生成部１２内の構成要素における処理工程を示したものである。

ステップＳ１０１では、クラスタリング用エラー検出モデル生成部２１において、クラスタリングが未完了である学習データ４１を入力として正常データとエラーデータとの傾向の違いからエラー検出ルールを学習してクラスタリング用のエラー検出モデルを生成する。このエラー検出モデルは、Ｒａｎｄｏｍ ＦｏｒｅｓｔやＸＧＢｏｏｓｔなどの決定木をベースとしたアルゴリズムや、Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋなど、どのような機械学習アルゴリズムを用いて生成するとしてもよい。

ステップＳ１０２では、モデル解析部２２において、クラスタリング用エラー検出モデル生成部２１で生成されたエラー検出モデルに対して、入力された学習データ４１内の各特徴量がモデル出力であるエラー予測結果に対してどの程度寄与したかを表す感度の値を計算する。この感度は、例えば、エラー検出モデルが決定木をベースとしたアルゴリズムで構築される場合、各特徴量がモデル内の分岐に出現する個数や目的関数の改善値等に基づき計算される変数重要度（Ｆｅａｔｕｒｅ Ｉｍｐｏｒｔａｎｃｅ）や、各特徴量の値のモデル出力への寄与度を計算するＳＨＡＰ（ＳＨａｐｌｅｙ Ａｄｄｉｔｉｖｅ ｅｘＰｌａｎａｔｉｏｎｓ）値によって評価することができる。

ステップＳ１０３では、データクラスタリング部２３において、特徴量とそのモデルに対する感度との関係から、データを２つ以上にクラスタリングする。このクラスタリング方法としては、ｋ－平均法や混合ガウスモデルなどの教師なし学習を用いることができる。

ステップＳ１０４では、クラスタリング完了判定部２４において、データクラスタリング部２３でクラスタリングされたデータについてクラスタリングを完了するかを判定する。このクラスタリング完了の判定方法としては、例えばクラスタリングされたデータを更に学習データとテストデータに分割し、学習データを用いて生成したエラー検出モデルの精度がテストデータに対して閾値以上であればクラスタリング完了と判定することができる。クラスタリング完了と判定されたデータには、クラスタリング完了のフラグを付与する。

ステップＳ１０５では、全てのデータについてクラスタリング完了のフラグがついているか判定し、フラグがついていないデータがあれば、そのデータについて再びステップＳ１０１からステップＳ１０４までの処理を繰り返す。

図４は、図３のステップＳ１０１からステップＳ１０４までの処理を模式的に示したものである。

図４においては、各ステップにおいて得られたデータをグラフ等で表すことにより明瞭にしている。

Ｓ１０１において、クラスタリング用のエラー検出モデルを生成する。そして、Ｓ１０２において、このエラー検出モデルに対する各特徴量のＳＨＡＰ値などの感度を計算する。１つの特徴量とその感度との関係は、図４のＳ１０２に示すような散布図（グラフ）となる。

この特徴量と感度との関係から教師なし学習を用いて、図４に示すように例えばグループＡ（Ｇｒ．Ａ）とグループＢ（Ｇｒ．Ｂ）にデータをクラスタリングする。これらの処理は、全てのデータにクラスタリング完了フラグがつくまで繰り返す。

図３のステップＳ１０６では、要因別エラー検出モデル生成部２５において、クラスタリングされたデータごとに正常データとエラーデータとの傾向の違いから、エラー検出ルールを学習するエラー検出モデルを生成する。この要因別エラー検出モデル生成部２５は、前述のクラスタリング用エラー検出モデル生成部２１と同じく、Ｒａｎｄｏｍ ＦｏｒｅｓｔやＸＧＢｏｏｓｔなどの決定木をベースとしたアルゴリズムやＮｅｕｒａｌ Ｎｅｔｗｏｒｋなど、どのような機械学習アルゴリズムを用いて生成するとしてもよい。ただし、クラスタリング用エラー検出モデル生成部２１と要因別エラー検出モデル生成部２５とでは、それぞれ異なるモデルパラメータ値を用いることができる。

モデルパラメータは、木構造のモデルにおける木の数、木の深さなどモデルの複雑さを決定するハイパーパラメータを含む。例えば、クラスタリング用エラー検出モデル生成部２１では、モデル解析部２２によるデータの解析やその解析結果を用いたクラスタリングが容易になるよう、モデルの複雑さに関する木の数や木の深さなどのパラメータを要因別エラー検出モデル生成部２５で生成されるモデルと比較して小さい値に設定することができる。一方で、要因別エラー検出モデル生成部２５では、生成されるモデルの信頼性を高めるために、エラーの検出精度が向上するようチューニングされたモデルパラメータ値を設定することができる。まとめると、クラスタリング用エラー検出モデルは、要因別エラー検出モデルよりも、モデル構造がシンプルである。このようなモデル構造は、図２においては、クラスタリング用エラー検出モデルと要因別エラー検出モデルとの違い、すなわち分岐の数の違いとして表している。

クラスタリング用エラー検出モデル生成部２１及び要因別エラー検出モデル生成部２５で生成されたエラー検出モデル、すなわちクラスタリング用エラー検出モデル及び要因別エラー検出モデルは、モデルデータベース１４に保存する。

ステップＳ１０７では、モデル結線部２６において、クラスタリング用エラー検出モデル生成部２１および要因別エラー検出モデル生成部２５で生成されたモデルをクラスタリングの流れに基づき結線することで、エラー検出モデルをノードとした系統樹であるモデルツリーを生成する。言い換えると、モデルツリーは、木構造によってエラー検出モデル間の関係を表現するものである。

このように、正常データとエラーデータとを見分ける学習モデルを生成し、このモデルを解析することで、正常データとエラーデータとの差異を数値化する。類似した差異を示すエラーごとにデータをクラスタリングし、それらを同一要因として学習モデルを生成することで、エラー要因の事前のラベル付けなくとも、発生する多種類のエラーごとにそれらを検出する学習モデルを生成することができる。

また、モデルツリーによりモデル同士の位置関係を可視化することで、どのモデルとどのモデルが類似しているかなど、ユーザによるモデルの分析や管理を容易とすることができる。

次に、生成したエラー検出モデルやそのモデルツリーを用いて、エラー要因推定部１３にてエラー要因を推定する方法について説明する。

図５は、図１のエラー要因推定部１３を示す構成図である。

データ前処理部１１では、データベース２から送られた装置データ、レシピ、計測結果等の生データのうちエラー要因を推定したいデータについて、機械学習モデルに適した形式へデータを整形し、エラー要因推定対象データ４２として出力する。

エラー要因推定部１３では、エラー要因推定対象データ４２を入力として、そのエラー要因候補の確率を計算する。エラー要因推定部１３は、モデル評価部３１、モデル選定部３２、相関パラメータ抽出部３３及びエラー要因確率計算部３４を有している。

図６は、これらエラー要因推定部１３内の構成要素における処理工程を示したものである。

ステップＳ２０１では、モデル評価部３１において、エラー要因推定対象データ４２について、モデルデータベース１４内に格納されている要因別のエラー検出モデルの性能を評価する。性能評価は、エラー検出モデルの出力であるエラー予測結果と、入力したエラーデータにおける真のエラーとを比較することで得られる。性能の評価指標としては、精度、再現率、適合率、Ｆ１値、ＡＵＣ等を用いることができる。ここで、Ｆ１値は、適合率と再現率との調和平均である。また、ＡＵＣは、Ａｒｅａ Ｕｎｄｅｒ ｔｈｅ Ｃｕｒｖｅの略称である。図５では、性能の評価指標として精度を用いた場合を例として示している。

ステップＳ２０２では、モデル選定部３２において、モデル評価部３１で性能の評価値が高かった要因別のエラー検出モデルを入力されたエラーデータに適合したモデルとして１つ以上選定する。選定方法としては、評価値の高い上位のモデルや、評価値が予め定められた閾値以上のモデルを選定する方法などがある。

ステップＳ２０３では、相関パラメータ抽出部３３において、選定した要因別のエラー検出モデルが位置するモデルツリー中の分岐を抽出し、この分岐中に含まれるエラー検出モデルの相関パラメータを抽出する。この相関パラメータの抽出方法としては、モデルツリー生成部１２のモデル解析部２２で計算された感度の高い上位の特徴量を選定することができる。図５では、例として入力されたエラーデータに対して最も精度の高いモデルが「要因別エラー検出モデルＢ」であり、この「要因別エラー検出モデルＢ」がモデルツリーで位置する分岐と分岐中に含まれるモデルを太線で示している。この分岐中に含まれる各モデルについて、感度が高いと特徴量として計算された「マッチングスコア」（登録パターンと撮像画像との一致度）や「コントラスト」、「パターン検出倍率」、「パターン検出座標」などの相関パラメータを得る。

ステップＳ２０４では、エラー要因確率計算部３４において、抽出された相関パラメータを入力として各エラー要因の確率（エラー要因確率）を計算し、端末４を介して結果を確からしさとしてユーザに提示する。図５においては、「座標ずれ」の確からしさが最も高く、ユーザはエラー要因を「座標ずれ」の可能性が高いと判断することができる。

このエラー要因確率の計算には、ニューラルネットモデルなどを用いることができる。このエラー要因確率モデルの学習には、相関パラメータの組み合わせに対するエラー要因のラベル付けが必要となるが、このラベル付けは、クラスタリングされたデータ単位での実施となるため、従来手法である発生エラー１件ごとのラベル付けと比較して、処理数を大幅に削減することができる。

モデル選定部３２において２つ以上の要因別エラー検出モデルが選定された場合は、各モデルについての相関パラメータから得られたエラー要因確率を複合して示す。

この方法について、次に説明する。

図７は、複数のエラー検出モデルを解析して得られたエラー要因確率を複合して可視化する構成を示したものである。

モデル選定部３２において、例えば「要因別エラー検出モデルＡ」及び「要因別エラー検出モデルＢ」の２つのモデルが選定された場合、相関パラメータ抽出部３３にて各モデルがモデルツリー中に位置するモデルツリー中の分岐を抽出し、この分岐中に含まれるエラー検出モデルの相関パラメータとして「相関パラメータＡ」及び「相関パラメータＢ」をそれぞれ抽出する。

この「相関パラメータＡ」及び「相関パラメータＢ」をエラー要因確率計算部３４に入力し、それぞれから得られるエラー要因確率を計算する。計算されたエラー要因確率を、モデル評価部３１で得られたモデル評価値で補正する。最もシンプルには、エラー要因確率にそれぞれのモデル精度を乗算し、正規化する。補正後のそれぞれのエラー要因確率を合計することで、複数のモデルから複合されたエラー要因確率をユーザに示すことができる。

図８は、複数のモデルから複合されたエラー要因確率を画面に表示した例を示したものである。

本図においては、相関パラメータＡ及び相関パラメータＢのそれぞれに関するエラー要因確率が比較可能な形でグラフ化されている。

また、クラスタリング用エラー検出モデル生成部２１や要因別エラー検出モデル生成部２５で生成したモデルに関する情報をモデルデータベース１４にモデルと紐づけて格納することで、端末４を介してユーザが選択したモデルに関する情報を表示することができる。

図９は、この表示イメージの例を示したものである。

本図に示すように、モデルに関する情報としては、例えばモデル解析部２２（図２）で計算された感度の高い上位の特徴量（相関パラメータ）や、学習データに含まれるレシピ名、学習データの収集期間、モデル精度などがある。

さらに、データベース２内の蓄積データが更新されるなどモデルデータベース１４に格納されたエラー検出モデルに複数のバージョンが存在する場合、端末４を介してユーザがモデルツリー内のモデルをモデルデータベース１４に格納されたモデルに入れ替えることができる。

図１０は、この操作イメージを示したものである。

本図に示すように、例えば、モデルデータベース１４内に格納されたモデルを画面上でドラッグし、モデルを置き換えたいツリー位置にドロップすることで、ユーザが対話的にモデルツリー内のモデルを更新することができる。

なお、本実施例では、半導体検査装置のエラー要因を推定する場合について説明したが、本開示の内容は、これに限定されるものではなく、装置の動作を規定するパラメータ及びそのパラメータを採用したときにエラーが生じるか否かについてのモデルやモデルツリーを生成させる場合にも適用することができる。すなわち、半導体検査装置以外の装置についても本開示の内容を適用することができる。

１：半導体検査装置、２：データベース、３：エラー要因推定装置、４：端末、１１：データ前処理部、１２：モデルツリー生成部、１３：エラー要因推定部、１４：モデルデータベース、１５：モデルツリー、２１：クラスタリング用エラー検出モデル生成部、２２：モデル解析部、２３：データクラスタリング部、２４：クラスタリング完了判定部、２５：要因別エラー検出モデル生成部、２６：モデル結線部、３１：モデル評価部、３２：モデル選定部、３３：相関パラメータ抽出部、３４：エラー要因確率計算部、４１：学習データ、４２：エラー要因推定対象データ。

Claims (11)

1. 処理対象データを用いて、機械学習モデルへの入力に適した形式を有する学習データを生成するデータ前処理部と、
   前記学習データを入力としてエラーを検出する学習モデルであるエラー検出モデルを生成し、前記エラー検出モデルをノードとした木構造によって前記エラー検出モデル間の関係を表現するモデルツリーを生成するモデルツリー生成部と、を備え、
   前記モデルツリー生成部は、
   前記学習データのうちクラスタリングが未完了のデータを入力として、正常データとエラーデータとの傾向の違いからエラー検出ルールを学習してクラスタリング用エラー検出モデルを生成するクラスタリング用エラー検出モデル生成部と、
   前記学習データとして入力された特徴量が前記エラー検出モデルの出力に対してどの程度寄与したかを表す感度の値を計算するモデル解析部と、
   前記特徴量及び前記感度の値に基づきデータのクラスタリングをするデータクラスタリング部と、
   当該クラスタリングされたデータについて前記クラスタリングを完了するかを判定するクラスタリング完了判定部と、
   前記クラスタリングが完了したデータを入力として、正常データとエラーデータとの傾向の違いからエラー検出ルールを学習して要因別エラー検出モデルを生成する要因別エラー検出モデル生成部と、
   前記クラスタリング用エラー検出モデル及び前記要因別エラー検出モデルをデータのクラスタリングの流れに基づき結線することで、前記クラスタリング用エラー検出モデル及び前記要因別エラー検出モデルをノードとした系統樹である前記モデルツリーを生成するモデル結線部と、を有する、エラー要因の推定装置。
2. 前記クラスタリング用エラー検出モデルは、前記要因別エラー検出モデルよりも、モデル構造がシンプルである、請求項１記載のエラー要因の推定装置。
3. エラー要因推定部を更に備え、
   前記エラー要因推定部は、
   前記処理対象データのうちエラー要因を推定したいデータについて前記データ前処理部を用いて前記機械学習モデルへの入力に適した形式を有するデータとして生成されたエラー要因推定対象データを入力として、生成済みの前記要因別エラー検出モデルの性能を評価するモデル評価部と、
   前記モデル評価部にて前記性能の評価値が高いとされた要因別エラー検出モデルを１つ以上選定するモデル選定部と、
   選定された要因別エラー検出モデルが位置する前記モデルツリー中の分岐を抽出し、この分岐中に含まれるエラー検出モデルの相関パラメータを抽出する相関パラメータ抽出部と、を有する、請求項１記載のエラー要因の推定装置。
4. 前記エラー要因推定部は、
   前記相関パラメータ抽出部で抽出された前記相関パラメータを入力としてエラー要因候補の確率を計算するエラー要因確率計算部を更に有する、請求項３記載のエラー要因の推定装置。
5. 前記モデル選定部にて前記要因別エラー検出モデルが複数選定された場合には、前記要因別エラー検出モデルのそれぞれに基づいて得られた前記確率を、前記モデル評価部で得られたモデル評価値で補正する、請求項４記載のエラー要因の推定装置。
6. 前記クラスタリング用エラー検出モデル及び前記要因別エラー検出モデルとこれらのモデルに関する情報とを紐づけて保存するモデルデータベースを更に備えた、請求項５記載のエラー要因の推定装置。
7. 前記モデルデータベースに格納されている前記クラスタリング用エラー検出モデル及び前記要因別エラー検出モデルに複数のバージョンが存在する場合には、端末を用いてユーザが前記モデルツリー内のモデルを前記モデルデータベースに格納された別モデルに入れ替えることができるように構成されている、請求項６記載のエラー要因の推定装置。
8. 前記処理対象データは、対象物の設定パラメータ及び計測結果の少なくとも一方である、請求項１記載のエラー要因の推定装置。
9. 前記確率であって補正前後のものを端末に表示する、請求項５記載のエラー要因の推定装置。
10. 端末を介してユーザが前記モデルツリーに含まれるエラー検出モデルを選択することで、選択した前記エラー検出モデルと紐づけられた情報が表示されるように構成されている、請求項６記載のエラー要因の推定装置。
11. 処理対象データを用いて、機械学習モデルへの入力に適した形式を有する学習データを生成するデータ前処理工程と、
    前記学習データを入力としてエラーを検出する学習モデルであるエラー検出モデルを生成し、前記エラー検出モデルをノードとした木構造によって前記エラー検出モデル間の関係を表現するモデルツリーを生成するモデルツリー生成工程と、を有し、
    前記モデルツリー生成工程は、
    前記学習データのうちクラスタリングが未完了のデータを入力として、正常データとエラーデータとの傾向の違いからエラー検出ルールを学習してクラスタリング用エラー検出モデルを生成するクラスタリング用エラー検出モデル生成工程と、
    前記学習データとして入力された特徴量が前記エラー検出モデルの出力に対してどの程度寄与したかを表す感度の値を計算するモデル解析工程と、
    前記特徴量及び前記感度の値に基づきデータのクラスタリングをするデータクラスタリング工程と、
    当該クラスタリングされたデータについて前記クラスタリングを完了するかを判定するクラスタリング完了判定工程と、
    前記クラスタリングが完了したデータを入力として、正常データとエラーデータとの傾向の違いからエラー検出ルールを学習して要因別エラー検出モデルを生成する要因別エラー検出モデル生成工程と、
    前記クラスタリング用エラー検出モデル及び前記要因別エラー検出モデルをデータのクラスタリングの流れに基づき結線することで、前記クラスタリング用エラー検出モデル及び前記要因別エラー検出モデルをノードとした系統樹である前記モデルツリーを生成するモデル結線工程と、を有する、エラー要因の推定方法。

Images