JP7286290B2 - 半導体試料の欠陥を分類する方法およびそのシステム - Google Patents

Description

本開示の主題は、一般に、試料の試験の分野に関し、より詳細には、自動欠陥分類を可能にする方法およびシステムに関する。

製造されたデバイスの超大規模集積化に関連する高い密度および性能への現在の要求は、サブミクロンの特徴と、トランジスタおよび回路速度の増加と、信頼性の改善とを必要とする。そのような要求は、高い精度および均一性をもつデバイス特徴の形成を必要とし、それはひいては、依然として半導体試料の形態である間のデバイスの頻繁で詳細な試験を含めて、製造プロセスを注意深くモニタすることを必要とする。
本明細書で使用する「試料」という用語は、半導体集積回路、磁気ヘッド、フラットパネルディスプレイ、および他の半導体製造物品を生産するために使用されるあらゆる種類のウエハ、マスク、他の構造、それらの組合せおよび／または一部を網羅するように拡張的に解釈されるべきである。
本明細書で使用する「欠陥」という用語は、試料上にまたは試料内に形成されたあらゆる種類の異常なまたは望ましくない特徴を網羅するように拡張的に解釈されるべきである。

試料の複雑な生産プロセスはエラーフリーではなく、そのようなエラーは生産されたデバイスに障害を引き起こすことがある。障害には、デバイスの動作を損なうことがある欠陥と、欠陥である可能性があるが、生産されたデバイスの損害または動作不良をもたらさない有害物とが含まれ得る。非限定の例として、欠陥は、原料の不具合、機械的、電気的、もしくは光学的なエラー、人的エラー、または他のものに起因して生産プロセスの間に引き起こされることがある。さらに、欠陥は、ウエハの若干の変形を引き起こすことがある、１つまたは複数の生産段階の後の試験プロセス中に生じるウエハの温度変化などの時空要因によって引き起こされることがある。試験プロセスは、さらに、例えば、試験装置またはプロセスにおける光学的、機械的、または電気的問題に起因してさらなる疑わしいエラーを導入し、それにより、不完全な捕捉が行われることがある。そのようなエラーは、欠陥を含むように見えることがある疑似陽性調査結果を生成することがあるが、実際の欠陥はその区域に存在しない。
多くの用途において、欠陥のタイプまたはクラスは重要である。例えば、粒子、掻き傷、隆起などの欠陥をいくつかのクラスのうちの１つに分類することができる。

特に記載のない限り、本明細書で使用する「試験」という用語は、対象物の欠陥のあらゆる種類の検出および／また分類を網羅するように拡張的に解釈されるべきである。試験は、試験されるべき対象物の生産の間または生産の後に非破壊試験ツールを使用することによって行われる。非限定の例として、試験プロセスは、１つまたは複数の試験ツールを使用して、対象物またはその一部に関して行われる走査（単一の走査または多数の走査）、サンプリング、レビュー、測定、分類、および／または他の操作を含むことができる。同様に、試験は、試験されるべき対象物の生産の前に行うことができ、例えば試験方策の生成を含むことができる。特に記載のない限り、本明細書で使用する「試験」という用語またはその派生語は、検査される区域のサイズ、走査の速度もしくは解像度、または試験ツールのタイプに関して限定されないことに留意されたい。多様な非破壊試験ツールは、非限定の例として、光学ツール、走査型電子顕微鏡、原子間力顕微鏡などを含む。
試験プロセスは、複数の試験ステップを含むことができる。生産プロセスの間、試験ステップは、例えばいくつかの層の生産または処理の後などに多数回実行することができる。追加としてまたは代替として、各試験ステップは、例えば、異なる試料場所に対してまたは異なる試験設定で同じ試料場所に対して多数回繰り返すことができる。

非限定の例として、ランタイム試験は、２ステップの手順、例えば、試料の検査と、それに続くサンプリングされた欠陥のレビューとを使用することができる。検査ステップの間、試料またはその一部（例えば、対象の区域、ホットスポットなど）の表面は、一般に、比較的高速および／または低解像度で走査される。捕捉された検査画像を分析して、欠陥を検出し、その場所および他の検査属性を取得する。レビューステップにおいて、検査フェーズ中に検出された欠陥の少なくとも一部の画像が、一般に、比較的低速および／または高解像度で捕捉され、それによって、欠陥の少なくとも一部の分類およびオプションとして他の分析が可能になる。ある場合には、両方のフェーズは同じ検査ツールで実施することができ、他の場合には、これらの２つのフェーズは異なる検査ツールで実施される。

本開示の主題のある態様によれば、試料の欠陥を複数のクラスに分類することができるシステムが提供され、システムは処理およびメモリ回路（ＰＭＣ）を含み、処理およびメモリ回路（ＰＭＣ）は、複数のクラスのクラスごとに別々に定義された品質要件を示すデータを取得することと、異なる優先度をもつ３つ以上の分類グループの中の分類グループへの複数のクラスの各クラスの割当てを示すデータを取得することとを行うように構成される。さらに、システムは、訓練中に、複数の予め分類された訓練欠陥およびその属性値を含む訓練データを取得することと、初期に分類された訓練欠陥をもたらすために複数のクラスのうちのクラスへの複数の訓練欠陥の初期自動分類を行うことと、複数のクラスのクラスごとに定義されたクラスごとの品質要件を満たしながら自動分類の最も高いあり得る寄与率に対応する最適な使用点（ｗｏｒｋｉｎｇ ｐｏｉｎｔ）を取得するために、初期に分類された訓練欠陥を処理することと、最適な使用点に対応する信頼度閾値をもつ分類ルールを生成することであり、信頼度閾値が、優先順位付き排除ビンに対応し、少なくとも「決定することができない（ＣＮＤ）」排除ビンが３つ以上の分類グループに対応する、生成することとを行うように構成される。システムは、試料の欠陥を分類するとき、生成された分類ルールを適用するようにさらに構成される。

非限定の例として、各クラスは、以下の分類グループ、すなわち、最も高い優先度をもつ分類グループである「注目するキー欠陥（ＫＤＯＩ）」、「注目する欠陥（ＤＯＩ）」、および最も低い優先度をもつ分類グループである「疑似」のうちの１つに割り当てることができる。それに応じて、優先順位付き排除ビンは、「ＫＤＯＩ」ＣＮＤ排除ビン、「ＤＯＩ」ＣＮＤ排除ビン、「疑似」ＣＮＤ排除ビン、および「不明（ＵＮＫ）」排除ビンからなることができ、ＣＮＤ排除ビンの優先度は、それぞれの分類グループの優先度に対応する。
別の非限定の例として、各マジョリティクラスは、以下の分類グループ、すなわち、「ＫＤＯＩ」、「ＤＯＩ」、および「疑似」のうちの１つに割り当てることができ、一方、マイノリティクラスは「新規（Ｎｏｖｅｌｔｙ）」分類グループに割り当てることができ、グループの優先度は、以下の順序、すなわち、「ＫＤＯＩ」＞「新規」＞「ＤＯＩ」＞「疑似」で構成することができる。したがって、優先順位付き排除ビンは、「ＫＤＯＩ」ＣＮＤ排除ビン、「ＤＯＩ」ＣＮＤ排除ビン、「疑似」ＣＮＤ排除ビン、および「新規」ＵＮＫ排除ビンからなることができ、すべての排除ビンの優先度はそれぞれの分類グループの優先度に対応する。

本開示の主題の別の態様によれば、試料の欠陥を複数のクラスに自動分類する方法が提供される。この方法は、処理およびメモリ回路（ＰＭＣ）によって、複数のクラスのうちのクラスごとに別々に定義された品質要件を示すデータを取得するステップと、ＰＭＣによって、異なる優先度をもつ３つ以上の分類グループの中の分類グループへの複数のクラスの各クラスの割当てを示すデータを取得するステップとを含む。この方法は、訓練中に、ＰＭＣによって、複数の予め分類された訓練欠陥およびその属性値を含む訓練データを取得するステップと、ＰＭＣによって、初期に分類された訓練欠陥をもたらすために複数のクラスのうちのクラスへの複数の訓練欠陥の初期自動分類を行うステップと、ＰＭＣによって、複数のクラスのクラスごとに定義されたクラスごとの品質要件を満たしながら自動分類の最も高いあり得る寄与率に対応する最適な使用点を取得するために、初期に分類された訓練欠陥を処理するステップと、ＰＭＣによって、最適な使用点に対応する信頼度閾値をもつ分類ルールを生成するステップであり、信頼度閾値が、優先順位付き排除ビンに対応し、少なくとも「決定することができない（ＣＮＤ）」排除ビンが３つ以上の分類グループに対応する、生成するステップとをさらに含む。この方法は、試料の欠陥を分類するとき、ＰＭＣによって、生成された分類ルールを適用するステップをさらに含む。

さらなる態様により、およびオプションとして本開示の主題の他の態様と組み合わせて、最適な使用点を取得するために初期に分類された訓練欠陥を処理するステップは、ＰＭＣによって、マジョリティクラスごとに、正当なクラス使用点を取得するステップであり、各正当なクラス使用点が、それぞれのクラスに対して定義された品質要件を満たし、優先順位付き排除ビンに対応する信頼度閾値によって特性評価される、取得するステップと、ＰＭＣによって、最適な使用点を取得するために正当なクラス使用点を処理するステップとを含むことができる。正当なクラス使用点を取得するステップは、訓練欠陥の少なくとも一部を、優先順位付き排除ビンにわたって分配するステップを含むことができ、ある欠陥に対して排除ビンを選択するステップは、それぞれの分類グループの相対的優先度および排除ビンの優先度に応じて、予め定義されたルールに従って行われる。
さらなる態様により、およびオプションとして本開示の主題の他の態様と組み合わせて、同じ分類グループに割り当てられたいくつかのクラスを一緒に結合することができ、品質要件は、結合クラス（ｂｏｕｎｄ ｃｌａｓｓ）に対して、単一クラスと同様に規定することができる。

さらなる態様により、およびオプションとして本開示の主題の他の態様と組み合わせて、所与のクラスに対して定義された品質要件は、所与のクラスの正しく分類された欠陥と、所与のクラスに属し、所与のクラスの抽出率のためにカウントするときに選択される１つまたは複数の優先順位付き排除ビンに排除された欠陥との両方をカウントする抽出率要件を含むことができる。オプションとして、所与のクラスの分類グループの優先度よりも低くない優先度をもつすべての排除ビンは、所与のクラスの抽出率のためにカウントするときに選択されてもよい。
さらなる態様により、およびオプションとして本開示の主題の他の態様と組み合わせて、自動分類の寄与率は、分類目的に応じて異なるように計算することができ、ユーザによって構成可能であり得る。
本開示の主題のいくつかの実施形態の利点の中に、クラスの各々または結合クラスに対して別々に定義された品質要件を満たす自動分類を行う能力がある。
本発明を理解し、それが実際にどのように実行され得るかを確かめるために、次に、添付図面を参照して、単に非限定の例として、実施形態を説明する。

本開示の主題のいくつかの実施形態による試験システムの一般化されたブロック図である。 本開示の主題のいくつかの実施形態に従って欠陥を分類する一般化された流れ図である。 本開示の主題のいくつかの実施形態に従って分類器を訓練する一般化された流れ図である。 本開示の主題のいくつかの実施形態に従って構成された例示の混同行列を概略的に示す図である。 本開示の主題のいくつかの実施形態による排除プロセスの非限定の例を概略的に示す図である。 本開示の主題のいくつかの実施形態による排除プロセスの非限定の例を概略的に示す図である。 本開示の主題のいくつかの実施形態による排除プロセスの非限定の例を概略的に示す図である。 本開示の主題のいくつかの実施形態による排除プロセスの非限定の例を概略的に示す図である。 本開示の主題のいくつかの実施形態に従って取得された例示の混同行列を概略的に示す図である。 クラスごとの品質要件を満たしながら最も高いあり得るＡＤＣ寄与率を可能にする最適な使用点を取得するように使用点を処理する一般化された流れ図である。

以下の詳細な説明において、多数の特定の詳細が、本発明の完全な理解を提供するために記載される。しかしながら、本開示の主題はこれらの特定の詳細なしに実践され得ることを当業者なら理解されよう。他の場合には、よく知られた方法、手順、構成要素、および回路は、本開示の主題を不明瞭にしないように詳細には記載されない。

特に記載のない限り、以下の議論から明らかなように、本明細書の全体にわたって、「処理する」、「計算する」、「表す」、「算出する」、「生成する」、「割り当てる」、「選択する」などのような用語を利用する議論は、データを他のデータに操作および／または変換するコンピュータの動作および／またはプロセスを指し、前記データは、物理的な、例えば電子的な量として表され、および／または前記データは物理的オブジェクトを表すことを理解されたい「コンピュータ」という用語は、非限定の例として、本出願で開示される分類器およびその中のＰＭＣを含むデータ処理能力を有する任意の種類のハードウェアベース電子デバイスを網羅するように拡張的に解釈されるべきである。
本明細書で使用する「非一時的メモリ」および「非一時的ストレージ媒体」という用語は、本開示の主題に適した任意の揮発性または不揮発性コンピュータメモリを網羅するように拡張的に解釈されるべきである。
本明細書で使用する「試料の欠陥」という用語は、試料上にまたは試料内に形成されたあらゆる種類の異常または望ましくない特徴を網羅するように拡張的に解釈されるべきである。

本明細書で使用する「設計データ」という用語は、試料の階層的物理設計（レイアウト）を示す任意のデータを網羅するように拡張的に解釈されるべきである。設計データは、それぞれの設計者によって提供されてもよく、および／または物理設計から導出されてもよい（例えば、複雑なシミュレーション、単純な幾何学的およびブール演算などを介して）。設計データは、非限定の例として、ＧＤＳＩＩフォーマット、ＯＡＳＩＳフォーマットなどのような様々なフォーマットで提供することができる。設計データは、ベクトルフォーマット、グレースケール強度画像フォーマット、またはそれ以外で提示することができる。
特に記載のない限り、別個の実施形態の文脈に記載されている本開示の主題のいくつかの特徴は、単一の実施形態において組合せで提供することもできることを理解されたい。逆に、単一の実施形態の文脈に記載されている本開示の主題の様々な特徴は、別々にまたは任意の好適なサブ組合せで提供することもできる。以下の詳細な説明では、多数の特定の詳細が、方法および装置の完全な理解を提供するために記載される。

これを念頭において、本開示の主題のいくつかの実施形態による試験システムの一般化されたブロック図を示す図１に注目する。図１に示す試験システム１００は、試料製造の一部としての（例えば、ウエハおよび／またはその一部の）試料の試験で使用することができる。試験は対象物製造の一部とすることができ、対象物の生産中にまたはその後で実行することができる。試験システムは、様々な試験ツール、例えば、検査画像を捕捉する（一般に、比較的高速および／または低解像度で）ように構成された１つまたは複数の検査ツール１０１と、検査ツール１０１によって検出された欠陥の少なくとも一部のレビュー画像を捕捉する（一般に、比較的低速および／または高解像度で）ように構成された１つまたは複数のレビューツール１０２とを含むことができる。図示の試験システム１００は、１つまたは複数のサブルールを含む分類ルールセット（以下、分類ルールと呼ぶ）に従って複数のクラスに欠陥を自動的に分類することができるコンピュータベース自動欠陥分類ツール（以下、分類器とも呼ぶ）１０３をさらに含む。非限定の例として、分類は異なる目的を有することができ、分類結果は、統計的プロセス制御（ＳＰＣ）におけるエクスカーションを識別するためにパレートを確立し、真欠陥から疑似欠陥をフィルタ処理し、特定の注目する欠陥（ＤｏＩ）を識別するために、および／または分類目的に従って別の方法で使用することができる。

分類器１０３は、１つまたは複数の検査ツール１０１および／または１つまたは複数のレビューツール１０２に動作可能に接続することができる。オプションとして、分類器１０３は、１つまたは複数のレビューツール１０２に完全にまたは部分的に統合することができる。分類器１０３は、さらに、設計サーバ１１０およびデータレポジトリ１０９に動作可能に接続することができる。
試料は、検査ツール１０１（例えば、光学検査システム、低解像度ＳＥＭなど）で試験することができる。結果として生じる画像および／または派生物を処理して（オプションとして、例えば設計データおよび／または欠陥分類データのような他のデータと一緒に）、レビューのための潜在的な欠陥を選択することができる。

レビューのために選択された潜在的な欠陥場所のサブセットは、レビューツール１０２（例えば、走査型電子顕微鏡（ＳＥＭ）または原子間力顕微鏡（ＡＦＭ）など）でレビューすることができる。レビュー画像および／またはその派生物およびそれぞれ関連するメタデータの情報を提供するデータ（以下、レビューデータ１２２と呼ぶ）は、分類器１０３に送信することができる（直接、または１つまたは複数の中間システムを介して）。レビューデータはレビュー画像の派生物として１つまたは複数の中間システムによって生成されたデータを含むことができることに留意されたい。

分類器１０３は、ハードウェアベース入力インターフェース１０５およびハードウェアベース出力インターフェース１０６に動作可能に接続されたプロセッサおよびメモリ回路（ＰＭＣ）１０４を含む。ＰＭＣ１０４は、図２～図７を参照してさらに詳述するように分類器を動作させるのに必要な処理を行うように構成され、メモリに動作可能に接続されたプロセッサを含む（ＰＭＣ内に分けて示されていない）。分類器１０３およびＰＭＣ１０４の動作は、図２～図７を参照してさらに詳述する。
本開示の主題の教示は図１に示したシステムによって拘束されず、等価なおよび／または変更された機能は、別の方法で統合するかまたは分割することができ、ソフトウェアをファームウェアおよび／またはハードウェアと適切に組み合わせて実施することができることを当業者は容易に理解するであろう。

図１に示した試験システムは、分散コンピューティング環境で実施することができ、図１に示した前述の機能モジュールは、いくつかのローカルデバイスおよび／またはリモートデバイスにわたって分散させることができ、通信ネットワークを通してリンクさせることができることに留意されたい。他の実施形態では、試験ツール１０１および／または１０２、データレポジトリ１０９、ストレージシステム１０７、および／またはＧＵＩ１０８のうちの少なくとも一部は、試験システム１００の外側にあり、入力インターフェース１０５および出力インターフェース１０６を介して分類器１０３とデータ通信して動作することができることにさらに留意されたい。分類器１０３は、１つまたは複数の試験ツールと連結して使用することができるスタンドアロンコンピュータとして実施することができる。オプションとして、分類器は、データレポジトリ１０９および／またはストレージシステム１０７に記憶された事前取得レビューデータに基づいて動作することができる。代替としてまたは追加として、分類器のそれぞれの機能は、１つまたは複数の試験ツール、プロセス制御ツール、方策生成ツール、自動欠陥レビューおよび／または分類のためのシステム、および／または試験に関連する他のシステムに少なくとも部分的に統合されてもよい。
図２を参照すると、本開示の主題のいくつかの実施形態による自動欠陥分類器を動作させる一般化された流れ図が示される。ＰＭＣ１０４は、非一時的コンピュータ可読ストレージ媒体に実装されたコンピュータ可読命令に従って以下に詳述するそれぞれの動作を実行するように構成される。

上記のように、分類器１０３は、欠陥を分類ルールに従って複数のクラスに自動的に分類することができる。分類ルールは、分類エンジン（例えば、サポートベクトルマシン（ＳＶＭ）、ランダムフォレスト分類エンジン、ニューラルネットワークなど）と、異なるクラスでは異なってもよい複数の信頼度閾値とを含む。分類器１０３は、さらに、所与の欠陥ごとに、特定のクラスに欠陥が属する確率を示す信頼度レベルを定め、信頼度レベルがそのそれぞれの信頼度閾値を満たす場合所与の欠陥を特定のクラスに割り当てるように構成される。
単なる例示のために、以下の説明は、マルチクラスＳＶＭ（サポートベクトルマシン）分類器に対して行われる。本開示の主題の教示は、同様に、欠陥を分類するのに好適な任意の他の分類器および／または分類器の組合せに適用可能であることを当業者は容易に理解するであろう。

例示のために、各クラスは属性超空間におけるボリュームとして提示することができ、閾値信頼度レベルはクラスボリュームの境界を引くために使用することができる（クラスボリュームの境界は大きくすることも小さくすることもでき、境界の形状は閾値信頼度レベルに応じて異なってもよい）。所与の欠陥の属性に従って、分類ルールは、所与の欠陥が信頼度閾値に従って属している属性超空間（すなわち、クラス）内のボリュームを決定するか、または所与の欠陥がボリューム（クラス）のうちの１つに属さない場合所与の欠陥を排除する。排除された欠陥が１つを超えるクラスの一部であり得る属性超空間の場所に入る場合、欠陥は「決定することができない（ＣＮＤ）」とラベル付けすることができ、排除された欠陥がクラスの一部でない属性超空間の場所に入る場合、欠陥は「不明（ＵＮＫ）」とラベル付けすることができる。非限定の例として、欠陥属性値は、形状、テクスチャ、材料、コンテキスト、トポグラフィ、および／または欠陥に関連する他の特性を表すことができる。

動作の前に、分類器は、予め定義されたクラスに予め分類された（例えば、人間の専門家、および／または別の分類器、および／または以前の分類器のバージョンなどによって）欠陥とその属性値との集合を含む訓練データ（２０１）のセットを使用して訓練される（２０２）。訓練のとき、分類器は、訓練データを使用して分類ルール（２０３）を設定する。分類ルールには、訓練中に取得され、所与のクラスに属すると識別された欠陥とそうでなかったものとを区別するのに使用できる複数の信頼度閾値が含まれる。したがって、訓練された分類器１０３は、信頼度閾値に従って、多次元属性空間（以下、属性超空間と呼ぶ）における各所定の欠陥クラスに関連した欠陥属性値に応じて所与の欠陥のクラスを確定することができる。

訓練に際して、分類器は、分類されるべき欠陥の情報を与える欠陥関連データを受け取り（２０５）、それに応じて、分類ルールを適用して欠陥を分類する（２０４）。本明細書で使用する「欠陥関連データ」という用語は、欠陥分類のために必要とされる任意の属性の値を網羅するように拡張的に解釈されるべきであることに留意されたい。欠陥属性の値は、分類器によってレビューデータの一部として受け取られ得る。代替としてまたは追加として、欠陥属性値の少なくとも一部は、受け取られたレビューデータから分類器によって（オプションとして、例えば設計データのような追加データを使用して）導出されてもよく、および／または検査ツールを含む１つまたは複数の他の情報源から受け取られてもよい。

信頼度閾値に従って、分類器は、予め定義された欠陥クラス間で属性超空間を分割し、各欠陥を、属性超空間内のその場所に応じてクラスのうちの１つに割り当てることによって、分類された欠陥（２０６）をもたらす。分割する際、欠陥のうちのいくつかがクラス間の重複する区域に属する（すなわち、特定のクラスに属する確率が信頼度閾値によって確定されたものよりも低い）場合、分類器は、そのような欠陥を、どのクラスが選択されるべきかを分類器が決定できないとしてＣＮＤ（決定することができない）欠陥として排除する（２０７）。同様に、欠陥のうちのいくつかがクラスの外側の境界の外に位置づけられる場合、分類器は、そのような欠陥を不明（ＵＮＫ）欠陥として排除する。排除された欠陥またはその一部は、分類のために試験員にまたは以前の分類器で利用できなかった新しい知識を付け加える任意のモダリティに渡すことができる。

所与の欠陥は、マジョリティクラスまたはマイノリティクラスに属することができる。分類ルールを訓練データのセットに適用すると、マジョリティクラスに予め分類された訓練欠陥の大部分は、自動的に、やはりマジョリティクラスに分類されることになるが、マイノリティクラスに予め分類された訓練欠陥の大部分は、自動的に、それぞれのマイノリティクラスに属するように分類されないことになり、排除されるかまたはマジョリティクラスに分類されることになる。
分類結果は、図３～図６を参照してさらに詳述する１つまたは複数の品質尺度（例えば、純度、精度、抽出率）および性能（例えば、ＡＤＣ寄与率）尺度によって特性評価することができる。信頼度要件を低く設定するほど、分類器が排除する欠陥を少なくすることができるが、分類誤り、または注目する欠陥のいくつかの欠損が多くなることがある。他方、信頼度要件を増加させると、分類の品質は高まるが、排除率または疑似警報率が高くなるという犠牲が生じる。
オプションとして、動作の間、分類器は、性能／品質パラメータをモニタする（２０８）ことができ、結果に応じて、結果的に、分類ルールをさらに精密にするために再訓練することができる（例えば、間違って分類された欠陥の分類後結果を使用して）。
分類器の訓練および動作の非限定の例が、本出願の譲受人に譲渡された米国特許出願第２０１６／０１８９０５５号、米国特許第８，３１５，４５３号、米国特許第９，６０７，２３３号、および米国特許第９，７１５，７２３号に開示されており、追加または代替の詳細、特徴、および／または技術的背景の適切な教示のためにそれらの全体が参照により本明細書に組み込まれる。

図３～図６を参照してさらに詳述するように、本開示の主題のいくつかの実施形態によれば、分類器１０３は、異なる優先度をもつ３つ以上の分類グループの間の分類グループに各クラスを割り当てることを可能にするように構成される。所与の分類グループに割り当てられた１つまたは複数のクラスのすべては、同じ優先度を有し、この優先度は、所与の分類グループの優先度に対応し、別の分類グループに割り当てられた１つまたは複数のクラスのすべての優先度と異なる。分類器１０３は、分類グループの優先度を定義することを可能にするようにさらに構成される。ＧＵＩ１０８の助けにより、ユーザは、グループの優先度を定義し、自動分類のためにクラスを定義し、それぞれの分類グループにクラスを割り当てることができる。代替として、これらの定義の少なくとも一部は、予め定義されたルールに従って分類器１０３によって行われてもよく、または入力インターフェース１０５を介して外部システム（例えば、ＦＡＢ管理システム）から受け取られてもよい。

さらに、分類器１０３は、ユーザ（および／または管理システム）がクラスごとに純度、精度、および／または抽出率要件を別々に設定し、クラスごとの要件に従って分類結果を最適化することを可能にするように構成される。図３～図６を参照してさらに詳述するように、分類器１０３は、同じ分類グループからのいくつかのクラスを一緒に結合し、結合クラスへの品質要件を単一クラスと同様に設定することを可能にするように構成することができる。
図３を参照すると、本開示の主題のいくつかの実施形態に従って自動欠陥分類器を訓練する一般化された流れ図が示される。ＰＭＣ１０４は、非一時的コンピュータ可読ストレージ媒体に実装されたコンピュータ可読命令に従って以下で詳述するそれぞれの動作を実行するように構成される。

訓練の前に、分類器１０３は、３つ以上の優先順位付き分類グループへのクラスの割当てを示すデータを取得する（３０１）。そのようなデータは、ＧＵＩ１０８を介してユーザの入力として受け取られてもよく、予め定義されたルールに従って分類器１０３によって生成されてもよく、および／または入力インターフェース１０５を介して外部システム（例えば、ＦＡＢ管理システム）から受け取られてもよい。非限定の例として、クラス（マジョリティとマイノリティの両方）は、以下の分類グループ（優先度の順序の）に、すなわち、注目するキー欠陥（ＫＤＯＩ）、注目する欠陥（ＤＯＩ）、および疑似に割り当てることができる。別の非限定の例として、マジョリティクラスは、ＫＤＯＩ、ＤＯＩ、および疑似分類グループに割り当てることができ、一方、マイノリティクラスは、分類グループ「新規」に割り当てることができ、グループの優先度は以下の順序、すなわち、ＫＤＯＩ＞新規＞ＤＯＩ＞疑似となるように構成することができる。

さらに、訓練の前に、分類器は、クラスごとの品質要件を示すデータを取得する（３０３）。そのようなデータは、ＧＵＩ１０８を介してユーザの入力として受け取ることができ、および／または入力インターフェース１０５を介して外部システム（例えば、ＦＡＢ管理システム）から受け取ることができる。オプションとして、そうである必要はないが、同じグループに割り当てられたクラスは、分類の同様の目的、その結果、同様の品質要件を有することができる。非限定の例として、分類器１０３は、ＫＤＯＩグループのクラスに対して高い抽出率および／または高い純度を可能にし、ＤＯＩグループのクラスに対して中間の抽出率および／または純度を可能にし、疑似グループのいくつかのクラスに対して低い抽出率および／または純度を可能にするように構成することができる。

予め分類された欠陥およびその属性値の集合を含む訓練データを受け取る（３０２）際、分類器は、クラスへの訓練欠陥の初期分離を受け取るために訓練欠陥に分類エンジンを適用する。初期分離は、信頼度閾値が排除なしに分離を可能にする値に設定された状態で行うことができる（そのようにしなければならないわけではないが）。非限定の例として、分類エンジンは、マルチクラスサポートベクトルマシン（ＳＶＭ）、ランダムフォレスト分類エンジン、または他の好適な分類エンジン、あるいはそれらの組合せとすることができる。

図４は、初期分離の結果を提示する例示の混同行列を示す。本明細書で使用する「混同行列」という用語は、分類ルールの品質および性能の視覚化を可能にする表レイアウトを網羅するように拡張的に解釈されるべきである。列４０１～列４０５は、分類ルールを適用することによる訓練欠陥の自動分類の結果を表す。列４０６は、予め分類された（例えば、人間オペレータによって）クラスごとの欠陥の実際の数を表す。行４１５は、それぞれの列によって提示されたクラスの各々に分類器１０３によって分類された（正しくまたは正しくなく）欠陥の合計数を表す。
非限定の例として示されているように、マジョリティクラスの中で、クラスＡはグループＤＯＩに割り当てられ、クラスＢはグループＫＤＯＩに割り当てられ、クラスＣはグループ「疑似」に割り当てられる。さらに、マイノリティクラスＤはグループ「新規」に割り当てられる。
低い閾値による初期分離の結果として、欠陥は分類器によってＣＮＤまたはＵＮＫとして分類されていない。図示のように、クラスＡに予め分類された６０個の欠陥の中で、５２個の欠陥が分類器１０３によって正しく分類されており、一方、クラスＢの４個の欠陥がクラスＡに誤って分類されており、クラスＣの３個の欠陥がクラスＡに誤って分類されており、クラスＤの１１個の欠陥がクラスＡに誤って分類されている。同様に、クラスＢに予め分類された４４個の欠陥の中で、３８個の欠陥が分類器１０３によって正しく分類されており、一方、クラスＡの４個の欠陥がクラスＢに誤って分類されており、クラスＣの６個の欠陥およびクラスＤの１２個の欠陥がクラスＢに誤って分類されており、一方、クラスＣに予め分類された１１９個の欠陥の中で、１１０個の欠陥が分類器１０３によって正しく分類されており、一方、クラスＡの４個の欠陥がクラスＣに誤って分類されており、クラスＢの２個の欠陥がクラスＣに誤って分類されており、クラスＤの４個の欠陥がクラスＣに誤って分類されている。

各マジョリティクラスは、クラスに関する分類器の決定の正しさを示す純度などの品質尺度によって特性評価することができる。純度は、所与のクラスに正しく分類された欠陥の数と、この所与のクラスに分類器によって分類された欠陥の総数との間の比として計算することができる。したがって、図４の行４１６によって示された例では、クラスＡの純度は５２／７０＝７４．２％であり、クラスＢの純度は３８／６０＝６３．３３％であり、クラスＣの純度は１１０／１２０＝９１．６６％である。
さらに、各クラスは、所与のクラスに正しく分類された欠陥と所与のクラスに予め分類された欠陥との間の比として計算された精度のような品質尺度（列４０８によって示された）によって特性評価することができる。
分類器の性能は、分類された欠陥の全数に対する、別のモダリティによるさらなる分類のために送られなかった（例えば、クラス純度を満たして分類された）欠陥の比として計算された寄与率によって特性評価することができる。
信頼度閾値を増加させ、それにより、いくつかの欠陥をＵＮＫ欠陥またはＣＮＤ欠陥として排除することによって、純度を改善することができる。しかしながら、ある信頼度閾値は特定の品質および／または性能測定を改善するが、それは、例えば寄与率のような異なる性能尺度に劣化をもたらすことがある。

図３に戻って参照すると、本開示の主題のいくつかの実施形態によれば、訓練は、優先順位付き分類グループに対応する複数の３つ以上の優先順位付き排除ビンに欠陥を排除するルールを設定する（３０５）ことをさらに含む。排除ビンの優先度は分類グループの優先度に対応するように構成される。ある欠陥に対して、異なるビンには異なり、それぞれのクラスの優先度およびビンの優先度に依存することができる予め定義されたルールに従って、分類器１０３は排除ビンを選択する。
したがって、優先順位付き分類グループにクラスを割り当てる非限定の例として、マジョリティクラスおよびマイノリティクラスの各々のものは、ＫＤＯＩ、ＤＯＩ、および疑似分類グループのうちの１つに割り当てることができる。ＣＮＤ欠陥は、ＫＤＯＩ ＣＮＤビン、ＤＯＩ ＣＮＤビン、および疑似ＣＮＤビンに排除する（優先度の順序で）ことができる。不明欠陥は、１つまたは複数のＵＮＫビンに排除することができる。

優先順位付き分類グループにクラスを割り当てる別の非限定の例として、マジョリティクラスの各々のものは、ＫＤＯＩ、ＤＯＩ、および疑似分類グループのうちの１つに割り当てることができ、一方、マイノリティクラスは新規グループに割り当てることができる。ＣＮＤ欠陥は、ＫＤＯＩ ＣＮＤビン、ＤＯＩ ＣＮＤビン、および疑似ＣＮＤビンに排除することができる。ＵＮＫビンは新規排除に対応し、排除ビンの優先度は、分類グループの優先度、すなわち、ＫＤＯＩ ＣＮＤビン＞新規ＵＮＫビン＞ＤＯＩ ＣＮＤビン＞疑似ＣＮＤビンに対応して構成される。
ＭＥ－その他区分（ＭＥ－ＯＴＨＥＲＳ ｄｉｖｉｓｉｏｎ）は、ビンごとに「その他」がそれぞれのビン優先度のクラスのみを含むように実施することができる。所与のＫＤＯＩクラスに誤って分類されたＫＤＯＩ欠陥は、ＫＤＯＩ排除ビンに排除され、所与のＤＯＩクラスに誤って分類されたＤＯＩ欠陥は、ＤＯＩ排除ビンに排除され、所与の疑似クラスに誤って分類された疑似欠陥は、疑似排除ビンに排除される。キーＤＯＩとＤＯＩ＼疑似との間のＣＮＤは、ＫＤＯＩ ＣＮＤビンに行く（疑似＼ＤＯＩ欠陥は、ＫＤＯＩクラスから排除されないことになる）。疑似クラスに分類されたＤＯＩ欠陥は、ＤＯＩ ＣＮＤビンに排除されることになり、ＤＯＩクラスに分類された疑似欠陥は、疑似ＣＮＤビンに排除されることになり、マイノリティは新規ＵＮＫビンに排除されることになる。
クラスおよび排除ビンの相対的優先度に応じた例示された排除ルールが表１に要約されている（「Ｍｅ」は、初期分離（３０４）の間に正しく分類された欠陥を指す）。

オプションとして、分類グループ内の２つ以上のクラスは、結合クラスとして構成することができ、分類器１０３は、結合クラス間の混同の場合には排除を行わないように構成することができる。同様に、分類器１０３は、単一クラスと見なされる結合クラスの品質要件を可能にするように構成することができる。そのような結合クラスのために計算された品質尺度は、以下、「選択された純度」および「選択された抽出率」と呼ぶことに留意されたい。

本開示の主題のいくつかの実施形態によれば、純度に加えて、品質要件は抽出率要件を含むことができる（精度要件に加えてまたは精度要件の代わりに）。抽出率は、クラスごとに、ｉ）そのクラスの正しく分類された欠陥と、ｉｉ）そのクラスに属し、そのクラスの抽出率のためにカウントする排除ビンに排除された欠陥との両方をカウントする。したがって、抽出率の概念は、精度の概念よりも広い。所与のクラスの抽出率のためにカウントする排除ビンの選択は、クラスの分類グループ、および欠陥が排除された排除ビンのそれぞれの優先度に依存する。本開示の主題のいくつかの実施形態によれば、クラス優先度に対応するまたはそれより高い排除ビンは、常に、抽出率のためにカウントされ得る。いくつかの排除ビンは、ユーザのレビュー向けでないことがあり、それゆえに、寄与率（例えば、疑似ＣＮＤビン）のためにカウントされてもよいことに留意されたい。
多数のＣＮＤおよび１つまたは複数のＵＮＫビンを用いて排除ルールを設定する際、分類器１０３は、訓練欠陥の情報を与えるデータを処理して、マジョリティクラスごとに、クラス使用点を生成し（３０６）、各クラス使用点は、優先順位付き排除ビンに対応する信頼度閾値のあり得るセットによって特性評価される。ＫＤＯＩ ＣＮＤビン、新規ＵＮＫビン、ＤＯＩ ＣＮＤビン、および疑似ＣＮＤビンの上述の非限定の例では、各クラス使用点は、各々がそれぞれのビンに対応する４つの信頼度閾値によって特性評価される。

所与のマジョリティクラスごとに、分類器１０３は、さらに、所与のクラスのために生成されたクラス使用点の中で、所与のクラスのために受け取られた品質要件を満たし（少なくとも最適化の前に）、他のクラスの品質要件を考慮してカウントされる正当な使用点を選択する（３０７）。したがって、分類器１０３は、所与のマジョリティクラスごとに、複数の正当なクラス使用点をもたらす。

正当なクラス使用点の選択は、クラスごとに独立に行うことができ、所与のクラスに対して、
－ 所与のクラスの純度要件を満たさない使用点を取り除くこと、
－ クラスにとって正当な複数の使用点をもたらすために他のクラスを考慮して所与のクラスの抽出率要件を一時的に満たさない使用点を取り除くこと（このステップにおいて一時的に抽出率要件を満たす使用点は、さらなる最適化処理中に必ずしも全体的なクラス抽出率要件を満たさない）、
－ 正当な使用点の各々に対して潜在的なクラス寄与率（すなわち、それぞれのクラスによって与えられる全体的な寄与率の一部）を計算すること、
－ 計算されたクラス寄与率に従って正当な点を区分し、さらなる処理のために結果を保管すること
を含むことができる。
オプションとして、正当なクラス使用点は、直接探索によって、またはあり得る使用点の中で選択する代わりに当業者に知られている任意の他の好適な最適化方法によって取得され得ることに留意されたい。

図７を参照してさらに詳述するように、分類器１０３は、すべてのクラスに対してクラスごとの品質要件を満たしながら最も高いあり得るＡＤＣ寄与率を可能にする最適な使用点を取得するために、各々がそれぞれのマジョリティクラスに関して正当である複数の正当なクラス使用点を処理する（３０８）。クラス使用点が排除ビン（例えば、提供された非限定の例におけるような４つの閾値）に対応するＫ個の閾値によって特性評価される場合、最適な使用点は、（Ｋ＊マジョリティクラスの数）閾値によって特性評価される。最適化された閾値はマジョリティクラスのためにのみ計算されているが、最適化処理（３０８）は、マイノリティクラスの抽出率要件を考慮して行われてもよいことに留意されたい。

本開示の主題のいくつかの実施形態によれば、分類器１０３の寄与率（すなわち、最適化目標）は、分類目的および／または分類器の構成に応じて異なるように計算することができることに留意されたい。分類器は、ユーザが混同行列内の寄与列を定義する（例えば、ＧＵＩ１０８を介して）ことを可能にするように構成することができる。非限定の例として、分類結果が統計的プロセス制御（ＳＰＣ）で使用できる場合、寄与率のためにカウントされる列は、クラス純度を満たして分類されたすべてのクラスと、疑似ＣＮＤビンとを含むことができる。別の非限定の例として、分類結果がＤＯＩハンティングで使用され得る場合、寄与率のためにカウントされる列は、クラス純度を満たして分類されたすべてのクラスと、ＤＯＩ ＣＮＤビンと、疑似ＣＮＤビンとを含むことができる。一般に、寄与率は、寄与率のためにカウントされるように定義された列の欠陥の数を、分類された欠陥の総数で除算したものとして計算することができる。オプションとして、寄与率は、フィルタレート、疑似フィルタレート、または任意の他の性能尺度として定義することができる。

最適な使用点を取得する際に、分類器は、初期分離のために使用される分類エンジンと、各排除ビンおよびマジョリティクラスに対する複数の信頼度閾値とを含む分類ルールを生成し（３０９）、信頼度閾値は最適な使用点に対応する。分類ルールの閾値は、ユーザの要求に従ってさらに調節することができる（例えば、品質要件を低減することによって性能を強化するために）。場合によっては、生成された分類ルールを分類されるべき欠陥に適用すると、排除ビン間に衝突をもたらすことがある（すなわち、信頼度閾値に従って、所与の欠陥がいくつかのビンに排除されることがある）ことに留意されたい。そのような場合には、分類器１０３は、可能性のあるビン間で最も高い優先度をもつビンに欠陥を排除するように構成することができる。
本開示の主題の教示は、非限定の例に示したような分類グループおよび優先順位付き排除ビンによって拘束されず、同様に、分類グループおよび対応する排除ビンの他のタイプ、数、および／または優先度に適用可能であることに留意されたい。

図５ａ～図５ｄを参照すると、本開示の主題のいくつかの実施形態による排除プロセスの非限定の例が概略的に示される。図５ａは、初期分離の後に得られた混同行列を示す。図５ｂは、分類器１０３が、ＫＤＯＩクラスに対して定義されたクラスごとの純度／抽出率要件を満たすように欠陥を排除した後の混同行列を示す。図５ｃは、分類器１０３が、新規抽出率要件を満たすように欠陥をさらに排除した後の混同行列を示す。図５ｄは、分類器１０３が、ＤＯＩおよび疑似分類グループのクラスに対して定義されたクラスごとの要件を満たすように欠陥をさらに排除した後の混同行列を示す。図示の例では、クラスＥはクラスＦに結合され、純度および抽出率は、これらのクラスのうちのいずれかに正しく分類された欠陥に従って、選択された純度および選択された抽出率として計算されることに留意されたい。すべての図示の排除に際して、欠陥の分布は、クラスごとの品質要件のすべてに対応し、それぞれの信頼度閾値は、正当なクラス使用点に対応する。図示したクラスごとの使用点の取得は、２つ以上のクラスと並列に行うことができることに留意されたい。

図６は、図４に示した欠陥の最適化された分布の結果を提示する例示された混同行列を示す。図示のように、ＫＤＯＩクラスは、８０％の例示された予め定義された純度要件および１００％の例示された予め定義された抽出率要件を満たしており、ＤＯＩクラスは、９３％の例示された予め定義された純度要件および９１％の例示された予め定義された抽出率要件を満たしており、新規抽出率は、６３％の例示された予め定義された要件を満たしている。図示の例では、ＫＤＯＩクラスとの混同またはＫＤＯＩクラス内の混同をもつ欠陥は、ＫＤＯＩ ＣＮＤビンに排除されており、ＤＯＩクラス内の混同をもつ欠陥および疑似として分類されたＤＯＩ欠陥は、ＤＯＩ ＣＮＤビンに排除されており、一方、ＤＯＩと疑似クラスの間の混同をもつ欠陥は疑似ＣＮＤビンに排除されており、ＤＯＩクラスとマイノリティクラスとの間の混同をもつ欠陥は新規ＵＮＫビンに排除されていることに留意されたい。

図示の例では、クラスＢ（ＫＤＯＩ分類グループに割り当てられた）の純度および抽出率は、以下のように計算することができる。
クラスＢ純度＝３２（クラスＢに正しく自動的に分類された欠陥の数）／４０（クラスＢに自動的に分類された欠陥の合計数）＝８０％。
クラスＢ抽出率＝（３２（純度閾値より上のクラスＢ欠陥の数）＋１２（クラスＢ ＫＤＯＩ ＣＮＤビン中の欠陥の数））／４４（クラスＢに手作業で分類された欠陥の数）＝１００％。
図示の例では、クラスＡ（ＤＯＩ分類グループに割り当てられた）の純度および抽出率は、以下のように計算することができる。
クラスＡ純度＝４３（クラスＡに正しく自動的に分類された欠陥の数）／４３（クラスＡに自動的に分類された欠陥の合計数）＝９３％。
クラスＡ抽出率＝（４３（純度閾値より上のクラスＡ欠陥の数）＋２＋４＋６（クラスＡ ＫＤＯＩ ＣＮＤビン＋ＤＯＩ ＣＮＤビン＋不明ＣＮＤビンにおける欠陥の数）／６０（クラスＢに手作業で分類された欠陥の数）＝９１％。

上記のように、寄与率計算は、分類目的および／またはユーザの要求に依存する。非限定の例として、ユーザは、自動分類結果に関係なくすべてのＫＤＯＩ欠陥を手作業でレビューすることに関心をもつことがある。そのような場合に、寄与列は４０１、４０２、４０５－２、および４０５－３列であり、寄与率は、（４６＋１０４＋１４＋５）／２５０＝６７％に等しい。別の非限定の例として、寄与列は、ユーザによって、純度閾値より上のＫＤＯＩおよびＤＯＩクラス、選択的な純度閾値より上の疑似クラス、ＤＯＩ ＣＮＤビン（レビューされる必要がある場合を除いて）、疑似ＣＮＤビン、およびＵＮＫビンとして定義され得る。図示の例では、そのような定義は、４０１、４０２、４０３、４０５－２、４０５－３、および４０４－１列に対応し、寄与率は、（４６＋４０＋１０４＋１４＋５＋１５）／２５０＝９０％に等しい。
図７を参照すると、本開示の主題のいくつかの実施形態による使用点の例示された処理（３０８）の一般化された流れ図が示される。
訓練欠陥ごとに、事前分類の結果、自動分類の結果、および優先順位付き排除ビンの各々に関する信頼度レベルを取得する（７０１）際、分類器１０３は、マジョリティクラスの各々に対する正当なクラス使用点を計算する（７０２）。
正当なクラス使用点の中で、分類器１０３は、最大のクラス寄与率をもつ正当な使用点を選択し、この使用点がすべてのクラスを考慮した抽出率要件を満たしているかどうかをチェックする（７０３）。満たしている場合、この点は、クラスごとの品質要件を満たしながら最も高いあり得るＡＤＣ寄与率を可能にする最大値の点である。

使用点がすべてのクラスを考慮した抽出率要件を満たしていない場合、分類器１０３は、欠落抽出率を伝えることができる正当なクラス使用点の数を示す間隙を評価する（７０４）。間隙が性能閾値（ＰＴＨＳ）よりも低い場合、分類器１０３は、最良の寄与率をもつものを見いだすために、正当なクラスの使用点のすべての組合せを経験する網羅的計算を行う（７０５）。そのような使用点は、すべてのクラスに対してクラスごとの品質要件を満たしながら最も高いあり得るＡＤＣ寄与率を可能にする最適な使用点に対応する。間隙が性能閾値を超える場合、分類器１０３は、オプションとしてブラックボックス最適化（例えば、粒子群最適化）が後に続く直接（貪欲）アルゴリズムを使用して（７０６）計算を行う。性能閾値はＰＭＣ１０４の処理能力に依存することに留意されたい。
非限定の例として、直接計算を以下のように行うことができる。

マジョリティクラスの正当なクラス使用点ごとに部分的抽出率およびそれぞれのクラス寄与率を取得する際、分類器１０３は、それぞれの優先度の順序で、分類グループごとに最適化を行う。所与の分類グループのマジョリティクラスごとに、分類器１０３は、失われた寄与率に対する抽出率利得の比として定義される効果を計算し、所与の分類グループ内の欠陥抽出率のために最良のマジョリティクラスを貪欲に選び、抽出率要件が所与のグループのすべてのクラスを考慮して満たされるまで繰り返す。分類グループごとのそのようなサイクルを終了する際、分類器１０３は、貪欲に最適化された使用点を取得する。
本開示の主題の教示は図７に示した処理によって拘束されないことを当業者は容易に理解するであろう。クラスごとに品質要件を満たしながら最も高いあり得るＡＤＣ寄与率を可能にする最適な使用点を取得するために、他の適切なアルゴリズムおよびその組合せを実施することができる。
本発明は、その適用において、本明細書に含まれる説明に記載されたまたは図面に示された詳細に限定されないことを理解されるべきである。本発明は、他の実施形態が可能であり、様々な方法で実践および実行することができる。それゆえに、本明細書において使用された語法および用語は説明のためのものであり、限定と見なされるべきでないことを理解されるべきである。そのため、本開示が基づいている概念は、本開示の主題のいくつかの目的を実行するために、他の構造、方法、およびシステムを設計するための基礎として容易に利用することができることを当業者は理解するであろう。

本発明によるシステムは、適切にプログラムされたコンピュータで少なくとも部分的に実施され得ることも理解されるであろう。同様に、本発明は、本発明の方法を実行するためのコンピュータによって読取り可能なコンピュータプログラムを意図する。本発明は、さらに、本発明の方法を実行するためにコンピュータによって実行可能な命令のプログラムを有形に具現する非一時的コンピュータ可読メモリを意図する。
添付の特許請求の範囲においておよび添付の特許請求の範囲によって定義される範囲から逸脱することなく、上文に記載したような本発明の実施形態に様々な変形および変更を適用することができることを当業者は容易に理解するであろう。

１００ 試験システム
１０１ 検査ツール
１０２ レビューツール
１０３ 分類器
１０４ プロセッサおよびメモリ回路
１０５ ハードウェアベース入力インターフェース
１０６ ハードウェアベース出力インターフェース
１０７ ストレージシステム
１０８ ＧＵＩ
１０９ データレポジトリ
１１０ 設計サーバ
１２２ レビューデータ

Claims (20)

1. 試料の欠陥を複数のクラスに分類することができるシステムであって、処理およびメモリ回路（ＰＭＣ）を含み、前記処理およびメモリ回路（ＰＭＣ）が、
   前記複数のクラスのクラスごとに別々に定義された品質要件を示すデータを取得することと、
   異なる優先度をもつ少なくとも３つの分類グループの中の分類グループへの前記複数のクラスの各クラスの割当てを示すデータを取得することと、
   少なくとも３つの「決定することができない（ＣＮＤ）」排除ビンを特定することとを行うように構成されており、
   少なくとも３つのＣＮＤ排除ビンは、それぞれのクラスに対応する信頼レベルを有する複数のクラスのうちのいずれかのクラスに割り当てることができないＣＮＤベースの排除された欠陥を取集するために構成されており、前記少なくとも３つのＣＮＤ排除ビンは、前記少なくとも３つの分類グループに対応しており、前記少なくとも３つのＣＮＤ排除ビンの分類優先度は、それぞれの分類グループの優先度に対応しており、
   訓練中に、
   複数の予め分類された訓練欠陥およびその属性値を含む訓練データを取得し、
   初期に分類された訓練欠陥をもたらすために前記複数のクラスのうちのクラスへの前記複数の予め分類された訓練欠陥の初期自動分類を行い、
   前記複数のクラスのクラスごとに定義されたクラスごとの品質要件を満たしながら自動分類の最も高いあり得る寄与率に対応する最適な使用点を取得するために前記初期に分類された訓練欠陥を処理し、
   前記最適な使用点に対応する信頼度閾値をもつ分類ルールを生成し、前記信頼度閾値が、優先順位付き排除ビンに対応し、前記優先順位付き排除ビンは、前記少なくとも３つのＣＮＤ排除ビンを備え、
   前記試料の欠陥を分類するとき、前記生成された分類ルールを適用すること
   を行うように更に構成される、
   システム。
2. 前記ＰＭＣが、同じ分類グループに割り当てられたいくつかのクラスを一緒に結合することを可能にし、前記結合クラスの品質要件を単一クラスと同様に規定するようにさらに構成される、請求項１に記載のシステム。
3. 各クラスが、以下の分類グループ、すなわち、最も高い優先度をもつ前記分類グループである「注目するキー欠陥（ＫＤＯＩ）」、「注目する欠陥（ＤＯＩ）」、および最も低い優先度をもつ前記分類グループである「疑似」のうちの１つに割り当てられる、請求項１に記載のシステム。
4. 前記優先順位付き排除ビンが、「ＫＤＯＩ」ＣＮＤ排除ビン、「ＤＯＩ」ＣＮＤ排除ビン、「疑似」ＣＮＤ排除ビン、および「不明（ＵＮＫ）」排除ビンからなり、前記優先順位付き排除ビンのＣＮＤ排除ビンの優先度がそれぞれの分類グループの優先度に対応する、請求項３に記載のシステム。
5. 各マジョリティクラスが、以下の分類グループ、すなわち、「ＫＤＯＩ」、「ＤＯＩ」、および「疑似」のうちの１つに割り当てられ、マイノリティクラスが、「新規」分類グループに割り当てられ、前記グループの優先度が、以下の順序に、すなわち、「ＫＤＯＩ」＞「新規」＞「ＤＯＩ」＞「疑似」に構成される、請求項１に記載のシステム。
6. 前記優先順位付き排除ビンが、「ＫＤＯＩ」ＣＮＤ排除ビン、「ＤＯＩ」ＣＮＤ排除ビン、「疑似」ＣＮＤ排除ビン、および「新規」ＵＮＫ排除ビンからなり、前記優先順位付き排除ビンのすべての排除ビンの優先度がそれぞれの分類グループの優先度に対応する、請求項５に記載のシステム。
7. 所与のクラスに対して定義された前記品質要件が、前記所与のクラスの正しく分類された欠陥と、前記所与のクラスに属し、前記所与のクラスの抽出率のためにカウントするときに選択される１つまたは複数の排除ビンに排除された欠陥との両方をカウントする抽出率要件を含む、請求項１に記載のシステム。
8. 自動分類の前記寄与率が、分類目的に応じて異なるように計算される、請求項１に記載のシステム。
9. 試料の欠陥を複数のクラスに自動分類する方法であって、
   処理およびメモリ回路（ＰＭＣ）で分類ルールを生成するステップを備え、
   前記分類ルールを生成するステップが、
   前記複数のクラスのクラスごとに別々に定義された品質要件を示すデータと、異なる優先度をもつ少なくとも３つの分類グループの中の分類グループへの前記複数のクラスの各クラスの割当てを示すデータとを取得するステップと、
   少なくとも３つの「決定することができない（ＣＮＤ）」排除ビンを特定するステップを備え、
   少なくとも３つのＣＮＤ排除ビンは、それぞれのクラスに対応する信頼レベルを有する複数のクラスのうちのいずれかのクラスに割り当てることができないＣＮＤベースの排除された欠陥を取集するために構成されており、前記少なくとも３つのＣＮＤ排除ビンは、前記少なくとも３つの分類グループに対応しており、前記少なくとも３つのＣＮＤ排除ビンの分類優先度は、それぞれの分類グループの優先度に対応しており、
   訓練中に、
   複数の予め分類された訓練欠陥およびその属性値を含む訓練データを取得し、
   初期に分類された訓練欠陥をもたらすために前記複数のクラスのうちのクラスへの前記複数の予め分類された訓練欠陥の初期自動分類を行い、
   前記複数のクラスのクラスごとに定義されたクラスごとの品質要件を満たしながら自動分類の最も高いあり得る寄与率に対応する最適な使用点を取得するために前記初期に分類された訓練欠陥を処理し、
   前記最適な使用点に対応する信頼度閾値をもつ前記分類ルールを生成し、前記信頼度閾値が、優先順位付き排除ビンに対応し、前記優先順位付き排除ビンは、前記少なくとも３つのＣＮＤ排除ビンを備え、
   前記試料の欠陥を分類するとき、前記ＰＭＣによって、前記生成された分類ルールを適用するステップ
   を更に含む、方法。
10. 同じ分類グループに割り当てられたいくつかのクラスを一緒に結合するステップと、前記結合クラスの品質要件を単一クラスと同様に規定するステップとをさらに含む、請求項９に記載の方法。
11. 各クラスが、以下の分類グループ、すなわち、最も高い優先度をもつ前記分類グループである「注目するキー欠陥（ＫＤＯＩ）」、「注目する欠陥（ＤＯＩ）」、および最も低い優先度をもつ前記分類グループである「疑似」のうちの１つに割り当てられる、請求項９に記載の方法。
12. 前記優先順位付き排除ビンが、「ＫＤＯＩ」ＣＮＤ排除ビン、「ＤＯＩ」ＣＮＤ排除ビン、「疑似」ＣＮＤ排除ビン、および「不明（ＵＮＫ）」排除ビンからなり、前記優先順位付き排除ビンのＣＮＤ排除ビンの優先度がそれぞれの分類グループの優先度に対応する、請求項１１に記載の方法。
13. 各マジョリティクラスが、以下の分類グループ、すなわち、「ＫＤＯＩ」、「ＤＯＩ」、および「疑似」のうちの１つに割り当てられ、マイノリティクラスが、「新規」分類グループに割り当てられ、前記グループの優先度が、以下の順序に、すなわち、「ＫＤＯＩ」＞「新規」＞「ＤＯＩ」＞「疑似」に構成される、請求項９に記載の方法。
14. 前記優先順位付き排除ビンが、「ＫＤＯＩ」ＣＮＤ排除ビン、「ＤＯＩ」ＣＮＤ排除ビン、「疑似」ＣＮＤ排除ビン、および「新規」ＵＮＫ排除ビンからなり、前記優先順位付き排除ビンのすべての排除ビンの優先度がそれぞれの分類グループの優先度に対応する、請求項１３に記載の方法。
15. 前記最適な使用点を取得するために前記初期に分類された訓練欠陥を処理するステップが、前記ＰＭＣによって、マジョリティクラスごとに、正当なクラス使用点を取得するステップであり、各正当なクラス使用点が、それぞれのクラスに対して定義された品質要件を満たし、前記優先順位付き排除ビンに対応する信頼度閾値によって特性評価される、取得するステップと、
    前記ＰＭＣによって、前記最適な使用点を取得するために前記正当なクラス使用点を処理するステップとを含む、請求項９に記載の方法。
16. 前記正当なクラス使用点を取得するステップが、前記訓練欠陥の少なくとも一部を前記優先順位付き排除ビンにわたって分配するステップを含み、ある欠陥に対して排除ビンを選択するステップが、それぞれの分類グループの相対的優先度および前記排除ビンの優先度に応じて、予め定義されたルールに従って行われる、請求項１５に記載の方法。
17. 所与のクラスに対して定義された前記品質要件が、前記所与のクラスの正しく分類された欠陥と、前記所与のクラスに属し、前記所与のクラスの抽出率のためにカウントするときに選択される１つまたは複数の排除ビンに排除された欠陥との両方をカウントする抽出率要件を含む、請求項９に記載の方法。
18. 前記所与のクラスの分類グループの優先度よりも低くない優先度をもつすべての排除ビンが、前記所与のクラスの抽出率のためにカウントするときに選択される、請求項１７に記載の方法。
19. 自動分類の前記寄与率が、分類目的に応じて異なるように計算される、請求項９に記載の方法。
20. コンピュータによって実行されたときに、試料の欠陥を複数のクラスに自動分類する方法を前記コンピュータに実行させる命令を含む非一時的コンピュータ可読媒体であって、前記方法が、
    処理およびメモリ回路（ＰＭＣ）で分類ルールを生成するステップを備え、
    前記分類ルールを生成するステップが、
    前記複数のクラスのクラスごとに別々に定義された品質要件を示すデータと、異なる優先度をもつ少なくとも３つの分類グループの中の分類グループへの前記複数のクラスの各クラスの割当てを示すデータとを取得し、
    少なくとも３つの「決定することができない（ＣＮＤ）」排除ビンを特定することを備え、
    少なくとも３つのＣＮＤ排除ビンは、それぞれのクラスに対応する信頼レベルを有する複数のクラスのうちのいずれかのクラスに割り当てることができないＣＮＤベースの排除された欠陥を取集するために構成されており、前記少なくとも３つのＣＮＤ排除ビンは、前記少なくとも３つの分類グループに対応しており、前記少なくとも３つのＣＮＤ排除ビンの分類優先度は、それぞれの分類グループの優先度に対応しており、
    訓練中に、
    複数の予め分類された訓練欠陥およびその属性値を含む訓練データを取得し、
    初期に分類された訓練欠陥をもたらすために前記複数のクラスのうちの前記クラスへの前記複数の予め分類された訓練欠陥の初期自動分類を行い、
    前記複数のクラスのクラスごとに定義されたクラスごとの品質要件を満たしながら自動分類の最も高いあり得る寄与率に対応する最適な使用点を取得するために前記初期に分類された訓練欠陥を処理し、
    前記最適な使用点に対応する信頼度閾値をもつ前記分類ルールを生成し、前記信頼度閾値が、優先順位付き排除ビンに対応し、前記優先順位付き排除ビンは、前記少なくとも３つのＣＮＤ排除ビンを備え、
    前記試料の欠陥を分類するとき、前記ＰＭＣによって、前記生成された分類ルールを適用するステップ
    を更に含む、非一時的コンピュータ可読媒体。

Images