JP6285640B2 - 自動及び手動欠陥分類の統合 - Google Patents

Description

（技術分野）
本発明の実施形態は、一般的には自動検査に関し、詳細には製造欠陥の分析のための方法及びシステムに関する。

自動欠陥分類（ＡＤＣ）技術は、半導体産業において、パターニングされたウェハ上の欠陥の観察及び計測に幅広く使われている。ＡＡＤＣ技術は、製造プロセスに対してより詳細なフィードバックを提供すると共に検査員の負担を軽減するために、欠陥の存在を検出すると共に自動的に欠陥をタイプ毎に分類する。例えば、ＡＤＣ技術は、ウェハ表面の粒子状汚染物質から生じる欠陥タイプと集積回路パターン自体の不規則性に関連した欠陥タイプとを識別するために使用され、粒子や不規則性の詳細なタイプを特定することもできる。

特許文献には、ＡＤＣに関する種々の方法が説明されている。例えば、米国特許第６，２５６，０９３号明細書は、走査ウェハにおけるオンザフライＡＤＣが説明されている。光源は、ウェハ上に照明スポットを生ずるように走査ウェハを照らす。スポットから散乱した光は、少なくとも２つの離間した検出器によって検出され、ウェハ上の欠陥を検出して、欠陥を個別の欠陥タイプに分類するために解析される。

別の例として、米国特許第６，９２２，４８２号明細書には、境界情報及びトポグラフィー情報を使用するコア分類器を用いて、半導体ウェハ表面上の欠陥を多数のコアクラスのうちの１つに自動的に分類することが説明されている。次に、欠陥は、コアクラスに関連付けされて、限定された数の関連コアクラスのみから欠陥を分類するように訓練された特定の適応分類器を用いて下位クラスに分類される。コア分類器又は特定の適応分類器によって分類できない欠陥は完全分類器によって分類される。

米国特許第６，２５６，０９３号明細書 米国特許第６，９２２，４８２号明細書

本発明の実施形態は、検査データに基づいた自動欠陥分類のための改良された方法、システム、及びソフトウェアを提供する。例示的なコンピュータシステムは、多次元特徴空間における複数の分類規則に関して、複数の欠陥クラスの複数の定義を記憶する。検査中の１つ又はそれ以上のサンプルから検出された複数の欠陥に関連する検査データを受け取る。複数の定義に基づいて自動分類器を検査データに適用することにより、複数の欠陥の中の欠陥に関するクラスラベル及び対応する信頼度レベルを含む、複数の第１の分類結果を生成する。欠陥に関する信頼度レベルが予め設定された信頼度閾値以下であると決定すると、欠陥に対して少なくとも１つの検査手法を適用することによって複数の第２の分類結果を生成する。複数の第１の分類結果と複数の第２の分類結果とを組み合わせることによって、複数の欠陥クラスの中の複数の欠陥の分布を含むレポートを生成する。

１つの実施形態では、コンピュータシステムは、該コンピュータシステムのオペレータから、複数の性能尺度の中から選択された分類性能尺度を受け取り、分類性能尺度に基づいて信頼度閾値を決定する。１つの実施形態では、複数の尺度は、最大除去率及び目標純度レベルの少なくとも１つを含む。

１つの実施形態では、複数の欠陥クラスの複数の定義は、パラメータを有するカーネル関数を含む。１つの実施形態では、検査データに自動分類器を適用することは、信頼度閾値に基づいて複数の欠陥クラスに関するパラメータの値を選択することを含む。

１つの実施形態では、コンピュータシステムは、多クラス分類器を検査データに適用して複数の欠陥の各欠陥に複数の欠陥クラスの特定の欠陥クラスを割当て、少なくとも１つの単クラス分類器を検査データに適用して複数の欠陥クラスの各々のクラスと関連した欠陥を識別することで、自動分類器を検査データに適用し、クラス分類器は、特定の欠陥クラスに入らない欠陥を未知欠陥として識別する。

１つの実施形態では、複数の欠陥は少なくとも未知の欠陥を含む。

１つの実施形態では、コンピュータシステムは、自動分類器を訓練データに適用することにより、特徴空間における複数の分類規則を定義する。

１つの実施形態では、コンピュータシステムは、検査手法又は別の分類手法により提供される第２の分類結果を使用して自動分類器を改良する。

１つの実施形態では、コンピュータシステムは、人間の検査員から提供される付加的な情報を統合することにより、自動分類器を改良する。

１つの実施形態では、コンピュータシステムは、別の分類手順から提供される付加的な情報を統合することにより、自動分類器を改良する。

１つの実施形態では、コンピュータシステムは、自動分類のために複数の欠陥クラスの中から特定のグループを選択することで複数の定義を記憶し、グループに含まれない１つ又はそれ以上の欠陥クラスを人間の検査員に提供し、自動分類器を改良することは、第２の分類結果に基づく自動分類のために、１つ又はそれ以上の欠陥クラスをグループに追加することを含む。

１つの実施形態では、コンピュータシステムは、複数のサンプルの複数の画像を受け取り、複数の画像を処理することにより、複数の欠陥の複数の特徴値を抽出する。

１つの実施形態では、複数のサンプルは複数の半導体ウェハを含み、複数の画像は走査型電子顕微鏡（ＳＥＭ）により取り込まれる。

付加的な実施形態では、前述の実施形態の動作を実行するための方法が提供される。さらに、本発明の実施形態では、非一時的コンピュータ可読記憶媒体は、前述の実施形態の動作を実行するための方法を記憶する。

本発明の種々の実施形態が、以下の詳細な説明及び本発明の種々の実施形態の添付図面から十分に理解されるであろう。

本発明の実施形態による、欠陥検査分類システムの例示的な概略図である。 本発明の実施形態による、異なる欠陥クラスに属する検査特徴値を含む特徴空間の概略図である。 本発明の実施形態による、自動欠陥分類システムのブロック図である。 本発明の実施形態による、自動欠陥分類器のブロック図である。 本発明の実施形態による、特徴空間における信頼度閾値の例示的な概略図である。 本発明の実施形態による、除去率の関数として分類の純度を示す例示的な概略図である。 本発明の実施形態による、単一のクラス分類器を説明する特徴超空間の例示的な概略図である。 本発明の実施形態による、分類器カーネルパラメータを設定する方法を説明する流れ図である。 本明細書に説明される１つ又はそれ以上の操作を実行する典例示的なコンピュータシステムのブロック図である。

一般的に、自動欠陥分類（ＡＤＣ）システムは、人間の熟練者により予め分類された欠陥の集合を含む訓練データのセットを用いて調整される。ＡＤＣシステムは、多次元特徴空間における各々の欠陥クラスに関連する特徴値の関数として定義される分類規則を設定するために、訓練データを使用する。また、多次元特徴空間は、分類が３つ以上の特徴を含む場合には超空間として言及される。大部分の既存のＡＤＣシステムでは、次に、これらの設定値は、正しく分類された全欠陥の割合として定義される、精度を最適化するために試験されて調整される。

しかしながら、多くのＡＤＣ用途において、分類の純度がシステム運用のより意義のある尺度である場合がある。分類の純度とは、正しく分類された残りの欠陥（例えば、ＡＤＣシステムによって分類可能であるが除去されないことが分かっている欠陥）の割合とすることができる。システムのオペレータは、所望の純度及び／又は特定の最大除去率のような分類性能尺度を規定することができる。分類性能尺度は、ＡＤＣシステムが信頼性をもって分類できないので人間の熟練者（例えば、システムオペレータ）による分類へと戻される欠陥の割合とすることができる。ＡＤＣシステムによって除去される何パーセントかの欠陥が常に存在する可能性が高いので、分類の純度は、オペレータにとって最大の関心事となるはずである。

分類の純度は、種々のタイプの分類不確実性の影響を受ける可能性がある。欠陥に関連付けされた特徴値は、２つ（又は、それ以上）の異なる欠陥クラスの間のオーバーラップ領域に入る場合がある。欠陥の特徴値は、所定の欠陥クラスに関連付けされた範囲の外側境界に位置する場合もある。２０１０年７月２７日出願の米国特許出願番号１２／８４４，７２４には、検査データに対して、多クラス分類器及び単クラス分類器の両方を含む、複数の異なる分類器を適用することにより、種々のタイプの分類不確実性に対処するＡＤＣシステムが説明されている。このシステムでは、分類の純度を最適化するために、分類器のパラメータを訓練して調整することができる。

本発明の実施形態は、多クラス分類器及び単クラス分類器を使用するＡＤＣシステムを提供する。多クラス分類器は、複数の欠陥クラスの間で多次元特徴空間を分割し、各々の欠陥を特徴空間内の位置に応じてクラスの１つに割当てる。多クラス分類器は、各クラスの間のオーバーラップ領域にある欠陥を決定不能な欠陥と識別する。多クラス分類器は、信頼度閾値を使用することにより、オーバーラップ領域にある欠陥を識別することができる。各々の欠陥クラスに関して、単クラス分類器は、欠陥クラスに属する欠陥と属しない欠陥とを識別するために、クラス特有の規則を適用する。クラスに属しない欠陥は、このクラスに対する信頼度閾値を用いて識別することができ、未知の欠陥と識別することもできる。単クラス分類器及び多クラス分類器は、高い純度で欠陥を分類するために一緒に使用される。異なるクラスの外側境界及びオーバーラップ領域の範囲は、可変の信頼度閾値により、除去率を所定の閾値よりも大きくならないように維持しながら純度を最大にするように調節される。

単クラス分類器（既知欠陥と未知欠陥とを識別するための）及び多クラス分類器（決定可能な欠陥と決定不能な欠陥とを識別するための）に関する信頼度閾値は、訓練プロセスで、人間のオペレータが手動で予め分類した欠陥セットを用いて調整される。この訓練プロセスの成果は、各々の欠陥クラスの特徴空間における境界を規定する分類規則（除去規則とも呼ぶ）セットである。分類規則セットは、クラスを特徴付ける検査特徴空間のそれぞれの範囲を規定することができる。また、分類規則は、欠陥の各々の単クラス分類又は多クラス分類と関連する信頼度レベルを、特徴空間における欠陥の位置の関数として与える信頼度尺度を提供する。

１つの実施形態では、単クラス分類器の各々は、クラスが占有する特徴空間の領域を規定するカーネル関数によって定義される。この領域内の欠陥は、クラスに属するものとして分類され、領域外の欠陥は、未知のものとして分類される。パラメータは、特徴空間内の領域の形状を規定することができる。訓練プロセス時に、複数の領域の形状を評価することができ、各々の信頼度閾値に対して最適な形状を見つけることができる。

分類が未知である実際の製造欠陥の分類においては、各々の分類器に対する信頼度閾値は、所望の性能レベルを達成するように選択することができる。分類が未知の実際の製造欠陥の分類は、第１の分類結果となることができる。

本発明の実施形態では、自動分類器により除去される欠陥（例えば、決定不能、又は未知として分類される）は、欠陥クラスへの分類のために、第１の分類結果を生成するために使用されたものとは異なる、１つ又はそれ以上の他の検査手法に送られて第２の分類結果がもたらされる。１つの実施形態では、検査手法は、除去された欠陥を適当な欠陥クラスへ割当てる人間の検査員である。別の実施形態では、除去された欠陥は、欠陥の位置及び／又はその近くに存在する物質に関する付加的な情報を提供する、付加的な検査データ（例えば、Ｘ線検査データ等）に基づいて分類される。除去された欠陥（第２の分類結果）に対する最新の欠陥割当ては、ＡＤＣシステムへ戻すことができる。１つの実施形態では、ＡＤＣシステムは、最新の欠陥割当て（第２の分類結果）を自動的に分類された欠陥（第１の分類結果）と一緒に、結合されたデータセットへ統合する。従って、ＡＤＣシステムは、サンプルセットにおける欠陥分布の完全で統一されたレポートを提供することができる。自動分類結果の高い純度に起因して、この統一されたレポートは、欠陥分布の最も包括的かつ正確な表示をシステムオペレータに提供できる。この種の表示は、例えば、半導体デバイス製造のようなプロセス制御用途において特に重要である。

いくつかの実施形態では、第２の分類結果は、対応する欠陥画像と一緒に自動分類器の改良に使用することができる。例えば、予め分類された訓練セットにおいて一般に発生する欠陥に関する多クラス分類器は、一般的に高い精度及び純度をもつことができるが、一般的ではない欠陥クラスに関する分類器は、低い精度及び高い除去率をもつことになる。（これらのクラスは、低い欠陥数に起因して、訓練データにおいて良好に特徴付けされていないので）。第２の分類結果は、この一般的ではない欠陥クラスに関する分類器を改良する場合に特に有用である。一般的ではない欠陥クラスに関して十分な欠陥数が蓄積されると、一般的ではない欠陥クラスを訓練セットに加えることができ、一般的ではない欠陥クラスに対する精度及び純度の向上につながる。一般的ではない欠陥クラスを追加する結果として、各々の欠陥クラスに対する信頼度レベルは同様に高くなり、最終的には除去される欠陥数を低減することができる。

本開示の実施形態は、具体的には半導体ウェハにおける欠陥の検出に関連するが、本発明の原理は、同様に他のタイプの画像特徴の自動分析及び分類に適用できる。さらに、これらの実施形態は、特定のタイプの分類器及びその組み合わせに基づいているが、本発明の他の実施形態における検査システムは、本技術分野では公知の他のタイプの分類器を使用することができる。特に、これによって異なる検査手法をシステムに統合されるような原理は、多くの異なった自動及び手動分類技術に適用することができる。

図１は、本発明の実施形態による、自動欠陥検査及び自動欠陥分類に関するシステム２０の例示的な概略図である。パターニングされた半導体ウェハ２２のようなサンプルは、検査マシン２４に挿入される。マシンは、例えば、走査型電子顕微鏡（ＳＥＭ）、光学検査装置、又は本技術分野で公知の任意の他の適切な種類の検査装置を備えることができる。マシン２４は、一般的にウェハ表面を検査して、検査結果を検出及び処理して、例えば、ウェハ２２上の欠陥画像を含む検査データを出力する。１つの実施形態では、検査データは、ウェハ上で見つかった欠陥リスト、各々の欠陥の位置、及び各々の欠陥に関連する検査特徴値を含む。検査特徴値は、欠陥コンテクスト及び／又は本技術分野で公知の他の任意の適切な特徴だけでなく、例えば、欠陥のサイズ、形状、散乱強度、方向性、及び／又はスペクトル特性を含むことができる。

用語「検査データ」は、本発明の実施形態では、ＳＥＭ画像及び関連するメタデータに言及するために使用されるが、この用語は、データを収集するための手段に関わらず、及びウェハ全体のデータを取り込むのか又は個々の疑わしい位置付近のデータを取り込むのかに関わらず、欠陥の特徴を識別するために収集して処理することができる何らかの全ての記述的データ及び診断データを参照するように広範に理解されたい。いくつかの実施形態は、ウェハを走査して疑わしい欠陥の位置リストを提供する検査システムによって識別される欠陥の分析に適用できる。別の実施形態は、検査ツールによって提供される疑わしい欠陥の位置に基づいて、再検査ツールによって再検出される欠陥の分析に適用できる。本発明は、検査データが生成される何らかの特定の技術に限定されるものではない。従って、半導体用途に関して、本発明の実施形態は、ＵＶｉｓｉｏｎ（商標）システムのような光学検査システム、ＳＥＭＶｉｓｉｏｎ（商標）システムのような検査装置（いずれもアプライドマテリアルズ社から入手可能）、又は本技術分野で公知の他の何らかの種類の検査システム及び手法によって生成されるデータの分析に適用することができる。

ＡＤＣマシン２６は、検査マシン２４から出力された検査データを受信して処理する。検査マシン２４がウェハ２２の画像から全ての関連する検査特徴値を抽出しない場合には、ＡＤＣマシン２６は、これらの画像処理機能を実行することができる。図１において、ＡＤＣマシン２６は、検査マシンの出力に直接接続されるように示されているが、いくつかの実施形態では、ＡＤＣマシン２６は、予め取得して保存された検査データで作動することができる。別の実施形態では、ＡＤマシン２６の機能は検査マシン２４に統合することができる。

ＡＤＣマシン２６は、表示装置３２及び入力装置３４を含むユーザインターフェースに加えて、欠陥情報及び欠陥分類パラメータを保持するための記憶装置３０を有する処理装置２８を備える汎用コンピュータとすることができる。ＡＤＣマシン２６の機能を実行するコンピュータは、ＡＤＣ機能専用とすること又は付加的な計算機能を実行することができる。１つの実施形態では、本明細書に記載のＡＤＣ機能の少なくとも一部は、専用の又はプログラム可能なハードウェア論理回路によって実行される。

ＡＤＣマシン２６は、前述のように、単クラス分類器及び多クラス分類器を含む複数の分類器を実行することができる。以下の実施形態では、明瞭に説明する目的で、ＡＤＣマシン２６及びシステム２０の他の構成要素を参照するが、これらの実施形態の原理は、欠陥の複数のクラス又は他の未知の特徴を処理する何らかの分類システムでも同様に実施することができる。

図２は、本発明の実施形態による、特徴空間４０の例示的な概略図であり、欠陥セット４２、４４、５０、５１、５６がマッピングされている。特徴空間は２次元で表現されているが、本明細書に記載の分類プロセスは、一般により高次元の空間で実行される。図２の欠陥は、２つの異なるクラス、つまり欠陥４２に関連するクラス（以下「クラスＩ」と呼ぶ）及び欠陥４４に関連する他のクラス（以下「クラスＩＩ」と呼ぶ）に属していると想定される。欠陥４２は、特徴空間４０において境界５２により境界付けされるが、欠陥４４は特徴空間４０において境界５４により境界付けされる。この境界はオーバーラップすることができる。

ＡＤＣマシンは、２つのタイプの分類器を適用して欠陥を分類することができ、多クラス分類器及び少なくとも１つの単クラス分類器である。多クラス分類器は、クラスＩとクラスＩＩの間で識別を行う。１つの実施形態では、多クラス分類器は、２つのクラスに関連する各領域の間で境界４６を規定する２分類器である。いくつかの実施形態では、ＡＤＣマシンは、各々が異なったクラス対に対応する複数の２分類器を重ね合わせ、各々の欠陥を複数の２分類器から最も肯定的な投票結果を受け取ったクラスに割当てることにより、多クラス分類を行う。欠陥が多クラス分類器により分類されると、単クラス分類器は、境界５２及び５４で示される、それぞれのクラスに確実に割当て可能な欠陥を識別するが、境界外の欠陥を「未知のもの」として除去する。これらの単クラス分類器は、米国特許出願１２／８４４，７２４に詳細に記載されており、図３を参照して以下に説明する。

いくつかの実施形態では、ＡＤＣマシンのシステムオペレータは、欠陥クラスと関連する特徴空間４０の領域境界の位置を決定する信頼度閾値を提供する。多クラス分類に関する信頼度閾値を設定することは、境界４６の両側に境界４８を配置することに等価である。いくつかの実施形態では、信頼度閾値が高いほど、境界４８が離れることになる。ＡＤＣマシンは、各境界４８の間に存在するが境界５２又は５４の内側に位置する欠陥５１を「決定不能」として除去することができるが、その理由は、ＡＤＣマシンがこれらの欠陥を所望の信頼度レベルで何れか１つのクラスに自動的に割当てることができないからである。１つの実施形態では、決定不能な欠陥は、分類のために、システムオペレータのような人間の検査員に提供される。１つの実施形態では、決定不能な欠陥は、分類のために、従前の分類器では利用できない新しい知識を付加した手法に提供される。

いくつかの実施形態では、信頼度閾値は、単クラス分類器の境界の形状を制御する。この形状は、境界の幾何学的形状を参照することができ、境界の範囲を参照することもできる。この形状は、単クラス分類器を実行する際に使用されるカーネル関数のパラメータに関連することができる。信頼度閾値の個々の値に関して、ＡＤＣマシンは、図６と共に以下に詳細に説明されるパラメータの最適値を選択する。いくつかの実施形態では、境界範囲は、信頼度閾値が増大するにつれて縮小し、境界の幾何学的形状は、異なるカーネルパラメータ値が選択されると変化する場合もある。

図２に戻ると、欠陥５６は多クラス分類器によって判定することができるが、欠陥５６は境界５２と５４の外側に置かれるので、「未知」の欠陥として分類される場合がある。欠陥５０は、境界５２及び５４の外側で各境界４８の間にあるが、同様に「未知」の欠陥とものと見なされる。その理由は、欠陥５０が、境界５２及び５４の外側に置かれているからである。いくつかの実施形態では、信頼度閾値を小さく設定することで、欠陥５０及び／又は欠陥５６を含むように、境界５２及び／又は境界５４を十分に拡げることができ、ＡＤＣマシンによる僅かな欠陥の除去につながる。しかしながら、信頼度レベルをより低く設定することで、ＡＤＣマシンはより多くの分類エラーを生じることになるので、分類の純度が低下する。いくつかの実施形態では、信頼度閾値を増大させることで、分類の純度が向上する場合があるが、より高い除去率（より多くの欠陥がＡＤＣマシンにより未知のものとして除去される）につながる場合もある。

図３Ａは、本発明の実施形態による、ＡＤＣマシン（例えば、図１のＡＤＣマシン２６）の機能要素を示すブロック図である。いくつかの実施形態では、自動処理構成要素６０は、図１の処理装置２８により実行されるが、人間の検査員は、検査端末６８を介して図１のＡＤＣマシン２６と情報のやりとりを行う。自動処理構成要素６０は、例えばソフトウェアモジュールとして提供することができるが、この構成要素の少なくとも一部をハードウェア論理回路、又はハードウェア要素とソフトウェア要素とを組み合わせたもので実装することができる。

いくつかの実施形態では、画像処理操作は、処理装置（例えば、図１の処理装置２８）により、検査マシン（例えば、図１の検査マシン２４）によって取り込まれた各々の欠陥画像に対して適用される。画像処理操作は、形状、テクスチャー、及びコンテクスト特徴のような欠陥画像に関する特徴値ベクトルを抽出することができる。自動分類器６１は、クラスラベルに関連する信頼度値と一緒に、各欠陥に対するクラスラベルを割当てることができる。信頼度値は、欠陥が実際に割当てられたクラスに属する可能性を表すことができる。

コンパレータ６６は、信頼度値を信頼度閾値と比較することができる。１つの実施形態では、信頼度閾値は、ＡＤＣマシンのオペレータにより提供される。別の実施形態では、信頼度閾値は、目標純度及び／又は最大除去率のような、オペレータにより指定される１つ又はそれ以上の分類性能尺度に基づいて、ＡＤＣマシンにより計算される。所定の欠陥の分類信頼度が、信頼度閾値（除去レベル閾値）を満たす場合、自動割当てモジュール７１は、この分類を正しいものとして許容することができる。１つの実施形態では、分類信頼度が信頼度閾値を満たさない場合、この欠陥は除去され、検査員７０による目視検査のために端末６８へ送られる。１つの実施形態では、除去された欠陥は、Ｘ線分光法等の付加的な自動分類手順を利用して分析される。いくつかの実施形態では、信頼度閾値は、除去数と分類結果の純度との間のバランスをもたらすように決定される。図３Ａは、単一の除去レベル閾値を示すが、別の実施形態では、システムオペレータは、異なる欠陥クラスに関して異なる除去レベル閾値、つまり信頼度閾値を設定することができる。

統合論理回路７２は、モジュール７１から自動分類の結果と、端末６８から目視分類の結果を受け取り、統合されたレポート７４を生成することができる。レポート７４は、例えば、表示装置３２上に表示すること、及び異なるクラスの間での欠陥分布を示すことができる。いくつかの実施形態では、一般的な欠陥タイプに関連する分布の部分は、自動分類プロセスから生じるが、一般的ではない欠陥タイプは目視により分類されたものとなる。レポート７４は、試験中の欠陥の完全なサンプル画像を最適な純度レベルでシステムオペレータに提供する。

いくつかの実施形態では、統合論理回路７２により検査処理の過程で収集された情報は、分類器６１を改良する際に適用される（図３Ａで、統合論理回路７２から分類器６１への破線矢印により示されるように）。例えば、論理回路７２は、人間の検査員７０によって及び／又はクラス境界を調整するための他の自動分類手順によって提供される分類結果を統合することができる。いくつかの実施形態では、統合論理回路７２は、一般的ではないクラスに関する信頼できる自動分類器を規定するために、一般的ではないクラスに対する目視分類結果を蓄積する。これらの実施形態では、所定量の目視分類結果が蓄積されると、一般的ではないクラスは、分類器６１及び自動割当てモジュール７１により自動的に処理されるクラスのグループに追加される。

図３Ｂは、本発明の実施形態による、図３Ａの分類器６１のような分類器の例示的なブロック図である。分類器は、多クラス分類器６２及び１つ又はそれ以上の単クラス分類器６４を含むことができる。１つの実施形態では、分類器は、ＡＤＣマシンの各欠陥クラスに対する単クラス分類器６４を含むことができる。別の実施形態では、単クラス分類器６４は、１つ又は以上の欠陥クラスに対して使用することができる。

多クラス分類器６２は、欠陥に関する欠陥クラスを選択するために、又は欠陥を決定不能又は未知のものとして除去するために、各々の欠陥に関する特徴値ベクトルを処理することができる。１つの実施形態では、多クラス分類器６２は、サポートベクトルマシンである。別の実施形態では、多クラス分類器６２は、サポートベクトルマシンと同様の特性を有する分類器である。

単クラス分類器６４は、該単クラス分類器で表されるクラスに関する１つ又はそれ以上の除去規則に対する欠陥の特徴をチェックすることができる。単クラス分類器の作動は、図６を参照して以下に詳細に説明され、単クラス分類器の特定の態様は前述の米国特許出願番号１２／８４４，７２４にも説明されている。

図４は、本発明の実施形態による、所定の欠陥に対する境界８４、８６、８８、９０を示す特徴空間８０の例示的な概略図である。いくつかの実施形態では、各々の境界８４、８６，８８、９０は、異なる信頼度閾値に対応することができる。いくつかの実施形態では、各々の境界８４、８６、８８、９０は、異なる除去率又はクラスのパーセンタイル統計量に対応することができる。例えば、内側の境界８４は、境界８４に入る欠陥が高い純度で所定のクラスに属するように、大きな信頼度閾値を有することができる。本実施例では、境界８４に入らない欠陥は「未知」のものとして除去され、これらの「未知」の欠陥は実際には所定のクラスに属するが、人間の検査員か又は別の検査手法に送られて高い欠陥の割合につながる。各々の境界８６、８８、９０は、より低い信頼度閾値及びより低い純度、並びにより低い除去率に対応する。

図４に示す分類器を欠陥８２に適用することは、欠陥８２に関する特定の信頼度値の計算につながる。信頼度値は、欠陥８２がクラスに属する確率に対応することができる。境界８８によって表される信頼度閾値を分類器が選択する場合、欠陥８２は、分類器によって表されるクラスには属していないとして除去される。しかしながら、境界９０によって表される信頼度閾値を分類器が選択する場合、欠陥８２は分類器によって表されるクラスに属しているものとして受け入れられる。境界を欠陥クラスに対する除去規則を用いて規定する方法は、図６を参照して以下に詳細に説明される。

図５は、本発明の実施形態による、除去率の関数として表した分類の純度の例示的なグラフである。いくつかの実施形態では、他の分類及びクラス抽出の尺度は、それらの安定性又は信頼性指標に同様の依存度を有することになる。ＡＤＣマシンは、訓練データの実際の分類結果に基づいてグラフを生成する。この目的で、ＡＤＣマシンは、訓練データの欠陥セットに対する自動分類結果を、人間検査員により実行された「ゴールドスタンダード」（検証セット）の目視分類と比較することができる。この比較は、異なる信頼度閾値（それと対応して異なる除去率で）に対して行うことができる。全ての欠陥がＡＤＣマシンにより除去率０で自動分類される場合、マシンは多くの疑わしい欠陥を分類する必要があるので、分類の純度は低い。しかしながら、高い除去率を選択すると、分類の高い純度を与える場合があるが、ＡＤＣマシンにより「未知」のものとして分類された欠陥の目視分類に、人間検査員がより長時間を費やすことにつながる。

ＡＤＣマシンのオペレータ（例えば、人間検査員）は、所望の純度レベルを与える除去率を選択するために、又は所定の除去率を設定することからもたらされる分類の純度を評価するために、図５に示すようなグラフを利用することができる。

図６は、本発明の実施形態による、ＡＤＣマシンが使用する単クラス分類器を説明する、特徴超空間の例示的な概略図である。１つの実施形態では、単クラス分類器は、１クラスサポートベクトルマシン（ＯＣＳＶＭ）に基づいており、ＯＣＳＶＭは、対象のクラスに関する所定の信頼度レベルに関連するクラス境界（図４の境界８４、８６、８８、９０のような）を規定する。欠陥がクラス境界に入る場合、この欠陥は、この信頼度レベルでクラスに属すると見なすことができる。そうでなければ、この欠陥は未知のものとして分類される。

１つの実施形態では、ＯＣＳＶＭは、基本的ＳＶＭアルゴリズムの非線形カーネルベースバージョンである。カーネル（例えば、ガウスカーネル）は、入力欠陥データを分類器が定義される高次元空間へ変換するために使用される。カーネルは、非線形分離器であるが、カーネル空間内では一次方程式を構成する。具体的には、ＡＤＣマシンは、データを無限ユークリッド特徴空間Ｈ（ヒルベルト空間）へ

を使って写像する。例えば、欠陥ｘ_iとｘ_j（それらの特徴ベクトルにより表される）に対するガウスカーネル関数Ｋは、次のように定義される。

（１）
ここにγは可変カーネルパラメータであり、その値は、対象クラスに対応する特徴空間内領域の形状（サイズ及び形態）を決定する。所定の欠陥ｘに対する単クラス判定値は、次式で与えられる。

（２）
ここに｛ｘ_i｝は訓練ベクトルのセットであり、α_iはラグランジュ未定乗数であり、ｂは距離パラメータである。カーネル関数Ｋを有するクラスに対して、式（２）の値が非負である欠陥はこのクラスに入ると見なされ、この値が負である欠陥は「未知」のものである。この種の計算及び計算パラメータ設定値の詳細は本技術分野では公知である。

図６は特徴空間Ｈを説明しており、そこでは訓練データは超球面

に写像される。ＯＣＳＶＭアルゴリズムは、超平面Ｗ∈Ｈを規定し、これは原点Ｏから距離ｂの超球面の有向半径に直交する、つまり

である。対象のクラスに入る欠陥４４は、サポートベクトルを表す各境界点１００の間の超球面上に存在する。訓練段階では、ＡＤＣマシンは、所定の信頼度閾値に対して、最小の球形キャップ（最小のθ）を与えることになるサポートベクトルを取得することができる。この操作は、距離ｂを最大化することと等価である。ＯＣＳＶＭ分類器が訓練された後、「未知」の欠陥５６は、超平面Ｗの向こう側に（この場合は、距離ξ_iだけ離れて）見出すことができる。

単クラス分類器の最適な性能（つまり、所定の除去率での自動分類結果の最大純度）を得るために、カーネル関数の形状は、信頼度閾値の変更に合わせて変えることができる。パラメータμの値を変えることにより達成できる形状の変更は、図６に示されるように、超平面Ｗの方位角θを変えることと等価である。この変更は、異なる信頼度境界をもたらすことができる。図６は、境界点（サポートベクトル）１００及び１０４、並びにパラメータμ₁及びμ₂をそれぞれに有する２つの超平面を示す。第２の超平面の幾何学的配置は、第１の超平面では「未知」のものとして除去された、追加の欠陥１０２を受け入れる。

図６に示される各々の超平面に対する信頼度閾値は、それぞれのパラメータμ₁及びμ₂によって与えられる。与えられたμの値に対して、対応するカーネル特性は、訓練データセットに関して次の最小化問題を解くことにより決定される。

（３）
以下の制約に従う、

（４）
ここで、ｋは訓練セットのサイズ（つまり、分類器を生成する際に使用した、予め分類された欠陥画像の数）であり、ξ_iは各々の欠陥に対する分類誤差の値である。

式（３）の問題は、ラグランジュ未定乗数ベクトルαに関する最小化問題として書き直すことができる。

（５）
全てのｉに対して、制約

及び

に従う。ここで、ｅはベクトル

であり、Ｑは次式によって与えられる、ｋｘｋの正値半有限行列である。

（６）

問題（５）の解は、信頼度閾値μの各々の値に対するパラメータ分類規則セットである（同等に除去規則として言及される）。この規則は、一般形式

を有する。ＡＤＣマシンは、カーネルパラメータγの最適値を自動的に選択することができ、この最適値は、カーネル関数により与えられるように、クラスに対応する特徴空間において適切な形状の領域を生成する。分類規則のパラメータは、新しい各欠陥ｘの対して、式（２）に適用される。

図７は、本発明の実施形態による、分類器のカーネルパラメータを設定する方法の１つの実施形態の流れ図である。この方法は、ハードウェア（電気回路、専用論理回路等）、ソフトウェア（汎用コンピュータシステム又は専用マシンで実行されるような）、又はそれらの組み合わせを備えることができる処理ロジックにより実行される。１つの実施形態では、この方法は図１のＡＤＣマシン２６により実行される。

ブロック１１０において、処理ロジックは、対象となる各々の欠陥に関する予め分類された訓練データを受け取り、信頼度閾値（例えば、μ）及びカーネルパラメータ（例えばば、γ）の多数の異なる値の各々に関して、訓練データに対する方程式（例えば、図６の問題５）を解く。処理ロジックは、各々の（μ，γ）セットに関する除去率（つまり、「未知」のものとして分類される、試験セットの欠陥割合）を見積もる。

ブロック１１２において、処理ロジックは、ブロック１１０の結果に基づいて各々μと共に使用されることになるγの最適値を選択する。γの最適値は、システム及び適用要件に応じて様々に定義することができる。１つの実施形態では、分類器が訓練データに適用される場合、μの値に最も近い実際の除去率を与えるγの値が選択される。例えば、μが０．１に設定される場合、γの最適値は、１０％の除去率を与えるような値である。本実施形態では、この定義は、システムオペレータに除去率に関する正確な制御を提供すると同時に、分類器が受け入れる欠陥分類の純度を最適化するので、この定義は特に有用である。いくつかの実施形態では、ブロック１１０及び１１２は、予め設定されたμの値のセットのそれぞれに対して繰り返され、処理ロジックが最適値を見出すまで異なるγの値に関して探索を行う。

１つの実施形態では、試験セットに対して計算された実際の除去率が、γの最良の選択に対して予め設定された所定の限度以上、μの値と異なっている場合、処理ロジックは、対象の信頼度レベルμに関して、この欠陥クラスに対する最適なγは存在しないと結論する。本実施形態では、処理ロジックは、システムオペレータに対して、このクラスに関して予め規定された特定の除去率を使用しないよう提言することができる。更に、処理ロジックは、システムオペレータに対して、異なる除去率（例えば、１つ又はそれ以上の近い除去率）を選択するよう提言することができる。いくつかの実施形態では、訓練セットが小さい、小さな欠陥クラスに対しては最適なγが見つからない。いくつかの実施形態では、欠陥クラスの付加的な欠陥が人間の検査員により目視分類された後で、これらの付加的な欠陥を訓練セットに追加すること、及びブロック１１０及び１１２を対象のクラスに関する自動分類規則を改良するために繰り返すことができる。

図４に戻ると、各々の境界８４、８６、８８、９０は、異なる（μ，γ）セットに対応する。例えば、

である。
所定の欠陥の信頼度値は、欠陥がその外側にある最近接境界の信頼度閾値によって与えることができるので、欠陥８２に対する信頼度値は、この例ではＰ＝０．１５である。

図７へ戻ると、ブロック１１４では、処理ロジックは、γの最適値を用いて、各々の信頼度閾値μに関する除去規則

を計算する。

ブロック１１６において、処理ロジックは、各々のμに対する自動分類結果の純度と同様に、各々のμに対する除去率を確認するために、訓練データに対して除去規則を適用する。１つの実施形態では、訓練データに対する除去規則の適用の結果は、図５を参照して説明したようにグラフで表される。別の実施形態では、訓練データに対する除去規則の適用結果が、文字形式のレポートに印刷される。各々の欠陥クラスの訓練データに対する除去規則の適用結果により、システムオペレータは、例えば、所望の分類純度を与えることになる除去率を選択することができ、その逆もまた同様である。

図８は、マシンに本明細書で説明した方法論の１つ又はそれ以上を実行させるための命令セットを実行することができるコンピュータシステム８００の例示的な形態のマシンを示す。代替的な実施形態では、マシンは、他のマシンとＬＡＮ、イントラネット、エクストラネット、又はインターネットで接続することができる（例えば、ネットワーク接続）。マシンは、クライアントサーバ環境におけるサーバー又はクライアントマシンとして作動すること、又はピアツーピア（つまり、分散型）のネットワーク環境でピアマシンとして作動することができる。マシンは、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、セットトップボックス（ＳＴＢ）、携帯型情報端末（ＰＤＡ）、セルラーフォン、ウェブ機器、サーバー、ネットワークルータ、スイッチ回路又はブリッジ回路、又は、マシンが行う動作を特定する命令セット（逐次的又はそうでないもの）を実行する能力をもつ任意のマシンとすることができる。更に、単一のマシンだけを示すが、用語「マシン」、本明細書で説明した方法論の１つ又はそれ以上を実行するための一組（又は多数の組）の命令を、個別で又は一緒に実行するマシンの何らかの集合を含むと見なすべきである。

例示的なコンピュータシステム８００は、処理装置（プロセッサ）８０２、主記憶装置８０４（例えば、読取り専用記憶装置（ＲＯＭ）、フラッシュメモリ、同期式ＤＲＡＭ（ＳＤＲＡＭ）又はダブルデータレートＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ）又はラムバスＤＲＡＭ（ＲＤＲＡＭ）等のダイナミックランダムアクセスメモリ（ＤＲＡＭ））、スタティックメモリ８０６（例えば、フラッシュメモリ、スタティックランダムアクセスメモリ（ＳＲＡＭ）等）、又はデータ記憶装置８１８を含み、これらはバス８０８経由で相互に通信を行う。

プロセッサ８０２は、マイクロプロセッサ、中央処理装置等の、１つ又はそれ以上の汎用処理装置を表している。特に、プロセッサ８０２は、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、又は他の命令セット又は命令セットの組み合わせを実行するプロセッサとすることができる。また、プロセッサ８０２は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタルシグナルプロセッサ（ＤＳＰ）、ネットワークプロセッサ等の１つ又はそれ以上の専用処理装置とすることができる。プロセッサ８０２は、本明細書で説明する動作又はステップを遂行するための命令８２６を実行するように構成される。

更に、コンピュータシステム８００は、ネットワークインターフェース装置８２２を含むことができる。また、コンピュータシステム８００は、ビデオ表示ユニット（例えば、液晶ディスプレイ（ＬＣＤ）又はブラウン管（ＣＲＴ））、英数字入力装置８１２（例えば、キーボード）、カーソル制御装置（例えば、マウス）、及び信号生成装置８１６（例えば、スピーカ）を含むことができる。

データ記憶装置８１８は、コンピュータ可読記憶媒体８２４を含むことができ、本明細書に記載の１つ又はそれ以上の方法論又は機能を具体化する１つ又はそれ以上の命令セット８２６（例えば、ソフトウェア）が保存される。また、命令８２６は、コンピュータシステム８００による実行時に、完全に又は少なくとも部分的に主記憶装置８０４内及び／又はプロセッサ８０２内に存在することができ、主記憶装置８０４及びプロセッサ８０２はコンピュータ可読記憶媒体を構成する。更に、命令８２６は、ネットワークインターフェース装置８２２を介して、ネットワーク８２０上で送受信することができる。

１つの実施形態では、命令８２６は、ＣＡＤベースコンテクスト属性及び／又はソフトウェアライブラリを使用した欠陥分類に関する命令を含み、ＣＡＤベースコンテクスト属性を使用した欠陥分類のための命令を含むモジュールを呼び出す方法を含む。１つの実施形態では、命令８２６は、ＣＡＤベースコンテクスト属性及び／又はソフトウェアライブラリを使用した欠陥分類に関する命令を含み、ＣＡＤベースコンテクスト属性を使用した欠陥分類のための命令を呼び出す方法を含む。例示的な実施形態では、コンピュータ可読記憶媒体８２４（マシン可読記憶媒体）は、単一の媒体として示されているが、用語「コンピュータ可読記憶媒体」は、１つ又はそれ以上の命令セットを保存する、単一の媒体又は複数の媒体（例えば、集中型データベース又は分散型データベース、及び／又は関連のキャッシュ及びサーバー）を含むと見なすべきである。また、用語「コンピュータ可読記憶媒体」は、マシンによる実行のために命令セットを保存、符号化、又は伝達する能力を有する任意の媒体、及びマシンに対して本発明の１つ又はそれ以上の方法論を実行させることができ任意の媒体を含むと見なすできである。従って、用語「コンピュータ可読記憶媒体」は、半導体メモリ、光学式媒体、及び磁気式媒体を含むと見なすことができるが、これらに限定されるものではない。

前述の説明においで、数多くの詳細内容が説明される。しかしながら、本発明の開示により恩恵を受ける当業者であれば、これらの詳細内容が無くても本発明を実施できることを理解できるはずである。いくつかの実施例では、公知の構造及び装置は、詳細にというよりはむしろ、本発明を不明瞭にしないように、詳細ではなくブロック図で示されている。

詳細な説明の一部は、コンピュータメモリ内のデータビット上の動作アルゴリズム及び記号表現を用いて示されている。これらのアルゴリズム的な説明及び表現は、データ処理の当業者へ作業結果の内容を最も効果的に伝達するために当業者が利用する手段である。本明細書では及び一般的には、アルゴリズムは、所望の結果に通じる自己矛盾の無い一連のステップであると考えられる。このステップは、物理量の物理的操作を必要とするステップである。必須はないが、通常、これらの量は、保存、転送、結合、比較、及び別な方法で操作することができる、電気的又は磁気的信号の形態である。これらの信号に、ビット、値、シンボル、特性、期間、数等としての言及することは、共通使用のために時には好都合であることが分かっている。

しかしながら、これらの用語及び類似の用語の全ては、適切な物理量に関連しており、これらの物理量に付与される単なる便宜上のラベルであることに留意されたい。以下の説明から明らかなように、特別に説明しない限り、明細書全体にわたって、用語「特定する」、「表す」、「更新する」、「決定する」、「実行する」、「提供する」、「受け取る」などを利用する説明は、コンピュータシステムのレジスタ及びメモリ内で物理的（例えば、電子的）な量で表現されるデータを操作して、コンピュータシステムのメモリ又はレジスタ、又は他のそのような情報記憶、転送、又は表示装置内の物理量として同様に表現される他のデータへ変換する、コンピュータシステム又は同様の電子計算装置の動作及びプロセスに言及することを理解されたい。

また、本発明は、本明細書に記載される操作を実行するための装置に関連する。この装置は、意図された目的を実現するように構成すること、又はコンピュータに保存されたコンピュータプログラムによって選択的に起動又は再構成される汎用コンピュータを備えることができる。このコンピュータプログラムは、コンピュータ可読記憶媒体に保存することができ、記憶媒体は、限定されるものではないが、フロッピー（登録商標）ディスク、光学ディスク、ＣＤ−ＲＯＭ、及び光磁気ディスクを含む任意のタイプのディスク、読取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気又は光学カード、又は電子的命令を記憶するのに適した任意のタイプの媒体とすることができる。

前記の説明は例示的であることは意図されており限定的ではないことを理解されたい。当業者であれば、前記の説明を読んで理解することにより、他の多くの実施形態を理解できるはずである。従って、本発明の範囲は、特許請求の範囲及びその均等物の範囲を参照して決定される。

Claims (9)

1. 欠陥分類のための方法であって、
   処理装置が、多次元特徴空間における複数の分類規則に関して、複数の欠陥クラスの複数の定義を記憶する段階と、ここで、前記複数の分類規則は、所定の欠陥クラスそれぞれに対して、特徴空間において所定の欠陥クラスに関連づけられた領域の境界を規定し、欠陥の分類に関連づけられた信頼度尺度を所定の欠陥クラスに対して与え、ここで前記信頼度尺度はそれぞれの境界に関して前記特徴空間における欠陥の位置の関数としての信頼度レベルを表すものであり、
   前記処理装置が、検査中の１つ又はそれ以上のサンプルから検出された複数の欠陥に関連する検査データを受け取る段階と、
   前記処理装置が複数の性能尺度から選択された分類性能尺度をオペレータから受け取る段階と、ここで、前記複数の性能尺度には最大除去率又は目標純度レベルの少なくとも一方が含まれており、
   前記分類性能尺度に対応する少なくとも１つの信頼度閾値を決定する段階と、
   前記処理装置が自動分類器を前記検査データに適用する段階と、ここで、前記自動分類器は、複数の定義に基づくものであり、そして、前記少なくとも１つの信頼度閾値に基づいてそれぞれが低い信頼度レベルと分類され、少なくとも２つの欠陥クラスそれぞれの境界の間のオーバーラップ領域に位置する欠陥とされた複数の欠陥を識別し、
   前記処理装置が、低い信頼度レベルと分類された複数の識別された欠陥に対して前記自動分類器とは異なる少なくとも１つの検査手法を適用することにより分類結果を生成し、複数の識別された各々の欠陥を前記オーバーラップ領域と関連づけられた前記少なくとも２つの欠陥クラスの１つに対して割り当てる段階と、
   前記処理装置が、前記自動分類器とは異なる少なくとも１つの検査手法により分類されたオーバーラップ領域に位置する複数の識別された欠陥の閾値に基づいて前記複数のクラスの１つ又はそれ以上の欠陥クラスの境界を調整して、前記自動分類器を改良する段階と、ここで、前記改良は、低い信頼度レベルと分類された複数の識別された欠陥の複数の分類結果を用いて前記自動分類器を訓練することにより行われる、
   欠陥分類のための方法。
2. 前記自動分類器を前記検査データに適用する段階は、
   多クラス分類器を前記検査データに適用して、前記複数の欠陥の各欠陥に前記複数の欠陥クラスの特定の欠陥クラスを割当てる段階と、
   少なくとも１つの単クラス分類器を前記検査データに適用して、前記複数の欠陥クラスの各々と関連する欠陥を識別する段階と、
   を含み、前記単クラス分類器は、特定の欠陥クラスに入らない特定の欠陥を未知欠陥として識別する、請求項１に記載の方法。
3. 前記複数の定義を記憶する段階は、
   自動分類のために前記複数の欠陥クラスのグループを選択する段階と、
   前記グループに入らない１つ又はそれ以上の欠陥クラスを人間の検査員に提供する段階と、
   を含み、前記方法は、
   前記検査手法又は別の分類手法から提供される前記複数の第２の分類結果を使用して前記自動分類器を改良する段階を更に含み、該自動分類器を改良する段階は、
   前記第２の分類結果に基づいた自動分類のために、前記複数の欠陥クラスの１つ又はそれ以上を前記グループに追加する段階を含む、請求項１に記載の方法。
4. 多次元特徴空間における複数の分類規則に関して、複数の欠陥クラスの複数の定義を記憶するメモリと、ここで、前記複数の分類規則は、所定の欠陥クラスそれぞれに対して、特徴空間において所定の欠陥クラスに関連づけられた領域の境界を規定し、欠陥の分類に関連づけられた信頼度尺度を所定の欠陥クラスに対して与え、ここで前記信頼度尺度はそれぞれの境界に関して前記特徴空間における欠陥の位置の関数としての信頼度レベルを表すものであり、
   前記メモリと作動的に接続されたプロセッサであって、
   検査中の１つ又はそれ以上のサンプルから検出された複数の欠陥に関連する検査データを受け取る処理と、
   複数の性能尺度から選択された分類性能尺度をオペレータから受け取る処理と、ここで、前記複数の性能尺度には最大除去率又は目標純度レベルの少なくとも一方が含まれており、
   前記分類性能尺度に対応する少なくとも１つの信頼度閾値を決定する処理と、
   自動分類器を前記検査データに適用する処理と、ここで、前記自動分類器は、複数の定義に基づくものであり、そして、前記少なくとも１つの信頼度閾値に基づいてそれぞれが低い信頼度レベルと分類され、少なくとも２つの欠陥クラスそれぞれの境界の間のオーバーラップ領域に位置する欠陥とされた複数の欠陥を識別し、
   低い信頼度レベルと分類された複数の識別された欠陥に対して前記自動分類器とは異なる少なくとも１つの検査手法を適用することにより分類結果を生成し、複数の識別された各々の欠陥を前記オーバーラップ領域と関連づけられた前記少なくとも２つの欠陥クラスの１つに対して割り当てる処理と、
   前記自動分類器とは異なる少なくとも１つの検査手法により分類されたオーバーラップ領域に位置する複数の識別された欠陥の閾値に基づいて前記複数のクラスの１つ又はそれ以上の欠陥クラスの境界を調整して、前記自動分類器を改良する処理と、ここで、前記改良は、低い信頼度レベルと分類された複数の識別された欠陥の複数の分類結果を用いて前記自動分類器を訓練することにより行われるものである、
   とを実行するプロセッサと、
   を含む、装置。
5. 前記自動分類器は、
   前記複数の欠陥の各欠陥を前記複数の欠陥クラスの特定のクラスに割当てるための多クラス分類器と、
   前記複数の欠陥クラスの各々と関連する欠陥を識別するための少なくとも１つの単クラス分類器と、
   を備え、前記単クラス分類器は、特定の欠陥クラスに入らない特定の欠陥を未知欠陥として識別する、請求項４に記載の装置。
6. 前記プロセッサは、自動分類のために前記複数の欠陥クラスのグループを選択し、前記グループに入らない１つ又はそれ以上の欠陥クラスを人間の検査員に提供し、前記検査手法又は別の検査手法から提供される前記複数の第２の分類結果を使用して前記自動分類器を改良するように構成され、該自動分類器を改良することは、前記複数の第２の分類結果に基づいた自動分類のために、前記複数の欠陥クラスの１つ又はそれ以上を前記グループに追加するようになっている、請求項４に記載の装置。
7. 処理装置により実行される場合に、前記処理装置に、
   多次元特徴空間における複数の分類規則に関して、複数の欠陥クラスの複数の定義を記憶する処理と、ここで、前記複数の分類規則は、所定の欠陥クラスそれぞれに対して、特徴空間において所定の欠陥クラスに関連づけられた領域の境界を規定し、欠陥の分類に関連づけられた信頼度尺度を所定の欠陥クラスに対して与え、ここで前記信頼度尺度はそれぞれの境界に関して前記特徴空間における欠陥の位置の関数としての信頼度レベルを表すものであり、
   検査中の１つ又はそれ以上のサンプルから検出された複数の欠陥に関連する検査データを受け取る処理と、
   複数の性能尺度から選択された分類性能尺度をオペレータから受け取る処理と、ここで、前記複数の性能尺度には最大除去率又は目標純度レベルの少なくとも一方が含まれており、
   前記分類性能尺度に対応する少なくとも１つの信頼度閾値を決定する処理と、
   自動分類器を前記検査データに適用する処理と、ここで、前記自動分類器は、複数の定義に基づくものであり、そして、前記少なくとも１つの信頼度閾値に基づいてそれぞれが低い信頼度レベルと分類され、少なくとも２つの欠陥クラスそれぞれの境界の間のオーバーラップ領域に位置する欠陥とされた複数の欠陥を識別し、
   低い信頼度レベルと分類された複数の識別された欠陥に対して前記自動分類器とは異なる少なくとも１つの検査手法を適用することにより分類結果を生成し、複数の識別された各々の欠陥を前記オーバーラップ領域と関連づけられた前記少なくとも２つの欠陥クラスの１つに対して割り当てる処理と、
   前記自動分類器とは異なる少なくとも１つの検査手法により分類されたオーバーラップ領域に位置する複数の識別された欠陥の閾値に基づいて前記複数のクラスの１つ又はそれ以上の欠陥クラスの境界を調整して、前記自動分類器を改良する処理と、ここで、前記改良は、低い信頼度レベルと分類された複数の識別された欠陥の複数の分類結果を用いて前記自動分類器を訓練することにより行われるものである、
   を含む操作を実行させる命令を有する非一時的コンピュータ可読記憶媒体。
8. 前記自動分類器は、
   前記複数の欠陥の各欠陥を前記複数の欠陥クラスの特定の欠陥クラスに割当てる多クラス分類器と、
   前記複数の欠陥クラスの各々と関連する欠陥を識別する少なくとも１つの単クラス分類器と、
   を備え、前記単クラス分類器は、特定の欠陥クラスに入らない特定の欠陥を未知欠陥として識別する、請求項７に記載の非一時的コンピュータ可読記憶媒体。
9. 前記処理装置は、
   自動分類のために前記複数の欠陥クラスのグループを選択する段階と、
   前記グループに入らない１つ又はそれ以上の欠陥クラスを人間の検査員に提供する段階と、
   前記検査手法又は別の分類手法から提供される前記複数の第２の分類結果を使用して前記自動分類器を改良する段階と、
   を更に含み、該自動分類器を改良する段階は、
   前記第２の分類結果に基づいた自動分類のために、前記複数の欠陥クラスの１つ又はそれ以上を前記グループに追加する段階を含む、請求項７に記載の非一時的コンピュータ可読記憶媒体。

Images