JP5496969B2 - 最適化された純度による欠陥分類 - Google Patents

最適化された純度による欠陥分類 Download PDF

Info

Publication number
JP5496969B2
JP5496969B2 JP2011176369A JP2011176369A JP5496969B2 JP 5496969 B2 JP5496969 B2 JP 5496969B2 JP 2011176369 A JP2011176369 A JP 2011176369A JP 2011176369 A JP2011176369 A JP 2011176369A JP 5496969 B2 JP5496969 B2 JP 5496969B2
Authority
JP
Japan
Prior art keywords
defect
class
defects
classifier
classifiers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011176369A
Other languages
English (en)
Other versions
JP2012247409A (ja
JP2012247409A5 (ja
Inventor
シュレイン ブラディミール
グレイザー アサフ
Original Assignee
アプライド マテリアルズ イスラエル リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アプライド マテリアルズ イスラエル リミテッド filed Critical アプライド マテリアルズ イスラエル リミテッド
Publication of JP2012247409A publication Critical patent/JP2012247409A/ja
Publication of JP2012247409A5 publication Critical patent/JP2012247409A5/ja
Application granted granted Critical
Publication of JP5496969B2 publication Critical patent/JP5496969B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/248Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2431Multiple classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2433Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/254Fusion techniques of classification results, e.g. of results related to same input data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、一般的に自動検査に関し、特に、製造欠陥の解析の方法及びシステムに関する。
「自動欠陥分類(ADC)」技術は、半導体産業におけるパターン化ウェーハ上の欠陥の検査及び測定に広く用いられている。これらの技術の目的は、欠陥の存在を検出することのみならず、欠陥をタイプ別に自動的に分類し、生産工程により詳細なフィードバックを提供して、人間である検査者の負担を軽減することにもある。ADCは、例えば、ウェーハ表面上の粒子状汚染物に起因する欠陥とマイクロ回路のパターン自体の不揃いに関連する欠陥のタイプを区別するのに用いられ、また特定のタイプの粒子及び不揃いを識別することができる。
特許文献には、様々なADCの方法が説明されている。例えば、開示内容が引用により本明細書に組み込まれる米国特許第6,256,093号明細書には、被走査ウェーハにおけるオンザフライADCのためのシステムを説明している。光源が被走査ウェーハを照らし、ウェーハ上に照明スポットが生成される。スポットから散乱した光は、少なくとも2つの離間した検出器によって感知され、次に、ウェーハの欠陥を検出し、欠陥を個別の欠陥タイプに分類するために解析される。
別の例として、開示内容が引用により本明細書に組み込まれる米国特許第6,922,482号明細書には、境界情報及び地形情報を使用したコア分類子を用いて、半導体ウェーハの表面上の欠陥をいくつかのコア部類のうちの1つに自動的に分類する方法及び装置を説明している。次に、欠陥は、コア部類に関連付けられかつ限定された数の関連するコア部類のみから欠陥を分類するように訓練された特定の適応分類子を用いて、下位部類に更に分類される。コア分類子又は特定の適応分類子によって分類することができない欠陥は、完全分類子によって分類される。
様々な数学的技術が、ADCの技術に適用される。例えば、引用により本明細書に組み込まれる「自動欠陥分類ツールの進化(Evolving an Automatic Defect Classification Tool)」、EvoWorkshops 2008年、LNCS 4974(Springer−Verlag、2008年)194頁−203頁において、Glaser及びSipperは、遺伝的アルゴリズム(GA)に基づく進化的分類ツールを説明している。この論文は、GAベースのモデルが人間ベースで大量のランダム探索モデルよりも低い複雑度でより良い分類性能を達成することができることを示している。
自動欠陥分類(ADC)システムは、通常、人間の専門家によって予め分類された欠陥の集合を含む1組の訓練データを用いて較正される。ADCシステムは、この訓練データを用いて、多次元パラメータ空間(分類に3つよりも多いパラメータが伴う場合は超空間とも呼ばれる)内の各欠陥に関連付けられたそれぞれのパラメータ値の範囲を設定する。殆どの既存のシステムでは、これらの設定は、次に、試験され、設定の精度を最適化するために調節され、それが、正しく分類された全欠陥の百分率として定義される。
しかし、多くのADC用途において、分類の純度は、システムオペレーションのより有意な尺度である。システムオペレータは、ある一定の最大棄却率、すなわち、ADCシステムが信頼度を伴って分類することができず、従って、人間の専門家による分類を求めてシステムオペレータに返却する欠陥の百分率を指定することができる。「純度」とは、正しく分類されて、ADCシステムによって分類可能でありかつ棄却されないと判断された残った欠陥の百分率を指す。ADCシステムによって棄却される何パーセントかの欠陥は常に存在することになると仮定することが現実的であるので、純度は、オペレータにとって実際に最も関心のある尺度である。
分類の純度は、様々な種類の分類の不確実性の影響を受ける可能性がある。一部の場合には、欠陥に関連付けられたパラメータ値が2つ(又はそれよりも多く)の異なる部類間の重複する領域に入ることもある。他の場合には、欠陥のパラメータ値が所定の部類に関連付けられた範囲の外側境界に位置することがある。
米国特許第6,256,093号明細書 米国特許第6,922,482号明細書
Glaser及びSipper著「自動欠陥分類ツールの進化(Evolving an Automatic Defect Classification Tool)」、EvoWorkshops 2008年、LNCS 4974(Springer−Verlag、2008年)194頁−203頁 Chih−Chung Chang及びChih−Jen Lin著「LIBSVM:サポートベクトル機械のためのライブラリ(LIBSVM:a library for support vector machines)」、国立台湾大学(2001年) Vapnik著「統計的学習理論(Statistical Learning Theory)」(Wiley−interscience、1998年) Scholkopf他著「新たなサポートベクトルアルゴリズム(New Support Vector Algorithms)」、Neural Computation 12(2000年)、1207頁−1245頁
本発明の実施形態による欠陥検査及び分類システムの概略絵図である。 本発明の実施形態によるADCマネージャのブロック図である。 本発明の実施形態による欠陥の分類に用いられる基準を示すパラメータ空間内の1組の欠陥の概略図である。 本発明の実施形態による欠陥の分類に用いられる基準を示すパラメータ空間内の1組の欠陥の概略図である。 本発明の実施形態による欠陥の分類に用いられる基準を示すパラメータ空間内の1組の欠陥の概略図である。 本発明の実施形態による欠陥分類の方法を概略的に示す流れ図である。 本発明の実施形態による欠陥分類システムを訓練する方法を概略的に示す流れ図である。 本発明の実施形態による単一部類分類子を示すパラメータ超空間の概略図である。 本発明の実施形態による多重部類分類子を示すパラメータ超空間の概略図である。 本発明の実施形態による欠陥分類結果及び信頼度閾値を概略的に示すバープロットの図である。 本発明の実施形態による欠陥分類結果及び信頼度閾値を概略的に示すバープロットの図である。
本明細書に説明する本発明の実施形態は、検査データに基づく欠陥の自動分類のための改善された方法、システム、及びソフトウエアを提供する。
従って、本発明の実施形態により、検査パラメータ値のそれぞれの範囲によって特徴付けられる複数の欠陥部類を定義する段階を含む欠陥解析方法を提供する。それぞれの単一部類分類子は、欠陥部類に対して指定されており、各単一部類分類子は、それぞれの部類に対して、検査パラメータ値に基づいて、それぞれの部類に属する欠陥を識別し、一方でそれぞれの部類に入っていない欠陥を未知欠陥として識別するように構成される。検査パラメータ値に基づいて複数の欠陥部類のうちの1つに各欠陥を割り当てるように構成された多重部類分類子も指定される。サンプル中に見出された欠陥に関する検査データが受信される。単一部類及び多重部類分類子の両方が、コンピュータを用いて検査データに自動的に適用され、欠陥を欠陥部類のうちの1つに割り当てる。
多重部類分類子は、欠陥部類のうちの少なくとも2つのそれぞれの範囲間の重複領域内にある欠陥を決定不能な欠陥として識別するように構成することができ、未知欠陥と決定不能な欠陥の両方が分類から棄却される。追加的又は代替的に、それぞれの単一部類及び多重部類分類子を指定する段階は、既知欠陥と未知欠陥及び決定可能な欠陥と決定不能な欠陥を区別するためのそれぞれの信頼度閾値を共同で設定する段階を含み、またそれぞれの信頼度閾値を設定する段階は、欠陥の分類における指定の純度目標を達成するために信頼度閾値を調節する段階を含む。
一実施形態では、単一部類及び多重部類分類子の両方を自動的に適用する段階は、多重部類分類子を用いて所定の欠陥部類に欠陥を分類する段階と、欠陥が所定の欠陥部類に対する単一部類分類子によって既知欠陥として分類されていることを検証する段階とを含む。
開示する実施形態では、多重部類分類子を指定する段階は、欠陥部類の異なる対に対するパラメータ超空間内のそれぞれのパラメータ値の範囲を区別するための複数の決定平面を定義する段階を含み、また多重部類分類子を適用する段階は、決定平面について行われた複数の二分決定を集約する段階を含む。決定平面を定義する段階は、欠陥部類の各対に対して2値線形サポートベクトル機械を適用し、この対において部類の最大分離を与える平面を求める段階を含むことができる。
追加的又は代替的に、それぞれの単一部類分類子を指定する段階は、所定の部類中の欠陥と所定の部類については未知欠陥として分類された欠陥を区別するために、1部類サポートベクトル機械を定義する段階を含む。開示する実施形態では、1部類サポートベクトル機械を定義する段階は、パラメータ超空間内の超球に検査データをマップする段階と、超球を切断する超平面を求め、所定の部類に属するとして分類すべき欠陥を収容する超球キャップを定義する段階とを含む。
本発明の実施形態により、複数の欠陥部類を定義する段階と、それぞれの欠陥部類に属するとして分類された欠陥に関する検査データを含む訓練集合を受信する段階とを含む欠陥を解析する方法も提供する。各欠陥部類を特徴付ける検査パラメータ値のそれぞれの範囲を定義するための訓練集合を用い、かつ各欠陥をそれぞれの信頼度を含んでそれぞれの部類に属するとして分類するためのパラメータ値を用いて、1つ又はそれよりも多くのコンピュータ化された分類子が訓練される。低い信頼度を有する欠陥分類の棄却に対する信頼度閾値は、訓練集合の分類における指定の純度目標を達成するように調節される。調節された信頼度閾値を有する訓練された分類子は、訓練集合以外の更に別の検査データに適用される。
一部の一実施形態では、1つ又はそれよりも多くのコンピュータ化された分類子を訓練する段階は、棄却率と照らし合わせて分類の純度を均衡させるために共同で調節されたそれぞれの信頼度閾値を有する複数の分類子を訓練する段階を含む。開示する実施形態では、複数の分類子には、多重部類分類子によって第1の信頼度閾値よりも小さいとして分類された欠陥が決定不能な欠陥として識別されるような第1の信頼度閾値を有する多重部類分類子と、少なくとも1つの単一部類分類子によって第2の信頼度閾値よりも小さいとして分類された欠陥が未知欠陥として識別されるような第2の信頼度閾値を有する少なくとも1つの単一部類分類子とが含まれる。信頼度閾値を調節する段階は、棄却率が所定の最大値よりも大きくならないように維持しながら訓練集合の分類の純度を最大にする段階を含むことができる。
開示する実施形態では、1つ又はそれよりも多くのコンピュータ化された分類子を訓練する段階は、訓練集合を複数のフォールドに分割する段階と、フォールドから構成される訓練部分集合に基づいて検査パラメータ値の範囲を導出する段階と、訓練部分集合と互いに素なフォールドから構成される試験部分集合を対象として、導出した範囲を試験する段階とを含む。導出する段階及び試験する段階は、フォールドから構成される複数の異なる訓練部分集合及び試験部分集合にわたって反復される。
本発明の実施形態により、複数の欠陥部類に対する検査パラメータ値のそれぞれの範囲を格納するように構成されたメモリを含む欠陥解析のための装置が付加的に提供される。プロセッサは、サンプル中に見出された欠陥に関する検査データを受信し、検査パラメータ値に基づいて、検査データを単一部類及び多重部類分類子の両方に適用し、欠陥を欠陥部類のうちの1つに割り当てるように構成される。各単一部類分類子は、それぞれの部類に対して、それぞれの部類に属する欠陥を識別し、一方でそれぞれの部類に入っていない欠陥を未知欠陥として識別するように構成され、多重部類分類子は、各欠陥を複数の欠陥部類のうちの1つに割り当てるように構成される。
本発明の実施形態により、複数の欠陥部類に関する情報を格納するように構成されたメモリを含む欠陥を解析する装置が更に提供される。プロセッサは、それぞれの欠陥部類に属するとして分類された欠陥に関する検査データを含む訓練集合を受信し、訓練集合を用いて1つ又はそれよりも多くの分類子を訓練して、各欠陥部類を特徴付ける検査パラメータ値のそれぞれの範囲を定義し、パラメータ値を用いて、それぞれの信頼度を含んでそれぞれの部類に属するとして各欠陥を分類し、訓練集合の分類における指定の純度目標を達成するために、低い信頼度を有する欠陥分類の棄却に対して信頼度閾値を調節し、かつ調節された信頼度閾値を有する訓練された分類子を訓練集合以外の更に別の検査データに適用するように構成される。
本発明の実施形態により、プログラム命令が格納されたコンピュータ可読媒体を含むコンピュータソフトウエア製品が更に提供され、命令は、コンピュータによって読まれると、コンピュータに、複数の欠陥部類に対する検査パラメータ値のそれぞれの範囲を格納させ、サンプル中に見出された欠陥に関する検査データを受信させ、かつ検査パラメータ値に基づいて、各々がそれぞれの部類に対してそれぞれの部類に属する欠陥を識別するように構成された単一部類分類子と、各欠陥を複数の欠陥部類のうちの1つに割り当てる一方でいずれかの単一部類分類子のそれぞれの部類に入っていない欠陥が未知欠陥として分類される多重部類分類子との両方を検査データに適用し、欠陥を欠陥部類のうちの1つに割り当てさせる。
本発明の実施形態により、プログラム命令が格納されたコンピュータ可読媒体を含むコンピュータソフトウエア製品が更に提供され、命令は、コンピュータによって読まれると、コンピュータに、複数の欠陥部類に関する情報を格納させ、それぞれの欠陥部類に属するとして分類された欠陥に関する検査データを含む訓練集合を受信させ、訓練集合を用いて1つ又はそれよりも多くの分類子を訓練して、各欠陥部類を特徴付ける検査パラメータ値のそれぞれの範囲を定義させ、パラメータ値を用いて、それぞれの信頼度を含んでそれぞれの部類に属するとして各欠陥を分類させ、訓練集合の分類における指定された純度目標を達成するために、低い信頼度を有する欠陥分類の棄却に対して信頼度閾値を調節させ、かつ調節された信頼度閾値を有する訓練された分類子を訓練集合以外の更に別の検査データに適用させる。
本明細書に説明する本発明の実施形態は、検査データに複数の異なる分類子を順番に又は並行して適用することにより、分類の不確実性に対処する。各欠陥部類に対して、単一部類分類子は、それぞれの部類に属する欠陥を識別し、一方でそれぞれの部類に入っていない欠陥を未知欠陥として識別する。更に、多重部類分類子は、複数の欠陥部類を同時に調べて、各欠陥を部類のうちの1つに割り当て、一方で部類間の重複領域内の欠陥を決定不能な欠陥として識別する。単一部類及び多重部類分類子は、高純度で欠陥を分類する時に合わせて使用される。異なる部類の外側境界及び重複領域の範囲は、可変信頼度閾値により、棄却率を所定の限度よりも大きくならないように維持しながら純度を最大にするように調節することができる。
以下に説明する実施形態では、単一部類分類子(既知欠陥と未知欠陥を区別するための)及び多重部類分類子(決定可能な欠陥と決定不能な欠陥を区別するための)に対するそれぞれの信頼度閾値は、訓練工程で調節される。この工程では、訓練集合を複数のフォールド、すなわち、異なる欠陥群に分割することができる。フォールドのうちの1つ又はそれよりも多くは、訓練部分集合としての機能を果たすように選択され、一方で残った1つのフォールド又は複数のフォールドは、訓練部分集合と互いに素とすることができる試験部分集合としての機能を果たす。単一部類及び多重部類分類子は、訓練部分集合を対象として共に訓練され、各部類に関連付けられた検査パラメータ値の範囲が導出される。結果は、試験部分集合を対象として、検証のために試験される。これらの段階は、次に、フォールドから構成される複数の異なる訓練部分集合及び試験部分集合にわたって、単一部類及び多重部類分類子に対して同時に反復することができる。
この訓練工程の結果は、パラメータ空間における欠陥のパラメータ値の配置の関数としての欠陥の各単一部類分類又は多重部類分類に関連付けられた信頼度を与える信頼基準と共に各欠陥部類を特徴付ける検査パラメータ値のそれぞれの範囲の定義である。次に、訓練集合の分類において望ましい純度目標及び棄却率を達成するために、自動又はオペレータの制御下で、低い信頼度を有する欠陥分類の棄却に対する信頼度閾値を調節することができる。これらの信頼度閾値を有する訓練された分類子は、次に、その分類が先験的に知られていない実際の製造欠陥の分類に適用される。
図1Aは、本発明の実施形態による自動化された欠陥の検査及び分類のためのシステム20の概略絵図である。パターン化半導体ウェーハ22のようなサンプルが、検査機械24に挿入される。この機械は、例えば、走査型電子顕微鏡(SEM)又は光学検査デバイス又は当業技術で公知のあらゆる他の適切な種類の検査装置を含むことができる。機械24は、ウェーハ22の表面を走査、感知して走査結果を処理し、かつ検査データを出力することができる。これらのデータには、各欠陥に関連付けられた検査パラメータの値と共に各欠陥の位置を含むウェーハ上で見出された欠陥のリストが含まれる。検査パラメータには、例えば、サイズ、形状、散乱強度、方向性、及び/又はスペクトル品質、並びに/又は当業技術で公知のあらゆる他の適切なパラメータを含めることができる。
実施形態では、ADC機械26は、検査機械24によって出力された検査データを受信して処理するADCマネージャをホストする。ADC機械26は、検査機械の出力に直接接続されているように図1Aに示されているが、ADC機械は、代替的又は追加的に、予め取得、格納された検査データを対象として作動させることができる。別の代替案として、ADC機械の機能性を検査機械に統合する場合がある。
ADCマネージャの実施形態を、図1Bと併せて以下により詳細に説明する。
ADC機械26は、パーソナルコンピュータ、サーバコンピュータ、ルータ等とすることができる。一実施形態では、ADC機械26は、ディスプレイ32及び入力デバイス34を含むユーザインタフェースと共に欠陥情報及び分類パラメータを保持するためのメモリ30を備えたプロセッサ28を含む汎用コンピュータを含む。プロセッサ28は、以下に説明する機能をプロセッサ28に行わせる命令を実行することができる。ソフトウエアは、例えば、ネットワーク上で電子形式でプロセッサにダウンロードしてもよく、代替的又は追加的に、有形、非一過性のコンピュータ可読記憶媒体に格納する場合がある。コンピュータ可読記憶媒体は、コンピュータ可読形式で情報を格納するための何らかの機構を含む。例えば、コンピュータ可読記憶媒体には、読取専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、磁気ディスク記憶媒体、光学式記憶媒体、フラッシュメモリデバイス、又は他のタイプの機械アクセス可能記憶媒体が含まれる。
機械26の機能を達成するコンピュータは、ADC機能専用であってもよく、付加的な計算機能を更に実施してもよい。別の代替案として、以下に説明するADC機械26の機能の少なくとも一部を専用又はプログラマブルハードウエア論理によって実施する場合がある。
ADC機械26は、上に定めたように、単一部類及び多重部類分類子の両方を含む複数の分類子を実行する。以下の実施形態は、例証及び明確さを目的として、機械26及びシステム20の他の要素を参照して説明するが、これらの実施形態の原理は、複数の欠陥の部類又は他の未知の特徴を処理するために求められるいずれのタイプの分類システムにも、必要な変更を加えて同様に実施することができる。
図1Bは、ADCマネージャ100の実施形態のブロック図である。ADCマネージャ100は、検査データモジュール102と、検査データストア104と、分類モジュール106と、報告モジュール108と、欠陥部類ストア110と、単一部類分類子112と、多重部類分類子114と、訓練モジュール116と、訓練集合ストア118とを含むことができる。
検査データモジュール102は、処理のための検査データ出力を受信して、それを検査データストア104に格納する。検査データは、ウェーハの検査中に識別された欠陥及び関連する欠陥パラメータのリストを含むことができる。一実施形態では、データは、図1の検査機械24のような検査機械から受信することができる。
分類モジュール106は、受信した検査データにおいて識別された欠陥を分類する。分類モジュール106は、欠陥に単一部類分類子112及び多重部類分類子114を適用することによって欠陥を分類することができる。分類モジュール106は、単一部類及び多重部類分類子を並行して適用することができる。代替的に、分類モジュール106は、分類子を順次適用することができる。
単一部類分類子112及び多重部類分類子114は、欠陥部類ストア110に格納された欠陥部類情報を用いて欠陥を分類することができる。欠陥部類ストア110は、各々が検査パラメータ値のそれぞれの範囲によって特徴付けられた複数の欠陥部類を定義する情報を格納することができる。
報告モジュール108は、分類モジュール106によって実施された分類の結果を出力することができる。この出力は、グラフィカルユーザインタフェース、報告書、ユーザ通知等の形式とすることができる。
訓練モジュール116は、訓練集合ストア118に格納された訓練集合を用いて分類子112及び114を訓練して、各欠陥部類を特徴付けるパラメータ値の範囲を定義し、分類子112及び114が特定の信頼度を含んで欠陥部類のうちの1つに属するとして欠陥を分類することができるようにすることができる。
図2Aは、本発明の実施形態による1組の欠陥40、42がマップされたパラメータ空間の概略図である。視覚的に簡素にするために、パラメータ空間を図2Aに示し、その後の図には、2次元ではあるが、本明細書ではより高次元の空間で通常行われると説明する分類工程として示している。図2A中の欠陥は、2つの異なる部類、一方は欠陥40に関連付けられた部類、他方は欠陥42に関連付けられた部類に属すると仮定される。欠陥40は、境界44によってパラメータ空間内にとどめられ、一方で欠陥42は、境界46によってとどめられている。図に示すように、境界は重複する場合がある。
この例では、明確には分からないタイプの2つの欠陥を分類するために、ADC機械26が求められる。
・欠陥48は、欠陥42の領域よりも欠陥40の領域に遥かに近く、従って、欠陥40の部類に属するより高い可能性を有する。多重部類分類子は、従って、欠陥48を欠陥40の部類に割り当てることになるであろうが、この部類に対する単一部類分類子は、欠陥48が境界44の外側に入ることに注目し、従って、欠陥48を未知として識別する可能性がある。
・欠陥50は、境界44と境界46間の重複領域に入る。欠陥40及び欠陥42のそれぞれの部類に対する単一部類分類子は、両方とも、欠陥50を既知の部類メンバとして識別することになるが、多重部類分類子は、欠陥50を決定不能として識別する可能性がある。
図2Bは、本発明の実施形態による単一部類分類子が欠陥48を処理することになる方法を示す欠陥40のパラメータ空間の概略図である。境界44は実線として概念的に示されているが、実際には、欠陥40を含む領域の限界は、統計的推定の結果である。限界は、部類に属するとして識別される欠陥と「未知」として分類される欠陥を区別するように選択される閾値の信頼度により、より大きく又はより小さくなる可能性がある。境界44は、事前訓練に基づいて部類に属することが既知である全ての欠陥40を包含する最小限界である。(この限界を求める方法は、図5を参照して以下に説明する。)
欠陥40の部類に欠陥48を含めるために閾値の信頼度を緩めることにより、境界44からある一定の距離54により広い境界52が確立される。境界52は欠陥48を含み、従って、欠陥48は、単一部類分類子により、未知ではなく部類のメンバであると判断することになる。このようにして信頼度を調節することにより、ADC機械26によって棄却される欠陥の数は減少するが、それは、欠陥48が実際には問題の部類に属していない場合に、分類の純度に悪影響を与える可能性がある。境界52の配置は、図7A及び図7Bに示す純度最適化工程の一部として調節される。
図2Cは、多重部類分類子が欠陥50を処理することになる方法を示す図2Aのパラメータ空間の概略図である。境界56は、分類された欠陥と決定不能な欠陥を区別するために高い信頼度が設定されていると仮定した、境界44と境界46間の重複領域の範囲を示している。これに基づいて、ADC機械26は、欠陥50を決定不能として棄却することになる。
その一方、信頼度閾値が緩められている場合、重複領域は、より小さい境界58の範囲に有効に縮小する。これで、統計上欠陥50は欠陥42の部類に属するより高い確率を有するので、欠陥50は、欠陥42の部類に分類することができる。望ましい純度目標及び棄却目標に応じるために、単一部類及び多重部類分類子に対する信頼度閾値を共に最適化することができる。
図3は、本発明の実施形態による欠陥分類方法を概略的に示す流れ図である。本方法は、ハードウエア(例えば、回路、専用論理、プログラマブル論理、マイクロコード等)、ソフトウエア(例えば、ハードウエアシミュレーションを実施するために処理デバイス上で実行される命令)、又はその組合せを含むことができる処理論理によって実施することができる。
本方法は、多重部類分類子及び1つ又はそれよりも多くの単一部類分類子が問題の欠陥部類を認識するように訓練されており、かつ分類子の信頼度閾値は設定されていると仮定する。そのような訓練及び閾値設定に用いることができる方法を以下に説明する。
ウェーハ検査段階60で、検査機械24は、ウェーハ22を検査する。欠陥抽出段階62で、当業技術で公知の画像処理の方法を用いて、検査機械が欠陥及び関連する欠陥パラメータのリストを抽出する。ADC機械26は、複数の分類子、1つ又はそれよりも多くの単一部類分類子64及び1つの多重部類分類子70を列挙された欠陥に適用する。図3では、一例として、単一部類分類及び多重部類分類が並列処理として示されているが、これらの段階は、代替的に、順番に(単一部類の前に多重部類又は多重部類の前に単一部類)行われてもよい。
それぞれの単一部類分類子64が、図中に部類A、部類B...として示す当該の各欠陥部類に対して定義される。各そのような分類子は、各欠陥に対して提供されたパラメータ値に基づいて、その欠陥が対応する部類のメンバであるか否か、又は代替的に欠陥をその部類については「未知」欠陥として分類すべきか否かを判断する。多重部類分類子70は、対応する信頼度を含んで、いずれの部類に欠陥の各々が属するかを決める。
次に、メンバシップ検証段階72で、ADC機械26は、各欠陥を検査し、それが少なくとも1つの既知部類のメンバであることを検証する。未知欠陥棄却段階73で、評価されている全ての部類について未知である欠陥が棄却される。更に、決定検査段階74で、各欠陥に対して、ADC機械26は、多重部類分類子が特定の部類の領域内に欠陥を置いて明確な決定に到達することができたか否か、又は欠陥が2つ又はそれよりも多くの部類領域間の重複領域内に入るか否かを検査する。多重部類分類子が欠陥を所定の欠陥部類に配置した時は、ADC機械26は、その欠陥部類に対する単一部類分類子によって欠陥が既知欠陥として分類されたこと、すなわち、多重部類及び単一部類の決定が一致する必要があることを検証する。未決定欠陥棄却段階75で、部類間の重複領域内の欠陥は、決定不能として棄却される。
上述のように、分類子64によって用いられる単一部類の領域の境界及び分類子70によって用いられる重複領域は融通のきくものであり、オペレータ定義の信頼度閾値に依存する。これらの閾値は、従って、段階72及び74で棄却される欠陥の数を制御する。
分類出力段階76で、ADC機械26は、分類結果を出力する。これらの結果は、各既知の決定可能な欠陥が属する部類を識別し、また自動分類工程から棄却された欠陥を列挙することができる。オペレータは、棄却された欠陥を視覚的に検査して、それらを分類することができる。代替的又は追加的に、オペレータは、信頼限界を再調節し、次に分類工程を反復することができる。
図4は、本発明の実施形態によるADC機械26を訓練する方法を概略的に示す流れ図である。本方法は、ハードウエア(例えば、回路、専用論理、プログラマブル論理、マイクロコード等)、ソフトウエア(例えば、ハードウエアシミュレーションを実施するために処理デバイス上で実行される命令)、又はその組合せを含むことができる処理論理によって実施することができる。
訓練集合生成段階80で、訓練のプレカーサーとして、1組の訓練データが準備される。訓練集合は、検査機械24によって抽出された群の実際の欠陥及び対応するパラメータ値を含むことができる。効率的な計算のために、全てのパラメータが同じ範囲を有するように、パラメータ値を正規化することができる。訓練集合中の各欠陥は、時には人間の専門家により予め分類される。これらの訓練データがADC機械に入力される。段階92で、純度基準及び棄却基準が設定される。一実施形態では、純度基準及び棄却基準はシステムオペレータによって提供される。
ADC機械26は、kフォールド交差検証によって監督付学習の工程を行い、パラメータ空間内で、単一部類分類子64及び多重部類分類子70(図3)によって用いられることになる限界を求める。この目的のために、フォールド分割段階82で、訓練集合が「フォールド」と呼ばれる数kの互いに素な部分集合に分割される。訓練集合のサイズ及び訓練工程に投資する時間に応じて、2つ又はそれよりも多いあらゆる適切な数のフォールドを用いることができる。この訓練方法は、全ての分類子に対して同じフォールド分割を用いて、単一部類及び多重部類分類子に同時に適用される。無矛盾の結果を得るためには、全てのフォールドがほぼ同じ欠陥部類の分布を含むことが望ましい。
フォールド選択段階84で、ADC機械26は、最初に、試験のための1つのフォールドを選択する。訓練段階86で、残ったフォールドを用いて、単一部類及び多重部類分類子が訓練される。この段階で、ADC機械は、問題の部類に属することが既知である訓練フォールド内の欠陥を含める(単一部類分類子に対して)か、又は異なる部類を区別する(多重部類分類子に対して)ためのパラメータ空間内の最適限界、すなわち、適切なパラメータ値の範囲を求める。試験段階88で、ADC機械は、次に、これらの限界を試験して、それらが選択された試験フォールド内の欠陥を正しく分類するか否かを確かめる。試験された欠陥のうちの少なくともいくつかは、それでもなお誤って分類されている場合がある。
完了段階88の後、ADC機械26は、試験フォールドとしての機能を果たす別のフォールドを選択し、次に、全てのフォールドがこの要領で対象とされるまで、段階86及び88を反復的に繰り返す。
融合段階90で、ADC機械26は、単一部類及び多重部類分類子に対して異なるフォールドにわたって求められたパラメータ限界を融合する。異なるフォールド間での欠陥の等しい分布により、異なるフォールドが同様な訓練結果を与える。従って、異なるフォールドから戻された信頼値をそれらがあたかも同じモデルから引き出されたかのように処理することができる。次に、単一部類及び多重部類分類子の限界は、システムオペレータによって提供された純度基準及び棄却基準を満たすために互いに調節される。例えば、オペレータが高純度を要求して高棄却率を許容することを望んでいる場合、分類子は窮屈な限界を維持することになる。代替的に、より低い純度という代償を払って分類子の限界を緩め、棄却率を低下させてもよい。上述のように、パラメータ限界は、閾値調節段階94で、純度目標及び棄却目標に従って分類子によって用いられる信頼度閾値を最適化することによって調節される。
訓練手順が完了して全ての分類子パラメータが設定された状態で、ADC機械26は、製品試験段階96で製品ウェーハに分類子を適用する準備が整う。製品試験は、図3を参照して上述した方法に従うことができる。
図5は、本発明の実施形態によるADC機械26によって用いられる単一部類分類子を示すパラメータ超空間の概略図である。この実施形態では、分類子は、各欠陥に対して1つの所定の部類に属する確率を生成する1部類サポートベクトル機械(OSVM)分類子を基盤とする。確率がある一定の閾値を上回った場合、欠陥は、部類に属すると見なされる。そうでなければ、欠陥は未知として分類される。
実施のためのソフトウエアツールを含むサポートベクトル機械については、Chih−Chung Chang及びChih−Jen Linにより、「LIBSVM:サポートベクトル機械のためのライブラリ(LIBSVM:a library for support vector machines)」、国立台湾大学(2001年)に記載されており、またこれらの著者によって開発されたSVMソフトウエアは、www.csie.ntu.edu.tw/〜cjlin/libsvm.で利用可能である。SVMの理論及び実施に関する詳細は、Vapnikによって「統計的学習理論(Statistical Learning Theory)」(Wiley−interscience、1998年)に、またScholkopf他によって「新たなサポートベクトルアルゴリズム(New Support Vector Algorithms)」、Neural Computation 12(2000年)、1207頁−1245頁に提供されている。上述の文献は、引用により本明細書に組み込まれている。
代替的に、ADC機械26は、この種の特性を有する他のタイプの分類子を用いることができる。
OSVMは、基本的なSVMアルゴリズムの非線形カーネルベースバージョンである。プロセッサ28は、ガウスカーネルを用いて、入力された欠陥データを分類子が定義されている高次元空間に変換する。ガウスカーネルは、非線形セパレータを用いるが、カーネル空間内では、ガウスカーネルは、線形方程式を構成する。特に、プロセッサ28は、マッピングΦ:Rd→Hを用いて、データを無限ユークリッド特徴空間H(ヒルベルト空間)にマップする。欠陥xi及びxjに対するガウスカーネル関数Kは、
Figure 0005496969
であるように定義される。その結果、所定の欠陥xに対する単一部類の信頼値は、
Figure 0005496969
であることになり、上式で、{xi}は訓練ベクトルの集合であり、αiはラグランジュ乗数である。この種の計算及び計算パラメータ設定の詳細は、上の参考文献に記載されている。
図5に、訓練データが超球S(O,R=1)上にマップされた特徴空間Hを示している。OSVMアルゴリズムは、原点O、すなわち、〈w,W〉H−b=0から距離bにおいて超球の半径wと直交する超平面W∈Hを定義する。問題の部類中の欠陥40は、サポートベクトルを表す境界点100間の超球上に位置する。訓練段階中、プロセッサ28は、距離bを最大にすることに等しい最小球状キャップ(最小Θ)を与えることになるサポートベクトルを得ようにとする。OSVM分類子を訓練した後、超平面Wの遠い側(この場合は距離ξiだけ)に位置すべき「未知」欠陥48が求められることになる。信頼度閾値を変更することは、bの値を変更することに等しい。
図6は、本発明の実施形態によるADC機械26によって用いられる多重部類分類子を示すパラメータ超空間の概略図である。この実施形態も、上述のOSVMとは異なる方法でサポートベクトル機械を用いる。ここでもまた、ADC機械26は、適切な特性を有する他のタイプの分類子を用いて多重部類分類子を達成することができる。
図6に示すように、多重部類SVMは、各々が2つの部類を区別する複数の2値線形SVMの重ね合わせである。従って、欠陥40、42、及び101が部類A、B、Cにそれぞれ与えられれば、ADC機械26は、それぞれの2値SVMを適用して部類の各対を区別する。訓練手順において、SVM技術を用いて、部類の対間の決定超平面境界103、105、及び107が求められる。各境界は、
Figure 0005496969
によって与えられる対応する決定関数を有し、上式で、
Figure 0005496969
及び
Figure 0005496969
は、訓練工程中に求められる境界のサポートベクトルである。従って、例えば、決定関数は、部類Aを示す境界103の一方の側では正になり、部類Cを示す他方では負になることになる。
多重部類分類を実行するために、ADC機械26は、2値SVMの各々を順に適用する(示した例ではA/C、A/B、及びB/C)。分類子は、最も多い正の票を受信する部類を選択する。2つの部類が同じ数の票を受信した場合、ADCは、2つの部類に対する相対的信頼値を比較して決定を行うことができる。
2値線形SVMは、最大マージン、すなわち、境界と両側の訓練集合の最も近いメンバとの間の最大距離を与える境界103、105、107を選択する。これらのマージン内に入る欠陥は、それらが位置する側の部類に依然として属することができるが、分類の信頼度は、境界からの距離と共に低下する。上述のように、ADC機械26は、多重部類SVMによって決定可能な欠陥と決定不能な欠陥を区別するための信頼度閾値を設定する。
信頼度閾値を設定することは、パラメータ空間内の境界103の両側の超平面境界109及び111を定義することに等しい。(同様のエッジが境界105及び107に対して設定されるが、簡潔にするために、それらは図6から除外される。)信頼度閾値が高くなるほど、境界109及び111と境界103の間の距離は大きくなり、すなわち、境界の近くのより大きい割合の欠陥が決定不能として棄却されることになることを意味し、一方で誤分類の可能性は低減されることになる。その一方、信頼度閾値を低減すると、境界109及び111が境界103により近づく。部類の各対に対する決定境界は、SVMによって生成される決定値に対するシグモイド関数に適合するプラット近似を用いて最適化することができる。次に、2値シグモイド分布が最小二乗最適化法を用いて結合され、多重部類信頼推定が与えられる。これらの技術の詳細は、Chang及びLinによる上述の参考文献に記載されている。
図7A及び図7Bは、本発明の実施形態による欠陥分類結果及び所定の欠陥部類に対する分類結果について信頼度閾値を設定する方法を概略的に示すバープロットである。(各部類は、この部類と同様な1対のプロットを有することができる。)プロットは、訓練工程中に得られた試験結果に基づいている。単一部類の境界及び多重部類の境界は、訓練段階(図4中の段階86)のk−1のフォールドにわたる訓練中に求められ、次に、試験フォールドを対象として試験されたものである(段階88)。各垂直バーは、分類の信頼度によって仕分けされた試験フォールド中の欠陥のうちの1つに対応する。図7Aは、単一部類分類の結果を示し、一方で図7Bは、多重部類分類を示している(従って、図7A中の所定の欠陥が図7B中の異なるX軸位置に現れる場合がある)。
システムオペレータによって設定された棄却目標及び純度目標に基づいて、ADC機械26は、目標を達成するためにカットオフ閾値120及び122を設定する。(これらの閾値は、欠陥間を分離する垂直線として示されているが、それらは、対応する信頼度閾値レベルで水平線として同等に表すことができるであろう。)代替的に、システムオペレータは、得られた棄却率及び純度率に関してADC機械によって提供されたフィードバックに基づいてカットオフ閾値を設定する場合がある。
閾値120よりも小さい単一部類信頼値を有する欠陥又は閾値122よりも小さい多重レベル信頼値を有する欠陥は、棄却物124として分類される。所定の欠陥は、高い単一部類信頼値を有するが、低い多重部類信頼を有するために決定不能として棄却される場合がある(又は逆も同様に)。このために、図7A中には、閾値120を超える信頼度を有する棄却欠陥124もいくつかある。信頼度閾値を超える残った欠陥のうち、殆どについては真の分類126、すなわち、ADC機械26がそれらを適切な部類に配置したものである。信頼度閾値を超えるいくつかの誤分類128が残っている。
ADC機械26の棄却率は、閾値120及び/又は閾値122よりも小さい棄却物124の数によって与えられ、一方で純度は、非棄却欠陥の総数のうちの真の分類126の数によって割り出される。ADC機械26は、オペレータの棄却目標及び純度目標に従い、最適設定が求められるまで、当業技術で公知の検索方法及び最適化方法を用いて、閾値120及び122を共同で調節することができる。例えば、図7A及び図7Bに示すケースでは、分類結果の純度は94%で、棄却率は15%である。仮に1つのタイプのみの分類子が用いられたとすれば、(単一部類又は多重部類)、この純度レベルは、遥かに高い棄却率という代償を払ってのみ達成することができたと考えられる。
上述の実施形態は、半導体ウェーハの欠陥を処理するのに有用であると本発明者が見出した特定のタイプの分類子を用いるが、本発明の原理は、他のタイプの分類子を用いて同様に適用することができ、また他の検査用途においても適用することができる。従って、上述の実施形態は、例として引用したものであり、本発明は、上記に詳細に示して説明したものに限定されないことが理解されるであろう。むしろ、本発明の範囲には、上述の様々な特徴の組合せと部分組合せの両方、並びに上記の説明を読めば当業者に想起されかつ従来技術に開示されていないこれらの様々な特徴の変形及び修正形態が含まれる。
以上の説明には、多くの詳細が説明されている。しかし、本発明は、これらの特定の詳細なくして実施することができることは当業者には明らかであろう。場合によっては、本発明を不明瞭にすることを避けるために、公知の構造及びデバイスは、詳細にではなくブロック図形式で示されている。
以上の詳細説明のいくつかの部分は、コンピュータメモリ内部のデータビット上の演算のアルゴリズム及び記号表現の観点から示されている。これらのアルゴリズミックな説明及び表現は、データ処理技術の当業者が自らの仕事内容を他の技術の当業者に最も有効に伝えるために用いる手段である。アルゴリズムは、本明細書ではかつ一般的に、望ましい結果をもたらす自己矛盾のない一連の段階であると考えられる。これらの段階は、物理量の物理的操作を必要とするものである。必ずというわけではないが、通常、これらの量は、格納、転送、結合、比較、及びそうでなければ操作することができる電気信号又は磁気信号の形態を取る。主として共通使用のために、これらの信号をビット、値、要素、記号、文字、用語、数等々と呼ぶことが時には有利であることは公知である。
しかし、これら及び類似の用語の全ては、適切な物理量に関連付けられるべきものであり、かつこれらの量に付けられる単なる有利なラベルに過ぎないことを心に留めておくべきである。以上の説明から明らかなように、別途特に記載がない限り、本明細書全体を通して「受け取る」、「作成する」、「識別する」、又は「引き起こす」等々のような用語を用いた説明は、コンピュータシステムのレジスタ及びメモリの内部で物理(電子)量として表されたデータを操作し、コンピュータシステムのメモリ、レジスタ、又は他のそのような情報の格納、伝送、又は表示のためのデバイスの内部で物理量として同様に表される他のデータに変換するコンピュータシステム又は同様の電子計算デバイスの行為及び工程を指すものである。
以上のように欠陥解析の方法及び装置を説明した。以上の説明は例示であって限定しないことを意図していることを理解すべきである。以上の説明を読んで理解すれば、多くの他の実施形態が当業者には明らかになるであろう。従って、本発明の範囲は、特許請求の範囲、並びにそのような特許請求の範囲が権利を与えられた均等物の全範囲と共に判断すべきである。
20 分類システム
22 パターン化半導体ウェーハ
24 検査機械
26 ADC機械
28 プロセッサ

Claims (41)

  1. 欠陥解析のための方法であって、
    コンピュータシステムにより、検査パラメータ値のそれぞれの範囲によって特徴付けられる複数の欠陥部類に対するそれぞれの単一部類分類子を識別する段階であって、各単一部類分類子が、それぞれの部類に対して該それぞれの部類に属する欠陥を該検査パラメータ値に基づいて識別し、一方で該それぞれの部類に入っていない欠陥を未知欠陥として識別するように構成された段階と、
    前記コンピュータシステムにより、前記検査パラメータ値に基づいて各欠陥を前記複数の欠陥部類のうちの1つに割り当てるように構成された多重部類分類子を識別する段階と、
    前記コンピュータシステムにより、サンプルに見出された欠陥に関する検査データを受信する段階と、
    前記コンピュータシステムを用いて、前記単一部類及び多重部類分類子の両方を前記検査データに自動的に適用し、前記欠陥を前記欠陥部類のうちの1つに割り当てる段階と、
    を含むことを特徴とする方法。
  2. 前記多重部類分類子は、前記欠陥部類のうちの少なくとも2つの前記それぞれの範囲間の重複領域内にある欠陥を決定不能な欠陥として識別するように構成されることを特徴とする請求項1に記載の方法。
  3. 前記未知欠陥及び前記決定不能な欠陥を分類から棄却する段階を含むことを特徴とする請求項2に記載の方法。
  4. 前記それぞれの単一部類及び多重部類分類子を指定する段階は、既知及び未知欠陥の間と決定可能及び決定不能欠陥の間を区別するためのそれぞれの信頼度閾値を共同で設定する段階を含むことを特徴とする請求項2に記載の方法。
  5. 前記それぞれの信頼度閾値を設定する段階は、前記欠陥の分類における指定の純度目標を達成するために該信頼度閾値を調節する段階を含むことを特徴とする請求項4に記載の方法。
  6. 前記単一部類及び多重部類分類子の両方を自動的に適用する段階は、該多重部類分類子を用いて所定の欠陥部類中の欠陥を分類する段階と、該所定の欠陥部類に対する該単一部類分類子によって該欠陥が既知欠陥として分類されていることを検証する段階とを含むことを特徴とする請求項1に記載の方法。
  7. 前記多重部類分類子を指定する段階は、前記欠陥部類の異なる対に対するパラメータ超空間内の前記パラメータ値の前記それぞれの範囲の間を区別するための複数の決定平面を定義する段階を含み、前記多重部類分類子を適用する段階は、該決定平面に関して行われた複数の二分決定を集約する段階を含むことを特徴とする請求項1に記載の方法。
  8. 前記決定平面を定義する段階は、前記欠陥部類の各対に対して、該対における該部類の最大分離を与える平面を求めるために2値線形サポートベクトル機械を適用する段階を含むことを特徴とする請求項7に記載の方法。
  9. 前記それぞれの単一部類分類子を指定する段階は、所定の部類における欠陥と該所定の部類に関して未知欠陥として分類された欠陥との間を区別する1部類サポートベクトル機械を定義する段階を含むことを特徴とする請求項1に記載の方法。
  10. 前記1部類サポートベクトル機械を定義する段階は、パラメータ超空間内の超球に前記検査データをマップする段階と、前記所定の部類に属するとして分類される前記欠陥を収容する超球キャップを定義するために該超球を切断する超平面を求める段階とを含むことを特徴とする請求項9に記載の方法。
  11. 前記それぞれの単一部類及び多重部類分類子を指定する段階は、前記検査データに該単一部類及び多重部類分類子を適用する時に用いるための前記検査パラメータ値の前記それぞれの範囲を定義するために該単一部類及び多重部類分類子を1組の訓練データに適用する段階を含むことを特徴とする請求項1に記載の方法。
  12. 欠陥を解析するための方法であって、
    コンピュータシステムにより、複数の欠陥部類を定義する段階と、
    前記コンピュータシステムにより、それぞれの欠陥部類に属するとして分類された欠陥に関する検査データを含む訓練集合を受信する段階と、
    前記コンピュータシステムにより、前記訓練集合を用いて複数の分類子を訓練して各欠陥部類を特徴付ける検査パラメータ値のそれぞれの範囲を定義し、かつ該パラメータ値を用いて信頼度のそれぞれのレベルを有するそれぞれの部類に属するとして各欠陥を分類する段階と、
    前記コンピュータシステムにより、前記訓練集合の分類における指定の純度目標を達成するために、低レベルの信頼度を有する欠陥分類の棄却のための信頼度閾値を調節する段階と、
    前記コンピュータシステムにより、前記調節された信頼度閾値を有する前記訓練された分類子を前記訓練集合以外の更に別の検査データに適用する段階と、
    を含み、
    前記複数の分類子は、
    第1の信頼度閾値よりも小さいとして多重部類分類子によって分類された欠陥が決定不能な欠陥として識別されるような第1の信頼度閾値を有する多重部類分類子と、
    第2の信頼度閾値よりも小さいとして少なくとも1つの単一部類分類子によって分類された欠陥が未知欠陥として識別されるような第2の信頼度閾値を有する少なくとも1つの単一部類分類子と、
    を含む、
    ことを特徴とする方法。
  13. 前記1つ又はそれよりも多くのコンピュータ化された分類子を訓練する段階は、棄却率に対して前記分類の純度を均衡させるために共同で調節されたそれぞれの信頼度閾値を有する複数の分類子を訓練する段階を含むことを特徴とする請求項12に記載の方法。
  14. 前記信頼度閾値を調節する段階は、前記棄却率が所定の最大値よりも大きくならないように維持しながら前記訓練集合の前記分類の前記純度を最大にする段階を含むことを特徴とする請求項13に記載の方法。
  15. 前記1つ又はそれよりも多くのコンピュータ化された分類子を訓練する段階は、
    前記訓練集合を複数のフォールドに分割する段階と、
    前記フォールドの訓練部分集合に基づいて前記検査パラメータ値の範囲を導出する段階と、
    前記訓練部分集合と互いに素な前記フォールドの試験部分集合に対して前記導出した範囲を試験する段階と、
    前記フォールドの複数の異なる訓練部分集合及び試験部分集合にわたって前記導出する段階及び前記試験する段階を反復する段階と、
    を含む、
    ことを特徴とする請求項12に記載の方法。
  16. 欠陥解析のための装置であって、
    複数の欠陥部類に対する検査パラメータ値のそれぞれの範囲を格納するように構成されたメモリと、
    サンプルに見出された欠陥に関する検査データを受信し、かつ前記検査パラメータ値に基づいて単一部類分類子及び多重部類分類子の両方を該検査データに適用して該欠陥を前記欠陥部類のうちの1つに割り当てるように構成されたプロセッサと、
    を含み、
    各単一部類分類子は、それぞれの部類に対して、該それぞれの部類に属する欠陥を識別し、一方で該それぞれの部類に入っていない欠陥を未知欠陥として識別するように構成され、前記多重部類分類子は、各欠陥を前記複数の欠陥部類のうちの1つに割り当てるように構成される、
    ことを特徴とする装置。
  17. 前記多重部類分類子は、前記欠陥部類のうちの少なくとも2つの前記それぞれの範囲間の重複領域内にある欠陥を決定不能な欠陥として識別するように構成されることを特徴とする請求項16に記載の装置。
  18. 前記プロセッサは、前記未知欠陥及び前記決定不能な欠陥を分類から棄却するように構成されることを特徴とする請求項17に記載の装置。
  19. 既知及び未知欠陥の間と決定可能及び決定不能欠陥の間とを区別するための信頼度閾値が、前記単一部類及び多重部類分類子に対して共同で設定されることを特徴とする請求項17に記載の装置。
  20. 前記信頼度閾値は、前記欠陥の分類における指定の純度目標を達成するように調節されることを特徴とする請求項19に記載の装置。
  21. 前記プロセッサは、前記多重部類分類子を用いて所定の欠陥部類中の欠陥を分類し、かつ該所定の欠陥部類に対して前記単一部類分類子によって該欠陥が既知欠陥として分類されていることを検証するように構成されることを特徴とする請求項16に記載の装置。
  22. 前記多重部類分類子は、前記欠陥部類の異なる対に対するパラメータ超空間内の前記パラメータ値の前記それぞれの範囲の間を区別するために複数の決定平面を適用し、かつ該決定平面に関して行われた複数の二分決定を集約するように構成されることを特徴とする請求項16に記載の装置。
  23. 前記決定平面は、前記欠陥部類の各対に対して、該対内の該部類の最大分離を与える平面を求めるために2値線形サポートベクトル機械を適用することによって定義されることを特徴とする請求項22に記載の装置。
  24. 前記単一部類分類子の各々が、1部類サポートベクトル機械を適用して所定の部類中の欠陥と該所定の部類に関して未知欠陥として分類された欠陥の間を区別するように構成されることを特徴とする請求項16に記載の装置。
  25. 前記1部類サポートベクトル機械は、前記検査データをパラメータ超空間内の超球にマップし、かつ前記所定の部類に属するとして分類される欠陥を収容する超球キャップを定義するために該超球を切断する超平面を求めるように作動することを特徴とする請求項24に記載の装置。
  26. 前記単一部類及び多重部類分類子に対する前記検査パラメータ値の前記それぞれの範囲は、該単一部類及び多重部類分類子を1組の訓練データに適用することによって定義されることを特徴とする請求項16に記載の装置。
  27. 欠陥を解析するための装置であって、
    複数の欠陥部類に関する情報を格納するように構成されたメモリと、
    それぞれの欠陥部類に属するとして分類された欠陥に関する検査データを含む訓練集合を受信し、該訓練集合を用いて1つ又はそれよりも多くの分類子を訓練して各欠陥部類を特徴付ける検査パラメータ値のそれぞれの範囲を定義し、該パラメータ値を用いて各欠陥を信頼度のそれぞれのレベルを有するそれぞれの部類に属するとして分類し、該訓練集合の分類における指定の純度目標を達成するために低レベルの信頼度を有する欠陥分類の棄却に対する信頼度閾値を調節し、かつ該調節された信頼度閾値を有する該訓練された分類子を該訓練集合以外の更に別の検査データに適用するように構成されたプロセッサと、
    を含み、
    前記複数の分類子は、
    第1の信頼度閾値よりも小さいとして多重部類分類子によって分類された欠陥が決定不能な欠陥として識別されるような第1の信頼度閾値を有する多重部類分類子と、
    第2の信頼度閾値よりも小さいとして少なくとも1つの単一部類分類子によって分類された欠陥が未知欠陥として識別されるような第2の信頼度閾値を有する少なくとも1つの単一部類分類子と、
    を含む、
    ことを特徴とする装置。
  28. 前記1つ又はそれよりも多くの分類子は、棄却率に対して前記分類の純度を均衡させるために共同で調節されたそれぞれの信頼度閾値を有する複数の分類子を含むことを特徴とする請求項27に記載の装置。
  29. 前記プロセッサは、前記棄却率が所定の最大値よりも大きくならないように維持しながら前記訓練集合の前記分類の前記純度を最大にするように前記信頼度閾値を調節するように構成されることを特徴とする請求項28に記載の装置。
  30. 前記プロセッサは、前記訓練集合を複数のフォールドに分割し、該フォールドの訓練部分集合に基づいて前記検査パラメータ値の範囲を導出し、該訓練部分集合と互いに素な該フォールドの試験部分集合に対して該導出した範囲を試験し、かつ該フォールドの複数の異なる訓練部分集合及び試験部分集合にわたって該導出する段階及び該試験する段階を反復することにより、前記1つ又はそれよりも多くの分類子を訓練するように構成されることを特徴とする請求項27に記載の装置。
  31. コンピュータ可読ストレージ媒体であって、
    処理デバイスによって実行された時に該処理デバイスをして欠陥解析の方法を実施させる命令、
    を含み、
    前記方法は、
    コンピュータシステムにより、検査パラメータ値のそれぞれの範囲によって特徴付けられる複数の欠陥部類に対するそれぞれの単一部類分類子を識別する段階であって、各単一部類分類子が、それぞれの部類に対して該それぞれの部類に属する欠陥を該検査パラメータ値に基づいて識別し、一方で該それぞれの部類に入っていない欠陥を未知欠陥として識別するように構成された段階と、
    前記コンピュータシステムにより、前記検査パラメータ値に基づいて各欠陥を前記複数の欠陥部類のうちの1つに割り当てるように構成された多重部類分類子を識別する段階と、
    前記コンピュータシステムにより、サンプルに見出された欠陥に関する検査データを受信する段階と、
    前記コンピュータシステムを用いて、前記単一部類及び多重部類分類子の両方を前記検査データに自動的に適用し、前記欠陥を前記欠陥部類のうちの1つに割り当てる段階と、
    を含む、
    ことを特徴とするコンピュータ可読ストレージ媒体。
  32. 前記多重部類分類子は、前記欠陥部類のうちの少なくとも2つの前記それぞれの範囲間の重複領域内にある欠陥を決定不能な欠陥として識別するように構成されることを特徴とする請求項31に記載のコンピュータ可読ストレージ媒体。
  33. 前記方法は、前記未知欠陥及び前記決定不能な欠陥を分類から棄却する段階を更に含むことを特徴とする請求項32に記載のコンピュータ可読ストレージ媒体。
  34. 既知及び未知欠陥の間と決定可能及び決定不能欠陥の間を区別するための信頼度閾値が、前記単一部類及び多重部類分類子に対して共同で設定されることを特徴とする請求項32に記載のコンピュータ可読ストレージ媒体。
  35. 前記信頼度閾値は、前記欠陥の分類における指定の純度目標を達成するように調節されることを特徴とする請求項34に記載のコンピュータ可読ストレージ媒体。
  36. 前記方法は、前記多重部類分類子を用いて所定の欠陥部類中の欠陥を分類する段階と、該所定の欠陥部類に対する前記単一部類分類子によって該欠陥が既知欠陥として分類されていることを検証する段階とを更に含むことを特徴とする請求項31に記載のコンピュータ可読ストレージ媒体。
  37. 前記多重部類分類子は、前記欠陥部類の異なる対に対するパラメータ超空間内の前記パラメータ値の前記それぞれの範囲の間を区別するための複数の決定平面を適用し、かつ該決定平面に関して行われた複数の二分決定を集約するように構成されることを特徴とする請求項31に記載のコンピュータ可読ストレージ媒体。
  38. 前記決定平面は、前記欠陥部類の各対に対して、該対における該部類の最大分離を与える平面を求めるために2値線形サポートベクトル機械を適用することによって定義されることを特徴とする請求項37に記載のコンピュータ可読ストレージ媒体。
  39. 前記単一部類分類子の各々が、所定の部類における欠陥と該所定の部類に関して未知欠陥として分類された欠陥との間を区別する1部類サポートベクトル機械を適用するように構成されることを特徴とする請求項31に記載のコンピュータ可読ストレージ媒体。
  40. 前記1部類サポートベクトル機械は、パラメータ超空間内の超球に前記検査データをマップし、かつ前記所定の部類に属するとして分類される前記欠陥を収容する超球キャップを定義するために該超球を切断する超平面を求めるように作動することを特徴とする請求項39に記載のコンピュータ可読ストレージ媒体。
  41. 前記単一部類及び多重部類分類子に対する前記検査パラメータ値の前記それぞれの範囲は、該単一部類及び多重部類分類子を1組の訓練データに適用することによって定義されることを特徴とする請求項31に記載のコンピュータ可読ストレージ媒体。
JP2011176369A 2010-07-27 2011-07-26 最適化された純度による欠陥分類 Active JP5496969B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/844,724 US8315453B2 (en) 2010-07-27 2010-07-27 Defect classification with optimized purity
US12/844,724 2010-07-27

Publications (3)

Publication Number Publication Date
JP2012247409A JP2012247409A (ja) 2012-12-13
JP2012247409A5 JP2012247409A5 (ja) 2013-09-26
JP5496969B2 true JP5496969B2 (ja) 2014-05-21

Family

ID=45526772

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011176369A Active JP5496969B2 (ja) 2010-07-27 2011-07-26 最適化された純度による欠陥分類

Country Status (4)

Country Link
US (1) US8315453B2 (ja)
JP (1) JP5496969B2 (ja)
KR (1) KR101391878B1 (ja)
TW (1) TWI416346B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107820620A (zh) * 2015-05-08 2018-03-20 科磊股份有限公司 用于缺陷分类的方法和系统

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4908995B2 (ja) * 2006-09-27 2012-04-04 株式会社日立ハイテクノロジーズ 欠陥分類方法及びその装置並びに欠陥検査装置
US9858658B2 (en) 2012-04-19 2018-01-02 Applied Materials Israel Ltd Defect classification using CAD-based context attributes
US9715723B2 (en) * 2012-04-19 2017-07-25 Applied Materials Israel Ltd Optimization of unknown defect rejection for automatic defect classification
US9595091B2 (en) 2012-04-19 2017-03-14 Applied Materials Israel, Ltd. Defect classification using topographical attributes
US10043264B2 (en) 2012-04-19 2018-08-07 Applied Materials Israel Ltd. Integration of automatic and manual defect classification
US9607233B2 (en) * 2012-04-20 2017-03-28 Applied Materials Israel Ltd. Classifier readiness and maintenance in automatic defect classification
US8948494B2 (en) * 2012-11-12 2015-02-03 Kla-Tencor Corp. Unbiased wafer defect samples
JP5800434B2 (ja) * 2013-01-11 2015-10-28 Ckd株式会社 検査装置の監視システム
JP5948262B2 (ja) * 2013-01-30 2016-07-06 株式会社日立ハイテクノロジーズ 欠陥観察方法および欠陥観察装置
US9275331B2 (en) * 2013-05-22 2016-03-01 International Business Machines Corporation Document classification system with user-defined rules
US10114368B2 (en) 2013-07-22 2018-10-30 Applied Materials Israel Ltd. Closed-loop automatic defect inspection and classification
US9489599B2 (en) 2013-11-03 2016-11-08 Kla-Tencor Corp. Decision tree construction for automatic classification of defects on semiconductor wafers
US9430743B2 (en) 2014-03-06 2016-08-30 Kla-Tencor Corp. Composite defect classifier
US10073424B2 (en) * 2014-05-13 2018-09-11 Autodesk, Inc. Intelligent 3D printing through optimization of 3D print parameters
US9582869B2 (en) * 2014-10-19 2017-02-28 Kla-Tencor Corp. Dynamic binning for diversification and defect discovery
US9286675B1 (en) 2014-10-23 2016-03-15 Applied Materials Israel Ltd. Iterative defect filtering process
US10726349B2 (en) 2014-11-27 2020-07-28 Longsand Limited Calculating posterior probability of classes
US10650508B2 (en) 2014-12-03 2020-05-12 Kla-Tencor Corporation Automatic defect classification without sampling and feature selection
US20160189055A1 (en) 2014-12-31 2016-06-30 Applied Materials Israel Ltd. Tuning of parameters for automatic classification
TWI608369B (zh) 2016-11-23 2017-12-11 財團法人工業技術研究院 分類方法、分類模組及電腦程式產品
US10365617B2 (en) * 2016-12-12 2019-07-30 Dmo Systems Limited Auto defect screening using adaptive machine learning in semiconductor device manufacturing flow
US11084222B2 (en) 2017-06-30 2021-08-10 Autodesk, Inc. Systems and methods for determining dynamic forces in a liquefier system in additive manufacturing
US10360669B2 (en) * 2017-08-24 2019-07-23 Applied Materials Israel Ltd. System, method and computer program product for generating a training set for a classifier
US11037286B2 (en) 2017-09-28 2021-06-15 Applied Materials Israel Ltd. Method of classifying defects in a semiconductor specimen and system thereof
US10558920B2 (en) * 2017-10-02 2020-02-11 Servicenow, Inc. Machine learning classification with confidence thresholds
US10748271B2 (en) 2018-04-25 2020-08-18 Applied Materials Israel Ltd. Method of defect classification and system thereof
JP7102941B2 (ja) * 2018-05-24 2022-07-20 株式会社ジェイテクト 情報処理方法、情報処理装置、及びプログラム
US11151706B2 (en) * 2019-01-16 2021-10-19 Applied Material Israel, Ltd. Method of classifying defects in a semiconductor specimen and system thereof
US11263496B2 (en) 2019-02-25 2022-03-01 D2S, Inc. Methods and systems to classify features in electronic designs
KR102240882B1 (ko) * 2019-05-31 2021-04-15 에스케이텔레콤 주식회사 분류기 생성 장치, 방법 및 이에 의해 생성되는 분류 장치
US11138477B2 (en) * 2019-08-15 2021-10-05 Collibra Nv Classification of data using aggregated information from multiple classification modules
CN110910353B (zh) * 2019-11-06 2022-06-10 成都数之联科技股份有限公司 一种工业假不良检测方法及系统
CN111223078B (zh) * 2019-12-31 2023-09-26 富联裕展科技(河南)有限公司 瑕疵等级判定的方法及存储介质
US11430105B2 (en) 2020-06-15 2022-08-30 Mitutoyo Corporation Workpiece inspection and defect detection system including monitoring of workpiece images
US11150200B1 (en) 2020-06-15 2021-10-19 Mitutoyo Corporation Workpiece inspection and defect detection system indicating number of defect images for training
US11861286B2 (en) * 2020-06-30 2024-01-02 Synopsys, Inc. Segregating defects based on computer-aided design (CAD) identifiers associated with the defects
CN112834878B (zh) * 2021-01-05 2022-07-01 国网浙江省电力有限公司电力科学研究院 一种变压器局部放电的缺陷类型识别方法及系统
US11216932B1 (en) * 2021-03-26 2022-01-04 Minds AI Technologies Ltd Electronic substrate defect detection
US11756186B2 (en) 2021-09-15 2023-09-12 Mitutoyo Corporation Workpiece inspection and defect detection system utilizing color channels
KR102507273B1 (ko) * 2022-07-21 2023-03-08 (주)트루엔 객체를 검출 및 분류하기 위한 전자 장치 및 전자 장치의 동작 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6256093B1 (en) 1998-06-25 2001-07-03 Applied Materials, Inc. On-the-fly automatic defect classification for substrates using signal attributes
US6650779B2 (en) * 1999-03-26 2003-11-18 Georgia Tech Research Corp. Method and apparatus for analyzing an image to detect and identify patterns
US6922482B1 (en) * 1999-06-15 2005-07-26 Applied Materials, Inc. Hybrid invariant adaptive automatic defect classification
US6999614B1 (en) * 1999-11-29 2006-02-14 Kla-Tencor Corporation Power assisted automatic supervised classifier creation tool for semiconductor defects
KR101387785B1 (ko) * 2005-01-21 2014-04-25 포톤 다이나믹스, 인코포레이티드 자동 결함 복구 시스템
KR101332786B1 (ko) * 2005-02-18 2013-11-25 쇼오트 아게 결함 검출 및/또는 분류 방법 및 장치
JP4644613B2 (ja) * 2006-02-27 2011-03-02 株式会社日立ハイテクノロジーズ 欠陥観察方法及びその装置
WO2008077100A2 (en) * 2006-12-19 2008-06-26 Kla-Tencor Corporation Systems and methods for creating inspection recipes
JP5022174B2 (ja) * 2007-10-22 2012-09-12 株式会社日立製作所 欠陥分類方法及びその装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107820620A (zh) * 2015-05-08 2018-03-20 科磊股份有限公司 用于缺陷分类的方法和系统

Also Published As

Publication number Publication date
JP2012247409A (ja) 2012-12-13
US20120027285A1 (en) 2012-02-02
TW201232288A (en) 2012-08-01
KR101391878B1 (ko) 2014-05-07
TWI416346B (zh) 2013-11-21
KR20120010997A (ko) 2012-02-06
US8315453B2 (en) 2012-11-20

Similar Documents

Publication Publication Date Title
JP5496969B2 (ja) 最適化された純度による欠陥分類
TWI639824B (zh) 用於自動及手動缺陷分類之整合的方法、設備及非暫態電腦可讀取儲存媒介
US9715723B2 (en) Optimization of unknown defect rejection for automatic defect classification
Mendes Júnior et al. Nearest neighbors distance ratio open-set classifier
US10809635B2 (en) Defect inspection method and defect inspection system
US9367765B2 (en) Method and apparatus for automatic detection of features in an image and method for training the apparatus
JP7064668B2 (ja) 重なり合った染色体をシミュレーションに基づき分離するための認識モデルを訓練する方法、認識モデルを用いて重なり合った染色体の分離を実施するための方法及びシステム
Liao et al. Similarity searching for defective wafer bin maps in semiconductor manufacturing
JP2017102540A (ja) 分類装置、方法、及びプログラム
JP2019164774A (ja) 学習装置、検査装置、学習検査方法、学習プログラムおよび検査プログラム
JP2016151805A (ja) オブジェクト検出装置、オブジェクト検出方法、及びプログラム
Radwan Enhancing prediction on imbalance data by thresholding technique with noise filtering
JP2018018153A (ja) 鋼種判別装置及び鋼種判別方法
Ramírez et al. Detection of flaws in aluminium castings: a comparative study between generative and discriminant approaches
JP5298552B2 (ja) 判別装置、判別方法及びプログラム
Vela et al. Examples of machine learning algorithms for optical network control and management
JP2022089430A (ja) 画像処理システム、及び画像処理プログラム
Sormunen et al. Iterative Learning for Instance Segmentation
Molnár et al. Constellation Recognition on Digital Images
Reddy et al. Opposition Crow Search-based Optimal Feature Selection for Defect Classification by SVM in Semiconductor Wafer
Griphammar Are these numbers real?
Merzougui et al. Improving the Approval Process for Durum Wheat Grain Quality in Algeria Using Computer Vision and Machine Learning
Rueda et al. A Pattern Classification Approach to DNA Microarray Image Segmentation
Luckner Comparison of hierarchical svm structures in letters recognition task
Wong et al. Detection of Amaranthus palmeri s p. Seedlings in Vegetable Farms Using Genetic Algorithm Optimized Support Vector Machine

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130801

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130801

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20130801

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20130930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140305

R150 Certificate of patent or registration of utility model

Ref document number: 5496969

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250