JP6845327B2 - 畳み込み式ニューラルネットワークに基づく欠陥検査のためのデータ増強 - Google Patents

畳み込み式ニューラルネットワークに基づく欠陥検査のためのデータ増強 Download PDF

Info

Publication number
JP6845327B2
JP6845327B2 JP2019530496A JP2019530496A JP6845327B2 JP 6845327 B2 JP6845327 B2 JP 6845327B2 JP 2019530496 A JP2019530496 A JP 2019530496A JP 2019530496 A JP2019530496 A JP 2019530496A JP 6845327 B2 JP6845327 B2 JP 6845327B2
Authority
JP
Japan
Prior art keywords
images
image
wafer
processor
cnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019530496A
Other languages
English (en)
Other versions
JP2020501154A5 (ja
JP2020501154A (ja
Inventor
ビョルン ブラウアー
ビョルン ブラウアー
ヴィジャヤクマル ラマチャンドラン
ヴィジャヤクマル ラマチャンドラン
フォード リチャード ウォーリング
フォード リチャード ウォーリング
スコット エー ヤング
スコット エー ヤング
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KLA Corp
Original Assignee
KLA Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KLA Corp filed Critical KLA Corp
Publication of JP2020501154A publication Critical patent/JP2020501154A/ja
Publication of JP2020501154A5 publication Critical patent/JP2020501154A5/ja
Application granted granted Critical
Publication of JP6845327B2 publication Critical patent/JP6845327B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/10—Measuring as part of the manufacturing process
    • H01L22/12—Measuring as part of the manufacturing process for structural parameters, e.g. thickness, line width, refractive index, temperature, warp, bond strength, defects, optical inspection, electrical measurement of structural dimensions, metallurgic measurement of diffusions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67242—Apparatus for monitoring, sorting or marking
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/20—Sequence of activities consisting of a plurality of measurements, corrections, marking or sorting steps
    • H01L22/24—Optical enhancement of defects or not directly visible states, e.g. selective electrolytic deposition, bubbles in liquids, light emission, colour change
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/30—Structural arrangements specially adapted for testing or measuring during manufacture or treatment, or specially adapted for reliability measurements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Description

本開示は欠陥検査、例えば畳み込み式ニューラルネットワークに基づく欠陥検査のためのデータ増強のためのシステム及び方法に関する。
関連出願への相互参照
本出願は、２０１６年１２月７日付で出願されて現時点で係属中である米国仮特許出願第６２／４３０，９２５号に対する優先権を主張しており、その開示は、参照によってここに援用される。
ロジック及びメモリデバイスのような半導体デバイスの製造は、典型的には、半導体ウエハのような基板を多数の半導体製造プロセスを使用して処理し、半導体デバイスの様々な形状及び複数のレベルを形成することを含む。例えば、リソグラフィーは、半導体ウエハ上に配置されたレジストに、レチクルからパターンを転写することを伴う半導体製造プロセスである。半導体製造プロセスの付加的な例は、化学機械研磨（ＣＭＰ）、エッチング、デポジション、及びイオン注入を含むが、これらに限られるものではない。複数の半導体デバイスが単一の半導体ウエハ上の配置に製造され得て、それから個別の半導体デバイスに分離され得る。
検査プロセスが、ウエハ上の欠陥を検出して製造プロセスにおける高い歩留まり且つこれにより高い利益を促進するために、半導体製造プロセスの間の様々なステップで使用される。検査は常に、集積回路（ＩＣ）のような半導体デバイスの製造における重要な部分である。しかし、半導体デバイスの寸法が減少するにつれて、より小さな欠陥がデバイスの失敗をもたらすことがあるので、許容可能な半導体デバイスの成功した製造にとって、検査は、よりさらに重要になってきている。例えば、半導体デバイスの寸法が減少するにつれて、減少するサイズの欠陥の検出は、比較的小さい欠陥でさえ半導体デバイスにおける望まれない異常を生じさせ得るために、必要になってきている。
米国特許出願公開第２０１６／０１６３０３５号
しかし、設計ルールが縮小するにつれて、半導体製造プロセスは、プロセスの性能能力における限界により近いところで処理しているようになり得る。加えて、設計ルールが縮小するにつれて、より小さな欠陥がデバイスの電気的パラメータにインパクトを有することができて、このことが、より敏感な検査につながっている。したがって、設計ルールが縮小するにつれて、検査によって検出される潜在的に歩留まりに関連する欠陥の数が劇的に増加し、検査によって検出される些細な欠陥の数もまた、劇的に増加している。したがって、より一層多くの欠陥がウエハ上で検出され得て、欠陥の全てを無くすようにプロセスを修正することが困難に且つ高価になり得る。そのため、どの欠陥がデバイスの電気的パラメータ及び歩留まりに実際に影響を有するかを決定することが、プロセス制御方法がその他のものをおおむね無視しながらそれらの欠陥に集中することを可能にし得る。さらに、より小さな設計ルールでは、プロセス起因の失敗は、ある場合には系統的になる傾向がある。すなわち、プロセス起因の失敗は、ある設計内でしばしば何度も繰り返される所定の設計パターンで発生する傾向にある。空間的に系統的で、電気的に関連した欠陥の除去は、そのような欠陥の除去が歩留まりに顕著な全体的なインパクトを有することがあるので、重要である。欠陥がデバイスパラメータ及び歩留まりに影響するかどうかは、しばしば上述された検査、レビュー、及び分析プロセスからは決定されることができない。これは、これらのプロセスが、電気的設計に関して欠陥の位置を決定することができないことがあり得るからである。
欠陥を検出する一つの方法は、コンピュータビジョンを使用することである。コンピュータビジョンでは、畳み込み式ニューラルネットワーク（ＣＮＮ）のようなモデルが、欠陥を識別するために使用され得る。ＣＮＮは、ウエハ及び既知の欠陥のセットからの様々なイメージと共に提供され得る。最も一般的なタスクの一つはモデルをトレーニングデータのセットに当てはめることであって、その目標は、未知のテストデータに対して信頼できる予測をすることにある。通常は、最小でも各々について数百の例が必要である。非常にしばしば、このように多くのデータは利用可能ではなく、あるいは、このデータを収集するために時間が掛かり過ぎる。
加えて、ＣＮＮをオーバーフィットする可能性がある。オーバーフィッティングでは、統計的なモデルは、下地になっている関係の代わりにランダムな誤り又は雑音を記述する。例えば、図１は、隣接するダイの相違イメージにおけるウエハ雑音を示す複数のイメージ１０を描いている。オーバーフィッティングは、観察数に対してパラメータが多すぎるというように、モデルが過剰に複雑であるときに生じる。オーバーフィットされるモデルは、トレーニングデータにおけるマイナーな変動に過剰反応するように、予測性に劣る性能を有する。
同様に、統計的モデル又は機械学習アルゴリズムがデータの下地になる傾向を獲得できないと、アンダーフィティングが発生する。アンダーフィティングは、例えば、線形モデルを非線形データに当てはめるときに発生する。そのようなモデルは、予測性に劣る性能を有する。
オーバーフィッティングの可能性が存在するのは、モデルをトレーニングするために使用される基準がモデルの効率を判定するために使用される基準とは同じではないためである。特に、モデルは典型的には、トレーニングデータのいくつかのセットにおけるその性能を最大化することによって、トレーニングされる。しかし、その効率は、トレーニングデータにおけるその性能によってではなく、未知のデータにて良好に実行する能力によって、判定される。モデルが、傾向から一般化される「学習」というよりもトレーニングデータを「記憶」し始めると、オーバーフィッティングが生じる。極端な一例として、もしパラメータ数が観察数と同じか又はそれより大きいと、単純なモデル又は学習プロセスは、単純にトレーニングデータを全体的に記憶することによって、トレーニングデータを完全に予測することができるが、その単純なモデルは一般化することを全く学習していないので、そのようなモデルは典型的には、新しい又は未知のデータについての予測をするときに、劇的に失敗する。
オーバーフィッティングに対するポテンシャルは、パラメータ及びデータの数のみに依存するのではなく、データ形状に対するモデル構造の適合性、及びデータ内の雑音又は誤りの期待されるレベルと比較したモデル誤りの大きさにも依存する。
オーバーフィッティングを避けるために、データ増強のような付加的な技法を使用する必要がある。データ増強は、現存しているウエハイメージのような現存しているデータを利用し、新しいが同様に指示的なイメージを生成するために数学的関数をデータに適用する。例えば、現時点で使用されているデータ増強技法は、イメージの回転、並進、ズーム、反転、及び縁の切り落としを含む。
しかし、これらの技法は、欠陥検査の分野では、容易に使用されることはできない。例えば、回転は、ウエハが１つ又は２つの方向のみで検査されることができるときの限定的な値（０及び９０度）のみを有する。ズームは検査プロセスの間は一定であり、これよりまた、限定的な値である。イメージの並進、反転、及び縁の切り落としは使用されることができるが、これらの増強は、特にＣＮＮをダイ毎又はウエハ毎のプロセス変動に対してロバストにしようとするときに、十分な増強データを生成するためにはしばしば不十分である。
さらに、従来技術のデータ増強技法は、図１にて隣接するダイの相違イメージ１０に描かれているようなランダムなウエハ雑音を取り扱うときに、特に不十分になる。意味のある全体的にランダムなウエハ雑音を有する入力データを増強することは困難ではあるが、最も挑戦的なウエハ雑音源の一つであるランダムなプロセス変動を取り扱うときには、考慮されるべきである。
本開示の一つの実施形態は、畳み込み式ニューラルネットワーク（ＣＮＮ）に増強された入力データを提供する方法として記述されることができる。この方法は、プロセッサにてウエハイメージを受け取るステップを包含する。この方法はさらに、プロセッサを使用して、ウエハイメージを複数の参照イメージに分割するステップを包含する。各々の参照イメージは、ウエハイメージにおける一つのダイに関連付けされ得る。この方法はさらに、プロセッサにて一つ又はそれ以上のテストイメージを受け取るステップを包含する。
この方法はさらに、プロセッサを使用して、一つ又はそれ以上のテストイメージと複数の参照イメージの一つ又はそれ以上との相違を取ることによって、複数の相違イメージを生成するステップを包含する。一つの実施形態では、複数の相違イメージを生成するステップは、テストイメージと、メジアンダイ参照イメージ、ゴールデンダイ参照イメージ、レンダリングされた設計に基づく参照イメージ、又はテストイメージと同じダイ行（row）からの参照イメージ、テストイメージと同じダイ列（column）からの参照イメージ、又はウエハイメージにおける任意のダイとの相違を取るステップを包含する。
この方法はさらに、プロセッサを使用して、複数の参照イメージ及び複数の相違イメージをＣＮＮのための増強された入力データに集めるステップを包含する。この方法はさらに、増強された入力データをＣＮＮに提供するステップを包含する。
他の実施形態では、この方法はさらに、イメージデータ獲得サブシステムを使用してウエハ走査を実行するステップを包含する。イメージデータ獲得サブシステムは、ウエハ走査をウエハイメージ及び一つ又はそれ以上のテストイメージに変換する。
一つの実施形態では、この方法はさらに、複数の対象欠陥（ＤＯＩ）イメージを、ＤＯＩを有する一つ又はそれ以上のテストイメージと複数の参照イメージの一つ又はそれ以上との相違を取り且つ相違を取られたイメージを複数のテストイメージの一つ又はそれ以上と合成することによって、生成するステップを包含する。複数のＤＯＩイメージは、ＣＮＮのための増強された入力データに集められる。
他の実施形態では、この方法はさらに、プロセッサを使用して、複数の参照イメージ及び複数の相違イメージを受け取った一つ又はそれ以上のテストイメージに関して転置することによって、複数の転置されたイメージを生成するステップを包含する。複数の転置されたイメージは、ＣＮＮのための増強された入力データに集められる。複数の転置されたイメージは、受け取った一つ又はそれ以上のテストイメージに関して１サブピクセルのオフセットだけ転置され得る。
一つの実施形態では、この方法はさらに、プロセッサを使用して、複数の参照イメージ及び複数の相違イメージのピクセル値を定数又は行列と乗算することによって、複数の増幅されたイメージを生成するステップをさらに包含する。複数の増幅されたイメージは、ＣＮＮのための増強された入力データに集められる。
他の実施形態では、この方法はさらに、プロセッサを使用して、ウエハイメージの電磁気的シミュレーションを生成するステップと、電磁気的シミュレーションをレンダリングするステップと、レンダリングされた電磁気的シミュレーションを受け取られたウエハイメージと組み合わせて電磁気的イメージを生成するステップと、電磁気的イメージを複数の電磁気的参照イメージに分割するステップと、複数の電磁気的参照イメージをＣＮＮのための増強された入力データに集めるステップと、を包含する。各々の電磁気的参照イメージは、電磁気的イメージにおける一つのダイに関連付けされ得る。
一つの実施形態では、この方法はさらに、プロセッサを使用して、複数の参照イメージ及び複数の相違イメージを焦点ずれさせることによって、複数の焦点ずれしたイメージを生成するステップを包含する。複数の焦点ずれしたイメージは、ＣＮＮのための増強された入力データに集められる。
他の実施形態では、この方法はさらに、複数の参照イメージ及び複数の相違イメージの照明値を変えることによって、複数の照明されたイメージを生成するステップを包含する。複数の照明されたイメージは、ＣＮＮのための増強された入力データに集められる。
本開示の他の実施形態は、ＣＮＮに増強された入力データを提供するシステムとして記述され得る。このシステムは、一つ又はそれ以上のソフトウエアモジュールを実行するように構成されたプロセッサを備え得る。一つ又はそれ以上のソフトウエアモジュールは、ウエハイメージを受け取るように構成され得る。ウエハイメージは、一つ又はそれ以上のダイを含み得る。
一つ又はそれ以上のソフトウエアモジュールは、ウエハイメージを複数の参照イメージに分割するように構成され得る。各々の参照イメージは、ウエハイメージにおける一つのダイに関連付けされ得る。一つ又はそれ以上のソフトウエアモジュールは、一つ又はそれ以上のテストイメージを受け取り、その一つ又はそれ以上のテストイメージと複数の参照イメージの一つ又はそれ以上との相違を取ることによって、複数の相違イメージを生成するように構成され得る。
一つ又はそれ以上のソフトウエアモジュールは、複数の参照イメージ及び複数の相違イメージをＣＮＮのための増強された入力データに集め、その増強された入力データをＣＮＮに提供するように構成され得る。
一つの実施形態では、ソフトウエアモジュールはさらに、複数の対象欠陥（ＤＯＩ）イメージを、ＤＯＩを有する一つ又はそれ以上のテストイメージと複数の参照イメージの一つ又はそれ以上との相違を取ることによって生成するように構成され得る。相違を取られたイメージはそれから、複数のテストイメージの一つ又はそれ以上と合成される。複数のＤＯＩイメージはそれから、ＣＮＮのための増強された入力データに集められる。
他の実施形態では、このシステムはさらに、プロセッサと電子的通信状態にあるイメージデータ獲得サブシステムを備える。そのような実施形態では、イメージデータ獲得サブシステムは、ウエハ走査を実行するように構成される。一つ又はそれ以上のソフトウエアモジュールはさらに、ウエハ走査を一つ又はそれ以上のテストイメージに、及びウエハ走査をウエハイメージに、変換するように構成されている。
一つの実施形態では、一つ又はそれ以上のソフトウエアモジュールがさらに、複数の参照イメージ及び複数の相違イメージを受け取った一つ又はそれ以上のテストイメージに関して転置することによって、複数の転置されたイメージを生成するように構成される。複数の転置されたイメージは、ＣＮＮのための増強された入力データに集められる。複数の転置されたイメージは、受け取った一つ又はそれ以上のテストイメージに関して１サブピクセルのオフセットだけ転置され得る。
他の実施形態では、一つ又はそれ以上のソフトウエアモジュールがさらに、複数の参照イメージ及び複数の相違イメージのピクセル値を定数又は行列と乗算することによって、複数の増幅されたイメージを生成するように構成されている。複数の増幅されたイメージは、ＣＮＮのための増強された入力データに集められる。
一つの実施形態では、一つ又はそれ以上のソフトウエアモジュールがさらに、ウエハイメージの電磁気的シミュレーションを生成し、電磁気的シミュレーションをレンダリングし、レンダリングされた電磁気的シミュレーションを受け取られたウエハイメージと組み合わせて電磁気的イメージを生成し、電磁気的イメージを複数の電磁気的参照イメージに分割し、複数の電磁気的参照イメージをＣＮＮのための増強された入力データに集めるように構成されている。各々の電磁気的参照イメージは、電磁気的イメージにおける一つのダイに関連付けされ得る。
他の実施形態では、一つ又はそれ以上のソフトウエアモジュールがさらに、複数の参照イメージ及び複数の相違イメージを焦点ずれさせることによって、複数の焦点ずれしたイメージを生成するように構成されている。複数の焦点ずれしたイメージは、ＣＮＮのための増強された入力データに集められる。
他の実施形態では、一つ又はそれ以上のソフトウエアモジュールがさらに、複数の参照イメージ及び複数の相違イメージの照明値を変えることによって、複数の照明されたイメージを生成するように構成されている。複数の照明されたイメージは、ＣＮＮのための増強された入力データに集められる。
他の実施形態では、一つ又はそれ以上のソフトウエアモジュールがさらに、テストイメージと、メジアンダイ参照イメージ、ゴールデンダイ参照イメージ、レンダリングされた設計に基づく参照イメージ、又はテストイメージと同じダイ行からの参照イメージ、テストイメージと同じダイ列からの参照イメージ、又はウエハイメージにおける任意のダイとの相違を取ることによって、複数の相違イメージを生成するように構成されている。
このシステムはさらに、プロセッサ及びイメージ獲得サブシステムと電子的通信状態にあるデータベースを備え得る。このデータベースは、ウエハイメージ、複数の参照イメージ、一つ又はそれ以上のテストイメージ、前記複数の相違イメージを記憶するように構成され得る。他の実施形態では、データベースはまた、ＣＮＮも記憶するように構成されている。
本開示の性質及び目的のより完全な理解のために、添付の図面と共に以下の詳細な記述が参照される。
ランダムなウエハ雑音を描いている複数の相違イメージである。 ウエハ中で取られた参照イメージの位置の描写である。 本開示の一つの実施形態と共に使用される一つのシステムのシステム図である。 本開示のコンピュータ実現型の方法を実行するためのコンピュータシステム上で実行可能なプログラム指令を記憶している非一時的コンピュータ読み取り可能媒体を示す図である。 本開示の一つの実施形態を描いた流れ図である。
特許請求された主題がある実施形態に関して記述されるが、ここで記述される効果及び特徴の全てを提供しない実施形態を含む他の実施形態もまた、本開示の範囲内にある。様々な構造的、論理的、プロセスステップ、及び電子的な変更が、本開示の範囲から逸脱することなく、なされ得る。したがって、本開示の範囲は、添付の特許請求項を参照することによってのみ規定される。
ここで使用されているように、「ウエハ」という用語は、一般的に半導体又は非半導体材料で形成された基板を指す。そのような半導体又は非半導体材料の例は、単結晶シリコン、ガリウム砒素、及びリン化インジウムを含むが、これらに限られるものではない。そのような基板は、半導体製造設備で共通して見出され得て、且つ／又は、処理され得る。
ウエハは、基板上に形成された一つ又はそれ以上の層を含み得る。例えば、そのような層は、レジスト、誘電材料、導電材料を含み得るが、それらに限られるものではない。多くの異なるタイプのそのような層が当該技術で知られており、ここで使用されているウエハという用語は、全てのタイプのそのような層を含むウエハを包含することが意図されている。
ウエハ上に形成された一つ又はそれ以上の層は、パターニングされてもよく、あるいはパターニングされなくてもよい。例えば、ウエハは、各々が繰り返し可能なパターン化された形状を有する複数のダイを含み得る。そのような材料の層の形成及び処理が、最終的には、完成されたデバイスをもたらす結果となり得る。ＩＣのような多くの異なるタイプのデバイスがウエハ上に形成され得て、ここで使用されているウエハという用語は、当該技術で知られている任意のタイプのデバイスがその上に製造されているウエハを包含することが意図されている。ここで使用されているように、「チップ」という用語は、特定の目的のために設計されたＩＣの集合を備え得る。
ここでは実施形態がウエハに関して記述されるが、実施形態が、一般的にマスク又はフォトマスクとも称され得るレチクルのような他の試料のために使用され得ることが、理解されるべきである。レチクルの多くの異なるタイプが当該技術で知られており、ここで使用されているように「レチクル」「マスク」及び「フォトマスク」という用語は、当該技術で知られている全てのタイプのレチクルを包含することが意図されている。
ウエハ上の欠陥の検出は、一つ又はそれ以上の光学系モード及び一つ又はそれ以上の欠陥検出アルゴリズムを使用してウエハ上でホット走査を実行することを含む一つ又はそれ以上の光学系モードの使用を伴い得る。「ホット走査」は一般的に、比較的に攻撃的な検出設定（例えば雑音レベルに実質的に近い閾値）を適用することによってウエハ上の欠陥を検出するように実行されるウエハの走査／検査を指す。このようにして、ホット走査は、チューニングプロセス（光学系の選択及びアルゴリズムのチューニング）のために使用されるウエハについての検査データを収集するために実行され得る。ホット走査の目的は、選択されたモード（単数及び複数）においてウエハ上に存在する全ての欠陥及び些細なタイプの代表的なサンプルを検出することである。
ここで記述される実施形態は複数のホット走査、例えば、光学系の選択のための一つのホット走査及びパラメータチューニングのための他のホット走査を含み得る。パラメータ選択のために実行されるホット走査は、ウエハ検査のために選択された光学系モード（単数及び複数）を使用して実行され得る。光学系モード（単数及び複数）の選択は、全体的なスコア付けと共に光学系を選択することを含み得て、これは、欠陥の所与のセットに対して些細なものを抑制しながらＤＯＩを見つけるにあたって、あるモード又は光学系モードの組み合わせがどれだけ「良い」のかを特定する単一の数を、自動的に計算する。これは、多くのモードに渡って欠陥毎に信号対雑音比を手作業で比較するという仕事をなくして、光学系選択の時間を顕著に短縮する。
ここで記述される実施形態は、記憶媒体のアレイ及びウエハについての少なくとも一つの付加的なデータ源に記憶されたイメージデータを使用してウエハのイメージを生成するように構成されたプロセッサノードのセットを利用し得る。
本開示の実施形態は、欠陥検査のために畳み込み式のニューラルネットワークを使用する。（監督された学習のような）従来の機械学習アルゴリズムもまた、欠陥検査のために使用されることができる。加えて、ＣＮＮは実行中に欠陥分類のために使用され得る。本開示の実施形態は、欠陥検査のための入力データの増強のための新しい技法を導入し得て、特にランダムなダイ毎のプロセス変動を模擬する。
ＣＮＮは、フィードフォワード人工ニューラルネットワークの一つのタイプであり、そのニューロン（すなわちピクセルクラスタ）の間の接続性パターンが、動物の視覚皮質の組織によって誘発される。個別の皮質ニューロンが、受容野として知られる制限された空間領域内で刺激に反応する。異なるニューロンの受容野は、それらが視覚皮質を敷き詰めて覆うように、部分的にオーバーラップしている。その受容野内での刺激に対する個別のニューロンの反応は、畳み込み走査によって数学的に近似されることができる。
ＣＮＮは、受容野の複数の層を備え得る。これらは、入力イメージ（単数又は複数）の一部を処理する小さなニューロンの集合である。これらの集合の出力はそれから、オリジナルイメージのより良い表現を得るために、それらの入力領域がオーバーラップするように敷き詰められる。これは、全てのそのような層について繰り返され得る。敷き詰めることで、ＣＮＮが入力イメージの並進を許容することが可能になる。ＣＮＮは３次元的な量のニューロンを有し得る。ＣＮＮの層は、幅、高さ、及び深さの三次元に配列されたニューロンを有し得る。一つの層の中のニューロンは、それ以前は、受容野と呼ばれる層の小さな領域に接続されているにすぎない。ローカルに及び完全にの両方で接続された異なるタイプの層がスタックされて、ＣＮＮアークテクチュアを形成する。ＣＮＮは、隣接する層のニューロンの間のローカルな接続性パターンを強めることによって、空間的にローカルな相関を開発する。アーキテクチュアはこれより、学習されたフィルタが空間的にローカルな入力パターンに対して最も強い反応を生成することを確実にする。多くのそのような層をスタックすることは、ますますグローバルになる（すなわちピクセル空間のより大きな領域に反応する）非線形フィルタをもたらす。これは、ネットワークが最初に入力の小さな部分の良好な表現を生成し、それから、それらからより大きな範囲の表現を集めることを可能にする。ＣＮＮにおいては、各フィルタは、視覚皮質全体に渡って模写される。これらの模写されたユニットは、同じパラメータ化（重みベクトル及びバイアス）を共有し、特徴マップを形成する。これは、所与の畳み込み層における全てのニューロンが正確に同じ特徴を検出することを意味する。このようにユニットを模写することは、特徴が視覚皮質におけるそれらの位置に関わらずに検出されることを可能にし、これにより並進の不容性という性質を構成する。
それとともに、これらの性質は、畳み込み式ニューラルネットワークが視覚問題についてのより良い一般化を達成することを可能にする。重みの共有もまた、学習されている自由パラメータの数を劇的に減少することによって役に立ち、これによりネットワークを実行するためのメモリ要件を下げる。メモリ領域の低減は、より大きく、より強力なネットワークのトレーニングを可能にする。ＣＮＮはローカルな又はグローバルなプーリング層を含み得て、これは、ニューロンクラスタの出力を組み合わせる。プーリング層はまた、畳み込み式の及び完全に接続された層の様々な組み合わせからも構成され得て、点毎の非線形性が各層の終端で又はその後に適用される。入力の小さな領域における畳み込み操作が導入されて、自由パラメータの数を減らして一般化を改良する。畳み込み式ネットワークの一つの利点は、畳み込み層における共有された重みの使用であり、これは、同じフィルタ（重みバンク）がその層における各ピクセルに対して使用されることを意味する。これはまた、メモリ領域を減らして性能を改善する。
ＣＮＮアークテクチュアは、微分可能な関数を通じて入力量を出力量に変換する（例えばクラススコアを保持する）異なる層のスタックによって、形成され得る。いくつかの異なるタイプの層が使用され得る。畳み込み層は、学習可能なフィルタ（又はカーネル）のセットからなる様々なパラメータを有し、これは小さな受容野を有するが、入力量の深さ全体を通して延在する。フォワードパスの間に、各フィルタは入力量の幅及び高さに渡って畳み込まれて、フィルタのエントリと入力との間の点乗積を計算し、そのフィルタの２次元の活性化マップを生成する。その結果として、ネットワークは、入力におけるいくつかの空間的な位置で同じ特定のタイプの特徴を見るときに活性化するように、フィルタを学習させる。深さ方向における全てのフィルタについての活性化マップをスタックすることによって、畳み込み層の全出力量が形成される。これより、出力量における全てのエントリがまた、入力における小さな領域を見て且つ同じ活性化マップにおけるニューロンを有するパラメータを共有するニューロンの出力と解釈されることもできる。
イメージのような高次元の入力を取り扱うときには、ニューロンを以前の量における全てのニューロンと接続することは非実用的であり得る。なぜなら、そのようなネットワークアーキテクチュアは、データの空間的な構造を考慮に入れていないからである。ＣＮＮは、隣接する層のニューロンの間のローカルな接続性パターンを強化することによって、空間的にローカルな相関を開発し得る。例えば、各ニューロンは、入力量の小さな領域のみに接続される。この接続性の範囲は、ニューロンの受容野と呼ばれるハイパーパラメータである。接続は空間的に（幅及び高さに沿って）ローカルであり得るが、入力量の深さ全体に沿って常に延在する。そのようなアーキテクチュアは、学習されたフィルタが空間的にローカルな入力パターンに対して最も強い反応を生成することを確実にする。一つの実施形態では、ＣＮＮをトレーニングすることは、転写学習を使用して各ＣＮＮに対するハイパーパラメータを生成することを含む。転写学習は、非常に大きなデータセットにおいてＣＮＮをトレーニングすることを含み得て、それからそのトレーニングされたＣＮＮの重みを、対象のタスクに対する初期化又は固定された特徴抽出器として使用し得る。
３つのハイパーパラメータが、畳み込み層の出力量のサイズ、すなわち幅、ストライド、及びゼロパッディングを制御する。出力量の深さは、入力量の同じ領域に接続する層におけるニューロンの数を制御する。これらのニューロンの全てが、入力における異なる特徴に対して活性化されるように学習する。例えば、もし最初のＣＮＮ層が生イメージを入力として取ると、そのときには、深さ次元に沿った異なるニューロンが、様々な方向を向いたエッジ、又は色のしみの存在で活性化され得る。ストライドは、空間的な次元（幅及び高さ）の周囲に深さ列がどのように割り当てられるかを制御する。ストライドが１であると、ニューロンの新しい深さ列が、１空間ユニットだけ離れて空間的位置に割り当てられる。これは、列の間で重くオーバーラップしている受容野をもたらし、且つ大きな出力量ももたらす。逆に、より高いストライドが使用されると、そのときには受容野はあまりオーバーラップせず、結果として得られる出力量は、空間的により小さな次元を有する。ときには、入力量の境界に零を置いて入力を埋めることが便利である。このゼロパッディングのサイズが、第３のハイパーパラメータである。ゼロパッディングは、出力量の空間的サイズの制御を提供する。特に、ときには入力量の空間サイズを正確に保存することが望まれる。
いくつかの実施形態では、パラメータ共有スキームが、自由パラメータの数を制御するために、層で使用され得る。いくつかの空間的位置での計算のために一つのパッチ特徴が有用であるならば、そのときには、異なる位置で計算するためにも有用であり得る。言い換えると、深さの単純な２次元スライスを深さスライスとすることで、各深さスライスにおけるニューロンが、同じ重み及びバイアスを使用するように制約され得る。
単一の深さスライスにおける全てのニューロンが同じパラメータ化を共有し得るので、そのときには、その層の各深さスライスにおけるフォワードパスは、入力量をニューロンの重みで畳み込みしたものとして計算されることができる。したがって、重みのセットを、入力と畳み込みされるフィルタ（又はカーネル）と称することが普通である。この畳み込みの結果が活性化マップであり、各々の異なるフィルタに対する活性化マップのセットが深さ次元に沿って一緒にスタックされて、出力量を作り出す。
ときおり、例えばＣＮＮへの入力イメージがいくらかの特定の中心を有する構造を有しているときには、パラメータ共有が効果的ではないことがある。そのようなときには、完全に異なる特徴が、異なる空間的な位置について学習されることが期待される。
ＣＮＮの他の重要な概念はプーリングであり、これは、非線形ダウンサンプリングの一つの形態である。プーリングを具現化するいくつかの非線形関数が存在し、最大プーリングがその中の一つである。最大プーリングは、入力イメージを１セットのオーバーラップしていない四角形に区分し、各々のそのようなサブ領域に対して、出力を最大化する。特徴がひとたび見つかると、その正確な位置は、他の特徴に対するおおまかな位置ほど重要ではないことがある。プーリング層の機能は、表現の空間的サイズを漸進的に低減して、ネットワークにおけるパラメータの量及び計算を減らし、これによりまた、オーバーフィッティングを制御することである。プーリング層は、ＣＮＮアーキテクチュアの連続した畳み込み層の間に位置され得る。
ＣＮＮにおける他の層はＲｅＬＵ（修正された線形ユニット）層である。これは、非飽和活性化機能を適用するニューロンの層である。ＲｅＬＵ層は、畳み込み層の受容野に影響を与えること無く、決定機能及びネットワーク全体の非線形性を増す。
最後に、いくつかの畳み込み及び／又は最大プーリング層の後に、ニューラルネットワークにおける高レベルの理由付けが、完全に接続された層を介して完了される。完全に接続された層のニューロンは、以前の層における全ての活性化に対する完全な接続を有する。それらの活性化がこれより、行列乗算とそれに続くバイアスオフセットによって計算されることができる。
いくつかの実施形態では、オーバーフィッティングを防ぐためにドロップアウト技法が利用され得る。ここで称されるように、ドロップアウト技法は、トレーニングデータにおける複雑な共適応を防ぐことによって、ニューラルネットワークにおけるオーバーフィッティングを減らすための秩序化技法である。「ドロップアウト」という用語は、ニューラルネットワークにおいて（隠れた及び可視の両方の）ユニットを脱落させることを指す。例えば、各トレーニングステージにて、個別のノードは、低減されたＣＮＮが残るように、１−ｐの確率でＣＮＮから「脱落」させられるか又は確率ｐで保持されるかのどちらかであり得る。いくつかの実施形態では、脱落されたノードに対して入ってくる及び出て行くエッジもまた、除去され得る。低減されたＣＮＮのみがトレーニングされる。除去されたノードはそれから、それらのオリジナルの重みでネットワークに再挿入され得る。
トレーニングステージでは、隠されたノードが保持される（すなわち脱落されない）確率は、およそ０．５であり得る。入力ノードについては、保持確率はより高いことがある。全てのトレーニングデータにおける全てのノードをトレーニングすることを避けることによって、ドロップアウトはＣＮＮにおけるオーバーフィッティングを減らし、トレーニングのスピードを顕著に改善する。
多くの異なるタイプのＣＮＮが、本開示の実施形態にて使用され得る。ある走査モード又は状況に基づいて、異なるＣＮＮが使用され得る。ＣＮＮの構成は、ウエハ、イメージデータ獲得サブシステム、又は所定のパラメータに基づいて変わり得る。
一つの実施形態では、レチクル検査システムにより生成されたレチクルのイメージが、イメージデータ空間におけるイメージデータとして使用される。このようにして、レチクル検査システムにより生成されたレチクルのイメージが、イメージデータに対する置き換えとして使用され得る。本実施形態で使用されるレチクルのイメージは、当該技術で既知の任意のレチクル検査システムにより任意の適切な方法で生成された任意の適切なレチクルイメージを含み得る。例えば、レチクルのイメージは、高倍率の光学的レチクル検査システム又は電子ビーム式のレチクル検査システムによってそれぞれ獲得された高倍率の光学的又は電子ビームイメージであり得る。あるいは、レチクルのイメージは、空撮イメージングレチクル検査システムによって獲得された空撮イメージであり得る。
一つの実施形態では、検査システムはイメージデータを収集するために使用される。例えば、ここで記述される光学的及び電子ビーム出力獲得サブシステムが検査システムとして構成され得る。他の実施形態では、イメージデータ獲得サブシステムは欠陥レビューシステムである。例えば、ここで記述される光学的及び電子ビーム出力獲得サブシステムが欠陥レビューシステムとして構成され得る。さらなる実施形態では、イメージデータ獲得サブシステムは計測システムである。例えば、ここで記述される光学的及び電子ビーム出力獲得サブシステムが計測システムとして構成され得る。特に、ここで記述され且つ図３に示される出力獲得サブシステムの実施形態は、それらが使用される用途に依存して異なるイメージング能力を提供するように、一つ又はそれ以上のパラメータにおいて改変され得る。一つのそのような例では、図３に示されるイメージデータ獲得サブシステムは、検査のためよりもむしろ欠陥レビュー又は計測のために使用されるならば、より高い解像度を有するように構成され得る。言い換えると、図３に示されるイメージデータ獲得サブシステムの実施形態は、異なる用途のために多少なりとも適した異なるイメージング能力を有する出力獲得サブシステムを作り出すために、当業者に明らかな数多くの方法で仕立てられることができるイメージデータ獲得サブシステムに対するいくつかの一般的な及び様々な構成を記述している。
本開示のシステム及び方法は、ウエハ及びレチクルのような試料の検査、欠陥レビュー、及び計測のために構成された出力獲得サブシステム、欠陥レビュー出力獲得サブシステム、及び計測イメージデータ獲得サブシステムを利用し得る。例えば、ここに記述された実施形態は、マスク検査、ウエハ検査、及びウエハ計測の目的で走査型電子顕微鏡（ＳＥＭ）及び光学的イメージの両方を使用するように構成され得る。特に、ここに記述された実施形態は、広帯域プラズマ検査器、電子ビーム検査器又は欠陥レビューツール、マスク検査器、仮想検査器などのような、イメージデータ獲得サブシステムの一つの構成要素であるか又はそれに結合されたコンピュータノード又はコンピュータクラスタ上に搭載され得る。このようにして、ここに記述された実施形態は様々な用途のために使用されることができる出力を生成し得て、それらはウエハ検査、マスク検査、電子ビーム検査及びレビュー、計測などを含むが、それらに限られるものではない。図３に示される出力獲得サブシステムの特性は、そのために実際の出力が生成される試料に基づいて、上述されたように改変されることができる。
そのようなサブシステムは、少なくともエネルギー源及び検出器を含むイメージデータ獲得サブシステムを含む。エネルギー源は、ウエハに向けられるエネルギーを生成するように構成される。検出器は、ウエハからのエネルギーを検出して、その検出されたエネルギーに応答した出力を生成するように構成される。
一つの実施形態では、ウエハに向けられるエネルギーは光を含み、ウエハから検出されるエネルギーは光を含む。例えば、図３に示されるシステムの実施形態では、イメージデータ獲得サブシステム１０が、ウエハ１４に光を向けるように構成された照明サブシステムを含む。照明サブシステムは、少なくとも一つの光源を含む。例えば、図３に示されるように、照明サブシステムは光源１６を含む。一つの実施形態では、照明サブシステムは、光を一つ又はそれ以上の入射角度でウエハに向けるように構成され、これは、一つ又はそれ以上の斜めの角度及び／又は一つ又はそれ以上の垂直の角度を含み得る。例えば、図３に示されるように、光源１６からの光は光学素子１８を通り、それからレンズ２０を通ってビームスプリッタ２１に向けられ、これが光を垂直の入射角度でウエハ１４に向ける。入射角度は、例えばウエハの特性に依存して変わり得る任意の適切な入射角度を含み得る。
照明サブシステムは、異なるときに異なる入射角度で光をウエハに向けるように構成され得る。例えば、イメージデータ獲得サブシステムは、光が図３に示されているものとは異なる入射角度でウエハに向けられ得るように、照明サブシステムの一つ又はそれ以上の素子の一つ又はそれ以上の特性を変え得る。一つのそのような例では、イメージデータ獲得サブシステムは、光が異なる入射角度でウエハに向けられ得るように、光源１６、光学素子１８、及びレンズ２０を動かすように構成され得る。
いくつかの例では、イメージデータ獲得サブシステムは、同時に一つより多くの入射角度で光をウエハに向けるように構成され得る。例えば、照明サブシステムは、一つより多くの照明チャンネルを含み得て、その照明チャンネルの一つは、図３に示されるように光源１６、光学素子１８、及びレンズ２０を含み得て、照明チャンネルの他の一つ（図示されず）は、異なるように構成され得るか又は同じであり得る同様の素子を含み得るか、あるいは、少なくとも光源と可能性としてここでさらに記述されるような一つ又はそれ以上の他の構成要素とを含み得る。そのような光が他の光と同時にウエハに向けられると、異なる入射角度でウエハの照明から得られる光が検出器（単数又は複数）にてお互いに区別されることができるように、異なる入射角度でウエハに向けられる光の一つ又はそれ以上の特性（例えば、波長、偏光、など）が異なったものにされ得る。
他の例では、照明サブシステムは一つの光源（例えば図３に示される光源１６）のみを含み得て、その光源からの光は、照明システムの一つ又はそれ以上の光学素子（図示されず）によって（例えば、波長、偏光などに基づいて）異なる光路に分けられ得る。異なる光路の各々の光はそれから、ウエハに向けられ得る。複数の照明チャンネルが、同時に又は異なるときに、ウエハに光を向けるように構成され得る（例えば異なる照明チャンネルが連続してウエハを照射するために使用される）。他の例では、同じ照明チャンネルが、異なるときに異なる特性を有する光をウエハに向けるように構成され得る。例えば、いくつかの例では、光学素子１８はスペクトルフィルタとして構成され得て、そのスペクトルフィルタの特性が、異なる波長の光が異なるときにウエハに向けられることができるように、様々な異なる方法で（例えばスペクトルフィルタを交換することによって）変えられることができる。照明サブシステムは、異なる又は同じ特性を有する光をウエハに異なる又は同じ入射角度で連続して又は同時に向けるように、当該技術で既知の任意の他の適切な構成を有し得る。
一つの実施形態では、光源１６は広帯域プラズマ（ＢＢＰ）光源を含み得る。このようにして、光源によって生成されてウエハに向けられる光は、広帯域の光を含み得る。しかし、光源は、レーザのような任意の他の適切な光源を含み得る。レーザは、当該技術で既知の任意の適切なレーザを含み得て、当該技術で既知の任意の適切な波長（単数又は複数）で光を生成するように構成され得る。加えて、レーザは、単色又はほぼ単色である光を生成するように構成され得る。このようにして、レーザは狭帯域レーザであり得る。光源また、複数の離散的な波長又は波帯域で光を生成する多色光源も含み得る。
光学素子１８からの光は、レンズ２０によってビームスプリッタ２１にフォーカスされ得る。レンズ２０は、図３には単一の屈折性光学素子として示されているが、実用的には、レンズ２０が、組み合わされて光学素子からの光をウエハにフォーカスする多数の屈折性及び／又は反射性の光学素子を含み得ることを理解されたい。図３に示され且つここで記述される照明サブシステムは、任意の他の適切な光学素子（図示されず）を含み得る。そのような光学素子の例は、偏光要素（単数又は複数）、スペクトルフィルタ（単数又は複数）、空間フィルタ（単数又は複数）、反射性光学素子（単数又は複数）、アポダイザ（単数又は複数）、ビームスプリッタ（単数又は複数）、開口（単数又は複数）などを含むがこれらに限られるものではなく、これらは、当該技術で既知の任意のそのような適切な光学素子を含み得る。加えて、システムは、出力獲得のために使用される照明のタイプに基づいて、照明サブシステムの素子の一つ又はそれ以上を変えるように構成され得る。
イメージデータ獲得サブシステムはまた、光にウエハ上を走査させるように構成された走査サブシステムも含み得る。例えば、イメージデータ獲得サブシステムはステージ２２を含み得て、その上に、出力獲得中にウエハ１４が置かれる。走査サブシステムは任意の適切な機械的及び／又はロボットアセンブリ（これがステージ２２を含む）を含み得て、これは、光がウエハ上を走査されることができるようにウエハを動かすように構成されていることができる。加えて、又はその代わりに、イメージデータ獲得サブシステムは、イメージデータ獲得サブシステムの一つ又はそれ以上の光学素子がウエハ上での光の何らかの走査を実行するように構成され得る。光は、任意の適切な様式でウエハ上を走査され得る。
イメージデータ獲得サブシステムはさらに、一つ又はそれ以上の検出チャンネルを含む。その一つ又はそれ以上の検出チャンネルの少なくとも一つは、イメージデータ獲得サブシステムによるウエハの照明によるウエハからの光を検出し、その検出された光に反応した出力を生成するように構成された検出器を含む。例えば、図３に示されたイメージデータ獲得サブシステムは２つの検出チャンネルを含み、その一つは収集器２４、素子２６、及び検出器２８から形成され、他の一つは収集器３０、素子３２、及び検出器３４から形成されている。図３に示されているように、２つの検出器チャンネルは、異なる収集角度で光を集めて検出するように構成される。いくらかの例では、１つの検出チャンネルは正反射された光を検出するように構成され、もう１つの検出チャンネルは、ウエハから正反射されなかった（例えば、散乱された、回折された、など）光を検出するように構成される。しかし、検出チャンネルの２つ又はそれ以上が、ウエハからの同じタイプの光（例えば正反射された光）を検出するように構成され得る。図３は、２つの検出チャンネルを含むイメージデータ獲得サブシステムの実施形態を示しているが、イメージデータ獲得サブシステムは、他の数の検出チャンネル（例えば、１つの検出チャンネルのみ、あるいは２つ又はそれ以上の検出チャンネル）を含み得る。収集器の各々は、図３では単一の屈折性光学素子として示されているが、収集器の各々が一つ又はそれ以上の屈折性光学素子及び／又は一つ又はそれ以上の反射性光学素子を含み得ることが理解されるべきである。
一つ又はそれ以上の検出チャンネルは、当該技術で既知の任意の適切な検出器を含み得る。例えば、検出器は、光電子増倍管（ＰＭＴ）、電荷結合素子（ＣＣＤ）、及び時間遅延集積（ＴＤＩ）カメラを含み得る。検出器はまた、当該技術で既知の任意の適切な検出器を含み得る。検出器はまた、非イメージング検出器又はイメージング検出器も含み得る。このようにして、検出器が非イメージング検出器であると、検出器の各々は、強度のような散乱光のある特性を検出するように構成され得るが、そのような特性をイメージング平面内の位置の関数として検出するようには構成され得ない。そのため、イメージデータ獲得サブシステムの検出チャンネルの各々に含まれる検出器の各々によって生成される出力は、信号又はデータであり得るが、イメージ信号又はイメージデータではない。そのような場合には、システムのコンピュータサブシステム３６のようなコンピュータサブシステムが、検出器の非イメージング出力からウエハのイメージを生成するように構成され得る。しかし、他の場合には、検出器は、イメージ信号又はイメージデータを生成するように構成されたイメージング検出器として構成され得る。それゆえ、システムは、ここで記述されたイメージを数多くの方法で生成するように構成され得る。
図３がここでは、ここで記述されたシステムの実施形態に含まれ得るイメージデータ獲得サブシステムの構成を一般的に描くために提供されていることに留意されたい。明らかに、ここで記述されたイメージデータ獲得サブシステムの構成は、商業的に利用可能なシステムを設計するときに普通に実行されるように、システムの性能を最適化するために変えられ得る。加えて、ここで記述されたシステムは、ＫＬＡ−Ｔｅｎｃｏｒ社から商業的に入手可能なツールのような、存在している出力獲得システムを使用して（例えば、ここで記述された機能性を存在している出力獲得システムに追加することによって）、具現化され得る。いくつかのそのようなシステムに対して、ここで記述された方法は、出力獲得システムのオプションの機能性として（例えば、出力獲得システムの他の機能性に加えて）提供され得る。あるいは、ここで記述されたシステムは、全く新しいシステムを提供するために、「初めから」設計され得る。
システムのコンピュータサブシステム３６は、ウエハの走査の間に検出器によって生成された出力をコンピュータサブシステムが受領できるように、イメージデータ獲得サブシステムの検出器に任意の適切な方法で（例えば、「有線の」及び／又は「ワイヤレスの」伝送媒体を含み得る一つ又はそれ以上の伝送媒体を介して）結合され得る。コンピュータサブシステム３６は、ここで記述されたような検出器の出力を使用する数多くの機能、及びここでさらに記述される任意の他の機能を実行するように構成され得る。このコンピュータサブシステムは、ここで記述されるようにさらに構成され得る。
このコンピュータサブシステム（ならびにここで記述された他のコンピュータサブシステム）はまた、ここでは、コンピュータシステム（単数又は複数）とも称され得る。ここで記述されたコンピュータサブシステム又はシステムの各々は、パーソナルコンピュータシステム、イメージコンピュータ、メインフレームコンピュータシステム、ワークステーション、ネットワーク機器、インターネット機器、又はその他のデバイスを含む様々な形態を取り得る。一般に、「コンピュータシステム」という用語は、メモリ媒体からの指令を実行する一つ又はそれ以上のプロセッサを有する任意のデバイスを含むように、広く定義され得る。コンピュータサブシステム又はシステムはまた、並列プロセッサのような当該技術で既知の任意の適切なプロセッサも含み得る。加えて、コンピュータサブシステム又はシステムは、高速処理及びソフトウエアを有するコンピュータプラットフォームを、スタンドアローン又はネットワークに接続されたツールのいずれかとして含み得る。
システムが一つより多くのコンピュータサブシステムを含むならば、そのときには、異なるコンピュータサブシステムが、ここに記述されるようにイメージ、データ、情報、指令などがコンピュータサブシステムの間で送られることができるように、お互いに結合され得る。例えば、コンピュータサブシステム３６は、当該技術で既知の任意の適切な有線の及び／又はワイヤレスの伝送媒体を含み得る任意の適切な伝送媒体によって、コンピュータサブシステム（単数又は複数）１０２に結合され得る。そのようなコンピュータサブシステムの２つ又はそれ以上はまた、共有のコンピュータ読み取り可能な記憶媒体（図示されず）によって有効に結合され得る。
付加的な実施形態は、欠陥検出のためのコンピュータ実行形の方法を実行するためにコンピュータシステム上で実行可能なプログラム指令を記憶している非一時的なコンピュータ読み取り可能な記憶媒体に関する。一つのそのような実施形態が図４に示されている。具体的には、図４に示されているように、非一時的なコンピュータ読み取り可能な記憶媒体１８００は、コンピュータシステム１８０４で実行可能なプログラム指令１８０２を含む。コンピュータ実行形の方法は、ここで記述された任意の方法（単数又は複数）の任意のステップ（単数又は複数）を含み得る。
ここで記述されたような方法を具現化するプログラム指令１８０２は、コンピュータ読み取り可能媒体１８００に記憶され得る。コンピュータ読み取り可能媒体は、磁気又は光ディスク、磁気テープ、又は当該技術で既知の任意の他の非一時的なコンピュータ読み取り可能媒体であり得る。
プログラム指令は、他のものの中でも、手続ベースの技法、コンポーネントベースの技法、及び／又はオブジェクト指向技法を含む様々な方法で具現化され得る。例えば、プログラム指令は、アクティブＸコントロール、Ｃ＋＋オブジェクト、ジャバビーンズ、マイクロソフトファウンデーションクラス（「ＭＦＣ」）、ＳＳＥ（ストリーミングＳＩＭＤ拡張）、あるいは所望されるその他の技術又は方法論を使用して具現化され得る。
コンピュータシステム１８０４は、ここに記述される実施形態のいずれかにしたがって構成され得る。
本開示の一つの実施形態では、畳み込み式ニューラルネットワーク（ＣＮＮ）に増強された入力データを提供する方法１００として記述され得て、これは図５に見られる。増強された入力データは、複数のトレーニングイメージ又は複数のトレーニングセットを備え得る。増強された入力データは、ＣＮＮに適した様々なフォーマットで来てもよい。
この方法１００は、プロセッサにてウエハイメージを受け取るステップ１０７を包含する。ウエハイメージは、走査又はホット走査の間に取られたウエハのイメージの複合であり得る。ウエハイメージはまた、スキャナホット操作の間に取られたウエハの複数のイメージから組み合わされた単一のイメージであってもよい。ウエハイメージは、例えばローカルエリアネットワーク又はインターネットを介して、電子的に受け取られる（１０７）。ウエハイメージはまた、ローカルの又はリモートなデータベースから受け取られてもよい（１０７）。
この方法１００はさらに、プロセッサを使用して、ウエハイメージを複数の参照イメージに分割するステップ１０９を包含する。各々の参照イメージは、ウエハイメージにおける一つのダイに関連付けされ得る。図２は、ウエハイメージにおける各ダイに関連付けされた参照イメージの位置を描いている。ウエハイメージは、所定のセグメントに分割（１０９）されてもよく、あるいは、プロセッサが各参照イメージのサイズを選択してもよい。各参照イメージは単一のダイを備え得る。複数の参照イメージが、ローカルなメモリ、ローカルなデータベース、又はリモートなデータベースに記憶され得る。そのため、複数の参照イメージが、将来の使用のためにプロセッサによって検索され得る。ウエハ情報、イメージ位置、イメージ獲得パラメータなどのような付加的な情報は、複数の参照イメージの各々に関連付けられ得る。
この方法１００はさらに、プロセッサにて一つ又はそれ以上のテストイメージを受け取るステップ１１１を包含する。テストイメージは、最近ウエハから受け取られても（１１１）よく、あるいは、それらは電子的なデータ記憶装置に以前に保存されていたテストイメージであってもよい。テストイメージは、ユーザが欠陥を検出したいと考えているイメージであり得る。各テストイメージは、単一のウエハであり得る。ウエハ情報、イメージ位置、イメージ獲得パラメータなどのような付加的な情報は、テストイメージの各々に関連付けられ得る。
この方法１００はさらに、プロセッサを使用して、複数の相違イメージを生成するステップ１１３を包含する。相違イメージは、一つ又はそれ以上のテストイメージと複数の参照イメージの一つ又はそれ以上との相違を取ることによって生成される。一つの実施形態では、２つのイメージの間の相違は、各イメージにおける各ピクセルの間の相違を見出し、その結果に基づいてイメージを生成することによって計算される。２つのイメージは、対応する点が一致して、それらの光学量的な値が校正又は（色マッピングを使用するような）後処理のいずれかによって比較されることができるように、位置合わせされる必要があるかもしれない。一つの実施形態では、複数の相違イメージを生成するステップ１１３は、テストイメージと、メジアンダイ参照イメージ、ゴールデンダイ参照イメージ、レンダリングされた設計に基づく参照イメージ、又はテストイメージと同じダイ行からの参照イメージ、テストイメージと同じダイ列からの参照イメージ、又はウエハイメージにおける任意のダイとの相違を取るステップを包含し得る。
一つの実施形態では、一つ又はそれ以上のテストイメージは、複数の参照イメージのうち対応するダイ情報を有する一つ又はそれ以上と相違を取られ得る。他の実施形態では、一つ又はそれ以上のテストイメージは、複数の参照イメージのうち異なるダイ情報を有する一つ又はそれ以上と相違を取られ得る。いくつかの実施形態では、複数のテストイメージが単一の参照イメージと相違を取られ得るか、又はその逆である。
この方法１００はさらに、プロセッサを使用して、ＣＮＮのための増強された入力データを集めるステップ１３３を包含する。集めるステップ１３３は、複数の参照イメージ及び複数の相違イメージをＣＮＮによる入力のために適した電子フォーマットにパッケージングするステップを含み得る。集めるステップ１３３は、ローカルの又はリモートな電子ストレジから参照イメージ及び相違イメージを検索又は記憶するステップを含み得る。集めされた（１３３）増強された入力データは、ダイ位置、イメージ獲得パラメータのような各イメージに関連付けられた関連情報を含み得る。
この方法１００はさらに、プロセッサを使用して、増強された入力データをＣＮＮに提供するステップ１３５を包含する。一つの実施形態では、ＣＮＮは同じプロセッサ上に配置されて実行され得る。他の実施形態では、ＣＮＮはリモートなプロセッサ上に配置されて実行され得る。一つの実施形態では、増強された入力データは、ＲＡＭ、ＲＯＭ、又は電子的データベースのような中間の電子記憶媒体に提供（１３５）され得る。
この方法１００の一つの実施形態では、この方法はさらに、イメージデータ獲得サブシステムを使用してウエハ走査を実行するステップ１０１を包含する。イメージデータ獲得サブシステムの例示的な実施形態は、上述されている。この方法１００はさらに、ウエハ走査をウエハイメージに変換するステップ１０３を包含し得る。この変換１０３は、イメージデータ獲得サブシステムにて又は個別のプロセッサにて起こり得る。この変換１０３は、複数のイメージを一緒に縫い合わせて一つのウエハイメージを生成するステップを含み得る。変換１０３はまた、より適したウエハイメージのために、イメージパラメータを調整することを含み得る。変換１０３はまた、ウエハイメージが本開示の具現化によってデジタル的に操作され得るように、ウエハ走査をコンピュータ読み取り可能な電子的なウエハイメージに変換することも含む。この方法１００はさらに、ウエハ走査を一つ又はそれ以上のテストイメージに変換するステップ１０５を包含し得る。ウエハイメージ変換１０３に関して上述された潜在的な変換ステップに加えて、テストイメージの変換１０５はさらに、ウエハイメージを複数のテストイメージにセグメント化することを含み得る。このセグメント化は、自動的にダイサイズに基づき得るか、あるいは、ユーザによるか又はメモリに記憶された所定のセグメント化に基づき得る。
この方法１００の一つの実施形態では、この方法はさらに、複数の対象欠陥（ＤＯＩ）イメージを生成するステップ１１５を包含する。ＤＯＩイメージは、プロセッサを使用して生成（１１５）される。イメージ１１５は、ＤＯＩを有する一つ又はそれ以上のテストイメージと複数の参照イメージの一つ又はそれ以上との相違を取り且つ相違を取られたイメージを複数のテストイメージの一つ又はそれ以上と組み合わせることによって、生成され得る。そのために、新しいイメージは、異なるテストイメージから移送されたＤＯＩを有して生成（１１５）される。複数のＤＯＩイメージは、ＣＮＮのための増強された入力データに集められる（１３３）。
この方法１００の他の実施形態では、この方法はさらに、プロセッサを使用して複数の転置されたイメージを生成するステップ１１９を包含し得る。転置されたイメージは、複数の参照イメージ及び複数の相違イメージを、受け取った一つ又はそれ以上のテストイメージに関して転置することによって生成（１１９）される。例えば、転置は、受け取った一つ又はそれ以上のテストイメージに関して１サブピクセルのオフセットであり得る。他の例では、転置は、受け取った一つ又はそれ以上のテストイメージに関して複数のサブピクセルのオフセットであり得る。各参照イメージ及び相違イメージに対する転置は、複数のもの全体に対して同じであっても、あるいは変えられてもよい。複数の転置されたイメージは、ＣＮＮのための増強された入力データに集められる（１３３）。
この方法１００の一つの実施形態では、この方法はさらに、プロセッサを使用して複数の増幅されたイメージを生成するステップ１２１を包含し得る。増幅されたイメージは、複数の参照イメージ及び複数の相違イメージのピクセル値を定数又は行列と乗算することによって生成（１２１）される。例えば、行列は正及び負の値を含み得る。このようにして、参照イメージ又は相違イメージのある特徴が、増幅又は低減され得る。複数の増幅されたイメージは、ＣＮＮのための増強された入力データに集められる（１３３）。
この方法１００の他の実施形態では、この方法はさらに、プロセッサを使用してウエハイメージの電磁気的シミュレーションを生成するステップ１２５を包含し得る。いくつかの実施形態では、電磁気的シミュレーションは別個のシステム又は異なるプロセッサにて生成（１２５）され得る。電磁気的シミュレーションは、既知のモデルを使用して、又は後製造分析を通して、生成（１２５）され得る。電磁気的シミュレーションは、プロセッサを使用してレンダリング（１２７）され得る。いくつかの実施形態では、レンダリングは、電子的メモリあるいは内部又は外部の電子的データベースに記憶されることができる。電磁気的シミュレーションは、イメージデータ獲得サブシステムによって獲得された電磁気的干渉の視覚的効果を模擬するような方法で、レンダリング（１２７）され得る。
レンダリングされた電磁気的シミュレーションは、電磁気的イメージを生成するために受け取られたウエハイメージと組み合わせ（１３１）され得る。この組み合わせ１３１は、ウエハイメージと電磁気的イメージとの間のピクセル値の加算であり得る。電磁気的イメージは、複数の電磁気的参照イメージに分割（１２９）され得る。各々の電磁気的参照イメージは、電磁気的イメージにおける一つのダイに関連付けされ得る。いくつかの実施形態では、分割１２９は、組み合わせ１３１の前に起こり得る。このようにして、ウエハイメージと組み合わせ（１３１）される必要がある電磁気的イメージが全体よりも少なくなり得るので、計算パワーが低減され得る。複数の電磁気的参照イメージは、ＣＮＮのための増強された入力データに集められる（１３３）。
この方法１００の他の実施形態では、この方法はさらに、プロセッサを使用して複数の焦点ずれしたイメージを生成するステップ１１７を包含する。焦点ずれしたイメージは、複数の参照イメージ及び複数の相違イメージを焦点ずれさせることによって焦点ずれされ得る。複数の焦点ずれしたイメージは、ＣＮＮのための増強された入力データに集められる（１３３）。
この方法１００の他の実施形態では、この方法はさらに、プロセッサを使用して複数の照明されたイメージを生成するステップ１２３を包含する。照明されたイメージ１２３は、複数の参照イメージ及び複数の相違イメージの照明値を変えることによって生成され得る。照明値は、ピクセル振幅値からは別個であり得る。例えば、照明値における変化は、参照イメージ又は相違イメージの各ピクセルの振幅値における等しい変化をもたらさなくてよい。振幅変化は、照明点ではより大きく、且つその点から離れると、より小さくなり得る。複数の照明されたイメージは、ＣＮＮのための増強された入力データに集められる（１３３）。
本開示の他の実施形態は、ＣＮＮに増強された入力データを提供するシステムとして記述され得る。このシステムは、一つ又はそれ以上のソフトウエアモジュールを実行するように構成されたプロセッサを備え得る。一つ又はそれ以上のソフトウエアモジュールは、ウエハイメージを受け取るように構成され得る。ウエハイメージは、一つ又はそれ以上のダイを含み得る。
一つ又はそれ以上のソフトウエアモジュールは、ウエハイメージを複数の参照イメージに分割するように構成され得る。各々の参照イメージは、ウエハイメージにおける一つのダイに関連付けされ得る。一つ又はそれ以上のソフトウエアモジュールは、一つ又はそれ以上のテストイメージを受け取り、その一つ又はそれ以上のテストイメージと複数の参照イメージの一つ又はそれ以上との相違を取ることによって、複数の相違イメージを生成するように構成され得る。
一つ又はそれ以上のソフトウエアモジュールは、複数の参照イメージ及び複数の相違イメージをＣＮＮのための増強された入力データに集め、その増強された入力データをＣＮＮに提供するように構成され得る。
一つの実施形態では、ソフトウエアモジュールはさらに、複数の対象欠陥（ＤＯＩ）イメージを、ＤＯＩを有する一つ又はそれ以上のテストイメージと複数の参照イメージの一つ又はそれ以上との相違を取ることによって生成するように構成され得る。相違を取られたイメージはそれから、複数のテストイメージの一つ又はそれ以上と合成される。複数のＤＯＩイメージはそれから、ＣＮＮのための増強された入力データに集められる。
他の実施形態では、このシステムはさらに、プロセッサと電子的通信状態にあるイメージデータ獲得サブシステムを備える。そのような実施形態では、イメージデータ獲得サブシステムは、ウエハ走査を実行するように構成されている。一つ又はそれ以上のソフトウエアモジュールはさらに、ウエハ走査を一つ又はそれ以上のテストイメージに、及びウエハ走査をウエハイメージに、変換するように構成されている。
一つの実施形態では、一つ又はそれ以上のソフトウエアモジュールがさらに、複数の参照イメージ及び複数の相違イメージを受け取った一つ又はそれ以上のテストイメージに関して転置することによって、複数の転置されたイメージを生成するように構成されている。複数の転置されたイメージは、ＣＮＮのための増強された入力データに集められる。複数の転置されたイメージは、受け取った一つ又はそれ以上のテストイメージに関して１サブピクセルのオフセットだけ転置され得る。
他の実施形態では、一つ又はそれ以上のソフトウエアモジュールがさらに、複数の参照イメージ及び複数の相違イメージのピクセル値を定数又は行列と乗算することによって、複数の増幅されたイメージを生成するように構成されている。複数の増幅されたイメージは、ＣＮＮのための増強された入力データに集められる。
一つの実施形態では、一つ又はそれ以上のソフトウエアモジュールがさらに、ウエハイメージの電磁気的シミュレーションを生成し、電磁気的シミュレーションをレンダリングし、レンダリングされた電磁気的シミュレーションを受け取られたウエハイメージと組み合わせて電磁気的イメージを生成し、電磁気的イメージを複数の電磁気的参照イメージに分割し、複数の電磁気的参照イメージをＣＮＮのための増強された入力データに集めるように構成されている。各々の電磁気的参照イメージは、電磁気的イメージにおける一つのダイに関連付けされ得る。
他の実施形態では、一つ又はそれ以上のソフトウエアモジュールがさらに、複数の参照イメージ及び複数の相違イメージを焦点ずれさせることによって、複数の焦点ずれしたイメージを生成するように構成されている。複数の焦点ずれしたイメージは、ＣＮＮのための増強された入力データに集められる。
一つの実施形態では、一つ又はそれ以上のソフトウエアモジュールがさらに、複数の参照イメージ及び複数の相違イメージの照明値を変えることによって、複数の照明されたイメージを生成するように構成されている。複数の照明されたイメージは、ＣＮＮのための増強された入力データに集められる。
他の実施形態では、一つ又はそれ以上のソフトウエアモジュールが、テストイメージと、メジアンダイ参照イメージ、ゴールデンダイ参照イメージ、レンダリングされた設計に基づく参照イメージ、又はテストイメージと同じダイ行からの参照イメージ、テストイメージと同じダイ列からの参照イメージ、又はウエハイメージにおける任意のダイとの相違を取ることによって、複数の相違イメージを生成するように構成されている。
このシステムはさらに、プロセッサ及びイメージ獲得サブシステムと電子的通信状態にあるデータベースをさらに備え得る。このデータベースは、ウエハイメージ、複数の参照イメージ、一つ又はそれ以上のテストイメージ、及び複数の相違イメージを記憶するように構成され得る。他の実施形態では、データベースはＣＮＮも記憶するように構成されている。
本開示が一つ又はそれ以上の特定の実施形態に関して記述されてきたが、本開示の他の実施形態が、本開示の思想及び範囲から逸脱すること無く、なされ得ることを理解されたい。これより、本開示は、添付の特許請求項及びその合理的な解釈によってのみ制限されると考えられる。

Claims (18)

  1. 畳み込み式ニューラルネットワーク（ＣＮＮ）に増強された入力データを提供する方法であって、
    プロセッサにて、ウエハイメージを受け取るステップと、
    前記プロセッサを使用して、前記ウエハイメージを、各々が前記ウエハイメージにおける一つのダイに関連付けされた複数の参照イメージに分割するステップと、
    前記プロセッサにて、一つ又はそれ以上のテストイメージを受け取るステップと、
    前記プロセッサを使用して、前記一つ又はそれ以上のテストイメージと前記複数の参照イメージの一つ又はそれ以上との相違を取ることによって、複数の相違イメージを生成するステップと、
    前記プロセッサを使用して、前記複数の参照イメージ及び前記複数の相違イメージを前記ＣＮＮのための前記増強された入力データに集めるステップと、
    前記プロセッサを使用して、前記増強された入力データを前記ＣＮＮに提供するステップと、
    前記プロセッサを使用して、前記複数の参照イメージ及び前記複数の相違イメージを前記受け取った一つ又はそれ以上のテストイメージに関して転置することによって、複数の転置されたイメージを生成するステップと、
    前記プロセッサを使用して、前記複数の転置されたイメージを前記ＣＮＮのための前記増強された入力データに集めるステップと、
    を有し、
    前記複数の転置されたイメージが前記受け取った一つ又はそれ以上のテストイメージに関して１サブピクセルのオフセットだけ転置されている、方法。
  2. イメージデータ獲得サブシステムを使用して、ウエハ走査を実行するステップと、
    イメージデータ獲得サブシステムを使用して、前記ウエハ走査を前記ウエハイメージに変換するステップと、
    前記イメージデータ獲得サブシステムを使用して、前記ウエハ走査を前記一つ又はそれ以上のテストイメージに変換するステップと、
    をさらに有する請求項１に記載の方法。
  3. 前記プロセッサを使用して、複数の対象欠陥（ＤＯＩ）イメージを、ＤＯＩを有する一つ又はそれ以上のテストイメージと前記複数の参照イメージの一つ又はそれ以上との相違を取り且つ前記相違を取られたイメージを前記複数のテストイメージの一つ又はそれ以上と合成することによって、生成するステップと、
    前記プロセッサを使用して、前記複数のＤＯＩイメージを、前記ＣＮＮのための前記増強された入力データに集めるステップと、
    をさらに有する請求項１に記載の方法。
  4. 前記プロセッサを使用して、前記複数の参照イメージ及び前記複数の相違イメージのピクセル値を定数又は行列と乗算することによって、複数の増幅されたイメージを生成するステップと、
    前記プロセッサを使用して、前記複数の増幅されたイメージを前記ＣＮＮのための前記増強された入力データに集めるステップと、
    をさらに有する請求項１に記載の方法。
  5. 前記プロセッサを使用して、前記ウエハイメージの電磁気的シミュレーションを生成するステップと、
    前記プロセッサを使用して、前記電磁気的シミュレーションをレンダリングするステップと、
    前記プロセッサを使用して、前記レンダリングされた電磁気的シミュレーションを前記受け取られたウエハイメージと組み合わせて電磁気的イメージを生成するステップと、
    前記プロセッサを使用して、前記電磁気的イメージを、各々が前記電磁気的イメージにおける一つのダイに関連付けされた複数の電磁気的参照イメージに分割するステップと、
    前記プロセッサを使用して、前記複数の電磁気的参照イメージを前記ＣＮＮのための前記増強された入力データに集めるステップと、
    をさらに有する請求項１に記載の方法。
  6. 前記プロセッサを使用して、前記複数の参照イメージ及び前記複数の相違イメージを焦点ずれさせることによって、複数の焦点ずれしたイメージを生成するステップと、
    前記プロセッサを使用して、前記複数の焦点ずれしたイメージを前記ＣＮＮのための前記増強された入力データに集めるステップと、
    をさらに有する請求項１に記載の方法。
  7. 前記プロセッサを使用して、前記複数の参照イメージ及び前記複数の相違イメージの照明値を変えることによって、複数の照明されたイメージを生成するステップと、
    前記プロセッサを使用して、前記複数の照明されたイメージを前記ＣＮＮのための前記増強された入力データに集めるステップと、
    をさらに有する請求項１に記載の方法。
  8. 前記複数の相違イメージを生成するステップが、前記プロセッサを使用して、テストイメージと、メジアンダイ参照イメージ、ゴールデンダイ参照イメージ、レンダリングされた設計に基づく参照イメージ、又は前記テストイメージと同じダイ行からの参照イメージ、前記テストイメージと同じダイ列からの参照イメージ、又は前記ウエハイメージにおける任意のダイとの相違を取るステップを有する請求項１に記載の方法。
  9. 畳み込み式ニューラルネットワーク（ＣＮＮ）に増強された入力データを提供するシステムであって、
    一つ又はそれ以上のソフトウエアモジュールを実行するように構成されたプロセッサを備えており、前記一つ又はそれ以上のソフトウエアモジュールが、
    一つ又はそれ以上のダイを含むウエハイメージを受け取り、
    前記ウエハイメージを、各々が前記ウエハイメージにおける一つのダイに関連付けされた複数の参照イメージに分割し、
    一つ又はそれ以上のテストイメージを受け取り、
    前記一つ又はそれ以上のテストイメージと前記複数の参照イメージの一つ又はそれ以上との相違を取ることによって、複数の相違イメージを生成し、
    前記複数の参照イメージ及び前記複数の相違イメージを前記ＣＮＮのための前記増強された入力データに集め、
    前記増強された入力データを前記ＣＮＮに提供し、
    前記複数の参照イメージ及び前記複数の相違イメージを前記受け取った一つ又はそれ以上のテストイメージに関して転置することによって、複数の転置されたイメージを生成し、
    前記複数の転置されたイメージを前記ＣＮＮのための前記増強された入力データに集める、
    ように構成され、
    前記複数の転置されたイメージが前記受け取った一つ又はそれ以上のテストイメージに関して１サブピクセルのオフセットだけ転置されているシステム。
  10. 前記一つ又はそれ以上のソフトウエアモジュールがさらに、
    複数の対象欠陥（ＤＯＩ）イメージを、ＤＯＩを有する一つ又はそれ以上のテストイメージと前記複数の参照イメージの一つ又はそれ以上との相違を取り且つ前記相違を取られたイメージを前記複数のテストイメージの一つ又はそれ以上と合成することによって、生成し、
    前記複数のＤＯＩイメージを、前記ＣＮＮのための前記増強された入力データに集める、
    ように構成されている請求項９に記載のシステム。
  11. 前記プロセッサ及びイメージ獲得サブシステムと電子的通信状態にあるデータベースをさらに備え、前記データベースが、前記ウエハイメージ、前記複数の参照イメージ、前記一つ又はそれ以上のテストイメージ、及び前記複数の相違イメージを記憶するように構成されている、請求項１０に記載のシステム。
  12. 前記データベースが前記ＣＮＮも記憶するように構成されている、請求項１１に記載のシステム。
  13. 前記プロセッサと電子的通信状態にあるイメージデータ獲得サブシステムをさらに備え、
    前記イメージデータ獲得サブシステムがウエハ走査を実行するように構成され、
    前記一つ又はそれ以上のソフトウエアモジュールがさらに、前記ウエハ走査を前記一つ又はそれ以上のテストイメージに変換するように構成され、
    前記一つ又はそれ以上のソフトウエアモジュールがさらに、前記ウエハ走査を前記ウエハイメージに変換するように構成されている、請求項９に記載のシステム。
  14. 前記一つ又はそれ以上のソフトウエアモジュールがさらに、
    前記複数の参照イメージ及び前記複数の相違イメージのピクセル値を定数又は行列と乗算することによって、複数の増幅されたイメージを生成し、
    前記複数の増幅されたイメージを前記ＣＮＮのための前記増強された入力データに集める、
    ように構成されている請求項９に記載のシステム。
  15. 前記一つ又はそれ以上のソフトウエアモジュールがさらに、
    前記ウエハイメージの電磁気的シミュレーションを生成し、
    前記電磁気的シミュレーションをレンダリングし、
    前記レンダリングされた電磁気的シミュレーションを前記受け取られたウエハイメージと組み合わせて電磁気的イメージを生成し、
    前記電磁気的イメージを、各々が前記電磁気的イメージにおける一つのダイに関連付けされた複数の電磁気的参照イメージに分割し、
    前記複数の電磁気的参照イメージを前記ＣＮＮのための前記増強された入力データに集める、
    ように構成されている請求項９に記載のシステム。
  16. 前記一つ又はそれ以上のソフトウエアモジュールがさらに、
    前記複数の参照イメージ及び前記複数の相違イメージを焦点ずれさせることによって、複数の焦点ずれしたイメージを生成し、
    前記複数の焦点ずれしたイメージを前記ＣＮＮのための前記増強された入力データに集める、
    ように構成されている請求項９に記載のシステム。
  17. 前記一つ又はそれ以上のソフトウエアモジュールがさらに、
    前記複数の参照イメージ及び前記複数の相違イメージの照明値を変えることによって、複数の照明されたイメージを生成し、
    前記複数の照明されたイメージを前記ＣＮＮのための前記増強された入力データに集める、
    ように構成されている請求項９に記載のシステム。
  18. 前記一つ又はそれ以上のソフトウエアモジュールがさらに、テストイメージと、メジアンダイ参照イメージ、ゴールデンダイ参照イメージ、レンダリングされた設計に基づく参照イメージ、又は前記テストイメージと同じダイ行からの参照イメージ、前記テストイメージと同じダイ列からの参照イメージ、又は前記ウエハイメージにおける任意のダイとの相違を取ることによって、複数の相違イメージを生成するように構成されている請求項９に記載のシステム。
JP2019530496A 2016-12-07 2017-12-06 畳み込み式ニューラルネットワークに基づく欠陥検査のためのデータ増強 Active JP6845327B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662430925P 2016-12-07 2016-12-07
US62/430,925 2016-12-07
US15/720,272 US10402688B2 (en) 2016-12-07 2017-09-29 Data augmentation for convolutional neural network-based defect inspection
US15/720,272 2017-09-29
PCT/US2017/064947 WO2018106827A1 (en) 2016-12-07 2017-12-06 Data augmentation for convolutional neural network-based defect inspection

Publications (3)

Publication Number Publication Date
JP2020501154A JP2020501154A (ja) 2020-01-16
JP2020501154A5 JP2020501154A5 (ja) 2021-01-21
JP6845327B2 true JP6845327B2 (ja) 2021-03-17

Family

ID=62243192

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019530496A Active JP6845327B2 (ja) 2016-12-07 2017-12-06 畳み込み式ニューラルネットワークに基づく欠陥検査のためのデータ増強

Country Status (7)

Country Link
US (1) US10402688B2 (ja)
JP (1) JP6845327B2 (ja)
KR (1) KR102312242B1 (ja)
CN (1) CN110168710B (ja)
IL (1) IL267040B (ja)
TW (1) TWI731198B (ja)
WO (1) WO2018106827A1 (ja)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017191501A (ja) * 2016-04-14 2017-10-19 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
EP3489892B1 (en) * 2017-11-24 2022-01-05 Ficosa Adas, S.L.U. Determining clean or dirty captured images
KR20190084167A (ko) * 2017-12-21 2019-07-16 주식회사 고영테크놀러지 인쇄 회로 기판 검사 장치, 스크린 프린터의 결함 유형 결정 방법 및 컴퓨터 판독 가능한 기록 매체
WO2019159324A1 (ja) * 2018-02-16 2019-08-22 パナソニックＩｐマネジメント株式会社 処理方法およびそれを利用した処理装置
US11151711B2 (en) * 2018-06-06 2021-10-19 Kla-Tencor Corporation Cross layer common-unique analysis for nuisance filtering
CN109001211A (zh) * 2018-06-08 2018-12-14 苏州赛克安信息技术有限公司 基于卷积神经网络的长输管道焊缝检测系统及方法
KR20200028168A (ko) 2018-09-06 2020-03-16 삼성전자주식회사 컨볼루셔널 뉴럴 네트워크를 이용하는 컴퓨팅 장치 및 그 동작 방법
US11094053B2 (en) * 2018-10-08 2021-08-17 Kla Corporation Deep learning based adaptive regions of interest for critical dimension measurements of semiconductor substrates
JP7221644B2 (ja) * 2018-10-18 2023-02-14 株式会社日立製作所 機器故障診断支援システムおよび機器故障診断支援方法
US11537687B2 (en) * 2018-11-19 2022-12-27 Groq, Inc. Spatial locality transform of matrices
CN109585325B (zh) * 2018-12-05 2021-02-02 上海华力集成电路制造有限公司 检测晶边洗边边界的方法
US11550309B2 (en) * 2019-01-08 2023-01-10 Kla Corporation Unsupervised defect segmentation
CN109919907A (zh) * 2019-01-23 2019-06-21 华灿光电（浙江）有限公司 发光二极管外延片缺陷检测的方法和装置
US10474543B1 (en) * 2019-01-28 2019-11-12 Stradivision, INC. Method and device for economizing computing resources to be used during a process of verification of convolutional parameters using test pattern to enhance fault tolerance and fluctuation robustness in extreme situations
TWI722383B (zh) * 2019-02-01 2021-03-21 國立中正大學 應用於深度學習之預特徵萃取方法
WO2020201880A1 (ja) * 2019-04-02 2020-10-08 株式会社半導体エネルギー研究所 検査装置及び検査方法
CN110197259A (zh) * 2019-05-30 2019-09-03 浙江大学 基于小批量数据集与深度学习算法的晶圆缺陷检测方法
US11487998B2 (en) * 2019-06-17 2022-11-01 Qualcomm Incorporated Depth-first convolution in deep neural networks
TWI738009B (zh) * 2019-06-20 2021-09-01 和碩聯合科技股份有限公司 物件偵測系統及物件偵測方法
GB2597422B (en) * 2019-08-23 2023-06-14 Landmark Graphics Corp Anomaly detection using hybrid autoencoder and gaussian process regression
JP7165633B2 (ja) * 2019-08-27 2022-11-04 株式会社日立ハイテク 荷電粒子ビーム制御装置
US11113827B2 (en) * 2019-09-23 2021-09-07 Kla Corporation Pattern-to-design alignment for one-dimensional unique structures
JP7344754B2 (ja) * 2019-10-23 2023-09-14 株式会社日本製鋼所 学習モデル生成方法、コンピュータプログラム、設定値決定装置、成形機及び成形装置システム
US11068752B2 (en) 2019-10-31 2021-07-20 General Electric Company Inspection systems and methods including image classification module
JP2021077756A (ja) 2019-11-07 2021-05-20 キオクシア株式会社 半導体プロセス解析装置および半導体プロセス解析プログラム
KR20210065285A (ko) * 2019-11-26 2021-06-04 삼성전자주식회사 생성적 적대망들에 기반하여 웨이퍼 맵을 생성하는 프로그램 코드를 저장하는 비일시적 컴퓨터 판독가능 매체 및 컴퓨팅 장치
CN111177970B (zh) * 2019-12-10 2021-11-19 浙江大学 基于高斯过程和卷积神经网络的多阶段半导体过程虚拟计量方法
CN113557425B (zh) 2019-12-20 2024-08-30 京东方科技集团股份有限公司 产品制造消息处理方法、设备和计算机存储介质
US12014529B2 (en) 2020-01-21 2024-06-18 Samsung Electronics Co., Ltd. Image processing method and apparatus using neural network
US11961219B2 (en) 2020-02-27 2024-04-16 KLA Corp. Generative adversarial networks (GANs) for simulating specimen images
US11893088B2 (en) 2020-05-14 2024-02-06 Cignal Llc Method and apparatus for creating high-fidelity, synthetic imagery for artificial intelligence model training and inference in security and screening applications
US20230175981A1 (en) * 2020-06-12 2023-06-08 Hitachi High-Tech Corporation Method for Defect Inspection, System, and Computer-Readable Medium
CN114104328B (zh) * 2020-08-31 2023-10-17 中国航天科工飞航技术研究院（中国航天海鹰机电技术研究院） 基于深度迁移学习的飞行器状态监测方法
CN112202736B (zh) * 2020-09-15 2021-07-06 浙江大学 基于统计学习和深度学习的通信网络异常分类方法
US20220114438A1 (en) * 2020-10-09 2022-04-14 Kla Corporation Dynamic Control Of Machine Learning Based Measurement Recipe Optimization
US11822345B2 (en) * 2020-10-23 2023-11-21 Xerox Corporation Controlling an unmanned aerial vehicle by re-training a sub-optimal controller
WO2022088082A1 (zh) * 2020-10-30 2022-05-05 京东方科技集团股份有限公司 基于缺陷检测的任务处理方法、装置及设备及存储介质
US11639906B2 (en) * 2020-11-21 2023-05-02 Samsung Electronics Co., Ltd. Method and system for virtually executing an operation of an energy dispersive X-ray spectrometry (EDS) system in real-time production line
JP7101236B2 (ja) * 2020-12-17 2022-07-14 株式会社クボタ 検査装置及び検査方法
JP7101235B2 (ja) * 2020-12-17 2022-07-14 株式会社クボタ 検査装置及び検査方法
WO2022169420A1 (en) * 2021-02-05 2022-08-11 Singapore University Of Technology And Design Anomaly detection system and method for an industrial control system
EP4047431A1 (de) * 2021-02-19 2022-08-24 FactoryPal GmbH Verfahren und vorrichtung zum automatisierten bestimmen einer optimierten prozesskonfiguration eines prozesses zur herstellung oder bearbeitung von produkten
WO2022255518A1 (ko) * 2021-06-03 2022-12-08 주식회사 솔루션에이 딥러닝 신경망 모델을 이용한 검사대상 패널의 결함 판정장치
WO2023285538A1 (en) * 2021-07-14 2023-01-19 Basf Se System for assessing the quality of a physical object
KR102404166B1 (ko) 2021-07-20 2022-06-02 국민대학교산학협력단 스타일 전이를 활용한 엑스레이 영상의 유체 탐지 방법 및 장치
KR20230033445A (ko) 2021-09-01 2023-03-08 에스케이하이닉스 주식회사 반도체 웨이퍼의 불량 분석 방법 및 그 시스템
KR102354681B1 (ko) * 2021-11-08 2022-01-24 주식회사 테스트웍스 신경망 모델 기반의 이미지 증강 방법, 서버 및 컴퓨터 프로그램
US12111355B2 (en) * 2021-11-22 2024-10-08 Onto Innovation Inc. Semiconductor substrate yield prediction based on spectra data from multiple substrate dies
US20230315032A1 (en) * 2022-03-31 2023-10-05 Johnson Controls Tyco IP Holdings LLP Building equipment control system with automated horizon selection
CN115060251B (zh) * 2022-04-28 2024-08-16 清华大学 地理电磁图像数据集的构建方法、装置和计算机设备
US20240169514A1 (en) * 2022-11-21 2024-05-23 Onto Innovation Inc. Defect detection in manufactured articles using multi-channel images
CN117115178B (zh) * 2023-08-23 2024-05-14 国网四川省电力公司电力科学研究院 一种基于半参数共享的电力红外巡检图像分割、检测方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000232138A (ja) 1999-02-09 2000-08-22 Hitachi Ltd 半導体装置とそのマーク形成装置，その欠陥検査装置
JP4009409B2 (ja) * 1999-10-29 2007-11-14 株式会社日立製作所 パターン欠陥検査方法及びその装置
JP4542164B2 (ja) * 2008-03-18 2010-09-08 アドバンスド・マスク・インスペクション・テクノロジー株式会社 パターン検査装置、パターン検査方法及びプログラム
JP5156452B2 (ja) * 2008-03-27 2013-03-06 東京エレクトロン株式会社 欠陥分類方法、プログラム、コンピュータ記憶媒体及び欠陥分類装置
US8605275B2 (en) * 2009-01-26 2013-12-10 Kla-Tencor Corp. Detecting defects on a wafer
JP2012145664A (ja) * 2011-01-11 2012-08-02 Sony Corp 画像処理装置、撮像装置、画像処理方法およびプログラム。
JP5460662B2 (ja) * 2011-09-07 2014-04-02 株式会社日立ハイテクノロジーズ 領域決定装置、観察装置または検査装置、領域決定方法および領域決定方法を用いた観察方法または検査方法
US9171364B2 (en) * 2013-06-21 2015-10-27 Kla-Tencor Corp. Wafer inspection using free-form care areas
US9086639B2 (en) * 2013-09-12 2015-07-21 International Business Machines Corporation Fabrication of on-product aberration monitors with nanomachining
US10127652B2 (en) * 2014-02-06 2018-11-13 Kla-Tencor Corp. Defect detection and classification based on attributes determined from a standard reference image
US9535010B2 (en) * 2014-05-15 2017-01-03 Kla-Tencor Corp. Defect sampling for electron beam review based on defect attributes from optical inspection and optical review
KR101991418B1 (ko) 2014-06-10 2019-06-20 에이에스엠엘 네델란즈 비.브이. 컴퓨터를 이용한 웨이퍼 검사
WO2016051850A1 (ja) * 2014-09-30 2016-04-07 富士フイルム株式会社 赤外線撮像装置、固定パターンノイズ算出方法、及び固定パターンノイズ算出プログラム
US9395309B2 (en) 2014-10-15 2016-07-19 Exnodes Inc. Multiple angle computational wafer inspection
US20160110859A1 (en) 2014-10-17 2016-04-21 Macronix International Co., Ltd. Inspection method for contact by die to database
US10650508B2 (en) * 2014-12-03 2020-05-12 Kla-Tencor Corporation Automatic defect classification without sampling and feature selection
US9875536B2 (en) * 2015-03-31 2018-01-23 Kla-Tencor Corp. Sub-pixel and sub-resolution localization of defects on patterned wafers
CN105118044B (zh) * 2015-06-16 2017-11-07 华南理工大学 一种轮形铸造产品缺陷自动检测方法
CN105184309B (zh) * 2015-08-12 2018-11-16 西安电子科技大学 基于cnn和svm的极化sar图像分类
US9830526B1 (en) * 2016-05-26 2017-11-28 Adobe Systems Incorporated Generating image features based on robust feature-learning
US10223615B2 (en) * 2016-08-23 2019-03-05 Dongfang Jingyuan Electron Limited Learning based defect classification

Also Published As

Publication number Publication date
US20180157933A1 (en) 2018-06-07
US10402688B2 (en) 2019-09-03
IL267040B (en) 2021-03-25
TW201833819A (zh) 2018-09-16
KR102312242B1 (ko) 2021-10-12
JP2020501154A (ja) 2020-01-16
CN110168710A (zh) 2019-08-23
KR20190085159A (ko) 2019-07-17
CN110168710B (zh) 2020-11-06
IL267040A (en) 2019-07-31
TWI731198B (zh) 2021-06-21
WO2018106827A1 (en) 2018-06-14

Similar Documents

Publication Publication Date Title
JP6845327B2 (ja) 畳み込み式ニューラルネットワークに基づく欠陥検査のためのデータ増強
JP6901565B2 (ja) 画像融合のための畳込みニューラルネットワークベースのモード選択および欠陥分類
CN111819676B (zh) 训练用于低分辨率图像中的缺陷检测的神经网络
TWI706485B (zh) 光學晶粒對資料庫檢查
JP6758418B2 (ja) 半導体用途のための、入力画像からのシミュレーション画像の生成
US9805462B2 (en) Machine learning method and apparatus for inspecting reticles
JP7170037B2 (ja) 大オフセットダイ・ダイ検査用複数段階画像整列方法
KR20190004000A (ko) 반도체 애플리케이션을 위한 신경망 및 순방향 물리적 모델을 포함하는 방법 및 시스템
TW201702587A (zh) 光學晶粒至資料庫檢測
CN115516295A (zh) 使用深度学习方法的缺陷尺寸测量
TWI754764B (zh) 由低解析度影像產生高解析度影像以用於半導體應用
TW202205125A (zh) 使用生成對抗網路之半導體製造製程參數判定
TW202300900A (zh) 以經呈現設計影像之設計照護區域之分段

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201204

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201204

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20201204

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20201218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210225

R150 Certificate of patent or registration of utility model

Ref document number: 6845327

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250