JP7049331B2 - 半導体用途向けに構成された深層学習モデルのための診断システムおよび方法 - Google Patents

半導体用途向けに構成された深層学習モデルのための診断システムおよび方法 Download PDF

Info

Publication number
JP7049331B2
JP7049331B2 JP2019520020A JP2019520020A JP7049331B2 JP 7049331 B2 JP7049331 B2 JP 7049331B2 JP 2019520020 A JP2019520020 A JP 2019520020A JP 2019520020 A JP2019520020 A JP 2019520020A JP 7049331 B2 JP7049331 B2 JP 7049331B2
Authority
JP
Japan
Prior art keywords
image
causal
deep learning
learning model
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019520020A
Other languages
English (en)
Other versions
JP2019537839A (ja
Inventor
ジン ツォン
マーク ロウロ
クリス ブスカー
ラビィ シー ドナパティ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KLA Corp
Original Assignee
KLA Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KLA Corp filed Critical KLA Corp
Publication of JP2019537839A publication Critical patent/JP2019537839A/ja
Application granted granted Critical
Publication of JP7049331B2 publication Critical patent/JP7049331B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/30—Structural arrangements specially adapted for testing or measuring during manufacture or treatment, or specially adapted for reliability measurements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/10—Measuring as part of the manufacturing process
    • H01L22/12—Measuring as part of the manufacturing process for structural parameters, e.g. thickness, line width, refractive index, temperature, warp, bond strength, defects, optical inspection, electrical measurement of structural dimensions, metallurgic measurement of diffusions
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/10—Measuring as part of the manufacturing process
    • H01L22/14—Measuring as part of the manufacturing process for electrical parameters, e.g. resistance, deep-levels, CV, diffusions by electrical means
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/20—Sequence of activities consisting of a plurality of measurements, corrections, marking or sorting steps
    • H01L22/24—Optical enhancement of defects or not directly visible states, e.g. selective electrolytic deposition, bubbles in liquids, light emission, colour change
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Manufacturing & Machinery (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Description

本発明は一般に、半導体用途向けに構成された深層学習モデルのための診断方法およびシステムに関する。
以下の説明と例は、このセクションに含まれるからといって従来技術として認められるものではない。
ロジックおよびメモリデバイスなどの半導体デバイスの製造は、典型的には、半導体ウェハなどの基板を、多数の半導体製造プロセスを用いて処理して、半導体デバイスの種々のフィーチャと複数のレベルを形成することを含む。例えば、リソグラフィは、レチクルからのパターンを、半導体ウェハ上に配置されたレジストに転写することを含む半導体製造プロセスである。半導体製作プロセスの付加的な例は、化学機械研磨（ＣＭＰ）、エッチング、堆積およびイオン注入を含むが、これらに限定されない。複数の半導体デバイスが単一の半導体ウェハ上の配置構成で製造され、次に、個々の半導体デバイスに分離されてよい。
検査プロセスは、試料上の欠陥を検出して半導体製造プロセスのより高い収率を推進し、それによってより高い利益を推進するために、半導体製造プロセスにおける様々なステップで使用されている。検査は常に、半導体デバイス製造における重要な部分であった。しかしながら、半導体デバイスの寸法が縮小するにつれ、より小さい欠陥がデバイスを故障させる可能性があるため、許容範囲の半導体デバイスの製造の成功にはより一層重要となってきている。
欠陥レビューは一般的に、検査プロセスによって欠陥として検出された欠陥を再検出して、高倍率光学システムまたは走査電子顕微鏡（ＳＥＭ）のいずれかを用いてより高い分解能で欠陥に関する追加情報を生成することを包含する。したがって欠陥レビューは、検査によって欠陥が検出されている試料上の離散した位置で実行される。欠陥レビューによって生成された欠陥に関するより高い分解能のデータは、輪郭、粗さ、より正確なサイズ情報などの欠陥の属性を決定するためにより適している。
深層学習における進歩は、深層学習を欠陥検出および分類で使用するのに魅力のある枠組とした。そのような枠組みは欠陥分類およびその他の機能に有用であることが実証されたが、枠組み自体が、深層学習枠組みが正しく働いているか否かの判断を難しくもしている。例えば、欠陥分類の場合、クラシファイアの品質保証を実行するための現行の手法は、精度、混同行列およびオフラインテストデータセットおよびオンラインインフィールド評価への感度などの伝統的な機械学習の尺度を含む。さらに、データ水増しを実行するための現行の手法は、ドメインエキスパートまたはアルゴリズムエキスパートに有効且つ重要な変換／水増しをガイドさせるか、または、物理法則および／または常識に基づいてデータ水増しを実行することを含む。
しかしながら、現行の品質保証およびデータ水増し法およびシステムには、いくつかの不都合がある。例えば、上述の現行の品質保証手法は、特に深層学習クラシファイアに関して、クラシファイアが誤った因果機能に基づいて正しい予測を行う状況を識別できない。別の例では、上述の現行の品質保証手法は、機械学習と深層学習アルゴリズムをブラックボックスとして処理する。さらに別の例では、データ水増しを実行する現行の手法は、訓練が未熟なクラシファイアを直接改善／修正するためには使用され得ない。
米国特許第９３２４０２２号 米国特許第９１７１３６４号
したがって、上述の不都合のうち１つ以上がない深層学習モデル向けの診断機能を実行するシステムおよび方法を開発することが有利である。
以下の種々の実施形態の説明は、添付の特許請求の範囲の主題を如何なる意味でも限定すると解釈されるものではない。
一実施形態は、深層学習モデルのための診断機能を実行するように構成されたシステムに関する。システムは、１つ以上のコンピュータサブシステムと、１つ以上のコンピュータサブシステムによって実行される１つ以上のコンポーネントとを含む。１つ以上のコンポーネントは、イメージングツールによって、試料に関して生成された画像から情報を決定するように構成された深層学習モデルを含む。１つ以上のコンポーネントは、情報を決定させた画像の１つ以上の因果部分を決定し、また、画像の決定された１つ以上の因果部分に基づいて１つ以上の機能を実行するように構成された診断コンポーネントも含む。システムはさらに本明細書に記載のように構成されてよい。
別の実施形態は、深層学習モデルのための診断機能を実行するように構成された別のシステムに関する。このシステムは上述のように構成される。このシステムは、試料の画像を生成するように構成されたイメージングツールも含む。コンピュータサブシステム（複数の場合あり）は、この実施形態では、画像の取得向けに構成される。システムのこの実施形態はさらに本明細書に記載のように構成されてよい。
別の実施形態は、深層学習モデルの診断機能を実行するためのコンピュータに実装される方法に関する。方法は、深層学習モデルに画像を入力することによって、イメージングツールによって試料に関して生成された画像から情報を決定することを含む。方法はさらに、診断コンポーネントに情報を入力することによって、情報を決定させた画像の１つ以上の因果部分を決定することも含む。さらに、方法は、診断コンポーネントで、決定された画像の１つ以上の因果部分に基づいて１つ以上の機能を実行することを含む。深層学習モデルと診断コンポーネントは、１つ以上のコンピュータシステムによって実行される１つ以上のコンポーネントに含まれる。
上述の方法の各ステップはさらに、本明細書にさらに記載されるように実行されてよい。さらに、上述の方法の実施形態は、本明細書に記載の任意の別の方法（複数の場合あり）の任意の別のステップ（複数の場合あり）を含んでよい。さらに、上述の方法は、本明細書に記載のシステムのうちいずれによって実行されてもよい。
別の実施形態は、深層学習モデルの診断機能を実行するためのコンピュータに実装される方法を実行するために１つ以上のコンピュータシステムで実行可能なプログラム命令を記憶する非一時的コンピュータ可読媒体に関する。コンピュータに実装される方法は上述の方法のステップを含む。コンピュータ可読媒体はさらに本明細書に記載のように構成されてよい。コンピュータに実装される方法のステップは本明細書にさらに記載されるように実行されてよい。さらに、プログラム命令がそのために実行可能であるコンピュータに実装される方法は、本明細書に記載の任意の別の方法（複数の場合あり）の任意の別のステップ（複数の場合あり）を含んでよい。
本発明のさらなる利点は、好ましい実施形態の以下の詳細な説明によって、また、添付の図面を参照することで、当業者には明白となろう。
本明細書に記載のように構成されたシステムの実施形態の側面図を示す模式図である。 本明細書に記載のように構成されたシステムの実施形態の側面図を示す模式図である。 深層学習モデル向けの診断機能を実行するために本明細書に記載のシステムによって実行されてよいステップの実施形態を示すフローチャートである。 深層学習モデル向けの診断機能を実行するために本明細書に記載のシステムによって実行されてよいステップの実施形態を示すフローチャートである。 本明細書に記載のコンピュータ実装方法を１つ以上のコンピュータシステムに実行させるプログラム命令を記憶する非一時的コンピュータ可読媒体の一実施形態を示すブロック図である。
本発明は種々の変更形態および別形態が可能であるが、その特定の実施形態が例として図面に示され本明細書に詳細に説明されている。図面は一定の縮尺ではない場合がある。しかしながら、図面とその詳細な説明は、本発明を、開示された特定の形態に限定する意図はなく、反対に、意図するところは、添付の請求項によって定義される本発明の趣旨と範囲に属する全ての変更形態、等価および別形態を網羅することであることも理解されたい。
本明細書で互換的に使用される用語「設計」、「設計データ」および「設計情報」は一般に、ＩＣの物理的設計（レイアウト）と、複合シミュレーションまたは単純な幾何演算およびブール演算を介して物理的設計から導出されたデータを指す。さらに、レチクル検査システムおよび／またはその派生物によって取得されたレチクルの画像は、設計の「プロキシ」または「プロキシ群」として使用され得る。そのようなレチクル画像またはその派生物は、設計を使用する、本明細書に記載の任意の実施形態における設計レイアウトの代替物として働き得る。設計は、所有者が共通する、２００９年８月４日に発行された、ザファール（Ｚａｆａｒ）等への米国特許第７，５７０，７９６号および２０１０年３月９日に発行されたクルカルニ（Ｋｕｌｋａｒｎｉ）等への米国特許第７，６７６，０７７号に記載された任意の別の設計データまたは設計データプロキシ群を含んでよく、両特許とも、参照により、あたかも本明細書に完全に記載されるかのごとく援用される。さらに、設計データは標準的セルライブラリデータ、統合レイアウトデータ、１つ以上の層の設計データ、設計データの派生物および全体的または部分的チップ設計データであり得る。
さらに、本明細書に記載の「設計」、「設計データ」および「設計情報」は、設計プロセス内で半導体デバイス設計者によって生成され、したがってレチクルやウェハなどの任意の物理的試料上への設計の印刷よりも十分先行して本明細書に記載の実施形態で使用できる情報およびデータを指す。
ここで図面を参照すると、図は一定の縮尺で描かれているわけではないことに留意されたい。特に、図において一部の要素の縮尺は、その要素の特徴を強調するために大きく誇張されている。図は同じ縮尺で描かれているわけではないことにも留意されたい。同じように構成され得る２つ以上の図で示した要素は、同じ参照符号を用いて示されている。本明細書で別段注記しない限り、説明し図示したいずれの要素も、任意の適切な市販の要素を含んでよい。
一実施形態は、深層学習モデルのための診断機能を実行するように構成されたシステムに関する。本明細書に記載の一部の実施形態は、因果理解のための随意の視覚化能力と、検査および計測などの半導体用途向けの深層学習モデルのガイド付き訓練を備えたシステムとして構成される。例えば、本明細書に記載の実施形態は、深層学習モデルのための品質保証と因果理解を実行するように構成されたシステムを提供する。特に、本明細書にさらに記載されるように、実施形態は、いくつかの可能な方法および／またはアルゴリズムを介して因果情報（例えば、因果画像／ベクトル）を生成するように構成される。さらに、因果情報を用いることによって、実施形態はモデル性能を定量的に決定できる。さらに、システムは、品質保証および／または因果理解によって得た情報を用いて、データ水増しへのガイダンスを提供するおよび／または深層学習モデルの精度をさらに改善するためにプロセスを微調整するなどの１つ以上の機能を実行してよい。言い換えると、水増しに因果情報（例えば、因果画像／ベクトル）を用いることによって、実施形態は深層学習モデルをさらに改良できる。さらに、本明細書に記載の実施形態は、半教師あり（ｓｅｍｉ－ｓｕｐｅｒｖｉｓｅｄ）欠陥または領域検出を提供し、それは手動の労力を有利に軽減できる。
本明細書にさらに記載されるように、深層学習モデルは、本明細書でさらに説明されるようなエンドツーエンドニューラルネットワーク構造を用いることによって画像合成、特徴抽出および分類などの機能を実行できる。そのような戦略は深層学習モデルに優れた予測精度を可能にするが、本質的に、深層学習モデルをブラックボックスにもしてしまう（深層学習モデルの内部の働きを、必ずしも人間が理解できるようにしていないという意味において）。本明細書に記載の実施形態は、訓練された深層学習モデルを診断して、深層学習モデルを微調整するなどの用途に関して入力データにおける関心領域（ＲＯＩ）を水増しおよび／または生成するために視覚化ツールを随意に使用することを目指している。
深層学習モデルのための診断機能を実行するように構成されたシステムの一実施形態が図１に示されている。システムは、１つ以上のコンピュータサブシステム（例えば、コンピュータサブシステム３６およびコンピュータ（複数の場合あり）１０２）と、１つ以上のコンピュータサブシステムによって実行される１つ以上のコンポーネント１００を含む。一部の実施形態では、システムは、試料の画像を生成するように構成されたイメージングツール１０を含む。図１の実施形態において、イメージングツールは、光を試料の物理的バージョンの上から走査するか、または光を試料の物理的バージョンに方向付けて、同時に試料からの光を検出してそれによって試料の画像を生成するように構成されている。イメージングツールも、マルチモードで走査（または方向付け）および検出を実行するように構成されてよい。
一実施形態において、試料はウェハである。ウェハは、当技術分野で知られる任意のウェハを含んでよい。別の実施形態では、試料はレチクルである。レチクルは、当技術分野で知られる任意のレチクルを含んでよい。
一実施形態において、イメージングツールは光学ベースのイメージングツールとして構成されてよい。このように、一部の実施形態では、画像は光学ベースのイメージングツールによって生成される。そのような１つの例において、図１に示すシステムの実施形態では、光学ベースのイメージングツール１０は試料１４に光を方向付けるように構成された照明サブシステムを含む。照明サブシステムは少なくとも１つの光源を含む。例えば、図１に示すように、照明サブシステムは光源１６を含む。一実施形態において、照明サブシステムは、１つ以上の斜角度および／または１つ以上の垂直角度を含み得る１つ以上の入射角で光を試料に方向付けるように構成されている。例えば、図１に示すように、光源１６からの光は、光学素子１８、次にレンズ２０を通って試料１４に斜入射角で方向付けられる。斜入射角は、例えば、試料の特徴次第で変動し得る任意の適切な斜入射角を含んでよい。
イメージングツールは、光を試料に異なる時点で異なる入射角で方向付けるように構成されてよい。例えば、イメージングツールは、図１に示した入射角とは異なる入射角で光が試料に方向付けられ得るように、照明サブシステムの１つ以上の要素の１つ以上の特徴を変更するように構成されてよい。１つのそのような例において、イメージングツールは、光が試料に異なる斜入射角または垂直（または近垂直）入射角で方向付けられるように、光源１６、光学素子１８およびレンズ２０を移動させるように構成されてよい。
一部の事例では、イメージングツールは、光を試料に同時に２つ以上の入射角で方向付けるように構成されてよい。例えば、照明サブシステムは、２つ以上の照明チャネルを含んでよく、照明チャネルのうち１つは、図１に示すように光源１６、光学素子１８およびレンズ２０を含んでよく、照明チャネルのうちもう１つ（図示せず）は、類似した要素を含んでよく、それは、異なる構成でも同様の構成でもよく、または、少なくとも１つの光源と、恐らくは本明細書にさらに記載のような１つ以上の他のコンポーネントを含んでよい。そのような光が試料に他の光と同時に方向付けられた場合、異なる入射角で試料に方向付けられた光の１つ以上の特徴（例えば、波長、偏光など）は異なる可能性があり、その結果、異なる入射角での試料の照明から生じた光が、検出器（複数の場合あり）で互いに区別され得る。
別の事例では、照明サブシステムは１つのみの光源（例えば、図１に示す源１６）を含んでよく、光源からの光は、照明サブシステムの１つ以上の光学素子（図示せず）によって異なる光路に分離され得る（例えば、波長、偏光等に基づいて）。各異なる光路内の光が次に試料に方向付けられてよい。複数の照明チャネルは、光を試料に同時または異なるタイミングで（例えば、異なる照明チャネルを用いて試料を逐次照明する場合）方向付けるように構成されてよい。別の事例では、同じ照明チャネルが、光を、異なる特徴を有する試料に異なるタイミングで方向付けるように構成されてよい。例えば、一部の事例では、光学素子１８は分光フィルタとして構成されてよく、分光フィルタの特性は、異なる波長の光が試料に異なるタイミングで方向づけられるように、種々の異なる方式で変更されてよい（例えば、分光フィルタをスワップアウトすることによって）。照明サブシステムは、異なるまたは同じ特性を有する光を試料に異なるまたは同じ入射角で逐次または同時に方向付けるための、当技術分野で知られる任意の別の適切な構成を有してよい。
一実施形態において、光源１６は、広帯域プラズマ（ＢＢＰ）光源を含んでよい。こうして、光源によって生成された試料に方向付けられる光は広帯域光を含んでよい。しかしながら、光源は、レーザーなどの任意の別の適切な光源を含んでよい。レーザーは、当技術分野で知られる任意の適切なレーザーを含んでよく、当技術分野で知られる任意の適切な波長または複数の波長で光を生成するように構成されてよい。さらに、レーザーは、単色またはほぼ単色である光を生成するように構成されてよい。このように、レーザーは狭帯域レーザーであってよい。光源は、光を複数の別個の波長または波帯で生成する多色光源も含んでよい。
光学素子１８からの光はレンズ２０によって試料１４上に集束され得る。図１ではレンズ２０は単一の屈折光学素子として示されているが、実際は、レンズ２０は、組み合わせて光学素子からの光を試料に集束させるいくつかの屈折および／または反射型光学素子を含んでよいことを理解されたい。図１に示され本明細書に記載される照明サブシステムは、任意の別の適切な光学素子（図示せず）を含んでよい。そのような光学素子の例は、限定はしないが、当技術分野で知られる任意のそのような適切な光学素子を含みうる偏光コンポーネント（複数の場合あり）、分光フィルタ（複数の場合あり）、空間フィルタ（複数の場合あり）、反射型光学素子（複数の場合あり）、アポダイザ（複数の場合あり）、ビームスプリッタ（複数の場合あり）、開口（複数の場合あり）等を含む。さらに、イメージングツールは、イメージングに使用される照明のタイプに基づいて照明サブシステムの要素のうち１つ以上を変更するように構成されてよい。
イメージングツールはさらに、光を試料上で走査させるように構成された走査サブシステムも含んでよい。例えば、イメージングツールは、検査中に試料１４を上に配置するステージ２２を含んでよい。走査サブシステムは、光が試料の上で走査され得るように試料を移動させるように構成され得る任意の適切な機械的および／またはロボットアセンブリ（ステージ２２を含む）を含んでよい。さらに、または代替的に、イメージングツールは、イメージングツールの１つ以上の光学素子が試料の上への光の走査の一部を実行するように構成されてよい。光は、蛇行経路または螺旋経路などの任意の適切な様式で試料上で走査されてよい。
イメージングツールはさらに、１つ以上の検出チャネルを含む。１つ以上の検出チャネルのうち少なくとも１つは、ツールによる試料の照明によって試料からの光を検出し、検出光に応答して出力を生成するように構成された検出器を含む。例えば、図１に示したイメージングツールは２つの検出チャネルを含み、１つはコレクタ２４、要素２６および検出器２８によって形成され、もう１つはコレクタ３０、要素３２および検出器３４によって形成される。図１に示すように、２つの検出チャネルは、光を異なる集光角で集光し検出するように構成されている。一部の事例では、両検出チャネルは散乱光を検出するように構成され、検出チャネルは、試料から異なる角度で散乱された光を検出するように構成される。しかしながら、検出チャネルのうち１つ以上は、試料からの別のタイプの光（例えば、反射光）を検出するように構成されてよい。
図１にさらに示すように、両検出チャネルは紙面内に位置決めされて示されており、照明サブシステムもまた紙面に位置決めされて示されている。したがって、この実施形態において、両検出チャネルが入射面内に（例えばセンタリングされて）位置決めされている。しかしながら、検出チャネルのうち１つ以上は入射面外に位置決めされてもよい。例えば、コレクタ３０、要素３２および検出器３４によって形成される検出チャネルは、入射面外に散乱された光を集光し検出するように構成されてよい。したがって、そのような検出チャネルは一般に「サイド」チャネルと呼ばれてよく、そのようなサイドチャネルは、入射面に対して実質的に垂直な面内にセンタリングされてよい。
図１は２つの検出チャネルを含むイメージングツールの実施形態を示しているが、イメージングツールは異なる個数の検出チャネルを含んでよい（例えば、１つのみの検出チャネルまたは２つ以上の検出チャネル）。１つのそのような実例において、コレクタ３０、要素３２および検出器３４によって形成される検出チャネルは上述の１つのサイドチャネルを形成してよく、イメージングツールは、入射面の反対側に位置決めされたもうひとつのサイドチャネルとして形成された追加検出チャネル（図示せず）を含んでよい。したがって、イメージングツールは、コレクタ２４、要素２６および検出器２８を含み、入射面内にセンタリングされて、試料面に対して垂直な、または垂直に近い散乱角（複数の場合あり）で光を集光し検出するように構成された検出チャネルを含んでよい。したがってこの検出チャネルは一般に「トップ」チャネルと呼ばれてよく、イメージングツールは、上述のように構成された２つ以上のサイドチャネルも含んでよい。それ故、イメージングツールは、少なくとも３つのチャネル（すなわち、１つのトップチャネルと２つのサイドチャネル）を含んでよく、少なくとも３つのチャネルそれぞれは独自のコレクタを有し、コレクタそれぞれは、他のコレクタそれぞれとは異なる散乱角で光を集光するように構成されている。
上記でさらに説明されたように、イメージングツールに含まれた検出チャネルそれぞれは、散乱光を検出するように構成されてよい。したがって、図１に示したイメージングツールは、試料の暗視野（ＤＦ）イメージング向けに構成されてよい。しかしながら、イメージングツールはさらにまたは代替的に、試料の明視野（ＢＦ）イメージング向けに構成された検出チャネル（複数の場合あり）を含んでよい。言い換えると、イメージングツールは、試料から鏡面反射した光を検出するように構成された少なくとも１つの検出チャネルを含んでよい。したがって、本明細書に記載のイメージングツールは、ＤＦのみ、ＢＦのみ、またはＤＦとＢＦ両方のイメージング向けに構成されてよい。コレクタそれぞれは図１では単一屈折光学素子として示されているが、コレクタそれぞれは１つ以上の屈折光学素子（複数の場合あり）および／または１つ以上の反射型光学素子（複数の場合あり）を含んでよいことを理解されたい。
１つ以上の検出チャネルは、当技術分野で知られる任意の適切な検出器を含んでよい。例えば、検出器は、光電子倍増管（ＰＭＴ）、電荷結合素子（ＣＣＤ）、時間遅延積分（ＴＤＩ）カメラおよび当技術分野で知られる任意の別の適切な検出器を含んでよい。検出器は、非イメージング検出器またはイメージング検出器も含んでよい。このように、検出器が非イメージング検出器であれば、検出器それぞれは、強度などの散乱光の特定の特徴を検出するように構成されてよいが、そのような特徴をイメージング面内の位置の関数として検出するようには構成され得ない。それ故、イメージングツールの検出チャネルそれぞれに含まれた検出器それぞれによって生成される出力は、信号またはデータであり得るが、画像信号または画像データではあり得ない。そのような実例において、コンピュータサブシステム３６などのコンピュータサブシステムは、検出器の非イメージング出力から試料の画像を生成するように構成されてよい。しかしながら、他の事例では、検出器は、画像信号または画像データを生成するように構成されたイメージング検出器として構成されてよい。したがって、イメージングツールは、本明細書に記載の画像をいくつかの方式で生成するように構成されてよい。
図１は、本明細書において、本明細書に記載のシステムの実施形態に含まれ得るイメージングツール、または本明細書に記載のシステムの実施形態によって使用される画像を生成し得るイメージングツールの構成を全般的に示すために提供されていることに留意されたい。明らかに、本明細書に記載のイメージングツール構成は、商用イメージングツールを設計するにあたり通常実行されるようなイメージングツールの性能を最適化するために変更されてよい。さらに、本明細書に記載のシステムは、カリフォルニア州ミルピタスのケーエルエーテンカー（ＫＬＡ－Ｔｅｎｃｏｒ）社から市販されている２９ｘｘ／３９ｘｘおよびＰｕｍａ９ｘｘｘシリーズツールなどの既存のツールを用いて（例えば、既存のツールに、本明細書に記載の機能性を追加することによって）実装されてよい。いくつかのそのようなシステムに、本明細書に記載の実施形態は、ツールのオプションの機能として提供されてよい（例えば、ツールの他の機能性に加えて）。代替的に、本明細書に記載のイメージングツールは、完全に新規のイメージングツールを提供するために「最初から」設計されてもよい。
イメージングツールのコンピュータサブシステム３６は、試料の走査中に検出器によって生成される出力をコンピュータサブシステムが受け取れるような任意の適切な方式で（例えば、「有線」および／または「無線」伝送媒体を含み得る１つ以上の伝送媒体を介して）イメージングツールの検出器に結合されてよい。コンピュータサブシステム３６は、本明細書でさらに説明されるいくつかの機能を、検出器の出力を用いて実行するように構成されてよい。
図１に示したコンピュータサブシステム（ならびに、本明細書に記載の別のコンピュータサブシステム）は本明細書においてコンピュータシステム（複数の場合あり）とも呼ばれ得る。本明細書に記載のコンピュータサブシステム（複数の場合あり）またはシステム（複数の場合あり）それぞれは、パーソナルコンピュータシステム、イメージコンピュータ、メインフレームコンピュータシステム、ワークステーション、ネットワーク機器、インターネット機器またはその他のデバイスを含む種々の形態を取ってよい。一般に、用語「コンピュータシステム」は、メモリ媒体からの命令を実行する１つ以上のプロセッサを有する任意のデバイスを包含するように広範に定義されてよい。コンピュータサブシステム（複数の場合あり）またはシステム（複数の場合あり）は、パラレルプロセッサなどの当技術分野で知られる任意の適切なプロセッサも含んでよい。さらに、コンピュータサブシステム（複数の場合あり）またはシステム（複数の場合あり）は、スタンドアローンまたはネットワークツールのいずれかとしての、高速処理およびソフトウェアを伴うコンピュータプラットフォームを含んでよい。
システムが２つ以上のコンピュータサブシステムを含む場合、異なるコンピュータサブシステムは、画像、データ、情報、命令などが、本明細書にさらに記載されるようにコンピュータサブシステム間で送信され得るように互いに結合されてよい。例えば、コンピュータサブシステム３６は、図１に破線で示すコンピュータサブシステム（複数の場合あり）１０２に、当技術分野で知られる任意の適切な有線および／または無線伝送媒体を含み得る任意の適切な伝送媒体によって結合されてよい。２つ以上のそのようなコンピュータサブシステムはさらに、共有のコンピュータ可読記憶媒体（図示せず）によって有効に結合されてよい。
イメージングツールは上記では光学または光ベースのイメージングツールとして説明されたが、一部の実施形態では、イメージングツールは電子ビームベースのイメージングツールとして構成されてよい。こうして、一部の実施形態では、画像は、電子ビームベースのイメージングツールによって生成されてよい。図２に示された１つのそのような実施形態において、イメージングツールはコンピュータサブシステム１２４に結合された電子カラム１２２を含む。図２に示すように、電子カラムは、１つ以上の要素１３０によって試料１２８上に集束される電子を生成するように構成された電子ビーム源１２６を含む。電子ビーム源は、例えば、カソード源またはエミッタ先端を含んでよく、１つ以上の要素１３０は、例えば、ガンレンズ、アノード、ビーム制限開口、ゲートバルブ、ビーム電流選択開口、対物レンズ、および走査サブシステムを含んでよく、それら全ては当技術分野で知られる任意のそのような適切な要素を含んでよい。
試料から戻った電子（例えば、二次電子）は、１つ以上の要素１３２によって検出器１３４に集束されてよい。１つ以上の要素１３２は、例えば、要素（複数の場合あり）１３０に含まれるものと同じ走査サブシステムであり得る１つの走査サブシステムを含んでよい。
電子カラムは、当技術分野で知られる任意の別の適切な要素を含んでよい。また、電子カラムはさらに、２０１４年４月４日に発行されたジアン（Ｊｉａｎｇ）等への米国特許第８，６６４，５９４号、２０１４年４月８日に発行されたコジマ（Ｋｏｊｉｍａ）等への米国特許第８，６９２，２０４号、２０１４年４月１５日に発行されたガボンズ（Ｇｕｂｂｅｎｓ）等への米国特許第８，６９８，０９３号、および２０１４年５月６日に発行されたマクドナルド（ＭａｃＤｏｎａｌｄ）等への米国特許第８，７１６，６６２号に記載されるように構成されてもよく、それらは参照により、あたかも本明細書に完全に記載されるかのごとく援用される。
図２では電子カラムは、電子が試料に斜入射角で方向付けられ、試料から別の斜角で散乱されるように構成されているものとして示されているが、電子ビームは試料に任意の適切な角度で方向付けられて、試料から任意の適切な角度で散乱されてよいことを理解されたい。さらに、電子ビームベースのイメージングツールは、本明細書にさらに記載されるように、マルチモードを用いて試料の画像を生成するように構成されてよい（例えば、異なる照明角度、集光角度など）。電子ビームベースのイメージングツールのマルチモードは、イメージングツールの任意の画像生成パラメータにおいて異なり得る。
コンピュータサブシステム１２４は上述のように検出器１３４に結合されてよい。検出器は試料の表面から戻った電子を検出して、それによって試料の電子ビーム画像を形成してもよい。電子ビーム画像は、任意の適切な電子ビーム画像を含んでよい。コンピュータサブシステム１２４は、検出器１３４によって生成された出力を用いて試料に関する本明細書でさらに説明される１つ以上の機能を実行するように構成されてよい。コンピュータサブシステム１２４は、本明細書に記載の任意の付加的なステップ（複数の場合あり）を実行するように構成されてよい。図２に示したイメージングツールを含むシステムはさらに、本明細書に記載のように構成されてよい。
図２は、本明細書において、本明細書に記載のシステムの実施形態に含まれ得る電子ビームベースのイメージングツールの構成を全般的に示すために提供されていることに留意されたい。上述の光学ベースのイメージングツールと同様に、本明細書に記載の電子ビームベースのイメージングツール構成は、商用イメージングツールを設計するにあたり通常実行されるようなイメージングツールの性能を最適化するために変更されてよい。さらに、本明細書に記載のシステムは、ケーエルエーテンカー社から市販されているｅＳｘｘｘおよびｅＤＲ－ｘｘｘｘシリーズツールなどの既存のツールを用いて（例えば、既存のツールに、本明細書に記載の機能性を追加することによって）実装されてよい。いくつかのそのようなシステムに、本明細書に記載の実施形態は、ツールのオプションの機能として提供されてよい（例えば、ツールの他の機能性に加えて）。代替的に、本明細書に記載のツールは、完全に新規のツールを提供するために「最初から」設計されてもよい。
イメージングツールは上記では光学ベースまたは電子ビームベースのイメージングツールとして説明されているが、イメージングツールはイオンビームベースのイメージングツールであってよい。そのようなイメージングツールは、電子ビーム源が、当技術分野で知られる任意の適切なイオンビーム源と置き換えられ得ること以外、図２に示したイメージングツールのように構成されてよい。さらに、イメージングツールは、市販の集束イオンビーム（ＦＩＢ）システム、ヘリウムイオン顕微鏡（ＨＩＭ）システムおよび二次イオン質量分析法（ＳＩＭＳ）システムに含まれるイオンビームベースのイメージングツールのような、任意の他の適切なイオンビームベースのイメージングツールであってよい。
上述のように、イメージングツールは、エネルギ（例えば、光または電子）を試料の物理的バージョンの上から走査して、それによって試料の物理的バージョンの実画像を生成するように構成されている。このように、イメージングツールは、「仮想」ツールというよりは「実」ツールとして構成されてよい。例えば、図１に示される記憶媒体（図示せず）とコンピュータサブシステム（複数の場合あり）１０２は、「仮想」ツールとして構成されてよい。特に、記憶媒体とコンピュータサブシステム（複数の場合あり）はイメージングツール１０の一部ではなく、試料の物理的バージョンを処理する能力は一切有していない。言い換えると、仮想ツールとして構成されたツールにおいて、その１つ以上の「検出器」の出力は、実ツールの１つ以上の検出器によって以前に生成され、仮想ツールに記憶された出力であり得、「走査」中に仮想ツールは、あたかも試料が走査されているかのように、記憶された出力を再生してよい。こうして、仮想ツールで試料を走査することは、物理的試料が実ツールで走査されているのと同じように見えるかも知れないが、実際は、「走査」は、単に試料の出力を、試料が走査され得るのと同じ方式で再生することを包含する。「仮想」検査ツールとして構成されたシステムおよび方法は、本発明の譲受人に譲渡された２０１２年２月２８日発行のバスカー（Ｂｈａｓｋａｒ）等への米国特許第８，１２６，２５５号および２０１５年１２月２９日発行のダフィー（Ｄｕｆｆｙ）等への米国特許第９，２２２，８９５号に記載されており、両特許は参照によりあたかも本明細書に完全に記載されるかのごとく援用される。本明細書に記載の実施形態はさらに、これらの特許に記載されるように構成されてよい。例えば、本明細書に記載の１つ以上のコンピュータサブシステムはさらに、これらの特許に記載されるように構成されてよい。さらに、１つ以上の仮想システムを中央演算記憶装置（ＣＣＳ）として構成することは、ダフィーの上記の特許に記載されるように実行されてよい。本明細書に記載の永続記憶機構は、ＣＣＳアーキテクチャなどの分散型演算および記憶装置を有してよいが、本明細書に記載の実施形態はそのアーキテクチャに限定されない。
上記でさらに言及したように、イメージングツールは試料の画像をマルチモードで生成するように構成されてよい。一般に、「モード」は、試料の画像を生成するために使用されるイメージングツールのパラメータの値、または試料の画像を生成するために使用された出力によって規定され得る。したがって、異なるモードは、イメージングツールのイメージングパラメータのうち少なくとも１つの値が異なり得る。例えば、光学ベースのイメージングツールの一実施形態において、マルチモードのうち少なくとも１つは、マルチモードのうち少なくとも１つの別のモードに用いられる照明光の少なくとも１つの波長とは異なる照明光の少なくとも１つの波長を使用する。モードは、異なるモードでは、本明細書にさらに記載されるように照明波長において異なり得る（例えば、異なる光源、異なる分光フィルタなどを用いることによって）。別の実施形態では、マルチモードのうち少なくとも１つは、マルチモードのうち少なくとも１つの別のモードに使用されるイメージングツールの照明チャネルとは異なるイメージングツールの照明チャネルを使用する。例えば、上述のように、イメージングツールは２つ以上の照明チャネルを含んでよい。それ故、異なるモードでは異なる照明チャネルが使用され得る。
一実施形態において、イメージングツールは検査ツールとして構成される。例えば、本明細書に記載の光学および電子ビームイメージングツールは、検査ツールとして構成されてよい。このように、一部の実施形態では、本明細書に記載の深層学習モデルへの画像入力は検査ツールによって生成される。別の実施形態では、イメージングツールは計測ツールとして構成される。例えば、本明細書に記載の光学および電子ビームイメージングツールは計測ツールとして構成されてよい。特に、本明細書に記載され図１および２に示されたイメージングツールの実施形態は、使用されることになる用途によって異なるイメージング能力を提供するために１つ以上のパラメータが修正されてもよい。１つのそのような例において、図１に示したイメージングツールは、検査というより計測に使用されることになっている場合、より高い分解能を有するように構成されてよい。言い換えると、図１および２に示したイメージングツールの実施形態は、異なる用途にある程度適した異なるイメージング能力を有するイメージングツールをもたらすために、当業者には明白であり得るいくつかの方式で適合され得るイメージングツール用のいくつかの一般的および多様な構成を説明する。
１つ以上のコンピュータサブシステムは、本明細書に記載のイメージングツールによって生成された試料の画像を取得するように構成されてよい。画像の取得は、本明細書に記載のイメージングツールのうち１つを使用して実行されてよい（例えば、光または電子ビームを試料に方向付け、試料からそれぞれ光または電子ビームを検出することによって）。こうして、画像の取得は、物理的試料自体と何らかのイメージングハードウェアを用いて実行されてよい。しかしながら、画像の取得は必ずしもイメージングハードウェアを用いて試料を画像化することを含まなくてもよい。例えば、別のシステムおよび／または方法が画像を生成して、生成した画像を、本明細書に記載の仮想検査システムなどの１つ以上の記憶媒体に、または本明細書に記載の別の記憶媒体に記憶してもよい。したがって、画像取得は、画像が記憶されていた記憶媒体から画像を取得することを含んでよい。
例えばコンピュータサブシステム３６および／またはコンピュータサブシステム（複数の場合あり）１０２などのコンピュータサブシステム（複数の場合あり）によって実行される、例えば図１に示されたコンポーネント（複数の場合あり）１００などのコンポーネント（複数の場合あり）は深層学習モデル１０４を含む。深層学習モデルは、イメージングツールによって試料に関して生成された画像から情報を決定するように構成される。深層学習モデル１０４は、本明細書でさらに説明される構成のうち１つを有してよい。
概して、「深層学習」（深層構造学習、階層学習または深層機械学習としても知られる）は、データにおける高レベル抽象化をモデル化しようと試みる一組のアルゴリズムに基づく機械学習の一部門である。単純な実例としては、２組のニューロン：入力信号を受信する１つのニューロンと、出力信号を送出する１つのニューロンがあり得る。入力層が入力を受け取ると、入力層は入力の修正版を次の層に伝える。深層ネットワークでは、入力と出力の間に多数の層があって（そして層はニューロンでできているのではないが、そのように考えると役立ち得る）、アルゴリズムが、複数の線形および非線形変換からなる複数の処理層を使用することを可能にする。
深層学習は、データの学習表現に基づく機械学習方法の広範なファミリの一部である。観察（例えば、画像）は、画素毎の強度値のベクトルなどの多くの方式で、または、一組のエッジ、特定の形状の領域等などのより抽象的な方式で表現され得る。或る種の表現は、学習タスクを単純化することにおいて他の表現よりも優れている（例えば、顔認識または顔表情認識）。深層学習の見込みの１つは、手作業の特徴を、教師なしまたは半教師あり特徴学習および階層特徴抽出のための効率的なアルゴリズムと置き換えることである。
この分野における研究は、より良い表現を作り出して、これらの表現を大規模なラベルなしデータから学習するためのモデルを創造しようと試みている。一部の表現は、神経科学の進歩によって触発されており、種々の刺激と、脳内の関連する神経応答との間の関係性を規定しようと試みる神経コーディングなどの神経系における情報処理と通信パターンの解釈に大まかに基づいている。
別の実施形態では、深層学習モデルは機械学習モデルである。機械学習は、明示的にプログラムされなくても学習する能力をコンピュータに提供する一種の人工知能（ＡＩ）として概括的に定義され得る。機械学習は、自らに、新たなデータに曝されたときに成長し変化するように教示できるコンピュータプログラムの開発に傾注している。言い換えると、機械学習は、「コンピュータに、明示的にプログラムされなくても学習する能力を与える」コンピュータサイエンスのサブフィールドとして定義され得る。機械学習は、データから学習し予測を立てられるアルゴリズムの研究と構築を追及し、そのようなアルゴリズムは、サンプル入力からモデルを構築することによって、データ主導型予測または判断を行うことによって以下の厳密に静的なプログラム命令を克服する。
本明細書に記載の機械学習はさらに、「Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ Ｓｔａｔｉｓｔｉｃａｌ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ」、スギヤマ（Ｓｕｇｉｙａｍａ）、モーガン・カウフマン（Ｍｏｒｇａｎ Ｋａｕｆｍａｎｎ）、２０１６，５３４頁；「Ｄｉｓｃｒｉｍｉｎａｔｉｖｅ，Ｇｅｎｅｒａｔｉｖｅ，ａｎｄ Ｉｍｉｔａｔｉｖｅ Ｌｅａｒｎｉｎｇ」、ジェバラ（Ｊｅｂａｒａ）、ＭＩＴ Ｔｈｅｓｉｓ、２００２，２１２頁；および「Ｐｒｉｎｃｉｐｌｅｓ ｏｆ Ｄａｔａ Ｍｉｎｉｎｇ（Ａｄａｐｔｉｖｅ Ｃｏｍｐｕｔａｔｉｏｎ ａｎｄ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）」、ハンド（Ｈａｎｄ）等、ＭＩＴ Ｐｒｅｓｓ，２００１，５７８頁に記載されるように実行されてよく、それらは、参照により、あたかも本明細書に完全に記載されるかのごとく援用される。本明細書に記載の実施形態はさらに、これらの参考文献に記載されるように構成されてよい。
一部の実施形態では、深層学習モデルは生成モデルである。「生成」モデルとは、本質的に蓋然的であるモデルとして一般に定義され得る。言い換えると、「生成」モデルは、順シミュレーションまたは規則ベースの手法を実行するモデルではない。代わりに、本明細書にさらに記載されるように、生成モデルは、データの適切な訓練セットに基づいて学習され得る（そのパラメータが学習され得るということにおいて）。一実施形態において、深層学習モデルは深層生成モデルとして構成される。例えば、モデルは、モデルが、いくつかのアルゴリズムまたは変換を実行する複数の層を含み得るということにおいて、深層学習アーキテクチャを有するように構成されてよい。
別の実施形態では、深層学習モデルはニューラルネットワークとして構成される。さらなる実施形態において、深層学習モデルは、訓練するために提供されているデータに従って世界をモデル化する一組の重みを備えた深層ニューラルネットワークであってよい。ニューラルネットワークは、軸策によって接続された比較的大きいクラスタの生物ニューロンで生物脳が問題を解決する方式を大まかにモデル化するニューラルユニットの比較的大きな集合に基づくコンピュータによるアプローチとして概括的に定義され得る。各ニューラルユニットは多くの他のニューラルユニットに接続され、リンクは、接続されたニューラルユニットの活性化状態へのリンクの効果を有効化または無効化し得る。これらのシステムは、明示的にプログラムされているというよりは自己学習され訓練されるものであり、伝統的コンピュータプログラムにおいてソリューションまたは特徴検出が、表現し難い領域において優れている。
ニューラルネットワークは典型的に複数の層からなり、信号経路は前から後ろに横断する。いくつかのニューラルネットワークはより一層抽象的ではあるが、ニューラルネットワークの目標は、人間の脳が解決するのと同じように問題を解決することである。現代のニューラルネットワークプロジェクトは典型的に数千から数百万および何百万もの接続に対処する。ニューラルネットワークは、当技術分野で知られる任意の適切なアーキテクチャおよび／または構成を有してよい。
一実施形態において、情報は試料上で検出された欠陥の分類を含む。１つのそのような実施形態において、深層学習モデルはＡｌｅｘＮｅｔとして構成される。例えば、ＡｌｅｘＮｅｔはいくつかの畳み込み層（例えば５層）を含み、それに続いていくつかの完全接続層（例えば３層）があり、それらは組み合わせて画像を分類するように構成され訓練される。ＡｌｅｘＮｅｔとして構成されたニューラルネットワークの例は、参照によりあたかも本明細書に完全に記載されるかのごとく援用される、クリゼンスキー（Ｋｒｉｚｈｅｖｓｋｙ）等による「ＩｍａｇｅＮｅｔ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｗｉｔｈ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」、ＮＩＰＳ ２０１２に記載されている。本明細書に記載の深層学習モデルはさらに、この参考文献に記載されるように構成されてよい。
別のそのような実施形態において、深層学習モデルはグーグルネット（ＧｏｏｇｌｅＮｅｔ）として構成される。グーグルネットは、画像を分類するように構成され訓練された、本明細書でさらに説明されるような、畳み込み、プーリングおよび完全接続層などのような層を含んでよい。グーグルネットアーキテクチャは比較的多数の層を含み得るが（特に本明細書に記載の一部の他のニューラルネットワークと比べて）、一部の層は並列して動作してよく、互いに並列して機能する一群の層は一般にインセプションモジュールと呼ばれる。別の層は逐次動作してよい。したがって、グーグルネットは、全ての層が逐次構造に配置されているわけではないということにおいて本明細書に記載の他のニューラルネットワークとは異なっている。グーグルネットとして構成されたニューラルネットワークの例は、参照によりあたかも本明細書に完全に記載されるかのごとく援用される、ゼゲディ（Ｓｚｅｇｅｄｙ）等による「Ｇｏｉｎｇ Ｄｅｅｐｅｒ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎｓ」、ＣＶＰＲ ２０１５に記載されている。本明細書に記載の深層学習モデルはさらにこの参考文献に記載されるように構成されてよい。
さらなるそのような実施形態において、深層学習モデルはＶＧＧネットワークとして構成される。例えば、ＶＧＧネットワークは、アーキテクチャの他のパラメータを固定しておきながら畳み込み層の数を増加させることによって形成される。深さを増加させるために畳み込み層を追加することは、全ての層に実質的に小さい畳み込みフィルタを用いることによって可能にされる。本明細書に記載の他のニューラルネットワークのように、ＶＧＧネットワークは画像を分類するために生成され訓練された。ＶＧＧネットワークも畳み込み層を含み、それに続いて完全接続層がある。ＶＧＧとして構成されたニューラルネットワークの例は、参照によりあたかも本明細書に完全に記載されるかのごとく援用される、シモニャン（Ｓｉｍｏｎｙａｎ）等による「Ｖｅｒｙ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｌａｒｇｅ－Ｓｃａｌｅ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ」、ＩＣＬＲ ２０１５に記載されている。本明細書に記載の深層学習モデルはさらにこの参考文献に記載されるように構成されてよい。
一部のそのような実施形態において、深層学習モデルは深層残差ネットワークとして構成される。例えば、本明細書に記載の一部の他のニューラルネットワークのように、深層残差ネットワークは、畳み込み層を含んでよく、それに続いて完全接続層があり、それらは組み合わせて画像分類向けに構成され訓練される。深層残差ネットワークにおいて、層は、非参照関数を学習するというよりも、層入力を参照して残渣関数を学習するように構成されている。特に、少数のスタック層が所望の基礎となるマッピングに直接フィットすると期待する代わりに、これらの層は、残差マッピングにフィットすることを明示的に許可され、それはショートカット接続でのフィードフォワードニューラルネットワークによって実現される。ショートカット接続とは、１つ以上の層をスキップする接続である。深層残差ネットは、畳み込み層を含む単純なニューラルネットワーク構造を取り上げ、ショートカット接続を挿入して、それが単純なニューラルネットワークを取り上げてその残差学習カウンタパートに変えることによって生成され得る。深層残差ネットの例は、参照によりあたかも本明細書に完全に記載されるかのごとく援用される、ヒー（Ｈｅ）等による「Ｄｅｅｐ Ｒｅｓｉｄｕａｌ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ」、ＮＩＰＳ ２０１５に記載されている。本明細書に記載の深層学習モデルはさらにこの参考文献に記載されるように構成されてよい。
そのような１つの実施形態において、深層学習モデルは、試料上の欠陥を分類するように構成された１つ以上の完全接続層を含む。「完全接続層」は一般に、ノードそれぞれが以前の層のノードそれぞれに接続された層として定義され得る。完全接続層（複数の場合あり）は、本明細書にさらに記載されるように構成され得る畳み込み層（複数の場合あり）によって抽出された特徴に基づいて分類を実行してよい。完全接続層（複数の場合あり）は、特徴選択と分類向けに構成される。言い換えると、完全接続層（複数の場合あり）は、特徴マップから特徴を選択し、次に、選択された特徴に基づいて画像（複数の場合あり）内の欠陥を分類する。選択された特徴は、特徴マップの全ての特徴を含んでもよく（適切であれば）、または特徴マップの一部の特徴のみを含んでもよい。
深層学習モデルが試料上で検出された欠陥の分類を出力した場合、深層学習モデルは各分類結果に関連するコンフィデンスを伴う画像毎の分類結果を含み得る画像分類を出力してよい。画像分類の結果はさらに、本明細書にさらに説明されるように使用されてよい。画像分類は任意の適切なフォーマット（画像または欠陥ＩＤ、「パターン」、「ブリッジ」などの欠陥説明等）を有してよい。画像分類結果は、本明細書にさらに記載されるように記憶されて使用されてよい。
一部の実施形態では、深層学習モデルによって決定された情報は、深層学習モデルによって抽出された画像の特徴を含む。１つのそのような実施形態において、深層学習モデルは１つ以上の畳み込み層を含む。畳み込み層（複数の場合あり）は、当技術分野で知られる任意の適切な構成を有してよく、一般に、１つ以上のフィルタを用いて入力画像に畳み込み関数を適用することによって画像（すなわち、特徴マップ）にわたる位置の関数としての画像の特徴を定義するように構成されている。このように、深層学習モデル（または少なくとも深層学習モデルの一部）は、畳み込みニューラルネットワーク（ＣＮＮ）として構成されてよい。例えば、深層学習モデルは通常、局所的特徴を抽出するための畳み込み層とプーリング層のスタックであるＣＮＮとして構成されてよい。本明細書に記載の実施形態は、通常扱いにくい表現反転問題を解決するためのＣＮＮなどの深層学習概念を利用できる。深層学習モデルは、当技術分野で知られる任意のＣＮＮ構成またはアーキテクチャを有してよい。１つ以上のプーリング層はさらに、当技術分野で知られる任意の適切な構成（例えば、最大プーリング層）を有してもよく、一般に、最も重要な特徴を保持しながら、１つ以上の畳み込み層によって生成された特徴マップの次元性を縮小するように構成される。
深層学習モデルによって決定される特徴は、本明細書に記載の入力から推論され得る（また、本明細書でさらに説明される出力を生成するために用いられ得る）、本明細書でさらに説明されるまたは当技術分野で知られる任意の適切な特徴を含んでよい。例えば、特徴は、画素毎の強度値のベクトルを含んでよい。特徴は、例えば、スカラー値のベクトル、独立分布、同時分布、または当技術分野で知られる任意の別の適切な特徴タイプのベクトルなどの、本明細書に記載の任意の別のタイプの特徴も含んでよい。
別の実施形態では、情報は、画像から生成された擬似画像を含む。深層学習モデルは、参照によりあたかも本明細書に完全に記載されるかのごとく援用される、２０１７年５月２５日に公開されたザング（Ｚｈａｎｇ）等による米国特許出願公開第２０１７／０１４８２２６号、２０１７年７月６日に公開されたザング（Ｚｈａｎｇ）等による米国特許出願公開第２０１７／０１９３６８０号、２０１７年６月６日に公開されたバスカー（Ｂｈａｓｋａｒ）等による米国特許出願公開第２０１７／０１９４１２６号、２０１７年７月１３日に公開されたバスカー（Ｂｈａｓｋａｒ）等による米国特許出願公開第２０１７／０２００２６０号、２０１７年７月１３日に公開されたバスカー（Ｂｈａｓｋａｒ）等による米国特許出願公開第２０１７／０２００２６５号、および２０１７年５月２３日に出願されたザング（Ｚｈａｎｇ）等による米国特許出願シリアル番号第１５／６０３，２４９号に記載されるように擬似画像を生成するように構成されてよい。本明細書に記載の実施形態はさらに、これらの公開および出願に記載されるように構成されてよい。
別の実施形態では、深層学習モデルによって決定される情報は、画像から生成された１つ以上のセグメンテーション領域を含む。１つのそのような実施形態において、深層学習モデルは、セグメンテーション領域（複数の場合あり）を識別し（画像に関して決定された特徴に基づいて）、セグメンテーション領域それぞれに対してバウンディングボックスを生成するように構成された提案ネットワークを含む。セグメンテーション領域は、特徴（深層学習モデルまたは別の方法またはシステムによって画像に関して定義される）に基づいて検出されてよく、それによって、ノイズに基づいて画像内の領域を分離する（例えば、静かな領域からノイズの多い領域を分離する）、そこに位置する試料特徴に基づいて画像内の領域を分離する、出力の幾何特徴に基づいて領域を分離する、等を行う。提案ネットワークは、決定された特徴に基づいて画像内のセグメンテーション領域（複数の場合あり）を検出するために、本明細書にさらに記載されるように生成または決定されてよい特徴マップからの特徴を使用してよい。提案ネットワークは、バウンディングボックス検出結果を生成するように構成されてよい。このように、深層学習モデルは、各セグメンテーション領域または２つ以上のセグメンテーション領域に関連する１つのバウンディングボックスを含み得るバウンディングボックスを出力してよい。深層学習モデルは、各バウンディングボックスにバウンディングボックス位置を出力してよい。セグメンテーション領域生成の結果も、本明細書にさらに記載されるように記憶され使用され得る。
提案ネットワークまたは「領域提案ネットワーク」は、画像内の物体を検出して、これら検出された物体に対応する領域を提案する完全畳み込みネットワークとして一般に定義され得る。提案ネットワークの例は、参照によりあたかも本明細書に完全に記載されるかのごとく援用される、レン（Ｒｅｎ）等による「Ｆａｓｔｅｒ Ｒ－ＣＮＮ： Ｔｏｗａｒｄｓ Ｒｅａｌ－Ｔｉｍｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ Ｒｅｇｉｏｎ Ｐｒｏｐｏｒａｌ Ｎｅｔｗｏｒｋｓ」、ＮＩＰＳ，２０１５に記載されている。本明細書に記載の提案ネットワークは、さらにこの参考文献に記載されるように構成されてよい。提案ネットワークは、比較的高速であり、異なるサイズの物体を検出できるため、本明細書に記載の実施形態で使用するのに好適であり得る。提案ネットワークは、畳み込み層（複数の場合あり）によって生成された特徴マップにスライディングウィンドウを重ね、それによってｋ境界ボックスを生成してよい。特徴マップにスライディングウィンドウを重ねた結果は、提案ネットワークの中間層に入力されてよく、それは、ｃｌｓ層を介して２ｋスコアを、また、ｒｅｇ層を介して４ｋ座標を生成してよい。
別の実施形態では、情報は、画像から生成された多次元出力を含む。例えば、本明細書にさらに記載されるように、深層学習モデルによって生成された情報は、例えば、欠陥タイプなどの一次元ベクトル、または例えば擬似画像、セグメンテーション領域（複数の場合あり）等の２次元画像様出力などの多次元出力またはｎ次元出力など、１つ以上の特性を含んでよい。
一般に、本明細書に記載の深層学習モデルは訓練された深層学習モデルである。例えば、１つ以上の診断機能がそのために実行される深層学習モデルは、１つ以上の他のシステムおよび／または方法によって事前に訓練されてよい。さらに、深層学習モデルは、深層学習モデルに関して１つ以上の診断機能が実行される前に本明細書に記載の実施形態のうち１つ以上によって訓練されてよい。このように、本明細書に記載の診断機能は、本明細書に記載の実施形態では深層学習モデルが既に生成され訓練されており、次に、モデルの機能性が本明細書に記載のように決定され、それが次に、深層学習モデルに関する１つ以上の付加的な機能を実行するために使用され得るという点において、深層学習モデルの訓練中に実行される深層学習モデルキャラクタライゼーションとは異なっている。
１つ以上のコンポーネントは、例えば、情報を決定させた画像の１つ以上の因果部分を決定するように構成された図１に示す診断コンポーネント１０６である診断コンポーネントを含む。このように、本明細書に記載の実施形態は、深層学習モデルがどのように特定の入力または画像に関して情報を生成したかに関する因果理解を提供する。さらに、本明細書に記載の実施形態は深層学習モデルの因果理解と保証を提供する。以下は、因果理解と因果部分の、本明細書でこれらの用語が使用されるときの正式な定義を提供する。
深層学習モデルへの入力は以下の組み合わせを含み得る：ａ）ｘ（ｈ，ｗ，ｃ，ｔ，…）によって規定される画像、それは、高さ＝ｈとし、例えば、チャネルｃ、時間ｔ等の他次元にわたる幅＝ｗとした場合のＮ次元テンソルである（半導体用途では、ｘは、異なるツール条件下での、光学画像、電子ビーム画像、設計データ画像（例えば、ＣＡＤ画像）等であり得る）、およびｂ）１次元ベクトル（次元は２以上であると一般化され得る）である特徴ベクトルｖ（ｍ）。
深層学習モデルは、Ｆ（ｙ｜ｘ，ｖ；ｗ）の訓練可能な関数として定義され得る、すなわち、ｘおよびｖの入力と、ｗのモデルパラメータを考慮した場合、Ｆはｙの特徴を予測する。予測出力ｙは１次元ベクトル、例えば欠陥タイプとしての１つ以上の特徴であり得る。予測出力ｙは２次元画像様出力、例えば、擬似画像、セグメンテーション領域等でもあり得る。さらに、予測出力ｙはｎ次元出力であり得る。訓練されたモデルを考慮して、すなわち、ｗのパラメータがＷであると学習されている場合、（ｘ，ｖ）から（ｘ’，ｖ’）への入力変更に対するモデル応答は、Ｒ＝Ｆ（ｘ’，ｖ’；ｗ＝Ｗ）－Ｆ（ｘ，ｖ；ｗ＝Ｗ）と定義される。
一般に、ｘとｖの入力は比較的高い寸法を有する。例えば、１２８画素の幅と１２８画素の高さを有する入力画像を考慮すると、寸法は１２８ｘ１２８である。観察される応答を考慮すると、全ての寸法（すなわち、画素）がその応答に同様に貢献するわけではない（例えば、欠陥検出アプリケーションでは、欠陥画素は背景画素よりも一層重要である傾向となり、隣接する画素は、回路設計およびプロセス条件によって重要な場合と重要でない場合がある）。
本明細書に記載のような深層学習モデルの因果理解を生成するということは、各入力画素と、観察される応答に支配される各入力の重要度を定性的および定量的に識別することを指す。正式には、ｘの重要度スコアは「因果画像」と呼ばれ、ｖの重要度スコアは「因果ベクトル」と呼ばれる。因果画像と因果ベクトルにおいて、正の値は、この画素／特徴が応答に正の貢献をしていることを意味し（すなわち、値が高いほど、応答が高くなる）、ゼロ付近の値は、画素／特徴が応答に関与しないことを意味し、負の値は、この画素／特徴が応答に負の貢献をしていることを意味する。したがって、正、ゼロ付近および負の値の領域はそれぞれ、正、無関係および負領域と呼ばれる。本明細書で用いる用語「因果部分」は、上述のありとあらゆる因果理解情報を指す。例えば、因果部分は、因果画像と因果ベクトルの両方によって定義され得る。このように、因果部分は、応答に正の貢献をした画像の部分（複数の場合あり）（または深層学習モデルによって決定される情報）、応答に殆ど無関係な画像の部分（複数の場合あり）、応答に負の貢献をした画像の部分（複数の場合あり）、またはそれらの何らかの組み合わせを含んでよい。
訓練された深層学習モデルＦ（ｙ｜ｘ，ｖ；ｗ＝Ｗ）と、特定の入力またはデータ（ｘ，ｖ）を考慮すると、システムは深層学習モデルを順方向に動作させて予測ｙおよび／または関連する出力を生成する。関連する出力はアプリケーションに特有、例えば、分類タスクに特有のものであり、関連する出力はトップＮ分類結果であり得る。所定の（ｘ０，ｖ０）から（ｘ，ｖ）へのモデルの応答が構築され計算され得る。「因果画像」および／または因果ベクトルは、本明細書でさらに説明される１つ以上の方法および／またはアルゴリズムを用いて計算される。（ｘ０，ｖ０）の選択はアプリケーションとアルゴリズムに基づく。
別の実施形態において、診断コンポーネントは１つ以上の因果部分を、局所感度を計算することによって決定するように構成される。例えば、参照によりあたかも本明細書に完全に記載されるかのごとく援用される、シモニャン（Ｓｉｍｏｎｙａｎ）等による「Ｄｅｅｐ ｉｎｓｉｄｅ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ： Ｖｉｓｕａｌｉｚｉｎｇ ｉｍａｇｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｍｏｄｅｌ ａｎｄ ｓａｌｉｅｎｃｙ ｍａｐｓ」ＩＣＬＲ Ｗｏｒｋｓｈｏｐ， ２０１４に記載されるように、因果画像は局所感度として計算され得る。
Figure 0007049331000001
 本明細書に記載の実施形態はさらに上記参考文献に記載されるように構成されてよい。
別の実施形態では、診断コンポーネントは、１つ以上の因果部分を因果バックプロパゲーションによって決定するように構成される。例えば、診断コンポーネントは深層学習モデルのトップダウンバックプロパゲーションを実行してよい。各層でのバックプロパゲーションプロセスには、３つの利用可能な入力がある：（１）以前の層からの活性化値、（２）この層に関する訓練されたパラメータ、および（３）次の層からバックプロパゲートされた因果値。一般に、因果バックプロパゲーション関数は、画素ごとの因果スコアを、層計算と、上記の３つの入力とに基づいて入力空間（すなわち次元）に割り当てるための、畳み込み層、完全接続層、種々の活性化層、種々のプーリング層等を含むがそれらに限定されない各層タイプについて設計され得る。因果バックプロパゲーションは最高層（すなわち、ネットワークの出力層）または、因果値が途中で初期化され得ることを考慮して任意の中間層で開始され得る。因果バックプロパゲーションが最下層（すなわち、ネットワークの入力層）にバックプロパゲートされると、因果的な重みが画像空間内に因果画像を形成する。因果画像内にハイライトされる領域が、深層学習モデルに決断させる（すなわち、決断させた情報を決定する）領域である。
一部の実施形態では、診断コンポーネントは、逆畳み込みヒートマップアルゴリズムを用いて実行された因果バックプロパゲーションによって１つ以上の因果部分を決定するように構成される。逆畳み込みヒートマップは、因果バックプロパゲーションの１つの特定の実装として考慮され得る。例えば、参照によりあたかも本明細書に完全に記載されるかのごとく援用される、ツエイラー（Ｚｅｉｌｅｒ）等による「Ｖｉｓｕａｌｉｚｉｎｇ ａｎｄ ｕｎｄｅｒｓｔａｎｄｉｎｇ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ」ＥＣＣＶ，２０１４，ｐｐ．８１８－８３３記載のように、因果画像は、深層学習モデルの出力をバックプロパゲーション則によって画素／特徴（すなわち、ｘおよびｖ）空間にマッピングし戻すことによって計算され得る。本明細書に記載の実施形態はさらにこの参考文献に記載されるように構成されてよい。
さらに別の実施形態では、診断コンポーネントは、層毎の関連性プロパゲーションを用いて実行された因果バックプロパゲーションによって１つ以上の因果部分を決定するように構成される。層毎の関連性プロパゲーションは、因果バックプロパゲーションの特殊な実装とも考慮され得る。例えば、参照によりあたかも本明細書に完全に記載されるかのごとく援用される、サメク（Ｓａｍｅｋ）等による「Ｅｖａｌｕａｔｉｎｇ ｔｈｅ ｖｉｓｕａｌｉｚａｔｉｏｎ ｏｆ ｗｈａｔ ａ Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｈａｓ ｌｅａｒｎｅｄ」ａｒＸｉｖ：１５０９．０６３２１に記載されるように、因果画像／ベクトルは、保存則に基づいて関連性をバックプロパゲートすることによって計算され得る。本明細書に記載の実施形態はさらにこの参考文献に記載されるように構成されてよい。
付加的な実施形態において、診断コンポーネントは、ディープリフトアルゴリズムを用いて実行される因果バックプロパゲーションによって１つ以上の因果部分を決定するように構成される。ディープリフトアルゴリズムは、因果バックプロパゲーションの特殊な実装とも考慮され得る。例えば、参照によりあたかも本明細書に完全に記載されるかのごとく援用される、スリクマール（Ｓｈｒｉｋｕｍａｒ）等による「Ｎｏｔ Ｊｕｓｔ Ａ Ｂｌａｃｋ Ｂｏｘ： Ｌｅａｒｎｉｎｇ Ｉｍｐｏｒｔａｎｔ Ｆｅａｔｕｒｅｓ ｔｈｒｏｕｇｈ ｐｒｏｐａｇａｔｉｎｇ ａｃｔｉｖａｔｉｏｎ ｄｉｆｆｅｒｅｎｃｅｓ」、ａｒＸｉｖ、１６０５．０１７１３に記載のように、因果画像／ベクトルは、深層学習モデルの活性化の差をバックプロパゲートすることによって計算され得る。本明細書に記載の実施形態はさらにこの参考文献に記載されるように構成されてよい。
さらなる実施形態では、診断コンポーネントは、１つ以上の因果部分を大域平均プーリングによって決定するように構成される。参照によりあたかも本明細書に完全に記載されるかのごとく援用される、リン（Ｌｉｎ）等による「Ｎｅｔｗｏｒｋ Ｉｎ Ｎｅｔｗｏｒｋ」ａｒＸｉｖ：１３１２．４４００に記載のように、大域平均プーリング（ＧＡＰ）が導入されて定義される。ＧＡＰは粗画素レベルの因果領域情報を提供し、それはほぼ因果画像／ベクトルとして解釈され得る。本明細書に記載の実施形態はさらに上記参考文献に記載のように構成されてよい。
一部の付加的な実施形態では、診断コンポーネントは、勾配への経路積分を計算することによって１つ以上の因果部分を決定するように構成される。参照によりあたかも本明細書に完全に記載されるかのごとく援用される、サンダララジャン（Ｓｕｎｄａｒａｒａｊａｎ）等による「Ａｘｉｏｍａｔｉｃ Ａｔｔｒｉｂｕｔｉｏｎ ｆｏｒ Ｄｅｅｐ Ｎｅｔｗｏｒｋｓ」ａｒＸｉｖ：１７０３．０１３６５と同様に、因果画像は勾配への経路積分として計算され得る。
Figure 0007049331000002
 式中、ｔは、本明細書でさらに論じるように、（ｘ，ｖ）から（ｘ’，ｖ’）への経路である。本明細書に記載の実施形態はさらにこの参考文献に記載されるように構成されてよい。
別の実施形態では、診断コンポーネントは、部分従属プロットを計算することによって１つ以上の因果部分を決定するように構成される。部分従属プロット（ＰＤＰ）は、参照によりあたかも本明細書に完全に記載されるかのごとく援用される、フリードマン（Ｆｒｉｅｄｍａｎ）による「Ｇｒｅｅｄｙ Ｆｕｎｃｔｉｏｎ Ａｐｐｒｏｘｉｍａｔｉｏｎ： Ａ Ｇｒａｄｉｅｎｔ Ｂｏｏｓｔｉｎｇ Ｍａｃｈｉｎｅ」、Ｔｈｅ Ａｎｎａｌｓ ｏｆ Ｓｔａｔｉｓｔｉｃｓ，２９（５）：１１８９－１２３２で紹介されている。因果画像は
Figure 0007049331000003
 として計算され得る。本明細書に記載の実施形態はさらにこの参考文献に記載されるように構成されてよい。
付加的な実施形態では、診断コンポーネントは、経路積分で部分従属プロットを計算することによって１つ以上の因果部分を決定するように構成される。Ｐ（ｘ）（またはＰ（ｖ））は高次の寸法上に定義されるため、上記の積分は実際には扱えず、出来ることは、Ｐ（ｘ）をｘからｘ’への経路に沿ったｘの確率分布として定義することによってＰＤＰを経路積分と結合する（ＰＤＰＰＩ）ことである。ＰＤＰＰＩの式は以下である。
Figure 0007049331000004
 同様に、ＰＤＰＰＩは勾配上に定義されてもよい。
Figure 0007049331000005
診断コンポーネントはさらに、１つ以上の機能を、画像の決定された１つ以上の因果部分に基づいて実行するように構成されてもよい。１つ以上の機能は、本明細書でさらに説明される機能のうち任意の機能を含んでよい。
一部の実施形態では、１つ以上の機能は、定義された１つ以上の因果部分に基づいて深層学習モデルの１つ以上のパラメータを変更することを含む。例えば、診断コンポーネントは、１つ以上の因果部分が画像の正しい因果部分（複数の場合あり）であるかどうかを決定してもよく、それは、本明細書にさらに記載されるように実行されてよい。１つ以上の因果部分が正しくない場合、診断コンポーネントは、深層学習モデルを微調整または再訓練して、それによって本明細書に記載のパラメータのうちいずれを含んでもよい深層学習モデルの１つ以上のパラメータを変更するように構成されてよい。深層学習モデルの微調整または再訓練は、付加的な訓練画像を深層学習モデルに入力し、訓練画像に関して生成された出力を、訓練画像の既知の出力（例えば、欠陥分類（複数の場合あり）、セグメンテーション領域（複数の場合あり）等）と比較し、深層学習モデルによって付加的な訓練画像に関して生成される出力が、付加的な訓練画像に関する既知の出力に実質的に一致するまで深層学習モデルの１つ以上のパラメータを変更することを含んでよい。さらに、診断コンポーネントは、深層学習モデルの１つ以上のパラメータを、定義された１つ以上の因果部分に基づいて変更するために、任意の他の方法および／またはアルゴリズムを実行するように構成されてよい。
一実施形態において、１つ以上の機能は、情報を決定させた１つ以上の因果部分が、画像の正しい１つ以上の因果部分であるかどうかを決定することを含む。例えば、本明細書にさらに記載されるように、画像の正しい１つ以上の因果部分は一人または複数人のユーザによって識別されてよく、次に、正しい１つ以上の因果部分は、決定された１つ以上の因果部分と比較されて、正しい因果部分と決定された因果部分が一致するかを決定する、および／または正しい因果部分と決定された因果部分の差を決定できる。画像の正しい因果部分（複数の場合あり）は、ユーザからというよりは、別の方法またはシステムから取得されてもよい。例えば、画像を、既知の許容できる機能性を有する異なる深層学習モデルに入力することによって、本明細書に記載の診断コンポーネントは、異なる深層学習モデルによって情報を決定させた画像の因果部分（複数の場合あり）を決定するために構成または使用され得る。異なる深層学習モデルの既知の許容できる機能性を考慮して、これらの１つ以上の因果部分は、正しい１つ以上の因果部分であると仮定されることができ、それは次に、深層学習モデルが、画像の正しい１つ以上の因果部分を識別したかどうかを判断するために、深層学習モデル向けの診断コンポーネントによって決定された１つ以上の因果部分と比較され得る。
別の実施形態では、１つ以上のコンポーネントは、少なくとも、画像、決定された情報および決定された１つ以上の因果部分をユーザに表示するように構成された視覚化コンポーネントを含む。例えば、視覚化コンポーネントによってユーザに表示される情報／データは、入力データ（ｘ，ｖ）、予測ｙおよび関連する出力、因果画像および／または因果ベクトル、すなわち因果部分（複数の場合あり）、グラウンドトゥルース（存在すれば）およびその他の関連データおよび／またはメタデータを含み得るがそれらに限定されない。視覚化コンポーネントは、本明細書でさらに説明されるようなシステム上で訓練された深層学習モデルで展開されてよい。視覚化コンポーネントは、当技術分野で知られる任意の適切なグラフィカルユーザインターフェース（ＧＵＩ）で展開されてもよい。視覚化コンポーネントは垂直ランタイムモードで使用不可にされ、診断モードで使用可能にされてよい。視覚化コンポーネントが使用可能にされると、選択された入力データに関して因果画像が生成されて表示される。因果画像は、ドメインエキスパートなどの１以上のユーザまたはクラウドソーシングまたは比較アルゴリズムおよび／または方法などによって、領域ラベル（利用可能な場合）に比較してチェックされてよい。このように、本明細書に記載の実施形態は、深層学習モデルによって、特定の入力への予測の因果に関する視覚化を提供する。
図３は、本明細書に記載の実施形態によって実行され得る１つ以上のステップを示す。図３は、本明細書でさらに説明される１つ以上のステップに加えて、本明細書に記載の実施形態によって、または別のシステムまたは方法によって実行され得る深層学習モデルを展開または作成するために実行され得るステップも示している。深層学習モデル展開ワークフローは、本明細書に記載のいずれのイメージングツールを含んでもよいイメージングツール３００からのデータ収集３０２を含んでよい。収集されるデータは、本明細書に記載のイメージングツールのいずれかの本明細書でさらに説明される出力（例えば、画像、画像データ等）を含んでよい。収集されるデータは、同じタイプであっても同じタイプでなくてもよい１つ以上の試料に関するものである（例えば、同じタイプの複数の試料またはそのうち少なくとも１つが他とは異なるタイプである複数の試料）。したがってデータ収集３０２はローデータ３０４を生成する。
深層学習モデル展開ワークフローはデータラベリング３０６と随意のデータ水増し３１２も含んでよい。データラベリングは、クラウドまたは１つ以上のエキスパートからの入力などのユーザ入力３０８に基づいて実行されてよい。データラベリングは任意の適切な方式で実行されてよく、ラベルは当技術分野で知られる任意の適切なラベルであってよい。データラベリング３０６はラベル３１０を生成してよい。データ水増しは、本明細書にさらに記載されるように実行されてよく、処理済みデータ３１４を生成してよい。ラベルと処理済みデータは次に、任意の適切な方式で実行されてよい統合３１６で統合されてよく、それによってデータとラベル３１８を生成する。
深層学習モデル展開ワークフローはデータパーティション３２０も含んでよく、そこでデータとラベル３１８は、訓練データ３２２、検証データ３２４およびテストデータ３２６に分離される。データパーティションは任意の適切な方式で実行されてよい。例えば、データとラベルは、一部のデータ（およびその対応するラベル）が訓練用に利用可能であって使用され、一部の別のデータ（およびその対応するラベル）が検証用に使用され、さらに別のデータ（およびその対応するラベル）が検査用に使用されように、３つの異なる等分な部分に単純に分割されてよい。
訓練データ３２２は、任意の適切な方式で実行されてよいモデル訓練３２８への入力であってよい。例えば、モデル訓練は、深層学習モデルに訓練データを入力し、モデルの出力がデータに割り当てられたラベルと同じ（または実質的に同じ）になるまでモデルの１つ以上のパラメータを修正することを含んでよい。モデル訓練３２８は１つ以上の訓練されたモデルを生成してよく、それは次に、検証データ３２４を使用して実行されるモデル選択３３０に送信される。１つ以上の訓練されたモデルに入力された検証データ向けの各１つ以上の訓練されたモデルによって生成された結果は、モデルのうちどれがベストモデル、例えばベストモデル３３２であるかを判断するために検証データに割り当てられたラベルと比較されてよい。例えば、検証データラベルと最も近く一致する結果を生成したモデルがベストモデルとして選択されてよい。次に、テストデータ３２６がベストモデル３３２のモデル評価３３４用に使用され得る。モデル評価は任意の適切な方式で実行されてよい。例えば、テストデータは、ベストモデルへの入力であってよく、テストデータに関してベストモデルによって生じた結果は、ベストモデルによって生じた結果がラベルにどの程度近く一致するかを決定するために、テストデータのラベルと比較されてよい。ベストモデル３３２はさらにモデル展開３３８に送信されてよく、そこで生成またはランタイムモード（ポスト訓練モード）で使用するためにベストモデルがイメージングツール３００に送信され得る。次にベストモデルは、イメージングツールによって生成された付加的な画像、データ、出力等に適用されてよい。
モデル評価結果は、視覚化３３６に送信されてもよく、それは、本明細書に記載のシステムのうち１つ以上によって実行されてよく、情報を決定させた画像の１つ以上の因果部分を決定することを含んでよく、画像の決定された１つ以上の因果部分に基づいて１つ以上の機能を実行するためのものである。言い換えると、図３に示される「視覚化」は本質的に診断コンポーネントの本明細書に記載の機能性のいずれであってもよい。一部の事例では、深層学習モデルによって試料に関して生成された画像から決定された情報は、モデル展開３３８を介して診断コンポーネントまたは視覚化３３６に提供されてもよい。しかしながら、深層学習モデルによって試料に関して生成された画像から決定された情報は、モデル評価３３４を介して診断コンポーネントまたは視覚化３３６に提供されてもよい。
１つのそのような実施形態において、１つ以上のコンポーネントは、表示後にユーザから入力を受け取るように構成されたユーザインターフェースコンポーネントを含み、診断コンポーネントによって実行される１つ以上の機能は、ユーザからの入力に基づいて決定される。例えば、本明細書に記載の実施形態は、ユーザが、深層学習モデルによって学習された正しい因果関係を強化することを可能にする。１つの特定の例において、本明細書にさらに記載されるように、１つ以上のユーザは画像入力の正しい因果部分（複数の場合あり）に関して本明細書に記載の実施形態に入力を提供してよい。ユーザから受け取った正しい因果部分（複数の場合あり）は次に、本明細書に記載の１つ以上の他の機能を実行するために用いられる。ユーザインターフェースコンポーネントは、ユーザから入力を受け取るために用いられ得る当技術分野で知られる任意の適切な構成を有してよい。
別の実施形態において、１つ以上の機能は、１つ以上の因果部分の１つ以上の特徴を決定し、イメージングツールから試料に関する付加的な画像を収集してそれを深層学習モデルの付加的な訓練に用いるべきかどうかを、その１つ以上の因果部分の１つ以上の特徴に基づいて判断することを含む。例えば、診断コンポーネントまたは視覚化３３６は、図３に示すようにモデル評価後に追加されてよく、因果保証が、ａ）１つのタイプまたはクラスのかなりのサンプルで、および／またはｂ）数種のタイプまたはクラスのかなりのサンプルで、不備であった場合に、データ収集３０２にフォールバックしてよい。この経路が選択された場合、エラータイプまたはクラスの余分データが、さらなる訓練のためにイメージングツール３００から収集される。例えば、図３に示すように、視覚化３３６は付加的なデータ収集に関する命令などの出力をデータ収集３０２ステップに送信してよく、それはイメージングツール３００を使用して実行されてよい。付加的なデータ収集は、初期データ収集に使用されたのと同じ試料および／または以前のデータ収集に用いられなかった異なる試料を用いて実行されてよい。
付加的なデータ収集は、元のデータ収集と同じイメージングパラメータで実行されても、元のデータ収集と同じイメージングパラメータで実行されなくてもよい。例えば、深層学習モデル用の入力データを生成するためにより適切な異なるイメージングパラメータを備えた異なるまたはより良いデータの収集を試みることが有益であり得る。このように、本明細書に記載の実施形態は反復フィードバックループをも提供してよく、反復フィードバックループにおいて、モデルが訓練され評価され、適切なモデルが生成され訓練され得ない場合、適切に訓練されたモデルの開発と訓練をもたらす適切な画像またはデータが生成されるまで、異なるイメージングパラメータでの異なるイメージングデータが生成され得る。付加的なデータ収集を包含するフォールバック経路は、ドメインエキスパートおよび／または他のユーザ（複数の場合あり）が、正しい因果関係をより細かく学習するために深層学習モデルを強化および微調整することも可能にする。
別の実施形態では、１つ以上の機能は、１つ以上の因果部分の１つ以上の特徴を決定して、１つ以上の因果部分の１つ以上の特徴に基づいて画像を変更し、それによって深層学習モデルへの入力のための水増しされた画像を生成することを含む。例えば、実施形態は、１つ以上の特徴からシステムによって生成されたガイダンスに基づいて入力画像を水増ししてもよい。因果部分（複数の場合あり）の１つ以上の特徴に基づいて画像を変更し、それによって水増しされた画像を生成することは、本明細書にさらに記載されるように実行されてよい。
付加的な実施形態において、１つ以上の機能は、１つ以上の因果部分の１つ以上の特徴を決定し、深層学習モデルに入力される付加的な画像に適用するデータ水増し法を生成することを含む。例えば、実施形態は、１つ以上の特徴からシステムによって生成されたガイダンスに基づいて、新規のデータ水増し法の１つ以上のパラメータを生成する、および／または既存のデータ水増し法の１つ以上のパラメータを変更して、それによってデータ水増し法を生成してよい。データ水増し法は、因果部分（複数の場合あり）がそれに関して決定され深層学習モデルに入力された画像、および／または深層学習モデルに未だ入力されていないが入力されることになっている画像に適用され得る。
上述の実施形態において、診断コンポーネントまたは視覚化３３６は、図３に示したモデル評価の後に追加されてよく、因果保証が、ａ）１つのタイプまたはクラスの少しのサンプルで、ｂ）ラベリングが曖昧なサンプルで、ｃ）複数のタイプまたはクラスに属するサンプルで、またはこれらの何らかの組み合わせで不備であった場合に、データ水増し３１２にフォールバックしてよい。この経路が選択された場合、因果画像（視覚化３３６または診断コンポーネントからの）と、ラベリングされた因果領域または部分（例えば、ドメインエキスパートまたはクラウドソーシングから）が比較されて、データ水増し法を生成する。データ水増し法は、イメージングツールによって生成されたデータまたは画像に、マスク、関数、フィルタ、アルゴリズム等を適用することを含んでよい。マスク、関数、フィルタ、アルゴリズム等は、ランダム、ファジー、またはノイジーなどの任意の適切なタイプまたはフォーマットを有してよい。データ水増し法は、画像またはデータの因果部分（複数の場合あり）（または入力画像またはデータのプラスの貢献部分）を有利に増強し得る、および／または、画像またはデータの非因果部分（複数の場合あり）（または、画像またはデータの概ね無関係な部分および／またはマイナスの貢献部分（複数の場合あり）の増強を抑えてよい。
１つのそのような例において、因果情報は１つの入力画像に関して生成されてよく、その因果情報内の関連領域が、検出すべき欠陥に一致した場合（欠陥検出または分類の場合）、診断コンポーネントは、モデルが正しく予測したため、水増しの実行の必要はないと判断してよい。しかしながら、関連領域が欠陥の一部のみに一致するか、または欠陥に全く一致しない場合（欠陥検出または分類の場合）診断コンポーネントは、水増し法が有益であり得ると判断してもよく、ユーザに、可能な水増し法の入力を要求してもよい。次にユーザは例えば、バウンディングボックス、ロケーション等を介して、入力画像内の１つ以上の注目部分および／または１つ以上の対象外（ｉｇｎｏｒｅ）領域を指定してもよい。これらのユーザ指定部分に関する情報は水増しステップに送られ、例えば、ノイズをゼロにするか追加することによって対象外部分（複数の場合あり）をランダムに撹乱する、および／または注目部分（複数の場合あり）をランダムに変換することによって入力画像を変えることができる。
データ水増し法は次に、対応する入力データに適用されて、それによって新規の増強されたデータを生成できる。例えば、図３に示すように、視覚化３３６は、新規のデータ水増し法をデータ水増し３１２ステップに送信してよく、それはローデータ３０４に適用されてよい。データ水増しを包含するフォールバック経路は、ドメインエキスパートおよび／または他のユーザ（複数の場合あり）が、正しい因果関係をより細かく学習するために深層学習モデルを強化および微調整することも可能にする。
データ水増し３１２は、したがって、いつ実行されるかと、どの情報に基づいて実行されるかによって別様に実行されてよい。例えば、最初の行程（また因果部分（複数の場合あり）に関する情報を入手する前に実行された行程）では、水増しは随意であり、変換、回転、ミラーリング等の物理的変換（複数の場合あり）を実行することのみを包含してよい。しかしながら、後事の行程（複数の場合あり）で、因果情報（例えば、因果マップ／因果ベクトル）また恐らくは１つまたは複数のユーザ入力が利用可能である場合、水増しは、診断コンポーネントおよび（随意の）ユーザ入力によって決定された因果情報を用いて実行されて、水増しされたデータを生成してもよい。
モデル評価後に実行される視覚化ステップはさらに、因果保証が通った場合にモデル展開にフォールバックしてもよい。言い換えると、視覚化３３６が、付加的なデータを収集すべきであると、および／または新規のまたは変更されたデータ水増し法が生成および／または試験されるべきであると判断しなかった場合、このモデルは、ランタイムまたは製造に使用される訓練されたモデルとして展開されてよい。
図４は、本明細書に記載の実施形態によって実行され得る１つ以上のステップを示す。図４は、本明細書でさらに説明される１つ以上のステップに加えて、本明細書に記載の実施形態によって、または別のシステムまたは方法によって実行され得る深層学習モデルを展開または作成するために実行され得るステップも示している。深層学習モデル展開ワークフローは、本明細書に記載のいずれのイメージングツールを含んでもよいイメージングツール４００からのデータ収集４０２を含んでよい。収集されるデータは、本明細書に記載のイメージングツールのいずれかの本明細書でさらに説明される出力（例えば、画像、画像データ等）を含んでよい。収集されるデータは、同じタイプであっても同じタイプでなくてもよい（例えば、同じタイプの複数の試料、または少なくとも１つが他とは異なるタイプである複数の試料）１つ以上の試料に関して収集される。したがってデータ収集４０２はローデータ４０４を生成する。
深層学習モデル展開ワークフローはデータラベリング４０６と随意のデータ水増し４１２も含んでよい。データラベリングは、クラウドおよび／または１つ以上のエキスパートからの入力などのユーザ入力４０８に基づいて実行されてよい。データラベリングは任意の適切な方式で実行されてよく、ラベルは当技術分野で知られる任意の適切なラベルであってよい。データラベリング４０６はラベル４１０を生成してよい。データ水増しは、本明細書にさらに記載されるように実行されてよく、処理済みデータ４１４を生成してよい。ラベルと処理済みデータは次に、任意の適切な方式で実行されてよい統合４１６で統合されてよく、それによってデータとラベル４１８を生成する。
深層学習モデル展開ワークフローはデータパーティション４２０も含んでよく、そこでデータとラベル４１８は、訓練データ４２２と、本明細書に記載の任意の別のデータ（図４には示していない）に分離される。データパーティションは任意の適切な方式で実行されてよい。例えば、データとラベルは、一部のデータ（およびその対応するラベル）が訓練用に利用可能であって使用され、他のデータ（およびその対応するラベル）が他の目的に利用可能であって使用されるように、異なる等分な部分に単純に分割されてよい。
訓練データ４２２は、任意の適切な方式で実行されてよいモデル訓練１ ４２４への入力であってよい。例えば、モデル訓練は、深層学習モデルに訓練データを入力し、モデルの出力がデータに割り当てられたラベルと同じ（または実質的に同じ）になるまでモデルの１つ以上のパラメータを修正することを含んでよい。モデル訓練１ ４２４は１つ以上の訓練されたモデルを生成してよく、それは次に、任意の適切な方式で実行されてよいモデル選択４２６に送られる。例えば、１つ以上の訓練されたモデルそれぞれによって生成された結果は、モデルのうちどれがベストモデル、例えばベストモデル１ ４２８であるかを判断するために検証データに割り当てられたラベルと比較されてよい。例えば、検証データラベルと最も近く一致する結果を生成したモデルが、ベストモデルとして選択されてよい。次に、テストデータがベストモデル１ ４２８のモデル評価４３０用に使用され得る。モデル評価は任意の適切な方式で実行されてよい。例えば、テストデータは、ベストモデル１への入力であってよく、テストデータのベストモデル１によって生じた結果は、ベストモデル１によって生じた結果がラベルにどの程度近く一致するかを決定するために、テストデータのラベルと比較されてよい。ベストモデル１ ４２８はさらにモデル展開４４４に送信されてよく、そこで生成またはランタイムモード（ポスト訓練モード）で使用するためにベストモデル１がイメージングツール４００に送信され得る。次にベストモデル１は、イメージングツールによって生成された付加的な画像、データ、出力等に適用されてよい。
モデル評価結果は、検出４３２に送信されてもよく、それは、本明細書に記載のシステムのうち１つ以上によって実行されてよく、情報を決定させた画像の１つ以上の因果部分を決定することを含んでよい。別の実施形態では、１つ以上の機能は、１つ以上の因果部分を画像内の１つ以上の関心領域（ＲＯＩ）として識別し、その１つ以上のＲＯＩに基づいて深層学習モデルを調整することを含む。例えば、因果バックプロパゲーションまたは本明細書に記載の別の因果部分決定法が、元の深層学習モデルをより良く調整するために半教師ありＲＯＩ検出として用いられてよい。これが「半教師あり」と呼ばれる理由は、ベストモデル１のためのラベリングプロセスは厳密に各物体に関するバウンディングボックスを必要としないからである。このように、１つ以上の因果部分が、識別された半教師あり領域検出情報として使用されてよい。言い換えると、本明細書に記載の診断コンポーネントは、モデル評価後に検出モジュールとして使用されて、ＲＯＩ（複数の場合あり）を自動生成してもよい。言い換えると、因果部分（複数の場合あり）は、出力生成（例えば、分類または予測）の要因である重要な画素またはより高次の特徴を指定する。したがって、因果部分情報は画素レベルの位置情報を提供する。
例えば、図４に示すように、検出４３２はＲＯＩ４３４を生成してもよく、ＲＯＩ４３４は、ＲＯＩとして識別された任意の１つ以上の因果部分に関する情報を含んでよく、その情報は、ベストモデル１から出力（例えば、クラス予測）とともに候補パッチへの元画像のトリミング４３６のために使用されてよい。特に、元画像はＲＯＩ（複数の場合あり）に対応しない元画像の部分（複数の場合あり）を除去するためにトリミングされてよい。１つのそのような例において、トリミング４３６によって生成されたトリミングされた画像（複数の場合あり）４３８はデータパーティション４２０に出力されてよく、するとデータパーティション４２０はトリミングされた画像を用いて付加的な訓練データ４２２を生成し、それは元の訓練データを置き換えてよい。次に新規訓練データが、ベストモデル１を調整するために用いられてよい。例えば、新規訓練データは、ベストモデル１のパラメータを調整または微調整するために用いられ得るモデル訓練１ ４２４に入力されてよく、それは結果をモデル選択４２６に出力してよい。モデル選択は、元々生成されていたベストモデル１の修正版であり得るベストモデル１ ４２８を生成してよい。次に、新規のベストモデル１は上述のように評価されて、さらなる別の訓練データを生成するために用いられ得るＲＯＩ（複数の場合あり）の検出のために用いられることができ、それはベストモデル１を再び再調整するために使用され得る。このように、本明細書に記載の実施形態は、深層学習モデルの前バージョンによって定義されたＲＯＩ（複数の場合あり）に基づいて深層学習モデルを反復的に調整するためのシステムを提供する。
一部の実施形態では、１つ以上の機能は、１つ以上の因果部分を画像内の１つ以上のＲＯＩとして識別することを含み、それは本明細書に記載のように実行されてよく、さらに、１つ以上のＲＯＩに基づいて付加的な深層学習モデルを訓練することを含む。例えば、因果バックプロパゲーションまたは本明細書に記載の別の因果部分決定方法は、トリミングされた画像に基づいて、第２の「より正確な」深層学習モデルを訓練するための半教師ありＲＯＩ検出として用いられ得る。これが「半教師あり」と呼ばれる理由は、ベストモデル１のためのラベリングプロセスは厳密に各物体に関するバウンディングボックスを必要としないからである。例えば、図４に示すように、トリミングされた画像４３８はモデル訓練２ ４４０に提供されてよい。モデル訓練２は、本明細書に記載のように実行され得るが、モデル訓練１ ４２４で訓練されたものとは異なる深層学習モデルを用いて実行されてよい。モデル訓練２の結果は、ベストモデル２ ４４２を生成してよく、それは次に、本明細書にさらに記載されるように実行されてよいモデル展開４４４に提供されよい。
したがって、本明細書で提示される実施形態の説明からわかるように、本明細書に記載される実施形態は、深層学習モデルを評価するための従来使用されていた方法と比べていくつかの新規且つ有利な特徴および／または機能性を提供する。例えば、本明細書に記載の実施形態は、ユーザの知識を深層学習モデル展開ワークフローに系統的にフィードバックする方法を可能にする。さらに、本明細書に記載の実施形態は、何故深層学習モデルが種々のアルゴリズムを介して予測を行うかを理解する方策を可能にする。さらに、本明細書に記載の実施形態は深層学習モデル向けの診断を提供する。本明細書に記載の実施形態はさらに、訓練された深層学習モデルに因果保証を提供する。さらに、本明細書に記載の実施形態は、ユーザ主導のデータ水増しおよび／または半教師あり領域検出およびトリミングされたＲＯＩ画像への微調整を提供する。
本明細書に記載のコンピュータサブシステム（複数の場合あり）はさらに、参照によりあたかも本明細書に完全に記載されるかのごとく援用される、２０１７年５月１８日に公開されたカーセンティ（Ｋａｒｓｅｎｔｉ）等による米国特許出願公開第２０１７／０１４０５２４号に記載のような単一画像検出向けに構成されてよい。本明細書に記載の実施形態はさらに、参照によりあたかも本明細書に完全に記載されるかのごとく援用される、所有者が共通する、２０１７年５月１８日に公開されたカーセンティ（Ｋａｒｓｅｎｔｉ）等による米国特許出願公開第２０１７／０１４０５２４号、２０１７年５月２５日に公開されたザング（Ｚｈａｎｇ）等による米国特許出願公開第２０１７／０１４８２２６号、２０１７年７月６日に公開されたバスカー（Ｂｈａｓｋａｒ）等による米国特許出願公開第２０１７／０１９３４００号、２０１７年７月６日に公開されたザング（Ｚｈａｎｇ）等による米国特許出願公開第２０１７／０１９３６８０号、２０１７年７月６日に公開されたバスカー（Ｂｈａｓｋａｒ）等による米国特許出願公開第２０１７／０１９４１２６号、２０１７年７月１３日に公開されたバスカー（Ｂｈａｓｋａｒ）等による米国特許出願公開第２０１７／０２００２６０号、２０１７年７月１３日に公開されたパーク（Ｐａｒｋ）等による米国特許出願公開第２０１７／０２００２６４号、２０１７年７月１３日に公開されたバスカー（Ｂｈａｓｋａｒ）等による米国特許出願公開第２０１７／０２００２６５号、および２０１７年５月２３日に出願されたザング（Ｚｈａｎｇ）等による米国特許出願第１５／６０３，２４９号に記載のように構成されてよい。本明細書に記載の実施形態は、これらの特許出願公開および出願に記載の任意のステップを実行するように構成されてもよい。
１つ以上のコンピュータサブシステムは、本明細書に記載の１つ以上のステップの結果を生成するように構成されてよい。結果は、決定された情報、決定された因果部分（複数の場合あり）、１つ以上の機能の結果等の本明細書に記載の結果のうちいずれを含んでもよい。結果は、コンピュータサブシステム（複数の場合あり）によって任意の適切な方式で生成されてよい。結果は、標準ファイルタイプなどの任意の適切な形式またはフォーマットを有してよい。コンピュータサブシステム（複数の場合あり）は、結果を生成し、結果が、深層学習モデル、イメージングツール、同じタイプの試料または別の試料の１つ以上の機能を実行するためのコンピュータサブシステム（複数の場合あり）および／または別のシステムまたは方法によって使用され得るように、その結果を記憶してよい。そのような機能は、限定はしないが、試料に実行された製造プロセスまたはステップをフィードバック方式で変更すること、試料に実行されることになっている製造プロセスまたはステップをフィードフォワード方式で変更すること等を含む。
システムの別の実施形態は、深層学習モデルのための診断機能を実行するようにも構成される。システムは、試料の画像を生成するように構成されたイメージングツールを含む。イメージングツールは本明細書に記載の任意の構成を有してよい。システムは、画像を取得するように構成された、例えば図１に示したコンピュータサブシステム（複数の場合あり）１０２などの１つ以上のコンピュータサブシステムをも含む。コンピュータサブシステム（複数の場合あり）は本明細書にさらに記載されるように構成されてもよい。システムは、本明細書に記載のコンポーネント（複数の場合あり）のうちいずれを含んでもよい１つ以上のコンピュータサブシステムによって実行される、例えばコンポーネント（複数の場合あり）１００である１つ以上のコンポーネントも含む。コンポーネント（複数の場合あり）は、本明細書に記載のように構成されてよい深層学習モデル１０４を含む。例えば、深層学習モデルは、イメージングツールによって試料に関して生成された画像から情報を決定するように構成される。コンポーネント（複数の場合あり）は、情報を決定させた画像の１つ以上の因果部分を決定し、画像の決定された１つ以上の因果部分に基づいて１つ以上の機能を実行するように構成された診断コンポーネント１０６も含む。このシステム実施形態はさらに本明細書に記載のように構成されてよい。
上述のシステムそれぞれの実施形態それぞれは、１つの単一の実施形態に統合されてよい。
別の実施形態は、深層学習モデルの診断機能を実行するためのコンピュータ実装方法に関する。方法は、深層学習モデルに画像を入力することによって、イメージングツールによって試料に関して生成された画像から情報を決定することを含む。方法はさらに、情報を決定させた画像の１つ以上の因果部分を、診断コンポーネントに情報を入力することによって決定することを含む。さらに、方法は、診断コンポーネントで、画像の決定された１つ以上の因果部分に基づいて１つ以上の機能を実行することを含む。深層学習モデルと診断コンポーネントは、１つ以上のコンピュータシステムによって実行される１つ以上のコンポーネントに含まれる。
方法の各ステップは、本明細書にさらに記載されるように実行されてよい。方法は、システム、コンピュータサブシステム（複数の場合あり）および／または本明細書に記載のイメージングツールによって実行され得る任意の別のステップ（複数の場合あり）も含んでよい。１つ以上のコンピュータシステムおよび１つ以上のコンポーネントは、例えば、コンピュータサブシステム（複数の場合あり）１０２、コンポーネント（複数の場合あり）１００、深層学習モデル１０４および診断コンポーネント１０６などは本明細書に記載の実施形態のいずれかに従って構成されてもよい。上述の方法は、本明細書に記載のシステム実施形態のいずれによって実行されてもよい。
付加的な実施形態は、深層学習モデルの診断機能を実行するためのコンピュータ実装方法を実行するための１つ以上のコンピュータシステム上で実行可能なプログラム命令を記憶する非一時的コンピュータ可読媒体に関する。１つのそのような実施形態が図５に示されている。特に、図５に示すように、非一時的コンピュータ可読媒体５００は、コンピュータシステム（複数の場合あり）５０４上で実行可能なプログラム命令５０２を含む。コンピュータ実装方法は、本明細書に記載の任意の方法（複数の場合あり）の任意のステップ（複数の場合あり）を含んでもよい。
本明細書に記載のような方法を実行するプログラム命令５０２は、コンピュータ可読媒体５００に記憶されてよい。コンピュータ可読媒体は、磁気または光学ディスク、磁気テープまたは当技術分野で知られる任意の別の適切な非一時的コンピュータ可読媒体であってよい。
プログラム命令はとりわけ、手順ベースの技法、コンポーネントベースの技法および／またはオブジェクト指向技法を含む種々の方式のうちいずれで実行されてもよい。例えば、プログラム命令は、ＡｃｔｉｖｅＸコントロール、Ｃ＋＋オブジェクト、ＪａｖａＢｅａｎｓ、マイクロソフトファンデーションクラス（Ｍｉｃｒｏｓｏｆｔ Ｆｏｕｎｄａｔｉｏｎ ｃｌａｓｓｅｓ（「ＭＦＣ」）、ＳＳＥ（ストリーミングＳＩＭＤ拡張命令）またはその他の技術または方法を所望に用いて実行されてよい。
コンピュータシステム（複数の場合あり）５０４は、本明細書に記載の実施形態のいずれに従って構成されてもよい。
本発明の種々の態様のさらなる変更形態および代替実施形態は、この説明を考慮すれば当業者には明らかとなろう。例えば、深層学習モデルの診断機能を実行するための方法およびシステムが提供される。したがって、この説明は例示的としてのみ解釈され、本発明を実行する一般的方式を当業者に教示する目的として解釈されるべきである。本明細書に示され記載された本発明の形式は、本発明の好ましい実施形態として捉えられるべきであることを理解されたい。本発明のこの説明があれば当業者には明らかとなり得るように、要素および素材は、本明細書に示され記載されたものと置換されてもよく、部品およびプロセスは逆転されてもよく、本発明の特定の特徴は独立して利用されてもよい。以下の請求項に記載される本発明の趣旨と範囲から逸脱せずに、本明細書に記載の要素に変更がなされてもよい。

Claims (40)

  1. 深層学習モデルのための診断機能を実行するように構成されたシステムであって、
    １つ以上のコンピュータサブシステムと、
    前記１つ以上のコンピュータサブシステムによって実行される１つ以上のコンポーネントと、
    を備え、前記１つ以上のコンポーネントが、
    イメージングツールによって試料に関して生成された画像から情報を決定するように構成された深層学習モデルと、
    前記情報を決定させた前記画像の１つ以上の因果部分を決定し、前記画像の決定された１つ以上の因果部分に基づいて１つ以上の機能を実行するように構成された診断コンポーネントと、
    を備え、
    前記１つ以上の機能は、前記１つ以上の因果部分の１つ以上の特徴を決定し、前記１つ以上の因果部分の１つ以上の特徴に基づいて、試料に関する付加的な画像が前記イメージングツールから収集されて前記深層学習モデルの付加的な訓練に使用されるべきか否かを決定することを含む、システム。
  2. 深層学習モデルのための診断機能を実行するように構成されたシステムであって、
    １つ以上のコンピュータサブシステムと、
    前記１つ以上のコンピュータサブシステムによって実行される１つ以上のコンポーネントと、
    を備え、前記１つ以上のコンポーネントが、
    イメージングツールによって試料に関して生成された画像から情報を決定するように構成された深層学習モデルと、
    前記情報を決定させた前記画像の１つ以上の因果部分を決定し、前記画像の決定された１つ以上の因果部分に基づいて１つ以上の機能を実行するように構成された診断コンポーネントと、
    を備え、
    前記１つ以上の機能は、前記１つ以上の因果部分の１つ以上の特徴を決定し、前記１つ以上の因果部分の１つ以上の特徴に基づいて前記画像を変更して、前記深層学習モデルに入力される水増しされた画像を生成することを含む、システム。
  3. 深層学習モデルのための診断機能を実行するように構成されたシステムであって、
    １つ以上のコンピュータサブシステムと、
    前記１つ以上のコンピュータサブシステムによって実行される１つ以上のコンポーネントと、
    を備え、前記１つ以上のコンポーネントが、
    イメージングツールによって試料に関して生成された画像から情報を決定するように構成された深層学習モデルと、
    前記情報を決定させた前記画像の１つ以上の因果部分を決定し、前記画像の決定された１つ以上の因果部分に基づいて１つ以上の機能を実行するように構成された診断コンポーネントと、
    を備え、
    前記１つ以上の機能は、前記１つ以上の因果部分の１つ以上の特徴を決定し、前記深層学習モデルに入力される付加的な画像に適用するデータ水増し法を生成することを含む、システム。
  4. 前記情報は前記試料上で検出された欠陥の分類を含む、
    請求項１～３のいずれかに記載のシステム。
  5. 前記情報は前記深層学習モデルによって抽出された前記画像の特徴を含む、
    請求項１～３のいずれかに記載のシステム。
  6. 前記情報は前記画像から生成された擬似画像を含む、
    請求項１～３のいずれかに記載のシステム。
  7. 前記情報は前記画像から生成された１つ以上のセグメンテーション領域を含む、
    請求項１～３のいずれかに記載のシステム。
  8. 前記情報は前記画像から生成された多次元出力を含む、
    請求項１～３のいずれかに記載のシステム。
  9. 前記深層学習モデルは訓練された深層学習モデルである、
    請求項１～３のいずれかに記載のシステム。
  10. 前記深層学習モデルはさらにニューラルネットワークとして構成される、
    請求項１～３のいずれかに記載のシステム。
  11. 前記１つ以上の機能は、前記深層学習モデルの１つ以上のパラメータを、前記決定された１つ以上の因果部分に基づいて変更することを含む、
    請求項１～３のいずれかに記載のシステム。
  12. 前記１つ以上の機能は、情報を決定させた１つ以上の因果部分が前記画像の正しい１つ以上の因果部分であるかどうかを決定することを含む、
    請求項１～３のいずれかに記載のシステム。
  13. 前記１つ以上のコンポーネントはさらに、少なくとも前記画像、前記決定された情報、および前記決定された１つ以上の因果部分をユーザに表示するように構成された視覚化コンポーネントを備える、
    請求項１～３のいずれかに記載のシステム。
  14. 前記１つ以上のコンポーネントはさらに、前記表示の後で前記ユーザからの入力を受け取るように構成されたユーザインターフェースコンポーネントを備え、
    診断コンポーネントによって実行される前記１つ以上の機能は、前記ユーザからの前記入力に基づいて決定される、
    請求項１３に記載のシステム。
  15. 前記診断コンポーネントはさらに、前記１つ以上の因果部分を、局所感度を計算することによって決定するように構成される、
    請求項１～３のいずれかに記載のシステム。
  16. 前記診断コンポーネントはさらに、前記１つ以上の因果部分を因果バックプロパゲーションによって決定するように構成される、
    請求項１～３のいずれかに記載のシステム。
  17. 前記診断コンポーネントはさらに、前記１つ以上の因果部分を、逆畳み込みヒートマップアルゴリズムを使用して実行される因果バックプロパゲーションによって決定するように構成される、
    請求項１～３のいずれかに記載のシステム。
  18. 前記診断コンポーネントはさらに、前記１つ以上の因果部分を、層毎の関連性プロパゲーションを使用して実行される因果バックプロパゲーションによって決定するように構成される、
    請求項１～３のいずれかに記載のシステム。
  19. 前記診断コンポーネントはさらに、前記１つ以上の因果部分を、ディープリフトアルゴリズムを使用して実行される因果バックプロパゲーションによって決定するように構成される、
    請求項１～３のいずれかに記載のシステム。
  20. 前記診断コンポーネントはさらに、前記１つ以上の因果部分を、大域平均プーリングによって決定するように構成される、
    請求項１～３のいずれかに記載のシステム。
  21. 前記診断コンポーネントはさらに、前記１つ以上の因果部分を、勾配への経路積分を計算することによって決定するように構成される、
    請求項１～３のいずれかに記載のシステム。
  22. 前記診断コンポーネントはさらに、前記１つ以上の因果部分を、部分従属プロットを計算することによって決定するように構成される、
    請求項１～３のいずれかに記載のシステム。
  23. 前記診断コンポーネントはさらに、前記１つ以上の因果部分を、経路積分での部分従属プロットを計算することによって決定するように構成される、
    請求項１～３のいずれかに記載のシステム。
  24. 前記１つ以上の機能は、前記１つ以上の因果部分を前記画像内の１つ以上の関心領域として識別し、前記深層学習モデルを、前記１つ以上の関心領域に基づいて調整することを含む、
    請求項１～３のいずれかに記載のシステム。
  25. 前記１つ以上の機能は、前記１つ以上の因果部分を前記画像内の１つ以上の関心領域として識別し、付加的な深層学習モデルを前記１つ以上の関心領域に基づいて訓練することを含む、
    請求項１～３のいずれかに記載のシステム。
  26. 前記イメージングツールは検査ツールとして構成される、
    請求項１～３のいずれかに記載のシステム。
  27. 前記イメージングツールは計測ツールとして構成される、
    請求項１～３のいずれかに記載のシステム。
  28. 前記イメージングツールは電子ビームベースのイメージングツールとして構成される、 請求項１～３のいずれかに記載のシステム。
  29. 前記イメージングツールは光学ベースのイメージングツールとして構成される、
    請求項１～３のいずれかに記載のシステム。
  30. 前記試料はウェハである、
    請求項１～３のいずれかに記載のシステム。
  31. 前記試料はレチクルである、
    請求項１～３のいずれかに記載のシステム。
  32. 深層学習モデルのための診断機能を実行するように構成されたシステムであって、
    試料の画像を生成するように構成されたイメージングツールと、
    前記画像を取得するように構成された１つ以上のコンピュータサブシステムと、
    前記１つ以上のコンピュータサブシステムによって実行される１つ以上のコンポーネントと、
    を備え、前記１つ以上のコンポーネントが、
    前記イメージングツールによって試料に関して生成された画像から情報を決定するように構成された深層学習モデルと、
    前記情報を決定させた前記画像の１つ以上の因果部分を決定し、前記画像の決定された１つ以上の因果部分に基づいて１つ以上の機能を実行するように構成された診断コンポーネントと、
    を備え、
    前記１つ以上の機能は、前記１つ以上の因果部分の１つ以上の特徴を決定し、前記１つ以上の因果部分の１つ以上の特徴に基づいて、試料に関する付加的な画像が前記イメージングツールから収集されて前記深層学習モデルの付加的な訓練に使用されるべきか否かを決定することを含む、システム。
  33. 深層学習モデルのための診断機能を実行するように構成されたシステムであって、
    試料の画像を生成するように構成されたイメージングツールと、
    前記画像を取得するように構成された１つ以上のコンピュータサブシステムと、
    前記１つ以上のコンピュータサブシステムによって実行される１つ以上のコンポーネントと、
    を備え、前記１つ以上のコンポーネントが、
    前記イメージングツールによって試料に関して生成された画像から情報を決定するように構成された深層学習モデルと、
    前記情報を決定させた前記画像の１つ以上の因果部分を決定し、前記画像の決定された１つ以上の因果部分に基づいて１つ以上の機能を実行するように構成された診断コンポーネントと、
    を備え、
    前記１つ以上の機能は、前記１つ以上の因果部分の１つ以上の特徴を決定し、前記１つ以上の因果部分の１つ以上の特徴に基づいて前記画像を変更して、前記深層学習モデルに入力される水増しされた画像を生成することを含む、システム。
  34. 深層学習モデルのための診断機能を実行するように構成されたシステムであって、
    試料の画像を生成するように構成されたイメージングツールと、
    前記画像を取得するように構成された１つ以上のコンピュータサブシステムと、
    前記１つ以上のコンピュータサブシステムによって実行される１つ以上のコンポーネントと、
    を備え、前記１つ以上のコンポーネントが、
    前記イメージングツールによって試料に関して生成された画像から情報を決定するように構成された深層学習モデルと、
    前記情報を決定させた前記画像の１つ以上の因果部分を決定し、前記画像の決定された１つ以上の因果部分に基づいて１つ以上の機能を実行するように構成された診断コンポーネントと、
    を備え、
    前記１つ以上の機能は、前記１つ以上の因果部分の１つ以上の特徴を決定し、前記深層学習モデルに入力される付加的な画像に適用するデータ水増し法を生成することを含む、システム。
  35. 深層学習モデルの診断機能を実行するためのコンピュータ実装方法を実行するため、１つ以上のコンピュータシステムで実行可能なプログラム命令を記憶する非一時的コンピュータ可読媒体であって、前記コンピュータ実装方法が、
    深層学習モデルに画像を入力することによって、イメージングツールによって試料に関して生成された画像から情報を決定し、
    前記情報を診断コンポーネントに入力することによって、情報を決定させた前記画像の１つ以上の因果部分を決定し、
    診断コンポーネントで、前記画像の決定された１つ以上の因果部分に基づいて１つ以上の機能を実行し、
    前記深層学習モデルと診断コンポーネントは、前記１つ以上のコンピュータシステムによって実行される１つ以上のコンポーネントに含まれ、
    前記１つ以上の機能は、前記１つ以上の因果部分の１つ以上の特徴を決定し、前記１つ以上の因果部分の１つ以上の特徴に基づいて、試料に関する付加的な画像が前記イメージングツールから収集されて前記深層学習モデルの付加的な訓練に使用されるべきか否かを決定することを含む、
    非一時的コンピュータ可読媒体。
  36. 深層学習モデルの診断機能を実行するためのコンピュータ実装方法を実行するため、１つ以上のコンピュータシステムで実行可能なプログラム命令を記憶する非一時的コンピュータ可読媒体であって、前記コンピュータ実装方法が、
    深層学習モデルに画像を入力することによって、イメージングツールによって試料に関して生成された画像から情報を決定し、
    前記情報を診断コンポーネントに入力することによって、情報を決定させた前記画像の１つ以上の因果部分を決定し、
    診断コンポーネントで、前記画像の決定された１つ以上の因果部分に基づいて１つ以上の機能を実行し、
    前記深層学習モデルと診断コンポーネントは、前記１つ以上のコンピュータシステムによって実行される１つ以上のコンポーネントに含まれ、
    前記１つ以上の機能は、前記１つ以上の因果部分の１つ以上の特徴を決定し、前記１つ以上の因果部分の１つ以上の特徴に基づいて前記画像を変更して、前記深層学習モデルに入力される水増しされた画像を生成することを含む、
    非一時的コンピュータ可読媒体。
  37. 深層学習モデルの診断機能を実行するためのコンピュータ実装方法を実行するため、１つ以上のコンピュータシステムで実行可能なプログラム命令を記憶する非一時的コンピュータ可読媒体であって、前記コンピュータ実装方法が、
    深層学習モデルに画像を入力することによって、イメージングツールによって試料に関して生成された画像から情報を決定し、
    前記情報を診断コンポーネントに入力することによって、情報を決定させた前記画像の１つ以上の因果部分を決定し、
    診断コンポーネントで、前記画像の決定された１つ以上の因果部分に基づいて１つ以上の機能を実行し、
    前記深層学習モデルと診断コンポーネントは、前記１つ以上のコンピュータシステムによって実行される１つ以上のコンポーネントに含まれ、
    前記１つ以上の機能は、前記１つ以上の因果部分の１つ以上の特徴を決定し、前記深層学習モデルに入力される付加的な画像に適用するデータ水増し法を生成することを含む、
    非一時的コンピュータ可読媒体。
  38. 深層学習モデルの診断機能を実行するためのコンピュータに実装される方法であって、
    深層学習モデルに画像を入力することによって、イメージングツールによって試料に関して生成された画像から情報を決定し、
    診断コンポーネントに情報を入力することによって、情報を決定させた前記画像の１つ以上の因果部分を決定し、
    診断コンポーネントで、前記画像の決定された１つ以上の因果部分に基づいて１つ以上の機能を実行し、
    前記深層学習モデルと診断コンポーネントは１つ以上のコンピュータシステムによって実行される１つ以上のコンポーネントに含まれ、
    前記１つ以上の機能は、前記１つ以上の因果部分の１つ以上の特徴を決定し、前記１つ以上の因果部分の１つ以上の特徴に基づいて、試料に関する付加的な画像が前記イメージングツールから収集されて前記深層学習モデルの付加的な訓練に使用されるべきか否かを決定することを含む、
    方法。
  39. 深層学習モデルの診断機能を実行するためのコンピュータに実装される方法であって、
    深層学習モデルに画像を入力することによって、イメージングツールによって試料に関して生成された画像から情報を決定し、
    診断コンポーネントに情報を入力することによって、情報を決定させた前記画像の１つ以上の因果部分を決定し、
    診断コンポーネントで、前記画像の決定された１つ以上の因果部分に基づいて１つ以上の機能を実行し、
    前記深層学習モデルと診断コンポーネントは１つ以上のコンピュータシステムによって実行される１つ以上のコンポーネントに含まれ、
    前記１つ以上の機能は、前記１つ以上の因果部分の１つ以上の特徴を決定し、前記１つ以上の因果部分の１つ以上の特徴に基づいて前記画像を変更して、前記深層学習モデルに入力される水増しされた画像を生成することを含む、
    方法。
  40. 深層学習モデルの診断機能を実行するためのコンピュータに実装される方法であって、
    深層学習モデルに画像を入力することによって、イメージングツールによって試料に関して生成された画像から情報を決定し、
    診断コンポーネントに情報を入力することによって、情報を決定させた前記画像の１つ以上の因果部分を決定し、
    診断コンポーネントで、前記画像の決定された１つ以上の因果部分に基づいて１つ以上の機能を実行し、
    前記深層学習モデルと診断コンポーネントは１つ以上のコンピュータシステムによって実行される１つ以上のコンポーネントに含まれ、
    前記１つ以上の機能は、前記１つ以上の因果部分の１つ以上の特徴を決定し、前記深層学習モデルに入力される付加的な画像に適用するデータ水増し法を生成することを含む、
    方法。
JP2019520020A 2016-10-14 2017-09-18 半導体用途向けに構成された深層学習モデルのための診断システムおよび方法 Active JP7049331B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662408402P 2016-10-14 2016-10-14
US62/408,402 2016-10-14
US15/694,719 US11580398B2 (en) 2016-10-14 2017-09-01 Diagnostic systems and methods for deep learning models configured for semiconductor applications
US15/694,719 2017-09-01
PCT/US2017/052093 WO2018071137A1 (en) 2016-10-14 2017-09-18 Diagnostic systems and methods for deep learning models configured for semiconductor applications

Publications (2)

Publication Number Publication Date
JP2019537839A JP2019537839A (ja) 2019-12-26
JP7049331B2 true JP7049331B2 (ja) 2022-04-06

Family

ID=61904631

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019520020A Active JP7049331B2 (ja) 2016-10-14 2017-09-18 半導体用途向けに構成された深層学習モデルのための診断システムおよび方法

Country Status (8)

Country Link
US (1) US11580398B2 (ja)
JP (1) JP7049331B2 (ja)
KR (1) KR102530209B1 (ja)
CN (1) CN109844918B (ja)
IL (1) IL265742B (ja)
SG (1) SG10202104271VA (ja)
TW (1) TWI747967B (ja)
WO (1) WO2018071137A1 (ja)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10395356B2 (en) * 2016-05-25 2019-08-27 Kla-Tencor Corp. Generating simulated images from input images for semiconductor applications
US11237872B2 (en) 2017-05-23 2022-02-01 Kla-Tencor Corporation Semiconductor inspection and metrology systems for distributing job among the CPUs or GPUs based on logical image processing boundaries
US10430937B2 (en) * 2017-09-25 2019-10-01 United Technologies Corporation Automated material characterization system including conditional generative adversarial networks
EP3489892B1 (en) * 2017-11-24 2022-01-05 Ficosa Adas, S.L.U. Determining clean or dirty captured images
TWI653605B (zh) * 2017-12-25 2019-03-11 由田新技股份有限公司 利用深度學習的自動光學檢測方法、設備、電腦程式、電腦可讀取之記錄媒體及其深度學習系統
US11199506B2 (en) * 2018-02-21 2021-12-14 Applied Materials Israel Ltd. Generating a training set usable for examination of a semiconductor specimen
JP6873941B2 (ja) * 2018-03-02 2021-05-19 株式会社日立製作所 ロボット作業システム、及びロボット作業システムの制御方法
US10679333B2 (en) 2018-03-14 2020-06-09 Kla-Tencor Corporation Defect detection, classification, and process window control using scanning electron microscope metrology
WO2019183153A1 (en) 2018-03-21 2019-09-26 Kla-Tencor Corporation Training a machine learning model with synthetic images
US10670536B2 (en) 2018-03-28 2020-06-02 Kla-Tencor Corp. Mode selection for inspection
US10713769B2 (en) 2018-06-05 2020-07-14 Kla-Tencor Corp. Active learning for defect classifier training
CN110163215B (zh) * 2018-06-08 2022-08-23 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
DE102018114005A1 (de) * 2018-06-12 2019-12-12 Carl Zeiss Jena Gmbh Materialprüfung von optischen Prüflingen
US10732130B2 (en) * 2018-06-19 2020-08-04 Kla-Tencor Corporation Embedded particle depth binning based on multiple scattering signals
TWI676939B (zh) * 2018-06-22 2019-11-11 富比庫股份有限公司 運用類神經網路進行分類之電子零件封裝分類系統
TWI689875B (zh) * 2018-06-29 2020-04-01 由田新技股份有限公司 利用深度學習系統的自動光學檢測分類設備及其訓練設備
CN108846841A (zh) 2018-07-02 2018-11-20 北京百度网讯科技有限公司 显示屏质量检测方法、装置、电子设备及存储介质
EP3598474A1 (en) 2018-07-19 2020-01-22 FEI Company Adaptive specimen image acquisition using an artificial neural network
KR102541743B1 (ko) * 2018-09-03 2023-06-13 가부시키가이샤 프리퍼드 네트웍스 학습 장치, 추론 장치 및 학습 완료 모델
JP7134033B2 (ja) * 2018-09-06 2022-09-09 東京エレクトロン株式会社 基板状態判定装置、基板処理装置、モデル作成装置及び基板状態判定方法
JP7289658B2 (ja) * 2018-09-07 2023-06-12 株式会社フジクラ 分類装置、分類方法、分類プログラム、及び検査装置
US10854486B2 (en) * 2018-09-19 2020-12-01 Kla Corporation System and method for characterization of buried defects
US10866197B2 (en) 2018-09-20 2020-12-15 KLA Corp. Dispositioning defects detected on extreme ultraviolet photomasks
US10796152B2 (en) 2018-09-21 2020-10-06 Ancestry.Com Operations Inc. Ventral-dorsal neural networks: object detection via selective attention
CN112823080B (zh) * 2018-09-24 2023-07-14 应用材料公司 以机器视觉作为对cmp工艺控制算法的输入
CN109345529B (zh) * 2018-09-30 2021-09-24 福州大学 基于改进型二次目标检测网络线夹、均压环故障识别方法
JP6754155B1 (ja) * 2018-10-01 2020-09-09 株式会社 システムスクエア 教師データ生成装置、検査装置およびコンピュータプログラム
RU2704751C1 (ru) * 2018-10-08 2019-10-30 федеральное государственное бюджетное образовательное учреждение высшего образования "Пермский национальный исследовательский политехнический университет" Способ определения параметров термомеханической обработки и химического состава функциональных материалов с помощью глубокой нейронной сети
US10672588B1 (en) * 2018-11-15 2020-06-02 Kla-Tencor Corporation Using deep learning based defect detection and classification schemes for pixel level image quantification
TWI696148B (zh) * 2018-11-22 2020-06-11 財團法人金屬工業研究發展中心 影像分析方法、電子裝置與電腦程式產品
KR102200496B1 (ko) * 2018-12-06 2021-01-08 주식회사 엘지씨엔에스 딥러닝을 이용한 이미지 인식 방법 및 서버
TWI681343B (zh) * 2018-12-14 2020-01-01 瑞昱半導體股份有限公司 物件追蹤系統、物件追蹤方法與非暫態電腦可讀取媒體
US11568324B2 (en) 2018-12-20 2023-01-31 Samsung Display Co., Ltd. Adversarial training method for noisy labels
US10769784B2 (en) 2018-12-21 2020-09-08 Metal Industries Research & Development Centre Image analyzing method and electrical device
CN109840552B (zh) * 2019-01-14 2020-04-10 湖北工业大学 一种动态图像分类方法
US11294162B2 (en) * 2019-02-07 2022-04-05 Nanotronics Imaging, Inc. Fluorescence microscopy inspection systems, apparatus and methods with darkfield channel
US10922808B2 (en) 2019-02-14 2021-02-16 KLA—Tencor Corp. File selection for test image to design alignment
WO2020166076A1 (ja) * 2019-02-15 2020-08-20 株式会社日立ハイテク 構造推定システム、構造推定プログラム
JP6749655B1 (ja) * 2019-03-19 2020-09-02 株式会社 システムスクエア 検査装置、異常検出方法、コンピュータプログラム、学習モデルの生成方法、及び学習モデル
JP6742037B1 (ja) * 2019-03-19 2020-08-19 株式会社 システムスクエア 学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラム
KR20220010768A (ko) * 2019-05-20 2022-01-26 시놉시스, 인크. 머신 러닝 기반 인코딩을 이용한 전자 회로 레이아웃에서의 패턴들의 분류
JP6929322B2 (ja) * 2019-05-31 2021-09-01 楽天グループ株式会社 データ拡張システム、データ拡張方法、及びプログラム
CN110276754B (zh) * 2019-06-21 2021-08-20 厦门大学 一种表面缺陷检测方法、终端设备及存储介质
DE102019209976A1 (de) * 2019-07-08 2021-01-14 Krones Ag Verfahren und Vorrichtung zur Inspektion von Behältern in einem Behältermassenstrom
CN112362679B (zh) * 2019-07-23 2024-06-04 纬创资通股份有限公司 影像辨识装置、影像辨识方法及其计算机程序产品
US11880193B2 (en) 2019-07-26 2024-01-23 Kla Corporation System and method for rendering SEM images and predicting defect imaging conditions of substrates using 3D design
JP7497145B2 (ja) 2019-08-30 2024-06-10 キヤノン株式会社 機械学習装置、機械学習方法及びプログラム、情報処理装置、放射線撮影システム
JP7373340B2 (ja) * 2019-09-25 2023-11-02 キヤノン株式会社 判断装置
US11580650B2 (en) 2019-10-01 2023-02-14 KLA Corp. Multi-imaging mode image alignment
US11087449B2 (en) 2019-10-24 2021-08-10 KLA Corp. Deep learning networks for nuisance filtering
US11551344B2 (en) * 2019-12-09 2023-01-10 University Of Central Florida Research Foundation, Inc. Methods of artificial intelligence-assisted infrastructure assessment using mixed reality systems
US11449711B2 (en) * 2020-01-02 2022-09-20 Applied Materials Isreal Ltd. Machine learning-based defect detection of a specimen
CN110930406A (zh) * 2020-01-21 2020-03-27 北京中鼎高科自动化技术有限公司 一种基于卷积神经网络的匣钵筛分检测方法
TWI750572B (zh) * 2020-01-30 2021-12-21 虹光精密工業股份有限公司 運用機器學習進行文件分類的文件處理系統及方法
WO2021171411A1 (ja) * 2020-02-26 2021-09-02 日本電信電話株式会社 対象領域検出装置、対象領域検出方法、及び対象領域検出プログラム
CN115280334A (zh) * 2020-03-31 2022-11-01 株式会社日立高新技术 错误原因的推定装置以及推定方法
EP4127833B1 (en) * 2020-04-02 2024-04-03 ASML Netherlands B.V. Method and apparatus for predicting a process metric associated with a process
US12020417B2 (en) * 2020-04-24 2024-06-25 Camtek Ltd. Method and system for classifying defects in wafer using wafer-defect images, based on deep learning
US11415526B2 (en) 2020-05-06 2022-08-16 Kla Corporation Multi-controller inspection system
CN111598084B (zh) * 2020-05-11 2023-06-02 北京阿丘机器人科技有限公司 缺陷分割网络训练方法、装置、设备及可读存储介质
US11769242B2 (en) 2020-05-21 2023-09-26 Kla Corporation Mode selection and defect detection training
US11967058B2 (en) * 2020-06-24 2024-04-23 Kla Corporation Semiconductor overlay measurements using machine learning
EP4172560A4 (en) 2020-06-29 2024-05-29 Applied Materials, Inc. LAYER THICKNESS ESTIMATION FROM MACHINE LEARNING-BASED PROCESSING OF SUBSTRATE IMAGES
US11891195B2 (en) * 2020-07-29 2024-02-06 The Boeing Company Mitigating damage to multi-layer networks
US11967060B2 (en) 2020-08-25 2024-04-23 Kla Corporation Wafer level spatial signature grouping using transfer learning
US20220101114A1 (en) * 2020-09-27 2022-03-31 Kla Corporation Interpretable deep learning-based defect detection and classification
KR102505484B1 (ko) * 2020-12-18 2023-03-03 한국공학대학교산학협력단 딥러닝 기반의 타이어 외관 결함 검출 방법 및 장치
CN112669275A (zh) * 2020-12-23 2021-04-16 中国电子技术标准化研究院 基于YOLOv3算法的PCB表面缺陷检测方法及装置
KR102527444B1 (ko) * 2021-01-28 2023-05-02 에스케이실트론 주식회사 웨이퍼 또는 단결정 잉곳의 품질평가 방법 및 장치
US11756186B2 (en) * 2021-09-15 2023-09-12 Mitutoyo Corporation Workpiece inspection and defect detection system utilizing color channels
US11727556B2 (en) 2021-09-29 2023-08-15 KLA Corp. Defect detection for multi-die masks
KR20240091149A (ko) * 2021-12-28 2024-06-21 주식회사 히타치하이테크 화상 검사 장치, 화상 처리 방법
JP2023183808A (ja) * 2022-06-16 2023-12-28 株式会社日立製作所 画像生成方法及び外観検査装置
US20240120221A1 (en) * 2022-10-03 2024-04-11 Kla Corporation Correcting target locations for temperature in semiconductor applications

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293820A (ja) 2005-04-13 2006-10-26 Sharp Corp 外観検査装置、外観検査方法およびコンピュータを外観検査装置として機能させるためのプログラム

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5520434B2 (ja) 1973-07-31 1980-06-02
JPH07222202A (ja) 1994-02-02 1995-08-18 Rohm Co Ltd 立体ビジョンカメラ
JP3476913B2 (ja) 1994-07-08 2003-12-10 オリンパス株式会社 欠陥種別判定装置及びプロセス管理システム
US7483065B2 (en) * 2004-12-15 2009-01-27 Aptina Imaging Corporation Multi-lens imaging systems and methods using optical filters having mosaic patterns
US7570796B2 (en) 2005-11-18 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US7676077B2 (en) 2005-11-18 2010-03-09 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US7391510B2 (en) 2006-01-26 2008-06-24 Orbotech Ltd System and method for inspecting patterned devices having microscopic conductors
US8698093B1 (en) 2007-01-19 2014-04-15 Kla-Tencor Corporation Objective lens with deflector plates immersed in electrostatic lens field
US8611639B2 (en) 2007-07-30 2013-12-17 Kla-Tencor Technologies Corp Semiconductor device property extraction, generation, visualization, and monitoring methods
US8126255B2 (en) * 2007-09-20 2012-02-28 Kla-Tencor Corp. Systems and methods for creating persistent data for a wafer and for using persistent data for inspection-related functions
US8175376B2 (en) * 2009-03-09 2012-05-08 Xerox Corporation Framework for image thumbnailing based on visual similarity
JP5608575B2 (ja) * 2011-01-19 2014-10-15 株式会社日立ハイテクノロジーズ 画像分類方法および画像分類装置
US8664594B1 (en) 2011-04-18 2014-03-04 Kla-Tencor Corporation Electron-optical system for high-speed and high-sensitivity inspections
US8692204B2 (en) 2011-04-26 2014-04-08 Kla-Tencor Corporation Apparatus and methods for electron beam detection
US8855400B2 (en) * 2012-03-08 2014-10-07 Kla-Tencor Corporation Detection of thin lines for selective sensitivity during reticle inspection using processed images
US9715723B2 (en) 2012-04-19 2017-07-25 Applied Materials Israel Ltd Optimization of unknown defect rejection for automatic defect classification
US8716662B1 (en) 2012-07-16 2014-05-06 Kla-Tencor Corporation Methods and apparatus to review defects using scanning electron microscope with multiple electron beam configurations
US9222895B2 (en) 2013-02-25 2015-12-29 Kla-Tencor Corp. Generalized virtual inspector
US20140254922A1 (en) * 2013-03-11 2014-09-11 Microsoft Corporation Salient Object Detection in Images via Saliency
US9317781B2 (en) * 2013-03-14 2016-04-19 Microsoft Technology Licensing, Llc Multiple cluster instance learning for image classification
US9430824B2 (en) 2013-05-14 2016-08-30 Kla-Tencor Corporation Machine learning method and apparatus for inspecting reticles
US9171364B2 (en) 2013-06-21 2015-10-27 Kla-Tencor Corp. Wafer inspection using free-form care areas
US10502694B2 (en) 2013-08-06 2019-12-10 Kla-Tencor Corporation Methods and apparatus for patterned wafer characterization
TWI456190B (zh) 2013-09-16 2014-10-11 Univ Nat Chunghsing 偵測晶片影像瑕疵方法及其系統與電腦程式產品
US9293298B2 (en) 2013-12-23 2016-03-22 Kla-Tencor Corp. Defect discovery and inspection sensitivity optimization using automated classification of corresponding electron beam images
CN104834933B (zh) * 2014-02-10 2019-02-12 华为技术有限公司 一种图像显著性区域的检测方法和装置
US9324022B2 (en) 2014-03-04 2016-04-26 Signal/Sense, Inc. Classifying data with deep learning neural records incrementally refined through expert input
US9816939B2 (en) 2014-07-22 2017-11-14 Kla-Tencor Corp. Virtual inspection systems with multiple modes
US10747830B2 (en) * 2014-11-21 2020-08-18 Mesh Labs Inc. Method and system for displaying electronic information
US10012599B2 (en) * 2015-04-03 2018-07-03 Kla-Tencor Corp. Optical die to database inspection
US9665962B2 (en) * 2015-07-29 2017-05-30 Adobe Systems Incorporated Image distractor detection and processng
US10186026B2 (en) 2015-11-17 2019-01-22 Kla-Tencor Corp. Single image detection
US9965901B2 (en) 2015-11-19 2018-05-08 KLA—Tencor Corp. Generating simulated images from design information
US20170149690A1 (en) * 2015-11-20 2017-05-25 Dell Products L.P. Resource Aware Classification System
US11205119B2 (en) * 2015-12-22 2021-12-21 Applied Materials Israel Ltd. Method of deep learning-based examination of a semiconductor specimen and system thereof
US9916965B2 (en) 2015-12-31 2018-03-13 Kla-Tencor Corp. Hybrid inspectors
US11580375B2 (en) 2015-12-31 2023-02-14 Kla-Tencor Corp. Accelerated training of a machine learning based model for semiconductor applications
US10648924B2 (en) 2016-01-04 2020-05-12 Kla-Tencor Corp. Generating high resolution images from low resolution images for semiconductor applications
US10360477B2 (en) 2016-01-11 2019-07-23 Kla-Tencor Corp. Accelerating semiconductor-related computations using learning based models
US10181185B2 (en) 2016-01-11 2019-01-15 Kla-Tencor Corp. Image based specimen process control
US10043261B2 (en) 2016-01-11 2018-08-07 Kla-Tencor Corp. Generating simulated output for a specimen
CN105719291A (zh) 2016-01-20 2016-06-29 江苏省沙钢钢铁研究院有限公司 品种可选择的表面缺陷图像分类系统
US9830529B2 (en) * 2016-04-26 2017-11-28 Xerox Corporation End-to-end saliency mapping via probability distribution prediction
US10223615B2 (en) * 2016-08-23 2019-03-05 Dongfang Jingyuan Electron Limited Learning based defect classification

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293820A (ja) 2005-04-13 2006-10-26 Sharp Corp 外観検査装置、外観検査方法およびコンピュータを外観検査装置として機能させるためのプログラム

Also Published As

Publication number Publication date
TW201816670A (zh) 2018-05-01
KR20190072569A (ko) 2019-06-25
JP2019537839A (ja) 2019-12-26
IL265742A (en) 2019-06-30
CN109844918B (zh) 2023-06-20
KR102530209B1 (ko) 2023-05-08
SG10202104271VA (en) 2021-06-29
US20180107928A1 (en) 2018-04-19
TWI747967B (zh) 2021-12-01
US11580398B2 (en) 2023-02-14
WO2018071137A1 (en) 2018-04-19
IL265742B (en) 2022-04-01
CN109844918A (zh) 2019-06-04

Similar Documents

Publication Publication Date Title
JP7049331B2 (ja) 半導体用途向けに構成された深層学習モデルのための診断システムおよび方法
KR102321953B1 (ko) 다양한 모댈리티들로 획득된 이미지들의 정렬을 위한 학습 기반 접근 방식
CN111094952B (zh) 使用统一神经网络进行缺陷检测及分类的方法及系统
CN110494894B (zh) 基于轮廓的缺陷检测
CN108475350B (zh) 使用基于学习的模型加速半导体缺陷检测的方法和系统
TWI731016B (zh) 用於半導體應用之以機器學習之模型為基礎之加速訓練
CN111819676B (zh) 训练用于低分辨率图像中的缺陷检测的神经网络
CN108475351B (zh) 用于训练基于机器学习的模型的系统和计算机实施方法
JP6853273B2 (ja) ニューラルネットワークと順物理モデルを半導体用途に組み込んだシステムおよび方法
EP3465174B1 (en) Generating simulated images from input images for semiconductor applications
TWI734724B (zh) 針對半導體應用由低解析度影像產生高解析度影像之系統、方法及非暫時性電腦可讀媒體
US11551348B2 (en) Learnable defect detection for semiconductor applications
KR20180095708A (ko) 시료에 대한 시뮬레이팅된 출력 생성
US11776108B2 (en) Deep learning based defect detection
TWI844784B (zh) 偵測缺陷之系統、非暫時性電腦可讀媒體、及偵測缺陷之電腦實施方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220325

R150 Certificate of patent or registration of utility model

Ref document number: 7049331

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150