JP7527902B2 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JP7527902B2
JP7527902B2 JP2020149253A JP2020149253A JP7527902B2 JP 7527902 B2 JP7527902 B2 JP 7527902B2 JP 2020149253 A JP2020149253 A JP 2020149253A JP 2020149253 A JP2020149253 A JP 2020149253A JP 7527902 B2 JP7527902 B2 JP 7527902B2
Authority
JP
Japan
Prior art keywords
image
selection unit
area
coordinate
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020149253A
Other languages
English (en)
Other versions
JP2022043791A (ja
Inventor
ユー ヤン ウン
博 王
拓司 大橋
統 山根
剛 藤原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kioxia Corp
Original Assignee
Kioxia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kioxia Corp filed Critical Kioxia Corp
Priority to JP2020149253A priority Critical patent/JP7527902B2/ja
Priority to US17/191,063 priority patent/US11715194B2/en
Publication of JP2022043791A publication Critical patent/JP2022043791A/ja
Application granted granted Critical
Publication of JP7527902B2 publication Critical patent/JP7527902B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30148Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Description

本発明の一実施形態は、情報処理装置に関する。
半導体プロセス技術の進展により、半導体集積回路は微細化が進んでおり、ウエハ上のわずかな欠陥も見逃せなくなってきている。
ウエハをダイシングする前に、ウエハの処理面の全域を撮影して欠陥抽出を行うマクロ検査が行われている。ウエハ上の欠陥は、種々のサイズや形状を有し、作業員の目視に頼ることなく、欠陥を漏れなく抽出する技術が求められている。
米国特許公開公報2019/0294923
そこで、本発明の一実施形態では、ウエハ上の欠陥を精度よく抽出可能な情報処理装置を提供するものである。
上記の課題を解決するために、本発明の一実施形態によれば、少なくとも一つの欠陥を含むウエハの処理面の全域を撮影した全域画像を取得する取得部と、
前記全域画像の中から少なくとも一つの欠陥を含む部分画像を訓練画像として選定する訓練画像選定部と、
前記部分画像に含まれる欠陥を抽出して二値化したラベル画像を自動生成する計算モデルを構築するモデル構築部と、
前記計算モデルに前記訓練画像を入力して生成された前記ラベル画像と前記訓練画像の欠陥を抽出して二値化した基準ラベル画像との差分に基づいて、前記計算モデルのパラメータを更新する学習部と、を備える、情報処理装置が提供される。
一実施形態による情報処理装置を備えた情報処理システムの概略構成を示すブロック図。 情報処理装置の処理内容を示す機能ブロック図。 図2の情報処理装置の処理動作の一例を示すフローチャート。 図3のステップS2の処理を詳細に示すフローチャート。 ウエハの全域画像に予め設定される複数のエリアの一例を模式的に示す図。 図3のステップS2の処理を詳細に示す一変形例によるフローチャート。 図6のステップS24で選定される複数の部分画像及び訓練画像の一例を模式的に示す図。 図3のステップS3の処理を詳細に示すフローチャート。 図8のステップS34で出力される訓練画像の一例を示す図。 図8のステップS34で出力される基準ラベル画像の一例を示す図。 モデル構築部が構築する計算モデルに用いられるDCNNの一例を示す図。 図3のステップS4の処理を詳細に示すフローチャート。
以下、図面を参照して、情報処理装置の実施形態について説明する。以下では、情報処理装置の主要な構成部分を中心に説明するが、情報処理装置には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
図1は一実施形態による情報処理装置1を備えた情報処理システム2の概略構成を示すブロック図である。図1の情報処理システム2は、撮影装置3と、情報処理装置1と、記憶装置4とを備えている。
撮影装置3は、ウエハの処理面の全域を撮影する。撮影装置3で撮影されたウエハの全域画像は、情報処理装置1に入力される。なお、撮影装置3は、情報処理装置1の内部に設けてもよい。
情報処理装置1は、撮影装置3で撮影されたウエハの全域画像に基づいて、ウエハ内の欠陥を抽出する。情報処理装置1の処理動作は、例えば汎用のコンピュータで行うことができる。情報処理装置1は、後述するように、ウエハの全域画像から、欠陥を表すラベル画像を生成して出力するモデルを構築する。モデルは、例えば深層畳み込みニューラルネットワーク(DCNN:Deep Convolutional Neural Network)を用いて生成される。DCNNのパラメータ情報とラベル情報などは記憶装置4に記憶される。記憶装置4は、ハードディスクや不揮発メモリなどである。記憶装置4は、情報処理装置1の内部に設けてもよい。
図2は情報処理装置1の処理内容を示す機能ブロック図である。情報処理装置1は、取得部11と、訓練画像選定部12と、モデル構築部13と、学習部14とを備えている。
取得部11は、少なくとも一つの欠陥を含むウエハの処理面の全域を撮影した全域画像を取得する。全域画像は、撮影装置3により撮影されたものである。この他、取得部11は、後述するように、全域画像内の特定のエリアに関する情報を取得する場合もありえる。
訓練画像選定部12は、全域画像の中から少なくとも一つの欠陥を含む部分画像を訓練画像として選定する。本実施形態では、例えばDCNNを用いて部分画像からラベル画像を自動生成することを想定しており、DCNNのパラメータを更新する目的で訓練画像が用いられる。
図2に破線で示した基準ラベル画像生成部15は、訓練画像に含まれる欠陥を抽出して二値化した基準ラベル画像を生成する。基準ラベル画像は、訓練画像に含まれる欠陥部分だけを抽出して二値化した画像であり、欠陥以外の形状情報は含んでいない。また、基準ラベル画像には、欠陥部分の濃淡情報や色情報も含んでいない。例えば、基準ラベル画像は、欠陥部分を白で、欠陥以外を黒で表した画像である。基準ラベル画像の生成は、人間が手動で行ってもよいため、図2では破線で示している。
モデル構築部13は、部分画像に含まれる欠陥を抽出して二値化したラベル画像を自動生成する計算モデルを構築する。計算モデルは、欠陥抽出モデル(defect extraction model)とも呼ばれる。計算モデルは、DCNNを用いて構成されるモデルである。計算モデルに部分画像を入力すると、DCNNにて演算処理が行われて、入力された部分画像に対応するラベル画像が自動生成される。本実施形態では、訓練画像と基準ラベル画像を用いて、計算モデルのパラメータの更新を行う。パラメータの更新は、学習とも呼ばれる。
学習部14は、計算モデルに訓練画像を入力して生成されたラベル画像と訓練画像の欠陥を抽出して二値化した基準ラベル画像との差分に基づいて、計算モデルのパラメータを更新する。後述するように、計算モデル内のDCNNは更新可能なパラメータを備えており、パラメータの値を変えることにより、入力された部分画像から自動生成されるラベル画像が変化する。パラメータは、コンボリューショナル・カーネル(convolutional kernel)とも呼ばれる。学習部14は、DCNNに部分画像を入力したときに、基準ラベル画像にできるだけ近似したラベル画像が自動生成されるように、DCNNのパラメータを更新する。より詳細には、DCNNは、畳み込み層とプーリング層を組み合わせて構成されており、各層のパラメータは任意に調整可能である。よって、学習部14は、基準ラベル画像と自動生成されたラベル画像との差分に基づいて、DCNNの各層のパラメータを更新する。
学習部14での学習過程の計算モデルや、学習部14での学習が終了した計算モデルは、図1の記憶装置4に入力される。
図2に示す情報処理装置1は、エリア選択部16を備えていてもよい。エリア選択部16は、ウエハの全域画像からエリアを選択する。エリアは、後述するように、全域画像内に予め設定される一部の画像領域である。エリアの設定は人間が行ってもよいし、コンピュータ等が自動設定してもよい。エリア選択部16は、全域画像内に設定された複数のエリアから一つのエリアだけを選択してもよいし、2以上のエリアを順次に選択してもよい。学習部14は、複数のエリアのそれぞれから選択された複数の部分画像を計算モデルに入力して生成された複数のラベル画像と、対応する複数の基準ラベル画像との差分に基づいて、計算モデルのパラメータを更新してもよい。
図2に示す情報処理装置1は、第1座標選択部17と第2座標選択部18を備えていてもよい。第1座標選択部17は、エリア内の第1方向の座標位置をランダムに選択する。第2座標選択部18は、エリア内の第1方向に交差する第2方向の座標位置をランダムに選択する。訓練画像選定部12は、エリア内の画像から、第1座標選択部17及び第2座標選択部18で選択された座標位置を含む所定サイズの部分画像を訓練画像として選定する。例えば、訓練画像選定部12は、第1座標選択部17及び第2座標選択部18で選択された座標位置を中心座標とする所定サイズの部分画像を訓練画像として選定する。第1座標選択部17は、例えばエリア内の第1方向の複数の座標位置をそれぞれランダムに選択し、第2座標選択部18は、例えばエリア内の第2方向の複数の座標位置をそれぞれランダムに選択する。この場合、訓練画像選定部12は、エリア内の画像から、第1座標選択部17及び第2座標選択部18で選択された複数の座標位置をそれぞれ含む所定サイズの複数の部分画像を複数の訓練画像として選定してもよい。
訓練画像選定部12は、全域画像内のランダムな場所から選択された部分画像を訓練画像として選定してもよい。より詳細には、第1座標選択部17は、全域画像内の第1方向の座標位置をランダムに選択し、第2座標選択部18は、全域画像内の第1方向に交差する第2方向の座標位置をランダムに選択してもよい。この場合、訓練画像選定部12は、全域画像内の画像から、第1座標選択部17及び第2座標選択部18で選択された座標位置を含む所定サイズの部分画像を訓練画像として選定する。
図3は図2の情報処理装置1の処理動作の一例を示すフローチャートである。まず、取得部11にて、撮影装置3で撮影されたウエハの全域画像を取得する(ステップS1)。ここで、全域画像は、少なくとも一つの欠陥を含むことを前提としている。
次に、訓練画像選定部12にて、ウエハの全域画像の中から少なくとも一つの欠陥を含む部分画像を訓練画像として選定する(ステップS2)。部分画像は、クロップ画像(cropped wafer image)とも呼ばれる。部分画像の画像サイズは特に問わない。
次に、基準ラベル画像生成部15にて、部分画像から基準ラベル画像を生成する(ステップS3)。基準ラベル画像の生成は人間が手動で行ってもよいし、コンピュータ等を用いて自動生成してもよい。自動生成する場合は、計算モデルとは別の手法により生成する。
次に、学習部14にて、計算モデルに訓練画像を入力して生成されたラベル画像と基準ラベル画像との差分に基づいて、計算モデルのパラメータを更新する(ステップS4)。更新された計算モデルは、記憶装置4に記憶される。
図4は図3のステップS2の処理を詳細に示すフローチャートである。図4のフローチャートは、訓練画像選定部12で行われる。
まず、取得部11で取得された全域画像を入力する(ステップS11)。次に、全域画像内の特定のエリアを選択する(ステップS12)。図4のフローチャートでは、全域画像内に複数のエリアがあらかじめ設定されていることを前提としている。複数のエリアは、全域画像の中で、欠陥抽出を行うべき場所である。複数のエリアは、人間が予め設定してもよいし、コンピュータ等により自動的に設定してもよい。ステップS12では、複数のエリアの中から一つのエリアを選択する。ステップS12のエリアの選択は、人間が行ってもよいし、コンピュータ等によりランダムに又は順繰りに選択してもよい。
図5はウエハの全域画像に予め設定される複数のエリアの一例を模式的に示す図である。図5は、ウエハの外周付近の欠陥を主に抽出する目的で複数のエリアを設定する例を示している。図5では、全域画像中に10個のエリアを設定する例を示しているが、設定されるエリアの数に特に制限はない。エリアar1は、ウエハの全域画像からランダムに座標(X,Y)を指定して得られるエリアである。エリアar2は、全域画像内の第1方向Xが左端で、第2方向Yが中位に位置するエリアである。エリアar3は、全域画像内の第1方向Xが右端で、第2方向Yが中位に位置するエリアである。エリアar4は、全域画像内の第1方向Xが中位で、第2方向Yが上端に位置するエリアである。エリアar5は、全域画像内の第1方向Xが中位で、第2方向Yが下端に位置するエリアである。エリアar6は、全域画像内の第1方向Xが左端で、第2方向Yが上端に位置するエリアである。エリアar7は、全域画像内の第1方向Xが左端で、第2方向Yが下端に位置するエリアである。エリアar8は、全域画像内の第1方向Xが右端で、第2方向Yが上端に位置するエリアである。エリアar9は、全域画像内の第1方向Xが右端で、第2方向Yが下端に位置するエリアである。エリアar10は、全域画像内の第1方向Xが中央で、第2方向Yが中央に位置するエリアである。
図4のステップS12でエリアの選択が終わると、次に、エリア内のX座標をランダムに選択し(ステップS13)、続いてエリア内のY座標をランダムに選択する(ステップS14)。ステップS13とS14の処理順序は逆でもよい。ここで、エリアは、X方向とY方向で規定される矩形状であることを前提としており、ステップS13では、エリア内のX座標を任意に選択することを意味する。ランダムとは、どのような選択の仕方をしてもよいことを意味し、例えば、エリア内のX(又はY)方向の座標を最小座標位置から最大座標位置に向かって順にX(Y)座標を選択してもよい。
次に、ステップS13とS14で選択した座標(X,Y)を中心座標とする所定サイズの部分画像を生成し、生成した部分画像を訓練画像とする(ステップS15)。部分画像は、少なくとも一つの欠陥を含むことを想定しているため、部分画像の中に欠陥が含まれるように所定サイズが決められる。また、部分画像の全域がエリア内に含まれるように所定サイズの上限が設定される。
次に、ステップS12で選択したエリア内で、T(Tは2以上の整数)個の部分画像を生成したか否かを判定し、T個の部分画像を生成するまで、ステップS13~S15の処理を繰り返す(ステップS16)。
このように、図4の処理では、選択したエリア内で、それぞれが欠陥を含む複数の部分画像を複数の訓練画像として選定する。
次に、予め設定されたN(Nは1以上の整数)個のエリアのそれぞれについて、複数の部分画像及び訓練画像を選定したか否かを判定する(ステップS17)。N個のエリアについての複数の部分画像及び訓練画像の選定が終了するまでは、ステップS12~S17の処理が繰り返される。
図4のフローチャートでは、ウエハの全域画像内に複数のエリアを予め設定する例を示したが、以下に示すように、エリアを設定することなく、複数の部分画像及び訓練画像の選定を行ってもよい。
図6は図3のステップS2の処理を詳細に示す一変形例によるフローチャートである。まず、ウエハの全域画像を入力する(ステップS21)。次に、全域画像内のX座標をランダムに選択し(ステップS22)、続いて全域画像内のY座標をランダムに選択する(ステップS23)。ステップS22とS23の処理順序は逆でもよい。
次に、ステップS22とS23で選択した座標(X,Y)を中心座標とする所定サイズの部分画像を生成し、生成した部分画像を訓練画像とする(ステップS24)。図4のステップS15と同様に、部分画像内に欠陥が含まれるように所定サイズが決められる。
次に、T個の部分画像及び訓練画像が選定されたか否かを判定し(ステップS25)、T個の部分画像及び訓練画像が選定されるまで、ステップS22~S25の処理が繰り返される。
図7は図6のステップS24で選定される複数の部分画像及び訓練画像の一例を模式的に示す図である。図6に示す第2処理手順では、毎回ランダムに全域画像内の座標(X,Y)を選択するため、ウエハ内のランダムな場所の部分画像及び訓練画像が選定される。
図8は図3のステップS3の処理を詳細に示すフローチャートである。まず、図3のステップS1で取得したウエハの全域画像を入力する(ステップS31)。次に、図3のステップS2で選定した訓練画像に対応する部分画像を選択する(ステップS32)。
次に、部分画像の調整(augmentation)を行う(ステップS33)。部分画像の調整は、例えば、コントラスト、明るさなどの調整である。
次に、調整後の部分画像に基づいて、基準ラベル画像生成部15にて、基準ラベル画像を生成する(ステップS34)。上述したように、ステップS34の処理は、手動で行ってもよいし、コンピュータ等により自動処理で行ってもよい。
ステップS34の処理結果に基づいて、訓練画像と基準ラベル画像が出力される(ステップS35)。
図9A及び図9Bは図8のステップS34で出力される訓練画像と基準ラベル画像の一例を示す図である。図示のように、基準ラベル画像は、訓練画像の欠陥部分のみを抽出して二値化した画像である。
図10はモデル構築部13が構築する計算モデルに用いられるDCNN20の一例を示す図である。図10のDCNN20は、入力部21と、畳み込み層22と、プーリング層23と、逆畳み込み層24と、アンプーリング層25と、出力部26とを有する。学習段階では、入力部21には訓練画像が入力される。畳み込み層22は、訓練画像に対してフィルタ処理を行って、特徴点を凝縮する処理を行う。プーリング層23は、訓練画像に含まれる特徴を残しながら、訓練画像の縮小又は拡大を行う。
図10のDCNN20は、図示の上下方向に複数段階に分割され、かつ、左右方向に2つに分割されている。左半分の各段階には、複数の畳み込み層22が設けられている。左半分の各段階では、一つの畳み込み層22を通過するたびに画像サイズは変わらずにチャネル数が2倍になる。チャネルとは、例えば色の異なる画像を表している。図10の各矩形は、畳み込み層22又は逆畳み込み層24などの処理の単位を示しており、各矩形の上の数字はチャネル数を示している。
また、上下方向の複数段階では、画像サイズが変化する。下方向の矢印は、プーリング層23を示しており、マックスプーリング(max pooling)処理が行われる。マックスプーリング処理では、例えば、DCNN20の左半分については、上から下に向かうにしたがって、各段階ごとにチャネル数は変化せずに画像サイズが半分になる。
一方、DCNN0の右半分には、複数の逆畳み込み層24と複数のアンプーリング層25が設けられている。DCNN20の右半分では、下から上に向かうにしたがって、各段階ごとにチャネル数は変化せずに画像サイズが2倍になり、左半分の最上位では、右半分の最上位と同じ画像サイズになる。図10の例では、入力部21に入力される訓練画像のチャネル数は16であり、最下位段階の画像のチャネル数は256である。また、右半分の最上位段階のチャネル数は32であり、その後、水平方向に配置された複数の畳み込み層22と逆畳み込み層24を通過することで、最終的には1チャネルのラベル画像が出力部26から出力される。
図10の右側半分と左側半分の各段階同士は、水平方向の矢印27で接続されている。この水平方向の矢印27は、訓練画像に含まれる欠陥画像を右側の各段階の画像から左側の対応する段階の画像にコピーすることを意味している。これにより、左側の各段階では、下からの画像に、右側からの欠陥画像を合成して、欠陥を含む画像を生成する。
学習部14は、図10のDCNN20の左側最上位の段階から、中央の最下位の段階まで、複数段階の処理を行い、続いて、右側最上の段階までの処理を行う。これらの一連の処理は、フォワード・プロパゲーション演算(forward propagation calculation)と呼ばれる。フォワード・プロパゲーション演算では、入力部21に入力された訓練画像の画像サイズを半分にしながらチャネル数を2倍ずつ増やし、その後、画像サイズを大きくしながらチャネル数を半分にする処理を行う。
学習部14は、出力部26から出力されたラベル画像と、図9のステップS34で出力された基準ラベル画像との差分を計算する。この差分は、ダイス・ロス(dice loss)と呼ばれる。学習部14は、ダイス・ロスに基づいて、フォワード・プロパゲーションとは逆方向のバック・プロパゲーション演算(back propagation calculation)を行うことで、各段階のパラメータの勾配(gradient)を計算する。各段階の勾配が計算されると、これら勾配を用いて、全段階のパラメータが一括して更新される。
図11は図3のステップS4の処理を詳細に示すフローチャートである。学習部14は、図10のDCNN20の構成に従って、図11のフローチャートの処理を行う。まず、訓練画像と対応する基準ラベル画像を一組とする複数組を取得する(ステップS41)。複数組の訓練画像と基準ラベル画像を取得するのは、一組だけだと、DCNN20のパラメータを精度よく更新できないためであり、複数組の訓練画像と基準ラベル画像を用いて得られた複数の差分の平均に基づいて、パラメータを更新する。
次に、訓練画像を順にDCNN20の入力部21に入力して、上述したフォワード・プロパゲーション演算を行って、ラベル画像を生成する(ステップS42)。ラベル画像は、DCNN20の出力部26から出力される。複数の訓練画像のそれぞれごとに、ラベル画像が生成される。
次に、各ラベル画像と基準ラベル画像との差分であるダイス・ロスを計算する(ステップS43)。ダイス・ロスは、ラベル画像ごとに計算される。
次に、ダイス・ロスに基づいて、上述したバック・プロパゲーション演算を行って、DCNN20の各段階のパラメータの勾配を計算する(ステップS44)。パラメータの勾配も、各ラベル画像ごとに計算される。
次に、計算された各ラベル画像の勾配に基づいて、DCNN20の各段階のパラメータを一括して更新する(ステップS45)。
図11のステップS41~S45は、ステップS41で取得する複数組の単位で、繰り返される。
十分な組数の訓練画像と基準ラベル画像で繰り返しパラメータの更新を行ったDCNN20は、学習済みと判断されて、検査対象のウエハのマクロ検査に用いられる。この場合、検査対象のウエハの全域画像を撮影装置3にて撮影し、全域画像中の部分画像を単位として、DCNN20の入力部21に入力する。これにより、DCNN20の出力部26からは、入力された部分画像に対応するラベル画像が出力される。
このように、本実施形態では、ウエハの全域画像から、欠陥を含む部分画像を訓練画像として選定し、訓練画像に含まれる欠陥を二値化した基準ラベル画像を生成する。その後、訓練画像と基準ラベル画像を用いてDCNN20のパラメータを更新するため、ウエハの全域画像に基づいてDCNN20のパラメータを更新するよりも、迅速にDCNN20のパラメータの更新を行うことができる。十分なパラメータの更新を行った学習済みのDCNN20に対して、ウエハの全域画像内の任意の部分画像を入力することで、欠陥を二値化したラベル画像を高解像度かつ高精度に生成でき、ウエハ上の欠陥の位置と種類を迅速に抽出できる。したがって、本実施形態による情報処理装置1を用いることで、ウエハのマクロ検査を高速、高精度及び高解像度で行うことができる。
上述した実施形態で説明した情報処理装置の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、情報処理装置の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやCD-ROM等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
また、情報処理装置の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線(無線通信も含む)を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
1 情報処理装置、2 情報処理システム、3 撮影装置、4 記憶装置、11 取得部、12 訓練画像選定部、13 モデル構築部、14 学習部、15 基準ラベル画像生成部、16 エリア選択部、17 第1座標選択部、18 第2座標選択部、21 入力部、22 畳み込み層、23 プーリング層、24 逆畳み込み層、25 アンプーリング層、26 出力部

Claims (6)

  1. 少なくとも一つの欠陥を含むウエハの処理面の全域を撮影した全域画像を取得する取得部と、
    前記全域画像の中から少なくとも一つの欠陥を含む部分画像を訓練画像として選定する訓練画像選定部と、
    前記部分画像に含まれる欠陥を抽出して二値化したラベル画像を自動生成する計算モデルを構築するモデル構築部と、
    前記計算モデルに前記訓練画像を入力して生成された前記ラベル画像と前記訓練画像の欠陥を抽出して二値化した基準ラベル画像との差分に基づいて、前記計算モデルのパラメータを更新する学習部と、
    前記全域画像からエリアを選択するエリア選択部と、
    前記エリア内の第1方向の座標位置をランダムに選択する第1座標選択部と、
    前記エリア内の前記第1方向に交差する第2方向の座標位置をランダムに選択する第2座標選択部と、を備え、
    前記訓練画像選定部は、前記全域画像から選択されたエリア内の画像から、前記第1座標選択部及び前記第2座標選択部で選択された座標位置を含む所定サイズの前記部分画像を前記訓練画像として選定する、
    情報処理装置。
  2. 前記訓練画像選定部は、前記全域画像内の少なくとも一部の画素位置が異なり、それぞれが少なくとも一つの欠陥を含む複数の前記部分画像を複数の前記訓練画像として取得し、
    前記学習部は、前記計算モデルに前記複数の訓練画像を順次に入力して生成された複数の前記ラベル画像のそれぞれと、対応する前記基準ラベル画像との差分を順次に算出して、前記計算モデルのパラメータを順次に更新する、請求項1に記載の情報処理装置。
  3. 前記訓練画像選定部は、前記第1座標選択部及び前記第2座標選択部で選択された座標位置を中心座標とする前記所定サイズの前記部分画像を前記訓練画像として選定する、請求項1又は2に記載の情報処理装置。
  4. 前記第1座標選択部は、前記エリア内の前記第1方向の複数の座標位置をそれぞれランダムに選択し、
    前記第2座標選択部は、前記エリア内の前記第2方向の複数の座標位置をそれぞれランダムに選択し、
    前記訓練画像選定部は、前記エリア内の画像から、前記第1座標選択部及び前記第2座標選択部で選択された複数の座標位置をそれぞれ含む所定サイズの複数の前記部分画像を複数の前記訓練画像として選定する、請求項に記載の情報処理装置。
  5. 前記エリア選択部は、前記全域画像内のそれぞれ異なる場所に設けられる複数の前記エリアを順次に選択し、
    前記学習部は、前記複数のエリアのそれぞれから選択された複数の前記部分画像を前記計算モデルに入力して生成された複数のラベル画像と、対応する複数の前記基準ラベル画像との差分に基づいて、前記計算モデルのパラメータを更新する、請求項1乃至4のいずれか一項に記載の情報処理装置。
  6. 少なくとも一つの欠陥を含むウエハの処理面の全域を撮影した全域画像を取得する取得部と、
    前記全域画像の中から少なくとも一つの欠陥を含む部分画像を訓練画像として選定する訓練画像選定部と、
    前記部分画像に含まれる欠陥を抽出して二値化したラベル画像を自動生成する計算モデルを構築するモデル構築部と、
    前記計算モデルに前記訓練画像を入力して生成された前記ラベル画像と前記訓練画像の欠陥を抽出して二値化した基準ラベル画像との差分に基づいて、前記計算モデルのパラメータを更新する学習部と、
    前記全域画像内の第1方向の座標位置をランダムに選択する第1座標選択部と、
    前記全域画像内の前記第1方向に交差する第2方向の座標位置をランダムに選択する第2座標選択部と、を備え、
    前記訓練画像選定部は、前記全域画像内の画像から、前記第1座標選択部及び前記第2座標選択部で選択された座標位置を含む所定サイズの前記部分画像を前記訓練画像として選定する、情報処理装置。
JP2020149253A 2020-09-04 2020-09-04 情報処理装置 Active JP7527902B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020149253A JP7527902B2 (ja) 2020-09-04 2020-09-04 情報処理装置
US17/191,063 US11715194B2 (en) 2020-09-04 2021-03-03 Information processing apparatus and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020149253A JP7527902B2 (ja) 2020-09-04 2020-09-04 情報処理装置

Publications (2)

Publication Number Publication Date
JP2022043791A JP2022043791A (ja) 2022-03-16
JP7527902B2 true JP7527902B2 (ja) 2024-08-05

Family

ID=80469933

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020149253A Active JP7527902B2 (ja) 2020-09-04 2020-09-04 情報処理装置

Country Status (2)

Country Link
US (1) US11715194B2 (ja)
JP (1) JP7527902B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009072458A1 (ja) 2007-12-05 2009-06-11 Shibaura Mechatronics Corporation 特徴解析装置
JP2016181098A (ja) 2015-03-24 2016-10-13 株式会社Screenホールディングス 領域検出装置および領域検出方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108475351B (zh) 2015-12-31 2022-10-04 科磊股份有限公司 用于训练基于机器学习的模型的系统和计算机实施方法
EP3532991A1 (en) 2017-02-17 2019-09-04 Omron Corporation Evaluating quality of a product such as a semiconductor substrate
KR102440695B1 (ko) 2017-08-11 2022-09-05 삼성전자주식회사 웨이퍼 맵 분석 장치, 이를 이용한 웨이퍼 맵 분석 방법 및 반도체 장치 제조 방법
KR20200123858A (ko) * 2018-03-21 2020-10-30 케이엘에이 코포레이션 합성 이미지를 사용한 머신 러닝 모델 트레이닝

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009072458A1 (ja) 2007-12-05 2009-06-11 Shibaura Mechatronics Corporation 特徴解析装置
JP2016181098A (ja) 2015-03-24 2016-10-13 株式会社Screenホールディングス 領域検出装置および領域検出方法

Also Published As

Publication number Publication date
US20220076398A1 (en) 2022-03-10
JP2022043791A (ja) 2022-03-16
US11715194B2 (en) 2023-08-01

Similar Documents

Publication Publication Date Title
Wronski et al. Handheld multi-frame super-resolution
US9305375B2 (en) High-quality post-rendering depth blur
CN110428366A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN102812496B (zh) 用于景深渲染的模糊函数建模
US7986352B2 (en) Image generation system including a plurality of light receiving elements and for correcting image data using a spatial high frequency component, image generation method for correcting image data using a spatial high frequency component, and computer-readable recording medium having a program for performing the same
CN112085673B (zh) 一种强鬼影去除多曝光图像融合方法
JP2004357277A (ja) デジタル画像処理方法
JPWO2009020047A1 (ja) 構図解析方法、構図解析機能を備えた画像装置、構図解析プログラム及びコンピュータ読み取り可能な記録媒体
JP7322460B2 (ja) 情報処理装置、三次元モデルの生成方法、及びプログラム
JP6450287B2 (ja) 学習データ生成装置、学習装置、学習データ生成方法、学習方法及び画像処理プログラム
CN111951373A (zh) 一种人脸图像的处理方法和设备
CN114862698A (zh) 一种基于通道引导的真实过曝光图像校正方法与装置
CN112648935A (zh) 一种图像处理方法、装置和三维扫描系统
US20230120604A1 (en) System and Method for Maximizing Inference Accuracy using Recaptured Datasets
JP7316867B2 (ja) 半導体画像処理装置
CN114332183A (zh) 图像配准方法、装置、计算机设备和存储介质
JP7527902B2 (ja) 情報処理装置
JP6404794B2 (ja) 画像情報取得方法、画像評価方法、画像情報取得装置、画像評価装置及び画像処理プログラム
Xie et al. Adaptive densely connected single image super-resolution
CN109360176A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
US20210125324A1 (en) Image signal processing
US20180322676A1 (en) Simplified lighting compositing
CN112637573A (zh) 一种多镜头切换的显示方法、系统、智能终端及存储介质
WO2022005301A1 (en) Automatic detection of a calibration object for modifying image parameters
JP2004282782A (ja) 画像の効果色自動抽出方法及び画像の元の色復元方法を利用した画像データベース生成方法及び画像検索方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230315

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240321

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240724

R150 Certificate of patent or registration of utility model

Ref document number: 7527902

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150