JP7341241B2 - 計測システム、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する方法、およびコンピュータに、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する処理を実行させるためのプログラムを格納する記憶媒体 - Google Patents

計測システム、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する方法、およびコンピュータに、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する処理を実行させるためのプログラムを格納する記憶媒体 Download PDF

Info

Publication number
JP7341241B2
JP7341241B2 JP2021541913A JP2021541913A JP7341241B2 JP 7341241 B2 JP7341241 B2 JP 7341241B2 JP 2021541913 A JP2021541913 A JP 2021541913A JP 2021541913 A JP2021541913 A JP 2021541913A JP 7341241 B2 JP7341241 B2 JP 7341241B2
Authority
JP
Japan
Prior art keywords
image
measurement
learning model
teacher data
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021541913A
Other languages
English (en)
Other versions
JPWO2021038815A1 (ja
JPWO2021038815A5 (ja
Inventor
竜 弓場
計 酒井
聡 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi High Tech Corp
Original Assignee
Hitachi High Tech Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi High Tech Corp filed Critical Hitachi High Tech Corp
Publication of JPWO2021038815A1 publication Critical patent/JPWO2021038815A1/ja
Publication of JPWO2021038815A5 publication Critical patent/JPWO2021038815A5/ja
Application granted granted Critical
Publication of JP7341241B2 publication Critical patent/JP7341241B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B15/00Measuring arrangements characterised by the use of electromagnetic waves or particle radiation, e.g. by the use of microwaves, X-rays, gamma rays or electrons
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501Semiconductor wafers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501Semiconductor wafers
    • G01N21/9505Wafer internal defects, e.g. microcracks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03FPHOTOMECHANICAL PRODUCTION OF TEXTURED OR PATTERNED SURFACES, e.g. FOR PRINTING, FOR PROCESSING OF SEMICONDUCTOR DEVICES; MATERIALS THEREFOR; ORIGINALS THEREFOR; APPARATUS SPECIALLY ADAPTED THEREFOR
    • G03F7/00Photomechanical, e.g. photolithographic, production of textured or patterned surfaces, e.g. printing surfaces; Materials therefor, e.g. comprising photoresists; Apparatus specially adapted therefor
    • G03F7/70Microphotolithographic exposure; Apparatus therefor
    • G03F7/70483Information management; Active and passive control; Testing; Wafer monitoring, e.g. pattern monitoring
    • G03F7/70605Workpiece metrology
    • G03F7/70616Monitoring the printed patterns
    • G03F7/70633Overlay, i.e. relative alignment between patterns printed by separate exposures in different layers, or in the same layer in multiple exposures or stitching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/72Data preparation, e.g. statistical preprocessing of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/56Measuring geometric parameters of semiconductor structures, e.g. profile, critical dimensions or trench depth
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30148Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Description

本開示は、計測システム、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する方法、およびコンピュータに、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する処理を実行させるためのプログラムを格納する記憶媒体に関する。
従来の技術
近年の半導体プロセスによって製造されるパターンは微細化が進み、露光装置の複数層間にわたるパターンの重ね合わせ、すなわちオーバレイの精度向上が求められている。また、オーバレイを高精度に計測して露光装置ヘフィードバックすることの重要性は今後ますます高くなると見込まれる。
オーバレイ計測に関し、例えば、特許文献1には、画像処理によって入力画像上の輝度境界によって区切られた輝度領域を複数抽出し、輝度領域の重心の位置関係からオーバレイ計測をする技術が開示されている。また、特許文献2には、CAD画像等の設計画像もしくは設計画像から推測した入力画像の予測画像を参照して、入力画像を画素単位で領域分割し、領域分割された領域の重心の位置関係からオーバレイ計測をする技術が開示されている。さらに、特許文献3には、事前に収集されたオーバレイ計測対象の画像のサンプルを用いて画像からオーバレイ量(オーバレイ計測の対象である半導体の構造の位置のずれ量)を推論する機械学習モデルを学習しておき、機械学習モデルを参照して入力画像からオーバレイ量を計測する技術が開示されている。
WO2017/130365号公報 特表2018-522238号公報 特表2010-538474号公報
しかしながら、特許文献1に開示の技術には、入力画像に応じて画像処理中のパラメータを人手で調整する必要があり、さらにパラメータの調整にノウハウも必要なため、オーバレイ計測する作業者がエキスパートに限定されるという課題がある。
また、特許文献2に開示の技術には、設計画像が開示されない等の理由で入手できない場合に運用できないという課題がある。
さらに、特許文献3に開示の技術には、入力画像からオーバレイ量を計測する過程が目視確認できないため、入力画像から予期されないオーバレイ量が計測された場合に要因解析が困難という課題がある。
本開示はこのような状況に鑑みてなされたものであり、ノウハウを要する画像処理のパラメータ調整や入手困難な場合のある設計図の参照を伴うことなく計測処理の実行を可能にする技術を提案する。
以上述べた課題を達成するために、本開示の実施形態は、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する方法であって、少なくとも1つのプロセッサが、半導体のサンプル画像から得られる領域分割画像に対して少なくとも1つの計測対象の構造を含むラベルを割り振ることにより教師データを生成することと、少なくとも1つのプロセッサが、複数の層から構成されるネットワーク構造に基づいて、サンプル画像の領域分割画像と教師データを用いて、学習モデルを生成することと、を含み、学習モデルは、サンプル画像から教師データを推論するためのパラメータを含む、方法について提案する。
本開示に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、本開示の態様は、要素及び多様な要素の組み合わせ及び以降の詳細な記述と添付される請求の範囲の様態により達成され、実現される。
本明細書の記述は典型的な例示に過ぎず、本開示の請求の範囲又は適用例をいかなる意味においても限定するものではない。
本開示によれば、ノウハウを要する画像処理のパラメータ調整や入手困難な場合のある設計図の参照を伴うことなく、計測処理を実行することが可能となる。
実施例1による教師データ作成からオーバレイ計測までの機能構成の一例を示す図である。 サンプル画像の例を示す図である。 領域分割画像の例を示す図である。 教師作成部1によって提供される、サンプル画像13から教師データ14を作成するためのユーザインタフェースの構成例を示す図である。 学習モデル11におけるディープニューラルネットワーク構造179の例を示す図である。 ニューラルネットワーク構造179と画像との幾何的な関係について補足説明するための図である。 入力画像12の一例である画像50を示す図である。 グループ化部4の出力の例を示す図である。 グループ化部4が実行するグループ化処理の詳細を説明するためのフローチャートである。 オーバレイ計測の第1および第2の計測対象のラベルの例を示す図(表)である。 オーバレイ計測部5が実行するオーバレイ計測処理の詳細を説明するためのフローチャートである。 テンプレートデータ85の構成例を示す図である。 オーバレイ計測の第1と第2の計測対象のラベルの他の例を示す図(表)である。 実施例2による教師データ作成からオーバレイ計測までの機能構成例を示す図である。 サンプル画像の組30aおよび30bと、領域分割画像(ラベルが割り振られた教師データ)40aおよび40bの例を示す図である。 実施例3による教師データ作成からオーバレイ計測までの機能構成例を示す図である。 サンプル画像213の構成例を示す図である。 教師データ214の構成例を示す図である。 教師作成部201による教師データ作成処理を説明するためのフローチャートである。 ステップS204の統計処理による補正の例を説明するための図である。 ステップS204の統計処理による補正の他の例を説明する図である。 実施例4の教師データ作成からオーバレイ計測までの機能構成例を示す図である。 位置情報画像340の例を示す図である。 位置情報画像360の例を示す図である。 オーバレイ計測部305によるオーバレイ計測処理を説明するためのフローチャートである。 実施例5による教師データ作成からオーバレイ計測までの機能構成例を示す図である。 領域分割画像440から推論された画像430の例を示す図である。 領域分割画像440中から小領域71qをレイアウト変更した場合の例を示す図である。 領域分割画像440中から小領域71qをレイアウト変更した時に遮蔽が生じたときの例(ラベル43、41、および42の順に手前側にあると定めたときの例)を示す図である。 実施例6による教師データ作成から画像計測検査までの機能構成例を示す図である。 本実施形態(各実施例共通)による計測システム310の概略構成例を示す図である。
本実施形態および各実施例は、所定の構造(例えば、多層構造)を有する半導体における画像計測を行う計測システムに関し、より具体的には、半導体が多層構造の場合、層間のずれ量を計測するオーバレイ計測を計測システムに関する。ただし、本開示による技術は、オーバレイ計測に限定して適用されるものではなく、広く画像計測一般に適用することができるものである。
以下、添付図面を参照して本開示の実施形態および実施例について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本開示の原理に則った具体的な実施形態と実施例を示しているが、これらは本開示の理解のためのものであり、決して本開示を限定的に解釈するために用いられるものではない。
本実施形態では、当業者が本開示を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本開示の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。
更に、本開示の実施形態は、後述されるように、汎用コンピュータ上で稼動するソフトウェアで実装しても良いし専用ハードウェア又はソフトウェアとハードウェアの組み合わせで実装しても良い。
なお、以後の説明では「テーブル」形式によって本開示の各情報について説明するが、これら情報は必ずしもテーブルによるデータ構造で表現されていなくても良く、リスト、DB、キュー等のデータ構造やそれ以外で表現されていても良い。そのため、データ構造に依存しないことを示すために「テーブル」、「リスト」、「DB」、「キュー」等について単に「情報」と呼ぶことがある。
また、各情報の内容を説明する際に、「番号」、「識別情報」、「識別子」、「名」、「名前」、「ID」という表現を用いることが可能であり、これらについてはお互いに置換が可能である。
(1)実施形態
本実施形態(および実施例1から6)は、例えば、所定の構造(例えば、多層構造)を含む半導体の画像計測を行う計測システムに関する。当該計測システムは、半導体のサンプル画像から生成された教師データとサンプル画像とに基づいて生成された学習モデルを参照して、所定の構造を有する半導体の入力画像(計測対象)から領域分割画像を生成し、当該領域分割画像を用いて画像計測を行う。ここで、教師データは、サンプル画像における半導体の構造を含むラベルが画像の各画素に割り振られた画像であり、学習モデルは、サンプル画像から教師データを推論するためのパラメータを含んでいる。この学習モデルを用いることにより、サンプル画像から教師データへの推論が入力画像に対して適用されるので、入力画像の設計データを用いることなく計測処理を実行することが可能となる。
図31は、本実施形態(各実施例共通)による計測システム310の概略構成例を示す図である。計測システム310は、例えば、オーバレイ計測を実行するオーバレイ計測システム、半導体画像中の輪郭抽出やホール形状等の寸法を計測する寸法計測システム、欠陥パターンなどを検出する欠陥パターン検出システム、設計図の推論と実際の設計図との照合位置を探索するパターンマッチングシステムなどに相当する。
計測システム310は、例えば、メインプロセッサ190を含むメイン計算機191と、メイン計算機191に指示やデータを入力するとともに、演算結果を出力する入出力装置192と、測定対象の画像を供給する電子顕微鏡あるいは電子顕微鏡の画像を蓄積するサーバ計算機193(以下、電子顕微鏡等という)と、第1サブプロセッサ190aを含む第1サブ計算機191aと、第2サブプロセッサ190bを含む第2サブ計算機191bと、を備え、それぞれの構成要素がネットワーク(例えば、LANなど)によって接続されている。なお、図31において、第1および第2サブ計算機191aおよび191bが2つ設けられているが、全ての演算をメイン計算機の中で実行してもよいし、メイン計算機191を補助するためのサブ計算機を1以上設けてもよい。
メイン計算機191は、後述の、図1、14、16、22、26、および30における教師作成処理および学習モデル作成処理(各図における教師作成部および学習部に対応する処理)を実行する。また、推論処理および計測処理(各図における領域分割部、グループ化部、および計測部(オーバレイ計測部)に対応する処理)は、メイン計算機191あるいは第1サブ計算機191aおよび第2サブ計算機191bで分散して処理してもよい。なお、第1サブ計算機191aおよび第2サブ計算機191bでは、推論処理および計測処理のみ実行し、教師作成処理および学習モデル作成処理は実行しないように構成することができる。また、サブ計算機が複数設置されている場合(例えば、第1サブ計算機191aおよび第2サブ計算機191b)には、各サブ計算機間で推論処理および計測処理を分散させてもよい。
電子顕微鏡等193は、例えば、ウエハ上に形成された半導体パターン画像を取得(撮像)し、メイン計算機191やサブ計算機191aおよび191bに提供する。電子顕微鏡等193がサーバ計算機である場合、サーバ計算機は、電子顕微鏡によって撮像された半導体パターン画像を記憶デバイス(例えば、ハードディスクドライブ(HDD))に格納し、メイン計算機191の指示に応答して、指示に対応する画像をメイン計算機191などに提供する。
以下、計測システム310において実行される処理の各実施例について詳細に説明する。なお、実施例1から5までは、計測例としてオーバレイ計測を挙げている。実施例6においては、本開示の技術が全ての計測処理に適用できることが明示されている。
(2)実施例1
図1は、実施例1による教師データ作成からオーバレイ計測までの機能構成の一例を示す図である。教師作成部1、および学習部2の機能は、メイン計算機191のメインプロセッサ190が図示しない記憶部から対応する各処理プログラムを読み込むことによって実現される。また、領域分割部3、グループ化部4、およびオーバレイ計測部5の機能は、メイン計算機191のメインプロセッサ190あるいはサブ計算機191aや191bのサブプロセッサ190aや190bが図示しない記憶部から対応する各プログラムを読み込むことによって実現される。
<機能構成の概要>
まず、図1に示される教師データ作成からオーバレイ計測までの機能構成の概要について説明する。サンプル画像13は、事前に収集されたオーバレイ計測の対象とする画像のサンプルである。教師データ14は、オーバレイ計測の計測対象となる半導体中の構造を含むラベルを画像中の各画素に割り振った領域分割画像を、サンプル画像13のそれぞれについて用意したものである。
教師作成部1は、サンプル画像13から教師データ14を作成するとともに、教師データ14を作成するためのユーザインタフェースも提供する。学習モデル11は、画像(例えば、サンプル画像)から領域画像分割を求める機械学習モデル中の係数等のパラメータである。学習部2は、サンプル画像13が入力されたときに教師データ14にできるだけ近い領域分割画像を推論する学習モデル11を計算する。
入力画像12は、オーバレイ計測時において、計測の対象となる画像である。領域分割部3は、学習モデル11を参照して、入力画像12から領域分割画像を推論する。グループ化部4は、領域分割画像中のオーバレイ計測の計測対象を小領域の単位でグループ化を行う。オーバレイ計測部5は、グループ化部4がグループ化した小領域の位置からオーバレイ計測を行う。
以上の教師作成部1、学習部2、領域分割部3、グループ化部4、およびオーバレイ計測部5の各機能は、任意の計算機上における信号処理によって実現できる。
<各機能構成の詳細>
以下、実施例1の各機能構成の詳細について述べる。サンプル画像13は、オーバレイ計測を運用するよりも前に撮像された画像であって、計測対象となる半導体の試料もしくは計測対象となる半導体の試料に画像の見え方が近い試料の画像である。サンプル画像13は、オーバレイ計測を運用する電子顕微鏡もしくはこの電子顕微鏡と撮影画像の画質が近い電子顕微鏡によって収集することができる。
(i)図2は、サンプル画像の例を示す図である。図2における画像30は、例えば、サンプル画像の一部を示している。画像30の中にはオーバレイの計測対象の半導体中の構造が含まれている。サンプル画像は、画像30と同様の画像1枚以上から構成される。
(ii)教師データ14は、サンプル画像13中の各々の画像30から求めた領域分割画像から構成される。図3は、領域分割画像の例を示す図である。図3において、領域分割画像40には、画像30中の各画素において、第1の計測対象、第2の計測対象、および背景を示すラベル41、ラベル42、およびラベル43が割り振られている。ラベル41および42に対応する第1の計測対象および第2の計測対象は、オーバレイの計測対象であって、例えば、ビアやトレンチおよびその他の半導体中の構造に相当する。半導体中の構造をどの様に定めるかは、オーバレイ計測の運用に応じて事前に決められる。なお、領域分割画像40にはラベル41、42、および43以外にも付加的なラベルが割り振られるようにしてもよい。例えば、図3中において領域分割画像40中には、学習部2が除外する無効領域に応じたラベル49が割り振られている。
(iii)図4は、教師作成部1によって提供される、サンプル画像13から教師データ14を作成するためのユーザインタフェースの構成例を示す図である。図4において、当該ユーザインタフェースは、例えば、主画面90と、入力画面91と、入力選択領域92と、入力ペン93と、を含む。入力画面91では、作業者が入力選択92のラジオボタンの中から何れかの項目を選択した状態で、画像30上において入力ペン93を操作(例えば、ラベル指定する領域を塗りつぶす)することにより、ラベルが入力ペンで操作された領域に割り振られる。入力選択92は、第1の計測対象、第2の計測対象、背景のラジオボタンの項目の選択に応じて、順にラベル41、42、および43が選択される。入力ペン93により入力された箇所には、入力選択92で選択されたラベルに応じて、所定の色もしくは諧調(階調)が割り振られる。
入力選択92は、無効領域49の様な付加的なラベルを選択できるような項目を含んでいてもよい。なお、入力選択92におけるユーザインタフェースは一例であって、ラジオボタンに添えられた文字列を変えることや、ラジオボタン以外のユーザインタフェースを設けてもよい。選択用の領域94は、画像30中の一部にラベル41、42、および43が割り振られた例を示している。そして、画像30の全領域に同様のラベルが割り振られることで領域分割画像40が作成される。
以上述べた教師作成部1を用いることで、ノウハウを必要とするパラメータ調整や設計図の参照を必要とすることなく、作業者はサンプル画像13から教師データ14を平易な作業で作成することができる。
(iv)図5は、学習モデル11におけるディープニューラルネットワーク構造179の例を示す図である。ディープニューラルネットワーク構造179は、例えば、入力層170と、出力層171と、複数の中間層172、173、および174と、によって構成することができる。
入力層170には、画像30が格納される。入力層170から中間層172、ならびに中間層172から中間層173へは、所定係数フィルタによる畳み込み演算や画像縮小によって層内のデータが集約される。一方、中間層173から中間層174、および中間層174から出力層171には、所定係数フィルタによる畳み込み演算や画像拡大によって層内のデータが展開される。この様なネットワーク構造は一般に畳み込みニューラルネットワークと呼ばれる。出力層(最終層)171内のデータは、領域分割画像40中のラベル毎の尤度を示す。尤度が最大となるラベルが各画素に割り振られることで領域分割画像40を求めることができる。学習モデル11は、中間層におけるフィルタの係数に相当する。なお、ディープニューラルネットワーク構造179は、学習モデル11におけるネットワーク構造の一例であり、172等の中間層の数は図5に示す3つに限らない。また、中間層172と174を結ぶようなバイパス構造の様な付加的な構造を取ることやフィルタ演算に加えた付加的な演算を加えることができる。学習モデル11におけるネットワーク構造に対する付加的な構造や付加的な演算の追加に伴って付加的なパラメータが追加される場合には、学習モデル11には付加的なパラメータも追加されることになる。
(v)図6は、ニューラルネットワーク構造179と画像との幾何的な関係について補足説明するための図である。図6では、画像30中の画素175および領域分割画像40において画素175と同一座標の画素177に着目する。この時、入力層170中において、受容野176(受容野とは、ラベルの決定に関与する画像範囲であって、その大きさはニューラルネットワーク構造179に応じて定まる)と呼ばれる画素175の所定範囲の近傍領域が関与する。そして、入力層170中の受容野176のデータからは、畳み込み演算や画像拡大と画像縮小により中間層172、173、および174のデータが求まり、出力層171中において画素177のラベルが定まる。なお、実際には画像30中の各画素から領域分割画像40中の各画素のラベルが並列演算的により効率的に求まる。
学習部2は、サンプル画像13と教師データ14を参照して、画像30が与えられたときに領域分割画像40を推論するための学習モデル11のパラメータを計算する。具体的には、学習部2は、例えば、サンプル画像13中の画像30から領域分割画像40を推論し、推論された領域分割画像40と教師データ14中の画像30対応した領域分割画像40とを比較し、両者の領域分割画像40の差が最適かつ最小な学習モデル11を算出する。例えば、両領域分割画像40の差を両者の全画素の中でラベルが異なる画素の数とし、画素の数に対する学習モデル11(ニューラルネットワーク構造179)中の各要素の偏微分係数を求める。そして、学習モデル11中の各要素に偏微分係数に負の所定係数を乗算したものを加算して更新する(画素の数が減る様に少しずつ更新する)ことをサンプル画像13中の各々の画像30で逐次的に行う方法がある。ただし、この方法には限らない。ここで、教師データ14中の対応した領域分割画像40にラベル49(無効領域)が含まれていた場合は、その部分をラベルが異なる画素の数の集計から除外する。
さらに、学習部2は、学習モデル11を生成する際に、サンプル画像13中の画像30にランダムノイズを加えたり、拡大や縮小ならびに左右反転や上下反転等の幾何変換を施す等の合成処理を行った合成画像を加えたりしてもよい。合成画像を加えることで、学習部2はより豊富な数の画像30から学習モデル11を求めることができる。
(vi)入力画像12は、オーバレイ計測時に撮影された画像である。図7は、入力画像12の一例である画像50を示す図である。図7の画像50における領域59は、サンプル画像13中の画像30と同程度の寸法の領域であり、オーバレイ計測対象となる半導体中の構造を含んでいる。画像50の領域59の外には、領域59と同様にオーバレイ計測対象となる半導体中の構造が周期的に映っている。
領域分割部3は、学習モデル11を参照して、入力画像12から図7中の領域分割画像60を推論する。領域分割画像60中の領域69は、領域59と同じ範囲の領域である。ここで推論とは、学習モデル11のネットワーク構造にデータを入力して、ネットワーク構造の各層(入力層170、出力層171、および中間層172、173、および174)の畳み込み演算等の計算を行い、計算結果を取得することを意味する。領域分割画像60中の領域69の各画素には、領域分割画像40と同様にラベル41、42、および43のいずれかが割り振られる。領域59の画像がサンプル画像13中の画像30いずれかと類似している場合、学習部2が学習モデル11を求める過程において画像30に応じた領域分割画像40を推論する特質が学習モデル11に備わる。このため、領域69には正確なラベルが割り振ることができる。領域分割画像60中の領域69以外の残りの領域も同様である。ここで、「類似」の尺度(基準)は、受容野176(画像30中の小領域)の単位において、内部の画像が類似していることとする。特に、オーバレイ計測においては、計測対象となる半導体中の構造が周期的である。このために、サンプル画像13中の画像が領域分割画像60より寸法が小さなものであっても、領域分割画像60と類似の条件を満たす画像30がサンプル画像13の中に存在して、正確なラベルが割り振られることを期待することができる。
(vii)グループ化部4は、図9のフローチャートで示される処理を実行することによって領域分割画像60中におけるオーバレイの計測対象を小領域単位でグループ化する。グループ化処理の詳細については後述する。
(viii)オーバレイ計測部5は、図11のフローチャートで示される処理を実行するによって、グループ化画像70からオーバレイ計測を行う。オーバレイ計測処理の詳細については後述する。
<グループ化処理の詳細>
図9は、グループ化部4が実行するグループ化処理の詳細を説明するためのフローチャートである。グループ化処理は、図10の表80によって指定される計測対象の項目に従って、領域分割画像60の所定の領域に付与されたラベルに応じて関連する小領域ごとにグループ化する
グループ化部4は、ステップS1からステップS4において、図10中の表80に指定された計測対象の項目毎に(第1の計測対象と第2の計測対象)、ステップS2およびステップS3の処理を繰り返し実行する。
ステップS2において、グループ化部4は、領域分割画像60中の対象ラベルの画素を1、それ以外を0とした2値画像を求める。図10によると、対象ラベルは、第1の計測対象に対してラベル41、第2の計測対象に対してラベル41とラベル42となる。第2の計測対象に対して複数のラベルが指定されるのは、画像50中においてラベル41に応じた構造がラベル42に応じた構造よりも手前側にあるために、領域分割画像60においてラベル42の一部がラベル41に遮蔽されているためである。
ステップS3において、グループ化部4は、ステップS2で得た2値画像から、小領域の単位でグループ化する。小領域単位のグループ化の手法として、2値画像中の値1の画素が成す連結領域の単位でグループ化するラベリングと呼ばれる手法を適用することができる。ただし、ラベリングに限らず小領域単位のグループ化が可能な他の手法を適用できる。
以上のようにしてグループ化処理が実行される。ここで、図8は、グループ化部4の出力の例を示す図である。図8において、画像70は、グループ化処理(図9)によって求めたグループ化画像の例を示している。小領域71a、71b、71c、および71dは、表80中の第1の計測対象に対応する小領域である。また、小領域72a、72b、72c、および72dは、表80中の第2の計測対象に対応する小領域である。グループ化画像70中の領域79は、領域59(図7参照)と同じ範囲の領域である。例えば、半導体パターンの場合、領域分割画像60(図7参照)における領域59の外には、領域59と同様の小領域が繰り返し出現する。つまり、半導体パターンの場合、類似パターンが繰り返し現れてくるので、教師データを画像中の全画素に対して作成しなくてもよい。例えば、小領域である受容野176(図6参照)の教師データが得られれば、受容野176よりも大きな領域の画像全体を推論することが可能な学習モデルを構築することができ、作業者(オペレータ)の手間を省くことができる。
<オーバレイ計測処理の詳細>
図11は、オーバレイ計測部5が実行するオーバレイ計測処理の詳細を説明するためのフローチャートである。
(i)ステップS11
オーバレイ計測部5は、第1の計測対象に対してテンプレートの位置合わせをする。ここで、テンプレートとは、第1の計測対象の各要素のX座標とY座標であり、オーバレイ計測の運用より事前に用意されたデータである。図12は、テンプレートデータ85の構成例を示す図である。図12において、テンプレートデータ85は、第1から第Nまでの各要素のX座標およびY座標から構成される。テンプレートデータ85は、代表例となるグループ化画像70における小領域71a、71b、71c、および71d等の重心のX座標およびY座標から求められる。あるいは、テンプレートデータ85は、半導体の設計図等から求めてもよい。
位置合わせの基準としては、テンプレート中の全点の重心と、第1の計測対象の小領域71a等の重心が合うように合わせることを挙げることができるが、この手法に限らない。
(ii)ステップS12
オーバレイ計測部5は、位置合わせしたテンプレートデータ85における要素それぞれに対応した小領域71a等を選択する。選択の基準は、小領域71a等の中で重心が最もテンプレートデータ85の要素に近いこととすることができるが、これに限らない。
(iii)ステップ13からS18
オーバレイ計測部5は、ステップS12で選択された小領域毎にステップS14からS17の処理を繰り返し実行する。以下の説明では小領域71aを対象とした場合を例として述べる。
(iii-1)ステップS14
オーバレイ計測部5は、第1の計測対象の代表位置である位置1を計算する。位置1は、X座標のX1とY座標のY1という2つの要素から構成される。位置1は、小領域71a等の重心位置のX座標とY座標から計算する。
(iii-2)ステップS15
オーバレイ計測部5は、第2の計測対象の小領域の中で、小領域71aとオーバレイ量を計測するものを選択する。この選択の基準には重心の位置が最も近いものを選択するという基準を適用することができる。図8の場合、例えば、小領域72aが選択される。
(iii-3)ステップS16
オーバレイ計測部5は、ステップS14と同様の手順で、ステップS15で選択した第2の計測対象の小領域(例えば、小領域72a)の代表位置である位置2を求める。位置2は、X座標のX2とY座標のY2という2つの要素から構成される。
(iii-4)ステップS17
オーバレイ計測部5は、位置2と位置1から、下記式1および式2でX座標およびY座標の変位量であるDxおよびDyを計算する。
Dx = X2-X1 ・・・ (式1)
Dy = Y2-Y1 ・・・ (式2)
(iv)ステップS19
オーバレイ計測部5は、式1および式2に基づいて求めたDxおよびDyの変位量の統計量を計算する。当該統計量を算出する際には相加平均を適用することができるが、これに限らず相乗平均や中央値であってもよい。オーバレイ計測部5はステップ19で求めた変位量の統計量を画像50のオーバレイ量とする。
<実施例1による技術的効果>
実施例1によれば、事前に教師作成部1においてサンプル画像13から作成した教師データ14を用いて学習部2が学習モデル11を求める過程を設けておく。そして、領域分割部3が学習モデル11を参照して入力画像12から求めた領域分割画像60を使うことで、グループ化部4とオーバレイ計測部5によってオーバレイ量を計測することができる。これにより特許文献1とは異なり、ノウハウを要するパラメータの調整を要することなく、また特許文献2とは異なり、入力画像12の設計データを必要とすることなく、領域分割画像60を推論することで正確なオーバレイ計測が可能となる。また、領域分割画像60やグループ化画像70という中間処理データを可視化できるために、特許文献3と異なり予期しないオーバレイ量が計測した場合に中間処理データを画面表示することで要因の把握が可能となる。つまり、領域分割部3では学習モデル11を参照して入力画像12を領域分割するため、上述の第1および第2の課題が解決される。また、領域分割画像は可視化できるデータであるために作業者が確認することが容易である。このため、第3の課題も解決される。
また、実施例1によれば、学習モデル11が受容野176の単位で領域分割画像40を推論する。また、オーバレイ計測処理では、一般に入力画像12(画像60:図7参照)が周期的な半導体中の構造を映している。このため、教師作成部1において主画面90のユーザインタフェースを用いて教師データ14を割り振るサンプル画像13における画像30の寸法が、入力画像12中の画像60よりも小さな寸法で済む。これにより、作業者が教師データ14を割り振るときの工数を低減することができる。
<実施例1の変形例>
以上述べた実施例1では構成要素を変更することができる。例えば、学習モデル11は、上述のニューラルネットワーク構造以外にも、受容野176の単位で画像30から領域分割画像40を推論する任意の機械学習モデルを適用できる。例えば、画像30の受容野176の全画素から画素177のラベルを定める線形判別器でもよい。
ステップS16では位置2のX2とY2の座標を、異なるラベルの小領域から求めても良い。例えば、図13に示される表81を参照した場合、ステップS16において、オーバレイ計測部5は、座標X2をラベル41およびラベル42の小領域、座標Y2をラベル44(図3の領域分割画像40の例中に図示しない半導体中の所定の構造に割り振ったラベル)の小領域から求める。ラベル42に対応する半導体中の構造の縦方向の輪郭(コントラスト)が不鮮明なためにラベル41およびラベル42とあわせた小領域からは正確なY2が求められない場合がある。このような場合、図3において縦方向におけるコントラスト(横縞)が鮮明な構造に割り振ったラベル44(例えば、実施例2の図15のラベル42b)を追加することで正確な座標Y2が求められる。つまり、ラベル42に対応する半導体中の構造の縦方向のコントラストが不鮮明な場合には、オーバレイ計測対象を新たに割り振ったラベル44に変更することにより、正確に座標Y2を求めることができるようになる。
また、ステップS16において表81を参照する場合、ステップS16において表80を参照する場合と比べて、教師作成部1は、ラベル44をラベルの割り振りの対象に加える。そして、領域分割部3はラベル44を推論の対象に加え、グループ化部4はラベル44をグループ化の対象に加える。同様に、ステップS14では、位置1のX1とY1の座標を異なるラベルの小領域から求めてもよい。
ステップS11の処理は、オーバレイ計測として一般的であるが、除外してもよい。その場合、ステップS12ではグループ化画像70中の小領域71a等の全てが選択される。あるいは、ステップS12では小領域71a等の中で面積がノイズ程度に小さい等の付加的な取捨選択を行ってもよい。
(3)実施例2
<機能構成例>
図14は、実施例2による教師データ作成からオーバレイ計測までの機能構成例を示す図である。図14において、サンプル画像113は、例えば、撮影条件を変えて半導体ウエハにおける同一箇所を複数回撮影した画像の組である。ここで、撮影条件とは、電子顕微鏡の加速電圧や、反射電子像や二次電子像を撮像することや両者の合成画像を求める際の合成比率等であるが、これに限らない。
図15は、サンプル画像の組30aおよび30bと、領域分割画像(ラベルが割り振られた教師データ)40aおよび40bの例を示す図である。画像30aは、領域31a内に横長な構造があるが、その上下の輪郭(縦方向のコントラスト)は不鮮明である。一方で、画像30bは、領域31aと同一箇所の領域31bの画像を含む。画像30bにおいて、上下の輪郭(縦方向のコントラスト)は鮮明な構造となっている。
オーバレイ計測処理では、多層の半導体を撮影対象とし、電子顕微鏡から見て多層中の各層にピントが合う深度は異なっていて層毎に最も鮮明な撮影条件が異なる。このため、撮影条件を変えて複数回撮影することにより画像中の全ての構造から鮮明な像を取得できる場合が存在する。教師作成部1は、サンプル画像113における画像の組にラベルを割り振り、教師データ114を作成すると共に、そのためのユーザインタフェースを提供する。図15における教師データ40aおよび40bは、教師データ114の一例であり、画像30aおよび画像30b中に、それぞれラベル41a、42a、および43aと、ラベル42b、および42cを割り振った領域分割画像の組である。
学習部102は、サンプル画像113と、教師データ114と、画像の組30aおよび30bと、領域分割画像の組40aおよび40bから、学習モデル111を算出する。学習モデル111は、画像30aから領域分割画像40aするニューラルネットワーク構造と、画像30bから領域分割画像40bを推論するニューラルネットワーク構造と、を含む。これらのニューラルネットワーク構造は、全く独立した2つのニューラルネットワーク構造としてもよいし、もしくは中間層173等の一部を共有した(共通にした)ニューラルネットワーク構造としてもよい。
入力画像112は、サンプル画像113と同じか、もしくは近い撮影条件で撮影された画像の組である。領域分割部103は、入力画像112から領域分割画像の組40aおよび40bと構成を同じくした領域分割画像の組を出力する。グループ化部104は、領域分割部103が出力した領域分割画像の組からラベル41aと、ラベル41aおよび42aと、ラベル42bの3種類のラベルがそれぞれ割り振られた小領域を求める演算を実行する。
オーバレイ計測部105は、図11に示されるステップS14における位置1をラベル41から求め、ステップS16における位置2のX座標(X2)をラベル41aおよび42aから求め、Y座標(Y2)をラベル42bから求めるようにして、オーバレイ量を計測する。
<実施例2による技術的効果>
実施例2では、以上述べた構成により、単一の撮影条件では正確なオーバレイ計測が困難な場合においても、同一箇所を複数の撮影条件で画像の組を使う。これにより、領域分割部103が推論するラベルが正確となり、オーバレイ計測部105は正確なオーバレイ計測が可能になる。さらに、教師作成部101がサンプル画像113中の鮮明な部分にラベルを割り振るため、教師作成部101は、正確にラベルを小領域に割り振って教師データ114を作成することができる。
(4)実施例3
実施例3は、ラベル割り振りの対象をサンプル画像の一部に絞ることにより、作業者が教師データのラベル割り振り作業の作業量を低減する技術について開示する。
<機能構成の概要>
図16は、実施例3による教師データ作成からオーバレイ計測までの機能構成例を示す図である。まず実施例3による機能構成例の概要について説明する。
教師作成部201は、サンプル画像213中の部分集合である画像群231にラベルを割り振った(すなわち、画像群231中の各々の画像30にラベルを割り振った)領域分割画像群241から中間学習モデルを学習する。ここで、中間学習モデルという文言を用いているのは、画像群231(サンプル画像213の部分集合)から領域分割画像群241を生成するための学習モデルであって、入力画像12から領域分割画像を生成するための最終の学習モデルではないからである。
教師作成部201は、続いて、中間学習モデルを参照して残りのサンプル画像233から領域分割画像群243を推論し、更に領域分割画像群243を補正する処理を実行する、あるいは補正のためのユーザインタフェースを提供する。学習部2、領域分割部3、グループ化部4、およびオーバレイ計測部5の各機能と、学習モデル11および入力画像12のデータは、実施例1と共通であるので、説明は省略する。
<教師データ作成処理の詳細>
図17から図19を参照して、教師作成データ処理の詳細について説明する。図17は、サンプル画像213の構成例を示す図である。図18は、教師データ214の構成例を示す図である。図19は、教師作成部201による教師データ作成処理を説明するためのフローチャートである。
(i)ステップS201
図17に示されるように、サンプル画像213は、事前に画像群231と画像群233の部分集合に分割される。
ステップS201において、教師作成部201は、図18に示す領域分割画像群241を作成するためのユーザインタフェース(主画面90:図4参照)を作業者に提供し、作業者の入力に応答して、画像群231にラベルを割り振る。
(ii)ステップ202
教師作成部201は、学習部2と同じ手順に従い、画像群231と領域分割画像群241から中間学習モデル(画像分231から領域分割画像群241を生成するための学習モデル)を求める。
(iii)ステップS203
教師作成部201は、領域分割部3と同様に、ステップS202で求めた中間学習モデルを参照して、画像群233から領域分割画像群243中を推論する(正確には画像群233中の画像30それぞれから領域分割画像40を推論することで領域分割画像群243を求める)。
(iv)ステップS204
サンプル画像の部分集合である画像群231が画像群233に含まれる全ての画像の性質を完全に網羅することは困難なため、ほとんどの場合において領域分割画像群243には誤ったラベルが含まれる。そこで、教師作成部201は、領域分割画像群243におけるラベルに対して統計処理による補正を実行する。統計処理による補正として、例えば、半導体チップ内における同一撮影箇所を繰返し撮影した領域分割画像群243中の部分集合内においてラベルの最頻値をとる補正を行うことができる。
ここで、図17に示す画像群233内の部分集合の画像群232中の画像32a、32bから32m(mは任意の数字)は、半導体ウエハ内の同一箇所を繰返し撮影した画像である。このとき、ステップS204において、画像群232から推論された領域分割画像群242内の領域分割画像42a、42bから42mには全て、最頻値を取る補正により最頻値のラベルが割り振れる。また、領域分割画像42a、42bから42m内の同一座標の画素43a、43bから43mに着目したとき、補正前において各画素の中で最も出現頻度が高いラベルが、最頻値を取る補正により補正後に割り振られる。最頻値をとる補正によって、同一箇所を繰返し撮影したときの画像30の画質や重畳されるノイズにより、領域分割画像40のラベルが変化してしまうことを補正することができる。
なお、画像232中の画像32a、32bから32mの撮影箇所が多少位置ずれする場合には事前に位置合わせを行うようにしてもよい。当該位置合わせは、画像32aに対する32bから32mの各画像との間で画像間の変位量を求め、画像32bから32mを画像の変位量分だけ平行移動することでできるが、これ以外の手法で位置合わせしても良い。画像間の変位量は、画像32bと画像32aの場合、変位量に応じて画像32bを平行移動したときに、画像32bと32aの各画素の明度の差分の和が最小となる条件で求めることができる。変位量は、他にも、変位量に応じて領域分割画像42bを平行移動したときに、領域分割画像42bと42aの間でラベルが一致しない画素の数が最小となる条件で求められる。画像間の変位量の求める対象は先頭の画像32a以外でもよい。
(v)ステップ205
教師作成部201は、領域分割画像群233中に割り振られたラベルが正確なものであるかを作業者が確認するためのユーザインタフェースを提供する。当該ユーザインタフェースは、領域分割画像群243中を構成する各々の領域分割画像40を表示する。この際に、領域分割画像40に割り振られたラベルの適否を判断しやすいように、ステップS205のユーザインタフェースには画像群233中の画像30を並べて表示したり、画像30上に領域分割画像40を透過させたブレンド画像を付加的に表示したりするようにしても良い。ステップS205で提供されるユーザインタフェースには、領域分割画像群243中の領域分割画像40のラベルを修正する機能を設けてもよい。当該ラベルを修正する機能は、入力画面91(図4参照)中に領域分割画像群243中の領域分割画像40もしくはブレンド画像の表示を行い、入力画面91における入力ペン93の操作により表示中のラベルを修正できるようにするものである。
(vi)ステップS206
教師作成部201は、領域分割画像群241と領域分割画像群243を合わせて教師データ214として出力する。
<実施例3による技術的効果>
実施例3によれば、サンプル画像213(すなわち画像群233)において、教師作成部201が提供するユーザインタフェース(主画面90)を用いてラベルを割り振る作業の対象を部分集合である画像群231に絞って、かつサンプル画像213内の全ての画像30にラベルを割り振って教師データ214を取得することが可能となる。実施例1においては、学習モデル11はサンプル画像13中の母数が多いほど推論結果がより正確となる。その一方で、作業者が教師データ14のラベルを割り振る作業の作業量が多くなってしまうというトレードオフがあった。しかし、実施例3によれば、ラベル割り振りの作業量を低減することで上記トレードオフが解消できるようになる。特に、オーバレイ計測では通例、半導体画像中において繰返し現れる構造をオーバレイ計測の対象とする。従って、画像分231の母数を大きく絞っても、ステップS204における統計処理による補正やステップS205におけるユーザインタフェースによる補正が困難な程度までステップS203の推論結果の精度が低くなることは少ないと予期できる。よって、実施例3によれば、作業量の低減に有効と考えられる。
また、ステップS204における統計処理における補正を実行すると、オーバレイ計測の再現性を改善することが可能となる。ここで、オーバレイ計測の再現性とは、半導体ウエハ中の同一箇所を繰り返し撮影したときにおける上記式1および式2に示すオーバレイ量のばらつきの程度の指標である。一般的に、指標として標準偏差σの3倍である3σが用いられる。オーバレイ計測の再現性を改善する効果は、ステップS204における統計処理による補正を行うと、同一箇所を繰返し撮影した画像群232等に対する領域分割画像群242等のラベルが同一になるためである。その結果、半導体ウエハ中において画像群231と同一個所の複数の画像が入力画像12となったときには、複数の画像から領域分割部3が推論する領域分割画像60のラベルは近づく。このため、オーバレイ計測部5がS19で求めるオーバレイ量は均一に近づき、オーバレイ計測の再現性は改善する(小さくなる)。なお、この効果があることから、ステップS201で提供されるユーザインタフェースを用いて作成された領域分割画像群241にも、ステップS204の統計処理による補正を施してもよい。
<実施例3の変形例>
(i)図19で示すフローチャートにおいて、ステップS204もしくはステップS205の一方を削除してもよい。これはステップS204だけでも領域分割画像群243のラベルを補正する効果があり、ステップS205だけでも領域分割画像群243のラベルを確認および補正する効果があるためである。
(ii)ステップS204の統計処理による補正では、最頻値以外の統計量を適用してもよく、また最頻値を取る以外に付加的な処理を行ってもよい。例えば、32a、32bから32mの様な同一座標の画素のラベルで、最頻値の頻度が低い場合には、画素のラベルのばらつきが大きいとして、無効領域49のラベルを割り振ってもよい。
ステップS204の統計処理による補正では、半導体ウエハ中の同一箇所を繰返し撮影した画像群232中の画像を用いる代わりに、画像群232中において類似した複数の部分領域を抽出してもよい。ここで部分領域とは、図4における領域94の様な画像30中の部分領域である。また、類似した複数の部分領域とは、画像群232中における32a等の一枚の画像もしくは複数の画像32aから32m等の複数の画像から、類似度が高いことを条件に同一寸法の部分領域を複数抽出したものである。さらに、ここで類似度は、部分領域における2枚の画像30の画素の明度の相関値によって判断したり、部分領域における2枚の領域分割画像40内の画素中でラベルが一致する画素の比率で判断したりすることができる。オーバレイ計測の対象とする半導体画像は繰り返しパターンであるため、類似した複数の部分領域は見つけやすい。
(iii)ステップS204の統計処理による補正は、領域分割画像群243中のラベルに小領域単位の補正とすることができる。ここで、図20を用いて、統計処理による補正について説明する。図20は、ステップS204の統計処理による補正の例を説明するための図である。図20は、領域分割画像群243中のいずれかの領域分割画像40からグループ化部4で求めた補正前のグループ化画像270の例と、補正後のグループ化画像270’の例を示している。
図20において、当該統計処理による補正によって、小領域71hが小領域71h’に平行移動している。小領域71hの平行移動の量は、小領域71hと72hの重心の変位量(ステップS17の方法で求めた変位量)が、他の小領域71iと72i、71jと72j、71kと72kの重心の変位量の平均値と揃うように様に定めることができる。小領域単位の補正は、他にも、ステップS19で求めた変位量の統計量が目標値となるように小領域71h等の全ての小領域を一律に平行移動してもよい。例えば、領域分割画像群243内においてグループ化画像270と半導体ウエハ中の撮影箇所が同じの部分集合において、部分集合中の各要素からステップS19で求めた変位量の統計量を求めた時の平均値を目標値として使うことができる。もしくは、サンプル画像213中の画像のそれぞれを撮影した半導体ウエハが人為的なオーバレイ量を与えて製造(多層の半導体における所定の層の間を人為的なオーバレイ量だけずらして製造)したものであって、かつ人為的なオーバレイ量がわかっている場合には、サンプル画像213中の画像中においてグループ化と人為的なオーバレイ量が画像270と同じものから部分集合を求めてもよい。本明細書においては、人為的なオーバレイ量をオーバレイ量の設計値と呼ぶことがある。
(iv)さらに、画像群233のオーバレイ量の設計値が予め分かっている場合には、オーバレイ量の感度特性が良くなるように目標値を定めてもよい。図21は、ステップS204の統計処理による補正の他の例を説明する図である。図21に基づいて、補正前のグループ化画像270から補正後のグループ化画像270’を生成するときの基準(移動量を定めるための基準)を説明することができる。
図21において、例えば、オーバレイ量の設計値のX成分をU軸295、オーバレイ量のX成分(上記式1のDx)をV軸296としたグラフ290を考える。このとき、U軸295に対するV軸296の理想値を結んだ直線を297(傾き1かつ切片0直線や、傾きを1として点292a、293b、293cの重心を通る直線、もしくは傾き1を所定の傾きにした直線等)とする。そして、領域分割画像270のオーバレイ量のX成分を示す点292aを直線297に降ろした点294aを目標値のX成分とすることができる。つまり、ベクトル293aを平行移動のXbとすることができる。さらに、図21において、点292bおよび点292cをベクトル293bおよび293cにより点294bおよび点294cに移動するように、領域分割画像群243中の270以外の領域分割画像全てについてのステップS19のオーバレイ量のX成分の目標値を定める。このようにすれば、平行移動の後は領域分割画像群243中におけるオーバレイ量のX成分は全て直線297上に乗る。これは、領域分割画像群243においてオーバレイ計測の感度特性が最良となる条件にあたる。すなわち、点294a、294b、および294c等から回帰直線を求めたときの回帰直線の傾きが直線297に近い、あるいは回帰直線の回帰残差(ベクトル29a、29b、および29c等の平均的な2乗距離にあたる)が最小となる。オーバレイ量のY成分(上記式2に示すDy)についても、グラフ290と同様のグラフからオーバレイ計測の感度特性が最良となる目標値を求めることができる。
例えば、複数の画像グループA、BおよびCがあった場合、理想的には直線297上に全ての値がプロットされることが望まれる。しかし、実際にはそのような理想の状態を得ることは難しい。そこで、変位量があるときには、画像グループ単位で変位量を補正すれば、少なくとも教師データは直線297上にプロットされるようになる(学習モデルの範囲では直線297上に正しくプロットされるようにすることができる)。この教師データの変位量を学習モデルの癖および教師データの癖として認識することができるので、各画像における変位量のばらつきを抑えることができる。つまり、統計処理による補正を実行することにより、オーバレイ計測の感度特性を改善することができる。
(v)ステップS204の統計処理による補正を小領域単位で行うときには、以上述べた幾つかの補正を組み合わせて行ってもよい。また、小領域単位の補正では、平行移動以外にも小領域71h等の重心が変化する幾何的な変形を行ってもよい。例えば、幾何的な変形として、小領域71hの右半分を削ることが挙げられる。これにより小領域71hの重心を左側に移動させる。
(vi)教師作成部201は、主画面90等においてステップS204の統計処理による補正が確認できるように、補正前後のグループ化画像270および270’や、これに応じた画像30や領域分割画像40を表示する様にしてもよい。
(vii)教師作成部201では、ステップS202に示す中間学習モデルを何段階かに分けて求めてもよい。例えば、画像群231と領域分割画像群241から第1の中間学習モデル、画像群231と領域分割画像群241に加えて画像群232と第1の中間学習モデルを参照した推論結果からラベルを求めた領域分割画像群242から第2の中間学習モデルを求める。そして、第2の中間学習モデルを参照して画像群233中の画像群232以外を推論することで教師データ214中の領域分割画像40全てにラベルが割り振られるようにしてもよい。
(5)実施例4
図22から図25を用いて実施例4について説明する。図22は、実施例4の教師データ作成からオーバレイ計測までの機能構成例を示す図である。
<機能構成の概要>
まず機能構成の概要について説明する。教師作成部301は、教師作成部1の機能に加え、主画面90(図4参照)で作成された領域分割画像40における各画素から領域分割画像40内の小領域71a等(図8参照)の代表位置までの変位量を保持した位置情報画像を作成する機能を備える。そして、教師作成部301は、教師データ14に位置情報画像を加えた教師データ314を作成する。学習部302は、サンプル画像13中の画像30から、教師データ314中の領域分割画像40ならびに位置情報画像ができるだけ正確に推論できる学習モデル311を計算する。
領域分割部303は、学習モデル311を参照して、入力画像12から領域分割画像60および位置情報画像を推論する。グループ化部304は、グループ化部4と同様の手順で領域分割画像60からグループ化画像70を生成して出力する。オーバレイ計測部305は、グループ化部304が出力したグループ化画像内の小領域71a等に含まれる位置情報画像の位置情報を利用してオーバレイ計測を行う。
<機能構成の詳細>
以下、概要以外に特記のないグループ化部304を除き、実施例4における各機能構成の詳細について述べる。
(i)教師作成部301は、作業者による主画面90の操作に応答して、サンプル画像13から教師データ14を作成した後、教師データ中の領域分割画像40に以下に述べる位置情報画像340を加えて教師データ314を出力する。図23を参照して、位置情報画像340について説明する。
図23は、位置情報画像340の例を示す図である。図23において、画像370は、サンプル画像13中の領域分割画像40からグループ化部4によって求めたグループ化画像である。グループ化画像370は、表80(図10参照)に含まれる第1の計測対象のラベルから求められる。位置情報画像340は、グループ化画像370中における小領域71m、71n、71o、および71pに対応する小領域371m、371n、371o、371p内の各画素に位置情報を付与した画像である。小領域371mの範囲は、小領域71mと同一の範囲、もしくは小領域71mから膨張処理をしたり、小領域71mの外接矩形を求める等をした小領域71mの近傍の範囲である。他の小領域371n等の範囲も、小領域71n等と同一もしくは近傍の範囲である。小領域371m内のある画素342mの座標を(Xp,Yp)、代表位置341mの座標を(Xc,Yc)とすると、画素342mには下記式3および式4に従って求めた変位量(Rx,Ry)が割り振られる。この変位量(Rx,Ry)は、画素342mから代表位置341mまでの変位量にあたる。ここで代表位置341mは小領域371mの重心の座標とする。小領域371m内の各々の画素には、画素342mと同様に代表位置341mまでの変位量が割り振られる。
Rx = Xc-Xp ・・・ (式3)
Ry = c-Yp ・・・ (式4)
位置情報画像340における小領域371n、371o、371p内の各々の画素には、同様に、各々の画素から各小領域の代表位置341n、341o、341pまでの変位量が割り振られる。位置情報画像340において、小領域371m、371n、371o、371p以外の領域には、学習部302が学習モデル311を求める計算で除外する無効領域の属性が割り振られる。
なお、教師作成部301は、表80中の第2の計測対象のラベルに対しても、位置情報画像340と同様の位置情報画像を付与する。
(ii)学習部302は、サンプル画像13における画像30から、教師データ314中の領域分割画像40および位置情報画像340をできるだけ正確に推論できる学習モデル311を計算する。画像30から領域分割画像40を推論する学習モデルと、画像30から位置情報画像340を推論する学習モデルのそれぞれに対して、独立するニューラルネットワーク構造179を割り当てることができる。あるいは、2つの学習モデルで、ニューラルネットワーク構造179の全てもしくは一部の層を共有させてもよい。例えば、入力層170に画像30を入力したときに、出力層171の一部から領域分割画像40を出力し、出力層171のその一部以外の箇所もしくは中間層174等のその他層から位置情報画像340を出力するようにしてもよい。
学習部302は、学習部2と同様に、サンプル画像13中の画像30から推論した領域分割画像40および位置情報画像340と、教師データ314中の対応する領域分割画像40および位置情報画像340とを比較したときの差が小さくなるように、学習モデル311中のパラメータを最適化する。例えば、学習モデル311中のパラメータが乱数で初期化される。その後、2つの領域分割画像40の誤差(誤差1)をラベルが一致しない画素の数、2つの位置情報画像340の誤差(誤差2)を各画素における変位量の差の絶対値の総和とされる。さらに、学習モデル311中の各々のパラメータに、誤差1と誤差2に対する偏微分係数に負の所定係数を乗算したものが順次加算される。このような処理をサンプル画像13中の画像30に対し反復することで最適化が可能である。ただし、このような方法に限られるわけではない。
(iii)図24は、位置情報画像360の例を示す図である。領域分割部303は、学習モデル311を参照して、入力画像12(すなわち画像50)から領域分割画像60および図24に示す位置情報画像360の推論を行う。推論が正確である場合、図24における領域369は、位置情報画像360中における領域59と同じ範囲の領域となる。領域369において小領域371a内の画素342aには、小領域371aの代表位置341aまでの変位量の推論値(Rix、Riy)の情報が含まれる。画素342aの座標を(Xip,Yip)とすると、代表位置341aの位置の推論値(Xic,Yic)は下記(式5)および(式6)によって求めることができる。
Xic = Rix +Xip ・・・ (式5)
Yic = Riy +Yip ・・・ (式6)
ここで、グループ化部4が表80における第1の計測対象のラベルについて求めた小領域71a、71b、71c、および71dに対して、小領域371a、371b、371c、および371dはそれぞれ、小領域71a等と範囲を同じくする小領域となる。小領域371b、371c、および371dにおける各画素からも同様に代表位置341b、341c、および341dの位置が、式5および式6によって推論することができる(推論値が計算できる)。位置情報画像360において領域369外の部分にも画素342aと同様の位置情報が格納されている。
なお、領域分割部303は、表80中の第2の計測対象のラベルからも、位置情報画像360と同様の位置情報画像を出力する。
(iv)オーバレイ計測部305は、図25に示すフローチャートに従ってオーバレイ計測処理を実行する。
図25において、ステップS314およびステップS316以外は、オーバレイ計測部5がオーバレイ計測処理時に実行するフローチャート(図11)と共通であるので、説明は省略する。以下、ステップS13からステップS18のループが、小領域371aを対象とする場合について述べる。
ステップS314において、オーバレイ計測部305は、位置情報画像360における小領域371a中の各々の画素(画素342a等)から上記式5と式6を用いて代表位置341aの推論値を求める。次に、オーバレイ計測部305は、各々の画素から代表位置341aの推論値を求めてそれらの統計量を計算し、当該統計量を位置1とする。統計量は中央値として算出することができるが、その他相加平均等の統計量であってもよい。
ステップS316において、オーバレイ計測部305は、表80に示される第2の計測対象に対しても同様に、第2の計測対象のラベルについて求めた小領域に対する位置情報画像から、ステップS314と同様の処理を行うことにより、位置2(代表位置の推論値の統計量)を求める。
<実施例4の技術的効果>
実施例4によれば、位置情報画像360を使ってオーバレイ量を計測できる。入力画像12にランダムノイズが重畳されたり、コントラストが低下したりする等して画質低下する場合がる。このような場合には、領域分割画像60中のラベルが不正確となり、グループ化画像70中の小領域71a等の範囲が不正確になるが、実施例4に開示の技術を用いれば、このような場合でも正確なオーバレイ計測が実行できるようになる。例えば、小領域71aの右半分が欠けてしまった場合、小領域71aの重心が本来の位置から左側にずれてしまい、この結果ステップS14では正確な位置1を求めることはできない。これに対して、ステップS314では位置情報画像370中の小領域371aのどの画素からも代表位置341aが式5および式6から算出することができる。このため、小領域71a(すなわち小領域371a)の右半分が欠けた場合でもステップS314において正確な位置1を計算することができる。
<実施例4の変形例>
(i)教師作成部301は、教師データ14中の領域分割画像40に対してステップS204の統計処理による補正を行ってもよい。これにより、領域分割画像40中の小領域71a等の重心はオーバレイ計測部5におけるオーバレイ計測の再現性あるいは感度特性が改善するように補正することができる。このため、領域分割画像40中の小領域(71a等)の重心等に応じて定まる教師データ314中の位置情報画像370中の各画素(342m等)もオーバレイ計測の再現性あるいは感度特性が改善するように補正することができる。
(ii)グループ化部304は、領域分割画像60からグループ化画像70を求める際に、位置情報画像360を参照してもよい。例えば、グループ化画像70中において2つの小領域(例えば、小領域71mおよび71n)が本来の範囲よりも膨れてしまうことで連結され1つの小領域を形成する場合がある。この場合、位置情報画像360において1つの小領域内で式5および式6によって求めた代表位置が分離(位置情報画像360中で71mと71n中に対応した371mと371の代表位置に分離)することがある。そこで、代表位置が分離してしまう場合には、1つの小領域を代表位置の分離を参照して分割してもよい。このように小領域を分割することは、例えば、入力画像12の画質がサンプル画像30よりも不鮮明であることが影響してグループ化画像70中の小領域が不正確になる場合に有用である。
(6)実施例5
実施例5は、限られた量のサンプル画像から領域分割画像(教師データに対応)を生成し、領域分割画像内の小領域を平行移動して領域分割画像およびサンプル画像のレイアウト変更を行う(領域分割画像とサンプル画像を合成する)ことにより、教師データとサンプル画像を積み増す技術について開示する。
<機能構成の概要>
図26は、実施例5による教師データ作成からオーバレイ計測までの機能構成例を示す図である。教師作成部401は、教師作成部1と同様に、サンプル画像13から教師データ14を作成するとともに、そのためのユーザインタフェースを提供する。また、教師作成部401は、教師データ14中における領域分割画像40のレイアウトを変更させた教師データ414を生成して出力する。さらに、教師作成部401は、領域分割画像40から画像30を推論する機能を備え(以下、この機能を教師作成部401の画像推論機能と呼ぶ)、教師データ414中の領域分割画像40から対応した画像30の各々を推論することにより、サンプル画像413を出力する。なお、学習部2、領域分割部3、グループ化部4、およびオーバレイ計測部5の各機能は実施例1と同じであるので、説明は省略する。つまり、実施例5における学習部2は、教師データ14と教師データ414ならびにサンプル画像13とサンプル画像413を同質のデータをみなして、実施例1と同じ手順で学習モデル11を計算する。
<機能構成の詳細>
以下、図27から図29を参照しながら、教師作成部401が教師データ414およびサンプル画像413を出力する際の処理について詳細に説明する。
(i)図27は、領域分割画像440から推論された画像430の例を示す図である。図27において、画像440は、教師作成部401が提供するユーザインタフェースを用いて作業者によって作成された領域分割画像の例を示し、ラベル41、42、および43から構成されている。また、小領域71qは、グループ化部4によって求められた領域分割画像内のラベル41の小領域の一例を示している。さらに、画像430は、教師作成部401が画像推論機能を用いて、領域分割画像440から推論した画像を示している。ここで、教師作成部401の画像推論機能は、(a)学習部2と同様に、事前に、サンプル画像13と教師データ14のように、任意の画像30と領域分割画像40との組のサンプルを収集しておくこと、および(b)一の領域分割画像40から推論された画像30と、上記任意の画像30と領域分割画像40との組に含まれる画像であって一の領域分割画像40に対応する画像との誤差が最小となるニューラルネットワーク179に類似する構造におけるパラメータを求める学習を実行することにより、実現することができる。ここで、領域分割画像40に対応する画像と推論された画像30との誤差は、各画素の明度差分の絶対和を集計することにより求めることができるが、この方法に限られるものではない。また、教師作成部401の画像推論機能は、上述の方法以外にも、例えば、敵対的生成ネットワークと呼ばれる乱数もしくは記号から画像を生成することに優れた機械学習アルゴリズムを用い、ニューラルネットワーク構造179と類似するネットワーク構造中のパラメータを定めることによっても実現することができる。
なお、ニューラルネットワーク構造179に類似するネットワーク構造では、ネットワーク構造179と同様に、受容野176単位の推論を行うようにしてもよい。すなわち、領域分割画像40の画素の各々に対して、領域分割画像40における画素の周囲の受容野176の範囲から、画像30中において画素と同じ座標の画素の明度が定められる。
(ii)図28は、領域分割画像440中から小領域71qをレイアウト変更した場合の例を示す図である。図28において、領域分割画像440rは、領域分割画像440中の小領域71qを小領域71rに平行移動するレイアウトの変更を行ったものである。受容野176単位の推論の効果により、領域分割画像440rから推論された画像430rを、領域分割画像440に対応する画像430と比較すると、小領域71qに応じた小領域431q内の画像が小領域71r内の小領域431rに移動していることが分かる。小領域431qおよび小領域431r内に着目すると、小領域71qから小領域71rに平行移動させた分だけ、オーバレイ量が変化した画像に相当する。従って、領域分割画像440rにおいて、小領域71r等の全てを均一な量だけ平行移動させれば、画像430rは画像430から均一な量だけオーバレイ量を変化させた画像になる。
<実施例5の技術的効果>
実施例5によれば、レイアウトの変更により、教師データ14に教師データ414を積み増すことができる。また、レイアウトの変更と教師作成部401の画像推論機能を使うことにより、サンプル画像13にサンプル画像413を積み増すことができる。例えば、サンプル画像13がオーバレイ量の均一な画像30から構成された場合でも、レイアウトの変更により、様々なオーバレイ量の領域分割画像40および画像30を教師データ14とサンプル画像13に積み増すことができる。よって、作業者は、事前に様々なレイアウトを備える多くのサンプル画像を用意する必要が無くなり、オーバレイ計測のための手間を省くことが可能となる。
<実施例5の変形例>
(i)レイアウトの変更には、上述の平行移動以外にも、拡大や縮小などのオーバレイ量の変化を伴う任意の幾何的な変形も適用することができる。
(ii)事前に、領域分割画像440中のラベル41、42、および43の奥行き情報を定めて置くようにしてもよい。これにより、教師作成部401は、ラベル間の遮蔽を考慮した画像を推論することができる。図29は、領域分割画像440中から小領域71qをレイアウト変更した時に遮蔽が生じたときの例(ラベル43、41、および42の順に手前側にあると定めたときの例)を示す図である。図29に示されるように、領域分割画像中の小領域71qを小領域71sまで平行移動させたときに生じる、ラベル43と重なる範囲は削除される。その結果、領域分割画像440sから推論された画像430sにおいて、小領域71sに対応する小領域431sに関しては遮蔽が考慮された画像が推論される。これにより、ラベル間の遮蔽によってより現実に近い領域分割画像430を合成することが可能になる。
(iii)以上説明した実施例1から実施例5は、それぞれ単独で実施する以外に、各実施例の一部もしくは全てを組み合わせて実施してもよい。
(7)実施例6
実施例6は、実施例1から5における教師データ作成処理、学習モデル作成処理、領域分割処理をオーバレイ計測以外の計測処理に適用した場合の実施例について説明する。
図30は、実施例6による教師データ作成から画像計測検査までの機能構成例を示す図である。図30において、教師作成部501は、実施例1から5による教師作成部1、101、201、301、および401のいずれかに対応する。同様に、教師データ514、学習部502、学習モデル511、領域分割部503は順に、実施例1から5の何れかにおける教師データ、学習部、学習モデル、領域分割部に対応する。

画像計測検査部505は、入力画像12から領域分割部503が推論した領域分割画像60を用いて、オーバレイ計測に限らない画像の検査や計測を行う。画像計測検査部505における画像の検査や計測として、例えば、半導体画像中の輪郭線抽出やホール形状等の寸法計測、短絡欠陥などの欠陥パターンの検出、画像から設計図の推論を求めて設計図の推論と実際の設計図の照合位置を探すパターンマッチング等が挙げられる。ただし、これらに限られるものではなく、領域分割部503が推論した領域分割画像60を用いて画像計測を行う任意の用途に適用することができる。また、画像計測検査部505においては、領域分割画像60の補正などのために、入力画像12や図30中に示さないその他のデータを補助的に参照してもよい。また、実施例6ではサンプル画像13および入力画像12を半導体以外の画像を撮影したものとしてもよい。
(i)教師作成部501、学習部502、および領域分割部503の各機能が実施例1のそれらの機能を備える場合
例えば、学習モデル511が受容野176単位で推論するために、入力画像12内に周期的なパターンが映る場合であれば、教師作成部501において教師データ14のラベルを割り振る時のサンプル画像13中の画像30の寸法は、入力画像12中の画像60よりも小さな寸法で済む。これにより、作業者が教師データ14のラベルを割り振る工数を低減することが可能となる。
(ii)教師作成部501、学習部502、および領域分割部503の各機能が実施例2のそれらの機能を備える場合
例えば、撮影条件を変えた複数の画像組を用いることで、画像30aおよび30b等の中で対象となる構造が鮮明に映る画像を用いて教師データ114を正確に作成することや、領域分割部503の推論を正確に行うことができる。
(iii)教師作成部501、学習部502、および領域分割部503の各機能が実施例3のそれらの機能を備える場合
例えば、サンプル画像213中で主画面90を用いて教師データを割り振る対象を画像群231に絞ることにより、作業者の工数を減らすことができる。また、実施例3の図19のステップS202およびS203を実行することにより、サンプル画像13(サンプル画像213に対応)の残りの全数に対して教師データ514(教師データ214に対応)を取得することができる。さらに、ステップS204やS205を実行することにより、教師データ514(教師データ214に対応)を補正することもできる。
(iv)教師作成部501、学習部502、および領域分割部503の各機能が実施例4のそれらの機能を備える場合
入力画像12から求めた領域分割画像60と共に位置情報画像360を使った画像計測が可能となる。
(v)教師作成部501、学習部502、および領域分割部503の各機能が実施例5のそれらの機能を備える場合
例えば、教師作成部501における画像推論機能を用いて、領域分割画像40中のレイアウトを変更することにより、サンプル画像13および教師データ14にサンプル画像413および教師データ414(教師データ14と教師データ414とを合わせて教師データ514とする)を積み増せる。
<実施例6の技術的効果>
実施例6によれば、実施例1から5で開示の技術をオーバレイ計測だけでなく、領域分割画像を用いて画像計測や画像検査を行うシステム全般に適用できることが示された。
(8)その他の実施例
各実施例は、ソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本開示を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、CD-ROM、DVD-ROM、ハードディスク、光ディスク、光磁気ディスク、CD-R、磁気テープ、不揮発性のメモリカード、ROMなどが用いられる。
また、プログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのCPUなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。
さらに、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はCD-RW、CD-R等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ(又はCPUやMPU)が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。
1、101、201、301、401、501 教師作成部
2、102、302、502 学習部
3、103、303、503 領域分割部
4、104、304 グループ化部
5、105、305 オーバレイ計測部
11、111、311、511 学習モデル
12、112 入力画像
13、113、213、413 サンプル画像
14、114、214、314、414、514 教師データ
190 メインプロセッサ
190a 第1サブプロセッサ
190b 第2サブプロセッサ
191 メイン計算機
191a 第1サブ計算機
191b 第2サブ計算機
192 入出力装置
193 電子顕微鏡等
505 画像計測検査部

Claims (19)

  1. 周期的な構造を含む半導体の画像計測を行う計測システムであって、
    前記画像計測に関係する各種処理を実行する少なくとも1つのプロセッサと、
    前記画像計測の結果を出力する出力デバイスと、を備え、
    前記少なくとも1つのプロセッサは、
    半導体のサンプル画像から教師データを生成する処理と、
    前記サンプル画像と前記教師データに基づいて学習モデルを生成する処理と、
    前記学習モデルに基づいて、前記半導体に関連する入力画像から領域分割画像を生成する処理と、
    前記領域分割画像を用いて画像計測を行う計測処理と、
    前記計測処理の結果を前記出力デバイスに出力する処理と、を実行し、
    前記教師データは、前記サンプル画像における前記半導体の構造を含むラベルが画像の各画素に割り振られた画像であり、
    前記学習モデルは、前記サンプル画像あるいは前記入力画像から前記教師データあるいは前記領域分割画像を推論するためのパラメータを含み、
    前記サンプル画像および前記教師データは、前記入力画像よりも小さいサイズであって、前記周期的な構造に対応する画像領域を含み、
    前記少なくとも1つのプロセッサは、前記学習モデルを生成する処理において、前記サンプル画像および前記教師データから前記学習モデルの前記パラメータを生成する、計測システム。
  2. 請求項1において、
    前記学習モデルは、前記各画素に割り振られた前記ラベルを決定する際に、前記入力画像における前記各画素の近傍領域を参照する機械学習モデルである、計測システム。
  3. 請求項1において、
    前記学習モデルは、畳み込みニューラルネットワークである、計測システム。
  4. 請求項1において、
    前記画像領域は、前記周期的な構造のうちの少なくとも一周期の構造に対応する画像領域である、計測システム。
  5. 請求項1において、
    前記計測処理は、前記半導体の、オーバレイ計測処理、寸法計測処理、欠陥パターン検出処理、あるいはパターンマッチング処理である、計測システム。
  6. 所定の構造を含む半導体の画像計測を行う計測システムであって、
    前記画像計測に関係する各種処理を実行する少なくとも1つのプロセッサと、
    前記画像計測の結果を出力する出力デバイスと、を備え、
    前記少なくとも1つのプロセッサは、
    半導体のサンプル画像から教師データを生成する処理と、
    前記サンプル画像と前記教師データに基づいて学習モデルを生成する処理と、
    前記学習モデルに基づいて、前記半導体に関連する入力画像から領域分割画像を生成する処理と、
    前記領域分割画像を用いて画像計測を行う計測処理と、
    前記計測処理の結果を前記出力デバイスに出力する処理と、を実行し、
    前記教師データは、前記サンプル画像における前記半導体の構造を含むラベルが画像の各画素に割り振られた画像であり、
    前記学習モデルは、前記サンプル画像あるいは前記入力画像から前記教師データあるいは前記領域分割画像を推論するためのパラメータを含み、
    前記少なくとも1つのプロセッサは、さらに、前記ラベルに対応して前記領域分割画像をさらに画像サイズが小さい小領域に分けて、当該小領域の種別毎にグループ化する処理を実行し、
    前記少なくとも1つのプロセッサは、前記計測処理として、前記グループ化された前記小領域ごとの重心からオーバレイ計測を実行する、計測システム。
  7. 請求項6において、
    前記教師データは、各画素から前記ラベルが割り振られた小領域の代表位置までの変位量を示す位置情報画像を含み、
    前記少なくとも1つのプロセッサは、前記位置情報画像を含む前記学習モデルに基づいて、前記入力画像の前記領域分割画像および前記位置情報画像を生成し、前記グループ化された小領域における前記位置情報画像を用いて前記オーバレイ計測を実行する、計測システム。
  8. 請求項7において、
    前記位置情報画像は、統計処理による補正が施された前記教師データを用いて求められた前記変位量を示す、計測システム。
  9. 所定の構造を含む半導体の画像計測を行う計測システムであって、
    前記画像計測に関係する各種処理を実行する少なくとも1つのプロセッサと、
    前記画像計測の結果を出力する出力デバイスと、を備え、
    前記少なくとも1つのプロセッサは、
    半導体のサンプル画像から教師データを生成する処理と、
    前記サンプル画像と前記教師データに基づいて学習モデルを生成する処理と、
    前記学習モデルに基づいて、前記半導体に関連する入力画像から領域分割画像を生成する処理と、
    前記領域分割画像を用いて画像計測を行う計測処理と、
    前記計測処理の結果を前記出力デバイスに出力する処理と、を実行し、
    前記教師データは、前記サンプル画像における前記半導体の構造を含むラベルが画像の各画素に割り振られた画像であり、
    前記学習モデルは、前記サンプル画像あるいは前記入力画像から前記教師データあるいは前記領域分割画像を推論するためのパラメータを含み、
    前記サンプル画像は、異なる撮像条件で前記半導体における同一箇所を複数回撮像して得られる画像の組を含み、
    前記少なくとも1つのプロセッサは、前記サンプル画像から前記撮像条件に対応して前記教師データを生成し、前記撮像条件に対応して生成された前記教師データと前記サンプル画像に基づいて前記学習モデルを生成する、計測システム。
  10. 請求項9において、
    前記異なる撮像条件で撮像することは、加速電圧を変えて撮像すること、異なる種類の電子像を撮像すること、または異なる種類の電子像の合成画像を生成する際の合成比率を変えること、のうち少なくとも1つを含む、計測システム。
  11. 所定の構造を含む半導体の画像計測を行う計測システムであって、
    前記画像計測に関係する各種処理を実行する少なくとも1つのプロセッサと、
    前記画像計測の結果を出力する出力デバイスと、を備え、
    前記少なくとも1つのプロセッサは、
    半導体のサンプル画像から教師データを生成する処理と、
    前記サンプル画像と前記教師データに基づいて学習モデルを生成する処理と、
    前記学習モデルに基づいて、前記半導体に関連する入力画像から領域分割画像を生成する処理と、
    前記領域分割画像を用いて画像計測を行う計測処理と、
    前記計測処理の結果を前記出力デバイスに出力する処理と、を実行し、
    前記教師データは、前記サンプル画像における前記半導体の構造を含むラベルが画像の各画素に割り振られた画像であり、
    前記学習モデルは、前記サンプル画像あるいは前記入力画像から前記教師データあるいは前記領域分割画像を推論するためのパラメータを含み、
    前記少なくとも1つのプロセッサは、前記サンプル画像を2つ以上のサンプル画像群に分割し、第1サンプル画像群に含まれる画像に前記ラベルを割り振ることにより第1教師データを生成し、前記第1サンプル画像群の画像と前記第1教師データに基づいて中間学習モデルを生成し、当該中間学習モデルに基づいて前記第1サンプル画像群以外の画像群に含まれる画像を推論することによって生成した教師データを前記第1教師データに追加して第2教師データを生成し、前記サンプル画像と前記第2教師データとに基づいて、前記入力画像に適用するための前記学習モデルを生成する、計測システム。
  12. 請求項11において、
    前記少なくとも1つのプロセッサは、前記第1サンプル画像群以外の画像群に含まれる画像を推論することによって生成した教師データに対して統計処理による補正を実行する、計測システム。
  13. 請求項12において、
    前記少なくとも1つのプロセッサは、前記半導体の同一箇所を繰り返し撮像して得られる複数の画像に対して前記統計処理による補正を行う、計測システム。
  14. 請求項12において、
    前記少なくとも1つのプロセッサは、前記サンプル画像において類似度が高い部分領域を抽出して当該抽出した部分領域に対して前記統計処理による補正を行う、計測システム。
  15. 請求項12において、
    前記統計処理による補正は、前記第2教師データにおける、前記ラベルが割り振られた小領域の単位で平行移動あるいは幾何学的変形を施すことである、計測システム。
  16. 所定の構造を含む半導体の画像計測を行う計測システムであって、
    前記画像計測に関係する各種処理を実行する少なくとも1つのプロセッサと、
    前記画像計測の結果を出力する出力デバイスと、を備え、
    前記少なくとも1つのプロセッサは、
    半導体のサンプル画像から教師データを生成する処理と、
    前記サンプル画像と前記教師データに基づいて学習モデルを生成する処理と、
    前記学習モデルに基づいて、前記半導体に関連する入力画像から領域分割画像を生成する処理と、
    前記領域分割画像を用いて画像計測を行う計測処理と、
    前記計測処理の結果を前記出力デバイスに出力する処理と、を実行し、
    前記教師データは、前記サンプル画像における前記半導体の構造を含むラベルが画像の各画素に割り振られた画像であり、
    前記学習モデルは、前記サンプル画像あるいは前記入力画像から前記教師データあるいは前記領域分割画像を推論するためのパラメータを含み、
    前記少なくとも1つのプロセッサは、さらに、前記教師データのレイアウトを変更して変更教師データを生成し、当該変更教師データをレイアウト変更前の前記教師データに追加して更新教師データとする処理と、前記変更教師データから推論した画像を前記サンプル画像に追加して更新サンプル画像とする処理と、を実行し、
    前記少なくとも1つのプロセッサは、前記更新教師データと前記更新サンプル画像とに基づいて、前記学習モデルと生成する、計測システム。
  17. 請求項16において、
    前記少なくとも1つのプロセッサは、前記教師データに含まれるラベル間の遮蔽を考慮して、前記教師データのレイアウトを変更する、計測システム。
  18. 所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する方法であって、
    少なくとも1つのプロセッサが、半導体のサンプル画像から得られる領域分割画像に対して少なくとも1つの計測対象の構造を含むラベルを割り振ることにより教師データを生成することと、
    前記少なくとも1つのプロセッサが、複数の層から構成されるネットワーク構造に基づいて、前記サンプル画像の前記領域分割画像と前記教師データを用いて、前記学習モデルを生成することと、を含み、
    前記学習モデルは、前記サンプル画像あるいは前記半導体に関連する入力画像から前記教師データあるいは前記領域分割画像を推論するためのパラメータを含み、
    前記少なくとも1つのプロセッサが、さらに、前記ラベルに対応して前記領域分割画像をさらに画像サイズが小さい小領域に分けて、当該小領域の種別毎にグループ化する処理を実行し、
    前記少なくとも1つのプロセッサが、前記グループ化された前記小領域ごとの重心からオーバレイ計測を実行する、方法。
  19. コンピュータに、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する処理を実行させるためのプログラムを格納する記憶媒体であって、
    前記プログラムは、前記コンピュータに、
    半導体のサンプル画像から得られる領域分割画像に対して少なくとも1つの計測対象の構造を含むラベルを割り振ることにより教師データを生成する処理と、
    数の層から構成されるネットワーク構造に基づいて、前記サンプル画像の前記領域分割画像と前記教師データを用いて、前記学習モデルを生成する処理と、を実行させ、
    前記学習モデルは、前記サンプル画像あるいは前記半導体に関連する入力画像から前記教師データあるいは前記領域分割画像を推論するためのパラメータを含み、
    前記プログラムは、前記コンピュータに、さらに、
    前記ラベルに対応して前記領域分割画像をさらに画像サイズが小さい小領域に分けて、当該小領域の種別毎にグループ化する処理と、
    前記グループ化された前記小領域ごとの重心からオーバレイ計測する処理と、を実行する、記憶媒体。
JP2021541913A 2019-08-30 2019-08-30 計測システム、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する方法、およびコンピュータに、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する処理を実行させるためのプログラムを格納する記憶媒体 Active JP7341241B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/034050 WO2021038815A1 (ja) 2019-08-30 2019-08-30 計測システム、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する方法、およびコンピュータに、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する処理を実行させるためのプログラムを格納する記憶媒体

Publications (3)

Publication Number Publication Date
JPWO2021038815A1 JPWO2021038815A1 (ja) 2021-03-04
JPWO2021038815A5 JPWO2021038815A5 (ja) 2022-04-26
JP7341241B2 true JP7341241B2 (ja) 2023-09-08

Family

ID=74683410

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021541913A Active JP7341241B2 (ja) 2019-08-30 2019-08-30 計測システム、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する方法、およびコンピュータに、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する処理を実行させるためのプログラムを格納する記憶媒体

Country Status (6)

Country Link
US (1) US20220277434A1 (ja)
JP (1) JP7341241B2 (ja)
KR (1) KR20220029748A (ja)
CN (1) CN114270484A (ja)
TW (1) TWI766303B (ja)
WO (1) WO2021038815A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11967058B2 (en) 2020-06-24 2024-04-23 Kla Corporation Semiconductor overlay measurements using machine learning
CN112785575B (zh) * 2021-01-25 2022-11-18 清华大学 一种图像处理的方法、装置和存储介质
US20230350394A1 (en) * 2022-04-27 2023-11-02 Applied Materials, Inc. Run-to-run control at a manufacturing system using machine learning
WO2023238384A1 (ja) * 2022-06-10 2023-12-14 株式会社日立ハイテク 試料観察装置および方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018506168A (ja) 2014-12-03 2018-03-01 ケーエルエー−テンカー コーポレイション サンプリング及びフィーチャ選択を伴わない自動欠陥分類
JP2019110120A (ja) 2017-12-18 2019-07-04 エフ イー アイ カンパニFei Company 顕微鏡画像の再構成およびセグメント化のための遠隔深層学習のための方法、装置、およびシステム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7873585B2 (en) 2007-08-31 2011-01-18 Kla-Tencor Technologies Corporation Apparatus and methods for predicting a semiconductor parameter across an area of a wafer
US9530199B1 (en) 2015-07-13 2016-12-27 Applied Materials Israel Ltd Technique for measuring overlay between layers of a multilayer structure
WO2017130365A1 (ja) 2016-01-29 2017-08-03 株式会社 日立ハイテクノロジーズ オーバーレイ誤差計測装置、及びコンピュータープログラム
TW201923776A (zh) * 2017-10-27 2019-06-16 美商蝴蝶網路公司 超音波影像上的自動化測量及用於自動化測量的收集的品質指示器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018506168A (ja) 2014-12-03 2018-03-01 ケーエルエー−テンカー コーポレイション サンプリング及びフィーチャ選択を伴わない自動欠陥分類
JP2019110120A (ja) 2017-12-18 2019-07-04 エフ イー アイ カンパニFei Company 顕微鏡画像の再構成およびセグメント化のための遠隔深層学習のための方法、装置、およびシステム

Also Published As

Publication number Publication date
TWI766303B (zh) 2022-06-01
TW202109339A (zh) 2021-03-01
JPWO2021038815A1 (ja) 2021-03-04
CN114270484A (zh) 2022-04-01
US20220277434A1 (en) 2022-09-01
KR20220029748A (ko) 2022-03-08
WO2021038815A1 (ja) 2021-03-04

Similar Documents

Publication Publication Date Title
JP7341241B2 (ja) 計測システム、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する方法、およびコンピュータに、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する処理を実行させるためのプログラムを格納する記憶媒体
JP7265592B2 (ja) 多層構造体の層間のオーバレイを測定する技法
US9165363B2 (en) Image diagnostic device and image correction method
WO2013168487A1 (ja) 欠陥解析支援装置、欠陥解析支援装置で実行されるプログラム、および欠陥解析システム
TWI613510B (zh) 電子束描繪裝置、電子束描繪方法及記錄媒體
JP2012014475A (ja) パターンマッチング方法,画像処理装置、及びコンピュータプログラム
US9851714B2 (en) Method of inspecting a specimen and system thereof
JP2012177632A (ja) 画像処理装置、及び画像処理を行うためのコンピュータープログラム
JPWO2021038815A5 (ja)
CN114399485A (zh) 基于残差网络结构的子宫肌瘤目标图像获取方法
CN110555860A (zh) 医学图像中肋骨区域标注的方法、电子设备和存储介质
WO2018088055A1 (ja) 画像処理装置、画像処理方法、画像処理システム及びプログラム
KR20230069153A (ko) 웨이퍼 상의 반도체 구조에 대한 결함 검출
JP7164716B2 (ja) 寸法計測装置、半導体製造装置及び半導体装置製造システム
CN112419310A (zh) 一种基于交并融合边框优选的目标检测方法
CN114266781A (zh) 缺陷检查装置、方法以及信息记录介质
CN114945801A (zh) 图案边缘检测方法、图案边缘检测装置、记录有用于让计算机执行图案边缘检测的程序的记录介质
CN114187294B (zh) 基于先验信息的规则晶片定位方法
CN117518736A (zh) 套刻误差量测的方法、装置、系统及存储介质
US20230410497A1 (en) Medical image processing apparatus and medical image processing method
JP2006031690A (ja) 特定画像領域区画装置および方法,ならびに特定画像領域区画処理をコンピュータに実行させるプログラム
TW202341025A (zh) 圖案匹配裝置、圖案測定系統、圖案匹配程式
JPH0728978A (ja) 画像表示装置
CN113034552A (zh) 一种光流的修正方法和计算机设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220128

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230829

R150 Certificate of patent or registration of utility model

Ref document number: 7341241

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150