JP7288870B2 - 画像を生成するシステム - Google Patents

Description

本発明は、画像生成に関し、特に、構造画像を実画像に類似させた画像の生成に関する。

近年、半導体デバイスの性能向上のため、半導体デバイスに新材料が導入され、同時に半導体デバイスの構造が立体化・複雑化している。また、現在の先端半導体デバイスの加工では、ナノメートルレベルの精度が要求される。このため、半導体処理装置は多種の材料を種々の形状に極めて高精度に加工できる必要があり、必然的に多数の制御パラメータ（入力パラメータ）を備えた装置になっている。

その一方で、半導体処理装置の性能を十分に引出すためには、半導体処理装置毎に数種から数十種にも及ぶ入力パラメータを決定する必要がある。更に１つの工程内で多数のステップがあり、そのステップ毎に入力パラメータを変更する必要がある。したがって、目標の加工結果が得られる入力パラメータの組み合わせを突き止めることが、極めて困難である。そのため、加工条件開発の長期化により、開発コストが増大している。更に、高難度の工程数が増加しており、これに対応できる高度な知識と技術を持ったトップエンジニアが不足している。

また、処理結果を評価するために、加工後の試料の断面画像を取得し、重要寸法が取得されるが、半導体デバイス構造の微細化及び構造複雑化によって、その計測が難しくなっている。ナノメートルレベルの精度での計測位置判断が要求され、更に計測寸法の統計的ばらつきを評価するために計測点数が増加しており、計測に必要となる時間が増大している。

以上より、半導体処理装置自らが自動的に半導体処理装置の性能を引き出す機能、及び半導体処理装置の性能を引き出すエンジニアを支援する機能が、半導体処理装置に要求される。

上記課題に対し、特許文献１では最適な加工条件を自動探索する方法が提案されている。これにより、エンジニアの試行錯誤に頼っていた従来の手法に比べ、各段に工数を削減することができる。

また、特許文献２、特許文献３はパターンの断面画像からの寸法計測について開示する先行技術文献である。特許文献２は、画像の輝度値から輪郭線を求め、パターン断面の上部と下部の２点の座標値を用い、断面ＳＥＭ（Ｓｃａｎｎｉｎｇ Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｅ）画像特有の白い影部分の信号成分を手動で除去することにより、側壁角度の測定精度を向上させている。特許文献３は、断面ＳＥＭ画像の輝度値の変化からエッジポイントを求め、パターンの各辺を近似する直線を割り出すことにより、各辺の角度・長さの測定におけるオペレータ依存を減らしている。

特開２０１８－４９９３６号公報 特開２０１２－６８１３８号公報 特開２００２－３５０１２７号公報

微細構造の断面画像観察には通常、ＳＥＭ（Ｓｃａｎｎｉｎｇ Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｅ）が使用される。ＳＥＭ画像からの寸法抽出を高精度かつ高速化するためには、その半自動化または自動化ができればよい。その実現方法としては、機械学習、特に深層学習を用いた画像認識技術を応用することが考えられる。その際の課題として、（１）学習用データベース構築、（２）学習モデル及びその学習手法構築の２つが挙げられる。

（１）学習データベース構築について
寸法抽出用モデルの学習では、ＳＥＭ画像と寸法抽出位置の関係を学習する必要がある。従って、学習データとしては、ＳＥＭ画像と、寸法抽出位置を指示するためのデータが必要である。寸法抽出位置を指示するデータとしては、ＳＥＭ画像中の構造輪郭線、構造毎のエリア指定、計測位置座標が挙げられる。

しかし、現状のＳＥＭ画像からの寸法計測処理は、一般的に手作業で行われているため、学習データの準備も必然的に手作業となり、寸法計測と同等もしくはそれ以上の作業時間が必要となってしまう。基本となる寸法抽出のみだけでも、先端デバイスの断面構造の複雑化に伴い、処理結果の評価のために要求される画像１枚当たりの測定点数が増加しており、人手で行う寸法抽出は限界に達しつつある。従って、学習用データベースを短時間で構築できる方法及びシステムが必要である。

（２）学習モデル及びその学習手法構築について
上記学習データベースを学習した寸法抽出モデルによるＳＥＭ画像からの寸法抽出では、目視と同等あるいはそれ以上となる画像認識性能を実現する必要がある。そのための画像認識手法として、機械学習、特に深層学習を用いた画像認識技術を応用することが考えられる。

特許文献２や特許文献３に開示されている手法は、オペレータ依存性をある程度減らせるものの、目視による操作を伴うため、オペレータ依存による計測ばらつきが発生する。加えて、１枚ずつ画像を見ながら計測するため、作業時間を要する。ライン／スペースの単位パターンが繰り返している画像でも、個々のパターンごとに１つ１つ計測するため、計測値の統計量にはプロセスばらつき以外に人的誤差も加算されるなどの課題がある。

また、条件導出を進める途中で、当初計画していた位置よりも重要な計測箇所が見出される場合があり、その際には全画像の再計測が必要となる。これには膨大な計測時間が必要となり、実際には再計測不可能となる場合がある。

さらに、断面ＳＥＭ画像には、明るさが画像ごとに異なる、寸法計測には不必要な奥の構造が写っている、寸法を計測したい異種材料界面の境界が不明瞭、といった測長ＳＥＭ（Ｃｒｉｔｉｃａｌ Ｄｉｍｅｎｓｉｏｎａｌ ＳＥＭ）画像にはない寸法計測の困難さがある。このため、輝度値を用いたエッジ検出法に基づく特許文献２及び特許文献３の方法では、画像ごとにしきい値などのパラメータチューニングを必要としたり、界面位置を目視で判断して指定したりするなどの操作が必要である。目視による調整が不要な自動計測を実現するには、局所的な輝度分布ではなく、画像に写っている個々の物体の領域を認識することにより、物体の輪郭を抽出する必要がある。

本発明の一態様は、学習モデル構築に必要となる学習用データベースを短期間で構築することを目的とする。

本発明の一態様は、構造画像の画像処理により、前記構造画像を実画像に類似させた画像を生成するシステムである。前記システムは、１以上の記憶装置と、前記１以上の記憶装置に格納されているプログラムに従って動作する１以上のプロセッサと、を含む。前記１以上のプロセッサは、第１の構造画像と、前記第１の構造画像と異なる第２の構造画像と、を取得する。前記１以上のプロセッサは、前記第１の構造画像と前記第２の構造画像との間の中間構造を示す複数の中間構造画像を作成する。前記１以上のプロセッサは、前記複数の中間構造画像それぞれの画像処理により、前記複数の中間構造画像それぞれを実画像に類似させ画像を生成する。

本発明の代表的な実施の形態によれば、学習モデルの学習用データベースを短期間で構築することが可能となる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

本発明の実施例１を示し、構造画像と生成画像のデータベース構築手法、及び生成画像から構造情報を求める構造取得モデルの学習の概要図である。 本発明の実施例１を示し、構造画像、参照画像、生成画像の例を示した図である。 本発明の実施例１を示し、構造取得モデルによる実画像からの構造画像取得、データベース構築、及び寸法抽出モデルによる構造画像からの寸法取得の概要図である。 本発明の実施例１を示し、寸法抽出位置の例の概要図を示す。 本発明の実施例２を示し、構造画像データの準備方法を示した図である。 本発明の実施例２を示し、構造画像データの準備方法を示した図である。 本発明の実施例２を示し、構造画像データの準備方法を示した図である。 本発明の実施例２を示し、構造画像データの準備方法を示した図である。 本発明の実施例３を示し、各種データベースを用いた装置処理条件導出方法の概要図である。 本発明の実施例３を示し、各種データベースを用いた装置処理条件導出方法の概要図である。 本発明の実施例４を示し、金属材料等の構造画像、参照画像、生成画像の例を示した図である。 本発明の実施例５を示し、半導体製造システムのシステム構成例を示す図である。 本発明の実施例５を示し、処理条件探索装置のシステム構成例を示す図である。 本発明の実施例５を示し、寸法計測装置のハードウェア構成を示すブロック図である。 本発明の実施例５を示し、セマンティック・セグメンテーションモデルの一例を示す図である。 本発明の実施例５を示し、物体検出モデルの一例を示す図である。 本発明の実施例５を示し、寸法計測装置が入力画像から寸法を計測するフローチャートである。 本発明の実施例５を示し、処理条件探索装置が処理条件を探索するフローチャートである。 本発明の実施例５を示し、入力データセット（断面画像）の例である。 本発明の実施例５を示し、寸法計測個所の例である。 本発明の実施例５を示し、バウンディング・ボックスの座標系を説明するための図である。 本発明の実施例５を示し、物体検出モデルの学習に用いるアノテーションデータの記述例である。 本発明の実施例５を示し、セマンティック・セグメンテーションモデルの学習に用いるアノテーションデータの例である。 本発明の実施例５を示し、セマンティック・セグメンテーションモデルの学習に用いるアノテーションデータにおけるラベル名・ラベル番号・色の対応関係を示すテーブルである。 本発明の実施例５を示し、学習ステップ時に表示されるＧＵＩ画面の例である。 本発明の実施例５を示し、寸法を計測するテスト画像の例である。 本発明の実施例５を示し、学習済み物体検出モデルにテスト画像を入力して得られた物体検出結果を示す図である。 本発明の実施例５を示し、学習済み物体検出モデルにテスト画像を入力して得られたバウンディング・ボックスの座標を記したテーブルである。 本発明の実施例５を示し、学習済みセマンティック・セグメンテーションモデルにテスト画像を入力して得られたセマンティック・セグメンテーション結果を示す図である。 本発明の実施例５を示し、テスト画像上にバウンディング・ボックスと寸法計測結果とを示した図である。 本発明の実施例５を示し、パターンごとに計測された寸法値を記したテーブルである。 本発明の実施例５を示し、推論・計測ステップ時に表示されるＧＵＩ画面の例である。 本発明の実施例５を示し、目標形状探索ステップ時に表示されるＧＵＩ画面の例である。 本発明の実施例６を示し、寸法計測装置が入力画像から寸法を計測するフローチャートである。 本発明の実施例６を示し、輪郭線を検出する第１のセマンティック・セグメンテーションモデルの学習に用いるアノテーション画像の例である。 本発明の実施例６を示し、第１のセマンティック・セグメンテーションモデルの学習に用いるアノテーション画像におけるラベル名・ラベル番号・色の対応関係を示すテーブルである。 本発明の実施例６を示し、特徴点を検出する第２のセマンティック・セグメンテーションモデルの学習に用いるアノテーションデータの例である。 本発明の実施例６を示し、第２のセマンティック・セグメンテーションモデルの学習に用いるアノテーションデータにおけるラベル名・ラベル番号・色の対応関係を示すテーブルである。 本発明の実施例６を示し、学習ステップ時に表示されるＧＵＩ画面の例である。 本発明の実施例６を示し、学習済みの第１のセマンティック・セグメンテーションモデルにテスト画像を入力して得られた輪郭線検出結果を示す図である。 本発明の実施例６を示し、学習済みの第２のセマンティック・セグメンテーションモデルにテスト画像を入力して得られた特徴点検出結果を示す図である。 本発明の実施例６を示し、検出した特徴点の座標から寸法計測に必要な他の特徴点の座標を求める方法を説明する図である。 本発明の実施例６を示し、推論・計測ステップ時に表示されるＧＵＩ画面の例である。 本発明の実施例６を示し、形状比較ステップ時に表示されるＧＵＩ画面の例である。 本発明の実施例７を示し、画像生成装置の構成例も示すブロック図である。 本発明の実施例７を示し、画像生成装置が実行する、構造画像を入力として、生成画像を出力するフローチャートである。 本発明の実施例７を示し、画像生成装置において、構造画像を入力として、生成画像を出力する際のＧＵＩ画面の例である。

以下、本発明の実施例を添付図面に基づいて説明する。以下おいて、処理結果観察画像から特徴量または特徴寸法を取得するための学習モデル用の学習データの生成技術を説明する。また、取得した特徴量または特徴寸法を学習することで装置の処理条件を探索する機能またはシステムを有する半導体製造システムを説明する。

以下においては、機械学習、特に深層学習による画像認識技術を用いて、ＳＥＭ画像からの寸法抽出モデル構築に必要となる、学習用データベースを短期間で構築する方法、及び、寸法抽出モデルを用いてＳＥＭ（Ｓｃａｎｎｉｎｇ Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｅ）画像から所定の寸法を自動で計測することにより、寸法計測時間の短縮とオペレータ起因の誤差を含まない計測方法を説明する。

図１は、構造画像と生成画像のデータベース構築手法、及び生成画像から構造情報を求める構造取得モデルの学習の概要を示す。

＜構造画像と生成画像のデータベース構築＞
構造画像１０００Ａは、例えば、装置によって処理された試料の断面の観察画像において、その断面構造を示す画像である。具体的には、構造画像１０００Ａは、断面画像中の各構造の輪郭線や、各構造エリアを示す。これらは、例えば、線図、またはカラー図で示すことが可能である（図２の１０００Ａ１、１０００Ａ２参照）。構造画像の作成には、ドローソフト、ペイントソフト等の一般的な描画ソフトが使用できる。ＣＡＤソフトを用いて構造画像１０００Ａを作成することもできる。

画像生成モデル（または画風変換モデル）１０００は、構造画像１０００Ａを元にして、参照画像（またはスタイル画像）１０００Ｃを参考とすることで、生成画像１０００Ｂを生成する。生成画像１０００Ｂは、参照画像１０００Ｃの画風情報を抽出し、構造画像１０００Ａにその画風を反映させることで、実際の観察画像（実画像）に類似した画像になるように生成された画像である。

生成画像１０００Ｂの具体例としては、カメラ画像、光学式顕微鏡画像、電子顕微鏡画像等が挙げられる。参照画像１０００Ｃとしては、例えば、対象とする観察画像の典型例が使用される。

画像生成モデル１０００は、例えばニューラルネットワークで構成され、画像認識モデル学習用のデータセットをあらかじめ学習したモデルを使用することができる。または、対象とする生成画像と類似の構造画像及び実画像（生成画像１０００Ｂに対応する実際の画像）のデータセットがある場合には、そのデータセットを用いて画像生成モデルを構築することできる。この場合には、画像生成モデルは参照画像なしでの画像生成が可能となるため、参照画像なしに構造画像から生成画像を生成してもよい。

構造画像１０００Ａを複数作成し、それを画像生成モデル１０００へ入力することで、生成画像１０００Ｂを複数取得することができる。これらの構造画像１０００Ａと生成画像１０００Ｂは、データベース１００１に保存される。なお、構造画像１０００Ａを複数作成する際には、構造を定義する数値データまたはベクトルデータ等を、ランダムまたは一定幅もしくは一定の割合で変更しながら自動的に作成することができる。もしくは、特定の構造画像を人手によって作成してもよい。

画像生成モデル１０００による生成画像１０００Ｂの品質が不十分な場合には、生成画像１０００Ｂに画像フィルタ処理を行うことで、輝度やコントラストを補正してもよい。

なお、構造画像と生成画像のデータセットを得る本実施例と異なる方法としては、生成画像１０００Ｂに対応する実画像から、直接、構造画像を得るために、汎用画像データセットで学習した学習済みモデルを使う方法が考えられる。しかし、画像中の特徴寸法計測に必要となる高精度な輪郭情報やエリア情報を得るためには、通常、そのような学習済みモデルの精度は不十分となる。これは、輪郭部分は画像全体の画素数に対して非常に小さな割合であるため、ニューラルネットによる深層学習をもってしても、出力画像に輪郭情報を高精度に描画することが難しいためである。

本願の実施例と異なる他の方法としては、実画像に対する輪郭抽出処理が考えられるが、特開２０１２－６８１３８号公報及び特開２００２－３５０１２７号公報を参照して上述した通り、しきい値などのパラメータチューニングが必要になる、または界面位置の目視判断による指定が必要になり、データセットの準備に長時間を要する。

従って、本願の実施例は、構造画像（構造情報）を入力として、対応する生成画像を生成し、これら画像のペアのデータセットの学習により、構造取得モデルを構築する方法を用いる。

＜生成画像から構造情報を求める構造取得モデルの学習＞
構造画像と生成画像のペアのデータベース１００１を構造取得モデル１０１０の学習に用いることで、生成画像から構造画像を求める構造取得モデルを構築できる。この際の学習では、構造取得モデル１０１０の入力側データとして生成画像１０１０Ａ、出力側データとして構造画像１０１０Ｂを用いる。なお、生成画像１０１０Ａは、生成画像１０００Ｂとして生成されたものであり、構造画像１０１０Ｂは、構造画像１０００Ａとして作成された画像である。

本願の実施例と異なる方法の一つとして、生成画像１０１０Ａと類似の実画像、及びその構造を示したアノテーションデータを作成することで、構造取得モデル１０１０を学習させることができる。しかし、前述した通り、実画像の取得には実際の装置での処理及び断面像のＳＥＭ観察等が必要であり、これに加えて構造を示すアノテーションデータ作成も必要となり、この学習データの準備に長期間を要する。

具体的には、半導体デバイス用の微細加工においてデータセットを取得する場合、その取得速度は、装置での加工処理、ＳＥＭ観察、アノテーションデータ作成のセットについて、１日に５～１０セット程度である。例えば、１日に５セット取得、また構造取得モデルの精度を十分に上げるために必要なデータセット数を１００セットとすると、学習データの準備に２０日かかることになる。

本願の実施例による方法では、構造取得モデル１０１０の学習用データセットの作成のため、学習済みの画像生成モデルを使用、かつ構造画像作成を自動的に行うことが可能である。このため、学習用データセットの画像生成には長くても数分、短ければ１秒以内に完了する。残りの必要な手順は、構造取得モデル１０１０の学習時間のみであり、これは短ければ数分、通常であれば数時間から１日程度で十分である。実画像を使用する場合と比較して、本願の実施例による方法では、２０倍から５００倍（構造取得モデルの学習時間が１時間弱の場合）以上の処理の高速化が可能となる。

図２は、構造画像、参照画像、生成画像の具体例を示す。生成画像１０００Ｂ１１、１０００Ｂ１２は、微細加工処理された試料断面のＳＥＭ観察画像である。参照画像１０００Ｃ１は、微細加工処理された試料断面のＳＥＭ観察画像の参照画像の例である。構造画像１０００Ａ２１、１０００Ａ２２は、断面画像中の輪郭線によって構造を示した線図である。構造画像１０００Ａ１１、１０００Ａ１２は断面画像中の構造エリアを色付きで示したカラー図を模式的に示す。なお、本明細書において、カラー図の構造エリアの異なる色は、モノクロの異なるパターンで示されている。

構造画像１０００Ａ１１または１０００Ａ２１が画像生成モデル１０００に入力され、画像生成モデル１０００は、参照画像１０００Ｃの画風となるような画像である生成画像１０００Ｂ１１を生成する。また、構造画像１０００Ａ１２または１０００Ａ２２が画像生成モデル１０００に入力され、画像生成モデル１０００は、参照画像１０００Ｃの画風となるような画像である生成画像１０００Ｂ１２を生成する。

図３Ａは、実画像から構造画像を生成し、さらに、構造画像から寸法データを取得する手法の概略を示す。図３Ａにおいて、実画像１０２０Ａは、装置によって処理された試料の断面の観察画像である。本手法は、実画像１０２０Ａから、その構造画像１０２０Ｂを取得する。実画像１０２０Ａと実画像より取得された構造画像１０２０Ｂは、データベース１０２１に格納される。さらに本手法は、実画像より取得された構造画像１０３０Ａより寸法データ１０３０Ｂを取得する。

構造取得モデル１０２０は、学習後の構造取得モデル１０１０である。この構造取得モデル１０２０へ、実画像１０２０Ａを入力することで、その出力として構造画像１０２０Ｂが得られる。実画像１０２０Ａとその構造画像１０２０Ｂのデータセットより、データベース１０２１が構築される。

さらに、このデータベース１０２１に保存された構造画像１０２０Ｂは、構造画像１０３０Ａとして、寸法抽出モデル１０３０へ入力される。寸法抽出モデル１０３０は、構造画像１０３０Ａにおける特徴量または特徴寸法として、目的の寸法データ１０３０Ｂを抽出する。なお、ここで寸法抽出モデル１０３０は、入力された構造画像１０３０Ａより寸法データ１０３０Ｂを抽出する学習済みモデルである。この寸法抽出モデルの学習方法については、実施例５及び実施例６にて後述する。

図３Ｂは、寸法抽出位置の例の概要図１０３１Ｂを示す。寸法抽出モデル１０３０は、例えば（ｉ）、（ｉｉ）及び（ｉｉｉ）の幅寸法、（ｉｖ）及び（ｖ）の深さ寸法を自動的に計測することができる。

以上、図１及び図３Ａの手順を経ることで、短時間かつ自動での、実画像からの寸法抽出を行うために必要となる学習データベース構築、及びその寸法抽出が可能となる。

実施例２として、図１を参照して説明した構造画像と生成画像のデータベース構築の際に、複数の構造画像を短時間で作成する方法を説明する。

図４は、２つの代表構造画像より、それらの中間画像となる複数の構造画像を作成する方法を示す。まず代表画像Ａ１０４１と代表画像Ａ’１０４２の２つを作成する。指定された対応関係に従って、この代表画像Ａ１０４１から代表画像Ａ’１０４２に変化させた際の複数の画像を中間画像１０４３として作成する。このような画像処理の方法はモーフィングと呼ばれている。

具体的には、ユーザは、２つの構造画像中で対応関係となる構造を構成する角、線分、弧を指定することで、一方の構造（代表画像Ａ１０４１）から他方の構造（代表画像Ａ’１０４２）への変化を指示することができる。また、対応関係となる構造の指定方法としては、線分及び弧の特定位置やその両端等を指定することもできる。

図５は、代表構造Ａ’１０５２を、装置での処理における試料の所望の目標形状とした場合を示す。装置により処理された試料の形状として目標形状を実現する装置処理条件を探索する過程の典型的な例では、最初は目標形状から離れた形状が取得されるが、探索がうまく進むと、徐々に目標形状に近い形状が得られるようになる。

従って、代表画像Ａ１０５１と目標形状１０５２の画像との間の中間画像となる構造画像１０５３を、モーフィングによりあらかじめ準備しておけば、それに対応する生成画像を生成することができる。また、その生成画像と構造画像を学習した構造取得モデル１０２０が構築できる。従って、目標形状の探索中に取得される可能性が高い実画像に対して、高精度に構造抽出ができる構造取得モデル１０２０の構築ができることになる。

図６は、代表画像Ａ’として取得済み実画像の内、最も目標形状に近い実画像の構造画像を設定した例を示す。画像１０６２は、最も目標形状に近い実画像の構造画像の例である。代表画像Ａ１０６１から構造画像１０６２の中間画像となる構造画像１０６３を、モーフィングによりあらかじめ準備できることになる。

従って、目標形状の探索中に取得される可能性が高い実画像に対して、高精度に構造抽出ができる構造取得モデル１０２０の構築ができることになる。なお、最も目標形状に近い実画像に対する構造画像の作成は、人手で行うことも可能であるが、図３Ａを参照して説明したように、これまでに学習済みの構造取得モデル１０２０を用いて、実画像から構造画像を自動的に取得することで、構造画像の作成時間を短縮することが可能である。

なお、目標形状と実画像の近さ、すなわち差異（もしくは類似度）は、両者の各特徴量または各特徴寸法の誤差の総和を用いて評価することができる。誤差は、各パラメータの差分、絶対値、または２乗誤差等を用いて計算できる。この誤差が小さいほど実画像が目標形状に近いことが分かる。

図７は、さらに取得される可能性が高い実画像への対応及び構造抽出の高精度化を実現するための代表画像の例を示す。具体的には、代表画像Ａとして、取得済み実画像の内、最も目標形状に近い実画像より作成した構造図１０６２が設定され、代表画像Ａ’として目標形状の構造画像１０５２が設定されている。

目標形状を実現する装置処理条件を探索する際、探索が成功する場合には、取得済みの最良形状と目標形状の中間となる形状が取得される可能性が極めて高い。従って、それらに対応する中間画像１０７３をあらかじめ準備することで、さらに取得される可能性が高い実画像への対応及び構造抽出の高精度化が可能となる。

なお、図４から図７において説明した代表画像Ａと代表画像Ａ’は、中間構造の画像を作成する際の両端となる構造を決定するため、両者を入れ替えて設定することが可能である。
上述にように、二つの構造画像から中間構造の画像を生成し、構造画像及び実際の画像に類似させた生成画像をデータベースとして構築する。実際の画像に類似させた生成画像を用いることで、構造画像と実際の画像の関係を、実際の画像を取得することなく学習することが可能となる。また、２つの異なる構造画像のうち一方を取得済み実画像の内で最も目標形状に近い形状に対応する構造画像とし、他方を目標形状とすることで、目標の加工形状を探索する際に、実際に取得される可能性が高い画像をあらかじめ学習データに含めることにより、実際の画像からの構造取得の際の精度を向上する。

実施例３として、図１及び図３を参照して説明した手法により構築される学習モデル及びデータベースを利用した、目標形状を得るための装置処理条件の最適化の方法を説明する。図８Ａ及び８Ｂにその概要に示す。データベース１１０１は、目標形状の探索時に徐々に蓄積される、装置条件１１００Ａ及び装置条件を用いて処理された試料の断面画像である実画像１１００Ｂ１を含む。また、データベース１１０１は、実画像１１００Ｂ１より取得される構造画像を含む。構造画像１１００Ｂ２、１１００Ｂ３はその構造画像の例である。さらに、データベース１１０１は、構造画像より抽出された寸法データ１１００Ｂ４を含む。

前述の通り、実画像１１００Ｂ１から構造画像１１００Ｂ２、１１００Ｂ３を取得するためには、構造取得モデル１０２０が使用できる。また、寸法データ１１００Ｂ４は、実画像１１００Ｂ１から手動で計測した値を用いることができるが、寸法抽出モデル１０３０を用いて構造画像１１００Ｂ２、１１００Ｂ３から取得した寸法データ１１００Ｂ４を使用することもできる。

装置条件１１００Ａと、その他のデータ１１００Ｂ１～１１００Ｂ４との関係を記述する学習モデル１１１０を構築することで、目標形状を取得するための装置条件を探索することができる。学習モデルの入出力として、装置条件と寸法データを選択した場合には、入出力は数値パラメータであり、多入出力回帰モデルが構築される。

または、学習モデルの入出力として、装置条件と実画像または構造画像とを選択した場合には、装置条件の数値パラメータと画像の関係を記述する学習モデルが構築される。そのモデルの具体的な例としては、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）や敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）が挙げられる。

これらの学習モデルを用いて、目標形状１１１０Ｂを得るための最適装置条件１１１０Ａを探索することが可能である。探索手法としては、多数の装置条件セットを入力し、寸法データまたは実画像形状を見積もることで、最も目標形状に近い寸法データまたは実画像形状が得られると推定される装置条件を選択することができる。または、目標形状を実現すると推定される装置条件を逆問題として解くこともできる。

これらの学習モデルでは、入力として装置条件１１００Ａ、出力としてその他データ１１００Ｂ１～１１００Ｂ４として説明を行ったが、これらの入出力を逆にして学習モデルを構築し、最適装置条件を探索することも可能である。

以上の実施例では、試料を加工処理する場合を例として説明してきたが、本開示の特徴を、その他の例として、劣化検出における対象物の断面検査に適用することができる。金属やコンクリートの疲労または経年劣化を評価する場合に、それらの断面を観察する。従って、構造画像として断面に発生する亀裂、欠陥、腐食、性質変化領域を示す構造画像を作成し、それらに対応する参照画像を使用することで、生成画像を生成することが可能である。

図９には、金属材料の例として、島と各島の境界領域の２つの相構造を持つ構造画像１２００Ａ１、参照画像１２００Ｃ１、生成画像１２００Ｂ１を示す。図９には、さらに、クラックがある構造画像１２１０Ａ１、参照画像１２１０Ｃ１、生成画像１２１０Ｂ１を示す。

実施例１と同様の手順にて、実画像からの構造画像取得、その構造画像からの寸法データ、すなわち亀裂、欠陥、腐食、性質変化領域の特徴量または特徴寸法を取得することができる。相構造を持つ例では、寸法データとして、例えば、島の面積、各島の最大幅（島を構成する境界上の２点で最も距離が離れている２点間の幅）、島の数、２つの島の距離（向かい合う２つの島の境界線上の各点からの最短距離、またはそれら最短距離の平均値等）が使用される。

また、クラックがある例では、寸法データとして、例えば、クラックの面積、クラックの本数、クラックの幅（クラックを構成する向かい合う２本の境界線において、境界線上の各点からの最短距離、またはそれら最短距離の平均値等）が使用される。このように、本開示の特徴を、様々な種類の画像処理に適用することができる。

以下、実施例５と実施例６では、寸法抽出モデル及びその学習方法の詳細を説明する。実施例５では、加工構造と背景との間の境界線及び異種材料間の界面の境界線の座標を抽出するためにセマンティック・セグメンテーションモデル（第１画像認識モデル）と、単位パターンの座標を検出するために物体検出モデル（第２画像認識モデル）との２種類の画像認識技術を用いる。セマンティック・セグメンテーションモデルは、上記実施例における構造取得モデルに対応する。

事前の学習ステップでは、セマンティック・セグメンテーションモデルには、入力データである断面ＳＥＭ画像と、出力データである領域ごとに色分けしたアノテーション画像とを、教師データとして与えて、領域の形状を学習させる。また、物体検出モデルには、入力データである断面ＳＥＭ画像と、出力データである単位パターンの座標（パターンを囲む矩形のバウンディング・ボックスで指定する）を記したアノテーションデータとを、教師データとして与えて、単位パターン形状を学習させる。

推論ステップでは、与えられた入力画像に対し、学習済みセマンティック・セグメンテーションモデルで領域ごとに色分けした画像を推定し、学習済み物体検出モデルで単位パターンの座標を推定する。

計測ステップでは、領域ごとに色分けした画像から得られる領域境界線の座標を、単位パターン座標を用いてパターンごとに分割し、寸法計測に必要な特徴点の座標を求めることにより、所望の個所の寸法を自動で計測する。

図１０は、半導体製造システムのシステム構成例を示す図である。半導体製造システム１０は、処理条件探索装置１００と、入力装置１０３と、出力装置１１４と、処理装置１１１と、評価装置１１２と、寸法計測装置２００と、入出力装置２０６とを有する。ユーザは、目標処理結果（加工形状）と処理装置１１１で用いるパラメータ１０１を選択して入力装置１０３から入力し、出力装置１１４から目標加工形状を与える最適処理条件１０２を出力として得る。

処理条件探索装置１００は、入力装置１０３から目標加工形状１０１を受け付け、処理装置１１１が最適に目標加工形状を得ることが可能な処理条件を探索し、探索した処理条件を出力装置１１４へ出力する装置である。

入力装置１０３は、ＧＵＩなどの入力インタフェースとカードリーダなどの記憶媒体読み出し装置を備え、処理条件探索装置１００にデータを入力する。また、ユーザからのみならず、入出力装置２０６から寸法計測値も同様に受けつけ、処理条件探索装置１００に入力する。入力装置１０３は、例えば、キーボード、マウス、タッチパネル、記憶媒体読み出し装置などを含む。

出力装置１１４は、処理条件探索装置１００から渡された処理条件を、最適処理条件１０２としてユーザへ表示する。表示する手段としては、ディスプレイへの表示、またはファイルへの書き出しなどである。出力装置１１４は、例えば、ディスプレイ、プリンタ、記憶媒体書き出し装置などを含む。

処理装置１１１は、半導体または半導体を含む半導体デバイスを処理する装置である。処理装置１１１の処理の内容は特に限定されない。例えば、リソグラフィ装置、成膜装置、パターン加工装置を含む。リソグラフィ装置には、たとえば、露光装置、電子線描画装置、Ｘ線描画装置を含む。成膜装置は、たとえばＣＶＤ（Ｃｈｅｍｉｃａｌ Ｖａｐｏｒ Ｄｅｐｏｓｉｔｉｏｎ）、ＰＶＤ（Ｐｈｙｓｉｃａｌ Ｖａｐｏｒ Ｄｅｐｏｓｉｔｉｏｎ）、蒸着装置、スパッタリング装置、熱酸化装置を含む。パターン加工装置は、たとえば、ウェットエッチング装置、ドライエッチング装置、電子ビーム加工装置、レーザ加工装置を含む。処理装置１１１は、処理条件探索装置１００から入力された処理条件に基づき半導体または半導体デバイスの処理を行い、評価装置１１２に渡す。

評価装置１１２は、処理装置１１１で処理された半導体または半導体デバイスの断面を撮影して、処理結果である断面画像２０８を取得する。評価装置１１２は、ＳＥＭ、ＴＥＭ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｅ）、光学式モニタを用いた加工寸法計測装置を含む。処理装置１１１で処理された半導体または半導体デバイスの一部を断片として取り出して、その断片を評価装置１１２へ運搬して計測してもよい。取得した断面画像２０８は、入出力装置２０６へ渡される。

寸法計測装置２００は、中央処理部２０１、モデル学習部２０２、モデル推定部２０３、寸法計測部２０４とデータベース２０５を有する。入出力装置２０６を介して入力された特徴点と寸法の定義、倍率、学習データセット２０９と断面画像２０８を受け付け、断面画像２０８から所定の寸法を計測し、入出力装置２０６へ出力する。

入出力装置２０６は、ＧＵＩなどの入出力インタフェースとカードリーダなど記憶媒体読み出し装置を備え、寸法計測装置２００に特徴点と寸法の定義、倍率、学習データセット２０９を入力する。また、評価装置１１２から断面画像２０８を受けとり、中央処理部２０１に渡す。入出力装置２０６は、例えば、キーボード、マウス、ディスプレイ、タッチパネル、記憶媒体読み出し装置などを含み、寸法計測装置２００から渡された寸法値を、ユーザへ表示するか、あるいは直接入力装置１０３へ転送する。ユーザへ表示する場合、その手段はディスプレイへの表示、またはファイルへの書き出しなどである。

図１１は、処理条件探索装置１００のシステム構成例を示す図である。処理条件探索装置１００は、中央処理部１０４と、データベース１０５と、初期処理条件設定部１０６と、ターゲット設定部１０７と、モデル学習部１０８と、処理条件探索部１０９と、装置制御部１１０と、収束判定部１１３とを有する。

図１２に、寸法計測装置２００のハードウェア構成を示すブロック図を示す。寸法計測装置２００は、入出力装置２０６を介して評価装置１１２から入力された断面画像２０８から寸法を計測し、計測結果を入出力装置２０６へ出力する。寸法計測装置２００は、プロセッサ１１６と、通信インタフェース１１５と、ＲＯＭ１１７と、ＲＡＭ１１８とを有する。通信インタフェース１１５は、プロセッサ１１６と、外部の入出力装置２０６とを接続する。プロセッサ１１６は、通信インタフェース１１５と、ＲＯＭ１１７と、ＲＡＭ１１８とが接続される。ＲＯＭ１１７には、プロセッサ１１６で実行する処理プログラムが格納されている。ＲＡＭ１１８には、学習データや学習モデル、特徴点と寸法の定義、倍率などが格納される。

なお、図１０に示す寸法計測装置２００との対応では、データベース２０５はＲＯＭ１１７及びＲＡＭ１１８として実装され、モデル学習部２０２、モデル推定部２０３、寸法計測部２０４はＲＯＭ１１７及びＲＡＭ１１８に格納されるプログラム及びパラメータとして実装される。

図１３は、寸法計測装置２００のモデル学習部２０２及びモデル推定部２０３で用いるセマンティック・セグメンテーションモデルの構成の一例である。なお、本例ではニューラルネットワーク２０を用いる例を説明するが、これに限られず、決定木などの機械学習のモデルを用いることもできる。ニューラルネットワークは、入力層に入力された画素情報が、中間層、出力層へと順に伝播され演算されることにより、出力層から各画素の属する領域のラベル番号を出力する。中間層は畳み込み層、プーリング層などが多数層繰り返される。具体的な層構造は採用するモデルにより異なる。学習時には出力された各画素のラベルと正解であるアノテーションデータとの誤差が最小となるように、中間層のパラメータを調整する。

図１４は、寸法計測装置２００のモデル学習部２０２及びモデル推定部２０３で用いる物体検出モデルの構成の一例である。なお、本例ではニューラルネットワーク３０を用いる例を説明するが、これに限られず、テンプレートマッチングなどの他のモデルを用いることもできる。ニューラルネットワークは、入力層に入力された画素情報が、中間層、出力層へと順に伝播され演算されることにより、出力層から画像に含まれる物体のラベル番号とバウンディング・ボックスの座標値を出力する。中間層は畳み込み層、プーリング層などが多数層繰り返される。具体的な層構造は採用するモデルにより異なる。学習時には出力された物体のラベル番号とバウンディング・ボックスの座標値と正解であるアノテーションデータとの誤差が最小となるように、中間層のパラメータを調整する。

図１５は、寸法計測装置２００が実行する、入力画像から必要な寸法を計測するまでのフローチャートである。

まず、事前に寸法計測装置２００に入力すべき学習データセット２０９を作成する。学習データセットは、入力データである断面ＳＥＭ画像に加え、出力データとなる物体検出モデルに対しては単位パターンを囲むバウンディング・ボックスの座標を記したアノテーションデータ２０９を、セマンティック・セグメンテーションモデルに対しては領域ごとに色分けしたアノテーション画像２０９の組を作成し、それら学習データセットを入出力装置２０６から入力する（ステップＳ１００）。入力された学習データセットはデータベース２０５に保存される。

つぎに、中央処理部２０１はデータベース２０５からモデル学習部２０２に学習データセットとモデルを転送し、モデル学習部２０２で２つのモデルの学習を行う（ステップＳ１０１）。学習したモデルのパラメータはデータベース２０５へ保存される。以下の説明では、モデルとしては、畳み込み層やプーリング層を有するニューラルネットワークを用いる場合を説明するが、物体検出モデルとしてテンプレートマッチングなど、セマンティックセグメンテーションモデルとして決定木などの機械学習のモデルを用いることもできる。

つぎに、推定ステップで、寸法を計測したいテスト画像を入出力装置２０６から入力する（ステップＳ１０４）。同時に、寸法計測に必要となる特徴点の定義２０９と、計測する寸法の定義２０９とを入出力装置２０６を介してデータベース２０５に格納する（ステップＳ１０２、Ｓ１０３）。入力画像の倍率は、画像を格納するフォルダ名により判断させるようにする。例えば、倍率が１００ｋ倍ならフォルダ名を１００ｋとする。各画像の倍率情報は、データベース２０５に保存される。中央処理部２０１はモデル推定部２０３にデータベース２０５からモデルとパラメータを渡すとともに、入力されたテスト画像を渡し、モデル推定部２０３で推定を行い（ステップＳ１０５）、パターン検出結果であるバウンディング・ボックス座標とセマンティック・セグメンテーション画像を得る（ステップＳ１０６）。

つぎに、計測ステップにおいて、中央処理部２０１は寸法計測部２０４にバウンディング・ボックス座標とセマンティック・セグメンテーション画像を渡し、セマンティック・セグメンテーション画像から境界線の座標を求める。つぎに、パターンごとに境界線座標を分割し、データベース２０５に格納してある特徴点の定義を呼び出して特徴点の座標を求め、寸法の定義を呼び出して主要寸法を計算する（ステップＳ１０７）。得られた寸法の単位はピクセル数であるので、データベース２０５に格納してある倍率を呼び出して実寸法に変換する（ステップＳ１０８）。計測した寸法値を入出力装置２０６へ出力するとともに、パターンごとの境界線座標データをデータベース２０５へ保存する（ステップＳ１０９）。

さらに、寸法計測個所を新規に追加したい場合には、寸法計測に必要となる新たな特徴点２０９の定義と、新たな寸法計測個所の定義２０９を入出力装置２０６から入力し、データベース２０５に格納する（ステップＳ１１０、Ｓ１１１）。

つぎに、新規の寸法計測個所の指定の有無を判定し（ステップＳ１１２）、指定がなければ、寸法計測処理をスキップする。指定があれば、データベース２０５に格納してあるパターンごとの境界線の座標データを読み出して寸法を計算し（ステップＳ１１４）、実寸法にスケール変換（ステップＳ１１５）後、計測した寸法値を入出力装置２０６へ出力する（ステップＳ１１６）。

ここで、加工形状の探索をしたい場合には、目標寸法値を入力する（ステップＳ１１７）。中央処理部２０１は形状探索の指定の有無を判定し（ステップＳ１１８）、指定がなければ、寸法計測処理を終了する（ステップＳ１１９）。指定があれば、データベース２０５に格納してある全画像の寸法値を探索し（ステップＳ１２０）、入力した寸法に近い形状を入出力装置２０６へ出力する（ステップＳ１２１）。以上で、処理を終了する（ステップＳ１２２）。

図１６は、半導体製造システム１０において処理条件探索装置１００が実行する、目標処理結果（目標出力パラメータ値）から処理装置１１１の最適処理条件を決定するフローチャートである。

まず、処理装置１１１の行う処理について、目標とする目標処理結果（目標出力パラメータ値）及び、処理装置１１１を制御するパラメータとして選択する入力パラメータ１０１を、入力装置１０３から中央処理部１０４に受け渡す（ステップＳ２００）。

つぎに、中央処理部１０４は受け付けた目標出力パラメータ値と選択された入力パラメータ（加工条件パラメータ）とをデータベース１０５に格納するとともに、選択された入力パラメータを初期処理条件設定部１０６へ渡す。初期処理条件設定部１０６では、渡された入力パラメータを元に、データベース１０５から入力パラメータの設定可能範囲のデータを読み取り、初期処理条件を自動設定する（ステップＳ２０１）。中央処理部１０４は設定された初期処理条件をデータベース１０５へ格納するとともに、初期処理条件を装置制御部１１０へ渡す。

装置制御部１１０は、初期処理条件を処理装置１１１に転送する。または装置制御部１１０が出力した初期処理条件をユーザが処理装置１１１に入力するのでもよい。処理装置１１１は入力された初期条件に従って処理を行い、評価装置１１２で評価し、入出力装置２０６を介して、評価結果である断面画像２０８を寸法計測装置２００に渡す。寸法計測装置２００で求められた寸法値（ターゲット出力パラメータ値）は入出力装置２０６を介して入力装置１０３へ入力される。中央処理部１０４は、入力装置１０３から初期処理結果を受け渡される（ステップＳ２０２）。中央処理部１０４は、初期処理条件と初期処理結果とを収束判定部１１３に渡す。

収束判定部１１３は、初期処理結果を目標処理結果と比較し、所定の精度内で目標処理結果に収束しているかどうかを判定する（ステップＳ２０３）。収束していれば、目標処理結果に収束した初期処理条件を出力装置１１４へ渡し、出力装置１１４は最適処理条件１０２として出力する（ステップＳ２１０）。

出力パラメータ値（処理結果）の収束性の判定には、（数１）で与えられる、用いる全出力パラメータに関する出力パラメータ値と目標出力パラメータ値との誤差の２乗和を用いることができる。

ここで、ＮＰは用いる出力パラメータの総数、ｘ_ｉはｉ番目の目標出力パラメータ値、ｙ_ｉはｉ番目の出力パラメータ値（実績値）、Ｗ_ｉはユーザが出力パラメータごとに指定する重みである。

一方、収束していなければ処理を継続する命令が収束判定部１１３から中央処理部１０４へ送られ、中央処理部１０４はデータベース１０５に、初期処理条件（初期入力パラメータ値）と初期処理結果（初期出力パラメータ値）とからなる初期学習データを作成する（ステップＳ２０４）。

つぎに、中央処理部１０４は目標出力パラメータ値（目標処理結果）と初期学習データとをデータベース１０５から読み込み、ターゲット設定部１０７へ渡す。ターゲット設定部１０７は、ターゲット処理結果（ターゲット出力パラメータ値）を設定する（ステップＳ２０５）。設定されたターゲット出力パラメータ値は、中央処理部１０４へ渡され、データベース１０５に格納される。ターゲット設定部１０７は、既存の学習データの中から目標出力パラメータ値に最も近いベストデータ（出力パラメータ値（実績値））を選び出し、そのときベストな出力パラメータ値と目標出力パラメータ値との間を内挿補間することによりターゲット出力パラメータ値を設定する。設定するターゲットの個数は１個以上ならいくつでも良いが、効率を考えて複数個、例えば４～５個程度を設定することが望ましい。

つぎに、中央処理部１０４は、データベース１０５から初期学習データを読み込み、初期学習データをモデル学習部１０８へ送る。モデル学習部１０８は入力パラメータ値（処理条件）と出力パラメータ値（処理結果）とを関係づける推定モデルを学習する（ステップＳ２０６）。推定モデルとしては、ニューラルネットワーク、サポートベクターマシン、カーネル法などを用いることができる。学習した推定モデルは処理条件探索部１０９へ渡される。

つぎに、処理条件探索部１０９は、モデル学習部１０８から渡された推定モデル及びデータベース１０５から読み出した入力パラメータへの制約条件を用いて、データベース１０５から読み出した目標出力パラメータ値及びターゲット出力パラメータ値に対する処理条件を探索する（ステップＳ２０７）。推定モデルは処理条件が入力で、処理結果が出力となっているため、処理結果から処理条件を逆に求めるには、シミュレーテッド・アニーリング法、遺伝的アルゴリズムなど各種の最適解探索手法を用いることができる。処理条件探索部１０９は、探索した処理条件（ターゲット入力パラメータ値）を装置制御部１１０に渡すとともに、中央処理部１０４を介してデータベース１０５へ格納する。

装置制御部１１０は、渡された処理条件（ターゲット入力パラメータ値）を処理装置１１１に転送する。または、装置制御部１１０が出力した処理条件をユーザが処理装置１１１に入力するのでもよい。処理装置１１１は入力された初期条件に従って処理を行い、評価装置１１２で評価し、評価結果である断面画像２０８を入出力装置２０６を介して寸法計測装置２００に渡す。寸法計測装置２００で求められた寸法値（ターゲット出力パラメータ値）は入出力装置２０６を介して入力装置１０３へ入力される。中央処理部１０４は、入力装置１０３から処理結果（ターゲット出力パラメータ値）を受け渡される（ステップＳ２０８）。中央処理部１０４は、処理条件（ターゲット入力パラメータ値）と処理結果（ターゲット出力パラメータ値）とを収束判定部１１３に渡す。

収束判定部１１３は、処理結果（出力パラメータ値（実績値））を目標処理結果（目標出力パラメータ値）と比較し、所定の精度内で目標処理結果に収束しているかどうかを判定する（ステップＳ２０９）。収束していれば、目標処理結果に収束した処理条件を出力装置１１４へ渡し、出力装置１１４は最適処理条件１０２として出力する（ステップＳ２１０）。

一方、収束していなければ処理を継続する命令が収束判定部１１３から中央処理部１０４へ送られ、中央処理部１０４はデータベース１０５の学習データセットに、新たに探索した目標処理結果とターゲット処理結果についての処理条件（入力パラメータ値）と処理結果（出力パラメータ値（実績値））との組を追加学習データとして追加することにより、学習データセットを更新する（ステップＳ２０４）。

以下、学習データセットの作成・更新（ステップＳ２０４）～収束判定（ステップＳ２０９）までの推定プロセスを、処理結果が目標処理結果に収束されるまで繰り返す。このようにして、目標処理結果を実現する最適処理条件を自律的に探索する。

以上が、処理条件探索装置１００と寸法計測装置２００を備えた半導体製造システム１０全体の処理フローである。

以下、処理装置１１１がエッチング装置である場合を例に説明する。
図１７は、学習データセットの中の入力データセットとなる断面ＳＥＭ画像の例である。この画像のサイズは１２８０×９６０ピクセルである。サンプルはライン／スペースの単位パターンが繰り返しているトレンチ構造であり、領域は背景３００、マスク３０１、基板３０２の３領域からなる。なお、画像の左下には撮像条件が、右下にはスケールが重畳表示されている。

図１８は、寸法計測個所の例である。この例では、寸法計測個所は、（１）Ｌ１：マスク上面の幅３０５、（２）Ｌ２：マスク／基板界面の幅３０６、（３）Ｌ３：基板最狭部の幅３０７、（４）Ｌ４：マスクの高さ３０８、（５）Ｌ５：トレンチの深さ３０９、の５カ所を設定している。なお、マスク上面の幅３０５は、凸状になっている２つのピーク位置の間隔と定義した。ピーク位置が１つしかない形状の場合には幅を０とする。図中のＡからＧまでの７つの点は寸法計測に用いる境界線上の特徴点であり、境界線データのみから一意に定義できる点を用いる。例えば、Ａ、Ｂはマスク上面のピークとなる点、などである。特徴点Ａ～Ｇの定義及び寸法Ｌ１～Ｌ５と特徴点Ａ～Ｇとの対応関係（Ｌ１：Ａ、Ｂ、Ｌ２：Ｃ、Ｄなど）はユーザが入出力装置２０６を介して入力し、データベース２０５に格納されている。具体的には、特徴点と寸法の定義を記述したスクリプトを格納しておく。特徴点と計測寸法の個数・位置は、計測対象の構造に応じて適宜設定する。

図１９は、学習データセットの中の出力データセットとなるアノテーションデータのうち、物体検出モデルに与えるアノテーションデータに記述するバウンディング・ボックスの座標の定義を説明する図である。図中に示した枠線（バウンディング・ボックス）で囲まれたライン／スペースの繰り返しの単位構造であるマスクと基板の一部からなる領域に対し「パターン」というラベル名を定義する。この例では、ラベルは１種類のみであり、ラベル番号は０である。図１９には５つのパターンが存在する。バウンディング・ボックスの座標は画像の左上を原点とし、水平方向にＸ軸を、垂直方向にＹ軸を取る。バウンディング・ボックスのＹ軸方向の境界は、マスク上部とトレンチ底が完全に含まれるように、それぞれ数ピクセルのマージンを持たせた位置に設定する。バウンディング・ボックスは矩形であるので、位置を特定するには、左上と右下の２つの座標を与えればよい。

図２０は、図１９に対応するアノテーションデータの記載例の抜粋である。必須となる項目のみ抜粋してある。この例ではデータはｘｍｌフォーマットで記述されているが、使用する物体検出モデルが想定しているフォーマットであれば何でも良い。タグ＜ｆｏｌｄｅｒ＞～＜／ｆｏｌｄｅｒ＞に画像ファイルを格納してあるフォルダ名を、タグ＜ｆｉｌｅｎａｍｅ＞～＜／ｆｉｌｅｎａｍｅ＞に画像ファイル名を記載する。タグ＜ｏｂｊｅｃｔ＞～＜／ｏｂｊｅｃｔ＞がバウンディング・ボックスに関する情報を記載する個所で、画像中に含まれるバウンディング・ボックスの個数分、繰り返される。その中のタグ＜ｎａｍｅ＞～＜／ｎａｍｅ＞がラベル名を指定する個所である。タグ＜ｂｎｄｂｏｘ＞～＜／ｂｎｄｂｏｘ＞に記載された４つの数値が、１つ目のバウンディング・ボックスの左上と右下の点の座標である。アノテーションデータは手作業で作成するか、学習済みの物体検出モデルを用いて作成できる。

図２１は、学習データセットの中の出力データセットとなるアノテーションデータのうち、セマンティック・セグメンテーションモデルに対するアノテーションデータの例である。アノテーションデータは専用ソフトウェアを用いて手作業で作成するか、学習済みのセマンティック・セグメンテーションモデルを用いて作成できる。データは、領域別に色分けされた画像である。ここで領域は、測定対象とする半導体デバイスの断面を構成する各層と半導体デバイスの断面以外の背景とを含む。この例では、背景３１０、半導体デバイスの断面を構成する各層としてマスク３１１及び基板３１２の３領域からなる。３領域のラベル名は、それぞれ「背景」、「マスク」、「基板」であり、色は、それぞれ黒、グレー、白である。

図２２は、ラベル名、ラベル番号、色の対応関係であり、データベース２０５に格納されている。各ラベルに付与するラベル番号と色は任意であるが、寸法計測装置２００内では固定する必要がある。

図２３は、学習ステップを行う際に入出力装置２０６に表示されるＧＵＩ画面の一例である。画面は入力データウィンドウ３２３と、アノテーションデータウィンドウ３３１と、ターミナルウィンドウ３３９を含む。入力データウィンドウ３２３では、ロードボタン３２０により、学習データセットの入力データセットが格納されているフォルダを選択する。セレクトボタン３２１により、入力データウィンドウ３２３に表示したい画像ファイルを選択する。クリアボタン３２２により表示結果をクリアする。セル３２４と３２５には選択したフォルダ名とファイル名とが表示される。画像ウィンドウ３２６には選択した画像が表示される。

アノテーションデータウィンドウ３３１では、モデルボタン３２８によりセマンティック・セグメンテーションモデルか、物体検出モデルかのいずれかを選択する。選択したモデルに応じてアノテーションデータウィンドウ３３１に表示されるデータの種類は変わる。また、アノテーションデータが含まれるフォルダもモデルに応じて自動で選択される。図２３はセマンティック・セグメンテーションモデルを選択した場合の例である。セレクトボタン３２９によって、ウィンドウ３３４に表示したいサンプルを指定する。セル３３２と３３３には選択したサンプルのあるフォルダ名とファイル名とが表示される。ウィンドウ３３４にはアノテーション画像が、テーブル３３５にはラベル名、ラベル番号、色の対応表が表示される。

ターミナルウィンドウ３３９では、スタートボタン３３６により、モデルボタン３２８で選択したモデルの学習が開始される。ターミナルウィンドウ３３９には計算中の途中経過、最終結果がメッセージで表示される。ストップボタン３３７により計算途中でも停止できる。計算結果である学習済みモデルは自動で保存される。

図２４は、寸法を計測したいテスト画像の例である。このテスト画像には、前述したように、不要な奥の構造の輪郭が写っている。この構造は、寸法計測の際には無視すべき構造である。

図２５は、図２４に示したテスト画像を学習済み物体検出モデルに入力して推論させた結果である。検出された物体のラベル名とともに、バウンディング・ボックス座標が黒枠で示されている。図２５の例では４つのパターンが検出されている。

図２６は、図２５に対応するバウンディング・ボックスの座標値データであり、推論後にデータベース２０５に自動で保存される。

図２７は、図２４に示したテスト画像を学習済みセマンティック・セグメンテーションモデルに入力して推論させた結果である。領域それぞれの色は、図２２で設定した対応関係に従っており、背景が黒、マスクがグレー、基板が白である。

図２７から各領域間の境界線の座標が求まるので、それを図２６のバウンディング・ボックスの座標値を用いて、バウンディング・ボックスごとに境界線座標を切り出す。切り出したバウンディング・ボックスごとの境界線座標から、寸法計測に必要な特徴点Ａ～Ｇの座標を求め、寸法Ｌ１～Ｌ５を求める。このようにして、入力した画像からパターンごとに寸法が自動で計測される。

図２８は、計測した寸法値を元の入力画像上に表示した例であり、検出されたバウンディング・ボックス位置も矩形で示されている。

図２９は図２８の計測結果であり、５つの寸法Ｌ１～Ｌ５が、パターンごとの値の他に統計値（平均値、標準偏差）も計算され、表示される。結果はデータベース２０５に自動で保存されるとともに、平均値は入出力装置２０６へ出力される。

図３０は、推論・計測ステップを行う際に入出力装置２０６に表示されるＧＵＩ画面の一例である。画面は入力データウィンドウ３４５と、推論・計測結果ウィンドウ３５３とを含む。入力データウィンドウ３４５では、定義ボタン３４０により特徴点と寸法との対応を定義したスクリプトを読み込む。読み込まれた定義は定義テーブル３４９に表示される。つぎに、マニュアルボタン３４１によりテスト画像を１枚ずつ選択して推論・計測を行うか、バッチボタン３４２によりテスト画像を含むフォルダを指定してフォルダ内の全画像を一括で推論・計測を行うかを選択する。フォルダ名は画像の倍率に一致させることにより、倍率に関する情報はフォルダ名から得られる。セル３４６と３４７には選択したフォルダ名とファイル名とが表示される。画像ウィンドウ３５０には選択されたテスト画像が表示される。バッチを選択した場合には１枚目のテスト画像のファイル名と画像が、セル３４７と画像ウィンドウ３５０に表示される。スタートボタン３４３により２つの学習済みモデルを用いて推論と寸法計測が行われる。計算結果は自動で保存される。クリアボタン３４４により表示結果をクリアする。

推論・計測結果ウィンドウ３５３では、ロードボタン３５１により結果を表示したい元画像を選択する。セル３５４と３５５には選択した画像のフォルダ名とファイル名とが表示される。ウィンドウ３５６にはセマンティック・セグメンテーション結果が、ウィンドウ３５７には物体検出結果が表示される。最終結果ウィンドウ３５８には、元画像上に寸法値が表示された画像が表示され、数値テーブル３５９には計測された寸法値と統計値が表示される。

図３１は、所望の寸法に近い形状をデータベース２０５から探索する探索ステップの際に、入出力装置２０６に表示されるＧＵＩ画面の一例であり、ターゲットウィンドウ３６０と探索結果ウィンドウ３６３とを含む。ターゲットウィンドウ３６０では、ターゲット構造セル３６１に目標とする寸法値を入力する。定義ウィンドウ３６２には寸法Ｌ１～Ｌ５の定義が図示される。

探索結果ウィンドウ３６３では、サーチボタン３６４により探索を実行する。探索結果は誤差の小さい順にソートして表示され、フォルダ名３６６、ファイル名３６７、寸法値を記載した画像３６８、寸法の平均値３６９が表示される。

実施例５では第１画像認識モデルとしてセマンティック・セグメンテーションモデルを、第２画像認識モデルとして物体検出モデルを用いたが、寸法計測方法としてはこの組み合わせに限られない。実施例６として、２種類のセマンティックセグメンテーションモデルを用いる方法について説明する。実施例６では、輪郭線を検出させる第１のセマンティック・セグメンテーションモデルと、特徴点を検出させる第２のセマンティック・セグメンテーションモデルとを用いる。以下、実施例６については、画像認識モデルを用いた特徴点の抽出を中心に説明し、実施例５と重複する点については説明を省略する。

図３２は、寸法計測装置２００が実行する、事前の学習ステップを経て入力された画像から寸法を計測するフローチャートである。

まず、寸法計測に必要な特徴点２０９を定義し、入出力装置２０６を介してデータベース２０５に格納する（ステップＳ３００）。これは学習ステップの前に行う。

つぎに、第１のセマンティックセグメンテーションモデル（第１画像認識モデル）に対しては輪郭線とそれ以外に領域分けしたアノテーション画像を、第２のセマンティック・セグメンテーションモデル（第２画像認識モデル）に対しては寸法計測に必要な特徴点とそれ以外に領域分けしたアノテーション画像を作成し、入出力装置２０６から入力する（ステップＳ３０２）。

つぎに、中央処理部２０１はモデル学習部２０２に学習データセットを渡し、モデル学習部２０２でモデルの学習を行う（ステップＳ３０３）。以下の説明では、モデルとしては、畳み込み層を有するニューラルネットワークを用いる場合を説明するが、決定木などの機械学習のモデルを用いることもできる。

つぎに、寸法を計測したいテスト画像を評価装置１１２から読み込む（ステップＳ３０４）。中央処理部２０１はモデル学習部２０２に画像を渡し、モデル推定部２０３で推定を行い（ステップＳ３０５）、２種類のセマンティック・セグメンテーション画像を得る（ステップＳ３０６）。

つぎに、特徴点と寸法計測個所の対応関係２０９を入出力装置２０６から入力し、データベース２０５に格納する（ステップＳ３０１）。

つぎに、寸法計測部２０４にて、２種類のセマンティック・セグメンテーション画像から、輪郭線上の特徴点座標を求め、主要寸法を計算し、輪郭線全体の座標データを求める（ステップＳ３０７）。続いて、得られた寸法を実寸法のスケールに変換する（ステップＳ３０８）。計測した寸法値を入出力装置２０６へ出力するとともに、輪郭線の座標データをデータベース２０５へ保存する（ステップＳ３０９）。

さらに、加工形状の比較をしたい場合には、比較したい２つのサンプルを指定する（ステップＳ３１０）。続いて、形状比較の指定の有無を判定し（ステップＳ３１１）、指定がなければ、寸法計測処理を終了する（ステップＳ３１２）。指定があれば、データベース２０５に格納してある輪郭線データと寸法値を読み出し、比較した結果を入出力装置２０６へ出力する（ステップＳ３１３）。以上により、処理を終了する（ステップＳ３１４）。

以下、処理装置１１１がエッチング装置である場合を例に説明する。図３３は、図１７の学習データセットの入力データ画像に対応する輪郭線を教えるアノテーションデータの例である。領域は背景４００と輪郭線４０１との２領域からなる。ラベル名はそれぞれ「背景」、「輪郭」であり、ラベル番号はそれぞれ０、１である。図３４は、ラベル名、ラベル番号、色の対応関係である。各ラベルに付与するラベル番号と色は任意であるが、寸法計測装置２００内では固定する必要がある。

図３５は、図１７の学習データセットの入力データ画像に対応する特徴点の位置を教えるアノテーションデータの例である。特徴点として図１８に示したＡ～Ｇの７点のうち、Ａ４１１、Ｃ４１２、Ｅ４１３、Ｇ４１４の４点をラベルとして設定し、背景４１０を含めた５つのラベル別に色分けした画像である。他の３つの特徴点Ｂ、Ｄ、Ｆは、対称性を仮定すればＡ、Ｃ、Ｅから求まるのでラベルには含めないこととした。後述するように、特徴点Ａ、Ｃ、Ｅについては特徴点Ｂ、Ｄ、Ｆと輪郭線から求めることにより、目視によらなくても、特徴点Ｂ、Ｄ、Ｆと特徴点Ａ、Ｃ、Ｅとが一つの単位パターンについての特徴点であることを担保することが可能になる。図３６は、ラベル名、ラベル番号、色の対応関係である。各ラベルに付与するラベル番号と色は任意であるが、寸法計測装置２００内では固定する必要がある。

図３７は、学習ステップを行う際に入出力装置２０６に表示されるＧＵＩ画面の一例である。画面は入力データウィンドウ３２３と、アノテーションデータウィンドウ３３１と、ターミナルウィンドウ３３９とを含む。入力データウィンドウ３２３では、ロードボタン３２０により、入力画像ファイルの格納されているフォルダを選択する。セレクトボタン３２１により、表示したい画像ファイルを選択する。クリアボタン３２２により表示結果をクリアする。セル３２４と３２５には選択したフォルダ名とファイル名とが表示される。画像ウィンドウ３２６には選択した画像が表示される。

アノテーションデータウィンドウ３３１では、モデルボタン４１５により輪郭線用セマンティック・セグメンテーションモデル（第１のセマンティック・セグメンテーションモデル）か、特徴点用セマンティック・セグメンテーションモデル（第２のセマンティック・セグメンテーションモデル）かのいずれかを選択する。選択したモデルに応じてアノテーションデータウィンドウ３３１に表示されるデータの種類は変わる。また、アノテーションデータが含まれるフォルダもモデルに応じて自動で選択される。図３７は輪郭線用セマンティック・セグメンテーションモデルを選択した場合の例である。セレクトボタン３２９によって、ウィンドウに表示したいサンプルを指定する。セル３２４と３２５には選択したサンプルのあるフォルダ名とファイル名とが表示される。ウィンドウ３３４にはアノテーション画像が、テーブル３３５にはラベル名、ラベル番号、色の対応表が表示される。

ターミナルウィンドウ３３９では、スタートボタン３３６により、モデルボタン４１５で選択したモデルの学習が開始される。ターミナルウィンドウ３３９には計算中の途中経過、最終結果がメッセージで表示される。ストップボタン３３７により計算途中で停止できる。計算結果であるモデルパラメータは自動で保存される。

図３８は、図２４に示したテスト画像を第１の学習済みセマンティックセグメンテーションモデルに入力して推論させた輪郭線の検出結果の画像である。同時に、輪郭線の座標も求まる。

図３９は、図２４に示したテスト画像を第２の学習済みセマンティックセグメンテーションモデルに入力して推論させた特徴点Ａ、Ｃ、Ｅ、Ｇの検出結果の画像である。同時に、これら特徴点の座標も求まる。なお、これらの特徴点の座標は図３８で得られた輪郭線上に必ずしも位置しているとは限らないので、図３９で得られた特徴点座標に最も近い図３８の輪郭線上の点を特徴点の座標として採用する。

図４０は、特徴点Ａ、Ｃ、Ｅから、対応する特徴点Ｂ、Ｄ、Ｆを求める方法を説明する図である。対応点は、元の点とＹ座標が同一でＸ座標の差が最小、すなわち右側の最近傍の輪郭線上の点とする。実施例５では境界線座標をパターンごとに分割したが、実施例６では対となる２点の座標がわかっているので、分割は不要である。得られた７種の特徴点の座標と、データベース２０５から呼び出した特徴点と寸法の定義により、所定の寸法が計算される。このように、入力した画像から寸法が自動的に計測される。

図４１は、推論・計測ステップを行う際に入出力装置２０６に表示されるＧＵＩ画面の一例である。画面は入力データウィンドウ３４５と、推論・計測結果ウィンドウ３５３とを含む。入力データウィンドウ３４５では、定義ボタン３４０により特徴点と寸法との対応を定義したスクリプトを選択して読み込む。読み込まれた定義は定義テーブル３４９に表示される。つぎに、マニュアルボタン３４１によりテスト画像を１枚ずつ選択して推論・計測を行うか、バッチボタン３４２によりテスト画像を含むフォルダを指定してフォルダ内の全画像を一括で推論・計測を行うかを選択する。フォルダ名は画像の倍率に一致させることにより、倍率に関する情報はフォルダ名から得られる。セル３４６と３４７には選択したフォルダ名とファイル名とが表示される。画像ウィンドウ３５０には選択されたテスト画像が表示される。バッチを選択した場合には１枚目のテスト画像のファイル名と画像が、セル３４７と画像ウィンドウ３５０に表示される。スタートボタン３４３により２つの学習済みモデルを用いて推論と寸法計測が行われる。計算結果は自動で保存される。クリアボタン３４４により表示結果をクリアする。

推論・計測結果ウィンドウ３５３では、ロードボタン３５１により結果を表示したい元画像を選択する。セル３５４と３５５には選択した画像のフォルダ名とファイル名とが表示される。ウィンドウ４１６には輪郭線に対するセマンティック・セグメンテーション結果が、ウィンドウ４１７には特徴点に対するセマンティック・セグメンテーション結果が表示される。最終結果ウィンドウ３５８には、元画像上に寸法値が表示された画像が表示され、数値テーブル３５９には計測された寸法値と統計値が表示される。

図４２は、２つの画像の形状を比較する比較ステップを行う際に入出力装置２０６に表示されるＧＵＩ画面の一例である。画面は入力データウィンドウ４２３と、比較結果ウィンドウ４３６とを含む。入力データウィンドウ４２３では、ロード１ボタン４２０により比較したい１枚目の画像を、ロード２ボタン４２１により比較したい２枚目の画像を選択する。セル４２４と４２５には選択した１枚目の画像のフォルダ名とファイル名が、セル４２６と４２７には選択した２枚目の画像のフォルダ名とファイル名が表示される。画像ウィンドウ４２８と４２９には選択した２つの画像が表示される。輪郭線ウィンドウ４３０、４３１には、選択した２つの画像に対して抽出された輪郭線画像が、データベース２０５から読み出され、表示される。

比較結果ウィンドウ４３６は、輪郭線を重ねて表示したウィンドウ４３７と、２つの画像の寸法値の平均値とその差分を示したテーブル４３８が表示される。オートボタン４３２は、２つの輪郭線４３０、４３１を縦方向はマスク上面が一致し、横方向はトレンチ中央が一致するように自動で調整するボタンである。自動調整が失敗した場合あるいは手動で調整したい場合には、マニュアルボタン４３３を押し、ユーザがマウスで画像をドラッグすることにより、位置を調整する。テーブル４３８には、２つの画像に対して計測された寸法値がデータベース２０５から読みだされ、両者の差分が計算されて表示される。セーブボタン４３４によって、重ね書きした輪郭線画像とテーブルの数値をデータベース２０５へ保存する。

なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。

また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加、削除、または置換をしてもよい。例えば、実施例５においてセマンティック・セグメンテーションモデルは半導体デバイスの断面を構成する各層を領域として色分けした画像を出力する例を説明したが、実施例６のように特徴点を出力するセマンティック・セグメンテーションモデルとしてもよい。ただし、この場合は、実施例６の例と違って全ての特徴点（実施例６の例では特徴点Ａ～Ｇ）を出力する必要がある。

実施例５と同様の構成において、画像生成装置を搭載した半導体製造システムを構成することができる。具体的には、図１０及び図１２に示した寸法計測装置２００を、画像生成装置と置き換えることができる。画像生成装置２０００は、実施例１から４において説明した、構造画像の生成、及び、構造画像から（必要により参照画像を使用した）生成画像の生成等の処理を、実行するように構成できる。

図４３は、画像生成装置２０００の論理構成例を示す。画像生成装置２０００は、図１２に示す寸法計測装置２００のように、１以上のプロセッサ及び１以上の記憶装置を含む、一つの計算機または複数の計算機で構成することができる。１以上プロセッサがプログラムに従って動作することで、画像生成装置２０００の各種機能及び処置を実現できる。画像生成装置２０００においては、評価装置１１２からの入力は不要である。

画像生成装置２０００は、寸法計測装置２００と同様に、中央処理部２０１、モデル学習部２０２、データベース２０５を有する。また、寸法計測装置２００のモデル推定部２０３及び寸法計測部２０４の両方を含めた部分に代えて画像生成部２０４０を有する。画像生成部２０４０は、構造画像に対応する、実際の観察画像に類似させた画像として推定される画像を生成する。画像生成部２０４０の機能から、モデル推定部２０３の機能を分離してもよい。

寸法計測装置２００のモデル推定部２０３と寸法計測部２０４の両方を含めた部分の代わりとして学習データセットを使用する場合には、画像生成部２０４０は、学習データセット２０９の代わりに、構造画像と実画像のデータセットを有する学習データセットを使用する。

実施例１にて説明した通り、学習済みの画像生成モデル１０００を使用する場合には、モデル学習部２０２での画像生成モデル１０００の学習は不要である。データベース２０５または外部のデータ保存領域に学習済みモデルデータまたは実行ファイルを保存しておき、それをロードすることで、画像生成モデル１０００を動作させることができる。

また、画像生成モデル１０００用の学習データセットがある場合には、ユーザは、それをデータベース２０５に予め保存しておき、その学習データデータセットを用いて、モデル学習部２０２が、学習済み画像生成モデル１０００を構築できる。

参照画像はデータベース２０５または外部のデータ保存領域に保存され、画像生成モデル１０００による画像生成時に使用される。

画像生成装置２０００は、例えば入出力装置２０６を介して入力された、構造画像または構造画像と参照画像とを受け付け、これらの画像を画像生成モデル１０００に入力して生成画像を出力し、データベース２０５に保存し、また入出力装置２０６に出力する。

入出力装置２０６は、ＧＵＩなどの入出力インタフェースとカードリーダなど記憶媒体読み出し装置を備え、画像生成装置２０００に学習データセットを入力する。

入出力装置２０６は、例えば、キーボード、マウス、ディスプレイ、タッチパネル、記憶媒体読み出し装置などを含む。画像生成装置２０００から渡された生成画像を、ユーザへ表示する。ユーザへ表示する場合、入出力装置２０６はは、例えばディスプレイへの表示、またはファイルへの書き出しなどを実行する。

画像生成装置２０００は、例えば入出力装置２０６を介して構造画像または構造画像及び参照画像を取得し、それら画像より生成画像を生成して、入出力装置２０６へ出力する。

画像生成装置２０００は、プロセッサ１１６と、通信インタフェース１１５と、ＲＯＭ１１７と、ＲＡＭ１１８とを有する。通信インタフェース１１５は、プロセッサ１１６と、外部の入出力装置２０６とを接続する。プロセッサ１１６は、通信インタフェース１１５と、ＲＯＭ１１７と、ＲＡＭ１１８とが接続される。ＲＯＭ１１７には、プロセッサ１１６で実行する処理プログラムが格納されている。ＲＡＭ１１８には、学習データや学習モデル、構造画像及び参照画像などが格納される。

なお、データベース２０５はＲＯＭ１１７及びＲＡＭ１１８に格納され、モデル学習部２０２、画像生成部２０４０は、ＲＯＭ１１７及びＲＡＭ１１８に格納されるプログラム及びパラメータに従って動作するプロセッサ１１６により実現できる。

画像生成装置２０００で用いられる画像生成モデル構成は、例えば、図１３を参照して説明した構成と同様である。画像生成モデルでは、構造画素データの各画素が入力であり、生成画像データの各画素が出力となる。なお、図１３では、ニューラルネットワーク２０を用いる例を説明するが、これに限らず、決定木などの機械学習のモデルを用いることもできる。

半導体製造システム１０は、寸法計測装置２００及び画像生成装置２０００を有することが可能であり、画像生成装置２０００によって、構造画像と生成画像のデータセットをデータベースに保存したのち、そのデータを学習データとして寸法計測装置２００の学習モデル構築及び寸法計測を行うことができる。なお、画像生成装置２０００、寸法計測装及び処理条件探索装置１００それぞれの一部または全部の機能は、他の装置に含まれていてもよい。

図４４は、画像生成装置２０００が実行する、構造画像を入力として、生成画像を出力するするフローチャートである。

画像生成モデルの学習を行う場合には、ユーザは、事前に画像生成装置２０００に入力すべき学習データセットを作成する。学習データセットは、例えば、入力データとして構造画像、出力データとして実際の観察画像と同じような画像になるように生成された生成画像の入出力の組で構成される。ユーザは、学習データセットを、入出力装置２０６から入力する（ステップＳ３００）。入力された学習データセットはデータベース２０５に保存される。

つぎに、中央処理部２０１はデータベース２０５からモデル学習部２０２に学習データセットと画像生成モデルを転送し、モデル学習部２０２で画像生成モデルの学習を行う（ステップＳ３０１）。学習した画像生成モデルのパラメータは、データベース２０５へ保存される。なお、事前に学習済みの画像生成モデルを使用する場合には、ステップＳ３００及びＳ３０１はスキップする。

ユーザは、構造画像を入出力装置２０６より入力する（ステップＳ３０２）。図２を参照して説明した通り、構造画像の作成には、ドローソフト、ペイントソフト等の一般的な描画ソフトが使用できる。ＣＡＤソフトを用いて構造画像を作成することもできる。

また、構造画像の入力方法として、図４から図７にて説明した通り、２つの代表的な構造画像を登録し（ステップＳ３０３）、その中間となる複数の構造画像を作成する方法を使用することができる（ステップＳ３０４）。ユーザは、二つの代表画像を入出力装置２０６より入力すると共に、モーフィングのための情報を入力する。画像生成部２０４０は、二つの代表画像とユーザ指定情報に従って、モーフィングにより中間画像を生成する。

構造画像からの画像生成では（ステップＳ３０５）、画像生成部２０４０は、画像生成モデルとして、ステップ３０１にて学習した画像生成モデル、または事前に学習済みの画像生成モデルを使用する。また構造画像として、ステップ３０２の登録画像、またはステップ３０３の登録画像及びステップ３０４で作成した中間画像を用いる。または、構造画像として、これらすべての構造画像を用いてもよい。画像生成部２０４０は、構造画像及び生成画像をデータベースへ保存する（ステップＳ３０６）。なお、構造画像のデータベースへの保存は、構造画像登録時に行ってもよい。

ステップＳ３０６にて保存されたデータは、図１５にて説明した学習データセットとして使用される（ステップＳ１００）。

具体的には、図３Ａを参照して説明した通り、実画像を構造取得モデルへ入力することで、構造画像を出力し、これらの実画像及び構造画像をデータベースへ登録する。次に、この構造画像を寸法抽出モデルへ入力することで、寸法データを出力する。構造取得モデル及び寸法取得モデルの学習方法は、図１５のフローチャートにて説明した通りである。

図４５は、画像生成装置２０００において、構造画像の作成、また構造画像を入力として、生成画像の出力等を行う際のＧＵＩ画面の例である。本ＧＵＩでは、ユーザは、まず二つの代表構造画像を指定する。指定された代表構造画像がＧＵＩに表示される。また、代表構造画像及び、代表構造画像を用いて作成された中間画像が表示される。これらの構造画像は、中間画像保存先に保存される。

構造画像より生成画像を生成する際には、ユーザはＧＵＩにおいて、保存された中間構造画像及び代表構造画像を使用するか、別途作成した構造画像を使用するか、選択することができる。また、ユーザは、参照画像を参考とすることで、生成画像を生成する方式を使用するか、学習用構造画像と学習用生成画像を用いて学習させた画像生成モデルを使用する方法を選択することができる。

参照画像を使用する場合には、ユーザは、使用する参照画像を指定する。その際、指定した参照画像がＧＵＩに表示される。画像生成モデルを学習させる場合には、ユーザは、学習に試用する学習用構造画像及び学習用生成画像を指定する。

上記手順の後、画像生成ボタンを押すことで、画像生成が行われ、生成画像がＧＵＩに表示される。また、ユーザは、生成画像の保存先を指定することができる。

上述のように、実際の画像から取得した構造画像に対して、所定の特徴寸法を取得できる寸法抽出モデルを用いて特徴寸法を計測することで、実際の画像を取得した際の装置条件、実際の画像、実際の画像より取得した構造画像、特徴寸法のデータベースを自動で構築できる。加えて、これらのデータベースを用いて、装置条件に対応した構造画像を出力する学習モデルを構築し、前記学習モデルを用いて、目標形状を実現する装置条件を推定できる。

前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）カード、ＳＤカード、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）の非一過性記録媒体に格納することができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

特許請求範囲に記載されている構成に加え、本開示の観点の代表的な例を以下に記載する。

本開示の一態様である、繰り返しパターンを有する半導体デバイスの断面画像から半導体デバイスの寸法を計測する寸法計測装置は、プロセッサと、メモリと、メモリに格納され、プロセッサに実行されることにより、半導体デバイスの寸法を計測する寸法計測プログラムとを有し、寸法計測プログラムは、モデル推定部と寸法計測部とを有し、モデル推定部は、第１画像認識モデルにより、断面画像に対して領域別にラベル付けしたラベル付け画像を出力し、第２画像認識モデルにより、断面画像において繰り返しパターンを構成する単位パターンそれぞれが位置する座標を出力し、寸法計測部は、ラベル付け画像及び単位パターンそれぞれが位置する座標を用いて、単位パターンごとにあらかじめ定義された複数の特徴点の座標を求め、複数の特徴点のうちの所定の２点間の距離として定義される寸法を計測する。

また、本開示の他の一態様である、繰り返しパターンを有する半導体デバイスの断面画像から半導体デバイスの寸法を計測する寸法計測装置であって、プロセッサと、メモリと、メモリに格納され、プロセッサに実行されることにより、半導体デバイスの寸法を計測する寸法計測プログラムとを有し、寸法計測プログラムは、モデル推定部と寸法計測部とを有し、モデル推定部は、第１画像認識モデルにより、断面画像を、輪郭線と背景とにラベル付けした第１のラベル付け画像を出力し、第２画像認識モデルにより、断面画像を、繰り返しパターンを構成する単位パターンにおいて定義される第１の複数の特徴点と背景とにラベル付けした第２のラベル付け画像を出力し、寸法計測部は、第１のラベル付け画像からの輪郭線の座標及び第２のラベル付け画像からの第１の複数の特徴点の座標を用いて第２の複数の特徴点の座標を求め、第１の複数の特徴点のうちの所定の点と第２の複数の特徴点のうちの所定の点との間の距離として定義される寸法を計測する。

１０：半導体製造システム、２０、３０：ニューラルネットワークモデル、１００：処理条件探索装置、１０１：目標処理結果・パラメータ選択、１０２：最適処理条件、１０３：入力装置、１０４：中央処理部、１０５：データベース、１０６：初期処理条件設定部、１０７：ターゲット設定部、１０８：モデル学習部、１０９：処理条件探索部、１１０：装置制御部、１１１：処理装置、１１２：評価装置、１１３：収束判定部、１１４：出力装置、１１５：インタフェース、１１６：プロセッサ、１１７：ＲＯＭ、１１８：ＲＡＭ、２００：寸法計測装置、２０１：中央処理部、２０２：モデル学習部、２０３：モデル推定部、２０４：寸法計測部、２０５：データベース、２０６：入出力装置、２０８：断面画像、２０９：特徴点と寸法の定義・倍率・学習データセット、３００：背景、３０１：マスク、３０２：基板、３０５：マスク上面幅、３０６：マスク／基板界面幅、３０７：基板最狭部幅、３０８：マスク高さ、３０９：トレンチ深さ、３１０：背景、３１１：マスク、３１２：基板、３２０：ロードボタン、３２１：セレクトボタン、３２２：クリアボタン、３２３：入力データウィンドウ、３２４、３２５：セル、３２６：画像ウィンドウ、３２８：モデルボタン、３２９：セレクトボタン、３３０：クリアボタン、３３２、３３３：セル、３３４：ウィンドウ、３３５：テーブル、３３６：スタートボタン、３３７：ストップボタン、３３８：クリアボタン、３３９：ターミナルウィンドウ、３４０：定義ボタン、３４１：マニュアルボタン、３４２：バッチボタン、３４３：スタートボタン、３４４：クリアボタン、３４５：入力データウィンドウ、３４６、３４７：セル、３４９：定義テーブル、３５０：画像ウィンドウ、３５１：ロードボタン、３５２：クリアボタン、３５３：推論・計測結果ウィンドウ、３５４、３５５：セル、３５６、３５７：ウィンドウ、３５８：最終結果ウィンドウ、３５９：数値テーブル、３６０：ターゲットウィンドウ、３６１：ターゲット構造セル、３６２：定義ウィンドウ、３６３：探索結果ウィンドウ、３６４：サーチボタン、３６５：クリアボタン、３６６：フォルダ名、３６７：ファイル名、３６８：画像、３６９：寸法の平均値、４００：背景、４０１：輪郭線、４１０：背景、４１１：特徴点Ａ、４１２：特徴点Ｃ、４１３：特徴点Ｅ、４１４：特徴点Ｇ、４１５：モデルボタン、４１６、４１７：ウィンドウ、４２０：ロード１ボタン、４２１：ロード２ボタン、４２２：クリアボタン、４２３：入力データウィンドウ、４２４、４２５、４２６、４２７：セル、４２８、４２９：画像ウィンドウ、４３０、４３１：輪郭線ウィンドウ、４３２：オートボタン、４３３：マニュアルボタン、４３４：セーブボタン、４３５：クリアボタン、４３６：比較結果ウィンドウ、４３７：ウィンドウ、４３８：テーブル、１０００：画像生成モデル、１０００Ａ：構造画像、１０００Ｂ：生成画像、１０００Ｃ：参照画像、１００１：構造画像と生成画像のデータベース、１０１０：構造取得モデル、１０１０Ａ：生成画像（構造取得モデル学習時の入力）、１０１０Ｂ：構造画像（構造取得モデル学習時の出力）、１０００Ａ１：カラー図の構造画像、１０００Ａ２：線図の構造画像、１０００Ｃ１：参照画像の例、１０００Ｂ１：生成画像の例、１０２０：構造取得モデル（学習済み）、１０２０Ａ：実画像、１０２０Ｂ：実画像より取得した構造画像、１０２１：実画像と構造画像のデータベース、１０３０：寸法抽出モデル、１０３０Ａ：実画像から取得した構造画像（寸法抽出モデルへの入力）、１０３０Ｂ：寸法データ、１０３１Ｂ：寸法データの取得位置の例、１０４１：代表画像Ａ、１０４２：代表画像Ａ’、１０４３：中間画像、１０５１：代表画像Ａ、１０５２：目標形状、１０５３：中間画像（代表画像Ａ’が目標形状の場合）、１０６１：代表画像Ａ、１０６２：実画像ベスト形状、１０６３：中間画像（代表画像Ａ’が実画像ベスト形状の場合）、１０７３：中間画像（代表画像Ａが実画像ベスト形状の場合、代表画像Ａ’が目標形状の場合）、１１０１：複合データベース、１１００：形状推定モデル、１１００Ａ：装置条件、１１００Ｂ：推定形状、１１００Ｂ１：実画像（形状探索時）、１１００Ｂ２：カラー図の構造画像（形状探索時）、１１００Ｂ３：線図の構造画像（形状探索時）、１１００Ｂ４：寸法データ（形状探索時）

Claims (10)

1. 構造画像の画像処理により、前記構造画像を実画像に類似させた画像を生成するシステムであって、
   １以上の記憶装置と、
   前記１以上の記憶装置に格納されているプログラムに従って動作する１以上のプロセッサと、を含み、
   前記１以上のプロセッサは、
   第１の構造画像と、前記第１の構造画像と異なる第２の構造画像と、を取得し、
   前記第１の構造画像と前記第２の構造画像との間の中間構造を示す複数の中間構造画像を作成し、
   前記複数の中間構造画像それぞれの画像処理により、前記複数の中間構造画像それぞれを実画像に類似させた画像を生成する、システム。
2. 請求項１に記載のシステムであって、
   前記１以上のプロセッサは、参照画像に基づき、前記複数の中間構造画像それぞれを実画像に類似させた画像を生成する、システム。
3. 請求項１または２に記載のシステムであって、
   前記第１の構造画像及び前記第２の構造画像のうち一方は、目標形状に対応する構造画像である、システム。
4. 請求項１または２に記載のシステムであって、
   前記第１の構造画像及び前記第２の構造画像のうち一方は、取得済み実画像の内で最も目標形状に近い形状に対応する構造画像である、システム。
5. 請求項１または２に記載のシステムであって、
   前記第１の構造画像は、取得済み実画像の内で最も目標形状に近い形状に対応する構造画像であり、
   前記第２の構造画像は、目標形状に対応する構造画像である、システム。
6. 請求項１または２に記載のシステムであって、
   前記１以上のプロセッサは、指定された対応関係に従って前記第１の構造画像から前記第２の構造画像へ構造画像を変化させることによって、前記複数の中間構造画像を生成する、システム。
7. 請求項１または２に記載のシステムであって、
   前記１以上のプロセッサは、
   前記複数の中間構造画像と、前記複数の中間構造画像それぞれを実画像に類似させた画像と、を含むデータベースを構築し、
   前記データベースを用いて、入力された実画像から構造画像を出力する構造取得モデルを構築し、
   前記構造取得モデルを用いて、新たな実画像から新たな構造画像を生成する、システム。
8. 請求項７に記載のシステムであって、
   前記１以上のプロセッサは、所定の特徴寸法を抽出する寸法抽出モデルを用いて、前記新たな構造画像における前記特徴寸法を計測する、システム。
9. 請求項８に記載のシステムであって、
   前記１以上のプロセッサは、
   計測された前記特徴寸法、前記新たな構造画像、前記新たな実画像、及び前記新たな実画像が取得された試料を処理した装置条件を含むデータベースを用いて、入力された装置条件に対応した構造画像を出力する学習モデルを構築し、
   前記学習モデルを用いて、目標形状を実現する装置条件を推定する、システム。
10. システムが、構造画像の画像処理により前記構造画像を実画像に類似させた画像を生成する方法であって、
    前記システムが、第１の構造画像と、前記第１の構造画像と異なる第２の構造画像と、を取得し、
    前記システムが、前記第１の構造画像と前記第２の構造画像との間の中間構造を示す複数の中間構造画像を作成し、
    前記システムが、前記複数の中間構造画像それぞれの画像処理により、前記複数の中間構造画像それぞれを実画像に類似させた画像を生成する、方法。

Images