JP6567004B2 - パターン形成装置、決定方法、プログラム、情報処理装置及び物品の製造方法 - Google Patents

Description

本発明は、パターン形成装置、決定方法、プログラム、情報処理装置及び物品の製造方法に関する。

デバイスの微細化や高集積化に伴い、露光装置やインプリント装置などのパターン形成装置には、位置合わせ精度（アライメント精度）の向上が要求されている。アライメントでは、一般的に、計測対象物である基板に設けられたアライメントマークを計測光学系で計測（撮像）してデータ（マーク像）を取得し、かかるデータを処理部で画像又は信号処理することで、アライメントマーク、即ち、基板の位置を求めている。

但し、アライメントマークの計測時には、デバイス製造プロセスのばらつき、計測光学系の収差、処理部の電気ノイズなどの影響によって、非線形な誤差成分が重ね合わされることで、アライメント精度が低下することがある。そこで、計測光学系では、照明光の波長や照明条件などの種々の条件を選択可能とし、デバイスに応じて最適な条件を選択する技術が提案されている（特許文献１参照）。特許文献１には、アライメント条件（アライメントパラメータ）の最適化を簡易、且つ、高精度に実施する技術が提案されている。

特開２００３−３２４０５４号公報

しかしながら、近年では、多様なデバイス製造工程の増加に起因して、デバイス製造プロセスのばらつきが問題となるケースが増加している。このような状況において、高精度なアライメントを実現するためには、特定のデバイス単位や同一デバイス内の工程単位でアライメントパラメータを最適化する従来技術では不十分になってきている。具体的には、全デバイスの全工程単位、同一工程内の基板面内のショット単位、或いは、同一ショット内のアライメントマーク単位でアライメントパラメータを最適化する必要性が生じてきている。

従来技術での最適化の対象である照明条件などの組み合わせ数が少ない（低次元な）アライメントパラメータであれば、全ての条件を確認して自動で最適化することも可能である。但し、プリアライメントで用いられるテンプレート形状やファインアライメントで用いられるウィンドウ形状などの組み合わせ数が多い（高次元な）アライメントパラメータを自動で最適化することは、その条件の膨大さから容易ではない。

本発明は、基板に設けられたマークの位置を求めるために用いられるテンプレートの形状及びウィンドウの形状の少なくとも一方を示すパラメータを決定するのに有利なパターン形成装置を提供することを例示的目的とする。

本発明の１つの側面は、基板にパターンを形成するパターン形成装置に係り、前記パターン形成装置は、前記基板に設けられたマークを検出して前記マークの光学情報を取得する検出光学系と、前記マークの光学情報に適用して前記マークの位置を求めるためのテンプレートを用いて、前記マークの位置を求める処理を行う処理部と、を有し、前記処理部は、前記テンプレートの形状を示すパラメータを変更する行動に対する報酬が大きくなるように前記パラメータを更新する強化学習を行うことにより、前記パラメータを決定することを特徴とするパターン形成装置。

本発明の更なる目的又はその他の側面は、以下、添付図面を参照して説明される好ましい実施形態によって明らかにされるであろう。

本発明によれば、例えば、基板に設けられたマークの位置を求めるために用いられるテンプレートの形状及びウィンドウの形状の少なくとも一方を示すパラメータを決定するのに有利なパターン形成装置を提供することができる。

本発明の一側面としての露光装置の構成を示す概略図である。 図１に示す露光装置の検出光学系の構成を示す概略図である。 プリアライメントに用いられるアライメントマークの形状の一例を示す図である。 ファインアライメントに用いられるアライメントマークの形状の一例を示す図である。 一般的な露光処理を説明するためのフローチャートである。 プリアライメントで用いられるテンプレートの一例を示す図である。 プリアライメントで用いられるアライメントマークを含む画像の一例を示す図である。 ファインアライメントで生成される１次元波形信号の一例を示す図である。 第１実施形態における露光処理を説明するためのフローチャートである。 強化学習における方策の一例を具体的に説明するための図である。 テンプレート形状の強化学習の処理フローを説明するためのフローチャートである。 第１実施形態における学習回数と相関度Ｒ_{ＮＣＣ１ｓｔ}及び最大相関度Ｒ_{ＮＣＣ２ｎｄ}の最適化の結果を示す図である。 テンプレート形状をロバストな状態に最適化することができることを説明するための図である。 第２実施形態における露光処理を説明するためのフローチャートである。 アライメントマークのマーク間距離の具体的な一例を示す図である。 強化学習における方策の一例を具体的に説明するための図である。 ウィンドウ形状の強化学習の処理フローを説明するためのフローチャートである。 強化学習を実施した場合における学習回数と３σ（Ｍ）との関係を示す図である。 第３実施形態における露光処理を説明するためのフローチャートである。 第４実施形態を説明するための図である。 第５実施形態を説明するための図である。 第６実施形態を説明するための図である。

以下、添付図面を参照して、本発明の好適な実施の形態について説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

図１は、本発明の一側面としての露光装置１の構成を示す概略図である。露光装置１は、基板４にパターンを形成するパターン形成装置であって、本実施形態では、レチクル２のパターンを投影光学系３を介して基板４に投影して基板４を露光する。露光装置１は、レチクル２に形成されたパターンを投影（縮小投影）する投影光学系３と、前工程で下地パターン及びアライメントマークが形成された基板４を保持するチャック５とを有する。また、露光装置１は、チャック５を保持して基板４を所定の位置に位置決めする基板ステージ６と、基板４に設けられたアライメントマークを検出してアライメントマークの光学情報を取得する検出光学系７と、制御部ＣＵと、記憶部ＳＵとを有する。なお、アライメントマークの光学情報とは、アライメントマークからの光を検出することで取得される、アライメントマークの位置情報を含むものである。アライメントマークの光学情報は、例えば、アライメントマークを撮像して取得される、アライメントマーク（の像）を含む画像やアライメントマークからの光の強度を示すアライメント信号（１次元波形信号）などを含む。

制御部ＣＵは、例えば、ＣＰＵやメモリなどを含むコンピュータ（情報処理装置）で構成され、記憶部ＳＵなどに記憶されたプログラムに従って露光装置１の各部を統括的に制御する。制御部ＣＵは、本実施形態では、基板４のアライメントにおいて、検出光学系７で取得されたアライメントマークの光学情報に基づいて、かかるアライメントマークの位置、即ち、基板４の位置を求める処理（アライメント処理）を行う処理部として機能する。ここで、テンプレートとは、アライメントマークの光学情報に適用してアライメントマークの位置を求めるためのものである。また、ウィンドウとは、アライメントマークの光学情報から得られる波形信号からアライメントマークの位置を示す特徴量を抽出するための領域を示すものである。

記憶部ＳＵは、露光装置１の各部を制御して基板４を露光する露光処理を実施するために必要なプログラムなどを記憶する。なお、露光処理には、上述したアライメント処理も含まれる。また、記憶部ＳＵは、本実施形態では、検出光学系７で取得されたアライメントマークの光学情報やアライメント処理に必要となるテンプレート（の形状）やウィンドウ（の形状）を記憶する。

図２は、検出光学系７の構成を示す概略図である。光源８からの光は、ビームスプリッタ９で反射され、レンズ１０を介して、基板４に設けられたアライメントマーク１１又は１２を照明する。アライメントマーク１１又は１２で回折された光は、レンズ１０、ビームスプリッタ９及びレンズ１３を介して、センサ１４で受光される。ここで、レンズ１０及び１３は、アライメントマーク１１又は１２からの光を所定の倍率で拡大してセンサ１４に結像する。

露光装置１は、アライメント方式として、アライメントマークを低精度で広範囲に検出可能なプリアライメントと、アライメントマークを狭い範囲で高精度に検出可能なファインアライメントとを組み合わせた方式を採用する。従って、基板４に設けられたアライメントマーク１１及び１２は、アライメント用途に適した形状を有する。例えば、アライメントマーク１１は、本実施形態では、プリアライメントに用いられ、図３に示す形状を有する。また、アライメントマーク１２は、本実施形態では、ファインアライメントに用いられ、図４に示す形状を有する。但し、アライメントマーク１１及び１２のそれぞれの形状は、図３や図４に示す形状に限定されるものではない。例えば、アライメントマーク１１及び１２は、同じ形状を有していてもよい。また、本実施形態では、アライメントマーク１１及び１２を検出光学系７で検出するが、アライメントマーク１１及び１２を異なる検出光学系で別々に検出してもよい。

図５を参照して、露光装置１における一般的な露光処理について説明する。ここでは、基板４をアライメントして露光するまでの工程の概略を説明する。Ｓ１０１では、露光装置１に基板４を搬入する。Ｓ１０２では、プリアライメントを実施する。具体的には、基板４に設けられたアライメントマーク１１を検出光学系７で検出して、基板４の位置をラフに求める。この際、アライメントマーク１１の検出は、基板４の複数のショット領域に対して行い、基板４の全体のシフト及び１次線形成分（倍率や回転）を求める。なお、アライメントマーク１１の位置を求める処理については後述する。

Ｓ１０３では、ファインアライメントを実施する。具体的には、プリアライメントの結果に基づいて、アライメントマーク１２を検出光学系７で検出可能な位置に基板ステージ６を駆動し、基板４の複数のショット領域のそれぞれに設けられたアライメントマーク１２を検出光学系７で検出する。そして、基板４の全体のシフト及び１次線形成分（倍率や回転）を精密に求める。この際、多数のショット領域の位置を求めることで、基板４の高次変形成分を精密に求めることもできる。これにより、基板４の各ショット領域の精密な位置を求めることができる。なお、アライメントマーク１２の位置を求める処理については後述する。

Ｓ１０４では、基板４を露光する。具体的には、ファインアライメントを実施した後、レチクル２のパターンを、投影光学系３を介して、基板４の各ショット領域に転写する。Ｓ１０５では、露光装置１から基板４を搬出する。

ここで、まず、プリアライメント（Ｓ１０２）でのアライメントマーク１１の位置を求める処理について説明する。アライメントマーク１１の位置（センサ上の位置）を求める際には、例えば、テンプレートマッチングを用いる。以下では、テンプレートマッチングの手法として、正規化相互相関（ＮＣＣ：Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）を特徴量として用いる場合を例に説明する。但し、かかる特徴量は、ＮＣＣに限定されるものではなく、以下に示す様々な種類のものを特徴量として用いることが可能である。
ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）
ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）
ＺＮＣＣ（Ｚｅｒｏ−ｍｅａｎ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）
ＮＣＣの式は、以下の式（１）で表される。なお、テンプレートの輝度の値をＴ（ｉ，ｊ）、マークの輝度の値をＩ（ｉ，ｊ）、テンプレートの横方向の画素数をＭ、テンプレートの縦方向の画素数をＮ、相関度をＲ_ＮＣＣとする。

アライメントマーク１１（の像）を含む画像に対して、テンプレートを画像内でスキャンして、画像内の最大相関度の位置を探索する。そして、最大相関度の位置をアライメントマーク１１の位置とする。ここで、アライメントマーク１１を含む画像は、アライメントマーク１１の光学情報として、検出光学系７によって取得される。

プリアライメントでは処理時間の高速性も要求されるため、アライメントマーク１１に対するテンプレートは、図６に丸枠で示すような数十点程度の離散的な値を用いる。プリアライメント精度に必要となる要素は、プロセスによらず、アライメントマークの真の位置での相関度が高いこと、及び、アライメントマーク以外の位置での相関度が低いこと、である。例えば、図７に示すようなアライメントマーク１１を含む画像に対して、図６に示すテンプレートを画像内でスキャンする場合を考える。この場合、テンプレートが離散的な限られた値しか有していないため、アライメントマーク１１の上方に存在する格子パターンとテンプレートとの相関度が高くなる傾向がある。これにより、プロセスの状態が変化した際などに、アライメントマーク１１の位置を誤って求めてしまう可能性がある。

次いで、ファインアライメント（Ｓ１０３）でのアライメントマーク１２の位置を求める処理について説明する。ファインアライメントでは、検出光学系７によって取得された画像に含まれるアライメントマーク１２の像を非計測方向に積算して１次元波形信号を生成し、かかる１次元波形信号を信号処理することでアライメントマーク１２の位置を求める。図８は、画像に含まれるアライメントマーク１２の像を非計測方向に積算して生成される１次元波形信号の一例を示す図である。

アライメントマーク１２の像（光学像）を積算する手段に関しては、例えば、光学像をレンズで積算して１次元ラインセンサで受光する方式や２次元エリアセンサで取得した画像から計算機上で光学像を積算する方式がある。また、アライメントマーク１２の像を積算する手段として、ＰＤＡ（Ｐｈａｓｅ Ｄｅｔｅｃｔｉｏｎ Ａｌｉｇｎｍｅｎｔ）もある。ＰＤＡは、格子状のアライメントマークにレーザ光を照射し、その回折光を検出光学系で受光しながら基板ステージ６をスキャンさせることで基準格子との干渉信号を取得して、１次元波形信号を生成する方式である。

１次元波形信号からアライメントマーク１２の位置を求める際には、プリアライメントと同様に、テンプレートを用いたＮＣＣ、或いは、アライメントマーク１２が対称性を有している場合には、自己反転像とのＮＣＣなどを用いる。但し、これらに限定されるものではなく、位相情報との相関を用いたＰＣ（Ｐｈａｓｅ Ｃｏｒｒｅｌａｔｉｏｎ）などの様々な特徴量を用いて、１次元波形信号からアライメントマーク１２の位置を求めてもよい。

１次元波形信号に対する信号処理において、高精度化を実現するために必要となる重要な要素は、１次元波形信号のどの部分に着目して特徴量を求めるのか、即ち、１次元波形信号に対する処理領域（以下、「ウィンドウ形状」と称する）の設定である。ウィンドウ形状は、一般的に、アライメントマークの設計値を基準に設定される。但し、デバイス製造プロセスの影響などでアライメントマークのサイズが設計値から変動すると、ウィンドウ内に誤差成分を含むノイズ信号が混入するため、アライメント精度が低下してしまう。

従って、従来技術のように、アライメントマークを照明する光の波長や照明条件などの低次元なアライメントパラメータを最適化するだけでは不十分である。そこで、本実施形態では、プリアライメントで用いられるテンプレートの形状やファインアライメントで用いられるウィンドウの形状などの高次元なアライメントパラメータを最適化するための新たな技術を提供する。

＜第１実施形態＞
第１実施形態では、プリアライメントで用いられるテンプレート形状（テンプレートの形状を示すパラメータ）を、強化学習（Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ）を用いて最適化する。強化学習は、報酬データを頼りに、試行錯誤しながら未知の環境における最適な行動を獲得する学習手法である。強化学習の理論の詳細に関しては、多数の文献で発表されており、例えば、「Ｓｕｔｔｏｎ，Ｒｉｃｈａｒｄ Ｓ．； Ｂａｒｔｏ，Ａｎｄｒｅｗ Ｇ．（１９８８）． Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ：Ａｎ Ｉｎｔｒｏｄｕｃｔｉｏｎ」がある。ここでは、本実施形態に関連する概要についてのみ説明する。

強化学習では、学習時の目標となる報酬に様々な形式の値を用いることが可能であるが、一例として、「行動評価関数Ｑ^π（ｓ，ａ）」による学習例を示す。行動評価関数Ｑ^π（ｓ，ａ）は、以下の式（２）で表される。

式（２）において、ｔは時刻、ｓは状態、ａは行動、πは方策、Ｅ_π｛・｝は方策πの元での期待値、ｒは報酬、γは将来報酬の割引率、ｋは将来報酬までの時刻を表している。

行動する主体（エージェント）は、式（２）における行動評価関数Ｑ^π（ｓ，ａ）を最大化するように行動する。その際、「過去の経験上の最適行動」と、更なる報酬獲得を目指した「新規行動の探索」とを、所定の方策πに従って、選択しながら実施する。その際、将来の報酬を考慮した期待値の式になっているため、短期的には報酬が減少するが、長期的には大きな報酬が得られるという状況に対処することができる。これにより、行動評価関数Ｑ^π（ｓ，ａ）を最大化する状態と行動を学習することが可能となる。

以下、第１実施形態について具体的に説明する。図９は、第１実施形態における露光処理を説明するためのフローチャートである。ここでは、基板４をアライメントして露光するまでの工程の概略を説明する。また、かかる露光処理は、上述したように、制御部ＣＮが露光装置１の各部を統括的に制御することで実施される。

Ｓ２０１では、露光装置１に基板４を搬入する。Ｓ２０２では、記憶部ＳＵからテンプレート形状を取得する。Ｓ２０３では、プリアライメントを実施する。Ｓ２０４では、プリアライメントにおいて、検出光学系７によってアライメントマーク１１を検出して取得された画像（マーク画像）を記憶部ＳＵに記憶する。Ｓ２０５では、ファインアライメントを実施する。Ｓ２０６では、基板４を露光する。また、基板４の露光と並行して、Ｓ２０７では、テンプレート形状の強化学習を実施する。なお、テンプレート形状の強化学習については後述する。Ｓ２０８では、Ｓ２０７で得られたテンプレート形状（強化学習後のテンプレート形状）を記憶部ＳＵに記憶（保存）する。Ｓ２０９では、露光装置１から基板４を搬出する。

テンプレート形状の強化学習（Ｓ２０７）について、状態の設定、報酬の設定、行動の設定、方策の設定、処理フロー、の順に詳細に説明する。

プリアライメントで用いるテンプレート形状をＴ_ｉ（ｘ_ｉ，ｙ_ｉ）と定義し、状態ｓとする。ここで、ｉはテンプレート番号（１≦ｉ≦Ｎ）、Ｎはテンプレート点数、ｘ_ｉ及びｙ_ｉはｉ番目のテンプレートの座標（ｘ，ｙ）を表す。本実施形態では、状態ｓは、後述する方策πに従って変化していくものとする。

強化学習により到達すべきテンプレート形状の最適状態を、以下の条件（１）及び条件（２）を満たすテンプレート形状に設定する。
条件（１）：複数の基板におけるマーク画像のアライメントマーク１１の真の位置の相関度の総和を最大化する。
条件（２）：複数の基板におけるマーク画像のアライメントマーク１１の真の位置以外の位置の最大相関度の総和を最小化する。
そこで、行動評価関数Ｑ^π（ｓ，ａ）を表す式（２）における報酬ｒを以下の式（３）で定義する。

式（３）において、ｗは基板番号、ＷＮは基板の総数を表している。また、Ｒ_{ＮＣＣ１ｓｔ（ｗ）}はｗ枚目の基板のマーク画像のアライメントマーク１１の真の位置での相関度、Ｒ_{ＮＣＣ２ｎｄ（ｗ）}はｗ枚目の基板のマーク画像のアライメントマーク１１の真の位置以外の位置での最大相関度を表している。

式（３）は、アライメントマーク１１の真の位置での相関度が高く、アライメントマーク１１の真の位置以外の位置での相関度が低い場合に、報酬ｒが大きくなることを期待する式である。換言すれば、アライメントマーク１１が存在する基板上のマーク領域とテンプレートとの相関度の総和と、かかるマーク領域の周辺領域とテンプレートとの相関度の相関度とを用いて、報酬ｒを求める。但し、式（３）に限定されるものではなく、式（３）と同様な効果を得られるならば、どのような式を用いてもよい。また、Ｒ_{ＮＣＣ２ｎｄ（ｗ）}は、ある閾値以下の値であれば、それ以上報酬ｒには寄与しないと考えて、閾値よりも大きい場合にのみ有効になるような活性化関数を経由させてもよい。なお、基板の総数ＷＮは、１ロットの一般的な総数である２５としてもよいし、より多くの数やより少ない数としてもよい。

行動ａは、以下のように定義する。

ここで、ｉはテンプレート番号（１≦ｉ≦Ｎ）、Ｎはテンプレート点数を表す。行動ａは、新たなテンプレート形状を探索するため、テンプレートの位置を上下左右に１つずつ移動させるような行動である。なお、新たなテンプレート形状を探索可能な行動であれば、行動ａに限定されるものではなく、別の行動を定義してもよい。

方策πは、以下のように定義する。
方策π：ランダムに行動ａ_ｉを選択し、行動評価関数Ｑ^π（ｓ，ａ）が増加していれば、テンプレート形状を更新する。
なお、将来報酬を考慮せず、将来報酬までの時刻ｋを０、将来報酬の割引率γを０．０１とし、行動評価関数Ｑ^π（ｓ，ａ）は、報酬ｒと等価とする。

図１０（ａ）及び図１０（ｂ）を参照して、方策πについて具体的に説明する。まず、ｔ＝０の初期状態ｓ_０のテンプレート形状を、図１０（ａ）に示す形状とする。そして、ランダムに選択された行動ａ_ｉ１（Ｔ_ｉ（ｘ_ｉ，ｙ_ｉ）→Ｔ_ｉ（（ｘ＋１）_ｉ，ｙ_ｉ））によって、テンプレート形状が、図１０（ｂ）に示す形状に変化したとする。このときの行動評価関数Ｑ^π（ｓ，ａ）が、初期状態ｓ_０の行動評価関数Ｑ^π（ｓ，ａ）に対して増加している場合、ｔ＝１の状態ｓ_１のテンプレート形状は、図１０（ｂ）に示す形状に更新される。一方、このときの行動評価関数Ｑ^π（ｓ，ａ）が、初期状態ｓ_０の行動評価関数Ｑ^π（ｓ，ａ）に対して増加していない場合、ｔ＝１の状態ｓ_１のテンプレート形状は、図１０（ａ）に示す形状のままとなる。このように、行動評価関数Ｑ^π（ｓ，ａ）が（評価指標）が前回の行動評価関数Ｑ^π（ｓ，ａ）よりもよい場合にテンプレート形状を更新する。これにより、方策πの元で時刻ｔが進むことで、行動評価関数Ｑ^π（ｓ，ａ）が増加するようなテンプレート形状に最適化していくことが可能となる。ここで、時刻ｔは、学習回数（ｅｐｏｃｈ）と等価であるため、以下では、時刻ｔが１つ進むことを、「１回学習する」と称する。

なお、方策πの定義は、どのような確率分布に従い行動ａを選択してもよい。また、探索済みの状態へ移行する行動を選択しないなどの任意の条件を追加してもよい。また、将来報酬までの時刻ｋを１以上の値とし、累積報酬を元に行動評価関数Ｑ^π（ｓ，ａ）を最大化してもよい。この場合、最適化までの学習回数は増加するが、少し離れた場所に最適なテンプレート形状があっても、局所解にはまらずに、テンプレート形状の最適化が可能となる。

図１１を参照して、テンプレート形状の強化学習の処理フローを説明する。Ｓ３０１では、最適化の条件単位を設定する。例えば、基板４のショット領域ごとにテンプレート形状を最適化する場合には、最適化の条件単位として、ショット領域の数を設定する。Ｓ３０２では、記憶部ＳＵから、複数の基板４のそれぞれについて検出光学系７で取得されたマーク画像を取得する（読み出す）。Ｓ３０３では、強化学習を実施する回数の上限（学習上限回数）を設定する。ここで設定する学習上限回数は、学習が十分に進んでいない状況では、基板４の露光と並行して実施可能な最大回数を設定する。一方、強化学習が十分に進み、所望の報酬が得られる状況であれば、学習上限回数に０を設定してもよい。また、所望の報酬が得られていない状況でも、前回の強化学習時の報酬の増加量が一定の閾値以下となっていれば、最適化の上限に到達していると判断し、学習上限回数に０を設定してもよい。Ｓ３０４では、Ｓ３０１で設定した最適化の条件単位及びＳ３０３で設定した学習上限回数に従って、上述した強化学習を実施する。

図１２は、式（３）におけるＲ_{ＮＣＣ２ｎｄ}に閾値を６０％とした活性化関数を加えて強化学習を実施した場合における学習回数（ｅｐｏｃｈ）と相関度Ｒ_{ＮＣＣ１ｓｔ}及び最大相関度Ｒ_{ＮＣＣ２ｎｄ}の最適化の結果を示す図である。図１２では、縦軸は相関度を示し、横軸は学習回数を示している。図１２を参照するに、強化学習を繰り返すことで、アライメントマークの真の位置での相関度Ｒ_{ＮＣＣ１ｓｔ}が増加し、アライメントマークの真の位置以外の位置での最大相関度Ｒ_{ＮＣＣ２ｎｄ}が閾値（６０％）まで減少していることがわかる。換言すれば、強化学習を繰り返すことで、期待通りに、テンプレート形状の最適化を実施することができる。

なお、アライメントマークの真の位置での相関度Ｒ_{ＮＣＣ１ｓｔ}は、複数の基板４のマーク画像の総和であるため、デバイス製造プロセスのばらつきに対しても最もロバストな状態に最適化できていることになる。例えば、図１３に示すように、最適化の前後で、基板間の相関度のばらつきも小さくなっている。図１３では、縦軸は相関度を示し、横軸は基板番号を示している。ここで、最適化後（Ａｆｔｅｒ）は、本実施形態を適用した場合に相当し、最適化前（Ｂｅｆｏｒｅ）は、本実施形態を適用していない場合、即ち、従来技術に相当する。

本実施形態によれば、プリアライメントに用いられるテンプレート形状を自動で最適化（決定）することが可能となる。また、任意の最適化の条件単位でテンプレート形状の最適化が可能となる。なお、強化学習を実施するタイミングは、基板４の露光と並行するタイミングに限定されるものではない。例えば、プリアライメント（アライメントマークの検出時）において、所望の報酬になるまで強化学習を実施してもよいし、強化学習を実施するタイミングは、任意のタイミングでよい。

また、複数の基板４のマーク画像を記憶部ＳＵに記憶する際には、記憶対象の基板４のマーク画像を自由に決定してよい。例えば、記憶部ＳＵは、直近の複数の基板４のマーク画像を記憶するように、過去のマーク画像を更新してもよい。また、新たなマーク画像と、記憶しているマーク画像との類似度が閾値以下である場合に、新たなマーク画像を記憶し、マーク画像の記憶量（データ量）を可能な限り増加してもよい。

＜第２実施形態＞
第２実施形態では、ファインアライメントで用いられるウィンドウ形状（ウィンドウの形状を示すパラメータ）を、強化学習を用いて最適化する。

図１４は、第２実施形態における露光処理を説明するためのフローチャートである。ここでは、基板４をアライメントして露光するまでの工程の概略を説明する。また、かかる露光処理は、上述したように、制御部ＣＮが露光装置１の各部を統括的に制御することで実施される。

Ｓ４０１では、露光装置１に基板４を搬入する。Ｓ４０２では、プリアライメントを実施する。Ｓ４０３では、記憶部ＳＵからウィンドウ形状を取得する。Ｓ４０４では、ファインアライメントを実施する。Ｓ４０５では、ファインアライメントにおいて、検出光学系７によってアライメントマーク１２を検出して取得された画像（マーク画像）から得られる１次元波形信号を記憶部ＳＵに記憶する。Ｓ４０６では、基板４を露光する。また、基板４の露光と並行して、Ｓ４０７では、ウィンドウ形状の強化学習を実施する。なお、ウィンドウ形状の強化学習については後述する。Ｓ４０８では、Ｓ４０７で得られたウィンドウ形状（強化学習後のウィンドウ形状）を記憶部ＳＵに記憶（保存）する。Ｓ４０９では、露光装置１から基板４を搬出する。

ウィンドウ形状の強化学習（Ｓ４０７）について、状態の設定、報酬の設定、行動の設定、方策の設定、処理フロー、の順に詳細に説明する。

ファインアライメントで用いるウィンドウ形状をＷ_ｉと定義し、状態ｓとする。ここで、Ｗ_ｉは特徴量を抽出する際にｉ番目の値に乗算（適用）する重み（０≦Ｗ_ｉ≦１）、ｉはウィンドウ番号（１≦ｉ≦Ｎ）、Ｎはウィンドウ点数を表す。本実施形態では、状態ｓは、後述する方策πに従って変化していくものとする。

強化学習により到達すべきウィンドウ形状の最適状態は、以下の条件（Ａ）を満たすウィンドウ形状に設定したい。
条件（Ａ）：複数の基板における１次元波形信号のアライメントマーク１２の真の位置での計測誤差を最小化する。
但し、アライメントマーク１２の真の位置での計測誤差を得るためには、基板４を実際に露光し、その重ね合わせ結果を外部の計測装置で計測する必要があるため、時間を要する。そこで、本実施形態では、強化学習により到達すべきウィンドウ形状の最適状態を、以下の条件（Ｂ）を満たすウィンドウ形状に設定する。
条件（Ｂ）：複数の基板における１次元波形信号のアライメントマーク１２のマーク間距離（Ｍａｒｋ Ｄｉｓｔａｎｃｅ）Ｍのばらつきを最小化する。

図１５は、アライメントマーク１２のマーク間距離Ｍを具体的に示す図である。マーク間距離Ｍは、理想的には、全ての基板４で同じ値になるべき不変量である。但し、実際には、アライメントマーク１２の計測時の計測誤差が支配的となり、複数の基板４の間において、マーク間距離Ｍのばらつき（アライメントマーク１２のサイズのばらつきやアライメントマーク１２の位置ずれのばらつき）が発生する。従って、マーク間距離Ｍは、真に最小化したい計測誤差の近似値とみなすことができるため、目的とする最適状態の学習に用いることができる。そこで、行動評価関数Ｑ^π（ｓ，ａ）を表す式（２）における報酬ｒを以下の式（４）で定義する。

式（４）において、σ（Ｍ）は複数の基板ＷＮにおけるＭの標準偏差、ＷＮは基板の総数を表している。なお、基板の総数ＷＮは、１ロットの一般的な総数である２５としてもよいし、より多くの数やより少ない数としてもよい。

行動ａは、以下のように定義する。

ここで、ｉはウィンドウ番号（１≦ｉ≦Ｎ）、Ｎはウィンドウ点数を表す。行動ａは、新たなウィンドウ形状を探索するため、ウィンドウの重みを増減させるような行動である。なお、新たなウィンドウ形状を探索可能な行動であれば、行動ａに限定されるものではなく、別の行動を定義してもよい。

方策πは、以下のように定義する。
方策π：ランダムに行動ａ_ｉを選択し、行動評価関数Ｑ^π（ｓ，ａ）が増加していれば、ウィンドウ形状を更新する。
なお、将来報酬を考慮せず、将来報酬までの時刻ｋを０、将来報酬の割引率γを０．０１とし、行動評価関数Ｑ^π（ｓ，ａ）は、報酬ｒと等価とする。

図１６（ａ）及び図１６（ｂ）を参照して、方策πについて具体的に説明する。まず、ｔ＝０の初期状態ｓ_０のウィンドウ形状を、図１６（ａ）に示す形状とする。そして、ランダムに選択された行動ａ_ｉ１（Ｗ_ｉ→１／２×Ｗ_ｉ）によって、ウィンドウ形状が、図１６（ｂ）に示す形状に変化したとする。このときの行動評価関数Ｑ^π（ｓ，ａ）が、初期状態ｓ_０の行動評価関数Ｑ^π（ｓ，ａ）に対して増加している場合、ｔ＝１の状態ｓ_１のウィンドウ形状は、図１６（ｂ）に示す形状に更新される。一方、このときの行動評価関数Ｑ^π（ｓ，ａ）が、初期状態ｓ_０の行動評価関数Ｑ^π（ｓ，ａ）に対して増加していない場合、ｔ＝１の状態ｓ_１のウィンドウ形状は、図１６（ａ）に示す形状のままとなる。これにより、方策πの元で時刻ｔが進むことで、行動評価関数Ｑ^π（ｓ，ａ）が増加するようなウィンドウ形状に最適化していくことが可能となる。

なお、方策πの定義は、どのような確率分布に従い行動ａを選択してもよい。また、探索済みの状態へ移行する行動を選択しないなどの任意の条件を追加してもよい。また、将来報酬までの時刻ｋを１以上の値とし、累積報酬を元に行動評価関数Ｑ^π（ｓ，ａ）を最大化してもよい。この場合、最適化までの学習回数は増加するが、ウィンドウの重みが非線形な特性を有していても、局所解にはまらずに、ウィンドウ形状の最適化が可能となる。

図１７を参照して、ウィンドウ形状の強化学習の処理フローを説明する。Ｓ５０１では、最適化の条件単位を設定する。例えば、基板４のショット領域のアライメントマーク１２ごとにウィンドウ形状を最適化する場合には、最適化の条件単位として、ショット領域の数×アライメントマーク１２の数を設定する。Ｓ５０２では、記憶部ＳＵから、複数の基板４のそれぞれについて検出光学系７で取得されたマーク画像から得られる１次元波形信号を取得する（読み出す）。Ｓ５０３では、強化学習を実施する回数の上限（学習上限回数）を設定する。ここで設定する学習上限回数は、学習が十分に進んでいない状況では、基板４の露光と並行して実施可能な最大回数を設定する。一方、強化学習が十分に進み、所望の報酬が得られる状況であれば、学習上限回数に０を設定してもよい。また、所望の報酬が得られていない状況でも、前回の強化学習時の報酬の増加量が一定の閾値以下となっていれば、最適化の上限に到達していると判断し、学習上限回数に０を設定してもよい。Ｓ５０４では、Ｓ５０１で設定した最適化の条件単位及びＳ５０３で設定した学習上限回数に従って、上述した強化学習を実施する。

図１８は、強化学習を実施した場合における学習回数（ｅｐｏｃｈ）と３σ（Ｍ）（３ Ｓｔａｎｄａｒｄ Ｄｅｖｉａｔｉｏｎ ｏｆ Ｍ）との関係を示す図である。図１８では、縦軸は３σ（Ｍ）を示し、横軸は学習回数を示している。図１８を参照するに、強化学習を繰り返すことで、計測誤差を示す３σ（Ｍ）が減少していることがわかる。ここで、強化学習前の初期値（学習回数＝０）は、本実施形態を適用していない場合、即ち、従来技術に相当する。

本実施形態によれば、ファインアライメントに用いられるウィンドウ形状を自動で最適化（決定）することが可能となる。また、任意の最適化の条件単位でウィンドウ形状の最適化が可能となる。なお、強化学習を実施するタイミングは、基板４の露光と並行するタイミングに限定されるものではない。例えば、ファインアライメント（アライメントマークの検出時）において、所望の報酬になるまで強化学習を実施してもよいし、強化学習を実施するタイミングは、任意のタイミングでよい。また、プリアライメントで用いられるテンプレート形状の強化学習と同時に、ウィンドウ形状の強化学習を実施してもよい。

＜第３実施形態＞
第３実施形態では、最適化したウィンドウ形状を用いたファインアライメントにおいて、最適化したウィンドウ形状と初期のウィンドウ形状との間の計測値オフセットを補正する。

図１９は、第３実施形態における露光処理を説明するためのフローチャートである。ここでは、基板４をアライメントして露光するまでの工程の概略を説明する。また、かかる露光処理は、上述したように、制御部ＣＮが露光装置１の各部を統括的に制御することで実施される。なお、Ｓ６０１からＳ６０５までの処理は、第２実施形態で説明したＳ４０１からＳ４０５までの処理と同様であるため、ここでの詳細な説明は省略する。

Ｓ６０６では、初期（学習前）のウィンドウ形状を用いて得られたアライメントマーク１２の位置（計測値）と現在（学習後）のウィンドウ形状を用いて得られたアライメントマーク１２の位置との差分を記憶部ＳＵから取得し、計測値オフセットを補正する。なお、計測値オフセットを補正する効果については後述する。Ｓ６０７では、基板４を露光する。また、基板４の露光と並行して、Ｓ６０８では、ウィンドウ形状の強化学習を実施する。Ｓ６０９では、Ｓ６０８で得られたウィンドウ形状（強化学習後のウィンドウ形状）を記憶部ＳＵに記憶（保存）する。Ｓ６１０では、計測値オフセットを記憶部ＳＵに記憶する。ここでは、Ｓ５０２で取得した複数の基板４の１次元波形信号に対して、初期のウィンドウ形状を用いて得られた計測値と現在のウィンドウ形状を用いて得られた計測値との差分を求め、その平均値を計測値オフセットとして記憶部ＳＵに記憶する。Ｓ６１１では、露光装置１から基板４を搬出する。

計測値オフセットの補正（Ｓ６０６）の効果について説明する。露光装置１でのアライメントでは、基板間で共通の誤差成分は、アライメントオフセットとして、各デバイス工程の初期投入時に求めている。かかるアライメントオフセットは、初期のウィンドウ形状を用いて得られた計測値が基準となっている。従って、強化学習によりウィンドウ形状を変更した場合、基板間で共通のアライメントオフセットが変化している可能性がある。

本実施形態では、基板間で共通の変化量を補正することで、アライメントオフセットを変更することなく、デバイス工程の運用を継続することが可能になる。ここで補正する対象は、基板間で共通のオフセットであり、かかる補正によるウィンドウ形状の最適化の効果への影響はない。なお、本実施形態では、ファインアライメントを例に説明したが、プリアライメントにおいても同様に計測値オフセットを補正してもよい。

＜第４実施形態＞
第４実施形態では、記憶部を有する外部装置ＥＡにおいて、テンプレート形状の強化学習を実施する。

図２０は、露光装置１及び外部装置ＥＡのそれぞれで実施される処理を示す図である。ここでは、基板４をアライメントして露光するまでの工程の概略を説明する。

まず、露光装置１で実施される処理を説明する。Ｓ７０１では、露光装置１に基板４を搬入する。Ｓ７０２では、外部装置ＥＡの記憶部からテンプレート形状を取得する。Ｓ７０３では、プリアライメントを実施する。Ｓ７０４では、プリアライメントにおいて、検出光学系７によってアライメントマーク１１を検出して取得された画像（マーク画像）を外部装置ＥＡの記憶部に記憶する。Ｓ７０５では、ファインアライメントを実施する。Ｓ７０６では、基板４を露光する。Ｓ７０７では、露光装置１から基板４を搬出する。

次に、外部装置ＥＡで実施される処理を説明する。Ｓ７０８では、記憶部からテンプレート形状を取得する。Ｓ７０９では、記憶部からマーク画像を取得する。Ｓ７１０では、テンプレート形状の強化学習を実施する。なお、テンプレート形状の強化学習は、第１実施形態で説明した通りである。但し、Ｓ７１０では、基板４の露光と並行して実施する制約を受けずに、学習上限回数を自由に設定することが可能である。Ｓ７１１では、Ｓ７１０で得られたテンプレート形状（強化学習後のテンプレート形状）を記憶部に記憶（保存）する。

本実施形態によれば、基板４を露光するタイミング以外での強化学習が可能となり、学習速度の向上が可能となる。なお、本実施形態では、テンプレート形状の強化学習を例に説明したが、ウィンドウ形状の強化学習にも適用可能である。また、テンプレート形状の強化学習とウィンドウ形状の強化学習とを同時に実施してもよい。

＜第５実施形態＞
第５実施形態では、記憶部を有する外部装置ＥＡにおいて、重ね合わせ検査装置ＩＡでの重ね合わせ検査結果を用いて、ウィンドウ形状の強化学習を実施する。重ね合わせ検査装置ＩＡでの重ね合わせ検査結果は、外部装置ＥＡの記憶部に記憶されている。

図２１は、露光装置１及び外部装置ＥＡのそれぞれで実施される処理を示す図である。ここでは、基板４をアライメントして露光するまでの工程の概略を説明する。

まず、露光装置１で実施される処理を説明する。Ｓ８０１では、露光装置１に基板４を搬入する。Ｓ８０２では、プリアライメントを実施する。Ｓ８０３では、外部装置ＥＡの記憶部からウィンドウ形状を取得する。Ｓ８０４では、ファインアライメントを実施する。Ｓ８０５では、ファインアライメントにおいて、検出光学系７によってアライメントマーク１２を検出して取得された画像（マーク画像）から得られる１次元波形信号を外部装置ＥＡの記憶部に記憶する。Ｓ８０６では、基板４を露光する。Ｓ８０７では、露光装置１から基板４を搬出する。

次に、外部装置ＥＡで実施される処理を説明する。Ｓ８０８では、記憶部からウィンドウ形状を取得する。Ｓ８０９では、記憶部から１次元波形信号を取得する。Ｓ８１０では、重ね合わせ検査装置ＩＡでの重ね合わせ検出結果を、記憶部から取得する。なお、ここでは、Ｓ８０９で取得した１次元波形信号に対応する重ね合わせ検査結果を取得する必要がある。Ｓ８１１では、ウィンドウ形状の強化学習を実施する。なお、ウィンドウ形状の強化学習は、第２実施形態で説明した通りであるが、報酬ｒの定義が異なる。報酬ｒの定義については後述する。また、基板４の露光と並行して実施する制約を受けずに、学習上限回数を自由に設定することも可能である。Ｓ８１２では、Ｓ８１１で得られたウィンドウ形状（強化学習後のウィンドウ形状）を記憶部に記憶（保存）する。

ウィンドウ形状の強化学習（Ｓ８１１）における報酬ｒの定義について説明する。本実施形態では、報酬ｒを、以下の式（５）で定義する。

式（５）において、σ（ＯＶＬ）は複数の基板ＷＮにおけるＯＶＬの標準偏差、ＯＶＬは重ね合わせ検査結果、ＷＮは基板の総数を表している。なお、基板の総数ＷＮは、１ロットの一般的な総数である２５としてもよいし、より多くの数やより少ない数としてもよい。

本実施形によれば、重ね合わせ検査装置ＩＡでの重ね合わせ検査結果を、外部装置ＥＡの記憶部が取得可能に構成されている。これにより、真に最小化すべき重ね合わせ検査結果を直接的な報酬として定義することが可能となり、より高精度なウィンドウ形状の強化学習が可能となる。

＜第６実施形態＞
第６実施形態では、記憶部を有する外部装置ＥＡにおいて、複数の露光装置１及び１’に対して最適となるように、テンプレート形状の強化学習を実施する。

図２２は、露光装置１、露光装置１’及び外部装置ＥＡのそれぞれで実施される処理を示す図である。本実施形態では、２つの露光装置１及び１’が外部装置ＥＡと接続しているが、外部装置ＥＡに接続する露光装置の数を限定するものではない。なお、Ｓ９０１からＳ９１１までの処理は、第４実施形態で説明したＳ７０１からＳ７１１までの処理と同様である。

本実施形態では、複数の露光装置で取得されるマーク画像を用いて強化学習を実施することで、稼働率が低い露光装置や処理枚数が少ないデバイス工程などの学習頻度が少ない条件の強化学習を実施（加速）することができる。なお、本実施形態では、テンプレート形状の強化学習を例に説明したが、ウィンドウ形状の強化学習にも適用可能である。また、テンプレート形状の強化学習とウィンドウ形状の強化学習とを同時に実施してもよい。

これまでの各実施形態で説明したように、露光装置１では、複数の基板４のそれぞれについて、検出光学系７で取得されるマーク画像に基づいて、テンプレートの形状及びウィンドウの形状の少なくとも一方（を示すパラメータ）を決定する。具体的には、複数の基板４のそれぞれについて、検出光学系７で取得されるマーク画像に基づいて、テンプレート形状やウィンドウ形状（パラメータ）を変更しながらアライメントマークの位置を求める。そして、かかるアライメントマークの位置からテンプレート形状やウィンドウ形状を評価するための評価指標である行動評価関数Ｑ^πを求め、かかる行動評価関数Ｑ^πが基準を満たすようにテンプレート形状やウィンドウ形状を決定する。この際、評価指標を最大化又は最小化するようにテンプレート形状やウィンドウ形状を決定してもよい。

本発明の実施形態における物品の製造方法は、例えば、デバイス（半導体素子、磁気記憶媒体、液晶表示素子など）などの物品を製造するのに好適である。かかる製造方法は、露光装置１を用いて、基板にパターンを形成する工程と、パターンが形成された基板を処理する工程と、処理された基板から物品を製造する工程とを含む。また、かかる製造方法は、他の周知の工程（酸化、成膜、蒸着、ドーピング、平坦化、エッチング、レジスト剥離、ダイシング、ボンディング、パッケージングなど）を含みうる。本実施形態における物品の製造方法は、従来に比べて、物品の性能、品質、生産性及び生産コストの少なくとも１つにおいて有利である。

本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１つ以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。例えば、本発明は、パターン形成装置を露光装置に限定するものではなく、インプリント装置にも適用することができる。ここで、インプリント装置は、基板上に供給されたインプリント材とモールドとを接触させ、インプリント材に硬化用のエネルギーを与えることにより、モールドのパターンが転写された硬化物のパターンを形成する。上述した物品の製造方法は、インプリント装置を用いて行ってもよい。

１：露光装置 ２：レチクル ３：投影光学系 ４：基板 ５：基板チャック ６：基板ステージ ７：検出光学系 ＣＮ：制御部 ＳＵ：記憶部

Claims (30)

1. 基板にパターンを形成するパターン形成装置であって、
   前記基板に設けられたマークを検出して前記マークの光学情報を取得する検出光学系と、
   前記マークの光学情報に適用して前記マークの位置を求めるためのテンプレートを用いて、前記マークの位置を求める処理を行う処理部と、を有し、
   前記処理部は、前記テンプレートの形状を示すパラメータを変更する行動に対する報酬が大きくなるように前記パラメータを更新する強化学習を行うことにより、前記パラメータを決定することを特徴とするパターン形成装置。
2. 前記報酬は、前記光学情報における領域と前記テンプレートとの相関度を用いて求められることを特徴とする請求項１に記載のパターン形成装置。
3. 前記報酬は、前記光学情報における前記マークが存在するマーク領域と前記テンプレートとの第１相関度、及び前記光学情報における前記マーク領域の周辺領域と前記テンプレートとの第２相関度を用いて求められることを特徴とする請求項１又は２に記載のパターン形成装置。
4. 前記報酬は、複数の基板のそれぞれについて得られる前記第１相関度の総和、及び前記複数の基板のそれぞれについて得られる前記第２相関度の総和を用いて求められることを特徴とする請求項３に記載のパターン形成装置。
5. 前記報酬は、前記第１相関度と、前記第２相関度に対数関数を適用して得られた値との差分を用いて求められることを特徴とする請求項３又は４に記載のパターン形成装置。
6. 前記報酬は、前記第１相関度が大きくなるほど大きくなり、前記第２相関度が小さくなるほど大きくなることを特徴とする請求項３乃至５のいずれか１項に記載のパターン形成装置。
7. 前記パラメータは、前記テンプレートを構成する点の位置を表すパラメータを含むことを特徴とする請求項１乃至６のいずれか１項に記載のパターン形成装置。
8. 基板にパターンを形成するパターン形成装置であって、
   前記基板に設けられたマークを検出して前記マークの光学情報を取得する検出光学系と、
   前記光学情報から得られる信号における複数の領域から前記マークの位置を示す特徴量を抽出して、前記マークの位置を求める処理を行う処理部と、を有し、
   前記処理部は、前記複数の領域のそれぞれから抽出される前記特徴量に適用される重みを示すパラメータを変更する行動に対する報酬が大きくなるように前記パラメータを更新する強化学習を行うことにより、前記パラメータを決定することを特徴とするパターン形成装置。
9. 前記報酬は、前記マークのサイズ又は位置を用いて求められることを特徴とする請求項８に記載のパターン形成装置。
10. 前記報酬は、複数の基板のそれぞれについて求められる前記マークのサイズ又は位置のばらつきを用いて求められることを特徴とする請求項８又は９に記載のパターン形成装置。
11. 前記ばらつきは、標準偏差を用いて求められることを特徴とする請求項１０に記載のパターン形成装置。
12. 前記報酬は、前記ばらつきが小さくなるほど大きくなることを特徴とする請求項１０又は１１に記載のパターン形成装置。
13. 前記処理部は、
    複数の基板のそれぞれについて、前記検出光学系で取得されるマークの光学情報に基づいて、前記パラメータを変更しながら前記マークの位置を求め、
    前記複数の基板のそれぞれについて求めた前記マークの位置から前記パラメータを評価するための報酬を求め、前記報酬が基準を満たすように前記パラメータを決定する、
    ことを特徴とする請求項１乃至１２のいずれか１項に記載のパターン形成装置。
14. 前記処理部は、前記報酬が前回の報酬よりも大きい場合に前記パラメータを更新する、ことを特徴とする請求項１乃至１３のいずれか１項に記載のパターン形成装置。
15. 前記処理部は、前記基板に対するデバイス工程ごとに、前記パラメータを決定する、ことを特徴とする請求項１乃至１４のうちいずれか１項に記載のパターン形成装置。
16. 前記処理部は、前記基板のショット領域ごとに、前記パラメータを決定する、ことを特徴とする請求項１乃至１５のうちいずれか１項に記載のパターン形成装置。
17. 前記処理部は、前記基板のショット領域に設けられた前記マークごとに、前記パラメータを決定する、ことを特徴とする請求項１乃至１６のうちいずれか１項に記載のパターン形成装置。
18. 前記処理部は、前記パラメータを決定する前の複数の基板についての前記マークの位置の平均値と、前記パラメータを決定した後の前記複数の基板についての前記マークの位置の平均値との差分を求め、前記差分を補正するためのオフセットを求めることを特徴とする請求項１乃至１７のうちいずれか１項に記載のパターン形成装置。
19. 前記マークの光学情報を記憶する記憶部を更に有することを特徴とする請求項１乃至１８のうちいずれか１項に記載のパターン形成装置。
20. 前記記憶部は、新たなマークの光学情報と、記憶しているマークの光学情報との類似度が閾値以下である場合に、前記新たなマークの光学情報を記憶することを特徴とする請求項１９に記載のパターン形成装置。
21. 前記処理部は、前記基板に前記パターンを形成している間に、前記パラメータを決定することを特徴とする請求項１乃至２０のうちいずれか１項に記載のパターン形成装置。
22. 基板に設けられたマークの位置を求める処理に用いられる、前記マークの光学情報に適用するテンプレートの形状を示すパラメータを決定する決定方法であって、
    前記マークを検出して当該マークの光学情報を取得する工程と、
    前記パラメータを変更する行動に対する報酬が大きくなるように前記パラメータを更新する強化学習を行うことにより、前記パラメータを決定する工程と、
    を有することを特徴とする決定方法。
23. 基板に設けられたマークの位置を求める処理に用いられる、前記マークの光学情報から得られる信号における複数の領域のそれぞれから抽出される前記マークの位置を示す特徴量に適用される重みを示すパラメータを決定する決定方法であって、
    前記マークを検出して当該マークの光学情報を取得する工程と、
    前記パラメータを変更する行動に対する報酬が大きくなるように前記パラメータを更新する強化学習を行うことにより、前記パラメータを決定する工程と、
    を有することを特徴とする決定方法。
24. 基板に設けられたマークの位置を求める処理に用いられる、前記マークの光学情報に適用するテンプレートの形状を示すパラメータを決定する決定方法をコンピュータに実行させるプログラムであって、
    前記コンピュータに、
    前記マークを検出して当該マークの光学情報を取得する工程と、
    前記パラメータを変更する行動に対する報酬が大きくなるように前記パラメータを更新する強化学習を行うことにより、前記パラメータを決定する工程と、
    を実行させることを特徴とするプログラム。
25. 基板に設けられたマークの位置を求める処理に用いられる、前記マークの光学情報から得られる信号における複数の領域のそれぞれから抽出される前記マークの位置を示す特徴量に適用される重みを示すパラメータを決定する決定方法をコンピュータに実行させるプログラムであって、
    前記コンピュータに、
    前記マークを検出して当該マークの光学情報を取得する工程と、
    前記パラメータを変更する行動に対する報酬が大きくなるように前記パラメータを更新する強化学習を行うことにより、前記パラメータを決定する工程と、
    を有することを特徴とするプログラム。
26. 請求項２２又は２３に記載の決定方法を実行することを特徴とする情報処理装置。
27. 請求項１乃至２１のうちいずれか１項に記載のパターン形成装置を用いて基板にパターンを形成する工程と、
    前記工程で前記パターンが形成された前記基板を処理する工程と、
    処理された前記基板から物品を製造する工程と、
    を有することを特徴とする物品の製造方法。
28. 基板にパターンを形成するパターン形成装置であって、
    前記基板に設けられたマークを検出して前記マークの光学情報を取得する検出光学系と、
    前記マークの光学情報に適用して前記マークの位置を求めるためのテンプレート、及び、前記光学情報から得られる波形信号から前記マークの位置を示す特徴量を抽出するための領域を示すウィンドウを用いて、前記マークの位置を求める処理を行う処理部と、を有し、
    前記処理部は、複数の基板のそれぞれについて、前記検出光学系で取得されるマークの光学情報に基づいて、前記テンプレートの形状及び前記ウィンドウの形状の少なくとも一方を示すパラメータを決定し、
    前記処理部は、前記パラメータを決定する前の前記複数の基板についての前記マークの位置の平均値と、前記パラメータを決定した後の前記複数の基板についての前記マークの位置の平均値との差分を求め、前記差分を補正するためのオフセットを求めることを特徴とするパターン形成装置。
29. 基板にパターンを形成するパターン形成装置であって、
    前記基板に設けられたマークを検出して前記マークの光学情報を取得する検出光学系と、
    前記マークの光学情報に適用して前記マークの位置を求めるためのテンプレート、及び、前記光学情報から得られる波形信号から前記マークの位置を示す特徴量を抽出するための領域を示すウィンドウを用いて、前記マークの位置を求める処理を行う処理部と、
    前記マークの光学情報を記憶する記憶部と、を有し、
    前記処理部は、複数の基板のそれぞれについて、前記検出光学系で取得されるマークの光学情報に基づいて、前記テンプレートの形状及び前記ウィンドウの形状の少なくとも一方を示すパラメータを決定し、
    前記記憶部は、新たなマークの光学情報と、記憶しているマークの光学情報との類似度が閾値以下である場合に、前記新たなマークの光学情報を記憶することを特徴とするパターン形成装置。
30. 基板にパターンを形成するパターン形成装置であって、
    前記基板に設けられたマークを検出して前記マークの光学情報を取得する検出光学系と、
    前記マークの光学情報に適用して前記マークの位置を求めるためのテンプレート、及び、前記光学情報から得られる波形信号から前記マークの位置を示す特徴量を抽出するための領域を示すウィンドウを用いて、前記マークの位置を求める処理を行う処理部と、を有し、
    前記処理部は、複数の基板のそれぞれについて、前記検出光学系で取得されるマークの光学情報に基づいて、前記テンプレートの形状及び前記ウィンドウの形状の少なくとも一方を示すパラメータを決定し、
    前記処理部は、前記基板に前記パターンを形成している間に、前記パラメータを決定することを特徴とするパターン形成装置。

Images