JP7724656B2 - 制御装置、リソグラフィー装置および物品製造方法 - Google Patents

Description

本発明は、制御装置、リソグラフィー装置および物品製造方法に関する。

強化学習によって総報酬を最大化する方策を学習する際、行動空間として、連続空間および離散空間のいずれかが、アルゴリズムの制約および環境の性質に応じて選択されうる。離散的な行動空間が選択される場合、探索時の行動戦略としてはε貪欲法（非特許文献１、特許文献１）・ソフトマックス法（非特許文献１）などを用いるのが一般的であり、また、運用時の行動戦略としては貪欲法を用いるのが一般的である。

特開２０２０－９８５３８号公報

Ｓｕｔｔｏｎ， Ｒ．Ｓ．， Ｂａｒｔｏ， Ａ．Ｇ．： "Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ： Ａｎ Ｉｎｔｒｏｄｕｃｔｉｏｎ．" ＭＩＴ Ｐｒｅｓｓ， Ｃａｍｂｒｉｄｇｅ， ＭＡ （１９９８）

操作量を決定するための確率分布を出力する制御器の性能は、乱数に従ったサンプリングにより操作量を決定する方法によって学習を行うことで向上されうる。しかし、実運用時においても学習時と同様に乱数を用いたサンプリングにより制御量を決定すると、確率的挙動が品質保証に対して好ましくない影響を与えうるので、一般的には確率値が最大になる操作量を選択し続ける。一方、最大の確率を持つ操作量を選択し続けた場合、乱数を用いたサンプリングによって操作量を決定する場合よりも制御性能が悪化する場合がある。

本発明は、運用時の制御性能が学習時の制御性能から低下することを抑えるために有利な技術を提供することを目的とする。

本発明の第１側面は、制御対象を制御する制御装置に係り、前記制御装置は、制御指令と前記制御対象の状態を示す状態情報との差分に基づいて確率分布を生成する生成器と、前記生成器が生成した前記確率分布に基づいて操作量を決定する決定器と、を備え、前記決定器は、前記確率分布の期待値に応じて前記操作量を決定する。
本発明の第２側面は、制御対象を制御する制御装置に係り、前記制御装置は、制御指令と、前記制御対象の状態を示す状態情報とに基づいて確率分布を生成する生成器と、前記生成器が生成した前記確率分布に基づいて操作量を決定する決定器と、を備え、 前記決定器は前記確率分布の期待値に応じて前記操作量を決定する。

本発明によれば、運用時の制御性能が学習時の制御性能から低下することを抑えるために有利な技術が提供される。

一実施形態のシステムの構成を例示する図。 図１に示されたシステムをステージ制御装置に適用した場合における制御対象の構成例を示す図。 図２に示されたステージ制御装置をより具体化した構成例を示す図。 強化学習によるニューラルネットワークのパラメータ値の決定方法を例示する図。 ニューラルネットワークの構成例を示す図。 ニューラルネットワーク補償器の動作を例示する図。 確率分布（確率質量関数）を例示する図。 逆関数法を用いたサンプリングの方法を例示する図。 ステージの応答を例示する図。 ニューラルネットワークの他の構成例を示す図。 ステージ制御装置の他の具体化を示す図。 リソグラフィー装置の一例としての露光装置の構成例を示す図。 図１２に例示された露光装置の動作例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

図１には、一実施形態のシステムの構成が例示されている。このシステムは、制御対象１と、制御対象１を制御する制御サーバー２と、制御対象１から制御サーバー２を介して制御結果を取得して学習を行う学習サーバー３とを備えうる。学習サーバー３は、制御サーバー２を介して、制御対象１の内部に構成されるニューラルネットワークに対してニューラルネットワークのパラメータ情報を送信しうる。その後、制御サーバー２は、制御対象１に対して制御指令を送り、制御対象１から制御結果を取得しうる。制御サーバー２が制御対象１から取得した制御結果は、制御サーバー２から学習サーバー３に送信されうる。学習サーバー３は、制御結果に応じて、ニューラルネットワークのパラメータ値の良否を示す報酬を計算し、報酬に基づいてニューラルネットワークのパラメータ値を更新しうる。

ニューラルネットワークのパラメータ値の更新に関わる演算コストが高いため、制御サーバー２と学習サーバー３とを独立した構成とすることが有利である。制御サーバー２と学習サーバー３とを独立させた構成では、複数の制御対象がある場合に、演算コストが高い学習サーバー３を複数用意して、演算コストが低い制御サーバー２を１つとするといった運用が可能になる。

図２には、図１に示されたシステムをステージ制御装置に適用した場合における制御対象１の構成例が示されている。制御対象１は、ステージ５、センサ６、制御基板７、および、ドライバ８を含みうる。制御基板７は、ドライバ８に対して所定の時間間隔で電流指令を供給するように構成されうる。ドライバ８は、電流ドライバおよびアクチュエータを含み、電流ドライバは、電流指令に応じた電流をアクチュエータに供給し、アクチュエータは、ステージ５を駆動しうる。ステージ５の動作は、センサ６によって観測（検出）され、観察結果は制御基板７に供給されうる。

図３は、図２に示されたステージ制御装置をより具体化した構成例が示されている。制御基板（制御部）７は、例えば、減算器７６と、補償器７１と、ニューラルネットワーク補償器７２と、加算器７５とを含みうる。制御基板７は、制御サーバー２から供給される操作指令と、センサ６から供給されるステージ５の位置情報と、制御サーバー２から供給されるフェーズ情報とを受信しうる。ステージ５の位置情報は、ステージ５の状態を示す状態情報の一例である。減算器７６は、制御サーバー２から供給される操作指令とセンサ５から供給される位置情報との差分、つまり偏差を計算し、その偏差を補償器７１およびニューラルネットワーク補償器７２に供給しうる。補償器７１は、減算器７６から供給される偏差に基づいて第１操作量を生成し、その第１操作量を加算器７５に供給する。

ニューラルネットワーク補償器７２は、減算器７６から供給される差分に基づいて第２操作量を生成し、その第２操作量を加算器７５に供給する。ニューラルネットワーク補償器７２は、ニューラルネットワーク７３と、第２操作量を決定する操作量決定器７４（決定器）とを含みうる。ニューラルネットワーク７３は、減算器７６から供給される偏差に基づいて、第２操作量を決定するための確率分布出力しうる。ニューラルネットワーク７３は、減算器７６から供給される偏差に基づいて、第２操作量を決定するための確率分布を規定する関数を出力する構成要素として理解されてもよい。ニューラルネットワーク７３は、第２操作量を決定するための確率分布を生成する確率分布生成器（生成器）として理解されてもよい。

操作量決定器７４は、ニューラルネットワーク７３から供給される確率分布あるいはそれを規定する関数と、制御サーバー２から供給されるフェーズ情報とに基づいて第２操作量を決定する。フェーズ情報がとりうる値は、ニューラルネットワークのパラメータ値を学習している学習フェーズであることを示す値と、学習が完了したニューラルネットワークのパラメータを用いて制御を行っている運用フェーズであることを示す値とを含みうる。操作量決定器７４による操作量の決定方法については後述する。補償器７１、ニューラルネットワーク補償器７２は、それぞれ第１補償器、第２補償器として理解されてもよい。

加算器７５は、補償器７１から供給される第１操作量とニューラルネットワーク補償器７２から供給される第２操作量とを加算することによって操作量（合成操作量）を生成し、その操作量を電流指令としてドライバ８に供給する。ドライバ８は、前述のように、電流ドライバおよびアクチュエータを含み、電流ドライバは、電流指令に応じた電流をアクチュエータに供給し、アクチュエータは、ステージ５を駆動しうる。なお、ニューラルネットワーク補償器７２に対して供給される偏差は、必ずしも位置情報の偏差である必要はなく、例えば、速度、加速度またはジャークの偏差でもよい。

ニューラルネットワーク７３のニューラルネットワークパラメータ値（以下、単にパラメータ値）は、事前に何らかの学習手法により決定される必要がある。学習手法としては、例えば、強化学習を挙げることができる。図４には、強化学習によるニューラルネットワーク７３のパラメータ値の決定方法（学習シーケンス）が例示的に示されている。まず、ステップＳ４００では、学習サーバー３は、ニューラルネットワーク７３のパラメータ値を初期化する。次いで、ステップＳ４０１では、学習サーバー３は、ニューラルネットワーク７３のパラメータ値を変更する。次いで、ステップＳ４０２では、制御基板７は、所定の操作指令データ（例えば、操作指令の時系列データ）に従って制御対象であるステージ５を操作する。

次いで、ステップＳ４０３では、学習サーバー３は、制御対象であるステージ５の制御結果、例えば、偏差データ（例えば、偏差の時系列データ）を取得する。ここで、制御基板７は、制御サーバー２を介して制御結果を学習サーバー３に提供しうる。次いで、学習サーバー３は、制御対象の偏差データに基づいて報酬を計算する。一例において、偏差が小さいほど、高い報酬が得られる。次いで、学習サーバー３は、学習が終了したかどうかを判断し、学習が終了してないと判断した場合にはステップＳ４０１に処理を進め、学習が終了したと判断した場合にはステップＳ４０６に処理を進める。一例において、学習サーバー３は、学習回数が規定回数以下であれば、学習が終了していないと判断し、学習回数が規定回数を超えたら、学習が終了したと判断しうる。ステップ４０１では、学習サーバー３は、報酬が高くなるようにニューラルネットワーク７３のパラメータ値を変更しうる。ステップＳ４０６では、学習サーバー３は、最大報酬が得られた時のパラメータ値を学習結果として保存する。学習サーバー３は、学習フェーズにおいて、操作量決定器７４が決定する第２操作量に従って制御される制御対象の制御結果に基づいて、ニューラルネットワーク７３（確率分布生成器）の動作を定義するパラメータ値を設定する設定部として機能する。

図５には、ニューラルネットワーク７３の構成例が示されている。ニューラルネットワーク７３は、入力層７３１と、１又は複数の中間層７３２と、出力層７３３と、関数７３４と、出力層７３５とを含みうる。入力層７３１は、入力データ７３６として、現在を含む過去Ｎ_ａ制御周期分の偏差を入力しうる。この入力に応答して、１又は複数の中間層７３２を介して、出力層７３３の出力データ７３８が決定されうる。出力層７３８は、Ｎ_ｂ個の数値（確率）を有しうる。関数７３４は、例えばソフトマックス関数であり、出力層７３８のＮ_ｂ個の数値をそれぞれ正規化された確率に変換して得られる確率質量関数を出力層７３５の出力データ７３９として生成しうる。関数７３４は、ニューラルネットワーク７３の出力を確率質量関数に変換する変換器として機能する。

学習フェーズでは、方策ネットワークを持つＰｒｏｘｉｍａｌ Ｐｏｌｉｃｙ Ｏｐｔｉｍｉｚａｔｉｏｎ（以下、ＰＰＯ）などの強化学習手法を用いて学習を行い、操作量は出力データ７３９の確率質量関数に従うサンプルを生成することで決定しうる。確率質量関数で表される確率分布からのサンプリングには、例えば、逆関数法、ＭＣＭＣ法などの疑似乱数生成アルゴリズムを用いることができる。これにより、探索行動を行いながら学習をすることができる。

学習フェーズが終了したのち、学習フェーズが終了した状態でのパラメータ値、又は最大報酬が得られたパラメータ値などを用いる運用フェーズでは、変換後の出力データ７３９の確率が最も高い操作量を選択するのが一般的である。しかし、ステージ制御などのローパスフィルターのような過渡応答を示す系では、操作量の累積値がステージ応答に影響を及ぼしうる。そのため、学習フェーズ時に確率質量関数からサンプリングした場合に比べて、最大確率をもつ操作量を選択し続ける場合の報酬が減少してしまうことがある。

そこで、本実施形態では、運用フェーズにおいて各操作量候補とその確率の積の和である期待値をニューラルネットワーク補償器７２の出力（即ち、第２操作量）とすることで、学習フェーズと同様の効果を得ることを可能にする。

図６には、ニューラルネットワーク補償器７２の動作が例示されている。まず、ステップ６０１では、ニューラルネットワーク７３は、操作量候補を確率変数とする確率分布、換言すると、第２操作量を決定するための確率分布を出力層７３５に出力する。確率分布は、例えば、確率質量関数でありうるが、後に説明するように、確率密度関数であってもよい。ステップＳ６０２では、操作量決定器７４は、制御サーバー２から供給される制御指令に含まれるフェーズ情報を受け取って現在のフェーズを確認する。そして、操作量決定器７４は、受け取ったフェーズ情報が学習フェーズであることを示している場合にはステップＳ６０３に処理を進め、運用フェーズであることをしている場合にはステップＳ６０５に処理を進める。

ステップＳ６０３では、即ち、学習フェーズでは、操作量決定器７４は、ニューラルネットワーク７３の出力層７３５に出力された確率分布（暫定的に設定されている確率分布）に基づいて、第２操作量として、確率変数の値をランダムに決定する。ステップＳ６０５では、即ち、運用フェーズでは、操作量決定器７４は、ニューラルネットワーク７３の出力層７３５に出力された確率分布の期待値に応じて第２操作量を決定する。ステップＳ６０４では、操作量決定器７４は、学習フェーズにおいてはステップＳ６０３で決定された第２操作量を出力し、運用フェーズにおいてはステップＳ６０５で決定された第２操作量を出力する。

ここで、図４に示される処理、即ち、ニューラルネットワーク７３のパラメータ値の決定方法（学習シーケンス）の実行時は、ステップＳ４０２において、図６に示される処理におけるステップＳ６０１、（Ｓ６０２）、Ｓ６０３、Ｓ６０４が実行されることになる。

以下、運用フェーズにおける操作量の決定方法（Ｓ６０５）を例示的に説明する。ここで、Ｎ_ｂ個の操作量候補ａ_ｉ（ｉ＝０～Ｎ_ｂ）を定義する。各操作量候補ａｉに割り当てられる確率ｐ_ｉが出力層７３５に出力データ７３９として現れる。図７には、操作量候補ａ_ｉと確率ｐ_ｉとの関係、即ち確率分布（確率質量関数）が例示されている。ステップＳ６０５で決定される期待値Ｅは、ニューラルネットワーク７３の出力層７３５に出力された確率分布の期待値である。期待値Ｅは、ａ_ｉとｐ_ｉとの積の和であり、（１）式で表現される。

・・・（１）

以下、学習フェーズおける操作量の決定方法（Ｓ６０３）を例示的に説明する。ここでは、一例として、図８を参照しながら逆関数法を説明する。ｉ番目の操作量候補を選択する確率がａ［ｉ］である確率質量関数を考える。また、累積分布関数ｂ［ｉ］を（２）式のように定義する。

・・・（２）

区間［０，１］の連続一様乱数ｒを用いて、ｒ ≦ ｂ［ｉ］となる最小のｉを選択することで、確率質量関数で表される確率分布からのサンプルが得られる。つまり、確率分布に基づいて、第２操作量として、確率変数の値をランダムに決定することができる。

学習フェーズで用いる学習方法としては、方策ネットワークを持つＰＰＯなどの強化学習手法以外にも、方策ネットワークを持たないＤｅｅｐ Ｑ Ｎｅｔｗｏｒｋ（ＤＱＮ）等の強化学習手法が用いられてもよい。その場合、入力層７３１の入力データ７３６として、現在を含む過去Ｎ_ａ制御周期分の操作指令の偏差を入力し、１又は複数の中間層７３２を介して出力層７３３の出力データ７３８としてＮ_ｂ個の操作量候補のスコアを得ることができる。操作量候補のスコアに対してソフトマックス関数などの特定関数７３４を用いて、各操作量候補の確率に変換して出力層７３５の出力データ７３９を生成することができる。

図９には、ステージ９の応答が例示されている。実線は、学習フェーズにおけるステージ９の偏差を示している。点線は、運用フェーズにおいて、最も確率が高い操作量候補を第２操作量として出力した場合のステージ９の偏差を示している。破線は、本実施形態に従って、ニューラルネットワーク７３の出力層７３５に出力された確率分布の期待値を第２操作量として出力した場合のステージ９の偏差を示している。図９から分かるように、運用フェーズにおいて最も確率が高い操作量候補を第２操作量として出力すると学習フェーズにおける波形より悪化してしまう。一方、図９から分かるように、運用フェーズにおいて期待値を第２操作量として出力することで、学習フェーズにおける波形と同等の波形を得ることができる。

このように、ステージ制御などのローパスフィルターのような過渡応答を示す系において、離散出力を行うニューラルネットワークの運用フェーズ時の出力を期待値とすることで、学習フェーズ時と同等の偏差抑制効果を得ることができる。

上記のニューラルネットワーク７３は一例に過ぎず、例えば、図１０に例示されるようなニューラルネットワーク７３で置き換えられてもよい。ニューラルネットワーク７３は、入力層７６１と、１又は複数の中間層７６２と、出力層７６３と、関数７６４と、出力層７６５とを含みうる。入力層７６１は、入力データ７６６として、現在を含む過去Ｎ_ａ制御周期分の操作指令の偏差を入力しうる。１又は複数の中間層７６２、出力層７６３、活性化関数７６４を介して出力層７６５の出力データ７６９として、確率密度関数の一種であるベータ分布の係数αとβが決定されうる。第２操作量を決定する際は、係数α，βで表されるベータ分布を、第２操作量の範囲［Ｆｍｉｎ， Ｆｍａｘ］になるようスケーリングする。

学習フェーズでは、方策ネットワークを持つＰＰＯなどの強化学習手法を用いて学習を行い、確率密度関数に従うサンプルを生成することで第２操作量は決定しうる。確率密度関数で表される確率分布からのサンプリングには逆関数法や棄却採択法など確率密度関数の種類に応じて適切な疑似乱数生成アルゴリズムを用いることができる。これにより、探索行動を行いながら学習をすることができる。一方、学習フェーズが終了した状態でのパラメータ値、又は最大報酬が得られたパラメータ値などを用いる運用フェーズでは、出力データ７６９である係数α，βで表されるβ分布の中で最も高い確率となる操作量候補に上記スケーリングを行い出力とするができる。しかし、既に述べたように、ステージ制御などのローパスフィルターのような過渡応答を示す系では、操作量の累積値がステージ応答に影響を及ぼす。そのため、学習フェーズにおける確率密度関数からサンプリングした場合に比べて、最大確率をもつ操作量を選択し続ける場合の報酬が減少してしまうことがある。そこで、（３）式で表されるβ分布の期待値Ｅに応じて第２操作量を決定するとよい。

・・・（３）

例えば、上記の期待値Ｅに対して上記スケーリングを行うことによって第２操作量を決定することができ、これにより、学習フェーズと同様の効果を得ることができる。操作量決定器７４の動作は、上述のとおりである。また、学習フェーズで用いる学習方法として方策ネットワークを持たない強化学習手法を用いてもよい。

このように、ステージ制御などのローパスフィルターのような過渡応答を示す系において、連続値の出力を行うニューラルネットワークを用いる場合でも、運用フェーズ時に期待値を出力とすることで、学習フェーズ時と同等の偏差抑制効果を得ることができる。

図１１には、ステージ制御装置の他の具体化例が示されている。上述の例では、操作指令と位置情報の差分（偏差）がニューラルネットワーク補償器７２あるいはニューラルネットワーク７３に供給される。しかし、ニューラルネットワークのパラメータ値の良否は、制御対象の偏差データに基づいて計算される報酬によって判断されうる。そのため、必ずしも操作指令と位置情報との差分（偏差）をニューラルネットワーク補償器７２の入力とする必要はなく、操作指令およびセンサ６の出力から得られた位置情報のいずれかもしくは両方を入力としてもよい。なお、この場合でもニューラルネットワーク補償器７２への入力は必ずしも位置情報である必要はなく、例えば速度、加速度、ジャークでもよい。このような構成においても、運用フェーズにおいて、ニューラルネットワーク７３から出力される確率分布の期待値に応じて第２操作量を決定することができる。このように、ニューラルネットワーク補償器７２の入力を操作指令と位置情報の差分（偏差）としない場合でも、運用フェーズにおいて確率分布の期待値を第２操作量とすることで、学習フェーズ時と同等の偏差抑制効果を得ることができる。

以上の説明では、補償器７１から出力される第１操作量とニューラルネットワーク補償器７２から出力される第２操作量とを加算することによってドライバ８に供給する操作量が生成されるが、補償器７１は必ずしも必要ではない。例えば、ニューラルネットワーク補償器７２から出力される第２操作量がそのままドライバ８に供給されてもよい。

図１２には、上記のシステムをリソグラフィー装置の一例としての走査露光装置８００に適用した例が示されている。走査露光装置８００は、スリットによって整形されたスリット光により基板１４を走査露光するステップ・アンド・スキャン方式の露光装置である。走査露光装置８００は、照明光学系２３、原版ステージ１２、投影光学系１３、基板ステージ１５、原版ステージ位置計測部１７、基板ステージ位置計測部１８、基板マーク計測部２１、基板搬送部２２、制御部２４、および、温度制御器２５を含みうる。

制御部２４は、照明光学系２３、原版ステージ１２、投影光学系１３、基板ステージ１５、原版ステージ位置計測部１７、基板ステージ位置計測部１８、基板マーク計測部２１、基板搬送部２２を制御しうる。制御部２４は、原版１１に形成されたパターンを基板１４に転写する処理（基板１４を走査露光する処理）を制御しうる。制御部２４は、例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略。）などのＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅの略。）、又は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略。）、又は、プログラムが組み込まれた汎用コンピュータ、又は、これらの全部または一部の組み合わせによって構成される。また、制御部２４はアクチュエータを制御するドライバも含む。

照明光学系２３は、原版１１を照明する。照明光学系２３は、マスクキングブレードなどの遮光部材により、光源（不図示）から射出された光を、例えばＸ方向に長い帯状または円弧状の形状を有するスリット光に整形し、そのスリット光で原版１１の一部を照明しうる。原版１１および基板１４は、原版ステージ１２および基板ステージ１５によってそれぞれ保持されており、投影光学系１３を介して光学的にほぼ共役な位置（投影光学系１３の物体面および像面）にそれぞれ配置される。

投影光学系１３は、所定の投影倍率（例えば１／２倍や１／４倍）を有し、原版１１のパターンをスリット光により基板１４上に投影する。原版１１のパターンが投影された基板１４上の領域（スリット光が照射される領域）は、照射領域と呼ばれる。原版ステージ装置１２および基板ステージ１５は、投影光学系１３の光軸方向（Ｚ方向）に直交する方向（Ｙ方向）に移動可能に構成されている。原版ステージ１２および基板ステージ１５は、それぞれ不図示のドライバによって、互いに同期しながら、投影光学系１３の投影倍率に応じた速度比で相対的に走査駆動される。これにより、照射領域に対して基板１４がＹ方向に走査され、原版１１に形成されたパターンが基板１４上のショット領域に転写される。そして、このような走査露光を、基板ステージ１５を移動させながら、基板１４の複数のショット領域の各々について順次に行うことにより、１枚の基板１４における露光処理が完了する。

原版ステージ位置計測部１７は、例えばレーザ干渉計を含み、原版ステージ１２の位置を計測する。レーザ干渉計は、例えば、レーザ光を原版ステージ１２に設けられた反射板（不図示）に向けて照射し、反射板で反射されたレーザ光と基準面で反射されたレーザ光との干渉によって原版ステージ１２の変位（基準位置からの変位）を検出する。原版ステージ位置計測部１７は、当該変位に基づいて原版ステージ１２の現在位置を取得することができる。ここで、原版ステージ位置計測部１７は、レーザ光を用いたレーザ干渉計によって原版ステージ１２の位置を計測しているが、それに限られるものではなく、例えば、エンコーダによって原版ステージ１２の位置を計測してもよい。

基板ステージ位置計測部１８は、例えばレーザ干渉計を含み、基板ステージ１５の位置を計測する。レーザ干渉計は、例えば、レーザ光を基板ステージ１５に設けられた反射板（不図示）に向けて照射し、反射板で反射されたレーザ光と基準面で反射されたレーザ光との干渉によって基板ステージ１５の変位（基準位置からの変位）を検出する。基板ステージ位置計測部１８は、当該変位に基づいて基板ステージ１５の現在位置を取得することができる。ここで、原版ステージ位置計測部１７は、レーザ光を用いたレーザ干渉計によって基板ステージ１５の位置を計測しているが、それに限られるものではなく、例えば、エンコーダによって基板ステージ１５の位置を計測してもよい。

基板マーク計測部２１は、例えば撮像素子を含み、基板上に設けられたマークの位置を検出することができる。ここで、本実施形態の基板マーク計測部２１は、撮像素子によってマークが検出されるが、それに限られるものではなく、例えば透過型センサによってマークが検出されてもよい。基板搬送部２２は、基板を基板ステージ１５に供給および回収する。温度制御機２５は露光装置内の温度や湿度を一定に保つ。

図１３には、図１２に例示された露光装置の動作例が示されている。ステップＳ９０１では、基板搬送部２２によって基板１４が基板ステージ１５の上に供給される。ステップＳ９０２では、露光レシピにおいて指定された基板１４上のマークが基板マーク検出部２１の計測視野内に入るように基板ステージ１５が駆動され、基板１４のアライメントが実施される。ステップＳ９０３では、基板１４の各ショット領域について、基板１４が走査露光される。露光順序および露光画角は、露光レシピによる指定に従う。ステップＳ９０４では、基板搬送部２２によって基板１４が基板ステージから回収される。

以下、上記のシステムを基板ステージ（可動部）１５の制御に適用した例を説明する。図２におけるセンサ６は基板ステージ位置計測部１８に相当し、制御基板７は制御部２４に相当し、ドライバ８は不図示の基板ステージドライバに相当し、ステージ５は基板ステージ１５に相当する。上記のシステムを基板ステージ１５の制御に適用することで、基板ステージ１５を駆動した後の偏差が収束するまでの時間である整定時間を短縮できるので、露光装置の精度向上およびスループットを向上させることができる。基板ステージ１５を制御する系においても、運用フェーズにおいて、操作量を決定するための確率分布の期待値に応じて操作量を決定することで、学習フェーズ時と同等の偏差抑制効果を得ることができる。

以下、上記のシステムを原版ステージ（可動部）１２の制御に適用した例を説明する。図２における制御基板７は制御部２４に相当し、ドライバ８は不図示の原版ステージドライバに相当し、センサ６は原版ステージ位置計測部１７に相当し、ステージ５は原版ステージ１２に相当する。原版ステージ１２を制御する系においても、運用フェーズにおいて、操作量を決定するための確率分布の期待値に応じて操作量を決定することで、学習フェーズ時と同等の偏差抑制効果を得ることができる。

以下、上記のシステムを基板搬送部（可動部）２２の制御に適用した例を説明する。図２における制御基板７は制御部２４に相当し、ドライバ８は不図示の基板搬送部ドライバ（例えば、ＡＣサーボモータ）に相当し、センサ６は不図示のロータリーエンコーダに相当し、ステージ５は基板搬送部２２に相当する。上記のシステムを基板搬送部２２の制御に適用することで、基板搬送部２２の駆動中の偏差を抑制することができ、基板１４を基板ステージ１５に供給する際の供給位置の再現性を向上することができる。また、加速度、速度を上げつつ、偏差を抑制することで、スループットを向上することもできる。基板搬送部２２を制御する系においても、運用フェーズにおいて、操作量を決定するための確率分布の期待値に応じて操作量を決定することで、学習フェーズ時と同等の偏差抑制効果を得ることができる。

ここまで、走査露光装置における基板ステージ、原版ステージ、基板搬送部の駆動装置への適用について述べたが、本発明は、走査露光装置における他の駆動装置に適用してもよい。また、本発明は、原版および基板を静止させて露光する露光装置に適用してもよいし、他のリソグラフィー装置、例えば、インプリント装置に適用してもよい。更に本発明は、制御対象を制御する他の制御装置に適用してもよい。

次に、前述のリソグラフィー装置を利用して物品（半導体ＩＣ素子、液晶表示素子、ＭＥＭＳ等）を製造する物品製造方法を説明する。物品は、リソグラフィー装置を用いて、基板に原版のパターンを転写する転写工程と、該パターンが転写された該基板を処理して物品を得る処理工程とを含みうる。リソグラフィー装置が露光装置である場合、物品製造方法は、感光剤が塗布された基板（ウェハ、ガラス基板等）を露光することによって基板に原版のパターンを転写する転写工程と、該パターンが転写された該基板を処理して物品を得る処理工程とを含みうる。該処理工程は、その基板（感光剤）を現像する工程を含みうる。該処理工程は、更に他の周知の工程、例えば、エッチング、レジスト剥離、ダイシング、ボンディング、パッケージングのための工程を含みうる。本物品製造方法によれば、従来よりも高品位の物品を製造することができる。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

なお、今回の一連の実施形態は、ステージ制御装置および露光装置を用いて説明したが、他の構成の制御装置でも構わない。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

Claims (15)

1. 制御対象を制御する制御装置であって、
   制御指令と前記制御対象の状態を示す状態情報との差分に基づいて確率分布を生成する生成器と、
   前記生成器が生成した前記確率分布に基づいて操作量を決定する決定器と、を備え、
   前記決定器は、前記確率分布の期待値に応じて前記操作量を決定する、
   ことを特徴とする制御装置。
2. 前記決定器は、
   学習フェーズにおいて、暫定的に設定されている確率分布に従ってランダムに決定される確率変数の値を前記操作量として決定し、
   運用フェーズにおいて、前記確率分布の期待値に応じて前記操作量を決定する、
   ことを特徴とする請求項１に記載の制御装置。
3. 前記学習フェーズにおいて、前記決定器が決定する前記操作量に従って制御される前記制御対象の制御結果に基づいて、前記生成器の動作を定義するパラメータ値を設定する設定部を更に備える、
   ことを特徴とする請求項２に記載の制御装置。
4. 前記確率分布は、確率質量関数である、
   ことを特徴とする請求項１乃至３のいずれか１項に記載の制御装置。
5. 前記生成器は、複数の操作量候補のスコアを生成するニューラルネットワークを含む、
   ことを特徴とする請求項４に記載の制御装置。
6. 前記生成器は、前記ニューラルネットワークの出力を確率質量関数に変換する変換器を更に含む、
   ことを特徴とする請求項５に記載の制御装置。
7. 前記変換器は、前記ニューラルネットワークの出力に対してソフトマックス関数に従う変換を施す、
   ことを特徴とする請求項６に記載の制御装置。
8. 前記確率分布は、確率密度関数である、
   ことを特徴とする請求項１乃至３のいずれか１項に記載の制御装置。
9. 前記状態情報は、前記制御対象の位置である、
   ことを特徴とする請求項１に記載の制御装置。
10. 前記状態情報は、前記制御対象の速度、加速度およびジャークのうちの１つである、
    ことを特徴とする請求項１に記載の制御装置。
11. 前記制御指令と前記状態情報との差分に基づいて第１操作量を生成する第１補償器と、
    前記第１操作量と前記決定器が決定する前記操作量とを加算した合成操作量を生成する加算器と、備え
    前記合成操作量が前記制御対象を駆動するドライバに供給される、
    ことを特徴とする請求項１に記載の制御装置。
12. 制御対象を制御する制御装置であって、
    制御指令と前記制御対象の状態を示す状態情報とに基づいて確率分布を生成する生成器と、
    前記生成器が生成した前記確率分布に基づいて操作量を決定する決定器と、を備え、
    前記決定器は前記確率分布の期待値に応じて前記操作量を決定する、
    ことを特徴とする制御装置。
13. 基板に原版のパターンを転写するリソグラフィー装置であって、
    可動部と、
    前記可動部を制御するように構成された請求項１乃至１２のいずれか１項に記載の制御装置と、
    を備えることを特徴とするリソグラフィー装置。
14. 前記可動部は、基板ステージ、原版ステージ、または、基板搬送部のいずれかである、
    ことを特徴とする請求項１３に記載のリソグラフィー装置。
15. 請求項１４に記載のリソグラフィー装置を用いて、基板に原版のパターンを転写する工程と、
    前記パターンが転写された前記基板を処理して物品を得る工程と、
    を含むことを特徴とする物品製造方法。