JP5279299B2

JP5279299B2 - 反復学習制御回路を備える位置制御装置、露光装置及びデバイス製造方法

Info

Publication number: JP5279299B2
Application number: JP2008050126A
Authority: JP
Inventors: 清志 ▲高▼木
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-02-29
Filing date: 2008-02-29
Publication date: 2013-09-04
Anticipated expiration: 2028-02-29
Also published as: JP2009205641A; TWI418947B; EP2096494B1; KR20090093879A; KR101068319B1; US8676355B2; US20090222109A1; TW201001086A; EP2096494A1

Description

本発明は反復学習制御回路を備える位置制御装置に関するものである。好適には、位置制御装置は露光装置や工作機械におけるステージ装置に適用される。

反復学習制御とは、制御対象の目標軌道に対する追従制御（試行）を繰り返し行うことで、目標軌道に対する偏差を少なくし、高精度な制御を実現するものである。一般に、制御対象に加えた入力と、それに対する出力のみを用いて学習が行えるため、制御モデルに含めることが難しい非線形性や、量子化誤差などを補償することができる。制御対象には、同じ入力に対して同じ出力が得られるような再現性が要求されるが、スキャン方式の半導体露光装置や産業ロボットなどはこの条件を概ね満たしている。そのため、反復学習制御による制御性能の向上が期待され、すでにいくつかの例が示されている。

反復学習制御において、ある試行によって得られた出力にもとづいて次の試行の入力を更新するアルゴリズムを学習則という。学習則の代表的なものとして、偏差の２回微分値に定数行列を乗じて入力値を生成するものがある。また、学習則としてＰＤ補償器のようなものを用いることによって制御対象のモデルを求めずに反復学習制御を行う方法も知られている。

また、Ｍｏｏｒｅらはモデルベースの学習則を提案している。この学習則は、学習フィルタと安定化フィルタを備えている。さらに、ＤｅＲｏｏｖｅｒらは、この学習フィルタをＨ∞制御理論を利用して求めている（非特許文献１）。

また、特許文献１には上述のモデルベースの学習則に加えて、偏差の時間−周波数解析を導入して、安定化フィルタを時間とともに変化させることが記載されている。これによりノイズが学習に与える影響を抑えて、学習の効率化を図っている。
Ｓｙｎｔｈｅｓｉｓｏｆｒｏｂｕｓｔｍｕｌｔｉｖａｒｉａｂｌｅｉｔｅｒａｔｉｖｅｌｅａｒｎｉｎｇｃｏｎｔｒｏｌｌｅｒｓｗｉｔｈａｐｐｌｉｃａｔｉｏｎｔｏａｗａｆｅｒｓｔａｇｅｍｏｔｉｏｎｓｙｓｔｅｍ，ＤＩＣＫＤＥＲＯＯＶＥＲａｎｄＯＫＫＯＨ．ＢＯＳＧＲＡ，ＩＮＴ．Ｊ．ＣＯＮＴＲＯＬ，２０００，ＶＯＬ．７３，ＮＯ．１０，９６８−９７９ＵＳ７，１８１，２９６Ｂ２

反復学習制御は試行を反復することによって適切な入力を得るため、目標軌道に高精度に追従するための入力を得るためには時間を要する。例えば、半導体露光装置では処理時間（スループット）が装置にとって重要な性能であるため、この学習時間をできるだけ短くすることが望まれる。

試行回数を減らして適切な入力を得るためには、制御対象のモデルの情報を積極的に活用することが考えられる。しかしながら、上述の文献において学習フィルタは線形時不変のモデルを用いて導出されており、学習フィルタは線形時不変である。

そのため、試行の最中にモデルのパラメータが変動すると、モデルと学習フィルタとの整合がとれなくなってしまう。その結果として学習性能が劣化して、かえって試行回数が多くなってしまう。

本発明は、上述の点に鑑みなされたものであり、反復学習制御において試行回数を低減し、反復学習にかかる時間を短縮することを目的とする。

本発明の位置制御装置は、制御対象の位置を検出する検出部と、前記検出部の出力を目標値から減算する減算部と、前記検出部の出力と前記目標値との偏差が入力される第１フィルタと、所定の帯域を遮断する線形時不変の第２フィルタを含み、前記制御対象に制御入力をフィードフォワードする反復学習制御回路と、を備える位置制御装置であって、前記制御対象のパラメータ変動を算出する算出手段を備え、前記制御対象のパラメータ変動に応じて前記第１フィルタの特性が変更されることを特徴としている。

本発明によれば、制御対象にパラメータ変動が生じた場合であっても、反復学習にかかる時間を短縮しつつ、高精度な位置制御を行うことができる。

図１は本発明の例示的な位置制御装置の制御ブロック図である。位置制御装置７は制御対象Ｐ（ｐ）の位置を制御する。位置制御装置７は、フィードバック制御器Ｋと、制御対象Ｐ（ｐ）の位置ｙ_ｋを検出する検出部１と、目標値ｒから検出部１の出力を減算する減算部２とを備える。また位置制御装置７は、制御対象Ｐ（ｐ）に反復学習された制御入力を与える反復学習制御回路６を備える。

反復学習制御は、目標軌跡に対する追従動作を反復して行うことによって、目標軌跡に対する偏差を低減するものである。以下の説明において試行回数をｋとして表す。

反復学習制御回路６は、制御入力を生成する学習フィルタＬ（ｐ）（第１フィルタ）と、学習フィルタＬ（ｐ）の学習に不要な周波数帯域を遮断する安定化フィルタＱ（第２フィルタ）と、生成された制御入力を記憶するメモリ５とを備える。

目標値ｒと検出部１の出力との偏差ｅ_ｋ（ｋ回目の偏差）は学習フィルタＬ（ｐ）に入力され、学習フィルタＬ（ｐ）の出力が加算部４に入力される。また、ｋ回目の制御入力ｆ_ｋが加算部４に入力される。加算部４からの出力は、安定化フィルタＱに入力される。安定化フィルタＱの出力はｋ＋１回目の制御入力ｆ_ｋ＋１としてメモリ５に記憶される。メモリ５に記憶された制御入力ｆ_ｋ＋１はｋ＋１回目の追従制御において制御対象にフィードフォワード入力として加えられる。すなわち、フィードバック制御器Ｋの出力ｕ_ｋ＋１に加算部３で加算される。

本発明の特徴として、制御対象Ｐ（ｐ）のパラメータｐの変動を検出または推定するパラメータ変動算出部Ｚを備える。そして、このパラメータ変動に応じて学習フィルタＬ（ｐ）の特性が変更される。

パラメータ変動を検出または推定するためには、例えば、予めメモリ（不図示）に制御対象の物理量とパラメータ変動との相関関係を情報（例えばテーブルや関数）として記憶しておき、追従制御中にこの物理量をセンサなどで検出してパラメータ変動を求めればよい。

つぎに、学習フィルタＬ（ｐ）の導出方法について説明をする。

学習フィルタＬ（ｐ）を導出するために、まず、制御対象Ｐ（ｐ）をパラメータ変動を含む線形パラメータ変動系（ＬｉｎｅａｒＰａｒａｍｅｔｅｒＶａｒｙｉｎｇ、以下ＬＰＶと略する）のモデルとして表す。

一般にＬＰＶ系はその状態空間行列がパラメータｐの関数となっているプラントであり、以下のように表される。

ここで、図１に示されるフィードバック制御系において、制御対象Ｐ（ｐ）とフィードバック制御器Ｋとの閉ループ系Ｐ_ｃｌ（ｐ）を以下のように定義する。ここで、フィードバック制御器Ｋはパラメータ変動に応じて変動することのない固定フィードバック制御器を用いている。

本形態では、学習フィルタＬ（ｐ）を以下のようにＬＰＶ系として表す。

また、図１に示される反復学習制御回路の場合、制御入力は以下のように定義される。

以上の式より、偏差ｅ_ｋ＋１とｅ_ｋの関係は以下のように表される。

反復学習により偏差が収束するためには、以下の条件を満たせばよい。

この条件を満たすように学習フィルタＬ（ｐ）を導出することが必要となるが、上記問題は、図３の制御ブロック図（図１を等価変換した図）で表すことができる。図３において、破線で囲まれた部分をＰ_ｈ（ｐ）とすると、Ｐ_ｈ（ｐ）の変動に対してＬ（ｐ）を変動させるゲインスケジュールドＨ∞制御問題として扱うことができる。したがって、線形行列不等式を用いることで、変動するパラメータのｉ個の点に対応した線形時不変学習フィルタＬ_ｉを求めることができる。なお、以下の説明では、線形行列不等式（ＬｉｎｅａｒＭａｔｒｉｘＩｎｅｑｕａｌｉｔｙ）をＬＭＩと略し、線形時不変学習フィルタ（ＬｉｎｅａｒＴｉｍｅＩｎｖａｒｉａｎｔ）をＬＴＩ学習フィルタと略す。ＬＴＩ学習フィルタＬ_ｉは以下の行列として表される。

例えば、変動するパラメータの数が１のときは、パラメータの端点の数は２であるので、各端点のＬＴＩ学習フィルタＬ_１，Ｌ_２（不変フィルタ）が求まる。

ここで、以下のような補間演算式を用いて２つのＬＴＩ学習フィルタ間を補うことで、パラメータｐの変動に応じて学習フィルタＬ（ｐ）の特性を変更することができる。すなわち、学習フィルタＬ（ｐ）が補間演算部を備える。

ここで、ｐ_ｍｉｎは下限値、ｐ_ｍａｘは上限値を表す。

図４に式（１０）の制御ブロック図を示す。ここでＬ_１の係数を定数Ｃ_１として、Ｌ_２の係数を定数Ｃ_２として表している。定数Ｃ_１と学習フィルタＬ_１の積と、定数Ｃ_２と学習フィルタＬ_２の積とが加算されて、ＬＰＶ学習フィルタＬ（ｐ）が求まる。

つぎに、図１の位置制御装置を用いた場合の反復学習制御のフローについて説明する。

図２は反復学習制御のフローを示す図である。

ステップＳ１において、１回目の試行を行う。ここでは、反復学習制御回路からの入力を行わずに制御を行う。偏差ｅ_１が学習フィルタＬ（ｐ）に入力され、その出力が安定化フィルタＱを通過してｆ_２としてメモリ５に記憶される。

ステップＳ２において、ｋ回目（ｋ＞１）の試行を開始する。なお、制御はディジタル制御で行われるので、ｋ回目の試行におけるｉサンプル目の制御入力および偏差をｆ_ｋｉ，ｅ_ｋｉと表す。ここで、１回の試行の総サンプル数をｊとする。初期条件として、偏差の最大値ｅ_ｍａｘ＝０として、サンプル数ｉ＝０とする。

ステップＳ３において、前回メモリに記憶された制御入力ｆ_ｋを制御器からの出力ｕ_ｋに加える。このようにしてｋ回目の試行において制御対象は制御される。

また、ｋ回目の試行において、ｋ＋１回目の制御入力が以下ステップＳ４〜Ｓ５の手順で生成される。

ステップＳ５において、パラメータ変動算出部Ｚはｉサンプル目のパラメータｐ_ｉを検出または推定し、その結果にもとづいて学習フィルタＬ_ｉ（ｐ_ｉ）が算出される。算出方法として例えば上述した数式（１０）が用いられる。このようにして学習フィルタＬ_ｉ（ｐ_ｉ）が変更される。

ステップＳ５において、偏差ｅ_ｋｉが学習フィルタＬ_ｉ（ｐ_ｉ）に入力され、その出力が制御入力ｆ_ｋｉと加算された後に安定化フィルタＱを通過してｆ_{（ｋ＋１）ｉ}としてメモリ５に記憶される。

ステップＳ６において、偏差ｅ_ｋｉと偏差の最大値ｅ_ｍａｘを比較し、偏差ｅ_ｋｉ＞ｅ_ｍａｘの場合にｅ_ｍａｘが更新される。

ステップＳ７において、ｊ＜ｉであればステップＳ８にすすみ、ｊ≧ｉであればｉ＝ｉ＋１としてステップＳ３にすすむ。

ステップＳ８において、ｋ回目の試行を終了する。

ステップＳ９において、偏差の最大値ｅ_ｍａｘを予め設定した設定値と比較し、設定値よりも小さい場合に偏差が十分小さいと判断して学習を終了する。偏差の最大値ｅ_ｍａｘが設定値よりも大きい場合には、ｋ＝ｋ＋１としてステップＳ２にすすむ。

以上の反復学習制御を用いて位置を制御することにより、従来の学習フィルタを変動させない反復学習制御と比べて、所定の偏差以下にするために要する試行回数を低減することが可能であり、反復学習にかかる時間を短縮できる。

なお、以下の実施例１乃至３において好適なパラメータの例と、効果を示すデータについて説明を行う。

実施例１ではパラメータが制御対象を駆動する駆動手段の推力定数を含む例を説明する。

図１を用いて本実施例の位置制御装置について説明する。図１で説明した箇所については重複をさけるため説明を省略する。パラメータ変動算出部Ｚはパラメータ変動を算出する。具体的には、パラメータ変動算出部Ｚは、予め求めた制御対象の位置と推力定数との相関関係を表す情報を不図示のメモリに格納し、この情報と、センサ１によって検出された制御対象Ｐの位置とにもとづいて、推力定数の変動を算出する。後述するようにパラメータは推力定数を含む式で表されるため、推力定数の変動からパラメータ変動を算出することができる。

ここで、制御対象の位置と推力定数との相関関係を表す情報は、例えば制御対象を移動させながら図５に示すような推力リプルを検出して、この推力リプルから推力定数を求めることによって得ることができる。

つぎに、パラメータｐが推力定数を含む場合のＬＰＶ系のモデルの導出方法および学習フィルタＬ（ｐ）の導出方法について説明をする。

制御対象の質量をｍ、変位をｘ、制御対象への力入力をｕ_ｕ、制御対象を駆動する駆動手段の推力定数をａとしたときに、制御対象は以下のようにモデリングされる。

このモデルをＬＰＶモデルの一形式であるアフィンパラメータ依存モデルに変形する手順を以下に示す。まず、状態ベクトルを

として、式（１１）より状態方程式を求めると、

となる。ここで、

とおくと、

となる。ここで、出力方程式を以下のものとする。

さらに、アクチュエータのアンプ特性を以下のような状態方程式、出力方程式とする。

ここで、ｘ_ｗ＝［ｘｘ_ｆ］^Ｔとして、式（１５），式（１６）との拡大形を構成すると、

となる。ここで、システム行列は以下のようになる。

このように、パラメータｐを含まない行列Ａ_０と、パラメータｐの係数のみの行列Ａ_１に分割して表すことができる。これより、式（２１）は以下のようなアフィンパラメータ依存モデルとなる。

式（２２）のモデルとフィードバック制御器を用いた閉ループ系Ｐ_ｃｌ（Ｐ）と、安定化フィルタＱとを含む制御系に、重み関数Ｗと定数δと制御量Ｚ_２を導入して一般化プラントを構成すると、図６のようになる。したがって、ＬＭＩに基づくゲインスケジュールドＨ_∞制御理論により変動するパラメータのｉ個の点に対応したＬＴＩ学習フィルタＬｉを導出することができる。ここで、安定化フィルタＱをカットオフ周波数３５０Ｈｚの１次のローパスフィルタとする。

また、重み関数Ｗは、

とする。また、δは微小な定数である。

推力定数ａの変動の幅を以下のようにする。

そうすると、パラメータｐは以下の範囲で変動する。

導出されたＬＰＶ学習フィルタを図７に示す。実線と破線はそれぞれ、パラメータｐが上限値ｐ_ｍａｘの時と下限値ｐ_ｍｉｎとなったときの学習フィルタを示す。学習フィルタをそれぞれＬ_１，Ｌ_２とすると、推力リプルによるパラメータｐの変動に適応するＬＰＶ学習フィルタは式（１０）から求められる。

また、この実施例では、安定化フィルタＱには、零位相ローパスフィルタを用いている。零位相ローパスフィルタは実時間での処理が行えないため、図９に示すように、制御誤差ｅ_ｋとパラメータｐについてもメモリに蓄積する。そして、学習は一回の試行が終了する度ごとに行われる。具体的なフローについて以下に説明する。手順を図１０のフローチャートに示す。

ステップＳ１１において、１回目の試行を行う。ここでは、反復学習制御回路からの入力を行わずに制御を行う。偏差ｅ_１がメモリ１１に記憶される。また、パラメータｐ_１がパラメータ変動算出部Ｚにより算出され、メモリ１２に記憶される。偏差ｅ_１が学習フィルタＬ（ｐ）に入力され、その出力が安定化フィルタＱを通過してｆ_２としてメモリ５に記憶される。

ステップＳ１２において、ｋ回目（ｋ＞１）の試行を開始する。このとき、前回メモリ５に記憶された制御入力ｆ_ｋを制御器からの出力ｕ_ｋに加える。このようにしてｋ回目の試行において制御対象は制御される。また、ｋ回目の試行において、ｋ＋１回目（ｋ＞１）の制御入力ｆ_ｋ＋１が以下のＳ１５〜Ｓ１８でオフライン生成される。なお、制御はディジタル制御で行われるので、ｋ回目の試行におけるｉサンプル目の制御入力および偏差をｆ_ｋｉ，ｅ_ｋｉと表す。また、ｇ _ｋは、ｋ回目の試行における加算部４の出力であり、ｉサンプル目の出力をｇ _ｋｉとする。ここで、１回の動作の総サンプル数をｊとする。初期条件として、偏差の最大値ｅ_ｍａｘ＝０として、サンプル数ｉ＝０とする。

ステップＳ１３において、偏差ｅ_ｋがメモリ１１に記憶される。また、パラメータｐ_ｋがパラメータ変動算出部Ｚにより算出され、メモリ１２に記憶される。さらに、偏差ｅ_ｋの最大値ｅ_ｍａｘが検出される。

ステップＳ１４において、偏差の最大値ｅ_ｍａｘを予め設定した設定値と比較し、設定値よりも小さい場合に偏差が十分小さいと判断して学習を終了する。偏差の最大値ｅ_ｍａｘが設定値よりも大きい場合には、ｋ＝ｋ＋１としてステップＳ１５にすすむ。

ステップＳ１５において、ｉサンプル目のパラメータｐ_ｋｉをメモリ１２から呼び出し、その結果にもとづいて学習フィルタＬ_ｉ（ｐ_ｉ）が算出される。具体的には学習フィルタは式（１０）により算出される。

ステップＳ１６において、メモリからｉサンプル目の偏差ｅ_ｋｉが呼び出され学習フィルタＬ_ｉ（ｐ_ｉ）に入力され、その出力が制御入力ｆ_ｋｉに加算される。このようにして出力ｇ_ｋｉが算出される。

ステップＳ１７において、ｊ＜ｉであればステップＳ１８にすすみ、ｊ≧ｉであればｉ＝ｉ＋１としてステップＳ１５にすすむ。

ステップＳ１８において、出力ｇ_ｋは零位相ローパスフィルタである安定化フィルタＱを通過してｆ_{（ｋ＋１）}としてメモリに記憶される。

ステップＳ１９において、ｋ＝ｋ＋１としてＳ１２に進み、次の試行を開始する。以上のステップを繰り返すことによって学習制御を行う。

以下、本実施例のシミュレーション結果について説明する。

シミュレーションとして、図８に示した目標軌跡（位置プロファイル）に制御対象を追従制御させる。なお、上述の反復学習による制御入力、フィードバック入力に加えて、位置プロファイルから求めた加速度を定数倍したフィードフォワード入力を与えている。

図１１は１０回の試行を行った場合の偏差を示す図である。ＬＰＶ学習フィルタを用いた反復学習制御を実線で示し、学習フィルタとして固定パラメータを用いた反復学習制御（以下、ＬＴＩ反復学習制御と略す）を破線で示す。ＬＴＩ反復学習制御に比べてＬＰＶ反復学習制御の方が、偏差を小さくできることが分かる。これは、ＬＰＶ反復学習制御が、変位ｘにおける推力定数ａの値を図５に示す関係から求め、式（１４）のようにパラメータｐを求め、ＬＰＶ学習フィルタを変動させることにより推力変動に適応しているためである。

図１２は、ＬＴＩ反復学習制御で４０回の試行を行った場合の偏差と、ＬＰＶ反復学習制御で１０回の試行を行った場合の偏差を比較する図である。前者を実線で示し、後者を破線で示す。ＬＰＶ反復学習制御を用いることによって、ＬＴＩ反復学習制御の四分の一程度の反復回数で偏差を抑えることができている。

また、推力変動の補償方法として、得られている推力リプルのデータをもとに

のように制御入力を補正する方法が考えられる。しかし、この手法はフィードバック制御系を直接補正しているため、推力リプルのデータが実際と異なっていたときに安定性を損なう可能性がある。ＬＰＶ反復学習制御は反復試行によりフィードフォワード入力を生成するため、閉ループ系の安定性を損なうことはない。

図１３に実際の推力変動が事前に得られた推力リプルのデータより３ｍｍずれているときのシミュレーション結果を示す。ＬＰＶ学習フィルタを用いて１０回の試行を行った場合の偏差を実線で示し、上述の推力定数の直接補償とＬＴＩ反復学習制御を用いた場合の偏差を破線で示す。ＬＴＩ反復学習制御はフィードバック制御系の性能劣化により偏差が大きくなっているが、ＬＰＶ反復学習制御は図１１の応答と比べてほとんど劣化していない。これより、ＬＰＶ反復学習制御のロバスト性が確認できる。

実施例２ではパラメータが制御対象への外乱力を含む例を説明する。外乱力は本来モデルのパラメータではないため、外乱力を等価的にシステムの減衰力として扱う。

図１を用いて本実施例の位置制御装置について説明する。図１で説明した箇所については重複をさけるため説明を省略する。パラメータ変動算出部Ｚは、外乱オブザーバを有し、この外乱オブザーバにより制御入力と変位から外乱力を推定し、この外乱力を用いてパラメータ変動を算出することができる。

つぎに、パラメータが外乱力を含む場合のＬＰＶ系のモデルの導出方法について説明する。

制御対象の質量をｍ、変位をｘ、制御対象への力入力をｕ_ｕ、外乱力をｇとすると、制御対象のモデルは以下のようにモデリングされる。

ここで、

のように拡張線形化を行い、式（２７）の状態方程式を求めると、

のように、外乱力をシステム行列に入れることができる。ここで、

とおく。ただし、

のときは、

とする。そして、［実施例１］と同じく、アクチュエータのアンプ特性との拡大形を構成すると、以下のような外乱力によってモデルが変動するアフィンパラメータ依存モデルとなる。

そして、［実施例１］と同様の一般化プラントを用いて、ＬＰＶ学習フィルタを導出する。このとき、パラメータｐの変動範囲を

とし、ｐが変動の範囲の上限値ｐ_ｍａｘ、下限値ｐ_ｍｉｎを超えた場合には、それぞれｐ_ｍａｘ，ｐ_ｍｉｎを用いる。

図１４はシミュレーションの条件として制御対象に加わる外乱を示す図である。外乱力は外乱オブザーバを用いて推定され、推定された外乱力と速度を用いて式（３０）からパラメータｐが算出される。そして、パラメータｐに対応するように、ＬＰＶ学習フィルタを変動させる。

具体的な学習のフローは、実施例１と同様であるため省略する。

なお、図１４の外乱と図８のプロファイルを用いたシミュレーションでは、パラメータｐは変動の上下限値を超えることはなかった。

図１５は４回の試行を行った場合の偏差を示す図である。ＬＰＶ学習フィルタを用いた反復学習制御を実線で示し、ＬＴＩ反復学習制御を破線で示す。ＬＰＶ反復学習制御では、０．０３秒から０．０５秒にかけて追従性能が高いことがわかる。ＬＴＩ反復学習制御ではさらに２回の試行を行わなければ、ＬＰＶ反復学習制御と同様の性能は得られなかった。このように、ＬＰＶ反復学習制御は外乱力を推定して適応するように学習フィルタを変動させるため、学習効果が高く、反復回数を低減させることができる。

実施例３ではパラメータが制御対象の姿勢角変動を含む例を説明する。図１を用いて位置制御装置について説明する。図１で説明した箇所については重複をさけるため説明を省略する。

パラメータ変動算出部Ｚは制御対象の姿勢角を検出するセンサ（姿勢検出部）を有する。

パラメータｐが制御対象の姿勢角を含む場合のＬＰＶ系のモデルの導出方法について説明する。図１６は制御対象としての移動体８６が制御入力ｕ_ｕを受けて移動する様子を示す図である。図において、横軸をｘ軸、紙面に垂直な軸をｙ軸とし、移動体８６のｙ軸回りの回転角をθｙとしている。

図１６のように、制御対象の底面に平行に推力が発生するとき、ｘ軸方向の推力は制御入力のｕ_ｕのｘ軸に水平な方向の分力であるので、ｕ_ｕｃｏｓθ_ｙとなる。制御対象の状態方程式は、

となる。ここで、

とおく。そして、［実施例１］と同じく、アクチュエータのアンプ特性との拡大形を構成すると、以下のような回転角によって変動するアフィンパラメータ依存モデルとなる。

つぎに、［実施例１］と同様の一般化プラントを用いて、ＬＰＶ学習フィルタを導出する。このとき、パラメータｐの変動範囲を

とする。

以下、本実施例のシミュレーション結果を示す。

回転角θ_ｙの制御はｘ軸方向とは別の制御系で制御されているものとする。そこでは、回転角θ_ｙはセンサで直接計測されている。そのため、そのセンサ情報から、式（３８）のようにパラメータ変動を算出し、ＬＰＶ学習フィルタを変動させることができる。

具体的な学習のフローは、実施例１と同様である。

図１８は４回の試行を行った場合の偏差を示す図である。ＬＰＶ学習フィルタを用いた反復学習制御を実線で示し、ＬＴＩ反復学習制御を破線で示す。ＬＰＶ反復学習制御では、０．０３秒から０．０７秒にかけて偏差が小さくなっている。ＬＴＩ反復学習制御ではさらに３回の試行を行わなければＬＰＶ反復学習制御と同様の性能は得られなかった。このように、ＬＰＶ反復学習制御はセンサで計測した出力を用いてパラメータ変動を算出し、この算出結果にもとづいて学習フィルタを変動させるため学習効果が高く、試行回数を低減させることができる。

（露光装置に適用した例）
図１９は、本発明の位置制御装置を適用した露光装置の概念図である。なお、本実施例では露光装置について例示的に説明するものであり、露光装置の構成はこの記述により限定されないものとする。

露光装置１００は、照明光学系８１と、レチクル８２を搭載して移動するレチクルステージ８３と、投影光学系８４と、ウエハ８５を搭載して移動するウエハステージ８６を備える。また、ウエハステージ８６の位置を検出するセンサ８８を備える。

照明光学系８１からの光はレチクル８２（原版）及び投影光学系８４を介してウエハ８５（基板）上に照射される。これにより、レチクル８２のパターンは投影光学系８４によって縮小投影されてウエハ上に結像する。

また、露光装置は制御ボックスに配置された制御基板８０を備え、この制御基板８０が上述の実施例における位置制御装置７を含む。制御基板８０として例えば公知のＤＳＰシステムを適用しうる。制御基板８０は、センサ８８、露光装置のメインＣＰＵ（不図示）、ステージ駆動用のドライバ（不図示）と通信可能に接続される。

以上の構成により、例えばセンサ８８から出力される位置信号にもとづいてパラメータ変動の検出または推定を行い、パラメータ変動を考慮して反復学習制御を行ってウエハステージの位置を制御する。

ここで、実際の露光を開始する前にステージをｋ回駆動して、偏差の最大値ｅ_ｍａｘが十分に小さくなってから露光を開始すればよい。偏差の最大値が十分小さくなった後は、制御入力ｆ_ｋの更新を行ってもよいし行わなくてもよい。

また、ウエハステージ８６ではなく、レチクルステージ８３の制御において本発明の位置制御装置を適用してもよい。

また、上述の露光装置を用いてデバイス（半導体集積回路素子、液晶表示素子等）が製造される。ここで、デバイス製造方法は、上述の露光装置を使用して感光剤を塗布したウエハ（基板）を露光する工程と、その基板を現像する工程と、他の周知の工程と、を備える。

ＬＰＶ反復学習制御を用いた位置制御回路を示す制御ブロック線図である。ＬＰＶ反復学習制御を用いた位置制御のフローチャート図である。ＬＰＶ学習フィルタの導出をゲインスケジュールドＨ∞制御問題に置き換えて示したブロック線図である。学習フィルタＬ（ｐ）を表すブロック線図である。制御対象の位置と推力リプルとの関係を表す図である。制御対象の変動を考慮した閉ループ系と安定化フィルタと重み関数を含む一般化プラントを表す図である。ＬＰＶ反復学習フィルタを表すゲイン線図である。制御対象の目標軌跡を表す図である。ＬＰＶ型反復学習制御において零位相ローパスフィルタを安定化フィルタとして用いた場合の位置制御回路を示す制御ブロック線図である。ＬＰＶ型反復学習制御において零位相ローパスフィルタを安定化フィルタとして用いた場合の位置制御のフローチャート図である。実施例１のシミュレーション結果を示す図である。実施例１のシミュレーション結果を示す図である。実施例１のシミュレーション結果を示す図である。制御対象に加わる外乱力を表す図である。実施例２のシミュレーション結果を示す図である。実施例３における制御対象の座標を示す説明図である。実施例における制御対象の移動および回転を示す図である。実施例３のシミュレーション結果を示す図である。反復学習制御装置を用いた露光装置を示す図である。

符号の説明

１検出部
２減算部
３，４加算部
５，１１，１２メモリ
６反復学習制御回路
７位置制御装置
８０制御基板
８１照明光学系
８２レチクル
８３レチクルステージ
８４投影光学系
８５ウエハ
８６ウエハステージ
８８センサ

Claims

制御対象の位置を検出する検出部と、
前記検出部の出力を目標値から減算する減算部と、
前記検出部の出力と前記目標値との偏差が入力される第１フィルタと、所定の帯域を遮断する線形時不変の第２フィルタを含み、前記制御対象に制御入力をフィードフォワードする反復学習制御回路と、を備える位置制御装置であって、
前記制御対象のパラメータ変動を算出する算出手段を備え、
前記制御対象のパラメータ変動に応じて前記第１フィルタの特性が変更されることを特徴とする位置制御装置。
前記第１フィルタは、線形パラメータ変動系のモデルから導出されることを特徴とする請求項１に記載の位置制御装置。
前記パラメータは前記制御対象を駆動する駆動手段の推力定数を含み、
前記算出手段は、予め記憶された前記制御対象の位置と前記推力定数との関係を用いて、前記検出部の出力にもとづいて前記推力定数の変動を算出することを特徴とする請求項１または２に記載の位置制御装置。
外乱オブザーバを備え、
該外乱オブザーバの出力にもとづいて前記パラメータ変動が算出されることを特徴とする請求項１または２に記載の位置制御装置。
前記パラメータは前記制御対象の姿勢を含み、
前記制御対象の姿勢を検出する姿勢検出部を備えることを特徴とする請求項１または２に記載の位置制御装置。
前記第１フィルタは、特性が不変である２つの不変フィルタをもち、前記２つの不変フィルタの間を補間する補間演算部と、を備えることを特徴とする請求項１に記載の位置制御装置。
請求項１乃至６のいずれか１項に記載の位置制御装置を用いて、基板または原版を搭載するステージの位置を制御することを特徴とする露光装置。
請求項７に記載の露光装置を用いて基板にパターンを露光する工程と、
露光された基板を現像する工程とを備えることを特徴とするデバイス製造方法。