JP6032648B2 - Opening pattern design method, image restoration method, and image restoration apparatus - Google Patents

Opening pattern design method, image restoration method, and image restoration apparatus Download PDF

Info

Publication number
JP6032648B2
JP6032648B2 JP2013094974A JP2013094974A JP6032648B2 JP 6032648 B2 JP6032648 B2 JP 6032648B2 JP 2013094974 A JP2013094974 A JP 2013094974A JP 2013094974 A JP2013094974 A JP 2013094974A JP 6032648 B2 JP6032648 B2 JP 6032648B2
Authority
JP
Japan
Prior art keywords
image
opening pattern
imaging
pattern
image restoration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013094974A
Other languages
Japanese (ja)
Other versions
JP2014216974A (en
Inventor
努 作山
努 作山
卓哉 舩冨
卓哉 舩冨
美濃 導彦
導彦 美濃
将晃 飯山
将晃 飯山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Screen Holdings Co Ltd
Kyoto University
Original Assignee
Screen Holdings Co Ltd
Kyoto University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Screen Holdings Co Ltd, Kyoto University filed Critical Screen Holdings Co Ltd
Priority to JP2013094974A priority Critical patent/JP6032648B2/en
Publication of JP2014216974A publication Critical patent/JP2014216974A/en
Application granted granted Critical
Publication of JP6032648B2 publication Critical patent/JP6032648B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、開口パターンの設計方法、画像の復元方法および画像復元装置に関する。   The present invention relates to an aperture pattern design method, an image restoration method, and an image restoration apparatus.

検査装置や位置合わせ装置等において、対象物を撮像する撮像部では、一般的に、オートフォーカス機能が搭載される。これにより、対象物の表面にフォーカスを合わせて画像を取得することが可能となる。しかしながら、対象物の表面にフォーカスを合わせる動作(オートフォーカス動作)が適切に行われない場合、フォーカスが対象物の表面からずれた状態にて撮像が行われ、いわゆる、ボケ画像(ピンボケ画像)が取得されてしまう。ボケ画像が取得されると、例えば、検査装置では、検査を精度よく行うことができなくなり、また、位置合わせ装置では、対象物の位置合わせを精度よく行うことができなくなる。   In an inspection device, an alignment device, and the like, an image pickup unit that picks up an object generally has an autofocus function. Thereby, it is possible to acquire an image by focusing on the surface of the object. However, when the operation of focusing on the surface of the object (autofocus operation) is not properly performed, imaging is performed in a state where the focus is shifted from the surface of the object, and a so-called blurred image (out-of-focus image) is generated. It will be acquired. When the blurred image is acquired, for example, the inspection apparatus cannot perform inspection accurately, and the alignment apparatus cannot align the target object with high accuracy.

そこで、ボケ画像を復元する技術の開発が進められている。画像復元では、ボケ画像と、その撮像時におけるデフォーカス量に対応した点広がり関数(PSF:Point Spread Function)との逆畳み込みを行うことにより、フォーカスが合った画像(すなわち、復元画像)が取得される(例えば、特許文献1および2参照)。また、非特許文献1では、自然画像の周波数特性(パワースペクトル)が1/fに従うという前提の下で、画像の復元精度を向上するための開口パターンが開示されている。なお、非特許文献2では、最適化絞り形状がアプリケーションや撮影対象に依存することが記載されている。   Therefore, development of a technique for restoring a blurred image is underway. In image restoration, an in-focus image (that is, a restored image) is obtained by performing a deconvolution of the blurred image and a point spread function (PSF) corresponding to the defocus amount at the time of imaging. (See, for example, Patent Documents 1 and 2). Non-Patent Document 1 discloses an opening pattern for improving the restoration accuracy of an image on the assumption that the frequency characteristic (power spectrum) of a natural image follows 1 / f. Note that Non-Patent Document 2 describes that the optimized aperture shape depends on the application and the object to be photographed.

特開2010−81460号公報JP 2010-81460 A 特開2012−22308号公報JP 2012-22308 A

Changyin Zhou、外1名、“What are Good Apertures for Defocus Deblurring?”、[online]、2009年、Columbia University、[平成25年4月17日検索]、インターネット<URL:http://www1.cs.columbia.edu/~changyin/files/ZhouICCP2009.pdf>Changyin Zhou, 1 other, “What are Good Apertures for Defocus Deblurring?”, [Online], 2009, Columbia University, [April 17, 2013 search], Internet <URL: http: //www1.cs .columbia.edu / ~ changyin / files / ZhouICCP2009.pdf> 渡邉 拓也、外4名、「能動絞りカメラ」、情報処理学会研究報告、一般社団法人情報処理学会、2010年11月、2010−CVIM−174 No.8、p.1−8Takuya Watanabe, 4 others, “Active Aperture Camera”, Information Processing Society of Japan Research Report, Information Processing Society of Japan, November 2010, 2010-CVIM-174 No. 8, p. 1-8

ところで、撮像対象の種類によって、その画像のパワースペクトルは相違するため、非特許文献1の開口パターンを利用しても、必ずしも画像を精度よく復元することはできない。したがって、撮像対象のカテゴリに応じて適切な開口パターンを決定する手法が求められている。   By the way, since the power spectrum of the image differs depending on the type of imaging target, even if the aperture pattern of Non-Patent Document 1 is used, the image cannot always be accurately restored. Therefore, there is a need for a method for determining an appropriate opening pattern according to the category to be imaged.

本発明は上記課題に鑑みなされたものであり、撮像対象のカテゴリに応じて適切な開口パターンを決定することを目的としている。   The present invention has been made in view of the above problems, and an object thereof is to determine an appropriate opening pattern in accordance with the category of an imaging target.

請求項1に記載の発明は、画像復元装置の撮像部にて利用される開口パターンの設計方法であって、a)一のカテゴリに属する撮像対象を示す画像における各方向のパワースペクトルを代表スペクトルとして取得する工程と、b)開口パターンの複数の候補パターンを準備し、各候補パターンを利用して撮像される画像の復元精度を示す評価値を、前記撮像部におけるノイズレベルおよび前記代表スペクトルを用いて前記各方向に対して求め、前記各候補パターンに対して複数の方向の評価値から最終的な評価値を求めることにより、前記複数の候補パターンから前記撮像部にて利用される開口パターンを決定する工程とを備える。   The invention according to claim 1 is a method of designing an aperture pattern used in an imaging unit of an image restoration device, and a) a power spectrum in each direction in an image showing an imaging target belonging to one category is represented as a representative spectrum. And b) preparing a plurality of candidate patterns of the aperture pattern, and obtaining an evaluation value indicating the restoration accuracy of an image captured using each candidate pattern, the noise level and the representative spectrum in the imaging unit An aperture pattern used in the imaging unit from the plurality of candidate patterns by obtaining a final evaluation value from evaluation values in a plurality of directions for each candidate pattern. Determining the step.

請求項2に記載の発明は、請求項1に記載の開口パターンの設計方法であって、前記a)工程が、a1)前記カテゴリに属する複数の撮像対象をそれぞれ示す複数の画像を準備する工程と、a2)前記各方向に関して、前記複数の画像における複数のパワースペクトルを取得する工程と、a3)前記各方向に関して、各周波数における前記複数のパワースペクトルの値の代表値を求めることにより、前記代表スペクトルを取得する工程とを備える。   The invention according to claim 2 is the opening pattern design method according to claim 1, wherein the step a) prepares a plurality of images respectively indicating a plurality of imaging targets belonging to the category a1). And a2) acquiring a plurality of power spectra in the plurality of images for each direction, and a3) obtaining a representative value of the values of the plurality of power spectra at each frequency for each direction, Obtaining a representative spectrum.

請求項3に記載の発明は、請求項1または2に記載の開口パターンの設計方法であって、周波数をξ、前記代表スペクトルをSξ、前記各候補パターンをフーリエ変換したものをKξ、前記ノイズレベルをσとして、前記各候補パターンの前記評価値Rが、数1により求められる。 The invention according to claim 3 is the opening pattern design method according to claim 1 or 2, wherein the frequency is ξ, the representative spectrum is S ξ , and each candidate pattern is Fourier-transformed by K ξ , Using the noise level as σ, the evaluation value R of each candidate pattern is obtained by Equation 1.

請求項4に記載の発明は、請求項1ないし3のいずれかに記載の開口パターンの設計方法であって、前記b)工程の前に前記撮像部の撮像素子におけるノイズレベルを測定する工程をさらに備える。   A fourth aspect of the present invention is the opening pattern design method according to any one of the first to third aspects, wherein a step of measuring a noise level in the image pickup device of the image pickup unit before the step b) is performed. Further prepare.

請求項5に記載の発明は、画像の復元方法であって、請求項1ないし4のいずれかに記載の開口パターンの設計方法にて決定された開口パターンを有する前記撮像部により、前記カテゴリに属する撮像対象を撮像して画像を取得する工程と、前記開口パターンに対して予め準備される点広がり関数を用いて、前記画像から復元画像を取得する工程とを備える。   The invention according to claim 5 is an image restoration method, wherein the image pickup unit having the opening pattern determined by the opening pattern design method according to any one of claims 1 to 4 is classified into the category. A step of acquiring an image by capturing an imaging target belonging thereto, and a step of acquiring a restored image from the image using a point spread function prepared in advance for the opening pattern.

請求項6に記載の発明は、画像復元装置であって、請求項1ないし4のいずれかに記載の開口パターンの設計方法にて決定された開口パターンを有する撮像部と、前記撮像部により前記カテゴリに属する撮像対象を撮像して取得される画像から、前記開口パターンに対して予め記憶される点広がり関数を用いて復元画像を取得する画像復元部とを備える。   The invention according to claim 6 is an image restoration device, wherein the imaging unit having an opening pattern determined by the opening pattern design method according to any one of claims 1 to 4, and the imaging unit An image restoration unit that obtains a restored image from an image obtained by imaging an imaging target belonging to a category using a point spread function stored in advance for the aperture pattern.

請求項7に記載の発明は、請求項6に記載の画像復元装置であって、アライメントマークである前記撮像対象の前記復元画像と、テンプレート画像とのパターンマッチングにより、前記撮像対象の基準位置からの位置ずれ量を求める位置ずれ量取得部と、前記撮像対象が形成された対象物を保持するとともに、前記位置ずれ量に基づいて前記対象物を移動することにより、前記撮像対象を前記基準位置に配置する移動機構とをさらに備える。   The invention according to claim 7 is the image restoration device according to claim 6, wherein a pattern matching between the restored image of the imaging target that is an alignment mark and a template image is performed from a reference position of the imaging target. A positional deviation amount obtaining unit that obtains a positional deviation amount, and holding the target on which the imaging target is formed, and moving the target based on the positional deviation amount, thereby moving the imaging target to the reference position. And a moving mechanism to be disposed.

本発明によれば、撮像対象のカテゴリに応じて適切な開口パターンを決定することができる。その結果、画像復元装置において画像を精度よく復元することができる。   According to the present invention, it is possible to determine an appropriate opening pattern according to the category to be imaged. As a result, the image can be accurately restored in the image restoration device.

位置合わせ装置の構成を示す図である。It is a figure which shows the structure of the alignment apparatus. コンピュータが実現する機能構成を示すブロック図である。It is a block diagram which shows the function structure which a computer implement | achieves. 開口パターンの設計に係る処理の流れを示す図である。It is a figure which shows the flow of the process which concerns on the design of an opening pattern. 開口パターン決定処理の流れを示す図である。It is a figure which shows the flow of an opening pattern determination process. 最適化パターンを示す図である。It is a figure which shows an optimization pattern. 基板の位置合わせ処理の流れを示す図である。It is a figure which shows the flow of the alignment process of a board | substrate. アライメントマークを示す図である。It is a figure which shows an alignment mark. シミュレーションにて生成されるボケ画像を示す図である。It is a figure which shows the blur image produced | generated by simulation. 復元画像を示す図である。It is a figure which shows a decompression | restoration image. デフォーカス量とスコアとの関係を示す図である。It is a figure which shows the relationship between a defocus amount and a score. 比較例の開口パターンを利用する場合にシミュレーションにて生成されるボケ画像を示す図である。It is a figure which shows the blurring image produced | generated by simulation, when using the opening pattern of a comparative example. 復元画像を示す図である。It is a figure which shows a decompression | restoration image. デフォーカス量とスコアとの関係を示す図である。It is a figure which shows the relationship between a defocus amount and a score. 他の比較例の開口パターンを利用する場合にシミュレーションにて生成されるボケ画像を示す図である。It is a figure which shows the blur image produced | generated by simulation, when using the opening pattern of another comparative example. 復元画像を示す図である。It is a figure which shows a decompression | restoration image. デフォーカス量とスコアとの関係を示す図である。It is a figure which shows the relationship between a defocus amount and a score.

図1は本発明の一の実施の形態に係る位置合わせ装置1の構成を示す図である。位置合わせ装置1は、半導体基板やガラス基板等の基板9を所定の向きにて基準位置に配置する装置である。位置合わせ装置1は、検査装置や描画装置等に設けられ、基板9が基準位置に配置されることにより、検査装置におけるパターンの検査や、描画装置におけるパターンの描画等を精度よく行うことが実現される。   FIG. 1 is a diagram showing a configuration of an alignment apparatus 1 according to an embodiment of the present invention. The alignment apparatus 1 is an apparatus that arranges a substrate 9 such as a semiconductor substrate or a glass substrate at a reference position in a predetermined direction. The alignment device 1 is provided in an inspection device, a drawing device, or the like, and the substrate 9 is arranged at a reference position, thereby realizing a pattern inspection in the inspection device or a pattern drawing in the drawing device with high accuracy. Is done.

位置合わせ装置1は、基板9上に形成されたアライメントマークを撮像する撮像部2、撮像部2に対して基板9を移動する移動機構3、および、撮像部2からの画像データが入力されるコンピュータ4を備える。撮像部2は、照明光を出射する照明部21、基板9に照明光を導くとともに基板9からの光が入射する光学系22、および、光学系22により結像された基板9の像を電気信号に変換する撮像素子23(ラインセンサまたはエリアセンサ)を有する。光学系22は、後述の開口パターン(符号化絞りとも呼ばれる。)221を有する。移動機構3は、基板9を保持するステージ31、ステージ31を図1中のZ方向に平行な軸を中心として回動する回動機構32、ステージ31をY方向に移動するY方向移動機構33、並びに、ステージ31をX方向に移動するX方向移動機構34を有する。なお、X方向、Y方向およびZ方向は互いに垂直である。   The alignment apparatus 1 receives an image pickup unit 2 that picks up an alignment mark formed on the substrate 9, a moving mechanism 3 that moves the substrate 9 relative to the image pickup unit 2, and image data from the image pickup unit 2. A computer 4 is provided. The imaging unit 2 electrically outputs an illumination unit 21 that emits illumination light, an optical system 22 that guides illumination light to the substrate 9 and receives light from the substrate 9, and an image of the substrate 9 formed by the optical system 22. It has an image sensor 23 (line sensor or area sensor) that converts it into a signal. The optical system 22 has an aperture pattern (also referred to as a coded diaphragm) 221 described later. The moving mechanism 3 includes a stage 31 that holds the substrate 9, a rotating mechanism 32 that rotates the stage 31 around an axis parallel to the Z direction in FIG. 1, and a Y direction moving mechanism 33 that moves the stage 31 in the Y direction. And an X-direction moving mechanism 34 for moving the stage 31 in the X direction. The X direction, the Y direction, and the Z direction are perpendicular to each other.

図2は、コンピュータ4が実現する機能構成を示すブロック図である。図2では、撮像部2および移動機構3も破線のブロックにて示している。コンピュータ4は、各種演算を行う演算部41、および、位置合わせ装置1の全体制御を担う制御部42を備える。演算部41は、後述の画像復元部411および位置ずれ量取得部412を有する。なお、演算部41の機能は専用の電気回路により構築されてもよく、部分的に専用の電気回路が利用されてもよい。   FIG. 2 is a block diagram showing a functional configuration realized by the computer 4. In FIG. 2, the imaging unit 2 and the moving mechanism 3 are also indicated by broken-line blocks. The computer 4 includes a calculation unit 41 that performs various calculations and a control unit 42 that performs overall control of the alignment apparatus 1. The calculation unit 41 includes an image restoration unit 411 and a positional deviation amount acquisition unit 412 described later. In addition, the function of the calculating part 41 may be constructed | assembled by a dedicated electrical circuit, and a dedicated electrical circuit may be utilized partially.

既述のように、位置合わせ装置1の撮像部2では、基板9における撮像対象に応じた形状の開口パターン221が予め設計および作製されて取り付けられる。また、後述する基板9の位置合わせ処理において利用される情報(点広がり関数)も、当該開口パターン221に対して事前に取得される。以下、基板9の位置合わせ処理の事前準備として行われる、開口パターンの設計に係る処理(すなわち、開口パターンの設計および作製処理、並びに、点広がり関数の取得処理)について、図3を参照して説明する。   As described above, in the imaging unit 2 of the alignment apparatus 1, the opening pattern 221 having a shape corresponding to the imaging target on the substrate 9 is designed and manufactured in advance. Further, information (point spread function) used in the alignment process of the substrate 9 described later is also acquired in advance for the opening pattern 221. Hereinafter, processing related to opening pattern design (that is, opening pattern design and fabrication processing and point spread function acquisition processing) performed as advance preparation for the alignment processing of the substrate 9 will be described with reference to FIG. explain.

開口パターンの設計に係る処理では、まず、互いに形状が相違する複数種類のアライメントマークを示す複数の画像が準備される(ステップS11)。ここでは、複数種類のアライメントマークが形成された複数の基板(後述の位置合わせ処理における基板9と区別するため、以下、「参照基板」という。)が準備され、位置合わせ装置1において複数の参照基板におけるアライメントマークを撮像することにより、複数の画像(の信号)が取得される。   In the process related to the opening pattern design, first, a plurality of images showing a plurality of types of alignment marks having different shapes are prepared (step S11). Here, a plurality of substrates on which a plurality of types of alignment marks are formed (hereinafter referred to as “reference substrates” in order to distinguish them from the substrate 9 in the alignment process described later) are prepared, and the alignment apparatus 1 uses a plurality of references. A plurality of images (signals thereof) are acquired by imaging the alignment mark on the substrate.

このとき、アライメントマークにフォーカス(ピント)が合うように、撮像部2におけるフォーカス機能が調整される。また、撮像部2における開口パターン(絞り)として、一般的な略円形の透光領域を有するものが用いられる。各アライメントマークは、互いに直交する方向に伸びる複数の線状部を含んでおり(すなわち、異方性を有し)、複数の画像において、これらの線状部は、ほぼ同じ方向を向いている。なお、複数種類のアライメントマークを示す複数の画像は、他の撮像部にて取得されてもよい。また、ステージ31をZ方向に移動する機構を設けることにより、参照基板の表面にフォーカスが合わせられてもよい。   At this time, the focus function in the imaging unit 2 is adjusted so that the alignment mark is in focus. In addition, as the aperture pattern (aperture) in the imaging unit 2, a pattern having a general substantially circular light-transmitting region is used. Each alignment mark includes a plurality of linear portions extending in directions orthogonal to each other (that is, having anisotropy), and in a plurality of images, these linear portions are directed in substantially the same direction. . Note that a plurality of images indicating a plurality of types of alignment marks may be acquired by other imaging units. Further, by providing a mechanism for moving the stage 31 in the Z direction, the surface of the reference substrate may be focused.

複数の画像が準備されると、演算部41では、当該複数の画像のそれぞれをフーリエ変換することにより、当該画像中の各方向に関してパワースペクトルが取得される。これにより、各方向に関して、複数の画像における複数のパワースペクトルが取得される(ステップS12)。続いて、当該各方向に関して、各周波数における当該複数のパワースペクトルの値の代表値が求められる。ここで、代表値とは、各周波数における複数のパワースペクトルの値が分布する範囲の中央近傍を示す値であり、平均値や中央値等である。そして、各周波数における代表値にて表現されるスペクトルが、当該各方向の代表スペクトルとして取得される(ステップS13)。代表スペクトルは、各方向に関して、複数の画像のパワースペクトルを代表するものとして捉えることができる。なお、各方向の代表スペクトルは、ステップS11にて準備される複数の画像から複数のパワースペクトル画像を取得し、当該複数のパワースペクトル画像の互いに対応する画素の値の代表値を求めることにより取得されてよい。   When a plurality of images are prepared, the calculation unit 41 obtains a power spectrum for each direction in the image by performing a Fourier transform on each of the plurality of images. Thereby, a plurality of power spectra in a plurality of images are acquired for each direction (step S12). Subsequently, for each direction, a representative value of the values of the plurality of power spectra at each frequency is obtained. Here, the representative value is a value indicating the vicinity of the center of the range in which the values of a plurality of power spectra at each frequency are distributed, such as an average value or a median value. And the spectrum expressed by the representative value in each frequency is acquired as a representative spectrum in each direction (step S13). The representative spectrum can be regarded as representing the power spectrum of a plurality of images in each direction. The representative spectrum in each direction is obtained by obtaining a plurality of power spectrum images from the plurality of images prepared in step S11 and obtaining representative values of the corresponding pixel values of the plurality of power spectrum images. May be.

また、位置合わせ装置1では、撮像部2の撮像素子23におけるノイズレベル(ここでは、ノイズの標準偏差)が測定される(ステップS14)。例えば、撮像部2の対物レンズに光を遮蔽する蓋を設けた状態にて撮像素子23における出力を取得することにより、ノイズレベルが測定される。なお、撮像部2にて取得される画像(例えば、ステップS11の処理にて取得された画像)からノイズレベルが演算により求められてもよい。   Further, in the alignment apparatus 1, a noise level (here, standard deviation of noise) in the image pickup device 23 of the image pickup unit 2 is measured (step S14). For example, the noise level is measured by acquiring the output from the image sensor 23 in a state where the objective lens of the imaging unit 2 is provided with a lid that shields light. Note that the noise level may be obtained by calculation from an image acquired by the imaging unit 2 (for example, an image acquired by the process of step S11).

続いて、撮像部2におけるノイズレベルおよび代表スペクトルを用いて、撮像部2にて利用される開口パターンが決定される(ステップS15)。本実施の形態における開口パターン決定処理では、非特許文献1の表1に記載される、遺伝的アルゴリズムを用いた手法が利用される。   Subsequently, an aperture pattern used in the imaging unit 2 is determined using the noise level and the representative spectrum in the imaging unit 2 (step S15). In the opening pattern determination process in the present embodiment, a method using a genetic algorithm described in Table 1 of Non-Patent Document 1 is used.

図4は、開口パターン決定処理の流れを示す図であり、図3のステップS15にて行われる処理を示す。ここでは、開口パターンの形状を、各要素に「1」または「0」を割り当てたN行N列の行列として捉える(例えば、Nは13)。また、以下の説明では、当該行列を長さ(N×N)の2進数列(以下、「シーケンス」という。)にて表現する。   FIG. 4 is a diagram showing the flow of the opening pattern determination process, and shows the process performed in step S15 of FIG. Here, the shape of the opening pattern is regarded as a matrix of N rows and N columns in which “1” or “0” is assigned to each element (for example, N is 13). In the following description, the matrix is represented by a binary number sequence (hereinafter referred to as “sequence”) having a length (N × N).

開口パターン決定処理では、まず、シーケンスの(N×N)個の要素位置に「1」または「0」を不規則に割り当てることにより、互いに相違するR個のシーケンス(以下、「初期シーケンス」という。)が生成される(ステップS151)。続いて、各初期シーケンスが示す開口パターンを利用して、仮に画像を撮像した場合に、当該画像から復元される画像の復元精度(例えば、真の画像と復元される画像との差)を示す評価値が、各方向に対して求められる(ステップS152)。具体的には、周波数をξ、当該各方向の代表スペクトルをSξ、各初期シーケンスが示す開口パターンを当該各方向に関してフーリエ変換したものをKξ、撮像部2のノイズレベルをσとして、当該初期シーケンスの当該各方向の評価値Rが、非特許文献1の式12と同様の数2を用いて求められる。 In the opening pattern determination process, first, “1” or “0” is irregularly assigned to (N × N) element positions of a sequence, thereby making R sequences different from each other (hereinafter referred to as “initial sequence”). .) Is generated (step S151). Subsequently, when an image is captured using the opening pattern indicated by each initial sequence, the restoration accuracy of the image restored from the image (for example, the difference between the true image and the restored image) is shown. An evaluation value is obtained for each direction (step S152). Specifically, the frequency is ξ, the representative spectrum in each direction is S ξ , the aperture pattern indicated by each initial sequence is Fourier-transformed with respect to each direction, K ξ , and the noise level of the imaging unit 2 is σ. The evaluation value R in each direction of the initial sequence is obtained using Equation 2 similar to Equation 12 in Non-Patent Document 1.

その後、各初期シーケンスに対する複数の(全ての)方向の評価値の和がさらに求められ、R個の初期シーケンスのうち、1ないしM番目(ただし、Mは2以上かつRよりも小さい。)に評価値の和が小さいM個の初期シーケンスのそれぞれが、候補シーケンスとして選択される(ステップS153)。   Thereafter, a sum of evaluation values in a plurality of (all) directions for each initial sequence is further obtained, and 1 to Mth (where M is 2 or more and smaller than R) of R initial sequences. Each of the M initial sequences having a small evaluation value sum is selected as a candidate sequence (step S153).

続いて、M個の候補シーケンスのうち、2つの候補シーケンスが不規則に選択されて複製され、2つの複製シーケンスが準備される(ステップS154)。所定の確率c1(例えば、0.2)でシーケンスにおける要素位置(数列の値の位置)が選択され、当該2つの複製シーケンスにおける当該要素位置の値が交換されて、新たな2つのシーケンスが取得される(すなわち、交叉が行われる。)(ステップS155)。また、当該2つのシーケンスのそれぞれにおいて、所定の確率c2(例えば、0.05)でシーケンスの要素位置が選択され、当該要素位置の値「1」または「0」が、「0」または「1」に反転される(すなわち、突然変異が行われる。)。これにより、新たな2つの候補シーケンスが生成されて、上記M個の候補シーケンスに追加される(ステップS156)。上記ステップS154〜S156の処理は、候補シーケンスの個数がRになるまで繰り返される(ステップS157)。   Subsequently, of the M candidate sequences, two candidate sequences are randomly selected and duplicated, and two duplicate sequences are prepared (step S154). Element positions (sequence position values) in a sequence are selected with a predetermined probability c1 (for example, 0.2), and the element position values in the two duplicate sequences are exchanged to obtain two new sequences. (That is, crossover is performed) (step S155). In each of the two sequences, the element position of the sequence is selected with a predetermined probability c2 (for example, 0.05), and the value “1” or “0” of the element position is set to “0” or “1”. (Ie, a mutation is made). Thereby, two new candidate sequences are generated and added to the M candidate sequences (step S156). The processes in steps S154 to S156 are repeated until the number of candidate sequences becomes R (step S157).

続いて、直前のステップS157の処理にて取得されたR個の候補シーケンスをR個の初期シーケンスとして(すなわち、世代を更新し)、上記ステップS152〜S157の処理が繰り返される(ステップS158)。ステップS158による処理の繰り返しは、直前のステップS157の処理にて取得されたR個の候補シーケンスをR個の初期シーケンスとしつつ、所定回数(ここでは、(G−1)回)行われる。これにより、(R×G)個の候補シーケンス、すなわち、開口パターンの(R×G)個の候補パターンが準備される。   Subsequently, the R candidate sequences acquired in the immediately preceding step S157 are used as R initial sequences (that is, the generation is updated), and the processes in steps S152 to S157 are repeated (step S158). The process in step S158 is repeated a predetermined number of times (here, (G-1) times), with R candidate sequences acquired in the immediately previous step S157 as R initial sequences. Thereby, (R × G) candidate sequences, that is, (R × G) candidate patterns of the opening pattern are prepared.

そして、ステップS152の処理と同様に、(R×G)個の候補パターンのそれぞれの各方向に対する評価値Rが数2から求められる(評価値が既に求められている候補パターンについては、当該評価値が用いられてよい。)。このとき、数2におけるKξは、当該各方向に関して候補パターンをフーリエ変換したものである。そして、各候補パターンに対して、全ての方向の評価値の和が最終的な評価値として求められ、最終的な評価値が最も低い1つの候補パターンが、撮像部2にて利用される開口パターンを示す最適化パターンとして決定される(ステップS159)。最終的な評価値は、複数の方向(全ての方向)の評価値に基づく他の値(例えば、平均値、中央値、最大値、あるいは、最小値等)であってもよい(ステップS153における候補シーケンスの選択において同様)。 Then, as in the process of step S152, the evaluation value R for each direction of the (R × G) candidate patterns is obtained from Equation 2 (for candidate patterns for which evaluation values have already been obtained, Value may be used). At this time, K ξ in Equation 2 is a Fourier transform of the candidate pattern with respect to each direction. Then, for each candidate pattern, the sum of evaluation values in all directions is obtained as a final evaluation value, and one candidate pattern having the lowest final evaluation value is used in the imaging unit 2. It is determined as an optimization pattern indicating a pattern (step S159). The final evaluation value may be another value (for example, an average value, a median value, a maximum value, or a minimum value) based on the evaluation values in a plurality of directions (all directions) (in step S153). The same applies to the selection of candidate sequences).

図5は、最適化パターンの一例を示す図である。開口パターンの設計に係る処理では、図5において黒い領域を透光領域とし、白い領域を遮光領域として、開口パターン221(開口絞り)が作製される(ステップS16)。開口パターン221は、(円形の透光領域を有する開口パターンに替えて)撮像部2の光学系22に取り付けられる(ステップS17)。   FIG. 5 is a diagram illustrating an example of the optimization pattern. In the process related to the design of the aperture pattern, an aperture pattern 221 (aperture stop) is created using the black region as the light-transmitting region and the white region as the light-shielding region in FIG. 5 (step S16). The opening pattern 221 is attached to the optical system 22 of the imaging unit 2 (in place of the opening pattern having a circular light-transmitting region) (step S17).

位置合わせ装置1では、光学系22に開口パターン221が取り付けられた撮像部2を用いて、点光源の画像である点広がり関数(PSF:Point Spread Function)が取得される(ステップS18)。ここでは、撮像対象である点光源と、理想的なフォーカス位置(合焦位置)との間の光軸上の距離をデフォーカス量として、複数のデフォーカス量のそれぞれにおいて点広がり関数が取得される。点広がり関数は、演算部41にて記憶される。なお、点広がり関数は最適化パターンに基づく演算により求められてもよい。以上の処理により、基板9の位置合わせ処理の事前準備である、開口パターンの設計に係る処理が完了する。   In the alignment apparatus 1, a point spread function (PSF) that is an image of a point light source is acquired using the imaging unit 2 in which the aperture pattern 221 is attached to the optical system 22 (step S18). Here, the point spread function is acquired for each of a plurality of defocus amounts, with the distance on the optical axis between the point light source to be imaged and the ideal focus position (focus position) as the defocus amount. The The point spread function is stored in the calculation unit 41. Note that the point spread function may be obtained by calculation based on the optimization pattern. With the above process, the process related to the opening pattern design, which is a preliminary preparation for the alignment process of the substrate 9, is completed.

図6は、位置合わせ装置1における基板9の位置合わせ処理の流れを示す図である。位置合わせ装置1では、まず、ステージ31上に載置された基板9が撮像部2により撮像され、画像(以下、「対象画像」という。)が取得される(ステップS21)。対象画像はコンピュータ4の演算部41に出力される。ここで、基板9上には、例えば、図7に示すアライメントマーク91が形成されており、撮像部2による基板9上の撮像領域には、撮像対象であるアライメントマーク91が含まれる。すなわち、ステップS21の処理では、図3のステップS11の処理にて準備された複数の画像と同一カテゴリの撮像対象を示す対象画像が取得される。   FIG. 6 is a diagram showing the flow of the alignment process for the substrate 9 in the alignment apparatus 1. In the alignment apparatus 1, first, the substrate 9 placed on the stage 31 is imaged by the imaging unit 2, and an image (hereinafter referred to as “target image”) is acquired (step S21). The target image is output to the calculation unit 41 of the computer 4. Here, for example, the alignment mark 91 shown in FIG. 7 is formed on the substrate 9, and the imaging region on the substrate 9 by the imaging unit 2 includes the alignment mark 91 that is an imaging target. That is, in the process of step S21, a target image indicating an imaging target of the same category as the plurality of images prepared in the process of step S11 of FIG. 3 is acquired.

画像復元部411では、例えば、対象画像のコントラストや、画素値のヒストグラムの広がり等に基づいて、対象画像がボケ画像であるか否かが判定される。そして、対象画像がボケ画像である場合に、図3のステップS18の処理にて予め準備した点広がり関数を用いて、対象画像から復元画像が取得される(ステップS22)。復元画像の取得では、例えば、周知のウィナー逆畳込み(Wiener deconvolution)が利用される。ここでは、デフォーカス量およびノイズレベルのそれぞれを複数通りに変更しつつ複数の復元画像候補がウィナー逆畳込みにより取得され、複数の復元画像候補のうちコントラストが最大のものが、復元画像として決定される。すなわち、復元画像の取得と同時に、デフォーカス量およびノイズレベルが取得される。復元画像の取得において、ステップS14にて取得されたノイズレベルが用いられてもよい。また、位置合わせ装置1において、レーザ測長器が設けられ、レーザ測長器の測定結果から求められるデフォーカス量を利用して復元画像が取得されてもよい。   The image restoration unit 411 determines whether or not the target image is a blurred image based on, for example, the contrast of the target image, the spread of the histogram of pixel values, and the like. Then, when the target image is a blurred image, a restored image is acquired from the target image using the point spread function prepared in advance in the process of step S18 of FIG. 3 (step S22). In obtaining the restored image, for example, the well-known Wiener deconvolution is used. Here, a plurality of restored image candidates are acquired by Wiener deconvolution while changing each of the defocus amount and the noise level in a plurality of ways, and the one with the highest contrast among the plurality of restored image candidates is determined as the restored image. Is done. That is, the defocus amount and the noise level are acquired simultaneously with the acquisition of the restored image. In acquiring the restored image, the noise level acquired in step S14 may be used. In the alignment apparatus 1, a laser length measuring device may be provided, and a restored image may be acquired using a defocus amount obtained from a measurement result of the laser length measuring device.

復元画像が取得されると、位置ずれ量取得部412において、アライメントマーク91を含む復元画像と、理想的なアライメントマークを示すテンプレート画像とのパターンマッチングにより、復元画像中のアライメントマーク91の位置が特定される。撮像部2による撮像領域と、位置合わせ装置1において予め定められた基準位置との位置関係、すなわち、撮像領域と基準位置との間のX方向およびY方向の距離は既知であるため、当該距離および復元画像中のアライメントマーク91の位置を利用して、基板9上のアライメントマーク91の基準位置からの位置ずれ量が求められる(ステップS23)。このとき、基板9上のアライメントマーク91の向きも特定される。なお、アライメントマーク91の向きは、XY平面上の所定の基準方向に対する傾斜角であり、通常、基板9は、ある程度向きが調整され、かつ、位置決めされてステージ31上に載置されるため、当該傾斜角は微小である。   When the restored image is acquired, the position deviation amount acquisition unit 412 determines the position of the alignment mark 91 in the restored image by pattern matching between the restored image including the alignment mark 91 and the template image indicating the ideal alignment mark. Identified. Since the positional relationship between the imaging region by the imaging unit 2 and a reference position predetermined in the alignment apparatus 1, that is, the distance in the X direction and the Y direction between the imaging region and the reference position is known, the distance Then, using the position of the alignment mark 91 in the restored image, the amount of displacement from the reference position of the alignment mark 91 on the substrate 9 is obtained (step S23). At this time, the direction of the alignment mark 91 on the substrate 9 is also specified. The orientation of the alignment mark 91 is an inclination angle with respect to a predetermined reference direction on the XY plane. Usually, the substrate 9 is adjusted to some extent and positioned and placed on the stage 31. The inclination angle is very small.

そして、制御部42が、当該位置ずれ量およびアライメントマーク91の向きに基づいて移動機構3を制御することにより基板9が移動および回動し、アライメントマーク91が所定の向きにて基準位置に配置される(ステップS24)。これにより、基板9に対する各種処理を精度よく行うことが可能となる。   Then, the control unit 42 controls the moving mechanism 3 based on the displacement amount and the orientation of the alignment mark 91, so that the substrate 9 moves and rotates, and the alignment mark 91 is arranged at the reference position in a predetermined orientation. (Step S24). This makes it possible to perform various processes on the substrate 9 with high accuracy.

図8は、デフォーカス量が300マイクロメートル(μm)の場合に、最適化パターンが示す開口パターンを利用して取得されるアライメントマーク91のボケ画像をシミュレーションにて生成した画像であり、図9は、図8のボケ画像から取得される復元画像である。図9から、上記開口パターンを利用することにより、復元精度が高い復元画像が得られることが判る。   FIG. 8 is an image generated by simulation of a blurred image of the alignment mark 91 obtained using the opening pattern indicated by the optimization pattern when the defocus amount is 300 micrometers (μm). Is a restored image acquired from the blurred image of FIG. It can be seen from FIG. 9 that a restored image with high restoration accuracy can be obtained by using the opening pattern.

また、3種類のアライメントマークのそれぞれに対して、最適化パターンが示す開口パターンを利用して取得されるボケ画像を、デフォーカス量を複数通りに変更しつつシミュレーションにより生成し、各デフォーカス量におけるボケ画像から取得される復元画像とテンプレート画像とのパターンマッチングにおける類似度を示すスコア(例えば、正規化相関における相関係数)を求めると、デフォーカス量とスコアとの関係は図10のようになる。図10から、最適化パターンが示す開口パターンを利用することにより、デフォーカス量が300μmの場合であっても、0.9以上の高いスコアが得られ、パターンマッチングを精度よく行うことが可能となることが判る。なお、スコアは、復元画像とテンプレート画像との差の絶対値の和等、類似度を示す他の値であってもよい。   In addition, for each of the three types of alignment marks, a blur image obtained using the opening pattern indicated by the optimization pattern is generated by simulation while changing the defocus amount in a plurality of ways. FIG. 10 shows the relationship between the defocus amount and the score when the score (for example, the correlation coefficient in the normalized correlation) indicating the degree of similarity in pattern matching between the restored image acquired from the blurred image and the template image is obtained. become. From FIG. 10, by using the opening pattern indicated by the optimization pattern, a high score of 0.9 or more can be obtained even when the defocus amount is 300 μm, and pattern matching can be performed with high accuracy. It turns out that it becomes. The score may be another value indicating the degree of similarity, such as the sum of absolute values of differences between the restored image and the template image.

ここで、一般的な円形の透光領域を有する比較例の開口パターンについて述べる。比較例の開口パターンを利用する場合、デフォーカス量が300μmの条件下で、図11に示すボケ画像がシミュレーションにより取得され、当該ボケ画像から図12に示す復元画像が得られる。図12のように、比較例の開口パターンを利用する場合における復元画像は、図9の復元画像に比べて復元精度が低くなる。図13は、比較例の開口パターンを利用する場合におけるデフォーカス量とスコアとの関係を示す図であり、図10に対応する図である。比較例の開口パターンを利用する場合、デフォーカス量が300μmのときに、アライメントマークの種類によってはスコア(例えば、図12の復元画像におけるスコア)が0.9未満となり、パターンマッチングが失敗する可能性がある。   Here, an opening pattern of a comparative example having a general circular translucent region will be described. When the opening pattern of the comparative example is used, the blurred image shown in FIG. 11 is acquired by simulation under the condition that the defocus amount is 300 μm, and the restored image shown in FIG. 12 is obtained from the blurred image. As shown in FIG. 12, the restored image in the case of using the opening pattern of the comparative example has lower restoration accuracy than the restored image of FIG. FIG. 13 is a diagram illustrating a relationship between the defocus amount and the score when the opening pattern of the comparative example is used, and corresponds to FIG. When using the opening pattern of the comparative example, when the defocus amount is 300 μm, depending on the type of alignment mark, the score (for example, the score in the restored image in FIG. 12) may be less than 0.9, and pattern matching may fail. There is sex.

また、他の比較例として非特許文献1の手法にて生成される開口パターンを利用する場合、デフォーカス量が300μmの条件下で、図14に示すボケ画像がシミュレーションにより取得され、当該ボケ画像から図15に示す復元画像が得られる。図15のように、他の比較例の開口パターンを利用する場合における復元画像は、図9の復元画像に比べて復元精度が低くなる。図16は、他の比較例の開口パターンを利用する場合におけるデフォーカス量とスコアとの関係を示す図であり、図10に対応する図である。他の比較例の開口パターンを利用する場合、デフォーカス量が300μmのときに、アライメントマークの種類によってはスコア(例えば、図15の復元画像におけるスコア)が0.9未満となり、パターンマッチングが失敗する可能性がある。   Moreover, when using the opening pattern produced | generated by the method of a nonpatent literature 1 as another comparative example, the blur image shown in FIG. 14 is acquired by simulation on the conditions whose defocus amount is 300 micrometers, The said blur image Thus, the restored image shown in FIG. 15 is obtained. As shown in FIG. 15, the restored image in the case of using the opening pattern of another comparative example has lower restoration accuracy than the restored image of FIG. 9. FIG. 16 is a diagram illustrating the relationship between the defocus amount and the score when the opening pattern of another comparative example is used, and is a diagram corresponding to FIG. When using the opening pattern of another comparative example, when the defocus amount is 300 μm, depending on the type of alignment mark, the score (for example, the score in the restored image in FIG. 15) is less than 0.9, and pattern matching fails. there's a possibility that.

以上に説明したように、開口パターンの設計では、複数のアライメントマークをそれぞれ示す複数の画像が準備され、各方向に関して、当該複数の画像における複数のパワースペクトルから、代表スペクトルが取得される。また、開口パターンの複数の候補パターンが準備され、各候補パターンを利用して撮像される画像の復元精度を示す評価値が、撮像部2におけるノイズレベルおよび代表スペクトルを用いて当該各方向に対して求められる。そして、各候補パターンに対して複数の方向の評価値から最終的な評価値を求めることにより、複数の候補パターンから撮像部2にて利用される開口パターンが決定される。これにより、アライメントマークに対して適切な開口パターンを決定することができる。その結果、当該開口パターン221が撮像部2に設けられた位置合わせ装置1が、画像復元装置として画像を精度よく復元することができ、基板9上のアライメントマーク91を基準位置に精度よく配置することが可能となる。   As described above, in designing the opening pattern, a plurality of images each representing a plurality of alignment marks are prepared, and a representative spectrum is acquired from a plurality of power spectra in the plurality of images in each direction. In addition, a plurality of candidate patterns of opening patterns are prepared, and an evaluation value indicating the restoration accuracy of an image captured using each candidate pattern is obtained for each direction using the noise level and the representative spectrum in the imaging unit 2. Is required. Then, by obtaining final evaluation values from evaluation values in a plurality of directions for each candidate pattern, an opening pattern used in the imaging unit 2 is determined from the plurality of candidate patterns. Thereby, it is possible to determine an appropriate opening pattern for the alignment mark. As a result, the alignment device 1 in which the opening pattern 221 is provided in the imaging unit 2 can accurately restore an image as an image restoration device, and the alignment mark 91 on the substrate 9 is accurately arranged at the reference position. It becomes possible.

また、開口パターンの設計において、撮像部2の撮像素子23に対して測定されたノイズレベルを用いて評価値を求めることにより、開口パターンをより適切に決定することが可能となる。   In designing the aperture pattern, the aperture pattern can be determined more appropriately by obtaining the evaluation value using the noise level measured for the image sensor 23 of the imaging unit 2.

上記開口パターンの設計における撮像対象は、アライメントマーク以外であってもよく、撮像対象が形成される対象物も基板以外であってよい。例えば、人の顔を撮像対象とする場合、図3の開口パターンの設計に係る処理では、ステップS11において複数の人の顔をそれぞれ示す複数の画像が準備される。他の処理は、上記と同様であり、これにより、人の顔に対して適切な開口パターンを決定することができる。以上のように、開口パターンの設計に係る処理では、ステップS11において同一カテゴリに属する複数の撮像対象をそれぞれ示す複数の画像を準備することにより、当該カテゴリに応じた適切な開口パターンを決定することができる。その結果、撮像部2および画像復元部411を含む画像復元装置において、当該カテゴリに属する撮像対象を撮像した画像から復元画像を精度よく取得することができる。   The imaging target in the opening pattern design may be other than the alignment mark, and the target on which the imaging target is formed may be other than the substrate. For example, when a human face is to be imaged, a plurality of images each showing a plurality of human faces are prepared in step S11 in the process related to the opening pattern design of FIG. The other processes are the same as described above, whereby an appropriate opening pattern for the human face can be determined. As described above, in the process related to the design of the opening pattern, by preparing a plurality of images respectively indicating a plurality of imaging targets belonging to the same category in step S11, an appropriate opening pattern corresponding to the category is determined. Can do. As a result, in the image restoration apparatus including the imaging unit 2 and the image restoration unit 411, a restored image can be accurately acquired from an image obtained by imaging an imaging target belonging to the category.

上記開口パターンの設計処理は様々な変形が可能である。例えば、図4のステップS152,S159では、数2を適宜修正した式、あるいは、数2とは異なる式を用いて、各候補パターンに対する評価値が求められてよい。また、開口パターン決定処理も、遺伝的アルゴリズム以外の手法にて行われてよい。さらに、代表スペクトルは、一のカテゴリに属する撮像対象を示す1つの画像から取得されてもよく、この場合、当該1つの画像における各方向のパワースペクトルが代表スペクトルとして取得される。   The opening pattern design process can be modified in various ways. For example, in steps S152 and S159 in FIG. 4, the evaluation value for each candidate pattern may be obtained using an expression obtained by appropriately correcting Expression 2 or an expression different from Expression 2. Further, the opening pattern determination process may be performed by a method other than the genetic algorithm. Furthermore, the representative spectrum may be acquired from one image indicating the imaging target belonging to one category. In this case, the power spectrum in each direction in the one image is acquired as the representative spectrum.

撮像部2は、電子線等を利用して画像を取得するものであってもよい。また、撮像部2および画像復元部411を有する画像復元装置は、位置合わせ装置1以外に、画像の取得を行う他の装置(例えば、検査装置)に設けられてよい。   The imaging unit 2 may acquire an image using an electron beam or the like. Further, the image restoration apparatus including the imaging unit 2 and the image restoration unit 411 may be provided in another apparatus (for example, an inspection apparatus) that acquires an image in addition to the alignment apparatus 1.

上記実施の形態および各変形例における構成は、相互に矛盾しない限り適宜組み合わされてよい。   The configurations in the above-described embodiments and modifications may be combined as appropriate as long as they do not contradict each other.

1 位置合わせ装置
2 撮像部
3 移動機構
9 基板
23 撮像素子
91 アライメントマーク
221 開口パターン
411 画像復元部
412 位置ずれ量取得部
S11〜S18,S21〜S24 ステップ
DESCRIPTION OF SYMBOLS 1 Position alignment apparatus 2 Image pick-up part 3 Movement mechanism 9 Board | substrate 23 Image pick-up element 91 Alignment mark 221 Opening pattern 411 Image decompression | restoration part 412 Position shift amount acquisition part S11-S18, S21-S24 Step

Claims (7)

画像復元装置の撮像部にて利用される開口パターンの設計方法であって、
a)一のカテゴリに属する撮像対象を示す画像における各方向のパワースペクトルを代表スペクトルとして取得する工程と、
b)開口パターンの複数の候補パターンを準備し、各候補パターンを利用して撮像される画像の復元精度を示す評価値を、前記撮像部におけるノイズレベルおよび前記代表スペクトルを用いて前記各方向に対して求め、前記各候補パターンに対して複数の方向の評価値から最終的な評価値を求めることにより、前記複数の候補パターンから前記撮像部にて利用される開口パターンを決定する工程と、
を備えることを特徴とする開口パターンの設計方法。
A method of designing an aperture pattern used in an imaging unit of an image restoration device,
a) obtaining a power spectrum in each direction in an image indicating an imaging target belonging to one category as a representative spectrum;
b) preparing a plurality of candidate patterns of the opening pattern, and using the noise level and the representative spectrum in the imaging unit to calculate an evaluation value indicating the restoration accuracy of an image captured using each candidate pattern in each direction Determining an opening pattern used in the imaging unit from the plurality of candidate patterns by obtaining a final evaluation value from evaluation values in a plurality of directions for each candidate pattern;
A method for designing an opening pattern, comprising:
請求項1に記載の開口パターンの設計方法であって、
前記a)工程が、
a1)前記カテゴリに属する複数の撮像対象をそれぞれ示す複数の画像を準備する工程と、
a2)前記各方向に関して、前記複数の画像における複数のパワースペクトルを取得する工程と、
a3)前記各方向に関して、各周波数における前記複数のパワースペクトルの値の代表値を求めることにより、前記代表スペクトルを取得する工程と、
を備えることを特徴とする開口パターンの設計方法。
A method for designing an opening pattern according to claim 1,
Step a)
a1) preparing a plurality of images respectively indicating a plurality of imaging targets belonging to the category;
a2) obtaining a plurality of power spectra in the plurality of images with respect to each direction;
a3) obtaining the representative spectrum by obtaining a representative value of the values of the plurality of power spectra at each frequency with respect to each direction;
A method for designing an opening pattern, comprising:
請求項1または2に記載の開口パターンの設計方法であって、
周波数をξ、前記代表スペクトルをSξ、前記各候補パターンをフーリエ変換したものをKξ、前記ノイズレベルをσとして、前記各候補パターンの前記評価値Rが、
により求められることを特徴とする開口パターンの設計方法。
An opening pattern design method according to claim 1 or 2,
With the frequency ξ, the representative spectrum S ξ , Fourier transform of each candidate pattern K ξ , and the noise level σ, the evaluation value R of each candidate pattern is
A method for designing an opening pattern, characterized in that
請求項1ないし3のいずれかに記載の開口パターンの設計方法であって、
前記b)工程の前に前記撮像部の撮像素子におけるノイズレベルを測定する工程をさらに備えることを特徴とする開口パターンの設計方法。
A method for designing an opening pattern according to any one of claims 1 to 3,
The method for designing an opening pattern, further comprising a step of measuring a noise level in the image pickup device of the image pickup unit before the step b).
画像の復元方法であって、
請求項1ないし4のいずれかに記載の開口パターンの設計方法にて決定された開口パターンを有する前記撮像部により、前記カテゴリに属する撮像対象を撮像して画像を取得する工程と、
前記開口パターンに対して予め準備される点広がり関数を用いて、前記画像から復元画像を取得する工程と、
を備えることを特徴とする画像の復元方法。
An image restoration method,
A step of acquiring an image by imaging an imaging target belonging to the category by the imaging unit having the opening pattern determined by the opening pattern design method according to claim 1;
Obtaining a restored image from the image using a point spread function prepared in advance for the opening pattern;
An image restoration method comprising:
画像復元装置であって、
請求項1ないし4のいずれかに記載の開口パターンの設計方法にて決定された開口パターンを有する撮像部と、
前記撮像部により前記カテゴリに属する撮像対象を撮像して取得される画像から、前記開口パターンに対して予め記憶される点広がり関数を用いて復元画像を取得する画像復元部と、
を備えることを特徴とする画像復元装置。
An image restoration device,
An imaging unit having an opening pattern determined by the opening pattern design method according to any one of claims 1 to 4,
An image restoration unit that obtains a restored image using a point spread function stored in advance for the aperture pattern from an image obtained by imaging an imaging target belonging to the category by the imaging unit;
An image restoration apparatus comprising:
請求項6に記載の画像復元装置であって、
アライメントマークである前記撮像対象の前記復元画像と、テンプレート画像とのパターンマッチングにより、前記撮像対象の基準位置からの位置ずれ量を求める位置ずれ量取得部と、
前記撮像対象が形成された対象物を保持するとともに、前記位置ずれ量に基づいて前記対象物を移動することにより、前記撮像対象を前記基準位置に配置する移動機構と、
をさらに備えることを特徴とする画像復元装置。
The image restoration device according to claim 6,
A positional deviation amount acquisition unit for obtaining a positional deviation amount from a reference position of the imaging target by pattern matching between the restored image of the imaging target that is an alignment mark and a template image;
A moving mechanism that holds the object on which the imaging object is formed and moves the object based on the amount of positional deviation to place the imaging object at the reference position;
An image restoration apparatus further comprising:
JP2013094974A 2013-04-30 2013-04-30 Opening pattern design method, image restoration method, and image restoration apparatus Expired - Fee Related JP6032648B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013094974A JP6032648B2 (en) 2013-04-30 2013-04-30 Opening pattern design method, image restoration method, and image restoration apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013094974A JP6032648B2 (en) 2013-04-30 2013-04-30 Opening pattern design method, image restoration method, and image restoration apparatus

Publications (2)

Publication Number Publication Date
JP2014216974A JP2014216974A (en) 2014-11-17
JP6032648B2 true JP6032648B2 (en) 2016-11-30

Family

ID=51942276

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013094974A Expired - Fee Related JP6032648B2 (en) 2013-04-30 2013-04-30 Opening pattern design method, image restoration method, and image restoration apparatus

Country Status (1)

Country Link
JP (1) JP6032648B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6230161B2 (en) * 2015-02-23 2017-11-15 日本電信電話株式会社 Light field acquisition apparatus and light field acquisition method
JP6406758B2 (en) * 2015-03-06 2018-10-17 国立大学法人 鹿児島大学 Imaging apparatus, digital watermark extraction method, digital watermark and coding aperture optimization method
JP6777488B2 (en) * 2016-09-27 2020-10-28 株式会社Screenホールディングス Position measuring device and position measuring method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5173665B2 (en) * 2008-08-08 2013-04-03 キヤノン株式会社 Image capturing apparatus, distance calculation method thereof, and focused image acquisition method

Also Published As

Publication number Publication date
JP2014216974A (en) 2014-11-17

Similar Documents

Publication Publication Date Title
JP2018537709A (en) Computer microscope and method for generating images under different illumination conditions
WO2019135778A1 (en) Single-frame autofocusing using multi-led illumination
US10831116B2 (en) Pattern forming apparatus, deciding method, storage medium, information processing apparatus, and article manufacturing method
JP2016200503A (en) Measuring device for measuring shape of measurement object
JP2017188731A (en) Imaging system and imaging method
JP6032648B2 (en) Opening pattern design method, image restoration method, and image restoration apparatus
JP2016541028A (en) Calibration of 3D microscope
JPWO2018179338A1 (en) Machine learning device and image recognition device
JP2017049426A (en) Phase difference estimation device, phase difference estimation method, and phase difference estimation program
JP6713185B2 (en) Inspection apparatus and inspection method using template matching
KR20230048253A (en) Optical Image Contrast Metrics for Optical Target Search
JP6252906B2 (en) Opening pattern design method, image restoration method, and image restoration apparatus
KR102227341B1 (en) Position shift amount acquisition device, inspection device, position shift amount acquisition method and inspection method
JP2011133360A (en) Distance measuring device, distance measurement method, and program
JP2008145121A (en) Three-dimensional shape measuring apparatus
JP2018112527A (en) Distance measurement device, distance measurement method and distance measurement program
JP7237872B2 (en) Inspection device, inspection method, and program
JP2012004664A (en) Image processing system, inspection equipment, image processing method, and image processing program
CN109683449B (en) Evaluation method, determination method, lithographic apparatus and non-transitory computer-readable storage medium
JP2018081378A (en) Image processing apparatus, imaging device, image processing method, and image processing program
KR101863439B1 (en) Data correcting apparatus, drawing apparatus, inspection apparatus, data correcting method, drawing method, inspection method and program recorded on recording medium
JP2007241418A (en) Template matching device
JP6282907B2 (en) Image processing apparatus, three-dimensional shape measuring apparatus, and image processing method
US20230128856A1 (en) Image processing method, storage medium, image processing apparatus, manufacturing method of trained model, and image processing system
WO2024004204A1 (en) Substrate appearance inspection device and substrate appearance inspection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161017

R150 Certificate of patent or registration of utility model

Ref document number: 6032648

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees