JP3937024B2 - Detection of misalignment, pattern rotation, distortion, and misalignment using moiré fringes - Google Patents

Detection of misalignment, pattern rotation, distortion, and misalignment using moiré fringes Download PDF

Info

Publication number
JP3937024B2
JP3937024B2 JP2005260836A JP2005260836A JP3937024B2 JP 3937024 B2 JP3937024 B2 JP 3937024B2 JP 2005260836 A JP2005260836 A JP 2005260836A JP 2005260836 A JP2005260836 A JP 2005260836A JP 3937024 B2 JP3937024 B2 JP 3937024B2
Authority
JP
Japan
Prior art keywords
pattern
pixels
moire
image
misalignment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005260836A
Other languages
Japanese (ja)
Other versions
JP2007071769A (en
Inventor
吉春 森本
元治 藤垣
徹 松井
志遠 李
Original Assignee
国立大学法人 和歌山大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人 和歌山大学 filed Critical 国立大学法人 和歌山大学
Priority to JP2005260836A priority Critical patent/JP3937024B2/en
Publication of JP2007071769A publication Critical patent/JP2007071769A/en
Application granted granted Critical
Publication of JP3937024B2 publication Critical patent/JP3937024B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、複数の投影表示装置と撮影装置の正確な画素対応、正確な位置合わせを必要とする光学装置、平面物体の平面度と垂直性に関する検査に関する。 The present invention relates to an accurate pixel correspondence between a plurality of projection display devices and an imaging device, an optical device that requires accurate alignment, and an inspection relating to flatness and perpendicularity of a planar object.

工業分野などの様々な分野で高速高精度の非接触式の形状計測手法が求められている。リアルタイムで形状データを得ることができれば、効率よく加工部品の検査を行なうことができる。その手法として、投影格子の位相をシフトする位相シフト法による形状変形計測がよく用いられている。しかし、位相シフト法では複数枚の画像を撮影する必要があるため、時間とともに形状が変化する物体に対して誤差が大きくなるという問題点がある。カラー格子を投影してRGB情報から1フレームで位相解析できる手法は提案されているが、物体の色によってうまく計測できるものとそうでないものがあり、汎用的ではない。
本発明者等は、これまでにDMD反射式CCDカメラ(DMDカメラ)(Digital Micro-mirror Deviceカメラ)を開発した。DMDカメラを用いれば、必要画像をすべてCCDカメラの1フレームで取り込むことができ、動いている物体の移動による誤差は大きく低減できると考えられる。
There is a need for high-speed and high-precision non-contact shape measurement techniques in various fields such as industrial fields. If shape data can be obtained in real time, it is possible to inspect a processed part efficiently. As the technique, shape deformation measurement by a phase shift method for shifting the phase of the projection grating is often used. However, since it is necessary to take a plurality of images in the phase shift method, there is a problem that an error increases for an object whose shape changes with time. There are proposals that can project phase analysis from RGB information by projecting a color grid, but there are some methods that can measure well depending on the color of the object and others that are not so general.
The present inventors have so far developed a DMD reflection type CCD camera (DMD camera) (Digital Micro-mirror Device camera). If a DMD camera is used, all necessary images can be captured in one frame of the CCD camera, and errors due to movement of moving objects can be greatly reduced.

DMDカメラにおいて、DMDとCCDの1:1の画素対応を正確に行うことが重要である。しかし、DMDとCCDのどちらの光学素子も非常に小さいために、従来のキャリブレーションパターンを結像させて目視による調整するのは困難であり、定量的に調整することも難しい。
ここで、DMDとCCDを画素対応した時の空間周波数の違いによって生じるモアレパターンを用いた調整手法を提案する。さらにモアレパターンの位相をシフトさせることで、位相分布を得ることができ、画素以下のオーダーでの調整が可能となり、光学系の自動調整も可能となる。結果、より正確にDMDの各ミラーとCCDの各画素を対応させることができる。
In a DMD camera, it is important to accurately perform a 1: 1 pixel correspondence between DMD and CCD. However, since both the optical elements of DMD and CCD are very small, it is difficult to image a conventional calibration pattern and adjust it visually, and it is also difficult to adjust quantitatively.
Here, an adjustment method using a moire pattern caused by a difference in spatial frequency when DMD and CCD correspond to pixels is proposed. Further, by shifting the phase of the moire pattern, a phase distribution can be obtained, adjustment on the order of pixels or less is possible, and automatic adjustment of the optical system is also possible. As a result, each mirror of the DMD and each pixel of the CCD can be associated more accurately.

本発明者等は、これまでDMDとCCDカメラを組み合わせてDMDカメラを研究、開発して、DMDカメラを用いて位相解析や形状計測などの光学的計測への応用について、提案をしたところである。   The present inventors have so far researched and developed a DMD camera by combining a DMD and a CCD camera, and have proposed application to optical measurements such as phase analysis and shape measurement using the DMD camera.

例えば、特許文献1に示されるように、投射型表示装置の投影画像の位置合わせ装置が提案されており、モアレが表示されないように2つの投射型表示装置の光出力位置を調整し、一画面上の複数の部分それぞれにモアレを生じさせる調整信号を入力することで、部分毎のずれ有無が分かり、複雑なずれを容易に調整している。しかしモアレ縞パターンの位相を求めておらず、調整できる精度は画素オーダーであり、調整用信号は正弦波であるため、投射型表示装置以外に適用することが難しいものである(特許文献1参照)。
特開2004−69769号参照
For example, as disclosed in Patent Document 1, a projection image alignment device for a projection display device has been proposed, and the light output positions of two projection display devices are adjusted so that moire is not displayed. By inputting an adjustment signal that causes moiré in each of the plurality of upper parts, it is possible to know whether or not there is a shift for each part and easily adjust a complicated shift. However, since the phase of the moire fringe pattern is not obtained and the accuracy that can be adjusted is pixel order, and the adjustment signal is a sine wave, it is difficult to apply to other than a projection display device (see Patent Document 1) ).
See Japanese Patent Application Laid-Open No. 2004-69769.

また特許文献2に示されているように、投写型表示システム及び投写位置調整方法があり、スクリーン上に映像信号とともに投写された検査パターンの位置をイメージセンサや位置検出素子などの位置検出部を用いて画像処理等により変位量として算出し、位置ずれ量がなくなるように光学系の投写位置を自動調整している。しかし画像処理より変位量を検出するため、原理的に画素オーダー以上の精度が得られない(特許文献2参照)。
特開平8−168039号公報
Further, as disclosed in Patent Document 2, there is a projection display system and a projection position adjustment method, in which a position detection unit such as an image sensor or a position detection element is used to display the position of an inspection pattern projected together with a video signal on a screen. The amount of displacement is calculated by image processing or the like, and the projection position of the optical system is automatically adjusted so that the amount of displacement is eliminated. However, since the amount of displacement is detected by image processing, in principle, the accuracy higher than the pixel order cannot be obtained (see Patent Document 2).
JP-A-8-168039

従来、投影画像の位置合わせを行う場合、表示画像としてクロスハッチ等のパターンを表示させて、目視でずれがないように投射画像の位置を調整していた。従って非常に小さいサイズの素子の画素対応を正確に行うことができなかった。
本発明の特徴は、次の通りである.
(1)特殊の装置を必要とせず、容易に画素合わせの調整を行うことができる。
(2)一枚の画像から位相分布を得ることができる。
(3)位相解析を行うことで、画素オーダー以下の精度で調整できる。
Conventionally, when aligning a projected image, a pattern such as a cross hatch is displayed as a display image, and the position of the projected image is adjusted so that there is no visual shift. Accordingly, it has been impossible to accurately perform pixel correspondence of a very small size element.
The features of the present invention are as follows.
(1) Adjustment of pixel alignment can be easily performed without requiring a special device.
(2) A phase distribution can be obtained from a single image.
(3) By performing the phase analysis, adjustment can be made with an accuracy of pixel order or less.

本発明は、正確に2つの光学素子の画素を1:1に対応させ、2つの光学素子の画素間隔の空間周波数の違いより生じるモアレ縞を利用することを特徴とする。
本発明は、目視による調整方法では、縦および横方向に白黒2画素ピッチの格子パターンを表示する。2画素ごとに間引くと、空間的なずれにより生じるモアレパターンを見ることができる。モアレパターンから光学系のずれを知ることができ、容易に画素対応ができることを特徴とする。
本発明は、コンピュータによる調整方法では、縦および横方向に白黒4画素ピッチの格子パターンを表示する。1番目から4画素ごとに間引いた画像からモアレパターンを見ることができる。同様に2番目、3番目、4番目から4画素ごとに間引いた画像計4枚の画像を得る。位相が1/4周期ずつ位相シフトした4枚の画像を得ることができる。これらの画像を用いることでずれ量を示すモアレパターンの位相を解析することができる。1枚の画像から光学素子のセルオーダー以下の精度で画素合わせを行うことを特徴とする。
本発明は、観測する平面の形状をもつ物体の表面にあらかじめキャリブレーションパターンを貼付けることで、平面物体の平面度や垂直性を知ることができることを特徴とする。
本発明は、予め調整した部品の一部分に格子パターンを描けば、モアレパターンが発生しないように調整することで、常に同じ位置になるように正確な位置合わせを行うことができることを特徴とする。
The present invention is characterized in that the pixels of the two optical elements are made to correspond to 1: 1 precisely and moiré fringes generated by the difference in the spatial frequency of the pixel interval between the two optical elements are used.
According to the present invention, a black and white two-pixel pitch grid pattern is displayed in the vertical and horizontal directions in the visual adjustment method. When thinning out every two pixels, a moire pattern caused by a spatial shift can be seen. It is characterized in that the deviation of the optical system can be known from the moire pattern and the pixel can be easily handled.
According to the present invention, a black and white four-pixel pitch grid pattern is displayed in the vertical and horizontal directions in the computer adjustment method. A moire pattern can be seen from an image thinned out every four pixels from the first. Similarly, a total of four images obtained by thinning out every second pixel from the second, third, and fourth pixels are obtained. It is possible to obtain four images whose phases are phase shifted by 1/4 period. By using these images, it is possible to analyze the phase of the moire pattern indicating the shift amount. It is characterized in that pixel alignment is performed from a single image with an accuracy less than the cell order of the optical element.
The present invention is characterized in that the flatness and perpendicularity of a planar object can be known by pasting a calibration pattern in advance on the surface of the object having a planar shape to be observed.
The present invention is characterized in that if a lattice pattern is drawn on a part of a part that has been adjusted in advance, it is possible to perform accurate alignment so that the same position is always obtained by adjusting so as not to generate a moire pattern.

本発明は、光学系のずれ、パターンの回転及び位置のずれ検出方法において、ピッチが2画素のテストパターンを表示もしくは貼付したパターンを画素が2次元に配列している撮像素子により撮影し、撮影された画像に対して隣り合う上下左右の4画素との差の絶対値の和を計算する画像処理を行い、所定のモアレ縞本数を具えるモアレパターンを得ることを特徴とする。
本発明は、光学系のずれ、パターンの回転及び位置のずれ検出方法において、ピッチが4画素のテストパターンを表示もしくは貼付したパターンを画素が2次元に配列している撮像素子により撮影し、撮影された画像に対して間引きするスタート点を変えながら4画素毎に間引く画像処理を行い、得られた4ステップの位相シフトされた画像からモアレパターンの位相分布を計算し、そのモアレパターンの位相分布から検出することを特徴とする。
本発明は、光学系のずれ、パターンの回転及び位置のずれ検出方法において、さらに第1の状態として、変形前の画像を撮影し、その時に生じるモアレパターンの位相分布を求め、第2の状態として、変形後の画像を撮影し、その時に生じるモアレパターンの位相分布を求め、前記第1の状態と第2の状態の位相分布との間の位相差を求めることにより、検出することを特徴とする。
本発明は、光学系のずれ、パターンの回転及び位置のずれ検出方法において、画素が2次元に配列している撮像素子にとって横方向もしく縦方向に1周期のテストパターンが2画素もしく4画素前後になるようなテストチャートとすることを特徴とする。
本発明は、光学系のずれ、パターンの回転及び位置のずれ検出方法において、画素が2次元に配列している撮像素子にとって横方向もしく縦方向に1周期のテストパターンが2画素もしく4画素前後になるようなテストチャートを有するとともに横方向と縦方向を組み合わせしたパターンをテストチャートとすることを特徴とする。
本発明は、光学系のずれ、パターンの回転及び位置のずれ検出方法において、対角線上で4つの領域に分割して、左右の領域では縦方向のテストパターン、上下の領域では横方向のテストパターンを組み合わせたテストチャートとして、同時に横方向と縦方向のモアレパターンを得ることを特徴とする。
本発明は、光学系のずれ、パターンの回転及び位置のずれ検出方法において、対角線上で4つの領域に分割して、左右の領域では縦方向のテストパターン、上下の領域では横方向のテストパターンを組み合わせたテストチャートとして、同時に横方向と縦方向のモアレパターンの位相分布を得ることを特徴とする。
本発明は、画素対応の調整方法ピッチが2画素と4画素を同時に含むテストパターンを表示もしくは貼付したパターンを画素が2次元に配列している撮像素子により撮影し、撮影された画像に対して隣り合う上下左右の4画素との差の絶対値の和を計算するとともに、撮影された画像に対して間引きするスタート点を変えながら4画素毎に間引く画像処理を行い、得られた4ステップの位相シフトされた画像からモアレパターンの位相分布を計算し、そのモアレパターンの位相分布から、細かいピッチの部分を利用しておおまかな位置合わせを行い、粗いピッチの部分を利用して位相を計算して、精密な調整を行うことを特徴とする。
The present invention relates to a method for detecting an optical system displacement, pattern rotation, and position displacement, and a pattern in which a test pattern having a two-pixel pitch is displayed or pasted is photographed by an image sensor in which pixels are arranged two-dimensionally. The image processing for calculating the sum of the absolute values of the difference between the four pixels adjacent to the adjacent upper, lower, left and right pixels is performed on the generated image, and a moire pattern having a predetermined number of moire fringes is obtained.
The present invention is an optical system misalignment, pattern rotation, and position misalignment detection method, in which a pattern on which a test pattern having a pitch of four pixels is displayed or pasted is photographed by an image sensor in which pixels are arranged two-dimensionally. The image processing for thinning out every four pixels while changing the start point for thinning out the calculated image, calculating the phase distribution of the moire pattern from the obtained four-step phase-shifted image, and the phase distribution of the moire pattern It is detected from.
In the optical system deviation, pattern rotation, and position deviation detection method, the present invention further takes a pre-deformation image as the first state, obtains the phase distribution of the moire pattern generated at that time, and obtains the second state. And detecting a phase difference between the first state and the second state by obtaining a phase distribution of the moire pattern generated at that time, and obtaining a phase difference between the first state and the second state. And
According to the present invention, in an optical system misalignment, pattern rotation, and position misalignment detection method, a test pattern having one cycle in the horizontal direction or the vertical direction may be two pixels or four for an image sensor in which pixels are arranged two-dimensionally. It is characterized by being a test chart before and after pixels.
According to the present invention, in an optical system misalignment, pattern rotation, and position misalignment detection method, a test pattern having one cycle in the horizontal direction or the vertical direction may be two pixels or four for an image sensor in which pixels are arranged two-dimensionally. A test chart having pixel front and rear is used, and a pattern in which the horizontal and vertical directions are combined is used as the test chart.
The present invention relates to a detection method of optical system deviation, pattern rotation, and position deviation, which is divided into four regions on a diagonal line, a vertical test pattern in the left and right regions, and a horizontal test pattern in the upper and lower regions. As a test chart combining the above, a moiré pattern in the horizontal direction and the vertical direction is obtained at the same time.
The present invention relates to a detection method of optical system deviation, pattern rotation, and position deviation, which is divided into four regions on a diagonal line, a vertical test pattern in the left and right regions, and a horizontal test pattern in the upper and lower regions. As a test chart combining the above, a phase distribution of moire patterns in the horizontal direction and the vertical direction is obtained at the same time.
According to the present invention, a pattern in which a pixel-related adjustment method pitch is displayed or pasted with a test pattern including 2 pixels and 4 pixels at the same time is photographed by an image sensor in which pixels are two-dimensionally arranged. Calculate the sum of the absolute values of the differences between the four pixels on the top, bottom, left and right adjacent to each other and perform image processing to thin out every four pixels while changing the start point of the thinned image. Calculate the phase distribution of the moire pattern from the phase-shifted image, perform rough alignment using the fine pitch part from the phase distribution of the moire pattern, and calculate the phase using the coarse pitch part It is characterized by precise adjustment.

本発明によれば、以下の効果を得ることができる。
(1)容易に画素合わせや位置合わせを行うことができる。
(2)画素オーダー以下の精度で調整することができる。
(3)1枚の画像を撮影するだけで良いので、リアルタイムでずれによるモアレ縞を観察することができる。
(4)1枚の画像からモアレ縞の位相分布を得ることができる。特殊の装置を必要としない。
(5)モアレパターンを利用して、簡単に平面度と垂直性を判定できる。
(6)常にモアレ縞が発生しないように自動調整することにより精密に位置合わせを行うことができる。
According to the present invention, the following effects can be obtained.
(1) Pixel alignment and alignment can be easily performed.
(2) Adjustment can be made with an accuracy of pixel order or less.
(3) Since only one image needs to be taken, moiré fringes due to displacement can be observed in real time.
(4) The phase distribution of moire fringes can be obtained from one image. Does not require special equipment.
(5) Flatness and perpendicularity can be easily determined using a moire pattern.
(6) By performing automatic adjustment so that moire fringes are not always generated, precise alignment can be performed.

先ず、DMD反射式CCDカメラ(以下、「DMDカメラ」という。)の画素対応について、説明する。
図1は、DMDカメラの基本的動作の説明図である。撮影対象物体の像をレンズ1によってDMD素子表面に結像させる。この時、DMDとレンズ1のレンズ面はお互いに平行になるように配置する。この時、レンズ1は、24度のあおり角となる。このようにすると、DMD表面の各DMDのミラーには、結像の位置関係となる対象物体表面の1点から出た光が到達することになる。次にDMD表面とCCD表面が結像の位置関係となるようにレンズ2を配置する。このように配置することによって、onの信号を受けているDMD画素に到達した光は、CCD方向に反射され、レンズ2によってCCDの対応する画素に結像する。DMD画素の方向の切り替え時間はCCDの撮影時間と比べて約1/1000であるから、CCDの画素ごとに独立して高速に制御できるシャッター機能を持たせることになる。
First, pixel correspondence of a DMD reflection type CCD camera (hereinafter referred to as “DMD camera”) will be described.
FIG. 1 is an explanatory diagram of the basic operation of the DMD camera. An image of the object to be imaged is formed on the surface of the DMD element by the lens 1. At this time, the DMD and the lens surface of the lens 1 are arranged parallel to each other. At this time, the lens 1 has a tilt angle of 24 degrees. In this way, the light emitted from one point on the surface of the target object, which is the positional relationship of image formation, reaches each DMD mirror on the surface of the DMD. Next, the lens 2 is arranged so that the DMD surface and the CCD surface are in a positional relationship of image formation. With this arrangement, the light that reaches the DMD pixel receiving the on signal is reflected in the CCD direction, and is imaged by the lens 2 on the corresponding pixel of the CCD. Since the switching time of the direction of the DMD pixel is about 1/1000 compared with the CCD shooting time, each CCD pixel has a shutter function that can be controlled independently at high speed.

本発明者等が用いたDMDカメラ装置の全体図を図2に示す。図3に撮影対象が図3(a)に示すようなパターンの場合のDMDのon/offパターンと撮影される画像の関係を例示する。まず、DMDのミラーがすべてonの場合は、図3(b)に示すように撮影対象の像がそのままCCDによってデジタル画像として撮影される。次に、図3(c)に示すように一部のDMDの画素がoffの場合は、onの画素だけ図3(d)のように撮影されることになる。また図3(e)に示すようにDMDのある部分の画素の露光時間を調整したパターンの信号をDMDに送ることで、図3(f)のように木の部分だけを一様な明るさになるように撮影することもできる。   An overall view of the DMD camera device used by the present inventors is shown in FIG. FIG. 3 illustrates the relationship between the on / off pattern of the DMD and the photographed image when the subject to be photographed is the pattern as shown in FIG. First, when all the mirrors of the DMD are on, the image to be imaged is directly captured as a digital image by the CCD as shown in FIG. 3 (b). Next, when some DMD pixels are off as shown in FIG. 3 (c), only the on pixels are photographed as shown in FIG. 3 (d). Also, as shown in Fig. 3 (e), by sending a signal of a pattern in which the exposure time of pixels in a part of the DMD is adjusted to the DMD, only the part of the tree has uniform brightness as shown in Fig. 3 (f). You can also shoot to become.

このようにDMDカメラを用いることで、CCDの画素ごとに独立してサブミリ秒オーダーの速度で動作する高速なシャッターが取り付けられている状態になり、様々な用途に利用できる。しかし、これを実現するためにはDMDとCCDの各画素の1:1対応をできるだけ正確に調整しなければならない。DMDとCCDのどちらの光学素子も非常に小さいために目視による調整は困難であり、定量的に調整することが難しいという問題点がある。
従来の装置においては、特徴のあるクロスハッチなどのパターンを用いて四隅や中心などの位置を目視による調整を行っていた。しかし非常に小さいサイズの素子の場合には、目視による調整の精度は限界があり、画素オーダー以下の精度で容易に調整することはできなかった。
By using the DMD camera in this manner, a high-speed shutter that operates independently at a sub-millisecond order speed is attached to each CCD pixel, and can be used for various purposes. However, to achieve this, the 1: 1 correspondence of DMD and CCD pixels must be adjusted as accurately as possible. Since both the DMD and CCD optical elements are very small, visual adjustment is difficult, and there is a problem that quantitative adjustment is difficult.
In the conventional apparatus, the positions of the four corners and the center are visually adjusted using a characteristic pattern such as a cross hatch. However, in the case of an extremely small element, the accuracy of visual adjustment is limited, and it has not been possible to easily adjust with an accuracy of a pixel order or less.

次にモアレパターンを用いた目視による調整方法について、説明する。
DMDカメラにおいて、図4に示すような画素合わせの装置において、正確にDMDの各ミラーとCCDの各画素を1:1に対応させることが重要である。ここでは、DMDカメラの光学系の調整にDMDとCCDの画素の空間周波数の違いにより生じるモアレ縞を用いることで正確に調整できる方法についてさらに説明する。この方法よりDMDとCCDの画素を1:1に対応することができる。
Next, a visual adjustment method using a moire pattern will be described.
In the DMD camera, in the pixel alignment apparatus as shown in FIG. 4, it is important that each mirror of the DMD and each pixel of the CCD correspond exactly 1: 1. Here, a method that can be accurately adjusted by using a moire fringe generated by a difference in spatial frequency between DMD and CCD pixels for adjusting the optical system of the DMD camera will be further described. With this method, the DMD and CCD pixels can be 1: 1.

図5は、キャリブレーションパターンの一例を示している。先ずDMDに図5(a)に示すような1ピッチが2画素の矩形波格子のパターンを表示させる。CCDとレンズ2をおおよそ結像の関係を満たす位置に設置する。この時、CCD面がDMD面と平行でない場合やCCDの大きさとCCDに結像するDMDの像の大きさが一致しない場合、すなわちDMDの各ミラーとCCDの各画素が1:1に対応できていない状態では図6に示すようなモアレ縞が現れる。このモアレ縞は、CCDカメラの位置や傾きなどにより規則的に変化するため、モアレ縞のパターンから画素対応における光学系のずれを知ることができる。ずれが大きくなればなるほど縞の本数が増えるので、モアレ縞の間隔が広くなるように各素子の移動ステージを動かして調整し、最終的にこのモアレ縞を発生させないようにすれば、DMDの各ミラーとCCDの各画素が1:1に対応することになる。なおモアレパターンを観察しやすくするために、CCDカメラで撮影されたモアレパターンに対して、エッジ検出フィルタをかけると、より明確なモアレパターンを見ることができ、モアレ縞の本数も2倍となる。図7にそれぞれ図5(a)のパターンを表示させた時のz方向の位置のずれによる結像倍率を変えた場合とx、y、z軸まわりにそれぞれ角度α、β、θだけ傾いた場合に現れるモアレパターンをエッジ検出フィルタの画像処理を行った後のシミュレーション結果を示す。   FIG. 5 shows an example of a calibration pattern. First, the DMD displays a rectangular wave lattice pattern with two pixels of one pitch as shown in FIG. Install the CCD and lens 2 at a position that satisfies the relationship of image formation. At this time, if the CCD surface is not parallel to the DMD surface or if the size of the CCD and the size of the DMD image formed on the CCD do not match, that is, each mirror of the DMD and each pixel of the CCD can support 1: 1. In a state in which it is not, moire fringes as shown in FIG. 6 appear. Since the moire fringes change regularly depending on the position and tilt of the CCD camera, the optical system shift corresponding to the pixels can be known from the moire fringe pattern. As the deviation increases, the number of fringes increases. Each pixel of mirror and CCD corresponds to 1: 1. In order to make it easier to observe the moiré pattern, applying an edge detection filter to the moiré pattern photographed with a CCD camera makes it possible to see a clearer moiré pattern and doubles the number of moiré fringes. . In FIG. 7, when the image forming magnification is changed by shifting the position in the z direction when the pattern of FIG. 5 (a) is displayed, the angles α, β, and θ are inclined about the x, y, and z axes, respectively. The simulation result after performing the image processing of the edge detection filter for the moire pattern that appears in the case is shown.

図8にそれぞれ図5(b)のパターンを表示させた時のz方向の位置のずれによる結像倍率を変えた場合とx、 y、 z軸まわりにそれぞれ角度α、β、θだけ傾いた場合に現れるモアレパターンをエッジ検出フィルタの画像処理を行ったあとのシミュレーション結果を示す。
このことから、CCDに結像される像の倍率が異なるだけでCCDカメラの傾きがない場合は、図7(a)のように水平方向に直線的なモアレ縞が現れるが、CCDカメラが傾いている場合は、図7(b)、 (c)、 (d)に示すようにモアレ縞が曲線になったり、傾いたりする。
よってまずモアレ縞が直線的になるようにCCDカメラを回転させて調整を行う。次にモアレ縞を発生させないようにDMDに対して、レンズとCCDの前後位置を調整する。最後にDMDパターンの表示範囲とCCDの撮影範囲の隅を合わせることで、DMDの各ミラーとCCDの各画素を対応させることができる。
In FIG. 8, when the image forming magnification is changed by shifting the position in the z direction when the pattern of FIG. 5 (b) is displayed, the angles α, β, and θ are inclined about the x, y, and z axes, respectively. The simulation result after performing the image processing of the edge detection filter for the moire pattern that appears in the case is shown.
For this reason, when the CCD image is not tilted but the magnification of the image formed on the CCD is different, linear moire fringes appear in the horizontal direction as shown in FIG. 7 (a), but the CCD camera tilts. In such a case, the moire fringes are curved or inclined as shown in FIGS. 7 (b), (c), and (d).
Therefore, first, the adjustment is performed by rotating the CCD camera so that the moire fringes are linear. Next, the front and rear positions of the lens and the CCD are adjusted with respect to the DMD so as not to generate moire fringes. Finally, by matching the corners of the DMD pattern display range and the CCD shooting range, each mirror of the DMD and each pixel of the CCD can be made to correspond.

次に、モアレパターンを用いたコンピュータによる調整方法について、説明する。
モアレパターンを用いた目視による調整方法では、目視による簡単な調整方法ではあるが、1、2画素程度のずれになると、モアレ縞を判別することが難しくなる。また環境光による明暗の影響で生じた明るさ分布との区別もしにくい。しかし、1画素以下での評価はできない。これに対して、以下に、画素オーダー以下の光学系のずれを定量的に評価できるコンピュータを用いた調整方法を説明する。
コンピュータによる調整方法においては、まず図5(a)に示すように、縦および横方向に白黒4画素ピッチの格子パターンを表示する。図9に示すように、1番目から4画素ごとに間引いた画像からモアレパターンを見ることができる。同様に2番目、3番目、4番目から4画素ごとに間引いた画像計4枚の画像を得る。位相が1/4周期ずつ位相シフトした4枚の画像を得ることができる。最も一般的に用いられる4つの輝度値から位相を求める位相シフト法を用いて、ずれ量を示すモアレパターンの位相を解析することができる。この調整方法では、4画素ずれると位相値2πに相当するので、解析範囲の両端ではπ/2の位相差があると1画素ずれていることになる。1枚の画像から光学素子のセルオーダー以下の精度で画素合わせを行うことができる。
本発明より、CCDとDMDの空間位置のずれによって生じるモアレパターンの2次元の位相分布を得ることができ、より正確にCCDとDMDの画素対応を行うことができる。また、2次元の位相分布のデータを用いて、倍率、傾き角度などのずれ量を求めることにより、光学系の自動調整を行うこともできる。
Next, a computer adjustment method using a moire pattern will be described.
Although the visual adjustment method using the moire pattern is a simple visual adjustment method, it is difficult to discriminate moiré fringes when the displacement is about one or two pixels. In addition, it is difficult to distinguish from the brightness distribution caused by the influence of light and darkness due to ambient light. However, evaluation with one pixel or less is not possible. On the other hand, an adjustment method using a computer capable of quantitatively evaluating the deviation of the optical system below the pixel order will be described below.
In the adjustment method by the computer, first, as shown in FIG. 5A, a black and white four-pixel pitch lattice pattern is displayed in the vertical and horizontal directions. As shown in FIG. 9, a moire pattern can be seen from an image thinned out every four pixels from the first. Similarly, a total of four images are obtained by thinning out every second pixel from the second, third, and fourth. It is possible to obtain four images whose phases are shifted by 1/4 period. The phase of the moire pattern indicating the amount of deviation can be analyzed using a phase shift method for obtaining the phase from the four most commonly used luminance values. In this adjustment method, a shift of 4 pixels corresponds to a phase value of 2π. Therefore, if there is a phase difference of π / 2 at both ends of the analysis range, a shift of 1 pixel occurs. Pixel alignment can be performed from one image with an accuracy less than the cell order of the optical element.
According to the present invention, it is possible to obtain a two-dimensional phase distribution of a moiré pattern caused by a shift in the spatial position of the CCD and DMD, and more accurately perform CCD and DMD pixel correspondence. In addition, the optical system can be automatically adjusted by obtaining the shift amount such as the magnification and the tilt angle using the two-dimensional phase distribution data.

次に本発明に係る画素合わせ方法における作動について、詳細に説明する。
先ずDMDとCCDの画素対応について説明する。DMDカメラの画素を対応した場合の調整装置を以下に示す。モアレパターンを用いた目視による調整方法においては、図5(c)に示すような、上下領域では横方向、左右領域では縦方向にそれぞれ1ピッチが2画素の矩形波格子をDMDに表示させた時に、実際に得られるモアレパターンの例を図10に示す。このキャリブレーションパターンを用いれば、xおよびy方向のモアレパターンを同時に観察することができる。図10(a)は正しい結像位置からずれたために12画素ほどの大きさがずれた場合のモアレパターンであり、図10(b)は、正しい結像位置から10画素ほどずれた場合のモアレパターンである。結像倍率によるずれが小さいほどモアレ縞の本数が少ないことがわかる。図10(c)〜(h)は、図4に示すようにz軸まわりの回転角度βによって生じるモアレパターンである。回転角度θのわずかなずれにより、大きく回転したモアレ縞が観察できる。図10(i)、(j)は、y軸まわりの回転角度βによって生じるモアレパターンである。回転角度βがわずかにあると正方形のモアレ縞にならず、対角線上でずれた形になる。図10(k)は、β=0の時のモアレパターンであり、正方形のモアレ縞になる。図10(l)は、x軸まわりの回転角度αによって生じるモアレパターンである。回転角度αがわずかにあると、x方向とy方向のモアレ縞のピッチが大きく異なることがわかる。図10(m)はα=0の時のモアレパターンであり、xおよびy方向のモアレ縞が同じ間隔になる。図10(n)は画素対応がわずかにずれた状態のモアレパターンである。最終的に一致した時のモアレパターンを図10(o)に示す。
Next, the operation of the pixel alignment method according to the present invention will be described in detail.
First, the correspondence between DMD and CCD pixels will be described. An adjustment device in the case of corresponding to a DMD camera pixel is shown below. In the visual adjustment method using the moire pattern, as shown in FIG. 5 (c), a rectangular wave lattice having 2 pixels each in the horizontal direction in the upper and lower areas and in the vertical direction in the left and right areas is displayed on the DMD. An example of a moire pattern actually obtained is shown in FIG. By using this calibration pattern, the moire patterns in the x and y directions can be observed simultaneously. Fig. 10 (a) shows the moiré pattern when the size is shifted by about 12 pixels due to deviation from the correct imaging position, and Fig. 10 (b) shows the moiré pattern when shifted by about 10 pixels from the correct imaging position. It is a pattern. It can be seen that the smaller the deviation due to the imaging magnification, the smaller the number of moire fringes. FIGS. 10C to 10H are moire patterns generated by the rotation angle β around the z-axis as shown in FIG. Moire fringes that are greatly rotated can be observed due to a slight shift in the rotation angle θ. FIGS. 10 (i) and 10 (j) are moire patterns generated by the rotation angle β around the y-axis. When the rotation angle β is small, the square moiré fringes are not formed, but the shape is shifted diagonally. FIG. 10 (k) shows a moire pattern when β = 0, which is a square moire pattern. FIG. 10 (l) shows a moire pattern generated by the rotation angle α around the x axis. It can be seen that when the rotation angle α is slightly, the pitches of the moire fringes in the x and y directions are greatly different. FIG. 10 (m) shows a moire pattern when α = 0, and moire fringes in the x and y directions have the same interval. FIG. 10 (n) shows a moire pattern in which the pixel correspondence is slightly shifted. The moire pattern when it finally matches is shown in FIG. 10 (o).

次にモアレパターンを用いたコンピュータによる調整方法について説明する。
図11〜図13にDMDカメラの画素対応する際に生じたモアレパターンの位相分布の得られた結果を示す。位相シフトモアレ法で述べた方法によって4画素ごとに間引いて得られたシフトした4枚の画像を図11(a)〜(d)に示す。位相解析した結果を図12に示す。
図12は、位相解析した結果より得られた位相分布を示し、14画素のずれの場合であって、(a)は、x方向、(b)は、y方向を示す。
この時、14画素ほどのずれがあり、この場合は目視でもずれていることが十分確認できる。図13は、DMDとCCDの間に、3画素程度、例えば、3.26画素のずれがある場合の位相分布である。(a)は、x方向、(b)は、y方向を示す。
目視でずれを確認することがやや困難である。図14は、DMDとCCDの画素対応が一致した場合の位相分布である。(a)は、x方向、(b)は、y方向を示す。
解析範囲である640画素に対して、両端の位相の差は、0.08(0.05画素のずれに相当する)であり、ほぼ完全に一致していると言える。図15は、DMDカメラの画素対応の結果を示し、画素対応ができていない状態とできている状態で得られるパターンを示す。
(a)は、理想のパターン、(b)は、画素対応がずれている場合、(c)は、画素対応が合っている場合を示す。本発明により画素対応の状態がわかる。
Next, a computer adjustment method using a moire pattern will be described.
FIGS. 11 to 13 show the obtained results of the phase distribution of the moire pattern generated when corresponding to the pixels of the DMD camera. FIGS. 11A to 11D show four shifted images obtained by thinning out every four pixels by the method described in the phase shift moire method. The result of the phase analysis is shown in FIG.
FIG. 12 shows the phase distribution obtained from the result of the phase analysis, in the case of 14 pixel deviation, where (a) shows the x direction and (b) shows the y direction.
At this time, there is a shift of about 14 pixels. In this case, it can be sufficiently confirmed that the shift is visually. FIG. 13 shows a phase distribution when there is a shift of about 3 pixels, for example, 3.26 pixels, between DMD and CCD. (A) shows the x direction, and (b) shows the y direction.
It is somewhat difficult to confirm the shift visually. FIG. 14 shows the phase distribution when the pixel correspondence of DMD and CCD match. (A) shows the x direction, and (b) shows the y direction.
With respect to the analysis range of 640 pixels, the phase difference between both ends is 0.08 (corresponding to a 0.05 pixel shift), which can be said to be almost completely coincident. FIG. 15 shows a result of pixel correspondence of the DMD camera, and shows a pattern obtained in a state where the pixel correspondence is not achieved and in a state where it is possible.
(A) shows an ideal pattern, (b) shows a case where the pixel correspondence is shifted, and (c) shows a case where the pixel correspondence matches. According to the present invention, the state corresponding to the pixel is known.

以上本発明の実施例について説明したが、さらに幾つかの具体的実施例について、詳細に説明する。
ピッチが2画素のテストパターンを表示もしくは貼付したパターンをCCDカメラにより撮影し、撮影された画像に対して隣り合う上下左右の4画素との差の絶対値の和を計算する画像処理を行い、従来の2画素ごとの間引き処理により得られるモアレパターンに比べて倍のモアレ縞本数が得られ、感度が高くコントラストの良いモアレパターンが得られる。
即ち、図16において次式(1)で表すように、撮影された画像のある画素に注目すると、その上下左右の4画素とそれぞれの差の絶対値の和を計算する処理である。

この様にすることにより、図17に示すように、従来の2画素ごとの間引き処理により得られたモアレパターンと上記の本構成の方法により得られたモアレパターンを比較した結果がわかる。モアレ縞の本数は2倍になることがわかる。またコントラストも良い。即ち図17は、画像処理により得られるモアレパターンを示し、(a) CCDカメラで撮影した画像、(b) 従来の2画素ごとの間引き処理により得られたモアレパターン、(c) 本構成により得られたモアレパターンを示す。
Although the embodiments of the present invention have been described above, some specific embodiments will be described in detail.
Image processing that calculates the sum of the absolute value of the difference between the four pixels on the top, bottom, left, and right adjacent to the captured image by photographing a pattern with a test pattern with a pitch of 2 pixels displayed or pasted with a CCD camera, Compared with the conventional moire pattern obtained by thinning out every two pixels, the number of moire fringes is doubled, and a moire pattern with high sensitivity and good contrast is obtained.
That is, as represented by the following expression (1) in FIG. 16, when attention is paid to a certain pixel of the photographed image, this is a process of calculating the sum of the absolute values of the differences between the upper, lower, left and right four pixels.

By doing so, as shown in FIG. 17, the result of comparing the moire pattern obtained by the conventional thinning-out process for every two pixels and the moire pattern obtained by the method of the present configuration described above can be understood. It can be seen that the number of moire stripes is doubled. Also good contrast. That is, FIG. 17 shows a moiré pattern obtained by image processing, (a) an image taken by a CCD camera, (b) a moiré pattern obtained by a conventional thinning process for every two pixels, and (c) obtained by this configuration. The resulting moire pattern is shown.

次に更なる実施例で、ピッチが4画素のテストパターンを表示もしくは貼付したパターンをCCDカメラにより撮影し、撮影された画像に対して間引きするスタート点を変えながら4画素ごとに間引く画像処理を行い、得られる4ステップの位相シフトされた画像からモアレパターンの位相分布を計算する。そのモアレパターンの位相分布から光学系のずれ、パターンの回転やゆがみ、位置ずれを検出する。
図18にこの方法により求めたモアレパターンの位相分布を示す。撮影された画像から間引き処理より4枚の位相シフトされたモアレパターンの画像が得られ、さらにこの4枚の画像から位相分布を求める方法である。位相情報を解析するため、前記の方法より高い精度で光学系のずれ、パターンの回転やゆがみ、位置ずれを検出することができる。
即ち、図18は、この方法より求めたモアレパターンの位相分布を示し、(a)は、 CCDカメラで撮影した画像、(b) 1画素目から、(c) 2画素目から、(d) 3画素目から、(e) 4画目から、4画素ごとに間引き処理によって得られたモアレパターン、(f)は、(b)〜(e)の4枚位相シフトされた画像から求めたモアレパターンの位相分布を示す。
Next, in a further embodiment, a pattern in which a test pattern with a pitch of 4 pixels is displayed or pasted is photographed by a CCD camera, and image processing is performed to thin out every 4 pixels while changing the start point for thinning out the photographed image. Then, the phase distribution of the moire pattern is calculated from the obtained 4-step phase-shifted image. From the phase distribution of the moire pattern, optical system deviation, pattern rotation and distortion, and positional deviation are detected.
FIG. 18 shows the phase distribution of the moire pattern obtained by this method. In this method, four phase-shifted moire pattern images are obtained from the photographed image by thinning-out processing, and the phase distribution is obtained from these four images. Since the phase information is analyzed, it is possible to detect optical system deviation, pattern rotation and distortion, and positional deviation with higher accuracy than the above method.
That is, FIG. 18 shows the phase distribution of the moire pattern obtained by this method. (A) is an image taken with a CCD camera, (b) from the first pixel, (c) from the second pixel, (d) From the third pixel, (e) From the fourth picture, the moire pattern obtained by thinning out every four pixels, (f) is the moire pattern obtained from the four phase-shifted images of (b) to (e). The phase distribution of a pattern is shown.

次は、他の実施例で、ピッチが4画素のテストパターンを表示もしくは貼付したパターンをCCDカメラにより撮影し、撮影された画像に対して間引きするスタート点を変えながら4画素ごとに間引く画像処理を行い、得られる4ステップの位相シフトされた画像からモアレパターンの位相分布を計算する。そのモアレパターンの位相分布から光学系のずれ、パターンの回転やゆがみ、位置ずれを検出する方法において、さらに第1の状態として変形前の画像を撮影し、その時に生じるモアレパターンの位相分布を求め、第2の状態として変形後の画像を撮影し、その時に生じるモアレパターンの位相分布を求めて、前記第1の状態と第2の状態の位相分布との間の位相差を求めることにより、光学系のずれ、パターンの回転やゆがみ、位置ずれを検出するものである。
図19に位相差分布画像を示す。この方法を用いて、第1の状態および第2の状態の位相分布画像をそれぞれ求め、第2の状態の位相分布から第1の状態の位相分布を差し引くこと(位相差)により得られた位相分布画像から光学系のずれ、パターンの回転やゆがみ、位置ずれを検出する。
即ち、図19は、本方法による位相差分布画像を示し、(a)は、第1の状態の位相分布画像、(b)は、第2の状態の位相分布画像、(c)は、第2の状態の位相分布から第1の状態の位相分布を差し引くこと(位相差)により得られた位相分布画像(この位相差分布画像は2つの状態ではどのぐらいのずれがあるのかを示している)を示す。
Next, in another embodiment, a pattern in which a test pattern with a 4-pixel pitch is displayed or pasted is photographed with a CCD camera, and image processing is performed to thin out every four pixels while changing the start point for thinning out the photographed image. The phase distribution of the moire pattern is calculated from the obtained 4-step phase-shifted image. In the method of detecting the optical system deviation, pattern rotation and distortion, and positional deviation from the phase distribution of the moire pattern, an image before deformation is taken as the first state, and the phase distribution of the moire pattern generated at that time is obtained. Taking the deformed image as the second state, obtaining the phase distribution of the moire pattern generated at that time, and obtaining the phase difference between the phase distribution of the first state and the second state, It detects optical system displacement, pattern rotation and distortion, and positional displacement.
FIG. 19 shows a phase difference distribution image. Using this method, phase distribution images of the first state and the second state are obtained, respectively, and the phase obtained by subtracting the phase distribution of the first state (phase difference) from the phase distribution of the second state From the distribution image, optical system deviation, pattern rotation and distortion, and positional deviation are detected.
That is, FIG. 19 shows a phase difference distribution image according to this method, (a) is a phase distribution image in the first state, (b) is a phase distribution image in the second state, and (c) is the first state distribution image. Phase distribution image obtained by subtracting the phase distribution of the first state from the phase distribution of the two states (phase difference) (this phase difference distribution image shows how much deviation is present in the two states) ).

他の実施例で、上記した方法において、図20(a)、(b)に示すように、CCDカメラにとって横方向もしく縦方向に1周期のテストパターンが2画素もしく4画素前後になるようなテストチャートを有するか、又は横方向と縦方向を組み合わせしたパターンをテストチャートとすることができる。   In another embodiment, in the above-described method, as shown in FIGS. 20A and 20B, the test pattern of one cycle in the horizontal direction or the vertical direction is about 2 pixels or about 4 pixels for the CCD camera. A test chart having such a test chart or a combination of the horizontal direction and the vertical direction can be used as the test chart.

さらに他の実施例で、上記した方法において、図21に示すように、対角線上で4つの領域に分割して、左右の領域では縦方向のテストパターン、上下の領域では横方向のテストパターンを組み合わせたテストチャートとして、同時に横方向と縦方向のモアレパターンもしくはその位相分布を得ることにより上記の方法より視覚的に調整しやすいテストチャートとすることができる。   In still another embodiment, in the above-described method, as shown in FIG. 21, the test area is divided into four areas on the diagonal line, and a vertical test pattern is formed in the left and right areas, and a horizontal test pattern is formed in the upper and lower areas. As a combined test chart, it is possible to obtain a test chart that is easier to visually adjust than the above method by simultaneously obtaining a moire pattern or its phase distribution in the horizontal and vertical directions.

さらに図22(a)、(b)に記載されるようにテストチャートを構成し、即ち、1ピッチが2画素と4画素を同時に含むテストパターンを表示もしくは貼付したパターンをCCDカメラにより撮影し、撮影された画像に対して隣り合う上下左右の4画素との差の絶対値の和を計算するとともに、撮影された画像に対して間引きするスタート点を変えながら4画素毎に間引く画像処理を行い、得られた4ステップの位相シフトされた画像からモアレパターンの位相分布を計算し、そのモアレパターンの位相分布から、細かいピッチの部分を利用しておおまかな位置合わせを行い、粗いピッチの部分を利用して位相を計算して、精密な調整を行うように画素対応の調整方法が可能となる。
このようにして、細かいピッチの部分を利用しておおまかな位置合わせを行い、粗いピッチの部分を利用して位相を計算して、より精密な調整を容易に行うことができる。
Further, the test chart is configured as described in FIGS. 22 (a) and 22 (b), that is, a pattern on which a test pattern including one pixel having two and four pixels is displayed or pasted is photographed with a CCD camera. Calculates the sum of the absolute values of the difference between the upper, lower, left, and right four pixels adjacent to the photographed image, and performs image processing that thins out every four pixels while changing the start point of the photographed image. Then, the phase distribution of the moire pattern is calculated from the obtained four-step phase-shifted image, and the coarse pitch portion is roughly aligned using the fine pitch portion from the phase distribution of the moire pattern. It is possible to use an adjustment method corresponding to a pixel so that the phase is calculated by using it and a precise adjustment is performed.
In this way, rough positioning can be performed using the fine pitch portion, and the phase can be calculated using the coarse pitch portion to facilitate more precise adjustment.

以上説明したような検出、調整方法をDMDや液晶プロジェクタなどの投影デバイス装置において、複数のデバイスの位置合わせ、画素対応を行う際に適用することができる。   The detection and adjustment methods described above can be applied when performing alignment and pixel correspondence of a plurality of devices in a projection device apparatus such as a DMD or a liquid crystal projector.

本発明を平面度と垂直性の検査装置に適用する例を説明する。
図23に平面物体の平面度検査装置の概略図を示す。検査したい平面物体の四隅(及び又は中心)に予めモアレパターンを観察するためのキャブレーションパターンを貼付けておく。キャリブレーションパターンのピッチ間隔とCCDカメラの画素間隔を同じになるように調整した後、それをCCDカメラで撮影する。前述の方法より、四隅のモアレパターンを得ることができる。この時、同じようなモアレパターンであれば、平面度と垂直性があると判定できる。異なるモアレパターンであれば、平面物体はゆがんだり、傾いたりしていることがわかる。
このようにしてキャブレーションパターンを貼付けることにより垂直性を検査することができる。
An example in which the present invention is applied to a flatness and perpendicularity inspection apparatus will be described.
FIG. 23 shows a schematic diagram of a flatness inspection apparatus for a flat object. A calibration pattern for observing a moire pattern is attached in advance to the four corners (and / or the center) of a planar object to be inspected. After adjusting the calibration pattern pitch interval and the CCD camera pixel interval to be the same, shoot with the CCD camera. By the above-described method, moire patterns at four corners can be obtained. At this time, if the moire pattern is similar, it can be determined that there is flatness and perpendicularity. If the moire patterns are different, it can be seen that the planar object is distorted or tilted.
In this way, the verticality can be inspected by applying the calibration pattern.

次に本発明に係る方法を半導体露光装置(ステッパ)などにおける位置合わせ装置に適用した例について説明する。
図24は、半導体露光装置(ステッパ)の位置合わせ装置を示す。半導体露光装置(ステッパ)では、ウェーハに既に描かれているパターンの位置に新しいパターンを精密に合わせる必要がある。同じウェーハに対して何度も繰り返して露光を行う際の位置合わせに適用することができる。図24に示すように、回転ステージ上の露光するウェーハの端部分に事前に0.1〜1mm四方の格子パターンを位置合わせのためのマークとして作製することにより、常に同じ位置に固定されているカメラから撮影されるモアレパターンの様子からどの程度ずれが生じているのかがわかり、常にモアレ縞が発生しないように自動調整することにより精密に位置合わせを行うことができる。また調整したい精度に合わせて格子パターンのピッチを変えることで解決することもできる。
Next, an example in which the method according to the present invention is applied to an alignment apparatus in a semiconductor exposure apparatus (stepper) or the like will be described.
FIG. 24 shows an alignment apparatus for a semiconductor exposure apparatus (stepper). In a semiconductor exposure apparatus (stepper), it is necessary to precisely match a new pattern with the position of a pattern already drawn on the wafer. The present invention can be applied to alignment when repeatedly performing exposure on the same wafer. As shown in FIG. 24, a grid pattern of 0.1 to 1 mm square is prepared in advance as an alignment mark on the end portion of the wafer to be exposed on the rotary stage, so that it is always fixed at the same position. It can be seen from the state of the moire pattern photographed from the camera, and the position can be precisely aligned by automatically adjusting so that moire fringes do not always occur. It can also be solved by changing the pitch of the lattice pattern according to the accuracy to be adjusted.

以上の実施例においては、CCDカメラを用いた例について、説明したが、画素が2次元に配列している撮像素子であり、CMOSカメラを用いることができることは、勿論である。   In the above embodiment, an example using a CCD camera has been described, but it is a matter of course that a CMOS camera can be used as an image pickup device in which pixels are two-dimensionally arranged.

複数の投影表示装置と撮影装置の正確な画素対応や、正確な位置合わせを必要とする光学装置更には平面物体の平面度と垂直性に関する検査装置、半導体露光装置(ステッパ)の位置合わせ装置に適用できる。   As an optical device that requires accurate pixel correspondence between a plurality of projection display devices and photographing devices, an inspection device for flatness and perpendicularity of a planar object, and a positioning device for a semiconductor exposure device (stepper) Applicable.

DMD反射式CCDカメラ(DMDカメラ)装置の一実施形態の構成Configuration of Embodiment of DMD Reflective CCD Camera (DMD Camera) Device DMD反射式CCDカメラ(DMDカメラ)装置DMD reflection type CCD camera (DMD camera) device DMDカメラによって撮影される画像Images taken with a DMD camera 画素合わせの装置のシステム説明図System explanatory diagram of pixel alignment device キャリブレーションパターンCalibration pattern CCDカメラで撮影したモアレパターンMoire pattern taken with a CCD camera x方向の様々なモアレパターン(a)倍率が一致しない場合、 (b)方軸に傾いた場合、(c)y軸に傾いた場合、(d)z軸に傾いた場合Various moiré patterns in the x direction (a) When the magnification does not match, (b) When tilted to the axis, (c) When tilted to the y-axis, (d) When tilted to the z-axis y方向の様々なモアレパターン (a)倍率が一致しない場合、 (b)x軸に傾いた場合、(c)y軸に傾いた場合、 (d)z軸に傾いた場合Various moiré patterns in the y direction (a) When the magnifications do not match, (b) When tilted to the x axis, (c) When tilted to the y axis, (d) When tilted to the z axis モアレ縞を用いたコンピュータによる調整方法Computerized adjustment method using moire fringes 調整過程の実験で得られたモアレパターンMoire pattern obtained in the adjustment process experiment 位相シフトモアレ法により得られる位相シフトした4枚の画像Four phase-shifted images obtained by the phase shift moire method 位相解析した結果より得られた位相分布(14画素のずれの場合) (a)x方向、(b)y方向Phase distribution obtained from the result of phase analysis (in the case of 14 pixel deviation) (a) x direction, (b) y direction 位相解析した結果より得られた位相分布(3画素のずれの場合) (a)x方向、(b)y方向Phase distribution obtained from the result of phase analysis (in the case of 3 pixel deviation) (a) x direction, (b) y direction 位相解析した結果より得られた位相分布(一致した時の場合) (a)x方向、(b)y方向Phase distribution obtained from the result of phase analysis (when matched) (a) x direction, (b) y direction DMDカメラの画素対応の結果DMD camera pixel support results ある画素Pとその回りの画素の関係Relationship between a pixel P and surrounding pixels 画像処理により得られるモアレパターン (a) CCDカメラで撮影した画像、(b) 従来の2画素ごとの間引き処理により得られたモアレパターン、(c) 本構成により得られたモアレパターンMoire pattern obtained by image processing (a) Image taken with a CCD camera, (b) Moire pattern obtained by conventional thinning process for every two pixels, (c) Moire pattern obtained by this configuration 本構成の方法より求めたモアレパターンの位相分布 (a) CCDカメラで撮影した画像、(b) 1画素目から、(c) 2画素目から、(d) 3画素目から、(e) 4画素目から、4画素ごとに間引き処理によって得られたモアレパターン、(f) (b)〜(e)の4枚位相シフトされた画像から求めたモアレパターンの位相分布Phase distribution of moire pattern obtained by the method of this configuration (a) Image taken with a CCD camera, (b) From the first pixel, (c) From the second pixel, (d) From the third pixel, (e) 4 Moire pattern obtained by thinning out every four pixels from the pixel, and phase distribution of moire pattern obtained from four phase-shifted images (f) (b) to (e) 位相差分布画像 (a) 第1の状態の位相分布画像、(b) 第2の状態の位相分布画像、(c)第2の状態の位相分布から第1の状態の位相分布を差し引くこと(位相差)により得られた位相分布画像(この位相差分布画像は2つの状態ではどのぐらいのずれがあるのかを示している)Phase difference distribution image (a) Phase distribution image of the first state, (b) Phase distribution image of the second state, (c) Subtracting the phase distribution of the first state from the phase distribution of the second state ( Phase distribution image obtained by (phase difference) (this phase difference distribution image shows how much the difference is in the two states) (a)、(b)テストチャート(A), (b) Test chart テストチャートTest chart (a)、(b)テストチャート(A), (b) Test chart 平面物体の平面度検査Flatness inspection of planar objects 半導体露光装置(ステッパ)における位置合わせ装置Positioning device in a semiconductor exposure apparatus (stepper)

Claims (8)

ピッチが2画素のテストパターンを表示もしくは貼付したパターンを画素が2次元に配列している撮像素子により撮影し、撮影された画像に対して隣り合う上下左右の4画素との差の絶対値の和を計算する画像処理を行い、所定のモアレ縞本数を具えるモアレパターンを得ることを特徴とする光学系のずれ、パターンの回転及び位置のずれ検出方法。   A pattern in which a test pattern having a pitch of 2 pixels is displayed or pasted is photographed by an image sensor in which pixels are arranged two-dimensionally, and the absolute value of the difference between the four pixels adjacent to the captured image is measured An optical system misalignment, pattern rotation, and position misalignment detection method, characterized by performing image processing for calculating a sum and obtaining a moire pattern having a predetermined number of moire fringes. ピッチが4画素のテストパターンを表示もしくは貼付したパターンを画素が2次元に配列している撮像素子により撮影し、撮影された画像に対して間引きするスタート点を変えながら4画素毎に間引く画像処理を行い、得られた4ステップの位相シフトされた画像からモアレパターンの位相分布を計算し、そのモアレパターンの位相分布から検出することを特徴とする光学系のずれ、パターンの回転、ゆがみ及び位置ずれ検出方法。   Image processing in which a test pattern with a pitch of 4 pixels is displayed or pasted with an image sensor in which pixels are two-dimensionally arranged, and the start point for thinning out the captured image is changed and thinned out every 4 pixels And calculating the phase distribution of the moire pattern from the obtained four-step phase-shifted image and detecting from the phase distribution of the moire pattern, pattern rotation, distortion, and position Deviation detection method. 請求項2に記載した検出方法において、さらに第1の状態として、変形前の画像を撮影し、その時に生じるモアレパターンの位相分布を求め、第2の状態として、変形後の画像を撮影し、その時に生じるモアレパターンの位相分布を求め、前記第1の状態と第2の状態の位相分布との間の位相差を求めることにより、検出することを特徴とする光学系のずれ、パターンの回転、ゆがみ及び位置ずれ検出方法。   In the detection method according to claim 2, as a first state, a pre-deformation image is taken, a phase distribution of a moire pattern generated at that time is obtained, and as a second state, a post-deformation image is taken, Determining the phase distribution of the moire pattern generated at that time, and detecting the phase difference between the phase distribution of the first state and the second state, and detecting the optical system shift and pattern rotation Distortion and misalignment detection method. 請求項1乃至3のいずれか1項に記載の検出方法において、画素が2次元に配列している撮像素子にとって横方向もしく縦方向に1周期のテストパターンが2画素もしく4画素前後になるようなテストチャートとすることを特徴とする光学系のずれ、パターンの回転やゆがみ、位置ずれ検出方法。   4. The detection method according to claim 1, wherein a test pattern of one cycle in the horizontal direction or the vertical direction is 2 pixels or around 4 pixels for an image pickup device in which pixels are arranged two-dimensionally. An optical system misalignment, pattern rotation and distortion, and misregistration detection method, characterized by using a test chart as described above. 請求項1乃至3のいずれか1項に記載の検出方法において、画素が2次元に配列している撮像素子にとって横方向もしく縦方向に1周期のテストパターンが2画素もしく4画素前後になるようなテストチャートを有するとともに横方向と縦方向を組み合わせしたパターンをテストチャートとすることを特徴とする光学系のずれ、パターンの回転やゆがみ、位置ずれを検出する方法。   4. The detection method according to claim 1, wherein a test pattern of one cycle in the horizontal direction or the vertical direction is 2 pixels or around 4 pixels for an image pickup device in which pixels are two-dimensionally arranged. 5. A method for detecting optical system misalignment, pattern rotation and distortion, and positional misalignment, characterized in that the test chart is a pattern having a test chart and a combination of the horizontal and vertical directions. 請求項1乃至3のいずれか1項に記載の検出方法において、対角線上で4つの領域に分割して、左右の領域では縦方向のテストパターン、上下の領域では横方向のテストパターンを組み合わせたテストチャートとして、同時に横方向と縦方向のモアレパターンを得ることを特徴とする光学系のずれ、パターンの回転やゆがみ、位置ずれを検出する方法。   4. The detection method according to claim 1, wherein the region is divided into four regions on a diagonal line, and a vertical test pattern is combined in the left and right regions, and a horizontal test pattern is combined in the upper and lower regions. A method for detecting misalignment of an optical system, pattern rotation or distortion, and misalignment, characterized by obtaining a moire pattern in the horizontal direction and the vertical direction simultaneously as a test chart. 請求項1乃至3のいずれか1項に記載の検出方法において、対角線上で4つの領域に分割して、左右の領域では縦方向のテストパターン、上下の領域では横方向のテストパターンを組み合わせたテストチャートとして、同時に横方向と縦方向のモアレパターンの位相分布を得ることを特徴とする光学系のずれ、パターンの回転やゆがみ、位置ずれを検出する方法。   4. The detection method according to claim 1, wherein the region is divided into four regions on a diagonal line, and a vertical test pattern is combined in the left and right regions, and a horizontal test pattern is combined in the upper and lower regions. A method for detecting optical system misalignment, pattern rotation and distortion, and positional misalignment, characterized by simultaneously obtaining a phase distribution of moire patterns in the horizontal and vertical directions as a test chart. ピッチが2画素と4画素を同時に含むテストパターンを表示もしくは貼付したパターンを画素が2次元に配列している撮像素子により撮影し、撮影された画像に対して隣り合う上下左右の4画素との差の絶対値の和を計算するとともに、撮影された画像に対して間引きするスタート点を変えながら4画素毎に間引く画像処理を行い、得られた4ステップの位相シフトされた画像からモアレパターンの位相分布を計算し、そのモアレパターンの位相分布から、細かいピッチの部分を利用しておおまかな位置合わせを行い、粗いピッチの部分を利用して位相を計算して、精密な調整を行うことを特徴とする画素対応の調整方法。   A pattern in which a test pattern including 2 pixels and 4 pixels at the same time is displayed or pasted is photographed by an image sensor in which pixels are two-dimensionally arranged. The sum of the absolute values of the differences is calculated, and image processing is performed for every four pixels while changing the starting point for thinning the captured image, and the moire pattern of the four-step phase-shifted image obtained is obtained. The phase distribution is calculated, and from the phase distribution of the moire pattern, rough positioning is performed using the fine pitch portion, and the phase is calculated using the coarse pitch portion, and precise adjustment is performed. An adjustment method corresponding to a characteristic pixel.
JP2005260836A 2005-09-08 2005-09-08 Detection of misalignment, pattern rotation, distortion, and misalignment using moiré fringes Active JP3937024B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005260836A JP3937024B2 (en) 2005-09-08 2005-09-08 Detection of misalignment, pattern rotation, distortion, and misalignment using moiré fringes

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005260836A JP3937024B2 (en) 2005-09-08 2005-09-08 Detection of misalignment, pattern rotation, distortion, and misalignment using moiré fringes

Publications (2)

Publication Number Publication Date
JP2007071769A JP2007071769A (en) 2007-03-22
JP3937024B2 true JP3937024B2 (en) 2007-06-27

Family

ID=37933326

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005260836A Active JP3937024B2 (en) 2005-09-08 2005-09-08 Detection of misalignment, pattern rotation, distortion, and misalignment using moiré fringes

Country Status (1)

Country Link
JP (1) JP3937024B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015168966A1 (en) * 2014-05-09 2015-11-12 深圳市华星光电技术有限公司 Alignment assembly device and method for lens 3d display
CN108759713A (en) * 2018-05-22 2018-11-06 天津中德应用技术大学 Face shape three-dimension measuring system based on ray tracing

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100966311B1 (en) 2008-02-20 2010-06-28 넥스타테크놀로지 주식회사 Moire Device Using Digital Micromirror Device
JP4831703B2 (en) * 2008-04-23 2011-12-07 国立大学法人 和歌山大学 Object displacement measurement method
JP2010160051A (en) * 2009-01-08 2010-07-22 Mitsutoyo Corp Correcting pattern for image devices
JP2011064482A (en) * 2009-09-15 2011-03-31 Kurabo Ind Ltd Device and method of high-speed three-dimensional measurement
CN101825799A (en) * 2010-05-26 2010-09-08 福州华映视讯有限公司 Method for assembling naked-eye stereoscopic display
JP5490627B2 (en) * 2010-06-17 2014-05-14 株式会社ミツトヨ Image equipment calibration pattern
JP5780659B2 (en) 2013-06-13 2015-09-16 ヤマハ発動機株式会社 3D shape measuring device
KR101556056B1 (en) 2014-03-18 2015-10-29 아트크레이트 (주) Digital light processing projector for printed circuit board inspection
CN111156928B (en) * 2020-02-07 2023-04-18 武汉玄景科技有限公司 Grating three-dimensional scanner moire fringe eliminating method based on DLP projection
CN113029006B (en) * 2021-04-27 2022-09-30 重庆理工大学 Detection device and detection method based on moire fringes
CN114061914A (en) * 2021-11-18 2022-02-18 锋芒科技南京有限公司 Light field display system orthotic devices

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015168966A1 (en) * 2014-05-09 2015-11-12 深圳市华星光电技术有限公司 Alignment assembly device and method for lens 3d display
CN108759713A (en) * 2018-05-22 2018-11-06 天津中德应用技术大学 Face shape three-dimension measuring system based on ray tracing
CN108759713B (en) * 2018-05-22 2021-04-06 天津中德应用技术大学 Surface shape three-dimensional measurement system based on ray tracing

Also Published As

Publication number Publication date
JP2007071769A (en) 2007-03-22

Similar Documents

Publication Publication Date Title
JP3937024B2 (en) Detection of misalignment, pattern rotation, distortion, and misalignment using moiré fringes
KR20100015475A (en) Geometry measurement instrument and method for measuring geometry
JP6726967B2 (en) Brightness unevenness measuring device
US20140198185A1 (en) Multi-camera sensor for three-dimensional imaging of a circuit board
JP2004109106A (en) Method and apparatus for inspecting surface defect
JP2007322162A (en) Three-dimensional shape measuring apparatus and three-dimensional shape measuring method
JP4706356B2 (en) Screw shape measuring device
JP2011007710A (en) Inspection device, inspection method and inspection program
KR0184039B1 (en) Image quality inspection system and image synthesis method
WO2008075632A1 (en) Test method for compound-eye distance measuring device, its test device and chart used for same
US7834996B2 (en) Inspection apparatus and method
JP3921547B2 (en) Shape measuring method and apparatus using line sensor and line projector
JPH11257930A (en) Three-dimensional shape measuring apparatus
KR101566129B1 (en) Moire Technique- based Measurement of the 3-Dimension Profile of a Specimen and its Implementation with Line-Scan Camera
JPH0875542A (en) Method for measuring quantity of light for display pixel, and method and apparatus for inspecting display screen
JP2006084286A (en) Three-dimensional measuring method and its measuring device
JPH1096606A (en) Shape measuring method and device
US20160021305A1 (en) Method and apparatus for measuring optical systems and surfaces with optical ray metrology
JP2008170282A (en) Shape measuring device
JP6486010B2 (en) Shape measuring apparatus and shape measuring method
JP3921432B2 (en) Shape measuring apparatus and shape measuring method using moire optical system
JP4675011B2 (en) Shape measuring method and shape measuring apparatus
JP2009010674A (en) Chromatic-aberration measurement method
JP2003322516A (en) Shape measuring method and shape measuring device
JP4930834B2 (en) Shape measurement method

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070227

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150