JP7213465B2 - Image processing method and measuring device - Google Patents
Image processing method and measuring device Download PDFInfo
- Publication number
- JP7213465B2 JP7213465B2 JP2019057101A JP2019057101A JP7213465B2 JP 7213465 B2 JP7213465 B2 JP 7213465B2 JP 2019057101 A JP2019057101 A JP 2019057101A JP 2019057101 A JP2019057101 A JP 2019057101A JP 7213465 B2 JP7213465 B2 JP 7213465B2
- Authority
- JP
- Japan
- Prior art keywords
- images
- model
- data
- image
- measured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は画像処理方法及び測定装置に係り、被測定物の3次元形状の測定に用いられる画像処理方法及び測定装置に関する。 The present invention relates to an image processing method and a measuring device, and more particularly to an image processing method and a measuring device used for measuring the three-dimensional shape of an object.
被測定物の3次元形状を測定する装置としては、走査型白色干渉計を用いるものが知られている。走査型白色干渉計は、白色光を光源として用いて、マイケルソン型又はミラウ型等の光路干渉計を利用して、被測定物の表面の3次元形状を非接触で測定するための装置である。 As a device for measuring the three-dimensional shape of an object to be measured, one using a scanning white light interferometer is known. A scanning white light interferometer is a device for non-contact measurement of the three-dimensional shape of the surface of an object to be measured using white light as a light source and an optical path interferometer such as a Michelson type or a Mirau type. be.
白色干渉計を利用した測定方法では(以下、白色干渉法という。)、測定に使用する対物レンズの倍率等により、1回の測定で撮像可能な範囲が制約を受ける。このため、被測定物及び白色干渉計を相対移動させて複数回の撮像を行い、被測定物の複数の画像をつなぎ合わせることで、広範囲の3次元形状の測定を行うことが行われている(例えば、特許文献1)。 In a measurement method using a white light interferometer (hereinafter referred to as a white light interferometer), the range that can be imaged in one measurement is limited by the magnification of the objective lens used for measurement. For this reason, the object to be measured and the white light interferometer are relatively moved, images are taken a plurality of times, and a plurality of images of the object to be measured are combined to measure a wide range of three-dimensional shapes. (For example, Patent Document 1).
一般に、白色干渉法における高さ方向の分解能がナノメートルオーダであるのに対して、被測定物が保持されるステージの移動精度(真直度)はマイクロメートルオーダである。画像のつなぎ合わせの精度は、最も分解能が低いステージの移動精度に依存して低下するため、被測定物の3次元形状の測定精度が低下するという問題があった。 In general, the resolution in the height direction in the white light interferometry is on the order of nanometers, whereas the moving accuracy (straightness) of the stage holding the object to be measured is on the order of micrometers. Since the accuracy of image stitching deteriorates depending on the movement accuracy of the stage with the lowest resolution, there is a problem that the measurement accuracy of the three-dimensional shape of the object to be measured deteriorates.
本発明はこのような事情に鑑みてなされたもので、ステージの移動精度に起因する画像のつなぎ合わせの精度の低下を防止し、被測定物の3次元形状の測定精度を高めることが可能な画像処理方法及び測定装置を提供することを目的とする。 The present invention has been made in view of such circumstances, and is capable of preventing deterioration in the accuracy of stitching images due to stage movement accuracy and increasing the accuracy of measuring the three-dimensional shape of an object to be measured. An object of the present invention is to provide an image processing method and a measuring device.
上記課題を解決するために、本発明の第1の態様に係る画像処理方法は、被測定物を領域ごとに撮像した複数の画像を取得するステップと、複数の画像に含まれる各画素の干渉波形を取得するステップと、複数の画像を合成するときに、複数の画像における対応点の干渉波形から相互相関関数を求め、相互相関関数の最大値から相関係数を算出するステップと、相関係数がより大きい値をとるように、複数の画像の位置合わせを行う画像処理ステップとを含む。 In order to solve the above problems, an image processing method according to a first aspect of the present invention includes the steps of acquiring a plurality of images obtained by imaging an object to be measured for each region; acquiring a waveform; obtaining a cross-correlation function from interference waveforms of corresponding points in a plurality of images when synthesizing a plurality of images; calculating a correlation coefficient from the maximum value of the cross-correlation function; and an image processing step of aligning the plurality of images so that the number takes the higher value.
本発明の第2の態様に係る画像処理方法は、第1の態様の画像処理ステップにおいて、複数の画像における対応点の間の距離が収束し、かつ、相関係数がより大きい値をとるように、複数の画像の位置合わせを行うようにしたものである。 In the image processing method according to the second aspect of the present invention, in the image processing step of the first aspect, the distance between corresponding points in the plurality of images converges and the correlation coefficient takes a larger value. In addition, a plurality of images are aligned.
本発明の第3の態様に係る測定装置は、被測定物を領域ごとに撮像した複数の画像を取得する画像取得部と、複数の画像に含まれる各画素の干渉波形を取得する干渉波形取得部と、複数の画像を合成するときに、複数の画像における対応点の干渉波形から相互相関関数を求め、相互相関関数の最大値から相関係数を算出する算出部と、相関係数がより大きい値をとるように、複数の画像の位置合わせを行う画像処理部とを備える。 A measurement apparatus according to a third aspect of the present invention includes an image acquisition unit that acquires a plurality of images of an object to be measured for each region, and an interference waveform acquisition unit that acquires an interference waveform of each pixel included in the plurality of images. a calculation unit that, when synthesizing a plurality of images, obtains a cross-correlation function from interference waveforms of corresponding points in the plurality of images and calculates a correlation coefficient from the maximum value of the cross-correlation function; and an image processing unit that aligns a plurality of images so as to obtain a large value.
本発明の第4の態様に係る測定装置は、第3の態様において、干渉波形を保存する記憶部をさらに備え、干渉波形取得部は、複数の画像に含まれる画素のうち位置合わせに用いる画素のみについて干渉波形を取得して記憶部に保存するようにしたものである。 A measuring apparatus according to a fourth aspect of the present invention, in the third aspect, further includes a storage unit for storing interference waveforms, and the interference waveform acquisition unit includes pixels included in the plurality of images and used for alignment. The interference waveform is acquired for only the 100% and is stored in the storage unit.
本発明によれば、複数の画像における対応点の干渉波形(インターフェログラム)から相関係数を求め、この相関係数がより大きい値をとり、インターフェログラムの相関が高くなるようにすることができる。これにより、被測定物を測定する際の移動精度に起因する画像のつなぎ合わせの精度の低下を防止することが可能となる。 According to the present invention, the correlation coefficient is obtained from the interference waveforms (interferogram) of corresponding points in a plurality of images, and the correlation coefficient takes a larger value so that the correlation of the interferogram becomes higher. can be done. As a result, it is possible to prevent a decrease in accuracy in stitching images due to movement accuracy in measuring the object to be measured.
以下、添付図面に従って本発明に係る画像処理方法及び測定装置の実施の形態について説明する。 BEST MODE FOR CARRYING OUT THE INVENTION An embodiment of an image processing method and a measuring apparatus according to the present invention will be described below with reference to the accompanying drawings.
[測定装置の構成]
図1は、本発明の一実施形態に係る測定装置を示すブロック図である。
[Configuration of measuring device]
FIG. 1 is a block diagram showing a measuring device according to one embodiment of the invention.
図1に示すように、本実施形態に係る測定装置1は、被測定物Wの形状、表面粗さ等の測定を行うための白色干渉顕微鏡50と、制御装置10とを含んでいる。以下の説明では、被測定物Wが載置されるステージ78に沿う平面をXY平面とする3次元直交座標系を用いて説明する。
As shown in FIG. 1, the
制御装置10は、白色干渉顕微鏡50の各部の制御を行い、白色干渉顕微鏡50による測定の結果を処理する装置であり、制御部12、入出力部14、記憶部16及び信号処理部18を含んでいる。制御装置10は、例えば、パーソナルコンピュータ、ワークステーション等の汎用のコンピュータによって実現可能である。
The
制御部12は、CPU(Central Processing Unit)、ROM(Read Only Memory)及びRAM(Random Access Memory)を含んでいる。制御部12は、入出力部14を介して作業者から操作入力を受け付けて、制御装置10の各部を制御する。また、制御部12は、白色干渉顕微鏡50の光源部52の出力制御を行って、被測定物Wに照射される照明光の光量等を調整する。制御部12は、ステージ駆動部80の駆動制御を行ってステージ78を移動させて、被測定物Wの観察対象位置(測定位置)の調整等を行う。また、制御部12は、鏡筒56とステージ78との間の高さ方向(Z方向)の相対位置(距離)の制御を行う。制御部12は、本発明の算出部及び画像処理部の一例である。
The
入出力部14は、作業者の操作入力を受け付けるための操作部材(例えば、キーボード、ポインティングデバイス等)と、白色干渉顕微鏡50による被測定物Wの測定の結果等を表示するための表示部(例えば、液晶ディスプレイ等)とを含んでいる。
The input/
信号処理部18は、白色干渉顕微鏡50の検出器76から検出信号を取得して、この検出信号に対して信号処理を行い、干渉縞の形状及び振幅等を算出する。
The
記憶部16は、被測定物Wの測定結果等のデータを保存するためのストレージデバイスである。記憶部16としては、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)等を用いることができる。
The
白色干渉顕微鏡50は、光源部52、ライトガイド54及び鏡筒56を含んでいる。鏡筒56の下端部にはターレット62が取り付けられており、鏡筒56の上端部には検出器76が取り付けられている。ターレット62には、複数(図1に示す例では3個)の対物部64が取り付けられている。複数の対物部64に含まれる干渉対物レンズ66は、相互に倍率が異なっており、ターレット62を回転させることにより、被測定物Wの測定に使用する干渉対物レンズ66を切り替えることが可能となっている。
A white
光源部52は、白色光を出力する光源であり、例えば、ハロゲンランプ、レーザー光源又はLED(Light Emitting Diode)光源等である。ここで、白色光とは、可視光領域(波長約400nm~約720nm)の波長の可視光線を混ぜ合わせた光であり、例えば、赤、緑及び青の3色(3原色)の光を適切な比率で混合した光であってもよい。
The
ライトガイド54は、光源部52から出力された白色光を鏡筒56に伝播する光路を形成する部材であり、例えば、光ファイバである。
The
鏡筒56は、同軸落射型の照明光学系を有している。鏡筒56には、照明用レンズ58、ビームスプリッター60、結像レンズ72及び絞り74が配置されている。鏡筒56とステージ78との高さ方向(Z方向)の相対位置(距離)は、制御部12により変更可能となっている。
The
照明用レンズ58は、ライトガイド54を介して鏡筒56に入射した白色光(照明光)を干渉対物レンズ66の瞳位置に導光する(結像させる)光学系を有する。照明用レンズ58から出力された照明光は、ビームスプリッター60によって反射されて対物部64に導光される。
The
ビームスプリッター60を介して導光された照明光は、干渉対物レンズ66により対物部64の出射側に導光される。対物部64の出射側に導光された照明光のうちハーフミラー68を透過した成分は、ステージ78に載置された被測定物Wに導光され、被測定物Wの被測定面で反射される。そして、被測定物Wの被測定面からの反射光は、ハーフミラー68を透過して結像レンズ72に到達する。一方、対物部64の出射側に導光された照明光のうちハーフミラー68に反射された成分は、参照ミラー70に導光されて反射される。参照ミラー70は、干渉対物レンズ66の出射側(被測定物W側)の焦点位置と共役な位置に配置されている。参照ミラー70からの反射光は、ハーフミラー68に反射されて結像レンズ72に到達する。
The illumination light guided through the
結像レンズ72は、被測定物Wの被測定面からの反射光と、参照ミラー70からの反射光とを検出器76の光検出面に結像させる光学系を有する。
The
絞り74は、結像レンズ72と検出器76との間に設けられており、結像レンズ72から検出器76に導光される反射光の一部を遮光する。
The
検出器76は、例えば、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)等の光検出アレイ素子(以下、イメージセンサーという。)を含んでいる。検出器76は、イメージセンサーの各受光素子が検出した光強度を示すアナログ又はデジタルの検出信号を生成し、信号処理部18に出力する。これにより、被測定物Wの被測定面の画像が取得される。また、検出器76は、この画像の各画素の干渉波形(インターフェログラム)を取得する。検出器76は、本発明の画像取得部及び干渉波形取得部の一例である。
The
検出器76は、被測定物Wの被測定面からの第1の反射光L1、及び参照ミラー70からの第2の反射光L2を受光して検出信号を生成し、信号処理部18に出力する。
The
信号処理部18は、白色干渉顕微鏡50の検出器76から検出信号を取得して、この検出信号に対して所定の信号処理を行い、干渉縞の形状及び振幅等を算出する。ここで、干渉対物レンズ66を高さ方向(Z方向)に走査したときに得られる輝度変化曲線(干渉波形)をインターフェログラムという。
The
制御部12は、干渉対物レンズ66を高さ方向(Z方向)に走査したときに、信号処理部18によって算出された干渉縞の形状及び振幅等に基づいて、被測定物Wの被測定面の形状、表面粗さ等の測定を行う。具体的には、制御部12は、被測定物Wの被測定面とハーフミラー68との間の距離と、参照ミラー70とハーフミラー68との間の距離の差(以下、光路差という。)を利用して、被測定物Wの被測定面の形状、表面粗さ等の測定を行う。このような測定方法は、垂直走査法(VSI:Vertical Scanning Interferometry)と呼ばれる。垂直走査法については、例えば、米国特許第4340306号明細書に記載されている。なお、垂直走査法は、CSI(Coherence Scanning Interferometry)として、国際標準化機構(ISO:International Organization for Standardization)により規格化されている(ISO25178-604:2013)。
When the interference
光路差が変化すると、第1の反射光L1と第2の反射光L2との間に位相差が変化し、この位相差の変化に応じて干渉縞が変化する。光路差がゼロの場合、すなわち、被測定物Wの被測定面に合焦している場合には、第1の反射光L1と第2の反射光L2との間に位相差が生じない。このため、干渉強度が最大となり、干渉縞の振幅が最大になる。一方、光路差が大きくなると、干渉強度が小さくなる。 When the optical path difference changes, the phase difference between the first reflected light L1 and the second reflected light L2 changes, and the interference fringes change according to the change in the phase difference. When the optical path difference is zero, that is, when the surface of the object W to be measured is in focus, no phase difference occurs between the first reflected light L1 and the second reflected light L2. Therefore, the interference intensity is maximized and the amplitude of the interference fringes is maximized. On the other hand, as the optical path difference increases, the interference intensity decreases.
制御部12は、例えば、信号処理部18によって算出された干渉縞の振幅が最大になるときの干渉対物レンズ66の高さ方向(Z方向)の位置(Z軸高さ)を取得する。ここで、干渉縞の振幅が最大になるときの干渉対物レンズ66の高さ方向の位置は、インターフェログラムにおける包絡線から求めることができる。そして、制御部12は、この干渉対物レンズ66の位置に基づいて、被測定物Wの被測定面の高さ位置(合焦位置)を算出し、被測定物Wの被測定面の形状、表面粗さ等の測定を行う。制御部12は、この測定の結果を記憶部16に格納したり、入出力部14の表示部に表示させることが可能となっている。
The
なお、被測定物Wの被測定面の高さ位置の測定方法は、VSI又はCSIに限定されない。被測定物Wの被測定面の高さ位置の測定方法としては、例えば、周波数領域法(FDA:Frequency Domain Analysis)又は位相シフト法(PSI:Phase Shifting Interferometry)を適用してもよい。周波数領域法は、インターフェログラムをフーリエ変換し、振幅スペクトルのピーク位置付近で、波数に対する位相の勾配を求めることにより、被測定物Wの被測定面の高さ位置を求める方法である。周波数領域法については、例えば、米国特許第5398113号明細書に記載されている。位相シフト法は、干渉対物レンズ66の焦点位置を光軸方向にシフトさせたときの画素の濃度値の変化に基づいて、被測定物Wの被測定面の高さ位置を求める方法である。位相シフト法については、例えば、J. H. Bruning et al.: "Digital Wavefront Measuring Interferometer for Testing Optical Surfaces and Lenses, Applied Optics, Vol. 13, Issue 11, pp. 2693-2703 (1974)に記載されている。
Note that the method for measuring the height position of the surface to be measured of the object W to be measured is not limited to VSI or CSI. As a method of measuring the height position of the surface to be measured of the object W to be measured, for example, a frequency domain analysis (FDA) or a phase shifting interferometry (PSI) may be applied. The frequency domain method is a method of obtaining the height position of the surface of the object W to be measured by Fourier transforming the interferogram and obtaining the phase gradient with respect to the wave number near the peak position of the amplitude spectrum. Frequency domain methods are described, for example, in US Pat. No. 5,398,113. The phase shift method is a method of obtaining the height position of the surface of the object W to be measured based on the change in the density value of the pixel when the focal position of the interference
被測定物WのXY方向に沿う走査は、ステージ駆動部80により行われる。ステージ駆動部80は、ステージ78をXY方向に移動させるための駆動機構(例えば、アクチュエータ等)を備えている。被測定物Wにおける光の照射位置(観察対象位置)は、ステージ駆動部80によりステージ78をXY方向に移動させることにより変更可能となっている。
Scanning along the XY directions of the object W to be measured is performed by the
制御部12は、ステージ駆動部80により、被測定物WをXY方向に移動させて、被測定面の撮像を順次行う。そして、制御部12は、順次撮像された画像をつなぎ合わせることにより、被測定物Wの測定対象範囲全体の合成画像を作成することができる。これにより、被測定物Wの測定対象範囲全体の3次元形状の測定を行うことが可能になる。
The
なお、本実施形態では、ステージ78をXY方向に移動可能としたが、ステージ78を固定として鏡筒56をXY方向に移動可能としてもよいし、鏡筒56及びステージ78の両方を移動可能としてもよい。
In this embodiment, the
[画像のつなぎ合わせ処理(合成処理)]
次に、画像のつなぎ合わせ処理について、図2から図10を参照して説明する。図2及び図3は、画像のつなぎ合わせ処理を説明するための図である。
[Image stitching processing (compositing processing)]
Next, image stitching processing will be described with reference to FIGS. 2 to 10. FIG. 2 and 3 are diagrams for explaining image stitching processing.
本実施形態では、ステージ駆動部80により、被測定物WをXY方向に移動させて、被測定面の撮像を順次行う。ここで、被測定面の撮像時には、隣り合う測定画像において一部が重なり合うように(隣り合う測定画像に対応点が存在するように)、被測定物Wの走査を行う。被測定面の撮像時には、被測定面の画素ごとのインターフェログラムを取得して格納する。なお、画素ごとのインターフェログラムは、隣接する測定画像のうち相互に重なり合う領域の画素のみについて保存するようにしてもよい。
In the present embodiment, the
画像のつなぎ合わせ処理を行う際には、まず、測定画像を2枚選択し、2枚の測定画像のうちの一方を基準として他方の位置合わせを行う。このとき、基準とする測定画像をモデル画像PModel(PModel(1,1))とし、モデル画像PModelに対して位置合わせを行う測定画像(モデル画像PModelに対して座標を固定する前の測定画像)をデータ画像PDataとする。 When performing image stitching processing, first, two measurement images are selected, and one of the two measurement images is used as a reference to position the other. At this time, the model image P Model (P Model (1, 1)) is used as a reference measurement image, and the measurement image (before the coordinates are fixed with respect to the model image P Model ) is aligned with the model image P Model . ) is defined as a data image P Data .
そして、図2に示すように、1枚目のモデル画像PModel(1,1)を起点として、データ画像PDataの位置合わせを順次行う。ここで、モデル画像PModelに対して座標が固定された位置合わせ後のデータ画像PDataをPModel(1,2),PModel(1,3),…,PModel(2,1),PModel(2,2),…とする。また、画像PModel(1,1),PModel(1,2),PModel(1,3),…,PModel(2,1),PModel(2,2),…が順次合成される画像をモデル画像PModelとする。モデル画像PModelに対してデータ画像PDataを順次合成することにより、測定対象範囲全体の合成画像が作成される。 Then, as shown in FIG. 2, the positions of the data images P Data are sequentially aligned with the first model image P Model (1, 1) as a starting point. Here, the data image P Data after alignment whose coordinates are fixed with respect to the model image P Model are represented by P Model (1, 2), P Model (1, 3), . . . , P Model (2, 1), Let P Model (2, 2), . . . Also, images P Model (1, 1), P Model (1, 2), P Model (1, 3), . . . , P Model (2, 1), P Model (2, 2), . Let the image that is displayed be a model image P Model . By sequentially synthesizing the model image P Model with the data image P Data , a synthesized image of the entire measurement target range is created.
モデル画像PModelとデータ画像PDataとの位置合わせは、例えば、ICP(Iterative Closest Point)アルゴリズムにより行う。すなわち、モデル画像PModel及びデータ画像PDataの2枚の画像中の点群(画素群)間における最近傍点(最近傍画素)を対応点として求め、対応点同士を近づける(あるいは、重ね合わせる)変換を行うことにより、2枚の画像の位置合わせを行う。ICPアルゴリズムについては、例えば、IEEE (Institute of Electrical and Electronics Engineers) Transactions on Pattern Analysis and Machine Intelligence (Volume: 14, Issue: 2, Feb. 1992)に記載されている。 Alignment between the model image P Model and the data image P Data is performed by, for example, an ICP (Iterative Closest Point) algorithm. That is, the closest points (nearest neighbor pixels) between the point groups (pixel groups) in the two images of the model image P Model and the data image P Data are obtained as corresponding points, and the corresponding points are brought closer to each other (or superimposed). The two images are aligned by performing the transformation. The ICP algorithm is described, for example, in IEEE (Institute of Electrical and Electronics Engineers) Transactions on Pattern Analysis and Machine Intelligence (Volume: 14, Issue: 2, Feb. 1992).
具体的には、まず、モデル画像PModelから位置合わせの際に基準とする画素群(以下、モデル画素群GModelという。)を選択する。また、データ画像PDataにおいて、モデル画素群GModelに近づけるように変換される画素群(以下、データ点群GDataという。)を選択する。ここで、モデル画素群GModel及びデータ画素群GDataは、撮像時の白色干渉顕微鏡50と被測定物Wとの位置関係に基づいて、モデル画像PModel及びデータ画像PDataの相互に重なり合う領域を特定し、その中から選択するようにしてもよい(図2参照)。なお、モデル画素群GModel及びデータ画素群GDataを選択する際には、モデル画像PModel及びデータ画像PDataの相互に重なり合う領域のすべての画素を選択する必要はなく、適宜間引いて選択するようにしてもよいし、重なり合う領域の一部領域(例えば、中央の領域)から選択するようにしてもよい。
Specifically, first, a pixel group (hereinafter referred to as a model pixel group G Model ) to be used as a reference for alignment is selected from the model image P Model . Also, in the data image P Data , a pixel group (hereinafter referred to as data point group G Data ) to be transformed so as to be closer to the model pixel group G Model is selected. Here, the model pixel group G Model and the data pixel group G Data are regions in which the model image P Model and the data image P Data overlap each other based on the positional relationship between the
次に、モデル画素群GModel中の画素EModel(XModel,YModel,ZModel)について、データ画素群GData中のすべての画素EData(XData,YData,ZData)に対する3次元的距離を求める(図3参照)。そして、画素EModelと画素EDataとの間の距離が最短となるような最近傍点の組(EModel,EData)を、すべてのモデル画素GModel群の画素について求める。 Next, for pixel E Model (X Model , Y Model , Z Model ) in model pixel group G Model , three-dimensional data for all pixels E Data (X Data , Y Data , Z Data ) in data pixel group G Data Find the target distance (see Figure 3). Then, a set of nearest neighbor points (E Model , E Data ) that minimizes the distance between the pixel E Model and the pixel E Data is obtained for all pixels of the model pixel G Model group.
次に、最近傍点の組(EModel,EData)を位置合わせにおける対応点として、対応点同士を近づける変換を求める。この変換は、例えば、対応点間の距離の二乗和を反復計算により最小化(収束)させることにより求めることができる。 Next, using the pair of nearest neighbor points (E Model , E Data ) as corresponding points in alignment, a transformation that brings the corresponding points closer to each other is obtained. This conversion can be obtained, for example, by minimizing (converging) the sum of squares of distances between corresponding points through iterative calculation.
本実施形態では、この変換を求める際に、対応点同士を近づけることに加えて、モデル画素群GModelとデータ画素群GDataのインターフェログラム(以下、それぞれモデル側インターフェログラム及びデータ側インターフェログラムという。)の相関が高くなるようにする。これにより、ステージ78及びステージ駆動部80の移動精度に起因する画像のつなぎ合わせの精度の低下を防止することが可能となる。
In this embodiment, when obtaining this conversion, in addition to bringing corresponding points closer together, interferograms of the model pixel group G Model and the data pixel group G Data (hereinafter referred to as a model-side interferogram and a data-side interferogram, respectively). ferrogram) is made to be highly correlated. As a result, it is possible to prevent deterioration in the accuracy of stitching images due to the movement accuracy of the
図4は、インターフェログラムを用いた画像のつなぎ合わせの処理を示すデータブロック図である。 FIG. 4 is a data block diagram showing image stitching processing using an interferogram.
モデル画像PModelの画素EModelのインターフェログラムをfとし、データ画像PDataの画素EDataのインターフェログラムをgとすると、fとgの相互相関関数は、下記のコンボリューションの式(1)により求められる。 Let f be the interferogram of the pixel E Model of the model image P Model and g be the interferogram of the pixel E Data of the data image P Data . ).
(f*g)(m)=∫f(t)・g(m-t) …(1)
ここで、tはサンプリング時間であり、mは遅延である。なお、インターフェログラムf及びgは、干渉対物レンズ66の高さ(Z座標)の関数として表してもよい。
(f*g)(m)=∫f(t)・g(m−t) (1)
where t is the sampling time and m is the delay. Note that the interferograms f and g may be expressed as a function of the height (Z coordinate) of the interference
図4に示すように、本実施形態に係る制御部12は、遅延器、乗算器及び加算器を含んでいる。制御部12は、モデル側インターフェログラムm1とデータ側インターフェログラムd1及びd2が入力されると、遅延器、乗算器及び加算器により、式(1)の演算を行う。これにより、モデル側インターフェログラムm1とデータ側インターフェログラムd1から相互相関関数c1が算出され、モデル側インターフェログラムm1とデータ側インターフェログラムd2から相互相関関数c2が算出される。
As shown in FIG. 4, the
次に、制御部12は、相互相関関数c1及びc2に対して包絡線検波を行って、信号強度の最大値Imaxを求める。信号強度の最大値は、包絡線の傾きがゼロになる点を特定することにより求めることができる。
Next, the
次に、制御部12は、対応点間の距離の二乗和を反復計算により最小化(収束)させるときに、対応画素のインターフェログラムから算出したImaxのX方向及びY方向の相関係数ρ(X)及びρ(Y)(以下、ρと総称する。)を求める。そして、この相関係数ρがより大きい値、すなわち、より1に近い値をとるように、モデル画像PModelとデータ画像PDataの位置合わせを行う。
Next, when the
図5は、モデル側インターフェログラム(m1)の例を示すグラフであり、図6及び図7は、それぞれデータ側インターフェログラム(d1及びd2)の例を示すグラフである。図5から図7において、横軸及び縦軸は、それぞれサンプリング時間及び信号強度(輝度)を示している。 FIG. 5 is a graph showing an example of the model-side interferogram (m1), and FIGS. 6 and 7 are graphs showing examples of the data-side interferograms (d1 and d2), respectively. 5 to 7, the horizontal and vertical axes indicate sampling time and signal intensity (luminance), respectively.
図6は、モデル画素EModelの最近傍点となるデータ画素EData1におけるインターフェログラムd1を示しており、図7は、モデル画素EModelの最近傍点よりもやや距離が遠い位置にあるデータ画素EData2におけるインターフェログラムd2を示している。 FIG. 6 shows the interferogram d1 at the data pixel E Data1 which is the closest point to the model pixel E Model , and FIG. Fig. 2 shows an interferogram d2 in Data2 ;
図8及び図9は、モデル側インターフェログラム(m1)とデータ側インターフェログラム(d1及びd2)からそれぞれ求められた相互相関関数(c1及びc2)の例を示すグラフである。図8及び図9に示す相互相関関数c1及びc2に対して包絡線検波を行って、包絡線の傾きがゼロになる点を特定することにより、相互相関関数c1及びc2の信号強度の最大値を求めることができる。 8 and 9 are graphs showing examples of cross-correlation functions (c1 and c2) respectively obtained from the model-side interferogram (m1) and the data-side interferogram (d1 and d2). By performing envelope detection on the cross-correlation functions c1 and c2 shown in FIGS. 8 and 9 and specifying the point where the slope of the envelope becomes zero, the maximum value of the signal intensity can be asked for.
図10は、相互相関関数(c1及びc2)の最大値の比較結果を示すヒストグラムである。図10に示すように、最大値は、モデル画素EModelの最近傍点となるデータ画素EData1に対応する相互相関関数c1の方が最近傍点よりもやや距離が遠い位置にあるデータ画素EData2に対応する相互相関関数c2よりも大きくなっている。 FIG. 10 is a histogram showing comparison results of the maximum values of the cross-correlation functions (c1 and c2). As shown in FIG. 10, the maximum value of the cross-correlation function c1 corresponding to the data pixel E Data1 , which is the closest point of the model pixel E Model , is at the data pixel E Data2 located slightly farther than the closest point. larger than the corresponding cross-correlation function c2.
本実施形態では、この最大値から求めた相関係数ρがより大きい(より1に近い)値をとるように、モデル画像PModelとデータ画像PDataの位置合わせを行う。 In this embodiment, the model image P Model and the data image P Data are aligned so that the correlation coefficient ρ obtained from the maximum value takes a larger value (closer to 1).
本実施形態によれば、モデル画像PModelとデータ画像PDataの位置合わせを行うときに、対応点間の3次元的距離を収束させ(最小化し)、かつ、対応点のインターフェログラムから求めた相関係数ρがより大きい値をとる(インターフェログラムの相関を高める)ようにする。これにより、ステージ78及びステージ駆動部80の移動精度に起因する画像のつなぎ合わせの精度の低下を防止することが可能となる。
According to this embodiment, when aligning the model image P Model and the data image P Data , the three-dimensional distance between the corresponding points is converged (minimized) and obtained from the interferogram of the corresponding points. The correlation coefficient ρ is set to take a larger value (increase the correlation of the interferogram). As a result, it is possible to prevent deterioration in the accuracy of stitching images due to the movement accuracy of the
なお、本実施形態では、2枚の画像の位置合わせを行う場合について説明したが、2枚以上の画像が重なり合う場合には、2枚以上の画像の対応点間において、3次元的距離及び相関係数ρを算出して収束させればよい。 In this embodiment, the case of aligning two images has been described. It suffices to calculate the relational coefficient ρ and converge.
[測定方法]
次に、本実施形態に係る測定方法について説明する。
[Measuring method]
Next, a measuring method according to this embodiment will be described.
まず、被測定物を測定してデータを取得する工程について説明する。図11は、本実施形態に係る測定方法において被測定物を測定してデータを取得する工程を示すフローチャートである。 First, the process of measuring an object to be measured and obtaining data will be described. FIG. 11 is a flow chart showing steps of measuring an object to be measured and acquiring data in the measuring method according to the present embodiment.
本実施形態では、被測定物Wの被測定面を複数の領域に分けて撮像する。まず、白色干渉顕微鏡50を用いて被測定物Wの被測定面の一部の領域N(N=1)の撮像を行い(ステップS10及びS12)、領域Nの測定画像及び画素ごとの干渉波形(インターフェログラム)を記憶部16に保存する(ステップS14)。
In this embodiment, the surface to be measured of the object W to be measured is divided into a plurality of areas and images are taken. First, the
次に、N=N+1として(ステップS16のNo及びステップS18)、ステップS12からS18を繰り返す。ここで、制御部12は、ステージ駆動部80を制御して、隣り合う領域Nの一部が相互に重なり合うように、測定画像の撮像を行う。また、画素ごとのインターフェログラムについては、領域Nのうち相互に重なり合う領域に含まれる画素又はその一部の位置合わせに使用する画素(モデル画素群GModel及びデータ画素群GDataとして選択する画素)のみについて保存するようにしてもよい。そして、被測定物Wの被測定面のすべての領域の撮像が終了すると(ステップS16のYes)、測定を終了する。
Next, as N=N+1 (No in step S16 and step S18), steps S12 to S18 are repeated. Here, the
次に、測定画像を合成する工程について説明する。図12は、本発明の一実施形態に係る画像処理方法を示すフローチャートである。 Next, the process of synthesizing measurement images will be described. FIG. 12 is a flowchart illustrating an image processing method according to one embodiment of the invention.
まず、制御部12は、図11の工程で取得した測定画像から2枚の画像を選択し、一方をモデル画像PModel、他方をデータ画像PDataとする(ステップS30)。
First, the
次に、制御部12は、モデル画像PModel及びデータ画像PDataから、それぞれモデル画素群GModelとデータ画素群GDataを選択する(ステップS32)。
Next, the
次に、制御部12は、モデル画素群GModel及びデータ画素群GDataの画素の組ごとの3次元的距離を算出する。また、制御部12は、モデル画素群GModel及びデータ画素群GDataの画素の干渉波形(インターフェログラム)から相互相関関数を算出し、各画素のインターフェログラムの組から求めた相互相関関数の最大値から相関係数ρを算出する。そして、制御部12は、対応点間の3次元的距離を収束させ、かつ、相関係数ρがより大きい値をとるように、モデル画像PModelとデータ画像PDataとの位置合わせを行う(ステップS34:画像処理ステップ)。
Next, the
次に、別のデータ画像を選択して(ステップS36のNo及びS38)、ステップS32からS38を繰り返し、すべての測定画像の合成が終了すると(ステップS36のYes)、画像の合成処理を終了する。 Next, another data image is selected (No in step S36 and S38), steps S32 to S38 are repeated, and when the composition of all measurement images is completed (Yes in step S36), the image composition processing ends. .
なお、本実施形態では、ICPアルゴリズムで用いられる3次元的距離を用いてモデル画像PModelとデータ画像PDataとの位置合わせを行ったが、本発明はこれに限定されない。本発明に係る画像処理方法は、ICPアルゴリズム以外の3次元点群に対するレジストレーション手法に、インターフェログラムから求めた相関係数ρを組み合わせた場合にも実現することが可能である。例えば、3次元点群に対するレジストレーション手法として、SIFT(Scale-Invariant Feature Transform)アルゴリズム(例えば、米国特許第6711293号明細書)を用いる場合には、2枚の測定画像間において特徴点(画素)のマッチングを行う際に、相関係数ρがより大きい値をとるようにすればよい。 In this embodiment, the model image P Model and the data image P Data are aligned using the three-dimensional distance used in the ICP algorithm, but the present invention is not limited to this. The image processing method according to the present invention can also be realized by combining a registration method for a three-dimensional point group other than the ICP algorithm with the correlation coefficient ρ obtained from the interferogram. For example, when using a SIFT (Scale-Invariant Feature Transform) algorithm (for example, US Pat. No. 6,711,293) as a registration method for a three-dimensional point cloud, feature points (pixels) , the correlation coefficient .rho. should be set to a larger value.
1…測定装置、10…制御装置、12…制御部、14…入出力部、16…記憶部、18…信号処理部、50…白色干渉顕微鏡、52…光源部、54…ライトガイド、56…鏡筒、58…照明用レンズ、60…ビームスプリッター、62…ターレット、64…対物部、66…干渉対物レンズ、68…ハーフミラー、70…参照ミラー、72…結像レンズ、74…絞り、76…検出器、78…ステージ、80…ステージ駆動部
DESCRIPTION OF
Claims (4)
前記複数の画像に含まれる各画素の干渉波形を取得するステップと、
前記複数の画像を合成するときに、前記複数の画像における対応点の干渉波形から相互相関関数を求め、前記相互相関関数の最大値から相関係数を算出するステップと、
前記相関係数がより大きい値をとるように、前記複数の画像の位置合わせを行う画像処理ステップと、
を含む画像処理方法。 a step of acquiring a plurality of images obtained by imaging the object to be measured for each region;
obtaining an interference waveform of each pixel included in the plurality of images;
obtaining a cross-correlation function from interference waveforms of corresponding points in the plurality of images when synthesizing the plurality of images, and calculating a correlation coefficient from the maximum value of the cross-correlation function;
an image processing step of aligning the plurality of images so that the correlation coefficient takes a larger value;
An image processing method including
前記複数の画像に含まれる各画素の干渉波形を取得する干渉波形取得部と、
前記複数の画像を合成するときに、前記複数の画像における対応点の干渉波形から相互相関関数を求め、前記相互相関関数の最大値から相関係数を算出する算出部と、
前記相関係数がより大きい値をとるように、前記複数の画像の位置合わせを行う画像処理部と、
を備える測定装置。 an image acquisition unit that acquires a plurality of images obtained by imaging an object to be measured for each region;
an interference waveform acquisition unit that acquires an interference waveform of each pixel included in the plurality of images;
a calculation unit that obtains a cross-correlation function from interference waveforms of corresponding points in the plurality of images when synthesizing the plurality of images, and calculates a correlation coefficient from the maximum value of the cross-correlation function;
an image processing unit that aligns the plurality of images so that the correlation coefficient takes a larger value;
A measuring device comprising a
前記干渉波形取得部は、前記複数の画像に含まれる画素のうち前記位置合わせに用いる画素のみについて前記干渉波形を取得して前記記憶部に保存する、請求項3記載の測定装置。 Further comprising a storage unit for storing the interference waveform,
4. The measuring apparatus according to claim 3, wherein said interference waveform acquisition unit acquires said interference waveform only for pixels used for said alignment among pixels included in said plurality of images, and stores said interference waveform in said storage unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019057101A JP7213465B2 (en) | 2019-03-25 | 2019-03-25 | Image processing method and measuring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019057101A JP7213465B2 (en) | 2019-03-25 | 2019-03-25 | Image processing method and measuring device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020159759A JP2020159759A (en) | 2020-10-01 |
JP7213465B2 true JP7213465B2 (en) | 2023-01-27 |
Family
ID=72642791
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019057101A Active JP7213465B2 (en) | 2019-03-25 | 2019-03-25 | Image processing method and measuring device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7213465B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002162214A (en) | 2000-11-22 | 2002-06-07 | Fuji Photo Optical Co Ltd | Method for measuring wave front shape of large-sized body to be observed by aperture synthesis and measuring wave front shape correction method |
WO2003078925A3 (en) | 2002-03-14 | 2004-03-04 | Taylor Hobson Ltd | Surface profiling apparatus |
JP2009244228A (en) | 2008-03-31 | 2009-10-22 | Fujinon Corp | Light wave interference measuring method |
JP2016173294A (en) | 2015-03-17 | 2016-09-29 | オリンパス株式会社 | Three-dimensional shape measurement device |
JP2018119817A (en) | 2017-01-23 | 2018-08-02 | 株式会社東京精密 | Shape measurement device and shape measurement method |
-
2019
- 2019-03-25 JP JP2019057101A patent/JP7213465B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002162214A (en) | 2000-11-22 | 2002-06-07 | Fuji Photo Optical Co Ltd | Method for measuring wave front shape of large-sized body to be observed by aperture synthesis and measuring wave front shape correction method |
WO2003078925A3 (en) | 2002-03-14 | 2004-03-04 | Taylor Hobson Ltd | Surface profiling apparatus |
JP2009244228A (en) | 2008-03-31 | 2009-10-22 | Fujinon Corp | Light wave interference measuring method |
JP2016173294A (en) | 2015-03-17 | 2016-09-29 | オリンパス株式会社 | Three-dimensional shape measurement device |
JP2018119817A (en) | 2017-01-23 | 2018-08-02 | 株式会社東京精密 | Shape measurement device and shape measurement method |
Also Published As
Publication number | Publication date |
---|---|
JP2020159759A (en) | 2020-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9881400B2 (en) | Method for measuring a high accuracy height map of a test surface | |
US6909509B2 (en) | Optical surface profiling systems | |
JP5500462B2 (en) | Shape measuring apparatus, observation apparatus, and image processing method | |
TWI405949B (en) | Method for measuring surface shapes and apparatus using the same | |
CN110214290A (en) | Microspectrum measurement method and system | |
TWI484139B (en) | Chromatic confocal scanning apparatus | |
US6885460B2 (en) | Apparatus for and method of measuring surface shape of an object | |
KR20190052158A (en) | Promoting spectral measurements during semiconductor device fabrication | |
CN107121084B (en) | Measurement method measurement program | |
KR20130102465A (en) | Height measuring method and height measuring device | |
JP2012042260A (en) | Shape measurement method and shape measurement device | |
JP2005189069A (en) | Method and apparatus for measuring surface shape | |
JP7213465B2 (en) | Image processing method and measuring device | |
JP2023176026A (en) | Method for determining scan range | |
KR102129069B1 (en) | Method and apparatus of automatic optical inspection using scanning holography | |
CN107923735B (en) | Method and device for deducing the topography of an object surface | |
JP2018146497A (en) | Surface shape measurement method and surface shape measurement device | |
JP2006242853A (en) | Interference device and measuring technique of planar shape | |
JP2003222508A (en) | Surface shape measuring device and surface shape measuring method | |
JP2020153992A (en) | Shape measurement device by white interferometer | |
JP2004361218A (en) | Method for measuring surface profile and/or film thickness and its apparatus | |
JP6880396B2 (en) | Shape measuring device and shape measuring method | |
Liu et al. | A self-designed laser scanning differential confocal microscopy with a novel vertical scan algorithm for fast image scanning | |
JP5331601B2 (en) | Optical measuring device | |
JP7493960B2 (en) | Shape measuring device and shape measuring method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220225 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221216 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221229 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7213465 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |