JPWO2018042580A1 - IMAGE MEASUREMENT METHOD, IMAGE MEASUREMENT PROGRAM, IMAGE MEASUREMENT APPARATUS, AND METHOD OF MANUFACTURING ARTICLE - Google Patents
IMAGE MEASUREMENT METHOD, IMAGE MEASUREMENT PROGRAM, IMAGE MEASUREMENT APPARATUS, AND METHOD OF MANUFACTURING ARTICLE Download PDFInfo
- Publication number
- JPWO2018042580A1 JPWO2018042580A1 JP2018536604A JP2018536604A JPWO2018042580A1 JP WO2018042580 A1 JPWO2018042580 A1 JP WO2018042580A1 JP 2018536604 A JP2018536604 A JP 2018536604A JP 2018536604 A JP2018536604 A JP 2018536604A JP WO2018042580 A1 JPWO2018042580 A1 JP WO2018042580A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- measurement
- coordinate system
- article
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000691 measurement method Methods 0.000 title claims abstract description 24
- 238000005259 measurement Methods 0.000 title claims description 595
- 238000004519 manufacturing process Methods 0.000 title claims description 7
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000000034 method Methods 0.000 claims description 121
- 238000003384 imaging method Methods 0.000 claims description 109
- 238000005286 illumination Methods 0.000 claims description 44
- 238000012545 processing Methods 0.000 claims description 22
- 238000012937 correction Methods 0.000 description 324
- 230000008569 process Effects 0.000 description 92
- 238000012360 testing method Methods 0.000 description 42
- 230000003252 repetitive effect Effects 0.000 description 39
- 239000000284 extract Substances 0.000 description 24
- 238000001514 detection method Methods 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 15
- 238000003860 storage Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 239000000428 dust Substances 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
Abstract
簡単に画像測定することが可能な画像測定方法を提供するため、第1の物品における異なる部分の画像の中から、該画像に関する特徴に基づいて、画像を選択することと、前記選択された画像と、第2の物品における前記選択された画像に対応する部分の画像とに基づいて、前記第2の物品に関する位置合わせを行うことと、前記第2の物品を画像測定することを含んでいる。In order to provide an image measurement method capable of easily measuring an image, an image is selected from among images of different parts of the first article based on features related to the image, and the selected image. Aligning the second article with respect to the second article based on the image of the second article and a portion of the second article that corresponds to the selected image; and measuring the image of the second article .
Description
本発明は、画像測定方法、画像測定プログラム及び画像測定装置、並びに物品の製造方法に関する。 The present invention relates to an image measurement method, an image measurement program and an image measurement apparatus, and a method of manufacturing an article.
従来、複数のワークを繰り返し測定する際に、マスタワークのパターン画像を用いたパターンマッチングにより各ワークの位置と回転角度を検出し、検出した位置と回転角度データを用いて各ワークの座標系を設定し、測定を行う技術が知られている(例えば、特許文献1等参照)。 Conventionally, when measuring a plurality of workpieces repeatedly, the position and rotational angle of each workpiece are detected by pattern matching using a pattern image of the master workpiece, and the coordinate system of each workpiece is detected using the detected position and rotational angle data. Techniques for setting and measuring are known (see, for example, Patent Document 1).
しかしながら、上記特許文献1等では、ワークの画像測定は難しく、測定を失敗したり、精度よく行えない場合がある。
However, in the
本発明は上記の課題に鑑みてなされたものであり、簡単に画像測定することが可能な画像測定方法、画像測定プログラム及び画像測定装置、並びに物品の良否を適切に判定することが可能な物品の製造方法を提供することを目的とする。 The present invention has been made in view of the above problems, and an image measuring method capable of easily measuring an image, an image measuring program and an image measuring device, and an article capable of appropriately determining the quality of an article. The purpose is to provide a manufacturing method of
本発明の画像測定方法は、第1の物品における異なる部分の画像の中から、該画像に関する特徴に基づいて、画像を選択することと、前記選択された画像と、第2の物品における前記選択された画像に対応する部分の画像とに基づいて、前記第2の物品に関する位置合わせを行うことと、前記第2の物品を画像測定することを含む。 The image measurement method of the present invention comprises selecting an image from among images of different parts of a first article based on features relating to the image, the selected image, and the selection of a second article. Performing alignment on the second article based on an image of a portion corresponding to the generated image, and measuring the image of the second article.
本発明の物品の製造方法は、物品を製造することと、前記製造することにおいて製造された前記物品を前記第2の物品として、本発明の画像測定方法を用いた画像測定を実行することと、前記画像測定の結果に基づいて、前記物品の良否を判定することとを含む。 A method of producing an article according to the present invention comprises producing an article, and performing an image measurement using the image measurement method according to the present invention, using the article produced in the production as the second article. Determining the quality of the article based on the result of the image measurement.
本発明の画像測定プログラムは、コンピュータに、第1の物品における異なる部分の画像の中から、該画像に関する特徴に基づいて、画像を選択することと、前記選択された画像と、第2の物品における前記選択された画像に対応する部分の画像とに基づいて、前記第2の物品に関する位置合わせを行うことと、前記第2の物品を画像測定することを実行させるプログラムである。 The image measurement program according to the present invention comprises, in a computer, selecting an image from among images of different parts of a first article based on features relating to the image, the selected image, and a second article. It is a program which performs performing alignment with respect to a said 2nd article, and measuring an image of said 2nd article based on the image of the part corresponding to the said selected image in.
本発明の画像測定装置は、第1の物品における異なる部分の画像の中から、該画像に関する特徴に基づいて、画像を選択する画像選択部と、前記選択された画像と、第2の物品における前記選択された画像に対応する部分の画像とに基づいて、前記第2の物品に関する位置合わせを行う位置合わせ部と、前記第2の物品を画像測定する画像測定部と、を備えている。 An image measurement device according to the present invention includes an image selection unit that selects an image from images of different parts of a first article based on features relating to the image, the selected image, and a second article. An alignment unit that performs alignment on the second article based on an image of a portion corresponding to the selected image, and an image measurement unit that performs image measurement of the second article.
本発明の画像測定方法、画像測定プログラム及び画像測定装置は、簡単に画像測定を行うことができるという効果を奏する。また、本発明の物品の製造方法は、物品の良否を適切に判定することができるという効果を奏する。 The image measurement method, the image measurement program, and the image measurement apparatus of the present invention have an effect that the image measurement can be easily performed. In addition, the method of manufacturing an article according to the present invention has an effect that the quality of the article can be appropriately determined.
《第1の実施形態》
以下、第1の実施形態に係る画像測定装置について、図1〜図15に基づいて詳細に説明する。図1には、第1の実施形態に係る画像測定装置100の構成が概略的に示されている。First Embodiment
Hereinafter, the image measuring device according to the first embodiment will be described in detail based on FIGS. 1 to 15. FIG. 1 schematically shows the configuration of an
画像測定装置100は、図1に示すように、測定装置本体1と、制御ユニット2と、表示装置193と、入力装置195と、を備える。
As shown in FIG. 1, the
測定装置本体1は、支持体3と、支持体3のベース部3a上に設けられたXYステージ5と、XYステージ5の上方に位置するように支持体3の支柱部3bに支持された撮像部6と、を有する。
The
XYステージ5は、水平面内の直交する2軸方向(X軸及びY軸方向)に移動するステージである。XYステージ5の上面には、自動車の部品や機械の部品などの物品7(以下、測定対象物7と呼ぶ)が載置される。測定対象物7は、支持体3のベース部3aに設けられた透過照明光学系8又は撮像部6に設けられた落射照明光学系9によって照明される。なお、XYステージ5の上面には、測定対象物7を測定する前に、測定プログラム(後述)の作成において利用する物品(以下、基準物品と呼ぶ)が載置される。
The
XYステージ5には、制御ユニット2からのステージ移動指示に基づきXYステージ5を2次元方向に移動させるXYステージ駆動部10と、XYステージ5の座標を検出し、ステージ座標値を表わす信号を制御ユニット2に対して出力するステージ位置検出部(不図示)とが設けられている。XYステージ駆動部10は、XYステージ5をX軸及びY軸方向にそれぞれ駆動するX軸用モータ及びY軸用モータを有する。ステージ位置検出部は、XYステージ5のX軸及びY軸方向の位置をそれぞれ検出するX軸用エンコーダ及びY軸用エンコーダを有する。
The XY
撮像部6は、落射照明光学系9のほか、測定対象物7からの光を結像する対物レンズ(不図示)と、結像光学系12と、結像光学系12により結像された測定対象物7の像を捉え(受け)、捉えた像の光強度分布に応じた電気信号を出力するCCD(Charge Coupled Device)カメラ13とを有する。また、本第1の実施形態の結像光学系12は変倍光学系になっている。なお、結像光学系は変倍光学系でなくてもよく、固定倍率の光学系であってもよい。
The
なお、撮像部6の近傍には、不図示のオートフォーカス機構が設けられている。オートフォーカス機構は、画像測定の際に測定対象物7に自動で焦点を合わせるためのものである。このオートフォーカスの方式としては、結像光学系12と測定対象物7のZ軸方向の相対的な距離を変化させて複数の画像を取得し、画像のコントラストが最大となる位置を合焦位置として算出するパッシブ方式と呼ばれる方式や、レーザダイオードやLED(Light Emitting Diode)光を補助光として測定対象物7に照射し、その反射光の光点位置の変位等から合焦位置を知るアクティブ方式と呼ばれるものがある。なお、オートフォーカス機構は、オートフォーカスの際に得られる情報に基づいて、測定対象物7の高さ測定(Z位置の測定)を行うこともできる。
In the vicinity of the
制御ユニット2は、測定装置本体1の動作を制御して、測定対象物7の像を撮像して画像を取得し、取得した画像を表示装置193に表示する。また、制御ユニット2は、例えば同一ロットで製造された複数の物品を測定対象物として、各物品を測定し、測定結果に基づいて各物品の良否を判定する処理(以下、繰り返し測定と呼ぶ)を実行する。なお、測定対象物は、同一ロットで製造された物品でなくてもよい。例えば、測定対象物は、異なるロットで製造された、一部の形状が共通する物品であってもよい。
The
繰り返し測定においては、制御ユニット2は、XYステージ5の上面に載置される測定対象物7の画像に含まれる幾何形状(言い換えると、画像中における測定対象物7の輪郭)を、既存の特定方法により、画像のコントラストに基づいて特定し、特定した幾何形状に関する測定を行い、測定した幾何形状に関する情報を表示装置193に表示する。ここで、幾何形状とは、幾何学的な基本形状を意味し、円、直線、点、円弧などを含む。また、幾何形状に関する測定を行うとは、測定対象物7の画像から特定された幾何形状に近似する形状の輪郭に関する測定を実行することを意味する。図2は、幾何形状を測定する場合の具体的な測定項目を例示した測定項目リストである。図2に示すように、例えば、幾何形状として直線を測定する場合は、測定対象物7の画像において直線に近似する輪郭(言い換えると、直線)を特定し、特定した輪郭の角度(X軸からの角度)、真直度、単位ベクトル、始点座標、終点座標などを求める。
ここで、画像中の幾何形状は、以下の方法により特定する。なお、画像中の幾何形状は、以下の方法で特定しなくてもよく、既存の他の方法により特定してもよい。
(1)ユーザが表示装置193に表示された画像上で入力装置195を介して選択した箇所(例えば、点)の周辺の輝度値の平均値を算出し、算出した平均値を用いて画像を2値化する。
(2)次に、ユーザが選択した箇所を始点とし、始点を中心として複数の方向に沿って、測定対象物7の画像における画素の輝度値(信号強度)に基づくコントラストを算出し、複数の方向について算出したコントラストのうち、コントラストが最も大きい方向をスキャン方向として決定し、その方向においてコントラストが最も大きくなる箇所の座標を検出して幾何形状の一部(言い換えると、画像中における測定対象物7の輪郭上の点)と特定する。
(3)次に、決定したスキャン方向とは異なる方向に(例えばスキャン方向と直交する方向に)所定のピッチだけ離れた位置で再度、(2)のスキャン方向に沿ってコントラストを算出し、コントラストが最大となる箇所の座標を検出して幾何形状の一部(輪郭上の点)と特定する。
(4)幾何形状の一部(輪郭上の点)が見つからなくなるまで(3)を繰り返し、測定対象物7の輪郭上の点列を取得する。そして、ユーザによって選択された幾何形状の種類に基づいて、取得した輪郭上の点列から幾何形状を特定する。In the repetitive measurement, the
Here, the geometric shape in the image is specified by the following method. The geometric shape in the image may not be specified by the following method, and may be specified by another existing method.
(1) The user calculates the average value of the luminance values around a portion (for example, a point) selected on the image displayed on the
(2) Next, with the location selected by the user as the start point, the contrast based on the luminance value (signal intensity) of the pixel in the image of the
(3) Next, the contrast is calculated again along the scanning direction of (2) at a position separated by a predetermined pitch in a direction different from the determined scanning direction (for example, in a direction orthogonal to the scanning direction) The coordinates of the point where is the largest is detected and identified as part of the geometric shape (point on the contour).
(4) Repeat (3) until no part of the geometric shape (point on the contour) is found, and acquire a point sequence on the contour of the
また、制御ユニット2は、繰り返し測定の前に、例えば測定対象物の1つである第1の物品を基準物品とし、該基準物品を用いて第2の物品である測定対象物7の繰り返し測定に必要な測定プログラムを作成する処理を行う。ここで、測定プログラムとは、繰り返し測定の際に測定の基準となる座標系(測定座標系と呼ぶ)を設定するために用いる基準座標系の情報や、繰り返し測定において測定する箇所(測定箇所)、測定箇所の適正値(良否判定に用いる基準値)など、繰り返し測定に必要な情報を格納するプログラムである。ここで、本第1の実施形態において、基準座標系は、XYステージ5上に載置された基準物品を撮像した画像においてユーザが設定する任意の座標系である。基準座標系は、基準物品の各箇所の位置を定義する座標系である。また、基準座標系は、基準物品において、繰り返し測定で画像測定する箇所(測定箇所)の位置を定義する座標系とも言い換えることができる。ここで、測定対象物7がXYステージ5上に載置された場合に設定される測定座標系は、測定対象物7の各箇所の位置を定義する座標系であり(つまり、測定座標系は、測定対象物7において、繰り返し測定で画像測定する箇所の位置を定義する座標系とも言い換えることができる)、測定座標系と測定対象物7との位置関係は、基準座標系と基準物品との位置関係と対応している。したがって、基準座標系と測定座標系は、同一の性質を有する座標系であるといえるが、本実施形態においては、説明の便宜上、各座標系を“基準座標系”、“測定座標系”という異なる名称で呼ぶものとする。なお、測定プログラムに含まれる基準座標系の情報には、XYステージ5の座標系(いわゆる機械座標系、以下、ステージ座標系と称する)における基準座標系の原点の位置座標や、基準座標系のステージ座標系に対する回転角度が含まれる。制御ユニット2は、基準座標系と基準物品との位置関係と、測定座標系と測定対象物7との位置関係とを合わせるように測定座標系の位置・姿勢を設定した後、繰り返し測定を実行する。このように、基準座標系と基準物品との位置関係と、測定座標系と測定対象物7との位置関係とを合わせるのは、基準物品を用いて設定した測定箇所の基準座標系における位置座標と、測定対象物7における画像測定の対象箇所の測定座標系における位置座標とを合わせるためである。そして、これらの位置関係を合わせることにより、測定対象物7における所望の箇所の画像測定を行うことができる。ここで、基準座標系と基準物品との位置関係と、測定座標系と測定対象物7との位置関係とを合わせるとは、完全一致する場合に限らず、許容できる誤差の範囲内(例えば、繰り返し測定において生じる測定誤差の最大値が所定範囲内)でわずかに一致していない場合も含む概念である。繰り返し測定においては、測定対象物7それぞれに対して設定される測定座標系を用いて測定箇所の測定を行う。
Further, the
本第1の実施形態においては、基準物品を、同一ロットで製造された複数の物品のうちの1つとすることができるが、これに限られるものではない。例えば、基準物品は、同一ロットで製造され、良品であることが確認されている物品であってもよい。また、基準物品は、同一ロットで製造された物品でなくてもよく、例えば、同一ロットで製造された複数の物品と類似する物品であり、測定する幾何形状の大きさ、形状、位置が同一又は類似する物品であってもよい。 In the first embodiment, the reference article may be one of a plurality of articles manufactured in the same lot, but is not limited thereto. For example, the reference article may be an article manufactured in the same lot and confirmed to be non-defective. Also, the reference article may not be an article manufactured in the same lot, for example, an article similar to a plurality of articles manufactured in the same lot, and the size, shape, and position of the geometric shape to be measured are the same. Or it may be a similar article.
図3には、制御ユニット2のブロック図(ハードウェア構成)が示されている。図3に示すように、制御ユニット2は、CPU(Central Processing Unit)190、ROM(Read Only Memory)192、RAM(Random Access Memory)194、記憶部(ここではHDD(Hard Disk Drive))196、及び可搬型記憶媒体用ドライブ199等を備えている。これら制御ユニット2の構成各部は、バス198に接続されている。
A block diagram (hardware configuration) of the
表示装置193は、液晶ディスプレイ等を含み、入力装置195は、コントローラ、キーボードやマウス等を含む。なお、入力装置195は、表示装置193に一体的に設けられたタッチパネルディスプレイであってもよい。表示装置193及び入力装置195は、不図示の入出力インタフェース等を介して図3のバス198に接続されている。
The
図4には、CPU190の詳細ブロック図が示されている。なお、図4においては、図示及び説明の便宜上、HDD196に格納されている全体画像DB38、座標系DB40、画像情報DB42、及び測定プログラムDB44も図示されている。制御ユニット2は、図4に示すように、測定プログラム作成部20と、繰り返し測定部30と、を有する。なお、図4の各部の機能は、CPU190がROM192あるいはHDD196に格納されているプログラム(画像測定プログラムを含む)、或いは可搬型記憶媒体用ドライブ199が可搬型記憶媒体191から読み取ったプログラム(画像測定プログラムを含む)を実行することにより実現されている。
A detailed block diagram of the
測定プログラム作成部20は、基準物品を用いて測定プログラムを作成し、測定プログラムDB44に保存する。測定プログラム作成部20は、図4に示すように、全体画像取得部22と、座標系設定部24と、予備測定部26と、測定プログラム保存部28と、を有する。
The measurement
全体画像取得部22は、XYステージ5上に基準物品が載置された状態で、XYステージ5の移動と撮像部6による撮像とを繰り返すことで得られた画像をつなぎ合わせ、基準物品の全体を含む画像(以下、全体画像と称する)を作成する。つなぎ合わせて作成された全体画像は、スティッチング画像とも呼ばれる。なお、全体画像は、複数の画像をつなぎ合わせた画像でなくてもよい。例えば、撮像部6の視野内に基準物品の全体が入る場合には、基準物品全体を撮像した1枚の画像を全体画像としてもよい。ここで、全体画像取得部22は、全体画像を作成した際に、つなぎ合わせた各画像のステージ座標系上における位置座標を取得し、HDD196等の記憶部に格納されている全体画像DB38に記憶しているものとする。この全体画像DB38を参照することで、つなぎ合わせた各画像の各点の位置座標を特定することができる。
The entire
座標系設定部24は、ユーザが入力装置195を介して、全体画像上で指定した座標系を画像測定の基準座標系として設定する。言い換えると、ステージ座標系上の全体画像(基準物品)に対して基準座標系を設定する。この場合、ユーザは、例えば、全体画像上で基準座標系の原点として設定したい位置を選択するとともに、基準座標系の2軸(X軸、Y軸)の向き(ステージ座標系における回転角度)を入力する。図6は、XYステージ5上に基準物品が載置された状態を模式的に示す図である。本第1の実施形態では、ユーザは、一例として、図6に示す基準物品の左下角部に基準座標系を設定したものとする。座標系設定部24は、基準座標系の原点の位置座標(ステージ座標系の座標)及び基準座標系の回転角度(ステージ座標系に対する回転角度)を座標系DB40に格納する。図5(a)には、座標系DB40のデータ構造の一例が示されている。図5(a)においては、基準座標系の原点の座標としてステージ座標系における座標値(a,b)が格納され、基準座標系の回転角度(ステージ座標系における回転角度)としてα°が格納されている。なお、上述したように、本第1の実施形態では、ユーザは全体画像上で基準座標系を指定する場合について説明したが、基準物品全体の画像でなくてもよく、例えば、ユーザは、基準物品の画像をつなぎ合わせた基準物品の一部の画像上において、基準座標系を指定してもよいし、特定の視野で撮像部6が撮像した画像、すなわち、基準物品の一部分を撮像した画像において、基準座標系を指定することとしてもよい。この場合、ユーザは入力装置195を介してXYステージ駆動部10に指示を出し、XYステージ5を所望の位置に移動させ、当該位置において撮像部6により撮像された画像上で基準座標系を指定することとしてもよい。
The coordinate
図4に戻り、予備測定部26は、XYステージ5上に基準物品が載置された状態で、ユーザが繰り返し測定で画像測定したい測定箇所(すなわち、基準物品における測定対象の幾何形状)を全体画像上で指定すると、指定された測定箇所(幾何形状)の測定項目を測定する。なお、本実施形態においては、この基準物品における測定箇所の測定を予備測定と呼ぶものとする。この予備測定の際には、画像の撮像条件がユーザにより設定される。画像の撮像条件には、例えば照明条件と倍率条件が含まれる。照明条件は、前述した透過照明光学系8を用いた透過照明方法を用いるか、落射照明光学系9を用いた落射照明方法を用いるかを意味する。倍率条件は、撮像部6が有する結像光学系12の結像倍率、すなわち撮像倍率を意味する。ただし、倍率条件は、撮像部6の対物レンズのレンズ倍率、結像光学系12の倍率×対物レンズのレンズ倍率であってもよい。なお、ユーザは、全体画像上ではなく、基準物品の一部分を撮像した画像上において、測定箇所を選択してもよい。予備測定部26は、幾何形状の測定を、座標系DB40に格納されている基準座標系を用いて実行するものとする。すなわち、予備測定部26は、図6の基準座標系の原点の座標を(0,0)として、予備測定を実行する。この場合、基準座標系とステージ座標系との相対的な位置関係は既知であるので、ステージ座標系において測定を実行しているとも言い換えることができる。なお、予備測定部26は、予備測定した測定箇所の情報、測定項目や測定結果の情報を測定プログラムの一部とする。
Returning to FIG. 4, with the reference article placed on the
予備測定部26は、基準物品において測定箇所の予備測定を行った後に、予備測定時の照明条件及び倍率条件を維持したまま、測定箇所を含む画像(補正用画像と呼ぶ)を撮像し、撮像した補正用画像を画像情報DB42(図5(b)参照)に記憶する。補正用画像は、後述する繰り返し測定部30において利用する画像である。例えば、図6に示すように、太線で示す測定箇所(直線、円弧(半円)、円弧(1/4円))の測定を行った場合には、予備測定部26は、各測定箇所の代表点(例えば中心や重心など)と撮像部6の視野の中心とを一致させた状態で画像を撮像する。この場合、破線矩形で示す画像P1,P2,P3が補正用画像として取得される。また、予備測定部26は、補正用画像を取得したときの基準座標系における座標値(例えば、基準座標系における画像の中心座標)を取得し、基準座標値として画像情報DB42に記憶する。また、予備測定部26は、予備測定時(補正用画像の撮像時)の照明条件及び倍率条件、予備測定において測定した形状の情報を画像情報DB42に保存する。また、予備測定部26は、基準座標値に基づいて、画像の位置を示す情報として、基準座標系における補正用画像の中心座標と基準座標系の原点との距離(すなわち、基準座標系の原点と補正用画像の距離を示す情報)を計算し、画像情報DB42に記憶するとともに、補正用画像を取得したときの照明条件と倍率条件についても画像情報DB42に記憶する。なお、基準座標系の原点と、補正用画像との距離を示す情報は、必ずしも基準座標系の原点と補正用画像の中心座標との距離でなくてもよい。例えば、基準座標系の原点の近傍の所定点と、補正用画像の所定点(中心点以外の点であってもよい)との距離であってもよい。また、基準座標系の原点と、補正用画像との距離を示す情報は、基準座標系における補正用画像の所定の点の座標値そのものであってもよい。この場合、例えば、基準座標系における補正用画像の中心座標であってもよい。
The
なお、予備測定部26は、ユーザによって測定箇所が指定された際に、測定箇所の予備測定を行わなくてもよい。この場合、予備測定部26は、測定箇所が指定された場合に、測定箇所を含む画像を撮像し画像情報DB42に記憶すればよい。
The
なお、予備測定部26は、基準座標系における補正用画像の中心座標と基準座標系の原点との距離を画像情報DB42に記憶したが、これに限らず、ステージ座標系における補正用画像の中心画像とステージ座標系の原点との距離を記憶してもよいし、基準座標系における補正用画像の中心座標とステージ座標系の原点との距離を記憶してもよい。
Although the
さらに、予備測定部26は、補正用画像の撮像後に撮像部6により撮像した基準物品の画像(以下、テストマッチング用の画像と呼ぶ)と、補正用画像と、を用いて、テストマッチング用の画像中に含まれる補正用画像と類似する箇所(対応する部分)を特定する処理(パターンマッチング)を実行し、補正用画像とテストマッチング用の画像の対応箇所との類似度(マッチングスコア)を算出する。パターンマッチングのアルゴリズムとしては、正規化相関法や、幾何学形状パターンマッチング法など既存の方法を用いることができる。本実施形態においては、予備測定部26が実行するパターンマッチングをテストマッチングと呼ぶものとし、予備測定部26が算出するマッチングスコアをテストマッチングスコアと呼ぶものとする。ここで、テストマッチング用の画像には、補正用画像との類似度が所定値以上の箇所が複数存在する場合がある。すなわち、テストマッチング用の画像に補正用画像と類似する形状が複数存在する場合がある。この場合、類似度の最大値を特定するとともに、類似度が所定値以上となった箇所の数を特定する。そして、予備測定部26は、類似度の最大値をテストマッチングスコアとして、画像情報DB42に記憶し、類似度が所定値以上となった箇所の数をテストマッチングの検出数として、画像情報DB42に記憶する。ここで、テストマッチングスコアは、基準物品の表面状態や、照明条件(透過照明又は落射照明)により影響を受ける、補正用画像を用いたパターンマッチングのしやすさを示す指標である。テストマッチングスコアは、照明条件が透過照明であり、画像の明暗がはっきりしている場合に高い値を示したり、照明条件が落射照明であり、基準物品の表面に模様や回路パターンなどが存在する場合に低い値を示したりする。
Furthermore, the
また、予備測定部26は、測定箇所において測定した幾何形状の種類を、測定した形状として画像情報DB42に記憶する。図5(b)の画像情報DB42には、1つの基準物品から得られた補正用画像として、補正用画像ファイル1.bmp〜3.bmpの情報が格納された状態が示されている。
In addition, the
図4に戻り、測定プログラム保存部28は、ユーザが入力装置195を介して測定プログラムの名称を入力した場合に、入力された名称と対応付けて測定プログラムDB44に測定プログラムを保存する。ここで、測定プログラムは、基準座標系の情報、測定箇所の情報を含む。基準座標系の情報は、座標系DB40から取得できるステージ座標系における基準座標系の原点の位置座標やステージ座標系に対する基準座標系の回転角度の情報を含む。測定箇所の情報は、基準物品の測定箇所の測定結果(測定項目、及び測定された値)を含む。
Returning to FIG. 4, when the user inputs the name of the measurement program via the
繰り返し測定部30は、XYステージ5上に測定対象物7が載置された状態で、測定対象物7の測定座標系を設定し、設定した測定座標系を用いて、測定対象物7の繰り返し測定を実行する。ここで、測定対象物7の測定座標系を設定することは、測定対象物7と測定座標系との相対的な位置合わせを行うことであり、すなわち、測定対象物7に関する位置合わせを実行することを意味する。
The
繰り返し測定部30は、測定対象物7を撮像した画像上でユーザが測定座標系を設定した場合に、設定された測定座標系を補正用画像を用いて補正する。詳細については後述するが、繰り返し測定部30は、補正用画像と、測定対象物7を撮像した画像とのパターンマッチングを行い、パターンマッチングの結果に基づいて、測定座標系を補正する。ここで、繰り返し測定は、XYステージ5上から基準物品を退かした後、測定対象物7をXYステージ5上に置いた状態(置きなおした状態)で行われるため、XYステージ5上に載置していた基準物品の位置・姿勢に、測定対象物7の位置・姿勢を合わせることは難しい。したがって、基準座標系をそのまま測定座標系として用いることはできない。このため、ユーザは、測定プログラムを作成する際に設定した基準座標系のおおよその位置(図6に示す基準物品に対して指定した基準座標系の位置)を覚えておき、測定対象物7に対しても同様の位置に測定座標系を設定する。この場合、ユーザが測定座標系を設定するため、設定した測定座標系の原点及び回転角度と、基準座標系の原点及び回転角度とを合わせることは難しい。したがって、繰り返し測定部30は、測定対象物7と測定座標系の位置関係を、図6の基準座標系と基準物品の位置関係と合わせるように補正を行うことで、基準物品を用いて設定した測定箇所の基準座標系における位置座標と、測定対象物7における画像測定の対象箇所の測定座標系における位置座標とを合わせるようにしている。ここで、例えば、補正用画像をユーザに撮像させるとすると、特にユーザが画像測定装置を扱う初心者であるほど、測定座標系の補正に適した画像を撮像することができない可能性が高い。例えば、初心者等は、補正用画像を撮像する際に、基準座標系と測定座標系の回転誤差の影響を受けやすい箇所を認識したうえで、基準物品の撮像箇所を決めることは難しい。また、初心者等は、測定対象物7を撮像した画像とのパターンマッチングしやすい画像の特徴を認識したうえで、補正用画像を撮像することは難しい。また、初心者等は、パターンマッチングを高精度に行うことが可能な画像の特徴を認識したうえで、補正用画像を撮像することは難しい。また、初心者等は、補正用画像を撮像した箇所の周辺の状態が補正精度に与える影響まで考慮して補正用画像を撮像することは難しい。更に、予備測定時の照明条件や倍率条件(補正用画像を撮像したときの照明条件や倍率条件)が測定座標系の補正に与える影響を考慮して補正用画像の照明条件や倍率条件を決めることも難しい。この場合、測定座標系の補正ができず(補正に失敗し)、画像を撮像しなおす必要が生じたり、測定座標系の補正ができた(補正に成功した)としても補正精度が低い可能性がある。補正精度が低い場合、繰り返し測定の精度が悪化したり、繰り返し測定ができず、補正用画像を撮像しなおす必要が生じるおそれがある。そこで、本第1の実施形態では、前述した予備測定部26が、補正用画像を自動的に撮像し、後述するように、繰り返し測定部30が、撮像された補正用画像の中から実際に測定座標系の補正に用いる補正用画像を自動的に抽出することとしている。なお、本第1の実施形態において説明する測定座標系の補正は、画像測定の座標系を設定する処理に含まれる概念である。
The
ここで、例えば、基準座標系と測定座標系の回転角度に誤差がある場合には、原点からの距離が遠い座標ほど、位置誤差が大きくなる。図7(a)は、XYステージ5上に基準物品が載置された状態の一例を示す図であり、図7(b)は、XYステージ5上に基準物品に代えて測定対象物7が載置された(置き直された)状態の一例を示す図である。なお、図7(a)、図7(b)においては、XYステージ5自体の図示は省略している。例えば、XYステージ5上に載置された基準物品において基準座標系の原点と測定箇所(円弧)の中心Cとの位置関係が、図7(a)に示すような位置関係であったとする。この場合、測定対象物7の測定座標系として図7(b)において破線で示すような座標系を設定すべきところ、ユーザが一点鎖線で示すような座標系を設定したとする。かかる場合に、座標系間の角度誤差がθであったとすると、原点からL(mm)だけ離れた測定箇所の中心Cと、一点鎖線で示す測定座標系上の中心Cに対応する点(C’)との誤差Δpは、次式(1)のように表される。
Δp={(Lsinθ)2+(L(1−cosθ)2}1/2 …(1)Here, for example, when there is an error in the rotation angle of the reference coordinate system and the measurement coordinate system, the position error becomes larger as the distance from the origin is farther. FIG. 7A is a view showing an example of a state in which the reference article is placed on the
Δp = {(L sin θ) 2 + (L (1−cos θ) 2 } 1/2 (1)
上式(1)によれば、例えば、θ=0.5°、L=200mmの場合には、約1.75mmの誤差が生じることになる。画像測定装置100の撮像部6の視野は、倍率が高ければ、0.04mm×0.03mm程度になる場合もあるため、約1.75mmの誤差は無視できないレベルの誤差であるといえる。
According to the above equation (1), for example, in the case of θ = 0.5 ° and L = 200 mm, an error of about 1.75 mm occurs. Since the field of view of the
そこで、測定座標系の補正においては、繰り返し測定部30は、まず、測定座標系の補正に用いる補正用画像を画像情報DB42から抽出する。この場合、繰り返し測定部30は、あらかじめ定められている補正用画像の位置を示す項目(下記(a))や、補正用画像の特徴を示すパラメータの項目(下記(b)、(c))、補正用画像の撮像条件を示す項目(下記(d),(e))に基づいて、測定座標系の補正に用いる補正用画像を抽出する。これらの項目は、画像に関する特徴を意味する。
(a)基準座標系の原点から距離が遠い
(b)テストマッチングの検出数が少ない
(c)テストマッチングスコアが高い
(d)ズーム倍率が低い
(e)照明条件が透過照明Therefore, in the correction of the measurement coordinate system, the
(A) The distance from the origin of the reference coordinate system is far (b) The number of test matching detections is small (c) The test matching score is high (d) The zoom magnification is low (e)
抽出の際に、各項目は、(a)→(b)→(c)→(d)→(e)の順に用いることとする。すなわち、繰り返し測定部30は、上記順に従って用いる項目を特定し、特定した項目の内容を満足する補正用画像を測定座標系の補正に用いる補正用画像として抽出する。具体的には、繰り返し測定部30は、最初に、項目(a)に基づいて、最も距離が遠い補正用画像を測定座標系の補正に用いる補正用画像として抽出する。この場合、最も距離が遠い補正用画像が複数存在していれば、次の項目(b)に基づいて、そのうちでテストマッチングの検出数が最も少ない画像を測定座標系の補正に用いる補正用画像として抽出する。また、最も距離が遠く、かつ検出数が最も少ない補正用画像が複数存在している場合には、項目(c)に基づいて、テストマッチングスコアが最も高い画像を測定座標系の補正に用いる補正用画像として抽出する。ここで、項目(a)において、基準座標系の原点からの距離が遠い補正用画像を抽出するのは、基準座標系の原点からの距離が遠い補正用画像ほど基準座標系と測定座標系との回転誤差の影響を受ける画像であり、当該画像を測定座標系の補正に用いることで、測定座標系を精度よく補正できるからである。また、項目(b)において、テストマッチングの検出数が最も少ない画像を抽出するのは、測定座標系の補正に用いる補正用画像と類似する箇所が測定対象物7を撮像した画像に多く存在することにより生じる、補正の失敗や補正精度の悪化を防止するためである。ここで、補正用画像と類似する箇所が多く存在すると、補正用画像と対応する箇所以外の箇所(誤った箇所)に基づいて測定座標系を補正する可能性があり、誤った箇所に基づいて測定座標系を補正することで補正が失敗したり、補正精度が悪化するおそれがある。また、項目(c)において、テストマッチングスコアが高い補正用画像を抽出するのは、テストマッチングスコアが高い補正用画像ほどパターンマッチングがしやすい画像であるからであり、このような補正用画像を用いることで、パターンマッチングを失敗することなく、測定座標系の補正を確実かつ精度よく行うことができるからである。また、項目(d)において、撮像時のズーム倍率が低い補正用画像を抽出するのは、ズーム倍率が低い補正用画像は、撮像視野が広いため、測定対象物7を撮像した画像において補正用画像に類似する箇所を確実に見つけることができ、測定座標系の補正を確実に行うことができるからである。また、ズーム倍率が低い補正用画像を抽出することで、測定座標系の補正に失敗するなどして補正用画像を抽出しなおす可能性を低減することができるため、簡単に(短時間で)適切な補正用画像を抽出できるからである。また、項目(e)において、撮像時の照明条件が透過照明である補正用画像を測定座標系の補正に用いる補正用画像として抽出するのは、照明条件が落射照明である補正用画像よりもコントラストが大きい補正用画像を優先的に用いることで、測定対象物7を撮像した画像において補正用画像に類似する箇所を確実かつ精度よく抽出することができるからである。すなわち、上記項目(a)〜(e)を用いて測定座標系の補正に用いる補正用画像を抽出することで、ユーザが測定初心者であっても、測定座標系の補正を確実かつ高精度に行うことができる補正用画像を測定座標系の補正に用いる補正用画像として自動的に抽出することができる。なお、項目(a)〜(e)の順は、変更してもよい。例えば、(b)と(c)の順を入れ替えたり、(d)と(e)の順を入れ替えてもよい。
At the time of extraction, each item is used in the order of (a) → (b) → (c) → (d) → (e). That is, the
なお、本実施形態においては、項目(b)、(c)に代えて、あるいは項目(b)、(c)とともに、補正用画像の特徴量を用いることとしてもよい。この場合、例えばOpenCV 汎用画像処理ライブラリで特徴点を求めることができる。特徴量を求めるアルゴリズムとしては、Accelerated KAZE、SIFT(Scale-invariant feature transform)、SURF(Speed-Upped Robust Feature)などを用いることができる。例えば、回転対称で、測定座標系の補正に用いた場合に誤差が生じやすい形状(例えば円)を含む補正用画像は、特徴量が低いため、特徴量の低い形状を含む補正用画像が優先的に抽出されないようにすることができる。 In the present embodiment, instead of the items (b) and (c) or together with the items (b) and (c), the feature amount of the correction image may be used. In this case, for example, feature points can be obtained by the OpenCV general purpose image processing library. As an algorithm for obtaining the feature amount, Accelerated KAZE, Scale-in variant feature transform (SIFT), Speed-Upped Robust Feature (SURF) or the like can be used. For example, a correction image including a shape (for example, a circle) that is rotationally symmetric and prone to errors when used for correction of a measurement coordinate system has a low feature amount, so a correction image including a shape with a low feature amount has priority It is possible not to extract it.
また、繰り返し測定部30は、測定座標系の補正に用いる補正用画像を抽出する際に、項目(a)〜(d)において閾値を設定してもよい。例えば、繰り返し測定部30は、項目(a)を適用して、基準座標系の原点からの距離が所定の条件(閾値、例えば、50mm)よりも遠い補正用画像を抽出し、複数抽出された場合には、項目(b)を適用して、抽出された複数の補正用画像のうちテストマッチングの検出数が所定の条件(閾値、例えば2)よりも少ない補正用画像を抽出するというように、ある項目が所定の条件を満たすかを、項目を異ならせながら繰り返し判断することで、複数の補正用画像を徐々に絞り込み、測定座標系の補正に用いる補正用画像を抽出する(選択する)こととしてもよい。
Further, when extracting the correction image to be used for the correction of the measurement coordinate system, the
繰り返し測定部30は、上述したようにして抽出した補正用画像を用いて、測定座標系の補正を行う。図8(a)は、XYステージ5上に基準物品が載置された状態及び抽出された補正用画像を示す図であり、図8(b)は、XYステージ5上に測定対象物7が載置された状態を示すとともに、測定座標系の補正方法について説明するための図である。なお、図8(a)、図8(b)では、XYステージ5自体の図示は省略している。例えば、抽出した補正用画像が、図8(a)において破線矩形で示す範囲を撮像した画像であり、補正用画像に含まれる幾何形状(半円弧)の基準座標(半円弧を含む円の中心座標とする)が(Xt2,Yt2)であったとする。この場合において、図8(b)に示すように、ユーザが測定対象物7に対して一点鎖線で示す測定座標系を設定したとする。この場合、繰り返し測定部30は、座標(Xt2,Yt2)を記憶しているので、その位置が撮像されるようにXYステージ5を移動させ、補正用画像よりも撮像範囲が広い画像を撮像部6を用いて撮像する。この場合の撮像範囲を補正用画像の撮像範囲よりも広くしているのは、撮像した画像内に補正用画像と類似する箇所が含まれる可能性を高めるためである。ただし、撮像範囲は補正用画像の撮像範囲の大きさと同一であってもよい。そして、繰り返し測定部30は、補正用画像とのパターンマッチングにより、測定対象物7における補正用画像に含まれる形状(例えば半円)に対応する箇所の基準座標(半円の重心位置の座標等)を算出する。図8(b)では、検出した基準座標が(Xs2,Ys2)として示されている。
The
繰り返し測定部30は、座標(Xt2,Yt2)と座標(Xs2,Ys2)を用いて、測定座標系の誤差Δθを算出する。具体的には、θs2、θt2を次式(2)、(3)より求め、次式(4)より、Δθを算出する。
θt2=arctan(Yt2/Xt2) …(2)
θs2=arctan(Ys2/Xs2) …(3)
Δθ=θt2−θs2 …(4)The
θt2 = arctan (Yt2 / Xt2) (2)
θs2 = arctan (Ys2 / Xs2) (3)
Δθ = θt2−θs2 (4)
そして、繰り返し測定部30は、算出したΔθだけ指定された測定座標系を回転することで、測定座標系の補正を行う(図8(b)において一点鎖線で示す座標系が破線で示す座標系となるように調整する)。
Then, the
また、測定座標系をΔθ回転した後、繰り返し測定部30は、(Xt2、Yt2)と(Xs2、Ys2)を一致させるため(測定座標系の原点と、基準座標系の原点とのXY方向のずれをなくすため)、ずれ分(ΔX,ΔY)だけ、測定座標系の原点をずらすように補正する。
In addition, after rotating the measurement coordinate system by Δθ, the
なお、上記説明においては、1つの補正用画像を用いて測定座標系を補正する場合について説明したが、これに限らず、2以上の補正用画像を上記項目(a)〜(e)を用いて抽出し、抽出した各補正用画像を用いてΔθ、ΔX、ΔYをそれぞれ算出し、例えば、算出した複数のΔθ、ΔX、ΔYの平均を用いて測定座標系を補正することとしてもよい。この場合においても、上述した項目の優先順位に従って、測定座標系の補正に用いる2以上の補正用画像を抽出することとすればよい。 In the above description, although the case where the measurement coordinate system is corrected using one correction image has been described, the present invention is not limited thereto, and two or more correction images may be used using the items (a) to (e). It is also possible to calculate Δθ, ΔX, ΔY using the extracted correction images and the extracted correction images, and correct the measurement coordinate system using, for example, the average of the calculated Δθ, ΔX, ΔY. Also in this case, two or more correction images to be used for correction of the measurement coordinate system may be extracted in accordance with the order of priority of the items described above.
以上のようにして、測定座標系を補正した後は、繰り返し測定部30は、補正後の測定座標系を用いてXYステージ5上の測定対象物7に対して、測定プログラムに沿った手順で繰り返し測定を実行する。すなわち、繰り返し測定部30は、測定対象物7の測定箇所を測定する。そして、繰り返し測定部30は、測定結果と、測定プログラムに含まれる基準物品の測定結果と、に基づいて、測定対象物7の良否を判定する。繰り返し測定部30は、測定結果を表示装置193上に表示したり、測定対象物7の良否の判定結果を表示装置193上に表示する。
As described above, after the measurement coordinate system is corrected, the
なお、繰り返し測定部30は、測定箇所の測定結果を用いた良否判定を行わなくてもよい。すなわち、繰り返し測定部30は、測定結果を表示装置193上に表示することで、ユーザに良否判定を行わせてもよい。
The
(制御ユニット2の処理手順)
次に、制御ユニット2の処理手順について図9〜図15のフローチャートに沿って詳細に説明する。(Processing procedure of control unit 2)
Next, the processing procedure of the
制御ユニット2では、図9のフローチャートに沿った処理を実行する。具体的には、図9に示すように、測定プログラム作成処理(S1000)と、繰り返し測定処理(S2000)と、を実行する。以下、ステップS1000、S2000の各処理について説明する。
The
<測定プログラム作成処理>
測定プログラム作成処理(S1000)では、図10のフローチャートに沿った処理が実行される。<Measurement program creation process>
In the measurement program creation process (S1000), the process according to the flowchart of FIG. 10 is executed.
図10の処理において、ステップS10では、全体画像取得部22が、基準物品がXYステージ5上に搭載され、測定プログラム作成開始の指示がユーザから出されるまで待機する。ステップS10の判断が肯定されると、全体画像取得部22はステップS12に移行する。
In the process of FIG. 10, in step S10, the entire
ステップS12に移行すると、全体画像取得部22は、全体画像取得処理を実行する。この場合、全体画像取得部22は、前述したようにXYステージ5を移動可能範囲内で移動させながら撮像部6を用いて画像を撮像し、撮像した画像をつなぎ合わせて全体画像(スティッチング画像)を作成する。また、全体画像取得部22は、つなぎ合わせた各画像のステージ座標系上における位置座標を取得し、全体画像DB38に記憶する。
If it transfers to step S12, the whole
次いで、ステップS14では、座標系設定部24が、基準座標系設定処理を実行する。本処理においては、図11のフローチャートに沿った処理が実行される。
Next, in step S14, the coordinate
(基準座標系設定処理)
図11の処理において、ステップS20では、座標系設定部24が、全体画像上で、ユーザによって任意の座標系が指定されるまで待機する。ユーザは、入力装置195を介して、図6に示すように、基準物品の所定位置(例えば、左下角部)を座標系の原点に指定し、座標系の回転角度を所定角度(例えば直交座標系が基準物品の角部の直交する2辺と一致するような角度)に指定する。ユーザによって座標系が指定されると、座標系設定部24はステップS22に移行する。なお、ユーザは、基準物品の角部以外の位置に座標系を指定してもよい。(Reference coordinate system setting process)
In the process of FIG. 11, in step S20, the coordinate
ステップS22に移行すると、座標系設定部24は、指定された座標系を基準座標系として設定する。
In the step S22, the coordinate
次いで、ステップS24では、座標系設定部24が、基準座標系の情報として、ステージ座標系における基準座標系の原点の座標や、ステージ座標系に対する基準座標系の回転角度を含む情報を座標系DB40(図5(a))に保存する。以上により、図11の処理が終了するので、図10のステップS16に移行する。
Next, in step S24, the coordinate
ステップS16に移行すると、予備測定部26は、予備測定処理を実行する。本処理においては、図12のフローチャートに沿った処理が実行される。
When the process proceeds to step S16, the
(予備測定処理)
図12の処理において、ステップS30では、予備測定部26が、全体画像上でユーザによって測定箇所が指示されるまで待機する。ユーザが入力装置195を介して測定箇所を指示すると、ステップS32に移行し、予備測定部26は、撮像部6の視野内に測定箇所が収まるように、前述した全体画像DB38を参照して、ステージ座標系における指示された測定箇所の座標値に基づいてXYステージ5を移動する。なお、ユーザは、撮像部6が撮像している画像上で測定箇所を指定してもよい。(Preliminary measurement process)
In the process of FIG. 12, in step S <b> 30, the
次いで、ステップS34では、予備測定部26が、画像処理により測定箇所の予備測定を行い、予備測定結果を表示装置193上に表示する。予備測定の際には、撮像条件(照明条件や倍率条件)がユーザにより設定される。予備測定においては、例えば、ユーザが測定箇所として円弧を指定した場合には、測定項目である中心座標、直径(半径)、真円度(図2参照)を測定し、測定結果を表示装置193上に表示する。また、予備測定部26は、予備測定時の照明条件及び倍率条件、測定した形状の情報を画像情報DB42に保存する。
Next, in step S34, the
次いで、ステップS36では、予備測定部26が、予備測定時の照明条件及び倍率条件を維持したまま補正用画像を取得(撮像)し、画像情報DB42(図5(b))に保存する。この際、補正用画像の基準座標値(基準座標系における撮像中心の座標値)と、基準座標系の原点と基準座標との距離を画像情報DB42に保存する。
Next, in step S36, the
次いで、ステップS38では、予備測定部26が、補正用画像の撮像後に撮像部6が撮像したテストマッチング用の画像と、取得した補正用画像と、を用いてパターンマッチング(テストマッチング)を実行する。本テストマッチングにより、前述したテストマッチングスコアと、テストマッチングの検出数を得ることができるので、予備測定部26は、画像情報DB42(図5(b))に保存する。
Next, in step S38, the
次いで、ステップS40では、予備測定部26が、他の測定箇所が指示されたか否かを判断する。ユーザが新たな測定箇所を指示した場合には、ステップS40の判断が肯定され、ステップS32に戻る。ステップS32に戻ると、予備測定部26は、ステップS32以降の処理を上述したのと同様に実行する。一方、ユーザが入力装置195を介して測定箇所の指示を終了する入力を行った場合には、ステップS40の判断が否定され、図12の処理が終了する。図12の処理が終了すると、図10のステップS18に移行する。
Next, in step S40, the
ステップS18に移行すると、測定プログラム保存部28が、測定プログラム保存処理を実行する。本処理においては、図13のフローチャートに沿った処理が実行される。
At step S18, the measurement
(測定プログラム保存処理)
ステップS50では、測定プログラム保存部28が、ユーザによってファイル名が入力され、保存ボタンが押下されるまで待機する。ユーザが入力装置195を介してファイル名を入力し、保存ボタンを押下すると、ステップS52に移行する。(Measurement program storage process)
In step S50, the measurement
ステップS52に移行すると、測定プログラム保存部28は、基準座標系の情報、測定箇所の情報を含む測定プログラムを測定プログラムDB44に保存する。以上により、図13の処理が終了するとともに、図10の測定プログラム作成処理(S1000)が終了する。
In step S52, the measurement
<繰り返し測定処理>
次に、図9の繰り返し測定処理(S2000)について説明する。繰り返し測定処理(S2000)では、図14のフローチャートに沿った処理が実行される。<Repeated measurement process>
Next, the repeated measurement process (S2000) of FIG. 9 will be described. In the repetitive measurement process (S2000), the process according to the flowchart of FIG. 14 is performed.
図14の処理では、まず、ステップS202において、繰り返し測定部30が、ユーザによって測定プログラムが選択されるまで待機する。ユーザが入力装置195を介して保存されている測定プログラムの1つを選択すると、ステップS204に移行し、繰り返し測定部30は、新たな測定対象物7がXYステージ5上に載置され、ユーザにより測定座標系が指定されるまで待機する。ユーザによって、測定座標系が指定されると、ステップS206に移行する。ここで、繰り返し測定は、XYステージ5上から基準物品を退かした後、測定対象物7をXYステージ5上に置いた状態(置きなおした状態)で行われるため、測定対象物7の位置・姿勢を、XYステージ5上に載置していた基準物品の位置・姿勢と合わせることは難しい。したがって、基準座標系をそのまま測定座標系として用いることはできない。このため、ユーザは、測定プログラムを作成する際に設定した基準座標系のおおよその位置を覚えておき、測定対象物7に対しても同様の位置に測定座標系を設定する。この場合、ユーザが測定座標系を設定するため、設定した測定座標系の原点及び回転角度と、基準座標系の原点及び回転角度とを合わせることは難しい。したがって、次のステップS206においては、測定座標系の補正処理を実行する。
In the process of FIG. 14, first, in step S202, the
測定座標系の補正処理(S206)においては、繰り返し測定部30は、図15のフローチャートに沿った処理を実行する。
In the correction process of the measurement coordinate system (S206), the
(測定座標系の補正処理)
図15のステップS220では、繰り返し測定部30が、測定プログラムDB44に格納されている複数の補正用画像の1つを測定座標系の補正に用いる補正用画像として抽出する。この場合、前述した項目(a)〜(e)に基づいて、測定座標系の補正に用いる補正用画像を抽出する。(Correction process of measurement coordinate system)
In step S220 of FIG. 15, the
次いで、ステップS222では、繰り返し測定部30が、抽出した補正用画像の基準座標(幾何形状の中心座標)が撮像部6の視野中心と一致するように、XYステージ5を移動する。なお、基準座標は、測定プログラムDB44に格納されている。次いで、ステップS224では、繰り返し測定部30が、条件設定を行う。この場合、繰り返し測定部30は、測定箇所を予備測定したとき(補正用画像を撮像したとき)の照明条件や倍率条件を画像情報DB42から読み出し、後述するパターンマッチングに用いる画像を撮像するための照明条件及び倍率条件を、読み出した照明条件及び倍率条件に基づいて、設定する。ここでの倍率条件は、前述したように、補正用画像の撮像範囲よりも広い画像を撮像できる倍率条件とすることができる。
Next, in step S222, the
次いで、ステップS226では、繰り返し測定部30が、照明条件や倍率条件を設定した後に撮像部6により撮像された画像と抽出された補正用画像とを用いてパターンマッチング(サーチ)を行う。すなわち、条件設定後に撮像部6により撮像された画像のうち、抽出された補正用画像と類似する箇所を特定する。なお、条件設定後に撮像部6により撮像された画像において、抽出された補正用画像とマッチングする箇所(類似度(マッチングスコア)が所定値以上の箇所)がない場合には、XYステージ5を予め定めた範囲内で移動させて、測定対象物7においてパターンマッチングを実施する範囲を拡大してもよい。この場合、例えば、撮像部6の撮像範囲をn倍(例えば2倍)にし、XYステージ5を撮像範囲の1/n倍(例えば1/2倍)の寸法分だけ移動させて、パターンマッチングを実施する範囲を拡大することができる。
Next, in step S226, the
次いで、ステップS228では、繰り返し測定部30が、サーチに失敗したか否かを判断する。ここで、サーチに失敗するとは、パターンマッチングの結果、類似する箇所(類似度(マッチングスコア)が所定値以上の箇所)が存在しない場合等を意味する。サーチに失敗する場合とは、例えば、測定対象物7にバリや傷、ごみ等が存在する場合などである。このステップS228の判断が肯定された場合には、ステップS230に移行し、繰り返し測定部30は、補正用画像を再抽出する。この場合、画像情報DB42に保存された補正用画像のうち、ステップS220で過去に抽出された補正用画像を除く画像の中から、ステップS220と同様の処理により補正用画像を1つ抽出する。その後は、ステップS222に戻る。
Next, in step S228, the
一方、ステップS228の判断が否定された場合、すなわち、ステップS226のサーチに成功した場合には、ステップS232に移行する。 On the other hand, if the determination in step S228 is negative, that is, if the search in step S226 succeeds, the process proceeds to step S232.
ステップS232に移行すると、繰り返し測定部30は、回転誤差Δθや位置誤差ΔX,ΔYを算出する。
At step S232, the
次いで、ステップS234では、繰り返し測定部30が、算出エラーとなったか否かを判断する。ここで、算出エラーとは、回転誤差Δθや位置誤差ΔX,ΔYの算出結果が、許容値を超えており、適切な算出結果が得られなかった場合等を意味する。このステップS234の判断が肯定された場合には、ステップS230に移行し、上述したのと同様、ステップS230を行った後、ステップS222に戻る。一方、ステップS234の判断が否定された場合には、ステップS236に移行する。
Next, in step S234, the
ステップS236に移行すると、繰り返し測定部30は、測定座標系を補正する。この場合、繰り返し測定部30は、測定対象物7を撮像した画像上でユーザが設定した測定座標系を、ステップS232で算出した回転誤差Δθや位置誤差ΔX,ΔYの分、補正する。ステップS236の処理が終了すると、図15の全処理を終了し、図14のステップS208に移行する。
At step S236, the
ステップS208に移行すると、繰り返し測定部30は、測定プログラムに記録されている測定箇所で画像測定を行い、測定結果を表示装置193上に表示する。次いで、ステップS210では、繰り返し測定部30は、繰り返し測定が終了したか否かを判断する。すなわち、ユーザが繰り返し測定を終了する旨を入力装置195を介して入力した場合には、ステップS210の判断が肯定され、図14の処理及び図9の全処理を終了する。一方、ステップS210の判断が否定された場合には、ステップS204に戻り、ステップS204〜S210の処理、判断を繰り返し実行する。
In step S208, the
なお、本第1の実施形態において測定座標系を設定することは、基準物品に対してユーザが指定した測定箇所を、測定対象物7において設定することと言い換えることができる。
Note that setting the measurement coordinate system in the first embodiment can be reworded as setting a measurement location designated by the user with respect to the reference article in the
以上、詳細に説明したように、本第1の実施形態によると、繰り返し測定部30は基準物品における異なる部分の画像(補正用画像)の中から、該補正用画像の特徴(基準座標系の原点からの距離やテストマッチングスコア等)に基づいて、測定座標系の補正に用いる補正用画像を抽出し、抽出した補正用画像と、測定対象物7における補正用画像に対応する部分の画像とに基づいて、測定対象物7に関する位置合わせを行い、測定対象物7を画像測定する。このように、測定座標系の補正に用いる補正用画像として適切な画像を抽出し、抽出した画像を用いて測定対象物7に関する位置合わせを行うことで、測定対象物7に関する位置合わせを精度よく行うことができる。また、測定対象物7に関する位置合わせを精度よく行うことができることで、測定対象物7の繰り返し測定を高精度に行うことができる。この場合、ユーザに補正用画像を撮像させなくても、自動的に適切な補正用画像を取得できるので、ユーザの手間を省くことができる。特にユーザが初心者である場合には、補正用画像として基準物品のどの箇所を撮像すべきかを判断することが困難なため、自動的に適切な補正用画像を抽出し、測定対象物7に関する位置合わせを行うことで、初心者でも失敗することなく確実に高精度な繰り返し測定を行うことが可能である。
As described above in detail, according to the first embodiment, the
また、本第1の実施形態では、繰り返し測定部30は、基準物品に対して設定された基準座標系における補正用画像の位置と、測定対象物7の補正用画像に対応する部分の画像の測定座標系上における位置と、を合わせる(許容できる誤差の範囲内となる)ように、測定対象物7に対して測定座標系を設定する。これにより、基準座標系上における補正用画像の位置と、測定座標系上における測定対象物7の補正用画像に対応する部分の画像の位置とを合わせる(許容できる誤差の範囲内とする)ことができるので、測定対象物7の繰り返し測定を精度よく行うことができる。
In the first embodiment, the
また、本第1の実施形態では、繰り返し測定部30は、補正に用いる補正用画像を抽出するときに、基準物品に対して設定された基準座標系の原点との距離が長い補正用画像から抽出する(上記項目(a)参照)。これにより、基準座標系と測定座標系との回転誤差の影響を受けやすい、基準座標系の原点から遠い箇所を撮像した補正用画像を用いて補正を行うことで、測定座標系の回転誤差を精度よく補正することができる。このように、自動的に適切な補正用画像を抽出し、測定対象物7に関する位置合わせを行うことで、初心者でも失敗することなく確実に高精度な繰り返し測定を行うことができる。
Further, in the first embodiment, when the
また、本第1の実施形態では、繰り返し測定部30は、測定座標系の補正に用いる補正用画像を抽出するときに、補正用画像とテストマッチング用の画像とを用いたパターンマッチング(テストマッチング)により得られるテストマッチングスコアが高い画像から抽出する(上記項目(c)参照)。これにより、補正用画像を用いたパターンマッチングのしやすさを示す指標(基準物品の表面状態等により影響を受ける指標)であるテストマッチングスコアが高い画像を優先的に測定座標系の補正に用いることで、パターンマッチングを失敗することなく、測定対象物7を撮像した画像において補正用画像に類似する箇所(対応する箇所)を精度よく抽出することができる。この場合、補正に失敗するなどして補正用画像を抽出しなおす可能性を低減することができるので、確実かつ精度よく測定座標系の補正を行うことが可能となる。
In the first embodiment, when the
また、本第1の実施形態では、繰り返し測定部30は、測定座標系の補正に用いる補正用画像を抽出するときに、テストマッチングの検出数(テストマッチングスコアが所定値以上である数)が少ない補正用画像から抽出する(上記項目(b)参照)。これにより、測定座標系を補正する際の補正用画像と撮像部6が撮像した測定対象物7の画像とのパターンマッチングにおいて、補正用画像に対応する箇所(類似する箇所)が複数特定されることにより、測定座標系の補正の失敗や補正精度が低下することを防止することができるので、ステップS234のような算出エラーの発生を防止することができる。すなわち、補正用画像を撮像した箇所の周辺の状態が補正精度に与える影響を考慮して、補正精度の低下を防止することが可能な補正用画像を自動的に抽出することができる。
Further, in the first embodiment, when the
また、本第1の実施形態では、繰り返し測定部30は、測定座標系の補正に用いる補正用画像を抽出するときに、予備測定時(補正用画像を撮像した際)の倍率条件(撮像倍率)が低い補正用画像から抽出する(上記項目(d)参照)。この場合、撮像倍率が低い補正用画像は、撮像視野が広いため、測定対象物7を撮像した画像において補正用画像に類似する箇所(対応する箇所)を確実に抽出することができる。この場合、補正に失敗するなどして補正用画像を抽出しなおす可能性を低減することができるので、確実に測定座標系の補正を行うことが可能となり、ひいては、測定座標系の補正を簡単に(短時間)で行うことが可能となる。また、繰り返し測定部30は、測定座標系の補正に用いる補正用画像を抽出するときに、予備測定時(補正用画像を撮像した際)の照明条件が透過照明である補正用画像から抽出する(上記項目(e)参照)。これにより、コントラストが大きい(明暗がはっきりしている)画像を優先的に用いることで、補正用画像と撮像部6が撮像した画像とのパターンマッチングを確実かつ精度よく行うことができ、測定座標系の補正や測定座標家を用いた測定を確実かつ精度よく行うことができる。
Further, in the first embodiment, when the
また、本第1の実施形態では、繰り返し測定は、XYステージ5上から基準物品を退かした後、測定対象物7をXYステージ5上に置いた状態(置きなおした状態)で行われるため、測定対象物7の位置・姿勢を、XYステージ5上に載置していた基準物品の位置・姿勢と合致させることは難しい。したがって、基準座標系をそのまま測定座標系として用いることはできない。このため、繰り返し測定部30は、測定対象物7に対してユーザが指定した測定座標系を、補正用画像のパターンマッチング結果に基づいて補正する(S204,S206)。この場合、ユーザがおおまかに指定した測定座標系を用いることで、撮像部6が撮像する画像中の補正用画像に対応する箇所の特定(パターンマッチング)を短時間で行うことができる。これにより、測定座標系の設定(補正)を短時間で行うことが可能となる。
Further, in the first embodiment, the repetitive measurement is performed in a state in which the
また、本第1の実施形態では、予備測定部26は、基準物品上でユーザが指定した測定箇所を予備測定したときに、測定箇所を撮像して、補正用画像を取得する(S36)。そして、繰り返し測定部30は、取得した補正用画像を用いて、ユーザが指定した測定座標系を補正する。この場合、ユーザが補正用画像を撮像する箇所を指定等する必要がなく、補正用画像を自動的に撮像することができる。
Further, in the first embodiment, when the
また、本第1の実施形態では、繰り返し測定部30は、測定座標系の補正に用いる補正用画像を抽出した後、測定座標系の補正ができなかった場合に、他の画像を選択しなおす(S230)。これにより、測定座標系の補正を確実に行うことができる。
Further, in the first embodiment, after extracting the correction image to be used for correction of the measurement coordinate system, the
また、本第1の実施形態では、製造された測定対象物7の測定座標系を精度よく設定し、繰り返し測定により良否判定を行うので、良否判定精度を向上することができる。
Further, in the first embodiment, since the measurement coordinate system of the manufactured
なお、本第1の実施形態では、基準物品に対してユーザが指定した測定箇所を撮像して、補正用画像を取得する場合について説明したが、これに限られるものではない。例えば、XYステージ5が予め定められた位置に位置決めされた状態で、補正用画像を撮像するようにしてもよい。また、ユーザからの入力に応じた箇所を補正用画像として撮像することとしてもよい。なお、予備測定部26は、測定箇所を予備測定する前に補正用画像を撮像することとしてもよい。
In the first embodiment, the case where the image for correction is acquired by imaging the measurement portion specified by the user with respect to the reference article has been described, but the present invention is not limited thereto. For example, the correction image may be captured in a state where the
なお、本第1の実施形態では、図14のステップS206(図15のステップS220)を実行する前に、上述した項目(a)〜(e)を用いて補正用画像に対して優先順位を付与しておき、優先順位を補正用画像と紐づけて画像情報DB42に格納しておいてもよい。この場合、繰り返し測定部30は、優先順位を参照することで、測定座標系の補正に用いる補正用画像を簡易に抽出することが可能となる。例えば、測定プログラム作成処理(S1000)における測定処理(S16)の中で、全ての測定箇所に関する補正用画像を取得した際に優先順位を付与してもよい。
In the first embodiment, prior to the execution of step S206 in FIG. 14 (step S220 in FIG. 15), priority is given to the correction image using the items (a) to (e) described above. The priority may be associated with the correction image and stored in the
なお、本第1の実施形態では、各画像について各項目(a)〜(e)を数値化して評価し(評価値を求め)、各項目を評価した結果(評価値)の合計値に基づいて、各画像の優先順位を決定するようにしてもよい。例えば、図16に示すように、項目(a)“基準座標系の原点からの距離”については、距離が遠い画像ほど高い評価値(点数)を付与し、項目(e)“補正用画像を取得したときの照明条件”については、透過照明の場合に高い点数を付与し、落射照明の場合に低い点数を付与する。また、項目(d)“補正用画像を取得したときの倍率条件”については、倍率が低いほど高い点数を付与し、項目(b)“テストマッチングスコア”については、スコアが高いほど高い点数を付与し、項目(c)“テストマッチングの検出数”については、検出数が少ないほど高い点数を付与する。そして、各画像の点数を合計し、点数が高い順に優先順位を付与する。このようにすることで、各画像の各項目の評価値を考慮した優先順位を各画像に付与することができる。なお、図16の例では、合計値の高い画像2.bmpが抽出される。ここで、各項目に対し、重みづけをすることも可能である。例えば、上述した項目(a)〜(e)の順番(a)→(b)→(c)→(d)→(e)に基づいて、各項目の点数に重みづけ係数を積算した後、重みづけ後の点数を合計するようにしてもよい。例えば、項目(a)の重みづけ係数を10、項目(b)の重みづけ係数を8、項目(c)の重みづけ係数を6、項目(d)の重みづけ係数を4、項目(e)の重みづけ係数を2などとすることができる。このように各項目の重みづけ係数(すなわち重みづけ条件)を用いることで、各項目の重要度を考慮して、各画像の優先順位を決定することが可能となる。 In the first embodiment, each item (a) to (e) is evaluated by digitizing each image (evaluation value is determined), and the evaluation result of each item is based on the total value of the evaluation values (evaluation value). The priority of each image may be determined. For example, as shown in FIG. 16, for item (a) “distance from the origin of the reference coordinate system”, a higher evaluation value (score) is given to an image with a greater distance, and item (e) “correction image As for the illumination condition “at the time of acquisition,” a high score is given in the case of the transmissive illumination, and a low score is given in the case of the epi-illumination. For item (d) “magnification condition when acquiring correction image”, the lower the magnification, the higher the score, and for item (b) “test matching score, the higher the score, the higher the score. In the item (c) "the number of detections of test matching", the higher the number of detections, the higher the score. Then, the scores of the respective images are summed, and priorities are given in descending order of scores. By doing this, it is possible to assign priority to each image in consideration of the evaluation value of each item of each image. Note that, in the example of FIG. 16, the image 2.bmp having a high total value is extracted. Here, it is also possible to weight each item. For example, based on the order (a) → (b) → (c) → (d) → (e) of the items (a) to (e) described above, after weighting factors are integrated to the score of each item, The points after weighting may be summed. For example, the weighting factor of item (a) is 10, the weighting factor of item (b) is 8, the weighting factor of item (c) is 6, the weighting factor of item (d) is 4, and item (e) The weighting factor of can be 2, and so on. As described above, by using the weighting factor of each item (that is, the weighting condition), the priority of each image can be determined in consideration of the importance of each item.
なお、上述したように、補正用画像にあらかじめ優先順位を付与しておく場合にも、優先順位に基づいて複数の補正用画像を抽出し、複数の補正用画像を用いて測定座標系の補正を行うようにすることもできる。この場合、各補正用画像を用いて求められる誤差Δθ、ΔX、ΔYの平均値を用いて、測定座標系の補正を行うこととしてもよい。 Note that, as described above, even when the priority is given to the correction image in advance, the plurality of correction images are extracted based on the priority, and the measurement coordinate system is corrected using the plurality of correction images. Can also be done. In this case, the measurement coordinate system may be corrected using the average value of the errors Δθ, ΔX, and ΔY obtained using the respective correction images.
なお、本第1の実施形態では、基準座標系を設定した際に、基準座標系の原点を含む画像を撮像し、この撮像した画像を補正用画像として用いることとしてもよい。 In the first embodiment, when the reference coordinate system is set, an image including the origin of the reference coordinate system may be captured, and the captured image may be used as a correction image.
なお、本第1の実施形態では、ユーザが測定対象物7に対して測定座標系を指定する作業を支援するため、ユーザが基準物品に対して指定した基準座標系の原点を含む画像(参照用画像と呼ぶ)を例えば図11の基準座標系設定処理(S14)のステップS22において作成し、表示装置193に参照用画像を表示することで、ユーザに対して参照用画像を提供するようにしてもよい。この場合、ユーザは、参照用画像を見ながら、測定対象物7の参照用画像に対応する箇所が撮像部6によって撮像されるように、XYステージ5を移動させ、参照用画像に基づいて測定座標系を指定すればよい。これにより、ユーザは、基準座標系の位置を覚えていなくてもよくなり、測定座標系を設定することが容易になる。なお、参照用画像は、ユーザが基準座標系を指定したときに撮像部6が撮像した画像であってもよいし、ユーザが基準座標系を指定したときに撮像部6が撮像した範囲よりも広い範囲を、基準座標系の指定後に撮像した画像であってもよい。また、繰り返し測定部30は、ユーザがXYステージ5を移動させている間に、参照用画像とライブ画像(すなわち、撮像部6が所定のフレームレートで撮像している画像)とのパターンマッチングを順次行い、ライブ画像中に参照用画像との類似度が所定値以上の箇所が存在していた場合に、その旨をユーザに報知するようにしてもよい。報知する方法は、例えばアラームを発するようにしてもよい。これにより、測定座標系を指定する作業を支援することが可能となる。なお、参照用画像は、補正用画像の1つとして用いることとしてもよい。
Note that, in the first embodiment, an image including the origin of the reference coordinate system specified by the user with respect to the reference article in order to support the task of the user specifying the measurement coordinate system with respect to the measurement object 7 (see For example, is created in step S22 of the reference coordinate system setting process (S14) of FIG. 11, and the reference image is displayed on the
なお、本第1の実施形態では、ユーザが測定対象物7に対して測定座標系を指定する場合について説明したが、これに限られるものではない。例えば、繰り返し測定部30が、ユーザが指定した基準座標系の原点を含む基準物品の画像を用いたパターンマッチングを行うことで、測定対象物7に対して測定座標系を自動的に設定してもよい。この場合、基準座標系の原点を含む基準物品の画像(原点画像と呼ぶ)と類似する箇所を測定対象物7を撮像した画像において特定する。そして、原点画像における基準座標系の原点の位置と対応する、特定した箇所内の位置を特定し、特定した位置に測定座標系の原点を設定する。また、特定した箇所内における測定座標系の回転角度を、原点画像における基準座標系の回転角度と同一に設定する。この場合にも、パターンマッチングの精度によっては設定した測定座標系が基準物品に対して指定した基準座標系からずれるおそれがあるため、上述した方法により、設定した測定座標系を補正するようにすればよい。
In the first embodiment, the case where the user designates the measurement coordinate system for the
なお、本第1の実施形態では、図15のステップS228の判断が肯定された場合に、ステップS220で抽出された補正用画像と対応付けてサーチ失敗回数をHDD196等の記憶部に記憶しておいてもよい。この場合、繰り返し測定部30は、ステップS220、S230において、サーチ失敗回数を考慮して、測定座標系の補正に用いる補正用画像を抽出することができる。例えば、繰り返し測定部30は、サーチ失敗回数が所定回数以上の補正用画像は抽出しないようにしてもよい。あるいは、繰り返し測定部30は、サーチ失敗回数が少ない補正用画像を優先的に抽出するようにしてもよい。なお、サーチ失敗回数に代えて、サーチ成功回数を考慮して、補正用画像を抽出してもよい。なお、サーチ失敗回数及びサーチ成功回数は、位置合わせの失敗に関する情報及び位置合わせの成功に関する情報である。なお、位置合わせの失敗に関する情報及び位置合わせの成功に関する情報は、サーチ失敗率やサーチ成功率であってもよい。
In the first embodiment, when the determination in step S228 of FIG. 15 is affirmed, the number of search failures is stored in a storage unit such as
なお、本第1の実施形態では補正用画像を撮像した際に、取得した補正画像をトリミングによって切り出す領域を所定の幅で小さくしながら、切り出し画像とテストマッチング用の画像とのテストマッチングスコアの算出を繰り返し、テストマッチングスコアが最大となった補正用画像(トリミングで切り出した画像)を画像情報DB42に保存することとしてもよい。この場合トリミングした補正用画像をステップS220において複数の補正用画像の中から1つの画像を抽出する候補とすることができる。したがって、例えば、補正用画像に対応する測定対象物7(第2の物品)の領域にゴミや塵などの異物の付着、ヒビや欠けなどの欠損などが生じたとしても、それらの問題によるパターンマッチング(ステップS226)の精度の低下を防ぐことができるようになる。
In the first embodiment, when the image for correction is taken, the area of the extracted correction image is trimmed by trimming while reducing the area by a predetermined width, and the test matching score The calculation may be repeated, and the correction image (the image cut out by trimming) having the largest test matching score may be stored in the
なお、本第1の実施形態では、ステップS232で算出した回転誤差Δθや位置誤差ΔX,ΔYの分だけ、ユーザが指定した測定座標系を補正する場合について説明したが、これに限られるものではない。例えば、ユーザが指定した測定座標系が測定対象物7の所定位置に設定されるように、測定座標系の原点位置や角度を固定したまま、ステップS232で算出した回転誤差Δθや位置誤差ΔX,ΔYの分だけ、測定対象物7の位置を移動させるようにしてもよい。この測定対象物7の位置を移動させる処理は、例えば、図14のステップS204におけるユーザによる測定座標系の指定と、ステップS206の処理(測定座標系の補正処理)に代えて、実行することができる。この場合、XYステージ5の上に測定対象物7を載置するためのサブステージを設け、XYステージ5は固定したまま、XYステージ5とは相対的にサブステージをXY方向に移動させるようにすればよい。あるいは、ユーザが測定対象物7の位置をXYステージ5上で調整するようにしてもよいし、ロボットハンド等により、測定対象物7の位置をXYステージ上で調整するようにしてもよい。ここで、原点位置が固定された測定座標系に対して測定対象物7の位置を調整することは、測定対象物7と測定座標系との相対的な位置合わせを行うことであり、すなわち、測定対象物7に関する位置合わせを実行することを意味する。
In the first embodiment, the case where the measurement coordinate system specified by the user is corrected by the rotation error Δθ and the position errors ΔX and ΔY calculated in step S232 has been described. Absent. For example, the rotation error Δθ or the position error ΔX calculated in step S232 while the origin position or angle of the measurement coordinate system is fixed so that the measurement coordinate system specified by the user is set to the predetermined position of the
なお、本第1の実施形態では、繰り返し測定部30は、基準物品に対して設定された基準座標系の原点との距離が長い補正用画像から抽出する場合(項目(a)参照)について説明したが、これに限られるものではない。例えば、基準物品に対して設定された基準座標系の原点との距離が短い補正用画像から抽出することとしてもよい。ここで、基準座標系の原点との距離が長い位置ほど回転誤差の影響を受けやすい。すなわち、基準座標系の原点との距離が長い位置ほど回転誤差の影響により位置ずれが大きくなる。このため、基準座標系の原点から近い補正用画像から抽出し、測定座標系の補正に用いることで、回転誤差の影響が低減され、補正用画像と測定対象物7を撮像した画像とのパターンマッチングがしやすくなる。これにより、パターンマッチングを失敗することなく、測定座標系の補正を確実かつ精度よく行うことができる。
In the first embodiment, the case where the
なお、基準座標系の原点からの距離が近い補正用画像を用いて測定座標系の補正を行った後、測定座標系の補正に用いた補正用画像よりも基準座標系の原点からの距離が長い補正用画像を用いて再度測定座標系の補正を行うこととしてもよい。これにより、確実かつ高精度に測定座標系の補正することができる。また、基準座標系の原点からの距離が近い順に補正用画像を抽出して測定座標系の補正を繰り返してもよい。この場合、測定座標系の補正の必要がなくなるまで、すなわち、測定座標系の補正を行っても測定座標系の原点や回転角度が所定以上変更されなくなるまで補正を繰り返すようにしてもよい。これにより、確実かつ高精度に測定座標系の補正するための、補正回数(繰り返し回数)を適切な回数とすることができる。 In addition, after correction of the measurement coordinate system is performed using a correction image with a short distance from the origin of the reference coordinate system, the distance from the origin of the reference coordinate system is greater than that of the correction image used for correction of the measurement coordinate system. The measurement coordinate system may be corrected again using a long correction image. This makes it possible to correct the measurement coordinate system reliably and accurately. Alternatively, the correction image may be extracted in order of decreasing distance from the origin of the reference coordinate system, and the correction of the measurement coordinate system may be repeated. In this case, the correction may be repeated until the measurement coordinate system does not need to be corrected, that is, even if the measurement coordinate system is corrected, the origin or the rotation angle of the measurement coordinate system is not changed more than a predetermined amount. As a result, the number of corrections (the number of repetitions) for correcting the measurement coordinate system reliably and accurately can be made an appropriate number.
また、本第1の実施形態では、繰り返し測定部30は、予備測定時(画像測定時)の倍率条件(撮像倍率)が低い補正用画像から抽出する場合(上記項目(d)参照)について説明したが、これに限られるものではない。例えば、倍率条件(撮像倍率)が高い補正用画像から抽出することとしてもよい。この場合、撮像範囲が狭い補正用画像を測定座標系の補正に用いることになるため、補正用画像においてごみや埃が撮像されている可能性を少なくすることができる。これにより、ごみや埃による影響で、測定座標系の補正精度が悪化する、又は測定座標系の補正に失敗する可能性を低減することが可能となる。なお、倍率条件(撮像倍率)が低い補正用画像から抽出するか、倍率条件(撮像倍率)が高い補正用画像から抽出するかは、画像測定装置100が設置される環境が、ごみや埃の多い環境か否かに基づいて使い分けることとしてもよい。
Further, in the first embodiment, the case where the
なお、本第1の実施形態では、予備測定部26は、予備測定の状態から照明条件や倍率条件を変更せずに補正用画像を撮像する場合について説明したが、これに限られるものではない。例えば、予備測定部26は、予備測定を行った後、照明条件や倍率条件などの種々条件を変更してから、補正用画像を撮像することとしてもよい。例えば、撮像倍率を下げ、撮像範囲を予備測定時よりも広くした状態で補正用画像を撮像するようにしてもよい。
Although the first embodiment has described the case where the
≪第2の実施形態≫
次に、第2の実施形態について、図17〜図21に基づいて詳細に説明する。Second Embodiment
Next, a second embodiment will be described in detail based on FIG. 17 to FIG.
本第2の実施形態は、ユーザが、基準物品に対して基準座標系を指定する作業を省略できる点が第1の実施形態と異なっている。すなわち、本第2の実施形態では、図10のステップS14を省略することができる。また、本第2の実施形態では、基準座標系の指定する作業を省略できることに加え、測定座標系を指定する作業についても省略できる。本第2の実施形態では、基準座標系の原点及び回転角度を、ステージ座標系の原点及び回転角度と一致するように自動設定する。 The second embodiment is different from the first embodiment in that the user can omit the operation of specifying a reference coordinate system with respect to a reference article. That is, in the second embodiment, step S14 of FIG. 10 can be omitted. Further, in the second embodiment, in addition to the fact that the operation of specifying the reference coordinate system can be omitted, the operation of specifying the measurement coordinate system can also be omitted. In the second embodiment, the origin and the rotation angle of the reference coordinate system are automatically set to coincide with the origin and the rotation angle of the stage coordinate system.
図17には、本第2の実施形態におけるCPU190の詳細ブロック図が示されている。なお、図17においては、図示及び説明の便宜上、HDD196に格納されているDBも図示されている。図17に示すように、本第2の実施形態では、第1の実施形態の座標系DB40に代えて、座標系設定用画像DB55が設けられている。
FIG. 17 shows a detailed block diagram of the
本第2の実施形態では、図10のステップS10、S12、S16の処理を第1の実施形態と同様に実行した後、測定プログラム保存処理として、図18に示す処理(S18’)を実行する。なお、予備測定部26は、ステップS16においてユーザが指定した測定箇所を測定する際には、ステージ座標系を用いた測定を行う。
In the second embodiment, after the processes of steps S10, S12, and S16 of FIG. 10 are performed as in the first embodiment, the process (S18 ′) illustrated in FIG. 18 is performed as a measurement program storage process. . In addition, when measuring the measurement location which the user designated in step S16, the
ステップS18’においては、測定プログラム保存部28は、ステップS150において、ユーザによってファイル名が入力され、保存ボタンが押下されるまで待機する。次いで、ステップS152では、測定プログラム保存部28は、画像情報DB42に格納されている補正用画像の1つを選択し、座標系設定用画像として座標系設定用画像DB55(図19(a)、図19(b)参照)に格納する。
In step S <b> 18 ′, the measurement
座標系設定用画像DB55は、ユーザが基準物品を用いた基準座標系の指定をしなくても、測定座標系を自動的に設定することを可能にするために用いられる補正用画像を格納するデータベースである。具体的には、図19(a)に示すようなデータ構造を有する。座標系設定用画像DB55は、ステップS152が開始されるまでは、図19(a)に示すように各項目は空(ブランク)となっている。測定プログラム保存部28は、座標系設定用画像DB55に格納する補正用画像を、画像情報DB42の中から、以下の項目に基づいて選定する。これらの項目は、画像に関する特徴を意味する。
(a)ズーム倍率が低い
(b)ステージ座標系の原点からの距離が近い
(c)テストマッチングの検出数が少ない
(d)テストマッチングスコアが高い
なお、上記各項目において、ズーム倍率は、撮像倍率を意味し、撮像条件(倍率条件)の一例である。ステージ座標系の原点からの距離は、画像の位置を示す情報の一例である。また、テストマッチングの検出数やテストマッチングスコアは、画像の特徴を示す情報の一例である。The coordinate system setting
(A) The zoom magnification is low (b) The distance from the origin of the stage coordinate system is short (c) The number of test matching detections is small (d) The test matching score is high It means a magnification and is an example of an imaging condition (magnification condition). The distance from the origin of the stage coordinate system is an example of information indicating the position of the image. The number of test matching detections and the test matching score are examples of information indicating the feature of the image.
ここで、本第2実施形態において、選定の際には、各項目は、(a)→(b)→(c)→(d)の順に用いることとする。例えば、測定プログラム保存部28は、図5(b)の画像情報DB42に格納されている補正用画像の情報を参照して、ズーム倍率が低く、基準座標系(ステージ座標系)の原点からの距離が近い補正用画像ファイル(2.bmp)を特定する。そして、測定プログラム保存部28は、補正用画像ファイル(2.bmp)の情報を図5(b)から抽出し、図19(b)に示すように座標系設定用画像DB55に格納する。なお、基準座標系とステージ座標系との相対角度の欄には、0°が格納される。このように、相対角度の欄に0°が格納されるのは、前述したように、本第2の実施形態の基準座標系の原点及び回転角度が、ステージ座標系の原点及び回転角度と一致しているからである。
Here, in the second embodiment, each item is used in the order of (a) → (b) → (c) → (d) at the time of selection. For example, the measurement
ここで、項目(a)において、撮像時のズーム倍率が低い補正用画像を優先的に選定するのは、ズーム倍率が低い補正用画像は、撮像視野が広いため、測定対象物7を撮像した画像において補正用画像に類似する箇所を確実に見つけることができるからである。また、項目(b)において、基準座標系(ステージ座標系)の原点からの距離が近い補正用画像を優先的に選定するのは、XYステージ上の基準物品を退かして測定対象物7を置いたときに、測定対象物7が基準物品に対して回転方向にずれても、基準座標系(ステージ座標系)の原点からの距離が近い箇所は、回転誤差の影響による位置ずれが小さく、パターンマッチングを確実に行うことができ、測定座標系を確実に設定することができるからである。また、項目(c)において、テストマッチングの検出数が少ない画像を優先的に選定するのは、測定座標系の設定に用いる補正用画像と類似する箇所が測定対象物7を撮像した画像に多く存在する場合に生じる、測定座標系の設定精度の悪化を防止するためである。また、項目(d)において、テストマッチングスコアが高い補正用画像を優先的に選定するのは、テストマッチングスコアが高い補正用画像ほどパターンマッチングがしやすい画像であるからである。このような補正用画像を用いることで、パターンマッチングを失敗することなく、測定座標系の補正を確実かつ精度よく行うことができる。
Here, in the item (a), the reason for preferentially selecting the correction image having a low zoom magnification at the time of imaging is that the image for correction having a low zoom magnification has a wide imaging field of view. This is because it is possible to reliably find a portion similar to the correction image in the image. In item (b), it is necessary to prioritize the selection of the correction image close in distance from the origin of the reference coordinate system (stage coordinate system) by removing the reference article on the XY stage and measuring the
なお、上記項目に加えて、撮像時の照明条件が透過照明である補正用画像を測定座標系の設定に用いる補正用画像として優先的に選定するようにしてもよい。これにより、コントラストが大きい補正用画像を優先的に用いることで、測定座標系を精度よく設定することが可能となる。 In addition to the above items, a correction image whose illumination condition at the time of imaging is transmitted illumination may be preferentially selected as a correction image to be used for setting of the measurement coordinate system. Thus, by preferentially using the correction image having a large contrast, it is possible to set the measurement coordinate system with high accuracy.
なお、項目(a)においては、撮像時のズーム倍率が低い補正用画像を、優先的に選定することとしたが、これに限らず、撮像時のズーム倍率が高い補正用画像を優先的に選定することとしてもよい。この場合、撮像範囲が狭い補正用画像を測定座標系の補正に用いることになるため、補正用画像においてごみや埃が撮像されている可能性を少なくすることができる。これにより、ごみや埃による影響により、測定座標系の補正に失敗する可能性を低減し、測定座標系の補正を確実かつ精度よく行うことが可能となる。なお、倍率条件(撮像倍率)が低い補正用画像を優先的に選定するか、倍率条件(撮像倍率)が高い補正用画像優先的に選定するかは、画像測定装置100が設置される環境が、ごみや埃の多い環境か否かに基づいて使い分けることとしてもよい。
In the item (a), although a correction image having a low zoom magnification at the time of imaging is preferentially selected, the present invention is not limited thereto, and a correction image having a high zoom magnification at the time of imaging is preferentially selected. It may be selected. In this case, since the correction image having a narrow imaging range is used for correction of the measurement coordinate system, the possibility that dust and dirt are imaged in the correction image can be reduced. As a result, the possibility of the correction of the measurement coordinate system failing due to the influence of dust and dirt can be reduced, and the correction of the measurement coordinate system can be performed reliably and accurately. The environment in which the
次いで、ステップS156では、測定プログラム保存部28は、座標系設定用画像DB55に格納されている補正用画像ファイルを参照用画像として取得する。参照用画像は、撮像部6が撮像すべき箇所を示す画像、すなわち、XYステージ5を移動させるべき位置を示す画像である。参照用画像をユーザに提供することで、ユーザは、参照用画像を見ながら参照用画像と対応する箇所が撮像部6によって撮像されるようにXYステージ5を簡単に移動させることができる。なお、測定プログラム保存部28は、座標系設定用画像DB55に格納されている、補正用画像を取得した時の基準座標値や照明条件、倍率条件に基づいて、新たに撮像した画像を参照用画像として取得してもよい。この場合、参照用画像は、補正用画像よりも撮像視野が大きい画像、小さい画像、同一の画像のいずれであってもよい。なお、測定プログラム保存部28は、全体画像から基準座標値を中心として抽出した(切り出した)画像を参照用画像としてもよい。
Next, in step S156, the measurement
次いで、ステップS158では、測定プログラム保存部28は、座標系設定用画像DB55、参照用画像、測定箇所の情報を含む測定プログラムを測定プログラムDB44に保存する。以上により、図18の処理が終了すると、図10の処理(S1000)も終了する。
Next, in step S158, the measurement
次に、本第2の実施形態の繰り返し測定処理について説明する。本第2の実施形態では、繰り返し測定部30は、第1の実施形態の繰り返し測定処理(S2000)に代えて、図20に示す繰り返し測定処理(S2000’)を実行する。
Next, the repetitive measurement process of the second embodiment will be described. In the second embodiment, the
図20の処理では、まず、ステップS402において、ユーザによって測定プログラムが選択されるまで待機する。ユーザが測定プログラムを選択すると、繰り返し測定部30は、ステップS404に移行し、測定プログラムに含まれる参照用画像を表示装置193上に表示する。
In the process of FIG. 20, first, in step S402, the process waits until the user selects a measurement program. When the user selects the measurement program, the
次いで、ステップS406では、繰り返し測定部30は、座標系設定用画像DB55に格納されている補正用画像と撮像部6が所定のフレームレートで撮像している画像(いわゆる、ライブ画像)とを用いたパターンマッチングを実施する。この場合、ユーザは、参照用画像を参照して、撮像部6により参照用画像と類似する箇所が撮像されるように(表示装置193に参照用画像と類似する箇所が表示されるように)XYステージ5を移動させる。そして、繰り返し測定部30は、パターンマッチングにより得られるマッチングスコアの増減をチェックする。
Next, in step S406, the
次いで、ステップS408では、繰り返し測定部30は、マッチングスコアが所定値以上となるまで待機する。ステップS408の判断が肯定されると、繰り返し測定部30は、ステップS410に移行し、マッチングスコアが所定値以上になったことを表示装置193に表示し、ユーザに報知する。
Next, in step S408, the
次いで、ステップS412では、繰り返し測定部30は、ユーザからの測定開始指示が入力されるまで待機する。この場合、ユーザが測定開始ボタン等を押した段階で、繰り返し測定部30は、ステップS414に移行する。
Next, in step S412, the
ステップS414では、繰り返し測定部30は、基準座標系(ステージ座標系)における測定座標系の原点及び基準座標系(ステージ座標系)に対する回転角度を計算する。本処理について、図21(a)、図21(b)に基づいて詳細に説明する。
In step S414, the
図21(a)には、基準物品と基準座標系(ステージ座標系)との関係、及び基準座標系(ステージ座標系)と座標系設定用画像DB55に格納されている補正用画像を取得した時の基準座標値(Xt、Yt)との関係が示されている。また、図21(b)は、測定対象物と基準座標系(ステージ座標系)及び測定座標系との関係を示すとともに、測定座標系の設定方法について説明するための図である。ここで、図21(a)において破線矩形は、座標系設定用画像DB55に格納されている補正用画像を示している。
FIG. 21A shows the relationship between the reference article and the reference coordinate system (stage coordinate system), and the correction image stored in the reference coordinate system (stage coordinate system) and the coordinate system setting
この場合において、図21(b)に示すように、測定対象物7が基準物品に対してX軸方向及びY軸方向にずれた状態、かつ基準座標系(ステージ座標系)に対して傾いた状態でXYステージ5上に載置されたとする。この場合、ユーザが破線矩形で示す範囲を撮像部6が撮像できるようにXYステージ5を移動すると、繰り返し測定部30は、パターンマッチングにより、基準座標値(Xt,Yt)に対応する座標(Xs,Ys)と、回転角度θsとを取得することができる。本第2の実施形態では、これらの座標や回転角度を用いて、測定対象物7の測定の際に用いる測定座標系を設定する。
In this case, as shown in FIG. 21 (b), the
ここで、座標(Xs,Ys)と、座標(Xt,Yt)を中心として座標(Xs,Ys)をθsだけ回転した点の座標(Xt+dx,Yt+dy)との関係は次式(5)、(6)のように表すことができる。
Xs=(Xt+dx)cosθs−(Yt+dy)sinθs …(5)
Ys=(Xt+dx)sinθs−(Yt+dy)cosθs …(6)Here, the relationship between the coordinates (Xs, Ys) and the coordinates (Xt + dx, Yt + dy) of a point obtained by rotating the coordinates (Xs, Ys) by θs about the coordinates (Xt, Yt) is expressed by the following equations (5), ( It can be expressed as 6).
Xs = (Xt + dx) cosθs- (Yt + dy) sinθs (5)
Ys = (Xt + dx) sin θs− (Yt + dy) cos θs (6)
繰り返し測定部30は、上式(5)、(6)から座標(Xs,Ys)と座標(Xt,Yt)の間のずれ量dx,dyを求め、基準座標系(ステージ座標系)の原点からずれ量dx,dyだけずれた位置に測定座標系の原点を設定する。また、繰り返し測定部30は、基準座標系(ステージ座標系)に対して角度θsだけ測定座標系を回転させることで、測定座標系の角度を設定する。このようにすることで、本第2の実施形態では、基準物品を用いてユーザが基準座標系を設定しなくても、測定対象物7ごとに測定座標系を設定することができる。
Repeatedly measuring
図20に戻り、次のステップS416では、繰り返し測定部30は、第1の実施形態のステップS206と同様に、測定座標系の補正処理を実行する。なお、図15のステップS220、S230においては、繰り返し測定部30は、図18のステップS152において選定された補正用画像を除外して、測定座標系の補正に用いる補正用画像を抽出するようにする。次いで、ステップS418では、繰り返し測定部30は、第1の実施形態のステップS208と同様、測定プログラムに記録されている測定箇所で測定を行い、表示装置193に表示する。そして、ステップS420では、繰り返し測定部30は、第1の実施形態のステップS210と同様に、繰り返し測定が終了か否かを判断する。このステップS420の判断が否定された場合には、ステップS404に戻るが、肯定された場合には、図20の全処理を終了するとともに、図10の全処理も終了する。
Returning to FIG. 20, in the next step S416, the
以上、詳細に説明したように、本第2の実施形態によると、繰り返し測定部30は、基準座標系(ステージ座標系)の原点と所定の位置関係にある画像(座標系設定用画像DB55に格納されている補正用画像)を用いて測定対象物7に対して測定座標系を設定した後、測定座標系の補正に用いる補正用画像と、該画像に対応する測定対象物7の画像の部分とに基づいて、設定した測定座標系を補正する。これにより、ユーザは、基準物品を用いて基準座標系を設定しなくても、測定対象物7の測定の際に測定座標系を設定することが可能となる。したがって、ユーザの作業工数を削減することができるので、ユーザの使い勝手を向上することができる。
As described above in detail, according to the second embodiment, the
また、本第2の実施形態では、ユーザは、測定座標系を指定する作業を行わなくてもよいため、この点からもユーザの使い勝手を向上することができる。 Further, in the second embodiment, the user does not have to perform the operation of specifying the measurement coordinate system, and the user's usability can be improved also from this point.
なお、本第2の実施形態では、基準座標系の原点及び回転角度を、ステージ座標系の原点及び回転角度と一致するように自動設定し、基準座標系(ステージ座標系)に基づいて、測定座標系の補正を行う場合について説明したが、これに限られるものではない。例えば、座標系設定用画像DB55に格納されている補正用画像において基準座標系を自動的に設定し、当該基準座標系を用いて測定座標系の設定及び補正を行うこととしてもよい。この場合、基準座標系は、補正用画像の中心に設定されてもよいし、補正用画像に含まれる測定箇所の特定の点(中心点など)に設定されてもよい。このようにしても、上述した第2の実施形態と同様の作用効果を得ることができる。
In the second embodiment, the origin and the rotation angle of the reference coordinate system are automatically set to coincide with the origin and the rotation angle of the stage coordinate system, and measurement is performed based on the reference coordinate system (stage coordinate system). Although the correction of the coordinate system has been described, the present invention is not limited to this. For example, a reference coordinate system may be automatically set in the correction image stored in the coordinate system setting
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体(ただし、搬送波は除く)に記録しておくことができる。 The above processing functions can be realized by a computer. In that case, a program is provided which describes the processing content of the function that the processing device should have. The above processing functions are realized on the computer by executing the program on the computer. The program in which the processing content is described can be recorded on a computer readable recording medium (except for the carrier wave).
プログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD(Digital Versatile Disc)、CD−ROM(Compact Disc Read Only Memory)などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。 In the case of distributing the program, for example, the program is sold in the form of a portable recording medium such as a DVD (Digital Versatile Disc), a CD-ROM (Compact Disc Read Only Memory) or the like in which the program is recorded. Alternatively, the program may be stored in the storage device of the server computer, and the program may be transferred from the server computer to another computer via a network.
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。 The computer executing the program stores, for example, the program recorded on the portable recording medium or the program transferred from the server computer in its own storage device. Then, the computer reads the program from its storage device and executes processing according to the program. The computer can also read the program directly from the portable recording medium and execute processing in accordance with the program. The computer can also execute processing in accordance with the received program each time the program is transferred from the server computer.
なお、本発明の趣旨を逸脱しない範囲で、各実施の形態に、多様な変更または改良を加えることが可能である。また、各実施形態で説明した要件の1つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、各実施形態の構成を適宜組み合わせて適用することも可能である。また、法令で許容される限りにおいて、各実施形態で引用した画像測定装置などに関する全ての公開公報及び米国特許の開示を援用して本文の記載の一部とする。 It is possible to add various changes or improvements to each embodiment without departing from the scope of the present invention. In addition, one or more of the requirements described in each embodiment may be omitted. Such modifications, improvements and omissions are also included in the technical scope of the present invention. Moreover, it is also possible to apply combining the structure of each embodiment suitably. Further, as far as the laws and regulations permit, the disclosures of all of the published publications and US patents relating to the image measurement apparatus and the like cited in the respective embodiments are incorporated as part of the description of the text.
5 XYステージ
6 撮像部
7 測定対象物
30 繰り返し測定部
100 画像測定装置5
本発明の画像測定方法は、第1の物品における異なる部分の画像の中から、該画像に関する特徴に基づいて、画像を選択することと、前記選択された画像と、第2の物品における前記選択された画像に対応する部分の画像とに基づいて、前記第2の物品に関する位置合わせを行うことと、前記第2の物品を画像測定することと、を含み、前記画像に関する特徴は、画像測定の座標系の原点と前記第1の物品における異なる部分の画像との距離を示す情報と、前記第1の物品における異なる部分の画像の撮像条件を示す情報の少なくとも1つを含む。 The image measurement method of the present invention comprises selecting an image from among images of different parts of a first article based on features relating to the image, the selected image, and the selection of a second article. based on the portion of the image corresponding to the image, wherein the performing the positioning for the second article, said the that the second article image measuring only free and features of the image, the image It includes at least one of information indicating a distance between an origin of a coordinate system of measurement and an image of a different part of the first article, and information indicating imaging conditions of an image of a different part of the first article.
本発明の画像測定プログラムは、コンピュータに、第1の物品における異なる部分の画像の中から、該画像に関する特徴に基づいて、画像を選択することと、前記選択された画像と、第2の物品における前記選択された画像に対応する部分の画像とに基づいて、前記第2の物品に関する位置合わせを行うことと、前記第2の物品を画像測定することと、を実行させ、前記画像に関する特徴は、画像測定の座標系の原点と前記第1の物品における異なる部分の画像との距離を示す情報と、前記第1の物品における異なる部分の画像の撮像条件を示す情報の少なくとも1つを含むプログラムである。 The image measurement program according to the present invention comprises, in a computer, selecting an image from among images of different parts of a first article based on features relating to the image, the selected image, and a second article. based on the image of the portion corresponding to the selected image in the and be aligned for the second article, the method comprising image measuring said second article to the execution, features of the image The information includes at least one of information indicating a distance between an origin of a coordinate system of image measurement and an image of a different part of the first article, and information indicating imaging conditions of an image of the different part of the first article It is a program.
本発明の画像測定装置は、第1の物品における異なる部分の画像の中から、該画像に関する特徴に基づいて、画像を選択する画像選択部と、前記選択された画像と、第2の物品における前記選択された画像に対応する部分の画像とに基づいて、前記第2の物品に関する位置合わせを行う位置合わせ部と、前記第2の物品を画像測定する画像測定部と、を備え、前記画像に関する特徴は、画像測定の座標系の原点と前記第1の物品における異なる部分の画像との距離を示す情報と、前記第1の物品における異なる部分の画像の撮像条件を示す情報の少なくとも1つを含む。 An image measurement device according to the present invention includes an image selection unit that selects an image from images of different parts of a first article based on features relating to the image, the selected image, and a second article. based on the image of the portion corresponding to the selected image, with said positioning portion for first performing a second alignment an article, an image measuring unit for measuring said second article image, and the image The feature relating to is at least one of information indicating a distance between an origin of a coordinate system of image measurement and an image of a different part of the first article, and information indicating imaging conditions of an image of the different part of the first article including.
Claims (23)
前記選択された画像と、第2の物品における前記選択された画像に対応する部分の画像とに基づいて、前記第2の物品に関する位置合わせを行うことと、
前記第2の物品を画像測定することを含む画像測定方法。Selecting an image from among the images of different parts of the first article based on the features related to the image;
Performing alignment on the second article based on the selected image and an image of a portion of the second article corresponding to the selected image;
And measuring the image of the second article.
選択された箇所を含む範囲を撮像して、前記第1の物品における異なる部分の画像を取得することと、を含み、
前記画像測定することにおいては、前記第1の物品の前記複数箇所に対応する前記第2の物品の箇所を画像測定することを特徴とする請求項1〜13のいずれか一項に記載の画像測定方法。Furthermore, accepting selection of a plurality of locations of the first article;
Imaging a range including the selected portion to obtain an image of a different part of the first article;
The image measurement according to any one of claims 1 to 13, wherein, in the image measurement, the image measurement is performed on a part of the second article corresponding to the plurality of parts of the first article. Measuring method.
前記画像を選択することにおいては、前記複数種類の情報それぞれを用いて前記画像を評価した結果に基づいて、前記画像を選択することを特徴とする請求項1〜16のいずれか一項に記載の画像測定方法。The feature related to the image includes multiple types of information related to the feature of the image;
The method according to any one of claims 1 to 16, wherein in selecting the image, the image is selected based on a result of evaluating the image using each of the plurality of types of information. Image measurement method.
前記画像を選択することにおいては、前記第1の物品における異なる部分の画像から、前記複数種類の情報のうちの1つの情報が所定の条件を満たす画像を抽出する処理を、前記複数種類の情報のそれぞれの情報に対して繰り返し、選択する画像を絞り込むことを特徴とする請求項1〜16のいずれか一項に記載の画像測定方法。The feature related to the image includes multiple types of information related to the feature of the image;
In the selection of the image, processing for extracting an image satisfying one of the plurality of types of information from an image of a different part of the first article, the plurality of types of information being the plurality of types of information The image measurement method according to any one of claims 1 to 16, wherein the image to be selected is narrowed down for each of the information of (4).
前記第2の物品は、画像測定の対象となる物品を含むことを特徴とする請求項1〜19のいずれか一項に記載の画像測定方法。The first article includes an article serving as a reference of image measurement,
The image measurement method according to any one of claims 1 to 19, wherein the second article includes an article to be subjected to image measurement.
前記製造することにおいて製造された前記物品を前記第2の物品として、請求項1〜20のいずれか一項に記載の画像測定方法を用いた画像測定を実行することと、
前記画像測定の結果に基づいて、前記物品の良否を判定することとを含む物品の製造方法。Manufacturing an article,
Performing an image measurement using the image measurement method according to any one of claims 1 to 20, wherein the article manufactured in the manufacturing is used as the second article.
Determining the quality of the article based on the result of the image measurement.
第1の物品における異なる部分の画像の中から、該画像に関する特徴に基づいて、画像を選択することと、
前記選択された画像と、第2の物品における前記選択された画像に対応する部分の画像とに基づいて、前記第2の物品に関する位置合わせを行うことと、
前記第2の物品を画像測定することとを実行させる画像測定プログラム。On the computer
Selecting an image from among the images of different parts of the first article based on the features related to the image;
Performing alignment on the second article based on the selected image and an image of a portion of the second article corresponding to the selected image;
An image measurement program for performing image measurement of the second item.
前記選択された画像と、第2の物品における前記選択された画像に対応する部分の画像とに基づいて、前記第2の物品に関する位置合わせを行う位置合わせ部と、
前記第2の物品を画像測定する画像測定部と、を備える画像測定装置。An image selection unit that selects an image from among images of different parts of the first article based on features related to the image;
An alignment unit that performs alignment on the second article based on the selected image and an image of a portion of the second article that corresponds to the selected image;
An image measurement unit configured to measure an image of the second article.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/075580 WO2018042580A1 (en) | 2016-08-31 | 2016-08-31 | Image measurement method, image measurement program, image measurement device, and article production method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018042580A1 true JPWO2018042580A1 (en) | 2019-07-04 |
JP6822478B2 JP6822478B2 (en) | 2021-01-27 |
Family
ID=61300502
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018536604A Active JP6822478B2 (en) | 2016-08-31 | 2016-08-31 | Image measurement method, image measurement program and image measurement device, and manufacturing method of articles |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6822478B2 (en) |
WO (1) | WO2018042580A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7252018B2 (en) * | 2019-03-18 | 2023-04-04 | 株式会社キーエンス | Image measuring device |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0854222A (en) * | 1994-08-12 | 1996-02-27 | Matsushita Electric Works Ltd | Method for detecting displacement by image processing |
JPH10173029A (en) * | 1996-12-13 | 1998-06-26 | Dainippon Screen Mfg Co Ltd | Method of determining measuring positions of wafer |
JP2014055864A (en) * | 2012-09-13 | 2014-03-27 | Keyence Corp | Image measurement device, manufacturing method of the same and program for image measurement device |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0689341A (en) * | 1992-09-07 | 1994-03-29 | Toshiba Corp | Component position detecting method |
JP4307061B2 (en) * | 2002-12-24 | 2009-08-05 | キヤノン株式会社 | Imaging device |
JP2011107878A (en) * | 2009-11-16 | 2011-06-02 | Seiko Epson Corp | Position detection apparatus and position detection method |
JP5634764B2 (en) * | 2010-06-23 | 2014-12-03 | コグネックス・コーポレイション | MOBILE BODY CONTROL SYSTEM, PROGRAM, AND MOBILE BODY CONTROL METHOD |
JP5771561B2 (en) * | 2012-05-30 | 2015-09-02 | 株式会社日立ハイテクノロジーズ | Defect inspection method and defect inspection apparatus |
-
2016
- 2016-08-31 JP JP2018536604A patent/JP6822478B2/en active Active
- 2016-08-31 WO PCT/JP2016/075580 patent/WO2018042580A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0854222A (en) * | 1994-08-12 | 1996-02-27 | Matsushita Electric Works Ltd | Method for detecting displacement by image processing |
JPH10173029A (en) * | 1996-12-13 | 1998-06-26 | Dainippon Screen Mfg Co Ltd | Method of determining measuring positions of wafer |
JP2014055864A (en) * | 2012-09-13 | 2014-03-27 | Keyence Corp | Image measurement device, manufacturing method of the same and program for image measurement device |
Also Published As
Publication number | Publication date |
---|---|
JP6822478B2 (en) | 2021-01-27 |
WO2018042580A1 (en) | 2018-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100598787B1 (en) | Improved method and apparatus for direct probe sensing | |
US8004659B2 (en) | Vision measuring machine and focusing method thereof | |
US10360684B2 (en) | Method and apparatus for edge determination of a measurement object in optical metrology | |
JP2018004497A (en) | Image measurement device | |
US10540561B2 (en) | Inspection method and inspection apparatus | |
US20190080468A1 (en) | Positioning and measuring system based on image scale | |
JP2021193400A (en) | Method for measuring artefact | |
JP5383853B2 (en) | Tool shape measuring apparatus and tool shape measuring method | |
JP5049246B2 (en) | Object shape evaluation device | |
JP2008146990A (en) | Sample fixing table, charged particle beam device equipped with it, and observation/analysis object part identifying method | |
JPWO2018042580A1 (en) | IMAGE MEASUREMENT METHOD, IMAGE MEASUREMENT PROGRAM, IMAGE MEASUREMENT APPARATUS, AND METHOD OF MANUFACTURING ARTICLE | |
JP6797638B2 (en) | Image measuring device | |
JPH11351840A (en) | Noncontact type three-dimensional measuring method | |
JP5403367B2 (en) | Object shape evaluation device | |
JP5049247B2 (en) | Surface defect evaluation system | |
JP2007248208A (en) | Apparatus and method for specifying shape | |
WO2019180899A1 (en) | Appearance inspection device | |
JP5445848B2 (en) | Object shape evaluation device | |
CN115638723A (en) | Shape inspection apparatus and height image processing apparatus | |
JP2015210690A (en) | Image recognition device | |
US10475205B2 (en) | Positioning and measuring system based on flexible feature image scale | |
JP7153514B2 (en) | 3D shape inspection device, 3D shape inspection method, 3D shape inspection program, computer | |
JP2012078105A (en) | Attitude controller, control method, and program | |
JP2010071867A (en) | Eccentricity measuring instrument and method | |
JP2019045399A (en) | Inspection method, inspection program and inspection apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190312 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190423 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191126 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200324 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200630 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200825 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201028 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6822478 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |