JP7152223B2 - Image measuring device - Google Patents
Image measuring device Download PDFInfo
- Publication number
- JP7152223B2 JP7152223B2 JP2018162780A JP2018162780A JP7152223B2 JP 7152223 B2 JP7152223 B2 JP 7152223B2 JP 2018162780 A JP2018162780 A JP 2018162780A JP 2018162780 A JP2018162780 A JP 2018162780A JP 7152223 B2 JP7152223 B2 JP 7152223B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- stage
- imaging
- workpiece
- work
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims description 215
- 238000005259 measurement Methods 0.000 claims description 139
- 238000005286 illumination Methods 0.000 claims description 63
- 238000000034 method Methods 0.000 claims description 17
- 230000003287 optical effect Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 2
- 230000001678 irradiating effect Effects 0.000 claims 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 167
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 167
- 238000001514 detection method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 238000007689 inspection Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000002950 deficient Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
本発明はワークを撮像してワークを測定する画像測定装置に関する。 The present invention relates to an image measuring apparatus for imaging a workpiece and measuring the workpiece.
工場で製造された製品(ワーク)の所定箇所の寸法を測定することで、ワークが良品かどうかを検査する画像検査装置(画像測定装置)は、検査担当者の検査負担を大幅に軽減する。特許文献1によれば高倍率カメラと低倍率カメラとを有する画像測定装置が提案されている。 An image inspection device (image measuring device) that inspects whether a work is good or not by measuring the dimensions of a predetermined part of a product (work) manufactured in a factory greatly reduces the inspection burden on the person in charge of inspection. Japanese Patent Application Laid-Open No. 2002-200000 proposes an image measurement apparatus having a high-magnification camera and a low-magnification camera.
ところで、画像測定装置に搭載される二つのカメラの倍率をさらに高くすることで、より小さなワークや、ワーク内のより小さな測定箇所も測定可能となる。その一方で、二つのカメラのうち相対的に低倍率のカメラであっても一つの画像内にワークの全体を収めることができなくなる。一般にワークに対して測定箇所を設定するにはワークの全体を示す画像を表示することで、ユーザは測定箇所を正確に設定できるようになる。よって、カメラの高倍率化は測定箇所の設定に関するユーザビリティを低下させかねない。そこで、本発明は、画像測定装置のユーザビリティをさらに改善することを目的とする。 Incidentally, by further increasing the magnification of the two cameras mounted on the image measuring apparatus, it becomes possible to measure a smaller workpiece and a smaller measurement point within the workpiece. On the other hand, even the camera with the relatively low magnification of the two cameras cannot capture the entire workpiece in one image. In general, when setting measurement points on a work, the user can accurately set the measurement points by displaying an image showing the entire work. Therefore, increasing the magnification of the camera may reduce the usability of setting the measurement point. SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to further improve the usability of an image measuring apparatus.
本発明は、たとえば、
ワークが載置されるステージと、
前記ステージ上の撮像視野内の画像を生成する撮像手段と、
前記撮像手段に対してXY方向に相対的に前記ステージを移動させることで、前記ステージ上の撮像視野を切り替える駆動手段と、
前記撮像手段により生成された画像に前記ワークが含まれるかを判定する判定手段と、
前記撮像手段、前記駆動手段および前記判定手段を制御する制御手段であって、
前記判定手段により前記画像に前記ワークが含まれないと判定された場合、予め定められたシーケンスに従って前記駆動手段を制御することで前記ステージを移動させながら前記撮像手段に各撮像視野における画像を生成させ、各画像に前記ワークが含まれるかを前記判定手段に判定させるワーク探索処理を繰り返す第一ステージ動作を実行し、
前記判定手段により前記画像に前記ワークが含まれると判定された場合、当該画像が取得された前記ステージ上の撮像視野の周囲に位置する複数の撮像視野のうち、前記ワークが延出する方向に位置する一つ以上の撮像視野内の画像を前記撮像手段に生成させるよう前記駆動手段に前記ステージを移動させる第二ステージ動作を実行し、
前記第一ステージ動作において前記ワークを含む画像が見つかった場合、前記第一ステージ動作から前記第二ステージ動作に切り替える制御手段と、
前記第二ステージ動作において生成された複数の画像を連結し、前記ワークの全体を含む連結画像を生成する画像連結手段と、
連結画像を表示する表示手段とを有し、
前記判定手段により、前記撮像視野内にワークの少なくとも一部が含まれないと判定された場合には、前記撮像手段の撮像条件に従って、所定のシーケンスに従って連結画像の生成を続けることを特徴とする画像測定装置を提供する。
The present invention, for example,
a stage on which the workpiece is placed;
imaging means for generating an image within an imaging field of view on the stage;
driving means for switching an imaging field of view on the stage by moving the stage relative to the imaging means in the XY directions;
determination means for determining whether the image generated by the imaging means includes the workpiece;
Control means for controlling the imaging means, the driving means and the determination means,
When the determining means determines that the image does not include the workpiece, the driving means is controlled in accordance with a predetermined sequence to move the stage while the imaging means generates an image in each imaging field of view. and performing a first stage operation of repeating work search processing for causing the determination means to determine whether the work is included in each image,
When the determining means determines that the work is included in the image, one of a plurality of imaging fields located around the imaging field of view on the stage from which the image was acquired is located in the direction in which the work extends. performing a second stage operation that causes the drive means to move the stage to cause the imaging means to generate an image within one or more imaging fields located;
control means for switching from the first stage operation to the second stage operation when an image including the workpiece is found in the first stage operation;
image connecting means for connecting a plurality of images generated in the second stage operation to generate a connected image including the entire workpiece;
and display means for displaying the connected image,
When the determining means determines that at least a part of the work is not included in the imaging field of view, the generation of the connected image is continued according to a predetermined sequence according to the imaging conditions of the imaging means. To provide an image measurement device for measuring
本発明によれば、ワークの全体を含む連結画像を生成されて表示されるため、画像測定装置のユーザビリティがさらに改善する。 According to the present invention, since a connected image including the entire workpiece is generated and displayed, the usability of the image measuring apparatus is further improved.
以下に本発明の一実施形態を示す。以下で説明される個別の実施形態は、本発明の上位概念、中位概念および下位概念など種々の概念を理解するために役立つであろう。また、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。 An embodiment of the present invention is shown below. The specific embodiments described below may be helpful in understanding various concepts such as the broader, middle and narrower concepts of the present invention. Moreover, the technical scope of the present invention is determined by the claims and is not limited by the following individual embodiments.
<画像測定装置1>
図1は画像測定装置1の一構成例を示した斜視図である。画像測定装置1は、ワークを撮像してワーク画像を生成し、ワーク画像内のワークの寸法を測定する装置である。図1において、画像測定装置1は、測定ユニット10、制御ユニット20、キーボード31およびポインティングデバイス32を有している。ワークは画像測定装置1により形状や寸法を測定される測定対象物である。
<Image measuring
FIG. 1 is a perspective view showing one configuration example of the
測定ユニット10は、ディスプレイ装置11、可動ステージ12、XY調整つまみ(不図示)、Z調整つまみ14b、電源スイッチ15および実行ボタン16を備えている。測定ユニット10は可動ステージ12上に載置されたワークに検出光を照射し、ワークの透過光またはワークからの反射光を受光してワーク画像を生成する。ワークは、可動ステージ12の検出エリア13内に載置される。測定ユニット10はワーク画像をディスプレイ装置11の表示画面18に表示する。
The
ディスプレイ装置11はワーク画像や測定結果、設定UI(ユーザーインターフェース)を表示画面18上に表示する表示装置である。ユーザはディスプレイ装置11に表示されたワーク画像を見ながらキーボード31およびポインティングデバイス32を操作することで、位置決めのための特徴箇所や寸法測定のための測定箇所などを設定する。可動ステージ12はワークを載置するための載置台である。検出エリア13は、透光性を有するガラスからなる領域である。可動ステージ12は、カメラの撮像軸に平行なZ軸方向と、撮像軸に垂直なX軸方向およびY軸方向に移動する。
The
XY調整つまみは、可動ステージ12をX軸方向またはY軸方向に移動させることにより、カメラに対する可動ステージ12の相対的な位置(X軸方向の位置とY軸方向の位置)を調整する。Z調整つまみ14bは、可動ステージ12をZ軸方向に移動させることにより、カメラに対する可動ステージ12の相対的な位置(Z軸方向の位置)を調整する。電源スイッチ15は、測定ユニット10および制御ユニット20の主電源をオン状態およびオフ状態間で切り替えるための操作部である。実行ボタン16は寸法測定を開始させるための操作部である。
The XY adjustment knob adjusts the relative position of the
制御ユニット20は、測定ユニット10による撮像や画面表示を制御し、ワーク画像を解析してワークの寸法を測定するコントローラである。制御ユニット20は、キーボード31およびポインティングデバイス32を接続されており、キーボード31およびポインティングデバイス32を通じてユーザ入力を受け付ける。キーボード31およびポインティングデバイス32は操作部30を形成している。制御ユニット20は、電源スイッチ15がオンに切り替えられると、測定ユニット10を起動する。制御ユニット20は、実行ボタン16が操作されると、予め用意された設定データにしたがって測定ユニット10を制御して、検出エリア13内でワークを探索し、ワークの寸法を測定する。
The
<測定ユニット10>
図2は測定ユニット10の構成例を模式的に示した断面図である。ここでは測定ユニット10が撮像軸と平行な垂直面(YZ平面)により切断した場合の切断面が示されている。測定ユニット10は、ディスプレイ装置11、可動ステージ12、筐体100、ステージ駆動部101、鏡筒部102、照明位置調整部103、カメラ110、120、同軸落射照明130、リング照明140および透過照明150を有している。
<
FIG. 2 is a cross-sectional view schematically showing a configuration example of the
ステージ駆動部101、鏡筒部102、カメラ110、120、同軸落射照明130および透過照明150は、筐体100内に配置されている。ステージ駆動部101は、制御ユニット20からの駆動信号にしたがって可動ステージ12をX軸方向、Y軸方向またはZ軸方向に移動させ、カメラ110、120に対する可動ステージ12の位置を調整する。ワークは可動ステージ12に載置されているため、可動ステージ12の位置調整はワークの位置調整に相当する。
カメラ110は、カメラ120と比較して、撮像倍率の低い撮像装置である。カメラ110は、撮像素子111、結像レンズ112、絞り板113および受光レンズ114を有している。撮像素子111は、検出光を受光してワーク画像を生成する。撮像素子111は、受光面を下方に向けて配置されている。結像レンズ112は、検出光を撮像素子111上に結像させる光学部材である。絞り板113は、検出光の透過光量を制限する光学絞りであり、結像レンズ112と受光レンズ114との間に配置されている。受光レンズ114は、ワークからの検出光を集光する光学部材であり、可動ステージ12に対向させて配置されている。結像レンズ112、絞り板113および受光レンズ114は、上下方向に延びる中心軸を中心として配置されている。
The
カメラ120は、カメラ110と比較して、撮像倍率の高い撮像装置である。カメラ120は、撮像素子121、結像レンズ122、絞り板123、ハーフミラー124および受光レンズ114を有している。撮像素子121は、検出光を受光してワーク画像を生成する。撮像素子121は、受光面を水平方向に向けて配置されている。つまり、受光面と水平方向とは直交している。結像レンズ122は、検出光を撮像素子121上に結像させる光学部材である。絞り板123は、検出光の透過光量を制限する光学絞りであり、結像レンズ122及びハーフミラー124間に配置されている。受光レンズ114は、カメラ110と共通である。受光レンズ114を透過した検出光は、ハーフミラー124により水平方向に折り曲げられ、絞り板123および結像レンズ122を介して撮像素子121に結像する。
The
撮像素子111、121としては、たとえば、CCD(Charge Coupled Devices:電荷結合素子)およびCMOS(Complementary Metal Oxide Semiconductor:相補型金属酸化物半導体)などのイメージセンサが用いられる。受光レンズ114としては、受光レンズ114とワークとの距離が変化しても、ワークの像の大きさを変化させない性質を有するテレセントリックレンズが用いられる。つまり、カメラ110、120の光学系はそれぞれテレセントリック性を有する。テレセントリック性の光学系で取得されるワーク画像におけるワークの歪は、非テレセントリック性の光学系で取得されるワーク画像におけるワークの歪と比較して、非常に小さい。そのため、精度良くワークが測定可能となる。
Image sensors such as CCDs (Charge Coupled Devices) and CMOSs (Complementary Metal Oxide Semiconductors) are used as the
同軸落射照明130は可動ステージ12上のワークに照明光を上方から照射する照明装置である。同軸落射照明130の照射光の光軸は撮像軸に一致している。同軸落射照明130は、水平方向に照明光を出力するように配置された光源131と、光源131から出射された照明光を下方に折り曲げるハーフミラー132とを有している。同軸落射照明130の照明光はワーク表面の凹凸や模様を取得する際に有利である。
The coaxial epi-
結像レンズ112、122、絞り板113、123、ハーフミラー124、132および受光レンズ114は、鏡筒部102内に配置されている。
透過照明150は、可動ステージ12上のワークに照明光を下方から照射する照明装置である。透過照明150は、光源151、ミラー152および集光レンズ153により構成される。光源151は、水平方向に向けて照明光を出力するように配置されている。光源151から出射された照明光は、ミラー152により反射され、集光レンズ153により集光される。照明光は、可動ステージ12を透過してワークに照射される。照明光の一部はワークにより遮断され、照明光の他の一部は受光レンズ114に入射する。透過照明150の照明光はワークの外形のエッジを取得する際に有利である。
The transmitted
リング照明140は、可動ステージ12上のワークに照明光を上方または側方から照射する照明装置である。リング照明140を形成する複数の光源は、カメラ110、120の撮像軸を取り囲むように配置されている。同軸落射照明130、リング照明140および透過照明150の各光源としては、LED(発光ダイオード)やハロゲンランプが用いられる。照明位置調整部103は、リング照明140をZ軸方向に移動させることにより、可動ステージ12に対するリング照明140の相対位置を調整する。
The
俯瞰カメラ17は可動ステージ12の俯瞰画像を取得するために使用される撮像装置である。俯瞰画像は可動ステージ12のほぼ全体を包含する画像である。俯瞰カメラ17の撮像視野は、カメラ110、120の撮像視野よりも広い。そのため、俯瞰カメラ17は、カメラ110、120と比較して、より広い範囲の画像を取得することに向いている。その一方で、俯瞰カメラ17のテレセントリック性は、カメラ110、120のテレセントリック性と比較して低い。そのため、俯瞰カメラ17は非テレセントリックカメラと呼ばれてもよい。俯瞰カメラ17により取得されるワーク画像においてワークの形状は歪むため、カメラ110、120と比較して、俯瞰カメラ17はワークの測定には向いていない。なお、光学系の視野は円形であり、視野内の被写体はイメージサークルとなって撮像素子上に結像する。一方で、撮像素子が撮像できる範囲は矩形である。つまり、撮像領域とは、イメージサークル内の一部の矩形領域である。ここでは、撮像素子の撮像領域に対応する可動ステージ12上における矩形の領域は撮像視野と呼ばれる。
A bird's-
<俯瞰カメラ>
図2が示すように、受光レンズ114およびリング照明140は可動ステージ12のかなりの部分を覆っている。そのため、俯瞰カメラ17は受光レンズ114およびリング照明140を避けた位置に配置される。俯瞰カメラ17は一つのカメラによって実現されてもよいが、複数のカメラによって実現されてもよい。
<Overhead camera>
As FIG. 2 shows, receiving
図3は測定ユニット10の正面側から俯瞰カメラ17を見たときの俯瞰カメラ17の配置を説明する図である。Wはワークを示している。この例では受光レンズ114の左側に俯瞰カメラ17Lが配置されており、受光レンズ114の右側に俯瞰カメラ17Rが配置されている。R1はカメラ110の視野範囲を示している。R2Lは俯瞰カメラ17Lの視野範囲を示している。R2Rは俯瞰カメラ17Rの視野範囲を示している。二つの俯瞰カメラ17R、17Lを採用することで可動ステージ12の大半の部分を一度に撮像可能となる。それでもなお、可動ステージ12上には、俯瞰カメラ17Lの視野範囲R2Lと、俯瞰カメラ17Lの視野範囲R2Lによってカバーしきれない死角範囲R3が生じてしまう。俯瞰カメラ17R、17Lの受光レンズをより広角までカバーするレンズに置換すれば、死角範囲R3が生じなくなる。しかし、このような広角レンズは高額である。俯瞰カメラ17Rと俯瞰カメラ17Lとを可動ステージ12からより遠くに配置することで視野範囲R2R、R2Lは広がるだろう。しかし、この場合、視野範囲R2R、R2Lがリング照明140によって制限を受けるだろう。そこで、本実施例では可動ステージ12の全体をカバーする俯瞰画像の作成方法が提案される。
FIG. 3 is a diagram illustrating the arrangement of the bird's-
図4は俯瞰画像の作成方法を説明する図である。制御ユニット20は、俯瞰カメラ17Lの撮像軸と俯瞰カメラ17Rの撮像軸との中心と、可動ステージ12の中心とが一致するように可動ステージ12を移動させ、俯瞰カメラ17L、17Rに撮像を実行させる。俯瞰画像41aは俯瞰カメラ17Lにより取得された画像である。俯瞰画像41bは俯瞰カメラ17Rにより取得された画像である。俯瞰カメラ17Rと俯瞰カメラ17Lとには死角範囲R3が存在するため、俯瞰画像41a、41bには死角範囲R3に位置するワークWの一部が写っていない。
FIG. 4 is a diagram for explaining a method of creating a bird's-eye view image. The
制御ユニット20は、俯瞰カメラ17L(または俯瞰カメラ17R)の撮像軸と可動ステージ12の中心とが一致するように可動ステージ12を移動させ、俯瞰カメラ17L(または俯瞰カメラ17R)に撮像を実行させる。これにより俯瞰画像41cが生成される。俯瞰画像41cには、死角範囲R3に位置するワークWの一部が写っている。制御ユニット20は、俯瞰画像41a、41bと俯瞰画像41cとを結合することで、可動ステージ12の全体を含む俯瞰画像41dを生成する。なお、俯瞰画像41cの左部分は俯瞰画像41aと重複しているため、削除される。俯瞰画像41cの右部分は俯瞰画像41bと重複しているため、削除される。
The
なお、俯瞰画像41dの生成方法には種々のものがある。俯瞰画像の取得のスピードを重視する場合には、合成に使用される俯瞰画像の枚数を少なくすればよい。また、俯瞰画像の歪みを抑えることを重視する場合には、合成に使用される画像の枚数を増やせばよい。俯瞰画像は、後述の位置検出に使用される。そのため、歪みが大きいと、大まかな位置検出にすら支障がでてしまうことがある。よって、俯瞰画像の歪みは低減されてもよい。
There are various methods for generating the bird's-
<ワークの自動検出>
図5Aおよび図5Bはワークの自動検出を説明する図である。図5Aが示すように、一般に、可動ステージ12には1個のワークWが載置される。この場合、ユーザは可動ステージ12の中心付近にワークWを載置するため、制御ユニット20は可動ステージ12の中央を基準としてワークWを探索する。なお、可動ステージ12がホームポジションに位置しているときに、受光レンズ114の光軸は可動ステージ12の中心を通る。この例で制御ユニット20は低倍率のカメラ110で4枚のワーク画像を取得することで、可動ステージ12上におけるワークWの位置と姿勢(基準モデルに対する回転角度)とを取得できる。具体的には、制御ユニット20は低倍率画像43aを取得し、低倍率画像43aに存在するワークWを抽出し、ワークWの延出方向を解析する。ここで、ワークWの延出方向は、低倍率画像43aを解析し、所定の輝度値以下になる部分(いわゆる影となる部分)が延出する方向をワークWの延出方向としている。
<Automatic workpiece detection>
5A and 5B are diagrams for explaining the automatic workpiece detection. As shown in FIG. 5A, one workpiece W is generally placed on the
低倍率画像43aは上辺、右辺、底辺および左辺を有している。このうち底辺にエッジが繋がっているため、制御ユニット20は、低倍率画像43aの下方向にワークWが存在すると判定する。制御ユニット20は、低倍率画像43aの下方向に位置する低倍率画像43bを取得できるよう可動ステージ12を移動させ、カメラ110に撮像を実行させる。これにより、低倍率画像43bが生成される。制御ユニット20は、低倍率画像43bにおいてワークWの延出方向を解析する。低倍率画像43bの右辺にワークWの輪郭が繋がっているため、制御ユニット20は、低倍率画像43bの右方向にワークWが存在すると判定する。なお、低倍率画像43bの上辺にもワークWの輪郭が繋がっているが、低倍率画像43bの上方向に位置する低倍率画像43aはすでに解析済みである。よって、低倍率画像43aは取得対象から除外される。制御ユニット20は、低倍率画像43bの右に位置する低倍率画像43cを取得できるよう可動ステージ12を移動させ、カメラ110に撮像を実行させる。これにより、低倍率画像43cが生成される。制御ユニット20は、低倍率画像43cにおいてワークWの延出方向を解析する。低倍率画像43cの上辺にワークWの輪郭が繋がっているため、制御ユニット20は、低倍率画像43cの上方向にワークWが存在すると判定する。制御ユニット20は、低倍率画像43cの上に位置する低倍率画像43dを取得できるよう可動ステージ12を移動させ、カメラ110に撮像を実行させる。制御ユニット20は、低倍率画像43aないし43dを連結して連結画像を生成し、連結画像においてワークWの輪郭が一つに繋がることを確認すると、連結画像の生成を終了する。設定モードにおいて制御ユニット20は連結画像に対する位置決め(パターンサーチ)の設定を受け付けたり、測定箇所の設定などを受け付けたりする。測定モードにおいて制御ユニット20は連結画像からワークWの位置と姿勢を検出する。制御ユニット20はワークWの位置と姿勢に基づき、ワークWにおける測定箇所を特定し、特定された測定箇所の測定を実行する。
The low-
上記段落においては、制御ユニット20が最初に低倍率画像43aを取得する際には、ワークWが画像内に含まれていることが前提とされている。後に詳述するように、実際には、ワーク探索動作である第一ステージ動作を実行した後で、上記段落において説明されたワークの全体(輪郭)を探索するための第二ステージ動作が行われる。
In the above paragraph, it is assumed that the workpiece W is included in the image when the
ところで、図5Bが示すように、実行ボタン16を一度押すだけで多数のワークW(W1~W8)を測定できれば、ユーザの作業負担が軽減する。この場合、ワークWは可動ステージ12の中央以外の位置にも存在するため、中央以外の位置に存在するワークWを探索する処理が必要となる。仮に、低倍率画像43bで低倍率画像を取得しながら多数のワークWを探索すると多くの探索時間が必要となってしまう。そこで、制御ユニット20は、俯瞰画像41dを生成し、俯瞰画像41dを用いて多数のワークWの凡その位置を特定し、特定された位置を基準として低倍率画像を取得する。これにより、多数のワークWについての測定時間が大幅に短縮されるであろう。これらは、複数一括測定モードと呼ばれ、詳細は後述される。
By the way, as shown in FIG. 5B, if a large number of workpieces W (W1 to W8) can be measured by pressing the
<コントローラ>
図6Aは制御ユニット20に搭載さされるコントローラ60の機能を説明する図である。図6Bは俯瞰画像41を生成する際に必要となるオプションの機能を示している。コントローラ60はCPUなどにより構成され、測定ユニット10を制御する。CPUは中央演算処理装置の略称である。コントローラ60の機能の一部またはすべてはASICやFPGAなどのハードウエアによって実現されてもよい。ASICは特定用途集積回路の略称である。FPGAはフィールドプログラマブルゲートアレイの略称である。照明制御部81は制御ユニット20または測定ユニット10に搭載され、コントローラ60からの制御信号にしたがって同軸落射照明130、リング照明140および透過照明150を制御する。撮像制御部82は制御ユニット20または測定ユニット10に搭載され、コントローラ60からの制御信号にしたがって測定用のカメラ110、120および俯瞰カメラ17R、17Lを制御する。記憶装置70はメモリやハードディスクドライブなどを有し、設定データ71、低倍率画像43、俯瞰画像41などを記憶する。
<Controller>
FIG. 6A is a diagram illustrating functions of the
設定部61は、キーボード31などから入力されるユーザ入力にしたがってワークWを測定するための設定データ71を作成する。設定データ71は、たとえば、ワークWのサーチ(位置決め)に関する設定情報や測定箇所に関する設定情報、良品閾値、撮像条件(撮像倍率や照明条件)などを含む。
The setting
測定制御部62は設定データ71にしたがって照明制御部81を通じていずれかの照明ユニットを点灯させたり、撮像制御部82を通じていずれかのカメラユニットに撮像を実行させたりする。
The
ワーク判定部63は、カメラ110、120により取得された画像からエッジを抽出し、エッジの有無を判定する。ワーク判定部63は、エッジの延出方向を求め、次に撮像を行うべき撮像位置の座標を決定する。画像連結部64は、ワークWのエッジを含む複数の低倍率画像43を連結し、連結画像42を生成する。
A
図6Bが示すように、俯瞰画像生成部65は俯瞰カメラ17R、17Lにより取得された俯瞰画像41a~41cを連結して大きな俯瞰画像41dを生成する。座標変換部68は俯瞰画像41dにおけるワークWの座標をカメラ110の座標に変換する。校正部69は校正情報72を用いて俯瞰カメラ17の座標系を校正する。座標変換部68や校正部69は俯瞰画像生成部65の一部であってもよい。
As shown in FIG. 6B, the overhead image generator 65 connects the
サーチ部66は、設定データ71に基づき俯瞰画像41dや連結画像42からワークWの位置や姿勢を特定する。たとえば、サーチ部66は、設定データ71に基づき俯瞰画像41dからワークWの粗い位置を特定し、粗い位置に基づき取得された連結画像42から設定データ71に基づきワークWの詳細な位置と姿勢を特定する。
The
測定部67は設定データ71にしたがってワーク画像からワークWに関する各種の測定を実行する。ワーク画像は、連結画像42であってもよいし、ワークWの詳細な位置と姿勢に基づきカメラ120により取得された測定箇所付近の高倍率画像であってもよいし、低倍率画像であってもよい。測定部67は、測定結果と良品閾値とを比較し、ワークWが良品かどうかを判定(検査)してもよい。
The
表示制御部83は、コントローラ60の指示に従って設定データ71を作成するためのUIをディスプレイ装置11に表示したり、各種の画像を表示したり、測定結果(検査結果)を表示したりする。
The
<フローチャート>
図7は電源スイッチ15がオンに切り替えるとコントローラ60によって実行されるメインの処理を示すフローチャートである。
<Flowchart>
FIG. 7 is a flow chart showing main processing executed by the
S701でコントローラ60は操作部30を通じてユーザにより設定モードが選択されたかどうかを判定する。設定モードが選択されていなければ、コントローラ60はS702をスキップしてS703に進む。一方、設定モードが選択されていれば、コントローラ60はS702に進む。
In S<b>701 , the
S702でコントローラ60(設定部61)は設定モードを実行する。設定モードの詳細は図8を用いて後述される。 In S702, the controller 60 (setting unit 61) executes the setting mode. Details of the setting mode will be described later with reference to FIG.
S703でコントローラ60は操作部30を通じてユーザにより測定モードが選択されたかどうかを判定する。なお、測定モードは、単一のワークWを測定する単一測定モードと、複数のワークWを測定する複数一括測定モードとに分かれていてもよい。単一測定モードではワークWは可動ステージ12の中央付近に配置されることが多いため、測定ユニット10は可動ステージ12の中央からワークWのエッジの探索を開始する。一方、複数一括測定モードでは、図5Bに示すように、可動ステージ12の全体に複数のワークWが散らばっている可能性があるため、俯瞰画像を用いて各ワークのラフな位置が特定され、特定された位置においてワークWのエッジの探索が実行される。ここでは、説明の便宜上、測定モードとは連続測定モードであるものと仮定されている。測定モードが選択されていなければ、コントローラ60はS701に戻る。一方、測定モードが選択されていれば、コントローラ60はS704に進む。
In S<b>703 , the
S704でコントローラ60は実行ボタン16がユーザにより操作されたかどうかを判定する。実行ボタン16がユーザにより操作されると、コントローラ60はS705に進む。
In S704, the
S705でコントローラ60(測定制御部62)は連続測定モードを実行する。連続測定モードの詳細は図9を用いて後述される。 In S705, the controller 60 (measurement control section 62) executes the continuous measurement mode. Details of the continuous measurement mode will be described later with reference to FIG.
●設定モード
図8は設定モードを示すフローチャートである。S800はワークを探索するための第一ステージ動作である。S800はS801ないしS803を有する。S810はワークの全体(輪郭)を探索するための第二ステージ動作である。S810はS811ないしS817を有する。なお、第一ステージ動作および第二ステージ動作については、低倍率のカメラ110を用いて探索する例が説明される。しかし、高倍率のカメラ120を用いて探索が実行されてもよいし、低倍率のカメラ110と高倍率のカメラ120とを適宜に併用して探索が実行されてもよい。
●Setting Mode FIG. 8 is a flow chart showing the setting mode. S800 is the first stage operation for searching for a work. S800 has S801 to S803. S810 is the second stage operation for searching the entire work (contour). S810 has S811 to S817. As for the first stage operation and the second stage operation, an example of searching using the low-
S801でコントローラ60(測定制御部62)は所定シーケンスにしたがって可動ステージ12を移動する。一般に設定モードでは可動ステージ12の中央付近に良品(基準)のワークWが載置される。よって、コントローラ60は低倍率のカメラ110の撮像視野が可動ステージ12の中央付近のグリッドに位置するようステージ駆動部101を制御する。所定のシーケンスは、予め定められた複数のステージ座標位置へ順次、可動ステージ12を移動させるシーケンスである。所定シーケンスは、可動ステージ12の座標情報によって定義されており、記憶装置70に記憶されている。なお、撮像視野で撮像して得られる画像の形状は矩形であるため、可動ステージ12の全体は複数の矩形の画像によってカバー可能である。可動ステージ12の全体に対して複数の矩形の画像が配置された様子はあたかもグリッド状となる。よって、複数の矩形の画像の各座標はグリッドの座標として管理可能である。グリッドとは一般に格子点であるため、画像における四つの角がグリッドに相当する。なお、四つの角に囲まれた矩形は、狭義の意味での撮像視野である。よって、各撮像視野(撮像位置)は画像の左上角の座標に基づき特定されてもよい。あるいは、画像の中心座標が撮像位置として管理されてもよい。
In S801, the controller 60 (measurement control unit 62) moves the
S802でコントローラ60(測定制御部62)は撮像制御部82を通じてカメラ110に撮像を実行させ、低倍率画像43を取得する。低倍率画像43は記憶装置70に記憶される。なお、低倍率画像43は、制御ユニット20の記憶装置70されずに、測定ユニット10内にある記憶装置に記憶されて処理されてもよい。
In S<b>802 , the controller 60 (measurement control unit 62 ) causes the
S803でコントローラ60(ワーク判定部63)は低倍率画像43にエッジが存在するかどうかを判定する。低倍率画像43においてエッジとは隣接画素間での輝度値の変化が大きい部分である。低倍率画像43にエッジが存在しなければ、コントローラ60はS801に戻り、可動ステージ12を次のグリッドに移動させる。低倍率画像43にエッジが見つかると、コントローラ60はS811に進む。つまり、コントローラは、S800のワーク探索シーケンスをS810の輪郭探索シーケンスに切り替える。
In S<b>803 , the controller 60 (work determination unit 63 ) determines whether an edge exists in the low-
S811でコントローラ60(測定制御部62)はワークWのエッジが強調されるように、撮像制御部82の動作条件と照明制御部81の動作条件とを調整する。これらの動作条件は撮像条件と呼ばれる。撮像条件には、たとえば、可動ステージ12のZ方向における位置(合焦位置)や照明モード(透過照明/同軸落射照明)、露光時間、照明光量などが含まれてもよい。なお、撮像条件を調整せずに、あらかじめ定められた条件で後のステップが実行されてもよい。
In S811, the controller 60 (measurement control unit 62) adjusts the operating conditions of the
S812でコントローラ60(ワーク判定部63)はエッジの延出方向を求める。上述したように四辺のどの方向にエッジが接しているかに基づき延出方向が決定されてもよい。あるいはエッジのベクトルが演算されてもよい。 In S812, the controller 60 (work determining unit 63) obtains the extension direction of the edge. As described above, the extension direction may be determined based on which direction of the four sides the edge is in contact with. Alternatively, a vector of edges may be computed.
S813でコントローラ60(測定制御部62)は次の撮像座標を決定する。たとえば、測定制御部62はエッジの延出方向に存在する隣のグリッドの座標を求める。
In S813, the controller 60 (measurement control unit 62) determines the next imaging coordinates. For example, the
S814でコントローラ60(測定制御部62)はエッジの延出方向に存在する隣のグリッドの座標をステージ駆動部101に設定し、可動ステージ12を移動させる。
In S<b>814 , the controller 60 (measurement control unit 62 ) sets the coordinates of the adjacent grid existing in the extending direction of the edge to the
S815でコントローラ60(測定制御部62)は撮像制御部82を通じてカメラ110に撮像を実行させ、低倍率画像43を取得する。低倍率画像43は記憶装置70に記憶される。
In S<b>815 , the controller 60 (measurement control unit 62 ) causes the
S816でコントローラ60(ワーク判定部63)は低倍率画像43からワークのエッジを抽出する。このように、ワーク判定部63はワークのエッジを判定する判定部として機能してもよい。
In S<b>816 , the controller 60 (work determination unit 63 ) extracts the edge of the work from the low-
S817でコントローラ60(測定制御部62)は抽出されたエッジに基づき終了条件が満たされたかどうかを判定する。たとえば、ワーク判定部63は、ワークWの輪郭エッジがすべて抽出されたかどうかを判定する。あるいは、ワーク判定部63は、低倍率画像43から抽出されたエッジの延出方向を求め、延出方向に存在するグリッドがすでに低倍率画像43を取得されたグリッドである場合に、終了条件が満たされたと判定してもよい。終了条件が満たされていなければ、コントローラ60はS811に戻る(なお、変形例として、S812に戻るとしてもよい)。一方で、終了条件が満たされていれば、コントローラ60はS821に進む。
In S817, the controller 60 (measurement control unit 62) determines whether the termination condition is satisfied based on the extracted edge. For example, the
S821でコントローラ60(画像連結部64)は記憶装置70からワークWの低倍率画像43を読み出して連結し、一つの連結画像42を生成する。連結画像42も記憶装置70に記憶される。たとえば、図5Aに示したように四つの低倍率画像43a~43dから連結画像42が生成される。
In S821, the controller 60 (image connecting unit 64) reads the low-
S822でコントローラ60(設定部61)は連結画像42をディスプレイ装置11に表示し、連結画像42に含まれるワークWに対して測定箇所などの設定を受け付ける。たとえば、設定部61は、パターンサーチのための特徴点の指定やある寸法(距離)を測定するための二つのエッジの指定などを受け付ける。なお、設定部61は、操作部30からのユーザ入力にしたがって特徴点やエッジを指定するための矩形や円形の指定領域を連結画像42に重ねて表示してもよい。図11が示すように、連結画像42においてワークWの長さDを測定するために二つの指定領域1101a、1101bが指定されてもよい。ここで長さDは指定領域1101a内のエッジから指定領域1101b内のエッジまでの距離として定義される。設定部61は、指定領域1101a、1101bの位置をステージ駆動部101に設定することで可動ステージ12を移動させ、カメラ120に1101a、1101b内の高倍率画像を取得させてもよい。設定部61は、高倍率画像を指定領域1101a、1101bに重ねて表示してもよい。つまり、低倍率画像の上に配置された指定領域内には高倍率画像が表示されてもよい。このように、指定領域1101a、1101bにはより詳細なワークWの画像が表示されてもよい。また、設定部61は、指定領域1101a、1101bごとに撮影条件(照明条件、倍率、フォーカスなど)を受け付けてもよい。つまり、指定領域1101a、1101bごとに撮影条件が異なってもよい。設定部61は、指定領域1101a、1101bから取得された画像を連結画像42に重ねて表示してもよい。たとえば、設定部61は、予め自動で取得された連結画像42を背景画像として、測定のために撮影条件を再設定されて取得された画像を重ねて表示してもよい。設定部61は、ユーザ入力にしたがって設定データ71を作成し、記憶装置70に記憶させる。
In S<b>822 , the controller 60 (setting unit 61 ) displays the
●測定モード
図9は連続測定モードを示すフローチャートである。すでに説明されたステップと同一または類似したステップには同一の参照符号が付与されている。ここでは俯瞰画像41を取得してワークWの位置と姿勢とをラフに特定するための俯瞰モード(S901ないしS903)が記載されているが、これは必須ではない。
●Measurement Mode FIG. 9 is a flow chart showing the continuous measurement mode. Steps that are identical or similar to steps already described are provided with the same reference numerals. Here, a bird's-eye view mode (S901 to S903) for obtaining the bird's-
S901でコントローラ60(測定制御部62)は設定データ71を参照し、俯瞰モードが有効に設定されているかどうかを判定する。図5Bに示したように、俯瞰モードは、多数のワークWを測定する際に有利なモードである。俯瞰モードが有効であれば、コントローラ60はS902に進む。俯瞰モードが有効でなければ、コントローラ60はS902およびS903をスキップしてS800に進む。
In S901, the controller 60 (measurement control unit 62) refers to the setting
S902でコントローラ60(測定制御部62)は俯瞰画像を生成する。俯瞰画像41の生成処理の詳細は図10を用いて後述される。
In S902, the controller 60 (measurement control unit 62) generates a bird's-eye view image. Details of the process of generating the bird's-
S903でコントローラ60(測定制御部62)は俯瞰画像を用いてワークWの粗い位置を特定する。ワーク判定部63は俯瞰画像に含まれているワークを抽出し、ワークWの粗い位置を求める。ワーク位置の特定の方法には種々のものがある。第一の俯瞰画像を取得し、ステージをXまたはY方向に少し移動させ、第二の俯瞰画像を取得し、第一の俯瞰画像と第二の俯瞰画像との差分画像に基づき、ワークWの粗い位置を判定する方法が採用されてもよい。ワークWを載せる前の第一の俯瞰画像と載せた後の第二の俯瞰画像との差分画像に基づき、ワークWの粗い位置を判定する方法が採用されてもよい。その他、俯瞰画像に含まれているエッジを抽出し、抽出されたエッジに基づきワークワークWの粗い位置を求める方法が採用されてもよい。図5Bが示すように、ワーク判定部63は複数のワークWの輪郭エッジを抽出し、各輪郭エッジの重心位置をワークWの粗い位置として求めてもよい。また、予め操作部30を通じてワークWの個数が設定されていてもよい。ワーク判定部63は、ワークWの個数に応じて各ワークWの位置を求めてもよい。たとえば、四個のワークWが可動ステージ12に載置された場合、俯瞰画像41には四個の輪郭エッジが存在するはずである。よって、ワーク判定部63は個数に応じて輪郭エッジを抽出し、各輪郭エッジの位置を求めてもよい。ここで各ワークWの位置は俯瞰画像における位置である。俯瞰画像におけるワークWの位置は俯瞰カメラ17の座標系に存在する。よって、ワーク判定部63は、座標変換部68を用いて俯瞰カメラ17の座標系におけるワークWの位置をカメラ110の座標系における位置に変換してもよい。これにより、各ワークWの低倍率画像を取得しやすくなる。
In S903, the controller 60 (measurement control unit 62) identifies the rough position of the workpiece W using the overhead image. The
S800からS913までの各工程は複数のワークWのそれぞれについて実行される。 Each step from S800 to S913 is executed for each of the plurality of works W. As shown in FIG.
S800でコントローラ60は第一ステージ動作を実行し、ワークWのエッジを検出する。第一ステージ動作は図8を用いてすでに説明されたとおりである。
At S800, the
S810でコントローラ60は第二ステージ動作を実行し、ワークWをカバーする複数の低倍率画像を生成する。第二ステージ動作は図8を用いてすでに説明されたとおりである。
At S810, the
S821でコントローラ60(画像連結部64)は複数の低倍率画像を連結して連結画像を生成する。連結画像は、複数の高倍率画像どうしを連結して生成されてもよい。 In S821, the controller 60 (image connecting unit 64) connects a plurality of low-magnification images to generate a connected image. A concatenated image may be generated by concatenating a plurality of high-magnification images.
S911でコントローラ60(サーチ部66)は位置決めのための設定データ71に基づき連結画像内におけるワークWの詳細な位置と姿勢とを特定する。
In S911, the controller 60 (search unit 66) specifies the detailed position and orientation of the workpiece W within the connected image based on the setting
S912でコントローラ60(測定部67)はワークWの位置と姿勢と、さらに測定箇所の設定データ71に基づき、連結画像における測定箇所を特定し、測定箇所を測定する。各測定箇所の位置は、ワークWにおける基準となる特徴点の位置に対して設定されている。よって、基準となる特徴点に対して、ワークWの姿勢に応じて各測定箇所の位置を回転させることで、連結画像における各測定箇所の位置が決定される。上述したように、測定精度を向上させるために、カメラ120により測定箇所についての高倍率画像が取得され、高倍率画像に基づき測定が実行されてもよい。
In S912, the controller 60 (measurement unit 67) specifies the measurement points in the combined image based on the position and orientation of the workpiece W and the setting
S913でコントローラ60(測定部67)はワークWの測定結果と、予め決定された良品の閾値(例:公差)とを比較し、ワークWが良品かどうかを判定する。測定部67は、測定に用いたワークWの画像とともに測定結果をディスプレイ装置11に表示してもよい。
In S913, the controller 60 (measuring unit 67) compares the measurement result of the work W with a predetermined threshold value (eg, tolerance) for non-defective products, and determines whether the work W is non-defective. The
●俯瞰画像の生成
図10は俯瞰画像の生成処理を示すフローチャートである。
●Generation of bird's-eye view image Fig. 10 is a flowchart showing processing for generating a bird's-eye view image.
S1001でコントローラ60(校正部69)は、記憶装置70に予め記憶されている校正情報72に基づき俯瞰カメラ17Rの座標系と俯瞰カメラ17Lの座標系を校正する。測定ユニット10に対する俯瞰カメラ17Rの取り付け位置と姿勢には個体差が生じる。測定ユニット10に対する俯瞰カメラ17Lの取り付け位置と姿勢には個体差が生じる。たとえば、俯瞰カメラ17R画像の辺とカメラ110により取得された画像の辺とが平行とならない可能性がある。したがって、工場における測定ユニット10の組み立て時に俯瞰カメラ17R、17Lの取り付け位置のずれ量と取り付け姿勢のずれ量とを計測し、計測結果に基づき校正情報72が作成され、記憶装置70のROMに格納される。この校正情報72に基づき俯瞰カメラ17Rの座標系を校正することで、俯瞰カメラ17Rの座標系における特定の位置を、カメラ110やカメラ120の座標系における特定の位置に正確に変換することが可能となる。同様に、校正情報72に基づき俯瞰カメラ17Lの座標系を校正することで、俯瞰カメラ17Lの座標系における特定の位置を、カメラ110やカメラ120の座標系における特定の位置に正確に変換することが可能となる。
In S1001, the controller 60 (calibration unit 69) calibrates the coordinate system of the bird's-
S1002でコントローラ60(俯瞰画像生成部65)は、ステージ駆動部101に撮像位置を設定し、可動ステージ12を撮像位置に移動させる。たとえば、図4に示したように部分俯瞰画像である俯瞰画像41a、41bを取得できるように可動ステージ12が移動する。
In S1002, the controller 60 (overhead image generation unit 65) sets the imaging position in the
S1003でコントローラ60(俯瞰画像生成部65)は、撮像制御部82を通じて俯瞰カメラ17R、17Lに撮像を実行させ、部分俯瞰画像を取得する。
In S1003, the controller 60 (bird's-eye view image generation unit 65) causes the bird's-
S1004でコントローラ60(俯瞰画像生成部65)は、全体俯瞰画像である俯瞰画像41dを合成するために必要となるすべての俯瞰画像41a~41cが取得されたかどうかを判定する。すべての俯瞰画像41a~41cが取得されていれば、コントローラ60はS1005に進む。一方、すべての俯瞰画像41a~41cが取得されていなければ、コントローラ60はS1002に戻る。たとえば、俯瞰画像41a、41bが取得されたが、俯瞰画像41cが取得されていない場合、コントローラ60はS1002に戻る。S1002で俯瞰画像41cの撮像位置へ可動ステージ12が移動する。S1003で俯瞰画像41cが取得される。
In S1004, the controller 60 (bird's-eye view image generation unit 65) determines whether or not all the bird's-
S1005でコントローラ60(俯瞰画像生成部65)は、複数の部分俯瞰画像を合成して全体俯瞰画像を生成する。図4に示した事例では俯瞰画像41a~41cから俯瞰画像41dが生成される。
In S1005, the controller 60 (bird's-eye image generation unit 65) synthesizes a plurality of partial bird's-eye images to generate an overall bird's-eye image. In the example shown in FIG. 4, a bird's-
●俯瞰画像を用いた複数一括モード
図5Bに示すように、多数のワークW(W1~W8)がステージ上に載置され、ユーザが一度実行ボタンをおすことで、多数のワークを測定することができる複数一括測定モードについてさらに説明する。
- Multi batch mode using bird's-eye view image As shown in Fig. 5B, many workpieces W (W1 to W8) are placed on the stage, and the user presses the execution button once to measure many workpieces. A multiple simultaneous measurement mode in which
図5Bによれば可動ステージ12の全体に複数のワークW1~W8が散らばって置かれている。コントローラ60(俯瞰画像生成部65)は、撮像制御部82を通じて俯瞰カメラ17R、17Lに撮像を実行させ、俯瞰画像を取得する。ワーク判定部63は、俯瞰画像を用いて各ワークW1~W8のラフな座標位置(例えば、中心座標、重心座標等)を特定する。ワーク判定部63は、予め決められたルール(例えば、左上から右に向けてラスター状に順に、中心に近いワークから順に等)または、ユーザの入力、に従い、各ワークW1~W8の座標位置を測定する。
According to FIG. 5B, a plurality of works W1 to W8 are scattered over the entire
ここでは、ワークW1、W2、W3...W8の順に座標位置が測定されていく場合について説明される。コントローラ60は、撮像制御部82を通じて俯瞰カメラ17R、17Lに撮像を実行させ、俯瞰画像が取得される。コントローラ60は、ワークW1、W2、W3...W8の座標位置を特定する。コントローラ60は、それぞれの座標位置を記憶する。これにより、コントローラ60は測定順序を決定する。ワークW1が最初に測定されるため、コントローラ60はワークW1の座標位置に向けて可動ステージ12を移動する。可動ステージ12がワークW1の座標位置に到着すると、コントローラ60は、ワークW1について、ワークW1を探索するための第一ステージ動作を実行する。その後、コントローラ60は、ワークW1の全体(輪郭)を探索するための第二ステージ動作を実行する。複数のワークのうち1つのワークW1に対して第2ステージ動作を経て測定が完了すると、コントローラ60は、次のワークの測定に移行する。次のワークはW2である。コントローラ60は、ワークW2の座標位置に向けて可動ステージ12を移動させ、ワークW2について、ワークW2を探索するための第一ステージ動作を実行する。されに、コントローラ60は、ワークW2の全体(輪郭)を探索するための第二ステージ動作を経て、ワークW2の測定を行う。以下同様にして、コントローラ60は、ワークW3、W4...W8の測定を行う。
Here, the case where the coordinate positions are measured in order of works W1, W2, W3, . . . W8 will be described. The
このようにして、俯瞰カメラ17R、17Lを用いて、ワークW1~W8の測定を一括して実行することが可能となる。
In this way, it is possible to collectively measure the workpieces W1 to W8 using the
なお、ワークW1に到着した後に、ワークW1について、ワークW1を探索するための第一ステージ動作を実行せずに、コントローラ60は、ワークW1の全体(輪郭)を探索するための第二ステージ動作を実行してもよい。これは探索動作を行わなくともワークWがすでに見つかっているからである。たとえば、コントローラ60は、ワークW1がすでに見つかっている場合、第一ステージ動作を省略して第二ステージ動作を実行してもよい。
After arriving at the work W1, the
また、ワーク判定部63は、予め決められたルールまたは、ユーザの入力に従い、各ワークW1~W8の座標位置を測定するものとして説明されたが、これは一例にすぎない。ワーク判定部63は、その都度(たとえば、各ワークW1~W8の座標位置において)、移動距離が最短になるように移動ルートを算出して、各ワークW1~W8の座標位置を測定しもよい。たとえば、ワーク判定部63は、あるワークWの座標位置を測定すると、そのワークWに対して最短距離にある他のワークWであって、まだ座標位置を測定されていない他のワークWを次の測定対象に決定してもよい。
Also, although the
<まとめ>
可動ステージ12はワークWが載置されるステージの一例である。カメラ110はステージ上における撮像視野内の画像を生成する撮像手段の一例である。ステージ駆動部101は撮像手段に対してXY方向に相対的にステージを移動させることで、ステージ上の撮像視野を切り替える駆動手段の一例である。なお、ステージ駆動部101はカメラ110、120を可動ステージ12に対して移動させてもよいし、可動ステージ12をカメラ110、120に対して移動してもよい。ワーク判定部63は撮像手段により生成された画像にワークが含まれるかを判定する判定手段の一例である。コントローラ60や測定制御部62は撮像手段、駆動手段および判定手段を制御する制御手段の一例である。S800に関して説明されたように測定制御部62は判定手段により画像にワークWが含まれないと判定された場合、予め定められたシーケンスに従って駆動手段を制御することでステージを移動させながら撮像手段に各撮像視野における画像を生成させ、各画像にワークが含まれるかを判定手段に判定させるワーク探索処理を繰り返す第一ステージ動作を実行する。S810に関して説明されたように測定制御部62は判定手段により画像にワークWが含まれると判定された場合、当該画像が取得されたステージ上の撮像視野の周囲に位置する複数の撮像視野のうち、ワークWが延出する方向に位置する一つ以上の撮像視野内の画像を撮像手段に生成させるよう駆動手段にステージを移動させる第二ステージ動作を実行する。測定制御部62は第一ステージ動作においてワークWを含む画像が見つかった場合、第一ステージ動作から第二ステージ動作に切り替える。画像連結部64は第二ステージ動作において生成された複数の画像を連結し、ワークWの全体を含む連結画像を生成する画像連結手段の一例である。このように、本発明によれば、カメラ110、120の撮像倍率が高く、カメラ110、120の撮像視野内にワークWが収まらないケースにおいて特に有用である。本発明によれば、カメラ110により取得された画像からワークWが検出され、ワークWに基づきワークWの全体を含む連結画像42が生成される。よって、画像測定装置1のユーザビリティがさらに改善する。
<Summary>
The
測定制御部62は、第一ステージ動作においてワークWを含む画像が見つかった場合、当該画像に基づいて撮像手段の撮像条件を調整し、第二ステージ動作において当該調整された撮像条件を使用してもよい。これによりワークWを抽出しやすくなるため、ワークWの全体をカバーする画像を生成しやすくなろう。
When an image including the workpiece W is found in the first stage operation, the
測定制御部62は、判定手段により、撮像視野内にワークの少なくとも一部が含まれないと判定された場合には、撮像手段の撮像条件に従って、所定のシーケンスに従って連結画像の生成を続けてもよい。たとえば、第一ステージ動作においてワークWがはじめて見つかるまではデフォルトの撮像条件が継続的に使用されてもよい。撮像条件は、撮像手段の光学系の合焦位置、光学倍率、絞り条件、照明条件および露光時間の少なくとも一つを含んでもよい。ワークWに対する合焦位置は、たとえば、可動ステージ12をカメラ110、120に対してZ方向に移動させることで、変更されてもよい。
If the determining means determines that at least a part of the work is not included in the imaging field of view, the
測定制御部62は、ワークWの測定箇所を設定する設定モードと、当該設定モードにより設定された測定箇所に対して測定をおこなう測定モードとを有してもよい。画像連結部64は、設定モードにおいて連結画像42を生成してもよい。これによりユーザは連結画像42を用いてワークWの全体を確認しながら各種の設定をしやすくなろう。
The
透過照明150は透光性を有するステージの下方からワークWに光を照射する透過照明の一例である。同軸落射照明130はステージの上方からワークに光を照射する落射照明の一例である。画像連結部64は、落射照明により光を照射されたワークWの画像を連結することで連結画像42を生成してもよい。落射照明はワークWの表面の模様などをユーザが目視するのに役立つ。ワーク判定部63は、透過照明により光を照射されたワークWの画像にワークWが含まれるかを判定してもよい。透過照明はワークWのエッジを強調することに役立つ。
The transmitted
ディスプレイ装置11は、設定モードにおいて、連結画像42を表示する表示手段の一例である。操作部30は表示手段に表示された連結画像42に含まれているワークWに対して測定箇所となるエッジ抽出領域と画像の撮像条件の指定を受け付ける受付手段として機能してもよい。カメラ110の撮像条件とカメラ120の撮像条件とが異なっているため、撮像条件の指定は、カメラ110とカメラ120とのいずれかを指定することであってもよい。設定部61は、受付手段により受け付けられた撮像条件に基づき、測定箇所となるエッジを抽出するために必要となる画像の枚数を設定する設定手段として機能してもよい。
The
サーチ部66は、測定モードにおいて、連結画像42に対してパターンサーチを実行することで設定モードにおいて設定された測定箇所のステージ座標を特定してもよい。測定制御部62は、サーチ部66により特定されたステージ座標で、設定モードにおいて当該測定箇所に設定された撮像条件を使用して、当該測定箇所を撮像手段に再度撮像させてもよい。測定部67およびワーク判定部63は、当該再度撮像して生成された画像を用いて測定箇所のエッジを抽出してもよい。
The
ワーク判定部63は、画像における輝度値に基づき、ワークWの境界部をエッジとして判定してもよい。つまり、ワークWの輪郭がエッジとして抽出されてもよい。
The
記憶装置70はステージにおける各撮像視野のステージ座標に関する情報を記憶する記憶手段の一例である。測定制御部62は、第一ステージ動作において見つかったワークWの少なくとも一部を含む画像の撮像視野のステージ座標と、当該ワークWが延出する方向に関する情報と、記憶手段に記憶されている各撮像視野のステージ座標(例:グリッドの座標)に関する情報とに基づき、第二ステージ動作におけるステージの移動方向を決定してもよい。
The
測定制御部62は、第二ステージ動作において撮像手段による画像の生成と駆動手段によるステージの移動と並行して画像連結手段に連結画像を生成させてもよい。測定制御部62は、第二ステージ動作において撮像手段による複数の画像の生成が完了した後で画像連結手段に連結画像を生成させてもよい。
In the second stage operation, the
測定用のカメラ110、120は、ステージ上に載置されたワークを撮像し、ワーク画像を生成する第一カメラの一例である。俯瞰カメラ17は第一カメラの撮像視野よりも広い撮像視野を有し、ステージ上に載置されたワークを撮像し、俯瞰画像を生成する第二カメラの一例である。ワーク判定部63は俯瞰画像に基づいてステージ上におけるワークWの位置を検出する検出手段の一例である。ステージ駆動部101は第一カメラに対してXY方向に相対的にステージを移動させる駆動手段の一例である。測定制御部62は検出手段により俯瞰画像から検出されたワークWの位置に基づき第一カメラの撮像視野内またはその近傍にワークが位置するよう駆動手段を制御し、第一カメラに当該ワークを撮像させてワーク画像を生成させる。なお、第一カメラの撮像視野内またはその近傍にワークWが位置するとは、撮像視野内にワークWの全体もしくは少なくとも一部が収まることを意味する。なお、撮像視野内にワークWが位置していないものの、撮像視野内の近くにワークWが位置していてもよい。サーチ部66は、第一カメラにより生成されたワーク画像におけるワークの詳細位置と姿勢を特定する特定手段の一例である。測定部67は、特定手段により特定されたワークWの詳細位置と姿勢に基づいて、ワーク画像におけるワークWの検査箇所を決定し、所定の検査処理を実行する検査手段の一例である。測定箇所の指定領域1101a、1101bは検査箇所の一例である。このように俯瞰画像を用いてワークWの位置が求められるため、ワークWの位置がより短時間で決定される。たとえば、ワークWが可動ステージ12の中央に載置されていなくても、ワークWの位置が短時間で決定可能となる。また、可動ステージ12上に複数のワークWが載置されている場合、各ワークWの位置が短時間で決定可能となる。
The
座標変換部68は、第二カメラの座標系における座標を第一カメラの座標系における座標に変換する座標変換手段の一例である。座標変換部68は、検出手段により俯瞰画像から検出されたワークの位置の座標を、第一カメラの座標系における座標に変換してもよい。測定制御部62は、座標変換部68により取得された第一カメラの座標系におけるワークの位置に基づき駆動手段を制御してもよい。
The coordinate
図3が示すように、ステージ側から見て、第二カメラは、一つ以上の俯瞰カメラを有し、第一カメラの周辺部に設けられていてもよい。また、第二カメラは、第一俯瞰カメラと第二俯瞰カメラとを有していてもよい。ステージ側から見て、第一カメラは、第一俯瞰カメラと第二俯瞰カメラとの間に設けられていてもよい。さらに、第一俯瞰カメラの撮像視野と第二俯瞰カメラの撮像視野とは異なっていてもよい。記憶装置70は、画像検査装置に対する第一俯瞰カメラの取り付け位置と取り付け姿勢に関する情報と、画像検査装置に対する第二俯瞰カメラの取り付け位置と取り付け姿勢に関する情報とを記憶する記憶手段として機能してもよい。このような情報は校正情報72として記憶装置70に保持されていてもよい。校正部69は、第一俯瞰カメラの取り付け位置と取り付け姿勢に関する情報に基づき第一俯瞰カメラの座標系を校正し、第二俯瞰カメラの取り付け位置と取り付け姿勢に関する情報に基づき第二俯瞰カメラの座標系を校正する校正手段の一例である。
As shown in FIG. 3, when viewed from the stage side, the second camera may have one or more bird's-eye cameras and may be provided in the periphery of the first camera. Also, the second camera may have a first bird's-eye camera and a second bird's-eye camera. When viewed from the stage side, the first camera may be provided between the first bird's-eye camera and the second bird's-eye camera. Furthermore, the field of view of the first bird's-eye camera and the field of view of the second bird's-eye camera may be different. The
俯瞰画像生成部65は、第一俯瞰カメラにより取得された画像と第二俯瞰カメラにより取得された画像とを連結することでステージの全体を含む俯瞰画像を生成する生成手段の一例である。 The bird's-eye view image generation unit 65 is an example of generating means for generating a bird's-eye view image including the entire stage by connecting the image acquired by the first bird's-eye camera and the image acquired by the second bird's-eye camera.
測定制御部62は、第一俯瞰カメラにより取得された画像と第二俯瞰カメラにより取得された画像とを連結することでステージの全体を含む俯瞰画像が生成されるように、駆動手段を制御する。これにより、第一俯瞰カメラおよび第二俯瞰カメラに対してステージが相対的に移動する。
The
第二カメラのテレセントリック性は第一カメラのテレセントリック性よりも低くてもよい。つまり、第二カメラは俯瞰画像の作成に有利であってもよい。第一カメラはワークWの測定に有利であってもよい。 The telecentricity of the second camera may be less than the telecentricity of the first camera. In other words, the second camera may be advantageous in creating a bird's-eye view image. The first camera may be advantageous for measuring the workpiece W.
図3を用いて、2つの俯瞰カメラを用いて俯瞰画像を作成する方法が説明された。しかし、1つの俯瞰カメラを用いて俯瞰画像を作成することも可能である。この場合、俯瞰カメラに用いられる光学系として広角のレンズが採用される。 A method of creating a bird's-eye view image using two bird's-eye cameras has been described with reference to FIG. However, it is also possible to create a bird's-eye view image using one bird's-eye camera. In this case, a wide-angle lens is adopted as an optical system used for the bird's-eye view camera.
図4を用いて説明された俯瞰画像の作成方法では、俯瞰カメラ17Lの撮像軸と俯瞰カメラ17Rの撮像軸との中心と、可動ステージ12の中心とが一致するように可動ステージ12が移動し、俯瞰カメラ17L、17Rが撮像を実行する。俯瞰画像の作成方法はこれに限定されることはない。
・図12(A)が示すように、コントローラ60は可動ステージ12を移動させる。
・図12(B)が示すように、コントローラ60は俯瞰カメラ12Rに撮像を実行させることで、部分的な俯瞰画像41aを取得する。
・図12(C)が示すように、コントローラ60は可動ステージ12を左方向に移動させ、俯瞰カメラ12Lに撮像を実行させることで、部分的な俯瞰画像41bを取得する。
・図12(D)が示すようにコントローラ60は俯瞰画像41aと俯瞰画像41bとを合成することで可動ステージ12の全体を示す俯瞰画像41dを生成する。
In the bird's-eye image creation method described with reference to FIG. 4, the
- As shown in FIG. 12A, the
- As shown in FIG. 12B, the
- As shown in FIG. 12(C), the
- As shown in FIG. 12D, the
上述したように俯瞰カメラ17L、17Rの光学系は広角レンズを採用しているため、撮像視野の中心部と比較して撮像視野の周辺部では歪曲が大きくなる。そこで、俯瞰カメラ17L、17Rの撮像視野の中心部付近のみから俯瞰顔図が生成されてもよい。
・図13(A)が示すように、コントローラ60は可動ステージ12を移動させ、俯瞰カメラ12Rに撮像を実行させることで、部分的な俯瞰画像41aを取得する。
・図13(B)が示すように、コントローラ60は可動ステージ12を左方向に移動させ、俯瞰カメラ12Rに撮像を実行させることで、部分的な俯瞰画像41bを取得する。
・図13(C)が示すように、コントローラ60は可動ステージ12を左方向に移動させ、俯瞰カメラ12Lに撮像を実行させることで、部分的な俯瞰画像41cを取得する。
・図13(D)が示すように、コントローラ60は可動ステージ12を左方向に移動させ、俯瞰カメラ12Lに撮像を実行させることで、部分的な俯瞰画像41eを取得する。
・図13(E)が示すように、コントローラ60は可動ステージ12を左方向に移動させ、俯瞰カメラ12Lに撮像を実行させることで、部分的な俯瞰画像41fを取得する。
・図13(F)が示すようにコントローラ60は俯瞰画像41a、41b、41c、41d、41e、41fを合成することで可動ステージ12の全体を示す俯瞰画像41dを生成する。
As described above, the optical systems of the bird's-
- As shown in FIG. 13A, the
- As shown in FIG. 13B, the
- As shown in FIG. 13(C), the
- As shown in FIG. 13D, the
- As shown in FIG. 13(E), the
- As shown in FIG. 13F, the
Claims (12)
前記ステージ上の撮像視野内の画像を生成する撮像手段と、
前記撮像手段に対してXY方向に相対的に前記ステージを移動させることで、前記ステージ上の撮像視野を切り替える駆動手段と、
前記撮像手段により生成された画像に前記ワークが含まれるかを判定する判定手段と、
前記撮像手段、前記駆動手段および前記判定手段を制御する制御手段であって、
前記判定手段により前記画像に前記ワークが含まれないと判定された場合、予め定められたシーケンスに従って前記駆動手段を制御することで前記ステージを移動させながら前記撮像手段に各撮像視野における画像を生成させ、各画像に前記ワークが含まれるかを前記判定手段に判定させるワーク探索処理を繰り返す第一ステージ動作を実行し、
前記判定手段により前記画像に前記ワークが含まれると判定された場合、当該画像が取得された前記ステージ上の撮像視野の周囲に位置する複数の撮像視野のうち、前記ワークが延出する方向に位置する一つ以上の撮像視野内の画像を前記撮像手段に生成させるよう前記駆動手段に前記ステージを移動させる第二ステージ動作を実行し、
前記第一ステージ動作において前記ワークを含む画像が見つかった場合、前記第一ステージ動作から前記第二ステージ動作に切り替える制御手段と、
前記第二ステージ動作において生成された複数の画像を連結し、前記ワークの全体を含む連結画像を生成する画像連結手段と、
連結画像を表示する表示手段とを有し、
前記判定手段により、前記撮像視野内にワークの少なくとも一部が含まれないと判定された場合には、前記撮像手段の撮像条件に従って、所定のシーケンスに従って連結画像の生成を続けることを特徴とする画像測定装置。 a stage on which the workpiece is placed;
imaging means for generating an image within an imaging field of view on the stage;
driving means for switching an imaging field of view on the stage by moving the stage relative to the imaging means in the XY directions;
determination means for determining whether the image generated by the imaging means includes the workpiece;
Control means for controlling the imaging means, the driving means and the determination means,
When the determining means determines that the image does not include the workpiece, the driving means is controlled in accordance with a predetermined sequence to move the stage while the imaging means generates an image in each imaging field of view. and performing a first stage operation of repeating work search processing for causing the determination means to determine whether the work is included in each image,
When the determining means determines that the work is included in the image, one of a plurality of imaging fields located around the imaging field of view on the stage from which the image was acquired is located in the direction in which the work extends. performing a second stage operation that causes the drive means to move the stage to cause the imaging means to generate an image within one or more imaging fields located;
control means for switching from the first stage operation to the second stage operation when an image including the workpiece is found in the first stage operation;
image connecting means for connecting a plurality of images generated in the second stage operation to generate a connected image including the entire workpiece;
and display means for displaying the connected image,
When the determining means determines that at least a part of the work is not included in the imaging field of view, the generation of the connected image is continued according to a predetermined sequence according to the imaging conditions of the imaging means. image measuring device.
前記ステージ上の撮像視野内の画像を生成する撮像手段と、 imaging means for generating an image within an imaging field of view on the stage;
前記撮像手段に対してXY方向に相対的に前記ステージを移動させることで、前記ステージ上の撮像視野を切り替える駆動手段と、 driving means for switching an imaging field of view on the stage by moving the stage relative to the imaging means in the XY directions;
前記撮像手段により生成された画像に前記ワークが含まれるかを判定する判定手段と、 determination means for determining whether the image generated by the imaging means includes the workpiece;
前記撮像手段、前記駆動手段および前記判定手段を制御する制御手段であって、 Control means for controlling the imaging means, the driving means and the determination means,
前記判定手段により前記画像に前記ワークが含まれないと判定された場合、予め定められたシーケンスに従って前記駆動手段を制御することで前記ステージを移動させながら前記撮像手段に各撮像視野における画像を生成させ、各画像に前記ワークが含まれるかを前記判定手段に判定させるワーク探索処理を繰り返す第一ステージ動作を実行し、 When the determining means determines that the image does not include the workpiece, the driving means is controlled in accordance with a predetermined sequence to move the stage while the imaging means generates an image in each imaging field of view. and performing a first stage operation of repeating work search processing for causing the determination means to determine whether the work is included in each image,
前記判定手段により前記画像に前記ワークが含まれると判定された場合、当該画像が取得された前記ステージ上の撮像視野の周囲に位置する複数の撮像視野のうち、前記ワークが延出する方向に位置する一つ以上の撮像視野内の画像を前記撮像手段に生成させるよう前記駆動手段に前記ステージを移動させる第二ステージ動作を実行し、 When the determining means determines that the work is included in the image, one of a plurality of imaging fields located around the imaging field of view on the stage from which the image was acquired is located in the direction in which the work extends. performing a second stage operation that causes the drive means to move the stage to cause the imaging means to generate an image within one or more imaging fields located;
前記第一ステージ動作において前記ワークを含む画像が見つかった場合、前記第一ステージ動作から前記第二ステージ動作に切り替える制御手段と、 control means for switching from the first stage operation to the second stage operation when an image including the workpiece is found in the first stage operation;
前記第二ステージ動作において生成された複数の画像を連結し、前記ワークの全体を含む連結画像を生成する画像連結手段と、 image connecting means for connecting a plurality of images generated in the second stage operation to generate a connected image including the entire workpiece;
連結画像を表示する表示手段とを有し、 and display means for displaying the connected image,
前記制御手段は、 The control means is
前記ワークの測定箇所を設定する設定モードと、当該設定モードにより設定された測定箇所に対して測定をおこなう測定モードとを有し、 Having a setting mode for setting the measurement points of the workpiece and a measurement mode for performing measurement on the measurement points set by the setting mode,
前記測定モードにおいて、前記連結画像に対してパターンサーチを実行することで前記設定モードにおいて設定された測定箇所のステージ座標を特定し、当該ステージ座標において、前記設定モードにおいて当該測定箇所に設定された撮像条件を使用して、当該測定箇所を前記撮像手段に再度撮像させ、当該再度撮像して生成された画像を用いて前記測定箇所のエッジを抽出することを特徴する画像測定装置。 In the measurement mode, the stage coordinates of the measurement point set in the setting mode are specified by performing a pattern search on the connected image, and the stage coordinates of the measurement point set in the setting mode are specified. 1. An image measuring apparatus, characterized in that, using imaging conditions, the imaging means re-images the measurement location, and an image generated by the re-imaging is used to extract an edge of the measurement location.
前記ステージ上の撮像視野内の画像を生成する撮像手段と、 imaging means for generating an image within an imaging field of view on the stage;
前記撮像手段に対してXY方向に相対的に前記ステージを移動させることで、前記ステージ上の撮像視野を切り替える駆動手段と、 driving means for switching an imaging field of view on the stage by moving the stage relative to the imaging means in the XY directions;
前記撮像手段により生成された画像に前記ワークが含まれるかを判定する判定手段と、 determination means for determining whether the image generated by the imaging means includes the workpiece;
前記撮像手段、前記駆動手段および前記判定手段を制御する制御手段であって、 Control means for controlling the imaging means, the driving means and the determination means,
前記判定手段により前記画像に前記ワークが含まれないと判定された場合、予め定められたシーケンスに従って前記駆動手段を制御することで前記ステージを移動させながら前記撮像手段に各撮像視野における画像を生成させ、各画像に前記ワークが含まれるかを前記判定手段に判定させるワーク探索処理を繰り返す第一ステージ動作を実行し、 When the determining means determines that the image does not include the workpiece, the driving means is controlled in accordance with a predetermined sequence to move the stage while the imaging means generates an image in each imaging field of view. and performing a first stage operation of repeating work search processing for causing the determination means to determine whether the work is included in each image,
前記判定手段により前記画像に前記ワークが含まれると判定された場合、当該画像が取得された前記ステージ上の撮像視野の周囲に位置する複数の撮像視野のうち、前記ワークが延出する方向に位置する一つ以上の撮像視野内の画像を前記撮像手段に生成させるよう前記駆動手段に前記ステージを移動させる第二ステージ動作を実行し、 When the determining means determines that the work is included in the image, one of a plurality of imaging fields located around the imaging field of view on the stage from which the image was acquired is located in the direction in which the work extends. performing a second stage operation that causes the drive means to move the stage to cause the imaging means to generate an image within one or more imaging fields located;
前記第一ステージ動作において前記ワークを含む画像が見つかった場合、前記第一ステージ動作から前記第二ステージ動作に切り替える制御手段と、 control means for switching from the first stage operation to the second stage operation when an image including the workpiece is found in the first stage operation;
前記第二ステージ動作において生成された複数の画像を連結し、前記ワークの全体を含む連結画像を生成する画像連結手段と、 image connecting means for connecting a plurality of images generated in the second stage operation to generate a connected image including the entire workpiece;
連結画像を表示する表示手段とを有し、 and display means for displaying the connected image,
前記ステージにおける各撮像視野のステージ座標に関する情報を記憶する記憶手段をさらに有し、 further comprising storage means for storing information about the stage coordinates of each imaging field of view on the stage;
前記制御手段は、前記第一ステージ動作において見つかった前記ワークの少なくとも一部を含む画像の撮像視野のステージ座標と、当該ワークが延出する方向に関する情報と、前記記憶手段に記憶されている各撮像視野のステージ座標に関する情報とに基づき、前記第二ステージ動作における前記ステージの移動方向を決定することを特徴とする画像測定装置。 The control means controls stage coordinates of an imaging field of view of an image containing at least a part of the work found in the first stage operation, information about the direction in which the work extends, and each stored in the storage means. and information about stage coordinates in an imaging field of view.
前記画像連結手段は、前記設定モードにおいて前記連結画像を生成することを特徴とする請求項1または4に記載の画像測定装置。 The control means has a setting mode for setting the measurement point of the workpiece and a measurement mode for performing measurement on the measurement point set by the setting mode,
5. The image measuring apparatus according to claim 1 , wherein said image connecting means generates said connected image in said setting mode.
前記ステージの上方から前記ワークに光を照射する落射照明と、をさらに有し、
前記画像連結手段は、前記落射照明により光を照射された前記ワークの画像を連結することで前記連結画像を生成し、
前記判定手段は、前記透過照明により光を照射された前記ワークの画像に前記ワークが含まれるかを判定することを特徴とする請求項1乃至6のいずれか一項に記載の画像測定装置。 Transmissive lighting for irradiating the workpiece with light from below the translucent stage;
and an epi-illumination that irradiates the workpiece with light from above the stage,
The image connecting means generates the connected image by connecting the images of the workpiece illuminated by the epi-illumination,
7. The image measuring apparatus according to any one of claims 1 to 6 , wherein the determining means determines whether the workpiece is included in the image of the workpiece illuminated by the transmitted illumination.
前記受付手段により受け付けられた撮像条件に基づき、前記測定箇所となるエッジを抽出するために必要となる画像の枚数を設定する設定手段とをさらに有することを特徴とする請求項3または6に記載の画像測定装置。 receiving means for receiving designation of an edge extraction region to be a measurement point for the workpiece included in the connected image displayed on the display means in the setting mode and imaging conditions for the image;
7. The apparatus according to claim 3 , further comprising setting means for setting the number of images required for extracting the edge serving as the measurement location based on the imaging conditions received by said receiving means. image measuring device.
前記制御手段は、前記第一ステージ動作において見つかった前記ワークの少なくとも一部を含む画像の撮像視野のステージ座標と、当該ワークが延出する方向に関する情報と、前記記憶手段に記憶されている各撮像視野のステージ座標に関する情報とに基づき、前記第二ステージ動作における前記ステージの移動方向を決定することを特徴とする請求項1、2、3および5のいずれか一項に記載の画像測定装置。 further comprising storage means for storing information about the stage coordinates of each imaging field of view on the stage;
The control means controls stage coordinates of an imaging field of view of an image containing at least a part of the work found in the first stage operation, information about the direction in which the work extends, and each stored in the storage means. 6. The image measuring apparatus according to any one of claims 1 , 2, 3 and 5 , wherein the moving direction of the stage in the operation of the second stage is determined based on the information about the stage coordinates of the imaging field of view. .
前記ステージ上の撮像視野内の画像を生成する撮像手段と、
前記撮像手段に対してXY方向に相対的に前記ステージを移動させることで、前記ステージ上の撮像視野を切り替える駆動手段と、を有する画像測定装置の制御方法であって、
前記撮像手段により生成された画像にワークが含まれないと判定された場合、予め定められたシーケンスに従って前記駆動手段を制御することで前記ステージを移動させながら前記撮像手段に各撮像視野における画像を生成させ、各画像に前記ワークが含まれるかを判定するワーク探索処理を繰り返す第一ステージ動作を実行することと、
前記撮像手段により生成された画像に前記ワークが含まれると判定された場合、当該画像が取得された前記ステージ上の撮像視野の周囲に位置する複数の撮像視野のうち、前記ワークが延出する方向に位置する一つ以上の撮像視野内の画像を前記撮像手段に生成させるよう前記駆動手段に前記ステージを移動させる第二ステージ動作を実行することと、
前記第一ステージ動作において前記ワークを含む画像が見つかった場合、前記第一ステージ動作から前記第二ステージ動作に切り替えることと、
前記第二ステージ動作において生成された複数の画像を連結し、前記ワークの全体を含む連結画像を生成することと、
連結画像を表示することとを有し、
前記撮像視野内にワークの少なくとも一部が含まれないと判定された場合には、前記撮像手段の撮像条件に従って、所定のシーケンスに従って連結画像の生成を続けることを特徴とする画像測定装置の制御方法。 a stage on which the workpiece is placed;
imaging means for generating an image within an imaging field of view on the stage;
A control method for an image measuring apparatus comprising driving means for switching an imaging field of view on the stage by moving the stage relative to the imaging means in the XY directions, the method comprising:
When it is determined that the image generated by the imaging means does not include the workpiece, the stage is moved by controlling the driving means according to a predetermined sequence to cause the imaging means to capture an image in each imaging field of view. generating and executing a first stage operation of repeating a work search process for determining whether each image includes the work;
When it is determined that the work is included in the image generated by the imaging means, the work extends out of a plurality of imaging fields positioned around the imaging field of view on the stage where the image was acquired. performing a second stage operation that causes the drive means to move the stage to cause the imaging means to generate an image within one or more imaging fields located in a direction;
switching from the first stage operation to the second stage operation when an image including the workpiece is found in the first stage operation;
concatenating a plurality of images generated in the second stage operation to generate a concatenated image including the entire workpiece;
displaying a concatenated image;
wherein, when it is determined that at least a part of the work is not included in the field of view of the image pickup, generation of the connected image is continued according to a predetermined sequence according to the image pickup conditions of the image pickup means. control method.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018162780A JP7152223B2 (en) | 2018-08-31 | 2018-08-31 | Image measuring device |
US16/527,078 US11024049B2 (en) | 2018-08-31 | 2019-07-31 | Image measurement apparatus |
DE102019212960.9A DE102019212960A1 (en) | 2018-08-31 | 2019-08-29 | IMAGE MEASURING DEVICE |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018162780A JP7152223B2 (en) | 2018-08-31 | 2018-08-31 | Image measuring device |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020034483A JP2020034483A (en) | 2020-03-05 |
JP2020034483A5 JP2020034483A5 (en) | 2021-05-13 |
JP7152223B2 true JP7152223B2 (en) | 2022-10-12 |
Family
ID=69527475
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018162780A Active JP7152223B2 (en) | 2018-08-31 | 2018-08-31 | Image measuring device |
Country Status (3)
Country | Link |
---|---|
US (1) | US11024049B2 (en) |
JP (1) | JP7152223B2 (en) |
DE (1) | DE102019212960A1 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7222764B2 (en) | 2019-03-18 | 2023-02-15 | 株式会社キーエンス | Image measuring device |
JP7252018B2 (en) | 2019-03-18 | 2023-04-04 | 株式会社キーエンス | Image measuring device |
JPWO2022014247A1 (en) * | 2020-07-15 | 2022-01-20 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013171425A (en) | 2012-02-21 | 2013-09-02 | Mitsutoyo Corp | Image processing device |
US20140160492A1 (en) | 2012-12-06 | 2014-06-12 | Kui Kam Lam | Apparatus and method for locating a plurality of placement positions on a carrier object |
WO2015102057A1 (en) | 2014-01-06 | 2015-07-09 | 富士通株式会社 | Image processing method, image processing system, and program |
JP2017053671A (en) | 2015-09-08 | 2017-03-16 | キヤノン株式会社 | Shape measurement method |
WO2017073344A1 (en) | 2015-10-27 | 2017-05-04 | 富士フイルム株式会社 | Image capturing system, and object detecting device and method of operating same |
JP2018101437A (en) | 2015-09-11 | 2018-06-28 | 富士フイルム株式会社 | Travel support device, travel support method by travel support device, and program |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5095644B2 (en) | 2009-01-23 | 2012-12-12 | 株式会社キーエンス | Image measuring apparatus and computer program |
JP5597056B2 (en) | 2010-08-02 | 2014-10-01 | 株式会社キーエンス | Image measuring apparatus, image measuring method, and program for image measuring apparatus |
US10176452B2 (en) * | 2014-06-13 | 2019-01-08 | Conduent Business Services Llc | Store shelf imaging system and method |
JP6474334B2 (en) * | 2015-07-30 | 2019-02-27 | 株式会社キーエンス | Image inspection apparatus, image inspection method, and image inspection program |
JP6663807B2 (en) | 2016-07-04 | 2020-03-13 | 株式会社キーエンス | Image measuring device |
JP6663808B2 (en) * | 2016-07-04 | 2020-03-13 | 株式会社キーエンス | Image measuring device |
JP6522181B2 (en) | 2018-02-09 | 2019-05-29 | 株式会社キーエンス | Image measuring instrument |
-
2018
- 2018-08-31 JP JP2018162780A patent/JP7152223B2/en active Active
-
2019
- 2019-07-31 US US16/527,078 patent/US11024049B2/en active Active
- 2019-08-29 DE DE102019212960.9A patent/DE102019212960A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013171425A (en) | 2012-02-21 | 2013-09-02 | Mitsutoyo Corp | Image processing device |
US20140160492A1 (en) | 2012-12-06 | 2014-06-12 | Kui Kam Lam | Apparatus and method for locating a plurality of placement positions on a carrier object |
WO2015102057A1 (en) | 2014-01-06 | 2015-07-09 | 富士通株式会社 | Image processing method, image processing system, and program |
JP2017053671A (en) | 2015-09-08 | 2017-03-16 | キヤノン株式会社 | Shape measurement method |
JP2018101437A (en) | 2015-09-11 | 2018-06-28 | 富士フイルム株式会社 | Travel support device, travel support method by travel support device, and program |
WO2017073344A1 (en) | 2015-10-27 | 2017-05-04 | 富士フイルム株式会社 | Image capturing system, and object detecting device and method of operating same |
Also Published As
Publication number | Publication date |
---|---|
JP2020034483A (en) | 2020-03-05 |
US20200074663A1 (en) | 2020-03-05 |
DE102019212960A1 (en) | 2020-03-05 |
US11024049B2 (en) | 2021-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5547105B2 (en) | Dimension measuring apparatus, dimension measuring method and program for dimension measuring apparatus | |
US9341465B2 (en) | Dimension measuring apparatus, dimension measuring method, and program for dimension measuring apparatus | |
US10262431B2 (en) | Three-dimensional measurement device | |
JP7152223B2 (en) | Image measuring device | |
JP7154069B2 (en) | Image inspection device | |
US9772480B2 (en) | Image measurement device | |
JP6791631B2 (en) | Image generation method and inspection equipment | |
JP4090860B2 (en) | 3D shape measuring device | |
JP2018081115A (en) | Image measurement instrument | |
JP7093915B2 (en) | Surface shape measurement method | |
US11776110B2 (en) | Image measuring apparatus | |
JP6290651B2 (en) | Image measuring instrument | |
US10846881B2 (en) | Image measuring apparatus | |
JP7154084B2 (en) | Three-dimensional shape measuring device and three-dimensional shape measuring program | |
JP6722522B2 (en) | Three-dimensional measuring device and control method thereof | |
CN110945398A (en) | Digitally determining the position of the focus | |
JP6524680B2 (en) | Imaging system, method of acquiring distance information, and method of producing distance information | |
CN114543697A (en) | Measuring apparatus, control apparatus, and control method | |
JP7222765B2 (en) | Image measuring device | |
JP2021051090A (en) | Method for measuring surface shape | |
JP6928803B2 (en) | Imaging device | |
CN115150545B (en) | Measurement system for acquiring three-dimensional measurement points | |
JPH11271033A (en) | Imaging apparatus for three-dimensional shape object | |
JP7240913B2 (en) | Image measuring device | |
JP2020030338A (en) | Image processing system, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20210113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210329 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210329 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220328 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220520 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220929 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7152223 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |