JP7152223B2 - 画像測定装置 - Google Patents

画像測定装置 Download PDF

Info

Publication number
JP7152223B2
JP7152223B2 JP2018162780A JP2018162780A JP7152223B2 JP 7152223 B2 JP7152223 B2 JP 7152223B2 JP 2018162780 A JP2018162780 A JP 2018162780A JP 2018162780 A JP2018162780 A JP 2018162780A JP 7152223 B2 JP7152223 B2 JP 7152223B2
Authority
JP
Japan
Prior art keywords
image
stage
imaging
workpiece
work
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018162780A
Other languages
English (en)
Other versions
JP2020034483A5 (ja
JP2020034483A (ja
Inventor
正 橋本
健吾 柳瀬
崇志 成瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyence Corp filed Critical Keyence Corp
Priority to JP2018162780A priority Critical patent/JP7152223B2/ja
Priority to US16/527,078 priority patent/US11024049B2/en
Priority to DE102019212960.9A priority patent/DE102019212960A1/de
Publication of JP2020034483A publication Critical patent/JP2020034483A/ja
Publication of JP2020034483A5 publication Critical patent/JP2020034483A5/ja
Application granted granted Critical
Publication of JP7152223B2 publication Critical patent/JP7152223B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/20Linear translation of a whole image or part thereof, e.g. panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Description

本発明はワークを撮像してワークを測定する画像測定装置に関する。
工場で製造された製品(ワーク)の所定箇所の寸法を測定することで、ワークが良品かどうかを検査する画像検査装置(画像測定装置)は、検査担当者の検査負担を大幅に軽減する。特許文献1によれば高倍率カメラと低倍率カメラとを有する画像測定装置が提案されている。
特開2018-081115号公報
ところで、画像測定装置に搭載される二つのカメラの倍率をさらに高くすることで、より小さなワークや、ワーク内のより小さな測定箇所も測定可能となる。その一方で、二つのカメラのうち相対的に低倍率のカメラであっても一つの画像内にワークの全体を収めることができなくなる。一般にワークに対して測定箇所を設定するにはワークの全体を示す画像を表示することで、ユーザは測定箇所を正確に設定できるようになる。よって、カメラの高倍率化は測定箇所の設定に関するユーザビリティを低下させかねない。そこで、本発明は、画像測定装置のユーザビリティをさらに改善することを目的とする。
本発明は、たとえば、
ワークが載置されるステージと、
前記ステージ上の撮像視野内の画像を生成する撮像手段と、
前記撮像手段に対してXY方向に相対的に前記ステージを移動させることで、前記ステージ上の撮像視野を切り替える駆動手段と、
前記撮像手段により生成された画像に前記ワークが含まれるかを判定する判定手段と、
前記撮像手段、前記駆動手段および前記判定手段を制御する制御手段であって、
前記判定手段により前記画像に前記ワークが含まれないと判定された場合、予め定められたシーケンスに従って前記駆動手段を制御することで前記ステージを移動させながら前記撮像手段に各撮像視野における画像を生成させ、各画像に前記ワークが含まれるかを前記判定手段に判定させるワーク探索処理を繰り返す第一ステージ動作を実行し、
前記判定手段により前記画像に前記ワークが含まれると判定された場合、当該画像が取得された前記ステージ上の撮像視野の周囲に位置する複数の撮像視野のうち、前記ワークが延出する方向に位置する一つ以上の撮像視野内の画像を前記撮像手段に生成させるよう前記駆動手段に前記ステージを移動させる第二ステージ動作を実行し、
前記第一ステージ動作において前記ワークを含む画像が見つかった場合、前記第一ステージ動作から前記第二ステージ動作に切り替える制御手段と、
前記第二ステージ動作において生成された複数の画像を連結し、前記ワークの全体を含む連結画像を生成する画像連結手段と、
連結画像を表示する表示手段とを有し、
前記判定手段により、前記撮像視野内にワークの少なくとも一部が含まれないと判定された場合には、前記撮像手段の撮像条件に従って、所定のシーケンスに従って連結画像の生成を続けることを特徴とする画像測定装置を提供する。
本発明によれば、ワークの全体を含む連結画像を生成されて表示されるため、画像測定装置のユーザビリティがさらに改善する。
画像測定装置の概略を示す図 測定ユニットの断面図 俯瞰カメラの配置を説明する図 俯瞰画像の生成方法を説明する図 連結画像を説明する図 俯瞰画像の応用例を説明する図 コントローラを説明する図 コントローラを説明する図 メインの処理を示すフローチャート 設定モードを示すフローチャート 連続測定モードを示すフローチャート 俯瞰画像の生成処理を示すフローチャート 測定箇所の設定方法を示す図 俯瞰画像の生成方法を説明する図 俯瞰画像の生成方法を説明する図
以下に本発明の一実施形態を示す。以下で説明される個別の実施形態は、本発明の上位概念、中位概念および下位概念など種々の概念を理解するために役立つであろう。また、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。
<画像測定装置1>
図1は画像測定装置1の一構成例を示した斜視図である。画像測定装置1は、ワークを撮像してワーク画像を生成し、ワーク画像内のワークの寸法を測定する装置である。図1において、画像測定装置1は、測定ユニット10、制御ユニット20、キーボード31およびポインティングデバイス32を有している。ワークは画像測定装置1により形状や寸法を測定される測定対象物である。
測定ユニット10は、ディスプレイ装置11、可動ステージ12、XY調整つまみ(不図示)、Z調整つまみ14b、電源スイッチ15および実行ボタン16を備えている。測定ユニット10は可動ステージ12上に載置されたワークに検出光を照射し、ワークの透過光またはワークからの反射光を受光してワーク画像を生成する。ワークは、可動ステージ12の検出エリア13内に載置される。測定ユニット10はワーク画像をディスプレイ装置11の表示画面18に表示する。
ディスプレイ装置11はワーク画像や測定結果、設定UI(ユーザーインターフェース)を表示画面18上に表示する表示装置である。ユーザはディスプレイ装置11に表示されたワーク画像を見ながらキーボード31およびポインティングデバイス32を操作することで、位置決めのための特徴箇所や寸法測定のための測定箇所などを設定する。可動ステージ12はワークを載置するための載置台である。検出エリア13は、透光性を有するガラスからなる領域である。可動ステージ12は、カメラの撮像軸に平行なZ軸方向と、撮像軸に垂直なX軸方向およびY軸方向に移動する。
XY調整つまみは、可動ステージ12をX軸方向またはY軸方向に移動させることにより、カメラに対する可動ステージ12の相対的な位置(X軸方向の位置とY軸方向の位置)を調整する。Z調整つまみ14bは、可動ステージ12をZ軸方向に移動させることにより、カメラに対する可動ステージ12の相対的な位置(Z軸方向の位置)を調整する。電源スイッチ15は、測定ユニット10および制御ユニット20の主電源をオン状態およびオフ状態間で切り替えるための操作部である。実行ボタン16は寸法測定を開始させるための操作部である。
制御ユニット20は、測定ユニット10による撮像や画面表示を制御し、ワーク画像を解析してワークの寸法を測定するコントローラである。制御ユニット20は、キーボード31およびポインティングデバイス32を接続されており、キーボード31およびポインティングデバイス32を通じてユーザ入力を受け付ける。キーボード31およびポインティングデバイス32は操作部30を形成している。制御ユニット20は、電源スイッチ15がオンに切り替えられると、測定ユニット10を起動する。制御ユニット20は、実行ボタン16が操作されると、予め用意された設定データにしたがって測定ユニット10を制御して、検出エリア13内でワークを探索し、ワークの寸法を測定する。
<測定ユニット10>
図2は測定ユニット10の構成例を模式的に示した断面図である。ここでは測定ユニット10が撮像軸と平行な垂直面(YZ平面)により切断した場合の切断面が示されている。測定ユニット10は、ディスプレイ装置11、可動ステージ12、筐体100、ステージ駆動部101、鏡筒部102、照明位置調整部103、カメラ110、120、同軸落射照明130、リング照明140および透過照明150を有している。
ステージ駆動部101、鏡筒部102、カメラ110、120、同軸落射照明130および透過照明150は、筐体100内に配置されている。ステージ駆動部101は、制御ユニット20からの駆動信号にしたがって可動ステージ12をX軸方向、Y軸方向またはZ軸方向に移動させ、カメラ110、120に対する可動ステージ12の位置を調整する。ワークは可動ステージ12に載置されているため、可動ステージ12の位置調整はワークの位置調整に相当する。
カメラ110は、カメラ120と比較して、撮像倍率の低い撮像装置である。カメラ110は、撮像素子111、結像レンズ112、絞り板113および受光レンズ114を有している。撮像素子111は、検出光を受光してワーク画像を生成する。撮像素子111は、受光面を下方に向けて配置されている。結像レンズ112は、検出光を撮像素子111上に結像させる光学部材である。絞り板113は、検出光の透過光量を制限する光学絞りであり、結像レンズ112と受光レンズ114との間に配置されている。受光レンズ114は、ワークからの検出光を集光する光学部材であり、可動ステージ12に対向させて配置されている。結像レンズ112、絞り板113および受光レンズ114は、上下方向に延びる中心軸を中心として配置されている。
カメラ120は、カメラ110と比較して、撮像倍率の高い撮像装置である。カメラ120は、撮像素子121、結像レンズ122、絞り板123、ハーフミラー124および受光レンズ114を有している。撮像素子121は、検出光を受光してワーク画像を生成する。撮像素子121は、受光面を水平方向に向けて配置されている。つまり、受光面と水平方向とは直交している。結像レンズ122は、検出光を撮像素子121上に結像させる光学部材である。絞り板123は、検出光の透過光量を制限する光学絞りであり、結像レンズ122及びハーフミラー124間に配置されている。受光レンズ114は、カメラ110と共通である。受光レンズ114を透過した検出光は、ハーフミラー124により水平方向に折り曲げられ、絞り板123および結像レンズ122を介して撮像素子121に結像する。
撮像素子111、121としては、たとえば、CCD(Charge Coupled Devices:電荷結合素子)およびCMOS(Complementary Metal Oxide Semiconductor:相補型金属酸化物半導体)などのイメージセンサが用いられる。受光レンズ114としては、受光レンズ114とワークとの距離が変化しても、ワークの像の大きさを変化させない性質を有するテレセントリックレンズが用いられる。つまり、カメラ110、120の光学系はそれぞれテレセントリック性を有する。テレセントリック性の光学系で取得されるワーク画像におけるワークの歪は、非テレセントリック性の光学系で取得されるワーク画像におけるワークの歪と比較して、非常に小さい。そのため、精度良くワークが測定可能となる。
同軸落射照明130は可動ステージ12上のワークに照明光を上方から照射する照明装置である。同軸落射照明130の照射光の光軸は撮像軸に一致している。同軸落射照明130は、水平方向に照明光を出力するように配置された光源131と、光源131から出射された照明光を下方に折り曲げるハーフミラー132とを有している。同軸落射照明130の照明光はワーク表面の凹凸や模様を取得する際に有利である。
結像レンズ112、122、絞り板113、123、ハーフミラー124、132および受光レンズ114は、鏡筒部102内に配置されている。
透過照明150は、可動ステージ12上のワークに照明光を下方から照射する照明装置である。透過照明150は、光源151、ミラー152および集光レンズ153により構成される。光源151は、水平方向に向けて照明光を出力するように配置されている。光源151から出射された照明光は、ミラー152により反射され、集光レンズ153により集光される。照明光は、可動ステージ12を透過してワークに照射される。照明光の一部はワークにより遮断され、照明光の他の一部は受光レンズ114に入射する。透過照明150の照明光はワークの外形のエッジを取得する際に有利である。
リング照明140は、可動ステージ12上のワークに照明光を上方または側方から照射する照明装置である。リング照明140を形成する複数の光源は、カメラ110、120の撮像軸を取り囲むように配置されている。同軸落射照明130、リング照明140および透過照明150の各光源としては、LED(発光ダイオード)やハロゲンランプが用いられる。照明位置調整部103は、リング照明140をZ軸方向に移動させることにより、可動ステージ12に対するリング照明140の相対位置を調整する。
俯瞰カメラ17は可動ステージ12の俯瞰画像を取得するために使用される撮像装置である。俯瞰画像は可動ステージ12のほぼ全体を包含する画像である。俯瞰カメラ17の撮像視野は、カメラ110、120の撮像視野よりも広い。そのため、俯瞰カメラ17は、カメラ110、120と比較して、より広い範囲の画像を取得することに向いている。その一方で、俯瞰カメラ17のテレセントリック性は、カメラ110、120のテレセントリック性と比較して低い。そのため、俯瞰カメラ17は非テレセントリックカメラと呼ばれてもよい。俯瞰カメラ17により取得されるワーク画像においてワークの形状は歪むため、カメラ110、120と比較して、俯瞰カメラ17はワークの測定には向いていない。なお、光学系の視野は円形であり、視野内の被写体はイメージサークルとなって撮像素子上に結像する。一方で、撮像素子が撮像できる範囲は矩形である。つまり、撮像領域とは、イメージサークル内の一部の矩形領域である。ここでは、撮像素子の撮像領域に対応する可動ステージ12上における矩形の領域は撮像視野と呼ばれる。
<俯瞰カメラ>
図2が示すように、受光レンズ114およびリング照明140は可動ステージ12のかなりの部分を覆っている。そのため、俯瞰カメラ17は受光レンズ114およびリング照明140を避けた位置に配置される。俯瞰カメラ17は一つのカメラによって実現されてもよいが、複数のカメラによって実現されてもよい。
図3は測定ユニット10の正面側から俯瞰カメラ17を見たときの俯瞰カメラ17の配置を説明する図である。Wはワークを示している。この例では受光レンズ114の左側に俯瞰カメラ17Lが配置されており、受光レンズ114の右側に俯瞰カメラ17Rが配置されている。R1はカメラ110の視野範囲を示している。R2Lは俯瞰カメラ17Lの視野範囲を示している。R2Rは俯瞰カメラ17Rの視野範囲を示している。二つの俯瞰カメラ17R、17Lを採用することで可動ステージ12の大半の部分を一度に撮像可能となる。それでもなお、可動ステージ12上には、俯瞰カメラ17Lの視野範囲R2Lと、俯瞰カメラ17Lの視野範囲R2Lによってカバーしきれない死角範囲R3が生じてしまう。俯瞰カメラ17R、17Lの受光レンズをより広角までカバーするレンズに置換すれば、死角範囲R3が生じなくなる。しかし、このような広角レンズは高額である。俯瞰カメラ17Rと俯瞰カメラ17Lとを可動ステージ12からより遠くに配置することで視野範囲R2R、R2Lは広がるだろう。しかし、この場合、視野範囲R2R、R2Lがリング照明140によって制限を受けるだろう。そこで、本実施例では可動ステージ12の全体をカバーする俯瞰画像の作成方法が提案される。
図4は俯瞰画像の作成方法を説明する図である。制御ユニット20は、俯瞰カメラ17Lの撮像軸と俯瞰カメラ17Rの撮像軸との中心と、可動ステージ12の中心とが一致するように可動ステージ12を移動させ、俯瞰カメラ17L、17Rに撮像を実行させる。俯瞰画像41aは俯瞰カメラ17Lにより取得された画像である。俯瞰画像41bは俯瞰カメラ17Rにより取得された画像である。俯瞰カメラ17Rと俯瞰カメラ17Lとには死角範囲R3が存在するため、俯瞰画像41a、41bには死角範囲R3に位置するワークWの一部が写っていない。
制御ユニット20は、俯瞰カメラ17L(または俯瞰カメラ17R)の撮像軸と可動ステージ12の中心とが一致するように可動ステージ12を移動させ、俯瞰カメラ17L(または俯瞰カメラ17R)に撮像を実行させる。これにより俯瞰画像41cが生成される。俯瞰画像41cには、死角範囲R3に位置するワークWの一部が写っている。制御ユニット20は、俯瞰画像41a、41bと俯瞰画像41cとを結合することで、可動ステージ12の全体を含む俯瞰画像41dを生成する。なお、俯瞰画像41cの左部分は俯瞰画像41aと重複しているため、削除される。俯瞰画像41cの右部分は俯瞰画像41bと重複しているため、削除される。
なお、俯瞰画像41dの生成方法には種々のものがある。俯瞰画像の取得のスピードを重視する場合には、合成に使用される俯瞰画像の枚数を少なくすればよい。また、俯瞰画像の歪みを抑えることを重視する場合には、合成に使用される画像の枚数を増やせばよい。俯瞰画像は、後述の位置検出に使用される。そのため、歪みが大きいと、大まかな位置検出にすら支障がでてしまうことがある。よって、俯瞰画像の歪みは低減されてもよい。
<ワークの自動検出>
図5Aおよび図5Bはワークの自動検出を説明する図である。図5Aが示すように、一般に、可動ステージ12には1個のワークWが載置される。この場合、ユーザは可動ステージ12の中心付近にワークWを載置するため、制御ユニット20は可動ステージ12の中央を基準としてワークWを探索する。なお、可動ステージ12がホームポジションに位置しているときに、受光レンズ114の光軸は可動ステージ12の中心を通る。この例で制御ユニット20は低倍率のカメラ110で4枚のワーク画像を取得することで、可動ステージ12上におけるワークWの位置と姿勢(基準モデルに対する回転角度)とを取得できる。具体的には、制御ユニット20は低倍率画像43aを取得し、低倍率画像43aに存在するワークWを抽出し、ワークWの延出方向を解析する。ここで、ワークWの延出方向は、低倍率画像43aを解析し、所定の輝度値以下になる部分(いわゆる影となる部分)が延出する方向をワークWの延出方向としている。
低倍率画像43aは上辺、右辺、底辺および左辺を有している。このうち底辺にエッジが繋がっているため、制御ユニット20は、低倍率画像43aの下方向にワークWが存在すると判定する。制御ユニット20は、低倍率画像43aの下方向に位置する低倍率画像43bを取得できるよう可動ステージ12を移動させ、カメラ110に撮像を実行させる。これにより、低倍率画像43bが生成される。制御ユニット20は、低倍率画像43bにおいてワークWの延出方向を解析する。低倍率画像43bの右辺にワークWの輪郭が繋がっているため、制御ユニット20は、低倍率画像43bの右方向にワークWが存在すると判定する。なお、低倍率画像43bの上辺にもワークWの輪郭が繋がっているが、低倍率画像43bの上方向に位置する低倍率画像43aはすでに解析済みである。よって、低倍率画像43aは取得対象から除外される。制御ユニット20は、低倍率画像43bの右に位置する低倍率画像43cを取得できるよう可動ステージ12を移動させ、カメラ110に撮像を実行させる。これにより、低倍率画像43cが生成される。制御ユニット20は、低倍率画像43cにおいてワークWの延出方向を解析する。低倍率画像43cの上辺にワークWの輪郭が繋がっているため、制御ユニット20は、低倍率画像43cの上方向にワークWが存在すると判定する。制御ユニット20は、低倍率画像43cの上に位置する低倍率画像43dを取得できるよう可動ステージ12を移動させ、カメラ110に撮像を実行させる。制御ユニット20は、低倍率画像43aないし43dを連結して連結画像を生成し、連結画像においてワークWの輪郭が一つに繋がることを確認すると、連結画像の生成を終了する。設定モードにおいて制御ユニット20は連結画像に対する位置決め(パターンサーチ)の設定を受け付けたり、測定箇所の設定などを受け付けたりする。測定モードにおいて制御ユニット20は連結画像からワークWの位置と姿勢を検出する。制御ユニット20はワークWの位置と姿勢に基づき、ワークWにおける測定箇所を特定し、特定された測定箇所の測定を実行する。
上記段落においては、制御ユニット20が最初に低倍率画像43aを取得する際には、ワークWが画像内に含まれていることが前提とされている。後に詳述するように、実際には、ワーク探索動作である第一ステージ動作を実行した後で、上記段落において説明されたワークの全体(輪郭)を探索するための第二ステージ動作が行われる。
ところで、図5Bが示すように、実行ボタン16を一度押すだけで多数のワークW(W1~W8)を測定できれば、ユーザの作業負担が軽減する。この場合、ワークWは可動ステージ12の中央以外の位置にも存在するため、中央以外の位置に存在するワークWを探索する処理が必要となる。仮に、低倍率画像43bで低倍率画像を取得しながら多数のワークWを探索すると多くの探索時間が必要となってしまう。そこで、制御ユニット20は、俯瞰画像41dを生成し、俯瞰画像41dを用いて多数のワークWの凡その位置を特定し、特定された位置を基準として低倍率画像を取得する。これにより、多数のワークWについての測定時間が大幅に短縮されるであろう。これらは、複数一括測定モードと呼ばれ、詳細は後述される。
<コントローラ>
図6Aは制御ユニット20に搭載さされるコントローラ60の機能を説明する図である。図6Bは俯瞰画像41を生成する際に必要となるオプションの機能を示している。コントローラ60はCPUなどにより構成され、測定ユニット10を制御する。CPUは中央演算処理装置の略称である。コントローラ60の機能の一部またはすべてはASICやFPGAなどのハードウエアによって実現されてもよい。ASICは特定用途集積回路の略称である。FPGAはフィールドプログラマブルゲートアレイの略称である。照明制御部81は制御ユニット20または測定ユニット10に搭載され、コントローラ60からの制御信号にしたがって同軸落射照明130、リング照明140および透過照明150を制御する。撮像制御部82は制御ユニット20または測定ユニット10に搭載され、コントローラ60からの制御信号にしたがって測定用のカメラ110、120および俯瞰カメラ17R、17Lを制御する。記憶装置70はメモリやハードディスクドライブなどを有し、設定データ71、低倍率画像43、俯瞰画像41などを記憶する。
設定部61は、キーボード31などから入力されるユーザ入力にしたがってワークWを測定するための設定データ71を作成する。設定データ71は、たとえば、ワークWのサーチ(位置決め)に関する設定情報や測定箇所に関する設定情報、良品閾値、撮像条件(撮像倍率や照明条件)などを含む。
測定制御部62は設定データ71にしたがって照明制御部81を通じていずれかの照明ユニットを点灯させたり、撮像制御部82を通じていずれかのカメラユニットに撮像を実行させたりする。
ワーク判定部63は、カメラ110、120により取得された画像からエッジを抽出し、エッジの有無を判定する。ワーク判定部63は、エッジの延出方向を求め、次に撮像を行うべき撮像位置の座標を決定する。画像連結部64は、ワークWのエッジを含む複数の低倍率画像43を連結し、連結画像42を生成する。
図6Bが示すように、俯瞰画像生成部65は俯瞰カメラ17R、17Lにより取得された俯瞰画像41a~41cを連結して大きな俯瞰画像41dを生成する。座標変換部68は俯瞰画像41dにおけるワークWの座標をカメラ110の座標に変換する。校正部69は校正情報72を用いて俯瞰カメラ17の座標系を校正する。座標変換部68や校正部69は俯瞰画像生成部65の一部であってもよい。
サーチ部66は、設定データ71に基づき俯瞰画像41dや連結画像42からワークWの位置や姿勢を特定する。たとえば、サーチ部66は、設定データ71に基づき俯瞰画像41dからワークWの粗い位置を特定し、粗い位置に基づき取得された連結画像42から設定データ71に基づきワークWの詳細な位置と姿勢を特定する。
測定部67は設定データ71にしたがってワーク画像からワークWに関する各種の測定を実行する。ワーク画像は、連結画像42であってもよいし、ワークWの詳細な位置と姿勢に基づきカメラ120により取得された測定箇所付近の高倍率画像であってもよいし、低倍率画像であってもよい。測定部67は、測定結果と良品閾値とを比較し、ワークWが良品かどうかを判定(検査)してもよい。
表示制御部83は、コントローラ60の指示に従って設定データ71を作成するためのUIをディスプレイ装置11に表示したり、各種の画像を表示したり、測定結果(検査結果)を表示したりする。
<フローチャート>
図7は電源スイッチ15がオンに切り替えるとコントローラ60によって実行されるメインの処理を示すフローチャートである。
S701でコントローラ60は操作部30を通じてユーザにより設定モードが選択されたかどうかを判定する。設定モードが選択されていなければ、コントローラ60はS702をスキップしてS703に進む。一方、設定モードが選択されていれば、コントローラ60はS702に進む。
S702でコントローラ60(設定部61)は設定モードを実行する。設定モードの詳細は図8を用いて後述される。
S703でコントローラ60は操作部30を通じてユーザにより測定モードが選択されたかどうかを判定する。なお、測定モードは、単一のワークWを測定する単一測定モードと、複数のワークWを測定する複数一括測定モードとに分かれていてもよい。単一測定モードではワークWは可動ステージ12の中央付近に配置されることが多いため、測定ユニット10は可動ステージ12の中央からワークWのエッジの探索を開始する。一方、複数一括測定モードでは、図5Bに示すように、可動ステージ12の全体に複数のワークWが散らばっている可能性があるため、俯瞰画像を用いて各ワークのラフな位置が特定され、特定された位置においてワークWのエッジの探索が実行される。ここでは、説明の便宜上、測定モードとは連続測定モードであるものと仮定されている。測定モードが選択されていなければ、コントローラ60はS701に戻る。一方、測定モードが選択されていれば、コントローラ60はS704に進む。
S704でコントローラ60は実行ボタン16がユーザにより操作されたかどうかを判定する。実行ボタン16がユーザにより操作されると、コントローラ60はS705に進む。
S705でコントローラ60(測定制御部62)は連続測定モードを実行する。連続測定モードの詳細は図9を用いて後述される。
●設定モード
図8は設定モードを示すフローチャートである。S800はワークを探索するための第一ステージ動作である。S800はS801ないしS803を有する。S810はワークの全体(輪郭)を探索するための第二ステージ動作である。S810はS811ないしS817を有する。なお、第一ステージ動作および第二ステージ動作については、低倍率のカメラ110を用いて探索する例が説明される。しかし、高倍率のカメラ120を用いて探索が実行されてもよいし、低倍率のカメラ110と高倍率のカメラ120とを適宜に併用して探索が実行されてもよい。
S801でコントローラ60(測定制御部62)は所定シーケンスにしたがって可動ステージ12を移動する。一般に設定モードでは可動ステージ12の中央付近に良品(基準)のワークWが載置される。よって、コントローラ60は低倍率のカメラ110の撮像視野が可動ステージ12の中央付近のグリッドに位置するようステージ駆動部101を制御する。所定のシーケンスは、予め定められた複数のステージ座標位置へ順次、可動ステージ12を移動させるシーケンスである。所定シーケンスは、可動ステージ12の座標情報によって定義されており、記憶装置70に記憶されている。なお、撮像視野で撮像して得られる画像の形状は矩形であるため、可動ステージ12の全体は複数の矩形の画像によってカバー可能である。可動ステージ12の全体に対して複数の矩形の画像が配置された様子はあたかもグリッド状となる。よって、複数の矩形の画像の各座標はグリッドの座標として管理可能である。グリッドとは一般に格子点であるため、画像における四つの角がグリッドに相当する。なお、四つの角に囲まれた矩形は、狭義の意味での撮像視野である。よって、各撮像視野(撮像位置)は画像の左上角の座標に基づき特定されてもよい。あるいは、画像の中心座標が撮像位置として管理されてもよい。
S802でコントローラ60(測定制御部62)は撮像制御部82を通じてカメラ110に撮像を実行させ、低倍率画像43を取得する。低倍率画像43は記憶装置70に記憶される。なお、低倍率画像43は、制御ユニット20の記憶装置70されずに、測定ユニット10内にある記憶装置に記憶されて処理されてもよい。
S803でコントローラ60(ワーク判定部63)は低倍率画像43にエッジが存在するかどうかを判定する。低倍率画像43においてエッジとは隣接画素間での輝度値の変化が大きい部分である。低倍率画像43にエッジが存在しなければ、コントローラ60はS801に戻り、可動ステージ12を次のグリッドに移動させる。低倍率画像43にエッジが見つかると、コントローラ60はS811に進む。つまり、コントローラは、S800のワーク探索シーケンスをS810の輪郭探索シーケンスに切り替える。
S811でコントローラ60(測定制御部62)はワークWのエッジが強調されるように、撮像制御部82の動作条件と照明制御部81の動作条件とを調整する。これらの動作条件は撮像条件と呼ばれる。撮像条件には、たとえば、可動ステージ12のZ方向における位置(合焦位置)や照明モード(透過照明/同軸落射照明)、露光時間、照明光量などが含まれてもよい。なお、撮像条件を調整せずに、あらかじめ定められた条件で後のステップが実行されてもよい。
S812でコントローラ60(ワーク判定部63)はエッジの延出方向を求める。上述したように四辺のどの方向にエッジが接しているかに基づき延出方向が決定されてもよい。あるいはエッジのベクトルが演算されてもよい。
S813でコントローラ60(測定制御部62)は次の撮像座標を決定する。たとえば、測定制御部62はエッジの延出方向に存在する隣のグリッドの座標を求める。
S814でコントローラ60(測定制御部62)はエッジの延出方向に存在する隣のグリッドの座標をステージ駆動部101に設定し、可動ステージ12を移動させる。
S815でコントローラ60(測定制御部62)は撮像制御部82を通じてカメラ110に撮像を実行させ、低倍率画像43を取得する。低倍率画像43は記憶装置70に記憶される。
S816でコントローラ60(ワーク判定部63)は低倍率画像43からワークのエッジを抽出する。このように、ワーク判定部63はワークのエッジを判定する判定部として機能してもよい。
S817でコントローラ60(測定制御部62)は抽出されたエッジに基づき終了条件が満たされたかどうかを判定する。たとえば、ワーク判定部63は、ワークWの輪郭エッジがすべて抽出されたかどうかを判定する。あるいは、ワーク判定部63は、低倍率画像43から抽出されたエッジの延出方向を求め、延出方向に存在するグリッドがすでに低倍率画像43を取得されたグリッドである場合に、終了条件が満たされたと判定してもよい。終了条件が満たされていなければ、コントローラ60はS811に戻る(なお、変形例として、S812に戻るとしてもよい)。一方で、終了条件が満たされていれば、コントローラ60はS821に進む。
S821でコントローラ60(画像連結部64)は記憶装置70からワークWの低倍率画像43を読み出して連結し、一つの連結画像42を生成する。連結画像42も記憶装置70に記憶される。たとえば、図5Aに示したように四つの低倍率画像43a~43dから連結画像42が生成される。
S822でコントローラ60(設定部61)は連結画像42をディスプレイ装置11に表示し、連結画像42に含まれるワークWに対して測定箇所などの設定を受け付ける。たとえば、設定部61は、パターンサーチのための特徴点の指定やある寸法(距離)を測定するための二つのエッジの指定などを受け付ける。なお、設定部61は、操作部30からのユーザ入力にしたがって特徴点やエッジを指定するための矩形や円形の指定領域を連結画像42に重ねて表示してもよい。図11が示すように、連結画像42においてワークWの長さDを測定するために二つの指定領域1101a、1101bが指定されてもよい。ここで長さDは指定領域1101a内のエッジから指定領域1101b内のエッジまでの距離として定義される。設定部61は、指定領域1101a、1101bの位置をステージ駆動部101に設定することで可動ステージ12を移動させ、カメラ120に1101a、1101b内の高倍率画像を取得させてもよい。設定部61は、高倍率画像を指定領域1101a、1101bに重ねて表示してもよい。つまり、低倍率画像の上に配置された指定領域内には高倍率画像が表示されてもよい。このように、指定領域1101a、1101bにはより詳細なワークWの画像が表示されてもよい。また、設定部61は、指定領域1101a、1101bごとに撮影条件(照明条件、倍率、フォーカスなど)を受け付けてもよい。つまり、指定領域1101a、1101bごとに撮影条件が異なってもよい。設定部61は、指定領域1101a、1101bから取得された画像を連結画像42に重ねて表示してもよい。たとえば、設定部61は、予め自動で取得された連結画像42を背景画像として、測定のために撮影条件を再設定されて取得された画像を重ねて表示してもよい。設定部61は、ユーザ入力にしたがって設定データ71を作成し、記憶装置70に記憶させる。
●測定モード
図9は連続測定モードを示すフローチャートである。すでに説明されたステップと同一または類似したステップには同一の参照符号が付与されている。ここでは俯瞰画像41を取得してワークWの位置と姿勢とをラフに特定するための俯瞰モード(S901ないしS903)が記載されているが、これは必須ではない。
S901でコントローラ60(測定制御部62)は設定データ71を参照し、俯瞰モードが有効に設定されているかどうかを判定する。図5Bに示したように、俯瞰モードは、多数のワークWを測定する際に有利なモードである。俯瞰モードが有効であれば、コントローラ60はS902に進む。俯瞰モードが有効でなければ、コントローラ60はS902およびS903をスキップしてS800に進む。
S902でコントローラ60(測定制御部62)は俯瞰画像を生成する。俯瞰画像41の生成処理の詳細は図10を用いて後述される。
S903でコントローラ60(測定制御部62)は俯瞰画像を用いてワークWの粗い位置を特定する。ワーク判定部63は俯瞰画像に含まれているワークを抽出し、ワークWの粗い位置を求める。ワーク位置の特定の方法には種々のものがある。第一の俯瞰画像を取得し、ステージをXまたはY方向に少し移動させ、第二の俯瞰画像を取得し、第一の俯瞰画像と第二の俯瞰画像との差分画像に基づき、ワークWの粗い位置を判定する方法が採用されてもよい。ワークWを載せる前の第一の俯瞰画像と載せた後の第二の俯瞰画像との差分画像に基づき、ワークWの粗い位置を判定する方法が採用されてもよい。その他、俯瞰画像に含まれているエッジを抽出し、抽出されたエッジに基づきワークワークWの粗い位置を求める方法が採用されてもよい。図5Bが示すように、ワーク判定部63は複数のワークWの輪郭エッジを抽出し、各輪郭エッジの重心位置をワークWの粗い位置として求めてもよい。また、予め操作部30を通じてワークWの個数が設定されていてもよい。ワーク判定部63は、ワークWの個数に応じて各ワークWの位置を求めてもよい。たとえば、四個のワークWが可動ステージ12に載置された場合、俯瞰画像41には四個の輪郭エッジが存在するはずである。よって、ワーク判定部63は個数に応じて輪郭エッジを抽出し、各輪郭エッジの位置を求めてもよい。ここで各ワークWの位置は俯瞰画像における位置である。俯瞰画像におけるワークWの位置は俯瞰カメラ17の座標系に存在する。よって、ワーク判定部63は、座標変換部68を用いて俯瞰カメラ17の座標系におけるワークWの位置をカメラ110の座標系における位置に変換してもよい。これにより、各ワークWの低倍率画像を取得しやすくなる。
S800からS913までの各工程は複数のワークWのそれぞれについて実行される。
S800でコントローラ60は第一ステージ動作を実行し、ワークWのエッジを検出する。第一ステージ動作は図8を用いてすでに説明されたとおりである。
S810でコントローラ60は第二ステージ動作を実行し、ワークWをカバーする複数の低倍率画像を生成する。第二ステージ動作は図8を用いてすでに説明されたとおりである。
S821でコントローラ60(画像連結部64)は複数の低倍率画像を連結して連結画像を生成する。連結画像は、複数の高倍率画像どうしを連結して生成されてもよい。
S911でコントローラ60(サーチ部66)は位置決めのための設定データ71に基づき連結画像内におけるワークWの詳細な位置と姿勢とを特定する。
S912でコントローラ60(測定部67)はワークWの位置と姿勢と、さらに測定箇所の設定データ71に基づき、連結画像における測定箇所を特定し、測定箇所を測定する。各測定箇所の位置は、ワークWにおける基準となる特徴点の位置に対して設定されている。よって、基準となる特徴点に対して、ワークWの姿勢に応じて各測定箇所の位置を回転させることで、連結画像における各測定箇所の位置が決定される。上述したように、測定精度を向上させるために、カメラ120により測定箇所についての高倍率画像が取得され、高倍率画像に基づき測定が実行されてもよい。
S913でコントローラ60(測定部67)はワークWの測定結果と、予め決定された良品の閾値(例:公差)とを比較し、ワークWが良品かどうかを判定する。測定部67は、測定に用いたワークWの画像とともに測定結果をディスプレイ装置11に表示してもよい。
●俯瞰画像の生成
図10は俯瞰画像の生成処理を示すフローチャートである。
S1001でコントローラ60(校正部69)は、記憶装置70に予め記憶されている校正情報72に基づき俯瞰カメラ17Rの座標系と俯瞰カメラ17Lの座標系を校正する。測定ユニット10に対する俯瞰カメラ17Rの取り付け位置と姿勢には個体差が生じる。測定ユニット10に対する俯瞰カメラ17Lの取り付け位置と姿勢には個体差が生じる。たとえば、俯瞰カメラ17R画像の辺とカメラ110により取得された画像の辺とが平行とならない可能性がある。したがって、工場における測定ユニット10の組み立て時に俯瞰カメラ17R、17Lの取り付け位置のずれ量と取り付け姿勢のずれ量とを計測し、計測結果に基づき校正情報72が作成され、記憶装置70のROMに格納される。この校正情報72に基づき俯瞰カメラ17Rの座標系を校正することで、俯瞰カメラ17Rの座標系における特定の位置を、カメラ110やカメラ120の座標系における特定の位置に正確に変換することが可能となる。同様に、校正情報72に基づき俯瞰カメラ17Lの座標系を校正することで、俯瞰カメラ17Lの座標系における特定の位置を、カメラ110やカメラ120の座標系における特定の位置に正確に変換することが可能となる。
S1002でコントローラ60(俯瞰画像生成部65)は、ステージ駆動部101に撮像位置を設定し、可動ステージ12を撮像位置に移動させる。たとえば、図4に示したように部分俯瞰画像である俯瞰画像41a、41bを取得できるように可動ステージ12が移動する。
S1003でコントローラ60(俯瞰画像生成部65)は、撮像制御部82を通じて俯瞰カメラ17R、17Lに撮像を実行させ、部分俯瞰画像を取得する。
S1004でコントローラ60(俯瞰画像生成部65)は、全体俯瞰画像である俯瞰画像41dを合成するために必要となるすべての俯瞰画像41a~41cが取得されたかどうかを判定する。すべての俯瞰画像41a~41cが取得されていれば、コントローラ60はS1005に進む。一方、すべての俯瞰画像41a~41cが取得されていなければ、コントローラ60はS1002に戻る。たとえば、俯瞰画像41a、41bが取得されたが、俯瞰画像41cが取得されていない場合、コントローラ60はS1002に戻る。S1002で俯瞰画像41cの撮像位置へ可動ステージ12が移動する。S1003で俯瞰画像41cが取得される。
S1005でコントローラ60(俯瞰画像生成部65)は、複数の部分俯瞰画像を合成して全体俯瞰画像を生成する。図4に示した事例では俯瞰画像41a~41cから俯瞰画像41dが生成される。
●俯瞰画像を用いた複数一括モード
図5Bに示すように、多数のワークW(W1~W8)がステージ上に載置され、ユーザが一度実行ボタンをおすことで、多数のワークを測定することができる複数一括測定モードについてさらに説明する。
図5Bによれば可動ステージ12の全体に複数のワークW1~W8が散らばって置かれている。コントローラ60(俯瞰画像生成部65)は、撮像制御部82を通じて俯瞰カメラ17R、17Lに撮像を実行させ、俯瞰画像を取得する。ワーク判定部63は、俯瞰画像を用いて各ワークW1~W8のラフな座標位置(例えば、中心座標、重心座標等)を特定する。ワーク判定部63は、予め決められたルール(例えば、左上から右に向けてラスター状に順に、中心に近いワークから順に等)または、ユーザの入力、に従い、各ワークW1~W8の座標位置を測定する。
ここでは、ワークW1、W2、W3...W8の順に座標位置が測定されていく場合について説明される。コントローラ60は、撮像制御部82を通じて俯瞰カメラ17R、17Lに撮像を実行させ、俯瞰画像が取得される。コントローラ60は、ワークW1、W2、W3...W8の座標位置を特定する。コントローラ60は、それぞれの座標位置を記憶する。これにより、コントローラ60は測定順序を決定する。ワークW1が最初に測定されるため、コントローラ60はワークW1の座標位置に向けて可動ステージ12を移動する。可動ステージ12がワークW1の座標位置に到着すると、コントローラ60は、ワークW1について、ワークW1を探索するための第一ステージ動作を実行する。その後、コントローラ60は、ワークW1の全体(輪郭)を探索するための第二ステージ動作を実行する。複数のワークのうち1つのワークW1に対して第2ステージ動作を経て測定が完了すると、コントローラ60は、次のワークの測定に移行する。次のワークはW2である。コントローラ60は、ワークW2の座標位置に向けて可動ステージ12を移動させ、ワークW2について、ワークW2を探索するための第一ステージ動作を実行する。されに、コントローラ60は、ワークW2の全体(輪郭)を探索するための第二ステージ動作を経て、ワークW2の測定を行う。以下同様にして、コントローラ60は、ワークW3、W4...W8の測定を行う。
このようにして、俯瞰カメラ17R、17Lを用いて、ワークW1~W8の測定を一括して実行することが可能となる。
なお、ワークW1に到着した後に、ワークW1について、ワークW1を探索するための第一ステージ動作を実行せずに、コントローラ60は、ワークW1の全体(輪郭)を探索するための第二ステージ動作を実行してもよい。これは探索動作を行わなくともワークWがすでに見つかっているからである。たとえば、コントローラ60は、ワークW1がすでに見つかっている場合、第一ステージ動作を省略して第二ステージ動作を実行してもよい。
また、ワーク判定部63は、予め決められたルールまたは、ユーザの入力に従い、各ワークW1~W8の座標位置を測定するものとして説明されたが、これは一例にすぎない。ワーク判定部63は、その都度(たとえば、各ワークW1~W8の座標位置において)、移動距離が最短になるように移動ルートを算出して、各ワークW1~W8の座標位置を測定しもよい。たとえば、ワーク判定部63は、あるワークWの座標位置を測定すると、そのワークWに対して最短距離にある他のワークWであって、まだ座標位置を測定されていない他のワークWを次の測定対象に決定してもよい。
<まとめ>
可動ステージ12はワークWが載置されるステージの一例である。カメラ110はステージ上における撮像視野内の画像を生成する撮像手段の一例である。ステージ駆動部101は撮像手段に対してXY方向に相対的にステージを移動させることで、ステージ上の撮像視野を切り替える駆動手段の一例である。なお、ステージ駆動部101はカメラ110、120を可動ステージ12に対して移動させてもよいし、可動ステージ12をカメラ110、120に対して移動してもよい。ワーク判定部63は撮像手段により生成された画像にワークが含まれるかを判定する判定手段の一例である。コントローラ60や測定制御部62は撮像手段、駆動手段および判定手段を制御する制御手段の一例である。S800に関して説明されたように測定制御部62は判定手段により画像にワークWが含まれないと判定された場合、予め定められたシーケンスに従って駆動手段を制御することでステージを移動させながら撮像手段に各撮像視野における画像を生成させ、各画像にワークが含まれるかを判定手段に判定させるワーク探索処理を繰り返す第一ステージ動作を実行する。S810に関して説明されたように測定制御部62は判定手段により画像にワークWが含まれると判定された場合、当該画像が取得されたステージ上の撮像視野の周囲に位置する複数の撮像視野のうち、ワークWが延出する方向に位置する一つ以上の撮像視野内の画像を撮像手段に生成させるよう駆動手段にステージを移動させる第二ステージ動作を実行する。測定制御部62は第一ステージ動作においてワークWを含む画像が見つかった場合、第一ステージ動作から第二ステージ動作に切り替える。画像連結部64は第二ステージ動作において生成された複数の画像を連結し、ワークWの全体を含む連結画像を生成する画像連結手段の一例である。このように、本発明によれば、カメラ110、120の撮像倍率が高く、カメラ110、120の撮像視野内にワークWが収まらないケースにおいて特に有用である。本発明によれば、カメラ110により取得された画像からワークWが検出され、ワークWに基づきワークWの全体を含む連結画像42が生成される。よって、画像測定装置1のユーザビリティがさらに改善する。
測定制御部62は、第一ステージ動作においてワークWを含む画像が見つかった場合、当該画像に基づいて撮像手段の撮像条件を調整し、第二ステージ動作において当該調整された撮像条件を使用してもよい。これによりワークWを抽出しやすくなるため、ワークWの全体をカバーする画像を生成しやすくなろう。
測定制御部62は、判定手段により、撮像視野内にワークの少なくとも一部が含まれないと判定された場合には、撮像手段の撮像条件に従って、所定のシーケンスに従って連結画像の生成を続けてもよい。たとえば、第一ステージ動作においてワークWがはじめて見つかるまではデフォルトの撮像条件が継続的に使用されてもよい。撮像条件は、撮像手段の光学系の合焦位置、光学倍率、絞り条件、照明条件および露光時間の少なくとも一つを含んでもよい。ワークWに対する合焦位置は、たとえば、可動ステージ12をカメラ110、120に対してZ方向に移動させることで、変更されてもよい。
測定制御部62は、ワークWの測定箇所を設定する設定モードと、当該設定モードにより設定された測定箇所に対して測定をおこなう測定モードとを有してもよい。画像連結部64は、設定モードにおいて連結画像42を生成してもよい。これによりユーザは連結画像42を用いてワークWの全体を確認しながら各種の設定をしやすくなろう。
透過照明150は透光性を有するステージの下方からワークWに光を照射する透過照明の一例である。同軸落射照明130はステージの上方からワークに光を照射する落射照明の一例である。画像連結部64は、落射照明により光を照射されたワークWの画像を連結することで連結画像42を生成してもよい。落射照明はワークWの表面の模様などをユーザが目視するのに役立つ。ワーク判定部63は、透過照明により光を照射されたワークWの画像にワークWが含まれるかを判定してもよい。透過照明はワークWのエッジを強調することに役立つ。
ディスプレイ装置11は、設定モードにおいて、連結画像42を表示する表示手段の一例である。操作部30は表示手段に表示された連結画像42に含まれているワークWに対して測定箇所となるエッジ抽出領域と画像の撮像条件の指定を受け付ける受付手段として機能してもよい。カメラ110の撮像条件とカメラ120の撮像条件とが異なっているため、撮像条件の指定は、カメラ110とカメラ120とのいずれかを指定することであってもよい。設定部61は、受付手段により受け付けられた撮像条件に基づき、測定箇所となるエッジを抽出するために必要となる画像の枚数を設定する設定手段として機能してもよい。
サーチ部66は、測定モードにおいて、連結画像42に対してパターンサーチを実行することで設定モードにおいて設定された測定箇所のステージ座標を特定してもよい。測定制御部62は、サーチ部66により特定されたステージ座標で、設定モードにおいて当該測定箇所に設定された撮像条件を使用して、当該測定箇所を撮像手段に再度撮像させてもよい。測定部67およびワーク判定部63は、当該再度撮像して生成された画像を用いて測定箇所のエッジを抽出してもよい。
ワーク判定部63は、画像における輝度値に基づき、ワークWの境界部をエッジとして判定してもよい。つまり、ワークWの輪郭がエッジとして抽出されてもよい。
記憶装置70はステージにおける各撮像視野のステージ座標に関する情報を記憶する記憶手段の一例である。測定制御部62は、第一ステージ動作において見つかったワークWの少なくとも一部を含む画像の撮像視野のステージ座標と、当該ワークWが延出する方向に関する情報と、記憶手段に記憶されている各撮像視野のステージ座標(例:グリッドの座標)に関する情報とに基づき、第二ステージ動作におけるステージの移動方向を決定してもよい。
測定制御部62は、第二ステージ動作において撮像手段による画像の生成と駆動手段によるステージの移動と並行して画像連結手段に連結画像を生成させてもよい。測定制御部62は、第二ステージ動作において撮像手段による複数の画像の生成が完了した後で画像連結手段に連結画像を生成させてもよい。
測定用のカメラ110、120は、ステージ上に載置されたワークを撮像し、ワーク画像を生成する第一カメラの一例である。俯瞰カメラ17は第一カメラの撮像視野よりも広い撮像視野を有し、ステージ上に載置されたワークを撮像し、俯瞰画像を生成する第二カメラの一例である。ワーク判定部63は俯瞰画像に基づいてステージ上におけるワークWの位置を検出する検出手段の一例である。ステージ駆動部101は第一カメラに対してXY方向に相対的にステージを移動させる駆動手段の一例である。測定制御部62は検出手段により俯瞰画像から検出されたワークWの位置に基づき第一カメラの撮像視野内またはその近傍にワークが位置するよう駆動手段を制御し、第一カメラに当該ワークを撮像させてワーク画像を生成させる。なお、第一カメラの撮像視野内またはその近傍にワークWが位置するとは、撮像視野内にワークWの全体もしくは少なくとも一部が収まることを意味する。なお、撮像視野内にワークWが位置していないものの、撮像視野内の近くにワークWが位置していてもよい。サーチ部66は、第一カメラにより生成されたワーク画像におけるワークの詳細位置と姿勢を特定する特定手段の一例である。測定部67は、特定手段により特定されたワークWの詳細位置と姿勢に基づいて、ワーク画像におけるワークWの検査箇所を決定し、所定の検査処理を実行する検査手段の一例である。測定箇所の指定領域1101a、1101bは検査箇所の一例である。このように俯瞰画像を用いてワークWの位置が求められるため、ワークWの位置がより短時間で決定される。たとえば、ワークWが可動ステージ12の中央に載置されていなくても、ワークWの位置が短時間で決定可能となる。また、可動ステージ12上に複数のワークWが載置されている場合、各ワークWの位置が短時間で決定可能となる。
座標変換部68は、第二カメラの座標系における座標を第一カメラの座標系における座標に変換する座標変換手段の一例である。座標変換部68は、検出手段により俯瞰画像から検出されたワークの位置の座標を、第一カメラの座標系における座標に変換してもよい。測定制御部62は、座標変換部68により取得された第一カメラの座標系におけるワークの位置に基づき駆動手段を制御してもよい。
図3が示すように、ステージ側から見て、第二カメラは、一つ以上の俯瞰カメラを有し、第一カメラの周辺部に設けられていてもよい。また、第二カメラは、第一俯瞰カメラと第二俯瞰カメラとを有していてもよい。ステージ側から見て、第一カメラは、第一俯瞰カメラと第二俯瞰カメラとの間に設けられていてもよい。さらに、第一俯瞰カメラの撮像視野と第二俯瞰カメラの撮像視野とは異なっていてもよい。記憶装置70は、画像検査装置に対する第一俯瞰カメラの取り付け位置と取り付け姿勢に関する情報と、画像検査装置に対する第二俯瞰カメラの取り付け位置と取り付け姿勢に関する情報とを記憶する記憶手段として機能してもよい。このような情報は校正情報72として記憶装置70に保持されていてもよい。校正部69は、第一俯瞰カメラの取り付け位置と取り付け姿勢に関する情報に基づき第一俯瞰カメラの座標系を校正し、第二俯瞰カメラの取り付け位置と取り付け姿勢に関する情報に基づき第二俯瞰カメラの座標系を校正する校正手段の一例である。
俯瞰画像生成部65は、第一俯瞰カメラにより取得された画像と第二俯瞰カメラにより取得された画像とを連結することでステージの全体を含む俯瞰画像を生成する生成手段の一例である。
測定制御部62は、第一俯瞰カメラにより取得された画像と第二俯瞰カメラにより取得された画像とを連結することでステージの全体を含む俯瞰画像が生成されるように、駆動手段を制御する。これにより、第一俯瞰カメラおよび第二俯瞰カメラに対してステージが相対的に移動する。
第二カメラのテレセントリック性は第一カメラのテレセントリック性よりも低くてもよい。つまり、第二カメラは俯瞰画像の作成に有利であってもよい。第一カメラはワークWの測定に有利であってもよい。
図3を用いて、2つの俯瞰カメラを用いて俯瞰画像を作成する方法が説明された。しかし、1つの俯瞰カメラを用いて俯瞰画像を作成することも可能である。この場合、俯瞰カメラに用いられる光学系として広角のレンズが採用される。
図4を用いて説明された俯瞰画像の作成方法では、俯瞰カメラ17Lの撮像軸と俯瞰カメラ17Rの撮像軸との中心と、可動ステージ12の中心とが一致するように可動ステージ12が移動し、俯瞰カメラ17L、17Rが撮像を実行する。俯瞰画像の作成方法はこれに限定されることはない。
・図12(A)が示すように、コントローラ60は可動ステージ12を移動させる。
・図12(B)が示すように、コントローラ60は俯瞰カメラ12Rに撮像を実行させることで、部分的な俯瞰画像41aを取得する。
・図12(C)が示すように、コントローラ60は可動ステージ12を左方向に移動させ、俯瞰カメラ12Lに撮像を実行させることで、部分的な俯瞰画像41bを取得する。
・図12(D)が示すようにコントローラ60は俯瞰画像41aと俯瞰画像41bとを合成することで可動ステージ12の全体を示す俯瞰画像41dを生成する。
上述したように俯瞰カメラ17L、17Rの光学系は広角レンズを採用しているため、撮像視野の中心部と比較して撮像視野の周辺部では歪曲が大きくなる。そこで、俯瞰カメラ17L、17Rの撮像視野の中心部付近のみから俯瞰顔図が生成されてもよい。
・図13(A)が示すように、コントローラ60は可動ステージ12を移動させ、俯瞰カメラ12Rに撮像を実行させることで、部分的な俯瞰画像41aを取得する。
・図13(B)が示すように、コントローラ60は可動ステージ12を左方向に移動させ、俯瞰カメラ12Rに撮像を実行させることで、部分的な俯瞰画像41bを取得する。
・図13(C)が示すように、コントローラ60は可動ステージ12を左方向に移動させ、俯瞰カメラ12Lに撮像を実行させることで、部分的な俯瞰画像41cを取得する。
・図13(D)が示すように、コントローラ60は可動ステージ12を左方向に移動させ、俯瞰カメラ12Lに撮像を実行させることで、部分的な俯瞰画像41eを取得する。
・図13(E)が示すように、コントローラ60は可動ステージ12を左方向に移動させ、俯瞰カメラ12Lに撮像を実行させることで、部分的な俯瞰画像41fを取得する。
・図13(F)が示すようにコントローラ60は俯瞰画像41a、41b、41c、41d、41e、41fを合成することで可動ステージ12の全体を示す俯瞰画像41dを生成する。

Claims (12)

  1. ワークが載置されるステージと、
    前記ステージ上の撮像視野内の画像を生成する撮像手段と、
    前記撮像手段に対してXY方向に相対的に前記ステージを移動させることで、前記ステージ上の撮像視野を切り替える駆動手段と、
    前記撮像手段により生成された画像に前記ワークが含まれるかを判定する判定手段と、
    前記撮像手段、前記駆動手段および前記判定手段を制御する制御手段であって、
    前記判定手段により前記画像に前記ワークが含まれないと判定された場合、予め定められたシーケンスに従って前記駆動手段を制御することで前記ステージを移動させながら前記撮像手段に各撮像視野における画像を生成させ、各画像に前記ワークが含まれるかを前記判定手段に判定させるワーク探索処理を繰り返す第一ステージ動作を実行し、
    前記判定手段により前記画像に前記ワークが含まれると判定された場合、当該画像が取得された前記ステージ上の撮像視野の周囲に位置する複数の撮像視野のうち、前記ワークが延出する方向に位置する一つ以上の撮像視野内の画像を前記撮像手段に生成させるよう前記駆動手段に前記ステージを移動させる第二ステージ動作を実行し、
    前記第一ステージ動作において前記ワークを含む画像が見つかった場合、前記第一ステージ動作から前記第二ステージ動作に切り替える制御手段と、
    前記第二ステージ動作において生成された複数の画像を連結し、前記ワークの全体を含む連結画像を生成する画像連結手段と、
    連結画像を表示する表示手段とを有し、
    前記判定手段により、前記撮像視野内にワークの少なくとも一部が含まれないと判定された場合には、前記撮像手段の撮像条件に従って、所定のシーケンスに従って連結画像の生成を続けることを特徴とする画像測定装置。
  2. 前記制御手段は、前記第一ステージ動作において前記ワークを含む画像が見つかった場合、当該画像に基づいて前記撮像手段の撮像条件を調整し、前記第二ステージ動作において当該調整された撮像条件を使用することを特徴とする請求項1に記載の画像測定装置。
  3. ワークが載置されるステージと、
    前記ステージ上の撮像視野内の画像を生成する撮像手段と、
    前記撮像手段に対してXY方向に相対的に前記ステージを移動させることで、前記ステージ上の撮像視野を切り替える駆動手段と、
    前記撮像手段により生成された画像に前記ワークが含まれるかを判定する判定手段と、
    前記撮像手段、前記駆動手段および前記判定手段を制御する制御手段であって、
    前記判定手段により前記画像に前記ワークが含まれないと判定された場合、予め定められたシーケンスに従って前記駆動手段を制御することで前記ステージを移動させながら前記撮像手段に各撮像視野における画像を生成させ、各画像に前記ワークが含まれるかを前記判定手段に判定させるワーク探索処理を繰り返す第一ステージ動作を実行し、
    前記判定手段により前記画像に前記ワークが含まれると判定された場合、当該画像が取得された前記ステージ上の撮像視野の周囲に位置する複数の撮像視野のうち、前記ワークが延出する方向に位置する一つ以上の撮像視野内の画像を前記撮像手段に生成させるよう前記駆動手段に前記ステージを移動させる第二ステージ動作を実行し、
    前記第一ステージ動作において前記ワークを含む画像が見つかった場合、前記第一ステージ動作から前記第二ステージ動作に切り替える制御手段と、
    前記第二ステージ動作において生成された複数の画像を連結し、前記ワークの全体を含む連結画像を生成する画像連結手段と、
    連結画像を表示する表示手段とを有し、
    前記制御手段は、
    前記ワークの測定箇所を設定する設定モードと、当該設定モードにより設定された測定箇所に対して測定をおこなう測定モードとを有し、
    前記測定モードにおいて、前記連結画像に対してパターンサーチを実行することで前記設定モードにおいて設定された測定箇所のステージ座標を特定し、当該ステージ座標において、前記設定モードにおいて当該測定箇所に設定された撮像条件を使用して、当該測定箇所を前記撮像手段に再度撮像させ、当該再度撮像して生成された画像を用いて前記測定箇所のエッジを抽出することを特徴する画像測定装置。
  4. ワークが載置されるステージと、
    前記ステージ上の撮像視野内の画像を生成する撮像手段と、
    前記撮像手段に対してXY方向に相対的に前記ステージを移動させることで、前記ステージ上の撮像視野を切り替える駆動手段と、
    前記撮像手段により生成された画像に前記ワークが含まれるかを判定する判定手段と、
    前記撮像手段、前記駆動手段および前記判定手段を制御する制御手段であって、
    前記判定手段により前記画像に前記ワークが含まれないと判定された場合、予め定められたシーケンスに従って前記駆動手段を制御することで前記ステージを移動させながら前記撮像手段に各撮像視野における画像を生成させ、各画像に前記ワークが含まれるかを前記判定手段に判定させるワーク探索処理を繰り返す第一ステージ動作を実行し、
    前記判定手段により前記画像に前記ワークが含まれると判定された場合、当該画像が取得された前記ステージ上の撮像視野の周囲に位置する複数の撮像視野のうち、前記ワークが延出する方向に位置する一つ以上の撮像視野内の画像を前記撮像手段に生成させるよう前記駆動手段に前記ステージを移動させる第二ステージ動作を実行し、
    前記第一ステージ動作において前記ワークを含む画像が見つかった場合、前記第一ステージ動作から前記第二ステージ動作に切り替える制御手段と、
    前記第二ステージ動作において生成された複数の画像を連結し、前記ワークの全体を含む連結画像を生成する画像連結手段と、
    連結画像を表示する表示手段とを有し、
    前記ステージにおける各撮像視野のステージ座標に関する情報を記憶する記憶手段をさらに有し、
    前記制御手段は、前記第一ステージ動作において見つかった前記ワークの少なくとも一部を含む画像の撮像視野のステージ座標と、当該ワークが延出する方向に関する情報と、前記記憶手段に記憶されている各撮像視野のステージ座標に関する情報とに基づき、前記第二ステージ動作における前記ステージの移動方向を決定することを特徴とする画像測定装置。
  5. 前記撮像条件は、前記撮像手段の光学系の合焦位置、光学倍率、絞り条件、照明条件および露光時間の少なくとも一つを含むことを特徴とする請求項1乃至3のいずれか一項に記載の画像測定装置。
  6. 前記制御手段は、前記ワークの測定箇所を設定する設定モードと、当該設定モードにより設定された測定箇所に対して測定をおこなう測定モードとを有し、
    前記画像連結手段は、前記設定モードにおいて前記連結画像を生成することを特徴とする請求項1または4に記載の画像測定装置。
  7. 透光性を有する前記ステージの下方から前記ワークに光を照射する透過照明と、
    前記ステージの上方から前記ワークに光を照射する落射照明と、をさらに有し、
    前記画像連結手段は、前記落射照明により光を照射された前記ワークの画像を連結することで前記連結画像を生成し、
    前記判定手段は、前記透過照明により光を照射された前記ワークの画像に前記ワークが含まれるかを判定することを特徴とする請求項1乃至のいずれか一項に記載の画像測定装置。
  8. 前記設定モードにおいて前記表示手段に表示された前記連結画像に含まれている前記ワークに対して測定箇所となるエッジ抽出領域と前記画像の撮像条件の指定を受け付ける受付手段と、
    前記受付手段により受け付けられた撮像条件に基づき、前記測定箇所となるエッジを抽出するために必要となる画像の枚数を設定する設定手段とをさらに有することを特徴とする請求項3または6に記載の画像測定装置。
  9. 前記判定手段は、前記画像における輝度値に基づき、前記ワークの境界部をエッジとして判定することを特徴する請求項1乃至のいずれか一項に記載の画像測定装置。
  10. 前記ステージにおける各撮像視野のステージ座標に関する情報を記憶する記憶手段をさらに有し、
    前記制御手段は、前記第一ステージ動作において見つかった前記ワークの少なくとも一部を含む画像の撮像視野のステージ座標と、当該ワークが延出する方向に関する情報と、前記記憶手段に記憶されている各撮像視野のステージ座標に関する情報とに基づき、前記第二ステージ動作における前記ステージの移動方向を決定することを特徴とする請求項1、2、3および5のいずれか一項に記載の画像測定装置。
  11. 前記制御手段は、前記第二ステージ動作において前記撮像手段による画像の生成と前記駆動手段による前記ステージの移動と並行して前記画像連結手段に前記連結画像を生成させるか、または、前記第二ステージ動作において前記撮像手段による複数の画像の生成が完了した後で前記画像連結手段に連結画像を生成させることを特徴とする請求項1乃至10のいずれか一項に記載の画像測定装置。
  12. ワークが載置されるステージと、
    前記ステージ上の撮像視野内の画像を生成する撮像手段と、
    前記撮像手段に対してXY方向に相対的に前記ステージを移動させることで、前記ステージ上の撮像視野を切り替える駆動手段と、を有する画像測定装置の制御方法であって、
    前記撮像手段により生成された画像にワークが含まれないと判定された場合、予め定められたシーケンスに従って前記駆動手段を制御することで前記ステージを移動させながら前記撮像手段に各撮像視野における画像を生成させ、各画像に前記ワークが含まれるかを判定するワーク探索処理を繰り返す第一ステージ動作を実行することと、
    前記撮像手段により生成された画像に前記ワークが含まれると判定された場合、当該画像が取得された前記ステージ上の撮像視野の周囲に位置する複数の撮像視野のうち、前記ワークが延出する方向に位置する一つ以上の撮像視野内の画像を前記撮像手段に生成させるよう前記駆動手段に前記ステージを移動させる第二ステージ動作を実行することと、
    前記第一ステージ動作において前記ワークを含む画像が見つかった場合、前記第一ステージ動作から前記第二ステージ動作に切り替えることと、
    前記第二ステージ動作において生成された複数の画像を連結し、前記ワークの全体を含む連結画像を生成することと、
    連結画像を表示することとを有し、
    前記撮像視野内にワークの少なくとも一部が含まれないと判定された場合には、前記撮像手段の撮像条件に従って、所定のシーケンスに従って連結画像の生成を続けることを特徴とする画像測定装置の制御方法。
JP2018162780A 2018-08-31 2018-08-31 画像測定装置 Active JP7152223B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018162780A JP7152223B2 (ja) 2018-08-31 2018-08-31 画像測定装置
US16/527,078 US11024049B2 (en) 2018-08-31 2019-07-31 Image measurement apparatus
DE102019212960.9A DE102019212960A1 (de) 2018-08-31 2019-08-29 Bildmessvorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018162780A JP7152223B2 (ja) 2018-08-31 2018-08-31 画像測定装置

Publications (3)

Publication Number Publication Date
JP2020034483A JP2020034483A (ja) 2020-03-05
JP2020034483A5 JP2020034483A5 (ja) 2021-05-13
JP7152223B2 true JP7152223B2 (ja) 2022-10-12

Family

ID=69527475

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018162780A Active JP7152223B2 (ja) 2018-08-31 2018-08-31 画像測定装置

Country Status (3)

Country Link
US (1) US11024049B2 (ja)
JP (1) JP7152223B2 (ja)
DE (1) DE102019212960A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7252018B2 (ja) 2019-03-18 2023-04-04 株式会社キーエンス 画像測定装置
JP7222764B2 (ja) 2019-03-18 2023-02-15 株式会社キーエンス 画像測定装置
KR20230037587A (ko) * 2020-07-15 2023-03-16 파나소닉 아이피 매니지먼트 가부시키가이샤 촬상 시스템, 검사 시스템, 정보 처리 장치, 정보 처리 방법 및 그 프로그램, 그리고 촬상 제어 방법 및 그 프로그램

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013171425A (ja) 2012-02-21 2013-09-02 Mitsutoyo Corp 画像処理装置
US20140160492A1 (en) 2012-12-06 2014-06-12 Kui Kam Lam Apparatus and method for locating a plurality of placement positions on a carrier object
WO2015102057A1 (ja) 2014-01-06 2015-07-09 富士通株式会社 画像処理方法、画像処理システム、およびプログラム
JP2017053671A (ja) 2015-09-08 2017-03-16 キヤノン株式会社 形状測定方法
WO2017073344A1 (ja) 2015-10-27 2017-05-04 富士フイルム株式会社 撮像システム、並びにオブジェクト検出装置及びその作動方法
JP2018101437A (ja) 2015-09-11 2018-06-28 富士フイルム株式会社 走行支援装置、走行支援装置による走行支援方法及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5095644B2 (ja) 2009-01-23 2012-12-12 株式会社キーエンス 画像計測装置及びコンピュータプログラム
JP5597056B2 (ja) 2010-08-02 2014-10-01 株式会社キーエンス 画像測定装置、画像測定方法及び画像測定装置用のプログラム
US10176452B2 (en) * 2014-06-13 2019-01-08 Conduent Business Services Llc Store shelf imaging system and method
JP6474334B2 (ja) * 2015-07-30 2019-02-27 株式会社キーエンス 画像検査装置、画像検査方法および画像検査プログラム
JP6663808B2 (ja) * 2016-07-04 2020-03-13 株式会社キーエンス 画像測定装置
JP6663807B2 (ja) 2016-07-04 2020-03-13 株式会社キーエンス 画像測定装置
JP6522181B2 (ja) 2018-02-09 2019-05-29 株式会社キーエンス 画像測定器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013171425A (ja) 2012-02-21 2013-09-02 Mitsutoyo Corp 画像処理装置
US20140160492A1 (en) 2012-12-06 2014-06-12 Kui Kam Lam Apparatus and method for locating a plurality of placement positions on a carrier object
WO2015102057A1 (ja) 2014-01-06 2015-07-09 富士通株式会社 画像処理方法、画像処理システム、およびプログラム
JP2017053671A (ja) 2015-09-08 2017-03-16 キヤノン株式会社 形状測定方法
JP2018101437A (ja) 2015-09-11 2018-06-28 富士フイルム株式会社 走行支援装置、走行支援装置による走行支援方法及びプログラム
WO2017073344A1 (ja) 2015-10-27 2017-05-04 富士フイルム株式会社 撮像システム、並びにオブジェクト検出装置及びその作動方法

Also Published As

Publication number Publication date
DE102019212960A1 (de) 2020-03-05
US20200074663A1 (en) 2020-03-05
US11024049B2 (en) 2021-06-01
JP2020034483A (ja) 2020-03-05

Similar Documents

Publication Publication Date Title
JP5547105B2 (ja) 寸法測定装置、寸法測定方法及び寸法測定装置用のプログラム
US9341465B2 (en) Dimension measuring apparatus, dimension measuring method, and program for dimension measuring apparatus
US10262431B2 (en) Three-dimensional measurement device
JP7152223B2 (ja) 画像測定装置
JP7154069B2 (ja) 画像検査装置
US9772480B2 (en) Image measurement device
US6291817B1 (en) Moire apparatus having projection optical system and observation optical system which have optical axes parallel to each other
JP6791631B2 (ja) 画像生成方法及び検査装置
JP4090860B2 (ja) 3次元形状測定装置
JP2018081115A (ja) 画像測定器
JP7093915B2 (ja) 表面形状測定方法
US11776110B2 (en) Image measuring apparatus
US20150241680A1 (en) Image Measurement Device
US10846881B2 (en) Image measuring apparatus
JP7154084B2 (ja) 三次元形状測定装置および三次元形状測定プログラム
JP6722522B2 (ja) 三次元測定装置及びその制御方法
CN110945398A (zh) 数字化确定焦点位置
JP6524680B2 (ja) 撮像システム、距離情報の取得方法及び距離情報の生産方法
JP7222765B2 (ja) 画像測定装置
JP2021051090A (ja) 表面形状測定方法
JP6928803B2 (ja) 撮像装置
CN115150545B (zh) 获取三维测量点的测量系统
JPH11271033A (ja) 三次元形状物体撮像装置
JP7240913B2 (ja) 画像測定装置
CN114543697A (zh) 测量设备、控制设备和控制方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210329

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210329

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220929

R150 Certificate of patent or registration of utility model

Ref document number: 7152223

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150