JPWO2015019978A1 - 焦点調節方法およびその装置 - Google Patents

焦点調節方法およびその装置 Download PDF

Info

Publication number
JPWO2015019978A1
JPWO2015019978A1 JP2015530866A JP2015530866A JPWO2015019978A1 JP WO2015019978 A1 JPWO2015019978 A1 JP WO2015019978A1 JP 2015530866 A JP2015530866 A JP 2015530866A JP 2015530866 A JP2015530866 A JP 2015530866A JP WO2015019978 A1 JPWO2015019978 A1 JP WO2015019978A1
Authority
JP
Japan
Prior art keywords
image
captured
imaging
focus
substrate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015530866A
Other languages
English (en)
Other versions
JP6606749B2 (ja
Inventor
生島 和正
和正 生島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Musashi Engineering Inc
Original Assignee
Musashi Engineering Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Musashi Engineering Inc filed Critical Musashi Engineering Inc
Publication of JPWO2015019978A1 publication Critical patent/JPWO2015019978A1/ja
Application granted granted Critical
Publication of JP6606749B2 publication Critical patent/JP6606749B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/26Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G01B11/27Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes for testing the alignment of axes
    • G01B11/272Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes for testing the alignment of axes using photoelectric detection means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30148Semiconductor; IC; Wafer

Abstract

課題:様々な形状の物体が映し出された画像の中から選択した任意の物体の特徴点に自動で焦点を合わせることができる、焦点調節方法およびその装置の提供。解決手段:基板が載置されるワークテーブルと、オートフォーカス機能を有しない撮像装置と、ワークテーブルと撮像装置とを相対移動させるXYZ駆動装置と、撮像装置が撮像した画像を記憶する記憶装置と、画像表示領域を表示する表示装置と、画像表示領域内の任意の位置を指定可能とする入力装置と、記憶装置に記憶した複数枚の撮像画像に画像処理を実施し、各撮像画像のコントラストに基づき合焦画像を判定する合焦判定装置と、撮像装置およびXYZ駆動装置の動作を制御する制御装置とを備える作業装置を用いた焦点調節方法であって、撮像装置により基板の部分を撮像した部分撮像画像を取得し、複数の分割領域を有する画像表示領域に表示させる第1ステップ、入力装置を介してユーザが選択した一つの分割領域に対して、合焦判定装置により合焦画像判定をする第2ステップ、合焦画像と判定された撮像画像を画像表示領域に表示する第3ステップ、を有する焦点調節方法およびその装置。

Description

本発明は、焦点調節方法およびその装置に関し、例えば、電気・電子部品が実装された基板に対して塗布や検査等の作業を行う前に実行される、位置ずれや傾き補正のための基準位置ティーチングを行う際に用いる焦点調節方法およびその装置に関する。
電気・電子部品が実装された基板に対して塗布や検査などの作業を行うときには、処理前にアライメントと呼ばれる操作が必要である。ここにいうアライメントとは、作業装置のワークテーブルに載置される基板の基準位置からのずれを計測し、そのずれを補正する操作である。アライメントを行うには、基準となる特徴点とその位置を設定する必要がある。基準となる特徴点には、通常、基板面に設けられるアライメントマークを用いるが、実装された部品の角部や印刷された文字などを用いることもある。しかし、実装基板には大きさや高さなどの形状がまちまちである部品が数多く実装されているため、部品をアライメント基準に用いるには、部品の高さに合わせてカメラの焦点を調節する必要がある。
実装基板に処理を行う装置において焦点を調節するには、単焦点レンズを備えるカメラと基板との相対距離を変更する機構を備え、相対距離を変更していくことで焦点を合わせるという技術が多く用いられる。例えば、特許文献1には、基板に実装された電子部品の実装状態を撮像する撮像手段と、この撮像手段を基板に実装された電子部品に対して接離する方向に駆動する駆動手段と、撮像手段からの画像信号に基づいて撮像手段の焦点が所定の位置に合っているか否かを判定する判定手段と、この判定手段の判定に基づいて駆動手段を作動させて撮像手段を駆動しこの撮像手段の焦点を所定の位置に合わせる駆動制御手段と、撮像手段の焦点が所定の位置に合わされたときの駆動手段による撮像手段の焦点位置が格納蓄積される記憶手段と、撮像手段の焦点の位置合わせを繰り返して行うとき、記憶手段に格納蓄積された撮像手段の焦点位置に基づいて撮像手段の駆動範囲を設定する設定手段とを具備した検査装置、が開示される。
また、特許文献2には、ワーク表面を観測するための撮像手段と、ワークとの相対距離を変動するためのステージと、ステージを移動中、撮像手段を複数回撮像させる撮像制御手段と、撮像制御手段によって得られた複数画像中の最大コントラストの映像を判別し、判別された画像だけを用いてワーク位置を決定する制御手段とを備えるワーク表面測定装置、が開示される。
基準位置を設定するとき、焦点位置も併せて設定するという技術がこれまでにいくつか提案されている。例えば、特許文献3には、撮像装置における撮像光学系のフォーカス調節を行うためのフォーカス調節手段と、被検査基板の各検査領域についてフォーカス情報を教示するための教示手段と、教示手段により教示されたフォーカス情報を検査領域と対応させて記憶させる記憶手段と、各検査領域の検査に際して、記憶手段に記憶されたフォーカス情報に従いフォーカス調節手段を作動させて撮像光学系のフォーカスを自動調節する制御手段とを備えてなる実装部品検査装置、が開示される。
また、特許文献4には、ズーミング機構及びフォーカシング機構を備えてプリント基板を複数の倍率で撮像可能なTVカメラと、撮像倍率毎にプリント基板上を複数のエリアに分割し、各倍率のエリアを撮像する前にそれぞれTVカメラのズーミング及びフォーカシングを制御する手段を有するプリント基板検査装置、が開示される。
特開2010−109164号公報 特開平11−325851号公報 特開平6−174446号公報 特開昭62−180252号公報
しかしながら、カメラ視野内(換言すると、モニタ等により出力された画像内)には基板面や部品など様々な形状の物体が映し出されており、その中から焦点を合わせる対象物を決定するには、作業者の人的判断を要していた。すなわち、自動で合焦の対象物を選択するのは難しかった。
さらに、選択した対象物にのみ選択的に焦点を合わせるには、ソフトウエアによる特別な画像の加工処理または対象物のみが映るような位置にカメラを移動させる人的作業などが必要であった。
カメラを垂直方向に移動させるのではなく、オートフォーカス機構を備えたレンズ(市販のスチールカメラに備わっているものと同様のもの)を使用することも考えられるが、大型で重いため相対移動装置をも大型化する必要があり、またかかるレンズは高価であるため装置コストの増加の原因となるという課題がある。
そこで、本発明は、上記課題を解決し、様々な形状の物体が映し出された画像の中から選択した任意の物体の特徴点に自動で焦点を合わせることができる、焦点調節方法およびその装置を提供することを目的とする。
焦点調節方法に係る本発明は、基板が載置されるワークテーブルと、オートフォーカス機能を有しない撮像装置と、ワークテーブルと撮像装置とを相対移動させるXYZ駆動装置と、撮像装置が撮像した画像を記憶する記憶装置と、画像表示領域を表示する表示装置と、画像表示領域内の任意の位置を指定可能とする入力装置と、記憶装置に記憶した複数枚の撮像画像に画像処理を実施し、各撮像画像のコントラストに基づき合焦画像を判定する合焦判定装置と、撮像装置およびXYZ駆動装置の動作を制御する制御装置とを備える作業装置を用いた焦点調節方法であって、撮像装置により基板の部分を撮像した部分撮像画像を取得し、複数の分割領域を有する画像表示領域に表示させる第1ステップ、入力装置を介してユーザが選択した一つの分割領域に対して、合焦判定装置により合焦画像判定をする第2ステップ、合焦画像と判定された撮像画像を画像表示領域に表示する第3ステップ、を有することを特徴とする焦点調節方法である。
上記焦点調節方法に係る本発明では、前記基板が、その表面に高さの異なる複数の物体が配置された基板であり、前記第1ステップにおいて、少なくとも1つの物体が含まれるように基板の部分を撮像することを特徴としてもよく、さらに、前記第1ステップにおいて、少なくとも2つの物体が含まれるように基板の部分を撮像することを特徴としてもよい。ここで、前記物体のうち、少なくとも一つの物体が方形状であり、前記画像表示領域が、4つの分割領域に等分されることが好ましい。
上記焦点調節方法に係る本発明では、前記第2ステップにおいて、撮像装置をZ方向に移動させながら連続的に撮像画像を取得し、当該撮像画像をその撮像時のZ座標値と共に記憶装置に記憶し、ユーザが選択した一つの分割領域内における各撮像画像のコントラストにピークを有する撮像画像を合焦画像と判定し、当該撮像画像に合焦識別フラグを付け、撮像装置の移動および撮像を停止することを特徴としてもよい。
上記焦点調節方法に係る本発明では、前記第2ステップにおいて、撮像装置をZ方向に移動させながら連続的に撮像画像を取得し、当該撮像画像をその撮像時のZ座標値と共に記憶装置に記憶し、ユーザが選択した一つの分割領域内における各撮像画像が判定基準値を満たす場合に合焦画像と判定し、当該撮像画像に合焦識別フラグを付けること、前記第3ステップにおいて、合焦識別フラグが付された全ての撮像画像を並べて表示することを特徴としてもよく、さらに、前記第3ステップにおいて、合焦画像における合焦物体の高さ情報を同時に表示することを特徴としてもよい。
作業装置に係る本発明は、基板が載置されるワークテーブルと、オートフォーカス機能を有しない撮像装置と、ワークテーブルと撮像装置とを相対移動させるXYZ駆動装置と、撮像装置が撮像した画像を記憶する記憶装置と、画像表示領域を表示する表示装置と、画像表示領域内の任意の位置を指定可能とする入力装置と、記憶装置に記憶した複数枚の撮像画像に画像処理を実施し、各撮像画像のコントラストに基づき合焦画像を判定する合焦判定装置と、撮像装置およびXYZ駆動装置の動作を制御する制御装置とを備える作業装置であって、制御装置が、撮像装置により基板の部分を撮像した部分撮像画像を取得し、表示装置の画像表示領域に表示させ、かつ、表示装置の画像表示領域に複数の分割領域を表示させ、入力装置を介してユーザが選択した一つの分割領域に対して、合焦判定装置により合焦画像判定をさせ、合焦画像と判定された撮像画像を表示装置の画像表示領域に表示させることを特徴とする作業装置である。
上記作業装置に係る本発明では、さらに、ノズルを有する吐出装置と、吐出装置およびXYZ駆動装置を連結する取付部材とを備えることを特徴としてもよい。
上記作業装置に係る本発明では、前記表示装置が、タッチパネルを有する表示装置であり、前記入力装置が、タッチパネルに表示されたボタンにより構成されることを特徴としてもよい。
本発明によれば、撮像装置の視野内に様々な形状の物体が映し出された画像の中から選択した任意の物体の特徴点に自動合焦することを、廉価な装置構成により実現することが可能である。
実施形態例に係る作業装置の全体斜視図である。 実施形態例に係る作業装置の操作画面を説明する図である。 実施形態例に係る焦点合わせの方法を説明する図である。ここで、(a)は配線に焦点が合っている画像、(b)は部品に焦点が合っている画像、(c)は基板および撮像装置を側面から見た図を表している。 (a)撮像装置3の走査路を示す上面図、(b)基板の全体画像を示す上面図である。 実施形態例に係る作業装置におけるティーチングを説明する図である。ここで、(a)は第一の位置における撮像画像Aであり、(b)は全体画像における位置指示を説明する図であり、(c)は第二の位置における撮像画像Bである。 実施形態に係る複数焦点判定の説明をする図である。 実施形態に係る複数焦点判定の操作画面を説明する図である。
以下に、本発明を実施するための形態例を説明する。
<装置>
本発明に係る焦点調節方法を実施する作業装置1を図1に示す。
本実施形態の作業装置1は、撮像装置3と、X駆動装置4と、Y駆動装置5と、Z駆動装置6と、各駆動装置(4、5、6)の動作を制御する制御装置10として機能するコンピュータ11と、から主に構成される。
撮像装置3は、ワークテーブル2に載置された基板17の画像を撮像するためのものであり、例えば約24万画素(512×480ピクセル)のCCDカメラを用いる。重量およびコストの観点から、レンズ構成枚数が少ない単焦点レンズを用いることが好ましい。本発明では、Z駆動装置6により撮像装置3を昇降できるので、ズームレンズは不要である。他方で、ワークの位置・寸法を高精度で測定するために、比較的倍率が高く被写界深度が浅い高倍率のレンズを用いることが必要である。このようなレンズとして、例えば倍率が2〜8倍、被写界深度が0.05〜0.5mmのレンズを使用することが開示される。
撮像装置3は、撮像した画像をソフトウェアで処理することができるものであればCCDカメラ以外のものを採用することもでき、必要に応じて拡大レンズや照明を備えてもよい。
撮像装置3の被写体(ワーク)は、例えば半導体素子が実装される基板であり、基板表面には配線パターンが形成されている。被写体が方形状の半導体チップであり、アンダーフィルや封止などの基板への塗布工程のための焦点調節が行われる場合には、半導体チップの角を塗布開始基準位置(すなわち、アライメントマーク)とすることができる。なお、アライメントマークとなる物体の特徴点は、方形状の物体の角に限定されない。
撮像装置3は取付部材20を介してZ駆動装置6に搭載され、上下方向(符号9)に移動可能とされている。Z駆動装置6はX駆動装置4に搭載され、左右方向(符号7)に移動可能とされている。板状の取付部材20には、液体材料の吐出を行う吐出装置18や基板17の状態を検査する検査装置19が設置されており、撮像装置3と共に各駆動装置(4、5、6)により各方向(符号7、8、9)にワークテーブル2に対し相対移動可能となっている。
基板17を載置するワークテーブル2は、Y駆動装置5に搭載され、前後方向(符号8)に移動可能とされている。
各駆動装置(4、5、6)は、微小距離間隔(例えば0.1mm以下の精度)で連続的に位置決めをすることができ、例えばボールネジと電動モータとの組み合わせや、リニアモータを用いることができる。
コンピュータ11は、撮像装置3が撮像した画像の処理を行い、合焦判定をする合焦判定装置12、撮像装置3が撮像した画像を表示する表示装置13、設定値の入力や各種操作を行うための入力装置14、および画像や数値などを記憶する記憶装置15を備えており、汎用的なパーソナルコンピュータ(PC)により構成することが可能である。コンピュータ11は、接続ケーブル16を介して作業装置1と接続される。本実施形態のコンピュータ11の表示装置13は、例えばタッチパネルであり、入力装置14としても機能する。すなわち、本実施形態では表示装置13が入力手段を備えるため、キーボードやマウス等の入力デバイスがなくとも操作できるようになっている。なお、表示装置13を表示機能のみを備える液晶ディスプレイ等で構成し、キーボードやマウス等の物理入力デバイスにより入力装置14を構成してもよい。
<操作画面>
本実施形態の作業装置1は、タッチパネルである表示装置13の画面上から操作を行う。図2に、操作画面21の説明図を示す。
操作画面21は、撮像装置3が撮像した画像を表示する画像表示領域22と、後述する合焦の対象となる画像表示領域を選択するための選択ボタン23と、画像および座標値を記憶する操作を行うための記憶ボタン24と、後述する複数焦点判定ボタン25と、撮像装置3が現在の位置で実際に撮像している画像を表示させるためのカメラ画像表示ボタン26と、予め撮像した基板17の全体画像38を表示するための全体画像表示ボタン27とを備えている。
画像表示領域22は、被写体(ワーク)の凹凸の状況に応じて、例えば2〜16個の領域に等分した分割領域を有している。この分割領域は、分割領域を囲む枠線などによりユーザに視認可能な態様で表示されている。被写体(ワーク)に方形状の物体が配置されている場合、その角にアライメントマークが設定されることが多く、この場合分割領域の全部を当該物体が占めるようにすべく、画像表示領域22を4つに等分割することが好ましい。本実施形態では、画像表示領域22をA〜Dの4つの領域に等分割している。すなわち、A〜Dの各領域の画素数は、256×240ピクセルである。
本実施形態の選択ボタン23は、5つの領域(a〜e)に区画されており、角の4つのボタン(a〜d)の位置は画像表示領域22を縦横に4分割したときのそれぞれの分割領域(A〜D)の位置に対応している。中央のボタンeは、画像表示領域22における分割領域全体(A+B+C+D)の中で焦点を合わせたい場合に使用する。
<焦点調節動作>
焦点自動調節動作を図3および図4を参照しながら説明する。
図3は、基板17の上面に配線28と部品A29が実装された場合を例示するものである。図3(a)および(b)は、基板17の一部を上面から撮像した画像であり、分割領域BおよびDを縦断するように配線28が写し出され、分割領域Cの全体に部品A29が映し出されている。ここで、図3(a)では配線28に焦点が合っており、図3(b)では部品A29に焦点が合っている。図3(c)は、基板17と撮像装置3の位置関係を示す側面図である。
図4(a)は撮像装置3の走査路37を示す上面図、図4(b)は基板17の全体画像38を示す上面図である。撮像装置3のレンズ35を、X駆動装置4およびY駆動装置5により走査路37に沿って移動させながら撮像を行うことで、基板17の全体像を取得する。撮像装置3の一回あたりの撮像画像(部分撮像画像)は符号36に示すとおりであり、撮像視野には基板の一部しか表示されない。そのため、図4では24回撮像を行うことにより、基板17の全体像を取得している。図4(b)に示す基板17の全体画像38は、24枚の撮像画像をつなぎ合わせて作成している。
焦点自動調節動作は、撮像装置3の一回あたりの撮像画像36を4つの画像表示領域A〜Dに分割することにより行われる。
以下では分割領域BおよびDを縦断する配線28に焦点を合わせる場合の操作手順を説明する。
まず、操作画面21には、分割領域BおよびDを縦断する配線28が表示されている。この段階では、通常は焦点が合わない状態にある。この状態において、配線28が映っている分割領域BまたはDに対応する選択ボタン23bまたは23dを押す。これにより、撮像装置3はZ駆動装置6により下降移動する(水平移動はしない)。ここで、Z駆動装置6の下降移動は、撮像装置3を数mm(例えば2mm程度)上昇させた後に開始することが好ましい。焦点が合ったかどうかの判断は複数枚の撮像画像の比較によって行うところ、動作開始位置でちょうど焦点が合っていた場合、比較対象画像がないために合焦の判断ができず、合焦位置を通過してしまう可能性があるためである。
撮像装置3は、下降移動をしながら選択した分割領域に対応する基板17の上面を連続的に撮像し、撮像画像を撮像位置のZ座標値と共に逐次記憶装置15に記憶する。撮像装置3は、例えば2mm/秒の速度で60mmの下降移動を行い、0.02mm刻みで撮像を行う。すなわち、本実施形態では、最大で3000枚の画像を取得する。
合焦判定装置12は、コンピュータ11の演算装置に合焦判定処理をさせるソフトウェアにより実現することができる。すなわち、コンピュータ11の演算装置は、記憶装置15に記憶した複数枚の撮像画像に画像処理を実施し、コントラストにピークを有する画像を合焦画像と判定し、合焦識別フラグを付ける。この合焦判定処理に要する時間は、例えば2〜3秒程度である。
コンピュータ11の演算装置による画像処理では、各撮像画像内の隣り合う画素同士の色値の差を全ての画素について求め、その値を記憶装置15に記憶し、色値の差が最大となる画素を含む撮像画像を合焦画像と判定する。本実施形態では、色値を256階調で表現しているがこれに限定されず、例えば4096階調や65536階調としてもよい。この画像処理は、撮像装置3の下降移動と並行して行われ、合焦画像が判定された場合には撮像装置3の下降移動は停止する。色値の差は、下降動作とともに増加し、ピークを迎えて減少に転ずる傾向にあることから、本実施形態ではピークが現れたZ方向位置を合焦位置と判定している。なお、ピークは必ずしも一つとは限らないが、本実施形態では、最初のピークを検出した時点で下降動作を停止する仕様としている。合焦の対象となる物体の画像は、操作画面21の画像表示領域22に明瞭に表示される。例えば、図3(a)では配線28に焦点が合っている。合焦の対象となる物体は、基板上に設けられた凹部であってもよい。
撮像装置3のZ軸方向下降動作には、ユーザーの設定により下限値が設けられており、合焦画像の判定がなくとも、下限値で下降動作が自動停止する仕様となっている。この下限値は、撮像装置3や吐出装置18が基板17の上面または搭載部品に衝突しないように選ぶ必要がある。下限値まで撮像装置3の下降動作を行っても合焦画像を見つけられなかった場合は、下限位置から撮像装置3を上昇移動させながら上述の画像処理を行い、再びコントラストにピークを有する画像(すなわち合焦画像)を探索する。上昇動作は、Z軸の原点位置まで行うようにするとよい。
以上が配線28に焦点を合わせる場合の操作手順である。基板17の左下に位置する(すなわち分割領域Cに位置する)部品A29に焦点を合わせたい場合は、操作画面21において、選択ボタン(23c)を押すことで前述の焦点調節動作が開始される。これにより、選択した画像表示領域における焦点調節を自動で行うことができ、部品A29に焦点が合った図3(b)の撮像画像が取得できる。
このように、本実施形態の焦点調節手法によれば、選択された画像表示領域の分割領域内にある基板上の物体に自動で合焦することが可能である。また、撮像装置のZ軸方向下降動作には下限値が設けられているため、撮像装置が基板上の物体に衝突するおそれもない。
本実施形態では、複数の物体(部品、配線等)が実装された基板において、分割領域内に一種類の物体が実装されていることを前提としているが、各分割域内に複数種類の物体が実装されている場合は、後述する複数焦点判定機能により任意の焦点位置を選択することも可能である。
<ティーチング>
アライメントを行うための基準位置のティーチングの一例を図5を参照しながら説明する。以下の手順は、塗布位置や検査位置などを設定する場合にも適用することが可能である。
ティーチングは、2点の基準位置をコンピュータに記憶させることにより行うことが一般的である。精度の点からは、基板上のある程度離れた位置にある2点を基準位置に設定することが好ましく、例えば、基板の右上近傍と右下近傍であったり(縦の関係)、基板の右上近傍と左上近傍であったり(横の関係)、基板の右上近傍と左下近傍であったりする(対角の関係)。
以下では、第一の位置における撮像画像36Aでのティーチングを終え、第二の位置における撮像画像36Bでのティーチングを行う場合の手順を説明する。
図5(a)は第一の位置における撮像画像36Aであり、図5(b)は全体画像38における位置指示を説明する図であり、(c)は第二の位置における撮像画像36Bである。
(1)撮像画像36Aが画像表示領域22に表示された状態において、「全体画像表示ボタン27」を押すと、画像表示領域22に基板17の全体画像38が表示される。
(2)基準位置として登録したい箇所を画面上で指示する。図5の例では、所望位置である第二の位置40に指で触れる。これにより、撮像装置3がX駆動装置4およびY駆動装置5により指示された第二の位置40まで移動する。
(3)「カメラ画像表示ボタン26」を押し、撮像装置3の撮像画像36Bに切り換える。なお、この時点では、撮像装置3の焦点は合っていない。
(4)焦点を合わせたい箇所を含む分割領域に対応する「選択ボタン23」(選択ボタン23a〜eのいずれか)を押す。これにより、上述の焦点調節動作が開始され、自動で撮像装置3の焦点調節がされる。
(5)基準位置となる特徴点(例えば、部品の角部など)が画面の中心となるように、画像表示領域22に表示される画像位置の調節を行う。本実施形態例では、画像表示領域22に表示された特徴点に指で触れると、当該接触位置が中心となるように自動で画像位置の調節が行われる。その後、「記憶ボタン24」を押し、XYZ座標値(および表示された撮像画像36B)を記憶する。
以上の動作により、アライメントを行うための基準位置のティーチングが完了する。
<複数焦点判定機能>
一の分割領域内に複数種類の物体が実装されている場合の焦点判定手法を図6および図7を参照しながら説明する。
図6に示すように、一の分割領域内に高さの異なる部品(29、30)および配線28がある場合を考える。操作画面21において、一の分割領域を選択し、複数焦点判定ボタン25を押すと、図7に示すような、複数焦点判定画面31が表示される。複数焦点判定画面31において、開始ボタン32を押すと、Z駆動装置6が作動して、基板17面に実装されている物体(28、29、30)の高さを考慮した分(図6の例では約40mmとしている)だけ撮像装置3のZ位置を上昇させた後、下降移動させる。なお、撮像装置3の水平方向の位置調整が終了していない場合は、Z方向(鉛直方向)への移動と同時にまたは前後して、X駆動装置4およびY駆動装置5により撮像装置3を水平移動させる。
撮像装置3は、下降移動をしながら選択した分割領域A〜Dに対応する基板17の上面を連続的に撮像し、撮像画像を撮像位置のZ座標値と共に逐次記憶装置15に記憶する。この連続撮像の処理は、上述の焦点調節動作と同じであるが、複数焦点の判定に際しては、途中で下降移動を停止させず、ユーザが予め設定した下限値まで連続撮像を継続する。
コンピュータ11の演算装置は、記憶装置15に記憶した複数枚の撮像画像に画像処理を実施し、合焦画像を判定し、合焦識別フラグを付する。合焦画像は、例えば予め設定した判定基準値(例えば、色値の最大値の1/2、1/3、3/4、或いは各撮像画像の微分値の閾値)に基づき判定する。この合焦判定で条件に合致する撮像画像を選定し、これらの画像をZ座標値に基づき昇順(降順としてもよい)で付番し、画像表示領域34に並べて表示する(図7参照)。各撮像画像取得時のZ座標値は、合焦物体の基板からの高さに換算され、画像表示領域34の横に位置する高さ表示領域33に表示される。Z座標値と合焦物体の高さの関係式は、予め高さ情報の分かっている物体に対し合焦作業を行うことにより取得しておく。図6の例では、配線28、部品A29、部品B30について3つの合焦画像が得られ、それぞれNo.1からNo.3までの部品番号が付番され、部品の高さの値(mm)と共に撮像画像が表示される。
以上、本発明の実施形態を単に例示として詳細に説明したが、本発明の新規な教示及び有利な効果から実質的に逸脱せずに、その実施の形態には多くの改変例が可能である。
1:作業装置、2:ワークテーブル、3:撮像装置、4:X駆動装置、5:Y駆動装置、6:Z駆動装置、7:X移動方向、8:Y移動方向、9:Z移動方向、10:制御装置、11:コンピュータ、12:画像処理装置、13:表示装置(出力装置)、14:入力装置、15:記憶装置、16:接続ケーブル、17:ワーク(基板)、18:吐出装置、19:検査装置、20:取付部材、21:操作画面、22:画像表示領域、23:選択ボタン(a〜e)、24:記憶ボタン、25:複数焦点判定ボタン、26:カメラ画像表示ボタン、27:全体画像表示ボタン、28:配線、29:部品A、30:部品B、31:複数焦点判定画面、32:開始ボタン、33:高さ表示領域、34:画像表示領域、35:レンズ、36:一回あたりの撮像画像(部分撮像画像)、37:走査路、38:基板の全体画像、39:第一の位置、40:第二の位置

Claims (10)

  1. 基板が載置されるワークテーブルと、
    オートフォーカス機能を有しない撮像装置と、
    ワークテーブルと撮像装置とを相対移動させるXYZ駆動装置と、
    撮像装置が撮像した画像を記憶する記憶装置と、
    画像表示領域を表示する表示装置と、
    画像表示領域内の任意の位置を指定可能とする入力装置と、
    記憶装置に記憶した複数枚の撮像画像に画像処理を実施し、各撮像画像のコントラストに基づき合焦画像を判定する合焦判定装置と、
    撮像装置およびXYZ駆動装置の動作を制御する制御装置とを備える作業装置を用いた焦点調節方法であって、
    撮像装置により基板の部分を撮像した部分撮像画像を取得し、複数の分割領域を有する画像表示領域に表示させる第1ステップ、
    入力装置を介してユーザが選択した一つの分割領域に対して、合焦判定装置により合焦画像判定をする第2ステップ、
    合焦画像と判定された撮像画像を画像表示領域に表示する第3ステップ、
    を有することを特徴とする焦点調節方法。
  2. 前記基板が、その表面に高さの異なる複数の物体が配置された基板であり、
    前記第1ステップにおいて、少なくとも1つの物体が含まれるように基板の部分を撮像することを特徴とする請求項1に記載の焦点調節方法。
  3. 前記第1ステップにおいて、少なくとも2つの物体が含まれるように基板の部分を撮像することを特徴とする請求項2に記載の焦点調節方法。
  4. 前記物体のうち、少なくとも一つの物体が方形状であり、
    前記画像表示領域が、4つの分割領域に等分されることを特徴とする請求項2または3に記載の焦点調節方法。
  5. 前記第2ステップにおいて、撮像装置をZ方向に移動させながら連続的に撮像画像を取得し、当該撮像画像をその撮像時のZ座標値と共に記憶装置に記憶し、ユーザが選択した一つの分割領域内における各撮像画像のコントラストにピークを有する撮像画像を合焦画像と判定し、当該撮像画像に合焦識別フラグを付け、撮像装置の移動および撮像を停止することを特徴とする請求項2に記載の焦点調節方法。
  6. 前記第2ステップにおいて、撮像装置をZ方向に移動させながら連続的に撮像画像を取得し、当該撮像画像をその撮像時のZ座標値と共に記憶装置に記憶し、ユーザが選択した一つの分割領域内における各撮像画像が判定基準値を満たす場合に合焦画像と判定し、当該撮像画像に合焦識別フラグを付けること、
    前記第3ステップにおいて、合焦識別フラグが付された全ての撮像画像を並べて表示することを特徴とする請求項3に記載の焦点調節方法。
  7. 前記第3ステップにおいて、合焦画像における合焦物体の高さ情報を同時に表示することを特徴とする請求項6に記載の焦点調節方法。
  8. 基板が載置されるワークテーブルと、
    オートフォーカス機能を有しない撮像装置と、
    ワークテーブルと撮像装置とを相対移動させるXYZ駆動装置と、
    撮像装置が撮像した画像を記憶する記憶装置と、
    画像表示領域を表示する表示装置と、
    画像表示領域内の任意の位置を指定可能とする入力装置と、
    記憶装置に記憶した複数枚の撮像画像に画像処理を実施し、各撮像画像のコントラストに基づき合焦画像を判定する合焦判定装置と、
    撮像装置およびXYZ駆動装置の動作を制御する制御装置とを備える作業装置であって、
    制御装置が、撮像装置により基板の部分を撮像した部分撮像画像を取得し、表示装置の画像表示領域に表示させ、かつ、表示装置の画像表示領域に複数の分割領域を表示させ、
    入力装置を介してユーザが選択した一つの分割領域に対して、合焦判定装置により合焦画像判定をさせ、
    合焦画像と判定された撮像画像を表示装置の画像表示領域に表示させることを特徴とする作業装置。
  9. さらに、ノズルを有する吐出装置と、吐出装置およびXYZ駆動装置を連結する取付部材とを備えることを特徴とする請求項8に記載の作業装置。
  10. 前記表示装置が、タッチパネルを有する表示装置であり、
    前記入力装置が、タッチパネルに表示されたボタンにより構成されることを特徴とする請求項8または9に記載の作業装置。
JP2015530866A 2013-08-09 2014-08-04 焦点調節方法およびその装置 Active JP6606749B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013167151 2013-08-09
JP2013167151 2013-08-09
PCT/JP2014/070432 WO2015019978A1 (ja) 2013-08-09 2014-08-04 焦点調節方法およびその装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019180107A Division JP6844871B2 (ja) 2013-08-09 2019-09-30 焦点調節方法およびその装置

Publications (2)

Publication Number Publication Date
JPWO2015019978A1 true JPWO2015019978A1 (ja) 2017-03-02
JP6606749B2 JP6606749B2 (ja) 2019-11-20

Family

ID=52461311

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015530866A Active JP6606749B2 (ja) 2013-08-09 2014-08-04 焦点調節方法およびその装置
JP2019180107A Active JP6844871B2 (ja) 2013-08-09 2019-09-30 焦点調節方法およびその装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019180107A Active JP6844871B2 (ja) 2013-08-09 2019-09-30 焦点調節方法およびその装置

Country Status (9)

Country Link
US (1) US10015387B2 (ja)
EP (1) EP3032306B1 (ja)
JP (2) JP6606749B2 (ja)
KR (1) KR102259825B1 (ja)
CN (1) CN105452927B (ja)
HK (1) HK1218783A1 (ja)
SG (2) SG10201710388RA (ja)
TW (1) TWI627492B (ja)
WO (1) WO2015019978A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015019978A1 (ja) * 2013-08-09 2015-02-12 武蔵エンジニアリング株式会社 焦点調節方法およびその装置
JP6778426B2 (ja) * 2016-09-20 2020-11-04 武蔵エンジニアリング株式会社 液体材料吐出装置
FR3059423B1 (fr) * 2016-11-29 2020-05-29 Vit Systeme et procede de positionnement et d'inspection optique d'un objet
JP2019152787A (ja) * 2018-03-05 2019-09-12 株式会社ミツトヨ 焦点距離可変レンズ制御方法および焦点距離可変レンズ装置
US10897573B2 (en) * 2018-11-21 2021-01-19 Ricoh Company, Ltd. Image capturing system, terminal and computer readable medium which correct images
JP2023104710A (ja) * 2022-01-18 2023-07-28 武蔵エンジニアリング株式会社 液体材料塗布方法および塗布装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05258705A (ja) * 1992-03-11 1993-10-08 Nikon Corp 顕微鏡像表示装置
JPH06143438A (ja) * 1992-11-13 1994-05-24 Sanyo Mach Works Ltd 3次元物体造形装置
JPH06174446A (ja) * 1992-12-09 1994-06-24 Omron Corp 実装部品検査装置
WO1994024518A1 (en) * 1993-04-21 1994-10-27 Omron Corporation Visual inspection support apparatus, substrate inspection apparatus, and soldering inspection and correction methods using the same apparatuses
JPH11325851A (ja) * 1998-05-12 1999-11-26 Canon Inc ワーク表面測定装置及び方法
US20030066734A1 (en) * 2001-10-09 2003-04-10 Prentice Thomas C. System and method for controlling a conveyor system configuration to accommodate different size substrates
JP2005099736A (ja) * 2003-08-26 2005-04-14 Sony Corp オートフォーカス制御方法、オートフォーカス制御装置および画像処理装置
JP2011115688A (ja) * 2009-12-01 2011-06-16 Musashi Eng Co Ltd 卓上型作業装置
WO2011092771A1 (ja) * 2010-01-28 2011-08-04 株式会社 日立ハイテクノロジーズ 観察方法および観察装置
JP2013152426A (ja) * 2011-12-27 2013-08-08 Canon Inc 画像処理装置、画像処理システム、画像処理方法、およびプログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58169917A (ja) * 1982-03-31 1983-10-06 Fujitsu Ltd 自動ワイヤボンダにおけるモニタ装置
JP2507988B2 (ja) 1986-02-05 1996-06-19 オムロン株式会社 プリント基板検査装置
JPH0325851A (ja) 1989-06-21 1991-02-04 Toshiba Lighting & Technol Corp 放電灯
JPH08194737A (ja) * 1995-01-17 1996-07-30 Dainippon Printing Co Ltd 微細パターンの段差測定装置
US5960125A (en) * 1996-11-21 1999-09-28 Cognex Corporation Nonfeedback-based machine vision method for determining a calibration relationship between a camera and a moveable object
US5978080A (en) * 1997-09-25 1999-11-02 Cognex Corporation Machine vision methods using feedback to determine an orientation, pixel width and pixel height of a field of view
JP4021677B2 (ja) * 2002-02-07 2007-12-12 株式会社三井ハイテック 半導体装置の検査方法
US20070187571A1 (en) * 2003-08-26 2007-08-16 Hiroki Ebe Autofocus control method, autofocus control apparatus and image processing apparatus
JP2006094202A (ja) * 2004-09-24 2006-04-06 Casio Comput Co Ltd 撮像装置、合焦処理方法及びプログラム
JP2006313086A (ja) * 2005-05-06 2006-11-16 Nikon Corp 立体形状検査機
US7694234B2 (en) * 2005-08-04 2010-04-06 Microsoft Corporation Virtual magnifying glass with on-the fly control functionalities
JP4791155B2 (ja) * 2005-11-18 2011-10-12 株式会社日立国際電気 合焦点方法及び合焦点装置並びにそれを使った測定装置
RU2440693C2 (ru) * 2006-01-03 2012-01-20 Транспарент Саунд Текнолоджи БИ.ВИ.,NL Электростатические акустические системы и способы
JP2008263486A (ja) * 2007-04-13 2008-10-30 Olympus Corp 撮像装置
JP4982287B2 (ja) * 2007-07-25 2012-07-25 ヤマハ発動機株式会社 バックアッププレート形成装置、これを備えた表面実装機、及びバックアッププレート形成方法
JP5209441B2 (ja) 2008-10-30 2013-06-12 芝浦メカトロニクス株式会社 実装部品の検査装置及び検査方法
JP2010109164A (ja) 2008-10-30 2010-05-13 Toshiba Corp Euvマスクの欠陥修正方法
US8581162B2 (en) 2009-12-08 2013-11-12 Mitutoyo Corporation Weighting surface fit points based on focus peak uncertainty
US8564623B2 (en) * 2009-12-11 2013-10-22 Molecular Devices, Llc Integrated data visualization for multi-dimensional microscopy
JP5197785B2 (ja) * 2011-03-30 2013-05-15 キヤノン株式会社 画像処理装置、撮像システム、画像処理システム
JP5293782B2 (ja) * 2011-07-27 2013-09-18 三星ダイヤモンド工業株式会社 合焦位置調整方法、合焦位置調整装置、およびレーザー加工装置
GB201201549D0 (en) * 2012-01-30 2012-03-14 Purcocks Dale M Portable computer keyboard assembly
WO2015019978A1 (ja) * 2013-08-09 2015-02-12 武蔵エンジニアリング株式会社 焦点調節方法およびその装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05258705A (ja) * 1992-03-11 1993-10-08 Nikon Corp 顕微鏡像表示装置
JPH06143438A (ja) * 1992-11-13 1994-05-24 Sanyo Mach Works Ltd 3次元物体造形装置
JPH06174446A (ja) * 1992-12-09 1994-06-24 Omron Corp 実装部品検査装置
WO1994024518A1 (en) * 1993-04-21 1994-10-27 Omron Corporation Visual inspection support apparatus, substrate inspection apparatus, and soldering inspection and correction methods using the same apparatuses
JPH11325851A (ja) * 1998-05-12 1999-11-26 Canon Inc ワーク表面測定装置及び方法
US20030066734A1 (en) * 2001-10-09 2003-04-10 Prentice Thomas C. System and method for controlling a conveyor system configuration to accommodate different size substrates
JP2005099736A (ja) * 2003-08-26 2005-04-14 Sony Corp オートフォーカス制御方法、オートフォーカス制御装置および画像処理装置
JP2011115688A (ja) * 2009-12-01 2011-06-16 Musashi Eng Co Ltd 卓上型作業装置
WO2011092771A1 (ja) * 2010-01-28 2011-08-04 株式会社 日立ハイテクノロジーズ 観察方法および観察装置
JP2013152426A (ja) * 2011-12-27 2013-08-08 Canon Inc 画像処理装置、画像処理システム、画像処理方法、およびプログラム

Also Published As

Publication number Publication date
JP6606749B2 (ja) 2019-11-20
SG10201710388RA (en) 2018-01-30
CN105452927A (zh) 2016-03-30
US20160165123A1 (en) 2016-06-09
EP3032306B1 (en) 2018-10-10
EP3032306A1 (en) 2016-06-15
EP3032306A4 (en) 2017-03-08
TW201514606A (zh) 2015-04-16
HK1218783A1 (zh) 2017-03-10
KR20160040467A (ko) 2016-04-14
JP2020021086A (ja) 2020-02-06
KR102259825B1 (ko) 2021-06-01
SG11201510544QA (en) 2016-01-28
CN105452927B (zh) 2019-05-31
US10015387B2 (en) 2018-07-03
JP6844871B2 (ja) 2021-03-17
TWI627492B (zh) 2018-06-21
WO2015019978A1 (ja) 2015-02-12

Similar Documents

Publication Publication Date Title
JP6844871B2 (ja) 焦点調節方法およびその装置
JP5547105B2 (ja) 寸法測定装置、寸法測定方法及び寸法測定装置用のプログラム
CA2794098C (en) Camera system for aligning components of a pcb
US9207156B2 (en) Hardness tester
WO2007049751A1 (ja) 自動切断装置及び開先加工品の製造方法
US9772480B2 (en) Image measurement device
CN109691083B (zh) 图像处理方法、图像处理装置及摄像装置
JP6095486B2 (ja) 画像測定装置
JP6140255B2 (ja) 画像処理装置及び画像処理方法
JPH08313217A (ja) 非接触画像計測システム
JP5938503B1 (ja) 測定装置
JP2004012192A (ja) 測定顕微鏡装置、その表示方法、及びその表示プログラム
JPH11295045A (ja) 検査装置
WO2024014079A1 (ja) 細胞観察装置および細胞観察装置で用いられる撮像方法
JPH07280537A (ja) 撮像式検査方法および装置
KR20110137069A (ko) 평판 디스플레이 패널 검사 시스템 및 방법
JP2023047715A (ja) 撮像システム、撮像方法及びプログラム
JPH11295610A (ja) 操作装置及び検査装置
US20190011687A1 (en) Image measurement apparatus
JP6366921B2 (ja) 画像測定装置、及び高さ測定方法
JP2023047764A (ja) 撮像装置、撮像方法及びプログラム
JP2005004169A (ja) 傾斜角度測定装置を有するプロジェクタ
JP2005030780A (ja) 半導体検査装置
JP2023047943A (ja) 撮像装置、撮像方法及びプログラム
JP2019146030A (ja) 高解像度画像作成用カメラスタンド及びその使用方法

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20151116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190930

R150 Certificate of patent or registration of utility model

Ref document number: 6606749

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250