JPWO2016143058A1 - 実装装置、撮像処理方法及び撮像ユニット - Google Patents

実装装置、撮像処理方法及び撮像ユニット Download PDF

Info

Publication number
JPWO2016143058A1
JPWO2016143058A1 JP2017504474A JP2017504474A JPWO2016143058A1 JP WO2016143058 A1 JPWO2016143058 A1 JP WO2016143058A1 JP 2017504474 A JP2017504474 A JP 2017504474A JP 2017504474 A JP2017504474 A JP 2017504474A JP WO2016143058 A1 JPWO2016143058 A1 JP WO2016143058A1
Authority
JP
Japan
Prior art keywords
image
reference mark
component
mounting head
mounting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017504474A
Other languages
English (en)
Other versions
JP6712260B2 (ja
Inventor
雅史 天野
雅史 天野
一也 小谷
一也 小谷
勇介 山蔭
勇介 山蔭
亮輔 森
亮輔 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Corp
Original Assignee
Fuji Machine Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Machine Manufacturing Co Ltd filed Critical Fuji Machine Manufacturing Co Ltd
Publication of JPWO2016143058A1 publication Critical patent/JPWO2016143058A1/ja
Application granted granted Critical
Publication of JP6712260B2 publication Critical patent/JP6712260B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • H05K13/081Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0812Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines the monitoring devices being integrated in the mounting machine, e.g. for monitoring components, leads, component placement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches

Abstract

実装装置(11)は、実装ヘッド(22)の移動中において、実装ヘッド(22)採取された部品(60)と第1基準マークとを含む第1画像を撮像すると共に、実装ヘッド(22)に採取された部品(60)と第2基準マークとを含む第2画像を撮像し、第1基準マークと第2基準マークとの位置関係に基づき第1画像と第2画像とを用いて実装ヘッド(22)に採取された部品(60)の画像を生成する。このとき、実装装置(11)は、第2基準マークが撮像範囲に入る前であって部品(60)と第1基準マークとが同一撮像範囲に入ったあとに第1画像を撮像し、その後、第1基準マークが撮像範囲から外れ、部品(60)と第2基準マークとが同一撮像範囲に入ったあとに第2画像を撮像してもよい。

Description

本発明は、実装装置、撮像処理方法及び撮像ユニットに関する。
従来、撮像処理方法としては、位置ずれを含む複数の画像を取得し、複数の画像の位置合わせを行い、複数の画像に基づく補間処理により補間画像を生成するものが提案されている(例えば、特許文献1参照)。この方法では、位置合わせの精度を重み付けした最適化処理により合成画像を生成するのに用いる画像を選択する。
特開2012−003469号公報
ところで、このような画像処理方法を採用する装置としては、部品を採取する実装ヘッドを備え、実装ヘッドによって基板に部品を実装する実装装置が挙げられる。このような実装装置において、部品を採取した実装ヘッドを移動しながら採取された部品を含む画像を撮像することがある。また、実装装置では、このとき、複数の画像を用いて部品の合成画像を生成することが考えられる。しかしながら、上述した画像処理方法では、撮像範囲をより広げることについては考慮されていなかった。このため、上述した画像処理方法では、例えば、撮像対象が大型である場合、実装ヘッドを一旦停止させて撮像するという処理を繰り返して合成画像を生成するなど、生産性が低下することがあった。
本発明は、このような課題に鑑みなされたものであり、生産性の低下をより抑制しつつ、より高画質な画像を得ることができる実装装置、撮像処理方法及び撮像ユニットを提供することを主目的とする。
本発明は、上述の主目的を達成するために以下の手段を採った。
本発明の実装装置は、
第1基準マークと、該第1基準マークと所定の位置関係を有する第2基準マークと、部品を採取する採取部材とを有し、採取した部品を基板上へ移動させる実装ヘッドと、
画像を撮像する撮像部と、
前記実装ヘッドの移動中において、前記実装ヘッドに採取された部品と前記第1基準マークとを含む第1画像を前記撮像部に撮像させると共に、前記実装ヘッドに採取された部品と前記第2基準マークとを含む第2画像を前記撮像部に撮像させ、前記第1基準マークと前記第2基準マークとの位置関係に基づき前記第1画像と前記第2画像とを用いて前記実装ヘッドに採取された部品の画像を生成する制御部と、
を備えたものである。
この実装装置は、実装ヘッドの移動中において、実装ヘッドに採取された部品と第1基準マークとを含む第1画像を撮像すると共に、実装ヘッドに採取された部品と第2基準マークとを含む第2画像を撮像し、第1基準マークと第2基準マークとの位置関係に基づき第1画像と第2画像とを用いて実装ヘッドに採取された部品の画像を生成する。この実装装置は、第1基準マークと第2基準マークとの位置関係を利用して第1画像と第2画像との位置決めを行い、部品を含む高画質な画像を得ることができる。また、この実装装置では、基準マークのいずれかを含む範囲まで撮像範囲をより広げることができ、実装ヘッドの撮像時に実装ヘッドの移動停止を抑制可能である。したがって、この実装装置は、生産性の低下をより抑制しつつ、より高画質な画像を得ることができる。
本発明の実装装置において、前記実装ヘッドは、前記採取部材に対して外周側に前記第1基準マークと前記第2基準マークとが配設されているものとしてもよい。この実装装置では、第1基準マークと第2基準マークとの位置をより離れた位置にすることが可能であり、撮像範囲をより広げることができる。
本発明の実装装置において、前記実装ヘッドは、該実装ヘッドの移動方向の前方側と後方側とに前記第1基準マークと前記第2基準マークとが配設されているものとしてもよい。この実装装置では、実装ヘッドが移動しても第1基準マークか第2基準マークのいずれかが撮像範囲に入りやすいため、生産性の低下をより抑制しつつ、より高画質な画像を得やすい。
本発明の実装装置において、前記制御部は、生成した前記部品の画像に基づいて該部品の形状及び該部品の位置のうち1以上を判定するものとしてもよい。この実装装置では、部品の形状及び位置が適正であるかの判定を行うために用いる、より高画質な画像を得ることができる。
本発明の実装装置において、前記実装ヘッドは、2以上の前記採取部材を有し、前記制御部は、前記2以上の採取部材に採取されている部品が同一撮像範囲となるタイミングで前記第1画像及び前記第2画像を前記撮像部に撮像させるものとしてもよい。この実装装置では、複数の部品を同一画像に撮像するため、撮像効率がよい。
本発明の実装装置において、前記制御部は、前記第2基準マークが撮像範囲に入る前であって前記部品と前記第1基準マークとが同一撮像範囲に入ったあとに前記第1画像を前記撮像部に撮像させ、その後、前記第1基準マークが撮像範囲から外れ、採取された前記部品と前記第2基準マークとが同一撮像範囲に入ったあとに前記第2画像を前記撮像部に撮像させるものとしてもよい。
本発明の画像処理方法は、
第1基準マークと、該第1基準マークと所定の位置関係を有する第2基準マークと、部品を採取する採取部材とを有し、採取した部品を基板上へ移動させる実装ヘッドと、画像を撮像する撮像部と、を備えた実装装置での撮像処理方法であって、
(a)前記実装ヘッドの移動中において、前記実装ヘッドに採取された部品と前記第1基準マークとを含む第1画像を前記撮像部に撮像させると共に、前記実装ヘッドに採取された部品と前記第2基準マークとを含む第2画像を前記撮像部に撮像させるステップと、
(b)前記第1基準マークと前記第2基準マークとの位置関係に基づき前記第1画像と前記第2画像とを用いて前記実装ヘッドに採取された部品の画像を生成するステップと、
を含むものである。
この画像処理方法は、上述した実装装置と同様に、第1基準マークと第2基準マークとの位置関係を利用して第1画像と第2画像との位置決めを行い、部品を含む高画質な画像を得ることができる。また、この実装装置では、基準マークのいずれかを含む範囲まで撮像範囲をより広げることができ、実装ヘッドの撮像時に実装ヘッドの移動停止を抑制可能である。したがって、この画像処理方法は、生産性の低下をより抑制しつつ、より高画質な画像を得ることができる。なお、この画像処理方法において、上述した実装装置の種々の態様を採用してもよいし、また、上述した実装装置の各機能を実現するようなステップを追加してもよい。
本発明の撮像ユニットは、
第1基準マークと、該第1基準マークと所定の位置関係を有する第2基準マークと、部品を採取する採取部材とを有し、採取した部品を基板上へ移動させる実装ヘッドを備えた実装装置に用いられる撮像ユニットであって、
画像を撮像する撮像部と、
前記実装ヘッドの移動中において、前記実装ヘッドに採取された部品と前記第1基準マークとを含む第1画像を前記撮像部に撮像させると共に、前記実装ヘッドに採取された部品と前記第2基準マークとを含む第2画像を前記撮像部に撮像させ、前記第1基準マークと前記第2基準マークとの位置関係に基づき前記第1画像と前記第2画像とを用いて前記実装ヘッドに採取された部品の画像を生成する制御部と、
を備えたものである。
この撮像ユニットは、上述した実装装置と同様に、生産性の低下をより抑制しつつ、より高画質な画像を得ることができる。なお、この撮像ユニットにおいて、上述した実装装置の種々の態様を採用してもよいし、また、上述した実装装置の各機能を実現するようなステップを追加してもよい。
実装システム10の一例を表す概略説明図。 実装ヘッド22及び撮像ユニット30の説明図。 実装装置11の構成を表すブロック図。 実装処理ルーチンの一例を表すフローチャート。 部品60を採取した実装ヘッド22の説明図。 第1画像71及び第2画像72の説明図。 超解像画像73を生成する説明図。 実装ヘッド22Bの説明図。
本発明の好適な実施形態を図面を参照しながら以下に説明する。図1は、実装システム10の一例を表す概略説明図である。図2は、実装ヘッド22及び撮像ユニット30の説明図である。図3は、実装装置11の構成を表すブロック図である。実装システム10は、例えば、部品60を基板Sに実装する処理に関する実装処理を実行するシステムである。この実装システム10は、実装装置11と、管理コンピュータ50とを備えている。実装システム10は、部品を基板Sに実装する実装処理を実施する複数の実装装置11が上流から下流に配置されている。図1では、説明の便宜のため実装装置11を1台のみ示している。なお、実装処理とは、部品を基板上に配置、装着、挿入、接合、接着する処理などを含む。また、本実施形態において、左右方向(X軸)、前後方向(Y軸)及び上下方向(Z軸)は、図1、2に示した通りとする。
実装装置11は、図1、3に示すように、基板搬送ユニット12と、実装ユニット13と、部品供給ユニット14と、撮像ユニット30と、制御装置40とを備えている。基板搬送ユニット12は、基板Sの搬入、搬送、実装位置での固定、搬出を行うユニットである。基板搬送ユニット12は、図1の前後に間隔を開けて設けられ左右方向に架け渡された1対のコンベアベルトを有している。基板Sはこのコンベアベルトにより搬送される。
実装ユニット13は、部品60を部品供給ユニット14から採取し、基板搬送ユニット12に固定された基板Sへ配置するものである。部品60は、例えば、図1に示すように、比較的大きい板状の本体の下部に多数配列されているバンプ61を備えたBGA部品である。実装ユニット13は、ヘッド移動部20と、実装ヘッド22と、吸着ノズル24とを備えている。ヘッド移動部20は、ガイドレールに導かれてXY方向へ移動するスライダと、スライダを駆動するモータとを備えている。実装ヘッド22は、スライダに取り外し可能に装着されており、ヘッド移動部20によりXY方向へ移動する。実装ヘッド22の下面には、1以上の吸着ノズル24が取り外し可能に装着されている。ここでは、吸着ノズル24a〜24dの4つのノズルを実装ヘッド22が装着する場合を主として説明する(図2)。また、ここでは、吸着ノズル24a〜24dを吸着ノズル24と総称する。吸着ノズル24は、負圧を利用して部品60を採取するものであり、実装ヘッド22に取り外し可能に装着されている。この実装ヘッド22は、Z軸モータ23を内蔵しており、このZ軸モータによってZ軸に沿って吸着ノズル24の高さを調整する。また、実装ヘッド22は、図示しない駆動モータによって吸着ノズル24を回転(自転)させる回転装置を備え、吸着ノズル24に採取(吸着)された部品の角度を調整可能となっている。
実装ヘッド22は、図2に示すように、その下面側に、採取された部品の位置の基準となる第1基準マーク25a,25bと、第2基準マーク26a,26bとが取外し交換可能に配設されている。なお、ここでは、第1基準マーク25a,25bを第1基準マーク25と総称し、第2基準マーク26a,26bを第2基準マーク26と総称する。実装ヘッド22は、吸着ノズル24に対して外周側に第1基準マーク25および第2基準マーク26が配設されている。第1基準マーク25及び第2基準マーク26は、実装ヘッド22の角部、即ち、撮像ユニット30の撮像範囲の隅側に配設されている。実装ヘッド22は、実装ヘッド22の主たる移動方向の前方側(装置後方側)に第1基準マーク25が配設されており、実装ヘッド22の主たる移動方向の後方側(装置前方側)に第2基準マーク26が配設されている。この第1基準マーク25及び第2基準マーク26は、支柱と、支柱の先端に配設された円盤状のマーク部材とを備える。この第1基準マーク25は、第2基準マーク26と所定の位置関係、例えば、所定の距離L1で配設されている。また、第1基準マーク25aは、第1基準マーク25bと所定の位置関係(所定距離L2)で配設されている。同様に、第2基準マーク26aは、第2基準マーク26bと所定の位置関係(所定距離L2)で配設されている。吸着ノズル24a〜24dは、第1基準マーク25及び第2基準マーク26と所定の位置関係(距離や配置位置)を有するから、第1基準マーク25及び第2基準マーク26のうちいずれかの位置が認識できれば、それぞれの位置を認識することができる。
部品供給ユニット14は、複数のリールを備え、実装装置11の前側に着脱可能に取り付けられている。各リールには、テープが巻き付けられ、テープの表面には、複数の部品がテープの長手方向に沿って保持されている。このテープは、リールから後方に向かって巻きほどかれ、部品が露出した状態で、吸着ノズル24で吸着される採取位置にフィーダ部により送り出される。この部品供給ユニット14は、部品を複数配列して載置するトレイを有するトレイユニットを備えている。このトレイユニットは、トレイをパレットに固定して図示しないマガジンカセットから引きだし、所定の採取位置へトレイを移動する移動機構を備えている。トレイには、多数の矩形のポケットが形成されており、このポケットに部品を収容している。このトレイに収容される部品は、リールに収容される部品に比して高さや大きさが大きいものである。部品60は、トレイユニットのトレイに収納されている。
撮像ユニット30は、実装ヘッド22に吸着された部品と実装ヘッド22が有する第1基準マーク25及び第2基準マーク26とを撮像するユニットである。この撮像ユニット30は、部品供給ユニット14と基板搬送ユニット12との間に配置されている。この撮像ユニット30の撮像範囲は、撮像ユニット30の上方である。撮像ユニット30は、照明部31と、照明制御部32と、撮像素子33と、画像処理部34とを備える。照明部31は、上方に光を照射し実装ヘッド22に保持された部品60に対して複数の照明状態で光を照射可能に構成されている。照明制御部32は、所定の照明条件に基づき、吸着ノズル24に吸着された部品に応じた照明状態になるように照明部31を制御する。撮像素子33は、受光により電荷を発生させ発生した電荷を出力する素子である。撮像素子33は、露光後の電荷の転送処理と次画像の露光処理とをオーバーラップさせることにより高速な連続取込み処理をすることができるCMOSイメージセンサとしてもよい。画像処理部34は、入力された電荷に基づいて画像データを生成する処理を行う。撮像ユニット30は、部品60を吸着した吸着ノズル24が撮像ユニット30の上方を通過する際、複数の画像を撮像し、撮像画像データを制御装置40へ出力する。
制御装置40は、図3に示すように、CPU41を中心とするマイクロプロセッサとして構成されており、処理プログラムを記憶するROM42、各種データを記憶するHDD43、作業領域として用いられるRAM44、外部装置と電気信号のやり取りを行うための入出力インタフェース45などを備えており、これらはバス46を介して接続されている。この制御装置40は、基板搬送ユニット12、実装ユニット13、部品供給ユニット14、撮像ユニット30へ制御信号を出力し、実装ユニット13や部品供給ユニット14、撮像ユニット30からの信号を入力する。
管理コンピュータ50は、実装システム10の各装置の情報を管理するコンピュータである。管理コンピュータ50は、作業者が各種指令を入力するキーボード及びマウス等の入力装置52と、各種情報を表示するディスプレイ54とを備えている。
次に、こうして構成された本実施形態の実装システム10の動作、具体的には、実装装置11の実装処理について説明する。図4は、制御装置40のCPU41により実行される実装処理ルーチンの一例を表すフローチャートである。このルーチンは、制御装置40のHDD43に記憶され、作業者による開始指示により実行される。ここでは、吸着ノズル24で部品60を基板Sに実装する場合について主として説明する。このルーチンを開始すると、制御装置40のCPU41は、まず、実装ジョブ情報を管理コンピュータ50から取得する(ステップS100)。実装ジョブ情報には、部品の実装順、実装する部品の種別及びその特徴、部品を吸着する吸着ノズルの情報などが含まれている。この部品の特徴には、部品のサイズの情報や、正常な形状の部品の画像であるリファレンス画像なども含まれる。
次に、CPU41は、基板Sの搬送及び固定処理を行い(ステップS110)、吸着する部品を設定し、その情報を実装ジョブ情報から取得する(ステップS120)。次に、CPU41は、必要に応じて実装ヘッド22に吸着ノズル24を装着させ、設定された部品の吸着及び移動処理を行う(ステップS130)。吸着処理では、CPU41は、該当する部品が収納されている部品供給ユニット14の採取位置まで実装ヘッド22を移動させ、吸着ノズル24を下降して吸着ノズル24に部品60を吸着させる処理を行う。この吸着処理では、1以上の部品60を吸着ノズル24a〜24dに吸着させるものとしてもよい。また、移動処理では、CPU41は、部品60を吸着した実装ヘッド22を撮像ユニット30の上方を通過させて、基板Sの実装位置まで移動する処理を行う。図5は、部品60を採取した実装ヘッド22の説明図である。図5に示すように、比較的大きな部品60を吸着保持すると、実装ヘッド22の領域のうち大きな面積が占められる。
次に、CPU41は、移動中の実装ヘッド22(部品60及び第1基準マーク25、第2基準マーク26)を複数回、撮像する撮像処理を実行する(ステップS140〜210)。この撮像処理では、複数の画像を撮像し、超解像処理を実行してより高画質な部品60の画像を得る処理を行う。この撮像処理では、まず、CPU41は、第1画像の撮像タイミングに至ったか否かを判定し(ステップS140)、第1画像の撮像タイミングに至っていないときはそのまま待機し、第1画像の撮像タイミングに至ったときには、第1画像を撮像処理する(ステップS150)。第1画像の撮像タイミングは、例えば、吸着ノズル24a〜24dに採取された部品60すべてが同一撮像範囲となり、且つ少なくとも第1基準マーク25が撮像ユニット30の撮像範囲に入るタイミングに設定されていてもよい。例えば、CPU41は、第2基準マーク26が撮像範囲に入る前であって部品60と第1基準マーク25とが同一撮像範囲に入ったあとに第1画像71を撮像ユニット30に撮像させてもよい。図6は、複数回撮像する撮像処理の説明図であり、図6(a)が第1画像71、図6(b)が第2画像72の説明図である。この撮像タイミングで撮像すると、実装ヘッド22の移動中において、実装ヘッド22に採取された部品60と第1基準マーク25とを含む第1画像71を撮像ユニット30に撮像させることができる(図6(a))。
次に、CPU41は、第2画像の撮像タイミングに至ったか否かを判定し(ステップS160)、第2画像の撮像タイミングに至っていないときはそのまま待機し、第2画像の撮像タイミングに至ったときには、第2画像を撮像処理する(ステップS170)。第2画像の撮像タイミングは、例えば、マルチフレームの超解像処理を実行できるように、第1画像に対して1/2ピクセルずらしたタイミングになるよう設定されていてもよい。また、第2画像の撮像タイミングは、撮像素子33において、第1画像の露光処理及び露光後の電荷の転送を行い、第2画像の露光が終了したあとのタイミングとしてもよい。あるいは、第2画像の撮像タイミングは、例えば、吸着ノズル24a〜24dに採取された部品60すべてが同一撮像範囲となり、且つ少なくとも第2基準マーク26が撮像ユニット30の撮像範囲に入るタイミングに設定されていてもよい。例えば、CPU41は、第1基準マーク25が撮像範囲から外れ、採取された部品60と第2基準マーク26とが同一撮像範囲に入ったあとに第2画像72を撮像ユニット30に撮像させてもよい。この撮像タイミングで撮像すると、実装ヘッド22の移動中において、実装ヘッド22に採取された部品60と第2基準マーク26とを含む第2画像72を撮像ユニット30に撮像させることができる(図6(b))。なお、各撮像タイミングとしては、第1画像71に第1基準マーク25及び第2基準マーク26が含まれる場合を排除するものではなく、第2画像72に第1基準マーク25及び第2基準マーク26が含まれる場合を排除するものでもない。
続いて、CPU41は、第1基準マーク25及び第2基準マーク26の位置関係に基づいて第1画像71と第2画像72とを用いて、実装ヘッド22に採取された部品60の画像を生成する超解像処理を行う(ステップS180)。超解像処理は、例えば、複数の画像を用い、正確に重なる撮像対象(部品60)の位置を求め、モーション推定処理、ぼけ推定処理、再構成処理を行い、撮像した画像に比して高解像度の画像を生成する。この超解像処理は、画像処理部34により行われるものとしてもよい。図7は、第1画像71及び第2画像72から超解像画像73を生成する説明図であり、図7(a)がバンプ61のイメージ図であり、図7(b)がチップ部品のイメージ図である。この実装装置11では、図7に示すように、比較的低解像度の画像を用いて高解像度の画像を生成することができる。実装装置11では、比較的小さなチップ部品から、比較的大きなBGA部品まで撮像することが求められる。一般的に、撮像ユニット30は、高解像度の画像を撮像しようとすると撮像範囲(視野)が狭くなり大型部品を撮像できず、大型部品を撮像しようとすると解像度が低下する。この実装装置11では、大型部品を撮像する際の撮像範囲を十分に確保すると共に、超解像処理を行うことにより、小型部品や小さな部位を撮像する際の画像解像度を十分確保することができる。
ここで、部品60の画像処理について説明する。実装装置11では、外形が比較的大きく、且つその部品に比較的小さな構成物(バンプ61)が配設されている部品60を実装処理することがある。この場合に、部品60が正常であるかを判断するため、バンプ61の欠損や変形などを検出することがある。このバンプ61の欠損や変形などは、例えば、複数の画像を合成処理することによって高画質画像を生成する、マルチフレームの超解像処理を行うことにより、高精度に検出することができる。マルチフレームの超解像処理を行うに際しては、基準マークを部品60と共に撮像し、この基準マークの位置を合わせることにより画像を重ね合わせることが好ましい。また、実装ヘッド22では、部品60のように比較的外形が大きい部品を複数吸着する場合は、吸着ずれや回転など考慮すると、基準マークを実装ヘッド22の中央側に配設しにくい(図5参照)。例えば、基準マークが吸着ノズルに対して外周側に配設された場合、実装ヘッド22に採取された部品60を撮像ユニット30の撮像範囲に含めようとすると、基準マークが撮像範囲から外れやすくなる(図6参照)。この実装装置11では、撮像フレームによって、位置関係が明確である異なる基準マーク(第1基準マーク25又は第2基準マーク26)のいずれかを使用し、基準マークが撮像範囲外になりやすい問題を解決する。例えば、部品60の位置は、第1画像71では第1基準マーク25からの座標で特定することができ、また第2画像72では第1基準マーク25と第2基準マーク26との距離と第2基準マーク26からの座標により特定することができる。そして、CPU41は、位置が特定された画像を重ね合わせることにより、高画質画像を生成するのである。
ステップS180のあと、CPU41は、生成した超解像画像を用いて、実装ヘッド22に採取された部品60の吸着位置ずれ量を算出する(ステップS190)。吸着位置ずれ量は、例えば、第1基準マーク25、第2基準マーク26及び吸着ノズル24の中心座標の位置関係に基づいて、部品60の中心位置と、吸着ノズル24の中心位置とのX軸、Y軸の座標値の差として求めることができる。続いて、CPU41は、算出した吸着位置ずれ量が許容範囲内であるか否かを判定する(ステップS200)。この許容範囲は、例えば、部品60を適正に基板Sに配置できる位置ずれ量の範囲を経験的に求め、この範囲に設定されている。吸着位置ずれ量が許容範囲内であるときには、CPU41は、部品の形状が許容範囲内であるか否かを判定する(ステップS210)。この判定は、例えば、生成した超解像画像の部品60の画像とリファレンス画像とのマッチングを行い、例えば、バンプ61の欠損や変形に基づくマッチング度に基づいて行うことができる。
ステップS200やステップS210で位置ずれ量や形状相違が許容範囲内にないと判定されたときには、CPU41は、その部品60が不具合の生じる部品であるものとして廃棄処理を行う(ステップS220)。一方、ステップS210で部品の形状が許容範囲内であるときには、CPU41は、算出した吸着位置ずれ量を補正した位置に部品Pを実装(配置)する処理を実行する(ステップS230)。続いて、CPU41は、現基板Sの実装装置11による実装処理が完了したか否かを判定し(ステップS240)、現基板Sの実装処理が完了していないときには、ステップS120以降の処理を実行する。即ち、CPU41は、次に吸着する部品60を設定し、この部品60を採取したのち、撮像ユニット30で第1画像及び第2画像を撮像し、超解像処理を行って、部品60の吸着位置ずれや形状を判定する。一方、ステップS240で現基板Sの実装処理が完了したときには、CPU41は、実装完了した基板Sを排出させ(ステップS250)、生産完了したか否かを判定する(ステップS260)。生産完了していないときには、CPU41は、ステップS110以降の処理を実行する。即ち、CPU41は、新たな基板Sを搬送、固定し、ステップS120以降の処理を実行する。一方、ステップS260で生産完了したときには、CPU41は、そのままこのルーチンを終了する。
ここで、本実施形態の構成要素と本発明の構成要素との対応関係を明らかにする。本実施形態の吸着ノズル24が本発明の採取部材に相当し、実装ヘッド22が実装ヘッドに相当し、撮像ユニット30が撮像部に相当し、制御装置40が制御部に相当する。また、第1基準マーク25,25a,25bが第1基準マークに相当し、第2基準マーク26,26a,26bが第2基準マークに相当する。なお、本実施形態では、実装装置11の動作を説明することにより本発明の撮像処理方法の一例も明らかにしている。
以上説明した実施形態の実装装置11では、実装ヘッド22の移動中において、実装ヘッド22に採取された部品60と第1基準マーク25とを含む第1画像71を撮像すると共に、実装ヘッド22に採取された部品60と第2基準マーク26とを含む第2画像72を撮像し、第1基準マーク25と第2基準マーク26との位置関係に基づき第1画像71と第2画像72とを用いて実装ヘッド22に採取された部品60の画像を生成する。この実装装置11は、第1基準マーク25と第2基準マーク26との位置関係を利用して第1画像71と第2画像72との位置決めを行い、部品60を含む高画質な画像を得ることができる。また、この実装装置11では、基準マークのいずれかを含む範囲まで撮像範囲をより広げることができ、実装ヘッド22の撮像時に実装ヘッド22の移動停止を抑制可能である。したがって、この実装装置11は、生産性の低下をより抑制しつつ、より高画質な画像を得ることができる。
また、実装ヘッド22は、吸着ノズル24に対して外周側に第1基準マーク25と第2基準マーク26とが配設されているため、第1基準マーク25と第2基準マーク26との位置をより離れた位置にすることが可能であり、撮像範囲をより広げることができる。更に、実装ヘッド22は、実装ヘッド22の移動方向の前方側と後方側とに第1基準マーク25と第2基準マーク26とが配設されているため、この実装装置11では、実装ヘッド22が移動しても第1基準マーク25か第2基準マーク26のいずれかが撮像範囲に入りやすく、生産性の低下をより抑制しつつ、より高画質な画像を得やすい。更にまた、制御装置40は、生成した部品60の画像に基づいて部品60の形状及び部品60の吸着位置を判定するため、この実装装置11では、部品60の形状及び位置が適正であるかの判定を行うために用いる、より高画質な画像を得ることができる。そして、この実装装置11では、複数の部品を同一画像に撮像するため、撮像効率がよい。
なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。
例えば、上述した実施形態では、実装ヘッド22は、第1基準マーク25a,25b、第2基準マーク26a,26bの4つの基準マークを有するものとしたが、特にこれに限定されない。図8は、第1基準マーク25と第2基準マーク26とを1つ備えた実装ヘッド22Bの説明図である。図8に示すように、例えば、実装ヘッド22は、装置の前後方向に対し実装ヘッド22の平行が保てるものとすれば、第1基準マーク25と第2基準マーク26とを各々1つずつとすることができる。あるいは、例えば、第1基準マーク25a,25b及び第2基準マーク26aなど、L字型に配置された3つの基準マークを有するものとしてもよい。
上述した実施形態では、撮像ユニット30の撮像対象がバンプ61の配列した部品60(BGA部品)として説明したが、特にこれに限定されない。撮像ユニット30で撮像する部品は、例えば、比較的大型の部品であって、認識することを要する小さな部位があるものとすることができる。このような部品は、本発明を適用するのに有効である。
上述した実施形態では、実装ヘッド22を装置の前後方向に移動させながら第1画像71及び第2画像72を撮像する場合を主として説明したが、前後方向及び左右方向、即ち、撮像ユニット30上を斜めに移動する際に第1画像71及び第2画像72を撮像するものとしてもよい。
上述した実施形態では、2つの画像を撮像して超解像処理を行うものとしたが、複数の画像を用いるものとすれば、特にこれに限定されず、3以上の画像を撮像して超解像処理を行うものとしてもよい。
上述した実施形態では、採取部材を吸着ノズル24として説明したが、部品を採取ずるものであれば特にこれに限定されず、例えば、部品を機械的に挟持して採取するメカニカルチャックなどとしてもよい。
上述した実施形態では、本発明を実装装置11として説明したが、例えば、撮像ユニット30としてもよいし、撮像処理方法や撮像ユニット30の制御方法としてもよいし、上述した処理をコンピュータが実行するプログラムとしてもよい。
本発明は、部品を基板上に配置する実装処理を行う装置に利用可能である。
10 実装システム、11 実装装置、12 基板搬送ユニット、13 実装ユニット、14 部品供給ユニット、20 ヘッド移動部、22,22B 実装ヘッド、23 Z軸モータ、24,24a〜24d 吸着ノズル、25,25a,25b 第1基準マーク、26,26a,26b 第2基準マーク、30 撮像ユニット、31 照明部、32 照明制御部、33 撮像素子、34 画像処理部、40 制御装置、41 CPU、42 ROM、43 HDD、44 RAM、45 入出力インタフェース、46 バス、50
管理コンピュータ、52 入力装置、54 ディスプレイ、60 部品、61 バンプ、71a,71b 第1画像、72a,72b 第2画像、73a,73b 超解像画像、S 基板。

Claims (8)

  1. 第1基準マークと、該第1基準マークと所定の位置関係を有する第2基準マークと、部品を採取する採取部材とを有し、採取した部品を基板上へ移動させる実装ヘッドと、
    画像を撮像する撮像部と、
    前記実装ヘッドの移動中において、前記実装ヘッドに採取された部品と前記第1基準マークとを含む第1画像を前記撮像部に撮像させると共に、前記実装ヘッドに採取された部品と前記第2基準マークとを含む第2画像を前記撮像部に撮像させ、前記第1基準マークと前記第2基準マークとの位置関係に基づき前記第1画像と前記第2画像とを用いて前記実装ヘッドに採取された部品の画像を生成する制御部と、
    を備えた実装装置。
  2. 前記実装ヘッドは、前記採取部材に対して外周側に前記第1基準マークと前記第2基準マークとが配設されている、請求項1に記載の実装装置。
  3. 前記実装ヘッドは、該実装ヘッドの移動方向の前方側と後方側とに前記第1基準マークと前記第2基準マークとが配設されている、請求項1又は2に記載の実装装置。
  4. 前記制御部は、生成した前記部品の画像に基づいて該部品の形状及び該部品の位置のうち1以上を判定する、請求項1〜3のいずれか1項に記載の実装装置。
  5. 前記実装ヘッドは、2以上の前記採取部材を有し、
    前記制御部は、前記2以上の採取部材に採取されている部品が同一撮像範囲となるタイミングで前記第1画像及び前記第2画像を前記撮像部に撮像させる、請求項1〜4のいずれか1項に記載の実装装置。
  6. 前記制御部は、前記第2基準マークが撮像範囲に入る前であって前記部品と前記第1基準マークとが同一撮像範囲に入ったあとに前記第1画像を前記撮像部に撮像させ、その後、前記第1基準マークが撮像範囲から外れ、採取された前記部品と前記第2基準マークとが同一撮像範囲に入ったあとに前記第2画像を前記撮像部に撮像させる、請求項1〜5のいずれか1項に記載の実装装置。
  7. 第1基準マークと、該第1基準マークと所定の位置関係を有する第2基準マークと、部品を採取する採取部材とを有し、採取した部品を基板上へ移動させる実装ヘッドと、画像を撮像する撮像部と、を備えた実装装置での撮像処理方法であって、
    (a)前記実装ヘッドの移動中において、前記実装ヘッドに採取された部品と前記第1基準マークとを含む第1画像を前記撮像部に撮像させると共に、前記実装ヘッドに採取された部品と前記第2基準マークとを含む第2画像を前記撮像部に撮像させるステップと、
    (b)前記第1基準マークと前記第2基準マークとの位置関係に基づき前記第1画像と前記第2画像とを用いて前記実装ヘッドに採取された部品の画像を生成するステップと、
    を含む撮像処理方法。
  8. 第1基準マークと、該第1基準マークと所定の位置関係を有する第2基準マークと、部品を採取する採取部材とを有し、採取した部品を基板上へ移動させる実装ヘッドを備えた実装装置に用いられる撮像ユニットであって、
    画像を撮像する撮像部と、
    前記実装ヘッドの移動中において、前記実装ヘッドに採取された部品と前記第1基準マークとを含む第1画像を前記撮像部に撮像させると共に、前記実装ヘッドに採取された部品と前記第2基準マークとを含む第2画像を前記撮像部に撮像させ、前記第1基準マークと前記第2基準マークとの位置関係に基づき前記第1画像と前記第2画像とを用いて前記実装ヘッドに採取された部品の画像を生成する制御部と、
    を備えた撮像ユニット。
JP2017504474A 2015-03-10 2015-03-10 実装装置、撮像処理方法及び撮像ユニット Active JP6712260B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/056956 WO2016143058A1 (ja) 2015-03-10 2015-03-10 実装装置、撮像処理方法及び撮像ユニット

Publications (2)

Publication Number Publication Date
JPWO2016143058A1 true JPWO2016143058A1 (ja) 2017-12-21
JP6712260B2 JP6712260B2 (ja) 2020-06-17

Family

ID=56878829

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017504474A Active JP6712260B2 (ja) 2015-03-10 2015-03-10 実装装置、撮像処理方法及び撮像ユニット

Country Status (5)

Country Link
US (1) US10070570B2 (ja)
EP (1) EP3270677B1 (ja)
JP (1) JP6712260B2 (ja)
CN (1) CN107432116B (ja)
WO (1) WO2016143058A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6925783B2 (ja) * 2016-05-26 2021-08-25 株式会社アドテックエンジニアリング パターン描画装置及びパターン描画方法
WO2018203373A1 (ja) * 2017-05-01 2018-11-08 株式会社Fuji 実装装置、情報処理装置、実装システム、実装方法及び情報処理方法
CN109963082B (zh) * 2019-03-26 2021-01-08 Oppo广东移动通信有限公司 图像拍摄方法、装置、电子设备、计算机可读存储介质
CN109951641B (zh) * 2019-03-26 2021-02-26 Oppo广东移动通信有限公司 图像拍摄方法和装置、电子设备、计算机可读存储介质
CN114287176B (zh) * 2019-08-30 2024-03-12 株式会社富士 作业机

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005011950A (ja) * 2003-06-18 2005-01-13 Yamaha Motor Co Ltd 表面実装機
JP2012033734A (ja) * 2010-07-30 2012-02-16 Juki Corp 電子部品実装装置
JP2012064781A (ja) * 2010-09-16 2012-03-29 Hitachi High-Tech Instruments Co Ltd 部品認識カメラの状態チェック方法、および、部品認識カメラの状態チェック機能を有する電子部品装着装置
JP2013021196A (ja) * 2011-07-13 2013-01-31 Fuji Mach Mfg Co Ltd 部品実装機の画像処理装置
JP2013033419A (ja) * 2011-08-03 2013-02-14 Yamaha Motor Co Ltd Tdiセンサ、撮像装置、部品実装装置、部品試験装置および基板検査装置
JP2013153813A (ja) * 2012-01-27 2013-08-15 Olympus Corp 内視鏡装置、画像処理方法及びプログラム
JP2014000119A (ja) * 2012-06-15 2014-01-09 Panasonic Corp 内視鏡およびこれを備えた内視鏡システム
JP2014123621A (ja) * 2012-12-20 2014-07-03 Fuji Mach Mfg Co Ltd スプライシング誤作業検出装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7034272B1 (en) * 1999-10-05 2006-04-25 Electro Scientific Industries, Inc. Method and apparatus for evaluating integrated circuit packages having three dimensional features
JP4576062B2 (ja) * 2001-03-21 2010-11-04 富士機械製造株式会社 リード位置検出方法,電気部品装着方法およびリード位置検出装置
JP4781298B2 (ja) 2007-02-27 2011-09-28 株式会社日立ハイテクインスツルメンツ 部品ライブラリデータ作成方法
WO2009041005A1 (ja) * 2007-09-28 2009-04-02 Panasonic Corporation 検査装置及び検査方法
JP5301329B2 (ja) * 2008-03-31 2013-09-25 Juki株式会社 電子部品の実装方法
JP4893702B2 (ja) * 2008-07-01 2012-03-07 パナソニック株式会社 部品実装関連作業機
JP5527035B2 (ja) 2010-06-16 2014-06-18 株式会社ニコン 画像処理プログラム、画像処理装置および撮像装置
JP2012129434A (ja) * 2010-12-17 2012-07-05 Fuji Mach Mfg Co Ltd 対基板作業機
EP2587450B1 (en) 2011-10-27 2016-08-31 Nordson Corporation Method and apparatus for generating a three-dimensional model of a region of interest using an imaging system
JP5852505B2 (ja) * 2012-05-14 2016-02-03 ヤマハ発動機株式会社 部品または基板の作業装置および部品実装装置
CN104509235B (zh) * 2012-08-01 2017-04-26 富士机械制造株式会社 元件安装机
JP6219838B2 (ja) 2012-11-02 2017-10-25 富士機械製造株式会社 部品実装機
EP3021654B1 (en) 2013-07-08 2019-04-03 FUJI Corporation Component holding state detection method and component mounting machine

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005011950A (ja) * 2003-06-18 2005-01-13 Yamaha Motor Co Ltd 表面実装機
JP2012033734A (ja) * 2010-07-30 2012-02-16 Juki Corp 電子部品実装装置
JP2012064781A (ja) * 2010-09-16 2012-03-29 Hitachi High-Tech Instruments Co Ltd 部品認識カメラの状態チェック方法、および、部品認識カメラの状態チェック機能を有する電子部品装着装置
JP2013021196A (ja) * 2011-07-13 2013-01-31 Fuji Mach Mfg Co Ltd 部品実装機の画像処理装置
JP2013033419A (ja) * 2011-08-03 2013-02-14 Yamaha Motor Co Ltd Tdiセンサ、撮像装置、部品実装装置、部品試験装置および基板検査装置
JP2013153813A (ja) * 2012-01-27 2013-08-15 Olympus Corp 内視鏡装置、画像処理方法及びプログラム
JP2014000119A (ja) * 2012-06-15 2014-01-09 Panasonic Corp 内視鏡およびこれを備えた内視鏡システム
JP2014123621A (ja) * 2012-12-20 2014-07-03 Fuji Mach Mfg Co Ltd スプライシング誤作業検出装置

Also Published As

Publication number Publication date
CN107432116A (zh) 2017-12-01
EP3270677A4 (en) 2018-01-17
US20180054932A1 (en) 2018-02-22
EP3270677A1 (en) 2018-01-17
CN107432116B (zh) 2019-08-27
US10070570B2 (en) 2018-09-04
EP3270677B1 (en) 2020-08-26
JP6712260B2 (ja) 2020-06-17
WO2016143058A1 (ja) 2016-09-15

Similar Documents

Publication Publication Date Title
WO2017006416A1 (ja) 実装装置、撮像処理方法及び撮像ユニット
WO2016143058A1 (ja) 実装装置、撮像処理方法及び撮像ユニット
KR101605587B1 (ko) 다이 본더 및 그 본드 헤드 장치와 콜릿 위치 조정 방법
JP6279581B2 (ja) 実装装置及び部品検出方法
JP6795520B2 (ja) 実装装置および撮像処理方法
JP6789602B2 (ja) 実装装置
JP6475165B2 (ja) 実装装置
WO2016181439A1 (ja) 実装装置及び実装方法
JP6612845B2 (ja) 実装装置、撮像処理方法及び撮像ユニット
WO2018154691A1 (ja) 対基板作業装置および画像処理方法
WO2018134997A1 (ja) 部品装着機
JP6423193B2 (ja) 実装装置及び実装方法
JP6707403B2 (ja) 実装関連処理装置
JPWO2016151797A1 (ja) 実装装置及び実装方法
WO2018203373A1 (ja) 実装装置、情報処理装置、実装システム、実装方法及び情報処理方法
JP6789603B2 (ja) 実装装置
JP6652787B2 (ja) 実装装置及びその制御方法
JP7050048B2 (ja) 部品実装装置および画像処理方法
JP6792637B2 (ja) 部品装着方法
WO2020170349A1 (ja) 外観検査方法、実装機
JPWO2017037865A1 (ja) 要求精度設定装置
WO2019175974A1 (ja) 実装装置、情報処理装置及び実装方法
JPWO2016110941A1 (ja) 実装関連処理装置、画像処理方法及びそのプログラム
JP2018186116A (ja) 対基板作業装置
JPWO2018173226A1 (ja) 実装装置及び実装方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181226

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190612

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190620

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20190802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200529

R150 Certificate of patent or registration of utility model

Ref document number: 6712260

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250