JP6670590B2 - 画像生成装置、実装装置及び画像生成方法 - Google Patents

画像生成装置、実装装置及び画像生成方法 Download PDF

Info

Publication number
JP6670590B2
JP6670590B2 JP2015217407A JP2015217407A JP6670590B2 JP 6670590 B2 JP6670590 B2 JP 6670590B2 JP 2015217407 A JP2015217407 A JP 2015217407A JP 2015217407 A JP2015217407 A JP 2015217407A JP 6670590 B2 JP6670590 B2 JP 6670590B2
Authority
JP
Japan
Prior art keywords
image
subject
component
imaging unit
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015217407A
Other languages
English (en)
Other versions
JP2017092131A (ja
Inventor
孝浩 佐野
孝浩 佐野
友美 山田
友美 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Juki Corp
Original Assignee
Juki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Juki Corp filed Critical Juki Corp
Priority to JP2015217407A priority Critical patent/JP6670590B2/ja
Priority to CN201610963404.XA priority patent/CN106937525B/zh
Publication of JP2017092131A publication Critical patent/JP2017092131A/ja
Application granted granted Critical
Publication of JP6670590B2 publication Critical patent/JP6670590B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/04Mounting of components, e.g. of leadless components
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B15/00Optical objectives with means for varying the magnification
    • G02B15/02Optical objectives with means for varying the magnification by changing, adding, or subtracting a part of the objective, e.g. convertible objective
    • G02B15/04Optical objectives with means for varying the magnification by changing, adding, or subtracting a part of the objective, e.g. convertible objective by changing a part
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/004Optical devices or arrangements for the control of light using movable or deformable optical elements based on a displacement or a deformation of a fluid
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Operations Research (AREA)
  • Studio Devices (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、被写体の全焦点画像を生成する画像生成装置、実装装置及び画像生成方法に関する。
従来、この種の画像生成装置として、被写体に対して異なる位置に焦点(ピント)を合わせた複数の撮像画像から全焦点画像を生成するものが知られている(例えば、特許文献1参照)。特許文献1に記載の画像生成装置は、撮像部に対して被写体を離間又は接近させながら、被写体と撮像部との距離を変化させた複数の撮像画像を撮像している。そして、複数の撮像画像に対して画像処理を施すと共に、画像処理後の複数の撮像画像を合成することによって、撮像画像内の被写体画像を構成する各画素に焦点が合った全焦点画像を生成している。
特開2012−023340号公報
特許文献1に記載の画像生成装置では、焦点位置が異なる複数の画像を撮像するために、撮像部と対象物とのいずれかを移動させる駆動機構が必須である。しかしながら、駆動機構によって撮像部と対象物を移動させると、装置構成が複雑になると共に重量が増加し、さらにメンテナンスが必要になる等の問題が生じていた。
本発明はかかる点に鑑みてなされたものであり、簡易かつ軽量な構成で全焦点画像を生成することができる画像生成装置、実装装置及び画像生成方法を提供することを目的とする。
本発明の画像生成装置は、被写体の異なる位置に焦点を合わせた複数の撮像画像から、前記被写体の全焦点画像を生成する画像生成装置であって、屈折率が可変可能な液体レンズによって焦点位置を動かしながら前記被写体を複数回に亘って撮像する撮像部と、前記撮像部で撮像された複数の撮像画像から前記被写体の全焦点画像を生成する画像生成部とを備え、前記撮像部と前記被写体との距離が固定されており、前記撮像部が、前記被写体の異なる位置に焦点を合わせたときに、照明の明るさを調節することにより、前記異なる位置に対する照射光量を一定にすることを特徴とする。
本発明の画像生成方法は、被写体の異なる位置に焦点を合わせた複数の撮像画像から、前記被写体の全焦点画像を生成する画像生成方法であって、屈折率が可変可能な液体レンズによって焦点位置を動かしながら撮像部で前記被写体を複数回に亘って撮像するステップと、前記撮像部で撮像された複数の撮像画像から前記被写体の全焦点画像を生成するステップとを備え、前記撮像部と前記被写体との距離が固定されており、前記撮像するステップでは、前記被写体の異なる位置に焦点を合わせたときに、照明の明るさを調節することにより、前記異なる位置に対する照射光量を一定にすることを特徴とする。
これらの構成によれば、液体レンズの屈折率を変えることによって、撮像部と被写体との距離を変えることなく、被写体に対して異なる位置に焦点が合わせられる。このため、被写体を複数回に亘って撮像して、複数の撮像画像から全焦点画像を生成することができる。撮像部と被写体とのいずれかを移動させる駆動機構が不要であるため、簡易かつ軽量な構成で全焦点画像を生成することができる。また、撮像部と被写体との距離が固定されていても、高低差のある被写体に対する焦点を変えた時に、焦点を合わせた位置に対して同じ照射光量で照らすことができる。また、簡易な構成により照射光量を調節することができる。また、シャッターを調節する構成と比較して、タクトタイムを短くすることができる。
本発明の画像生成装置において、前記被写体の上面高さを測定する高さセンサを備え、前記撮像部が、前記被写体の上面高さを基準にして前記液体レンズの焦点位置を可変する。この構成によれば、オートフォーカスよりも短時間で液体レンズの焦点位置を調節することができる。
本発明の画像生成装置において、前記被写体の搬送中に撮像された各撮像画像内の被写体画像を補正して、前記複数の撮像画像の間で前記被写体画像の座標位置を一致させる画像補正部を備え、前記画像生成部が、補正後の前記複数の撮像画像から前記被写体の全焦点画像を生成する。この構成によれば、被写体を搬送しながら撮像した撮像画像から全焦点画像を生成することができ、タクトタイムを短縮することができる。
本発明の画像生成装置において、前記画像生成部は、前記全焦点画像に基づいて前記被写体の高さを算出する。この構成によれば、全焦点画像から被写体を立体的に認識することができる。
本発明の実装装置は、上記の画像生成装置と、前記被写体としての部品を基板の所定位置まで搬送する実装ヘッドとを備え、前記画像生成装置で生成された前記全焦点画像に基づいて、前記実装ヘッドが前記基板に前記部品を実装することを特徴とする。この構成によれば、全焦点画像から被写体としての部品の高さを求めて、基板に対して部品を精度よく実装することができる。
本発明によれば、液体レンズの屈折率を変えることによって、撮像部と被写体との距離を変えることなく、異なる位置に焦点が合わせられた複数の撮像画像を撮像することができる。複数の撮像画像を合成することで、簡易かつ軽量な構成で全焦点画像を生成することができる。
本実施の形態の実装装置の上面模式図である。 駆動機構を使用した撮像部の撮像原理の説明図である。 液体レンズを使用した撮像部の撮像原理の説明図である。 本実施の形態の画像生成装置の模式図である。 本実施の形態の撮像画像を示す図である。 本実施の形態のフローチャートの一例を示す図である。 本実施の形態の撮像動作の一例を示す図である。
以下、添付図面を参照して本実施の形態の実装装置について説明する。図1は、本実施の形態の実装装置の上面模式図である。図2は、駆動機構を使用した撮像部の撮像原理の説明図である。図3は、液体レンズを使用した撮像部の撮像原理の説明図である。なお、本実施の形態では、全焦点画像の画像生成装置を実装装置に適用した例について説明するが、画像生成装置を備えていれば実装装置以外の装置にも適用可能である。
図1に示すように、実装装置1は、テープフィーダ等の部品供給装置10から供給された部品P(図4参照)を、実装ヘッド40によって基板Wの載置面に搭載するように構成されている。実装装置1の基台20の略中央には、X軸方向に沿って基板搬送部21が配設されている。基板搬送部21は、X軸方向の一端側から部品搭載前の基板Wを実装ヘッド40の下方に搬入して位置決めし、部品搭載後の基板WをX軸方向の他端側から搬出する。また、基台20上には、基板搬送部21を挟んだ両側に多数の部品供給装置10がX軸方向に横並びに配置されている。
部品供給装置10にはテープリール11が着脱自在に装着され、テープリール11には多数の部品Pをパッケージングしたキャリアテープ(不図示)が巻回されている。各部品供給装置10は、装置内に設けられたスプロケットホイールの回転によって実装ヘッド40にピックアップされる受け渡し位置に向けて順番に部品Pを繰り出している。実装ヘッド40の受け渡し位置では、キャリアテープから表面のカバーテープが剥離され、キャリアテープのポケット(不図示)内の部品Pが外部に露出される。なお、本実施の形態では、部品供給装置10としてテープフィーダを例示したが、ボールフィーダ等で構成されていてもよい。
基台20上には、実装ヘッド40をX軸方向及びY軸方向に移動させるXY移動部30が設けられている。XY移動部30は、Y軸方向に平行に延びる一対のY軸テーブル31と、X軸方向に平行に延びるX軸テーブル32とを有している。一対のY軸テーブル31は、基台20の四隅に立設された支持部(不図示)に支持されており、X軸テーブル32は、一対のY軸テーブル31上にY軸方向に移動可能に設置されている。X軸テーブル32上には実装ヘッド40がX軸方向に移動可能に設置されている。実装ヘッド40は、XY移動部30によって部品供給装置10と基板Wとの間を往復移動される。
実装ヘッド40は、ノズル41を備えた複数(本実施の形態では3つ)のヘッド部42を有している。ヘッド部42は、Z軸モータ(不図示)によってノズル41をZ軸方向に上下動すると共に、θモータ(不図示)によってノズル41をZ軸回りに回転する。各ノズル41は吸引源(不図示)に接続されており、吸引源からの吸引力によって部品Pを吸着保持する。なお、実装ヘッド40のノズル41は、上記のノズル41に限定されず、部品供給装置10から部品Pを取り出して基板Wに搭載可能であればよく、例えば、グリッパーノズルで構成されていてもよい。
実装ヘッド40には、発光部と受光部を備え、反射光を受光してその距離を測定できる高さセンサ43と、基板WのBOC(Board Offset Correction)マークを撮像する基板撮像部44と、ノズル41による部品Pの搭載動作を撮像するノズル撮像部45と、ノズル41に吸着された部品Pを認識可能な不図示のレーザ認識部が設けられている。高さセンサ43では、実装ヘッド40から測定対象物への高さ(距離)が測定される。基板撮像部44では、BOCマークの撮像画像に基づいて基板Wの位置、傾き、伸縮等が認識される。また、不図示のレーザ認識部は、水平一方向に沿って受光部と発光部を備え、そのレーザ光の中に、部品Pを吸着したノズル41を上下動させたり、回転させたりすることより、部品Pの高さ寸法Zや、X、Y寸法(幅寸法)や、ノズル41に対する部品Pの吸着ズレを認識することができる。これらの認識結果に基づいて基板Wに対する部品Pの搭載位置の補正情報が生成される。ノズル撮像部45では、ノズル41による吸着前後の部品Pが撮像される他、基板Wに対する搭載前後の部品Pが撮像されて、これらの各画像がトレーサビリティ情報として保存される。また、ノズル41による吸着前の部品Pの撮像画像から部品Pの吸着位置が認識される。
また、実装装置1の基台20には、ノズル41に吸着された部品Pを複数回に亘って撮像して全焦点画像を生成する画像生成装置50が搭載されている。画像生成装置50には、ノズル41に吸着された部品Pを下方から撮像する部品撮像部51(撮像部)が設けられている。部品撮像部51では、部品Pに対して異なる位置に焦点を合わせながら複数の撮像画像が撮像される。そして、複数の撮像画像から全焦点画像が生成されることで、部品Pの傾き、部品Pの高さが認識され、これらの認識結果に基づいてノズル41の吸着位置や移動量等の補正情報が生成される。なお、画像生成装置50は、実装ヘッド40に設けられても良い。
また、実装装置1には、装置各部を統括制御する制御部60(図4参照)が設けられている。制御部60は、各種処理を実行するプロセッサやメモリ等により構成されている。メモリは、用途に応じてROM(Read Only Memory)、RAM(Random Access Memory)等の一つ又は複数の記憶媒体で構成されている。メモリには、実生産で使用される生産プログラム、全焦点画像の生成プログラム、撮像画像の補正プログラム等が記憶されている。
図2A−2C、図3A−3Cは、実装ヘッド40に撮像部71や、液体レンズ83を含む撮像部81が設けられた例である。ここで、全焦点画像の生成時の一般的な撮像方法について説明する。図2Aに示すように、被写体Oの全焦点画像を生成する場合には、通常は撮像素子72、レンズ73、照明74からなる撮像部71を移動させるために、リニアガイド77とスライダ78からなる駆動機構76が必要になる。リニアガイド77に沿ってスライダ78を被写体Oに対する離間方向又は接近方向に動かすことで、撮像部71によって被写体Oの複数の撮像画像が撮像される。複数の撮像画像は、被写体Oから撮像部71までの距離が可変させながら撮像された画像であるため、被写体Oに対して異なる位置に焦点が合わせられている。
例えば、図2Bに示すように、被写体Oから撮像部71までの離間距離がL1の場合には、被写体Oの点P1からの光(反射光)は、レンズ73を通じて撮像素子72の撮像面75で結像される。また、被写体Oの点P1よりも上面側の点P2からの光は、レンズ73を通じて撮像素子72の撮像面75よりも奥側で結像される。すなわち、離間距離L1では、被写体Oの点P1に焦点を合わせた撮像画像が撮像される。被写体Oの点P1に焦点を合わせた撮像画像は、被写体Oの下面側が鮮明に撮られており、被写体Oの下面側から上面側に向かって徐々に不鮮明になっている。
一方で、図2Cに示すように、被写体Oから撮像部71までの離間距離がL2の場合には、被写体Oの点P1からの光(反射光)は、レンズ73を通じて撮像素子72の撮像面75よりも手前で結像される。また、被写体Oの点P1よりも上面側の点P2からの光は、レンズ73を通じて撮像素子72の撮像面75で結像される。すなわち、離間距離L2では、被写体Oの点P2に焦点が合わせられた撮像画像が撮像される。被写体Oの点P2に焦点を合わせた撮像画像は、被写体Oの上面側が鮮明に撮られており、被写体Oの下面側に向かって徐々に不鮮明になるようになっている。
被写体Oに対して異なる位置に焦点が合わせられた複数の撮像画像を合成することによって全焦点画像が生成される。しかしながら、このような構成では、被写体Oに対して撮像部71を離間又は接近させるために、リニアガイド77やスライダ78等の駆動機構やモーター等の駆動源が必要になるため、装置構成が複雑になると共に装置重量が増加するという問題がある。そこで、図3Aに示すように、撮像部81に液体レンズ83を用いることで、撮像部81と被写体Oの距離を変えることなく、被写体Oの異なる位置に焦点を合わせた複数の撮像画像を撮像するようにしている。
例えば、図3Bに示すように液体レンズ83の屈折率(界面形状)を可変させると、被写体Oの点P1からの光が撮像素子82の撮像面85で結像され、被写体Oの点P2からの光が撮像素子82の撮像面85よりも奥側で結像される。また、図3Cに示すように液体レンズ83の屈折率を可変させると、被写体Oの点P1からの光が撮像素子82の撮像面85よりも手前で結像され、被写体Oの点P2からの光が撮像素子82の撮像面85で結像される。このように、液体レンズ83の屈折率を可変することで、被写体Oの点P1、点P2に焦点を合わせた撮像画像が撮像される。
本実施の形態の実装装置1は、液体レンズ83を備えた撮像部81を部品撮像部51(図1参照)に適用して、部品P(図4参照)を撮像して全焦点画像を生成している。実装装置1は、BGA(Ball Grid Array)のようにパッケージ91(図4参照)から半田ボール92が突出した部品Pを扱うが、この部品Pを基板Wに差し込むためには全焦点画像から半田ボール92の正確な高さを求める必要がある。しかしながら、図3に示す撮像部81では、被写体Oの高低差が正確なコントラストとして全焦点画像に表れず、全焦点画像から半田ボール92(図4参照)の正確な高さを求めることが難しい。
例えば、図2に示す撮像部71の場合には、照明74から被写体Oまでの距離が可変されるため、被写体Oの焦点が合った位置に対する照射光量にバラツキが生じない。例えば、図2Bでは被写体Oの点P1、図2Cでは被写体Oの点P2にそれぞれ焦点が合わせられるが、被写体Oの各点P1、P2から照明74までの距離La、Lbが同じであるため、照明74から被写体Oの各点P1、P2に対する照射光量が一定になっている。このため、被写体Oの点P1、P2に焦点を合わせた撮像画像を同じ明るさで撮像することが可能になっている。
これに対し、図3に示す撮像部81の場合には、照明84から被写体Oまでの距離が固定されているため、被写体Oの焦点が合った位置に対する照射光量にバラツキが生じている。例えば、図3Bでは被写体Oの点P1、図3Cでは被写体Oの点P2にそれぞれ焦点が合わせられるが、被写体Oの各点P1、P2から照明84までの距離La、Lbが異なるため、照明84から被写体Oの点P1、P2に対する照射光量にバラツキが生じる。このように、液体レンズ83を用いた撮像部81では、簡易かつ軽量な構成にできるものの、撮像画像にコントラストを正確に付けることが難しい。
このため、本実施の形態の部品撮像部51では、被写体Oの異なる位置に焦点を合わせたときに当該位置に対する照射光量を一定になるように調節している。これにより、部品撮像部51を簡易かつ軽量な構成にすると共に、部品Pの各位置に焦点を合わせたときに一定の明るさで撮像することができる。また、部品撮像部51で撮像された複数の撮像画像から全焦点画像を生成することで、全焦点画像に明暗のコントラストを精度よく付けることができ、半田ボール92の高さを精度よく求めることができる。
以下、図4及び図5を参照して、実装装置に搭載された画像生成装置について詳細に説明する。図4は、本実施の形態の画像生成装置の模式図である。図5は、本実施の形態の撮像画像を示す図である。なお、本実施の形態では、画像生成装置の撮像部として部品撮像部を例示して説明するが、画像生成装置の撮像部は、基板撮像部及びノズル撮像部であってもよい。すなわち、液体レンズを含む撮像部は、基台20に設けてもよいし、実装ヘッド40に設けてもよい。基台20に撮像部を設けた場合は、撮像対象がノズル41やノズル41に吸着された部品Pになる。また、実装ヘッド40に撮像部を設けた場合は、撮像対象が基板Wや、基板Wに実装された部品Pや、部品供給装置11の吸着位置に供給された部品Pになる。なお、全焦点画像の生成は、撮像部を基台20、実装ヘッド40どちらに設けても同じなので、ここでは撮像部を基台20に設けた実施形態を説明する。
図4に示すように、画像生成装置50は、実装ヘッド40(図1参照)によって搬送中の部品Pを部品撮像部51によって下側から撮像し、複数の撮像画像から部品Pの全焦点画像を生成するように構成されている。部品撮像部51と部品Pとの高さ方向の距離が固定されているため、部品撮像部51は屈折率が可変可能な液体レンズ55によって焦点位置を動かしながら部品Pを複数回に亘って撮像している。また、部品撮像部51による部品Pの撮像時には、部品Pの焦点を合わせた位置に対する照射光量が一定になるように、液体レンズ55の焦点位置に応じて照明56の明るさが調節されている(これを照明調節手段と称する)。なお、液体レンズ55としては、例えば画角の小さなテレセントリックレンズが使用される。
この場合、照明56の明るさは、照射光量を一定にする際の液体レンズ55の焦点位置(屈折率)と照明56の明るさとの関係を示すテーブルやグラフによって調節される。なお、照明56の明るさは、部品Pの端に設定された着目点の輝度が一定になるように調節されてもよい。このように、照明56の明るさを調節することで、部品撮像部51と部品Pとの距離が固定されていても、高低差のある部品Pに対する焦点を変えた時に、焦点を合わせた位置を同じ照射光量で照らすことができる。また、照明56のシャッターの調整によって照射光量が調整される構成と比較して、タクトタイムを短くすることができる。
また、部品撮像部51に近くには高さセンサ52が設けられており、高さセンサ52によって部品Pの上面高さが測定される。なお、基台20側に設けた高さセンサ52は、先に述べた実装ヘッド40に設けた高さセンサ43とその機能は同じである。部品撮像部51は、高さセンサ52によって測定された部品Pの上面高さを基準にして、液体レンズ55の焦点位置を可変している。これにより、オートフォーカスよりも短時間で液体レンズ55の焦点位置を調整することが可能になっている。部品撮像部51の撮像素子57に撮像画像が取り込まれると、制御部60のメモリ61に撮像画像が出力される。このとき、部品撮像部51が搬送中の部品Pを撮像しているため、複数の撮像画像内で部品画像(被写体画像)に位置ズレが生じている。
このため、画像生成装置50には、各撮像画像内の部品画像を補正して、複数の撮像画像間で部品画像の座標位置を一致させる画像補正部53が設けられている。図5に示すように、画像補正部53は、例えば、各撮像画像内から部品画像を抽出して、部品画像の中心Cを撮像画像の中心座標に移動させる。このように、各部品画像の全ての画素が各撮像画像内で同一座標に位置付けられるように補正される。この場合、画像補正部53は、撮像時の実装ヘッド40(図1参照)のヘッド位置をエンコーダ等から読み取って、各撮像画像の撮像時のヘッド位置に基づいて部品画像を補正している。
また、図4に戻り、画像生成装置50には、補正後の複数の撮像画像から、全ての画素について焦点が合った全焦点画像を生成する画像生成部54が設けられている。画像生成部54は、複数の撮像画像から既存のアルゴリズム(例えば、特開2012−023340号公報に記載のアルゴリズム)を用いて全焦点画像を生成する。例えば、複数の撮像画像で各画素のコントラスト値が求められ、複数の撮像画像間で同一画素のコントラスト値が比較される。これにより、各撮像画像で焦点が合った画素(図5参照)が特定されて、これらの画素を合成することによって全焦点画像が生成される。
また、画像生成部54は、全焦点画像に基づいて部品Pの高さを算出する。この場合、全焦点画像の各画素が同一の照射光量で撮像されているため、全焦点画像からコントラストから部品Pの高さが精度よく算出される。部品Pのパッケージ91から突出した半田ボール92の突出長が算出されることで、全焦点画像から部品Pが立体的に認識される。よって、実装ヘッド40に基板Wに対して、BGA等の半田ボール92が突出した部品Pを精度よく実装させることが可能になっている。また、部品Pを搬送しながら撮像した撮像画像から全焦点画像を生成することができ、タクトタイムを短縮することが可能になっている。
図6及び図7を参照して、画像生成処理について説明する。図6は、本実施の形態のフローチャートの一例を示す図である。図7は、本実施の形態の撮像動作の一例を示す図である。なお、図6の説明においては、図4の符号を適宜使用して説明する。
図6に示すように、先ず部品Pに対する撮像処理が実施される。撮像処理では、液体レンズ55の屈折率が可変されて、実装装置1(図1参照)で搬送中の部品Pよりもの奥方に焦点が合わせられる(ステップS01、図7A参照)。次に、焦点が合わせられた位置に対して所定の照射光量になるように、液体レンズ55の焦点位置に応じて照明56の明るさが調節される(ステップS02)。次に、部品Pよりも奥方に焦点が合わせられた状態で、搬送中の部品Pが所定の照射光量で撮像される(ステップS03)。次に、部品Pに対する撮像回数が所定回数以上か否かが判定される(ステップS04)。
撮像回数が所定回数に満たない場合には(ステップS04でNo)、液体レンズ55の屈折率が可変されることで、焦点が合う位置(合焦位置)が部品Pの奥方から手前に移動される(ステップS05)。そして、撮像回数が所定回数になるまで、ステップS02からステップS04までの処理が繰り返される。これにより、焦点が合う位置が部品Pに対して奥方から手前に移動されながら、搬送中の部品Pに対して異なる位置に焦点を合わせた複数の撮像画像が撮像される(図7B参照)。搬送中の部品Pが撮像されるため、複数の撮像画像内の部品画像に位置ズレが生じている(図5参照)。
一方で、撮像回数が所定回数以上になると(ステップS04でYes)、全焦点画像の画像生成処理が実施される。画像生成処理では、複数の撮像画像内の部品画像の中心Cが撮像画像の中心座標に移動するように補正される(ステップS06)。これにより、各撮像画像内の部品画像の画素が、複数の撮像画像間で同じ位置に揃えられる。次に、複数の撮像画像の焦点が合った画素が合成されることで全焦点画像が生成される(ステップS07)。このとき、全焦点画像の各画素が同一の照射光量で撮像されるため、半田ボール92の高低差が正確なコントラストとして全焦点画像に表れている。そして、全焦点画像に基づいて部品Pの半田ボール92の高さが精度よく算出される(ステップS08)。
以上のように、本実施の形態の実装装置1によれば、液体レンズ55の屈折率を変えることによって、部品撮像部51と部品Pとの距離を変えることなく、部品Pに対して異なる位置に焦点が合わせられる。このため、部品Pを複数回に亘って撮像して、複数の撮像画像から全焦点画像を生成することができる。部品撮像部51と部品Pとのいずれかを移動させる駆動機構が不要であるため、簡易かつ軽量な構成で全焦点画像を生成することができる。
なお、本発明は上記実施の形態に限定されず、種々変更して実施することが可能である。上記実施の形態において、添付図面に図示されている大きさや形状などについては、これに限定されず、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
例えば、本実施の形態において、画像生成装置50は、部品撮像部51で撮像された搬送中の部品の複数の撮像画像から全焦点画像を生成する構成について説明したが、この構成に限定されない。画像生成装置は、被写体の異なる位置に焦点を合わせた複数の撮像画像から、被写体の全焦点画像を生成する構成であればよい。例えば、画像生成装置は、基板撮像部44及びノズル撮像部45を撮像部にして、被写体として基板W及び部品Pを複数回に亘って撮像して全焦点画像を生成してもよい。基板Wの全焦点画像から反り量を求めることができ、部品Pの全焦点画像から部品Pの吸着前状態や搭載状態を確認することができる。なお、画像生成装置の撮像部として基板撮像部44及びノズル撮像部45を使用する場合には、実装ヘッド40の高さセンサ43を使用して被写体の上面高さを測定することができる。
また、本実施の形態において、照明56の明るさを調節することで部品Pに対する照射光量を一定にする構成にしたが、この構成に限定されない。照射光量は、照被写体の異なる位置に焦点が合わせられたときに、当該位置に対して一定になるように調節されていれもよい。例えば、照射光量は、照明56のシャッター時間によって一定になるように調節されてもよいし、シャッタースピードによって一定になるように調節されてもよい。
また、本実施の形態において、全焦点画像から被写体の高さを算出する構成にしたが、全焦点画像から被写体の3次元画像を生成してもよい。
また、本実施の形態において、画像生成装置50を実装装置1に搭載する構成について説明したが、この構成に限定されない。画像生成装置50は、実装装置1以外の装置に搭載されてもよいし、全焦点画像生成の専用装置でもよい。
また、本実施の形態において、画像生成装置50が、パッケージ91から半田ボール92が突出したBGAの全焦点画像を生成する構成にしたが、他の部品の全焦点画像についても同じ方法で生成することができる。また、被写体は部品Pに限られず、基板Wやその他の撮像対象であればよい。
また、本実施の形態において、高さセンサ52によって部品Pの上面高さを測定して、上面高さを基準にして、液体レンズ55の焦点位置を調節する構成にしたが、この構成に限定されない。実装装置1のメモリに予め設定された部品Pの高さ等のデータを用いて、液体レンズ55の焦点位置を調整してもよい。
以上説明したように、本発明は、簡易かつ軽量な構成で全焦点画像を生成することができるという効果を有し、特に、基板に部品を実装する実装装置、実装装置に搭載される画像生成装置、画像生成装置による画像生成方法に有用である。
1 実装装置
40 実装ヘッド
44 基板撮像部(撮像部)
45 ノズル撮像部(撮像部)
50 画像生成装置
51 部品撮像部(撮像部)
52 高さセンサ
53 画像補正部
54 画像生成部
55 液体レンズ
56 照明
P 部品(被写体)
W 基板(被写体)

Claims (6)

  1. 被写体の異なる位置に焦点を合わせた複数の撮像画像から、前記被写体の全焦点画像を生成する画像生成装置であって、
    屈折率が可変可能な液体レンズによって焦点位置を動かしながら前記被写体を複数回に亘って撮像する撮像部と、
    前記撮像部で撮像された複数の撮像画像から前記被写体の全焦点画像を生成する画像生成部とを備え
    前記撮像部と前記被写体との距離が固定されており、
    前記撮像部が、前記被写体の異なる位置に焦点を合わせたときに、照明の明るさを調節することにより、前記異なる位置に対する照射光量を一定にすることを特徴とする画像生成装置。
  2. 前記被写体の上面高さを測定する高さセンサを備え、
    前記撮像部が、前記被写体の上面高さを基準にして前記液体レンズの焦点位置を可変することを特徴とする請求項1に記載の画像生成装置。
  3. 前記被写体の搬送中に撮像された各撮像画像内の被写体画像を補正して、前記複数の撮像画像の間で前記被写体画像の座標位置を一致させる画像補正部を備え、
    前記画像生成部が、補正後の前記複数の撮像画像から前記被写体の全焦点画像を生成することを特徴とする請求項1又は請求項2に記載の画像生成装置。
  4. 前記画像生成部は、前記全焦点画像に基づいて前記被写体の高さを算出することを特徴とする請求項1から請求項3のいずれかに記載の画像生成装置。
  5. 請求項1から請求項4のいずれかに記載の画像生成装置と、
    前記被写体としての部品を基板の所定位置まで搬送する実装ヘッドとを備え、
    前記画像生成装置で生成された前記全焦点画像に基づいて、前記実装ヘッドが前記基板に前記部品を実装することを特徴とする実装装置。
  6. 被写体の異なる位置に焦点を合わせた複数の撮像画像から、前記被写体の全焦点画像を生成する画像生成方法であって、
    屈折率が可変可能な液体レンズによって焦点位置を動かしながら撮像部で前記被写体を複数回に亘って撮像するステップと、
    前記撮像部で撮像された複数の撮像画像から前記被写体の全焦点画像を生成するステップとを備え
    前記撮像部と前記被写体との距離が固定されており、
    前記撮像するステップでは、前記被写体の異なる位置に焦点を合わせたときに、照明の明るさを調節することにより、前記異なる位置に対する照射光量を一定にすることを特徴とする画像生成方法。
JP2015217407A 2015-11-05 2015-11-05 画像生成装置、実装装置及び画像生成方法 Active JP6670590B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015217407A JP6670590B2 (ja) 2015-11-05 2015-11-05 画像生成装置、実装装置及び画像生成方法
CN201610963404.XA CN106937525B (zh) 2015-11-05 2016-11-04 图像生成装置、安装装置及图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015217407A JP6670590B2 (ja) 2015-11-05 2015-11-05 画像生成装置、実装装置及び画像生成方法

Publications (2)

Publication Number Publication Date
JP2017092131A JP2017092131A (ja) 2017-05-25
JP6670590B2 true JP6670590B2 (ja) 2020-03-25

Family

ID=58771038

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015217407A Active JP6670590B2 (ja) 2015-11-05 2015-11-05 画像生成装置、実装装置及び画像生成方法

Country Status (2)

Country Link
JP (1) JP6670590B2 (ja)
CN (1) CN106937525B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112532968B (zh) * 2019-09-18 2021-09-14 华为技术有限公司 用于对镜头模组中液体透镜的面形标定方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62140008A (ja) * 1985-12-16 1987-06-23 Komatsu Ltd 物体の認識方法
JP2960684B2 (ja) * 1996-08-02 1999-10-12 株式会社日立製作所 立体形状検出方法及びその装置
JP3961729B2 (ja) * 1999-03-03 2007-08-22 株式会社デンソー 全焦点撮像装置
JP5369564B2 (ja) * 2008-09-11 2013-12-18 株式会社ニコン 形状測定装置
JP5443938B2 (ja) * 2009-10-19 2014-03-19 Juki株式会社 電子部品実装装置
CN102364297B (zh) * 2010-06-15 2016-09-28 Juki株式会社 电子部件安装装置
JP5759271B2 (ja) * 2010-06-15 2015-08-05 Juki株式会社 電子部品実装装置
WO2015040696A1 (ja) * 2013-09-18 2015-03-26 富士機械製造株式会社 部品実装機

Also Published As

Publication number Publication date
JP2017092131A (ja) 2017-05-25
CN106937525B (zh) 2020-07-10
CN106937525A (zh) 2017-07-07

Similar Documents

Publication Publication Date Title
JP5478122B2 (ja) 位相シフト画像撮像装置、部品移載装置および位相シフト画像撮像方法
JP2014203938A (ja) 部品実装装置
JP5224343B2 (ja) レーザ加工装置
WO2014174598A1 (ja) 部品実装装置、実装ヘッド、および制御装置
CN106465580B (zh) 元件数据生成装置、表面安装机及元件数据生成方法
JP6849815B2 (ja) 部品実装装置、撮影方法、実装順序の決定方法
JP6411663B2 (ja) 部品実装装置
TWI709835B (zh) 將部件定位在板上期望位置的方法、取放機和用於該取放機的感應器
JP7181292B2 (ja) 平坦度取得システムおよび実装機
JP6670590B2 (ja) 画像生成装置、実装装置及び画像生成方法
JP2009212251A (ja) 部品移載装置
JP2009094295A (ja) 電子部品の高さ測定装置
JP2006140391A (ja) 部品認識装置及び部品実装装置
JP6615321B2 (ja) 基板作業装置および部品実装装置
JP5254106B2 (ja) 電子部品実装装置
JP2014165209A (ja) 部品実装装置、および、部品実装方法
JP2013096831A (ja) 部品実装基板生産装置、および、三次元形状測定装置
JP2022170080A (ja) 部品実装装置
JP2022123609A (ja) 部品装着装置、及び、部品装着方法
JP6918611B2 (ja) 電子部品実装装置及び電子部品実装方法
JP2009085689A (ja) 電子部品の三次元測定装置
JP7142454B2 (ja) 実装装置、実装方法
KR102693683B1 (ko) 기판 작업 장치
JP6804905B2 (ja) 基板作業装置
JP6896468B2 (ja) 部品実装機、部品認識方法、部品認識プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181023

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200302

R150 Certificate of patent or registration of utility model

Ref document number: 6670590

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150