JPWO2019229920A1 - 認識パラメータ最適化装置、部品実装システム、認識パラメータ最適化方法 - Google Patents

認識パラメータ最適化装置、部品実装システム、認識パラメータ最適化方法 Download PDF

Info

Publication number
JPWO2019229920A1
JPWO2019229920A1 JP2020522494A JP2020522494A JPWO2019229920A1 JP WO2019229920 A1 JPWO2019229920 A1 JP WO2019229920A1 JP 2020522494 A JP2020522494 A JP 2020522494A JP 2020522494 A JP2020522494 A JP 2020522494A JP WO2019229920 A1 JPWO2019229920 A1 JP WO2019229920A1
Authority
JP
Japan
Prior art keywords
component
image data
recognition
brightness
mounting machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020522494A
Other languages
English (en)
Other versions
JP7021347B2 (ja
Inventor
加藤 寛
寛 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Motor Co Ltd
Original Assignee
Yamaha Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Motor Co Ltd filed Critical Yamaha Motor Co Ltd
Publication of JPWO2019229920A1 publication Critical patent/JPWO2019229920A1/ja
Application granted granted Critical
Publication of JP7021347B2 publication Critical patent/JP7021347B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • H05K13/081Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0818Setup of monitoring devices prior to starting mounting operations; Teaching of monitoring devices for specific products; Compensation of drifts during operation, e.g. due to temperature shifts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • H05K13/081Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0812Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines the monitoring devices being integrated in the mounting machine, e.g. for monitoring components, leads, component placement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Multimedia (AREA)

Abstract

部品実装機10が基板Bに部品Pを実装する際に部品認識(ステップS102)で当該部品Pを撮像することで取得された画像データDpが記憶部92に記憶され(ステップS103)、この画像データDpに基づき輝度関連条件が最適化される(ステップS201、S301〜S311)。したがって、実際に部品実装の対象となった部品Pに応じた適切な輝度関連条件を取得することが可能となる。

Description

この発明は、カメラにより部品を撮像することで部品を認識する技術に関する。
従来、実装ヘッドにより吸着した部品を基板に実装する部品実装機が知られている。かかる部品実装機では、部品のサイズ等の部品情報を示す実装データに従って部品が実装される。特に特許文献1では、部品の原画像と部品情報とを関連付けてデータベースに予め記憶しておき、部品実装機が部品を撮像した画像と、データベースの原画像とを対比することで、データベースから部品情報を抽出して、実装データを作成する技術が示されている。部品実装機は、こうして作成された実装データに基づき、実装ヘッドにより部品を吸着して基板に実装することができる。
ただし、かかる部品実装機では、実装ヘッドが適切に部品を吸着していないために、部品の実装に失敗する場合がある。そこで、カメラで部品を撮像した画像に基づき部品を認識する部品認識が適宜実行される。この部品認識では、例えば画像に含まれる部品のサイズと許容値との比較に基づき、実装ヘッドにより部品が適切に吸着されているかが判断される。特に特許文献2では、部品認識において撮像した画像に基づき、部品サイズの許容値を調整する技術が示されている。
特開2002−050895号公報 特開2011−211088号公報
ところで、部品認識は、照明から光を部品に照射しつつ撮像した画像の輝度に対して閾値を用いた画像処理を行った結果に基づき実行される。このような画像の輝度に関する条件(輝度関連条件)、すなわち、部品認識で使用する照明の光の明るさと閾値との組み合わせは、部品認識の開始前に予め設定されており、部品実装機はこの輝度関連条件を用いて部品認識を実行する。
しかしながら、部品認識の開始前に設定された輝度関連条件が、実際に部品実装の対象となった部品に応じたものでないために、部品実装における部品認識の精度が低下する場合があった。このような部品認識の精度の低下は、目的の部品であり且つ正しい形状の部品を正常に吸着できているにも拘わらず、部品の姿勢あるいは部品自体が実装に適さないと誤って判断する要因となる。
この発明は上記課題に鑑みなされたものであり、実際に部品実装の対象となった部品に応じた適切な輝度関連条件を取得することを可能とする技術の提供を目的とする。
本発明に係る認識パラメータ最適化装置は、照明から部品に光を照射しつつカメラによって部品を撮像することで取得した画像データが示す輝度に対して閾値を用いた画像処理を実行した結果に基づき部品を認識する部品認識を実行し、部品認識の結果に基づき部品を基板に実装する部品実装機で取得された画像データを受信する通信部と、通信部が受信した画像データを記憶する記憶部と、部品認識で使用する照明の光の明るさと閾値との組合せを示す輝度関連条件を、記憶部に記憶された画像データに基づき最適化して記憶部に記憶する演算部とを備える。
本発明に係る認識パラメータ最適化方法は、照明から部品に光を照射しつつカメラによって部品を撮像することで取得した画像データが示す輝度に対して閾値を用いた画像処理を実行した結果に基づき部品を認識する部品認識を実行し、部品認識の結果に基づき部品を基板に実装する部品実装機で取得された画像データを通信部により受信する工程と、通信部が受信した画像データを記憶部に記憶する工程と、部品認識で使用する照明の光の明るさと閾値との組合せを示す輝度関連条件を、記憶部に記憶された画像データに基づき最適化して記憶部に記憶する工程とを備える。
このように構成された本発明(認識パラメータ最適化装置、認識パラメータ最適化方法)では、部品実装機が基板に部品を実装する際に部品認識で当該部品を撮像することで取得された画像データが記憶部に記憶され、この画像データに基づき輝度関連条件が最適化される。したがって、実際に部品実装の対象となった部品に応じた適切な輝度関連条件を取得することが可能となる。
また、記憶部は、画像データの属性と関連付けて当該画像データを記憶し、属性は、画像データに含まれる部品の種類によって少なくとも区別され、演算部は、同一の属性に対応する種類の部品に対して部品認識を実行する際の輝度関連条件を、同一の属性を有する複数の画像データに基づき最適化するように、認識パラメータ最適化装置を構成しても良い。かかる構成では、実際に部品実装の対象となった部品の種類に応じた適切な輝度関連条件を取得することが可能となる。
また、属性は、部品認識の対象となった部品の製造元、部品認識で用いられたカメラおよび部品認識を実行した部品実装機の少なくとも1つと部品の種類との組合せによって区別されるように、認識パラメータ最適化装置を構成しても良い。かかる構成では、部品認識の対象となった部品の製造元、部品認識で用いられたカメラあるいは部品認識を実行した部品実装機等に応じた適切な輝度関連条件を取得することが可能となる。
また、通信部が、部品認識で取得予定の画像データの属性を受信すると、演算部は、通信部により受信された属性の画像データに基づき最適化された輝度関連条件を、通信部を介して部品実装機に送信するように、認識パラメータ最適化装置を構成しても良い。かかる構成では、部品認識で取得予定の画像データの属性を認識パラメータ最適化装置に送信することで、この属性に応じて最適化された輝度関連条件を部品実装機に送信することができる。したがって、実行予定の部品認識を、当該部品認識で取得予定の部品の画像データの属性に応じた輝度関連条件で実行することができる。
また、部品実装機が部品認識の開始前に部品を撮像することで取得した画像データを、通信部が受信すると、演算部は、通信部により受信された画像データと所定関係を有する画像データに基づき最適化された輝度関連条件を、通信部を介して部品実装機に送信するように、認識パラメータ最適化装置を構成しても良い。かかる構成では、部品実装機は、部品認識の開始前に部品を撮像することで画像データを取得して、これを認識パラメータ最適化装置に送信することで、当該画像データと所定関係を有する画像データに基づき最適化された輝度関連条件を受信できる。したがって、部品実装機は、実際に部品実装の対象となった部品に応じた輝度関連条件で、部品実装での部品認識を開始することができる。
また、演算部は、通信部により受信された画像データと類似する画像データに基づき最適化された輝度関連条件を、通信部を介して部品実装機に送信するように、認識パラメータ最適化装置を構成しても良い。かかる構成では、部品実装機は、部品認識の開始前に取得した部品の画像データと類似した画像データに基づき最適化された輝度関連条件に基づき、部品認識を適切に開始することが可能となる。
また、通信部は、部品実装機が照明から所定明るさの光を照射するという所定照明条件下で部品を撮像することで、部品認識の開始前に取得した画像データを受信するように、認識パラメータ最適化装置を構成しても良い。
さらに、記憶部は、輝度関連条件で取得した画像データを所定照明条件で取得した場合に相当する画像データを、参照画像データとして輝度関連条件に関連付けて記憶し、演算部は、通信部により受信された画像データと類似する参照画像データに関連付けられた輝度関連条件を、通信部を介して部品実装機に送信するように、認識パラメータ最適化装置を構成しても良い。かかる構成では、認識パラメータ最適化装置は、部品実装機が所定照明条件で部品を撮像して取得した画像データに基づき、適切な輝度関連条件を的確に部品実装機に送信することができる。
あるいは、記憶部は、輝度関連条件の最適化に用いた画像データと輝度関連条件とを関連付けて記憶し、演算部は、通信部により受信された画像データと、輝度関連条件と関連付けられた画像データとを照合した結果、所定の照合条件を満たす画像データに関連付けられた輝度関連条件を、通信部を介して部品実装機に送信し、照合条件は、通信部により受信された画像データの輝度を、所定照明条件と照合対象の画像データに関連付けられた輝度関連条件との違いに応じて調整することで作成した調整画像データと、照合対象の画像データとが類似するという条件であるように、認識パラメータ最適化装置を構成しても良い。かかる構成では、認識パラメータ最適化装置は、部品実装機が所定照明条件で部品を撮像して取得した画像データに基づき、適切な輝度関連条件を的確に部品実装機に送信することができる。
また、部品認識では、輝度関連条件の閾値を用いて画像データから抽出した部品と、部品の構成に関する部品関連条件との比較に基づき、部品を認識し、演算部は、最適化された輝度関連条件の閾値を用いて画像データから抽出した部品の構成に基づき部品関連条件を最適化して、記憶部に記憶するように、認識パラメータ最適化装置を構成しても良い。かかる構成では、最適化された輝度関連条件に応じた部品関連条件を取得することが可能となる。
本発明に係る部品実装システムは、照明から部品に光を照射しつつカメラによって部品を撮像することで取得した画像データが示す輝度に対して閾値を用いた画像処理を実行した結果に基づき部品を認識する部品認識を実行し、部品認識の結果に基づき部品を基板に実装する部品実装機と、上記の認識パラメータ最適化装置とを備える。したがって、部品を撮像した画像の輝度に関する輝度関連条件が不適切であるために、部品認識の精度が低下するのを抑制することが可能となっている。
本発明によれば、実際に部品実装の対象となった部品に応じた適切な輝度関連条件を取得することが可能となる。
本発明に係る部品実装システムが備える部品実装機を模式的に示す部分平面図。 本発明に係る部品実装システムが備える電気的構成を示すブロック図。 部品供給リールの一例を模式的に示す図。 図1の部品実装機が備える部品認識カメラの構成の一例を模式的に示す図。 部品データライブラリの一例を表形式で示す図。 画像データベースの一例を表形式で示す図。 部品実装処理の一例を示すフローチャート。 認識パラメータの最適化処理の一例を示すフローチャート。 認識パラメータのうちの輝度関連条件の最適化処理の一例を示すフローチャート。 図9の輝度関連条件の最適化処理での演算結果の一例を表形式で示す図。 認識パラメータのうちの部品関連条件の最適化処理の一例を示すフローチャート。 部品実装機で実行される生産開始準備の第1例を示すフローチャート。 図12の生産開始準備に基づく部品実装機からのリクエストを処理するサーバコンピュータの動作の一例を示すフローチャート。 部品実装機で実行される生産開始準備の第2例を示すフローチャート。 図14の生産開始準備に基づく部品実装機からのリクエストを処理するサーバコンピュータの動作の一例を示すフローチャート。 部品実装機で実行される生産開始準備の第3例を示すフローチャート。 図16の生産開始準備の前提となる画像データベースの一例を表形式で示す図。 生産開始準備の第3例に対応するリクエスト処理の変形例を示すフローチャート。
図1は本発明に係る部品実装システムが備える部品実装機を模式的に示す部分平面図である。図1では、Z方向を鉛直方向とするXYZ直交座標を適宜示す。また、図2は本発明に係る部品実装システムが備える電気的構成を示すブロック図である。図2に示すように、部品実装システム1は、部品実装機10と、部品実装機10を管理するサーバコンピュータ9を備える。
部品実装機10は、装置全体を統括的に制御するコントローラ100を備える。コントローラ100は、CPU(Central Processing Unit)やRAM(Random Access Memory)で構成されたプロセッサである演算部110およびHDD(Hard Disk Drive)で構成された記憶部120を有するコンピュータである。さらに、コントローラ100は、部品実装機10の駆動系を制御する駆動制御部130と、部品実装機10の撮像系を制御する撮像制御部140と、サーバコンピュータ9との通信を行う通信部150とを有する。
演算部110は記憶部120に記憶される実装プログラムに従って駆動制御部130および撮像制御部140を制御することで、実装プログラムが規定する手順で部品Pを基板Bに実装する。この際、演算部110は撮像制御部140が部品認識カメラ5により部品Pを撮像した画像データDpに基づき、部品Pの実装を制御する。また、部品認識カメラ5が撮像した部品Pの画像データDpは、後に詳述するように、通信部150によってサーバコンピュータ9に送信される。
図1に示すように、部品実装機10は、基台11の上に設けられた一対のコンベア12、12を備える。そして、部品実装機10は、コンベア12によりX方向(基板搬送方向)の上流側から実装処理位置(図1の基板Bの位置)に搬入した基板Bに対して部品Pを実装し、部品Pの実装を完了した基板B(部品実装基板B)をコンベア12により実装処理位置からX方向の下流側へ搬出する。
この部品実装機10では、X方向に直交するY方向に平行な一対のY軸レール21、21と、Y方向に平行なY軸ボールネジ22と、Y軸ボールネジ22を回転駆動するY軸モータMy(サーボモータ)とが設けられ、X方向に平行なX軸レール23が一対のY軸レール21、21にY方向に移動可能に支持された状態でY軸ボールネジ22のナットに固定されている。X軸レール23には、X方向に平行なX軸ボールネジ24と、X軸ボールネジ24を回転駆動するX軸モータMx(サーボモータ)とが取り付けられており、ヘッドユニット20がX軸レール23にX方向に移動可能に支持された状態でX軸ボールネジ24のナットに固定されている。
したがって、図2の駆動制御部130は、Y軸モータMyおよびX軸モータMxを制御することで、ヘッドユニット20の移動を制御することができる。つまり、駆動制御部130は、Y軸モータMyによりY軸ボールネジ22を回転させてヘッドユニット20をY方向に移動させ、X軸モータMxによりX軸ボールネジ24を回転させてヘッドユニット20をX方向に移動させる。
図1に示すように、一対のコンベア12、12のY方向の両側それぞれでは、2つの部品供給部3がX方向に並んでいる。各部品供給部3に対しては、複数のテープフィーダ31がX方向に並んで着脱可能に装着されている。テープフィーダ31はY方向に延設されており、Y方向におけるヘッドユニット20側の先端部に部品供給箇所32を有する。そして、集積回路、トランジスタ、コンデンサ等の小片状の部品Pを所定間隔おきに収納したテープが巻き付けられた部品供給リール7(図3)が各テープフィーダ31に対して配置され、テープフィーダ31には、部品供給リール7から引き出されたテープが装填されている。そして、テープフィーダ31は、テープをヘッドユニット20側へ向けてY方向に間欠的に送り出す。これによって、テープ内の部品PがY方向(フィード方向)に送り出されて、テープフィーダ31の部品供給箇所32に順番に供給される。
図3は部品供給リールの一例を模式的に示す図である。部品供給リール7は、軸心71と、軸心71を両側から挟む2枚の側板72とを有し、軸心71に巻き付けられたテープを側板72により両側から支える。また、リール7は、バーコードで構成された部品ID73を側板72に有する。部品ID73は、それが付された部品供給リール7のテープに収納される部品Pの種類や製造元といった部品属性を示す。これに対して、部品実装システム1は、部品ID73を読み取るIDリーダ8を備え、演算部110は、IDリーダ8によって読み取られた部品ID73が示す部品属性に基づき、各テープフィーダ31に装填された部品Pの種類等を確認することができる。
図1に示すように、ヘッドユニット20は、いわゆるロータリ型の実装ヘッド4を有する。つまり、実装ヘッド4は、回転軸を中心に円周状に等角度間隔で配列された複数(8個)のノズル41を有し、複数のノズル41は回転軸を中心に回転可能である。そして、実装ヘッド4は、各ノズル41により部品Pの吸着・実装を行う。具体的には、実装ヘッド4はテープフィーダ31の上方へ移動して、テープフィーダ31により部品供給箇所32に供給された部品Pをノズル41により吸着(ピックアップ)する。実装ヘッド4はこうして部品Pを保持した状態で、実装処理位置の基板Bの上方に移動して基板Bに部品Pを実装する。こうして、部品Pを吸着して基板Bに実装する部品実装処理が部品実装システム1により実行される。
さらに、部品実装機10では、上方を向いて基台11に取り付けられた部品認識カメラ5が、Y方向における部品供給部3とコンベア12との間に配置されている。部品認識カメラ5は、上方に位置する実装ヘッド4のノズル41に吸着された部品Pを、その撮像範囲F(視野)に収めつつ下方から撮像する。そして、撮像制御部140は、部品認識カメラ5が部品Pを撮像することで取得した部品Pの画像データDpに基づき、ノズル41に吸着される部品Pを認識して、部品Pの吸着状態の良否等を判定する。
図4は図1の部品実装機が備える部品認識カメラの構成の一例を模式的に示す図である。部品認識カメラ5は、撮像範囲F内の部品Pに対して光を照射する光照射部51と、光照射部51により光が照射された部品Pを下方から撮像する撮像部55と、光照射部51および撮像部55を支持するハウジング59とを有する。ハウジング59の上部には凹部591が形成され、凹部591の底部にZ方向へ開口するスリット592が設けられている。また、ハウジング59内のスリット592より下方には、内部空間593が設けられている。
光照射部51は、メイン照明511、サイド照明512および同軸照明513を有する。メイン照明511、サイド照明512および同軸照明513のそれぞれは、複数のLED(Light Emitting Diode)を二次元的に配列した構成を有する。メイン照明511は、凹部591の内壁のうち下側に配置されて、斜め下方から部品Pに光を照射し、サイド照明512は凹部591の内壁のうちメイン照明511より上側に配置されて、側方から部品Pに光を照射する。また、同軸照明513は、内部空間593の内壁に配置され、ビームスプリッタ57を介して、下方から部品Pに光を照射する。つまり、ハウジング59の内部空間593にはビームスプリッタ57が配置されており、同軸照明513から射出された光は、ビームスプリッタ57で反射されてから、スリット592を通過して部品Pに照射される。かかる光照射部51は、撮像制御部140の制御に基づき、部品Pに対して照射する光の明るさ(照明レベル)を8段階(1/8〜8/8)で変更できる。
また、撮像部55は、ハウジング59の内部空間593に配置され、スリット592に下方から対向している。スリット592と撮像部55との間にはビームスプリッタ57が配置されており、撮像部55は、光照射部51により照らされた部品Pにより反射されてから、スリット592およびビームスプリッタ57を通過した光を撮像する。この撮像部55は、COMS(Complementary MOS)イメージセンサあるいはCCD(Charge-Coupled Device)イメージセンサ等の固体撮像素子で構成されたエリアセンサ551と、その光軸O5がZ方向に平行となるように配置されたレンズ552とを有する。そして、レンズ552が撮像範囲F内の部品Pにより反射された光をエリアセンサ551に結像することで、部品Pの画像がエリアセンサ551により撮像される。
図2の撮像制御部140は、かかる部品認識カメラ5を用いて部品認識を実行する。つまり、ノズル41に吸着された部品Pが部品認識カメラ5の撮像範囲Fに到達すると、撮像制御部140は、部品Pに応じた照明レベルの光を光照射部51から部品Pに照射しつつ、撮像部55により部品Pを撮像する。撮像制御部140は、こうして部品Pを撮像することで取得された画像データDpを、エリアセンサ551から取得する。さらに、撮像制御部140は、光照射部51から照射した光の照明レベルに応じた輝度閾値によって、画像データDpの各画素の輝度を二値化することで、画像データDpに対してエッジ検出を実行する。これによって、画像データDpに含まれる部品P(の画像)が抽出される。さらに、撮像制御部140は、こうして抽出された部品Pと、部品Pが満たすべき部品Pの構成に関する条件(部品関連条件)とを比較して、抽出された部品Pが有する値が許容範囲内であるか否かを部品関連条件の各項目について判断する。ここで、部品関連条件とは、部品Pの形状、部品Pのサイズ、部品Pの電極の位置および部品Pの電極のサイズ等の部品Pの構成を示す項目を含む。そして、撮像制御部140は、抽出された部品Pの部品関連条件の各値が許容範囲内であれば、ノズル41による部品Pの吸着状態が良好であると判定する一方、これらの値のいずれかが許容範囲外であれば、ノズル41による部品Pの吸着状態が不良であると判定する。
演算部110は、撮像制御部140による部品認識の結果、良好と判定された場合には、撮像制御部140によって部品Pを基板Bの上方へ移動させて、部品Pを基板Bに実装する。一方、演算部110は、撮像制御部140による部品認識の結果、不良と判定された場合には、図示を省略する廃棄場所に部品Pを廃棄する。
このような部品認識を実行するためには、部品関連条件、輝度関連条件(照明レベル、輝度閾値)および認識アルゴリズムといった認識パラメータが必要となる。かかる認識パラメータは、部品認識の開始前に予め撮像制御部140に設定されており、撮像制御部140はこれに基づき部品認識を実行する。さらに、この実施形態では、部品実装処理において取得された部品Pの画像データDpに基づき、認識パラメータが調整される。かかる認識パラメータの調整機能は、サーバコンピュータ9によって実現される。
図2に示すように、サーバコンピュータ9は、CPUおよびRAMで構成されたプロセッサである演算部91と、HDDで構成された記憶部92と、部品実装機10の通信部150と通信を実行する通信部93とを備える。記憶部92には、部品属性と認識パラメータとを関連付けた部品データライブラリ(図5)が記憶されている。
図5は部品データライブラリの一例を表形式で示す図である。同図の「種類」の欄において、「R」は部品Pの機能が抵抗であることを示し、「C」は部品Pの機能が容量であることを示し、これらに続く数字は部品Pの形状およびサイズを示す。つまり、部品Pの種類は、部品Pの機能、形状およびサイズの組合せで区別される(換言すれば、特定される)。また、同図の「製造元」は、部品Pの製造元を示す。そして、部品属性は、部品Pの種類と部品Pの製造元との組合せで区別され(換言すれば、特定され)、異なる部品属性を有する部品Pに対しては異なるライブラリ番号(部品識別番号)が付されている。さらに、部品データライブラリでは、各ライブラリ番号に対応する部品属性に応じた認識パラメータが関連付けられている。したがって、部品Pに対応するライブラリ番号を指定すれば、部品Pの部品認識で用いられる認識パラメータを得ることができる。
また、演算部110は、通信部93が部品実装機10から順次受信した画像データDpを記憶部92に蓄積することで、画像データベース(図6)を構築する。図6は画像データベースの一例を表形式で示す図である。具体的には、演算部110は、画像データDpの部品Pの部品属性に応じたライブラリ番号を画像データDpに関連付けて、画像データDpを記憶部92に記憶する。このように、画像データDpは、このライブラリ番号を介して、部品Pの部品属性に関連付けて記憶される。
続いては、図7を用いつつ、部品実装処理での動作を通じてサーバコンピュータ9の動作を説明する。図7は部品実装処理の一例を示すフローチャートである。ステップS101では、部品実装機10において、実装ヘッド4がノズル41を用いて部品Pを部品供給箇所32から吸着する。そして、実装ヘッド4が撮像範囲Fに向けて移動して、部品Pが撮像範囲Fに到達すると、撮像制御部140が部品認識カメラ5を用いつつ上述の手順で部品認識を実行する(ステップS102)。
部品実装機10は、部品認識で取得した部品Pの画像データDpを、部品Pの部品属性とともにサーバコンピュータ9に送信する。そして、サーバコンピュータ9は、画像データDpと部品Pの部品属性を受信すると、画像データDpに含まれる部品Pの部品属性に対応するライブラリ番号を当該画像データDpに関連付けて、記憶部92に記憶する(ステップS103)。
ステップS104では、部品実装システム1は、部品認識の結果に応じて、部品Pを基板Bに実装し、あるいは部品Pを廃棄する(ステップS104)。そして、部品実装機10での部品Pの実装が完了するまで(ステップS105で「YES」と判断されまで)、ステップS101〜S104が繰り返される。こうして、部品実装処理の実行と並行して、部品認識で取得された部品Pの画像データDpがサーバコンピュータ9の記憶部92に蓄積され、図6の画像データベースが作成される。
そして、サーバコンピュータ9は、記憶部92に蓄積した部品Pの画像データDpに基づき、部品実装機10での部品認識で用いられる認識パラメータを最適化する。続いては、この点について説明する。
図8は認識パラメータの最適化処理の一例を示すフローチャートであり、図9は認識パラメータのうちの輝度関連条件の最適化処理の一例を示すフローチャートであり、図10は図9の輝度関連条件の最適化処理での演算結果の一例を表形式で示す図であり、図11は認識パラメータのうちの部品関連条件の最適化処理の一例を示すフローチャートである。図8、図10および図11に示すフローチャートは、例えばオペレータにより指定された一の部品属性(換言すれば、ライブラリ番号)を対象にして、サーバコンピュータ9の演算部91によって実行される。
図8認識パラメータ最適化処理では、認識パラメータのうち、輝度関連条件の最適化処理(ステップS201)が実行されてから、部品関連条件の最適化処理(ステップS202)が実行される。ここで、輝度関連条件は、画像データDpの輝度に関連するパラメータ、すなわち照明レベルと輝度閾値の組み合わせであり、部品関連条件は、部品Pの形状、部品Pのサイズ、部品Pの電極の位置および部品Pの電極のサイズの組み合わせである。
図9に示すように、輝度関連条件最適化処理(ステップS201)では、最適化処理の対象となるライブラリ番号に対応する各画像データDpにカウント値I(=1、2、3、…)が付される(ステップS301)。図6の画像データベースの例で説明すると、例えば最適化処理の対象となるライブラリ番号が「2」であった場合には、画像データDp(1)、Dp(3)、Dp(6)、Dp(9)、…に対して、例えば記憶日時の古い順にカウント値Iが付される。そして、カウント値Iがゼロにリセットされ(ステップS302)、カウント値Iがインクリメントされる(ステップS303)。
続いて、演算部91は、カウント値Iに対応する画像データDpを記憶部92から読み出すと(ステップS304)、照明レベルL/8の分子Lをゼロにリセットして(ステップS305)、照明レベルの分子Lをインクリメントする。そして、演算部91は、画像処理によってカウント値Iの画像データDpの輝度を調整することで、カウント値Iの画像データDpに写る画像を照明レベルL/8で撮像した場合に相当する調整画像データDpaを作成する(ステップS307)。そして、演算部91は、輝度閾値を変更しつつ、各輝度閾値による部品認識が成功したか否かを判定する(ステップS308)。
これによって、例えば、図10の照明レベル1/8の行の結果が得られる。同図では、256階調で表された輝度閾値を10階調ずつ変更した場合の部品認識の成功(OK)および失敗(NG)が示されており、照明レベル1/8では、輝度閾値が50の場合のみ部品認識に成功し、輝度閾値が10〜40、60〜250の場合は部品認識に失敗している。
そして、照明レベルL/8の分子Lが最大値Lx(=8)となるまでステップS306〜S308が繰り返されることで、照明レベルL/8を変更しつつ(増加させつつ)、各照明レベルL/8において各閾値に対する部品認識の成否が求められる。これによって、図10に示す表全体の結果(成否マップ)が得られる。
そして、照明レベルL/8の分子Lが最大値Lxに到達すると、ステップS301でカウント値Iが最大値Ix、すなわち対象ライブラリ番号の画像データDpの個数に到達したかが判断される(ステップS310)。そして、カウント値Iが最大値Ixに到達するまで、ステップS303〜S309が繰り返されることで、Ix個の画像データDpのそれぞれについて、図10の成否マップが得られる。
カウント値Iが最大値Ixに到達すると(ステップS310で「YES」)、各画像データDpの成否マップに基づき、輝度関連条件が最適化される(ステップS311)。つまり、図10の成否マップは、照明レベルと輝度閾値との各組み合わせ(すなわち、各輝度関連条件)によって部品認識が成功するか否かを示す。そこで、演算部91は、照明レベルと輝度閾値の組み合わせを階級にとり、当該組み合わせでの部品認識の成功回数を度数にとったヒストグラムを作成し、このヒストグラムの重心が位置する組み合わせを、最適な組み合わせ、すなわち最適な輝度関連条件として算出する。
図8に示すように、輝度関連条件が最適化されると(ステップS201)、部品関連条件の最適化が実行される(ステップS202)。図11に示すように、部品関連条件の最適化処理では、上述のステップS301〜S303と同様に、ステップS401〜S403がそれぞれ実行され、最適化処理の対象となるライブラリ番号に対応する各画像データDpのカウント値Iがゼロにリセットされ、さらにインクリメントされる。
続いて、演算部91は、カウント値Iに対応する画像データDpを記憶部92から読み出すと(ステップS404)、ステップS201で最適化された輝度関連条件で画像データDpから部品Pを抽出する。具体的には、画像処理によってカウント値Iの画像データDpの輝度を調整することで、カウント値Iの画像データDpに写る画像を最適化された輝度関連条件の照明レベルで撮像した場合に相当する調整画像データDpbを作成する。そして、演算部91は、最適化された輝度関連条件の輝度閾値で、調整画像データDpbから部品Pのエッジを抽出する。
ステップS406では、ステップS405で抽出された部品Pについて部品関連条件の各値(部品Pの形状、部品Pのサイズ、部品Pの電極の位置および部品Pの電極のサイズ)を取得して、ステップS407でカウント値Iが最大値Ixに到達したかを判断する(ステップS407)。そして、カウント値Iが最大値Ixに到達するまで、ステップS403〜406が繰り返されることで、Ix個の画像データDpのそれぞれについて部品関連条件の各値が取得される。カウント値Iが最大値Ixに到達すると(ステップS408で「YES」)、各画像データDpから取得した部品関連条件の各値の平均値が算出される(ステップS408)。
こうして、図8のフローチャートが完了して、認識パラメータ(輝度関連条件および部品関連条件)が最適化される。その結果、部品データライブラリ(図5)において、対象のライブラリ番号の認識パラメータが、最適化された認識パラメータに更新される。続いては、このように最適化された認識パラメータを、部品実装基板の生産開始準備の際に利用する態様について説明する。
図12は部品実装機で実行される生産開始準備の第1例を示すフローチャートであり、図13は図12の生産開始準備に基づく部品実装機からのリクエストを処理するサーバコンピュータの動作の一例を示すフローチャートである。図12のフローチャートは、部品実装機10の演算部110により実行され、図13のフローチャートは、サーバコンピュータ9の演算部91により実行される。
生産開始準備においては、オペレータは、テープフィーダ31に対して部品供給リール7を装填するにあたり、部品供給リール7の部品ID73をIDリーダ8によって読み取る。そこで、生産開始準備(図12)のステップS501では、部品実装機10の演算部110が、IDリーダ8による部品ID73の取得の有無を確認する(ステップS501)。そして、部品ID73が取得されると(ステップS501で「YES」)、演算部110は、部品ID73が示す部品属性を、通信部150を介してサーバコンピュータ9に送信することで、当該部品属性に対応する認識パラメータをサーバコンピュータ9にリクエストする(ステップS502)。
一方、図13に示すように、サーバコンピュータ9の演算部91は、認識パラメータのリクエストを受けると(ステップS601で「YES」)、このリクエストが示す部品属性に関連付けられた認識パラメータを部品データライブラリ(図5)から探索する(ステップS602)。そして、演算部91は、該当の認識パラメータを通信部93によって部品実装機10に送信する(ステップS603)。
そして、図12に示すように、部品実装機10の演算部110は、サーバコンピュータ9から認識パラメータを受信すると(ステップS503で「YES」)、この認識パラメータを撮像制御部140に対して設定する(ステップS504)。これによって、生産開始後の部品実装処理においては、この認識パラメータに基づき部品認識が実行される。
以上に説明した実施形態では、部品実装機10が基板Bに部品Pを実装する際に部品認識(ステップS102)で当該部品Pを撮像することで取得された画像データDpが記憶部92に記憶され(ステップS103)、この画像データDpに基づき輝度関連条件が最適化される(ステップS201、S301〜S311)。したがって、実際に部品実装の対象となった部品Pに応じた適切な輝度関連条件を取得することが可能となる。
また、記憶部92は、画像データDpの属性(具体的には、画像データDpの部品Pの部品属性)と関連付けて当該画像データDpを記憶する(ステップS103)。そして、演算部91は、同一の属性(換言すれば、ライブラリ番号)に対応する種類の部品Pに対して部品認識を実行する際の輝度関連条件を、同一の属性を有する複数の画像データDpに基づき最適化する(ステップS201、S301〜S311)。かかる構成では、実際に部品実装の対象となった部品Pの種類に応じた適切な輝度関連条件を取得することが可能となる。
また、生産開始準備後の部品認識で取得予定の画像データDpの属性を通信部93が受信すると(ステップS601)、演算部91は、通信部93により受信された属性の画像データDpに基づき最適化された輝度関連条件を、通信部93を介して部品実装機10に送信する(ステップS603)。したがって、生産開始準備後の部品認識を、当該部品認識で取得予定の部品Pの画像データDpの属性に応じた輝度関連条件で適切に実行することができる。
また、部品認識では、輝度関連条件の閾値を用いて画像データDpから抽出した部品Pと、部品Pの構成に関する部品関連条件との比較に基づき、部品Pが認識される(ステップS102)。これに対して、演算部91は、最適化された輝度関連条件の閾値を用いて画像データDpから抽出した部品Pの構成に基づき部品関連条件を最適化して、記憶部92に記憶する(ステップS202、ステップS401〜S408)。したがって、最適化された輝度関連条件に応じた部品関連条件を取得することが可能となる。
図14は部品実装機で実行される生産開始準備の第2例を示すフローチャートであり、図15は図14の生産開始準備に基づく部品実装機からのリクエストを処理するサーバコンピュータの動作の一例を示すフローチャートである。図14のフローチャートは、部品実装機10の演算部110により実行され、図15のフローチャートは、サーバコンピュータ9の演算部91により実行される。なお、以下では、上記の第1例との差異点を中心に説明することとし、共通点については相当符号を付して適宜説明を省略する。ただし、第1例と共通する構成を具備することで、同様の効果を奏する点は言うまでもない。
図14に示す第2例においても、上記の第1例と同様に、部品実装機10はステップS501、S502を実行して、IDリーダ8により取得された部品属性に対応する認識パラメータをサーバコンピュータ9にリクエストする。そして、図15に示すように、サーバコンピュータ9の演算部91は、認識パラメータのリクエストを受けると(ステップS601で「YES」)、このリクエストが示す部品属性に関連付けられた認識パラメータを部品データライブラリ(図5)から探索する(ステップS602)。
ステップS604では、演算部91は、該当する認識パラメータが部品データライブラリに存在するか否かを判断する。そして、該当する認識パラメータが存在する場合(ステップS604で「YES」の場合)には、演算部91は、この認識パラメータを通信部93によって部品実装機10に送信する(ステップS603)。一方、該当する認識パラメータが存在しない場合(ステップS604で「NO」の場合)には、演算部91は、ステップS601でのリクエストに係る部品属性を有する部品Pの画像データDpを、通信部93を介して部品実装機10にリクエストする(ステップS605)。
図14に示すように、部品実装機10においては、演算部110は、ステップS502でのリクエストの後、当該リクエストに対応する認識パラメータをサーバコンピュータ9から受信したか否かを判断する(ステップS503)。上述のように、リクエスト処理のステップS604で「YES」と判断された場合には、サーバコンピュータ9から部品実装機10へ認識パラメータが送信されるため(ステップS603)、ステップS503では、認識パラメータを受信した(YES)と判断され、認識パラメータが設定される(ステップS504)。
一方、ステップS503で、認識パラメータの受信を確認できない場合(「NO」の場合)には、演算部110は、画像データDpのリクエストをサーバコンピュータ9から受信したか否かを判断する(ステップS505)。画像リクエストの受信が確認できない場合(ステップS505で「NO」の場合)には、ステップS503に戻る。一方、上述のように、リクエスト処理のステップS605で画像データDpがリクエストされた場合には、ステップS505で「YES」と判断され、ステップS506に進む。ステップS506では、演算部110は、ステップS501で取得した部品ID73の部品属性を有する部品Pを撮像して、画像データDpを取得する。そして、演算部110は、この画像データDpをサーバコンピュータ9に送信する。
これに対して、図15に示すように、サーバコンピュータ9においては、演算部91は、部品実装機10から画像データDpを受信したか否かを判断する(ステップS606)。そして、画像データDpを受信すると(ステップS606で「YES」)、この画像データDpに類似する画像データDpを画像データベースのうちから探索する(ステップS607)。そして、類似する画像データDpが存在する場合(ステップS608で「YES」の場合)には、演算部91は、この画像データDpにライブラリ番号を介して関連付けられた認識パラメータを部品実装機10に送信し(ステップS603)、部品実装機10では、これを受けて、ステップS503で認識パラメータの受信が確認され(YES)、ステップS504で認識パラメータが設定される。
一方、類似する画像データDpが存在しない場合(ステップS608で「NO」の場合)には、ステップS606で受信した画像データDpから認識パラメータを作成する(ステップS609)。認識パラメータのうち、部品関連条件は、例えば画像データDpを二値化する等の既存の画像処理技術により抽出することで求められる。また、輝度関連条件については、次のようにして求められる。すなわち、画像データDpに対して図9のステップS305〜S309を実行して、画像データDpに関する成否マップを作成し、この成否マップの重心が位置する輝度関連条件が求められる。さらに、この輝度関連条件に基づき、図11のフローチャートが実行され、部品関連条件が求められる。そして、こうして求められた部品関連条件および輝度関連条件が認識パラメータとして部品実装機10に送信され(ステップS603)、部品実装機10で設定される(ステップS504)。
以上に説明した実施形態では、部品実装機10は、部品認識の開始前に部品Pを撮像することで画像データDpを取得して(ステップS506)、これをサーバコンピュータ9に送信することで(ステップS507)、当該画像データDpと所定関係を有する画像データDpに基づき最適化された輝度関連条件を受信できる。したがって、部品実装機10は、実際に部品実装の対象となった部品Pに応じた輝度関連条件で、部品実装での部品認識を開始することができる。
特に、演算部91は、通信部93により受信された画像データDpと類似する画像データDpに基づき最適化された輝度関連条件を、通信部93を介して部品実装機10に送信する。したがって、部品実装機10は、部品認識の開始前に取得した部品Pの画像データDpと類似した画像データDpに基づき最適化された輝度関連条件に基づき、部品認識を適切に開始することが可能となる。
図16は部品実装機で実行される生産開始準備の第3例を示すフローチャートであり、図17は図16の生産開始準備の前提となる画像データベースの一例を表形式で示す図である。また、図16の生産開始準備に基づく部品実装機からのリクエストを処理するフローチャートについては、図15に類似するため、これを援用する。なお、以下では、上記の第1〜2例との差異点を中心に説明することとし、共通点については相当符号を付して適宜説明を省略する。ただし、第1〜2例と共通する構成を具備することで、同様の効果を奏する点は言うまでもない。
図17の画像データベースは、上述の図7のフローチャートのステップS103を実行することで作成される。ただし、演算部91は、画像データDpに基づき作成した参照画像データDprとともに、画像データDpを記憶部92に記憶する。具体的には、演算部91は、画像処理によって画像データDpの輝度を調整することで、画像データDpに写る画像を所定のデフォルト照明レベル(例えば、4/8)で撮像した場合に相当する参照画像データDprを作成する。そして、演算部91は、ライブラリ番号を付して、これら画像データDpおよび参照画像データDpを記憶部92に記憶することで、図17の画像データベースを作成する。
図16の生産開始準備のフローチャートは、この画像データベースを前提に実行される。図16に示す第3例においても、上記の第2例と同様に、部品実装機10は、ステップS501〜S505を実行する。そして、部品実装機10は、画像データDpのリクエストをサーバコンピュータ9から受信すると、部品Pを撮像して(ステップS506)、画像データDpをサーバコンピュータ9に送信する(ステップS507)。ただし、第3例では、ステップS506の前に、光照射部51の照明レベルがデフォルト照明レベルに設定され(ステップS508)、ステップS506では、デフォルト照明レベルの光を部品Pに照射しつつ、部品Pの撮像が実行される。
したがって、図15のリクエスト処理では、サーバコンピュータ9は、デフォルト照明レベルで撮像された画像データDpを受信する(ステップS606)。そこで、サーバコンピュータ9は、この画像データDpと類似する参照画像データDprを画像データベースのうちから探索する(ステップS607)。そして、該当する参照画像データDprが存在すると(ステップS608で「YES」)、記憶部92は、ライブラリ番号を介してこの画像データDprに関連付けられた認識パラメータを、部品実装機10に送信する(ステップS603)。
以上に説明した実施形態では、部品実装機10は、光照射部51からデフォルト照明レベルの光を照射するというデフォルト照明条件下で部品Pを撮像することで、画像データDpを取得して、これをサーバコンピュータ9に送信する。一方、サーバコンピュータ9では、記憶部92は、部品認識において所定の認識パラメータで取得された画像データDpをデフォルト照明条件で取得した場合に相当する参照画像データDprを、ライブラリ番号を介して認識パラメータに関連付けて記憶する。そして、演算部91は、受信した画像データDpと類似する参照画像データDprに関連付けられた認識パラメータを、部品実装機10に送信する。かかる構成では、サーバコンピュータ9は、は、部品実装機10がデフォルト照明条件で部品Pを撮像して取得した画像データDpに基づき、適切な認識パラメータを的確に部品実装機10に送信することができる。
図18は生産開始準備の第3例に対応するリクエスト処理の変形例を示すフローチャートである。以下では、上記の第1〜3例との差異点を中心に説明することとし、共通点については相当符号を付して適宜説明を省略する。ただし、第1〜3例と共通する構成を具備することで、同様の効果を奏する点は言うまでもない。
この変形例では、上記の第3例と同様に、部品実装機10は、サーバコンピュータ9からの画像データDpのリクエストに応じて、デフォルト照明条件で部品Pを撮像することで取得した画像データDpをサーバコンピュータ9に送信する。ただし、上記の第3例と異なり、サーバコンピュータ9の記憶部92は、参照画像データDprを有さない。そこで、サーバコンピュータ9はリクエスト処理において、図15のステップS607〜S608に代えて、図18のステップS610〜S614を実行する。
具体的には、ステップS610で、図5の部品データライブラリが有する各認識パラメータを識別する識別子としてライブラリ番号Jをゼロにリセットして、ステップS611でライブラリ番号Jをインクリメントする。そして、ステップS612では、演算部91は、デフォルト照明条件で撮像された画像データDpに写る画像を、ライブラリ番号Jの認識パラメータが示す照明レベルで取得した場合に相当する調整画像データDpcを作成する。具体的には、デフォルト照明レベルと認識パラメータの照明レベルとの違いに応じて、ステップS606で受信した画像データDpの輝度を調整することで、調整画像データDpcが作成される。
ステップS614では、演算部91は、調整画像データDpcと、ライブラリ番号Jの認識パラメータに関連付けられた画像データDpとが類似するか否かを判断する。なお、ライブラリ番号Jの認識パラメータに関連付けられた画像データDpが複数存在する場合には、例えば記憶日時が最新の画像データDpを類似判断に用いることができる。そして、類似する場合(ステップS614で「YES」の場合)には、演算部91は、ライブラリ番号Jが付された部品認識パラメータを部品実装機10に送信する(ステップS603)。
一方、類似しない場合(ステップS613で「NO」の場合)には、演算部91は、ライブラリ番号Jがその最大値Jxに到達したか否かを判断する(ステップS614)。ライブラリ番号Jが最大値Jx未満の場合(ステップS614で「NO」の場合)には、ステップS611〜S613を繰り返す。一方、ライブラリ番号Jが最大値Jxに到達した場合(ステップS614で「YES」の場合)には、ステップS606で受信した画像データDpから認識パラメータを作成する(ステップS609)。
以上に説明した実施形態では、記憶部92は、輝度関連条件の最適化に用いた画像データDpと輝度関連条件とを、ライブラリ番号により関連付けて記憶する(ステップS103、S201、S301〜S311)。また、演算部91は、受信された画像データDpと、輝度関連条件と関連付けられた画像データDpとを照合した結果(ステップS610〜S614)、所定の照合条件(ステップS612、S613)を満たす画像データDpに関連付けられた輝度関連条件を、部品実装機10に送信する(ステップS603)。ここで、照合条件は、デフォルト照明条件で取得された画像データDpの輝度を、デフォルト照明条件と照合対象の画像データDpに関連付けられた輝度関連条件との違いに応じて調整することで作成した調整画像データDpcと、照合対象の画像データDpとが類似するという条件である(ステップS612、S613)。かかる構成では、サーバコンピュータ9は、部品実装機10がデフォルト照明条件で部品Pを撮像して取得した画像データDpに基づき、適切な輝度関連条件を的確に部品実装機10に送信することができる。
このように本実施形態では、部品実装システム1が本発明の「部品実装システム」の一例に相当し、部品実装機10が本発明の「部品実装機」の一例に相当し、光照射部51が本発明の「照明」の一例に相当し、撮像部55が本発明の「カメラ」の一例に相当し、部品Pが本発明の「部品」の一例に相当し、基板Bが本発明の「基板」の一例に相当し、ステップS102が本発明の「部品認識」の一例に相当し、認識パラメータに含まれる輝度関連条件が本発明の「輝度関連条件」の一例に相当し、輝度閾値が本発明の「閾値」の一例に相当し、サーバコンピュータ9が本発明の「認識パラメータ最適化装置」の一例に相当し、演算部91が本発明の「演算部」の一例に相当し、記憶部92が本発明の「記憶部」の一例に相当し、通信部93が本発明の「通信部」の一例に相当し、画像データDpが本発明の「画像データ」の一例に相当し、部品属性が本発明の「属性」の一例に相当し、参照画像データDprが本発明の「参照画像データ」の一例に相当し、調整画像データDpcが本発明の「調整画像データ」の一例に相当し、デフォルト照明条件が本発明の「所定照明条件」の一例に相当する。
なお、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したものに対して種々の変更を加えることが可能である。例えば、上記の実施形態では、画像データDpの属性として部品属性を含む場合が例示した。しかしながら、画像データDpの属性は、部品属性以外の要素を含むことができる。具体的には、画像データDpの属性は、部品認識の対象となった部品Pの製造元、部品認識で用いられた撮像部55および部品認識を実行した部品実装システム1の少なくとも1つと部品Pの種類との組合せによって区別されるものであっても良い。かかる構成では、部品認識の対象となった部品Pの製造元、部品認識で用いられた光照射部51あるいは部品認識を実行した部品実装システム1等に応じた適切な輝度関連条件を取得することが可能となる。
また、リクエスト処理において、該当する認識パラメータが見つからない場合には、ステップS609で認識パラメータを作成するのに代えて、オペレータにエラーを報知するように構成しても良い。
また、画像データDpから部品Pを抽出する方法は上記の例に限られず、例えば画像データDpと背景画像とに基づく背景差分法によって部品Pを抽出しても良い。この場合、照明レベルと背景差分法で用いる閾値との組み合わせが輝度関連情報となる。
また、部品認識カメラ5で使用される光学センサは、上述のエリアセンサに限られず、ラインセンサでも良い。
また、実装ヘッド4の構成もロータリ型に限られず、ノズル41がX方向に平行に並ぶインライン型でも良い。
1…部品実装システム
10…部品実装機
51…光照射部(照明)
55…撮像部(カメラ)
9…サーバコンピュータ(認識パラメータ最適化装置)
91…演算部
92…記憶部
93…通信部
B…基板
P…部品
Dp…画像データ
Dpr…参照画像データ
Dpc…調整画像データ
S102…部品認識

Claims (12)

  1. 照明から部品に光を照射しつつカメラによって部品を撮像することで取得した画像データが示す輝度に対して閾値を用いた画像処理を実行した結果に基づき前記部品を認識する部品認識を実行し、前記部品認識の結果に基づき前記部品を基板に実装する部品実装機で取得された前記画像データを受信する通信部と、
    前記通信部が受信した前記画像データを記憶する記憶部と、
    前記部品認識で使用する前記照明の光の明るさと前記閾値との組合せを示す輝度関連条件を、前記記憶部に記憶された前記画像データに基づき最適化して前記記憶部に記憶する演算部と
    を備える認識パラメータ最適化装置。
  2. 前記記憶部は、前記画像データの属性と関連付けて前記画像データを記憶し、
    前記属性は、前記画像データに含まれる前記部品の種類によって少なくとも区別され、
    前記演算部は、同一の属性に対応する前記種類の前記部品に対して前記部品認識を実行する際の前記輝度関連条件を、前記同一の属性を有する複数の画像データに基づき最適化する請求項1に記載の認識パラメータ最適化装置。
  3. 前記属性は、前記部品認識の対象となった前記部品の製造元、前記部品認識で用いられた前記カメラおよび前記部品認識を実行した前記部品実装機の少なくとも1つと前記部品の種類との組合せによって区別される請求項2に記載の認識パラメータ最適化装置。
  4. 前記通信部が、前記部品認識で取得予定の前記画像データの前記属性を受信すると、前記演算部は、前記通信部により受信された前記属性の前記画像データに基づき最適化された前記輝度関連条件を、前記通信部を介して前記部品実装機に送信する請求項2または3に記載の認識パラメータ最適化装置。
  5. 前記部品実装機が前記部品認識の開始前に前記部品を撮像することで取得した前記画像データを、前記通信部が受信すると、前記演算部は、前記通信部により受信された前記画像データと所定関係を有する前記画像データに基づき最適化された前記輝度関連条件を、前記通信部を介して前記部品実装機に送信する請求項1ないし4のいずれか一項に記載の認識パラメータ最適化装置。
  6. 前記演算部は、前記通信部により受信された前記画像データと類似する前記画像データに基づき最適化された前記輝度関連条件を、前記通信部を介して前記部品実装機に送信する請求項5に記載の認識パラメータ最適化装置。
  7. 前記通信部は、前記部品実装機が前記照明から所定明るさの光を照射するという所定照明条件下で前記部品を撮像することで、前記部品認識の開始前に取得した前記画像データを受信する請求項5に記載の認識パラメータ最適化装置。
  8. 前記記憶部は、前記輝度関連条件で取得した前記画像データを前記所定照明条件で取得した場合に相当する前記画像データを、参照画像データとして前記輝度関連条件に関連付けて記憶し、
    前記演算部は、前記通信部により受信された前記画像データと類似する前記参照画像データに関連付けられた前記輝度関連条件を、前記通信部を介して前記部品実装機に送信する請求項7に記載の認識パラメータ最適化装置。
  9. 前記記憶部は、前記輝度関連条件の最適化に用いた前記画像データと前記輝度関連条件とを関連付けて記憶し、
    前記演算部は、前記通信部により受信された前記画像データと、前記輝度関連条件と関連付けられた前記画像データとを照合した結果、所定の照合条件を満たす前記画像データに関連付けられた前記輝度関連条件を、前記通信部を介して前記部品実装機に送信し、
    前記照合条件は、前記通信部により受信された前記画像データの輝度を、前記所定照明条件と照合対象の前記画像データに関連付けられた前記輝度関連条件との違いに応じて調整することで作成した調整画像データと、照合対象の前記画像データとが類似するという条件である請求項7に記載の認識パラメータ最適化装置。
  10. 前記部品認識では、前記輝度関連条件の前記閾値を用いて前記画像データから抽出した前記部品と、前記部品の構成に関する部品関連条件との比較に基づき、前記部品を認識し、
    前記演算部は、最適化された前記輝度関連条件の前記閾値を用いて前記画像データから抽出した前記部品の構成に基づき前記部品関連条件を最適化して、前記記憶部に記憶する請求項1ないし9のいずれか一項に記載の認識パラメータ最適化装置。
  11. 照明から部品に光を照射しつつカメラによって部品を撮像することで取得した画像データが示す輝度に対して閾値を用いた画像処理を実行した結果に基づき前記部品を認識する部品認識を実行し、前記部品認識の結果に基づき前記部品を基板に実装する部品実装機と、
    請求項1ないし10のいずれか一項印記載の認識パラメータ最適化装置と
    を備える部品実装システム。
  12. 照明から部品に光を照射しつつカメラによって部品を撮像することで取得した画像データが示す輝度に対して閾値を用いた画像処理を実行した結果に基づき前記部品を認識する部品認識を実行し、前記部品認識の結果に基づき前記部品を基板に実装する部品実装機で取得された前記画像データを通信部により受信する工程と、
    前記通信部が受信した前記画像データを記憶部に記憶する工程と、
    前記部品認識で使用する前記照明の光の明るさと前記閾値との組合せを示す輝度関連条件を、前記記憶部に記憶された前記画像データに基づき最適化して前記記憶部に記憶する工程とを備える認識パラメータ最適化方法。
JP2020522494A 2018-05-31 2018-05-31 認識パラメータ最適化装置、部品実装システム、認識パラメータ最適化方法 Active JP7021347B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/020913 WO2019229920A1 (ja) 2018-05-31 2018-05-31 認識パラメータ最適化装置、部品実装システム、認識パラメータ最適化方法

Publications (2)

Publication Number Publication Date
JPWO2019229920A1 true JPWO2019229920A1 (ja) 2021-02-12
JP7021347B2 JP7021347B2 (ja) 2022-02-16

Family

ID=68698328

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020522494A Active JP7021347B2 (ja) 2018-05-31 2018-05-31 認識パラメータ最適化装置、部品実装システム、認識パラメータ最適化方法

Country Status (5)

Country Link
US (1) US11386638B2 (ja)
JP (1) JP7021347B2 (ja)
CN (1) CN112005624B (ja)
DE (1) DE112018007668T5 (ja)
WO (1) WO2019229920A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102554675B1 (ko) 2018-11-13 2023-07-13 삼성전자주식회사 전자 장치 및 전자 장치에서 디스플레이 정보에 기반한 조도 센싱 방법
WO2023218606A1 (ja) * 2022-05-12 2023-11-16 株式会社Fuji 部品実装システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1056299A (ja) * 1997-06-20 1998-02-24 Yamaha Motor Co Ltd 実装機の部品認識装置
JP2002366613A (ja) * 2001-06-06 2002-12-20 Matsushita Electric Ind Co Ltd 生産情報システム
JP2003042970A (ja) * 2001-07-31 2003-02-13 Matsushita Electric Ind Co Ltd 実装基板の外観検査装置および外観検査方法
JP2006049380A (ja) * 2004-07-30 2006-02-16 Matsushita Electric Ind Co Ltd 電子部品の画像生成方法
JP2014027064A (ja) * 2012-07-25 2014-02-06 Juki Corp 情報管理システムおよび情報提供方法
JP2016018940A (ja) * 2014-07-10 2016-02-01 ヤマハ発動機株式会社 部品認識データ提供方法、部品認識データ提供装置および部品認識データ提供システム
JP2018063973A (ja) * 2016-10-11 2018-04-19 ヤマハ発動機株式会社 部品実装機、部品認識方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1168400A (ja) * 1997-08-11 1999-03-09 Yamaha Motor Co Ltd 表面実装機の部品認識装置
WO2001035049A1 (fr) * 1999-11-08 2001-05-17 Matsushita Electric Industrial Co., Ltd. Procede et appareil de reconnaissance de composants
JP4215937B2 (ja) 2000-08-07 2009-01-28 パナソニック株式会社 電子部品実装データ設定方法及び装置
JP4147923B2 (ja) * 2002-12-03 2008-09-10 松下電器産業株式会社 電子部品実装装置および電子部品実装方法
KR100557526B1 (ko) * 2003-05-19 2006-03-03 삼성전기주식회사 Rgb 컬러를 이용한 인쇄회로기판의 표면 상태 분석시스템 및 방법
WO2007001062A1 (en) * 2005-06-27 2007-01-04 Matsushita Electric Industrial Co., Ltd. Mounting condition determination method
JP2008205226A (ja) * 2007-02-21 2008-09-04 Matsushita Electric Ind Co Ltd 電子部品実装用装置における撮像用の照明装置
JP4922890B2 (ja) * 2007-10-03 2012-04-25 富士機械製造株式会社 電子部品実装方法
JP5047031B2 (ja) * 2008-03-28 2012-10-10 富士機械製造株式会社 電子部品装着装置における部品認識方法
JP5517638B2 (ja) * 2009-01-29 2014-06-11 パナソニック株式会社 実装部品検査方法、およびその方法を実施する実装部品検査装置、およびその実装部品検査装置を備えた部品実装機
CN101877959B (zh) * 2009-04-29 2012-10-10 三星Techwin株式会社 电子部件识别装置及具有其的贴片机
JP5780712B2 (ja) * 2009-05-29 2015-09-16 富士機械製造株式会社 撮像システムおよび電子回路部品装着機
JP5926881B2 (ja) 2010-03-30 2016-05-25 富士機械製造株式会社 画像処理用部品データ作成方法及び画像処理用部品データ作成装置
JP5441266B2 (ja) * 2010-06-24 2014-03-12 合同会社IP Bridge1号 部品実装システムおよび画像認識用データ作成装置ならびに画像認識用データ作成方法
JP5338773B2 (ja) * 2010-08-26 2013-11-13 パナソニック株式会社 部品実装用装置および撮像用の照明装置ならびに照明方法
GB201020516D0 (en) * 2010-12-03 2011-01-19 Univ Sheffield Improvements in providing image data
EP2975921B1 (en) * 2013-03-12 2019-12-18 FUJI Corporation Component recognition system for component mounting machine
JP6424456B2 (ja) * 2013-07-17 2018-11-21 セイコーエプソン株式会社 発光装置、発光装置の製造方法、受発光装置、電子機器
JP6271953B2 (ja) * 2013-11-05 2018-01-31 キヤノン株式会社 画像処理装置、画像処理方法
JP6745117B2 (ja) * 2016-02-24 2020-08-26 Juki株式会社 検査装置、実装装置、検査方法及びプログラム
CN107205335A (zh) * 2016-03-17 2017-09-26 深圳市堃琦鑫华股份有限公司 一种自动化插件方法
CN106385792A (zh) * 2016-08-25 2017-02-08 深圳市宝瑞达科技有限公司 一种高速智能自动插件机
CN106447673A (zh) * 2016-09-30 2017-02-22 哈尔滨工业大学 一种非均匀光照条件下的芯片引脚提取方法
JP6802035B2 (ja) * 2016-10-24 2020-12-16 株式会社日立製作所 画像処理装置、警告装置、画像処理システム、画像処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1056299A (ja) * 1997-06-20 1998-02-24 Yamaha Motor Co Ltd 実装機の部品認識装置
JP2002366613A (ja) * 2001-06-06 2002-12-20 Matsushita Electric Ind Co Ltd 生産情報システム
JP2003042970A (ja) * 2001-07-31 2003-02-13 Matsushita Electric Ind Co Ltd 実装基板の外観検査装置および外観検査方法
JP2006049380A (ja) * 2004-07-30 2006-02-16 Matsushita Electric Ind Co Ltd 電子部品の画像生成方法
JP2014027064A (ja) * 2012-07-25 2014-02-06 Juki Corp 情報管理システムおよび情報提供方法
JP2016018940A (ja) * 2014-07-10 2016-02-01 ヤマハ発動機株式会社 部品認識データ提供方法、部品認識データ提供装置および部品認識データ提供システム
JP2018063973A (ja) * 2016-10-11 2018-04-19 ヤマハ発動機株式会社 部品実装機、部品認識方法

Also Published As

Publication number Publication date
DE112018007668T5 (de) 2021-04-08
WO2019229920A1 (ja) 2019-12-05
CN112005624A (zh) 2020-11-27
US20210241017A1 (en) 2021-08-05
US11386638B2 (en) 2022-07-12
JP7021347B2 (ja) 2022-02-16
CN112005624B (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
CN111656504B (zh) 裸片拾取方法及装置
JP7021347B2 (ja) 認識パラメータ最適化装置、部品実装システム、認識パラメータ最適化方法
CN107926154B (zh) 元件安装装置
JP6411663B2 (ja) 部品実装装置
KR20060015513A (ko) 전자부품 실장장치 및 전자부품 실장방법
JP6648252B2 (ja) 画像処理システム及び画像処理方法
JP2006261205A (ja) 干渉検知方法および同装置
JP2011082506A (ja) 部品検査装置及び部品実装装置
CN109983859B (zh) 表面安装机、元件识别装置、元件识别方法
JP6765756B2 (ja) 部品実装機、部品認識方法
JPWO2018216075A1 (ja) 画像処理装置、多重通信システム及び画像処理方法
JP2009212373A (ja) 部品装着装置
JP2013236011A (ja) 部品実装装置
JP4704218B2 (ja) 部品認識方法、同装置および表面実装機
CN110892799A (zh) 对基板作业系统
JP6920548B2 (ja) 部品認識装置、部品実装機および部品認識方法
JP2009170524A (ja) 部品の実装方法および表面実装機
JP2020017554A (ja) 実装データ管理装置、部品実装システム、実装データ管理方法
JP4351083B2 (ja) 表面実装機
JPWO2020183516A1 (ja) 実装データ作成支援装置、実装データ作成支援方法、外観検査機、部品実装システム
JP7153127B2 (ja) 良否判定装置および良否判定方法
JP2005216933A (ja) 部品認識方法、同装置および表面実装機
JP2007103436A (ja) 部品実装方法及び部品実装機
JP2019075475A (ja) 部品実装装置
JP7153126B2 (ja) 良否判定装置および良否判定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220203

R150 Certificate of patent or registration of utility model

Ref document number: 7021347

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150