JP6258295B2

JP6258295B2 - 部品実装機の部品認識システム

Info

Publication number: JP6258295B2
Application number: JP2015505121A
Authority: JP
Inventors: 貴紘小林; 博史大池; 弘健江嵜
Original assignee: Fuji Machine Manufacturing Co Ltd
Current assignee: Fuji Corp
Priority date: 2013-03-12
Filing date: 2013-03-12
Publication date: 2018-01-10
Anticipated expiration: 2033-03-12
Also published as: CN105075419A; CN105075419B; WO2014141380A1; JPWO2014141380A1; EP2975921A1; EP2975921B1; EP2975921A4

Description

本発明は、吸着ノズルに吸着した部品を下方から撮像するカメラを備えた部品実装機の部品認識システムに関する発明である。

近年の部品実装機は、吸着ノズルに吸着した部品を下方からカメラで撮像して、その画像を処理して部品の吸着姿勢や吸着位置のずれ等を認識する画像処理機能を搭載している。しかし、カメラで撮像した部品の２次元画像からは、高さデータを取得できないため、部品のリードの曲りやバンプ欠け等の高さ方向（Ｚ方向）の不良を検査することはできない。

そこで、特許文献１（特許第３９２６３４７号公報）に記載された部品実装機では、レーザ光による１次元走査を用いた３次元計測器を上向きに設置し、この３次元計測器の上方を吸着ノズルに吸着した部品を一定速度で移動させると共に、該部品の移動方向に対して垂直方向にレーザ光を１次元走査する処理を所定周期で繰り返すことで該部品の３次元画像を取り込み、この３次元画像に基づいて部品のリードの曲りを検査するようにしている。

特許第３９２６３４７号公報

しかし、上記特許文献１の３次元画像の取り込み方法では、レーザ光による１次元走査を所定周期で繰り返して３次元画像を取り込むため、吸着ノズルに吸着した部品を一定速度（最大速度の１／１０程度の低速）で３次元計測器の上方をゆっくりと移動させる必要があると共に、移動速度を安定させるために、３次元計測器の上方の走査エリアの手前で一旦停止させてから低速で移動させる必要がある。このため、３次元画像の取り込みに必要な時間が長くなる。しかも、分解能（高さ測定精度）を向上させるには、部品の移動速度を遅くする必要があり、３次元画像の取り込み時間が更に長くなり、生産性が低下することは避けられない。

また、上記特許文献１では、レーザ光による１次元走査により取り込んだ３次元画像データから部品の位置等の２次元のデータを抽出して部品の位置決めを行うようにしているため、吸着ノズルに吸着した部品を撮像するカメラを必要としない構成となっているが、上述したように、画像の取り込み時間が長くなるため、生産性が低下するという問題は解消されない。

そこで、本発明が解決しようとする課題は、吸着ノズルに吸着した部品の３次元形状を認識するのに必要な時間を短縮して生産性を向上できる部品実装機の部品認識システムを提供することである。

上記課題を解決するために、本発明は、部品供給装置から供給される部品を吸着ノズルに吸着して回路基板に実装する部品実装機の部品認識システムにおいて、吸着ノズルに吸着した部品を下方から撮像するカメラと、前記カメラの撮像方向とは異なる方向から予め決められた光パターンを前記吸着ノズルに吸着した部品に投影する光パターン投影装置と、前記カメラで撮像した画像を処理する画像処理装置とを備え、前記画像処理装置は、前記光パターン投影装置により前記光パターンを前記部品に投影して前記カメラで撮像した画像を処理して前記部品表面の前記光パターンを認識して前記部品を下方から見た３次元形状（高さ）を認識する３次元認識手段と、前記光パターン投影装置による光パターンの投影を行わない状態で前記カメラで撮像した画像を処理して前記部品を下方から見た２次元形状を認識する２次元認識手段と、前記２次元認識手段を用いる２次元認識モードと前記３次元認識手段を用いる３次元認識モードとを切り替える画像認識モード切替手段とを備え、前記画像認識モード切替手段は、前記部品の吸着姿勢、吸着位置、前記部品の有無の少なくとも１つを判定するときに、前記部品の形状に基づいて前記２次元認識モードと前記３次元認識モードとを切り替えることを特徴とするものである。

この構成では、光パターンを投影した部品をカメラで撮像した画像を処理して部品の３次元形状を認識するため、カメラの視野内で部品を低速で移動させる必要がない。これにより、吸着ノズルに吸着した部品の３次元形状を認識するのに必要な時間を短縮でき、生産性を向上できる。

この場合、カメラの撮像方向とは異なる複数の方向から光パターンを投影する複数の光パターン投影装置を設けるようにすると良い。このようにすれば、部品の３次元形状の表面に対して複数の方向から光パターンを投影できるため、光パターンが投影される部品表面積を拡大でき（影となる部分の表面積を縮小でき）、３次元形状の認識精度を向上できる。

ところで、前述した特許文献１のように、３次元画像データから２次元画像データを抽出するようにすると、３次元画像データの取り込み時間は、カメラで１回撮像するだけの２次元画像データの取り込み時間と比べて長くなる。また、回路基板に実装する部品の中には、３次元形状を認識する必要がない部品（例えばチップコンデンサやチップ抵抗等の単純な形状の部品）が存在する。

これらの点を考慮して、画像処理装置は、前記３次元認識手段の他に、光パターン投影装置による光パターンの投影を行わない状態でカメラで撮像した画像を処理して部品を下方から見た２次元形状を認識する２次元認識手段と、前記２次元認識手段を用いる２次元認識モードと前記３次元認識手段を用いる３次元認識モードとを切り替える画像認識モード切替手段とを備え、前記画像認識モード切替手段は、前記部品の吸着姿勢、吸着位置、前記部品の有無の少なくとも１つを判定するときに、前記部品の形状に基づいて前記２次元認識モードと前記３次元認識モードとを切り替えるようにしている。このようにすれば、３次元形状を認識する必要がない単純な形状の部品等の場合は、２次元認識手段を用いる２次元認識モードに切り替えることで、画像データの取り込み時間を短くすることができ、生産性を向上できる。

この場合、画像認識モード切替手段により２次元認識モードに切り替えられているときには、２次元認識手段の認識結果に基づいて部品の吸着姿勢、吸着位置、部品の有無の少なくとも１つを判定し、画像認識モード切替手段により３次元認識モードに切り替えられているときには、３次元認識手段の認識結果に基づいて部品のリードの曲り、バンプの欠け、部品の斜め吸着の少なくとも１つを検査し且つ部品の吸着姿勢、吸着位置、前記部品の有無の少なくとも１つも判定するようにすれば良い。

また、本発明は、３次元認識手段の認識結果に基づいて部品の実装高さの補正、実装時の部品押付力の補正、部品の傾き補正の少なくとも１つを行う部品実装補正手段を備えた構成としても良い。これにより、部品実装精度を向上できる。

また、画像処理装置は、吸着ノズルに部品を吸着する前に光パターン投影装置から該吸着ノズルの下端面に光パターンを投影してカメラで撮像し、その画像を処理して吸着ノズルの下端面に投影された光パターンを認識して該吸着ノズルの下端面の３次元形状を認識し、その認識結果に基づいて該吸着ノズルの欠けを判定するようにしても良い。このようにすれば、吸着ノズルの欠けも判定することができる。

図１は本発明の一実施例における部品実装機の部品認識システムとその周辺部分の構成を示す平面図である。図２は部品認識システムの構成を概略的に示す斜視図である。図３は画像処理装置の機能を示すブロック図である。

以下、本発明を実施するための形態を具体化した一実施例を説明する。
まず、図１乃至図３を用いて本実施例の部品実装機の部品認識システムの構成を説明する。

図１に示すように、部品実装機には、回路基板１２を搬送するコンベア１３と、部品１６（図２参照）を供給するテープフィーダ等の部品供給装置１４と、この部品供給装置１４から供給される部品１６を吸着する吸着ノズル１５（図２参照）を保持する実装ヘッド（図示せず）と、この実装ヘッドをＸＹ移動させるヘッド移動装置（図示せず）等が設けられている。

部品供給装置１４とコンベア１３との間には、図２に示すように、吸着ノズル１５に吸着した部品１６を下方から撮像するカメラ１７が上向きに設置されている。このカメラ１７の両側には、カメラ１７の撮像方向（真上方向）とは異なる方向から予め決められた光パターンを吸着ノズル１５に吸着した部品１６に投影する２台の光パターン投影装置２１，２２が設置されている。

図３に示すように、カメラ１７で撮像した画像の信号は、画像処理装置２３に取り込まれる。画像処理装置２３は、カメラ１７の上方で停止させた部品１６に光パターン投影装置２１，２２により光パターンを投影して該部品１６をカメラ１７で撮像した画像を処理して部品１７表面の光パターンを認識して該部品１６を下方から見た３次元形状（高さ）を認識する３次元認識手段２４と、光パターン投影装置２１，２２による光パターンの投影を行わない状態でカメラ１７で撮像した画像を処理して部品１６を下方から見た２次元形状を認識する２次元認識手段２５と、２次元認識手段２５を用いる２次元認識モードと３次元認識手段２４を用いる３次元認識モードとを切り替える画像認識モード切替手段２６とを有する構成となっている。

２次元認識手段２５で部品１６の２次元形状を認識する場合は、光パターン投影装置２１，２２による光パターンの投影を行う必要がないため、吸着ノズル１５に吸着した部品１６全体を均一に照明する通常の照明装置２９を設けて、この照明装置２９で部品１６全体を均一に照明してカメラ１７で部品１６を撮像する。

３次元認識手段２４で部品１６の３次元形状を認識する場合は、光パターン投影装置２１，２２による光パターンの投影を行いながらカメラ１７で部品１６を撮像する。３次元形状の認識方法は、例えば、位相シフト法又は空間コード化法を用いれば良い。

位相シフト法では、カメラ１７の撮像方向とは異なる方向から予め決められた光パターン（強度が正弦波状に変化するパターン）を部品１６に投影してカメラ１７で撮像することを、パターンの位相を変化させて複数回撮像し、取得した複数の画像を合成して３次元画像のデータを得る。

空間コード化法では、カメラ１７の撮像方向とは異なる方向から予め決められた光パターン（白黒のビットパターン）を部品１６に投影してカメラ１７で撮像することを、パターンのピッチを細かく変化させて複数回撮像し、取得した複数の画像を合成して３次元画像のデータを得る。

尚、３次元形状の認識方法は、位相シフト法、空間コード化法に限定されず、これ以外のパターン投影法（格子パターン投影法、モアレ法、干渉法等）を用いても良い。格子パターン投影法では、縞パターンを部品１６に投影して撮像し、モアレ法では、光パターン投影装置２１，２２とカメラ１７にそれぞれ格子パターンを配置し、モアレパターンを観測して奥行きを計測する。干渉法では、反射光と参照光を干渉させて発生する干渉縞を観測して奥行きを計測する。

また、画像処理装置２３は、画像認識モード切替手段２６により２次元認識モードに切り替えられているときには、２次元認識手段２５の認識結果に基づいて部品１６の吸着姿勢、吸着位置、部品１６の有無の少なくとも１つを判定し、画像認識モード切替手段２６により３次元認識モードに切り替えられているときには、３次元認識手段２４の認識結果に基づいて部品１６のリードの曲り、バンプの欠け、部品１６の斜め吸着の少なくとも１つを検査し且つ部品１６の吸着姿勢、吸着位置、部品１６の有無の少なくとも１つも判定する判定手段２７と、３次元認識手段２４の認識結果に基づいて部品１６の実装高さの補正、実装時の部品押付力の補正、部品１６の傾き補正の少なくとも１つを行う部品実装補正手段２８を備えた構成となっている。

また、画像処理装置２３は、吸着ノズル１５に部品１６を吸着する前に光パターン投影装置２１，２２から該吸着ノズル１５の下端面に光パターンを投影してカメラ１７で撮像し、その画像を処理して吸着ノズル１５の下端面に投影された光パターンを認識して該吸着ノズル１５の下端面の３次元形状を認識し、その認識結果に基づいて該吸着ノズル１５の欠けを判定する機能も備えている。

以上説明した本実施例によれば、カメラ１７の上方で停止させた部品１６に光パターンを投影して、該部品１６をカメラ１７で撮像した画像を処理して部品１６の３次元形状を認識するため、カメラ１７の視野内で部品を低速で移動させる必要がない。これにより、吸着ノズル１５に吸着した部品１６の３次元形状（高さ）を認識するのに必要な時間を短縮でき、生産性を向上できる。

しかも、本実施例では、カメラ１７の撮像方向とは異なる複数の方向から光パターンを部品１６に投影するようにしたので、光パターンが投影される部分の表面積を拡大でき（影となる部分の表面積を縮小でき）、３次元形状の認識精度を向上できる。

本発明は、前述した特許文献１のように、３次元画像データから２次元画像データを抽出するようにしても良いが、３次元画像データの取り込み時間は、カメラ１７で１回撮像するだけの２次元画像データの取り込み時間と比べて長くなる。また、回路基板１２に実装する部品の中には、３次元形状を認識する必要がない部品（例えばチップコンデンサやチップ抵抗等の単純な形状の部品）が存在する。

これらの点を考慮して、本実施例では、３次元認識手段２４の他に、光パターン投影装置２１，２２による光パターンの投影を行わない状態でカメラ１７で撮像した画像を処理して部品１６を下方から見た２次元形状を認識する２次元認識手段２５を設け、２次元認識手段２５を用いる２次元認識モードと３次元認識手段２４を用いる３次元認識モードとを画像認識モード切替手段２６により切り替えるようにしたので、３次元形状を認識する必要がない単純な形状の部品等の場合は、２次元認識手段２５を用いる２次元認識モードに切り替えることで、画像データの取り込み時間を短くすることができ、生産性を向上できる。なお、この場合、部品の形状や認識方法に関するデータや搬送方法に関するデータ等を記載する部品データに、予め、認識モードを部品毎に設定しておけば良い。

また、本実施例では、３次元認識手段２４の認識結果に基づいて部品１６の実装高さの補正、実装時の部品押付力の補正、部品１６の傾き補正の少なくとも１つを行う部品実装補正手段２８を備えた構成としているため、部品実装精度を向上できる。

尚、本実施例では、２次元認識手段２５で部品１６の２次元形状を認識する場合に、光パターン投影装置２１，２２による光パターンの投影を行わずに、照明装置２９で部品１６全体を均一に照明してカメラ１７で撮像するようにしたが、部品１６の２次元形状を認識する場合でも、光パターン投影装置２１，２２による光パターンの投影を行いながらカメラ１７で部品１６を撮像して、その画像から部品１６の２次元形状を認識するようにしても良い。３次元形状を認識する画像を用いても２次元形状（部品の外形形状）を認識できるためである。

その他、本発明は、本実施例に限定されず、カメラ１７の周囲の３箇所以上に光パターン投影装置を配置したり、カメラ１７の位置を変更しても良い等、要旨を逸脱しない範囲内で種々変更して実施できる。

１２…回路基板、１３…コンベア、１４…部品供給装置、１５…吸着ノズル、１６…部品、１７…カメラ、２１，２２…光パターン投影装置、２３…画像処理装置、２４…３次元認識手段、２５…２次元認識手段、２６…画像認識モード切替手段、２７…判定手段、２８…部品実装補正手段、２９…照明装置

Claims

部品供給装置から供給される部品を吸着ノズルに吸着して回路基板に実装する部品実装機の部品認識システムにおいて、
前記吸着ノズルに吸着した部品を下方から撮像するカメラと、
前記カメラの撮像方向とは異なる方向から予め決められた光パターンを前記吸着ノズルに吸着した部品に投影する光パターン投影装置と、
前記カメラで撮像した画像を処理する画像処理装置とを備え、
前記画像処理装置は、
前記光パターン投影装置により前記光パターンを前記部品に投影して前記カメラで撮像した画像を処理して前記部品表面の前記光パターンを認識して前記部品を下方から見た３次元形状を認識する３次元認識手段と、
前記光パターン投影装置による光パターンの投影を行わない状態で前記カメラで撮像した画像を処理して前記部品を下方から見た２次元形状を認識する２次元認識手段と、
前記２次元認識手段を用いる２次元認識モードと前記３次元認識手段を用いる３次元認識モードとを切り替える画像認識モード切替手段とを備え、
前記画像認識モード切替手段は、前記部品の吸着姿勢、吸着位置、前記部品の有無の少なくとも１つを判定するときに、前記部品の形状に基づいて前記２次元認識モードと前記３次元認識モードとを切り替えることを特徴とする部品実装機の部品認識システム。
前記カメラの撮像方向とは異なる複数の方向から光パターンを投影する複数の光パターン投影装置が設けられていることを特徴とする請求項１に記載の部品実装機の部品認識システム。
前記画像処理装置は、前記画像認識モード切替手段により前記２次元認識モードに切り替えられているときには前記２次元認識手段の認識結果に基づいて前記部品の吸着姿勢、吸着位置、前記部品の有無の少なくとも１つを判定し、前記画像認識モード切替手段により前記３次元認識モードに切り替えられているときには前記３次元認識手段の認識結果に基づいて前記部品のリードの曲り、バンプの欠け、前記部品の斜め吸着の少なくとも１つを検査し且つ前記部品の吸着姿勢、吸着位置、前記部品の有無の少なくとも１つも判定することを特徴とする請求項１又は２に記載の部品実装機の部品認識システム。
前記３次元認識手段の認識結果に基づいて前記部品の実装高さの補正、実装時の部品押付力の補正、前記部品の傾き補正の少なくとも１つを行う部品実装補正手段を備えていることを特徴とする請求項１乃至３のいずれかに記載の部品実装機の部品認識システム。
前記画像処理装置は、前記吸着ノズルに部品を吸着する前に前記光パターン投影装置から前記吸着ノズルの下端面に前記光パターンを投影して前記カメラで撮像し、その画像を処理して前記吸着ノズルの下端面に投影された前記光パターンを認識して該吸着ノズルの下端面の３次元形状を認識し、その認識結果に基づいて該吸着ノズルの欠けを判定することを特徴とする請求項１乃至４のいずれかに記載の部品実装機の部品認識システム。