JPWO2015145687A1 - 部品実装機の部品認識システム - Google Patents

Abstract

部品実装機の吸着ノズル１５に吸着した部品１６を下方から撮像するカメラ１７を上向きに設置すると共に、カメラ１７の側方に、カメラ１７の撮像方向とは異なる方向から予め決められた光パターンを部品１６に投影する１台の光パターン投影装置２１を設置する。カメラ１７で撮像した２次元の画像を処理して吸着ノズル１５に吸着した部品１６の中心と回転中心（吸着ノズル１５の軸心）との位置関係を計測し、計測後にノズル回転機構１８により吸着ノズル１５を所定角度回転させて該吸着ノズル１５に吸着した部品１６を所定角度回転させた状態で３次元形状を計測するという動作を繰り返して複数の３次元形状計測結果を取得し、部品１６の中心と回転中心との位置関係を用いて複数の３次元形状計測結果を部品１６の中心が一致するように合成して部品１６の３次元形状データを作成する。

Description

本発明は、吸着ノズルに吸着した部品を下方から撮像するカメラを備えた部品実装機の部品認識システムに関する発明である。

近年の部品実装機は、吸着ノズルに吸着した部品を下方からカメラで撮像して、その画像を処理して部品の吸着姿勢や吸着位置のずれ等を認識する画像処理機能を搭載している。しかし、カメラで撮像した部品の２次元画像からは、高さデータを取得できないため、部品のリードの曲りやバンプ欠け等の高さ方向（Ｚ方向）の不良を検査することはできない。

そこで、特許文献１（特開平７−１５１５２２号公報）に記載されているように、部品実装機の吸着ノズルに吸着した部品を斜め下方の異なる二方向から撮像する２台のカメラを設置し、２台のカメラで撮像した二方向の画像を画像処理装置で合成して３次元画像を作成し、この３次元画像から電子部品のリードの浮き等を検査するようにしたものがある。

特開平７−１５１５２２号公報 特開２００５−１６４２９４号公報

しかし、上記特許文献１の構成では、吸着ノズルに吸着した部品の３次元画像を作成するために、２台のカメラを必要とするため、部品認識システムの構成が複雑化してコストアップするだけでなく、部品実装機の機種によっては２台のカメラを設置するのがスペース的に困難な場合がある。

尚、特許文献２（特開２００５−１６４２９４号公報）には、部品実装機ではないが、１台のカメラで撮像した複数の画像を合成して３次元画像を作成する技術が記載されている。この特許文献２では、回転ステージ上に撮像対象物を載置し、その撮像対象物を上方から撮像するカメラと、このカメラの撮像方向とは異なる方向から光パターンを撮像対象物に投影する光パターン投影装置とを配置して、回転ステージ上の撮像対象物に光パターンを投影してカメラで撮像した画像を処理して撮像対象物の３次元形状を計測し、計測後に回転ステージを所定角度回転させて該回転ステージ上の撮像対象物を所定角度回転させた状態で３次元形状を計測するという動作を繰り返して複数の３次元形状計測結果を取得し、複数の３次元形状計測結果を合成して撮像対象物の３次元形状データを作成するようにしている。

この特許文献２の３次元形状データ作成技術を部品実装機の部品認識システムに適用して、部品実装機の吸着ノズルに吸着した部品の３次元形状データを作成することが考えられるが、その際、次のような課題があることが判明した。

この特許文献２の３次元形状データ作成技術を部品実装機の部品認識システムに適用した場合、部品実装機に、カメラの撮像方向とは異なる方向から光パターンを吸着ノズルに吸着した部品に投影する光パターン投影装置を設置して、吸着ノズルに吸着した部品に光パターンを投影してカメラで撮像した画像を処理して該部品を下方から見た３次元形状を計測し、計測後に吸着ノズルを所定角度回転させて該吸着ノズルに吸着した部品を所定角度回転させた状態で３次元形状を計測するという動作を繰り返して複数の３次元形状計測結果を取得し、複数の３次元形状計測結果を合成して部品の３次元形状データを作成することが考えられる。

この場合、吸着ノズルに吸着した部品の中心は、必ずしも吸着ノズルの軸心（回転中心）と一致しないため、吸着ノズルを回転させると、カメラの視野内で部品の中心が振れる。このため、複数の回転角度で計測した複数の３次元形状計測結果を合成する際に、部品の中心を一致させる複雑な演算処理を行う必要があり、演算負荷が増大して演算処理が遅くなり、サイクルタイムが長くなって生産性が低下する。

部品実装機では、吸着ノズルに部品を吸着する毎に吸着ノズルに対して部品の吸着位置がランダムにずれるため、吸着ノズルの軸心（回転中心）と部品の中心とのずれ量やずれ方向もランダムに変化する。従って、複数の回転角度で計測した複数の３次元形状計測結果を合成する前に、吸着ノズルに吸着した部品の中心と回転中心（吸着ノズルの軸心）との位置関係を計測しておく必要がある。

そこで、本発明が解決しようとする課題は、吸着ノズルに吸着した部品の３次元形状データを作成するシステムの構成簡単化、低コスト化、省スペース化、演算負荷の軽減、高速処理化を実現できる部品実装機の部品認識システムを提供することにある。

上記目的を達成するために、本発明は、部品供給装置から供給される部品を吸着ノズルに吸着して回路基板に実装する部品実装機の部品認識システムにおいて、前記吸着ノズルに吸着した部品を下方又は斜め下方から撮像するカメラと、前記吸着ノズルを回転させることで該吸着ノズルに吸着した部品を該吸着ノズルの軸心を回転中心にして回転させるノズル回転機構と、前記カメラの撮像方向とは異なる方向から予め決められた光パターンを前記吸着ノズルに吸着した部品に投影する光パターン投影装置と、前記カメラで撮像した画像を処理する画像処理装置とを備え、前記画像処理装置は、前記カメラで撮像した２次元の画像を処理して前記吸着ノズルに吸着した部品の中心と回転中心（吸着ノズルの軸心）との位置関係を計測する２次元計測手段と、前記光パターン投影装置により前記光パターンを前記吸着ノズルに吸着した部品に投影して前記カメラで撮像した画像を処理して前記部品表面の前記光パターンを認識して前記部品を下方又は斜め下方から見た３次元形状を計測する３次元計測手段と、前記３次元計測手段により前記３次元形状を計測した後に前記ノズル回転機構により前記吸着ノズルを所定角度回転させて該吸着ノズルに吸着した部品を所定角度回転させた状態で前記３次元形状を計測するという動作を繰り返して複数の３次元形状計測結果を取得する手段と、前記２次元計測手段により計測した前記部品の中心と回転中心との位置関係を用いて前記複数の３次元形状計測結果を前記部品の中心が一致するように合成して前記部品の３次元形状データを作成する手段とを有することを特徴とするものである。

この構成では、１台のカメラで撮像した画像から、吸着ノズルに吸着した部品の３次元形状データを作成できるため、構成簡単化、低コスト化、省スペース化を実現できる。しかも、複数の回転角度で計測した複数の３次元形状計測結果を合成する際に必要となる部品の中心と回転中心（吸着ノズルの軸心）との位置関係を、カメラで撮像した２次元の画像を処理して計測するため、部品の中心と回転中心との位置関係を比較的簡単な処理で精度良く計測することができて、演算負荷の軽減、高速処理化も実現できる。

この場合、光パターン投影装置は、吸着ノズルに吸着した部品に対して一方向から光パターンを投影するようにしても良いし、吸着ノズルに吸着した部品に対して回転方向に９０°又は１８０°異なる二方向から光パターンを投影するようにしても良い。

吸着ノズルに吸着した部品に対して一方向から光パターンを投影する場合は、０°、９０°、１８０°、２７０°の回転角度でそれぞれ３次元形状を計測して４つの３次元形状計測結果を取得するようにすれば良い。

また、吸着ノズルに吸着した部品に対して回転方向に９０°又は１８０°異なる二方向から光パターンを投影する場合は、０°と１８０°又は０°と９０°の回転角度でそれぞれ３次元形状を計測して２つの３次元形状計測結果を取得するようにすれば良い。

上記いずれの構成でも、吸着ノズルに吸着した部品に対して０°、９０°、１８０°、２７０°の四方向から光パターンを投影した場合と同様の３次元形状を計測することができる。

図１は本発明の実施例１における部品実装機の部品認識システムとその周辺部分の構成を示す平面図である。 図２は実施例１の部品認識システムの構成を概略的に示す斜視図である。 図３は実施例１の部品認識システムの機能を概略的に示すブロック図である。 図４は実施例１の３次元形状データ作成プログラムの処理の流れを示すフローチャートである。 図５は実施例２における部品実装機の部品認識システムとその周辺部分の構成を示す平面図である。 図６は実施例２の部品認識システムの構成を概略的に示す斜視図である。 図７は実施例３の部品認識システムの構成を概略的に示す斜視図である。

以下、本発明を実施するための形態を具体化した３つの実施例１〜３を説明する。

本発明の実施例１を図１乃至図４に基づいて説明する。
まず、図１乃至図３を用いて本実施例１の部品実装機の部品認識システムの構成を説明する。

図１に示すように、部品実装機には、回路基板１２を搬送するコンベア１３と、部品１６（図２参照）を供給するテープフィーダ等の部品供給装置１４と、この部品供給装置１４から供給される部品１６を吸着する吸着ノズル１５（図２参照）を保持する実装ヘッド（図示せず）と、この実装ヘッドをＸＹ方向に移動させるヘッド移動装置（図示せず）等が設けられている。また、実装ヘッドには、吸着ノズル１５を回転させるノズル回転機構１８（図３参照）が設けられている。

部品供給装置１４とコンベア１３との間には、図２に示すように、吸着ノズル１５に吸着した部品１６を下方から撮像する１台のカメラ１７が上向きに設置されている。このカメラ１７の側方には、カメラ１７の撮像方向（真上方向）とは異なる方向から予め決められた光パターンを吸着ノズル１５に吸着した部品１６に投影する１台の光パターン投影装置２１が設置されている。

図３に示すように、カメラ１７で撮像した画像の信号は、画像処理装置２３に取り込まれる。画像処理装置２３は、後述する図４の３次元形状データ合成プログラムを実行することで、カメラ１７の上方で停止させた部品１６に光パターン投影装置２１により光パターンを投影して該部品１６をカメラ１７で撮像した画像を処理して部品１７表面の光パターンを認識して該部品１６を下方から見た３次元形状（高さ）を計測する３次元計測手段２４と、光パターン投影装置２１による光パターンの投影を行わない状態でカメラ１７で撮像した２次元の画像を処理して吸着ノズル１５に吸着した部品１６の中心と回転中心（吸着ノズル１６の軸心）との位置関係を計測する２次元計測手段２５と、２次元計測手段２５を用いる２次元計測モードと３次元計測手段２４を用いる３次元計測モードとを切り替える画像計測モード切替手段２６として機能する。

２次元計測手段２５で部品１６の２次元の画像を撮像する場合は、光パターン投影装置２１による光パターンの投影を行う必要がないため、吸着ノズル１５に吸着した部品１６全体を均一に照明する通常の照明装置２９（図３参照）を設置して、この照明装置２９で部品１６全体を均一に照明してカメラ１７で部品１６を撮像するようにしている。

但し、２次元計測手段２５で部品１６の２次元の画像を撮像する場合でも、光パターン投影装置２１による光パターンの投影を行いながらカメラ１７で部品１６を撮像して、その画像から部品１６の２次元形状を認識するようにしても良い。３次元形状を認識する画像を用いても２次元形状（部品の外形形状）を認識できるためである。

３次元計測手段２４で部品１６の３次元形状を計測する場合は、光パターン投影装置２１による光パターンの投影を行いながらカメラ１７で部品１６を撮像する。３次元形状の認識方法は、例えば、位相シフト法又は空間コード化法を用いれば良い。

位相シフト法では、カメラ１７の撮像方向とは異なる方向から予め決められた光パターン（強度が正弦波状に変化するパターン）を部品１６に投影してカメラ１７で撮像することを、パターンの位相を変化させて複数回撮像し、取得した複数の画像を合成して３次元画像のデータを得る。

空間コード化法では、カメラ１７の撮像方向とは異なる方向から予め決められた光パターン（白黒のビットパターン）を部品１６に投影してカメラ１７で撮像することを、パターンのピッチを細かく変化させて複数回撮像し、取得した複数の画像を合成して３次元画像のデータを得る。

尚、３次元形状の認識方法は、位相シフト法、空間コード化法に限定されず、これ以外のパターン投影法（格子パターン投影法、モアレ法、干渉法等）を用いても良い。格子パターン投影法では、縞パターンを部品１６に投影して撮像し、モアレ法では、光パターン投影装置２１とカメラ１７にそれぞれ格子パターンを配置し、モアレパターンを観測して奥行きを計測する。干渉法では、反射光と参照光を干渉させて発生する干渉縞を観測して奥行きを計測する。

３次元計測手段２４は、光パターン投影装置２１により光パターンを吸着ノズル１５に吸着した部品１６に投影してカメラ１７で撮像した画像を処理して部品１６表面の光パターンを認識して部品１６を下方から見た３次元形状を計測し、計測後にノズル回転機構１８により吸着ノズル１５を９０°回転させて該吸着ノズル１５に吸着した部品１６を９０°回転させた状態で３次元形状を計測するという動作を繰り返して４つの３次元形状計測結果を取得する。

更に、画像処理装置２３は、２次元計測手段２５により計測した部品１６の中心と回転中心（吸着ノズル１５の軸心）との位置関係を用いて４つの３次元形状計測結果を部品１６の中心が一致するように合成して部品１６の３次元形状データを作成する合成手段２７を備えている。作成した３次元形状データを使用して、部品１６のリードの曲り、バンプの欠け、部品１６の斜め吸着等を検査する。

以上説明した本実施例１の３次元形状データの合成は、部品実装機の稼働中（生産中）に画像処理装置２３によって図４の３次元形状データ合成プログラムに従って実行される。本プログラムが起動されると、まず、ステップ１０１で、吸着ノズル１５に部品１６を吸着するまで待機する。この後、吸着ノズル１５に部品１６を吸着した時点で、ステップ１０２に進み、画像計測モード切替手段２６により２次元計測手段２５を用いる２次元計測モードに切り替えて、カメラ１７で撮像した２次元の画像を処理して吸着ノズル１５に吸着した部品１６の中心と回転中心（吸着ノズル１６の軸心）との位置関係、具体的には、回転中心（吸着ノズル１６の軸心）に対する部品１６の中心位置と角度を計測する。

この後、ステップ１０３に進み、吸着ノズル１５の回転角度θ＝０°（つまり吸着ノズル１５を回転させない状態）で３次元形状を計測したか否かを判定し、まだ３次元形状を計測していなければ、ステップ１０６に進み、上記ステップ１０２で計測した部品１６の中心位置と角度を元に画像上で部品１６を３次元形状計測位置に回転角度θ＝０°で配置した後、ステップ１０７に進み、位相シフト法等により部品１６を下方から見た３次元形状を計測してその計測結果をＲＡＭ等の記憶手段に記憶する。

この後、ステップ１０４に戻り、現在の吸着ノズル１５の回転角度θが２７０°に達していないか否かを判定し、回転角度θが２７０°に達していなければ、ステップ１０５に進み、吸着ノズル１５を９０°回転させて該吸着ノズル１５に吸着した部品１６を９０°回転させる（回転角度θ←θ＋９０°）。この後、再び、ステップ１０６及び１０７の処理を実行して、現在の回転角度θで部品１６を下方から見た３次元形状を計測してその計測結果をＲＡＭ等の記憶手段に記憶する。以後、上記ステップ１０４〜１０７の処理を繰り返すことで、吸着ノズル１５の回転角度θ＝０°、９０°、１８０°、２７０°で３次元形状を計測して、４つの３次元形状計測結果を取得する。

この後は、上記ステップ１０４で、「Ｎｏ」と判定されて、ステップ１０８に進み、上記ステップ１０２で計測した部品１６の中心位置と角度を用いて、各回転角度θ毎の３次元形状計測結果を部品１６の中心が一致するように合成して部品１６の３次元形状データを作成する。

以上説明した本実施例１によれば、１台のカメラ１７で撮像した画像から、吸着ノズル１５に吸着した部品１６の３次元形状データを作成できるため、構成簡単化、低コスト化、省スペース化を実現できる。しかも、複数の回転角度θで計測した複数の３次元形状計測結果を合成する際に必要となる部品１６の中心と回転中心との位置関係（回転中心に対する部品１６の中心位置と角度）を、カメラ１７で撮像した２次元の画像を処理して計測するようにしているため、部品１６の中心と回転中心との位置関係を比較的簡単な処理で精度良く計測することができて、演算負荷の軽減、高速処理化も実現できる。

上記実施例１では、吸着ノズル１５に吸着した部品１６に対して一方向から光パターンを投影する１台の光パターン投影装置２１をカメラ１７の側方に設置するようにしたが、図５及び図６に示す本発明の実施例２では、カメラ１７の両側方に２台の光パターン投影装置２１，２２を設置して、吸着ノズル１５に吸着した部品１６に対して１８０°異なる２方向から光パターンを投影するようにしている。

本実施例２では、回転角度θ＝０°で部品１６を下方から見た３次元形状を計測してその計測結果をＲＡＭ等の記憶手段に記憶した後、吸着ノズル１５を９０°回転させて該吸着ノズル１５に吸着した部品１６を９０°回転させて、部品１６を下方から見た３次元形状を計測してその計測結果をＲＡＭ等の記憶手段に記憶する。本実施例２のように、吸着ノズル１５に吸着した部品１６に対して１８０°異なる２方向から光パターンを投影する場合は、吸着ノズル１５の回転角度θ＝０°、９０°で３次元形状を計測すると、回転角度θ＝０°、９０°、１８０°、２７０°の四方向から光パターンを投影した場合と同様の３次元形状を計測することができる。

この後、上記実施例１と同様の方法で２次元の画像を処理して計測した部品１６の中心と回転中心との位置関係（回転中心に対する部品１６の中心位置と角度）を用いて、２つの３次元形状計測結果を部品１６の中心が一致するように合成して部品１６の３次元形状データを作成する。その他の事項は、前記実施例１と同じである。

以上説明した本実施例２でも、前記実施例１と同様の効果を得ることができる。

上記実施例２では、吸着ノズル１５に吸着した部品１６に対して１８０°異なる２方向から光パターンを投影する２台の光パターン投影装置２１，２２を設置したが、図７に示す本発明の実施例３では、吸着ノズル１５に吸着した部品１６に対して９０°異なる２方向から光パターンを投影する２台の光パターン投影装置２１，２２を設置している。

本実施例３では、回転角度θ＝０°で部品１６を下方から見た３次元形状を計測してその計測結果をＲＡＭ等の記憶手段に記憶した後、吸着ノズル１５を１８０°回転させて該吸着ノズル１５に吸着した部品１６を１８０°回転させて、部品１６を下方から見た３次元形状を計測してその計測結果をＲＡＭ等の記憶手段に記憶する。本実施例３のように、吸着ノズル１５に吸着した部品１６に対して９０°異なる２方向から光パターンを投影する場合は、吸着ノズル１５の回転角度θ＝０°、１８０°で３次元形状を計測すると、回転角度θ＝０°、９０°、１８０°、２７０°の四方向から光パターンを投影した場合と同様の３次元形状を計測することができる。

この後、上記実施例１と同様の方法で２次元の画像を処理して計測した部品１６の中心と回転中心との位置関係（回転中心に対する部品１６の中心位置と角度）を用いて、２つの３次元形状計測結果を部品１６の中心が一致するように合成して部品１６の３次元形状データを作成する。その他の事項は、前記実施例１と同じである。

以上説明した本実施例３でも、前記実施例１と同様の効果を得ることができる。
尚、上記実施例１〜３では、吸着ノズル１５に吸着した部品１６を下方からカメラ１７で撮像するようにしたが、吸着ノズル１５に吸着した部品１６を斜め下方からカメラ１７で撮像するようにしても良く、この場合は、吸着ノズル１５に吸着した部品１６に下方から光パターンを投影する光パターン投影装置を設置した構成としても良く、要は、カメラ１７の撮像方向とは異なる方向から光パターンを吸着ノズル１５に吸着した部品１６に投影するように光パターン投影装置を設置すれば良い。

その他、本発明は、上記実施例１〜３に限定されず、カメラ１７の周囲の３箇所以上に光パターン投影装置を配置したり、カメラ１７の位置を変更しても良い等、要旨を逸脱しない範囲内で種々変更して実施できる。

１２…回路基板、１３…コンベア、１４…部品供給装置、１５…吸着ノズル、１６…部品、１７…カメラ、１８…ノズル回転機構、２１，２２…光パターン投影装置、２３…画像処理装置、２４…３次元計測手段、２５…２次元計測手段、２６…画像計測モード切替手段、２７…合成手段、２９…照明装置

Claims (3)

1. 部品供給装置から供給される部品を吸着ノズルに吸着して回路基板に実装する部品実装機の部品認識システムにおいて、
   前記吸着ノズルに吸着した部品を下方又は斜め下方から撮像するカメラと、
   前記吸着ノズルを回転させることで該吸着ノズルに吸着した部品を該吸着ノズルの軸心を回転中心にして回転させるノズル回転機構と、
   前記カメラの撮像方向とは異なる方向から予め決められた光パターンを前記吸着ノズルに吸着した部品に投影する光パターン投影装置と、
   前記カメラで撮像した画像を処理する画像処理装置とを備え、
   前記画像処理装置は、前記カメラで撮像した２次元の画像を処理して前記吸着ノズルに吸着した部品の中心と回転中心との位置関係を計測する２次元計測手段と、前記光パターン投影装置により前記光パターンを前記吸着ノズルに吸着した部品に投影して前記カメラで撮像した画像を処理して前記部品表面の前記光パターンを認識して前記部品を下方又は斜め下方から見た３次元形状を計測する３次元計測手段と、前記３次元計測手段により前記３次元形状を計測した後に前記ノズル回転機構により前記吸着ノズルを所定角度回転させて該吸着ノズルに吸着した部品を所定角度回転させた状態で前記３次元形状を計測するという動作を繰り返して複数の３次元形状計測結果を取得する手段と、前記２次元計測手段により計測した前記部品の中心と回転中心との位置関係を用いて前記複数の３次元形状計測結果を前記部品の中心が一致するように合成して前記部品の３次元形状データを作成する手段とを有することを特徴とする部品実装機の部品認識システム。
2. 前記光パターン投影装置は、前記吸着ノズルに吸着した部品に対して一方向から光パターンを投影するように構成され、
   前記画像処理装置は、０°、９０°、１８０°、２７０°の回転角度でそれぞれ前記３次元形状を計測して４つの３次元形状計測結果を取得することを特徴とする請求項１に記載の部品実装機の部品認識システム。
3. 前記光パターン投影装置は、前記吸着ノズルに吸着した部品に対して回転方向に９０°又は１８０°異なる二方向から光パターンを投影するように構成され、
   前記画像処理装置は、０°と１８０°又は０°と９０°の回転角度でそれぞれ前記３次元形状を計測して２つの３次元形状計測結果を取得することを特徴とする請求項１に記載の部品実装機の部品認識システム。

Images