JP3974445B2

JP3974445B2 - マーク認識方法および装置

Info

Publication number: JP3974445B2
Application number: JP2002116917A
Authority: JP
Inventors: 義明櫛山; 博明師岡; 豊小倉; 正人小沢
Original assignee: Juki Corp
Current assignee: Juki Corp
Priority date: 2002-04-19
Filing date: 2002-04-19
Publication date: 2007-09-12
Anticipated expiration: 2022-04-19
Also published as: JP2003317097A

Description

【０００１】
【発明の属する技術分野】
本発明は、マーク認識方法および装置、さらに詳細には、電子部品実装機、印刷機、ディスペンサなどに搬送される基板などの対象物上に形成される位置決め用マーク等のマークを認識するマーク認識方法および装置に関する。
【０００２】
【従来の技術】
従来、電子部品実装機、印刷機、ディスペンサなどでは、基板上に部品が搭載されたり、印刷されたり、あるいは、接着剤が塗布されたりしている。その場合、基板の位置が正しい位置にないと、実装位置、印刷位置あるいは塗布位置が不正確になり、所望の搭載、印刷、塗布が行われなくなる。このため、基板にマークを形成し、このマークの位置を認識して基板の正規位置に対する位置ずれを求め、基板の位置を補正してから、部品実装、印刷、塗布などを行っている。例えば、部品実装機では、基板の所定位置に形成された基板マークが、吸着ヘッドに取り付けたＣＣＤカメラで撮影されて画像処理され、基板の基準位置からのずれが演算され、このずれが補正されてから部品搭載が行なわれている。
【０００３】
【発明が解決しようとする課題】
上述した部品実装機において基板の位置を補正するには、基板上のマークを正確に認識する必要があるので、従来では、予め操作者がマークの特徴（形状、大きさなど）を教示（ティーチング）し、この教示情報に基づいてマークを認識したり、あるいは予め基板上のマーク領域を読み取り、読み取られた画像からマーク画像を抽出して、これをテンプレートとして用いてテンプレートマッチングによりマーク位置を認識している。
【０００４】
しかしながら、教示による方法では、マークの種類が多くなるにつれてその都度教示という面倒な作業が必要になるとともに、マークの認識精度が教示内容に依存するという欠点があり、またマーク画像を抽出してこれをテンプレートとする場合には、テンプレートがマーク画像の品質に依存するので、正確なテンプレートマッチングが保証されないという問題があった。
【０００５】
従って、本発明は、このような問題点を解決するためになされたもので、基板などの対象物上のマークを高精度で認識することが可能なマーク認識方法および装置を提供することを課題とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、本発明では、電子部品実装機、印刷機、ディスペンサなどに搬送されてくる基板などの対象物上のマークを認識するマーク認識方法において、テンプレートを構成する図形の濃度の射影データ、輪郭の軌跡の式、濃度情報、形状、回転角度の少なくともいずれかからなる特徴データからモデルテンプレートを生成し、画像読み取り手段で対象物上のマークを読み取り、前記読み取られたマークと複数のモデルテンプレートを比較することにより前記読み取られたマークに対応するモデルテンプレートを選択し、対象物の画像を読み取り、前記選択されたモデルテンプレートと対象物の画像をテンプレートマッチングして対象物上のマークを認識する構成を採用している。
【０００７】
また、本発明では、電子部品実装機、印刷機、ディスペンサなどに搬送されてくる基板などの対象物上のマークを認識するマーク認識装置において、テンプレートを構成する図形の濃度の射影データ、輪郭の軌跡の式、濃度情報、形状、回転角度の少なくともいずれかからなる特徴データからモデルテンプレートを生成する手段と、対象物並びに対象物上のマークを読み取る画像読み取り手段と、前記読み取られたマークと複数のモデルテンプレートを比較し前記読み取られたマークに対応するモデルテンプレートを選択する手段と、前記選択されたモデルテンプレートと対象物の画像をテンプレートマッチングする手段とを有し、前記テンプレートマッチングにより対象物上のマークを認識する構成も採用している。
【０００８】
このような構成では、認識すべきマークに対応する理想的なテンプレートを用いてテンプレートマッチングを行うことができるので、マッチング処理の精度が向上し、高精度のマーク認識が可能となる。
【０００９】
【発明の実施の形態】
以下に、対象物上のマークを、部品実装機で部品が搭載される基板の位置決め用の基板マークとして、基板マークを認識するマーク認識に基づいて本発明を詳細に説明する。
【００１０】
図１には、部品実装機が図示されており、吸着ヘッド１の吸着ノズル１ａは、ＸＹ駆動機構（不図示）により駆動されて、フィーダ２の位置に移動し、フィーダから供給される部品３を吸着した後認識カメラ６に移動する。そこで、部品が撮像され、その画像が処理されて部品の吸着位置ずれが補正され、搬送路１１を介して搬送されてくる基板１０上に所定位置に部品が実装される。部品の正確な実装には、基板１０が基準位置にあることが前提となるので、基板１０の所定位置に基板マーク１０ａ、１０ｂ、１０ｃを形成し、これを吸着ヘッド１に取り付けたＣＣＤカメラ（画像読み取り手段）１２で撮影して画像認識し、基板の基準位置からのずれを求め、これを補正して部品搭載が行なわれている。
【００１１】
図２には、ＣＣＤカメラ１２で撮像される基板マークの画像を処理する画像処理装置２０の構成が図示されている。ＣＣＤカメラ１２からのアナログの画像信号は、画像処理装置２０のＡ／Ｄ変換器２０ａにより所定フォーマットのデジタル画像データに変換される。Ａ／Ｄ変換器２０ａの出力する画像データはいったん画像メモリ２０ｂに記憶され、必要に応じて（あるいは所定の画像処理を経た後）Ｄ／Ａ変換器２０ｃを介してアナログデータに戻され、モニタ２１で表示できるようになっている。
【００１２】
画像処理装置２０の各部は、ＣＰＵ２０ｄにより制御され、ＣＰＵ２０ｄには、図４のプログラムなどを格納したＲＯＭ２０ｅ、ＣＰＵ２０ｄのワークエリアなどとして使用されるＲＡＭ２０ｆ、複数のモデルテンプレートを格納したテンプレートメモリ２０ｇ、生産用テンプレートメモリ２０ｈが接続されている。また、ＣＰＵ２０ｄは、外部のコントローラ２２を介して、他の装置、たとえば部品実装機の基板を搬送する搬送系、部品を吸着する吸着ヘッドなどを画像処理結果に応じて制御できるようになっている。
【００１３】
テンプレートメモリ２０ｇには、図３に示したように、基板に設けられる種々の基板マークに対応した個々のモデルテンプレート３１〜３９が格納される。テンプレートメモリ２０ｇに、このようなモデルテンプレートそのものを格納するのではなく、その特徴データのみを格納し、その特徴データからモデルテンプレート３１〜３９を作成するようにして、テンプレートのための記憶領域を縮小させる。たとえば、以下の例では、テンプレートを構成する図形の濃度の射影データ、すなわち、図形の所定方向に沿った線上の画素濃度の積算結果からなる特徴データからモデルテンプレート３１〜３９を生成するので、テンプレートメモリ２０ｇには、各モデルテンプレート３１〜３９に対応する特徴データのみが記憶される。この特徴データとしては、上記のデータのほかに、テンプレートを構成する図形の輪郭の軌跡の式、濃度情報、形状、回転角度など、その図形を特定するのに最小限必要なデータが含まれ、線／点対称の図形の場合には、その対称部分の半分のみを特徴データとする。
【００１４】
このような構成において、図４および図５のフローチャートを参照して基板マークに適するモデルテンプレートの取得（ティーチング）およびマーク認識の流れを説明する。
【００１５】
まず、吸着ヘッド１を、例えば基板マーク１０ａの領域に移動させ、吸着ヘッドに取り付けられたＣＣＤカメラ１２により、基板マーク１０ａの画像を読み取り、Ａ／Ｄ変換器２０ａでデジタルデータに変換して画像メモリ２０ｂに格納する（ステップＳ１）。続いて、図６に示したように、画像メモリ２０ｂ内の画像データに対してマッチング処理を行なうべき領域、すなわち、マッチングウィンドウＷを設定する（ステップＳ２）。このマッチングウインドウＷの設定は、基板上のマーク領域から、濃度情報の検索などにより基板マーク１０ａの位置などを粗く検出し、マッチング処理領域を特定するものであるので、その設定には、それほどの精度を必要とするものではない。
【００１６】
続いて、マッチングウインドウＷ内の画像データから、濃度変化カーブ、その変曲点、あるいは、これらの情報のマッチングウインドウＷ内での位置などの特徴が抽出される（ステップＳ３）。ここでは、後述の生成されるモデルテンプレートを用いて基板マーク１０ａを認識するのに少なくとも最低限比較に必要な特徴部分が取り出され、たとえば、基板マーク１０ａの射影データ、サイズ、濃度情報の最大／最小値の特徴が抽出される。
【００１７】
次に、ステップＳ４において、テンプレートメモリ２０ｇに格納されている特徴データからモデルテンプレートを作成する。モデルテンプレート３１は真円なので、例えば、テンプレートメモリ２０ｇには、図７（Ａ）に示したように、円の２方向（上下および左右）に沿った線上の画素濃度の積算結果からなる射影濃度データの特徴データ３１ａ、３１ｂが格納されている。この特徴データを、ステップＳ３で抽出した画像の特徴、すなわち、画像の最大濃度と最小濃度に基づき、図７（Ｂ）に示すように明部と暗部のレベルを補正して、モデルテンプレートを生成する。また、モデルテンプレートのサイズが実際の画像と異なる場合には、そのサイズを調整（図７（Ｂ）の場合は縮小）し、最終的に図７（Ｂ）に示したような、階調濃度データを有する２次元のモデルテンプレート３１’を生成する。
【００１８】
このようにして生成したモデルテンプレート３１’と、マッチングウインドウＷの画像データと相関演算等を行い（ステップＳ５）、マッチング結果、例えばマッチング係数（相関係数：０〜１）を、生成したモデルテンプレート、形状名とともにＲＡＭ２０ｆに保存する（ステップＳ６）。
【００１９】
続いてメモリ２０ｇに格納されている他のモデルテンプレート３２〜３９の特徴データから対応する２次元のモデルテンプレートをそれぞれ生成することにより、上記処理を繰り返す。すべてのモデルテンプレートを生成して上記処理が終了した場合には（ステップＳ７のＹＥＳ）、基板マーク１０ａに適するモデルテンプレートがあったかどうかを検査する（ステップＳ８）。これは、マッチング結果をモニタ２１上に表示し、マッチング係数が設定値よりも大きいモデルテンプレートがあったかどうかを調べることにより行われる。設定値よりも大きいモデルテンプレートがあった場合には（ステップＳ８のＹＥＳ）、そのうちマッチング係数が最大なものを基板マーク１０ａ用のモデルテンプレートとして選択する（ステップＳ９）。
【００２０】
一方、ステップＳ８において、マッチング係数が設定値よりも大きなものがなく、適するテンプレートがない場合には、モニタ２１上にテンプレート一覧を表示し、その中からオペレータの確認作業により基板マーク１０ａに対するモデルテンプレートを選択する（ステップＳ１０）。あるいは、適するテンプレートがないときには、ステップＳ３で抽出した画像データを、テンプレートメモリ２０ｇに新規にオプションデータとして登録し、該抽出した画像を、基板マーク１０ａ用のモデルテンプレートとして選択するようにしてもよい。
【００２１】
続いて、このように選択されたモデルテンプレートを生成できる特徴データを、基板マーク１０ａの位置に対応付けて生産用テンプレートメモリ２０ｈに格納する（ステップＳ１１）。
【００２２】
次に、以上の処理を基板マーク１０ｂ、１０ｃに対して行う（ステップＳ１２）。これにより、生産用テンプレートメモリ２０ｈには、基板１０の全ての基板マークの位置に関連付けて、その基板マークに最適なモデルテンプレートを生成できる特徴データが格納されたことになる。通常、同じ基板に形成される基板マーク１０ａ〜１０ｃは同じ形状であり、同一のモデルテンプレートが適用される場合が多いので、その場合には、同じであることを記録しておく。
【００２３】
また、以上の処理は、基板１０に対するものであったが、基板種（基板種類）が異なると、基板マークが異なるので、生産すべき全ての基板種に対して図４の処理を行い、生産用テンプレートメモリ２０ｈに、生産すべき全ての基板種の基板マークごとに、各基板マークに最適なモデルテンプレートを生成できる特徴データを格納する。
【００２４】
以上の処理は、生産される基板のマークに対するティーチング作業に対応し、実際の基板生産は、コントローラ２２で実行される図５の流れに沿って行われる。
【００２５】
基板生産時には、まず生産すべき基板種が入力される（ステップＳ２０）。続いて、この基板種の各基板マークに対応するモデルテンプレートを、生産用テンプレートメモリ２０ｈに格納された特徴データからそれぞれ生成する（ステップＳ２１）。
【００２６】
基板が搬送路１１に沿って搬入されると（ステップＳ２２）、吸着ヘッド１は、基板マークが形成されているマーク領域にそれぞれ移動し、ＣＣＤカメラ１２により各基板マークの画像がそれぞれ読み取られる（ステップＳ２３）。続いて、ステップＳ２１で生成された該基板マークに対応するモデルテンプレートを用いて公知の方向でテンプレートマッチングを行うことにより各基板マークがそれぞれ認識される（ステップＳ２４）。
【００２７】
このマーク認識に従って、基板の補正値が演算され（ステップＳ２５）、コントローラ２２を介して搬送路１１を制御し基板１０の位置を補正し、基板の位置決めが行われ（ステップＳ２６）、続いて部品搭載が行われる（ステップＳ２７）。
【００２８】
以上説明した各モデルテンプレートは、ＣＡＤデータ、画像レート、対象物の濃度データから生成するようにしてもよい。
【００２９】
また、図示した実施形態では、基板マークが認識されたが、本発明は、これに限定されるものではなく、ＩＣマーク等の種々の対象物上に形成されたマークを認識し、このマーク認識に従って対象物の位置、形状、大きさなどを決定する場合のマーク認識にも適用できるものである。
【００３０】
【発明の効果】
以上説明したように、本発明では、認識すべきマークに対応する理想的なテンプレート（データを生成するため精度の高いデータとなる）を用いてテンプレートマッチングを行うことができるので、マッチング処理の認識精度が向上し、高精度のマーク認識が可能となる。
【００３１】
また、本発明では、モデルテンプレートをそのまま記憶するのではなく、その特徴部分のみを記憶し、モデルテンプレートを生成するようにしているので、テンプレート記憶のための記憶容量を節約できる。
【図面の簡単な説明】
【図１】部品実装機の構成を示した斜視図である。
【図２】マーク認識装置の概略構成を示した構成図である。
【図３】テンプレートメモリの内容を示した説明図である。
【図４】モデルテンプレートの選択の流れを示したフローチャートである。
【図５】基板の生産の流れを示したフローチャートである。
【図６】マッチングウィンドウの設定を示した説明図である。
【図７】モデルテンプレートの生成を説明した説明図である。
【符号の説明】
１０基板
１０ａ、１０ｂ、１０ｃ基板マーク
１１搬送路
１２ＣＣＤカメラ
２０画像処理装置
２０ｂ画像メモリ
２０ｇテンプレートメモリ
２０ｈ生産用テンプレートメモリ

Claims

電子部品実装機、印刷機、ディスペンサなどに搬送されてくる基板などの対象物上のマークを認識するマーク認識方法において、
テンプレートを構成する図形の濃度の射影データ、輪郭の軌跡の式、濃度情報、形状、回転角度の少なくともいずれかからなる特徴データからモデルテンプレートを生成し、
画像読み取り手段で対象物上のマークを読み取り、
前記読み取られたマークと複数のモデルテンプレートを比較することにより前記読み取られたマークに対応するモデルテンプレートを選択し、
対象物の画像を読み取り、
前記選択されたモデルテンプレートと対象物の画像をテンプレートマッチングして対象物上のマークを認識することを特徴とするマーク認識方法。
前記モデルテンプレートとして、マッチング係数が最大のものを選択することを特徴とする請求項１に記載のマーク認識方法。
モデルテンプレート選択時にマッチング係数が設定値より大きいものがない場合、モニタ上にテンプレート一覧を表示することを特徴とする請求項１に記載のマーク認識方法。
電子部品実装機、印刷機、ディスペンサなどに搬送されてくる基板などの対象物上のマークを認識するマーク認識装置において、
テンプレートを構成する図形の濃度の射影データ、輪郭の軌跡の式、濃度情報、形状、回転角度の少なくともいずれかからなる特徴データからモデルテンプレートを生成する手段と、
対象物並びに対象物上のマークを読み取る画像読み取り手段と、
前記読み取られたマークと複数のモデルテンプレートを比較し前記読み取られたマークに対応するモデルテンプレートを選択する手段と、
前記選択されたモデルテンプレートと対象物の画像をテンプレートマッチングする手段とを有し、
前記テンプレートマッチングにより対象物上のマークを認識することを特徴とするマーク認識装置。
選択されたモデルテンプレートは、マッチング係数が最大のものであることを特徴とする請求項４に記載のマーク認識装置。
モデルテンプレート選択時にマッチング係数が設定値より大きいものがない場合、前記読み取り画像データをモデルテンプレートとして登録することを特徴とする請求項４に記載のマーク認識装置。