JPWO2017098561A1 - 基板用の画像処理装置および画像処理方法 - Google Patents

基板用の画像処理装置および画像処理方法 Download PDF

Info

Publication number
JPWO2017098561A1
JPWO2017098561A1 JP2017554682A JP2017554682A JPWO2017098561A1 JP WO2017098561 A1 JPWO2017098561 A1 JP WO2017098561A1 JP 2017554682 A JP2017554682 A JP 2017554682A JP 2017554682 A JP2017554682 A JP 2017554682A JP WO2017098561 A1 JPWO2017098561 A1 JP WO2017098561A1
Authority
JP
Japan
Prior art keywords
template
substrate
image data
image processing
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017554682A
Other languages
English (en)
Other versions
JP6734868B2 (ja
Inventor
聖一 寺岡
聖一 寺岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JPWO2017098561A1 publication Critical patent/JPWO2017098561A1/ja
Application granted granted Critical
Publication of JP6734868B2 publication Critical patent/JP6734868B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/04Mounting of components, e.g. of leadless components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30141Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Image Analysis (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Image Processing (AREA)

Abstract

基板の基準位置をより高精度に認識することが可能な基板用の画像処理装置および画像処理方法を提供することを目的とする。基板用の画像処理装置は、検出部の走査によって基準マークの位置が検出されなかった場合に、第一領域において基準マークの外側に位置する基板の特徴部を示す第二テンプレートを取得するテンプレート取得部と、第二テンプレートを用いて基板の基準位置を認識する位置認識部と、を備える。

Description

本発明は、基板用の画像処理装置および画像処理方法に関するものである。
例えば特許文献1には、部品実装機の機内に搬入された基板の基準位置を認識する構成が開示されている。基板の基準位置の認識では、例えば基板の配線パターンを撮像して取得された画像データから配線パターンにおける特徴部を基準マークとして検出する。また、上記の検出には、特徴部のエッジ部に倣った形状からなる標準線やエッジ部と交差する複数のシークラインのように、配線パターンにおける特徴部を示すテンプレートが用いられる。
特開2003−086996号公報
ところで、上記の検出において配線パターンの特徴部が検出されない場合に、画像処理装置は、画像データを作業者に対して表示するとともに、当該画像データにおける基準位置の設定を受け付けて検出処理を補完する。しかしながら、作業者の手動操作による基準位置の設定には、目測による誤差が含まれるおそれがある。例えば部品実装機の実装処理の精度を適正に維持するためには、基板の基準位置を高精度に認識することが望ましい。
本発明は、このような事情に鑑みてなされたものであり、基板の基準位置をより高精度に認識することが可能な基板用の画像処理装置および画像処理方法を提供することを目的とする。
請求項1に係る基板用の画像処理装置は、基板の上面に配置された基準マークが含まれる第一領域を撮像して得られた画像データを取得する画像取得部と、前記基準マークの形状を示す第一テンプレートを用いて前記画像データを走査して前記基準マークの位置を検出する検出部と、前記検出部の走査によって前記基準マークの位置が検出されなかった場合に、前記第一領域において前記基準マークの外側に位置する前記基板の特徴部を示す第二テンプレートを取得するテンプレート取得部と、前記第二テンプレートを用いて前記基板の基準位置を認識する位置認識部と、を備える。
請求項8に係る基板用の画像処理方法は、基板の上面に配置された基準マークが含まれる第一領域を撮像して得られた画像データを取得する画像取得工程と、前記基準マークの形状を示す第一テンプレートを用いて前記画像データを走査して前記基準マークの位置を検出する検出工程と、前記検出工程の走査によって前記基準マークの位置が検出されなかった場合に、前記第一領域において前記基準マークの外側に位置する前記基板の特徴部を示す第二テンプレートを取得するテンプレート取得工程と、前記第二テンプレートを用いて前記基板の基準位置を認識する位置認識工程と、を備える。
請求項1,8に係る発明の構成によると、基板の基準マークの位置が検出不能の場合に、同一の第一領域に含まれる他の特徴部を示す第二テンプレートを用いて基板の基準位置を認識する。これにより、第二テンプレートを用いた補完処理を実行でき、作業者の手動操作によって基板の基準位置が設定される場合と比較して、基準位置を高精度に認識できる。また、第一テンプレートを用いた初期の検出処理にて取得された画像データを流用でき、画像処理における処理効率を向上して、補完処理に要する時間を短縮できる。
第一実施形態における基板用の画像処理装置を適用された生産ラインを示す模式図である。 基板および配線パターンおよび第一領域を示す図である。 図2における第一領域を撮像して得られた画像データに第一テンプレートを重ねた状態を示す図である。 基板の基準位置を認識する画像処理を示すフローチャートである。 図4における補完処理を示すフローチャートである。 生成された第二テンプレートを示す図である。 第一画像データを複数の区画に区分した状態を示す図である。 画像データに第二テンプレートを重ねて表示した表示装置の画面であり、作業者の手動操作により画像データに対する第二テンプレートの位置合わせを受け付けている状態を示す図である。 第二実施形態における補完処理を示すフローチャートである。
以下、本発明の基板用の画像処理装置および画像処理方法を具体化した実施形態について図面を参照して説明する。実施形態において、例えば集積回路などの回路基板製品を製造する生産ラインを構成する部品実装機に基板用の画像処理装置が組み込まれた構成を例示する。
<第一実施形態>
(生産ライン1の構成)
生産ライン1は、図1に示すように、ネットワークを介してホストコンピュータ2と通信可能に接続された複数の生産設備により構成される。この生産設備には、部品実装機10の他に、例えばスクリーン印刷機や実装検査機、リフロー炉などが含まれる。部品実装機10を含む生産設備は、ネットワークを介してホストコンピュータ2と種々のデータを入出力可能に構成されている。
ホストコンピュータ2は、生産ライン1の動作状況を監視し、部品実装機10を含む生産設備の制御を行う。ホストコンピュータ2には、部品実装機10を制御するための各種データが記憶されている。上記の各種データには、生産される回路基板製品の種類や生産量を含む生産計画、部品実装機10を動作させるための制御プログラム、および画像処理に用いられるテンプレートが含まれる。ホストコンピュータ2は、各生産設備における生産処理の実行に際して、制御プログラムなどの各種データを各生産設備に適宜送出する。
(部品実装機10の構成)
生産ライン1を構成する複数台の部品実装機10は、図1に示すように、基板搬送装置11と、部品供給装置12と、部品移載装置13と、部品カメラ14と、基板カメラ15と、制御装置20とを備える。以下の説明において、部品実装機10の水平幅方向(図1の左右方向)をX軸方向とし、部品実装機10の水平奥行き方向(図1の上下方向に)をY軸方向とし、X軸およびY軸に垂直な鉛直方向(図1の前後方向)をZ軸方向とする。
基板搬送装置11は、ベルトコンベアなどにより構成され、基板50を搬送方向(本実施形態においてはX軸方向)へと順次搬送する。基板搬送装置11は、部品実装機10の機内における所定の位置に基板50を位置決めする。そして、基板搬送装置11は、部品実装機10による実装処理が実行された後に、基板50を部品実装機10の機外に搬出する。
部品供給装置12は、供給位置Psにおいて、基板50に装着される電子部品を供給する。部品供給装置12は、X軸方向に並んで配置された複数のスロットを有する。複数のスロットには、フィーダ12aが着脱可能にそれぞれセットされる。部品供給装置12は、フィーダ12aにより例えばキャリアテープを送り移動させて、フィーダ12aの先端側(図1の上側)に位置する取出し部において電子部品を供給する。
部品移載装置13は、X軸方向およびY軸方向に移動可能に構成される。部品移載装置13は、部品実装機10の奥行き方向の後部側(図1の上側)から前部側の部品供給装置12の上方にかけて配置されている。部品移載装置13は、ヘッド駆動装置13a、移動台13bと、装着ヘッド13cとを備える。ヘッド駆動装置13aは、直動機構により移動台13bをXY軸方向に移動可能に構成されている。
装着ヘッド13cは、図示しないフレームを介して、移動台13bにクランプして固定される。また、装着ヘッド13cには、図示しない複数の吸着ノズルが着脱可能に設けられる。装着ヘッド13cは、Z軸と平行なR軸回りに回転可能に、且つ昇降可能に各吸着ノズルを支持する。各吸着ノズルは、装着ヘッド13cに対する昇降位置や角度、負圧の供給状態を制御される。各吸着ノズルは、負圧を供給されることにより、フィーダ12aの取出し部において供給される電子部品を吸着して保持する。
部品カメラ14および基板カメラ15は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を有するデジタル式の撮像装置である。部品カメラ14および基板カメラ15は、通信可能に接続された制御装置20による制御信号に基づいてカメラ視野に収まる範囲の撮像を行い、当該撮像により取得した画像データを制御装置20に送出する。
部品カメラ14は、光軸が鉛直方向(Z軸方向)の上向きとなるように部品実装機10の基台に固定され、部品移載装置13の下方から撮像可能に構成される。より具体的には、部品カメラ14は、吸着ノズルに保持された状態の電子部品の下面を撮像可能に構成される。基板カメラ15は、光軸が鉛直方向(Z軸方向)の下向きとなるように部品移載装置13の移動台13bに設けられる。基板カメラ15は、基板50を撮像可能に構成されている。
(制御装置20の構成)
制御装置20は、主として、CPUや各種メモリ、制御回路により構成される。制御装置20は、電子部品の実装処理を制御する。制御装置20は、ネットワークを介してホストコンピュータ2と通信可能に接続されている。制御装置20は、図1に示すように、実装制御部21、記憶装置22、表示装置23、入力装置24、および画像処理装置30を備える。
実装制御部21は、装着ヘッド13cの位置や吸着機構の動作を制御する。より詳細には、実装制御部21は、部品実装機10に複数設けられた各種センサから出力される情報、各種の認識処理の結果を入力する。そして、実装制御部21は、記憶装置22に記憶されている制御プログラム、各種センサによる情報、画像処理装置30による認識処理の結果に基づいて、部品移載装置13へと制御信号を送出する。これにより、装着ヘッド13cに支持された吸着ノズルの位置および回転角度が制御される。
記憶装置22は、ハードディスク装置などの光学ドライブ装置、またはフラッシュメモリなどにより構成される。この記憶装置22には、制御プログラム、制御情報、画像データ、画像処理装置30による各種処理の一時データなどが記憶される。表示装置23は、各種データを映像として作業者に対して表示する。入力装置24は、作業者の手動操作による各種データの入力を受け付ける機器である。
(画像処理装置30の構成)
画像処理装置30は、部品カメラ14および基板カメラ15の撮像により得られた画像データを取得して、用途に応じた画像処理を実行する。この画像処理には、例えば、画像データの二値化、フィルタリング、色相抽出、超解像処理などが含まれ得る。画像処理装置30は、基板50の基準位置を認識する画像処理を実行する。
ここで、基板搬送装置11により機内に搬入された基板50の位置には、位置決め誤差が含まれることがある。そのため、制御装置20は、基板50の基準位置を認識する画像処理の結果に基づいて、基板50の位置決め状態に応じて装着ヘッド13cが保持する吸着ノズルの位置を補正する。これにより、電子部品が基板50の適正な位置に装着され、実装処理の精度向上が図られている。
なお、上記の基板50の基準位置の認識では、基板50の上面に配置された任意形状からなる基準マークの検出処理が行われる。本実施形態において、画像処理装置30は、図2に示すように、矩形状のフィデューシャルマーク55(以下、「Fマーク」と称する)を基準マークとして採用する。
画像処理装置30は、図1に示すように、画像取得部31、検出部32、テンプレート取得部33、および位置認識部35を備える。画像取得部31は、基板50の上面に配置された基準マークであるFマーク55が含まれる第一領域M(図2を参照)を撮像して得られた画像データ60(図3を参照)を取得する。上記の「第一領域M」は、本実施形態において、基板50に対して相対移動された基板カメラ15により撮像可能な領域である。
検出部32は、基準マークであるFマーク55の形状を示す第一テンプレート70を用いて画像データ60を走査して、Fマーク55の位置を検出する。ここで、第一テンプレート70のように検出処理に用いられるテンプレートは、検出対象(ここでは、Fマーク55)のエッジ部に倣った形状からなる標準線や、当該エッジ部の形状に基づいて配置された複数のシークラインにより構成され、記憶装置22に記憶されている。
本実施形態において、第一テンプレート70は、図3に示すように、Fマーク55のエッジ部と交差する複数のシークライン71と、Fマーク55が検出された場合に当該Fマーク55の位置を示す規定点72と、により構成される。第一テンプレート70は、規定点72の位置によって、基板50の基準位置との位置関係が規定されている。
テンプレート取得部33は、検出部32の走査によってFマーク55の位置が検出されなかった場合に、第一領域MにおいてFマーク55の外側に位置する基板50の特徴部を示す第二テンプレート80を取得する(図6を参照)。ここで、画像処理装置30は、上記のように第一テンプレート70を用いた走査によってFマーク55の位置が検出されなかった場合に、別の手法によって基板50の基準位置を認識する必要が生じる。そこで、画像処理装置30は、検出処理を補完する補完処理を実行する。
上記の補完処理に用いられる第二テンプレート80は、Fマーク55の周囲であって且つ第一領域Mに含まれる位置にある基板50の特徴部を示す。詳細には、基板50の特徴部は、基板の上面に形成された配線パターン、印刷されたはんだ、装着された電子部品などにより構成される形状、模様、色彩若しくはこれらの結合による特徴的な部位である。本実施形態において、基板50の特徴部53は、基板50の上面に形成された配線パターンの形状的な特徴部としている。
ここで、基板50の配線パターンは、図2および図3に示すように、はんだを印刷などにより塗布されて電子部品の端子と電気的に接続されるランド51と、ランド51同士を接続する配線部52とにより構成される。基板50の特徴部53は、より具体的には、矩形状からなる複数のランド51の位置関係によって構成される。これに対応して、本実施形態において、第二テンプレート80は、図6に示すように、複数の標準線81と、規定点82とにより構成される。
複数の標準線81は、複数のランド51のエッジ部および位置関係を示す。規定点82は、基板50の特徴部53が検出された場合に検出されなかったFマーク55の位置を示す。つまり、第二テンプレート80は、第一テンプレート70と同様に、規定点82の位置によって、基板50の基準位置との位置関係が規定されている。なお、図6において、Fマーク55が破線にて示されている。
また、テンプレート取得部33が第二テンプレート80を取得する方法としては、予備のテンプレートとして記憶装置22に予め記憶されているものを読み出す他に、補完処理において適宜生成するようにしてもよい。第二テンプレート80の取得方法に係る詳細については、補完処理(図5を参照)において説明する。
位置認識部35は、第一テンプレート70を用いた検出部32の走査によるFマーク55の検出の結果に基づいて、基板50の基準位置を認識する。また、上記の補完処理において、位置認識部35は、第二テンプレートを用いて基板50の基準位置を認識する。本実施形態において、位置認識部35は、画像データ60に対する第二テンプレート80の位置合わせに関する手動操作による設定を受け付けて、当該設定の内容に基づいて基板50の基準位置を認識する。
ここで、制御装置20の表示装置23は、補完処理において、テンプレート取得部33により取得された第二テンプレート80を画像データ60に重ねて表示する画像処理装置30の表示部として兼用される。また、制御装置20の入力装置24は、画像データ60に対する第二テンプレート80の相対位置の設定を受け付ける設定受け付け部として兼用される。つまり、画像処理装置30は、作業者の手動操作によって画像データ60に第二テンプレート80が位置合わせされた場合に、第二テンプレート80の規定点82の位置に基づいて、基板50の基準位置を認識する。
(画像処理装置30による画像処理)
上記の基板用の画像処理装置30による基板50の基準位置を認識する画像処理について説明する。画像処理は、例えば部品実装機10の実装処理において、基板搬送装置11により位置決めされた基板50の基準位置を認識するために実行される。画像処理装置30は、先ず、図4に示すように、準備処理を実行する(ステップ11(以下、「ステップ」を「S」と表記する))。
上記の準備処理(S11)には、Fマーク55が含まれる第一領域Mを撮像する撮像処理や、Fマーク55の形状を示す第一テンプレート70を記憶装置22から読み出す処理が含まれる。次に、画像取得部31は、記憶装置22に記憶された第一領域Mを撮像して得られた画像データ60を取得する(S12)。続いて、検出部32は、第一テンプレート70を用いて画像データ60を走査して、Fマーク55の位置を検出する(S13)。
画像処理装置30は、検出部32の走査によってFマーク55の位置が検出されたか否かを判定する(S14)。具体的には、エッジ処理された画像データ60における所定位置において、第一テンプレート70の全てのシークライン71が画像データ60のエッジ部と交差する場合に、第一テンプレート70と一致するFマーク55が検出されたものと判定する(S14:Yes)。そして、位置認識部35は、検出部32の走査によるFマーク55の検出の結果に基づいて、基板50の基準位置を認識する(S16)。
一方で、画像処理装置30は、全てのシークライン71が画像データ60のエッジ部と交差しない場合に、Fマーク55の位置が検出されなかったものと判定する(S14:No)。このように、例えばFマーク55の一部が欠落しているなどの要因によってFマーク55の位置が検出不能の場合に、Fマーク55の位置を取得する補完処理を実行する(S15)。
本実施形態において、補完処理(S15)には、第二テンプレート80の設定処理(S20)と、画像データ60と第二テンプレート80の位置合わせ処理(S30)とが含まれる。これにより、第一テンプレート70を用いた走査によっては検出されなかったFマーク55の位置が補完され、基板50の基準位置の認識(S16)が可能となる。
(補完処理の詳細)
補完処理(S15)のテンプレート設定処理(S20)において、テンプレート取得部33は、第二テンプレート80を新たに生成、または既存の第二テンプレート80を取得することによって、後の位置合わせ処理(S30)に使用される第二テンプレート80を設定する。
ここで、画像処理装置30は、部品実装機10の実装処理の実行中において基板50の基準位置を認識する認識処理を適宜実行する。そのため、同一の基板50を対象とした実装処理において、Fマーク55の位置を検出する画像処理が複数回に亘って行われることがある。しかし、実装処理の中で実装された電子部品によりFマーク55の形状の一部または全部が覆われて、Fマーク55の位置を検出できなくなる場合などがある。そこで、第一テンプレート70を用いた走査によってFマーク55の位置が検出された場合に、画像処理装置30は、認識処理に用いられた画像データが後の認識処理にて用いられることを想定して、上記の画像データを認識処理においてFマーク55の検出に成功した「第一画像データ60B」として記憶装置22に記憶する。
テンプレート取得部33は、図5に示すように、先ず第一画像データ60Bが記憶装置22に記憶されているか否かを判定する(S21)。つまり、部品実装機10が現在実行している実装処理の対象である基板50において、第一テンプレート70を用いた基準位置の認識処理が既に実行され、且つFマーク55の位置の検出に成功している場合には、第一画像データ60Bが記憶装置22に記憶されているものと判定される(S21:Yes)。
そして、テンプレート取得部33は、2回目以降の認識処理において検出部32の第一テンプレートを用いた走査によってFマーク55の位置が検出されなかった場合に(図4のS14:No)、Fマーク55の位置が検出された前回以前の認識処理に用いられた画像データである第一画像データ60Bを取得する(S22)。続いて、テンプレート取得部33は、第一画像データ60Bに対して画像処理を実行して第二テンプレート80を生成する生成処理を実行する(S23)。
ここで、本実施形態における第二テンプレート80は、作業者の手動操作による位置合わせに用いられるため、位置合わせ処理に適した画像処理が実行される。具体的には、テンプレート取得部33は、第二テンプレート80を重ねて表示される他の画像データ60が透視可能となるように、第一画像データ60Bを透明化する画像処理を実行する。また、テンプレート取得部33は、透明化の他に、エッジ処理や二値化などの画像処理を実行して、基板50の特徴部53の形状が顕著となるようにしてもよい。
さらに、テンプレート取得部33は、本実施形態において、第二テンプレート80を生成する生成処理(S23)において、図7に示すように、第一画像データ60Bを複数の区画61に区分する。そして、テンプレート取得部33は、複数の区画61のうち所定条件を満たす区画61Rを除去する(図7の斜線部)。除去対象とする区画61Rには、本実施形態において、第一画像データ60Bを得るために撮像した時から現在までに電子部品を実装された区画と、画像の複雑さが予め設定された閾値を超える区画とが含まれる。
電子部品が実装された区画61は、基板50の見かけが変動しているため、当該区画61を含むテンプレートが目測による位置合わせ処理に不適であるという理由により除去対象とされる。また、画像の複雑さが閾値を超える区画61は、エッジ部が複雑に集まった状態にあり、当該区画61を含むテンプレートが目測による位置合わせ処理に不適であるという理由により除去対象とされる。
また、本実施形態において、テンプレート取得部33は、第一画像データ60BのうちFマーク55を含む領域を除去する画像処理を実行する。第一テンプレート70を用いた走査によってFマーク55の位置が検出不能であったことから、現在の基板50の状態を示す画像データ60では、第一テンプレート70の全体を目視できないおそれがある。そこで、テンプレート取得部33は、第二テンプレート80に現在の見かけと一致しないFマーク55を含む区画61を除去して、目測による位置合わせ処理により適応した第二テンプレート80を生成する構成としている。
これにより、図6に示すように、基板50の特徴部53を示す第二テンプレート80が新たに生成される。なお、第二テンプレート80の規定点82は、第一画像データ60BにおいてFマーク55の位置が検出されているため、当該検出の結果および第一テンプレート70の規定点72の位置関係によって規定される。つまり、規定点82は、第二テンプレート80が画像データ60に対して位置合わせされた場合に、当該画像データ60におけるFマーク55の位置を示す。
また、テンプレート取得部33は、第一画像データ60Bが記憶装置22に記憶されていない場合には(S21:No)、第一画像データ60Bを代用可能な代用画像データが記憶装置22に記憶されているか否かを判定する(S24)。上記の代用画像データは、例えば実装処理の対象である基板50と同種の基板を予め撮像して得られた画像データである。代用画像データが記憶されている場合には(S24:Yes)、テンプレート取得部33は、当該代用画像データを取得する(S25)。そして、テンプレート取得部33は、代用画像データに対して透明化などの画像処理を実行して、第二テンプレート80を生成する(S23)。
一方で、代用画像データが記憶装置22に記憶されていない場合には(S24:No)、テンプレート取得部33は、他の基板50で使用された既存の第二テンプレート(以下、「旧第二テンプレート」という)による代用が可能か否かを判定する(S26)。ここで、電子部品の装着状態やはんだの印刷状態によって基板50の見かけが個々に異なる。そのため、実装処理の実行中における補完処理(S15)では、対象の基板50を撮像して得られた第一画像データ60Bを用いて第二テンプレート80が生成されることが望ましい。
これに対して、基板50の特徴部53がランド51により構成されている場合には、同種の基板50であれば個体差による差異が十分に小さい。そこで、テンプレート取得部33は、他の画像処理において既に旧第二テンプレートが生成されている場合には、当該画像処理が対象とした基板50の種別、および旧第二テンプレートの素材となった第一画像データの撮像領域に基づいて、旧第二テンプレートによる代用の可否を判定する(S26)。
テンプレート取得部33は、旧第二テンプレートによる代用が可能と判定した場合には(26:Yes)、旧第二テンプレートを今回の補完処理における第二テンプレート80として取得する(S27)。一方で、テンプレート取得部33は、旧第二テンプレートによる代用ができない(旧第二テンプレートが記憶されていない場合を含む)場合には(S26:No)、第一テンプレート70を取得する(S28)。
続いて、位置合わせ処理(S30)において、表示装置23は、図8に示すように、第二テンプレート80を画像データ60に重ねて表示する(S31)。表示装置23は、例えば矩形状の第二テンプレート80の四辺にそれぞれカーソルを配置する。また、表示装置23は、画像データ60に第二テンプレート80を上記のように重ねて表示した場合に、基板50の特徴部53に対する第二テンプレート80の相対位置に基づく一致度合いを併せて表示する。
特徴部53と第二テンプレート80の一致度合いは、例えば第二テンプレート80の標準線81に画像データ60のエッジ部にどの程度重なっているか示す値である。表示装置23は、上記の一致度合いを、図8の下部に示すように数値で表示する。その他に、表示装置23は、第二テンプレート80の標準線81の表示色や線種によって、一致度合いを表示するようにしてもよい。
その後に、入力装置24は、画像データ60に対する第二テンプレート80の位置合わせ操作を受け付ける(S32)。作業者は、例えば画像データ60におけるランド51と第二テンプレート80の標準線81との重なりの状態を、例えば数値化された一致度合いなどを参照して調整する。
この操作によって画像データ60に対する第二テンプレート80の相対位置の設定がなされると、Fマーク55の位置が検出された場合と同様の状態となる。その後に、位置認識部35は、上記の設定の内容および第二テンプレート80の規定点82により規定された基準位置との位置関係に基づいて、基板50の基準位置を認識する(S16)。
また、テンプレート設定処理(S20)において、第二テンプレート80を取得できなかった場合には、表示装置23は、第一テンプレート70を画像データ60に重ねて表示し、入力装置24が画像データ60に対する第一テンプレート70の位置合わせ操作を受け付ける(S32)。その後に、位置認識部35は、位置合わせされた第一テンプレート70の規定点72の位置に基づいて、基板50の基準位置を認識する(S16)。
<第二実施形態>
第二実施形態の画像処理装置および画像処理方法の構成は、主として、第一実施形態における補完処理(S15)が相違する。その他の共通する構成については、第一実施形態と実質的に同一であるため、詳細な説明を省略する。第二実施形態において、補完処理(S115)には、図9に示すように、第二テンプレート80の設定処理(S20)と、第二テンプレート80を用いた再検出を実行する第二検出処理(S140)と、位置合わせ処理(S30)とが含まれる。
ここで、本実施形態における第二テンプレート80は、上記のように検出部32による再検出に用いられるため、検出処理に適した画像処理が実行される。具体的には、第二テンプレート80を生成する生成処理(S23)において、テンプレート取得部33は、基板50の特徴部53に対応するエッジ部を抽出する画像処理を実行する。これにより、抽出されたエッジ部が第二テンプレート80の標準線81として規定される。
補完処理(S115)においてテンプレート取得部33がテンプレート設定処理(S20)を実行した後に、画像処理装置30は、先ず第二テンプレート80が取得されたか否かを判定する(S141)。新たに生成、または代用可能な旧第二テンプレートが第二テンプレート80として取得された場合には(S141:Yes)、検出部32は、取得された第二テンプレート80を用いて画像データ60を走査して、基板50の特徴部53の位置を検出する。つまり、検出部32は、第二テンプレート80を用いた検出を再度実行する。
画像処理装置30は、検出部32の走査によって基板50の特徴部53の位置が検出されたか否かを判定する(S143)。具体的には、エッジ処理された画像データ60における所定位置において、第二テンプレート80の全ての標準線81が画像データ60のエッジ部と一致する場合に、第二テンプレート80と一致する特徴部53が検出されたものと判定する(S143:Yes)。これにより、作業者による位置合わせ処理(S30)が省略されるとともに、補完処理(S115)が終了される。その後に、位置認識部35は、検出部32の走査による特徴部53の検出の結果に基づいて、基板50の基準位置を認識する(S16)。
一方で、画像処理装置30は、全ての標準線81が画像データ60のエッジ部と交差しない場合に、特徴部53の位置が検出されなかったものと判定する(S143:No)。このように、自動的な再検出処理を実行してもFマーク55の位置に相当する特徴部53の位置を検出できなかった場合、およびテンプレート設定処理(S20)にて第二テンプレート80を取得できなかった場合には(S141:No)、作業者の手動操作による位置合わせ処理(S30)が実行され、補完処理(S115)が終了される。その後に、位置認識部35は、位置合わせ処理における設定の内容等に基づいて、基板50の基準位置を認識する(S16)。
<第一、第二実施形態の構成による効果>
基板用の画像処理装置30は、基板50の上面に配置された基準マーク(Fマーク55)が含まれる第一領域Mを撮像して得られた画像データ60を取得する画像取得部31と、基準マーク(Fマーク55)の形状を示す第一テンプレート70を用いて画像データ60を走査して基準マーク(Fマーク55)の位置を検出する検出部32と、検出部32の走査によって基準マーク(Fマーク55)の位置が検出されなかった場合に、第一領域Mにおいて基準マーク(Fマーク55)の外側に位置する基板50の特徴部53を示す第二テンプレート80を取得するテンプレート取得部33と、第二テンプレート80を用いて基板50の基準位置を認識する位置認識部35と、を備える。
基板用の画像処理方法は、基板50の上面に配置された基準マーク(Fマーク55)が含まれる第一領域Mを撮像して得られた画像データ60を取得する画像取得工程(S12)と、基準マーク(Fマーク55)の形状を示す第一テンプレート70を用いて画像データ60を走査して基準マーク(Fマーク55)の位置を検出する検出工程(S13)と、検出工程(S13)の走査によって基準マーク(Fマーク55)の位置が検出されなかった場合に(S14:No)、第一領域Mにおいて基準マーク(Fマーク55)の外側に位置する基板50の特徴部53を示す第二テンプレート80を取得するテンプレート取得工程(S20)と、第二テンプレート80を用いて基板50の基準位置を認識する位置認識工程(S16)と、を備える。
このような構成によると、基板50のFマーク55の位置が検出不能の場合に(S14:No)、同一の第一領域Mに含まれる他の特徴部53を示す第二テンプレート80を用いて基板50の基準位置を認識する。これにより、第二テンプレート80を用いた補完処理(S15,S115)を実行でき、作業者の手動操作によって基板50の基準位置が設定される場合と比較して、基準位置を高精度に認識できる(S16)。また、第一テンプレート70を用いた初期の検出処理(S13)に使用するために取得された画像データ60を流用できる。これにより、画像処理における処理効率を向上して、補完処理(S15,S115)に要する時間を短縮できる。
また、第一、第二実施形態において、画像処理装置30は、取得された第二テンプレート80を画像データ60に重ねて表示する表示部(表示装置23)と、画像データ60に対する第二テンプレート80の相対位置の設定を受け付ける設定受け付け部(入力装置24)と、を備える。位置認識部35は、設定(S30)の内容および第二テンプレート80に規定された基準位置との位置関係に基づいて、基板50の基準位置を認識する(S16)。
このような構成によると、作業者により入力された設定の内容を反映して、基板50の基準位置を認識できる。ここで、例えば画像データ60にテンプレートを重ねて表示して手動操作による基準位置の設定を受け付ける場合に、作業者はFマーク55にテンプレートを位置合わせするような操作を行う。しかしながら、上記のFマーク55は、例えば一部が欠落しているなどの要因によって画像処理装置30が検出できなかったものであり、作業者が目測で位置合わせを正確に行うことは容易でない。
これに対して、上記構成によると、画像データ60にはFマーク55の周囲に位置する第二テンプレート80が重ねて表示されるので、作業者による位置合わせの手動操作を支援することができる。よって、作業者の目測による設定であっても、Fマーク55と第二テンプレート80との位置合わせと比較して、画像データ60に対する第二テンプレート80の相対位置をより正確に設定できる。結果として、基準位置を高精度に認識できる。
また、第一、第二実施形態において、表示部(表示装置23)は、画像データ60に第二テンプレート80を重ねて表示した場合に、基板50の特徴部53に対する第二テンプレート80の相対位置に基づく一致度合いを併せて表示する。
このような構成によると、作業者は、表示される一致度合いを参照して、画像データ60に対する第二テンプレート80の相対位置を設定することができる(S32)。これにより、形状的な目視に加えて、現在の状態を常に把握することができるので、上記の相対位置をより高精度に設定できる。よって、基板50の基準位置を高精度に認識できる。
また、第二実施形態において、検出部32は、取得された第二テンプレート80を用いて画像データ60を走査して特徴部53の位置を検出する(S142)。位置認識部35は、検出部32による検出の結果および第二テンプレート80に規定された基準位置との位置関係に基づいて、基板50の基準位置を認識する(S16)。
このような構成によると、検出部32は、同一の第一領域Mにおいて使用可能な第二テンプレート80を用いて、画像データ60を再び走査する(S142)。これにより、作業者による例えば画像データ60に対するテンプレートの位置合わせを行うような手動操作を省略して(S143:Yes)、基板50の基準位置が自動で認識される(S16)。よって、画像処理における処理効率を向上して、補完処理(S115)に要する時間を短縮できる。
また、第一、第二実施形態において、画像処理装置30は、基板50に複数の電子部品を実装する部品実装機10に適用され、部品実装機10による実装処理の実行中において基準位置を認識する認識処理を複数回に亘って行う。テンプレート取得部33は、2回目以降の認識処理において検出部32の第一テンプレート70を用いた走査によって基準マーク(Fマーク55)の位置が検出されなかった場合に、基準マーク(Fマーク55)の位置が検出された前回以前の認識処理に用いられた画像データ60である第一画像データ60を取得し(S22)、当該第一画像データ60を透明化する画像処理または特徴部53に対応するエッジ部を抽出する画像処理を実行して第二テンプレート80を生成する(S23)。
このような構成によると、第二テンプレート80は、現在の検出処理よりも過去に用いられ且つ基準マーク(Fマーク55)の検出に成功した第一画像データ60から生成される。これにより、例えば他の同種の基板50を撮像して得られた画像データ60に基づいて第二テンプレート80を生成した場合と比較して、基板50固有の状態(配線パターンの状態、はんだの印刷の状態、実装された電子部品の状態)を反映し、特徴部53の検出に適した第二テンプレート80を生成できる。
また、第一、第二実施形態において、テンプレート取得部33は、第二テンプレート80を生成する生成処理(S23)において、第一画像データ60のうち基準マーク(Fマーク55)を含む領域を除去する画像処理を実行する(図7を参照)。
このような構成によると、第二テンプレート80から基準マーク(Fマーク55)を含む領域が除去されている。ここで、補完処理(S15,S115)において、基準マーク(Fマーク55)は、例えば一部が欠落しているなどの要因によって画像処理装置30が検出できなかったものである。そのため、第二テンプレート80に基準マーク(Fマーク55)を含む領域が含まれていると、却ってその後の走査や位置合わせなどの処理に影響するおそれがある。そこで、上記のような構成により、不一致となる領域を予め除去して、第二テンプレート80を補完処理(S15,S115)により適合させることができる。
また、第一、第二実施形態において、テンプレート取得部33は、第二テンプレート80を生成する生成処理(S23)において、第一画像データ60を複数の区画61に区分して、複数の区画61のうち電子部品を実装された区画61R、または画像の複雑さが予め設定された閾値を超える区画61Rを除去する画像処理を実行する(図7を参照)。
このような構成によると、第二テンプレート80から特定の区画61Rが除去される。ここで、以前の検出処理に用いられてFマーク55の検出に成功した第一画像データ60には、その後の実装処理の実行によっては基板50固有の状態(例えば、実装された電子部品の状態)が変動し、補完処理(S15,S115)において特徴部53として用いることができない領域が含まれる。また、多くの外形線などによって画像の複雑さが一定以上の場合には、テンプレートとしては走査や位置合わせには不適となりやすい。そこで、上記のような基板固有の状態が変動した区画や画像の複雑さが一定以上の区画を除去することで、第二テンプレート80を補完処理(S15,S115)により適合させることができる。
<第一、第二実施形態の変形態様>
第一、第二実施形態において、基板50の上面に配置された基準マークは、Fマーク55であるものとした。これに対して、画像処理装置30は、例えば基板50の配線パターンの一部のように、基板50の特徴部を基準マークとして採用してもよい。これは、例えば基板50の集密度を高めるためにFマーク55が省略された場合や、基板50の構成上、Fマーク55と配線パターンとの位置関係が一定でない場合などに適用される。
上記のような態様においては、第一領域Mに含まれる複数の特徴部の一部が基準マークとされる。そして、当該基準マークの位置が検出されなかった場合に、第一領域Mに含まれる複数の特徴部の他の一部が補完処理(S15,S115)において検出の対象とされる。このような構成においても第一、第二実施形態と同様の効果を奏する。
また、第一、第二実施形態において、画像処理装置30は、部品実装機10の制御装置20に適用される構成とした。これに対して、基板用の画像処理装置および画像処理方法は、スクリーン印刷機や実装検査機など他の生産設備、またはホストコンピュータ2に適用することができる。このような構成においても第一、第二実施形態と同様の効果を奏する。
1:生産ライン、 2:ホストコンピュータ
10:部品実装機
11:基板搬送装置
12:部品供給装置、 12a:フィーダ
13:部品移載装置
13a:ヘッド駆動装置、 13b:移動台
13c:装着ヘッド
14:部品カメラ、 15:基板カメラ
20:制御装置
21:実装制御部、 22:記憶装置、
23:表示装置(表示部)、 24:入力装置(設定受け付け部)
30:画像処理装置
31:画像取得部、 32:検出部
33:テンプレート取得部、 35:位置認識部
50:基板
51:ランド、 52:配線部、 53:特徴部
55:フィデューシャルマーク(Fマーク)
60:画像データ
60B:(基準マークの検出に成功した)画像データ(第一画像データ)
61:区画、 61R:(除去対象の)区画
70:第一テンプレート、 71:シークライン、 72:規定点
80:第二テンプレート、 81:標準線、 82:規定点
M:第一領域、 Ps:供給位置

Claims (8)

  1. 基板の上面に配置された基準マークが含まれる第一領域を撮像して得られた画像データを取得する画像取得部と、
    前記基準マークの形状を示す第一テンプレートを用いて前記画像データを走査して前記基準マークの位置を検出する検出部と、
    前記検出部の走査によって前記基準マークの位置が検出されなかった場合に、前記第一領域において前記基準マークの外側に位置する前記基板の特徴部を示す第二テンプレートを取得するテンプレート取得部と、
    前記第二テンプレートを用いて前記基板の基準位置を認識する位置認識部と、
    を備える基板用の画像処理装置。
  2. 前記画像処理装置は、
    取得された前記第二テンプレートを前記画像データに重ねて表示する表示部と、
    前記画像データに対する前記第二テンプレートの相対位置の設定を受け付ける設定受け付け部と、をさらに備え、
    前記位置認識部は、前記設定の内容および前記第二テンプレートに規定された前記基準位置との位置関係に基づいて、前記基板の基準位置を認識する、請求項1に記載の基板用の画像処理装置。
  3. 前記表示部は、前記画像データに前記第二テンプレートを重ねて表示した場合に、前記基板の前記特徴部に対する前記第二テンプレートの相対位置に基づく一致度合いを併せて表示する、請求項2に記載の基板用の画像処理装置。
  4. 前記検出部は、取得された前記第二テンプレートを用いて前記画像データを走査して前記特徴部の位置を検出し、
    前記位置認識部は、前記検出部による検出の結果および前記第二テンプレートに規定された前記基準位置との位置関係に基づいて、前記基板の前記基準位置を認識する、請求項1−3の何れか一項に記載の基板用の画像処理装置。
  5. 前記画像処理装置は、前記基板に複数の電子部品を実装する部品実装機に適用され、前記部品実装機による実装処理の実行中において前記基準位置を認識する認識処理を複数回に亘って行い、
    テンプレート取得部は、2回目以降の前記認識処理において前記検出部の前記第一テンプレートを用いた走査によって前記基準マークの位置が検出されなかった場合に、前記基準マークの位置が検出された前回以前の前記認識処理に用いられた前記画像データである第一画像データを取得し、当該第一画像データを透明化する画像処理または前記特徴部に対応するエッジ部を抽出する画像処理を実行して前記第二テンプレートを生成する、請求項1−4の何れか一項に記載の基板用の画像処理装置。
  6. 前記テンプレート取得部は、前記第二テンプレートを生成する生成処理において、前記第一画像データのうち前記基準マークを含む領域を除去する画像処理を実行する、請求項5に記載の基板用の画像処理装置。
  7. 前記テンプレート取得部は、前記第二テンプレートを生成する生成処理において、前記第一画像データを複数の区画に区分して、前記複数の区画のうち前記電子部品を実装された区画、または画像の複雑さが予め設定された閾値を超える区画を除去する画像処理を実行する、請求項5または6に記載の基板用の画像処理装置。
  8. 基板の上面に配置された基準マークが含まれる第一領域を撮像して得られた画像データを取得する画像取得工程と、
    前記基準マークの形状を示す第一テンプレートを用いて前記画像データを走査して前記基準マークの位置を検出する検出工程と、
    前記検出工程の走査によって前記基準マークの位置が検出されなかった場合に、前記第一領域において前記基準マークの外側に位置する前記基板の特徴部を示す第二テンプレートを取得するテンプレート取得工程と、
    前記第二テンプレートを用いて前記基板の基準位置を認識する位置認識工程と、
    を備える基板用の画像処理方法。
JP2017554682A 2015-12-07 2015-12-07 基板用の画像処理装置および画像処理方法 Active JP6734868B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/084303 WO2017098561A1 (ja) 2015-12-07 2015-12-07 基板用の画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2017098561A1 true JPWO2017098561A1 (ja) 2018-09-27
JP6734868B2 JP6734868B2 (ja) 2020-08-05

Family

ID=59012869

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017554682A Active JP6734868B2 (ja) 2015-12-07 2015-12-07 基板用の画像処理装置および画像処理方法

Country Status (3)

Country Link
EP (1) EP3389007B1 (ja)
JP (1) JP6734868B2 (ja)
WO (1) WO2017098561A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11210764B2 (en) 2017-06-21 2021-12-28 Fuji Corporation Apparatus for performing work on substrate

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7090219B2 (ja) * 2017-09-13 2022-06-24 パナソニックIpマネジメント株式会社 位置特定方法および位置特定装置
CN108717697B (zh) * 2018-05-18 2021-04-13 广州视源电子科技股份有限公司 电路板检测方法、装置、计算机设备和存储介质
US20240208047A1 (en) * 2021-04-23 2024-06-27 Nec Corporation Control device, control method, and storage medium

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002157582A (ja) * 2000-11-21 2002-05-31 Matsushita Electric Ind Co Ltd 半導体ウエハ上のic傾き補正方法、及びic傾き補正装置
JP2005116561A (ja) * 2003-10-02 2005-04-28 Nikon Corp テンプレート作成方法及び装置、位置検出方法及び装置、並びに露光方法及び装置
JP4337757B2 (ja) * 2004-09-29 2009-09-30 カシオ計算機株式会社 撮影装置、撮影システム、及びプログラム
CN101996398B (zh) * 2009-08-12 2012-07-04 睿励科学仪器(上海)有限公司 用于晶圆对准的图像匹配方法及设备
WO2017081773A1 (ja) * 2015-11-11 2017-05-18 富士機械製造株式会社 基板用の画像処理装置および画像処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11210764B2 (en) 2017-06-21 2021-12-28 Fuji Corporation Apparatus for performing work on substrate

Also Published As

Publication number Publication date
EP3389007A4 (en) 2018-11-14
EP3389007B1 (en) 2020-06-10
WO2017098561A1 (ja) 2017-06-15
EP3389007A1 (en) 2018-10-17
JP6734868B2 (ja) 2020-08-05

Similar Documents

Publication Publication Date Title
JP5798371B2 (ja) 基準マークモデルテンプレート作成方法
JP6310058B2 (ja) 画像処理装置および基板生産システム
JP6734868B2 (ja) 基板用の画像処理装置および画像処理方法
JP4629584B2 (ja) 実装システムおよび電子部品の実装方法
JP2006220426A (ja) 実装された電子部品の検査方法及び装置
JP6571116B2 (ja) 検査支援装置
JP6646916B2 (ja) 基板用の画像処理装置および画像処理方法
JP2003304100A (ja) 部品装着管理方法、装着検査装置および装着システム
JP6608543B2 (ja) 画像処理システム及び画像処理方法
EP3410834B1 (en) Electronic component mounting apparatus and production line
JP5988839B2 (ja) 部品実装機
US11751370B2 (en) Correction amount calculation device, component mounting machine, and correction amount calculation method
US20220151120A1 (en) Correction amount calculating device and correction amount calculating method
JP6904978B2 (ja) 部品装着機
EP3370493B1 (en) Base plate position searching device and component mounting machine
JP5443894B2 (ja) 電子部品実装装置及びその吸着位置補正方法
JP2011014946A (ja) 電子部品実装方法及び実装機
JP7153126B2 (ja) 良否判定装置および良否判定方法
JP2017072924A (ja) 基板用の画像処理装置
CN110678060B (zh) 图像处理装置、安装装置、图像处理方法、存储介质
JP7153127B2 (ja) 良否判定装置および良否判定方法
JP7094366B2 (ja) 検査設定装置および検査設定方法
CN111373852B (zh) 电子元件安装方向确认系统及电子元件安装方向确认方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200710

R150 Certificate of patent or registration of utility model

Ref document number: 6734868

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250