JPWO2015136669A1 - 画像処理装置および基板生産システム - Google Patents

画像処理装置および基板生産システム Download PDF

Info

Publication number
JPWO2015136669A1
JPWO2015136669A1 JP2016507205A JP2016507205A JPWO2015136669A1 JP WO2015136669 A1 JPWO2015136669 A1 JP WO2015136669A1 JP 2016507205 A JP2016507205 A JP 2016507205A JP 2016507205 A JP2016507205 A JP 2016507205A JP WO2015136669 A1 JPWO2015136669 A1 JP WO2015136669A1
Authority
JP
Japan
Prior art keywords
processing
resolution
data
super
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016507205A
Other languages
English (en)
Other versions
JP6310058B2 (ja
Inventor
一也 小谷
一也 小谷
秀一郎 鬼頭
秀一郎 鬼頭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Corp
Original Assignee
Fuji Machine Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Machine Manufacturing Co Ltd filed Critical Fuji Machine Manufacturing Co Ltd
Publication of JPWO2015136669A1 publication Critical patent/JPWO2015136669A1/ja
Application granted granted Critical
Publication of JP6310058B2 publication Critical patent/JP6310058B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/195Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays
    • H04N1/19594Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays using a television camera or a still video camera
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • H05K13/081Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20008Globally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30141Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Operations Research (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

超解像処理を用いた画像処理に要する時間を短縮しつつ、画像処理の負荷を軽減することが可能な画像処理装置を提供することを目的とする。画像処理装置は、生産処理の実行時において画像データに対する超解像処理の実行の要否を対象物の種別ごとに判定する処理判定部と、処理判定部による判定結果に応じて複数の画像データを用いた超解像処理を実行して高解像度データを生成する超解像処理部と、画像データおよび高解像度データのうち処理判定部による判定結果に対応する一方に基づいて対象物の状態を認識する状態認識部と、を備える。

Description

本発明は、電子部品が実装された基板を生産する生産設備に適用される画像処理装置、および当該画像処理装置を備える基板生産システムに関する。
生産設備は、基板生産装置や検査装置として、回路基板製品の生産ラインを構成する。この生産設備は、基板に対して各種の生産処理(検査処理を含む)を実行する。また、生産設備は、撮像装置により対象物を撮像し、この撮像により取得された画像データを用いて画像処理装置が認識した対象物の状態に基づいて、生産処理を制御する。例えば、特許文献1には、吸着ノズルに保持された電子部品の保持状態を画像処理により認識して、基板への実装制御に反映させる部品実装機が開示されている。
ところで、生産設備に設けられる撮像装置は、撮像の対象物までの距離が概ね一定であることや設備コストなどを勘案して、焦点距離が一定に設定されたレンズユニットが多く採用される。このようなレンズユニットを採用された撮像装置は、所定のカメラ視野で撮像を行い、撮像素子の画素数に応じた解像度の画像データを取得する。ここで、カメラ視野を広域に設定すると、対象物が小さい場合に画像データに占める対象物の面積が小さく、画像処理で要求される解像度を確保できないおそれがある。
そこで、撮像装置のレンズユニットは、小さい対象物としても十分な解像度を確保した画像データを取得するために、カメラ視野をある程度狭く設定される。しかし、このように設定すると、対象物の寸法によっては、対象物がカメラ視野を超えてしまうことがある。そこで、特許文献2では、超解像処理により高解像度データを取得する構成としている。これにより、カメラ視野が対象物を収める範囲に設定されても、画像処理装置は、必要な解像度が確保された高解像度データを用いて、画像処理を行うことができる。
特開2013−26278号公報 特開平11−191157号公報
ところで、超解像処理としては、特許文献2に記載されているように、複数の画像データを用いて高解像度データを生成するマルチフレーム型が知られている。このマルチフレーム型の超解像処理は、超解像処理の程度に応じた処理時間を必要とする。そのため、生産設備における基板の生産処理において多くの画像処理を実行する場合には、生産処理のサイクルタイムが延びるおそれがある。
本発明は、このような事情に鑑みてなされたものであり、超解像処理を用いた画像処理に要する時間を短縮しつつ、画像処理の負荷を軽減することが可能な画像処理装置を提供することを目的とする。
請求項1に係る画像処理装置は、基板に対する各種の生産処理を実行する生産設備に適用される画像処理装置であって、前記生産設備は、対象物を撮像し画像データを取得する撮像装置と、前記画像データを用いて前記画像処理装置が認識した前記対象物の状態に基づいて前記生産処理を制御する制御装置と、を備え、前記画像処理装置は、前記生産処理の実行時において前記画像データに対する超解像処理の実行の要否を前記対象物の種別ごとに判定する処理判定部と、前記処理判定部による判定結果に応じて複数の前記画像データを用いた超解像処理を実行して高解像度データを生成する超解像処理部と、前記画像データおよび前記高解像度データのうち前記処理判定部による判定結果に対応する一方に基づいて前記対象物の状態を認識する状態認識部と、を備える。
このような構成によると、超解像処理部は、処理判定部による判定結果に応じて超解像処理を実行して高解像度データを生成する。つまり、画像処理装置は、対象物の種別によって超解像処理を実行するか否かを切り換えて、低解像度データ(画像データ)または高解像度データに基づいて対象物の状態を認識する。よって、画像処理装置による対象物の認識処理において、過剰な超解像処理の実行が抑制される。従って、多種に亘る対象物について画像処理する場合に、画像処理に要する時間が短縮され、且つ画像処理の負荷が軽減される。
実施形態における基板生産システムの全体を示すブロック図である。 図1における部品実装機を示す全体図である。 パートデータ生成処理および処理管理データ生成処理を示すフロー図である。 適否判定の結果と処理管理データの関係を示す図である。 部品実装機による実装処理を示すフロー図である。 保持状態の認識処理を示すフロー図である。 変形態様における処理管理データを示す図である。
以下、本発明の画像処理装置および基板生産システムを具体化した実施形態について図面を参照して説明する。画像処理装置は、回路基板製品の基板生産システムを構成する生産設備に適用される。生産設備には、基板生産システムにおける生産ラインの基板生産装置や検査装置、オフラインの補助装置などが含まれる。
<実施形態>
(基板生産システムの全体構成)
基板生産システム1の全体構成について、図1を参照して説明する。基板生産システム1は、図1に示すように、生産ライン2と、カメラスタンド3と、基板搬送装置5と、ホストコンピュータ40とを備えて構成される。生産ライン2は、基板に対する各種の生産処理を実行する複数の生産設備(基板生産装置、検査装置)を基板の搬送方向に設置して構成される。
基板生産装置には、基板に電子部品を実装する部品実装機10、図示しないスクリーン印刷機などが含まれる。また、検査装置には、図示しない印刷検査装置や外観検査装置などが含まれる。生産ライン2における基板生産装置や検査装置など各種の生産設備は、ネットワークを介してホストコンピュータ40と通信可能に接続されている。これにより、生産ライン2の生産設備は、ホストコンピュータ40と各種データを入出力可能に構成されている。
カメラスタンド3は、汎用カメラ31により対象物を撮像して、種々の画像処理を実行する。汎用カメラ31は、電子部品が載置される載置台(図示しない)と相対移動可能に構成されている。カメラスタンド3は、本実施形態において、パートデータ生成部32を有する。パートデータ生成部32は、部品実装機10による電子部品の実装処理(部品実装機10における生産処理)の実行前において、当該実装処理に用いられるパートデータM2を生成する。このように、カメラスタンド3は、オフラインで基板生産を補助する生産設備である。
ここで、「パートデータ」とは、電子部品の仕様に係る部品種や形状データなどが含まれたデータである。具体的には、電子部品の種別、当該種別ごとに割り付けられた識別符号、画像データに対する画像処理、画像データとの比較において使用されるビジョンタイプ、形状や寸法に係る形状情報などが含まれる。このパートデータM2は、複数の部品実装機10の実装処理に共通して使用される場合には、ホストコンピュータ40の記憶装置42に記憶される。
上記のパートデータ生成部32は、汎用カメラ31が撮像して取得された画像データを用いた画像処理を行う。汎用カメラ31による撮像の対象物は、部品実装機10による実装処理において基板に装着される種別の電子部品である。パートデータ生成部32は、画像処理により電子部品の外形を認識するとともに、電子部品の外形を含む各種情報を電子部品の種別ごとに関連付けてパートデータM2を生成する。
基板搬送装置5は、ベルトコンベアなどにより構成され、基板を搬送方向へと順次搬送する。基板搬送装置5は、部品実装機10の機内における所定の位置に基板を位置決めする。そして、基板搬送装置5は、部品実装機10による実装処理が実行された後に、基板を部品実装機10の機外に搬出する。
ホストコンピュータ40は、生産ライン2の動作状況を監視し、部品実装機10を含む基板生産装置などの制御を行う。このホストコンピュータ40は、データ最適化部41と、記憶装置42とを有する。データ最適化部41は、部品実装機10が実装処理に用いる実装データM1を最適化する。この実装データM1は、電子部品の実装順序が規定された動作プログラムである。
データ最適化部41は、生産処理のタクトタイムが最短となるように、実装データにおける電子部品の実装順序を変更する。具体的には、データ最適化部41は、電子部品が実装される基板Bd上の座標や、電子部品の種別ごとの供給位置などの実装環境などを考慮して最適化処理を実行する。実装データM1の最適化により、後述する実装ヘッド26の移動距離を短縮したり、待機時間を短縮したりすることで、生産効率の向上が図られている。
ホストコンピュータ40の記憶装置42は、ハードディスクやフラッシュメモリなどにより構成される。記憶装置42には、基板生産装置を制御するための各種データが記憶されている。具体的には、記憶装置42は、生産する基板種別や生産数量を含む生産計画、データ最適化部41により最適化された実装データM1などを記憶している。
(部品実装機10の構成)
部品実装機10の構成について、図1および図2を参照して説明する。部品実装機10は、基台11と、部品供給装置12と、部品移載装置13と、部品カメラ14と、基板カメラ15と、制御装置16とを備えて構成される。各装置12,13および部品カメラ14は、部品実装機10の基台11に設けられている。また、図2に示すように、部品実装機10の水平幅方向(図2の左上から右下に向かう方向)をX軸方向、部品実装機10の水平長手方向(図2の右上から左下に向かう方向)をY軸方向、鉛直高さ方向(図2の上下方向)をZ軸方向とする。
部品供給装置12は、基板Bdに装着される電子部品を供給する装置である。部品供給装置12は、部品実装機10のY軸方向の前部側(図2の左下側)に配置されている。部品供給装置12は、本実施形態において、複数のカセット式のフィーダ21を用いたフィーダ方式としている。部品供給装置12は、電子部品が所定間隔で収納された部品包装テープをピッチ送りする。これにより、部品供給装置12は、フィーダ21の先端側(図2の右上側)に位置する供給位置Psにおいて電子部品を供給する。
部品移載装置13は、X軸方向およびY軸方向に移動可能に構成される。部品移載装置13は、部品実装機10の長手方向の後部側(図2の右上側)から前部側の部品供給装置12の上方にかけて配置されている。部品移載装置13は、ヘッド駆動装置25、実装ヘッド26、および複数の吸着ノズル27を備える。ヘッド駆動装置25は、直動機構により移動台をXY軸方向に移動可能に構成されている。実装ヘッド26は、ヘッド駆動装置25の移動台に着脱可能に設けられている。
各吸着ノズル27は、実装ヘッド26に着脱可能に設けられている。実装ヘッド26は、Z軸と平行なR軸回りに回転可能に、且つ昇降可能に各吸着ノズル27を支持する。各吸着ノズル27は、実装ヘッド26に対する昇降位置や角度、負圧の供給状態を制御される。各吸着ノズル27は、負圧を供給されることにより、先端部において供給位置Psにおいて供給される電子部品を吸着して保持する。このように、部品移載装置13は、部品実装機10において電子部品を保持する機能を有し、本発明の「保持装置」に相当する。
部品カメラ14および基板カメラ15は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を有するデジタル式の撮像装置である。部品カメラ14および基板カメラ15は、通信可能に接続された制御装置16による制御信号に基づいてカメラ視野に収まる範囲の撮像処理を実行する。部品カメラ14および基板カメラ15は、対象物を撮像して取得した画像データを制御装置16に送出する。
部品カメラ14は、基台11に固定され、各吸着ノズル27に保持された電子部品を撮像の対象物とする。部品カメラ14のレンズユニットは、撮像素子から一定の距離にある対象物に焦点が合うように設定されている。また、部品カメラ14のレンズユニットのカメラ視野Fvは、実装ヘッド26が支持する複数の吸着ノズル27の全てが収まる範囲に設定されている。つまり、このカメラ視野Fvに設定された部品カメラ14により撮像すると、複数の吸着ノズル27に保持された全ての電子部品を1枚の画像データに収めることが可能である。
また、部品カメラ14から画像データを取得した制御装置16は、画像処理により吸着ノズル27による電子部品の保持状態を認識する。そして、制御装置16が電子部品の保持状態に応じて吸着ノズル27の位置および角度を補正することで、実装処理の精度向上が図られている。電子部品の保持状態の認識処理の詳細については後述する。
基板カメラ15は、ヘッド駆動装置25の移動台に固定され、部品実装機10の機内で位置決めされた基板を撮像の対象物とする。基板カメラ15から画像データを取得した制御装置16は、画像処理により例えば基板Bdに付された基板マークの認識することで、基板搬送装置5による基板Bdの位置決め状態を認識する。そして、制御装置16は、基板Bdの位置決め状態に応じてヘッド駆動装置25の移動台の位置を補正する。
制御装置16は、主として、CPUや各種メモリ、制御回路により構成される。制御装置16の記憶部29には、部品実装機10を動作させるための実装データM1、部品カメラ14および基板カメラ15から転送された画像データなどが記憶される。制御装置16は、取得した画像データを用いて後述する画像処理装置50が認識した対象物の状態に基づいて実装処理を制御する。制御装置16は、実装データM1に基づく部品供給装置12や部品移載装置13などの動作を、画像処理により取得した情報に応じて補正する。これにより、実装処理の精度向上が図られている。
(画像処理装置50の構成)
部品実装機10およびカメラスタンド3に適用される画像処理装置50の構成について説明する。ここで、本発明の「生産設備」は「部品実装機10」および「カメラスタンド3」であり、本発明の「対象物」は部品実装機10の保持装置(部品移載装置13)に保持された「電子部品」である態様を例示する。
画像処理装置50が行う種々の画像処理には、部品実装機10の制御装置16が吸着ノズル27の位置および角度を補正する際に用いられる電子部品の保持状態(本発明の「対象物の状態」に相当する)を認識する処理が含まれる。この保持状態の認識処理には、部品カメラ14の撮像により取得される画像データが用いられる。
ここで、部品カメラ14のレンズユニットは、上記のように、焦点距離が一定に設定され、且つ実装ヘッド26に支持された複数の吸着ノズル27が配置される範囲を考慮してカメラ視野を設定されている。そのため、取得した画像データを保持状態の認識処理にそのまま使用した場合に、画像データに占める小型部品の面積が小さく、認識処理で要求される解像度を確保できないおそれがある。
そこで、本実施形態では、実装処理の対象が小型部品であるなどの必要に応じて、画像処理装置50が超解像処理を行う。このように、画像処理装置50は、電子部品の保持状態の認識処理において、要求される解像度を確保した高解像度データを用いることにより、当該認識処理の精度向上を図っている。
画像処理装置50は、図1に示すように、部品実装機10に設けられた実装機側処理部Dpと、カメラスタンド3に設けられた補助機側処理部Dsとを備える。実装機側処理部Dpは、処理判定部51と、超解像処理部52と、状態認識部53とを有する。補助機側処理部Dsは、パートデータ生成部32と、適否判定部55と、処理管理データ生成部56とを有する。
実装機側処理部Dpの処理判定部51は、部品実装機10による電子部品の実装処理の実行時において画像データに対する超解像処理の実行の要否を電子部品の種別ごとに判定する。詳細には、処理判定部51は、実装処理において吸着ノズル27が電子部品を保持するたびに、当該電子部品の種別に応じて超解像処理を実行するか否かを判定する。また、処理判定部51は、本実施形態では、超解像処理の実行の要否を処理管理データM3に基づいて判定する。この処理管理データM3の詳細については後述する。
超解像処理部52は、部品実装機10による電子部品の実装処理の実行時において、処理判定部51による判定結果に応じて複数の画像データを用いた超解像処理を実行して高解像度データを生成する。超解像処理は、入力した画像データの解像度を高める画像処理であって、複数種類の処理方法が知られている。超解像処理部52は、マルチフレーム型の超解像処理を採用している。詳細には、超解像処理部52は、電子部品に対する部品カメラ14の相対位置が互いに異なる撮像位置において撮像された複数の画像データを用いた超解像処理を行う。
また、超解像処理部52は、実装処理において吸着ノズル27が電子部品を保持するたびに超解像処理を実行するとは限らない。即ち、超解像処理部52は、処理判定部51による判定結果に応じて、規定の種別に該当する電子部品を対象物とした画像データを用いて超解像処理を実行する。このように、画像処理装置50は、電子部品の種別によって超解像処理を実行するか否かを切り換える構成となっている。
状態認識部53は、部品実装機10による電子部品の実装処理の実行時において、画像データおよび高解像度データのうち処理判定部51による判定結果に対応する一方に基づいて電子部品の状態を認識する。ここで、電子部品の状態とは、吸着ノズル27に保持された電子部品の位置および角度を含む保持状態である。
また、状態認識部53は、処理判定部51が超解像処理の実行を「必要」と判定した場合には、超解像処理部52により生成された高解像度データに基づいて、電子部品の認識処理を行う。一方で、状態認識部53は、処理判定部51が超解像処理の実行を「不要」と判定した場合には、部品カメラ14の撮像により取得された画像データ(以下、「低解像度データ」とも称する)に基づいて、電子部品の認識処理を行う。
ここで、保持状態の認識の対象となる電子部品が画像データにおいて占める面積が小さいと、認識精度が低下する。これは、例えば電子部品のある一辺を示すために使用される画素数が所定画素数を下回ると、その一辺の長さや角度を割り出すことが困難となるためである。そこで、電子部品の一辺が所定画素数をもって示される高解像度データを超解像処理により生成し、保持状態の認識に用いている。
これにより、状態認識部53は、吸着ノズル27に対する電子部品のX軸方向、Y軸方向の位置、および吸着ノズル27の中心軸に対する電子部品の回転角度を含む保持状態を認識する。状態認識部53は、実装ヘッド26が支持する複数の吸着ノズル27に保持された複数の電子部品Tの数量だけ同様の処理を繰り返す。そして、状態認識部53は、各電子部品の保持状態について記憶部29に記憶する。
補助機側処理部Dsの適否判定部55は、部品実装機10による電子部品の実装処理の実行前において、電子部品を撮像して取得された画像データの解像度が状態認識部53による認識処理に適合するか否かを対象物の種別ごとに判定する。適否判定部55が適否判定に用いる画像データは、カメラスタンド3の汎用カメラ31の撮像により取得されたものである。より詳細には、本実施形態では、適否判定部55は、パートデータ生成部32によりパートデータM2の生成に用いられた画像データを流用する。
ここで、実装機側処理部Dpの状態認識部53が認識処理に用いる画像データは、実装処理の実行時において部品実装機10の部品カメラ14の撮像により取得されたものである。そのため、適否判定部55の適否判定に用いられる画像データは、状態認識部53による認識処理に用いられる画像データと相違する。そこで、適否判定部55は、カメラスタンド3の汎用カメラ31の性能と、部品実装機10の部品カメラ14の性能との差分を勘案して、状態認識部53による認識処理に画像データが適合するか否かを判定する。
例えば、汎用カメラ31の性能と部品カメラ14の性能が同程度であるとする。この場合には、汎用カメラ31の撮像により取得された画像データの解像度が状態認識部53による認識処理に適合するか否かの判定結果は、部品カメラ14の撮像により取得される画像データについて同様の適否判定を行った結果と同様となる。これに対して、部品カメラ14のカメラ視野が汎用カメラ31のカメラ視野より広範である場合には、適否判定部55は、カメラ視野の相違による低解像度側への変動分を勘案して適否判定する。
また、適否判定部55による適否判定については、種々の方法が適用される。本実施形態では、適否判定部55は、高解像度データと、低解像度データとに基づいて上記の適否判定をする方法を採用している。つまり、適否判定部55は、汎用カメラ31が電子部品を撮像して取得された複数の画像データを用いた超解像処理により生成された高解像度データと、当該超解像処理に用いられた何れかの画像データ(低解像度データ)とに基づいて、画像データの解像度が状態認識部53による認識処理に適合するか否かを判定する。
より詳細には、適否判定部55は、例えば高解像度データおよび低解像度データに対して、電子部品の位置を認識する画像処理をそれぞれ行う。そして、適否判定部55は、認識されたが電子部品の各位置が許容誤差に収まる場合には、低解像度データの解像度が状態認識部53による認識処理に適合するものと判定する。一方で、認識された電子部品の各位置が許容誤差を超える場合には、または低解像度データでは電子部品の位置を認識できない場合には、低解像度データの解像度が状態認識部53による認識処理に不適であるものと判定する。
処理管理データ生成部56は、適否判定部55による判定結果に基づいて、電子部品の種別ごとに超解像処理の実行要否が設定された処理管理データM3を生成する。本実施形態では、処理管理データM3は、図4の右側表で示されるように、電子部品の種別(A,B,C・・)ごとに、超解像処理の要否(必要,必要,不要,・・)が設定されている。処理管理データ生成部56は、処理管理データM3の生成に際して、適否判定部55の判定結果が「不適」の場合には超解像処理が必要であると設定し、適否判定部55の判定結果が「適合」の場合には超解像処理が不要であると設定する。
また、処理管理データ生成部56は、生成した処理管理データM3を部品実装機10に送出する。部品実装機10は、取得した処理管理データM3を記憶部29に記憶する。そして、部品実装機10による実装処理の実行時において、実装機側処理部Dpの処理判定部51は、超解像処理の実行の要否を処理管理データM3に基づいて判定する。
(パートデータM2および処理管理データM3の生成処理)
上記のカメラスタンド3におけるパートデータM2および処理管理データM3の生成処理について、図3を参照して説明する。各データM2,M3の生成処理は、部品実装機10による実装処理の実行の前に行われる。各データM2,M3の生成処理において、図5に示すように、先ずカメラスタンド3の載置台に電子部品がセットされる(ステップ11(以下、「ステップ」を「S」と表記する))。
次に、補助機側処理部Dsは、汎用カメラ31により電子部品を規定回数に亘って撮像処理を行う(S12)。この撮像処理は、後の超解像処理に用いられる画像データを用いるためのものである。具体的には、撮像処理は、電子部品に対する汎用カメラ31の相対位置が互いに異なる複数箇所(規定回数に対応する)の撮像位置において、電子部品を撮像する。「複数箇所の撮像位置」は、例えば汎用カメラ31の撮像素子における画素の間隔よりも小さい距離に、上記間隔の整数倍の距離を加算した分だけ互いにずれた位置である。
また、「規定回数」は、マルチフレーム型の超解像処理により生成される高解像度データに基準の解像度が確保されるように、規定された撮像の回数である。つまり、規定回数以上の撮像により取得された複数の画像データを用いた超解像処理を行うことにより、少なくとも状態認識部53による認識処理に適合する基準の解像度を有する高解像度データが生成される。また、規定回数については、電子部品の種別ごとに異なる値を設定してもよいし、何れの種別に対しても一定の値を設定してもよい。
続いて、補助機側処理部Dsは、複数の画像データを用いた超解像処理を実行して高解像度データを生成する(S13)。詳細には、補助機側処理部Dsは、先ず複数の画像データの位置合わせを行う。この位置合わせは、例えば、撮像時においてカメラスタンド3の載置台に対して汎用カメラ31を相対移動させた指令値や、画像データに含まれる基準点を一致させる画像処理の結果に基づいて行われる。そして、補助機側処理部Dsは、位置合わせされた複数の画像データに基づいて高解像度データを生成する再構成処理を実行する。このような超解像処理によって、補助機側処理部Dsは、電子部品が所定画素数をもって示される高解像度データを取得する。
パートデータ生成部32は、S13の超解像処理により取得された高解像度データを用いて、S11でセットされた電子部品の種別に対応するパートデータM2を生成する(S14)。補助機側処理部Dsは、対象とする全ての電子部品の種別について、パートデータM2の生成が終了したか否か判定する(S15)。
対象の電子部品の種別が残っている場合には(S15:No)、上記の処理(S11〜S15)が繰り返される。全ての電子部品の種別について、パートデータM2の生成が終了した場合には(S15:Yes)、パートデータM2の生成処理(S11〜S15)を終了して、処理管理データM3の生成処理に移行する。
補助機側処理部Dsは、S12の撮像により取得された複数の画像データのうちの一つを低解像度データとし、当該低解像度データを用いた規定の画像処理を行う(S21)。さらに、補助機側処理部Dsは、S13の超解像処理により取得された高解像度データを用いた規定の画像処理を行う(S22)。規定の画像処理(S21,S22)には、例えば二値化やエッジ抽出などが含まれる。規定の画像処理(S21,S22)により、各画像データにおける電子部品の位置、角度、外形が認識される。
続いて、適否判定部55は、規定の画像処理(S21,S22)の結果に基づいて、低解像度データが状態認識部53による認識処理に適合するか否かを判定する(S23)。本実施形態では、適否判定部55は、S21において低解像度データを用いて認識された電子部品の位置がS22において高解像度データを用いて認識された電子部品の位置に対して許容誤差の範囲に収まっているか否かにより適否判定を行う。これは、低解像度データの解像度が一定以上である場合には、画像処理により認識した電子部品の位置が高解像度データを用いた画像処理の結果(電子部品の位置)と同様になることを利用している。
低解像度データが状態認識部53による認識処理に適合する場合には(S23:Yes)、適否判定部55は、当該電子部品の種別については部品実装機10による実装処理の実行時における超解像処理を「不要」として処理管理データM3に設定する(S24)。一方で、低解像度データが状態認識部53による認識処理に適合しない場合には(S23:No)、適否判定部55は、当該電子部品の種別については部品実装機10による実装処理の実行時における超解像処理を「必要」として処理管理データM3に設定する(S25)。
そして、補助機側処理部Dsは、対象とする全ての電子部品の種別について、超解像処理の要否に係る設定(S24,S25)が終了したか判定する(S26)。対象の電子部品の種別が残っている場合には(S26:No)、上記の処理(S21〜S26)が繰り返される。全ての電子部品の種別について、超解像処理の要否に係る設定(S24,S25)が終了した場合には(S26:Yes)、処理管理データM3の生成処理(S21〜S26)を終了する。
上記の処理(S21〜S26)により、図4に示すように、対象とする全ての電子部品の種別ごとに超解像処理の実行の要否が設定された処理管理データM3が自動生成される。ここで、適否判定部55による判定結果および処理管理データM3は、図4に示すような関係となる。適否判定部55は、例えば、電子部品の種別AについてはS21の画像処理により電子部品の位置を認識できなかった場合には、図4の左側表に示すように、種別Aの低解像度データを「不可」と評価する。
また、適否判定部55は、電子部品の種別BについてはS21の画像処理により電子部品の位置を認識できたものの、高解像度データを用いた画像処理により認識した電子部品の位置とは許容誤差を超えている場合には、種別Bの低解像度データを「不足」と評価する。適否判定部55は、電子部品の種別CについてはS21の画像処理により認識した電子部品の位置がS22で認識した電子部品の位置に対して許容誤差の範囲に収まっている場合には、種別Cの低解像度データを「適合」と評価する。
上記のように、適否判定部55が低解像度データを「不可」または「不足」と評価した場合には(S23:No)、処理管理データ生成部56は、対応する電子部品の種別A,Bに係る低解像度データが電子部品の認識処理に適合しないものとして、超解像処理の要否について「必要」と設定する(図4の右側表)。また、適否判定部55が低解像度を「適合」と評価した場合には(S23:Yes)、処理管理データ生成部56は、対応する電子部品の種別Cについては、実装処理の実行時における超解像処理の要否について「不要」と設定する。
(電子部品の実装制御)
部品実装機10による電子部品の実装処理について、図5を参照して説明する。この実装処理において、部品実装機10の制御装置16は、実装データM1に従って、先ず複数の吸着ノズル27に電子部品を順次吸着させる吸着処理を実行する(S31)。次に、制御装置16は、実装ヘッド26を基板Bdにおける装着位置の上方へと移動させる。
実装機側処理部Dpは、実装ヘッド26が移動している間に、吸着ノズル27に保持されている電子部品の保持状態の認識処理を実行する(S32)。その後に、部品実装機10の制御装置16は、電子部品を基板Bdに順次装着する装着処理を実行する(S33)。そして、制御装置16は、全ての電子部品の装着が終了したか否かを判定し(S34)、装着が終了するまで上記の処理(S31〜S34)を繰り返す。
また、制御装置16は、電子部品の状態の認識処理(S32)の結果により、吸着ノズル27が吸着している電子部品の有無、保持している電子部品の正否、吸着ノズル27による電子部品の保持状態などを認識する。そして、制御装置16は、装着対象の電子部品が正しい場合に、電子部品の保持状態に応じて吸着ノズル27の位置および角度を補正して、電子部品の実装処理を制御する。
(電子部品の保持状態の認識処理)
上記の電子部品の保持状態の認識処理(S32)について、図5および図6を参照して説明する。実装機側処理部Dpは、部品実装機10の実装処理の実行前にカメラスタンド3の補助機側処理部Dsにおいて生成された処理管理データM3を参照する(S41)。そして、実装機側処理部Dpは、吸着処理(S31)により吸着ノズル27が現在保持している電子部品の種別について、超解像処理の実行の要否を取得する。
実装機側処理部Dpは、取得した超解像処理の実行の要否に基づいて、撮像回数を設定する(S42)。詳細には、吸着ノズル27が保持する電子部品の種別について、超解像処理の実行を必要とする場合には、撮像回数として例えば予め規定された「4回」が設定される。これは、超解像処理に用いられる画像データの数量に相当する。また、超解像処理の実行を不要とする場合には、撮像回数として「1回」が設定される。なお、複数の吸着ノズル27が異なる種別の電子部品を保持している場合には、最大数の撮像回数が設定される。
制御装置16は、最初の撮像位置に実装ヘッド26を移動させる(S43)。この最初の撮像位置としては、例えば部品カメラ14の光軸と、実装ヘッド26において複数の吸着ノズル27を回転可能に保持する回転部材の中止とが一致する位置である。そして、制御装置16は、複数の電子部品の撮像処理を行う(S44)。
具体的には、制御装置16は、実装ヘッド26が支持する吸着ノズル27が部品カメラ14の上方にあることを制御装置16のモータ制御回路より入力する。そして、制御装置16は、部品カメラ14に対して撮像を行うように制御指令を送出する。これにより、複数の吸着ノズル27に保持された状態の全ての電子部品が撮像され、当該撮像による画像データが記憶部29に記憶される。
次に、制御装置16は、4箇所の撮像位置での撮像が終了したかを判定し(S45)、終わっていない場合には(S45:No)、上記の処理(S43〜S45)を繰り返す。再び実装ヘッド26を移動させる際に、制御装置16は、撮像素子における画素の間隔の半分にあたる距離だけX軸方向またはY軸方向に実装ヘッド26を移動させる(S43)。そして、制御装置16は、半画素だけ移動した電子部品の撮像処理を再び行う(S44)。
全ての撮像位置での撮像が終了すると(S45:Yes)と、記憶部29は、最初の撮像処理による画像データを記憶している。また、S42において設定された撮像回数が「4回」の場合には、記憶部29は、上記の画像データに加えて、X軸方向に半画素だけシフトした画像データ、Y軸方向に半画素だけシフトした画像データ、X軸方向およびY軸方向にそれぞれ半画素だけシフトした画像データを記憶している。
続いて、処理判定部51は、画像データに対する超解像処理の実行の要否を処理管理データM3に基づいて判定する(S46)。超解像処理の実行が必要な場合には(S46:Yes)、超解像処理部52は、複数の画像データを用いた超解像処理を実行して高解像度データを生成する(S47)。この超解像処理については、補助機側処理部Dsによる超解像処理(S13)と実質的に同様であるため詳細な説明を省略する。
超解像処理部52による超解像処理(S47)が終了した後に、または処理判定部51により超解像処理の実行が不要と判定された場合には(S46:No)、状態認識部53は、吸着ノズル27に保持された電子部品の位置および角度を含む保持状態の認識処理を実行する(S48)。ここで、状態認識部53は、画像データおよび高解像度データのうち処理判定部51による判定結果に対応する一方に基づいて電子部品の保持状態を認識する。
つまり、状態認識部53は、判定結果が「必要」の場合には(S46:Yes)、超解像処理(S47)により生成された高解像度データを認識処理に用いる。一方で、状態認識部53は、判定結果が「不要」の場合には(S46:No)、撮像処理(S44)により取得されたそのままの画像データ(低解像度データ)を認識処理に用いる。
また、状態認識部53は、低解像度データまたは高解像度データと、電子部品の種別に対応するパートデータM2とに基づいて保持状態の認識処理を実行する。詳細には、状態認識部53は、低解像度データまたは高解像度データにおける電子部品と、パートデータM2のビジョンタイプ、形状情報とに基づいて、パターンマッチングを行う。状態認識部53は、電子部品の保持状態として、それぞれの吸着ノズル27に対する電子部品のX軸方向、Y軸方向のずれ量、および吸着ノズル27の中心軸に対する電子部品の回転角度を記憶部29に記憶させて、この保持状態の認識処理を終了する。
(実施形態の構成による効果)
本実施形態に係る画像処理装置50は、基板Bdに対する各種の生産処理(実装処理)を実行する生産設備(部品実装機10)に適用される。生産設備(部品実装機10)は、対象物(電子部品)を撮像し画像データを取得する撮像装置(部品カメラ14)と、画像データを用いて画像処理装置50が認識した対象物(電子部品)の状態に基づいて生産処理(実装処理)を制御する制御装置16と、を備える。画像処理装置50は、生産処理(実装処理)の実行時において画像データに対する超解像処理の実行の要否を対象物(電子部品)の種別ごとに判定する処理判定部51と、処理判定部51による判定結果に応じて複数の画像データを用いた超解像処理を実行して高解像度データを生成する超解像処理部52と、画像データおよび高解像度データのうち処理判定部51による判定結果に対応する一方に基づいて対象物(電子部品)の状態を認識する状態認識部53と、を備える。
このような構成によると、超解像処理部52は、処理判定部51による判定結果に応じて超解像処理を実行して高解像度データを生成する(S47)。つまり、画像処理装置50は、電子部品の種別によって超解像処理を実行するか否かを切り換えて、低解像度データまたは高解像度データに基づいて電子部品の保持状態を認識する。よって、画像処理装置50による電子部品の認識処理において、過剰な超解像処理の実行が抑制される。従って、多種に亘る電子部品について画像処理する場合に、画像処理に要する時間が短縮され、且つ画像処理の負荷が軽減される。
また、画像処理装置50は、生産処理(実装処理)の実行前において対象物(電子部品)を撮像して取得された画像データの解像度が状態認識部53による認識処理に適合するか否かを対象物(電子部品)の種別ごとに判定する適否判定部55と、適否判定部55による判定結果に基づいて、対象物(電子部品)の種別ごとに超解像処理の実行の要否が設定された処理管理データM3を生成する処理管理データ生成部56と、をさらに備える。処理判定部51は、超解像処理の実行の要否を処理管理データM3に基づいて判定する(S46)。
このような構成によると、処理判定部51に参照される処理管理データM3が自動生成される(S21〜S26)。また、処理管理データM3は、実際に電子部品を撮像して取得された画像データに基づいた適否判定部55による判定結果が反映されている。よって、処理管理データM3は、超解像処理の実行の要否がより適切に設定される。従って、超解像処理が過剰に実行されることが確実に防止される。また、処理管理データM3が自動生成されるので、オペレータの作業負荷が軽減される。
また、適否判定部55は、対象物(電子部品)を撮像して取得された複数の画像データを用いた超解像処理により生成された高解像度データと、当該超解像処理に用いられた何れかの画像データとに基づいて、画像データの解像度が状態認識部53による認識処理に適合するか否かを判定する(S23)。
このような構成によると、適否判定部55は、実際に生成された高解像度データと、超解像処理を実行されていない画像データ(低解像度データ)を比較することにより、低解像度データの適否を判定する(S23)。これにより、低解像度データが高解像度データと比較しても認識処理に適合すると判定された場合には(S23:Yes)、不要な超解像処理の実行が防止される。一方で、低解像度データが認識処理に適合しないと判定された場合には(S23:No)、超解像処理(S47)が適宜実行されることになり、認識処理の精度低下が防止される。
また、対象物は、基板Bdに実装される電子部品であり、画像処理装置50は、生産処理(実装処理)の実行前において電子部品を撮像して取得された画像データを用いて、電子部品の形状を含む各種情報を電子部品の種別ごとに関連付けたパートデータM2を生成するパートデータ生成部32をさらに備える。適否判定部55は、パートデータ生成部32によりパートデータM2の生成に用いられた画像データの解像度が状態認識部53による認識処理に適合するか否かを判定する(S23)。
このような構成によると、適否判定部55は、パートデータM2を生成するために電子部品を電子部品とする撮像により取得された画像データに基づいて判定を行う(S23)。よって、判定のために新たに電子部品を撮像することなく、当該画像データを流用できる。従って、処理管理データM3がより効率的に生成される。また、パートデータM2に含まれる電子部品の形状を認識するために、パートデータM2の生成において超解像処理が実行されている(S13)。適否判定部55は、当該超解像処理(S13)により生成された高解像度データも同様に適否判定(S23)に流用できる。
また、生産設備は、基板Bdに電子部品を実装する部品実装機10であり、対象物(電子部品)は、部品実装機10の保持装置により保持された電子部品である。
部品実装機10による実装処理では、多種の電子部品を大量に実装することを要求されることがある。上記のような画像処理装置50の構成により、実装処理の実行時における撮像処理(S44)や画像処理(S47,S48)に要する時間を短縮し、サイクルタイムの短縮が可能である。よって、本発明を部品実装機10に適用することは特に有用である。
<実施形態の変形態様>
(処理管理データM3)
実施形態において、処理管理データM3は、図4の右側表で示されるように、電子部品の種別ごとに、超解像処理の要否が設定される。これに対して、処理管理データM3は、対象物(電子部品)の種別ごとに超解像処理の程度を示す処理基準が設定されるようにしてもよい。具体的には、処理管理データM3の処理水準は、図7に示すように、超解像処理部52が高解像度データを生成する際に用いる画像データの数量(フレーム)をもって規定されるようにしてもよい。
超解像処理部52は、超解像処理の実行時において処理管理データM3から対象物の種別に応じた処理水準を取得する。そして、超解像処理部52は、複数の画像データを用いた超解像処理により当該処理水準を満たす高解像度データを生成する。このような構成によると、超解像処理部52は、対象物(電子部品)の種別ごとに予め設定されている処理水準に応じて超解像処理を実行する。
つまり、画像処理装置50は、超解像処理の実行/不実行の切り換えに加えて、実行の場合には段階的に設定された処理内容で超解像処理を実行する。一般に、マルチフレーム型の超解像処理では、当該処理に用いる画像データの数量が多いほど高解像度の画像データを得られるが、その分だけ処理時間を要する。これに対して、上記のような構成により、対象物(電子部品)の種別に応じた処理水準を設定できるので、超解像処理の程度が過剰となることを防止できる。
また、処理水準を超解像処理に用いられる画像データの数量をもって規定する場合には、オペレータが処理管理データM3を参照して画像データの数量で超解像処理の程度を確認できる。従って、処理管理データM3の管理性が向上する。また、処理水準については、画像データの数量の他に、目標解像度などをもって処理水準を規定する態様も採用し得る。このような構成では、部品カメラ14の性能に対応して画像データの数量が適宜決定されるので、処理管理データM3の汎用性が向上する。
また、処理管理データM3は、実施形態において、補助機側処理部Dsの生成処理(S21〜S26)により自動生成される。これに対して、処理管理データM3は、オペレータや生産ライン2の管理者により生産実績などに基づいて生成されるようにしてもよい。このような態様では、部品実装機10は、実装処理の実行前に実装データM1およびパートデータM2とともに、処理管理データM3をホストコンピュータ40から取得する。
(適否判定部55による適否判定)
実施形態において、適否判定部55は、超解像処理(S13)により生成された高解像度データと、当該超解像処理(S13)に用いられた何れかの低解像度データとに基づいて、低解像度データの解像度が状態認識部53による認識処理に適合するか否かを反手する(S23)。これに対して、適否判定部55は、高解像度データと低解像度データとの比較によらず、他の態様により適否判定を行うようにしてもよい。
例えば、適否判定部55は、撮像時における撮像装置と対象物の相対位置から割り出される当該対象物の位置と、画像データに対する画像処理により取得された対象物の位置とを比較する方法を採用してもよい。具体的には、画像処理装置50は、先ず撮像処理(S12)においてカメラスタンド3の載置台に対して汎用カメラ31を相対移動させた指令値に基づいて、電子部品の位置を割り出す。
さらに、画像処理装置50は、画像データに対する画像処理により汎用カメラ31に対する電子部品の位置を算出する。そして、適否判定部55は、制御上の位置に対して画像データ上の位置が許容誤差の範囲に収まっているか否かにより適否判定を行う。このような構成によると、画像処理装置50は、適否判定のために超解像処理を実行する必要がないため処理負荷を軽減できる。
(実装データM1の最適化)
実施形態において、基板生産システム1は、実装データM1を最適化するデータ最適化部41を備える。このデータ最適化部41は、電子部品が実装される基板上の座標および処理管理データM3における超解像処理の要否に基づいて、実装データM1を最適化するようにしてもよい。
実装データM1の最適化処理では、実装ヘッド26が複数の吸着ノズル27を有する場合に、例えば吸着処理(S31)において同一種別の電子部品または供給位置Psが近い電子部品が実装データM1の内部でグルーピングされる。そして、データ最適化部41は、グルーピングされた種別の電子部品が一連の処理(S31〜S33)で基板Bdに装着されるように、実装順序を入れ替える。
ここで、データ最適化部41は、電子部品が実装される基板Bd上の座標および処理管理データM3における超解像処理の要否に基づいて、実装データM1を最適化してもよい。つまり、データ最適化部41は、実装データM1の内部で電子部品をグルーピングする際に、処理管理データM3の内容を勘案する。例えば、吸着処理(S31)において複数の吸着ノズル27が異なる種別の電子部品を保持する場合に、データ最適化部41は、超解像処理が必要な種別と不要な種別とにグルーピングして最適化する。
このように最適化された実装データM1によると、吸着処理(S31)において、超解像処理を必要とする種別の電子部品と不要とする電子部品が混在して保持されることが抑制される。よって、状態認識処理(S32)において、撮像に係る処理(S43〜S45)を繰り返す回数が低減するので、タクトタイムがさらに短縮する。また、処理管理データM3が処理水準を設定されている場合には、データ最適化部41は、当該処理水準に基づいて実装データM1の最適化を行ってもよい。これにより、さらに実装処理の効率が向上する。
(生産設備および画像処理装置50)
実施形態における態様は、「生産設備」は部品実装機10であり、且つ「対象物」は電子部品であるものとして例示された。これに対して、画像処理装置50は、部品実装機10の他に、部品実装機10以外の基板生産装置や、検査装置などを上記の「生産設備」としてもよい。
例えば、生産設備が印刷検査装置の場合には、対象物は、スクリーン印刷機により基板上に印刷されたハンダとなる。これにより、印刷状態が微細な部分についてのみ超解像処理を行うように設定することが可能となる。また、生産設備が外観検査装置の場合には、対象物は、区分された検査領域に対応する基板の部分となる。これにより、小型部品が装着された部分や電子部品が密集した部分についてのみ超解像処理を行うように設定することが可能となる。
また、画像処理装置50の処理判定部51、超解像処理部52、および状態認識部53は、部品実装機10に設けられる。画像処理装置50のパートデータ生成部32、適否判定部55、および処理管理データ生成部56は、カメラスタンド3に設けられる。これに対して、画像処理装置50の各部は、何れも部品実装機10に設けられる構成としてもよい。つまり、部品実装機10において、パートデータM2および処理管理データM3が生成される。このような構成においても、実施形態と同様の効果を奏する。
1:基板生産システム
2:生産ライン、 3:カメラスタンド(生産設備)
5:基板搬送装置
10:部品実装機(生産設備)
11:基台、 12:部品供給装置、 13:部品移載装置
14:部品カメラ、 15:基板カメラ、 16:制御装置
21:フィーダ、
25:ヘッド駆動機構、 26:実装ヘッド
27:吸着ノズル、 29:記憶部
31:汎用カメラ、 32:パートデータ生成部
40:ホストコンピュータ
41:データ最適化部、 42:記憶装置
50:画像処理装置
Dp:実装機側処理部
51:処理判定部、 52:超解像処理部、 53:状態認識部
Ds:補助機側処理部
55:適否判定部、 56:処理管理データ生成部
M1:実装データ、 M2:パートデータ、 M3:処理管理データ
Bd:基板、 T:電子部品(対象物)、 Ps:供給位置

Claims (8)

  1. 基板に対する各種の生産処理を実行する生産設備に適用される画像処理装置であって、
    前記生産設備は、
    対象物を撮像し画像データを取得する撮像装置と、
    前記画像データを用いて前記画像処理装置が認識した前記対象物の状態に基づいて前記生産処理を制御する制御装置と、を備え、
    前記画像処理装置は、
    前記生産処理の実行時において前記画像データに対する超解像処理の実行の要否を前記対象物の種別ごとに判定する処理判定部と、
    前記処理判定部による判定結果に応じて複数の前記画像データを用いた超解像処理を実行して高解像度データを生成する超解像処理部と、
    前記画像データおよび前記高解像度データのうち前記処理判定部による判定結果に対応する一方に基づいて前記対象物の状態を認識する状態認識部と、
    を備える画像処理装置。
  2. 前記画像処理装置は、
    前記生産処理の実行前において前記対象物を撮像して取得された画像データの解像度が前記状態認識部による認識処理に適合するか否かを対象物の種別ごとに判定する適否判定部と、
    前記適否判定部による判定結果に基づいて、前記対象物の種別ごとに超解像処理の実行の要否が設定された処理管理データを生成する処理管理データ生成部と、
    をさらに備え、
    前記処理判定部は、超解像処理の実行の要否を前記処理管理データに基づいて判定する、請求項1の画像処理装置。
  3. 前記適否判定部は、前記対象物を撮像して取得された複数の画像データを用いた超解像処理により生成された高解像度データと、当該超解像処理に用いられた何れかの前記画像データとに基づいて、前記画像データの解像度が前記状態認識部による認識処理に適合するか否かを判定する、請求項2の画像処理装置。
  4. 前記対象物は、前記基板に実装される電子部品であり、
    前記画像処理装置は、前記生産処理の実行前において前記電子部品を撮像して取得された画像データを用いて、前記電子部品の形状を含む各種情報を前記電子部品の種別ごとに関連付けたパートデータを生成するパートデータ生成部をさらに備え、
    前記適否判定部は、前記パートデータ生成部により前記パートデータの生成に用いられた前記画像データの解像度が前記状態認識部による認識処理に適合するか否かを判定する、請求項2または3の画像処理装置。
  5. 前記処理管理データは、前記対象物の種別ごとに超解像処理の程度を示す処理水準が設定され、
    前記超解像処理部は、超解像処理の実行時において前記処理管理データから前記対象物の種別に応じた前記処理水準を取得し、複数の前記画像データを用いた超解像処理により当該処理水準を満たす前記高解像度データを生成する、請求項2〜4の何れか一項の画像処理装置。
  6. 前記処理水準は、前記超解像処理部が前記高解像度データを生成する際に用いる前記画像データの数量をもって規定されている、請求項5の画像処理装置。
  7. 前記生産設備は、前記基板に電子部品を実装する部品実装機であり、
    前記対象物は、前記部品実装機の保持装置により保持された前記電子部品である、請求項1〜6の何れか一項の画像処理装置。
  8. 請求項7の画像処理装置と、
    前記電子部品が実装される前記基板上の座標および前記処理管理データにおける超解像処理の要否に基づいて、前記電子部品の実装順序が規定された実装データを最適化するデータ最適化部と、
    を備える基板生産システム。
JP2016507205A 2014-03-13 2014-03-13 画像処理装置および基板生産システム Active JP6310058B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/056694 WO2015136669A1 (ja) 2014-03-13 2014-03-13 画像処理装置および基板生産システム

Publications (2)

Publication Number Publication Date
JPWO2015136669A1 true JPWO2015136669A1 (ja) 2017-04-06
JP6310058B2 JP6310058B2 (ja) 2018-04-11

Family

ID=54071146

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016507205A Active JP6310058B2 (ja) 2014-03-13 2014-03-13 画像処理装置および基板生産システム

Country Status (5)

Country Link
US (1) US11004177B2 (ja)
EP (1) EP3118572B1 (ja)
JP (1) JP6310058B2 (ja)
CN (1) CN106104195B (ja)
WO (1) WO2015136669A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6322811B2 (ja) * 2014-07-28 2018-05-16 パナソニックIpマネジメント株式会社 部品実装装置および部品実装方法
JP6795520B2 (ja) * 2016-01-19 2020-12-02 株式会社Fuji 実装装置および撮像処理方法
JP6654071B2 (ja) * 2016-03-16 2020-02-26 株式会社Fuji 部品実装機及びヘッドユニット
CN110291852B (zh) * 2017-02-23 2021-01-26 株式会社富士 对基板作业装置及图像处理方法
EP3593960A4 (en) * 2017-03-06 2020-01-22 Fuji Corporation DATA STRUCTURE FOR GENERATING IMAGE PROCESSING DATA AND METHOD FOR GENERATING IMAGE PROCESSING DATA
CN110771277B (zh) * 2017-06-21 2021-06-01 株式会社富士 对基板作业装置
CN112437879B (zh) * 2018-07-19 2024-01-16 株式会社富士 检查设定装置及检查设定方法
WO2020065698A1 (ja) * 2018-09-25 2020-04-02 株式会社Fuji 部品データ、部品データ作成システム、部品実装機及び部品実装ラインの生産最適化システム
JP7269028B2 (ja) * 2019-02-25 2023-05-08 株式会社Fuji 決定装置
EP3941176A4 (en) * 2019-03-14 2022-04-06 FUJI Corporation OBJECT DETERMINATION METHOD AND OBJECT DETERMINATION DEVICE

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11191157A (ja) * 1997-12-25 1999-07-13 Toshiba Corp 画像処理装置
JP2001155050A (ja) * 1999-11-30 2001-06-08 Sekisui Chem Co Ltd 設計支援システム
JP2005127836A (ja) * 2003-10-23 2005-05-19 Yamaha Motor Co Ltd 部品認識方法、部品認識装置、表面実装機、部品試験装置および基板検査装置
JP2006287116A (ja) * 2005-04-04 2006-10-19 Yamaha Motor Co Ltd 照明装置、部品認識装置、表面実装機および部品試験装置
JP2007248145A (ja) * 2006-03-14 2007-09-27 Omron Corp 検査方法および検査装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6938335B2 (en) * 1996-12-13 2005-09-06 Matsushita Electric Industrial Co., Ltd. Electronic component mounting method
US7251354B2 (en) * 2002-03-07 2007-07-31 Yamaha Hatsudoki Kabushiki Kaisha Electronic component inspection apparatus
EP1345026B1 (en) * 2002-03-15 2010-05-05 Affymetrix, Inc. System and method for scanning of biological materials
WO2006064680A1 (ja) * 2004-12-15 2006-06-22 Matsushita Electric Industrial Co., Ltd. 動作時間短縮方法、動作時間短縮装置、プログラムおよび部品実装機
JP4964522B2 (ja) * 2006-07-12 2012-07-04 ヤマハ発動機株式会社 スクリーン印刷装置
US8180179B2 (en) * 2007-12-21 2012-05-15 Canon Kabushiki Kaisha Image processing apparatus, image processing method, program executing image processing method, and storage medium
JP2009246935A (ja) * 2008-03-14 2009-10-22 Sanyo Electric Co Ltd 画像処理装置およびそれを搭載した撮像装置
JP4565016B2 (ja) 2008-05-16 2010-10-20 キヤノン株式会社 画像処理装置、画像処理方法及びそのプログラムならびにこのプログラムを記憶させたコンピュータ読み取り可能な記憶媒体
JP5094601B2 (ja) * 2008-07-09 2012-12-12 キヤノン株式会社 画像処理装置及び画像処理方法ならびにプログラム
JP2010041336A (ja) * 2008-08-04 2010-02-18 Toshiba Corp 画像処理装置、および画像処理方法
JP5094642B2 (ja) * 2008-08-28 2012-12-12 キヤノン株式会社 画像処理装置およびその制御方法とプログラム
JP2010161760A (ja) * 2008-12-09 2010-07-22 Sanyo Electric Co Ltd 画像処理装置及び電子機器
CN101477066B (zh) * 2009-01-09 2012-02-01 华南理工大学 基于超分辨率图像重建的电路板元件安装/焊接质量检测方法及系统
JP4998485B2 (ja) * 2009-01-23 2012-08-15 パナソニック株式会社 部品実装ライン及び部品実装方法
JP5182122B2 (ja) * 2009-01-27 2013-04-10 オムロン株式会社 部品実装基板の品質管理用の情報表示システムおよび情報表示方法
JP5524495B2 (ja) * 2009-03-10 2014-06-18 富士機械製造株式会社 撮像システムおよび電子回路部品装着機
JP4875117B2 (ja) * 2009-03-13 2012-02-15 株式会社東芝 画像処理装置
JP4999942B2 (ja) 2010-01-26 2012-08-15 株式会社日立ハイテクインスツルメンツ 電子部品装着装置
JP5393550B2 (ja) * 2010-03-18 2014-01-22 株式会社日立ハイテクノロジーズ 走査荷電粒子顕微鏡を用いた画像生成方法及び装置、並びに試料の観察方法及び観察装置
JP2012021852A (ja) * 2010-07-13 2012-02-02 Olympus Corp 基板検査装置および基板検査方法
KR101624210B1 (ko) * 2010-08-27 2016-05-31 한화테크윈 주식회사 초해상도 영상 복원 방법, 및 이를 이용한 불법 주정차 단속 시스템
JP5791408B2 (ja) 2011-07-15 2015-10-07 富士機械製造株式会社 電子部品実装装置
CN102881000B (zh) * 2012-09-07 2016-05-18 华为技术有限公司 一种视频图像的超分辨率方法、装置和设备
JP5895131B2 (ja) * 2012-12-25 2016-03-30 パナソニックIpマネジメント株式会社 電子部品実装システムおよび電子部品実装方法
US9669432B2 (en) * 2013-08-27 2017-06-06 Te Connectivity Corporation Component feeding system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11191157A (ja) * 1997-12-25 1999-07-13 Toshiba Corp 画像処理装置
JP2001155050A (ja) * 1999-11-30 2001-06-08 Sekisui Chem Co Ltd 設計支援システム
JP2005127836A (ja) * 2003-10-23 2005-05-19 Yamaha Motor Co Ltd 部品認識方法、部品認識装置、表面実装機、部品試験装置および基板検査装置
JP2006287116A (ja) * 2005-04-04 2006-10-19 Yamaha Motor Co Ltd 照明装置、部品認識装置、表面実装機および部品試験装置
JP2007248145A (ja) * 2006-03-14 2007-09-27 Omron Corp 検査方法および検査装置

Also Published As

Publication number Publication date
EP3118572B1 (en) 2021-08-25
WO2015136669A1 (ja) 2015-09-17
JP6310058B2 (ja) 2018-04-11
US11004177B2 (en) 2021-05-11
CN106104195B (zh) 2019-01-29
CN106104195A (zh) 2016-11-09
EP3118572A4 (en) 2017-03-22
US20170069057A1 (en) 2017-03-09
EP3118572A1 (en) 2017-01-18

Similar Documents

Publication Publication Date Title
JP6310058B2 (ja) 画像処理装置および基板生産システム
JP6212134B2 (ja) 組立機
JP6018844B2 (ja) 部品装着方法、部品装着装置、及びプログラム
JP6498704B2 (ja) 検査支援装置および検査支援方法
CN107006148B (zh) 元件安装装置及元件安装系统
JP5190127B2 (ja) 基板処理装置
JP6646916B2 (ja) 基板用の画像処理装置および画像処理方法
JP6648252B2 (ja) 画像処理システム及び画像処理方法
JP6309962B2 (ja) 組立機
JP6715714B2 (ja) 検査支援装置および検査支援方法
JP6904978B2 (ja) 部品装着機
JP2013236011A (ja) 部品実装装置
JPWO2016092673A1 (ja) 部品実装機
JPWO2019016923A1 (ja) 対基板作業システム
JP6621639B2 (ja) 基板用の画像処理装置
JP2014212357A (ja) 部品実装方法および部品実装装置
JP7153126B2 (ja) 良否判定装置および良否判定方法
JP7017723B2 (ja) 検査方法
US20200029479A1 (en) Board work machine
JP7269028B2 (ja) 決定装置
JP2014029961A (ja) 部品実装システム
JP7153127B2 (ja) 良否判定装置および良否判定方法
JPWO2020021620A1 (ja) 作業支援装置および対基板作業機
JP2017129895A (ja) データ処理装置、実装装置、基板検査装置、データ処理方法及びプログラム
JP2004335940A (ja) 電子部品実装装置および電子部品実装方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180315

R150 Certificate of patent or registration of utility model

Ref document number: 6310058

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250