JP7423741B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP7423741B2
JP7423741B2 JP2022501562A JP2022501562A JP7423741B2 JP 7423741 B2 JP7423741 B2 JP 7423741B2 JP 2022501562 A JP2022501562 A JP 2022501562A JP 2022501562 A JP2022501562 A JP 2022501562A JP 7423741 B2 JP7423741 B2 JP 7423741B2
Authority
JP
Japan
Prior art keywords
pitch
image processing
image
tape
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022501562A
Other languages
English (en)
Other versions
JPWO2021166230A1 (ja
Inventor
秀一郎 鬼頭
貴紘 小林
一也 小谷
豊 水谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JPWO2021166230A1 publication Critical patent/JPWO2021166230A1/ja
Application granted granted Critical
Publication of JP7423741B2 publication Critical patent/JP7423741B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • H05K13/081Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • H05K13/081Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0812Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines the monitoring devices being integrated in the mounting machine, e.g. for monitoring components, leads, component placement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/42Analysis of texture based on statistical description of texture using transform domain methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507Summing image-intensity values; Histogram projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/04Mounting of components, e.g. of leadless components
    • H05K13/0417Feeding with belts or tapes
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/04Mounting of components, e.g. of leadless components
    • H05K13/0417Feeding with belts or tapes
    • H05K13/0419Feeding with belts or tapes tape feeders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Multimedia (AREA)
  • Operations Research (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Description

本明細書は、画像処理装置および実装装置、画像処理方法を開示する。
従来、部品収納用のキャビティが設けられたテープについて、キャビティのピッチなどを検出する装置が提案されている(例えば、特許文献1参照)。この装置では、テープに対して光を透過させて、その透過光量をフォトセンサなどで検出し、検出した透過光量と閾値とを比較することで、部品のない空キャビティであるかテープ部分であるかを検出するものとしている。
特開2017-220623号公報
ここで、テープの素材や色などによっては、検出した透過光量の輝度の変化が乏しいものとなる場合がある。その場合、上述した装置のように、単に透過光量を閾値と比較するだけで検出するものでは、誤検出のおそれがある。
本開示は、輝度変化が乏しいテープであっても、キャビティのピッチを精度よく認識することを主目的とする。
本開示は、上述の主目的を達成するために以下の手段を採った。
本開示の第1の画像処理装置は、
所定の送り方向に沿って部品収納用のキャビティが複数設けられたテープの画像を処理する画像処理装置であって、
前記画像から前記送り方向に沿ったラインの画素の輝度を抽出し、前記ラインの輝度波形を生成する生成部と、
前記輝度波形から輝度変化の周期解析を行い、該周期解析で得られた波長に基づいて前記キャビティのピッチを認識する認識部と、
を備えることを要旨とする。
本開示の第1の画像処理装置は、テープの画像から送り方向に沿ったラインの画素の輝度を抽出し、ラインの輝度波形を生成する。そして、輝度波形から輝度変化の周期解析を行い、周期解析で得られた波長に基づいてキャビティのピッチを認識する。これにより、画像の輝度変化が乏しいテープであっても、周期解析で波長を比較的精度よく求めることができるから、キャビティのピッチを精度よく認識することができる。
実装装置10の構成の概略を示す構成図。 フィーダ20のフィーダ部25の概略を示す斜視図。 フィーダ20のフィーダ部25の概略を示す上面図。 実装装置10と管理装置40の制御に関する構成を示すブロック図。 テープ送り関連処理の一例を示すフローチャート。 ピッチ認識処理の一例を示すフローチャート。 画像Gにおける複数のラインLの一例を示す説明図。 ラインLにおける輝度波形の一例を示す説明図。 正規化自乗誤差関数で計算した波形の一例を示す説明図。 キャビティ24の中心を認識する様子の一例を示す説明図。 第2実施形態のピッチ認識処理の一例を示すフローチャート。 第2実施形態のラインLの一例を示す説明図。 輝度の大小変化のピッチBの一例を示す説明図
次に、発明を実施するための形態について図面を参照しながら説明する。
[第1実施形態]
図1は、実装装置10の構成の概略を示す構成図である。図2は、フィーダ20のフィーダ部25の概略を示す斜視図である。図3は、フィーダ20のフィーダ部25の概略を示す上面図である。図4は、実装装置10の制御に関する構成を示すブロック図である。なお、本実施形態は、図1の左右方向がX軸方向であり、前後方向がY軸方向であり、上下方向がZ軸方向である。
実装装置10は、図1に示すように、テープに収容された部品Pを供給するフィーダ20と、平板状の基板Sを搬送する基板搬送装置12と、吸着ノズル15で部品Pを吸着して基板S上に実装するヘッド14と、ヘッド14をXY方向に移動させる移動機構16とを備える。また、実装装置10は、基板Sに付された各種マークやフィーダ20のテープ上面などを撮像可能なマークカメラ18と、吸着ノズル15に吸着された部品Pを下方から撮像可能なパーツカメラ19と、実装装置10の全体の制御を司る制御装置30(図4参照)とを備える。ヘッド14は、吸着ノズル15を1または複数有しており、これらの吸着ノズル15は、図示しないZ軸モータにより上下方向に昇降される。
フィーダ20は、テープ22(図2参照)が巻回されたリール部21と、リール部21からテープ22を引き出して送り出すフィーダ部25とを備え、実装装置10に着脱可能に取り付けられる。フィーダ部25は、図示しないスプロケットを回転させるためのステッピングモータなどの送りモータ26(図4参照)を備える。テープ22は、部品Pを収容するための凹状のキャビティ24が、テープ22の送り方向(長手方向)に沿って複数形成されている。また、テープ22は、フィーダ部25のスプロケットの外周に形成されたスプロケット歯に係合する送り穴23が形成されている。フィーダ20は、フィーダ部25の送りモータ26を駆動してスプロケットを間欠的に回転させることにより、テープ22を所定量ずつY方向後方(送り方向)に間欠的に送り出して、ヘッド14(吸着ノズル15)がピックアップ可能な部品供給位置に部品Pを供給する。また、フィーダ部25は、テープ22の移動をガイドするガイド枠27を備える。ガイド枠27は、前後方向に沿ってフィーダ20の左右両側に延在すると共に一部がテープ22の上方を跨ぐように設けられている。このガイド枠27には、基準位置としての基準マーク28が形成されている。ここでは、円形の基準マーク28を示したが、基準位置を把握可能であれば、任意の形状を用いることができる。実装装置10は、テープ22の送り穴23と基準マーク28との位置関係に基づいて、テープ22の送りの位置ずれ量などを求めることができる。また、フィーダ20は、図示は省略するが、CPUやROM,RAMなどからなる制御部を備える。フィーダ20は、実装装置10に取り付けられると、制御部が制御装置30と通信可能に接続される。
ここで、テープ22のキャビティ24は、複数のピッチのうちいずれかの一定のピッチで送り方向に沿って複数形成されている。複数のピッチとしては、例えば1mmや2mm、4mm、8mmなどがあり、収容すべき部品Pのサイズに応じていずれかのピッチに形成されている。また、フィーダ20は、テープ22の送りの所定量として、キャビティ24のピッチに相当する量を間欠的に送ることで、キャビティ24内の部品Pを部品供給位置に順次供給することができる。なお、テープ22は、送り穴23の中心位置の側方(図3中の右方)に1のキャビティ24が位置するように形成されている。
制御装置30は、図示しないCPUやROM,RAM,HDDなどを備える。制御装置30は、図3に示すように機能ブロックとして、各部を駆動する駆動制御部32と、マークカメラ18やパーツカメラ19により撮像された画像を処理する画像処理部34とを備える。駆動制御部32は、フィーダ20や基板搬送装置12、ヘッド14、移動機構16、マークカメラ18、パーツカメラ19などへ制御信号を出力する。駆動制御部32には、フィーダ20の制御部からの部品Pに関する各種情報やマークカメラ18からの画像信号、パーツカメラ19からの画像信号などが入力される。マークカメラ18やパーツカメラ19からの画像信号は、画像処理部34で処理される。なお、画像信号が画像処理部34に直接入力されてもよい。また、制御装置30は、実装処理に関する情報の管理を行う管理装置40と通信ネットワークを介して双方向通信可能に接続されており、互いにデータや制御信号のやり取りを行っている。
管理装置40は、汎用のコンピュータであり、図4に示すように、管理制御部42と、キーボードやマウスなどの入力デバイス44と、ディスプレイ46と、HDDやSSDなどの記憶装置48と、を備える。管理制御部42は、CPUやROM,RAMなどで構成され、入力デバイス44から入力信号を入力し、ディスプレイ46への画像信号を出力する。記憶装置48は、基板Sの生産計画を記憶している。基板Sの生産計画は、実装装置10において基板Sの実装面のどの位置にどの部品Pをどの順番で実装するか、部品Pを実装した基板Sを何枚作製するかなどを定めた計画である。管理装置40は、生産計画に従って部品Pが実装されるよう制御装置30に指令信号を出力する。
以下は、こうして構成された実装装置10の動作の説明である。ここでは、フィーダ20のテープ22の送りに関する処理を説明する。図5は、テープ送り関連処理の一例を示すフローチャートである。この処理は、駆動制御部32と画像処理部34との機能により実行される。
テープ送り関連処理では、制御装置30は、まず、テープ22のキャビティ24のピッチ認識タイミングであるか否かを判定する(S100)。制御装置30は、例えば、新たなフィーダ20が実装装置10に取り付けられた場合にピッチ認識タイミングであると判定する。また、制御装置30は、部品切れが近いテープ22の終端に新たなテープ22の始端を繋ぎ合せるスプライシング作業が行われて、新たなテープ22が部品供給位置の近傍まで送られたときなどにもピッチ認識タイミングであると判定する。制御装置30は、ピッチ認識タイミングであると判定すると、マークカメラ18で上方からテープ22の画像Gを撮像し(S110,図2参照)、撮像された画像Gを処理してキャビティ24のピッチを認識するためのピッチ認識処理を行う(S120)。図6は、ピッチ認識処理の一例を示すフローチャートである。ピッチ認識処理は、画像処理部34により実行される。
ピッチ認識処理では、画像処理部34は、S110で撮像された画像Gからテープ22の送り方向(前後方向)に沿った複数のラインLの各画素の輝度を抽出する(S200)。図7は、画像Gにおける複数のラインLの一例を示す説明図である。複数のラインLは、左右方向に例えば所定画素数の間隔で設定されていればよい。なお、画像Gにおける画素の位置をUV座標で示す。U軸はX軸方向、V軸はY軸方向にそれぞれ相当する。
次に、画像処理部34は、抽出した輝度に基づいてラインL毎に、テープ送り方向の輝度変化を示す輝度波形を生成する(S210)。図8は、ラインLにおける輝度波形の一例を示す説明図である。なお、図8では、横軸にテープ送り方向に相当するV軸の座標をとり、縦軸に輝度をとる。この輝度波形では、約1000μm毎に輝度が値255近くの比較的大きなピークが発生しており、そのピーク間に輝度が値160~170近くの比較的小さなピークが発生している。なお、テープ22やキャビティ24内の部品Pの材質や表面の光沢の有無、色などにより光の反射具合が変わるため、ラインLにおける輝度変化の波形はテープ22や部品Pの種類によって異なるものとなる。
続いて、画像処理部34は、輝度波形の周期解析を行う(S220)。ここで、上述したように、キャビティ24は、複数のうちいずれかの一定のピッチで設けられている。このため、キャビティ24の列と重なるラインLの輝度変化は、キャビティ24のピッチに相当する長さを1波長とする周期的な波形となる。一方、キャビティ24の列と重ならないラインLの輝度変化は、そのような周期的な波形とならない。本実施形態では、このような周期性を評価するための関数や解析手法を用いて輝度波形の周期解析を行う。一例として、画像処理部34は、正規化自乗誤差関数(NSDF:Normalized Square Difference Function)を用いる。正規化自乗誤差関数は、式(1)によって定義される。
Figure 0007423741000001
式(1)において、n’(τ)は、遅れτにおける正規化自乗誤差関数であり、n’(τ)の値が大きいほど輝度変化の周期性が強いことを示す。r’(τ)は式(2)で定義される自己相関関数(ACF:Autocorrelation Function)である。m’(τ)は式(3)で定義される自乗誤差関数(SDF:Square Difference Function)関数である。なお、Wは波形解析する窓のサイズの初期値であり、Vは画像のV方向即ちテープ送り方向のY方向である。正規化自乗誤差関数では、輝度波形をV方向にずらしながら相関の高いピークを検出することで周期性を評価するものであるが、本願出願人の国際出願(国際出願番号PCT/JP2014/065043)などに記載されているため、詳細な説明は省略する。
Figure 0007423741000002
画像処理部34は、S220の周期解析で得られたピークのピッチA(波長)をキャビティ24のピッチとして認識する(S230)。ここで、図9は、正規化自乗誤差関数で計算した波形の一例を示す説明図である。正規化自乗誤差関数では、相関の高い波長で値1.0に近くなる特性があり、値1.0近くに複数のピーク(図9中の丸印参照)が現れる。なお、画像処理部34は、各ピークの発生箇所の画素値とマークカメラ18の分解能とから、ピッチAを求めることができる。図9では、ピッチAが約1000μmの場合を例示する。この場合、画像処理部34は、S230でキャビティ24のピッチを0.1mmと認識する。また、図9では、図8で生じる比較的小さなピークなどが排除されているため、画像処理部34は、キャビティ24のピッチを精度よく認識することができる。
続いて、画像処理部34は、複数のラインLのうちS220の解析結果がS230で認識したピッチと一致するラインLを選定する(S240)。そして、画像処理部34は、選定したラインLのうち左右方向(U軸方向、X軸方向)の中央をキャビティ24の中心と認識して(S250)、ピッチ認識処理を終了する。図10は、キャビティ24の中心を認識する様子の一例を示す説明図である。図示するように、例えば、複数のラインLのうちラインL1~L3の3ラインが選定される。選定されたラインLの数が奇数であるため、画像処理部34は、中央のラインL2をキャビティ24の中心として認識する。なお、選定したラインLの数が偶数であれば、U軸方向で両端のラインLの中央位置がキャビティ24の中心として認識され、選定したラインLの数が値1であれば、そのラインLがキャビティ24の中心として認識される。
図5のテープ送り関連処理では、制御装置30は、S120(図6)のピッチ認識処理を行うかS100でピッチ認識タイミングでないと判定すると、テープ22の送りタイミングであるか否かを判定する(S130)。なお、制御装置30は、ヘッド14の吸着ノズル15による部品吸着動作中でなく、次の部品Pを部品供給位置に送る準備が整った場合に、送りタイミングであると判定する。制御装置30は、送りタイミングであると判定すると、S120で認識したピッチに基づいてテープ22を送るテープ送り処理を実行して(S140)、S100に戻る。また、制御装置30は、S130で送りタイミングでないと判定すると、S140をスキップしてS100に戻る。制御装置30は、ピッチ認識処理で認識したピッチに基づいてテープ送り処理を実行するから、各キャビティ24を部品供給位置まで正しく移動させて部品Pを適切に供給することができる。また、制御装置30は、認識したキャビティ24の中心に基づいて、吸着ノズル15の左右方向における吸着位置を微調整することにより、部品供給位置で部品Pをより安定して吸着させることができる。
ここで、例えば管理装置40や図示しない操作パネルなどを介して作業者が入力したピッチに基づいてテープ送り処理が実行される場合、作業者の誤認識や誤入力により、誤ったピッチでテープ22が送られることがある。実際よりも小さなピッチでテープ22が送られると、吸着ノズル15の吸着エラーが頻発するおそれがある。また、実際よりも大きなピッチでテープ22が送られると、部品Pが吸着されないまま部品供給位置を通過して部品Pが廃棄されるおそれがある。本実施形態では、ピッチ認識処理でピッチを正しく認識するから、そのような吸着エラーや部品Pの廃棄のおそれを防止することができる。
ここで、本実施形態の構成要素と本開示の構成要素との対応関係を明らかにする。本実施形態の画像処理部34が本開示の画像処理装置に相当し、キャビティ24がキャビティに相当し、テープ22がテープに相当し、図6のピッチ認識処理のS200,S210を実行する画像処理部34が生成部に相当し、ピッチ認識処理のS220,S230を実行する画像処理部34が認識部に相当する。また、フィーダ20がフィーダに相当し、実装装置10が実装装置に相当し、マークカメラ18が撮像装置に相当し、駆動制御部32が制御装置に相当する。なお、本実施形態は、実装装置10の動作を説明することにより本開示の画像処理方法の一例も明らかにしている。
以上説明した実装装置10は、画像処理部34が、画像Gからテープ22の送り方向に沿ったラインLの画素の輝度を抽出して輝度波形を生成する。そして、周期解析により得られたピークのピッチA(波長)をキャビティ24のピッチとして認識する。このため、画像Gの輝度変化が乏しいテープ22などであっても、キャビティ24のピッチを精度よく認識することができる。また、実装装置10は、認識したピッチに基づいてテープ送り処理を実行するから、各キャビティ24を部品供給位置まで正しく移動させて部品Pを適切に供給することができる。
また、画像処理部34は、複数のラインLのうち周期解析の結果が、認識したピッチに対応するラインLを選定し、選定したラインLの中心をキャビティ24の中心と認識する。このため、画像Gの輝度変化が乏しいテープ22であっても、送り方向に直交する直交方向におけるキャビティ24の中心を精度よく認識することができる。
また、画像処理部34は、正規化自乗誤差関数により周期解析を行うから、フーリエ変換などにより周期解析を行うものに比してノイズの影響を抑えて相関の高いピークを検出しやすくなるから、キャビティ24のピッチをより精度よく認識することができる。
なお、本開示は上述した実施形態に何ら限定されることはなく、本開示の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。
例えば、上述した実施形態では、正規化自乗誤差関数により周期解析を行うものとしたが、これに限られず、輝度変化の周期性の解析処理を行うものであればよい。例えば、平均振幅差関数やフーリエ変換などを用いてもよい。なお、平均振幅差関数は、本願出願人の国際出願(国際出願番号PCT/JP2014/065043)に記載されている。
上述した実施形態では、キャビティ24のピッチだけでなくキャビティ24の中心を認識したが、これに限られず、キャビティ24の中心を認識することなくピッチを認識してもよい。そのようにする場合、複数のラインLの解析を行うものに限られず、1つのラインLの解析を行うものとしてもよい。
[第2実施形態]
次に、第2実施形態について説明する。第2実施形態では、キャビティ24のピッチの認識処理が第1実施形態と異なる。図11は、第2実施形態のピッチ認識処理の一例を示すフローチャートであり、図12は、第2実施形態のラインLの一例を示す説明図である。第2実施形態のピッチ認識処理では、画像処理部34は、まず、画像Gから送り穴23を検出する(S300)。次に、画像処理部34は、検出した送り穴23の中心位置から画像G中の左方向(U軸方向)に所定距離D離れた位置を所定基準位置RPとして、その基準位置RPからラインLを設定する(S310)。なお、ラインLは、第1実施形態と同様に、テープ22の送り方向に沿ったものである。また、所定距離Dは、送り穴23の中心とキャビティ24の中心との間の距離に相当する。続いて、画像処理部34は、そのラインLの各画素における輝度を、複数種のうちの最小ピッチMPで抽出する(S320)。例えば、上述したように、複数のピッチとして1mmや2mm、4mm、8mmなどがある場合、最小ピッチMPは1mmとなる。その場合、画像処理部34は、S320で1mmピッチで輝度を抽出する。また、上述したように送り穴23の中心位置の側方にはキャビティ24が位置するから、画像処理部34は、そのキャビティ24の位置を基準位置RPとして最小ピッチMPで輝度を抽出していくことになる。
画像処理部34は、最小ピッチMPでラインLの輝度を抽出すると、各輝度を所定の閾値と比較することにより輝度の大小を判別して大小変化のピッチBを算出する(S330)。図13は、輝度の大小変化のピッチBの一例を示す説明図である。図示するように、各輝度がそれぞれ所定の閾値(例えば値190)と比較されて、判別された輝度の大小が小、大、小、大、小と交互に変化する様子を示す。即ち、この例では、輝度の大小変化のピッチBが最小ピッチMPの2倍になっている。そして、画像処理部34は、複数種類のピッチのうち大小変化のピッチBに相当するものをキャビティ24のピッチと認識して(S340)、ピッチ認識処理を終了する。図13の例では、画像処理部34は、最小ピッチMPの2倍の2mmピッチと判定する。なお、例えば最小ピッチMPが2mmで、認識対象のピッチが3mmであるなど、認識対象のピッチが最小ピッチMPの整数倍でない場合がある。その場合でも、最小ピッチMPと認識対象のピッチとの公倍数でピッチBが現れるから、画像処理部34はキャビティ24のピッチを認識することが可能である。
このように、第2実施形態では、画像処理部34は、ラインLから最小ピッチMPで抽出した輝度と所定の閾値との比較に基づいて輝度の大小が変化するピッチBを求め、複数のピッチのうち求めたピッチBに対応するものをキャビティ24のピッチとして認識する。これにより、画像Gの輝度変化が乏しいテープ22の場合に、単に輝度の大小の変化からピッチを認識するものに比して、キャビティ24のピッチを精度よく認識することができる。また、制御装置30は、認識したピッチに基づいてテープ22を送るから、第1実施形態と同様に、各キャビティ24を部品供給位置まで正しく移動させて部品Pを適切に供給することができる。
また、画像処理部34が、第1実施形態のピッチ認識処理と第2実施形態のピッチ認識処理とをいずれも実行可能なものとしてもよい。そのようにする場合、画像処理部34は、両方のピッチ認識処理を行ってもよいし、作業者などから選択指示されたいずれかのピッチ認識処理を行ってもよいし、テープ22や部品Pの種類に応じてより適切なピッチ認識処理を選択的に行ってもよい。
ここで、本開示の画像処理装置は、以下のように構成してもよい。例えば、本開示の第1の画像処理装置において、前記生成部は、前記送り方向に直交する直交方向に並列する複数の前記ラインのそれぞれの前記輝度波形を生成し、前記認識部は、複数の前記ラインのうち前記周期解析の結果が前記認識したピッチに対応する1以上の前記ラインを選定し、該選定したラインの前記直交方向における中心を前記キャビティの前記直交方向における中心と認識するものとしてもよい。こうすれば、画像の輝度変化が乏しいテープであっても、キャビティの中心を精度よく認識することができる。
本開示の第1の画像処理装置において、前記認識部は、正規化自乗誤差関数により前記周期解析を行うものとしてもよい。こうすれば、フーリエ変換などにより周期解析を行うものに比してノイズの影響を抑えて相関の高いピークを検出しやすくなるから、キャビティのピッチをより精度よく認識することができる。
本開示の第2の画像処理装置は、
所定の送り方向に沿って複数のピッチのうちいずれかの一定のピッチで部品収納用のキャビティが設けられたテープの画像を処理する画像処理装置であって、
前記画像から前記送り方向に沿ったラインの画素の輝度を、前記送り方向における所定基準位置から前記複数のピッチのうち最小のピッチで抽出する抽出部と、
前記輝度と所定の閾値との比較に基づいて前記輝度の大小が変化するピッチを求め、前記複数のピッチのうち求めたピッチに対応するものを前記キャビティのピッチとして認識する認識部と、
を備えることを要旨とする。
本開示の第2の画像処理装置は、テープの画像から送り方向に沿ったラインの画素の輝度を、送り方向における所定基準位置から複数のピッチのうち最小のピッチで抽出する。そして、輝度と所定の閾値との比較に基づいて輝度の大小が変化するピッチを求め、複数のピッチのうち求めたピッチに対応するものをキャビティのピッチとして認識する。これにより、画像の輝度変化が乏しいテープの場合に、単に輝度の大小の変化からピッチを認識するものに比して、キャビティのピッチを精度よく認識することができる。
本開示の実装装置は、
前記テープを送るフィーダが取り付けられ、前記テープの前記キャビティから供給された前記部品を実装する実装装置であって、
前記テープの画像を撮像する撮像装置と、
上述したいずれかの画像処理装置と、
前記画像処理装置により認識された前記キャビティのピッチに基づいて前記テープを送るように前記フィーダを制御する制御装置と、
を備えることを要旨とする。
本開示の実装装置は、上述したいずれかの画像処理装置により認識されたキャビティのピッチに基づいてテープを送るようにフィーダを制御するから、輝度変化が乏しいテープであっても、キャビティのピッチを精度よく認識してテープを正しく送ることができる。このため、テープの送り量の過不足による部品の供給ミスや、供給された部品の採取ミスなどを防止して、生産性が低下するのを防止することができる。
本開示の第1の画像処理方法は、
所定の送り方向に沿って部品収納用のキャビティが複数設けられたテープの画像を処理する画像処理方法であって、
(a)前記画像から前記送り方向に沿ったラインの画素の輝度を抽出し、前記ラインの輝度波形を生成するステップと、
(b)前記輝度波形の輝度変化の周期解析を行い、該周期解析で得られた波長に基づいて前記キャビティのピッチを認識するステップと、
を含むことを要旨とする。
本開示の第1の画像処理方法では、上述した第1の画像処理装置と同様に、画像の輝度変化が乏しいテープであっても、周期解析で波長を比較的精度よく求めることができるから、キャビティのピッチを精度よく認識することができる。なお、この第1の画像処理方法において、上述した第1の画像処理装置の種々の態様を採用してもよいし、上述した第1の画像処理装置の各機能を実現するようなステップを追加してもよい。
本開示の第2の画像処理方法は、
所定の送り方向に沿って複数のピッチのうちいずれかの一定のピッチで部品収納用のキャビティが設けられたテープの画像を処理する画像処理方法であって、
(a)前記画像から前記送り方向に沿ったラインの画素の輝度を、前記送り方向における所定基準位置から前記複数のピッチのうち最小のピッチで抽出するステップと、
(b)前記輝度と所定の閾値との比較に基づいて前記輝度の大小が変化するピッチを求め、前記複数のピッチのうち求めたピッチに対応するものを前記キャビティのピッチとして認識するステップと、
を含むことを要旨とする。
本開示の第2の画像処理方法では、上述した第2の画像処理装置と同様に、画像の輝度変化が乏しいテープの場合に、単に輝度の大小の変化からキャビティのピッチを認識するものに比して、キャビティのピッチを精度よく認識することができる。
本発明は、テープに収容された部品を送るフィーダやフィーダから供給された部品を基板に実装する実装装置などに利用可能である。
10 実装装置、12 基板搬送装置、14 ヘッド、15 吸着ノズル、16 移動機構、18 マークカメラ、19 パーツカメラ、20 フィーダ、21 リール部、22 テープ、23 送り穴、24 キャビティ、25 フィーダ部、26 送りモータ、27 ガイド枠、28 基準マーク、30 制御装置、32 駆動制御部、34 画像処理部、40 管理装置、42 管理制御部、44 入力デバイス、46 ディスプレイ、48 記憶装置、D 所定距離、G 画像、L,L1~L3 ライン、P 部品、RP 基準位置、S 基板。

Claims (4)

  1. 所定の送り方向に沿って部品収納用のキャビティが複数設けられたテープの画像を処理する画像処理装置であって、
    前記画像から前記送り方向に沿ったラインの画素の輝度を抽出し、前記ラインの輝度波形を生成する生成部と、
    前記輝度波形から輝度変化の周期解析を行い、該周期解析で得られた波長に基づいて前記キャビティのピッチを認識する認識部と、
    を備える画像処理装置。
  2. 所定の送り方向に沿って複数のピッチのうちいずれかの一定のピッチで部品収納用のキャビティが設けられたテープの画像を処理する画像処理装置であって、
    前記画像から前記送り方向に沿ったラインの画素の輝度を、前記送り方向における所定基準位置から前記複数のピッチのうち最小のピッチで抽出する抽出部と、
    前記輝度と所定の閾値との比較に基づいて前記輝度の大小が変化するピッチを求め、前記複数のピッチのうち求めたピッチに対応するものを前記キャビティのピッチとして認識する認識部と、
    を備える画像処理装置。
  3. 所定の送り方向に沿って部品収納用のキャビティが複数設けられたテープの画像を処理する画像処理方法であって、
    (a)前記画像から前記送り方向に沿ったラインの画素の輝度を抽出し、前記ラインの輝度波形を生成するステップと、
    (b)前記輝度波形の輝度変化の周期解析を行い、該周期解析で得られた波長に基づいて前記キャビティのピッチを認識するステップと、
    を含む画像処理方法。
  4. 所定の送り方向に沿って複数のピッチのうちいずれかの一定のピッチで部品収納用のキャビティが設けられたテープの画像を処理する画像処理方法であって、
    (a)前記画像から前記送り方向に沿ったラインの画素の輝度を、前記送り方向における所定基準位置から前記複数のピッチのうち最小のピッチで抽出するステップと、
    (b)前記輝度と所定の閾値との比較に基づいて前記輝度の大小が変化するピッチを求め、前記複数のピッチのうち求めたピッチに対応するものを前記キャビティのピッチとして認識するステップと、
    を含む画像処理方法。
JP2022501562A 2020-02-21 2020-02-21 画像処理装置および画像処理方法 Active JP7423741B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/007121 WO2021166230A1 (ja) 2020-02-21 2020-02-21 画像処理装置および実装装置、画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2021166230A1 JPWO2021166230A1 (ja) 2021-08-26
JP7423741B2 true JP7423741B2 (ja) 2024-01-29

Family

ID=77390555

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022501562A Active JP7423741B2 (ja) 2020-02-21 2020-02-21 画像処理装置および画像処理方法

Country Status (5)

Country Link
US (1) US20230108672A1 (ja)
EP (1) EP4110031A4 (ja)
JP (1) JP7423741B2 (ja)
CN (1) CN115004877B (ja)
WO (1) WO2021166230A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014072409A (ja) 2012-09-28 2014-04-21 Juki Corp 部品検査方法及び装置
WO2019123527A1 (ja) 2017-12-19 2019-06-27 株式会社Fuji 実装装置、検出装置及び検出方法
WO2019207763A1 (ja) 2018-04-27 2019-10-31 株式会社Fuji キャリアテープ搬送装置およびキャリアテープ搬送方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4744241B2 (ja) * 2005-08-31 2011-08-10 株式会社日立ハイテクインスツルメンツ 電子部品装着装置
JP5047031B2 (ja) * 2008-03-28 2012-10-10 富士機械製造株式会社 電子部品装着装置における部品認識方法
JP5443894B2 (ja) * 2009-08-21 2014-03-19 Juki株式会社 電子部品実装装置及びその吸着位置補正方法
EP3071007B1 (en) * 2013-11-11 2018-06-06 Fuji Machine Mfg. Co., Ltd. Component mounting device
JP6476397B2 (ja) * 2014-06-06 2019-03-06 株式会社Fuji リード画像認識方法及びリード画像認識装置並びに画像処理用部品データ作成方法及び画像処理用部品データ作成装置
JP6647049B2 (ja) * 2016-01-18 2020-02-14 ヤマハ発動機株式会社 ピッチ測定装置、ピッチ測定方法および部品実装装置
JP6735608B2 (ja) 2016-06-10 2020-08-05 株式会社Fuji テープの自動スプライシング装置およびテープの自動セット装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014072409A (ja) 2012-09-28 2014-04-21 Juki Corp 部品検査方法及び装置
WO2019123527A1 (ja) 2017-12-19 2019-06-27 株式会社Fuji 実装装置、検出装置及び検出方法
WO2019207763A1 (ja) 2018-04-27 2019-10-31 株式会社Fuji キャリアテープ搬送装置およびキャリアテープ搬送方法

Also Published As

Publication number Publication date
US20230108672A1 (en) 2023-04-06
WO2021166230A1 (ja) 2021-08-26
CN115004877A (zh) 2022-09-02
EP4110031A4 (en) 2023-06-28
CN115004877B (zh) 2023-09-05
JPWO2021166230A1 (ja) 2021-08-26
EP4110031A1 (en) 2022-12-28

Similar Documents

Publication Publication Date Title
US11835207B2 (en) Mounting device
JP6484335B2 (ja) 部品実装装置及び吸着位置設定方法
CN107926154B (zh) 元件安装装置
JP7298017B2 (ja) 画像処理装置および実装装置、画像処理方法
JP4744241B2 (ja) 電子部品装着装置
US11382247B2 (en) Mounting device, detection device, and detection method
US10932401B2 (en) Component mounting machine
US10015920B2 (en) Component mounting method in component mounting system
JP5158686B2 (ja) 吸着部品表裏判定装置及び吸着部品表裏判定方法
JP7423741B2 (ja) 画像処理装置および画像処理方法
CN110771277B (zh) 对基板作业装置
JP4707607B2 (ja) 部品認識データ作成用画像取得方法及び部品実装機
JP6831446B2 (ja) 対基板作業装置および画像処理方法
JP7423797B2 (ja) 画像処理装置および実装装置、画像処理方法
JP2010282536A (ja) 画像処理方法及び画像処理装置
JP7384916B2 (ja) 情報処理装置及び実装装置
JP6999422B2 (ja) 実装装置及び実装方法
JPWO2017017788A1 (ja) 部品実装機
JP2023152382A (ja) 画像処理装置および部品実装機並びに画像処理方法
JP4922460B2 (ja) 電子部品装着装置
JP6510282B2 (ja) 部品実装装置
JP7124126B2 (ja) 部品実装装置
WO2023248281A1 (ja) 検査装置、実装装置および検査方法
JP6276397B2 (ja) 部品実装システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220801

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230822

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240117

R150 Certificate of patent or registration of utility model

Ref document number: 7423741

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150