JP5239314B2 - 物体認識方法およびこの方法を用いた基板外観検査装置 - Google Patents
物体認識方法およびこの方法を用いた基板外観検査装置 Download PDFInfo
- Publication number
- JP5239314B2 JP5239314B2 JP2007307346A JP2007307346A JP5239314B2 JP 5239314 B2 JP5239314 B2 JP 5239314B2 JP 2007307346 A JP2007307346 A JP 2007307346A JP 2007307346 A JP2007307346 A JP 2007307346A JP 5239314 B2 JP5239314 B2 JP 5239314B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- region
- color
- color difference
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Electric Connection Of Electric Components To Printed Circuits (AREA)
- Supply And Installment Of Electrical Components (AREA)
Description
これらの点を考慮して2値化しきい値を設定するには、経験が必要であるため、熟練した作業者でなければ作業を行うことはできない。しかし、熟練者にとっても、非常に困難な作業であり、多大な労力がかかる。
この基板外観検査装置(以下、単に「検査装置」という。)は、はんだ付け後のプリント基板を対象に、各部品の接続状態の適否を検査するためのもので、カメラ1、照明装置2、Xステージ部3、Yステージ部4、およびコンピュータによる制御部50を含む制御処理装置5などにより構成される。このほか、図1には示していないが、この検査装置には、検査対象の基板を支持するための基板支持テーブルや、基板の搬出入機構などが設けられる。
Xステージ部3は、カメラ1および照明装置2を基板支持テーブルの上方で支持し、Yステージ部4は基板支持テーブルを支持する。いずれのステージ部3,4とも、その支持対象を、一軸に沿って移動させることが可能である。また一方のステージ部による移動の方向は、他方のステージ部による移動の方向に直交する関係にある。
照明装置2は、外形が円筒状または多角形状のケース体20を本体部とする。ケース体20の中心部にはカメラの覗き穴22が形成され、内部には、所定の高さ位置に、複数のLED21が配線された基板23が、面を水平にした状態で配備される。カメラ1は、その受光面を真下に向け、かつ光軸Lを覗き穴22の中心に合わせた状態にして配備される。カメラ1と照明装置2との位置関係は常にこの状態に維持される。
LED21の同心円の径方向では、3種類のLED21R,21G,21Bが、この順序で繰り返し配列される。さらに、ここには図示していないが、1つ1つの円の円周上でも、同様に、各LED21R,21G,21Bが順番に配列されている。
このように、領域A,B,C毎に異なる種類のLEDを点灯させる制御と、壁部25,26および光拡散部材24の存在によって、各領域A,B,Cは、「互いに異なる色彩光を発し、撮像対象領域に対してそれぞれ仰角が異なる方向に配置された複数の照明部」として機能するようになる。よって、以下の説明では、各領域A,B,Cを「照明部A,B,C」と言い換えることにする。
先にも述べたように、この実施例では、1つの撮像対象領域を2回撮像するようにしている。以下、1回目の撮像を「第1撮像」といい、2回目の撮像を「第2撮像」という。
図3では、上段に、基板S上のチップ部品15を対象に、第1撮像および第2撮像を行う例を示すとともに、中段に、これらの撮像により生成されるR−TOP画像およびB−TOP画像を示している。ここでは、チップ部品15のフィレットに符号10を、部品電極に符号11を、それぞれ付すとともに、対比の便宜のために、各カラー画像中のチップ部品、フィレット、および部品電極を、同様の符号15,10,11で示す。また、これらのカラー画像では、背景部分(基板の地の色が現れている部分)を白として、フィレット10および電極11に現れる色彩を、赤、緑、青のうちの一番優勢になる色彩に対応するパターンにより示す。
これに対し、基板Sに対し仰角が最も小さい方向から照射される照明部Cからの光は、急峻な面で正反射したときにカメラ1に入射する。よって、フィレット10中の急峻な面は、照明部Cの発光色に近い色彩で表される。
この処理では、先の図3に示した方法で第1撮像および第2撮像を行うことによってR−TOP画像およびB−TOP画像を生成し(図4の(1)(2))、これらの画像間の色差画像を生成し(図4の(3))、この色差画像からはんだ付け部位に対応する領域(以下、「はんだ領域」という。)を特定する。なお、チップ部品15のはんだ領域には、フィレット10のほか、部品電極11が含まれるものとする。
上記のような処理により、実装時の部品の位置ずれやはんだ付けの際の熱による基板の収縮等によって、各基板におけるはんだ付け部位の位置にばらつきが生じても、問題なく、正しい位置にランドウィンドウを設定することができる。
フィレットの検査に青色領域の面積を使用するのは、急峻な傾斜面が十分な大きさで形成されているかどうかによってフィレットの形状の良否が決まるからである。図4に示した処理によれば、フィレット10に対応する範囲がすべて含まれるようにランドウィンドウを設定することができるので、フィレットの急峻な傾斜面の面積を正確に求めて、確度の高い判定を行うことができる。なお、フィレット検査以外の検査(たとえばぬれ不良の検出)を行う場合には、青色領域以外の色領域も検出する必要がある。
また、上記の処理に代えて、R−TOP画像やB−TOP画像から、それぞれの部品の検索範囲毎に画像を切り出して部品単位の色差画像を生成し、それぞれの色差画像をテンプレートマッチングの対象としてもよい。
さらに、この実施例では、特定されたはんだ領域内の各白画素を黒画素に変更することにより、はんだ領域を認識対象から除外する(図5の(6)(7))。そして、この処理後も色差画像に残っている白画素領域を、異物として検出する。
ただし、正規の部位に対応する白画素領域でも、テンプレートとの不整合によって若干の白画素が残る可能性があるので、後記するように、残された白画素領域のうち、面積が所定のしきい値を上回るものを異物と認定するのが望ましい。
このように、基板全体を対象にした異物検出を行えば、鏡面反射性の高い部位を含む異物を、その場所や形状を問わずに検出することが可能になる。
なお、この図7および以下の図8,9のフローチャートは、いずれも1枚の基板に対する処理の手順を示すもので、基板Sが搬入される毎に、同じ手順が繰り返し実行される。また、各図とも、流れが複雑になるのを防止するために、基板Sに設定される撮像対象領域を1つに限定しているが、複数の撮像対象領域が割り付けられる場合には、これらの領域毎に、図示された手順を実行する必要がある。
この処理でも、第1撮像および第2撮像を実行した後に、これらの撮像により生成されたR−TOP画像とB−TOP画像との色差画像を生成する(ST201〜203)。
すべての部品に対する処理が終了すると、上記の判定結果を出力し(ST215)、検査を終了する。
2 照明装置
5 制御処理装置
50 制御部
10,12 フィレット
11,61 部品電極
62 ブリッジ
A,B,C 照明部
S 基板
Claims (7)
- 互いに色彩が異なる光を発し、撮像対象領域に対してそれぞれ仰角が異なる方向に配置された複数の照明部を具備する照明装置と、各照明部からの照明光に対する前記撮像対象領域からの正反射光を入射させることが可能な関係をもって前記撮像対象領域に位置合わせされたカラー画像用の撮像装置とを用いて前記撮像対象領域を撮像し、生成されたカラー画像を処理することによって、前記撮像対象領域に含まれる鏡面反射性の高い物体を認識する方法であって、
前記照明装置の複数の照明部のうちの少なくとも1つを、発光色の切り替えが可能に構成し、
前記照明装置による照明下での撮像を撮像対象領域を変更せずに2回実行するとともに、前記発光色の切り替えが可能な所定数の照明部が2回目の撮像時に1回目の撮像時とは異なる色彩で発光するように、前記2回の撮像における照明装置の動作を制御し、
前記2回の撮像により生成された2枚のカラー画像の一部または全体を対象に、各画像間の色差が所定のしきい値を超えた領域を表す色差画像を生成し、この色差画像を前記撮像対象領域内に存在すべき鏡面反射性の高い物体を表すデータとしてあらかじめ登録されたモデルデータと照合して、前記しきい値を超える色差が生じた領域の中からモデルデータに適合する領域およびモデルデータに適合しない領域の少なくとも一方を検出し、その検出結果に基づき前記撮像対象領域内の物体を認識する、
ことを特徴とする物体認識方法。 - 請求項1に記載された方法において、
はんだ付け後の部品実装基板を対象に前記2回の撮像を実行し、各撮像により得たカラー画像から生成した色差画像を、はんだ付け部位を表すモデルデータと照合することにより、前記しきい値を超える色差が生じた領域の中から前記モデルデータに適合する領域を検出し、検出された領域をはんだ付け部位に対応するものとして認識する、物体認識方法。 - 請求項2に記載された方法において、
前記色差画像中で前記しきい値を超える色差が生じた領域の中に、はんだ付け部位に対応する領域として特定された以外の領域が存在するとき、その領域を異物に対応するものとして認識する、物体認識方法。 - 請求項1に記載された方法において、
はんだ付け後の部品実装基板を対象に前記2回の撮像を実行し、各撮像により得たカラー画像から生成した色差画像のうち複数の部品電極を含む範囲を、これらの電極の配置パターンを表すモデルデータと照合することにより、照合範囲内で前記しきい値を超える色差が生じた領域の中から前記モデルデータに適合しない領域を検出し、当該領域が検出されたとき、その領域を異物に対応するものとして認識する、物体認識方法。 - 互いに色彩が異なる光を発し、撮像対象領域に対してそれぞれ仰角が異なる方向に配置された複数の照明部を具備する照明装置と、カラー画像用の撮像装置とが、部品実装基板の上方に各照明部からの照明光に対する基板からの正反射光を撮像装置に入射させることが可能な関係をもって配備され、前記撮像装置および照明装置により生成された基板の画像を処理することによって、部品の実装状態の適否を判別する装置であって、
前記照明装置の複数の照明部のうちの少なくとも1つは、発光色を切り替えることが可能に構成されており、
検査対象の基板に実装される部品のはんだ付け部位の検査に用いられる検査基準データを登録するための登録手段、
前記照明装置による照明下で撮像対象領域を変更せずに前記撮像装置に2回の撮像を行わせるとともに、前記発光色の切り替えが可能な所定数の照明部が、2回目の撮像時に1回目の撮像時とは異なる色彩で発光するように、前記2回の撮像における照明装置の動作を制御する制御手段、
前記2回の撮像により生成された2枚のカラー画像の一部または全体を対象に、各画像間の色差が所定のしきい値を超えた領域を表す色差画像を生成する色差画像生成手段、
前記色差画像が生成される範囲に含まれるはんだ付け部位を表すモデルデータを用いて前記色差画像を照合することにより、色差が前記しきい値を超えた領域の中から前記モデルデータに適合する領域をはんだ付け部位として検出する領域検出手段、
検出されたはんだ付け部位について、前記2枚のカラー画像のいずれか一方の当該はんだ付け部位の画像を処理対象として、前記登録手段に登録された検査基準データを用いて前記処理対象の画像を処理することによって、前記はんだ付け部位におけるはんだの表面状態を判別するはんだ検査手段、の各手段を具備する、
基板外観検査装置。 - 前記色差画像において、前記はんだ付け部位として検出された領域以外に前記しきい値を超える色差が生じた領域があるか否かによって、検査対象の基板に異物が存在するか否かを判別する手段を、さらに具備する、請求項5に記載された基板外観検査装置。
- 前記基板上の複数の電極について、各電極の配置パターンを表すモデルデータを用いて、色差画像中の各電極が含まれる範囲を前記モデルデータと照合することによって、前記しきい値を超える色差が生じた領域の中から各電極に対応する領域を検出し、検出された領域以外に前記しきい値を超える色差が生じた領域があるか否かによって、検査対象の基板に異物が存在するか否かを判別する手段を、さらに具備する、請求項5または6に記載された基板外観検査装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007307346A JP5239314B2 (ja) | 2007-11-28 | 2007-11-28 | 物体認識方法およびこの方法を用いた基板外観検査装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007307346A JP5239314B2 (ja) | 2007-11-28 | 2007-11-28 | 物体認識方法およびこの方法を用いた基板外観検査装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009128345A JP2009128345A (ja) | 2009-06-11 |
JP5239314B2 true JP5239314B2 (ja) | 2013-07-17 |
Family
ID=40819399
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007307346A Active JP5239314B2 (ja) | 2007-11-28 | 2007-11-28 | 物体認識方法およびこの方法を用いた基板外観検査装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5239314B2 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5338773B2 (ja) * | 2010-08-26 | 2013-11-13 | パナソニック株式会社 | 部品実装用装置および撮像用の照明装置ならびに照明方法 |
JP5338772B2 (ja) * | 2010-08-26 | 2013-11-13 | パナソニック株式会社 | 部品実装用装置および撮像用の照明装置ならびに照明方法 |
JP5582932B2 (ja) * | 2010-09-16 | 2014-09-03 | 日東電工株式会社 | 検査装置、および、配線回路基板の製造方法 |
JP5900037B2 (ja) * | 2012-03-08 | 2016-04-06 | オムロン株式会社 | 画像処理装置およびその制御方法 |
JP5740370B2 (ja) * | 2012-09-04 | 2015-06-24 | 株式会社東芝 | 領域特定装置、方法、及びプログラム |
KR101590831B1 (ko) | 2013-04-02 | 2016-02-03 | 주식회사 고영테크놀러지 | 기판의 이물질 검사방법 |
JP2015106603A (ja) * | 2013-11-29 | 2015-06-08 | スタンレー電気株式会社 | 部品装着用光照射撮像装置 |
KR20150072090A (ko) | 2013-12-19 | 2015-06-29 | 삼성전자주식회사 | 관심 영역 검출 장치 및 그 방법 |
JP6735675B2 (ja) * | 2014-02-27 | 2020-08-05 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | 正反射の検出と低減のためのシステムおよび方法 |
JP6734017B2 (ja) * | 2015-03-19 | 2020-08-05 | 日本電気株式会社 | 識別装置、識別方法およびトレーサビリティシステム |
US9734433B1 (en) * | 2015-03-25 | 2017-08-15 | Amazon Technologies, Inc. | Estimating photometric properties using a camera and a display screen |
JP6834842B2 (ja) | 2017-08-10 | 2021-02-24 | オムロン株式会社 | 設定支援装置、画像処理システムおよび設定支援プログラム |
JP6834843B2 (ja) | 2017-08-10 | 2021-02-24 | オムロン株式会社 | 画像処理システム、設定支援装置および設定支援プログラム |
JP7027926B2 (ja) * | 2018-02-07 | 2022-03-02 | オムロン株式会社 | 画像検査装置および照明装置 |
JP7010057B2 (ja) | 2018-02-26 | 2022-01-26 | オムロン株式会社 | 画像処理システムおよび設定方法 |
JP7142092B2 (ja) * | 2018-07-12 | 2022-09-26 | 株式会社Fuji | テンプレート作成装置および部品装着機 |
CN112867906B (zh) * | 2018-10-23 | 2022-11-22 | 株式会社富士 | 元件数据生成方法以及元件安装机 |
WO2022176686A1 (ja) * | 2021-02-22 | 2022-08-25 | パナソニックIpマネジメント株式会社 | 異物を検出する方法および装置 |
DE112021007148T5 (de) * | 2021-02-24 | 2023-12-07 | Fuji Corporation | Fremdkörpererkennungsvorrichtung und Fremdkörpererkennungsverfahren |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62194444A (ja) * | 1986-02-17 | 1987-08-26 | Omron Tateisi Electronics Co | 部品実装基板検査装置 |
JP2002296016A (ja) * | 2001-03-29 | 2002-10-09 | Sumitomo Bakelite Co Ltd | プリント回路板の保護層形状認識方法及び検査方法 |
JP2006047290A (ja) * | 2004-06-30 | 2006-02-16 | Omron Corp | 基板検査用の画像生成方法、基板検査装置、および基板検査用の照明装置 |
-
2007
- 2007-11-28 JP JP2007307346A patent/JP5239314B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2009128345A (ja) | 2009-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5239314B2 (ja) | 物体認識方法およびこの方法を用いた基板外観検査装置 | |
JP6945245B2 (ja) | 外観検査装置 | |
US7505149B2 (en) | Apparatus for surface inspection and method and apparatus for inspecting substrate | |
KR100777547B1 (ko) | 결함 검사 방법 및 그 방법을 이용한 결함 검사 장치 | |
TW583389B (en) | A surface conduction examination method and a substrate examination device | |
US9075026B2 (en) | Defect inspection device and defect inspection method | |
US7355692B2 (en) | System and method for inspecting electrical circuits utilizing reflective and fluorescent imagery | |
JP2009042089A (ja) | 基板外観検査装置 | |
JPH06323824A (ja) | バンプ外観検査方法およびバンプ外観検査装置 | |
JP5399205B2 (ja) | 被検査体の検査装置、及び電子基板の位置補正装置 | |
JP2010071844A (ja) | 基板外観検査装置、およびはんだフィレットの高さ計測方法 | |
KR20160108644A (ko) | 디바이스 결함 검출장치 | |
JPH0797022B2 (ja) | 形状測定装置、形状測定方法、および形状測定装置の校正方法 | |
JP3235387B2 (ja) | 照明条件設定支援装置および方法 | |
JP2006251561A (ja) | 欠陥画素リペア方法 | |
JP3599023B2 (ja) | はんだ検査方法およびこの方法を用いた基板検査装置 | |
JP2016157720A (ja) | ボンディングワイヤの検出方法及びボンディングワイヤの検出装置 | |
JP2008216180A (ja) | 表面状態検査方法および表面状態検査装置 | |
JPH08145903A (ja) | 半田付け検査方法と穴空き並びにリード抜け検査方法 | |
JP4216485B2 (ja) | パターン検査方法およびその装置 | |
JP2008292398A (ja) | 部品電極の浮き不良の検査方法および基板検査装置 | |
JP5921190B2 (ja) | 画像処理装置及び画像処理方法 | |
JP4967132B2 (ja) | 対象物表面の欠陥検査方法 | |
JPH10247669A (ja) | ボンディングワイヤ検査装置および方法 | |
WO2018146887A1 (ja) | 外観検査装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100907 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120509 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120703 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120817 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130318 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160412 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5239314 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |