JP6838175B2 - 部品画像認識用学習済みモデル作成システム及び部品画像認識用学習済みモデル作成方法 - Google Patents
部品画像認識用学習済みモデル作成システム及び部品画像認識用学習済みモデル作成方法 Download PDFInfo
- Publication number
- JP6838175B2 JP6838175B2 JP2019570235A JP2019570235A JP6838175B2 JP 6838175 B2 JP6838175 B2 JP 6838175B2 JP 2019570235 A JP2019570235 A JP 2019570235A JP 2019570235 A JP2019570235 A JP 2019570235A JP 6838175 B2 JP6838175 B2 JP 6838175B2
- Authority
- JP
- Japan
- Prior art keywords
- component
- trained model
- image recognition
- image
- trained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 29
- 238000004519 manufacturing process Methods 0.000 claims description 40
- 230000002159 abnormal effect Effects 0.000 claims description 34
- 238000007689 inspection Methods 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 20
- 239000000463 material Substances 0.000 claims description 4
- 238000001179 sorption measurement Methods 0.000 description 53
- 230000007547 defect Effects 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 229910000679 solder Inorganic materials 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 208000028752 abnormal posture Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
- H05K13/08—Monitoring manufacture of assemblages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Operations Research (AREA)
- Manufacturing & Machinery (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Supply And Installment Of Electrical Components (AREA)
- Image Analysis (AREA)
Description
まず、図1に基づいて部品実装ライン10の構成を説明する。
図4の部品吸着姿勢判別プログラムは、生産中に各部品実装機12の吸着ノズル31に吸着した部品を部品撮像用カメラ18で撮像するタイミングになる毎に各部品実装機12の制御装置17によって実行される。
図5の部品別学習済みモデル作成プログラムは、学習用コンピュータ23が所定の周期で繰り返し実行する。学習用コンピュータ23が本プログラムを起動すると、まず、ステップ201で、各部品実装機12の制御装置17又は生産管理用コンピュータ21から部品の種類毎に正常吸着/異常吸着のサンプル部品画像を収集する。そして、次のステップ202で、検査機14から検査結果の情報を取得する。
Claims (9)
- 部品実装機の吸着ノズルに吸着した部品又は回路基板に実装した部品を撮像対象とし、この撮像対象をカメラで撮像して画像認識する際に使用する学習済みモデルを作成する部品画像認識用学習済みモデル作成システムにおいて、
基準となる部品の画像認識に使用する基準学習済みモデルを取得するコンピュータを備え、
前記コンピュータは、前記基準となる部品に対して所定の類似関係がある部品の種類毎にサンプル部品画像を収集して当該部品の種類毎に当該サンプル部品画像を前記基準学習済みモデルの教師データとして追加して再学習することで当該部品の種類毎に当該部品の画像認識に用いる部品別学習済みモデルを作成する、部品画像認識用学習済みモデル作成システム。 - 前記コンピュータによって前記部品の種類毎に作成した前記部品別学習済みモデルは、当該部品の種類毎に用意された画像処理用部品形状データに含まれる、請求項1に記載の部品画像認識用学習済みモデル作成システム。
- 前記基準となる部品に対して所定の類似関係がある部品とは、前記基準となる部品とサイズ、色、素材、製造会社、製造ロットのいずれかが違っていても部品の形状が同一又は類似している部品である、請求項1又は2に記載の部品画像認識用学習済みモデル作成システム。
- 前記コンピュータは、生産中に部品実装機のカメラ又は検査機のカメラで前記撮像対象を撮像した画像を前記サンプル部品画像として収集する、請求項1乃至3のいずれかに記載の部品画像認識用学習済みモデル作成システム。
- 前記基準学習済みモデル及び前記部品別学習済みモデルは、前記吸着ノズルに吸着した部品の吸着姿勢が正常吸着か異常吸着かを判別する学習済みモデルである、請求項1乃至4のいずれかに記載の部品画像認識用学習済みモデル作成システム。
- 前記基準学習済みモデル及び前記部品別学習済みモデルは、前記吸着ノズルに吸着した部品の有無を判別する学習済みモデルである、請求項1乃至4のいずれかに記載の部品画像認識用学習済みモデル作成システム。
- 前記基準学習済みモデル及び前記部品別学習済みモデルは、前記回路基板に実装した部品の有無を判別する学習済みモデルである、請求項1乃至4のいずれかに記載の部品画像認識用学習済みモデル作成システム。
- 前記コンピュータは、作成した前記部品別学習済みモデルをそれを使用する部品実装機又は検査機へ転送する、請求項1乃至7のいずれかに記載の部品画像認識用学習済みモデル作成システム。
- 部品実装機の吸着ノズルに吸着した部品又は回路基板に実装した部品を撮像対象とし、この撮像対象をカメラで撮像して画像認識する際に使用する学習済みモデルを作成する部品画像認識用学習済みモデル作成方法において、
基準となる部品の画像認識に使用する基準学習済みモデルを取得する工程と、
前記基準となる部品に対して所定の類似関係がある部品の種類毎にサンプル部品画像を収集する工程と、
前記部品の種類毎に取得した前記サンプル部品画像を前記基準学習済みモデルの教師データとして追加して再学習することで当該部品の種類毎に当該部品の画像認識に用いる部品別学習済みモデルを作成する工程と
を含む、部品画像認識用学習済みモデル作成方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/004555 WO2019155593A1 (ja) | 2018-02-09 | 2018-02-09 | 部品画像認識用学習済みモデル作成システム及び部品画像認識用学習済みモデル作成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019155593A1 JPWO2019155593A1 (ja) | 2020-10-22 |
JP6838175B2 true JP6838175B2 (ja) | 2021-03-03 |
Family
ID=67549304
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019570235A Active JP6838175B2 (ja) | 2018-02-09 | 2018-02-09 | 部品画像認識用学習済みモデル作成システム及び部品画像認識用学習済みモデル作成方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11386546B2 (ja) |
EP (1) | EP3751976B1 (ja) |
JP (1) | JP6838175B2 (ja) |
CN (1) | CN111656883B (ja) |
WO (1) | WO2019155593A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11688067B2 (en) * | 2019-07-12 | 2023-06-27 | Bruker Nano, Inc. | Methods and systems for detecting defects in devices using X-rays |
JP2021135622A (ja) * | 2020-02-25 | 2021-09-13 | 日本サポートシステム株式会社 | 情報処理装置、検査システム及びプログラム |
JP7482662B2 (ja) * | 2020-03-25 | 2024-05-14 | 東京エレクトロン株式会社 | 異常検出装置及び異常検出方法 |
US20230315425A1 (en) * | 2020-07-03 | 2023-10-05 | Sony Group Corporation | Information processing apparatus, information processing method, information processing system, and program |
JP2022141065A (ja) * | 2021-03-15 | 2022-09-29 | オムロン株式会社 | 検査システム、検査管理装置、検査プログラム作成方法、及びプログラム |
WO2023008446A1 (ja) | 2021-07-26 | 2023-02-02 | 京セラ株式会社 | 学習済みモデル生成方法、ユーザ環境推定方法、学習済みモデル生成装置、ユーザ環境推定装置、及び学習済みモデル生成システム |
WO2023037410A1 (ja) * | 2021-09-07 | 2023-03-16 | ヤマハ発動機株式会社 | 部品実装システム |
WO2023195173A1 (ja) * | 2022-04-08 | 2023-10-12 | 株式会社Fuji | 部品実装システム及び画像分類方法 |
WO2024079882A1 (ja) * | 2022-10-14 | 2024-04-18 | 株式会社Fuji | 生産支援装置 |
WO2024079883A1 (ja) * | 2022-10-14 | 2024-04-18 | 株式会社Fuji | 生産支援装置 |
WO2024121970A1 (ja) * | 2022-12-07 | 2024-06-13 | 株式会社Fuji | 良否判定装置および良否判定方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002088688A1 (en) * | 2001-05-02 | 2002-11-07 | Teradyne, Inc. | Inspection system using dynamically obtained values and related techniques |
US6941288B2 (en) | 2002-04-08 | 2005-09-06 | Shih-Jong J. Lee | Online learning method in a decision system |
JP4514230B2 (ja) | 2006-11-22 | 2010-07-28 | 富士機械製造株式会社 | 部品吸着姿勢判別方法及び部品吸着姿勢判別システム |
JP4998148B2 (ja) | 2007-08-28 | 2012-08-15 | パナソニック株式会社 | 部品実装装置 |
JP5182121B2 (ja) * | 2009-01-27 | 2013-04-10 | オムロン株式会社 | 基板外観検査用のライブラリデータの作成方法および検査データ作成方法 |
JP5948797B2 (ja) | 2011-11-07 | 2016-07-06 | オムロン株式会社 | 検査結果の目視確認作業の支援用のシステムおよび装置ならびに方法 |
JP6075910B2 (ja) * | 2012-07-25 | 2017-02-08 | Juki株式会社 | 情報管理システムおよび情報提供方法 |
JP6140438B2 (ja) * | 2012-12-20 | 2017-05-31 | 富士機械製造株式会社 | ノズル検査装置及びノズル検査方法 |
US11357149B2 (en) * | 2015-05-21 | 2022-06-07 | Fuji Corporation | Component orientation determination data creation device and component orientation determination data creation method |
US10380457B2 (en) * | 2015-11-09 | 2019-08-13 | Fuji Corporation | Lead tip position image recognition method and lead tip position image recognition system |
KR101893831B1 (ko) * | 2016-10-20 | 2018-08-31 | 주식회사 고영테크놀러지 | 기판 검사장치 및 이를 이용한 기판 검사방법 |
JP6723373B2 (ja) * | 2016-11-14 | 2020-07-15 | 株式会社Fuji | 保存画像の再分類システム及び再分類方法 |
JP6983524B2 (ja) * | 2017-03-24 | 2021-12-17 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
US11144786B2 (en) * | 2017-11-02 | 2021-10-12 | Canon Kabushiki Kaisha | Information processing apparatus, method for controlling information processing apparatus, and storage medium |
US11019761B2 (en) * | 2018-03-26 | 2021-05-25 | Panasonic Intellectual Property Management Co., Ltd. | Mounting head and component mounter |
USPP32082P3 (en) * | 2018-07-31 | 2020-08-18 | Royal Super Fruits B.V. | Aristotelia plant named ‘VB1’ |
-
2018
- 2018-02-09 EP EP18905642.7A patent/EP3751976B1/en active Active
- 2018-02-09 JP JP2019570235A patent/JP6838175B2/ja active Active
- 2018-02-09 US US16/963,988 patent/US11386546B2/en active Active
- 2018-02-09 CN CN201880087517.5A patent/CN111656883B/zh active Active
- 2018-02-09 WO PCT/JP2018/004555 patent/WO2019155593A1/ja unknown
Also Published As
Publication number | Publication date |
---|---|
CN111656883A (zh) | 2020-09-11 |
EP3751976B1 (en) | 2024-06-26 |
WO2019155593A1 (ja) | 2019-08-15 |
CN111656883B (zh) | 2021-07-30 |
US20210035284A1 (en) | 2021-02-04 |
EP3751976A1 (en) | 2020-12-16 |
JPWO2019155593A1 (ja) | 2020-10-22 |
US11386546B2 (en) | 2022-07-12 |
EP3751976A4 (en) | 2021-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6838175B2 (ja) | 部品画像認識用学習済みモデル作成システム及び部品画像認識用学習済みモデル作成方法 | |
CN107734955B (zh) | 表面安装线的检查装置、品质管理系统以及记录介质 | |
JP6723373B2 (ja) | 保存画像の再分類システム及び再分類方法 | |
US6748104B1 (en) | Methods and apparatus for machine vision inspection using single and multiple templates or patterns | |
US10366484B2 (en) | Inspection method, inspection apparatus, processing apparatus, and recording medium for detecting defects of a work | |
US20060075631A1 (en) | Pick and place machine with improved component pick up inspection | |
US20220284699A1 (en) | System and method of object detection using ai deep learning models | |
KR20210038211A (ko) | 이미지 마스킹을 이용한 불량 검사 방법 | |
KR102228957B1 (ko) | 인쇄 회로 기판 검사 장치, 스크린 프린터의 결함 유형 결정 방법 및 컴퓨터 판독 가능한 기록 매체 | |
CN111223081A (zh) | 基于深度学习的零件开孔识别与检测方法及系统 | |
CN117409005B (zh) | 基于图像的收板机用不良品检测系统及方法 | |
JP5615076B2 (ja) | 部品有無判定装置及び部品有無判定方法 | |
CN110516375B (zh) | 一种异常板卡的检测方法、装置、电子设备及存储介质 | |
US7551765B2 (en) | Electronic component detection system | |
JP2020197983A (ja) | 対象物の計測方法、計測装置、プログラム、およびコンピュータ読取り可能な記録媒体 | |
CN111460198A (zh) | 一种图片时间戳的审核方法及装置 | |
KR20190119801A (ko) | 차량 헤드라이트 얼라인먼트 보정 및 분류 방법 및 이를 이용한 차량 헤드라이트 불량검사 방법 | |
TWI549097B (zh) | 電子元件外觀影像檢測方法及其電腦可讀媒體 | |
CN109624502B (zh) | 一种高效低耗损印刷制品生产系统及方法 | |
JP5778685B2 (ja) | ボールグリッドアレイデバイスの位置合わせ及び検査のためのシステム及び方法 | |
Sun et al. | Further development of adaptable automated visual inspection—part I: concept and scheme | |
CN117078620B (zh) | Pcb焊点缺陷检测方法、装置、电子设备和存储介质 | |
WO2022181304A1 (ja) | 検査システムおよび検査プログラム | |
Zhang | Real-time Automatic Visual Inspection System for PCB Missing Footprint Detection | |
KR20240039039A (ko) | 부품 실장 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200310 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210210 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6838175 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |