JP2023507024A - 欠陥検出方法及びその装置、電子機器並びに記憶媒体 - Google Patents
欠陥検出方法及びその装置、電子機器並びに記憶媒体 Download PDFInfo
- Publication number
- JP2023507024A JP2023507024A JP2022538297A JP2022538297A JP2023507024A JP 2023507024 A JP2023507024 A JP 2023507024A JP 2022538297 A JP2022538297 A JP 2022538297A JP 2022538297 A JP2022538297 A JP 2022538297A JP 2023507024 A JP2023507024 A JP 2023507024A
- Authority
- JP
- Japan
- Prior art keywords
- feature
- map
- feature point
- point
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 186
- 230000007547 defect Effects 0.000 title claims abstract description 127
- 238000003860 storage Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 64
- 230000008569 process Effects 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims description 57
- 238000004590 computer program Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 12
- 230000005856 abnormality Effects 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 claims description 6
- 230000002950 deficient Effects 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本願実施例は、欠陥検出方法及びその装置、電子機器並びに記憶媒体を提供し、前記欠陥検出方法は、テンプレート画像の第1特徴マップ、及び検出対象画像の第2特徴マップを取得することと、第1特徴マップにおける各第1特徴点に対して、第1特徴マップにおける複数の第1特徴点から、前記第1特徴点との距離が所定条件を満たす複数の関連特徴点を決定することと、第1特徴点ごとに、決定された第1特徴点の各関連特徴点と第2特徴マップにおける目標第2特徴点との間の類似度に基づいて、前記第1特徴点に対して特徴強調処理を実行することであって、目標第2特徴点は、第2特徴マップにおける位置が前記第1特徴点とマッチングする第2特徴点であることと、前記第2特徴マップ、及び特徴強調処理後の前記第1特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定することと、を含む。【選択図】図2
Description
[関連出願への相互参照]
本願は、2020年10月30日に中国特許局に提出された、出願番号が202011191756.0である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照として本願に援用される。
本願は、2020年10月30日に中国特許局に提出された、出願番号が202011191756.0である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照として本願に援用される。
本願は、画像処理技術分野に関し、具体的には、欠陥検出方法及びその装置、電子機器並びに記憶媒体に関する。
科学技術の発展に伴い、現代の製造業におけるプリント基板(PCB:Printed circuit board)の需要も高まっている。電子機器の性能の優劣は、電子素子自体の品質と性能に影響されるだけでなく、PCBの品質にも大きく左右される。PCB欠陥検出技術は、電子システムの品質及び製造周期につながる重要な部分であり、PCBの発明以来大きな注目を集めている。現在、回路基板に対する各種機器のメーカーの要件は高まっており、より高い性能と製造効率を追求するだけでなく、回路基板の良品率などの品質要因に対する要件も厳しくなっている。
現在、PCB欠陥検出には、一般的に、自動光学検出(AOI:Automated Optical Inspection)機器が用いられ、AOI機器は、自動検出中、カメラを介してPCBを自動的にスキャンしてPCB画像を取得し、その後、PCB画像における溶接点とデータベースにおける合格PCBのテンプレート画像を比較して、PCBに存在する欠陥を検査する。
本願実施例は、少なくとも、欠陥検出方法及びその装置、電子機器並びに記憶媒体を提供する。
第1側面によれば、本願実施例は欠陥検出方法を提供し、前記欠陥検出方法は、テンプレート画像の第1特徴マップ、及び検出対象画像の第2特徴マップを取得することと、前記第1特徴マップにおける第1特徴点ごとに、前記第1特徴マップにおける複数の第1特徴点から、前記第1特徴点との距離が所定条件を満たす複数の関連特徴点を決定することと、前記第1特徴点ごとに、決定された前記第1特徴点の各関連特徴点と前記第2特徴マップにおける目標第2特徴点との間の類似度に基づいて、前記第1特徴点に対して特徴強調処理を実行することであって、前記目標第2特徴点は、前記第2特徴マップにおける位置が前記第1特徴点とマッチングする第2特徴点である、ことと、前記第2特徴マップ、及び特徴強調処理後の前記第1特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定することと、を含む。
このように、テンプレート画像の第1特徴マップに対して特徴強調を実行することにより、検出対象画像の収集ノイズ、マッチング誤差及び製造誤差による、検出対象画像とテンプレート画像との差異を減らし、検出対象画像の欠陥検出精度を向上させる。
1つの可能な実施形態では、前記各関連特徴点と前記第2特徴マップにおける目標第2特徴点との間の類似度は、以下の方式により決定され、前記方式は、前記第1特徴マップにおける前記各関連特徴点の位置、及び所定の距離閾値に基づいて、前記各関連特徴点に対応する第1特徴サブマップを取得することと、前記第2特徴マップにおける前記目標第2特徴点の位置、及び前記距離閾値に基づいて、前記目標第2特徴点に対応する第2特徴サブマップを取得することと、前記第1特徴サブマップ、及び前記第2特徴サブマップに基づいて、前記各関連特徴点と前記目標第2特徴点との間の類似度を決定することと、を含む。
1つの可能な実施形態では、前記第1特徴マップにおける前記各関連特徴点の位置、及び所定の距離閾値に基づいて、前記各関連特徴点に対応する第1特徴サブマップを取得することは、前記第1特徴マップにおいて、前記各関連特徴点を円心とし且つ前記距離閾値を半径とした第1円形領域を決定し、前記第1特徴マップにおける前記第1円形領域内の第1特徴点に基づいて、前記第1特徴サブマップを取得することを含み、前記第2特徴マップにおける前記目標第2特徴点の位置、及び前記距離閾値に基づいて、前記目標第2特徴点に対応する第2特徴サブマップを取得することは、前記第2特徴マップにおいて、前記目標第2特徴点を円心とし且つ前記距離閾値を半径とした第2円形領域を決定し、前記第2特徴マップ上の前記第2円形領域内の第2特徴点に基づいて、前記第2特徴サブマップを取得することを含む。
1つの可能な実施形態では、前記第1特徴マップにおける前記各関連特徴点の位置、及び所定の距離閾値に基づいて、前記各関連特徴点に対応する第1特徴サブマップを取得することは、前記距離閾値に基づいて、目標辺長を決定することと、前記第1特徴マップにおいて、前記各関連特徴点を中心とし且つ決定された前記目標辺長を辺長とした第1正方形領域を決定し、前記第1特徴マップ上の前記第1正方形領域内の第1特徴点に基づいて、前記第1特徴サブマップを取得することと、を含み、前記第2特徴マップにおける前記目標第2特徴点の位置、及び前記距離閾値に基づいて、前記目標第2特徴点に対応する第2特徴サブマップを取得することは、前記第2特徴マップにおいて、前記目標第2特徴点を中心とし且つ決定された前記目標辺長を辺長とした第2正方形領域を決定し、前記第2特徴マップ上の前記第2正方形領域内の第2特徴点に基づいて、前記第2特徴サブマップを取得することを含む。
1つの可能な実施形態では、前記第1特徴点ごとに、決定された前記第1特徴点の各関連特徴点と前記第2特徴マップにおける目標第2特徴点との間の類似度に基づいて、前記第1特徴点に対して特徴強調処理を実行することは、前記第1特徴点の前記各関連特徴点と前記目標第2特徴点との間の類似度、及び前記第1特徴点の複数の前記関連特徴点のそれぞれに対応する特徴値に基づいて、前記第1特徴点に対して特徴強調処理を実行することを含む。
1つの可能な実施形態では、前記第1特徴点の前記各関連特徴点と前記目標第2特徴点との間の類似度、及び前記第1特徴点の複数の前記関連特徴点のそれぞれに対応する特徴値に基づいて、前記第1特徴点に対して特徴強調処理を実行することは、前記各関連特徴点と前記目標第2特徴点との間の類似度に基づいて、複数の前記関連特徴点のそれぞれに対応する特徴値を加重加算して、第1合計値を取得することと、複数の前記関連特徴点のそれぞれに対応する類似度を加重加算して、第2合計値を取得することと、前記第1合計値と前記第2合計値との比率を、前記第1特徴点に対して特徴強調処理を実行した後の前記第1特徴点の特徴値として使用することと、を含む。
1つの可能な実施形態では、前記第2特徴マップ、及び特徴強調処理後の前記第1特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定することは、
前記第2特徴マップ、及び前記強調処理後の前記第1特徴マップに基づいて、前記第2特徴マップのアテンションマスク画像を生成することであって、前記アテンションマスク画像における任意の画素点の画素値は、前記第2特徴マップにおける位置が前記任意の第1画素点とマッチングする第2特徴点に欠陥があることを表す異常度値を表す、ことと、
前記アテンションマスク画像、及び前記強調処理後の前記第1特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定することと、を含む。
前記第2特徴マップ、及び前記強調処理後の前記第1特徴マップに基づいて、前記第2特徴マップのアテンションマスク画像を生成することであって、前記アテンションマスク画像における任意の画素点の画素値は、前記第2特徴マップにおける位置が前記任意の第1画素点とマッチングする第2特徴点に欠陥があることを表す異常度値を表す、ことと、
前記アテンションマスク画像、及び前記強調処理後の前記第1特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定することと、を含む。
1つの可能な実施形態では、前記アテンションマスク画像、及び前記強調処理後の前記第1特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定することは、
前記アテンションマスク画像と前記強調処理後の前記第1特徴マップに対して合併処理を実行して、合併特徴マップを取得することと、
前記アテンションマスク画像及び前記合併特徴マップに対して特徴融合処理を実行して、特徴融合画像を取得することと、
前記特徴融合画像に基づいて、前記検出対象画像に対応する欠陥検出結果を決定することと、を含む。
前記アテンションマスク画像と前記強調処理後の前記第1特徴マップに対して合併処理を実行して、合併特徴マップを取得することと、
前記アテンションマスク画像及び前記合併特徴マップに対して特徴融合処理を実行して、特徴融合画像を取得することと、
前記特徴融合画像に基づいて、前記検出対象画像に対応する欠陥検出結果を決定することと、を含む。
第2側面によれば、本願実施例は欠陥検出装置を更に提供し、前記欠陥検出装置は、テンプレート画像の第1特徴マップ、及び検出対象画像の第2特徴マップを取得するように構成される取得部と、前記第1特徴マップにおける第1特徴点ごとに、前記第1特徴マップにおける複数の第1特徴点から、前記第1特徴点との距離が所定条件を満たす複数の関連特徴点を決定するように構成される決定部と、前記第1特徴点ごとに、決定された前記第1特徴点の各関連特徴点と前記第2特徴マップにおける目標第2特徴点との間の類似度に基づいて、前記第1特徴点に対して特徴強調処理を実行するように構成される特徴強調処理部であって、前記目標第2特徴点は、前記第2特徴マップにおける位置が前記第1特徴点とマッチングする第2特徴点である、特徴強調処理部と、前記第2特徴マップ、及び特徴強調処理後の前記第1特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定するように構成される検出部と、を備える。
1つの可能な実施形態では、前記欠陥検出装置は更に、前記第1特徴マップにおける前記各関連特徴点の位置、及び所定の距離閾値に基づいて、前記各関連特徴点に対応する第1特徴サブマップを取得し、前記第2特徴マップにおける前記目標第2特徴点の位置、及び前記距離閾値に基づいて、前記目標第2特徴点に対応する第2特徴サブマップを取得し、前記第1特徴サブマップ、及び前記第2特徴サブマップに基づいて、前記各関連特徴点と前記目標第2特徴点との間の類似度を決定するように構成される類似度決定部を備える。
1つの可能な実施形態では、前記類似度決定部は更に、前記第1特徴マップにおいて、前記各関連特徴点を円心とし且つ前記距離閾値を半径とした第1円形領域を決定し、前記第1特徴マップにおける前記第1円形領域内の第1特徴点に基づいて、前記第1特徴サブマップを取得し、前記第2特徴マップにおいて、前記目標第2特徴点を円心とし且つ前記距離閾値を半径とした第2円形領域を決定し、前記第2特徴マップ上の前記第2円形領域内の第2特徴点に基づいて、前記第2特徴サブマップを取得するように構成される。
1つの可能な実施形態では、前記類似度決定部は更に、前記距離閾値に基づいて、目標辺長を決定し、前記第1特徴マップにおいて、前記各関連特徴点を中心とし且つ決定された前記目標辺長を辺長とした第1正方形領域を決定し、前記第1特徴マップ上の前記第1正方形領域内の第1特徴点に基づいて、前記第1特徴サブマップを取得し、前記第2特徴マップにおいて、前記目標第2特徴点を中心とし且つ決定された前記目標辺長を辺長とした第2正方形領域を決定し、前記第2特徴マップ上の前記第2正方形領域内の第2特徴点に基づいて、前記第2特徴サブマップを取得するように構成される。
1つの可能な実施形態では、前記特徴強調処理部は更に、前記第1特徴点の前記各関連特徴点と前記目標第2特徴点との間の類似度、及び前記第1特徴点の複数の前記関連特徴点のそれぞれに対応する特徴値に基づいて、前記第1特徴点に対して特徴強調処理を実行するように構成される。
1つの可能な実施形態では、前記特徴強調処理部は更に、前記各関連特徴点と前記目標第2特徴点との間の類似度に基づいて、複数の前記関連特徴点のそれぞれに対応する特徴値を加重加算して、第1合計値を取得し、複数の前記関連特徴点のそれぞれに対応する類似度を加重加算して、第2合計値を取得し、前記第1合計値と前記第2合計値との比率を、前記第1特徴点に対して特徴強調処理を実行した後の前記第1特徴点の特徴値として使用するように構成される。
1つの可能な実施形態では、前記検出部は更に、前記第2特徴マップ、及び前記強調処理後の前記第1特徴マップに基づいて、前記第2特徴マップのアテンションマスク画像を生成し、ここで、前記アテンションマスク画像における任意の画素点の画素値は、前記第2特徴マップにおける位置が前記任意の第1画素点とマッチングする第2特徴点に欠陥があることを表す異常度値であり、前記アテンションマスク画像、及び前記強調処理後の前記第1特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定するように構成される。
1つの可能な実施形態では、前記検出部は更に、前記アテンションマスク画像と前記強調処理後の前記第1特徴マップに対して合併処理を実行して、合併特徴マップを取得し、前記アテンションマスク画像及び前記合併特徴マップに対して特徴融合処理を実行して、特徴融合画像を取得し、前記特徴融合画像に基づいて、前記検出対象画像に対応する欠陥検出結果を決定するように構成される。
第3側面によれば、本願実施例は電子機器を更に提供し、前記電子機器は、互に接続されているプロセッサとメモリとを備え、前記メモリには、前記プロセッサ実行可能な機械可読命令が記憶されており、電子機器が動作するときに、前記機械可読命令が、前記プロセッサに、上記の第1側面、又は第1側面の任意の可能な実施形態における欠陥検出方法を実行させる。
第4側面によれば、本願実施例は、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体を更に提供し、当該コンピュータプログラムがプロセッサに、上記の第1側面、又は第1側面の任意の可能な実施形態における欠陥検出方法を実行させる。
第5側面によれば、本願実施例は、コンピュータ可読コードを含むコンピュータプログラムを更に提供し、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器のプロセッサに、上記の第1側面、又は第1側面の任意の可能な実施形態における欠陥検出方法を実行させる。
本願の上記した目的、特徴及び利点をより明確で理解しやすくするために、好ましい実施例を、図面と併せて、以下に詳細に説明する。
本願実施例の技術的解決策をより明確に説明するために、実施例で必要とされる図面を以上で簡単に紹介し、ここでの図面は、本明細書に組み込まれてその一部を構成し、これらの図面は、本願に準拠する実施例を示し、本明細書とともに本願の技術的解決策を説明するために使用される。以上の図面は、本願のいくつかの特定の実施例のみを示し、本願の範囲を限定するものと見なされるべきではないことを理解されたい。当業者にとっては、創造的な労力なしに、これらの図面に従って他の図面を得ることもできる。
本願実施例の目的、技術的解決策および利点をより明確にするために、以下、本願実施例における図面を参照して、本願実施例における技術的解決策を明確且つ完全に説明するが、説明された実施例は、本願実施例の一部に過ぎず、全ての実施例ではないことは明らかである。通常、本明細書の図面に記載及び図示されている本願実施例の構成要素は、様々な異なる構成で配置及び設計することができる。したがって、図面に提供される本願実施例の以下の詳細な説明は、本願の保護範囲を限定することを意図するものではなく、本願の特定の実施例を示すためのものに過ぎない。本願実施例に基づき、創造的な労力なしに当業者によって得られる他のすべての実施例は、本願の保護範囲に含まれる。
研究によれば、AOI機器を用いてPCBの欠陥検出を実行する場合、先ず、プロのエンジニアがPCB上の溶接点の位置に基づいて、PCBをプログラミングする必要があり、プログラミング後、AOI機器のカメラを介してPCBを自動的にスキャンすることによりPCB画像を取得し、その後、PCB画像内の溶接点とデータベース内の合格画像内の金属溶接点を比較する。PCB画像内の何れの金属溶接点の形状が合格画像内の対応する金属溶接点の形状と一致しない場合、当該溶接点に欠陥がある可能性があると決定し、その後、当該溶接点位置をラベリングし、それをAOI機器の表示機器を介してエンジニアに展示し、これにより、エンジニアは欠陥検出結果に基づいて後続処理を実行することができる。
しかし、実際には、PCBの製造プロセスでは、PCBの製造誤差が生じる場合が多く、更に、PCBの検出対象画像とテンプレート画像を比較するときにも、画像間のマッチング誤差が生じる可能性があり、加えて、検出対象画像の収集プロセスにおいても、収集ノイズが生じる可能性があり、これらの誤差により、現在のPCBの欠陥検出結果に多数の誤検出領域が生じ、欠陥検出の精度が低下する。
上記の研究に基づき、本願実施例は欠陥検出方法及びその装置、電子機器並びに記憶媒体を提供し、テンプレート画像の第1特徴マップに対して特徴強調を実行することにより、検出対象画像の収集ノイズ、マッチング誤差及び製造誤差による、検出対象画像とテンプレート画像との差異を減らし、検出対象画像の欠陥検出精度を向上させる。
上記の技術的解決策に存在する欠陥はすべて、発明者が実践と慎重な研究を経て得た結果であり、そのため、上記の問題の発見過程及び以下の本願実施例で提案する上記の問題の解決策はすべて、本願実施例の過程で本願に対して発明者によってなされた貢献であるべきである。
なお、以下の図面では、類似の符号及び文字は類似の要素を示し、そのため、特定の要素が1つの図面で定義されると、それ以降の図面でそれを再び定義及び説明する必要はない。
この実施例をより良く理解させるために、先ず、本願実施例で開示される欠陥検出方法を詳細に説明し、本願実施例に係る欠陥検出方法の実行主体は、一般に、一定のコンピューティング能力を備えたコンピュータ機器であり、当該コンピュータ機器は、例えば、端末機器又はサーバ又は他の処理機器を含み、端末機器は、PCB品質検出専用の機器であってもよいし、他の端末機器(例えば、コンピュータ、モバイル機器など)であってもよい。いくつかの可能な実施形態では、当該欠陥検出方法は、プロセッサがメモリに記憶されているコンピュータ可読命令を呼び出して実行することにより実現することができる。
加えて、本願実施例で提供される欠陥検出方法は、PCBの欠陥検出だけでなく、他の部品(例えば、ワークピースや機械部品など)の欠陥検出にも使用できる。
図1は、本願実施例で提供される欠陥検出システムの1つのシステムアーキテクチャの概略図であり、図1に示すように、欠陥検出システム100はサーバ10及び端末機器20を含み、サーバ10と端末機器20はネットワークを介して接続される。端末機器20は、テンプレート画像の第1特徴マップ、及び検出対象画像の第2特徴マップを取得し、第1特徴マップにおける各第1特徴点に対して、第1特徴マップにおける複数の第1特徴点から、前記第1特徴点との距離が所定条件を満たす複数の関連特徴点を決定し、第1特徴点ごとに、決定された第1特徴点の各関連特徴点と第2特徴マップにおける目標第2特徴点との間の類似度に基づいて、前記第1特徴点に対して特徴強調処理を実行し、ここで、目標第2特徴点は、前記第2特徴マップにおける位置が前記第1特徴点とマッチングする第2特徴点であり、第2特徴マップ、及び特徴強調処理後の第1特徴マップに基づいて、検出対象画像に対応する欠陥検出結果を決定するように構成される。サーバ10は、テンプレート画像及びテンプレート画像の第1特徴マップを記憶し、又は、端末機器20の取得要求に応じて、端末機器20に、必要なテンプレート画像及びテンプレート画像の第1特徴マップを送信するように構成される。
いくつかの実施例では、端末機器20は、テンプレート画像及びテンプレート画像の第1特徴マップを取得した後、テンプレート画像及びテンプレート画像の第1特徴マップの両方をサーバ10に送信してバックアップすることにより、他の端末機器が、サーバ10から当該テンプレート画像及び当該テンプレート画像の第1特徴マップを直接取得して欠陥検出を実行するようにすることができ、これによって、他の端末機器が欠陥検出を実行するときの検出効率を向上させることができる。
別のいくつかの実施例では、端末機器20が必要とするテンプレート画像及びテンプレート画像の第1特徴マップがサーバ10に、既に記憶されている場合、端末機器20は、サーバ10から必要なテンプレート画像及び当該テンプレート画像の第1特徴点を直接取得することができ、これによって、端末機器20が欠陥検出を実行するときの検出効率を向上させることができる。
以下では、PCBに対して欠陥検出を実行することを例として、本願実施例で提供される欠陥検出方法を詳細に説明する。
図2に示すように、図2は、本願実施例で提供される欠陥検出方法のフローチャートであり、前記欠陥検出方法は、ステップS101~ステップS104を含む。
ステップS101において、テンプレート画像の第1特徴マップ、及び検出対象画像の第2特徴マップを取得する。
ステップS102において、前記第1特徴マップにおける第1特徴点ごとに、前記第1特徴マップにおける複数の第1特徴点から、前記第1特徴点との距離が所定条件を満たす複数の関連特徴点を決定する。
ステップS103において、前記第1特徴点ごとに、決定された前記第1特徴点の各関連特徴点と前記第2特徴マップにおける目標第2特徴点との間の類似度に基づいて、前記第1特徴点に対して特徴強調処理を実行し、ここで、前記目標第2特徴点は、前記第2特徴マップにおける位置が前記第1特徴点とマッチングする第2特徴点である。
ステップS104において、前記第2特徴マップ、及び特徴強調処理後の前記第1特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定する。
以下では、上記のステップS101~ステップS104を詳細に説明する。
上記のステップS101において、テンプレート画像は、PCBに対して欠陥検出を実行するときに使用される、合格PCBを撮像した画像を指す。検出対象画像は、検出対象となるPCBを撮った画像を指す。
テンプレート画像の第1特徴マップ及び検出対象画像の第2特徴マップを取得する場合、例えば、特徴抽出ニューラルネットワークを用いてテンプレート画像及び検出対象画像に対して特徴抽出を実行して、テンプレート画像の第1特徴マップ及び検出対象画像の第2特徴マップを取得することができる。
1つの可能な実施形態では、同じPCBの検出対象画像に対して欠陥検出処理を実行する場合、使用されるテンプレート画像はすべて同じものであるため、テンプレート画像から第1特徴マップを1回だけ抽出し、第1特徴マップを保存することができる。複数の検出対象画像のそれぞれに対して欠陥検出処理を実行するプロセスにおいて、テンプレート画像の第1特徴マップが既に存在している場合、第1特徴マップが記憶されている記憶位置から第1特徴マップを読み取ればよく、特徴抽出ネットワークを用いて処理対象画像に対して特徴抽出処理を実行して、各処理対象画像の第2特徴マップを取得することができる。
上記のステップS102において、具体的な実施では、第1特徴点との距離が所定条件を満たす関連特徴点は、例えば、第1特徴マップにおいて、第1特徴点との距離が所定の特定の距離閾値Lより小さい第1特徴点である。
例示的に、当該距離Lは、例えば、L1距離、L2距離、ユークリッド距離、又はマンハッタン距離のうちのいずれか1つである。
第1特徴点ごとに複数の関連特徴点が決定される場合、第1特徴マップにおける所定条件を満たす全ての第1特徴点を当該関連特徴点として決定してもよいし、第1特徴マップにおける所定条件を満たす全ての第1特徴点を候補特徴点として使用してもよく、その後、ランダムサンプリング、又は均一間隔サンプリングにより、複数の候補特徴点から複数の関連特徴点を決定してもよい。
上記のステップS103では、第1特徴点のそれぞれについて、当該第1特徴点の目標第2特徴点は、第2特徴マップにおける位置が当該第1特徴点とマッチングする第2特徴点である。
第1特徴点の位置とマッチングする目標第2特徴点を決定した後、当該第1特徴点の各関連特徴点と当該目標第2特徴点との間の類似度を決定する必要がある。
図3に示すように、本願実施例は、各関連特徴点と目標第2特徴点との間の類似度を決定する具体的な方法を更に提供し、前記方法は、次のステップを含む。
ステップS201において、前記第1特徴マップにおける前記各関連特徴点の位置、及び所定の距離閾値に基づいて、前記各関連特徴点に対応する第1特徴サブマップを取得する。
ステップS202において、前記第2特徴マップにおける前記目標第2特徴点の位置、及び前記距離閾値に基づいて、前記目標第2特徴点に対応する第2特徴サブマップを取得する。
ステップS203において、前記第1特徴サブマップ、及び前記第2特徴サブマップに基づいて、前記各関連特徴点と前記目標第2特徴点との間の類似度を決定する。
ここで、上記のステップS201とステップS202との間には論理的な先後関係がない。
1つの可能な実施形態では、任意の関連特徴点に対応する第1特徴サブマップを決定する場合、例えば、前記第1特徴マップにおいて、当該任意の関連特徴点を円心とし且つ当該所定の距離閾値を半径とした第1円形領域を決定し、前記第1特徴マップ上の当該第1円形領域内の第1特徴点に基づいて、前記第1特徴サブマップを取得してもよい。
ここで、第1特徴サブマップにおける第1特徴点は、第1円形領域内にある全ての第1特徴点を含んでもよいし、第1円形領域内にある第1特徴点の一部のみを含んでもよい。
同様に、目標第2特徴点に対応する第2特徴サブマップを決定する場合、例えば、第2特徴マップにおいて、前記目標第2特徴点を円心とし且つ当該所定の距離閾値を半径とした第2円形領域を決定し、前記第2特徴マップ上の当該第2円形領域内の第2特徴点に基づいて、前記第2特徴サブマップを取得してもよい。
同様に、第2特徴サブマップにおける第2特徴点は、第2円形領域内にある全ての第2特徴点を含んでもよいし、第2円形領域内にある第2特徴点の一部のみを含んでもよい。
例示的に、第1特徴サブマップにおける第1特徴点が、第1円形領域内にある第1特徴点の一部のみを含む場合、第2特徴サブマップにおける第2特徴点も、第2円形領域内にある第2特徴点の一部のみを含み、第1特徴サブマップにおける第1特徴点の位置と第2特徴サブマップにおける第2特徴点の位置は1対1でマッチングする。
別の可能な実施形態では、任意の関連特徴点に対応する第1特徴サブマップを決定する場合、例えば、前記距離閾値に基づいて、目標辺長を決定し、前記第1特徴マップにおいて、前記各関連特徴点を中心とし且つ決定された前記目標辺長を辺長とした第1正方形領域を決定し、前記第1特徴マップ上の前記第1正方形領域内の第1特徴点に基づいて、前記第1特徴サブマップを取得してもよい。
ここで、目標辺長は、例えば、2R+1という条件を満たし、ここで、Rは上記の距離閾値を表す。
関連特徴点に対応する第1特徴サブマップを決定する場合、第1特徴サブマップに含まれる第1特徴点は、第1正方形領域内にある全ての第1特徴点を含んでもよいし、第1正方形領域内にある第1特徴点の一部のみを含んでもよい。
同様に、目標第2特徴点に対応する第2特徴サブマップを決定する場合、例えば、前記第2特徴マップにおいて、前記各目標第2特徴点を中心とし且つ決定された前記目標辺長を辺長とした第2正方形領域を決定し、前記第2特徴マップ上の前記第2正方形領域内の第2特徴点に基づいて、前記第2特徴サブマップを取得してもよい。
目標第2特徴点に対応する第2特徴サブマップを決定する場合、第2特徴サブマップに含まれる第2特徴点は、例えば、第2正方形領域内にある全ての第2特徴点を含んでもよいし、第2正方形領域内にある第2特徴点の一部のみを含んでもよい。
第1特徴サブマップ及び第2特徴サブマップを取得した後、第1特徴サブマップに基づいて関連特徴点と目標第2特徴点との間の類似度を決定する。
ここで、
は第1特徴サブマップを表し、
は第2特徴サブマップを表し、
は、第1特徴サブマップと第2特徴サブマップの行列乗算を表し、
は、行列における全ての要素の要素値の合計を表す。正規化相関係数の範囲は[-1,1]であり、この係数の値が高いほど、関連特徴点と目標第2特徴点との類似度がより高いことを意味する。
は第1特徴サブマップを表し、
は第2特徴サブマップを表し、
は、第1特徴サブマップと第2特徴サブマップの行列乗算を表し、
は、行列における全ての要素の要素値の合計を表す。正規化相関係数の範囲は[-1,1]であり、この係数の値が高いほど、関連特徴点と目標第2特徴点との類似度がより高いことを意味する。
上記のステップS103では、例えば、前記第1特徴点の前記各関連特徴点と前記目標第2特徴点との間の類似度、及び前記第1特徴点の複数の前記関連特徴点のそれぞれに対応する特徴値に基づいて、前記第1特徴点に対して特徴強調処理を実行することができる。
具体的な実施では、例示的に、第1特徴点に対して特徴強調処理を実行する場合に、例えば、次の方式を採用することができる。
前記各関連特徴点と目標第2特徴点との間の類似度に基づいて、複数の前記関連特徴点のそれぞれに対応する特徴値を加重加算して、第1合計値を取得し、複数の関連特徴点のそれぞれに対応する類似度を加重加算して、第2合計値を取得し、前記第1合計値と前記第2合計値との比率を、前記第1特徴点に対して特徴強調処理を実行した後の前記第1特徴点の特徴値として使用する。
第1特徴マップにおける全ての第1特徴点に対して特徴強調処理を実行した後、特徴強調処理後の第1特徴マップを取得する。
画像において互いに位置が近い画素点によって表される対象が同じ対象である場合、画素点の画素値は比較的類似している。任意の特徴点に対して特徴強調処理を実行するプロセスにおいて、当該任意の特徴点の関連特徴点と第2特徴マップにおける目標第2特徴点との間の類似度が比較的高い場合、当該関連特徴点と目標第2特徴点が同じ対象を表す可能性が比較的高いことを意味し、類似度が比較的低い場合、当該関連特徴点と目標第2特徴点が同じ対象を表す可能性が比較的低いことを意味する。したがって、関連特徴点と目標第2特徴点との間の類似度を用いて第1特徴点に対して特徴強調処理を実行することで、検出対象画像の収集ノイズ、マッチング誤差、及び製造誤差による、第1特徴点と目標第2特徴点との間の差異を低減し、検出対象画像及びテンプレート画像を突き合わせるときの、上記の誤差によるエラーの発生を低減する。
第2特徴マップ、及び特徴強調処理後の第1特徴マップに基づいて、検出対象画像に対応する欠陥検出結果を決定する場合、例えば、所定の分割サイズ及び所定の移動ステップ幅に従って、第1特徴マップを複数の小さい第1サブマップに分割し、第2特徴マップを複数の小さい第2サブマップに分割することができる。
各第1サブマップについて、複数の第2サブマップから、当該第1サブマップの位置に対応する目標第2サブマップを決定し、第1サブマップと対応する目標第2サブマップとの間の類似度を計算し、両者間の類似度が所定の類似度閾値より大きい場合、それは、検出対象画像において、当該目標第2サブマップに対応する領域に欠陥が存在しないことを意味し、当該両者間の類似度が当該所定の類似度閾値以下である場合、それは、検出対象画像において、当該目標第2サブマップに対応する領域に欠陥が存在することを意味する。
本願の別の実施例では、他の方法を使用して検出対象画像に対して欠陥検出を実行してもよく、例えば、事前に訓練された欠陥検出ニューラルネットワークを用い、強調後の第1特徴マップ及び第2特徴マップを当該欠陥検出ニューラルネットワークの入力として使用して、検出対象画像的欠陥検出結果を取得する。
例示的に、本願実施例は、第2特徴マップ、及び特徴強調処理後の前記第1特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定する具体的な例を提供し、前記第2特徴マップ、及び特徴強調処理後の前記第1特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定することは、
前記第2特徴マップ、及び前記強調処理後の前記第1特徴マップに基づいて、前記第2特徴マップのアテンションマスク画像を生成することであって、前記アテンションマスク画像における任意の画素点の画素値は、前記第2特徴マップにおける位置が前記任意の第1画素点とマッチングする第2特徴点に欠陥があることを表す異常度値を表す、ことと、前記アテンションマスク画像、及び前記強調処理後の前記第1特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定することと、を含む。
前記第2特徴マップ、及び前記強調処理後の前記第1特徴マップに基づいて、前記第2特徴マップのアテンションマスク画像を生成することであって、前記アテンションマスク画像における任意の画素点の画素値は、前記第2特徴マップにおける位置が前記任意の第1画素点とマッチングする第2特徴点に欠陥があることを表す異常度値を表す、ことと、前記アテンションマスク画像、及び前記強調処理後の前記第1特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定することと、を含む。
具体的な実施では、例えば、次の方式により、第2特徴マップに対応するアテンションマスク画像を取得することができる。第2特徴マップにおける各第2特徴点について、第1特徴マップの複数の第1特徴点から、当該第2特徴点に対応する複数の関連特徴点を決定し、ここで、当該第2特徴点に対応する各関連特徴点と、当該第2特徴点の位置とマッチングする目標第1特徴点との間の距離が所定条件を満たし、当該第2特徴点と各関連特徴点との間の類似度に基づいて、当該第2特徴点の異常度値を決定し、第2特徴マップにおける各第2特徴点の異常度値に基づいて、第2特徴マップに対応するアテンションマスク画像を決定する。
ここで、第2特徴点に対応する関連特徴点の具体的な決定方式、及び第2特徴点と関連特徴点との間の類似度を決定する方式は、上記のステップS102及びステップS103における関連特徴点を決定する方式と同様である。
第2特徴点と各関連特徴点との間の類似度を決定した後、例えば、複数の関連特徴点のそれぞれと当該第2特徴点との間の最大類似度を決定し、前記最大類似度に基づいて、当該第2特徴点の異常度値を決定することができる。
任意の第2特徴点の異常度値Sは、例えば、次の式(3)を満たす。
別の例として、複数の関連特徴点のそれぞれと当該第2特徴点との間の類似度に基づいて、類似度平均値を決定し、当該類似度平均値に基づいて、当該第2特徴点の異常度値を決定することができる。
第2特徴マップにおける各第2特徴点に対応する異常度値を決定した後、前記第2特徴マップにおける各第2特徴点に対応する異常度値に基づいて、前記アテンションマスク画像を取得し、この場合、例えば、全ての第2特徴点のそれぞれに対応する異常度値で構成された画像をアテンションマスク画像として使用することができる。
アテンションマスク画像を取得した後、例えば、次の方式により、前記アテンションマスク画像、及び前記強調処理後の前記第1特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定することができる。
前記アテンションマスク画像と前記強調処理後の前記第1特徴マップに対して合併処理を実行して、合併特徴マップを取得し、前記アテンションマスク画像及び前記合併特徴マップに対して特徴融合処理を実行して、特徴融合画像を取得し、前記特徴融合画像に基づいて、前記検出対象画像に対応する欠陥検出結果を決定する。
具体的な実施では、例えば、特徴強調画像と第2特徴マップを重ね合わせて、合併特徴マップを取得することができる。
アテンションマスク画像及び合併特徴マップに基づいて特徴融合画像を取得する場合、例えば、アテンションマスク画像と合併特徴マップを行列乗算して、特徴融合画像を取得することができる。
特徴融合画像を取得した後、例えば、特徴融合画像を事前に訓練された検出ネットワークに入力して、特徴融合画像に対して欠陥検出処理を実行して、検出対象画像に対応する欠陥検出結果を取得することができる。本願実施例で提供される検出ネットワークは、例えば、FCOS(Fully Convolutional One-Stage Object Detection)ネットワークを採用する。ここで、FCOSネットワークは、欠陥のカテゴリ、欠陥の中心度、第1特徴マップにおける欠陥枠の位置を検出することができる。
ここで、欠陥の中心度は、第1特徴マップにおける特定の特徴点が欠陥枠の中心である確率を表す。
第1特徴マップにおける欠陥枠の位置は、第1特徴マップに存在する欠陥の位置を指示する。
本願実施例によれば、テンプレート画像の第1特徴マップ及び検出対象画像の第2特徴マップを取得し、第1特徴マップにおける第1特徴点ごとに、第1特徴マップから、前記第1特徴点との距離が所定条件を満たす複数の関連特徴点を決定し、第1特徴点ごとに、決定された当該第1特徴点の関連特徴点と、第2特徴マップにおける当該第1特徴点の位置とマッチングする目標第2特徴点との間の類似度に基づいて、当該第1特徴点に対して特徴強調処理を実行し、第1特徴マップにおける全ての第1特徴点に対して特徴強調処理を実行した後、特徴強調処理後の第1特徴マップ及び第2特徴マップに基づいて、検出対象画像に対応する欠陥検出結果を決定する。このプロセスでは、各第1特徴マップにおける各第1特徴点に対して特徴強調処理を実行することにより、検出対象画像の収集ノイズ、マッチング誤差及び製造誤差による、検出対象画像とテンプレート画像との差異を減らし、検出対象画像の欠陥検出精度を向上させる。
本願実施例で提供される欠陥検出方法は、産業用画像関連又は人工知能(AI:artificial intelligence)教育などの技術分野に適用することができ、例えば、具体的には、産業用画像処理や埋め込み型画像検出に適用することができる。
当業者なら自明であるが、上記の具体的な実施形態における方法において、各ステップの順序は、実施プロセスを限定する厳密な実行順序を意味するのではなく、各ステップの具体的な実行順序は、その機能と可能な内部ロジックによって決定する必要がある。
同じ発明構想に基づき、本願実施例は、欠陥検出方法に対応する欠陥検出装置を更に提供し、本願実施例における装置の原理は、本願実施例に記載の欠陥検出方法と類似するため、装置の実施は方法の実施を参照することができる。
図4を参照すると、図4は、本願実施例で提供される欠陥検出装置の概略図であり、前記欠陥検出装置は、取得部31、決定部32、特徴強調処理部33、及び検出部34を備え、
前記取得部31は、テンプレート画像の第1特徴マップ、及び検出対象画像の第2特徴マップを取得するように構成され、
前記決定部32は、前記第1特徴マップにおける第1特徴点ごとに、前記第1特徴マップにおける複数の第1特徴点から、前記第1特徴点との距離が所定条件を満たす複数の関連特徴点を決定するように構成され、
前記特徴強調処理部33は、前記第1特徴点ごとに、決定された前記第1特徴点の各関連特徴点と前記第2特徴マップにおける目標第2特徴点との間の類似度に基づいて、前記第1特徴点に対して特徴強調処理を実行するように構成され、ここで、前記目標第2特徴点は、前記第2特徴マップにおける位置が前記第1特徴点とマッチングする第2特徴点であり、
前記検出部34は、特徴強調処理後の前記第1特徴マップ、及び前記第2特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定するように構成される。
前記取得部31は、テンプレート画像の第1特徴マップ、及び検出対象画像の第2特徴マップを取得するように構成され、
前記決定部32は、前記第1特徴マップにおける第1特徴点ごとに、前記第1特徴マップにおける複数の第1特徴点から、前記第1特徴点との距離が所定条件を満たす複数の関連特徴点を決定するように構成され、
前記特徴強調処理部33は、前記第1特徴点ごとに、決定された前記第1特徴点の各関連特徴点と前記第2特徴マップにおける目標第2特徴点との間の類似度に基づいて、前記第1特徴点に対して特徴強調処理を実行するように構成され、ここで、前記目標第2特徴点は、前記第2特徴マップにおける位置が前記第1特徴点とマッチングする第2特徴点であり、
前記検出部34は、特徴強調処理後の前記第1特徴マップ、及び前記第2特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定するように構成される。
1つの可能な実施形態では、前記欠陥検出装置は更に、類似度決定部35を備え、前記類似度決定部35は、前記第1特徴マップにおける前記各関連特徴点の位置、及び所定の距離閾値に基づいて、前記各関連特徴点に対応する第1特徴サブマップを取得し、前記第2特徴マップにおける前記目標第2特徴点の位置、及び前記距離閾値に基づいて、前記目標第2特徴点に対応する第2特徴サブマップを取得し、前記第1特徴サブマップ、及び前記第2特徴サブマップに基づいて、前記各関連特徴点と前記目標第2特徴点との間の類似度を決定するように構成される。
1つの可能な実施形態では、前記類似度決定部35は更に、前記第1特徴マップにおいて、前記各関連特徴点を円心とし且つ前記距離閾値を半径とした第1円形領域を決定し、前記第1特徴マップにおける前記第1円形領域内の第1特徴点に基づいて、前記第1特徴サブマップを取得し、前記第2特徴マップにおいて、前記目標第2特徴点を円心とし且つ前記距離閾値を半径とした第2円形領域を決定し、前記第2特徴マップ上の前記第2円形領域内の第2特徴点に基づいて、前記第2特徴サブマップを取得するように構成される。
1つの可能な実施形態では、前記類似度決定部35は更に、前記距離閾値に基づいて、目標辺長を決定し、前記第1特徴マップにおいて、前記各関連特徴点を中心とし且つ決定された前記目標辺長を辺長とした第1正方形領域を決定し、前記第1特徴マップ上の前記第1正方形領域内の第1特徴点に基づいて、前記第1特徴サブマップを取得し、前記第2特徴マップにおいて、前記目標第2特徴点を中心とし且つ決定された前記目標辺長を辺長とした第2正方形領域を決定し、前記第2特徴マップ上の前記第2正方形領域内の第2特徴点に基づいて、前記第2特徴サブマップを取得するように構成される。
1つの可能な実施形態では、前記特徴強調処理部33は更に、前記第1特徴点の前記各関連特徴点と前記目標第2特徴点との間の類似度、及び前記第1特徴点の複数の前記関連特徴点のそれぞれに対応する特徴値に基づいて、前記第1特徴点に対して特徴強調処理を実行するように構成される。
1つの可能な実施形態では、前記特徴強調処理部33は更に、前記各関連特徴点と前記目標第2特徴点との間の類似度に基づいて、複数の前記関連特徴点のそれぞれに対応する特徴値を加重加算して、第1合計値を取得し、複数の前記関連特徴点のそれぞれに対応する類似度を加重加算して、第2合計値を取得し、前記第1合計値と前記第2合計値との比率を、前記第1特徴点に対して特徴強調処理を実行した後の前記第1特徴点の特徴値として使用するように構成される。
1つの可能な実施形態では、前記検出部34は更に、前記第2特徴マップ、及び前記強調処理後の前記第1特徴マップに基づいて、前記第2特徴マップのアテンションマスク画像を生成し、ここで、前記アテンションマスク画像における任意の画素点の画素値は、前記第2特徴マップにおける位置が前記任意の第1画素点とマッチングする第2特徴点に欠陥があることを表す異常度値であり、前記アテンションマスク画像、及び前記強調処理後の前記第1特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定するように構成される。
1つの可能な実施形態では、前記検出部34は更に、前記アテンションマスク画像と前記強調処理後の前記第1特徴マップに対して合併処理を実行して、合併特徴マップを取得し、前記アテンションマスク画像及び前記合併特徴マップに対して特徴融合処理を実行して、特徴融合画像を取得し、前記特徴融合画像に基づいて、前記検出対象画像に対応する欠陥検出結果を決定するように構成される。
装置の各構成要素の処理過程、及び各構成要素間のインタラクション過程に関する説明は、上記の方法の実施例の関連する説明を参照することができ、ここでは詳しく説明しない。
本願実施例及び他の実施例において、「…部」は、部分回路、部分プロセッサ、部分プログラム又はソフトウェア等であってもよく、もちろん、ユニットであってもよく、モジュール又は非モジュール化のものであってもよいことを理解することができる。
本願実施例は、電子機器30(即ち、上記の端末機器20)を更に提供し、図5に示すように、図5は、本願実施例で提供される電子機器30の概略構造図であり、前記電子機器30は、
プロセッサ11及びメモリ12を備え、前記メモリ12には、前記プロセッサ11によって実行可能な機械可読命令が記憶されており、電子機器が動作するときに、前記機械可読命令が、前記プロセッサに、
テンプレート画像の第1特徴マップ、及び検出対象画像の第2特徴マップを取得し、
前記第1特徴マップにおける第1特徴点ごとに、前記第1特徴マップにおける複数の第1特徴点から、前記第1特徴点との距離が所定条件を満たす複数の関連特徴点を決定し、
前記第1特徴点ごとに、決定された前記第1特徴点の各関連特徴点と前記第2特徴マップにおける目標第2特徴点との間の類似度に基づいて、前記第1特徴点に対して特徴強調処理を実行し、ここで、前記目標第2特徴点は、前記第2特徴マップにおける位置が前記第1特徴点とマッチングする第2特徴点であり、
特徴強調処理後の前記第1特徴マップ、及び前記第2特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定する、ステップを実行させる。
プロセッサ11及びメモリ12を備え、前記メモリ12には、前記プロセッサ11によって実行可能な機械可読命令が記憶されており、電子機器が動作するときに、前記機械可読命令が、前記プロセッサに、
テンプレート画像の第1特徴マップ、及び検出対象画像の第2特徴マップを取得し、
前記第1特徴マップにおける第1特徴点ごとに、前記第1特徴マップにおける複数の第1特徴点から、前記第1特徴点との距離が所定条件を満たす複数の関連特徴点を決定し、
前記第1特徴点ごとに、決定された前記第1特徴点の各関連特徴点と前記第2特徴マップにおける目標第2特徴点との間の類似度に基づいて、前記第1特徴点に対して特徴強調処理を実行し、ここで、前記目標第2特徴点は、前記第2特徴マップにおける位置が前記第1特徴点とマッチングする第2特徴点であり、
特徴強調処理後の前記第1特徴マップ、及び前記第2特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定する、ステップを実行させる。
上記の命令の具体的な実行プロセスは、本願実施例における欠陥検出方法のステップを参照することができる。
本願実施例はコンピュータ可読記憶媒体を更に提供し、当該コンピュータ可読記憶媒体にはコンピュータプログラムが記憶されており、当該コンピュータプログラムがプロセッサに、上記の方法の実施例に記載の欠陥検出方法のステップを実行させる。ここで、当該記憶媒体は、揮発性又は不揮発性コンピュータ可読記憶媒体であってもよい。
本願実施例で提供される欠陥検出方法のコンピュータプログラム製品は、プログラムコードが記憶されているコンピュータ可読記憶媒体を含み、前記プログラムコードに含まれた命令は、上記の方法の実施例における欠陥検出方法のステップを実行するために使用され、その詳細については、上記の方法の実施例を参照されたい。
本願実施例はコンピュータプログラムを更に提供し、当該コンピュータプログラムがプロセッサに、上記の実施例における任意の方法を実行させる。当該コンピュータプログラム製品は、具体的には、ハードウェア、ソフトウェア、またはそれらの組み合わせによって実現できる。1つの可能な実施例において、前記コンピュータプログラム製品は、具体的には、コンピュータ記憶媒体として具現され、別の可能な実施例において、コンピュータプログラム製品は、具体的には、ソフトウェア開発キット(SDK:Software Development Kit)などのソフトウェア製品として具現される。
当業者なら明確に理解できるが、説明の便宜上及び簡潔にするために、上記のシステム、装置の具体的な作業プロセスは、上記の方法の実施例における対応するプロセスを参照することができる。本願で提供されたいくつかの実施例において、開示されたシステム、装置及び方法は、他の方式で実現できることを理解されたい。上記の装置の実施例は例示的なものに過ぎず、例えば、前記モジュールの分割は、論理機能の分割に過ぎず、実際の実現では、他の分割方法があり、例えば、複数のモジュール又はコンポーネントを別のシステムに統合又は集積したり、又は一部の特徴を無視したり、又は実行しないことができる。なお、表示又は議論された相互結合又は直接結合又は通信接続は、電気的、機械的又は他の形態の一部の通信インターフェース、装置又はモジュールを介した間接的な結合又は通信接続であり得る。
前記分離部材として説明したユニットは、物理的に分離されている場合とされていない場合があり、ユニットとして表示された部材は、物理ユニットである場合もそうでない場合もあり、1箇所に配置される場合もあれば、複数のネットワークユニットに分散される場合もある。実際の必要に応じて、その中のユニットの一部又は全部を選択して本実施例の解決策の目的を達成することができる。
更に、本願の各実施例における各機能ユニットを1つの処理ユニットに統合してもよいし、各ユニットが物理的に別個のものとして存在してもよいし、あるいは、2つ以上のユニットを1つのユニットに統合してもよい。
前記機能が、ソフトウェア機能ユニットの形で実現され、独立した製品として販売又は使用される場合、プロセッサによって実行可能な不揮発性コンピュータ可読記憶媒体に記憶されることができる。このような理解に基づいて、本願の技術的解決策の本質的な部分、すなわち、先行技術に貢献のある部分、又は前記技術的解決策の一部は、ソフトウェア製品の形で具現されることができ、当該コンピュータソフトウェア製品は、1つの記憶媒体に記憶され、コンピュータ機器(パーソナルコンピュータ、サーバ、又はネットワーク機器等であり得る)に、本願の各実施例に記載の方法のステップの全部又は一部を実行させるためのいくつかの命令を含む。
コンピュータ可読記憶媒体は、命令実行機器によって使用される命令を保持及び記憶することができる有形機器(揮発性記憶媒体又は不揮発性記憶媒体であり得る)であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶機器、磁気記憶機器、光学記憶機器、電磁記憶機器、半導体記憶機器又は前述の任意の適切な組み合わせであり得るが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例(非網羅的一覧)としては、Uディスク、磁気ディスク、光ディスク、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラマブル読み取り専用メモリ(EPROM又はフラッシュメモリ)、スタティックランダムアクセスメモリ(SRAM)、ポータブルコンパクトディスク読み取り専用メモリ(CD-ROM)、デジタル多用途ディスク(DVD)、メモリスティック、フロッピーディスク、機械的符号化機器(例えば、命令が記憶されたパンチカード又は溝内の凹状構造)、及び前述の任意の適切な組み合わせを含む。ここで使用されるコンピュータ可読記憶媒体は、電波や自由に伝播される他の電磁波、導波管や他の伝播媒体を介して伝播される電磁波(光ファイバーケーブルを介した光パルスなど)、又はワイヤを介して伝送される電子信号などの、一時的な信号として解釈されてはならない。
最後に留意されたいのは、上記の実施例は、本願の技術的解決策を説明するための特定の実施形態に過ぎず、本願を限定するものではなく、本願の保護範囲はこれに限定されない。上記の実施例を参照して本願を詳細に説明したが、当業者なら自明であるが、当業者は、本願に開示された技術的範囲内で、上記の各実施例に記載の技術的解決策に対して修正を行うか、その変形を容易に想到し得るか、又はその技術的特徴の一部を同等置換することができ、これらの修正、変形又は置換は、対応する技術的解決策の本質を、本願の各実施例の技術的解決策の趣旨及び範囲から逸脱させるものではなく、本願の保護範囲に含まれるべきである。したがって、本願の保護範囲は、特許請求の範囲の保護範囲に従うものとする。
本願実施例は、欠陥検出方法及びその装置、電子機器並びに記憶媒体を提供し、前記欠陥検出方法は、テンプレート画像の第1特徴マップ、及び検出対象画像の第2特徴マップを取得することと、第1特徴マップにおける各第1特徴点に対して、第1特徴マップにおける複数の第1特徴点から、前記第1特徴点との距離が所定条件を満たす複数の関連特徴点を決定することと、第1特徴点ごとに、決定された第1特徴点の各関連特徴点と第2特徴マップにおける目標第2特徴点との間の類似度に基づいて、前記第1特徴点に対して特徴強調処理を実行することであって、目標第2特徴点は、第2特徴マップにおける位置が前記第1特徴点とマッチングする第2特徴点であることと、前記第2特徴マップ、及び特徴強調処理後の前記第1特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定することと、を含む。このプロセスにより、検出対象画像の欠陥検出精度を向上させることができる。
Claims (19)
- 欠陥検出方法であって、
テンプレート画像の第1特徴マップ、及び検出対象画像の第2特徴マップを取得することと、
前記第1特徴マップにおける第1特徴点ごとに、前記第1特徴マップにおける複数の第1特徴点から、前記第1特徴点との距離が所定条件を満たす複数の関連特徴点を決定することと、
前記第1特徴点ごとに、決定された前記第1特徴点の各関連特徴点と前記第2特徴マップにおける目標第2特徴点との間の類似度に基づいて、前記第1特徴点に対して特徴強調処理を実行することであって、前記目標第2特徴点は、前記第2特徴マップにおける位置が前記第1特徴点とマッチングする第2特徴点である、ことと、
前記第2特徴マップ、及び特徴強調処理後の前記第1特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定することと、を含む、前記欠陥検出方法。 - 前記各関連特徴点と前記第2特徴マップにおける目標第2特徴点との間の類似度は、以下の方式により決定され、前記方式は、
前記第1特徴マップにおける前記各関連特徴点の位置、及び所定の距離閾値に基づいて、前記各関連特徴点に対応する第1特徴サブマップを取得することと、
前記第2特徴マップにおける前記目標第2特徴点の位置、及び前記距離閾値に基づいて、前記目標第2特徴点に対応する第2特徴サブマップを取得することと、
前記第1特徴サブマップ、及び前記第2特徴サブマップに基づいて、前記各関連特徴点と前記目標第2特徴点との間の類似度を決定することと、を含む、
請求項1に記載の欠陥検出方法。 - 前記第1特徴マップにおける前記各関連特徴点の位置、及び所定の距離閾値に基づいて、前記各関連特徴点に対応する第1特徴サブマップを取得することは、
前記第1特徴マップにおいて、前記各関連特徴点を円心とし且つ前記距離閾値を半径とした第1円形領域を決定し、前記第1特徴マップにおける前記第1円形領域内の第1特徴点に基づいて、前記第1特徴サブマップを取得することを含み、
前記第2特徴マップにおける前記目標第2特徴点の位置、及び前記距離閾値に基づいて、前記目標第2特徴点に対応する第2特徴サブマップを取得することは、
前記第2特徴マップにおいて、前記目標第2特徴点を円心とし且つ前記距離閾値を半径とした第2円形領域を決定し、前記第2特徴マップ上の前記第2円形領域内の第2特徴点に基づいて、前記第2特徴サブマップを取得することを含む、
請求項2に記載の欠陥検出方法。 - 前記第1特徴マップにおける前記各関連特徴点の位置、及び所定の距離閾値に基づいて、前記各関連特徴点に対応する第1特徴サブマップを取得することは、
前記距離閾値に基づいて、目標辺長を決定することと、
前記第1特徴マップにおいて、前記各関連特徴点を中心とし且つ決定された前記目標辺長を辺長とした第1正方形領域を決定し、前記第1特徴マップ上の前記第1正方形領域内の第1特徴点に基づいて、前記第1特徴サブマップを取得することと、を含む、
前記第2特徴マップにおける前記目標第2特徴点の位置、及び前記距離閾値に基づいて、前記目標第2特徴点に対応する第2特徴サブマップを取得することは、
前記第2特徴マップにおいて、前記目標第2特徴点を中心とし且つ決定された前記目標辺長を辺長とした第2正方形領域を決定し、前記第2特徴マップ上の前記第2正方形領域内の第2特徴点に基づいて、前記第2特徴サブマップを取得することを含む、
請求項2に記載の欠陥検出方法。 - 前記第1特徴点ごとに、決定された前記第1特徴点の各関連特徴点と前記第2特徴マップにおける目標第2特徴点との間の類似度に基づいて、前記第1特徴点に対して特徴強調処理を実行することは、
前記第1特徴点の前記各関連特徴点と前記目標第2特徴点との間の類似度、及び前記第1特徴点の複数の前記関連特徴点のそれぞれに対応する特徴値に基づいて、前記第1特徴点に対して特徴強調処理を実行することを含む、
請求項1ないし4のいずれか一項に記載の欠陥検出方法。 - 前記第1特徴点の前記各関連特徴点と前記目標第2特徴点との間の類似度、及び前記第1特徴点の複数の前記関連特徴点のそれぞれに対応する特徴値に基づいて、前記第1特徴点に対して特徴強調処理を実行することは、
前記各関連特徴点と前記目標第2特徴点との間の類似度に基づいて、複数の前記関連特徴点のそれぞれに対応する特徴値を加重加算して、第1合計値を取得することと、
複数の前記関連特徴点のそれぞれに対応する類似度を加重加算して、第2合計値を取得することと、
前記第1合計値と前記第2合計値との比率を、前記第1特徴点に対して特徴強調処理を実行した後の前記第1特徴点の特徴値として使用することと、を含む、
請求項5に記載の欠陥検出方法。 - 前記第2特徴マップ、及び特徴強調処理後の前記第1特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定することは、
前記第2特徴マップ、及び前記強調処理後の前記第1特徴マップに基づいて、前記第2特徴マップのアテンションマスク画像を生成することであって、前記アテンションマスク画像における任意の画素点の画素値は、前記第2特徴マップにおける位置が前記任意の第1画素点とマッチングする第2特徴点に欠陥があることを表す異常度値を表す、ことと、
前記アテンションマスク画像、及び前記強調処理後の前記第1特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定することと、を含む、
請求項1ないし6のいずれか一項に記載の欠陥検出方法。 - 前記アテンションマスク画像、及び前記強調処理後の前記第1特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定することは、
前記アテンションマスク画像と前記強調処理後の前記第1特徴マップに対して合併処理を実行して、合併特徴マップを取得することと、
前記アテンションマスク画像及び前記合併特徴マップに対して特徴融合処理を実行して、特徴融合画像を取得することと、
前記特徴融合画像に基づいて、前記検出対象画像に対応する欠陥検出結果を決定することと、を含む、
請求項7に記載の欠陥検出方法。 - 欠陥検出装置であって、
テンプレート画像の第1特徴マップ、及び検出対象画像の第2特徴マップを取得するように構成される取得部と、
前記第1特徴マップにおける第1特徴点ごとに、前記第1特徴マップにおける複数の第1特徴点から、前記第1特徴点との距離が所定条件を満たす複数の関連特徴点を決定するように構成される決定部と、
前記第1特徴点ごとに、決定された前記第1特徴点の各関連特徴点と前記第2特徴マップにおける目標第2特徴点との間の類似度に基づいて、前記第1特徴点に対して特徴強調処理を実行するように構成される特徴強調処理部であって、前記目標第2特徴点は、前記第2特徴マップにおける位置が前記第1特徴点とマッチングする第2特徴点である、特徴強調処理部と、
前記第2特徴マップ、及び特徴強調処理後の前記第1特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定するように構成される検出部と、を備える、前記欠陥検出装置。 - 前記欠陥検出装置は更に、
前記第1特徴マップにおける前記各関連特徴点の位置、及び所定の距離閾値に基づいて、前記各関連特徴点に対応する第1特徴サブマップを取得し、前記第2特徴マップにおける前記目標第2特徴点の位置、及び前記距離閾値に基づいて、前記目標第2特徴点に対応する第2特徴サブマップを取得し、前記第1特徴サブマップ、及び前記第2特徴サブマップに基づいて、前記各関連特徴点と前記目標第2特徴点との間の類似度を決定するように構成される類似度決定部を備える、
請求項9に記載の欠陥検出装置。 - 前記類似度決定部は更に、前記第1特徴マップにおいて、前記各関連特徴点を円心とし且つ前記距離閾値を半径とした第1円形領域を決定し、前記第1特徴マップにおける前記第1円形領域内の第1特徴点に基づいて、前記第1特徴サブマップを取得し、前記第2特徴マップにおいて、前記目標第2特徴点を円心とし且つ前記距離閾値を半径とした第2円形領域を決定し、前記第2特徴マップ上の前記第2円形領域内の第2特徴点に基づいて、前記第2特徴サブマップを取得するように構成される、
請求項10に記載の欠陥検出装置。 - 前記類似度決定部は更に、前記距離閾値に基づいて、目標辺長を決定し、前記第1特徴マップにおいて、前記各関連特徴点を中心とし且つ決定された前記目標辺長を辺長とした第1正方形領域を決定し、前記第1特徴マップ上の前記第1正方形領域内の第1特徴点に基づいて、前記第1特徴サブマップを取得し、前記第2特徴マップにおいて、前記目標第2特徴点を中心とし且つ決定された前記目標辺長を辺長とした第2正方形領域を決定し、前記第2特徴マップ上の前記第2正方形領域内の第2特徴点に基づいて、前記第2特徴サブマップを取得するように構成される、
請求項10に記載の欠陥検出装置。 - 前記特徴強調処理部は更に、前記第1特徴点の前記各関連特徴点と前記目標第2特徴点との間の類似度、及び前記第1特徴点の複数の前記関連特徴点のそれぞれに対応する特徴値に基づいて、前記第1特徴点に対して特徴強調処理を実行するように構成される、
請求項9ないし12のいずれか一項に記載の欠陥検出装置。 - 前記特徴強調処理部は更に、前記各関連特徴点と前記目標第2特徴点との間の類似度に基づいて、複数の前記関連特徴点のそれぞれに対応する特徴値を加重加算して、第1合計値を取得し、複数の前記関連特徴点のそれぞれに対応する類似度を加重加算して、第2合計値を取得し、前記第1合計値と前記第2合計値との比率を、前記第1特徴点に対して特徴強調処理を実行した後の前記第1特徴点の特徴値として使用するように構成される、
請求項13に記載の欠陥検出装置。 - 前記検出部は更に、前記第2特徴マップ、及び前記強調処理後の前記第1特徴マップに基づいて、前記第2特徴マップのアテンションマスク画像を生成し、ここで、前記アテンションマスク画像における任意の画素点の画素値は、前記第2特徴マップにおける位置が前記任意の第1画素点とマッチングする第2特徴点に欠陥があることを表す異常度値であり、前記アテンションマスク画像、及び前記強調処理後の前記第1特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定するように構成される、
請求項9ないし14のいずれか一項に記載の欠陥検出装置。 - 前記検出部は更に、前記アテンションマスク画像と前記強調処理後の前記第1特徴マップに対して合併処理を実行して、合併特徴マップを取得し、前記アテンションマスク画像及び前記合併特徴マップに対して特徴融合処理を実行して、特徴融合画像を取得し、前記特徴融合画像に基づいて、前記検出対象画像に対応する欠陥検出結果を決定するように構成される、
請求項15に記載の欠陥検出装置。 - 電子機器であって、
互に接続されているプロセッサとメモリを備え、前記メモリには、前記プロセッサ実行可能な機械可読命令が記憶されており、前記電子機器が動作するときに、前記機械可読命令が、前記プロセッサに、請求項1ないし8のいずれか一項に記載の欠陥検出方法を実行させる、前記電子機器。 - コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、
前記コンピュータプログラムがプロセッサに、請求項1ないし8のいずれか一項に記載の欠陥検出方法を実行させる、前記コンピュータ可読記憶媒体。 - コンピュータ可読コードを含むコンピュータプログラムであって、
前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器のプロセッサに、請求項1ないし8のいずれか一項に記載の欠陥検出方法を実行させる、前記コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011191756.0 | 2020-10-30 | ||
CN202011191756.0A CN112508846B (zh) | 2020-10-30 | 2020-10-30 | 缺陷检测方法及装置、电子设备和存储介质 |
PCT/CN2021/096064 WO2022088663A1 (zh) | 2020-10-30 | 2021-05-26 | 缺陷检测方法及装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023507024A true JP2023507024A (ja) | 2023-02-20 |
Family
ID=74954615
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022538297A Withdrawn JP2023507024A (ja) | 2020-10-30 | 2021-05-26 | 欠陥検出方法及びその装置、電子機器並びに記憶媒体 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP2023507024A (ja) |
CN (1) | CN112508846B (ja) |
WO (1) | WO2022088663A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112508846B (zh) * | 2020-10-30 | 2023-04-18 | 北京市商汤科技开发有限公司 | 缺陷检测方法及装置、电子设备和存储介质 |
CN112967264A (zh) * | 2021-03-19 | 2021-06-15 | 深圳市商汤科技有限公司 | 缺陷检测方法及装置、电子设备和存储介质 |
CN113506243A (zh) * | 2021-06-04 | 2021-10-15 | 联合汽车电子有限公司 | Pcb焊接缺陷检测方法、装置及存储介质 |
CN113406092B (zh) * | 2021-08-18 | 2022-01-11 | 阿里巴巴(中国)有限公司 | 数字化生产检测系统、方法、装置、设备及存储介质 |
CN114742791A (zh) * | 2022-04-02 | 2022-07-12 | 深圳市国电科技通信有限公司 | 印刷电路板组装的辅助缺陷检测方法、装置及计算机设备 |
CN116664473A (zh) * | 2022-11-10 | 2023-08-29 | 广东博智林机器人有限公司 | 螺杆洞检测方法、装置、设备及存储介质 |
CN115631199B (zh) * | 2022-12-21 | 2023-04-14 | 深圳新视智科技术有限公司 | pin针缺陷检测方法、装置、设备及存储介质 |
CN115965856B (zh) * | 2023-02-23 | 2023-05-30 | 深圳思谋信息科技有限公司 | 图像检测模型构建方法、装置、计算机设备及存储介质 |
CN116721101B (zh) * | 2023-08-09 | 2023-10-20 | 山东华航高分子材料有限公司 | 一种塑件表面波流痕的缺陷检测方法 |
CN116883417B (zh) * | 2023-09-08 | 2023-12-05 | 武汉东方骏驰精密制造有限公司 | 基于机器视觉的工件质检方法及装置 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5771561B2 (ja) * | 2012-05-30 | 2015-09-02 | 株式会社日立ハイテクノロジーズ | 欠陥検査方法および欠陥検査装置 |
CN103456009B (zh) * | 2013-08-28 | 2016-04-20 | 深圳市中瀛鑫科技股份有限公司 | 目标检测方法与装置、监控系统 |
US9846929B2 (en) * | 2016-03-24 | 2017-12-19 | Hong Kong Applied Science and Technology Research Institute Company Limited | Fast density estimation method for defect inspection application |
CN106600600A (zh) * | 2016-12-26 | 2017-04-26 | 华南理工大学 | 基于特征匹配的晶圆缺陷检测方法 |
CN106952257B (zh) * | 2017-03-21 | 2019-12-03 | 南京大学 | 一种基于模板匹配与相似度计算的曲面标签破损缺陷检测方法 |
CN107492091B (zh) * | 2017-07-06 | 2020-09-04 | 东莞理工学院 | 基于机器视觉的标签外观检测方法及终端设备 |
CN110136160B (zh) * | 2019-05-13 | 2023-03-24 | 南京大学 | 一种基于圆投影的快速图像匹配方法 |
CN110967851B (zh) * | 2019-12-26 | 2022-06-21 | 成都数之联科技股份有限公司 | 一种液晶面板array图像的线路提取方法及系统 |
CN111179253B (zh) * | 2019-12-30 | 2023-11-24 | 歌尔股份有限公司 | 一种产品缺陷检测方法、装置与系统 |
CN111160477B (zh) * | 2019-12-31 | 2024-03-19 | 哈尔滨智兀科技有限公司 | 一种基于特征点检测的图像模板匹配方法 |
CN111445467A (zh) * | 2020-04-08 | 2020-07-24 | 珠海格力电器股份有限公司 | 亮灯缺陷检测方法、装置、电子设备及存储介质 |
CN111666974A (zh) * | 2020-04-29 | 2020-09-15 | 平安科技(深圳)有限公司 | 图像匹配方法、装置、计算机设备及存储介质 |
CN111696092B (zh) * | 2020-06-11 | 2023-08-25 | 深圳市华汉伟业科技有限公司 | 一种基于特征对比的缺陷检测方法及系统、存储介质 |
CN111814905A (zh) * | 2020-07-23 | 2020-10-23 | 上海眼控科技股份有限公司 | 目标检测方法、装置、计算机设备和存储介质 |
CN112508846B (zh) * | 2020-10-30 | 2023-04-18 | 北京市商汤科技开发有限公司 | 缺陷检测方法及装置、电子设备和存储介质 |
-
2020
- 2020-10-30 CN CN202011191756.0A patent/CN112508846B/zh active Active
-
2021
- 2021-05-26 JP JP2022538297A patent/JP2023507024A/ja not_active Withdrawn
- 2021-05-26 WO PCT/CN2021/096064 patent/WO2022088663A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
CN112508846A (zh) | 2021-03-16 |
WO2022088663A1 (zh) | 2022-05-05 |
CN112508846B (zh) | 2023-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023507024A (ja) | 欠陥検出方法及びその装置、電子機器並びに記憶媒体 | |
WO2022151658A1 (zh) | 一种缺陷检测方法、装置、计算机设备及计算机可读存储介质 | |
CN104568979A (zh) | 芯片对数据库的影像检测方法 | |
CN114627092A (zh) | 缺陷检测方法、装置、电子设备及可读存储介质 | |
JP2009223414A (ja) | 一致度計算装置及び方法、プログラム | |
US20230214989A1 (en) | Defect detection method, electronic device and readable storage medium | |
CN111680750A (zh) | 图像识别方法、装置和设备 | |
US9443051B2 (en) | Generating root cause candidates for yield analysis | |
JP2011257963A (ja) | 画像処理装置、その処理方法及びプログラム | |
JP5111055B2 (ja) | 画像処理装置及び画像処理方法、コンピュータプログラム | |
CN115690102A (zh) | 缺陷检测方法、装置、电子设备、存储介质和程序产品 | |
CN116168351A (zh) | 电力设备巡检方法及装置 | |
CN111598913A (zh) | 一种基于机器人视觉的图像分割方法和系统 | |
CN117392042A (zh) | 缺陷检测方法、缺陷检测设备及存储介质 | |
CN117370767B (zh) | 基于大数据的用户信息评估方法及系统 | |
US20140033097A1 (en) | Method and apparatus of testing a computer program | |
CN115546219B (zh) | 检测板式生成方法、板卡缺陷检测方法、装置及产品 | |
CN111178037A (zh) | 重复缺陷报告识别方法、装置及电子设备 | |
CN111046878B (zh) | 一种数据处理方法、装置及计算机存储介质和计算机 | |
CN114399791A (zh) | 一种行人检测方法、装置、设备和介质 | |
CN110647826B (zh) | 商品训练图片的获取方法、装置、计算机设备和存储介质 | |
CN114078109A (zh) | 图像处理方法、电子装置和存储介质 | |
CN110827261A (zh) | 图像质量检测方法及装置、存储介质及电子设备 | |
CN111709943B (zh) | 一种工件超视野识别方法、装置、存储介质及电子设备 | |
CN116958770A (zh) | 目标识别方法、装置、设备以及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220620 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220620 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20230214 |