JP7105326B2 - 製品欠陥検出方法、装置、電子デバイス、記憶媒体、及びプログラム - Google Patents

製品欠陥検出方法、装置、電子デバイス、記憶媒体、及びプログラム Download PDF

Info

Publication number
JP7105326B2
JP7105326B2 JP2021001835A JP2021001835A JP7105326B2 JP 7105326 B2 JP7105326 B2 JP 7105326B2 JP 2021001835 A JP2021001835 A JP 2021001835A JP 2021001835 A JP2021001835 A JP 2021001835A JP 7105326 B2 JP7105326 B2 JP 7105326B2
Authority
JP
Japan
Prior art keywords
feature information
information
defect detection
channel
target product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021001835A
Other languages
English (en)
Other versions
JP2022013608A (ja
Inventor
ス，イェ
ニエ，レイ
ゾウ，ジェンファ
ファン，フェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2022013608A publication Critical patent/JP2022013608A/ja
Application granted granted Critical
Publication of JP7105326B2 publication Critical patent/JP7105326B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、コンピュータ技術分野に関し、特にコンピュータビジョン、画像処理、深層学習、クラウドコンピューティング等の分野に関する。
コンピュータ類、通信類、消費類電子製品の部品製造等の従来の工業製造業の生産シーンにおいて、製品の表面状態検査は、製造メーカが出荷品質を制御し、生産関係を維持するための重要な一環である。従来の工業製造業の生産において、このような製品の表面状態に基づく品質検査は、人手による目視検査や半自動光学機器の補助による品質検査が多いが、高速な生産ペースが品質検査員の疲労による誤判定を招きやすいとともに、この方式により生成された工業データの記憶及び再利用は容易ではない。
本発明は、製品欠陥検出方法、装置、電子デバイス、及び記憶媒体を提供する。
本発明の一態様は、製品欠陥検出方法を提供し、当該製品欠陥検出方法は、目標製品のマルチチャネル画像を取得することと、前記マルチチャネル画像を、複数の畳み込み分岐と、融合モジュールと、畳み込み総分岐とを含む欠陥検出モデルに入力することと、前記複数の畳み込み分岐を用いて、前記マルチチャネル画像内の各チャネルに対して、それぞれ特徴抽出を行うことにより、複数の第１特徴情報を得ることと、前記融合モジュールを用いて前記複数の第１特徴情報を融合することにより、第２特徴情報を得ることと、前記畳み込み総分岐を用いて前記第２特徴情報に対して特徴抽出を行うことにより、前記欠陥検出モデルから出力された第３特徴情報を得ることと、前記第３特徴情報に基づいて、前記目標製品の欠陥情報を決定することと、を含む。
本発明の別の態様は、製品欠陥検出装置を提供し、当該製品欠陥検出装置は、目標製品のマルチチャネル画像を取得するための取得モジュールと、前記マルチチャネル画像を、複数の畳み込み分岐と、融合モジュールと、畳み込み総分岐とを含む欠陥検出モデルに入力するための入力モジュールと、前記複数の畳み込み分岐を用いて、前記マルチチャネル画像内の各チャネルに対して、それぞれ特徴抽出を行うことにより、複数の第１特徴情報を得るための分岐処理モジュールと、前記融合モジュールを用いて前記複数の第１特徴情報を融合することにより、第２特徴情報を得るための分岐統合モジュールと、前記畳み込み総分岐を用いて前記第２特徴情報に対して特徴抽出を行うことにより、前記欠陥検出モデルから出力された第３特徴情報を得るための総分岐処理モジュールと、前記第３特徴情報に基づいて、前記目標製品の欠陥情報を決定するための決定モジュールと、を備える。
本発明の別の態様は、電子デバイスを提供し、当該電子デバイスは、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサに通信接続されるメモリと、を備え、前記メモリには、前記少なくとも１つのプロセッサにより実行可能な命令を記憶しており、前記命令は、前記少なくとも１つのプロセッサにより実行される場合、前記少なくとも１つのプロセッサに本発明の任意の実施形態にて提供される方法を実行させる。
本発明の別の態様は、コンピュータ命令を記憶した非一過性のコンピュータ可読記憶媒体を提供し、前記コンピュータ命令は、本発明の任意の実施形態にて提供される方法を前記コンピュータに実行させるために用いられる。
本発明の技術案によれば、目標製品のマルチチャネル画像を取得し、マルチチャネル画像及び欠陥検出モデルを用いて、目標製品の欠陥情報を決定することにより、人手による目視検査や半自動光学機器の補助による品質検査が誤検出を招きやすいとともに、検出結果の記憶及び利用に不利になるという問題が解決される。目標製品の画像がマルチチャネル画像であるため、目標製品の様々な特徴を記録することができる。また、欠陥検出モデルは、複数の畳み込み分岐を用いて複数のチャネルにそれぞれ特徴抽出を行い、複数の畳み込み分岐の出力を融合した後に畳み込み総分岐を用いて融合後の特徴を抽出することにより、モデルに各チャネルの独立した特徴情報だけでなく、各チャネル間の関連情報も十分に利用することができる。したがって、本発明の技術案の実施により、複数の特徴の融合効果を高め、目標製品の複数の特徴の利用率を向上させ、欠陥検出の精度を向上させることができる。
なお、この部分に記載されている内容は、本発明の実施形態における主要な又は重要な特徴を特定することを意図しておらず、本発明の範囲を限定することも意図していないことを理解すべきである。本発明の他の特徴は、以下の説明を通してより分かりやすくなるであろう。
添付図面は、技術案をよりよく理解するために使用されるものであり、本発明を限定するものではない。
本発明の例示的な実施形態による製品欠陥検出方法の概略図である。 本発明の例示的な実施形態における欠陥検出モデルの概略図である。 本発明の例示的な実施形態による製品欠陥検出方法の概略図である。 本発明の実施形態を実現可能な適用シーン図である。 本発明の例示的な実施形態による製品欠陥検出装置の概略図である。 本発明の例示的な実施形態による製品欠陥検出装置の概略図である。 本発明の実施形態による製品欠陥検出方法を実現するための電子デバイスのブロック図である。
以下、図面を参照しながら本発明の例示的な実施形態を説明するが、本発明の実施形態の様々な詳細が理解を容易にするために含まれており、それらは単なる例示的なものと考えられるべきである。したがって、当業者は、本発明の範囲及び旨から逸脱することなく、本発明明細書に記載された実施形態に対して様々な変更及び修正を行うことができることを理解すべきである。同様に、以下の説明では、公知な機能及び構造についての説明は、明瞭かつ簡明のために省略されている。
図１は、本発明の例示的な実施形態による製品欠陥検出方法の概略図である。図１に示すように、当該方法は、以下のステップＳ１１～Ｓ１６を含む。
ステップＳ１１において、目標製品のマルチチャネル画像を取得する。
ここで、目標製品とは、工業製造業において欠陥の検出を必要とする製品を指すことができる。マルチチャネル画像とは、複数のチャネルの特徴情報を含む画像、例えば目標製品の赤色特徴量、緑色特徴量及び青色特徴量を含むカラー画像を指すことができる。いくつかの実施形態では、目標製品の３次元情報等の他の特徴情報を、１つ又は複数の画像チャネルの特徴情報として、マルチチャネル画像を得ることもできる。
ステップＳ１２において、マルチチャネル画像を、複数の畳み込み分岐と、融合モジュールと、畳み込み総分岐とを含む欠陥検出モデルに入力する。
本発明の実施形態では、欠陥検出モデルは、畳み込みニューラルネットワークをトレーニングすることにより得ることができる。欠陥検出モデルの畳み込み分岐の数は、上述したマルチチャネル画像のチャネル数と同じであってもよい。例えば、欠陥検出モデルは、６チャネル画像を処理するために用いられる場合、６つの畳み込み分岐を含む。選択可能に、欠陥検出モデルにおける融合モジュール及び畳み込みモジュールの数は１つであってもよい。
ステップＳ１３において、複数の畳み込み分岐を用いて、マルチチャネル画像内の各チャネルに対して、それぞれ特徴抽出を行うことにより、複数の第１特徴情報を得る。
マルチチャネル画像内の各チャネルの特徴情報は、それぞれの畳み込み分岐に入力されて処理される。ここで、各畳み込み分岐は、１つ又は複数の畳み込み層を含んでもよい。一例として、各畳み込み分岐は、畳み込み層を用いて入力された情報に対して特徴抽出を行うことにより、対応するチャネル内の製品欠陥に関連する特徴を補強する効果を達成することができる。選択可能に、各畳み込み分岐には、アップサンプリング層、ダウンサンプリング層、全結合層等の１種類又は複数種類の畳み込み層が含まれてもよい。
各畳み込み分岐のネットワーク構造は、ｒｅｓｎｅｔ（残差ネットワーク）、Ｕ－ｎｅｔネットワーク、ＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ、完全畳み込みネットワーク）等のフレームワークに基づいて決定することができる。各畳み込み分岐は、１つのチャネルの特徴情報を処理した後、複数のチャネルを含む第１特徴情報を得ることができる。
各畳み込み分岐からそれぞれ出力された第１特徴情報のチャネル数は、対応する畳み込み分岐のネットワーク構造及び畳み込み分岐内の各畳み込み層のパラメータに依存する。各畳み込み分岐内のネットワーク構造は、同一であってもよく、異なっていてもよい。例えば、異なるタイプの特徴情報について、異なるネットワーク構造を用いて特徴を選択的に抽出することができる。
ステップＳ１４において、融合モジュールを用いて複数の第１特徴情報を融合することにより、第２特徴情報を得る。
例示的に、融合モジュールは、複数のマルチチャネルの第１特徴情報に対してチャネルの統合を行うことにより、１つのマルチチャネルの第２特徴情報を得る。例えば、各第１特徴情報のチャネル数は２５６であり、５つの第１特徴情報のチャネルをまとめて、第２特徴情報の２５６×５＝１２８０個のチャネルとする。一例として、一部のチャネルを合併することにより、チャネル数が１２８０未満の第２特徴情報を得ることもできる。
ステップＳ１５において、畳み込み総分岐を用いて第２特徴情報に対して特徴抽出を行うことにより、欠陥検出モデルから出力された第３特徴情報を得る。
ここで、畳み込み総分岐は、１つ又は複数の畳み込み層を含み、融合によって得られた第２特徴情報に対して特徴抽出を行うことに用いられる。選択可能に、畳み込み総分岐は、アップサンプリング層、ダウンサンプリング層、全結合層等の１種類又は複数種類の畳み込み層をさらに含み得る。畳み込み総分岐は、ｒｅｓｎｅｔ、Ｕ－ｎｅｔネットワーク、ＦＣＮ等のフレームワークに基づいて決定することができる。畳み込み総分岐から出力された第３特徴情報は、欠陥検出モデルから出力された特徴情報とすることができる。
ステップＳ１６において、第３特徴情報に基づいて、目標製品の欠陥情報を決定する。
例えば、第３特徴情報は、欠陥情報を補強した画像情報であってもよい。第３特徴情報に基づいて、目標製品の欠陥情報を決定することができる。選択可能に、目標製品の欠陥情報には、欠陥の発生した位置情報、欠陥の大きさ、欠陥の種別等が含まれてもよい。例えば、第３特徴情報における特徴量が閾値よりも大きい画素位置を欠陥位置として決定し、欠陥位置に基づいて欠陥の大きさ、形状等を決定し、欠陥の大きさ、形状に基づいて欠陥の種別を決定する。
本実施形態によれば、目標製品のマルチチャネル画像を取得し、マルチチャネル画像及び欠陥検出モデルを用いて、目標製品の欠陥情報を決定することにより、人手による目視検査や半自動光学機器の補助による品質検査が誤検出を招きやすいとともに、検出結果の記憶及び利用に不利になるという問題が解決される。目標製品の画像がマルチチャネル画像であるため、目標製品の様々な特徴を記録することができる。また、欠陥検出モデルは、複数の畳み込み分岐を用いて複数のチャネルについてそれぞれ特徴抽出を行い、複数の畳み込み分岐の出力を融合した後に畳み込み総分岐を用いて融合後の特徴を抽出することにより、モデルに各チャネルの独立した特徴情報だけでなく、各チャネル間の関連情報も十分に利用することができる。したがって、本実施形態によれば、多種の特徴の融合効果を高め、目標製品の多種の特徴の利用率を向上させ、欠陥検出の精度を向上させることができる。
例えば、図２に示すように、欠陥検出モデルは、第１畳み込み分岐、第２畳み込み分岐、第３畳み込み分岐、融合モジュール及び畳み込み総分岐を含むことができる。
３チャネル画像を欠陥検出モデルに入力した後、まず、第１チャネル、第２チャネル及び第３チャネルの特徴情報を３つの畳み込み分岐にそれぞれ入力する。図２に示す例では、第１畳み込み分岐は第１チャネルに対して特徴抽出を行い、第２畳み込み分岐は第２チャネルに対して特徴抽出を行い、第３畳み込み分岐は第３チャネルに対して特徴抽出を行う。各畳み込み分岐は１つの第１特徴情報を出力する。そして、融合モジュールは、３つの第１特徴情報を融合することにより第２特徴情報を得、第２特徴情報を畳み込み総分岐に出力する。畳み込み総分岐は融合後の第２特徴情報を処理し、欠陥検出モデルの出力情報として第３特徴情報を出力する。
例示的に、図２に示すように、融合モジュールは、連結層及び融合畳み込み層を含むことができる。上述したステップＳ１４において、前記融合モジュールを用いて前記複数の第１特徴情報を融合することにより、第２特徴情報を得ることは、前記融合モジュールにおける連結層を用いて、前記複数の第１特徴情報に対してチャネルの連結を行うことにより、第４特徴情報を得ることと、前記融合モジュールにおける融合畳み込み層を用いて、前記第４特徴情報に対してチャネルの整列を行うことにより、標準化されたチャネル数を有する第２特徴情報を得ることと、を含む。
例えば、各畳み込み分岐からそれぞれ出力された第１特徴情報が５１２個のチャネルを含む場合、連結層を用いて３つの第１特徴情報に対してチャネルの連結を行うことにより、５１２×３＝１５３６個のチャネルの第４特徴情報を得る。１５３６が標準化されたチャネル数ではないため、融合畳み込み層を用いて１５３６個のチャネルを含む第４特徴情報に対してチャネルの整列を行うことにより、標準化されたチャネル数である５１２を有する第２特徴情報を得ることができる。
当該例示的な実施形態によれば、融合畳み込み層は複数の第１特徴情報を融合するだけでなく、チャネル数が標準化された第２特徴情報として整列させるため、標準化されたネットワークアーキテクチャを用いて畳み込み総分岐を実現しやすく、開発の難しさを軽減させ、モデルの精度を向上させることができる。
例示的な実施形態では、図３に示すように、目標製品のマルチチャネル画像を取得するステップＳ１１は、複数の収集条件において、目標製品の複数の画像を収集するステップＳ１１１と、複数の画像の特徴情報に基づいて、複数のチャネルの特徴情報を決定するステップＳ１１２と、複数のチャネルの特徴情報に基づいて、目標製品のマルチチャネル画像を得るステップＳ１１３と、を含む。
例示的に、１つの欠陥検出対象である製品について、カメラのような画像収集装置を用いて異なるタイプ、異なる角度を有する光源照射条件で、複数の画像を収集することができる。複数の画像の特徴情報を複数のチャネルの特徴情報とすれば、マルチチャネル画像を得ることができる。例えば、５つの異なる角度を有する光源照射で、目標製品の５つの画像を収集することにより、５チャネル画像を得る。
例示的に、複数の画像の特徴情報に対して所定処理を行うことにより、複数の画像の特徴情報を、例えば、［０，２５５］、［０，１］等の同一の分布区間に変換するようにしてもよい。所定処理後の特徴情報を複数のチャネルの特徴情報とする。所定処理は、例えば等化、正規化である。
例示的に、複数の画像の特徴情報を、目標製品の他の情報と組み合わせることにより、より多くのチャネルの特徴情報を得、さらにより多くのチャネルの画像を得ることができる。例えば、目標製品の５つの画像を収集し、さらに目標製品の２種類の特徴を取得することにより、７チャネル画像内の各チャネルの特徴情報として、７つのチャネルの特徴情報を得る。
当該例示的な実施形態によれば、収集された複数の画像の特徴情報をマルチチャネル画像の一部又は全部のチャネルの特徴情報とし、そして、１つの欠陥検出モデルを用いてマルチチャネル画像を検出することにより、目標製品の多角度、多次元情報を効果的に集約することができる。複数のモデルを用いて複数の画像をそれぞれ検出する場合と比べると、目標製品の欠陥情報をより迅速かつ正確に検出することができる。
例示的な実施形態では、前記複数の画像の特徴情報に基づいて、複数のチャネルの特徴情報を決定する上述したステップＳ１１２は、複数の画像及びオプティカルフローの３次元ネットワークに基づいて、目標製品の３次元情報を計算することと、複数の画像の特徴情報及び３次元情報を、複数のチャネルの特徴情報とすることと、を含む。
ここで、３次元情報は、３Ｄ立体情報と呼ぶこともできる。
例えば、目標製品の５つの画像を収集し、また、複数の画像に基づいて目標製品の１種類の３次元情報、例えば画像内のある画素点の製品表面深さを取得することにより、６種類の特徴情報を得、それに等化、正規化等の処理を行った後、６つのチャネルの特徴情報として、６チャネル画像を得る。
当該例示的な実施形態によれば、マルチチャネル画像内のチャネル情報の一部として、目標製品の３次元情報を用いることにより、製品欠陥検出の精度を向上させることができる。
選択可能に、目標製品の複数の画像は、同一の画素座標系で目標製品の３次元情報を計算し、精度をさらに向上させるように、同じ位置にあるカメラを用いて同じ角度、異なる光源照射条件で収集された画像であってもよい。
選択可能に、前記オプティカルフローの３次元ネットワークは光線補正ネットワークと、法線方向計算ネットワークとを含む。前記３次元情報は前記光線補正ネットワークによって計算された深さ情報と、前記法線方向計算ネットワークによって計算された表面傾斜角度情報とを含む。
光線補正ネットワークを用いて同じ位置、同じ角度、複数種の光源条件で撮影された画像を計算することで、画像内の製品の深さ情報、例えば製品表面深さ、高さを得ることができる。法線方向計算ネットワークを用いて同じ位置、同じ角度、複数種の光源条件で撮影された画像を計算することで、画像内の製品の表面傾斜角度を得ることができる。
目標製品の深さ情報及び表面傾斜角度情報を用いて、目標製品を再構成できるため、当該例示的な実施形態では、深さ情報と表面傾斜角度情報を組み合わせて、目標製品に対して欠陥検出を行うことで、検出の精度を効果的に向上させることができる。
図４は、本発明の実施形態を実現可能な製品欠陥検出方法の適用シーン図である。当該方法は、複数の画像に基づく製品欠陥検出を実現することができる。具体的に実施するとき、予定の光源設計方案に基づいて、自動化機械設備により工業用カメラを架設し、製品の複数の画像をそれぞれ異なる角度、異なるタイプの光源照射条件で収集する。画像入力に基づいて製品に対して欠陥検出を行い、続いてロボットアームを用いて検出結果に基づいて製品を対応するボックス内に入れる。
図４に示すように、以下のモジュールを用いて製品欠陥検出方法を実現することができる。
データ収集モジュール（Ｃａｍｅｒａ）は、製品の複数の画像又はビデオを、自動化機械設備によって異なる角度、異なるタイプの光源照射条件でそれぞれ収集する。
画像融合モジュール（Ｃｏｌｌｅｃｔｏｒ）は、製品の複数の画像又はビデオの複数のフレームに視覚強化技術を組み合わせてチャネルレベルの融合を行い、例えば上述したステップＳ１１１～Ｓ１１３を実施することにより、情報集約を実現する。同図において、１８枚の画像を例とする。
故障判定モジュール（Ｐｒｅｄｉｃｔｏｒ）は、人工知能ビジョンアルゴリズム、例えば、本発明の実施形態による欠陥検出モデルにより、電子デバイスで予測要求中の画像に対して欠陥検出を行い、製品の欠陥情報、例えば欠陥種別、欠陥位置及び検出結果の精度を表す予測スコアを得る。そして、モデルの検出結果を返上する。
制御モジュール（Ｃｏｎｔｒｏｌｌｅｒ）は、データ収集モジュールと協同し、予測タスクの開始動作、終了動作をスケジューリングし、タスクの開始動作を予測する。予測結果を受け入れ、配布動作を完了する。
配布モジュール（Ｄｉｓｔｒｉｂｕｔｏｒ）は、自動化設備により、意思決定システムの最終予測結果に基づいて対応する部品や製品の実物を配布する。
当該シーンでは、まず、制御モジュールが、生産ラインの品質検査要求に応じて上記各モジュールを含む全ての計算ノードにサービス起動命令を送信する。各計算ノードに命令をロードする。人工知能アルゴリズムモデルを用いて、故障判定モジュールを構成する。モデルが起動してウォームアップを行った後、データ収集モジュールが自動化設備を通じて検出対象製品の連続撮影を開始し、リアルタイムで生成された製品の異なる角度からのピクチャ及び関連する生産情報を故障予測要求（ｑｕｅｒｙ）に変換し、予測要求を制御モジュールに送信する。予測要求を受信した後、制御モジュールが開始操作を実行し、ｑｕｅｒｙ及びスケジューリング命令情報を画像融合モジュール等の指定された計算ノードに送信し、画像融合モジュールが入力情報に対して融合処理を行って融合後の画像を予測要求とともに故障判定モジュールに送信し、故障判定モジュールが予測要求をモデルに入力し、故障判定結果を出力し、それを制御モジュールに送信する。
制御モジュールは故障判定結果を受信した後、最終の配布意思決定を生成し、さらに配布意思決定情報を配布モジュールに送信して製品を配布するとともに、生産環境シーンの要求に合致する応答、例えば警報、生産データの記憶等を行う。
図４に示すように、制御モジュールはリアルタイムの検査ログを生産データベースに記憶し、画像融合モジュールは生データ、例えば生画像を生産データベースに記憶する。生産データベース内のデータをマーキングすることにより、マーキングデータを用いて欠陥検出モデルの再トレーニング及び最適化を行うことができる。本発明の実施形態の方法を利用することにより、検出データの記憶、管理及び再利用が有利になることが分かる。
以上説明したように、本発明の実施形態の方法によれば、目標製品のマルチチャネル画像を取得し、マルチチャネル画像及び欠陥検出モデルを用いて、目標製品の欠陥情報を決定することにより、人手による目視検査や半自動光学機器の補助による品質検査が誤検出を招きやすいとともに、検出結果の記憶及び利用に不利になるという問題が解決される。目標製品の画像がマルチチャネル画像であるため、目標製品の様々な特徴を記録することができる。また、欠陥検出モデルは、複数の畳み込み分岐を用いて複数のチャネルにそれぞれ特徴抽出を行い、複数の畳み込み分岐の出力を融合した後に畳み込み総分岐を用いて融合後の特徴を抽出することにより、モデルに各チャネルの独立した特徴情報だけでなく、各チャネル間の関連情報も十分に利用することができる。したがって、本発明の技術案の実施により、複数の特徴の融合効果を高め、目標製品の複数の特徴の利用率を向上させ、欠陥検出の精度を向上させることができる。
図５は、本発明の例示的な実施形態による製品欠陥検出装置の概略図である。図５に示すように、当該装置は、目標製品のマルチチャネル画像を取得するための取得モジュール５１と、マルチチャネル画像を、複数の畳み込み分岐と、融合モジュールと、畳み込み総分岐とを含む欠陥検出モデルに入力するための入力モジュール５２と、複数の畳み込み分岐を用いて、マルチチャネル画像内の各チャネルに対して、それぞれ特徴抽出を行うことにより、複数の第１特徴情報を得るための分岐処理モジュール５３と、融合モジュールを用いて複数の第１特徴情報を融合することにより、第２特徴情報を得るための分岐統合モジュール５４と、畳み込み総分岐を用いて第２特徴情報に対して特徴抽出を行うことにより、欠陥検出モデルから出力された第３特徴情報を得るための総分岐処理モジュール５５と、第３特徴情報に基づいて、目標製品の欠陥情報を決定するための決定モジュール５６と、を備える。
一実施形態では、図６に示すように、取得モジュール５１は、複数の収集条件において、目標製品の複数の画像を収集するための収集ユニット５１１と、複数の画像の特徴情報に基づいて、複数のチャネルの特徴情報を決定するためのチャネル決定ユニット５１２と、複数のチャネルの特徴情報に基づいて、目標製品のマルチチャネル画像を得るための画像取得ユニット５１３と、を備える。
一実施形態では、図６に示すように、チャネル決定ユニット５１２は、複数の画像と、オプティカルフローの３次元ネットワークとに基づいて、目標製品の３次元情報を計算するための計算サブユニットと、複数の画像の特徴情報及び３次元情報を、複数のチャネルの特徴情報とするための決定サブユニットと、を備える。
一実施形態では、オプティカルフローの３次元ネットワークは光線補正ネットワークと、法線方向計算ネットワークとを含む。３次元情報は光線補正ネットワークによって計算された深さ情報と、法線方向計算ネットワークによって計算された表面傾斜角度情報とを含む。
一実施形態では、分岐統合モジュール５４は、融合モジュールにおける連結層を用いて、複数の第１特徴情報に対してチャネルの連結を行うことにより、第４特徴情報を得るためのチャネル連結ユニット５４１と、融合モジュールにおける融合畳み込み層を用いて、第４特徴情報に対してチャネルの整列を行うことにより、標準化されたチャネル数を有する第２特徴情報を得るためのチャネル整列ユニット５４２と、を備える。
本発明の実施形態による装置は、本発明の実施形態の方法を実現でき、相応の有益な効果を有する。
本発明の実施形態によれば、本発明は、電子デバイス及び可読記憶媒体をさらに提供する。
図７に示すように、本発明の実施形態による製品欠陥検出の方法に係る電子デバイスのブロック図である。電子デバイスは、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータのような様々な形態のデジタルコンピュータを表すことができる。また、電子デバイスはパーソナルデジタル処理、携帯電話、スマートフォン、装着可能デバイス、及びその他の類似のコンピューティングデバイス等の様々な形態のモバイルデバイスを表すことができる。ここで示した構成要素、それらの接続と関係、及びそれらの機能は例示的なものに過ぎず、本明細書に説明されたもの及び／又は要求される本発明の実施を制限する意図はない。
図７に示すように、当該電子デバイスは、１つ又は複数のプロセッサ７０１と、メモリ７０２と、各構成要素を接続するための高速インタフェースと低速インタフェースとを含むインタフェースとを含む。各構成要素は、異なるバスを用いて互いに接続し、共通のマザーボードに取り付けられてもよいし、必要に応じて他の方法で取り付けられてもよい。プロセッサは、電子デバイス内で実行される命令を処理してもよく、また、外部入力／出力装置（例えば、インタフェースに結合された表示デバイス）にＧＵＩを表示するための、メモリ又はメモリ上に記憶されたグラフィカル情報の命令を含む。他の実施形態では、必要に応じて、複数のプロセッサ及び／又は複数のバスを複数のメモリ及び複数のメモリとともに使用することができる。同様に、複数の電子デバイスを接続してもよく、各デバイスは、部分的に必要な動作（例えば、サーバアレイ、ブレードサーバのセット、又はマルチプロセッサシステムとして）を提供する。図７においてプロセッサ７０１を例とする。
メモリ７０２は、本発明にて提供された非一過性のコンピュータ可読記憶媒体である。ここで、前記メモリは、本発明で提供される製品欠陥検出の方法を少なくとも１つのプロセッサに実行させるように、前記少なくとも１つのプロセッサによって実行されることができる命令を記憶する。本発明における非一過性のコンピュータ可読記憶媒体は、本発明で提供された製品欠陥検出の方法をコンピュータに実行させるためのコンピュータ命令を記憶する。
メモリ７０２は、非一過性のコンピュータ可読記憶媒体として、非一過性のソフトウェアプログラム、非一過性のコンピュータ実行可能なプログラム及びモジュールを記憶するために使用されてもよく、本発明の実施形態における製品欠陥検出の方法に対応するプログラム命令／モジュール（例えば、図５に示される取得モジュール５１、入力モジュール５２、分岐処理モジュール５３、分岐統合モジュール５４、総分岐処理モジュール５５及び決定モジュール５６）のようなものである。プロセッサ７０１は、メモリ７０２に記憶されている非一過性のソフトウェアプログラム、命令及びモジュールを実行することにより、サーバの様々な機能アプリケーション及びデータ処理を実行し、すなわち上述した方法に関する実施形態に係る製品欠陥検出の方法を実現する。
メモリ７０２は、オペレーティングシステムや少なくとも１つの機能に必要なアプリケーションプログラムを記憶することができるプログラムの記憶領域と、製品欠陥検出に係る電子デバイスの使用によって作成されたデータ等を記憶することができるデータの記憶領域と、を含むことができる。さらに、メモリ７０２は、高速ランダムアクセスメモリを含んでもよく、非一過性のメモリ、例えば、少なくとも１つの磁気ディスク記憶装置、フラッシュメモリ装置、又は他の非一過性の固体記憶装置を含むことができる。いくつかの実施形態では、メモリ７０２はオプションとして、プロセッサ７０１に対して遠隔的に設定されたメモリを含み、これらの遠隔メモリは、ネットワークを介して製品欠陥検出に係る電子デバイスに接続されてもよい。上記のネットワークの例は、インターネット、企業内ネットワーク、ローカルネットワーク、モバイル通信ネットワーク及びその組み合わせを含むが、これらに限定されない。
製品欠陥検出方法に係る電子デバイスは、入力装置７０３と出力装置７０４とをさらに含むことができる。プロセッサ７０１、メモリ７０２、入力装置７０３、及び出力装置７０４は、バス又は他の方法で接続されてもよく、図７ではバスを介して接続されている例を示している。
入力装置７０３は、入力された数字又は文字情報を受信し、製品欠陥検出に係る電子デバイスのユーザ設定及び機能制御に関連するキー信号入力を生成することができ、例えば、タッチパネル、キーパッド、マウス、トラックボード、タッチパッド、指示棒、１つ又は複数のマウスボタン、トラックボール、ジョイスティック等の入力装置である。出力装置７０４は、表示装置、補助照明装置（例えば、ＬＥＤ）、及び触覚フィードバック装置（例えば、振動モータ）等を含むことができる。この表示装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、及びプラズマディスプレイを含むことができるがこれらに限定されない。いくつかの実施形態では、表示装置はタッチパネルであってもよい。
本発明におけるシステム及び技術に係る様々な実施形態は、デジタル電子回路システム、集積回路システム、専用ＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組み合わせによって実現されることができる。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムにおいて実装されてもよく、この１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラム可能なシステム上で実行されてもよく、及び／又は解釈されてもよく、このプログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置より、データと命令を受信し、当該記憶システム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置に、データと命令を送信する。
これらの計算プログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードともいう）は、プログラマブルプロセッサのマシン命令を含み、高レベルプロセス及び／又はオブジェクト指向プログラミング言語、及び／又はアセンブリ／マシン言語を用いてこれらの計算プログラムを実施することができる。本発明で使用されるように、「機械可読媒体」及び「コンピュータ可読媒体」という用語は、マシン命令及び／又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、デバイス、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、編集可能論理デバイス（ＰＬＤ））を意味し、機械読み取り可能な信号としてのマシン命令を受信する機械可読媒体を含む。「機械読み取り可能な信号」という用語は、マシン命令及び／又はデータをプログラマブルプロセッサに提供するための任意の信号を意味する。
ユーザとのイントラクションを提供するために、本発明で説明されているシステム及び技術は、コンピュータ上で実施されてもよく、当該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、入力をコンピュータに提供するためのキーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを備えてもよい。他の種類の装置も、ユーザとのイントラクションを提供するために使用され得る。例えば、ユーザに提供されたフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、ユーザからの入力は、いかなる形式（音響入力、音声入力、又は触覚入力を含む）で受信されてもよい。
本発明で説明されているシステム及び技術は、バックグラウンド構成要素を含む計算システム（例えば、データサーバとして）、又は中間部構成要素を含む計算システム（例えば、アプリケーションサーバ）、又は、フロントエンド構成要素を含む計算システム（例えば、グラフィカルユーザインタフェース又はネットワークブラウザを備えたユーザコンピュータであって、ユーザがこのグラフィカルユーザインタフェース又はネットワークブラウザを介して本発明で説明されたシステム及び技術に係る実施形態とインタラクションを行うことができるユーザコンピュータ）に実行されてもよく、又は、このようなバックグラウンド構成要素、中間部構成要素、又はフロントエンド構成要素の任意の組合せを含む計算システムにおいて実行されてもよい。システムの構成要素は、任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互に接続されてもよい。通信ネットワークの例として、ローカルネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）及びインターネットを含む。
コンピュータシステムは、クライアント及びサーバを含むことができる。クライアントとサーバは一般的に相互に離れており、通信ネットワークを介してインタラクションを行う。クライアント－サーバの関係を持つコンピュータプログラムがそれぞれのコンピュータ上で実行されることによって、クライアントとサーバとの関係は構築される。サーバはクラウドサーバであってもよく、クラウドコンピューティングサーバ又はクラウドホストとも呼ばれ、従来の物理ホスト及び仮想プライベートサーバ（ＶＰＳ）サービスでは、管理の難易度が高く、業務の拡張性が弱いという欠陥を解決するためのクラウドコンピューティングサービスアーキテクチャのホスト製品である。
本発明の実施形態の技術案によれば、目標製品のマルチチャネル画像を取得し、マルチチャネル画像及び欠陥検出モデルを用いて、目標製品の欠陥情報を決定することにより、人手による目視検査や半自動光学機器の補助による品質検査が誤検出を招きやすいとともに、検出結果の記憶及び利用に不利になるという問題が解決される。目標製品の画像がマルチチャネル画像であるため、目標製品の様々な特徴を記録することができる。また、欠陥検出モデルは、複数の畳み込み分岐を用いて複数のチャネルにそれぞれ特徴抽出を行い、複数の畳み込み分岐の出力を融合した後に畳み込み総分岐を用いて融合後の特徴を抽出することにより、モデルに各チャネルの独立した特徴情報だけでなく、各チャネル間の関連情報も十分に利用することができる。したがって、本発明の技術案の実施により、複数の特徴の融合効果を高め、目標製品の複数の特徴の利用率を向上させ、欠陥検出の精度を向上させることができる。
上記の様々な態様のフローを用いて、ステップを新たに順序付け、追加、又は削除することが可能であることを理解すべきである。例えば、本発明で記載された各ステップは、並列に実行してもよいし、順次に実行してもよいし、異なる順序で実行してもよい。本発明で開示された技術案が所望する結果を実現することができる限り、本発明はこれに限定されない。
上記具体的な実施形態は、本発明の保護範囲に対する限定を構成するものではない。当業者は、設計事項やその他の要因によって、様々な修正、組み合わせ、サブ組み合わせ、及び代替が可能であることを理解すべきである。本発明の要旨及び原則内における変更、均等な置換及び改善等は、いずれも本発明の保護範囲に含まれるべきである。

Claims (11)

  1. 目標製品のマルチチャネル画像を取得することと、
    前記マルチチャネル画像を、複数の畳み込み分岐と、融合モジュールと、畳み込み総分岐とを含む欠陥検出モデルに入力することと、
    前記複数の畳み込み分岐を用いて、前記マルチチャネル画像内の各チャネルに対して、それぞれ特徴抽出を行うことにより、複数の第１特徴情報を得ることと、
    前記融合モジュールを用いて前記複数の第１特徴情報を融合することにより、第２特徴情報を得ることと、
    前記畳み込み総分岐を用いて前記第２特徴情報に対して特徴抽出を行うことにより、前記欠陥検出モデルから出力された第３特徴情報を得ることと、
    前記第３特徴情報に基づいて、前記目標製品の欠陥情報を決定することと、
    を含み、
    前記融合モジュールを用いて前記複数の第１特徴情報を融合することにより、第２特徴情報を得ることは、
    前記融合モジュールにおける連結層を用いて、前記複数の第１特徴情報に対してチャネルの連結を行うことにより、第４特徴情報を得ることと、
    前記融合モジュールにおける融合畳み込み層を用いて、前記第４特徴情報に対してチャネルの整列を行うことにより、標準化されたチャネル数を有する第２特徴情報を得ることと、を含む、
    製品欠陥検出方法。
  2. 前記目標製品のマルチチャネル画像を取得することは、
    複数の収集条件において、目標製品の複数の画像を収集することと、
    前記複数の画像の特徴情報に基づいて、複数のチャネルの特徴情報を決定することと、
    前記複数のチャネルの特徴情報に基づいて、前記目標製品のマルチチャネル画像を得ることと、を含む、
    請求項１に記載の製品欠陥検出方法。
  3. 前記複数の画像の特徴情報に基づいて、複数のチャネルの特徴情報を決定することは、
    前記複数の画像と、オプティカルフローの３次元ネットワークとに基づいて、前記目標
    製品の３次元情報を計算することと、
    前記複数の画像の特徴情報及び前記３次元情報を、複数のチャネルの特徴情報とすることと、を含む、
    請求項２に記載の製品欠陥検出方法。
  4. 前記オプティカルフローの３次元ネットワークは光線補正ネットワークと、法線方向計算ネットワークと、を含み、
    前記３次元情報は、前記光線補正ネットワークによって計算された深さ情報と、前記法線方向計算ネットワークによって計算された表面傾斜角度情報と、を含む、
    請求項３に記載の製品欠陥検出方法。
  5. 目標製品のマルチチャネル画像を取得する取得モジュールと、
    前記マルチチャネル画像を、複数の畳み込み分岐と、融合モジュールと、畳み込み総分岐とを含む欠陥検出モデルに入力する入力モジュールと、
    前記複数の畳み込み分岐を用いて、前記マルチチャネル画像内の各チャネルに対して、それぞれ特徴抽出を行うことにより、複数の第１特徴情報を得る分岐処理モジュールと、
    前記融合モジュールを用いて前記複数の第１特徴情報を融合することにより、第２特徴情報を得る分岐統合モジュールと、
    前記畳み込み総分岐を用いて前記第２特徴情報に対して特徴抽出を行うことにより、前記欠陥検出モデルから出力された第３特徴情報を得る総分岐処理モジュールと、
    前記第３特徴情報に基づいて、前記目標製品の欠陥情報を決定する決定モジュールと、
    を備え、
    前記分岐統合モジュールは、
    前記融合モジュールにおける連結層を用いて、前記複数の第１特徴情報に対してチャネルの連結を行うことにより、第４特徴情報を得るチャネル連結ユニットと、
    前記融合モジュールにおける融合畳み込み層を用いて、前記第４特徴情報に対してチャネルの整列を行うことにより、標準化されたチャネル数を有する第２特徴情報を得るチャネル整列ユニットと、
    を備える、
    製品欠陥検出装置。
  6. 前記取得モジュールは、
    複数の収集条件において、目標製品の複数の画像を収集する収集ユニットと、
    前記複数の画像の特徴情報に基づいて、複数のチャネルの特徴情報を決定するチャネル決定ユニットと、
    前記複数のチャネルの特徴情報に基づいて、前記目標製品のマルチチャネル画像を得る画像取得ユニットと、を備える、
    請求項５に記載の製品欠陥検出装置。
  7. 前記チャネル決定ユニットは、
    前記複数の画像と、オプティカルフローの３次元ネットワークとに基づいて、前記目標製品の３次元情報を計算する計算サブユニットと、
    前記複数の画像の特徴情報および前記３次元情報を、複数のチャネルの特徴情報とする決定サブユニットと、を備える、
    請求項６に記載の製品欠陥検出装置。
  8. 前記オプティカルフローの３次元ネットワークは光線補正ネットワークと、法線方向計算ネットワークと、を含み、
    前記３次元情報は、前記光線補正ネットワークによって計算された深さ情報と、前記法線方向計算ネットワークによって計算された表面傾斜角度情報と、を含む、
    請求項７に記載の製品欠陥検出装置。
  9. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに通信接続されるメモリと、を備え、
    前記メモリには、前記少なくとも１つのプロセッサにより実行可能な命令を記憶しており、前記命令は、前記少なくとも１つのプロセッサにより実行される場合、請求項１～４のいずれか一項に記載の製品欠陥検出方法を実行させる、
    電子デバイス。
  10. 請求項１～４のいずれか一項に記載の製品欠陥検出方法を前記コンピュータに実行させるためのコンピュータ命令を記憶した非一過性のコンピュータ可読記憶媒体。
  11. コンピュータにおいてプロセッサにより実行されると、請求項１～４のいずれか一項に記載の製品欠陥検出方法を実現するプログラム。
JP2021001835A 2020-06-30 2021-01-08 製品欠陥検出方法、装置、電子デバイス、記憶媒体、及びプログラム Active JP7105326B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010612366.X 2020-06-30
CN202010612366.XA CN111768386B (zh) 2020-06-30 2020-06-30 产品缺陷检测方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
JP2022013608A JP2022013608A (ja) 2022-01-18
JP7105326B2 true JP7105326B2 (ja) 2022-07-22

Family

ID=72722974

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021001835A Active JP7105326B2 (ja) 2020-06-30 2021-01-08 製品欠陥検出方法、装置、電子デバイス、記憶媒体、及びプログラム

Country Status (5)

Country Link
US (1) US11615524B2 (ja)
EP (1) EP3836077B1 (ja)
JP (1) JP7105326B2 (ja)
KR (1) KR102636381B1 (ja)
CN (1) CN111768386B (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021120186A1 (zh) * 2019-12-20 2021-06-24 京东方科技集团股份有限公司 分布式产品缺陷分析系统、方法及计算机可读存储介质
CN112257619A (zh) * 2020-10-27 2021-01-22 北京澎思科技有限公司 一种目标重识别方法、装置、设备及存储介质
CN112489037B (zh) * 2020-12-15 2024-07-02 科大讯飞华南人工智能研究院（广州）有限公司 缺陷检测及相关模型的训练方法、电子设备和存储装置
CN112560864B (zh) * 2020-12-22 2024-06-18 苏州超云生命智能产业研究院有限公司 图像语义分割方法、装置及图像语义分割模型的训练方法
CN112581463B (zh) * 2020-12-25 2024-02-27 北京百度网讯科技有限公司 图像缺陷的检测方法、装置、电子设备、存储介质及产品
CN112614113A (zh) * 2020-12-26 2021-04-06 北京工业大学 一种基于深度学习的带钢缺陷检测方法
CN113026828B (zh) * 2021-03-04 2023-01-24 北京百度网讯科技有限公司 水下桩基探伤方法、装置、设备、存储介质及程序产品
CN113077454A (zh) * 2021-04-19 2021-07-06 凌云光技术股份有限公司 一种图像缺陷拟合方法、系统和存储介质
CN113505650B (zh) * 2021-06-13 2023-06-16 北京林业大学 地形特征线提取方法及装置、设备
CN113591589B (zh) * 2021-07-02 2022-09-27 北京百度网讯科技有限公司 产品漏检的识别方法、装置、电子设备及存储介质
KR102426829B1 (ko) * 2021-12-16 2022-07-29 주식회사 인터엑스 Ai 기반 제품 표면 검사 장치 및 방법
CN113947821A (zh) * 2021-12-20 2022-01-18 南京航空航天大学 一种涡轮增压叶片质量控制方法
CN114565834B (zh) * 2021-12-28 2024-08-02 上汽大众汽车有限公司 动力总成支承安装质量的检测方法、工作台、检测系统及计算机可读存储介质
CN114466183B (zh) * 2022-02-21 2024-09-24 江东电子材料有限公司 基于特征光谱的铜箔瑕疵检测方法、装置和电子设备
CN114596290B (zh) * 2022-03-11 2024-08-27 腾讯科技（深圳）有限公司 缺陷检测方法及其装置、存储介质、程序产品
CN114897810A (zh) * 2022-05-06 2022-08-12 阿里巴巴达摩院(杭州)科技有限公司 图像检测方法、装置、存储介质、电子设备
CN114782756B (zh) * 2022-06-20 2022-10-04 深圳新视智科技术有限公司 基于特征融合的缺陷检测方法、装置、设备及存储介质
CN114782830B (zh) * 2022-06-22 2022-09-06 天津大学 一种图像深度学习特征增强方法、系统及装置
CN115205224B (zh) * 2022-06-22 2023-06-09 锋睿领创(珠海)科技有限公司 自适应特征增强的多源融合视觉检测方法、装置及介质
CN115508389B (zh) * 2022-11-24 2023-05-12 江苏时代新能源科技有限公司 检测装置、缺陷检测方法、装置、计算机设备和存储介质
CN115963397B (zh) * 2022-12-01 2023-07-25 华中科技大学 一种电机定子内轮廓表面缺陷快速在线检测方法及装置
CN116046790B (zh) * 2023-01-31 2023-10-27 北京百度网讯科技有限公司 缺陷检测方法、装置、系统、电子设备以及存储介质
CN116433664B (zh) * 2023-06-13 2023-09-01 成都数之联科技股份有限公司 面板缺陷检测方法、装置、存储介质、设备及程序产品
CN116500048B (zh) * 2023-06-28 2023-09-15 四川联畅信通科技有限公司 一种线缆卡具缺陷检测方法、装置、设备及介质
CN117058116B (zh) * 2023-08-25 2024-10-11 南京林业大学 一种基于级联质心算法的木地板缺陷检测方法
CN117252822B (zh) * 2023-09-05 2024-07-09 广东奥普特科技股份有限公司 缺陷检测网络的构建及缺陷检测方法、装置和设备
CN117007611B (zh) * 2023-09-28 2024-01-09 杭州百子尖科技股份有限公司 片状材料的周期性缺陷检测方法、装置、设备以及介质
CN117078674B (zh) * 2023-10-14 2024-01-05 中电鹏程智能装备有限公司 一种pcba外观缺陷智能检测方法和检测系统
CN117710379B (zh) * 2024-02-06 2024-05-10 杭州灵西机器人智能科技有限公司 一种无损检测模型构建方法、无损检测方法、装置及介质
CN118154585B (zh) * 2024-05-09 2024-07-05 山东鑫泰新材料科技有限公司 一种冷轧钢板缺陷图像数据处理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180322623A1 (en) 2017-05-08 2018-11-08 Aquifi, Inc. Systems and methods for inspection and defect detection using 3-d scanning
US20200126210A1 (en) 2018-10-19 2020-04-23 Genentech, Inc. Defect Detection in Lyophilized Drug Products with Convolutional Neural Networks

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7805664B1 (en) * 2006-10-05 2010-09-28 Marvell International Ltd Likelihood metric generation for trellis-based detection and/or decoding
WO2018085797A1 (en) * 2016-11-04 2018-05-11 Aquifi, Inc. System and method for portable active 3d scanning
WO2018136262A1 (en) * 2017-01-20 2018-07-26 Aquifi, Inc. Systems and methods for defect detection
US20190096135A1 (en) * 2017-09-26 2019-03-28 Aquifi, Inc. Systems and methods for visual inspection based on augmented reality
CA3115898C (en) * 2017-10-11 2023-09-26 Aquifi, Inc. Systems and methods for object identification
JP7004145B2 (ja) 2017-11-15 2022-01-21 オムロン株式会社 欠陥検査装置、欠陥検査方法、及びそのプログラム
CN107833220B (zh) * 2017-11-28 2021-06-11 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
JP7015001B2 (ja) 2018-03-14 2022-02-02 オムロン株式会社 欠陥検査装置、欠陥検査方法、及びそのプログラム
KR101911061B1 (ko) 2018-03-26 2018-10-23 주식회사 대곤코퍼레이션 비지도 학습기반 영역별 자가부호기를 이용한 제품 불량판별 시스템 및 비지도 학습기반 영역별 자가부호기를 이용한 제품 불량판별 방법
CN109087274B (zh) 2018-08-10 2020-11-06 哈尔滨工业大学 基于多维融合及语义分割的电子器件缺陷检测方法及装置
CN110378900B (zh) 2019-08-01 2020-08-07 北京迈格威科技有限公司 产品缺陷的检测方法、装置及系统
CN110517247A (zh) * 2019-08-27 2019-11-29 北京百度网讯科技有限公司 获取信息的方法及装置
CN110517259A (zh) * 2019-08-30 2019-11-29 北京百度网讯科技有限公司 一种产品表面状态的检测方法、装置、设备及介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180322623A1 (en) 2017-05-08 2018-11-08 Aquifi, Inc. Systems and methods for inspection and defect detection using 3-d scanning
US20200126210A1 (en) 2018-10-19 2020-04-23 Genentech, Inc. Defect Detection in Lyophilized Drug Products with Convolutional Neural Networks

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Guanying Chen et al.，Self-calibrating Deep Photometric Stereo Networks，2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)，IEEE，2019年06月15日，pages 8731-8739
Steffen Herbort et al.，An Introduction to Image-based 3D Surface Reconstruction and a Survey of Photometric Stereo Methods，3D Research，Springer，2021年09月，Vol. 2, No. 3，pages 1-17

Also Published As

Publication number Publication date
KR20210040853A (ko) 2021-04-14
US11615524B2 (en) 2023-03-28
JP2022013608A (ja) 2022-01-18
CN111768386A (zh) 2020-10-13
EP3836077B1 (en) 2023-03-22
EP3836077A2 (en) 2021-06-16
US20210407062A1 (en) 2021-12-30
KR102636381B1 (ko) 2024-02-13
CN111768386B (zh) 2024-02-20
EP3836077A3 (en) 2021-10-20

Similar Documents

Publication Publication Date Title
JP7105326B2 (ja) 製品欠陥検出方法、装置、電子デバイス、記憶媒体、及びプログラム
CN110162083B (zh) 利用无人机执行三维结构检查及维护任务的方法和系统
CN111860167B (zh) 人脸融合模型获取及人脸融合方法、装置及存储介质
JP2021082308A (ja) マルチモーダルコンテンツ処理方法、装置、機器及び記憶媒体
US11887388B2 (en) Object pose obtaining method, and electronic device
JP2021114296A (ja) 近赤外画像の生成方法、近赤外画像の生成装置、生成ネットワークの訓練方法、生成ネットワークの訓練装置、電子機器、記憶媒体及びコンピュータプログラム
US20210073973A1 (en) Method and apparatus for component fault detection based on image
JP2021193547A (ja) キーポイント学習モデルを構築するための方法、装置、電子デバイス及びコンピュータ可読記憶媒体
CN111968203B (zh) 动画驱动方法、装置、电子设备及存储介质
US20220051004A1 (en) Image processing method, apparatus, device and storage medium
WO2023241097A1 (zh) 一种语义实例重建方法、装置、设备及介质
JP2021101365A (ja) 測位方法、測位装置及び電子機器
US20230186583A1 (en) Method and device for processing virtual digital human, and model training method and device
JP2021103573A (ja) 文字認識の方法、装置、電子設備、コンピュータ可読記憶媒体、及びプログラム
CN112149741B (zh) 图像识别模型的训练方法、装置、电子设备及存储介质
EP3869402A1 (en) Method and apparatus for positioning key point, device, storage medium and computer program product
CN115578515B (zh) 三维重建模型的训练方法、三维场景渲染方法及装置
CN111862030A (zh) 一种人脸合成图检测方法、装置、电子设备及存储介质
CN112001248A (zh) 主动交互的方法、装置、电子设备和可读存储介质
CN105051718B (zh) 用于监视-挖掘-管理循环的方法和系统
CN112508027B (zh) 用于实例分割的头部模型、实例分割模型、图像分割方法及装置
CN111967481A (zh) 视觉定位方法、装置、电子设备及存储介质
CN112508163B (zh) 神经网络模型中子图的展示方法、装置和存储介质
Charter Human-Centered Intelligent Monitoring and Control of Industrial Systems: A Framework for Immersive Cyber-Physical Systems
Fang et al. A multi-modal context-aware sequence stage validation for human-centric AR assembly

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220711

R150 Certificate of patent or registration of utility model

Ref document number: 7105326

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150