KR102636381B1 - 제품 결함 검출 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 - Google Patents

제품 결함 검출 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR102636381B1
KR102636381B1 KR1020210037927A KR20210037927A KR102636381B1 KR 102636381 B1 KR102636381 B1 KR 102636381B1 KR 1020210037927 A KR1020210037927 A KR 1020210037927A KR 20210037927 A KR20210037927 A KR 20210037927A KR 102636381 B1 KR102636381 B1 KR 102636381B1
Authority
KR
South Korea
Prior art keywords
information
channel
feature information
defect detection
images
Prior art date
Application number
KR1020210037927A
Other languages
English (en)
Other versions
KR20210040853A (ko
Inventor
예 수
레이 니에
지안파 조우
펭 후앙
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20210040853A publication Critical patent/KR20210040853A/ko
Application granted granted Critical
Publication of KR102636381B1 publication Critical patent/KR102636381B1/ko

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 출원은 컴퓨터 비전, 이미지 처리, 딥러닝, 클라우드 컴퓨팅 등의 분야에 관한 것으로, 제품 결함 검출 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램을 개시한다. 구체적인 구현 방안은 타겟 제품의 다중 채널 이미지를 획득하고; 다중 채널 이미지를 결함 검출 모델에 입력하고, 결함 검출 모델은 복수의 컨볼루션 분기, 융합 모듈 및 컨볼루션 전체 분기를 포함하며; 복수의 컨볼루션 분기를 사용하여, 다중 채널 이미지 중의 각 채널에 대해 각각 특징 추출을 수행하여, 복수의 제1 특징 정보를 획득하고; 융합 모듈을 사용하여 복수의 제1 특징 정보를 융합하여 제2 특징 정보를 획득하고; 컨볼루션 전체 분기를 사용하여 제2 특징 정보에 대한 특징 추출을 수행하여, 결함 검출 모델에 의해 출력되는 제3 특징 정보를 획득하며; 제3 특징 정보에 따라, 타겟 제품의 결함 정보를 결정한다. 본 출원의 기술 방안을 실시하면 다양한 특징의 융합 효과를 강화할 수 있다.

Description

제품 결함 검출 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램{PRODUCT DEFECT DETECTION METHOD AND APPARATUS, ELECTRONIC DEVICE AND STORAGE MEDIUM}
본 출원은 컴퓨터 기술 분야에 관한 것으로, 특히 컴퓨터 비전, 이미지 처리, 딥러닝, 클라우드 컴퓨팅 등 분야에 관한 것이다.
컴퓨터류, 통신류 및 소비류 전자 제품의 부품 제조와 같은 전통적인 공업 제조업의 생산 시나리오에서, 제품의 표면 상태 검출은 제조업체가 출하 품질을 제어하고, 생산 관계를 유지하는 중요한 절차이다. 전통적인 공업 제조업 생산에서, 이와 같은 제품 표면 상태 기반의 품질 검사는 대부분이 수동 육안 검사 또는 반자동 광학 기기에 의한 보조 품질 검사이고, 고강도의 생산 리듬으로 인해 품질 검사원은 피로로 인해 오판하기 쉽다. 또한, 이러한 방식으로 발생하는 공업 데이터는 저장하기 쉽지 않거니와 2차 발굴과 재활용도 쉽지 않다.
본 출원은 제품 결함 검출 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램을 제공한다.
본 출원의 일 측면은 제품 결함 검출 방법을 제공한다. 상기 방법은,
타겟 제품의 다중 채널 이미지를 획득하는 단계;
상기 다중 채널 이미지를, 복수의 컨볼루션 분기, 융합 모듈 및 컨볼루션 전체 분기를 포함하는 결함 검출 모델에 입력하는 단계;
상기 복수의 컨볼루션 분기를 사용하여, 상기 다중 채널 이미지 중의 각 채널에 대해 각각 특징 추출을 수행하여 복수의 제1 특징 정보를 획득하는 단계;
상기 융합 모듈을 사용하여 상기 복수의 제1 특징 정보를 융합하여 제2 특징 정보를 획득하는 단계;
상기 컨볼루션 전체 분기를 사용하여 상기 제2 특징 정보에 대한 특징 추출을 수행하여, 상기 결함 검출 모델에 의해 출력되는 제3 특징 정보를 획득하는 단계;
상기 제3 특징 정보에 따라 상기 타겟 제품의 결함 정보를 결정하는 단계를 포함한다.
본 출원의 다른 측면은 제품 결함 검출 장치를 제공한다. 상기 장치는,
타겟 제품의 다중 채널 이미지를 획득하기 위한 획득 모듈;
상기 다중 채널 이미지를, 복수의 컨볼루션 분기, 융합 모듈 및 컨볼루션 전체 분기를 포함하는 결함 검출 모델에 입력하기 위한 입력 모듈;
상기 복수의 컨볼루션 분기를 사용하여, 상기 다중 채널 이미지 중의 각 채널에 대해 각각 특징 추출을 수행하여 복수의 제1 특징 정보를 획득하기 위한 분기 처리 모듈;
상기 융합 모듈을 사용하여 상기 복수의 제1 특징 정보를 융합하여 제2 특징 정보를 획득하기 위한 분기 병합 모듈;
상기 컨볼루션 전체 분기를 사용하여 상기 제2 특징 정보에 대한 특징 추출을 수행하여, 상기 결함 검출 모델에 의해 출력되는 제3 특징 정보를 획득하기 위한 전체 분기 처리 모듈;
상기 제3 특징 정보에 따라 상기 타겟 제품의 결함 정보를 결정하기 위한 결정 모듈을 포함한다.
본 출원의 다른 측면은 전자 기기를 제공한다. 상기 전자 기기는,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 연결된 메모리를 포함하고,
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있으며, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행됨으로써, 상기 적어도 하나의 프로세서로 하여금 본 출원의 임의의 실시예에서 제공하는 방법을 실행 가능하도록 한다.
본 출원의 다른 측면은 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체를 제공하고, 상기 컴퓨터 명령은 상기 컴퓨터로 하여금 본 출원의 임의의 실시예에서 제공하는 방법을 실행하도록 한다.
본 출원의 또 다른 측면은 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 프로그램 중의 명령이 프로세서에 의해 실행될 경우, 상술한 제품 결함 검출 방법이 구현된다.
본 출원의 기술 방안에 따르면, 타겟 제품의 다중 채널 이미지를 획득하고, 다중 채널 이미지와 결함 검출 모델을 사용하여 타겟 제품의 결함 정보를 결정하는 것을 통해, 수동 육안 검사 또는 반자동 광학 기기에 의한 보조 품질 검사에서 오검하기 쉽고 검출 결과의 저장과 사용에 불리한 문제를 해결한다. 타겟 제품의 이미지는 다중 채널 이미지이기 때문에 타겟 제품의 다양한 특징을 기록하고; 또한, 결함 검출 모델은 먼저 복수의 컨볼루션 분기를 사용하여 복수의 채널에 대해 각각 특징 추출을 수행하고, 복수의 컨볼루션 분기의 출력에 대해 융합한 후 다시 융합 후의 특징을 컨볼루션 전체 분기를 사용하여 추출하므로, 모델은 각 채널의 독립적인 특징 정보를 사용할 뿐만 아니라, 각 채널 사이의 관련 정보를 충분히 사용한다. 따라서, 본 출원의 기술 방안을 실시하면 다양한 특징의 융합 효과를 강화할 수 있고, 타겟 제품의 다양한 특징에 대한 이용률을 향상시킬 수 있으며, 결함 검출의 정확성을 향상시킬 수 있다.
본 부분에서 설명된 내용은 본 출원의 실시예의 핵심 특징 또는 중요 특징을 식별하기 위한 것이 아니며, 본 출원의 범위를 한정하려는 의도가 아님을 이해해야 한다. 본 출원의 다른 특징은 아래 명세서를 통해 쉽게 이해될 것이다.
도면은 본 해결수단을 더 잘 이해하기 위한 것으로, 본 출원에 대한 한정을 구성하지 않는다. 여기서,
도 1은 본 출원의 예시적인 실시예에서 제공하는 제품 결함 검출 방법의 개략도이다.
도 2는 본 출원의 예시적인 실시예에서의 결함 검출 모델의 개략도이다.
도 3은 본 출원의 예시적인 실시예에서 제공하는 제품 결함 검출 방법의 개략도이다.
도 4는 본 출원의 실시예를 구현할 수 있는 적용 시나리오 다이어그램이다.
도 5는 본 출원의 예시적인 실시예에서 제공하는 제품 결함 검출 장치의 개략도이다.
도 6은 본 출원의 예시적인 실시예에서 제공하는 제품 결함 검출 장치의 개략도이다.
도 7은 본 출원의 실시예의 제품 결함 검출 방법을 구현하기 위한 전자 기기의 블록도이다.
이하, 첨부된 도면을 결부하여 본 출원의 예시적 실시예를 설명하되, 여기에는 이해를 돕기 위한 본 출원의 실시예의 다양한 세부 사항이 포함되며, 이는 단지 예시적인 것으로 간주되어야 한다. 따라서, 당업자는 본 출원의 범위와 사상을 벗어나지 않고, 여기서 설명되는 실시예에 대해 다양한 변경과 수정을 수행할 수 있다. 마찬가지로, 명확하고 간소화하기 위해, 이하 설명에서 공지된 기능과 구조에 대한 설명을 생략한다.
도 1은 본 출원의 예시적인 실시예에서 제공하는 제품 결함 검출 방법의 개략도이다. 도 1에 도시된 바와 같이, 당해 방법은 하기와 같은 단계를 포함한다.
단계 S11: 타겟 제품의 다중 채널 이미지를 획득한다.
여기서, 타겟 제품은 공업 제조업에서 결함 검출 대상 제품을 가리킬 수 있다. 다중 채널 이미지는 타겟 제품의 적색 특징값, 녹색 특징값 및 청색 특징값을 포함하는 컬러 이미지와 같은 복수의 채널의 특징 정보를 포함하는 이미지를 가리킬 수 있다. 일부 실시형태에서, 3차원 입체 정보 등과 같은 타겟 제품의 기타 특징 정보를 하나 또는 복수의 이미지 채널의 특징 정보로 하여, 다중 채널 이미지를 획득할 수도 있다.
단계 S12: 다중 채널 이미지를 결함 검출 모델에 입력한다. 여기서 결함 검출 모델은 복수의 컨볼루션 분기, 융합 모듈 및 컨볼루션 전체 분기를 포함한다.
본 출원의 실시예에서, 결함 검출 모델은 컨볼루션 뉴럴 네트워크 트레이닝에 기반하여 획득할 수 있다. 결함 검출 모델의 컨볼루션 분기의 개수는 상술한 다중 채널 이미지의 채널 수량과 같을 수 있다. 예를 들어, 결함 검출 모델이 6채널 이미지를 처리하는데 사용되면, 6개의 컨볼루션 분기를 포함할 수 있다. 선택적으로, 결함 검출 모델 중의 융합 모듈 및 컨볼루션 모듈의 수량은 하나일 수 있다.
단계 S13: 복수의 컨볼루션 분기를 사용하여, 다중 채널 이미지 중의 각 채널에 대해 각각 특징 추출을 수행하여 복수의 제1 특징 정보를 획득한다.
다중 채널 이미지 중의 각 채널의 특징 정보는, 각 컨볼루션 분기에 각각 입력되어 처리된다. 여기서, 각 컨볼루션 분기는 하나 또는 복수의 컨볼루션 층을 포함할 수 있다. 예시로서, 각 컨볼루션 분기는 입력된 정보에 대해 컨볼루션 층을 사용하여 특징 추출을 수행하여, 대응되는 채널에서 제품 결함과 관련되는 특징을 강화하는 효과를 얻을 수 있다. 선택적으로, 각 컨볼루션 분기는 업 샘플링 층, 다운 샘플링 층, 전체 연결층 등 하나 또는 여러 가지 컨볼루션 층을 더 포함할 수 있다.
각 컨볼루션 분기의 네트워크 구조는 resnet(잔차 네트워크), U-net 네트워크, FCN(Fully Convolutional Networks, 전체 컨볼루션 네트워크) 등의 프레임 워크에 기반하여 결정할 수 있다. 각 컨볼루션 분기는 하나의 채널의 특징 정보를 처리한 후, 복수의 채널을 포함하는 제1 특징 정보를 획득할 수 있다.
각 컨볼루션 분기에 의해 각각 출력되는 제1 특징 정보의 채널 수량은 대응되는 컨볼루션 분기의 네트워크 구조 및 컨볼루션 분기 중의 각 컨볼루션 층의 파라미터와 관련된다. 각 컨볼루션 분기에서의 네트워크 구조는 같을 수 있고, 서로 다를 수도 있다. 예를 들어, 서로 다른 유형의 특징 정보에 대해, 서로 다른 네트워크 구조를 사용하여 특징을 조준적으로 추출할 수 있다.
단계 S14: 융합 모듈을 사용하여 복수의 제1 특징 정보를 융합하여 제2 특징 정보를 획득한다.
예시적으로, 융합 모듈은 복수의 다중 채널의 제1 특징 정보에 대해 채널 통합을 수행하여, 하나의 다중 채널의 제2 특징 정보를 획득한다. 예를 들어, 각 제1 특징 정보의 채널 수량은 256이고, 5개의 제1 특징 정보의 채널을 모아서, 제2 특징 정보의 256×5=1280개의 채널로 하며, 예시로서, 그중의 일부 채널을 병합하여, 채널 수량이 1280보다 작은 제2 특징 정보를 획득할 수도 있다.
단계 S15: 컨볼루션 전체 분기를 사용하여 제2 특징 정보에 대한 특징 추출을 수행하여, 결함 검출 모델에 의해 출력되는 제3 특징 정보를 획득한다.
여기서, 컨볼루션 전체 분기는 하나 또는 복수의 컨볼루션 층을 포함할 수 있고, 융합된 제2 특징 정보에 대해 특징 추출을 수행하는데 사용된다. 선택적으로, 컨볼루션 전체 분기에는 업 샘플링 층, 다운 샘플링 층, 전체 연결층 등 하나 또는 여러 가지 컨볼루션 층을 더 포함할 수 있다. 컨볼루션 전체 분기는 resnet, U-net 네트워크, FCN 등 프레임 워크에 기반하여 결정할 수 있다. 컨볼루션 전체 분기에 의해 출력되는 제3 특징 정보를, 결함 검출 모델에 의해 출력되는 특징 정보로 할 수 있다.
단계 S16: 제3 특징 정보에 따라, 타겟 제품의 결함 정보를 결정한다.
예를 들어, 제3 특징 정보는 결함 정보를 강화한 이미지 정보일 수 있다. 제3 특징 정보에 기반하여, 타겟 제품의 결함 정보를 결정할 수 있다. 선택적으로, 타겟 제품의 결함 정보는 결함이 발생한 위치 정보, 결함의 크기, 결함의 유형 등을 포함할 수 있다. 예를 들어 제3 특징 정보 중의 특징값이 역치보다 큰 픽셀 위치를 결함 위치로 결정하고, 결함 위치에 기반하여 결함의 크기, 모양 등을 결정하고, 결함의 크기, 모양에 따라 결함의 유형을 결정한다.
본 실시예에 따르면, 타겟 제품의 다중 채널 이미지를 획득하고, 다중 채널 이미지와 결함 검출 모델을 사용하여, 타겟 제품의 결함 정보를 결정하는 것을 통해, 수동 육안 검사 또는 반자동 광학 기기에 의한 보조 품질 검사에서 오검하기 쉽고 검출 결과의 저장과 사용에 불리한 문제를 해결한다. 타겟 제품의 이미지는 다중 채널 이미지이기 때문에 타겟 제품의 다양한 특징을 기록하고; 또한, 결함 검출 모델은 먼저 복수의 컨볼루션 분기를 사용하여 복수의 채널에 대해 각각 특징 추출을 수행하고, 복수의 컨볼루션 분기의 출력에 대해 융합한 후 다시 융합 후의 특징을 컨볼루션 전체 분기를 사용하여 추출하므로, 모델은 각 채널의 독립적인 특징 정보를 사용할 뿐만 아니라, 각 채널 사이의 관련 정보를 충분히 사용한다. 따라서, 본 실시예의 방안을 사용하면 다양한 특징의 융합 효과를 강화할 수 있고, 타겟 제품의 다양한 특징에 대한 이용률을 향상시킬 수 있으며, 결함 검출의 정확성을 향상시킬 수 있다.
예를 들어, 도 2에 도시된 바와 같이, 결함 검출 모델은 제1 컨볼루션 분기, 제2 컨볼루션 분기, 제3 컨볼루션 분기, 융합 모듈 및 컨볼루션 전체 분기를 포함할 수 있다.
3채널 이미지를 결함 검출 모델에 입력한 후, 먼저 제1 채널, 제2 채널 및 제3 채널의 특징 정보를 3개의 컨볼루션 분기에 각각 입력한다. 도 2에 도시된 예에서, 제1 컨볼루션 분기는 제1 채널에 대해 특징 추출을 수행하고, 제2 컨볼루션 분기는 제2 채널에 대해 특징 추출을 수행하며, 제3 컨볼루션 분기는 제3 채널에 대해 특징 추출을 수행한다. 각 컨볼루션 분기는 하나의 제1 특징 정보를 출력한다. 그 후, 융합 모듈은 3개의 제1 특징 정보를 융합하여 제2 특징 정보를 획득하고, 제2 특징 정보를 컨볼루션 전체 분기에 출력한다. 컨볼루션 전체 분기는 융합 후의 제2 특징 정보를 처리하여, 제3 특징 정보를 결함 검출 모델의 출력 정보로 출력한다.
예시적으로, 도 2에 도시된 바와 같이, 융합 모듈은 접합층과 융합 컨볼루션 층을 포함할 수 있다. 상술한 단계 S14에서, 상기 융합 모듈을 사용하여 상기 복수의 제1 특징 정보를 융합하여 제2 특징 정보를 획득하는 단계는,
상기 융합 모듈 중의 접합층을 사용하여, 상기 복수의 제1 특징 정보에 대해 채널 접합을 수행하여 제4 특징 정보를 획득하는 단계;
상기 융합 모듈 중의 융합 컨볼루션 층을 사용하여, 상기 제4 특징 정보에 대해 채널 정렬을 수행하여, 표준화 채널 수량을 가진 제2 특징 정보를 획득하는 단계를 포함한다.
예를 들어, 각 컨볼루션 분기에 의해 각각 출력되는 제1 특징 정보가 512개의 채널을 포함할 경우, 접합층을 사용하여 3개의 제1 특징 정보에 대해 채널 접합을 수행하여, 512×3=1536개 채널의 제4 특징 정보를 획득한다. 1536은 표준화된 채널 수가 아니기 때문에, 융합 컨볼루션 층을 사용하여 1536개의 채널을 포함하는 제4 특징 정보에 대해 채널 정렬을 수행하여, 표준화 채널 수량 512를 가진 제2 특징 정보를 획득할 수 있다.
당해 예시적인 실시형태에 따르면, 융합 컨볼루션 층은 복수의 제1 특징 정보를 융합할 뿐만 아니라, 이를 채널 수량이 표준화된 제2 특징 정보로 정렬하여, 표준화된 네트워크 아키텍처를 사용하여 컨볼루션 전체 분기를 구현하는데 편리할 수 있고, 개발 난이도를 낮출 수 있고, 모델의 정확성을 향상시킬 수 있다.
예시적인 일 실시형태에서, 도 3에 도시된 바와 같이, 단계 S11로서의 타겟 제품의 다중 채널 이미지를 획득하는 단계는,
단계 S111: 복수의 수집 조건에서 타겟 제품의 복수의 이미지를 수집하는 단계;
단계 S112: 복수의 이미지의 특징 정보에 따라, 복수의 채널의 특징 정보를 결정하는 단계;
단계 S113: 복수의 채널의 특징 정보에 기반하여, 타겟 제품의 다중 채널 이미지를 획득하는 단계를 포함한다.
예시적으로, 하나의 결함 검출 대상 제품에 대해, 이미지 수집 장치, 예를 들어 카메라를 사용하여 서로 다른 유형, 서로 다른 각도의 광원 조사 조건에서 복수의 이미지를 수집할 수 있다. 복수의 이미지의 특징 정보를 복수의 채널의 특징 정보로 하면, 다중 채널 이미지를 획득할 수 있다. 예를 들어, 5개의 서로 다른 각도의 광원이 조사되는 상태에서, 타겟 제품의 5개의 이미지를 수집하여 5채널 이미지를 획득한다.
예시적으로, 복수의 이미지의 특징 정보에 대해 기설정 처리를 수행하여, 복수의 이미지의 특징 정보를 동일한 분포 구간, 예를 들어 [0, 255], [0, 1] 등으로 전환하도록 할 수도 있다. 기설정 처리 후의 특징 정보를 복수의 채널의 특징 정보로 한다. 기설정 처리는 예를 들어 균형화와 정규화이다.
예시적으로, 복수의 이미지의 특징 정보를 사용하여 타겟 제품의 기타 정보를 결합하여, 더 많은 채널의 특징 정보를 획득함으로써, 더 많은 채널의 이미지를 획득할 수도 있다. 예를 들어, 타겟 제품의 5개의 이미지를 수집하고, 타겟 제품의 2가지 특징을 더 획득함으로써 7개 채널의 특징 정보를 획득하여, 7채널 이미지 중의 각 채널의 특징 정보로 한다.
당해 예시적인 실시형태에 따르면, 수집된 복수의 이미지의 특징 정보를 다중 채널 이미지 중의 일부 또는 전체 채널의 특징 정보로 하고, 그 후, 하나의 결함 검출 모델을 사용하여 다중 채널 이미지를 검출하여, 타겟 제품의 다각도, 다차원 정보를 효과적으로 집결할 수 있다. 복수의 모델을 사용하여 복수의 이미지를 각각 검출하는 것에 비교하여, 더 빠르고 정확하게 타겟 제품의 결함 정보를 검출할 수 있다.
예시적인 일 실시형태에서, 상술한 단계 S112로서 상기 복수의 이미지의 특징 정보에 따라, 복수의 채널의 특징 정보를 결정하는 단계는,
복수의 이미지와 광류 입체 네트워크에 따라, 타겟 제품의 3차원 입체 정보를 연산하는 단계;
복수의 이미지의 특징 정보와 3차원 입체 정보를, 복수의 채널의 특징 정보로 하는 단계를 포함한다.
여기서, 3차원 입체 정보는 3D 입체 정보라고도 할 수 있다.
예를 들어, 타겟 제품의 5개의 이미지를 수집하고, 이 외에 복수의 이미지에 따라 타겟 제품의 1가지 3차원 입체 정보 예를 들어 이미지 중의 어느 한 픽셀점의 제품 표면 깊이를 획득하여 6가지 특징 정보를 획득하고, 이에 대해 균형화와 정규화 등 처리를 수행한 후, 6개 채널의 특징 정보로 하여 6채널 이미지를 획득한다.
당해 예시적인 실시형태에 따르면, 타겟 제품의 3차원 입체 정보를 다중 채널 이미지 중의 일부 채널 정보로 사용하며, 제품 결함 검출의 정확성을 향상시킬 수 있다.
선택적으로, 동일한 픽셀 좌표계에서 타겟 제품의 3차원 입체 정보를 연산하여 정확성을 더 향상시키도록, 타겟 제품의 복수의 이미지는 동일한 위치에 있는 카메라를 사용하여 동일한 각도로부터 수집한 서로 다른 광원 조사 조건에서의 이미지일 수 있다.
선택적으로, 상기 광류 입체 네트워크는 광선 교정 네트워크와 법선 방향 연산 네트워크를 포함한다. 상기 3차원 입체 정보는 상기 광선 교정 네트워크에 의해 연산된 깊이 정보 및 상기 법선 방향 연산 네트워크에 의해 연산된 표면 경사 각도 정보를 포함한다.
광선 교정 네트워크를 이용하여 동일한 위치, 동일한 각도에서 촬영한 여러가지 광원 조건에서의 이미지를 연산하여, 예를 들어 제품 표면 깊이, 높이와 같은 이미지 중의 제품의 깊이 정보를 획득할 수 있다. 법선 방향 연산 네트워크를 이용하여 동일한 위치, 동일한 각도에세 촬영한 여러가지 광원 조건에서의 이미지를 연산하여, 이미지 중의 제품의 표면 경사 각도를 획득할 수 있다.
타겟 제품의 깊이 정보와 표면 경사 각도 정보를 이용하여, 타겟 제품을 재구성할 수 있으므로, 당해 예시적인 실시형태는 깊이 정보와 표면 경사 각도 정보를 결합하여, 타겟 제품에 대해 결함 검출을 수행하며, 검출 정확성을 효과적으로 향상시킬 수 있다.
도 4는 본 출원의 실시예를 구현할 수 있는 제품 결함 검출 방법의 적용 시나리오 다이어그램이다. 당해 방법은 복수의 이미지에 기반하여 수행하는 제품 결함 검출을 구현할 수 있다. 구체적으로 실시할 때, 미리 설계된 광원 방안에 따라, 자동화 기계 설비를 통해 산업용 카메라를 가설하고, 서로 다른 각도, 서로 다른 유형의 광원 조사 조건에서의 제품의 복수의 이미지를 각각 수집한다. 이미지 입력에 기반하여 제품에 대해 결함 검출을 수행한 후, 로봇 아암을 사용하여 검출 결과에 따라 제품을 대응되는 재료함에 넣는다.
도 4에 도시된 바와 같이, 하기와 같은 모듈을 사용하여 제품 결함 검출 방법을 구현할 수 있다.
데이터 수집 모듈(Camera): 자동화 기계 설비를 통해 서로 다른 각도, 서로 다른 유형의 광원 조사 조건에서의 제품의 복수의 이미지 또는 동영상을 각각 수집한다.
이미지 융합 모듈(Collector): 제품의 복수의 이미지 또는 동영상의 복수의 프레임에 대해, 시각 증강 기술을 결합하여 채널 레벨의 융합을 수행하되, 예를 들어 상술한 단계 S111 내지 S113을 실시하여, 정보 집적을 구현한다. 도면에서18개의 이미지를 예로 들었다.
고장 판정 모듈(Predictor): 인공 지능 시각 알고리즘, 예를 들어 본 출원의 실시예에서 제공하는 결함 검출 모델을 통해, 전자 기기에서 예측 요청 중의 이미지에 대해 결함 검출을 수행하여, 제품의 결함 정보 예를 들어 결함 카테고리, 결함 위치, 및 검출 결과 정확성을 나타내는 예측 점수를 획득하고, 모델 검출 결과를 반환한다.
제어 모듈(Controller): 데이터 수집 모듈과 함께, 예측 태스크의 개시 동작, 종료 동작을 스케줄링하여, 태스크의 개시 동작을 예측한다. 예측 결과를 접수하고, 재료 분배 동작을 완성한다.
재료 분배 모듈(Distributor): 자동화 장비를 통해, 의사 결정 시스템의 최종 예측 결과에 따라, 대응하는 부품 또는 제품의 실물에 대해 재료 분배를 수행한다.
당해 시나리오에서, 제어 모듈은 먼저 생산 라인의 품질 검사 수요에 따라 서비스 시동 명령을 상술한 각 모듈을 포함하는 모든 연산 노드에 송신한다. 각 연산 노드에 명령을 로딩한다. 수동 인공 지능 알고리즘 모델을 사용하여, 고장 판정 모듈을 구성한다. 모델을 시동하고 예열한 후, 데이터 수집 모듈은 자동화 장비를 통해 검출 대상 제품에 대해 연속적으로 촬영하는 것을 시작하고, 실시간으로 발생하는 제품의 서로 다른 각도 이미지 및 관련 생산 정보를 고장 예측 요청(query)으로 전환하고, 예측 요청을 제어 모듈에 송신한다. 예측 요청을 수신한 후, 제어 모듈은 개시 동작을 실행하여, query 및 스케줄링 명령 정보를 예를 들어 이미지 융합 모듈과 같은 지정된 연산 노드에 송신한다. 이미지 융합 모듈은 입력 정보에 대해 융합 처리를 수행하고 융합 후의 이미지를 예측 요청과 함께 고장 판정 모듈에 송신한다. 고장 판정 모듈은 예측 요청 중의 모델에 대해, 고장 판정 결과를 출력하여, 이를 제어 모듈에 송신한다.
제어 모듈은 고장 판정 결과를 수신한 후, 최종 재료 분배 의사 결정을 생성하고, 이어서 재료 분배 의사 결정 정보를 재료 분배 모듈에 송신하여 제품에 대해 재료 분배를 수행하는 동시에, 경보, 생산 데이터의 저장 등과 같은 생산 환경 시나리오 요구에 부합하는 응답을 한다.
도 4에 도시된 바와 같이, 제어 모듈은 실시간 검출 로그를 생산 데이터베이스에 저장하고, 이미지 융합 모듈은 원시 이미지와 같은 원시 데이터를 생산 데이터베이스에 저장하고, 생산 데이터베이스 중의 데이터를 레이블링하며, 그러면 레이블링 데이터를 사용하여 결함 검출 모델을 재트레이닝하고 최적화할 수 있다. 본 출원의 실시예의 방법을 사용하면, 검출 데이터의 저장, 관리 및 2차 발굴과 재활용에 유리하다는 것을 알 수 있다.
앞서 말한 내용을 종합하면, 본 출원의 실시예의 방법에 따르면, 타겟 제품의 다중 채널 이미지를 획득하고, 다중 채널 이미지와 결함 검출 모델을 사용하여, 타겟 제품의 결함 정보를 결정하는 것을 통해, 수동 육안 검사 또는 반자동 광학 기기에 의한 보조 품질 검사에서 오검하기 쉽고 검출 결과의 저장과 사용에 불리한 문제를 해결한다. 타겟 제품의 이미지는 다중 채널 이미지이기 때문에 타겟 제품의 다양한 특징을 기록하고; 또한, 결함 검출 모델은 먼저 복수의 컨볼루션 분기를 사용하여 복수의 채널에 대해 각각 특징 추출을 수행하고, 복수의 컨볼루션 분기의 출력에 대해 융합한 후 다시 융합 후의 특징을 컨볼루션 전체 분기를 사용하여 추출하므로, 모델은 각 채널의 독립적인 특징 정보를 사용할 뿐만 아니라, 각 채널 사이의 관련 정보를 충분히 사용한다. 따라서, 본 출원의 실시예의 방법을 실시하면, 다양한 특징의 융합 효과를 강화할 수 있고, 타겟 제품의 다양한 특징에 대한 이용률을 향상시킬 수 있으며, 결함 검출의 정확성을 향상시킬 수 있다.
도 5는 본 출원의 예시적인 실시예에서 제공하는 제품 결함 검출 장치의 개략도이다. 도 5에 도시된 바와 같이, 당해 장치는,
타겟 제품의 다중 채널 이미지를 획득하기 위한 획득 모듈(51);
다중 채널 이미지를, 복수의 컨볼루션 분기, 융합 모듈 및 컨볼루션 전체 분기를 포함하는 결함 검출 모델에 입력하기 위한 입력 모듈(52);
복수의 컨볼루션 분기를 사용하여, 다중 채널 이미지 중의 각 채널에 대해 각각 특징 추출을 수행하여 복수의 제1 특징 정보를 획득하기 위한 분기 처리 모듈(53);
융합 모듈을 사용하여 복수의 제1 특징 정보를 융합하여 제2 특징 정보를 획득하기 위한 분기 병합 모듈(54);
컨볼루션 전체 분기를 사용하여 제2 특징 정보에 대한 특징 추출을 수행하여, 결함 검출 모델에 의해 출력되는 제3 특징 정보를 획득하기 위한 전체 분기 처리 모듈(55);
제3 특징 정보에 따라, 타겟 제품의 결함 정보를 결정하기 위한 결정 모듈(56)을 포함한다.
일 실시형태에서, 도 6에 도시된 바와 같이, 획득 모듈(51)은,
복수의 수집 조건에서 타겟 제품의 복수의 이미지를 수집하기 위한 수집 유닛(511);
복수의 이미지의 특징 정보에 따라, 복수의 채널의 특징 정보를 결정하기 위한 채널 결정 유닛(512);
복수의 채널의 특징 정보에 기반하여, 타겟 제품의 다중 채널 이미지를 획득하기 위한 이미지 획득 유닛(513)을 포함한다.
일 실시형태에서, 도 6에 도시된 바와 같이, 채널 결정 유닛(512)은,
복수의 이미지와 광류 입체 네트워크에 따라, 타겟 제품의 3차원 입체 정보를 연산하기 위한 연산 서브 유닛;
복수의 이미지의 특징 정보와 3차원 입체 정보를, 복수의 채널의 특징 정보로 하기 위한 결정 서브 유닛을 포함한다.
일 실시형태에서, 광류 입체 네트워크는 광선 교정 네트워크와 법선 방향 연산 네트워크를 포함하고; 3차원 입체 정보는 광선 교정 네트워크에 의해 연산된 깊이 정보 및 법선 방향 연산 네트워크에 의해 연산된 표면 경사 각도 정보를 포함한다.
일 실시형태에서, 분기 병합 모듈(54)은,
융합 모듈 중의 접합층을 사용하여, 복수의 제1 특징 정보에 대해 채널 접합을 수행하여 제4 특징 정보를 획득하기 위한 채널 접합 유닛(541);
융합 모듈 중의 융합 컨볼루션 층을 사용하여, 제4 특징 정보에 대해 채널 정렬을 수행하여, 표준화 채널 수량을 가진 제2 특징 정보를 획득하기 위한 채널 정렬 유닛(542)을 포함한다.
본 출원의 실시예에서 제공하는 장치는, 본 출원의 실시예의 방법을 구현할 수 있고, 상응하는 유익한 효과를 가진다.
본 출원의 실시예에 따라, 본 출원은 전자 기기 및 판독 가능 저장 매체를 더 제공한다.
도 7에 도시된 바와 같이, 본 출원의 실시예의 제품 결함 검출 방법을 실시하는 전자 기기의 블록도이다. 전자 기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크 스테이션, 개인용 정보 단말기, 서버, 블레이드 서버, 메인프레임 컴퓨터 및 기타 적합한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 나타내기 위한 것이다. 전자 기기는 개인용 디지털 처리, 셀룰러 폰, 스마트 폰, 웨어러블 기기 및 기타 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 나타낼 수도 있다. 본 명세서에 표시된 부품, 이들의 연결 및 관계 그리고 이들의 기능은 단지 예시적인 것으로서, 본 명세서에서 설명되거나 및/또는 요구되는 본 출원의 구현을 한정하려는 의도가 아니다.
도 7에 도시된 바와 같이, 당해 전자 기기는 하나 또는 다수의 프로세서(701), 메모리(702), 및 고속 인터페이스 및 저속 인터페이스를 포함하는 각 부품을 연결하기 위한 인터페이스를 포함한다. 각각의 부품은 상이한 버스를 사용하여 상호 연결되고, 또한 공통 메인보드에 설치되거나 수요에 따라 다른 방식으로 설치될 수 있다. 프로세서는 전자 기기 내에서 실행되는 명령을 처리할 수 있고, 상기 명령은 메모리 내에 저장되거나 또는 메모리에 저장되어 외부 입력/출력 장치(예를 들어, 인터페이스에 커플링된 디스플레이 기기)에 GUI의 그래픽 정보를 디스플레이하기 위한 명령을 포함한다. 다른 실시형태에서, 필요하다면, 다수의 프로세서 및/또는 다수의 버스를 다수의 메모리 및 다수의 메모리와 함께 사용할 수 있다. 마찬가지로, 다수의 전자 기기를 연결할 수 있으며, 각각의 기기는 일부 필요한 동작을 제공한다(예를 들어, 서버 어레이, 한 그룹의 블레이드 서버, 또는 다중 프로세서 시스템으로 사용됨). 도 7에서는 하나의 프로세서(701)를 예로 들었다.
메모리(702)는 본 출원에서 제공된 비일시적 컴퓨터 판독 가능 저장 매체이다. 여기서, 상기 메모리에는 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어, 상기 적어도 하나의 프로세서가 본 출원의 실시예에서 제공된 제품 결함 검출 방법을 수행하도록 한다. 본 출원의 비일시적 컴퓨터 판독 가능 저장 매체는 컴퓨터 명령을 저장하며, 당해 컴퓨터 명령은 컴퓨터로 하여금 본 출원에서 제공된 제품 결함 검출 방법을 수행하도록 한다.
메모리(702)는 비일시적 컴퓨터 판독 가능 저장 매체로서, 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행 가능 프로그램 및 모듈, 예를 들어 본 출원의 실시예에서의 제품 결함 검출 방법에 대응되는 프로그램 명령/모듈(예를 들어, 도 5에 도시된 획득 모듈(51), 입력 모듈(52), 분기 처리 모듈(53), 분기 병합 모듈(54), 전체 분기 처리 모듈(55) 및 결정 모듈(56))을 저장하는데 사용될 수 있다. 프로세서(701)는 메모리(702)에 저장되어 있는 비일시적 소프트웨어 프로그램, 명령 및 모듈을 실행함으로써, 서버의 다양한 기능 애플리케이션 및 데이터 처리를 수행하며, 다시 말해 상기 방법 실시예에서의 제품 결함 검출 방법을 구현한다.
메모리(702)는 프로그램 저장 영역 및 데이터 저장 영역을 포함할 수 있는 바, 여기서 프로그램 저장 영역은 운영 체제, 적어도 하나의 기능에 필요한 애플리케이션 프로그램을 저장할 수 있고; 데이터 저장 영역은 제품 결함 검출용 전자 기기의 사용에 의해 생성된 데이터 등을 저장할 수 있다. 이밖에, 메모리(702)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 예를 들어 적어도 하나의 자기 디스크 저장 디바이스, 플래시 저장 디바이스, 또는 다른 비일시적 솔리드 스테이트 저장 디바이스와 같은 비일시적 메모리를 더 포함할 수 있다. 일부 실시예에서, 메모리(702)는 프로세서(701)에 대해 원격으로 설치되는 메모리를 선택적으로 포함하고, 이러한 원격 메모리는 네트워크를 통해 제품 결함 검출용 전자 기기에 연결될 수 있다. 상기 네트워크의 구현예는 인터넷, 기업 인트라넷, 근거리 통신망, 이동 통신망 및 이들의 조합을 포함하지만 이에 한정되지 않는다.
제품 결함 검출 방법을 실시하는 전자 기기는, 입력 장치(703) 및 출력 장치(704)를 더 포함할 수 있다. 프로세서(701), 메모리(702), 입력 장치(703) 및 출력 장치(704)는 버스 또는 다른 방식을 통해 연결될 수 있고, 도 7에서는 버스를 통한 연결을 예로 들었다.
입력 장치(703)는 입력된 숫자 또는 문자 정보를 수신할 수 있고, 제품 결함 검출용 전자 기기의 사용자 설정 및 기능 제어와 관련된 키 신호 입력을 생성할 수 있다. 입력 장치(703)는 예를 들어 터치 스크린, 키패드, 마우스, 트랙 패드, 터치 패드, 포인팅 스틱, 하나 또는 다수의 마우스 버튼, 트랙볼, 조이스틱 등 입력 장치이다. 출력 장치(704)는 디스플레이 기기, 보조 조명 장치(예를 들어, LED) 및 촉각 피드백 장치(예를 들어, 진동 모터) 등을 포함할 수 있다. 당해 디스플레이 기기는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이 및 플라즈마 디스플레이를 포함할 수 있으나 이에 한정되지 않는다. 일부 실시형태에서, 디스플레이 기기는 터치 스크린일 수 있다.
여기에 설명되는 시스템 및 기술의 다양한 실시형태는 디지털 전자 회로 시스템, 집적 회로 시스템, 주문형 ASIC (주문형 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시형태는 다음을 포함할 수 있다. 즉 하나 또는 다수의 컴퓨터 프로그램에서 구현되고, 당해 하나 또는 다수의 컴퓨터 프로그램은 적어도 하나의 프로그래밍 가능 프로세서를 포함한 프로그래밍 가능 시스템에서 실행 및/또는 해석될 수 있으며, 당해 프로그래밍 가능 프로세서는 주문형 또는 범용 프로그래밍 가능 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신하고, 데이터 및 명령을 당해 저장 시스템, 당해 적어도 하나의 입력 장치 및 당해 적어도 하나의 출력 장치로 전송할 수 있다.
이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드로도 지칭됨)은 프로그래밍 가능 프로세서의 기계 명령을 포함하고, 또한 고급 프로세스 및/또는 객체 지향 프로그래밍 언어, 및/또는 어셈블리/기계 언어를 사용하여 이러한 컴퓨팅 프로그램을 구현할 수 있다. 본 명세서에 사용된 바와 같이, 용어 "기계 판독 가능 매체” 및 "컴퓨터 판독 가능 매체”는 기계 명령 및/또는 데이터를 프로그래밍 가능 프로세서에 제공하기 위한 임의의 컴퓨터 프로그램 제품, 기기 및/또는 장치(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그래밍 가능 논리 장치(PLD))를 가리키며, 기계 판독 가능 신호로서 기계 명령을 수신하는 기계 판독 가능 매체를 포함한다. 용어 "기계 판독 가능 신호”는 기계 명령 및/또는 데이터를 프로그래밍 가능 프로세서에 제공하기 위한 임의의 신호를 가리킨다.
사용자와의 인터랙션을 제공하기 위해, 컴퓨터에서 여기에 설명되는 시스템 및 기술을 구현할 수 있으며, 당해 컴퓨터는, 사용자에게 정보를 디스플레이하기 위한 디스플레이 장치(예를 들어, CRT (음극선관) 또는 LCD (액정 디스플레이) 모니터); 및 키보드 및 방향 지시 장치(예를 들어, 마우스 또는 트랙볼)을 구비하며, 사용자는 당해 키보드 및 당해 방향 지시 장치를 통해 컴퓨터에 입력을 제공할 수 있다. 사용자와의 인터랙션을 제공하기 위해 다른 유형의 장치도 사용할 수 있다. 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 센싱 피드백(예를 들어, 시각적 피드백, 청각적 피드백 또는 촉각적 피드백)일 수 있으며; 임의의 형태(소리 입력, 음성 입력 또는 촉각 입력을 포함함)로 사용자로부터의 입력을 수신할 수 있다.
여기에 설명되는 시스템 및 기술은 백엔드 부품을 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버로 사용됨), 또는 미들웨어 부품을 포함하는 컴퓨팅 시스템(예를 들어, 애플리케이션 서버), 또는 프론트 엔드 부품을 포함하는 컴퓨팅 시스템(예를 들어, 사용자가 여기에 설명되는 시스템 및 기술의 실시형태와 인터랙션할 수 있는 그래픽 사용자 인터페이스 또는 웹 브라우저를 갖는 사용자 컴퓨터), 또는 이러한 백엔드 부품, 미들웨어 부품, 또는 프론트 엔드 부품을 포함하는 임의의 조합의 컴퓨팅 시스템에서 실시될 수 있다. 시스템의 부품은 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)을 통해 서로 연결될 수 있다. 통신 네트워크의 예시는, 근거리 통신망(LAN), 광대역 통신망(WAN) 및 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 멀리 떨어져 있으며, 일반적으로 통신 네트워크를 통해 인터랙션한다. 클라이언트와 서버 간의 관계는 대응되는 컴퓨터에서 실행되고 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램에 의해 생성된다. 서버는 클라우드 서버일 수 있고, 클라우드 컴퓨팅 서버 또는 클라우드 호스트로도 지칭될 수 있으며, 클라우드 컴퓨팅 서버 시스템의 호스트 제품으로서, 기존의 물리적 호스트와 가상 전용 서버(VPS) 서비스에 존재하는, 관리 난이도가 크고 비즈니스 확장성이 약한 결함을 해결한다.
본 출원의 실시예는 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램을 더 제공하며, 상기 컴퓨터 프로그램은 그 속의 명령이 프로세서에 의해 실행될 경우, 상술한 제품 결함 검출 방법이 구현되는 것을 특징으로 한다.
본 출원의 실시예의 기술 방안에 따르면, 타겟 제품의 다중 채널 이미지를 획득하고, 다중 채널 이미지와 결함 검출 모델을 사용하여 타겟 제품의 결함 정보를 결정하는 것을 통해, 수동 육안 검사 또는 반자동 광학 기기에 의한 보조 품질 검사에서 오검하기 쉽고 검출 결과의 저장과 사용에 불리한 문제를 해결한다. 타겟 제품의 이미지는 다중 채널 이미지이기 때문에 타겟 제품의 다양한 특징을 기록하고; 또한, 결함 검출 모델은 먼저 복수의 컨볼루션 분기를 사용하여 복수의 채널에 대해 각각 특징 추출을 수행하고, 복수의 컨볼루션 분기의 출력에 대해 융합한 후 다시 융합 후의 특징을 컨볼루션 전체 분기를 사용하여 추출하므로, 모델은 각 채널의 독립적인 특징 정보를 사용할 뿐만 아니라, 또한 각 채널 사이의 관련 정보를 충분히 사용한다. 따라서, 본 출원의 실시예의 기술 방안을 실시하면, 다양한 특징의 융합 효과를 강화할 수 있고, 타겟 제품의 다양한 특징에 대한 이용률을 향상시킬 수 있으며, 결함 검출의 정확성을 향상시킬 수 있다.
상술한 설명에서 언급된 다양한 형태의 프로세스를 사용하되 단계를 재정렬, 추가 또는 삭제할 수 있음을 이해해야 한다. 예를 들어, 본 출원에 기재된 각 단계는 병렬로 수행될 수 있고, 순차적으로 수행될 수도 있으며, 상이한 순서로 수행될 수도 있다. 본 출원에 공개된 기술 방안에 따라 예상되는 결과를 구현할 수만 있다면 본 명세서에서는 여기서 한정하지 않는다.
상술한 구체적인 실시형태는 본 출원의 보호 범위를 한정하려는 것이 아니다. 당업자는, 설계 요구 및 기타 요소에 따라 다양한 수정, 조합, 서브 조합 및 대체가 이루어질 수 있음을 인식해야 할 것이다. 임의의 본 출원의 사상 및 원칙 이내에서 이루어진 수정, 등가 교체 및 개선 등은 모두 본 출원의 보호 범위 이내에 포함되어야 한다.

Claims (13)

  1. 제품 결함 검출 방법에 있어서,
    타겟 제품의 다중 채널 이미지를 획득하는 단계;
    상기 다중 채널 이미지를, 복수의 컨볼루션 분기, 융합 모듈 및 컨볼루션 전체 분기를 포함하는 결함 검출 모델에 입력하는 단계;
    상기 복수의 컨볼루션 분기를 사용하여, 상기 다중 채널 이미지 중의 각 채널에 대해 각각 특징 추출을 수행하여 복수의 제1 특징 정보를 획득하는 단계;
    상기 융합 모듈을 사용하여 상기 복수의 제1 특징 정보를 융합하여 제2 특징 정보를 획득하는 단계;
    상기 컨볼루션 전체 분기를 사용하여 상기 제2 특징 정보에 대한 특징 추출을 수행하여, 상기 결함 검출 모델에 의해 출력되는 제3 특징 정보를 획득하는 단계;
    상기 제3 특징 정보에 따라, 상기 타겟 제품의 결함 정보를 결정하는 단계를 포함하고,
    여기서, 상기 융합 모듈을 사용하여 상기 복수의 제1 특징 정보를 융합하여 제2 특징 정보를 획득하는 단계는,
    상기 융합 모듈 중의 접합층을 사용하여, 상기 복수의 제1 특징 정보에 대해 채널 접합을 수행하여 제4 특징 정보를 획득하는 단계;
    상기 융합 모듈 중의 융합 컨볼루션 층을 사용하여, 상기 제4 특징 정보에 대해 채널 정렬을 수행하여, 표준화 채널 수량을 가진 제2 특징 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 제품 결함 검출 방법.
  2. 제1항에 있어서,
    상기 타겟 제품의 다중 채널 이미지를 획득하는 단계는,
    복수의 수집 조건에서 타겟 제품의 복수의 이미지를 수집하는 단계;
    상기 복수의 이미지의 특징 정보에 따라, 복수의 채널의 특징 정보를 결정하는 단계;
    상기 복수의 채널의 특징 정보에 기반하여, 상기 타겟 제품의 다중 채널 이미지를 획득하는 단계를 포함하는
    것을 특징으로 하는 제품 결함 검출 방법.
  3. 제2항에 있어서,
    상기 복수의 이미지의 특징 정보에 따라 복수의 채널의 특징 정보를 결정하는 단계는,
    상기 복수의 이미지와 광류 입체 네트워크에 따라, 상기 타겟 제품의 3차원 입체 정보를 연산하는 단계;
    상기 복수의 이미지의 특징 정보와 상기 3차원 입체 정보를 복수의 채널의 특징 정보로 하는 단계를 포함하는
    것을 특징으로 하는 제품 결함 검출 방법.
  4. 제3항에 있어서,
    상기 광류 입체 네트워크는 광선 교정 네트워크와 법선 방향 연산 네트워크를 포함하고; 상기 3차원 입체 정보는 상기 광선 교정 네트워크에 의해 연산된 깊이 정보 및 상기 법선 방향 연산 네트워크에 의해 연산된 표면 경사 각도 정보를 포함하는
    것을 특징으로 하는 제품 결함 검출 방법.
  5. 제품 결함 검출 장치에 있어서,
    타겟 제품의 다중 채널 이미지를 획득하기 위한 획득 모듈;
    상기 다중 채널 이미지를, 복수의 컨볼루션 분기, 융합 모듈 및 컨볼루션 전체 분기를 포함하는 결함 검출 모델에 입력하기 위한 입력 모듈;
    상기 복수의 컨볼루션 분기를 사용하여, 상기 다중 채널 이미지 중의 각 채널에 대해 각각 특징 추출을 수행하여 복수의 제1 특징 정보를 획득하기 위한 분기 처리 모듈;
    상기 융합 모듈을 사용하여 상기 복수의 제1 특징 정보를 융합하여 제2 특징 정보를 획득하기 위한 분기 병합 모듈;
    상기 컨볼루션 전체 분기를 사용하여 상기 제2 특징 정보에 대한 특징 추출을 수행하여, 상기 결함 검출 모델에 의해 출력되는 제3 특징 정보를 획득하기 위한 전체 분기 처리 모듈;
    상기 제3 특징 정보에 따라 상기 타겟 제품의 결함 정보를 결정하기 위한 결정 모듈을 포함하고,
    여기서, 상기 분기 병합 모듈은,
    상기 융합 모듈 중의 접합층을 사용하여, 상기 복수의 제1 특징 정보에 대해 채널 접합을 수행하여 제4 특징 정보를 획득하기 위한 채널 접합 유닛;
    상기 융합 모듈 중의 융합 컨볼루션 층을 사용하여, 상기 제4 특징 정보에 대해 채널 정렬을 수행하여, 표준화 채널 수량을 가진 제2 특징 정보를 획득하기 위한 채널 정렬 유닛을 포함하는 것을 특징으로 하는 제품 결함 검출 장치.
  6. 제5항에 있어서,
    상기 획득 모듈은,
    복수의 수집 조건에서 타겟 제품의 복수의 이미지를 수집하기 위한 수집 유닛;
    상기 복수의 이미지의 특징 정보에 따라, 복수의 채널의 특징 정보를 결정하기 위한 채널 결정 유닛;
    상기 복수의 채널의 특징 정보에 기반하여, 상기 타겟 제품의 다중 채널 이미지를 획득하기 위한 이미지 획득 유닛을 포함하는
    것을 특징으로 하는 제품 결함 검출 장치.
  7. 제6항에 있어서,
    상기 채널 결정 유닛은,
    상기 복수의 이미지와 광류 입체 네트워크에 따라, 상기 타겟 제품의 3차원 입체 정보를 연산하기 위한 연산 서브 유닛;
    상기 복수의 이미지의 특징 정보와 상기 3차원 입체 정보를, 복수의 채널의 특징 정보로 하기 위한 결정 서브 유닛을 포함하는
    것을 특징으로 하는 제품 결함 검출 장치.
  8. 제7항에 있어서,
    상기 광류 입체 네트워크는 광선 교정 네트워크와 법선 방향 연산 네트워크를 포함하고; 상기 3차원 입체 정보는 상기 광선 교정 네트워크에 의해 연산된 깊이 정보 및 상기 법선 방향 연산 네트워크에 의해 연산된 표면 경사 각도 정보를 포함하는
    것을 특징으로 하는 제품 결함 검출 장치.
  9. 전자 기기에 있어서,
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 통신 연결된 메모리를 포함하고,
    상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있으며, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행됨으로써, 상기 적어도 하나의 프로세서로 하여금 제1항 내지 제4항 중 어느 한 항의 방법을 실행 가능하도록 하는
    것을 특징으로 하는 전자 기기.
  10. 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체에 있어서,
    상기 컴퓨터 명령은 상기 컴퓨터로 하여금 제1항 내지 제4항 중 어느 한 항의 방법을 실행하도록 하는
    것을 특징으로 하는 비일시적 컴퓨터 판독 가능 저장 매체.
  11. 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램 중의 명령이 프로세서에 의해 실행될 경우, 제1항의 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  12. 삭제
  13. 삭제
KR1020210037927A 2020-06-30 2021-03-24 제품 결함 검출 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 KR102636381B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010612366.XA CN111768386B (zh) 2020-06-30 2020-06-30 产品缺陷检测方法、装置、电子设备和存储介质
CN202010612366.X 2020-06-30

Publications (2)

Publication Number Publication Date
KR20210040853A KR20210040853A (ko) 2021-04-14
KR102636381B1 true KR102636381B1 (ko) 2024-02-13

Family

ID=72722974

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210037927A KR102636381B1 (ko) 2020-06-30 2021-03-24 제품 결함 검출 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램

Country Status (5)

Country Link
US (1) US11615524B2 (ko)
EP (1) EP3836077B1 (ko)
JP (1) JP7105326B2 (ko)
KR (1) KR102636381B1 (ko)
CN (1) CN111768386B (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4080406A4 (en) * 2019-12-20 2022-12-28 BOE Technology Group Co., Ltd. SYSTEM AND METHOD FOR DISTRIBUTED PRODUCT DEFECT ANALYSIS AND COMPUTER READABLE STORAGE MEDIA
CN112257619A (zh) * 2020-10-27 2021-01-22 北京澎思科技有限公司 一种目标重识别方法、装置、设备及存储介质
CN112560864B (zh) * 2020-12-22 2024-06-18 苏州超云生命智能产业研究院有限公司 图像语义分割方法、装置及图像语义分割模型的训练方法
CN112614113A (zh) * 2020-12-26 2021-04-06 北京工业大学 一种基于深度学习的带钢缺陷检测方法
CN113026828B (zh) * 2021-03-04 2023-01-24 北京百度网讯科技有限公司 水下桩基探伤方法、装置、设备、存储介质及程序产品
CN113077454A (zh) * 2021-04-19 2021-07-06 凌云光技术股份有限公司 一种图像缺陷拟合方法、系统和存储介质
CN113505650B (zh) * 2021-06-13 2023-06-16 北京林业大学 地形特征线提取方法及装置、设备
CN113591589B (zh) * 2021-07-02 2022-09-27 北京百度网讯科技有限公司 产品漏检的识别方法、装置、电子设备及存储介质
KR102426829B1 (ko) * 2021-12-16 2022-07-29 주식회사 인터엑스 Ai 기반 제품 표면 검사 장치 및 방법
CN113947821A (zh) * 2021-12-20 2022-01-18 南京航空航天大学 一种涡轮增压叶片质量控制方法
CN114565834A (zh) * 2021-12-28 2022-05-31 上汽大众汽车有限公司 动力总成支承安装质量的检测方法、工作台、检测系统及计算机可读存储介质
CN114466183A (zh) * 2022-02-21 2022-05-10 江东电子材料有限公司 基于特征光谱的铜箔瑕疵检测方法、装置和电子设备
CN114782756B (zh) * 2022-06-20 2022-10-04 深圳新视智科技术有限公司 基于特征融合的缺陷检测方法、装置、设备及存储介质
CN114782830B (zh) * 2022-06-22 2022-09-06 天津大学 一种图像深度学习特征增强方法、系统及装置
CN115205224B (zh) * 2022-06-22 2023-06-09 锋睿领创(珠海)科技有限公司 自适应特征增强的多源融合视觉检测方法、装置及介质
CN115508389B (zh) * 2022-11-24 2023-05-12 江苏时代新能源科技有限公司 检测装置、缺陷检测方法、装置、计算机设备和存储介质
CN115963397B (zh) * 2022-12-01 2023-07-25 华中科技大学 一种电机定子内轮廓表面缺陷快速在线检测方法及装置
CN116046790B (zh) * 2023-01-31 2023-10-27 北京百度网讯科技有限公司 缺陷检测方法、装置、系统、电子设备以及存储介质
CN116433664B (zh) * 2023-06-13 2023-09-01 成都数之联科技股份有限公司 面板缺陷检测方法、装置、存储介质、设备及程序产品
CN116500048B (zh) * 2023-06-28 2023-09-15 四川联畅信通科技有限公司 一种线缆卡具缺陷检测方法、装置、设备及介质
CN117007611B (zh) * 2023-09-28 2024-01-09 杭州百子尖科技股份有限公司 片状材料的周期性缺陷检测方法、装置、设备以及介质
CN117078674B (zh) * 2023-10-14 2024-01-05 中电鹏程智能装备有限公司 一种pcba外观缺陷智能检测方法和检测系统
CN117710379B (zh) * 2024-02-06 2024-05-10 杭州灵西机器人智能科技有限公司 一种无损检测模型构建方法、无损检测方法、装置及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101911061B1 (ko) 2018-03-26 2018-10-23 주식회사 대곤코퍼레이션 비지도 학습기반 영역별 자가부호기를 이용한 제품 불량판별 시스템 및 비지도 학습기반 영역별 자가부호기를 이용한 제품 불량판별 방법
US20180322623A1 (en) * 2017-05-08 2018-11-08 Aquifi, Inc. Systems and methods for inspection and defect detection using 3-d scanning
JP2019091249A (ja) 2017-11-15 2019-06-13 オムロン株式会社 欠陥検査装置、欠陥検査方法、及びそのプログラム
JP2019159889A (ja) 2018-03-14 2019-09-19 オムロン株式会社 欠陥検査装置、欠陥検査方法、及びそのプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7805664B1 (en) * 2006-10-05 2010-09-28 Marvell International Ltd Likelihood metric generation for trellis-based detection and/or decoding
US10204448B2 (en) * 2016-11-04 2019-02-12 Aquifi, Inc. System and method for portable active 3D scanning
WO2018136262A1 (en) * 2017-01-20 2018-07-26 Aquifi, Inc. Systems and methods for defect detection
US20190096135A1 (en) * 2017-09-26 2019-03-28 Aquifi, Inc. Systems and methods for visual inspection based on augmented reality
US10579875B2 (en) * 2017-10-11 2020-03-03 Aquifi, Inc. Systems and methods for object identification using a three-dimensional scanning system
CN107833220B (zh) * 2017-11-28 2021-06-11 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN109087274B (zh) 2018-08-10 2020-11-06 哈尔滨工业大学 基于多维融合及语义分割的电子器件缺陷检测方法及装置
CN112912964A (zh) 2018-10-19 2021-06-04 豪夫迈·罗氏有限公司 利用卷积神经网络对冻干药物产品的缺陷检测
CN110378900B (zh) 2019-08-01 2020-08-07 北京迈格威科技有限公司 产品缺陷的检测方法、装置及系统
CN110517247A (zh) * 2019-08-27 2019-11-29 北京百度网讯科技有限公司 获取信息的方法及装置
CN110517259A (zh) * 2019-08-30 2019-11-29 北京百度网讯科技有限公司 一种产品表面状态的检测方法、装置、设备及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180322623A1 (en) * 2017-05-08 2018-11-08 Aquifi, Inc. Systems and methods for inspection and defect detection using 3-d scanning
JP2019091249A (ja) 2017-11-15 2019-06-13 オムロン株式会社 欠陥検査装置、欠陥検査方法、及びそのプログラム
JP2019159889A (ja) 2018-03-14 2019-09-19 オムロン株式会社 欠陥検査装置、欠陥検査方法、及びそのプログラム
KR101911061B1 (ko) 2018-03-26 2018-10-23 주식회사 대곤코퍼레이션 비지도 학습기반 영역별 자가부호기를 이용한 제품 불량판별 시스템 및 비지도 학습기반 영역별 자가부호기를 이용한 제품 불량판별 방법

Also Published As

Publication number Publication date
EP3836077B1 (en) 2023-03-22
JP2022013608A (ja) 2022-01-18
KR20210040853A (ko) 2021-04-14
US11615524B2 (en) 2023-03-28
CN111768386B (zh) 2024-02-20
JP7105326B2 (ja) 2022-07-22
EP3836077A2 (en) 2021-06-16
CN111768386A (zh) 2020-10-13
US20210407062A1 (en) 2021-12-30
EP3836077A3 (en) 2021-10-20

Similar Documents

Publication Publication Date Title
KR102636381B1 (ko) 제품 결함 검출 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램
KR102229594B1 (ko) 디스플레이 스크린 품질 검출 방법, 장치, 전자기기 및 저장매체
CN108306756B (zh) 一种基于电力数据网全息评估系统及其故障定位方法
US20230022550A1 (en) Image processing method, method for training image processing model devices and storage medium
US20210201161A1 (en) Method, apparatus, electronic device and readable storage medium for constructing key-point learning model
Zhou et al. Computer vision enabled building digital twin using building information model
CN111768381A (zh) 零部件缺陷检测方法、装置及电子设备
US20210312799A1 (en) Detecting traffic anomaly event
CN112184837A (zh) 一种图像检测方法、装置、电子设备及存储介质
CN114491181A (zh) 一种反窃电诊断检测方法及系统
JP2022013579A (ja) 画像処理方法、装置、電子機器および記憶媒体
CN117037059A (zh) 基于巡检监控的设备管理方法、装置及电子设备
CN112069155A (zh) 数据多维分析模型生成方法和装置
CN115115062B (zh) 机器学习模型建立方法、相关装置及计算机程序产品
CN111967299B (zh) 无人机巡检方法、装置、设备及存储介质
CN116489336A (zh) 基于虚拟制片的设备监测方法、装置、设备、介质及产品
CN110008888A (zh) 智能监控网络中的综合特征目标检测方法和系统
CN115564031A (zh) 一种用于玻璃缺陷检测的检测网络
CN112508163B (zh) 神经网络模型中子图的展示方法、装置和存储介质
CN113810665A (zh) 视频处理方法、装置、设备、存储介质及产品
Liu et al. AR-Driven Industrial Metaverse for the Auxiliary Maintenance of Machine Tools in IoT-Enabled Manufacturing Workshop
Yu et al. Design and Implementation of MR Patrol Inspection System Based on Digital Twins
CN112581542A (zh) 自动驾驶单目标定算法的评估方法、装置及设备
CN112735140A (zh) 数据处理方法、装置、电子设备和存储介质
CN117539674B (zh) 异常处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant