KR20230150886A - 인쇄 회로 기판 검사 장치 및 부품의 실장 상태를 검사하기 위한 방법 - Google Patents

인쇄 회로 기판 검사 장치 및 부품의 실장 상태를 검사하기 위한 방법 Download PDF

Info

Publication number
KR20230150886A
KR20230150886A KR1020237035082A KR20237035082A KR20230150886A KR 20230150886 A KR20230150886 A KR 20230150886A KR 1020237035082 A KR1020237035082 A KR 1020237035082A KR 20237035082 A KR20237035082 A KR 20237035082A KR 20230150886 A KR20230150886 A KR 20230150886A
Authority
KR
South Korea
Prior art keywords
depth information
machine
learning
based model
printed circuit
Prior art date
Application number
KR1020237035082A
Other languages
English (en)
Inventor
이세린
강진만
정중기
손정호
윤민철
Original Assignee
주식회사 고영테크놀러지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 고영테크놀러지 filed Critical 주식회사 고영테크놀러지
Publication of KR20230150886A publication Critical patent/KR20230150886A/ko

Links

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • H05K13/081—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0817—Monitoring of soldering processes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2509—Color coding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95684—Patterns showing highly reflecting parts, e.g. metallic elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • H05K13/081—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0815—Controlling of component placement on the substrate during or after manufacturing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • H05K13/081—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Manufacturing & Machinery (AREA)
  • Operations Research (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Medical Informatics (AREA)

Abstract

인쇄 회로 기판 검사 장치는, 이미지 센서에 의해 수신되는 인쇄 회로 기판에 실장된 부품으로부터 반사된 패턴광을 이용하여 부품에 대한 깊이 정보를 생성하고, 생성된 깊이 정보를 머신-러닝 기반 모델에 입력하고, 노이즈가 감소된 깊이 정보를 머신-러닝 기반 모델로부터 획득하고, 노이즈가 감소된 깊이 정보를 이용하여, 부품의 실장 상태를 검사할 수 있다.

Description

인쇄 회로 기판 검사 장치 및 부품의 실장 상태를 검사하기 위한 방법{PRINTED CIRCUIT BOARD INSPECTION APPARATUS AND METHOD FOR INSPECTING MOUNTING STATE OF COMPONENT}
본 개시는 부품의 실장 상태를 검사하기 위한 방법, 인쇄 회로 기판 검사 장치 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
일반적으로, 인쇄 회로 기판에 표면 실장 기술(SMT: Surface Mounter Technology)을 이용한 제조 공정에서, 스크린 프린터는 솔더 페이스트들을 인쇄 회로 기판에 인쇄하고, 마운터는 솔더 페이스트들이 인쇄된 인쇄 회로 기판에 부품들을 실장한다.
또한, 인쇄 회로 기판에 실장된 부품들의 실장 상태를 검사하기 위하여 자동 광학 외관 검사 장치(AOI: Automated Optical Inspection)가 이용되고 있다. AOI 장치는 인쇄 회로 기판에 대한 촬상 이미지를 이용하여, 부품들이 인쇄 회로 기판에 위치 이탈, 들뜸, 기울임 등 없이 정상적으로 실장 되었는지 여부를 검사한다.
한편, AOI 장치가 인쇄 회로 기판에 대한 이미지를 생성하는 과정에서, 인쇄 회로 기판에 조사된 광의 다중 반사 또는 이미지 센서가 수신된 광을 처리하는 과정 등에서 노이즈가 발생할 수 있다. 즉, 광학적 노이즈 및 신호적인 노이즈가 다양하게 발생될 수 있으며, 이와 같이 발생된 노이즈가 감소되지 않으면, AOI 장치에서 생성되는 인쇄 회로 기판 촬상 이미지의 품질이 저하될 수 있다. 인쇄 회로 기판 촬상 이미지의 품질이 저하되면, 인쇄 회로 기판 촬상 이미지를 이용하는 인쇄 회로 기판에 실장된 부품들의 실장 상태에 대한 검사가 정확히 수행되지 않을 수 있다.
본 개시는, 부품에 대한 깊이 정보(depth information)에 기초하여 획득되는 노이즈가 감소된 부품에 대한 깊이 정보를 이용하여 부품의 실장 상태를 검사하는 인쇄 회로 기판 검사 장치를 제공할 수 있다.
본 개시는, 부품에 대한 깊이 정보에 기초하여 획득되는 노이즈가 감소된 부품에 대한 깊이 정보를 이용하여 부품의 실장 상태를 검사하도록 하는 실행 가능한 명령을 포함하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체를 제공할 수 있다.
본 개시는, 부품에 대한 깊이 정보에 기초하여 획득되는 노이즈가 감소된 부품에 대한 깊이 정보를 이용하여 부품의 실장 상태를 검사하는 방법을 제공할 수 있다.
본 개시의 일 실시예에 따르면, 인쇄 회로 기판에 실장된 부품의 실장 상태를 검사하는 인쇄 회로 기판 검사 장치는, 상기 부품에 패턴광을 조사하는 복수의 제1 광원, 상기 부품으로부터 반사된 패턴광을 수신하는 이미지 센서, 복수의 제2 광원으로부터 조사된 패턴광 중 제1 객체로부터 반사된 패턴광을 이용하여 생성되는 상기 제1 객체에 대한 제1 깊이 정보가 입력되면, 노이즈가 감소된 상기 제1 깊이 정보를 출력하는 머신-러닝 기반 모델이 저장된 메모리 및 프로세서를 포함하고, 상기 프로세서는 상기 이미지 센서에 의해 수신되는 상기 부품으로부터 반사된 상기 패턴광을 이용하여 상기 부품에 대한 제2 깊이 정보를 생성하고, 상기 제2 깊이 정보를 상기 머신-러닝 기반 모델에 입력하고, 노이즈가 감소된 상기 제2 깊이 정보를 상기 머신-러닝 기반 모델로부터 획득하고, 상기 노이즈가 감소된 상기 제2 깊이 정보를 이용하여, 상기 부품의 실장 상태를 검사할 수 있다.
일 실시예에서, 상기 머신-러닝 기반 모델은, 상기 복수의 제2 광원으로부터 조사된 패턴광 중 제2 객체로부터 반사된 패턴광을 이용하여 생성된 상기 제2 객체에 대한 제3 깊이 정보 및 복수의 제3 광원으로부터 조사된 패턴광 중 상기 제2 객체로부터 반사된 패턴광을 이용하여 생성된 상기 제2 객체에 대한 제4 깊이 정보를 이용하여, 노이즈가 감소된 제3 깊이 정보를 출력하도록 학습되고, 상기 학습 결과에 기초하여, 제1 깊이 정보가 입력되면, 상기 노이즈가 감소된 상기 제1 깊이 정보를 출력할 수 있다.
일 실시예에서, 상기 복수의 제2 광원의 수는 상기 복수의 제1 광원의 수와 동일하고, 상기 복수의 제3 광원의 수는 상기 복수의 제1 광원의 수보다 클 수 있다.
일 실시예에서, 상기 머신-러닝 기반 모델은 CNN(Convolution Neural Network) 또는 GAN(Generative Adversarial Network)을 포함할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 노이즈가 감소된 상기 제2 깊이 정보를 이용하여, 상기 제2 부품에 대한 3차원 이미지를 생성하고, 상기 제2 부품에 대한 3차원 이미지를 이용하여, 상기 부품의 실장 상태를 검사할 수 있다.
일 실시예에서, 상기 머신-러닝 기반 모델은, 상기 제1 객체에 대한 비저빌리티(visibility) 정보가 더 입력되면, 상기 비저빌리티 정보를 이용하여, 상기 노이즈가 감소된 제1 깊이 정보를 출력할 수 있다.
일 실시예에서, 상기 머신-러닝 기반 모델은, 상기 복수의 제2 광원으로부터 조사된 패턴광 중 제2 객체로부터 반사된 패턴광을 이용하여 생성된 상기 제2 객체에 대한 제3 깊이 정보, 상기 복수의 제2 광원으로부터 조사된 상기 패턴광 중 상기 제2 객체로부터 반사된 패턴광을 이용하여 생성된 상기 제2 객체에 대한 비저빌리티 정보 및 복수의 제3 광원으로부터 조사된 패턴광 중 상기 제2 객체로부터 반사된 패턴광을 이용하여 생성된 상기 제2 객체에 대한 제4 깊이 정보를 이용하여, 노이즈가 감소된 상기 제3 깊이 정보를 출력하도록 학습되고, 상기 학습 결과에 기초하여, 상기 제1 깊이 정보 및 부품에 대한 비저빌리티 정보가 입력되면, 상기 노이즈가 감소된 상기 제1 깊이 정보를 출력할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 이미지 센서에 의해 수신되는 상기 부품으로부터 반사된 상기 패턴광을 이용하여 상기 부품에 대한 비저빌리티 정보를 생성하고, 상기 부품에 대한 비저빌리티 정보를 상기 머신-러닝 기반 모델에 더 입력할 수 있다.
본 개시의 일 실시예에 따르면, 인쇄 회로 기판에 실장된 부품의 실장 상태를 검사하는 인쇄 회로 기판 검사 장치는, 상기 부품에 패턴광을 조사하는 복수의 제1 광원, 상기 부품으로부터 반사된 패턴광을 수신하는 이미지 센서, 복수의 제2 광원으로부터 조사된 패턴광 중 제1 객체로부터 반사된 패턴광을 이용하여 생성되는 상기 제1 객체에 대한 복수의 깊이 정보가 입력되면, 상기 제1 객체에 대한 복수의 깊이 정보에 기초하여 상기 제1 객체에 대한 제1 깊이 정보를 생성하고, 노이즈가 감소된 상기 제1 깊이 정보를 출력하는 머신-러닝 기반 모델이 저장된 메모리 및 프로세서를 포함하고, 상기 프로세서는 상기 이미지 센서에 의해 수신되는 상기 부품으로부터 반사된 상기 패턴광을 이용하여 상기 부품에 대한 복수의 깊이 정보를 생성하고, 상기 부품에 대한 복수의 깊이 정보를 상기 머신-러닝 기반 모델에 입력하고, 노이즈가 감소된 제2 깊이 정보를 상기 머신-러닝 기반 모델로부터 획득하고 - 상기 제2 깊이 정보는 상기 부품에 대한 복수의 깊이 정보에 기초하여 상기 머신-러닝 기반 모델에 의해 생성됨 - , 상기 노이즈가 감소된 상기 제2 깊이 정보를 이용하여, 상기 부품의 실장 상태를 검사할 수 있다.
일 실시예에 따르면, 상기 머신-러닝 기반 모델은, 상기 복수의 제2 광원으로부터 조사된 패턴광 중, 제2 객체로부터 반사된 패턴광을 이용하여 생성된 상기 제2 객체에 대한 복수의 깊이 정보를 이용하여, 상기 제2 객체에 대한 제3 깊이 정보를 생성하고, 상기 제3 깊이 정보 및 복수의 제3 광원으로부터 조사된 패턴광 중, 상기 제2 객체로부터 반사된 패턴광을 이용하여 생성된 상기 제2 객체에 대한 제4 깊이 정보를 이용하여, 노이즈가 감소된 상기 제3 깊이 정보를 출력하도록 학습되고, 상기 학습 결과에 기초하여, 상기 제1 객체에 대한 복수의 깊이 정보가 입력되면, 상기 제1 깊이 정보를 생성하고, 상기 노이즈가 감소된 상기 제1 깊이 정보를 출력할 수 있다.
일 실시예에 따르면, 상기 복수의 제2 광원의 수는 상기 복수의 제1 광원의 수와 동일하고, 상기 복수의 제3 광원의 수는 상기 복수의 제1 광원의 수보다 클 수 있다.
일 실시예에 따르면, 컴퓨터 상에서 수행하기 위한 프로그램을 기록한 비일시적 컴퓨터 판독 가능한 기록 매체에 있어서, 상기 프로그램은, 프로세서에 의한 실행 시, 상기 프로세서가, 인쇄 회로 기판에 실장된 부품에 패턴광이 조사되도록 복수의 제1 광원을 제어하는 단계, 이미지 센서에 의해 수신되는 상기 부품으로부터 반사된 상기 패턴광을 이용하여 상기 부품에 대한 제1 깊이 정보를 생성하는 단계, 상기 제1 깊이 정보를 머신-러닝 기반 모델에 입력하는 단계, 노이즈가 감소된 상기 제1 깊이 정보를 상기 머신-러닝 기반 모델로부터 획득하는 단계 및 상기 노이즈가 감소된 상기 제1 깊이 정보를 이용하여, 상기 부품의 실장 상태를 검사는 단계를 포함하고, 상기 머신-러닝 기반 모델은, 복수의 제2 광원으로부터 조사된 패턴광 중 제1 객체로부터 반사된 패턴광을 이용하여 생성되는 상기 제1 객체에 대한 제1 깊이 정보가 입력되면, 노이즈가 감소된 상기 제1 깊이 정보를 출력할 수 있다.
일 실시예에 따르면, 상기 머신-러닝 기반 모델은, 상기 복수의 제2 광원으로부터 조사된 패턴광 중, 제2 객체로부터 반사된 패턴광을 이용하여 생성된 상기 제2 객체에 대한 제3 깊이 정보 및 복수의 제3 광원으로부터 조사된 패턴광 중, 상기 제2 객체로부터 반사된 패턴광을 이용하여 생성된 상기 제2 객체에 대한 제4 깊이 정보를 이용하여, 노이즈가 감소된 제3 깊이 정보를 출력하도록 학습되고, 상기 학습 결과에 기초하여, 제1 깊이 정보가 입력되면, 상기 노이즈가 감소된 상기 제1 깊이 정보를 출력할 수 있다.
일 실시예에 따르면, 상기 복수의 제2 광원의 수는 상기 복수의 제1 광원의 수와 동일하고, 상기 복수의 제3 광원의 수는 상기 복수의 제1 광원의 수보다 클 수 있다.
일 실시예에 따르면, 상기 머신-러닝 기반 모델은 CNN(Convolution Neural Network) 또는 GAN(Generative Adversarial Network)을 포함할 수 있다.
일 실시예에 따르면, 상기 실행 가능한 명령은, 상기 프로세서가, 상기 노이즈가 감소된 상기 제2 깊이 정보를 이용하여, 상기 제2 부품에 대한 3차원 이미지를 생성하는 단계 및 상기 제2 부품에 대한 3차원 이미지를 이용하여, 상기 부품의 실장 상태를 검사하는 단계를 더 수행하도록 할 수 있다.
일 실시예에 따르면, 상기 머신-러닝 기반 모델은, 상기 제1 객체에 대한 비저빌리티(visibility) 정보가 더 입력되면, 상기 비저빌리티 정보를 이용하여, 상기 노이즈가 감소된 제1 깊이 정보를 출력할 수 있다.
일 실시예에 따르면, 상기 실행 가능한 명령은, 상기 프로세서가, 상기 이미지 센서에 의해 수신되는 상기 부품으로부터 반사된 상기 패턴광을 이용하여 상기 부품에 대한 비저빌리티 정보를 생성하는 단계 및 상기 부품에 대한 비저빌리티 정보를 상기 머신-러닝 기반 모델에 더 입력하는 단계를 더 수행하도록 할 수 있다.
본 개시의 일 실시예에 따르면, 인쇄 회로 기판 검사 장치에서, 부품의 실장 상태를 검사하는 방법은, 인쇄 회로 기판에 실장된 부품에 패턴광이 조사되도록 복수의 제1 광원을 제어하는 단계, 이미지 센서에 의해 수신되는 상기 부품으로부터 반사된 상기 패턴광을 이용하여 상기 부품에 대한 제1 깊이 정보를 생성하는 단계, 상기 제1 깊이 정보를 머신-러닝 기반 모델에 입력하는 단계, 노이즈가 감소된 상기 제1 깊이 정보를 상기 머신-러닝 기반 모델로부터 획득하는 단계 및 상기 노이즈가 감소된 상기 제1 깊이 정보를 이용하여, 상기 부품의 실장 상태를 검사는 단계를 포함하고, 상기 머신-러닝 기반 모델은, 복수의 제2 광원으로부터 조사된 패턴광 중 제1 객체로부터 반사된 패턴광을 이용하여 생성되는 상기 제1 객체에 대한 제1 깊이 정보가 입력되면, 노이즈가 감소된 상기 제1 깊이 정보를 출력할 수 있다.
본 개시의 일 실시예에 따르면, 상기 머신-러닝 기반 모델은, 상기 복수의 제2 광원으로부터 조사된 패턴광 중, 제2 객체로부터 반사된 패턴광을 이용하여 생성된 상기 제2 객체에 대한 제3 깊이 정보 및 복수의 제3 광원으로부터 조사된 패턴광 중, 상기 제2 객체로부터 반사된 패턴광을 이용하여 생성된 상기 제2 객체에 대한 제4 깊이 정보를 이용하여, 노이즈가 감소된 제3 깊이 정보를 출력하도록 학습되고, 상기 학습 결과에 기초하여, 제1 깊이 정보가 입력되면, 상기 노이즈가 감소된 상기 제1 깊이 정보를 출력할 수 있다.
본 개시의 다양한 실시예에 따른 인쇄 회로 기판 검사 장치는, 부품에 대한 깊이 정보를 머신-러닝 기반 모델을 통해 처리함으로써, 부품에 대한 깊이 정보에서 노이즈를 감소시키고, 노이즈가 감소된 부품에 대한 깊이 정보를 이용하여 인쇄 회로 기판에 실장된 부품의 실장 상태를 검사할 수 있다. 인쇄 회로 기판 검사 장치는, 깊이 정보를 생성하기 위해 상대적으로 적은 수의 이미지 데이터가 획득되더라도, 머신-러닝 기반 모델을 이용하여, 미수신 신호 또는 피크 신호 등의 노이즈를 부품에 대한 깊이 정보에서 제거하고, 상대적으로 적은 수의 이미지 데이터가 획득되어 깊이 정보를 생성하기 위한 정보가 부족하더라도, 머신-러닝 기반 모델을 이용하여 소실된 형상이 복원되도록 부품에 대한 깊이 정보를 생성할 수 있다. 또한, 인쇄 회로 기판 검사 장치는 부품의 모서리 등에 대한 3차원 선명도는 최대한 보정하면서도 부품의 조인트 형상의 오복원을 수행하고 않고, 추가적으로 측정된 이물 형상을 훼손하지 않고, 검출할 수 있다.
이와 같이, 부품에 대한 깊이 정보에서 노이즈를 감소시키고, 인쇄회로 기판에 실장된 부품 및 솔더 페이스트에 대해, 실제 부품 및 솔더 페이스트의 형상과 최대한 유사한 수준으로 형상 복원을 수행함으로써, 보다 정확하게 부품의 실장 상태를 검사할 수 있다.
도 1은 본 개시의 다양한 실시예에 따른 인쇄 회로 기판 검사 장치를 도시한다.
도 2는 본 개시의 다양한 실시예에 따른 인쇄 회로 기판 검사 장치의 블록도이다.
도 3은 본 개시의 다양한 실시예에 따른 인쇄 회로 기판 검사 장치에 의한 부품의 실장 상태를 검사하는 방법의 흐름도이다.
도 4a 내지 도 4c는 본 개시의 다양한 실시예에 따른 머신-러닝 기반 모델의 학습 방법을 설명하기 위한 개념도이다.
도 5a 내지 도 5c는 본 개시의 다양한 실시예에 따른 머신-러닝 기반 모델의 동작을 설명하기 위한 개념도이다.
도 6은 본 개시의 다양한 실시예에 따른 머신-러닝 기반 모델의 학습 방법을 설명하기 위한 개념도이다.
도 7은 본 개시의 다양한 실시예에 따른 머신-러닝 기반 모델의 학습에 이용되는 깊이 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 8은 본 개시의 다양한 실시예에 따른 인쇄 회로 기판 검사 장치에 의해 노이즈가 감소된 깊이 정보를 이용하여 생성된 부품에 대한 이미지를 도시한다.
본 개시의 실시예들은 본 개시의 기술적 사상을 설명하기 위한 목적으로 예시된 것이다. 본 개시에 따른 권리범위가 이하에 제시되는 실시예들이나 이들 실시예들에 대한 구체적 설명으로 한정되는 것은 아니다.
본 개시에 사용되는 모든 기술적 용어들 및 과학적 용어들은, 달리 정의되지 않는 한, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 일반적으로 이해되는 의미를 갖는다. 본 개시에 사용되는 모든 용어들은 본 개시를 더욱 명확히 설명하기 위한 목적으로 선택된 것이며 본 개시에 따른 권리범위를 제한하기 위해 선택된 것이 아니다.
본 개시에서 사용되는 "포함하는", "구비하는", "갖는" 등과 같은 표현은, 해당 표현이 포함되는 어구 또는 문장에서 달리 언급되지 않는 한, 다른 실시예를 포함할 가능성을 내포하는 개방형 용어(open-ended terms)로 이해되어야 한다.
본 개시에서 기술된 단수형의 표현은 달리 언급하지 않는 한 복수형의 의미를 포함할 수 있으며, 이는 청구범위에 기재된 단수형의 표현에도 마찬가지로 적용된다.
본 개시에서 사용되는 "제1", "제2" 등의 표현들은 복수의 구성요소들을 상호 구분하기 위해 사용되며, 해당 구성요소들의 순서 또는 중요도를 한정하는 것은 아니다.
본 개시에서 사용되는 용어 "부"는, 소프트웨어, 또는 FPGA(Field-Programmable Gate Array), ASIC(Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미한다. 그러나, "부"는 하드웨어 및 소프트웨어에 한정되는 것은 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서, "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세서, 함수, 속성, 프로시저, 서브루틴, 프로그램 코드의 세그먼트, 드라이버, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조, 테이블, 어레이 및 변수를 포함한다. 구성요소와 "부" 내에서 제공되는 기능은 더 작은 수의 구성요소 및 "부"로 결합되거나 추가적인 구성요소와 "부"로 더 분리될 수 있다.
본 개시에서 사용되는 "~에 기초하여"라는 표현은, 해당 표현이 포함되는 어구 또는 문장에서 기술되는, 결정, 판단의 행위 또는 동작에 영향을 주는 하나 이상의 인자를 기술하는데 사용되며, 이 표현은 결정, 판단의 행위 또는 동작에 영향을 주는 추가적인 인자를 배제하지 않는다.
본 개시에서, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 경우, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결될 수 있거나 접속될 수 있는 것으로, 또는 새로운 다른 구성요소를 매개로 하여 연결될 수 있거나 접속될 수 있는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 개시의 실시예들을 설명한다. 첨부된 도면에서, 동일하거나 대응하는 구성요소에는 동일한 참조부호가 부여되어 있다. 또한, 이하의 실시예들의 설명에 있어서, 동일하거나 대응하는 구성요소를 중복하여 기술하는 것이 생략될 수 있다. 그러나, 구성요소에 관한 기술이 생략되어도, 그러한 구성요소가 어떤 실시예에 포함되지 않는 것으로 의도되지는 않는다.
도 1은 본 개시의 다양한 실시예에 따른 인쇄 회로 기판 검사 장치를 도시한다.
본 개시의 다양한 실시예에 따르면, 인쇄 회로 기판 검사 장치(100)는 인쇄 회로 기판(110)에 실장된 적어도 하나의 부품의 실장 상태를 검사할 수 있다. 이송부(120)는 인쇄 회로 기판(110)을 부품의 실장 상태를 검사 하기 위해 미리 설정된 위치로 이동시킬 수 있다. 또한, 이송부(120)는 인쇄 회로 기판 검사 장치(100)에 의해 검사가 완료되면, 검사가 완료된 인쇄 회로 기판(110)을 미리 설정된 위치에서 이탈하도록 이동시키고, 다른 인쇄 회로 기판(111)을 미리 설정된 인쇄 회로 기판으로 이동시킬 수 있다.
본 개시의 다양한 실시예에 따르면, 인쇄 회로 기판 검사 장치(100)는 제1 광원(101), 이미지 센서(102) 및 프레임(103)을 포함할 수 있다. 제1 광원(101), 이미지 센서(102)는 프레임(103)에 고정될 수 있다. 도 1에 도시된 제1 광원(101), 이미지 센서(102) 및 프레임(103) 각각의 개수 및 배치 상태는 설명의 목적일 뿐, 이에 제한되는 것은 아니다. 예를 들어, 도 1에 도시된 이미지 센서(102)의 위치에 하나의 제1 광원(101)이 배치되고, 도 1 에 도시된 제1 광원(101)의 위치에 복수의 이미지 센서가 배치될 수도 있으며, 제1 광원(101), 이미지 센서(102)는 복수의 프레임(103)을 통해 다양한 방향 및 각도로 배치될 수도 있다.
일 실시예에서, 제1 광원(101)은 부품의 실장 상태를 검사 하기 위해 미리 설정된 위치로 이동된 인쇄 회로 기판(110)에 패턴광을 조사할 수 있다. 제1 광원(101)은 복수 개인 경우, 서로 다른 조사 방향, 서로 다른 조사 각도 등을 가지도록 배치될 수 있다. 또한, 제1 광원(101)이 복수 개인 경우, 제1 광원(101)에서 조사되는 패턴광의 피치 간격 등은 서로 상이할 수 있다. 예를 들어, 패턴광은 인쇄 회로 기판(110)에 대한 3차원 형상을 측정하기 위하여 조사되는, 일정한 주기를 갖는 패턴을 갖는 광일 수 있다. 제1 광원(101)은 줄무늬의 밝기가 사인파(sine wave) 형태를 띠는 패턴광, 밝은 부분과 어두운 부분이 반복되어 표시되는 온-오프(on-off) 형태의 패턴광 또는 밝기의 변화가 삼각형 파형인 삼각파 패턴광 등을 조사할 수 있다. 다만, 이는 설명의 목적일 뿐, 이에 제한되는 것은 아니며, 제1 광원(101)은 밝기의 변화가 일정한 주기를 갖고 반복되는 다양한 형태의 패턴을 포함하는 광을 조사할 수 있다.
일 실시예에서, 이미지 센서(102)는 인쇄 회로 기판(110) 및 인쇄 회로 기판(110)에 실장된 부품으로부터 반사된 패턴광을 수신할 수 있다. 제1 이미지 센서(102)는 수신된 패턴광을 이용하여 이미지 데이터를 생성할 수 있다.
도 2는 본 개시의 다양한 실시예에 따른 인쇄 회로 기판 검사 장치의 블록도이다.
본 개시의 다양한 실시예에 따르면, 인쇄 회로 기판 검사 장치(100)는 제1 광원(210), 이미지 센서(220), 메모리(230) 및 프로세서(240)를 포함할 수 있다. 또한, 인쇄 회로 기판 검사 장치(100)는 통신 회로(250)를 더 포함할 수 있다. 인쇄 회로 기판 검사 장치(100)에 포함된 각 구성 요소들은 서로 전기적으로 연결되어 신호, 데이터 등을 송수신할 수 있다.
일 실시예에서, 인쇄 회로 기판 검사 장치(100)는 복수의 제1 광원(210)을 포함할 수 있다. 제1 광원(210)은 검사 대상(예: 인쇄 회로 기판 등)에 패턴광을 조사할 수 있다. 예를 들어, 제1 광원(210)은 검사 대상 전체에 패턴광을 조사하거나, 검사 대상에 포함된 객체(예: 인쇄 회로 기판에 실장된 부품 등)에 패턴광을 조사할 수 있다. 이하에서는 설명의 편의를 위해, 제1 광원(210)이 인쇄 회로 기판에 실장된 부품에 패턴 광을 중심으로 설명하나, 이에 제한되는 것은 아니며, 제1 광원(210)은 검사 대상인 인쇄 회로 기판 전체 또는 인쇄 회로 기판에 실장된 적어도 하나의 부품을 포함하는 인쇄 회로 기판의 일 영역에 패턴광을 조사할 수 있다.
일 실시예에서, 제1 광원(210)은 광원(미도시), 격자(미도시), 격자 이송장치(미도시) 및 투영 렌즈부(미도시)를 포함할 수 있다. 격자는 광원에서 조사된 광을 패턴광으로 변환시킬 수 있다. 격자는 위상천이된 패턴광을 발생시키기 위해, 예를 들어 PZT(piezo actuator)와 같은 격자 이송 기구를 통해 이송될 수 있다. 투영 렌즈부는 격자에 의해 생성된 패턴광을 검사 대상에 포함된 객체인 인쇄 회로 기판에 실장된 부품에 조사되도록 할 수 있다. 또한, 제1 광원(210)은 LCD(Liquid Crystal Display), DLP(Digital Light Processing) 및 LCOS(Liquid Crystal On Silicon) 등과 같은 다양한 방법을 통해서 패턴광을 형성하여 검사 대상에 포함된 객체인 인쇄 회로 기판에 실장된 부품에 조사되도록 할 수 있다.
일 실시예에서, 이미지 센서(220)는 부품으로부터 반사된 패턴광을 수신할 수 있다. 예를 들어, 이미지 센서(220)는 부품으로부터 반사된 패턴광을 수신하여, 부품에 대한 이미지 데이터를 생성할 수 있다. 이미지 센서(220)는 생성된 부품에 대한 이미지 데이터를 프로세서(240)로 전달할 수 있다.
일 실시예에서, 메모리(230)는 인쇄 회로 기판 검사 장치(100)의 적어도 하나의 다른 구성 요소에 관계된 명령 또는 데이터를 저장할 수 있다. 또한, 메모리(230)는 소프트웨어 및/또는 프로그램을 저장할 수 있다. 예를 들어, 메모리(230)는 내장 메모리 또는 외장 메모리를 포함할 수 있다. 내장 메모리는, 휘발성 메모리(예: DRAM, SRAM 또는 SDRAM 등), 비휘발성 메모리(예: 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브 (SSD)) 중 적어도 하나를 포함할 수 있다. 외장 메모리는 다양한 인터페이스를 통하여 인쇄 회로 기판 검사 장치(100)와 기능적으로 또는 물리적으로 연결될 수 있다.
일 실시예에서, 메모리(230)는 프로세서(240)를 동작하도록 하는 명령들을 저장할 수 있다. 예를 들어, 메모리(230)는 프로세서(240)가 인쇄 회로 기판 검사 장치(100)의 다른 구성 요소들을 제어하고, 외부 전자 장치 또는 서버와 연동하도록 하는 명령들을 저장할 수 있다. 프로세서(240)는 메모리(230)에 저장된 명령들에 기초하여 인쇄 회로 기판 검사 장치(100)의 다른 구성 요소들을 제어하고, 외부 전자 장치 또는 서버와 연동할 수 있다. 이하에서는 인쇄 회로 기판 검사 장치(100)의 각 구성 요소들을 주체로 인쇄 회로 기판 검사 장치(100)의 동작을 설명하도록 한다. 또한, 각 구성 요소들에 의한 동작을 수행하도록 하는 명령들이 메모리(230)에 저장될 수 있다.
일 실시예에서, 메모리(230)는 머신-러닝 기반 모델을 저장할 수 있다. 머신-러닝 기반 모델은 복수의 제2 광원으로부터 조사된 패턴광 중 제1 객체로부터 반사된 패턴광을 이용하여 생성되는 제1 객체에 대한 제1 깊이 정보를 입력 받을 수 있다. 예를 들어, 제1 깊이 정보는 형태, 픽셀별 색상 정보, 밝기 정보, 높이값 중 적어도 하나를 포함할 수 있다.
예를 들어, 복수의 제2 광원과 복수의 제1 광원(210)은 동일할 수도 있고, 상이할 수도 있다. 복수의 제2 광원이 복수의 제1 광원(210)과 상이하더라도, 복수의 제2 광원의 수는 복수의 제1 광원(210)의 수와 동일할 수 있다. 또한, 복수의 제2 광원이 다른 인쇄 회로 기판 검사 장치에 포함되더라도, 다른 인쇄 회로 기판 검사 장치 내에서 복수의 제2 광원의 배치 위치는 인쇄 회로 기판 검사 장치(100) 내의 복수의 제1 광원의 배치 위치와 대응될 수 있다. 머신-러닝 기반 모델은 제1 깊이 정보가 입력되면, 노이즈가 감소된 제1 깊이 정보를 출력할 수 있다.
예를 들어, 제1 객체로부터 반사된 패턴광을 이용하여 생성되는 제1 깊이 정보는 제1 객체에 조사된 패턴 광의 다중 반사 또는 이미지 센서가 수신된 광을 처리하는 과정 등에서 노이즈가 발생할 수 있다. 예를 들어, 노이즈는 제1 깊이 정보 중 제1 객체의 형상과 대응되지 않거나 제1 객체와 관련이 없다고 판단되는 부분일 수 있다. 머신-러닝 기반 모델은 제1 객체에 대한 이미지, 예를 들어 제1 객체에 대한 3차원 이미지의 품질을 향상시키기 위하여, 노이즈가 감소된 제1 깊이 정보를 출력하도록 학습될 수 있다. 머신-러닝 기반 모델로는 CNN(Convolutional Neural Network), GAN(Generative Adversarial Network) 등을 포함할 수 있다. 머신-러닝 기반 모델에 제1 깊이 정보가 입력되면, 머신-러닝 기반 모델이 노이즈가 감소된 제1 깊이 정보를 출력하도록 학습시키는 구체적인 방법에 대해서는 후술하도록 한다.
또한, 머신-러닝 기반 모델은 인쇄 회로 기판 검사 장치(100)와 유선 또는 무선으로 연동된 외부 전자 장치 또는 서버의 메모리에 저장될 수도 있다. 이 경우, 인쇄 회로 기판 검사 장치(100)는 유선 또는 무선으로 연동된 외부 전자 장치 또는 서버와 제1 깊이 정보의 노이즈를 감소시키기 위하여 정보를 송수신할 수 있다.
일 실시예에서, 프로세서(240)는 운영 체제 또는 응용 프로그램을 구동하여, 인쇄 회로 기판 검사 장치(100)의 적어도 하나의 다른 구성 요소를 제어할 수 있고, 각종 데이터 처리 및 연산 등을 수행할 수 있다. 예를 들어, 프로세서(240)는 중앙처리장치 등을 포함할 수 있고, SoC(System on Chip)으로 구현될 수도 있다.
일 실시예에서, 통신 회로(250)는 외부 전자 장치 또는 외부 서버와 통신을 수행할 수 있다. 예를 들어, 통신 회로(250)는 인쇄 회로 기판 검사 장치(100)와 외부 전자 장치 간의 통신을 설정할 수 있다. 통신 회로(250)는 무선 통신 또는 유선 통신을 통해서 네트워크와 연결되어 외부 전자 장치 또는 외부 서버와 통신할 수 있다. 또 다른 예로, 통신 회로(250)는 외부 전자 장치와 유선으로 연결되어 통신을 수행할 수도 있다.
무선 통신은, 예를 들면, 셀룰러 통신(예: LTE, LTE-A(LTE Advance), CDMA(Code Division Multiple Access), WCDMA(Wideband CDMA), UMTS(Universal Mobile Telecommunications System), WiBro(Wireless Broadband) 등)을 포함할 수 있다. 또한, 무선 통신은, 근거리 무선 통신(예: WiFi(Wireless Fidelity), LiFi(Light Fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(Near Field Communication) 등)을 포함할 수 있다.
일 실시예에서, 프로세서(240)는 이미지 센서(220)에 의해 수신되는 인쇄 회로 기판에 실장된 부품으로부터 반사된 패턴광을 이용하여 부품에 대한 제2 깊이 정보를 생성할 수 있다. 예를 들어, 프로세서(240)는 이미지 센서(220)에 의해 생성되는 부품으로부터 반사된 패턴광을 이용하여 생성된 부품에 대한 이미지를 이용하여 부품에 대한 제2 깊이 정보를 생성할 수 있다. 또 다른 예로, 이미지 센서(220)가 수신되는 패턴광에 대한 정보를 프로세서(240)로 전달하고, 프로세서(240)가 부품에 대한 이미지를 생성하고, 부품에 대한 이미지를 이용하여 부품에 대한 제2 깊이 정보를 생성할 수도 있다. 프로세서(240)는 광 삼각 방식 또는 버킷 알고리즘(bucket algorithm) 등을 부품에 대한 이미지에 적용하여 부품에 대한 제2 깊이 정보를 생성할 수 있다. 다만, 이는 설명의 목적일 뿐, 이에 제한되는 것은 아니며, 다양한 방식을 통해 부품에 대한 제2 깊이 정보가 생성될 수 있다.
일 실시예에서, 프로세서(240)는 제2 깊이 정보를 머신-러닝 기반 모델에 입력할 수 있다. 예를 들어, 프로세서(240)는 머신-러닝 기반 모델이 메모리(230)에 저장되어 있는 경우, 머신-러닝 기반 모델에 직접 제2 깊이 정보를 입력할 수 있다. 또 다른 예로, 프로세서(240)는 머신-러닝 기반 모델이 외부 전자 장치 또는 외부 서버에 저장되어 있는 경우, 제2 깊이 정보를 외부 전자 장치 또는 외부 서버로 송신하도록 통신 회로(250)를 제어할 수 있다.
일 실시예에서, 프로세서(240)는 노이즈가 감소된 제2 깊이 정보를 머신-러닝 기반 모델로부터 획득할 수 있다. 예를 들어, 프로세서(240)는 머신-러닝 기반 모델이 메모리(230)에 저장되어 있는 경우, 머신-러닝 기반 모델로부터 직접 노이즈가 감소된 제2 깊이 정보를 획득할 수 있다. 또 다른 예로, 프로세서(240)는 머신-러닝 기반 모델이 외부 전자 장치 또는 외부 서버에 저장되어 있는 경우, 외부 전자 장치 또는 외부 서버로부터 통신 회로(250)를 통해 노이즈가 감소된 제2 깊이 정보를 획득할 수 있다.
일 실시예에서, 프로세서(240)는 노이즈가 감소된 제2 깊이 정보를 이용하여, 인쇄 회로 기판에 실장된 부품의 실장 상태를 검사할 수 있다. 예를 들어, 프로세서(240)는 노이즈가 감소된 제2 깊이 정보를 이용하여, 부품에 대한 3차원 이미지를 생성할 수 있다. 또한, 프로세서(240)는 생성된 부품에 대한 3차원 이미지를 이용하여 부품의 실장 상태를 검사할 수 있다. 예를 들어, 프로세서(240)는 부품에 대한 3차원 이미지를 이용하여, 부품이 미리 설정된 위치에 실장되어 있는지 여부, 부품이 미리 설정된 방향으로 실장되어 있는지 여부, 부품의 적어도 일부분이 기울어져서 실장되어 있는지 여부, 부품에 이물질(foreign object)이 있는지 여부 등을 검사함으로써 부품의 실장 상태를 검사할 수 있다.
일 실시예에서, 머신-러닝 기반 모델은 제1 객체에 대한 비저빌리티(visibility) 정보가 더 입력되면, 비저빌리티 정보를 이용하여, 노이즈가 감소된 제1 깊이 정보를 출력할 수 있다. 예를 들어, 비저빌리티 정보는 노이즈의 정도를 나타내는 정보로서, 머신-러닝 기반 모델은 제1 깊이 정보에서의 노이즈를 보다 효율적으로 감소시키기 위하여 비저빌리티 정보를 이용할 수 있다. 머신-러닝 기반 모델에 제1 깊이 정보 및 비저빌리티 정보가 입력되면, 머신-러닝 기반 모델이 노이즈가 감소된 제1 깊이 정보를 출력하도록 학습시키는 구체적인 방법에 대해서는 후술하도록 한다.
일 실시예에서, 프로세서(240)는 이미지 센서(220)에 의해 수신되는 부품으로부터 반사된 패턴광을 이용하여 부품에 대한 비저빌리티 정보를 생성할 수 있다. 예를 들어, 비저빌리티 정보는 이미지 데이터의 밝기 신호에 있어서 진폭(Bi(x, y))의 평균 밝기(Ai(x, y))에 대한 비를 나타내며, 대체로 반사율이 증가함에 따라 증가하는 경향이 있다. 비저빌리티 정보(Vi(x, y))는 수학식 1과 같이 나타낼 수 있다.
예를 들어, 복수의 제1 광원(210) 각각으로부터 패턴광이 다양한 방향에서 인쇄 회로 기판에 조사되어 부품에 대한 복수의 이미지 데이터가 이미지 센서(220) 또는 프로세서(240)에 의해 생성될 수 있다. 프로세서(240)는 생성된 복수의 이미지 데이터들로부터 X-Y 좌표계의 각 위치(i(x, y))에서의 N개의 밝기 정도들(Ii 1, Ii 2, ... ,Ii N)을 추출하여, 진폭(Bi(x, y)) 및 N-버켓 알고리즘(N-bucket algorithm)을 이용하여 평균 밝기(Ai(x, y))를 산출할 수 있다. 프로세서(240)는 산출된 진폭(Bi(x, y)) 및 평균 밝기(Ai(x, y))를 이용하여, 비저빌리티 정보(Vi(x, y))를 생성할 수 있다. 또한, 프로세서(240)는 생성된 부품에 대한 비저빌리티 정보를 머신-러닝 기반 모델에 더 입력할 수 있다.
일 실시예에서, 머신-러닝 기반 모델은 복수의 제2 광원으로부터 조사된 패턴광 중 제1 객체로부터 반사된 패턴광을 이용하여 생성되는 제1 객체에 대한 복수의 깊이 정보를 입력 받을 수 있다. 복수의 제2 광원 각각이 제1 객체로 패턴광을 조사하고, 복수의 제2 광원 각각이 조사한 패턴광이 제1 객체로부터 반사되어 이미지 센서에 의해 수신되므로, 제1 객체에 대한 복수의 깊이 정보가 생성될 수 있다.
또한, 머신-러닝 기반 모델은, 복수의 깊이 정보가 입력되면, 복수의 깊이 정보에 기초하여, 제1 객체에 대한 제1 깊이 정보를 생성하고, 노이즈가 감소된 제1 깊이 정보를 출력할 수 있다. 머신-러닝 기반 모델에 복수의 깊이 정보가 입력되면, 머신-러닝 기반 모델이 제1 깊이 정보를 생성하고, 노이즈가 감소된 제1 깊이 정보를 출력하도록 학습시키는 구체적인 방법에 대해서는 후술하도록 한다. 예를 들어, 제1 깊이 정보는 제1 객체에 대한 대표 깊이 정보로서, 제1 객체에 대한 복수의 깊이 정보에 기초하여 생성될 수 있다.
일 실시예에서, 프로세서(240)는 이미지 센서(220)에 의해 수신되는 부품으로부터 반사된 패턴광을 이용하여, 부품에 대한 복수의 깊이 정보를 생성할 수 있다. 복수의 제1 광원 각각이 부품으로 패턴광을 조사하고, 복수의 제1 광원 각각이 조사한 패턴광이 부품으로부터 반사되어 이미지 센서(220)에 의해 수신되므로, 부품에 대한 복수의 깊이 정보가 생성될 수 있다.
또한, 프로세서(240)는 부품에 대한 복수의 깊이 정보를 머신-러닝 기반 모델에 입력할 수 있다. 예를 들어, 복수의 제1 광원(210) 각각은 인쇄 회로 기판에 실장된 부품에 패턴광을 조사하고, 이미지 센서(220)는 부품으로부터 반사된 패턴광을 이용하여 부품에 대한 복수의 이미지 데이터를 생성할 수 있다. 이미지 센서(220)는 복수의 이미지 데이터를 프로세서(240)로 전달할 수 있다. 프로세서(240)는 복수의 이미지 데이터를 이용하여 부품에 대한 복수의 깊이 정보를 생성할 수 있다.
일 실시예에서, 프로세서(240)는 노이즈가 감소된 제2 깊이 정보를 머신-러닝 기반 모델로부터 획득할 수 있다. 제2 깊이 정보는 부품에 대한 복수의 깊이 정보에 기초하여, 머신-러닝 기반 모델에 의해 생성될 수 있다. 예를 들어, 제2 깊이 정보는 부품에 대한 대표 깊이 정보로서, 부품에 대한 복수의 깊이 정보에 기초하여 생성될 수 있다.
일 실시예에서, 머신-러닝 기반 모델은 복수의 제2 광원으로부터 조사된 패턴광 중 제1 객체로부터 반사된 패턴광을 이용하여 생성되는 제1 객체에 대한 복수의 이미지 데이터를 입력 받을 수 있다. 머신-러닝 기반 모델은, 복수의 이미지 데이터가 입력되면, 복수의 이미지 데이터를 이용하여, 제1 객체에 대한 제1 깊이 정보를 생성하고, 노이즈가 감소된 제1 깊이 정보를 출력할 수 있다. 머신-러닝 기반 모델에 제1 객체에 대한 복수의 이미지 데이터가 입력되면, 머신-러닝 기반 모델이 제1 깊이 정보를 생성하고, 노이즈가 감소된 제1 깊이 정보를 출력하도록 학습시키는 구체적인 방법에 대해서는 후술하도록 한다.
일 실시예에서, 프로세서(240)는 이미지 센서(220)에 의해 수신되는 부품으로부터 반사된 패턴광을 이용하여 생성된 부품에 대한 복수의 이미지 데이터를 머신-러닝 기반 모델에 입력할 수 있다. 또 다른 예로, 프로세서(240)는 이미지 센서(220)에 의해 수신되는 부품으로부터 반사된 패턴광에 대한 정보를 이용하여, 부품에 대한 복수의 이미지 데이터를 생성하고, 생성된 복수의 이미지 데이터를 머신-러닝 기반 모델에 입력할 수도 있다.
일 실시예에서, 프로세서(240)는 노이즈가 감소된 제1 깊이 정보를 머신-러닝 기반 모델로부터 획득할 수 있다. 제2 깊이 정보는 복수의 이미지 데이터에 기초하여, 머신-러닝 기반 모델에 의해 생성될 수 있다.
도 3은 본 개시의 다양한 실시예에 따른 인쇄 회로 기판 검사 장치에 의한 부품의 실장 상태를 검사하는 방법의 흐름도이다.
도 3에 도시된 흐름도에서 프로세스 단계들, 방법 단계들, 알고리즘들 등이 순차적인 순서로 설명되었지만, 그러한 프로세스들, 방법들 및 알고리즘들은 임의의 적합한 순서로 작동하도록 구성될 수 있다. 다시 말하면, 본 개시의 다양한 실시예들에서 설명되는 프로세스들, 방법들 및 알고리즘들의 단계들이 본 개시에서 기술된 순서로 수행될 필요는 없다. 또한, 일부 단계들이 비동시적으로 수행되는 것으로서 설명되더라도, 다른 실시예에서는 이러한 일부 단계들이 동시에 수행될 수 있다. 또한, 도면에서의 묘사에 의한 프로세스의 예시는 예시된 프로세스가 그에 대한 다른 변화들 및 수정들을 제외하는 것을 의미하지 않으며, 예시된 프로세스 또는 그의 단계들 중 임의의 것이 본 개시의 다양한 실시예들 중 하나 이상에 필수적임을 의미하지 않으며, 예시된 프로세스가 바람직하다는 것을 의미하지 않는다.
310 단계에서, 인쇄 회로 기판 검사 장치(100)는 인쇄 회로 기판에 실장된 부품에 패턴광을 조사할 수 있다. 예를 들어, 인쇄 회로 기판 검사 장치(100)의 프로세서는 검사 대상인 인쇄 회로 기판에 실장된 복수의 부품 각각에 패턴광이 조사되도록 복수의 제1 광원을 제어할 수 있다.
320 단계에서, 인쇄 회로 기판 검사 장치(100)는 부품으로부터 반사된 패턴광을 수신하고, 패턴광을 이용하여 부품에 대한 제2 깊이 정보를 생성할 수 있다. 예를 들어, 제1 이미지 센서는 부품으로부터 반사된 패턴광을 이용하여 부품에 대한 이미지를 생성하고, 생성된 부품에 대한 이미지를 프로세서로 전달할 수 있다. 프로세서는 제1 이미지 센서로부터 수신되는 부품에 대한 이미지를 이용하여 부품에 대한 제2 깊이 정보를 생성할 수 있다.
330 단계에서, 인쇄 회로 기판 검사 장치(100)는 제2 깊이 정보를 머신-러닝 기반 모델에 입력할 수 있다. 예를 들어, 프로세서는 머신-러닝 기반 모델이 인쇄 회로 기판 검사 장치(100)의 메모리에 저장되어 있는 경우, 머신-러닝 기반 모델에 직접 제2 깊이 정보를 입력할 수 있다. 또 다른 예로, 프로세서는 머신-러닝 기반 모델이 외부 전자 장치 또는 외부 서버에 저장되어 있는 경우, 제2 깊이 정보를 외부 전자 장치 또는 외부 서버로 송신하도록 통신 회로를 제어할 수 있다.
340 단계에서, 인쇄 회로 기판 검사 장치(100)는 노이즈가 감소된 제2 깊이 정보를 머신-러닝 기반 모델로부터 획득할 수 있다. 예를 들어, 프로세서는 머신-러닝 기반 모델이 메모리에 저장되어 있는 경우, 머신-러닝 기반 모델로부터 직접 노이즈가 감소된 제2 깊이 정보를 획득할 수 있다. 또 다른 예로, 프로세서는 머신-러닝 기반 모델이 외부 전자 장치 또는 외부 서버에 저장되어 있는 경우, 외부 전자 장치 또는 외부 서버로부터 통신 회로를 통해 노이즈가 감소된 제2 깊이 정보를 획득할 수 있다.
350 단계에서, 인쇄 회로 기판 검사 장치는 노이즈가 감소된 제2 깊이 정보를 이용하여, 부품의 실장 상태를 검사할 수 있다. 예를 들어, 프로세서는 노이즈가 감소된 제2 깊이 정보를 이용하여, 부품에 대한 3차원 이미지를 생성할 수 있다. 또한, 프로세서는 생성된 부품에 대한 3차원 이미지를 이용하여 부품의 실장 상태를 검사할 수 있다.
도 4a 내지 도 4c는 본 개시의 다양한 실시예에 따른 머신-러닝 기반 모델의 학습 방법을 설명하기 위한 개념도이다.
도 4a를 참조하면, 머신-러닝 기반 모델(410)은 복수의 제2 광원으로부터 조사된 패턴광 중 제2 객체로부터 반사된 패턴광을 이용하여 생성된 제2 객체에 대한 제3 깊이 정보(411) 및 복수의 제3 광원으로부터 조사된 패턴광 중 제2 객체로부터 반사된 패턴광을 이용하여 생성된 제2 객체에 대한 제4 깊이 정보(412)를 이용하여, 노이즈가 감소된 제3 깊이 정보(413)를 출력하도록 학습될 수 있다.
머신-러닝 기반 모델(410)은 노이즈가 감소된 제3 깊이 정보(413)를 출력하도록 학습된 결과에 기초하여, 학습에 이용된 제2 객체와는 상이한 제1 객체에 대한 제1 깊이 정보가 입력되더라도, 노이즈가 감소된 제1 깊이 정보를 출력할 수 있다.
일 실시예에서, 머신-러닝 기반 모델(410)에 학습을 위해 제3 깊이 정보(411) 및 제4 깊이 정보(412)가 입력될 수 있다. 예를 들어, 제4 깊이 정보(412)를 생성하는데 이용되는 패턴광을 조사하는 복수의 제3 광원의 수는 복수의 제1 광원의 수보다 크고, 복수의 제1 광원의 수와 동일한 수를 가지는 복수의 제2 광원의 수보다 클 수 있다. 복수의 제3 광원의 수가 복수의 제2 광원의 수보다 크므로, 제4 깊이 정보(412)를 생성함에 있어 이용되는 제2 객체에 대한 복수의 이미지의 수는 제3 깊이 정보(411)를 생성함에 있어 이용되는 제2 객체에 대한 복수의 이미지의 수보다 클 수 있다. 복수의 제4 광원 각각의 조사 방향, 조사 각도, 피치 간격 등이 서로 상이하므로, 제4 깊이 정보(412)를 생성함에 있어 이용되는 제2 객체에 대한 복수의 이미지는 모두 제2 객체에 대한 이미지이나, 서로 상이한 이미지일 수 있다. 이와 마찬가지로, 복수의 제3 광원 각각의 조사 방향, 조사 각도, 피치 간격 등이 서로 상이하므로, 제3 깊이 정보(411)를 생성함에 있어 이용되는 제2 객체에 대한 복수의 이미지는 모두 제2 객체에 대한 이미지이나, 서로 상이한 이미지일 수 있다.
또한, 복수의 제4 광원의 수는 복수의 제3 광원의 수보다 크므로, 복수의 제4 광원은 복수의 제3 광원과는 다른 적어도 하나의 조사 방향, 적어도 하나의 조사 각도, 적어도 하나의 피치 간격 등을 가지고 광을 제2 객체에 조사할 수 있다. 따라서, 제4 깊이 정보(412)를 생성함에 있어 이용되는 제2 객체에 대한 복수의 이미지의 수가 제3 깊이 정보(411)를 생성함에 있어 이용되는 제2 객체에 대한 복수의 이미지의 수보다 크게 되고, 이를 통해 생성된 제4 깊이 정보(412)는 제3 깊이 정보(411)에 비해 노이즈가 상대적으로 더 적게 발생할 수 있다. 이에 따라, 많은 수의 광원을 이용하여 생성된 깊이 정보를 통해 측정된 객체의 형상은 적은 수의 광원을 이용하여 생성된 깊이 정보를 통해 측정된 객체의 형상에 비해, 객체의 실제 형상에 보다 근접할 수 있다.
일 실시예에서, 제4 깊이 정보(412)에서는 제3 깊이 정보(411) 보다 노이즈가 상대적으로 더 적게 발생하므로, 제4 깊이 정보(412)는 머신-러닝 기반 모델(410)이 제3 깊이 정보(411)에서의 노이즈를 감소시키기 위해 제3 깊이 정보(411)를 변환하거나 제3 깊이 정보(411)에서 노이즈를 검출하도록 학습되는 과정에서 기준이 되는 깊이 정보로 이용될 수 있다.
일 실시예에서, 머신-러닝 기반 모델(410)은 제4 깊이 정보(412)에 수렴되게 제3 깊이 정보(411)를 변환하도록 학습될 수 있다. 이하에서는 설명의 편의를 위해, 제4 깊이 정보(412)에 수렴되도록 변환된 제3 깊이 정보(411)를 변환 깊이 정보라 한다. 예를 들어, 머신-러닝 기반 모델(410)은 변환 깊이 정보와 제4 깊이 정보(412)를 비교할 수 있다. 머신-러닝 기반 모델(410)은 비교 결과에 기초하여, 제3 깊이 정보(411)의 변환을 위한 파라미터를 조정할 수 있다. 머신-러닝 기반 모델(410)은 위의 과정을 반복함으로써, 제3 깊이 정보(411)가 제4 깊이 정보(412)에 수렴될 수 있도록, 제3 깊이 정보(411)의 변환을 위한 파라미터를 결정할 수 있다. 이를 통해, 머신-러닝 기반 모델(410)은 제4 깊이 정보(412)에 수렴되게 제3 깊이 정보(411)를 변환하도록 학습될 수 있다. 머신-러닝 기반 모델(410)은 변환 깊이 정보를 노이즈가 감소된 제3 깊이 정보(414)로 출력하도록 학습될 수 있다. 이와 같이, 제4 깊이 정보(412)에 수렴되도록 제3 깊이 정보(411)를 변환하도록 머신-러닝 기반 모델(410)이 학습됨으로써, 깊이 정보를 생성함에 있어 이용 가능한 객체에 대한 이미지의 수가 상대적으로 부족한 경우에도, 보다 정확하게 객체에 대한 형상이 측정되도록 할 수 있다.
일 실시예에서, 머신-러닝 기반 모델(410)은 제3 깊이 정보(411)에서 노이즈를 검출하도록 학습될 수 있다. 예를 들어, 머신-러닝 기반 모델(410)은 제3 깊이 정보(411)에서 노이즈를 검출하고, 검출된 노이즈를 감소시켜 노이즈가 감소된 제3 깊이 정보(414)를 출력하도록 학습될 수 있다.
예를 들어, 머신-러닝 기반 모델(410)은 변환 깊이 정보와 제3 깊이 정보(411)를 비교함으로써, 제3 깊이 정보(411)에서 노이즈로 판단되는 제1 부분을 검출하도록 학습될 수 있다. 예를 들어, 머신-러닝 기반 모델(410)은 변환 깊이 정보와 제3 깊이 정보(411)의 차이가 미리 설정된 임계치 이상이 되는 부분을 제1 부분으로 검출하도록 학습될 수 있다. 머신-러닝 기반 모델(410)은 제3 깊이 정보(411)에서 검출된 노이즈를 감소시킴으로써, 노이즈가 감소된 제3 깊이 정보(413)를 출력하도록 학습될 수 있다.
도 4b를 참조하면, 머신-러닝 기반 모델(420)은 제3 깊이 정보(411), 제4 깊이 정보(412) 및 복수의 제2 광원으로부터 조사된 패턴광 중 제2 객체로부터 반사된 패턴광을 이용하여 생성된 제2 객체에 대한 비저빌리티 정보(421)를 이용하여, 노이즈가 감소된 제3 깊이 정보(422)를 출력하도록 학습될 수 있다.
머신-러닝 기반 모델(420)은 노이즈가 감소된 제3 깊이 정보(413)를 출력하도록 학습된 결과에 기초하여, 학습에 이용된 제2 객체와는 상이한 제1 객체에 대한 제1 깊이 정보 및 제1 객체에 대한 비저빌리티 정보가 입력되더라도, 노이즈가 감소된 제1 깊이 정보를 출력할 수 있다.
일 실시예에서, 머신-러닝 기반 모델(420)에 제3 깊이 정보(411), 제4 깊이 정보(412) 및 비저빌리티 정보(421)가 입력될 수 있다. 머신-러닝 기반 모델(420)는 제2 객체의 형상을 보다 정확히 나타낼 수 있도록, 비저빌리티 정보(421)를 이용하여, 변환 깊이 정보를 조정하도록 학습될 수 있다. 예를 들어, 비저빌리티 정보(421)는 제2 객체 대한 깊이 정보인 제3 깊이 정보(411)에서 발생하는 노이즈의 정도를 나타내는 정보로서, 제3 깊이 정보(411)가 양질의 측정치인지를 나타낼 수 있다. 예를 들어, 머신-러닝 기반 모델(420)은 비저빌리티 정보(421) 중 미리 설정된 임계치 이상이 되는 제2 부분이 존재하는지 여부를 결정하도록 학습될 수 있다.
예를 들어, 머신-러닝 기반 모델(420)은 제2 부분이 존재하는 경우, 변환 깊이 정보 중 제2 부분에 대응하는 부분을 결정하고, 비저빌리티 정보(421)에 기초하여 제2 부분에 대응하는 부분을 조정하도록 학습될 수 있다. 머신-러닝 기반 모델(420)은 조정된 변환 깊이 정보를 노이즈가 감소된 제3 깊이 정보(422)로 출력하도록 학습될 수 있다.
또 다른 예로, 머신-러닝 기반 모델(420)은 제2 부분이 존재하지 않는 경우, 변환 깊이 정보를 조정하지 않는 것으로 결정하고, 변환 깊이 정보를 노이즈가 감소된 제3 깊이 정보(422)로 출력하도록 학습될 수 있다.
일 실시예에서, 머신-러닝 기반 모델(420)은 보다 정확하게 노이즈를 검출하기 위하여, 비저빌리티 정보(421)를 이용하여, 노이즈로 판단되는 제1 부분 중, 실제 노이즈가 아님에도 노이즈로 판단된 제3 부분을 검출하도록 학습될 수 있다. 머신-러닝 기반 모델(420)은 제3 부분이 검출된 경우, 제1 부분에서 제3 부분을 제외하고 제3 부분이 제외된 제1 부분을 제3 깊이 정보(411)에서의 노이즈로 결정하도록 학습될 수 있다. 또한, 머신-러닝 기반 모델(420)은 제3 부분이 검출되지 않은 경우, 제1 부분을 제3 깊이 정보(411)에서의 노이즈로 결정하고, 제3 깊이 정보(411)에서 결정된 노이즈를 감소시킴으로써, 노이즈가 감소된 제3 깊이 정보(422)를 출력하도록 학습될 수 있다.
도 4c를 참조하면, 머신-러닝 기반 모델(430)은 복수의 제2 광원으로부터 조사된 패턴광 중, 제2 객체로부터 반사된 패턴광을 이용하여 생성된 제2 객체에 대한 복수의 깊이 정보(431, 432, 433, 434)를 이용하여 제2 객체에 대한 제3 깊이 정보(411; 도 4a 참조)를 생성하도록 학습될 수 있다. 머신-러닝 기반 모델(430)은 생성된 제3 깊이 정보(411) 및 제4 깊이 정보(412)를 이용하여, 노이즈가 감소된 제3 깊이 정보(435)를 출력하도록 학습될 수 있다. 머신-러닝 기반 모델(430)을 제3 깊이 정보(411) 및 제4 깊이 정보(412)를 이용하여 노이즈가 감소된 제3 깊이 정보(435)를 출력하도록 학습시키는 구체적인 방법은 도 4a에서 설명한 것과 동일하므로, 별도의 설명은 생략하도록 한다.
일 실시예에서, 머신-러닝 기반 모델(430)에 복수의 제2 광원으로부터 조사되는 패턴광 중 제2 객체로부터 반사된 패턴광을 이용하여 생성된 제2 객체에 대한 복수의 깊이 정보(431, 432, 433, 434)가 입력될 수 있다. 머신-러닝 기반 모델(430)은 복수의 깊이 정보(431, 432, 433, 434)를 이용하여, 제2 객체에 대한 대표 깊이 정보인 제3 깊이 정보(411; 도 4a 참조)를 생성하도록 학습될 수 있다.
또한, 도시되지는 않았으나, 머신-러닝 기반 모델(430)은 복수의 제2 광원으로부터 조사된 패턴광 중, 제2 객체로부터 반사된 패턴광을 이용하여 생성된 제2 객체에 복수의 이미지 데이터가 입력될 수 있다. 머신-러닝 기반 모델(430)은 제2 객체에 복수의 이미지 데이터를 이용하여, 제2 객체에 대한 제3 깊이 정보(411; 도 4a 참조)를 생성하도록 학습될 수 있다.
일 실시예에서, 머신-러닝 기반 모델(430)에 복수의 제2 광원으로부터 조사되는 패턴광 중 제2 객체로부터 반사된 패턴광을 이용하여 생성된 제2 객체에 대한 복수의 이미지 데이터가 입력될 수 있다. 머신-러닝 기반 모델(430)은 복수의 이미지 데이터를 이용하여, 제3 깊이 정보(411; 도 4a 참조)를 생성하도록 학습될 수 있다.
일 실시예에서, 복수의 제4 광원으로부터 조사된 패턴광을 이용하여 생성되는 제4 깊이 정보(412)는 복수의 제3 광원의 수보다 큰 수를 갖는 복수의 제4 광원을 포함하는 인쇄 회로 기판 검사 장치에 의해 생성될 수 있다. 또한, 제4 깊이 정보(413)는 복수의 제4 광원의 수보다 적은 수를 갖는 복수의 제3 광원을 포함하는 인쇄 회로 기판 검사 장치에서 생성될 수도 있다. 이 경우, 제4 깊이 정보(412)를 생성하는 구체적인 방법에 대해서는 도 7에서 설명하도록 한다.
도 5a 내지 도 5c는 본 개시의 다양한 실시예에 따른 머신-러닝 기반 모델의 동작을 설명하기 위한 개념도이다.
도 5a를 참조하면, 머신-러닝 기반 모델(510)에 복수의 제2 광원으로부터 조사된 패턴광 중 제1 객체로부터 반사된 패턴광을 이용하여 생성되는 제1 객체에 대한 제1 깊이 정보(511)가 입력될 수 있다. 머신-러닝 기반 모델(510)은 제1 깊이 정보(511)가 입력되면, 노이즈가 감소된 제1 깊이 정보(512)를 출력할 수 있다.
이하에서는, 설명의 편의를 위해, 복수의 3 광원의 수 보다 큰 수의 복수의 제4 광원에서 조사되는 광을 이용하여 생성되는 깊이 정보를 기준 깊이 정보라 하고, 머신-러닝 기반 모델(510)에 의해 기준 깊이 정보에 수렴되도록 변환된 제1 깊이 정보(511)를 변환 깊이 정보라 한다.
일 실시예에서, 머신-러닝 기반 모델(510)은 제1 깊이 정보(511)를 기준 깊이 정보에 수렴되도록 변환할 수 있다. 머신-러닝 기반 모델(510)은 변환 깊이 정보를 노이즈가 감소된 제1 깊이 정보(512)로 출력할 수 있다.
일 실시예에서, 머신-러닝 기반 모델(510)은 제1 깊이 정보(511)에서 노이즈를 검출할 수 있다. 예를 들어, 머신-러닝 기반 모델(510)은 제1 깊이 정보(511)에서 노이즈를 검출하고, 검출된 노이즈를 감소시켜 노이즈가 감소된 제1 깊이 정보(512)를 출력할 수 있다.
예를 들어, 머신-러닝 기반 모델(510)은 변환 깊이 정보와 제1 깊이 정보(511)를 비교함으로써, 제1 깊이 정보(511)에서 노이즈로 판단되는 제1 부분을 검출할 수 있다. 예를 들어, 머신-러닝 기반 모델(510)은 변환 깊이 정보와 제1 깊이 정보(511)의 차이가 미리 설정된 임계치 이상이 되는 부분을 제1 부분으로 검출할 수 있다. 머신-러닝 기반 모델(510)은 제1 깊이 정보(511)에서 검출된 노이즈를 감소시킴으로써, 노이즈가 감소된 제1 깊이 정보(512)를 출력할 수 있다.
도 5b를 참조하면, 머신-러닝 기반 모델(520)에 제1 깊이 정보(511) 및 복수의 제2 광원으로부터 조사된 패턴광 중 제2 객체로부터 반사된 패턴광을 이용하여 생성된 제2 객체에 대한 비저빌리티 정보(521)가 입력될 수 있다. 머신-러닝 기반 모델(520)은 제2 깊이 정보(511) 및 비저빌리티 정보(521)가 입력되면, 비저빌리티 정보(521)를 이용하여, 노이즈가 감소된 제1 깊이 정보(513)를 출력할 수 있다.
일 실시예에서, 머신-러닝 기반 모델(520)은 비저빌리티 정보(521) 중 미리 설정된 임계치 이상이 되는 제2 부분이 존재하는지 여부를 결정할 수 있다. 예를 들어, 머신-러닝 기반 모델(520)은 제2 부분이 존재하는 경우, 변환 깊이 정보 중 제2 부분에 대응하는 부분을 결정하고, 비저빌리티 정보에 기초하여 제2 부분에 대응하는 부분을 조정할 수 있다. 머신-러닝 기반 모델(520)은 조정된 변환 깊이 정보를 노이즈가 감소된 제3 깊이 정보(522)로 출력할 수 있다.
또 다른 예로, 머신-러닝 기반 모델(520)은 제2 부분이 존재하지 않는 경우, 변환 깊이 정보를 조정하지 않는 것으로 결정하고, 변환 깊이 정보를 노이즈가 감소된 제3 깊이 정보(522)로 출력할 수 있다.
일 실시예에서, 머신-러닝 기반 모델(520)은 비저빌리티 정보(421)를 이용하여, 노이즈로 판단되는 제1 부분 중, 실제 노이즈가 아님에도 노이즈로 판단된 제3 부분을 검출할 수 있다. 머신-러닝 기반 모델(520)은 제3 부분이 검출된 경우, 제1 부분에서 제3 부분을 제외하고, 제3 부분이 제외된 제1 부분을 제3 깊이 정보(511)에서의 노이즈로 결정할 수 있다. 또한, 머신-러닝 기반 모델(520)은 제3 부분이 검출되지 않은 경우, 제1 부분을 제3 깊이 정보(511)에서의 노이즈로 결정할 수 있다. 머신-러닝 기반 모델(520)은 제3 깊이 정보(511)에서 결정된 노이즈를 감소시킴으로써, 노이즈가 감소된 제3 깊이 정보(522)를 출력할 수 있다.
도 5c를 참조하면, 머신-러닝 기반 모델(530)에 복수의 제2 광원으로부터 조사되는 패턴광 중 제2 객체로부터 반사된 패턴광을 이용하여 생성된 제1 객체에 대한 복수의 깊이 정보(531, 532, 533, 534)가 입력될 수 있다. 머신-러닝 기반 모델(530)은 복수의 깊이 정보(531, 532, 533, 534)를 이용하여, 제1 객체에 대한 대표 깊이 정보인 제1 깊이 정보(511; 도 5a 참조)를 생성할 수 있다. 머신-러닝 기반 모델(510)은 제1 깊이 정보(511)를 생성한 후, 도 5a에서 설명한 것과 같이 노이즈가 감소된 제1 깊이 정보(512)를 출력할 수 있다.
또한, 도시되지는 않았으나, 머신-러닝 기반 모델(530)에 복수의 제2 광원으로부터 조사되는 패턴광 중 제2 객체로부터 반사된 패턴광을 이용하여 생성된 제1 객체에 대한 복수의 이미지 데이터가 입력될 수 있다. 머신-러닝 기반 모델(530)은 복수의 이미지 데이터를 이용하여, 제1 객체에 대한 대표 깊이 정보인 제1 깊이 정보(511; 도 5a 참조)를 생성할 수 있다. 머신-러닝 기반 모델(511)은 제1 깊이 정보(511)를 생성한 후, 도 5a에서 설명한 것과 같이 노이즈가 감소된 제1 깊이 정보(512)를 출력할 수 있다.
이와 같이, 인쇄 회로 기판 검사 장치(100)는, 깊이 정보를 생성하기 위해 상대적으로 적은 수의 이미지 데이터가 획득되더라도, 머신-러닝 기반 모델(510, 520, 530)을 이용하여, 미수신 신호 또는 피크 신호 등의 노이즈를 부품에 대한 깊이 정보에서 제거할 수 있다. 또한, 인쇄 회로 기판 검사 장치(100)는 상대적으로 적은 수의 이미지 데이터가 획득되어 깊이 정보를 생성하기 위한 정보가 부족하더라도, 머신-러닝 기반 모델(510, 520, 530)을 이용하여 소실된 형상이 복원되도록 부품에 대한 깊이 정보를 생성할 수 있다. 또한, 인쇄 회로 기판 검사 장치(100)는 부품의 모서리 등에 대한 3차원 선명도는 최대한 보정하면서도 부품의 조인트 형상의 오복원을 수행하고 않고, 추가적으로 측정된 이물 형상을 훼손하지 않고, 검출할 수 있다.
도 6은 본 개시의 다양한 실시예에 따른 머신-러닝 기반 모델의 학습 방법을 설명하기 위한 개념도이다.
일 실시예에서, 머신-러닝 기반 모델(620)은 CNN, GAN 등을 포함할 수 있다. 이하에서는, U-net을 이용한 이미지 변환을 수행할 수 GAN을 중심으로 머신-러닝 기반 모델의 학습 방법을 설명하도록 한다. 머신-러닝 기반 모델(620)은 생성부(621) 및 구별부(622)를 포함할 수 있다.
일 실시예에서, 생성부(621)에는 복수의 제2 광원으로부터 조사된 패턴광 중 제2 객체로부터 반사된 패턴광을 이용하여 생성된 제2 객체에 대한 제3 깊이 정보(611)가 입력되고, 구별부(622)에는 복수의 제3 광원으로부터 조사된 패턴광 중 제2 객체로부터 반사된 패턴광을 이용하여 생성된 제2 객체에 대한 제4 깊이 정보(612)가 입력될 수 있다.
일 실시예에서, 생성부(621)는 제4 깊이 정보(612)에 수렴되도록 제3 깊이 정보(611)를 변환함으로써, 변환된 제3 깊이 정보를 생성할 수 있다. 구별부(622)는 변환된 제3 깊이 정보와 제4 깊이 정보(612)를 비교함으로써, 변환된 제3 깊이 정보와 제4 깊이 정보(612)를 구별할 수 있다. 구별부(622)는 변환된 제3 깊이 정보와 제4 깊이 정보(612)를 구별한 결과를 생성부(621)로 전달할 수 있다. 생성부(621)는 구별부(622)로부터 수신한 결과에 따라, 제3 깊이 정보(611)의 변환을 위한 파라미터를 조정할 수 있다. 이와 같은 과정이, 구별부(622)가 변환된 제3 깊이 정보와 제4 깊이 정보(612)를 구별할 수 없을 때까지 반복됨으로써, 생성부(621)는 제4 깊이 정보(612)에 수렴되도록 제3 깊이 정보(611)를 변환함으로써, 변환된 제3 깊이 정보를 생성하도록 학습될 수 있다.
한편, 생성부(621)에서는 어느 특정 부품에 대한 제3 깊이 정보(611)와 제4 깊이 정보(612)가 한 쌍을 이루는데, 생성부(621)는 제3 깊이 정보(611)와 제4 깊이 정보(612) 중에서 품질이 조악한 경우(적어도 하나의 픽셀별로 그림자 영역, 포화 영역 및 SNR 등과 같이 어느 한 채널의 깊이 정보가 다른 채널을 비교하여 다른 채널 보다 기 설정된 기준값 보다 현저하게 낮은 경우)가 하나라도 있으면 해당 부품 데이터는 학습 데이터에서 제외시키는 정제 작업을 추가적으로 수행할 수 있다.
도 7은 본 개시의 다양한 실시예에 따른 머신-러닝 기반 모델의 학습에 이용되는 깊이 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 4a 내지 도 4c에서 설명한, 제4 깊이 정보(412)는 제3 깊이 정보(411)가 생성된 인쇄 회로 기판 검사 장치에서 생성될 수도 있다. 예를 들어, 도 7과 같이, 복수의 제3 광원(710)의 수가 4이고, 복수의 제4 광원의 수는 8인 것으로 상정하도록 한다. 이 경우, 인쇄 회로 기판 검사 장치(100)의 프로세서는 인쇄 회로 기판에 실장된 부품으로 패턴광을 조사하도록 복수의 제3 광원(710)을 제어하고, 부품으로부터 반사된 패턴광을 이용하여 제3 깊이 정보(411)를 생성한 후, 복수의 제3 광원(710)을 시계 방향 또는 반시계 방향으로 이동시킬 수 있다. 프로세서는 인쇄 회로 기판에 실장된 부품으로 패턴광을 조사하도록 시계 방향 또는 반시계 방향으로 이동된 복수의 제3 광원(710)을 제어하고, 부품으로부터 반사된 패턴광 및 제3 깊이 정보(411)를 이용하여 제4 깊이 정보(412)를 생성할 수 있다. 한편, 도 7에서는 복수의 제3 광원(710)의 수가 4인 것으로 설명하였으나, 이는 설명의 목적일 뿐, 이에 제한되는 것은 아니며, 제3 광원(710)은 복수가 아닌 하나일 수도 있다. 이와 같이, 제4 깊이 정보(412)는 복수의 제4 광원의 수보다 적은 수를 갖는 복수의 제3 광원을 포함하는 인쇄 회로 기판 검사 장치에서 생성될 수도 있다.
도 8은 본 개시의 다양한 실시예에 따른 인쇄 회로 기판 검사 장치에 의해 노이즈가 감소된 깊이 정보를 이용하여 생성된 부품에 대한 이미지를 도시한다.
일 실시예에서, 인쇄 회로 기판 검사 장치(100)는 복수의 제1 광원으로부터 인쇄 회로 기판에 실장된 부품에 조사된 패턴광 중, 부품으로부터 반사된 패턴광을 이용하여 부품에 대한 깊이 정보를 생성할 수 있다. 또한, 인쇄 회로 기판 검사 장치(100)는 생성된 깊이 정보를 이용하여, 부품에 대한 3차원 이미지를 생성할 수 있다. 다만, 인쇄 회로 기판에 조사된 광의 다중 반사 또는 이미지 센서가 수신된 광을 처리하는 과정 등에서 노이즈가 발생할 수 있다. 발생된 노이즈가 감소되지 않으면, 인쇄 회로 기판 검사 장치(100)가 생성하는 부품에 대한 3차원 이미지의 품질이 저하되고, 부품의 실장 상태에 대한 정확한 검사가 수행되지 못할 수 있다.
일 실시예에서, 인쇄 회로 기판 검사 장치(100)는 머신-러닝 기반 모델을 이용하여 부품에 대한 깊이 정보에서 노이즈를 감소시키고, 노이즈가 감소된 깊이 정보를 이용하여 부품에 대한 3차원 이미지를 생성할 수 있다. 노이즈가 감소된 깊이 정보를 이용하여 생성된 3차원 이미지는 부품의 형상을 보다 정확하게 표시할 수 있으므로, 부품의 실장 상태에 대한 보다 정확한 검사가 수행될 수 있다.
도 8의 (a)를 참조하면, 인쇄 회로 기판 검사 장치(100)가 노이즈를 감소시키지 않고 깊이 정보를 그대로 이용하여 부품에 대한 3차원 이미지를 생성하는 경우, 노이즈로 인하여, 부품과 인쇄 회로 기판의 연결 부분(예: 솔더 페이스트 등)의 형상(810)이 3차원 이미지에서 비정상 형상으로 나타나거나 홀이 있는 것과 같이 표시될 수 있다. 이에 반하여, 인쇄 회로 기판 검사 장치(100)가 머신-러닝 기반 모델을 이용하여 부품에 대한 깊이 정보에서 노이즈를 감소시키고, 노이즈가 감소된 깊이 정보를 이용하여 부품에 대한 3차원 이미지를 생성하는 경우, 부품과 인쇄 회로 기판의 연결 부분(예: 솔더 페이스트 등)의 형상(811)이 3차원 이미지에서 보다 정확하게 표시될 수 있다.
도 8의 (b)를 참조하면, 인쇄 회로 기판 검사 장치(100)가 노이즈를 감소시키지 않고, 깊이 정보를 그대로 이용하여 부품에 대한 3차원 이미지를 생성하는 경우, 노이즈로 인하여, 부품의 경계(edge)의 형상(820)이 3차원 이미지에서 비정상 형상으로 표시될 수 있다. 이에 반하여, 인쇄 회로 기판 검사 장치(100)가 머신-러닝 기반 모델을 이용하여 부품에 대한 깊이 정보에서 노이즈를 감소시키고, 노이즈가 감소된 깊이 정보를 이용하여 부품에 대한 3차원 이미지를 생성하는 경우, 부품의 경계의 형상(821)이 3차원 이미지에서 보다 정확하게 표시될 수 있다.
도 8의 (c)를 참조하면, 인쇄 회로 기판 검사 장치(100)가 생성된 깊이 정보를 그대로 이용하여 부품에 대한 3차원 이미지를 생성하는 경우, 노이즈로 인하여, 부품 내부에 홀이 있는 것과 같이 부품의 내부 형상(830)이 3차원 이미지에서 비정상 형상으로 표시될 수 있다. 이에 반하여, 인쇄 회로 기판 검사 장치(100)가 머신-러닝 기반 모델을 이용하여 부품에 대한 깊이 정보에서 노이즈를 감소시키고, 노이즈가 감소된 깊이 정보를 이용하여 부품에 대한 3차원 이미지를 생성하는 경우, 부품의 내부 형상(831)이 3차원 이미지에서 보다 정확하게 표시될 수 있다.
이와 같이, 인쇄 회로 기판 검사 장치(100)가 노이즈가 감소된 깊이 정보를 이용하여 생성된 3차원 이미지를 통해 부품의 형상을 보다 정확하게 표시함으로써, 부품의 실장 상태에 대한 보다 정확한 검사가 수행될 수 있다.
상기 방법은 특정 실시예들을 통하여 설명되었지만, 상기 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 개시가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상 일부 실시예들과 첨부된 도면에 도시된 예에 의해 본 개시의 기술적 사상이 설명되었지만, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 이해할 수 있는 본 개시의 기술적 사상 및 범위를 벗어나지 않는 범위에서 다양한 치환, 변형 및 변경이 이루어질 수 있다는 점을 알아야 할 것이다. 또한, 그러한 치환, 변형 및 변경은 첨부된 청구범위 내에 속하는 것으로 생각되어야 한다.

Claims (5)

  1. 인쇄 회로 기판에 실장된 부품의 실장 상태를 검사하는 인쇄 회로 기판 검사 장치에 있어서,
    상기 부품에 패턴광을 조사하는 복수의 제1 광원;
    상기 부품으로부터 반사된 패턴광을 수신하는 이미지 센서;
    복수의 제2 광원으로부터 조사된 패턴광 중, 상기 부품 중 하나인 제1 객체로부터 반사된 패턴광을 이용하여 생성되는 상기 제1 객체에 대한 제1 깊이 정보가 입력되면, 상기 제1 깊이 정보 중 상기 제1 객체의 형상과 대응하지 않는 제1 노이즈가 감소된 상기 제1 깊이 정보를 출력하는 머신-러닝 기반 모델이 저장된 메모리; 및
    프로세서
    를 포함하고,
    상기 프로세서는,
    상기 이미지 센서에 의해 수신되는 상기 부품으로부터 반사된 상기 패턴광을 이용하여 상기 부품에 대한 제2 깊이 정보를 생성하고,
    상기 제2 깊이 정보를 상기 머신-러닝 기반 모델에 입력하고,
    상기 제2 깊이 정보 중 상기 제1 객체의 형상과 대응하지 않는 제2 노이즈가 감소된 상기 제2 깊이 정보를 상기 머신-러닝 기반 모델로부터 획득하고,
    상기 제2 노이즈가 감소된 상기 제2 깊이 정보를 이용하여, 상기 부품의 실장 상태를 검사하고,
    상기 제1 깊이 정보는 형태, 픽셀별 색상 정보, 밝기 정보, 높이값 중 적어도 하나를 포함하고,
    상기 머신-러닝 기반 모델은 GAN(Generative Adversarial Network)을 포함하는 인쇄 회로 기판 검사 장치.
  2. 제1항에 있어서,
    상기 머신-러닝 기반 모델은,
    상기 복수의 제2 광원으로부터 조사된 패턴광 중, 상기 부품 중 상기 제1 객체와 다른 하나인 제2 객체로부터 반사된 패턴광을 이용하여 생성된 상기 제2 객체에 대한 제3 깊이 정보 및 상기 복수의 제2 광원과 광원수, 각각의 조사 방향, 각각의 조사 각도, 각각의 피치 간격 중 적어도 하나가 서로 상이한 복수의 제3 광원으로부터 조사된 패턴광 중, 상기 제2 객체로부터 반사된 패턴광을 이용하여 생성된 상기 제2 객체에 대한 제4 깊이 정보를 이용하여, 상기 제3 깊이 정보 중 상기 제2 객체의 형상과 대응하지 않는 제3 노이즈가 감소된 제3 깊이 정보를 출력하도록 학습되고,
    상기 학습 결과에 기초하여, 제1 깊이 정보가 입력되면, 상기 제1 노이즈가 감소된 상기 제1 깊이 정보를 출력하는, 인쇄 회로 기판 검사 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 제2 노이즈가 감소된 상기 제2 깊이 정보를 이용하여, 상기 부품에 대한 3차원 이미지를 생성하고,
    상기 부품에 대한 3차원 이미지를 이용하여, 상기 부품의 실장 상태를 검사하는, 인쇄 회로 기판 검사 장치.
  4. 인쇄 회로 기판 검사 장치에서, 부품의 실장 상태를 검사하는 방법에 있어서,
    인쇄 회로 기판에 실장된 부품에 패턴광이 조사되도록 복수의 제1 광원을 제어하는 단계;
    이미지 센서에 의해 수신되는 상기 부품으로부터 반사된 상기 패턴광을 이용하여 상기 부품에 대한 제1 깊이 정보를 생성하는 단계;
    상기 제1 깊이 정보를 머신-러닝 기반 모델에 입력하는 단계;
    제1 노이즈가 감소된 상기 제1 깊이 정보를 상기 머신-러닝 기반 모델로부터 획득하는 단계; 및
    상기 제1 노이즈가 감소된 상기 제1 깊이 정보를 이용하여, 상기 부품의 실장 상태를 검사하는 단계
    를 포함하고,
    상기 머신-러닝 기반 모델은,
    복수의 제2 광원으로부터 조사된 패턴광 중, 상기 부품 중 하나인 제1 객체로부터 반사된 패턴광을 이용하여 생성되는 상기 제1 객체에 대한 제1 깊이 정보가 입력되면, 상기 제1 노이즈가 감소된 상기 제1 깊이 정보를 출력하고,
    상기 제1 깊이 정보는 형태, 픽셀별 색상 정보, 밝기 정보, 높이값 중 적어도 하나를 포함하고,
    상기 제1 노이즈는 상기 제1 깊이 정보 중 상기 제1 객체의 형상과 대응하지 않는 부분이고,
    상기 머신-러닝 기반 모델은 GAN(Generative Adversarial Network)을 포함하는, 부품 실장 상태 검사 방법.
  5. 제4항에 있어서,
    상기 머신-러닝 기반 모델은,
    상기 복수의 제2 광원으로부터 조사된 패턴광 중, 상기 부품 중 상기 제1 객체와 다른 하나인 제2 객체로부터 반사된 패턴광을 이용하여 생성된 상기 제2 객체에 대한 제3 깊이 정보 및 상기 복수의 제2 광원과 광원수, 각각의 조사 방향, 각각의 조사 각도, 각각의 피치 간격 중 적어도 하나가 서로 상이한 복수의 제3 광원으로부터 조사된 패턴광 중, 상기 제2 객체로부터 반사된 패턴광을 이용하여 생성된 상기 제2 객체에 대한 제4 깊이 정보를 이용하여, 상기 제3 깊이 정보 중 상기 제2 객체의 형상과 대응하지 않는 제3 노이즈가 감소된 제3 깊이 정보를 출력하도록 학습되고,
    상기 학습 결과에 기초하여, 제1 깊이 정보가 입력되면, 상기 제1 노이즈가 감소된 상기 제1 깊이 정보를 출력하는, 부품 실장 상태 검사 방법.
KR1020237035082A 2018-02-26 2019-02-26 인쇄 회로 기판 검사 장치 및 부품의 실장 상태를 검사하기 위한 방법 KR20230150886A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862635022P 2018-02-26 2018-02-26
US62/635,022 2018-02-26
KR1020227041178A KR20220163513A (ko) 2018-02-26 2019-02-26 인쇄 회로 기판 검사 장치 및 부품의 실장 상태를 검사하기 위한 방법
PCT/KR2019/002330 WO2019164382A1 (ko) 2018-02-26 2019-02-26 부품의 실장 상태를 검사하기 위한 방법, 인쇄 회로 기판 검사 장치 및 컴퓨터 판독 가능한 기록매체

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020227041178A Division KR20220163513A (ko) 2018-02-26 2019-02-26 인쇄 회로 기판 검사 장치 및 부품의 실장 상태를 검사하기 위한 방법

Publications (1)

Publication Number Publication Date
KR20230150886A true KR20230150886A (ko) 2023-10-31

Family

ID=67687308

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020207024783A KR102427381B1 (ko) 2018-02-26 2019-02-26 부품의 실장 상태를 검사하기 위한 방법, 인쇄 회로 기판 검사 장치 및 컴퓨터 판독 가능한 기록매체
KR1020227041178A KR20220163513A (ko) 2018-02-26 2019-02-26 인쇄 회로 기판 검사 장치 및 부품의 실장 상태를 검사하기 위한 방법
KR1020207024788A KR102473547B1 (ko) 2018-02-26 2019-02-26 부품의 실장 상태를 검사하기 위한 방법, 인쇄 회로 기판 검사 장치 및 컴퓨터 판독 가능한 기록매체
KR1020237035082A KR20230150886A (ko) 2018-02-26 2019-02-26 인쇄 회로 기판 검사 장치 및 부품의 실장 상태를 검사하기 위한 방법

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020207024783A KR102427381B1 (ko) 2018-02-26 2019-02-26 부품의 실장 상태를 검사하기 위한 방법, 인쇄 회로 기판 검사 장치 및 컴퓨터 판독 가능한 기록매체
KR1020227041178A KR20220163513A (ko) 2018-02-26 2019-02-26 인쇄 회로 기판 검사 장치 및 부품의 실장 상태를 검사하기 위한 방법
KR1020207024788A KR102473547B1 (ko) 2018-02-26 2019-02-26 부품의 실장 상태를 검사하기 위한 방법, 인쇄 회로 기판 검사 장치 및 컴퓨터 판독 가능한 기록매체

Country Status (5)

Country Link
US (2) US11328407B2 (ko)
EP (2) EP3761013A4 (ko)
KR (4) KR102427381B1 (ko)
CN (2) CN111788883B (ko)
WO (2) WO2019164381A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11610390B2 (en) * 2019-05-15 2023-03-21 Getac Technology Corporation System for detecting surface type of object and artificial neural network-based method for detecting surface type of object
CN114073175B (zh) * 2019-07-04 2023-09-22 株式会社富士 元件安装系统
CN111126433A (zh) * 2019-11-19 2020-05-08 佛山市南海区广工大数控装备协同创新研究院 一种工厂pcb板缺陷检测中正负样本数据平衡方法
US20210352835A1 (en) * 2020-05-05 2021-11-11 Integrated Dynamics Engineering Gmbh Method for processing substrates, in particular wafers, masks or flat panel displays, with a semi-conductor industry machine
KR102459695B1 (ko) 2020-11-03 2022-10-28 주식회사 고영테크놀러지 실장 정보를 결정하기 위한 장치, 방법 및 명령을 기록한 기록 매체
CN113032919B (zh) * 2021-03-12 2022-03-04 奥特斯科技(重庆)有限公司 部件承载件制造方法、处理系统、计算机程序和系统架构
DE102021114568A1 (de) 2021-06-07 2022-12-08 Göpel electronic GmbH Inspektionsvorrichtung zum prüfen von elektronischen bauteilen
CN114018934B (zh) * 2021-11-03 2023-11-03 四川启睿克科技有限公司 一种用于弧形金属表面缺陷检测的成像系统
KR102455733B1 (ko) * 2022-02-11 2022-10-18 주식회사 지오스테크놀러지 트랜지스터 아웃라인 패키지 제조 장치 및 이의 제조 방법
WO2023159298A1 (en) * 2022-02-28 2023-08-31 National Research Council Of Canada Deep learning based prediction of fabrication-process-induced structural variations in nanophotonic devices
CN116007526B (zh) * 2023-03-27 2023-06-23 西安航天动力研究所 一种膜片刻痕深度自动测量系统及测量方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0989797A (ja) 1995-09-25 1997-04-04 Omron Corp 実装基板検査装置
KR20020046636A (ko) * 2000-12-15 2002-06-21 송재인 인쇄회로기판의 납땜검사 시스템 및 방법
US7352892B2 (en) * 2003-03-20 2008-04-01 Micron Technology, Inc. System and method for shape reconstruction from optical images
KR100834113B1 (ko) * 2006-11-10 2008-06-02 아주하이텍(주) 자동 광학 검사 시스템
KR101190122B1 (ko) 2008-10-13 2012-10-11 주식회사 고영테크놀러지 다중파장을 이용한 3차원형상 측정장치 및 측정방법
DE102010064593A1 (de) 2009-05-21 2015-07-30 Koh Young Technology Inc. Formmessgerät und -verfahren
DE102010029319B4 (de) * 2009-05-27 2015-07-02 Koh Young Technology Inc. Vorrichtung zur Messung einer dreidimensionalen Form und Verfahren dazu
US9091725B2 (en) * 2009-07-03 2015-07-28 Koh Young Technology Inc. Board inspection apparatus and method
DE102010064635B4 (de) * 2009-07-03 2024-03-14 Koh Young Technology Inc. Verfahren zum Untersuchen eines Messobjektes
KR101144749B1 (ko) * 2010-01-29 2012-05-24 주식회사 고영테크놀러지 소자의 불량 검사방법
KR101078781B1 (ko) 2010-02-01 2011-11-01 주식회사 고영테크놀러지 3차원 형상 검사방법
US8855403B2 (en) * 2010-04-16 2014-10-07 Koh Young Technology Inc. Method of discriminating between an object region and a ground region and method of measuring three dimensional shape by using the same
US8755043B2 (en) 2010-11-19 2014-06-17 Koh Young Technology Inc. Method of inspecting a substrate
KR101311215B1 (ko) * 2010-11-19 2013-09-25 경북대학교 산학협력단 기판 검사방법
KR101684244B1 (ko) * 2011-03-02 2016-12-09 주식회사 고영테크놀러지 기판 검사방법
US9819879B2 (en) * 2011-07-12 2017-11-14 Samsung Electronics Co., Ltd. Image filtering apparatus and method based on noise prediction using infrared ray (IR) intensity
US8971612B2 (en) * 2011-12-15 2015-03-03 Microsoft Corporation Learning image processing tasks from scene reconstructions
KR101215083B1 (ko) * 2011-12-27 2012-12-24 경북대학교 산학협력단 기판 검사장치의 높이정보 생성 방법
JP5863547B2 (ja) * 2012-04-20 2016-02-16 ヤマハ発動機株式会社 プリント基板の検査装置
EP2853855B1 (en) * 2012-05-22 2016-12-07 Koh Young Technology Inc. Height measuring method for three dimensional shape measuring device
US20140198185A1 (en) * 2013-01-17 2014-07-17 Cyberoptics Corporation Multi-camera sensor for three-dimensional imaging of a circuit board
JP2014157086A (ja) * 2013-02-15 2014-08-28 Dainippon Screen Mfg Co Ltd パターン検査装置
CN105144675B (zh) * 2013-03-15 2018-09-14 耶鲁大学 用于处理具有传感器相关噪声的成像数据的技术
KR20150022158A (ko) 2013-08-22 2015-03-04 (주)토탈소프트뱅크 기계제도 학습장치 및 학습방법
KR20150023205A (ko) * 2013-08-23 2015-03-05 주식회사 고영테크놀러지 기판 검사방법 및 이를 이용한 기판 검사시스템
JP6296499B2 (ja) 2014-08-11 2018-03-20 株式会社 東京ウエルズ 透明基板の外観検査装置および外観検査方法
EP3232211A4 (en) 2014-12-08 2018-01-03 Koh Young Technology Inc. Method for inspecting terminal of component formed on substrate and substrate inspection apparatus
KR101622628B1 (ko) * 2014-12-16 2016-05-20 주식회사 고영테크놀러지 부품이 실장된 기판 검사방법 및 검사장치
US20160321523A1 (en) * 2015-04-30 2016-11-03 The Regents Of The University Of California Using machine learning to filter monte carlo noise from images
US11205119B2 (en) 2015-12-22 2021-12-21 Applied Materials Israel Ltd. Method of deep learning-based examination of a semiconductor specimen and system thereof
CN105891215B (zh) * 2016-03-31 2019-01-29 浙江工业大学 基于卷积神经网络的焊接视觉检测方法及装置
CN105913427B (zh) * 2016-04-12 2017-05-10 福州大学 一种基于机器学习的噪声图像显著性检测方法
KR101688458B1 (ko) * 2016-04-27 2016-12-23 디아이티 주식회사 깊은 신경망 학습 방법을 이용한 제조품용 영상 검사 장치 및 이를 이용한 제조품용 영상 검사 방법
US10646288B2 (en) 2017-04-12 2020-05-12 Bio-Medical Engineering (HK) Limited Automated steering systems and methods for a robotic endoscope

Also Published As

Publication number Publication date
CN111788883B (zh) 2021-11-05
EP3761013A1 (en) 2021-01-06
CN111788476B (zh) 2023-07-07
CN111788476A (zh) 2020-10-16
US11328407B2 (en) 2022-05-10
KR20200108905A (ko) 2020-09-21
US20210042910A1 (en) 2021-02-11
WO2019164381A1 (ko) 2019-08-29
WO2019164382A1 (ko) 2019-08-29
KR102427381B1 (ko) 2022-08-02
US11244436B2 (en) 2022-02-08
CN111788883A (zh) 2020-10-16
EP3761772A1 (en) 2021-01-06
KR20200108483A (ko) 2020-09-18
EP3761013A4 (en) 2021-05-12
KR102473547B1 (ko) 2022-12-05
US20210049753A1 (en) 2021-02-18
EP3761772A4 (en) 2021-04-28
KR20220163513A (ko) 2022-12-09

Similar Documents

Publication Publication Date Title
KR102473547B1 (ko) 부품의 실장 상태를 검사하기 위한 방법, 인쇄 회로 기판 검사 장치 및 컴퓨터 판독 가능한 기록매체
US9710905B2 (en) Mask inspection apparatus and mask inspection method
CN111742214A (zh) 基板检查装置及丝网印刷机的缺陷类型确定方法
KR102249225B1 (ko) 기판에 삽입된 커넥터에 포함된 복수의 핀의 삽입 상태를 검사하는 방법 및 기판 검사 장치
US10853935B2 (en) Image processing system, computer readable recording medium, and image processing method
JP2008046012A (ja) 欠陥検出装置および欠陥検出方法
CN111480088B (zh) 检查插入于基板的多个引脚的插入状态的方法及基板检查装置
JP2021005364A (ja) 実在構造体の供用能力及び残存寿命の三次元スキャンデータを用いた判定
KR102089474B1 (ko) 기판에 삽입된 복수의 핀의 삽입 상태를 검사하는 방법 및 기판 검사 장치
JP2021047677A (ja) 参照画像生成装置、検査装置、アライメント装置および参照画像生成方法
WO2023243430A1 (ja) 情報処理方法、情報処理装置、およびプログラム
WO2024070338A1 (ja) 位置計測システム及び照明条件好適化システム
JP2019139104A (ja) パターン検査方法およびパターン検査装置
US11062172B2 (en) Inspection apparatus and inspection method
JP2009229159A (ja) レチクル欠陥検査装置およびレチクル欠陥検査方法
JP2017110975A (ja) 計測装置、システム、計測方法、決定方法及びプログラム
KR20240035661A (ko) 멀티어레이 센서를 이용한 레이저 가공 모니터링 방법 및 장치
CN111788826A (zh) 信息处理装置、信息处理方法和程序
JP2007033369A (ja) 座標補正装置、座標補正方法、および、これに用いられるプログラム

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal