KR102366032B1 - 머신러닝에 기반하여 자동 증강된 회로 기판 이미지를 학습함으로써 회로 기판 불량 여부를 판별하는 방법 및 이를 이용한 컴퓨팅 장치 - Google Patents

머신러닝에 기반하여 자동 증강된 회로 기판 이미지를 학습함으로써 회로 기판 불량 여부를 판별하는 방법 및 이를 이용한 컴퓨팅 장치 Download PDF

Info

Publication number
KR102366032B1
KR102366032B1 KR1020210039110A KR20210039110A KR102366032B1 KR 102366032 B1 KR102366032 B1 KR 102366032B1 KR 1020210039110 A KR1020210039110 A KR 1020210039110A KR 20210039110 A KR20210039110 A KR 20210039110A KR 102366032 B1 KR102366032 B1 KR 102366032B1
Authority
KR
South Korea
Prior art keywords
normal
image
region
discrimination
zone
Prior art date
Application number
KR1020210039110A
Other languages
English (en)
Inventor
박찬혁
Original Assignee
데이터크러쉬 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 데이터크러쉬 주식회사 filed Critical 데이터크러쉬 주식회사
Priority to KR1020210039110A priority Critical patent/KR102366032B1/ko
Application granted granted Critical
Publication of KR102366032B1 publication Critical patent/KR102366032B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K3/00—Apparatus or processes for manufacturing printed circuits
    • H05K3/30—Assembling printed circuits with electric components, e.g. with resistor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
    • G01N2021/95615—Inspecting patterns on the surface of objects using a comparative method with stored comparision signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Software Systems (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Operations Research (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

머신러닝에 기반하여 자동 증강된 회로 기판 이미지를 학습함으로써 회로 기판 불량 여부를 판별하는 방법에 있어서, (a) (i) 적어도 하나의 1차 정상 기판 이미지에 대응되는 1차 정상 부품 이미지들 및 상기 1차 정상 기판 이미지에 대응되는 1차 정상 납땜 이미지들 각각과 (ii) 상기 1차 정상 기판 이미지로부터 생성된 2차 정상 기판 이미지에 대응되는 2차 정상 부품 이미지들 및 상기 2차 정상 기판 이미지에 대응되는 2차 정상 납땜 이미지들 각각 중 적어도 일부가 소정의 저장 공간에 저장된 상태에서, 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지가 획득되면, 컴퓨팅 장치가, (i-1) 상기 1차 정상 부품 이미지들 및 상기 2차 정상 부품 이미지들 중 특정 정상 부품 이미지를 참조하여 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지의 전체 영역 중 상기 특정 정상 부품 이미지에 대응되는 제1 영역을 판단한 후 상기 제1 영역의 제1_1 이미지를 상기 특정 정상 부품 이미지의 특정 정상 부품이 누락 또는 변경된 상태의 이미지를 나타내는 제1_2 이미지로 대체하는 프로세스 및 (i-2) 상기 1차 정상 납땜 이미지들 및 상기 2차 정상 납땜 이미지들 중 특정 정상 납땜 이미지를 참조하여 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지의 상기 전체 영역 중 상기 특정 정상 납땜 이미지에 대응되는 제2 영역을 판단한 후 상기 제2 영역의 제2_1 이미지를 상기 특정 정상 납땜 이미지의 특정 정상 납땜이 누락 또는 변경된 상태의 이미지를 나타내는 제2_2 이미지로 대체하는 프로세스 중 적어도 일부를 수행함으로써, 상기 1차 정상 기판 이미지에 대응되는 적어도 하나의 1차 비정상 기판 이미지 또는 상기 2차 정상 기판 이미지에 대응되는 적어도 하나의 2차 비정상 기판 이미지를 생성하고, (ii) 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지 및 상기 1차 비정상 기판 이미지 또는 상기 2차 비정상 기판 이미지 각각을 제1 넓이 값을 가지는 제1 구역 내지 제n 넓이 값을 가지는 제n 구역으로 각각 구획하여 제1 구역 이미지들 내지 제n 구역 이미지들을 각각 생성하는 단계; 및 (b) 상기 컴퓨팅 장치가, 상기 제1 구역 이미지들 중 적어도 일부 내지 상기 제n 구역 이미지들 중 적어도 일부 각각을 제1 구역 판별 모델 내지 제n 구역 판별 모델에 각각 입력하여 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델 각각으로 하여금 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지 및 상기 1차 비정상 기판 이미지 또는 상기 2차 비정상 기판 이미지 각각의 상기 제1 구역 내지 상기 제n 구역의 기판 상태가 정상일 확률을 각각 나타내는 제1 구역 예측 판별 정보들 내지 제n 구역 예측 판별 정보들 각각을 생성하도록 하고, 상기 제1 구역 예측 판별 정보들 내지 상기 제n 구역 예측 판별 정보들 각각 및 이에 대응되는 제1 구역 GT(Ground truth) 판별 정보들 내지 제n 구역 GT 판별 정보들 각각을 참조하여 제1 구역 예측 판별 로스들 내지 제n 구역 예측 판별 로스들 각각을 산출하며, 상기 제1 구역 예측 판별 로스들 내지 상기 제n 구역 예측 판별 로스들을 백프로퍼게이션하여 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델 중 적어도 일부의 파라미터를 업데이트하는 단계를 포함하는 방법 및 이를 이용한 컴퓨팅 장치가 개시된다.

Description

머신러닝에 기반하여 자동 증강된 회로 기판 이미지를 학습함으로써 회로 기판 불량 여부를 판별하는 방법 및 이를 이용한 컴퓨팅 장치{METHOD FOR DETERMINING DEFECT OF CIRCUIT BOARD BY LEARNING AUTO-AUGMENTED CIRCUIT BOARD IMAGE BASED ON MACHINE LEARNING AND COMPUTING DEVICE USING THE SAME}
본 발명은 회로 기판의 불량 여부를 판별하는 방법 및 이를 이용한 컴퓨팅 장치에 관한 것으로, 보다 상세하게는, 머신러닝에 기반하여 자동으로 증강된 회로 기판 이미지의 각각의 구역별로 회로 기판 이미지를 학습함으로써 회로 기판 불량 여부를 판별하는 방법 및 이를 이용한 컴퓨팅 장치에 관한 것이다.
오토인코더나 One Class SVM 등의 비지도 학습 방식을 이용하여 학습 데이터에 포함된 정상 값 및 이상 값을 분류하는 방식은 높은 정확도를 확보하기 어렵고, 정상 값 및 이상 값 각각을 정상 및 이상으로 판별하기 위한 threshold 값에 영향을 많이 받으므로, 정탐과 오탐(또는 과탐과 미탐)이 혼재되는 현상이 자주 발생한다.
한편, 지도 학습 방식의 딥러닝 기술을 활용한 이상 탐지 모델은 이상 탐지의 정확도를 높일 수 있으나, 이상 패턴이 다양하고 비정형적 일수록 정상 데이터보다 이상 데이터를 더 많이 확보해야 학습이 가능하다.
하지만, 일반적으로 정상 데이터에 대응되는 상황보다 이상 데이터에 대응되는 상황이 훨씬 적게 발생하므로, 이상 데이터를 생성하기 위해서는 많은 인력과 비용이 수반되는 문제점이 존재한다.
구체적으로, PCB(Printed Circuit Board)의 불량 여부를 판별하는데 있어서, PCB 불량 판단 모델은, 어떤 부품이 어느 위치에서 누락되었는지, PCB의 어느 위치에서 단선, 합선 등의 문제가 발생했는지를 다양한 조도 환경 아래에서 판별할 수 있어야 한다.
따라서, 지도학습 방식의 딥러닝 모델을 PCB 불량 검사에 적용하기 위해서는, 다양한 조도 환경에서 촬영된 정상 이미지 및 다양한 불량 유형을 나타내는 비정상 이미지가 확보되어야 한다.
하지만, 다양한 조도 환경 아래에서 PCB의 불량의 유형 및 불량이 발생한 위치까지 검출하기 위한 데이터 구축과 라벨링(labeling)에는 많은 전문 인력과 많은 비용이 필요하므로, PCB를 생산하는 대다수의 중소규모 생산 라인에 딥러닝 방식의 비전 검사 방식을 적용하기가 어려운 문제점이 존재하였다.
따라서, 상기 문제점들을 해결하기 위한 개선 방안이 요구되는 실정이다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은 머신러닝에 기반하여 회로 기판 이미지를 학습함으로써 회로 기판 불량 여부를 판별하는 것을 다른 목적으로 한다.
또한, 본 발명은 학습 데이터를 자동으로 증강함으로써, 회로 기판에 발생할 수 있는 다양한 불량 유형에 대응되는 학습 데이터 또는 다양한 조도 환경 등에 대응되는 학습 데이터를 구축하기 위한 비용을 절감하는 것을 또 다른 목적으로 한다.
또한, 본 발명은 테스트 기판 이미지에 대한 각 구역별 예측 판별 정보를 생성하여 검수자로 하여금 테스트 기판의 어느 위치에서 불량이 발생하였는지 확인할 수 있도록 지원하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 머신러닝에 기반하여 자동 증강된 회로 기판 이미지를 학습함으로써 회로 기판 불량 여부를 판별하는 방법에 있어서, (a) (i) 적어도 하나의 1차 정상 기판 이미지에 대응되는 1차 정상 부품 이미지들 및 상기 1차 정상 기판 이미지에 대응되는 1차 정상 납땜 이미지들 각각과 (ii) 상기 1차 정상 기판 이미지로부터 생성된 2차 정상 기판 이미지에 대응되는 2차 정상 부품 이미지들 및 상기 2차 정상 기판 이미지에 대응되는 2차 정상 납땜 이미지들 각각 중 적어도 일부가 소정의 저장 공간에 저장된 상태에서, 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지가 획득되면, 컴퓨팅 장치가, (i-1) 상기 1차 정상 부품 이미지들 및 상기 2차 정상 부품 이미지들 중 특정 정상 부품 이미지를 참조하여 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지의 전체 영역 중 상기 특정 정상 부품 이미지에 대응되는 제1 영역을 판단한 후 상기 제1 영역의 제1_1 이미지를 상기 특정 정상 부품 이미지의 특정 정상 부품이 누락 또는 변경된 상태의 이미지를 나타내는 제1_2 이미지로 대체하는 프로세스 및 (i-2) 상기 1차 정상 납땜 이미지들 및 상기 2차 정상 납땜 이미지들 중 특정 정상 납땜 이미지를 참조하여 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지의 상기 전체 영역 중 상기 특정 정상 납땜 이미지에 대응되는 제2 영역을 판단한 후 상기 제2 영역의 제2_1 이미지를 상기 특정 정상 납땜 이미지의 특정 정상 납땜이 누락 또는 변경된 상태의 이미지를 나타내는 제2_2 이미지로 대체하는 프로세스 중 적어도 일부를 수행함으로써, 상기 1차 정상 기판 이미지에 대응되는 적어도 하나의 1차 비정상 기판 이미지 또는 상기 2차 정상 기판 이미지에 대응되는 적어도 하나의 2차 비정상 기판 이미지를 생성하고, (ii) 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지 및 상기 1차 비정상 기판 이미지 또는 상기 2차 비정상 기판 이미지 각각을 제1 넓이 값을 가지는 제1 구역 내지 제n 넓이 값을 가지는 제n 구역으로 각각 구획하여 제1 구역 이미지들 내지 제n 구역 이미지들을 각각 생성하는 단계; 및 (b) 상기 컴퓨팅 장치가, 상기 제1 구역 이미지들 중 적어도 일부 내지 상기 제n 구역 이미지들 중 적어도 일부 각각을 제1 구역 판별 모델 내지 제n 구역 판별 모델에 각각 입력하여 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델 각각으로 하여금 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지 및 상기 1차 비정상 기판 이미지 또는 상기 2차 비정상 기판 이미지 각각의 상기 제1 구역 내지 상기 제n 구역의 기판 상태가 정상일 확률을 각각 나타내는 제1 구역 예측 판별 정보들 내지 제n 구역 예측 판별 정보들 각각을 생성하도록 하고, 상기 제1 구역 예측 판별 정보들 내지 상기 제n 구역 예측 판별 정보들 각각 및 이에 대응되는 제1 구역 GT(Ground truth) 판별 정보들 내지 제n 구역 GT 판별 정보들 각각을 참조하여 제1 구역 예측 판별 로스들 내지 제n 구역 예측 판별 로스들 각각을 산출하며, 상기 제1 구역 예측 판별 로스들 내지 상기 제n 구역 예측 판별 로스들을 백프로퍼게이션하여 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델 중 적어도 일부의 파라미터를 업데이트하는 단계;를 포함하는 방법이 개시된다.
일례로서, (c) 상기 컴퓨팅 장치는, 각 이터레이션(iteration)마다 상기 (a) 단계 및 상기 (b) 단계를 반복하여 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델 중 적어도 일부의 상기 파라미터를 업데이트하는 단계를 더 포함하되, 제k 이터레이션에서는, (i) 상기 1차 정상 기판 이미지 및 상기 2차 정상 기판 이미지에 대응되는 제m 구역 정상 이미지들 - 상기 m 는 1 이상 n 이하의 정수 - 의 개수에 대한, 상기 1차 비정상 기판 이미지 및 상기 2차 비정상 기판 이미지에 대응되는 제m 구역 비정상 이미지들의 개수의 비율을 제m_k 샘플링 비율이라고 할 때, (ii) 제m 구역 이미지들의 상기 제m_k 샘플링 비율에 대한 조건을 만족하는 일부 제m 구역 이미지들을 제m_k 구역 이미지들로 하여, 상기 제m_k 구역 이미지들을 상기 제m 구역 판별 모델에 대한 입력으로 사용하여 상기 제m 구역 판별 모델의 상기 파라미터를 업데이트하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 (c) 단계에서, 상기 컴퓨팅 장치가, 상기 제m_k 구역 이미지들을 상기 제m 구역 판별 모델에 입력하여 상기 제m 구역 판별 모델로 하여금 상기 제m_k 구역 이미지들의 제m 구역의 기판 상태가 정상일 확률을 각각 나타내는 제m_k 구역 예측 판별 정보들을 생성하도록 하고, 상기 제m_k 구역 예측 판별 정보들 및 이에 대응되는 제m_k 구역 GT 판별 정보들을 참조하여 (i) 상기 제m_k 구역 이미지들 중 제m_k 구역 정상 이미지들에 대한 제m_k 정상 판별 정확도, (ii) 상기 제m_k 구역 이미지들 중 제m_k 구역 비정상 이미지들에 대한 제m_k 비정상 판별 정확도 및 (iii) 제m_k 구역 예측 판별 로스들을 산출하며, 상기 제m_k 정상 판별 정확도 및 상기 제m_k 비정상 판별 정확도를 참조하여 제(k+1) 이터레이션에서 사용될 샘플링 비율인 제m_(k+1) 샘플링 비율을 결정하고, 상기 제m_k 구역 예측 판별 로스들을 백프로퍼게이션하여 상기 제m 구역 판별 모델의 상기 파라미터를 업데이트하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 (c) 단계에서, 상기 컴퓨팅 장치가, 상기 제m_k 구역 예측 판별 정보들 및 이에 대응되는 상기 제m_k 구역 GT 판별 정보들을 이용하여, 상기 제m_k 구역 예측 판별 정보들에 대응되는 제m_k 구역 예측 클래스 및 상기 제m_k 구역 GT 판별 정보들에 대응되는 제m_k 구역 GT 클래스 사이의 관계를 나타내는 제m_k 컨퓨젼 매트릭스를 생성하고, 상기 제m_k 컨퓨젼 매트릭스를 참조하여 상기 제m_k 정상 판별 정확도 및 상기 제m_k 비정상 판별 정확도를 산출하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 (c) 단계에서, 상기 제k 이터레이션에서는, 상기 제1 구역 내지 상기 제n 구역 중, 상기 제1_k 비정상 판별 정확도 내지 상기 제n_k 비정상 판별 정확도 각각이 상기 제1_k 정상 판별 정확도 내지 상기 제n_k 정상 판별 정확도 각각보다 제k 임계치 이상 작은 구역을 각각 제a1_k 구역 내지 제ai_k 구역으로 할 때, 상기 컴퓨팅 장치는, (i) 상기 제a1_k 구역 내지 상기 제ai_k 구역에 대응되는 샘플링 비율인 제a1_k 샘플링 비율 내지 제ai_k 샘플링 비율을 각각 증가시켜서, 제(k+1) 이터레이션에서 사용될 샘플링 비율인 제a1_(k+1) 샘플링 비율 내지 제ai_(k+1) 샘플링 비율을 결정하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 (a) 단계에서, 상기 컴퓨팅 장치가, (i) 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지 및 상기 1차 비정상 기판 이미지 또는 상기 2차 비정상 기판 이미지 각각을 제p 넓이 값을 가지는 구역들로 구획하는 프로세스를 수행한 후, (ii) 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지 및 상기 1차 비정상 기판 이미지 또는 상기 2차 비정상 기판 이미지 각각을 직전 프로세스에서의 넓이 값보다 큰 넓이 값을 가지는 구역들로 구획하는 프로세스를 반복하여 수행하되, 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지 및 상기 1차 비정상 기판 이미지 또는 상기 2차 비정상 기판 이미지 각각이 더 이상 구획되지 않을 때까지 상기 (ii) 프로세스를 반복하여 수행함으로써 상기 제1 구역 이미지들 내지 상기 제n 구역 이미지들을 각각 생성하는 것을 특징으로 하는 방법이 개시된다.
일례로서, (d) 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델 각각의 학습이 완료된 상태에서, 테스트 기판 이미지가 획득되면, 상기 컴퓨팅 장치가, (i) 상기 테스트 기판 이미지를 제1 테스트 구역 내지 제n 테스트 구역으로 구획하여 제1 테스트 구역 이미지 내지 제n 테스트 구역 이미지를 생성한 후, (ii) 상기 제1 테스트 구역 이미지 내지 상기 제n 테스트 구역 이미지 각각을 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델에 각각 입력하여 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델 각각으로 하여금 상기 테스트 기판 이미지의 상기 제1 테스트 구역 내지 상기 제n 테스트 구역의 기판 상태가 정상일 확률을 각각 나타내는 제1 테스트 구역 예측 판별 정보 내지 제n 테스트 구역 예측 판별 정보 각각을 생성하도록 하는 단계;를 더 포함하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 (d) 단계에서, 상기 컴퓨팅 장치가, 상기 제1 테스트 구역 예측 판별 정보 내지 상기 제n 테스트 구역 예측 판별 정보 각각을 참조하여 상기 제1 테스트 구역 내지 상기 제n 테스트 구역 각각의 기판 상태가 정상인지에 관한 정보를 상기 테스트 기판 이미지의 상기 제1 테스트 구역 내지 상기 제n 테스트 구역 상에 디스플레이하거나, 검수자 단말로 하여금 상기 제1 테스트 구역 예측 판별 정보 내지 상기 제n 테스트 구역 예측 판별 정보 각각을 참조하도록 하여 상기 제1 테스트 구역 내지 상기 제n 테스트 구역 각각의 기판 상태가 정상인지에 관한 정보를 상기 테스트 기판 이미지의 상기 제1 테스트 구역 내지 상기 제n 테스트 구역 상에 디스플레이하도록 지원하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 2차 정상 기판 이미지는, 상기 1차 정상 기판 이미지를 변환시키는 적어도 하나의 변환 함수가 상기 1차 정상 기판 이미지에 적용됨으로써 생성되는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 변환 함수는 (i) 상기 1차 정상 기판 이미지의 밝기를 변환시키는 함수, (ii) 상기 1차 정상 기판 이미지를 특정 각도만큼 회전시키는 함수, (iii) 상기 1차 정상 기판 이미지의 크기를 변환시키는 함수 및 (iv) 상기 1차 정상 기판 이미지에 노이즈를 추가하는 함수 중 어느 하나인 것을 특징으로 하는 방법이 개시된다.
일례로서, 1차 정상 기판의 부품들 중 특정 부품이 특정 위치에 위치하도록 제1 작업자 내지 제j 작업자 - 상기 j는 1이상의 정수 - 각각에 의해 제1 1차 정상 기판 내지 제j 1차 정상 기판 각각이 생성될 경우, 상기 1차 정상 기판 이미지는, 상기 제1 1차 정상 기판 내지 상기 제j 1차 정상 기판 각각에 대응되는 제1 1차 정상 기판 이미지 내지 제j 1차 정상 기판 이미지를 포함하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 (b) 단계에서, 상기 컴퓨팅 장치가, 상기 제1 구역 이미지들 중 적어도 일부 내지 상기 제n 구역 이미지들 중 적어도 일부 각각을 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델에 각각 입력하여 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델 각각으로 하여금 (i) 상기 제1 구역 판별 모델에 대응되어 있는 제1 컨볼루션 레이어 내지 상기 제n 구역 판별 모델에 대응되어 있는 제n 컨볼루션 레이어 각각을 통해 상기 제1 구역 이미지들 내지 상기 제n 구역 이미지들 각각에 적어도 한번의 컨볼루션 연산을 적용하도록 하여 제1 피처맵 내지 제n 피처맵 각각을 생성하도록 하며, (ii) 상기 제1 구역 판별 모델에 대응되어 있는 제1 FC(fully connected) 레이어 내지 상기 제n 구역 판별 모델에 대응되어 있는 제n FC 레이어 각각을 통해 상기 제1 피처맵 내지 상기 제n 피처맵 각각에 FC 연산을 적용하도록 하여 상기 제1 구역 예측 판별 정보들 내지 상기 제n 구역 예측 판별 정보들 각각을 생성하도록 하는 것을 특징으로 하는 방법이 개시된다.
본 발명의 다른 태양에 따르면, 머신러닝에 기반하여 자동 증강된 회로 기판 이미지를 학습함으로써 회로 기판 불량 여부를 판별하는 컴퓨팅 장치에 있어서, 인스트럭션들을 저장하는 적어도 하나의 메모리; 및 상기 인스트럭션들을 실행하기 위해 구성된 적어도 하나의 프로세서를 포함하되, 상기 프로세서가, (1) (i) 적어도 하나의 1차 정상 기판 이미지에 대응되는 1차 정상 부품 이미지들 및 상기 1차 정상 기판 이미지에 대응되는 1차 정상 납땜 이미지들 각각과 (ii) 상기 1차 정상 기판 이미지로부터 생성된 2차 정상 기판 이미지에 대응되는 2차 정상 부품 이미지들 및 상기 2차 정상 기판 이미지에 대응되는 2차 정상 납땜 이미지들 각각 중 적어도 일부가 소정의 저장 공간에 저장된 상태에서, 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지가 획득되면, (i-1) 상기 1차 정상 부품 이미지들 및 상기 2차 정상 부품 이미지들 중 특정 정상 부품 이미지를 참조하여 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지의 전체 영역 중 상기 특정 정상 부품 이미지에 대응되는 제1 영역을 판단한 후 상기 제1 영역의 제1_1 이미지를 상기 특정 정상 부품 이미지의 특정 정상 부품이 누락 또는 변경된 상태의 이미지를 나타내는 제1_2 이미지로 대체하는 서브 프로세스 및 (i-2) 상기 1차 정상 납땜 이미지들 및 상기 2차 정상 납땜 이미지들 중 특정 정상 납땜 이미지를 참조하여 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지의 상기 전체 영역 중 상기 특정 정상 납땜 이미지에 대응되는 제2 영역을 판단한 후 상기 제2 영역의 제2_1 이미지를 상기 특정 정상 납땜 이미지의 특정 정상 납땜이 누락 또는 변경된 상태의 이미지를 나타내는 제2_2 이미지로 대체하는 서브 프로세스 중 적어도 일부를 수행함으로써, 상기 1차 정상 기판 이미지에 대응되는 적어도 하나의 1차 비정상 기판 이미지 또는 상기 2차 정상 기판 이미지에 대응되는 적어도 하나의 2차 비정상 기판 이미지를 생성하고, (ii) 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지 및 상기 1차 비정상 기판 이미지 또는 상기 2차 비정상 기판 이미지 각각을 제1 넓이 값을 가지는 제1 구역 내지 제n 넓이 값을 가지는 제n 구역으로 각각 구획하여 제1 구역 이미지들 내지 제n 구역 이미지들을 각각 생성하는 프로세스; 및 (2) 상기 제1 구역 이미지들 중 적어도 일부 내지 상기 제n 구역 이미지들 중 적어도 일부 각각을 제1 구역 판별 모델 내지 제n 구역 판별 모델에 각각 입력하여 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델 각각으로 하여금 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지 및 상기 1차 비정상 기판 이미지 또는 상기 2차 비정상 기판 이미지 각각의 상기 제1 구역 내지 상기 제n 구역의 기판 상태가 정상일 확률을 각각 나타내는 제1 구역 예측 판별 정보들 내지 제n 구역 예측 판별 정보들 각각을 생성하도록 하고, 상기 제1 구역 예측 판별 정보들 내지 상기 제n 구역 예측 판별 정보들 각각 및 이에 대응되는 제1 구역 GT(Ground truth) 판별 정보들 내지 제n 구역 GT 판별 정보들 각각을 참조하여 제1 구역 예측 판별 로스들 내지 제n 구역 예측 판별 로스들 각각을 산출하며, 상기 제1 구역 예측 판별 로스들 내지 상기 제n 구역 예측 판별 로스들을 백프로퍼게이션하여 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델 중 적어도 일부의 파라미터를 업데이트하는 프로세스를 수행하는 컴퓨팅 장치가 개시된다.
일례로서, (3) 상기 프로세서는, 각 이터레이션(iteration)마다 상기 (a) 단계 및 상기 (b) 단계를 반복하여 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델 중 적어도 일부의 상기 파라미터를 업데이트하는 프로세스를 더 포함하되, 제k 이터레이션에서는, (i) 상기 1차 정상 기판 이미지 및 상기 2차 정상 기판 이미지에 대응되는 제m 구역 정상 이미지들 - 상기 m 는 1 이상 n 이하의 정수 - 의 개수에 대한, 상기 1차 비정상 기판 이미지 및 상기 2차 비정상 기판 이미지에 대응되는 제m 구역 비정상 이미지들의 개수의 비율을 제m_k 샘플링 비율이라고 할 때, (ii) 제m 구역 이미지들의 상기 제m_k 샘플링 비율에 대한 조건을 만족하는 일부 제m 구역 이미지들을 제m_k 구역 이미지들로 하여, 상기 제m_k 구역 이미지들을 상기 제m 구역 판별 모델에 대한 입력으로 사용하여 상기 제m 구역 판별 모델의 상기 파라미터를 업데이트하는 것을 특징으로 하는 컴퓨팅 장치가 개시된다.
일례로서, 상기 프로세서는, 상기 (3) 프로세스에서, 상기 제m_k 구역 이미지들을 상기 제m 구역 판별 모델에 입력하여 상기 제m 구역 판별 모델로 하여금 상기 제m_k 구역 이미지들의 제m 구역의 기판 상태가 정상일 확률을 각각 나타내는 제m_k 구역 예측 판별 정보들을 생성하도록 하고, 상기 제m_k 구역 예측 판별 정보들 및 이에 대응되는 제m_k 구역 GT 판별 정보들을 참조하여 (i) 상기 제m_k 구역 이미지들 중 제m_k 구역 정상 이미지들에 대한 제m_k 정상 판별 정확도, (ii) 상기 제m_k 구역 이미지들 중 제m_k 구역 비정상 이미지들에 대한 제m_k 비정상 판별 정확도 및 (iii) 제m_k 구역 예측 판별 로스들을 산출하며, 상기 제m_k 정상 판별 정확도 및 상기 제m_k 비정상 판별 정확도를 참조하여 제(k+1) 이터레이션에서 사용될 샘플링 비율인 제m_(k+1) 샘플링 비율을 결정하고, 상기 제m_k 구역 예측 판별 로스들을 백프로퍼게이션하여 상기 제m 구역 판별 모델의 상기 파라미터를 업데이트하는 것을 특징으로 하는 컴퓨팅 장치가 개시된다.
일례로서, 상기 프로세서는, 상기 (3) 프로세스에서, 상기 제m_k 구역 예측 판별 정보들 및 이에 대응되는 상기 제m_k 구역 GT 판별 정보들을 이용하여, 상기 제m_k 구역 예측 판별 정보들에 대응되는 제m_k 구역 예측 클래스 및 상기 제m_k 구역 GT 판별 정보들에 대응되는 제m_k 구역 GT 클래스 사이의 관계를 나타내는 제m_k 컨퓨젼 매트릭스를 생성하고, 상기 제m_k 컨퓨젼 매트릭스를 참조하여 상기 제m_k 정상 판별 정확도 및 상기 제m_k 비정상 판별 정확도를 산출하는 것을 특징으로 하는 컴퓨팅 장치가 개시된다.
일례로서, 상기 프로세서는, 상기 (3) 프로세스에서, 상기 제k 이터레이션에서는, 상기 제1 구역 내지 상기 제n 구역 중, 상기 제1_k 비정상 판별 정확도 내지 상기 제n_k 비정상 판별 정확도 각각이 상기 제1_k 정상 판별 정확도 내지 상기 제n_k 정상 판별 정확도 각각보다 제k 임계치 이상 작은 구역을 각각 제a1_k 구역 내지 제ai_k 구역으로 할 때, (i) 상기 제a1_k 구역 내지 상기 제ai_k 구역에 대응되는 샘플링 비율인 제a1_k 샘플링 비율 내지 제ai_k 샘플링 비율을 각각 증가시켜서, 제(k+1) 이터레이션에서 사용될 샘플링 비율인 제a1_(k+1) 샘플링 비율 내지 제ai_(k+1) 샘플링 비율을 결정하는 것을 특징으로 하는 컴퓨팅 장치가 개시된다.
일례로서, 상기 프로세서는, 상기 (1) 프로세스에서, (i) 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지 및 상기 1차 비정상 기판 이미지 또는 상기 2차 비정상 기판 이미지 각각을 제p 넓이 값을 가지는 구역들로 구획하는 서브 프로세스를 수행한 후, (ii) 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지 및 상기 1차 비정상 기판 이미지 또는 상기 2차 비정상 기판 이미지 각각을 직전 서브 프로세스에서의 넓이 값보다 큰 넓이 값을 가지는 구역들로 구획하는 서브 프로세스를 반복하여 수행하되, 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지 및 상기 1차 비정상 기판 이미지 또는 상기 2차 비정상 기판 이미지 각각이 더 이상 구획되지 않을 때까지 상기 (ii) 서브 프로세스를 반복하여 수행함으로써 상기 제1 구역 이미지들 내지 상기 제n 구역 이미지들을 각각 생성하는 것을 특징으로 하는 컴퓨팅 장치가 개시된다.
일례로서, (4) 상기 프로세서는, 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델 각각의 학습이 완료된 상태에서, 테스트 기판 이미지가 획득되면, (i) 상기 테스트 기판 이미지를 제1 테스트 구역 내지 제n 테스트 구역으로 구획하여 제1 테스트 구역 이미지 내지 제n 테스트 구역 이미지를 생성한 후, (ii) 상기 제1 테스트 구역 이미지 내지 상기 제n 테스트 구역 이미지 각각을 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델에 각각 입력하여 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델 각각으로 하여금 상기 테스트 기판 이미지의 상기 제1 테스트 구역 내지 상기 제n 테스트 구역의 기판 상태가 정상일 확률을 각각 나타내는 제1 테스트 구역 예측 판별 정보 내지 제n 테스트 구역 예측 판별 정보 각각을 생성하도록 하는 프로세스를 더 포함하는 것을 특징으로 하는 컴퓨팅 장치가 개시된다.
일례로서, 상기 프로세서는, 상기 (4) 프로세스에서, 상기 제1 테스트 구역 예측 판별 정보 내지 상기 제n 테스트 구역 예측 판별 정보 각각을 참조하여 상기 제1 테스트 구역 내지 상기 제n 테스트 구역 각각의 기판 상태가 정상인지에 관한 정보를 상기 테스트 기판 이미지의 상기 제1 테스트 구역 내지 상기 제n 테스트 구역 상에 디스플레이하거나, 검수자 단말로 하여금 상기 제1 테스트 구역 예측 판별 정보 내지 상기 제n 테스트 구역 예측 판별 정보 각각을 참조하도록 하여 상기 제1 테스트 구역 내지 상기 제n 테스트 구역 각각의 기판 상태가 정상인지에 관한 정보를 상기 테스트 기판 이미지의 상기 제1 테스트 구역 내지 상기 제n 테스트 구역 상에 디스플레이하도록 지원하는 것을 특징으로 하는 컴퓨팅 장치가 개시된다.
일례로서, 상기 2차 정상 기판 이미지는, 상기 1차 정상 기판 이미지를 변환시키는 적어도 하나의 변환 함수가 상기 1차 정상 기판 이미지에 적용됨으로써 생성되는 것을 특징으로 하는 컴퓨팅 장치가 개시된다.
일례로서, 상기 변환 함수는 (i) 상기 1차 정상 기판 이미지의 밝기를 변환시키는 함수, (ii) 상기 1차 정상 기판 이미지를 특정 각도만큼 회전시키는 함수, (iii) 상기 1차 정상 기판 이미지의 크기를 변환시키는 함수 및 (iv) 상기 1차 정상 기판 이미지에 노이즈를 추가하는 함수 중 어느 하나인 것을 특징으로 하는 컴퓨팅 장치가 개시된다.
일례로서, 1차 정상 기판의 부품들 중 특정 부품이 특정 위치에 위치하도록 제1 작업자 내지 제j 작업자 - 상기 j는 1이상의 정수 - 각각에 의해 제1 1차 정상 기판 내지 제j 1차 정상 기판 각각이 생성될 경우, 상기 1차 정상 기판 이미지는, 상기 제1 1차 정상 기판 내지 상기 제j 1차 정상 기판 각각에 대응되는 제1 1차 정상 기판 이미지 내지 제j 1차 정상 기판 이미지를 포함하는 것을 특징으로 하는 컴퓨팅 장치가 개시된다.
일례로서, 상기 프로세서는, 상기 (2) 프로세스에서, 상기 제1 구역 이미지들 중 적어도 일부 내지 상기 제n 구역 이미지들 중 적어도 일부 각각을 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델에 각각 입력하여 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델 각각으로 하여금 (i) 상기 제1 구역 판별 모델에 대응되어 있는 제1 컨볼루션 레이어 내지 상기 제n 구역 판별 모델에 대응되어 있는 제n 컨볼루션 레이어 각각을 통해 상기 제1 구역 이미지들 내지 상기 제n 구역 이미지들 각각에 적어도 한번의 컨볼루션 연산을 적용하도록 하여 제1 피처맵 내지 제n 피처맵 각각을 생성하도록 하며, (ii) 상기 제1 구역 판별 모델에 대응되어 있는 제1 FC(fully connected) 레이어 내지 상기 제n 구역 판별 모델에 대응되어 있는 제n FC 레이어 각각을 통해 상기 제1 피처맵 내지 상기 제n 피처맵 각각에 FC 연산을 적용하도록 하여 상기 제1 구역 예측 판별 정보들 내지 상기 제n 구역 예측 판별 정보들 각각을 생성하도록 하는 것을 특징으로 하는 컴퓨팅 장치가 개시된다.
본 발명은 머신러닝에 기반하여 회로 기판 이미지를 학습함으로써 회로 기판 불량 여부를 판별하는 효과가 있다.
또한, 본 발명은 학습 데이터를 자동으로 증강함으로써, 회로 기판에 발생할 수 있는 다양한 불량 유형에 대응되는 학습 데이터 또는 다양한 조도 환경 등에 대응되는 학습 데이터를 구축하기 위한 비용을 절감하는 효과가 있다.
또한, 본 발명은 테스트 기판 이미지에 대한 각 구역별 예측 판별 정보를 생성하여 검수자로 하여금 테스트 기판의 어느 위치에서 불량이 발생하였는지 확인할 수 있도록 지원하는 효과가 있다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따른 머신러닝에 기반하여 자동 증강된 회로 기판 이미지를 학습함으로써 회로 기판 불량 여부를 판별하는 컴퓨팅 장치를 개략적으로 도시한 것이며,
도 2a 내지 도 5는 본 발명의 일 실시예에 따른 머신러닝에 기반하여 자동 증강된 회로 기판 이미지를 학습함으로써 회로 기판 불량 여부를 판별하는 방법에 이용되는 각각의 이미지들을 개략적으로 도시한 것이며,
도 6은 본 발명의 일 실시예에 따른 머신러닝에 기반하여 자동 증강된 회로 기판 이미지를 학습함으로써 회로 기판 불량 여부를 판별하는 컴퓨팅 장치가 제1 구역 판별 모델 내지 제n 구역 판별 모델 중 적어도 일부의 파라미터를 업데이트하는 과정을 개략적으로 도시한 것이며,
도 7은 본 발명의 일 실시예에 따른 머신러닝에 기반하여 자동 증강된 회로 기판 이미지를 학습함으로써 회로 기판 불량 여부를 판별하는 컴퓨팅 장치에 의해 학습이 완료된 제1 구역 판별 모델 내지 제n 구역 판별 모델이 테스트 기판 이미지에 대한 제1 테스트 구역 예측 판별 정보 내지 제n 테스트 구역 예측 판별 정보를 생성하는 과정을 개략적으로 도시한 것이며,
도 8은 본 발명의 일 실시예에 따른 머신러닝에 기반하여 자동 증강된 회로 기판 이미지를 학습함으로써 회로 기판 불량 여부를 판별하는 컴퓨팅 장치가 테스트 기판 이미지의 각각의 구역별 기판 상태가 정상인지에 관한 정보를 디스플레이한 결과를 개략적으로 도시한 것이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 머신러닝에 기반하여 자동 증강된 회로 기판 이미지를 학습함으로써 회로 기판 불량 여부를 판별하는 컴퓨팅 장치를 개략적으로 도시한 것이다.
도 1을 참조하면, 컴퓨팅 장치(1000)는 머신러닝에 기반하여 자동 증강된 회로 기판 이미지를 학습함으로써 회로 기판 불량 여부를 판별하기 위한 인스트럭션들을 저장하는 메모리(1001)와 메모리(1001)에 저장된 인스트럭션들에 대응하여 머신러닝에 기반하여 자동 증강된 회로 기판 이미지를 학습함으로써 회로 기판 불량 여부를 판별하는 프로세서(1002)를 포함할 수 있다. 이때, 컴퓨팅 장치(1000)는 PC(Personal Computer), 모바일 컴퓨터, PDA/EDA, 휴대 전화, 스마트폰, 태블릿, IoT 기기 등을 포함할 수 있다. 그리고, 컴퓨팅 장치(1000)는 이에 한정되지 않으며, 유무선 통신 기능을 가진 휴대용 게임기, 디지털 카메라, 개인 내비게이션 등의 모든 디바이스를 포함할 수 있다.
구체적으로, 컴퓨팅 장치(1000)는 전형적으로 컴퓨팅 장치(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨팅 장치의 구성요소들을 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 컴퓨터 소프트웨어(즉, 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 인스트럭션들)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다.
또한, 컴퓨팅 장치의 프로세서는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 컴퓨팅 장치는 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.
그러나, 컴퓨팅 장치가 본 발명을 실시하기 위한 미디엄, 프로세서 및 메모리가 통합된 형태인 integrated 프로세서를 포함하는 경우를 배제하는 것은 아니다.
이상, 본 발명의 일 실시예에 따라 머신러닝에 기반하여 회로 기판 이미지를 학습함으로써 회로 기판 불량 여부를 판별하는 컴퓨팅 장치(1000)의 구성을 설명하였다.
아래에서는, 이와 같이 구성된 컴퓨팅 장치(1000)에 의해 머신러닝에 기반하여 자동 증강된 회로 기판 이미지를 학습함으로써 회로 기판 불량 여부를 판별하는 방법에 대해 설명하겠다.
먼저, (i) 적어도 하나의 1차 정상 기판 이미지에 대응되는 1차 정상 부품 이미지들 및 1차 정상 기판 이미지에 대응되는 1차 정상 납땜 이미지들 각각과 (ii) 1차 정상 기판 이미지로부터 생성된 2차 정상 기판 이미지에 대응되는 2차 정상 부품 이미지들 및 2차 정상 기판 이미지에 대응되는 2차 정상 납땜 이미지들 각각 중 적어도 일부가 소정의 저장 공간에 저장된 상태일 수 있다.
도 2a 내지 도 3을 참조하여 1차 정상 기판 이미지, 2차 정상 기판 이미지, 1차 정상 납땜 이미지들 등에 대해서 구체적으로 설명하기로 한다.
도 2a는 회로 기판의 각각의 위치마다 그에 대응되는 다양한 종류의 부품이 실장되거나 다양한 방식으로 납땜이 이루어진 1차 정상 기판 이미지(200_1)를 개략적으로 도시하고 있다.
이때, 1차 정상 기판 이미지란, 생산이 이루어진 회로 기판을 촬영함으로써 획득되는 이미지일 수 있으며, 후술할 2차 정상 기판 이미지는 1차 정상 기판 이미지를 변환함으로써 생성된 이미지일 수 있다.
이러한 회로 기판은 동일한 설계에 따라 생산된다고 하더라도 복수의 작업자들 간 작업 방식의 차이, 작업 역량의 차이 등이 있을 수 있으므로, 복수의 작업자로부터 생산되는 복수의 회로 기판들 각각에 대응되는 각각의 회로 기판 이미지들은 서로 조금씩 다를 수 있다.
가령, 회로 기판 상의 특정 위치에 특정 캐패시터가 위치하도록 하는 작업이 A 작업자 및 B 작업자 각각에 의해 수행될 경우, 작업자들에 따라 캐패시터 위치 등이 조금씩 다를 수 있으므로, A 작업자로부터 생산되는 회로 기판에 대응되는 회로 기판 이미지 및 B 작업자로부터 생산되는 회로 기판에 대응되는 회로 기판 이미지가 조금 다를 수 있다.
따라서, 회로 기판 불량 여부를 좀 더 정확하게 판별할 수 있도록 하기 위해, 판별 모델들을 학습시키는데 이용되는 1차 정상 기판 이미지를 작업자의 인원수에 대응되도록 획득할 수 있다.
즉, 1차 정상 기판의 부품들 중 특정 부품이 특정 위치에 위치하도록 제1 작업자 내지 제j 작업자 각각에 의해 제1 1차 정상 기판 내지 제j 1차 정상 기판 각각이 생성될 경우, 1차 정상 기판 이미지 중에는, 제1 1차 정상 기판 내지 제j 1차 정상 기판 각각에 대응되는 제1 1차 정상 기판 이미지 내지 제j 1차 정상 기판 이미지가 포함될 수 있다. 이때, j는 1 이상의 정수일 수 있다.
또한, 도 2b는 1차 정상 기판 이미지(200_1) 및 1차 정상 기판 이미지로부터 생성된 2차 정상 기판 이미지(200_2)를 개략적으로 도시하고 있다.
이때, 2차 정상 기판 이미지(200_2)는, 1차 정상 기판 이미지(200_1)를 변환시키는 적어도 하나의 변환 함수가 1차 정상 기판 이미지(200_1)에 적용됨으로써 생성되는 이미지일 수 있다.
구체적으로, 1차 정상 기판 이미지에 적용되는 변환 함수는 (i) 1차 정상 기판 이미지의 밝기를 변환시키는 함수, (ii) 1차 정상 기판 이미지를 특정 각도만큼 회전시키는 함수, (iii) 1차 정상 기판 이미지의 크기를 변환시키는 함수 및 (iv) 1차 정상 기판 이미지에 노이즈를 추가하는 함수 중 어느 하나일 수 있다.
한편, 도 3은 1차 정상 기판 이미지에 대응되는 1차 정상 부품 이미지들(201_1, 202_1, 203_1) 및 1차 정상 납땜 이미지(204_1)를 개략적으로 도시하고 있다.
참고로, 도 3에서는, 편의상 세 종류의 1차 정상 부품 이미지들 및 한 종류의 정상 납땜 이미지를 도시하고 있으나, 이에 한정되는 것은 아니며, 1차 정상 기판 이미지에 존재하는 각각의 정상 부품들 및 각각의 정상 납땜들에 대한 1차 정상 부품 이미지들 및 1차 정상 납땜 이미지들 중 적어도 일부가 소정의 저장 공간에 저장된 상태일 수 있다.
또한, 2차 정상 기판 이미지에 대응되는 2차 정상 부품 이미지들(미도시) 및 2차 정상 납땜 이미지들(미도시)에 대한 설명은, 1차 정상 기판 이미지에 대응되는 1차 정상 부품 이미지들 및 1차 정상 납땜 이미지들에 대한 설명과 유사하므로, 중복되는 설명을 생략하기로 한다.
그리고, 컴퓨팅 장치(1000)는, 1차 정상 기판 이미지 또는 2차 정상 기판 이미지가 획득되면, (i-1) 1차 정상 부품 이미지들 및 2차 정상 부품 이미지들 중 특정 정상 부품 이미지를 참조하여 1차 정상 기판 이미지 또는 2차 정상 기판 이미지의 전체 영역 중 특정 정상 부품 이미지에 대응되는 제1 영역을 판단한 후 제1 영역의 제1_1 이미지를 특정 정상 부품 이미지의 특정 정상 부품이 누락 또는 변경된 상태의 이미지를 나타내는 제1_2 이미지로 대체하는 프로세스 및 (i-2) 1차 정상 납땜 이미지들 및 2차 정상 납땜 이미지들 중 특정 정상 납땜 이미지를 참조하여 1차 정상 기판 이미지 또는 2차 정상 기판 이미지의 전체 영역 중 특정 정상 납땜 이미지에 대응되는 제2 영역을 판단한 후 제2 영역의 제2_1 이미지를 특정 정상 납땜 이미지의 특정 정상 납땜이 누락 또는 변경된 상태의 이미지를 나타내는 제2_2 이미지로 대체하는 프로세스 중 적어도 일부를 수행함으로써, 1차 정상 기판 이미지에 대응되는 적어도 하나의 1차 비정상 기판 이미지 또는 2차 정상 기판 이미지에 대응되는 적어도 하나의 2차 비정상 기판 이미지를 생성할 수 있다.
좀 더 구체적으로 설명하기 위해 도 4a 및 도 4b를 참조하면, 컴퓨팅 장치(1000)는, (i) 1차 정상 부품 이미지들 및 2차 정상 부품 이미지들 중 특정 정상 부품 이미지(201_1)를 참조하여 정상 기판 이미지(200) 즉, 1차 정상 기판 이미지 또는 2차 정상 기판 이미지의 전체 영역 중 특정 정상 부품 이미지(201)에 대응되는 제1 영역을 판단한 후 제1 영역의 제1_1 이미지(411)를 특정 정상 부품 이미지(201)의 특정 정상 부품이 누락 또는 변경된 상태의 이미지를 나타내는 제1_2 이미지(412)로 대체하는 프로세스 및 (ii) 1차 정상 납땜 이미지들 및 2차 정상 납땜 이미지들 중 특정 정상 납땜 이미지(204_2)를 참조하여 정상 기판 이미지(200) 즉, 1차 정상 기판 이미지 또는 2차 정상 기판 이미지의 전체 영역 중 특정 정상 납땜 이미지(204)에 대응되는 제2 영역을 판단한 후 제2 영역의 제2_1 이미지(421)를 특정 정상 납땜 이미지(204)의 특정 정상 납땜이 누락 또는 변경된 상태의 이미지를 나타내는 제2_2 이미지(422)로 대체하는 프로세스 중 적어도 일부를 수행함으로써 비정상 기판 이미지(300) 즉, 1차 비정상 기판 이미지 또는 2차 비정상 기판 이미지를 생성할 수 있다.
참고로, 도 4a 및 도 4b에서는, 정상 기판 이미지(200)로부터 생성된 비정상 기판 이미지(300)가 정상 기판 이미지(200)보다 크기가 큰 것으로 도시되어 있으나, 이는 비정상 기판 이미지가 생성되는 과정에 대한 이해를 돕기 위한 것일 뿐이다. 즉, 정상 기판 이미지로부터 생성되는 비정상 기판 이미지는, 정상 기판 이미지의 크기와 동일한 크기를 가지거나 서로 다른 크기를 가질 수 있다.
한편, 상기에서는 1차 정상 부품 이미지들, 1차 정상 납땜 이미지들, 2차 정상 부품 이미지들 및 2차 정상 납땜 이미지들 중 적어도 일부가 소정의 저장 공간에 저장된 상태인 것으로 설명하였으나, 이에 한정되는 것은 아니며, 다른 이미지들이 소정의 저장 공간에 추가적으로 저장된 상태일 수 있다.
가령, 1차 정상 부품 이미지들 및 2차 정상 부품 이미지들 각각에 대응되는 1차 비정상 부품 이미지들(미도시) 및 2차 비정상 부품 이미지들(미도시) 중 적어도 일부가 소정의 저장 공간에 저장될 수 있으며, 1차 정상 납땜 이미지들 및 2차 정상 납땜 이미지들 각각에 대응되는 1차 비정상 납땜 이미지들(미도시) 및 2차 비정상 납땜 이미지들(미도시) 중 적어도 일부가 소정의 저장 공간에 저장될 수 있다.
이때, 1차 비정상 부품 이미지들 및 2차 비정상 부품 이미지들이란, 각각에 대응되는 1차 정상 부품 이미지들 및 2차 정상 부품 이미지들을 제외한 다른 이미지들을 의미한다.
가령, 1차 정상 부품 이미지가 특정 트랜지스터에 대한 이미지인 경우, 이에 대응되는 1차 비정상 부품 이미지는, 특정 저항기에 대한 이미지이거나 인쇄 회로 기판의 일부 배경 이미지(즉, 특정 트랜지스터가 누락되었음을 나타내기 위한 이미지)일 수 있다.
그리고, 컴퓨팅 장치(1000)는, 1차 정상 기판 이미지 또는 2차 정상 기판 이미지 및 1차 비정상 기판 이미지 또는 2차 비정상 기판 이미지 각각을 제1 넓이 값을 가지는 제1 구역 내지 제n 넓이 값을 가지는 제n 구역으로 각각 구획하여 제1 구역 이미지들 내지 제n 구역 이미지들을 각각 생성할 수 있다. 여기서 n은 2이상의 정수일 수 있다.
도 5는 (i) 1차 정상 기판 이미지 또는 2차 정상 기판 이미지 및 (ii) 1차 비정상 기판 이미지 또는 2차 비정상 기판 이미지 각각을 제1 구역 내지 제48구역으로 각각 구획함으로써 생성된 제1 구역 이미지들 내지 제48 구역 이미지들을 개략적으로 도시하고 있다.
참고로, 도 5는 각각의 구역마다 구역 이미지가 1개씩만 존재하는 것처럼 도시하고 있으나, 각각의 구역마다 복수의 구역 이미지들이 존재할 수 있다.
일례로, 10개의 1차 정상 기판 이미지, 50개의 2차 정상 기판 이미지, 100개의 1차 비정상 기판 이미지 및 200개의 2차 비정상 기판 이미지 각각을 제1 구역 내지 제n 구역으로 각각 구획함으로써, 각각의 구역마다 360개의 구역 이미지들이 각각 생성될 수 있다.
다른 예로, 컴퓨팅 장치(1000)는, (i) 1차 정상 기판 이미지 또는 2차 정상 기판 이미지 및 1차 비정상 기판 이미지 또는 2차 비정상 기판 이미지 각각을 제p 넓이 값을 가지는 구역들로 구획하는 프로세스를 수행한 후, (ii) 1차 정상 기판 이미지 또는 2차 정상 기판 이미지 및 1차 비정상 기판 이미지 또는 2차 비정상 기판 이미지 각각을 직전 프로세스에서의 넓이 값보다 큰 넓이 값을 가지는 구역들로 구획하는 프로세스를 반복하여 수행하되, 1차 정상 기판 이미지 또는 2차 정상 기판 이미지 및 1차 비정상 기판 이미지 또는 2차 비정상 기판 이미지 각각이 더 이상 구획되지 않을 때까지 (ii) 프로세스를 반복하여 수행함으로써 제1 구역 이미지들 내지 제n 구역 이미지들을 각각 생성할 수 있다.
가령, 640*360의 이미지들을 80*60의 넓이 값을 가지는 48개의 구역들로 각각 구획하고, 640*360의 이미지들을 80*60의 넓이 값보다 큰 160*120의 넓이 값을 가지는 12개의 구역들로 각각 구획하고, 640*360의 이미지들을 160*120의 넓이 값보다 큰 320*180의 넓이 값을 가지는 4개의 구역들로 각각 구획할 수 있다. 그리고, 컴퓨팅 장치(1000)는, 이와 같은 구획 과정을 반복하되, 640*360의 이미지들이 더 이상 구획되지 않을 때까지 그리드의 크기를 늘려가는 구획 과정을 반복함으로써, 제1 구역 이미지들 내지 제n 구역 이미지들을 각각 생성할 수 있다.
참고로, 상기에서는, 각 구역들이 중첩되지 않는 방식으로 구획하는 방법을 설명하였으나, 제1 구역 이미지들 내지 제n 구역 이미지들을 생성하는 방식이 이에 한정되는 것은 아니며, 일례로, 각 구역들이 서로 중첩되는 방식으로 구획될 수 있다.
가령, 컴퓨팅 장치(1000)는, 640*360의 이미지들을 80*60의 넓이 값을 가지는 구역으로 구획하되, 80*60의 넓이 값을 가지는 그리드를 20픽셀씩 슬라이딩 하는 방식으로 구획하면, 29*16, 즉 464개의 구역들로 구획할 수 있다. 마찬가지로, 컴퓨팅 장치(1000)는, 640*360의 이미지를 80*60의 넓이 값보다 큰 160*120의 넓이 값을 가지는 구역으로 구획하되, 160*120의 넓이 값을 가지는 그리드를 20픽셀씩 슬라이딩 하는 방식으로 구획하면, 25*13, 즉 325개의 구역들로 구획할 수 있다. 그리고, 컴퓨팅 장치(1000)는, 이와 같은 구획 과정을 반복하되, 640*360의 이미지들이 더 이상 구획되지 않을 때까지 그리드의 크기를 늘려가는 구획 과정을 반복함으로써, 제1 구역 이미지들 내지 제n 구역 이미지들을 각각 생성할 수 있다.
이처럼, 제1 구역 이미지들 내지 제n 구역 이미지들 각각이 생성된 후, 컴퓨팅 장치(1000)가 제1 구역 이미지들 내지 제n 구역 이미지들 각각을 이용하여 제1 구역 판별 모델 내지 제n 구역 판별 모델 중 적어도 일부의 파라미터를 업데이트하는 과정에 대해서 아래에서 설명하기로 한다.
컴퓨팅 장치(1000)는, 제1 구역 이미지들 중 적어도 일부 내지 제n 구역 이미지들 중 적어도 일부 각각을 제1 구역 판별 모델 내지 제n 구역 판별 모델에 각각 입력하여 제1 구역 판별 모델 내지 제n 구역 판별 모델 각각으로 하여금 1차 정상 기판 이미지 또는 2차 정상 기판 이미지 및 1차 비정상 기판 이미지 또는 2차 비정상 기판 이미지 각각의 제1 구역 내지 제n 구역의 기판 상태가 정상일 확률을 각각 나타내는 제1 구역 예측 판별 정보들 내지 제n 구역 예측 판별 정보들 각각을 생성하도록 할 수 있다.
그리고, 컴퓨팅 장치(1000)는, 제1 구역 예측 판별 정보들 내지 제n 구역 예측 판별 정보들 각각 및 이에 대응되는 제1 구역 GT 판별 정보들 내지 제n 구역 GT 판별 정보들 각각을 참조하여 제1 구역 예측 판별 로스들 내지 제n 구역 예측 판별 로스들 각각을 산출하며, 제1 구역 예측 판별 로스들 내지 제n 구역 예측 판별 로스들을 백프로퍼게이션하여 제1 구역 판별 모델 내지 제n 구역 판별 모델 중 적어도 일부의 파라미터를 업데이트할 수 있다.
도 6을 참조하여 좀 더 구체적으로 설명하면, 컴퓨팅 장치(1000)는, 제1 구역 이미지들 중 적어도 일부 내지 제n 구역 이미지들 중 적어도 일부 각각을 제1 구역 판별 모델(1100-1) 내지 제n 구역 판별 모델(1100-n)에 각각 입력하여 제1 구역 판별 모델(1100-1) 내지 제n 구역 판별 모델(1100-n) 각각으로 하여금 (i) 제1 구역 판별 모델(1100-1)에 대응되어 있는 제1 컨볼루션 레이어(1110-1) 내지 제n 구역 판별 모델(1100-n)에 대응되어 있는 제n 컨볼루션 레이어(1110-n) 각각을 통해 제1 구역 이미지들 내지 제n 구역 이미지들 각각에 적어도 한번의 컨볼루션 연산을 적용하도록 하여 제1 피처맵 내지 제n 피처맵 각각을 생성하도록 하며, (ii) 제1 구역 판별 모델(1100-1)에 대응되어 있는 제1 FC(fully connected) 레이어(1120-1) 내지 제n 구역 판별 모델(1100-n)에 대응되어 있는 제n FC 레이어(1120-n) 각각을 통해 제1 피처맵 내지 제n 피처맵 각각에 FC 연산을 적용하도록 하여 제1 구역 예측 판별 정보들 내지 제n 구역 예측 판별 정보들 각각을 생성하도록 할 수 있다.
이때, 제1 구역 판별 모델(1100-1) 내지 제n 구역 판별 모델(1100-n) 각각에는 제1 풀링 레이어 내지 제n 풀링 레이어가 각각 추가로 포함될 수 있다.
즉, 컴퓨팅 장치(1000)는, 제1 구역 이미지들 중 적어도 일부 내지 제n 구역 이미지들 중 적어도 일부 각각을 제1 구역 판별 모델(1100-1) 내지 제n 구역 판별 모델(1100-n)에 각각 입력하여 제1 구역 판별 모델(1100-1) 내지 제n 구역 판별 모델(1100-n) 각각으로 하여금 (i) 제1 구역 판별 모델(1100-1)에 대응되어 있는 제1 컨볼루션 레이어(1110-1) 내지 제n 구역 판별 모델(1100-n)에 대응되어 있는 제n 컨볼루션 레이어(1110-n) 각각을 통해 제1 구역 이미지들 내지 제n 구역 이미지들 각각에 적어도 한번의 컨볼루션 연산을 적용하도록 하여 제1 피처맵 내지 제n 피처맵 각각을 생성하도록 하며, (ii) 제1 구역 판별 모델(1100-1)에 대응되어 있는 제1 풀링 레이어 내지 제n 구역 판별 모델(1100-n)에 대응되어 있는 제n 풀링 레이어 각각을 통해 제1 피처맵 내지 제n 구역 이미지들 각각에 풀링 연산을 적용하도록 하여 제1 pooled 피처맵 내지 제n pooled 피처맵 각각을 생성하도록 하고, (iii) 제1 구역 판별 모델(1100-1)에 대응되어 있는 제1 FC(fully connected) 레이어(1120-1) 내지 제n 구역 판별 모델(1100-n)에 대응되어 있는 제n FC 레이어(1120-n) 각각을 통해 제1 pooled 피처맵 내지 제n pooled 피처맵 각각에 FC 연산을 적용하도록 하여 제1 구역 예측 판별 정보들 내지 제n 구역 예측 판별 정보들 각각을 생성하도록 할 수 있다.
그리고, 컴퓨팅 장치(1000)는, 각각의 이터레이션마다 상기 학습 과정을 반복하여 제1 구역 판별 모델 내지 제n 구역 판별 모델 중 적어도 일부의 파라미터를 업데이트할 수 있다.
이때, 제k 이터레이션에서는, (i) 1차 정상 기판 이미지 및 2차 정상 기판 이미지에 대응되는 제m 구역 정상 이미지들의 개수에 대한, 1차 비정상 기판 이미지 및 2차 비정상 기판 이미지에 대응되는 제m 구역 비정상 이미지들의 개수의 비율을 제m_k 샘플링 비율이라고 할 때, (ii) 제m 구역 이미지들의 제m_k 샘플링 비율에 대한 조건을 만족하는 일부 제m 구역 이미지들을 제m_k 구역 이미지들로 하여, 제m_k 구역 이미지들을 제m 구역 판별 모델에 대한 입력으로 사용하여 제m 구역 판별 모델의 파라미터를 업데이트할 수 있다. 이때, m은 1 이상 n 이하의 정수일 수 있다. 또한, k는 2이상의 정수일 수 있다.
가령, 제k 이터레이션에서, 1차 정상 기판 이미지 및 2차 정상 기판 이미지에 대응되는 제m 구역 정상 이미지들의 개수가 100개이고, 1차 비정상 기판 이미지 및 2차 비정상 기판 이미지에 대응되는 제m 구역 비정상 이미지들의 개수가 80개인 경우, 제m_k 샘플링 비율은 80/100, 즉 0.8에 해당한다.
참고로, 제m 구역 이미지들의 제m_k 샘플링 비율에 대한 조건을 만족한다는 것은, 제m_k 샘플링 비율이 특정 값을 가지거나 특정 범위에 포함되는 값을 가지는 것을 의미할 수 있다.
가령, 제m_k 샘플링 비율에 대한 조건은 제m_k 샘플링 비율이 특정 값인 0.5일 것을 의미하거나, 제m_k 샘플링 비율이 특정 범위인 0.7 이상일 것을 의미할 수 있다.
구체적으로, 컴퓨팅 장치(1000)는, 제k 이터레이션에서, 제m_k 구역 이미지들을 제m 구역 판별 모델에 입력하여 제m 구역 판별 모델로 하여금 제m_k 구역 이미지들의 제m 구역의 기판 상태가 정상일 확률을 각각 나타내는 제m_k 구역 예측 판별 정보들을 생성하도록 하고, 제m_k 구역 예측 판별 정보들 및 이에 대응되는 제m_k 구역 GT 판별 정보들을 참조하여 (i) 제m_k 구역 이미지들 중 제m_k 구역 정상 이미지들에 대한 제m_k 정상 판별 정확도, (ii) 제m_k 구역 이미지들 중 제m_k 구역 비정상 이미지들에 대한 제m_k 비정상 판별 정확도 및 (iii) 제m_k 구역 예측 판별 로스들을 산출할 수 있다.
그리고, 컴퓨팅 장치(1000)는, 제m_k 정상 판별 정확도 및 제m_k 비정상 판별 정확도를 참조하여 제(k+1) 이터레이션에서 사용될 샘플링 비율인 제m_(k+1) 샘플링 비율을 결정하며, 제m_k 구역 예측 판별 로스들을 백프로퍼게이션하여 제m 구역 판별 모델의 파라미터를 업데이트할 수 있다.
구체적으로, 컴퓨팅 장치(1000)는, 제m_k 구역 예측 판별 정보들 및 이에 대응되는 제m_k 구역 GT 판별 정보들을 이용하여, 제m_k 구역 예측 판별 정보들에 대응되는 제m_k 구역 예측 클래스 및 제m_k 구역 GT 판별 정보들에 대응되는 제m_k 구역 GT 클래스 사이의 관계를 나타내는 제m_k 컨퓨젼 매트릭스를 생성하고, 제m_k 컨퓨젼 매트릭스를 참조하여 제m_k 정상 판별 정확도 및 제m_k 비정상 판별 정확도를 산출할 수 있다.
가령, 제m 구역 판별 모델이, 제m_k 구역 이미지들에 포함된 각각의 이미지들이 나타내는 기판 상태가 모두 정상인 것으로 예측하였으나, 실제로 제m_k 구역 이미지들에는 1차 정상 기판 이미지 또는 2차 정상 기판 이미지가 1000개 포함되고, 1차 비정상 기판 이미지 또는 2차 비정상 기판 이미지가 10개 포함되었다고 할 때, 이로부터 생성되는 제m_k 컨퓨젼 매트릭스는 아래와 같다.
m_k 컨퓨젼 매트릭스 Predict
Positive Negative
Actual Positive 1000 0
Negative 10 0
제m_k 컨퓨젼 매트릭스를 참조하면, 제m_k 구역 이미지들에 대한 제m 구역 판별 모델의 전체 정확도는 1000/1010, 즉 0.99이므로 제m 구역 판별 모델의 정확도가 높은 것으로 보일 수 있다. 하지만, 이는, 정상 기판 이미지 및 비정상 기판 이미지의 샘플링 비율이 적절하지 못함에 따라 발생한 결과일 수 있다. 즉, 정상 기판 이미지들에 대한 제m 구역 판별 모델의 정확도는 1000/1000, 즉 1인 반면에, 비정상 기판 이미지들에 대한 제m 구역 판별 모델의 정확도는 0/10, 즉 0이므로, 제m 구역 판별 모델의 비정상 기판 이미지들에 대한 판별 정확도는 매우 낮음을 알 수 있다.
따라서, 컴퓨팅 장치(1000)는, 제m 구역 판별 모델에 입력되는 제m_k 구역 이미지들에 대한 제m_k 정상 판별 정확도 및 제m_k 비정상 판별 정확도를 참조하여 제(k+1) 이터레이션에서 사용될 샘플링 비율인 제m_(k+1) 샘플링 비율을 결정함으로써, 제m 구역 판별 모델에 입력되는 학습 데이터의 불균형 문제를 해소할 수 있게 된다.
일례로, 제k 이터레이션에서, 제1 구역 내지 제n 구역 중, 제1_k 비정상 판별 정확도 내지 제n_k 비정상 판별 정확도 각각이 제1_k 정상 판별 정확도 내지 제n_k 정상 판별 정확도 각각보다 제k 임계치 이상 작은 구역을 각각 제a1_k 구역 내지 제ai_k 구역으로 할 때, 컴퓨팅 장치(1000)는, (i) 제a1_k 구역 내지 제ai_k 구역에 대응되는 샘플링 비율인 제a1_k 샘플링 비율 내지 제ai_k 샘플링 비율을 각각 증가시켜서, 제(k+1) 이터레이션에서 사용될 샘플링 비율인 제a1_(k+1) 샘플링 비율 내지 제ai_(k+1) 샘플링 비율을 결정할 수 있다. 여기서, i는 1이상이며 n이하의 정수일 수 있다.
상기 설명은 샘플링 비율을 증가시키는 경우에 대한 것이나, 샘플링 비율을 감소시키는 경우도 있을 수 있다.
즉, 제1 구역 내지 제n 구역 중, 제1_k 비정상 판별 정확도 내지 제n_k 비정상 판별 정확도 각각이 제1_k 정상 판별 정확도 내지 제n_k 정상 판별 정확도 각각보다 제k2 임계치 이상 큰 구역을 각각 제aj_k 구역 내지 제am_k 구역으로 할 때, 컴퓨팅 장치(1000)는, 제aj_k 구역 내지 제am_k 구역에 대응되는 샘플링 비율인 제aj_k 샘플링 비율 내지 제am_k 샘플링 비율을 각각 감소시켜서, 제(k+1) 이터레이션에서 사용될 샘플링 비율인 제aj_(k+1) 샘플링 비율 내지 제am_(k+1) 샘플링 비율을 결정할 수 있다.
물론, 컴퓨팅 장치(1000)는, 각각의 구역마다 샘플링 비율을 증가시키는 프로세스, 샘플링 비율을 감소시키는 프로세스 및 샘플링 비율을 유지시키는 프로세스를 동시에 수행할 수도 있다.
이처럼, 컴퓨팅 장치(1000)는, 각 이터레이션마다 정상 판별 정확도 및 비정상 판별 정확도를 고려하여 다음 이터레이션에서의 샘플링 비율을 결정함으로써, 제m 구역 판별 모델의 전체 판별 정확도, 정상 판별 정확도 및 비정상 판별 정확도를 모두 향상시킬 수 있다.
지금까지, 제1 구역 판별 모델 내지 제n 구역 판별 모델 중 적어도 일부의 파라미터를 업데이트하는 과정에 대해서 설명하였다.
아래에서는, 컴퓨팅 장치(1000)가, 학습이 완료된 제1 구역 판별 모델 내지 제n 구역 판별 모델을 이용하여 테스트 기판 이미지에 대한 판별 정보를 생성하는 방법에 대해 설명하겠다.
도 7을 참조하면, 제1 구역 판별 모델 내지 제n 구역 판별 모델 각각의 학습이 완료된 상태에서, 테스트 기판 이미지가 획득되면, 컴퓨팅 장치(1000)는, (i) 테스트 기판 이미지를 제1 테스트 구역 내지 제n 테스트 구역으로 구획하여 제1 테스트 구역 이미지 내지 제n 테스트 구역 이미지를 생성한 후, (ii) 제1 테스트 구역 이미지 내지 제n 테스트 구역 이미지 각각을 제1 구역 판별 모델 내지 제n 구역 판별 모델에 각각 입력하여 제1 구역 판별 모델 내지 제n 구역 판별 모델 각각으로 하여금 테스트 기판 이미지의 제1 테스트 구역 내지 제n 테스트 구역의 기판 상태가 정상일 확률을 각각 나타내는 제1 테스트 구역 예측 판별 정보 내지 제n 테스트 구역 예측 판별 정보 각각을 생성하도록 할 수 있다.
그리고, 컴퓨팅 장치(1000)는, 위와 같이 생성된 제1 테스트 구역 예측 판별 정보 내지 제n 테스트 구역 예측 판별 정보 각각을 참조하여 제1 테스트 구역 내지 제n 테스트 구역 각각의 기판 상태가 정상인지에 관한 정보를 테스트 기판 이미지의 제1 테스트 구역 내지 제n 테스트 구역 상에 디스플레이하거나, 검수자 단말로 하여금 제1 테스트 구역 예측 판별 정보 내지 제n 테스트 구역 예측 판별 정보 각각을 참조하도록 하여 제1 테스트 구역 내지 제n 테스트 구역 각각의 기판 상태가 정상인지에 관한 정보를 테스트 기판 이미지의 제1 테스트 구역 내지 제n 테스트 구역 상에 디스플레이하도록 지원할 수 있다.
도 8을 참조하면, 컴퓨팅 장치(1000)는, 제1 테스트 구역 내지 제n 테스트 구역 중 특정 테스트 구역(801, 802)의 기판 상태가 비정상적 상태라는 정보를 디스플레이함으로써, 검수자가 테스트 기판 상에서 어느 구역이 잘못되었는지 간편하게 확인할 수 있다.
또한, 이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (24)

  1. 머신러닝에 기반하여 자동 증강된 회로 기판 이미지를 학습함으로써 회로 기판 불량 여부를 판별하는 방법에 있어서,
    (a) (i) 적어도 하나의 1차 정상 기판 이미지에 대응되는 1차 정상 부품 이미지들 및 상기 1차 정상 기판 이미지에 대응되는 1차 정상 납땜 이미지들 각각과 (ii) 상기 1차 정상 기판 이미지로부터 생성된 2차 정상 기판 이미지에 대응되는 2차 정상 부품 이미지들 및 상기 2차 정상 기판 이미지에 대응되는 2차 정상 납땜 이미지들 각각 중 적어도 일부가 소정의 저장 공간에 저장된 상태에서, 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지가 획득되면, 컴퓨팅 장치가, (i-1) 상기 1차 정상 부품 이미지들 및 상기 2차 정상 부품 이미지들 중 특정 정상 부품 이미지를 참조하여 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지의 전체 영역 중 상기 특정 정상 부품 이미지에 대응되는 제1 영역을 판단한 후 상기 제1 영역의 제1_1 이미지를 상기 특정 정상 부품 이미지의 특정 정상 부품이 누락 또는 변경된 상태의 이미지를 나타내는 제1_2 이미지로 대체하는 프로세스 및 (i-2) 상기 1차 정상 납땜 이미지들 및 상기 2차 정상 납땜 이미지들 중 특정 정상 납땜 이미지를 참조하여 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지의 상기 전체 영역 중 상기 특정 정상 납땜 이미지에 대응되는 제2 영역을 판단한 후 상기 제2 영역의 제2_1 이미지를 상기 특정 정상 납땜 이미지의 특정 정상 납땜이 누락 또는 변경된 상태의 이미지를 나타내는 제2_2 이미지로 대체하는 프로세스 중 적어도 일부를 수행함으로써, 상기 1차 정상 기판 이미지에 대응되는 적어도 하나의 1차 비정상 기판 이미지 또는 상기 2차 정상 기판 이미지에 대응되는 적어도 하나의 2차 비정상 기판 이미지를 생성하고, (ii) 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지 및 상기 1차 비정상 기판 이미지 또는 상기 2차 비정상 기판 이미지 각각을 제1 넓이 값을 가지는 제1 구역 내지 제n 넓이 값을 가지는 제n 구역 - 상기 n은 2이상의 정수임 - 으로 각각 구획하여 제1 구역 이미지들 내지 제n 구역 이미지들을 각각 생성하는 단계; 및
    (b) 상기 컴퓨팅 장치가, 상기 제1 구역 이미지들 중 적어도 일부 내지 상기 제n 구역 이미지들 중 적어도 일부 각각을 제1 구역 판별 모델 내지 제n 구역 판별 모델에 각각 입력하여 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델 각각으로 하여금 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지 및 상기 1차 비정상 기판 이미지 또는 상기 2차 비정상 기판 이미지 각각의 상기 제1 구역 내지 상기 제n 구역의 기판 상태가 정상일 확률을 각각 나타내는 제1 구역 예측 판별 정보들 내지 제n 구역 예측 판별 정보들 각각을 생성하도록 하고, 상기 제1 구역 예측 판별 정보들 내지 상기 제n 구역 예측 판별 정보들 각각 및 이에 대응되는 제1 구역 GT(Ground truth) 판별 정보들 내지 제n 구역 GT 판별 정보들 각각을 참조하여 제1 구역 예측 판별 로스들 내지 제n 구역 예측 판별 로스들 각각을 산출하며, 상기 제1 구역 예측 판별 로스들 내지 상기 제n 구역 예측 판별 로스들을 백프로퍼게이션하여 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델 중 적어도 일부의 파라미터를 업데이트하는 단계;
    를 포함하는 방법.
  2. 제1항에 있어서,
    (c) 상기 컴퓨팅 장치는, 각 이터레이션(iteration)마다 상기 (a) 단계 및 상기 (b) 단계를 반복하여 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델 중 적어도 일부의 상기 파라미터를 업데이트하는 단계를 더 포함하되, 제k 이터레이션 - 상기 k는 2이상의 정수임 - 에서는, (i) 상기 1차 정상 기판 이미지 및 상기 2차 정상 기판 이미지에 대응되는 제m 구역 정상 이미지들 - 상기 m 은 1 이상 n 이하의 정수 - 의 개수에 대한, 상기 1차 비정상 기판 이미지 및 상기 2차 비정상 기판 이미지에 대응되는 제m 구역 비정상 이미지들의 개수의 비율을 제m_k 샘플링 비율이라고 할 때, (ii) 제m 구역 이미지들의 상기 제m_k 샘플링 비율에 대한 조건을 만족하는 일부 제m 구역 이미지들을 제m_k 구역 이미지들로 하여, 상기 제m_k 구역 이미지들을 상기 제m 구역 판별 모델에 대한 입력으로 사용하여 상기 제m 구역 판별 모델의 상기 파라미터를 업데이트하는 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 (c) 단계에서,
    상기 컴퓨팅 장치가, 상기 제m_k 구역 이미지들을 상기 제m 구역 판별 모델에 입력하여 상기 제m 구역 판별 모델로 하여금 상기 제m_k 구역 이미지들의 제m 구역의 기판 상태가 정상일 확률을 각각 나타내는 제m_k 구역 예측 판별 정보들을 생성하도록 하고, 상기 제m_k 구역 예측 판별 정보들 및 이에 대응되는 제m_k 구역 GT 판별 정보들을 참조하여 (i) 상기 제m_k 구역 이미지들 중 제m_k 구역 정상 이미지들에 대한 제m_k 정상 판별 정확도, (ii) 상기 제m_k 구역 이미지들 중 제m_k 구역 비정상 이미지들에 대한 제m_k 비정상 판별 정확도 및 (iii) 제m_k 구역 예측 판별 로스들을 산출하며,
    상기 제m_k 정상 판별 정확도 및 상기 제m_k 비정상 판별 정확도를 참조하여 제(k+1) 이터레이션에서 사용될 샘플링 비율인 제m_(k+1) 샘플링 비율을 결정하고,
    상기 제m_k 구역 예측 판별 로스들을 백프로퍼게이션하여 상기 제m 구역 판별 모델의 상기 파라미터를 업데이트하는 것을 특징으로 하는 방법.
  4. 제3항에 있어서,
    상기 (c) 단계에서,
    상기 컴퓨팅 장치가, 상기 제m_k 구역 예측 판별 정보들 및 이에 대응되는 상기 제m_k 구역 GT 판별 정보들을 이용하여, 상기 제m_k 구역 예측 판별 정보들에 대응되는 제m_k 구역 예측 클래스 및 상기 제m_k 구역 GT 판별 정보들에 대응되는 제m_k 구역 GT 클래스 사이의 관계를 나타내는 제m_k 컨퓨젼 매트릭스를 생성하고, 상기 제m_k 컨퓨젼 매트릭스를 참조하여 상기 제m_k 정상 판별 정확도 및 상기 제m_k 비정상 판별 정확도를 산출하는 것을 특징으로 하는 방법.
  5. 제3항에 있어서,
    상기 (c) 단계에서,
    상기 제k 이터레이션에서는, 상기 제1 구역 내지 상기 제n 구역 중, 상기 제1_k 비정상 판별 정확도 내지 상기 제n_k 비정상 판별 정확도 각각이 상기 제1_k 정상 판별 정확도 내지 상기 제n_k 정상 판별 정확도 각각보다 제k 임계치 이상 작은 구역을 각각 제a1_k 구역 내지 제ai_k 구역 - 상기 i는 1이상이며 n이하의 정수임 - 으로 할 때,
    상기 컴퓨팅 장치는, (i) 상기 제a1_k 구역 내지 상기 제ai_k 구역에 대응되는 샘플링 비율인 제a1_k 샘플링 비율 내지 제ai_k 샘플링 비율을 각각 증가시켜서, 제(k+1) 이터레이션에서 사용될 샘플링 비율인 제a1_(k+1) 샘플링 비율 내지 제ai_(k+1) 샘플링 비율을 결정하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서,
    상기 (a) 단계에서,
    상기 컴퓨팅 장치가, (i) 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지 및 상기 1차 비정상 기판 이미지 또는 상기 2차 비정상 기판 이미지 각각을 제p 넓이 값을 가지는 구역들로 구획하는 프로세스를 수행한 후, (ii) 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지 및 상기 1차 비정상 기판 이미지 또는 상기 2차 비정상 기판 이미지 각각을 직전 프로세스에서의 넓이 값보다 큰 넓이 값을 가지는 구역들로 구획하는 프로세스를 반복하여 수행하되, 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지 및 상기 1차 비정상 기판 이미지 또는 상기 2차 비정상 기판 이미지 각각이 더 이상 구획되지 않을 때까지 상기 (ii) 프로세스를 반복하여 수행함으로써 상기 제1 구역 이미지들 내지 상기 제n 구역 이미지들을 각각 생성하는 것을 특징으로 하는 방법.
  7. 제1항에 있어서,
    (d) 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델 각각의 학습이 완료된 상태에서, 테스트 기판 이미지가 획득되면, 상기 컴퓨팅 장치가, (i) 상기 테스트 기판 이미지를 제1 테스트 구역 내지 제n 테스트 구역으로 구획하여 제1 테스트 구역 이미지 내지 제n 테스트 구역 이미지를 생성한 후, (ii) 상기 제1 테스트 구역 이미지 내지 상기 제n 테스트 구역 이미지 각각을 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델에 각각 입력하여 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델 각각으로 하여금 상기 테스트 기판 이미지의 상기 제1 테스트 구역 내지 상기 제n 테스트 구역의 기판 상태가 정상일 확률을 각각 나타내는 제1 테스트 구역 예측 판별 정보 내지 제n 테스트 구역 예측 판별 정보 각각을 생성하도록 하는 단계;
    를 더 포함하는 것을 특징으로 하는 방법.
  8. 제7항에 있어서,
    상기 (d) 단계에서,
    상기 컴퓨팅 장치가, 상기 제1 테스트 구역 예측 판별 정보 내지 상기 제n 테스트 구역 예측 판별 정보 각각을 참조하여 상기 제1 테스트 구역 내지 상기 제n 테스트 구역 각각의 기판 상태가 정상인지에 관한 정보를 상기 테스트 기판 이미지의 상기 제1 테스트 구역 내지 상기 제n 테스트 구역 상에 디스플레이하거나, 검수자 단말로 하여금 상기 제1 테스트 구역 예측 판별 정보 내지 상기 제n 테스트 구역 예측 판별 정보 각각을 참조하도록 하여 상기 제1 테스트 구역 내지 상기 제n 테스트 구역 각각의 기판 상태가 정상인지에 관한 정보를 상기 테스트 기판 이미지의 상기 제1 테스트 구역 내지 상기 제n 테스트 구역 상에 디스플레이하도록 지원하는 것을 특징으로 하는 방법.
  9. 제1항에 있어서,
    상기 2차 정상 기판 이미지는, 상기 1차 정상 기판 이미지를 변환시키는 적어도 하나의 변환 함수가 상기 1차 정상 기판 이미지에 적용됨으로써 생성되는 것을 특징으로 하는 방법.
  10. 제9항에 있어서,
    상기 변환 함수는 (i) 상기 1차 정상 기판 이미지의 밝기를 변환시키는 함수, (ii) 상기 1차 정상 기판 이미지를 특정 각도만큼 회전시키는 함수, (iii) 상기 1차 정상 기판 이미지의 크기를 변환시키는 함수 및 (iv) 상기 1차 정상 기판 이미지에 노이즈를 추가하는 함수 중 어느 하나인 것을 특징으로 하는 방법.
  11. 제1항에 있어서,
    1차 정상 기판의 부품들 중 특정 부품이 특정 위치에 위치하도록 제1 작업자 내지 제j 작업자 - 상기 j는 1 이상의 정수 - 각각에 의해 제1 1차 정상 기판 내지 제j 1차 정상 기판 각각이 생성될 경우, 상기 1차 정상 기판 이미지는, 상기 제1 1차 정상 기판 내지 상기 제j 1차 정상 기판 각각에 대응되는 제1 1차 정상 기판 이미지 내지 제j 1차 정상 기판 이미지를 포함하는 것을 특징으로 하는 방법.
  12. 제1항에 있어서,
    상기 (b) 단계에서,
    상기 컴퓨팅 장치가, 상기 제1 구역 이미지들 중 적어도 일부 내지 상기 제n 구역 이미지들 중 적어도 일부 각각을 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델에 각각 입력하여 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델 각각으로 하여금 (i) 상기 제1 구역 판별 모델에 대응되어 있는 제1 컨볼루션 레이어 내지 상기 제n 구역 판별 모델에 대응되어 있는 제n 컨볼루션 레이어 각각을 통해 상기 제1 구역 이미지들 내지 상기 제n 구역 이미지들 각각에 적어도 한번의 컨볼루션 연산을 적용하도록 하여 제1 피처맵 내지 제n 피처맵 각각을 생성하도록 하며, (ii) 상기 제1 구역 판별 모델에 대응되어 있는 제1 FC(fully connected) 레이어 내지 상기 제n 구역 판별 모델에 대응되어 있는 제n FC 레이어 각각을 통해 상기 제1 피처맵 내지 상기 제n 피처맵 각각에 FC 연산을 적용하도록 하여 상기 제1 구역 예측 판별 정보들 내지 상기 제n 구역 예측 판별 정보들 각각을 생성하도록 하는 것을 특징으로 하는 방법.
  13. 머신러닝에 기반하여 자동 증강된 회로 기판 이미지를 학습함으로써 회로 기판 불량 여부를 판별하는 컴퓨팅 장치에 있어서,
    인스트럭션들을 저장하는 적어도 하나의 메모리; 및
    상기 인스트럭션들을 실행하기 위해 구성된 적어도 하나의 프로세서를 포함하되,
    상기 프로세서가, (1) (i) 적어도 하나의 1차 정상 기판 이미지에 대응되는 1차 정상 부품 이미지들 및 상기 1차 정상 기판 이미지에 대응되는 1차 정상 납땜 이미지들 각각과 (ii) 상기 1차 정상 기판 이미지로부터 생성된 2차 정상 기판 이미지에 대응되는 2차 정상 부품 이미지들 및 상기 2차 정상 기판 이미지에 대응되는 2차 정상 납땜 이미지들 각각 중 적어도 일부가 소정의 저장 공간에 저장된 상태에서, 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지가 획득되면, (i-1) 상기 1차 정상 부품 이미지들 및 상기 2차 정상 부품 이미지들 중 특정 정상 부품 이미지를 참조하여 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지의 전체 영역 중 상기 특정 정상 부품 이미지에 대응되는 제1 영역을 판단한 후 상기 제1 영역의 제1_1 이미지를 상기 특정 정상 부품 이미지의 특정 정상 부품이 누락 또는 변경된 상태의 이미지를 나타내는 제1_2 이미지로 대체하는 서브 프로세스 및 (i-2) 상기 1차 정상 납땜 이미지들 및 상기 2차 정상 납땜 이미지들 중 특정 정상 납땜 이미지를 참조하여 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지의 상기 전체 영역 중 상기 특정 정상 납땜 이미지에 대응되는 제2 영역을 판단한 후 상기 제2 영역의 제2_1 이미지를 상기 특정 정상 납땜 이미지의 특정 정상 납땜이 누락 또는 변경된 상태의 이미지를 나타내는 제2_2 이미지로 대체하는 서브 프로세스 중 적어도 일부를 수행함으로써, 상기 1차 정상 기판 이미지에 대응되는 적어도 하나의 1차 비정상 기판 이미지 또는 상기 2차 정상 기판 이미지에 대응되는 적어도 하나의 2차 비정상 기판 이미지를 생성하고, (ii) 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지 및 상기 1차 비정상 기판 이미지 또는 상기 2차 비정상 기판 이미지 각각을 제1 넓이 값을 가지는 제1 구역 내지 제n 넓이 값을 가지는 제n 구역 - 상기 n은 2이상의 정수임 - 으로 각각 구획하여 제1 구역 이미지들 내지 제n 구역 이미지들을 각각 생성하는 프로세스; 및 (2) 상기 제1 구역 이미지들 중 적어도 일부 내지 상기 제n 구역 이미지들 중 적어도 일부 각각을 제1 구역 판별 모델 내지 제n 구역 판별 모델에 각각 입력하여 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델 각각으로 하여금 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지 및 상기 1차 비정상 기판 이미지 또는 상기 2차 비정상 기판 이미지 각각의 상기 제1 구역 내지 상기 제n 구역의 기판 상태가 정상일 확률을 각각 나타내는 제1 구역 예측 판별 정보들 내지 제n 구역 예측 판별 정보들 각각을 생성하도록 하고, 상기 제1 구역 예측 판별 정보들 내지 상기 제n 구역 예측 판별 정보들 각각 및 이에 대응되는 제1 구역 GT(Ground truth) 판별 정보들 내지 제n 구역 GT 판별 정보들 각각을 참조하여 제1 구역 예측 판별 로스들 내지 제n 구역 예측 판별 로스들 각각을 산출하며, 상기 제1 구역 예측 판별 로스들 내지 상기 제n 구역 예측 판별 로스들을 백프로퍼게이션하여 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델 중 적어도 일부의 파라미터를 업데이트하는 프로세스를 수행하는 컴퓨팅 장치.
  14. 제13항에 있어서,
    (3) 상기 프로세서는, 각 이터레이션(iteration)마다 상기 (a) 단계 및 상기 (b) 단계를 반복하여 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델 중 적어도 일부의 상기 파라미터를 업데이트하는 프로세스를 더 포함하되, 제k 이터레이션 - 상기 k는 2이상의 정수임 - 에서는, (i) 상기 1차 정상 기판 이미지 및 상기 2차 정상 기판 이미지에 대응되는 제m 구역 정상 이미지들 - 상기 m 은 1 이상 n 이하의 정수 - 의 개수에 대한, 상기 1차 비정상 기판 이미지 및 상기 2차 비정상 기판 이미지에 대응되는 제m 구역 비정상 이미지들의 개수의 비율을 제m_k 샘플링 비율이라고 할 때, (ii) 제m 구역 이미지들의 상기 제m_k 샘플링 비율에 대한 조건을 만족하는 일부 제m 구역 이미지들을 제m_k 구역 이미지들로 하여, 상기 제m_k 구역 이미지들을 상기 제m 구역 판별 모델에 대한 입력으로 사용하여 상기 제m 구역 판별 모델의 상기 파라미터를 업데이트하는 것을 특징으로 하는 컴퓨팅 장치.
  15. 제14항에 있어서,
    상기 프로세서는,
    상기 (3) 프로세스에서,
    상기 제m_k 구역 이미지들을 상기 제m 구역 판별 모델에 입력하여 상기 제m 구역 판별 모델로 하여금 상기 제m_k 구역 이미지들의 제m 구역의 기판 상태가 정상일 확률을 각각 나타내는 제m_k 구역 예측 판별 정보들을 생성하도록 하고, 상기 제m_k 구역 예측 판별 정보들 및 이에 대응되는 제m_k 구역 GT 판별 정보들을 참조하여 (i) 상기 제m_k 구역 이미지들 중 제m_k 구역 정상 이미지들에 대한 제m_k 정상 판별 정확도, (ii) 상기 제m_k 구역 이미지들 중 제m_k 구역 비정상 이미지들에 대한 제m_k 비정상 판별 정확도 및 (iii) 제m_k 구역 예측 판별 로스들을 산출하며,
    상기 제m_k 정상 판별 정확도 및 상기 제m_k 비정상 판별 정확도를 참조하여 제(k+1) 이터레이션에서 사용될 샘플링 비율인 제m_(k+1) 샘플링 비율을 결정하고,
    상기 제m_k 구역 예측 판별 로스들을 백프로퍼게이션하여 상기 제m 구역 판별 모델의 상기 파라미터를 업데이트하는 것을 특징으로 하는 컴퓨팅 장치.
  16. 제15항에 있어서,
    상기 프로세서는,
    상기 (3) 프로세스에서,
    상기 제m_k 구역 예측 판별 정보들 및 이에 대응되는 상기 제m_k 구역 GT 판별 정보들을 이용하여, 상기 제m_k 구역 예측 판별 정보들에 대응되는 제m_k 구역 예측 클래스 및 상기 제m_k 구역 GT 판별 정보들에 대응되는 제m_k 구역 GT 클래스 사이의 관계를 나타내는 제m_k 컨퓨젼 매트릭스를 생성하고, 상기 제m_k 컨퓨젼 매트릭스를 참조하여 상기 제m_k 정상 판별 정확도 및 상기 제m_k 비정상 판별 정확도를 산출하는 것을 특징으로 하는 컴퓨팅 장치.
  17. 제15항에 있어서,
    상기 프로세서는,
    상기 (3) 프로세스에서,
    상기 제k 이터레이션에서는, 상기 제1 구역 내지 상기 제n 구역 중, 상기 제1_k 비정상 판별 정확도 내지 상기 제n_k 비정상 판별 정확도 각각이 상기 제1_k 정상 판별 정확도 내지 상기 제n_k 정상 판별 정확도 각각보다 제k 임계치 이상 작은 구역을 각각 제a1_k 구역 내지 제ai_k 구역 - 상기 i는 1이상이며 n이하의 정수임 - 으로 할 때,
    (i) 상기 제a1_k 구역 내지 상기 제ai_k 구역에 대응되는 샘플링 비율인 제a1_k 샘플링 비율 내지 제ai_k 샘플링 비율을 각각 증가시켜서, 제(k+1) 이터레이션에서 사용될 샘플링 비율인 제a1_(k+1) 샘플링 비율 내지 제ai_(k+1) 샘플링 비율을 결정하는 것을 특징으로 하는 컴퓨팅 장치.
  18. 제13항에 있어서,
    상기 프로세서는,
    상기 (1) 프로세스에서,
    (i) 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지 및 상기 1차 비정상 기판 이미지 또는 상기 2차 비정상 기판 이미지 각각을 제p 넓이 값을 가지는 구역들로 구획하는 서브 프로세스를 수행한 후, (ii) 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지 및 상기 1차 비정상 기판 이미지 또는 상기 2차 비정상 기판 이미지 각각을 직전 서브 프로세스에서의 넓이 값보다 큰 넓이 값을 가지는 구역들로 구획하는 서브 프로세스를 반복하여 수행하되, 상기 1차 정상 기판 이미지 또는 상기 2차 정상 기판 이미지 및 상기 1차 비정상 기판 이미지 또는 상기 2차 비정상 기판 이미지 각각이 더 이상 구획되지 않을 때까지 상기 (ii) 서브 프로세스를 반복하여 수행함으로써 상기 제1 구역 이미지들 내지 상기 제n 구역 이미지들을 각각 생성하는 것을 특징으로 하는 컴퓨팅 장치.
  19. 제13항에 있어서,
    (4) 상기 프로세서는, 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델 각각의 학습이 완료된 상태에서, 테스트 기판 이미지가 획득되면, (i) 상기 테스트 기판 이미지를 제1 테스트 구역 내지 제n 테스트 구역으로 구획하여 제1 테스트 구역 이미지 내지 제n 테스트 구역 이미지를 생성한 후, (ii) 상기 제1 테스트 구역 이미지 내지 상기 제n 테스트 구역 이미지 각각을 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델에 각각 입력하여 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델 각각으로 하여금 상기 테스트 기판 이미지의 상기 제1 테스트 구역 내지 상기 제n 테스트 구역의 기판 상태가 정상일 확률을 각각 나타내는 제1 테스트 구역 예측 판별 정보 내지 제n 테스트 구역 예측 판별 정보 각각을 생성하도록 하는 프로세스를 더 포함하는 것을 특징으로 하는 컴퓨팅 장치.
  20. 제19항에 있어서,
    상기 프로세서는,
    상기 (4) 프로세스에서,
    상기 제1 테스트 구역 예측 판별 정보 내지 상기 제n 테스트 구역 예측 판별 정보 각각을 참조하여 상기 제1 테스트 구역 내지 상기 제n 테스트 구역 각각의 기판 상태가 정상인지에 관한 정보를 상기 테스트 기판 이미지의 상기 제1 테스트 구역 내지 상기 제n 테스트 구역 상에 디스플레이하거나, 검수자 단말로 하여금 상기 제1 테스트 구역 예측 판별 정보 내지 상기 제n 테스트 구역 예측 판별 정보 각각을 참조하도록 하여 상기 제1 테스트 구역 내지 상기 제n 테스트 구역 각각의 기판 상태가 정상인지에 관한 정보를 상기 테스트 기판 이미지의 상기 제1 테스트 구역 내지 상기 제n 테스트 구역 상에 디스플레이하도록 지원하는 것을 특징으로 하는 컴퓨팅 장치.
  21. 제13항에 있어서,
    상기 2차 정상 기판 이미지는, 상기 1차 정상 기판 이미지를 변환시키는 적어도 하나의 변환 함수가 상기 1차 정상 기판 이미지에 적용됨으로써 생성되는 것을 특징으로 하는 컴퓨팅 장치.
  22. 제21항에 있어서,
    상기 변환 함수는 (i) 상기 1차 정상 기판 이미지의 밝기를 변환시키는 함수, (ii) 상기 1차 정상 기판 이미지를 특정 각도만큼 회전시키는 함수, (iii) 상기 1차 정상 기판 이미지의 크기를 변환시키는 함수 및 (iv) 상기 1차 정상 기판 이미지에 노이즈를 추가하는 함수 중 어느 하나인 것을 특징으로 하는 컴퓨팅 장치.
  23. 제13항에 있어서,
    1차 정상 기판의 부품들 중 특정 부품이 특정 위치에 위치하도록 제1 작업자 내지 제j 작업자 - 상기 j는 1 이상의 정수 - 각각에 의해 제1 1차 정상 기판 내지 제j 1차 정상 기판 각각이 생성될 경우, 상기 1차 정상 기판 이미지는, 상기 제1 1차 정상 기판 내지 상기 제j 1차 정상 기판 각각에 대응되는 제1 1차 정상 기판 이미지 내지 제j 1차 정상 기판 이미지를 포함하는 것을 특징으로 하는 컴퓨팅 장치.
  24. 제13항에 있어서,
    상기 프로세서는,
    상기 (2) 프로세스에서,
    상기 제1 구역 이미지들 중 적어도 일부 내지 상기 제n 구역 이미지들 중 적어도 일부 각각을 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델에 각각 입력하여 상기 제1 구역 판별 모델 내지 상기 제n 구역 판별 모델 각각으로 하여금 (i) 상기 제1 구역 판별 모델에 대응되어 있는 제1 컨볼루션 레이어 내지 상기 제n 구역 판별 모델에 대응되어 있는 제n 컨볼루션 레이어 각각을 통해 상기 제1 구역 이미지들 내지 상기 제n 구역 이미지들 각각에 적어도 한번의 컨볼루션 연산을 적용하도록 하여 제1 피처맵 내지 제n 피처맵 각각을 생성하도록 하며, (ii) 상기 제1 구역 판별 모델에 대응되어 있는 제1 FC(fully connected) 레이어 내지 상기 제n 구역 판별 모델에 대응되어 있는 제n FC 레이어 각각을 통해 상기 제1 피처맵 내지 상기 제n 피처맵 각각에 FC 연산을 적용하도록 하여 상기 제1 구역 예측 판별 정보들 내지 상기 제n 구역 예측 판별 정보들 각각을 생성하도록 하는 것을 특징으로 하는 컴퓨팅 장치.
KR1020210039110A 2021-03-25 2021-03-25 머신러닝에 기반하여 자동 증강된 회로 기판 이미지를 학습함으로써 회로 기판 불량 여부를 판별하는 방법 및 이를 이용한 컴퓨팅 장치 KR102366032B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210039110A KR102366032B1 (ko) 2021-03-25 2021-03-25 머신러닝에 기반하여 자동 증강된 회로 기판 이미지를 학습함으로써 회로 기판 불량 여부를 판별하는 방법 및 이를 이용한 컴퓨팅 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210039110A KR102366032B1 (ko) 2021-03-25 2021-03-25 머신러닝에 기반하여 자동 증강된 회로 기판 이미지를 학습함으로써 회로 기판 불량 여부를 판별하는 방법 및 이를 이용한 컴퓨팅 장치

Publications (1)

Publication Number Publication Date
KR102366032B1 true KR102366032B1 (ko) 2022-02-23

Family

ID=80495412

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210039110A KR102366032B1 (ko) 2021-03-25 2021-03-25 머신러닝에 기반하여 자동 증강된 회로 기판 이미지를 학습함으로써 회로 기판 불량 여부를 판별하는 방법 및 이를 이용한 컴퓨팅 장치

Country Status (1)

Country Link
KR (1) KR102366032B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117309603A (zh) * 2023-11-28 2023-12-29 天津信天电子科技有限公司 电路板贴片焊点强度检测方法、装置、设备和介质
CN117405703A (zh) * 2023-10-24 2024-01-16 湖北东禾电子科技有限公司 一种基于图像识别的pcba线路板焊点检测系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160139207A (ko) * 2015-05-27 2016-12-07 한화테크윈 주식회사 기판의 결함 검사 방법
KR20190081708A (ko) * 2017-12-29 2019-07-09 주식회사 비스텔 뉴럴 네트워크 모델 기반의 웨이퍼 불량 패턴 인식 방법 및 이를 위한 컴퓨터 프로그램
JP2019124591A (ja) * 2018-01-17 2019-07-25 東京エレクトロン株式会社 基板の欠陥検査装置、基板の欠陥検査方法及び記憶媒体
KR20190105093A (ko) * 2017-02-13 2019-09-11 주식회사 고영테크놀러지 인쇄 회로 기판에 실장된 부품을 검사하는 장치, 그 동작 방법 및 컴퓨터 판독 가능한 기록 매체
KR20200093559A (ko) * 2019-01-22 2020-08-05 주식회사 고영테크놀러지 기판 검사 장치 및 스크린 프린터의 결함 유형 결정 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160139207A (ko) * 2015-05-27 2016-12-07 한화테크윈 주식회사 기판의 결함 검사 방법
KR20190105093A (ko) * 2017-02-13 2019-09-11 주식회사 고영테크놀러지 인쇄 회로 기판에 실장된 부품을 검사하는 장치, 그 동작 방법 및 컴퓨터 판독 가능한 기록 매체
KR20190081708A (ko) * 2017-12-29 2019-07-09 주식회사 비스텔 뉴럴 네트워크 모델 기반의 웨이퍼 불량 패턴 인식 방법 및 이를 위한 컴퓨터 프로그램
JP2019124591A (ja) * 2018-01-17 2019-07-25 東京エレクトロン株式会社 基板の欠陥検査装置、基板の欠陥検査方法及び記憶媒体
KR20200093559A (ko) * 2019-01-22 2020-08-05 주식회사 고영테크놀러지 기판 검사 장치 및 스크린 프린터의 결함 유형 결정 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117405703A (zh) * 2023-10-24 2024-01-16 湖北东禾电子科技有限公司 一种基于图像识别的pcba线路板焊点检测系统
CN117309603A (zh) * 2023-11-28 2023-12-29 天津信天电子科技有限公司 电路板贴片焊点强度检测方法、装置、设备和介质
CN117309603B (zh) * 2023-11-28 2024-02-13 天津信天电子科技有限公司 电路板贴片焊点强度检测方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
KR102366032B1 (ko) 머신러닝에 기반하여 자동 증강된 회로 기판 이미지를 학습함으로써 회로 기판 불량 여부를 판별하는 방법 및 이를 이용한 컴퓨팅 장치
US9292650B2 (en) Identifying layout pattern candidates
US11756224B2 (en) Circle center detection in imagery
US11423650B2 (en) Visual positioning method and apparatus, and computer-readable storage medium
US20220155338A1 (en) Method for testing sensing effect, moving apparatus, electronic device, storage medium, and system for testing sensing effect
CN111415300A (zh) 一种用于全景图像的拼接方法和系统
CN108269220A (zh) 定位数字水印的方法及装置
CN111966925B (zh) 楼栋兴趣点判重方法、装置、电子设备和存储介质
CN116090808A (zh) 一种rpa断点重建方法、装置、电子设备和介质
CN112183627A (zh) 生成预测密度图网络的方法和车辆年检标数量检测方法
CN113516697B (zh) 图像配准的方法、装置、电子设备及计算机可读存储介质
CN113538376B (zh) 存储阵列的缺陷定位方法、装置、设备及可读存储介质
CN109710264B (zh) Gerber文件转化方法、系统、设备及存储介质
CN114611452A (zh) 基于电路原理图在版图中自动生成Sub Cell的方法
CN112862017B (zh) 点云数据的标注方法、装置、设备和介质
CN115359308A (zh) 模型训练、难例识别方法、装置、设备、存储介质及程序
CN114202648A (zh) 文本图像矫正方法、训练方法、装置、电子设备以及介质
CN112818632B (zh) 芯片的图形密度的分析方法、装置及电子设备
CN111259620B (zh) 一种检查pcb中盲埋孔的方法、系统、设备以及介质
US10176288B1 (en) System and method for placing components in an electronic circuit design
US20230048643A1 (en) High-Precision Map Construction Method, Apparatus and Electronic Device
CN115457202A (zh) 一种三维模型更新的方法、装置及存储介质
CN114925153A (zh) 基于业务的地理信息数据质量检测方法、装置和设备
CN115619698A (zh) 电路板缺陷的检测方法、装置及模型训练方法
CN113420604A (zh) 多人姿态估计方法、装置和电子设备

Legal Events

Date Code Title Description
GRNT Written decision to grant