KR102498322B1 - 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치 및 방법 - Google Patents

딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치 및 방법 Download PDF

Info

Publication number
KR102498322B1
KR102498322B1 KR1020200108828A KR20200108828A KR102498322B1 KR 102498322 B1 KR102498322 B1 KR 102498322B1 KR 1020200108828 A KR1020200108828 A KR 1020200108828A KR 20200108828 A KR20200108828 A KR 20200108828A KR 102498322 B1 KR102498322 B1 KR 102498322B1
Authority
KR
South Korea
Prior art keywords
deep learning
classification
classifying
data
image
Prior art date
Application number
KR1020200108828A
Other languages
English (en)
Other versions
KR20220027674A (ko
Inventor
최상일
김현일
Original Assignee
단국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 단국대학교 산학협력단 filed Critical 단국대학교 산학협력단
Priority to KR1020200108828A priority Critical patent/KR102498322B1/ko
Publication of KR20220027674A publication Critical patent/KR20220027674A/ko
Application granted granted Critical
Publication of KR102498322B1 publication Critical patent/KR102498322B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67242—Apparatus for monitoring, sorting or marking
    • H01L21/67271—Sorting devices
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/673—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere using specially adapted carriers or holders; Fixing the workpieces on such carriers or holders
    • H01L21/67333—Trays for chips
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

본 발명은 영상 분류(image classification) 단계에서의 영상 정렬(image alignment) 정확도를 높여 만족하는 최종 분류율(classification rate)을 갖도록 한 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치 및 방법에 관한 것으로, 트레이 영상으로부터 개별 디바이스의 영역을 찾아내어 해당 부분을 분할 및 정렬하는 개별 디바이스 분할 및 정렬부;디바이스 상태 분류를 위하여 GAN(Generative Adverserial Network)을 이용하여 데이터를 증강(data augmentation) 처리하는 데이터 증강 처리부;딥러닝 네트워크를 이용하여 정상(normal) 또는 결함(defect) 디바이스를 구분하는 다바이스 구분 처리부;다 단계 구조의 분류기(cascade classifier)를 이용하여 결함 디바이스의 에러 유형별 분류를 하는 다단계 분류부;복수의 단계(stage)를 통해 결함(negative) 후보들을 제거하고, 현재 단계에서는 이전 단계에서의 오검출(false positive) 결과를 결함 샘플 집합에 포함(Boosting)시키는 결함 유형별 분류부;현재 단계에서의 오검출 결과들로 새롭게 학습하여 단계가 진행될수록 오 검출율을 줄여 가는 방식을 적용하는 부스팅 적용 학습 처리부;를 포함하는 것이다.

Description

딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치 및 방법{Apparatus and Method for Classifying States of Semiconductor Device based on Deep Learning}
본 발명은 반도체 제조 공정 및 결함 탐지에 관한 것으로, 구체적으로 영상 분류(image classification) 단계에서의 영상 정렬(image alignment) 정확도를 높여 만족하는 최종 분류율(classification rate)을 갖도록 한 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치 및 방법에 관한 것이다.
일반적으로 반도체 제조 및 검사를 위하여 웨이퍼, 칩 등의 자재 이미지로부터 모양, 위치, 방향, 오류 등과 같은 정보를 추출하기 위한 비전 검사 시스템이 사용되고 있다.
비전 검사 시스템은 이미지를 획득하기 위해 카메라와 조명을 포함하고 있으며, 엑스레이(x-ray)나 전자빔과 같은 장치를 포함할 수 있다.
비전 검사 시스템은 일반적으로 참조 이미지로 저장된 템플릿을 기반으로 입력 이미지와 비교하여 이미지의 정보를 추출하거나 오류를 검출하는 것이다.
그러나 이와 같은 영상 처리에 기반한 비전 검사 시스템은 정확성에 한계가 있다.
특히, 템플릿 참조 이미지 기반의 비전 검사 시스템은 사용자에 의해 등록된 템플릿에만 의존하기 때문에, 이미지의 변화에 강인한 특징 정보의 추출 및 오류 검사를 수행하기 위해서는 반도체 검사 장비의 특성에 따라 발생할 수 있는 모든 경우에 대한 템플릿을 추가로 등록할 필요가 있다.
이러한 비전 검사 시스템의 문제들을 극복하기 위해 최근 딥러닝(deep learning)에 기반한 비전 검사 시스템이 제안되고 있고, 딥러닝 알고리즘의 비약적인 발전으로 인하여 딥러닝 기반의 비전 검사 시스템은 사람의 육안을 뛰어넘는 인식 및 검출 기능을 수행할 수 있게 되었다.
한편, 비전 검사 시스템의 성능을 높이기 위해서 카메라 등의 영상 획득 장치의 물리적 위치뿐만 아니라 초점거리, 조리개, 렌즈 배율, 조도 등의 제어 요소들에 대한 초기값 설정이 중요하다. 일부 제어 요소들에 대해서는 오토 포커싱, 오토 캘리브레이션과 같은 자동으로 설정값을 결정하는 방법들이 제시되고 있다.
하지만, 실제 공정 라인에 비전 검사 시스템을 설치하는 경우 일반적으로 작업자가 육안으로 확인하거나 장비를 시험 가동하여 얻은 결과 등 수작업에 기반한 미세조정이 요구되는 실정이다.
또한, 반도체 검사 장비의 수가 수십, 수백 대에 이르는 경우 장비마다 일일이 이러한 조정 작업이 수행되어야 하고, 자재의 변경, 반도체 검사 장비의 진동으로 인한 영상 획득 장치의 물리적 위치의 변화 또는 영상 획득 장치의 노후화에 따른 획득 이미지 상태의 변화로 인하여 반복적인 조정 작업이 수행되어야 하기 때문에 많은 인력과 시간이 소요되는 문제가 있다.
그러나 종래 기술의 반도체 디바이스 검사 시스템에서는 이러한 반복적인 조정 작업을 수행하여도 영상 분류(image classification) 단계에서의 영상 정렬(image alignment) 정확도가 일정 수준 확보되지 않으면 최종 분류율(classification rate)에 큰 영향을 주는 문제가 있다.
따라서, 트레이 영상으로부터 개별 디바이스의 영역을 찾아내어 해당 부분을 정확히 분할하는 방법에 관한 새로운 기술의 개발이 요구되고 있다.
대한민국 공개특허 제10-2019-0048203호 대한민국 등록특허 제10-1991415호 대한민국 공개특허 제10-2019-0067439호
본 발명은 종래 기술의 반도체 제조 공정 및 결함 탐지 기술의 문제점을 해결하기 위한 것으로, 영상 분류(image classification) 단계에서의 영상 정렬(image alignment) 정확도를 높여 만족하는 최종 분류율(classification rate)을 갖도록 한 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 트레이 영상으로부터 개별 디바이스의 영역을 찾아내어 해당 부분을 정확히 분할하는 것에 의해 디바이스 결함 검출 정확도를 높일 수 있도록 한 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 허프 변환(hough transform)을 이용한 영상 내 직선 검출 기법을 이용하여 직사각형 모양의 디바이스 경계를 검출하고, 검출된 직선들의 평균 위치를 바탕으로 트레이의 그리드 간격을 추정하는 것에 의해 효율적인 반도체 디바이스 상태 분류가 가능하도록 한 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 검출된 칩들의 위치를 기준으로 평균적인 디바이스의 간격을 계산하여 트레이의 그리드(grid) 구조를 검출하고, 트레이에서 그리드를 특정 지을 수 있는 기준 점을 정의하고, 타겟 검출 결과를 기준으로 트레이의 그리드 구조를 검출하여 영상 분류(image classification) 단계에서의 효율적인 영상 정렬(image alignment)이 가능하도록 한 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 딥러닝 기반의 생성 모델인 GAN(Generative Adverserial Network)을 이용하여 데이터를 증강(data augmentation)하는 것에 의해 네트워크 학습에 적합한 충분한 데이터셋을 확보하여 딥러닝 네트워크의 성능을 향상시킬 수 있도록 한 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 다수의 단계(stage)를 통해 결함(negative) 후보들을 제거하고, 현재 단계에서는 이전 단계에서의 오검출(false positive) 결과를 결함 샘플 집합에 포함(Boosting)하여, 현재 단계에서의 오검출 결과들로 새롭게 학습(또는 새로운 분류기 설계)하여 단계가 진행될수록 오검출 율을 줄여 가는 방식으로 결함 검출 효율성을 높일 수 있도록 한 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 저연산 딥러닝 기법(ex MobileNet)을 적용하여 저사양 하드웨어 시스템에서 효과적으로 동작할 수 있는 딥러닝 네트워크를 설계 가능하도록 한 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치는 트레이 영상으로부터 개별 디바이스의 영역을 찾아내어 해당 부분을 분할 및 정렬하는 개별 디바이스 분할 및 정렬부;디바이스 상태 분류를 위하여 GAN(Generative Adverserial Network)을 이용하여 데이터를 증강(data augmentation) 처리하는 데이터 증강 처리부;딥러닝 네트워크를 이용하여 정상(normal) 또는 결함(defect) 디바이스를 구분하는 디바이스 구분 처리부;다 단계 구조의 분류기(cascade classifier)를 이용하여 결함 디바이스의 에러 유형별 분류를 하는 다단계 분류부;복수의 단계(stage)를 통해 결함(negative) 후보들을 제거하고, 현재 단계에서는 이전 단계에서의 오검출(false positive) 결과를 결함 샘플 집합에 포함(Boosting)시키는 결함 유형별 분류부;현재 단계에서의 오검출 결과들로 새롭게 학습하여 단계가 진행될수록 오 검출율을 줄여 가는 방식을 적용하는 부스팅 적용 학습 처리부;를 포함하는 것을 특징으로 한다.
여기서, 상기 개별 디바이스 분할 및 정렬부는, 허프 변환(hough transform)을 이용한 영상 내 직선 검출 및 딥러닝 네트워크(deep learning network)를 이용하여 트레이 내에서의 영상 정렬을 위한 기준 점(reference point) 검출을 하는 것을 특징으로 한다.
그리고 상기 개별 디바이스 분할 및 정렬부는, 허프 변환(hough transform)을 이용한 영상 내 직선 검출을 이용하여 직사각형 모양의 디바이스 경계를 검출하고, 검출된 직선들의 평균 위치를 바탕으로 트레이의 그리드 간격을 추정하는 것을 특징으로 한다.
그리고 X-Y domain으로 표현되는 2차원 영상에서의 윤곽선 샘플들을 ρ-θ domain으로 옮겨 클러스터링에 의해 직선을 찾는 것을 특징으로 한다.
그리고 영상 정렬을 위한 기준 점(reference point) 검출은, 인코더의 역할을 하는 압축 경로(contracting path)와 디코더의 역할을 하는 확장 경로(expanding path)로 이루어지는 딥러닝(deep learning) 분할 기법(U net)을 이용하고, 손실되는 원본 영상의 공간 해상도(spatial resolution)를 압축 경로의 각 층(layer)의 특징과 확장 경로에서 대응하는 층의 특징을 이어 붙이는(concatenation) 연결을 통해 에지(edge) 정보들의 복원 성능을 향상시키는 것을 특징으로 한다.
그리고 상기 디바이스 구분 처리부는, Two-class 분류(binary classification) 또는 One-class 분류 방법으로 정상(normal) 또는 결함(defect) 디바이스 구분을 하는 것을 특징으로 한다.
그리고 상기 디바이스 구분 처리부는 정상(normal) 또는 결함(defect) 디바이스 구분을 위하여, 합성곱신경망(convolutional neural network, CNN)을 이용하여 분류를 수행하고, 클래스 간의 거리를 최대한 늘리고 정상과 결함이라는 라벨을 통해 학습을 하거나, 오토인코더(auto-encoder)로 정상 데이터를 학습한 후, 정상데이터와 결함데이터의 복원 영상에 대한 L1, L2 거리(Distance)를 이용하여 분류(binary classification)를 진행하고, 데이터의 latent space를 학습하거나, SNN(Siamese Neural Network)를 이용하여 정상 데이터와 결함 데이터 간의 유사성을 측정을 하는 것을 특징으로 한다.
그리고 SNN(Siamese Neural Network)를 이용하는 방법에서, 정상과 결함 데이터를 동시에 입력으로 받아, 두 데이터 간의 유사성을 학습하고, 입력받은 이미지들로부터 클래스 내 분산을 측정하는 ‘compactness loss’와 클래스 간 분산을 측정하는 ‘descriptiveness loss’를 사용하는 것을 특징으로 한다.
그리고 상기 다단계 분류부는, Empty, Normal, Flip, Leave, 기타 errors 항목을 포함하는 안착 상태 분류 및, Scratch, 오염, 이물, Crack, Chip Out, Double 항목을 포함하는 외관 검사 분류를 하는 것을 특징으로 한다.
그리고 CNN을 이용하여 안착 상태의 다중 분류 수행하고, 다중 클래스 간의 거리를 최대한 늘리면서 디바이스의 유형에 따른 라벨을 통해 학습하고, 합성곱 네트워크를 사용하며 완전연결층(fully connected layer)에서 활성화 함수와 출력 라벨을 변형하여 재학습하는 것을 특징으로 한다.
그리고 외관 검사 분류를 위하여, 특징피라미드(feature pyramid) 계열의 분할(segmentation) 네트워크를 이용하여 외관의 이상 검사를 수행하고, 특징피라미드는 크기에 강인함(scale invariant)을 목표로 하며, 각 Feature Map에서는 서로 다른 크기의 외관의 이상들만 검출하도록 학습이 진행되는 것을 특징으로 한다.
그리고 상기 데이터 증강 처리부는, 생성자(generator)와 판별자(discriminator)의 두 네트워크 간 경쟁을 통해 학습하면서, 생성자가 원래의 데이터셋과 닮은 데이터를 생성해 낼 수 있도록 데이터 분포를 학습하며 생성된 데이터의 smoothness나 continuity도 제어 가능한 네트워크 구조인 GAN(Generative Adversarial Network)를 이용하여, 실제 데이터와 유사한 가상의(virtual) 디바이스 영상들을 생성하여 데이터 증강을 하는 것을 특징으로 한다.
다른 목적을 달성하기 위한 본 발명에 따른 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 방법은 트레이 영상으로부터 개별 디바이스의 영역을 찾아내어 해당 부분을 분할 및 정렬하는 단계;딥러닝 기반의 생성 모델인 GAN(Generative Adverserial Network)을 이용하여 데이터를 증강(data augmentation) 처리를 하는 단계;딥러닝 네트워크를 이용하여 정상(normal) 또는 결함(defect) 디바이스 구분을 하고, 다 단계 구조의 분류기(cascade classifier)를 이용하여 결함 디바이스의 에러 유형별 분류를 하는 단계;복수의 단계(stage)를 통해 결함(negative) 후보들을 제거하고, 현재 단계에서는 이전 단계에서의 오검출(false positive) 결과를 결함 샘플 집합에 포함(Boosting)시키고, 현재 단계에서의 오검출 결과들로 새롭게 학습하여 단계가 진행될수록 오 검출율을 줄여 가는 방식을 적용하는 단계;를 포함하는 것을 특징으로 한다.
여기서, 분할 및 정렬하는 단계에서, 트레이 영상으로부터 개별 디바이스의 영역을 찾아내어 해당 부분을 정확히 분할하기 위하여, 허프 변환(hough transform)을 이용한 영상 내 직선 검출을 하는 단계와,딥러닝 네트워크(deep learning network)를 이용하여 트레이 내에서의 영상 정렬을 위한 기준 점(reference point) 검출을 하는 단계를 포함하는 것을 특징으로 한다.
그리고 허프 변환(hough transform)을 이용한 영상 내 직선 검출을 이용하여 직사각형 모양의 디바이스 경계를 검출하고, 검출된 직선들의 평균 위치를 바탕으로 트레이의 그리드 간격을 추정하는 것을 특징으로 한다.
그리고 X-Y domain으로 표현되는 2차원 영상에서의 윤곽선 샘플들을 ρ-θ domain으로 옮겨 클러스터링에 의해 직선을 찾는 것을 특징으로 한다.
그리고 영상 정렬을 위한 기준 점(reference point) 검출은, 인코더의 역할을 하는 압축 경로(contracting path)와 디코더의 역할을 하는 확장 경로(expanding path)로 이루어지는 딥러닝(deep learning) 분할 기법(U net)을 이용하고, 손실되는 원본 영상의 공간 해상도(spatial resolution)를 압축 경로의 각 층(layer)의 특징과 확장 경로에서 대응하는 층의 특징을 이어 붙이는(concatenation) 연결을 통해 에지(edge) 정보들의 복원 성능을 향상시키는 것을 특징으로 한다.
그리고 정상(normal) 또는 결함(defect) 디바이스 구분을 위하여, 합성곱신경망(convolutional neural network, CNN)을 이용하여 분류를 수행하고, 클래스 간의 거리를 최대한 늘리고 정상과 결함이라는 라벨을 통해 학습을 하거나, 오토인코더(auto-encoder)로 정상 데이터를 학습한 후, 정상데이터와 결함데이터의 복원 영상에 대한 L1, L2 거리(Distance)를 이용하여 분류(binary classification)를 진행하고, 데이터의 latent space를 학습하거나, SNN(Siamese Neural Network)를 이용하여 정상 데이터와 결함 데이터 간의 유사성을 측정을 하는 것을 특징으로 한다.
그리고 결함 디바이스의 에러 유형별 분류를 하는 단계에서, Empty, Normal, Flip, Leave, 기타 errors 항목을 포함하는 안착 상태 분류 및, Scratch, 오염, 이물, Crack, Chip Out, Double 항목을 포함하는 외관 검사 분류를 하는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치 및 방법은 다음과 같은 효과가 있다.
첫째, 반도체 디바이스 상태 분류를 위한 영상 분류(image classification) 단계에서의 영상 정렬(image alignment) 정확도를 높여 만족하는 최종 분류율(classification rate)을 갖도록 한다.
둘째, 트레이 영상으로부터 개별 디바이스의 영역을 찾아내어 해당 부분을 정확히 분할하는 것에 의해 디바이스 결함 검출 정확도를 높일 수 있도록 한다.
셋째, 허프 변환(hough transform)을 이용한 영상 내 직선 검출 기법을 이용하여 직사각형 모양의 디바이스 경계를 검출하고, 검출된 직선들의 평균 위치를 바탕으로 트레이의 그리드 간격을 추정하는 것에 의해 효율적인 반도체 디바이스 상태 분류가 가능하도록 한다.
넷째, 검출된 칩들의 위치를 기준으로 평균적인 디바이스의 간격을 계산하여 트레이의 그리드(grid) 구조를 검출하고, 트레이에서 그리드를 특정 지을 수 있는 기준 점을 정의하고, 타겟 검출 결과를 기준으로 트레이의 그리드 구조를 검출하여 영상 분류(image classification) 단계에서의 효율적인 영상 정렬(image alignment)이 가능하도록 한다.
다섯째, 딥러닝 기반의 생성 모델인 GAN(Generative Adverserial Network)을 이용하여 데이터를 증강(data augmentation)하는 것에 의해 네트워크 학습에 적합한 충분한 데이터셋을 확보하여 딥러닝 네트워크의 성능을 향상시킬 수 있도록 한다.
여섯째, 다수의 단계(stage)를 통해 결함(negative) 후보들을 제거하고, 현재 단계에서는 이전 단계에서의 오검출(false positive) 결과를 결함 샘플 집합에 포함(Boosting)하여, 현재 단계에서의 오검출 결과들로 새롭게 학습(또는 새로운 분류기 설계)하여 단계가 진행될수록 오검출 율을 줄여 가는 방식으로 결함 검출 효율성을 높일 수 있도록 한다.
일곱째, 저연산 딥러닝 기법(ex MobileNet)을 적용하여 저사양 하드웨어 시스템에서 효과적으로 동작할 수 있는 딥러닝 네트워크를 설계 가능하도록 한다.
도 1은 본 발명에 따른 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치의 구성도
도 2는 본 발명에 따른 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 방법을 나타낸 플로우 차트
도 3a 내지 도 3k는 본 발명에 따른 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 각 단계를 나타낸 구성도
도 4a 내지 도 4g는 본 발명에 따른 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 칩 검출 과정을 나타낸 구성도
이하, 본 발명에 따른 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.
본 발명에 따른 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.
도 1은 본 발명에 따른 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치의 구성도이다.
본 발명에 따른 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치 및 방법은 반도체 디바이스 상태 분류를 위한 영상 분류(image classification) 단계에서의 영상 정렬(image alignment) 정확도를 높여 만족하는 최종 분류율(classification rate)을 갖도록 한 것이다.
이를 위하여 본 발명은 트레이 영상으로부터 개별 디바이스의 영역을 찾아내어 해당 부분을 정확히 분할하는 구성을 포함할 수 있다.
본 발명은 허프 변환(hough transform)을 이용한 영상 내 직선 검출 기법을 이용하여 직사각형 모양의 디바이스 경계를 검출하고, 검출된 직선들의 평균 위치를 바탕으로 트레이의 그리드 간격을 추정하는 구성을 포함할 수 있다.
본 발명은 검출된 칩들의 위치를 기준으로 평균적인 디바이스의 간격을 계산하여 트레이의 그리드(grid) 구조를 검출하고, 트레이에서 그리드를 특정 지을 수 있는 기준 점을 정의하고, 타겟 검출 결과를 기준으로 트레이의 그리드 구조를 검출하는 구성을 포함할 수 있다.
본 발명은 딥러닝 기반의 생성 모델인 GAN(Generative Adverserial Network)을 이용하여 데이터를 증강(data augmentation)하는 것에 의해 네트워크 학습에 적합한 충분한 데이터셋을 확보하는 구성을 포함할 수 있다.
본 발명은 다수의 단계(stage)를 통해 결함(negative) 후보들을 제거하고, 현재 단계에서는 이전 단계에서의 오검출(false positive) 결과를 결함 샘플 집합에 포함(Boosting)하여, 현재 단계에서의 오검출 결과들로 새롭게 학습(또는 새로운 분류기 설계)하여 단계가 진행될수록 오검출 율을 줄여 가는 구성을 포함할 수 있다.
본 발명에 따른 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치는 도 1에서와 같이, 트레이 영상으로부터 개별 디바이스의 영역을 찾아내어 해당 부분을 정확히 분할하기 위하여, 허프 변환(hough transform)을 이용한 영상 내 직선 검출 및 딥러닝 네트워크(deep learning network)를 이용하여 트레이 내에서의 영상 정렬을 위한 기준 점(reference point) 검출을 하는 개별 디바이스 분할 및 정렬부(10)와, 디바이스 상태 분류를 위하여 딥러닝 기반의 생성 모델인 GAN(Generative Adverserial Network)을 이용하여 데이터를 증강(data augmentation) 처리하는 데이터 증강 처리부(20)와, Two-class 분류(binary classification) 또는 One-class 분류에 특화된 딥러닝 네트워크를 이용하여 정상(normal)/결함(defect) 디바이스를 구분하는 디바이스 구분 처리부(30)와, 다 단계 구조의 분류기(cascade classifier)를 이용하여 결함 디바이스의 에러 유형별 분류(안착 상태 분류, 외관 검사의 유형 분류)를 하는 다단계 분류부(40)와, 다수의 단계(stage)를 통해 결함(negative) 후보들을 제거하고, 현재 단계에서는 이전 단계에서의 오검출(false positive) 결과를 결함 샘플 집합에 포함(Boosting)시키는 결함 유형별 분류부(50)와, 현재 단계에서의 오검출 결과들로 새롭게 학습(또는 새로운 분류기 설계)하여 단계가 진행될수록 오 검출율을 줄여 가는 방식을 적용하는 부스팅 적용 학습 처리부(60)를 포함한다.
본 발명에 따른 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 방법을 구체적으로 설명하면 다음과 같다.
도 2는 본 발명에 따른 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 방법을 나타낸 플로우 차트이다.
트레이 영상으로부터 개별 디바이스의 영역을 찾아내어 해당 부분을 정확히 분할하기 위하여, 허프 변환(hough transform)을 이용한 영상 내 직선 검출을 하고(S201), 딥러닝 네트워크(deep learning network)를 이용하여 트레이 내에서의 영상 정렬을 위한 기준 점(reference point) 검출을 한다.(S202)
이어, 딥러닝 기반의 생성 모델인 GAN(Generative Adverserial Network)을 이용하여 데이터를 증강(data augmentation) 처리를 한다.(S203)
그리고 Two-class 분류(binary classification) 또는 One-class 분류에 특화된 딥러닝 네트워크를 이용하여 정상(normal)/결함(defect) 디바이스 구분을 한다.(S204)
이어, 다 단계 구조의 분류기(cascade classifier)를 이용하여 결함 디바이스의 에러 유형별 분류(안착 상태 분류, 외관 검사의 유형 분류)를 한다.(S205)
그리고 다수의 단계(stage)를 통해 결함(negative) 후보들을 제거하고, 현재 단계에서는 이전 단계에서의 오검출(false positive) 결과를 결함 샘플 집합에 포함(Boosting)시킨다.(S206)
이어, 현재 단계에서의 오검출 결과들로 새롭게 학습(또는 새로운 분류기 설계)하여 단계가 진행될수록 오 검출율을 줄여 가는 방식을 적용한다.(S207)
이와 같은 구성을 갖는 본 발명에 따른 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 방법을 각 단계별로 더 구체적으로 설명하면 다음과 같다.
도 3a 내지 도 3k는 본 발명에 따른 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 각 단계를 나타낸 구성도이다.
도 3a는 트레이 및 디바이스 영상의 일 예를 나타낸 것이다.
영상 분류(image classification) 문제에서 영상 정렬(image alignment)의 정확도는 최종 분류율(classification rate)에 큰 영향을 준다.
따라서, 트레이 영상으로부터 개별 디바이스의 영역을 찾아내어 해당 부분을 정확히 분할하는 방법이 필요하다.
본 발명의 일 실시 예에서는허프 변환(hough transform)을 이용한 영상 내 직선 검출 구성을 포함한다.
도 3b는 허프 변환 및 직선 검출의 일 예를 나타낸 것이다.
직선 검출 기법을 이용하여 직사각형 모양의 디바이스 경계를 검출하고, 검출된 직선들의 평균 위치를 바탕으로 트레이의 그리드 간격을 추정한다.
허프 변환은 디지털 영상 처리, 컴퓨터 비전 등에서 사용하는 방법 중의 하나이며 영상 전 영역에 걸친 패턴 추출에 많이 이용된다.
특히, 산재하고 있는 패턴, 구멍이 있는 패턴, 잡음이 있는 패턴 등을 포함하여, 직선, 다항식, 원과 같이 적절한 조건 공간에서 해당 패턴을 찾는 데에 유용하다.
도 3b에서와 같이, X-Y domain으로 표현되는 2차원 영상에서의 윤곽선 샘플들을 ρ-θ domain으로 옮겨 클러스터링에 의해 직선을 찾는데, 특히 2차원 영상안의 객체들을 이용하여 직선을 찾는 데에 매우 효과적이다.
그리고 딥러닝 네트워크(deep learning network)를 이용하여 트레이 내에서의 영상 정렬을 위한 기준 점(reference point) 검출하는 구성을 설명하면 다음과 같다.
도 3c는 Unet 구조를 나타낸 것이고, 도 3d는 칩의 위치를 특정 지을 수 있는 기준 점(target) 검출 및 이를 이용한 칩 영역 분할하는 구성을 나타낸 것이다.
본 발명의 일 실시 예에서는 트레이에서 칩(chip) 영역을 분할하기 위해 딥러닝(deep learning) 분할 기법(U net)을 이용한다.
U net은 인코더의 역할을 하는 압축 경로(contracting path)와 디코더의 역할을 하는 확장 경로(expanding path)로 이루어져 있다.
도 3c에서와 같이, 인코더와 디코더로 이루어진 네트워크는 연산량을 줄일 수 있으며, 합성곱(convolution)과 풀링(pooling)에서 손실되는 원본 영상의 공간 해상도(spatial resolution)를 압축 경로 특징과 확장 경로 특징의 연결을 통해 에지(edge) 정보들의 복원 성능을 향상시킬 수 있다.
칩(chip)을 검출하는 과정은, 트레이 내에서의 디바이스가 일정한 간격으로 배치되어 있음을 가정하여 칩 자체를 검출하고, 검출된 칩들의 위치를 기준으로 평균적인 디바이스의 간격을 계산하여 트레이의 그리드(grid) 구조를 검출한다.
그리고 특정 기준 점(target)을 검출하는 과정은 트레이에서 그리드를 특정 지을 수 있는 기준 점을 정의하고, 타겟 검출 결과를 기준으로 트레이의 그리드 구조를 검출한다.
그리고 딥러닝 네트워크를 이용한 디바이스 상태 분류 과정은 다음과 같다.
도 3e는 디바이스 안착 상태의 예를 나타낸 것이고, 도 3f는 외관 검사의 예를 나타낸 것이다.
본 발명에서는 디바이스 상태 분류를 위하여, 딥러닝 기반의 생성 모델인 GAN(Generative Adverserial Network)을 이용하여 데이터를 증강(data augmentation) 처리를 한다.
그리고 Two-class 분류(binary classification) 또는 One-class 분류에 특화된 딥러닝 네트워크를 이용하여 정상(normal)/결함(defect) 디바이스 구분을 한다.
그리고 다 단계 구조의 분류기(cascade classifier)를 설계하고, 결함 디바이스의 에러 유형별 분류를 한다.
안착 상태 분류는 도 3e에서와 같이, Empty, Normal, Flip, Leave, 기타 errors 으로 할 수 있고, 외관 검사 분류는 도 3f에서와 같이, Scratch, 오염, 이물, Crack, Chip Out, Double 으로 할 수 있다.
데이터 증강(data augmentation)을 구체적으로 설명하면 다음과 같다.
도 3g는 GAN을 이용하여 만들어낸 실제 얼굴 영상과 비슷한 가상의 얼굴 영상들을 나타낸 것이다.
딥러닝 네트워크의 패턴 특징 추출 성능은 방대한 양의 데이터셋에 기반한다. 따라서, 딥러닝 네트워크의 성능을 향상시키기 위해 네트워크 학습에 적합한 충분한 데이터셋을 확보하는 것이 중요하다.
컴퓨터 비전 분야에서는 주로 ‘crop’, ‘rotate’, ‘flip’ 등의 간단한 전처리(pre-processing)를 통해 데이터를 증강한다. 그러나 이러한 데이터 증강 방식은 데이터 셋을 편향(bias)시킬 수 있다.
도 3h에서와 같이, GAN(Generative Adversarial Network)은 생성자(generator)와 판별자(discriminator)의 두 네트워크 간 경쟁을 통해 학습하면서, 생성자가 원래의 데이터셋과 닮은 데이터를 생성해 낼 수 있도록 데이터 분포를 학습하며 생성된 데이터의 smoothness나 continuity도 제어 가능한 네트워크 구조이다.
본 발명에서는 이와 같은 특징을 이용하여 대표적인 딥러닝 네트워크 기반의 생성 모델인 GAN을 이용하여 실제 데이터와 매우 흡사한 가상의(virtual) 디바이스 영상들을 생성하여 데이터 증강을 한다.
정상(normal)/결함(defect) 디바이스 구분을 구체적으로 설명하면 다음과 같다.
도 3h는 CNN의 예를 나타낸 것이다.
본 발명에서는 딥러닝 네트워크를 이용하여 정상(positive)과 결함(negative)만을 분류하는 Two-class 분류(binary classification)로서 다음의 접근법들을 시도한다.
첫 번째 방법으로, 도 3h에서와 같이, 합성곱신경망(convolutional neural network, CNN)을 이용하여 이 분류를 수행하고, 클래스 간의 거리를 최대한 늘리는 데에 주안점을 두며 정상과 결함이라는 라벨을 통해 학습을 한다.
두 번째 방법을, 오토인코더(auto-encoder)로 정상 데이터를 학습한 후, 정상데이터와 결함데이터의 복원 영상에 대한 L1, L2 거리를 Distance를 이용하여 이 분류(binary classification)를 진행하고, 데이터의 latent space를 학습한다.
도 3i는 오토인코더를 이용한 이상 데이터 분류 예시이다.
세 번째 방법으로, Siamese Neural Network(SNN)를 이용하여 정상 데이터와 결함 데이터 간의 유사성을 측정을 한다.
도 3j는 SNN을 이용한 이상 데이터 분류 예시이다.
정상과 결함 데이터를 동시에 입력으로 받아, 두 데이터 간의 유사성을 학습하고, 입력받은 이미지들로부터 클래스 내 분산을 측정하는 ‘compactness loss’와 클래스 간 분산을 측정하는 ‘descriptiveness loss’를 사용한다.
결함 유형 분류에 관하여 설명하면 다음과 같다.
도 3k는 특징피라미드 계열의 분할(segmentation) 네트워크를 나타낸 것이다.
딥러닝 네트워크를 이용하여 안착 상태 분류와, 외관 검사의 유형을 분류하는 다중 분류(multi class classification)를 수행한다.
먼저, CNN을 이용하여 안착 상태(Normal, Empty, Flip, Leave, Errors)의 다중 분류 수행한다.
다중 클래스 간의 거리를 최대한 늘리는 데에 주안점을 두며 디바이스의 유형에 따른 라벨을 통해 학습한다.
도 3h에서와 같은 합성곱 네트워크를 사용하며 완전연결층(fully connected layer)에서 활성화 함수와 출력 라벨을 변형하여 재학습한다.
그리고 특징피라미드(feature pyramid) 계열의 분할(segmentation) 네트워크를 이용하여 외관의 이상(Scratch, 오염, 이물, Crack, Chip Out, Double) 검사를 수행한다.
도 3k에서와 같이, 특징피라미드는 크기에 강인함(scale invariant)을 목표로 하며, 각 Feature Map에서는 서로 다른 크기의 외관의 이상들만 검출하도록 학습이 진행된다.
그리고 본 발명에서는 단계별 분류기(cascade classifier) 설계하는 구성을 포함한다.
다수의 단계(stage)를 통해 결함(negative) 후보들을 제거하고, 현재 단계에서는 이전 단계에서의 오검출(false positive) 결과를 결함 샘플 집합에 포함 (Boosting)시킨다.
현재 단계에서의 오검출 결과들로 새롭게 학습(또는 새로운 분류기 설계)하여 단계가 진행될수록 오검출 율을 줄여 가는 방식을 적용할 수 있다.
그리고 본 발명에서는 저연산(lightweight) 딥러닝 기법 적용한다.
합성곱신경망(CNN) 기반의 분류 기법들은 영상 분류 문제에서 좋은 성능을 보여주지만, 성능 향상을 위해 깊은 신경망과 많은 데이터가 필요하며, 이를 위해 충분한 연산 능력과 메모리가 요구된다.
따라서, 저사양 하드웨어 시스템에서 효과적으로 동작할 수 있는 딥러닝 네트워크를 설계하기 위해 저연산 딥러닝 기법(ex MobileNet)을 적용한다.
본 발명에 따른 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 칩 검출 과정을 구체적으로 설명하면 다음과 같다.
도 4a 내지 도 4g는 본 발명에 따른 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 칩 검출 과정을 나타낸 구성도이다.
먼저, 도 4a는 트레이에서 칩(chip) 영역을 분할하기 위해 딥러닝(deep learning) 분할 기법(U net)을 이용하는 것을 나타낸 것이다.
도 4b는 Unet을 통한 Reference Segmentation을 나타낸 것이다.
Unet은 크게 Convolution Encoder와 Convolution Decoder로 구성되며, Encoding과 Decoding을 통해 Pyramid 구조와 유사하게 오브젝트의 scaling에 어느정도 invariant한 성질을 지닌다.
Convolution Encoder(Backbone)은 vgg16로 사전훈련된 것을 사용하였고, Convolution Decoder에서는 명확한 세그멘테이션을 위해 Expanding Path에서, Contracting Path의 Feature를 Copy and Paste하여 사용한다.
사전훈련된 vgg16를 이용하기 위해서, 이미지의 가로와 세로의 길이는 각각 224로 맞춘다.
도 4c는 Unet을 통한 예측 결과를 나타낸 것이다.
도 4d는 DBSCAN(Density-based spatial clustering of applications with noise)의 사용을 나타낸 것이다.
DBSCAN은 일정한 거리안의 이웃 영역안에 최소 데이터 갯수 이상의 데이터가 있어야 핵심 데이터로 판단한다.
여기서는 3픽셀안에 인접한 데이터가 있어야 하며, 인접한 데이터들로 이루어진 군집내 샘플 갯수가 20개 이상을 만족할 때만 reference point로 판단한다.
도 4e는 DBSCAN을 이용한 노이즈 제거를 나타낸 것이다.
도 4f는 칩 커팅을 나타낸 것으로, Reference point간의 가로 세로 평균 거리를 구하고, 가로 세로 평균 갯수를 구한 다음에 구해진 값들을 gride의 정보로 사용해서 이미지를 잘라준다.
도 4g는 칩 검출 결과를 나타낸 것이다.
커팅된 칩은 Deep Learning CNN중 NasnetMobile에서 학습이 진행된다.
이상에서 설명한 본 발명에 따른 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치 및 방법은 영상 분류(image classification) 단계에서의 영상 정렬(image alignment) 정확도를 높여 만족하는 최종 분류율(classification rate)을 갖도록 한 것이다.
본 발명은 다수의 단계(stage)를 통해 결함(negative) 후보들을 제거하고, 현재 단계에서는 이전 단계에서의 오검출(false positive) 결과를 결함 샘플 집합에 포함(Boosting)하여, 현재 단계에서의 오검출 결과들로 새롭게 학습(또는 새로운 분류기 설계)하여 단계가 진행될수록 오검출 율을 줄여 가는 방식으로 결함 검출 효율성을 높일 수 있도록 한 것이다.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10. 개별 디바이스 분할 및 정렬부
20. 데이터 증강 처리부
30. 디바이스 구분 처리부
40. 다단계 분류부
50. 결함 유형별 분류부
60. 부스팅 적용 학습 처리부

Claims (19)

  1. 트레이 영상으로부터 개별 디바이스의 영역을 찾아내어 해당 부분을 분할 및 정렬하는 개별 디바이스 분할 및 정렬부;
    디바이스 상태 분류를 위하여 GAN(Generative Adverserial Network)을 이용하여 데이터를 증강(data augmentation) 처리하는 데이터 증강 처리부;
    딥러닝 네트워크를 이용하여 정상(normal) 또는 결함(defect) 디바이스를 구분하는 디바이스 구분 처리부;
    다 단계 구조의 분류기(cascade classifier)를 이용하여 결함 디바이스의 에러 유형별 분류를 하는 다단계 분류부;
    복수의 단계(stage)를 통해 결함(negative) 후보들을 제거하고, 현재 단계에서는 이전 단계에서의 오검출(false positive) 결과를 결함 샘플 집합에 포함(Boosting)시키는 결함 유형별 분류부;
    현재 단계에서의 오검출 결과들로 새롭게 학습하여 단계가 진행될수록 오 검출율을 줄여 가는 방식을 적용하는 부스팅 적용 학습 처리부;를 포함하는 것을 특징으로 하는 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치.
  2. 제 1 항에 있어서, 상기 개별 디바이스 분할 및 정렬부는,
    허프 변환(hough transform)을 이용한 영상 내 직선 검출 및 딥러닝 네트워크(deep learning network)를 이용하여 트레이 내에서의 영상 정렬을 위한 기준 점(reference point) 검출을 하는 것을 특징으로 하는 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치.
  3. 제 2 항에 있어서, 상기 개별 디바이스 분할 및 정렬부는,
    허프 변환(hough transform)을 이용한 영상 내 직선 검출을 이용하여 직사각형 모양의 디바이스 경계를 검출하고, 검출된 직선들의 평균 위치를 바탕으로 트레이의 그리드 간격을 추정하는 것을 특징으로 하는 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치.
  4. 제 3 항에 있어서, X-Y domain으로 표현되는 2차원 영상에서의 윤곽선 샘플들을 ρ-θ domain으로 옮겨 클러스터링에 의해 직선을 찾는 것을 특징으로 하는 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치.
  5. 제 2 항에 있어서, 영상 정렬을 위한 기준 점(reference point) 검출은,
    인코더의 역할을 하는 압축 경로(contracting path)와 디코더의 역할을 하는 확장 경로(expanding path)로 이루어지는 딥러닝(deep learning) 분할 기법(U net)을 이용하고,
    손실되는 원본 영상의 공간 해상도(spatial resolution)를 압축 경로의 각 층(layer)의 특징과 확장 경로에서 대응하는 층의 특징을 이어 붙이는(concatenation) 연결을 통해 에지(edge) 정보들의 복원 성능을 향상시키는 것을 특징으로 하는 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치.
  6. 제 1 항에 있어서, 상기 디바이스 구분 처리부는,
    Two-class 분류(binary classification) 또는 One-class 분류 방법으로 정상(normal) 또는 결함(defect) 디바이스 구분을 하는 것을 특징으로 하는 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치.
  7. 제 1 항에 있어서, 상기 디바이스 구분 처리부는 정상(normal) 또는 결함(defect) 디바이스 구분을 위하여,
    합성곱신경망(convolutional neural network, CNN)을 이용하여 분류를 수행하고, 클래스 간의 거리를 최대한 늘리고 정상과 결함이라는 라벨을 통해 학습을 하거나,
    오토인코더(auto-encoder)로 정상 데이터를 학습한 후, 정상데이터와 결함데이터의 복원 영상에 대한 L1, L2 거리(Distance)를 이용하여 분류(binary classification)를 진행하고, 데이터의 latent space를 학습하거나,
    SNN(Siamese Neural Network)를 이용하여 정상 데이터와 결함 데이터 간의 유사성을 측정을 하는 것을 특징으로 하는 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치.
  8. 제 7 항에 있어서, SNN(Siamese Neural Network)를 이용하는 방법에서,
    정상과 결함 데이터를 동시에 입력으로 받아, 두 데이터 간의 유사성을 학습하고, 입력받은 이미지들로부터 클래스 내 분산을 측정하는 ‘compactness loss’와 클래스 간 분산을 측정하는 ‘descriptiveness loss’를 사용하는 것을 특징으로 하는 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치.
  9. 제 1 항에 있어서, 상기 다단계 분류부는,
    Empty, Normal, Flip, Leave, 기타 errors 항목을 포함하는 안착 상태 분류 및,
    Scratch, 오염, 이물, Crack, Chip Out, Double 항목을 포함하는 외관 검사 분류를 하는 것을 특징으로 하는 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치.
  10. 제 9 항에 있어서, CNN을 이용하여 안착 상태의 다중 분류 수행하고,
    다중 클래스 간의 거리를 최대한 늘리면서 디바이스의 유형에 따른 라벨을 통해 학습하고, 합성곱 네트워크를 사용하며 완전연결층(fully connected layer)에서 활성화 함수와 출력 라벨을 변형하여 재학습하는 것을 특징으로 하는 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치.
  11. 제 9 항에 있어서, 외관 검사 분류를 위하여,
    특징피라미드(feature pyramid) 계열의 분할(segmentation) 네트워크를 이용하여 외관의 이상 검사를 수행하고,
    특징피라미드는 크기에 강인함(scale invariant)을 목표로 하며, 각 Feature Map에서는 서로 다른 크기의 외관의 이상들만 검출하도록 학습이 진행되는 것을 특징으로 하는 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치.
  12. 제 1 항에 있어서, 상기 데이터 증강 처리부는,
    생성자(generator)와 판별자(discriminator)의 두 네트워크 간 경쟁을 통해 학습하면서, 생성자가 원래의 데이터셋과 닮은 데이터를 생성해 낼 수 있도록 데이터 분포를 학습하며 생성된 데이터의 smoothness나 continuity도 제어 가능한 네트워크 구조인 GAN(Generative Adversarial Network)를 이용하여,
    실제 데이터와 유사한 가상의(virtual) 디바이스 영상들을 생성하여 데이터 증강을 하는 것을 특징으로 하는 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치.
  13. 개별 디바이스 분할 및 정렬부에서 트레이 영상으로부터 개별 디바이스의 영역을 찾아내어 해당 부분을 분할 및 정렬하는 단계;
    데이터 증강 처리부에서 딥러닝 기반의 생성 모델인 GAN(Generative Adverserial Network)을 이용하여 데이터를 증강(data augmentation) 처리를 하는 단계;
    디바이스 구분 처리부에서 딥러닝 네트워크를 이용하여 정상(normal) 또는 결함(defect) 디바이스 구분을 하고, 다단계 분류부에서 다 단계 구조의 분류기(cascade classifier)를 이용하여 결함 디바이스의 에러 유형별 분류를 하는 단계;
    결함 유형별 분류부에서 복수의 단계(stage)를 통해 결함(negative) 후보들을 제거하고, 현재 단계에서는 이전 단계에서의 오검출(false positive) 결과를 결함 샘플 집합에 포함(Boosting)시키고, 부스팅 적용 학습 처리부에서 현재 단계에서의 오검출 결과들로 새롭게 학습하여 단계가 진행될수록 오 검출율을 줄여 가는 방식을 적용하는 단계;를 포함하는 것을 특징으로 하는 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 방법.
  14. 제 13 항에 있어서, 개별 디바이스 분할 및 정렬부에서 분할 및 정렬하는 단계에서,
    트레이 영상으로부터 개별 디바이스의 영역을 찾아내어 해당 부분을 정확히 분할하기 위하여, 허프 변환(hough transform)을 이용한 영상 내 직선 검출을 하는 단계와,
    딥러닝 네트워크(deep learning network)를 이용하여 트레이 내에서의 영상 정렬을 위한 기준 점(reference point) 검출을 하는 단계를 포함하는 것을 특징으로 하는 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 방법.
  15. 제 14 항에 있어서, 허프 변환(hough transform)을 이용한 영상 내 직선 검출을 이용하여 직사각형 모양의 디바이스 경계를 검출하고, 검출된 직선들의 평균 위치를 바탕으로 트레이의 그리드 간격을 추정하는 것을 특징으로 하는 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 방법.
  16. 제 15 항에 있어서, X-Y domain으로 표현되는 2차원 영상에서의 윤곽선 샘플들을 ρ-θ domain으로 옮겨 클러스터링에 의해 직선을 찾는 것을 특징으로 하는 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 방법.
  17. 제 14 항에 있어서, 영상 정렬을 위한 기준 점(reference point) 검출은,
    인코더의 역할을 하는 압축 경로(contracting path)와 디코더의 역할을 하는 확장 경로(expanding path)로 이루어지는 딥러닝(deep learning) 분할 기법(U net)을 이용하고,
    손실되는 원본 영상의 공간 해상도(spatial resolution)를 압축 경로의 각 층(layer)의 특징과 확장 경로에서 대응하는 층의 특징을 이어 붙이는(concatenation) 연결을 통해 에지(edge) 정보들의 복원 성능을 향상시키는 것을 특징으로 하는 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 방법.
  18. 제 13 항에 있어서, 디바이스 구분 처리부에서 정상(normal) 또는 결함(defect) 디바이스 구분을 위하여,
    합성곱신경망(convolutional neural network, CNN)을 이용하여 분류를 수행하고, 클래스 간의 거리를 최대한 늘리고 정상과 결함이라는 라벨을 통해 학습을 하거나,
    오토인코더(auto-encoder)로 정상 데이터를 학습한 후, 정상데이터와 결함데이터의 복원 영상에 대한 L1, L2 거리(Distance)를 이용하여 분류(binary classification)를 진행하고, 데이터의 latent space를 학습하거나,
    SNN(Siamese Neural Network)를 이용하여 정상 데이터와 결함 데이터 간의 유사성을 측정을 하는 것을 특징으로 하는 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 방법.
  19. 제 13 항에 있어서, 다단계 분류부에서 결함 디바이스의 에러 유형별 분류를 하는 단계에서,
    Empty, Normal, Flip, Leave, 기타 errors 항목을 포함하는 안착 상태 분류 및,
    Scratch, 오염, 이물, Crack, Chip Out, Double 항목을 포함하는 외관 검사 분류를 하는 것을 특징으로 하는 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 방법.
KR1020200108828A 2020-08-27 2020-08-27 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치 및 방법 KR102498322B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200108828A KR102498322B1 (ko) 2020-08-27 2020-08-27 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200108828A KR102498322B1 (ko) 2020-08-27 2020-08-27 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220027674A KR20220027674A (ko) 2022-03-08
KR102498322B1 true KR102498322B1 (ko) 2023-02-10

Family

ID=80813471

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200108828A KR102498322B1 (ko) 2020-08-27 2020-08-27 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102498322B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102632950B1 (ko) * 2022-12-26 2024-02-05 주식회사 애자일소다 일반화 모델을 이용한 반도체 배치 시스템 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101991415B1 (ko) 2017-02-27 2019-06-20 충북대학교 산학협력단 Pcb 제조 공정에서 불량 컴포넌트 위치 검출 방법 및 시스템
KR102619285B1 (ko) 2017-10-30 2023-12-29 삼성전자주식회사 분류 장치 및 분류 장치의 동작 방법
KR20190067439A (ko) 2017-12-07 2019-06-17 한국전자통신연구원 딥러닝 기반의 반도체 비전 검사 시스템에서의 제어 변수 설정 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Gyunghyun Choi et al., Multi-step ART1 algorithm for recognition of defect patterns on semiconductor wafers, Inter national Journal of Production Research Vol. 50, No. 12, 3274-3287pages(2012. 7. 11.)

Also Published As

Publication number Publication date
KR20220027674A (ko) 2022-03-08

Similar Documents

Publication Publication Date Title
Chen et al. A light-weighted CNN model for wafer structural defect detection
US20070058856A1 (en) Character recoginition in video data
KR101901961B1 (ko) 부품을 인식하기 위한 장치 및 그 방법
CN113724231B (zh) 一种基于语义分割和目标检测融合模型的工业缺陷检测方法
CN114155181B (zh) 检查方案的自动优化
CN115035122B (zh) 基于人工智能的集成电路晶圆表面缺陷检测方法
CN114092387B (zh) 生成可用于检查半导体样本的训练数据
KR20220012217A (ko) 반도체 시편에서의 결함들의 기계 학습 기반 분류
CN115496746A (zh) 基于图像和点云数据融合的板材表面缺陷检测方法和系统
CN110992322A (zh) 基于卷积神经网络的贴片掩膜检测系统及检测方法
CN115023731A (zh) 半导体样本的检查
CN111539330B (zh) 一种基于双svm多分类器的变电站数显仪表识别方法
Ghosh et al. Counterfeit IC detection by image texture analysis
CN115690670A (zh) 一种晶圆瑕疵智能识别方法和系统
KR102498322B1 (ko) 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치 및 방법
CN114004858A (zh) 基于机器视觉识别航空线缆表面编码的方法及装置
CN114078106A (zh) 基于改进Faster R-CNN的疵点检测方法
US20030210818A1 (en) Knowledge-based hierarchical method for detecting regions of interest
CN115375952B (zh) 一种芯片胶层缺陷分类方法
CN114120318B (zh) 一种基于集成决策树的暗场图像目标点精确提取方法
US11961221B2 (en) Defect examination on a semiconductor specimen
CN115830302A (zh) 一种多尺度特征提取融合配电网设备定位识别方法
Ghofrani et al. Farsi license plate detection and recognition based on characters features
CN115063385A (zh) 一种用于晶圆检测的机器视觉方法
KR20230065558A (ko) 딥러닝 기반의 mlcc 적층 얼라인먼트 검사 시스템 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant